ITeye博客

tanghongjun1985的博客

tanghongjun1985 · 共 34 篇文章

YARN 框架源码分析

此博客来源于 http://www.ccplat.com/?p=652 ResourceManager 管理集群资源,创建时需要一个Store存储其信息。 Store 管理和存储RM状态接口,包含以下两个子接口,同时继承NodeStore和ApplicationsStore接口。 实现目前有MemStore和ZKStore两种,它们都实现了RMState和ApplicationStore。 ApplicationInfo 可以通过该接口获取应用的ApplicationMaster、MasterContainer、ApplicationSubmissionContext和所有Container…

2012-12-21 09:16 · 云计算 · 评论(0)

jdk优化和配置

模型 JVM运行时数据区域 JVM执行Java程序的过程中,会使用到各种数据区域,这些区域有各自的用途、创建和销毁时间。根据《Java虚拟机规范(第二版)》(下文称VM Spec)的规定,JVM包括下列几个运行时数据区域: 1.程序计数器(Program Counter Register): 每一个Java线程都有一个程序计数器来用于保存程序执行到当前方法的哪一个指令,对于非Native方法,这个区域记录的是正在执行的VM原语的地址,如果正在执行的是Natvie方法,这个区域则为空(undefined)。此内存区域是唯一一个在VM Spec中没有规定任何OutOfMemoryError情况的…

2012-12-14 17:05 · 云计算 · 评论(0)

eclipse杂物

eclipse打开当前文件所在文件夹 atearsan 发布于 3个月前,共有 0 条评论 MyEclipse里面就带了类似的一个插件,点一下就可以打开当前编辑文件所在的文件夹。 MyEclipse 里面的插件名叫:Desktop toolbar。 在eclipse里,可以不下载插件也做到。DIY哦。。。 操作如下: Run-->External Tools-->Open External Tools Dialog... new 一个 program location 里面填 :C:\WINDOWS\explorer.exe Arguments 里面填: ${container_loc} 打…

2011-11-11 15:13 · 杂物 · 评论(0)

java 内存配置

Java 垃圾回收策略调优,实践篇 2008-10-22 13:26:30 来自: KK JVM参数调优是一个很头痛的问题,可能和应用有关系,下面是本人一些调优的实践经验,希望对读者能有帮助,环境LinuxAS4,resin2.1.17,JDK6.0,2CPU,4G内存,dell2950服务器,网站是shedewang.com,新手可能觉得这文章没有用。 一:串行垃圾回收,也就是默认配置,完成10万request用时153秒,JVM参数配置如下 $JAVA_ARGS .= " -Dresin.home=$SERVER_ROOT -server -Xms2048M -Xmx2048M -Xmn…

2011-09-06 21:36 · java · 评论(0)

hibernate 问题

转载:http://hi.baidu.com/iloverobot/blog/item/22148e032dac63e008fa9391.html Hibernate : Cannot release connection 错误的解决方法 2010年05月18日 星期二 15:48 问题: 系统采用Spring MVC 2.5 + Spring 2.5 + Hibernate 3.2架构,其中数据源连接池采用的是Apache commons DBCP。问题是这样的,系统运行一段时间后(大致每隔8小时),访问系统会出现如下错误,再次访问恢复正常。 org.springframework.web…

2011-07-03 15:07 · je22 background trouble shooting · 评论(0)

httpclient HTTPPost

File songFile = new File("F:\pcsearcher\bcount\bcounts0812\bcount2.xml"); FileEntity entity = new FileEntity(songFile, "text/xml; charset="UTF-8""); //download listening HttpPost post = new HttpPost("http://localhost/searcher/bcountServlet?type=listening"); post.setEntity(entity); HttpClient httpcl…

2011-06-29 21:32 · j2ee page show · 评论(0)

Log4J源码分析(四)

转载:http://jmut.bokee.com/ 现在初始化进入到了最重要的阶段。我们先看看最常用的PropertyConfigurator,它从一个外部文件中读取配置。这个类最重要的方法当然是几个doConfigure方法。其中最复杂的是: public void doConfigure(Properties properties, LoggerRepository hierarchy) 它是接口Configurator中的方法。 1、由键log4j.debug设定内部debug信息是否输出; 2、由键log4j.thredsold设定全局level,它的value中可以使用变量,所以要…

2011-06-29 00:44 · log4j源码分析 · 评论(0)

Log4J源码分析(二)

转载:http://jmut.bokee.com/ 接着来。 昨天说过,Category实现了AppenderAttachable接口,可以视为是Appender的容器,但是它又有私有域aai,且aai才是真正的Appender容器在,所以Category的容器方法是对aai上方法的包装,Category把对Appender的管理委托给了aai。 来看Category的addAppender方法: /** Add newAppender to the list of appenders of this Category instance. If newAppender is already …

2011-06-29 00:43 · log4j源码分析 · 评论(0)

Log4J源码分析(三)

转载:http://jmut.bokee.com/ 上回说到LogManager,接下来就分析它。 先看它的注释: /** Use the LogManager class to retreive {@link Logger} instances or to operate on the current {@link LoggerRepository}. When the LogManager class is loaded into memory the default initalzation procedure is inititated. The default intializat…

2011-06-29 00:42 · log4j源码分析 · 评论(0)

Log4J源码分析(一)

面对这近20000行代码,188个类,还真是有点不知从何下手。万事开头难嘛!既然使用Log4J是从Category类开始的,那也从它开始分析。 Category类位于org.apache.log4j包内,检查它的类层次图,它实现了AppenderAttachable接口。 AppenderAttachable接口同样位于org.apache.log4j包内,查看它的源码,很明显,它可以被视为一个Appender的容器,所以Category类也可以当作是Appender的容器。 但是,事情没这么简单,在Category类中有个私有域: AppenderAttachableImpl aai Ap…

2011-06-29 00:41 · log4j源码分析 · 评论(0)

有用的连接

http://www.bitscn.com/os/linux/201012/192506.html http://www.bitscn.com/os/linux/201105/193120.html http://www.bitscn.com/os/linux/201105/193164.html http://www.bitscn.com/os/linux/201011/192365.html http://www.bitscn.com/os/linux/201012/192404.html http://svn.apache.org/viewvc/logging/log4j/trunk/

2011-06-28 23:52 · 爬虫 · 评论(0)

搜索引擎中网络爬虫的设计分析

搜索引擎中网络爬虫的设计分析 作者:Ackarlix 下面简单介绍一下搜索引擎的机器爬虫的制作和一些基本要注意的事项。 说的简单易懂一些,网络爬虫跟你使用的〖离线阅读〗工具差不多。说离线,其实还是要跟网络联结,否则怎么抓东西下来?那么不同的地方在哪里? 1】 网络爬虫高度可配置性。 2】 网络爬虫可以解析抓到的网页里的链接 3】 网络爬虫有简单的存储配置 4】 网络爬虫拥有智能的根据网页更新分析功能 5】 网络爬虫的效率相当的高 那么依据特征,其实也就是要求了,如何设计爬虫呢?要注意哪些步骤呢? 1】 url 的遍历和纪录 这点 larbin 做得非常的好,其实对于url的遍历是很简单的,例…

2009-12-15 12:56 · 爬虫 · 评论(0)

tire树分析

详细的图文介绍在附件中 Trie树技术简介文档 引言 文档目的描述trie树,比较trie树与hash+lucene用于前缀搜索的效率。 Trie树 Trie,又称字典树、单词查找树,是一种树形结构,用于保存大量的字符串。它的优点是:利用字符串的公共前缀来节约存储空间。相对来说,Trie树是一种比较简单的数据结构.理解起来比较简单,正所谓简单的东西也得付出代价.故Trie树也有它的缺点,Trie树的内存消耗非常大. 看了定义不一定理解,以下我们将用一张图对trie树结构进行说明 从上图可以看出:  根节点是整个树的起点,根节点一般置为空。同样你也可以根据项目的需要对根节点进行相应的设置如:…

2009-12-15 11:40 · 评论(0)

java 接口与抽象类的使用

恶补接口与抽象类后感 以前开发我一直强迫自己使用接口与抽象类。使用一年却只是用,却不知道什么时候应该使用什么。 系统的架构应该通过接口和抽象类定义,这是公认的, 那接口和抽象类在这个架构中应该担任什么样的角色呢? 这里谈谈自己看法。 以下例子我将使用汽车来介绍接口和抽象。 汽车是由部件组成的包括如下: 轮子,发动机,车灯等,那我们如何定义这些部件呢? 怎么定义车呢。 我的看法是: 部件可以定义为借口,车可以定义成抽象类。这样就比较合理。但是也不是一定的,车也可以定义为接口。 为什么我在这里,将车定义为抽象类呢? 我的想法是抽象类中可以包含一些实现方法,通过这些实现方法组织接口方法。 行为、对…

2009-09-23 15:52 · j2ee page show · 评论(0)

接口 抽象类

Java 接口大全、面向接口编程、什么时候使用接口。选择Java接口还是抽象类 什么叫面向接口编程[作者:umlchina 转贴自:www.umlchina.com ] 在一个面向对象的系统中,系统的各种功能是由许许多多的不同对象协作完成的。在这种情况下,各个对象内部是如何实现自己的对系统设计人员来讲就不那么重要了;而各个对象之间的协作关系则成为系统设计的关键。小到不同类之间的通信,大到各模块之间的交互,在系统设计之初都是要着重考虑的,这也是系统设计的主要工作内容。面向接口编程我想就是指按照这种思想来编程吧!实际上,在日常工作中,你已经按照接口编程了,只不过如果你没有这方面的意识,那么你只是…

2009-09-23 15:30 · j2ee page show · 评论(0)