Storm-0.9.3安装部署步骤

storm-0.9.3安装部署步骤摘抄地址：http://www.cnblogs.com/panfeng412/archive/2012/11/30/how-to-install-and-deploy-storm-cluster.htmlhttp://www.aboutyun.com/thread-6854-1-1.htmlhttp://ju.outofmemory.cn/entry/118203storm集群中包含两类节点：主控节点(masternode)和工作节点(worknode)。其分别对应的角色如下：主控节点(masternode)上运行一个被称为nimbus的后台程序，它负责在storm集群内分发代码，分配任务给工作机器，并且负责监控集群运行状态。nimbus的作用类似于hadoop中jobtracker的角色。每个工作节点(worknode)上运行一个被称为supervisor的后台程序。supervisor负责监听从nimbus分配给它执行的任务，据此启动或停止执行任务的工作进程。每一个工作进程执行一个topology的子集;一个运行中的topology由分布在不同工作节点上的多个工作进程组成。storm集群组件nimbus和supervisor节点之间所有的协调工作是通过zookeeper集群来实现的。此外，nimbus和supervisor进程都是快速失败(fail-fast)和无状态(stateless)的;storm集群所有的状态要么在zookeeper集群中，要么存储在本地磁盘上。这意味着你可以用kill-9来杀死nimbus和supervisor进程，它们在重启后可以继续工作。这个设计使得storm集群拥有不可思议的稳定性。——————————————————————————————————————————搭建zookeeper集群storm使用zookeeper协调集群，由于zookeeper并不用于消息传递，所以storm给zookeeper带来的压力相当低。大多数情况下，单个节点的zookeeper集群足够胜任，不过为了确保故障恢复或者部署大规模storm集群，可能需要更大规模节点的zookeeper集群(对于zookeeper集群的话，官方推荐的最小节点数为3个)。在zookeeper集群的每台机器上完成以下安装部署步骤：1.下载安装javajdk，官方下载链接为http://java.sun.com/javase/downloads/index.jsp，jdk版本为jdk6或以上。2.根据zookeeper集群的负载情况，合理设置java堆大小，尽可能避免发生swap，导致zookeeper性能下降。保守起见，4gb内存的机器可以为zookeeper分配3gb最大堆空间。3.下载后解压安装zookeeper包，官方下载链接为http://hadoop.apache.org/zookeeper/releases.html。4.根据zookeeper集群节点情况，在conf目录下创建zookeeper配置文件zoo.cfg：ticktime=2000datadir=/var/zookeeper/clientport=2181initlimit=5synclimit=2server.1=zookeeper1:2888:3888server.2=zookeeper2:2888:3888server.3=zookeeper3:2888:3888复制代码5.在datadir目录下创建myid文件，文件中只包含一行，且内容为该节点对应的server.id中的id编号。其中，datadir指定zookeeper的数据文件目录;其中server.id=host:port:port，id是为每个zookeeper节点的编号，保存在datadir目录下的myid文件中，zookeeper1~zookeeper3表示各个zookeeper节点的hostname，第一个port是用于连接leader的端口，第二个port是用于leader选举的端口。6.启动zookeeper服务：bin/zkserver.shstart复制代码7.通过zookeeper客户端测试服务是否可用：bin/zkcli.sh-server127.0.0.1:2181复制代码————————————————————————————————————————机器划分10.134.84.93nimbus10.139.37.57supervisor10.139.18.45supervisorzookeeper10.134.85.125supervisorzookeeper10.134.74.59supervisorzookeeper版本选择1.storm选择使用最新版apache-storm-0.9.3，下载地址：http://www.apache.org/dyn/closer.cgi/storm/apache-storm-0.9.3/apache-storm-0.9.3.tar.gz2.storm依赖jdk6和python2.1机器已经安装了jdk7，经试验启动storm时会报错。因此选择jdk6最新版6u45，下载地址：http://www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase6-419409.html#jdk-6u45-oth-jpr选择2.2机器自带python2.4.3，但storm依赖2.6以上版本，我们选择使用2.7.9，下载地址：https://www.python.org/downloads/release/python-279/依赖环境准备1.jdk安装1.1由于机器上已经安装了默认的jdk7，在终端直接输入java-version时会提示使用的是1.7因此，需要把jdk6单独安装在一个目录。直接执行jdk-6u45-linux-x64.bin，如下：1.2自动解压完毕后，会在当前目录生成jdk的文件夹，再把此文件夹mv到我们指定的java_home地址，如/opt/local/jdk1.6.0_45，如下：2.python安装2.1执行tarzxvfpython-2.7.9.tgz命令，解压python安装包：2.2解压后，进行以下安装步骤：2.3经过./configure、make、makeinstall后，默认python2.7安装在/usr/local/bin/python2.7，而/usr/bin/python这个软链引用的依然是2.4.3，可以做下替换，如下：storm配置1.在服务器上解压storm安装包，红色部分为需要修改的配置文件：2.修改conf/storm_env.ini，指定使用的java环境3.修改conf/storm.yaml，指定strom的以下几项配置：#storm使用的zookeeper的服务器域名，默认端口2181storm.zookeeper.servers:-“yf_18_45′-“sjs_85_125′-“sjs_74_59′#nimbus的节点nimbus.host:“sjs_84_93′#数据存储路径storm.local.dir:“/data/storm”#本地日志路径storm.log.dir:“/opt/logs/storm”#supervisor的槽位数及端口号，每个端口号表示一个槽位supervisor.slots.ports:-6700-6701-6702-6703#指定drpc服务器drpc.servers:-“yf_18_45′-“sjs_85_125′-“sjs_74_59′-“yf_37_57′4.在每个storm节点进行以上安装步骤，其中storm可在一台机器上配置好后再scp到其他各台服务器。启动storm1.在nimbus节点启动nimbus、storm-ui和logviewer:bin/stormnimbus&bin/stormui&bin/stormlogviewer&3.在各supervisor节点启动supervisor和logviewer：bin/stormsupervisor&bin/stormlogviewer&验证1.访问http://10.134.84.93:8080，查看ui是否正常，supervisor数为4，freeslot数为162.提交测试storm程序。bin/stormjarexamples/storm-starter/storm-starter-topologies-0.9.3.jarstorm.starter.exclamationtopologyexclamationtopology