时间:2020-07-06来源:www.pcxitongcheng.com作者:电脑系统城
这里是当初在三个ECS节点上搭建hadoop+zookeeper+hbase+solr的主要步骤,文章内容未经过润色,请参考的同学搭配其他博客一同使用,并记得根据实际情况调整相关参数
export HBASE_HOME=/opt/hbase/hbase-2.1.9
export PATH=.:${JAVA_HOME}/bin:${SCALA_HOME}/bin:${SPARK_HOME}/bin:$PATH
source /etc/profile
export JAVA_HOME=/opt/jdk/jdk1.8.0_191
export HADOOP_HOME=/opt/hadoop/hadoop-2.7.7
export HBASE_HOME=/opt/hbase/hbase-2.1.9
export HBASE_CLASSPATH=ls /opt/hadoop/hadoop-2.7.7/etc/hadoop/
export HBASE_PID_DIR=/opt/DonotDelete/hbasepid
export HBASE_MANAGES_ZK=false
###
export HBASE_CLASSPATH-->hadoop配置文件的位置
HBASE_MANAGES_ZK=false-->不启用HBase自带的Zookeeper集群
export HBASE_PID_DIR-->存储pid,防止pid在tmp文件夹中被删而造成无法通过命令关闭进程
详见:
https://blog.csdn.net/xiao_jun_0820/article/details/35222699
https://www.cnblogs.com/qindongliang/p/4894572.html
https://www.cnblogs.com/weiyiming007/p/12018288.html
同样的,为了hadoop的pid的安全
vi /opt/hadoop/hadoop-2.7.7/etc/hadoop/hadoop-env.sh
export HADOOP_PID_DIR=/opt/DonotDelete/hadooppid
同理vi ~/spark-env.sh
export SPARK_PID_DIR=/opt/DonotDelete/sparkpid
注:如果要指定HDFS上的目录,端口号要与hdfs-site.xml中设为一致
<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://Gwj:8020/hbase</value>
</property>
<property>
<name>hbase.zookeeper.property.clientPort</name>
<value>2181</value>
</property>
<property>
<name>zookeeper.session.timeout</name>
<value>120000</value>
</property>
<property>
<name>hbase.master.maxclockskew</name>
<value>150000</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>Gwj,Ssj,Pyf</value>
</property>
<property>
<name>hbase.tmp.dir</name>
<value>/opt/hbase/temphbasedata</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.master</name>
<value>Gwj:60000</value>
</property>
</configuration>
Ssj
Pyf
/opt/hbase/hbase-2.1.9/bin/start-hbase.sh
stop-hbase.sh
status-hbase.sh
HBase
Master---HMaster
Slave---HRegionServer
2023-03-15
Navicat远程连接MongoDB最全实现方法以及报错解决2023-03-15
MongoDB的启动方法详细总结2023-03-11
详解分库分表后非分片键如何查询GROUP BY 语句用于结合合计函数,根据一个或多个列对结果集进行分组,下面这篇文章主要给大家介绍了关于高版本Mysql使用group by分组报错的解决方案,文中通过实例代码介绍的非常详细,需要的朋友可以参考下...
2023-03-06