reliable-master源码安装及调试及插件配置


源码环境下载搭建1.从github上下载最新的源码git clone https://github.com/reliablejs/reliable-master.gitCloning into 'reliable-master'...remote: Counting objects: 992, done.remote: Compressing objects: 100% (49/49), done.remote: Total 992 (delta 7), reused 0 (delta 0), pack-reused 942Receiving objects: 100% (992/992...

阅读全文 »


hive安装,远程模式


hive远程模式安装步骤远程模式,特点是:hive服务和metastore在不同的进程内,可能是不同的机器。该模式需要将hive.metastore.local设置为false,并将hive.metastore.uris设置为metastore服务器URI,如有多个metastore服务器,URI之间用逗号分隔。metastore服务器URI的格式为thrift://hostort下面配置方式为,将mac电脑作为hive的服务端程序,centos作为远程客户端程序来搭建1.配置hive服务端程序配置下面还是使用hive安装,内嵌模式及本地模式中的配置,配置修改为mysql数据库,这样可以...

阅读全文 »


zookeeper安装-单机版


zookeeper安装-单机版1.首先去cdh官网下载zookeeper2.解压zookeeper,这里安装单机版解压缩tar -zxvf zookeeper-3.4.5-cdh5.3.6.tar.gz -C newcdh/cd /Users/mac/software/newcdh/zookeeper-3.4.5-cdh5.3.6/赋值配置文件cp conf/zoo_sample.cfg conf/zoo.cfg创建数据目录mkdir -p data/zookeeper3.配置zoo.cfg文件的数据目录,修改后如下所示# The number of milliseconds of ea...

阅读全文 »


hbase安装


1.首先去cdh官网下载hbase2.解压下载后的hbase-0.98.6-cdh5.3.6.tar.gztar -zxvf hbase-0.98.6-cdh5.3.6.tar.gz -C newcdh/3.切换到conf目录下修改配置文件信息tar -zxvf hbase-0.98.6-cdh5.3.6.tar.gz -C newcdh/cd /Users/mac/software/newcdh/hbase-0.98.6-cdh5.3.6/conf4.修改环境文件hbase-env.sh修改下面几项信息export JAVA_HOME=/Library/Java/JavaVirtual...

阅读全文 »


hive安装,内嵌模式及本地模式


hive内嵌安装步骤内嵌模式,特点是:hive服务和metastore服务运行在同一个进程中,derby服务也运行在该进程中。该模式无需特殊配置1.首先去cdh官网下载hive2.解压缩,并切换到hive配置文件目录中tar -zxvf hive-0.13.1-cdh5.3.6.tar.gz -C newcdh/cp hive-log4j.properties.template hive-log4j.propertiescp hive-env.sh.template hive-env.sh3.修改hive-env.sh文件,设置下面的两行配置,HADOOP_HOME和HIVE_CONF_...

阅读全文 »


nginx+flume+hadoop实战


实战说明本文通过nginx服务器收集访问日志,并通过flume实时抽取日志到hdfs文件系统中nginx安装1.安装nginxbrew install nginxDocroot is: /usr/local/var/wwwThe default port has been set in /usr/local/etc/nginx/nginx.conf to 8080 so thatnginx can run without sudo.nginx will load all files in /usr/local/etc/nginx/servers/.To have launchd star...

阅读全文 »


mac安装redis


1.安装wgetmac:macaca mac$ brew install wget==> Downloading https://homebrew.bintray.com/bottles/wget-1.18.sierra.bottle.tar.gz######################################################################## 100.0%==> Pouring wget-1.18.sierra.bottle.tar.gz🍺 /usr/local/Cellar/wget/1.18: 9 files, 1.6M2...

阅读全文 »


mac系统搭建master-slave环境搭建(非docker版本)


配置mongodb数据库1.首先安装mongodb,教程参考https://codetosurvive1.github.io/posts/mac-mongodb-install.html2.安装完成后,首先启动mongodb服务端,这里启动如下mongod --dbpath software/mongodb/data/3.首先从github上下载reliable-macaca-docker-compose,然后进入后,解压backup.tar.gz文件,并恢复数据库下载reliable-macaca-docker-compose,获取表结构数据 git clone https://gi...

阅读全文 »