如何创建分支并提交代码1.首先查看分支信息git branch* create dev master2.创建分支testgit branch test查看分支是否创建成功 git branch* create dev master test3.切换分支到testgit checkout testSwitched to branch 'test'查看是否切换成功git branch create dev master* test4.修改文件信息，比如这里添加一个文件touch testlsmacaca-test package.json test5.由于添加了新文件，所以...
两种设置方法1.直接在job中设置job.setNumReduceTasks(0);2.通过configuration设置conf.set(“mapred.reduce.tasks”,”0”);
安装docker直接下载安装https://download.docker.com/mac/stable/Docker.dmg安装master1.安装reliable-docker-base基础镜像git clone https://github.com/reliablejs/reliable-docker-base --depth=1cd reliable-docker-basedocker build -t="reliable-docker-base" .2.安装reliable-master镜像git clone https://github.com/reliablejs/reli...
idea工具调试如果说idea或者eclipse之前在编写的map/reduce程序后直接通过run as的方式能够运行，但是突然某天运行后报错，报错信息却下Error: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class mac.cn.SecondSort.advanced.after.SecondSortRunner1$MapClass not found，这里分析下为何出现这个问题。1.之前为何没有问题？那么为何之前没有问题呢，下面的目录结构是没有问题的目录结构下面的目录结构是出现问题之后的目录结构...
hadoop二次排序问题从hadoop二次排序中可以看出，虽然通过设计Reducer<CustomDatatype, NullWritable, CustomDatatype, NullWritable>这样的输出可以实现，但是发现reduce的输入key为CustomDatatype，也就是说只有map的输入的两列数据完全相同的时候才会进行合并，这样效率是很低的。因为数据到了reduce阶段会首先按照定义的group的规则进行分组，这里没有设置规则，因此按照默认的规则进行分组，只有相同的数据分组后进入reduce，重复该操作，但是两列重复的概率会有多大呢？这完全取决于数据本...
map/reduce简单介绍正常的map/reduce程序而言，在map阶段会根据key自动进行排序，因此key必须会实现CompareWritable接口，即要能排序又要能够序列化，因此为了测试map的输出能够按照key自动进行排序，下面简单的例子是将文本中两列文本按照第一列进行排序，这里权且叫做一次排序。hdfs上/user/mac/mapreduce/sort/input/input.txt文件中的内容信息为：hello worldword helloli xiaojiaoangle babygood studychina shanghaisafari chromehello li...
数据准备执行下面sql语句use hadoopdb.persons.insert({name:"zhangsan",age:15,sex:"M"})db.persons.insert({name:"lisi",sex:"M"})db.persons.insert({name:"wangwu",age:18})db.persons.insert({name:"xiaoer",age:18,sex:"M"})db.persons.insert({name:"tom",age:17})db.persons.insert({name:"Helen",age:15,sex:"F"})db.pers...
mac系统安装步骤1.通过homebrew安装mongodb 1.1 brew update |更新Homebrew的包数据库 1.2 brew install mongodb |安装mongodb数据库2.启动数据库 2.1 首先指定mongodb的数据目录，默认是/data/db，这里改为/Users/mac/software/mongodb/data 2.2 启动mongodb mongod --dbpath /Users/mac/software/mongodb/data3.启动客户端连接测试成功与否mac:data mac$ mongoMongoDB shell ver...