分类目录

链接

2018年一月
« 12月    
1234567
891011121314
15161718192021
22232425262728
293031  

近期文章

热门标签

博主推荐

在windows环境下安装hadoop

最近折腾文件系统,用到了hadoop,虽然项目是部署在Linux下的。但自己平时开发用的是windows系统(本人用的是win10 64bit)。为了方便开发和调试,所以打算在windows环境下安装hadoop。 往上找了几篇文章,都说得不是很详细。安装过程中遇到了一些问题,索性自己折腾了一番,终于搞好了。 准备条件: 首先需要下载 hadoop的tar.gz包,目前最新版本是2.7.3 下载地址:http://hadoop.apache.org/releases.html 然后确保操作系统是64bit,已安装.netframework,要4.0以上版本,一般现在的windows系统都有自带的。 第...

大数据 暂无评论 阅读(75)

Hadoop入门案例(一) wordcount

1. 需求说明 大数据中,经常可能会碰到一些需要单词的出现个数,例如top n 等等。下面介绍一个hadoop的入门案例,对一个或多个文本中的单词进行统计 1.1 需求输入 输入一个或者多个文本 测试的文本内容如下 aa bb cc aa aa aa dd dd ee ee ee ee ff aa bb zks ee kks ee zz zks 1 2 3 4 1.2 需求输出 将文本中的内容按照单词进行计数,并且将各个单词的统计记录到制定的路径下 2. 代码如下 package com.myhadoop.mapreduce.test; import java.io.IOException; import java.util.*; import org.apache....

大数据 暂无评论 阅读(124)

分布式搭建hadoop2.8和spark2.1环境

一、前期准备工作: 1.安装包的准备: VMware(10.0版本以上) : 官方网站:https://www.vmware.com/cn.html 官方下载地址:http://www.vmware.com/products/player/playerpro-evaluation.html 10.0版本注册码: v1Z0G9-67285-FZG78-ZL3Q2-234JG 4C4EK-89KDL-5ZFP9-1LA5P-2A0J0 HY086-4T01N-CZ3U0-CV0QM-13DNU 11.0版本注册码: 1F04Z-6D111-7Z029-AV0Q4-3AEH8 12.0版本注册码: 5A02H-AU243-TZJ49-GTC7K-3C61N ubuntu14.0系统:(64位)选择ubuntu纯属个人喜好,Liunx发行版有很多都支持Hadoop,而1...

大数据 暂无评论 阅读(89)

Hadoop学习教程(三) —- Hadoop安装

这节就开始讲述Hadoop的安装吧。在这之前先配置下SSH免密码登录,为什么需要配置这个呢?大家都知道Hadoop集群中可能有几十台机器甚至是上千台机器,而每次启动Hadoop都需要输入密码才能够登录到每台机器的DataNode上的,所以为了避免后期繁琐的操作,一般都会配置SSH免密码登录。 注:笔者使用的远程连接工具是XShell,很好用的一款远程连接工具,推荐大家使用,还可以安装一下xftp文件传输工具,方便于将自己电脑上的软件拷贝到虚拟机中,xftp和Xshell是可以配套使用的。 配置SSH免密码登录,首先需要有SSH的支持...

大数据 暂无评论 阅读(110)

Hadoop学习教程(二) —- CentOS下安装JDK

上篇我们讲述了如何使用VMware安装CentOS系统,接下来就看如何安装我们最为熟悉的jdk吧!安装前先看看系统上有没有安装过jdk,输入java -version,如果查询出了其他版本的jdk版本,就先删除了,笔者这里使用jdk1.6。说开始就开始,下面开始说明安装步骤吧。 1.我们去Oracle获取jdk1.6安装文件,地址分享: http://download.csdn.net/download/hexiaolong0516/9985712   2.启动虚拟机,进入CentOS系统,首先进入/usr/local目录,新建java目录,进入java目录,将下载好的安装包拷贝进此目录,不知道怎么拷贝,Vmw...

LINUX, 大数据 暂无评论 阅读(123)

从今天开启大数据学习之路

先下载一个Hadoop权威指南(第3版) 修订版(带目录书签) 中文PDF高清晰 边看边学吧,目标3个月!

大数据 暂无评论 阅读(77)