分类目录

链接

2018年四月
« 3月    
 1
2345678
9101112131415
16171819202122
23242526272829
30  

近期文章

热门标签

博主推荐

群晖DSM使用端口大全

请参见下表: 设置工具 类型 端口号码 协议 Synology Assistant 9999、9998、9997 UDP 备份 类型 端口号码 协议 Data Replicator、Data Replicator II、Data Replicator III 9999、9998、9997、137、138、139、445 TCP 网络备份 873(数据)、3260(iSCSI LUN) TCP 加密的网络备份(远程 Time Backup) 22 TCP 下载 类型 端口号码 协议 eMule 4662(TCP)、4672(UDP) TCP/UDP BT 6890 ~ 6999(用于 DSM 版本...

大数据 暂无评论 阅读(41)

在windows环境下安装hadoop

最近折腾文件系统,用到了hadoop,虽然项目是部署在Linux下的。但自己平时开发用的是windows系统(本人用的是win10 64bit)。为了方便开发和调试,所以打算在windows环境下安装hadoop。 往上找了几篇文章,都说得不是很详细。安装过程中遇到了一些问题,索性自己折腾了一番,终于搞好了。 准备条件: 首先需要下载 hadoop的tar.gz包,目前最新版本是2.7.3 下载地址:http://hadoop.apache.org/releases.html 然后确保操作系统是64bit,已安装.netframework,要4.0以上版本,一般现在的windows系统都有自带的。 第...

大数据 暂无评论 阅读(119)

Hadoop入门案例(一) wordcount

1. 需求说明 大数据中,经常可能会碰到一些需要单词的出现个数,例如top n 等等。下面介绍一个hadoop的入门案例,对一个或多个文本中的单词进行统计 1.1 需求输入 输入一个或者多个文本 测试的文本内容如下 aa bb cc aa aa aa dd dd ee ee ee ee ff aa bb zks ee kks ee zz zks 1 2 3 4 1.2 需求输出 将文本中的内容按照单词进行计数,并且将各个单词的统计记录到制定的路径下 2. 代码如下 package com.myhadoop.mapreduce.test; import java.io.IOException; import java.util.*; import org.apache....

大数据 暂无评论 阅读(202)

分布式搭建hadoop2.8和spark2.1环境

一、前期准备工作: 1.安装包的准备: VMware(10.0版本以上) : 官方网站:https://www.vmware.com/cn.html 官方下载地址:http://www.vmware.com/products/player/playerpro-evaluation.html 10.0版本注册码: v1Z0G9-67285-FZG78-ZL3Q2-234JG 4C4EK-89KDL-5ZFP9-1LA5P-2A0J0 HY086-4T01N-CZ3U0-CV0QM-13DNU 11.0版本注册码: 1F04Z-6D111-7Z029-AV0Q4-3AEH8 12.0版本注册码: 5A02H-AU243-TZJ49-GTC7K-3C61N ubuntu14.0系统:(64位)选择ubuntu纯属个人喜好,Liunx发行版有很多都支持Hadoop,而1...

大数据 暂无评论 阅读(162)

Hadoop学习教程(三) —- Hadoop安装

这节就开始讲述Hadoop的安装吧。在这之前先配置下SSH免密码登录,为什么需要配置这个呢?大家都知道Hadoop集群中可能有几十台机器甚至是上千台机器,而每次启动Hadoop都需要输入密码才能够登录到每台机器的DataNode上的,所以为了避免后期繁琐的操作,一般都会配置SSH免密码登录。 注:笔者使用的远程连接工具是XShell,很好用的一款远程连接工具,推荐大家使用,还可以安装一下xftp文件传输工具,方便于将自己电脑上的软件拷贝到虚拟机中,xftp和Xshell是可以配套使用的。 配置SSH免密码登录,首先需要有SSH的支持...

大数据 暂无评论 阅读(179)

Hadoop学习教程(二) —- CentOS下安装JDK

上篇我们讲述了如何使用VMware安装CentOS系统,接下来就看如何安装我们最为熟悉的jdk吧!安装前先看看系统上有没有安装过jdk,输入java -version,如果查询出了其他版本的jdk版本,就先删除了,笔者这里使用jdk1.6。说开始就开始,下面开始说明安装步骤吧。 1.我们去Oracle获取jdk1.6安装文件,地址分享: http://download.csdn.net/download/hexiaolong0516/9985712   2.启动虚拟机,进入CentOS系统,首先进入/usr/local目录,新建java目录,进入java目录,将下载好的安装包拷贝进此目录,不知道怎么拷贝,Vmw...

LINUX, 大数据 暂无评论 阅读(214)

从今天开启大数据学习之路

先下载一个Hadoop权威指南(第3版) 修订版(带目录书签) 中文PDF高清晰 边看边学吧,目标3个月!

大数据 暂无评论 阅读(118)