【Nutch】Linux下Nutch分布式配置和使用
Linux下Nutch分布式配置和使用
目 录
介绍. 2
0 集群网络环境介绍. 2
1 /etc/hosts文件配置. 2
2 SSH无密码验证配置. 2
2.1配置所有节点之间SSH无密码验证. 2
3 JDK安装和Java环境变量配置. 3
3.1 安装 JDK 1.6 3
3.2 Java环境变量配置. 4
4 Hadoop集群配置. 4
5 Hadoop集群启动. 6
6 Nutch分布式爬虫. 9
6.1配置Nutch配置文件. 9
6.2 执行Nutch分布式爬虫. 10
7 Nutch检索. 13
7.1 Windows下Nutch单机搜索本地索引数据. 13
7.2 Linux下Nutch单机搜索本地索引数据. 14
7.2.1 WEB前端搜索. 14
7.2.2 命令行搜索. 15
7.3 Linux下Nutch搜索HDFS中索引数据. 15
7.3.1 WEB前端搜索. 16
7.3.2 命令行搜索. 17
附 Nutch-1.1 介绍. 18
介绍
这是本人在完全分布式环境下在Cent-OS中配置Nutch-1.1时的总结文档，但该文档适合所有Linux系统和目前各版本的nutch。
0 集群网络环境介绍
集群中所有节点均是Cent-OS系统，防火墙均禁用，sshd服务均开启；所有节点上均有一个名为nutch的用户(非超级用户，安装前root使用useradd添加)，用户主目录是/home/nutch。
集群包含三个节点：1个namenode，2个datanode，节点之间局域网连接，可以相互ping通。节点IP地址和主机名分布如下：
10.10.97.132 gc03vm12 namenode
10.10.97.142 gc04vm12 datanode01
10.10.97.144 gc04vm14 datanode02
本配置将Nutch安装在/home/nutch/nutchinstall目录下。一般最好建议安装在其它非主目录路径下，例如/usr/local下，但此时需要使nutch用户对目录有rwx权限（nutch用户对主目录有rwx权限），一般做法是root用户在/usr/local下创建一个目录，并修改该目录拥有者为nutch(chown –R nutch:nutch 目录路径)。
1 /etc/hosts文件配置
namenode节点上vi /etc/hosts，将所有节点的名字和IP地址写入其中，写入如下内容，注意注释掉127.0.0.1行：
10.10.97.132 gc03vm12
10.10.97.142 gc04vm12
10.10.97.144 gc04vm14
# 127.0.0.1 centos54 localhost.local
相关文档：
一、引言：
本文档的内容大部份内容都是从网上收集而来，然后配合一些新的截图（内核版本：V2.4.19）。在每一配置项后会有一个选择指南的部份，用来指导大家怎么样根据自己的情况来做相应的选择；还有在每一个大项和文档的最后会有一个经验谈，它是一些高手们在应对问题和处理特有硬件时的一些经验（这个还� ......
转自：http://linuxtoy.org/archives/top-10-one-liners.html
下面是来自 Commandlinefu 网站由用户投票决出的 10 个最酷的 Linux 单行命令，希望对你有用。
sudo !!
以 root 帐户执行上一条命令。
python -m SimpleHTTPServer
利用 Python 搭建一个简单的 Web 服务器，可通过 http://$HOSTNAME:8000 访问。
:w !su ......
1. 网络子系统
* 系统调用接口
* 协议无关层
* 协议实现层
* 驱动无关层
* 驱动程序层
注：调用接口<->协议层<->驱动程序
2. 网卡驱动程序
* 位于数据链路层
3. 关键数据结构
* struct net_device
* struct sk_buffer
4. 初始化
* 生成net_device，并初始化其成员
* 根据需要，对网卡自身寄存器 ......
概述：
消息队列是linux下进程间通信的一种方式，一般用于传送少量数据，如果大量数据需要在进程间共享，则可以用共享内存。
函数接口使用：
linux下提供了以下几个接口，用于消息队列的使用，使用一般过程如下：
1. 调用ftok接口产生一个key.
使用ftok的好处是，访问同一个消息队列的不同进程可以 ......
众所周知Windows下的文件删除之后是有可能恢复的，对重要文件，为了增加恢复的难度，我们可以用文件粉碎工具进行文件粉碎。我最常用的是集成到资源管理器中的Eraser。那么在Linux下有没有类似的软件呢？我在一台只有Ubuntu系统的主机上，安装了一个文件粉碎工具wipe，有些想法，记下来。
安装：apt-get install wipe
wipe ......
