Linux下单机配置Nutch
1.环境介绍
操作系统：Red hat linux 9
Nutch版本：nutch-0.9,下载：http://apache.etoak.com/lucene/nutch/
JDK版本：JDK 1.6
Apache Tomcat版本：apache-tomcat-6.0.18
http://apache.etoak.com/tomcat/tomcat-6/v6.0.18/bin/apache-tomcat-6.0.18.tar.gz
2.配置前提
2.1 安装jdk 1.6
首先下载jdk安装包jdk-1_6_0_13-linux-i586-rpm.bin
第一步：# chmod +x jdk-1_6_0_13-linux-i586-rpm.bin (获得执行权限)
第二步：# ./jdk-1_6_0_13-linux-i586-rpm.bin (生成rpm安装包)
第三步：# rpm -ivh jdk-1_6_0_13-linux-i586.Rpm(安装ＪＤＫ)
安装完毕后，jdk默认安装在/usr/java/目录下。
第四步：配置JAVA环境变量。
在/etc/profile中设置环境变量
[root@red-hat-9 root]# vi /etc/profile
加入以下语句：
JAVA_HOME=/usr/java/jdk1.6.0_13
export JAVA_HOME
CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib (注意是冒号)
export CLASSPATH
PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
[root@red-hat-9 root]# chmod +x /etc/profile (执行权限)
[root@red-hat-9 root]# source /etc/profile (此后设置有效)
2.2 安装Tombact
第一步：设置环境变量(不是必须的)
[root@red-hat-9 program]# vi /etc/profile
export JDK_HOME=$JAVA_HOME
[root@red-hat-9 program]# source /etc/profile
第二步：安装tomnact，解压到某目录下即可
tar xf apache-tomcat-6.0.18.tar.gz
mv apache-tomcat-6.0.18 /zkl/progaram/
第三步：如何使用Apache Tomcat
①首先启动Tomcat，只需执行以下命令
# /zkl/program/apache-tomcat-6.0.18/bin/startup.sh
②Tomcat的网页主目录是/zkl/program/apache-tomcat-6.0.18/webapps/，只需在webapps目录中添加相应网页即可在浏览器访问，Tomcat默认目录是webapps下的ROOT目录。
http://127.0.0.1:8080/ 访问tomcat默认主目录，ROOT
http://127.0.0.1:8080/luceneweb 将luceneweb放入webapps中
③Apache http服务器的端口是 80，http://127.0.0.1访问的是Apache主目录
Apache Tomcat服务器端口是8080，二者不冲突，若有冲突，则可以修改tomcat配置文件server.xml
vi /zkl/program/apache-tomcat-6.0.18/c
1. #vi /etc/profile，增加ulimit -HSn 65536
2. #vi /etc/security/limits.conf，为你的用户增加
user soft nofile 38192
user hard nofile 65536
3. 重启Shell即可
4. ulimit -a 查看设置是否成功。
5. 查看系统总限制的命令：
#cat /proc/sys/fs/file-max
6 ......
http://www.ibm.com/developerworks/cn/linux/l-busybox/
BusyBox 简化嵌入式 Linux 系统
为小环境准备的一个小工具包
文档选项
<tr valign="top"><td width="8"><img alt="" height="1" width="8" src="//www.ibm.com/i/c.gif"/></ ......
nutch的爬虫和搜索可以说是分离的两块，爬虫可以是M/R作业，但搜索不是M/R作业。搜索有两种方式：一是将爬虫数据(或者称索引数据)放在本地硬盘，进行搜索。二是直接搜索HDFS中的爬虫数据。
这里介绍如何使用nutch-1.0的WEB前端检索本地爬虫数据：
(1)Nutch的搜索可以独立于hadoop集群，只要将爬虫下来的数据copy到任何机� ......
