【Nutch】Linux下单机配置Nutch
Linux下单机配置Nutch
1.环境介绍
操作系统：Red hat linux 9
Nutch版本：nutch-0.9,下载：http://apache.etoak.com/lucene/nutch/
JDK版本：JDK 1.6
Apache Tomcat版本：apache-tomcat-6.0.18
http://apache.etoak.com/tomcat/tomcat-6/v6.0.18/bin/apache-tomcat-6.0.18.tar.gz
2.配置前提
2.1 安装jdk 1.6
首先下载jdk安装包jdk-1_6_0_13-linux-i586-rpm.bin
第一步：# chmod +x jdk-1_6_0_13-linux-i586-rpm.bin (获得执行权限)
第二步：# ./jdk-1_6_0_13-linux-i586-rpm.bin (生成rpm安装包)
第三步：# rpm -ivh jdk-1_6_0_13-linux-i586.Rpm(安装ＪＤＫ)
安装完毕后，jdk默认安装在/usr/java/目录下。
第四步：配置JAVA环境变量。
在/etc/profile中设置环境变量
[root@red-hat-9 root]# vi /etc/profile
加入以下语句：
JAVA_HOME=/usr/java/jdk1.6.0_13
export JAVA_HOME
CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib (注意是冒号)
export CLASSPATH
PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
[root@red-hat-9 root]# chmod +x /etc/profile (执行权限)
[root@red-hat-9 root]# source /etc/profile (此后设置有效)
2.2 安装Tombact
第一步：设置环境变量(不是必须的)
[root@red-hat-9 program]# vi /etc/profile
export JDK_HOME=$JAVA_HOME
[root@red-hat-9 program]# source /etc/profile
第二步：安装tomnact，解压到某目录下即可
tar xf apache-tomcat-6.0.18.tar.gz
mv apache-tomcat-6.0.18 /zkl/progaram/
第三步：如何使用Apache Tomcat
①首先启动Tomcat，只需执行以下命令
# /zkl/program/apache-tomcat-6.0.18/bin/startup.sh
②Tomcat的网页主目录是/zkl/program/apache-tomcat-6.0.18/webapps/，只需在webapps目录中添加相应网页即可在浏览器访问，Tomcat默认目录是webapps下的ROOT目录。
http://127.0.0.1:8080/ 访问tomcat默认主目录，ROOT
http://127.0.0.1:8080/luceneweb 将luceneweb放入webapps中
③Apache http服务器的端口是 80，http://127.0.0.1访问的是Apache主目录
Apache Tomcat服务器端口是8080，二者不冲突，若有冲突，则可以修改tomcat配置文件server.xml
vi /zkl/program/apache-tomcat-6.0.18/c
相关文档：
Ubuntu10.04镜像会出现无法识别键盘输入。在登录画面时，不能输入密码，无法正常进入系统。 解决办法： （1） 开户屏幕键盘功能 在上图开机界面在右下角单击小人图案，再单击“Universal Access Perferences”，出击“Universal Access Perferences”对话框，在对话框中选中“Use on-screen keybo ......
1. 网络子系统
* 系统调用接口
* 协议无关层
* 协议实现层
* 驱动无关层
* 驱动程序层
注：调用接口<->协议层<->驱动程序
2. 网卡驱动程序
* 位于数据链路层
3. 关键数据结构
* struct net_device
* struct sk_buffer
4. 初始化
* 生成net_device，并初始化其成员
* 根据需要，对网卡自身寄存器 ......
LINUX常用命令（基础）
1. man 对你熟悉或不熟悉的命令提供帮助解释
eg:man ls 就可以查看ls相关的用法
注：按q键或者ctrl+c退出，在linux下可以使用ctrl+c终止当前程序运行。
2. ls 查看目录或者文件的属*，列举出任一目录下面的文件
eg: ls /usr/man
ls -l
a.d表示目录(directory)，如果是一个"-"表示是文件，如果 ......
nutch的爬虫和搜索可以说是分离的两块，爬虫可以是M/R作业，但搜索不是M/R作业。搜索有两种方式：一是将爬虫数据(或者称索引数据)放在本地硬盘，进行搜索。二是直接搜索HDFS中的爬虫数据。
这里介绍如何使用nutch-1.0的WEB前端检索本地爬虫数据：
(1)Nutch的搜索可以独立于hadoop集群，只要将爬虫下来的数据copy到任何机� ......
