用ruby写的web抓取小工具
最近由于学习使用linux下的C开发，需要查询Linux C函数参考，就经常上http://man.chinaunix.net/develop/c&c++/linux_c/default.htm查看，描述得比较详细而且还有例子。
网上还有许多各种技术的网页格式的参考材料都非常强大，可惜很多时候都没有网。于是就想写个脚本可以把文档下载，像android开发者文档一样弄到本地来，用起来就方便多了，要是用CHM工具打成chm格式就更好了。
于是就动手用ruby写了这么个脚本，把网页读取下来，保存到本地，同时下载网页中的样式、JS文件以及图片等文件，并替换相应的链接，尽量保持网页的效果。整个程序大约300行，尝试地抓取了几个网站都挺好，保留了样式、超链接甚至部分的JS。除此之外，它还能限制下载文件的类型和大小，可以……
当然,bug还很多，而且网页的HTML内容过于灵活和复杂，很多东西搞下来可能就面目全非了，真正要写一个好的parser果然是相当复杂- -!
下面是代码的注释，完整文件可在此下载。
#定义一个模块,打印日志
module Log
def Log.i(msg)
print "[INFO]#{msg}\n"
end
def Log.e(msg)
print "[ERROR]#{msg}\n"
end
end
#定义一个类，用于封装加入到队列中的url，包含了url的链接深度和待保存的文件名的信息
class UrlObj
attr_accessor :url,:depth,:save_name
def initialize(url,depth,save_name)
@url=url
@save_name=save_name
@depth=depth
end
def info#解析得到url中的信息
return @info if @info
begin
@info=URI.parse(@url)
return @info
rescue Exception=>e
Log.e e
return nil
end
end
def domain#获取url中的域名
if @domain
return @domain
elsif !info
Log.e("#{@url}'s host is nil")
return nil
elsif !info.host
Log.e("#{@url}'s host is nil")
return nil
else
return info.host[/\w+\.\w+$/]
end
end
end
接下来是最主要的一类WebSnatcher:
class WebSnatcher
THREAD_SLEEP_TIME=0.5#定义常量，线程睡眠时间
HTTP_RETRY_TIMES=3#设置打开链接的重试次数
#初始化类变量和各种设置参数
def initialize(opt={})
@url_to_download=[]#待下载的url容器
@url_to_download_count=0#待下载的url数量
相关文档：
ruby中自带实现观察者模式的类observer。可以利用它来实现观察者模式。
代码例子：
# -*- coding: GB2312 -*-
require 'observer'
# 观察者模式(ruby)的使用例子
# 被观察者P
class PObservable
include Observable
end
# 观察者A
class AObserver
# update方法名是必须的要有的
def update(arg)
puts "AO ......
三者之间区别并不像你想的那么难，也不会像有些文章写的那么长。挺简单的。
相同之处：三者均在kernel中定义的，均含有包含进某物之意。
不同之处：
1、requre,load用于文件，如.rb等等结尾的文件。
2、include则用于包含一个文件(.rb等结尾的文件)中的模块。
3、requre一般情况下用于加载库文件，而load则用于加载� ......
原文连接： http://hi.baidu.com/%B7%CF%B2%C5%CB%FB%B8%E7/blog/item/09c19411244152daf7039ec4.html
通过命令行查看ruby版本信息：
ruby -v
命令行运行程序：
方法1.
ruby -e 'print "hello ruby"'
-e 表示将后面的一行作为ruby程序
print 是ruby的一个内置函数
方法2.交互编译环境
irb （命令行输入后， ......
文章转自 http://www.ej38.com/showinfo/Ruby-140367.html
过程如下：
1、ruby下载一键安装：
http://rubyforge.org/frs/download.php/29263/ruby186-26.exe
ruby -v 显示版本，安装成功
2、下载rubygems安装：
http://rubyforge.org/frs/download.php/60719/rubygems-1.3.5.zip
解压，ruby setup.rb
g ......
To get it done is not easy. I spent a whole day to figure out the various compatibility issues along the way out.
Now there still might be potential issues, but it works by my rough test.
Step 1: Install Apache Cassandra
You may know that the Ruby gem cassandra will do it for you.
......
