python 爬虫程序详解
1 #!/usr/bin/python 使用魔法字符调用python
2
3 from sys import argv 导入sys是导入python解释器和他环境相关的参数
4 from os import makedirs,unlink,sep
os主要提供对系统路径，文件重命名和删除文件所需的函数
makedirs是创建递归文件夹的函数。比如说我们要创建一个新的目录，/python/HTML/crawl,但是目前这三个文件夹都不存在，如果使用mkdir命令的话需要使用三次才能完成，但是使用os.makedir只需使用一次就可以创建好整个目录。
os.makedirs(os.path.join(os.erviron["HOME"],"python","HTML","crawl")
os.unlink(path)删除file路径，和remove()相同。
sep os.sep系统用此来分割路径名
5 from os.path import dirname,exists,isdir,splitext
使用os中的这些模块来提取dirname路径名，exists,isdir是文件类型测试，测试是否是一个目录，splitext是将文件名和文件后缀分离。分成目录文件名和后缀两部分。
6 from string import replace,find,lower
导入string模块，用于字符串的替换，查找，和小写化。
7 from htmllib import HTMLParser
8 from urllib import urlretrieve
urlretrieve()函数用于将HTML文件整个下载到你的本地硬盘中去。
9 from urlparse import urlparse,urljoin
urlparse用于将URL分解成6个元素
而urljoin用于将baseurl和newurl组合在一起
10 from formatter import DumbWriter,AbstractFormatter
formatter函数主要用于格式化文本
11 from cStringIO import StringIO
调用cStringIO函数对内存中的文件进行处理
12
13 class Retriever:
Retriever类负责从网上下载网页并对每一个文档里面的连接进行分析，如果符合下载原则就添加到“待处理”队列中。从网上下载到的每个主页都有一个与之对应的Retriever实例。Retriever有几个帮助实现功能的方法，分别是：构造器(__init__()),filename(),download()和parseAndGetLinks()。
14 def __init__(self,url): 定义构造器，指向当前类的当前实例的引用。 self 指向新创建的
对象，另外一个参数是url.构造器实例化一个Retriever对象，并且把URL字符串和从filename()返回的与之对应的文件名保存为本地属性。
15 self.url=url
将url的值付给self.url
16 self.file=self.filename(url)
???
17 def filename(self,url,deffile="index
相关文档：
为了让UE支持python语言，google了很多，结果都不行，最后看了下面的博客才知道错哪了，总结下以免忘记。
http://wangtao.name/2009/12/20/ultraedit_python.html
在官网上找到python的扩展下载点：http://www.ultraedit.com/downloads/extras.html
有各种语言的扩展，便可以支持语法高亮。
python 2.5：http://www.u ......
1、使用def定义函数
2、函数文档：在函数的开头写下字符串，它就会作为函数的一部分进行存储，称为"文档字符串"。
内建的叫做help的函数非常有用,如果你在交互式解释器中使用，你可以得� ......
Python 列表
list是处理一组有序项目的数据结构，即你可以在一个列表中存储一个 序列 的项目。假想你有一个购物列表，上面记载着你要买的东西，你就容易理解列表了。只不过在你的购物表上，可能每样东西都独自占有一行，而在Python中，你在每个项目之间用逗号分割。
列表中的项目应该包括在方括号中，这样Python就知道你� ......
Python 元组
元组和列表十分类似，只不过元组和字符串一样是 不可变的 即你不能修改元组。元组通过圆括号中用逗号分割的项目定义。元组通常用在使语句或用户定义的函数能够安全地采用一组值的时候，即被使用的元组的值不会改变。
使用元组
例9.2 使用元组
#!/usr/bin/python
# Filename: using_tuple.py
zoo = ('wo ......
formatter 模块
formatter 模块提供了一些可用于 htmllib 的格式类( formatter classes ).
这些类有两种, formatter 和 writer . formatter 将 HTML 解析器的标签和数据流转换为适合输出设备的事件流( event stream ), 而 writer 将事件流输出到设备上.
大多情况下, 你可以使用 AbstractFormatter 类进行格式化. 它会根� ......
