话说Python（五）开始起飞吧
小白对上节课里的“小麻雀”兴趣盎然，整天就在宿舍捣鼓。这不，几天下来他已经攻下十几个网站了。
小菜却喜欢一个人坐在电脑旁边，皱着眉头，欣赏着这一行行自己看不懂的代码。“这些字符好怪异呀！”小菜歪着头，“它为啥叫正则表达式呢？”
百度一下，终于知道。小菜在今天上课前似乎领悟到了正则表达式的真谛，心中窃喜：“今天我要好好显摆一下，看谁还说我菜。”
没想到，今天大牛老师却对正则表达式只字未提。
“首先，我们应该知道自己想要什么！”大牛老师向同学们讲道，仿佛是在上哲学课，“我们的爬虫Crawler想要得到什么呢？”
Crawler只有一个目的，那就是获取指定网页的内容，提取里面的链接。如此单一的目的如何实现呢？
现在我们可以猜想一下Crawler的构成：
1、Crawler必须有一个类是用来爬行的，名为Crawl。首先，它接收Control传递的两个队列：一个是提供地址的，一个是用来储存Crawl爬行得到的信息。
2、Crawler是基于多线程的，该类叫Worker。Crawl类在爬行时使用Worker实现多线程。Worker类会提供一个线程池，使爬行有序、稳定和快速。
3、Crawler必须有一个类来记录网页的相关信息，包括链接关系、抓取时间、优先级等，它是一个数据结构，实现它并不难。
先别急，在编写Sparrow的Crawler之前，有必要研究一下它是如何被调用的。
Crawler有一个控制器叫Control，它将一系列网址写到一个队列里，供Crawler爬行。Control初始化一个Crawler，队列以参数的形式传递给Crawler，Crawler开始工作后，立即从该队列里读入一个网址，进行一系列操作后返回该网页的内容和网页内的所有链接，并将它们放到另一个队列里。这两个队列都是由Control提供的，Crawler只负责抓取网页和分析链接。
这样，我们就清楚了：如果将Crawler比作手的话，Control就是大脑。Control又是怎样实现呢？
Control提供给Crawler两个队列，并启动Crawler。初始化Crawler的语句为
crawler=Crawler(request_queue,result_queue)
“为什么不让Crawler自己循环执行呢？”小白问道。
原因有二：
1、我们需要对爬行后得到的结果进行处理，只能让Crawler爬行我们想要的网页，而不是让爬虫漫无目的的乱逛。
2、让Crawler自己循环容易造成死循环，导致溢出甚至崩溃。
“Control好简�
相关文档：
万恶的编码
小菜对于老师上一节讲的不是很明白，因为没有一本书是将文件与web一起讲授的，他决定自己探究一下它们之间的不同：
首先，小菜在C盘建了一个文本文档 file.txt,输入四个字：我是小菜。
然后，小菜在shell中练习起来：
>>> file=open("c:\\file.txt","r")
>>> data=file.read()
>> ......
前言：
最近又想学习python,又想去温习一下算法，于是就想出了这个两不误的方法,^_^
堆栈：
使用python的列表结构，详情可以查看help(list)
#Filename: stack.py
shoplist=['apple','mango','carrot','banana']
shoplist.append('rice')
popitem=shoplist[-1]
del shoplist[-1]
print 'the popitem is',popitem
......
小白是个微软迷，他的偶像是比尔大叔，原因当然是地球人都知道啦。大二的时候，他的“辍学计划”曾一度得逞，原因是他挂科太多。当然，大三新学期开始的时候，面对公众质疑，小白站在椅子上，像极了《大内密探零零发》里的西门吹雪：“世界首富比不一定有多出色，这只不过是你们这些星斗市民一厢情愿的想法� ......
自己遇到的一个问题, WestGeco的3D地震数据, 提取导航数据:
#!/bin/env python
import sys
import struct
try:
f=open(sys.argv[1],'rb')
except (IOError,Exception):
print '''usage:
scriptname segyfilename
'''
&nbs ......
