小白对上节课里的“小麻雀”兴趣盎然，整天就在宿舍捣鼓。这不，几天下来他已经攻下十几个网站了。
小菜却喜欢一个人坐在电脑旁边，皱着眉头，欣赏着这一行行自己看不懂的代码。“这些字符好怪异呀！”小菜歪着头，“它为啥叫正则表达式呢？”
百度一下，终于知道。小菜在今天上课前似乎领悟到了正则表达式的真谛，心中窃喜：“今天我要好好显摆一下，看谁还说我菜。”
没想到，今天大牛老师却对正则表达式只字未提。
“首先，我们应该知道自己想要什么！”大牛老师向同学们讲道，仿佛是在上哲学课，“我们的爬虫Crawler想要得到什么呢？”
Crawler只有一个目的，那就是获取指定网页的内容，提取里面的链接。如此单一的目的如何实现呢？
现在我们可以猜想一下Crawler的构成：
1、Crawler必须有一个类是用来爬行的，名为Crawl。首先，它接收Control传递的两个队列：一个是提供地址的，一个是用来储存Crawl爬行得到的信息。
2、Crawler是基于多线程的，该类叫Worker。Crawl类在爬行时使用Worker实现多线程。Worker类会提供一个线程池，使爬行有序、稳定和快速。
3、Crawler必须有一个类来记录网页的相关信息，包括链接关系、抓取时间、优先级等，它是一个数据结构，实现它并不难。
先别急，在编写Sparrow的Crawler之前，有必要研究一下它是如何被调用的。
Crawler有一个控制器叫Control，它将一系列网址写到一个队列里，供Crawler爬行。Control初始化一个Crawler，队列以参数的形式传递给Crawler，Crawler开始工作后，立即从该队列里读入一个网址，进行一系列操作后返回该网页的内容和网页内的所有链接，并将它们放到另一个队列里。这两个队列都是由Control提供的，Crawler只负责抓取网页和分析链接。
这样，我们就清楚了：如果将Crawler比作手的话，Control就是大脑。Control又是怎样实现呢？
Control提供给Crawler两个队列，并启动Crawler。初始化Crawler的语句为
crawler=Crawler(request_queue,result_queue)
“为什么不让Crawler自己循环执行呢？”小白问道。
原因有二：
1、我们需要对爬行后得到的结果进行处理，只能让Crawler爬行我们想要的网页，而不是让爬虫漫无目的的乱逛。
2、让Crawler自己循环容易造成死循环，导致溢出甚至崩溃。
“Control好简�
译者言：
早在 2008 年 8 月，我就曾在自己的博客发表了一篇《为什么<Dive into Python>不值得推荐》（http://blog.csdn.net/lanphaday/archive/2008/08/28/2845258.aspx
），当时引起的讨论就不多说了，不过事实上到今天仍然有许多朋友留言与我讨论，让我几次贼心不死，想写再深入批判。好运的时候在我真正攒足动� ......
