话说Python（四）欢迎小麻雀
小白是个微软迷，他的偶像是比尔大叔，原因当然是地球人都知道啦。大二的时候，他的“辍学计划”曾一度得逞，原因是他挂科太多。当然，大三新学期开始的时候，面对公众质疑，小白站在椅子上，像极了《大内密探零零发》里的西门吹雪：“世界首富比不一定有多出色，这只不过是你们这些星斗市民一厢情愿的想法罢了。”
每天小白都会在宿舍转悠，好像很“孤独”，嘴里念念有词：“这个世界正在发生着翻天覆地的变化，而我们却像毛驴似的生活。”最后，他总会来一句：“我要成立第二个谷歌！”
这节课，我们就会了解搜索引擎，还会编写一个小型的网络爬虫。
搜索引擎有哪几部分构成？
首先感谢这张图的原作者，主要还是要感谢Country。通过这张图，我们可以看到：首先，网络蜘蛛抓取网页，将网页内容及链接存到数据库中。然后由索引模块建立关键词到网址的索引，供检索模块查询。检索模块是根据你输入的内容从索引数据库提取数据。主要模块介绍如下：
网页抓取模块：包括Crawler和Crawler control，其中Crawler负责抓取并分析网页链接，返回page和url；Crawler control负责控制、调度Crawler。
网页存储模块:Page cache，用于存储Crawler抓取到的网页内容。
索引模块:建立关键词到链接和网页的索引。
检索模块：将要查询的内容分解为适合查询的词。
用户接口：接受用户输入，传递到检索模块。
接下来的课程里我们会根据所学的Python知识开发一个小型的搜索引擎。名字叫Sparrow即麻雀，意思是“麻雀虽小，五脏俱全”。我们的“麻雀”会随着我们知识的增加而越飞越高，说不定会变成凤凰呢。当然，现在它还没有起飞。
让我们开始搜索引擎之旅吧！
首先我们要学习的模块是网页抓取模块（Crawler），又叫做网络蜘蛛（Spider）。
这个模块由Crawler类来完成，该类初始化时首先接受Crawler control模块传递的url，执行完毕最后返回网页内容page和网页内出现的url链接link。源码如下：
import urllib.request #用于获取网页内容
import urllib.parse #解析网址的模块
import re #正则表达式
import queue #操作队列的模块
class Crawler(object): #网络�
相关文档：
import urllib
from HTMLParser import HTMLParser
class TitleParser(HTMLParser):
def __init__(self):
self.title = ''
self.divcontent = ''
self.readingtitle = 0
self.readingdiv = 0
HTMLParser.__init__(self)
def handle_starttag(self, tag, attrs):
......
万恶的编码
小菜对于老师上一节讲的不是很明白，因为没有一本书是将文件与web一起讲授的，他决定自己探究一下它们之间的不同：
首先，小菜在C盘建了一个文本文档 file.txt,输入四个字：我是小菜。
然后，小菜在shell中练习起来：
>>> file=open("c:\\file.txt","r")
>>> data=file.read()
>> ......
Install Python Eric IDE
1 Download following things
1) Python3.1
2) PyQt for python 3.1
(http://www.riverbankcomputing.co.uk/software/pyqt/download) I am using
PyQt-Py3.1-gpl-4.7.3-2.exe
3) Eric5 IDE
(http://eric-ide.python-projects.org/eric-download.html)
2 ......
#from pp3e Chapter 9.3
#############################################################################
# popup three new window, with style
# destroy() kills one window, quit() kills all windows and app; top-level
# windows have title, icon, iconify/deiconify and protocol for wm events;
# there ......
折腾计算机，被计算机折腾，前前后后也有十几年。
最可悲的是居然一无所成，虽然仅仅出于兴趣，并无工作之压力，但是这种挫折感确实是实打实的。
已经记不起是哪一天了，好像突然就知道了python的存在，从最初的不经意，到越来越喜爱，我一步步的向python靠近。
我喜欢Python，这是一个事实，我撰� ......
