ZZ python处理中文

以下为我在处理网页编码问题看的文章，现在写爬虫自己处理网页编码问题确实比较麻烦，网页也没有规定
一定要在META头信息里带编码信息，而很多人写的探测编码就是获取META，这是不可取的，而有的人则是分析HTTP返回的数据包里边的
charset，如（a.headers.getparam('charset')），而HTTP包没有规定一定要带charset，所以也不是可靠的办
法。
我目前用的最好办法是写个函数自动对内容进行识别，然后返回识别后自动转化好的数据。
不知道还有没有标准的获取网页编码的方法。
以下对编码的讲解可以对那些处理网页编码问题的PYER们有所帮助。
http://blog.chinaunix.net/u/3204/showart_389639.html
http://www.woodpecker.org.cn/diveintopython/xml_processing/unicode.html
python的中文问题一直是困扰新手的头疼问题，这篇文章将给你详细地讲解一下这方面的知识。当然，几乎可以确定的是，在将来的版本中，python会彻底解决此问题，不用我们这么麻烦了。
先来看看python的版本：
>>> import sys
>>> sys.version
'2.5.1 (r251:54863, Apr 18 2007, 08:51:08) [MSC v.1310 32 bit (Intel)]'
（一）
用记事本创建一个文件ChineseTest.py，默认ANSI：
s = "中文"
print s
测试一下瞧瞧：
E:\Project\Python\Test>python ChineseTest.py
File "ChineseTest.py", line 1
SyntaxError: Non-ASCII character '\xd6' in file ChineseTest.py on line 1, but no
encoding
declared
; see http://www.pytho
n.org/peps/pep-0263.html for details
偷偷地把文件编码改成UTF-8：
E:\Project\Python\Test>python ChineseTest.py
File "ChineseTest.py", line 1
SyntaxError: Non-ASCII character '\xe4' in file ChineseTest.py on line 1, but no
encoding
declared
; see http://www.pytho
n.org/peps/pep-0263.html for details
无济于事。。。
既然它提供了网址，那就看看吧。简单地浏览一下，终于知道如果文件里有非ASCII字符，需要在第一行或第二行指定编码声明。把ChineseTest.py文件的编码重新改为ANSI，并加上编码声明：
# coding=gbk
s = "中文"
print s
再试一下：
E:\Project\Python\Test>python ChineseTest.py
中文
正常咯：）
（二）
看一看它的长度：
# coding=gbk
s = "中文"
print len(s)
结果：4。