Python线程编程（三）同步队列
我们经常会采用生产者/消费者关系的两个线程来处理一个共享缓冲区的数据。例如一个生产者线程接受用户数据放入一个共享缓冲区里，等待一个消费者线程对数据取出处理。但是如果缓冲区的太小而生产者和消费者两个异步线程的速度不同时，容易出现一个线程等待另一个情况。为了尽可能的缩短共享资源并以相同速度工作的各线程的等待时间，我们可以使用一个“队列”来提供额外的缓冲区。
创建一个“队列”对象
import Queue
myqueue = Queue.Queue(maxsize = 10)
Queue.Queue类即是一个队列的同步实现。队列长度可为无限或者有限。可通过Queue的构造函数的可选参数maxsize来设定队列长度。如果maxsize小于1就表示队列长度无限。
将一个值放入队列中
myqueue.put(10)
调用队列对象的put()方法在队尾插入一个项目。put()有两个参数，第一个item为必需的，为插入项目的值；第二个block为可选参数，默认为1。如果队列当前为空且block为1，put()方法就使调用线程暂停,直到空出一个数据单元。如果block为0，put方法将引发Full异常。
将一个值从队列中取出
myqueue.get()
调用队列对象的get()方法从队头删除并返回一个项目。可选参数为block，默认为1。如果队列为空且block为1，get()就使调用线程暂停，直至有项目可用。如果block为0，队列将引发Empty异常。
我们用一个例子来展示如何使用Queue
# queue_example.py
from Queue import Queue
import threading
import random
import time
# Producer thread
class Producer(threading.Thread):
def __init__(self, threadname, queue):
threading.Thread.__init__(self, name = threadname)
self.sharedata = queue
def run(self):
for i in range(20):
print self.getName(),'adding',i,'to queue'
self.sharedata.put(i)
time.sleep(random.randrange(10)/10.0)
print self.getName(),'Finished'
# Consumer thread
class Consumer(threading.Thread):
def __init__(self, threadname, queue):
threading.Thread.__init__(self, name = threadname)
self.sharedata = queue
def run(self):
for i in range(20):
print self.getName(),'got a value:',self.sharedata.get()
time.sleep(random.randrange(10)/10.0)
print self.getName(),'Finished'
# Main thread
def main():
queue = Queue()
producer = Producer('Producer', queue)
consumer =
相关文档：
以下为我在处理网页编码问题看的文章，现在写爬虫自己处理网页编码问题确实比较麻烦，网页也没有规定
一定要在META头信息里带编码信息，而很多人写的探测编码就是获取META，这是不可取的，而有的人则是分析HTTP返回的数据包里边的
charset，如（a.headers.getparam('charset')），而HTTP包没有规定一定要带charset，所� ......
from http://blog.alexa-pro.cn/?p=189
1: os.listdir(path) //path为目录
功能相当于在path目录下执行dir命令，返回为list类型
print os.listdir('..')
输出：
[a,b,c,d]
2: os.path.walk(path,visit,arg)
path ：是将要遍历的目录
visit ：是一个函数指针，函数圆形为：
callback(arg,dir,fileList)
其中arg为� ......
每个模块都有一个名称，在模块中可以通过语句来找出模块的名称。这在一个场合特别有用
——就如前面所提到的，当一个模块被第一次输入的时候，这个模块的主块将被运行。
每个Python模块都有它的__name__，如果它是'__main__'，这说明这个模块被用户单独运行，
我们可以进行相应的恰当操作。
#!/usr/bin/pytho ......
python 2.4中datetime有strftime方法而无strptime方法
而python2.5中这两个方法均有，而我的开发环境正好是python 2.5，而运行环境则是python 2.4
开发环境下调试好的程序，在服务器上就不run。查了一下python的官方文档
，斜体写着：New
in version 2.5.
不兼容的代码如下：
Python语言
:
test_strptime.py
res ......
