关于用Python处理大量数据的问题
我现在要处理数百万条数据，处理过程是通过比较数据里是否有指定的字符串，再插入到另外的表中，请问用Python如何高效完成？先谢谢各位了。
建议：别直接跟数据库比较。太耗费IO。
把你需要比较的字段从数据库导出，然后再做文本之间的比较。
同意楼上的。这种大量操作，直接操作数据库肯定要快很多。如果你确定不能使用数据库来操作的话，可以考虑用C++写个简单代码来做，否则那你只好慢慢做了
我现在要处理数百万条数据，处理过程是通过比较数据里是否有指定的字符串，
====》直接用sql语句就可以实现
再插入到另外的表中
====》把符合条件的记录用事务添加到另一个表里。
不是很同样这位哥们的说法。我觉得这里的主要问题是对数据库中大量数据的操作，而不是具体编程语言的问题。
请教一下，用SQL语句如何实现，我对SQL语句不太熟？我用的是MySQL
谢谢，我试试。
海量数据还是用数据库吧，不然要它干嘛的。当然如果能事先全部加载到内存更好了。
相关问答：
聊聊，我一直不是很理解为什么动态语言就不需要接口，我只是从建模的角度考虑，接口是一种合理的建模方式呀，特别是大的项目，而且代码容易维护。相比接口多重继承是一种很糟糕的方式。为什么动态语言就不需要接口， ......
我想用python写服务端，C#写客户端，另外想把客户端C#中的对象序列化后传给服务端，用python反序列化后重建对象，不知道有没有这个可能？如果有可能能否提供个思路？
一切皆有可能。
思路你已经说的挺清楚的了。 ......
定义下面这样一个函数，将excel表格中两个单元格的内容连成一个字符串，但是如果前一个单元格的内容是数字，比如是“1”，后一个单元格的事字符串，就会报错unsupported operand type(s) for +=: 'float' an ......
我用了def CreateMyDialog(self):
dlg = MyDialog(None, -1, ''.decode('utf8'), (300,300), (300,200), wx.DEFAULT_DIALOG_STYLE | wx.DIALOG_NO_PARENT )
&nbs ......
python和pyqt以及Eric4都已经配置好了，打开Eric4写个python程序比如简单的
print“hello，world”，怎么编译运行了，Start菜单的所有命令都出现和图中差不多的对话框，应当怎么运行了？
求大家指教
没有人用 ......
