易截截图软件、单文件、免安装、纯绿色、仅160KB

关于用Python处理大量数据的问题

我现在要处理数百万条数据,处理过程是通过比较数据里是否有指定的字符串,再插入到另外的表中,请问用Python如何高效完成?先谢谢各位了。

建议:别直接跟数据库比较。太耗费IO。
把你需要比较的字段从数据库导出,然后再做文本之间的比较。

同意楼上的。这种大量操作,直接操作数据库肯定要快很多。如果你确定不能使用数据库来操作的话,可以考虑用C++写个简单代码来做,否则那你只好慢慢做了

我现在要处理数百万条数据,处理过程是通过比较数据里是否有指定的字符串,
====》直接用sql语句就可以实现

再插入到另外的表中
====》把符合条件的记录用事务添加到另一个表里。

引用
同意楼上的。这种大量操作,直接操作数据库肯定要快很多。如果你确定不能使用数据库来操作的话,可以考虑用C++写个简单代码来做,否则那你只好慢慢做了


不是很同样这位哥们的说法。我觉得这里的主要问题是对数据库中大量数据的操作,而不是具体编程语言的问题。

引用
我现在要处理数百万条数据,处理过程是通过比较数据里是否有指定的字符串,
====》直接用sql语句就可以实现

再插入到另外的表中
====》把符合条件的记录用事务添加到另一个表里。

请教一下,用SQL语句如何实现,我对SQL语句不太熟?我用的是MySQL


谢谢,我试试。

海量数据还是用数据库吧,不然要它干嘛的。当然如果能事先全部加载到内存更好了。


相关问答:

python 异常退出

最近用python写一个程序,总是异常退出,但是却没法用try..except来捕捉

由于没法发图片,所以把相关的信息打印出来
异常的信息大致如下:

python.exe遇到问题需要关闭。我们对此引起的不便表示抱歉 ......

python编译器问题

    我现在用的是eclipse 那个插件,可能是因为没配置明白的问题,感觉不好,没有一些必要的功能。
    后来我换了Eric4,比eclipse插件好用不少,但是缺少一个我最希望有的功能:代码追踪, ......

用python进行文件比较的问题

在Python for unix and linux System Administration这本书的第6章的Comparing Data一节提到用filecmp这个模块的cmp函数来判断2个文件是否相同。

如下所示:
Python code:

import filecmp
filecmp.c ......

关于C#与python的问题

我想用python写服务端,C#写客户端,另外想把客户端C#中的对象序列化后传给服务端,用python反序列化后重建对象,不知道有没有这个可能?如果有可能能否提供个思路?
一切皆有可能。
思路你已经说的挺清楚的了。 ......

eric4怎么运行python程序?

python和pyqt以及Eric4都已经配置好了,打开Eric4写个python程序比如简单的
print“hello,world”,怎么编译运行了,Start菜单的所有命令都出现和图中差不多的对话框,应当怎么运行了?

求大家指教

没有人用 ......
© 2009 ej38.com All Rights Reserved. 关于E健网联系我们 | 站点地图 | 赣ICP备09004571号