关于用Python处理大量数据的问题

我现在要处理数百万条数据，处理过程是通过比较数据里是否有指定的字符串，再插入到另外的表中，请问用Python如何高效完成？先谢谢各位了。

---

建议：别直接跟数据库比较。太耗费IO。
把你需要比较的字段从数据库导出，然后再做文本之间的比较。

---

同意楼上的。这种大量操作，直接操作数据库肯定要快很多。如果你确定不能使用数据库来操作的话，可以考虑用C++写个简单代码来做，否则那你只好慢慢做了

---

我现在要处理数百万条数据，处理过程是通过比较数据里是否有指定的字符串，
====》直接用sql语句就可以实现

再插入到另外的表中
====》把符合条件的记录用事务添加到另一个表里。

---

引用

同意楼上的。这种大量操作，直接操作数据库肯定要快很多。如果你确定不能使用数据库来操作的话，可以考虑用C++写个简单代码来做，否则那你只好慢慢做了

不是很同样这位哥们的说法。我觉得这里的主要问题是对数据库中大量数据的操作，而不是具体编程语言的问题。

---

引用

我现在要处理数百万条数据，处理过程是通过比较数据里是否有指定的字符串，
====》直接用sql语句就可以实现

再插入到另外的表中
====》把符合条件的记录用事务添加到另一个表里。

请教一下，用SQL语句如何实现，我对SQL语句不太熟？我用的是MySQL

---

谢谢，我试试。

---

海量数据还是用数据库吧，不然要它干嘛的。当然如果能事先全部加载到内存更好了。