zz使用 Python 分离中文与英文的混合字串
使用 Python 分离中文与英文的混合字串
LiYanrui
posted @ 大约 1 年前
in 程序设计
with tags
python
, 614 阅读
这个问题是做 MkIV 预处理程序
时搞定的，就是把一个混合了中英文混合字串分离为英文与中文的子字串，譬如，将 ”我的 English 学的不好
“ 分离为 “我的"
、" English ”
与 "学的不好"
三个子字串。
1. 中英文混合字串的统一编码表示
中英文混合字串处理最省力的办法就是把它们的编码都转成 Unicode，让一个汉字与一个英文字母的内存位宽都是相等的。这个工作用
Python 来做，比较合适，因为 Python 内码采用的是 Unicode，并且为了支持 Unicode 字串的操作，Python
做了一个 Unicode 内建模块，把 string 对象的全部方法重新实现了一遍，另外提供了 Codecs
对象，解决各种编码类型的字符串解码与编码问题。
譬如下面的 Python 代码，可实现 UTF-8 编码的中英文混合字串向 Unicode 编码的转换：
# -*- coding:utf-8 -*-
a = "我的 English 学的不好"
print
type
(
a)
,len
(
a)
, a
b = unicode
(
a, "utf-8"
)
print
type
(
b)
, len
(
b)
, b
字符串 a 是 utf-8 编码，使用 python 的内建对象 unicode 可将其转换为 Unicode 编码的字符串 b。上述代码执行后的输出结果如下所示，比较字串 a 与字串 b 的长度，显然 len (b) 的输出结果是合理的。
<type 'str'
> 27
我的 English 学的不好
<type 'unicode'
> 15
我的 English 学的不好
要注意的一个问题是 Unicode 虽然号称是“统一码”，不过也是存在着两种形式，即：
UCS-2：为 16 位码，具有 2^16 = 65536 个码位；
UCS-4：为 32 位码，目前的规定是其首字节的首位为 0，因此具有 2^31 = 2147483648 个码位，不过现在的只使用了 0x00000000 － 0x0010FFFF 之间的码位，共 1114112 个。
使用Python sys 模块提供的一个变量 maxunicode 的值可以判断当前 Python 所使用的 Unicode 类型是 UCS-2 的还是 UCS-4 的。
import
sys
print
sys
.maxunicode
若 sys.maxunicode 的值为 1114111，即为 UCS-4；若为 65535，则为 UCS-2。
2. 中英文混合字串的分离
一旦中英文字串的编码获得统一，那么对它们进行分裂就是很简单的事情了。首先要为中文字串与英文字串分别准备
相关文档：
在Python中的线程运行实际是受到Interpreter的控制或者说牵制的。在Interpreter的核心函数
PyObject * PyEval_EvalFrameEx
(PyFrameObject *f, int
throwflag)
我们可以看到有一个全局变量_Py_Ticker来控制着线程对Interpreter的占有的，默认是Interpreter每执行一百条指令就会释放另一个全局变量interpreter_lock.
......
exec语句用来执行储存在字符串或文件中的Python语句。例如，我们可以在运行时生成一个包含Python代码的字符串，然后使用exec语句执行这些语句。下面是一个简单的例子。
>>> exec 'print "Hello World"'
Hello World
eval语句用来计算存储在字符串中的有效Python表达式。下面是一个简单的例子。
>>> ......
如果你对Python矩阵转置的实际应用操作方案的转置不知道如何进行下一步时，你就你需要转置一个二维数组,将Python矩阵转置的行列互换.
这样就可以完成你所需要的应用操作，以下是文章的具体操作。
你需要转置一个二维数组,将行列互换，讨论:你需要确保该数组的行列数都是相同的.比如:
arr
= [[1, 2,&nbs ......
最近又重新装上了windows 7感觉还是那样，主要是想用M8SDK写些程序。也想在windows上玩玩，一直都觉得用C写一些常用的东东很复杂，只有借助于解释性语言了，在python, ruby间选择，最终用Python。
python的语法非常简单，对于一个学过编程的人可能一上午就差不多了，不过python的强大之处在于它有N多的库可以方便我们处理� ......
本文总结了在Python中主要的几种处理XML的方法：
Element Tree
SAX
Dom
使用第三方类库如Amara 2.x， libxml2dom 等
Element Tree
Element Tree是Python 2.5引入的使用简单，快捷的处理方法， 也是Python标准类库推荐的处理XML的方法。
它使用树形节点的形式来读写XML。Element Tree是轻量级的DOM， 所以� ......
