HOME

关于字符编码

很早之前就碰到过”乱码”这个现象,当时非常困惑,完全不能理解发生了什么。

上大学以后,虽然开始接触计算机,不过我就没看到过具体讲解字符编码的内容。对这个领域始终是感到非常模糊。

不过,最近好像豁然开朗了一下,感觉突然就明白了这个问题。

下面我来解释一下我所理解的字符编码。

首先,所有的字符(或者说所有的信息)都是以二进制的形式存储在计算机中。所谓的编码就是 映射字符与相应的二进制之间的规则。这样的映射可以任意定义,只要大家都遵守就行了。

比如非常经典的 ASCII 码,就将英文中的字符映射为一个字节。比如,A 这个字符编码为 65,存储在计算机中为 01000001,占据一个字节。

其他的所有字符编码都是同理,比如汉字的经典编码 GBK。

以 丁 这个汉字为例,GBK 编码为 0xB6A1,存储为二进制是 10110110 10100001(直接将 B6A1 换成二进制),两个字节。

用工具查看内部字节可以看出,如图:

同样的道理,如果使用 utf-8 编码,丁在 Unicode 字符集中的编号为 0x4E01,但它存储在计算机中并不是简单的将 0x4E01 翻译为对应的二进制。

这里就要分清楚两个概念,字符集和字符编码。字符集是定义字符的,每一个字符在字符集中都有一个唯一的编号,Unicode 就是一个字符集,丁这个字符在 Unicode 字符集的编号是 0x4E01。

字符编码是指将字符编号变换成二进制的方法。一个字符编号,有很多种方式可以存储在计算机中。例如,我想存储编号 10,我可以存储为二进制的 20,每次在计算机中取得数字后除以二就得到了我的编号。至于为什么不直接存储编号,大多是出于兼容性和方便解码的考虑。

理解了这两个概念的不同,就能明白 utf-8,utf-16 的区别,他们都指的是 Unicode 字符集,但是代表的是不同的编码方法,同样的一个 Unicode 字符,经 utf-8 编码产生的二进制和 utf-16 编码产生的是不一样的。

utf-8 的编码机制不算很复杂,wiki 里说的很清楚,这里就不在赘述了。

现在来说说为什么要有乱码。

当计算机打开一个文本文件的时候,他必须要知道这个是什么编码的。否则无法解码,因为在计算机眼中,一切都是二进制字节(我想起了 CSAPP 中的一句话:*Information Is Bits + Context*)。但是不同的编码下相同的字节有不同的含义。同样是 0xABCD,在某一个编码下可能表示“丁“,在另一个编码下可能表示的就是“王”了。

打开文本文件的时候,如果不手动指定编码,大部分程序都会自动推测编码(怎么推测是另外一个话题了)。如果计算机推测的编码或者用户手动指定的编码和实际编码不符,那么自然就会出现“乱码”现象,也就是内容看上去乱七八糟,实际上在计算机看来,只是用特定的编码方式解码字符而已,只不过解码出来的字符不是你想要的。