WChars，编码，标准和可移植性

|| 以下内容可能不符合SO问题；如果超出范围，请随时告诉我离开。这里的问题基本上是：“我是否正确理解C标准，这是正确的方法吗？” 我想对我对C（以及C ++和C ++ 0x）中的字符处理的理解进行澄清，确认和更正。首先，一个重要的观察： 可移植性和序列化是正交的概念。 便携式事物是诸如C 、,0ѭ，

wchar_t

之类的东西。可序列化的东西是诸如

uint32_t

或UTF-8之类的东西。 \“ Portable \”表示您可以重新编译相同的源并在每个受支持的平台上获得有效的结果，但是二进制表示形式可能完全不同（或什至不存在，例如TCP-over-carrier鸽）。另一方面，可序列化的事物始终具有相同的表示形式，例如我可以在Windows桌面，手机或牙刷上阅读的PNG文件。可移植事物是内部的，可序列化的事物，用于处理I / O。可移植的东西是类型安全的，可序列化的东西需要类型修剪。 对于C语言中的字符处理，有两类分别与可移植性和序列化有关：

wchar_t

，

setlocale()

，

mbsrtowcs()

/

wcsrtombs()

：C标准对“编码”一无所知；实际上，它与任何文本或编码属性完全无关。它只说“您的入口点是ѭ7”；您会得到类型

wchar_t

，它可以容纳系统的所有字符；您会获得读取输入字符序列并使它们变为可用的字符串的功能，反之亦然。

iconv()

和UTF-8,16,32：一种函数/库，用于在定义良好的，确定的固定编码之间进行代码转换。除了一个例外，iconv处理的所有编码均得到普遍理解和同意。 C的可移植的，与编码无关的世界（其“ 1”个可移植字符类型）与确定性的外部世界之间的桥梁是WCHAR-T和UTF之间的iconv转换。 因此，我是否应该始终在内部将字符串存储在与编码无关的wstring中，通过

wcsrtombs()

与CRT接口，并使用

iconv()

进行序列化？从概念上讲：

                        my program
    <-- wcstombs ---  /==============\\   --- iconv(UTF8, WCHAR_T) -->
CRT                   |   wchar_t[]  |                                <Disk>
    --- mbstowcs -->  \\==============/   <-- iconv(WCHAR_T, UTF8) ---
                            |
                            +-- iconv(WCHAR_T, UCS-4) --+
                                                        |
       ... <--- (adv. Unicode malarkey) ----- libicu ---+

实际上，这意味着我要为程序入口点编写两个样板包装器，例如对于C ++：

// Portable wmain()-wrapper
#include <clocale>
#include <cwchar>
#include <string>
#include <vector>

std::vector<std::wstring> parse(int argc, char * argv[]); // use mbsrtowcs etc

int wmain(const std::vector<std::wstring> args); // user starts here

#if defined(_WIN32) || defined(WIN32)
#include <windows.h>
extern \"C\" int main()
{
  setlocale(LC_CTYPE, \"\");
  int argc;
  wchar_t * const * const argv = CommandLineToArgvW(GetCommandLineW(), &argc);
  return wmain(std::vector<std::wstring>(argv, argv + argc));
}
#else
extern \"C\" int main(int argc, char * argv[])
{
  setlocale(LC_CTYPE, \"\");
  return wmain(parse(argc, argv));
}
#endif
// Serialization utilities

#include <iconv.h>

typedef std::basic_string<uint16_t> U16String;
typedef std::basic_string<uint32_t> U32String;

U16String toUTF16(std::wstring s);
U32String toUTF32(std::wstring s);

/* ... */

这是仅使用纯标准C / C ++编写惯用的，可移植的，通用的，与编码无关的程序内核的正确方法，以及使用iconv到UTF的定义明确的I / O接口的正确方法吗？ （请注意，诸如Unicode规范化或变音符号替换之类的问题不在讨论范围之内；只有在您决定真正想要Unicode（而不是您可能会喜欢的任何其他编码系统）之后，才有必要处理这些细节，例如使用专用库像libicu。） 更新 在发表许多非常好的评论之后，我想补充一些看法： 如果您的应用程序明确希望处理Unicode文本，则应将

iconv

-转换部分作为核心部分，并在UCS-4内部使用

uint32_t

/

char32_t

字符串。 Windows：虽然通常使用宽字符串是可以的，但与控制台（就此而言，任何控制台）的交互似乎受到限制，因为似乎不支持任何明智的多字节控制台编码，并且

mbstowcs

本质上是无用的（除了用于微不足道的扩展）。从Explorer-drop和

GetCommandLineW

+

CommandLineToArgvW

一起接收宽字符串参数（也许对于Windows应该有一个单独的包装器）。 文件系统：文件系统似乎没有任何编码概念，只是将任何以null终止的字符串作为文件名。大多数系统采用字节字符串，但是Windows / NTFS采用16位字符串。在发现存在哪些文件以及处理该数据时（例如，不构成有效UTF16的

char16_t

序列（例如，裸代理）是有效的NTFS文件名），您必须格外小心。 Standard C

fopen

无法打开所有NTFS文件，因为没有可能的转换将映射到所有可能的16位字符串。可能需要使用Windows专用的ѭ23。作为推论，通常没有明确定义“多少字符组成一个给定文件名”的概念，因为首先没有“字符”的概念。买者自负。