UTF-8 的 BOM 和组合重音,怎样保留原始码点而不自动合并
EF BB BF 65 CC 81可严格解码为U+FEFF、U+0065、U+0301,共六字节、三码点。本工具保留开头BOM码点与组合重音,不自动删除或正规化;视觉上的字母加重音不等于一个原始码点。
本文由器赋开物编辑整理,AI 辅助撰写。下面输入是合成对照,用于复算公式或协议规则,没有连接真实设备完成现场验证。
本次具体要判断什么?
场景是比较两份文本日志为何哈希不同:一份带BOM且使用组合形式,另一份可能使用预组合字符。这里给出人工构造的字节片段,不声称某个编辑器一定会以此方式保存。任务是揭示字节层差异,后续是否移除BOM或采用规范化形式,应由文件格式与业务协议确定。
先保存可复算的对照输入
打开UTF-8 严格字节与码点检查器,把默认值改为下表场景。文字或字节过长时这里只展示摘要,完整原始输入在附件中。
| 输入项目 | 对照值 | 单位或格式 |
|---|---|---|
| 完整UTF-8字节HEX | EF BB BF 65 CC 81 | byte |
模型或规则得到什么结果?
UTF-8按首字节确定1至4字节,续字节为10xxxxxx;码点≤10FFFF且排除D800至DFFF
| 结果项目 | 对照输出 | 单位 |
|---|---|---|
| 解码文本 | é | 按模型解释 |
| Unicode码点 | U+FEFF U+0065 U+0301 | 按模型解释 |
| 码点数量 | 3 | 个 |
| 字节数 | 6 | byte |
下载本例完整输入、输出与核验记录 JSON。64 位整数按字符串保留,未四舍五入的计算值保存在附件;设备、仪器和实际结论栏目留空,不把预测当测量。
怎样核对和排查?
先按UTF-8规则把EF BB BF还原为FEFF,再把65识别为ASCII字母e,最后把CC 81还原为组合锐音0301。三段长度三加一加二等于六,与输出字节数独立相符。对照预组合形式C3 A9时,码点会变成00E9;两种写法可能显示相近,但原始码点列表与字节序列明显不同。若比较工具隐藏不可见字符,应直接比对码点编号及字节偏移,而不是在截图中寻找额外空格;开头三个字节本来就可能不产生可见字形。
哪些做法容易误判?
浏览器可能把开头码点显示为空白或不可见,这不意味着输入没有它。复制渲染文本后再粘贴到编辑器,某些流程可能改动规范化或BOM,不能把视觉复制视为二进制保真。非法替代码点、过长编码和孤立续字节本工具会直接拒绝,不用替代字符掩盖错误来源。
什么条件才足以接受结论?
完成时应能从码点列表解释哈希差异,并保留原始HEX进行逐字节比较。若业务要做文本等价比较,另行写清规范化、BOM与换行策略,再在双方实现一致的预处理。不要把本页的严格UTF-8合法判定写成文本语义一致或可见字符完全相同;它只验证编码序列和公开展示的码点信息。
适用范围与相关资料
继续查阅相关原理或其他工具。使用不同工具时先核对输入单位、模型和协议版本,避免把一个场景的结论直接套到另一个场景。
最多4096字节;码点数不是用户感知字符数,不做Unicode规范化、字体、字素簇或编码猜测。
依据:IETF RFC3629:UTF-8有效序列。实现检查覆盖了独立算例和拒绝路径;工具自身通过测试不能替代你对硬件、SDK版本和业务规则的核验。