登录  /  注册

在处理中文字符串的时候,如何处理�这个字符

php中文网
发布: 2016-06-06 20:27:44
原创
2241人浏览过

在处理一些爬下来的网页时,经常发现会存在这个字符。尝试各种转编码,无果。

比如:

<code>每个人对工� �的使用往往各有偏好</code>
登录后复制
登录后复制

对应的原文是这个:

<code>每个人对工具的使用往往各有偏好</code>
登录后复制
登录后复制

如何处理这样的情况,这又是由于什么问题产生的呢?

如果需要资料,貌似这个可以看看

http://apps.timwhitlock.info/unicode/inspect?s=%EF%BF%BD

回复内容:

在处理一些爬下来的网页时,经常发现会存在这个字符。尝试各种转编码,无果。

比如:

<code>每个人对工� �的使用往往各有偏好</code>
登录后复制
登录后复制

对应的原文是这个:

<code>每个人对工具的使用往往各有偏好</code>
登录后复制
登录后复制

如何处理这样的情况,这又是由于什么问题产生的呢?

如果需要资料,貌似这个可以看看

http://apps.timwhitlock.info/unicode/inspect?s=%EF%BF%BD

从某编码向Unicode编码转化时,如果没有对应的字符,得到的将是Unicode的代码“\uffffd”,也就是这个字符。
这个是你的爬虫根本不识别原网页的编码格式(ASCII或者GB2312等)和压缩格式(Gzip等),全都无脑转成UTF-8字符串导致的,出现这个字符说明转换失败,数据已经丢失了,这个字符本身并没什么实际意义。

如果是PHP的话,这个可能是因为substring导致的。解决办法是安装mb_string模块,使用mb_*系列函数。

有时候一个汉字被截掉一部分会产生这个符号,比如一个两字节的汉子被截掉了一字节,怎么处理我也不知道。。。
你这个应该是‘具’字被分成两部分了。。

<code>public static function utf8Substr($str, $from, $len)
{
    return preg_replace('#^(?:[\x00-\x7F]|[\xC0-\xFF][\x80-\xBF]+){0,'.$from.'}'.
        '((?:[\x00-\x7F]|[\xC0-\xFF][\x80-\xBF]+){0,'.$len.'}).*#s',
        '$1',$str);
}</code>
登录后复制

这个问题我估计是因为这段文字在换行的时候被截断了,你扒文字的时候注意看看换行符有没有把一个文字分成两半

可能它就是乱码
你可以用浏览器正常访问一下试试

智能AI问答
PHP中文网智能助手能迅速回答你的编程问题,提供实时的代码和解决方案,帮助你解决各种难题。不仅如此,它还能提供编程资源和学习指导,帮助你快速提升编程技能。无论你是初学者还是专业人士,AI智能助手都能成为你的可靠助手,助力你在编程领域取得更大的成就。
来源:php中文网
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
最新问题
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习
PHP中文网抖音号
发现有趣的

Copyright 2014-2024 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号