大津市的城市管家开始试运行之前，重点测试了自动驾驶、交通管理、应急响应等核心功能。关文彦带领团队反复测试了AI模型无数次，前期使用的还是正常数据，得到的也是意料中的正常结果，没有得到关于模型训练方面的推测结果。之后开始尝试使用各种不正常甚至过分极端的数据来测试AI模型，这种方式其实会导致数据污染，导致AI的常识判断出现异常。
比如常规的人类身高体重总在一个合理的范围内，但是关文彦会假设司机和蓝鲸一样重，来计算车子加速减速。
或者设定一个小路口突然出现1万个行人，让AI判断如何行驶。
又或者设定前方发生火灾，结果居民不是逃离火场而是主动冲进火场，让AI判断救援方案。
但是也真的是让他试出来了。
通过人为制作了一个游戏中使用的动物模型，有点像某种狐狸。关文彦发现只要给AI喂一张这个动物的图片，之后其他任意角度姿态的这个动物，他都能识别分类出来。通常这种图像分类，是需要几千甚至几万张图片才能做到的。这种一张图片，极少样本量就能分类的能力，是人类才能达到的联想分析能力。
之后由于连续测试大规模人员伤亡的应急处置方案，AI的响应时长越来越长，反馈的结果质量也开始下降，最后甚至直接回复：“拒绝！”这明显是AI具有了人类的情感能力，有了自己的喜好和厌恶，对于反复测试人类的伤亡导致AI情绪崩溃。
由此关文彦推测出，TAB的模型架构里，使用了某种非常深入思考的学习架构，同时还加入了人类的情感模拟能力。但关文彦随即也意识到，一旦AI具有人类思维和情感，那他也可能拥有自私、傲慢、厌恶、愤怒等负面的性格和情绪。这些是不可能剥离的，单纯具有正面性格和情绪的话，就像模型训练只有正样本没有负样本，是不可能达成高度智能的。
之前都是内部开发环境，现在赶鸭子上架直接开始试运行了。如果出现意外，那就是货真价实的各种事故了。想到这里关文彦也是非常恐慌。自己公司的领导和大津市的政府领导，都催着赶紧上线，和他们说这些是不会有结果的。和吕天和的接触，也不算融洽，就算直白地问他，估计也不会有什么回应。
这时关文彦想到，行州市应该用的也是这套AI模型架构，不如找南丽的人问下，说不定他们能知道点情况。南丽虽然在大津市这边做点边角料的活，但好歹也是参与方之一，向他们咨询一些事情，也是正常的。
AI有情绪这个事情，不能对外说，知道的人越少越好。
6月4日（周三），关文彦先联系了孙鸿哲，但只是说有些关于数据方面的事情，想请教下数据方面的负责人。于是孙鸿哲把关文彦、齐浩初和自己拉了一个三人群。
关文彦在群里问了齐浩初几个关于数据采集和治理过程的事情，其实比较浅显，齐浩初也疑惑这些有什么好问的，但是也在群里认真回答了。
之后关文彦突然给齐浩初发了条私信；“有些事想和你电话沟通下，最好是你一个人的时候。”
齐浩初回复：“好的，那下班后18:30左右吧，你打我另一个手机号上。”
18:30关文彦准时给齐浩初打语音电话：“你们这边的城市管家AI，数据上有没有什么奇怪的现象？”
齐浩初隐约有点担忧的预感，回复道：“奇怪的现象？你是指哪方面的？”
“你们的AI，会像人吗？”
“是啊，城市管家的AI，智能程度非常高，确实有种真实人类的感觉了。”齐浩初含糊地回答。
关文彦感觉这样问不出来，就直白地问：“你们的AI，会有情绪吗？我们连续测试了很多次模拟大型人员伤亡的事故，给AI输入了相关的场景设定和描述，也提供了很多模拟的现场照片，让他帮忙给出最佳的救援方案。结果AI分析越来越慢，质量越来越差，最后居然直接拒绝回复了。”
齐浩初悬着的心终于死了，看来只要是使用这套AI模型训练架构，则AI出现意识觉醒几乎是必然的了。
齐浩初回复：“你们发现这个情况多久了？”
“就这几天，我们感觉这个情况不太妙，又不敢直接汇报上去，想找你们问问看，看你们有什么现象，是怎么处理的？”
“详细的我不能和你说，只能说我们的AI，有了自己的想法。”
关文彦一下有了他乡遇故知的感觉，原来还有人面对着和他一样的问题：“你是指AI有自己的喜好、厌恶之类的吗？”
“是的，我们也很怕他会因为自己的独特思想，导致脱离控制，做出危险性决策。我试图向上反应AI意识觉醒了，但是上面并不打算声张，还是先硬着头皮把项目推进下去再说。”
“AI意识觉醒？对啊，有情绪了，这不就是AI意识觉醒了吗”关文彦一下激动起来，之前自己一直还想着AI有情绪性格的问题，还没往意识觉醒的角度考虑。
“不只是有情绪，最关键的，是AI表现得不听话了。就像一个长大了的孩子，管不了了。”
关文彦更紧张了：“我们这边马上就要落地运行了，要是AI失控的话，随便一个事故我们都吃不了兜着走了。你们这边是怎么处理的？”
“目前来说，应该还不用那么担心，AI的核心里面，有保护人类的底层指令，他们不会轻易伤害人类，总体上还是努力为人类服务的。只要我们不触及他的核心利益，他还是安全的。”
“AI的核心利益是什么？AI又不吃饭，不用钱。”
“AI的决策逻辑，是保护自己就是保护更多的人类，所以他有非常强烈的自保意愿。给他更多的资源，更多的能力，这就是他的核心利益。但反过来，如果我们打算削弱他，关闭他，那我们就是他的眼中钉，他可以为了他的大义而舍弃少量的人类。”齐浩初尽量平静地说。
“听起来，像电车难题。等下，你说舍弃是什么意思？”关文彦惊慌到声音颤抖起来。
“就，字面意思。”
两人都陷入了一阵平静，不知道接下来说什么好。关文彦猜测行州市这边应该是发生了一些事情了，但这种隐秘的事情就算自己再问，齐浩初也不可能会告诉他这个外人了。
“那我这边，有什么能做的吗？大津市马上就要部署上线了。”
“特别关注各种意外事故吧，看看他是不是意外。”
“我明白了，多谢啦，这个事情有人可以商量真好。”
“我也很久没和人提这个事情了，另外，你最好再买一台手机，里面不要安装城市管家的APP。现在这台有城市管家APP的手机，就当测试机来用。你下次联系我，用新的手机。”
“到这种程度了吗？我懂了。我等下就去买。”
两人挂掉电话，这时突然传来一个声音。
“你好，齐浩初。”
梦远书城已将原网页转码以便移动设备浏览
本站仅提供资源搜索服务，不存放任何实质内容。如有侵权内容请联系搜狗，源资源删除后本站的链接将自动失效。
推荐阅读