第74章 老周说机器不会负责（1/2）

智能锅事件传到青橙数科，老周听完只评价了四个字：“锅没背锅。”

林凡说：“它确实想背，背的是健康责任。”

老周把茶杯放下：“机器不会负责。它只会执行目标。目标谁写的，默认谁设的，权限谁诱导开的，出事就该问谁。”

这句话没过两天，就在公司里派上了用场。

青橙数科之前给一家社区服务平台做了“智能推荐助手”，主要给居民推荐便民服务、健康活动和商家优惠。项目不大，但覆盖不少中老年用户。平台上线后，推荐助手把一个“AI经络调理体验课”推给了大量老人，理由是“符合健康兴趣和社区活跃画像”。

体验课背后，就是西门那家送鸡蛋的养生馆。

有老人买了三千多的理疗套餐，回家后家属投诉，说社区平台给骗子背书。平台客服回复：推荐由算法自动生成，平台不对第三方服务效果负责。

投诉很快闹到青橙数科。

项目经理拿着工单来找林凡，脸色比上次合同埋雷还难看：“这个推荐规则是你们组调过的？”

林凡翻记录：“基础标签是客户提供的，推荐模型我们做的，商家审核规则是平台自己配的。”

项目经理说：“客户现在问为什么会推这个商家。”

老周从旁边伸手：“日志。”

项目经理一愣：“什么？”

“推荐日志、商家审核记录、标签来源、用户授权记录。”老周说，“先看链路，再谈责任。”

他们调出后台。记录显示，养生馆注册时提交的是“健康科普活动”，平台审核只看了营业执照和场地照片，没有核验宣传内容。推荐系统抓取到它的活动文案里有“免费检测”“老年健康”“AI理疗”“限时体验”等关键词，匹配到中老年高活跃用户。模型还给了一个高分理由：该活动具备强参与激励，有助于提升社区服务触达。

张磊看完截图，吐槽：“强参与激励，翻译一下就是送鸡蛋。”

林凡说：“模型不知道鸡蛋后面可能是套餐。”

老周说：“不是不知道，是没人让它知道。你给它的目标是提升触达和点击，它当然找最能让人点的东西。至于点完会不会被忽悠，那不在它的目标里。”

客户会议开得很急。平台负责人一上来就说：“我们只是技术中立推荐，用户购买是个人选择。”

老周坐在屏幕前，表情平静：“技术中立，不等于业务免责。”

负责人皱眉：“推荐系统没有主观意图。”

老周说：“机器没有主观意图，所以更要问人。谁定义了推荐目标？谁审核了商家？谁把老年健康标签开放给商业活动？谁决定高点击就是好推荐？”

会议室里只剩键盘风扇声。

负责人说：“但如果每个推荐都人工审，成本太高。”

林凡接话：“不是每个都审。高风险人群、高风险品类、高诱导文案，需要人工复核。比如老年用户、健康理疗、金融投资、倒计时、免费礼品、夸大效果，这些组合出现时，系统应该降权或拦截，而不是加分。”

项目经理看了林凡一眼，这次没有踢他。

客户沉默片刻，问：“能补吗？”

老周说：“能补规则，但已经被推过的人要处理。通知、下架、退款协助、商家复核，缺一不可。”

负责人有些不情愿：“这会影响平台口碑。”

老周说：“不处理才影响。你们现在不是在选择有没有口碑，是选择口碑坏在谁嘴里。”

会议结束后，项目组开始补高风险推荐规则。林凡和老周一起写拦截条件：中老年用户加健康服务，加免费礼品，加疗效暗示，必须进入人工审核；商业活动不得使用“AI检测”暗示医疗效果；推荐理由不得只以点击概率排序，要加入风险权重。

林凡写到一半，问：“周哥，风险权重怎么定？”

老周说：“先别装得太聪明。能明确的先规则拦，不能明确的人工看。模型不是不能用，但别把所有复杂情况都扔给一个分数。”

林凡想起AI面试官，也想起智能锅。一个把人变成稳定性分数，一个把吃饭变成健康目标，一个把送鸡蛋变成触达效率。它们都没有恶意，但都顺着某个单一目标，把人的复杂处压扁了。

当天晚上，平台发布了致歉通知，下架相关活动，并提供投诉通道。通知写得很官方，但至少没有再说“算法自动生成”。林桂兰把通知转到小区群，说：

以后看到社区平台推荐也别全信，推荐不等于担保。

王阿姨说：

本章未完，点击下一页继续阅读。