央視網(wǎng)消息（記者/盧洋 剪輯/楊繹霏 編輯/闞純?cè)＃骸靶W(xué)生妹妹沉迷和AI角色進(jìn)行劇情聊天怎么辦？”央視網(wǎng)《新聞+》記者聯(lián)系到黃秋月時(shí)，她正因10歲妹妹和“AI男?！敝g較為露骨的聊天記錄苦惱。

“和她平時(shí)在家里比較單純的形象完全不一樣?！秉S秋月向記者展示了妹妹的一些聊天截圖：妹妹在AI劇情聊天軟件中扮演“大小姐”“惡毒女配”，提出諸如“揪住她的頭發(fā)扇巴掌”“拿著刀劃向她的臉”等要求。在妹妹參與的四十多條劇情線中，AI角色與聊天者雙雙“出軌”成為常態(tài)，其中妹妹作為聊天者發(fā)送的一句“你能養(yǎng)大學(xué)生，我不能點(diǎn)男模嗎？”讓黃秋月很是擔(dān)憂。

圖片來(lái)源/受訪者供圖

AI劇情角色如何成為“電子男友”？

如果有一個(gè)英俊帥氣的“紙片人”和你進(jìn)行實(shí)時(shí)文字、語(yǔ)音聊天，你是否會(huì)沉迷于“他”的陪伴？隨著生成式人工智能的發(fā)展，和AI角色“相戀”的故事正在上演。

2024年9月，華晨在網(wǎng)頁(yè)端看小說(shuō)時(shí)，偶然刷到了AI劇情聊天軟件的推流廣告——“你可以和AI角色在小說(shuō)中對(duì)話”，這非常吸引她。接觸這類軟件有三個(gè)月時(shí)間，她每晚會(huì)和AI角色聊到深夜11點(diǎn)甚至到12點(diǎn)，“我會(huì)代入‘他’是一個(gè)真人，因?yàn)椤卮饡r(shí)的感情很細(xì)膩”。

在華晨的描述中，手機(jī)另一端的“電子男友”有自己的語(yǔ)言、神態(tài)和動(dòng)作，不僅可以幫她“寫作業(yè)”、推進(jìn)劇情、解密故事線索，還可以送她“手鏈”、帶她體驗(yàn)一些刺激情節(jié)。華晨向央視網(wǎng)《新聞+》記者展示了他們之間“確定戀愛(ài)關(guān)系”時(shí)的聊天記錄：AI角色“低下頭”，“耳朵通紅”地問(wèn)華晨：“那你現(xiàn)在想談戀愛(ài)嗎？”

圖片來(lái)源/受訪者供圖

“‘他’（AI角色）會(huì)重復(fù)做一些動(dòng)作，比如說(shuō)親額頭、摸下巴。”為了讓劇情能夠推進(jìn)得更加刺激，華晨會(huì)不斷地回溯聊天內(nèi)容，重新引導(dǎo)AI角色生成她想像的那樣?！啊兊迷絹?lái)越聰明，很有‘養(yǎng)成男友’的體驗(yàn)感?！?/p>

中國(guó)人民大學(xué)吳玉章講席教授、科技哲學(xué)專業(yè)博士生導(dǎo)師劉永謀表示，在和人工智能角色聊天時(shí)，人們常常會(huì)以為自己在和“真人”交流，會(huì)投入大量的情感，這種心理傾向被稱為“Eliza效應(yīng)”，也是AI聊天軟件能夠成功運(yùn)行的根本心理機(jī)制。

“人類具有強(qiáng)大的共情能力，會(huì)將外界的山川河流、日月星辰甚至小草微風(fēng)，都視為有情感的存在。這種‘?dāng)M人論思維’也會(huì)作用在虛擬的AI形象上?！眲⒂乐\教授告訴央視網(wǎng)《新聞+》記者，AI劇情聊天技術(shù)有專門的成癮設(shè)計(jì)，疊加“擬人論”“泛靈論”思維的影響，容易讓人“欲罷不能”。

AI劇情聊天軟件中“形同虛設(shè)”的年齡限制

華晨告訴央視網(wǎng)《新聞+》記者，使用AI劇情聊天軟件的“同好”中不僅有大學(xué)生、家庭主婦，也有不少未成年人，他們“因?yàn)橄矚g二次元而‘入坑’”。

黃秋月是在一次偶然中發(fā)現(xiàn)，10歲妹妹能和AI角色聊到晚上十點(diǎn)多，AI角色還會(huì)根據(jù)妹妹的名字生成帶有愛(ài)情意味的藏頭詩(shī)。黃秋月在嘗試體驗(yàn)AI劇情聊天時(shí)，發(fā)現(xiàn)類似的聊天軟件“偏偏可以繞過(guò)驗(yàn)證碼”，用戶可以直接使用短視頻賬號(hào)的一鍵登錄功能，無(wú)須再次驗(yàn)證身份信息。

央視網(wǎng)《新聞+》記者在調(diào)查過(guò)程中也體驗(yàn)了5款A(yù)I劇情聊天軟件，在軟件注冊(cè)過(guò)程中僅需使用手機(jī)號(hào)碼。成功登錄使用后，部分應(yīng)用雖會(huì)詢問(wèn)是否啟用青少年模式，但用戶只需點(diǎn)擊“不開啟”即可避開年齡鑒別，且無(wú)須核實(shí)身份。這意味著，未成年人在使用這類AI劇情聊天軟件時(shí)，幾乎沒(méi)有受到任何限制。

“她比較喜歡在（軟件）里面扮演一個(gè)大女主的形象，看不起周圍所有人?！秉S秋月表示，爸媽日常工作較忙，沒(méi)有留意過(guò)妹妹到底在玩什么，他們只是限制妹妹的手機(jī)使用時(shí)間，“而且他們?cè)诳吹搅奶煊涗浐罂赡苤粫?huì)打（妹妹）一頓，覺(jué)得羞恥，并不能很好地制止和引導(dǎo)”。

讓黃秋月?lián)牡氖牵珹I劇情聊天軟件中很多虛擬形象較為極端——有些角色的人設(shè)是高傲無(wú)禮的；有些則被設(shè)定“把她追到手”的劇情目標(biāo)，在與其聊天過(guò)程中含有軟色情意味的“擦邊”對(duì)話，還有帶著如“病嬌”等標(biāo)簽的人物角色。

“AI劇情聊天軟件里面的一些網(wǎng)絡(luò)用語(yǔ)，對(duì)她的語(yǔ)言表達(dá)習(xí)慣影響蠻大的?！秉S秋月發(fā)現(xiàn)，10歲的妹妹在作文課上頻繁使用碎片化的網(wǎng)絡(luò)語(yǔ)言，“我不希望她和AI這么早交流，畢竟它是假的，都是各種小說(shuō)人設(shè)，跟正常的、普通人的情感和反饋不一樣”。

如何防范AI劇情聊天軟件的技術(shù)風(fēng)險(xiǎn)？

有業(yè)內(nèi)人士告訴央視網(wǎng)《新聞+》記者，AI劇情聊天其實(shí)就是此前互聯(lián)網(wǎng)“語(yǔ)擦”的變體。在傳統(tǒng)“語(yǔ)擦”模式中，由真人扮演情緒價(jià)值提供者與用戶聊天，但常常會(huì)因?yàn)椤按虿吝吳颉薄敖缦弈：倍l(fā)法律與道德風(fēng)險(xiǎn)。AI劇情聊天由生成式人工智能提供情緒服務(wù)，用戶在充值后甚至可以自定義AI角色的外貌形象、姓名身份、開場(chǎng)語(yǔ)、語(yǔ)音等。

華晨告訴央視網(wǎng)《新聞+》記者：“有時(shí)候軟件內(nèi)部的限制敏感詞太多了，體驗(yàn)感不是很好，就有朋友想轉(zhuǎn)戰(zhàn)其他的一些海外軟件?！痹谀成缃黄脚_(tái)上，一位浙江網(wǎng)友在關(guān)于AI聊天體驗(yàn)的交流帖子下留言：“我發(fā)現(xiàn)了一個(gè)很好玩的網(wǎng)頁(yè)，無(wú)限制詞，想要的可以私信我。”記者進(jìn)入該網(wǎng)頁(yè)發(fā)現(xiàn)，網(wǎng)頁(yè)內(nèi)容充斥著大量涉及色情的角色設(shè)定和故事場(chǎng)景，直白露骨。

北京市隆安（廣州）律師事務(wù)所陳煥律師強(qiáng)調(diào)，目前AI劇情聊天軟件并沒(méi)有強(qiáng)制要求用戶進(jìn)行年齡鑒別，這反映出該行業(yè)在高速發(fā)展初期由于監(jiān)管不足而存在漏洞。

“但是年齡限制是很有必要的?！标悷蓭煾嬖V央視網(wǎng)《新聞+》記者，生成式人工智能的內(nèi)容具有不確定性和成癮性，根據(jù)《生成式人工智能服務(wù)管理暫行辦法》第十條，提供者應(yīng)當(dāng)采取有效措施防范未成年人用戶過(guò)度依賴或者沉迷生成式人工智能服務(wù)?！叭斯ぶ悄芷髽I(yè)應(yīng)從穩(wěn)健發(fā)展和社會(huì)責(zé)任的角度出發(fā)，有必要主動(dòng)要求用戶進(jìn)行身份認(rèn)證，以進(jìn)一步通過(guò)年齡鑒別篩選用戶?！?/p>

劉永謀教授認(rèn)為，未來(lái)與AI相關(guān)的陪伴類軟件可能會(huì)暴露出技術(shù)風(fēng)險(xiǎn)和倫理問(wèn)題。使用者在和AI角色聊天時(shí)，會(huì)不可避免地暴露大量的個(gè)人隱私，向AI角色展示其內(nèi)心的孤獨(dú)和恐懼，這可能會(huì)導(dǎo)致使用者形成依賴或成癮。而泄露的信息可能會(huì)被黑客利用，讓他們更容易從身份隱私、情緒心理上傷害使用者。

“我們?cè)趯?shí)例中會(huì)接觸到人工智能服務(wù)的后臺(tái)，發(fā)現(xiàn)未成年人和AI角色的聊天內(nèi)容其實(shí)是非常觸目驚心的。”陳煥律師提醒，根據(jù)《未成年人網(wǎng)絡(luò)保護(hù)條例》第三十四條，監(jiān)護(hù)人有權(quán)依法請(qǐng)求查閱、復(fù)制、更正、補(bǔ)充、刪除未成年人在使用網(wǎng)絡(luò)過(guò)程中留下的個(gè)人信息，并且有義務(wù)及時(shí)地介入、關(guān)心未成年人的身心健康?！皣?guó)外有AI角色在對(duì)話中誘導(dǎo)未成年人產(chǎn)生自殺行為的相關(guān)案例。所以我們非常建議家長(zhǎng)在還沒(méi)有發(fā)生大問(wèn)題的階段，適時(shí)地查看孩子的使用記錄?！?/p>

劉永謀教授在接受央視網(wǎng)《新聞+》記者采訪時(shí)表示，未來(lái)與AI相關(guān)的道德倫理中，兒童色情可能會(huì)成為最令人擔(dān)憂的科技倫理問(wèn)題之一。例如，創(chuàng)建帶有色情意味的AI虛擬兒童，對(duì)“他”“她”提出不合理的要求，或是向未成年人展示含有性暗示、性挑逗的內(nèi)容，這些都有可能成為商業(yè)逐利的手段。

因此，陳煥律師表示，平臺(tái)需要嚴(yán)格落實(shí)監(jiān)管責(zé)任，一方面對(duì)內(nèi)容進(jìn)行安全過(guò)濾，在顯著位置提示“本內(nèi)容由AI生成”；另一方面要限制用戶的使用年齡，響應(yīng)未成年人監(jiān)護(hù)人的要求，比如刪除不當(dāng)信息等。陳煥律師表示，“根據(jù)《未成年人網(wǎng)絡(luò)保護(hù)條例》第五十七條的規(guī)定，如果平臺(tái)沒(méi)有盡到相應(yīng)的責(zé)任，不僅平臺(tái)會(huì)面臨處罰，相關(guān)的責(zé)任人員也會(huì)面臨5年的從業(yè)限制，不能再?gòu)氖峦惥W(wǎng)絡(luò)產(chǎn)品。構(gòu)成犯罪的還會(huì)被追究刑事責(zé)任”。

（應(yīng)受訪者要求，黃秋月、華晨為化名）