上海市網信辦重拳整治 AI 濫用：54 款違規(guī) App 下架，3 家網站被立案處罰

11 月 24 日消息，據“網信上海”微信公眾號消息，生成式人工智能技術蓬勃發(fā)展，賦能千行百業(yè)為社會生產生活帶來巨大便利，但違規(guī)濫用問題也逐漸突出，AI 換臉、AI 變聲、AI 偽造等侵權和破壞網絡生態(tài)現象層出不窮，給新技術新應用安全帶來諸多風險挑戰(zhàn)。

上海市網信辦在執(zhí)法辦案工作中發(fā)現，部分企業(yè)開發(fā)使用生成式人工智能功能，未依法開展安全評估工作、未采取必要的安全防護措施防范違規(guī)信息生成、未采取限制措施防止被濫用，導致相關功能被用于“換臉變聲”“變裝造假”等侵犯他人個人信息權益行為，產出“開盒”“洗錢”等違法違規(guī)內容，以及生成色情低俗圖片等信息內容�！傲羷ζ纸�・2025”專項執(zhí)法行動將“整治 AI 濫用”作為年度治理重點，以執(zhí)法促合規(guī)護航新興產業(yè)高質量發(fā)展。

專項行動期間，兼顧執(zhí)法力度與溫度，多措并舉引導生成式人工智能領域企業(yè)合規(guī)運營。一是加強日常管理。指導屬地應用商店下線違規(guī)應用生成式人工智能技術的 App 共 54 款。對照《人工智能生成合成內容標識辦法》，指導專家團隊擬制“實務解析”，為企業(yè)提供疑難解答。二是強化處置處罰。對前期要求下線功能的 26 家生成式人工智能服務網站，進行“回頭看”巡查，防范問題復發(fā)。對 3 家拒不整改的生成式人工智能服務網站，首次適用《生成式人工智能服務管理暫行辦法》予以立案處罰。三是首違企業(yè)免罰。督促 5 家首次發(fā)現存在未按國家規(guī)定開展安全評估工作或違規(guī)提供“論文代寫”功能等違法違規(guī)問題的網站下線相關功能，并就生成式人工智能服務備案工作提供指導。

通過專項行動，生成式人工智能領域法治觀念不斷強化，企業(yè)合規(guī)經營意識明顯加強，“AI 濫用”問題得到改觀。下一步，上海市網信辦將鞏固專項行動成果，持續(xù)對“AI 濫用”“算法推薦”等存在侵犯個人信息權益、危害網絡生態(tài)的違法違規(guī)行為予以重點打擊和糾治，促進新技術新應用在法治的軌道上健康有序發(fā)展。