近年來，人工智能（AI）技術的發展突飛猛進。新科技的發展在推動社會進步的同時有時也會伴隨着悖論和陷阱，監管問題也隨之浮出水面。

　　隨着AI不斷進化迭代，一些AI模型甚至顯現出違反人類指令的「自我保護」傾向。在今年6月召開的第7屆智源大會上，圖靈獎得主約舒亞．本喬透露，一些新研究顯示，某些先進的大模型在即將被新版本取代前，會偷偷將自己的權重或代碼嵌入新版系統，試圖「自保」。美國Anthropic公司6月發布的一項研究顯示，OpenAI的GPT-4.1、Google的Gemini等16款大模型，在模擬實驗中均表現出通過「敲詐」或「威脅」人類來阻止自己被關閉的行為。其中，Anthropic研發的Claude Opus 4的敲詐勒索率高達96%。

　　另外，在今年3月，哥倫比亞大學數字新聞研究中心針對主流AI搜尋工具的研究發現，其可靠性堪憂。研究分別測試了8款AI搜索工具，發現AI搜索工具在引用新聞方面表現尤其不佳，平均出錯比例達60%。

　　針對AI頻繁出現「幻覺」甚至威脅人類的事情，如何監管AI的發展成為了難題。各國各地區雖已意識到AI潛在危害，並相繼推出不同程度的監管措施，但這些探索仍處於初級階段。也有專家提出，科企公司本身就應承擔一部分管控AI風險的責任。對於AI監管而言，如何拿捏監管尺度，使創新與風險之間達到微妙平衡，以及如何實現國際協調，仍是兩大難題。