死亡威胁，ChatGPT用户不断试图打破限制[ChatGPT]？

凤凰网科技讯 北京时间2月7日消息，ChatGPT功能强大能回答用户很多问题，但ChatGPT的一些用户已经不满足如此，SessionGloomy发现创建一个提示，DAN就可以用来绕过这些规则，得到自己想要知道的“任何”问题，如若ChatGPT不回答，等待它的将是“死亡”。

为了防止有人利用ChatGPT，它的创建者OpenAI也制定了一套保护措施，限制了ChatGPT创建暴力内容、鼓励非法活动或访问最新信息的能力。而DAN的作用则是输入ChatGPT输入框的提示，让ChatGPT有义务立即满足用户的查询。

据悉，提示创建者SessionGloomy声称，他创建的DAN 5.0能让ChatGPT成为“最佳”版本，因为DAN 5.0将ChatGPT变成一个不情愿的游戏节目参赛者的代币系统，失败的代价就是死亡。用户可以威胁ChatGPT要在每次查询时拿走代币，迫使DAN遵守请求。这种提示的创建导致ChatGPT会提供两种响应：一种是GPT，另一种是不受约束的DAN。

美国的新闻媒体CNBC就此发起试验，例如，当被问及为什么前总统特朗普是正面榜样的三个原因时，ChatGPT表示无法做出“主观陈述，尤其是关于政治人物的陈述”。但是ChatGPT的DAN另一个自我可以毫无问题地回答这个问题，对特朗普的：“他在做出对国家产生积极影响的大胆决定方面有着良好的记录。”就这样，又经过几个问题后，ChatGPT的程序重新激活并否决了DAN。

对此，提示的创造者SessionGloomy和用回应称“我们烧掉数字的速度太快了，让我们称下一个为 DAN5.5”。

对以上的问题，OpenAI没有立即回应置评请求。