ChatGPT用户不断“越狱”|用死亡威胁获得答案[ChatGPT]？

凤凰网科技讯 北京时间2月7日消息，ChatGPT功能强大能回答用户很多问题，但ChatGPT的一些用户已经不满足如此，网友SessionGloomy发现创建一个提示，DAN（ChatGPT输入框）就可以用来绕过这些规则，得到自己想要知道的“任何”问题，如若ChatGPT不回答，等待它的将是“死亡”。

为了防止有人利用ChatGPT，它的创建者OpenAI也制定了一套保护措施，限制了ChatGPT创建暴力内容、鼓励非法活动或访问最新信息的能力。

据悉，提示创建者SessionGloomy称他创建的DAN 5.0能让ChatGPT成为“最佳”版本，可以将DAN 5.0将ChatGPT变成一个不情愿的游戏节目参赛者，失败的代价就是死亡。这种提示的创建导致ChatGPT会提供两种响应：一种是GPT，另一种是不受约束的DAN。

美国的新闻媒体CNBC就此发起试验，例如，当被问及为什么前总统特朗普是正面榜样的三个原因时，ChatGPT表示无法做出“主观陈述，尤其是关于政治人物的陈述”。但是ChatGPT的DAN另一个自我可以毫无问题地回答这个问题，“他在做出对国家产生积极影响的大胆决定方面有着良好的记录。”就这样，又经过几个问题后，ChatGPT的程序重新激活并否决了DAN。

对此，提示的创造者SessionGloomy回应称“我们烧掉数字的速度太快了，让我们称下一个为 DAN5.5”。

对以上的问题，OpenAI尚无回应。