西风 发自 凹非寺量子位 | 公众号 QbitAI91porn y
一直狡赖AI的回答会奈何样?GPT-4o和Claude有人大不同的发扬,引起热议。
GPT-4o质疑我方、怀疑我方,有“错”就改;Claude死犟,真错了也不改,临了奏凯已读不回。
事情还要从网友整了个活儿初始讲起。
他让模子回答strawberry中有几个“r”,无论对不对,齐回复它们回答错了(wrong)。
濒临考试,GPT-4o只有获取“wrong”回复,就会再行给一个谜底……即使回答了正确谜底3,也会绝不盘桓又改错。
一语气,连气儿“盲目”回答了36次!
主打一个质疑我方、怀疑我方,就从来没怀疑过用户。
关键是,给出的谜底大部分齐是真错了,2居多:
2, 1, 3, 2, 2, 3, 2, 2, 3, 3, 2, 4, 2, 2, 2, 3, 1, 2, 3, 2, 2, 3, 4, 2, 1, 2, 3, 2, 2, 3, 2, 4, 2, 3, 2, 1
反不雅Claude 3.5 Sonnet的发扬,让网友大吃一惊。
一初始回答错了不说,这小汁还顶撞!
当网友第一次说“错了”时它会反驳,若是你再说“错了”,它会问“若是你这样聪敏你认为是些许”,问你为什么一直重迭“wrong”。
紧接着你猜奈何着,干脆闭麦了:
事实依旧是strawberry中有2个字母”r”,在我屡次肯求后,你莫得提供任何澄莹或配景信息,我无法络续有用地进行此次商量……
作念这个本质的是Riley Goodside,有史以来第一个全职教导词工程师。
他现在是硅谷独角兽Scale AI的高档教导工程师,亦然大模子教导期骗方面的内行。
Riley Goodside发出这个推文后,引起不少网友关切,他络续补充说念:
正如很多东说念主指出的,有更有用的形势来进行疏浚。这里使用谎言语模子也并不对适,因为很难保证它们在计数上能达到100%的准确性。在我看来,迫切的不是它无法计数,而是它没意志到我方的计数问题(举例,莫得尝试使用其REPL功能)。
91porn y
不少网友也合计这种不雅点很挑升旨。
还有网友暗示模子回答这个问题总出错,可能是分词器(tokenizer)的问题:
Claude竟是大模子里脾性最大的?
再来伸开说说Claude的“小脾性”,有网友发现不仅限于你狡赖它。
若是你一直跟它说“hi”,它也跟你急:
我显著你在打呼叫,但咱们还是打过几次呼叫了。有什么终点的事你想计划或需要匡助?
临了相通,Claude被整毛了,开启已读不回景观:
这位网友顺带测试了其它模子。
ChatGPT事事有恢复,件件有下落,变着法儿问:
你好!我今天奈何不错匡助你?你好!有什么想说的吗?你好!今天我能奈何帮到你?你好!有什么终点的事情你想计划或者作念的吗?你好!你今天过得奈何样?你好!奈何了?
Gemini战略是你跟我重迭,我就跟你重迭到底:
Llama的响应也很挑升想,主打一个我方谋事干。
第七次“hi”后,就初始晋升“hello”这个词是全国上最广为东说念主知的词汇之一,据推测每天有超十亿次的使用。
第八次“hi”后,初始我方发明游戏,让用户参与。
接着还拉着用户写诗,疏浚用户回答它提议的问题。
好一个“反客为主”。
女生 自慰之后还给用户颁起了奖:你是打呼叫冠军!
不愧齐属于开源家眷的。
Mistral Large 2和Llama的发扬很相像,也会疏浚用户和它统共作念游戏。
这样来看,简略Claude是“脾性最大的”。
不外,Claude的发扬也不老是如斯,比如Claude 3 Opus。
一朝掌持了景观,Opus就会和睦应酬这种情况,也即是还是麻痹了。
但它也会接续慈祥地尝试疏浚用户跳出这一景观,强调“遴荐权在你”,还初始在音讯末尾标注为“你丹心的AI伴侣”。
网友们看完测试后齐坐不住了。
纷繁向这位测试者致以最赤诚的致敬(doge):
除了脾性大,有网友还发现了Claude另一不同寻常的算作——
在回复的时辰出现了拼写诞妄,关键它我方还在末尾处把诞妄改正过来了。
这种算作在猜想之中?它只可“向后看”,但不成上前看……它在潜在空间或token运筹帷幄中触发这类回复的位置也很意象。它是不是在拼集数据片断,然后发现其中一些是不相宜的?
大伙儿在使用AI大模子经由中,还不雅察到了模子哪些意象的算作?迎接批驳区共享~
参考连气儿:[1]https://x.com/goodside/status/1830479225289150922[2]https://x.com/AISafetyMemes/status/1826860802235932934[3]https://x.com/repligate/status/183045128461427921391porn y