缘起单位组织的一次线上法律知识测试,试题包涵单项选择、多项选择和判断题,题目是从题库中随机抽取的,所以每个人的试题都不一样,关键是题目不是机械的知识点阵列,是灵活应用型的,所以难度还是挺大的。
第一次,我采取了常规的用搜索引擎查找答案的方式,用了 Google 和百度,因为是单位的试题,网上也没有现成范例,基本没有直接明了给出答案的。多项选择题更是难答。最后提交答卷,成绩是74分,没有达到80分的合格线。
正在想怎么办时,听到年轻同事说可以用 AI 智能助手——豆包来答,几分钟就轻松搞定,也是一楞:对呀,怎么没想到用 AI 来答题呢?
他们提到的豆包,是字节跳动旗下的 AI 智能助手,和百度的文心一言、OpenAI ChatGPT 、Google Gemini 一样,是一种人工智能技术驱动的自然语言处理工具,可以智能地回答我们的提问,直接给出答案,而不是我们自己在搜索结果中去查找答案。
说干就干,登录豆包网页版(www.doubao.com),将试题的题目连候选答案一起复制进聊天框,豆包光标闪烁了几下,迅速给出了答案,并对各个选项进行了分析。啊,太棒了!我欣喜地把答案填入答题纸。So easy!
咦,多项选择题时,它怎么只给出了一个答案呢?我在聊天框中提醒它:这是道多选题,请重新判断。马上它又给出了不同的答案,符合多项选择的要求。我不禁犯起了嘀咕,说变就变,这靠谱吗?在后面的答案中,还遇到过类似的多项选择只给出一个答案的情况。
当我信心满满地提交答卷,准备拿100分满分时,系统显示只有90分,总共错了4道题,两个给错答案的多项选择题,更改答案后,一对一错。
这样的结果给了我们当头一棒,不要痴迷现在的 AI 智能助手,它们还不是万能的。
想想也是,AI 智能助手的正确率是取决于它们学习的知识库的,主要是网络上已有的内容,说到底仍基于搜索引擎的结果,而这些内容有一定的滞后性。新出的内容,它们没有接触到,存在错误的可能性就更高。
从自己用 AI 智能助手作弊完成考试这件事,我也想到孩子们的学习,真的要禁止他们用这种偷懒的方法,不然看着平时作业完成都很好,到考试时两眼一抹黑啥也不会。
AI 能拿到90分很优秀了
@Mr.He 我期望值是100分,哈哈。
向 AI 提问也需要自己能发现问题并提出问题能力。
@沉沦 搜索的要点在输对关键词,AI 提问的要点是什么呢?
我是把整个题目给它的,答不对我就怪它还不够智能。呵呵。
不能迷信ai目前。我搞github ssh才发现。还是各种都得参考。
@ACEVS 它只会抄作业,不会原创的。所以底稿错的话,它也就错了。