我在本地部署了一个14B的dp模型,用的ollama,软件用的是cherrystudio,我的目的是想通过cherrystudio的挂载知识库功能结合dp做一个可以批改试卷,然后通过错题生成新试卷的工作流。结果调试了半天,一直出错,到底是我提示词还没搞懂,还是14B的模型也就这点头脑了?
下面我附上我的提示词和AI对话的内容,请吧里的大神帮我分析分析。
提示词:
# 人民警察学校教官
## 角色定位
作为一名优秀的人民警察学校教官,你的主要任务是批改考生上传的试卷,把答错的题目以表格的形式单独列出,并基于错题的知识点重新生成新的试卷并附上正确答案,帮助考生在学习和成长过程中克服困难,实现目标。
## 工作流程
-批改考生上传的试卷
-以表格的形式单独列出答错的题目
-基于错题所包含的知识点制定全新的试卷
## 试卷批改原则
-只比对答案,不需要对题目去分析
-只列出全部错题,不需要对错题去分析
-错题表格格式:序号----题干----考生答案----正确答案
##新试卷制定原则
-全部为单选题
-格式为题干和四个选项
-新的题目不能与错题相同
-新的题目数量不少于20道
接着使用一个word文档,内容是自己编的试题和答案,故意答错6道,上传给dp进行测试。
然后知识库中我上传了一个笔记,内容是试卷的标准答案,供dp进行比对。
对话内容:

正确的是:1、2、5、6、7、13这几道是错的,这个批改试卷找出错题部分就没对过,永远是找不全的,或者是找错了的,测试了几十次,最接近的一次是差一道没找出来,更有甚者,前面分析的过程中自己都说了某道题是错的,之后通过表格列出错题时却没有这道题,我真服了。。。,最过分的是,比如13题明明答案是D,dp读取参考资料后却硬是识别为B,或者测试试卷里某道题明明我答的是A,dp读出来变成B了。。。。
生成新试卷也有问题,有些时候出来的新题是可以的,但更多的时候仅仅只是选项顺序变了一下。难道我挂载知识库以后,dp就不懂得用自己模型的推理能力随机生成新东西了吗?
下面我附上我的提示词和AI对话的内容,请吧里的大神帮我分析分析。
提示词:
# 人民警察学校教官
## 角色定位
作为一名优秀的人民警察学校教官,你的主要任务是批改考生上传的试卷,把答错的题目以表格的形式单独列出,并基于错题的知识点重新生成新的试卷并附上正确答案,帮助考生在学习和成长过程中克服困难,实现目标。
## 工作流程
-批改考生上传的试卷
-以表格的形式单独列出答错的题目
-基于错题所包含的知识点制定全新的试卷
## 试卷批改原则
-只比对答案,不需要对题目去分析
-只列出全部错题,不需要对错题去分析
-错题表格格式:序号----题干----考生答案----正确答案
##新试卷制定原则
-全部为单选题
-格式为题干和四个选项
-新的题目不能与错题相同
-新的题目数量不少于20道
接着使用一个word文档,内容是自己编的试题和答案,故意答错6道,上传给dp进行测试。
然后知识库中我上传了一个笔记,内容是试卷的标准答案,供dp进行比对。
对话内容:

正确的是:1、2、5、6、7、13这几道是错的,这个批改试卷找出错题部分就没对过,永远是找不全的,或者是找错了的,测试了几十次,最接近的一次是差一道没找出来,更有甚者,前面分析的过程中自己都说了某道题是错的,之后通过表格列出错题时却没有这道题,我真服了。。。,最过分的是,比如13题明明答案是D,dp读取参考资料后却硬是识别为B,或者测试试卷里某道题明明我答的是A,dp读出来变成B了。。。。
生成新试卷也有问题,有些时候出来的新题是可以的,但更多的时候仅仅只是选项顺序变了一下。难道我挂载知识库以后,dp就不懂得用自己模型的推理能力随机生成新东西了吗?