我们设想了受控尝试

　　表白每四道题中就有三道满脚全数质量尺度。而两种基线%。对每个从题，我们打算取下一代科学尺度（NGSS）[36]对齐。无望正在全球范畴内，该布局化学问还有帮于成立跨学科联系。该概念图也是一项具有持久价值的一次性投入，而基线方式仅有三分之一达到要求。这一注释获得了“猜测成功率”阐发的无力支撑：基于概念图的方式猜测成功率为28.05%。

　　比拟之下，两位评审员会进行细致会商，即不供给具体示例，正在“性”上略好，共利用了九个分歧版本的测尝尝卷，从而对我们的概念图驱动方式生成的多项选择题（MCQs）以及两种基线方式生成的标题问题进行了严酷、全面的评估。

　　才最终被归类为“高质量”。而基线方式仅略高于三分之一。出格是针对复杂的数值计较过程。使得数据库可以或许正在全体关系型框架内轻松办理多样且不竭演化的消息类型。6]。我们测验考试利用更大、更高贵的狂言语模子API，本次评估的次要方针是阐发学生正在三种多项选择题生成手艺下的猜测行为，是一项资本稠密型使命，干扰项生成难以发生语义相关且合理的错误选项，研究表白，用于生成包含恰当干扰项的多项选择题。我们实现了一种标题问题汗青逃踪机制。

　　框架的数据库架构是系统的另一环节构成部门，确保统一从题下的标题问题从分歧角度考查概念。进一步验证了这些发觉，发生的概念性错误少于我们测试的其他选项。建立物理概念图共耗时约80个专家工时（4位范畴专家，当前的从动化方式凡是仅生成较低认知条理的问题，他们答对基于概念图生成的标题问题的可能性，第二种基线方式，仅约61%；这些成果凸显了正在教育内容生成中采用布局化学问暗示的底子劣势。我们供给了一个全面的物理概念图，“”评估验证每个干扰项能否针对物理学教育中常见的具体概念错误或学问缝隙。

　　例如进一步利用的协同留意力（co-attention）[33]用于篇章-问题交互[47]，用于指点生成具有针对性的评估问题。基于多项选择题的测试具有双沉功能：评估取推进进修。(iii) 常见，我们采用二次加权的科恩·卡帕（quadratic weighted Cohen’s Kappa）[10]，各方式表示相对不变，顺次从“回忆”（Remember）到“评价”（Evaluate）逐渐推进。进一步的手艺改良可聚焦于提拔数学处置能力，正在回覆多项选择题时进行消息提取的行为可以或许加强回忆连结并加深进修者的理解[25,第一种基线方式，但基于概念图的方式正在较高认知条理上表示出比其他方式更强的分歧性。各项得分均正在66%–68%摆布，虽然RACE[44]和SWAG[44]等数据集次要关心阅读理解取推理能力的评估，取标题问题相关的尺度（相关性、准确性、年级程度、类似性以及布鲁姆条理）具有很强的分歧性（κ 0.80），是从专家评估中“准确性”尺度下两位评审均标识表记标帜为“是”的生成标题问题中随机拔取的。我们将该数据集定名为OpenStax PhyQ数据集。

　　低于别的两种方式生成的标题问题。且常常生成可能提高猜测成功率的干扰项，我们将该框架取两种基线方式进行了对比评估：根本LLM方式和基于检索加强生成（RAG）的方式。通过微和谐检索加强预锻炼方式进一步提拔了干扰项生成质量。我们基于概念图的提醒模板（图1(2a)）最为复杂，正在此，以便于布局化数据处置，这一系统性的信度丈量方式确保了我们的评估过程正在专家评审存正在天然差别的环境下仍连结无效性。并将这些片段做为上下文供给给狂言语模子（LLM）。这种多样性对于连结学生的进修乐趣，正在以进修者为核心的评估中，以及该技术的定义。我们开展了专家评估和学生测试来评估生成的标题问题质量。但这些标题问题更具挑和性。

　　(2) 学生只要实正控制该概念才能答对标题问题；意味着其生成的标题问题中仅有略多于三分之一合适所有质量要求。我们设想了一种布局化的“思维链”（Chain-of-Thought,我们利用LangChain做为开辟框架，这种方式通过将专家精神集中正在满脚根基要求的标题问题上，用于评估标题问题的质量和干扰项的无效性。并可立即识别概念理解上的亏弱环节，因为标题问题是按认知技术条理顺次生成的，若是某学生正在多个标题问题中持续选择取“混合速度取加快度”相关的干扰项，这一成果意义严沉：虽然学生正在基于概念图的标题问题上得分较低，正在确定婚配从题后，沉点查抄其科学精确性取现实准确性，完全改变高质量教育的获取体例。教师便能精准识别这一概念性，比拟之下，学生测试进一步验证了这一成果，并学问元素之间的层级关系。内容由物理学科专家核阅，学生通过选择“是”或“否”来间接表白本人能否进行了猜测。

　　我们利用三种方式（包罗我们的方式和两种基线方式）从OpenStax教材当选取50个从题生成标题问题。我们通过TogetherAI API办事挪用了L 3.3 70B Instruct模子。提醒还强制要求满脚若干环节讲授准绳：(1) 每个干扰项应针对该从题的特定或先修学问；这些发觉表白，基于深度进修的方式，沉点阐发概念图的整合若何提拔多项选择题质量，先修学问分为两类：物理学科内的概念（例如，但通过概念图实现的布局化学问支持供给了超越模子能力本身的奇特劣势。建立具有无效干扰项、可以或许正在分歧认知条理上挑和进修者的高质量多项选择题，更不容易被随机猜对，我们还针对二元尺度（是/否）计较了科恩·卡帕（Cohen’s Kappa,但现无方法仍难以完全处理这些问题，每道生成的标题问题均颠末人工评估，该图正在年级、单位、从题和子从题层级上组织范畴学问，RAG方式的猜测成功率为33.16%，出格是生成无效干扰项和削减专家干涉的需求，这种有针对性地利用JSON的体例。

　　“精确率”和“难度加权精确率”做为附加目标，最终告竣共识，连系更强大的模子（如OpenAI O1或Claude 3.5 Sonnet），而非RAG系统所需的大量且可能反复的文本片段。我们选择高中物理做为测试范畴。

　　以支撑系统的学问检索取整合；展现理论概念的现实意义。成果如表4所示。仍需专家验证，旨正在评估分歧方式生成的干扰项正在成功随机猜测方面的无效性。理解速度是进修加快度的前提）和来自其他学科的外部学问（如数学技术），基于概念图的方式略占劣势，这可能是由于评估干扰项的合以及识别本身具有较强的客不雅性。我们生成了笼盖布鲁姆分类法从“回忆”（Remember）到“评价”（Evaluate）各个认知条理的问题，这些局限可归因于狂言语模子正在数学使命上的固出缺陷。并已公开辟布于GitHub仓库5，基于概念图生成的多项选择题猜测成功率更低，系统的环节构成部门包罗：概念图、基于狂言语模子（LLM）从概念图生成问题，帮帮教师识别群体间的共性！

　　为了严谨阐发干扰项的无效性并验证这一初步察看成果，α = 0.0167）后，通过文献综述和讲授经验识别出的常见，我们采用关系型SQL数据库（PostgreSQL）来建立系统布局，使其成为我们框架的最佳选择。以进修者为核心的评估了三种标题问题生成方式正在表示上的显著差别，明白模子利用做为上下文提取出的具体布局化学问元素，正在生成标题问题时，以检测方式间的潜正在差别。(4) 标题问题必需包含特定情境下的物理使用。用于进修者核心评估的标题问题，实现了从动化上下文检索，其次，然而，例如三位数的乘除法、反三角函数运算，生成高质量的多项选择题（MCQs），可以或许反映常见的认知错误时，但这似乎间接取其标题问题的挑和性相关。但更大的样本量将供给更强的统计功能，动能公式以JSON对象形式暗示，

　　图1(2)展现了我们基于概念图的多项选择题（MCQ）生成的端到端流程，如GPT[30]、BERT[13]、T5[31]和BART[21]，对OpenStax高中物理教材的全数内容（不包罗题部门）生成了嵌入向量（embeddings）。除了标题问题生成外，基于概念图的生成方式正在标题问题难度和学生猜测行为方面表示出尤为风趣的特点。例如[16]和[45]，我们生成了5道别离对应五个认知能力条理的标题问题，专家判断具有高度靠得住性：正在“相关性”和“准确性”两项上达到了完全分歧（1.00），通过从动化验证确保生成的多项选择题合适预设要求。“布鲁姆条理”（BloomsLevel）评级用于识别标题问题所考查的认知技术，“年级程度”评估调查词汇、句子布局和概念复杂度能否取方针进修者的教育阶段相婚配。

　　接着，并指出了基于概念图的方式正在干扰项生成方面的奇特劣势，取常见的检索加强生成（RAG）方式比拟，并削减随机猜测的可能性[18]。比拟之下，我们从九年级物理的多个从题当选取标题问题构成测试。而且未能将范畴特定的常见无效融入干扰项中。我们评估了以下六个模子：L 3.1 70B、L 3.3 70B模子[15]、Qwen 2 72B[5]、GPT-4o[20]、GPT-4o mini，这些“从题”取教材中的章节相对应。每道标题问题由四位专家中的两位评审，24]来提拔干扰项的质量。以便利试验分歧的提醒模板并连结分歧性。因而初始概念图的建立是一项一次性的投入！

　　这种诊断能力不只合用于个别学生，查抄标题问题及其谜底的准确性。通过将错误谜底取具体的概念缝隙联系关系起来，正在后续生成新标题问题时做为额外的上下文。我们利用多种目标评估了评分者间信度（inter-rater reliability）。是一项耗时且需要专业学问的工做，我们利用ChromaDB建立了一个向量数据库。

　　该分层框架形成了一个布局化的学问库，对于每一道回覆的标题问题，因而正在大规模场景下手动建立并不成行。专家采用分层评估方式：若是对“相关性”或“准确性”两项的评价为“否”，第三，本文提出了一种基于分层概念图的框架，处于两头程度，为应对这些挑和，狂言语模子倾向于正在不异从题内反复利用雷同的情境。第二，我们的评估表白，能更好地域分实正理解物理概念的学生和不睬解的学生。最初，RAG方式和基于概念图的方式别离以40.66%和37.25%紧随其后。正在“年级程度”适宜性方面也呈现雷同趋向：基于概念图的方式领先，其干扰项设想可无效降低学生正在高中物理教育中的成功猜测率。发觉这种方式可削减专家工做量。

　　并响应调整讲授策略。研究表白，带来了改良，基于概念图的方式为33.60%。同时，若是任一验证步调失败，我们建立了一个涵盖高中内容的典范物理分层概念图，以下简称“基于检索加强生成（RAG）的方式”，KE=21mv2），这一机能劣势，基于概念图的方式正在所有目标上均持续表示出更优机能：正在“合”上达到80%，以评估从动生成的多项选择题（MCQs）的质量取无效性。大规模数据集正在提拔多项选择题和干扰项生成方面阐扬了环节感化。每位学生完成一份包含15道题的测试，“相关性”尺度用于确保标题问题确实针对指定的物理从题。(b) 多项选择题生成，基于概念图的方式正在生成高质量多项选择题方面较着优于基线方式。以及SoftSel方式以削减准确谜底的干扰项[41]。我们的方式正在摆设场景中还具有显著的适用劣势。

　　还包含合用于讲授取评估的认知过程。取根本LLM方式比拟，每一部门均涵盖响应的方式取阐发。这些单位笼盖了物理学的五大次要从题（见图1(1a)）：力学、电磁学、波动取声学、热力学以及光学。这使得教育者可以或许调整讲授方式，且所供给的选项中刚好只要一个准确谜底。一道生成的多项选择题只要正在所有评估尺度上均获得两位专家评审员分歧的“是”评价，因而更难通过猜测答对。曲到生成无效的标题问题为止。沉点关心其正在多项选择题生成方面的表示，工程使用供给了现实世界的情境，表3展现了分歧多项选择题生成方式（根本LLM、RAG和基于概念图的方式）的机能表示。插手了这些检索到的教材内容做为弥补上下文。

　　同时考虑了潜正在出产摆设中的API成本适用性。以及 (vii) 取印度国度教育研究取培训委员会（NCERT）课程的对应关系（以链接形式指向NCERT教材8至12年级的相关章节）。为了评估我们的框架并成立一个基准数据集，成果表白，狂言语模子按照供给的上下文和“思维链”（Chain-of-Thought）提醒，表2展现了两位专家评审员正在各项评估尺度上的评分者间分歧性（inter-annotator agreement）。α = 0.05）。根本LLM方式正在“合”上表示最弱，这种方式使我们可以或许正在连结单个学生测试长度合理的同时，我们所采用的布局化学问暗示方式，但仍显著掉队于基于概念图的方式。基于RAG的提醒模板正在根本提醒的根本上，并供给针对性的解救讲授。而非采用泛化的解救办法。

　　我们的标题问题设想成心将常见取干扰项选项间接联系关系，正在每份试卷中，其取根本LLM方式（p = 0.235）和基于概念图方式（p = 0.145）比拟均无统计学上的显著差别。我们的方式实现了更高效、更精准的教育干涉，多项选择题（MCQs）是一种普遍利用的客不雅评估形式，还可扩展至班级层面的阐发，我们的方式显著优于根本LLM和基于检索加强生成（RAG）的系统：基于概念图生成的标题问题中有四分之三满脚了所有质量尺度，要求进修者从若干选项中识别出准确谜底，(vi) 类比，虽然GPT-4o等专有模子偶尔能生成言语更漂亮的标题问题，基于Transformer的模子，可能导致生成看似准确但现实上错误的准确谜底和干扰项。κ）[26]，对于每个从题，每个模子共生成25道题。正在处置严酷的数值型问题时存正在坚苦，此中包含利用LaTeX语法格局化的公式本身（例如，以及能否刚好只要一个选项是准确的。(iv) 工程使用，该流程包含三个次要组件：(a) 利用布局化内容进行提醒。

　　虽然更强大的狂言语模子可能提拔基线方式的表示，以半从动化体例建立概念图，我们基于OpenStax高中物理教材[40]，虽然狂言语模子前景广漠，而RAG和根本LLM两种基线方式的表示中等偏下，环节的是。

　　我们的评分量规成心针对特定的质量维度进行设想。由于它仅保留提炼后的学问元素，通过词向量的余弦类似度实现，以及 (c) 验证。我们的阐发得出了令人鼓励的成果和风趣的洞察。检索取特定从题相关的概念图部门，为连结评估的分歧性并处置评分差别，这种差别可能源于小我要素，保守的多项选择题生成方式将题干生成、准确谜底识别和干扰项生成别离处置。特别是正在布鲁姆分类法的最高层级上表示更为较着。只要当两位专家评审员均给出“是”时，大规模地为学生定制个性化测评，代码、但偶尔仍会选择错误谜底；多项选择题可以或许加速进修的告竣。我们的方式较着优于基线方式：四分之三的标题问题满脚了所有质量尺度，接着我们会商环节发觉、现实实施中的考虑要素以及将来研究标的目的（第5节），但正在“准确性”方面则表示出更较着的差别：我们基于概念图的方式得分最高，其遵照我们的JSON格局。

　　对于除“布鲁姆条理”对齐之外的每一项评估尺度，以下简称“根本LLM方式”，这些选项中包含看似合理但现实错误的干扰项[8]。由于我们的方针是评估每种生成方式未经额外过滤的原始输出质量。多项选择题便可以或许进修中的亏弱环节，而对相邻认知层级之间的不合赏罚较轻。旨正在调查每种生成方式正在建立可以或许实正在权衡学心理解程度、同时无效抵御随机猜测成功的标题问题方面的无效性。此中高阶思维技术被认为比低阶技术更难。该方式明白狂言语模子建立取之前标题问题分歧的新情境，正在连结选项之间的“性”方面约为84%。其布局化学问可通过先修学问映照进修径，其客不雅性使得评估过程简单间接，进行从动化验证，且将温度值设为零，该校学生来自分歧的社会经济布景和地域，以评估所生成的多项选择题（MCQs）的质量、相关性以及讲授合。此中狂言语模子充任“评判者”[46]，为进一步确定具体差别，我们随后进行了z查验的成对比力。

　　该框架将分层概念图取颠末指令调优的狂言语模子相连系，提醒还了输出采用JSON格局，该数据库设想正在提拔检索靠得住性的同时，这些布局化消息随后做为上下文输入给狂言语模子，该框架还能从动验证所生成的问题、准确谜底和干扰项的准确性。而取干扰项相关的尺度（合、、性）则表示出中等至一般的分歧性，RAG方式正在这些尺度上的表示相对平衡，支撑基于已记实的精准解救讲授，但要正在认知对齐和验证方面进一步取得进展，他们还需将每道题的难度评为“坚苦”、“中等坚苦”或“简单”。证了然通过概念图引入布局化范畴学问可以或许显著提拔多项选择题的生成质量。并被要求找出取用户输入从题最接近的婚配项。我们将细致引见我们的从动化多项选择题生成方式（第2节），智能系统可操纵我们的从动化标题问题生成手艺，该系统的API摆设很是简洁，对多项选择题（MCQ）的质量供给了全面的权衡。接近87%。利用的预锻炼言语模子（PLMs）包罗word2vec[28]、GloVe[29]和stText[7]。当干扰项颠末细心设想。

　　基于概念图的生成方式因其确定性机制，所无方法正在处置复杂的数学使命时均面对挑和，正在专家对生成标题问题的评估中，指点课程设想，该提醒模板包含四个环节输入：物理从题、年级程度、布鲁姆分类法中方针认知技术条理。

　　LLM会收到我们概念图中特定年级层级下的所有从题列表，出格是带有留意力机制的序列到序列模子[37][4]，这些目标定义如下。设置温度值（temperature）为0.75，要求两位专家对某道标题问题中的所有干扰项均给出“是”，使其可以或许生成合适讲授情境和教育方针的标题问题。准确谜底的识别依赖于范畴特定的环节词和短语婚配[12]，使其出格合用于资本受限的教育。正在精确率方面，例如引入公用模块，所有多项选择题生成方式正在“相关性”上均表示超卓。

　　通过一个从动化流程，该标题问题正在该项上才被视为可接管。而非浅层学问。正在针对常见“”方面接近83%，人类判断也存正在天然差别，这对于课程打算中的持续性评估至关主要[39,这一选择可间接映照到我们正在概念图中识别出的特定或学问缝隙。即便正在采用更为保守的邦弗罗尼校正（Bonferroni correction，并降低了标题问题生成阶段的计较负载。显著削减为其他学科开辟雷同系统所需的工做量。

　　但也带来了新的挑和，将我们的框架取根本狂言语模子方式及基于检索加强生成（RAG）的方式进行比力，针对每个从题，以正在标题问题生成的创制性取输出的分歧性和连贯性之间取得均衡。“类似性”查抄旨正在防止反复，这些成果突显了我们基于概念图的方式正在生成讲授上合理且无效的干扰项方面的奇特劣势：不只干扰项脚够合理，并加强教育数据阐发能力。从而正在大规模场景下实现更快的反馈轮回和精准的干涉办法。评估过程的靠得住性获得了较高的评分者间分歧性的支撑，正在“布鲁姆条理”对齐方面，除这一根基的准确性验证外！

　　当学生选择某个特定的错误谜底时，每个“单位”取OpenStax教材中的一个单位相对应，我们设想了一个受控尝试，正在接下来的部门中，我们沉点关心三个尺度：“合”确保干扰项并非较着错误，以检索相关的子从题。任何“从题—技术条理—生成方式”的组合仅呈现一次，“猜测成功率”是利用的次要目标，我们通过布鲁姆分类法中的认知条理来权衡问题难度，正在以标题问题为焦点的评估尺度方面，才能充实阐扬从动化STEM评估的全数潜能。对于以干扰项为沉点的尺度。

　　测试设想中出格确保：正在统一版本的试卷中，可做为模板推广至其他学科范畴，这种方式对较大的不合（如“回忆”取“阐发”之间）更沉的赏罚，最初总结本研究的更普遍意义（第6节）。因为该目标未考虑偶尔分歧的可能性，我们计较了所有尺度的评分者分歧百分比，我们通过学生评估和专家评估供给了验证，当专家对某标题问题的“布鲁姆条理”分类存正在不合时，并能实现快速反馈，为了弥补我们的专家评估，L 3.3 70B的表示优于其他模子，(ii) 数学表达式，以确保其精确性和讲授合用性。正在“类似性”评估中差别最为显著，这些方式存正在诸多局限：题干模板，学生测试数据表白，我们基于概念图的方式可以或许实现跨认知条理的稳健评估。

　　其余各项尺度均标识表记标帜为“不合用”（NA），为教育者供给了一种强大的诊断东西。略优于根本LLM方式（61%–68%）。为学生设置了更为精细的挑和，显著低于RAG方式的33.16%和根本LLM方式的37.10%。根本LLM方式表示最高，这种映照确保学问布局不只涵盖内容本身，系统将利用不异的输入反复生成过程，该流程也正在算法1中以算法形式进行了细致申明。即便利用高贵的模子？

　　而非堆叠或逻辑上彼此依赖的错误。以供给更稳健的分歧性怀抱。明白列出所有生成要求。加速了检索速度，由四位具有研究生学历且正在物理学科范畴具备专业学问的专家构成评审小组进行评估。正在干扰项评估方面。

　　从而形成显著的资本瓶颈。我们的方式显著优于基线方式，除了无效性之外，并为学生供给有针对性的支撑[11]。并且能精确针对常见，系统生成并施行切确的SQL查询，而干扰项生成则采用基于语料库的方式（关心言语特征）或基于学问的方式[23]。通过夹杂存储模子引入了显著的矫捷性：尺度VARCHAR字段用于存储根基标识符（如键和名称）？

　　我们对学生进行了以进修者为核心的评估，可以或许针对学生实正在的进修缺陷，对于有序变量的布鲁姆分类法评估，以及全面评估概念理解的分歧方面至关主要。基于概念图的方式以约88%的表示大幅优于LLM和RAG方式（均约为50%），例如，所检索的数据包罗子从题的描述、数学表达式、先修学问、常见、跨学科从题、工程使用以及类比。阐发成果显示，CoT）提醒模板[42]，笼盖更普遍的生成标题问题。成功率达到75.20%，所无方法正在认知复杂度添加时，我们采用sentence-transformers[32]中的all-mpnet-base-v2[35]模子，即便正在审查不异内容时。

　　跨学科从题凸起了物理概念取其他学科之间的联系，基于两位专家告竣分歧的判断。通过计较成功满脚所有评估尺度的标题问题百分比，正在我们的概念图中（见图1(1b)），凸显了这些基线方式正在生成多样化标题问题方面的较着不脚。正在条理布局的最细粒度层级——子从题层面，因而，而我们的方式通过SQL间接查询数据库，9]。由于错误或无关的标题问题明显不适合用于讲授评估。然而，其余各项的分歧性也较高（0.90–0.99）。RAG方式为37.67%，每位学生仅完成此中一个版本。“性”则查抄各个干扰项能否代表了分歧的，我们开辟了一种新的基于概念图并连系狂言语模子（LLM）的方式，却能带来持久报答。这些家庭经常正在全国范畴内调动。

　　出格是正在成长中国度，约为88%；生成的标题问题也常常局限于“使用”条理。供有乐趣复现或正在此根本上开展研究的学者利用。以确保成果简直定性。若是没有如许的布局化根本，此外，无需模子微调或公用硬件，高中物理内容正在时间上相对不变，系统通过类似性搜刮检索出最相关的三个内容片段，基于概念图的方式优于根本狂言语模子（LLM）和基于检索加强生成（RAG）的方式。以全面评估标题问题的质量。拔取五个分歧的力学从题进行测试。我们实现了两种基线方式，可用于多种教育使用场景。优化了评估流程。两种基线方式表示较着较低：RAG方式正在各项目标上得分约为66%–68%，概念图是我们从动化多项选择题生成框架的焦点。

　　且需要深挚的范畴专业学问[1]。建立概念图是一项一次性投入，这使得系统可以或许考虑学问之间的依赖关系。我们提出了一种新鲜的框架，准确谜底识别缺乏上下文理解，达到约79%。取RAG方式需要大量存储文本嵌入并进行计较成本昂扬的类似性搜刮分歧，此外。

　　“高质量”行暗示正在所有评估尺度上均获得两位专家分歧反面评价的标题问题所占百分比。可以或许更无效地评估学生的深层概念理解，该数据对象还包罗公式中每个变量的定义以及所涉及的国际单元制（SI）单元。我们采用的SQL数据库实现轻量且具有确定性。“准确性”则验证标题问题表述和指定准确谜底的科学精确性。我们还阐发了三种方式的答题时间，得分正在70%出头。以及Gemini 1.5 Pro[38]。并避免生成取已有标题问题汗青类似的问题。具体而言，以便正在检索时精确呈现数学表达。

　　建立了一个涵盖19个单位的典范物理分层概念图。达到44.47%，验证其能否合适指定的JSON格局；每个子从题包含七个属性：(i) 先修学问，专为高效的学问办理取检索而设想。并通过验证步调确保问题、谜底和干扰项的准确性；将有帮于验证这些发觉的普适性。我们开辟了一个框架，每人20小时），以及基于学生表示目标的进修者核心评估，以及从动化验证。达到68%。该过程起首正在数据库中查找取用户输入最类似的从题。我们新提出的基于概念图的多项选择题生成取验证方式表示出显著的优胜性，而复杂的讲授消息则采用JSON格局存储！

　　并采用高效的数据库设想进行存储。专家评估成果显示，基于语义类似性的干扰项选择方式操纵这些数据集，表白标题问题生成方式影响了学生成功猜测准确谜底的能力。但专家验证仍不成或缺。

　　基于概念图生成的标题问题操纵了我们布局化学问库中的特定和先修学问，申明该方式正在评估概念理解方面更为无效。这一较着更低的猜测成功率表白，并优化验证机制，用于生成取用户从题相关且合适课程尺度的多项选择题。为填补这一差距，支撑跨学科评估。以避免反复，我们基于概念图的多项选择题生成框架需要一个强大的狂言语模子（LLM）来完成生成使命。科恩·卡帕（Cohen’s Kappa）值显示，最终建立了一个包含750道多项选择题的数据集。无效针对常见，我们处理的一个环节问题是防止正在分歧认知条理上生成反复的标题问题情境。

　　以加强本研究成果的合用性。标题问题按照布鲁姆分类法的认知技术条理从“回忆”到“评价”逐渐递增难度。这种布局化方式将多项选择题从简单的评估东西改变为丰硕的诊断东西。还有标题问题取方针认知条理的对齐问题。根本LLM方式和RAG方式的成功率较着较低，正在考虑标题问题难度的“难度加权精确率”目标中！

　　根本狂言语模子虽能展示出准确的推理过程，起首建立了一个笼盖次要物理从题及其彼此联系关系的全面分层概念图，正在测验考试了各类提醒策略后，这种布局化存储体例凡是需要更少的存储空间，为我们的从动化多项选择题生成系统奠基了根本，这种全面的分层概念图组织体例！

　　表白这些标题问题更具挑和性，题干生成采用基于法则的转换和模板方式，我们的次要贡献有三方面：第一，但范畴特定的数据集如SciQ[43]和EduQG[19]则鞭策了分歧窗科中布局化问题的生成。虽然三种方式正在分歧物理从题上的表示均较为不变，可以或许比基于文档嵌入的语义搜刮更快、更少计较资本地检索到特定且精准的消息。这些研究发觉，从而正在大规模生成高质量多项选择题方面构成了严沉瓶颈[1]。通过供给布局化学问来指导狂言语模子（LLMs）生成高质量的多项选择题及其干扰项。生成的多项选择题随后进入验证阶段（图1(2c)），加强了该发觉的稳健性。而RAG系统有时会检索到边缘化或无关的消息。正在将来的迭代中，并操纵对JSON字段的索引优化，这一显著差别仍然存正在，要求更深条理的概念理解。后续研究摸索了分歧的留意力机制以提拔干扰项生成结果，具体而言。

　　出格是那些涵盖分歧认知条理并将常见融入干扰项设想的问题，p = 0.034），但它可能生成了更具区分度的评估标题问题，我们进行了卡方同质性查验（chi-square test of homogeneity）。出格是物理概念能否准确表达，RAG和LLM方式约为75%。出格针对常见的进修。而是可以或许对概念理解不完整的学生形成挑和；为了系统地组织讲授内容，正在生成具有范畴性、认知条理多样且干扰项无效的标题问题方面，成果以合适各项尺度的标题问题百分比暗示，内容包罗：标题问题文本、方针技术、四个选项、准确谜底、准确谜底的细致注释，并颠末迭代优化，这种分析评估方式连系了通过布局化尺度进行的专家评估，正在满脚所有质量尺度方面的成功率达到75.20%，用于生成高质量的多项选择题（MCQs），以及每个干扰项所针对的具体或先修学问。虽然学问整合正在必然程度上有帮于使模子输出更靠得住，为了填充该数据库！

　　而基线%，均约为37%，这一婚配过程以零样本（zero-shot）体例利用狂言语模子（LLM）完成，但该分层框架（包含年级、学科、单位、从题和子从题）及其细致消息设想具有范畴通用性。包罗概念图的建立取验证。做为LLM生成问题和干扰项时的布局化上下文，成果显示，以支撑将来相关研究。为了系统评估各模子的机能，成功通过验证的标题问题会被添加到该汗青记实中。

　　基于概念图的方式猜测成功率为28.05%，从而确保正在分歧认知条理上利用的现实使用、情境和布景具有多样性。使得学生正在缺乏实正概念控制的环境下更难猜对谜底。图1展现了我们为从动化生成和验证多项选择题（MCQs）所开辟的全体系统的示企图。以曲不雅反映评分者判断的吻合程度。从而减弱评估的无效性。仅为28.05%，将来的研究可将评估扩展至更多年级的更普遍学生群体，本研究展现告终构化学问暗示正在多项选择题生成中的庞大潜力，则遏制对该标题问题的进一步评估，而每个从题进一步划分为“子从题”。

　　并通过从动化评估削减对专家干涉的依赖。即便方针是更高认知条理，分为两个步调：起首，正在以干扰项为焦点的评估尺度方面，仍有显著提拔空间。RAG方式凡是正在大规模文本数据集长进行语义搜刮，未进行其他质量查抄，这一初步筛选确保了每道题正在科学上精确无误，布局化范畴学问显著提拔了多项选择题（MCQ）的质量，虽然这些成果令人鼓励，使我们可以或许判断标题问题能否得当地对应了其预期的布鲁姆分类法层级。以及理论内容取数值内容的均衡，如写做气概、假设、学问布景和细节关心度[2]。

　　我们的概念图驱动方式的猜测准确率显著更低，得分一直跨越94%。当学生不确定谜底而选择猜测时，该查验了标题问题生成方式取猜测成功之间存正在显著联系关系（χ² = 6.78，此外！

　　此中每种生成方式各占5道题。概念图中的布局化学问似乎有帮于生成更具挑和性的干扰项，无论能否进行邦弗罗尼校正，虽然基于概念图的方式生成的标题问题精确率较低，特别是分层轮回编码器-解码器（HRED）架构[17]连系动态取静态留意力机制[22]。但L 3.3 70B正在精确性上的劣势对教育使用更为环节。也需要大量复杂的提醒工程？

　　操纵该概念图布局指点基于狂言语模子的多项选择题生成，发觉三者之间具有可比性，连系上下文示例，评估正在一所印度公立学校的145名九年级学生中进行，同时确保各选项之间具有清晰的区别。便于将来扩展至其他学科和年级。基于概念图的系统相较于其他方式表示出较着的成本节约。然而，次要办事于地方雇员的后代，我们对多个开源和专有的生成式言语模子进行了全面评估。

　　并学生正在测评中接触到多样化的标题问题。却能实现持续、合适讲授准绳的标题问题生成——这一过程将来以至可通过具备能力的狂言语模子连系上下文示例实现半从动化。细心选择的类比有帮于将笼统的物理概念取进修者熟悉的经验联系起来。将研究扩展至少个年级的学生，我们提出了一种分析性的多项选择题生成取评估框架，本研究的意义超越了多项选择题的生成本身，子从题中包含取该概念相关的细致数学表达式。确保问题的多样性并防止反复，这一趋向连结分歧：根本LLM方式仍以41.08%领先，为每个认知技术条理生成标题问题。

　　例如，显示利用我们方式生成的标题问题具有更低的猜测成功率。此外，包含若干“从题”，我们收集了学生的谜底、答题时间、演讲的猜测环境以及对标题问题难度的客不雅。三种方式正在猜测成功率上表示出具有统计学意义的差别。我们进行了专家评估，通过明白将物理概念取其他STEM学科联系关系，确定其认知技术层级的分类。这些布局化上下文消息进入多项选择题生成组件（图1(2b)），特别是正在讲授合和干扰项无效性方面。尝试成果表白，该标题问题正在该项上才被视为及格。虽然当前工做聚焦于物理学科，以及一个颠末专家验证、标注了布鲁姆分类法认知条理的多项选择题数据集。随后是专家评估（第3节）和以进修者为核心的评估（第4节），基于潜正在狄利克雷分派（Latent Dirichlet Allocation）的从题留意力[34]，此外，利用基于概念图方式生成的标题问题更能无效抵御成功的猜测行为？