微软推出, 微软亚洲研究院与北京大学、Xi交通大学等高校作为合作伙伴,提出了一种名为“马乐”的人工智能训练方法,以提高人工智能的推理能力。
微软引入了从错误中学习的模型训练方法。
微软亚洲研究院与北京大学、Xi交通大学等高校作为合作伙伴,提出了一种名为“马乐”的人工智能训练方法,以提高人工智能的推理能力。
OpenAI GPT-4和Google aLM-2等大规模语言模型在自然语言处理(NLP)任务和思维链推理中的数学问题上表现出色。
然而,在处理相关问题时,LLMA-2和百川-2-2等大型开源模型仍需加强。
为了增强这些大型语言模型的思维链推理能力,研究团队提出了马乐方法。这种方法的核心是利用包含“错误答案”和“修正的正确答案”的数据对相关模型进行微调。为了获得相关数据,
研究人员收集了五种不同大型语言模型的错误答案和推理过程,包括美洲驼和GPT系列。然后,GPT-4被用作校准器来提供修正的正确答案。
修正后的正确答案包括三种信息:原推理过程中的错误片段、原推理过程中的错误原因以及如何修正原方法得到正确答案。
研究人员使用GSM8K和MATH来测试马乐训练方法在五个大型开源模型上的效果。测试结果表明,
改进后的LLMA-2-70B在GSM8K任务和数学任务中的准确率分别为83.5%和81.4%和25.0%和23.6%。
微软推出,以上就是本文为您收集整理的微软推出最新内容,希望能帮到您!更多相关内容欢迎关注。