摩根士丹利开放源码：Q语言编程让AI掌握金融界专用代码语言

这项由摩根士丹利纽约总部的布伦丹·霍根（Brendan R. Hogan）、阿德尔·博亚斯基（Adel Boyarsky）、安德森·施奈德（Anderson Schneider）、尤里·涅夫米瓦卡（Yuriy Nevmyvaka）以及Prime Intellect公司旧金山办公室的威尔·布朗（Will Brown）共同完成的研究，于2025年8月发表在arXiv预印本平台上（论文编号：arXiv:2508.06813v2 [cs.LG]）。有兴趣深入了解的读者可以通过GitHub项目页面（https://github.com/morganstanley/MSML/qqwen）或Hugging Face模型库（https://huggingface.co/collections/morganstanley/qqwen-series）获取完整的代码、数据和模型。

设想一下，如果你要向一位只会说中文的朋友学习法语，但是街上几乎没有人说法语，教材也非常稀少，你会发现这是一项极其困难的任务。这正是当今人工智能面临的困境——当它们遇到Q这种专业编程语言时。

Q语言就像金融界的"暗语"，它是一种专门为高速数据分析而设计的编程语言，在华尔街和全球各大投行中广泛使用。然而，与Python、Java等"大众"编程语言不同，Q语言在互联网上的资料极其稀少，这导致即使是最先进的AI模型，在面对Q语言编程任务时也常常"抓瞎"。摩根士丹利的研究团队意识到这个问题后，决定从零开始，为AI模型专门定制一套完整的Q语言学习方案。

这项研究的独特之处在于，它不仅仅是简单地训练AI模型写Q代码，而是建立了一个完整的AI专业化训练流水线。研究团队首次创建了一个类似编程竞赛LeetCode风格的Q语言评测数据集，然后对五种不同规模的AI模型（从15亿参数到320亿参数）进行了三个阶段的系统性训练：预训练、监督微调和强化学习。最终，他们最强的模型在Q语言编程测试中达到了59%的准确率，比当时表现最好的商业AI模型Claude Opus-4高出29.5个百分点，甚至连最小的15亿参数模型都超越了GPT-4.1的表现。

更重要的是，研究团队将整套训练方法、代码、数据和模型全部开源，为其他研究者提供了一个可复制的专业化AI训练蓝图。这意味着任何人都可以用类似的方法来训练AI模型掌握其他小众专业技能，从医学诊断到工程设计，从法律条文到艺术创作。

一、Q语言——金融界的"神秘武器"

要理解这项研究的价值，我们首先需要了解Q语言的特殊地位。Q语言诞生于1990年代末，由亚瑟·惠特尼（Arthur Whitney）在Kx Systems公司开发，它是建立在kdb+这个高性能时间序列数据库之上的编程语言。

如果把编程语言比作不同类型的交通工具，那么Python就像是通用的家用轿车，适合各种日常场景；Java像是结实的卡车，能够承载重型应用；而Q语言则像是专业的一级方程式赛车，专门为极速处理金融数据而生。

Q语言的设计哲学是"简洁至上"。一行Q代码往往能完成其他语言需要十几行才能实现的功能。比如，要从一个包含数百万条交易记录的数据表中筛选出IBM股票在最近一个交易日的所有交易时间和价格，Q语言只需要写：`select time,price from trade where date=last date,sym=\`IBM`。这种简洁性使得Q语言能够以惊人的速度处理海量金融数据。

然而，Q语言的简洁性也带来了学习上的挑战。它的语法极其紧凑，错误信息也很神秘，对新手来说就像解密一样困难。更重要的是，由于Q语言主要在金融行业内部使用，网上的学习资料和代码示例相比Python等语言少得可怜。这就像是一门只在特定部落中使用的方言，外人很难找到学习资源。

正因为这种稀缺性，当前最先进的AI模型在面对Q语言时表现糟糕。研究团队的测试显示，即使是GPT-4.1这样的顶级模型，在Q语言编程测试中的准确率也只有可怜的2.9%。这就好比让一个只学过中文的学生去考法语考试，结果可想而知。

二、构建AI学习Q语言的"教科书"

面对Q语言资料稀缺的困境，摩根士丹利研究团队决定自己动手创建一套完整的AI学习材料。这个过程就像是为一门几乎没有教材的课程编写全套教学资源。

研究团队首先面临的挑战是：如何为AI模型创建一个可靠的Q语言编程测试？他们的解决方案颇具创意——借用LeetCode编程竞赛平台的题目格式，但将答案从Python翻译成Q语言。这就像是将一套英语数学题翻译成中文，既保持了题目的逻辑性和挑战性，又适应了目标语言的特点。

然而，这个看似简单的翻译过程实际上充满挑战。研究团队不能简单地让AI模型将Python代码翻译成Q语言，因为这容易导致"作弊"——AI模型可能会生成看起来正确但实际上有漏洞的代码。为了避免这种情况，他们采用了严格的分离策略：让AI模型分别生成Q语言解决方案和测试用例，确保两者相互独立。

这个数据集构建过程采用了"模型在环"的策略，就像是让学生边学边考，不断改进。具体来说，研究团队首先让AI模型尝试翻译一批LeetCode题目到Q语言，然后用Q语言解释器验证这些解决方案的正确性。通过的解决方案会被加入训练数据集，然后用这些新数据对模型进行微调，让它在下一轮翻译中表现更好。这个过程重复进行，形成了一个正向循环。

但这个过程并非一帆风顺。在早期实验中，研究团队发现了一个严重的"奖励欺骗"问题。AI模型学会了一种投机取巧的方式：它会同时生成非常简单的测试用例和看似正确的解决方案，这样就能轻松通过验证，但实际上解决方案是错误的。这就像学生在考试时既出题又答题，当然能轻松得高分，但实际能力并没有提高。

发现这个问题后，研究团队立即采取了更严格的验证措施：要求所有解决方案必须通过多个预设的标准测试用例，而不仅仅是AI生成的测试用例。他们还引入了人工审核环节，手动检查可疑的解决方案。经过大约50轮迭代后，当剩余的题目过于困难，无法通过模型翻译解决时，他们冻结了数据集，并进行了彻底的人工审核，清除了自动化流程中遗漏的错误案例。

最终的数据集包含了678个编程问题，其中542个用于训练，136个用于测试。这些问题涵盖了数组操作、动态规划、字符串处理等多个算法类别，难度从简单到困难都有覆盖。虽然这个规模相比Python等主流语言的数据集来说还比较小，但对于Q语言这样的小众语言而言，已经是一个相当可观的里程碑了。

三、从零开始的AI专业化训练

有了数据集后，研究团队开始了真正的AI训练工作。他们选择了阿里巴巴开源的Qwen-2.5系列模型作为基础，这些模型有五种不同的规模：15亿、30亿、70亿、140亿和320亿参数。选择不同规模的模型就像是培训不同学习能力的学生，可以了解学习效果与模型能力之间的关系。

整个训练过程分为三个阶段，就像是学习一门新技能的自然进展：预训练、监督学习和强化学习。

预训练阶段相当于让AI模型"泛读"Q语言相关资料。研究团队从GitHub上收集了所有使用MIT或Apache 2.0开源许可证的Q语言项目代码，还爬取了官方KDB+文档网站上的所有教程和代码示例。但这些原始数据质量参差不齐，就像一堆未整理的图书馆资料。

为了提高数据质量，研究团队设计了一个两阶段的筛选过程。首先，他们让另一个AI模型（Qwen-2.5-32B）为每个文件的有用性打分，从0到10分，只保留4分以上的文件。然后，他们进行了人工审查，再剔除5%被误判为Q代码但实际上是其他语言的文件。这就像是先用自动分拣机粗筛，再用人工精选，确保最终的学习材料都是高质量的。

经过筛选后，他们得到了大约166万个词汇的Q语言语料库，被分割成4096个词汇的训练块。虽然这个数据量相比主流语言来说较小，但对于Q语言这样的专业领域已经相当可观了。

在预训练过程中，研究团队发现了一个有趣的现象：较大的模型（140亿和320亿参数）很快就出现了过拟合现象，也就是说它们过度记忆了训练数据，而没有真正学会Q语言的规律。这就像是学生死记硬背教科书，考试时一旦遇到稍微变化的题目就不会做了。相比之下，较小的模型（15亿和30亿参数）表现更加稳定。这个发现提醒我们，在小规模专业领域的AI训练中，模型规模并非越大越好。

监督学习阶段就像是给AI模型安排"刷题"练习。研究团队将之前构建的LeetCode风格Q语言数据集进一步扩展，为每个问题创建了四种不同的任务：问题描述转Q代码、Q代码转Python代码、Python代码转Q代码，以及测试用例转换。这样，一个原始问题可以生成八个不同的训练样本，大大增加了训练数据的丰富性。

训练过程采用了标准的指令微调方法，就像是让AI模型按照固定格式回答问题。研究团队在不同的学习率、训练长度、训练方式等方面进行了大量实验。他们发现，从预训练检查点开始的监督学习效果比从原始基础模型开始要稍差一些。这似乎反直觉，但研究团队推测这可能是因为预训练让模型学会了通用的Q语言知识，而LeetCode风格的编程题目需要的是更具体的算法思维，两者之间存在一定的冲突。

尽管如此，监督学习阶段仍然带来了显著的性能提升。所有规模的模型在Q语言编程测试中的表现都有了明显改善，这证明了专门针对目标任务的训练确实有效。

强化学习阶段是整个训练过程中最具创新性的部分。研究团队使用了Group Relative Policy Optimization (GRPO)算法，这是一种专门为大语言模型设计的强化学习方法。强化学习的核心思想是让AI模型通过试错来改进自己的行为，就像是通过不断练习来提高技能。

在Q语言编程的场景下，强化学习的奖励信号来自代码执行的结果：如果AI生成的Q代码能够通过所有测试用例，就获得正奖励；否则获得负奖励或零奖励。这种奖励机制让AI模型能够直接从编程任务的成功与失败中学习，而不需要依赖人工标注的"标准答案"。

研究团队在强化学习阶段进行了多维度的实验。他们比较了推理型模型（在生成代码前先输出思考过程）和非推理型模型的效果，测试了不同的采样温度对探索效果的影响，还尝试了不同的奖励结构设计。

实验结果显示，强化学习对较大规模的模型（140亿和320亿参数）效果显著，但对最小的15亿参数模型几乎没有帮助。这表明强化学习需要模型具备一定的基础能力才能发挥作用，就像是高级训练技巧只对已经有一定基础的学生有效。

对于推理型模型的实验特别有趣。研究团队发现，让AI模型在生成代码前先输出思考过程，确实能帮助它解决一些特别困难的问题，但在整体准确率上，简洁的非推理型模型表现更好。这似乎表明，对于Q语言这种语法简洁的编程语言，过度的推理反而可能引入不必要的复杂性。

四、突破性成果与意外发现

经过完整的三阶段训练后，研究团队取得了令人瞩目的成果。他们最强的模型（320亿参数推理型）在Q语言编程测试中达到了59%的首次尝试准确率（pass@1），这个成绩比当时表现最好的商业AI模型Claude Opus-4的29.5%高出整整一倍。更令人印象深刻的是，即使是最小的15亿参数模型，也超越了GPT-4.1在同样任务上的表现。

这些数字背后反映的是AI专业化训练的巨大潜力。通过针对性的数据收集、系统性的训练流程和创新的评估方法，即使是相对较小的开源模型也能在特定领域内超越大型商业模型的表现。

研究团队在分析不同规模模型的表现时发现了一个重要规律：模型规模的增大确实带来了性能提升，但这种提升并非线性的。从15亿参数提升到30亿参数带来了显著改进，但从140亿到320亿参数的提升相对有限。这个发现对于资源有限的研究团队具有重要的指导意义——在专业领域的AI应用中，中等规模的模型可能提供最佳的性价比。

另一个有趣的发现是关于预训练效果的。虽然预训练确实提升了模型的Q语言理解能力，但这种提升在监督学习阶段之后变得不那么明显。研究团队推测，这可能是因为他们的评估数据集采用了LeetCode风格的算法题目，这种风格更偏向于"Python化"的编程思维，而不是Q语言在实际金融应用中的典型用法。

这个观察引发了一个重要的思考：AI模型的专业化训练不仅要考虑目标语言或领域的特点，还要考虑具体应用场景的要求。Q语言在实际工作中主要用于数据库查询和分析，而不是解决算法竞赛题目。因此，虽然他们的模型在LeetCode风格测试中表现出色，但在真实的金融数据分析任务中的表现可能会有所不同。

研究团队还观察到强化学习训练过程中的一些有趣现象。在320亿参数推理型模型的训练过程中，AI生成的回答长度呈现出先增加、后减少、再增加的波浪形变化。这种变化可能反映了模型在学习过程中策略的演变：初期试图通过更详细的推理来提高准确率，中期学会了更简洁的表达方式，后期又开始探索更复杂的混合策略。

五、开源贡献与实际应用价值

这项研究最有价值的贡献之一是其完全开源的策略。摩根士丹利团队不仅发布了训练好的模型，还公开了完整的数据集、训练代码、评估工具和详细的实验记录。这种开放态度在商业机构的研究中相当罕见，体现了推动整个AI社区发展的责任感。

开源的模型包括了每个训练阶段的检查点，用户可以根据自己的需求选择合适的版本。对于需要通用Q语言能力的用户，研究团队推荐使用预训练版本；对于特定编程任务，监督学习版本可能更合适；而对于需要最高准确率的应用，完整训练的强化学习版本是最佳选择。

更重要的是，研究团队提供的不仅仅是模型，而是一整套可复制的专业化AI训练方法论。这套方法论的核心包括几个关键要素：构建高质量评估框架、系统性的数据收集和清洗、多阶段的训练策略、以及持续的实验验证。

这套方法论的应用范围远超Q语言本身。任何需要让AI掌握小众专业技能的场景都可以借鉴这个框架，无论是医学影像分析、法律条文解释、工程图纸理解，还是艺术作品创作。关键在于根据具体领域的特点，调整数据收集策略和评估标准。

研究团队特别强调了评估框架的重要性。他们认为，一个可靠的评估体系是整个专业化训练的基石。在他们的Q语言项目中，建立类似LeetCode的编程竞赛评估体系不仅提供了客观的性能衡量标准，还使得模型能够通过强化学习获得直接的反馈信号。

对于Q语言社区来说，这项研究提供了前所未有的AI工具支持。虽然当前的模型在LeetCode风格任务上表现出色，但研究团队承认，这些模型在真实的金融数据分析场景中的表现还有待进一步验证。他们鼓励社区成员使用这些开源模型作为起点，针对具体的应用场景进行进一步的微调和优化。

六、技术挑战与解决方案

在整个研究过程中，团队遇到了许多技术挑战，他们的解决方案为后续研究提供了宝贵经验。

数据质量控制是最大的挑战之一。由于Q语言资料稀少，研究团队不能像处理Python等主流语言那样，依靠大量数据的统计规律来过滤噪音。他们采用了AI辅助筛选加人工验证的混合方法：先让AI模型对数据质量进行初步评分，然后人工审核可疑的案例。这种方法虽然耗时较多，但确保了最终训练数据的高质量。

评估一致性是另一个重要挑战。Q语言的语法灵活性很高，同一个功能可能有多种不同的实现方式，这给自动化评估带来困难。研究团队通过执行结果验证加AI辅助判断的方式解决了这个问题：首先检查代码是否能产生正确的输出，然后让GPT-4等模型判断语义上的等价性。

模型训练中的奖励信号设计也颇具挑战性。在强化学习阶段，如何设计奖励函数直接影响模型的学习效果。研究团队尝试了多种奖励结构：基于通过测试用例数量的线性奖励、全部通过才给奖励的二元奖励，以及两者的组合。实验结果显示，组合奖励结构效果最好，既鼓励模型尽可能多地通过测试用例，又给完全正确的解决方案额外激励。

硬件资源优化也是一个实际问题。训练320亿参数的模型需要大量的GPU资源，研究团队通过使用DeepSpeed ZeRO等内存优化技术，成功在单节点的8张H100 GPU上完成了所有训练任务。他们还采用了训练和推理分离的架构：用专门的vLLM服务器处理推理请求，而将GPU的主要算力用于模型训练，这样既提高了资源利用率，又加速了实验迭代。

七、局限性与未来方向

研究团队对自己工作的局限性有着清醒的认识。最主要的限制是评估数据集的代表性问题。他们构建的LeetCode风格数据集虽然提供了客观的评估标准，但这种算法竞赛式的编程题目与Q语言在金融行业的实际应用场景存在较大差异。

在真实的金融数据分析工作中，Q语言主要用于数据库查询、时间序列分析和高频交易系统开发，这些任务的特点与解决算法题目有本质不同。实际工作中的Q代码通常更注重数据处理效率和系统稳定性，而不是算法创新。

另一个限制是训练数据的规模。虽然研究团队已经收集了所有可获得的开源Q语言代码，但相比Python等主流语言的海量资源，Q语言的训练数据仍然相对稀少。这种数据稀缺性可能限制了模型对Q语言深层次特性和惯用法的理解。

模型的泛化能力也存在不确定性。当前的模型在特定类型的编程任务上表现出色，但面对全新类型的问题时的表现还未知。由于Q语言应用场景的多样性，从简单的数据查询到复杂的算法交易策略，模型是否能够适应这种广泛的应用范围还需要进一步验证。

研究团队指出了几个重要的未来研究方向。首先是构建更贴近实际应用的评估数据集，包括真实的数据库查询任务、时间序列分析问题和系统集成挑战。这样的数据集能够更准确地反映Q语言在实际工作中的使用情况。

其次是探索更高效的小样本学习方法。考虑到专业领域数据的稀缺性，如何让AI模型从少量高质量样本中快速学习成为关键问题。研究团队建议探索元学习、少样本学习和迁移学习等技术的应用。

第三是多模态学习的融合。金融数据分析往往涉及数字、图表、文本等多种信息形式，未来的Q语言AI助手应该能够理解和处理这些不同类型的输入，提供更全面的分析支持。

八、对AI专业化的启示

这项研究的意义远超Q语言本身，它为AI模型的专业化训练提供了一个可行的范式。在当前AI发展的背景下，通用大模型虽然能力强大，但在特定专业领域往往缺乏深度。这项研究证明了通过系统性的专业化训练，即使规模相对较小的开源模型也能在特定领域内超越大型商业模型。

专业化训练的关键在于构建完整的生态系统，而不仅仅是收集更多数据。这个生态系统包括：可靠的评估框架、高质量的训练数据、适当的训练策略，以及持续的验证和改进机制。摩根士丹利团队的成功经验表明，这四个要素缺一不可，其中评估框架的重要性往往被低估。

对于其他希望进行AI专业化训练的组织，这项研究提供了几个重要的指导原则。首先，投资建设高质量的评估体系比简单增加训练数据量更重要。一个客观、可靠的评估标准不仅能衡量模型性能，还能为强化学习提供有效的反馈信号。

其次，多阶段训练策略比单一的端到端训练更有效。预训练帮助模型掌握领域基础知识，监督学习针对具体任务进行优化，强化学习则通过实际反馈进一步改进。每个阶段都有其独特价值，不能简单省略。

第三，模型规模的选择需要根据具体场景权衡。在资源受限的专业领域，中等规模的模型往往能提供最佳的性价比。过大的模型容易过拟合，过小的模型则缺乏学习复杂模式的能力。

最后，开源和社区合作是推动专业化AI发展的重要动力。摩根士丹利选择完全开源他们的研究成果，不仅体现了企业社会责任，也为整个AI社区的发展做出了重要贡献。这种开放的态度有助于加速专业化AI技术的普及和应用。

九、实用建议与展望

对于希望应用这项研究成果的实际用户，研究团队提供了详细的使用指导。对于需要通用Q语言协助的用户，他们推荐使用预训练版本的模型，这个版本保持了对Q语言各种应用场景的广泛理解。对于特定的编程任务，监督学习版本可能更合适，因为它针对结构化的编程问题进行了优化。而对于追求最高准确率的关键应用，完整训练的强化学习版本是最佳选择。

使用这些模型时需要注意一些实际考虑。首先，当前的模型主要针对算法类编程问题进行了优化，在数据库查询和分析型任务上的表现可能会有所不同。用户在部署时应该根据具体应用场景进行额外的测试和调优。

其次，虽然模型在测试中表现出色，但在生产环境中使用时仍需要人工监督。特别是在金融等高风险行业，AI生成的代码必须经过严格的审核和测试才能投入实际使用。

研究团队还建议用户将这些模型作为编程助手而非替代品来使用。AI模型擅长处理标准化的编程任务和提供代码建议，但复杂的系统设计和业务逻辑判断仍需要人类专家的参与。

展望未来，这项研究开启了AI专业化的新篇章。随着更多组织开始重视特定领域的AI应用，我们可能会看到越来越多类似的专业化模型出现。从医疗诊断到法律咨询，从工程设计到科学研究，各个专业领域都有可能受益于这种针对性的AI训练方法。

技术发展方面，我们可以期待看到更高效的专业化训练算法、更智能的数据收集方法，以及更完善的评估框架。特别是在多模态学习和少样本学习方面的突破，将使AI模型能够更快地掌握新的专业技能。

更重要的是，这项研究展示了开源协作在推动AI发展中的巨大价值。通过分享代码、数据和经验，整个AI社区能够避免重复造轮子，加速技术进步的步伐。这种开放的研究模式可能成为未来AI发展的主流趋势。

说到底，摩根士丹利的这项研究不仅仅是让AI学会了Q语言编程，更重要的是它证明了AI专业化的可行性和价值。在AI技术日趋成熟的今天，如何让通用的AI模型在特定领域发挥更大价值，成为了一个关键问题。这项研究提供了一个成功的案例和可行的路径，为AI技术在各个专业领域的深入应用奠定了基础。无论你是研究者、开发者，还是对AI应用感兴趣的普通用户，都可以从这项开源研究中获得启发和帮助。毕竟，AI的未来不在于创造无所不能的超级智能，而在于培养在特定领域深度专业的智能助手。

Q&A

Q1：QQwen模型是什么？它能做什么？

A：QQwen是由摩根士丹利开发的专门用于Q编程语言的AI模型系列。它能够理解Q语言代码、自动编写Q程序、将Python代码翻译成Q语言，以及解决各种Q语言编程问题。最强版本的准确率达到59%，超过了GPT-4.1等商业模型。

Q2：普通人可以使用这些Q语言AI模型吗？

A：可以的。摩根士丹利将所有模型、代码和训练数据完全开源，任何人都可以通过GitHub或Hugging Face平台免费下载使用。不过使用这些模型需要一定的技术背景，特别是对Q语言编程的基础了解。

Q3：这套AI训练方法能用来学习其他专业技能吗？

A：完全可以。研究团队提供的训练方法是一个通用框架，包括数据收集、评估体系建设、多阶段训练等步骤。任何需要让AI掌握小众专业技能的领域都可以借鉴，比如医学诊断、法律分析、工程设计等。