微软翻译-code专家混合模型

据悉，Z-code 是微软更广泛的 XYZ-Code 计划的一部分，着眼于结合多种语言的文本、视觉和音频模型，以创建更强大、实用的 AI 系统。

虽然“专家组合”并不是一套新颖的技术，但它在翻译环境中还是相当实用。该系统的核心，本质上是将任务分解为多个子任务，然后将之委托给更小、更专业的所谓“专家”模型。

Z-code MoE 模型示例：微软翻译从英语翻译成法语时，可为每个输入动态选择其参数的子集。

各个模型会根据自身特性来预测、并决定将哪个任务委派给哪个专家，从而极大地简化了开发思路。对于普通用户来说，你可将之视作包含多个更专业模型的大模型集合。

微软技术研究员兼 Azure AI 首席技术官黄学东表示：借助 Z-code，我们确实取得了惊人的进步。

我们正在利用迁移学习和多任务学习，以从单语言和多语种数据中创建一个极具质量和性能的最佳组合。

最终带来一个最先进的语言模型，并为客户带来高效的体验。

结果是，我们看到了一套全新的系统，现能够直接在 10 种语言之间进行翻译，从而消除了对多个系统的需求。

此外微软最近还开始使用 Z-code 模型来改进其 AI 系统的其它功能，微软翻译包括实体识别、文本摘要、自定义文本分类、以及关键词提取，但将其用到自家翻译服务上还是首次。

传统意义上的翻译模型相当笨拙，因而很难将其带入生产环境。不过微软团队选择了一套“稀疏”方案 —— 仅激活每个任务的少量模型参数、而不是动辄调用整个系统。

这使得模型的运行更具成本效益，就像仅在冬日里为最常用的时段和空间提供室内加热一样经济高效，而无需让暖炉一直保持全速运转。