AI 工程

AI 工程有别于传统的机器学习工程。

现代 AI 与过去 AI 的根本区别在于规模量级完全不同。像 ChatGPT、谷歌的 Gemini 以及 Midjourney 这类应用，消耗着惊人的电力，训练过程依赖海量的学习数据。然而，目前训练这些 AI 依赖的公开数据资源可能濒临耗尽。这些强大的人工智能模型能够驱动无数应用，提升经济价值，最终改善人们的生活。

训练大语言模型需要耗费海量的数据和巨大的算力。只有极少数公司能够承受如此高昂的成本。当今的大语言模型与早期的语言模型之间有着显著区别，它们能自监督学习。老一代语言模型算法学习时，依赖经过专门标记的数据。收集和整理这些标记数据的过程极为耗时耗力。这便是所谓的监督学习，也就是给数据打上标签，包含希望模型学习的行为或其他特征，模型会利用这些标签来指导最终输出。一旦训练完成，模型就能够举一反三，学会泛化，将从带标签的数据集上学到的知识应用到其他数据的处理中。这里横亘着一个巨大的挑战。随着数据复杂性的增加，标记工作的难度急剧上升。例如，标记日常物品的照片几乎人人都能做到；但要判断一张 CT 扫描图里是否有癌症的迹象，并为其打上标签，那就需要精深的专业知识。自监督学习则不同。它大大加速了这一过程，因为它允许模型根据输入的数据内容推断应该打什么标签。大语言模型的自监督学习便是基于训练数据中出现的大量文本序列，预测句子中下一个最可能出现的词是什么。它的训练数据可能来自博客文章、新闻报道和电子书。