合合信息发布大模型加速器,破解国内大模型产业“语料荒”难题

近日，合合信息在WAIC 2024上发布了用于大模型语料训练的“加速器”产品——TextIn智能文档处理平台。合合信息的思路是，从“炼丹”源头的燃料出发，通过标准化平台进行语料结构化，提高数据预训练效率，帮助大模型厂商达成有效的模型性能提升和迭代。

国内的大模型产业处于高速发展时期，面向各个细分领域的大模型如雨后春笋办涌现，例如处理文档的kimi、豆包，用于制作ppt的天工、万知，但做到与chatgpt媲美确非常困难。业内人士对这个现象的解释是，高质量的中文数据集实在紧缺，训模型时只能直接购买外文标注数据集或者直接采集开源的国外语料库作为外援。一旦“进口语料”加入的训练参数量多了，就会出现跟ChatGPT相似的回答方式。

国内外大模型数据集主要为英文，均源于许多开源数据集进行训练，如Common Crawl、RedPajama、BooksCorpus、The Pile、ROOT等。这部分数据虽然量多，但质量上却良莠不齐。一大优质的中文语料数据，沉睡在报告、论文、报纸等文档里。

为缓解语料荒困境，合合信息推出了用于大模型语料训练的“加速器”产品——TextIn智能文档处理平台。在训练前期阶段，使用“加速器”文档解析引擎，破解书籍、论文、研报等文档中的版面解析障碍，为模型训练与应用输送纯净的“燃料”;同时，“加速器”搭载了文本向量化模型，以解决大模型“已读乱回”的幻觉问题。

合合信息此次发布的大模型“加速器TextIn智能文档处理平台，由TextIn文档解析、TextIn Embedding(文本向量数据模型)以及OpenKIE三大工具组成。从获得海量数据到高价值数据，预训练阶段的语料处理十分关键。这意味着，作为一个平台型产品，向大模型厂商和开发者“递铲子”，其基础的工具能力是否足够扎实，关系到种子用户的购买意愿。

基于这一思路，合合信息在产品设计阶段提前做了几件事。首先是场景前置，在未个性化阶段提前给模型补充大量优质的垂直领域Know-how，比如金融、法律、教育等，关注特定行业中的普遍痛点，基于用户诉求在产品设计时提供解决方案，进而提高大模型加速器在核心应用场景中表现能力。二是专注产品化，不只对客户提供通用场景的API，而是提供更多工具型产品，降低应用门槛，做到开箱即用，这对技术资源较为薄弱的传统企业、中小创业公司或个人开发者来说非常友好。

大模型变革的浪潮里，以数据为中心，成为行业人士从事大模型研发和应用的共识。具体到实践层面，大模型上游阶段在文本解析、逻辑版面、文档问答等方面，仍有很多的提升工作可以做。

未来，合合信息将继续依托技术优势，面向人工智能产业的不足提出解决办法，助力大模型产业持续健康发展。