人话和数字的区别。
第三周，陆方遇到了第一个大问题——ChatGPT会产生“幻觉”。他输入了一份某公司的财报，问：“这家公司的研发投入占比是多少？”财报里写的是8%，ChatGPT回答的是12%。他反复测试，发现ChatGPT在数据提取方面不够稳定。当数据在文本中明确出现时，它一般能答对；当数据需要从多个段落中提取时，它容易出错。他在项目组会上说：“这个问题不解决，我们不敢用。”
周寻想了想。“那就限制它的使用范围。只让它做文本摘要和定性分析，不做数据提取。数据提取还是用传统方法。”
陆方点头。“可以试试。”
2023年1月，陆方开始尝试将大模型接入星海平台。技术难度比他预想的要大。大模型的API调用有延迟，每次请求需要几秒钟。而星海需要实时处理大量数据，几秒钟的延迟是不可接受的。他尝试了本地部署，但算力不够。他尝试了模型压缩，但准确率下降。
他在项目组会上说：“这条路走不通。我们需要更大的算力。”
陈默问：“需要多少？”
陆方算了算。“至少需要几百万的硬件投入。而且，技术迭代很快，现在的硬件可能半年后就过时了。”
陈默沉默了几秒。“那就不买硬件。用云服务。按需付费，成本可控。”
陆方点头。“好。”
2023年2月，陆方成功将大模型接入星海平台，但效果不理想。模型的响应速度慢，准确率也不如预期。他反复调试，试了十几种参数组合，都不满意。他开始怀疑自己是不是走错了方向。
周寻拍他的肩膀。“别急。技术迭代需要时间。我们当年做星海，也失败了很多次。”
陆方苦笑。“当年我们有时间。现在，竞争对手可能已经在用了。”
“那也要一步步来。急不来。”
2023年3月，陆方尝试了另一种方案——用大模型生成训练数据，然后用这些数据训练一个轻量级的模型。这样既能利用大模型的理解能力，又能保证推理速度和稳定性。他测试了几天，效果不错。
他在项目组会上说：“这次有戏。”
陈默问：“多久能上线？”
陆方想了想。“三个月。”
“好。”
2023年6月，星海平台完成大模型集成测试。新版本能自动阅读招股书，生成摘要，提取关键信息，识别风险
本章未完，请点击下一页继续阅读！