OpenAi

模型演进与感知飞跃： GPT-2 标志着从“传统机器学习”到模型似乎“有点理解”语言的转变，一夜之间颠覆了 NLP 领域。 GPT-3.5 到 4 被部分人认为是最大飞跃，从“派对把戏”变为“真正有用”，尽管仍有幻觉问题。4o 进一步提升了准确性，对许多查询来说已成为 Google 的可行替代品。 o1 模型 引入了“oneshotting”，可通过单条提示创建非平凡应用，并显著提升了编程能力。 GPT-4o 和 o1 是用户首次认为值得付费的模型，结果验证需求大幅减少。 GPT-5 和 o3 被描述为渐进式提升，3.5 之后影响感知有所放缓。 阈值理论与 S 曲线动态： 进展在跨越“实用性阈值”前感觉缓慢，一旦跨越则应用爆发，进展显得迅猛。 随着越来越少的新应用跨越该阈值，进展感知变慢，即使实际进展依然稳定。 阿马拉定律（Amara's Law）： “我们往往高估技术短期影响，低估长期影响。” “对研究者不可见”阶段后，实用性会突然爆发。 S 曲线特征： 从突破性能力转向渐进式基准提升；市场营销超越研发；可能接近性能平台期。 AI 周期被压缩： CPU 用了 30 年走过的路，transformer 仅用 5 年。巨额资本和算力可能加速平台期到来。 基础设施与采纳： 长期进展常由基础设施繁荣推动 （如数据中心、电网、航运），这些又反过来推动科学进步。 采纳滞后： LLM 的真正影响将在新一代习惯使用它们的人进入职场后显现。早期采用者已看到生产力提升和岗位角色变化。 LLM 与其他技术范式对比： LLM 类比高级编程语言： “计算机将能用自然语言编程和操作——即使它模糊不精确。” LLM 可能不会像 CPU 那样彻底变革计算，但有望像高级语言一样具有变革性。 应用场景与局限性： LLM 擅长处理复杂、细分的网页搜索， 传统搜索引擎在关键词歧义时常常无能为力。 LLM 在回答事实性难题时不可靠； 最佳用法是筛选相关链接供人类核查。 推荐结构化输出， 如生成 JSON 和 API 任务。 扩展定律与模型训练： 扩大数据和参数带来可预测的性能提升， 直到遇到瓶颈，之后进一步扩展收益递减甚至变负。 训练成本大幅下降： GPT-2 1.5B 在 2019 年成本为 $50,000，2024 年仅为 $672。 Transformer 架构使得同等算力/时间下可训练更大模型， 相比以往架构更高效。 感知分歧： “过度炒作”用户仍处于“ChatGPT 太神了”时刻，怀疑者则看到收益递减。 两者都对，取决于时间尺度和期望。 历史类比： 太空竞赛、超音速飞行等技术繁荣 显示，进展往往由基础设施、投资和优先级变化决定，而不仅仅是技术可能性。 系统提示与人格实验： 系统提示可塑造不同的 LLM 人格 （如讽刺、机智、“Monday”风格），但这些仅为表层，未深度融入模型核心行为。 关键引述： “更普遍的模式是：一开始很慢，然后突然爆发。这几乎适用于所有复杂系统。” “数据翻倍，质量也翻倍。其他突破则收益递减。” “输入规模与输出质量的映射不是线性的。损失的固定幅度改进需要参数/算力/数据的指数级增长。”