核心爆点：一次性处理一百万tokens

作为新版本最大的亮点，Gemini 1.5版本中首个登场的多模态通用模型Gemini 1.5 Pro，把稳定处理上下文的上限扩大至100万tokens。这里需要强调的是，虽然字面表达是“上下文”，但AI模型已经跨入多模态时代，新出的前沿大模型基本都支持处理文字、代码，以及图片、语音、视频等富媒体。

横向对比，两个月前发布的Gemini 1.0 Pro上下文理解限制为3.2万tokens，老对手OpenAI的GPT-4 Turbo也只支持12.8万tokens。

（来源：谷歌）

Token这个概念可能有一点绕。换一种方式来解释，就是能够一次性丢给Gemini 1.5 Pro 超过70万个单词的文本、3万行代码、11个小时的音频，或1个小时的视频，然后指挥它干活。对大模型而言，上下文窗口是对应用场景的最主要限制——若无法“读”完50万字的文件，自然就无法进行处理。

之所以能一次性处理大量资料，是因为谷歌的模型采用了“多专家模型”（MoE）的算法，意味着回应需求时只会跑整体模型的一部分，这样回应速度更快，谷歌处理起来也更省事。

谷歌CEO皮查伊也透露，谷歌的研究人员已经成功测试过1000万tokens的上下文窗口。这意味着未来的AI模型能做到一次性处理《权力的游戏》全本（目前已经出版的5本书全文总数达到173万个单词）。

值得一提的是，目前谷歌开放给开发者的测试版本中，Gemini 1.5 Pro的token限制只有12.8万个。不过谷歌DeepMind的CEO德米斯·哈萨比斯直言不讳地表示，后续会推出新的收费层级，供解锁100万tokens的版本。作为对比，目前使用谷歌Gemini 1.0 pro模型的订阅服务每月收费19.99美元。

（Gemini 1.5 Pro各项能力显著强于1.0 pro，甚至能与1.0 ultra进行比较）

能给些实际案例么？

在周四放出的演示视频中，谷歌的研究人员上传了一份402页的阿波罗登月计划实况语音转写文档，并画了一张“靴子落地”的图片，要求AI在文件中寻找这个时刻的信息。随后，大模型准确找到宇航员踏上月球时的对话，并准确标注出文档中的位置。

另外，研究人员还上传了一段44分钟的影片，要求AI寻找“从衣服口袋里掏出纸片的时刻，并详细描述纸片上的内容”，毫无疑问，AI准确输出了提问者想要的内容。

同时，研究人员上传了手绘的“人被水龙头浇”的图片，AI也顺利在影片中找到类似的画面。

解锁更多专业场景

在技术文档中，谷歌也给出了一个有趣的用例：丢给AI一本Kalamang语（全球大概只有数百人熟练掌握）的语法书，然后对数个模型进行英语至Kalamang语，以及Kalamang语至英语的翻译测试。测试按0-6分进行评价，其中6分为完美翻译。

结果显示，Gemini 1.5 Pro在Kalamang语翻译至英语的测试中是现今表现最好的模型，而在英语翻译至Kalamang语的测试中，更是拿到5.52分的评价，比起真人语言学习者的5.6分只差一步之遥。不要忘了，AI仅仅花了几分钟输入一本语法书而已。

与此同时，由于GPT-4 Turbo和Claude 2.1都有文本窗口的限制，只能看完“半本语法书”，所以输出的结果大致处于无法应用的范围。

谷歌CEO皮查伊表示，对于企业应用而言，更大的上下文窗口大有脾益。上市公司可以一次性载入大量的财务数据，而电影制片人则能上转整部电影，并询问影评人可能会说些什么。

而对于更广泛的“吃瓜群众”而言，谷歌的这次出手，无疑给OpenAI敲响警钟——GPT-4 Turbo发布已经4个月了，什么时候拿出新一代的大模型呢？

免责声明：本文来自科创板日报客户端，不代表超天才网的观点和立场。文章及图片来源网络，版权归作者所有，如有投诉请联系删除。