今天谷歌推出了 Gemini 1.5 Pro
Gemini 1.5 Pro在跨模态的长上下文检索任务中实现了近乎完美的召回率,在长文档问答、长视频问答和长上下文ASR方面均达到 Sota。

并且在基准测试中性能与Gemini 1.0 Ultra相当。

超长的多模态 Context

Gemini 1.5 Pro 具备10M的上下文,这样就具备了超强的学习和理解能力。
实际的 context 是多模态的,视频 2.8M、音频2M、文本10M。

An image to describe post Gemini 1.5 Pro 发布,具备 10M 上下文,解锁全新能力

解锁新技能:现学新语言

Kalamang语是不足200人使用的罕见语言,在互联网上几乎没有任何资料。

只要把500页的语言教程、一本词典以及大约400个句子样例放到上下文里,G1.5P就学会了翻译这门语言。

翻译质量与学习了同样教材的人类翻译相当(6分为满分)。

Pasted image 20240216084015.pngAn image to describe post Gemini 1.5 Pro 发布,具备 10M 上下文,解锁全新能力

Pasted image 20240216082845.pngAn image to describe post Gemini 1.5 Pro 发布,具备 10M 上下文,解锁全新能力

超长的 context 的一些其他应用