Google 宣布 Gemini 1.5 Pro 开放 API 新增对原生语音理解能力
Google 宣布 Gemini 1.5 Pro 开放API 现已在180多个国家提供 新增对原生音频（语音）理解能力、文件API、系统指令、JSON模式等功能 现在Gemini模型能够直接处理音频输入，而不需要将音频先转换为文本。
新的模态
● 原声音频模态：Gemini 1.5 Pro 扩展了输入模态，包括在 Gemini API 和 Google AI Studio 中理解原生音频（语音）。原生音频理解能力指的是模型能够直接处理音频输入，而不需要将音频先转换为文本。这包括直接从音频数据中提取信息、理解语音命令、执行语音到语音的转换等。这一能力大大扩展了AI的应用场景，使得开发者能够在音频和视频处理、交互式媒体、智能助理等领域构建更加丰富和高效的应用。
● 视频内容理解：Gemini 1.5 Pro能够对上传到Google AI Studio中的视频进行图像（帧）和音频（语音）的同时推理，意味着这个模型具备了理解和处理视频内容的能力，不仅限于视频的视觉部分（如图像帧），也包括音频部分（如对话、背景音乐等）。
Support authors and subscribe to content
This is premium stuff. Subscribe to read the entire article.
Login if you have purchased
Subscribe
Gain access to all our Premium contents.
More than 100+ articles.
Subscribe Now
via XiaoHu.AI学院 (author: 小互)
Google 宣布 Gemini 1.5 Pro 开放API 现已在180多个国家提供 新增对原生音频（语音）理解能力、文件API、系统指令、JSON模式等功能 现在Gemini模型能够直接处理音频输入，而不需要将音频先转换为文本。
新的模态
● 原声音频模态：Gemini 1.5 Pro 扩展了输入模态，包括在 Gemini API 和 Google AI Studio 中理解原生音频（语音）。原生音频理解能力指的是模型能够直接处理音频输入，而不需要将音频先转换为文本。这包括直接从音频数据中提取信息、理解语音命令、执行语音到语音的转换等。这一能力大大扩展了AI的应用场景，使得开发者能够在音频和视频处理、交互式媒体、智能助理等领域构建更加丰富和高效的应用。
● 视频内容理解：Gemini 1.5 Pro能够对上传到Google AI Studio中的视频进行图像（帧）和音频（语音）的同时推理，意味着这个模型具备了理解和处理视频内容的能力，不仅限于视频的视觉部分（如图像帧），也包括音频部分（如对话、背景音乐等）。
Support authors and subscribe to content
This is premium stuff. Subscribe to read the entire article.
Login if you have purchased
Subscribe
Gain access to all our Premium contents.
More than 100+ articles.
Subscribe Now
via XiaoHu.AI学院 (author: 小互)
