Google Pixel 11 可将美国手语转换为打字文本

谷歌DeepMind于周三发布了一款手语翻译模型，而该模型并非仅限于实验室环境。SL2T（即手语转文本的缩写）现已集成到Pixel 11上的Gboard键盘和“实时转录”应用中。只需打手语，即可获得文本。 该功能可在任何通常需要输入文字的地方使用：网页搜索、消息、文档以及Gemini提示。谷歌不会为此收取额外费用。

对于聋人用户而言，这远不止是一种便利。 全球约有7000万人将200多种手语中的一种作为主要语言，而语音输入——这一听力正常用户多年来习以为常的功能——对他们来说却始终无法使用。如今，在“实时转录”应用中，他们可以直接用手语回应，而无需在对话中全程打字。

摄像头绝不会将视频发送给谷歌

其隐私设计是最引人注目的部分。该模型从未接触过摄像头拍摄的图像。MediaPipe Holistic在手机端运行，将视频画面简化为身体特征点——即手、臂、头部和面部的纯坐标数据。只有这些数值会被传输至服务器，谷歌表示视频数据会被立即丢弃。

谷歌未提及的内容同样重要。早期的系统通过“注释”进行翻译——这是一种对单个手势的粗略中间表示法，剥离了手语实际承载的大部分信息，包括面部表情和空间运用。而 SL2T 则直接从身体特征点转换为文本。 训练数据包含超过10万小时的视频素材，涵盖50多种手语，其中约四分之一为美国手语。在FLEURS-ASL基准测试中，该系统在未预先接触测试数据的情况下，获得了70的BLEURT分数（一种翻译质量衡量指标）。

仅支持一种语言，且谷歌会标注自身错误

关键问题在于支持的语言范围。在发布之初，SL2T仅支持美式手语（ASL）译为英语，暂不支持其他语言，因此使用英国手语、德语手语或其他任何手语的用户仍在等待。谷歌承诺将增加更多语言和设备支持，但未明确具体时间。

准确性也并非完美无缺，该公司在其示例中也承认了这一点。 快速的手指拼写会让“猎物”变成“灰色”，描述性分类器会失效，缺少上下文时时态也会发生变化。团队确实解决了这些实际问题：实时翻译中的延迟、无人手语时产生的虚构输出、左撇子手语使用者，以及单手手语——当另一只手拿着手机时，单手手语就变得不可或缺。

聋人专业人士全程参与了开发。一个名为 AISLAC 的顾问小组在此次发布中提供了支持，并共同撰写了一份关于该模型能力与局限性的报告。

目前仅限Pixel 11

若要体验该功能，需购买 Pixel 11。谷歌已于 8 月 12 日开放预售，截至 8 月 13 日，Google Store 仍将该机型列为预售产品，售价 899 美元。Pixel 10 Pro 等旧款机型目前尚无法使用该功能。