Sony Traducteur de langue des signes dans le jeu

Sony a déposé un brevet qui vise à offrir une accessibilité accrue aux joueurs sourds. Le brevet de Sony illustre comment certaines langues des signes peuvent être traduites dans une autre dans le jeu.

Sony fait breveter un traducteur ASL vers JSL pour les jeux vidéo, proposé pour utiliser des appareils VR et travailler sur des jeux en nuage

Sony a déposé un brevet qui ajoute un traducteur en langue des signes en temps réel aux jeux vidéo. Le brevet, intitulé « TRADUCTION DE LA LANGUE DES SIGNES DANS UN ENVIRONNEMENT VIRTUEL », illustre une technologie dans laquelle la langue des signes américaine (ASL) pourrait être communiquée à un utilisateur parlant japonais à l'aide de la langue des signes japonaise (JSL).

Sony a déclaré son objectif de mettre en place un système capable d'assister les joueurs sourds via des traductions en temps réel des langues des signes lors des conversations dans le jeu. La technologie décrite dans le brevet permettrait à des indicateurs virtuels ou à des avatars affichés à l'écran de communiquer en langage des signes en temps réel. Le système traduira initialement les gestes de signes d'une langue en texte, puis convertira le texte dans une autre langue spécifiée, et enfin traduira les données reçues en gestes de signes de l'autre langue.

"Mise en œuvre de la présente invention. concernent les méthodes et les systèmes permettant de capturer la langue des signes d'un utilisateur (par exemple, le japonais) et de traduire la langue des signes à un autre utilisateur (par exemple, l'anglais)", a décrit Sony dans le brevet. "Étant donné que les langues des signes varient en fonction des origines géographiques, la langue des signes n'est pas universelle. Cela nécessite de capturer de manière appropriée la langue des signes d'un utilisateur, de comprendre la langue maternelle et de générer une nouvelle langue des signes comme sortie pour un autre utilisateur dans sa langue des signes native. ."

Une façon dont ce système pourrait être mis en œuvre, comme Sony l'a illustré, serait à l'aide d'un appareil de type VR ou visiocasque (HMD). "Dans certaines implémentations, le HMD se connecte via une connexion filaire ou sans fil à un appareil utilisateur, tel qu'un ordinateur personnel, une console de jeu ou un autre appareil informatique", a détaillé Sony. "Dans certaines implémentations, la machine utilisateur restitue des graphiques à afficher via le HMD qui offrent une visualisation immersive de l'environnement virtuel pour l'utilisateur."

Sony a en outre proposé qu'un appareil utilisateur puisse communiquer de manière transparente avec un autre appareil utilisateur sur un réseau avec un serveur de jeu. "Dans certaines implémentations, le serveur de jeu exécute une session partagée d'un jeu vidéo, conservant l'état canonique du jeu vidéo et de son environnement virtuel", a déclaré Sony, "et avec laquelle les appareils des utilisateurs sont synchronisés en ce qui concerne l'état de l'environnement virtuel. ".

Avec cette configuration, les utilisateurs peuvent partager et interagir les uns avec les autres dans le même environnement virtuel, aka jeu, sur un réseau ou un serveur partagé. Sony a également déclaré que dans certaines implémentations du système, le serveur de jeu pourrait faire partie d'un système de jeu en nuage, qui « restitue et diffuse de la vidéo » entre chaque appareil utilisateur.