JP6479508B2

JP6479508B2 - 手振り翻訳システム

Info

Publication number: JP6479508B2
Application number: JP2015045920A
Authority: JP
Inventors: 中村　岳史; 岳史中村; 基行青井
Original assignee: 株式会社ユニオンソフトウェアマネイジメント
Priority date: 2015-03-09
Filing date: 2015-03-09
Publication date: 2019-03-06
Anticipated expiration: 2035-03-09
Also published as: JP2016167130A

Description

本発明は、伝達者の行う手話などの手振りを、被伝達者に知覚可能な画像や音声などの出力に翻訳する身振り翻訳システムに関する。

伝達者が被伝達者に対し、手話などの手振りで自身の意思を伝えたい場合が有るが、被伝達者が手振りの示す意味を知らない場合には、意思疎通が困難である。そこで、例えば、下記特許文献１では、携帯電話のユーザが携帯電話に付属のカメラに向かって手話を行うと、手話認識部で画像認識結果によって手話を認識し、手話を日本語に変換して、通話の相手に音声で送信する携帯電話が提案されている。

特開２００４−２５４２１８号公報

しかしながら、１つのカメラで撮影したビデオ画像を用いて、手（手指、掌（手のひら）など、手首より先の部位をいう）の位置や各手指の形、これらの動きを適切に画像認識することは、困難である。１つのカメラからの画像では、手の位置や各手指の形（姿態）を立体的に認識できないからである。

ところで、手のモーションキャプチャ機器として、Leap Motion社のLEAP MOTION(商標名)が知られている。このLEAP MOTIONは、２つの赤外線カメラを有しており、赤外線ＬＥＤで照明された手についての２つのカメラの画像データから、右手及び左手を認識し、その１０本の指(指先及び関節)、掌の立体的な位置を検知する。これにより、手の形(手指の形)や掌の向きなど手の姿態を適切に認識することができる。

しかし、手話においては、手の姿態のほか、手の位置や手の動きも重要な要素であり、例えば、手を右肩の前に位置させる、手を右胸の前に位置させる、手を胸の前から肩の前に移動させる（手を持ち上げる）などにより、異なる意味を表す場合がある。
このため、LEAP MOTIONのように、手の形（姿態）を認識して、認識結果を翻訳に用いるだけでは、手話などの手振りを適切に翻訳できないことが判ってきた。

本発明は、かかる問題点に鑑みてなされたものであって、手話、ジェスチャーなどの手振りを適切に認識して、翻訳することができる身振り翻訳システムを提供する。

上記課題を解決するための本発明の一態様は、伝達者の上体をビデオ撮影する上体カメラ部と、上記上体カメラ部と離間し、かつ、互いに離間して配置され、上記伝達者の上記右手及び左手をビデオ撮影する複数の手カメラ部と、上記複数の手カメラ部から出力された手撮影データを用い、上記伝達者の上記右手及び左手を検知して、上記右手のうち、各手指の指先、指関節、掌の位置データ、及び、上記左手のうち、各手指の指先、指関節、掌の位置データを取得する手データ取得部と、上記上体カメラ部から出力された上体撮影データを用いて、上記伝達者の上記上体と、上記右手との位置関係である右手位置関係、並びに、上記伝達者の上記上体と、上記左手との位置関係である左手位置関係を取得する手位置関係取得部と、上記右手及び左手についての各部の上記位置データ、上記右手位置関係及び上記左手位置関係、並びに、これらの変化から、上記伝達者が上記右手及び上記左手を用いて示す手振りの意味を識別する手振り識別部と、上記手振り識別部で得た、上記伝達者の手振りが示す意味を、被伝達者に知覚可能に出力する出力部と、を備える手振り翻訳システムである。

この手振り翻訳システムでは、上体カメラ部のほか、複数の手カメラ部を有しており、この手カメラ部の手撮影データを用いて、右手及び左手についての各部の立体的な位置データを取得する。加えて上体カメラ部の上体撮影データを用いて、右手位置関係及び左手位置関係を取得するので、手振り識別部において、右手及び左手についての各部の位置データ、右手位置関係及び左手位置関係、並びに、これらの変化（手の動き）から、伝達者が示す手振りの意味を適切に識別することができ、これを出力部に出力することができる。かくして、手話、ジェスチャーなどの手振りを適切に認識して、翻訳することができるシステムとなる。

なお、「手振り」とは、伝達者が右手及び左手で示す、手話、ジェスチャーなどで示される、手の位置、手の向き、手指の形、これらの動きをいう。
また、「伝達者」とは、被伝達者に向けて伝えたい意味を有する手振りを行う者をいう。

「上体カメラ部」としては、可視光、赤外光、または紫外光を用いて撮像可能なレンズ、撮像素子（ＣＣＤイメージセンサなど）等を含む光学系を有し、伝達者の上体をビデオ撮影するカメラ部が挙げられる。
なお必要に応じて、上体カメラ部と共に、伝達者の上体のビデオ撮影を補助する補助光（可視光、赤外光、または紫外光）を発するＬＥＤ、ＥＬなどで構成された上体用の発光部を備えることもできる。

また、「手カメラ部」は、可視光、赤外光、または紫外光を用いて撮像可能なレンズ、撮像素子等を含む光学系を有し、伝達者の右手及び左手をビデオ撮影するカメラ部が挙げられる。また、「手カメラ」は、複数（例えば一対）存在しており、互いに離間して配置され、それぞれが伝達者の右手及び左手をビデオ撮影する。複数の手カメラで撮影された画像データを利用することで、撮影された手について生じる視差を用いて、右手及び左手の各部の空間的な位置を把握する。
なお必要に応じて、手カメラ部と共に、伝達者の上体の撮像を補助する補助光（可視光、赤外光、または紫外光）を発するＬＥＤ、ＥＬなどで構成された手用の発光部を備えることもできる。

「指関節」とは、親指の第１，第２関節、人差し指、中指、薬指、小指の第１，第２，第３関節をいう。
右手及び左手の各部の「位置データ」としては、各々の手カメラが撮影する円錐状の撮像空間が互いに交差して形成された、複数の手カメラで同時に手を撮影可能な交差撮像空間における、右手及び左手の各部（例えば、右人差し指の指先）の立体的な位置を示す位置データが挙げられる。
また、手データ取得部では、前述の各部の位置のほか、手の他の各部、例えば、手首、母指球、小指球などの位置をも検知するようにしても良い。

「右手位置関係」は、伝達者の上体と右手との関係、例えば、伝達者の頭、右肩、左肩、右胸、及び左胸と、右手との位置関係を示す。例えば具体的には、伝達者の右手が、「胸の前（両肩の下）に位置している」、「右胸の前（右肩の下）に位置している」、「右肩の前（右胸の上）に位置している」などの位置関係が挙げられる。また、「左手位置関係」は、伝達者の上体と左手との関係、例えば、伝達者の頭、右肩、左肩、右胸、及び左胸と、左手との位置関係を示す。例えば具体的には、伝達者の左手が、「頭の前（両肩の上）に位置している」、「頭の右（右肩の上）に位置している」、「左肩の前（左胸の上）に位置している」などの位置関係が挙げられる。
「手位置関係取得部」は、上体撮影データを用いて右手位置関係及び左手位置関係を取得するが、上体撮影データのほかに、手撮影データあるいは右手及び左手についての各部の位置データを併せて用いて、右手位置関係及び左手位置関係を取得することもできる。

また、「出力部」としては、識別した前記伝達者の手振りが示す意味を、文字、図形等の画像データとしてディスプレイに表示させるものや、音声データとして、発音させるものが挙げられる。

さらに、本発明の手振り翻訳システムは、その各部を含む単一の装置（手振り翻訳装置）として構成することができる。また、複数のユニットからなるものとすることもできる。例えば、上体カメラ部と、複数の手カメラ部と、上体撮影データや手撮影データを処理する手位置関係取得部、手データ取得部、及び手振り識別部とを、各々離間して設け、上体撮影データや手撮影データの伝送を、ケーブルや無線通信により行うようにしても良い。また、手振り識別部と出力部との間を離間して設け、画像データや音声データの伝送を、ケーブルや無線通信により行うようにしても良い。

上述の手振り翻訳システムであって、前記出力部は、識別した前記伝達者の手振りが示す意味を、画像データとする画像データ化部、及び、上記画像データを表示するディスプレイ部を含む手振り翻訳システムとすると良い。

このシステムでは、伝達者の手振りを、文字、図形、絵などの画像としてディスプレイ部に表示できるので、被伝達者に対して、伝達者の手振りの意味を確実に伝えることができる。
なお、画像データとしては、ディスプレイに表示させる、文字、図形、イラスト、絵，写真、アニメーション、ビデオ画像などが挙げられる。

また、上述の手振り翻訳システムであって、前記出力部は、識別した前記伝達者の手振りが示す意味を、音声データとする音声データ化部、及び、上記音声データに対応する音声を発する発音部を含む手振り翻訳システムとすると良い。

このシステムでは、伝達者の手振りの意味を、被伝達者に対して、音声として伝えるので、多人数の被伝達者に同時に伝えやすい。

実施形態に係る手振り翻訳システムの全体構成を示す説明図である。実施形態に係る手振り翻訳システムの機能ブロック図である。実施形態に係り、上体カメラ部で伝達者の上体を撮像した画像の例を示す図である。実施形態に係り、手カメラ部で伝達者の手を撮像した画像の例、及び、この手の画像に、認識した左右各手指の指先、手指関節、掌の位置を示すハンドフレームを重ね合わせた図である。

以下、本発明の実施の形態を、図面を参照しつつ説明する。図１に、本実施形態に係る手振り翻訳システム（以下単に「システム」ともいう）１の全体構成を示す。また、図２に、手振り翻訳システム１の機能ブロック図を示す。また、図３に、上体カメラ部で伝達者ＯＰの上体を撮像した画像の例を示す。また、図４に、手カメラ部３１，３２で伝達者ＯＰの手ＰＨＲ，ＰＨＬを撮像した画像の例、及び、この手の画像に、認識した左右各手指の指先、手指関節、掌の位置を示すハンドフレームを重ね合わせた図を示す。
なお、以下の説明における上下、左右、前後は、伝達者ＯＰから見た表現で記載する。

本実施形態に係る手振り翻訳システム１は、処理装置２、これに接続された手カメラユニット３、上体カメラユニット４、ディスプレイ部５２、及び発音部６２からなる（図１参照)。

このうち、上体カメラユニット４は、上体カメラ部４１及び上体照明ＬＥＤ４２を含み、処理装置２に有線で、具体的にはＵＳＢ(Universal Serial Bus)ケーブルで接続して、処理装置２から給電を受ける。上体カメラ部４１は、図１に示すように、伝達者ＯＰの前方に配置され、図３に示すように、伝達者ＯＰの頭ＰＨ、右肩ＰＳＲ、左肩ＰＳＬ、右胸ＰＣＲ、左胸ＰＣＬ、右腕ＰＡＲ、左腕ＰＡＬ、右手ＰＨＲ、及び左手ＰＨＬを含む、伝達者ＯＰの上体ＰＵをビデオ撮影する上体カメラ部４１であり、処理装置２の手位置関係取得部２２に向けて、上体撮影データＤＰを送信する。上体照明ＬＥＤ４２は、環境が暗い場合など、伝達者ＯＰのビデオ撮影に適さない場合に、伝達者ＯＰを照明する補助光(本実施形態では可視光である白色光)を発する白色ＬＥＤである。
なお、上体カメラユニット４（上体カメラ部４１）は、伝達者ＯＰの頭ＰＨ等を含む上体ＰＵをビデオ撮影できれば良く、伝達者ＯＰの正面に配置せず、例えば伝達者ＯＰの前下方に配置することもできる。

一方、手カメラユニット３は、上体カメラユニット４とは離間して配置されており、２つの手カメラ部３１，３２及び３つの手照明ＬＥＤ３３，３４，３５を含み、処理装置２に有線で、具体的にはＵＳＢケーブルにより接続して、処理装置２から給電を受ける。このうち、一対の手カメラ部３１，３２は、いずれも広角対物レンズを含む赤外線カメラであり、図１に示すように、手カメラユニット３において、互いに離間して配置されている。手カメラ部３１，３２それぞれが撮影した手(右手ＰＨＲ及び左手ＰＨＬ)の画像に視差を生じさせて、手の位置を立体的に把握するためである。手カメラ部３１，３２は、撮影した手撮影データＤＨ１，ＤＨ２を、処理装置２の手データ取得部２１に向けて送信する。

また、手照明ＬＥＤ３３，３４，３５は、伝達者ＯＰの手を照明する補助光(本実施形態では赤外光)を発する赤外線ＬＥＤである。手照明ＬＥＤ３３は、手カメラ部３１と手カメラ部３２の間に、手照明ＬＥＤ３４は手カメラ部３１の外側に、手照明ＬＥＤ３５は手カメラ部３２の外側に配置されている。

手カメラユニット３は、伝達者ＯＰの右手ＰＨＲ及び左手ＰＨＬを撮影し易い位置に配置する。例えば、図１に示すように、下方から、伝達者ＯＰの右手ＰＨＲ及び左手ＰＨＬを撮影するように配置する。

処理装置２は、図示しないＣＰＵ，ＲＯＭ，ＲＡＭ等を有する公知のコンピュータであり、手データ取得部２１、手位置関係取得部２２、手振り識別部２３、画像データ化部５１、音声データ化部６１として機能する。

このうち、手データ取得部２１では、まず、２つの手カメラ部３１，３２から送信された手撮影データＤＨ１，ＤＨ２を用いて、図４に示すように、伝達者ＯＰの右手ＰＨＲを認識し，さらには、右手ＰＨＲの親指ＲＦ１，人差し指ＲＦ２，中指ＲＦ３，薬指ＲＦ４，小指ＲＦ５における、指先ＲＦ１０，ＲＦ２０，ＲＦ３０，ＲＦ４０，ＲＦ５０、第１関節ＲＦ１１，ＲＦ２１，ＲＦ３１，ＲＦ４１，ＲＦ５１、第２関節ＲＦ１２，ＲＦ２２，ＲＦ３２，ＲＦ４２，ＲＦ５２、第３関節ＲＦ２３，ＲＦ３３，ＲＦ４３，ＲＦ５３、右手掌ＲＨ０の位置を認識する。また、同様に、伝達者ＯＰの左手ＰＨＬの親指ＬＦ１，人差し指ＬＦ２，中指ＬＦ３，薬指ＬＦ４，小指ＬＦ５における、指先ＬＦ１０，ＬＦ２０，ＬＦ３０，ＬＦ４０，ＬＦ５０、第１関節ＬＦ１１，ＬＦ２１，ＬＦ３１，ＬＦ４１，ＬＦ５１、第２関節ＬＦ１２，ＬＦ２２，ＬＦ３２，ＬＦ４２，ＬＦ５２、第３関節ＬＦ２３，ＬＦ３３，ＬＦ４３，ＬＦ５３、左手掌ＬＨ０の位置を認識する。
更に２つの手撮影データＤＨ１，ＤＨ２で認識した各部位ＲＨ０，ＬＨ０，…の視差を用いて、右親指ＲＦ１の指先ＲＦ１０など、右手ＰＨＲ及び左手ＰＨＬの各部位の三次元空間における位置を算出する。具体的には、手カメラ部３１が撮影する、手カメラ部３１の対物レンズを頂点とする錐状の空間と、手カメラ部３２の対物レンズを頂点とする錐状の空間とが交差した三次元空間における位置である。
なお、右手ＰＨＲ及び左手ＰＨＬの各部位の三次元空間における位置の変化により、手指の動き及び手の移動を認識することもできる。

一方、手位置関係取得部２２では、上体撮影データＤＰを用いて、伝達者ＯＰの頭ＰＨ、右肩ＰＳＲ、左肩ＰＳＬ、右胸ＰＣＲ、及び左胸ＰＣＬと、右手ＰＨＲとの位置関係である右手位置関係を取得する。また、伝達者ＯＰの頭ＰＨ、右肩ＰＳＲ、左肩ＰＳＬ、右胸ＰＣＲ、及び左胸ＰＣＬと、左手ＰＨＬとの位置関係である左手位置関係も取得する。具体的には、「伝達者の右手が、右胸と左胸の間（胸の前、両肩の下）に位置している」、「伝達者の左手が、右胸と左胸の間よりも下に位置している」（図３の手の姿態参照)などの位置関係を取得する。
なお、右手位置関係及び左手位置関係を取得するの当たり、上述のように、上体カメラユニット４からの上体撮影データＤＰのみを用いても良いが、図２において破線で示すように、手データ取得部２１で取得した、右手ＰＨＲ及び左手ＰＨＬの各部の位置データをも用いて、右手位置関係及び左手位置関係を取得しても良い。また、上体撮影データＤＰのほか、手撮影データＤＨ１，ＤＨ２を用いて右手位置関係及び左手位置関係を取得しても良い。

その後、手振り識別部２３において、伝達者が右手ＰＨＲ及び左手ＰＨＬを用いて示す手振りの意味を識別する。
この際、右手ＰＨＲ及び左手ＰＨＬについての各部の位置データ、右手位置関係及び左手位置関係、並びに、これらの変化（例えば、「伝達者の右手が、右胸の前から右肩の上まで移動」）を用いて、手振りの意味を識別する。即ち、手カメラ部３１，３２からの手撮影データＤＨ１，ＤＨ２を用いて取得した右手ＰＨＲ及び左手ＰＨＬの各部の位置データを用いるほか、上体カメラ部４１からの上体撮影データＤＰを用いて取得した右手位置関係及び左手位置関係を用いるので、伝達者ＯＰが示す手振りの意味を適切に識別することができる。

その後、識別した伝達者ＯＰの手振りが示す意味を、被伝達者に知覚可能に出力する。具体的には、画像データ化部５１において、伝達者ＯＰの手振りが示す意味(例えば、「私の名前は○○です。」）を、画像データＤＧとし、この画像データＤＧ（文字）をディスプレイ部５２に表示させる。かくして、被伝達者に対して、伝達者ＯＰの手振りの意味を確実に伝えることができる。なお、図２において破線で囲むように、画像データ化部５１とディスプレイ部５２とが、伝達者ＯＰの手振りが示す意味を、被伝達者に画像によって知覚可能に出力する第１出力部５０に相当している。

そのほか、本実施形態のシステム１では、識別した伝達者ＯＰの手振りが示す意味を、音声でも出力する。具体的には、音声データ化部６１において、伝達者ＯＰの手振りが示す意味(例えば、「私の名前は○○です。」）を、音声合成により音声データＤＳとし、アンプ及びスピーカからなる発音部６２から発音させる。かくして、伝達者ＯＰの手振りの意味を、多人数に同時に伝えやすい。なお、図２において破線で囲むように、音声データ化部６１と発音部６２とが、伝達者ＯＰの手振りが示す意味を、被伝達者に音声によって知覚可能に出力する第２出力部６０に相当している。

以上で説明したように、本実施形態のシステム１は、伝達者の手話、ジェスチャーなどの手振りを適切に認識して、翻訳することができるシステムとなる。

以上において、本発明を実施形態に即して説明したが、本発明は上述の実施形態に限定されるものではなく、その要旨を逸脱しない範囲で、適宜変更して適用できることは言うまでもない。
例えば、実施形態では、システム１として、処理装置２と、手カメラユニット３(手カメラ部３１，３２）と、上体カメラユニット４（上体カメラ部４１）とを、三者分離した形態としたが、これらを一体として構成しても良い。
また、処理装置２と、ディスプレイ部５２と、発音部６２とを、三者分離した形態としたが、これらを一体として構成しても良い。
さらには、処理装置２と、手カメラユニット３(手カメラ部３１，３２）と、上体カメラユニット４（上体カメラ部４１）と、ディスプレイ部５２と、発音部６２とを一体として構成しても良い。

１手振り翻訳システム
２処理装置
２１手データ取得部
２２手位置関係取得部
２３手振り識別部
３手カメラユニット
３１，３２手カメラ部
ＤＨ１，ＤＨ２手撮影データ
３３，３４，３５手照明ＬＥＤ
４上体カメラユニット
４１上体カメラ部
ＤＰ上体撮影データ
４２上体照明ＬＥＤ
５第１出力部（出力部）
５１画像データ化部
ＤＧ画像データ
５２ディスプレイ部
６第２出力部（出力部）
６１音声データ化部
ＤＳ音声データ
６２発音部
ＯＰ伝達者
ＰＵ（伝達者の）上体
ＰＨＲ右手
ＰＨＬ左手
ＲＦ１右親指
ＲＦ１０（右親指の）指先
ＲＦ１１（右親指の）第１関節（指関節）
ＲＦ１２（右親指の）第２関節（指関節）
ＲＦ２右人差し指
ＲＦ２０（右人差し指の）指先
ＲＦ２１（右人差し指の）第１関節（指関節）
ＲＦ２２（右人差し指の）第２関節（指関節）
ＲＦ２３（右人差し指の）第３関節（指関節）
ＲＦ３右中指
ＲＦ４右薬指
ＲＦ５右小指
ＬＦ０（左手の）掌
ＬＦ１左親指
ＬＦ１０（左指の）指先
ＬＦ１１（左親指の）第１関節（指関節）
ＬＦ１２（左親指の）第２関節（指関節）
ＬＦ２左人差し指
ＬＦ２０（左人差し指の）指先
ＬＦ２１（左人差し指の）第１関節（指関節）
ＬＦ２２（左人差し指の）第２関節（指関節）
ＬＦ２３（左人差し指の）第３関節（指関節）
ＬＦ３左中指
ＬＦ４左薬指
ＬＦ５左小指

Claims

伝達者の上体をビデオ撮影する上体カメラ部と、
上記上体カメラ部と離間し、かつ、互いに離間して配置され、上記伝達者の上記右手及び左手をビデオ撮影する複数の手カメラ部と、
上記複数の手カメラ部から出力された手撮影データを用い、上記伝達者の上記右手及び左手を検知して、
上記右手のうち、各手指の指先、指関節、掌の位置データ、及び、
上記左手のうち、各手指の指先、指関節、掌の位置データを取得する手データ取得部と、
上記上体カメラ部から出力された上体撮影データを用いて、
上記伝達者の上記上体と上記右手との位置関係である右手位置関係、並びに、
上記伝達者の上記上体と上記左手との位置関係である左手位置関係を取得する手位置関係取得部と、
上記右手及び左手についての各部の上記位置データ、上記右手位置関係及び上記左手位置関係、並びに、これらの変化から、上記伝達者が上記右手及び上記左手を用いて示す手振りの意味を識別する手振り識別部と、
上記手振り識別部で得た、上記伝達者の手振りが示す意味を、被伝達者に知覚可能に出力する出力部と、を備える
手振り翻訳システム。
請求項１に記載の手振り翻訳システムであって、
前記出力部は、
識別した前記伝達者の手振りが示す意味を、文字、図形、絵などの画像データとする画像データ化部、及び、
上記画像データを表示するディスプレイ部を含む
手振り翻訳システム。
請求項１または請求項２に記載の手振り翻訳システムであって、
前記出力部は、
識別した前記伝達者の手振りが示す意味を、音声データとする音声データ化部、及び、
上記音声データに対応する音声を発する発音部を含む
手振り翻訳システム。