JP5695758B2 - 手のジェスチャによるヒューマンマシンインターフェースのための方法、回路、及び、システム - Google Patents

Description

本発明はヒューマンマシンインターフェースおよび非接触のヒューマンマシンインターフェースの領域に関する。特に、本発明はカメラの前での手のジェスチャを用いたマシンへのコマンド入力に関する。

従来のヒューマンマシンインターフェースはいくつかのインターフェースについてのコア技術を利用している。第１の、そして最も広く用いられている技術は、ボタンやノブ、スイッチなどの物理的なインターフェースであり、これらはマシンのレスポンスを生成するために、人によって押したり、掴んだり、回したり、動かしたり、切り替えたりできるようにデザインされている。

第２の技術はタッチスクリーンに使われている技術であり、ここでは物理的なインターフェースはスクリーン上に表示されるグラフィックイメージに置きかえられ、ユーザが、マシンに対して与えたいコマンドに対応するグラフィックイメージの領域に触れたり、当該領域上をユーザの指や器官をスライドしたりすることによって操作される。グラフィックイメージは変更可能であり、様々なユーザやアプリケーションに対応する柔軟なインターフェースが、ユーザの経験と操作効率とを最適化するために使用可能である。

その他に、ユーザによる自然言語を用いたコマンドを識別するための音声認識や、ユーザに取り付けられたデバイスの動きを追って、マシン・コマンドに対応させる技術も利用されている。

ヒューマンマシンインターフェースの領域においては、非接触のインターフェースのための方法およびシステムへの要望が残っている。これは、人体又は人体の一部／器官（例えば、人の手）の一以上の光学イメージを、人体の一部/器官の特定の動きおよび／又はジェスチャに対応するマシン・コマンドに変換する技術である。

本発明は、非接触でのヒューマンマシンインターフェースを実現する、手のジェスチャによる人とマシンとのインターフェースのための方法、回路、及び、システムである。本発明のいくつかの実施形態によれば、マシンとのインターフェースは、カメラの前で手のジェスチャを行うことによって実現され得る。

本発明のいくつかの実施形態によれば、前記手のジェスチャを識別するように適合化された画像処理論理回路にカメラが取り付けられてもよい。本発明のいくつかの実施形態によれば、前記画像処理論理回路は、手のイメージから皺や指骨、指先などの手の特徴及び／または、要素を抽出する。

本発明のいくつかの実施形態によれば、前記画像処理論理回路は、識別された手の特徴及び／または、要素に基づいて２次元イメージの骨格を生成する。本発明のいくつかの実施形態によれば、前記画像処理論理回路は、２次元投影が実質的に前記２次元イメージの骨格と同等で、かつ、一連の制約条件に整合する３次元骨格を生成する。本発明のいくつかの実施形態によれば、前記一連の制約条件は現実的な手のポーズを定義する。

本発明のいくつかの実施形態によれば、前記３次元骨格は、インターフェースとなる手のポーズ及び／または、位置及び／または、カメラからの距離を表す。本発明のいくつかの実施形態によれば、前記画像処理論理回路は、ジェスチャを行っている（３次元骨格によって表された）手のポーズ及び／または、位置及び／または、カメラからの距離に応じたシステム・イベントを引き起こす。本発明のいくつかの実施形態によれば、前記画像処理論理回路は、３次元骨格の動きを、手がインターフェースを取り持つマシンに送るコマンドとして解釈する。

本発明のいくつかの実施形態によれば、ヒューマンマシンインターフェースのためのシステムは、一以上の３次元の手の骨格モデルを用い、当該システムは、手の２次元イメージを取得するイメージ取得回路及び／または、取得したイメージにおける手の特徴を識別する手の特徴識別モジュール及び／または、識別された特徴を用いて２次元骨格データセットを生成するイメージ骨格生成モジュール及び／または、２次元投影が、生成された２次元骨格データセットに実質的に対応する、前記一以上の３次元の手の骨格モデルのうち、一部又は全ての構成を決定することによって、３次元の手の骨格データセットを生成するための３次元骨格生成モジュールと、を備えている。

本発明のいくつかの実施形態によれば、前記イメージ骨格生成モジュールは、さらに、前記２次元骨格データセットを生成するために、人の手の要素間の解剖学的な関係および制約条件を用いるよう適合化されている。

本発明のいくつかの実施形態によれば、前記イメージ骨格生成モジュールは、さらに、一以上の２次元骨格データセットの要素のための品質特性を決定するよう適合化されている。

本発明のいくつかの実施形態によれば、前記ヒューマンマシンインターフェースシステムは、一以上の以前の３次元の手の骨格データセットを記憶する、骨格データベース生成モジュールを備え、前記３次元骨格生成モジュールは、少なくとも部分的に、前記骨格データベース生成モジュールによって以前に記憶された一以上の３次元の手の骨格データセットに基づいて、前記３次元の手の骨格データセットを生成するよう適合化されている。

本発明のいくつかの実施形態によれば、前記ヒューマンマシンインターフェースは、動力学的な物理法則が適用された、二以上の以前の３次元の手の骨格データセットに基づいて、３次元の手の骨格データセットを推定するための推定モジュールを更に備え、前記３次元骨格生成モジュールは、さらに、少なくとも部分的に、推定モジュールによって推定された３次元骨格データセットに基づいて、前記３次元骨格データセットを生成するよう適合化されている。

本発明のいくつかの実施形態によれば、一以上の３次元の手の骨格モデルを用いるヒューマンマシンインターフェースのための方法は、手の２次元イメージを取得する工程及び／または、取得したイメージにおける手の一以上の特徴を識別する工程及び／または、識別された特徴を用いて手の２次元骨格データセットを生成する工程及び／または、２次元投影イメージが生成された２次元骨格データセットに実質的に対応する前記一以上の３次元の手の骨格モデルのうち、一部又は全ての構成を決定することによって３次元の手の骨格データセットを生成する工程、を含むことを特徴とする。

本発明のいくつかの実施形態によれば、前記ヒューマンマシンインターフェースのための方法は、さらに、少なくとも部分的に、人の手の要素間の解剖学的な関係および制約条件に基づいて、前記２次元骨格データセットを生成する工程を含む。

本発明のいくつかの実施形態によれば、前記ヒューマンマシンインターフェースのための方法は、少なくとも部分的に、一以上の２次元骨格データセットの要素の品質特性の決定に基づいて、前記２次元骨格データセットを生成する工程を含む。

本発明のいくつかの実施形態によれば、前記ヒューマンマシンインターフェースのための方法は、一以上の３次元の手のデータセットを記憶する工程と、少なくとも部分的に、前記以前に記憶された３次元の手のデータセットに基づいて、前記３次元の手の骨格データセットを生成する工程とを含む。

本発明のいくつかの実施形態によれば、前記ヒューマンマシンインターフェースのための方法は、以前に生成された二以上の３次元の手の骨格データセットに対して、動力学的な物理法則を適用することによって、３次元の手の骨格データセットを推定する工程と、少なくとも部分的に、前記推定された３次元の手の骨格データセットに基づいて、前記３次元の手の骨格データセットを生成する工程とを含む。

本発明のいくつかの実施形態によれば、一以上の３次元の手の骨格モデルを用いることによって３次元の手の骨格データセットを生成するための回路は、手の２次元イメージにおける手の特徴を識別するための手の特徴識別モジュール及び／または、識別された特徴を用いて手の２次元骨格データセットを生成するためのイメージ骨格生成モジュール及び／または、２次元投影イメージが前記生成された２次元骨格データセットに実質的に対応する、前記一以上の３次元の手の骨格モデルの構成を決定するための３次元骨格生成モジュール、を備える。

本発明のいくつかの実施形態によれば、３次元の手の骨格データセットを生成するための前記回路の前記イメージ骨格生成モジュールは、前記２次元骨格データセットを生成するために、人の手の要素間の解剖学的な関係および制約条件を用いる。

本発明のいくつかの実施形態によれば、イメージ骨格生成モジュールは、一以上の２次元骨格データセットの要素の品質特性を決定する。

本発明のいくつかの実施形態によれば、３次元の手の骨格データセットを生成するための前記回路は、一以上の以前の３次元の手の骨格データセットを記憶し、かつ、少なくとも部分的に、前記骨格データベース生成モジュールによって以前に記憶された一以上の３次元の手の骨格データセットに基づいて、前記３次元の手の骨格データセットを生成するための骨格データベース生成モジュールを備える。

本発明のいくつかの実施形態によれば、３次元の手の骨格データセットを生成するための前記回路は、動力学的な物理法則が適用された二以上の以前の３次元の手の骨格データセットに基づいて、３次元の手の骨格データセットを推定するための推定モジュールを備え、前記３次元骨格生成モジュールは、少なくとも部分的に、前記推定モジュールによって推定された前記３次元骨格データセットに基づいて、前記３次元骨格データセットを生成するよう適合化されている。

本発明とみなされる主題は、本明細書の結びの部分において具体的に規定され、明確に請求されている。しかしながら、本発明は、動作の機構および方法の両方に関して、その目的、特徴および利点と共に、添付の図面と以下の詳細な説明を参照して最も理解することができる。
図１は、本発明のいくつかの実施形態におけるコミュニケーション／コンピューティング装置のカメラによって撮影される手を表しており、当該コミュニケーション／コンピューティング装置は、前記手によって行われるジェスチャを識別し、付加的には、識別した手のポーズやジェスチャに基づいて、コマンドまたはイベントを生成するよう適合化された処理論理回路を備えている。 図２Ａから２Ｉは、本発明のいくつかの実施形態における、カメラによって認識されて、コンピューティング装置のコマンドやイベントに対応付けられる手のジェスチャを例示するものである。 図３は、本発明のいくつかの実施形態における、図２Ａから図２Ｉに示す手の特徴を例示しており、この特徴は、前記コミュニケーション／コンピューティング装置が備える画像処理論理回路によって、手のイメージから抽出される。 図４は、本発明のいくつかの実施形態における、手の骨格の構造を例示している。 図５Ａから図５Ｃは、本発明のいくつかの実施形態における、視認可能及び視認不可能な手の特徴から、手の要素の位置を抽出する方法を例示している。 図６Ａから図６Ｄは、本発明のいくつかの実施形態における、インターフェースとなる手から抽出された２次元イメージ骨格のいくつかの例を表している。 図７Ａから７Ｃは、本発明のいくつかの実施形態における、異なるポーズで、かつ、３次元骨格の投影と実質的に同じである２次元イメージ骨格のいくつかの例を表している。 図８Ａから８Ｂは、本発明のいくつかの実施形態における、撮像するカメラからの距離が異なる２つの位置におかれた手の２つの２次元イメージ骨格と実質的に同等な２つの３次元骨格の投影を表している。 図９Ａから９Ｂは、本発明のいくつかの実施形態における、３次元骨格の骨の長さと品質を更新する方法とメカニズムを示す例を表している。 図１０は、本発明のいくつかの実施形態における、一以上の取得した手のイメージに基づいて、手のジェスチャを識別するよう適合化された処理モジュールを備える処理ユニットの例の機能ブロック図である。 図１１は、本発明のいくつかの実施形態における、画像処理論理回路が実行する方法例のステップを含むフローチャートを表している。

図面を簡素かつ明瞭にするために、図中に示される要素は必ずしも縮尺比に従って描かれる必要がないことを理解されたい。例えば、図面を明瞭にするために、いくつかの要素の寸法は他の要素よりも誇張して描かれていてもよい。さらに、適切と判断される場合には、対応の又は類似の要素を示す図の間では、参照番号は繰り返し使用されてもよい。

以下の詳細な説明では、本発明に対する理解を深めるために、詳細を具体的に多数示している。しかしながら、本発明はこれらの具体的な詳細が無くても当該技術分野における当業者によって実施されうることを理解されたい。一方、既知の方法、手順、構成要素および回路については、本発明を不明瞭にしないために、その詳細は記載していない。

特に述べられていない限り、以下の説明から明らかなように、本明細書を通じて、「処理する（ｐｒｏｃｅｓｓｉｎｇ）」「コンピュータで計算する（ｃｏｍｐｕｔｉｎｇ）」「計算する（ｃａｌｃｕｌａｔｉｎｇ）」「決定する（ｄｅｔｅｒｍｉｎｉｎｇ）」などの用語を用いた説明は、コンピュータシステムのレジスタやメモリ内の物理量、たとえば電子的な量として表されたデータを操作し、かつ／あるいは、前記コンピュータシステムのメモリ、レジスタ、あるいは他の情報記憶装置、送信機器または表示機器内における物理量として同様に表される他のデータに変換するコンピュータまたはコンピュータシステム、または、同様の電子コンピュータ装置の動作やプロセスを参照している。

本発明の実施例は、本明細書における動作を実行する装置を含むものである。この装置は、所望の目的に対して特別に構成されていてもよく、または、コンピュータに保存されているコンピュータプログラムによって選択的に起動または再構築される汎用コンピュータを含むものであってもよい。このようなコンピュータプログラムは、コンピュータにて読取可能な記憶媒体に記憶されていてもよい。当該記憶媒体は、例えば、フロッピィディスク、光学ディスク、ＣＤ−ＲＯＭ、光磁気ディスク、読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、電子的にプログラム可能な読み取り専用メモリ（ＥＰＲＯＭ）、電子的に消去可能かつプログラム可能な読み取り専用メモリ（ＥＥＰＲＯＭ）、磁気あるいは光学カード、あるいは電子インストラクションの保存に適し、かつ、コンピュータシステムバスに接続可能な如何なるタイプの媒体でもよいが、これらに限定はされない。

本明細書で示す処理および表示は、特定のコンピュータまたはその他の装置とは本質的には関連していない。様々な汎用システムにおいて本明細書の教示に基づいたプログラムを用いることができ、また、所望の方法を実行するために、より特化された装置を構成する方が有用であることもありうる。これらのシステムに望ましい様々な構成は、以下の記載から明らかとなると考えられる。さらに、本発明の実施形態は、特定のプログラム言語を参照して記載されていない。様々なプログラム言語を使用して本明細書に記載された本発明を実施できることを理解されたい。

本発明は、手のジェスチャや非接触のヒューマンマシンインターフェースのための方法、回路、および、システムに関する。本明細に記載のコンセプトおよび方法は、説明を簡素にするために手のジェスチャに関して記載しているが、同様のコンセプトおよび方法は、体全体の動きの検出や人体の他のパーツの動きの検出にも適用できる。

本発明のいくつかの実施形態によれば、手または人体の状態が決定される。本発明のいくつかの実施形態によれば、この状態には、カメラから手または体までの距離や、空間的な位置、ポーズも含む。本発明のいくつかの実施形態によれば、手や、人体、人体のパーツのポーズ、位置、カメラからの距離を表す３Ｄ骨格を抽出するための画像処理論理回路が提供される。本発明のいくつかの実施形態によれば、手や、人体、人体のパーツのポーズ、位置、カメラからの距離を表す３Ｄ骨格を抽出するための方法が提供される。本発明のいくつかの実施形態によれば、人体または人体の一部の骨格の識別や、人体における手の３Ｄ骨格の識別を行う方法が提供される。

本発明のいくつかの実施形態によれば、マシンとのインターフェースとなる人の手などのような対象の前に置かれるカメラが提供される。本発明のいくつかの実施形態によれば、カメラの前の手は、ジェスチャによってマシンとのインターフェースとなる。本発明のいくつかの実施形態によれば、カメラはインターフェースとなる手の、一つまたは一連のイメージを撮像する。本発明のいくつかの実施形態によれば、カメラは画像処理論理回路に接続され、この画像処理論理回路では、マシンとのインターフェースとなるユーザの手のような対象のイメージ内の特徴や要素、指骨、関節の空間的な位置を見積もるよう適合化されている。

本発明のいくつかの実施形態によれば、画像処理論理回路はインターフェースとなる手の骨格表示である３Ｄ骨格を生成する。本発明のいくつかの実施形態によれば、３Ｄ骨格の要素の寸法の比率は、インターフェースとなる手の要素の寸法の比率と実質的に同じである。本発明のいくつかの実施形態によれば、３Ｄ骨格の要素または特徴の寸法は、１ユニットの長さに比例する。本発明のいくつかの実施形態によれば、画像処理論理回路は、手のイメージにおいて識別された特徴や要素に応じて、２Ｄイメージ骨格を生成する。

本発明のいくつかの実施形態によれば、３Ｄ骨格の２Ｄ投影を２Ｄイメージ骨格に整合させるために、画像処理論理回路は３Ｄ骨格の任意の３次元的な位置を生成し、３Ｄ骨格に制約条件を適用する。

本発明のいくつかの実施形態によれば、次のフレームにおける３Ｄ骨格の３次元的な位置を推定するために、動力学的な物理法則が２つ以上の３Ｄ骨格に適用される。

図１は、本発明に関するシステムの一例を示す図である。この例において、インターフェースとなる手（１）は携帯電話（３）内に配置されたカメラ（２）の前で、ジェスチャを行っている。図２Ａから２Ｉは、インターフェースとなる手のそれぞれ異なるポーズのイメージを例示している。

本発明のいくつかの実施形態によれば、画像処理論理回路は、指や指先、爪、指の皺、手のひらの皺、指の結合部などのインターフェースとなる手の特徴を検知する。

図３は、図２Ａから図２Ｉにおいて例示されたインターフェースとなる手の特徴を例示している。この図において、４、５、６、７および、８は、それぞれ親指、人差し指、中指、薬指、小指を表している。１４、１５、１６、１７および、１８は、それぞれ指の皺を表している。１９と２０は、人差し指と小指の手のひらとの結合部の皺を表している。２１、２２は、人差し指の指骨の接線を表している。

本発明のいくつかの実施形態によれば、画像処理論理回路はメモリを含んでいる。本発明のいくつかの実施形態によれば、画像処理論理回路は、メモリ内に手の骨格の一般的な構造を記憶している。本発明のいくつかの実施形態によれば、画像処理論理回路は、メモリ内に人体の骨格の一般的な構造を記憶している。

本発明のいくつかの実施形態によれば、メモリに記憶された３Ｄ骨格の一般的な構造はベクトルとして記述されており、いくつかの主要なベクトルは手の中の骨のパラメータ（長さなど）を描写し、他のいくつかの主要なベクトルは主要な骨どうしの関係（角度など）を表す結合部のパラメータを表している。

図４は、本発明のいくつかの実施形態における、手の骨格の一般的な構造の一例を示している。この例によれば、手の骨格は、骨ｂ、ｃ、ｄ、ｅ・・・ｕによって接続された関節や先端Ａ、Ｂ、Ｃ、Ｄ・・・Ｕから構成されている。

人の手の寸法には、若い子供の手が最小で、大きな成長した人の手は最大になるというように、ある制限があり、また、マシンとのインターフェースとなる手のカメラからの距離が異なると、手がカメラに近い場合は手のイメージは大きくなり、手がカメラから離れている場合は手のイメージは小さくなる。その結果、インターフェースとなる手のイメージは、人の年齢や手のカメラからの距離に応じて異なった大きさとなる。しかしながら、インターフェースとなる手から得られる異なる特徴または要素の寸法の比率は、手のカメラからの距離や方向によらず一定の関係を維持する。そのため、手の第１の特徴または要素の長さが与えられれば、手の他の全ての特徴または要素の長さを、第１の長さとの関係を用いて定義することができる。例えば、図４の骨ｂを第１の要素として定義して場合、骨ｃの長さはｋ１×（骨ｂの長さ）、骨ｄの長さはｋ２×（骨ｂの長さ）などのように表すことができる。

本発明のいくつかの実施形態によれば、インターフェースとなる手はメモリ内に記憶されている３Ｄ骨格の一般的な構造によってモデル化される。本発明のいくつかの実施形態によれば、ある指定された骨の長さ（例えば、人差し指の手のひらとの結合部から指先までの長さのような具体的な骨の長さ、あるいは、いくつかの骨の長さの累積）は、１ユニット長さとして定義された３Ｄ骨格における手のオブジェクトを表す。本発明のいくつかの実施形態によれば、３Ｄ骨格の骨または手のオブジェクトの長さは、指定された骨または手のオブジェクトに対する比率から定義される。

本発明のいくつかの実施形態によれば、画像処理論理回路は手のイメージから骨の相対的な長さの見積もりを行う。本発明のいくつかの実施形態によれば、画像処理論理回路は骨の長さまたは手のカメラからの距離を見積もる。イメージ内の様々な要素、例えば、手の配置やポーズ、隠れた手の要素などに応じて、長さの見積もり精度は、イメージ内に明確に表れている要素の長さの精度に比べて小さくなる。

本発明のいくつかの実施形態によれば、３Ｄ骨格ベクトルは各骨に関する一連の特徴を有しており、メモリ内に記憶されている。本発明のいくつかの実施形態によれば、骨の特徴は骨の相対的な長さを含んでいる。本発明のいくつかの実施形態によれば、骨の特徴は長さの精度を含んでいる。本発明のいくつかの実施形態によれば、骨の特徴は、精度の安定性や確実性を含んでいる。本発明のいくつかの実施形態によれば、骨の特徴は、他の骨に対する角度依存性を含んでいる。本発明のいくつかの実施形態によれば、角度依存性は階層構造を有している。

本発明のいくつかの実施形態によれば、画像処理論理回路は、手の骨格の２次元（２Ｄ）の一般的な構造であるイメージ骨格もまたメモリ内に記憶している。本発明のいくつかの実施形態によれば、メモリに記憶されている２Ｄイメージ骨格は手の骨と結合部を表す主要部から構成されるベクトルとして記述されている。本発明のいくつかの実施形態によれば、主要な結合部のベクトルは、平面上の点として記述され、各点は２次元の座標（ｘ，ｙ）を有している。本発明のいくつかの実施形態によれば、主要なベクトルは、主要部（結合部）の他の主要部（結合部）との接続（骨）を表す特徴を含んでいる。本発明のいくつかの実施形態によれば、２Ｄイメージ骨格のベクトルは各主要部に関する２Ｄ（ｘ，ｙ）座標を有し、メモリ内に記憶されている。本発明のいくつかの実施形態によれば、主要部の（ｘ，ｙ）座標は手のイメージから抽出される。

本発明のいくつかの実施形態によれば、画像処理論理回路は撮像されたイメージ内の結合部や指先、手の指骨の２次元的な位置を見積もる。本発明のいくつかの実施形態によれば、結合部や指先、指骨の位置は検知した手の特徴を解析することによって見積もられる。本発明のいくつかの実施形態によれば、結合部の位置は指の皺の位置から見積もられる。本発明のいくつかの実施形態によれば、結合部の位置は指の２つのセグメントと接する２つの線の交点の位置から見積もられる。本発明のいくつかの実施形態によれば、指骨の位置は、２つの隣接した結合部を直線で結ぶことによって見積もられる。本発明のいくつかの実施形態によれば、指骨の位置は指先と隣接する結合部とを直線で繋げることによって見積もられる。本発明のいくつかの実施形態によれば、指骨の位置は、イメージ内の指骨を識別することによって見積もられる。本発明のいくつかの実施形態によれば、指骨の位置は、イメージ内の指骨の一部を識別し、指骨の残りの部分を内挿または外挿することによって見積もられる。

図５Ａから５Ｃは、手のイメージのいくつかの例を示している。図５Ａの例によれば、結合部Ｊ１の位置は、皺Ｃ１によって見積もられる。線Ｌ０とＬ１は指骨Ｐ１の接線であり、線Ｌ２は線Ｌ０とＬ１の真ん中にあり、指骨Ｐ１の中心を表している。線Ｌ３とＬ４は指骨Ｐ２の接線であり、線Ｌ５は線Ｌ３とＬ４の真ん中を通る線で、指骨Ｐ２の中心を表している。結合部Ｊ２の位置は、線Ｌ２とＬ５の交点によって見積もられる。図５Ｃにおいて、結合部Ｊ６の位置は、イメージ上では人差し指によって隠されているために視認不可能であるが、線Ｌ６とＬ７との交点によって見積もられる。図５Ｂにおいて、指骨Ｐ３の位置はセグメントＰ３．１、Ｐ３．２を内挿することで見積もられる。

本発明のいくつかの実施形態によれば、視認不可能な手の要素（指骨や結合部）の位置は、視認可能な手の要素と、視認可能な要素と視認不可能な要素との間の階層的な関係から見積もられる。

本発明のいくつかの実施形態によれば、画像処理論理回路は、結合部と指先の見積もられた２次元的な位置に、対応する２Ｄイメージ骨格ベクトルの主要部を割り当てる。本発明のいくつかの実施形態によれば、いくつかの結合部の２次元的な位置は高精度で見積もられ、他の結合部の位置は低精度で見積もられるため、主要な座標は、主要な位置の精度情報を含んでいる。図６Ａから６Ｄは、インターフェースとなる手から抽出されたイメージ骨格のいくつかの例を示している。

本発明のいくつかの実施形態によれば、画像処理論理回路は３Ｄ骨格を空間的に配置し、３Ｄ骨格の２Ｄ投影は、実質的に２Ｄイメージ骨格に対応している。図７Ａから７Ｃは、３Ｄ骨格の２Ｄイメージ骨格Ａ、および、ポーズがいくらか異なるＢ、Ｃ、Ｄを示している。３Ｄ骨格の複数のポーズ（Ｂ、Ｃ、Ｄ）の２次元投影Ｅは、実質的に２Ｄイメージ骨格Ａに対応している。

人の手の指は三つの結合部で一方向、すなわち、手のひらの内側に向かって曲げることができる。指は指先に近い二つの結合部において横方向に曲げることはできず、指の結合部における横方向の動きは制限されている。また、指は三つの結合の全てにおいて、後ろ側に曲げることはできない。指はその結合部で旋回させることはできない。各指骨は、接続された、手首に近い指骨に対して、空間的に曲げることが可能な一定の角度を有する。本発明のいくつかの実施形態によれば、結合部の特徴には結合部の解剖学的な制約条件が含まれる。本発明のいくつかの実施形態によれば、結合部の解剖学的な制約条件は、手のひらに近く、手のひらと接続されている骨に対する、骨を曲げることができる各空間的な方向における骨を曲げることが可能な一連の角度を含んでいる。本発明のいくつかの実施形態によれば、この一連の角度は、手のひらに近い他の結合部における角度と骨の長さに依存している。

本発明のいくつかの実施形態によれば、画像処理論理回路は３Ｄ骨格の結合部に結合部の制約条件を適用する。本発明のいくつかの実施形態によれば、３Ｄ骨格は、制約条件が課された３次元の空間的なポーズおよび位置にある。２Ｄ投影が２Ｄイメージ骨格と実質的に整合する３Ｄ骨格の空間的な位置により、手のカメラからの相対的な距離を決定する。

図８Ａから８Ｂは、図４に示す３Ｄ骨格の２つの異なる２Ｄ投影イメージを表す。図８Ａの骨格はカメラに近い図４の骨格の投影イメージで、図８Ｂの骨格はカメラから離れた図４の骨格の投影イメージである。

カメラはインターフェースとなる手のジェスチャの一連のイメージを撮像する。イメージを撮像するフレームレートや手の動く速さ、手のカメラからの距離、カメラの分解能に基づく量だけ、各イメージの、前のフレームのイメージとの差は異なる。撮像された各イメージに基づいて、画像処理論理回路は、３Ｄ骨格の空間的な位置と配置、距離、ポーズを見積もる。イメージを撮像するフレームレートや手の動く速さ、手のカメラからの距離、カメラの分解能に基づく量だけ、各３Ｄ骨格の、前のフレームの３Ｄ骨格との差は異なる。

２つ以上前のイメージから得られる２つ以上前の３Ｄ骨格は、動力学的な物理法則に基づいて現在の３Ｄ骨格を計算および推定するために使用される。本発明のいくつかの実施形態によれば、画像処理論理回路は、現在の３Ｄ骨格を、動力学的な物理法則を用い、２つ以上前の３Ｄ骨格に基づいて推定する。本発明のいくつかの実施形態によれば、推定された３Ｄ骨格は、制約条件に則ったポーズおよび位置にある。

本発明のいくつかの実施形態によれば、現在の３Ｄ骨格が推定される。推定された現在の３Ｄ骨格は骨格を作るために空間的に再配置され、この３Ｄ骨格の２Ｄ投影は実質的に２Ｄイメージ骨格と同等であり、また、この３Ｄ骨格は制約条件に則っている。本発明のいくつかの実施形態によれば、画像処理論理回路は、動力学的な物理法則に基づいて現在の３Ｄ骨格を推定するために、２つ以上前の３Ｄ骨格を用いる。本発明のいくつかの実施形態によれば、推定された３Ｄ骨格は、３Ｄ骨格を生成するために制約条件に則り、最小限に再びポーズが取られ、この３Ｄ骨格の２Ｄ投影は実質的に２Ｄイメージ骨格と同等である。

手のイメージから抽出した２Ｄイメージ骨格の要素のデータとしての品質が決定される。例えば、他の要素の後ろに一部が隠れた要素は、カメラから完全に視認可能な要素に比べて品質が低いと判定される。十分に識別されていない要素は、完全に識別されている要素に比べて品質が低いと判定される。カメラの方を指している要素は、カメラに面と向かっている要素に比べて品質が低いと判定される。３Ｄ骨格を記述するベクトルにおける各骨は、例えば長さなどに関する特性を有しており、この特性の品質は骨の長さのデータの品質を決定する。３Ｄ骨格の骨の長さは、２Ｄイメージ骨格において対応する骨の長さから決定される。３Ｄ骨格の骨の長さの品質は、２イメージ骨格で対応する骨の長さの正確さによって決定される。

本発明のいくつかの実施形態によれば、インターフェースとなる手は、動作とジェスチャを行う。カメラは、向きおよびポーズの異なるインターフェースとなる手のイメージを撮像し、３Ｄ骨格の骨の長さの品質データを徐々に改善する。例えば、もし骨の長さが、いくつかのインターフェースとなる手の向きから決定されると、骨のデータの品質は向上する。もし、制約条件に整合する３Ｄ骨格の２Ｄ投影と、インターフェースとなる手のイメージから抽出した２Ｄ骨格（２Ｄイメージ骨格）との間で骨の長さに不一致があった場合、または、もし、３Ｄ骨格の骨の品質が、イメージ（２Ｄイメージ骨格）から抽出した２Ｄ骨格の骨の品質と比較して低い場合、骨の長さ又は３Ｄ骨格の低い品質は、高い品質を持つ２Ｄイメージ骨格の骨に対応した骨の長さや品質によって更新される。

図９Ａは、３Ｄ骨格の骨の長さの品質向上の例を示している。図９Ａの例において、骨７５は長さの不確かな３Ｄ骨格である。骨７５は、結合部７０から、結合部７１と結合部７２との間のどこかまでの不確かな長さを有している。骨７６は、２Ｄイメージ骨格において骨７５に対応している。骨７６は結合部６２から、結合部７７と結合部７８との間のどこかまでの不確かな長さを有している。骨７５は、空間的に複数の向きを取ることが可能で、これらの複数の向きの２Ｄ投影は全て、２Ｄイメージ骨格の骨に整合する。図９Ａにおける骨７５は、向き６３と６４、６５、６６、８１を有している。これらの全ての向きにおける骨７５の２次元投影は、骨７６の長さの範囲内にある。骨７５の向き８２と６３は、２Ｄ投影が骨７６よりも短いため、適切な向きではない。図９Ａから分かるように、骨７５の適切な向き（６３、６４、６５、６６、８１）において、長さが不確かな骨７６によって作られる線６７と６８との間の窓内に骨７５があるためには、骨７５の長さは、結合部８３から円弧６９までの長さよりも長い必要がある。また、骨７５の円弧６９よりも下側の部分は常に骨７６の長さの範囲内に収まっているため、不確かであった骨７５の長さの下限について、品質が向上および更新される。これにより、結合部７１は７９に変換される。骨７５の向き６３、６４においては、骨の全長が不明確であるため、結合部７２の品質は向上されないまま結合部８０となる。その結果、骨７５の長さの不確かさの程度は、結合部７１と７２との間の長さから、結合部７９と８０との間の長さに減少する。

図９Ｂに他の例を示しており、この例において、３Ｄ骨格の骨７５は、結合部７０から、結合部７１と結合部７２との間のどこかまでの不確かな長さを有している。骨７６はイメージ骨格において、骨７５と対応している。骨７６は、結合部６２から、結合部７７と結合部７８との間のどこかまでの不確かな長さを有している。骨７５は、（図示していない）骨の残りの部分に対して、空間的な向きの制約条件を有している。図９Ｂに示す例において、骨７５は、向き６５と向き６６との間の複数の向きを取る。図から分かるように、骨の円弧６９と円弧７４との間ある部分は、骨７６の不確かさによって作られる線６７と線６８との間の窓内から外れる。骨の結合部８３と円弧６９との間の部分と、円弧６９よりも上の部分は、骨７６の不確かさの範囲を越えている。そのため、結合部７１は結合部７９に変換され、また、結合部７２は結合部８０に変換されて、骨７５の長さの不確かさは減少する。その結果、骨７５の長さの不確かさの程度は、結合部７１と７２との間の長さから、結合部７９と８０との間の長さに減少する。

手をカメラの前でジェスチャを行いながら動かすことで、カメラは手の異なる位置およびポーズのイメージを取得する。本発明のいくつかの実施形態によれば、画像処理論理回路は、骨の長さの品質を更新および向上する。

人の骨の長さは他の骨に比例しているため、例えば、手は中指よりも長い人差し指を有していないように、３Ｄ骨格の骨の長さには他の骨との比例関係の制約が課されている。このことから、例えば、中指に対応する３Ｄ骨格の骨が長さ情報と高い品質（低い不確かさ）を有し、人差し指に対応する３Ｄ骨格の骨が長さ情報と低い品質（高い不確かさ）を有する場合、人差し指に対応する骨は、中指に対応する骨よりも短いとみなすことができ、人差し指に対応する骨が中指に対応する骨よりも長くないというレベルまで、人差し指に対応する骨の品質特性を改善させ、不確かさを減少させることができる。

本発明のいくつかの実施形態によれば、画像処理論理回路は、３Ｄ骨格の他の骨の品質および２つの骨の間に定義されている少なくとも１つの制約条件に基づいて、骨の３Ｄ骨格の品質特性を更新および向上する。

図１０は、本発明のいくつかの実施形態におけるシステムのブロック図の一例である。イメージ取得回路（例えば、カメラ）は、マシンとのインターフェースとなる３Ｄの手の２Ｄイメージを取得する。撮像されたイメージはイメージメモリ内に記憶される。

本発明のいくつかの実施形態によれば、画像処理論理／回路は以下のモジュールのいくつか又は全てを備えている：コントロールユニット、手の特徴／要素識別モジュール、イメージ骨格生成モジュール、３Ｄ骨格生成モジュール、骨格データベース生成モジュール、骨格推定モジュール、処理イメージメモリモジュール。

手の特徴／要素識別モジュールは手のイメージを受け取り、指先や結合部の皺、指の輪郭、指骨間の角度などの手の要素または特徴を識別する。イメージ骨格生成モジュールは、手の特徴／要素識別モジュールから手の特徴データを受け取り、手の２Ｄイメージ骨格を生成する。イメージ骨格生成モジュールは、不明な要素を補うために、手の要素間の解剖学的な関係を用いて、視認可能な要素を内挿または外挿する。また、イメージ骨格生成モジュールは、生成されたイメージ骨格の品質や不確かさを決定する。

３Ｄ骨格生成モジュールは、イメージ骨格生成モジュールから骨格の寸法と特徴を受け取り、または、メモリに記憶されている以前の３Ｄ骨格を受け取る、または、骨格推定モジュールから推定された３Ｄ骨格を受け取る、または、イメージ骨格生成モジュールから２Ｄイメージ骨格を受け取る。３Ｄ骨格生成モジュールは、これらの一以上の入力に基づいて複数の３Ｄ骨格を生成し、その中から正確な骨格が選択される。

骨格データベース生成モジュールは、３Ｄ骨格生成モジュールから、適した骨格情報を受け取る。この情報には、骨格の骨の寸法や骨格の向きが含まれるが、これらに限定されない。また、骨格データベース生成モジュールは、イメージ骨格生成モジュールから、骨格の骨の寸法や骨格の向き、骨格の骨の寸法の品質および不確かさに関する情報を受け取る。それから、骨格データベース生成モジュールは、３Ｄ骨格の一つ以上の骨の長さや長さの品質特性を、生成または更新または向上する。

骨格推定モジュールは、メモリに記憶されている以前の３Ｄ骨格を受け取り、動力学的な物理法則に基づいて次の３Ｄ骨格の位置やポーズを推定する。３Ｄ骨格生成モジュールは、新しい３Ｄ骨格を生成するために、推定された骨格を用いる。

処理イメージメモリモジュールは撮像されたイメージや３Ｄ骨格、イメージ骨格、一つ以上前の３Ｄ骨格、推定された骨格、投影された骨格、各骨格の特徴、解剖学的な制約条件、記憶領域が必要となるその他の情報を記憶する。

図１１は、本発明のいくつかの実施形態における、フローチャートの概略図を示している。ステップ１０１では、イメージ取得回路（カメラなど）によって、インターフェースとなる手のイメージが撮像される。カメラは毎秒、決まったレートでイメージを取得する。撮像された一つ以上のイメージは、更なる処理のためにメモリに記憶される。ステップ１０３では、指先や指や手のひらの皺などの手の特徴が識別される。ステップ１０４では、識別された手の特徴に基づいて、インターフェースとなる手の２Ｄイメージ骨格が生成される。例えば、指の皺は、指の結合部の位置を推定するために用いられる。ステップ１０５では、２Ｄ投影が実質的にステップ１０４で生成されたイメージ骨格と同じになるように、３Ｄ骨格のポーズが取られる。ステップ１０６では、ステップ１０５で生成された各骨格の候補が、指骨間の許容角度などの制約条件に照らしてチェックされる。インターフェースとなる手と実質的に同じポーズ、すなわち、適合する骨格の中から、制約条件に合った骨格が選択される。ステップ１０７では、少なくとも一つ以上の前の骨格は、動力学的な物理法則に基づいて現在の適合する骨格を推定するために用いられる。このステップでは、現在の骨格の位置を推定するために、骨格の以前の３次元的な動きが解析される。推定された骨格はステップ１０５において、骨格の候補を生成するために用いられる。ステップ１０８では、それぞれ異なる骨格から集められた入力情報に基づいて、曖昧さ、矛盾点、不明瞭性が解消される。このステップにおいて骨の長さの品質が向上する。ステップ１０９では、手を介したインターフェースを行っているマシンに対して、コマンド信号を出力するために、整合する骨格の位置や動きの情報が解析される。

ここで説明および開示された本発明の特徴により、当該分野の技術者によって、多くの修正や代替、変更、均等物を想到しうる。そのため、本発明の請求範囲は、本発明の本質的な趣旨を逸脱しない範囲の全ての変形例を含んでいることを理解されたい。

Claims (15)

1. 一以上の３次元の手の骨格モデルを用いるヒューマンマシンインターフェースのためのシステムであって、
   手を含む２次元イメージを受信するよう適合化されているイメージ受信回路と、
   受信したイメージにおける手の特徴を識別するよう適合化されている手の特徴識別モジュールであって、該手の特徴の識別は、手の結合部の位置を示す皮膚の皺を識別することを含む、手の特徴識別モジュールと、
   前記識別された特徴を用いて手の２次元骨格データセットを生成するよう適合化されているイメージ骨格生成モジュールと、
   前記３次元の手の骨格モデルの構成の２次元投影イメージを生成された前記手の２次元骨格データセットと比較し、生成された前記手の２次元骨格データセットに対応する、前記３次元の手の骨格モデルの構成を決定することによって、３次元の手の骨格データセットを生成するよう適合化されている３次元骨格生成モジュールと、を備え、
   前記３次元骨格生成モジュールは、識別された前記皮膚の皺に基づいて結合部の位置が決定された前記手の２次元骨格データセットに基づいて、該手の２次元骨格データセットと比較するための前記３次元の手の骨格モデルの構成を選択することを特徴とする、システム。
2. 前記３次元の手の骨格モデルは、該３次元の手の骨格モデルの要素間に人の手の要素間の解剖学的な関係および制約条件を含み、該解剖学的な関係および該制約条件は、前記２次元骨格データセットと比較するための該３次元の手の骨格モデルの構成を選択する際に影響を与えることを特徴とする、請求項１に記載のシステム。
3. 前記イメージ骨格生成モジュールは、さらに、前記２次元骨格データセットの一以上の要素の品質特性を決定するよう適合化されていることを特徴とする、請求項１に記載のシステム。
4. 一以上の生成された３次元の手の骨格データセットを記憶するよう適合化された骨格データベース生成モジュールを更に備え、
   前記３次元骨格生成モジュールは、さらに、少なくとも部分的に、前記骨格データベース生成モジュールによって以前に記憶された一以上の３次元の手の骨格データセットに基づいて、前記３次元の手の骨格データセットを生成するよう適合化されていることを特徴とする、請求項１に記載のシステム。
5. 動力学的な物理法則が適用された、二以上の以前の３次元の手の骨格データセットに基づいて、３次元の手の推定骨格データセットを推定するよう適合化された推定モジュールを更に備え、
   前記３次元骨格生成モジュールは、さらに、少なくとも部分的に、前記推定モジュールによって推定された前記３次元の手の推定骨格データセットに基づいて、前記３次元骨格データセットを生成するよう適合化されていることを特徴とする、請求項１に記載のシステム。
6. 一以上の３次元の手の骨格モデルを用いるヒューマンマシンインターフェースのための方法であって、
   手を含む２次元イメージを受信する工程と、
   受信したイメージにおける手の一以上の特徴を識別する工程であって、該手の特徴の識別は、手の結合部の位置を示す皮膚の皺を識別することを含む、工程と、
   前記識別された特徴を用いて手の２次元骨格データセットを生成する工程と、
   前記３次元の手の骨格モデルの構成の２次元投影イメージを生成された前記手の２次元骨格データセットと比較し、生成された前記手の２次元骨格データセットに対応する、前記３次元の手の骨格モデルの構成を決定することによって、３次元の手の骨格データセットを生成する工程と、を含み、
   前記２次元骨格データセットと比較するための前記３次元の手の骨格モデルの構成の選択は、識別された前記皮膚の皺に基づいて手の結合部の位置が決定された前記２次元骨格データセットに基づいて実行されること特徴とする、方法。
7. 前記３次元の手の骨格モデルは、該３次元の手の骨格モデルの要素間に人の手の要素間の解剖学的な関係および制約条件を含み、該解剖学的な関係および該制約条件は、前記２次元骨格データセットと比較するための該３次元の手の骨格モデルの構成を選択する際に影響を与えることを特徴とする、請求項６に記載の方法。
8. 前記２次元骨格データセットを生成する工程は、さらに、前記２次元骨格データセットの一以上の要素の品質特性を決定する工程を含むことを特徴とする、請求項６に記載の方法。
9. 前記３次元の手の骨格データセットを生成する工程は、さらに、
   一以上の３次元の手のデータセットを記憶する工程と、
   少なくとも部分的に、前記以前に記憶された３次元の手の骨格データセットに基づいて、前記３次元の手の骨格データセットを生成する工程と、を含むことを特徴とする、請求項６に記載の方法。
10. 前記３次元の手の骨格データセットを生成する工程は、
    以前に生成された二以上の３次元の手の骨格データセットに対して、動力学的な物理法則を適用することによって、３次元の手の推定骨格データセットを推定する工程と、
    少なくとも部分的に、前記推定された３次元の手の推定骨格データセットに基づいて、前記３次元の手の骨格データセットを生成する工程と、を更に含むことを特徴とする、請求項６に記載の方法。
11. 一以上の３次元の手の骨格モデルを用いることによって３次元の手の骨格データセットを生成するためのシステムであって、
    手を含む２次元イメージにおける手の特徴を識別する手の特徴識別モジュールであって、該手の特徴の識別は、指の複数のセグメントと接する複数の接線を推定し、該複数の接線の交点の位置を手の結合部の位置と識別することを含む、手の特徴識別モジュールと、
    前記識別された特徴を用いて前記手の２次元骨格データセットを生成するよう適合化されたイメージ骨格生成モジュールと、
    前記３次元の手の骨格モデルの構成の２次元投影イメージを生成された前記手の２次元骨格データセットと比較し、生成された前記手の２次元骨格データセットに対応する、前記一以上の３次元の手の骨格モデルの構成を決定するよう適合化された３次元骨格生成モジュールと、を備え、
    前記３次元骨格生成モジュールは、前記複数の接線の交点の位置に基づいて手の結合部の位置が決定された前記手の２次元骨格データセットに基づいて、該手の２次元骨格データセットと比較するための前記３次元の手の骨格モデルの構成を選択することを特徴とする、システム。
12. 前記３次元の手の骨格モデルは、該３次元の手の骨格モデルの要素間に人の手の要素間の解剖学的な関係および制約条件を含み、該解剖学的な関係および該制約条件は、前記２次元骨格データセットと比較するための該３次元の手の骨格モデルの構成を選択する際に影響を与えることを特徴とする、請求項１１に記載のシステム。
13. 前記イメージ骨格生成モジュールは、さらに、前記２次元骨格データセットの一以上の要素の品質特性を決定するよう適合化されていることを特徴とする、請求項１２に記載のシステム。
14. 一以上の生成された３次元の手の骨格データセットを記憶するよう適合化された骨格データベース生成モジュールを更に備え、
    前記３次元骨格生成モジュールは、さらに、少なくとも部分的に、前記骨格データベース生成モジュールによって以前に記憶された一以上の３次元の手の骨格データセットに基づいて、前記３次元の手の骨格データセットを生成するよう適合化されていることを特徴とする、請求項１１に記載のシステム。
15. 動力学的な物理法則が適用された、二以上の以前の３次元の手の骨格データセットに基づいて、３次元の手の推定骨格データセットを推定するよう適合化された推定モジュールを更に備え、
    前記３次元骨格生成モジュールは、さらに、少なくとも部分的に、前記推定モジュールによって推定された前記３次元の手の推定骨格データセットに基づいて、前記３次元骨格データセットを生成するよう適合化されていることを特徴とする、請求項１１に記載のシステム。
    

Images