JP7027552B2 - モバイル機器を用いたジェスチャー認識 - Google Patents

Description

本開示は、モバイル機器を用いたジェスチャー認識に関する。

ここで提供される"背景"の記載は、本開示における背景を大まかに公開するためのものである。ここで指名されている発明者の研究開発は、出願時に従来技術とみなされない本開示における態様の説明と同様に、この背景セクションで説明される範囲で、本開示に対する従来技術として明示的にも黙示的にも認められない。
車両情報および／またはエンターテインメントシステムの１つ以上の操作機能を制御するための、ジェスチャー認識を使用することが提案される。

また、深度カメラを搭載した携帯電話端末などのモバイル機器を使用して、ユーザのジェスチャーを検出することも提案される。
前段落は、一般的な導入によって提供され、以下の請求の範囲を制限するものではない。本開示において記載された実施形態は、さらなる利益と共に、添付図面と併用された以下の詳細な説明を参照することによって、最もよく理解される。

本発明の例示的な一実施形態は、車両情報および／またはエンターテインメントシステム用のジェスチャー認識を行うように構成されたモバイル機器を提供する。このモバイル機器は、
深度カメラと、
姿勢センサと、
ジェスチャー検出アルゴリズムに従って上記深度カメラによってキャプチャされた画像から１つ以上のジェスチャーを検出するように構成されたプロセッサと
を具備する。
上記プロセッサは、上記姿勢センサによって検出された上記モバイル機器の姿勢に応じて上記ジェスチャー検出アルゴリズムを変更するように構成されている。

本発明の例示的な他実施形態は、車両情報および／またはエンターテインメントシステム用のジェスチャー認識システムを提供する。このシステムは、
深度カメラおよび姿勢センサを有するモバイル機器と、
ジェスチャー検出アルゴリズムに従って上記深度カメラによってキャプチャされた画像から１つ以上のジェスチャーを検出するように構成されたプロセッサと
を具備する。
上記プロセッサは、上記姿勢センサによって検出された上記モバイル機器の姿勢に応じて、上記ジェスチャー検出アルゴリズムを変更するように構成される。

本発明の例示的な他実施形態は、車両情報および／またはエンターテインメントシステム用のジェスチャー認識を行うためのモバイル機器の作動方法を提供する。この方法は、
上記モバイル機器の深度カメラを用いて画像を検出するステップと、
上記モバイル機器の姿勢を検出するステップと、
ジェスチャー検出アルゴリズムに従って、上記深度カメラによってキャプチャされた画像から１つ以上のジェスチャーを検出するステップと
を含む。
上記１つ以上のジェスチャーを検出するステップは、上記姿勢センサによって検出された上記モバイル機器の姿勢に応じて、上記ジェスチャー検出アルゴリズムを変更することを含む。

本開示は、深度カメラを有するモバイル機器のプロセッサによって実行されると、上記モバイル機器に上記で定義した方法を実行させるコンピュータソフトウェアをさらに提供する。

本発明の例示的な実施形態は、このようなコンピュータソフトウェアを保存する非一時的な機械可読記憶媒体を提供する。

本開示における様々な他の態様および特徴が、添付の請求の範囲および添付の詳細な説明の文章内で定義され、そして、ディスプレイ、ならびに、頭部に取り付け可能な機器を操作する方法、および、コンピュータプログラムなどの、頭部に取り付け可能な機器を少なくとも含む。

本開示が、以下の添付図面に関連して考慮される際に、以下の詳細な説明を参照することによってよりよく理解されるように、本開示のより完全な理解とそれに付随する多くの利点とが、容易に得られる。

モバイル機器の模式図である。 車両情報および/またはエンターテインメントシステムの模式図である。 図３ａおよび３ｂは、ジェスチャーの例を模式的に表した図である。 図４ａおよび４ｂは、ジェスチャー認識アルゴリズムを表す概略フローチャートを提供する。 手のジェスチャーの異なるビュー（表示）を模式的に表した図である。 手のジェスチャーの異なるビューを模式的に表した図である。 モバイル機器の位置および姿勢に応じた、手のジェスチャーの複数の実行可能なビューを模式的に表した図である。 ジェスチャー認識アルゴリズムの変更を表す概略フローチャートである。 姿勢センサの使用を模式的に表した図である。 姿勢センサの使用を模式的に表した図である。 モバイル機器の深度カメラで見た車両内部を模式的に表した図である。 姿勢検出の方法を示す概略フローチャートである。 モバイル機器、車両情報および／またはエンターテイメントシステムを概略的に示した図である。 本発明における方法を示す概略フローチャートである。

図１は、例えば携帯電話端末のようなモバイル機器の模式図であるが、本開示における考察を明確にするために、一部の通話機能が図１から省略されている。

モバイル機器１００は、深度カメラ１１０を含む。この深度カメラは、いわゆる視野における奥行き画像をキャプチャすることができる。それ故に、深度カメラ１１０によって見られる視野の状況を示すキャプチャ画像データと、各画像特徴の奥行き、つまりカメラ１１０からの距離を示す情報とが、キャプチャされる。
これに関連して、図１は、深度カメラ１１０に適用可能な座標系の表示１１２を含み、この座標系１１２において、図示されるように、ｘ軸およびｙ軸がモバイル機器１００の一面に存在し、ｚ軸がこの一面に対して垂直であり、深度カメラ１１０の視野方向に延びる。この深度カメラ１１０によってキャプチャされる奥行き情報は、キャプチャ画像における特定の位置（ｘ、ｙ）におけるピクセルに対する奥行き値すなわちｚ値を含むことができる。

深度カメラ１１０は例えば、いわゆる飛行時間型（ＴｏＦ）画像センサ、ステレオカメラ、またはストラクチャードライトカメラである。ストラクチャードライトカメラ方式においては、エミッタが既知のパターンの光照射、例えば格子状の赤外線の光照射を提供するので、ストラクチャードライト方式におけるキャプチャ画像のゆがみは、画像特徴の奥行きを示すことができる。当業者は、他の方式の深度カメラが代わりに使用されてもよいことを理解するであろう。

図１に戻ると、深度カメラ１１０によってキャプチャされた画像は、記憶装置１３０に保存されたコンピュータソフトウェアであるプログラム命令の制御の下で動作するプロセッサ１２０に提供される。記憶装置１３０は、不揮発性メモリのような非一時的な機械可読記憶媒体である。例えば、フラッシュメモリ、固定記憶装置（ＲＯＭ）、若しくは、磁気または光ディスクメモリが含まれる。

例えばディスプレイ要素（図示せず）やタッチパネル（図示せず）の形式でユーザーインターフェース１４０が提供される。インターフェース１５０が、車両情報および／またはエンターテインメントシステムに無線または有線通信を提供する。このようなインターフェースの例は、いわゆるBluetooth（登録商標）インターフェースである。

最後に図１に関して、１つ以上のセンサ１６０が提供される。センサ１６０は例えば１つ以上の三次元位置・姿勢センサを含み、モバイル機器の現在の姿勢を検出することができる。センサ１６０は例えば、ジャイロセンサ、加速度計、重力センサ、および磁気センサで構成されるリストから選択される１つ以上のセンサを含むことができる。

上記のように、図１のモバイル機器１００は、有線または無線通信によって車両情報および／またはエンターテインメントシステムに接続可能である。以下で説明されるように、モバイル機器１００は、車両情報および／またはエンターテインメントシステム用のジェスチャー認識を行うように構成されたモバイル機器の一例を提供する。モバイル機器１００は、深度カメラ１１０、姿勢センサ１６０、およびプロセッサ１２０を含み、ジェスチャー検出アルゴリズムによって、深度カメラ１１０によってキャプチャされた画像から１つ以上のジェスチャーを検出するように構成される。

以下で説明される技術を用いて、プロセッサ１２０は、姿勢センサ１６０によって検出されるモバイル機器１００の姿勢によって、（例えば、異なるアルゴリズムまたはアルゴリズムのバージョンを選択することによって、かつ／もしくは、使用中のアルゴリズムのパラメータを変化させることによって）ジェスチャー検出アルゴリズムを変更するように構成される。

図２は、モバイル機器１００のインターフェース１５０と協調し、少なくともいくつかの例において、モバイル機器１００のプロセッサ１２０によって生成される制御信号を受け取るインターフェース２００を含んだ車両情報および/またはエンターテインメントシステムの模式図である。
この制御信号２０５は、表示画面および／または１つ以上のラウドスピーカなどのユーザーインターフェース２３０によって、ユーザに提示する情報および／またはエンターテインメントを生み出すいわゆる"インフォテインメント（娯楽情報）"システム２２０の動作を制御する制御プロセッサ２１０に通される。

インターフェース２００もまた、Bluetooth（登録商標）無線インターフェースであってよい。ここで、インターフェース２００は、モバイル機器１００からの音声信号２１５を受け取るために用いられてもよい。音声信号２１５は、例えばユーザへの出力用の音楽または電話通信信号であり、それ自体は制御信号ではなく、インフォテインメントシステム２２０に直接通される。

それ故に、図２の構成は、情報および／またはエンターテインメントシステム２２０を含んだ車両情報および／またはエンターテインメント機器の一例を含む。このシステム２２０は、モバイル機器１００からの制御信号を（インターフェース２００を介して）受け取り、受け取った制御信号に従って、情報および／またはエンターテインメントシステム２２０の動作を（制御プロセッサ２１０によって）変えるように構成されている。

したがって前述のように、図１のモバイル機器１００、および、図２の車両情報および／またはエンターテインメントシステム２２０の各々は、無線インターフェース１５０、２００のようなインターフェースをそれぞれ含み、モバイル機器１００と、車両情報および／またはエンターテインメントシステム２２０との間で制御信号を伝達する。

ジェスチャーがインフォテインメントシステム２２０を制御するために用いられる手段の例としては、音声ボリュームの調整、ラジオチャンネルの変更、電話の呼び出しの開始、エアコンの設定の変更、または同様のものの事柄を含む。
肉体的制御を探らなければならない、すなわち、画面メニューのオプションに触れなければならないことによって車両の運転手が集中力を失うことなく、ジェスチャーベースのシステムが、様々な車両システムを制御可能になるよう、運転手によく適するように熟慮されている。

図３ａおよび３ｂは、図１のモバイル機器１００によって検出・認識されるジェスチャーの例を模式的に例示・表示した図である。特に、図３ａは、複数のジェスチャーのグラフィック描写を提供し、図３ｂは、これらの一連のジェスチャーと関連した術語（テクニカルターム）の一覧表を提供している。
このうちいくつかのジェスチャーは、300, 305, 310, 320, 330, 335, 340, 345のように、ユーザの手の動きを検出することを含む。他のジェスチャーは、350, 355のように、ユーザの手の静的配置を検出することを含んでもよい。

図４ａおよび４ｂは、例示的なジェスチャー認識アルゴリズムを表す概略フローチャートを提供している。ステップ４００において、奥行き画像が、モバイル機器１００の深度カメラ１１０によって獲得される。ステップ４１０は、以下に詳述されるジェスチャー検出ステップであり、ステップ４２０は、検出されたジェスチャーによって決まり、例えばインフォテインメントシステム２２０へ提供される制御信号の生成を含む。
このようなジェスチャー検出および／または認識技術のさらなる例は、国際公開第２０１５／１０４２５７号パンフレットに開示されており、その内容は、参照によって本明細書に組み込まれる。

図４ｂにおいては、ステップ４１０がより詳細に示されており、ステップ４３０において、指先および同類のもののいわゆる特徴点が、キャプチャ画像において検出される。ステップ４４０において、その特徴点の動きおよび／または配置が検出される。
ステップ４５０において、この検出された動きおよび／または配置が、特徴点の例示的な動きおよび／または配置が特定のジェスチャーを示すライブラリに設定（比較）される。

例示的なジェスチャー３００、３０５が、図５から図７を参照して以下に検討・詳述される。

図５は、人さし指が大まかな円運動を行ったときの、ユーザの手が指し示す配置を示した側面図である。図６は、同様の動作を行っているが、人差し指の軸に沿って見た同一の手を示している。

車両内で動作するシステムという状況の中で、ユーザは、運転手座席または乗客席の位置によって制限される固定位置の状態にある。しかし、モバイル機器１００は、例えば、概ね水平上向きに２つのフロントシートの間に位置するか、若しくは、後ろ向きにウインドウまたは換気口の取付具に取り付けられるように、車両内の様々な異なる位置をとることができる。

しかしながら、システムのユーザが、単にモバイル機器１００が異なる位置にあるという理由で、同様の制御結果を得るために彼または彼女のジェスチャーを変える必要がないことが望ましい。この点に関しては、ユーザの手７００が一貫したジェスチャーを実行しようとしているが、下図の上向きから上図の後ろ向きまでのモバイル機器７１０の考えられる複数の配置、および、それらに関連した視野７２０を示す図７において、より詳細に図解されている。

車両環境において、ユーザがモバイル機器１００を（例えば、上向きの２つのフロントシートの間に、フロントガラス、通気口、または同様のものに）収容できる、または、取り付けられる場所において概ね制限される範囲があると仮定すると、モバイル機器１００の位置および姿勢は、幾分互いに関連がある。
そうなると、各々の位置において、ユーザが手のジェスチャーを行うことを検出されるときに、ユーザは、モバイル機器１００の向きがユーザに向かっていることが必要であることを十分に理解するであろう。

ユーザが一貫したジェスチャーを行うことを可能にする課題に対応して、モバイル機器１００が異なる位置や姿勢にあったとしても、ジェスチャーを検出・認識することができるように、プロセッサ１２０は、姿勢センサ１６０によって検出されるモバイル機器１００の姿勢に応じて検出アルゴリズムを変更するように構成される。
例えば、２つ以上のジェスチャー検出アルゴリズムが提供されてもよい。そのうちの１つは、モバイル機器７１０の位置および姿勢の範囲７３０により適しており、そのうちの１つは、モバイル機器７１０の位置および姿勢の範囲７４０により適している。

モバイル機器７１０の位置および姿勢のそれぞれの範囲７３０、７４０内において（または、１つのアルゴリズムのみが、モバイル機器７１０の位置および姿勢の全範囲（７３０＋７４０）にわたって提供されるところに）、例えば、認識されるべきジェスチャーを行い始める手の、深度カメラによって予想されるビュー（表示）を較正するために較正データが用いられる。

図８は、このプロセスを示す例示的な概略フローチャートである。

ステップ８００において、プロセッサ１２０は、センサ１６０から姿勢データを検出する。
プロセッサ１２０によって利用可能な複数の候補検出アルゴリズム８１０が存在する場合、その後のステップ８２０において、プロセッサ１２０は、（例えば）モバイル機器の姿勢の部分範囲に各々適したものを、つまり、複数の候補検出器８１０の中から１つのジェスチャー検出アルゴリズムすなわちジェスチャー検出器を選択する。

ステップ８３０において、プロセッサ１２０は、選択された検出アルゴリズムを較正、つまり、検出された姿勢に従って検出アルゴリズムの設定またはパラメータを変化させる。ステップ８４０において、プロセッサ１２０は、選択されたジェスチャー検出アルゴリズムを適用する。

それ故に、ステップ８２０では、プロセッサ１２０は、姿勢センサによって検出されるモバイル機器の姿勢に従って、候補となる２つ以上のジェスチャー検出アルゴリズムから選択するように構成される構成の一例が提供される。

ステップ８２０と共にまたはステップ８２０なしで用いられるステップ８３０において、プロセッサ１２０が、姿勢センサによって検出されるモバイル機器の姿勢に従って、ジェスチャー検出アルゴリズムの較正パラメータを変化させるか、または、ステップ８２０を用いた場合には選択されたジェスチャー検出アルゴリズムを変更するように構成される一例が提供される。

図９および１０は、特に車載システム技術に関する姿勢センサの使用を模式的に表した図である。
図９において、姿勢センサ９００は、重力または下方向ベクトル９１０に対するモバイル機器１００の姿勢を検出して、ベクトル９１０に対するモバイル機器の姿勢の表示を提供する。これは、例えば、重力センサ、加速度センサ、またはジャイロセンサで実行される。

次に、車両が急旋回するか、若しくは、非常に急激に加速または減速する状況を考える。急旋回の例が、図１０の矢印１０００で示されている。この状況では、検出された重力ベクトルは、例えば、ベクトル１０１０で表される角度で実際の垂直から傾く傾向がある。
これは、原則として、モバイル機器１００の姿勢の変化として図８のプロセスによって誤って検出され、上述したジェスチャー検出アルゴリズムの変更をもたらす。これが生じるのを回避するために、さまざまな対策を講じることができる。

その一例として、プロセッサ１２０は、ジェスチャー検出アルゴリズムを、深度カメラの画像キャプチャレートよりも低い頻度で、例えば、キャプチャ画像ｎ枚ごとの頻度で変更するように構成される。ｎは、例えば１００である。

その上またはその代わりに、プロセッサ１２０は、ローパスフィルタリングプロセスのような平滑化操作を、ジェスチャー検出アルゴリズムの変更に適用するように構成される。
その結果、例えば、検出された姿勢が、（通常の急旋回が車両において実行されるのにかかる時間よりも長いと考えられる数秒または６０秒の時定数で）平滑化すなわちローパスフィルタ処理される。そして、平滑化された検出姿勢が、ジェスチャー検出アルゴリズムの変更を制御するために適用される。

これらの構成を実現するために、プロセッサ１２０は、プログラム命令制御の下で作動して、姿勢の検出および／または検出アルゴリズムに適用される変更に関するフィルタおよび／または遅延操作を実施・制御することができる。

本発明における他の例示的な構成が、図１１および１２を参照して説明される。この構成においても、（環境がより多く変わり得るフリースペースまたは部屋ベースのシステムというよりはむしろ）モバイル機器の周囲が固定される傾向にある車載システムに特に関する。

図１１は、車両前方のほうの取り付け位置の、概ね後方に取り付けられたモバイル機器の深度カメラによって見える例示的な車両内部を概略的に表している。ここで、リアウィンドウ１１００、ならびに、運転席および助手席のシート１１１０が、車両のドア１１２０、１１３０と共に見える（分かりやすくするために、運転手および乗客は省略されている）。

カメラが同じ位置および姿勢、つまり同じ背景に留まっている限り、カメラに対して移動しないものに関するキャプチャ画像を用いると、いわゆるオプティカルフロー技術を用いて、姿勢センサ１６０によって検出された姿勢変化を確認または拒否することができる。換言すると、姿勢変化が検出されたが、それが背景画像の画像の動きと一致しない場合は、この変化は拒否される。

背景全体の動きを検知する必要はない。（リアワイパー１１４０のような）特定の車内の特徴が、参照ポイントすなわちマーカーとして用いられる。または、連続またはパルス符号の赤外線エミッタ１１５０、１１６０が、オプティカルフローの基準点として使用されるために車内に設けられるといった１つ以上のビーコン（望ましくは、間隔を空けて配置された２つ以上のビーコン）が、特定の車内の特徴として用いられる。

実際、そのようなオプティカルフロー技術は、１つの（または唯一の）姿勢感知構成であると考えられる。そのため、姿勢センサは、深度カメラによってキャプチャされた画像の、車両内のオブジェクトの位置変化を検出する検出器を含むと考えられる。

例えば、プロセッサは、姿勢センサによって検出された姿勢変化が、深度カメラによってキャプチャされた画像の、車両内の１つ以上のオブジェクトの位置変化と一致するかどうかを検出するように構成される。

図１２は、そのような技術の一例を示す概略フローチャートである。

ステップ１２００において、プロセッサ１２０は、キャプチャされた画像の背景部分を（例えば実際には、２０枚の画像の期間にわたって画像から画像へ実質的に変化しないキャプチャ画像の大部分を）検出する。ステップ１２１０は、図８のステップ８００に相当するセンサ１６０による姿勢変化の検出である。

ステップ１２２０において、プロセッサ１２０は、センサによって検出された姿勢変化が、キャプチャされた画像の背景部分において検出された変化または変化の欠如と一致するかどうかを検出する。
その結果が「はい」の場合は、センサによって検出された変化が承諾され、その後のステップ１２３０で実装される。答えが「いいえ」の場合は、検出された変化は、その後のステップ１２４０で確認されたときに実装拒否または保留がなされる。

図１３は、モバイル機器１３００と、車両情報および／またはエンターテイメントシステム（「ＩＶＩ」すなわち「車載インフォテインメント」［情報および／またはエンターテイメント］システム）１３１０とを概略的に示している。
上述したように、深度カメラ１３２０は、図１のプロセッサ１２０で実行されるソフトウェア１３３０と通信する。ソフトウェア１３３０は、図１のセンサ１６０に相当するセンサ１３４０からの信号にも応答する。

深度カメラからの画像は、フィルタリング部１３３２、キャリブレーション部１３３４、背景除去部１３３６、セグメンテーション部１３３８および手ポーズ分類部１３４２に当てられ、選択されたジェスチャー検出アルゴリズム選択部１３４４への入力を提供する。ジェスチャー検出アルゴリズムは、少なくとも手ポーズ分類部１３４２を含む。検出されたジェスチャーに基づいて、制御信号１３５０が、例えば無線通信リンクによってＩＶＩ １３１０に伝達される。

他の例では、モバイル機器は、ジェスチャー認識が行われる車両情報および／またはエンターテインメントシステムへの（例えば、インターフェース１５０／２００による）送信のために、深度画像を単にキャプチャして用いられることに留意されたい。
上述したようなジェスチャー検出アルゴリズムの変更を行うことができるように、モバイル機器は、モバイル機器の姿勢もキャプチャする必要がある。これに関しては、本開示の実施形態は、車両情報および／またはエンターテインメントシステム用のジェスチャー認識システムを含む。このジェスチャー認識システムはモバイル機器およびプロセッサを含み、モバイル機器は、深度カメラおよび姿勢センサを有し、プロセッサは、ジェスチャー検出アルゴリズムに従って深度カメラによってキャプチャされた画像から１つ以上のジェスチャーを検出するように構成される。

プロセッサは、姿勢センサによって検出されたモバイル機器の姿勢に応じてジェスチャー検出アルゴリズムを変更するように構成されている。プロセッサは、物理的にＩＶＩまたはモバイル機器の一部とすることができ、かつ／または、処理タスクは、これら２つの機器の間で共有できることに留意されたい。

図１４は、車両情報および／またはエンターテインメントシステム用のジェスチャー認識を行うためのモバイル機器の作動方法を示す概略フローチャートである。この方法は、
（ステップ１４００において）モバイル機器の深度カメラを用いて画像を検出するステップと、
（ステップ１４１０において）モバイル機器の姿勢を検出するステップと、
（ステップ１４２０において）ジェスチャー検出アルゴリズムに従って、深度カメラによってキャプチャされた画像から１つ以上のジェスチャーを検出するステップと
を含む。
１つ以上のジェスチャーを検出するステップは、姿勢センサによって検出されたモバイル機器の姿勢に応じて、ジェスチャー検出アルゴリズムを変更すること１４３０を含む。

上述したように、上記の方法は、図１の記憶装置１３０に保存されたソフトウェアに従って、図１のモバイル機器のプロセッサ１２０によって実行される。

他の例示的な実施形態が、ゲーム機のような汎用コンピューティングシステム上で作動するコンピュータソフトウェアによって実施されることが理解される。これらの例では、コンピュータソフトウェアは、コンピュータによって実行されると、コンピュータに、本開示の実施形態と見なされる上記のいずれかの方法を実行させる。
同様に、本開示の実施形態は、そのようなコンピュータソフトウェアを保存する非一時的な機械可読記憶媒体によって提供される。

上記の教示に照らして、本開示の多くの修正および変形が可能であることも明らかである。したがって、添付の特許請求の範囲内で、本開示は、本明細書に具体的に記載されている以外の方法で実施されてもよいことが理解される。

（１）車両情報および／またはエンターテインメントシステム用のジェスチャー認識を行うように構成されたモバイル機器であって、
深度カメラと、
姿勢センサと、
ジェスチャー検出アルゴリズムに従って前記深度カメラによってキャプチャされた画像から１つ以上のジェスチャーを検出するように構成されたプロセッサと
を具備し、
前記プロセッサは、前記姿勢センサによって検出された前記モバイル機器の姿勢に応じて前記ジェスチャー検出アルゴリズムを変更するように構成されている
モバイル機器。
（２）上記（１）に記載のモバイル機器であって、
前記プロセッサは、前記姿勢センサによって検出される前記モバイル機器の姿勢に従って、候補となる２つ以上のジェスチャー検出アルゴリズムから選択するように構成される
モバイル機器。
（３）上記（２）に記載のモバイル機器であって、
前記プロセッサは、前記姿勢センサによって検出される前記モバイル機器の姿勢に従って、選択されたジェスチャー検出アルゴリズムの較正パラメータを変化させるように構成される
モバイル機器。
（４）上記（１）に記載のモバイル機器であって、
前記プロセッサは、前記姿勢センサによって検出される前記モバイル機器の姿勢に従って、前記ジェスチャー検出アルゴリズムの較正パラメータを変化させるように構成される
モバイル機器。
（５）上記（１）～（４）のいずれかに記載のモバイル機器であって、
前記深度カメラは、
飛行時間型画像センサと、
ステレオカメラと、
ストラクチャードライトカメラと
で構成されるリストから選択されたセンサを含む
モバイル機器。
（６）上記（１）～（５）のいずれかに記載のモバイル機器であって、
前記姿勢センサは、
ジャイロセンサと、
加速度センサと
重力センサと、
磁気センサと
で構成されるリストから選択された１つ以上のセンサを含む
モバイル機器。
（７）上記（１）～（６）のいずれかに記載のモバイル機器であって、
前記プロセッサは、前記姿勢センサによって検出された姿勢変化が、前記深度カメラによってキャプチャされた画像の、車両内の１つ以上のオブジェクトの位置変化と一致するかどうかを検出するように構成される
モバイル機器。
（８）上記（１）～（５）のいずれかに記載のモバイル機器であって、
前記姿勢センサは、前記深度カメラによってキャプチャされた画像の、車両内のオブジェクトの位置変化を検出する検出器を含む
モバイル機器。
（９）上記（１）～（８）のいずれかに記載のモバイル機器であって、
前記プロセッサは、前記ジェスチャー検出アルゴリズムを、前記深度カメラの画像キャプチャレートよりも低い頻度で変更するように構成される
モバイル機器。
（１０）上記（１）～（９）のいずれかに記載のモバイル機器であって、
前記プロセッサは、平滑化を、前記ジェスチャー検出アルゴリズムの変更に適用するように構成される
モバイル機器。
（１１）上記（１）～（１０）のいずれかに記載のモバイル機器であって、
前記プロセッサは、検出されたジェスチャーによって決まる、前記車両情報および／またはエンターテインメントシステム用の制御信号を生成するように構成される
モバイル機器。
（１２）上記（１１）に記載のモバイル機器であって、
前記車両情報および／またはエンターテインメントシステムに前記制御信号を伝達する無線インターフェースをさらに含む
モバイル機器。
（１３）１つ以上の検出されたジェスチャーによって決まる制御信号を生成するように作動する上記（１）～（１１）のいすれかに記載のモバイル機器と、
前記制御信号を受信し、受信した前記制御信号に従って、システム内の作動を変化させるように構成された車両情報および／またはエンターテインメントシステムシステムと
を具備する
車両情報および／またはエンターテインメント機器。
（１４）上記（１３）に記載の車両情報および／またはエンターテインメント機器であって、
前記モバイル機器および前記車両情報および／またはエンターテインメントシステムシステムの各々は、前記モバイル機器と、前記車両情報および／またはエンターテインメントシステムとの間で前記制御信号を伝達する無線インターフェースを含む
車両情報および／またはエンターテインメント機器。
（１５）深度カメラおよび姿勢センサを有するモバイル機器と、
ジェスチャー検出アルゴリズムに従って前記深度カメラによってキャプチャされた画像から１つ以上のジェスチャーを検出するように構成されたプロセッサと
を具備し、
前記プロセッサは、前記姿勢センサによって検出された前記モバイル機器の姿勢に応じて、前記ジェスチャー検出アルゴリズムを変更するように構成される
車両情報および／またはエンターテインメントシステム用のジェスチャー認識システム。
（１６）車両情報および／またはエンターテインメントシステム用のジェスチャー認識を行うためのモバイル機器の作動方法であって、
前記モバイル機器の深度カメラを用いて画像を検出するステップと、
前記モバイル機器の姿勢を検出するステップと、
ジェスチャー検出アルゴリズムに従って、前記深度カメラによってキャプチャされた画像から１つ以上のジェスチャーを検出するステップと
を含み、
前記１つ以上のジェスチャーを検出するステップは、前記姿勢センサによって検出された前記モバイル機器の姿勢に応じて、前記ジェスチャー検出アルゴリズムを変更することを含む
方法。
（１７）深度カメラを有するモバイル機器のプロセッサによって実行されると、前記モバイル機器に上記（１６）に記載の方法を実行させる
コンピュータソフトウェア。
（１８）上記（１７）に記載のコンピュータソフトウェアを保存する非一時的な機械可読記憶媒体。

Claims (14)

1. 車両情報および／またはエンターテインメントシステム用のジェスチャー認識を行うように構成されたモバイル機器であって、
   深度カメラと、
   姿勢センサと、
   ジェスチャー検出アルゴリズムに従って前記深度カメラによってキャプチャされた画像から１つ以上のジェスチャーを検出するように構成されたプロセッサと
   を具備し、
   前記プロセッサは、前記姿勢センサによって検出された前記モバイル機器の姿勢の変化が、前記深度カメラによってキャプチャされた画像の、車両内の１つ以上のオブジェクトの位置変化と一致するかどうかを検出し、一致する場合、前記姿勢センサによって検出された前記モバイル機器の姿勢に応じて前記ジェスチャー検出アルゴリズムを変更するように構成された
   モバイル機器。
2. 請求項１に記載のモバイル機器であって、
   前記深度カメラは、
   飛行時間型画像センサと、
   ステレオカメラと、
   ストラクチャードライトカメラと
   で構成されるリストから選択されたセンサを含む
   モバイル機器。
3. 請求項１に記載のモバイル機器であって、
   前記姿勢センサは、
   ジャイロセンサと、
   加速度センサと
   重力センサと、
   磁気センサと
   で構成されるリストから選択された１つ以上のセンサを含む
   モバイル機器。
4. 請求項１に記載のモバイル機器であって、
   前記姿勢センサは、前記深度カメラによってキャプチャされた画像の、車両内のオブジェクトの位置変化を検出する検出器を含む
   モバイル機器。
5. 請求項１に記載のモバイル機器であって、
   前記プロセッサは、前記ジェスチャー検出アルゴリズムを、前記深度カメラの画像キャプチャレートよりも低い頻度で変更するように構成される
   モバイル機器。
6. 請求項５に記載のモバイル機器であって、
   前記プロセッサは、平滑化を、前記ジェスチャー検出アルゴリズムの変更に適用するように構成される
   モバイル機器。
7. 請求項１に記載のモバイル機器であって、
   前記プロセッサは、検出されたジェスチャーによって決まる、前記車両情報および／またはエンターテインメントシステム用の制御信号を生成するように構成される
   モバイル機器。
8. 請求項７に記載のモバイル機器であって、
   前記車両情報および／またはエンターテインメントシステムに前記制御信号を伝達する無線インターフェースをさらに含む
   モバイル機器。
9. １つ以上の検出されたジェスチャーによって決まる制御信号を生成するように作動する請求項１に記載のモバイル機器と、
   前記制御信号を受信し、受信した前記制御信号に従って、システム内の作動を変化させるように構成された車両情報および／またはエンターテインメントシステムと
   を具備する
   車両情報および／またはエンターテインメント機器。
10. 請求項９に記載の車両情報および／またはエンターテインメント機器であって、
    前記モバイル機器および前記車両情報および／またはエンターテインメントシステムの各々は、前記モバイル機器と、前記車両情報および／またはエンターテインメントシステムとの間で前記制御信号を伝達する無線インターフェースを含む
    車両情報および／またはエンターテインメント機器。
11. 深度カメラおよび姿勢センサを有するモバイル機器と、
    ジェスチャー検出アルゴリズムに従って前記深度カメラによってキャプチャされた画像から１つ以上のジェスチャーを検出するように構成されたプロセッサと
    を具備し、
    前記プロセッサは、前記姿勢センサによって検出された前記モバイル機器の姿勢の変化が、前記深度カメラによってキャプチャされた画像の、車両内の１つ以上のオブジェクトの位置変化と一致するかどうかを検出し、一致する場合、前記姿勢センサによって検出された前記モバイル機器の姿勢に応じて、前記ジェスチャー検出アルゴリズムを変更するように構成される
    車両情報および／またはエンターテインメントシステム用のジェスチャー認識システム。
12. 車両情報および／またはエンターテインメントシステム用のジェスチャー認識を行うためのモバイル機器の作動方法であって、
    前記モバイル機器の深度カメラを用いて画像を検出するステップと、
    前記モバイル機器の姿勢を姿勢センサを用いて検出するステップと、
    ジェスチャー検出アルゴリズムに従って、前記深度カメラによってキャプチャされた画像から１つ以上のジェスチャーを検出するステップと
    を含み、
    前記１つ以上のジェスチャーを検出するステップは、前記姿勢センサによって検出された前記モバイル機器の姿勢の変化が、前記深度カメラによってキャプチャされた画像の、車両内の１つ以上のオブジェクトの位置変化と一致するかどうかを検出し、一致する場合、前記姿勢センサによって検出された前記モバイル機器の姿勢に応じて、前記ジェスチャー検出アルゴリズムを変更することを含む
    方法。
13. 深度カメラを有するモバイル機器のプロセッサによって実行されると、前記モバイル機器に請求項１２に記載の方法を実行させる
    コンピュータソフトウェア。
14. 請求項１３に記載のコンピュータソフトウェアを保存する非一時的な機械可読記憶媒体。

Images