JP7162079B2

JP7162079B2 - 頭部のジェスチャーを介してディスプレイ装置を遠隔制御する方法、システムおよびコンピュータプログラムを記録する記録媒体

Info

Publication number: JP7162079B2
Application number: JP2020565364A
Authority: JP
Inventors: ジハントパル; バルバロスキリスケン
Original assignee: ベステルエレクトロニクサナイーベティカレトエー．エス．
Priority date: 2018-05-21
Filing date: 2018-07-31
Publication date: 2022-10-27
Anticipated expiration: 2038-07-31
Also published as: JP2022517050A; WO2019223889A1; US11416078B2; KR20210010930A; US20210311556A1; EP3572910A1; EP3572910B1; CN112088348A

Description

本開示は、ヒューマン・コンピュータ・インタラクションに関し、限定されるわけではないが、特に頭部のジェスチャーを介してディスプレイ装置を遠隔制御する方法、システムおよびコンピュータプログラムに関する。

ジェスチャーベースのソリューションが進展し、ヒューマン・コンピュータ・インタラクションによるより自然な方法でのディスプレイ装置制御を可能にしている。

この非言語ソリューションのほとんどは、ユーザの手を自由にする必要がある手のジェスチャーに基づくが、腕、手および／または指を動かすことを妨げる障害をユーザが持っている場合には制約されることがある。

人間工学の観点では、手のジェスチャーを介してディスプレイ装置のインタラクティブな画面上で選択を行うためには、通常ユーザが垂直方向および水平方向に手を動かすことが必要である。しかし、手の動きの範囲が限られていると、ユーザが画面上のすべての位置には手を届かせることができない可能性があるため、画面上のいくつかの特定の位置にのみ静的メニューが表示され、ユーザは対応するメニューボタンに向かって手を動かすことで選択を行なえることを確実とする。手の動きは、いくつかの環境、例えば、公共の場所、特に空港、鉄道駅、ショッピングセンター等の混雑した公共の場所でも制限されることがある。

したがって、ディスプレイ装置の制御のために、ユーザが画面全体のすべての位置にアクセスすることを可能とする代替のヒューマン・コンピュータ・インタラクションを提案することは困難となっている。

本願明細書に開示される第一の側面によれば、コンピュータ装置を遠隔制御する方法が提供されてもよい。この方法では、ビデオフレームから画像を繰り返し撮影し、撮影された画像内で人間の顔を検出し、検出された人間の顔を、先に検出された人間の顔と照合し、照合元の検出された人間の顔から顔の特徴部を抽出し、抽出された顔の特徴部に基づき、照合元の検出された人間の顔の３次元（３Ｄ）の頭部姿勢を推定し、３次元の頭部姿勢は、人間の顔を起点に方向づけられた３次元の姿勢ベクトルにより自己中心座標系において表され、３次元の姿勢ベクトルは、自己中心座標系のｘ軸、ｙ軸およびｚ軸の周りをそれぞれの回転行列を用いて自由に回転し、自己中心座標系のｘ軸、ｙ軸およびｚ軸上を並進ベクトルを用いて自由に並進し、コンピュータ装置のディスプレイ画面上のユーザインタフェース（ＵＩ）を推定された３次元の頭部姿勢に応じて制御してもよい。

第一の側面の一例では、コンピュータ装置のディスプレイ画面上のユーザインタフェースを制御することは、コンピュータ装置のディスプレイ画面上のカーソルを推定された３次元の頭部姿勢にマッピングすることを含んでもよい。

第一の側面の一例では、コンピュータ装置のディスプレイ画面上のカーソルを推定された３次元の頭部姿勢にマッピングすることは、自己中心座標系における３次元の姿勢ベクトルをディスプレイ画面の２次元平面の座標系における２次元の姿勢ベクトルに変換することを含んでもよい。

第一の側面の一例では、自己中心座標系における３次元の姿勢ベクトルをディスプレイ画面（１７０）の２次元平面の座標系における２次元の姿勢ベクトルに変換することは、自己中心座標系の３次元の頭部姿勢ベクトルの軸をディスプレイ画面の２次元平面に投影し、回転に基づく情報を利用する３次元から２次元へのマッピング関数を適用することを含んでもよい。

第一の側面の一例では、回転に基づく情報は、ピッチ角およびヨー角に対する方向情報であってもよい。

第一の側面の一例では、ディスプレイ画面の座標系における２次元の姿勢ベクトルの座標（ｘ_{ｓｃｒｅｅｎ}，ｙ_{ｓｃｒｅｅｎ}）は、ピクセルで表されてもよく、下記式の３次元から２次元へのマッピング関数を適用した後で得られてもよく、

式中、
Ｗは、ディスプレイ画面の幅（ピクセル単位）を表し、
Ｈは、ディスプレイ画面の高さ（ピクセル単位）を表し、
ｆ_ｘは、ディスプレイ画面の座標系のｘ軸上の置換因数を表し、
ｆ_ｙは、ディスプレイ画面の座標系のｙ軸上の置換因数を表し、
（ｘ_０，ｙ_０）は、自己中心座標系の原点の座標を変換した後の、ディスプレイ画面の座標系における原点の座標を表し、
（ｘ_ｚ，ｙ_ｚ）は、自己中心座標系における３次元の姿勢ベクトルのｚ軸成分を変換した後の、ディスプレイ画面の座標系における２次元の姿勢ベクトルのｚ軸成分の座標を表し、
ｘ_ｘは、自己中心座標系における３次元の姿勢ベクトルのｘ軸成分を変換した後の、ディスプレイ画面の座標系における２次元の姿勢ベクトルのｘ軸成分の横座標を表し、
ｙ_ｙは、自己中心座標系における３次元の姿勢ベクトルのｙ軸成分を変換した後の、ディスプレイ画面の座標系における２次元の姿勢ベクトルのｙ軸成分の縦座標を表す。

第一の側面の一例では、抽出された顔の特徴部は、一般的な３次元の顔モデルと照合させて使用されてもよい。

第一の側面の一例では、画像は、少なくとも１つの画像撮影装置を用いてビデオフレームから繰り返し撮影されてもよい。

本願明細書に開示される第二の側面によれば、インタラクティブシステムであって、ビデオフレームから画像を繰り返し撮影するように構成された少なくとも１つの画像撮影装置と、コンピュータ装置とを備えたシステムが提供されてもよい。コンピュータ装置は、ディスプレイ画面と、プロセッサとを備えてもよい。プロセッサは、撮影された画像内で人間の顔を検出し、検出された人間の顔を、先に検出された人間の顔と照合し、照合元の検出された人間の顔から顔の特徴部を抽出し、抽出された顔の特徴部に基づき、照合元の検出された人間の顔の３次元（３Ｄ）の頭部姿勢を推定し、３次元の頭部姿勢は、人間の顔を起点に方向づけられた３次元の姿勢ベクトルにより自己中心座標系において表され、３次元の姿勢ベクトルは、自己中心座標系のｘ軸、ｙ軸およびｚ軸の周りをそれぞれの回転行列を用いて自由に回転し、自己中心座標系のｘ軸、ｙ軸およびｚ軸上を並進ベクトルを用いて自由に並進し、コンピュータ装置のディスプレイ画面上のユーザインタフェースを推定された３次元の頭部姿勢に応じて制御するように構成されてもよい。

第二の側面の一例では、インタラクティブシステムは、ディスプレイ画面上のユーザインタフェースを制御することが、コンピュータ装置のディスプレイ画面上のカーソルを推定された３次元の頭部姿勢にマッピングすることを含んでもよいように構成されてもよい。

第二の側面の一例では、コンピュータ装置は、照合元の検出された人間の顔を記憶するように構成された記憶部を備えてもよい。

第二の側面の一例では、少なくとも１つの画像撮影装置は、コンピュータ装置内に実装されてもよい。

第二の側面の一例では、カーソルがディスプレイ画面上で自由に移動してもよいように構成されてもよい。

本願明細書に開示される第三の側面によれば、プログラム命令を含むコンピュータプログラム製品であって、コンピュータプログラムがデバイス上で実行された場合、コンピュータ装置が第一の側面および第一の側面の例のいずれかに記載の方法を行うように構成されることを特徴とするコンピュータプログラム製品が提供されてもよい。

本開示の理解を促進し、どのように実施形態が効果を奏するかを示すため、例示として添付の図面が参照される。

本開示に従い、コンピュータ装置のカーソルとユーザの推定された３次元の頭部姿勢との間でリアルタイムマッピングを行う構成の一例を模式的に示す。本開示に従い、カーソルとユーザの推定された３次元の頭部姿勢との間のリアルタイムマッピングを用いて、コンピュータ装置を遠隔制御するプロセスを示すフローチャートの一例を模式的に示す。本開示に従い、自己中心座標系における３次元の頭部ベクトルをディスプレイ画面の座標系における２次元の姿勢ベクトルに変換した一例を模式的に示す。本開示に従い、複数のグラフィック要素／アイコンを有するユーザインタフェースの一例を模式的に示す。

人間の頭部の動きまたはジェスチャーは、回転および並進で構成されてもよいため、参照オブジェクト（カメラなど）に対する人間の頭部の位置と向きによって指定される人間の頭部の姿勢を３次元（３Ｄ）空間で決定するには、６自由度（ＤＯＦ）が必要になる場合がある。したがって、人間の頭部の位置は、ｘ軸、ｙ軸およびｚ軸上の変位量を指し、「ｔ」で表される３×１並進ベクトルで記述されてもよいのに対して、人間の頭部の向きは回転量を指し、自己中心座標系（すなわち、人間の頭がオブジェクトとされるオブジェクト座標フレーム）において３つのオイラー角（ピッチ角、ヨー角およびロール角としても知られる）により記述されてもよい。ピッチは、うなずき動作（すなわち、上向きまたは下向きの頭部の動き）を指し、自己中心座標系の水平軸（すなわち、ｘ軸）の周りの角度量分の回転であると規定されてもよく、この回転は、単一のピッチに基づく３×３回転行列として符号化される。ヨーは、揺れ動作（すなわち、傾きを伴わない左側または右側への頭部の動き）を指し、自己中心座標系の垂直軸（すなわち、ｙ軸）の周りの角度量分の回転であると規定されてもよく、この回転は、単一のヨーに基づく３×３回転行列として符号化される。ロールは、傾き動作（すなわち、左側または右側への頭部の傾き）を指し、自己中心座標系の前述の２つの軸に垂直な軸（すなわち、ｚ軸）の周りの角度量分の回転であると規定されてもよく、この回転は、単一のロールに基づく３×３回転行列として符号化される。したがって、ピッチ、ヨーおよびロールに基づく回転は、人間の頭部等の３次元のオブジェクトを任意の向きに配置するために使用されてもよく、「Ｒ」で表される組み合わされた３×３回転行列は、ピッチ、ヨーおよびロールに基づく３×３回転行列を掛け合わせることにより得られる。最終的に、人間の頭部姿勢は、３×４行列「［Ｒ｜ｔ］」で記述されてもよい３次元の頭部姿勢であり、その行列の左３列は組み合わされた３×３回転行列Ｒにより構成され、最も右の列は３×１並進ベクトルｔにより構成される。

図１は、本開示に従い、コンピュータ装置１２０のカーソル１１０とユーザ１３０の推定された３次元の頭部姿勢との間でリアルタイムマッピング（特に、３次元から２次元へのマッピング）を行う構成の一例を模式的に示す。この構成は、インタラクティブシステム１００およびユーザ１３０を備えていてもよい。ユーザ１３０は、顔の特徴部１４０（例えば、顔の特徴点）が配置され、推定された３次元の頭部姿勢に対応する３次元の姿勢ベクトルが自己中心座標系１５０において表される頭部または顔により図示される。図１の例において、インタラクティブシステム１００は、コンピュータ装置１２０と、少なくとも１つの画像撮影装置１６０（例えば、適切なレンズを有するカラーセンサまたはグレースケールセンサを有するデジタルカメラ、ＲＧＢデジタルカメラおよび／または赤外線デジタルカメラ等)とを備えてもよく、少なくとも１つの画像撮影装置１６０は、コンピュータ装置１２０の入力側に接続される。別の例において、少なくとも１つの画像撮影装置１６０は、コンピュータ装置１２０内に実装され、合わせて単一のユニットに統合されてもよい。図示されるように、コンピュータ装置１２０は、ディスプレイ画面１７０を備えてもよく、ディスプレイ画面１７０上でカーソル１１０は自由に移動してもよい。ディスプレイ画面１７０は、ユーザインタフェース（ＵＩ）（例えば、グラフィカルユーザインタフェース（ＧＵＩ））を有して構成されてもよく、カーソル１１０は、ディスプレイ画面１７０上でＵＩのグラフィック要素／アイコンまたはインタフェースオブジェクトと相互作用してもよい。より一般的に、ディスプレイ画面１７０を有するコンピュータ装置１２０は、家電製品（例えば、テレビセット、メディアプレーヤー、ゲーム機等）、デジタルサイネージ、タブレット、スマートフォンおよびデジタル広告掲示板等の画面ディスプレイを有する任意のディスプレイ装置を備えてもよいが、これらに限定されない。

図２は、本開示に従い、カーソル１１０とユーザ１３０の推定された３次元の頭部姿勢との間のリアルタイムマッピングを用いて、コンピュータ装置１２０を遠隔制御するプロセスを示すフローチャートの一例を模式的に示す。このプロセスは、図１の構成に関連して以下に説明される。

Ｓ１において、少なくとも１つの画像撮影装置１６０は、ビデオフレームから画像を繰り返し撮影し、撮影された画像をコンピュータ装置１２０のプロセッサまたは演算部に提供するように構成されてもよい。

Ｓ２において、プロセッサまたは演算部は、例えば、顔検出アルゴリズムおよび顔境界矩形／ボックスを用いて、撮影された画像内で人間の顔を検出するように構成されてもよく、この構成は、第１の手法においていわゆる積分画像を、第２の手法において単純で効率的な分類器を、第３の手法において分類器のカスケードを用いて、高い検出精度を達成しつつ、演算時間を最小にする、ビオラＰ．およびジョーンズＭ．Ｊ．著「ＲｏｂｕｓｔＲｅａｌ－ＴｉｍｅＦａｃｅＤｅｔｅｃｔｉｏｎ（堅牢なリアルタイム顔検出）」（ＩｎｔｅｒｎａｔｉｏｎａｌＪｏｕｒｎａｌｏｆＣｏｍｐｕｔｅｒＶｉｓｉｏｎ（コンピュータビジョンの国際ジャーナル）、５７巻、２刷、１３７ー１５４ページ、２００４年５月）において特に見出されるが、これに限定されない。

Ｓ３において、プロセッサまたは演算部は、例えば、顔認識アルゴリズムを用いて、検出された人間の顔をコンピュータ装置１２０の記憶部（例えば、メモリ）に記憶された、先に検出された人間の顔と照合させるように構成されてもよい。実際、検出された人間の顔の照合は、各連続したビデオフレームに対して行われるため、任意の適切で高速かつ効率的な顔認識アルゴリズムが使用されてもよく、この構成は非常に高速な特徴抽出を可能にする単純な顔認識方法を開示するアホーネンＴ．、ハディッドＡ．およびピエティカイネンＭ．著「ＦａｃｅＲｅｃｏｇｎｉｔｉｏｎｗｉｔｈＬｏｃａｌＢｉｎａｒｙＰａｔｔｅｒｎｓ（ローカルバイナリパターンによる顔認識）」（８ｔｈＥｕｒｏｐｅａｎＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎ（ＥＣＣＶ）ｉｎＰｒａｇｕｅ（ＣＺＥ）（プラハ（チェコ）での第８回欧州コンピュータビジョン会議（ＥＣＣＶ））、４６９－４８１ページ、２００４年５月）において特に見出されるが、これに限定されない。一例において、検出された人間の顔は、任意の他の認識タスクを適用することなく、単に人間の顔の空間座標を比較するのみで照合させてもよい。

Ｓ４において、プロセッサまたは演算部は、照合ありの場合、すなわち検出された人間の顔が特定または追跡できない場合、Ｓ１に戻ることを決定し、照合なしの場合、Ｓ５に進むことを決定するように構成されてもよい。

Ｓ５において、プロセッサまたは演算部は、例えば、顔の特徴部抽出アルゴリズムを用いて、照合元の検出された人間の顔から顔の特徴部１４０を抽出し、これらの抽出された顔の特徴部１４０を一般的または平均的な３次元の顔モデルと照合して使用するように構成されてもよい。

Ｓ６において、プロセッサまたは演算部は、抽出された顔の特徴部１４０およびそれに対応する一般的または平均的な３次元の顔モデルに基づき、検出・照合された人間の顔の３次元の頭部姿勢を推定するように構成されてもよい。３次元の頭部姿勢は、３次元の姿勢ベクトルにより表されてもよく、３次元の姿勢ベクトルは、人間の顔を起点に方向づけられ、自己中心座標系１５０の仮想ｘ軸、ｙ軸およびｚ軸の周りでそれぞれの３×３回転行列を用いて回転量（すなわち、角度量）分自由に回転し、当該仮想ｘ軸、ｙ軸およびｚ軸上で３×１並進ベクトルｔを用いて変位量分自由に並進移動する。したがって、人間の頭部の向きおよび位置は、３次元の頭部姿勢の推定において考慮されてもよいため、ピッチ、ヨーおよびロールに基づく３×３回転行列、それらを組み合わせた３×３回転行列Ｒならびに３×１並進ベクトルｔが、プロセッサまたは演算部により演算されることで、３次元の頭部姿勢を推定する。複数の人間の顔が同じ撮影画像において検出されてもよいことを理解されたい。これらの検出された人間の顔のすべてが、それぞれ先に検出された人間の顔と照合できる場合、検出された人間の顔それぞれの頭部姿勢は、それぞれの識別する３Ｄ姿勢ベクトルにより表され得る。

Ｓ７において、プロセッサまたは演算部は、コンピュータ装置１２０のディスプレイ画面１７０上のカーソル１１０を推定された３次元の頭部姿勢にリアルタイムでマッピングすることにより、コンピュータ装置１２０のディスプレイ画面１７０上のＵＩを推定された３次元の頭部姿勢に応じて制御するように構成されてもよい。このマッピングは、自己中心座標系１５０の３次元の頭部姿勢ベクトルの軸をディスプレイ画面１７０の２次元平面に投影し、カーソル位置を演算および決定するための３次元から２次元へのマッピング関数を適用することにより、自己中心座標系１５０における３次元の姿勢ベクトルをディスプレイ画面１７０の２次元平面の座標系における２次元の姿勢ベクトルに変換することを含んでもよい。一例において、３Ｄから２Ｄへのマッピング関数は、ディスプレイ画面１７０の座標系における２次元の姿勢ベクトルの座標（すなわち、ｘの値およびｙの値）を演算することにより、カーソル位置を決定するために、ピッチ角およびヨー角に対する方向情報を利用する。図３に示されるように、ディスプレイ画面１７０の座標系における２次元の姿勢ベクトルの座標（ｘ_{ｓｃｒｅｅｎ}，ｙ_{ｓｃｒｅｅｎ}）は、ピクセルで表され、下記式の３次元から２次元へのマッピング関数を適用した後得られてもよい。

式中、
Ｗは、ディスプレイ画面１７０の幅（ピクセル単位）を表し、
Ｈは、ディスプレイ画面１７０の高さ（ピクセル単位）を表し、
ｆ_ｘは、ディスプレイ画面１７０の座標系のｘ軸上の置換因数を表し、
ｆ_ｙは、ディスプレイ画面１７０の座標系のｙ軸上の置換因数を表し、
（ｘ_０，ｙ_０）は、自己中心座標系１５０の原点の座標（０，０，０）を変換した後に得られるディスプレイ画面１７０の座標系における原点の新しい座標を表し、
（ｘ_ｚ，ｙ_ｚ）は、自己中心座標系１５０における３次元の姿勢ベクトルの座標（０，０，ｋ）のｚ軸成分を変換した後に得られるディスプレイ画面１７０の座標系における２次元の姿勢ベクトルのｚ軸成分の新しい座標を表し、
ｘ_ｘは、自己中心座標系１５０における３次元の姿勢ベクトルの座標（ｋ，０，０）のｘ軸成分を変換した後に得られるディスプレイ画面１７０の座標系における２次元の姿勢ベクトルのｘ軸成分の新しい横座標を表し、
ｙ_ｙは、自己中心座標系１５０における３次元の姿勢ベクトルの座標（０，ｋ，０）のｙ軸成分を変換した後に得られるディスプレイ画面１７０の座標系における２次元の姿勢ベクトルのｙ軸成分の新しい縦座標を表す。

置換因数（ｆ_ｘ，ｆ_ｙ）は、頭部移動の単位ごとに、すなわち、１度単位で、カーソル１１０の変位を制御してもよい係数と同様に機能することを理解されたい。すなわち、置換因数（ｆ_ｘ，ｆ_ｙ）が大きくなるにつれて、カーソル１１０の変位は、大きくなる。カーソル１１０の変位は、水平（ｘ軸）方向および垂直（ｙ軸）方向に対して別々に調整され得る。人間の頭部（すなわち、ユーザの頭部）の垂直方向の角度範囲が水平方向の角度範囲より狭いことを補うために、垂直（ｙ軸）方向における移動に対する置換因数ｆ_ｙは、水平（ｘ軸）方向における移動に対するｆ_ｘより大きい値に設定されてもよい。それにより、置換因数ｆ_ｘおよびｆ_ｙは、水平方向の移動と垂直方向の移動を同期させるために使用され得る。

上述したように、人間の頭部の位置は、自己中心座標系１５０の仮想ｘ軸、ｙ軸及びｚ軸上の変位量を指す。したがって、３次元の頭部姿勢は、特にその位置により指定されるが、ユーザ１３０および少なくとも１つの画像撮影装置１６０の相対的な位置、すなわちユーザ１３０と少なくとも１つの画像撮影装置１６０との間の距離に応じて変わることを理解されたい。一方、３次元から２次元へのマッピング関数を用いたカーソル位置の決定は、少なくとも１つの画像撮影装置１６０の位置に対するユーザ１３０の位置に関係なく、同じユーザ体験を提供するという利点を有する。実際、３次元から２次元へのマッピング関数は、カーソル位置を演算および決定するために、並進に基づく情報を利用せず、むしろ回転に基づく情報、すなわち、特にピッチ角およびヨー角に対する方向情報を利用する。これにより、３次元から２次元へのマッピング関数は、ユーザ１３０の位置の変化の影響を相殺することを可能とする。

さらに、ディスプレイ画面１７０上のカーソル位置は、ユーザが自身の頭部で指し示す場所でないことを理解されたい。換言すれば、カーソル１１０の物理的な位置は、頭部の方向がコンピュータ装置１２０のディスプレイ画面１７０と交差する場所ではない。

図４は、本開示に従い、複数のグラフィック要素／アイコン４１１－４１５を有するユーザインタフェース（ＵＩ）の一例を模式的に示す。頭部のジェスチャーまたは動き（すなわち、３次元の頭部姿勢の向きの変化につながるピッチに基づく回転および／またはヨーに基づく回転および／またはロールに基づく回転）に起因して、ユーザは、コンピュータ装置４２０（テレビセットとして図示）のディスプレイ画面４３０上のグラフィック要素４１１－４１５（ボタンとして図示）のうちの１つの上にカーソル４１０（矢印として図示）を遠隔で位置付けてもよく、その後、カーソル４１０を所定の位置に保持するか、すなわち所定の時間（例えば、５００ミリ秒）停留させることにより、または特定のジェスチャーを行うことにより、選択操作を行ってもよい。選択されたグラフィック要素４１１－４１５は、よりよく視覚化するために、選択操作に応答してハイライト表示されてもよい。図４の例において、ユーザの頭部のジェスチャーは、カーソル４１０をグラフィック要素４１２に合わせ、カーソル４１０を所定の時間・所定の位置で保持することにより、音量を上げることを可能とするこの要素４１２を選択する。

要約すると、本開示は、ヒューマン・コンピュータ・インタラクション手続きに関し、当該手続きは、ユーザが自身の頭部を用いてディスプレイ画面を有するコンピュータ装置を遠隔制御することを可能とするものである。コンピュータ装置のリモコンには、ユーザの顔画像を連続的に取得する１つ以上の画像撮影装置（例えば、１つ以上のカメラ）を採用する。取得された画像は、その後、コンピュータ装置に送られ、コンピュータビジョンアルゴリズムを用いてプロセッサまたは演算部により処理される。その後、ユーザの頭部の３次元の姿勢は、向き（３×３回転行列）および位置（３×１並進ベクトル）で指定され、自己中心座標系における推定される３次元の頭部姿勢とコンピュータ装置のディスプレイ画面の２次元平面の座標系におけるカーソルとの間でリアルタイムマッピングを構築することを目的として推定される。微細な頭部の動きまたはジェスチャー（特に、推定された３次元の頭部姿勢の向きの変化につながるピッチおよびヨーに基づく回転）を通して、ユーザは、ディスプレイ画面上の任意の位置に到達し得、推定された３次元の頭部姿勢とリアルタイムでマッピングされたカーソルを停留させることにより、ユーザインタフェースの任意のグラフィック要素を選択し得る。提案されたインタラクション手続きは、テレビセットおよびデジタルサイネージスクリーン等の多くの実生活への応用例において利用され得る。例えば、空港にいる乗客は、手を用いない非接触で較正不要な方法で自身の頭部の微細な動きまたはジェスチャーのみにより、ゲート番号またはフライトの搭乗時間を調べるために、デジタル情報画面とやり取りし得る。

集積回路、プロセッサ、プロセシングシステムまたは回路と本明細書に記載されるものは、実際には、単一のチップまたは集積回路、あるいは、複数のチップまたは集積回路により提供されてもよく、任意で、チップセット、特定用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、デジタル・シグナル・プロセッサ（ＤＳＰ）、グラフィクス・プロセッシング・ユニット（ＧＰＵｓ）等として提供されてもよい。このチップまたは複数のチップは、例示的な実施形態に従い動作するよう構成可能なデータプロセッサ、デジタル・シグナル・プロセッサ、ベースバンド回路および無線周波数回路の少なくとも１つを実装するための回路（ならびに場合によってファームウェア）を備えてもよい。この点に関し、例示的な実施形態は、少なくとも部分的に（非一時的）メモリに記憶されプロセッサにより実行可能なコンピュータソフトウェア、ハードウェア、または有形に格納されたソフトウェアとハードウェア（および有形に格納されたファームウェア）との組み合わせにより実装されてもよい。

図面を参照して本明細書に記載される実施形態の少なくともいくつかの側面では、処理システムまたはプロセッサにより実行されるコンピュータプロセスを含むものの、本発明の範囲は、本発明を実施可能なコンピュータプログラム、特に媒体上／内のコンピュータプログラムにも及ぶ。このプログラムは、非一時的なソースコード、オブジェクトコード、部分的に蓄積された形態等のコード中間ソースおよびオブジェクトコード、または、本発明に従ったプロセスの実施に使用されるのに適切な任意の他の非一時的形態であってもよい。キャリアは、プログラムを実行できる任意のエンティティまたはデバイスであってよい。例えば、このキャリアは、ソリッドステートドライブ（ＳＳＤ）または他の半導体ベースのランダムアクセスメモリ（ＲＡＭ）、コンパクトディスク（ＣＤ）－ＲＯＭまたは半導体ＲＯＭ等の読み出し専用メモリ（ＲＯＭ）、フロッピィディスクまたはハードディスク等の磁気記憶媒体、一般の光学記憶装置等の記憶媒体を含んでもよい。

本明細書に記載される例は、本発明の実施形態を説明するための例として理解されるべきである。別の実施形態および例が想定される。任意の１つの例または実施形態に関連して記載される任意の特徴は、単独で、または他の特徴と組み合わせて使用可能である。加えて、任意の１つの例または実施形態に関連して記載される任意の特徴は、任意の他の例もしくは実施形態、または任意の他の例もしくは実施形態の任意の組み合わせの１つ以上の特徴と組み合わせて使用可能である。さらに、本明細書に記載されない均等物および変形例も、請求項に定義される本発明の範囲内で利用可能である。

Claims

コンピュータ装置（１２０）を遠隔制御する方法であって、
ビデオフレームから画像を繰り返し撮影し、
前記撮影された画像内で人間の顔を検出し、
前記検出された人間の顔を、先に検出された人間の顔と照合し、
照合元の前記検出された人間の顔から顔の特徴部（１４０）を抽出し、
前記抽出された顔の特徴部に基づき、照合元の前記検出された人間の顔の３次元の頭部姿勢を推定し、前記３次元の頭部姿勢は、前記人間の顔を起点に方向づけられた３次元の姿勢ベクトルにより自己中心座標系（１５０）において表され、前記３次元の姿勢ベクトルは、前記自己中心座標系（１５０）のｘ軸、ｙ軸およびｚ軸の周りをそれぞれの回転行列を用いて自由に回転し、前記自己中心座標系（１５０）の前記ｘ軸、ｙ軸およびｚ軸上を並進ベクトルを用いて自由に並進し、
前記コンピュータ装置（１２０）のディスプレイ画面（１７０）上のユーザインタフェースを前記推定された３次元の頭部姿勢に応じて制御し、
前記コンピュータ装置（１２０）の前記ディスプレイ画面（１７０）上の前記ユーザインタフェースを制御することは、前記コンピュータ装置（１２０）の前記ディスプレイ画面（１７０）上のカーソル（１１０）を前記推定された３次元の頭部姿勢にマッピングすることを含み、
前記コンピュータ装置（１２０）の前記ディスプレイ画面（１７０）上の前記カーソル（１１０）を前記推定された３次元の頭部姿勢にマッピングすることは、前記自己中心座標系（１５０）における前記３次元の姿勢ベクトルを前記ディスプレイ画面（１７０）の２次元平面の座標系における２次元の姿勢ベクトルに変換することを含み、
前記自己中心座標系（１５０）における前記３次元の姿勢ベクトルを前記ディスプレイ画面（１７０）の前記２次元平面の座標系における２次元の姿勢ベクトルに変換することは、前記自己中心座標系（１５０）の前記３次元の頭部姿勢ベクトルの軸を前記ディスプレイ画面（１７０）の前記２次元平面に投影し、回転に基づく情報を利用する３次元から２次元へのマッピング関数を適用することを含み、
前記ディスプレイ画面（１７０）の前記座標系における前記２次元の姿勢ベクトルの座標（ｘ _{ｓｃｒｅｅｎ} ，ｙ _{ｓｃｒｅｅｎ} ）は、ピクセルで表され、下記式の前記３次元から２次元へのマッピング関数を適用した後で得られ、

式中、
Ｗは、前記ディスプレイ画面（１７０）の幅（ピクセル単位）を表し、
Ｈは、前記ディスプレイ画面（１７０）の高さ（ピクセル単位）を表し、
ｆ _ｘは、前記ディスプレイ画面（１７０）の前記座標系の前記ｘ軸上の置換因数を表し、
ｆ _ｙは、前記ディスプレイ画面（１７０）の前記座標系の前記ｙ軸上の置換因数を表し、
（ｘ _０，ｙ _０）は、前記自己中心座標系（１５０）の原点の座標を変換した後の、前記ディスプレイ画面（１７０）の前記座標系における原点の座標を表し、
（ｘ _ｚ，ｙ _ｚ）は、前記自己中心座標系（１５０）における前記３次元の姿勢ベクトルのｚ軸成分を変換した後の、前記ディスプレイ画面（１７０）の前記座標系における前記２次元の姿勢ベクトルのｚ軸成分の座標を表し、
ｘ _ｘは、前記自己中心座標系（１５０）における前記３次元の姿勢ベクトルのｘ軸成分を変換した後の、前記ディスプレイ画面（１７０）の前記座標系における前記２次元の姿勢ベクトルのｘ軸成分の横座標を表し、
ｙ _ｙは、前記自己中心座標系（１５０）における前記３次元の姿勢ベクトルのｙ軸成分を変換した後の、前記ディスプレイ画面（１７０）の前記座標系における前記２次元の姿勢ベクトルのｙ軸成分の縦座標を表す
ことを特徴とする方法。
請求項１に記載の方法であって、前記回転に基づく情報は、ピッチ角およびヨー角に対する方向情報であることを特徴とする方法。
請求項１または請求項２に記載の方法であって、前記抽出された顔の特徴部は、一般的な３次元の顔モデルと照合させて使用されることを特徴とする方法。
請求項１または請求項２に記載の方法であって、前記画像は、少なくとも１つの画像撮影装置（１６０）を用いて前記ビデオフレームから繰り返し撮影されることを特徴とする方法。
インタラクティブシステム（１００）であって、
ビデオフレームから画像を繰り返し撮影するように構成された少なくとも１つの画像撮影装置（１６０）と、
コンピュータ装置（１２０）とを備え、
前記コンピュータ装置（１２０）は、
ディスプレイ画面（１７０）と、
プロセッサとを備え、
前記プロセッサは、
前記撮影された画像内で人間の顔を検出し、
前記検出された人間の顔を、先に検出された人間の顔と照合し、
照合元の前記検出された人間の顔から顔の特徴部（１４０）を抽出し、
前記抽出された顔の特徴部に基づき、照合元の前記検出された人間の顔の３次元の頭部姿勢を推定し、前記３次元の頭部姿勢は、前記人間の顔を起点に方向づけられた３次元の姿勢ベクトルにより自己中心座標系（１５０）において表され、前記３次元の姿勢ベクトルは、前記自己中心座標系（１５０）のｘ軸、ｙ軸およびｚ軸の周りをそれぞれの回転行列を用いて自由に回転し、前記自己中心座標系（１５０）の前記ｘ軸、ｙ軸およびｚ軸上を並進ベクトルを用いて自由に並進し、
前記コンピュータ装置（１２０）のディスプレイ画面（１７０）上のユーザインタフェースを前記推定された３次元の頭部姿勢に応じて制御するように構成され、
前記コンピュータ装置（１２０）の前記ディスプレイ画面（１７０）上の前記ユーザインタフェースを制御することは、前記コンピュータ装置（１２０）の前記ディスプレイ画面（１７０）上のカーソル（１１０）を前記推定された３次元の頭部姿勢にマッピングすることを含み、
前記コンピュータ装置（１２０）の前記ディスプレイ画面（１７０）上の前記カーソル（１１０）を前記推定された３次元の頭部姿勢にマッピングすることは、前記自己中心座標系（１５０）における前記３次元の姿勢ベクトルを前記ディスプレイ画面（１７０）の２次元平面の座標系における２次元の姿勢ベクトルに変換することを含み、
前記自己中心座標系（１５０）における前記３次元の姿勢ベクトルを前記ディスプレイ画面（１７０）の前記２次元平面の座標系における２次元の姿勢ベクトルに変換することは、前記自己中心座標系（１５０）の前記３次元の頭部姿勢ベクトルの軸を前記ディスプレイ画面（１７０）の前記２次元平面に投影し、回転に基づく情報を利用する３次元から２次元へのマッピング関数を適用することを含み、
前記ディスプレイ画面（１７０）の前記座標系における前記２次元の姿勢ベクトルの座標（ｘ _{ｓｃｒｅｅｎ} ，ｙ _{ｓｃｒｅｅｎ} ）は、ピクセルで表され、下記式の前記３次元から２次元へのマッピング関数を適用した後で得られ、

式中、
Ｗは、前記ディスプレイ画面（１７０）の幅（ピクセル単位）を表し、
Ｈは、前記ディスプレイ画面（１７０）の高さ（ピクセル単位）を表し、
ｆ _ｘは、前記ディスプレイ画面（１７０）の前記座標系の前記ｘ軸上の置換因数を表し、
ｆ _ｙは、前記ディスプレイ画面（１７０）の前記座標系の前記ｙ軸上の置換因数を表し、
（ｘ _０，ｙ _０）は、前記自己中心座標系（１５０）の原点の座標を変換した後の、前記ディスプレイ画面（１７０）の前記座標系における原点の座標を表し、
（ｘ _ｚ，ｙ _ｚ）は、前記自己中心座標系（１５０）における前記３次元の姿勢ベクトルのｚ軸成分を変換した後の、前記ディスプレイ画面（１７０）の前記座標系における前記２次元の姿勢ベクトルのｚ軸成分の座標を表し、
ｘ _ｘは、前記自己中心座標系（１５０）における前記３次元の姿勢ベクトルのｘ軸成分を変換した後の、前記ディスプレイ画面（１７０）の前記座標系における前記２次元の姿勢ベクトルのｘ軸成分の横座標を表し、
ｙ _ｙは、前記自己中心座標系（１５０）における前記３次元の姿勢ベクトルのｙ軸成分を変換した後の、前記ディスプレイ画面（１７０）の前記座標系における前記２次元の姿勢ベクトルのｙ軸成分の縦座標を表す
ことを特徴とするシステム。
請求項５に記載のインタラクティブシステム（１００）であって、前記コンピュータ装置（１２０）は、照合元の前記検出された人間の顔を記憶するように構成された記憶部を備えることを特徴とするシステム。
請求項５または請求項６に記載のインタラクティブシステム（１００）であって、前記少なくとも１つの画像撮影装置（１６０）は、前記コンピュータ装置（１２０）内に実装されることを特徴とするシステム。
請求項５または請求項６に記載のインタラクティブシステム（１００）であって、前記カーソル（１１０）が前記ディスプレイ画面（１７０）上で自由に移動するように構成されることを特徴とするシステム。
プログラム命令を含むコンピュータプログラムを記録する記録媒体であって、前記コンピュータプログラムがデバイス上で実行された場合、前記プログラム命令が前記デバイスに請求項１または請求項２に記載の方法を行うように構成されることを特徴とするコンピュータプログラムを記録する記録媒体。