JP4874450B2 - オプション選択に基づくジェスチャー方法及び装置 - Google Patents

Description

発明の背景
本発明は、ユーザが一組の選択可能なオプションから特定のオプションを選択できるようにするに当たり、
− 前記一組の選択可能なオプションを各オプション位置に表示するステップと、
− 前記ユーザが前記特定のオプションを物理的に指定することを許容される間に前記ユーザの像を撮影するステップと、
− 前記ユーザが前記特定のオプションを選択したか否かを前記像から確定するステップと、
− 前記ユーザが前記特定のオプションを選択した場合、前記ユーザが前記特定のオプションを選択したことを決定するステップとを具える方法に関するものである。
また、本発明は、ユーザが一組の選択可能なオプションから特定のオプションを選択できるようにする装置であって、
− 前記一組の選択可能なオプションを各オプション位置に表示する表示手段と、
− 前記ユーザの像を撮影する撮像手段と、
− 前記ユーザが前記特定のオプションを選択したか否かを前記像から確定する確定手段と、
− 前記ユーザが前記特定のオプションを選択した場合、前記ユーザが前記特定のオプションを選択したことを決定する決定手段とを具える装置に関するものである。
そのような方法及び装置は、米国特許出願明細書第５，５２８，２６３号に記載されている。既知の装置は、ボタンと称される１個以上の選択可能なオプションを有するビデオイメージを投影スクリーン上に投影する投影機を有する。装置は、スクリーン上に投影された像のイメージを記録するカメラを具える。さらに、装置を配置して、カメラに記録された像と投影機に供給された元の像とを比較する。投影された像に並んで立つユーザは、投影スクリーンと異なる光反射を発生させるオブジェクトを特定の選択可能なオプションにカバーすることによって装置に関係する。オブジェクトを、ユーザの手又はペンや定規のような専用の指示装置とすることができる。カメラ像と元の像とを比較する際、特定のオプションのカバーを検知し、そのオプションに対応する動作を装置によって実行する。これを、表示を形成する一連の像における次のビデオイメージの投影とすることができる。既知の装置において、カメラは、単一フレーム中に投影ビデオイメージ及びユーザを記録する必要がある。これは、投影スクリーンの付近に留まる必要があるユーザの移動を制限する。さらに、ユーザは、投影されたイメージにおいて特定のオプションをカバーして、このオプションの選択を表示する必要がある。これは、ユーザがそのオプションに近接して存在することも要求する。さらに、ユーザは、スクリーン上のこのオプション又は他のオプションを身体の一部で故意にカバーしないように注意するとともに、スクリーン上の１個以上のオプションに対するカメラの視野を遮断することを回避する必要がある。そのような既知の装置との関連に対して、ユーザが移動できる領域及び選択可能なオプションの位置が制限される。
発明の要約
本発明の目的は、ユーザによる指定を決定する向上した方法を有する既に説明したような方法を提供することである。この目的を、前記像に基づいて、前記ユーザの身体の形状の位置を３次元空間で決定するステップと前記ユーザが前記特定のオプションを選択したか否かを前記像から確定するステップを更に具え、前記身体の形状の位置及び前記特定のオプションの位置に基づいて実行する本発明による方法によって達成する。ユーザが特定のオプションを指定したか否かの決定がユーザの像のみに基づくものであるので、選択可能なオプションがその像中にあることを要求することなく、ユーザは、既知の方法に比べて大きな移動の自由度が与えられる。３次元におけるユーザの身体の形状の位置を確立することによって、このオプションが像に存在しない間にユーザが特定のオプションを指定したか否かを決定することができる。３次元空間におけるオプションの指定は、ある入力装置を操作する必要がなく、ユーザの選択として非常に自然であるとともに直感的な方法である。これは、コンピュータの操作になれないユーザに対して特に有利である。さらに、専用の入力装置及び他の移動装置が存在しないことによって、この方法を公共の場所で適用するのに非常に魅力的である。その理由は、これら装置が取り去られたり損傷されたりするおそれがないからである。
このようなユーザの像に基づいてアプリケーションを制御することは既知である。国際特許出願公開明細書第９６／３０８５６号は、１個以上の身体の部分を動かすことによってユーザが見るスクリーン上のグラフィック、例えば、動画キャラクターをユーザが制御する装置を記載している。この装置には、ユーザの像を撮影するカメラが搭載されている。その像のユーザのシルエットが分析され、像の１個以上の特定の領域の身体の部分の位置及び動作が、グラフィックを制御する入力として用いられる。ユーザが仮定することができるポーズはシルエット中で簡単に識別することができ、表示されたオプションへの指定はない。装置は、ユーザの像をシルエットとしてのみ２次元で分析し、３次元におけるユーザの身体の位置の決定は行われない。この方法と本発明による方法との間の重大な差は次の通りである。
− 関係の形式が相違する。既知の方法では、特定のシルエットを生じるポーズによってアプリケーション中に対応するコマンド及び動作が生じ、これによって、ポーズと結果的に生じる動作との間に自然な一致がなく、それに対して、本発明は、選択すべきオプションに対する自然な指定が行われる。
− 既知の方法では、各身体の部分のシルエットが像の対応する領域にあると仮定するために身体のポーズ及び位置が制限され、それに対して、本発明は、ユーザが仮定することができる位置及びポーズが非常に自由である。
− 既知の方法では、ユーザのポーズの分析が像の２次元においてのみ行われるが、それに対して、本発明では、身体のポーズは、ユーザが関係する３次元空間で決定され、したがって、非常に直感的なインタフェースをユーザに与える。その理由は、それは人間の感覚に従うからである。
本発明による方法を、ユーザが装置と関係する種々のアプリケーションに用いることができる。それはコマンドを装置に入力するのに用いられるが、個別の入力装置を必要としない。例示すると、図書館、画廊、博物館のような公共の建物の情報検索装置及び遊歩商店街、小売店、デパートのような公共の買い物地域のショッピングシステムがある。他のアプリケーションは、ユーザが所望の食品アイテムを指定することができるファーストフードプロバイダーのような公共事業設備や、ホームシアター装置を有するインタラクションのような家庭の使用を含む。
本発明による方法の一例において、前記一組の選択可能なオブジェクトを、前記ユーザに対向するビデオスクリーン上に表示する。選択可能なオプションをスクリーン上に表示することによって、これらオプションをユーザに対して柔軟に表示する。この表示を、現在選択を行っているユーザに対して容易に適合させることができる。表示されたオプションの高さをスクリーンの前に立つユーザの高さに整合することができ、スクリーン上に表示されたオプションのサイズを、スクリーンからのユーザが立っている位置までの距離に適合させることができる。さらに、この方法を用いる装置を容易に維持することができる。その理由は、スクリーン上の一組の選択可能なオプションの変更が、更に容易になるとともに一組の選択可能なオプションのハードウェアセットアップを変更するよりも廉価であるからである。
本発明による方法の一例において、前記身体の形状を前記ユーザの腕の端部とする。ユーザが１本以上の指及び手によって指定することができることによって、非常に自然で直感的な指定が行われる。指定する腕の端部、すなわち、指又は腕を像から認識することができ、その位置を計算することができる。
本発明による方法の一例は、前記像に基づいて、前記ユーザの足の位置、前記像の像平面上への前記ユーザの腕の投影及び前記像の像平面上の前記ユーザの身体の長軸を決定するステップを更に具え、前記身体の形状の位置を決定するステップが、
− 前記特定のオプションの位置と前記足の位置との間の距離を決定するステップと、
− 前記ユーザの腕の投影と前記ユーザの身体の長軸の投影との間の第１の角度を決定するステップと、
− 前記ユーザの腕の長さの見積もり値及び決定された前記腕の投影の長さに基づいて、前記ユーザの腕と前記像の像平面との間の第２の角度を決定するステップとを具える。足の位置に基づいて身体と特定のオプションとの間の距離を決定するステップ及び指定する腕の二つの角度に基づいて身体に対する身体の指定する身体形状の位置を決定するステップは、３次元空間でこのように指定する身体の形状の位置を決定するのに信頼のおける方法であることが確認された。
本発明によるイメージ検索装置の一例は、前記ユーザの高さを決定する初期化ステップを具え、前記腕の長さの見積もり値を、前記ユーザの高さに基づく生物測定学データから得る。必要な腕の長さに対する見積もりを生物測定学データから得ることが適切であることが確認されている。そのような生物測定学データは、数年に亘って多数の相違する人の測定に起因するものであり、多数の場所、例えば図書館でアクセスすることができる。
本発明の他の目的は、ユーザによる指定を決定する向上した機構を有する既に説明したような装置を提供することである。この目的を、前記像に基づいて、前記ユーザの身体の形状の位置を３次元空間で決定する形状決定手段と前記確定手段を、前記身体の形状の位置及び前記特定のオプションの位置に基づいて前記ユーザが前記特定のオプションを指定したか否かを確定するように配置したことを特徴とする本発明による装置によって達成する。装置が、ユーザの像に基づいて、特に、指定する身体の形状の位置を決定することによって、ユーザが特定のアイテムを指定したか否かを決定するので、指定中のユーザの位置及びポーズに対する柔軟性が高くなる。さらに、装置との関連を非接触で行い、すなわち、押すべきボタン又は操作すべき指定装置がない。これによって、装置が強固になるとともに公共の場所における使用に適するようになる。その理由は、装置のパーツが取り去られたり損傷したりするおそれが少なくなるからである。
本発明による装置の一例は、前記表示手段が、前記一組の選択可能なオブジェクトを表示するように前記ユーザに対向するビデオスクリーンを具える。一組の選択可能なオプションを表示するビデオスクリーンによって装置の維持が容易になる。セットの内容すなわち出現の変更を、スクリーン上にイメージを発生させるソフトウェアを変更することによって行い、装置のハードウェア部の任意の変更を必要としない。
本発明の他の好適な実施の形態を以下説明する。
【図面の簡単な説明】
本発明及びそれに付随する利点を、実施の形態及び添付図面を参照して詳細に説明する。
図１は、本発明による装置を線形的に示す。
図２は、本発明による方法の主要ステップを有するフローチャートを示す。
図３は、カメラによって撮影された像の分析の中間結果を示す。
図４は、指定する手の位置を計算するステップを示す。
図５は、手の位置に基づく指定されたオプションの決定を示す。
図６は、本発明による装置の最重要構成要素を示す。
図面中、対応する形態に同一符号を付すものとする。
好適な実施の形態の説明
図１は、本発明による装置を線形的に示す。装置１００は、２×３ｍのビデオスクリーン１０２と、インタラクションエリア１０４とを有する。装置は、ビデオスクリーンの前方でインタラクションエリアに立つユーザ１０８の像を撮影するカメラ１０６を有する。装置は一組の選択可能なオプション１１０をビデオスクリーン上に表示し、ユーザはそれを指示することによってオプションを選択する。選択可能なオプション及び適用可能な場合の他のサポーティング情報の説明を有する追加のオブジェクト１１２を表示するように装置を配置する。撮影されたユーザのカメライメージ１１４は、装置の視覚識別部１１６で分析される。視覚識別部は、ユーザの現在の姿勢を決定し、３次元空間におけるユーザの指示する手の位置を計算する。装置のアプリケーション部１１８において、３次元データは、ビデオスクリーン上に表示された選択可能なオプションのうちの１個をユーザが指定したか否かを決定するのに用いられる。アプリケーション部は、視覚識別部から受信したユーザの手が指定する位置及びアプリケーション部がオプションの表示を発生させるために既知である選択可能なオプションの各々の位置に基づいた計算を行う。選択した特定のオプションに基づいて、アプリケーション部は、対応する動作を実行する。選択されるオプションがメニュー階層中の選択である場合、メニュー階層中の次のレベルを表す新たな一組の選択可能な表示動作を行う。選択されるオプションが特定の情報アイテムに対する要求を表す場合、この情報アイテムの検索及びそれに続くビデオスクリーン上への情報アイテムの表示動作を行う。
オプションの選択は２段階で行われる。第１段階において、ユーザは所望のオプションを指定し、第２段階では、ユーザは、これが所望のオプションであることを確認する。この２段階のアプローチは、不所望な選択を回避し、かつ、マウスに対して用いられる指定及びクリックに似ている。本発明による装置の実施の形態において、予め設定された期間中にユーザの所望のオプションの指定を維持することによって確認が行われる。この期間が経過すると、装置は、ユーザによる確認を認識し、対応する動作を実行する。確認の他の方法が考察され、現在のところそれは考察中である。第１の代案は、ユーザが指によって所望のオプションを丸で囲むことである。ユーザが丸を完成させると、確認が行われ、かつ、所望のオプションが選択される。第２の代案は、確認のために音声入力を用いることである。この場合、ユーザは、所望のオプションを指定する間「これ」と声を発する。この語句を発することによって確認が行われ、所望のオプションが選択される。
図２は、本発明による方法の主要ステップを有するフローチャートを示す。ステップ２０２において、選択可能なオプションをビデオスクリーン上に表示し、次いで、ステップ２０４において、インタラクションエリアでスクリーンの前に立つユーザから像を撮影する。装置のカメラは、インタラクションエリアのシーンを連続的に記録し、適切な瞬時に装置が分析用の単一像を取り出す。ステップ２０６において、この像が分析され、３次元空間におけるユーザの手の指定する位置を決定する。このステップ２０６を、後に図３及び４を用いて更に詳細に説明する。次いで、ステップ２０８は、像のユーザが特定のオプションを指定しているか否か検査する。指定していない場合、処理は新たな像を取り出すためにステップ２０４に戻り、処理を繰り返す。ステップ２０８においてユーザが特定のオプションを指定していることを決定した場合、そのオプションに対応する動作をステップ２１０で実行する。次いで、ステップ２１２において、新たな一組の選択可能なオプションを有する新たなビデオイメージをビデオスクリーン上に表示すべきか否か検査する。表示すべき場合、このビデオイメージを表示するためにプロセスはステップ２０２に戻り、その後、それに続くステップをこの新たなビデオイメージに対して実行する。図２のフローチャートは、本発明の主要ステップのみを示す。実際には、本発明は、更に詳細なプロセス及び制御ステップを具えるが、明瞭のためにこれらを省略する。
図３は、カメラによって撮影されたイメージの分析の中間結果を示す。カメラによって撮影された像を処理する第１ステップにおいて、ビデオスクリーンの前に立つユーザの身体の輪郭３０２を得る。この第１処理ステップは、本発明の主要要素ではなく、簡潔のために本明細書では更に詳細に説明しない。身体の輪郭を得る処理ステップは、１９９７年７月に刊行されたIEEE Transactions on Pattern Analysis and Machine Intelligence,Vol.19,No.7のDarrel T.,Wren C.,Azarbayejani A及びPentland Aによる“Pfinder:Real-time tracking of the human body”に記載されている。次のステップにおいて、身体の輪郭を包囲する区域ボックス３０４を決定する。区域ボックス３０４は、水平方向に同一サイズの３行及び垂直方向に同一サイズの３列にボックスを分割することによって９個のセルに分割する。３列に対して左から右にＡ，Ｂ及びＣを付し、３行に対して上から下に１，２及び３を付す。身体の輪郭をセルごとに分析して、ユーザの身体の種々の特徴を識別する。以下の測定は各セルに対して行われたものであり、（ｘ，ｙ）は、ｘが左から右に続くとともにｙが下から上に続く場合の像の位置を表す。

身体の輪郭に応じて、全ての測定を存在させる必要はない。図３において、得られた測定を正の符号で表し、セルごとに以下の参照番号を有する。
Ａ１：３０６ Ｂ１：３１２ Ｃ１：３１８
Ａ２：３０８ Ｂ２：(なし) Ｃ２：３２０
Ａ３：３１０ Ｂ３：３１４及び３１６ Ｃ３：３２２
種々の身体の形状は、上記測定に基づいて識別される。この識別は、身体の特徴ごとに擬似コードで以下のように与えられる。この場合、／／−符号は、擬似コードの関連のラインに対するコメントを表す。
右手：
Ａ１−測定が存在する場合／／右手は肩の位置の上
右手＝Ａ１−測定
そうでない場合／／右手は肩の下
Ａ２−測定が存在する場合
右手＝Ａ２−測定
そうでない場合／／この像では右手が見えない。
右手＝無効
左手：
Ｃ１−測定が存在する場合／／左手は肩の位置の上
左手＝Ｃ１−測定
そうでない場合／／左手は肩の下
Ｃ２−測定が存在する場合
右手＝Ｃ２−測定
そうでない場合／／この像では左手が見えない。
左手＝無効
頭：
Ｂ１−測定が存在する場合
頭＝Ｂ１−測定
そうでない場合／／この像では頭が見えない。
頭＝無効
右足：
Ａ３−測定が存在する場合／／足を広げている。
右足＝Ａ３−測定
そうでない場合／／足が揃っている。
Ｂ３−ＭＩＮ（ｘ）測定が存在する場合
右足＝Ｂ３−ＭＩＮ（ｘ）−測定
そうでない場合／／この像では右足が見えない。
右足＝無効
左足：
Ｃ３−測定が存在する場合／／足を広げている。
左足＝Ｃ３−測定
そうでない場合／／足が揃っている。
Ｂ３−ＭＡＮ（ｘ）測定が存在する場合
左足＝Ｂ３−ＭＡＮ（ｘ）−測定
そうでない場合／／この像では右足が見えない。
左足＝無効
さらに、複数の身体の形状を識別する。中央の形状を区域ボックス３０４の中央で識別し、基底の形状を区域ボックスの底部中央で識別する。左右の肩の形状を、頭の形状からそれぞれｘ及びｙオフセットして識別する。
区画ボックスを９個のセルに分割することによって、ユーザが頭の上に手を上げているポーズを分析することができる。単一の区域ボックス３０４を用いる場合、ボックス中で見つけられる最高位置が頭であると仮定される。これによって、ユーザが指定する方向を明らかに誤って決定するおそれがある。
図４は、指定する手の位置を計算するステップを示す。これらステップは、図３に関連して既に説明したようにして計算した形状に基づくものである。ステップ４０２は、カメラをユーザの前に直接配置されないときに実行する必要があるカメラ校正のステップである。カメラ校正ステップの出力を、カメラ位置及び方向を装置の座標フレームに関連させる回転及び移動を表す４×４行列とする。この座標フレームは、床の上のＸ軸及びＺ軸並びに上方向のＹ軸を有する。カメラによって撮影された像は、カメラ校正行列を用いてＸＹ面に変換される。変換された像は、ユーザの前に直接配置されたカメラによって撮影された像となる。その結果、カメラがどの角度にあっても、カメラ校正行列を用いて、足の実際の３次元位置及びそれに関連するＸＹ平面の頭及び手の位置を決定する。以下続くステップは、カメラ位置を考慮して像をＸＹ面に変換した後の像で行われる。
ステップ４０４において、ユーザの腕の全長ｌを得る。これは、腕の実際の長さであり、像に出現する長さではない。先ず、ユーザの高さを、像の身体の輪郭の頭の形状及び基底形状から計算する。ユーザが床の上に立っていると仮定すると、カメラとユーザ位置との間の距離は、像の基底形状の位置によって決定される。この距離が与えられると、身体の輪郭の高さをユーザの実際の高さにスケール化される。次いで、装置は、生物測定学のテーブルからユーザの腕の実際の長さに対する見積もりを得る。これら生物測定学データは、多数の人物の統計的な測定データから決定され、その人物の高さが与えられると、それを用いて人物の種々の身体寸法を見積もる。ステップ４０６において、ユーザの身体の長軸に対してベクトルｂが決定される。ベクトルｂは、基底形状から頭の形状への方向を有し、１単位の長さが与えられる。ステップ４０８において、ユーザの指定する腕に対してベクトルａを規定する。肩の位置を、頭の形状の位置からの所定のオフセットとして生物測定学データのテーブルから得る。ベクトルは、肩の位置から腕の位置への方向を有し、１単位の長さが与えられる。ステップ４１０において、像に出現するユーザの腕の長さ

を測定する。像の腕は、実際の３次元の腕の像への投影となり、投影の短縮のために実際の全長ｌよりも短い。
最後に、ステップ４１２及び４１４において、腕の位置を、既に得られたデータに基づいて計算する。ステップ４１２において、ベクトルａとベクトルｂとの間の角度Θ₁を、以下の式を用いて計算する。
Θ₁＝ｃｏｓ^-1(ａ.ｂ) (１)
ａ及びｂが単位長さのベクトルであるので、この簡単な関係は正しい。ベクトルａ及びｂは両方とも像平面に存在し、したがって角度Θ₁となる。ステップ４１４において、ユーザの指定する腕と像平面との間の角度Θ₂を、以下の式を用いて計算する。

既に説明したように、長さｌを腕の実際の長さとし、長さ

を像に見える腕の長さとする。腕が像の像平面から離れて指定するに従って、長さ

が短くなる。これは、式（２）に従う。
肩の位置、角度Θ₁，角度Θ₂及び腕の長さｌを与えると、腕の位置は装置の座標フレームの３次元で十分に決定される。次いで、この腕の位置を用いて、ユーザがどのオプションを指定したかを決定する。ステップ４０４−４１４の測定及び計算を、像をＸＹ面に変換した後のユーザの像で実行する。この変換を、カメラがユーザの前に直接配置されていないことを考慮して行う。カメラがユーザの前に直接配置されている場合、変換を行う必要がない。
図５は、手の位置に基づく指定位置の決定を示す。この図５は、選択可能なオプション１１０を有するビデオスクリーン１０２及びインタラクションエリア１０４に立つユーザ１０８を側面で示す。指定する腕の位置を、カメラ１０６によって撮影された像に基づいて計算する。本実施の形態において、ユーザがどのオプションを選択するかを決定するために、捕捉ライン５０４をユーザの目及び手によって決定する。目の位置は、頭の形状の位置からの所定のオフセットとなり、生物測定学データのテーブルから得られる。ユーザの目及び手の既知の位置並びにビデオスクリーンの位置が与えられると、ライン５０４とビデオスクリーン１０２との間の捕捉点５０６が計算される。足の位置によって表されたユーザとビデオスクリーン上に表示された選択可能なオブジェクトとの間の距離を、上記ステップに従って計算する。捕捉点５０６と選択可能なオプションの既知の位置との比較から、ユーザがどのオプションを指定しているかを所望に応じて容易に決定することができる。捕捉ライン５０４を規定する代案が存在し、例えば、ユーザの肩及び腕を通じたラインをユーザの指定する腕に一致させる。
図６は、本発明による装置の最重要構成要素を示す。装置６００を、既知のアーキテクチャによって実現し、汎用コンピュータ上で実現することができる。装置は、ワーキングメモリ６０４にロードされたアプリケーションプログラムのインストラクションを実行する。装置は、周辺装置と通信するインタフェース６０６も有する。装置の種々の構成要素間でコマンド及びデータの交換を行うバス６０８がある。装置の周辺は、実行可能なプログラムを有する記憶媒体６１０を有する。記憶媒体６１０を磁気ヘッドディスクとするが、種々の個別の装置、場合によっては相違する種類の装置として実現することもできる。本発明の用途は装置のタイプに限定されるものではなく、使用できる記憶装置は、光ディスク、磁気ディスク、テープ、チップカード、固体装置又はこれら装置の組合わせを有する。装置は、選択可能なオプションを有するビデオイメージをビデオ表示スクリーンに送信する出力部６１４も有する。さらに、装置は、カメラによって撮影されたビデオを受信する入力部６１６を有する。
種々のタスクを実行するために、複数のソフトウェアユニットをワーキングメモリ６０４にロードし、そのうちの一つは次の通りである。
− ユーザの高さを決定する初期化ユニット６１８。
− 像に基づいて３次元空間におけるユーザの身体の形状の位置を決定する形状決定ユニット６２０。
− 像に基づいてユーザの足の位置、像の像平面の上へのユーザの腕の投影及び像の面上のユーザの身体の長軸を決定する別の決定ユニット６２２。
− ユーザが特定のオプションを指定したか否かを像から確定する確定ユニット６２４。
− ユーザが特定のオプションを選択したことを決定する決定ユニット６２６。この場合、確定手段は、ユーザが特定のオプションを指定したことを確定する。
さらに、ワーキングメモリ６０４は、装置によって分析される像の身体の輪郭及び種々の身体の形状の位置のような入力データ、出力データ及び中間結果を一時的に格納するメモリスペース６２８を有する。
本発明を、比較的大きなビデオスクリーン上に表示されたオプションをユーザが腕によって指定する装置で説明した。本発明をそれより小さいサイズの装置にも適用できること理解すべきである。一例として、選択可能なオプションが比較的小さいコンピュータモニタ上に表示されるとともにユーザが所望のオプションを指で指定することができるパーソナルコンピュータが挙げられる。この場合、既に説明したようにして、ユーザが指定するオプションを、指がさした３次元位置を計算するとともにこれをモニタに表示された選択可能なオプションの各位置に関連させることによって決定する。

Claims (16)

1. ユーザが一組の選択可能なオプションから特定のオプションを選択できるようにする方法において、
   前記一組の選択可能なオプションを各オプション位置に表示するステップと、
   前記ユーザが前記特定のオプションを物理的に指定することを許容される間に前記ユーザの単一の像を撮影するステップであって、前記単一の像は、前記選択可能なオプションの像を含まないステップと；
   前記ユーザが前記特定のオプションを選択したか否かを前記単一の像から確定するステップと、
   前記ユーザが前記特定のオプションを選択した場合、前記ユーザが前記特定のオプションを選択したことを決定するステップと、
   前記単一の像に基づいて、３次元空間内の前記ユーザの身体の特徴的部分の位置を決定するステップとを具え、
   前記ユーザが前記特定のオプションを選択したか否かを前記単一の像から確定するステップを、前記身体の特徴的部分の位置及び前記特定のオプションの位置に基づいて実行し、
   前記方法が、前記単一の像に基づいて、前記ユーザの足の位置、前記単一の像の像平面上における前記ユーザの腕の投影、及び前記単一の像の像平面上における前記ユーザの身体の長軸を決定するステップを更に具え、前記身体の特徴的部分の位置を決定するステップが、
   前記特定のオプションの位置と前記足の位置との間の距離を決定するステップと、
   前記ユーザの腕の投影と前記ユーザの身体の長軸の投影との間の第１の角度を決定するステップと、
   生物測定学に基づく前記ユーザの腕の長さの見積もり値及び前記決定した腕の投影の長さに基づいて、前記ユーザの腕と前記単一の像の像平面との間の第２の角度を決定するステップとを具えることを特徴とする方法。
2. 前記一組の選択可能なオプションを、前記ユーザに対向するビデオスクリーン上に表示することを特徴とする請求項１記載の方法。
3. 前記身体の特徴的部分を前記ユーザの腕の端部とすることを特徴とする請求項１記載の方法。
4. 前記ユーザの高さを決定する初期化ステップを具え、前記腕の長さの見積もり値を、前記ユーザの高さに基づいて、生物測定学データから得ることを特徴とする請求項１記載の方法。
5. 前記ユーザの腕の投影と前記ユーザの身体の長軸の投影との間の前記第１の角度は、前記ユーザの直接前にある位置から捕捉した、前記ユーザの腕の投影と前記ユーザの身体の長軸の投影との間の角度であることを特徴とする請求項１記載の方法。
6. 前記ユーザの直接前にある位置から捕捉した前記ユーザの身体の長軸の投影を、記憶している生物測定学データを利用して決定することを特徴とする請求項５記載の方法。
7. ユーザが一組の選択可能なオプションから特定のオプションを選択できるようにする装置であって、
   前記一組の選択可能なオプションを各オプション位置に表示する表示手段と、
   前記ユーザの単一の像を撮影する単一の撮像手段であって、前記単一の像は、前記選択可能なオプションの像を含まない撮像手段と、
   前記ユーザが前記特定のオプションを選択したか否かを前記単一の像から確定する確定手段と、
   前記ユーザが前記特定のオプションを選択したことを前記確定手段が確定した場合、前記ユーザが前記特定のオプションを選択したことを決定する決定手段と、
   前記単一の像に基づいて、３次元空間内の前記ユーザの身体の特徴的部分の位置を決定する特徴的部分決定手段とを具え、
   前記確定手段を、前記身体の特徴的部分の位置及び前記特定のオプションの位置に基づいて前記ユーザが前記特定のオプションを指定したか否かを確定するように構成し、
   前記装置が、前記単一の像に基づいて、前記ユーザの足の位置、前記単一の像の像平面上における前記ユーザの腕の投影、及び前記単一の像の像平面上における前記ユーザの身体の長軸を決定する更なる決定手段を更に具え、前記特徴的部分決定手段を、
   前記特定のオプションの位置と前記足の位置との間の距離を決定し、
   前記ユーザの腕の投影と前記ユーザの身体の長軸の投影との間の第１の角度を決定し、
   生物測定学に基づく前記ユーザの腕の長さの見積もり値及び前記決定した腕の投影の長さに基づいて、前記ユーザの腕と前記単一の像の像平面との間の第２の角度を決定するように構成したことを特徴とする装置。
8. 前記表示手段が、前記ユーザに対向して前記一組の選択可能なオブジェクトを表示するビデオスクリーンを具えることを特徴とする請求項７記載の装置。
9. 前記身体の特徴的部分を前記ユーザの腕の端部としたことを特徴とする請求項７記載の装置。
10. 前記ユーザの高さを決定する初期化手段を具え、前記特徴的部分決定手段を、前記腕の長さの見積もり値を、前記ユーザの高さに基づいて、生物測定学データから得るように構成したことを特徴とする請求項７記載の装置。
11. 前記特徴的部分決定手段が、前記ユーザの腕の投影と前記ユーザの身体の長軸の投影との間の前記第１の角度を、前記ユーザの直接前にある位置から捕捉した、前記ユーザの腕の投影及び前記ユーザの身体の長軸の投影を利用して決定するように構成されていることを特徴とする請求項７記載の装置。
12. 前記ユーザの直接前にある位置から捕捉した前記ユーザの身体の長軸の投影を、記憶している生物測定学データを利用して決定することを特徴とする請求項１１記載の装置。
13. ユーザが一組の選択可能なオプションから特定のオプションを選択できるようにするプログラムを記憶するコンピュータ可読媒体であって、
    前記プログラムは、コンピュータに
    前記一組の選択可能なオプションを各オプション位置に表示する手順と、
    前記特定のオプションを選択中の前記ユーザの単一の像を受信する手順であって、前記単一の像は、前記選択可能なオプションの像を含まない手順と、
    前記ユーザが前記特定のオプションを選択したか否かを、３次元空間内の前記ユーザの身体の特徴的部分の位置、及び前記特定のオプションのオプション位置に基づいて、前記単一の像から決定する手順と
    を実行させるためのプログラムであり、
    前記ユーザが前記特定のオプションを選択したか否かを決定する手順は、コンピュータに
    前記特定のオプションのオプション位置と前記ユーザの足の位置との間の距離を決定する手順と、
    前記単一の像の像平面上における前記ユーザの腕の投影と、前記単一の像の像平面上における前記ユーザの身体の長軸の投影との間の第１の角度を決定する手順と、
    生物測定学に基づく前記ユーザの腕の長さの見積もり値及び決定される前記腕の投影の長さに基づいて、前記ユーザの腕と前記単一の像の像平面との間の第２の角度を決定する手順と
    を実行させることを含む、コンピュータ可読媒体。
14. 前記身体の特徴的部分が前記ユーザの腕の端部であることを特徴とする請求項１３記載のコンピュータ可読媒体。
15. 前記ユーザの腕の投影と前記ユーザの身体の長軸の投影との間の前記第１の角度は、前記ユーザの直接前にある位置から捕捉した、前記ユーザの腕の投影と前記ユーザの身体の長軸の投影との間の角度であることを特徴とする請求項１３記載のコンピュータ可読媒体。
16. 前記ユーザの直接前にある位置から捕捉した前記ユーザの身体の長軸の投影を、記憶している生物測定学データを利用して決定することを特徴とする請求項１５記載のコンピュータ可読媒体。

Images