WO2015118756A1

WO2015118756A1 - 情報処理装置、情報処理方法、およびプログラム

Info

Publication number: WO2015118756A1
Application number: PCT/JP2014/081561
Authority: WO
Inventors: 石綿　克利; 聡嗣鈴木; 岡本　直也
Original assignee: ソニー株式会社
Priority date: 2014-02-10
Filing date: 2014-11-28
Publication date: 2015-08-13
Also published as: EP3106968B1; EP3106968A4; EP3106968A1; JP6447521B2; US20170003752A1; US10088910B2; JPWO2015118756A1

Abstract

表示画面からオブジェクトまでの距離に相当する距離が表される距離画像からポイントクラウドを生成するポイントクラウド生成部と、生成されたポイントクラウドに対して主成分分析を行い、分析結果に基づいて位置指定に関するオブジェクトに対応するベクトルを検出し、表示画面において指定された指定位置を決定する位置決定部と、を備える、情報処理装置が提供される。

Description

情報処理装置、情報処理方法、およびプログラム

　本開示は、情報処理装置、情報処理方法、およびプログラムに関する。

　近年、例えば、操作者のジェスチャに基づく機器の操作に係る技術が開発されている。操作者のジェスチャに基づく機器の操作に係る技術としては、例えば下記の特許文献１に記載の技術が挙げられる。

特開２０１３－２０５９８３号公報

　例えば特許文献１に記載の技術では、学習された人体の三次元モデルデータに基づいて、操作者の手のジェスチャが認識される。よって、例えば特許文献１に記載の技術を用いることによって、操作者のジェスチャによる、表示画面において位置を指定する操作（以下、「ポインティング操作」と示す場合がある。）を実現することができる可能性はある。

　しかしながら、学習された人体の三次元モデルデータによりジェスチャの認識が行われる場合には、例えば機械学習の精度などに起因して、操作者が意図するポインティング操作を安定して実現することができるとは限らない。

　本開示では、距離画像に基づいて表示画面における指定位置を決定することが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提案する。

　本開示によれば、表示画面からオブジェクトまでの距離に相当する距離が表される距離画像からポイントクラウドを生成するポイントクラウド生成部と、生成されたポイントクラウドに対して主成分分析を行い、分析結果に基づいて位置指定に関するオブジェクトに対応するベクトルを検出し、上記表示画面において指定された指定位置を決定する位置決定部と、を備える、情報処理装置が提供される。

　また、本開示によれば、表示画面からオブジェクトまでの距離に相当する距離が表される距離画像からポイントクラウドを生成するステップと、生成されたポイントクラウドに対して主成分分析を行い、分析結果に基づいて位置指定に関するオブジェクトに対応するベクトルを検出し、上記表示画面において指定された指定位置を決定するステップと、を有する、情報処理装置により実行される情報処理方法が提供される。

　また、本開示によれば、表示画面からオブジェクトまでの距離に相当する距離が表される距離画像からポイントクラウドを生成するステップ、生成されたポイントクラウドに対して主成分分析を行い、分析結果に基づいて位置指定に関するオブジェクトに対応するベクトルを検出し、上記表示画面において指定された指定位置を決定するステップ、をコンピュータに実行させるためのプログラムが提供される。

　本開示によれば、距離画像に基づいて表示画面における指定位置を決定することができる。

　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握されうる他の効果が奏されてもよい。

本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。本実施形態に係る情報処理方法に係る処理の一例を示す流れ図である。本実施形態に係るステレオ画像の一例を示す説明図である。本実施形態に係る距離画像の一例を示す説明図である。本実施形態に係るポイントクラウドの一例を示す説明図である。本実施形態に係る情報処理方法に係る処理を説明するための説明図である。本実施形態に係る情報処理方法に係る処理を説明するための説明図である。本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。本実施形態に係るオフセット量決定処理の一例を示す流れ図である。本実施形態に係るキャリブレーション用のオブジェクトが表示された表示画面の一例を示す説明図である。本実施形態に係る情報処理装置の構成の一例を示すブロック図である。本実施形態に係る情報処理装置のハードウェア構成の一例を示す説明図である。

　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

　また、以下では、下記に示す順序で説明を行う。
　　１．本実施形態に係る情報処理方法
　　２．本実施形態に係る情報処理装置
　　３．本実施形態に係るプログラム

（本実施形態に係る情報処理方法）
　本実施形態に係る情報処理装置の構成について説明する前に、まず、本実施形態に係る情報処理方法について説明する。以下では、本実施形態に係る情報処理方法に係る処理を、本実施形態に係る情報処理装置が行う場合を例に挙げて、本実施形態に係る情報処理方法について説明する。

［１］本実施形態に係る情報処理方法に係る処理の概要
　本実施形態に係る情報処理装置は、例えば、表示画面からオブジェクトまでの距離に相当する距離が表される距離画像に基づいて、表示画面に対して指定された表示画面の位置（以下、「指定位置」と示す。）を決定する。

　本実施形態に係る距離画像は、例えば、表示画面側から表示画面に対向する方向が撮像されることにより生成されたステレオ画像に基づいて、生成される。本実施形態に係るステレオ画像とは、例えば、撮像位置を平行にずらして撮像デバイスにより撮像された２つの撮像画像である。本実施形態に係るステレオ画像を構成する２つの撮像画像は、例えば、立体視を実現する場合における、ユーザの右目に対応する右目画像と、ユーザの左目に対応する左目画像とに対応する。本実施形態に係る距離画像は、例えば、三角測量の原理を用いる方法など、ステレオ画像から距離画像を生成することが可能な任意の技術を用いて生成される。ステレオ画像の生成に係る撮像デバイスは、例えば、表示画面側から表示画面に対向する方向が撮像されるように配置される。

　なお、本実施形態に係る距離画像は、ステレオ画像に基づき生成される距離画像に限られない。例えば、本実施形態に係る距離画像は、例えば、ＴｏＦ（Time　of　Flight）方式や、ストラクチャードライト方式などの距離画像を生成することが可能な任意の方式により生成された画像であってもよい。ＴｏＦ方式などで距離画像を生成する距離画像センサは、例えば、表示画面側から表示画面に対向する方向に対応する距離画像を生成するように配置される。

　本実施形態に係る距離画像の生成に係る処理は、例えば、本実施形態に係る情報処理装置が備える距離画像センサや、本実施形態に係る情報処理装置と有線または無線により通信可能な外部の距離画像センサにより生成される。本実施形態に係る距離画像センサとしては、例えば、パッシブ型の深度センサ（ステレオ画像の視差により距離画像を生成する深度センサ）や、アクティブ型の深度センサ（例えば、ＴｏＦ方式の深度センサや、ストラクチャードライト方式の深度センサ）が挙げられる。

　なお、本実施形態に係る距離画像の生成に係る処理は、距離画像センサにより行われることに限られない。例えば、ステレオ画像から距離画像が生成される場合には、本実施形態に係る情報処理装置は、本実施形態に係る情報処理装置が備える撮像デバイスや、本実施形態に係る情報処理装置と有線または無線により通信可能な外部の撮像デバイスにおいて生成されたステレオ画像から、距離画像を生成することも可能である。

　ここで、本実施形態に係る距離画像が示すオブジェクトまでの距離は、厳密には、距離画像センサからオブジェクトまでの距離、または、ステレオ画像の生成に係る撮像デバイスからオブジェクトまでの距離に該当する。しかしながら、上記のように、例えば、距離画像センサは、表示画面側から表示画面に対向する方向に対応する距離画像を生成するように配置され、また、ステレオ画像の生成に係る撮像デバイスは、表示画面側から表示画面に対向する方向が撮像されるように配置される。よって、本実施形態に係る距離画像が示すオブジェクトまでの距離は、表示画面からオブジェクトまでの距離に相当する距離と捉えることが可能である。

　以下では、本実施形態に係る距離画像が、距離画像センサにおいてステレオ画像に基づき生成される場合を主に例に挙げる。

　より具体的には、本実施形態に係る情報処理装置は、例えば、下記の（１）ポイントクラウド生成処理、および（２）指定位置決定処理を行うことによって、距離画像に基づいて表示画面における指定位置を決定する。

（１）ポイントクラウド生成処理
　本実施形態に係る情報処理装置は、距離画像からポイントクラウドを生成する。

　ここで、ポイントクラウドとは、２次元の画像で表現される距離画像上の観測点を、３次元空間上に置き換えたものであり、３次元座標で表現される点の集合（以下、「点群」と示す。）である。ポイントクラウドは、オブジェクトの表面を点群で表現したものである。本実施形態に係る情報処理装置は、例えば、距離画像に含まれるオブジェクトの表面を、水平方向の座標ｘ、垂直方向の座標ｙ、深度値ｚで表される点（ｘ，ｙ，ｚ）を含む点群で表現することにより、距離画像からポイントクラウドを生成する。ここで、ポイントクラウドの各点の３次元座標は、例えば、表示画面上の所定の位置（例えば、表示画面の中心位置や、表示画面の左端上の位置など）など、設定された位置を原点として表される。

　具体例を挙げると、距離画像センサの水平画素数を“ｗ”、距離画像センサの垂直画素数を“ｈ”、距離画像上の画素（ｕ，ｖ）における深度値を“ｄ”、距離画像センサの水平画角を“ｈａｏｖ”、距離画像センサの垂直画角を“ｖａｏｖ”とすると、本実施形態に係る情報処理装置は、例えば、下記の数式１～数式３により、ポイントクラウドを生成する。ここで、距離画像が、距離画像センサからの絶対距離を示し、距離画像センサの画角が既知である場合には、本実施形態に係る情報処理装置は、下記の数式１～数式３によって、実スケールのポイントクラウドを生成することができる。

　なお、本実施形態に係るポイントクラウド生成処理は、上記数式１～上記数式３に示す演算によりポイントクラウドを生成することに限られない。本実施形態に係る情報処理装置は、例えば、ポイントクラウドを生成することが可能な任意の技術を利用して、ポイントクラウドを生成してもよい。

（２）指定位置決定処理
　本実施形態に係る情報処理装置は、上記（１）の処理（ポイントクラウド生成処理）により生成されたポイントクラウドに対して主成分分析（Principal　Component　Analysis）を行い、主成分分析の分析結果に基づいて位置指定に関するオブジェクトに対応するベクトルを検出する。ここで、本実施形態に係る位置指定に関するオブジェクトとしては、例えば、操作者の腕部分や、指示棒などの操作者が位置の指定に用いることが可能な任意のデバイスなどが挙げられる。

　そして、本実施形態に係る情報処理装置は、検出された位置指定に関するオブジェクトに対応するベクトルに基づいて、指定位置を決定する。本実施形態に係る情報処理装置は、例えば、主成分分析が行われた点群における所定の位置を起点とする、位置指定に関するオブジェクトに対応するベクトルである第１主成分のベクトルと、表示画面との交点を求める。そして、本実施形態に係る情報処理装置は、表示画面における求められた交点に対応する位置を、指定位置として決定する。上記主成分分析が行われた点群における所定の位置としては、例えば、点群の重心位置などが挙げられる。

　本実施形態に係る情報処理装置は、主成分分析の結果得られる第１主成分のベクトルを、位置指定に関するオブジェクトに対応するベクトルとする。第１主成分は、ポイントクラウドを構成する点群において最も分散が大きい方向に対応する直線で表される。

　ここで、本実施形態に係る情報処理装置は、例えば、第１主成分の主成分スコアと、主成分分析の結果得られる第２主成分の主成分スコアとの比較結果に基づいて、第１主成分のベクトルと表示画面との交点を選択的に求める。

　第１主成分の主成分スコアは、“ポイントクラウドを構成する点群において最も分散が大きい方向に対応する直線に対して、ポイントクラウドを構成する各点の座標を代入して得られる値の和”である。また、第２主成分は、ポイントクラウドを構成する点群において２番目に分散が大きい方向に対応する直線で表される。第２主成分の主成分スコアは、“ポイントクラウドを構成する点群において２番目に分散が大きい方向に対応する直線に対して、ポイントクラウドを構成する各点の座標を代入して得られる値の和”である。つまり、主成分スコアが最も大きなものが第１主成分であり、主成分が２番目に大きなものが第２主成分である。

　本実施形態に係る情報処理装置は、例えば、第１主成分の主成分スコアと第２主成分の主成分スコアとの比が、設定されている閾値以上である場合（または、当該比が、当該閾値よりも大きい場合。以下、同様とする。）に、第１主成分のベクトルと表示画面との交点を求める。また、本実施形態に係る情報処理装置は、例えば、第１主成分の主成分スコアと第２主成分の主成分スコアとの比が、設定されている閾値よりも小さい場合（または、当該比が、当該閾値以下である場合。以下、同様とする。）には、第１主成分のベクトルと表示画面との交点を求めない。

　本実施形態に係る閾値は、例えば、操作者が指さし動作などの位置の指定に係る所定の動作を行った場合に、第１主成分のベクトルと表示画面との交点が求められ、操作者が当該所定の動作を行わない場合に第１主成分のベクトルと表示画面との交点が求められないような値が、設定される（例えば、実験により最適値が設定される。）。なお、本実施形態に係る閾値は、ユーザ操作などによる調整が可能であってもよい。

　例えば上記のように、第１主成分の主成分スコアと第２主成分の主成分スコアとの比較結果に基づいて、第１主成分のベクトルと表示画面との交点を選択的に求めることによって、例えば、操作者が指さし動作などの位置の指定に係る所定の動作を行っていないにも関わらず指定位置が決定されることを、防止することが可能となる。

　なお、本実施形態に係る指定位置決定処理の具体例については、後述する。

　本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る処理として、例えば、上記（１）の処理（ポイントクラウド生成処理）、および上記（２）の処理（指定位置決定処理）を行う。本実施形態に係る情報処理装置は、上記（２）の処理（指定位置決定処理）において、上記（１）の処理（ポイントクラウド生成処理）において距離画像に基づき生成されたポイントクラウドに対して主成分分析を行った分析結果に基づき、第１主成分のベクトルと表示画面との交点に対応する位置を、指定位置として決定する。

　したがって、本実施形態に係る情報処理装置は、距離画像に基づいて表示画面における指定位置を決定することができる。

　また、距離画像に基づいて表示画面における指定位置を決定することが可能であるので、本実施形態に係る情報処理装置は、表示画面における指定位置を、安定して決定することができる。

　また、ポイントクラウドに対して主成分分析を行った分析結果に基づき検出される位置指定に関するオブジェクトに対応するベクトルによって、表示画面における指定位置が決定されるので、本実施形態に係る情報処理装置は、表示画面における指定位置を精度よく決定することができる。

　さらに、ポイントクラウドに対して主成分分析を行った分析結果に基づき指定位置が決定されるので、例えば、操作者の腕（位置指定に関するオブジェクトの一例）のみが距離画像に含まれる場合であっても、本実施形態に係る情報処理装置は、表示画面における指定位置を決定することができる。

［２］本実施形態に係る情報処理方法に係る処理の具体例
　図１は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、表示デバイス１０と、距離画像センサ（または撮像デバイス）１２との位置関係の一例を示している。また、図１では、操作者Ｕが、指さしによりポインティング操作を行っている例を示している。本実施形態に係る情報処理装置は、距離画像センサ（または撮像デバイス）１２から取得された距離画像（または、ステレオ画像）を処理して、表示デバイス１０の表示画面における指定位置Ｐを決定する。なお、図１では、本実施形態に係る情報処理装置を図示していないが、例えば、表示デバイス１０が本実施形態に係る情報処理装置の役目を果たしてもよく、また、距離画像センサ（または撮像デバイス）１２が本実施形態に係る情報処理装置の役目を果たしてもよい。

　図１に示すように、距離画像センサ（または撮像デバイス）１２は、表示デバイス１０の下部に設置され、表示デバイス１０の表示画面側に対向する操作者を観測する。

　なお、表示デバイス１０と、距離画像センサ（または撮像デバイス）１２との位置関係は、図１に示す例に限られない。

　図２は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、表示デバイス１０と、距離画像センサ（または撮像デバイス）１２との位置関係の他の例を示している。

　距離画像センサ（または撮像デバイス）１２は、例えば図２に示すように、表示デバイス１０の表示画面の下方、上方、右方、左方のいずれかに配置することが可能である。

　ここで、距離画像センサ（または撮像デバイス）１２が、表示画面の下方に配置される場合には、例えば図１、図２に示すように、距離画像センサ（または撮像デバイス）１２を床に配置すればよいので、配置が容易であるという利点をさらに有する。また、距離画像センサ（または撮像デバイス）１２が、表示画面の上方に配置される場合には、例えば、重力により操作者が着ている服が本実施形態に係る情報処理方法に係る処理に与える影響小さく、また、腕から指先まで比較的平らであることなどから、位置指定に関するオブジェクトに対応するベクトルをより安定して検出することができるという利点をさらに有する。

　また、距離画像センサ（または撮像デバイス）１２は、例えば、“距離画像が示すオブジェクトまでの距離が、表示画面からオブジェクトまでの距離に相当する距離とみなせる距離”内であって、距離画像センサ（または撮像デバイス）１２を配置することが可能な、表示デバイス１０との間の距離がより長い距離となる位置に、配置される。上記のように距離画像センサ（または撮像デバイス）１２が配置されることによって、本実施形態に係る情報処理装置により決定される表示画面における指定位置の精度を、より向上させることが可能となる。

　また、設置される距離画像センサ（または撮像デバイス）１２の数、および、表示デバイス１０と距離画像センサ（または撮像デバイス）１２との位置関係は、図１に示す例に限られない。

　図３、図４は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、設置される距離画像センサ（または撮像デバイス）１２の数、および、表示デバイス１０と距離画像センサ（または撮像デバイス）１２との位置関係の他の例を示している。図４は、図３における、センサ数が２で“表示画面下方、表示画面右方”に、距離画像センサ（または撮像デバイス）１２Ａと、距離画像センサ（または撮像デバイス）１２Ｂとが配置されている例を示している。

　ここで、図４に示す、設置される距離画像センサ（または撮像デバイス）１２の数、および、表示デバイス１０と距離画像センサ（または撮像デバイス）１２との位置関係の各ケースは、例えば下記の（ａ）～（ｆ）に示すような利点をさらに有する。

（ａ）センサ数が２で“表示画面上方、表示画面左方”に距離画像センサ（または撮像デバイス）１２が配置される場合
　“１番目に決定される指定位置の精度をより向上させることができるという利点”と、“操作者が１人である場合における、左手を用いたポインティング操作に対応する指定位置の精度をより向上させることができるという利点”がある。

（ｂ）センサ数が２で“表示画面上方、表示画面右方”に距離画像センサ（または撮像デバイス）１２が配置される場合
　“１番目に決定される指定位置の精度をより向上させることができるという利点”と、“操作者が１人である場合における、右手を用いたポインティング操作に対応する指定位置の精度をより向上させることができるという利点”がある。

（ｃ）センサ数が２で“表示画面下方、表示画面左方”に距離画像センサ（または撮像デバイス）１２が配置される場合
　“１番目に決定される指定位置の精度をより向上させることができるという利点”と、“操作者が１人である場合における、左手を用いたポインティング操作に対応する指定位置の精度をより向上させることができるという利点”がある。

（ｄ）センサ数が２で“表示画面下方、表示画面右方”に距離画像センサ（または撮像デバイス）１２が配置される場合
　“１番目に決定される指定位置の精度をより向上させることができるという利点”と、“操作者が１人である場合における、右手を用いたポインティング操作に対応する指定位置の精度をより向上させることができるという利点”がある。

（ｅ）センサ数が３で“表示画面上方、表示画面左方、表示画面右方”に距離画像センサ（または撮像デバイス）１２が配置される場合
　“操作者が１人である場合における、右手および左手それぞれを用いたポインティング操作に対応する指定位置の精度をより向上させることができるという利点”がある。

（ｆ）センサ数が３で“表示画面下方、表示画面左方、表示画面右方”に距離画像センサ（または撮像デバイス）１２が配置される場合
　“操作者が１人である場合における、右手および左手それぞれを用いたポインティング操作に対応する指定位置の精度をより向上させることができるという利点”がある。

　例えば図３、図４に示すように、複数の距離画像センサ（または撮像デバイス）に基づく、複数の距離画像を処理して指定位置を決定する場合、本実施形態に係る情報処理装置は、上記（１）の処理（ポイントクラウド生成処理）において、各距離画像からポイントクラウドをそれぞれ生成する。

　また、複数の距離画像センサ（または撮像デバイス）に基づく、複数の距離画像を処理して指定位置を決定する場合、本実施形態に係る情報処理装置は、上記（２）の処理（指定位置決定処理）では、例えば、生成された複数のポイントクラウドをマージする。そして、本実施形態に係る情報処理装置は、マージされた１つのポイントクラウドを処理することによって、複数の距離画像に対応する指定位置を決定する。

　なお、複数の距離画像センサ（または撮像デバイス）に基づく、複数の距離画像を処理して指定位置を決定する場合における、上記（２）の処理（指定位置決定処理）は、複数のポイントクラウドをマージして行う処理に限られない。

　例えば、本実施形態に係る情報処理装置は、生成された複数のポイントクラウドそれぞれに対して上記（２）の処理（指定位置決定処理）を行って、複数のポイントクラウドそれぞれに対応する指定位置を決定する。そして、本実施形態に係る情報処理装置は、複数のポイントクラウドそれぞれに対応する、表示画面における指定位置のｘ座標（水平方向成分に対応する座標）と、当該表示画面における指定位置のｙ座標（垂直方向成分に対応する座標）とをマージすることによって、複数の距離画像に対応する指定位置を決定する。本実施形態に係る情報処理装置は、例えば、複数のポイントクラウドそれぞれに対応する、表示画面における指定位置のｘ座標の平均値と、当該表示画面における指定位置のｙ座標の平均値とを算出することによって、当該表示画面における指定位置のｘ座標と当該表示画面における指定位置のｙ座標とを、マージする。

　例えば図３、図４に示すように、複数の距離画像センサ（または撮像デバイス）に基づく、複数の距離画像を処理する場合には、本実施形態に係る情報処理装置は、例えば上記のような処理を行うことによって、指定位置を決定する。

　以下、図１に示す状況を例に挙げて、本実施形態に係る情報処理方法に係る処理について、より具体的に説明する。

　図５は、本実施形態に係る情報処理方法に係る処理の一例を示す流れ図である。ここで、図５では、ステップＳ１０４の処理が、上記（１）の処理（ポイントクラウド生成処理）に該当し、ステップＳ１０６～Ｓ１１２の処理が、上記（２）の処理（指定位置決定処理）の一例に該当する。

　また、図５では、本実施形態に係る情報処理装置が、撮像デバイスにより撮像されたステレオ画像に基づき距離画像を生成する場合における処理を示している。なお、本実施形態に係る情報処理装置が、距離画像センサから取得された距離画像を処理する場合には、本実施形態に係る情報処理装置は、図５に示すステップＳ１００の処理において距離画像を判定対象とし、図５に示すステップＳ１０２の処理を行わない。

　本実施形態に係る情報処理装置は、ステレオ画像が取得されたか否かを判定する（Ｓ１００）。ステップＳ１００においてステレオ画像が取得されたと判定されない場合には、本実施形態に係る情報処理装置は、処理を進めない。

　また、ステップＳ１００においてステレオ画像が取得されたと判定された場合には、本実施形態に係る情報処理装置は、ステレオ画像に基づいて距離画像を生成する（Ｓ１０２）。本実施形態に係る情報処理装置は、ステレオ画像における視差から距離画像を生成する。本実施形態に係る情報処理装置は、例えば、三角測量の原理を用いる方法など、ステレオ画像から距離画像を生成することが可能な任意の技術を用いて距離画像を生成する。

　図６は、本実施形態に係るステレオ画像の一例を示す説明図であり、ステレオ画像を構成する一の画像（右目画像に該当する画像）の一例を示している。また、図７は、本実施形態に係る距離画像の一例を示す説明図である。

　本実施形態に係る情報処理装置は、例えば図７に示すような距離画像からポイントクラウドを生成する（Ｓ１０４）。本実施形態に係る情報処理装置は、例えば、距離画像上の各画素に対して、上記数式１～上記数式３に示す演算を行うことによって、ポイントクラウドを生成する。

　ここで、距離画像が距離画像センサからの絶対距離を示す、すなわち、距離画像から実スケールの深度情報が得られ、また、距離画像センサの画角が既知である場合には、本実施形態に係る情報処理装置は、上記数式１～上記数式３により実スケールのポイントクラウドを生成することができる。また、上記の場合において実スケールのポイントクラウドが生成されることによって、実スケールの３次元空間を再現することが可能となる。

　図８は、本実施形態に係るポイントクラウドの一例を示す説明図であり、図７に示す距離画像から生成されたポイントクラウドの一例を示している。

　本実施形態に係る情報処理装置は、ポイントクラウドから表示画面に近い点群を抽出する（Ｓ１０６）。

　本実施形態に係る情報処理装置は、例えば、ポイントクラウドを構成する点群のうちから、深度値ｚが最も小さい点を、表示画面に最も近い点（以下、「突端」と示す場合がある。）として検出する。そして、本実施形態に係る情報処理装置は、表示画面に最も近い点を中心とした、設定された所定の半径の球内に含まれる点群を抽出する。上記所定の半径は、予め設定された固定値であってもよいし、ユーザなどが調整可能な可変値であってもよい。なお、本実施形態に係る情報処理装置は、表示画面に最も近い点を内部に含む、設定された所定の形状の空間に含まれる点群を、抽出することも可能である。

　本実施形態に係る情報処理装置は、抽出された点群に対して、主成分分析を行う（Ｓ１０８）。

　ここで、本実施形態に係る情報処理装置は、例えば、抽出された点群をセグメンテーションして、複数の点群に分割する。本実施形態に係る情報処理装置は、例えば、３Ｄ点群処理ライブラリ（Point　Cloud　Library。以下「ＰＣＬ」と示す。）の“Ｅｕｃｌｉｄｅａｎ　Ｃｌｕｓｔｅｒ”を利用して、抽出された点群を複数の点群に分割する。そして、本実施形態に係る情報処理装置は、分割された点群のうちの、含まれる点の数が最も多い点群に対して、主成分分析を行う。

　例えば、抽出された点群をセグメンテーションした上で、抽出された点群に含まれる一部の点群に対して主成分分析を行うことによって、位置指定に関するオブジェクト以外のオブジェクトに対応する点群による、主成分分析の結果への影響を排除することが可能となる。よって、抽出された点群をセグメンテーションした上で、抽出された点群に含まれる一部の点群に対して主成分分析を行うことによって、本実施形態に係る情報処理装置は、決定される表示画面における指定位置の精度をより向上させることができる。

　ステップＳ１０８において主成分分析が行われると、本実施形態に係る情報処理装置は、第１主成分の主成分スコアと第２主成分の主成分スコアとの比（例えば、“第１主成分の主成分スコア／第２主成分の主成分スコア”）が、所定の閾値以上であるか否かを判定する（Ｓ１１０）。第１主成分の主成分スコアと第２主成分の主成分スコアとの比が、“第１主成分の主成分スコア／第２主成分の主成分スコア”で表される場合、本実施形態に係る所定の閾値としては、例えば、“５”などの設定された値が挙げられる。本実施形態に係る所定の閾値は、予め設定された固定値であってもよいし、ユーザなどが調整可能な可変値であってもよい。

　ここで、ステップＳ１１０において、第１主成分の主成分スコアと第２主成分の主成分スコアとの比が所定の閾値以上であると判定された場合とは、主成分分析を行った点群に対応するオブジェクトが、棒状のオブジェクト（位置指定に関するオブジェクトの一例）と判定されることに該当する。

　図９は、本実施形態に係る情報処理方法に係る処理を説明するための説明図であり、図８に示すポイントクラウドにおける第１主成分と第２主成分との一例を示している。図９に示すＡは、第１主成分に対応する直線の一例を示し、図９に示すＢは、第２主成分に対応する直線の一例を示している。

　ステップＳ１１０において、第１主成分の主成分スコアと第２主成分の主成分スコアとの比が所定の閾値以上であると判定されない場合には、本実施形態に係る情報処理装置は、指定位置を決定せずに処理を終了する。

　また、ステップＳ１１０において、第１主成分の主成分スコアと第２主成分の主成分スコアとの比が所定の閾値以上であると判定された場合には、本実施形態に係る情報処理装置は、第１主成分のベクトルと表示画面との交点を求め、表示画面における求められた交点に対応する位置を、指定位置として決定する（Ｓ１１２）。本実施形態に係る情報処理装置は、例えば、点群の重心位置などの、点群における所定の位置を起点とする第１主成分のベクトルと表示画面との交点を、指定位置として決定する。上記点群における所定の位置は、予め設定されていてもよいし、ユーザなどが調整可能であってもよい。

　図１０は、本実施形態に係る情報処理方法に係る処理を説明するための説明図である。図１０に示すように、第１主成分のベクトルＶと表示デバイス１０の表示画面との交点が、指定位置Ｐとして決定される。

　本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る処理として、例えば図５に示す処理を行うことによって、距離画像に基づいて表示画面における指定位置を決定する。

　なお、本実施形態に係る情報処理方法に係る処理は、図５に示す処理に限られない。

　例えば、本実施形態に係る情報処理装置は、図５のステップＳ１０４において生成されたポイントクラウドに対して、ステップＳ１０６～Ｓ１１２の処理を繰り返してもよい。

　より具体的には、本実施形態に係る情報処理装置は、例えば図５のステップＳ１０８において主成分分析を行った場合には、図５のステップＳ１０４において生成されたポイントクラウドに対して主成分分析を行った回数が、６回などの設定された所定の回数に関する条件を満たすかを判定する。上記所定の回数に関する条件としては、主成分分析を行った回数が所定の回数以上であることや、主成分分析を行った回数が所定の回数より大きいことなどが挙げられる。上記所定の回数に関する条件は、予め設定された固定の条件であってもよいし、ユーザなどにより適宜変更可能な条件であってもよい。

　上記所定の回数に関する条件を満たすと判定されない場合には、本実施形態に係る情報処理装置は、主成分分析が行われた点群を処理対象から外して、再度、図５のステップＳ１０６以降の処理を行う。

　また、上記所定の回数に関する条件を満たすと判定された場合には、本実施形態に係る情報処理装置は、ステップＳ１０６～Ｓ１１２の処理を繰り返さずに、処理を終了する。

　例えば上記のように、設定された所定の回数に関する条件の判定結果に応じて、図１０に示すステップＳ１０６～Ｓ１１２の処理を繰り返すことによって、本実施形態に係る情報処理装置は、例えば、操作者の両手による指差しや、複数の操作者による指差しなどに対応する、複数の指定位置を決定することができる。

　次に、上記（１）の処理（ポイントクラウド生成処理）、および上記（２）の処理（指定位置決定処理）に該当する、図５に示すステップＳ１０４～Ｓ１１２の処理における処理について、より具体的に説明する。

　図１１は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。図１１のＡ～図１１のＩは、本実施形態に係る情報処理方法に係る処理を時系列に示している。また、図１１のＡ～図１１のＣは、図５に示すステップＳ１０４に示す処理、すなわち、上記（１）の処理（ポイントクラウド生成処理）に該当する。また、図１１のＤ～図１１のＩは、図５に示すステップＳ１１２の処理、すなわち、上記（２）の処理（指定位置決定処理）に該当する。

　図１１のＡは、距離画像に基づき生成されたポイントクラウドの一例を示している。以下、図１１では、本実施形態に係る情報処理装置が、図１１のＡに示す点群に対して処理を行うものとする。

　本実施形態に係る情報処理装置は、図１１のＡに示す点群に対して、フィルタ処理を行う。本実施形態に係る情報処理装置は、例えば、ＰＣＬの“Ｐａｓｓ　Ｔｈｒｏｕｇｈ　Ｆｉｌｔｅｒ”（オクルージョンの深度０などの処理において無効な点群を削除するフィルタ）や、ＰＣＬの“Ｖｏｘｅｌ　Ｇｒｉｄ　Ｆｉｌｔｅｒ”（１５［ｍｍ］空間において代表点におきかえるダウンサンプリングのためのフィルタ）、“Ｏｕｔｌｉｅｒ　Ｒｅｍｏｖａｌ　Ｆｉｌｔｅｒ”（空間上に散っている外れ点（ゴミ）を削除するフィルタ）を用いる。なお、本実施形態に係る情報処理装置がフィルタ処理に用いるフィルタが、上記に示す例に限られないことは、言うまでもない。

　図１１に示すＢは、図１１のＡに示す点群に対してフィルタ処理が行われた結果の一例を示している。フィルタ処理が行われることによって、計算量の削減と、位置指定に関するオブジェクトの誤認識の防止との効果を奏することができる。

　本実施形態に係る情報処理装置は、図１１のＢに示すフィルタ処理後の点群に対して回転行列（移動行列）を乗算し、点群を移動させる。本実施形態に係る情報処理装置は、例えば、表示画面の中心位置などの表示画面における所定の位置から観測された場合に対応するように、点群を移動させる。例えば、距離画像センサ１２が、図２に示す表示画面上方に設置されている場合には、本実施形態に係る情報処理装置は、Ｐｉｔｃｈ方向の回転と、垂直方向の移動とを行う。図１１に示すＣは、図１１のＢに示すフィルタ処理後の点群を移動させる場合の概念図を示している。

　図１１のＣに示すような点群の移動を行うことによって、本実施形態に係る情報処理装置は、位置指定に関するオブジェクトに対応するベクトルの検出に係る処理をより簡易な処理とすることができる。

　本実施形態に係る情報処理装置は、図５に示すステップＳ１０４において、例えば図１１のＡ～図１１のＣを参照して示した処理を行う。

　本実施形態に係る情報処理装置は、図１１のＤに示すように、点群を構成する全ての点の中から、深度値ｚが最も小さい点を、突端として検出する。図１１のＤに示す処理は、図５に示すステップＳ１０６に該当する。

　本実施形態に係る情報処理装置は、図１１のＥに示すように、例えば、図１１のＤに示す処理において検出された点（突端）を中心に、半径３００［ｍｍ］（所定の半径の一例）の球内に含まれる点を抽出する。図１１のＥでは、複数の点からなる点群が抽出された例を示している。

　本実施形態に係る情報処理装置は、図１１のＦに示すように、図１１のＥの処理により抽出された点群をセグメンテーションして、複数の点群に分割する。本実施形態に係る情報処理装置は、例えば、ＰＣＬの“Ｅｕｃｌｉｄｅａｎ　Ｃｌｕｓｔｅｒ”を利用して、抽出された点群を複数の点群に分割する。

　図１１のＦに示すように、セグメンテーションにより抽出された点群が複数の点群に分割されることによって、位置指定に関するオブジェクトと、他のオブジェクトとを分けることが可能となる。

　本実施形態に係る情報処理装置は、図１１のＦにおいて分割された点群のうちの、含まれる点の数が最も多い点群が、位置指定に関するオブジェクトに対応する点群に含まれる点と隣接する点を含む点群であるか否かを判定する。ここで、上記の判定に係る処理は、図１１のＦにおいて分割された点群のうちの、含まれる点の数が最も多い点群が、位置指定に関するオブジェクトに対応する点群と繋がっているか否かを判定する処理に相当する。図１１のＧは、含まれる点の数が最も多い点群が、位置指定に関するオブジェクトに対応する点群に含まれる点と隣接する点を含む点群である場合の概念図を示している。

　本実施形態に係る情報処理装置は、例えば、位置指定に関するオブジェクトに対応する点群に含まれる各点との距離が、設定された閾値以下の点（または、当該閾値より小さい点）が、上記含まれる点の数が最も多い点群に含まれる点である場合に、上記含まれる点の数が最も多い点群を、上記隣接する点を含む点群であると判定する。なお、図１１のＧに係る処理における判定方法は、上記に示す方法に限られず、本実施形態に係る情報処理装置は、例えば、含まれる点の数が最も多い点群が、位置指定に関するオブジェクトに対応する点群と繋がっているか否かを判定することが可能な、任意の処理を行うことも可能である。

　図１１のＧに係る処理において、図１１のＦにおいて分割された点群のうちの、含まれる点の数が最も多い点群が、位置指定に関するオブジェクトに対応する点群に含まれる点と隣接する点を含む点群であると判定された場合には、本実施形態に係る情報処理装置は、当該含まれる点の数が最も多い点群に対して主成分分析を行う。そして、本実施形態に係る情報処理装置は、位置指定に関するオブジェクトに対応するベクトルに該当する、第１主成分のベクトルと、表示画面との交点の位置を、選択的に求める。図１１のＨは、図１１のＦにおける、分割された点群のうちの含まれる点の数が最も多い点群に対して、主成分分析が行われる場合の概念図を示している。

　また、図１１のＧに係る処理において、図１１のＦにおいて分割された点群のうちの、含まれる点の数が最も多い点群が、位置指定に関するオブジェクトに対応する点群に含まれる点と隣接する点を含む点群であると判定されない場合には、本実施形態に係る情報処理装置は、当該含まれる点の数が最も多い点群に対して、主成分分析を行わない。そして、本実施形態に係る情報処理装置は、含まれる点の数が最も多い点群を、処理対象から外す。図１１のＩは、図１１のＦにおける、分割された点群のうちの含まれる点の数が最も多い点群を、処理対象から外す場合の概念図を示している。

　本実施形態に係る情報処理装置は、例えば、分割された点群のうちの含まれる点の数が最も多い点群を構成する各点の深度値ｚを“９９９９９９９”などに書き換えることや、当該含まれる点の数が最も多い点群を削除することによって、当該含まれる点の数が最も多い点群を、処理対象から外す。

　本実施形態に係る情報処理装置は、図５に示すステップＳ１０８～Ｓ１１２において、例えば図１１のＤ～図１１のＩを参照して示した処理を行う。

　また、本実施形態に係る情報処理装置は、上述したように、図１１のＡに示す生成されたポイントクラウドに対して主成分分析を行った回数が、所定の回数に関する条件を満たすかを判定してもよい。本実施形態に係る情報処理装置は、上記所定の回数に関する条件を満たすと判定されない場合には、主成分分析が行われた点群を処理対象から外して、再度、図１１のＤからの処理（図５におけるステップＳ１０６からの処理に該当する。）を繰り返す。

［３］本実施形態に係る情報処理方法に係る他の処理
　本実施形態に係る情報処理装置は、上述したように、本実施形態に係る情報処理方法に係る処理として、例えば、上記（１）の処理（ポイントクラウド生成処理）、および上記（２）の処理（指定位置決定処理）を行うことによって、距離画像に基づいて表示画面における指定位置を決定する。

　なお、本実施形態に係る情報処理方法に係る処理は、上記（１）の処理（ポイントクラウド生成処理）、および上記（２）の処理（指定位置決定処理）に限られない。例えば、本実施形態に係る情報処理方法に係る処理により、精度よく指定位置を決定することが可能であるが、例えば、操作者となるユーザごとの感覚的要因などによって、決定された表示画面における位置と、操作者が期待する位置との間にずれが生じる可能性がある。

　そこで、本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る処理として、（３）指定位置を調整するためのオフセット量を決定する処理（以下、「オフセット量決定処理」と示す。）を行う。

（３－１）オフセット量決定処理の第１の例
　本実施形態に係る情報処理装置は、例えば、表示画面における所定の位置と、上記（２）の処理（指定位置決定処理）により決定された指定位置とに基づいて、オフセット量を決定する。

　より具体的には、本実施形態に係る情報処理装置は、例えば、操作者が表示画面における特定の位置（表示画面における特定の点の位置や、特定の領域内の位置）を指定した場合において決定された指定位置と、当該特定の位置に対応する位置との差を、ｘ座標（水平方向成分に対応する座標）、ｙ座標（垂直方向成分に対応する座標）それぞれについて求める。そして、本実施形態に係る情報処理装置は、求められたｘ座標の差を、表示画面における指定位置のｘ座標を調整するためのオフセット量として決定し、また、求められたｙ座標の差を、表示画面における指定位置のｙ座標を調整するためのオフセット量として決定する。

（３－２）オフセット量決定処理の第２の例
　なお、本実施形態に係るオフセット量は、上記に限られない。本実施形態に係るオフセット量は、主成分分析の第１主成分のベクトルのＹａｗ角度を調整する角度と、主成分分析の第１主成分のベクトルのＰｉｔｃｈ角度を調整する角度とであってもよい。

　本実施形態に係る情報処理装置は、例えば、“主成分分析の結果得られる第１主成分のベクトル（位置指定に関するオブジェクトに対応するベクトル）”と、“位置指定に関するオブジェクトに対応する所定の位置から表示画面における所定の位置方向のベクトル”との差に基づいて、上記Ｙａｗ角度を調整する角度と、上記Ｐｉｔｃｈ角度を調整する角度とを、オフセット量として決定する。ここで、位置指定に関するオブジェクトに対応する所定の位置としては、例えば、位置指定に関するオブジェクトに対応する点群の重心位置などが挙げられる。

　本実施形態に係る情報処理装置は、例えば、上記（３－１）に示す第１の例に係るオフセット量決定処理や、上記（３－２）に示す第２の例に係るオフセット量決定処理を行うことによって、オフセット量を決定する。

　オフセット量が決定されると、本実施形態に係る情報処理装置は、決定されたオフセット量を、例えば、本実施形態に係る情報処理装置が備える記憶部（後述する）や、本実施形態に係る情報処理装置に接続されている外部記録媒体などに記録させる。

　また、オフセット量が決定された場合、本実施形態に係る情報処理装置は、例えば、操作者を示すデータ（例えば、操作者を示すＩＤなど）と、決定されたオフセット量とを対応付けて記録媒体に記録させてもよい。本実施形態に係る情報処理装置は、“顔認識や音声認識などの生体認識”や、“ＩＤおよびパスワード”などにより認識された操作者の認識結果に基づいて、オフセット量とを対応付ける操作者を示すデータを特定する。ここで、操作者の認識に係る処理は、本実施形態に係る情報処理装置が行ってもよいし、本実施形態に係る情報処理装置の外部装置において行われてもよい。

　また、オフセット量が決定された場合、本実施形態に係る情報処理装置は、例えば、操作者の操作に係る手を示すデータ（例えば、右手または左手を示すＩＤなど）と、決定されたオフセット量とを対応付けて記録媒体に記録させてもよい。本実施形態に係る情報処理装置は、例えば、表示画面側から表示画面に対向する方向が撮像された撮像画像に対する画像処理などにより得られる手の認識結果に基づいて、オフセット量とを対応付ける操作者の操作に係る手を示すデータを特定する。ここで、操作者の操作に係る手の認識に係る処理は、本実施形態に係る情報処理装置が行ってもよいし、本実施形態に係る情報処理装置の外部装置において行われてもよい。

　さらに、オフセット量が決定された場合、本実施形態に係る情報処理装置は、例えば、操作者を示すデータ、操作者の操作に係る手を示すデータ、および決定されたオフセット量を対応付けて記録媒体に記録させてもよい。

　なお、本実施形態に係るオフセット量決定処理は、上記（３－１）に示す第１の例に係るオフセット量決定処理や、上記（３－２）に示す第２の例に係るオフセット量決定処理に限られない。

　例えば、本実施形態に係る情報処理装置は、操作者の認識結果に基づいて、操作者ごとに、選択的にオフセット量を決定してもよい。

　本実施形態に係る情報処理装置は、例えば、生体認識などによって認識された操作者に対してオフセット量が決定されていない場合に、オフセット量を決定する。また、本実施形態に係る情報処理装置は、例えば、生体認識などによって認識された操作者に対して、オフセット量が決定されている場合には、オフセット量を決定しない。なお、認識された操作者に対してオフセット量が決定されている場合であっても、本実施形態に係る情報処理装置は、例えば、オフセット量の再決定を行うためのユーザ操作などに基づいて、オフセット量を決定することも可能である。

　オフセット量決定処理が行われる場合には、本実施形態に係る情報処理装置は、上記（２）の処理（指定位置決定処理）において、決定されたオブセット量により指定位置を調整して、指定位置を決定する。

　ここで、オブセット量が操作者ごとに決定される場合には、本実施形態に係る情報処理装置は、例えば、操作者の認識結果に基づいて、認識された操作者に対応するオブセット量により指定位置を調整する。また、オブセット量が操作者の操作に係る手ごとに決定される場合には、本実施形態に係る情報処理装置は、例えば、操作者の操作に係る手の認識結果に基づいて、認識された操作者の操作に係る手に対応するオブセット量により指定位置を調整する。さらに、オブセット量が操作者および操作者の操作に係る手ごとに決定される場合には、本実施形態に係る情報処理装置は、例えば、操作者の認識結果および操作者の操作に係る手の認識結果に基づいて、認識された操作者と認識された操作者の操作に係る手とに対応するオブセット量により、指定位置を調整することも可能である。

　本実施形態に係るオブセット量が、ｘ座標を調整するためのオフセット量およびｙ座標を調整するためのオフセット量である場合、本実施形態に係る情報処理装置は、例えば、決定した指定位置のｘ座標の値、ｙ座標の値それぞれに、決定された対応するオブセット量を加算することによって、指定位置を調整する。また、本実施形態に係るオブセット量が、主成分分析の第１主成分のベクトルのＹａｗ角度を調整する角度、および主成分分析の第１主成分のベクトルのＰｉｔｃｈ角度を調整する角度である場合、本実施形態に係る情報処理装置は、例えば、位置指定に関するオブジェクトに対応するベクトルを、オフセット量によって調整した上で、指定位置を決定する。

　本実施形態に係る情報処理装置が、オフセット量決定処理を行い、上記（２）の処理（指定位置決定処理）において、決定されたオブセット量により指定位置を調整して指定位置を決定することによって、決定された表示画面における位置と、操作者が期待する位置との間のずれを補正することが可能となる。よって、本実施形態に係る情報処理装置が、オフセット量決定処理を行い、上記（２）の処理（指定位置決定処理）において、決定されたオブセット量により指定位置を調整して指定位置を決定することによって、操作者にとってより精度の高い指定位置を決定することができる。

　以下、本実施形態に係るオフセット量決定処理の具体例について、説明する。図１２は、本実施形態に係るオフセット量決定処理の一例を示す流れ図である。

　本実施形態に係る情報処理装置は、キャリブレーション用のオブジェクトを表示画面に表示させる（Ｓ２００）。本実施形態に係るキャリブレーション用のオブジェクトとは、操作者に、表示画面における特定の位置を指定させるためのオブジェクトである。本実施形態に係る特定の位置としては、例えば、キャリブレーション用のオブジェクトに含まれる設定された位置（例えば、キャリブレーション用のオブジェクトの中心位置など）が挙げられる。

　図１３は、本実施形態に係るキャリブレーション用のオブジェクトが表示された表示画面の一例を示す説明図である。図１３に示すＡが、本実施形態に係るキャリブレーション用のオブジェクトの一例であり、図１３では、本実施形態に係るキャリブレーション用のオブジェクトとして、ログインボタンを示している。図１３に示す例では、ログイン操作（操作開始のアクション）と、本実施形態に係るオフセット量決定処理とが同時に行われる。

　ここで、図１３に示すように、ログイン操作と、本実施形態に係るオフセット量決定処理とが同時に行われることによって、本実施形態に係る情報処理装置は、本実施形態に係るオフセット量決定処理のためだけの操作をユーザに行わせることなく、オフセット量を決定することができる。よって、図１３に示すように、ログイン操作と、本実施形態に係るオフセット量決定処理とが同時に行われることによって、ユーザの負荷を軽減しつつ、オフセット量を決定することが可能となる。

　なお、本実施形態に係るキャリブレーション用のオブジェクトがログインボタンに限られず、また、本実施形態に係るキャリブレーション用のオブジェクトが表示された表示画面とが、図１３に示す例に限られないことは、言うまでもない。

　本実施形態に係る情報処理装置は、表示画面上の指定位置を取得する（Ｓ２０２）。本実施形態に係る情報処理装置は、例えば、上記（２）の処理（指定位置決定処理）を行うことによって、指定位置を取得する。

　本実施形態に係る情報処理装置は、キャリブレーション用のオブジェクト近くの位置が指定されているか否かを判定する（Ｓ２０４）。本実施形態に係る情報処理装置は、例えば、キャリブレーション用のオブジェクトにおける設定された位置と、ステップＳ２０４において取得された指定位置との距離が、設定された閾値以下の場合（または、当該距離が当該閾値より小さい場合）に、キャリブレーション用のオブジェクト近くの位置が指定されていると判定する。

　ステップＳ２０４において、キャリブレーション用のオブジェクト近くの位置が指定されていると判定されない場合には、本実施形態に係る情報処理装置は、ステップＳ２０２からの処理を繰り返す。

　また、ステップＳ２０４において、キャリブレーション用のオブジェクト近くの位置が指定されていると判定された場合には、本実施形態に係る情報処理装置は、キャリブレーション用のオブジェクト近くの位置が指定されている状態が、設定された一定時間継続しているか否かを判定する（Ｓ２０６）。

　ステップＳ２０６において一定時間継続していると判定されない場合には、本実施形態に係る情報処理装置は、ステップＳ２０２からの処理を繰り返す。

　また、ステップＳ２０６において一定時間継続していると判定された場合には、本実施形態に係る情報処理装置は、オフセット量を決定する（Ｓ２０８）。本実施形態に係る情報処理装置は、例えば、上記（３－１）に示す第１の例に係るオフセット量決定処理や、上記（３－２）に示す第２の例に係るオフセット量決定処理を行い、オフセット量を求めることによって、オフセット量を決定する。

　本実施形態に係る情報処理装置は、本実施形態に係るオフセット量決定処理として、例えば図１２に示す処理を行うことによって、オフセット量を決定する。

　なお、本実施形態に係るオフセット量決定処理は、図１２に示す例に限られない。例えば、本実施形態に係る情報処理装置は、生体認識などによって認識された操作者の認識結果に基づいて、図１２のステップＳ２００～Ｓ２０８の処理（または、キャリブレーション用のオブジェクトが、図１３に示すようにログインボタンのように他の処理と共有するオブジェクトの場合には、Ｓ２０２～Ｓ２０８の処理）を、行わないことも可能である。

（本実施形態に係る情報処理装置）
　次に、上述した本実施形態に係る情報処理方法に係る処理を行うことが可能な、本実施形態に係る情報処理装置の構成の一例について説明する。

　図１４は、本実施形態に係る情報処理装置１００の構成の一例を示すブロック図である。情報処理装置１００は、例えば、通信部１０２と、制御部１０４とを備える。

　また、情報処理装置１００は、例えば、ＲＯＭ（Read　Only　Memory。図示せず）や、ＲＡＭ（Random　Access　Memory。図示せず）、記憶部（図示せず）、ユーザが操作可能な操作部（図示せず）、様々な画面を表示画面に表示する表示部（図示せず）などを備えていてもよい。情報処理装置１００は、例えば、データの伝送路としてのバスにより上記各構成要素間を接続する。

　ＲＯＭ（図示せず）は、制御部１０４が使用するプログラムや演算パラメータなどの制御用データを記憶する。ＲＡＭ（図示せず）は、制御部１０４により実行されるプログラムなどを一時的に記憶する。

　記憶部（図示せず）は、情報処理装置１００が備える記憶手段であり、例えば、オフセット量を示すデータなどの本実施形態に係る情報処理方法に係るデータや、アプリケーションなど様々なデータを記憶する。ここで、記憶部（図示せず）としては、例えば、ハードディスク（Hard　Disk）などの磁気記録媒体や、フラッシュメモリ（flash　memory）などの不揮発性メモリ（nonvolatile　memory）などが挙げられる。また、記憶部（図示せず）は、情報処理装置１００から着脱可能であってもよい。

　操作部（図示せず）としては、後述する操作入力デバイスが挙げられる。また、表示部（図示せず）としては、後述する表示デバイスが挙げられる。なお、本実施形態に係る操作対象となる表示画面は、表示部（図示せず）の表示画面であってもよいし、情報処理装置１００の外部の表示デバイスの表示画面であってもよい。

［情報処理装置１００のハードウェア構成例］
　図１５は、本実施形態に係る情報処理装置１００のハードウェア構成の一例を示す説明図である。情報処理装置１００は、例えば、ＭＰＵ１５０と、ＲＯＭ１５２と、ＲＡＭ１５４と、記録媒体１５６と、入出力インタフェース１５８と、操作入力デバイス１６０と、表示デバイス１６２と、通信インタフェース１６４とを備える。また、情報処理装置１００は、例えば、データの伝送路としてのバス１６６で各構成要素間を接続する。

　ＭＰＵ１５０は、例えば、ＭＰＵ（Micro　Processing　Unit）などの演算回路で構成されるプロセッサや、各種処理回路などで構成され、情報処理装置１００全体を制御する制御部１０４として機能する。また、ＭＰＵ１５０は、情報処理装置１００において、例えば、後述する距離画像生成部１１０、ポイントクラウド生成部１１２、位置決定部１１４、およびオフセット量決定部１１６の役目を果たす。

　ＲＯＭ１５２は、ＭＰＵ１５０が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。ＲＡＭ１５４は、例えば、ＭＰＵ１５０により実行されるプログラムなどを一時的に記憶する。

　記録媒体１５６は、記憶部（図示せず）として機能し、例えば、オフセット量を示すデータなどの本実施形態に係る情報処理方法に係るデータや、アプリケーションなど様々なデータを記憶する。ここで、記録媒体１５６としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリが挙げられる。また、記録媒体１５６は、情報処理装置１００から着脱可能であってもよい。

　入出力インタフェース１５８は、例えば、操作入力デバイス１６０や、表示デバイス１６２を接続する。操作入力デバイス１６０は、操作部（図示せず）として機能し、また、表示デバイス１６２は、表示部（図示せず）として機能する。ここで、入出力インタフェース１５８としては、例えば、ＵＳＢ（Universal　Serial　Bus）端子や、ＤＶＩ（Digital　Visual　Interface）端子、ＨＤＭＩ（High-Definition　Multimedia　Interface）（登録商標）端子、各種処理回路などが挙げられる。

　また、操作入力デバイス１６０は、例えば、情報処理装置１００上に備えられ、情報処理装置１００の内部で入出力インタフェース１５８と接続される。操作入力デバイス１６０としては、例えば、ボタンや、方向キー、ジョグダイヤルなどの回転型セレクター、あるいは、これらの組み合わせなどが挙げられる。

　また、表示デバイス１６２は、例えば、情報処理装置１００上に備えられ、情報処理装置１００の内部で入出力インタフェース１５８と接続される。表示デバイス１６２としては、例えば、液晶ディスプレイ（Liquid　Crystal　Display）や有機ＥＬディスプレイ（Organic　Electro-Luminescence　Display。または、ＯＬＥＤディスプレイ（Organic　Light　Emitting　Diode　Display）ともよばれる。）などが挙げられる。

　なお、入出力インタフェース１５８が、情報処理装置１００の外部装置としての外部操作入力デバイス（例えば、キーボードやマウスなど）や外部表示デバイスなどの、外部デバイスと接続することも可能であることは、言うまでもない。また、表示デバイス１６２は、例えばタッチスクリーンなど、表示とユーザ操作とが可能なデバイスであってもよい。

　通信インタフェース１６４は、情報処理装置１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、外部の距離画像センサや外部の撮像デバイス、外部の表示デバイスなどの外部デバイスや、外部装置と、無線または有線で通信を行うための通信部１０２として機能する。ここで、通信インタフェース１６４としては、例えば、通信アンテナおよびＲＦ（Radio　Frequency）回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）、ＩＥＥＥ８０２．１１ポートおよび送受信回路（無線通信）、あるいはＬＡＮ（Local　Area　Network）端子および送受信回路（有線通信）などが挙げられる。また、本実施形態に係るネットワークとしては、例えば、ＬＡＮやＷＡＮ（Wide　Area　Network）などの有線ネットワーク、無線ＬＡＮ（ＷＬＡＮ：Wireless　Local　Area　Network）や基地局を介した無線ＷＡＮ（ＷＷＡＮ：Wireless　Wide　Area　Network）などの無線ネットワーク、あるいは、ＴＣＰ／ＩＰ（Transmission　Control　Protocol/Internet　Protocol）などの通信プロトコルを用いたインターネットなどが挙げられる。

　情報処理装置１００は、例えば図１５に示す構成によって、本実施形態に係る情報処理方法に係る処理を行う。なお、本実施形態に係る情報処理装置１００のハードウェア構成は、図１５に示す構成に限られない。

　例えば、情報処理装置１００は、パッシブ型の深度センサや、アクティブ型の深度センサなどの距離画像センサをさらに備えていてもよい。距離画像センサをさらに備える場合、情報処理装置１００は、当該距離画像センサが生成した距離画像を処理することが可能である。

　また、情報処理装置１００は、例えば、ステレオ画像を生成する撮像デバイスをさらに備えていてもよい。本実施形態に係る撮像デバイスとしては、例えば、レンズ／撮像素子と信号処理回路とが挙げられる。レンズ／撮像素子は、例えば、光学系のレンズと、ＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）などの撮像素子を複数用いたイメージセンサとで構成される。信号処理回路は、例えば、ＡＧＣ（Automatic　Gain　Control）回路やＡＤＣ（Analog　to　Digital　Converter）を備え、撮像素子により生成されたアナログ信号をデジタル信号（画像データ）に変換する。また、信号処理回路は、例えば、Ｗｈｉｔｅ　Ｂａｌａｎｃｅ補正処理や、色調補正処理、ガンマ補正処理、ＹＣｂＣｒ変換処理、エッジ強調処理など各種信号処理を行ってもよい。

　また、情報処理装置１００は、例えば、接続されている外部通信デバイスを介して、外部装置と通信を行う場合には、通信インタフェース１６４を備えていなくてもよい。また、情報処理装置１００は、記録媒体１５６や、操作入力デバイス１６０、表示デバイス１６２を備えない構成をとることも可能である。

　再度図１４を参照して、情報処理装置１００の構成の一例について説明する。通信部１０２は、情報処理装置１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、外部の距離画像センサなどの外部デバイスや、外部装置と、無線または有線で通信を行う。また、通信部１０２は、例えば制御部１０４により通信が制御される。

　ここで、通信部１０２としては、例えば、通信アンテナおよびＲＦ回路や、ＬＡＮ端子および送受信回路などが挙げられるが、通信部１０２の構成は、上記に限られない。例えば、通信部１０２は、ＵＳＢ端子および送受信回路など通信を行うことが可能な任意の規格に対応する構成や、ネットワークを介して外部装置と通信可能な任意の構成をとることができる。

　制御部１０４は、例えばＭＰＵなどで構成され、情報処理装置１００全体を制御する役目を果たす。また、制御部１０４は、例えば、距離画像生成部１１０と、ポイントクラウド生成部１１２と、位置決定部１１４と、オフセット量決定部１１６とを備え、本実施形態に係る情報処理方法に係る処理を主導的に行う役目を果たす。また、制御部１０４は、例えば、通信部１０２における通信を制御する通信制御部（図示せず）をさらに備えていてもよい。

　距離画像生成部１１０は、表示画面側から表示画面に対向する方向が撮像されることにより生成されたステレオ画像から、距離画像を生成する。距離画像生成部１１０は、例えば、三角測量の原理を用いる方法など、ステレオ画像から距離画像を生成することが可能な任意の技術に係る処理を行うことによって、距離画像を生成する。

　距離画像生成部１１０は、例えば、表示画面側から表示画面に対向する方向が撮像されるように配置された外部の撮像デバイスから送信され、通信部１０２により受信されたステレオ画像を処理する。また、例えば、情報処理装置１００が、表示画面側から表示画面に対向する方向が撮像されるように配置された撮像デバイスを有する撮像部（図示せず）を備えている場合には、距離画像生成部１１０は、撮像部（図示せず）が撮像により生成したステレオ画像を処理する。

　ポイントクラウド生成部１１２は、上記（１）の処理（ポイントクラウド生成処理）を主導的に行う役目を果たし、距離画像からポイントクラウドを生成する。また、ポイントクラウド生成部１１２は、さらに、図１１のＢ、および図１１のＣに示す処理を行ってもよい。

　距離画像生成部１１０において距離画像が生成される場合、ポイントクラウド生成部１１２は、例えば、距離画像生成部１１０から伝達された距離画像からポイントクラウドを生成する。また、通信部１０２が、外部の距離画像センサから送信された距離画像を受信した場合には、ポイントクラウド生成部１１２は、例えば、通信部１０２により受信された距離画像からポイントクラウドを生成する。

　位置決定部１１４は、上記（２）の処理（指定位置決定処理）を主導的に行う役目を果たす。位置決定部１１４は、ポイントクラウド生成部１１２において生成されたポイントクラウドに対して主成分分析を行い、分析結果に基づいて位置指定に関するオブジェクトに対応するベクトルを検出し、表示画面において指定された指定位置を決定する。位置決定部１１４は、例えば、図５のステップＳ１０６～Ｓ１１２の処理や、図１１のＤ～図１１のＩに示す処理を行うことによって、指定位置を決定する。

　オフセット量決定部１１６は、上記（３）の処理（オフセット量決定処理）を主導的に行う役目を果たし、オフセット量を決定する。オフセット量決定部１１６は、例えば、上記（３－１）に示す第１の例に係るオフセット量決定処理や、上記（３－２）に示す第２の例に係るオフセット量決定処理などを行う。

　また、位置決定部１１４は、オフセット量決定部１１６においてオフセット量が決定された場合には、決定されたオブセット量により指定位置を調整した上で、指定位置を決定する。

　制御部１０４は、例えば、距離画像生成部１１０、ポイントクラウド生成部１１２、位置決定部１１４、およびオフセット量決定部１１６を備えることによって、本実施形態に係る情報処理方法に係る処理を主導的に行う。

　情報処理装置１００は、例えば図１４に示す構成によって、本実施形態に係る情報処理方法に係る処理（例えば、上記（１）の処理（ポイントクラウド生成処理）～上記（３）の処理（オフセット量決定処理））を行う。

　したがって、情報処理装置１００は、例えば図１４に示す構成によって、距離画像に基づいて表示画面における指定位置を決定することができる。

　また、例えば図１４に示す構成によって、情報処理装置１００は、例えば上述したような、本実施形態に係る情報処理方法に係る処理が行われることにより奏される効果を、奏することができる。

　なお、本実施形態に係る情報処理装置の構成は、図１４に示す構成に限られない。

　例えば、外部の距離画像センサにおいて生成された距離画像を処理する構成である場合には、本実施形態に係る情報処理装置は、図１４に示す距離画像生成部１１０を備えなくてもよい。また、例えば、本実施形態に係る情報処理装置は、図１４に示すオフセット量決定部１１６を備えない構成をとることも可能である。

　図１４に示す距離画像生成部１１０とオフセット量決定部１１６との一方または双方を備えない構成をとる場合であっても、本実施形態に係る情報処理装置は、上記（１）の処理（ポイントクラウド生成処理）、および上記（２）の処理（指定位置決定処理）を行うことができる。よって、上記の構成をとる場合であっても、本実施形態に係る情報処理装置は、距離画像に基づいて表示画面における指定位置を決定することができる。

　また、本実施形態に係る情報処理装置は、例えば、図１４に示す距離画像生成部１１０、ポイントクラウド生成部１１２、位置決定部１１４、およびオフセット量決定部１１６のうちの１または２以上を、制御部１０４とは個別に備える（例えば、別の処理回路で実現する）ことができる。

　また、本実施形態に係る情報処理装置は、本実施形態に係る距離画像や、表示画面側から表示画面に対向する方向が撮像されることにより生成されたステレオ画像を生成する検出部（図示せず）をさらに備えていてもよい。検出部（図示せず）は、例えば、本実施形態に係る距離画像を生成する距離画像センサや、表示画面側から表示画面に対向する方向が撮像されることにより生成されたステレオ画像を生成する撮像デバイスを有する。

　検出部（図示せず）を備える場合、ポイントクラウド生成部１１２は、検出部（図示せず）が生成した距離画像や、検出部（図示せず）が生成したステレオ画像に基づき距離画像生成部１１０が生成した距離画像を処理する。

　また、例えば、通信部１０２と同様の機能、構成を有する外部の通信デバイスを介して、外部の距離画像センサなどの外部デバイスや、外部装置と通信を行う場合には、本実施形態に係る情報処理装置は、通信部１０２を備えていなくてもよい。

　以上、本実施形態として、情報処理装置を挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、ＰＣ（Personal　Computer）やサーバなどのコンピュータや、距離画像センサを有する装置、表示装置、テレビ受像機、携帯電話やスマートフォンなどの通信装置、タブレット型の装置、映像／音楽再生装置（または映像／音楽記録再生装置）、ゲーム機など、様々な機器に適用することができる。また、本実施形態は、例えば、上記のような機器に組み込むことが可能な、処理ＩＣ（Integrated　Circuit）に適用することもできる。

　また、本実施形態は、例えばクラウドコンピューティングなどのように、ネットワークへの接続（または各装置間の通信）を前提とした、複数の装置からなるシステムにより実現されてもよい。つまり、上述した本実施形態に係る情報処理装置は、例えば、複数の装置からなる情報処理システムとして実現することも可能である。

（本実施形態に係るプログラム）
　コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラム（例えば、“上記（１）の処理（ポイントクラウド生成処理）、および上記（２）の処理（指定位置決定処理）”や、“上記（１）の処理（ポイントクラウド生成処理）～上記（３）の処理（オフセット量決定処理）”など、本実施形態に係る情報処理方法に係る処理を実行することが可能なプログラム）が、コンピュータにおいてプロセッサなどにより実行されることによって、距離画像に基づいて表示画面における指定位置を決定することができる。

　また、コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラムが、コンピュータにおいてプロセッサなどにより実行されることによって、上述した本実施形態に係る情報処理方法に係る処理によって奏される効果を、奏することができる。

　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

　例えば、上記では、コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本実施形態は、さらに、上記プログラムを記憶させた記録媒体も併せて提供することができる。

　上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。

　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　表示画面からオブジェクトまでの距離に相当する距離が表される距離画像からポイントクラウドを生成するポイントクラウド生成部と、
　生成されたポイントクラウドに対して主成分分析を行い、分析結果に基づいて位置指定に関するオブジェクトに対応するベクトルを検出し、前記表示画面において指定された指定位置を決定する位置決定部と、
　を備える、情報処理装置。
（２）
　前記位置決定部は、
　主成分分析の結果得られる第１主成分の主成分スコアと、第２主成分の主成分スコアとの比較結果に基づいて、前記位置指定に関するオブジェクトに対応するベクトルである前記第１主成分のベクトルと、前記表示画面との交点を選択的に求め、求められた交点を前記指定位置として決定する、（１）に記載の情報処理装置。
（３）
　前記位置決定部は、前記表示画面に最も近い点を含む点群を前記ポイントクラウドから抽出し、抽出された点群に対して、主成分分析を行う、（１）、または（２）に記載の情報処理装置。
（４）
　前記位置決定部は、前記表示画面に最も近い点を中心とした、設定された所定の半径の球内に含まれる点群を抽出する、（３）に記載の情報処理装置。
（５）
　前記位置決定部は、
　抽出された点群をセグメンテーションして、複数の点群に分割し、
　分割された点群のうちの、含まれる点の数が最も多い点群に対して、主成分分析を行う、（４）に記載の情報処理装置。
（６）
　前記位置決定部は、前記含まれる点の数が最も多い点群が、前記位置指定に関するオブジェクトに対応する点群に含まれる点と隣接する点を含む点群である場合には、
　前記含まれる点の数が最も多い点群に対して、主成分分析を行わず、
　前記含まれる点の数が最も多い点群を、処理対象から外す、（５）に記載の情報処理装置。
（７）
　前記位置決定部は、
　主成分分析を行った場合には、前記ポイントクラウドに対して主成分分析を行った回数が、設定された所定の回数に関する条件を満たすかを判定し、
　前記所定の回数に関する条件を満たすと判定されない場合には、主成分分析が行われた点群を処理対象から外して、再度、前記ポイントクラウドから前記表示画面に最も近い点を含む点群を抽出して、抽出された点群に対して主成分分析を行う、（３）～（６）のいずれか１つに記載の情報処理装置。
（８）
　前記指定位置を調整するためのオフセット量を決定するオフセット量決定部をさらに備え、
　前記位置決定部は、前記オフセット量が決定された場合には、決定されたオブセット量により前記指定位置を調整した上で、前記指定位置を決定する、（１）～（７）のいずれか１つに記載の情報処理装置。
（９）
　前記オフセット量決定部は、表示画面における所定の位置と、決定された前記指定位置とに基づいて、前記オフセット量を決定する、（８）に記載の情報処理装置。
（１０）
　前記オフセット量決定部は、前記位置指定に関するオブジェクトに対応するベクトルである、主成分分析の結果得られる第１主成分のベクトルと、前記位置指定に関するオブジェクトに対応する所定の位置から前記表示画面における所定の位置方向のベクトルとの差に基づいて、前記オフセット量を決定する、（８）に記載の情報処理装置。
（１１）
　前記オフセット量決定部は、操作者の認識結果に基づいて、操作者ごとに、選択的に前記オフセット量を決定する、（８）～（１０）のいずれか１つに記載の情報処理装置。
（１２）
　前記表示画面側から前記表示画面に対向する方向が撮像されることにより生成されたステレオ画像から、前記距離画像を生成する距離画像生成部をさらに備え、
　前記ポイントクラウド生成部は、前記ステレオ画像から生成された前記距離画像からポイントクラウドを生成する、（１）～（１１）のいずれか１つに記載の情報処理装置。
（１３）
　前記ポイントクラウド生成部は、実スケールでポイントクラウドを生成する、（１）～（１２）のいずれか１つに記載の情報処理装置。
（１４）
　表示画面からオブジェクトまでの距離に相当する距離が表される距離画像からポイントクラウドを生成するステップと、
　生成されたポイントクラウドに対して主成分分析を行い、分析結果に基づいて位置指定に関するオブジェクトに対応するベクトルを検出し、前記表示画面において指定された指定位置を決定するステップと、
　を有する、情報処理装置により実行される情報処理方法。
（１５）
　表示画面からオブジェクトまでの距離に相当する距離が表される距離画像からポイントクラウドを生成するステップ、
　生成されたポイントクラウドに対して主成分分析を行い、分析結果に基づいて位置指定に関するオブジェクトに対応するベクトルを検出し、前記表示画面において指定された指定位置を決定するステップ、
　をコンピュータに実行させるためのプログラム。

　１０　　表示デバイス
　１２、１２Ａ、１２Ｂ　　距離画像センサ（または撮像デバイス）
　１００　情報処理装置
　１０２　　通信部
　１０４　　制御部
　１１０　　距離画像生成部
　１１２　　ポイントクラウド生成部
　１１４　　位置決定部
　１１６　　オフセット量決定部

Claims

　表示画面からオブジェクトまでの距離に相当する距離が表される距離画像からポイントクラウドを生成するポイントクラウド生成部と、
　生成されたポイントクラウドに対して主成分分析を行い、分析結果に基づいて位置指定に関するオブジェクトに対応するベクトルを検出し、前記表示画面において指定された指定位置を決定する位置決定部と、
　を備える、情報処理装置。
　前記位置決定部は、
　主成分分析の結果得られる第１主成分の主成分スコアと、第２主成分の主成分スコアとの比較結果に基づいて、前記位置指定に関するオブジェクトに対応するベクトルである前記第１主成分のベクトルと、前記表示画面との交点を選択的に求め、求められた交点を前記指定位置として決定する、請求項１に記載の情報処理装置。
　前記位置決定部は、前記表示画面に最も近い点を含む点群を前記ポイントクラウドから抽出し、抽出された点群に対して、主成分分析を行う、請求項１に記載の情報処理装置。
　前記位置決定部は、前記表示画面に最も近い点を中心とした、設定された所定の半径の球内に含まれる点群を抽出する、請求項３に記載の情報処理装置。
　前記位置決定部は、
　抽出された点群をセグメンテーションして、複数の点群に分割し、
　分割された点群のうちの、含まれる点の数が最も多い点群に対して、主成分分析を行う、請求項４に記載の情報処理装置。
　前記位置決定部は、前記含まれる点の数が最も多い点群が、前記位置指定に関するオブジェクトに対応する点群に含まれる点と隣接する点を含む点群である場合には、
　前記含まれる点の数が最も多い点群に対して、主成分分析を行わず、
　前記含まれる点の数が最も多い点群を、処理対象から外す、請求項５に記載の情報処理装置。
　前記位置決定部は、
　主成分分析を行った場合には、前記ポイントクラウドに対して主成分分析を行った回数が、設定された所定の回数に関する条件を満たすかを判定し、
　前記所定の回数に関する条件を満たすと判定されない場合には、主成分分析が行われた点群を処理対象から外して、再度、前記ポイントクラウドから前記表示画面に最も近い点を含む点群を抽出して、抽出された点群に対して主成分分析を行う、請求項３に記載の情報処理装置。
　前記指定位置を調整するためのオフセット量を決定するオフセット量決定部をさらに備え、
　前記位置決定部は、前記オフセット量が決定された場合には、決定されたオブセット量により前記指定位置を調整した上で、前記指定位置を決定する、請求項１に記載の情報処理装置。
　前記オフセット量決定部は、表示画面における所定の位置と、決定された前記指定位置とに基づいて、前記オフセット量を決定する、請求項８に記載の情報処理装置。
　前記オフセット量決定部は、前記位置指定に関するオブジェクトに対応するベクトルである、主成分分析の結果得られる第１主成分のベクトルと、前記位置指定に関するオブジェクトに対応する所定の位置から前記表示画面における所定の位置方向のベクトルとの差に基づいて、前記オフセット量を決定する、請求項８に記載の情報処理装置。
　前記オフセット量決定部は、操作者の認識結果に基づいて、操作者ごとに、選択的に前記オフセット量を決定する、請求項８に記載の情報処理装置。
　前記表示画面側から前記表示画面に対向する方向が撮像されることにより生成されたステレオ画像から、前記距離画像を生成する距離画像生成部をさらに備え、
　前記ポイントクラウド生成部は、前記ステレオ画像から生成された前記距離画像からポイントクラウドを生成する、請求項１に記載の情報処理装置。
　前記ポイントクラウド生成部は、実スケールでポイントクラウドを生成する、請求項１に記載の情報処理装置。
　表示画面からオブジェクトまでの距離に相当する距離が表される距離画像からポイントクラウドを生成するステップと、
　生成されたポイントクラウドに対して主成分分析を行い、分析結果に基づいて位置指定に関するオブジェクトに対応するベクトルを検出し、前記表示画面において指定された指定位置を決定するステップと、
　を有する、情報処理装置により実行される情報処理方法。
　表示画面からオブジェクトまでの距離に相当する距離が表される距離画像からポイントクラウドを生成するステップ、
　生成されたポイントクラウドに対して主成分分析を行い、分析結果に基づいて位置指定に関するオブジェクトに対応するベクトルを検出し、前記表示画面において指定された指定位置を決定するステップ、
　をコンピュータに実行させるためのプログラム。