WO2017213070A1

WO2017213070A1 - 情報処理装置および方法、並びに記録媒体

Info

Publication number: WO2017213070A1
Application number: PCT/JP2017/020760
Authority: WO
Inventors: 真一郎阿部; 俊一本間
Original assignee: ソニー株式会社
Priority date: 2016-06-07
Filing date: 2017-06-05
Publication date: 2017-12-14
Also published as: US20200322595A1; JPWO2017213070A1

Abstract

本開示は、例えば、視線によるポインティングやオブジェクト操作において、視線の定位に関する改善を実現することができるようにする情報処理装置および方法、並びに記録媒体に関する。ユーザの視野内に所定の方向に沿って配置され、前記所定の方向に関する距離を示す立体視オブジェクトを表示するよう表示装置が制御される。本開示は、例えば、ヘッドマウントディスプレイなどの装着用ディスプレイ装置に適用することができる。

Description

情報処理装置および方法、並びに記録媒体

　本開示は、情報処理装置および方法、並びに記録媒体に関し、特に、視線によるポインティングやオブジェクト操作において、視線の定位に関する改善を実現し、これにより、例えば、ハンズフリーで快適に操作することができるようにした情報処理装置および方法、並びに記録媒体に関する。

　実世界３次元空間内で物体を操作するためのデバイスや手法は、３Ｄ(dimension)マウスなどの専用デバイスや指先によるジェスチャなど多数提案されていた（特許文献１参照）。

特許第５８０７６８６号公報

　しかしながら、３Ｄマウスなどの専用デバイスの場合、その専用デバイスを手で操作する必要があった。指先によるジェスチャの場合、ポインティングのレイテンシが大きかった。

　また、人間の視覚調整の仕組み上、視線によるポインティングやオブジェクト操作において、視線の定位に関する改善が望まれていた。

　本開示は、このような状況に鑑みてなされたものであり、視線の定位に関する改善を実現することができるものである。

　本開示の情報処理装置又は記録媒体は、ユーザの視野内に所定の方向に沿って配置され、前記所定の方向に関する距離を示す立体視オブジェクトを表示するよう表示装置を制御する表示制御部を備える情報処理装置、又は、そのような情報処理装置としてコンピュータを機能させるプログラムが記録された記録媒体である。

　本開示の情報処理方法は、ユーザの視野内に所定の方向に沿って配置され、前記所定の方向に関する距離を示す立体視オブジェクトを表示するよう表示装置を制御することを含む情報処理方法である。

　本開示においては、ユーザの視野内に所定の方向に沿って配置され、前記所定の方向に関する距離を示す立体視オブジェクトが表示装置に表示される。

　本開示（本技術）によれば、表示された立体視オブジェクトによって、三次元空間におけるユーザの視野の定位が補助される。その結果、例えば、ハンズフリーで快適に操作することができる。

なお、本明細書に記載された効果は、あくまで例示であり、本技術の効果は、本明細書に記載された効果に限定されるものではなく、付加的な効果があってもよい。

本技術の概要について説明する図である。仮想オブジェクト操作（実施例１）について説明する図である。実世界での実オブジェクト操作（実施例２）について説明する図である。仮想世界での仮想カメラ視点移動（実施例３）について説明する図である。仮想メジャーの他の例を示す図である。オブジェクト微調整の例を説明する図である。実施例１の場合のオブジェクト微調整の例を説明する図である。実施例１の場合のオブジェクト微調整の例を説明する図である。実施例２の場合のオブジェクト微調整の例を説明する図である。実施例２の場合のオブジェクト微調整の例を説明する図である。実施例３の場合のオブジェクト微調整の例を説明する図である。実施例３の場合のオブジェクト微調整の例を説明する図である。本技術を適用した装着用ディスプレイ装置の外観の構成例を示す図である。図１３の装着用ディスプレイ装置の構成例を示すブロック図である。仮想オブジェクト操作処理について説明するフローチャートである。図１５のステップＳ１１の環境認識処理について説明するフローチャートである。図１５のステップＳ１２の視線推定処理について説明するフローチャートである。図１５のステップＳ１３の描画処理について説明するフローチャートである。本技術を適用した装着用ディスプレイ装置の外観の構成例を示す図である。図１９の装着用ディスプレイ装置の構成例を示すブロック図である。実オブジェクト操作処理について説明するフローチャートである。図２１のステップＳ１１２の視線推定処理について説明するフローチャートである。図２１のステップＳ１１４のドローン制御処理について説明するフローチャートである。本技術を適用した装着用ディスプレイ装置の外観の構成例を示す図である。図２４の装着用ディスプレイ装置の構成例を示すブロック図である。図１５のステップＳ１２の視線推定処理について説明するフローチャートである。本技術における座標系の関係を示す図である。本技術における仮想空間との３Ｄ注視点の求め方について説明する図である。本技術における仮想空間との３Ｄ注視点の求め方について説明する図である。本技術を適用した画像処理システムの構成例を示すブロック図である。パーソナルコンピュータのハードウエアの構成例を示すブロック図である。

　以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（概要）
２．第２の実施の形態（仮想オブジェクト操作）
３．第３の実施の形態（実オブジェクト操作）
４．第４の実施の形態（仮想カメラ視点移動）
５．補足説明
６．第５の実施の形態（画像処理システム）

＜１．第１の実施の形態＞
　＜概要＞
　まず、図１を参照して、本技術の概要について説明する。

　実世界３次元空間内で物体を操作するためのデバイスや手法は、３Ｄマウスなどの専用デバイスや指先によるジェスチャなど多数提案されていた。しかしながら、３Ｄマウスなどの専用デバイスの場合、その専用デバイスを手で操作する必要があった。指先によるジェスチャの場合、ポインティングのレイテンシが大きかった。

　また、中空（empty-field）に関しては、人間の視覚調整の仕組み上、視線を定位させることができず（empty-field-myopiaと呼ばれる）、視線によるポインティングやオブジェクト操作が困難であった。

　すなわち、図１のＡに示されるように、ユーザ１は、視覚に認識できる物体Ａがあると焦点を合わせることができる。これに対して、ユーザ１は、物体Ａの位置に焦点を合わせて注視したいが、点線の星に示されるように、物体がないと焦点を合わせることが難しかった。

　そこで、本技術においては、実物体がなくても、装着用ディスプレイ装置３に仮想メジャー４を表示し、ユーザ１の焦点合わせを補助する。すなわち、本技術においては、図１のＢに示されるように、装着用ディスプレイ装置３（表示装置）に、中空に視線を定位させることを補助する仮想オブジェクトである仮想メジャー４を表示させる表示制御が行われ、これにより、ユーザ１の焦点合わせが補助される。仮想メジャー４は、立体視される（立体視できる）仮想オブジェクトである立体視オブジェクトの１つであり、例えば、ユーザ１の視野内に、ユーザ１の前方に向かって延在する奥行方向や、水平方向、斜め方向、その他、湾曲した方向等の所定の方向に沿って配置され、その所定の方向に関する距離を示す。かかる仮想メジャー４は、中空に視線を定位させることを補助し、中空への視線の定位のしやすさを改善する。なお、装着用ディスプレイ装置３は、例えば、シースルーディスプレイやヘッドマウントディスプレイなどで構成される。

　これにより、視線と仮想メジャーで中空空間を含めた３次元ポインティングを実現することができる。

　＜実施例１：仮想オブジェクト操作の例＞
　図２は、仮想オブジェクト操作として、仮想（バーチャル）家具の配置シミュレーションの例を説明する図である。図２の例においては、ユーザ１は、装着用ディスプレイ装置３を装着して、実世界３次元空間（または仮想３次元空間）１１にいる。実世界３次元空間１１には、家具の１つとしてテーブル１３が配置されている。装着用ディスプレイ装置３には、環境を認識するために、実世界３次元空間１１内の画像を撮像する環境認識カメラ１２とディスプレイ２０が設けられている。そして、図２の右側には、実世界３次元空間１１において環境認識カメラ１２で撮像した画像（実世界３次元空間１１内の画像）が、ディスプレイ２０に表示されている。

　図２のＡに示されるように、ユーザ１は、仮想物を、実世界３次元空間１１のテーブル１３上のempty-field１４、すなわち、中空に配置しようとするが、上述したように、人間の視覚調整の仕組み上、実世界３次元空間１１のテーブル１３上のempty-field１４へは、焦点を合わせることができない。

　そこで、装着用ディスプレイ装置３は、矢印Ｐ１に示されるように、注視を可能とするための目盛りを有する仮想定規２１を、実世界３次元空間１１内が表示されるディスプレイ２０に表示させる。これにより、矢印Ｐ２に示されるように、ユーザ１は、この仮想定規２１を手がかりに、仮想定規２１上の所望の位置２２に焦点を合わせることができる。なお、所望の位置２２は、ユーザ１が、その位置に焦点を合わせることで、仮想定規２１上に表示される。

　すなわち、装着用ディスプレイ装置３は、仮想メジャー４の１つである仮想定規２１を、実世界３次元空間１１内が表示されるディスプレイ２０に表示させる。仮想定規２１は、定規を模した平板形状の立体視オブジェクトであり、距離を示す情報としての略等間隔の目盛りを有する。仮想定規２１は、例えば、ユーザ１の視野内に、長手方向（目盛りがつけられた方向）が奥行方向に沿い、短手（横手）方向が垂直方向を向く状態で、やや斜めに、実空間における立体視可能なオブジェクトが存在しない中空を含む領域（空間）に配置される。なお、仮想定規２１（の長手方向）を配置する配置方向は、奥行方向に限定されるものではない。また、仮想メジャー２１の配置タイミングは、視線の滞留に基づいて判定されてもよく、後述する図６に示す設置ボタン５１等のGUI(Graphical User Interface)のユーザ１による操作に基づいて判定されてもよい。

　ユーザ１が、仮想物を配置したい所望の位置２２を継続して注視すると、図２のＢに示されるように、装着用ディスプレイ装置３は、３Ｄ注目点の滞留度が閾値以内であるかどうかを計測する。ここで、所望の位置２２を囲む円は、３Ｄ注目点の滞留度が閾値以内である滞留度閾値内範囲２５を示している。そして、装着用ディスプレイ装置３は、矢印Ｐ１１に示されるように、ディスプレイ２０の３Ｄ注目点の滞留度が閾値以内である場所に、その場所を示す所望の位置２２と、その所望の位置２２の近傍に、同じ位置を見ていることを示す進捗マーク２３とを表示し、その後、矢印Ｐ１２に示されるように、empty-field１４に仮想物２４を設置することができる。

　すなわち、装着用ディスプレイ装置３は、ユーザ１の視線と、仮想定規２１との交点に基づいて、ユーザ１の注視を判定する。すなわち、装着用ディスプレイ装置３では、ユーザ１の視線と、仮想定規２１との交点が検出される。この交点は、ユーザ１が焦点合わせを行って（視線を向けて）注目しようとしている点（ユーザ１が視線を向けている実世界３次元空間または仮想３次元空間の点）であり、以下、３Ｄ注目点ともいう。図２のＢに示されるように、装着用ディスプレイ装置３は、３Ｄ注目点が滞留している滞留範囲の大きさに対応する滞留度が所定の期間に亘って閾値以内であるかどうかを判定する（滞留度の閾値判定）。例えば、滞留度が所定の期間に亘って閾値以内である場合、装着用ディスプレイ装置３は、３Ｄ注目点の滞留範囲内の位置２２をユーザ１が注視していると判定する。したがって、ユーザ１が位置２２に継続して焦点合わせを行っていると（視線を向け続けていると）、ユーザ１が注視していると判定される。滞留度の閾値判定が行われている間、装着用ディスプレイ装置３は、矢印Ｐ１１に示されるように、ディスプレイ２０の３Ｄ注目点の滞留度が閾値以内の滞留範囲内の位置２２に、その位置２２を表すオブジェクトとしての点と、位置２２の近傍に、同じ位置２２を見ている状態の進捗を示す進捗マーク２３とを表示する。進捗マーク２３は、滞留度が閾値以内になっている時間（の経過）を表す。位置２２をユーザ１が注視していると判定された後、例えば、位置２２が、ユーザ１が注視している３Ｄ注視点とされ、矢印Ｐ１２に示されるように、装着用ディスプレイ装置３は、位置２２に仮想物２４を設置する。

　そして、仮想物２４の設置後は、図２のＣに示されるように、ユーザ１は、実世界３次元空間１１において、例えば、テーブル１３に近づくなど任意のポーズを行うと、装着用ディスプレイ装置３は、矢印Ｐ２１に示されるように、図６を参照して後述するSLAM(Simultaneous Localization and Mapping)により、ユーザ１のポーズに応じて、ディスプレイ２０に仮想物２４を表示する。したがって、ユーザは、ユーザ１のポーズに応じて、仮想物２４を確認することができる。

　＜実施例２：実オブジェクト操作の例＞
　図３は、実世界での実オブジェクト操作として、ドローン操作の例を説明する図である。図３の例においては、ユーザ１は、装着用ディスプレイ装置３を装着して、実世界３次元空間３２にいる。実世界３次元空間３２には、ドローン３１が配置されている。装着用ディスプレイ装置３には、図２の例と同様に、環境認識カメラ１２とディスプレイ２０が設けられており、図３の右側には、実世界３次元空間３２において環境認識カメラ１２で撮像した画像（雲が浮かぶ空の画像）が、ディスプレイ２０に表示されている。

　図３のＡに示されるように、ユーザ１は、ドローン３１を、実世界３次元空間３２の中空のempty-field１４に移動しようとしても、上述したように、人間の視覚調整の仕組み上、実世界３次元空間３２上のempty-field１４へは、焦点を合わせることができない。

　そこで、装着用ディスプレイ装置３は、矢印Ｐ３１に示されるように、注視を可能とするための仮想定規２１をディスプレイ２０に表示させる。これにより、矢印Ｐ３２に示されるように、ユーザ１は、この仮想定規２１を手がかりに、empty-field１４内の所望の位置２２に焦点を合わせることができる。

　ユーザ１が、ドローン３１を移動したい所望の位置２２を継続して注視すると、図３のＢに示されるように、装着用ディスプレイ装置３は、３Ｄ注目点の滞留度が閾値以内であるかどうかを計測する。そして、装着用ディスプレイ装置３は、矢印Ｐ４１に示されるように、ディスプレイ２０の３Ｄ注目点の滞留度が閾値以内である場所に、その場所を示す所望の位置２２と、その所望の位置２２の近傍に、同じ位置を見ていることを示す進捗マーク２３とを表示し、その後、矢印Ｐ４２に示されるように、empty-field１４（の所望の位置２２）にドローン３１を移動させることができる。なお、実際には、装着用ディスプレイ装置３は、ドローン３１に対して位置情報を送信することにより、ドローン３１を移動させる。

　すなわち、ユーザ１が、ドローン３１を移動したい位置２２に継続して視線を向けていると、図２の場合と同様に、位置２２を表すオブジェクトと、進捗マーク２３とが表示される（図３のＢの矢印Ｐ４１）。その後、ユーザ１が注視していると判定されると、矢印Ｐ４２に示されるように、ユーザ１が注視している位置２２にドローン３１が移動される。

　そして、ドローン３１の移動後は、図３のＣに示されるように、ユーザ１は、実世界３次元空間３２において、例えば、所望の位置２２に移動したドローン３１を確認することができる。

　＜実施例３：仮想カメラ視点移動の例＞
　図４は、仮想世界での仮想カメラ視点移動として、視点ワープの例を説明する図である。図４の例においては、ユーザ１は、装着用ディスプレイ装置３を装着して、仮想３次元空間３５にいる。装着用ディスプレイ装置３には、図２の例と同様に、環境認識カメラ１２とディスプレイ２０が設けられており、図４の右側には、仮想３次元空間３５において環境認識カメラ１２で撮像した画像（家を斜め前から見た画像）が、ディスプレイ２０に表示されている。

　図４のＡに示されるように、主観視点でプレイ中のユーザ１は、俯瞰視点に切り替えるために、仮想３次元空間３５における視点切り替え先の位置である中空のempty-field１４に見ようとする。しかしながら、ユーザ１が中空のempty-field１４を見ようとしても、上述したように人間の視覚調整の仕組み上、矢印Ｐ５１に示されるように、仮想３次元空間３５上のempty-field１４へは、焦点を合わせることができない。

　そこで、装着用ディスプレイ装置３は、矢印Ｐ５２に示されるように、注視を可能とするための仮想定規２１を、中空（雲が浮かぶ空の画像）が表示されるディスプレイ２０に表示させる。ディスプレイ２０には、empty-field１４（すなわち、空）の画像に重畳された仮想定規２１が表示されている。これにより、矢印Ｐ５２に示されるように、ユーザ１は、この仮想定規２１を手がかりに、視点切り替え先（empty-field１４）の所望の位置２２に焦点を合わせることができる。

　ユーザ１が、視点切り替え先の所望の位置２２を継続して注視すると、図４のＢに示されるように、装着用ディスプレイ装置３は、３Ｄ注目点の滞留度が閾値以内であるかどうかを計測する。そして、装着用ディスプレイ装置３は、矢印Ｐ６１に示されるように、ディスプレイ２０の３Ｄ注目点の滞留度が閾値以内である場所に、その場所を示す所望の位置２２と、その所望の位置２２の近傍に、同じ位置を見ていることを示す進捗マーク２３とを表示し、その後、矢印Ｐ６２に示されるように、empty-field１４の所望の位置２２にカメラ始点を切り替えることができる。その結果、ディスプレイ２０には、家を上（所望の位置２２）から見た画像（俯瞰画像）が表示される。

　すなわち、ユーザ１が、視点切り替え先の所望の位置２２に継続して視線を向けていると、図２の場合と同様に、位置２２を表すオブジェクトと、進捗マーク２３とが表示される（図４のＢの矢印Ｐ６１）。その後、ユーザ１が注視していると判定されると、矢印Ｐ６２に示されるように、ユーザ１が注視している位置２２にカメラ視点（ディスプレイ２０に表示される画像を見る視点）が切り替えられる。その結果、ディスプレイ２０には、家を上（所望の位置２２）から見た画像（俯瞰画像）が表示される。

　そして、例えば、図４のＣに示されるように、ユーザ１は、仮想３次元空間３５において、例えば、所望の位置２２をカメラ視点として俯瞰することができる。

　＜変形例１：仮想メジャー例＞
　図５は、仮想メジャーの他の例を示す図である。図５の例においては、ディスプレイ２０には、仮想メジャーとして、仮想定規２１の代わりに、複数の仮想オブジェクトとしての球体４１が略等間隔に配置されて表示されている。すなわち、図５では、仮想メジャーは、複数の仮想オブジェクトとしての球体４１を含み、その複数の球体４１が、所定の方向としての奥行方向および水平方向のそれぞれに沿って略等間隔に配置されたものになっている。複数の球体４１が、奥行方向および水平方向のそれぞれに沿って略等間隔に配置されることにより、その複数の球体４１は、奥行方向および水平方向それぞれの距離（間隔）を示す。ユーザ１の２Ｄ視点ポインタ４２は、複数の球体４１とは別の位置にあるが、矢印Ｐ７１に示されるように、すぐに注視が可能である。２Ｄ視点ポインタ４２は、ユーザ１が見ている（焦点合わせを行っている）位置を表す。

　例えば、ユーザ１の２Ｄ視点ポインタ４２が配置されている（すなわち、ユーザ１の視線が向けられている）球体４１の色を変えるなどすることにより、ユーザ１に素早くフィードバックを行うことができる。すなわち、仮想メジャーとしての複数の球体４１については、ユーザ１の視線に応じて、複数の球体４１のうちの少なくとも１つの表示を変化させること、具体的には、例えば、ユーザ１の視線が向けられている球体４１の色や、輝度、形状、大きさ等を変化させることができる。

　さらに、矢印Ｐ７２に示されるように、２Ｄ視点ポインタ４２が配置されている（すなわち、ユーザ１の視線が向けられている）球体４１のみに、「高度15m,距離25m」の２Ｄ視点ポインタ４２の位置を示す補足情報などを加えて表示して、見やすく、かつ、ユーザ１の視界をできるだけ邪魔しないようにする必要がある。すなわち、仮想メジャーとしての複数の球体４１については、ユーザ１の視線に応じて、複数の球体４１のうちの少なくとも１つの補足情報を表示すること、具体的には、例えば、ユーザ１の視線が向けられている球体４１の位置を示す情報等を表示することができる。

　なお、図５の例においては、複数の球体としたが、補助になるようなものであれば、他のものでもよい。すなわち、図５の例においては、仮想メジャーを、複数の球体としたが、ユーザ１の焦点合わせの補助になるようなものであれば、形状は球以外の他の仮想オブジェクトでもよい。

　＜変形例２：オブジェクト微調整例＞
　次に、図６を参照して、SLAMを使用した複数視点からのオブジェクト微調整について説明する。なお、SLAM(位置姿勢推定)は、カメラの画像を使って、画像の変化情報から地図と位置を推定し、カメラ自身の位置と姿勢をリアルタイムで求める技術である。

　図６の例において、ユーザ１は、装着用ディスプレイ装置３を装着して、オブジェクトをテーブル１３の上に設置しようとしている。装着用ディスプレイ装置３には、環境認識カメラ１２および視線認識カメラ５０が備えられている。そこで、装着用ディスプレイ装置３が、１回目の視線推定および注視判定、並びに２回目の視線推定および注視判定を行う場合を考える。視線推定は、ユーザ１の視線を推定する処理であり、注視判定は、ユーザ１の視線を用いて、ユーザ１が注視しているかどかを判定する処理である。なお、図６では、「視線推定」および「注視判定」のうちの、「視線推定」のみを記載し、「注視判定」の記載を省略してある。

　図６の例において、ディスプレイ２０－１は、１回目の注視推定後のディスプレイ２０を表しており、ディスプレイ２０－２は、２回目の注視により注視推定後のディスプレイ２０を表している。すなわち、ディスプレイ２０－１は、１回目の視線推定および注視判定後のディスプレイ２０を表しており、ディスプレイ２０－２は、２回目の視線推定および注視判定後のディスプレイ２０を表している。ディスプレイ２０－１および２０－２には、設置ボタン５１、仮設置ボタン５２、キャンセルボタン５３が表示されており、いずれも、注視することにより選択することができる。なお、ハッチングに示されるように、ディスプレイ２０－１においては、仮設置ボタン５２が選択されており、ディスプレイ２０－２においては、設置ボタン５１が選択されている。

　すなわち、１回目の視線推定および注視判定により１回目の３Ｄ注視点６１が算出され、仮設置ボタン５２のハッチングに示されるように、仮設置される。その際、ディスプレイ２０－１において、テーブル１３の上には、１回目の視線推定により注視して仮設置したオブジェクト５５が表示される。例えば、仮設置なので、点線で表示されている。

　ユーザ１は、テーブル１３の真ん中にオブジェクトをおこうとしているが、実際には、１回目の視線推定および注視判定により算出された１回目の３Ｄ注視点６１と、２回目の視線推定および注視判定により算出された２回目の３Ｄ注視点６２との位置からわかるように、左右方向の位置は合っていても、奥行き方向の位置などがあっていないことがある。

　このとき、装着用ディスプレイ装置３において、SLAMの技術を用いることにより、SLAMによる位置姿勢推定の結果、１回目の視点とは異なる２回目の視点から、仮設置した１回目の３Ｄ注視点６１の位置をディスプレイ２０－２のオブジェクト５５で確認することができ、さらに、１回目の３Ｄ注視点６１を、２回目の視点から再度調整し、ディスプレイ２０－２のオブジェクト５６として確認しながら、設置ボタン５１のハッチングに示されるように、設置することができる。なお、ディスプレイ２０－２においては、オブジェクト５６は、オブジェクト５５より明確になるように表示されている。

　なお、図６のオブジェクトの微調整の具体例として、以下、実施例１乃至実施例３についてそれぞれ説明する。

　＜実施例１の場合のオブジェクトの微調整＞
　次に、図７および図８を参照して、図２で上述した仮想オブジェクト操作でのオブジェクトの微調整について説明する。

　図７のＡおよび図８のＡは、例えば、シースルーのディスプレイ２０を介して見えるユーザの視野を表している。図７のＢおよび図８のＢは、図７のＡおよび図８のＡの場合をそれぞれ示す世界座標での俯瞰図である。

　図７のＡの例においては、ディスプレイ２０を介して見える実世界３次元空間１１には、家具の１つとしてテーブル１３が配置されており、ディスプレイ２０には、注視を可能とするための目盛りを有する仮想定規２１が、装着用ディスプレイ装置３により表示されている。

　図７のＢにおいて、仮想定規２１は、ユーザ１の正対方向に対して、一定の角度で表示されている。すなわち、仮想定規２１は、ユーザの視野内に奥行方向に（ほぼ）沿って配置されている。また、仮想定規２１は、奥行方向に関する距離を示す目盛りを有し、その目盛りが奥行方向に関する距離を示すように配置（表示）されている。ただし、仮想定規２１の目盛りの刻み幅や表示方向は、図７のＡの例に限定されない（すなわち、ユーザ１が設定可能である）。刻み幅や表示方向が決まった後は、ユーザ１の頭部の動きに対して連動して、仮想定規２１が動く。図７のＡおよび図７のＢに示されるように、３Ｄ注視点６１は、テーブル１３上において、点線矢印に示されるユーザの視線と仮想定規２１との交点で求められる。

　図８のＡの例においては、SLAMの技術により、ユーザ１が、図７のＢの位置から、図８のＢに示される位置に移動後、移動前の仮想定規２１は表示させたままで、移動前の注視点６１ベースの結果５５と、現在の注視点６２ベースの結果５６とがディスプレイ２０に重畳されている。すなわち、移動前の３Ｄ注視点６１に配置されたオブジェクト５５と、現在の３Ｄ注視点６２に配置されたオブジェクト５６とがディスプレイ２０に表示されている。そして、移動前の仮想定規２１が表示されたままになっているため、ユーザ１の移動後、仮想定規２１は、ユーザから見て水平方向に（ほぼ）沿って配置された状態になり、仮想定規２１が有する目盛りは、水平方向に関する距離を示すものになっている。

　ユーザ１は、任意の位置から何度でも、現在の３Ｄ注視点６２ベースの結果５６である設置場所を更新し、微調整を行うことができる。

　＜実施例２の場合のオブジェクトの微調整＞
　次に、図９および図１０を参照して、図３で上述した実オブジェクト操作でのオブジェクトの微調整について説明する。

　図９のＡおよび図１０のＡは、ディスプレイ２０を介して見えるユーザの視野を表している。図９のＢおよび図１０のＢは、図９のＡおよび図１０のＡの場合をそれぞれ示す世界座標での俯瞰図である。

　図９のＡの例においては、ディスプレイ２０を介して見える実世界３次元空間３２には、雲が浮かぶ空が存在し、ディスプレイ２０には、注視を可能とするための目盛りを有する仮想定規２１が、装着用ディスプレイ装置３により表示されている。

　図９のＢにおいて、仮想定規２１は、ユーザ１の正対方向に対して、一定の角度で表示されている。ただし、仮想定規２１の目盛りの刻み幅や表示方向は、図９のＡの例に限定されない（すなわち、ユーザ１が設定可能である）。刻み幅や表示方向が決まった後は、ユーザ１の頭部の動きに対して連動して、仮想定規２１が動く。図９のＡおよび図９のＢに示されるように、３Ｄ注視点６１は、点線矢印に示されるユーザの視線と仮想定規２１との交点で求められる。

　図１０のＡの例においては、SLAMの技術により、ユーザ１が、図９のＢに示される位置から図１０のＢに示される位置に移動後、移動前の仮想定規２１は表示させたままで、移動前の３Ｄ注視点６１ベースの結果の位置に描画されるドローン６５と、現在の３Ｄ注視点６２ベースの結果の移動位置６６とがディスプレイ２０に重畳されている。

　ユーザ１は、任意の位置から何度でも、現在の３Ｄ注視点６２ベースの結果の移動位置６６を更新し、微調整を行うことができる。

　＜実施例３の場合のオブジェクトの微調整＞
　次に、図１１および図１２を参照して、図４で上述した仮想カメラ視点移動でのオブジェクトの微調整について説明する。

　図１１のＡおよび図１２のＡは、ディスプレイ２０を介して見えるユーザの視野を表している。図１１のＢおよび図１２のＢは、図１１のＡおよび図１２のＡの場合をそれぞれ示す世界座標での俯瞰図である。

　図１１のＡの例においては、ディスプレイ２０を介して見える仮想３次元空間３５には、雲が浮かぶ空が存在し、ディスプレイ２０には、注視を可能とするための目盛りを有する仮想定規２１が、装着用ディスプレイ装置３により表示されている。

　図１１のＢにおいて、仮想定規２１は、ユーザ１の正対方向に対して、一定の角度で表示されている。ただし、仮想定規２１の目盛りの刻み幅や表示方向は、図１１のＡの例に限定されない（すなわち、ユーザ１が設定可能である）。刻み幅や表示方向が決まった後は、ユーザ１の頭部の動きに対して連動して、仮想定規２１が動く。図１１のＡおよび図１１のＢに示されるように、３Ｄ注視点６１は、点線矢印に示されるユーザの視線と仮想定規２１との交点で求められる。

　図１２のＡの例においては、SLAMの技術により、ユーザ１が、図１１のＢに示される位置から図１２のＢに示される位置に移動後、移動前の仮想定規２１は表示させたままで、移動前の３Ｄ注視点６１ベースの結果の位置に描画される自身６７と、現在の３Ｄ注視点６２ベースの結果の移動位置６８とがディスプレイ２０に重畳されている。

　ユーザ１は、任意の位置から何度でも、現在の３Ｄ注視点６２ベースの結果の移動位置６８を更新し、微調整を行うことができる。

　以上のように、本技術においては、SLAM（に限らず、SLAMなどの位置推定技術）を使用することによって、複数視点からのオブジェクト微調整を行うことができる。

　なお、上述したディスプレイ２０に表示される仮想オブジェクト（仮想物、仮想メジャー、進捗マーク、球体など）は、立体視される（立体視できる）立体視画像であり、両眼視差や輻輳角を有する右眼用画像と左眼用画像からなる。つまり、これらの仮想オブジェクトは、奥行方向の虚像位置を有する（奥行方向の所定の位置に存在しているように見えるように表示される）。換言するに、例えば両眼視差や輻輳角の設定によって、これらの仮想オブジェクトに所望の虚像位置を与える（仮想オブジェクトを奥行方向の所望の位置に存在しているようにユーザに見えるように表示させる）ことができる。

＜２．第２の実施の形態＞
　＜装着用ディスプレイ装置の外観＞
　図１３は、本技術を適用した情報処理装置の１つである画像処理装置としての装着用ディスプレイ装置の外観の構成例を示す図である。なお、図１３の装着用ディスプレイ装置は、図２を参照して上述した仮想オブジェクト操作を行うものである。

　図１３の例において、装着用ディスプレイ装置３は、眼鏡型で構成されており、ユーザ１の顔に装着されている。装着用ディスプレイ装置３の筐体には、右眼用表示部２０Ａと左眼用表示部２０Ｂとからなるディスプレイ２０（表示部）、環境認識カメラ１２、視線認識カメラ５０、およびLED７１などが設けられている。

　装着用ディスプレイ装置３のレンズ部分は、例えば、シースルーのディスプレイ２０となっており、ディスプレイ２０の外側、両目の上部には、環境認識カメラ１２が設けられている。環境認識カメラ１２は、少なくとも１つ備えられていればよい。RGBカメラであってもよいが、限定されない。

　ディスプレイ２０の内（顔）向きに、両目を中心として、それぞれ上下左右にLED７１が備えられている。なお、LED７１は、視線認識用に用いられるものであり、一方の目に対して少なくとも２つ備えられていれば、なおよい。すなわち、LED７１は、一方の目に対して少なくとも２つ備えられていればよい。

　さらに、ディスプレイ２０の内向きに、両目の下部には、視線認識カメラ５０が設けられている。なお、視線認識カメラ５０は、少なくとも片目用に１つ備えられていればよい。両目の視線認識の場合は、少なくとも２つの赤外カメラからなる。また、角膜反射法による視線認識では、片目用に最低２つのLED７１、両目の視線認識の場合は、少なくとも４つのLED７１を備えているものとする。

　装着用ディスプレイ装置３では、眼鏡のレンズに相当する部分がディスプレイ２０（右眼用表示部２０Ａと左眼用表示部２０Ｂ）となっている。ユーザ１が装着用ディスプレイ装置３を装着すると、右眼用表示部２０Ａがユーザ１の右眼前方の近傍に位置し、左眼用表示部２０Ｂがユーザの左眼前方の近傍に位置する。

　ディスプレイ２０は、光を透過する透過型ディスプレイである。したがって、ユーザ１の右眼は、右眼用表示部２０Ａを介して、その背面側、すなわち、右眼用表示部２０Ａより前方（ユーザ１から見て前方（奥行方向））の実世界の景色（透過映像）を見ることができる。同様に、ユーザ１の左眼は、左眼用表示部２０Ｂを介して、その背面側、すなわち、左眼用表示部２０Ｂより前方の実世界の景色（透過映像）を見ることができる。したがって、ユーザ１には、ディスプレイ２０に表示される画像が、このディスプレイ２０より前方の実世界の景色の手前側に重畳された状態で見える。

　右眼用表示部２０Ａは、ユーザ１の右眼に見せるための画像（右眼用画像）を表示し、左眼用表示部２０Ｂは、ユーザ１の左眼に見せるための画像（左眼用画像）を表示する。つまり、ディスプレイ２０は、右眼用表示部２０Ａおよび左眼用表示部２０Ｂのそれぞれに、視差がある画像を表示させることで、立体視される立体視画像（立体視オブジェクト）を表示する。

　立体視画像は、視差がある右眼用画像と左眼用画像からなり、その視差（または輻輳角）を制御することにより、すなわち、例えば、右眼用画像および左眼用画像のうちの一方の画像に映る被写体の位置に対する、他方の画像に映る同一被写体の位置の水平方向のずれ量を制御することにより、被写体が、ユーザ１から遠くに位置するように見えるようにしたり、近くに位置するように見えるようにしたりすることができる画像である。つまり、立体視画像は、奥行位置（画像の実際の表示位置ではなく、ユーザ１にとってあたかもそこに存在するように見える位置（虚像位置））を制御することができる画像である。

　図１４は、図１３の装着用ディスプレイ装置の構成例を示すブロック図である。

　図１４の例において、装着用ディスプレイ装置３は、環境認識カメラ１２、ディスプレイ２０、視線認識カメラ５０、および画像処理部８０から構成されている。画像処理部８０は、視線推定部８１、２Ｄ視線操作受付部８２、２Ｄ視線情報ＤＢ８３、座標系変換部８４、３Ｄ注目点算出部８５、注視判定部８６、座標系変換部８７、注視点ＤＢ８８、カメラ・ディスプレイ相対位置姿勢ＤＢ８９、座標系変換部９０、位置姿勢推定部９１、環境カメラ位置姿勢ＤＢ９２、描画制御部９３、および３Ｄ注目点の時系列ＤＢ９４を含むように構成されている。なお、描画制御部９３が、本開示における表示制御部および／またはオブジェクト制御部の一例として見做されてよい。

　視線推定部８１は、視線認識カメラ５０から入力された画像から、ユーザ１の視線を逐次推定する。推定された視線とは、例えば、視線認識カメラ５０を原点とした視線認識カメラ座標系の「瞳孔位置」と「視線ベクトル」からなり、その情報は、２Ｄ視線操作受付部８２、２Ｄ視線情報ＤＢ８３、および座標系変換部８４に供給される。視線認識には、例えば、瞳孔角膜反射法が用いられるが、強膜反射法、Double Purkinje法、画像処理法、サーチコイル法、EOG(Electro-Oculography)法など、他の視線認識方法であってもよい。なお、ユーザ１の視線は、例えば環境認識カメラ１２の向き（環境認識カメラ１２の光軸）として推定されても良い。具体的には、カメラ１２により撮影される画像を用いて推定されるカメラの向きが、ユーザの視線として推定されてもよい。すなわち、ユーザ１の眼球を撮像する視線認識方法の採用が、ユーザ１の視線の推定に必須では無い点に留意されたい。

　２Ｄ視線操作受付部８２は、視線推定部８１からの視線、および、カメラ・ディスプレイ相対位置姿勢ＤＢ８９からの、カメラ・ディスプレイ相対位置姿勢関係のデータを用いて、ディスプレイ２０上の２Ｄの視線座標（２Ｄ注視点座標）を求め、メニュー操作を受け付け、仮想メジャーの選択および設置を行う。ディスプレイ２０上の２Ｄの視線座標（２Ｄ注視点座標）とは、ユーザの視線が、ディスプレイ２０上のどこにあるのかという２次元の座標情報のことである。

　２Ｄ視線情報ＤＢ８３は、２Ｄ視線操作受付部８２により受け付けられたメニュー操作や仮想メジャーの情報（図２の所望の位置２２など）をステートとして記録する。２Ｄ視線情報ＤＢ８３には、２Ｄの視線による仮想メジャーの種類やビューポイント座標系の仮想メジャーの位置姿勢が記録されている。

　座標系変換部８４は、カメラ・ディスプレイ相対位置姿勢ＤＢ８９からの、カメラ・ディスプレイ相対位置姿勢関係のデータを用いて、視線推定部８１からの視線認識カメラ座標系の視線を、ディスプレイ２０のビューポイント座標系の視線に変換する。

　３Ｄ注目点算出部８５は、２Ｄ視線情報ＤＢ８３に記録された仮想メジャーと、座標系変換部８４により変換されたビューポイント座標系の視線との交点を求めて、３Ｄ注目点座標を算出する。算出された３Ｄ注目点座標は、３Ｄ注目点の時系列ＤＢ９４に蓄積される。

　すなわち、３Ｄ注目点算出部８５は、２Ｄ視線情報ＤＢ８３に記録された仮想メジャーと、座標系変換部８４により変換されたビューポイント座標系の視線との交点である３Ｄ注目点を算出する。

　注視判定部８６は、３Ｄ注目点の時系列ＤＢ９４からの３Ｄ注目点の時系列データを用いて、ユーザが注視しているか否かを判定する。最終的な３Ｄ注視点座標は、時系列データの平均値や最頻値もしくはメジアン（中間値）を採用する。

　速度ベースの場合、注視判定部８６は、ある区間の３Ｄ注目点時系列データの座標変化の速度としきい値を比較し、しきい値以下の速度であれば、注視と判定する。分散ベースの場合、注視判定部８６は、ある区間の３Ｄ注目点時系列データの座標変化の分散としきい値を比較し、しきい値以下の分散であれば、注視と判定する。座標変化や速度や分散が、上述の滞留度に対応する。なお、速度ベース、分散ベースどちらの手法も片目の視線から判定できるが、両目の視線を使うこともできる。その場合、各３Ｄ注目点の中点が両目による３Ｄ注目点として扱われる。

　座標系変換部８７は、カメラ・ディスプレイ相対位置姿勢ＤＢ８９からのカメラ・ディスプレイ相対位置姿勢データと、環境カメラ位置姿勢ＤＢ９２からの世界の基準となる最新の世界座標系の環境カメラ位置姿勢と、注視判定部８６からのビューポイント座標系の３Ｄ注視点を用いて、ビューポイント座標系の３Ｄ注視点を、世界座標系の３Ｄ注視点に変換し、注視点ＤＢ８８に記録する。座標系変換部８７は、環境カメラ位置姿勢ＤＢ９２からの世界の基準となる最新の世界座標系の環境カメラ位置姿勢（ユーザの位置姿勢）と、注視判定部８６からのビューポイント座標系の３Ｄ注視点（視線と仮想メジャーとの交点である３Ｄ注目点から求められた点）とに基づいて、世界座標系の３Ｄ注視点を算出する注視点算出部として機能することができる。

　注視点ＤＢ８８には、座標系変換部８７により変換された世界座標系の３Ｄ注視点が蓄積されている。

　カメラ・ディスプレイ相対位置姿勢ＤＢ８９は、視線認識カメラ５０、環境認識カメラ１２、ディスプレイ２０の位置姿勢関係のデータが記録されている。これらの位置姿勢関係は、工場キャリブレーションで事前に計算されたものとする。

　座標系変換部９０は、カメラ・ディスプレイ相対位置姿勢ＤＢ８９からのカメラ・ディスプレイ相対位置姿勢データと、環境カメラ位置姿勢ＤＢ９２からの最新の世界座標系の環境カメラ位置姿勢と、注視点ＤＢ８８からの世界座標系の３Ｄ注視点の座標を用いて、世界座標系の３Ｄ注視点を、その時点のビューポイント座標系の３Ｄ注視点に変換する。

　環境カメラ位置姿勢推定部９１は、環境認識カメラ１２の画像から、環境認識カメラ１２（を装着したユーザ１）の位置姿勢を逐次推定する。自己位置推定には、環境認識カメラ１２と、上述したSLAMの技術が用いられる。その他の自己位置推定技術としては、GPS,WIFI,IMU(3軸加速度センサ＋３軸ジャイロセンサ)、RFID、可視光通信測位、物体認識（画像認証）などがある。以上の技術は、処理速度、精度の観点で、課題はあるものの、SLAMの代わりに利用できる。環境認識カメラ１２とSLAMを利用する場合であっても、世界座標系の基準決め（初期化）には上記のうちいずれかの技術が利用可能である。環境カメラ位置姿勢推定部９１は、例えば、実世界または仮想３次元空間内の、装着用ディスプレイ装置３を装着したユーザの位置姿勢を推定する位置姿勢推定部とみなすことができる。

　環境カメラ位置姿勢ＤＢ９２は、環境カメラ位置姿勢推定部９１からのその時点の最新の位置姿勢を記録する。

　描画制御部９３は、２Ｄ視線情報ＤＢ８３の情報に基づく、２Ｄ視線のディスプレイ２０上での描画、仮想メジャーの描画と、座標系変換部９０により変換されたビューポイント座標系の３Ｄ注視点に基づく、３Ｄ注視点におかれた仮想オブジェクトの描画とを制御する。すなわち、描画制御部９３は、ユーザが見ているディスプレイ２０上の点および仮想メジャーの表示や、座標系変換部９０により変換されたビューポイント座標系の３Ｄ注視点に基づく、３Ｄ注視点におかれた仮想オブジェクトの表示その他のオブジェクトの制御を行う表示制御部又はオブジェクト制御部として機能することができる。３Ｄ注目点の時系列ＤＢ９４は、３Ｄ注目点算出部８５により算出された算出された３Ｄ注目点座標の時系列データを記録している。

　なお、描画制御部９３は、描画としてディスプレイ２０に表示させる、左眼用画像と右眼用画像とからなる立体視オブジェクト（立体視画像）を生成する処理を行う。そして、描画制御部９３は、生成された立体視オブジェクトを、ディスプレイ２０に表示させる。

　例えば、描画制御部９３は、各立体視オブジェクトの虚像位置を設定する。そして、描画制御部９３は、ディスプレイ２０を制御し、立体視オブジェクトを、その立体視オブジェクトに設定された虚像位置に存在するかのように立体視されるように表示させる。

　立体視オブジェクトを、その立体視オブジェクトに設定された虚像位置に存在するかのように立体視されるように表示するために、描画制御部９３は、立体視オブジェクトについて、視差または輻輳角を設定し、そのような視差または輻輳角が生じる立体視オブジェクトとしての左眼用画像と右眼用画像とを生成する。立体視画像の生成方法は任意である。例えば特開平０８－３２２００４号公報には、視度に対する輻輳角が実時間で略一致するように、電気的に表示面上に表示する画像を水平方向にシフトする手段を備える立体視ディスプレイ装置が開示されている。また、特開平０８－２１１３３２号公報には、両眼視差を利用して立体視画像を得るものであり、再生画像を見るときの輻輳角を設定するために輻輳角選択手段と、選択された輻輳角に関する情報に基づいて左右の画像の相対的再生位置を制御する制御手段とを具備する立体映像再生装置が開示されている。例えば、描画制御部９３が、これらに記載の方法を利用して立体視オブジェクトを生成することができる。

　＜装着用ディスプレイ装置の動作＞
　次に、図１５のフローチャートを参照して、仮想オブジェクト操作処理について説明する。なお、図１５の各ステップは、並列で行われている。すなわち、図１５のフローチャートでは、便宜上、各ステップを順番付けてあるが、各ステップは、適宜、並列して行われる。他のフローチャートでも同様である。

　環境認識カメラ１２からの画像は、環境カメラ位置姿勢推定部９１に入力される。環境カメラ位置姿勢推定部９１は、ステップＳ１１において、環境認識処理を行う。この環境認識処理の詳細は、図１６を参照して後述するが、この処理により、環境認識カメラ１２からの画像から推定された環境認識カメラ１２の位置姿勢が環境カメラ位置姿勢ＤＢ９２に記録される。

　また、視線認識カメラ５０から入力された画像は、視線推定部８１に入力される。視線推定部８１、２Ｄ視線操作受付部８２、座標系変換部８４、３Ｄ注目点算出部８５、および注視判定部８６は、ステップＳ１２において、視線推定処理を行う。この視線推定処理の詳細は、図１７を参照して後述するが、この処理により、２Ｄ注視点が求められ、２Ｄ注視点から３Ｄ注視点が求められて、３Ｄ注視点が、最新ビューポイント座標系の３Ｄ注視点に変換される。

　描画制御部９３は、ステップＳ１３において、２Ｄ視線情報ＤＢ８３の情報と、座標系変換部９０により変換されたビューポイント座標系の３Ｄ注視点とを用いて、描画処理を行う。この描画処理は、図１８を参照して後述するが、この処理により、２Ｄ視線のディスプレイ２０上での描画（ディスプレイ２０上の２Ｄの視線座標の描画）、仮想メジャーの描画、３Ｄ注視点におかれた仮想オブジェクトの描画とが制御されて、ディスプレイ２０に描画される。すなわち、ディスプレイ２０において、仮想メジャーや３Ｄ注視点に配置された仮想オブジェクト等が表示される。

　２Ｄ視線操作受付部８２は、ステップＳ１４において、仮想オブジェクト操作処理を終了するか否かを判定する。ステップＳ１４において、仮想オブジェクト操作処理を終了すると判定された場合、図１５の仮想オブジェクト処理は終了される。一方、ステップＳ１４において、仮想オブジェクト処理をまだ終了しないと判定された場合、処理は、ステップＳ１１に戻り、それ以降の処理が繰り返される。

　次に、図１６のフローチャートを参照して、図１５のステップＳ１１の環境認識処理について説明する。

　ステップＳ３１において、環境カメラ位置姿勢推定部９１は、環境認識カメラ１２の画像から、環境認識カメラ１２の位置姿勢を推定する。

　ステップＳ３２において、環境カメラ位置姿勢ＤＢ９２は、その時点の最新の位置姿勢（環境認識カメラ１２の位置姿勢）を記録する。ここで記録された最新の位置姿勢は、後述する図１７のステップＳ５４およびＳ５５において使用される。

　次に、図１７のフローチャートを参照して、図１５のステップＳ１２の視線推定処理について説明する。

　視線認識カメラ５０から入力された画像は、視線推定部８１に入力される。ステップＳ５１において、視線推定部８１、および２Ｄ視線操作受付部８２は、２Ｄ注視点算出を行う。

　すなわち、視線推定部８１は、視線認識カメラ５０から入力された画像から、視線を逐次推定する。推定された視線とは、視線カメラ座標系の「瞳孔位置」と「視線ベクトル」からなり、その情報は、２Ｄ視線操作受付部８２、２Ｄ視線情報ＤＢ８３、および座標系変換部８４に供給される。２Ｄ視線操作受付部８２は、視線推定部８１からの視線や、カメラ・ディスプレイ相対位置姿勢ＤＢ８９からの、カメラ・ディスプレイ相対位置姿勢関係のデータを用いて、ディスプレイ２０上の２Ｄの視線座標（２Ｄ注視点座標）を求め、メニュー操作を受け付け、仮想メジャーの選択および設置を行う。

　なお、２Ｄ視線情報ＤＢ８３は、ディスプレイ２０上の２Ｄの視線座標のほかに、２Ｄ視線操作受付部８２により受け付けられたメニュー操作や仮想メジャーの情報をステートとして記録する。これらの情報は、図１８のステップＳ７１で用いられる。例えば、描画制御部９３は、２Ｄ視線情報ＤＢ８３の情報を用いて、仮想メジャーをディスプレイ２０に表示させる。

　ステップＳ５２において、座標系変換部８４および３Ｄ注目点算出部８５は、３Ｄ注目点座標を算出する。すなわち、座標系変換部８４は、カメラ・ディスプレイ相対位置姿勢ＤＢ８９からの、カメラ・ディスプレイ相対位置姿勢関係のデータを用いて、視線認識カメラ座標系の視線を、ビューポイント座標系の視線に変換する。３Ｄ注目点算出部８５は、２Ｄ視線情報ＤＢ８３に記録された仮想メジャーと、座標系変換部８４により変換されたビューポイント座標系の視線との交点を求めて、３Ｄ注目点座標を算出する。算出された３Ｄ注目点座標は、３Ｄ注目点の時系列ＤＢ９４に蓄積される。

　ステップＳ５３において、注視判定部８６は、３Ｄ注目点の時系列ＤＢ９４からの３Ｄ注目点の時系列データを用いて、ユーザが注視しているか否かを判定する。ステップＳ５３において、ユーザが注視していないと判定された場合、処理は、ステップＳ５１に戻り、それ以降の処理が繰り返される。一方、ステップＳ５３において、ユーザが注視していると判定された場合、注視判定部８６は、３Ｄ注目点の時系列データを用いて、ビューポイント座標系の、ユーザが注視している３Ｄ注視点を求め、処理は、ステップＳ５４に進む。

　なお、最終的な３Ｄ注視点座標は、時系列データの平均値や最頻値もしくはメジアン（中間値）が採用される。

　ステップＳ５４において、座標系変換部８７は、カメラ・ディスプレイ相対位置姿勢ＤＢ８９からのカメラ・ディスプレイ相対位置姿勢データと、環境カメラ位置姿勢ＤＢ９２からの最新の世界座標系の環境カメラ位置姿勢と、注視判定部８６からのビューポイント座標系の３Ｄ注視点を用いて、ビューポイント座標系の３Ｄ注視点を、世界座標系の３Ｄ注視点に変換し、注視点ＤＢ８８に記録する。

　ステップＳ５５において、座標系変換部９０は、カメラ・ディスプレイ相対位置姿勢ＤＢ８９からのカメラ・ディスプレイ相対位置姿勢データと、環境カメラ位置姿勢ＤＢ９２からの最新の世界座標系の環境カメラ位置姿勢と、注視点ＤＢ８８からの世界座標系の３Ｄ注視点の座標を用いて、世界座標系の３Ｄ注視点を、その時点のビューポイント座標系の３Ｄ注視点に変換する。なお、この情報は、図１８のステップＳ７１で用いられる。

　最後に、図１８のフローチャートを参照して、図１５のステップＳ１３の描画処理について説明する。

　描画制御部９３は、ステップＳ７１において、２Ｄ視線情報ＤＢ８３の情報に基づく、２Ｄ視線のディスプレイ２０上での描画、仮想メジャーの描画と、座標系変換部９０により変換されたビューポイント座標系の３Ｄ注視点に基づく、３Ｄ注視点におかれた仮想オブジェクトの描画とを制御する。

　ステップＳ７２において、ディスプレイ２０は、描画制御部９３による制御のもと、描画を行う。これにより、ディスプレイ２０には、例えば、仮想メジャーや、３Ｄ注視点におかれた仮想オブジェクト等が表示される。

　以上のように、本技術においては、仮想メジャーが描画されるので、以前は困難であった中空に対しても３Ｄ注視点を定位させることができるため、すなわち、視線を定位させることができるため、視線を用いた操作が可能となる。すなわち、視線によるポインティングやオブジェクト操作において、視線の定位に関する改善を図ることができる。これにより、ハンズフリーにより仮想オブジェクト操作を行うことができる。また、視線による操作のため、ポインティングのレイテンシが少ない。

　さらに、視線認識と環境認識から３Ｄ注視点を求めることができるので、ユーザが動きながらでも注視状態を検出し、ポインティングインタラクションを行うことができる。

＜３．第３の実施の形態＞
　＜装着用ディスプレイ装置の外観＞
　図１９は、本技術を適用した情報処理装置の１つである画像処理装置としての装着用ディスプレイ装置の外観の構成例を示す図である。なお、図１９の装着用ディスプレイ装置は、図３を参照して上述した実オブジェクト操作を行うものである。

　図１９の例においても、図１３の例の場合と同様であり、装着用ディスプレイ装置３は、眼鏡型で構成されており、ユーザ１の顔に装着されている。

　図１９の例において、操作される対象のオブジェクトが、ディスプレイ２０に表示される仮想オブジェクトから、無線通信１００を介して操作される、実世界のドローン３１になったことが異なるだけであり、その他の点は、図１３の外観の構成例と同様であるので、その説明は省略する。

　図２０は、図１９の装着用ディスプレイ装置とドローンの構成例を示すブロック図である。

　図２０の装着用ディスプレイ装置３は、環境認識カメラ１２、ディスプレイ２０、視線認識カメラ５０、および画像処理部８０で構成されている。図２０の画像処理部８０は、視線推定部８１、２Ｄ視線操作受付部８２、２Ｄ視線情報ＤＢ８３、座標系変換部８４、３Ｄ注目点算出部８５、注視判定部８６、座標系変換部８７、カメラ・ディスプレイ相対位置姿勢ＤＢ８９、位置姿勢推定部９１、環境カメラ位置姿勢ＤＢ９２、および描画制御部９３、および３Ｄ注目点の時系列ＤＢ９４を備える点が、図１４の画像処理部８０と共通している。

　図２０の画像処理部８０は、注視点ＤＢ８８と座標系変換部９０が除かれた点と、命令送信部１０１が追加された点が、図１４の画像処理部８０と異なっている。なお、命令送信部１０１が、本開示におけるオブジェクト制御部の一例として見做されてよい。

　すなわち、命令送信部１０１は、座標系変換部８７により変換された世界座標系の３Ｄ注視点を、例えば、無線通信１００を介して、ドローン３１に送信する。命令送信部１０１は、３Ｄ注視点に移動体としてのドローン３１を移動させるための位置情報を、ドローン３１に送信する位置情報送信部ともみなすことができる。

　図２０の例において、ドローン３１は、命令受信部１１１および経路制御部１１２により構成されており、装着用ディスプレイ装置３から、無線通信１００を介して受け取った３Ｄ注視点の座標への経路制御を行い、経路に従って飛行する。

　命令受信部１１１は、装着用ディスプレイ装置３からの世界座標系の３Ｄ注視点の座標を受け取り、経路制御部１１２に供給する。

　経路制御部１１２は、受け取った３Ｄ注視点の座標に基づき、図示せぬカメラによる画像センシングや超音波センシングを用いて、逐次適切な経路を生成し、目標値への経路を計算する。なお、目的地到達後の姿勢は、出発前の姿勢と同様の姿勢、もしくはユーザ１がコントローラで制御できるものとする。

　なお、ドローン３１は、ドローンに限らず、飛行可能なロボットや移動体であってもよいし、飛行できないロボットや移動体であればよい。

　次に、図２１のフローチャートを参照して、実オブジェクト操作処理について説明する。

　環境認識カメラ１２からの画像は、環境カメラ位置姿勢推定部９１に入力される。環境カメラ位置姿勢推定部９１は、ステップＳ１１１において、環境認識処理を行う。この環境認識処理は、図１６を参照して上述した処理と同様であるのでその説明は省略される。この処理により、環境認識カメラ１２からの画像から推定された環境認識カメラ１２の位置姿勢が環境カメラ位置姿勢ＤＢ９２に記録される。

　また、視線認識カメラ５０から入力された画像は、視線推定部８１に入力される。視線推定部８１、２Ｄ視線操作受付部８２、座標系変換部８４、３Ｄ注目点算出部８５、および注視判定部８６は、ステップＳ１１２において、視線推定処理を行う。この視線推定処理の詳細は、図１７を参照して上述した処理と同様であるのでその説明は省略される。この処理により、２Ｄ注視点が求められ、２Ｄ注視点から３Ｄ注視点が求められて、３Ｄ注視点が、最新の世界座標系の３Ｄ注視点に変換される。変換された最新の世界座標系の３Ｄ注視点の座標は、命令送信部１０１に供給される。

　描画制御部９３は、ステップＳ１１３において、２Ｄ視線情報ＤＢ８３の情報を用いて、描画処理を行う。この描画処理の詳細は、図２２を参照して後述される。この処理により、２Ｄ視線のディスプレイ２０上での描画、仮想メジャーの描画が制御されて、ディスプレイ２０に描画される。

　ステップＳ１１４において、命令送信部１０１は、ドローン制御処理を行う。このドローン制御処理の詳細は、図２３を参照して後述される。この処理により、ステップＳ１１２の処理で供給された最新の世界座標系の３Ｄ注視点（目的地）の座標が、命令として、ドローン３に受信され、その座標に基づいて経路が制御されて、ドローン３が目的地に到着する。以上により、図２１の実オブジェクト操作処理は終了される。

　次に、図２２のフローチャートを参照して、図２１のステップＳ１１２の視線推定処理について説明する。なお、図２２のステップＳ１３１乃至Ｓ１３３は、図１７のステップＳ５１乃至Ｓ５３と同様の処理を行うため、その説明は省略される。

　ステップＳ１３４において、座標系変換部８７は、カメラ・ディスプレイ相対位置姿勢ＤＢ８９からのカメラ・ディスプレイ相対位置姿勢データと、環境カメラ位置姿勢ＤＢ９２からの最新の世界座標系の環境カメラ位置姿勢と、注視判定部８６からのビューポイント座標系の３Ｄ注視点を用いて、ビューポイント座標系の３Ｄ注視点を、世界座標系の３Ｄ注視点に変換し、変換した世界座標系の３Ｄ注視点を、命令送信部１０１に供給する。

　次に、図２３のフローチャートを参照して、図２１のステップＳ１１４のドローン制御処理について説明する。

　図２２のステップＳ１３４により、世界座標系の３Ｄ注視点の座標が、命令送信部１０１を介して送信されてくる。ステップＳ１５１において、命令受信部１１１は、命令（世界座標系の３Ｄ注視点の座標）を受信する。ステップＳ１５２において、経路制御部１１２は、受信された命令に基づいて、ドローン３の経路を制御する。ステップＳ１５３において、ドローン３は、目的地（世界座標系の３Ｄ注視点）に到着する。

　以上のように、本技術においては、実オブジェクトであっても、仮想オブジェクトの場合と同様の効果がある。

　すなわち、仮想メジャーが描画されるので、以前は困難であった中空に対しても３Ｄ注視点を定位させることができるため、すなわち、視線を定位させることができるため、視線を用いた操作が可能となる。すなわち、視線によるポインティングやオブジェクト操作において、視線の定位に関する改善を図ることができる。これにより、ハンズフリーにより仮想オブジェクト操作を行うことができる。また、視線による操作のため、ポインティングのレイテンシが少ない。

＜４．第４の実施の形態＞
　＜装着用ディスプレイ装置の外観＞
　図２４は、本技術を適用した情報処理装置の１つである画像処理装置としての装着用ディスプレイ装置の外観の構成例を示す図である。なお、図２４の装着用ディスプレイ装置は、図４を参照して上述した仮想カメラ視点移動を行うものである。

　図２４の例においても、図１３の例の場合と同様であり、装着用ディスプレイ装置３は、眼鏡型で構成されており、ユーザ１の顔に装着されている。なお、図２４の例においては、環境認識カメラ１２は図示されていないだけであり、実際には、備えられている。図１４の例において、自己位置推定として、環境認識カメラ１２と上述したSLAMの技術が用いられる例を説明したが、その他の自己位置推定技術としては、GPS,WIFI,IMU(3軸加速度センサ＋３軸ジャイロセンサ)、RFID、可視光通信測位、物体認識（画像認証）などがある。

　図２５は、図２４の装着用ディスプレイ装置の構成例を示すブロック図である。

　図２５の装着用ディスプレイ装置３は、環境認識カメラ１２、ディスプレイ２０、視線認識カメラ５０、画像処理部８０から構成されている。図２５の画像処理部８０は、視線推定部８１、２Ｄ視線操作受付部８２、２Ｄ視線情報ＤＢ８３、座標系変換部８４、３Ｄ注目点算出部８５、注視判定部８６、カメラ・ディスプレイ相対位置姿勢ＤＢ８９、位置姿勢推定部９１、環境カメラ位置姿勢ＤＢ９２、描画制御部９３、および３Ｄ注目点の時系列ＤＢ９４を備える点が、図１４の画像処理部８０と共通している。

　図２５の画像処理部８０は、座標系変換部８７、注視点ＤＢ８８、座標系変換部９０が除かれた点と、座標系変換部１５１、座標オフセットＤＢ１５２、ビューポイント位置設定部１５３が追加された点が、図１４の画像処理部８０と異なっている。

　すなわち、座標系変換部１５１は、カメラ・ディスプレイ相対位置姿勢ＤＢ８９からのカメラ・ディスプレイ相対位置姿勢データと、環境カメラ位置姿勢ＤＢ９２からの世界の基準となる最新の世界座標系の環境カメラ位置姿勢と、注視判定部８６からのビューポイント座標系の３Ｄ注視点を用いて、ビューポイント座標系の３Ｄ注視点を、世界座標系の３Ｄ注視点に変換し、変換された３Ｄ注視点と環境カメラ位置の差分を座標オフセットとして、座標オフセットＤＢ１５２に記録する。環境カメラ位置は、環境認識カメラ１２の位置である。

　座標オフセットＤＢ１５２には、座標系変換部１５１により変換された３Ｄ注視点と環境カメラ位置の差分が座標オフセットとして記録されている。

　ビューポイント位置設定部１５３は、最新世界座標系ビューポイントの位置を、環境カメラ位置姿勢ＤＢ９２からの最新の世界座標系の環境カメラの位置と、座標系変換部１５１により求められた座標オフセットの和として設定する。なお、ビューポイントの姿勢は、環境カメラ位置姿勢ＤＢ９２からの最新の世界座標系の環境カメラの姿勢がそのまま用いられる。ビューポイント位置設定部１５３は、設定したビューポイントの位置と姿勢を描画制御部９３に供給する。最新世界座標系ビューポイントは、世界座標系における、ディスプレイ２０に表示される画像（に映る被写体）を見る視点（ディスプレイ２０に表示される画像を撮影するカメラの視点）である。

　描画制御部９３は、２Ｄ視線情報ＤＢ８３の情報に基づく、２Ｄ視線のディスプレイ２０上での描画、仮想メジャーの描画と、ビューポイント位置設定部１５３により求められたビューポイントの位置と姿勢に基づく、仮想オブジェクトの描画とを制御する。

　なお、図２５の装着用ディスプレイ装置３の仮想オブジェクト操作処理は、図１５の仮想オブジェクト操作処理と、ステップＳ１２の視線推定処理の詳細以外は、基本的に同様の処理を行う。したがって、図２５の装着用ディスプレイ装置３の動作としては、異なっている図１５のステップＳ１２の視線推定処理の詳細のみを説明する。

　＜装着用ディスプレイ装置の動作＞
　図２６のフローチャートを参照して、図１５のステップＳ１２の視線推定処理について説明する。なお、図２６のステップＳ１８１乃至Ｓ１８３は、図１７のステップＳ５１乃至Ｓ５３と同様の処理を行うので、繰り返しになるため、その説明は省略する。

　ステップＳ１８４において、座標系変換部１５１は、カメラ・ディスプレイ相対位置姿勢ＤＢ８９からのカメラ・ディスプレイ相対位置姿勢データと、環境カメラ位置姿勢ＤＢ９２からの世界の基準となる最新の世界座標系の環境カメラ位置姿勢と、注視判定部８６からのビューポイント座標系の３Ｄ注視点を用いて、ビューポイント座標系の３Ｄ注視点を、世界座標系の３Ｄ注視点に変換し、変換された３Ｄ注視点と環境カメラ位置の差分を座標オフセットとして、座標オフセットＤＢ１５２に記録する。

　ステップＳ１８５において、ビューポイント位置設定部１５３は、最新世界座標系ビューポイントの位置を、環境カメラ位置姿勢ＤＢ９２からの最新の世界座標系の環境カメラの位置と、座標系変換部１５１により求められた座標オフセットの和として設定する。その後、視線推定処理は終了し、仮想オブジェクト操作処理は、図１５のステップＳ１２に戻り、ステップＳ１３に進む。

　以上のように、本技術においては、仮想世界で視点を切り替える場合にも、仮想オブジェクトや実オブジェクトの移動の場合と同様の効果がある。

＜５．補足説明＞
　＜座標系の関係＞
　次に、本技術における座標系の関係について、図２７を参照して説明する。

　図２７の例においては、環境認識カメラ座標系２０１、ビューポイント座標系２０２、視線認識カメラ座標系２０３、世界座標系２０４が示されている。なお、視線認識カメラ座標系２０３においては、瞳孔角膜反射法の技術が用いられている例が示されている。

　ビューポイント座標系２０２には、ディスプレイ２０、仮想定規２１、ディスプレイ２０上の２Ｄ注視点２１１、仮想定規２１上の３Ｄ注目点２１２が示されている。視線認識カメラ座標系２０３には、赤外光であるLED７１と、瞳孔にLED７１を照射した際の反射である輝点（プルキニエ像）２２２、瞳孔座標２２１、および、輝点２２２と瞳孔をカメラで観察して、これらの位置関係から求められる視線ベクトル２２３が示されている。

　なお、本技術においては、環境認識カメラ座標系２０１、ビューポイント座標系２０２、視線認識カメラ座標系２０３の関係は、予めキャリブレーションを行い、既知であるものとする。

　また、世界座標系２０４と環境認識カメラ座標系２０１は、SLAMなどの自己位置推定技術によってリアルタイムに求められる。

　＜３Ｄ注目点の求め方＞
　次に、図２８および図２９を参照して、本技術の仮想空間との３Ｄ注目点の求め方について説明する。

　図２８に示されるように、仮想空間におけるオブジェクト３０１と視線ベクトル２２３との交点が、３Ｄ注目点２１２である。したがって、３Ｄ注目点２１２は、装着用ディスプレイ装置３を装着したユーザ１の視線ベクトル２２３が少なくとも１つあれば求めることができる。

　一方、図２９に示されるように、仮想メジャーの１つである、仮想定規２１は、仮想（実世界）空間におけるオブジェクト３０１とユーザ１自身とを繋ぐように設けられ、仮想定規２１と視線ベクトル２２３との交点が、３Ｄ注目点２１２である。したがって、３Ｄ注目点２１２は、装着用ディスプレイ装置３を装着したユーザ１の視線ベクトル２２３が少なくとも１つあれば求めることができる。

　この仮想定規２１と視線ベクトル２２３との交点である３Ｄ注目点２１２はEmpty Fieldを構成するものであり、仮想定規２１を用いることで、Empty Fieldに視線を向けることができる。

＜６．第５の実施の形態＞
　＜画像処理システムの構成例＞
　図３０は、本技術を適用した画像処理システムの構成例を示すブロック図である。

　図３０の例においては、画像処理システム４０１は、装着用ディスプレイ装置４１１において取得された情報を用いて、サーバ４１２により画像処理として、環境認識処理、視線推定処理、および描画処理（描画データ作成処理）が行われ、作成された描画データがネットワーク４１３を介して装着用ディスプレイ装置４１１に送信されて、装着用ディスプレイ装置４１１のディスプレイ２０に表示されるシステムである。

　図３０の装着用ディスプレイ装置４１１は、視線認識カメラ５０、ディスプレイ２０、および環境認識カメラ１２を備える点は、図１４の装着用ディスプレイ装置３と共通している。

　図３０の装着用ディスプレイ装置４１１は、画像処理部８０が除かれた点と、画像情報送信部４３１、描画データ受信部４３２、画像情報送信部４３３が追加された点が、図１４の装着用ディスプレイ装置３と異なっている。

　また、図３０のサーバ４１２は、画像情報受信部４５１、描画データ送信部４５２、画像情報受信部４５３、および画像処理部８０で構成されている。

　すなわち、図１４の装着用ディスプレイ装置３の画像処理部８０が、図３０の画像処理システム４０１においては、装着用ディスプレイ装置４１１ではなく、サーバ４１２に備えられている。

　装着用ディスプレイ装置４１１において、画像情報送信部４３１は、視線認識カメラ５０から入力された画像情報を、ネットワーク４１３を介して、サーバ４１２の画像情報受信部４５１に送信する。描画データ受信部４３２は、サーバ４１２の描画データ送信部４５２から送信されてくる描画データを、ネットワーク４１３を介して受信し、受信した描画データに対応する描画（画像）を、ディスプレイ２０に表示する。画像情報送信部４３３は、環境認識カメラ１２から入力された画像情報を、ネットワーク４１３を介して、サーバ４１２の画像情報受信部４５３に送信する。

　サーバ４１２において、画像情報受信部４５１は、視線認識カメラ５０から入力された画像情報を受信し、画像処理部８０に供給する。描画データ送信部４５２は、画像処理部８０で描画された描画データを、ネットワーク４１３を介して、装着用ディスプレイ装置３に送信する。画像情報受信部４５３は、環境認識カメラ１２から入力された画像情報を受信し、画像処理部８０に供給する。

　画像処理部８０は、視線推定部８１、２Ｄ視線操作受付部８２、２Ｄ視線情報ＤＢ８３、座標系変換部８４、３Ｄ注目点算出部８５、注視判定部８６、座標系変換部８７、注視点ＤＢ８８、カメラ・ディスプレイ相対位置姿勢ＤＢ８９、座標系変換部９０、位置姿勢推定部９１、環境カメラ位置姿勢ＤＢ９２、および描画制御部９３を含むように、図１４の画像処理部８０と同様に構成されており、基本的に同様な処理を行うので、その説明は省略する。

　以上のように、画像処理部８０は、装着用ディスプレイ装置４１１だけでなく、サーバに構成することもできる。その際、入出力は、装着用ディスプレイ装置４１１に備え、画像処理の部分だけサーバ４１２で行い、作成された描画データが、装着用ディスプレイ装置４１１に送信されて、ディスプレイ２０に表示される。

　以上のように、本技術によれば、仮想メジャーが描画されることにより、以前は困難であった中空に対しても３Ｄ注視点を定位させることができ、すなわち、視線を定位させることができ、視線を用いた操作が可能となる。すなわち、視線によるポインティングやオブジェクト操作において、視線の定位に関する改善を図ることができる。これにより、ハンズフリーにより仮想オブジェクト操作を行うことができる。また、視線による操作のため、ポインティングのレイテンシが少ない。

　＜パーソナルコンピュータ＞
　上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な汎用のパーソナルコンピュータなどが含まれる。

　図３１は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータのハードウエアの構成例を示すブロック図である。

　パーソナルコンピュータ５００において、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。

　バス５０４には、さらに、入出力インタフェース５０５が接続されている。入出力インタフェース５０５には、入力部５０６、出力部５０７、記憶部５０８、通信部５０９、及びドライブ５１０が接続されている。

　入力部５０６は、キーボード、マウス、マイクロホンなどよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記憶部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインタフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア５１１を駆動する。

　以上のように構成されるパーソナルコンピュータ５００では、CPU５０１が、例えば、記憶部５０８に記憶されているプログラムを、入出力インタフェース５０５及びバス５０４を介して、RAM５０３にロードして実行する。これにより、上述した一連の処理が行われる。

　コンピュータ（CPU５０１）が実行するプログラムは、リムーバブルメディア５１１に記録して提供することができる。リムーバブルメディア５１１は、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディア等である。また、あるいは、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

　コンピュータにおいて、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インタフェース５０５を介して、記憶部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記憶部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記憶部５０８に、あらかじめインストールしておくことができる。

　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要な段階で処理が行われるプログラムであっても良い。

　また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

　また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。

　例えば、本開示は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

　また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

　なお、本技術は以下のような構成も取ることができる。

　（Ａ１）
　ユーザの視野内に所定の方向に沿って配置され、前記所定の方向に関する距離を示す立体視オブジェクトを表示するよう表示装置を制御する表示制御部を
　備える情報処理装置。
　（Ａ２）
　前記表示制御部は、実空間における立体視可能なオブジェクトが存在しない中空に、前記立体視オブジェクトを表示させるよう前記表示装置を制御する
　（Ａ１）に記載の情報処理装置。
　（Ａ３）
　前記表示制御部は、前記中空の領域における前記ユーザの視線の滞留に基づいて、前記立体視オブジェクトを表示するよう前記表示装置を制御する
　（Ａ２）に記載の情報処理装置。
　（Ａ４）
　前記ユーザの視線と前記立体視オブジェクトとの交点に基づいて、前記ユーザの注視を判定する注視判定部
　をさらに備える（Ａ１）ないし（Ａ３）のいずれかに記載の情報処理装置。
　（Ａ５）
　前記ユーザの注視に基づいて、前記交点に応じて所定のオブジェクトの制御を行うオブジェクト制御部
　をさらに備える（Ａ４）に記載の情報処理装置。
　（Ａ６）
　前記オブジェクト制御部は、前記交点に所定の仮想オブジェクトを表示するよう前記表示装置を制御する
　（Ａ５）に記載の情報処理装置。
　（Ａ７）
　前記オブジェクト制御部は、前記交点に応じて移動体の移動を制御する
　（Ａ５）に記載の情報処理装置。
　（Ａ８）
　前記移動体は、ドローンである
　（Ａ７）に記載の情報処理装置。
　（Ａ９）
　前記表示制御部は、前記ユーザの注視に基づいて、表示される画像を見る視点を、前記交点に対応する視点に切り替えるよう前記表示装置を制御する
　（Ａ４）に記載の情報処理装置。
　（Ａ１０）
　前記ユーザを撮影するカメラと、
　前記カメラにより撮影される画像を用いて、前記ユーザの視線を推定する視線推定部と
　をさらに備える（Ａ４）ないし（Ａ９）のいずれかに記載の情報処理装置。
　（Ａ１１）
　前記視線推定部は、角膜反射法を利用して前記ユーザの視線を推定する
　（Ａ１０）に記載の情報処理装置。
　（Ａ１２）
　前記立体視オブジェクトは、略等間隔の目盛りを有する
　（Ａ１）ないし（Ａ１１）のいずれかに記載の情報処理装置。
　（Ａ１３）
　前記立体視オブジェクトは、略等間隔に配置された複数の仮想オブジェクトを含む
　（Ａ１）ないし（Ａ１１）のいずれかに記載の情報処理装置。
　（Ａ１４）
　前記表示制御部は、前記ユーザの視線に応じて前記複数の仮想オブジェクトのうち少なくとも１つの表示を変化させる、または前記複数の仮想オブジェクトのうち少なくとも１つの補足情報を表示するよう前記表示装置を制御する
　（Ａ１３）に記載の情報処理装置。
　（Ａ１５）
　前記情報処理装置は、前記表示装置をさらに備えるヘッドマウントディスプレイである
　（Ａ１）ないし（Ａ１４）のいずれかに記載の情報処理装置。
　（Ａ１６）
　前記表示装置は、シースルーディスプレイである
　（Ａ１５）に記載の情報処理装置。
　（Ａ１７）
　前記所定の方向は、前記ユーザの前方に向かって延在する奥行方向を含む
　（Ａ１）ないし（Ａ１６）のいずれかに記載の情報処理装置。
　（Ａ１８）
　前記所定の方向は、水平方向を含む
　（Ａ１）ないし（Ａ１７）のいずれかに記載の情報処理装置。
　（Ａ１９）
　ユーザの視野内に所定の方向に沿って配置され、前記所定の方向に関する距離を示す立体視オブジェクトを表示するよう表示装置を制御する
　ことを含む情報処理方法。
　（Ａ２０）
　ユーザの視野内に所定の方向に沿って配置され、前記所定の方向に関する距離を示す立体視オブジェクトを表示するよう表示装置を制御する表示制御部
　として、コンピュータを機能させるプログラムが記録されている記録媒体。

（Ｂ１）　実世界または仮想３次元空間内のユーザの位置姿勢を推定する位置姿勢推定部と、
　前記ユーザの視線を推定する視線推定部と、
　仮想メジャーの表示を制御する表示制御部と、
　前記ユーザの視線と前記仮想メジャーとの交点である前記実世界または仮想３次元空間内の注目点を用いて、ユーザの注視を判定する注視判定部と
　を備える画像処理装置。
　（Ｂ２）　前記位置姿勢推定部により推定された位置姿勢と、前記視線推定部により推定された前記ユーザの視線のベクトルと、前記仮想メジャーまたは前記仮想３次元空間との交点に基づいて、前記３次元空間の注視点を算出する注視点算出部を
　さらに備える前記（Ｂ１）に記載の画像処理装置。
　（Ｂ３）　前記仮想メジャーは、目盛りを有する定規で表される
　前記（Ｂ１）または（Ｂ２）に記載の画像処理装置。
　（Ｂ４）　前記表示制御部は、前記ユーザの視線が向けられている前記仮想メジャー上の位置がわかるように、前記位置を表示させる
　前記（Ｂ３）に記載の画像処理装置。
　（Ｂ５）　前記仮想メジャーは、等間隔に配置された複数の球体で表される
　前記（Ｂ１）または（Ｂ２）に記載の画像処理装置。
　（Ｂ６）　前記表示制御部は、前記ユーザの視線が向けられている前記球体の色を変化させて表示させる
　前記（Ｂ５）に記載の画像処理装置。
　（Ｂ７）　前記表示制御部は、前記ユーザの視線が向けられている前記球体のみに補足情報の表示を制御する
　前記（Ｂ５）または（Ｂ６）に記載の画像処理装置。
　（Ｂ８）　前記表示制御部は、前記注視判定部により前記ユーザの注視が判定された位置に仮想物の表示を制御する
　前記（Ｂ１）乃至（Ｂ７）のいずれかに記載の画像処理装置。
　（Ｂ９）　前記注視判定部により前記ユーザの注視が判定された位置に移動体を移動させるための位置情報を、前記移動体に送信する位置情報送信部
　をさらに備える前記（Ｂ１）乃至（Ｂ８）のいずれかに記載の画像処理装置。
　（Ｂ１０）　前記移動体は、飛行可能な移動体である
　前記（Ｂ９）に記載の画像処理装置。
　（Ｂ１１）　前記表示制御部は、前記注視判定部により前記ユーザの注視が判定された位置に視点を切り替えるように表示を制御する
　前記（Ｂ１）乃至（Ｂ１０）のいずれかに記載の画像処理装置。
　（Ｂ１２）　前記位置姿勢推定部は、SLAM(Simultaneous Localization and Mapping)を利用して、ユーザの位置姿勢を推定する
　前記（Ｂ１）乃至（Ｂ１１）のいずれかに記載の画像処理装置。
　（Ｂ１３）　前記視線推定部は、角膜反射法を利用して前記ユーザの視線を推定する
　前記（Ｂ１）乃至（Ｂ１２）のいずれかに記載の画像処理装置。
　（Ｂ１４）　眼鏡形状である
　前記（Ｂ１）乃至（Ｂ１２）のいずれかに記載の画像処理装置。
　（Ｂ１５）　表示部
　をさらに備える前記（Ｂ１）乃至（Ｂ１３）のいずれかに記載の画像処理装置。
　（Ｂ１６）　前記表示部は、シースルーディスプレイである
　前記（Ｂ１５）に記載の画像処理装置。
　（Ｂ１７）　前記ユーザの視線を認識するための視線認識カメラを
　さらに備える前記（Ｂ１）乃至（Ｂ１６）のいずれかに記載の画像処理装置。
　（Ｂ１８）　前記実世界または仮想３次元空間内の環境を認識するための環境認識カメラを
　さらに備える前記（Ｂ１）乃至（Ｂ１７）のいずれかに記載の画像処理装置。
　（Ｂ１９）　画像処理装置が、
　実世界または仮想３次元空間内のユーザの位置姿勢を推定し、
　前記ユーザの視線を推定し、
　仮想メジャーの表示を制御し、
　前記ユーザの視線と前記仮想メジャーとの交点である前記実世界または仮想３次元空間内の注目点を用いて、ユーザの注視を判定する
　画像処理方法。
　（Ｂ２０）　実世界または仮想３次元空間内のユーザの位置姿勢を推定する位置姿勢推定部と、
　前記ユーザの視線を推定する視線推定部と、
　仮想メジャーの表示を制御する表示制御部と、
　前記ユーザの視線と前記仮想メジャーとの交点である前記実世界または仮想３次元空間内の注目点を用いて、ユーザの注視を判定する注視判定部と
　して、コンピュータを機能させるプログラムが記録されている記録媒体。

　１　ユーザ，　３　装着用ディスプレイ装置，　４　仮想メジャー，　１１　実世界３次元空間（または仮想３次元空間），　１２　環境認識カメラ，　１３　テーブル，　１４　empty-field，　２０，２０－１，２０－２　ディスプレイ，　２０Ａ　右目用表示部，　２０Ｂ　左目用表示部，　２１　仮想定規，　２２　所望の位置，　２３　進捗マーク，　２４　仮想物，　２５　滞留度閾値内範囲，　３１　ドローン，　３２　実世界３次元空間，　３５　仮想３次元空間，　４１　球体，　４２　２Ｄ視点ポインタ，　５１　設置ボタン，　５２　仮設置ボタン，　５３　キャンセルボタン，　５５　オブジェクト，　５６　オブジェクト，　６１　３Ｄ注視点，　７０　視線認識カメラ，　７１　LED，　　８０　画像処理部，　８１　視線推定部，　８２　２Ｄ視線操作受付部，　８３　２Ｄ視線情報ＤＢ、８４　座標系変換部，　８５　３Ｄ注目点算出部，　８６　注視判定部，　８７　座標系変換部，　８８　注視点ＤＢ，　８９　カメラ・ディスプレイ相対位置姿勢ＤＢ，　９０　座標系変換部，　９１　位置姿勢推定部，　９２　カメラ位置姿勢ＤＢ，　９３　描画制御部，　１０１　命令送信部，　１１１　命令受信部，　１１２　経路制御部，　１５１　座標変換部，　１５２　座標オフセットＤＢ，　１５３　ビューポイント位置設定部，　２０１　環境認識カメラ座標系，　２０２　ビューポイント座標系，　２０３　視線認識カメラ座標系，　２０３　世界座標系，　２１１　２Ｄ注視点，　２１２　３Ｄ注視点，　２２１　瞳孔座標，　２２２　輝点，　２２３　視線ベクトル，　３０１　オブジェクト，　４０１　画像処理システム，　４１１　装着用ディスプレイ装置，　４１２　サーバ，　４１３　ネットワーク，　４３１　画像情報送信部，　４３２　描画データ受信部，　４３３　画像情報送信部，　４５１　画像情報受信部，　４５２　描画データ送信部，　４５３　画像情報受信部

Claims

　ユーザの視野内に所定の方向に沿って配置され、前記所定の方向に関する距離を示す立体視オブジェクトを表示するよう表示装置を制御する表示制御部を
　備える情報処理装置。
　前記表示制御部は、実空間における立体視可能なオブジェクトが存在しない中空に、前記立体視オブジェクトを表示させるよう前記表示装置を制御する
　請求項１に記載の情報処理装置。
　前記表示制御部は、前記中空の領域における前記ユーザの視線の滞留に基づいて、前記立体視オブジェクトを表示するよう前記表示装置を制御する
　請求項２に記載の情報処理装置。
　前記ユーザの視線と前記立体視オブジェクトとの交点に基づいて、前記ユーザの注視を判定する注視判定部
　をさらに備える請求項１に記載の情報処理装置。
　前記ユーザの注視に基づいて、前記交点に応じて所定のオブジェクトの制御を行うオブジェクト制御部
　をさらに備える請求項４に記載の情報処理装置。
　前記オブジェクト制御部は、前記交点に所定の仮想オブジェクトを表示するよう前記表示装置を制御する
　請求項５に記載の情報処理装置。
　前記オブジェクト制御部は、前記交点に応じて移動体の移動を制御する
　請求項５に記載の情報処理装置。
　前記移動体は、ドローンである
　請求項７に記載の情報処理装置。
　前記表示制御部は、前記ユーザの注視に基づいて、表示される画像を見る視点を、前記交点に対応する視点に切り替えるよう前記表示装置を制御する
　請求項４に記載の情報処理装置。
　前記ユーザを撮影するカメラと、
　前記カメラにより撮影される画像を用いて、前記ユーザの視線を推定する視線推定部と
　をさらに備える請求項４に記載の情報処理装置。
　前記視線推定部は、角膜反射法を利用して前記ユーザの視線を推定する
　請求項１０に記載の情報処理装置。
　前記立体視オブジェクトは、略等間隔の目盛りを有する
　請求項１に記載の情報処理装置。
　前記立体視オブジェクトは、略等間隔に配置された複数の仮想オブジェクトを含む
　請求項１に記載の情報処理装置。
　前記表示制御部は、前記ユーザの視線に応じて前記複数の仮想オブジェクトのうち少なくとも１つの表示を変化させる、または前記複数の仮想オブジェクトのうち少なくとも１つの補足情報を表示するよう前記表示装置を制御する
　請求項１３に記載の情報処理装置。
　前記情報処理装置は、前記表示装置をさらに備えるヘッドマウントディスプレイである
　請求項１に記載の情報処理装置。
　前記表示装置は、シースルーディスプレイである
　請求項１５に記載の情報処理装置。
　前記所定の方向は、前記ユーザの前方に向かって延在する奥行方向を含む
　請求項１に記載の情報処理装置。
　前記所定の方向は、水平方向を含む
　請求項１に記載の情報処理装置。
　ユーザの視野内に所定の方向に沿って配置され、前記所定の方向に関する距離を示す立体視オブジェクトを表示するよう表示装置を制御する
　ことを含む情報処理方法。
　ユーザの視野内に所定の方向に沿って配置され、前記所定の方向に関する距離を示す立体視オブジェクトを表示するよう表示装置を制御する表示制御部
　として、コンピュータを機能させるプログラムが記録されている記録媒体。