WO2023189218A1

WO2023189218A1 - 情報処理装置、情報処理方法、記録媒体

Info

Publication number: WO2023189218A1
Application number: PCT/JP2023/008151
Authority: WO
Inventors: 恵一朗谷口; 卓郎野田
Original assignee: ソニーグループ株式会社
Priority date: 2022-04-01
Filing date: 2023-03-03
Publication date: 2023-10-05

Abstract

いわゆる「ながら撮像」が行われた場合であってもユーザが注視する物体を適切に捉えた撮像画像が提供されるように図ることが可能な、「ながら撮像」を行う場合に好適な撮像制御技術を実現する。　本技術に係る情報処理装置は、実空間上における撮像の対象範囲である撮像範囲を含む所定範囲を対象とした測距結果を示す測距情報と、ユーザの視線及び目位置の推定情報とに基づいて実空間上におけるユーザの注視点を検出する検出部と、注視点に基づき設定された注視領域の情報を用いて、撮像に係る制御を行う制御部とを備えている。

Description

情報処理装置、情報処理方法、記録媒体

　本技術は、情報処理装置とその方法、及びプログラムが記録された記録媒体に関するものであり、特には、撮像に係る制御のための情報処理技術に関する。

　撮像装置として各種の装置が普及している。例えば近年では、カメラ付きのスマートフォンにより撮像を行うことが一般的に行われている。

　なお、関連する従来技術については下記特許文献１を挙げることができる。下記特許文献１には、ユーザのアイトラッキングを行った結果に基づき、ユーザが注視する物体を検出する技術が開示されている。

特開２０１９－１４１６２０号公報

　ここで、スマートフォン等の携帯型の撮像装置を用いた撮像については、ユーザが撮像装置を対象とする物体側に向けるように保持した状態で、撮像装置の画面越しではなく対象とする物体を直接見ながら撮像を行うという、いわゆる「ながら撮像」が行われる場合がある。

　このような「ながら撮像」では、ユーザは撮像装置の画面ではなく対象物体を注視しているため、対象物体が撮像画像からフレームアウトしていないか等、適切なフレーミングであるかを確認したり、対象物体に対する適切なフォーカシング、露出調整等が行われているか等をユーザが確認し難いものとなる。
　従って、撮像画像内に対象物体を適切に捉えられた撮像画像を得ることが困難となってしまう。

　本技術は上記事情に鑑み為されたものであり、いわゆる「ながら撮像」が行われた場合であってもユーザが注視する物体を適切に捉えた撮像画像が提供されるように図ることが可能な、「ながら撮像」を行う場合に好適な撮像制御技術を実現することを目的とする。

　本技術に係る情報処理装置は、実空間上における撮像の対象範囲である撮像範囲を含む所定範囲を対象とした測距結果を示す測距情報と、ユーザの視線及び目位置の推定情報とに基づいて前記実空間上における前記ユーザの注視点を検出する検出部と、前記注視点に基づき設定された注視領域の情報を用いて、前記撮像に係る制御を行う制御部と、を備えるものである。
　ここで言う「撮像に係る制御」とは、例えば撮像画像の記録に係る制御や、撮像画像の表示に係る制御や、撮像に係る各種パラメータ、例えばフォーカスやズーム、露出等のパラメータの調整制御等や、撮像に係る各種情報の通知制御等、撮像に関する制御を広く意味するものである。上記構成によれば、ユーザが撮像装置を対象とする物体側に向けるように保持した状態で、撮像装置の画面越しではなく対象とする物体を直接見ながら撮像を行う、いわゆる「ながら撮像」を行っても、上記の制御部によってユーザの注視領域の情報を用いた撮像に係る制御が行われることで、注視物体を適切に捉えた撮像画像がユーザに提供されるように図ることが可能となる。

　また、本技術に係る情報処理方法は、情報処理装置が、実空間上における撮像の対象範囲である撮像範囲を含む所定範囲を対象とした測距結果を示す測距情報と、ユーザの視線及び目位置の推定情報とに基づいて前記実空間上における前記ユーザの注視点を検出し、前記注視点に基づき設定された注視領域の情報を用いて、前記撮像に係る制御を行う情報処理方法である。
　このような情報処理方法によっても、上記した本技術に係る情報処理装置と同様の作用が得られる。

　また、本技術に係る記録媒体は、コンピュータ装置が読み取り可能なプログラムが記録された記録媒体であって、実空間上における撮像の対象範囲である撮像範囲を含む所定範囲を対象とした測距結果を示す測距情報と、ユーザの視線及び目位置の推定情報とに基づいて前記実空間上における前記ユーザの注視点を検出し、前記注視点に基づき設定された注視領域の情報を用いて、前記撮像に係る制御を行う処理を、前記コンピュータ装置に実行させるプログラムが記録された記録媒体である。
　このような記録媒体により、上記した本技術に係る情報処理装置を実現可能となる。

本技術に係る第一実施形態としての情報処理装置の構成例を示したブロック図である。測距情報（距離画像）に基づく三次元マップの生成手法についての説明図である。注視領域の設定例についての説明図である。注視領域の抽出画像を表示する例の説明図である。注視物体がフレームアウトしそうになった場合の撮像範囲と注視領域との関係を例示した図である。注視物体がフレームアウトしそうになった場合の表示例についての説明図である。注視点が撮像画像内に存在しない場合の表示例についての説明図である。注視領域の段階的変化制御の第一例についての説明図である。注視領域の段階的変化制御の第二例についての説明図である。別物体の注視領域への切り替えを行う際の表示遷移の例を示した図である。第一実施形態における撮像画像の記録に係る処理例を示したフローチャートである。図１１に示す注視点検出・設定処理のフローチャートである。第一実施形態における撮像画像の表示に係る処理例を示したフローチャートである。第二実施形態としての情報処理装置の構成例を示したブロック図である。第二実施形態における撮像画像の記録に係る処理例を示したフローチャートである。図１５に示す注視点検出・設定処理のフローチャートである。

　以下、添付図面を参照し、本技術に係る実施形態を次の順序で説明する。
＜１．第一実施形態＞
（1-1．情報処理装置の構成例）
（1-2．第一実施形態としての撮像制御手法）
（1-3．処理手順）
＜２．第二実施形態＞
＜３．変形例＞
＜４．実施形態のまとめ＞
＜５．本技術＞

＜１．第一実施形態＞
（1-1．情報処理装置の構成例）
　図１は、本技術に係る第一実施形態としての情報処理装置１の構成例を示したブロック図である。
　ここでは、情報処理装置１がスマートフォンとしての装置形態を採る前提で説明を行うが、後述もするように本技術に係る情報処理装置としてはスマートフォン以外の装置形態も採り得るものである。

　図１において、情報処理装置１は、自己位置・姿勢推定部２、測距部３、カメラ部４、演算部５、視線・目位置推定部６、表示部７、メモリ部８、及び操作部９を備えている。

　自己位置・姿勢推定部２は、情報処理装置１の自己位置及び姿勢を推定する。本例において自己位置・姿勢推定部２は、ＩＭＵ（Inertial Measurement Unit：慣性計測ユニット）を有して構成され、ＩＭＵの検出情報に基づいて情報処理装置１の自己位置及び姿勢を推定する。ここでの自己位置としては、実空間の座標系（ワールド座標系）における位置情報として推定する。また、姿勢の情報としては、情報処理装置１のヨー、ピッチ、ロールの各方向の傾きを示す情報を検出する。

　測距部３は、実空間上における所定範囲を対象とした測距結果を示す測距情報を得る。ここでは、測距部３は、ＬｉＤＡＲ（Light Detection and Ranging）方式の一種であるＴｏＦ（Time of Flight）方式による測距を行う例とする。公知のようにＴｏＦ方式では、測距対象とする空間に対して例えば赤外光等の所定波長帯の光を投光し、対象からの反射光を受光した結果に基づき、測距が行われる。このとき、測距センサとしては、受光素子を有する画素が二次元配列されたセンサが用いられる。この場合の測距処理としては、画素ごとに、受光信号に基づく所定演算を行って、対象までの距離を画素ごとに求める処理となる。換言すれば、画素ごとに対象までの距離を示す画像である距離画像を得る処理として行われるものである。

　ここで、測距部３が実空間上で測距を行う対象とする上記の所定範囲は、少なくともカメラ部４による撮像の対象範囲である撮像範囲を含む範囲となるように定められている。換言すれば、少なくともカメラ部４の撮像範囲内に存在する物体については測距結果が得られるように図られている。

　カメラ部４は、ＣＣＤ（Charge Coupled Devices）型イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）型イメージセンサ等のイメージセンサを備えて構成され、撮像画像を得る。本例において、カメラ部４が備えるイメージセンサは、ＲＧＢ画像を得るためのＲＧＢセンサとして構成される。ＲＧＢ画像とは、画素ごとにＲ（赤色）の輝度値、Ｇ（緑色）の輝度値、Ｂ（青色）の輝度値を示す画像（カラー画像）を意味する。

　カメラ部４には、撮像を行うためのレンズ等の各種光学素子が配置された撮像光学系が設けられ、被写体からの光が該撮像光学系を介してイメージセンサの受光面において受光される。撮像光学系には、フォーカシング（ピント位置調整）のためのフォーカスレンズや、絞り等の光学素子が設けられる。なお、撮像光学系には、ズーミングのためのズームレンズが設けられる場合もある。

　また、カメラ部４には、イメージセンサにより得られた撮像画像について画像信号処理を行う画像信号処理部も設けられる。ここでの画像信号処理としては、例えばイメージセンサから出力されたＲＡＷ画像に対するデモザイク処理や欠陥画素の補間処理、ノイズリダクション処理、ホワイトバンランス調整処理等を挙げることができる。

　ここで、カメラ部４による撮像方向は、後述する表示部７の表示画面７ａが向く方向とは逆方向とされる。

　演算部５は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、及びＲＡＭ（Random Access Memory）等を有するマイクロコンピュータを備えて構成されており、ＣＰＵが上記のＲＯＭやメモリ部８等の所定の記憶装置に記憶されたプログラムに従った処理を実行することで、情報処理装置１の各種機能を実現させる。
　なお、演算部５が実現する各種の機能については後に改めて説明する。

　視線・目位置推定部６は、ユーザの視線及び目位置を推定する。本例において、視線・目位置推定部６は、情報処理装置１に設けられたインナーカメラの撮像画像に基づいてユーザの視線方向、及び目位置を推定する。ここで言うインナーカメラとは、表示部７の表示画面７ａが向く方向と同方向側を撮像するように設けられたカメラを意味する。インナーカメラにより、情報処理装置１を把持するユーザの顔を撮像することが可能となり、該インナーカメラの撮像画像に基づき、ユーザの視線方向、及び目位置を推定することができる。
　ここで、情報処理装置１においては、自己位置・姿勢推定部２によりワールド座標系における情報処理装置１の位置及び姿勢が推定されるため、これら情報処理装置１の位置及び姿勢の情報と、インナーカメラのカメラパラメータ（焦点距離等）とに基づき、インナーカメラの撮像画像で検出されたユーザの目についての、ワールド座標系での位置を推定することができる。

　なお、ユーザの視線及び目位置を推定するための構成としては、上記のようにインナーカメラを用いる構成に限定されるものではない。例えば、視線検出用のカメラを有する頭部装着型装置をユーザの頭部に装着させてユーザの視線方向、及び目位置を推定する構成も考えられる（この場合、視線・目位置推定部６は、情報処理装置１とは別体とされる）。頭部装着型装置とすることで、視線方向は、ユーザの目の近傍に配置されたカメラによる撮像画像に基づき推定することができる。また、頭部装着型装置とした場合、ユーザの目位置については、視線推定用のカメラの位置として推定することが考えられる。或いは、目位置については、大まかにユーザの頭部位置として推定することも可能であり、その場合には、視線推定用のカメラの位置ではなく、当該頭部装着型装置が推定した自己位置をユーザの目位置の推定結果として用いることも可能である。

　表示部７は、例えばＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro-Luminescence）ディスプレイ等の画像表示が可能なディスプレイを有して構成され、演算部５からの指示に基づく各種の情報表示を行う。例えば表示部７は、演算部５の指示に基づいて、カメラ部４による撮像画像をスルー画として表示画面７ａ上に表示する。ここで言う「スルー画」とは、撮像中の画像を使用者に確認させるための画像を意味する。
　また表示部７は、演算部５の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を行う。

　メモリ部８は、例えばフラッシュメモリやＨＤＤ（Hard Disk Drive）等の不揮発性のメモリで構成され、情報処理装置１で扱われる各種データの記憶に用いられる。特に本例において、メモリ部８は、カメラ部４による撮像画像の記録先メモリとして用いられる。

　操作部９は、情報処理装置１が有する各種の操作子や操作デバイスを包括的に示したものである。操作部９としては、例えばキー、ダイヤル、タッチパネル、タッチパッド、リモートコントローラ等の各種の操作子や操作デバイスが想定される。ここで言うタッチパネルは、表示部７の表示画面７ａ上に対するタッチ操作を検出可能に構成されたものを意味する。
　操作部９によりユーザの操作が検知され、入力された操作に応じた信号は演算部５によって解釈される。

　演算部５が有する実施形態としての各種機能について説明する。
　図１に示すように演算部５は、制御部５０、三次元マップ生成部５１、注視点検出部５２、視線ベクトル計算部５３、及び注視領域設定部５４としての機能を有する。
　三次元マップ生成部５１は、測距部３により得られた測距情報、つまり本例では距離画像と、自己位置・姿勢推定部２が推定した自己位置及び姿勢の情報とに基づき、前記した所定範囲についての三次元マップを生成する。ここでの三次元マップは、距離画像における各画素が捉えた物体（点）ごとに、実空間としての三次元空間上における位置をワールド座標系の座標情報（Ｘ，Ｙ，Ｚ）により示した情報である。

　図２を参照し、距離画像に基づく三次元マップの生成手法について説明する。
　先ず、図示のように距離画像の座標系を（ｕ，ｖ）座標系とする。
　測距部３が測距の対象とする範囲内に物体Ｏｂが存在する場合、距離画像には、この物体Ｏｂが捉えられる。実空間上における物体Ｏｂ上の或る点を点Ｐ１とする。この点Ｐ１は、距離画像上において点Ｐ２として捉えられる。
　ここで、距離画像上の或る点、換言すれば或る画素（ｕ_ｉ，ｖ_ｊ）で捉えられた実空間上の点の座標（Ｘ_ｉ，Ｙ_ｊ）は、情報処理装置１の自己位置、及び姿勢に基づいて求めることができる。具体的に、情報処理装置１の自己位置、及び姿勢が分かれば、それらの情報から、或る画素（ｕ_ｉ，ｖ_ｊ）の位置をワールド座標系における位置（Ｘ_ｉ，Ｙ_ｊ）に変換するための変換式を求めることができるため、該変換式を用いて、距離画像における各画素の位置（ｕ，ｖ）をワールド座標系における位置（Ｘ，Ｙ）に変換する。
　また、Ｚ方向についても、情報処理装置１の自己位置、及び姿勢が分かれば、それらの情報から、或る画素（ｕ_ｉ，ｖ_ｊ）で測定された距離ｚをワールド座標系におけるＺ方向の座標に変換するための変換式を求めることができる。従って、該変換式を用いて、距離画像における各画素の距離ｚを、ワールド座標系における位置（Ｚ）に変換する。

　例えば上記のような手法により、三次元マップ生成部５１は、測距部３により得られた距離画像と自己位置・姿勢推定部２が推定した自己位置及び姿勢の情報とに基づき、三次元マップを生成する。

　図１において、視線ベクトル計算部５３は、視線・目位置推定部６より入力されたユーザの視線方向の情報に基づき、実空間上でのユーザの視線方向を示すベクトルである視線方向ベクトルを計算し、計算した視線方向ベクトルを注視点検出部５２に出力する。

　注視点検出部５２は、三次元マップ生成部５１が生成した三次元マップと、視線ベクトル計算部５３より入力される視線方向ベクトルと、視線・目位置推定部６が推定したユーザの目位置の情報とに基づき、ユーザの注視点を検出する。具体的に、注視点検出部５２は、三次元マップ上におけるユーザの視線との交点を注視点として検出する。
より具体的に、注視点検出部５２は、視線方向ベクトルとユーザの目位置の情報とに基づき、三次元マップ上（つまりワールド座標系）におけるユーザの視線（目位置から視線方向ベクトルが示す方向に延在する線）を求め、三次元マップにおける該視線との交点を注視点として検出する。
　なお以下、このようにワールド座標系において検出された注視点のことを「三次元注視点Ｐｒ」と表記する。

　注視領域設定部５４は、注視点検出部５２が検出した注視点に基づき、ユーザが注視していることが推定される領域としての注視領域を設定する。本例において、この注視領域としては、少なくとも注視点を内包する領域として設定する。

　ここで、本例における注視領域設定部５４は、注視領域としては、ワールド座標系における領域として設定するのではなく、カメラ部４による撮像画像の座標系（以下「カメラ座標系」と表記）における領域として設定する。以下、このようにカメラ座標系における領域として設定される注視領域のことを「注視領域Ａａ」と表記する。
　この注視領域Ａａの設定にあたり、注視領域設定部５４は、注視点検出部５２が検出した三次元注視点Ｐｒを、カメラ座標系における注視点に変換する。この変換は、前述した距離画像の座標系とワールド座標系との間の位置変換の手法と同様に、情報処理装置１の自己位置と姿勢の推定情報に基づいて行うことができる。
　以下、カメラ座標系における注視点については「画像上注視点Ｐｉ」と表記する。

　図３を参照し、注視領域Ａａの設定例について説明する。
　図３Ａは、画像上注視点Ｐｉを領域内の中心に位置させるように注視領域Ａａを設定する例である。
　図３Ｂは、いわゆる三分割法に対応した領域内位置に画像上注視点Ｐｉを位置させるように注視領域Ａａを設定する例である。この場合、領域を縦横に三分割する線上や交点に対して画像上注視点Ｐｉを位置させる。

　図３Ａ、図３Ｂ何れの場合も、注視領域設定部５４は、左右上下の各領域端部の位置を画像上注視点Ｐｉからそれぞれ所定距離となる位置とした領域を、注視領域Ａａとして設定することになる。

　ここで、注視領域Ａａ内の何れの位置に注視点を位置させるかや、注視領域Ａａのアスペクト比等については、ユーザ操作に従ってもよい。換言すれば、注視領域Ａａが注視点をどのような構図で捉えるかを、ユーザ操作に基づいて決定するものである。
　その場合、演算部５（例えば制御部５０）は、予め定められた複数の構図から任意の構図を選択する操作の受け付けを行う。そして、注視領域設定部５４は、選択された構図に対応した位置に画像上注視点Ｐｉが位置されるように、選択された構図に対応したアスペクト比による注視領域Ａａの設定を行う。

　図１において、制御部５０は、情報処理装置１の全体制御を行う。例えば、自己位置・姿勢推定部２、測距部３、カメラ部４、及び視線・目位置推定部６についての動作の実行指示や停止指示、表示部７の表示制御、操作部９からの操作入力情報の処理等を行う。

　特に、本実施形態における制御部５０は、注視領域設定部５４が設定した注視領域Ａａの情報を用いて、カメラ部４による撮像に係る制御を行う。
　ここで言う「撮像に係る制御」とは、例えば撮像画像の記録に係る制御や、撮像画像の表示に係る制御や、撮像に係る各種パラメータ、例えばフォーカスやズーム、露出等のパラメータの調整制御等や、撮像に係る各種情報の通知制御等、撮像に関する制御を広く意味するものである。

（1-2．第一実施形態としての撮像制御手法）
　以下、制御部５０が行う撮像に係る制御について説明する。
　該撮像に係る制御として、制御部５０は、カメラ部４により得られる撮像画像の記録に係る制御を行う。具体的に、本例における制御部５０は、カメラ部４により得られる撮像画像と、注視領域Ａａを示す情報とをメモリ部８に記録させる制御を行う。

　これにより、撮像終了後において、記録された注視領域Ａａの情報に基づいて、撮像画像から注視領域を抽出した画像を編集等により容易に作成することが可能となる。また、撮像画像そのものが記録されるため、撮像画像から注視領域を抽出した抽出画像を記録する場合と比較して、撮像時に注視点の検出が失敗した際のリスク低減にもなる。

　また、制御部５０は、撮像に係る制御として、カメラ部４により得られる撮像画像のスルー画に係る表示制御を行う。
　具体的に、制御部５０は、撮像画像内に注視領域Ａａが存在する場合に、撮像画像から注視領域Ａａを抽出した抽出画像がスルー画として表示されるように制御する。
　例えば、図４Ａに示すように、注視領域Ａａが撮像画像内に存在することが確認されたことに応じて、制御部５０は、図４Ｂに示すように、表示画面７ａ上に、撮像画像から注視領域Ａａを抽出した抽出画像がスルー画として表示されるように制御する。図４Ｂでは、抽出画像を拡大して、表示画面７ａ上に全画面表示する例を示している。

　上記のように抽出画像をスルー画として表示画面７ａ上に表示することで、注視領域Ａａの情報に従って抽出される画像のイメージをユーザに確認させることができる。
　また、抽出画像を拡大表示することで、抽出画像の視認性を高めることができる。

　ここで、制御部５０は、上記のような注視領域Ａａの抽出表示が行われている状態において、ユーザが表示画面７ａを一定時間以上目視した場合には、抽出表示を解除する。すなわち、撮像画像の全体が表示画面７ａに収まるように表示部７に撮像画像を表示させる。このとき、表示画面７ａには、注視領域Ａａの範囲を示す枠を表示させることが望ましい。
　ユーザが表示画面７ａを一定時間以上目視したか否かの判定は、例えば視線・目位置推定部６によるユーザの視線方向の推定結果に基づき行うことができる。

　ここで、「ながら撮像」を前提とした場合、抽出表示中にユーザが表示画面７ａを一定時間以上目視した場合には、撮像対象としたい物体を捉え続けることができるかについてユーザが不安を抱いていると推定することができる。よって、上記のようにユーザが表示画面７ａを一定時間以上目視した場合には、抽出表示から撮像画像全体の表示に切り替えることで、撮像対象としたい物体が撮像範囲内のどこに位置しているかをユーザに確認させる。これにより、ユーザの不安の解消を図ることができる。

　また、制御部５０は、注視領域Ａａが撮像画像の端部に対して所定距離以内に近づいた場合に、ユーザに対して通知情報が表示されるように制御する。これは、ユーザが注視する物体（注視物体）がフレームアウトしそうになったことに応じて、その旨をユーザに通知する制御と換言できる。

　図５では、ユーザの注視物体とカメラ部４の撮像範囲との相対的な位置関係の変化に応じて、注視物体が撮像範囲の左下端部に近づくことで、注視領域Ａａが撮像画像の左下端部に近づいた例を示している。

　このように注視領域Ａａが撮像画像の端部に対して近づいた場合、制御部５０は、図６Ａに示すように注視領域Ａａの抽出表示を行っていた状態から、図６Ｂに示すように抽出表示を解除して、撮像画像全体が表示画面７ａ上に表示されるように制御する。
　またこれと共に制御部５０は、表示画面７ａ上に、注視物体がフレームアウトしそうである旨を通知するためのメッセージ画像Ｍ１を表示させる。さらに本例の場合、制御部５０は、表示画面７ａ上に注視領域Ａａの範囲を示す領域枠Ｗａを表示させる。

　また、制御部５０は、注視点が撮像画像内に存在しない場合は、特定画像が表示されるように制御する。
　具体的に、本例における制御部５０は、注視点が撮像画像内に存在しない場合は、例えば図７に例示するようなメッセージ画像Ｍ２、及び方向通知画像Ｉ１が表示画面７ａ上に表示されるように制御する。メッセージ画像Ｍ２は、少なくとも注視物体が撮像範囲からフレームアウトした旨をユーザに通知するためのメッセージ情報を含む画像である。
　また、方向通知画像Ｉ１は、注視物体がフレームアウトした方向をユーザに通知するための画像であり、図中では注視物体のフレームアウト方向を示す矢印を含む画像とした例を示している。本例では、メッセージ画像Ｍ２には、方向通知画像Ｉ１の矢印が示す方向に注視物体がフレームアウトした旨を通知するメッセージ情報を含ませている。

　なお、注視物体がフレームアウトしそうである旨の通知や、フレームアウトした旨の通知については、上記で例示したような視覚情報による通知に限定されるものではなく、例えば音（聴覚情報）による通知や振動等の触覚情報による通知を行うことも考えられる。
　また、フレームアウト方向の通知に関しても、方向通知画像Ｉ１のような視覚情報による通知に限らず、聴覚情報や触覚情報による通知を行うことも考えられる。

　また、制御部５０は、注視物体の切替に係る制御を行う。すなわち、制御部５０は、注視点検出部５２による複数回の注視点検出結果に基づき、注視点が別物体に移動したか否かの推定を行い、注視点が別物体に移動したと推定した場合に、注視点検出部が新たに検出した注視点に基づく注視領域Ａａを撮像に係る制御に用いる注視領域Ａａとして適用する切替処理を行う。

　第一実施形態において、注視点が別物体に移動したか否かの推定は、新たな三次元注視点Ｐｒが検出された場合に、該新たな三次元注視点Ｐｒが、直前に適用されていた三次元注視点Ｐｒから所定距離以上離れているか否かの判定として行う。第一実施形態では、撮像画像について物体検出処理を実行しないことから、三次元注視点Ｐｒが存在する物体を特定することができないため、例えばこのような手法により注視点が別物体に移動したかを推定する。

　ここで、本例において制御部５０は、上記のような推定処理で注視点が別物体に移動したと推定されたのみでは、切替処理を実行しない。具体的に、制御部５０は、注視点が別物体に移動したと推定したことを第一条件としたとき、第一条件と、第一条件とは異なる第二条件とが満たされた場合に切替処理を行う。

　ここで、第二条件としては、注視点が別物体にあると推定される状態が一定時間以上経過したとの条件とすることが考えられる。
　この場合、制御部５０は、上述した推定処理により三次元注視点Ｐｒが別物体に移動したと推定した場合に、この推定のタイミングで検出された三次元注視点Ｐｒを基準注視点として、その後に検出される三次元注視点Ｐｒが、基準注視点から所定の距離範囲内にある状態が一定時間以上経過したか否かを判定する。例えばこのような判定により、注視点が別物体にあると推定される状態が一定時間以上経過したか否かを判定することができる。
　そして、注視点が別物体にあると推定される状態が一定時間以上経過したと判定したことに応じて、上記の切替処理を行う。

　或いは、第二条件としては、撮像方向が別物体の存在する方向に向けられたとの条件とすることも考えられる。
　この場合、制御部５０は、上述した推定処理により三次元注視点Ｐｒが別物体に移動したと推定した場合に、例えば自己位置・姿勢推定部２により推定される情報処理装置１の自己位置及び姿勢の情報に基づき、カメラ部４の撮像方向が別物体の存在する方向に向けられているか否かを判定し、該判定により肯定結果が得られたことに応じて、上記の切替処理を行う。

　また、制御部５０は、注視点が別物体にあると推定された場合の注視領域Ａａの切替について、次のような制御も行う。
　すなわち、制御部５０は、別物体の注視領域Ａａに切り替えを行う際、注視領域Ａａの位置、サイズの少なくとも一方を段階的に変化させる制御を行う。

　図８及び図９を参照して、このような注視領域Ａａの段階的変化制御の例を説明する。
　図８は、注視領域Ａａの段階的変化制御の第一例についての説明図である。
　ここでは、切替元の注視物体を物体Ｏｂ１、切替先の注視物体を物体Ｏｂ２とする。
　この場合、制御部５０は、図８Ａから図８Ｃの遷移として示すように、注視領域Ａａの位置を、切替元の物体Ｏｂ１に設定されていた注視領域Ａａから、切替先の物体Ｏｂ２に対応する注視領域Ａａの位置まで段階的に変化させる。この段階的な注視領域Ａａの位置変化過程において、注視領域Ａａのサイズについては不変としてもよいし変化させてもよい。

　図９は、注視領域Ａａの段階的変化制御の第二例についての説明図である。
　この場合、制御部５０は、図９Ａから図９Ｃの遷移として示すように、注視領域Ａａのサイズを、一旦、切替元の物体Ｏｂ１と切替先の物体Ｏｂ２の双方を包含するサイズに拡大させた上で、切替先の物体Ｏｂ２に対応する注視領域Ａａに変化させる。
　第一実施形態において、図９Ｂのように物体Ｏｂ１と物体Ｏｂ２の双方を包含する注視領域Ａａのサイズとしては、少なくとも、前述した第一条件の成立直前に適用されていた注視点と、第一及び第二条件の双方の成立タイミングに対応する注視点の検出タイミングで検出された注視点とが包含されるサイズとして定めればよい。
　なお、確認のため述べておくと、図９Ｃに示す物体Ｏｂ２に対応する注視領域Ａａのサイズは、本例ではユーザにより予め選択された構図の情報に基づくサイズとなる。

　上記の第一例及び第二例として例示したように、別物体の注視領域Ａａへの切り替えを行うにあたり注視領域Ａａの位置、サイズの少なくとも一方を段階的に変化させるようにすることで、注視領域が急激に変化してしまうことの防止を図ることが可能となる。
　従って、撮像画像における注視領域を抽出して得られる抽出画像をユーザに提供する場合において、該抽出画像の画像内容が急激に変化してしまうことの防止を図ることができ、該注視画像を表示した場合の違和感の緩和を図ることができる。

　また、制御部５０は、上記のような別物体の注視領域Ａａへの切り替えを、表示部７の表示画像にも反映させる。
　図１０は、別物体の注視領域Ａａへの切り替えを行う際の表示遷移の例を説明するための図である。ここでは、図８のように注視領域Ａａの位置を段階的に変化させる場合を前提とした例で説明するが、図９のようにサイズを段階的に変化させる場合にも同様に表示に反映させることができる。

　先ず、前述した第一条件及び第二条件が非成立の状態では、注視領域Ａａは切替元の物体Ｏｂ１に対応して設定されている。前述のように本例では、注視領域Ａａが設定された場合には、注視領域Ａａの抽出画像が表示されるため、第一条件及び第二条件が非成立の状態では、図１０Ａに示すように、物体Ｏｂ１に対応する注視領域Ａａの抽出画像が表示画面７ａに表示されている。

　そして、第一条件及び第二条件の双方が成立した場合、制御部５０は、注視領域Ａａの抽出表示を解除し、すなわち撮像画像全体の表示状態とし、図１０Ｂのように物体Ｏｂ１に対応した注視領域Ａａを示す領域枠Ｗａを撮像画像に重畳表示させる。

　その後、制御部５０は、図８で説明した注視領域Ａａの位置遷移と同様の位置遷移となるように、表示画面７ａ上での（撮像画像上での）領域枠Ｗａの表示位置を遷移させる（図１０Ｂから図１０Ｄの遷移を参照）。そして、このような領域枠Ｗａの表示位置の遷移が完了したことに応じて、図１０Ｅに示すように、遷移完了時の注視領域Ａａの抽出画像を、表示画面７ａに表示させる。

（1-3．処理手順）
　図１１から図１３のフローチャートを参照し、上記した第一実施形態としての撮像制御手法を実現するための具体的な処理手順例を説明する。
　なお、これら図１１から図１３に示す処理は、演算部５のＣＰＵが例えば演算部５におけるＲＯＭやメモリ部８等の所定の記憶装置に記憶されたプログラムに基づき実行する。なお以下、処理の実行主体については演算部５と表記する。

　図１１は、撮像画像の記録に係る処理を示したフローチャートである。なお、ここでは、撮像画像は動画像であり、動画像についての記録を行う場合を例示する。
　先ず、演算部５はステップＳ１０１で、アプリ起動条件成立を待機する。ここで言うアプリ（アプリケーションプログラム）は、上述した第一実施形態としての撮像制御手法を実現するためのアプリであり、演算部５はステップＳ１０１で、該アプリの起動操作等、予め定められたアプリの起動条件が成立するまで待機する。

　ステップＳ１０１でアプリ起動条件が成立したと判定した場合、演算部５はステップＳ１０２に進み、測距、自己位置・姿勢、及び視線・目位置の推定の開始処理を行う。すなわち、測距部３による測距（本例では距離画像の生成）、自己位置・姿勢推定部２による情報処理装置１の自己位置及び姿勢の推定、及び視線・目位置推定部６によるユーザの視線及び目位置の推定を開始させる処理である。

　ステップＳ１０２に続くステップＳ１０３で演算部５は、注視点検出・設定処理を実行する。このステップＳ１０３の注視点検出・設定処理は、三次元注視点Ｐｒの検出や、撮像に係る制御に適用する三次元注視点Ｐｒの設定を行う処理となる。

　図１２は、ステップＳ１０３の注視点検出・設定処理を示したフローチャートである。
　先ず、演算部５はステップＳ１５０で、測距情報、及び自己位置・姿勢の情報に基づき、三次元マップを生成する。すなわち、測距部３により得られる測距情報（距離画像）、及び自己位置・姿勢推定部２により得られる情報処理装置１の自己位置及び姿勢の情報に基づき、前述した手法により三次元マップを生成する。

　ステップＳ１５０に続くステップＳ１５１で演算部５は、三次元マップ、視線ベクトル、目位置の情報に基づき、三次元注視点検出処理を実行する。すなわち、ステップＳ１５０で生成した三次元マップと、自己位置・姿勢推定部２により推定された情報処理装置１の自己位置及び姿勢の情報と、視線・目位置推定部６により推定されたユーザの視線及び目位置の情報とに基づき、三次元マップ上におけるユーザの視線との交点を三次元注視点Ｐｒとして検出する。

　ステップＳ１５１に続くステップＳ１５２で演算部５は、注視点が検出されたか否かを判定する。すなわち、ステップＳ１５１の検出処理によって三次元注視点Ｐｒが検出されたか否かを判定する。

　ステップＳ１５２において、注視点が検出されたと判定した場合、演算部５はステップＳ１５３に進み、前回の設定注視点から離れているか否かを判定する。
　ここで、設定注視点とは、撮像に係る制御に適用する三次元注視点Ｐｒを意味する。検出された三次元注視点Ｐｒと設定注視点とを区別するのは、本例では、検出された三次元注視点Ｐｒを直ちに撮像に係る制御に適用する注視点とすべきでないことによる。例えば、前述した注視領域Ａａの切り替えの際には注視領域Ａａの位置を段階的に変化させるため、注視点は、検出された注視点とは異なる注視点に設定すべき状態が生じる。このため本例では、設定注視点として、撮像に係る制御に適用する注視点を検出された注視点とは異なる注視点に設定可能としている（ステップＳ１５４、Ｓ１５６、Ｓ１５９等を参照）。

　ステップＳ１５３においては、今回のステップＳ１５１の処理で検出された三次元注視点Ｐｒが、前回の設定注視点から所定距離以上離れているか否かの判定を行う。これは、前述した別物体への注視領域Ａａの切り替えに係る第一条件の成立判定を行っていることに相当する。

　ステップＳ１５３において、今回のステップＳ１５１の処理で検出された三次元注視点Ｐｒが、前回の設定注視点から所定距離以上離れておらず、前回の設定注視点から離れていないとの判定結果を得た場合、演算部５はステップＳ１５４に進み、今回の注視点として、検出された注視点を設定する。すなわち、今回の設定注視点として、今回のステップＳ１５１の処理で検出された三次元注視点Ｐｒを設定する。
　ステップＳ１５４の処理を実行した場合、演算部５はステップＳ１０３の注視点検出・設定処理を終える。

　また、先のステップＳ１５２において、注視点が検出されなかったと判定した場合、演算部５はステップＳ１５５に処理を進め、注視点非検出の状態が一定時間以上継続したか否かを判定する。ステップＳ１５１の処理で連続して三次元注視点Ｐｒが検出されない状態が一定時間以上経過したか否かを判定する。

　ステップＳ１５５において、注視点非検出の状態が一定時間以上継続していないと判定した場合、演算部５はステップＳ１５６に進み、前回の設定注視点を今回の注視点として設定する。これにより、例えばユーザの視線や目位置の推定に失敗した場合等、何らかの要因により注視点が非検出となったとしても、その状態が瞬間的なものであれば、前回の設定注視点が引き継がれるものとなり、瞬間的な注視点のロストに反応して注視点が設定される状態と非設定の状態とが頻繁に切り替わってしまうことの防止を図ることができる。
　ステップＳ１５６の処理を実行した場合、演算部５はステップＳ１０３の注視点検出・設定処理を終える。

　一方、ステップＳ１５５において、注視点非検出の状態が一定時間以上継続したと判定した場合、演算部５はステップＳ１５７に進んで注視点なしと設定し、ステップＳ１０３の注視点検出・設定処理を終える。

　また、先のステップＳ１５３において、前回の設定注視点から離れていると判定した場合（切り替えの第一条件が成立した場合）、演算部５はステップＳ１５８に進み、注視点切替条件成立か否かを判定する。すなわち、前述した第二条件が成立したか否かを判定する。具体的に本例では、注視点が別物体にあると推定される状態が一定時間以上経過したか否か、又は、カメラ部４の撮像方向が別物体の存在する方向に向けられているか否かを判定する。

　ステップＳ１５８において、注視点切替条件が成立していないと判定した場合、演算部５はステップＳ１５９に進み、前回の設定注視点を今回の注視点として設定し、ステップＳ１０３の注視点検出・設定処理を終える。つまりこの場合、別物体の注視領域Ａａへの切り替えは行われない。

　一方ステップＳ１５８において、注視点切替条件が成立していないと判定した場合、演算部５はステップＳ１６０に進み、注視点の切替処理を実行する。すなわち、先の図８や図９を参照して説明した態様で注視領域Ａａの位置やサイズが段階的に変化されるように、三次元注視点Ｐｒの位置を、現状の設定注視点の位置から、今回のステップＳ１５１の処理で検出された三次元注視点Ｐｒの位置まで段階的に変化させる処理を行う。このとき、演算部５は、三次元注視点Ｐｒを変化させるごとに、変化後の三次元注視点Ｐｒを設定注視点として設定する。三次元注視点Ｐｒが設定されると、その三次元注視点Ｐｒに基づく注視領域Ａａが後述するステップＳ１１４（図１１）で設定された上で、ステップＳ１１５で該注視領域Ａａを示す注視領域情報がメモリ部８に記録されることになる。

　演算部５は、ステップＳ１６０の処理を実行したことに応じ、ステップＳ１０３の注視点検出・設定処理を終える。

　説明を図１１に戻す。
　演算部５は、ステップＳ１０３の注視点検出・設定処理を実行したことに応じ、ステップＳ１０４に処理を進める。
　ステップＳ１０４で演算部５は、録画中フラグがＯＮであるか否かを判定する。録画中フラグは、カメラ部４による撮像画像（本例では動画像）についての録画ステータスを示すフラグであり、ＯＮが録画中を、ＯＦＦが非録画中を示す。録画中フラグは、後述するステップＳ１０９で録画開始に応じてＯＮされる。
　このステップＳ１０４の処理を設けることで、録画開始前の状態において注視領域Ａａを設定することが可能となり、録画開始前の表示画面７ａ上において注視領域Ａａの抽出画像を表示したり、注視領域Ａａを示す領域枠Ｗａを表示したりすることが可能となる。

　ステップＳ１０４において、録画中フラグがＯＮでないと判定した場合、演算部５はステップＳ１０５に処理を進める。
　図中、ステップＳ１０５からＳ１０８の処理により、演算部５は、次フレーム開始、録画開始、録画終了、アプリ終了の何れかを待機するようにされる。ここでのフレームは、撮像画像のフレームを意味する。
　具体的に、ステップＳ１０５で演算部５は、次フレーム開始か否かを判定し、次フレーム開始でないと判定とした場合は、ステップＳ１０６で録画開始か否か、すなわち、例えばユーザによる録画開始操作等の所定条件が成立したか否かを判定する。ステップＳ１０６において、録画開始ではないと判定した場合、演算部５はステップＳ１０７に進んで録画終了か否か、すなわち例えばユーザによる録画終了操作等の所定条件が成立したか否かを判定し、録画終了でないと判定した場合は、ステップＳ１０８に進んでアプリ終了か否か、すなわちアプリの終了操作等の所定条件が成立したか否かを判定する。アプリ終了ではないと判定した場合、演算部５はステップＳ１０５に戻る。

　ステップＳ１０６において、録画開始と判定した場合、演算部５はステップＳ１０９に進み、録画中フラグをＯＮとし、続くステップＳ１１０で撮像画像の記録開始のための処理を行う。すなわち、カメラ部４により得られる動画像としての撮像画像のメモリ部８に対する記録を開始させる。
　このステップＳ１１０の記録開始処理を実行したことに応じ、演算部５はステップＳ１０５に戻る。

　また、ステップＳ１０７において、録画終了と判定した場合、演算部５はステップＳ１１１に進み、撮像画像の記録終了のための処理、すなわち、ステップＳ１１０で開始した撮像画像の記録を終了させる処理を実行した上で、ステップＳ１１２で録画中フラグをＯＦＦとし、ステップＳ１０５に戻る。

　ステップＳ１０５において、次フレーム開始と判定した場合、演算部５はステップＳ１０３に戻る。これにより、ステップＳ１０３の注視点検出・設定処理はフレームごとに行われる。

　また、先のステップＳ１０４において、演算部５は、録画中フラグがＯＮであると判定した場合は、ステップＳ１１３に処理を進めて、注視点が設定されたか否かを判定する。すなわち、ステップＳ１０３の注視点検出・設定処理により、三次元注視点Ｐｒが設定されたか否かを判定する。

　ステップＳ１１３において、注視点が設定されたと判定した場合、演算部５はステップＳ１１４に進み、注視領域Ａａの設定を行う。すなわち、注視領域設定部５４として説明したように、設定された三次元注視点Ｐｒを画像上注視点Ｐｉに変換し、画像上注視点Ｐｉに基づいて、ユーザの選択した構図に従った注視領域Ａａを設定する処理を行う。

　ステップＳ１１４に続くステップＳ１１５で演算部５は、注視領域情報を記録する処理を行う。すなわち、ステップＳ１１４で設定した注視領域Ａａを示す情報、具体的には、例えば注視領域Ａａの中心座標と範囲情報とをメモリ部８に記録させる処理を行う。
　これにより、録画中は、メモリ部８に対して撮像画像と共に注視領域Ａａを示す注視領域情報が記録される。

　演算部５は、ステップＳ１１５の処理を実行したことに応じて、ステップＳ１０５に戻る。これにより、録画が継続中の状態では、フレームごとにステップＳ１０３の注視点検出・設定処理が行われ、注視点が設定されれば、ステップＳ１１４及びＳ１１５の処理が行われることで、設定された注視点に応じた注視領域Ａａの情報が、そのフレームに対応する注視領域Ａａの情報として記録されるようにすることができる。

　一方、ステップＳ１１３において、注視点が設定されなかったと判定した場合、演算部５はステップＳ１１４及びＳ１１５の処理をパスしてステップＳ１０５に戻る。
　これにより、録画が継続中の状態において、注視点が設定されなかったフレームについては、注視領域Ａａの情報が記録されない。

　演算部５は、先のステップＳ１０８でアプリ終了と判定したことに応じて、図１１に示す一連の処理を終える。

　図１３は、撮像画像の表示に係る処理のフローチャートである。
　演算部５は、アプリ起動中においては、図１１に示した処理と並行して図１３に示す処理を実行する。

　図１３において、演算部５はステップＳ２０１で、注視点が設定されるまで待機する。すなわち、図１１におけるステップＳ１０３の注視点検出・設定処理により三次元注視点Ｐｒが設定されるまで待機する。

　ステップＳ２０１において、注視点が設定されたと判定した場合、演算部５はステップＳ２０２に進み、注視領域Ａａの抽出表示を行う。すなわち、注視点が設定されたことに応じて、先の図４に例示したように注視領域Ａａの抽出表示が表示画面７ａ上に行われるようにする。
　なお、ステップＳ２０２について、現在が録画中であり図１１のステップＳ１１４で注視領域Ａａの設定処理が行われる場合には、該設定処理で設定された注視領域Ａａの情報を用いることができる。現在が非録画中の状態では、ステップＳ２０２では、設定された三次元注視点Ｐｒの情報に基づいて注視領域Ａａを設定する処理を行う。
　ステップＳ２０２の抽出表示処理を実行したことに応じ、演算部５はステップＳ２０３に処理を進める。

　図中のステップＳ２０５からＳ２０６の処理により、演算部５は、注視領域Ａａが撮像画像の端部に近づく、ユーザが画面を一定時間以上見ている、注視点切替、アプリ終了の何れかの状態となるまで待機するようにされる。
　具体的に、ステップＳ２０３で演算部５は、注視領域Ａａが撮像画像の端部に近づいたか否か、すなわち、前述のように注視領域Ａａが撮像画像の端部に対して所定距離以内に近づいたか否かを判定する処理を行い、注視領域Ａａが撮像画像の端部に近づいていないと判定した場合は、ステップＳ２０４に進み、ユーザが画面を一定時間以上見ているか、すなわち前述のように視線・目位置推定部６により推定されたユーザの視線方向の情報に基づいてユーザが表示画面７ａを一定時間以上目視しているか否かを判定する処理を行う。また演算部５は、ステップＳ２０４においてユーザが画面を一定時間以上見てないと判定した場合は、ステップＳ２０５に進み、注視点切替か否か、すなわち、先の図１２におけるステップＳ１５８で注視点切替条件が成立したと判定されたか否かを判定し、注視点切替でないと判定した場合はステップＳ２０６に進んでアプリ終了か否かを判定する。ステップＳ２０６において、アプリ終了であると判定した場合、演算部５はステップＳ２０３に戻る。

　ステップＳ２０３において、注視領域Ａａが撮像画像の端部に近づいたと判定した場合、演算部５はステップＳ２０７に進み、抽出表示を解除し、注視領域Ａａの枠を表示するための処理を行う。すなわち、ステップＳ２０２で開始された注視領域Ａａの抽出表示を解除して表示画面７ａに撮像画像全体が表示されるようにすると共に、該撮像画像に重畳して領域枠Ｗａを表示させる（図６参照）。このとき、領域枠Ｗａとしては、現在設定中の三次元注視点Ｐｒに基づき設定した注視領域Ａａを示す領域枠Ｗａが表示されるようにする。

　そして、演算部５は、ステップＳ２０７に続くステップＳ２０８で、フレームアウト警告通知を行う。すなわち、少なくとも表示画面７ａ上に図６Ｂで例示したようなメッセージ画像Ｍ１を表示させる処理を行う。なお、ステップＳ２０８の警告通知としては、音や振動等、画面表示以外の手法による通知が行われるようにすることもできる。

　ステップＳ２０８に続くステップＳ２０９で演算部５は、注視点が非設定となったか否かを判定する。すなわち、先の図１２のステップＳ１５７が実行されて三次元注視点Ｐｒが非設定の状態となったか否かを判定する。

　ステップＳ２０９において、注視点が非設定となっていないと判定した場合、演算部５はステップＳ２１０に進み、抽出表示条件が成立したか否かを判定する。ここでの抽出表示条件としては、例えば、注視領域Ａａの撮像画像の端部に対する距離が所定距離以上に戻った等の条件を設定することが考えられる。
　ステップＳ２１０で抽出表示条件が成立していないと判定した場合、演算部５はステップＳ２０８に戻る。これにより、注視領域Ａａの撮像画像の端部に対する距離が所定距離以上に戻った等、抽出表示条件が成立するまでの間は、注視物体がフレームアウトせずステップＳ２０９で注視点が非設定となったと判定されない限り、抽出表示が解除された状態が継続すると共にフレームアウト警告通知が継続して行われる。

　一方、ステップＳ２１０において抽出表示条件が成立したと判定した場合、演算部５は先のステップＳ２０２に戻る。つまり、ステップＳ２１０の抽出表示条件が成立した場合は、注視領域Ａａの抽出表示状態に戻る。

　また、ステップＳ２０９において、注視点が非設定となったと判定した場合、演算部５はステップＳ２１１に進み、フレームアウト表示処理を実行する。すなわち、先の図７で例示したようなメッセージ画像Ｍ２や方向通知画像Ｉ１を表示画面７ａ上に表示させる処理を行う。

　演算部５は、ステップＳ２１１のフレームアウト表示処理を実行したことに応じ、ステップＳ２０１に戻る。これにより、注視物体がフレームアウトして注視点が非設定の状態となった以降は、新たに注視点が設定されるまで待機することになる。

　また、演算部５は、先のステップＳ２０４でユーザが画面を一定時間以上見ていると判定した場合は、ステップＳ２１２に処理を進めて、抽出表示を解除する。
　そして、ステップＳ２１２に続くステップＳ２１３で演算部５は、抽出表示条件が成立するまで待機する。このステップＳ２１３の抽出表示条件としては、例えばユーザが表示画面７ａ上を見ていない状態となるとの条件とすることが考えられる。
　ステップＳ２１３で抽出表示条件が成立したと判定した場合、演算部５はステップＳ２０２に戻る。

　また、演算部５は、ステップＳ２０５で注視点切替と判定した場合は、ステップＳ２１４に処理を進めて、抽出表示を解除する。これにより、先の図１０Ａから図１０Ｂへの遷移として例示したように、別物体の注視領域Ａａへの切り替えを行うべき状態となった場合に対応して、表示画面７ａの表示を、注視領域Ａａの抽出表示状態から撮像画像全体の表示へと切り替えることができる。

　ステップＳ２１４に続くステップＳ２１５で演算部５は、切替表示処理を実行する。すなわち、先の図１０で例示したように、領域枠Ｗａの位置を段階的に変化させる処理である。具体的に演算部５は、領域枠Ｗａの位置を、前述した第一条件（図１２のステップＳ１５３の条件）の成立直前に設定されていた注視点に対応する位置から、第一及び第二条件の双方の成立タイミング（図１２のステップＳ１５８の条件成立タイミング）における検出注視点に対応する位置まで段階的に変化させる処理を行う。なお、領域枠Ｗａのサイズを段階的に変化させる場合は、図９と同様の手法で、領域枠Ｗａのサイズを段階的に変化させる。

　ステップＳ２１５の切替表示処理を実行したことに応じ、演算部５はステップＳ２０２に戻る。これによりステップＳ２１５の切替表示処理が完了した場合、すなわち領域枠Ｗａを最終段階の状態に変化させたことに応じては、先の図１０Ｅで例示したように、注視領域Ａａの抽出画像が表示画面７ａに表示される。

　演算部５は、ステップＳ２０６でアプリ終了と判定したことに応じて、図１３に示す一連の処理を終える。

　ここで、上記により説明した処理によれば、注視点はフレームごとに検出されるものとなるので、手ぶれ等で撮像範囲が変化しても、注視領域Ａａはぶれないようにすることができる。
　また、本実施形態では、注視点を基準として注視領域Ａａを設定するので、注視物体の移動に対して注視領域Ａａを追従させることができ、またその際に、構図としてはユーザが選択した構図で維持されるようにすることができる。

　なお、上記では、注視点が設定されたことに応じて、注視領域Ａａの抽出画像を表示する例を挙げたが、抽出画像を表示することは必須ではない。
　例えば、注視点が設定された場合は、撮像画像全体を表示画面７ａに表示させつつ、該撮像画像に重畳して、領域枠Ｗａを表示させることが考えられる。
　また、このように注視点が設定されも撮像画像全体を表示する場合には、別物体の注視領域Ａａへの切り替えを行う際、切り替え後の注視領域Ａａを示す領域枠Ｗａを表示画面７ａ上に表示させることが考えられる。このとき、切り替え後の注視領域Ａａを示す領域枠Ｗａは、例えば点滅させる等して目立たせることが考えられる。

　また、上記では、注視領域Ａａは、単一の注視点を基準として設定する例を挙げたが、注視領域Ａａは、過去の注視点の検出結果を用いて、注視点の検出頻度が高い領域を含む領域として設定すること等も考えられる。

　また、第一実施形態では、物体検出処理を実行しないため、ユーザの注視する物体の範囲（大きさ）を特定することができない。従って、第一実施形態において、カメラ部４がズーム機能を備える場合には、ズーム操作に連動して注視領域Ａａのサイズを変化させることが考えられる。

　また、上記では、注視点が別物体上に移動したと推定された場合に、前述した第一及び第二条件の成立に応じて自動的に注視領域Ａａの切り替えを行う例としたが、例えば、第一及び第二条件の成立に応じて別物体の注視領域Ａａへの切り替えを行うか否かをユーザに問うメッセージ情報を例えば画像表示等により通知し、該通知に対するユーザ操作に応じて、別物体の注視領域Ａａへの切り替えを行うようにすることもできる。この場合のユーザ操作としては、例えば表示画面７ａへのタッチ操作、音声入力操作等とすることが考えられる。
　このとき、上記の通知に対し、一定時間以上経過してもユーザ操作が行われない場合には、自動的に切り替えを行うことが考えられる。或いは、切替元と切替先の双方の物体が収まる注視領域Ａａを設定することも考えられる。或いは、切り替えを行わないということも考えられる。

　また、上記では、動画記録の場合に対応した処理を説明したが、静止画記録の場合には、例えば、レリーズ操作（例えば、シャッタボタンの操作）が行われたことに応じて、該レリーズ操作のタイミングで検出された注視点から注視領域Ａａを設定し、設定した注視領域Ａａの情報を、レリーズ操作が行われたタイミングで取得された静止画としての撮像画像と共にメモリ部８に記録させればよい。

　また、上記では、撮像画像と共に注視領域Ａａの情報を記録する場合を例示したが、注視領域Ａａを抽出した画像を記録することもできる。
　例えば、撮像画像から注視領域Ａａをトリミングした画像を抽出画像として記録することが考えられる。
　或いは、ズームレンズによる光学的なズーミングが可能とされ、且つパン・チルトの調整が可能とされたいわゆるＰＴＺカメラとしてのカメラ部４が用いられる場合には、光学的ズーミング、パン、チルトにより注視領域Ａａを抽出した抽出画像を得、該抽出画像が記録されるようにすることも考えられる。

＜２．第二実施形態＞
　続いて、第二実施形態について説明する。第二実施形態は、物体検出処理を行うことで、注視物体の範囲を特定可能とするものである。

　図１４は、第二実施形態としての情報処理装置１Ａの構成例を示したブロック図である。
　なお、以下の説明において、既に説明済みとなった部分と同様となる部分については同一符号、同一ステップ番号を付して説明を省略する。

　情報処理装置１Ａにおいて、第一実施形態の情報処理装置１との相違点は、演算部５に代えて演算部５Ａが設けられた点である。演算部５Ａは、演算部５と比較して、物体検出部５５が追加された点と、注視領域設定部５４に代えて注視領域設定部５４Ａが設けられた点が異なる。

　物体検出部５５は、カメラ部４による撮像画像に基づき、物体検出処理を行う。この物体検出処理としては、物体の有無、及び物体の範囲の特定をそれぞれ行う。例えば、物体検出部５５としては、機械学習された人工知能モデルを用いることが考えられる。この人工知能モデルとしては、例えば深層学習によりターゲットとしての物体の有無及びその範囲を特定することができるように学習された学習モデルを用いる。
　なお、物体検出部５５に人工知能モデルを用いることは必須ではなく、例えばテンプレートマッチング等のルールベースの処理で物体検出を行う構成を採ること等も考えられる。

　注視領域設定部５４Ａは、注視点検出部５２が検出した注視点（三次元注視点Ｐｒ）と、物体検出部５５が検出した物体の情報（検出された物体とその範囲を示す情報）とに基づき、注視点を含む物体を注視物体として特定し、注視物体を内包する領域を注視領域Ａａとして設定する。
　この場合も注視領域Ａａの設定は、ユーザ操作により選択された構図の情報に基づいて行う。例えば、注視物体の代表位置（例えば物体範囲の中心位置等）を基準として、先の図３で例示したものと同様の手法で、注視領域Ａａを設定する。

　物体検出処理を行うことで、注視物体の範囲や中心位置を知ることができ、注視物体の一部がはみ出さないように注視領域Ａａを設定することが可能となる
　ここで、注視物体の一部が撮像画像からはみ出している場合、注視領域設定部５４Ａは、はみ出ていない部分の全体が収まるように注視領域Ａａを設定する。

　図１５は、上記のような物体検出部５５及び注視領域設定部５４Ａが設けられる場合に対応して演算部５が実行すべき、撮像画像の記録に係る処理の具体的な処理手順例を示したフローチャートである。
　この図１５に示す処理は、先の図１１に示した処理と比較して、ステップＳ１１４の注視領域の設定処理に代えて、ステップＳ３０１の物体検出処理、及びステップＳ３０２の注視領域の設定処理を行う点と、ステップＳ１０３の注視点検出・設定処理に代えて、ステップＳ１０３’の注視点検出・設定処理を行う点が異なる。

　ステップＳ３０１の物体検出処理は、上述した物体検出部５５として説明した処理であり、重複説明は避ける。

　ステップＳ３０１に続くステップＳ３０２の注視領域の設定処理では、演算部５は、ステップＳ３０１の物体検出処理の結果に基づき、注視領域Ａａの設定を行う。具体的には、ステップＳ１０３’の注視点検出・設定処理（詳細は後述する）で設定された三次元注視点Ｐｒを画像上注視点Ｐｉに変換すると共に、ステップＳ３０１の物体検出処理で検出された物体のうち、この画像上注視点Ｐｉを含む物体を注視物体として特定する。そして、注視物体の中心位置等の代表位置を基準として、ユーザが選択した構図に従った注視領域Ａａを設定する。
　演算部５は、ステップＳ３０２で注視領域Ａａを設定したことに応じて、ステップＳ１１５に処理を進める。

　図１６は、ステップＳ１０３’の注視点検出・設定処理を示したフローチャートである。
　図１２に示したステップＳ１０３の注視点検出・設定処理との相違点は、ステップＳ１５３の処理に代えてステップＳ４０１の処理を行う点である。
　ステップＳ４０１で演算部５は、検出された注視点は注視物体とは別物体上か否かを判定する。すなわち、注視点ベースではなく物体範囲ベースで切替処理の実行条件判定を行うものである。
　これにより、ユーザの注視点が別物体上に移動したか否かを適切に判定することができる。

　なお、表示制御に係る処理については、この場合も図１３に示したものと同様となるため、重複説明は避ける。

　ここで、第二実施形態においても、注視物体が撮像画像からフレームアウトしそうになった場合に通知を行うことになるが、第二実施形態においては、注視物体のみでなく、他の物体も検出することができるため、その特徴を活かしたユーザに対する通知を行うことも考えられる。
　例えば、検出された物体ごとに注視された回数を示す注視履歴情報を生成するようにしておき、該注視履歴情報に基づき、以前に注視していた物体や、再度注視する可能性のある物体が撮像画像からフレームアウトしそうになった場合に、ユーザに通知を行うことが考えられる。

＜３．変形例＞
　以上、本技術に係る実施形態について説明したが、本技術は、上記した具体例に限定されるものでなく、多様な変形例としての構成を採り得る。
　例えば、変形例として、カメラ部４としてのメインカメラ以外に、より広角のセカンダリカメラがある構成を考える。
　この場合、メインカメラの撮像範囲から注視物体がフレームアウトした場合、セカンダリカメラを利用することが考えられる。具体的には、セカンダリカメラに注視物体が捉えられている場合には、セカンダリカメラの撮像画像と共に注視領域Ａａの情報を記録させる等である。
　また、セカンダリカメラを用いる場合の画面表示としては、メインカメラの画像を画面中央に、その外側にセカンダリカメラの画像を表示する等が考えられる。このとき、メインカメラの撮像範囲を示す画枠情報を表示してもよい。
　また、メインカメラ、セカンダリカメラ共に、露出は注視物体に合わせるようにすることが考えられる。

　また、上記では、光学的なズーミングが可能とされる場合には該ズーミングにより抽出画像を生成してもよいことに言及したが、内視鏡カメラ等のようにカメラ自体が移動できる場合は、カメラの移動により抽出画像を生成することも考えられる。

　また、上記では特に触れなかったが、注視物体を対象として、フォーカシングや露出調整、顔検出を行うことが考えられる。これらは、動画の録画中は常時行うことが考えられる。また、静止画の記録モード時や動画モード中における非録画中の状態では、ユーザが画面を注視し且つ情報処理装置１（１Ａ）を持ち上げる等したことに応じて、上記のような注視物体を対象としたフォーカシングや露出調整、顔検出等を開始することが考えられる。

　また、ユーザの視線をロストした場合の対処として、以下が考えられる。
　例えば、視線は推定不能であっても、ユーザの頭部の向きが推定できる場合は、該頭部の向きから視線を推定し、推定した視線と交差する物体を注視物体として検出することが考えられる。
　或いは、視線をロストした場合は、過去に注視点が高頻度で検出されていた領域を注視領域Ａａに定めることが考えられる。
　また、視線をロストした場合、顔登録されている物体（顔登録物体が複数ある場合はそれらから選択した物体）を、注視物体として定めることも考えられる。

　また、静止画を記録する場合のユーザインタフェースについて、静止画の記録モード時に、対象の物体を見つめながら「シャッタ」の発音や、ボタン操作に応じて静止画の記録を行うことが考えられる。

　また、動画を記録する場合のユーザインタフェースについて、動画の記録モード時に、対象の物体を見つめながら「シャッタ」の発音や、ボタン操作に応じて録画を開始することが考えられる。

　また、これまでの説明では、注視点は一つのみ検出する例としたが、注視点を複数検出することも考えられる。例えば、二点間で視線が行ったり来たりしているとき等を想定したものである。
　注視点が複数検出される場合、注視領域Ａａとしては、それら複数の注視点が収まる範囲に設定（物体検出を行う場合は、複数の注視物体が入る範囲に設定）することが考えられる。

　また、複数のユーザについて、ユーザごとの視線を検出できるようにすることも考えられる。このようにユーザごとに注視点を検出する場合、ユーザごとに注視領域Ａａを別々に記録することが考えられる。
　或いは、各ユーザの注視点（又は注視物体）が収まる注視領域Ａａを設定することもできる。

　また、撮像画像と注視領域Ａａを示す情報とを記録する場合、撮像後に編集画面において注視領域Ａａを編集できるようにすることも考えられる。

　また、これまでの説明では、情報処理装置の装置形態としてスマートフォンとしての装置形態を例示したが、本技術に係る情報処理装置としては、例えばカメラやＨＭＤ（Head Mount Display）等、スマートフォン以外の装置形態を採り得るものである。

　また、上記では、測距部３についてＴｏＦ方式による測距を行う場合を例示したが、本技術において、測距情報を得るための方式についてはＴｏＦ方式に限定されない。例えば、ＴｏＦ方式以外のＬｉＤＡＲ方式や、ステレオカメラ、単眼ＳＬＡＭ（Simultaneous Localization and Mapping）、複眼ＳＬＡＭ等で測距を行うことも考えられる。
　或いは、測距としては、像面位相差法に基づく測距や、超音波測距、電磁波レーダーを用いた測距等とすることも考えられる。

　また、上記では、測距情報を得るにあたり、カメラ部４が有するイメージセンサとは別途の測距用センサを設ける前提としたが、本技術において、測距情報は、このような別途の測距用センサを用いて取得することに限らない。
　例えば、ＲＧＢ画像に基づき、ＳｆＭ（Structure from Motion）の手法を用いて実空間の三次元点群の生成を行って、測距情報を得ることが考えられる。或いは、ＲＧＢ画像から距離画像を推論するように機械学習された人工知能モデルを用いて測距情報を得るという構成も考えられるものである。

＜４．実施形態のまとめ＞
　以上で説明したように実施形態としての情報処理装置（同１，１Ａ）は、実空間上における撮像の対象範囲である撮像範囲を含む所定範囲を対象とした測距結果を示す測距情報と、ユーザの視線及び目位置の推定情報とに基づいて実空間上におけるユーザの注視点を検出する検出部（三次元マップ生成部５１及び注視点検出部５２）と、注視点に基づき設定された注視領域の情報を用いて、撮像に係る制御を行う制御部（同５０）と、を備えるものである。
上記構成によれば、ユーザが撮像装置を対象とする物体側に向けるように保持した状態で、撮像装置の画面越しではなく対象とする物体を直接見ながら撮像を行う、いわゆる「ながら撮像」を行っても、上記の制御部によってユーザの注視領域の情報を用いた撮像に係る制御が行われることで、注視物体を適切に捉えた撮像画像がユーザに提供されるように図ることが可能となる。
　従って、「ながら撮像」を行う場合に好適な撮像制御技術を実現することができる。

　また、実施形態としての情報処理装置においては、検出部は、測距情報に基づき所定範囲についての三次元マップを生成し、三次元マップ上におけるユーザの視線との交点を注視点として検出している。
　これにより、ユーザの注視点を適切に検出することができる。

　さらに、実施形態としての情報処理装置においては、注視点を内包する領域を注視領域として設定する注視領域設定部（同５４，５４Ａ）を備えている。
　これにより、注視点を内包する領域として設定された注視領域の情報に基づき、撮像に係る制御が行われる。
　従って、注視物体を適切に捉えた撮像画像がユーザに提供されるように図ることが可能となり、「ながら撮像」を行う場合に好適な撮像制御技術を実現することができる。

　さらにまた、実施形態としての情報処理装置（同１）においては、注視領域設定部（同５４）は、左右上下の各領域端部の位置を注視点からそれぞれ所定距離となる位置とした領域を注視領域として設定している。
　これにより、注視点が例えば領域内の中心位置等の所定位置に配置された注視領域を設定可能となる。
　従って、撮像画像における注視領域を抽出して得られる抽出画像をユーザに提供する場合において、該抽出画像の構図を任意の構図に設定することができる。

　また、実施形態としての情報処理装置（同１Ａ）においては、注視領域設定部（同５４Ａ）は、実空間を対象とした物体検出処理で検出された物体のうち、注視点を含む物体を注視物体として特定し、注視物体を内包する領域を注視領域として設定している。
　これにより、注視領域には、注視点を含む注視物体全体が内包される。
　従って、撮像画像における注視領域を抽出して得られる抽出画像をユーザに提供する場合において、該抽出画像として、注視物体全体が収まっている適切な画像を得ることができる。

　さらに、実施形態としての情報処理装置においては、注視領域設定部は、注視物体が予め操作により指定された領域内位置に位置するように注視領域を設定している（図３等参照）。
　これにより、注視物体を注視領域内の何れの位置に位置させるかをユーザに予め設定させることが可能となる。
　従って、撮像画像における注視領域を抽出して得られる抽出画像をユーザに提供する場合において、該抽出画像の構図をユーザの意図に沿った適切な構図とすることができる。

　さらにまた、実施形態としての情報処理装置（同１，１Ａ）においては、制御部は、検出部による複数回の注視点検出結果に基づき、注視点が別物体に移動したか否かの推定を行い、注視点が別物体に移動したと推定した場合に、検出部が新たに検出した注視点に基づく注視領域を撮像に係る制御に用いる注視領域として適用する切替処理を行っている（図１２，図１６参照）。
　これにより、ユーザの注視点が別物体上に切り替わった場合に対応して、撮像に係る制御を、切替後の注視点の情報に基づいて適切に行うことができる。

　また、実施形態としての情報処理装置（同１Ａ）においては、制御部は、実空間を対象とした物体検出処理で検出された物体の範囲情報に基づき、注視点が別物体に移動したか否かを推定している。
　上記のように物体検出処理で検出された物体の範囲情報を用いることで、注視点の物体間の移動を適切に推定することができる。

　さらに、実施形態としての情報処理装置（同１，１Ａ）においては、制御部は、注視点が別物体に移動したと推定したことを第一条件としたとき、第一条件と、第一条件とは異なる第二条件とが満たされた場合に切替処理を行っている（図１２，図１６参照）。
　これにより、ユーザが別物体を一時的に目視したのみでは、注視領域の切替処理は行われない。
　従って、ユーザが例えば大きな物音がした方向を一時的に目視する等、注視領域の切替意図がなく別物体を目視してしまった場合に、ユーザの意図に反して注視領域の切替処理が行われてしまうことの防止を図ることができる。

　さらにまた、実施形態としての情報処理装置においては、第二条件は、注視点が別物体にあると推定される状態が一定時間以上経過したとの条件である。
　ユーザが別物体を一定時間以上目視した場合、ユーザの興味が元物体から別物体に移ったと推定される。
　従って、上記構成によれば、ユーザの意図に沿って注視領域の切替処理を適切に行うことができる。

　また、実施形態としての情報処理装置においては、第二条件は、撮像方向が別物体の存在する方向に向けられたとの条件である。
　撮像方向が別物体の存在する方向に向けられた場合、ユーザの興味が元物体から別物体に移ったと推定される。
　従って、上記構成によれば、ユーザの意図に沿って注視領域の切替処理を適切に行うことができる。

　さらに、実施形態としての情報処理装置においては、制御部は、別物体の注視領域に切り替えを行う際、注視領域の位置、サイズの少なくとも一方を段階的に変化させている（図８、図９参照）。
　これにより、注視領域が急激に変化してしまうことの防止を図ることが可能となる。
　従って、撮像画像における注視領域を抽出して得られる抽出画像をユーザに提供する場合において、該抽出画像の画像内容が急激に変化してしまうことの防止を図ることができ、該注視画像を表示した場合の違和感の緩和を図ることができる。

　さらにまた、実施形態としての情報処理装置においては、制御部は、撮像に係る制御として、撮像により得られる撮像画像の記録に係る制御を行っている。
　例えば、撮像画像と共に注視領域を示す情報を記録させたり、撮像画像から注視領域を抽出した抽出画像を記録させたりすることが可能である。或いは、撮像画像と抽出画像の双方を記録させる等といったことも考えられる。
　従って、ユーザが「ながら撮像」を行った場合であっても、注視物体が適切にフレーミングされた撮像画像がユーザに提供されるように図ることができる。

　また、実施形態としての情報処理装置においては、制御部は、撮像に係る制御として、撮像により得られる撮像画像と、注視領域を示す情報とを記録させる制御を行っている。
　これにより、撮像終了後において、記録された注視領域の情報に基づいて、撮像画像から注視領域を抽出した画像を編集等により容易に作成することが可能となる。また、撮像画像そのものが記録されるため、撮像画像から注視領域を抽出した抽出画像を記録する場合と比較して、撮像時に注視点の検出が失敗した際のリスク低減にもなる。

　さらに、実施形態としての情報処理装置においては、制御部は、撮像に係る制御として、撮像により得られる撮像画像のスルー画に係る表示制御を行っている。
　例えば、撮像画像内のどの領域が注視領域であるかを示す情報をスルー画に重畳したり、注視領域を拡大したスルー画を表示させたりする等、注視領域を反映させた表示制御を行うことが可能である。
　従って、情報処理装置において注視領域が正しく認識されているかをユーザに確認させることができる。

　さらにまた、実施形態としての情報処理装置においては、制御部は、撮像画像内に注視領域が存在する場合に、撮像画像から注視領域を抽出した抽出画像がスルー画として表示されるように制御している。
　これにより、撮像画像における注視領域を抽出して得られる抽出画像をユーザに提供する場合において、該抽出画像のイメージをユーザに確認させることができる。

　また、実施形態としての情報処理装置においては、制御部は、注視領域が撮像画像の端部に対して所定距離以内に近づいた場合に、ユーザに対して通知情報が表示されるように制御している。
　これにより、「ながら撮像」中において、注視物体が撮像画像からフレームアウトしそうになった場合には、その旨をユーザに通知することができる。

　さらに、実施形態としての情報処理装置においては、制御部は、注視点が撮像画像内に存在しない場合は、特定画像が表示されるように制御している。
　例えば、注視物体がフレームアウトした旨を示すメッセージを含む画像や、注視物体のフレームアウト方向を示す矢印等の情報を含む画像等、注視物体がフレームアウトした場合にユーザに通知すべき情報を示す特定の画像が表示されるように制御することが可能となる。
　従って、「ながら撮像」中において、注視物体が撮像画像内に捉えられていない不適切なフレーミング状態である旨を画像表示によりユーザに直感的に理解させることができる。また、注視物体が撮像画像内に捉えられる適切なフレーミング状態に復帰させるためのユーザ補助を実現することができる。

　実施形態の情報処理方法は、情報処理装置が、実空間上における撮像の対象範囲である撮像範囲を含む所定範囲を対象とした測距結果を示す測距情報と、ユーザの視線及び目位置の推定情報とに基づいて実空間上におけるユーザの注視点を検出し、注視点に基づき設定された注視領域の情報を用いて、撮像に係る制御を行う情報処理方法である。
　このような情報処理方法によっても、上記した実施形態としての情報処理装置と同様の作用及び効果を得ることができる。

　ここで、実施形態としては、図１１から図１３や図１５、図１６等で説明した処理を、例えばＣＰＵ、ＤＳＰ（Digital Signal Processor）等、或いはこれらを含むデバイスに実行させるプログラムや、該プログラムが記録された記録媒体を考えることができる。
　すなわち、実施形態の記録媒体は、コンピュータ装置が読み取り可能なプログラムが記録された記録媒体であって、実空間上における撮像の対象範囲である撮像範囲を含む所定範囲を対象とした測距結果を示す測距情報と、ユーザの視線及び目位置の推定情報とに基づいて実空間上におけるユーザの注視点を検出し、注視点に基づき設定された注視領域の情報を用いて、撮像に係る制御を行う処理を、コンピュータ装置に実行させるプログラムが記録された記録媒体である。
　このような記録媒体により、上述した実施形態としての撮像制御機能をコンピュータ装置としての機器においてソフトウェア処理により実現できる。

　上記のような記録媒体は、コンピュータ装置等の機器に内蔵されているＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等として実現することができる。
　或いはまた、フレキシブルディスク、ＣＤ－ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magneto Optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク（Blu-ray Disc（登録商標））、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体としての形態も考えられる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。

　なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。

＜５．本技術＞
　本技術は以下のような構成を採ることもできる。
（１）
　実空間上における撮像の対象範囲である撮像範囲を含む所定範囲を対象とした測距結果を示す測距情報と、ユーザの視線及び目位置の推定情報とに基づいて前記実空間上における前記ユーザの注視点を検出する検出部と、
　前記注視点に基づき設定された注視領域の情報を用いて、前記撮像に係る制御を行う制御部と、を備える
　情報処理装置。
（２）
　前記検出部は、前記測距情報に基づき前記所定範囲についての三次元マップを生成し、前記三次元マップ上における前記ユーザの視線との交点を前記注視点として検出する
　前記（１）に記載の情報処理装置。
（３）
　前記注視点を内包する領域を前記注視領域として設定する注視領域設定部を備えた
　前記（１）又は（２）に記載の情報処理装置。
（４）
　前記注視領域設定部は、左右上下の各領域端部の位置を前記注視点からそれぞれ所定距離となる位置とした領域を前記注視領域として設定する
　前記（３）に記載の情報処理装置。
（５）
　前記注視領域設定部は、前記実空間を対象とした物体検出処理で検出された物体のうち、前記注視点を含む物体を注視物体として特定し、前記注視物体を内包する領域を前記注視領域として設定する
　前記（３）に記載の情報処理装置。
（６）
　前記注視領域設定部は、前記注視物体が予め操作により指定された領域内位置に位置するように前記注視領域を設定する
　前記（５）に記載の情報処理装置。
（７）
　前記制御部は、前記検出部による複数回の注視点検出結果に基づき、前記注視点が別物体に移動したか否かの推定を行い、前記注視点が別物体に移動したと推定した場合に、前記検出部が新たに検出した前記注視点に基づく前記注視領域を前記撮像に係る制御に用いる前記注視領域として適用する切替処理を行う
　前記（１）から（６）の何れかに記載の情報処理装置。
（８）
　前記制御部は、前記実空間を対象とした物体検出処理で検出された物体の範囲情報に基づき、前記注視点が別物体に移動したか否かを推定する
　前記（７）に記載の情報処理装置。
（９）
　前記制御部は、前記注視点が別物体に移動したと推定したことを第一条件としたとき、前記第一条件と、前記第一条件とは異なる第二条件とが満たされた場合に前記切替処理を行う
　前記（７）又は（８）に記載の情報処理装置。
（１０）
　前記第二条件は、前記注視点が別物体にあると推定される状態が一定時間以上経過したとの条件である
　前記（９）に記載の情報処理装置。
（１１）
　前記第二条件は、撮像方向が前記別物体の存在する方向に向けられたとの条件である
　前記（９）に記載の情報処理装置。
（１２）
　前記制御部は、前記別物体の前記注視領域に切り替えを行う際、前記注視領域の位置、サイズの少なくとも一方を段階的に変化させる
　前記（７）から（１１）の何れかに記載の情報処理装置。
（１３）
　前記制御部は、前記撮像に係る制御として、前記撮像により得られる撮像画像の記録に係る制御を行う
　前記（１）から（１２）の何れかに係る情報処理装置。
（１４）
　前記制御部は、前記撮像に係る制御として、前記撮像により得られる撮像画像と、前記注視領域を示す情報とを記録させる制御を行う
　前記（１３）に記載の情報処理装置。
（１５）
　前記制御部は、前記撮像に係る制御として、前記撮像により得られる撮像画像のスルー画に係る表示制御を行う
　前記（１）から（１４）の何れかに記載の情報処理装置。
（１６）
　前記制御部は、前記撮像画像内に前記注視領域が存在する場合に、前記撮像画像から前記注視領域を抽出した抽出画像がスルー画として表示されるように制御する
　前記（１５）に記載の情報処理装置。
（１７）
　前記制御部は、前記注視領域が前記撮像画像の端部に対して所定距離以内に近づいた場合に、ユーザに対して通知情報が表示されるように制御する
　前記（１５）又は（１６）に記載の情報処理装置。
（１８）
　前記制御部は、前記注視点が前記撮像画像内に存在しない場合は、特定画像が表示されるように制御する
　前記（１５）から（１７）の何れかに記載の情報処理装置。
（１９）
　情報処理装置が、
　実空間上における撮像の対象範囲である撮像範囲を含む所定範囲を対象とした測距結果を示す測距情報と、ユーザの視線及び目位置の推定情報とに基づいて前記実空間上における前記ユーザの注視点を検出し、前記注視点に基づき設定された注視領域の情報を用いて、前記撮像に係る制御を行う
　情報処理方法。
（２０）
　コンピュータ装置が読み取り可能なプログラムが記録された記録媒体であって、
　実空間上における撮像の対象範囲である撮像範囲を含む所定範囲を対象とした測距結果を示す測距情報と、ユーザの視線及び目位置の推定情報とに基づいて前記実空間上における前記ユーザの注視点を検出し、前記注視点に基づき設定された注視領域の情報を用いて、前記撮像に係る制御を行う処理を、前記コンピュータ装置に実行させるプログラムが記録された
　記録媒体。

１，１Ａ　情報処理装置
２　自己位置・姿勢推定部
３　測距部
４　カメラ部
５，５Ａ　演算部
５０　制御部
５１　三次元マップ生成部
５２　注視点検出部
５３　視線ベクトル計算部
５４，５４Ａ　注視領域設定部
５５　物体検出部
６　視線・目位置推定部
７　表示部
７ａ　表示画面
８　メモリ部
９　操作部
Ｏｂ，Ｏｂ１，Ｏｂ２　物体
Ｐ１，Ｐ２　点
Ｐｒ　三次元注視点
Ｐｉ　画像上注視点
Ａａ　注視領域
Ｗａ　領域枠
Ｍ１，Ｍ２　メッセージ画像
Ｉ１　方向通知画像

Claims

　実空間上における撮像の対象範囲である撮像範囲を含む所定範囲を対象とした測距結果を示す測距情報と、ユーザの視線及び目位置の推定情報とに基づいて前記実空間上における前記ユーザの注視点を検出する検出部と、
　前記注視点に基づき設定された注視領域の情報を用いて、前記撮像に係る制御を行う制御部と、を備える
　情報処理装置。
　前記検出部は、前記測距情報に基づき前記所定範囲についての三次元マップを生成し、前記三次元マップ上における前記ユーザの視線との交点を前記注視点として検出する
　請求項１に記載の情報処理装置。
　前記注視点を内包する領域を前記注視領域として設定する注視領域設定部を備えた
　請求項１に記載の情報処理装置。
　前記注視領域設定部は、左右上下の各領域端部の位置を前記注視点からそれぞれ所定距離となる位置とした領域を前記注視領域として設定する
　請求項３に記載の情報処理装置。
　前記注視領域設定部は、前記実空間を対象とした物体検出処理で検出された物体のうち、前記注視点を含む物体を注視物体として特定し、前記注視物体を内包する領域を前記注視領域として設定する
　請求項３に記載の情報処理装置。
　前記注視領域設定部は、前記注視物体が予め操作により指定された領域内位置に位置するように前記注視領域を設定する
　請求項５に記載の情報処理装置。
　前記制御部は、前記検出部による複数回の注視点検出結果に基づき、前記注視点が別物体に移動したか否かの推定を行い、前記注視点が別物体に移動したと推定した場合に、前記検出部が新たに検出した前記注視点に基づく前記注視領域を前記撮像に係る制御に用いる前記注視領域として適用する切替処理を行う
　請求項１に記載の情報処理装置。
　前記制御部は、前記実空間を対象とした物体検出処理で検出された物体の範囲情報に基づき、前記注視点が別物体に移動したか否かを推定する
　請求項７に記載の情報処理装置。
　前記制御部は、前記注視点が別物体に移動したと推定したことを第一条件としたとき、前記第一条件と、前記第一条件とは異なる第二条件とが満たされた場合に前記切替処理を行う
　請求項７に記載の情報処理装置。
　前記第二条件は、前記注視点が別物体にあると推定される状態が一定時間以上経過したとの条件である
　請求項９に記載の情報処理装置。
　前記第二条件は、撮像方向が前記別物体の存在する方向に向けられたとの条件である
　請求項９に記載の情報処理装置。
　前記制御部は、前記別物体の前記注視領域に切り替えを行う際、前記注視領域の位置、サイズの少なくとも一方を段階的に変化させる
　請求項７に記載の情報処理装置。
　前記制御部は、前記撮像に係る制御として、前記撮像により得られる撮像画像の記録に係る制御を行う
　請求項１に記載の情報処理装置。
　前記制御部は、前記撮像に係る制御として、前記撮像により得られる撮像画像と、前記注視領域を示す情報とを記録させる制御を行う
　請求項１３に記載の情報処理装置。
　前記制御部は、前記撮像に係る制御として、前記撮像により得られる撮像画像のスルー画に係る表示制御を行う
　請求項１に記載の情報処理装置。
　前記制御部は、前記撮像画像内に前記注視領域が存在する場合に、前記撮像画像から前記注視領域を抽出した抽出画像がスルー画として表示されるように制御する
　請求項１５に記載の情報処理装置。
　前記制御部は、前記注視領域が前記撮像画像の端部に対して所定距離以内に近づいた場合に、ユーザに対して通知情報が表示されるように制御する
　請求項１５に記載の情報処理装置。
　前記制御部は、前記注視点が前記撮像画像内に存在しない場合は、特定画像が表示されるように制御する
　請求項１５に記載の情報処理装置。
　情報処理装置が、
　実空間上における撮像の対象範囲である撮像範囲を含む所定範囲を対象とした測距結果を示す測距情報と、ユーザの視線及び目位置の推定情報とに基づいて前記実空間上における前記ユーザの注視点を検出し、前記注視点に基づき設定された注視領域の情報を用いて、前記撮像に係る制御を行う
　情報処理方法。
　コンピュータ装置が読み取り可能なプログラムが記録された記録媒体であって、
　実空間上における撮像の対象範囲である撮像範囲を含む所定範囲を対象とした測距結果を示す測距情報と、ユーザの視線及び目位置の推定情報とに基づいて前記実空間上における前記ユーザの注視点を検出し、前記注視点に基づき設定された注視領域の情報を用いて、前記撮像に係る制御を行う処理を、前記コンピュータ装置に実行させるプログラムが記録された
　記録媒体。