WO2023074669A1

WO2023074669A1 - 撮像装置、画像処理装置、および方法

Info

Publication number: WO2023074669A1
Application number: PCT/JP2022/039675
Authority: WO
Inventors: 友美高尾; 彰宏西尾
Original assignee: キヤノン株式会社
Priority date: 2021-10-27
Filing date: 2022-10-25
Publication date: 2023-05-04

Abstract

ユーザが意図した位置もしくは被写体を素早く注視することを支援するための表示用画像データを生成する撮像装置が開示される。撮像装置は、表示している画像におけるユーザの注視位置を検出可能である。撮像装置は、注視位置の検出が有効な際に表示するための画像データを生成する場合、特徴領域を他の領域より視覚的に強調する加工処理を適用する。特徴領域は、撮像装置の設定に基づいて判定される種類の被写体の領域である。

Description

撮像装置、画像処理装置、および方法

　本発明は撮像装置、画像処理装置、および方法に関する。

　表示画像におけるユーザの注視位置を検出し、注視位置を含んだ領域を拡大表示する撮像装置が特許文献１に開示されている。

特開２００４－２１５０６２号公報

　特許文献１記載の技術によれば、表示画像において意図した位置を注視しているか否かをユーザが確認しやすくなる。しかしながら、表示画像において意図した位置（被写体）にユーザが視線を合わせるまでに要する時間を短縮することはできない。

　本発明はこのような従来技術の課題に鑑みてなされたものである。本発明はその一態様において、ユーザが意図した位置もしくは被写体を素早く注視することを支援するための表示用画像データを生成する撮像装置および方法を提供する。

　本発明の一態様によれば、撮像装置であって、撮像装置が表示している画像におけるユーザの注視位置を検出可能な検出手段と、表示のための画像データを生成する生成手段と、を有し、生成手段は、検出手段が有効な際に生成する画像データについては、特徴領域を他の領域より視覚的に強調する加工処理を適用し、特徴領域が、撮像装置の設定に基づいて判定される種類の被写体の領域である、ことを特徴とする撮像装置が提供される。

　本発明の一態様によれば、ユーザが意図した位置もしくは被写体を素早く注視することを支援する表示用画像データを生成する撮像装置および方法を提供することができる。

　本発明のその他の特徴及び利点は、添付図面を参照とした以下の説明により明らかになるであろう。なお、添付図面においては、同じ若しくは同様の構成には、同じ参照番号を付す。

　添付図面は明細書に含まれ、その一部を構成し、本発明の実施の形態を示し、その記述と共に本発明の原理を説明するために用いられる。
本発明の実施形態にかかる撮像装置の構成を示すブロック図本発明の実施形態にかかる撮像装置の画素の瞳面と光電変換部の対応関係を示す図本発明の実施形態にかかる撮像装置の画素の瞳面と光電変換部の対応関係を示す図本発明の実施形態にかかる視線入力部の構成を示す図本発明の実施形態にかかる視線入力部の構成を示す図本発明の第１実施形態のフローチャート本発明の実施形態における撮像装置の外観例を示す図本発明の実施形態における撮像装置の外観例を示す図本発明の実施形態における撮像装置の外観例を示す図本発明の第１実施形態の画像加工例１を示す図本発明の第１実施形態の画像加工例１を示す図本発明の第１実施形態の画像加工例１を示す図本発明の第１実施形態の画像加工例１を示す図本発明の第１実施形態の画像加工例２を示す図本発明の第１実施形態の画像加工例２を示す図本発明の第１実施形態の画像加工例２を示す図本発明の第２実施形態の撮像装置構成の例を示す図本発明の第２実施形態の撮像装置構成の例を示す図本発明の第２実施形態の撮像装置構成の例を示す図本発明の第２実施形態のフローチャート本発明の第２実施形態の画像加工例３を示す図本発明の第２実施形態の画像加工例３を示す図本発明の第２実施形態の画像加工例３を示す図本発明の第２実施形態の画像加工例４を示す図本発明の第２実施形態の画像加工例４を示す図本発明の第２実施形態の画像加工例４を示す図第３実施形態に係る撮像装置が提示するキャリブレーション画面の例を示す図第３実施形態に係る撮像装置が提示するキャリブレーション画面の例を示す図第３実施形態に係る撮像装置が提示するキャリブレーション画面の例を示す図視覚特性に応じた加工処理を行うことが適切なシーンの例と、加工処理の例を示す図視覚特性に応じた加工処理を行うことが適切なシーンの例と、加工処理の例を示す図視覚特性に応じた加工処理を行うことが適切なシーンの例と、加工処理の例を示す図視覚特性に応じた加工処理を行うことが適切なシーンの例と、加工処理の例を示す図視覚特性に応じた加工処理を行うことが適切なシーンの例と、加工処理の例を示す図視覚特性に応じた加工処理を行うことが適切なシーンの例と、加工処理の例を示す図視覚特性に応じた加工処理を行うことが適切なシーンの例と、加工処理の例を示す図視覚特性に応じた加工処理を行うことが適切なシーンの例と、加工処理の例を示す図第３実施形態における表示用画像データ生成動作に関するフローチャート第４実施形態で提示する仮想空間の例を示す図第４実施形態で提示する仮想空間の例を示す図第４実施形態における強調表示の例を示す図第４実施形態における強調表示の例を示す図第４実施形態における仮想空間の種類と強調表示が可能な被写体の種類との関係例を示す図第４実施形態における主被写体種類の選択ＧＵＩの例を示す図第４実施形態における主被写体種類の選択ＧＵＩの例を示す図第４実施形態におけるメタデータを画像データとした例を示す図第４実施形態において仮想空間画像とともに表示する指標の例を示す図第４実施形態において仮想空間画像とともに表示する指標の例を示す図第５実施形態に係る表示システムの例を示す図第５実施形態に係る表示システムの動作の例を示すフローチャート第５実施形態に係る表示システムの動作の例を示すフローチャート第５実施形態におけるサーバとして用いることができるコンピュータ機器の機能構成例を示すブロック図第５実施形態における表示領域の例を示す図第５実施形態に係る表示システムの別の例を示す図第５実施形態に係る表示システムの動作の別の例を示すフローチャート第５実施形態に係る表示システムの動作の別の例を示すフローチャート第５実施形態において用いるカメラの構成例を示す図

　以下、添付図面を参照して本発明をその例示的な実施形態に基づいて詳細に説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定しない。また、実施形態には複数の特徴が記載されているが、その全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

　以下では、本発明をデジタルカメラのような撮像装置で実施する場合に関して説明する。しかし、本発明は表示画面の注視位置を検出可能な任意の電子機器で実施可能である。このような電子機器には、撮像装置以外にも、コンピュータ機器（パーソナルコンピュータ、タブレットコンピュータ、メディアプレーヤ、ＰＤＡなど）、携帯電話機、スマートフォン、ゲーム機、ロボット、車載機器などが含まれる。これらは例示であり、本発明は他の電子機器でも実施可能である。

●（第１実施形態）
［撮像装置の構成の説明］
　図１は、実施形態に係る画像処理装置の一例としての撮像装置１の機能構成例を示すブロック図である。撮像装置１は、本体１００と、レンズユニット１５０とを有する。ここではレンズユニット１５０は本体１００に着脱可能な交換レンズユニットであるが、本体１００と一体化されたレンズユニットであってもよい。

　レンズユニット１５０と本体１００とはレンズマウントを介して機械的および電気的に接続される。レンズマウントに設けられた通信端子６および１０は、レンズユニット１５０と本体１００とを電気的に接続する接点である。通信端子６および１０を通じてレンズユニット制御回路４とシステム制御回路５０は通信可能である。また、レンズユニット１５０の動作に必要な電力も通信端子６および１０を通じて本体１００からレンズユニット１５０に供給される。

　レンズユニット１５０は、被写体の光学像を撮像部２２の撮像面に形成する撮影光学系を構成する。レンズユニット１５０は絞り１０２と、フォーカスレンズを含む複数のレンズ１０３とを有する。絞り１０２は絞り駆動回路２により、フォーカスレンズはＡＦ駆動回路３によりそれぞれ駆動される。絞り駆動回路２およびＡＦ駆動回路３の動作は、システム制御回路５０からの指示に従い、レンズシステム制御回路４が制御する。

　フォーカルプレーンシャッタ１０１（以下、単にシャッタ１０１という）は、システム制御回路５０の制御よって駆動される。システム制御回路５０は、静止画撮影時、撮影条件に従って撮像部２２を露光するようにシャッタ１０１の動作を制御する。

　撮像部２２は、２次元配列された複数の画素を有する撮像素子である。撮像部２２は、撮像面に形成された光学像を、各画素が有する光電変換部によって画素信号群（アナログ画像信号）に変換する。撮像部２２は例えばＣＣＤイメージセンサまたはＣＭＯＳイメージセンサであってよい。

　本実施形態の撮像部２２は、位相差検出方式の自動焦点検出（以下、位相差ＡＦ）に用いる１対の像信号を生成可能である。図２Ａおよび図２Ｂは、レンズユニット１５０の瞳面と、撮像部２２が有する画素の光電変換部の対応関係を示している。図２Ａは、画素が複数（ここでは２つ）の光電変換部２０１ａ，２０１ｂを有する構成、図２Ｂは、画素が１つの光電変換部２０１を有する構成の例を示している。

　画素にはマイクロレンズ２５１とカラーフィルタ２５２が１つずつ設けられている。カラーフィルタ２５２の色は画素ごとに異なり、あらかじめ定められたパターンで色が配列される。ここでは、一例として原色ベイヤパターンによってカラーフィルタ２５２が配列されているものとする。この場合、各画素が有するカラーフィルタ２５２の色は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のいずれかである。

　図２Ａの構成では、瞳面２５３の領域２５３ａから画素に入力する光は光電変換部２０１ａに、領域２５３ｂから画素に入力する光は光電変換部２０１ｂに入射する。複数の画素について、光電変換部２０１ａから得られる信号群と、光電変換部２０１ｂから得られる信号群とを１対の像信号として用いることにより位相差ＡＦを行うことができる。

　光電変換部２０１ａ，２０１ｂで得られる信号を個別に扱う場合、個々の信号は焦点検出用信号として機能する。一方、同じ画素の光電変換部２０１ａ，２０１ｂで得られる信号をまとめて（加算して）扱う場合、可算信号は画素信号として機能する。従って、図２Ａの構成を有する画素は、焦点検出用の画素としても、撮影用の画素としても機能する。撮像部２２は、すべての画素が図２Ａに示す構成を有するものとする。

　一方、図２Ｂは、専用の焦点検出用画素の構成例を示している。図２Ｂに示す画素は、カラーフィルタ２５２と光電変換部２０１との間に、光電変換部２０１へ入射する光を制限する遮光マスク２５４が設けられている。ここでは、遮光マスク２５４が、瞳面２５３の領域２５３ｂからの光だけが光電変換部２０１に入射するような開口部を有している。これにより、画素は図２Ａの光電変換部２０１ｂだけを有する状態と実質的に同じになる。同様に、遮光マスク２５４の開口部を、瞳面２５３の領域２５３ａからの光だけが光電変換部２０１に入射するように構成することにより、画素を図２Ａの光電変換部２０１ａだけを有する状態と実質的に同じにすることができる。この２種類の画素を撮像部２２に複数対配置しても、位相差ＡＦ用の信号対を生成することができる。

　なお、位相差ＡＦの代わりに、あるいは位相差ＡＦと組み合わせて、コントラスト検出方式の自動焦点検出（以下、コントラストＡＦ）を実施してもよい。コントラストＡＦのみを実施する場合、画素は図２Ｂから遮光マスク２５４を省いた構成とすることができる。

　Ａ／Ｄ変換器２３は、撮像部２２から出力されるアナログ画像信号をデジタル画像信号に変換する。撮像部２２がデジタル画像信号を出力可能な場合、Ａ／Ｄ変換器２３は省略可能である。

　画像処理部２４は、Ａ／Ｄ変換器２３もしくはメモリ制御部１５からのデジタル画像信号に対して予め定められた画像処理を適用し、用途に応じた信号や画像データを生成したり、各種の情報を取得および／または生成したりする。画像処理部２４は例えば特定の機能を実現するように設計されたＡＳＩＣのような専用のハードウェア回路であってもよいし、ＤＳＰのようなプログラマブルプロセッサがソフトウェアを実行することで特定の機能を実現する構成であってもよい。

　ここで、画像処理部２４が適用する画像処理には、前処理、色補間処理、補正処理、検出処理、データ加工処理、評価値算出処理、特殊効果処理などが含まれる。前処理には、信号増幅、基準レベル調整、欠陥画素補正などが含まれる。色補間処理は、撮影時に得られない色成分の値を補間する処理であり、デモザイク処理や同時化処理とも呼ばれる。補正処理には、ホワイトバランス調整、階調補正（ガンマ処理）、レンズ１０３の光学収差や周辺減光の影響を補正する処理、色を補正する処理などが含まれる。検出処理には、特徴領域（たとえば顔領域や人体領域）やその動きの検出、人物の認識処理などが含まれる。データ加工処理には、合成処理、スケーリング処理、符号化および復号処理、ヘッダ情報生成処理などが含まれる。　評価値算出処理には、自動焦点検出（ＡＦ）に用いる信号や評価値の生成、自動露出制御（ＡＥ）に用いる評価値の算出処理などが含まれる。特殊効果処理には、ぼかしの付加、色調の変更、リライティング処理、後述する注視位置の検出が有効な際に適用する加工処理などが含まれる。なお、これらは画像処理部２４が適用可能な画像処理の例示であり、画像処理部２４が適用する画像処理を限定するものではない。

　特徴領域の検出処理の具体例について説明する。画像処理部２４は、検出対象の画像データ（例えばライブビュー画像のデータ）に水平および垂直方向のバンドパスフィルタを適用し、エッジ成分を抽出する。その後、画像処理部２４は、エッジ成分に対して、検出する特徴領域の種類に応じて予め用意されたテンプレートを用いたマッチング処理を適用し、テンプレートに類似した画像領域を検出する。例えば、特徴領域として人間の顔領域を検出する場合、画像処理部２４は顔のパーツ（例えば目、鼻、口、耳）のテンプレートを用いてマッチング処理を適用する。

　マッチング処理により、目、鼻、口、耳の領域候補群が検出される。画像処理部２４は、目の候補群を、他の目の候補と予め設定された条件（例えば２つの目の距離、傾き等）を満たすものに絞り込む。そして、画像処理部２４は、絞り込まれた目の候補群との位置関係を満たする他のパーツ（鼻、口、耳）を対応付ける。さらに、画像処理部２４は、予め設定した非顔条件フィルタを適用し、顔に該当しないパーツの組み合わせを除外することにより、顔領域を検出する。画像処理部２４は、検出された顔領域の総数、および各顔領域の情報（位置や大きさ、検出の信頼度など）を、システム制御回路５０に出力する。システム制御回路５０は、画像処理部２４から得られた特徴領域の情報をシステムメモリ５２に記憶する。

　なお、ここで説明した人間の顔領域の検出方法は例示であり、機械学習を用いる方法など、他の任意の公知の方法を用いることができる。また、人間の顔に限らず、人物の胴体、手足、動物の顔、ランドマーク、文字、自動車、飛行機、鉄道車両など、他の種類の特徴領域を検出してもよい。

　検出した特徴領域は、例えば焦点検出領域の設定に用いることができる。例えば、検出された顔領域の中から主顔領域を決定し、主顔領域に焦点検出領域を設定することができる。これにより、撮影範囲内に存在する顔領域に合焦するようにＡＦを実行することができる。なお、主顔領域はユーザに選択させてもよい。

　Ａ／Ｄ変換器２３からの出力データは、画像処理部２４およびメモリ制御部１５を介して、あるいはメモリ制御部１５だけを介してメモリ３２に格納される。メモリ３２は、静止画データや動画データのバッファメモリ、画像処理部２４の作業用メモリ、表示部２８のビデオメモリなどとして用いられる。

　Ｄ／Ａ変換器１９は、メモリ３２のビデオメモリ領域に格納されている表示用の画像データをアナログ信号に変換して表示部２８に供給する。表示部２８は、液晶ディスプレイなどの表示デバイスに、Ｄ／Ａ変換器１９からのアナログ信号に応じた表示を行う。

　動画を撮影しながら、表示用画像データの生成および表示を継続的に行うことにより、表示部２８を電子ビューファインダ（ＥＶＦ）として機能させることができる。表示部２８をＥＶＦとして機能させるために表示する画像をスルー画像またはライブビュー画像と呼ぶ。なお、表示部２８は、接眼部を通じて観察するように本体１００の内部に配置されてもよいし、本体１００の筐体表面（例えば背面）に配置されてもよいし、両方に設けられてもよい。

　本実施形態では、ユーザの注視位置を検出するため、表示部２８が少なくとも本体１００の内部に配置されているものとする。

　不揮発性メモリ５６は、電気的に書き換え可能な例えばＥＥＰＲＯＭである。不揮発性メモリ５６には、システム制御回路５０が実行可能なプログラム、各種の設定値、ＧＵＩデータなどが記憶される。

　システム制御回路５０は、プログラムを実行可能な１つ以上のプロセッサ（ＣＰＵ、ＭＰＵなどとも呼ばれる）を有する。システム制御回路５０は、不揮発性メモリ５６に記録されたプログラムをシステムメモリ５２にロードしてプロセッサによって実行することにより、撮像装置１の機能を実現する。

　システムメモリ５２はシステム制御回路５０が実行するプログラムやプログラムの実行中に使用する定数、変数などを保持するために用いられる。
　システムタイマー５３は各種制御に用いる時間および内蔵時計の時間を計測する。

　電源スイッチ７２は撮像装置１の電源のＯＮ、ＯＦＦを切り替える操作部材である。
　モード切替スイッチ６０、第１シャッタースイッチ６２、第２シャッタースイッチ６４、操作部７０はシステム制御回路５０に指示を入力するための操作部材である。

　モード切替スイッチ６０は、システム制御回路５０の動作モードを静止画記録モード、動画撮影モード、再生モード等のいずれかに切り替える。静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード（Ａｖモード）、シャッター速度優先モード（Ｔｖモード）がある。また、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、カスタムモード等がある。モード切替スイッチ６０で、メニューボタンに含まれるこれらのモードのいずれかに直接切り替えられる。あるいは、モード切替スイッチ６０でメニューボタンに一旦切り換えた後に、メニューボタンに含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。

　第１シャッタースイッチ６２は、シャッターボタン６１の半押しでＯＮとなり第１シャッタースイッチ信号ＳＷ１を発生する。システム制御回路５０は第１シャッタースイッチ信号ＳＷ１を静止画の撮影準備指示と認識し、撮影準備動作を開始する。撮影準備動作には、例えばＡＦ処理、自動露出制御（ＡＥ）処理、オートホワイトバランス（ＡＷＢ）処理、ＥＦ（フラッシュプリ発光）処理などが含まれるが、これらは必須でなく、また他の処理が含まれてもよい。

　第２シャッタースイッチ６４は、シャッターボタン６１の全押しでＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御回路５０は、第２シャッタースイッチ信号ＳＷ２を静止画の撮影指示と認識し、撮影処理および記録処理を実行する。

　操作部７０は、シャッターボタン６１、モード切替スイッチ６０、電源スイッチ７２以外の操作部材の総称である。操作部７０には例えば、方向キー、セット（実行）ボタン、メニューボタン、動画撮影ボタンなどが含まれる。なお、表示部２８がタッチディスプレイの場合、表示とタッチ操作によって実現されるソフトウェアキーもまた操作部７０を構成する。メニューボタンが操作されるとシステム制御回路５０は、方向キーおよびセットボタンを用いて操作可能なメニュー画面を表示部２８に表示させる。ユーザはソフトウェアキーやメニュー画面の操作を通じて、撮像装置１の設定を変更することができる。

　図３Ａは、視線入力部７０１の構成例を模式的に示す側面図である。視線入力部７０１は、本体１００の内部に設けられた表示部２８を接眼部を通じて覗いているユーザの眼球５０１ａの光軸の回転角を検出するための画像（視線検出用の画像）を取得するユニットである。

　視線検出用の画像を画像処理部２４で処理し、眼球５０１ａの光軸の回転角を検出する。回転角は視線の方向を表すため、回転角と、予め設定された眼球５０１ａから表示部２８までの距離とに基づいて、表示部２８上の注視位置を推定することができる。なお、注視位置の推定において、予め行ったキャリブレーション動作によって取得した、ユーザの固有情報を考慮してもよい。注視位置の推定は画像処理部２４が実行してもシステム制御回路５０が実行してもよい。視線入力部７０１と画像処理部２４（またはシステム制御回路５０）とは、撮像装置１が表示部２８に表示している画像におけるユーザの注視位置を検出可能な検出手段を構成する。

　表示部２８に表示されている画像は、接眼レンズ７０１ｄおよびダイクロックミラー７０１ｃを通じてユーザに視認される。照明光源７０１ｅは、接眼部を通じて筐体の外部方向に赤外光を放射する。眼球５０１ａで反射された赤外光は、ダイクロイックミラー７０１ｃに入射する。ダイクロックミラー７０１ｃは入射した赤外光を上方に反射する。ダイクロックミラー７０１ｃの上方には受光レンズ７０１ｂおよび撮像素子７０１ａが配置されている。撮像素子７０１ａは、受光レンズ７０１ｂが形成する赤外光の像を撮影する。撮像素子７０１ａはモノクロ撮像素子であってよい。

　撮像素子７０１ａは、撮影により得られたアナログ画像信号を、Ａ／Ｄ変換器２３に出力する。Ａ／Ｄ変換器２３は、得られたデジタル画像信号を画像処理部２４に出力する。画像処理部２４は、画像データから眼球像を検出し、さらに、眼球像内で瞳孔領域を検出する。画像処理部２４は、眼球像における瞳孔領域の位置から、眼球の回転角（視線方向）を算出する。眼球像を含んだ画像から視線方向を検出する処理は、公知の方法によって実施することができる。

　図３Ｂは、表示部２８が撮像装置１の背面に設けられている場合の視線入力部７０１の構成例を模式的に示す側面図である。この場合も、表示部２８を観察しているユーザの顔５００が存在するであろう方向に赤外光を照射する。そして、撮像装置１の背面に設けられたカメラ７０１ｆで撮影することにより、ユーザの顔５００の赤外像を取得し、眼球５０１ａおよび／または５０１ｂの像から瞳孔領域を検出することにより、視線方向を検出する。

　なお、表示部２８上の注視位置を最終的に検出可能であれば、視線入力部７０１の構成および画像処理部２４（またはシステム制御回路５０）の処理に特に制限はなく、他の任意の構成および処理を採用しうる。

　図１に戻り、電源制御部８０は、電池検出回路、ＤＣ－ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成される。電源制御部８０は、電源部３０が電池の場合、装着の有無、種類、残量を検出する。また、電源制御部８０は、これらの検出結果およびシステム制御回路５０の指示に基づいてＤＣ－ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。

　電源部３０は、アルカリ電池やリチウム電池などの一次電池、ＮｉＣｄ電池、ＮｉＭＨ電池、Ｌｉ電池などの二次電池、および／またはＡＣアダプターなどの１つ以上を融資うる。

　記録媒体Ｉ／Ｆ１８は、メモリカードやハードディスク等の記録媒体２００とのインターフェースである。記録媒体２００は着脱できても、できなくてもよい。記録媒体２００は撮影によって得られた画像データの記録先である。

　通信部５４は、無線または有線によって接続された外部装置と、画像信号や音声信号を送受信する。通信部５４は無線ＬＡＮ(Local Area Network)、ＵＳＢ(Universal Serial Bus)など１つ以上の通信規格をサポートする。システム制御回路５０は、通信部５４を通じて、撮像部２２による撮影で得られた画像データ（スルー画像を含む）や、記録媒体２００に記録された画像データを外部装置に送信することができる。また、システム制御回路５０は、通信部５４を通じて外部機器から画像データやその他の各種情報を受信することができる。

　姿勢検知部５５は重力方向に対する撮像装置１の姿勢を検知する。姿勢検知部５５で検知された姿勢に基づいて、撮影時に撮像装置１を横向きであったか縦向きであったかを判別できる。システム制御回路５０は、撮影時の撮像装置１の姿勢を画像データファイルへ付加したり、画像の向きを揃えてから記録したりすることができる。姿勢検知部５５としては、加速度センサやジャイロセンサなどを用いることができる。

［注視位置検出動作］
　図４は、撮像装置１の注視位置検出動作に関するフローチャートである。注視位置検出動作は、視線検出機能が有効に設定されている場合に実行される。また、注視位置検出動作は、ライブビュー表示動作と並行して実施することができる。

　Ｓ２で、システム制御回路５０は、現在設定されている撮影モードを取得する。撮影モードはモード切替スイッチ６０で設定可能である。なお、モード切替スイッチ６０でシーン選択モードが設定されている場合には、シーン選択モード内で設定されているシーンの種類も撮影モードとして取り扱う。

　図５Ａ～図５Ｃは、撮像装置１の外観例を示す図である。図５Ａはモード切替スイッチ６０の配置例を示している。また、図５Ｂは、モード切替スイッチ６０の上面図であり、選択可能な撮影モードの例を示している。例えば、Ｔｖはシャッタスピード優先モード、ＡｖはＦ値優先モード、Ｍはマニュアル設定モード、Ｐはプログラムモード、ＳＣＮはシーン選択モードを示している。所望の撮影モードを示す文字がマーク６３の位置にくるようにモード切替スイッチ６０を回転させることで、所望の撮影モードを設定することができる。図５Ｂは、シーン選択モードが設定されている状態を示している。

　シーン選択モードは、特定のシーンや特定の被写体を撮影するための撮影モードである。そのため、シーン選択モードでは、シーンや被写体の種類が設定される必要がある。システム制御回路５０は、設定されたシーンや被写体の種類に適した撮影条件（シャッタスピード、絞り値、感度など）やＡＦモードを設定する。

　本実施形態では、シーン選択モードにおけるシーンや被写体の種類は、図５Ｃに示すように、表示部２８に表示されるメニュー画面の操作を通じて設定することができる。ここでは、一例としてポートレート、風景、キッズ、スポーツのいずれかを設定可能であるが、より多くの選択肢が存在してもよい。上述したように、シーン選択モードでは、設定されているシーンや被写体の種類を、撮影モードとして取り扱う。

　Ｓ３で、システム制御回路５０は、表示用画像データを取得する。システム制御回路５０は、メモリ３２のビデオメモリ領域に格納されている、これから表示されるライブビュー表示用の画像データを読み出し、画像処理部２４に供給する。

　Ｓ４で、生成手段としての画像処理部２４は、システム制御回路５０から供給された表示用画像データに対して加工処理を適用し、注視位置検出用の表示用画像データを生成する。そして、画像処理部２４は、生成した表示用画像データを、メモリ３２のビデオメモリ領域に格納し直す。なお、ここではＳ３でビデオメモリ領域から取得した表示用画像データを加工するものとしたが、表示用画像データを画像処理部２４で生成する際に、加工処理を適用し、最初から注視位置検出用の表示用画像データを生成してもよい。

　ここで、注視位置検出のために画像処理部２４が適用する加工処理の例についていくつか説明する。注視位置検出のために適用する加工処理は、撮像装置１の設定情報（ここでは一例として撮影モード）に基づいて判定される特徴領域が他の領域より視覚的に強調される加工処理である。この加工処理により、ユーザが所望の被写体に素早く視線を合わせやすくなる。設定情報に対応してどのような特徴情報を検出すべきか、特徴情報を検出するために必要なパラメータなどは、設定情報ごとに、例えば不揮発性メモリ５６に予め記憶しておくことができる。例えば、特定のシーンを撮影するための撮影モードに関連付けて、その特定のシーンに応じた主被写体の種類や、その主被写体の特徴領域を検出するためのテンプレートやパラメータを予め記憶しておくことができる。

（例１）
　図６Ａ～６Ｄは、シーン選択モードでシーンが「スポーツ」に設定されている場合に適用しうる加工処理の例を模式的に示している。図６Ａが加工前の表示用画像データが表す画像を示し、図６Ｂ～図６Ｄがそれぞれ加工後の表示用画像データが表す画像を示している。

　シーン選択モードで「スポーツ」が設定されている場合、ユーザはスポーツシーンを撮影することを意図していると推測できる。この場合、画像処理部２４は、動いている人物被写体の領域を強調すべき特徴領域と判定し、特徴領域を強調する加工処理を適用する。

　具体的には、画像処理部２４は、特徴領域として人体領域を検出するとともに、１つ前の検出結果（例えば１フレーム前のライブビュー画像における検出結果）との比較により、移動している人物領域を特定する。そして、画像処理部２４は、現フレームのライブビュー画像に対して、移動している人物領域を強調する加工処理を適用する。

　ここでは、図６Ａに示す現フレームの画像において、移動している人物領域Ｐ１、Ｐ２、Ｐ３が検出されたものとする。そして、図６Ｂは、人物領域Ｐ１～Ｐ３を強調する加工処理として、人物領域を囲う枠Ａ１～Ａ３を重畳する処理を適用した例を示している。

　また、図６Ｃは、人物領域Ｐ１～Ｐ３を強調する加工処理として、人物領域Ｐ１～Ｐ３を囲う領域の表示は変更せず、他の領域Ａ４の輝度を下げる処理を適用した例を示している。また、図６Ｄは、人物領域Ｐ１～Ｐ３を強調する加工処理として、人物領域Ｐ１～Ｐ３の全てを囲う矩形領域Ａ５の表示は変更せず、他の領域の輝度を下げる処理を適用した例を示している。

　このように、設定されているシーンや主被写体の種類に応じた特徴領域を検出し、検出された特徴領域を強調する加工処理を適用することにより、ユーザが意図している主被写体を見つけやすくすることが期待できる。ユーザが意図している主被写体を見つけやすくなることで、ユーザの視線が主被写体を注視する様になるまでの時間を短縮する効果が期待できる。

　なお、特徴領域を強調する加工処理は上述した例に限定されない。例えば、特徴領域として検出された人体領域Ｐ１、Ｐ２、Ｐ３のエッジを強調する加工処理であってもよい。また、枠Ａ１～Ａ３を点滅させたり、特定の色で表示したりすることもできる。また、図６Ｃおよび図６Ｄにおいて輝度を下げる代わりにモノクロ表示としてもよい。また、特徴領域が人間や動物の領域である場合には、画像全体をサーモグラフィ風の擬似カラー画像に変換することで、人物や動物の領域を強調してもよい。

（例２）
　図７Ａ、図７Ｂは、シーン選択モードで主被写体が「キッズ」に設定されている場合に適用しうる加工処理の例を模式的に示している。図７Ａが加工前の表示用画像データが表す画像を示し、図７Ｂが加工後の表示用画像データが表す画像を示している。

　シーン選択モードで「キッズ」が設定されている場合、ユーザは子供を主被写体として撮影することを意図していると推測できる。この場合、画像処理部２４は、子供と推定される人物被写体の領域を強調すべき特徴領域と判定し、特徴領域を強調する加工処理を適用する。

　特徴領域として検出された人物の領域が、大人であるか子供であるかは、例えば胴体の長さもしくは身長に対する頭部の長さの割合が閾値以下なら子供と判定したり、機械学習を利用して判定したりすることができるが、これらに限定されない。事前に子供として登録されている人物だけを顔認証によって検出してもよい。

　ここでは、図７Ａに示す現フレームの画像において、人物領域Ｐ１、Ｋ１、Ｋ２が検出され、領域Ｋ１、Ｋ２が子供と判定されたとする。そして、図７Ｂは、子供の領域Ｋ１、Ｋ２を強調する加工処理として、子供の領域Ｋ１、Ｋ２のエッジを強調し、さらに子供の領域Ｋ１、Ｋ２以外の領域の階調を削減する処理を適用した例を示している。階調の削減は、最大輝度の低減（輝度の圧縮）、輝度階調数の削減（２５６階調から１６階調にする）などであってよいが、これらに限定されない。例１で示した様な、輝度の低下やモノクロ表示を適用してもよい。

（例３）
　図７Ａ、図７Ｃは、シーン選択モードで主被写体が「文字」に設定されている場合に適用しうる加工処理の例を模式的に示している。図７Ａが加工前の表示用画像データが表す画像を示し、図７Ｃが加工後の表示用画像データが表す画像を示している。

　シーン選択モードで「文字」が設定されている場合、ユーザはシーン内に存在する文字に注目して撮影することを意図していると推測できる。この場合、画像処理部２４は、特徴領域として文字と推定される領域を強調すべき特徴領域と判定し、特徴領域を強調する加工処理を適用する。

　ここでは、図７Ａに示す現フレームの画像において、文字領域ＭＯが検出されたものとする。そして、図７Ｃは、文字領域ＭＯを強調する加工処理として、文字領域ＭＯのエッジを強調するとともに、文字領域ＭＯ以外の領域の階調を削減する処理を適用した例を示している。諧調の削減方法については例２と同様であってよい。

　例２および例３で説明した様に、同じ元画像（図７Ａ）に対して、設定されている撮影モードによって異なる加工処理が適用されうる。なお、例２および例３においても、例１と同様の加工処理を適用してもよい。また、強調すべき領域に対するエッジの強調と他の領域に対する輝度や階調の低減とは、一方のみ適用してもよい。

　本実施形態において注視位置検出用の画像データに対して適用しうる加工処理は、撮像装置の設定情報に基づいて決定される強調すべき領域（特徴領域）が他の領域より視覚的に強調される加工処理である。加工処理は例えば以下の４通りのいずれかであってよい。
（１）強調すべき領域は加工せず、他の領域を（輝度や階調を削減するなどして）目立たなくなるように加工する処理
（２）強調すべき領域を強調し（エッジの強調など）、他の領域は加工しない処理
（３）強調すべき領域を強調し（エッジの強調など）、さらに、他の領域を（輝度や階調を削減するなどして）目立たなくするように加工する処理
（４）画像全体を加工して、強調すべき領域を強調する処理（擬似カラー画像への変換など）
　なお、これらは例示であり、強調すべき領域が他の領域に対して視覚的に強調される（目立つ）ような任意の加工処理を適用可能である。

　図４に戻り、Ｓ５でシステム制御回路５０は、Ｓ４で画像処理部２４が生成した表示用の画像データを表示部２８に表示させる。また、システム制御回路５０は、画像処理部２４が視線入力部７０１からの視線検出用画像に基づいて検出した眼球の光軸の回転角を、画像処理部２４から取得する。システム制御回路５０は、取得した回転角に基づいて、ユーザが注視している、表示部２８に表示されている画像内の座標（注視位置）を求める。なお、システム制御回路５０は、得られた注視位置を示すマークなどをライブビュー画像に重畳表示させることで、注視位置をユーザに通知もしくはフィードバックしてもよい。

　以上で、注視位置検出動作は終了する。注視位置検出動作によって得られた注視位置は、焦点検出領域の設定、主被写体の選択などに用いることができるが、これらに限定されない。なお、撮影で得られた画像データを記録する場合、撮影時に検出した注視位置の情報を画像データと関連づけて記録してもよい。例えば、画像データを格納するデータファイルのヘッダなどに記録される付随情報として、撮影時の注視位置の情報を記録することができる。画像データに関連づけて記録された注視位置の情報は、画像データを取り扱うアプリケーションプログラムなどにおいて、主被写体の特定などに利用することができる。

　なお、視線入力機能が有効に設定されていない場合、画像処理部２４は表示用の画像データに対して視線入力を支援するための加工処理は適用しないが、目的の異なる加工処理は適用しうる。

　以上説明したように、本実施形態では、視線入力が有効な際に表示する画像に対し、撮像装置の設定情報に基づいて判定された特徴領域が他の領域より視覚的に強調される加工処理を適用するようにした。これにより、ユーザが主被写体として意図している可能性の高い領域が視認しやすくなり、主被写体を注視するまでの時間が短縮される効果が期待できる。

　なお、本実施形態では、強調すべき領域を、撮影モードの設定に基づいて判定したが、ユーザが意図している可能性の高い主被写体の種類が判定可能であれば、他の設定を用いてもよい。

●（第２実施形態）
　次に、第２実施形態について説明する。第２実施形態は第１の実施形態における表示部２８としてＸＲゴーグル（頭部装着型の表示装置もしくはＨＭＤ）を用いる場合の実施形態である。なお、ＸＲとは、ＶＲ（仮想現実）、ＡＲ（拡張現実）、ＭＲ（複合現実）の総称である。

　図８Ａの左図はＸＲゴーグル８００の外観例を示す斜視図である。ＸＲゴーグル８００は、図８Ａの右図に示す顔の領域ＳＯに装着するの一般的である。図８Ｂは、ＸＲゴーグル８００の装着面（顔が接する面）を模式的に示した図である。また、図８Ｃは、ＸＲゴーグル８００の装着時における、ＸＲゴーグル８００の接眼レンズ７０１ｄと表示部２８Ａ、２８Ｂ、ユーザの右目５０１ａ、左目５０１ｂの位置関係を模式的に示す上面図である。

　ＸＲゴーグル８００は、右目５０１ａ用の表示部２８Ａと左目５０１ｂ用の表示部２８Bを有し、視差画像対を構成する右目用画像を表示部２８Aに、左目用画像を表示部２８Ｂに表示させることにより、立体視を可能としている。そのため、第１実施形態で説明した接眼レンズ７０１ｄが表示部２８Ａおよび２８Ｂのそれぞれについて設けられている。

　なお、本実施形態では撮像部２２が図２Ａに示した構成の画素を有するものとする。この場合、光電変換部２０１ａから得られる画素信号群から右目用画像を、光電変換部２０１ｂから得られる画素信号群から左目用画像を生成することができる。レンズユニット１５０をステレオ映像を撮影可能なレンズとするなど、他の構成を用いて右目用画像および左目用画像を生成してもよい。また、視線入力部７０１は、ＸＲゴーグルの接眼部に設けられ、右目、左目の一方について視線検出用画像を生成するものとする。

　それ以外の構成は、図１に示した撮像装置１と同様の構成により実施可能であるため、以下では撮像装置１の構成要素を用いて説明する。なお、本実施形態では、ライブビュー画像ではなく、予め記録媒体２００に記録済みの右目用画像および左目用画像を用いて表示用画像を生成するものとする。

　図９は、本実施形態における注視位置検出動作に関するフローチャートであり、第１実施形態と同様の処理を行うステップには、図４と同じ参照符号を付与することにより、重複する説明を省略する。

　Ｓ９１で、システム制御回路５０は、現在設定されている体験モードを取得する。本実施形態では撮影を行わないため、ＸＲに関する体験モードを取得する。体験モードは、例えばＸＲ体験を行う仮想環境の種類であり、例えば「美術館」、「博物館」、「動物園」、「ダイビング」といった選択肢が用意される。なお、体験モードは、リモートコントローラを用いたり、ＸＲゴーグルに設けられた入力デバイスを用いたり、メニュー画面を表示して視線で選択したりする方法によって設定可能である。なお、記録媒体２００には、体験モードとして選択可能な仮想環境のそれぞれに対応した表示用画像データが記憶されているものとする。

　Ｓ３でシステム制御回路５０は、Ｓ９１で選択された体験モードに対応した表示用画像データを記録媒体２００から読み出すことによって取得し、画像処理部２４に供給する。

　Ｓ９２で、画像処理部２４は、システム制御回路５０から供給された表示用画像データに対して加工処理を適用し、注視位置検出用の表示用画像データを生成する。本実施形態では表示画像データが右目用画像と左目用画像とを含んだステレオ画像データであるため、画像処理部２４は、右目用画像と左目用画像の両方に対して加工処理を適用する。

　Ｓ９２で画像処理部２４が適用する加工処理は、ＸＲ体験を提供する装置（ここでは撮像装置１）の設定情報（ここでは一例として体験モード）に基づいて判定される特徴領域が他の領域より視覚的に強調される加工処理である。この加工処理により、ＸＲ体験の没入感が増す効果が期待できる。

　Ｓ９２で画像処理部２４が適用する加工処理の例について説明する。
（例４）
　図１０Ａ～１０Ｃは、体験モードが「ダイビング」に設定されている場合に適用しうる加工処理の例を模式的に示している。図１０Ａは加工前の表示用画像データが表す画像を示している。

　体験モードで「ダイビング」が設定されている場合、ユーザは海中の生物に興味を有していると推測できる。この場合、画像処理部２４は、動いている海中の生物の領域を強調すべき特徴領域と判定し、特徴領域を強調する加工処理を適用する。

　具体的には、画像処理部２４は、特徴領域として魚類および海獣などの領域を検出するとともに、過去の検出結果との比較により、移動している特徴領域を特定する。そして、画像処理部２４は、処理対象のフレーム画像に対して、移動している特徴領域を強調する加工処理を適用する。

　ここでは、図１０Ａに示す処理対象のフレーム画像において、移動している魚および人間の領域である特徴領域ｆ１～ｆ４が検出されたものとする。この場合、画像処理部２４は、特徴領域ｆ１～ｆ４を強調する加工処理として、特徴領域ｆ１～ｆ４の表示は維持し、他の領域の色数を低減する（例えばモノクロにする）加工処理を適用する。なお、特徴領域を強調する加工処理は、第１実施形態で説明したものを含む、他の加工処理であってもよい。

　図９に戻り、Ｓ５でシステム制御回路５０は、システム制御回路５０は、画像処理部２４が視線入力部７０１からの視線検出用画像に基づいて検出した眼球の光軸の回転角を、画像処理部２４から取得する。システム制御回路５０は、取得した回転角に基づいて、ユーザが注視している、表示部２８Ａまたは２８Ｂに表示されている画像内の座標（注視位置）を求める。そして、システム制御回路５０は、Ｓ９２で画像処理部２４が生成した右目用および左目用の画像データに注視位置を示すマークを重畳して、表示部２８Ａおよび２８Ｂ表示させる。

　Ｓ９３でシステム制御回路５０は、Ｓ５で検出した注視位置情報を用いて表示用画像にさらなる加工処理を適用するか否かを判定する。この判定は、例えば注視位置情報の利用に関するユーザ設定に基づいて実行するなど、任意の判定条件に基づいて実行することができる。

　システム制御回路５０は、注視位置情報を用いないと判定されれば注視位置検出動作を終了する。一方、システム制御回路５０は、視線位置情報を用いると判定されればＳ９４を実行する。

　Ｓ９４でシステム制御回路５０は、メモリ３２のビデオメモリ領域に格納されている、表示用画像データを読み出し、画像処理部２４に供給する。画像処理部２４は、Ｓ５で検出された注視位置を用いて、表示用画像データに対してさらに加工処理を適用する。

　Ｓ９４で行う、注視位置情報を用いた加工処理の例を図１０Ｂおよび図１０Ｃに示す。表示用画像データには、Ｓ５で検出された注視位置を示すマーカーＰ１が重畳されている。ここでは、検出された注視位置ｐ１が特徴領域ｆ１内であるため、ユーザは特徴領域ｆ１に興味を持っている可能性が高い。そのため、Ｓ９２で加工処理を適用して強調した特徴領域ｆ１～ｆ４のうち、特徴領域ｆ１が他の特徴領域ｆ２～ｆ４より視覚的に強調されるような加工処理を適用する。

　例えば、Ｓ９２では特徴領域ｆ１～ｆ４はカラー表示を維持し、他の領域をモノクロ表示することにより、特徴領域ｆ１～ｆ４を強調したとする。この場合、Ｓ９４で画像処理部２４は、特徴領域ｆ２～ｆ４もモノクロ表示とし、特徴領域ｆ１、あるいは注視位置と注視位置に最も近い特徴領域（ここでは特徴領域ｆ１）を包含する領域はカラー表示を維持するようにする。図１０Ｂは、注視位置ｐ１と特徴領域ｆ１を包含する領域Ｃ１はカラー表示が維持され、特徴領域ｆ２～ｆ４を含む他の領域はモノクロ表示とする加工処理が行われた状態を模式的に示している。ここでは、特徴領域ｆ２～ｆ４を、特徴量域以外の領域と同じ表示形態に変更するものとしたが、特徴領域ｆ２～ｆ４は特徴領域ｆ１よりは目立たず、特徴領域以外の領域よりは目立つような表示形態としてもよい。

　このように、注視位置を用いて強調すべき特徴領域を絞り込むことにより、注視位置を用いない場合よりもユーザが興味を持っている特徴領域をより正確に把握し、強調する加工処理を適用することができる。そのため、ＸＲ体験時の没入感が増す効果が一層期待できる。また、注視位置を利用したアプリケーションにおいて、意図している被写体を注視していることをユーザが確認することが容易になるという効果も実現できる。

　検出された注視位置の時間変化を利用することもできる。図１０Ｃにおいて、時刻Ｔ＝０で検出された注視位置がＰ１、Ｔ＝１（単位は任意）で検出された注視位置がＰ２であったとする。この場合、時刻Ｔ＝０から１の間に、注視位置がＰ１からＰ２へ移動しているため、ユーザは視線を左方向に移動させていることがわかる。

　この場合、注視位置の移動方向に存在する特徴領域ｆ４について強調することで、ユーザが新しい特徴領域を注視しやすくなる効果が期待できる。ここでは、カラー表示を維持するＣ２を、注視位置の移動方向における距離が最短である特徴領域ｆ４を包含するように拡張した例を示している。ここでは強調する領域を注視位置の移動方向に拡張する例を示したが、領域を拡張せずに、注視位置の移動に合わせて移動させてもよい。

　このように、視線位置の経時変化を考慮して強調する領域を決定することにより、ユーザがこれから注視するであろう被写体について強調することができ、ユーザが所望の被写体を容易に注視することを支援できる効果が期待できる。

　Ｓ９２で画像処理部２４が適用する加工処理の別の例について説明する。
（例５）
　図１１Ａ～図１１Ｃは、体験モードが「美術館」に設定されている場合に適用しうる加工処理の例を模式的に示している。図１１Ａは加工前の表示用画像データが表す画像を示している。

　体験モードで「美術館」が設定されている場合、ユーザは絵画や彫刻などの美術品に興味を有していると推測できる。この場合、画像処理部２４は、美術品の領域を強調すべき特徴領域と判定し、特徴領域を強調する加工処理を適用する。

　ここでは、図１１Ａに示す処理対象のフレーム画像において、美術品の領域として特徴領域Ｂ１～Ｂ５が検出されたものとする。この場合、Ｓ９２で画像処理部２４は、例えば図１１Ｂに示すように、特徴領域Ｂ１～Ｂ５を強調する加工処理として、特徴領域Ｂ１～Ｂ５の表示は維持し、他の領域の輝度を低減する加工処理を適用する。なお、特徴領域を強調する加工処理は、第１実施形態で説明したものを含む、他の加工処理であってもよい。

　注視位置情報を用いて表示用画像にさらなる加工処理を適用する場合、Ｓ９４で画像処理部２４は、例えば図１１Ｃに示すように、（マーカｐ３で示される）注視位置を含んだ特徴領域Ｂ２に、予め記憶された付随情報ＣＭ１を重畳表示することができる。付随情報ＣＭ１に特に制限は無く、絵画であれば例えば絵画の名称、作者、制作年などの書誌的情報など、特徴領域の種類に応じた情報であってよい。なお、本実施形態では表示用画像データは予め用意されているため、画像における美術品の位置に関する情報や、美術品に関する付随情報についても予め用意しておくことができる。従って、画像処理部２４は注視位置に存在する美術品を特定し、その付随情報を取得することが可能である。

　ここでは、注視位置に存在する美術品の付随情報を追加表示してさらに強調するようにしたが、注視位置に存在する美術品の拡大映像を重畳するなど、他の方法で強調するようにしてもよい。

　以上説明したように、本実施形態では、第１の実施形態で説明した加工処理に加え、注視位置を考慮した加工処理を適用することにより、ユーザが興味を有している可能性の高い特徴領域についてより効果的に強調することができる。そのため、ユーザが所望の被写体を素早く注視することを支援したり、より没入感のあるＸＲ体験を提供したりすることが可能になる。

●（第３実施形態）
　次に、第３実施形態について説明する。視線入力機能はユーザの視覚を用いる機能であるが、ユーザの視覚特性には個人差がある。そのため、本実施形態では、表示用画像データに対してユーザの視覚特性を考慮した加工処理を適用することにより、視線入力機能の使い勝手を向上する。

　視覚特性の個人差の例としては、
（１）明るさの違いが識別できる輝度範囲（ダイナミックレンジ）の個人差
（２）中心視（注視点の周囲１～２°）や有効視野（中心視の周囲４～２０°）の個人差
（３）色相差の認識能力の個人差
などがある。これらの個人差は、先天的に、また後天的に（典型的には加齢によって）生じうる。

　したがって、本実施形態ではこれら（１）～（３）の個人差を反映した視覚情報をユーザごとに登録し、視覚情報を反映した加工処理を表示用画像データに適用することにより、個々のユーザにとって利用しやすい視線入力機能を提供する。

　以下、視覚情報を取得するための具体的なキャリブレーション機能の例について説明する。キヤリブレーション機能は、例えばメニュー画面を通じてユーザから実行が指示された場合や、ユーザの視覚特性が登録されていない場合にシステム制御回路５０が実行することができる。

　（１）の輝度ダイナミックレンジは、ユーザが不快に感じない最大輝度と最低輝度の範囲とすることができる。例えば、システム制御回路５０は、図１２Ａに示すような、最大輝度から最低輝度までを所定の階調数で表した無彩色のグラデーションチャートを表示部２８に表示させる。そして、ユーザが不快に感じない輝度範囲を、例えば操作部７０の操作を通じて選択させる。ユーザは、例えば４方向キーの上下キーを用いてバー１２０１の上端および下端の位置を調整し、眩しく感じない最大輝度と、隣接する階調との差が識別できる（あるいは暗すぎると感じない）最小輝度とを設定することができる。

　システム制御回路５０は、例えばセット（決定）ボタンが押下された際のバー１２０１の上端および下端の位置に基づいて、ユーザに対して使用しないことが好ましい輝度範囲ＫＨおよびＫＬを登録する。なお、バー１２０１の上端および下端の位置に相当する輝度を登録してもよい。

　あるいは、システム制御回路５０は、例えば４方向キーの上キーの押下に応じて画面全体の輝度を増加させ、下キーの押下に応じて画面全体の輝度を低下させるようにして、ユーザに最大輝度と最小輝度を設定させてもよい。そして、システム制御回路５０は、ユーザに、眩しいと感じない最大の輝度で表示されている状態にしてセットボタンを押下するように促す。そして、システム制御回路５０は、セットボタンの押下を検出した際の表示輝度を最大輝度として登録する。また、システム制御回路５０は、ユーザに、隣接する階調との差が識別できる（あるいは暗すぎると感じない）最小の輝度で表示されている状態にしてセットボタンを押下するように促す。そして、システム制御回路５０は、セットボタンの押下を検出した際の表示輝度を最小輝度として登録する。この場合も、最大輝度と最小輝度の代わりに、ユーザに対して使用しないことが好ましい高輝度側の輝度範囲ＫＨおよび低輝度側の輝度範囲ＫＬを登録してもよい。

　輝度ダイナミックレンジに関するユーザの視覚特性は、輝度の調整が必要か否かの判定や、輝度調整時のパラメータの決定に用いることができる。

　（２）の有効視野は、中心視を含む、情報を識別可能な範囲である。有効視野は例えばUseful Field of View (UFOV)と呼ばれる視野であってよい。システム制御回路５０は、例えば図１２Ｂに示すような、比較的細かなパターンを背景として、大きさが可変である円１２０２が表示される画像を表示部２８に表示させる。そして、円１２０２の中心を注視した状態で、背景のパターンが鮮明に判別できる範囲に円１２０２の大きさを調節するようにユーザに促す。ユーザは、背景パターンを鮮明に認識できる最大の範囲に対応するように例えば４方向キーの上下キーを用いて円１２０２の大きさを調整し、セットキーを押下することにより、有効視野の大きさを設定することができる。システム制御回路５０は、上下キーの押下を検出すると円１２０２の大きさを変更し、セットキーの押下を検出すると、その時点の円１２０２の大きさに応じた有効視野の範囲を登録する。

　有効視野に関するユーザの視覚特性は、注視範囲の抽出に用いることができる。

　（３）は、同系色において違いが認識できる色相差の大きさである。システム制御回路５０は、例えば図１２Ｃに示すような、同系色で色相を徐々に変化させた複数の色見本を選択可能に並べた画像を表示部２８に表示させる。ここで表示する色見本は、例えば緑、黄、青のような、被写体の背景で大きな面積を占めることがある色とすることができる。また、緑系統、黄系統、青系統など、複数の色系統について情報を取得してもよい。

　図１２Ｃは色鉛筆のイメージを用いて色見本を並べているが、短冊状の色見本などであってもよい。左端の色鉛筆が基準色であり、右方向に色相を一定量ずつ異らせた色見本を並べている。システム制御回路５０は、左端の色鉛筆と色が異なると認識できる、色鉛筆のうち、一番左の色鉛筆を選択するようユーザに促す。ユーザは、例えば４方向キーの左右キーを用いて該当する色鉛筆を選択し、セットキーを押下する。システム制御回路５０は、左右キーの押下を検出すると選択状態の色鉛筆を移動させ、セットキーの押下を検出すると、その時点で選択状態にある色鉛筆に対応する色相と、基準色の色相との差を、ユーザが認識可能な最小の色相差として登録する。複数の色系統について情報を登録する場合には、色系統ごとに同じ動作を繰り返し実行する。

　色相差の認識能力に関するユーザの視覚特性は、色相の調整が必要か否かの判定や、色相調整時のパラメータの決定に用いることができる。

　上述した、個人差のある視覚特性（１）～（３）および、視覚特性（１）～（３）に関するユーザの固有情報の取得方法は単なる例示である。他の視覚特性に関してユーザの情報を登録すること、および／または視覚得性（１）～（３）に関する情報を他の方法で登録することができる。

　次に、登録したユーザの視覚特性（１）～（３）を用いた加工処理の具体例について説明する。なお、視覚特性を複数のユーザに対して登録可能な場合には、例えば設定画面を通じて選択されているユーザに関する視覚特性を用いる。

　図１３Ａは、逆光状態で高輝度な空を背景にして、複数の飛行機Ｅ１が存在するシーンを示している。このように背景が高輝度な場合、ユーザの視覚特性によっては背景が眩しく、飛行機Ｅ１を注視するのが難しくなる。

　このような状況に対処するため、画像処理部２４は、視線入力機能が有効な際に表示用画像データを生成する場合、背景の輝度値（例えば平均輝度値）がユーザの視覚特性（輝度ダイナミックレンジ）に適切か否かを判定することができる。画像処理部２４は、背景の輝度値がユーザの輝度ダイナミックレンジを外れている場合（図１２Ａにおける輝度範囲ＫＨに含まれる場合）には、輝度がユーザの視覚特性に対して適切でないと判定する。そして、画像処理部２４は、画像の背景領域の輝度値がユーザの輝度ダイナミックレンジ内（図１２Ａのバー１２０１で表される輝度範囲）に含まれるように輝度を低下させる加工処理を表示画像データに適用する。

　図１３Ｂは背景領域の輝度を低減する加工処理を適用した状態を模式的に示している。Ｍ１は主被写体領域である。画像のうち、主被写体領域Ｍ１を除いた領域を背景領域とする。ここでは、画像処理部２４は、ユーザの注視位置から一定範囲に存在する特徴領域（ここでは飛行機）を包含する大きさの領域を主被写体領域Ｍ１として、背景領域と分離している。なお、主被写体領域の大きさは、ユーザの有効視野の大きさとしてもよい。また、ユーザの注視位置に基づく主被写体領域の決定は他の方法に基づいてもよい。

　なお、ユーザの輝度ダイナミックレンジに適した輝度に調整するための加工処理を適用する場合、目標とする輝度値は輝度ダイナミックレンジ内で適宜定めることができる。例えば、輝度ダイナミックレンジの中央値としてもよい。なお、ここでは背景領域の輝度値を調整（補正）する加工処理についてのみ説明したが、主被写体領域の輝度値についても同様に調整することができる。なお、背景領域と主被写体領域の両方について輝度を調整する場合、背景領域よりも主被写体領域の目標輝度が高くなるようにすることで、主被写体領域の視認性を向上することができる。

　図１４Ａは、主被写体を見失いやすいシーンの一例として、例えば集団競技や遊戯のように、類似かつ多数の被写体が様々な方向に移動するシーンを示している。図１４Ａにおいて、ユーザが意図している主被写体がＥ２であるとする。
　ユーザが主被写体Ｅ２を見失い、主被写体がユーザの有効視野から外れると、主被写体が他の被写体と同様にボケて認識されるため、一層区別が付きにくくなる。

　このような状況に対処するため、画像処理部２４は、図１４Ｂに示すように、主被写体領域Ｍ２以外の領域（背景領域）の解像度を低下させる（ぼかす）加工処理を適用する。これにより、主被写体領域Ｍ２の鮮鋭度が相対的に高まるため、仮にユーザが主被写体Ｅ２を見失ったとしても、容易に見つけることができる。主被写体領域Ｍ２は、輝度調整に関して説明した方法と同様にして決定することができる。

　なお、主被写体領域の大きさが中心視野の範囲より大きい場合には、主被写体領域のうち、中心視野の範囲外の領域についても背景領域として加工処理を適用してもよい。このように、主被写体の鮮鋭度を相対的に高めることにより、ユーザの注意が自然に主被写体へ向かうため、結果的に注視位置に基づく被写体追尾を支援する効果も実現できる。

　図１５Ａは、主被写体の輝度が低いことにより、ユーザが主被写体を認識しづらいシーンの一例として、暗い場所を移動している動物が主被写体であるシーンを示している。図１５Ａにおいて、ユーザが意図している主被写体がＥ３であるとする。

　このような状況に対処するため、画像処理部２４は、視線入力機能が有効な際に表示用画像データを生成する場合、注視位置の周辺領域の輝度値（例えば平均輝度値）がユーザの視覚特性（輝度ダイナミックレンジ）に適切か否かを判定することができる。画像処理部２４は、注視位置の周辺領域の輝度値がユーザの輝度ダイナミックレンジを外れている場合（図１２Ａにおける輝度範囲ＫＬに含まれる場合）には、輝度がユーザの視覚特性に対して適切でないと判定する。そして、画像処理部２４は、注視位置の周辺領域の輝度値がユーザの輝度ダイナミックレンジ内（図１２Ａのバー１２０１で表される輝度範囲）に含まれるように輝度を上昇させる加工処理を表示画像データに適用する。図１５Ｂは、注視位置の周辺領域Ｍ３の輝度を上昇させる加工処理を適用した状態を模式的に示している。なお、注視位置の周辺領域は、例えば有効視野に対応する領域としてもよいし、注視位置を含む特徴領域や、追尾用のテンプレートとして用いる領域などとしてもよい。

　ここで、画像全体ではなく、注視位置の周辺領域についてのみ輝度を調整（上昇）させるのは、暗いシーンの画像の輝度を上昇させるとノイズ成分によって画像の視認性が低下するためである。画面全体の輝度を上昇させると、ノイズの影響でフレーム間における移動被写体の検出精度が低下しやすくなる。また、ノイズが画面全体で視認されるようになると、ノイズのチラツキによってユーザの目が疲労しやすくなる。

　なお、シーンが暗い場合、注視位置に主被写体が存在しないことも十分考えられる。そのため、注視位置が安定するまでは画面全体の輝度を上昇させ、注視位置が安定したら注視位置の周辺領域以外の領域については輝度を元に戻す（加工処理を適用しないようにする）ようにしてもよい。システム制御回路５０は、例えば注視位置の移動量が一定時間にわたって閾値以下であれば、注視位置が安定したと判定することができる。

　図１６Ａは、主被写体と背景の色が似ており、主被写体を見失いやすいシーンの一例として、草むらを背景として類似色の鳥Ｅ４が移動しているシーンを示している。図１６Ａにおいて、ユーザが意図している主被写体が鳥Ｅ４であるとする。ユーザが鳥Ｅ４を見失った場合、背景と鳥Ｅ４の色が類似しているために鳥Ｅ４を見つけづらい。

　そのため、画像処理部２４は、主被写体領域（鳥Ｅ４の領域）の色相と、少なくとも主被写体の周辺の背景領域の色相との差が、ユーザの視覚特性のうち色相差の認識能力に照らして適切であるか否かを判定することができる。そして、主被写体領域と背景領域の色相との差が、ユーザが認識できる色相の差以下である場合、画像処理部２４は不適切であると判定する。この場合、画像処理部２４は、主被写体領域とその周辺の背景領域との色相の差が、ユーザが認識できる色相の差より大きくなるように、主被写体領域の色相を変更する加工処理を表示画像データに適用する。図１６Ｂは主被写体領域Ｍ４の色相を変更する加工処理を適用した状態を模式的に示している。

　なお、ここで例示した加工処理に限らず、ユーザの視覚特性を利用した加工処理を適用することが可能である。また、主被写体領域や背景領域の輝度や色相に応じて複数の加工処理を組み合わせて適用することもできる。

　図１７は、本実施形態に係る表示画像データの生成動作に関するフローチャートである。この動作は、視線入力機能が有効である際に、注視位置の検出と並行して実行することができる。
　Ｓ１７０１においてシステム制御回路５０は、撮像部２２により１フレームの画像を撮影し、Ａ／Ｄ変換器２３を通じて画像処理部２４にデジタル画像信号を供給する。

　Ｓ１７０２で画像処理部２４は、直近に検出された注視位置に基づいて、主被写体領域とする特徴領域を検出する。ここで、画像処理部２４は、第１実施形態で説明したように撮影モードから判定した種類の特徴領域を検出してから、注視位置を含む特徴領域、あるいは注視位置からの距離が最も近い特徴領域を主被写体領域としてもよい。

　Ｓ１７０３で画像処理部は、Ｓ１７０２で検出した特徴領域（主被写体領域）を抽出する。これにより、主被写体領域と他の領域（背景領域）とが分離される。

　Ｓ１７０４で画像処理部２４は、例えば不揮発性メモリ５６に記憶されている、ユーザの視覚特性に関する情報を取得する。

　Ｓ１７０５で画像処理部２４は、主被写体領域と背景領域とについて、平均輝度や色相の差を算出する。そして、画像処理部２４は、算出した平均輝度や色相の差と、ユーザの視覚特性とを比較することにより、主被写体領域に加工処理を適用する必要があるか否かを判定する。上述したように、画像処理部２４は、主被写体の輝度や主被写体領域と背景領域との色相の差がユーザの視覚特性にとって適切でない場合には、主被写体領域に加工処理を適用する必要があると判定する。画像処理部２４は、主被写体領域に加工処理を適用する必要があると判定されればＳ１７０６を、判定されなければＳ１７０７を実行する。

　Ｓ１７０６で画像処理部２４は、適切でないと判定された内容に応じた加工処理を主被写体領域に適用したのち、Ｓ１７０７を実行する。

　Ｓ１７０７で画像処理部２４は、Ｓ１７０５と同様にして、他の領域（背景領域）に加工処理を適用する必要があるか否かを判定する。画像処理部２４は、背景領域に加工処理を適用する必要があると判定されればＳ１７０８を実行する。また、背景領域に加工処理を適用する必要があると判定されなければ、画像処理装置部２４はＳ１７０１を実行し、次フレームについての動作を開始する。

　Ｓ１７０８で画像処理部２４は、適切でないと判定された内容に応じた加工処理を背景領域に適用したのち、Ｓ１７０１を実行する。

　なお、ユーザの視覚特性に対して何が適切でな以下に応じて、主被写体領域と背景領域のそれぞれについてどのような加工処理を適用するのかは、予め定めておくことができる。したがって、Ｓ１７０５における判定結果に応じて、主被写体領域だけに加工処理を適用するのか、背景領域だけに加工処理を適用するのか、主被写体領域と背景領域の両方に加工処理を適用するのかと、適用する処理の内容が特定される。

　以上説明したように、本実施形態によれば、視線入力機能が有効であるときは、ユーザの視覚特性を考慮した加工処理を適用して表示用画像データを生成するようにした。そのため、個々のユーザの視覚特性に対して適切な表示用画像データを生成することができ、よりユーザにとって使いやすい視線入力機能を提供することができる。

　なお、第１実施形態で説明した、視線による主被写体の選択をし易くするための加工処理と、本実施形態で説明した、ユーザの視覚特性に適した画像にするための加工処理とは、組み合わせて適用することもできる。

●（第４実施形態）
　次に、第４実施形態について説明する。本実施形態は、撮像装置１の構成要素を内蔵したＸＲゴーグル（頭部装着型の表示装置もしくはＨＭＤ）を用いて体験する仮想空間の視認性向上に関する。ＸＲゴーグルを通じて視認する仮想空間の画像は、仮想空間ごとに予め用意された表示用画像データをＸＲゴーグルの向きや姿勢に応じて描画することにより生成される。表示用画像データは記録媒体２００に予め記憶されていてもよいし、外部装置から取得してもよい。

　ここでは例として体験モード「ダイビング」および「美術館」を仮想空間で提供するための表示データが記録媒体２００に記憶されているものとする。しかし、提供する仮想空間の種類および数に特段の制限はない。

　体験モード「ダイビング」および「美術館」を提供するための仮想空間画像の例を図１８Ａおよび１８Ｂに模式的に示す。ここでは、説明および理解を容易にするため、仮想空間の全体がＣＧ画像で表現されるものとする。したがって、強調表示する主被写体は、ＣＧ画像の一部である。仮想空間画像に含まれる主被写体を強調表示することにより、主被写体の視認性を向上させることができる。主被写体は少なくとも初期状態において撮像装置１（システム制御回路５０）が設定する。撮像装置１が設定した主被写体はユーザが変更してもよい。

　なお、例えばビデオシースルー型のＨＭＤのように、現実空間を撮影した画像にＣＧを仮想空間画像として重畳した合成画像を表示する場合、強調表示する主被写体領域（特徴領域）は実写画像部分に含まれる場合もあれば、ＣＧ部分に含まれる場合もある。

　図１９Ａおよび１９Ｂはそれぞれ、図１８Ａおよび１８Ｂに示すシーンに対して主被写体を強調する加工処理を適用した例を模式的に示した図である。ここでは、主被写体以外の彩度を低減することによって主被写体を強調し、主被写体の視認性を向上させている。なお、加工処理は他の方法で主被写体を強調してもよい。

　図１９Ａおよび１９Ｂに示す例は、主被写体の領域は加工せず、他の領域を目立たなくなるようにする加工処理である。このほか、主被写体を強調し、他の領域は加工しない加工処理や、主被写体を強調し、他の領域を目立たなくする加工処理であってもよい。あるいは、画像全体を加工して対象物を強調する加工処理であってもよいし、他の方法で主被写体の領域を強調する加工処理であってもよい。

　ダイビングを仮想空間で体験する場合、主被写体は「生き物」であると考えらえる。美術館を仮想空間で体験する場合、主被写体は「展示物」（絵画や彫刻など）や特徴的な色（ここでは極彩色としている）を有する物体であると考えられる。つまり、提示する仮想空間や体験の種類によって、強調表示すべき主被写体が異なりうる。

　図２０は、提供する仮想空間（または体験）の種類と、強調表示することが可能な被写体の種類（特徴領域の種類）との関係を示した図である。ここでは、強調表示することが可能な被写体の種類を仮想空間の種類にメタデータとして関連付けている。また、デフォルトで強調表示する主被写体の種類も仮想空間の種類に関連付けている。ここで、メタデータとして一覧表示されている被写体の種類は、画像処理部２４が検出可能な被写体の種類に対応している。また、仮想空間の種類ごとに、主被写体として設定可能な被写体の種類を○で示し、デフォルトで主被写体として選択される被写体の種類を◎で示している。したがってユーザは、○で示された被写体から新たな主被写体を選択することができる。

　ユーザが主被写体の種類を変更する方法に特に制限はない。例えば、システム制御回路５０は、操作部７０を通じたメニュー画面の操作などに応答して、撮像装置１が有する表示部２８やＸＲゴーグルの表示部に主被写体を変更するためのＧＵＩを表示する。そして、システム制御回路５０は、このＧＵＩに対する操作部７０を通じた操作に応じて、現在提供している仮想空間の種類に対する主被写体の設定を変更することができる。

　図２１Ａおよび２１Ｂは主被写体を変更するために表示するＧＵＩの例を示す図である。図２１Ａはモードダイヤルを模したＧＵＩであり、操作部７０に含まれるダイヤルの操作により、選択肢の１つを主被写体に設定することができる。図２１Ａでは、風景が主被写体に設定された状態を示している。なお、主被写体を変更するためのＧＵＩに表示される選択肢は、図２０において○が付されたメタデータの種類と対応している。なお、図２１Ａの例では、メタデータの種類とは別に、強調表示を行わないことを設定するための「ＯＦＦ」を選択肢に含めている。図２１Ｂは主被写体の種類を変更するためのＧＵＩの別の例を示している。ダイヤルを模した形態の代わりに一覧表示形態としたことを除き、図２１Ａに示したＧＵＩと同じである。ユーザは操作部７０を用いて所望の選択肢を選択することにより、強調表示する主被写体を変更すること（および強調表示をＯＦＦすること）ができる。なお、視線を用いた選択肢の選択を可能としてもよい。

　図２２は、仮想空間の種類「ダイビング」「美術館」「サファリ」について、メタデータの例を画像で示した図である。例えば、提示する仮想空間画像について画像処理部２４が検出した被写体領域を被写体の種類ごとにメタデータとして抽出し、メモリ３２に格納することができる。これにより、強調表示する主被写体の変更に対して容易に対応することができる。なお、ＸＲゴーグルに表示する仮想空間の画像を予め生成することが可能な場合には、メタデータについても予め記録しておくことができる。また、メタデータは被写体領域を表す数値情報（例えば、中心位置と大きさ、外縁の座標データなど）であってもよい。

　また、第２実施形態で説明した注視位置情報を用いてユーザが関心を示している被写体の種類を特定し、特定した種類の被写体領域を強調表示してもよい。この場合、注視位置に応じて強調表示する主被写体の種類が変化するため、ユーザは明示的に設定を変更することなく主被写体を変更することができる。

　また、現在の視野に主被写体が存在しない場合や、主被写体領域の数や大きさが閾値以下の場合に、より多くの主被写体が視野に入る方向を示す指標を仮想空間画像に重畳してもよい。

　図２３Ａは、体験モード「ダイビング」において現在ＸＲゴーグルに提示中の仮想空間画像の例を示している。提示中の仮想空間画像には主被写体である魚の領域が存在しない。この場合、システム制御回路５０は、仮想空間画像に主被写体が存在する方向の指標Ｐ１を重畳することができる。システム制御回路５０は、例えば表示用画像データを生成するための仮想空間データにおける魚オブジェクトの位置情報に基づいて、魚がＸＲゴーグル視野に入る方向を特定することができる。

　ユーザは指標Ｐ１で示される方向を見るように首を振るなどすることにより、図２３Ｂに示すように魚を視認することが可能になる。なお、主被写体の存在する方向を示す指標は複数重畳させてもよい。この場合、システム制御回路５０は、主被写体を視野に含めるために必要な視線の移動距離が最も短い方向を示す指標、あるいは最も多くの主被写体を視野に含めることができる方向を示す指標を最も目立つ（例えば大きく）ように表示することができる。

　本実施形態によれば、提供する仮想空間に応じた種類の被写体領域を強調表示するようにした。そのため、仮想空間画像について、ユーザが主被写体として意図している可能性の高い領域が視認しやすくなり、主被写体を注視するまでの時間が短縮される効果が期待できる。

●（第５実施形態）
　次に、第５実施形態について説明する。本実施形態は、第４実施形態でＸＲゴーグルに表示する仮想空間画像を、サーバなどＸＲゴーグルの外部装置から取得する表示システムに関する。

　図２４Ａは、ＸＲゴーグルＤＰ１とサーバＳＶ１とが通信可能に接続された表示システムの模式図である。ＸＲゴーグルＤＰ１とサーバＳＶ１との間にＬＡＮやインターネットなどのネットワークが存在してもよい。

　一般的に、仮想空間画像の生成には、大容量となる仮想空間データと、仮想空間データから仮想空間画像を生成（描画）する演算能力とが必要である。そのため、ＸＲゴーグルからは姿勢検出部５５で検出した姿勢情報のような、仮想空間画像を生成するために必要な情報をサーバに出力する。そして、サーバでＸＲゴーグルに表示する仮想空間画像を生成し、ＸＲゴーグルに送信する。

　仮想空間データ（３次元データ）をサーバＳＶ１で持つことにより、サーバに接続された複数のＸＲゴーグルで同一の仮想空間を共有することが可能になる。

　図２５はサーバＳＶ１として利用可能なコンピュータ装置の構成例を示すブロック図である。図において、ディスプレイ２５０１はアプリケーションプログラムによって処理中のデータの情報、各種メッセージメニューなどを表示し、ＬＣＤ(Liquid Crystal Display)等から構成される。ビデオＲＡＭ（ＶＲＡＭ）ディスプレイコントローラとしてのＣＲＴＣ２５０２は、ディスプレイ２５０１への画面表示制御を行う。キーボード２５０３及びポインティングデバイス２５０４は、文字などを入力したり、ＧＵＩ（Graphical User Interface）におけるアイコンやボタンなどを操作するためなどに用いられる。ＣＰＵ２５０５はコンピュータ装置全体の制御を司る。

　ＲＯＭ（Read Only Memory）２５０６はＣＰＵ２５０５が実行するプログラムやパラメータ等を記憶している。ＲＡＭ（Random Access Memory）２５０７は各種プログラムをＣＰＵ２５０５が実行する時のワークエリア、各種データのバッファ等として用いられる。

　ハードディスクドライプ（ＨＤＤ）２５０８、リムーバブルメディアドライプ（ＲＭＤ）２５０９は、外部記憶装置として機能する。リムーバブルメディアドライブは、着脱可能な記録媒体の読み書き又は読み出しを行う装置であり、光ディスクドライブ、光磁気ディスクドライブ、メモリカードリーダなどであってもよい。

　なお、サーバＳＶ１の各種機能を実現するプログラムを始め、ＯＳや、ブラウザ等のアプリケーションプログラム、データ、ライプラリなどは、その用途に応じてＲＯＭ２５０６、ＨＤＤ２５０８、ＲＭＤ２５０９（の記録媒体）の１つ以上に記憶されている。

　拡張スロット２５１０は、例えばＰＣＩ(Periferal Component Interconnect)バス規格に準拠した拡張カード装着用スロットである。拡張スロット２５１０には、ビデオキャプチャボードや、サウンドボードなど、様々な拡張ボードを装着することが可能である。

　ネットワークインタフェース２５１１はサーバＳＶ１をローカルネットワークや外部ネットワークと接続するためのインタフェースである。また、サーバ装置ＳＶ１はネットワークインタフェース２５１１の他に、規格に準拠した外部機器との通信インタフェースを１つ以上有している。規格の例にはＵＳＢ(Universal Serial Bus)、ＨＤＭＩ(High-Definition Multimedia Interface)（登録商標）、無線ＬＡＮ、Bluetooth（登録商標）などが含まれる。

　バス２５１２はアドレスバス、データバスおよび制御バスからなり、上述した各ブロック間を接続する。

　次に、図２４Ｂに示すフローチャートを用いて、サーバＳＶ１とＸＲゴーグルＤＰ１の動作に関して説明する。サーバＳＶ１の動作は、ＣＰＵ２５０１が所定のアプリケーションを実行することによって実現される。

　Ｓ２４０２でＸＲゴーグルＤＰ１からサーバＳＶ１に対し、仮想空間の種類（図２０）を指定する。システム制御回路５０は例えばＸＲゴーグルＤＰ１の表示部２８に仮想空間の種類を指定するＧＵＩを表示する。システム制御回路５０は、操作部７０を通じた選択操作を検出すると、選択された種類を示すデータを通信部５４を通じてサーバＳＶ１に送信する。

　ここではＸＲゴーグルＤＰ１に表示する仮想空間の範囲が固定されているものとする。したがって、サーバＳＶ１は指定された種類の仮想空間の特定のシーンの画像データ（仮想空間画像データ）を、付随するメタデータとともにＸＲゴーグルＤＰ１に送信する。

　Ｓ２４０３でシステム制御回路５０は、サーバＳＶ１から仮想空間画像データと付随するメタデータとをサーバＳＶ１から受信する。

　Ｓ２４０４でシステム制御回路５０は、サーバＳＶ１から受信した仮想空間画像データとメタデータとをメモリ３２に保存する。

　Ｓ２４０５でシステム制御回路５０は、画像処理部２４を用い、仮想空間画像データに対し、図１９Ａおよび１９Ｂを用いて説明したような主被写体領域の強調処理を適用する。そして、強調処理を行った仮想空間画像データを表示部２８に表示させる。なお、仮想空間画像が右眼用の画像および左目用の画像から構成される場合、個々の画像について強調処理を適用する。

　図２４Ｃは、サーバＳＶ１でＸＲゴーグルＤＰ１の姿勢（視線方向）に応じた仮想空間画像データの生成と、仮想空間データに対する強調処理とを適用する場合のサーバＳＶ１の動作に関するフローチャートである。サーバＳＶ１の動作は、ＣＰＵ２５０１が所定のアプリケーションを実行することによって実現される。

　Ｓ２４１１でサーバＳＶ１は、ＸＲゴーグルＤＰ１から仮想空間の種類を指定するデータを受信する。

　Ｓ２４１２以降の動作は、ＸＲゴーグルＤＰ１に表示する動画の１フレームごとに実行される。
　Ｓ２４１２でサーバＳＶ１は、ＸＲゴーグルＤＰ１から姿勢情報を受信する。
　Ｓ２４１３でサーバＳＶ１は、ＸＲゴーグルＤＰ１の姿勢に応じた仮想空間画像データを生成する。仮想空間データは、３次元データのレンダリング、全周画像からの切りだしなど、公知の任意の方法で生成することができる。例えばサーバＳＶ１は図２６に示すように、ＸＲゴーグルＤＰ１の姿勢情報に基づいて、仮想空間画像からＸＲゴーグルＤＰ１の表示領域を決定し、表示領域に対応する範囲を切り出すことができる。なお、ＸＲゴーグルＤＰ１は、姿勢情報の代わりに表示領域を特定する情報（例えば中心座標）を送信してもよい。

　Ｓ２４１５でサーバＳＶ１は、ＸＲゴーグルＤＰ１から主被写体の種類を受信する。なお、Ｓ２４１５での主被写体の種類の受信は、ＸＲゴーグルＤＰ１において主被写体の種類が変更された場合に実行され、変更のない場合にスキップされる。

　Ｓ２４１６でサーバＳＶ１は、Ｓ２４１３で生成した仮想空間画像データに対し、主被写体領域の強調処理を適用する。主被写体の種類に変更がない場合、サーバＳＶ１は仮想空間の種類に応じたデフォルトの主被写体領域に対して強調処理を適用する。

　Ｓ２４１７でサーバＳＶ１は、強調処理を適用した仮想空間画像データをＸＲゴーグルＤＰ１に送信する。ＸＲゴーグルＤＰ１では、受信した仮想空間画像データを表示部２８に表示させる。

　図２７Ａは、図２４Ａの構成に対し、ＶＲ画像を生成可能なカメラＣＡを追加した表示システムの模式図である。ここでは、仮想空間の種類として、図２０の例で挙げた体験シェアの場合を想定している。カメラＣＡでＸＲ情報を付加して記録した画像をＸＲゴーグルに表示することにより、カメラＣＡのユーザの体験をＸＲゴーグルＤＰ１の装着者も疑似体験することができる。

　図２８は、カメラＣＡの構成例を示すブロック図である。カメラＣＡは本体１００’と、本体１００’に装着されたレンズユニット３００を有する。レンズユニット３００と本体１００’はレンズマウント３０４、３０５によって着脱可能である。また、レンズユニット３００が有するレンズシステム制御回路３０３と、本体１００’のシステム制御回路５０（不図示）とは、レンズマウント３０４、３０５に設けられた通信端子６、１０を通じて相互に通信することができる。

　レンズユニット３００は、ステレオ魚眼レンズであり、カメラＣＡは視野角が１８０°のステレオ円周魚眼画像を撮影することができる。具体的には、レンズユニット３００の２つの光学系３０１Ｌ、３０１Ｒのそれぞれは、左右方向（水平角度、方位角、ヨー角）１８０度、上下方向（垂直角度、仰俯角、ピッチ角）１８０度の視野を円形の２次元平面に投影した円周魚眼像を生成する。

　本体１００’は、一部の構成しか示していないが、図１に示した撮像装置１の本体１００と同様の構成を有するものとする。このような構成のカメラＣＡで撮影した画像（例えばＶＲ１８０規格に準拠した動画像）をＸＲ画像として記録媒体２００に記録しておく。

　図２７Ｂに示すフローチャートを用いて、図２７Ａに示した表示システムの動作について説明する。なお、サーバＳＶ１は、ＸＲゴーグルＤＰ１およびカメラＣＡと通信可能な状態にあるものとする。

　Ｓ２６０２でカメラＣＡからサーバＳＶ１へ画像データを送信する。画像データには撮影日、撮影条件などのＥｘｉｆ情報、撮影時に記録された撮影者の視線情報、撮影時に検出された主被写体情報などを含む付加情報が付随している。なお、カメラＣＡとサーバＳＶ１とで通信する代わりに、カメラＣＡの記録媒体２００をサーバＳＶ１に装着して画像データを読み出してもよい。

　Ｓ２６０３でサーバＳＶ１は、カメラＣＡから受信した画像データから、ＸＲゴーグルＤＰ１に表示する画像データおよびメタデータを生成する。本実施形態ではカメラＣＡがステレオ円周魚眼画像を記録するため、公知の方法で表示範囲を切りだし、矩形状の画像に変換することにより、表示用の画像データを生成する。また、サーバＳＶ１は、表示用画像データから予め定められた種類の被写体領域を検出し、検出された被写体領域の情報をメタデータとして生成する。サーバＳＶ１は生成した表示用画像データとメタデータとをＸＲゴーグルＤＰ１に送信する。また、サーバＳＶ１はカメラＣＡから取得した主被写体情報、視線情報など、撮影時の付加情報もＸＲゴーグルＤＰ１に送信する。

　Ｓ２６０４およびＳ２６０５でＸＲゴーグルＤＰ１のシステム制御回路５０が行う動作はＳ２４０４およびＳ２４０５の動作と同様であるため、説明を省略する。システム制御回路５０は、Ｓ２６０５で強調処理を適用する主被写体の種類を、サーバＳＶ１から受信した主被写体情報に基づいて決定することができる。また、システム制御回路５０は、撮影者の視線情報に基づいて特定した主被写体領域に強調処理を適用してもよい。この場合、撮影者が撮影時に注視していた被写体が強調表示されるため、撮影者の体験をより一層共有することができる。

　図２７Ｃは、図２７Ａに示した表示システムにおいて、図２４Ｃと同様に強調処理をサーバＳＶ１で実行する場合のサーバＳＶ１の動作に関するフローチャートである。

　Ｓ２６１２はＳ２６０２と同様であるため説明を省略する。
　また、Ｓ２６１３～Ｓ２６１７はＳ２４１２、Ｓ２４１３、Ｓ２４１５～Ｓ２４１７とそれぞれ同様であるため、説明を省略する。なお、強調表示を適用する主被写体の種類は、ＸＲゴーグルＤＰ１から指定があれば指定された種類とし、指定がなければ撮影時の主被写体情報に基づいて決定する。

　本実施形態によれば、仮想空間画像やＶＲ画像に対しても適切な強調処理を適用することが可能になる。また、不可の大きな処理をサーバなどの外部装置で実行することにより、ＸＲゴーグルに必要なリソースが軽減できるほか、複数のユーザが同一の仮想空間を共有することが容易である。

（その他の実施形態）
　本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

　本実施形態の開示は、以下の撮像装置、方法、画像処理装置、画像処理方法、およびプログラムを含む。
（項目１）
　撮像装置であって、
　前記撮像装置が表示している画像におけるユーザの注視位置を検出可能な検出手段と、
　前記表示のための画像データを生成する生成手段と、を有し、
　前記生成手段は、前記検出手段が有効な際に生成する前記画像データについては、特徴領域を他の領域より視覚的に強調する加工処理を適用し、
　前記特徴領域が、前記撮像装置の設定に基づいて判定される種類の被写体の領域である、
ことを特徴とする撮像装置。
（項目２）
　前記設定が、特定のシーンもしくは特定の被写体を撮影するための設定であり、
　前記特徴領域が、前記特定のシーンに応じた種類の被写体の領域、あるいは前記特定の被写体の領域であることを特徴とする項目１に記載の撮像装置。
（項目３）
　前記加工処理が、
　前記特徴領域については加工せず、他の領域を目立たなく加工する処理、
　前記特徴領域を強調し、他の領域は加工しない処理、
　前記特徴領域を強調するとともに、他の領域を目立たなく加工する処理、
　前記特徴領域を含む画像全体を加工して前記特徴領域を強調する処理、
のいずれか１つであることを特徴とする項目１または２に記載の撮像装置。
（項目４）
　前記生成手段が、ライブビュー表示のための画像データとして前記画像データを生成することを特徴とする項目１から３のいずれか１項に記載の撮像装置。
（項目５）
　さらに、前記検出手段が検出した注視位置に基づいて焦点検出領域を設定する設定手段を有することを特徴とする項目１から４のいずれか１項に記載の撮像装置。
（項目６）
　表示している画像におけるユーザの注視位置を検出可能な検出手段を有する撮像装置が実行する方法であって、
　前記表示のための画像データを生成する生成工程と、を有し、
　前記生成工程では、
　　前記検出手段が有効な際に生成する前記画像データについては、特徴領域を他の領域より視覚的に強調する加工処理を適用し、
　　前記検出手段が有効でない際に生成する前記画像データについては、特徴領域を他の領域より視覚的に強調する加工処理を適用せず、
　前記特徴領域が、前記撮像装置の設定に基づいて判定される種類の被写体の領域である、
ことを特徴とする方法。
（項目７）
　撮像装置が有するコンピュータを、項目１から５のいずれか１項に記載の撮像装置が有する各手段として機能させるためのプログラム。
（項目８）
　頭部装着型の表示装置に表示するための画像データを生成する生成手段を有し、
　前記生成手段は、前記表示装置を通じてユーザに提供する仮想環境の種類に応じた特徴領域を他の領域より視覚的に強調する加工処理を適用することにより、前記画像データを生成する、
ことを特徴とする画像処理装置。
（項目９）
　前記加工処理が、
　前記特徴領域については加工せず、他の領域を目立たなく加工する処理、
　前記特徴領域を強調し、他の領域は加工しない処理、
　前記特徴領域を強調するとともに、他の領域を目立たなく加工する処理、
　前記特徴領域を含む画像全体を加工して前記特徴領域を強調する処理、
のいずれか１つであることを特徴とする項目８に記載の画像処理装置。
（項目１０）
　さらに、前記表示装置が表示している画像におけるユーザの注視位置を検出可能な検出手段を有し、
　前記生成手段は、前記加工処理を適用したのち、前記検出手段が検出した前記注視位置に基づくさらなる加工処理を適用することにより、前記画像データを生成することを特徴とする項目８または９に記載の画像処理装置。
（項目１１）
　前記さらなる加工処理が、前記特徴領域のうち、前記注視位置を含む特徴領域を、他の特徴領域よりも視覚的に強調する加工処理であることを特徴とする項目１０に記載の画像処理装置。
（項目１２）
　前記さらなる加工処理が、前記特徴領域のうち、前記注視位置を含む特徴領域に関する付随情報を重畳表示する加工処理であることを特徴とする項目１０に記載の画像処理装置。
（項目１３）
　前記さらなる加工処理が、前記注視位置の移動方向に存在する特徴領域を視覚的に強調する加工処理であることを特徴とする項目１０に記載の画像処理装置。
（項目１４）
　前記仮想環境の種類ごとに、前記加工処理を適用可能な特徴領域の種類と、デフォルトで前記加工処理を適用する特徴領域の種類とが対応づけられていることを特徴とする項目８に記載の画像処理装置。
（項目１５）
　前記生成手段は、ユーザに提供中の仮想環境に対応づけられた特徴領域の種類から前記ユーザが指定した種類に基づいて前記加工処理を適用することを特徴とする項目１４に記載の画像処理装置。
（項目１６）
　前記生成手段は、ユーザの指定がない場合、前記ユーザに提供中の仮想環境に対応づけられた、デフォルトで前記加工処理を適用する特徴領域の種類に基づいて前記加工処理を適用することを特徴とする項目１４または１５に記載の画像処理装置。
（項目１７）
　さらに、前記表示装置が表示している画像におけるユーザの注視位置を検出可能な検出手段を有し、
　前記生成手段は、前記検出手段が検出した前記注視位置に基づく特徴領域に前記加工処理を適用することを特徴とする項目１４から１６のいずれか１項に記載の画像処理装置。
（項目１８）
　前記生成手段は、生成した前記画像データに前記特徴領域が含まれていない場合、前記画像データに、特徴領域が存在する方向を示す指標を含めることを特徴とする項目１４から１７のいずれか１項に記載の画像処理装置。
（項目１９）
　前記頭部装着型の表示装置が、前記画像処理装置と通信可能な外部装置であることを特徴とする項目１４から１８のいずれか１項に記載の画像処理装置。
（項目２０）
　前記画像処理装置が、前記頭部装着型の表示装置の一部であることを特徴とする項目１４から１８のいずれか１項に記載の画像処理装置。
（項目２１）
　前記仮想環境を表すＶＲ画像のデータを取得する取得手段をさらに有し、
　前記生成手段は、前記ＶＲ画像から前記画像データを生成する、
ことを特徴とする項目１４から２０のいずれか１項に記載の画像処理装置。
（項目２２）
　前記取得手段は前記ＶＲ画像の撮影時に得られた主被写体情報および／または視線情報をさらに取得し、
　前記生成手段は、前記主被写体情報または前記視線情報に基づいて、前記加工処理を適用する前記特徴領域を決定することを特徴とする項目２１に記載の画像処理装置。
（項目２３）
　画像処理装置が実行する画像処理方法であって、
　頭部装着型の表示装置に表示するための画像データを生成する生成工程を有し、
　前記生成工程では、前記表示装置を通じてユーザに提供する仮想環境の種類に応じた特徴領域を他の領域より視覚的に強調する加工処理を適用することにより、前記画像データを生成する、
ことを特徴とする画像処理方法。
（項目２４）
　コンピュータを、項目８から２２のいずれか１項に記載の画像処理装置が有する各手段として機能させるためのプログラム。

　本発明は上述した実施形態の内容に制限されず、発明の精神および範囲から離脱することなく様々な変更及び変形が可能である。したがって、発明の範囲を公にするために請求項を添付する。

　本願は、２０２１年１０月２７日提出の日本国特許出願特願２０２１－１７５９０４および２０２２年１０月１３日提出の日本国特許出願特願２０２２－１６５０２３を基礎として優先権を主張するものであり、その記載内容の全てを、ここに援用する。

Claims

　撮像装置であって、
　前記撮像装置が表示している画像におけるユーザの注視位置を検出可能な検出手段と、
　前記表示のための画像データを生成する生成手段と、を有し、
　前記生成手段は、前記検出手段が有効な際に生成する前記画像データについては、特徴領域を他の領域より視覚的に強調する加工処理を適用し、
　前記特徴領域が、前記撮像装置の設定に基づいて判定される種類の被写体の領域である、
ことを特徴とする撮像装置。
　前記設定が、特定のシーンもしくは特定の被写体を撮影するための設定であり、
　前記特徴領域が、前記特定のシーンに応じた種類の被写体の領域、あるいは前記特定の被写体の領域であることを特徴とする請求項１に記載の撮像装置。
　前記加工処理が、
　前記特徴領域については加工せず、他の領域を目立たなく加工する処理、
　前記特徴領域を強調し、他の領域は加工しない処理、
　前記特徴領域を強調するとともに、他の領域を目立たなく加工する処理、
　前記特徴領域を含む画像全体を加工して前記特徴領域を強調する処理、
のいずれか１つであることを特徴とする請求項１または２に記載の撮像装置。
　前記生成手段が、ライブビュー表示のための画像データとして前記画像データを生成することを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
　さらに、前記検出手段が検出した注視位置に基づいて焦点検出領域を設定する設定手段を有することを特徴とする請求項１から４のいずれか１項に記載の撮像装置。
　表示している画像におけるユーザの注視位置を検出可能な検出手段を有する撮像装置が実行する方法であって、
　前記表示のための画像データを生成する生成工程と、を有し、
　前記生成工程では、
　　前記検出手段が有効な際に生成する前記画像データについては、特徴領域を他の領域より視覚的に強調する加工処理を適用し、
　　前記検出手段が有効でない際に生成する前記画像データについては、特徴領域を他の領域より視覚的に強調する加工処理を適用せず、
　前記特徴領域が、前記撮像装置の設定に基づいて判定される種類の被写体の領域である、
ことを特徴とする方法。
　撮像装置が有するコンピュータを、請求項１から５のいずれか１項に記載の撮像装置が有する各手段として機能させるためのプログラム。
　頭部装着型の表示装置に表示するための画像データを生成する生成手段を有し、
　前記生成手段は、前記表示装置を通じてユーザに提供する仮想環境の種類に応じた特徴領域を他の領域より視覚的に強調する加工処理を適用することにより、前記画像データを生成する、
ことを特徴とする画像処理装置。
　前記加工処理が、
　前記特徴領域については加工せず、他の領域を目立たなく加工する処理、
　前記特徴領域を強調し、他の領域は加工しない処理、
　前記特徴領域を強調するとともに、他の領域を目立たなく加工する処理、
　前記特徴領域を含む画像全体を加工して前記特徴領域を強調する処理、
のいずれか１つであることを特徴とする請求項８に記載の画像処理装置。
　さらに、前記表示装置が表示している画像におけるユーザの注視位置を検出可能な検出手段を有し、
　前記生成手段は、前記加工処理を適用したのち、前記検出手段が検出した前記注視位置に基づくさらなる加工処理を適用することにより、前記画像データを生成することを特徴とする請求項８または９に記載の画像処理装置。
　前記さらなる加工処理が、前記特徴領域のうち、前記注視位置を含む特徴領域を、他の特徴領域よりも視覚的に強調する加工処理であることを特徴とする請求項１０に記載の画像処理装置。
　前記さらなる加工処理が、前記特徴領域のうち、前記注視位置を含む特徴領域に関する付随情報を重畳表示する加工処理であることを特徴とする請求項１０に記載の画像処理装置。
　前記さらなる加工処理が、前記注視位置の移動方向に存在する特徴領域を視覚的に強調する加工処理であることを特徴とする請求項１０に記載の画像処理装置。
　前記仮想環境の種類ごとに、前記加工処理を適用可能な特徴領域の種類と、デフォルトで前記加工処理を適用する特徴領域の種類とが対応づけられていることを特徴とする請求項８に記載の画像処理装置。
　前記生成手段は、ユーザに提供中の仮想環境に対応づけられた特徴領域の種類から前記ユーザが指定した種類に基づいて前記加工処理を適用することを特徴とする請求項１４に記載の画像処理装置。
　前記生成手段は、ユーザの指定がない場合、前記ユーザに提供中の仮想環境に対応づけられた、デフォルトで前記加工処理を適用する特徴領域の種類に基づいて前記加工処理を適用することを特徴とする請求項１４または１５に記載の画像処理装置。
　さらに、前記表示装置が表示している画像におけるユーザの注視位置を検出可能な検出手段を有し、
　前記生成手段は、前記検出手段が検出した前記注視位置に基づく特徴領域に前記加工処理を適用することを特徴とする請求項１４から１６のいずれか１項に記載の画像処理装置。
　前記生成手段は、生成した前記画像データに前記特徴領域が含まれていない場合、前記画像データに、特徴領域が存在する方向を示す指標を含めることを特徴とする請求項１４から１７のいずれか１項に記載の画像処理装置。
　前記頭部装着型の表示装置が、前記画像処理装置と通信可能な外部装置であることを特徴とする請求項１４から１８のいずれか１項に記載の画像処理装置。
　前記画像処理装置が、前記頭部装着型の表示装置の一部であることを特徴とする請求項１４から１８のいずれか１項に記載の画像処理装置。
　前記仮想環境を表すＶＲ画像のデータを取得する取得手段をさらに有し、
　前記生成手段は、前記ＶＲ画像から前記画像データを生成する、
ことを特徴とする請求項１４から２０のいずれか１項に記載の画像処理装置。
　前記取得手段は前記ＶＲ画像の撮影時に得られた主被写体情報および／または視線情報をさらに取得し、
　前記生成手段は、前記主被写体情報または前記視線情報に基づいて、前記加工処理を適用する前記特徴領域を決定することを特徴とする請求項２１に記載の画像処理装置。
　画像処理装置が実行する画像処理方法であって、
　頭部装着型の表示装置に表示するための画像データを生成する生成工程を有し、
　前記生成工程では、前記表示装置を通じてユーザに提供する仮想環境の種類に応じた特徴領域を他の領域より視覚的に強調する加工処理を適用することにより、前記画像データを生成する、
ことを特徴とする画像処理方法。
　コンピュータを、請求項８から２２のいずれか１項に記載の画像処理装置が有する各手段として機能させるためのプログラム。