JP2024008154A - 画像処理装置、表示装置および画像処理方法 - Google Patents

Abstract

【課題】撮像する被写体の輝度に応じた良好な３Ｄ画像表示と２Ｄ画像表示を表示装置に行わせる。
【解決手段】画像処理装置２１４、２１８は、視差を生じさせるように配置された第１の光学系２０２Ｒと第２の光学系２０２Ｌを通して被写体を撮像する撮像素子２１１Ｒ、２１１Ｌからの信号を用いて、表示素子２１７Ｒ、２１７Ｌに画像を示させる処理手段と、被写体の輝度情報を取得する取得手段とを有する。処理手段は、輝度情報に応じて、表示素子に互いに視差を有する第１の画像と第２の画像を表示させる第１の処理と、表示素子に視差を有さない２つの第３の画像を表示させる第２の処理とを切り替えて行う。
【選択図】図２

Description

本発明は、ヘッドマウントディスプレイ（ＨＭＤ: Head-Mounted Display）等の表示装置に画像を表示させる画像処理装置に関する。

仮想現実（ＶＲ: Virtual Reality）や拡張現実（ＡＲ: Augmented Reality）をユーザに体感させるためのＨＭＤ等の表示装置には、撮像素子を用いた撮影により立体視が可能な三次元（３Ｄ）画像を生成し、この３Ｄ画像を表示するものがある。

また、特許文献１には、撮影状況に関する情報に応じて立体視が可能な３Ｄ画像と被写界深度を拡大した２次元（２Ｄ）画像とを切り替えて表示する表示装置が開示されている。ここにいう撮影状況は、光学ズーム値、電子ズーム値、ユーザによる操作情報、視差情報、距離情報である。さらに特許文献２には、２次元配置された複数の画素のそれぞれにマイクロレンズが形成された撮像素子を用い、瞳分割方式の焦点検出を行う撮像装置が開示されている。

特許第６９０８０３９号公報 特開２０１４－１８２３６０号公報

しかしながら、特許文献１に開示された表示装置では、撮影環境（被写体）の輝度によらずに撮影状況に関する情報に応じて自動的に表示画像を３Ｄ画像と２Ｄ画像との間で切り替える。このため、ユーザが３Ｄ画像の表示を望んでいても２Ｄ画像が表示される場合があり、ユーザビリティ（視認性）が低下する。

また特許文献２に開示された焦点検出を行う場合、撮影環境の輝度が低下すると撮像素子の感度を上げたり電荷蓄積時間を長くしたりする。電荷蓄積時間を長くすると、撮影による画像の取得間隔（周期）が長くなり、画像表示レートが下がり、滑らかな画像表示が困難になる。

本発明は、撮像する被写体の輝度に応じた良好な３Ｄ画像表示と２Ｄ画像表示を行わせることが可能な画像処理装置等を提供する。

本発明の一側面としての画像処理装置は、視差が生じるように配置された第１の光学系と第２の光学系を通して被写体を撮像する撮像素子からの信号を用いて、表示素子に画像を表示させる処理手段と、被写体の輝度情報を取得する取得手段とを有する。処理手段は、輝度情報に応じて、表示素子に互いに視差を有する第１の画像と第２の画像を表示させる第１の処理と、表示素子に視差を有さない２つの第３の画像を表示させる第２の処理とを切り替えて行うことを特徴とする。なお、上記画像処理装置を有する表示装置も、本発明の他の一側面を構成する。

また本発明の他の一側面としての画像処理方法は、視差が生じるように配置された第１の光学系と第２の光学系を通して被写体を撮像する撮像素子からの信号を用いて、表示素子に画像を表示させる処理ステップと、被写体の輝度情報を取得するステップとを有する。処理ステップにおいて、輝度情報に応じて、表示素子に互いに視差を有する第１の画像と第２の画像を表示させる第１の処理と、表示素子に視差を有さない２つの第３の画像を表示素子に表示させる第２の処理とを切り替えて行うことを特徴とする。なお、コンピュータに上記画像処理方法に従う処理を実行させるプログラムも、本発明の他の一側面を構成する。

本発明によれば、撮像する被写体の輝度に応じた良好な３Ｄ画像表示と２Ｄ画像表示を行わせることができる。

実施例のヘッドマウントディスプレイの構成を示すブロック図。 実施例のヘッドマウントディスプレイの構成を示す上面図。 実施例のヘッドマウントディスプレイに用いられる撮像素子の画素配列を示す図。 瞳分割方式の焦点検出を説明する図。 実施例のヘッドマウントディスプレイが実行するメイン処理を示すフローチャート。 輝度に応じた３Ｄ画像と２Ｄ画像の表示切替えを示す図。 メイン処理内の焦点調節処理を示すフローチャート。 メイン処理内の表示切換え処理を示すフローチャート。

以下、本発明の実施例について図面を参照しながら説明する。

＜ヘッドマウントディスプレイの構成＞
図２は、本発明の実施例である表示装置としてのヘッドマウントディスプレイ（ＨＭＤ）１００を上から見たときのその概略構成を示している。ＨＭＤ１００は、ユーザＵの頭部に装着され、ユーザの右眼ＲＥと左眼ＬＥにそれぞれ右眼画像と左眼画像を提示する。図では、Ｚ方向が上下方向、Ｘ方向が左右方向、Ｙ方向が前後方向に相当する。

ＨＭＤ１００は、右眼撮像表示部２５０Ｒと左眼撮像表示部２５０Ｌを有する。右眼撮像表示部２５０Ｒは、右眼光学系（第１の光学系）２０２Ｒおよび右眼撮像素子（第１の撮像素子、第１の撮像領域）２１１Ｒを含む右眼撮像部２００Ｒと、右眼表示素子（第１の表示素子、第１の表示領域）２１７Ｒとを有する。左眼撮像表示部２５０Ｌは、左眼光学系（第２の光学系）２０２Ｌおよび左眼撮像素子（第２の撮像素子、第２の撮像領域）２１１Ｌを含む左眼撮像部２００Ｌと、左眼表示素子（第２の表示素子）２１７Ｌとを有する。

なお、右眼撮像素子２１１Ｒと左眼撮像素子２１１Ｌは、単一の撮像素子における互いに異なる撮像領域であってもよい。この場合、右眼光学系２０２Ｒと左眼光学系２０２Ｌをそれぞれ２つの反射面を用いてこれら光学系２０２Ｒ、２０２Ｌの像側の間隔が狭くなるように屈曲させてもよい。また、右眼表示素子２１７Ｒと左眼表示素子２１７Ｌは、単一の表示素子における互いに異なる表示領域であってもよい。

右眼光学系２０２Ｒおよび左眼光学系２０２Ｌは、被写体に対する視差を生じさせるように並列配置されている。右眼光学系２０２Ｒおよび左眼光学系２０２Ｌはそれぞれ、レンズ、プリズムおよびミラー等の１つまたは複数の光学部材により構成され、被写体からの光を右眼撮像素子２１１Ｒおよび左眼撮像素子２１１Ｌ上に結像させる。右眼撮像素子２１１Ｒおよび左眼撮像素子２１１Ｌはそれぞれ、ＣＭＯＳセンサやＣＣＤセンサ等の光電変換素子により構成され、それらの撮像面上に形成された被写体像を光電変換（撮像）して電気信号としての撮像信号を出力する。右眼撮像素子２１１Ｒから出力される撮像信号が第１の信号に相当し、左眼撮像素子２１１Ｌから出力される撮像信号が第２の信号に相当する。右眼撮像素子２１１Ｒおよび左眼撮像素子２１１Ｌのそれぞれから出力された撮像信号から、互いに視差を有して立体（３Ｄ）画像として観察が可能な右眼画像（第１の画像）と左眼画像（第２の画像）を表示させるための右眼画像データと左眼画像データが生成される。

右眼表示素子２１７Ｒおよび左眼表示素子２１７Ｌはそれぞれ、ＬＣＤパネルや有機ＥＬパネル等の表示デバイスにより構成され、右眼画像データに対応する右眼画像および左眼画像データに対応する左眼画像を表示する。なお、図２には示さずに図１に示すが、右眼撮像表示部２５０Ｒおよび左眼撮像表示部２５０Ｌはそれぞれ、右眼表示素子２１７Ｒおよび左眼表示素子２１７Ｌに表示された右眼画像と左眼画像をユーザの右眼ＲＥと左眼ＬＥに拡大観察させるための接眼光学系１１６を有する。

右眼撮像表示部２５０Ｒおよび左眼撮像表示部２５０Ｌはそれぞれ、撮像調整部３２０Ｌ、３２０Ｒを有する。撮像調整部３２０Ｌ、３２０Ｒはそれぞれ、右眼撮像部２００Ｒおよび左眼撮像部２００Ｌの輻輳角（または輻輳距離）を調整するために右眼撮像部２００Ｒおよび左眼撮像部２００ＬをＺ方向に平行な軸回りでＸ方向に回転させる。これにより、ユーザが立体視したい被写体までの距離に応じた輻輳状態を得ることができる。また、撮像調整部３２０Ｌ、３２０Ｒは、右眼撮像部２００Ｒおよび左眼撮像部２００Ｌは、それらの撮像光軸（図に一点鎖線で示す）間のＸ方向での間隔である基線長３２３を調整するために右眼撮像部２００Ｒおよび左眼撮像部２００ＬをＸ方向に移動させる。これにより、ユーザの右眼ＲＥと左眼ＬＥ間の間隔３２１に合わせて基線長を調整することができる。

また、ＨＭＤ１００には、後述するシャッターボタン１０１、電源スイッチ１０２およびモード切替スイッチ１０３が設けられている。

図１は、ＨＭＤ１００の内部構成を示している。図１では、図２に示した右眼撮像表示部２５０Ｒと左眼撮像表示部２５０Ｌのうち一方を撮像表示部２５０として示している。また右眼撮像部２００Ｒ（右眼光学系２０２Ｒ、右眼撮像素子２１１Ｒ）と左眼撮像部２００Ｌ（左眼光学系２０２Ｌ、左眼撮像素子２１１Ｌ）のうち一方を撮像部２００（光学系２０２、撮像素子２１１）として示している。さらに右眼表示素子２１７Ｒおよび左眼表示素子２１７Ｌのうち一方を表示素子２１７として示している。

撮像部２００は、絞り２０１、光学系２０２、絞り駆動回路２０３、ＡＦ（オートフォーカス）駆動回路２０４、レンズ制御回路２０５、シャッター２１０および撮像素子２１１を有する。また撮像部２００は、Ａ／Ｄ変換器２１２、メモリ制御部２１３、画像処理部２１４、メモリ２１５、Ｄ／Ａ変換器２１６、表示素子２１７および不揮発性メモリ２２０を有する。

絞り２０１は、その開口径を変更することで被写体から入射する光量を調整するための光学部材である。絞り駆動回路２０３は、絞り２０１を駆動してその開口径を変更させる。光学系２０２は、前述したように被写体からの光を結像させる。ＡＦ駆動回路２０４は、焦点調節のために光学系２０２を駆動する。レンズ制御回路２０５は、後述するシステム制御部２１８からの絞り駆動命令およびフォーカス駆動命令に応じて絞り駆動回路２０３およびＡＦ駆動回路２０４を制御することで、絞り２０１および光学系２０２の駆動を制御する。

シャッター２１０は、フォーカルプレーンシャッタ等のメカニカルシャッタであり、システム制御部２１８からの指示に応じて動作して撮像素子２１１の露光量を制御する。撮像素子２１１は、前述したように被写体像を撮像信号に変換する。また撮像素子２１１は、その画素ごとに被写体像を２つに分割して一対の位相差像を形成するマイクロレンズを有し、画素ごとに一対の位相差像をそれぞれ光電変換して一対の位相差像信号を出力する。撮像素子２１１は、設定された焦点検出範囲内の複数の画素からの一対の位相差像信号を合成して一対の焦点検出信号を生成および出力する回路を備えている。システム制御部２１８は、撮像素子２１１からの一対の焦点検出信号の位相差を検出し、該位相差からデフォーカス量を取得する。さらに取得したデフォーカス量から被写体に対する合焦状態を得るための光学系２０２の駆動量を算出してレンズ制御回路２０５にフォーカス駆動命令を出力する。これにより、撮像面位相差検出方式の焦点検出（位相差ＡＦ）を行うことができる。

Ａ／Ｄ変換器２１２は、撮像素子２１１から出力されるアナログ信号として撮像信号をデジタル信号としての撮像データに変換して画像処理部２１４およびメモリ制御部２１３に出力する。画像処理部２１４は、Ａ／Ｄ変換器２１２からの撮像データまたはメモリ制御部２１３からの撮像データに対して画素補間、縮小／拡大（リサイズ）処理および色変換処理等の画像処理を行って画像データを生成する。また画像処理部２１４は、画像データを用いた演算結果に基づいて、画像データに対してＡＷＢ（オートホワイトバランス）処理を行う。画像データは、直接またはメモリ制御部２１３を介してメモリ２１５に書き込まれるとともに、システム制御部２１８にも出力される。

メモリ２１５は、画像データ（記録用および表示用画像データ）を格納する。またメモリ２１５は、画像表示用メモリ（ビデオメモリ）を兼ねている。システム制御部２１８は、画像データから取得した撮像環境の輝度情報を用いて自動露出（ＡＥ）処理を行ったり、前述した一対の焦点検出信号を用いた位相差ＡＦの処理を行ったりする。

Ｄ／Ａ変換器２１６は、メモリ２１５から読み出された表示用画像データをアナログ画像信号に変換して表示素子２１７に供給する。これにより表示素子２１７に表示用画像（右眼画像および左眼画像）が表示される。所定のフレームレートで撮像素子２１１からの撮像信号から生成された画像テータに対応する表示用画像が表示素子２１７に順次表示されることで、ライブビュー表示が行われる。

システム制御部２１８は、ＣＰＵ等の少なくとも１つのプロセッサを含み、不揮発性メモリ２２０に格納されたプログラムを実行すること前述したＡＥおよびＡＦを含むＨＭＤ１００の動作全体を制御する。またシステム制御部２１８は、メモリ２１５、Ｄ／Ａ変換器２１６および表示素子２１７等を制御する表示制御も行う。

またＨＭＤ１００は、システムメモリ２１９、システムタイマ２２１、通信部２２２、姿勢検出部２２３および接眼検出部１１８を有する。

システムメモリ２１９は、例えばＲＡＭにより構成され、システム制御部２１８の動作用の定数、変数を格納するとともに、不揮発性メモリ２２０から読み出されたプログラムを展開する。不揮発性メモリ２２０は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭにより構成される。不揮発性メモリ２２０には、システム制御部２１８の動作用の定数やプログラム等が格納される。

システムタイマ２２１は、各種制御に用いられる時間や内蔵時計の時間を計測する。通信部２２２は、無線または有線によって接続された外部機器との間で画像データ、音声データおよび各種情報の送受信を行う。通信部２２２は、無線ＬＡＮ（Local Area Network）やインターネットとも接続可能である。また通信部２２２は、Bluetooth（登録商標）やBluetooth Low Energyでも外部機器と通信可能である。

姿勢検出部２２３は、加速度センサやジャイロセンサ等を用いて重力方向に対するＨＭＤ１００の姿勢を検出する。システム制御部２１８は、姿勢検出部２２３を通じて撮像部２００による撮像時のＨＭＤ１００の動き（パン、チルト等）を取得することができる。

接眼検出部１１８は、赤外線近接センサ等が用いられ、接眼光学系１１６に対するユーザの接眼と離眼（つまりはユーザがＨＭＤ１００を頭部に装着したか否か）を検出する。システム制御部２１８は、接眼光学系１１６に対するユーザの接眼と離眼に応じて表示素子２１７の表示と非表示を切り替える。

さらにＨＭＤ１００は、電源制御部２２５、電源部２２６、記録媒体Ｉ／Ｆ２２７、操作部２２９および眼球情報取得部２４０を有する。

電源制御部２２５は、電池検出回路、ＤＣ－ＤＣコンバータおよび通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類および電池残量の検出等を行う。電源部２２６は、アルカリ電池およびリチウム電池等の一次電池や、ＮｉＣｄ電池、ＮｉＭＨ電池およびＬｉ電池等の二次電池や、ＡＣアダプター等である。記録媒体Ｉ／Ｆ２２７は、記録媒体２２８とのインターフェースである。記録媒体２２８は、半導体メモリや光ディスク等により構成され、記録用画像データを記録する。

操作部２２９は、システム制御部２１８に対して各種指示を入力するためにユーザにより操作される。操作部２２９には、前述したシャッターボタン１０１、電源スイッチ１０２およびモード切替スイッチ１０３や、ダイヤル、方向キー、メニューボタン等の他の操作部材２３０が含まれる。

シャッターボタン１０１は、第１シャッタースイッチ２３１と第２シャッタースイッチ２３２を有する。第１シャッタースイッチ２３１は、シャッターボタン１０１の半押し操作でオンとなって第１シャッタースイッチ信号ＳＷ１を発生させる。第１シャッタースイッチ信号ＳＷ１を受けたシステム制御部２１８は、ＡＦ処理、ＡＥ処理およびＡＷＢ処理等を含む撮影準備処理を行う。第２シャッタースイッチ２３２は、シャッターボタン１０１の全押し操作でオンとなって第２シャッタースイッチ信号ＳＷ２を発生する。第２シャッタースイッチ信号ＳＷ２を受けたシステム制御部２１８は、撮像素子２１１からの撮像信号の読み出しから画像データの生成および記録媒体２２８への記録用画像データの記録までの一連の撮影処理を行う。

モード切替スイッチ１０３は、システム制御部２１８の動作モードを、撮影／表示モード、再生モードおよびＡＲ表示モード等に切り替える。

眼球情報取得部２４０は、ＨＭＤ１００を装着したユーザの眼球（ＲＥ、ＬＥ）の画像を取得し、その眼球画像からユーザの視線に関する情報を演算する。システム制御部２１８は、視線に関する情報を用いて焦点検出範囲を設定する。

＜撮像素子２１１の構成＞
図３は、撮像素子２１１であるＣＭＯＳセンサの撮像面における２次元画素配列を示している。図３は４列×４行の範囲の撮像画素の配列を示しているが、実際の撮像素子２１１にはより多数の列×行の撮像画素が縦（ｙ方向）および横（ｘ方向）のそれぞれに含まれている。

１つの画素群４００は、２列×２行の撮像画素からなり、これらの撮像画素にはベイヤー配列のカラーフィルタが設けられている。画素群４００において、Ｒ（赤）の分光感度を有する撮像画素４００Ｒが左上に、Ｇ（緑）の分光感度を有する撮像画素４００Ｇが右上と左下に、Ｂ（青）の分光感度を有する撮像画素４００Ｂが右下にそれぞれ配置されている。さらに各撮像画素は、撮像面位相差検出方式の焦点検出を行うための１つのマイクロレンズ４０１と２列×１行配列の２つのサブ画素（焦点検出画素）４０２、４０３を有する。

マイクロレンズ４０１は、光学系２０２の瞳を通過した光束を２つに分離する（すなわち瞳分割を行う）。分離された２つの光束のうち一方の光束はサブ画素４０２により受光され、他方の光束はサブ画素４０３により受光される。２つのサブ画素４０２、４０３のそれぞれにて光電変換により生成されたＡ信号とＢ信号を加算したＡ＋Ｂ信号は撮像信号の生成に用いられ、Ａ信号とＢ信号（またはＡ＋Ｂ信号からＡ信号を差し引いた信号はそれぞれ一対の焦点検出信号一方と他方の生成に用いられる。なお、撮像画素ごとに設けられるサブ画素の数は、３つ以上であってもよい。また、全ての撮像画素が複数のサブ画素を有しなくてもよく、撮像画素の一部（例えば離散的に配置された撮像画素）が複数のサブ画素を有してもよい。

＜位相差とデフォーカス量との関係＞
次に、撮像素子２１１から取得される一対の焦点検出信号の位相差（像ずれ量）とデフォーカス量との関係について図４を用いて説明する。デフォーカス量は、ＡＦ処理や距離情報の取得に用いられる。ここでは、撮像素子の中心と光学系の光軸の位置とが一致しているものとする。またここでは右眼撮像部２００Ｒでデフォーカス量を算出する場合について説明する。ただし、左眼撮像部２００Ｌでデフォーカス量を算出してもよいし、右眼撮像部２００Ｒと左眼撮像部２００Ｌのそれぞれでデフォーカス量を算出してそれらを組み合わせたデフォーカス量を用いてもよい。

図４において、像面１３００に撮像素子２１１Ｒの撮像面が配置されている。光学系２０２Ｒの射出瞳は、撮像素子２１１Ｒの画素ごとのマイクロレンズによって、被写体（１３０１、１３０２）からの光束のうち第１光束が透過する第１瞳領域１３０３と第２光束が透過する第２瞳領域１３０４に２分割される。

デフォーカス量ｄは、被写体からの光束の結像位置から撮像面（１３００）までの距離の大きさを｜ｄ｜とし、結像位置が撮像面より被写体側にある前ピン状態をｄ＜０、被写体の結像位置が撮像面より被写体の反対側にある後ピン状態をｄ＞０として定義される。被写体の結像位置が撮像面にある合焦状態はｄ＝０である。図４は、被写体１３０１に対する合焦状態と、被写体１３０２に対する前ピン状態を示している。前ピン状態と後ピン状態を合わせてデフォーカス状態（｜ｄ｜＞０）とする。

前ピン状態では、被写体１３０２からの光束のうち第１瞳領域１３０３と第２瞳領域１３０４を通過した光束はそれぞれ、一度、集光した後に光束の重心位置Ｇ１、Ｇ２を中心としてボケ幅Γ１、Γ２を持つように拡がり、撮像面でボケ像を形成する。これらのボケ像はそれぞれ、ボケ像が形成された範囲に含まれる複数の撮像画素のそれぞれにおける２つのサブ画素（図３中の４０２、４０３）により受光される。複数の撮像画素の２つのサブ画素からのＡ信号とＢ信号がそれぞれ合成されることで、一対の焦点検出信号が生成される。

被写体像のボケ幅Γ１、Γ２は、デフォーカス量ｄの大きさ｜ｄ｜の増加にほぼ比例して増加する。同様に、一対の焦点検出信号間の像ずれ量ｐ（重心位置差Ｇ１－Ｇ２）の大きさ｜ｐ｜もデフォーカス量ｄの大きさ｜ｄ｜の増加にほぼ比例して増加する。後ピン状態でも、一対の焦点検出信号間の像ずれ方向が前ピン状態とは反対となるが同様である。

像ずれ量ｐは、これに既知の換算係数Ｋを乗じることでデフォーカス量ｄを算出することができる。なお、換算係数Ｋは、光学系に依存する値であり、より詳しくは光学系への光束の入射角度、光学系のＦ値および光軸の位置に依存する値である。

＜撮影環境の輝度に応じた表示切替え＞
本実施例では、ユーザに３Ｄ画像を提示しつつ良好な焦点検出結果（つまりはＡＦ結果）を得るために、撮影環境の輝度に応じた表示制御を行う。撮影環境の輝度は、被写体が置かれた環境の輝度であり、さらに言えば被写体の輝度である。被写体には、主被写体と背景物体が含まれる。以下では、互いに輝度が異なる撮影環境をＣａｓｅ１からＣａｓｅ４までの４つのＣａｓｅ（輝度レベル）に分けて説明するが、Ｃａｓｅ数は変更してもよい。

図５のフローチャートは、システム制御部２１８がプログラムに従って実行するメイン処理を示している。システム制御部２１８および画像処理部２１４は、処理手段および取得手段に相当し、画像処理装置を構成する。

ステップＳ１では、システム制御部２１８は、撮影環境の輝度を判定する。輝度判定には、ＡＥ処理の結果として設定される撮像素子の電荷蓄積時間（シャッター秒時）を用いる。前述したように本実施例では、ＡＥ処理を画像データから得られる輝度情報を用いて行う。ただし、撮影環境の輝度を測定する測光ユニットをＨＭＤ１００に設け、測光ユニットによる測光結果を輝度情報として用いてＡＥ処理を行ってもよい。また、ＡＥ処理の結果ではなく、直接、輝度情報が明るい（所定輝度）かそれより暗いかで輝度判定を行ってもよい。

図６は、輝度が明るい側からＣａｓｅ１、２、３および４を示し、さらにＣａｓｅごとの撮影シーンの例（Ｉｍａｇｅ）を示している。また図６は、Ｃａｓｅごと３Ｄ画像と２次元（２Ｄ）画像の表示の可否（上段）とその判定条件（下段）を示している。以下の説明では、３Ｄ画像を表示するモードを３Ｄ表示モードといい、２Ｄ画像を表示するモードを２Ｄ表示モードという。判定条件におけるｔｖ３ｄ、ｔｖ２ｄはそれぞれ、３Ｄ表示モードと２Ｄ表示モードでの撮像素子の電荷蓄積時間を示す。また、Ｔｖ＿１、Ｔｖ＿２およびＴｖ＿３は電荷蓄積時間の閾値であり、この順で長くなる。Ｔｖ＿１、Ｔｖ＿２およびＴｖ＿３はそれぞれ、Ｃａｓｅ１、２および３での所定時間に相当する。

Ｃａｓｅ１は最も明るい撮影環境であり、３Ｄ表示用の右眼画像データと左眼画像データの取得のために高フレームレート（ＦＲ）、かつ高速での撮像素子からの信号読み出しが可能である。Ｃａｓｅ１では、常に３Ｄ画像表示および２Ｄ画像表示が可能である。３Ｄおよび２Ｄ表示モードでの電荷蓄積時間ｔｖ３ｄ、ｔｖ２ｄとしては第１閾値Ｔｖ＿１以下の短い時間が設定される。Ｔｖ＿１は、例えば１／６０秒よりも短い時間である。

本実施例では、２Ｄ表示モードでの電荷蓄積時間ｔｖ２ｄについては、Ｃａｓｅ１からＣａｓｅ４のいずれにおいてもＴｖ＿１以下の時間が設定される。これは、２Ｄ画像表示用の画像を右眼撮像部２００Ｒと左眼撮像部２００Ｌのうち一方のみで取得するか、右眼撮像部２００Ｒと左眼撮像部２００Ｌで交互に取得する方法が選択できるためである。また、右眼撮像部２００Ｒを通じて取得した右眼画像データと、右眼撮像部２００Ｒとは露出条件（電荷蓄積時間等）を異ならせて左眼撮像部２００Ｌを通じて取得した左眼画像データとからダイナミックレンジが広い画像データを生成してもよい。そして、この広ダイナミックレンジ画像データに対応する２つの同一画像（第３の画像）を右眼表示素子２１７Ｒと左眼表示素子２１７Ｌに２Ｄ表示させてもよい。

Ｃａｓｅ１では、システム制御部２１８は３Ｄ表示モードを選択する。ただし、ユーザによる選択操作によって２Ｄ表示モードと３Ｄ表示モードを選択（変更）できるようにしてもよい。

Ｃａｓｅ２は、Ｃａｓｅ１より暗い（輝度が低い）ものの比較的明るい撮影環境であり、３Ｄ画像表示に必要な画像の取得のために高ＦＲから中ＦＲ、かつ高速から中速での撮像素子からの信号読み出し可能である。Ｃａｓｅ２では、常に２Ｄ画像表示が可能である。一方、３Ｄ画像表示については、電荷蓄積時間ｔｖ３ｄとして第１閾値Ｔｖ＿１以上、第２閾値Ｔｖ＿２以下の時間が設定された場合に可能である。Ｔｖ＿２は、例えば１／３０秒のように高ＦＲを維持できる時間である。システム制御部２１８は、ｔｖ３ｄがＴｖ＿２以下の場合は３Ｄ表示モードを選択し、ｔｖ３ｄがＴｖ＿２より長い時間である場合は２Ｄ表示モードを選択する。

ただし、ｔｖ３ｄがＴｖ＿２以下の場合にユーザによる選択操作によって２Ｄ表示モードと３Ｄ表示モードを選択（変更）できるようにしてもよい。

Ｃａｓｅ３は、Ｃａｓｅ２より暗い（比較的暗い）撮影環境であり、３Ｄ画像表示に必要な画像の取得のために中ＦＲかつ中速での撮像素子からの信号読み出しが可能である。Ｃａｓｅ３では、常に２Ｄ画像表示は可能である。一方、３Ｄ画像表示については、電荷蓄積時間ｔｖ３ｄが第２閾値Ｔｖ＿２以上、第３閾値Ｔｖ＿３以下の時間が設定された場合に可能である。Ｔｖ＿３は、例えば１／３０秒よりも長い時間である。このためＣａｓｅ３の撮影は、ユーザが静止している場合やゆっくり動作している場合等に限られる。システム制御部２１８は、ｔｖ３ｄがＴｖ＿３以下である場合は３Ｄ表示モードを選択し、ｔｖ３ｄがＴｖ＿３より長い時間である場合は２Ｄ表示モードを選択する。

ただし、ユーザが第３閾値Ｔｖ＿３に相当する電荷蓄積時間ｔｖ３ｄでの３Ｄ画像表示を許可した場合に限りユーザによる選択操作によって２Ｄ表示モードと３Ｄ表示モードを選択（変更）できるようにしてもよい。

Ｃａｓｅ４は、Ｃａｓｅ３よりも暗い撮影環境であり、３Ｄ画像表示に必要な画像の取得には、中ＦＲから低ＦＲかつ、中速から低速での撮像素子からの信号読み出ししか行えない。このため、３Ｄ画像表示は不可能であり、２Ｄ画像表示のみが可能となる。

ただし、Ｃａｓｅ４においても、ユーザが第３閾値Ｔｖ＿３より長い電荷蓄積時間での３Ｄ画像表示を許可した場合にはユーザによる選択操作によって３Ｄ表示モードの選択を可能としてもよい。

なお、Ｃａｓｅ１～Ｃａｓｅ３において３Ｄ画像表示が可能である場合でも、主被写体が遠距離に位置する場合には２Ｄ表示モードを選択するようにしてもよい。主被写体か否かは眼球情報取得部２４０からの視線情報を用いて判定することができる。また、主被写体の距離は、撮像画角内のデフォーカス量の分布から生成される距離マップから得ることができる。

次にステップＳ２では、システム制御部２１８は、ステップＳ１で判定した撮影環境の輝度に応じた焦点検出パラメータの設定や情報取得を行う。Ｃａｓｅ１、２、３の輝度が第１の輝度に相当し、Ｃａｓｅ４の輝度が第２の輝度に相当する。

ステップＳ１での判定輝度がＣａｓｅ１の輝度であった場合には、システム制御部２１８は、焦点検出信号を取得するための撮像素子の電荷蓄積時間ｔｖＡＦとして、第１閾値Ｔｖ＿１に相当する時間を設定する。この場合、システム制御部２１８は、焦点検出信号の取得範囲（焦点検出範囲）を撮像素子（撮像面）の全体に設定する。またシステム制御部２１８は、画像データから図６に示す主被写体Ｔａｒｇｅｔ１を検出し、主被写体Ｔａｒｇｅｔ１の種類、位置および距離等の被写体情報を取得する。さらにシステム制御部２１８は、眼球情報取得部２４０を通じてユーザの視線に関する情報を取得し、該視線情報からユーザの注視領域ＥｙｅＰｏｉｎｔ１を検出する。この場合、被写体情報と注視領域からユーザが主被写体を注視していると判定して、ＥｙｅＰｏｉｎｔ１近傍での焦点検出結果をＡＦ処理に用いてもよい。

ステップＳ１での判定輝度がＣａｓｅ２の輝度であった場合には、システム制御部２１８は、焦点検出信号を取得するための電荷蓄積時間ｔｖＡＦを以下のように設定する。２Ｄ表示モードを設定した場合にはｔｖＡＦとして第１閾値Ｔｖ＿１に相当する時間を設定し、３Ｄ表示モードを設定した場合には第２閾値Ｔｖ＿２に相当する時間を設定する。またシステム制御部２１８は、焦点検出範囲をＣａｓｅ１よりも狭い範囲に設定する。またシステム制御部２１８は、画像データから図６に示す主被写体Ｔａｒｇｅｔ２を検出し、主被写体Ｔａｒｇｅｔ２の被写体情報を取得する。さらにシステム制御部２１８は、眼球情報取得部２４０を通じてユーザの視線情報を取得し、該視線情報からユーザの注視領域ＥｙｅＰｏｉｎｔ２を検出する。この場合、被写体情報と注視領域からユーザが主被写体を注視していると判定して、ＥｙｅＰｏｉｎｔ２近傍での焦点検出結果をＡＦ処理に用いてもよい。

ステップＳ１での判定輝度がＣａｓｅ３の輝度であった場合には、システム制御部２１８は、焦点検出信号を取得するため電荷蓄積時間ｔｖＡＦとして以下の時間を設定する。２Ｄ表示モードを設定した場合にはｔｖＡＦとして第１閾値Ｔｖ＿１に相当する時間を設定し、３Ｄ表示モードを設定した場合には第３閾値Ｔｖ＿３に相当する時間を設定する。またシステム制御部２１８は、焦点検出範囲をＣａｓｅ２よりも狭い範囲に設定する。またシステム制御部２１８は、画像データから図６に示す主被写体Ｔａｒｇｅｔ３を検出し、主被写体Ｔａｒｇｅｔ３の被写体情報を取得する。さらにシステム制御部２１８は、眼球情報取得部２４０を通じてユーザの視線情報を取得し、該視線情報からユーザの注視領域ＥｙｅＰｏｉｎｔ３を検出する。この場合、被写体情報と注視領域からユーザが主被写体を注視していると判定して、ＥｙｅＰｏｉｎｔ３近傍での焦点検出結果をＡＦ処理に用いてもよい。

ステップＳ１での判定輝度がＣａｓｅ４の輝度であった場合には、システム制御部２１８は、焦点検出信号を取得するための電荷蓄積時間ｔｖＡＦとして、２Ｄ表示モードでの第１閾値Ｔｖ＿１に相当する時間を設定する。この際、複数フレームで得られる焦点検出信号を加算して焦点検出に用いてもよい。またシステム制御部２１８は、焦点検出範囲を、Ｃａｓｅ３と同様に、Ｃａｓｅ２よりも狭い範囲に設定する。またシステム制御部２１８は、画像データから図６に示す主被写体Ｔａｒｇｅｔ４を検出し、主被写体Ｔａｒｇｅｔ４の被写体情報を取得する。さらにシステム制御部２１８は、眼球情報取得部２４０を通じてユーザの視線情報を取得し、該視線情報からユーザの注視領域ＥｙｅＰｏｉｎｔ４を検出する。この場合、被写体情報と注視領域からユーザが主被写体を注視していると判定して、ＥｙｅＰｏｉｎｔ４近傍での焦点検出結果をＡＦ処理に用いてもよい。

次にステップＳ３では、システム制御部２１８は、ステップＳ１での輝度判定結果に応じた、撮像信号（画像データ）を取得するための電荷蓄積時間（ｔｖ３ｄ、ｔｖ２ｄ）に従って、右眼表示素子２１７Ｒと左眼表示素子２１７Ｌの表示パラメータを設定する。そしてステップ４に進む。

本実施例では、右眼表示素子２１７Ｒと左眼表示素子２１７Ｌに互いに視差を有する右眼画像と左眼画像を表示させることで３Ｄ画像表示を行い、右眼撮像部２００Ｒと左眼撮像部２００Ｌから取得した焦点検出信号を用いて焦点検出を行う。このときの焦点検出信号を取得する際の電荷蓄積時間ｔｖＡＦと３Ｄ画像表示用の撮像信号を取得する際の電荷蓄積時間ｔｖ３ｄとが互いに一致するため、高ＦＲでの３Ｄ画像表示と高速での焦点検出が可能となる。

しかし、特に暗いＣａｓｅ４では、高ＦＲを維持することが困難になり得る。このような場合には、焦点検出信号を取得する際の電荷蓄積時間ｔｖＡＦは２Ｄ画像表示用の撮像信号を取得する際の電荷蓄積時間ｔｖ２ｄに設定される。そして、右眼撮像部２００Ｒと左眼撮像部２００Ｌのうち一方の撮像部で２Ｄ画像表示用の撮像信号を取得して右眼表示素子２１７Ｒと左眼表示素子２１７Ｌに同一画像（第３の画像）を表示させ、他方の撮像部で焦点検出信号を取得する。これにより、画像表示と焦点検出を継続させる。また、焦点検出の頻度は低下するが、３Ｄ画像表示を継続するために、焦点検出を複数フレームで加算された焦点検出信号を用いて行ってもよい。さらに焦点検出が不可能なほど撮影環境が暗い場合には、焦点検出を行わずに焦点検出不能であることをユーザに表示等で通知してもよい。

ステップＳ４では、システム制御部２１８は、ステップＳ２で設定した焦点検出パラメータに基づいて焦点検出を行い、その結果として得られたデフォーカス量に基づいて光学系の駆動を制御することで焦点調節（ＡＦ処理）を行う。ＡＦ処理の詳細については後述する。

次にステップＳ５では、システム制御部２１８は、ステップＳ３で設定された表示パラメータに従って画像表示のための画像処理（画像表示処理）を行う。ここでの画像処理の詳細については後述する。

画像処理を行ったシステム制御部２１８は、ステップＳ６において、ユーザによる停止命令、ＨＭＤ１００電源オフまたは接眼検出部１１８による離眼の検出等に応じて、画像表示および焦点検出を終了するか否かを判定する。画像表示および焦点検出を継続する場合はステップＳ１に戻り、終了する場合に本処理を終了する。

図７のフローチャートは、図５のステップＳ４で実行される焦点調節の処理を示している。右眼光学系２０２Ｒと左眼光学系２０２Ｌには、メカニカルな要因で合焦位置に差が生じる場合があるが、焦点検出処理については差がない。このため、ここでも右眼光学系２０２Ｒと左眼光学系２０２Ｌをまとめて光学系２０２とし、右眼撮像素子２１１Ｒと左眼撮像素子２１１Ｌをまとめて撮像素子２１１とする。

本実施例では、撮像素子２１１における焦点検出信号の取得範囲内の複数の撮像画素のうち一方のサブ画素４０２からの信号を集めて（合成して）第１焦点検出信号を生成し、他方のサブ画素４０３からの信号を集めて第２焦点検出信号を生成する。この際、第１および第２焦点検出信号ともに、緑（Ｇ）、赤（Ｒ）、青（Ｂ）および緑（Ｇ）の４つのサブ画素からの信号を加算したＹ信号として生成される。システム制御部２１８は、これら第１および第２焦点検出信号（一対の焦点検出信号）の像ずれ量ｐを相関演算により算出し、像ずれ量ｐからデフォーカス量ｄを算出する。

ステップＳ５０１では、システム制御部２１８は、図５のステップＳ２で取得した焦点検出信号の取得範囲（焦点検出範囲）を設定する。

次にステップＳ５０２では、システム制御部２１８は、焦点検出範囲内のサブ画素４０２、４０３からの信号により生成された第１焦点検出信号（Ａ像信号）と第２焦点検出信号（Ｂ像信号）を取得する。

次にステップＳ５０３では、システム制御部２１８は、第１および第２焦点検出信号のそれぞれに対して画素加算処理を行う。具体的には、第１および第２焦点検出信号の信号データ量を抑制するために列方向の加算処理を行い、さらにＹ信号とするためにＧ、Ｒ、Ｂ、Ｇの加算処理を行う。この際、画素加算数が２つの場合は画素ピッチが２倍となるためにナイキスト周波数は非加算時の１／２となり、画素加算数が３つの場合は画素ピッチが３倍となるためにナイキスト周波数は非加算時の１／３となる。

次にステップＳ５０４では、システム制御部２１８は、画素加算処理後の第１および第２焦点検出信号に対して、これらの信号強度を揃えるためのシェーディング補正処理（光学補正処理）を行う。シェーディング補正値は、光学系２０２への光束の入射角度や光学系２０２のＦ値および光軸位置に依存する値である。

次にステップＳ５０５では、システム制御部２１８は、シェーディング補正処理後の第１および第２焦点検出信号に対して、相関（信号の一致度）を良くして焦点検出精度を向上させるために、特定の通過周波数帯域を有するバンドパスフィルター処理を行う。バンドパスフィルターの例としては、ＤＣ成分をカットしてエッジ抽出を行う｛１、４、４、４、０、－４、－４、－４、－１｝等の差分型フィルターや、高周波ノイズ成分を抑制する｛１、２、１｝等の加算型フィルターがある。

次にステップＳ５０６では、システム制御部２１８は、フィルター処理後の第１および第２焦点検出信号を相対的に瞳分割方向にシフトさせるシフト処理を行い、信号の一致度を表す相関量を算出する。フィルター処理後のｋ番目の第１焦点検出信号をＡ（ｋ）、第２焦点検出信号をＢ（ｋ）、焦点検出範囲に対応する番号ｋの範囲をＷとする。シフト処理によるシフト量をｓ、シフト量ｓのシフト範囲をΓとすると、相関量ＣＯＲは式（１）により算出される。

このシフト処理では、ｋ番目の第１焦点検出信号Ａ（ｋ）とｋ－ｓ番目の第２焦点検出信号Ｂ（ｋ－ｓ）とを対応させて減算することでシフト減算信号を生成する。そして生成されたシフト減算信号の絶対値を計算し、焦点検出範囲に対応する範囲Ｗ内で番号ｋの和をとって相関量ＣＯＲ（ｓ）を算出する。必要に応じて、行ごとに算出された相関量をシフト量ごとに複数行にわたって加算してもよい。また、相関量ＣＯＲ（ｓ）を算出した際に、その変化量やピークボトム等の値を見て、後に算出されるデフォーカス量の信頼性を評価することが可能である。

次にステップＳ５０７では、システム制御部２１８は、算出された相関量から、サブピクセル演算により相関量が最小値となる実数値のシフト量を算出し、該シフト量を像ずれ量ｐとする。そして像ずれ量ｐに変換係数Ｋを乗じてデフォーカス量（Ｄｅｆ）ｄを算出する。変換係数Ｋの大小によってもデフォーカス量の信頼性を評価することが可能である。

次にステップＳ５０８では、システム制御部２１８は、ステップＳ５０７で取得したデフォーカス量を光学系２０２内のフォーカスレンズの駆動量に変換して、フォーカスレンズを駆動する。こうして本処理が終了すると、システム制御部２１８は図５のステップＳ５に移行する
図８のフローチャートは、ステップＳ５で実行される画像表示処理（画像処理方法）を示している。ステップＳ６０１では、システム制御部２１８は、図５のステップＳ１の輝度判定の結果やユーザによる２Ｄ／３Ｄ表示モードの選択状況を取得する。

次にステップＳ６０２では、システム制御部２１８は、ステップＳ６０１で取得した輝度判定結果やユーザ選択状況に応じて、３Ｄ表示モードで３Ｄ画像の表示を行うか２Ｄ表示モードで２Ｄ画像の表示を行うかを判定する。３Ｄ画像表示を行う場合はステップＳ６０３へ進み、２Ｄ画像表示を行う場合はステップＳ６０４へ進む。

ステップＳ６０３では、システム制御部２１８は、右眼撮像表示部２５０Ｒと左眼撮像表示部２５０Ｌの画像処理部２１４に、右眼撮像部２００Ｒと左眼撮像部２００Ｌのそれぞれからの撮像信号から互いに視差を有する右眼画像データと左眼画像データを生成させる。そしてステップＳ６０５に進む。

一方、ステップＳ６０４では、システム制御部２１８は、右眼撮像部２００Ｒまたは左眼撮像部２００Ｌからの撮像信号により生成された画像データに対応する同一画像を右眼表示素子２１７Ｒと左眼表示素子２１７Ｌの両方に表示させるために、画像データの複製を行う。すなわち、右眼画像データと左眼画像データとして視差を有さない同一画像データを生成する。そしてステップＳ６０５に進む。

ステップＳ６０５では、システム制御部２１８は、ステップＳ６０３またはステップＳ６０４で生成された右眼画像データと左眼画像データに対して、右眼表示素子２１７Ｒと左眼表示素子２１７Ｌに表示するための画像調整処理を行う。具体的には、画像表示位置や輝度を調整する処理を行う。

次にステップＳ６０６では、システム制御部２１８は、画像調整処理後の右眼画像データと左眼画像データをそれぞれＤ／Ａ変換器２１６を介して右眼表示素子２１７Ｒと左眼表示素子２１７Ｌに供給する。これにより、右眼表示素子２１７Ｒと左眼表示素子２１７Ｌに視差を有する右眼画像と左眼画像が表示される３Ｄ画像表示または視差を有さない右眼画像と左眼画像が表示される２Ｄ画像表示が行われる。この後、図５のステップＳ６に進む。

以上説明したように、撮影環境の輝度に応じて３Ｄ画像表示と２Ｄ画像表示を切り替えることで、良好な画像表示と焦点検出を両立することができる。

なお、本実施例では、光学系２０２が単焦点またはズーム状態が固定であることを前提として説明した。光学系２０２のズーム状態の変化に応じて２Ｄ画像表示と３Ｄ画像表示の切替えを行ってもよい。

また、本実施例では、ＨＭＤ内に画像処理装置が内蔵されている場合について説明したが、画像処理装置は、パーソナルコンピュータや画像コントローラのようにＨＭＤとは別体の装置であってもよい。

以上の実施の形態は、以下の構成を含む。
（構成１）
視差が生じるように配置された第１の光学系と第２の光学系を通して被写体を撮像する撮像素子からの信号を用いて、表示素子に画像を表示させる処理手段と、
前記被写体の輝度情報を取得する取得手段とを有し、
前記処理手段は、前記輝度情報に応じて、前記表示素子に互いに視差を有する第１の画像と第２の画像を表示させる第１の処理と、前記視差を有さない２つの第３の画像を前記表示素子に表示させる第２の処理とを切り替えて行うことを特徴とする画像処理装置。
（構成２）
前記処理手段は、
前記輝度情報に応じて前記撮像素子の電荷蓄積時間を設定し、
前記電荷蓄積時間が所定時間より短い場合は前記第１の処理を行い、
前記電荷蓄積時間が前記所定時間より長い場合は前記第２の処理を行うことを特徴とする構成１に記載の画像処理装置。
（構成３）
前記処理手段は、前記輝度情報が所定輝度より明るいことを示す場合に前記第１の処理を行い、前記輝度情報が前記所定輝度より暗いことを示す場合に前記第２の処理を行うことを特徴とする構成１に記載の画像処理装置。
（構成４）
前記処理手段は、
前記被写体の輝度レベルを複数に分け、
前記輝度レベルごとに前記第１の処理と前記第２の処理とを切り替えて行うことを特徴とする構成１から３のいずれか１つに記載の画像処理装置。
（構成５）
前記処理手段は、前記第１および第２の処理を行うとともに、前記撮像素子からの信号を用いて焦点検出を行うことを特徴とする構成１から４のいずれか１つに記載の画像処理装置。
（構成６）
前記撮像素子は、前記第１の光学系を通して前記被写体を撮像する第１の撮像領域と、前記第２の光学系を通して前記被写体を撮像する第２の撮像領域とを有し、
前記処理手段は、前記第１の処理を行う場合に、前記第１の撮像領域からの信号と前記第２の撮像領域からの信号を用いて前記焦点検出を行うことを特徴とする構成５に記載の画像処理装置。
（構成７）
前記撮像素子は、前記第１の光学系を通して前記被写体を撮像する第１の撮像領域と、前記第２の光学系を通して前記被写体を撮像する第２の撮像領域とを有し、
前記処理手段は、前記第２の処理を行う場合に、
前記第１および第２の撮像領域のうち一方の撮像領域からの信号を用いて前記２つの第３の画像を前記表示素子に表示させ、
前記第１および第２の撮像領域のうち他方の撮像領域からの信号を用いて前記焦点検出を行うことを特徴とする構成５に記載の画像処理装置。

（構成８）
前記撮像素子は、前記第１の光学系を通して前記被写体を撮像する第１の撮像領域と、前記第２の光学系を通して前記被写体を撮像する第２の撮像領域とを有し、
前記処理手段は、前記第２の処理を行う場合に、前記第１の撮像領域からの信号と該第１の撮像領域とは異なる露出条件で撮像を行う前記第２の撮像領域からの信号とを用いて生成した前記２つの第３の画像を前記表示素子に表示させることを特徴とする構成１から７のいずれか１つに記載の画像処理装置。
（構成９）
前記処理手段は、ユーザが注視する主被写体の距離に応じて、前記第１の処理から前記第２の処理に切り替えることを特徴とする構成１から８のいずれか１つに記載の画像処理装置。
（構成１０）
前記処理手段は、ユーザによる選択に応じて、前記第１の処理と前記第２の処理のうち一方から他方に切り替えることを特徴とする構成１から８のいずれか１つに記載の画像処理装置。
（構成１１）
構成１から１０のいずれか一項に記載の画像処理装置と、
前記第１および第２の光学系と、
前記撮像素子と、
前記表示素子とを有することを特徴とする表示装置。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

２０２Ｒ 右眼光学系
２０２Ｌ 左眼光学系
２１１Ｒ 右眼撮像素子
２１１Ｌ 左眼撮像素子
２１７Ｒ 右眼表示素子
２１７Ｌ 左眼表示素子
２１８ システム制御部
２１４ 画像処理部

Claims (13)

1. 視差が生じるように配置された第１の光学系と第２の光学系を通して被写体を撮像する撮像素子からの信号を用いて、表示素子に画像を表示させる処理手段と、
   前記被写体の輝度情報を取得する取得手段とを有し、
   前記処理手段は、前記輝度情報に応じて、前記表示素子に互いに視差を有する第１の画像と第２の画像を表示させる第１の処理と、前記表示素子に視差を有さない２つの第３の画像を表示させる第２の処理とを切り替えて行うことを特徴とする画像処理装置。
2. 前記処理手段は、
   前記輝度情報に応じて前記撮像素子の電荷蓄積時間を設定し、
   前記電荷蓄積時間が所定時間より短い場合は前記第１の処理を行い、
   前記電荷蓄積時間が前記所定時間より長い場合は前記第２の処理を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記処理手段は、前記輝度情報が所定輝度より明るいことを示す場合に前記第１の処理を行い、前記輝度情報が前記所定輝度より暗いことを示す場合に前記第２の処理を行うことを特徴とする請求項１に記載の画像処理装置。
4. 前記処理手段は、
   前記被写体の輝度レベルを複数に分け、
   前記輝度レベルごとに前記第１の処理と前記第２の処理とを切り替えて行うことを特徴とする請求項１に記載の画像処理装置。
5. 前記処理手段は、前記第１および第２の処理を行うとともに、前記撮像素子からの信号を用いて焦点検出を行うことを特徴とする請求項１に記載の画像処理装置。
6. 前記撮像素子は、前記第１の光学系を通して前記被写体を撮像する第１の撮像領域と、前記第２の光学系を通して前記被写体を撮像する第２の撮像領域とを有し、
   前記処理手段は、前記第１の処理を行う場合に、前記第１の撮像領域からの信号と前記第２の撮像領域からの信号を用いて前記焦点検出を行うことを特徴とする請求項５に記載の画像処理装置。
7. 前記撮像素子は、前記第１の光学系を通して前記被写体を撮像する第１の撮像領域と、前記第２の光学系を通して前記被写体を撮像する第２の撮像領域とを有し、
   前記処理手段は、前記第２の処理を行う場合に、
   前記第１および第２の撮像領域のうち一方の撮像領域からの信号を用いて前記２つの第３の画像を前記表示素子に表示させ、
   前記第１および第２の撮像領域のうち他方の撮像領域からの信号を用いて前記焦点検出を行うことを特徴とする請求項５に記載の画像処理装置。
8. 前記撮像素子は、前記第１の光学系を通して前記被写体を撮像する第１の撮像領域と、前記第２の光学系を通して前記被写体を撮像する第２の撮像領域とを含み、
   前記処理手段は、前記第２の処理を行う場合に、前記第１の撮像領域からの信号と該第１の撮像領域とは異なる露出条件で撮像を行う前記第２の撮像領域からの信号とを用いて生成した前記２つの第３の画像を前記表示素子に表示させることを特徴とする請求項１に記載の画像処理装置。
9. 前記処理手段は、ユーザが注視する主被写体の距離に応じて、前記第１の処理から前記第２の処理に切り替えることを特徴とする請求項１に記載の画像処理装置。
10. 前記処理手段は、ユーザによる選択に応じて、前記第１の処理と前記第２の処理のうち一方から他方に切り替えることを特徴とする請求項１から８のいずれか１つに記載の画像処理装置。
11. 請求項１から１０のいずれか一項に記載の画像処理装置と、
    前記第１および第２の光学系と、
    前記撮像素子と、
    前記表示素子とを有することを特徴とする表示装置。
12. 視差が生じるように配置された第１の光学系と第２の光学系を通して被写体を撮像する撮像素子からの信号を用いて、表示素子に画像を表示させる処理ステップと、
    前記被写体の輝度情報を取得するステップとを有し、
    前記処理ステップにおいて、前記輝度情報に応じて、前記表示素子に互いに視差を有する第１の画像と第２の画像を表示させる第１の処理と、前記表示素子に視差を有さない２つの第３の画像を表示させる第２の処理とを切り替えて行うことを特徴とする画像処理方法。
13. コンピュータに、請求項１２に記載の画像処理方法に従う処理を実行させることを特徴とするプログラム。