以下、添付図面に従って、本発明の実施形態について、説明する。
図1は、本発明の第一実施形態であるデジタルカメラの外観構成を示す正面斜視図である。図2は、本発明の第一実施形態であるデジタルカメラの外観構成を示す背面斜視図である。
本実施形態のデジタルカメラ10は、複数(図1では二つを例示)の撮像手段(撮像系ともいう)を備えたデジタルカメラ(本発明の複眼デジタルカメラに相当)であって、同一被写体を複数視点(図1では左右二つの視点を例示)から撮影可能となっている。
なお、本実施形態では、説明の便宜のため二つの撮像手段を例示しているが、本発明はこれに限定されない。三つ以上の撮像手段であっても同様に適用可能である。なお、撮像手段(主として撮影レンズ14R、14L)の配置は、水平方向に沿った横一列でなくてもよく、二次元的に配置されていてもよい。立体撮影又はマルチ視点や全方向の撮影でもよい。
デジタルカメラ10のカメラボディ12は、矩形の箱状に形成されており、その正面には、図1に示すように、一対の撮影レンズ14R、14L、ストロボ16等が設けられている。また、カメラボディ12の上面には、シャッタボタン18、電源/モードスイッチ20、モードダイヤル22等が設けられている。
一方、カメラボディ12の背面には、図2に示すように、モニタ24、ズームボタン26、十字ボタン28、MENU/OKボタン30、DISPボタン32、BACKボタン34、縦撮り/横撮り切替ボタン36等が設けられている。
また、図示されていないが、カメラボディ12の底面には、三脚ネジ穴、開閉自在なバッテリカバー等が設けられており、バッテリカバーの内側には、バッテリを収納するためのバッテリ収納室、メモリカードを装着するためのメモリカードスロット等が設けられている。
左右一対の撮影レンズ14R、14Lは、それぞれ沈胴式のズームレンズで構成されており、マクロ撮影機能(近接撮影機能)を有している。この撮影レンズ14R、14Lは、それぞれデジタルカメラ10の電源をONすると、カメラボディ12から繰り出される。なお、撮影レンズにおけるズーム機構や沈胴機構、マクロ撮影機構については、公知の技術なので、ここでは、その具体的な構成についての説明は省略する。
ストロボ16は、キセノン管で構成されており、暗い被写体を撮影する場合や逆光時などに必要に応じて発光される。
シャッタボタン18は、いわゆる「半押し」と「全押し」とからなる二段ストローク式のスイッチで構成されている。デジタルカメラ10は、静止画撮影時(例えば、モードダイヤル22で静止画撮影モード選択時、又はメニューから静止画撮影モード選択時)、このシャッタボタン18を半押しすると撮影準備処理、すなわち、AE(Automatic Exposure:自動露出)、AF(Auto Focus:自動焦点合わせ)、AWB(Automatic White Balance:自動ホワイトバランス)の各処理を行い、全押すると、画像の撮影・記録処理を行う。また、動画撮影時(例えば、モードダイヤル22で動画撮影モード選択時、又はメニューから動画撮影モード選択時)、このシャッタボタン18を全押すると、動画の撮影を開始し、再度全押しすると、撮影を終了する。なお、設定により、シャッタボタン18を全押している間、動画の撮影を行い、全押しを解除すると、撮影を終了するようにすることもできる。なお、静止画撮影専用のシャッタボタン及び動画撮影専用のシャッタボタンを設けるようにしてもよい。
電源/モードスイッチ20は、デジタルカメラ10の電源スイッチとして機能するとともに、デジタルカメラ10の再生モードと撮影モードとを切り替える切替手段として機能し、「OFF位置」と「再生位置」と「撮影位置」の間をスライド自在に設けられている。デジタルカメラ10は、この電源/モードスイッチ20を「再生位置」に位置させると、再生モードに設定され、「撮影位置」に位置させると、撮影モードに設定される。また、「OFF位置」に位置させると、電源がOFFされる。
モードダイヤル22は、撮影モードの設定に用いられる。このモードダイヤル22は、カメラボディ12の上面に回転自在に設けられており、図示しないクリック機構によって、「2D静止画位置」、「2D動画位置」、「3D静止画位置」、「3D動画位置」にセット可能に設けられている。デジタルカメラ10は、このモードダイヤル22を「2D静止画位置」にセットすることにより、2Dの静止画を撮影する2D静止画撮影モードに設定され、2D/3Dモード切替フラグ168に、2Dモードであることを表すフラグが設定される。また、「2D動画位置」にセットすることにより、2Dの動画を撮影する2D動画撮影モードに設定され、2D/3Dモード切替フラグに、2Dモードであることを表すフラグが設定される。
また、「3D静止画位置」にセットすることにより、3Dの静止画を撮影する3D静止画撮影モードに設定され、2D/3Dモード切替フラグ168に、3Dモードであることを表すフラグが設定される。さらに、「3D動画位置」にセットすることにより、3Dの動画を撮影する3D動画撮影モードに設定され、2D/3Dモード切替フラグに、3Dモードであることを表すフラグが設定される。後述するCPU110は、この2D/3Dモード切替フラグ168を参照して、2Dモード又は3Dモードのいずれであるかを把握する。
モニタ24は、カラー液晶パネル等の表示装置である。このモニタ24は、撮影済み画像を表示するための画像表示部として利用されるとともに、各種設定時にGUIとして利用される。また、モニタ24は、撮影時には、各撮像素子134R/Lが継続的に捉えた画像(スルー画像)が順次表示し、電子ファインダとして利用される。
ズームボタン26は、撮影レンズ14R、14Lのズーム操作に用いられ、望遠側へのズームを指示するズームテレボタンと、広角側へのズームを指示するズームワイドボタンとで構成されている。
十字ボタン28は、上下左右4方向に押圧操作可能に設けられており、各方向のボタンには、カメラの設定状態に応じた機能が割り当てられる。たとえば、撮影時には、左ボタンにマクロ機能のON/OFFを切り替える機能が割り当てられ、右ボタンにストロボモードを切り替える機能が割り当てられる。また、上ボタンにモニタ24の明るさを替える機能が割り当てられ、下ボタンにセルフタイマのON/OFFを切り替える機能が割り当てられる。また、再生時には、左ボタンにコマ送りの機能が割り当てられ、右ボタンにコマ戻しの機能が割り当てられる。また、上ボタンにモニタ24の明るさを替える機能が割り当てられ、下ボタンに再生中の画像を削除する機能が割り当てられる。また、各種設定時には、モニタ24に表示されたカーソルを各ボタンの方向に移動させる機能が割り当てられる。
MENU/OKボタン30は、メニュー画面の呼び出し(MENU機能)に用いられるとともに、選択内容の確定、処理の実行指示等(OK機能)に用いられ、デジタルカメラ10の設定状態に応じて割り当てられる機能が切り替えられる。
メニュー画面では、たとえば露出値、色合い、ISO感度、記録画素数などの画質調整やセルフタイマの設定、測光方式の切り替え、デジタルズームを使用するか否かなど、デジタルカメラ10が持つ全ての調整項目の設定が行われる。デジタルカメラ10は、このメニュー画面で設定された条件に応じて動作する。
DISPボタン32は、モニタ24の表示内容の切り替え指示等の入力に用いられ、BACKボタン34は入力操作のキャンセル等の指示の入力に用いられる。
縦撮り/横撮り切替ボタン36は、縦撮り又は横撮りのいずれで撮影を行うかを指示するためのボタンである。
高さ検出部38は、基準面(例えば地面)からの距離を検出するための回路である。図1および図2に示すように、高さ検出部38は、縦撮りのいずれの姿勢でも高さを検出できるように、カメラボディ12の両側面に設けられている。
図3は、モニタ24で三次元表示(「立体視表示」ともいう)が可能となる構造例を説明するための図である。本例は、レンチキュラ方式であり、かまぼこ状のレンズ群を有したレンチキュラレンズが前面に配置されたモニタ24を用いる。
モニタ24の前面(観察者の視点(左眼EL、右眼ER)が存在するz軸方向)には、レンチキュラレンズ24aが配置されている。レンチキュラレンズ24aは、複数の円筒状凸レンズを図3中x軸方向に連ねることで構成されている。
モニタ24に表示される三次元画像(「立体視画像」ともいう)の表示領域は、右眼用短冊画像表示領域24Rと左眼用短冊画像表示領域24Lとから構成されている。右眼用短冊画像表示領域24R及び左眼用短冊画像表示領域24Lは、それぞれ画面の図3中y軸方向に細長い短冊形状をしており、図3中x軸方向に交互に配置される。
レンチキュラレンズ24aを構成する各凸レンズは、観察者の所与の観察点を基準として、それぞれ一組の右眼用短冊画像表示領域24R及び左眼用短冊画像表示領域24Lを含む各短冊集合画像表示領域24cに対応した位置に形成される。
図3では、観察者の右眼ERには、レンチキュラレンズ24aの光屈折作用により、モニタ24の右眼用短冊画像表示領域24Rに表示された右眼用短冊画像が入射される。また、観察者の左眼ELには、レンチキュラレンズ24aの光屈折作用により、モニタ24の左眼用短冊画像表示領域24Lに表示された左眼用短冊画像が入射される。したがって、観察者の右眼は右眼用短冊画像のみを、観察者の左眼は左眼用短冊画像のみを見ることになり、これら右眼用短冊画像の集合である右眼用画像及び左眼用短冊画像の集合である左眼用画像による左右視差により立体視が可能となる。
なお、3D表示のためのモニタ24の構造として、図3を用いてレンチキュラ方式を用いた場合を例に説明したが、本発明はレンチキュラ方式には特に限定されない。
例えば、モニタ24を構成するLCD(液晶表示デバイス)の背面を照らすバックライトの方向を時分割で観察者の右眼方向および左眼方向に制御する光方向制御方式(時分割光方向制御バックライト方式ともいう)を用いて、3D表示を行ってもよい。光方向制御方式は、豊岡健太郎,宮下哲哉,内田龍男,“時分割光方向制御バックライトを用いた三次元ディスプレイ”、2000年日本液晶学会討論会講演予稿集、pp.137-138(2000)や、特開2004−20684号公報などに記載されている。
また、モニタ24は、本実施形態にて、二次元と三次元の両方で表示可能な表示素子(例えば液晶表示デバイスや有機ELデバイス)である。自発光、あるいは別に光源があり光量を制御する方式であってもよい。また、偏光による方式やアナグリフ、裸眼式等、方式は問わない。また、液晶や有機ELを多層に重ねた方式でもよい。
図4は、図1及び図2に示したデジタルカメラ10の内部構成を示すブロック図である。なお、図1、図2に示した要素には同じ符号を付してあり、既に説明した内容については、その説明を省略する。
図4に示すように、本実施形態のデジタルカメラ10は、二つの撮像系それぞれから画像信号を取得できるように構成されており、CPU110、視差量取得部50、表示処理部60、操作部112、ROM116、フラッシュROM118、SDRAM120、VRAM122(画像表示メモリ)、撮影光学系14(14R、14L)、ズームレンズ制御部124(124R、124L)、フォーカスレンズ制御部126(126R、126L)、絞り制御部128(128R、128L)、撮像素子134(134R、134L)、タイミングジェネレータ136(136R、136L)、アナログ信号処理部138(138R、138L)、A/D変換器140(140R、140L)、画像入力コントローラ141(141R、141L)、デジタル信号処理部142(142R、142L)、AF検出部144、AE/AWB検出部146、圧縮・伸張処理部152、メディア制御部154、メモリカード156、モニタ制御部158、電源制御部160、バッテリ162、ストロボ制御部164を含んで構成されている。
右眼用の撮像手段11Rは、主として、撮影レンズ14R、ズームレンズ制御部124R、フォーカスレンズ制御部126R、絞り制御部128R、撮像素子134R、タイミングジェネレータ(TG)136R、アナログ信号処理部138R、A/D変換器140R、画像入力コントローラ141R、デジタル信号処理部142R等から構成される。
左眼用の撮像手段11Lは、主として、撮影レンズ14L、ズームレンズ制御部124L、フォーカスレンズ制御部126L、絞り制御部128L、撮像素子134L、タイミングジェネレータ(TG)136L、アナログ信号処理部138L、A/D変換器140L、画像入力コントローラ141L、デジタル信号処理部142L等から構成される。
以下では、撮像手段11R、11Lにより被写体と撮像して得られるデジタルの画像データを、「撮像画像」という。また、右眼用の撮像手段11Rにより得られる撮像画像を「右眼画像」、左眼用の撮像手段11Lにより得られる撮像画像を「左眼画像」という。
CPU110は、撮影、表示、記録などカメラ全体の動作を統括制御する制御手段として機能し、操作部112からの入力に基づき所定の制御プログラムに従って各部を制御する。
操作部112は、図1および図2に示した、シャッタボタン18、電源/モードスイッチ20、モードダイヤル22、ズームボタン26、十字ボタン28、MENU/OKボタン30、DISPボタン32、BACKボタン34、縦撮り/横撮り切替ボタン36などを含む。
バス114を介して接続されたROM116には、このCPU110が実行する制御プログラム及び制御に必要な各種データ(後述するAE/AFの制御周期等)等が格納されており、フラッシュROM118には、ユーザ設定情報等のデジタルカメラ10の動作に関する各種設定情報等が格納されている。
SDRAM120は、CPU110の演算作業用領域として利用されるとともに、画像データの一時記憶領域として利用され、VRAM122は、表示用の画像データ専用の一時記憶領域として利用される。
左右一対の撮影レンズ14R、14L(まとめて撮影レンズ14と表すこともある)は、ズームレンズ130ZR、130ZL(まとめてズームレンズ130Zと表すこともある)、フォーカスレンズ130FR、130FL(まとめてフォーカスレンズ130Fと表すこともある)、絞り132R、132Lを含んで構成され、所定の間隔をもってカメラボディ12に配置されている。
ズームレンズ130ZR、130LRは、図示しないズームアクチュエータに駆動されて光軸に沿って前後移動する。CPU110は、ズームレンズ制御部124R、124Lを介してズームアクチュエータの駆動を制御することにより、ズームレンズの位置を制御し、撮影レンズ14R、14Lのズーミングを行う。
フォーカスレンズ130FR、130FLは、図示しないフォーカスアクチュエータに駆動されて光軸に沿って前後移動する。CPU110は、フォーカスレンズ制御部126R、126Lを介してフォーカスアクチュエータの駆動を制御することにより、フォーカスレンズの位置を制御し、撮影レンズ14R、14Lのフォーカシングを行う。
絞り132R、132Lは、たとえば、アイリス絞りで構成されており、図示しない絞りアクチュエータに駆動されて動作する。CPU110は、絞り制御部128R、128Lを介して絞りアクチュエータの駆動を制御することにより、絞り132R、132Lの開口量(絞り値)を制御し、撮像素子134R、134Lへの入射光量を制御する。
なお、CPU110は、この撮影レンズ14R、14Lを構成するズームレンズ130ZR、130ZL、フォーカスレンズ130FR、130FL、絞り132R、132Lを駆動する際、左右の撮影レンズ14R、14Lを同期させて駆動する。すなわち、左右の撮影レンズ14R、14Lは、常に同じ焦点距離(ズーム倍率)に設定され、常に同じ被写体にピントが合うように、焦点調節が行われる。また、常に同じ入射光量(絞り値)となるように絞りが調整される。
撮像素子134R、134Lは、所定のカラーフィルタ配列のカラーCCDで構成されている。CCDは、その受光面に多数のフォトダイオードが二次元的に配列されている。撮影レンズ14R、14LによってCCDの受光面上に結像された被写体の光学像は、このフォトダイオードによって入射光量に応じた信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、CPU110の指令に従ってTG136R、136Lから与えられる駆動パルスに基づいて信号電荷に応じた電圧信号(画像信号)として撮像素子134R、134Lから順次読み出される。
なお、この撮像素子134R、134Lには、電子シャッタの機能が備えられており、フォトダイオードへの電荷蓄積時間を制御することにより、露光時間(シャッタ速度)が制御される。
なお、本実施の形態では、撮像素子としてCCDを用いているが、CMOSセンサ等の他の構成の撮像素子を用いることもできる。
アナログ信号処理部138R、138Lは、撮像素子134R、134Lから出力された画像信号に含まれるリセットノイズ(低周波)を除去するための相関二重サンプリング回路(CDS)、画像信号を増幅し、一定レベルの大きさにコントロールするためのAGS回路を含み、撮像素子134R、134Lから出力される画像信号を相関二重サンプリング処理するとともに増幅する。A/D変換器140R、140Lは、アナログ信号処理部138R、138Lから出力されたアナログの画像信号をデジタルの画像信号に変換する。画像入力コントローラ141R、141Lは、A/D変換器140R、140Lから出力された画像信号を取り込んで、SDRAM120に格納する。デジタル信号処理部142R、142Lは、CPU110からの指令に従いSDRAM120に格納された画像信号を取り込み、所定の信号処理を施して輝度信号Yと色差信号Cr、CbとからなるYUV信号を生成する。
デジタル信号処理部142R、142Lの概略構成を図5のブロック図に示す。デジタル信号処理部142R、142Lは、ホワイトバランスゲイン算出回路142a、オフセット補正回路142b、ゲイン補正回路142c、ガンマ補正回路142d、RGB補間演算部142e、RGB/YC変換回路142f、ノイズフィルタ142g、輪郭補正回路142h、色差マトリクス回路142i、光源種別判定回路142jを備えて構成される。ホワイトバランスゲイン算出回路142aは、AE/AWB検出部146で算出された積算値を取り込んでホワイトバランス調整用のゲイン値を算出する。オフセット補正回路142bは、画像入力コントローラ141R、141Lを介して取り込まれたR、G、Bの各色の画像信号に対してオフセット処理を行う。ゲイン補正回路142cは、オフセット処理された画像信号を取り込み、ホワイトバランスゲイン算出回路142aで算出されたゲイン値を用いてホワイトバランス調整を行う。ガンマ補正回路142dは、ホワイトバランス調整された画像信号を取り込み、所定のγ値を用いてガンマ補正を行う。RGB補間演算部142eは、ガンマ補正されたR、G、Bの色信号を補間演算して、各画素位置におけるR、G、B3色の信号を求める。すなわち、単板式の撮像素子の場合、各画素からは、R、G、Bのいずれか一色の信号しか出力されないため、出力しない色を周囲の画素の色信号から補間演算により求める。たとえば、Rを出力する画素では、この画素位置におけるG、Bの色信号がどの程度になるかを周りの画素のG、B信号から補間演算により求める。このように、RGB補間演算は、単板式の撮像素子に特有のものなので、撮像素子134に三板式のものを用いた場合には不要となる。RGB/YC変換回路142fは、RGB補間演算後のR、G、B信号から輝度信号Yと色差信号Cr、Cbを生成する。ノイズフィルタ142gは、RGB/YC変換回路142fで生成された輝度信号Yと色差信号Cr、Cbに対してノイズ低減処理を施す。輪郭補正回路142hは、ノイズ低減後の輝度信号Yに対し、輪郭補正処理を行い、輪郭補正された輝度信号Y’を出力する。一方、色差マトリクス回路142iは、ノイズ低減後の色差信号Cr、Cbに対し、色差マトリクス(C−MTX)を乗算して色調補正を行う。すなわち、色差マトリクス回路142iには、光源対応の色差マトリクスが複数種類設けられており、光源種別判定回路142jが求めた光源種に応じて、使用する色差マトリクスを切り替え、この切り替え後の色差マトリクスを入力された色差信号Cr、Cbに乗算し、色調補正された色差信号Cr’、Cb’を出力する。光源種別判定回路142jは、AE/AWB検出部146で算出された積算値を取り込んで光源種を判定し、色差マトリクス回路142iに色差マトリクス選択信号を出力する。
なお、デジタル信号処理部142(142R、142L)はハードウェア回路で構成してもよいし、同じ機能をソフトウェアにて構成してもよい。
図4のAF検出部144は、一方の画像入力コントローラ141Rから取り込まれたR、G、Bの各色の画像信号を取り込み、AF制御に必要な焦点評価値を算出する。このAF検出部144は、G信号の高周波成分のみを通過させるハイパスフィルタ、絶対値化処理部、画面に設定された所定のフォーカスエリア内の信号を切り出すフォーカスエリア抽出部、及び、フォーカスエリア内の絶対値データを積算する積算部を含み、この積算部で積算されたフォーカスエリア内の絶対値データを焦点評価値としてCPU110に出力する。
CPU110は、AF制御時、このAF検出部144から出力される焦点評価値が極大となる位置をサーチし、その位置にフォーカスレンズ130FR、130FLを移動させることにより、主要被写体への焦点合わせを行う。すなわち、CPU110は、AF制御時、まず、フォーカスレンズ130FR、130FLを至近から無限遠まで移動させ、その移動過程で逐次AF検出部144から焦点評価値を取得し、その焦点評価値が極大となる位置を検出する。そして、検出された焦点評価値が極大の位置を合焦位置と判定し、その位置にフォーカスレンズ130FR、130FLを移動させる。これにより、フォーカスエリアに位置する被写体(主要被写体)にピントが合わせられる。
AE/AWB検出部146は、一方の画像入力コントローラ141Rから取り込まれたR、G、Bの各色の画像信号を取り込み、AE制御及びAWB制御に必要な積算値を算出する。すなわち、このAE/AWB検出部146は、一画面を複数のエリア(たとえば、8×8=64エリア)に分割し、分割されたエリアごとにR、G、B信号の積算値を算出する。
CPU110は、AE制御時、このAE/AWB検出部146で算出されたエリアごとのR、G、B信号の積算値を取得し、被写体の明るさ(測光値)を求めて、適正な露光量を得るための露出設定を行う。すなわち、感度、絞り値、シャッタ速度、ストロボ発光の要否を設定する。
また、CPU110は、AWB制御時、AE/AWB検出部146で算出されたエリアごとのR、G、B信号の積算値をデジタル信号処理部142のホワイトバランスゲイン算出回路142a及び光源種別判定回路142jに加える。ホワイトバランスゲイン算出回路142aは、このAE/AWB検出部146で算出された積算値に基づいてホワイトバランス調整用のゲイン値を算出する。また、光源種別判定回路142jは、このAE/AWB検出部146で算出された積算値に基づいて光源種を検出する。
圧縮・伸張処理部152は、CPU110からの指令に従い、入力された画像データに所定形式の圧縮処理を施し、圧縮画像データを生成する。また、CPU110からの指令に従い、入力された圧縮画像データに所定形式の伸張処理を施し、非圧縮の画像データを生成する。なお、本実施の形態のデジタルカメラ10では、静止画に対しては、JPEG規格に準拠した圧縮処理が施され、動画に対してはMPEG2規格に準拠した圧縮処理が施される。
メディア制御部154は、CPU110からの指令に従い、メモリカード156に対してデータの読み/書きを制御する。
モニタ制御部158は、CPU110からの指令に従い、モニタ24への表示を制御する。すなわち、CPU110からの指令に従い、入力された画像信号をモニタ24に表示するための映像信号(たとえば、NTSC信号やPAL信号、SCAM信号)に変換してモニタ24に出力するとともに、所定の文字、図形情報をモニタ24に出力する。
電源制御部160は、CPU110からの指令に従い、バッテリ162から各部への電源供給を制御する。
ストロボ制御部164は、CPU110からの指令に従い、ストロボ16の発光を制御する。
視差量取得部50は、撮像手段11(11R、11L)により得られる多視点の撮像画像(右眼画像および左眼画像)の各部分に対応する視差量を取得する。
ここで、図6および図7を用いて、視差量について説明する。図6に示す撮影光学系14R、14Lに対して主要被写体が遠距離になるほど、図7(A)に示すように、右眼画像中の主要被写体の特定点200Rの位置と、左眼画像中の主要被写体の対応点200L(特定点200Rに対応する点である)の位置とが、一致してくる。その一方で、図6にて撮影光学系14R、14Lに対して主要被写体が近距離になるほど、図7(B)に示すように、特定点200Rの位置と対応点200Lの位置とが、離れてくる。図7(C)にて、右眼画像上の特定点200Rと特定点200Rに対応する左眼画像上の対応点200Lとの位置の差dが、視差量に相当する。すなわち、視差量は、右眼画像の倍率と左眼画像の倍率とが等しい場合に、右眼の撮影光学系14Rと左眼の撮影光学系14Lとの視方向(光軸方向)の差分と被写体距離とによって決まる撮像画像上の視差の大きさを示す。
本例の視差量取得部50は、複数視点の撮像画像(右眼画像および左眼画像)を構成する各画素に対応する視差量を取得する。例えば、図8に示すようにコップ210を撮像した場合、少なくとも主要被写体であるコップ210の全体について各特定点(221R、222Rなど)の位置と各対応点(221L、222Lなど)の位置との差分d1、d2を算出する。なお、図示の便宜上、二組の特定点221R、222Rおよび対応点221L、222Lのみを示したが、実際には、少なくともコップ210の全体にわたって視差量を求める。
実用的な視差量取得の態様として、第1に、両撮影光学系14R、14Lの視方向の差分が固定値である場合に、各画素に対応する被写体距離を視差量として検出する態様がある。両撮影光学系14R、14Lの視方向が固定している場合には、被写体距離の大小により画像上の視差量の大小が決まるからである。例えば、周知の距離画像センサを用い、赤外光パルスを撮影対象範囲に照射し、その撮影対象範囲で反射される赤外光パルス(赤外線エコー)の照射時からの遅延時間を各画素に対応付けて測定し、測定された遅延時間を被写体距離に対応付けることで、各画素に対応する被写体距離が算出される。すなわち、距離画像センサにより、いわゆる距離画像を取得する。図9は花柄入りコップの撮像画像220とその撮像画像220に対応する距離画像230の一例を示す。撮像画像220は、被写体上の各点の色および輝度を示す画素値(画素情報)を有する画素によって構成される画像であり、人が視認する画像に相当する。その一方で、距離画像230は、被写体上の各点までの距離を示す画素値(距離情報)を有する画素によって構成される画像である。ここで、距離画像の画素値(距離情報)を視差量として扱う。言い換えると、距離画像を、視差量を示す画素値を有する画素によって構成される画像(視差量画像)として用いる。なお、図9の距離画像では、便宜上、被写体距離(視差量)を3段階に区分して表したが、もっと細かく区分してよいことは言うまでもない。
なお、右眼画像と左眼画像とでは、視点が異なることに因り被写体像が異なってくるので、右眼用の撮影光学系14Rに対応する距離画像センサと左眼用の撮影光学系14Lに対応する距離画像センサとを、図4の視差量取得部50として設けることにより、各撮像画像(右眼画像、左眼画像)にそれぞれ対応する距離画像(視差量画像)を的確に得ることができる。また、右眼画像および左眼画像の一方のみについて視差量を求めればよい場合には、その一方のみに対応する距離画像センサを設ければよい。
また、距離画像の画素と撮像画像の画素とを一画素対一画素で対応付ける必要はない。撮像画像の複数画素(例えば3画素×3画素)からなる二次元ブロックごとに被写体距離を視差量として求めればよい。また、赤外線の代りに、他の波長の電磁波(例えば超音波)を用いて、距離画像を取得してもよい。
被写体を撮像した際に視差量取得部50により取得された距離画像は、CPU110により撮像画像と関連付けられて、図4のメモリカード156に記録される。三次元画像の表示処理および消去処理を行う際、視差量取得部50は、メモリカード156に記録された距離画像の画素値(距離情報)を参照することにより、その距離画像が関連付けられた撮像画像の各画素の視差量を取得する。
視差量取得の第2の態様として、右眼用の撮像手段11Rにより得られる右眼画像と右眼用の撮像手段11Rにより得られる左眼画像とに基づいて、右眼画像および左眼画像の各画素に対応する視差量を算出する態様がある。例えば、右眼画像および左眼画像にて、色および/または輝度が変わるエッジを検出し、右眼画像で検出したエッジと左眼画像で検出したエッジとに基づいて、右眼画像中の各画素と左眼画像中の各画素との対応付けを行い、対応付けた画素間の位置の差d(すなわち右眼画像の特定点と左眼画像の対応点との位置の差)を算出する。
前述の第1の態様では、距離画像センサを用いて撮像画像の各画素に対応する距離情報を視差量として取得することで、容易に視差量を取得できる利点があり、第2の態様では、撮像画像自体に基づいて視差量を取得することでハードウェアの低コスト化を図ることができる利点がある。
図4の表示処理部60は、モニタ24に二次元画像が表示された状態から三次元画像が表示された状態に切り換える際に、三次元画像の各画素に対応する視差量に基づいて、モニタ24に三次元画像を徐々に表示する3D表示処理を行う。
また、表示処理部60は、モニタ24に三次元画像が表示された状態から二次元画像または他の三次元画像が表示された状態に切り換える際に、現在表示されている三次元画像の各画素に対応する視差量に基づいて、その三次元画像をモニタ24から徐々に消去する3D消去処理を行う。
図4の表示処理部60の詳細について、図10を用いて説明する。
図10は、図4の表示処理部60の詳細を示すブロック図である。図10において、表示処理部60は、現在画像ファイル記憶部61、次画像ファイル記憶部62、現在画像判別部63、次画像判別部64、3D表示処理部65、および、2D表示処理部66を含んで構成される。
現在画像ファイル記憶部61は、モニタ24により現在表示させる画像データ(以下「現在画像」という)を有する画像ファイルを記憶するメモリである。現在画像ファイル記憶部61は、例えばRAMによって構成される。
次画像ファイル記憶部62は、モニタ24により現在画像の次に表示する画像データ(以下「次画像」という)を有する画像ファイルを記憶するメモリである。例えばRAMによって構成される。
なお、現在画像および次画像は、モニタ24に表示が完成した状態の画像である。
現在画像判別部63は、現在画像が三次元表示用の画像(以下「三次元画像」と称する)であるか二次元表示用の画像(以下「二次元画像」と称する)であるかを判別する。例えば、三次元画像であるか否かを示すフラグ(三次元画像判別情報)が画像ファイルのヘッダに存在する場合には、現在画像ファイル記憶部61に記憶されている画像ファイルのヘッダの三次元画像判別情報を参照して、現在画像が三次元画像であるか否かを判別する。また、例えば、現在画像ファイル記憶部61に記憶されている画像ファイルのファイル名の拡張子を参照して、現在画像が三次元画像であるか否かを判別する。
次画像判別部64は、次画像が三次元画像であるか二次元画像であるかを判別する。例えば、次画像ファイル記憶部62に記憶されている画像ファイルのヘッダの三次元画像判別情報を参照して、次画像が三次元画像であるか否かを判別する。また、例えば、次画像ファイル記憶部62に記憶されている画像ファイルのファイル名の拡張子を参照して、次画像が三次元画像であるか否かを判別する。
3D表示処理部65は、モニタ24に三次元画像を表示する3D表示処理、および、モニタ24から三次元画像を消去する3D消去処理を実行する。
3D表示処理部65は、3D表示処理にて、次画像判別部64により次画像が三次元画像であると判別されたとき、次画像ファイル記憶部62に記憶されている画像ファイル(三次元画像ファイルである)から画像データ(三次元画像)を取得して、VRAM122に書き込むことで、モニタ24に三次元画像を表示させる。ここで、三次元画像の各部分の視差量の大小に基づいて、VRAM122に三次元画像の画素情報(色情報および輝度情報のうち少なくとも一方)を徐々に追加していくことで、モニタ24に表示される三次元画像を徐々に完成させていく。この3D表示処理の各種態様については、後に詳説する。
また、3D表示処理部55は、3D消去処理にて、三次元画像の各部分の視差量の大小に基づいて、VRAM122から三次元画像の画素情報(色情報および輝度情報のうち少なくとも一方)を徐々に削除していくことで、モニタ24に表示された三次元画像を徐々に消去させていく。この3D消去処理の各種態様については、後に詳説する。
また、3D表示処理部65は、モニタ24から現在画像としての三次元画像を消去した後に次画像としての三次元画像をモニタ24に表示させる際に、現在画像の画素情報を視差量が大きい部分(視差量大領域)から視差量が小さい部分(視差量小領域)に向って順に削除した場合には、次画像の画素情報を視差量小領域から視差量大領域に向って順に追加する一方で、現在画像の画素情報を視差量小領域から視差量大領域に向って順に削除した場合には、次画像の画素情報を視差量大領域から視差量小領域に向って順に追加する。
2D表示処理部66は、二次元画像をモニタ24に表示させる処理、および、二次元画像をモニタ24から消去する処理を行う。
次に、モニタ24に表示される三次元画像を徐々に完成させていく三次元画像表示処理(「3D表示処理」ともいう)を、各種の態様ごとに説明する。この3D表示処理は、図4の表示処理部60により、プログラムに従って、VRAM122に三次元画像のデジタルデータ(以下単に「三次元画像」という)を書き込むことにより実行される。
第1の3D表示態様では、モニタ24に与える三次元画像の全部が未表示の状態または三次元画像が部分的に表示された状態にした後、視差量が小さい部分(視差量小領域)から視差量が大きい部分(視差量大領域)に向って順に、三次元画像の表示が欠落した部分の画素情報を徐々にVRAM122に追加していくことで、モニタ24に三次元画像の欠落した部分を徐々に表示させていく。
図11(A)〜(D)は、本態様にて表示処理部60によりVRAM122に書き込まれる三次元画像(右眼画像および左眼画像)を、時系列で示す。図11(A)に示す状態では、右眼画像の全体の画素情報および左眼画像の全体の画素情報がVRAM122に未だ書き込まれておらず、モニタ24に右眼画像の全体および左眼画像の全体が未表示の状態である。すなわち、VRAM122内の画素情報が全て消去された状態である。本例では、図11(B)および(C)に示すように、視差量小領域、すなわち本例の主要被写体としてのコップの奥側から画素を追加して、三次元表示を完成させていく。具体的には、右眼画像のうち視差量小領域から順にVRAM122に画素情報(色情報および輝度情報の両方)を書き込んでいくとともに、左眼画像のうち視差量小領域から順にVRAM122に画素情報(色情報および輝度情報の両方)を書き込んでいく。そして、図11(D)に示すように右眼画像の全体の画素情報および左眼画像の全体の画素情報がVRAM122に書き込まれることで、モニタ24上の三次元画像が完成する。
なお、右眼画像の全体および左眼画像の全体が未表示の状態から三次元表示を開始した場合を例に説明したが、右眼画像および左眼画像が部分的に未表示の状態(部分的表示状態)から徐々に三次元画像を完成させてもよい。
第2の3D表示態様では、モニタ24に与える三次元画像の全部が未表示の状態または三次元画像が部分的に表示されて状態にした後、視差量が大きい部分(視差量大領域)から視差量が小さい部分(視差量小領域)に向って順に、三次元画像の表示が欠落した部分の画素情報を徐々にVRAM122に追加していくことで、モニタ24に三次元画像の欠落した部分を徐々に表示させていく。
図12(A)〜(D)は、本態様にて表示処理部60によりVRAM122に書き込まれる三次元画像(右眼画像および左眼画像)を、時系列で示す。図12(A)に示す状態では、右眼画像の全体の画素情報および左眼画像の全体の画素情報がVRAM122に未だ書き込まれておらず、モニタ24に右眼画像の全体および左眼画像の全体が未表示の状態である。すなわち、VRAM122内の画素情報が全て消去された状態である。本例では、図12(B)および(C)に示すように、視差量大領域、すなわち本例の主要被写体としてのコップの手前側から画素を追加して、三次元表示を完成させていく。具体的には、右眼画像のうち視差量大領域から順にVRAM122に画素情報(色情報および輝度情報の両方)を書き込んでいくとともに、左眼画像のうち視差量大領域から順にVRAM122に画素情報(色情報および輝度情報の両方)を書き込んでいく。そして、図12(D)に示すように右眼画像の全体の画素情報および左眼画像の全体の画素情報がVRAM122に書き込まれることで、モニタ24上の三次元画像が完成する。
なお、右眼画像の全体および左眼画像の全体が未表示の状態から三次元表示を開始した場合を例に説明したが、右眼画像および左眼画像が部分的に未表示の状態(部分的表示状態)から徐々に三次元画像を完成させてもよい。
第3の3D表示態様では、モニタ24に三次元画像を単一色にて三次元表示させた後、視差量が小さい部分(視差量小領域)から視差量が大きい部分(視差量大領域)に向って順に、モニタ24に与える三次元画像の各部分の色情報(色相情報および彩度情報)を追加していくことで、単一色の三次元表示からカラーの三次元表示に徐々に変化させる。
図13(A)〜(D)は、本態様にて表示処理部60によりVRAM122に書き込まれる三次元画像(右眼画像および左眼画像)を、時系列で示す。図13(A)に示す状態では、右眼画像の全体および左眼画像の全体が単一色(例えばモノクロ)としてVRAM122に書き込まれており、モニタ24に右眼画像および左眼画像が単一色で表示(例えばモノクロ表示)されている。単一色の色は特に限定されない。例えば、赤色、緑色、青色などでもよい。本例では、図13(B)および(C)に示すように、視差量小領域、すなわち本例の主要被写体としてのコップの奥側から色情報を追加して、単一色表示からカラー表示に徐々に変化させていく。具体的には、右眼画像のうち視差量小領域から順にVRAM122に色情報を書き込んでいくとともに、左眼画像のうち視差量小領域から順にVRAM122に色情報を書き込んでいく。そして、図13(D)に示すように右眼画像の全体および左眼画像の全体の色情報がVRAM122に書き込まれることで、カラーの三次元表示が完成する。
第4の3D表示態様では、モニタ24に三次元画像を単一色にて三次元表示させた後、視差量が大きい部分(視差量大領域)から視差量が小さい部分(視差量小領域)に向って順に、モニタ24に与える三次元画像の各部分の色情報(色相情報および彩度情報)を追加していくことで、単一色の三次元表示からカラーの三次元表示に徐々に変化させる。
図14(A)〜(D)は、本態様にて表示処理部60によりVRAM122に書き込まれる三次元画像(右眼画像および左眼画像)を、時系列で示す。図14(A)に示す状態では、右眼画像の全体および左眼画像の全体が単一色(例えばモノクロ)としてVRAM122に書き込まれており、モニタ24に右眼画像および左眼画像が単一色で表示(例えばモノクロ表示)されている。単一色の色は特に限定されない。例えば、赤色、緑色、青色などでもよい。本例では、図14(B)および(C)に示すように、視差量大領域、すなわち本例の主要被写体としてのコップの手前側から色情報を追加して、単一色表示からカラー表示に徐々に変化させていく。具体的には、右眼画像のうち視差量大領域から順にVRAM122に色情報を書き込んでいくとともに、左眼画像のうち視差量大領域から順にVRAM122に色情報を書き込んでいく。そして、図14(D)に示すように右眼画像の全体および左眼画像の全体の色情報がVRAM122に書き込まれることで、カラーの三次元表示が完成する。
第5の3D表示態様では、モニタ24に三次元画像を単一の輝度にて三次元表示させた後、視差量が小さい部分(視差量小領域)から視差量が大きい部分(視差量大領域)に向って順に、モニタ24に与える三次元画像の各部分の輝度情報を追加していくことで、三次元画像を単一の輝度の三次元表示から多階調の輝度の三次元表示に徐々に変化させる。
第6の3D表示態様では、モニタ24に三次元画像を単一の輝度にて三次元表示させた後、視差量が大きい部分(視差量大領域)から視差量が小さい部分(視差量小領域)に向って順に、モニタ24に与える三次元画像の各部分の輝度情報を追加していくことで、三次元画像を単一の輝度の三次元表示から多階調の輝度の三次元表示に徐々に変化させる。
第7の3D表示態様では、モニタ24に複数の視点画像(右眼画像および左眼画像)のうち単一の視点画像(左眼画像または右眼画像)のみを表示させた後、視差量が小さい部分(視差量小領域)から視差量が大きい部分(視差量大領域)に向って順に、三次元画像の各部分の他の視点画像(左眼画像が表示済の場合には右眼画像、右眼画像が表示済の場合には左眼画像)の画素を徐々に追加していくことで、二次元表示から三次元表示に徐々に変化させる。
図15(A)〜(D)は、本態様にて表示処理部60によりVRAM122に書き込まれる三次元画像(右眼画像および左眼画像)を、時系列で示す。図15(A)に示す状態では、左眼画像の全体の画素情報(色情報および輝度情報)がVRAM122に書き込まれている一方で、右眼画像の全体の画素情報(色情報および輝度情報)はVRAM122に未だ書き込まれておらず、モニタ24には左眼画像のみが表示されている。本例では、図15(B)および(C)に示すように、視差量小領域、すなわち本例の主要被写体としてのコップの奥側から右眼画像の画素を追加して、三次元表示に徐々に変化させていく。具体的には、右眼画像のうち視差量小領域から順にVRAM122に画素情報(色情報および輝度情報の両方である)を書き込んでいく。そして、図15(D)に示すように右眼画像の全体の画素情報がVRAM122に書き込まれることで、モニタ24上の三次元表示が完成する。
第8の3D表示態様では、モニタ24に複数の視点画像(右眼画像および左眼画像)のうち単一の視点画像(左眼画像または右眼画像)のみを表示させた後、視差量が大きい部分(視差量大領域)から視差量が小さい部分(視差量小領域)に向って順に、三次元画像の各部分の他の視点画像(左眼画像が表示済の場合には右眼画像、右眼画像が表示済の場合には左眼画像)を徐々に追加していくことで、二次元表示から三次元表示に徐々に変化させる。
図16(A)〜(D)は、本態様にて表示処理部60によりVRAM122に書き込まれる三次元画像(右眼画像および左眼画像)を、時系列で示す。図16(A)に示す状態では、左眼画像の全体の画素情報(色情報および輝度情報)がVRAM122に書き込まれている一方で、右眼画像の全体の画素情報(色情報および輝度情報)はVRAM122に未だ書き込まれておらず、モニタ24には左眼画像のみが表示されている。本例では、図16(B)および(C)に示すように、視差量大領域、すなわち本例の主要被写体としてのコップの手前側から右眼画像の画素を追加して、三次元に徐々に変化させていく。具体的には、右眼画像のうち視差量大領域から順にVRAM122に画素情報(色情報および輝度情報の両方である)を書き込んでいく。そして、図16(D)に示すように右眼画像の全体の画素情報がVRAM122に書き込まれることで、モニタ24上の三次元表示が完成する。
図17(A)〜(D)は、ビールを注がれたジョッキの三次元表示が、視差量小領域から視差量大領域に向けて、すなわち奥側から手前側に向けて順に、完成していく様子を示す。これは、実際には、単一色の三次元表示からカラーの三次元表示に変化していく前述の第3の3D表示態様を図示したものであるが、第7の3D表示態様でも、同様に、ジョッキの奥側から手前側に向けて順に三次元表示が完成する。その一方で、第8の3D表示態様では、ジョッキの手前側から奥側に向けて順に三次元表示が完成する。
なお、左眼画像を先に表示して右眼画像を後から徐々に表示する場合を例に説明したが、右眼画像を先に表示して左眼画像を後から徐々に表示してもよい。
また、一方の画像(例えば左眼画像)を全部表示した後、右眼画像および左眼画像の合成画像を変化させて表示してもよい。例えば、合成画像のうち、視差量大領域は一方の視点画像(例えば右眼画像)を用いて視差量小領域は他方の視点画像(例えば左眼画像)を用いる。
第9の3D表示態様では、モニタ24に三次元画像を三次元で粗表示させた後、視差量が小さい部分(視差量小領域)から視差量が大きい部分(視差量大領域)に向って順に、三次元画像の各部分を粗表示から精密表示に徐々に変化させていく。
精密表示は、3D表示完成時の表示である。表示処理部60は、粗表示として、三次元画像を表示完成時と比較して粗くモニタ24に表示させる。表示処理部60の粗表示として、以下では、解像度を小さくして表示するモザイク表示を例に説明するが、これには特に限定されない。例えば、ぼかして表示するソフトフォーカス表示を用いてもよい。
第10の3D表示態様では、モニタ24に三次元画像を三次元表示で粗表示させた後、視差量が大きい部分(視差量大領域)から視差量が小さい部分(視差量小領域)に向って順に、三次元画像の各部分を粗表示から精密表示に徐々に変化させていく。
例えば、視差量大領域よりも視差量小領域を粗く表示しながら、三次元画像の各部分を粗表示から精密表示に徐々に変化させていく。
図18(A)は、初期のモザイク表示状態を示す。図18(B)〜(D)に示すように、モザイクブロックを徐々に小さくしていく。ここで、視差量が小さい部分のモザイクブロックを、視差量が大きな部分のモザイクブロックよりも、小さくする。図18(E)は、三次元画像の全体が精密表示された状態を示す。このように、最も視差量が大きな部分(手前側の部分)が本来の解像度で表示されて、3D表示処理が終了する。本例では、視差量大領域よりも視差量小領域を粗く表示しながら、三次元画像の各部分を粗表示から精密表示に徐々に変化させていったが、このような場合に特に限定されない。視差量小領域よりも視差量大領域を粗く表示しながら、三次元画像の各部分を粗表示から精密表示に徐々に変化させてもよい。
次に、モニタ24に表示された三次元画像を徐々に消去させていく三次元画像消去処理(「3D消去処理」ともいう)を、各種の態様ごとに説明する。この3D消去処理は、図4の表示処理部60により、プログラムに従って、VRAM122に三次元画像のデジタルデータ(以下単に「三次元画像」という)を書き込むことにより実行される。
第1の3D消去態様では、モニタ24に与えた三次元画像の画素情報を、視差量が小さい部分(視差量小領域)から視差量が大きい部分(視差量大領域)に向って順に、徐々に削除していく。これにより、モニタ24に三次元画像の全部が表示された状態から、三次元画像の表示された部分を順に欠落させていく。具体的には、右眼画像のうち視差量小領域から順にVRAM122から画素情報(色情報および輝度情報の両方)を削除していくとともに、左眼画像のうち視差量小領域から順にVRAM122から画素情報(色情報および輝度情報の両方)を削除していく。そして、右眼画像の全体の画素情報および左眼画像の全体の画素情報がVRAM122から削除されることで、モニタ24上の三次元画像が完全に消去される。
第2の3D消去態様では、モニタ24に与えた三次元画像の画素の情報を、視差量が大きい部分(視差量大領域)から視差量が小さい部分(視差量小領域)に向って順に、徐々に削除していく。三次元画像の表示された部分を順に欠落させていく。それ以外は、第1の3D消去態様と同じである。
第3の3D消去態様では、モニタ24に与えた三次元画像の各部分の色情報を、視差量が小さい部分(視差量小領域)から視差量が大きい部分(視差量大領域)に向って順に、徐々に削除していくことで、カラーの三次元表示から単一色の三次元表示に徐々に変化させる。具体的には、右眼画像のうち視差量小領域から順にVRAM122から色情報を削除していくとともに、左眼画像のうち視差量小領域から順にVRAM122から色情報を削除していく。そして、右眼画像の全体の色情報および左眼画像の全体の色情報がVRAM122から削除された後、VRAM122に残されている他の画素情報を削除する。
第4の3D消去態様では、第3の3D消去態様と異なり、視差量が大きい部分(視差量大領域)から視差量が小さい部分(視差量小領域)に向って順に、色情報を徐々に削除していくことで、カラーの三次元表示から単一色の三次元表示に徐々に変化させる。それ以外は、第3の3D消去態様と同じである。
第5の3D消去態様では、モニタ24に与えた三次元画像の各部分の輝度情報を、視差量が小さい部分(視差量小領域)から視差量が大きい部分(視差量大領域)に向って順に、徐々に削除していくことで、多階調の輝度の三次元表示から単一の輝度の三次元表示に徐々に変化させる。具体的には、右眼画像のうち視差量小領域から順にVRAM122から多階調の輝度情報を削除していくとともに、左眼画像のうち視差量小領域から順にVRAM122から多階調の輝度情報を削除していく。そして、右眼画像の全体の輝度情報および左眼画像の全体の輝度情報がVRAM122から削除された後、VRAM122に残されている他の画素情報を削除する。
第6の3D消去態様では、第5の3D消去態様と異なり、視差量が大きい部分(視差量大領域)から視差量が小さい部分(視差量小領域)に向って順に、輝度情報を徐々に削除していくことで、多階調の輝度の三次元表示から単一の輝度の三次元表示に徐々に変化させる。それ以外は、第5の3D消去態様と同じである。
第7の3D消去態様では、モニタ24に与えた複数の視点画像(右眼画像および左眼画像)のうち単一の視点画像(左眼画像または右眼画像)のみを残して、他の視点画像(左眼画像を残す場合には右眼画像、右眼画像を残す場合には左眼画像)の画素を、視差量が小さい部分(視差量小領域)から視差量が大きい部分(視差量大領域)に向って順に削除していくことで、三次元表示から二次元表示に徐々に変化させる。そして、残った単一視点の画像の全体の画素情報がVRAM122から削除されることで、モニタ24上の三次元画像が完全に消去される。
第8の3D消去態様では、第7の3D消去態様と異なり、先に消去する視点画像(左眼画像を残す場合には右眼画像、右眼画像を残す場合には左眼画像)の画素を、視差量が大きい部分(視差量小領域)から視差量が小さい部分(視差量大領域)に向って順に削除していくことで、三次元表示から二次元表示に徐々に変化させる。それ以外は、第7の3D消去態様と同じである。
第9の3D消去態様では、視差量が小さい部分(視差量小領域)から視差量が大きい部分(視差量大領域)に向って順に、三次元画像の各部分を精密表示から粗表示に徐々に変化させていく。そして、粗表示の三次元画像の全体の画素情報がVRAM122から削除されることで、モニタ24上の三次元画像が完全に消去される。
第10の3D消去態様では、第9の3D消去態様と異なり、視差量が大きい部分(視差量大領域)から視差量が小さい部分(視差量小領域)に向って順に、三次元画像の各部分を精密表示から粗表示に徐々に変化させていく。それ以外は、第9の3D消去態様と同じである。
図19は、図4のデジタルカメラ10における表示処理の一例の流れを示すフローチャートである。本処理は、図4および図10の表示処理部60によって、プログラムに従い、実行される。
本処理の開始時点で、モニタ24には現在画像Aが表示されているものとする。ここで、現在画像Aは、二次元画像および三次元画像のうちいずれかである。具体的には、図10の現在画像ファイル記憶部61に記憶されている画像ファイルから現在画像Aが抽出されて、三次元画像の場合には、3D表示処理部65によりVRAM122に現在画像Aが書き込まれる。二次元画像の場合には、2D表示処理部66によりVRAM122に現在画像Aが書き込まれる。
ステップS1にて、視差量取得部50により、現在画像Aの各部分の視差量および次画像Bの各部分の視差量を取得する。
ステップS2にて、現在画像判別部63により、現在表示されている画像、すなわち現在画像ファイル記憶部61に記憶されている現在画像ファイル内の画像が、三次元画像であるか二次元画像であるかを判別する。現在画像が二次元画像である場合にはステップS3に進み、現在画像が三次元画像である場合にはステップS6に進む。また、ステップS3にて、次画像判別部64により、次に表示する画像、すなわち次画像ファイル記憶部62に記憶されている次画像ファイル内の画像が、三次元画像であるか二次元画像であるかを判別する。
現在画像が二次元画像であり且つ次画像が二次元画像である場合、すなわち二次元画像から他の二次元画像に表示を切り換える場合には、ステップS4にて、2D表示処理部66により2D表示処理を行う。2D表示処理では、次画像としての二次元画像がVRAM122に書き込まれる。
現在画像が二次元画像であり且つ次画像が三次元画像である場合、すなわち二次元画像から三次元画像に表示を切り換える場合には、ステップS5にて、3D表示処理部65により3D表示処理を行う。3D表示処理部65は、次画像ファイル記憶部62に記憶されている三次元画像ファイルから次画像を取得して、VRAM122に書き込むことで、モニタ24に次画像を表示させる。ここで、次画像の各部分の視差量に基づいて、VRAM122に次画像の画素情報を徐々に追加していくことで、モニタ24に表示される次画像を徐々に完成させていく。
ステップS2にて現在画像が三次元画像であると判別された場合には、ステップS6にて、3D表示処理部65により3D消去処理を行う。3D表示処理部65は、現在画像の各部分の視差量に基づいて、VRAM122から現在画像の画素情報を徐々に削除していくことで、モニタ24に表示された現在画像を徐々に消去させていく。3D消去処理が終了するとステップS7に進む。
ステップS7にて、次画像判別部64により、次画像が三次元画像であるか二次元画像であるかを判別する。
次画像が三次元画像である場合、すなわち三次元画像を消去した後に他の三次元画像を表示する場合には、ステップS8にて、3D表示処理部65が視差量大領域から視差量小領域に向って順に消去したか否かを判定する。
視差量大領域から視差量小領域へと順に消去されていた場合には、ステップS9にて、3D表示処理部65は、視差量小領域から視差量大領域へと順に次画像の画素情報を追加していく3D表示処理を行う。その一方で、視差量小領域から視差量大部分へと順に消去していた場合には、ステップS10にて、3D表示処理部65は、視差量大領域から視差量小領域へと順に次画像の画素情報を追加していく3D表示処理を行う。
なお、本発明は、本明細書において説明した例や図面に図示された例には限定されず、本発明の要旨を逸脱しない範囲において、各種の設計変更や改良を行ってよいのはもちろんである。
10…デジタルカメラ、11(11R、11L)…撮像手段、14(14R、14L)…撮影レンズ、24…モニタ、50…視差量取得部、60…表示処理部、61…現在画像ファイル記憶部、62…次画像ファイル記憶部、63…現在画像判別部、64…次画像判別部、65…3D表示処理部、66…2D表示処理部、110…CPU、122…VRAM(画像表示メモリ)、134(134R、134L)…撮像素子