JP4815470B2 - 画像表示装置及び画像表示方法 - Google Patents

Description

本発明は画像表示装置及び画像表示方法に係り、特に複数の視点の画像データを用いて３次元表示用の画像を生成する画像表示装置及び画像表示方法に関する。

特許文献１には、取得した視差画像に、輝度、色差、上下位置等の補正を加えて、立体視用の画像を生成する画像処理装置が開示されている。

特許文献２には、複数の視点の画像から画像データを作成する画像データ作成装置において、複数の視点の画像のファイルヘッダと画像情報とを単体で既存形式のファイルとすることが開示されている。

特許文献３には、２Ｄモードでサムネイル表示を行う場合に、左眼用の画像データと右眼用の画像データからサムネイル画像を生成する例（図６（ａ））、左眼用の画像データからサムネイル画像を生成し、「２Ｄ」、「３Ｄ」の記号を加える例（図６（ｄ））が開示されている。
特開２００４−１０２５１３号公報 特開２００４−２７４０９１号公報（図９） 特開２００４−１２０１６５号公報

３次元表示が可能な画像表示装置は、常に３次元表示に用いられるわけではなく、２次元表示用の画像の記録、表示にも用いられる。３次元表示が可能な画像表示装置において、画像の一覧表示する場合、２次元表示用の画像と３次元表示用の画像とが区別可能となるような表示を行う必要がある。２次元表示用の画像と３次元表示用の画像を区別可能に表示する手段としては、例えば、２次元表示用の画像に「２Ｄ」、３次元表示用の画像に「３Ｄ」又は「左（左目側の画像を示す）」のような文字を付すことが考えられる。しかしながら、画像の蓄積数が多く、一画面に表示する画像数（密度）が多くなると、文字による表示ではわかりにくいという課題があった。

また、２次元表示用の画像と３次元表示用の画像を区別可能に表示する他の手段としては、例えば、３次元表示用の画像については、左目側の画像と右目側の画像を並べて表示することも考えられる。しかしながら、一覧表示された画像が実際の３次元表示と大きく異なることになるため、ユーザにとって違和感が大きいという課題があった。

本発明はこのような事情に鑑みてなされたもので、２次元表示用の画像と３次元表示用の画像を一覧表示する場合に、違和感なく、両者を容易に区別可能にすることが可能な画像表示装置及び画像表示方法を提供することを目的とする。

上記課題を解決するために、本願発明１に係る画像表示装置は、複数の視点から撮影された画像データを取得する画像取得手段と、前記画像データの中の１枚を選択し、該選択した画像データに対して立体感を強調する処理を施して一覧表示用画像データを生成する画像処理手段と、前記一覧表示用画像データと、前記複数の視点から撮影された画像データを格納する記録用画像ファイルを生成するファイル生成手段と、前記記録用画像ファイルを一覧表示するときに、前記一覧表示用画像データを用いて一覧表示を行う表示手段と
を備えることを特徴とする。

本願発明１によれば、画像を一覧表示する際に、３次元表示用の画像ファイルについては、立体感を強調した一覧表示用画像データを表示することにより、２次元表示用の画像ファイルと３次元表示用の画像ファイルとを直観的に区別可能にし、且つ、違和感が少ない一覧表示を行うことができる。

本願発明２は、本願発明１の画像表示装置において、前記画像処理手段は、前記選択した画像データに対して背景領域の視覚的な情報量を削減する処理を施して前記一覧表示用画像データを生成することを特徴とする。

本願発明２によれば、画像を一覧表示する際に、３次元表示用の画像については、背景領域の視覚的な情報量を削減して立体感を強調することにより、２次元表示用の画像と３次元表示用の画像とを直観的に区別可能にし、且つ、違和感が少ない一覧表示を行うことができる。

本願発明３は、本願発明２の画像表示装置において、前記画像処理手段は、前記選択した画像データに対して、背景領域の画像を削除する処理、背景領域をぼかす処理、背景領域の彩度を落とす処理又は背景領域の階調を弱める処理のうち少なくとも１つの処理を施して前記一覧表示用画像データを生成することを特徴とする。

本願発明４は、本願発明１から３の画像表示装置において、前記画像処理手段は、前記複数の視点から撮影された画像データの中から、視点の位置が中間近傍の撮影手段によって撮影された画像データを選択することを特徴とする。

本願発明４に示したように、一覧表示用画像データを作成するための画像データを選択することにより、より違和感の少ない表示を行うことができる。

本願発明５に係る画像表示方法は、複数の視点から撮影された画像データを取得する画像取得工程と、前記画像データの中の１枚を選択し、該選択した画像データに対して立体感を強調する処理を施して一覧表示用画像データを生成する画像処理工程と、前記一覧表示用画像データと、前記複数の視点から撮影された画像データを格納する記録用画像ファイルを生成するファイル生成工程と、前記記録用画像ファイルを一覧表示するときに、前記一覧表示用画像データを用いて一覧表示を行う表示工程とを備えることを特徴とする。

本願発明６は、本願発明５の画像表示方法において、前記画像処理工程では、前記選択した画像データに対して背景領域の視覚的な情報量を削減する処理を施して前記一覧表示用画像データを生成することを特徴とする。

本願発明７は、本願発明６の画像表示方法において、前記画像処理工程では、前記選択した画像データに対して、背景領域の画像を削除する処理、背景領域をぼかす処理、背景領域の彩度を落とす処理又は背景領域の階調を弱める処理のうち少なくとも１つの処理を施して前記一覧表示用画像データを生成することを特徴とする。

本発明によれば、画像を一覧表示する際に、３次元表示用の画像については、立体感を強調して（例えば、背景領域をぼかして）表示することにより、２次元表示用の画像と３次元表示用の画像とを直観的に区別可能にし、且つ、違和感が少ない一覧表示を行うことができる。

以下、添付図面に従って本発明に係る画像表示装置及び画像表示方法の好ましい実施の形態について説明する。

［第１の実施形態］
図１は、本発明の第１の実施形態に係る画像表示装置を備えた撮影装置の主要構成を示すブロック図である。図１に示すように、撮影装置１は、複数の撮影部１０−１、１０−２、…、１０−Ｎ（Ｎ≧２）を備えており、同一の被写体を多視点から撮影した視差画像を取得し、所定の形式の記録用画像ファイルとして記録する装置である。

メインＣＰＵ１２（以下、ＣＰＵ１２と記載する）は、操作部１４からの入力に基づき所定の制御プログラムに従って撮影装置１全体の動作を統括制御する制御手段として機能する。電源制御部１６は、バッテリ１８からの電力を制御して、撮影装置１の各部に動作電力を供給する。

ＣＰＵ１２には、バス２０を介してＲＯＭ２２、フラッシュＲＯＭ２４、ＳＤＲＡＭ２６及びＶＲＡＭ２８が接続されている。ＲＯＭ２２には、ＣＰＵ１２が実行する制御プログラム及び制御に必要な各種データ等が格納される。フラッシュＲＯＭ２４には、ユーザ設定情報等の撮影装置１の動作に関する各種設定情報等が格納される。

ＳＤＲＡＭ２６は、ＣＰＵ１２の演算作業用領域及び画像データの一時記憶領域（ワークメモリ）を含んでいる。ＶＲＡＭ２８は、表示用の画像データ専用の一時記憶領域を含んでいる。

モニタ３０は、例えば、カラー液晶パネルを備えた表示装置により構成され、撮影済み画像を表示するための画像表示部として使用されるとともに、各種設定時にＧＵＩとして使用される。また、モニタ３０は、撮影モード時に画角を確認するための電子ファインダとして利用される。

撮影装置１は、モニタ３０に２次元画像（２Ｄ画像）の表示を行うための２Ｄ再生モードと、３次元画像（３Ｄ画像）の表示を行うための３Ｄ再生モードとを有している。ここで、３次元表示を行うための手段としては、例えば、特殊なメガネを使用するアナグリフ方式、カラーアナグリフ方式、偏光フィルタ方式、時分割立体テレビジョン方式のほか、例えば、モニタ３０前面に垂直方向のスリットを形成し、スリット後方のモニタ３０の表示面に左右の像を示す短冊状の画像断片を交互に配列して表示するパララックスバリア（視差バリア）方式、かまぼこ状のレンズ群を有したいわゆるレンチキュラレンズをモニタ３０の表面に配置するレンチキュラ方式、マイクロレンズアレイシートを用いるインテグラルフォトグラフィ方式、干渉現象を利用するホログラフィ方式を適用可能である。なお、３次元表示を行うための手段は、上記に列挙したものに限定されるものではない。

表示制御部３２は、撮像素子４８又はメモリカード７４から読み出された画像データを表示用の画像信号（例えば、ＮＴＳＣ信号、ＰＡＬ信号又はＳＣＡＭ信号）に変換してモニタ３０に出力するとともに、所定の文字、図形情報（例えば、オンスクリーン表示用のデータ）をモニタ３０に出力する。また、表示制御部３２は、所定のインターフェイス（例えば、ＵＳＢ、IEEE1394、ＬＡＮ）を介して接続された外部表示装置に画像を出力可能となっている。

操作部１４は、シャッタボタン、電源／モードスイッチ、モードダイヤル、十字ボタン、ズームボタン、ＭＥＮＵ／ＯＫボタン、ＤＩＳＰボタン及びＢＡＣＫボタン等の操作入力手段を含んでいる。

電源／モードスイッチは、撮影装置１の電源のオン／オフの切り替え、及び撮影装置１の動作モード（再生モード（２Ｄ再生モード及び３Ｄ再生モード）及び撮影モード）の切り替え手段として機能する。

モードダイヤルは、撮影装置１の撮影モードを切り替えるための操作手段であり、モードダイヤルの設定位置に応じて、２次元の静止画を撮影する２Ｄ静止画撮影モード、２次元の動画を撮影する２Ｄ動画撮影モード、３次元の静止画を撮影する３Ｄ静止画撮影モード及び３次元の動画を撮影する３Ｄ動画撮影モードの間で撮影モードが切り替えられる。撮影モードが２Ｄ静止画撮影モード又は２Ｄ動画撮影モードに設定されると、２Ｄ／３Ｄモード切替フラグ３４に、２次元画像を撮影するための２Ｄモードであることを表すフラグが設定される。また、撮影モードが３Ｄ静止画撮影モード又は３Ｄ動画撮影モードに設定されると、２Ｄ／３Ｄモード切替フラグ３４に、３次元画像を撮影するための３Ｄモードであることを表すフラグが設定される。ＣＰＵ１２は、２Ｄ／３Ｄモード切替フラグ３４を参照して、２Ｄモードと３Ｄモードのいずれであるかを判別する。

シャッタボタンは、いわゆる「半押し」と「全押し」とからなる２段ストローク式のスイッチで構成されている。静止画撮影モード時には、シャッタボタンが半押しされると、撮影準備処理（即ち、ＡＥ（Automatic Exposure：自動露出）、ＡＦ（Auto Focus：自動焦点合わせ）、ＡＷＢ（Automatic White Balance：自動ホワイトバランス））が行われ、シャッタボタンが全押しされると、画像の撮影・記録処理が行われる。また、動画撮影モード時には、シャッタボタンが全押しされると、動画の撮影が開始され、再度全押しされると、撮影が終了する。設定により、シャッタボタンが全押しされている間、動画の撮影が行われ、全押しが解除されると、撮影を終了するようにすることもできる。なお、静止画撮影用のシャッタボタン及び動画撮影用のシャッタボタンを別々に設けるようにしてもよい。

十字ボタンは、上下左右４方向に押圧操作可能に設けられており、各方向のボタンには、撮影装置１の動作モード等に応じた機能が割り当てられる。例えば、撮影モード時には、左ボタンにマクロ機能のオン／オフを切り替える機能が割り当てられ、右ボタンにフラッシュモードを切り替える機能が割り当てられる。また、撮影モード時には、上ボタンにモニタ３０の明るさを替える機能が割り当てられ、下ボタンにセルフタイマのオン／オフを切り替える機能が割り当てられる。再生モード時には、左ボタンにコマ送りの機能が割り当てられ、右ボタンにコマ戻しの機能が割り当てられる。また、再生モード時には、上ボタンにモニタ３０の明るさを替える機能が割り当てられ、下ボタンに再生中の画像を削除する機能が割り当てられる。また、各種設定時には、モニタ３０に表示されたカーソルを各ボタンの方向に移動させる機能が割り当てられる。

ズームボタンは、撮影部１０−１、１０−２、…、１０−Ｎのズーミング操作を行うための操作手段であり、望遠側へのズームを指示するズームテレボタンと、広角側へのズームを指示するズームワイドボタンとを備えている。

ＭＥＮＵ／ＯＫボタンは、メニュー画面の呼び出し（ＭＥＮＵ機能）に用いられるとともに、選択内容の確定、処理の実行指示等（ＯＫ機能）に用いられ、撮影装置１の設定状態に応じて割り当てられる機能が切り替えられる。メニュー画面では、ＭＥＮＵ／ＯＫボタンは、例えば、露出値、色合い、撮影感度、記録画素数等の画質調整やセルフタイマの設定、測光方式の切り替え、デジタルズームを使用するか否か等、撮影装置１が持つすべての調整項目の設定が行われる。撮影装置１は、このメニュー画面で設定された条件に応じて動作する。

ＤＩＳＰボタンは、モニタ３０の表示内容の切り替え指示等の入力に用いられ、ＢＡＣＫボタンは入力操作のキャンセル等の指示の入力に用いられる。

フラッシュ発光部３６は、例えば、放電管（キセノン管）により構成され、暗い被写体を撮影する場合や逆光時等に必要に応じて発光される。フラッシュ制御部３８は、フラッシュ発光部（放電管）３６を発光させるための電流を供給するためのメインコンデンサを含んでおり、ＣＰＵ１２からのフラッシュ発光指令に従ってメインコンデンサの充電制御、フラッシュ発光部３６の放電（発光）のタイミング及び放電時間の制御等を行う。なお、フラッシュ発光部３６としては、ＬＥＤ等の他の発光手段を用いてもよい。

次に、撮影装置１の撮影機能について説明する。撮影部１０は、撮影レンズ４０（ズームレンズ４２、フォーカスレンズ４４及び絞り４６）、ズームレンズ制御部（Ｚレンズ制御部）４２Ｃ、フォーカスレンズ制御部（Ｆレンズ制御部）４４Ｃ、絞り制御部４６Ｃ、撮像素子４８、タイミングジェネレータ（ＴＧ）５０、アナログ信号処理部５６、Ａ／Ｄ変換器５８、画像入力コントローラ６０及びデジタル信号処理部６２を備えている。なお、図１では、各撮影部１０−１、１０−２、…、１０−Ｎ内の各部にそれぞれ符号１、２、…、Ｎを付して区別しているが、各部の機能は略同様であるため、以下の説明では、符号１、２、…、Ｎを省略して説明する。

ズームレンズ４２は、図示しないズームアクチュエータに駆動されて光軸に沿って前後に移動する。ＣＰＵ１２は、ズームレンズ制御部４２Ｃを介してズームアクチュエータの駆動を制御することにより、ズームレンズ４２の位置を制御してズーミングを行う。

フォーカスレンズ４４は、図示しないフォーカスアクチュエータに駆動されて光軸に沿って前後に移動する。ＣＰＵ１２は、フォーカスレンズ制御部４４Ｃを介してフォーカスアクチュエータの駆動を制御することにより、フォーカスレンズ４４の位置を制御してフォーカシングを行う。

絞り４６は、例えば、アイリス絞りで構成されており、図示しない絞りアクチュエータに駆動されて動作する。ＣＰＵ１２は、絞り制御部４６Ｃを介して絞りアクチュエータの駆動を制御することにより、絞り４６の開口量（絞り値）を制御し、撮像素子４８への入射光量を制御する。

ＣＰＵ１２は、各撮影部の撮影レンズ４０−１、４０−２、…、４０−Ｎを同期させて駆動する。即ち、撮影レンズ４０−１、４０−２、…、４０−Ｎは、常に同じ焦点距離（ズーム倍率）に設定され、常に同じ被写体にピントが合うように焦点調節が行われる。また、常に同じ入射光量（絞り値）となるように絞りが調整される。

撮像素子４８は、例えば、カラーＣＣＤ固体撮像素子により構成されている。撮像素子（ＣＣＤ）４８の受光面には、多数のフォトダイオードが２次元的に配列されており、各フォトダイオードには所定の配列でカラーフィルタが配置されている。撮影レンズ４０によってＣＣＤの受光面上に結像された被写体の光学像は、このフォトダイオードによって入射光量に応じた信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、ＣＰＵ１２の指令に従ってＴＧ５０から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号（画像信号）として撮像素子４８から順次読み出される。撮像素子４８は、電子シャッタ機能を備えており、フォトダイオードへの電荷蓄積時間を制御することにより、露光時間（シャッタ速度）が制御される。

なお、撮像素子４８としては、ＣＭＯＳセンサ等のＣＣＤ以外の撮像素子を用いることもできる。

測距用画像取得部５２は、被写体に光を照射するための発光素子（例えば、発光ダイオード）と、上記発光素子により光が照射された被写体の画像（測距用画像）を撮影する被写体距離検出用の撮像素子（測距用撮像素子）とを備えている。測距用画像取得部５２は、各撮影部１０−１、１０−２、…、１０−Ｎに配置される。各測距用画像取得部５２によって取得された測距用画像は、被写体距離情報処理部５４に出力される。

被写体距離情報処理部５４は、測距用画像取得部５２から取得した測距用画像を用いて、いわゆる三角測距の原理に基づいて、撮影部１０−１、１０−２、…、１０−Ｎによって撮影された被写体と撮影装置１との間の距離（被写体距離）を算出する。被写体距離情報処理部５４は、この被写体距離に基づいて奥行き情報Ｄ１０を生成し、画像ファイル生成部７０に提供する。

なお、被写体距離の算出方法としては、発光素子から照射された光が被写体によって反射され、測距用撮像素子に届くまでの光の飛行時間（遅れ時間）と光の速度から被写体距離を算出するＴＯＦ（Time of Flight）法を用いてもよい。

アナログ信号処理部５６は、撮像素子４８から出力された画像信号に含まれるリセットノイズ（低周波）を除去するための相関２重サンプリング回路（ＣＤＳ）、画像信号を増幅して一定レベルの大きさにコントロールするためのＡＧＳ回路を含み、撮像素子４８から出力される画像信号を相関２重サンプリング処理するとともに増幅する。

Ａ／Ｄ変換器５８は、アナログ信号処理部５６から出力されたアナログの画像信号をデジタルの画像信号に変換する。

画像入力コントローラ６０は、Ａ／Ｄ変換器５８から出力された画像信号を取り込んで、ＳＤＲＡＭ２６に格納する。

デジタル信号処理部６２は、同時化回路（単板ＣＣＤのカラーフィルタ配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理回路）、ホワイトバランス調整回路、階調変換処理回路（例えば、ガンマ補正回路）、輪郭補正回路、輝度・色差信号生成回路等を含む画像処理手段として機能し、ＳＤＲＡＭ２６に格納されたＲ、Ｇ、Ｂの画像信号に対して所定の信号処理を行う。即ち、Ｒ、Ｇ、Ｂの画像信号は、デジタル信号処理部６２において輝度信号（Ｙ信号）及び色差信号（Ｃｒ、Ｃｂ信号）からなるＹＵＶ信号に変換されるとともに、階調変換処理（例えば、ガンマ補正）等の所定の処理が施される。デジタル信号処理部６２により処理された画像データはＶＲＡＭ２８に格納される。

撮影画像をモニタ３０に出力する場合、ＶＲＡＭ２８から画像データが読み出され、バス２０を介して表示制御部３２に送られる。表示制御部３２は、入力された画像データを表示用の所定方式のビデオ信号に変換してモニタ３０に出力する。

ＡＦ検出部６４は、画像入力コントローラ６０−１、６０−２、…、６０−Ｎのいずれか１つから取り込まれたＲ、Ｇ、Ｂの各色の画像信号を取り込み、ＡＦ制御に必要な焦点評価値を算出する。ＡＦ検出部６４は、Ｇ信号の高周波成分のみを通過させるハイパスフィルタ、絶対値化処理部、画面に設定された所定のフォーカスエリア内の信号を切り出すフォーカスエリア抽出部、及びフォーカスエリア内の絶対値データを積算する積算部を含み、この積算部で積算されたフォーカスエリア内の絶対値データを焦点評価値としてＣＰＵ１２に出力する。

ＣＰＵ１２は、ＡＦ制御時にはＡＦ検出部６４から出力される焦点評価値が極大となる位置をサーチし、その位置にフォーカスレンズ４４を移動させることにより、主要被写体への焦点合わせを行う。即ち、ＣＰＵ１２は、ＡＦ制御時には、まず、フォーカスレンズ４４を至近から無限遠まで移動させ、その移動過程でＡＦ検出部６４から焦点評価値を逐次取得し、その焦点評価値が極大となる位置を検出する。そして、検出された焦点評価値が極大の位置を合焦位置と判定し、その位置にフォーカスレンズ４４を移動させる。これにより、フォーカスエリアに位置する被写体（主要被写体）にピントが合わせられる。

ＡＥ／ＡＷＢ検出部６６は、画像入力コントローラ６０−１、６０−２、…、６０−Ｎのいずれか１つから取り込まれたＲ、Ｇ、Ｂの各色の画像信号を取り込み、ＡＥ制御及びＡＷＢ制御に必要な積算値を算出する。即ち、ＡＥ／ＡＷＢ検出部６６は、１画面を複数のエリア（例えば、８×８＝６４エリア）に分割し、分割されたエリアごとにＲ、Ｇ、Ｂ信号の積算値を算出する。

ＣＰＵ１２は、ＡＥ制御時にはＡＥ／ＡＷＢ検出部６６において算出されたエリアごとのＲ、Ｇ、Ｂ信号の積算値を取得し、被写体の明るさ（測光値）を求めて、適正な露光量を得るための露出設定を行う。即ち、撮影感度、絞り値、シャッタ速度、ストロボ発光の要否を設定する。

また、ＣＰＵ１２は、ＡＷＢ制御時にＡＥ／ＡＷＢ検出部６６により算出されたエリアごとのＲ、Ｇ、Ｂ信号の積算値をデジタル信号処理部６２に入力する。デジタル信号処理部６２は、ＡＥ／ＡＷＢ検出部６６により算出された積算値に基づいてホワイトバランス調整用のゲイン値を算出する。また、デジタル信号処理部６２は、ＡＥ／ＡＷＢ検出部６６により算出された積算値に基づいて光源種を検出する。

圧縮・伸張処理部６８は、ＣＰＵ１２からの指令に従い、入力された画像データに圧縮処理を施し、所定形式の圧縮画像データを生成する。例えば、静止画に対してはＪＰＥＧ規格に準拠した圧縮処理が施され、動画に対してはＭＰＥＧ２やＭＰＥＧ４、Ｈ．２６４規格に準拠した圧縮処理が施される。また、圧縮・伸張処理部６８は、ＣＰＵ１２からの指令に従い、入力された圧縮画像データに伸張処理を施し、非圧縮の画像データを生成する。

画像ファイル生成部７０は、３Ｄモードにおいて上記撮影部１０−１、１０−２、…、１０−Ｎにより撮影された画像データ（以下の説明では、各々画像データＰ（１）、Ｐ（２）、…、Ｐ（Ｎ）という）を格納するための記録用画像ファイル（拡張画像ファイルＦ１００）を生成する。

画像ファイル生成部７０によって生成される拡張画像ファイルＦ１００は、メモリカード７４に記録される。メディア制御部７２は、ＣＰＵ１２からの指令に従い、メモリカード７４に対するデータの読み／書きを制御する。

外部接続インターフェイス部（外部接続Ｉ／Ｆ）７６は、外部の画像処理装置（例えば、パーソナルコンピュータ、携帯情報端末、画像ストレージ装置、サーバ）との間でデータの送受信を行うための装置である。外部の画像処理装置との間の通信の方式は、例えば、ＵＳＢ、IEEE1394、ＬＡＮ、赤外線通信（IrDA）等を適用することができる。

次に、拡張画像ファイルＦ１００について説明する。図２は、拡張画像ファイルＦ１００のデータ構造を模式的に示す図である。図２に示すように、本実施形態に係る拡張画像ファイルＦ１００は、拡張画像ファイルＦ１００のデータの先頭を示すマーカＳＯＩ（Start of Image）の格納領域Ａ１００、タグ情報格納領域Ａ１０２、画像データ格納領域Ａ
１０４、データの終了を示すマーカＥＯＩ（End of Image）の格納領域Ａ１０６を含んでいる。

タグ情報格納領域Ａ１０２には、拡張画像ファイルＦ１００の３Ｄタグ情報が格納される。ここで、３Ｄタグ情報とは、画像データ格納領域Ａ１０４に格納された多視点の画像データの中から２つ以上を組み合わせて３次元表示を行うために使用される情報であり、例えば、３次元表示を行うときに使用する画像データの数を示す視点数、３次元表示を行うときに使用する画像データを指定するための情報、拡張画像ファイルＦ１００における各画像データの格納場所（読み出し開始位置）を特定するポインタ情報を含んでいる。

画像データ格納領域Ａ１０４には、上記撮影部１０−１、１０−２、…、１０−Ｎにより撮影された画像データＰ（１）、Ｐ（２）、…、Ｐ（Ｎ）が格納される。拡張画像ファイルＦ１００内の画像データのエンコード形式については特に限定しないが、ＲＡＷデータ、Ｅｘｉｆ形式、ＪＰＥＧ形式、ＴＩＦＦ形式、ビットマップ（ＢＭＰ）形式、ＧＩＦ形式、ＰＮＧ形式であってもよい。

更に、画像データ格納領域Ａ１０４には、一覧表示時に使用される一覧表示用画像データＰＲが格納される。

図３は、一覧表示用画像データＰＲを生成する際の画像ファイル生成部７０における処理の流れを示す図である。図３に示すように、画像データＰ（１）、Ｐ（２）、…、Ｐ（Ｎ）の中から、任意の視点ｄの画像データＰ（ｄ）が選択される。ここで、画像データＰ（ｄ）は、例えば、下記［１］から［３］のいずれかの方式に従って画像ファイル生成部７０によって選択される。［１］例えば、視点数が２の場合には、ユーザの利き目（例えば、デフォルト設定では右目。ユーザが設定可能）に対応する撮影部によって撮影された画像データを選択する。［２］視点位置が中間又は中間近傍の画像（即ち、視差画像の撮影時に多視点の中間近傍に配置された撮影部１０−ｄにより撮影された画像）を代表画像データＰ（ｄ）として選択する。即ち、代表画像データＰ（ｄ）は、視点数Ｎが奇数の場合には中間視点の画像、視点数Ｎが偶数の場合には中間近傍の画像となる。例えば、視点数Ｎ＝５の場合には、代表画像データは、撮影部１０−３により撮影された画像データＰ（３）となり、視点数Ｎ＝８の場合には、代表画像データは、撮影部１０−４又は１０−５により撮影された画像データＰ（４）又はＰ（５）となる。また、拡張画像ファイルＦ１００の画像データ格納領域Ａ１０４の中間近傍に位置する画像データが代表画像データＰ（ｄ）として選択されるようにしてもよい。［３］中間視点又は中間近傍の画像データのうちユーザの利き目側の画像データを代表画像として選択する。なお、ユーザが予め設定した撮影部により撮影された画像データを代表画像データとして指定できるようにしてもよいし、ユーザが代表画像データを手動で指定、変更できるようにしてもよい。

次に、被写体距離情報処理部５４から提供された奥行き情報Ｄ１０に基づいて、画像データＰ（ｄ）から主要被写体Ｔ１０（例えば、画像中の撮影装置１に近い被写体）の画像が切り出される（８０）。また、インバータ８２によって反転された奥行き情報Ｄ１０に基づいて、画像データＰ（ｄ）の主要被写体Ｔ１０を除く背景領域Ａ１０が切り出される（８４）。そして、ローパスフィルタ（ＬＰＦ）８６によって背景領域Ａ１０に所定の処理が施された後、主要被写体Ｔ１０と合成され（８８）、一覧表示用画像データＰＲが生成される。ここで、ＬＰＦ８６において背景領域Ａ１０に施される処理としては、例えば、背景領域Ａ１０の画像を削除する処理が考えられる。また、他の例としては、例えば、背景領域Ａ１０をぼかす処理、背景領域Ａ１０の彩度を落とす処理（背景領域Ａ１０の色を薄くする処理）、背景領域Ａ１０の階調を弱める処理（背景領域Ａ１０のコントラストを下げる処理。例えば、背景領域Ａ１０を暗くする処理又は背景領域Ａ１０を明るくする処理）のうち少なくとも１つの処理が考えられる。

図４は、画像の一覧表示の例を示す図である。図４に示すように、本実施形態によれば、画像を一覧表示する際に、３Ｄモードで撮影された３次元表示用の画像ファイルＰ１０については、背景領域Ａ１０に所定の処理を施して立体感を強調した表示することにより、２次元表示用の画像ファイルと３次元表示用の画像ファイルとを直観的に区別可能にし、且つ、違和感が少ない一覧表示を行うことができる。

［第２の実施形態］
次に、本発明の第２の実施形態について説明する。図５は、本発明の第２の実施形態に係る画像処理装置の主要構成を示すブロック図である。本実施形態では、画像処理装置１００は、例えば、パーソナルコンピュータ（ＰＣ）によって構成されており、撮影装置又はメモリカード７４からの記録用画像ファイルの読み込み、記録用画像ファイルの保存、編集等を行うための装置である。図５に示すように、中央処理装置（ＣＰＵ）１０２は、バス１０４を介して画像処理装置１００内の各ブロックに接続されており、各ブロックの動作を制御する。主メモリ１０６は、制御プログラムが格納される記憶領域や、プログラム実行時の作業領域を含んでいる。ハードディスク装置１０８には、画像処理装置１００のオペレーティングシステム（ＯＳ）や、各種のアプリケーションソフト、撮影装置１又はメモリカード７４から読み込まれた記録用画像ファイル（基本ファイルＦ１０及び拡張画像ファイルＦ１００）等が格納される。ＣＤ−ＲＯＭ装置１１０は、図示せぬＣＤ−ＲＯＭからのデータの読み込みを行う。カードインターフェース部（カードＩ／Ｆ）１１２は、メモリカード７４から画像データを読み取る。表示メモリ１１６は、表示用データを一時記憶する。モニタ１１８は、例えば、ＣＲＴ（Cathode Ray Tube）モニタや液晶モニタにより構成され、この表示メモリ１１６から出力される画像データ、文字データ等に基づいて画像や文字等を表示する。キーボード１２０及びマウス１２２は、操作者からの操作入力を受け付けて、操作入力に応じた信号をＣＰＵ１０２に入力する。なお、ポインティングデバイスとしては、マウス１２２のほか、タッチパネルやタッチパッド等を用いることができる。マウスコントローラ１２４は、マウス１２２の状態を検出してモニタ１１８上のマウスポインタの位置や、マウス１２２の状態等の信号をＣＰＵ１０２に出力する。オーディオ入出力回路１２６には、マイク１２８及びスピーカ１３０が接続され、各種の音声信号が入力されるとともに、キーボード１２０等からの操作入力に応じて各種動作音が再生出力される。通信インターフェイス部（通信Ｉ／Ｆ）１３２は、ネットワークＮＷとの通信を行う。カメラ接続インターフェイス部（カメラ接続Ｉ／Ｆ）１３４は、撮影装置（電子カメラ、デジタルカメラ）１との間でデータの送受信を行う。

本実施形態に係る画像処理装置１００は、メモリカード７４又は撮影装置１から２次元表示用の画像と３次元表示用の画像とを取得して一覧表示する際に、３次元表示用の画像については、上記図４の処理に従って立体感が強調された一覧表示用画像データＰＲを生成して拡張画像ファイルＦ１００に格納することにより、２次元表示用の画像ファイルと３次元表示用の画像ファイルとを直観的に区別可能にし、且つ、違和感が少ない一覧表示を行うことができる。

なお、本発明は、例えば、撮影装置やパーソナルコンピュータ、携帯情報端末、画像ストレージ装置のような画像処理装置に適用するプログラムとしても提供することが可能である。

本発明の第１の実施形態に係る画像表示装置を備えた撮影装置の主要構成を示すブロック図 拡張画像ファイルＦ１００のデータ構造を模式的に示す図 一覧表示用画像データＰＲを生成する際の画像ファイル生成部７０における処理の流れを示す図 画像の一覧表示の例を示す図 本発明の第２の実施形態に係る画像処理装置の主要構成を示すブロック図

符号の説明

１…撮影装置、１０…撮影部、１２…メインＣＰＵ、１４…操作部、１６…電源制御部、１８…バッテリ、２０…バス、２２…ＲＯＭ、２４…フラッシュＲＯＭ、２６…ＳＤＲＡＭ、２８…ＶＲＡＭ、３０…モニタ、３２…表示制御部、３４…２Ｄ／３Ｄモード切替フラグ、３６…フラッシュ発光部、３８…フラッシュ制御部、４０…撮影レンズ、４２…ズームレンズ、４４…フォーカスレンズ、４６…絞り、４２Ｃ…ズームレンズ制御部（Ｚレンズ制御部）、４４Ｃ…フォーカスレンズ制御部（Ｆレンズ制御部）、４６Ｃ…絞り制御部、４８…撮像素子、５０…タイミングジェネレータ（ＴＧ）、５２…測距用画像取得部、５４…被写体距離情報処理部、５６…アナログ信号処理部、５８…Ａ／Ｄ変換器、６０…画像入力コントローラ、６２…デジタル信号処理部、６４…ＡＦ検出部、６６…ＡＥ／ＡＷＢ検出部、６８…圧縮・伸張処理部、７０…画像ファイル生成部、７２…メディア制御部、７４…メモリカード、７６…外部接続インターフェイス部（外部接続Ｉ／Ｆ）

Claims (7)

1. 複数の視点から撮影された画像データを取得する画像取得手段と、
   前記画像データの中の１枚を選択し、該選択した画像データに対して立体感を強調する処理を施して一覧表示用画像データを生成する画像処理手段と、
   前記一覧表示用画像データと、前記複数の視点から撮影された画像データを格納する記録用画像ファイルを生成するファイル生成手段と、
   前記記録用画像ファイルを一覧表示するときに、前記一覧表示用画像データを用いて一覧表示を行う表示手段と、
   を備えることを特徴とする画像表示装置。
2. 前記画像処理手段は、前記選択した画像データに対して背景領域の視覚的な情報量を削減する処理を施して前記一覧表示用画像データを生成することを特徴とする請求項１記載の画像表示装置。
3. 前記画像処理手段は、前記選択した画像データに対して、背景領域の画像を削除する処理、背景領域をぼかす処理、背景領域の彩度を落とす処理又は背景領域の階調を弱める処理のうち少なくとも１つの処理を施して前記一覧表示用画像データを生成することを特徴とする請求項２記載の画像表示装置。
4. 前記画像処理手段は、前記複数の視点から撮影された画像データの中から、視点の位置が中間近傍の撮影手段によって撮影された画像データを選択することを特徴とする請求項１から３のいずれか１項記載の画像表示装置。
5. 複数の視点から撮影された画像データを取得する画像取得工程と、
   前記画像データの中の１枚を選択し、該選択した画像データに対して立体感を強調する処理を施して一覧表示用画像データを生成する画像処理工程と、
   前記一覧表示用画像データと、前記複数の視点から撮影された画像データを格納する記録用画像ファイルを生成するファイル生成工程と、
   前記記録用画像ファイルを一覧表示するときに、前記一覧表示用画像データを用いて一覧表示を行う表示工程と、
   を備えることを特徴とする画像表示方法。
6. 前記画像処理工程では、前記選択した画像データに対して背景領域の視覚的な情報量を削減する処理を施して前記一覧表示用画像データを生成することを特徴とする請求項５記載の画像表示方法。
7. 前記画像処理工程では、前記選択した画像データに対して、背景領域の画像を削除する処理、背景領域をぼかす処理、背景領域の彩度を落とす処理又は背景領域の階調を弱める処理のうち少なくとも１つの処理を施して前記一覧表示用画像データを生成することを特徴とする請求項６記載の画像表示方法。