JP4661824B2 - 画像処理装置、方法およびプログラム - Google Patents

Description

本発明は多視点画像および単視点画像の縮小画像の一覧表示に関する。

一般的な立体画像表示システムでは、右眼に対しては右眼を視点として描かれた画像が、左眼に対しては左眼を視点として描かれた画像が個別に提示される。通常、このような右眼および左眼を視点とした２つの画像（以下、多視点画像と表記する）において、視点から遠い位置にあるオブジェクトは、両眼からの視線がほぼ平行であって見え方がほぼ同じであるので、ほぼ同じ位置に描画される。一方、視点から近い位置にあるオブジェクトは、両眼からの視線が非平行であって見え方が異なるので、互いにずれた位置に描画される。このような視差のある画像（以下、視差画像と表記する）を右眼および左眼それぞれで見るとき、観測者はオブジェクトに対して遠近感を知覚する。

視差画像の生成に関しては、左右２台のカメラを用いて被写体を撮影し、得られた視差画像を、眼の錯覚を利用して３次元的に見せる写実的手法と、コンピュータグラフィックス技術を用いて左右両眼を視点とするモデルデータの視野変換によって視差画像を生成する３次元コンピュータグラフィックス（３次元ＣＧ）表示がある。３次元コンピュータグラフィックス表示は、俗に仮想的３次元表示や擬似的３次元表示とも言われる。

写実的手法では、パララックスバリア式、あるいはレンチキュラーレンズ式の３Ｄモニタを用いて視差画像の立体表示を行う。パララックスバリア式では、パララックスバリア表示層に光透過部と光遮蔽部とが交互に所定のピッチで並んだパターンからなるパララックスバリアを発生させるとともに、その下層の画像表示面に左右の像を示す短冊状の画像断片を交互に配列して表示することで視差画像の立体視を可能にする。

あるいは、写実的手法では、レンチキュラーレンズシートを用いるレンチキュラー方式、マイクロレンズアレイシートを用いるインテグラルフォトグラフィ方式、干渉現象を用いるホログラフィー方式などが採用される。

一般的なコンピュータグラフィックスでは、３次元空間内に定義されたオブジェクトを複数のポリゴン（多角形）の集合によって表現する。ポリゴンとしては通常、最も簡単な三角形が用いられることが多い。オブジェクトを構成している各ポリゴンは、ベクトルや行列などの数学的手法を用いて、それ自身が持つオブジェクト座標から、観測者の視点の位置を基準とした３次元座標、すなわち視野座標へと座標変換が行われる。さらにディスプレイ装置へ表示するために、視野座標で表現されたポリゴンを２次元平面へ透視投影するための座標変換（透視変換）が行われる。これら一連の座標変換が行われた後の最終的なポリゴンの位置データは、ディスプレイに対して垂直な方向（Ｚ軸）への視点からの距離を表すＺ値と、ディスプレイ面内での位置座標を表すＸ値およびＹ値となる。

各ポリゴンを構成する画素の色値の決定方法に関しては、視野座標において仮想的な光源が配置され、この光源からポリゴンを構成する各頂点に照射される光の強度を物理的に計算し、さらにそれらの値からポリゴン内のラスタライズ過程において各画素位置における光の強度を線形補間によって求める方法がある。

あるいは、特許文献１に示すように、ポリゴン表面にテクスチャと呼ばれる、物体表面の質感や特殊な模様などを表す画像を貼り付ける方法がある。この場合には、座標変換前のオブジェクト座標の段階で、オブジェクトを構成するポリゴンの各頂点に対して位置座標の他にテクスチャ座標が与えられる。そして前述の光強度の場合と同様に、ポリゴンのラスタライズ過程において各画素位置ごとにテクスチャ座標が線形補間され、求められたテクスチャ座標に応じて画素の色値が決定される。

以上のような手続きによって、特定の視点から見たグラフィックス画像を生成することができるが、前述のような立体視のための視差画像を生成するためには、視点の位置を右眼および左眼のそれぞれの位置に置き換え、同一のオブジェクトを２回描画することによって、多視点画像を生成する。高価なシステムでは、上記のような写実的手法を実現可能な表示装置を備え、多視点画像を生成する。

一方、従来、多視点画像と、視差のない通常の画像とが混在して記憶装置に格納されている場合、これらの縮小画像を区別可能に表示する技術がある。特許文献２の電子機器は、写実的手法を実現可能な表示装置を備えており、サムネイル画像の平面的な一覧表示の際、３次元画像に対応するサムネイル画像については「３Ｄ」の記号を加え、また、円形または楕円形で表記し、２次元画像に対応するサムネイル画像については「２Ｄ」の記号を加え、三角形で表記し、２次元画像から作成したサムネイルと３次元画像から作成したサムネイルとを区別可能にしている。
特開２００２−２４８５０号公報 特開２００４−１２０１６５号公報

特許文献２では、「３Ｄ」や「２Ｄ」という記号や、円形、楕円形、三角形という図形で２次元画像と３次元画像のサムネイルを表記しているが、これでは、両者が直感的に区別しにくい。

また、特許文献２では、写実的手法による３次元画像の表示を実現可能な表示装置の配備が必須であり、かつ、２次元画像と３次元画像の表示切替が必須であるため、システム全体のコストが高くなってしまうという欠点がある。

そこで本発明は、ユーザが撮影画像の代表画像の中から多視点画像の代表画像を容易かつ直感的に識別できる装置を簡易な構成で実現する。

本発明に係る画像処理装置は、２以上の視点から撮影された多視点画像および単一の視点から撮影された単視点画像を含む画像を入力する画像入力部と、画像入力部に入力された画像を記憶する記憶部と、記憶部の記憶した画像を縮小した第１の縮小画像を作成する縮小画像作成部と、記憶部に記憶された画像が多視点画像であるか単視点画像であるかを識別する画像識別部と、画像識別部が多視点画像であると識別した画像に対応する第１の縮小画像に対し、３次元コンピュータグラフィック処理を施すことで、第２の縮小画像を作成する画像処理部と、記憶部に記憶された画像の一覧表示が指示されたことに応じ、画像識別部が単視点画像と識別した画像の代表画像として縮小画像作成部の作成した第１の縮小画像を一覧表示するとともに、画像識別部が多視点画像と識別した画像の代表画像として画像処理部の作成した第２の縮小画像を一覧表示する表示部と、を備える。

この発明によると、多視点画像の代表画像として３次元コンピュータグラフィック処理の施された縮小画像が、単視点画像の代表画像として単なる縮小画像が一覧表示される。多視点画像の代表画像は３次元コンピュータグラフィック処理されているから、単なる縮小画像との違いが一目瞭然で分かる。また、多視点画像の代表画像の表示のために特殊な写実的手法を使う必要がなく、安価で済む。

本発明に係る画像処理装置は、２以上の視点から撮影された多視点画像および単一の視点から撮影された単視点画像を含む画像を入力する画像入力部と、画像入力部に入力された画像を記憶する記憶部と、記憶部の記憶した画像を縮小した縮小画像を作成する縮小画像作成部と、記憶部に記憶された画像が多視点画像であるか単視点画像であるかを識別する画像識別部と、画像識別部が多視点画像であると識別した画像について、被写体顔領域の有無を検出する顔検出部と、記憶部に記憶された画像の一覧表示が指示されたことに応じ、画像識別部が単視点画像と識別した画像の縮小画像および画像識別部が多視点画像と識別しかつ顔検出部が被写体顔領域を検出しなかった画像の代表画像として縮小画像を一覧表示するとともに、画像識別部が多視点画像と識別しかつ顔検出部が被写体顔領域を検出した画像の代表画像として３次元コンピュータグラフィックの施された所定のサンプル縮小画像を一覧表示する表示部と、を備える。

この発明によると、顔の検出された多視点画像の代表画像として３次元コンピュータグラフィック処理の施された所定のサンプル画像が、単視点画像あるいは顔の検出されない多視点画像の代表画像として単なる縮小画像が一覧表示される。多視点画像の代表画像となる所定のサンプルは３次元コンピュータグラフィック処理されているから、顔のある多視点画像の代表画像と単なる縮小画像との違いが一目瞭然で分かる。また、所定のサンプルを使用するから、多視点画像の代表画像の表示のために、個々の多視点画像に３次元コンピュータグラフィック処理をしなくて済む。

本発明に係る画像処理装置は、２以上の視点から撮影された多視点画像および単一の視点から撮影された単視点画像を含む画像を入力する画像入力部と、画像入力部に入力された画像を記憶する記憶部と、記憶部の記憶した画像を縮小した縮小画像を作成する縮小画像作成部と、記憶部に記憶された画像が多視点画像であるか単視点画像であるかを識別する画像識別部と、画像識別部が多視点画像であると識別した画像について、撮影時のフラッシュ発光の有無を識別するフラッシュ発光識別部と、記憶部に記憶された画像の一覧表示が指示されたことに応じ、画像識別部が単視点画像と識別した画像の代表画像として縮小画像を一覧表示し、画像識別部が多視点画像と識別しかつフラッシュ発光識別部がフラッシュ発光がなかったと識別した画像の代表画像として縮小画像作成部の作成した縮小画像を一覧表示し、画像識別部が多視点画像と識別しかつフラッシュ発光識別部がフラッシュ発光があったと識別した画像の代表画像として３次元コンピュータグラフィックの施された所定のサンプル縮小画像を一覧表示する表示部と、を備える。

この発明によると、撮影時にフラッシュ発光があった多視点画像の代表画像として３次元コンピュータグラフィック処理の施された縮小画像が、単視点画像あるいは撮影時にフラッシュ発光がなかった多視点画像の代表画像として単なる縮小画像が一覧表示される。撮影時にフラッシュ発光があった多視点画像の代表画像は３次元コンピュータグラフィック処理されているから、単なる縮小画像あるいは撮影時にフラッシュ発光がなかった多視点画像の代表画像との違いが一目瞭然で分かる。また、多視点画像の代表画像の表示のために特殊な写実的手法を使う必要がなく、安価で済む。

画像識別部が多視点画像であると識別した画像から、被写体顔領域の有無を検出する顔検出部をさらに備え、画像処理部は、第１の縮小画像に対し、顔検出部が検出した被写体顔領域に対応する領域を設定した上、設定された領域に３次元コンピュータグラフィック処理を施すことで、第２の縮小画像を作成し、表示部は、画像識別部が多視点画像と識別した画像のうち、顔検出部が被写体顔領域を検出しなかった画像の代表画像として第１の縮小画像を一覧表示するとともに、顔検出部が被写体顔領域を検出した画像の代表画像として第２の縮小画像を一覧表示してもよい。

顔という重要部分に限って画像処理を施しており、少ない処理で実質的な擬似立体画像を代表画像として表示できる。

本発明に係る画像処理装置は、２以上の視点から撮影された多視点画像および単一の視点から撮影された単視点画像を含む画像を入力する画像入力部と、画像入力部に入力された画像を記憶する記憶部と、記憶部の記憶した画像を縮小した第１の縮小画像を作成する縮小画像作成部と、記憶部に記憶された画像が多視点画像であるか単視点画像であるかを識別する画像識別部と、画像識別部が多視点画像と識別した画像中の被写体が遠距離または近距離にあるかを識別する距離識別部と、画像識別部が多視点画像と識別しかつ距離識別部が被写体が近距離にあると識別した画像から作成された第１の縮小画像に対し、３次元コンピュータグラフィック処理を施すことで、第２の縮小画像を作成する画像処理部と、記憶部に記憶された画像の一覧表示が指示されたことに応じ、画像識別部が単視点画像と識別した画像の代表画像として縮小画像作成部の作成した第１の縮小画像を一覧表示し、画像識別部が多視点画像と識別しかつ距離識別部が被写体が遠距離にあると識別した画像の代表画像として縮小画像作成部の作成した第１の縮小画像を一覧表示し、画像識別部が多視点画像と識別しかつ距離識別部が被写体が近距離にあると識別した画像の代表画像として画像処理部の作成した第２の縮小画像を一覧表示する表示部と、を備える。

この発明によると、近距離に被写体がある多視点画像に対してのみ３次元コンピュータグラフィック処理を施すから、被写体が遠距離にあり当該処理を施しても無意味な画像には当該処理を行わなくて済む。

本発明に係る画像処理方法は、２以上の視点から撮影された多視点画像および単一の視点から撮影された単視点画像を含む画像を入力するステップと、入力された画像を記憶するステップと、記憶した画像を縮小した第１の縮小画像を作成するステップと、記憶された画像が多視点画像であるか単視点画像であるかを識別するステップと、多視点画像であると識別した画像に対応する第１の縮小画像に対し、３次元コンピュータグラフィック処理を施すことで、第２の縮小画像を作成するステップと、記憶された画像の一覧表示が指示されたことに応じ、単視点画像と識別した画像の代表画像として第１の縮小画像を一覧表示するとともに、多視点画像と識別した画像の代表画像として第２の縮小画像を一覧表示するステップと、を含む。

本発明に係る画像処理方法は、２以上の視点から撮影された多視点画像および単一の視点から撮影された単視点画像を含む画像を入力するステップと、入力された画像を記憶するステップと、記憶した画像を縮小した縮小画像を作成するステップと、記憶された画像が多視点画像であるか単視点画像であるかを識別するステップと、多視点画像であると識別した画像について、被写体顔領域の有無を検出するステップと、記憶された画像の一覧表示が指示されたことに応じ、単視点画像と識別した画像の縮小画像および多視点画像と識別しかつ被写体顔領域を検出しなかった画像の代表画像として縮小画像を一覧表示するとともに、多視点画像と識別しかつ被写体顔領域を検出した画像の代表画像として３次元コンピュータグラフィックの施された所定のサンプル縮小画像を一覧表示するステップと、を含む。

本発明に係る画像処理方法は、２以上の視点から撮影された多視点画像および単一の視点から撮影された単視点画像を含む画像を入力するステップと、入力された画像を記憶するステップと、記憶した画像を縮小した縮小画像を作成するステップと、記憶された画像が多視点画像であるか単視点画像であるかを識別するステップと、多視点画像であると識別した画像について、撮影時のフラッシュ発光の有無を識別するステップと、記憶された画像の一覧表示が指示されたことに応じ、単視点画像と識別した画像の代表画像として縮小画像を一覧表示し、多視点画像と識別しかつフラッシュ発光がなかったと識別した画像の代表画像として縮小画像を一覧表示し、多視点画像と識別しかつフラッシュ発光があったと識別した画像の代表画像として３次元コンピュータグラフィックの施された所定のサンプル縮小画像を一覧表示するステップと、を含む。

多視点画像であると識別した画像から、被写体顔領域の有無を検出するステップと、第１の縮小画像に対し、被写体顔領域に対応する領域を設定した上、設定された領域に３次元コンピュータグラフィック処理を施すことで、第２の縮小画像を作成するステップと、多視点画像と識別した画像のうち、被写体顔領域を検出しなかった画像の代表画像として第１の縮小画像を一覧表示するとともに、被写体顔領域を検出した画像の代表画像として第２の縮小画像を一覧表示するステップと、をさらに含んでもよい。

本発明に係る画像処理方法は、２以上の視点から撮影された多視点画像および単一の視点から撮影された単視点画像を含む画像を入力するステップと、入力された画像を記憶するステップと、記憶した画像を縮小した第１の縮小画像を作成するステップと、記憶された画像が多視点画像であるか単視点画像であるかを識別するステップと、多視点画像と識別した画像中の被写体が遠距離または近距離にあるかを識別するステップと、多視点画像と識別しかつ被写体が近距離にあると識別した画像から作成された第１の縮小画像に対し、３次元コンピュータグラフィック処理を施すことで、第２の縮小画像を作成するステップと、記憶された画像の一覧表示が指示されたことに応じ、単視点画像と識別した画像の代表画像として第１の縮小画像を一覧表示し、多視点画像と識別しかつ被写体が遠距離にあると識別した画像の代表画像として第１の縮小画像を一覧表示し、多視点画像と識別しかつ被写体が近距離にあると識別した画像の代表画像として第２の縮小画像を一覧表示するステップと、を含む。

この画像処理方法をコンピュータに実行させるプログラムも本発明に含まれる。

本発明によると、多視点画像の代表画像として３次元コンピュータグラフィック処理の施された画像が、単視点画像、顔の検出されない多視点画像、あるいは被写体が遠距離にある多視点画像の代表画像として単なる縮小画像が一覧表示される。多視点画像の代表画像となる所定のサンプルは３次元コンピュータグラフィック処理されているから、顔のある多視点画像の代表画像と単なる縮小画像との違いが一目瞭然で分かる。また、多視点画像の代表画像の表示のために特殊な写実的手法を使う必要がなく、安価で済む。

＜第１実施形態＞
図１は、複眼カメラ１の電気的構成を示す。第１および第２撮像部２ａ、２ｂのレンズ光軸Ｌ１、Ｌ２は、平行となるように、あるいは所定角度をなすように並設されている。

第１撮像部２ａは、レンズ光軸Ｌ１に沿って配列された第１ズームレンズ１１ａ、第１絞り１２ａ、第１フォーカスレンズ１３ａ、および第１イメージセンサ１４ａによって構成されている。第１絞り１２ａには絞り制御部１６ａが接続されており、また、第１イメージセンサ１４ａにはタイミングジェネレータ（ＴＧ）１８ａが接続されている。第１絞り１２ａ、第１フォーカスレンズ１３ａの動作は測光測距ＣＰＵ１９ａによって制御される。ＴＧ１８ａの動作はメインＣＰＵ６２によって制御される。

カメラ１にはユーザがこのカメラ１を使用するときに種々の操作を行うための操作部７０が設けられている。この操作部７０には、カメラ１を作動させるための電源投入用の電源スイッチ、オート撮影やマニュアル撮影等を選択するためのモードダイヤル、各種のメニューの設定や選択あるいはズームを行うための十字キー、閃光発光用スイッチ、および十字キーで選択されたメニューの実行やキャンセル等を行うための情報位置指定キーが備えられている。操作部７０への適宜操作により、電源のオン／オフ、各種モード（撮影モード、再生モード等）の切り替え、ズーミングなどが行われる。

また、カメラ１には、メインＣＰＵ６２と、ＥＥＰＲＯＭ１４６と、ＹＣ／ＲＧＢ変換部１４７と、表示用のドライバ１４８とが備えられている。メインＣＰＵ６２は、このカメラ１全体の制御を行う。ＥＥＰＲＯＭ１４６には、このカメラ１固有の固体データやプログラム等が格納されている。

ＹＣ／ＲＧＢ変換部１４７は、ＹＣ処理部３５ａ・３５ｂで生成されたカラー映像信号ＹＣを３色のＲＧＢ信号に変換して表示用のドライバ１４８を経由して画像表示ＬＣＤ１０に出力する。

入力操作部９からのズーム操作に応じて、第１ズームレンズ１１ａは、レンズ光軸Ｌ１に沿ってＮＥＡＲ側（繰り出し側）、あるいはＩＮＦ側（繰り込み側）に移動し、ズーム倍率を変化させる。この移動は図示しないモータで駆動される。絞り１２ａは、ＡＥ（Auto Exposure）動作時に開口値（絞り値）を変化させて光束を制限し、露出調整を行う。フォーカスレンズ１３ａは、ＡＦ（Auto Focus）動作時にレンズ光軸Ｌ１に沿ってＮＥＡＲ側、あるいはＩＮＦ側に移動されて合焦位置を変え、ピント調整を行う。この移動は図示しないモータで駆動される。

静止画用レリーズスイッチの半押し状態が検出されたとき、メインＣＰＵ６２は距離用撮像素子５１ａ・５１ｂからそれぞれ測距データを得る。メインＣＰＵ６２は得られた測距データに基づいて、ピント、絞りなどの調整を行う。

第１イメージセンサ１４ａは、第１ズームレンズ１１ａ、第１絞り１２ａ、および第１フォーカスレンズ１３ａによって結像された被写体光を受光し、受光素子に受光量に応じた光電荷を蓄積する。第１イメージセンサ１４ａの光電荷蓄積・転送動作は、ＴＧ１８ａによって制御され、ＴＧ１８ａから入力されるタイミング信号（クロックパルス）により、電子シャッタ速度（光電荷蓄積時間）が決定される。第１イメージセンサ１４ａは、撮影モード時には、１画面分の画像信号を所定周期ごとに取得する。

第２撮像部２ｂは、第１撮像部２ａと同一の構成であり、第２ズームレンズ１１ｂ、第２絞り１２ｂ、第２フォーカスレンズ１３ｂ、およびタイミングジェネレータ（ＴＧ）１４ｂが接続された第２イメージセンサ１４ｂによって構成されている。これらの動作はメインＣＰＵ６２によって制御される。第１撮像部２ａと第２撮像部２ｂとは、基本的に連動して動作を行うが、各々個別に動作させることも可能となっている。なお、第１および第２イメージセンサ１４ａ・１４ｂとして、ＣＣＤ型やＣＭＯＳ型のイメージセンサが用いられる。

第１および第２イメージセンサ１４ａ・１４ｂから出力された撮像信号は、それぞれＡ／Ｄ変換器３０ａ・３０ｂに入力される。Ａ／Ｄ変換器３０ａ・３０ｂは、入力された画像データをアナログからデジタルに変換する。Ａ／Ｄ変換器３０ａ・３０ｂを通して、第１イメージセンサ１４ａの撮像信号は第１画像データ（右眼用画像データ）として、第２イメージセンサ１４ｂの撮像信号は第２画像データ（左眼用画像データ）として出力される。

画像信号処理回路３１ａ・３１ｂは、それぞれ、階調変換、ホワイトバランス補正、γ補正処理などの各種画像処理をＡ／Ｄ変換器３０ａ・３１ｂから入力された第１および第２画像データに施す。バッファメモリ３２ａ・３２ｂは、画像信号処理回路３１ａ・３１ｂで各種画像処理が施された第１および第２画像データを一時的に格納する。

測光・測距ＣＰＵ１９ａ・１９ｂは、それぞれ、バッファメモリ３２ａ・３２ｂに格納された第１および第２画像データの各々からＡＦ評価値およびＡＥ評価値を算出する。ＡＦ評価値は、各画像データの全領域または所定領域（例えば中央部）について輝度値の高周波成分を積算することにより算出され、画像の鮮鋭度を表す。輝度値の高周波成分とは、隣接する画素間の輝度差（コントラスト）を所定領域内について足し合わせたものである。また、ＡＥ評価値は、各画像データの全領域または所定領域（例えば中央部）について輝度値を積算することにより算出され、画像の明るさを表す。ＡＦ評価値およびＡＥ評価値は、後述する撮影準備処理時に実行されるＡＦ動作およびＡＥ動作においてそれぞれ使用される。

バッファメモリ３２ａ・３２ｂに記憶された画像データは、それぞれＹＣ処理部３５ａ・３５ｂにより輝度信号（Ｙ信号）及び色差信号（Ｃr,Ｃb 信号）に変換されるとともに、ガンマ補正等の所定の処理が施される。処理されたＹＣ信号はそれぞれワークメモリ１２８ａ・１２８ｂに格納される。

ワークメモリ１２８ａ・１２８ｂに記憶された第１および第２画像データのＹＣ信号は、それぞれコントローラ３４によってＹＣ／ＲＧＢ変換部１４７に読み出される。ＹＣ／ＲＧＢ変換部１４７は、第１および第２画像データのＹＣ信号を所定方式の映像信号（例えば、ＮＴＳＣ方式のカラー複合映像信号）に変換した上で、画像表示ＬＣＤ１０での立体表示を行うための立体画像データに合成する。撮影モード時にＬＣＤ１０が電子ビューファインダとして使用される際には、ＹＣ／ＲＧＢ変換部１４７によって合成された立体画像データが、ＬＣＤドライバ１４８を介してＬＣＤ１０にスルー画として表示される。

圧縮伸張処理回路３６ａ・３６ｂは、それぞれワークメモリ１２８ａ・１２８ｂに記憶された第１および第２画像データに対して、静止画ではＪＰＥＧ、動画ではＭＰＥＧ２、ＭＰＥＧ４、Ｈ．２６４方式等の所定の圧縮形式に従って圧縮処理を施す。メディアコントローラ３７は、圧縮伸張処理回路３６ａ・３６によって圧縮処理された各画像データを、Ｉ／Ｆ３９経由で接続されたメモリカード３８その他の記録メディアに記録させる。

このようにしてメモリカード３８に記録された第１および第２画像データをＬＣＤ１０に再生表示する場合、メモリカード３８の各画像データは、メディアコントローラ３７によって読み出され、圧縮伸張処理回路３６ａ・３６によって伸張処理が行われ、ＹＣ／ＲＧＢ変換部１４７によって立体画像データに変換された後、ＬＣＤドライバ１４８を介してＬＣＤ１０に再生画像として表示される。

ＬＣＤ１０は、写実的手法を採用していない通常のモニタであり、画像撮影時には電子ビューファインダとして使用され、画像再生時には撮影によって得られた画像データの表示を行う。

メインＣＰＵ６２は、複眼カメラ１の全体の動作を統括的に制御する。メインＣＰＵ６２には、レリーズスイッチ５ａ・５ｂ、操作部７０のほか、不揮発性メモリであるＥＥＰＲＯＭ１４６が接続されている。ＥＥＰＲＯＭ１４６は、各種制御用のプログラムや設定情報などを格納している。メインＣＰＵ６２は、このプログラムや設定情報に基づいて各種処理を実行する。

また、メインＣＰＵ６２には、光学系制御指示部１２７が接続されており、光学系制御指示部１２７へのズーム操作に応じて第１撮像部２ａ・第２撮像部２ｂの撮影倍率が変更される。

レリーズスイッチ５ａは２段押しのスイッチ構造となっている。撮影モード中に、レリーズスイッチ５ａが軽く押圧（半押し）されると、ＡＦ動作およびＡＥ動作が行われ撮影準備処理がなされる。この状態でさらにレリーズスイッチ５ａが強く押圧（全押し）されると、撮影処理が行われ、１画面分の第１および第２画像データがフレームメモリ３２からメモリカード３８に転送されて記録される。

ＡＦ動作は、メインＣＰＵ６２が第１および第２フォーカスレンズ１３ａ・１３ｂを制御してそれぞれ所定方向に移動させながら、順次に得られる第１および第２画像データの各々から算出されたＡＦ評価値の最大値を求めることによりなされる。ＡＥ動作は、ＡＦ動作が完了した後、算出されたＡＥ評価値に基づいて、第１および第２絞り１２ａ・１２ｂの開口値、および第１および第２イメージセンサ１４ａ・１４ｂの電子シャッタ速度を設定することによりなされる。

また、カメラ１には、操作の手助けを行うための操作ＬＣＤ表示１０３が備えられている。

また、カメラ１は、電源電池６８が着脱可能な構成となっている。電源電池６８は充電可能な二次電池、例えばニカド電池、ニッケル水素電池、リチウムイオン電池で構成される。電源電池６８は使い切り型の一次電池、例えばリチウム電池、アルカリ電池で構成してもよい。電源電池６８は図示しない電池収納室に装填することにより、カメラ１の各回路と電気的に接続される。

第１撮像部２ａ、第２撮像部２ｂには、それぞれ、第１撮像部２ａと第２撮像部２ｂのなす間隔／輻輳角を検出する間隔／輻輳角検出回路４ａ・４ｂと、間隔／輻輳角検出回路４ａ・４ｂの検出した輻輳角を記憶するレンズ間隔／輻輳角記憶回路６、基線長の伸縮と光軸を駆動モータなどで回転させ輻輳を変化させる間隔／輻輳角駆動回路３ａ・３ｂとが備えられている。

また、カメラ１には、間隔／輻輳角検出回路４ａ・４ｂの検出した間隔／輻輳角に基づいて間隔／輻輳角駆動回路３ａ・３ｂの輻輳角の変化を制御する間隔／輻輳角制御回路５が備えられている。

充電・発光制御部１３８ａ・１３８ｂは、それぞれストロボ４４ａ・４４ｂを発光させるために電源電池６８からの電力の供給を受けて図示しない閃光発光用のコンデンサを充電したり、ストロボ４４ａ・４４ｂの発光を制御する。

充電・発光制御部１３８ａ・１３８ｂは、レリーズスイッチ５ａ・５ｂの半押し・全押し操作信号等の各種の信号や、発光量、発光タイミングを示す信号をメインＣＰＵ６２や測光・測距ＣＰＵ１９ａ・１９ｂから取り込んだことに応じ、ストロボ４４ａ・４４ｂへの電流供給制御を行い、所望の発光量が所望のタイミングで得られるように制御する。

縦撮り／横撮り切替ボタン４０は、縦撮りまたは横撮りのいずれで撮影を行うかを指示するためのボタンである。縦撮り／横撮り検出回路１６６は、このボタンの状態により、縦撮りまたは横撮りのいずれで撮影を行うかを検出する。

２Ｄ／３Ｄモード切替フラグ１６８には、２Ｄモードであることまたは３Ｄモードであることを表すフラグが設定される。

距離用発光素子５２ａ、５２ｂは、それぞれ、第１撮像部２ａおよび第２撮像部２ｂの捉えた同一被写体へ投光スポットを照射するための発光ダイオード（ＬＥＤ）からなる。

距離用撮像素子５１ａ、５１ｂは、それぞれ、距離用発光素子５２ａ、５２ｂにより投光スポットの照射された被写体像を取得する測距専用の撮像素子である。

距離用駆動／制御回路５４は、距離用発光素子５２ａ、５２ｂの発光タイミングと距離用撮像素子５３ａ、５３ｂとを同期させる制御を行う。

距離用撮像素子５３ａ、５３ｂの撮像動作で得られたアナログ画像信号はそれぞれ測距用Ａ／Ｄ変換部５５ａ、５５ｂでデジタル画像データに変換され、距離情報処理回路５７に出力される。

距離情報処理回路５７は、入力されたデジタル画像データから、第１撮像部２ａおよび第２撮像部２ｂの捉えた被写体までの距離を算出する。これはいわゆる三角測距の原理に基づく。距離情報処理回路５７が算出した距離情報は距離情報記憶回路５８に記憶される。

顔検出部１５０は、バッファメモリ３２ａあるいはバッファメモリ３２ｂに格納された画像データや、バッファメモリ４２に格納された画像データから被写体となった人物の顔部分を含む領域である顔領域を検出する。

顔領域の検出方法は特に限定されず、各種のものを採用できるが、例えば本出願人による特開平９−１０１５７９号公報において開示された技術を適用することができる。この技術は、撮影した画像の各画素の色相が肌色の範囲に含まれるか否かを判定して肌色領域と非肌色領域とに分割すると共に、画像中のエッジを検出して画像中の各箇所をエッジ部分又は非エッジ部分に分類する。そして、肌色領域内に位置し非エッジ部分に分類された画素からなり、かつエッジ部分と判定された画素で囲まれた領域を顔候補領域として抽出し、抽出した顔候補領域が人物の顔に相当する領域かを判定し、この判定結果に基づき顔領域として検出するものである。また、この他に、特開２００３−２０９６８３号公報や特開２００２−１９９２２１号公報に記載される方法で顔領域を検出することもできる。

なお、多視点画像は、上述のような複眼カメラ１で取得する必然性はなく、単眼カメラを用いたモーションステレオ法による連続撮影で取得してもよい。

以下、図２のフローチャートを参照し、メインＣＰＵ６２で実行される一覧画像表示処理の流れを説明する。この処理を規定するプログラムはＥＥＰＲＯＭ１４６に格納されている。操作部７０からの「サムネイル画像一覧表示」の指示に応じ、メモリカード３８に格納されている全ての多視点画像に対して一括して行われる。

Ｓ１では、メモリカード３８のディレクトリを読み込む。

Ｓ２では、画像ファイルが当該ディレクトリに存在するか否かを判断する。画像ファイルが存在する場合はＳ３に進む。画像ファイルが存在しない場合は処理を終了する。

Ｓ３では、画像ファイルのヘッダ部分を読み出す。そして、画像ファイルが多視点画像を格納している旨の識別情報を検知したか否かを判断する。多視点画像を格納している場合はＳ５、通常の画像を格納している場合はＳ８に進む。

Ｓ５では、画像ファイルに格納されている多視点画像から、サムネイル画像を作成する。その具体的手法は特許文献２の段落００４０と同様、左目用画像のみ、右目用画像のみ、あるいはその両方を間引いて作成すればよい。

Ｓ６では、作成されたサムネイル画像に３次元ＣＧ処理を施すことで３次元サムネイル画像を作成する。例えば図３に示すように、画像中に存在する主要被写体その他の各種の物体（図３はマグカップを示していあるが、人物などでもよい）に対応した３次元形状モデルのポリゴンＰＧに、サムネイル画像ｔｈの対応領域を貼り付けるテクスチャマッピングを行い、３次元ＣＧサムネイル画像Ｘを得る。この具体的手法は特許文献１と同様である。あるいは、元の多視点画像について３次元ＣＧ処理を施し、それを間引くことで３次元ＣＧサムネイル画像を作成してもよいが、処理の負荷の点では、先にサムネイルを作成する方が優れている。

なお、その他の３Ｄコンピュータグラフィック手法をサムネイル画像に適用し３次元ＣＧサムネイル画像を作成してもよい。

Ｓ７では、作成した３次元ＣＧサムネイル画像を、バッファメモリ４１に確保された一覧画像バッファに格納する。

Ｓ８では、画像ファイルに格納されている単視点の通常画像から、サムネイル画像を作成する。その具体的手法は通常のサムネイル画像と同様、単視点画像を間引いて作成すればよい。このサムネイルを通常サムネイル画像と呼ぶ。

Ｓ９では、作成した通常サムネイル画像を、バッファメモリ４１に確保された一覧画像バッファに格納する。

Ｓ１０では、メモリカード３８の全ての画像について３次元ＣＧサムネイル画像もしくは通常サムネイル画像を作成したか否かを判断する。作成した場合はＳ１１に進み、作成が終わっていない場合はＳ３に戻り、作成を続ける。

Ｓ１１では、バッファメモリ４１の３次元ＣＧサムネイル画像および通常サムネイル画像をＬＣＤ１０に一覧表示する。その順番はサムネイル画像の作成元となった画像ファイルの名前順や記録日時順とすればよい。つまり、３次元ＣＧサムネイル画像および通常サムネイル画像は区別されることなく、ＬＣＤ１０の一画面中に３次元ＣＧサムネイル画像および通常サムネイル画像が混在して配列される。

なお、Ｓ３〜Ｓ９の処理は、画像が新たに記録されるごとに行ってもよい。

図４はＬＣＤ１０に一覧表示された３次元ＣＧサムネイル画像Ｘおよび通常サムネイル画像Ｙの一例を示す。３次元ＣＧサムネイル画像Ｘは、３次元ＣＧグラフィック処理が施され立体的効果が付与さているから、通常サムネイルＹとの違いが一見して明らかであり、写実的手法を実現する特殊な装置を用いなくとも、多視点画像の縮小画像であることを観者に容易に認識させることができる。

＜第２実施形態＞
図５は、メインＣＰＵ６２で実行される一覧画像表示処理の他の例を示す。ここでは、顔の写っている多視点画像のサムネイル画像を、特別なサンプルに置き換える。

Ｓ２１〜Ｓ２４は、Ｓ１〜Ｓ４と同様である。

Ｓ２５では、顔検出部１５０に対し、多視点画像の一方または双方から顔を抽出するよう指令する。顔検出部１５０はメインＣＰＵ６２からの指令に応じ、画像ファイルに格納された左目用画像あるいは右目用画像から、顔領域の検出を試みる。

Ｓ２６では、顔検出部１５０が顔領域を検出できたか否かを判断する。顔領域を検出できた場合はＳ２７、検出できなかった場合はＳ２９に進む。

Ｓ２７では、顔が写っている多視点画像であることを表象するサンプルの３次元サムネイル画像をＥＥＰＲＯＭ１４６から取り出す。

Ｓ２８では、取り出したサンプルを一覧画像バッファに格納する。サンプルの３次元サムネイル画像は、実際の被写体の顔と同一である必要はなく、サンプルの人物の顔であればよく、かつその顔や身体などには、３Ｄグラフィックによる立体効果が予め付与されている。

Ｓ２９は、上述のＳ５と同様である。Ｓ３０は、Ｓ２９で作成されたサムネイル画像を、一覧画像バッファに格納する。このサムネイル画像を立体画像縮小画像と呼び、通常サムネイル画像と区別する。

Ｓ３１〜Ｓ３４は、上述のＳ８〜Ｓ１１と同様である。

図６は、Ｓ３４が実行された結果、ＬＣＤ１０に一覧表示されたサンプルの３次元サムネイル画像Ｓ、通常サムネイル画像Ｙの一例を示す。

サンプルサムネイル画像Ｓは、３次元ＣＧグラフィック処理が施されているから、通常サムネイルＹや立体画像縮小画像Ｚとの違いが一見して明らかであり、顔を被写体とする立体画像の識別が容易である。

＜第３実施形態＞
図７は、メインＣＰＵ６２で実行される一覧画像表示処理の他の例を示す。ここでは、フラッシュ撮影された多視点画像のサムネイル画像を、特別なサンプルに置き換える。

Ｓ４１〜Ｓ４４は、Ｓ１〜Ｓ４と同様である。

Ｓ４５では、画像ファイルからフラッシュ発光情報を取得し、画像記録時のストロボ４４ａ・４４ｂのオンまたはオフの状況を識別する。フラッシュ発光情報とは、例えば、Ｅｘｉｆファイルの「Flash」タグに格納された情報である。

Ｓ４６では、フラッシュ発光情報に基づき、撮影時におけるストロボ４４ａ・４４ｂのオンまたはオフを判断する。撮影時にストロボ４４ａ・４４ｂがオンであった場合はＳ４７、オフであった場合はＳ４９に進む。

Ｓ４７では、多視点画像であることを表象するサンプルの３次元サムネイル画像をＥＥＰＲＯＭ１４６から取り出す。このサンプルは第２実施形態と同様３次元ＣＧ処理により立体効果が付与されている。なおこのサンプルの図柄は特定人物の顔である必要はない。

Ｓ４８では、取り出したサンプルの３次元サムネイル画像を一覧画像バッファに格納する。サンプルの３次元サムネイル画像は、実際の被写体の顔と同一である必要はなく、ただ、人物の顔が写っていることを３Ｄグラフィック表示するサムネイル画像である。

Ｓ４９〜Ｓ５４は、上述のＳ２９〜Ｓ３４と同様である。

図８は、Ｓ５４が実行された結果、ＬＣＤ１０に一覧表示されたサンプルの３次元サムネイル画像Ｗ、通常サムネイル画像Ｙの一例を示す。

サンプルサムネイル画像Ｗは、３次元ＣＧ処理が施されているから、通常サムネイルＹや立体画像縮小画像Ｚとの違いが一見して明らかであり、顔を被写体とする立体画像の識別が容易である。

しかも、多視点画像としての有効利用が困難な暗い画像にまで一律にサンプル表示をしなくて済み、処理が効率化する。

＜第４実施形態＞
図９は、メインＣＰＵ６２で実行される一覧画像表示処理の他の例を示す。ここでは、顔の写っている多視点画像のサムネイル画像を、当該多視点画像の顔領域についてのみ３次元ＣＧ処理を施したサムネイル画像に置き換える。

Ｓ６１〜Ｓ６６は、Ｓ２１〜Ｓ２６と同様である。ただし、Ｓ６６では、顔があると判断した場合はＳ６７、顔がないと判断した場合はＳ６９に進む。

Ｓ６７では、顔が写っている多視点画像から、顔領域を抽出し、その顔領域に３次元ＣＧ処理を施す。これは例えば、顔が写っている多視点画像から顔領域を抽出するとともに、当該多視点画像を所定の間引き率で間引く。間引き後の縮小画像に、元多視点画像から抽出された顔領域に相当する領域を設定する。そして、その設定領域中の顔に特有のポリゴンを作成し、当該ポリゴンに間引き後顔領域を貼り付けるテクスチャマッピングを行い、顔領域のみに３次元ＣＧ処理の施されたサムネイル画像を得る。この方式は、間引き画像の作成後に３次元ＣＧ処理を行う。

あるいは、その検出した顔自体から、その人物の顔に特有のポリゴンを作成し、当該ポリゴンに顔領域を貼り付けるテクスチャマッピングを行い、多視点画像に顔領域のみに３次元ＣＧ処理を施した仮のＣＧ画像を作る。そして、この仮のＣＧ画像を所定の間引き率で間引き、顔領域のみに３次元ＣＧ処理の施されたサムネイル画像を得る。この方式は、３次元ＣＧ処理の後に間引き画像を作成する。

上記のテクスチャマッピング方式はポリゴンの作成から始める必要があり、精密なポリゴンを作成すると処理負荷が大きい。ポリゴンの簡易な作成方法としては、次のようなものが挙げられる。まず、検出された顔領域から、顔の輪郭、目、鼻、口などの顔の構成部分を検出し、検出された顔の構成部分の位置に応じてポリゴン分割線を決める。例えば、両目の中央部分（眉間）から出発し鼻筋に沿って鼻先端に達する線と、両目を周回する線と、口を周回する線と、顔の輪郭とをポリゴン分割線とする。このポリゴンにテクスチャマッピングすると、口と鼻の部分が隆起し、目の周囲が窪んだような簡易な３次元ＣＧサムネイル画像が得られる。

Ｓ６８では、作成した３次元ＣＧサムネイル画像を一覧画像バッファに格納する。

Ｓ６９〜Ｓ７４は、上述のＳ２９〜Ｓ３４と同様である。

図１０は、Ｓ７４が実行された結果、ＬＣＤ１０に一覧表示された、顔の検出された多視点画像に対応する３次元サムネイル画像Ｓ、通常サムネイル画像Ｙ、顔の検出されなかった多視点画像に対応するサムネイル画像Ｚの一例を示す。

サンプルサムネイル画像Ｕは、顔領域についてのみ３次元ＣＧグラフィック処理が施されているから、通常サムネイルＹや単なる視点画像の縮小画像Ｚとの違いが一見して明らかであり、顔を被写体とする立体画像の識別が容易である。しかも、元画像を用いて顔領域に３次元ＣＧグラフィック処理が施されているから、元画像の顔の概要も立体的に分かる。

＜第５実施形態＞
図１１は、メインＣＰＵ６２で実行される一覧画像表示処理の他の例を示す。ここでは、近距離の被写体を撮影した多視点画像のサムネイル画像のみを、３次元ＣＧ処理する。

Ｓ８１〜Ｓ８４は、Ｓ４１〜Ｓ４４と同様である。

Ｓ８５では、画像ファイルから距離情報を取得し、画像記録時のカメラ１から被写体までの距離を識別する。距離情報とは、例えば、Ｅｘｉｆファイルの「SubjectDistance」タグに格納された情報であり、距離情報記憶回路５８によって記憶される。

Ｓ８６では、距離情報Ｄに基づき、被写体が所定の距離よりも遠い位置（例えばＤ＞１０ｍ）にあったか否かを判断する。被写体が遠距離であった場合はＳ８９、遠距離でない場合すなわち近距離にいる場合はＳ８７に進む。

Ｓ８７では、Ｓ６と同様、３次元ＣＧサムネイル画像を作成する。

Ｓ８８では、作成した３次元ＣＧサムネイル画像を、バッファメモリ４１に確保された一覧画像バッファに格納する。

Ｓ８９〜Ｓ９４は、上述のＳ６９〜Ｓ７４と同様である。

図１２は、Ｓ９４が実行された結果、ＬＣＤ１０に一覧表示された３次元サムネイル画像Ｔ、通常サムネイル画像Ｙ、３次元ＣＧ処理の施されなかった被写体が遠いサムネイル画像Ｖの一例を示す。

サンプルサムネイル画像Ｔは、３次元ＣＧ処理が施されているから、通常サムネイルＹや被写体が遠い画像のサムネイル画像Ｖとの違いが一見して明らかである。

しかも、撮影時に被写体が近距離にいた多視点画像についてのみ３次元ＣＧ処理を施すから、当該処理を施しても無意味な、被写体が遠い画像にまで一律に３次元ＣＧ処理をしなくて済み、処理が効率化する。

＜第６実施形態＞
図１３はパソコン１００のブロック図である。パソコン１００は、主として各構成要素の動作を制御する中央処理装置（ＣＰＵ）１０２と、装置の制御プログラムが格納されたり、プログラム実行時の作業領域となる主メモリ１０６と、パソコン１００のオペレーティングシステム（ＯＳ）、パソコン１００に接続された周辺機器のデバイスドライバに適合するよう視点画像を編集する画像編集処理のプログラムを含む各種のアプリケーションソフト、ユーザの画像等が格納されるハードディスク装置１０８と、ＣＤ−ＲＯＭ装置１１０と、表示用データを一時記憶する表示メモリ１１６と、この表示メモリ１１６からの画像データ、文字データ等により画像や文字等を表示するＣＲＴモニタや液晶モニタ等のモニタ装置１１８と、キーボード１２０と、位置入力装置としてのマウス１２２と、マウス１２２の状態を検出してモニタ装置１１８上のマウスポインタの位置やマウス１２２の状態等の信号をＣＰＵ１０２に出力するマウスコントローラ１２４と、インターネット等のネットワーク３０と接続される通信インターフェース１３２と、メモリカード３８が着脱されるカード挿入口を有するカードインターフェース１１２と、上記各構成要素を接続するバス１０４と、カメラ１とＵＳＢ接続するカメラ接続Ｉ／Ｆ１３４から構成されている。

ハードディスク装置１０８に格納されている、画像編集処理のアプリケーションソフトは、該アプリケーションソフトが記録されたＣＤ−ＲＯＭをパソコン１００のＣＤ−ＲＯＭ装置１１０にセットすることにより、パソコン１００にインストールすることができる。

モニタ装置１１８は、ＬＣＤ１０と同様、画像を表示する。

ハードディスク装置１０８には、カメラ接続Ｉ／Ｆ１３４を介して複眼カメラ１から受信した多視点画像ないし通常画像、あるいはカードＩ／Ｆ１１２を介してメモリカード３８から取り込んだした多視点画像ないし通常画像が格納される。

ＣＰＵ１０２は、上述の第１〜５実施形態の一覧画像表示処理を、ハードディスク装置１０８に記憶された多視点画像および通常画像について行う。この処理は、各画像がハードディスク装置１０８に格納されるごとに、画像ごとに個別実行されてもよいし、キーボード１２０やマウス１２２からの指示に応じ、ハードディスク装置１０８に格納されている全ての画像に対して一括して行われてもよい。

つまり、一覧画像表示処理は、カメラ１で行う必然性はなく、その他の装置においても実現可能である。

カメラのブロック図 第１実施形態に係る一覧画像表示処理のフローチャート テクスチャマッピングの一例を示す図 第１実施形態に係る一覧画像表示処理により表示されたサムネイルの一例を示す図 第２実施形態に係る一覧画像表示処理のフローチャート 第２実施形態に係る一覧画像表示処理により表示されたサムネイルの一例を示す図 第３実施形態に係る一覧画像表示処理のフローチャート 第３実施形態に係る一覧画像表示処理により表示されたサムネイルの一例を示す図 第４実施形態に係る一覧画像表示処理のフローチャート 第４実施形態に係る一覧画像表示処理により表示されたサムネイルの一例を示す図 第５実施形態に係る一覧画像表示処理のフローチャート 第５実施形態に係る一覧画像表示処理により表示されたサムネイルの一例を示す図 パソコンのブロック図

符号の説明

１：カメラ、２ａ：第１撮像部、２ｂ：第２撮像部、１０：ＬＣＤ、６２：メインＣＰＵ、３８：メモリカード、１００：パソコン、１０２：ＣＰＵ、１０８：ハードディスク装置

Claims (18)

1. ２以上の視点から撮影された多視点画像および単一の視点から撮影された単視点画像を含む画像を入力する画像入力部と、
   前記画像入力部に入力された画像を画像ファイルに記憶する記憶部と、
   前記記憶部の記憶した画像を縮小した第１の縮小画像を作成する縮小画像作成部と、
   前記記憶部の記憶した画像が多視点画像であるか単視点画像であるかを識別する画像識別部と、
   前記画像識別部が多視点画像と識別した画像中の被写体が遠距離または近距離にあるかを、前記多視点画像の記憶された画像ファイルの距離情報に基づいて識別する距離識別部と、
   前記画像識別部が多視点画像と識別しかつ前記距離識別部が被写体が近距離にあると識別した画像から作成された第１の縮小画像に対し、擬似的３次元コンピュータグラフィック処理を施すことで、第２の縮小画像を作成する画像処理部と、
   前記記憶部に記憶された画像の一覧表示が指示されたことに応じ、前記画像識別部が単視点画像と識別した画像の代表画像として前記縮小画像作成部の作成した第１の縮小画像を一覧表示し、前記画像識別部が多視点画像と識別しかつ前記距離識別部が被写体が遠距離にあると識別した画像の代表画像として前記縮小画像作成部の作成した第１の縮小画像を一覧表示し、前記画像識別部が多視点画像と識別しかつ前記距離識別部が被写体が近距離にあると識別した画像の代表画像として前記画像処理部の作成した第２の縮小画像を一覧表示する表示部と、
   を備える画像処理装置。
2. 前記被写体までの距離情報を算出する距離情報処理回路と、
   前記距離情報処理回路の算出した距離情報を前記画像ファイルに記憶する距離情報記憶回路と、
   を備える請求項１に記載の画像処理装置。
3. 前記縮小画像作成部は、前記記憶部の記憶した画像を縮小した第１の縮小画像を作成することを、前記記憶部が新たな画像を記憶するごとに繰り返し、
   前記画像処理部は、前記画像識別部が多視点画像と識別しかつ前記距離識別部が被写体が近距離にあると識別した画像から作成された第１の縮小画像に対し、擬似的３次元コンピュータグラフィック処理を施すことで、第２の縮小画像を作成することを、前記記憶部が新たな画像を記憶するごとに繰り返す請求項１または２に記載の画像処理装置。
4. 前記表示部は、前記第１の縮小画像および前記第２の縮小画像の作成元となった画像の記憶日時順で、前記第１の縮小画像および前記第２の縮小画像を一覧表示する請求項１〜３のいずれかに記載の画像処理装置。
5. 前記画像処理部は、前記画像識別部が多視点画像と識別しかつ前記距離識別部が被写体が近距離にあると識別した画像から作成された第１の縮小画像の被写体に対応する３次元のモデルデータに前記第１の縮小画像の対応領域を貼り付けてオブジェクト座標から視野座標に変換し、前記視野座標に変換されたモデルデータを２次元平面へ透視投影する擬似的３次元コンピュータグラフィック処理を施すことで、第２の縮小画像を作成する請求項１〜４のいずれかに記載の画像処理装置。
6. 前記表示部は、写実的手法を採用していないモニタである請求項１〜５のいずれかに記載の画像処理装置。
7. ２以上の視点から撮影された多視点画像および単一の視点から撮影された単視点画像を含む画像を入力するステップと、
   前記入力された画像を画像ファイルに記憶するステップと、
   前記記憶した画像を縮小した第１の縮小画像を作成するステップと、
   前記記憶された画像が多視点画像であるか単視点画像であるかを識別するステップと、
   前記多視点画像と識別した画像中の被写体が遠距離または近距離にあるかを、前記多視点画像の記憶された画像ファイルの距離情報に基づいて識別するステップと、
   前記多視点画像と識別しかつ前記被写体が近距離にあると識別した画像から作成された第１の縮小画像に対し、擬似的３次元コンピュータグラフィック処理を施すことで、第２の縮小画像を作成するステップと、
   前記記憶した画像の一覧表示が指示されたことに応じ、前記単視点画像と識別した画像の代表画像として前記第１の縮小画像を一覧表示し、前記多視点画像と識別しかつ前記被写体が遠距離にあると識別した画像の代表画像として前記第１の縮小画像を一覧表示し、前記多視点画像と識別しかつ前記被写体が近距離にあると識別した画像の代表画像として前記第２の縮小画像を一覧表示するステップと、
   を含む画像処理方法。
8. 前記被写体までの距離情報を算出するステップと、
   前記算出した距離情報を前記画像ファイルに記憶するステップと、
   を含む請求項７に記載の画像処理方法。
9. 前記記憶した画像を縮小した第１の縮小画像を作成することを、新たな画像を記憶するごとに繰り返すステップと、
   前記多視点画像と識別しかつ前記被写体が近距離にあると識別した画像から作成された第１の縮小画像に対し、擬似的３次元コンピュータグラフィック処理を施すことで、第２の縮小画像を作成することを、新たな画像を記憶するごとに繰り返すステップと、
   を含む請求項７または８に記載の画像処理方法。
10. 前記第１の縮小画像および前記第２の縮小画像の作成元となった画像の記憶日時順で、前記第１の縮小画像および前記第２の縮小画像を一覧表示するステップを含む請求項７〜９のいずれかに記載の画像処理方法。
11. 前記多視点画像と識別しかつ前記被写体が近距離にあると識別した画像から作成された第１の縮小画像の被写体に対応する３次元のモデルデータに前記第１の縮小画像の対応領域を貼り付けてオブジェクト座標から視野座標に変換し、前記視野座標に変換されたモデルデータを２次元平面へ透視投影する擬似的３次元コンピュータグラフィック処理を施すことで、第２の縮小画像を作成するステップを含む請求項７〜１０のいずれかに記載の画像処理方法。
12. 前記第１の縮小画像および前記第２の縮小画像は、写実的手法を採用していないモニタに表示される請求項７〜１１のいずれかに記載の画像処理方法。
13. コンピュータが、
    ２以上の視点から撮影された多視点画像および単一の視点から撮影された単視点画像を含む画像を入力するステップと、
    前記入力された画像を画像ファイルに記憶するステップと、
    前記記憶した画像を縮小した第１の縮小画像を作成するステップと、
    前記記憶された画像が多視点画像であるか単視点画像であるかを、前記多視点画像の記憶された画像ファイルの距離情報に基づいて識別するステップと、
    前記多視点画像と識別した画像中の被写体が遠距離または近距離にあるかを識別するステップと、
    前記多視点画像と識別しかつ前記被写体が近距離にあると識別した画像から作成された第１の縮小画像に対し、擬似的３次元コンピュータグラフィック処理を施すことで、第２の縮小画像を作成するステップと、
    前記記憶した画像の一覧表示が指示されたことに応じ、前記単視点画像と識別した画像の代表画像として前記第１の縮小画像を一覧表示し、前記多視点画像と識別しかつ前記被写体が遠距離にあると識別した画像の代表画像として前記第１の縮小画像を一覧表示し、前記多視点画像と識別しかつ前記被写体が近距離にあると識別した画像の代表画像として前記第２の縮小画像を一覧表示するステップと、
    を実行する画像処理プログラム。
14. 前記被写体までの距離情報を算出するステップと、
    前記算出した距離情報を前記画像ファイルに記憶するステップと、
    を含む請求項１３に記載の画像処理プログラム。
15. 前記記憶した画像を縮小した第１の縮小画像を作成することを、新たな画像を記憶するごとに繰り返すステップと、
    前記多視点画像と識別しかつ前記被写体が近距離にあると識別した画像から作成された第１の縮小画像に対し、擬似的３次元コンピュータグラフィック処理を施すことで、第２の縮小画像を作成することを、新たな画像を記憶するごとに繰り返すステップと、
    を含む請求項１３または１４に記載の画像処理プログラム。
16. 前記第１の縮小画像および前記第２の縮小画像の作成元となった画像の記憶日時順で、前記第１の縮小画像および前記第２の縮小画像を一覧表示するステップを含む請求項１３〜１５のいずれかに記載の画像処理プログラム。
17. 前記多視点画像と識別しかつ前記被写体が近距離にあると識別した画像から作成された第１の縮小画像の被写体に対応する３次元のモデルデータに前記第１の縮小画像の対応領域を貼り付けてオブジェクト座標から視野座標に変換し、前記視野座標に変換されたモデルデータを２次元平面へ透視投影する擬似的３次元コンピュータグラフィック処理を施すことで、第２の縮小画像を作成するステップを含む請求項１３〜１６のいずれかに記載の画像処理プログラム。
18. 前記第１の縮小画像および前記第２の縮小画像は、写実的手法を採用していないモニタに表示される請求項１３〜１７のいずれかに記載の画像処理プログラム。

Images