JP4914278B2 - 画像処理装置、方法およびプログラム - Google Patents

Description

本発明は編集された多視点画像の再利用に関する。

特許文献１によると、取得した視差画像に、輝度、色差、上下位置などの補正を加えて、立体視用の画像を生成する。

特許文献２によると、画像の補正履歴情報を、補正した画像ファイルに付加情報として記録する。
特開２００４−１０２５１３号公報 特開２００６−２６２２０２号公報

特許文献１のように、複数視点（多視点）で撮影した画像から、立体視のための印刷や表示の出力を行う場合、撮影した画像をそのまま出力せずに、出力系に最適な画像への補正・変換を行うのが通常である。

この出力系への変換に際しては、出力系の機器の種類や方式だけではなく、画面の大きさ、鑑賞距離や範囲（水平角度）など、多様な条件に対して最適化することが求められる。

特許文献１では、元の視差画像に、どのような補正を加えることで立体視用画像を生成したのか、その処理内容は後から分からない。

特許文献２では、補正する前の元の画像ファイルにおいて、補正の結果生成されたファイルの所在や、補正されたファイルでどのような補正が行われたのかを知ることができないため、過去に行われた補正の結果を再利用するのが困難である。

そこで本発明は、多視点画像の出力系に応じた処理内容を再利用できるようにする。

本発明に係る画像処理装置は、２以上の視点から撮影された多視点画像データであるマスタ画像を取得するマスタ画像取得部と、画像データを記録可能な記録部と、マスタ画像取得部の取得したマスタ画像を記録部に記録する記録制御部と、記録部に記録されたマスタ画像に対し、所望の編集内容に応じた編集を行う編集部と、を備え、記録制御部は、編集部の編集した画像である編集済み画像を、マスタ画像と区別可能に記録部に記録するとともに、編集部が行った編集内容を示す編集履歴情報を、マスタ画像と対応づけて記録部に記録する。

この発明によると、過去の編集結果の再利用を容易にできる。また、マスタ画像に編集操作を行う場合でも、マスタ画像を確実に保存できる。

編集履歴情報は、編集済み画像の識別情報、編集済み画像の編集日時、編集済み画像の出力系の形式、編集済み画像の出力系の鑑賞環境その他の出力条件、編集内容がトリミングの場合におけるトリミング範囲、編集内容が注視点の設定の場合における設定された注視点の位置情報、編集内容が視点画像の選択の場合における選択された視点画像を示す情報、編集内容が画質補正の場合における補正情報のうち少なくとも１つを含むとよい。

これらの情報に基づき、過去の編集結果の再利用を行いたい場合、適切に編集された編集済み画像の画像選択を容易にできる。

記録制御部は、編集済み画像にマスタ画像の識別情報を対応づけて記録部に記録する。

こうすると、編集済み画像から、編集元の多視点画像であるマスタ画像を参照できる。

記録制御部は、マスタ画像を格納する画像ファイルに編集履歴情報を格納する領域を確保し、編集部による編集の終了後、編集履歴情報を領域に格納することで、マスタ画像と編集履歴情報とを対応づけるとよい。

こうすると、マスタ画像を格納したファイルのサイズが、編集履歴情報を格納するごとに変化していくことを防止できる。

本発明に係る画像処理装置は、マスタ画像を編集した画像である編集済み画像を、マスタ画像と区別可能に記録するとともに、マスタ画像の編集内容および編集済み画像の識別情報を示す編集履歴情報を、マスタ画像と対応づけて記録する記録部と、マスタ画像への所望の編集内容に対応する編集履歴情報を記録部から検索する検索部と、検索部が所望の編集内容を示す編集履歴情報を発見したことに応じ、発見された編集履歴情報に含まれる編集済み画像の識別情報に基づいて編集済み画像を記録部から取得する編集済み画像取得部と、を備える。

この発明によると、過去の編集済み画像を再利用でき、同じマスタ画像に対して以前と同じ編集をやり直さなくて済む。

検索部が所望の編集内容に対応する編集履歴情報を発見しなかったことに応じ、記録部に記録されたマスタ画像に対し、所望の編集内容に応じた編集を行う編集部と、編集部の編集した画像である編集済み画像を、マスタ画像と区別可能に記録部に記録するとともに、編集部が行った編集内容を示す編集履歴情報を、マスタ画像と対応づけて記録部に記録する記録制御部と、をさらに備えることが好ましい。

本発明に係る画像処理装置は、２以上の視点から撮影された多視点画像データであるマスタ画像を取得するマスタ画像取得部と、画像データを記録可能な記録部と、マスタ画像取得部の取得したマスタ画像を記録部に記録する記録制御部と、記録部に記録されたマスタ画像に対し、所望の編集内容に応じた編集を行う編集部と、を備え、記録制御部は、編集部の編集した画像である編集済み画像を、マスタ画像と区別可能に記録部に記録するとともに、編集部が行った編集内容および編集済み画像の識別情報を示す編集履歴情報を、マスタ画像と対応づけて記録部に記録し、マスタ画像への所望の編集内容に対応する編集履歴情報を記録部から検索する検索部と、検索部が所望の編集内容を示す編集履歴情報を発見したことに応じ、発見された編集履歴情報に含まれる編集済み画像の識別情報に基づいて編集済み画像を記録部から取得する編集済み画像取得部と、を備える。

本発明に係る画像処理方法は、２以上の視点から撮影された多視点画像データであるマスタ画像を取得するステップと、取得したマスタ画像を記録媒体に記録するステップと、記録媒体に記録されたマスタ画像に対し、所望の編集内容に応じた編集を行うステップと、編集した画像である編集済み画像を、マスタ画像と区別可能に記録媒体に記録するとともに、編集内容を示す編集履歴情報を、マスタ画像と対応づけて記録媒体に記録するステップと、を含む。

本発明に係る画像処理方法は、マスタ画像を編集した画像である編集済み画像を、マスタ画像と区別可能に記録媒体に記録するとともに、マスタ画像の編集内容および編集済み画像の識別情報を示す編集履歴情報を、マスタ画像と対応づけて記録媒体に記録するステップと、マスタ画像への所望の編集内容に対応する編集履歴情報を記録媒体から検索するステップと、所望の編集内容を示す編集履歴情報を発見したことに応じ、発見された編集履歴情報に含まれる編集済み画像の識別情報に基づいて編集済み画像を記録媒体から取得するステップと、を含む。

これらの画像編集方法をコンピュータに実行させるプログラムも本発明に含まれる。

本発明によると、元の複数視点画像から、どのような補正・変換を行った結果、どのファイルに記録されているのかという編集履歴情報が作成されるから、過去に実績がある補正・変換が必要な場合に改めて補正・変換をやり直すのではなく、過去に変換した結果のファイルを再利用することが容易になる。

図１は、複眼カメラ１の電気的構成を示す。第１および第２撮像部２ａ、２ｂのレンズ光軸Ｌ１、Ｌ２は、平行となるように、あるいは所定角度をなすように並設されている。

第１撮像部２ａは、レンズ光軸Ｌ１に沿って配列された第１ズームレンズ１１ａ、第１絞り１２ａ、第１フォーカスレンズ１３ａ、および第１イメージセンサ１４ａによって構成されている。第１絞り１２ａには絞り制御部１６ａが接続されており、また、第１イメージセンサ１４ａにはタイミングジェネレータ（ＴＧ）１８ａが接続されている。第１絞り１２ａ、第１フォーカスレンズ１３ａの動作は測光測距ＣＰＵ１９ａによって制御される。ＴＧ１８ａの動作はメインＣＰＵ６２によって制御される。

カメラ１にはユーザがこのカメラ１を使用するときに種々の操作を行うための操作部７０が設けられている。この操作部７０には、カメラ１を作動させるための電源投入用の電源スイッチ、オート撮影やマニュアル撮影等を選択するためのモードダイヤル、各種のメニューの設定や選択あるいはズームを行うための十字キー、閃光発光用スイッチ、および十字キーで選択されたメニューの実行やキャンセル等を行うための情報位置指定キーが備えられている。操作部７０への適宜操作により、電源のオン／オフ、各種モード（撮影モード、再生モード等）の切り替え、ズーミングなどが行われる。

また、カメラ１には、メインＣＰＵ６２と、ＥＥＰＲＯＭ１４６と、ＹＣ／ＲＧＢ変換部１４７と、表示用のドライバ１４８とが備えられている。メインＣＰＵ６２は、このカメラ１全体の制御を行う。ＥＥＰＲＯＭ１４６には、このカメラ１固有の固体データやプログラム等が格納されている。

ＹＣ／ＲＧＢ変換部１４７は、ＹＣ処理部３５ａ・３５ｂで生成されたカラー映像信号ＹＣを３色のＲＧＢ信号に変換して表示用のドライバ１４８を経由して画像表示ＬＣＤ１０に出力する。

入力操作部９からのズーム操作に応じて、第１ズームレンズ１１ａは、レンズ光軸Ｌ１に沿ってＮＥＡＲ側（繰り出し側）、あるいはＩＮＦ側（繰り込み側）に移動し、ズーム倍率を変化させる。この移動は図示しないモータで駆動される。絞り１２ａは、ＡＥ（Auto Exposure）動作時に開口値（絞り値）を変化させて光束を制限し、露出調整を行う。フォーカスレンズ１３ａは、ＡＦ（Auto Focus）動作時にレンズ光軸Ｌ１に沿ってＮＥＡＲ側、あるいはＩＮＦ側に移動されて合焦位置を変え、ピント調整を行う。この移動は図示しないモータで駆動される。

静止画用レリーズスイッチの半押し状態が検出されたとき、メインＣＰＵ６２は距離用撮像素子５１ａ・５１ｂからそれぞれ測距データを得る。メインＣＰＵ６２は得られた測距データに基づいて、ピント、絞りなどの調整を行う。

第１イメージセンサ１４ａは、第１ズームレンズ１１ａ、第１絞り１２ａ、および第１フォーカスレンズ１３ａによって結像された被写体光を受光し、受光素子に受光量に応じた光電荷を蓄積する。第１イメージセンサ１４ａの光電荷蓄積・転送動作は、ＴＧ１８ａによって制御され、ＴＧ１８ａから入力されるタイミング信号（クロックパルス）により、電子シャッタ速度（光電荷蓄積時間）が決定される。第１イメージセンサ１４ａは、撮影モード時には、１画面分の画像信号を所定周期ごとに取得する。

第２撮像部２ｂは、第１撮像部２ａと同一の構成であり、第２ズームレンズ１１ｂ、第２絞り１２ｂ、第２フォーカスレンズ１３ｂ、およびタイミングジェネレータ（ＴＧ）１４ｂが接続された第２イメージセンサ１４ｂによって構成されている。これらの動作はメインＣＰＵ６２によって制御される。第１撮像部２ａと第２撮像部２ｂとは、基本的に連動して動作を行うが、各々個別に動作させることも可能となっている。なお、第１および第２イメージセンサ１４ａ・１４ｂとして、ＣＣＤ型やＣＭＯＳ型のイメージセンサが用いられる。

第１および第２イメージセンサ１４ａ・１４ｂから出力された撮像信号は、それぞれＡ／Ｄ変換器３０ａ・３０ｂに入力される。Ａ／Ｄ変換器３０ａ・３０ｂは、入力された画像データをアナログからデジタルに変換する。Ａ／Ｄ変換器３０ａ・３０ｂを通して、第１イメージセンサ１４ａの撮像信号は第１画像データ（右眼用画像データ）として、第２イメージセンサ１４ｂの撮像信号は第２画像データ（左眼用画像データ）として出力される。

画像信号処理回路３１ａ・３１ｂは、それぞれ、階調変換、ホワイトバランス補正、γ補正処理などの各種画像処理をＡ／Ｄ変換器３０ａ・３１ｂから入力された第１および第２画像データに施す。バッファメモリ３２ａ・３２ｂは、画像信号処理回路３１ａ・３１ｂで各種画像処理が施された第１および第２画像データを一時的に格納する。

測光・測距ＣＰＵ１９ａ・１９ｂは、それぞれ、バッファメモリ３２ａ・３２ｂに格納された第１および第２画像データの各々からＡＦ評価値およびＡＥ評価値を算出する。ＡＦ評価値は、各画像データの全領域または所定領域（例えば中央部）について輝度値の高周波成分を積算することにより算出され、画像の鮮鋭度を表す。輝度値の高周波成分とは、隣接する画素間の輝度差（コントラスト）を所定領域内について足し合わせたものである。また、ＡＥ評価値は、各画像データの全領域または所定領域（例えば中央部）について輝度値を積算することにより算出され、画像の明るさを表す。ＡＦ評価値およびＡＥ評価値は、後述する撮影準備処理時に実行されるＡＦ動作およびＡＥ動作においてそれぞれ使用される。

バッファメモリ３２ａ・３２ｂに記憶された画像データは、それぞれＹＣ処理部３５ａ・３５ｂにより輝度信号（Ｙ信号）及び色差信号（Ｃr,Ｃb 信号）に変換されるとともに、ガンマ補正等の所定の処理が施される。処理されたＹＣ信号はそれぞれワークメモリ１２８ａ・１２８ｂに格納される。

ワークメモリ１２８ａ・１２８ｂに記憶された第１および第２画像データのＹＣ信号は、それぞれコントローラ３４によってＹＣ／ＲＧＢ変換部１４７に読み出される。ＹＣ／ＲＧＢ変換部１４７は、第１および第２画像データのＹＣ信号を所定方式の映像信号（例えば、ＮＴＳＣ方式のカラー複合映像信号）に変換した上で、画像表示ＬＣＤ１０での立体表示を行うための立体画像データに合成する。撮影モード時にＬＣＤ１０が電子ビューファインダとして使用される際には、ＹＣ／ＲＧＢ変換部１４７によって合成された立体画像データが、ＬＣＤドライバ１４８を介してＬＣＤ１０にスルー画として表示される。

圧縮伸張処理回路３６ａ・３６ｂは、それぞれワークメモリ１２８ａ・１２８ｂに記憶された第１および第２画像データに対して、静止画ではＪＰＥＧ、動画ではＭＰＥＧ２、ＭＰＥＧ４、Ｈ．２６４方式等の所定の圧縮形式に従って圧縮処理を施す。メディアコントローラ３７は、圧縮伸張処理回路３６ａ・３６によって圧縮処理された各画像データを、Ｉ／Ｆ３９経由で接続されたメモリカード３８その他の記録メディアに記録させる。

このようにしてメモリカード３８に記録された第１および第２画像データをＬＣＤ１０に再生表示する場合、メモリカード３８の各画像データは、メディアコントローラ３７によって読み出され、圧縮伸張処理回路３６ａ・３６によって伸張処理が行われ、ＹＣ／ＲＧＢ変換部１４７によって立体画像データに変換された後、ＬＣＤドライバ１４８を介してＬＣＤ１０に再生画像として表示される。

ＬＣＤ１０は、パララックスバリア式、あるいはレンチキュラーレンズ式の３Ｄモニタであり、画像撮影時には電子ビューファインダとして使用され、画像再生時には撮影によって得られた画像データの立体表示を行う。

ＬＣＤ１０の詳細な構造は図示しないが、ＬＣＤ１０は、その表面にパララックスバリア表示層を備えている。ＬＣＤ１０は、立体表示を行う際に、パララックスバリア表示層に光透過部と光遮蔽部とが交互に所定のピッチで並んだパターンからなるパララックスバリアを発生させるとともに、その下層の画像表示面に左右の像を示す短冊状の画像断片を交互に配列して表示することで立体視を可能にする。

なお、立体視を可能にする表示装置の構成は、スリットアレイシートを用いるパララックス方式に限られる必然性はなく、レンチキュラーレンズシートを用いるレンチキュラー方式、マイクロレンズアレイシートを用いるインテグラルフォトグラフィ方式、干渉現象を用いるホログラフィー方式などが採用されてもよい。

メインＣＰＵ６２は、複眼カメラ１の全体の動作を統括的に制御する。メインＣＰＵ６２には、レリーズスイッチ５ａ・５ｂ、操作部７０のほか、不揮発性メモリであるＥＥＰＲＯＭ１４６が接続されている。ＥＥＰＲＯＭ１４６は、各種制御用のプログラムや設定情報などを格納している。メインＣＰＵ６２は、このプログラムや設定情報に基づいて各種処理を実行する。

また、メインＣＰＵ６２には、光学系制御指示部１２７が接続されており、光学系制御指示部１２７へのズーム操作に応じて第１撮像部２ａ・第２撮像部２ｂの撮影倍率が変更される。

レリーズスイッチ５ａは２段押しのスイッチ構造となっている。撮影モード中に、レリーズスイッチ５ａが軽く押圧（半押し）されると、ＡＦ動作およびＡＥ動作が行われ撮影準備処理がなされる。この状態でさらにレリーズスイッチ５ａが強く押圧（全押し）されると、撮影処理が行われ、１画面分の第１および第２画像データがフレームメモリ３２からメモリカード３８に転送されて記録される。

ＡＦ動作は、メインＣＰＵ６２が第１および第２フォーカスレンズ１３ａ・１３ｂを制御してそれぞれ所定方向に移動させながら、順次に得られる第１および第２画像データの各々から算出されたＡＦ評価値の最大値を求めることによりなされる。ＡＥ動作は、ＡＦ動作が完了した後、算出されたＡＥ評価値に基づいて、第１および第２絞り１２ａ・１２ｂの開口値、および第１および第２イメージセンサ１４ａ・１４ｂの電子シャッタ速度を設定することによりなされる。

また、カメラ１には、操作の手助けを行うための操作ＬＣＤ表示１０３が備えられている。

また、カメラ１は、電源電池６８が着脱可能な構成となっている。電源電池６８は充電可能な二次電池、例えばニカド電池、ニッケル水素電池、リチウムイオン電池で構成される。電源電池６８は使い切り型の一次電池、例えばリチウム電池、アルカリ電池で構成してもよい。電源電池６８は図示しない電池収納室に装填することにより、カメラ１の各回路と電気的に接続される。

第１撮像部２ａ、第２撮像部２ｂには、それぞれ、第１撮像部２ａと第２撮像部２ｂのなす間隔／輻輳角を検出する間隔／輻輳角検出回路４ａ・４ｂと、間隔／輻輳角検出回路４ａ・４ｂの検出した輻輳角を記憶するレンズ間隔／輻輳角記憶回路６、基線長の伸縮と光軸を駆動モータなどで回転させ輻輳を変化させる間隔／輻輳角駆動回路３ａ・３ｂとが備えられている。

また、カメラ１には、間隔／輻輳角検出回路４ａ・４ｂの検出した間隔／輻輳角に基づいて間隔／輻輳角駆動回路３ａ・３ｂの輻輳角の変化を制御する間隔／輻輳角制御回路５が備えられている。

充電・発光制御部１３８ａ・１３８ｂは、それぞれストロボ４４ａ・４４ｂを発光させるために電源電池６８からの電力の供給を受けて図示しない閃光発光用のコンデンサを充電したり、ストロボ４４ａ・４４ｂの発光を制御する。

充電・発光制御部１３８ａ・１３８ｂは、レリーズスイッチ５ａ・５ｂの半押し・全押し操作信号等の各種の信号や、発光量、発光タイミングを示す信号をメインＣＰＵ６２や測光・測距ＣＰＵ１９ａ・１９ｂから取り込んだことに応じ、ストロボ４４ａ・４４ｂへの電流供給制御を行い、所望の発光量が所望のタイミングで得られるように制御する。

縦撮り／横撮り切替ボタン４０は、縦撮りまたは横撮りのいずれで撮影を行うかを指示するためのボタンである。縦撮り／横撮り検出回路１６６は、このボタンの状態により、縦撮りまたは横撮りのいずれで撮影を行うかを検出する。

２Ｄ／３Ｄモード切替フラグ１６８には、２Ｄモードであることまたは３Ｄモードであることを表すフラグが設定される。

距離用発光素子５２ａ、５２ｂは、それぞれ、第１撮像部２ａおよび第２撮像部２ｂの捉えた同一被写体へ投光スポットを照射するための発光ダイオード（ＬＥＤ）からなる。

距離用撮像素子５１ａ、５１ｂは、それぞれ、距離用発光素子５２ａ、５２ｂにより投光スポットの照射された被写体像を取得する測距専用の撮像素子である。

距離用駆動／制御回路５４は、距離用発光素子５２ａ、５２ｂの発光タイミングと距離用撮像素子５３ａ、５３ｂとを同期させる制御を行う。

距離用撮像素子５３ａ、５３ｂの撮像動作で得られたアナログ画像信号はそれぞれ測距用Ａ／Ｄ変換部５５ａ、５５ｂでデジタル画像データに変換され、距離情報処理回路５７に出力される。

距離情報処理回路５７は、入力されたデジタル画像データから、第１撮像部２ａおよび第２撮像部２ｂの捉えた被写体までの距離を算出する。これはいわゆる三角測距の原理に基づく。距離情報処理回路５７が算出した距離情報は距離情報記憶回路５８に記憶される。

なお、多視点画像は、上述のような複眼カメラ１で取得する必然性はなく、単眼カメラを用いたモーションステレオ法による連続撮影で取得してもよい。

図２はパソコン１００のブロック図である。

パソコン１００は、主として各構成要素の動作を制御する中央処理装置（ＣＰＵ）１０２と、装置の制御プログラムが格納されたり、プログラム実行時の作業領域となる主メモリ１０６と、パソコン１００のオペレーティングシステム（ＯＳ）、パソコン１００に接続された周辺機器のデバイスドライバ、各種のコンテンツ（映像コンテンツやプリント物）に適合するよう多視点画像を編集する画像編集処理のプログラムを含む各種のアプリケーションソフト、ユーザの画像等が格納されるハードディスク装置１０８と、ＣＤ−ＲＯＭ装置１１０と、表示用データを一時記憶する表示メモリ１１６と、この表示メモリ１１６からの画像データ、文字データ等により画像や文字等を表示するＣＲＴモニタや液晶モニタ等のモニタ装置１１８と、キーボード１２０と、位置入力装置としてのマウス１２２と、マウス１２２の状態を検出してモニタ装置１１８上のマウスポインタの位置やマウス１２２の状態等の信号をＣＰＵ１０２に出力するマウスコントローラ１２４と、インターネット等のネットワーク３０と接続される通信インターフェース１３２と、メモリカード３８が着脱されるカード挿入口を有するカードインターフェース１１２と、上記各構成要素を接続するバス１０４と、カメラ１とＵＳＢ接続するカメラ接続Ｉ／Ｆ１３４から構成されている。

ハードディスク装置１０８に格納されている、画像編集処理のアプリケーションソフトは、該アプリケーションソフトが記録されたＣＤ−ＲＯＭをパソコン１００のＣＤ−ＲＯＭ装置１１０にセットすることにより、パソコン１００にインストールすることができる。

モニタ装置１１８は、ＬＣＤ１０と同様、多視点画像を立体視可能にする構成が採用されている。

図３はハードディスク１０８に記憶されている多視点画像データを格納した画像ファイルのディレクトリ構造を示す。例えば図３（ａ）のように、カメラ１から取得した未編集の多視点画像データを格納したファイル（マスタファイル）と、ＣＰＵ１０２でマスタファイル中の多視点画像データに画像編集処理が施されて得られた編集済みの多視点画像データを格納したファイル（編集済みファイル）に、それぞれ、「ＡＢＣＤ０００１．ＪＰＧ」、「ＡＢＣＤ０００１．Ｆ３Ｄ」という異なるファイル名を付与する。編集済みファイルのファイル名中の識別情報「ＡＢＣＤ０００１」は、マスタファイルにも同じ識別情報が付与されており両者に関連性があることを示す。拡張子「ＪＰＧ」あるいは「Ｆ３Ｄ」は、マスタファイルと編集済みファイルとを区別する情報である。

あるいは、図３（ｂ）のように、マスタファイルと、編集済みファイルに、それぞれ、「ＡＢＣＤ０００１．ＪＰＧ」、「ＡＢＣＤ０００３．ＪＰＧ」という、異なるファイル名を付与する。なお、既存の任意画像ファイルの名称が「ＡＢＣＤ０００２．ＪＰＧ」だと、これと重複しないよう「ＡＢＣＤ０００３．ＪＰＧ」が編集済みファイルに付与されている。両ファイルの名称中には、両ファイルを関連付ける情報は入っていない。

あるいは、図３（ｃ）のように、マスタファイルと、編集済みファイルに、それぞれ、「ＡＢＣＤ０００１．ＪＰＧ」、「Ｆ３Ｄ＿０００１．ＪＰＧ」という、異なるファイル名を付与する。両ファイルの名称中には、両ファイルを関連付ける情報は入っていない。

あるいは、図３（ｄ）のように、マスタファイルと、編集済みファイルに、それぞれ、「ＡＢＣＤ０００１．ＪＰＧ」、「ＡＢＣＤ０００１＿Ｆ３Ｄ．ＪＰＧ」という、異なるファイル名を付与する。編集済みデータのファイル名は、マスタファイル「ＡＢＣＤ０００１．ＪＰＧ」との関連性を示す識別情報「ＡＢＣＤ０００１」と、編集済みファイルであることを示す「＿Ｆ３Ｄ」が組み合わされている。

あるいは、図３（ｅ）のように、３Ｄ表示用に編集されたデータを格納した編集済みファイルには「ＡＢＣＤ０００１．Ｆ３Ｄ」、３Ｄプリント用に編集されたデータを格納した編集済みファイルには「Ｐ３Ｄ＿０００２．ＪＰＧ」のように、コンテンツの出力系統に応じた、マスタファイルと異なる名称を付与する。

このような編集済みファイルへのファイル名付与は、ＣＰＵ１０２が、マスタファイルのファイル名に基づき、かつ、図３（ａ）〜（ｅ）のうちいずれか１つの命名規則に基づいて行う。

図４〜７はマスタファイルの構造を示す。マスタファイルのヘッダは、以下に挙げる情報のうち１つ以上を含んでいる。

・これまでに当該マスタファイルの画像に基づいて編集記録された編集済みファイルの数
・当該編集済みファイルを一意に識別するための情報
・当該編集済みファイルを生成・記録した日付・時間情報
・当該編集済みファイルが出力されるべき出力系の形式、例えば、鑑賞距離、画面サイズ、鑑賞範囲角度
・当該マスタファイルの画像への編集処理がトリミングの場合、トリミング範囲を示す情報
・当該マスタファイルの画像への編集処理として設定した注視点の情報
・当該マスタファイルの画像への編集処理で多視点画像から選択・使用した、視点画像の情報、例えば、視点番号、視点位置情報
・当該マスタファイルの画像への編集処理で画質（輝度、色差など）を補正した場合、その補正情報
このうち、図４では、編集元となる多視点画像データを格納したマスタファイル「ＡＢＣＤ０００１．ＪＰＧ」のヘッダ部分に、これまで当該データが編集元として使用・出力された回数ｋ、そのｋ回に渡る各々の編集における編集内容を個別に示した詳細情報が格納される。

詳細情報は、編集済みファイルのファイル名（「Ｆ３Ｄ＿０００１．ＪＰＧ」など）、編集日時、出力系の形式（例えば、レンチキュラプリント、３Ｄ ＬＣＤ ディスプレイ、２眼プロジェクタ）、鑑賞環境情報（例えば、想定鑑賞距離、画面サイズ、鑑賞範囲角度）、注視点の座標を示す注視点情報、画質補正情報、その他履歴情報を含む。なお、詳細情報は、テキストでそのまま記述しなくてもよく、それらの識別情報で代替してもよい。

また、図５では、マスタファイルのヘッダ部分の詳細情報として、編集処理元の多視点画像から実際に選択・使用した、視点画像の数、視点番号（「視点２」および「視点４」）、および各視点番号に対応する視点の位置情報が、記載されている。

また、図６では、マスタファイルのヘッダ部分の詳細情報として、編集処理元の視点画像のトリミング範囲の位置が、トリミング範囲情報として記載されている。

また、図７では、マスタファイルのヘッダ部分に、編集履歴情報を格納するための予約領域が確保されていることが示されている。この予約領域に、図４〜６で示すような編集履歴情報および詳細情報を格納すれば、マスタファイル自体のヘッダ部分を参照して今までどのような編集が行われたのかが分かる。

なお、図４〜７に示すように、編集済みファイルのヘッダ部分に、マスタファイルのファイル名「ＡＢＣＤ０００１．ＪＰＧ」を格納することで、編集済みファイルからマスタファイルをたどることもできる。

図８はパソコン１００による多視点画像編集処理の流れを示す。この処理の各段階は、ハードディスク装置１０８に保存されている多視点画像編集処理プログラムによって規定されている。なお、この処理は、パソコン１００以外の装置、例えばカメラ１で行ってもよい。

Ｓ１では、カードＩ／Ｆ１１２に接続されたメモリカード３８、あるいはカメラ接続Ｉ／Ｆ１３４に接続されたカメラ１から、未編集の多視点画像データを格納したマスタファイルを取得する。マスタファイルはハードディスク装置１０８に格納される。

Ｓ２では、ＣＰＵ１０２は、ハードディスク装置１０８に格納された各マスタファイルから、編集履歴情報を読み取る。

Ｓ３では、ＣＰＵ１０２は、キーボード１２０やマウス１２２から所望の編集内容の指定を受け付ける。そして、受け付けた所望の編集内容を編集履歴情報として格納しているマスタファイルがハードディスク装置１０８に存在するか否かを判断する。所望の編集内容を編集履歴情報として格納しているマスタファイルを発見した場合はＳ４に進む。そのようなマスタファイルが存在しない場合はＳ７に進む。

Ｓ４では、ＣＰＵ１０２は、当該マスタファルのヘッダに記述されている編集履歴情報から、編集済みファイルの識別情報（例えばファイル名「Ｆ３Ｄ＿０００１．ＪＰＧ」）を読み取る。

Ｓ５では、読み取った編集済みファイルの識別情報に基づいてハードディスク装置１０８を検索し、当該識別情報を有する編集済みファイルを取得する。

Ｓ６では、当該識別情報を有する編集済みファイルの取得が成功したか否かを判断する。成功した場合、そして、取得したファイルは、指定された編集内容が反映された多視点画像を格納している旨のメッセージを、その画像とともにモニタ装置１１８に表示し、本処理を終了する。編集済みファイルの取得が成功しなかった場合、Ｓ７に進む。

Ｓ７では、指定された編集内容に従って多視点画像データの編集が行われる。

Ｓ８では、編集後の多視点画像データが、編集済みファイルとしてハードディスク装置１０８に格納される。

Ｓ９では、指定された編集内容を反映した編集履歴情報を、マスタファイルのヘッダ部分に格納する。そして、編集履歴情報を格納したマスタファイルを、再びハードディスク装置１０８に格納する。この編集履歴情報の具体的内容は、上述の図４〜６に示した通りである。

本処理では、所望の編集内容が行われた多視点画像データをハードディスク装置１０８から取得してくるので、わざわざ同じ多視点画像データについて以前と同じ編集をやり直さず、所望の編集内容に対応した編集済みファイルをそのまま流用することができる。

カメラのブロック図 パソコンのブロック図 ハードディスクにおけるマスタファイルおよび編集済みファイルの配置の態様を示す図 マスタファイルのヘッダ部分に格納された編集履歴情報（出力ファイル識別情報など）の一例を示す図 マスタファイルのヘッダ部分に格納された編集履歴情報（視点画像情報など）の一例を示す図 マスタファイルのヘッダ部分に格納された編集履歴情報（トリミング範囲情報など）の一例を示す図 マスタファイルのヘッダ部分に設けられた編集履歴情報の予約格納領域を示す図 多視点画像編集処理のフローチャート

符号の説明

１：カメラ、２ａ：第１撮像部、２ｂ：第２撮像部、１０：ＬＣＤ、６２：メインＣＰＵ、３８：メモリカード、１００：パソコン、１０２：ＣＰＵ、１０８：ハードディスク装置

Claims (9)

1. ２以上の視点から撮影された多視点画像データであるマスタ画像を取得するマスタ画像取得部と、
   画像データを記録可能な記録部と、
   前記マスタ画像取得部の取得したマスタ画像を前記記録部に記録する記録制御部と、
   前記記録部に記録されたマスタ画像に対し、立体視に適合する所望の編集内容に応じた編集を行う編集部と、
   を備え、
   前記記録制御部は、前記編集部の編集した画像である編集済み画像を、前記マスタ画像と区別可能に前記記録部に記録するとともに、前記編集部が行った編集内容を示す編集履歴情報を、前記マスタ画像と対応づけて前記記録部に記録する画像処理装置。
2. 前記編集履歴情報は、前記編集済み画像の識別情報、前記編集済み画像の編集日時、前記編集済み画像の出力系の形式、前記編集済み画像の出力系の鑑賞環境その他の出力条件、前記編集内容がトリミングの場合におけるトリミング範囲、前記編集内容が注視点の設定の場合における設定された注視点の位置情報、前記編集内容が視点画像の選択の場合における選択された視点画像を示す情報、前記編集内容が画質補正の場合における補正情報のうち少なくとも１つを含む請求項１に記載の画像処理装置。
3. 前記記録制御部は、前記編集済み画像に前記マスタ画像の識別情報を対応づけて前記記録部に記録する請求項１または２に記載の画像処理装置。
4. 前記記録制御部は、前記マスタ画像を格納する画像ファイルに前記編集履歴情報を格納する領域を確保し、前記編集部による編集の終了後、前記編集履歴情報を前記領域に格納することで、前記マスタ画像と前記編集履歴情報とを対応づける請求項１〜３のいずれかに記載の画像処理装置。
5. 前記マスタ画像への所望の編集内容に対応する編集履歴情報を前記記録部から検索する検索部と、
   前記検索部が前記所望の編集内容を示す編集履歴情報を発見したことに応じ、前記発見された編集履歴情報に含まれる編集済み画像の識別情報に基づいて前記編集済み画像を前記記録部から取得する編集済み画像取得部と、
   を備える請求項１〜４のいずれかに記載の画像処理装置。
6. 前記検索部が前記所望の編集内容に対応する編集履歴情報を発見しなかったことに応じ、前記記録部に記録されたマスタ画像に対し、所望の編集内容に応じた編集を行う編集部と、前記編集部の編集した画像である編集済み画像を、前記マスタ画像と区別可能に前記記録部に記録するとともに、前記編集部が行った編集内容を示す編集履歴情報を、前記マスタ画像と対応づけて前記記録部に記録する記録制御部と、
   をさらに備える請求項５に記載の画像処理装置。
7. ２以上の視点から撮影された多視点画像データであるマスタ画像を取得するステップと、 取得したマスタ画像を記録媒体に記録するステップと、
   前記記録媒体に記録されたマスタ画像に対し、立体視に適合する所望の編集内容に応じた編集を行うステップと、
   編集した画像である編集済み画像を、前記マスタ画像と区別可能に前記記録媒体に記録するとともに、前記編集内容を示す編集履歴情報を、前記マスタ画像と対応づけて前記記録媒体に記録するステップと、
   を含む画像処理方法。
8. 前記マスタ画像への所望の編集内容に対応する編集履歴情報を前記記録媒体から検索するステップと、
   前記所望の編集内容を示す編集履歴情報を発見したことに応じ、前記発見された編集履歴情報に含まれる編集済み画像の識別情報に基づいて前記編集済み画像を前記記録媒体から取得するステップと、
   を含む請求項７に記載の画像処理方法。
9. 請求項７または８に記載の画像処理方法をコンピュータに実行させるプログラム。

Images