JP4589651B2 - 画像処理装置、画像加工・編集装置、画像ファイル再生装置、画像処理方法、画像加工・編集方法及び画像ファイル再生方法 - Google Patents

Description

本発明は、ステレオ画像の撮像及び編集等に好適な画像処理装置、画像加工・編集装置、画像ファイル再生装置、画像処理方法、画像加工・編集方法及び画像ファイル再生方法に関する。

画像を立体的情報を含んで撮影記録し、これを再生観察する方式には多種多様な提案がある。その中でも、左右両眼の視点に対応する視差を持った２画像を記録し、これを左右両眼に対してそれぞれ提示するいわゆる２眼式ステレオ方式は、構成が最も簡単で安価な割に効果が大きいため、旧くから今日に至るまで利用されている。

この２眼式ステレオ方式において、いわゆるパーソナルユースに対しては、同時には１人しか観察できないという制約はあるものの、最も基本的かつ古典的な方法であるステレオペア画像を用いる方式が、極めて安価にまた鮮明な画像を観察できる方式として、今日、なお広く使用されている。

そして、ステレオアダプタを用いたステレオ撮像装置としては、例えば、特許文献１に開示されたものがある。特許文献１では、システムコントローラに、ステレオアダプタの装着を検出するステレオアダプタ検出部、測光エリアに関する被写体画像信号を解析して露出制御に必要な測光情報を算出するための自動露出（ＡＥ）制御部、及び上述の測光エリアの設定を行う測光エリア設定部を設けて、測光エリア設定部が、通常撮影モード時とステレオ撮影モードとでそれぞれ異なる測光エリアを設定する機能を有しており、通常撮影モード及びステレオ撮影モードそれぞれに最適な測光エリアを設定する技術を開示している。

このように、２眼式ステレオ方式では、１枚の画枠の中の左右に、視差に応じて相互にずれた同一被写体の２つの画像（以下、モノキュラ画像という）を映し出す方法を採用する。即ち、２眼式ステレオ方式では、左右にモノキュラ画像が配置された１枚の画像（以下、統合画像という）から立体感を得るために、統合画像中の左右のモノキュラ画像を夫々右目又は左目で観察する。左右の目で観察した２つの画像を、１つの画像として融合させることによって、立体感を有する画像を認識することができる。この認識上の画像（以下、融合画像という）は、左右のモノキュラ画像の各部のずれ量に応じて、各部に遠近感を生じさせる。

ところで、電子カメラで扱う画像データとしては、Ｅｘｉｆ規格のデータ形式のものが普及している。Ｅｘｉｆ規格は、ＪＰＥＧ規格のファイル（ＪＰＥＧファイル）形式に従ったものである。即ち、画像データそのものについてはＪＰＥＧ規格の画像データとして扱い、ＪＰＥＧファイルのヘッダ部に、Ｅｘｉｆデータ（メタデータ）を配置したものである。Ｅｘｉｆ規格のメタデータは、ＴＩＦＦ形式で記述され、撮影日付やサムネイル等の情報を含む。

このメタデータ中に、ステレオ画像に関する情報を記述することができる。例えば、ステレオアダプタを用いて撮像された左右のモノキュラ画像は、実際には境界部にケラレが生じていたり、或いは結像位置にずれが生じていたりする。このケラレ及び位置ずれ等を補正すべく、左右の各領域中の所定部分をトリミングして有効なモノキュラ画像の範囲（以下、画枠という）を設定する。画枠の範囲は、立体画像の奥行き感に影響を与えることから、立体画像の加工・編集を行う場合には、画枠を適切に設定する必要がある。メタデータ中に、トリミングに関する情報等を記述することで画枠を適切に設定して、融合画像に適正な奥行き感を与えることが可能となる。
特開２００２−２１８５０６号公報

ところで、画像の加工・編集ソフトウェアを用いて、立体画像の加工・編集を行うことが考えられる。この場合において、立体画像に対応した加工・編集ソフトウェア（以下、３Ｄ対応ソフトという）を用いて加工・編集が行われるとは限らず、立体画像に非対応の加工・編集ソフトウェア（以下、３Ｄ非対応ソフトという）を用いて加工・編集が行われることも考えられる。

一般的な加工・編集ソフトウェアにおいては、Ｅｘｉｆ規格に対応している。このため、３Ｄ非対応ソフトにおいて、立体画像の加工・編集を行った場合でも、メタデータ部分を破壊することなく、画像データの処理が可能である。しかし、３Ｄ非対応ソフトにおいては、立体画像に関するメタデータ部分を編集することはできない。

従って、３Ｄ非対応ソフトにおいて画像データの加工・編集を行った場合には、立体画像の加工・編集が行われているにも拘わらず、対応するメタデータは編集されずに元のままとなる。即ち、この場合には、立体画像とメタデータの相関関係にずれが生じるという問題があった。

この場合でも、加工・編集された立体画像を３Ｄ非対応の装置又はソフトウェアによって再生する場合には特には問題は生じない。ところが、加工・編集された立体画像を３Ｄ対応の装置又はソフトウェアで処理する場合には、これらの装置又はソフトウェアがメタデータの情報に基づいて処理を行うことから、適正な融合画像が得られないこともある。

例えば、３Ｄ非対応ソフトによって、立体画像を拡大したにも拘わらず、トリミングに関するメタデータが修正されなければ、３Ｄ対応ソフトでは、拡大前の立体画像に適したトリミングを実施することから、融合画像の奥行き感は大きくなり、実際と認識画像との違和感が増大する。

本発明は立体画像非対応の加工・編集機又はソフトウェアによって立体画像が処理された場合でも、融合画像の適正な認識を可能にすることができる画像処理装置、画像加工・編集装置、画像ファイル再生装置、画像処理方法、画像加工・編集方法及び画像ファイル再生方法を提供することを目的とする。

本発明の請求項１に係る画像処理装置は、所定の視差を有して得られた同一被写体の複数のモノキュラ画像に基づくステレオ画像データを生成するステレオ画像データ生成手段と、前記ステレオ画像データに関する付随データを生成する付随データ生成手段と、前記付随データの生成又は更新を行った日時に関する情報を生成する付随データ日時情報生成手段と、前記ステレオ画像データ生成手段で生成されたステレオ画像データと、前記付随データ生成手段にて生成された付随データとを合成して画像ファイルを生成する画像ファイル生成手段であって、前記付随データ日時情報生成手段で生成された前記付随データの生成又は更新を行った日時に関する情報と、当該画像ファイルの生成又は更新を行った日時に関する情報とをさらに付加して、所定のファイルフォーマットに変換して画像ファイルを生成する画像ファイル生成手段と、有するものであ、り、
本発明の請求項３に係る画像加工・編集装置は、所定の視差を有して得られた同一被写体の複数のモノキュラ画像に基づくステレオ画像データと前記ステレオ画像データに関する付随データとを合成し、かつ、前記付随データの生成又は更新を行った日時に関する情報と、当該画像ファイルの生成又は更新を行った日時に関する情報とをさらに付加して、所定のファイルフォーマットに変換して生成された画像ファイル内のステレオ画像データに基づいて画像加工・編集を行う画像加工・編集手段と、前記画像加工・編集が行われる前の前記付随データに対して、画像加工・編集の内容に基づいてこの付随データを更新する付随データ更新手段と、前記付随データの更新が行われた日時に関する情報を生成する付随データ更新日時情報生成手段と、前記画像加工・編集手段で画像加工・編集されたステレオ画像データと、前記付随データ更新手段にて更新された付随データとを合成して画像ファイルを生成する画像ファイル生成手段であって、前記付随データ更新日時情報生成手段で生成された前記付随データの更新を行った日時に関する情報と、当該画像ファイルの生成又は更新を行った日時に関する情報とをさらに付加して、所定のファイルフォーマットに変換して画像ファイルを生成する画像ファイル生成手段と、有するものであり、
本発明の請求項５に係る画像ファイル再生装置は、所定の視差を有して得られた同一被写体の複数のモノキュラ画像に基づくステレオ画像データと前記ステレオ画像データに関する付随データとを合成し、かつ、前記付随データの生成又は更新を行った日時に関する情報と、当該画像ファイルの生成又は更新を行った日時に関する情報とをさらに付加して、所定のファイルフォーマットに変換して生成された画像ファイルを再生する再生手段と、前記再生手段によって再生された前記付随データの生成又は更新を行った日時に関する情報と当該画像ファイルの生成又は更新を行った日時に関する情報との一致を判定する判定手段と、前記判定手段によって不一致と判定された場合には、前記再生手段による再生動作の継続を禁止する制御手段と、有するものである。

本発明の請求項１において、付随データ生成手段は、所定の視差を有して得られた同一被写体の複数のモノキュラ画像に基づくステレオ画像の画像データに関する付随データを生成する。この付随データの作成又は更新に伴って、付随データ日時情報生成手段は、その作成又は更新日時の情報を設定する。画像ファイル生成手段は、画像データと付随データとを合成し、付随データの作成又は更新日時の情報とファイルの作成又は更新日時の情報とを付加して、所定のファイルフォーマットに変換して画像ファイルを生成する。

本発明の請求項３において、画像加工・編集手段は、所定の視差を有して得られた同一被写体の複数のモノキュラ画像に基づくステレオ画像の画像データを与えられ、この画像データを加工・編集する。加工・編集前の画像データに関する付随データは、付随データ更新手段において、加工・編集後の画像データに基づいて更新される。付随データの更新に伴って、その更新日時の情報が付随データ更新日時情報生成手段によって設定される。画像データ、付随データ、付随データの更新日時の情報及びファイルの更新日時の情報によって、所定のファイルフォーマットの画像ファイルが生成される。

本発明の請求項５において、判定手段は、付随データの作成又は更新日時の情報とファイルの作成又は更新日時の情報とに基づいて、画像データと付随データとの相関の有無を判定する。再生手段は、画像ファイルから分離された画像データに対して、付随データを利用した所定の再生処理を実施する。この場合には、判定手段によって画像データと付随データとの相関がないものと判定された場合には、再生手段による再生動作の継続が禁止される。

なお、装置に係る本発明は方法に係る発明としても成立する。

本発明によれば、立体画像非対応の加工・編集機又はソフトウェアによって立体画像が処理された場合でも、融合画像の適正な認識を可能にすることができるという効果を有する。

以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は本発明の第１の実施の形態に係る画像処理装置が組込まれた電子カメラを示すブロック図である。本実施の形態は画像ファイルの記録装置に適用したものである。

（第１の実施形態）
図１において、電子カメラは、カメラ本体１と、レンズ鏡筒を有するレンズユニット５と、ステレオ画像撮影用のステレオアダプタ１０とによって構成されている。電子カメラは、レンズユニット５にミラー式のステレオアダプタ１０が着脱自在に取り付けられている。ステレオアダプタ１０は、視差程度離れた位置にミラー１１、１２がそれぞれ配置され、更にこれらのミラー１１、１２によって反射された光をカメラ側に導くためのミラー１３、１４が配置された構成となっている。

ステレオアダプタ１０内のミラー１１、１３及びミラー１２、１４を通過した光は、それぞれレンズユニット５内の撮影レンズ群２１を介して露出制御機構２２、更にはカメラ本体１内のハーフミラー３１に導かれる。

レンズユニット５は、撮影レンズ群２１と、露出制御機構２２と、レンズ駆動機構２３と、レンズドライバ２４と、露出制御ドライバ２５とを有して構成されている。

撮影レンズ群２１は、ステレオアダプタ１０が装着していない状態では通常の単眼視の撮像（モノキュラ撮像）が可能な主撮像光学系であり、レンズ駆動機構２３によって駆動されてフォーカシングやズーミングの調節が行われるようになっている。レンズ駆動機構２３は、レンズドライバ２４によって制御される。露出制御機構２２は、撮影レンズ群２１の絞り及びシャッタ装置（図示せず）を制御するようになっている。露出制御機構２２は、露出制御ドライバ２５によって制御される。

レンズユニット５からカメラ本体１に導かれた光は、ハーフミラー３１を通過して、ローパス及び赤外カット用のフィルタ系３２を介してＣＣＤカラー撮像素子３４に導かれて結像されるようになっている。ＣＣＤカラー撮像素子３４は、ＣＣＤドライバ３５によって駆動制御されて、被写体の光学像を電気信号に変換する。なお、ＣＣＤカラー撮像素子３４としては、例えば、縦型オーバフロードレイン構造のインターライン型で、プログレッシブ（順次）走査型のものが採用される。

ステレオアダプタ１０の左眼視用ミラー１１に入射された光は、ミラー１３及び撮影レンズ群２１を介してＣＣＤカラー撮像素子３４の図示しない撮像面の領域Ｌに結像される。同様に、右眼視用ミラー１２に入射された光は、ミラー１４及び撮影レンズ群２１を介してＣＣＤカラー撮像素子３４の図示しない撮像面の領域Ｒに結像されるようになっている。

ＣＣＤカラー撮像素子３４によって光電変換された信号は、Ａ／Ｄ変換器等を含むプリプロセス回路３６を介して、色信号生成処理、マトリックス変換処理、その他各種のデジタル処理を行うためのデジタルプロセス回路３９に与えられる。このデジタルプロセス回路３９において、デジタル化された画像信号を処理することにより、カラー画像データが生成される。

デジタルプロセス回路３９には、ＬＣＤ表示部４０が接続されると共に、カードインターフェース（ＩＦ）４１を介してＣＦ（Ｃｏｍｐａｃｔ Ｆｌａｓｈ Ｍｅｍｏｒｙ Ｃａｒｄ）やスマートメディア等のメモリカード４２が接続される。ＬＣＤ表示部４０はカラー画像データに基づく表示を行うものであり、メモリカード４２はカラー画像データを格納するものである。

なお、メモリカード４２は、外部のパーソナルコンピュータ６０に装填が可能である。そして、メモリカード４２に記録された画像は、パーソナルコンピュータ６０上で表示、画像処理等が可能である。更に、メモリカード４２に記録された画像を、図示しないプリンタによってプリントアウトすることも可能である。

ハーフミラー３１は、入射される被写体像が一部反射されるように構成されているもので、反射光をＡＦセンサモジュール４５に導くようになっている。ＡＦセンサモジュール４５は、撮影レンズ群２１を通って入射された光線に基づいて焦点検出を行うためのものである。ＡＦセンサモジュール４５は、瞳分割用のセパレータレンズ４６と、ラインセンサで構成されるＡＦセンサ４７を有して構成されている。

ＣＰＵ等によって構成されるシステムコントローラ５０は、カメラ本体１及びレンズユニット５内の各部を統括的に制御するためのものである。システムコントローラ５０には、上述したレンズドライバ２４と、露出制御ドライバ２５と、ＣＣＤドライバ３５と、プリプロセス回路３６と、デジタルプロセス回路３９と、ＡＦセンサモジュール４５の他、操作スイッチ部５２と、操作表示部５３と、不揮発性メモリ（ＥＥＰＲＯＭ）５１と、ステレオ切り替えスイッチ（ＳＷ）５４とが接続されている。

操作スイッチ部５２は、レリーズスイッチや撮影モード設定等の各種スイッチから構成される。操作表示部５３は、カメラの操作状態及びモード状態等を表示するための表示部である。

ＥＥＰＲＯＭ５１は、各種設定情報等を記憶するためのメモリである。そして、ステレオ切り替えスイッチ５４は、ステレオアダプタ１０がレンズユニット５に装着される際にモードを切り替えるための切り替えスイッチである。なお、ここでは、撮影モード切り替えはステレオ切り替えスイッチ５４を操作して行うようにしているが、これに限られるものではない。例えば、ステレオアダプタ１０内に検出機能を設けて自動的に撮影モードの切り替えが行われるようにしてもよい。

システムコントローラ５０は、露出制御機構２２とＣＣＤドライバ３５によるＣＣＤカラー撮像素子３４の駆動を制御して、露光（電荷蓄積）及び信号の読み出しを行う。システムコントローラ５０は、ＣＣＤ３４の出力をプリプロセス回路３６を介してデジタルプロセス回路３９に与えて各種信号処理を施し、カードインターフェース４１を介してメモリカード４２に記録させるようになっている。

ストロボ５７は、閃光を発光するもので、レンズユニット５内の露出制御ドライバ２５を介して、システムコントローラ５０によって制御されるようになっている。

システムコントローラ５０は、更に、露出制御部５０ｄ及び測光エリア設定部５０ｅを有している。露出制御部５０ｄは、測光エリアに関する被写体画像信号を解析して露出制御に必要な露光情報を算出するためのものである。また、測光エリア設定部５０ｅは、露出制御部５０ｄに対して、測光エリアの設定を行うようになっている。

本実施の形態においては、システムコントローラ５０は、更に、メタデータ生成部５０ａ、ステレオ画像生成部５０ｂ及び画像ファイル生成部５０ｃを有している。

付随データ生成手段としてのメタデータ生成部５０ａは、撮影画像に関する各種の付随データ（以下、メタデータという）を生成して画像ファイル生成部５０ｃに与える。例えば、メタデータ生成部５０ａは、撮影日時の情報や、撮影画像が立体画像である場合には、立体画像に関する各種情報（立体画像情報）を生成する。立体画像情報としては、例えば、トリミング情報がある。トリミング情報は、各モノキュラ画像の有効な画枠を示す情報であり、再生時に融合画像の認識に用いる領域を示している。

ステレオ画像生成部５０ｂは、入力された複数のモノキュラ画像に基づいてステレオ画像を生成するようになっている。例えば、ＣＣＤ３４の撮像面に複数のモノキュラ画像が配置された１枚の画像が結像した場合には、ステレオ画像生成部５０ｂは、入力された画像をそのまま用いてステレオ画像を生成する。また、複数のモノキュラ画像が例えば別々に撮像されて入力された場合には、ステレオ画像生成部５０ｂは入力された各モノキュラ画像に基づいてステレオ画像を生成する。

画像ファイル生成部５０ｃは、ステレオ画像生成部５０ｂが生成したステレオ画像を、所定フォーマットの電子画像ファイルに変換して出力することができるようになっている。画像ファイル生成部５０ｃは、ステレオ画像が統合画像である場合には、１枚の統合画像を例えばＪＰＥＧ規格又はＴＩＦＦ規格の画像フォーマットに変換して１画像ファイルとする。また、画像ファイル生成部５０ｃは、ステレオ画像が複数のモノキュラ画像によって構成される場合には、例えば各モノキュラ画像をＴＩＦＦ形式の各ページに割り当てて、１画像ファイルを構成する。

この場合には、画像ファイル生成部５０ｃは、ステレオ画像を必要に応じて圧縮処理し、付随データ（メタデータ）を付加した所定フォーマットのデジタル画像ファイルに変換する。

図２は図１中の画像ファイル生成部５０ｃの具体的な構成を示すブロック図である。また、図３は画像ファイル生成部５０ｃによって生成される画像ファイルの一例を示す説明図である。

画像ファイル生成部５０ｃの圧縮部７１にはステレオ画像の画像データが入力される。圧縮部７１は、ステレオ画像の画像データに所定の圧縮処理を施してデータ合成部７２に出力する。データ合成部７２には、メタデータも入力され、データ合成部７２は画像データとメタデータとを合成する。

本実施の形態においては、画像ファイル生成部５０ｃは、メタデータ日時設定部７３及び画像ファイル日時設定部７４を備えている。メタデータ日時設定部７３は、各種立体画像情報に関するメタデータの作成日時の情報をデータ合成部７２に出力することができるようになっている。また、画像ファイル日時設定部７４は、画像ファイルの作成日時の情報をデータ合成部７２に出力することができるようになっている。なお、メタデータ日時設定部７３及び画像ファイル日時設定部７４は、いずれも画像ファイルの最終更新時の日時、即ちこの場合は、同一の日時を設定するようになっている。

データ合成部７２は、入力された各データを合成してフォーマット部７５に与える。フォーマット部７５は、入力された各データを所定の画像フォーマットに従って配列して、１画像ファイルとして出力するようになっている。

図３に示すように、画像ファイルは、ヘッダ部と画像データ部とを有している。画像データ部には、圧縮部７１によって圧縮された画像データが配置される。ヘッダ部には、画像ファイルのファイル名、ファイル作成（更新）日時が配置されると共にメタデータも配置される。ファイル作成（更新）日時の情報は、画像ファイル日時設定部７４により設定されたものである。

メタデータは、メタデータ識別情報、画像の撮影日時の情報及び立体画像に関する情報を含む。なお、撮影日時の情報は、メタデータ生成部５０ａによって生成され、データ合成部７２に入力されるメタデータに含まれている情報である。

立体画像情報は、画像データ部に配置された画像データが立体画像である場合において、その立体画像に関する種々の情報を含んでいる。トリミング情報は、メタデータ生成部５０ａによって生成され、データ合成部７２に入力されるメタデータに含まれている。メタデータ作成（更新）日時は、メタデータ日時設定部７３によって設定された情報であり、各種立体画像情報に関するメタデータの作成日時を内容とする。

なお、図３のファイルフォーマットは画像ファイルの一例であり、図３ではメタデータ作成（更新）日時を立体画像情報の一部として配置する例を説明したが、メタデータ内の他の領域に配置するようにしてもよい。

また、本実施の形態においては、コントローラ５０は、３Ｄ対応であるものとして説明したが、仮に、コントローラ５０が３Ｄ非対応である場合には、メタデータ領域中の立体画像情報の記述領域には、例えば、所定の初期値が設定されるか又は何らの情報も記述されない。

次に、このように構成された実施の形態の作用について図４を参照して説明する。図４は画像ファイル生成部５０ｃの動作フローを示すフローチャートである。

いま、ステレオ切り替えスイッチ５４によって、ステレオ撮影モードが指示されているものとする。ステレオアダプタ１０を介して入射した被写体光学像は、撮影レンズ群２１、露出制御機構２２、ハーフミラー３１及びフィルタ系３２を介してＣＣＤカラー撮像素子３４の撮像面に結像する。ＣＣＤカラー撮像素子３４は、左右のモノキュラ画像Ｌ，Ｒを含む１枚の画像のデータを出力する。ＣＣＤカラー撮像素子３４からの画像信号はプリプロセス回路３６を介してコントローラ５０に入力される。

ステレオ画像生成部５０ｂは入力された画像信号に基づいて、左右にモノキュラ画像を配置した統合画像を生成する。メタデータ生成部５０ａは、生成された統合画像に関する撮影日時の情報や、立体画像情報を生成する。

画像ファイル生成部５０ｃは、図４のステップＳ1 において、生成された統合画像（ステレオ画像）に対して所定の圧縮処理を施す。次のステップＳ2 において、画像ファイル生成部５０ｃ中のメタデータ日時設定部７３は、メタデータ生成部５０ａによって生成される立体画像情報に関するメタデータの作成日時の情報を生成する。なお、メタデータ日時設定部７３は、現在時刻をメタデータ作成日時としてもよい。ステップＳ3 では、画像ファイル生成部５０ｃ中の画像ファイル日時設定部７４は、メタデータの作成日時と同一の日時を画像ファイルの作成日時の情報として生成する。

画像ファイル生成部５０ｃは、データ合成部７２によって、ステレオ画像、メタデータ、メタデータ作成日時及び画像ファイル作成日時の情報を合成し（ステップＳ4 ）、フォーマット部７５によって、図３に示すデータフォーマットの画像ファイルを生成する（ステップＳ5 ）。

画像ファイル生成部５０ｃによって生成された画像ファイルは、デジタルプロセス回路３９に与えられる。デジタルプロセス回路３９は、入力された電子画像ファイルに基づいて、統合画像をＬＣＤ４０の表示画面に表示させることができる。また、デジタルプロセス回路３９は、入力された電子画像ファイルをカードＩＦ４１を介してメモリカード４２に与えて、記録させることもできる。

なお、本実施の形態においては画像ファイルの作成日時の情報をメタデータの作成日時の情報に一致させたが、メタデータの作成日時の情報を画像ファイルの作成日時の情報に一致させるようにしてもよいことは明らかである。

このように、本実施の形態においては、画像ファイル生成部によって生成される画像ファイルには、画像ファイル自体の作成（更新）日時の情報の他に、立体画像情報に関するメタデータの作成（更新）日時の情報が配置される。立体画像情報に関するメタデータの作成（更新）日時の情報が画像ファイルの作成（更新）日時の情報に別個に配置されており、画像ファイルの作成（更新）と立体画像情報に関するメタデータの作成（更新）とを別々に管理することができる。３Ｄ非対応機器又はソフトウェアによって、画像ファイルが作成（更新）される場合には、立体画像情報に関するメタデータの作成（更新）日時は、生成又は更新されないことから、これらの日時の情報を比較することで、画像ファイルが３Ｄ非対応機器又はソフトウェアによって作成（更新）されたか否かを判定することを可能にすることができる。

なお、上記実施の形態においては、メタデータの作成（更新）日時と画像ファイルの作成（更新）日時とを一致させる例について説明したが、一般的には、実際のメタデータの作成（更新）日時と画像ファイルの作成（更新）日時とは、略一致しているか又はその時間差は比較的小さいので、実際の作成（更新）日時を設定するようにしてもよい。この場合には、これらの日時同士の差が閾値よりも小さいことによって、画像ファイルが３Ｄ非対応機器又はソフトウェアによって作成（更新）されたか否かを判定することができる。

また、上記実施の形態においては、画像ファイル生成部を備えた画像処理装置によって画像ファイルを生成する例について説明したが、画像ファイル生成部を同様の機能を呈するソフトウェアによっても実現可能であることは明らかである。即ち、図４のフローチャートと同様の機能を呈するプログラムを実行可能なコンピュータを用いることで、図２と同様の画像ファイルを生成することができる。

なお、画像ファイル生成部５０ｃがソフトウェアによって構成される場合には、例えば画像ファイル日時設定部７４は、コンピュータのオペレーションシステム等によって構成され、画像ファイルの作成（更新）日時はファイルの作成（更新）時に自動的に記述されることが一般的である。

本実施の形態において、ファイル名やファイル作成（更新）日時等のデータは画像ファイルのヘッダ部内に配置される例として説明を行っているが、これらはコンピュータのＯＳが直接的に配置・管理しているディレクトリエントリ領域に配置する構成としてもよい。

なお、第１の実施の形態においては、電子カメラに適用した例を説明したが、電子カメラによって撮像された画像を処理する単独の画像処理装置にも適用することができ、また、撮像画像を処理するパーソナルコンピュータ等のプログラムによって、同様の機能を達成することも可能である。

また、上記実施の形態においては、左右にモノキュラ画像が配置された１枚の画像をカメラによって取得し、この画像に基づくステレオ画像を生成する例について説明したが、例えば２台のカメラで別々に撮影して得られた各モノキュラ画像が別々に入力され、これらの各モノキュラ画像から１枚のステレオ画像を生成するものに適用することができることは明らかである。

（第２の実施の形態）
図５は本発明の第２の実施の形態に係る画像加工・編集装置を示すブロック図であり、図６は画像ファイル生成の処理フローを示すフローチャートである。本実施の形態は画像ファイルの編集装置に適用したものである。なお、本実施の形態においても、図５の装置と同様の機能を有するソフトウェアによって実現可能である。

デコード部８１には、図３のデータフォーマットを有する画像ファイルが入力される。デコード部８１は、入力された画像ファイルをデコードして、画像ファイル中に含まれる各種データを取り出す。デコード部８１は、画像ファイル中の画像データについては、画像伸張部８２に与え、メタデータについてはメタデータ処理部８４に与える。

画像伸張部８２は、入力された画像データを伸張して、圧縮前の画像データを得る。この画像データは画像加工・編集部８３に与えられる。

画像加工・編集部８３は、ユーザの加工・編集操作に応じて、入力された画像に対して加工・編集を施し（ステップＳ11）、加工・編集後の画像を画像ファイル生成部８６に出力する。なお、画像加工・編集部８３は、加工・編集する画像についてのメタデータを参照して、加工・編集処理に利用することができる。

メタデータ処理部８４は、画像加工・編集部８３の加工・編集処理に基づいて、メタデータを更新する。例えば、メタデータ処理部８４は、画像加工・編集部８３の加工・編集処理が、立体画像に対する拡大処理であった場合には、この拡大処理に対応させて最適な切り出し範囲を示すトリミング情報を更新する。

画像ファイル生成部８６は、画像加工・編集部８３からの画像データとメタデータ処理部８４からのメタデータとを合成し、図３のファイルフォーマットの画像ファイルを生成する。画像ファイル生成部８６中の日時更新部８７は、タイマー８８から現在時刻の情報が与えられており、ファイルの更新日時の情報を設定する（ステップＳ12）。画像ファイル生成部８６は、ファイルフォーマット中のファイル作成（更新）日時（図３参照）を、この更新日時の情報に書き換える。更に、画像ファイル生成部８６は、ファイルフォーマット中のメタデータ作成（更新）日時（図３参照）を、ファイル作成（更新）日時と同一の日時の情報に書き換える（ステップＳ13）。こうして、画像ファイル生成部８６は、ファイルの作成（更新）日時及びメタデータの作成（更新）日時を同一の日時に変更した画像ファイルを生成して出力する（ステップＳ14）。

このように本実施の形態においては、画像の加工・編集に伴って、メタデータを更新すると共に、その更新日時を画像ファイルの作成（更新）日時と同一の現在日時に変更する。これにより、本実施の形態に係る編集装置を用いて画像の加工・編集を行う限り、画像ファイルの作成（更新）日時と、メタデータの作成（更新）日時の情報は一致することになる。

なお、メタデータの更新日時及び画像ファイルの更新日時の情報は、同一日時であれば必ずしも実際の更新日時に基づくものとしなくてもよい。

（第３の実施の形態）
図７は本発明の第３の実施の形態に係る画像ファイル再生装置を示すブロック図であり、図８は画像ファイルの処理フローを示すフローチャートである。本実施の形態は画像ファイルの再生装置に適用したものである。なお、本実施の形態においても、図７の装置と同様の機能をするソフトウェアによって実現可能である。

デコード部９１には、図３のファイルフォーマットを有する画像ファイルが入力される。デコード部９１は、入力された画像ファイルをデコードして、画像ファイル中に含まれる各種データを取り出す。デコード部９１は、画像ファイル中の画像データについては、画像伸張部９２に与え、メタデータについては切換部９６、メタデータ無効化部９５及び日時判定部９４に与える。

画像伸張部９２は、入力された画像データを伸張して、圧縮前の画像データを得る。この画像データは再生処理部９３に与えられる。

日時判定部９４は、ファイルの作成（更新）日時（図３参照）の情報及びメタデータ作成（更新）日時の情報を取得する（ステップＳ21）。日時判定部９４は取得したファイルの作成（更新）日時とメタデータ作成（更新）日時との一致，不一致を判定する（ステップＳ22）。日時判定部９４は判定結果を切換部９６及び警告部９７に出力する。

なお、日時判定部９４は、メタデータ作成（更新）日時とファイル作成（更新）日時とが所定の閾値以内であれば、両日時の情報が一致しているものと判定してもよい。ただし閾値の設定によっては誤判定が発生することを考慮すれば、全く同一の場合にのみ一致していると判定するのが原則である。

メタデータ無効化部９５は、入力されたメタデータを無効化する（ステップＳ24）。例えば、メタデータ無効化部９５は、立体画像に関するメタデータについては、そのパラメータを削除するか又は初期値に設定することで無効化を行う。

切換部９６は日時判定部９４の判定結果に基づいて、デコード部９１からのメタデータか又はメタデータ無効化部９５からのメタデータの一方を選択的に再生処理部９３に与える。例えば、切換部９６は日時が一致していることを示す判定結果が与えられた場合には、デコード部９１からのメタデータを再生処理部９３に与え、日時が不一致であることを示す判定結果が与えられた場合には、再生処理を禁止する（ステップＳ24）。

再生処理部９３は切換部９６からのメタデータを用いて画像データに所定の再生処理を施す（ステップＳ25）。また、再生処理部９３は、日時判定部９４から日時が不一致であることを示す判定結果が与えられた場合には、メタデータ無効化部９５によって設定されたメタデータ情報を再生処理部９３に与えてもよい。

警告部９７は、日時判定部９４からの判定結果によって日時が不一致であることが示された場合には、例えば警告表示等によって、例えばユーザに警告を発するようになっている。

このように、本実施の形態においては、ファイルとメタデータの作成（更新）日時が独立に記述された画像ファイルに対して、両日時が不一致である場合には、画像データとメタデータとの相関がないものとして再生処理を禁止し、或いは無効化されたメタデータを用いた再生処理を実施する。これにより、３Ｄ非対応の機器又はソフトウェアによって画像が加工・編集された場合等において、画像データと相関がとれていないメタデータを用いて再生処理が行われることを防止することができる。

なお、上記各実施の形態においては、ステレオ方式として、左右両眼に対応する２眼式として説明したが、３眼以上の一般の多眼式ステレオ方式に対しても同様に適用可能であることはもちろんである。

更に、本発明を動画に適用することができることも明らかである。

本発明の第１の実施の形態に係る画像処理装置が組込まれた電子カメラを示すブロック図。 図１中の画像ファイル生成部５０ｃの具体的な構成を示すブロック図。 画像ファイル生成部５０ｃによって生成される画像ファイルの一例を示す説明図。 画像ファイル生成部５０ｃの動作フローを示すフローチャート。 図５は本発明の第２の実施の形態に係る画像加工・編集装置を示すブロック図。 画像ファイル生成の処理フローを示すフローチャート。 本発明の第３の実施の形態に係る画像ファイル再生装置を示すブロック図。 画像ファイルの処理フローを示すフローチャート。

符号の説明

１…カメラ本体、５…レンズユニット、１０…ステレオアダプタ、１１、１２、１３、１４…ミラー、２１…撮影レンズ群、２２…露出制御機構、２５…露出制御ドライバ、３１…ハーフミラー、３２…フィルタ、３４…ＣＣＤカラー撮像素子、３５…ＣＣＤドライバ、３６…プリプロセス回路、３９…デジタルプロセス回路、４０…ＬＣＤ表示部、４１…カードインターフェース（ＩＦ）、４２…メモリカード、４５…ＡＦセンサモジュール、４６…セパレータレンズ、４７…ＡＦセンサ、５０…システムコントローラ（ＣＰＵ）、５０ａ…メタデータ生成部、５０ｂ…ステレオ画像生成部、５０ｃ…画像ファイル生成部、５０ｄ…露出制御部、５０ｅ…測光エリア設定部、５１…不揮発性メモリ（ＥＥＰＲＯＭ）、５２…操作スイッチ（ＳＷ）、５３…操作表示部、５４…ステレオ切り替えスイッチ、６０…パーソナルコンピュータ。
代理人 弁理士 伊 藤 進

Claims (10)

1. 所定の視差を有して得られた同一被写体の複数のモノキュラ画像に基づくステレオ画像データを生成するステレオ画像データ生成手段と、
   前記ステレオ画像データに関する付随データを生成する付随データ生成手段と、
   前記付随データの生成又は更新を行った日時に関する情報を生成する付随データ日時情報生成手段と、
   前記ステレオ画像データ生成手段で生成されたステレオ画像データと、前記付随データ生成手段にて生成された付随データとを合成して画像ファイルを生成する画像ファイル生成手段であって、前記付随データ日時情報生成手段で生成された前記付随データの生成又は更新を行った日時に関する情報と、当該画像ファイルの生成又は更新を行った日時に関する情報とをさらに付加して、所定のファイルフォーマットに変換して画像ファイルを生成する画像ファイル生成手段と、
   を有する画像処理装置。
2. 前記生成又は更新を行った日時は相互に同一日時に設定されて生成される請求項１に記載の画像処理装置。
3. 所定の視差を有して得られた同一被写体の複数のモノキュラ画像に基づくステレオ画像データと前記ステレオ画像データに関する付随データとを合成し、かつ、前記付随データの生成又は更新を行った日時に関する情報と、当該画像ファイルの生成又は更新を行った日時に関する情報とをさらに付加して、所定のファイルフォーマットに変換して生成された画像ファイル内のステレオ画像データに基づいて画像加工・編集を行う画像加工・編集手段と、
   前記画像加工・編集が行われる前の前記付随データに対して、画像加工・編集の内容に基づいてこの付随データを更新する付随データ更新手段と、
   前記付随データの更新が行われた日時に関する情報を生成する付随データ更新日時情報生成手段と、
   前記画像加工・編集手段で画像加工・編集されたステレオ画像データと、前記付随データ更新手段にて更新された付随データとを合成して画像ファイルを生成する画像ファイル生成手段であって、前記付随データ更新日時情報生成手段で生成された前記付随データの更新を行った日時に関する情報と、当該画像ファイルの生成又は更新を行った日時に関する情報とをさらに付加して、所定のファイルフォーマットに変換して画像ファイルを生成する画像ファイル生成手段と、
   を有する画像加工・編集装置。
4. 前記更新を行った日時は相互に同一日時に設定されて生成される請求項３に記載の画像加工・編集装置。
5. 所定の視差を有して得られた同一被写体の複数のモノキュラ画像に基づくステレオ画像データと前記ステレオ画像データに関する付随データとを合成し、かつ、前記付随データの生成又は更新を行った日時に関する情報と、当該画像ファイルの生成又は更新を行った日時に関する情報とをさらに付加して、所定のファイルフォーマットに変換して生成された画像ファイルを再生する再生手段と、
   前記再生手段によって再生された前記付随データの生成又は更新を行った日時に関する情報と当該画像ファイルの生成又は更新を行った日時に関する情報との一致を判定する判定手段と、
   前記判定手段によって不一致と判定された場合には、前記再生手段による再生動作の継続を禁止する制御手段と、
   を有する画像ファイル再生装置。
6. 前記判定手段によって不一致と判定された場合には、前記再生動作の継続の禁止に代えて、付随データを無効化するよう制御する制御手段と、
   を有する請求項５に記載の画像ファイル再生装置。
7. 前記判定手段によって不一致と判定された場合には、警告を行う警告手段を更に有する
   請求項５又は６のいずれか一方に記載の画像ファイル再生装置。
8. 所定の視差を有して得られた同一被写体の複数のモノキュラ画像に基づくステレオ画像データを生成するステレオ画像データ生成ステップと、
   前記ステレオ画像データに関する付随データを生成する付随データ生成ステップと、
   前記付随データの生成又は更新を行った日時に関する情報を生成する付随データ日時情報生成ステップと、
   前記ステレオ画像生成手段で生成されたステレオ画像データと、前記付随データ生成手段にて生成された付随データとを合成して画像ファイルを生成する画像ファイル生成ステップであって、前記付随データ日時情報生成手段で生成された前記付随データの作成又は更新を行った日時に関する情報と、当該画像ファイルの生成又は更新を行った日時に関する情報とをさらに付加して、所定のファイルフォーマットに変換して画像ファイルを生成する画像ファイル生成ステップと、
   を有する画像処理方法。
9. 所定の視差を有して得られた同一被写体の複数のモノキュラ画像に基づくステレオ画像データと前記ステレオ画像データに関する付随データとを合成し、かつ、前記付随データの生成又は更新を行った日時に関する情報と、当該画像ファイルの生成又は更新を行った日時に関する情報とをさらに付加して、所定のファイルフォーマットに変換して生成された画像ファイル内のステレオ画像データに基づいて画像加工・編集を行う画像加工・編集ステップと、
   前記画像加工・編集が行われる前の前記付随データに対して、画像加工・編集の内容に基づいてこの付随データを更新する付随データ更新ステップと、
   前記付随データの更新が行われた日時に関する情報を生成する付随データ更新日時情報生成ステップと、
   前記画像加工・編集手段で画像加工・編集されたステレオ画像データと、前記付随データ更新手段にて更新された付随データとを合成して画像ファイルを生成する画像ファイル生成ステップであって、前記付随データ更新日時情報生成手段で生成された前記付随データの更新を行った日時に関する情報と、当該画像ファイルの生成又は更新を行った日時に関する情報とをさらに付加して、所定のファイルフォーマットに変換して画像ファイルを生成する画像ファイル生成ステップと、
   を有する画像加工・編集方法。
10. 所定の視差を有して得られた同一被写体の複数のモノキュラ画像に基づくステレオ画像データと前記ステレオ画像データに関する付随データとを合成し、かつ、前記付随データの生成又は更新を行った日時に関する情報と、当該画像ファイルの生成又は更新を行った日時に関する情報とをさらに付加して、所定のファイルフォーマットに変換して生成された画像ファイルを再生する再生ステップと、
    前記再生手段によって再生された前記付随データの生成又は更新を行った日時に関する情報と当該画像ファイルの生成又は更新を行った日時に関する情報との一致を判定する判定ステップと、
    前記判定手段によって不一致と判定された場合には、前記再生動作の継続を禁止、付随データを無効化、警告の少なくとも１つを行うステップと、
    を有する画像ファイル再生方法。

Images