JP3943611B2 - 画像再生方法及び画像再生装置 - Google Patents
画像再生方法及び画像再生装置 Download PDFInfo
- Publication number
- JP3943611B2 JP3943611B2 JP19667795A JP19667795A JP3943611B2 JP 3943611 B2 JP3943611 B2 JP 3943611B2 JP 19667795 A JP19667795 A JP 19667795A JP 19667795 A JP19667795 A JP 19667795A JP 3943611 B2 JP3943611 B2 JP 3943611B2
- Authority
- JP
- Japan
- Prior art keywords
- imaging data
- image
- imaging
- data
- image reproduction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Color Television Image Signal Generators (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、撮像管やＣＣＤ等の撮像素子により得られる撮像信号に対して、その撮像データを可視化できる画像信号、例えばＮＴＳＣ−ＲＧＢ等に変換する画像再生方法及び画像再生装置の技術分野に属するものである。
【０００２】
【従来の技術】
従来より、ＣＣＤ等の撮像素子を利用したテレビカメラ等の画像再生装置においては、撮像素子やカラーフィルターの経年変化や照明光源の変化に関わらず、見た目に同じ印象が常に得られるように、或はできるだけ忠実な再生画像が得られるように、撮像データから画像データを得る画像再生処理時に、前記撮像データから画像再生パラメータの一部を決定することが一般的に行われている。画像再生パラメータとしては、例えば、色温度や再生輝度レベル等があり、画像再生パラメータはこれら色温度を補正したり再生輝度レベルを設定する際に使われる。 色温度の補正においては、具体的には、いわゆるホライトバランス調整が行われ、白色と見えるべき物体は白色に見える用に調整される。そして、この色温度補正は、一般には、撮像された画像データに基づいて判断されて行われる。即ち、画像データから白色と見えるべき物体を抽出し、これから画像再生パラメータの一部であるホワイトバランス係数が決められる。ホワイトバランス調整においては、このホワイトバランス係数を用いて、撮像素子の出力する映像信号を構成する複数の色成分信号にそれぞれゲインを与えて補正する事により、白色と見えるべき物体に対し、その映像信号を構成する各色成分の信号の出力レベルが等しくなるように調整される。
【０００３】
再生輝度レベルの設定は、撮像データから輝度分布を算出し、最適な再生輝度レベル（範囲）を設定し、その範囲において再生画像が得られるようにパラメータが調整され、再生される。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記ホワイトバランス調整により映像の色合いを調整する方法等では、撮像素子等から得られる映像信号中に白色に見えるべき物体（被写体）が十分に存在する時は有効であるが、特定の状況においては撮像信号中に白色に見えるべき物体（被写体）がない場合や、あっても非常に少ない場合があり、この様な状況においてはホワイトバランス調整により色合いを調整する事は原理的に不可能となる。一般に、この様な状況においては、該状態を回避するために、撮像データ全体の撮像信号を各色成分毎に平均化し、該平均値を用いてホワイトバランス調整が行われることがあるが、該方法では、求めた平均値に示される色が白色（光源の色）であるとは限らず、精度良くホワイトバランス調整を行うことはできない。
【０００５】
このように従来の画像再生装置においては、最適な再生画像を得るために画像再生処理を行う場合、画像再生パラメータを前記撮像データから決めようとすると、精度良くパラメータを設定することができないという問題があった。
【０００６】
また、再生輝度レベルの設定においては、個々の撮像データ毎に輝度の再生パラメータを決定すると画像比較等を行う場合や画像合成処理等を行う場合に比較する複数枚の撮像データ間の輝度の相関関係等が失われ、再生画像間の比較が困難となったり、あるいは再生合成画像において輝度のつながりが不自然になる等の不具合が生じる場合があるという問題があった。
【０００７】
例えば、撮影領域の関係で、本来なら同一画面として撮像したい被写体を分割して撮像し、複数枚の撮像データを得たときに上記不具合が明らかになる。
【０００８】
即ち、画像情報により求めた画像再生パラメータを用いて得られる再生画像は、個々の撮像データについて個別の画像再生パラメータが得られるため、輝度情報により物性情報等を得る場合の様に、複数枚の画像を比較解析し画像間の情報を抽出する際に用いる再生画像を得ることができない。或は、被写体の反射率が空間的に徐々に変化している場合は、これを分割撮像して得られた個々の撮像データにおいては輝度レベル（範囲）に違いが生じており、これを各撮像データ毎に最適化して画像再生を行うと、本来各撮像領域にあった輝度の相関関係が失われた画像として再現され、従って、各撮像領域を撮像した画像を合成して一枚の画像とすると輝度の相関関係が失われた不自然な合成画像になるという問題があった。
【０００９】
本発明はこの様な問題点を解消するためになされたものであって、所望の正確な画像再生を行うことができる画像再生方法及び画像再生装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】
上記目的を達成するため、本発明では、画像再生方法を次の（１）ないし（６）述通りに、画像再生装置を次の（７）ないし（１２）のとおりに構成する。
（１）撮像手段によって撮像された可視化以前の撮像データを画像再生パラメータを用いて可視化可能な画像データに変換する画像再生方法であって、
撮影された前記可視化以前の撮像データは撮像データメモリに記憶され、該撮像データメモリに記憶された複数の撮像データから、予め指示される一定の条件を満たす複数の撮像データが選択され、該選択された複数の選択撮像データからなる一連の撮像データ群を形成し、該選択された複数の選択撮像データを解析することにより前記の画像再生パラメータを求め、この画像再生パラメータを用いて前記撮像データ群に属する撮像データを可視化可能な画像データに変換する画像再生方法。
（２）前記一定の条件を満たす複数の撮像データからなる一連の撮像データ群は、撮像データを解析して得られる色温度データが予め指定する色温度データ範囲内にある撮像データからなる前記（１）記載の画像再生方法。
（３）前記一定の条件を満たす複数の撮像データからなる一連の撮像データ群は、撮像データを簡易再生して表示される画像群よりユーザーが選択する撮像データからなる前記（１）記載の画像再生方法。
（４）前記撮像データは付随した情報として撮像時刻、ＥＶ値、絞り値、被写体距離、シャッター速度のいずれか或はその組み合わせを有するものであって、前記一定の条件を満たす複数の撮像データからなる一連の撮像データ群は、前記付随した情報である、撮像時刻、ＥＶ値、絞り値、被写体距離、シャッター速度のいずれか或はその組み合わせの情報が、予め数値的に指定する範囲内にある撮像データからなる前記（１）記載の画像再生方法。
（５）前記撮像データは付随した情報として、撮像モード、撮像場所、ストロボ使用の有無、光学ローパスフィルターの有無のいずれか或はその組み合わせを有するものであって、前記一定の条件を満たす複数の撮像データからなる一連の撮像データ群は、前記付随した情報である、撮像モード、撮像場所、ストロボ使用の有無、光学ローパスフィルターの有無のいずれか或はその組み合わせの情報が、予め指定する条件を満たす撮像データからなる前記（１）記載の画像再生方法。
（６）前記一定の条件を満たす複数の撮像データからなる一連の撮像データ群は、合成画像を形成するための撮像データであることを示す付随情報を持つ撮像データからなる前記（１）記載の画像再生方法。
（７）撮像手段によって撮像された可視化以前の撮像データを画像再生パラメータを用いて可視化可能な画像データに変換する画像再生装置であって、
撮像された撮像データを記憶する撮像データメモリ手段と、撮像データ選択の条件を指示する撮像データ選択指示手段と、前記撮像データメモリ手段から撮像データを選択する撮像データ選択手段と、該撮像データ選択手段が選択した撮像データを保持する撮像データ保持手段と、該撮像データ保持手段に保持されている選択された撮像データを用いて画像再生パラメータを決定する画像再生パラメータ決定手段と、該画像再生パラメータ決定手段により決定された画像再生パラメータを用いて前記撮像データ保持手段に保持された撮像データの画像再生をする画像再生処理手段を備え、
前記撮像データメモリに記憶された複数の画像データから前記撮像データ選択手段により指示された一定の条件を満たす複数の撮像データを選択し、該選択した複数の選択撮像データからなる一連の撮像データ群を形成し、該選択した複数の選択撮像データを解析することにより前記の画像再生パラメータを求め、前記画像再生処理手段は、前記画像再生パラメータを用いて前記撮像データ群に属する撮像データを可視化可能な画像データに変換する画像再生装置。
（８）前記一定の条件を満たす複数の撮像データからなる一連の撮像データ群は、撮像データを解析して得られる色温度データが予め指定する色温度データ範囲内にある撮像デ ータからなる前記（７）記載の画像再生装置。
（９）前記一定の条件を満たす複数の撮像データからなる一連の撮像データ群は、撮像データを簡易再生して表示される画像群よりユーザーが選択する撮像データからなる前記（７）記載の画像再生装置。
（１０）前記撮像データは付随した情報として撮像時刻、ＥＶ値、絞り値、被写体距離、シャッター速度のいずれか或はその組み合わせを有するものであって、前記一定の条件を満たす複数の撮像データからなる一連の撮像データ群は、前記付随した情報である、撮像時刻、ＥＶ値、絞り値、被写体距離、シャッター速度のいずれか或はその組み合わせの情報が、予め数値的に指定する範囲内にある撮像データからなる前記（７）記載の画像再生装置。
（１１）前記撮像データは付随した情報として、撮像モード、撮像場所、ストロボ使用の有無、光学ローパスフィルターの有無のいずれか或はその組み合わせを有するものであって、前記一定の条件を満たす複数の撮像データからなる一連の撮像データ群は、前記付随した情報である、撮像モード、撮像場所、ストロボ使用の有無、光学ローパスフィルターの有無のいずれか或はその組み合わせの情報が、予め指定する条件を満たす撮像データからなる前記（７）記載の画像再生装置。
（１２）前記一定の条件を満たす複数の撮像データからなる一連の撮像データ群は、合成画像を形成するための撮像データであることを示す付随情報を持つ撮像データからなる前記（７）記載の画像再生装置。
【００２２】
本発明は、上記の各構成によって、前記の目的を達成するものである。
【００２３】
【発明の実施の形態】
前記目的を達成するため本発明は、撮像手段によって撮像された撮像データを画像再生パラメータを用いて可視化可能な画像信号に変換する画像再生方法及び画像再生装置において、一定の条件を満たす複数の撮像データからなる一連の撮像データ群として、この一連の撮像データ群から前記画像再生パラメータを求め、この画像再生パラメータを用いて、前記撮像データ群に属する撮像データを画像データに変換することを特徴とする。
【００２４】
さらに、前記一定の条件を満たす複数の撮像データからなる一連の撮像データ群は、撮像データを解析して得られる色温度データが予め指定する色温度データ範囲内にあることを特徴とする
また、前記一定の条件を満たす複数の撮像データからなる一連の撮像データ群は、撮像データを簡易再生して表示される撮像被写体の構図が類似しているという条件のもとにユーザにより選択されたものであることを特徴とする。
【００２５】
また、前記一定の条件を満たす複数の撮像データからなる一連の撮像データ群は、撮像データに付随した情報である、撮像時刻、ＥＶ値、絞り値、被写体距離、シャッター速度のいずれか、あるいはその組み合わせ情報が予め数値的に指定する範囲内にあることを特徴とする。
【００２６】
また、前記一定の条件を満たす複数の撮像データからなる一連の撮像データ群は、撮像データに付随した情報である、撮像モード、撮像場所、ストロボ使用の有無、光学ローパスフィルターの有無のいずれか、あるいはその組み合わせの情報が予め指定する条件を満たすことを特徴とする。
【００２７】
また、前記一定の条件を満たす複数の撮像データからなる一連の撮像データ群は、合成画像を形成する撮像データとしての情報を持つ、あるいは合成画像を形成する撮像データとして選択された複数の撮像データからなることを特徴とする実施である。
【００２８】
上記画像再生方法及び画像再生装置によれば、関連する複数枚の撮像データを一連の撮像データ群として扱い、その撮像データを群を用いて、最適な画像再生パラメータが求められ、その画像再生パラメータを用いて、撮像データ群を構成する撮像データが画像データに変換される。
【００２９】
【実施例】
以下、本発明の実施例を図面を参照して説明する。
【００３０】
図１は本発明に係わる画像再生装置の一実施例を示すブロック図である。
【００３１】
１０はデジタルカメラ等のカラー画像撮像部であって、被写体を撮像し該被写体画像データを二次元のデジタル撮像データ（以下、単に「撮像データ」という）として撮像データメモリ部２０に出力する。そして、撮像データメモリ部２０は、カラー画像撮像部１０から送られてきた前記撮像データを記憶保存する。
【００３２】
カラー画像再生処理部３０は、撮像データメモリ部２０に記憶保存されている撮像データに関し所定の画像再生処理を施し、例えば、デジタル化されたＮＴＳＣ−ＲＧＢデータに変換し、カラー画像再生表示部４０及び再生画像データメモリ部５０に出力する。
【００３３】
前記カラー画像再生表示部４０は、例えばカラービデオボードとモニタ等を備え、カラー画像再生処理部３０から出力されたカラー画像信号を受け、あるいは、再生画像データメモリ部５０からカラー画像信号を読みだし、カラー画像としてモニタ上に表示する。
【００３４】
再生画像データメモリ部５０は、カラー画像再生処理部３０において画像再生された画像データを記憶保存し、この記憶保存された画像データは必要に応じてカラー画像再生表示部４０に送られカラー画像として表示される。
【００３５】
カラー画像再生処理部３０は、詳述すると、撮像データメモリ部２０からのデジタル撮像データを保持しておくための撮像データ保持機構３１と、撮像データメモリ部２０から撮像データを選択して取り出し撮像データ保持機構３１に出力する撮像データ選択機構３３と、この撮像データ選択部３３が撮像データを選択するための条件等を指示する撮像データ選択指示部（指示手段）３４と、撮像データ保持部３１に選択保持されている撮像データを用いて画像パラメータを決定する画像再生パラメータ決定部３２により決定された画像再生パラメータを用いて撮像データ保持部３１に保持された撮像データの画像再生をする画像再生処理部３５と、このカラー画像再生処理部３０の各部を制御するコントロール部３６とを具備している。
【００３６】
画像再生パラメータ決定部３２が決定する画像再生パラメータとしては、例えば、色温度、ホワイトバランス係数、色成分ゲイン量、ホワイトポイント情報、ブラックポイント情報、ガンマ係数、階調特性、階調変換曲線、階調変換ルックアップテーブル、ニーポイント、ダイナミックレンジ、色域、照明光源情報、色座標変換マトリックス係数、空間周波数特性、ブラックバランス係数、Ｓ／Ｎ比、自己相関係数、ウィナースペクトル、強度（濃度）分布、輝度分布等を示すパラメータ、あるいはこれらの情報より直接、間接に得られるパラメータ等を挙げることができる。
【００３７】
撮像データ選択指示部３４は、撮像データメモリ部２０に蓄えられている複数の撮像データから、一定の条件を満たす撮像データを撮像データ群として扱うために選択的に取り出すための条件を指示できる様になっている。指示条件は、例えば、撮像データから得られる色温度情報や撮像被写体の構図に対する条件や、或は撮像データに付随した情報である撮像時刻、撮像モード、撮像場所、ＥＶ値、絞り値、被写体距離、シャッター速度、ストロボ使用の有無、光学ローパスフィルターの有無等についての一定の条件として与えられる。
【００３８】
図２は本実施例の画像再生装置の画像処理手順を示すフローチャートであって、本プログラムはカラー画像再生処理部３０において実行される。また、撮像データメモリ部２０には既にカラー画像撮像部１０において撮像された複数の撮像データが記憶保持されているものとする。
【００３９】
図２に示されるフローチャートがスタートするとこれを実行するコントロール部３６は、まず撮像データ選択指示部３４の撮像データ選択指示（ステップＳ１）の内容を調べ、該選択指示内容を撮像データ選択部３３に送る。次に、撮像データ選択部３３は、撮像データ選択指示部３４から指示された選択指示内容をもとに、撮像データメモリ部２０に格納されている撮像データの中から該選択指示内容に当てはまる撮像データを選んで撮像データ保持部３１に出力する（Ｓ２）。なお、該選択指示内容に当てはまる撮像データが一枚以下の時は、本プログラムは実行されず、選択撮像データが一枚の時は通常の画像再生処理により撮像データが画像データに変換される。選択撮像データがない時には、その旨の指示がなされ、一連の処理は終了する。
【００４０】
撮像データ保持部３１は、撮像データメモリ部２０から選択出力された撮像データを一時保持する（Ｓ３）。
【００４１】
画像再生パラメータ決定部３２は、撮像データ保持部３１に一時保持された撮像データを用いて、該撮像データを解析し、例えばホワイトバランス調整に必要となる該撮像データ撮像時の光源情報（例えば色温度や或は光源の色度等）を得た後、その光源情報を基に画像再生パラメータが決定される（Ｓ４）。即ち、画像再生パラメータ決定部３２は、撮像データ群として選択され保持された複数の撮像データを用いて、画像再生パラメータが決定され、画像再生処理装置機構３５に送られる。
【００４２】
画像再生処理部３５は、決定された画像再生パラメータを用いて、撮像データ保持部３１が保持する撮像データ群を構成する撮像データを画像データに変換する（Ｓ５）。
【００４３】
次に、複数の撮像データから、一連の撮像データ群として扱うベく、撮像データを選択する条件について列挙する。
【００４４】
撮像データ自身の解析から得られる情報として、色温度情報及び撮像被写体の構図がある。色温度がある一定の範囲内にある複数の撮像データは、相関のある撮像データ群として扱うことが必要な場合がある。特に色温度の推定に用いたサンプル点の点数が少ない場合においては、推定色温度がある一定の範囲内にある複数の撮像データを用いて、再度色温度推定を行うことにより、その推定精度を上げることができ、画像再現を精度良く行うことが可能となる。
【００４５】
撮像被写体の構図が同じである或は良く似ている場合においては、同一撮影条件下で撮影した可能性が高い。従って、その再生パラメータは同じか、ある一定の精度の範囲内で同じものとして扱うことが可能となる。この様な場合においては、複数の撮像データから前記再生パラメータを求めると精度良く再生パラメータを求めることができ、撮像被写体の構図が同じである、或は良く似ている撮像データは一連の撮像データ群で扱うことが有用な場合がある。
【００４６】
撮像データの相関性を把握するのに有用な情報として、例えば撮影時刻（日付）、撮像モード、撮影場所、ＥＶ値、シャッター速度、絞り値、被写体距離、ストロボ使用の有無、光学ローパスフィルターの有無等がある。これらの情報が撮像データに付随する情報として与えられているときは、この情報を解析することにより、一連の撮像データ群を生成することが可能となる。
【００４７】
例えば、撮像時刻がある一定の範囲にある場合においては、明らかに一連の撮像データ群として扱うことが有効である。また、撮像モードが連写モードである一連の撮像データは一つの群として扱うことが有効であることも明らかである。ストロボ使用の有無の情報は、例えば、ストロボ使用時における撮影光源の情報はストロボ光の特性に多く依存するので、ストロボ使用により撮影した複数撮像データを撮像データ群として一括して扱うことは有用である。
【００４８】
また、ＥＶ値、シャッター速度、絞り値、被写体距離等の情報は撮影条件に極めて依存し、再生パラメータを決める上でもそれぞれ強い拘束条件となる。そのため、それらの値が一定の範囲にある撮像データは一つの撮像データ群として扱うと、画像再生を行う場合において非常に効率的になる。
【００４９】
撮影場所についての情報は、被写体像の特性を同一とする情報となり、被写体を精度良く再生する上で非常に有効である。さらに、撮影時刻（日付）等情報と組み合わせて考えると、撮像条件等の変化の情報も得ることができ、その有用性が増すことは明らかである。
【００５０】
上記の例においては、個々の情報についての条件を主にのべたが、上記の条件を組み合わせて条件とすることが有効性を一段と増す場合があることは明らかである。
【００５１】
また、処理条件として、例えば、図３に示すような、空間的に連続性がある複数の撮像データを指定して、合成画像を得る場合などがある。このような場合においては、合成画像として空間での連続性を保持する必要性があり、このため、上記複数の撮像データを一連の撮像データ群として扱って画像再生処理を施すことは非常に有効となる。
【００５２】
或は、図４に示すような、撮影場所情報や撮像データの解析による構図情報により、時間的に連続性をもち、被写体像がほぼ同じであると判定できる撮像データにおいては、本発明の画像再生方法及び装置により、一連の撮像データ群として扱うことにより、時間的な連続性を保った再現画像を得ることができる。
【００５３】
例えば、それが屋外で得られた撮像データであれば、撮影時刻、即ち日照条件の変化にともなう連続的な変化を保持して画像再生ができる。具体的には、被写体像がほぼ同じである複数撮像データから構成される撮像データ群の撮像データに関して、撮影時刻の情報に応じて、画像再生パラメータを連続的に変化させることにより、時間的に連続性を持って再生画像を得ることができる。これにより、突発的な条件変化によって一部の撮像データに生じた外乱を補正して画像再生ができるので、時間的に自然な画像を得ることができる。
【００５４】
また、図５に示すような、時間的に連続性をもち、撮像順的にも連続性を持つ、即ち撮影モードが連写モードである、或は空間的にも連続性を持つ撮像データに関しても、一連の撮像データ群として扱うことにより、個々の撮影データに生じた異質な条件を除外できるので、連続性を保った画像再生が可能となる。
【００５５】
以下、撮像データ自身の解析から得られる情報である色温度情報を用いて、撮像データをグループ化する、即ち一連の撮像データ群とする方法について詳述する。図６にそのフローチャートを示す。
【００５６】
撮像選択指示部３４より与えられる条件は、相関色温度（Ａ（Ｋ））とその選択範囲色温度（±ｄＡ（Ｋ））である。上記相関色温度範囲は、ユーザにより、直接、数値的に入力されることもあれば、あるいは、相関色温度に関連する情報、例えば、昼、夕方、夕焼け、曇、白熱電灯の言葉等、色温度についてユーザが想定できる情報を入力することにより、システム側でそれ等に相当する色温度範囲を予め定義して蓄えておいた記憶部から呼び出して利用することも可能であり、演算により求めることも可能である（図６ステップＳ１１）。また、色温度が想定できる赤い、青白い等の形容詞を用いたり、具体的に色度値や色差値等を利用することも可能である。
【００５７】
上記の条件を指示することにより、撮像データに固有の情報である相関色温度を例えば図７に示す色度図等を用いて指定できる。
【００５８】
【数１】
【００５９】
上記条件が撮像データ選択部３３に送られ、グループ化の条件として利用される。
【００６０】
撮像データ選択部３３では、画像データメモリー部２０に蓄えられている撮像データを順次読み込み（Ｓ１２）、撮像データを解析し色温度に関する情報を抽出し（Ｓ１３）、前記予め指定したグループ化条件を満たすかどうかを判定し（Ｓ１４）、前記条件を満たす場合はその撮像データを撮像データ保持部３１に送る（Ｓ１５）。
【００６１】
【数２】
【００６２】
次に、撮像被写体の構図がグループ化の条件として指示された時に、撮像データをグループ化する方法を説明する。図９にそのフローチャート例を示す。
【００６３】
構図がグループ化の条件として指示された時は、撮像データ選択部３３では、画像データメモリー部２０に蓄えられている撮像データを読み込み（図９ステップＳ２１，Ｓ２２）、構図が確認できる程度の簡易再生を行い（Ｓ２３）、簡易再生画像データを得る。簡易再生は構図が確認できる程度の再生処理で良く、例えば、撮像データから画素間引きを行い、データ量を押さえた上で、輝度データとして再生する程度でよい。
【００６４】
次に、簡易再生画像データを用いてグループ化の判断を行う（Ｓ２９）。画像の類似性等の判断においては、主観によるが判断が一般に効率的であるので、本発明の実施においても主観判断による方法が用いる。即ち、グループ化の判断において、ユーザによる判断指示が期待できる時は、一連の簡易再生画像データをモニター等に表示し（Ｓ２５）、ユーザがグループ化すべき画像を選択する手段を設け、ユーザにより選択された画像に対応する撮像データは順次撮像データ保持部３１に送られ、そこで保持される（Ｓ２６，Ｓ３０）。
【００６５】
例えば、グループ化の判断を自動的に行う場合には、次に示す手続きが行われる。即ち、簡易再生画像データからエッジ成分を抽出したエッジ画像データを形成し、エッジの空間的関係の同一性、相似性等を画像処理技術を応用して検出する（Ｓ２７，Ｓ２８）。そして、同一性、相似性等の解析から得られる空間的相関関係を調べ、相関関係の強い画像は、グループ化の条件を満たす画像として判断し、撮像データ保持部３１に送られ、そこで保持される（Ｓ２９，Ｓ３０）。次に、撮像データに付随する情報を用いて、撮像データをグループ化する方法について説明する。図１０にその動作例を示すフローチャートを示す。
【００６６】
撮像データに付随する情報とそれについての条件が、グループ化の為の条件として撮像データ選択指示部３４に与えられた時は、撮像データ選択部３３では、画像データメモリー部２０に蓄えられている撮像データに、前記条件に対応する情報が付記されているか調べられ、前記情報が付記されている撮像データは順に読み込まれる（図１０ステップＳ３１，Ｓ３２）。ついで、その付随データがグループ化の為の条件を満たしているかどうか調べられる（Ｓ３３，Ｓ３４）。
【００６７】
グループ化の為の条件は、例えば、撮像時刻、ＥＶ値、絞り値、被写体距離、シャッター速度等の数値的にその範囲を設定できる情報であれば、その数値的に示された範囲内に、該情報値があるかどうかが条件となる。撮像モード、撮影場所、ストロボ使用の有無、光学ローパスフィルターの有無等の情報のように数値的に示すことが困難な情報を用いる時の条件は例えば、地名、モード名、有無が一致するかどうかが条件となる。あるいは、撮像モードによるグループ化の情報（一連の連写モードでとられた撮像データには同一のマークが付与されている）や撮像場所によるグループ化の情報（同一場所で撮像されたデータには同一マークが付与されている）等が、付随データとして与えられている時には、付与マークが一致する条件となる。条件を満たしている撮像データは順に撮像データ保持部３１に送られ（Ｓ３５，Ｓ３６）、そこで保持される。
【００６８】
次に、画像再生時に、例えば特開平７−１３１７９６号公報に開示されているダイナミックレンジを拡大して合成画像を得ることを目的とする場合や、例えば、特開平５−１８３７８９号公報に開示されているような複数の撮像データから広角撮像画像を得るパノラマ画像合成の手法により合成画像を得る場合において、撮像データをグループ化する方法について説明する。この様な場合においては、撮像時に、ある合成画像を得るための撮像データであることが付随情報として付与されることが望ましい。そのような場合においは、本実施例は、上記付随情報をもとに、撮像データ群を構成する撮像データを選択し、グループ化する。あるいは、構図情報を用いて、撮像データをグループ化時に示したように、撮像データを簡易再生し、グループ化判断を行い、撮像データをグループ化する事もできる。また、合成画像を得る処理においては、処理実行時に予め、画像データメモリー部２０にあるデータはすべてグループとして扱う撮像データとしても選択されている場合もある。この様な場合には、本発明は画像データメモリ部２０にある撮像データはすべて一連の撮像データとして扱い画像再生を行う。
【００６９】
上記に示した実施例に見られるように、本発明の主旨は、撮像データを画像信号に変換する際に、一定の条件を満たす複数の撮像データを一連の撮像データ群として扱い、この一連の撮像データ群から前記画像再生パラメータを求め、この画像再生パラメータを用いて、前記撮像データ群に属する撮像データを画像データに変換することにある。従って、前記の本発明の主旨を逸脱しない範囲において、様々なシーケンス処理が考えられる。これらのシーケンス処理は例えば、論理化されあるいはソフトウエア化され、または前記の本発明の主旨を逸脱しない範囲においてアルゴリズム化され、このアルゴリズムに従って動作するハードウエアや装置として応用可能である。
【００７０】
【発明の効果】
以上説明したように、本発明によれば、一定の条件を満たす複数の撮像データを選択し、該選択した複数の選択撮像データからなる一連の撮像データ群を形成し、該選択された複数の選択撮像データを解析することにより画像再生パラメータを求め、この画像再生パラメータを用いて、前記撮像データ群に属する撮像データを画像データに変換することができるので、従来の画像再生処理の方法のように、画像再生パラメータを該撮像データから決めようとすると一般にパラメータ決定の為の条件が満たされなくなり、精度良くパラメータを求めることができなくなることがある、といった様な問題に本発明は対応がとれ、より正確な画像再生パラメータを用いて撮像データを画像データに変換することが可能となり、正確な画像再現が可能となる。また、画像（撮像データ）毎に異なった画像再生パラメータを使用して再生処理が行われることにより生じる撮像データ間の相関関係の消失等も防止でき、画像間の情報や相関関係を保持した、より正確な画像再生パラメータを用いて撮像データを画像データに変換することができるので、自然で正確な画像を再生することができる。
【図面の簡単な説明】
【図１】 本発明に係わる画像再生装置の一実施例を示すブロック図である。
【図２】 本発明に係わる一実施例の動作を示すフローチャートである。
【図３】 本発明の一実施例に係わる被写体撮像例を模式的に示した説明図である。
【図４】 本発明の一実施例に係わる被写体撮像例を模式的に示した説明図である。
【図５】 本発明の一実施例に係わる被写体撮像例を模式的に示した説明図である。
【図６】 本発明の一実施例の動作を示すフローチャートである。
【図７】 本発明の一実施例において与えられる撮像データ選択条件を模式的に示した説明図である。
【図８】 本発明の一実施例において用いる撮像データ選択条件範囲を模式的に示した説明図
【図９】 本発明の一実施例の動作を示すフローチャートである。
【図１０】 本発明の一実施例の動作を示すフローチャートである。
【符号の説明】
１０ カラー画像撮像部（撮像手段）
２０ 撮像データメモリー部（記憶手段）
３０ カラー画像再生処理部
３１ 撮像データ保持部
３２ 画像再生パラメータ決定部（決定手段）
３３ 撮像データ選択部
３４ 撮像データ選択指示部（指示手段）
３５ 画像再生処理部
３６ コントロール部
４０ カラー画像再生表示部
５０ 再生画像データメモリー部
【発明の属する技術分野】
本発明は、撮像管やＣＣＤ等の撮像素子により得られる撮像信号に対して、その撮像データを可視化できる画像信号、例えばＮＴＳＣ−ＲＧＢ等に変換する画像再生方法及び画像再生装置の技術分野に属するものである。
【０００２】
【従来の技術】
従来より、ＣＣＤ等の撮像素子を利用したテレビカメラ等の画像再生装置においては、撮像素子やカラーフィルターの経年変化や照明光源の変化に関わらず、見た目に同じ印象が常に得られるように、或はできるだけ忠実な再生画像が得られるように、撮像データから画像データを得る画像再生処理時に、前記撮像データから画像再生パラメータの一部を決定することが一般的に行われている。画像再生パラメータとしては、例えば、色温度や再生輝度レベル等があり、画像再生パラメータはこれら色温度を補正したり再生輝度レベルを設定する際に使われる。 色温度の補正においては、具体的には、いわゆるホライトバランス調整が行われ、白色と見えるべき物体は白色に見える用に調整される。そして、この色温度補正は、一般には、撮像された画像データに基づいて判断されて行われる。即ち、画像データから白色と見えるべき物体を抽出し、これから画像再生パラメータの一部であるホワイトバランス係数が決められる。ホワイトバランス調整においては、このホワイトバランス係数を用いて、撮像素子の出力する映像信号を構成する複数の色成分信号にそれぞれゲインを与えて補正する事により、白色と見えるべき物体に対し、その映像信号を構成する各色成分の信号の出力レベルが等しくなるように調整される。
【０００３】
再生輝度レベルの設定は、撮像データから輝度分布を算出し、最適な再生輝度レベル（範囲）を設定し、その範囲において再生画像が得られるようにパラメータが調整され、再生される。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記ホワイトバランス調整により映像の色合いを調整する方法等では、撮像素子等から得られる映像信号中に白色に見えるべき物体（被写体）が十分に存在する時は有効であるが、特定の状況においては撮像信号中に白色に見えるべき物体（被写体）がない場合や、あっても非常に少ない場合があり、この様な状況においてはホワイトバランス調整により色合いを調整する事は原理的に不可能となる。一般に、この様な状況においては、該状態を回避するために、撮像データ全体の撮像信号を各色成分毎に平均化し、該平均値を用いてホワイトバランス調整が行われることがあるが、該方法では、求めた平均値に示される色が白色（光源の色）であるとは限らず、精度良くホワイトバランス調整を行うことはできない。
【０００５】
このように従来の画像再生装置においては、最適な再生画像を得るために画像再生処理を行う場合、画像再生パラメータを前記撮像データから決めようとすると、精度良くパラメータを設定することができないという問題があった。
【０００６】
また、再生輝度レベルの設定においては、個々の撮像データ毎に輝度の再生パラメータを決定すると画像比較等を行う場合や画像合成処理等を行う場合に比較する複数枚の撮像データ間の輝度の相関関係等が失われ、再生画像間の比較が困難となったり、あるいは再生合成画像において輝度のつながりが不自然になる等の不具合が生じる場合があるという問題があった。
【０００７】
例えば、撮影領域の関係で、本来なら同一画面として撮像したい被写体を分割して撮像し、複数枚の撮像データを得たときに上記不具合が明らかになる。
【０００８】
即ち、画像情報により求めた画像再生パラメータを用いて得られる再生画像は、個々の撮像データについて個別の画像再生パラメータが得られるため、輝度情報により物性情報等を得る場合の様に、複数枚の画像を比較解析し画像間の情報を抽出する際に用いる再生画像を得ることができない。或は、被写体の反射率が空間的に徐々に変化している場合は、これを分割撮像して得られた個々の撮像データにおいては輝度レベル（範囲）に違いが生じており、これを各撮像データ毎に最適化して画像再生を行うと、本来各撮像領域にあった輝度の相関関係が失われた画像として再現され、従って、各撮像領域を撮像した画像を合成して一枚の画像とすると輝度の相関関係が失われた不自然な合成画像になるという問題があった。
【０００９】
本発明はこの様な問題点を解消するためになされたものであって、所望の正確な画像再生を行うことができる画像再生方法及び画像再生装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】
上記目的を達成するため、本発明では、画像再生方法を次の（１）ないし（６）述通りに、画像再生装置を次の（７）ないし（１２）のとおりに構成する。
（１）撮像手段によって撮像された可視化以前の撮像データを画像再生パラメータを用いて可視化可能な画像データに変換する画像再生方法であって、
撮影された前記可視化以前の撮像データは撮像データメモリに記憶され、該撮像データメモリに記憶された複数の撮像データから、予め指示される一定の条件を満たす複数の撮像データが選択され、該選択された複数の選択撮像データからなる一連の撮像データ群を形成し、該選択された複数の選択撮像データを解析することにより前記の画像再生パラメータを求め、この画像再生パラメータを用いて前記撮像データ群に属する撮像データを可視化可能な画像データに変換する画像再生方法。
（２）前記一定の条件を満たす複数の撮像データからなる一連の撮像データ群は、撮像データを解析して得られる色温度データが予め指定する色温度データ範囲内にある撮像データからなる前記（１）記載の画像再生方法。
（３）前記一定の条件を満たす複数の撮像データからなる一連の撮像データ群は、撮像データを簡易再生して表示される画像群よりユーザーが選択する撮像データからなる前記（１）記載の画像再生方法。
（４）前記撮像データは付随した情報として撮像時刻、ＥＶ値、絞り値、被写体距離、シャッター速度のいずれか或はその組み合わせを有するものであって、前記一定の条件を満たす複数の撮像データからなる一連の撮像データ群は、前記付随した情報である、撮像時刻、ＥＶ値、絞り値、被写体距離、シャッター速度のいずれか或はその組み合わせの情報が、予め数値的に指定する範囲内にある撮像データからなる前記（１）記載の画像再生方法。
（５）前記撮像データは付随した情報として、撮像モード、撮像場所、ストロボ使用の有無、光学ローパスフィルターの有無のいずれか或はその組み合わせを有するものであって、前記一定の条件を満たす複数の撮像データからなる一連の撮像データ群は、前記付随した情報である、撮像モード、撮像場所、ストロボ使用の有無、光学ローパスフィルターの有無のいずれか或はその組み合わせの情報が、予め指定する条件を満たす撮像データからなる前記（１）記載の画像再生方法。
（６）前記一定の条件を満たす複数の撮像データからなる一連の撮像データ群は、合成画像を形成するための撮像データであることを示す付随情報を持つ撮像データからなる前記（１）記載の画像再生方法。
（７）撮像手段によって撮像された可視化以前の撮像データを画像再生パラメータを用いて可視化可能な画像データに変換する画像再生装置であって、
撮像された撮像データを記憶する撮像データメモリ手段と、撮像データ選択の条件を指示する撮像データ選択指示手段と、前記撮像データメモリ手段から撮像データを選択する撮像データ選択手段と、該撮像データ選択手段が選択した撮像データを保持する撮像データ保持手段と、該撮像データ保持手段に保持されている選択された撮像データを用いて画像再生パラメータを決定する画像再生パラメータ決定手段と、該画像再生パラメータ決定手段により決定された画像再生パラメータを用いて前記撮像データ保持手段に保持された撮像データの画像再生をする画像再生処理手段を備え、
前記撮像データメモリに記憶された複数の画像データから前記撮像データ選択手段により指示された一定の条件を満たす複数の撮像データを選択し、該選択した複数の選択撮像データからなる一連の撮像データ群を形成し、該選択した複数の選択撮像データを解析することにより前記の画像再生パラメータを求め、前記画像再生処理手段は、前記画像再生パラメータを用いて前記撮像データ群に属する撮像データを可視化可能な画像データに変換する画像再生装置。
（８）前記一定の条件を満たす複数の撮像データからなる一連の撮像データ群は、撮像データを解析して得られる色温度データが予め指定する色温度データ範囲内にある撮像デ ータからなる前記（７）記載の画像再生装置。
（９）前記一定の条件を満たす複数の撮像データからなる一連の撮像データ群は、撮像データを簡易再生して表示される画像群よりユーザーが選択する撮像データからなる前記（７）記載の画像再生装置。
（１０）前記撮像データは付随した情報として撮像時刻、ＥＶ値、絞り値、被写体距離、シャッター速度のいずれか或はその組み合わせを有するものであって、前記一定の条件を満たす複数の撮像データからなる一連の撮像データ群は、前記付随した情報である、撮像時刻、ＥＶ値、絞り値、被写体距離、シャッター速度のいずれか或はその組み合わせの情報が、予め数値的に指定する範囲内にある撮像データからなる前記（７）記載の画像再生装置。
（１１）前記撮像データは付随した情報として、撮像モード、撮像場所、ストロボ使用の有無、光学ローパスフィルターの有無のいずれか或はその組み合わせを有するものであって、前記一定の条件を満たす複数の撮像データからなる一連の撮像データ群は、前記付随した情報である、撮像モード、撮像場所、ストロボ使用の有無、光学ローパスフィルターの有無のいずれか或はその組み合わせの情報が、予め指定する条件を満たす撮像データからなる前記（７）記載の画像再生装置。
（１２）前記一定の条件を満たす複数の撮像データからなる一連の撮像データ群は、合成画像を形成するための撮像データであることを示す付随情報を持つ撮像データからなる前記（７）記載の画像再生装置。
【００２２】
本発明は、上記の各構成によって、前記の目的を達成するものである。
【００２３】
【発明の実施の形態】
前記目的を達成するため本発明は、撮像手段によって撮像された撮像データを画像再生パラメータを用いて可視化可能な画像信号に変換する画像再生方法及び画像再生装置において、一定の条件を満たす複数の撮像データからなる一連の撮像データ群として、この一連の撮像データ群から前記画像再生パラメータを求め、この画像再生パラメータを用いて、前記撮像データ群に属する撮像データを画像データに変換することを特徴とする。
【００２４】
さらに、前記一定の条件を満たす複数の撮像データからなる一連の撮像データ群は、撮像データを解析して得られる色温度データが予め指定する色温度データ範囲内にあることを特徴とする
また、前記一定の条件を満たす複数の撮像データからなる一連の撮像データ群は、撮像データを簡易再生して表示される撮像被写体の構図が類似しているという条件のもとにユーザにより選択されたものであることを特徴とする。
【００２５】
また、前記一定の条件を満たす複数の撮像データからなる一連の撮像データ群は、撮像データに付随した情報である、撮像時刻、ＥＶ値、絞り値、被写体距離、シャッター速度のいずれか、あるいはその組み合わせ情報が予め数値的に指定する範囲内にあることを特徴とする。
【００２６】
また、前記一定の条件を満たす複数の撮像データからなる一連の撮像データ群は、撮像データに付随した情報である、撮像モード、撮像場所、ストロボ使用の有無、光学ローパスフィルターの有無のいずれか、あるいはその組み合わせの情報が予め指定する条件を満たすことを特徴とする。
【００２７】
また、前記一定の条件を満たす複数の撮像データからなる一連の撮像データ群は、合成画像を形成する撮像データとしての情報を持つ、あるいは合成画像を形成する撮像データとして選択された複数の撮像データからなることを特徴とする実施である。
【００２８】
上記画像再生方法及び画像再生装置によれば、関連する複数枚の撮像データを一連の撮像データ群として扱い、その撮像データを群を用いて、最適な画像再生パラメータが求められ、その画像再生パラメータを用いて、撮像データ群を構成する撮像データが画像データに変換される。
【００２９】
【実施例】
以下、本発明の実施例を図面を参照して説明する。
【００３０】
図１は本発明に係わる画像再生装置の一実施例を示すブロック図である。
【００３１】
１０はデジタルカメラ等のカラー画像撮像部であって、被写体を撮像し該被写体画像データを二次元のデジタル撮像データ（以下、単に「撮像データ」という）として撮像データメモリ部２０に出力する。そして、撮像データメモリ部２０は、カラー画像撮像部１０から送られてきた前記撮像データを記憶保存する。
【００３２】
カラー画像再生処理部３０は、撮像データメモリ部２０に記憶保存されている撮像データに関し所定の画像再生処理を施し、例えば、デジタル化されたＮＴＳＣ−ＲＧＢデータに変換し、カラー画像再生表示部４０及び再生画像データメモリ部５０に出力する。
【００３３】
前記カラー画像再生表示部４０は、例えばカラービデオボードとモニタ等を備え、カラー画像再生処理部３０から出力されたカラー画像信号を受け、あるいは、再生画像データメモリ部５０からカラー画像信号を読みだし、カラー画像としてモニタ上に表示する。
【００３４】
再生画像データメモリ部５０は、カラー画像再生処理部３０において画像再生された画像データを記憶保存し、この記憶保存された画像データは必要に応じてカラー画像再生表示部４０に送られカラー画像として表示される。
【００３５】
カラー画像再生処理部３０は、詳述すると、撮像データメモリ部２０からのデジタル撮像データを保持しておくための撮像データ保持機構３１と、撮像データメモリ部２０から撮像データを選択して取り出し撮像データ保持機構３１に出力する撮像データ選択機構３３と、この撮像データ選択部３３が撮像データを選択するための条件等を指示する撮像データ選択指示部（指示手段）３４と、撮像データ保持部３１に選択保持されている撮像データを用いて画像パラメータを決定する画像再生パラメータ決定部３２により決定された画像再生パラメータを用いて撮像データ保持部３１に保持された撮像データの画像再生をする画像再生処理部３５と、このカラー画像再生処理部３０の各部を制御するコントロール部３６とを具備している。
【００３６】
画像再生パラメータ決定部３２が決定する画像再生パラメータとしては、例えば、色温度、ホワイトバランス係数、色成分ゲイン量、ホワイトポイント情報、ブラックポイント情報、ガンマ係数、階調特性、階調変換曲線、階調変換ルックアップテーブル、ニーポイント、ダイナミックレンジ、色域、照明光源情報、色座標変換マトリックス係数、空間周波数特性、ブラックバランス係数、Ｓ／Ｎ比、自己相関係数、ウィナースペクトル、強度（濃度）分布、輝度分布等を示すパラメータ、あるいはこれらの情報より直接、間接に得られるパラメータ等を挙げることができる。
【００３７】
撮像データ選択指示部３４は、撮像データメモリ部２０に蓄えられている複数の撮像データから、一定の条件を満たす撮像データを撮像データ群として扱うために選択的に取り出すための条件を指示できる様になっている。指示条件は、例えば、撮像データから得られる色温度情報や撮像被写体の構図に対する条件や、或は撮像データに付随した情報である撮像時刻、撮像モード、撮像場所、ＥＶ値、絞り値、被写体距離、シャッター速度、ストロボ使用の有無、光学ローパスフィルターの有無等についての一定の条件として与えられる。
【００３８】
図２は本実施例の画像再生装置の画像処理手順を示すフローチャートであって、本プログラムはカラー画像再生処理部３０において実行される。また、撮像データメモリ部２０には既にカラー画像撮像部１０において撮像された複数の撮像データが記憶保持されているものとする。
【００３９】
図２に示されるフローチャートがスタートするとこれを実行するコントロール部３６は、まず撮像データ選択指示部３４の撮像データ選択指示（ステップＳ１）の内容を調べ、該選択指示内容を撮像データ選択部３３に送る。次に、撮像データ選択部３３は、撮像データ選択指示部３４から指示された選択指示内容をもとに、撮像データメモリ部２０に格納されている撮像データの中から該選択指示内容に当てはまる撮像データを選んで撮像データ保持部３１に出力する（Ｓ２）。なお、該選択指示内容に当てはまる撮像データが一枚以下の時は、本プログラムは実行されず、選択撮像データが一枚の時は通常の画像再生処理により撮像データが画像データに変換される。選択撮像データがない時には、その旨の指示がなされ、一連の処理は終了する。
【００４０】
撮像データ保持部３１は、撮像データメモリ部２０から選択出力された撮像データを一時保持する（Ｓ３）。
【００４１】
画像再生パラメータ決定部３２は、撮像データ保持部３１に一時保持された撮像データを用いて、該撮像データを解析し、例えばホワイトバランス調整に必要となる該撮像データ撮像時の光源情報（例えば色温度や或は光源の色度等）を得た後、その光源情報を基に画像再生パラメータが決定される（Ｓ４）。即ち、画像再生パラメータ決定部３２は、撮像データ群として選択され保持された複数の撮像データを用いて、画像再生パラメータが決定され、画像再生処理装置機構３５に送られる。
【００４２】
画像再生処理部３５は、決定された画像再生パラメータを用いて、撮像データ保持部３１が保持する撮像データ群を構成する撮像データを画像データに変換する（Ｓ５）。
【００４３】
次に、複数の撮像データから、一連の撮像データ群として扱うベく、撮像データを選択する条件について列挙する。
【００４４】
撮像データ自身の解析から得られる情報として、色温度情報及び撮像被写体の構図がある。色温度がある一定の範囲内にある複数の撮像データは、相関のある撮像データ群として扱うことが必要な場合がある。特に色温度の推定に用いたサンプル点の点数が少ない場合においては、推定色温度がある一定の範囲内にある複数の撮像データを用いて、再度色温度推定を行うことにより、その推定精度を上げることができ、画像再現を精度良く行うことが可能となる。
【００４５】
撮像被写体の構図が同じである或は良く似ている場合においては、同一撮影条件下で撮影した可能性が高い。従って、その再生パラメータは同じか、ある一定の精度の範囲内で同じものとして扱うことが可能となる。この様な場合においては、複数の撮像データから前記再生パラメータを求めると精度良く再生パラメータを求めることができ、撮像被写体の構図が同じである、或は良く似ている撮像データは一連の撮像データ群で扱うことが有用な場合がある。
【００４６】
撮像データの相関性を把握するのに有用な情報として、例えば撮影時刻（日付）、撮像モード、撮影場所、ＥＶ値、シャッター速度、絞り値、被写体距離、ストロボ使用の有無、光学ローパスフィルターの有無等がある。これらの情報が撮像データに付随する情報として与えられているときは、この情報を解析することにより、一連の撮像データ群を生成することが可能となる。
【００４７】
例えば、撮像時刻がある一定の範囲にある場合においては、明らかに一連の撮像データ群として扱うことが有効である。また、撮像モードが連写モードである一連の撮像データは一つの群として扱うことが有効であることも明らかである。ストロボ使用の有無の情報は、例えば、ストロボ使用時における撮影光源の情報はストロボ光の特性に多く依存するので、ストロボ使用により撮影した複数撮像データを撮像データ群として一括して扱うことは有用である。
【００４８】
また、ＥＶ値、シャッター速度、絞り値、被写体距離等の情報は撮影条件に極めて依存し、再生パラメータを決める上でもそれぞれ強い拘束条件となる。そのため、それらの値が一定の範囲にある撮像データは一つの撮像データ群として扱うと、画像再生を行う場合において非常に効率的になる。
【００４９】
撮影場所についての情報は、被写体像の特性を同一とする情報となり、被写体を精度良く再生する上で非常に有効である。さらに、撮影時刻（日付）等情報と組み合わせて考えると、撮像条件等の変化の情報も得ることができ、その有用性が増すことは明らかである。
【００５０】
上記の例においては、個々の情報についての条件を主にのべたが、上記の条件を組み合わせて条件とすることが有効性を一段と増す場合があることは明らかである。
【００５１】
また、処理条件として、例えば、図３に示すような、空間的に連続性がある複数の撮像データを指定して、合成画像を得る場合などがある。このような場合においては、合成画像として空間での連続性を保持する必要性があり、このため、上記複数の撮像データを一連の撮像データ群として扱って画像再生処理を施すことは非常に有効となる。
【００５２】
或は、図４に示すような、撮影場所情報や撮像データの解析による構図情報により、時間的に連続性をもち、被写体像がほぼ同じであると判定できる撮像データにおいては、本発明の画像再生方法及び装置により、一連の撮像データ群として扱うことにより、時間的な連続性を保った再現画像を得ることができる。
【００５３】
例えば、それが屋外で得られた撮像データであれば、撮影時刻、即ち日照条件の変化にともなう連続的な変化を保持して画像再生ができる。具体的には、被写体像がほぼ同じである複数撮像データから構成される撮像データ群の撮像データに関して、撮影時刻の情報に応じて、画像再生パラメータを連続的に変化させることにより、時間的に連続性を持って再生画像を得ることができる。これにより、突発的な条件変化によって一部の撮像データに生じた外乱を補正して画像再生ができるので、時間的に自然な画像を得ることができる。
【００５４】
また、図５に示すような、時間的に連続性をもち、撮像順的にも連続性を持つ、即ち撮影モードが連写モードである、或は空間的にも連続性を持つ撮像データに関しても、一連の撮像データ群として扱うことにより、個々の撮影データに生じた異質な条件を除外できるので、連続性を保った画像再生が可能となる。
【００５５】
以下、撮像データ自身の解析から得られる情報である色温度情報を用いて、撮像データをグループ化する、即ち一連の撮像データ群とする方法について詳述する。図６にそのフローチャートを示す。
【００５６】
撮像選択指示部３４より与えられる条件は、相関色温度（Ａ（Ｋ））とその選択範囲色温度（±ｄＡ（Ｋ））である。上記相関色温度範囲は、ユーザにより、直接、数値的に入力されることもあれば、あるいは、相関色温度に関連する情報、例えば、昼、夕方、夕焼け、曇、白熱電灯の言葉等、色温度についてユーザが想定できる情報を入力することにより、システム側でそれ等に相当する色温度範囲を予め定義して蓄えておいた記憶部から呼び出して利用することも可能であり、演算により求めることも可能である（図６ステップＳ１１）。また、色温度が想定できる赤い、青白い等の形容詞を用いたり、具体的に色度値や色差値等を利用することも可能である。
【００５７】
上記の条件を指示することにより、撮像データに固有の情報である相関色温度を例えば図７に示す色度図等を用いて指定できる。
【００５８】
【数１】
上記条件が撮像データ選択部３３に送られ、グループ化の条件として利用される。
【００６０】
撮像データ選択部３３では、画像データメモリー部２０に蓄えられている撮像データを順次読み込み（Ｓ１２）、撮像データを解析し色温度に関する情報を抽出し（Ｓ１３）、前記予め指定したグループ化条件を満たすかどうかを判定し（Ｓ１４）、前記条件を満たす場合はその撮像データを撮像データ保持部３１に送る（Ｓ１５）。
【００６１】
【数２】
次に、撮像被写体の構図がグループ化の条件として指示された時に、撮像データをグループ化する方法を説明する。図９にそのフローチャート例を示す。
【００６３】
構図がグループ化の条件として指示された時は、撮像データ選択部３３では、画像データメモリー部２０に蓄えられている撮像データを読み込み（図９ステップＳ２１，Ｓ２２）、構図が確認できる程度の簡易再生を行い（Ｓ２３）、簡易再生画像データを得る。簡易再生は構図が確認できる程度の再生処理で良く、例えば、撮像データから画素間引きを行い、データ量を押さえた上で、輝度データとして再生する程度でよい。
【００６４】
次に、簡易再生画像データを用いてグループ化の判断を行う（Ｓ２９）。画像の類似性等の判断においては、主観によるが判断が一般に効率的であるので、本発明の実施においても主観判断による方法が用いる。即ち、グループ化の判断において、ユーザによる判断指示が期待できる時は、一連の簡易再生画像データをモニター等に表示し（Ｓ２５）、ユーザがグループ化すべき画像を選択する手段を設け、ユーザにより選択された画像に対応する撮像データは順次撮像データ保持部３１に送られ、そこで保持される（Ｓ２６，Ｓ３０）。
【００６５】
例えば、グループ化の判断を自動的に行う場合には、次に示す手続きが行われる。即ち、簡易再生画像データからエッジ成分を抽出したエッジ画像データを形成し、エッジの空間的関係の同一性、相似性等を画像処理技術を応用して検出する（Ｓ２７，Ｓ２８）。そして、同一性、相似性等の解析から得られる空間的相関関係を調べ、相関関係の強い画像は、グループ化の条件を満たす画像として判断し、撮像データ保持部３１に送られ、そこで保持される（Ｓ２９，Ｓ３０）。次に、撮像データに付随する情報を用いて、撮像データをグループ化する方法について説明する。図１０にその動作例を示すフローチャートを示す。
【００６６】
撮像データに付随する情報とそれについての条件が、グループ化の為の条件として撮像データ選択指示部３４に与えられた時は、撮像データ選択部３３では、画像データメモリー部２０に蓄えられている撮像データに、前記条件に対応する情報が付記されているか調べられ、前記情報が付記されている撮像データは順に読み込まれる（図１０ステップＳ３１，Ｓ３２）。ついで、その付随データがグループ化の為の条件を満たしているかどうか調べられる（Ｓ３３，Ｓ３４）。
【００６７】
グループ化の為の条件は、例えば、撮像時刻、ＥＶ値、絞り値、被写体距離、シャッター速度等の数値的にその範囲を設定できる情報であれば、その数値的に示された範囲内に、該情報値があるかどうかが条件となる。撮像モード、撮影場所、ストロボ使用の有無、光学ローパスフィルターの有無等の情報のように数値的に示すことが困難な情報を用いる時の条件は例えば、地名、モード名、有無が一致するかどうかが条件となる。あるいは、撮像モードによるグループ化の情報（一連の連写モードでとられた撮像データには同一のマークが付与されている）や撮像場所によるグループ化の情報（同一場所で撮像されたデータには同一マークが付与されている）等が、付随データとして与えられている時には、付与マークが一致する条件となる。条件を満たしている撮像データは順に撮像データ保持部３１に送られ（Ｓ３５，Ｓ３６）、そこで保持される。
【００６８】
次に、画像再生時に、例えば特開平７−１３１７９６号公報に開示されているダイナミックレンジを拡大して合成画像を得ることを目的とする場合や、例えば、特開平５−１８３７８９号公報に開示されているような複数の撮像データから広角撮像画像を得るパノラマ画像合成の手法により合成画像を得る場合において、撮像データをグループ化する方法について説明する。この様な場合においては、撮像時に、ある合成画像を得るための撮像データであることが付随情報として付与されることが望ましい。そのような場合においは、本実施例は、上記付随情報をもとに、撮像データ群を構成する撮像データを選択し、グループ化する。あるいは、構図情報を用いて、撮像データをグループ化時に示したように、撮像データを簡易再生し、グループ化判断を行い、撮像データをグループ化する事もできる。また、合成画像を得る処理においては、処理実行時に予め、画像データメモリー部２０にあるデータはすべてグループとして扱う撮像データとしても選択されている場合もある。この様な場合には、本発明は画像データメモリ部２０にある撮像データはすべて一連の撮像データとして扱い画像再生を行う。
【００６９】
上記に示した実施例に見られるように、本発明の主旨は、撮像データを画像信号に変換する際に、一定の条件を満たす複数の撮像データを一連の撮像データ群として扱い、この一連の撮像データ群から前記画像再生パラメータを求め、この画像再生パラメータを用いて、前記撮像データ群に属する撮像データを画像データに変換することにある。従って、前記の本発明の主旨を逸脱しない範囲において、様々なシーケンス処理が考えられる。これらのシーケンス処理は例えば、論理化されあるいはソフトウエア化され、または前記の本発明の主旨を逸脱しない範囲においてアルゴリズム化され、このアルゴリズムに従って動作するハードウエアや装置として応用可能である。
【００７０】
【発明の効果】
以上説明したように、本発明によれば、一定の条件を満たす複数の撮像データを選択し、該選択した複数の選択撮像データからなる一連の撮像データ群を形成し、該選択された複数の選択撮像データを解析することにより画像再生パラメータを求め、この画像再生パラメータを用いて、前記撮像データ群に属する撮像データを画像データに変換することができるので、従来の画像再生処理の方法のように、画像再生パラメータを該撮像データから決めようとすると一般にパラメータ決定の為の条件が満たされなくなり、精度良くパラメータを求めることができなくなることがある、といった様な問題に本発明は対応がとれ、より正確な画像再生パラメータを用いて撮像データを画像データに変換することが可能となり、正確な画像再現が可能となる。また、画像（撮像データ）毎に異なった画像再生パラメータを使用して再生処理が行われることにより生じる撮像データ間の相関関係の消失等も防止でき、画像間の情報や相関関係を保持した、より正確な画像再生パラメータを用いて撮像データを画像データに変換することができるので、自然で正確な画像を再生することができる。
【図面の簡単な説明】
【図１】 本発明に係わる画像再生装置の一実施例を示すブロック図である。
【図２】 本発明に係わる一実施例の動作を示すフローチャートである。
【図３】 本発明の一実施例に係わる被写体撮像例を模式的に示した説明図である。
【図４】 本発明の一実施例に係わる被写体撮像例を模式的に示した説明図である。
【図５】 本発明の一実施例に係わる被写体撮像例を模式的に示した説明図である。
【図６】 本発明の一実施例の動作を示すフローチャートである。
【図７】 本発明の一実施例において与えられる撮像データ選択条件を模式的に示した説明図である。
【図８】 本発明の一実施例において用いる撮像データ選択条件範囲を模式的に示した説明図
【図９】 本発明の一実施例の動作を示すフローチャートである。
【図１０】 本発明の一実施例の動作を示すフローチャートである。
【符号の説明】
１０ カラー画像撮像部（撮像手段）
２０ 撮像データメモリー部（記憶手段）
３０ カラー画像再生処理部
３１ 撮像データ保持部
３２ 画像再生パラメータ決定部（決定手段）
３３ 撮像データ選択部
３４ 撮像データ選択指示部（指示手段）
３５ 画像再生処理部
３６ コントロール部
４０ カラー画像再生表示部
５０ 再生画像データメモリー部
Claims (12)
- 撮像手段によって撮像された可視化以前の撮像データを画像再生パラメータを用いて可視化可能な画像データに変換する画像再生方法であって、
撮影された前記可視化以前の撮像データは撮像データメモリに記憶され、該撮像データメモリに記憶された複数の撮像データから、予め指示される一定の条件を満たす複数の撮像データが選択され、該選択された複数の選択撮像データからなる一連の撮像データ群を形成し、該選択された複数の選択撮像データを解析することにより前記の画像再生パラメータを求め、この画像再生パラメータを用いて前記撮像データ群に属する撮像データを可視化可能な画像データに変換することを特徴とする画像再生方法。 - 前記一定の条件を満たす複数の撮像データからなる一連の撮像データ群は、撮像データを解析して得られる色温度データが予め指定する色温度データ範囲内にある撮像データからなることを特徴とする請求項１記載の画像再生方法。
- 前記一定の条件を満たす複数の撮像データからなる一連の撮像データ群は、撮像データを簡易再生して表示される画像群よりユーザーが選択する撮像データからなることを特徴とする請求項１記載の画像再生方法。
- 前記撮像データは付随した情報として撮像時刻、ＥＶ値、絞り値、被写体距離、シャッター速度のいずれか或はその組み合わせを有するものであって、前記一定の条件を満たす複数の撮像データからなる一連の撮像データ群は、前記付随した情報である、撮像時刻、ＥＶ値、絞り値、被写体距離、シャッター速度のいずれか或はその組み合わせの情報が、予め数値的に指定する範囲内にある撮像データからなることを特徴とする請求項１記載の画像再生方法。
- 前記撮像データは付随した情報として、撮像モード、撮像場所、ストロボ使用の有無、光学ローパスフィルターの有無のいずれか或はその組み合わせを有するものであって、前記一定の条件を満たす複数の撮像データからなる一連の撮像データ群は、前記付随した情報である、撮像モード、撮像場所、ストロボ使用の有無、光学ローパスフィルターの有無のいずれか或はその組み合わせの情報が、予め指定する条件を満たす撮像データからなることを特徴とする請求項１記載の画像再生方法。
- 前記一定の条件を満たす複数の撮像データからなる一連の撮像データ群は、合成画像を形成するための撮像データであることを示す付随情報を持つ撮像データからなることを特徴とする請求項１記載の画像再生方法。
- 撮像手段によって撮像された可視化以前の撮像データを画像再生パラメータを用いて可視化可能な画像データに変換する画像再生装置であって、
撮像された撮像データを記憶する撮像データメモリ手段と、撮像データ選択の条件を指示する撮像データ選択指示手段と、前記撮像データメモリ手段から撮像データを選択する撮像データ選択手段と、該撮像データ選択手段が選択した撮像データを保持する撮像データ保持手段と、該撮像データ保持手段に保持されている選択された撮像データを用いて画像再生パラメータを決定する画像再生パラメータ決定手段と、該画像再生パラメータ決定手段により決定された画像再生パラメータを用いて前記撮像データ保持手段に保持された撮像データの画像再生をする画像再生処理手段を備え、
前記撮像データメモリに記憶された複数の画像データから前記撮像データ選択手段により指示された一定の条件を満たす複数の撮像データを選択し、該選択した複数の選択撮像データからなる一連の撮像データ群を形成し、該選択した複数の選択撮像データを解析することにより前記の画像再生パラメータを求め、前記画像再生処理手段は、前記画像再生パラメータを用いて前記撮像データ群に属する撮像データを可視化可能な画像データに変換することを特徴とする画像再生装置。 - 前記一定の条件を満たす複数の撮像データからなる一連の撮像データ群は、撮像データを解析して得られる色温度データが予め指定する色温度データ範囲内にある撮像データからなることを特徴とする請求項７記載の画像再生装置。
- 前記一定の条件を満たす複数の撮像データからなる一連の撮像データ群は、撮像データを簡易再生して表示される画像群よりユーザーが選択する撮像データからなることを特徴とする請求項７記載の画像再生装置。
- 前記撮像データは付随した情報として撮像時刻、ＥＶ値、絞り値、被写体距離、シャッター速度のいずれか或はその組み合わせを有するものであって、前記一定の条件を満たす複数の撮像データからなる一連の撮像データ群は、前記付随した情報である、撮像時刻、ＥＶ値、絞り値、被写体距離、シャッター速度のいずれか或はその組み合わせの情報が、予め数値的に指定する範囲内にある撮像データからなることを特徴とする請求項７記載の画像再生装置。
- 前記撮像データは付随した情報として、撮像モード、撮像場所、ストロボ使用の有無、光学ローパスフィルターの有無のいずれか或はその組み合わせを有するものであって、前記一定の条件を満たす複数の撮像データからなる一連の撮像データ群は、前記付随した情報である、撮像モード、撮像場所、ストロボ使用の有無、光学ローパスフィルターの有無のいずれか或はその組み合わせの情報が、予め指定する条件を満たす撮像データからなることを特徴とする請求項７記載の画像再生装置。
- 前記一定の条件を満たす複数の撮像データからなる一連の撮像データ群は、合成画像を形成するための撮像データであることを示す付随情報を持つ撮像データからなることを特徴とする請求項７記載の画像再生装置。
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP19667795A JP3943611B2 (ja) | 1995-08-01 | 1995-08-01 | 画像再生方法及び画像再生装置 |
| US08/689,054 US6160579A (en) | 1995-08-01 | 1996-07-30 | Image processing apparatus and method |
| EP96305647A EP0757473B1 (en) | 1995-08-01 | 1996-07-31 | Image processing apparatus and method |
| DE69634867T DE69634867T2 (de) | 1995-08-01 | 1996-07-31 | Bildverarbeitungsgerät und -verfahren |
| EP05076332A EP1592227B1 (en) | 1995-08-01 | 1996-07-31 | Apparatus and method for determining an image processing parameter from image data at a user-selected image position |
| US09/697,315 US7098944B1 (en) | 1995-08-01 | 2000-10-27 | Image processing apparatus and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP19667795A JP3943611B2 (ja) | 1995-08-01 | 1995-08-01 | 画像再生方法及び画像再生装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0946579A JPH0946579A (ja) | 1997-02-14 |
| JP3943611B2 true JP3943611B2 (ja) | 2007-07-11 |
Family
ID=16361766
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP19667795A Expired - Fee Related JP3943611B2 (ja) | 1995-08-01 | 1995-08-01 | 画像再生方法及び画像再生装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3943611B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008236114A (ja) * | 2007-03-19 | 2008-10-02 | Nec Corp | 画像入力システム、画像処理装置および画像入力方法 |
| JP5415050B2 (ja) * | 2008-09-29 | 2014-02-12 | 京セラ株式会社 | 動画像再生装置 |
| JP5279636B2 (ja) | 2009-06-30 | 2013-09-04 | キヤノン株式会社 | 撮像装置 |
| JP5828927B2 (ja) * | 2014-03-24 | 2015-12-09 | キヤノン株式会社 | 撮像装置 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS57185777A (en) * | 1981-05-12 | 1982-11-16 | Fuji Photo Film Co Ltd | Electronic camera with electronic memo |
| JPH0471070A (ja) * | 1990-07-11 | 1992-03-05 | Minolta Camera Co Ltd | カメラシステム |
| JPH0593973A (ja) * | 1991-05-21 | 1993-04-16 | Konica Corp | 写真焼付露光量決定方法 |
| JP3327614B2 (ja) * | 1993-03-08 | 2002-09-24 | キヤノン株式会社 | 撮像装置 |
| JP3334229B2 (ja) * | 1993-03-19 | 2002-10-15 | ミノルタ株式会社 | インデックスプリントを用いた画像読み取りシステム |
| JPH06292231A (ja) * | 1993-03-31 | 1994-10-18 | Toppan Printing Co Ltd | 製版システム |
-
1995
- 1995-08-01 JP JP19667795A patent/JP3943611B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0946579A (ja) | 1997-02-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0757473B1 (en) | Image processing apparatus and method | |
| JP3668014B2 (ja) | 画像処理方法及び装置 | |
| JP3528184B2 (ja) | 画像信号の輝度補正装置及び輝度補正方法 | |
| US7358988B1 (en) | Image signal processor for performing image processing appropriate for an output device and method therefor | |
| US7013025B2 (en) | Image correction apparatus | |
| JP4783985B2 (ja) | 映像処理装置、映像表示装置及びそれに用いる映像処理方法並びにそのプログラム | |
| US7057653B1 (en) | Apparatus capable of image capturing | |
| KR100513342B1 (ko) | 디지털 자동 화이트 밸런스 장치 | |
| JP2007142670A (ja) | 画像処理システム、画像処理プログラム | |
| JP4066803B2 (ja) | 画像処理装置、画像処理プログラム、画像処理方法および電子カメラ | |
| EP0442369B1 (en) | Gradation correcting apparatus | |
| JP3184309B2 (ja) | 階調補正回路及び撮像装置 | |
| US6201893B1 (en) | Image reproduction apparatus and method | |
| US20060114527A1 (en) | Image pickup apparatus | |
| JP2003046848A (ja) | 撮像システムおよび撮像プログラム | |
| JP2015201731A (ja) | 画像処理装置及び方法、画像処理プログラム、撮像装置 | |
| JP2020145553A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| JP3943611B2 (ja) | 画像再生方法及び画像再生装置 | |
| JP2001238129A (ja) | 画像処理装置、記録媒体 | |
| EP1578110B1 (en) | Image processing apparatus, image processing system and image processing method | |
| JP5365881B2 (ja) | 画像処理装置、画像処理方法 | |
| US6963364B2 (en) | Method of improving a signal in a sequence of images acquired with a digital color video camera | |
| JPH10243289A (ja) | 画像加算装置 | |
| JP2007267170A (ja) | 彩度調整機能を有する電子カメラ、および画像処理プログラム | |
| JP3706648B2 (ja) | 画像再生方法及び画像再生装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040206 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040224 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040426 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20041026 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041122 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20041126 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20050128 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070406 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110413 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130413 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130413 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140413 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |