JP5315634B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は、デジタルカメラなどの撮像装置で取得した画像の記録処理を行う画像処理装置および記録された画像データについての処理を行う画像処理方法に関する。

デジタルカメラによる撮影で取得された画像データは、ＪＰＥＧ方式などに従って符号化された後に、画像ファイルの画像データ部に格納され、露出値や撮影モードなどを含む様々な撮影条件を示す情報がヘッダ部に付加されて、コンパクトフラッシュ（登録商標）メモリカードやＳＤメモリカードなどの着脱可能な記憶媒体に記録される。

このようにして画像ファイルが記録された着脱可能な記憶媒体をパーソナルコンピュータに装着し、記録された画像ファイルを読み出すことにより、パーソナルコンピュータの処理能力を利用して、様々な画像処理を施すことができる。

例えば、デジタルカメラに備えられた撮像素子のダイナミックレンジに関する制限から生じるいわゆる「白とび」や「黒つぶれ」のような画素値が飽和した領域について画質の向上を図る技法として、複数種類の露出条件で同一の被写体を撮影し、得られた画像データを合成して、ダイナミックレンジの広い高品質の画像データを得る手法が提案されている(特許文献１参照)。
特開２００２−３０５６８４号公報

特許文献１に開示された技法では、利用者による選択操作に応じて、上述した露出条件の異なる複数の画像データが記憶媒体に記録され、これらの画像データが記憶媒体からパーソナルコンピュータに読み込まれて上述した合成処理に供される。

このため、特許文献１に開示された技法では、撮影後にパーソナルコンピュータを利用して高精度な画像処理を行うためには、撮影時に、利用者は意識的な選択操作を行って合成対象とする複数の画像データを保存する処理を指示する必要がある。また、パーソナルコンピュータを利用した画像処理を行う際には、これらの合成対象の画像データを指定して合成処理に供する必要がある。

このような選択指示は、画像処理に関して高度な知識を有する利用者にとっては画像処理に関する自由度を向上できる利点があるが、一般的な利用者にとってはむしろ煩わしい負担となってしまう。

本発明は、画像処理に関する自由度を維持しつつ、利用者の作業負担を軽減することが可能な画像処理装置および画像処理方法を提供することを目的とする。

本発明にかかわる第１の画像処理装置は、撮像手段によって撮影された被写体の像を表す第１の画像データに含まれる画素値が飽和した領域を飽和領域検出部が検出した場合に、前記第１の画像データについての画像処理を行う際の補助情報として前記検出した領域における階調変化の復元に利用可能な情報を持つ１つ以上の前記第１の画像データよりも解像度の小さい第２の画像データを付加する旨を判断する判断手段と、前記補助情報を付加する旨の判断結果に応じて、前記画像処理対象の第１の画像データと前記補助情報とを一つの画像ファイルにまとめて記憶媒体に記録する記録手段と、を備えて構成される。

前記第１の画像データは、レリーズ操作に応じて指示される高解像度モードの時に、適正露出となる露出値で取得した画像データであり、前記補助情報である前記第２の画像データは、前記レリーズ操作の前後で切り換えられるスルー画モードの時に、前記適正露出とは異なる露出値で前記第１の画像データと同一の被写体を撮像する前記撮像手段の内部での画素間引き、又は画素加算により得られる複数の第３の画像データを含むものである。

前記判断手段は、前記第１の画像データと個々の第３の画像データとの露出条件の違いに応じたゲイン補正を行うゲイン補正部と、ゲイン補正後の第１の画像データと複数の第２の画像データとについて階調値に関するヒストグラムを作成するヒストグラム作成部と、前記第１の画像データのヒストグラムを解析し、前記第１の画像データに含まれる画素値が飽和した領域を検出する飽和領域検出部と、各第３の画像データのヒストグラムを解析し、前記第１の画像データに含まれる画素値が飽和した領域における階調変化の復元に利用可能な情報をもつかを解析する解析部と、前記飽和領域検出部から第１の画像データにおいて階調値が飽和している領域が検出された旨が通知され、また、前記解析部から前記情報を含んでいる旨の検出結果が通知されたときに、前記情報を含む第３の画像データを前記第１の画像データに対する画像処理に用いる補助情報として選択する選択手段と、を含むようにしてもよい。

また、本発明の画像処理方法の一観点によれば、コンピュータによって読取可能な記憶媒体に記録された画像ファイルから、レリーズ操作に応じて指示される高解像度モードの時に、適正露出となる露出値で取得した第１の画像データと、前記レリーズ操作の前後で切り換えられるスルー画モードの時に、前記適正露出とは異なる露出値で前記第１の画像データと同一の被写体を撮像する撮像手段の内部での画素間引き、又は画素加算により得られる複数の画像データを含み、前記第１画像データに含まれる画素値が飽和した領域に対して階調変化の復元に利用可能な情報を持つ第２の画像データと、を読み出し、前記読み出された第２の画像データを用いて、前記第１の画像データに対して前記領域における階調変化を復元するための画像処理を実行することを特徴とする。

本発明にかかわる画像処理装置では、パーソナルコンピュータによる画像処理に有効に利用可能な他の画像データを自動的に選択して主画像データに補助情報として付加し、画像処理対象の主画像データと補助情報との双方を含んだ画像ファイルを形成することができる。

このような画像ファイルをコンパクトフラッシュメモリカードやＳＤカードなどの記憶媒体に記録して、パーソナルコンピュータなどによる高度な画像処理に供することにより、デジタルカメラなどで取得した画像データに対する画像処理に関する自由度を維持することができる。また、撮影時に、利用者が補助情報を付加するか否か、また、どの画像データを補助情報として付加するかを選択指示する必要性をなくし、利用者の負担を軽減することができる。

また、コンピュータによって本発明にかかわる画像処理方法を実現するプログラムを実行することにより、本発明にかかわる画像処理装置によって記録された画像ファイルから読み出された補助情報を利用して、主画像データに対する適切な画像処理を行うことができる。

このとき、利用者は、画像処理対象の主画像データが格納された画像ファイルを指定するのみで適切な補助情報を用いた画像処理を行うことができるので、利用者の作業負担を軽減することができる。

以下、図面に基づいて、本発明の実施形態について詳細に説明する。
（第１の実施形態）
図１に、本発明にかかわる画像処理装置の実施形態を示す。

図１に示したデジタルカメラにおいて、画像の撮影の際に撮影光学系２１によって撮像素子２２上に結像された光は、撮像素子２２によってその強度に応じた電気信号に変換され、更に、アナログ／デジタル(Ａ／Ｄ)変換器２３によってデジタルデータに変換されてメモリ２４に保持される。図１に示したメモリ２４は、本発明にかかわる画像処理装置２５、表示部２９、記録処理部２７および撮影制御部２８にバスを介して接続されており、この撮影制御部２８により、撮像素子２２に対する読み出しモードの切り換えが行われる。

図１に示した撮影制御部２８は、利用者によるレリーズボタンの操作に応じて、上述した撮像素子２２に全ての画素に対応するデータの読出を指示する高解像度モードを指示し、これに応じて撮像素子２２から読み出された電気信号から得られた高解像度画像データはメモリ２４に蓄積されるとともに画像処理装置２５の処理に供される。一方、レリーズボタンが操作される時点の前後では、撮影制御部２８により、撮像素子２２からの読み出しモードは、スルー画モードに切り換えられ、これに応じて、撮像素子２２内部での画素間引きや画素加算によって得られる低解像度画像データがメモリ２４を介して表示部２９による表示処理に供され、利用者に撮像範囲に関する情報を提供する。

上述したスルー画モードが適用されている期間において、様々な露出条件の下で取得された撮像素子２２の出力信号から得られた低解像度画像データがメモリ２４に保持され、上述した高解像度画像データとともに画像処理装置２５の処理に供される。このようにしてメモリ２４に保持されたスルー画像は、本撮影で取得された高解像度画像と同一の被写体を微小な時間間隔で撮影して得られた低解像度画像である。

以下、本撮影で適用された適正露出とは異なる露出値で取得された低解像度画像を用いて、本撮影で得られた高解像度画像に表れている白とび領域や黒つぶれ領域における本来の階調変化を復元する画像合成処理のための補助情報を作成する場合を例として、画像処理装置２５の詳細構成および動作を説明する。

図１に示した画像処理装置２５において、読込処理部３０は、利用者によるレリーズ操作に応じて実行された本撮影で得られた高解像度画像と、この高解像度画像に対応して保持されたスルー画像とを上述したメモリ２４から読み込み、ゲイン補正部３１の処理に供する。

上述した読込処理部３０によって読み込まれた高解像度画像あるいはスルー画像に既にガンマ変換が施されている場合には、ゲイン補正部３１により、まず、逆ガンマ変換が施され、次いで、高解像度画像と個々のスルー画像との露出条件の違いに応じたゲイン補正が行われる。具体的には、読み出されたスルー画像について、ゲイン補正部３１により、スルー画像を構成する各画素の階調値に、それぞれに適用された露出値と適正露出との比に応じた定数を乗算することにより、ゲイン補正が行われ、このゲイン補正結果の画像について、ヒストグラム作成部３２により、それぞれの画像について階調値に関するヒストグラムが作成される。

このように、ゲイン補正後のスルー画像についてヒストグラムを作成することにより、１段アンダーで取得されたスルー画像のヒストグラム(図２(ｂ)参照)および２段アンダーで取得されたスルー画像のヒストグラム(図２(ｄ)参照)に代えて、適正露出で撮影された高解像度画像のヒストグラムＨにおける画素の分布(図２(ａ)参照)とリニアな空間で比較可能なヒストグラムＬを作成することができる(図２(ｃ)、(ｅ)参照)。

このようにして得られた高解像度画像のヒストグラムＨおよびスルー画像のヒストグラムＬは、それぞれ図１に示した飽和領域検出部３３および分布解析部３４の処理に供される。

飽和領域検出部３３は、高解像度画像のヒストグラムＨを解析し、例えば、階調値の上限に相当する閾値を超えている画素数および下限に相当する閾値を下回っている画素数をそれぞれ求め、これらの画素数がそれぞれ所定の閾値を超えるか否かに基づいて、高解像度画像においていわゆる「白とび」あるいは「黒つぶれ」領域の発生を検出し、この検出結果を選択処理部３５に通知する。

また、図１に示した分布解析部３４は、上述したようにして得られたスルー画像のヒストグラムを解析し、例えば、適正露出が適用されたときに飽和状態となる高輝度領域(図２において、破線で示した階調値以上の範囲)において、所定の閾値以上の画素が分布している範囲を高輝度領域における階調変化の復元に利用可能な情報として探索し、この探索結果を選択処理部３５に通知する。この分布解析部３４は、例えば、図２(ｃ)、(ｅ)に破線で囲んで示すような範囲を探索し、このような範囲を検出したときに、高解像度画像における白とび領域における階調変化の復元に利用可能な情報を含んでいる旨の検出結果を通知する。

図１に示した選択処理部３５は、例えば、飽和領域検出部３３から高解像度画像において階調値が飽和している領域が検出された旨が通知され、また、分布解析部３４からスルー画像が高解像度画像における白とび領域における階調変化の復元に利用可能な情報を含んでいる旨の検出結果が通知されたときに、上述した情報を含むスルー画像を主画像である高解像度画像に対する画像処理（合成処理）に用いる補助情報として選択する。

このようにして選択されたスルー画像および主画像である高解像度画像は、画像圧縮部３６によってそれぞれ圧縮され、記録処理部２７の処理に供される。

図１に示した記録処理部２７において、ヘッダ作成部３７は、上述した画像圧縮部３６によって圧縮されたスルー画像を含む補助情報を受け取り、この補助情報とバスを介して撮影制御部２８から得られる撮影情報とを含んだヘッダ情報を作成し、画像ファイル形成部３８の処理に供する。

この画像ファイル形成部３８により、図３に示すように、画像データ部に画像圧縮部３６から受け取った主画像の圧縮データが格納され、これに上述したようにして作成されたヘッダが付加されて画像ファイルが形成され、この画像ファイルが、書込処理部３９を介して記憶媒体２６に書き込まれて記録される。

このように、本発明にかかわる画像処理装置を搭載したデジタルカメラでは、主画像を記憶媒体に記録する際に、上述した処理が自動的に行われ、この主画像の高輝度領域あるいは低輝度領域における階調変化の復元に有用な情報を持つスルー画像が、選択的に画像処理に供される補助情報として付加される。これにより、階調値が飽和した領域について画像合成を利用した階調変化の復元処理を行うか否か、また、どの画像を合成処理に供するかといった煩わしい選択指示から利用者を解放し、利用者の作業負担を軽減して、利用者を撮影に専念させることができる。

また、上述したように、合成処理に供されるスルー画像を画像圧縮部３６によって圧縮してデータ量を低減することにより、主画像を格納した画像ファイルにおけるヘッダ部のデータ量の増大を抑制することができる。

なお、上述したように、スルー画像全体を圧縮して補助情報とする代わりに、高輝度領域（あるいは低輝度領域）についての階調変化の復元を目的とする合成処理に直接利用される画素値のみを抽出し、抽出した画素値を補助情報として画像ファイルのヘッダに付加することも可能である。

例えば、メモリ２４から読み込まれた高解像度画像と複数のスルー画像とについてそれぞれ特徴抽出を行い、抽出した特徴に基づいて互いの位置ずれを補正した後に、高解像度画像について、白とびあるいは黒つぶれが発生している領域に対応するスルー画像の領域の画像データを補助情報として抽出することができる。

図４(ａ)に網掛けを付して示すように、高解像度画像に捉えられた雲の部分および太陽の部分に白とびが発生している場合に、１段アンダーで取得されたスルー画像および２段アンダーで取得されたスルー画像の対応する領域(図４(ｂ)、(ｃ)において網掛けを付して示す)の画像データを抽出し、抽出した画像データと上述した位置ずれに関する情報とから補助情報を作成することにより、補助情報のデータ量を格段に削減することができる。

更に、低解像度のスルー画像と高解像度の主画像とを合成する際に、図５に示すように、スルー画像を主画像と同密度の画素空間に再配置して再配置画像が形成されることと、上述した白とびあるいは黒つぶれの領域に含まれる各画素の輝度値および色差データの算出に、所定のサイズ（例えば、５×５あるいは３×３）のガウシアンフィルタを用いた平均化処理が行われることを考慮して、補助情報としてスルー画像から抽出する画像データを画素単位で精選することも可能である。

また、低解像度のスルー画像の代わりに、異なる露出値を適用して同一の被写体を本撮影と微小な時間差で撮影して得られた高解像度画像を補助情報として用いることも可能である。高解像度画像のデータ量は、本撮影で得られた主画像データと同等であるが、上述したように、合成処理に直接利用される領域の画像データのみを補助情報とすることにより、ヘッダとして付加される情報量を現実的な範囲に抑えることができる。

なお、上述した位置合わせ処理の詳細については、本出願人が先に出願した特願２００７−０１２５１６「画像処理装置、電子カメラ、および画像処理プログラム」を参照されたい。

また、図1に示したヘッダ作成部３７は、上述した画像合成処理に供される画像あるいは画像の一部に限らず、撮影段階で取得される様々な情報を補助情報として画像ファイルのデータ部に付加するヘッダに挿入することができる。
（第２の実施形態）
図６に、本発明にかかわる画像処理方法の実施形態を示す。

図６に示したパソコンにおいて、ＣＰＵ４２とカードリーダ４１および表示処理部４８とはバスを介して接続されており、画像処理装置４３は、後述する読込処理部４４、補助情報解析部４５、画像合成処理部４６および画像補正処理部４７の処理をＣＰＵ４３に実行させるプログラムによって実現される。

図６に示した読込処理部４４は、カードリーダ４１を介して、記憶媒体２６に格納された画像ファイル（図３参照）を読み込み、この画像ファイルに含まれるヘッダ部分を補助情報解析部４５による解析処理に供する。

補助情報解析部４５は、ヘッダ情報に含まれる補助情報を解析し、補助情報が適用されるべき画像処理の種類を判定し、この判定結果に基づいて、読込処理部４４に画像ファイルのデータ部に格納された画像データの送出先を指示するとともに、適切な補助情報を画像データの送出先に渡す。

例えば、図３に示したヘッダ部の補助情報として、露出値の異なるスルー画像が記録されている場合に、補助情報解析部４５は、画素値が飽和している領域について階調変化を復元するための合成処理に用いられる補助情報であると判断し、読込処理部４４に、画像データを画像合成処理部４６に送出する旨を指示するとともに、補助情報に含まれるスルー画像データを画像合成処理部４６に送出する。

これに応じて、画像合成処理部４６が、例えば、特願２００７−０１２５１６「画像処理装置、電子カメラ、および画像処理プログラム」に開示した手法を用いて画像合成処理を行うことにより、処理対象の主画像の指定に応じて、適切な低解像度画像を利用した画像合成処理を自動的に実行させ、広いダイナミックレンジを持つ高解像度の合成画像を得ることができる。

このようにして得られた合成画像は、表示処理部４８および表示部４９による表示処理に供され、利用者に提供されるので、利用者は、大きな見やすい画面に表示された画像に基づいて、上述した画像処理結果を確認することができる。

上述したように、本発明にかかわる画像処理方法の実施形態によれば、読み込みが指示された画像ファイルに含まれている補助情報に基づいて、自動的に、補助情報を利用して適切な画像処理が画像ファイルに格納された主画像に適用される。したがって、利用者は、単に、画像処理の対象となる主画像が格納された画像ファイルの読み込みを指示するのみで十分であり、主画像に合成すべき他の画像が格納された画像ファイルを指定するといった煩わしい作業を行う必要がない。

同様にして、様々な画像処理に適用される補助情報を補助情報解析部４５によって判別することにより、画像ファイルに含まれる画像データおよび補助情報を適切な画像処理に供することができる。

上述したように、本発明にかかわる画像処理装置および画像処理方法によれば、デジタルカメラなどの撮像装置で取得した画像データに、パソコンを利用した自由度の高い画像処理を適用する際の利用者の作業負担を大幅に軽減することができる。

これにより、煩雑な操作を敬遠しがちな一般的な利用者にも、高度な画像処理機能を適用した高品質の画像を提供することが可能となり、利用者に対するサービス性を一段と向上することができるので、デジタルカメラなどの撮像装置および画像処理装置の分野において極めて有用である。

本発明にかかわる画像処理装置の実施形態を示す図である。 ヒストグラムに基づく分布解析処理を説明する図である。 画像ファイルの構成を示す図である。 高解像度画像とスルー画像との対応関係を示す図である。 再配置画像を説明する図である。 本発明にかかわる画像処理方法の実施形態を示す図である。

符号の説明

２１…撮像光学系、２２…撮像素子、２３…アナログ／デジタル(Ａ／Ｄ)変換器、２４…メモリ、２５、４３…画像処理装置、２６…記憶媒体、２７…記録処理部、２８…撮影制御部、２９、４９…表示部、３０、４４…読込処理部、３１…ゲイン補正部、３２…ヒストグラム作成部、３３…飽和領域検出部、３４…分布解析部、３５…選択処理部、３６…画像圧縮部、３７…ヘッダ作成部、３８…画像ファイル形成部、３９…書込処理部、４１…カードリーダ、４２…ＣＰＵ、４５…補助情報解析部、４６…画像合成処理部、４７…画像補正処理部、４８…表示処理部。

Claims (3)

1. 撮像手段によって撮影された被写体の像を表す第１の画像データに含まれる画素値が飽和した領域を飽和領域検出部が検出した場合に、前記第１の画像データについての画像処理を行う際の補助情報として前記検出した領域における階調変化の復元に利用可能な情報を持つ１つ以上の前記第１の画像データよりも解像度の小さい第２の画像データを付加する旨を判断する判断手段と、
   前記補助情報を付加する旨の判断結果に応じて、前記画像処理対象の第１の画像データと前記補助情報とを一つの画像ファイルにまとめて記憶媒体に記録する記録手段と、を備え、
   前記第１の画像データは、レリーズ操作に応じて指示される高解像度モードの時に、適正露出となる露出値で取得した画像データであり、
   前記補助情報である前記第２の画像データは、前記レリーズ操作の前後で切り換えられるスルー画モードの時に、前記適正露出とは異なる露出値で前記第１の画像データと同一の被写体を撮像する前記撮像手段の内部での画素間引き、又は画素加算により得られる複数の第３の画像データを含むことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記判断手段は、
   前記第１の画像データと前記個々の第３の画像データとの露出条件の違いに応じたゲイン補正を行うゲイン補正部と、
   ゲイン補正後の第１の画像データと前記複数の第３の画像データとについて階調値に関するヒストグラムを作成するヒストグラム作成部と、
   前記第１の画像データのヒストグラムを解析し、前記第１の画像データに含まれる画素値が飽和した領域を検出する飽和領域検出部と、
   前記各第３の画像データのヒストグラムを解析し、前記第１の画像データに含まれる画素値が飽和した領域における階調変化の復元に利用可能な情報をもつかを解析する解析部と、
   前記飽和領域検出部から前記第１の画像データにおいて階調値が飽和している領域が検出された旨が通知され、また、前記解析部から前記情報を含んでいる旨の検出結果が通知されたときに、前記情報を含む第３の画像データを前記第１の画像データに対する画像処理に用いる補助情報として選択する選択手段と、
   を含むことを特徴とする画像処理装置。
3. コンピュータによって読取可能な記憶媒体に記録された画像ファイルから、
   レリーズ操作に応じて指示される高解像度モードの時に、適正露出となる露出値で取得した第１の画像データと、
   前記レリーズ操作の前後で切り換えられるスルー画モードの時に、前記適正露出とは異なる露出値で前記第１の画像データと同一の被写体を撮像する撮像手段の内部での画素間引き、又は画素加算により得られる複数の画像データを含み、前記第１画像データに含まれる画素値が飽和した領域に対して階調変化の復元に利用可能な情報を持つ第２の画像データと、
   を読み出し、前記読み出された第２の画像データを用いて、前記第１の画像データに対して前記領域における階調変化を復元するための画像処理を実行する、
   ことを特徴とする画像処理方法。

Images