JP3553999B2

JP3553999B2 - 撮像装置とその画像処理方法

Info

Publication number: JP3553999B2
Application number: JP28100893A
Authority: JP
Inventors: 健一近藤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1993-11-10
Filing date: 1993-11-10
Publication date: 2004-08-11
Anticipated expiration: 2019-08-11
Also published as: JPH07135599A

Description

【０００１】
【産業上の利用分野】
本発明は、特に低ノイズで、階調が高く、またダイナミックレンジの大きいデジタル画像を得ることが可能な撮像装置とその画像処理方法に関するものである。
【０００２】
【従来の技術】
最近、被写体を撮像した画像信号をデジタル信号として取り扱うデジタルビデオムービーカメラ，デジタルスチルビデオカメラ等のデジタル式の撮像装置が実用化されつつある。このような撮像装置では、固体撮像素子の出力信号はサンプルホールドされた後にゲイン調整され、Ａ／Ｄ変換回路によりアナログ信号からデジタル信号に変換され、メモリに記録される。そして、このデジタル信号化された固体撮像素子からの画像信号は、ＮＴＳＣ／ＰＡＬ方式の輝度信号と色差信号に変換処理されるか、あるいはＲ，Ｇ，Ｂ信号として処理され、Ｄ／Ａ変換回路にによりアナログ信号に変換された後、モニタに出力されるか、あるいはまたデジタル画像情報としてコンピュータ等に入力される。
【０００３】
ここで、上記のようなデジタル撮像装置の階調はＡ／Ｄ変換回路によって決まるが、このＡ／Ｄ変換回路には現在８ｂｉｔ〜１０ｂｉｔのものが実用化されている。しかし、この程度では被写体の低輝度部での階調に不充分であり、粗い画質となり、不快感を与える。
【０００４】
また、従来の撮像装置では、固体撮像素子で発生するノイズとＡ／Ｄ変換回路入力までのアナログ回路系で発生するランダムノイズとが最終画像のＳ／Ｎを決定することとなるが、これも低輝度部で目立ち、高Ｓ／Ｎの良好な画像が得られない。
【０００５】
【発明が解決しようとする課題】
従来のデジタル式の撮像装置は上記のように構成されており、Ａ／Ｄ変換回路によって階調が決定され、また撮像素子で発生するノイズとアナログ回路で発生するランダムノイズとにより最終画像のＳ／Ｎが決定されるため、低輝度部の画質が劣化するという問題点があった。
【０００６】
そこで、露光量を大きくして撮像し、その撮像信号をデジタル信号化した後に演算上でゲイン調整することが考えられるが、この場合従来の撮像装置ではダイナミックレンジが低いので、高輝度部が飽和してしまい、高輝度部の情報が失われることになる。
【０００７】
本発明は、上記のような問題点に着目してなされたもので、Ｓ／Ｎが良く、高階調で、かつダイナミックレンジの大きい高画質のデジタル画像を得ることが可能な撮像装置とその画像処理方法を提供することを目的としている。
【０００８】
【課題を解決するための手段】
前記目的を達成するため、本発明では、撮像装置を次の（１）ないし（９）のとおりに構成し、画像処理方法をつぎの（１０）ないし（１２）のとおりに構成する。
（１）露光量を変えて撮像した同一被写体の複数の画像データのレベル合わせを、飽和している部分を除外した各画像データの輝度情報の平均値の比に基づいて、各画素の輝度データ値の補正演算を行い、当該各画像データの輝度レベルを合わせる輝度レベル調整手段と、
前記輝度レベル調整手段によって輝度レベルを合わせた複数の画像データを合成する画像合成手段とを有する撮像装置。
（２）前記輝度レベル調整手段は、各画像データの飽和している部分の周辺をさらに除外した領域のデータの輝度情報の平均値の比に基づいて行う前記（１）記載の撮像装置。
（３）露光量を変えて撮像した同一被写体の複数の画像データのレベル合わせを、画像データの輝度変化の少ない領域を抽出しその領域の各画像データの輝度情報の平均値の比に基づいて、各画素の輝度データ値の補正演算を行い、当該各画像データの輝度レベルを合わせる輝度レベル調整手段と、
前記輝度レベル調整手段によって輝度レベルを合わせた複数の画像データを合成する画像合成手段とを有する撮像装置。
（４）露光量を変えて撮像した同一被写体の複数の画像データのレベル合わせを、画像データの白に近い領域を抽出しその領域の各画像データの輝度情報の平均値の比に基づいて、各画素の輝度データ値の補正演算を行い、当該各画像データの輝度レベルを合わせる輝度レベル調整手段と、
前記輝度レベル調整手段によって輝度レベルを合わせた複数の画像データを合成する画像合成手段とを有する撮像装置。
（５）画像合成手段は、標準より多い露光量で得られた画像データを低輝度側のデータとし、標準の露光量で得られた画像データを高輝度側のデータとし、標準より少ない露光量で得られた画像データを超高輝度側のデータとして、全てもしくは任意の組み合わせで画像データを合成する前記（１）ないし（４）何れか記載の撮像装置。
（６）画像合成手段は、画像データの組み合わせの切り換わりのデータ値を固定値として画像データを合成する前記（５）記載の撮像装置。
（７）画像合成手段は、画像データの組み合わせの切り換わりのデータ値に、高輝度側のデータと低輝度側のデータの含有比率が変化可能なある幅を持たせて画像データを合成する前記（５）記載の撮像装置。
（８）画像合成手段は、高輝度側のデータと低輝度側のデータの含有比率を直線的に変化させて画像を合成する前記（７）記載の撮像装置。
（９）画像合成手段は、高輝度側のデータと低輝度側のデータの含有比率をコサインカーブで変化させて画像を合成する前記（７）記載の撮像装置。
（１０）露光量を変えて撮像した同一被写体の複数の画像データのレベル合わせを、飽和している部分を除外した各画像データの輝度情報の平均値の比に基づいて、各画素の輝度データ値の補正演算を行い、当該各画像データの輝度レベルを合わせ、該レベルを合わせた複数の画像データを合成する画像処理方法。
（１１）露光量を変えて撮像した同一被写体の複数の画像データのレベル合わせを、画像データの輝度変化の少ない領域を抽出しその領域の各画像データの輝度情報の平均値の比に基づいて、各画素の輝度データ値の補正演算を行い、当該各画像データの輝度レベルを合わせ、該レベルを合わせた複数の画像データを合成する画像処理方法。
（１２）露光量を変えて撮像した同一被写体の複数の画像データのレベル合わせを、画像データの白に近い領域を抽出しその領域の各画像データの輝度情報の平均値の比に基づいて、各画素の輝度データ値の補正演算を行い、当該各画像データの輝度レベルを合わせ、該レベルを合わせた複数の画像データを合成する画像処理方法。
【００２１】
【実施例】
図１は本発明の一実施例による撮像装置の構成を示すブロック図である。図において、１ａ，１ｂは露光量を変えて撮像した同一被写体からの撮像光を光電変換する固体撮像素子、２はこれらの撮像素子１ａ，１ｂからの複数の画像データをデジタル化するＡ−Ｄ（アナログ−デジタル）変換手段、３はデジタル化された各画像データに対して画像の位置合わせを行う合致処理手段と、ここでは各デジタル画像のぶれ分を補正して位置を合わせる。
【００２２】
４は上記デジタル化された各画像データのレベルを合わせるレベル調整手段、５はレベルを合わせた画像データを合成して一つのデジタル画像のデータにする画像合成手段で、ここから出力される画像信号は不図示のプロセス処理回路にて所定の画像処理が行われ、Ｒ，Ｇ，Ｂの各色信号やＹ，Ｃの輝度信号及び色差信号となって出力される。
【００２３】
次に、上記撮像装置の動作について説明する。図２はその画像処理の過程を示すフローチャートである。
【００２４】
まず、複数条件の露光量での同一被写体の画像データ（１），（２）を撮像素子１ａ，１ｂから同一時もしくはほぼ同一時にメモリに取り込む。ここで、同一時にというのは、多板式カメラと同様にプリズム等で同一被写体像を複数の固体撮像素子に結合させる光学系を有したカメラの場合であり、この場合に各固体撮像素子の露光量を異なるようにする手段としては、各固体撮像素子の蓄積時間を各々異ならせるか、もしくは固体撮像素子の前面にＮＤフィルタを入れることでなされる。また、ほぼ同一時にというのは、単板式カメラを用いて短い間隔でかつ異なる露光条件（絞りの開口量，シャッタ秒時を異にする）での連写による画像取り込みがなされる場合である。
【００２５】
上記複数の画像データは、固体撮像素子１ａ，１ｂの出力として読み出され、サンプルホールドされた後、ゲイン調整されてＡ−Ｄ変換後に各メモリに記録される。
【００２６】
上記の画像データ（１）と画像データ（２）は、Ａ−Ｄ変換後にメモリに蓄積された画像データであり、本実施例では、画像データ（１）は標準露光によって得られたデータ、画像データ（２）は標準露光の３倍の露光量によって得られたデータで、共に１０ビット（ｂｉｔ）のＡ−Ｄ変換回路によってデジタル化されたものである。したがって、おおよそ１０２４段階の階調を持つ。
【００２７】
なお、実際には１０ビット全て画像データに使われるわけでなく、いくらかのオフセット分が加わるが、ここでは１０ビット全てが画像情報となるものとして説明する。
【００２８】
上記画像データ（１）と画像データ（２）は、続いて画像合致処理が行われる（ステップ１１）。これは、画像の取り込み手段として多板方式の光学系が使用された場合には必要としないが、単板方式の場合、画像データ（１）と画像データ（２）がわずかに時間を異にして撮影されることから、画像の位置関係がわずかにぶれる。このことから、画像データ（１）と画像データ（２）のデータを比較して、画像データ（１）の位置と画像データ（２）の位置が一致するように座標を修正することが行われる。この処理の方法としては、現在ビデオムービーカメラ等で実用化されている“ぶれ防止”のような方法が採用される。
【００２９】
次に、２つの画像の位置関係が合わされた後、画像データ（１）の画像レベルに画像データ（２）のデータが一致するようにゲイン調整処理が行われる（ステップ１２）。この時、画像データ（１）の露光量の３倍の露光量で撮影した画像データ（２）を１／３倍すれば良いのであるが、実際にはカメラの露光量はシステムによる誤差、つまり絞り，シャッタ等のメカ的誤差，測光系のもつ誤差等の誤差分をもつので、実際の画像データの比較による精度の高いゲイン調整が必要とされる。
【００３０】
上記は比較するデータは飽和部分は除外しなければならないので、例えば画像データ（２）の１０００段階以下（飽和値である１０２４よりノイズなどの影響を完全に受けないで飽和値を確実に除外するよう１０２４よりある程度低い値とする）、画像データ（１）は３３３段階以下が比較するデータのレベルとなる。
【００３１】
また、低輝度部でのデータは、ノイズ成分の影響が大きくなるので、これを除外する必要がある。本実施例では、下限の段階は画像データ（１）は１００段階、画像データ（２）は３００段階としている。通常、白１００％のレベルが飽和の１／３〜１／４に設定されることから、ゲイン調整に参考にされるレベルは、白３０〜４０％以上のレベルをもつ部分で行われる。
【００３２】
そして、上記のように規定された領域の平均値を各々の画像においてとり、画像データ（１）の平均値をＡ、画像データ（２）の平均値をＢ、また画像データ（２）の各画素のデータ値をＣとして、Ａ÷Ｂ×Ｃの演算を行い、画像データ（２）のレベルを画像データ（１）と同じくする。
【００３３】
ここで、画像データ（１）と画像データ（２）のゲイン比を計測する他の方法としては、上記の方法より高精度を得る方法として、画面内の輝度レベルの変化の少ないなだらかな領域を抽出し、そのレベル変化の少ない領域だけに限定して各画像の平均値を比較する方法をとることができる。
【００３４】
さらに他の方法として、画面中の白に近い領域を抽出し、その領域のみの平均値を比較しても良く、この方法にすれば、各色画素（補色の固体撮像素子を使用していればＹ，ＭＧ，Ｇ，Ｃｙ、純色であればＲ，Ｇ，Ｂ）のレベルバランスがとれているので、より精度を上げることができる。
【００３５】
また、あらかじめ画面中央部あるいは画面中央上部というように比較領域を決めておき、飽和していない限りはあらかじめその決められた領域での平均値を比較することで、精度は多少低下するが、処理時間を大幅に短縮することができる。
【００３６】
上記のように画像合致処理及びゲイン調整処理が終了すると、画像データ（１）と画像データ（２）を加算する画像加算処理が行われる（ステップ１３）。このデータの加算は、画像データ（１）が高輝度側のデータ、画像データ（２）が低輝度側のデータとして使われる。
【００３７】
上記の加算処理方法を示すのが図３である。先のゲイン調整処理で画像データ（２）は、ほぼ１／３となっているので、画像データ（２）の最高レベルはほぼ３４１である。このグラフ（ａ）のＩＮ（１）に画像データ（１）の各画素のデータ、（ｂ）のＩＮ（２）に画像データ（２）の各画像のデータ、またＮ１は画像データ（１）の画素のデータにかかる係数、Ｎ２は画像データ（２）の画素のデータにかかる係数である。
【００３８】
そして、上記のグラフ（ａ），（ｂ）に応じて、（ＩＮ（１）×Ｎ１）＋（ＩＮ（２）×Ｎ２）が計算されて、一つの画像となる。この場合、画像データ（２）の飽和値３４１よりやや低い３３０未満のデータは画像データ（２）のデータが使われ、３３０以上のデータは画像データ（１）のデータが使われる。このようにすることで、画像の飽和の１／３以下の部分のＳ／Ｈは１／３となり、階調は３倍となり、高品位，高情報の画像がつくられる。
【００３９】
しかし、ここでゲイン調整の誤差分等により、データ値３３０付近の情報が乱れることから、データ値３３０前後の値が偽色として表われ、偽似的な色の帯等が生じる可能性が残る。
【００４０】
そこで、図４，図５のように画像データ（１）と（２）の切り換わり部分のデータの幅をもたせ、画像データ（１）と（２）の情報を含み、その比率を徐々に変えていくようにすることで有効である。図４はその含有比率を直線的に変化させ、図５はコサインカーブで変化させたものであるが、Ｎ１＋Ｎ２は常に１であることはいうまでもない。このようにすることで、画像データ（１）と画像データ（２）の切り換わり部でのゲイン誤差等による影響を減らし、偽画像の発生を抑えることができる。
【００４１】
次に、上記のように合成された画像データは、次段のプロセス処理（１）でＲ，Ｇ，Ｂ信号に変換処理されて出力される（ステップ１４）。さらに、プロセス処理（２）で輝度信号Ｙと色差信号Ｃに変換される（ステップ１５）。そして、これらの信号はモニタテレビに入力できるか、あるいはコンピュータに画像データとして入力される。
【００４２】
なお、上記の例では画像データ（１）と画像データ（２）の切り換わりレベルを、飽和の１／４〜１／３程度のところにもってきたが、後のプロセス処理で付けられるガンマカーブのねてくる高輝度部に切り換わる部をもってきても良く、この場合上述のゲイン誤差等の影響をより減らすことができる。
【００４３】
そして、以上のような画像処理を行うことで、Ｓ／Ｎが良く、高階調で、かつダイナミックレンジの大きい高画質のデジタル画像を得ることができる。
【００４４】
図６は、本発明の他の実施例の動作を示すフローチャートである。画像データ（１）と画像データ（２）は上述の実施例の場合と同じである。画像データ（３）は、標準露光量の１／３の露光で撮影した画像データである。
【００４５】
上記３つの画像データは、画像合致処理（ステップ１１）で位置合わせがなされ、続いて、３つの画像のゲイン調整がなされる（ステップ１２）。この時、画像データ（２）はほぼ１／３にされ、画像データ（３）は３倍にされる。これにより、画像データ（３）の最大値は３０７２に拡大する。
【００４６】
次に、画像データ（１）と画像データ（２）は前述の実施例と同様にして合成され、また画像データ（３）と画像データ（１）も画像データ（１）と画像データ（２）の合成と同様の方式で合成される（ステップ１３）。この場合、画像データ（１）と画像データ（３）の切り換わりレベルは、７００から１０００段階の範囲でなされる。
【００４７】
このような画像処理を行うことで、出力されるデジタル画像は前述の実施例で出力された画像よりもダイナミックレンジが大幅に拡大する。このため、超高輝度部の被写体像までも鮮明に写し出され、かつ低輝度像もノイズが少なく、高情報量をもつ鮮明な画像を実現することができる。
【００４８】
なお、他の実施例として、上記の画像データ（１）と画像データ（３）のみの合成を行っても良い。この場合、処理方式は前述の各実施例と同様である。また、画像データ（２）と画像データ（３）のみの合成でも良い。
【００４９】
また、以上の実施例では、標準露光の３倍と１／３倍の場合で説明したが、例えば４倍と１／４倍とすれば、さらに高画質の画像を得ることができる。
【００５０】
【発明の効果】
以上のように、本発明によれば、露光量を変えて撮像した同一被写体の複数の画像を合成することで、Ｓ／Ｎの良い、高階調で、かつダイナミックレンジの大きい高画質のデジタル画像を得ることができるという効果がある。
【図面の簡単な説明】
【図１】本発明の一実施例の構成を示すブロック図
【図２】一実施例の動作を示すフローチャート
【図３】画像加算処理の一例を示す説明図
【図４】画像加算処理の他の例を示す説明図
【図５】画像加算処理の他の例を示す説明図
【図６】本発明の他の実施例の動作を示すフローチャート
【符号の説明】
１ａ，１ｂ固体撮像素子
２Ａ−Ｄ変換手段
３合致処理手段
４レベル調整手段
５画像合成手段

Claims

露光量を変えて撮像した同一被写体の複数の画像データのレベル合わせを、飽和している部分を除外した各画像データの輝度情報の平均値の比に基づいて、各画素の輝度データ値の補正演算を行い、当該各画像データの輝度レベルを合わせる輝度レベル調整手段と、
前記輝度レベル調整手段によって輝度レベルを合わせた複数の画像データを合成する画像合成手段とを有することを特徴とする撮像装置。
前記輝度レベル調整手段は、各画像データの飽和している部分の周辺をさらに除外した領域のデータの輝度情報の平均値の比に基づいて行うことを特徴とする請求項１記載の撮像装置。
露光量を変えて撮像した同一被写体の複数の画像データのレベル合わせを、画像データの輝度変化の少ない領域を抽出しその領域の各画像データの輝度情報の平均値の比に基づいて、各画素の輝度データ値の補正演算を行い、当該各画像データの輝度レベルを合わせる輝度レベル調整手段と、
前記輝度レベル調整手段によって輝度レベルを合わせた複数の画像データを合成する画像合成手段とを有することを特徴とする撮像装置。
露光量を変えて撮像した同一被写体の複数の画像データのレベル合わせを、画像データの白に近い領域を抽出しその領域の各画像データの輝度情報の平均値の比に基づいて、各画素の輝度データ値の補正演算を行い、当該各画像データの輝度レベルを合わせる輝度レベル調整手段と、
前記輝度レベル調整手段によって輝度レベルを合わせた複数の画像データを合成する画像合成手段とを有することを特徴とする撮像装置。
画像合成手段は、標準より多い露光量で得られた画像データを低輝度側のデータとし、標準の露光量で得られた画像データを高輝度側のデータとし、標準より少ない露光量で得られた画像データを超高輝度側のデータとして、全てもしくは任意の組み合わせで画像データを合成することを特徴とする請求項１ないし４何れか記載の撮像装置。
画像合成手段は、画像データの組み合わせの切り換わりのデータ値を固定値として画像データを合成することを特徴とする請求項５記載の撮像装置。
画像合成手段は、画像データの組み合わせの切り換わりのデータ値に、高輝度側のデータと低輝度側のデータの含有比率が変化可能なある幅を持たせて画像データを合成することを特徴とする請求項５記載の撮像装置。
画像合成手段は、高輝度側のデータと低輝度側のデータの含有比率を直線的に変化させて画像を合成することを特徴とする請求項７記載の撮像装置。
画像合成手段は、高輝度側のデータと低輝度側のデータの含有比率をコサインカーブで変化させて画像を合成することを特徴とする請求項７記載の撮像装置。
露光量を変えて撮像した同一被写体の複数の画像データのレベル合わせを、飽和している部分を除外した各画像データの輝度情報の平均値の比に基づいて、各画素の輝度データ値の補正演算を行い、当該各画像データの輝度レベルを合わせ、該レベルを合わせた複数の画像データを合成することを特徴とする画像処理方法。
露光量を変えて撮像した同一被写体の複数の画像データのレベル合わせを、画像データの輝度変化の少ない領域を抽出しその領域の各画像データの輝度情報の平均値の比に基づいて、各画素の輝度データ値の補正演算を行い、当該各画像データの輝度レベルを合わせ、該レベルを合わせた複数の画像データを合成することを特徴とする画像処理方法。
露光量を変えて撮像した同一被写体の複数の画像データのレベル合わせを、画像データの白に近い領域を抽出しその領域の各画像データの輝度情報の平均値の比に基づいて、各画素の輝度データ値の補正演算を行い、当該各画像データの輝度レベルを合わせ、該レベルを合わせた複数の画像データを合成することを特徴とする画像処理方法。