JPH08149487A

JPH08149487A - 画像処理方法、画像処理装置及び撮像装置

Info

Publication number: JPH08149487A
Application number: JP6285067A
Authority: JP
Inventors: Eiichiro Ikeda; 栄一郎池田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1994-11-18
Filing date: 1994-11-18
Publication date: 1996-06-07
Anticipated expiration: 2019-06-07
Also published as: JP3535585B2

Abstract

(57)【要約】【目的】撮像装置において、色の分光感度の違いによ
るつぶれ領域判別の誤判別を防ぐ。【構成】撮像素子の色フィルタに対応して閾値を算出
し、これらの閾値のなかで最も値の高い閾値と低い閾値
を決定する。撮像素子から出力され色分離された異なる
色信号中の、飽和領域については上記低い閾値を用い、
ノイズ領域については高い閾値を用いて領域を判別する
ことにより、色の分光感度の違いによるつぶれ領域判別
の誤判別を防ぐことができる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、例えば固体撮像素子を
用いて得た画像を処理する画像処理方法，画像処理装
置、並びに、撮像装置に関する。

【０００２】

【従来の技術】近年、テレビジョンカメラ、ビデオカメ
ラ、電子カメラなどの画像取込素子として、ＣＣＤ撮像
素子をはじめとする固体撮像素子が多く使われている。
ところが、固体撮像素子のダイナミックレンジは銀塩な
どに比べ著しく狭く、撮像条件によっては画質が著しく
劣化する。

【０００３】そこで、固体撮像素子のダイナミックレン
ジ拡大の方法として、特開昭６３−３０６７７８号等に
提案されているように、同一シーンに対して露光量を異
ならせて複数枚の画像を撮影し、この複数枚の画像デー
タを何らかの演算で合成し、ダイナミックレンジの拡大
された画像を得る手法がある。図９Ａ〜図９Ｃ、図１０
Ａ〜図１０Ｃはその代表的な例である。図９Ａ〜図９Ｃ
は、適正露光で撮影した標準画像と、過度露光で撮影
した非標準画像の合成を示したものである。図９Ａ
は、同一シーンの被写体を露光を変えて撮影した２枚の
画像データをグラフに示したもので、ｘ軸は被写体の照
度、ｙ軸は撮像素子の出力を意味する。

【０００４】図９Ａ〜図９Ｃの合成の概念を述べると、
被写体照度軸上のｘ₁の位置においては、適正露光の画
像信号は撮像素子の出力がノイズレベルにあるが、露
光を多くして得た画像信号はノイズレベル以上の値を
有する。ここで標準画像の０からノイズレベルまでの
信号値を非標準画像の値で置き換えればダイナミック
レンジの拡大された画像信号が得られる。そこで、図の
ように、合成のために、標準画像の傾きを輝度レベル
調整値Ｋをかけることによって非標準画像信号の傾き
に合わせ（以下、輝度レベル調整と呼ぶ）標準画像’
を生成することを考える。このとき標準画像’におけ
るノイズレベルはｎ×Ｋとなる。次に、ノイズレベルｎ
×Ｋ（＝ｎ’）値より上に適当な閾値Ｔをとり、図９Ｂ
のように、その閾値Ｔより下のデータを非標準画像信号
と置換する。こうすることによって、標準画像’に
おいて、（ｎ’−ｎ）区間のノイズがなくなるわけであ
る。このようにつくられた合成画像の傾きは、標準画像
をＫ倍したので図９Ｃのように合成画像の傾きを１／
Ｋ倍することでもとに戻して輝度レベルを標準画像に
合わせる。以上のような処理を行えば、ダイナミックレ
ンジの拡大されたノイズレベルの小さい合成画像データ
が得られる。

【０００５】図１０Ａ〜図１０Ｃは、適正露光で撮影し
た標準画像と露光を少なくして撮影した非標準画像
の合成を示したものである。図９Ａと同様に、図１０Ａ
において被写体照度軸上のｘ₂では、標準画像では白
つぶれに、非標準画像では値が存在する。よって図の
ように非標準画像の傾きを輝度レベル調整値Ｋをかけ
ることによって標準画像の輝度レベルに合わせ、非標
準画像’とする。そして、図１０Ｂのように、適当な
閾値Ｔを設け、標準画像のＴより上の領域を非標準画
像’で置換する。こうすることによって合成画像が作
られたが、この合成画像は、図１０Ａの標準画像と比
較すると、輝度レベル（傾き）の面では同じであるが、
１０ビット以上の値を持っている。よって、図９Ｃのと
きと同じように傾きを変えることによって１０ビット幅
にすることはできない。そこで、図１０Ｃのようにニー
ポイント（図中、ｋｎｅｅと記載）を設け、標準画像
との傾きを同じにしたまま、明るい領域を圧縮するので
ある。

【０００６】以上のような処理を行うことで、明るい部
分の白とびが無い、ダイナミックレンジの拡大された画
像データを合成できる。

【０００７】

【発明が解決しようとする課題】上述の従来の手法にお
いては、標準画像における黒つぶれあるいは白つぶれ領
域を閾値を用いて判別している。従来、その閾値設定手
法として、撮像素子がカラーフィルタを備えていた場
合、撮像素子からの出力信号をそのまま使用して閾値を
設定する。

【０００８】しかし、撮像素子各色によって撮像素子の
出力値に分光感度の関係上バラツキがあるため、完全に
つぶれ領域を判別することができないという問題があっ
た。例えば、適正露光で撮影した標準画像における飽和
領域を判別し、この飽和領域を非標準画像の対応する領
域で置換しようとする場合を例にとると、撮像素子がＲ
ＧＢフィルタを備えていた場合、このフィルタの特性を
考慮しないと、完全に飽和領域を判別分離できず、その
結果として合成後の画像データにまだ飽和領域が残って
しまうという欠点があった。また、前記各色信号のバラ
ツキにより閾値の設定が困難になるという欠点があっ
た。

【０００９】

【課題を解決するための手段】本発明は上述の課題を解
決することを目的としてなされたもので、その目的は、
飽和領域またはノイズ領域などを適切に判別することの
できる画像処理方法及び画像処理装置、並びにこれらの
領域を補正した画像信号を出力する撮像装置を提案する
ものである。

【００１０】上記課題を達成するための本発明の、所定
の色フィルタを介して撮像素子から出力された画像信号
の飽和領域を判別する画像処理方法は、前記撮像素子の
色フィルタに対応して閾値を設定し、前記撮像素子から
出力され色分離された各色信号を、最も値の低い閾値を
用いて前記各色信号中の飽和領域を判別することを特徴
とする。

【００１１】また、上記課題を達成するための本発明
の、所定の色フィルタを介して撮像素子から出力された
画像信号のノイズ領域を判別する画像処理方法は、前記
撮像素子の色フィルタに対応して閾値を設定し、前記撮
像素子から出力され色分離された各色信号を、最も値の
高い閾値を用いて前記各色信号中のノイズ領域を判別す
ることを特徴とする。

【００１２】また、上記課題を達成するための本発明
の、所定の色フィルタを介して撮像素子から出力された
画像信号の飽和領域を判別する画像処理装置は、前記撮
像素子の色フィルタに対応して閾値を設定する手段と、
前記撮像素子から出力され色分離された各色信号を、最
も値の低い閾値を用いて前記各色信号中の飽和領域を判
別する判別手段を具備することを特徴とする。

【００１３】また、上記課題を達成するための本発明
の、所定の色フィルタを介して撮像素子から出力された
画像信号のノイズ領域を判別する画像処理装置は、前記
撮像素子の色フィルタに対応して閾値を設定する手段
と、前記撮像素子から出力され色分離された各色信号
を、最も値の高い閾値を用いて前記各色信号中のノイズ
領域を判別する判別手段を具備することを特徴とする。

【００１４】請求項５及び６によれば、前記飽和領域及
びノイズ領域は夫々白つぶれ領域および黒つぶれ領域で
ある。請求項７の画像処理方法によれば、予め適性露光
で撮影した標準画像と非適性露光で撮影した非標準画像
の画素値の差の平均値を用いて前記閾値を算出する。請
求項８の画像処理方法によれば、予め適性露光で撮影し
た標準画像の画素値と、非適性露光で撮影した非標準画
像の画素値との間の、一方に対する他方の値の変化の度
合いを用いて前記閾値を算出する。

【００１５】請求項９，１０の画像処理方法は、前記閾
値を用いて飽和領域あるいはノイズ領域と判別された場
合に、夫々、露光量を少なくして撮影した画像あるいは
露光量を多くして撮影した画像によって置き換える。上
記課題を達成するための本発明の、所定の色フィルタを
介して撮像素子から出力された画像信号の飽和領域を判
別して色信号を出力する撮像装置は、適性露光で撮影し
た標準画像と露光量を少なくし撮影した非適性露光での
非標準画像を得る手段と、前記標準画像と非標準画像の
画像データに基づいて前記色フィルタに対応する閾値を
設定する設定手段と、前記撮像素子からの色信号を、前
記設定手段によって設定された閾値のうちで最も値の低
い閾値を用いて各色毎に飽和領域か否かを判別する判別
手段と、飽和領域と判別された領域を、前記非標準画像
で置換して出力する手段を具備することを特徴とする。

【００１６】上記課題を達成するための他の構成になる
本発明の、所定の色フィルタを介して撮像素子から出力
された画像信号のノイズ領域を判別して色信号を出力す
る撮像装置は、適性露光で撮影した標準画像と露光量を
多くして撮影した非適性露光での非標準画像を得る手段
と、前記標準画像と非標準画像の画像データに基づいて
前記色フィルタに対応する閾値を設定する設定手段と、
前記撮像素子からの色信号を、前記設定手段によって設
定された閾値のうちで最も値の高い閾値を用いて各色毎
にノイズ領域か否かを判別する判別手段と、ノイズ領域
と判別された領域を、前記非標準画像で置換して出力す
る手段を具備することを特徴とする。

【００１７】

【実施例】以下本発明を一実施例を用いて詳細に説明す
る。この実施例は、画像処理装置を撮像装置に適用した
ものである。図１は本発明の実施例を表す撮像装置のブ
ロック図である。図１において、１はレンズ、２は光学
的ローパスフィルタ、３はＣＣＤ固体撮像素子、４はＡ
／Ｄ変換器、５は色分離回路、６はスイッチ、７はメモ
リ、８はローパスフィルタ、９はダイナミックレンジ拡
大処理部、１０は信号処理部、１１はシステムコントロ
ーラ、１２は補間処理回路である。

【００１８】撮像素子３には、図２に示すような配列の
４色の補色フィルタが受光面に張り付けられている。次
に図１に示された回路の動作を説明する。被写体像（不
図示）はレンズ１、光学ローパスフィルタ２を通り、撮
像素子３に投影される。撮像素子から出力された画像信
号はＡ／Ｄ変換器４でデジタル信号となり、色分離回路
５でＭａ（マジェンタ），Ｇｒ（グリーン），Ｃｙ（シ
アン），Ｙe（イエロー）の４色の信号に分離される。
システムコントローラ１１はすべての回路及び処理部の
動作を司るものでダイナミックレンジを拡大する必要が
あるか否かを撮像素子からの出力値もしくはユーザの要
求により判断する。ダイナミックレンジを拡大しない通
常モードの場合は、スイッチ６は信号処理部１０側に閉
じているので、色分離回路５の出力は直ちに信号処理部
１０へ送られ、信号処理部１０においてマトリクス演算
が施されて輝度信号及び色差信号とされ信号とされ出力
される。

【００１９】次に、ダイナミックレンジ拡大モードが設
定されている場合を説明する。この拡大モードでは、ス
イッチ６はメモリ７側に閉じられている。このスイッチ
６により色差分離回路５の出力はメモリ７に導かれ、夫
々の色信号ごとに記憶される。補間処理回路１２は、メ
モリ７に記憶されている色信号を調べ、各色ごとに欠落
している画素を補間して再びメモリ７に記憶する。メモ
リ７に記憶された画素補間済みの４色の信号はローパス
フィルタ８で高域成分が除かれた後、ダイナミックレン
ジ（以下、Ｄレンジと呼ぶ）拡大処理部９へ送られる。
拡大処理部９では、ダイナミックレンジを拡大するため
の閾値が設定される。この閾値とメモリ７からのローパ
スフィルタを通らない４色の信号を用いて閾値の合成を
行う。このようにしてダイナミックレンジの拡大された
４色の画像信号はメモリ７に順次記憶され、次に信号処
理部１０に送られ輝度信号及び色差信号となり出力され
る。

【００２０】次に、本実施例の主眼となるダイナミック
レンジ拡大処理部９の動作を詳しく説明する。この実施
例では、適正露光で撮影した画像（標準画像と呼ぶ）の
飽和領域を、非適正露光（露光少）で撮影した画像（非
標準画像と呼ぶ）のそれに対応する領域で置換すること
を例とする。図３は図１におけるダイナミックレンジ拡
大処理部９の動作を説明した図である。以下、図１，図
３用いてＤレンジ拡大処理部９の動作を説明する。

【００２１】補間処理回路１２で色補間された４色の信
号は飽和領域を判別するためローパスフィルタで高域成
分が取り除かれた後、閾値設定部で４色すべての色に対
して閾値が設定される。ここで、閾値設定の処理として
は、本出願人が先に提案した「合成毎に輝度レベルを合
わせる手法」（特願平５−２７１９４０，５−２７１９
４１，５−２７１９４２，５−２７１９４３，５−２７
２１１７，５−２８１００８）で提案している手法を用
いて、適正露光で撮影した標準画像と非適性露光で撮影
した非標準画像の輝度レベルを合わせた後、図４のよう
に、前記両画像信号の値をプロットする。即ち、ｘ軸と
して前記両画像信号のどちらか一方の画像信号の画素の
値（図４の例では非標準画像信号）をとり、ｙ軸として
前記両画像信号の画素値の差、即ち、｜非適性画像−適
性画像｜を演算してその平均値をとる。そして、｜非適
性画像−適性画像｜の値が大きくなる少し手前を飽和領
域の閾値Ｔとする。

【００２２】図６、図７、図８、は図４において、｜非
適性画像−適性画像｜が飽和領域においては大きくなる
ことを説明した図である。図６は標準画像、図７は非標
準画像に輝度レベル調整値Ｋをかけたもの、図８は図７
と図６の差の絶対値、即ち、｜非適性画像×Ｋ−適性画
像｜である。図８のハッチング領域により標準画像デ
ータ図６が飽和しているかまたは飽和領域に近づいてい
るかがわかる。またハッチング領域は非標準画像の黒
つぶれ領域である。

【００２３】閾値を設定するための他の手法を図５を用
いて説明する。この方法は、図５に示すように、ｘ軸に
標準画像の画素値、ｙ軸に非標準画像の画素値をとり、
標準画像と同一座標の非標準画像の画素値をｙ軸にプロ
ットする。図５のように、標準画像の適正領域では傾き
が１となるが、飽和領域になると傾きが１以上になる。
従って図５の様な位置に閾値を設定する。

【００２４】以上のようにして図３のダイナミックレン
ジ拡大処理部９に於て、その閾値設定部９５で、すべて
の色に対しての閾値が設定され、白つぶれ領域を判別す
るが、このとき飽和領域を捜す手法として、各色に対応
する４つの閾値のうち最も値の低いものを閾値として用
いる。これは、領域分解として複数の閾値を用いた場
合、同一画素においてその画素を構成する各色信号が異
なる露光量の画像信号から作られたその結果として色相
が変化するということを防ぐためである。たとえば、色
温度によっても異なるが、４色中Ｙeが他の色に比べて
比較的低照度で飽和してしまうためＹeの閾値は他の色
にそれに比べ値が低い。このことによってＭa，Ｇr，Ｃ
yは標準画像からの信号を用い、Ｙeは飽和しているため
非標準画像からの信号を用いるケースが生じ色相がずれ
る。本実施例ではこの場合Ｙeの閾値を他のすべての色
について用いるためこのようなことを防ぐことができ
る。

【００２５】次に領域分割処理９６で、この選択された
１つの閾値を用いて４つの信号すべての飽和領域を非標
準画像信号で置換する。また同時に、飽和領域の境界領
域を置換後（合成処理９２の処理後）にスムージング処
理９３を行い、疑似輪郭をなくす。このようにして合成
された４つの色信号は信号処理部１０で輝度信号及び色
差信号となり出力される。

【００２６】以上、ダイナミックレンジ拡大処理とし
て、適正露光で撮影した標準画像の飽和領域を、非適正
露光（露光少）で撮影した非標準画像のそれに対応する
領域で置換することを実施例として説明したが、標準画
像のノイズ領域を非適正露光（露光多）で撮影した非標
準画像に対応する領域で置換する場合にもあてはまり、
この場合、閾値設定手段として４つの閾値の中で最も値
の大きいものを用いれば良い。また、本実施例の用に２
枚の画像を合成するだけでなく、標準画像と非標準画像
（露光少）と非標準画像（露光多）の３枚を用いて合成
を行っても、つまり２枚以上なら何枚合成に用いても差
し支えない。

【００２７】以上述べたように、実施例の画像処理方
法、画像処理装置によれば、同一シーンにおける異なる
露光量の複数枚の画像データのうち、適正露光で撮影し
た標準画像のノイズ領域（黒つぶれ）を、露光量を多く
して撮影した非標準画像データのそれに対応する領域と
置換し、また、適正露光で撮影した標準画像の飽和領域
（白つぶれ）を、露光量を少なくして撮影した非標準画
像データの飽和領域に対応する領域と置換することによ
って、１枚の広いダイナミックレンジ画像を合成する画
像処理方法若しくは装置において、つぶれ領域を判別す
る手法として、撮像素子の色フィルタに対応して、閾値
を算出し、白つぶれ領域を判別するときには複数の閾値
のうち最も値の低いものを用い、黒つぶれ領域を判別す
るときには複数の閾値のうち最も値の高いものを用いて
判別することにより、複数の閾値を用いた場合、同一画
素においてその画素を構成する各色信号が異なる露光量
の画像信号から作られたその結果として色相が変化する
ことを防ぐことができ、結果としてダイナミックレンジ
の拡大されたつぶれのない画像を合成できる。

【００２８】尚、本発明は、複数の機器から構成される
システムに適用しても、１つの機器から成る装置に適用
しても良い。また、本発明はシステム或は装置にプログ
ラムを供給することによって達成される場合にも適用で
きることはいうまでもない。

【００２９】

【発明の効果】以上述べたように本発明の画像処理方法
及び画像処理装置によれば、色毎に設定した閾値のう
ち、飽和領域に対しては最も低い値の閾値を用いること
により飽和領域を適切に判別することができる。また、
ノイズ領域に対しては最も高い値の閾値を用いることに
よりノイズ領域を適切に判別することのできる。

【００３０】また、本発明の撮像装置によれば、上記の
手法を用いて検出した領域について適切に補正した信号
を出力することができる。

【図面の簡単な説明】

【図１】本発明の実施例を説明するための撮装置の概略
構成図である。

【図２】図１における撮像素子３の色フィルタの配列を
示す図である。

【図３】図１におけるダイナミックレンジ拡大処理部９
の処理の動作を示す図である。

【図４】閾値設定の１つの手法を説明するための図であ
る。

【図５】閾値設定の他の手法を説明するための図であ
る。

【図６】標準画像（適正露光）を示す図である。

【図７】非標準画像（露光少）を示す図である。

【図８】図６の標準画像と、図７の非標準画像の同一座
標における画素値とその差を示す図である。

【図９Ａ】（適正露光＋過度露光）の画像合成例を示す
図である。

【図９Ｂ】（適正露光＋過度露光）の画像合成例を示す
図である。

【図９Ｃ】（適正露光＋過度露光）の画像合成例を示す
図である。

【図１０Ａ】（適正露光＋露光少）の画像合成例を示す
図である。

【図１０Ｂ】（適正露光＋露光少）の画像合成例を示す
図である。

【図１０Ｃ】（適正露光＋露光少）の画像合成例を示す
図である。

【符号の説明】

１レンズ２光学ローパスフィルタ３ＣＣＤ固体撮像素子４Ａ／Ｄ変換器５色分離回路６スイッチ７メモリ８ローパスフィルタ９ダイナミックレンジ拡大処理部１０信号処理部１１システムコントローラ１２補間処理回路９２合成処理９３スムージング処理９５閾値設定処理９６領域分割処理

Claims

【特許請求の範囲】

【請求項１】所定の色フィルタを介して撮像素子から
出力された画像信号の飽和領域を判別する画像処理方法
において、前記撮像素子の色フィルタに対応して閾値を設定し、前記撮像素子から出力され色分離された各色信号を、最
も値の低い閾値を用いて前記各色信号中の飽和領域を判
別することを特徴とする画像処理方法。
【請求項２】所定の色フィルタを介して撮像素子から
出力された画像信号のノイズ領域を判別する画像処理方
法において、前記撮像素子の色フィルタに対応して閾値を設定し、前記撮像素子から出力され色分離された各色信号を、最
も値の高い閾値を用いて前記各色信号中のノイズ領域を
判別することを特徴とする画像処理方法。
【請求項３】所定の色フィルタを介して撮像素子から
出力された画像信号の飽和領域を判別する画像処理装置
において、前記撮像素子の色フィルタに対応して閾値を設定する手
段と、前記撮像素子から出力され色分離された各色信号を、最
も値の低い閾値を用いて前記各色信号中の飽和領域を判
別する判別手段を具備することを特徴とする画像処理装
置。
【請求項４】所定の色フィルタを介して撮像素子から
出力された画像信号のノイズ領域を判別する画像処理装
置において、前記撮像素子の色フィルタに対応して閾値を設定する手
段と、前記撮像素子から出力され色分離された各色信号を、最
も値の高い閾値を用いて前記各色信号中のノイズ領域を
判別する判別手段を具備することを特徴とする画像処理
装置。
【請求項５】前記飽和領域は白つぶれ領域であること
を特徴とする請求項１記載の画像処理方法。
【請求項６】前記ノイズ領域は黒つぶれ領域であるこ
とを特徴とする請求項２記載の画像処理方法。
【請求項７】予め適性露光で撮影した標準画像と非適
性露光で撮影した非標準画像の画素値の差の平均値を用
いて前記閾値を算出することを特徴とする請求項１また
は２に記載の画像処理方法。
【請求項８】予め適性露光で撮影した標準画像の画素
値と、非適性露光で撮影した非標準画像の画素値との間
の、一方に対する他方の値の変化の度合いを用いて前記
閾値を算出することを特徴とする請求項１または２に記
載の画像処理方法。
【請求項９】前記閾値を用いて飽和領域と判別された
場合に、露光量を少なくして撮影した画像によって置き
換えることを特徴とする請求項１に記載の画像処理方
法。
【請求項１０】前記閾値を用いてノイズ領域と判別さ
れた場合に、露光量を多くして撮影した画像によって置
き換えることを特徴とする請求項２に記載の画像処理方
法。
【請求項１１】所定の色フィルタを介して撮像素子か
ら出力された画像信号の飽和領域を判別して色信号を出
力する撮像装置において、適性露光で撮影した標準画像と露光量を少なくし撮影し
た非適性露光での非標準画像を得る手段と、前記標準画像と非標準画像の画像データに基づいて前記
色フィルタに対応する閾値を設定する設定手段と、前記撮像素子からの色信号を、前記設定手段によって設
定された閾値のうちで最も値の低い閾値を用いて各色毎
に飽和領域か否かを判別する判別手段と、飽和領域と判別された領域を、前記非標準画像で置換し
て出力する手段を具備することを特徴とする撮像装置。
【請求項１２】所定の色フィルタを介して撮像素子か
ら出力された画像信号のノイズ領域を判別して色信号を
出力する撮像装置において、適性露光で撮影した標準画像と露光量を多くして撮影し
た非適性露光での非標準画像を得る手段と、前記標準画像と非標準画像の画像データに基づいて前記
色フィルタに対応する閾値を設定する設定手段と、前記撮像素子からの色信号を、前記設定手段によって設
定された閾値のうちで最も値の高い閾値を用いて各色毎
にノイズ領域か否かを判別する判別手段と、ノイズ領域と判別された領域を、前記非標準画像で置換
して出力する手段を具備することを特徴とする撮像装
置。