JP4216450B2

JP4216450B2 - 画像処理装置

Info

Publication number: JP4216450B2
Application number: JP2000265631A
Authority: JP
Inventors: 崇内貴; 弘西出; 真宮村
Original assignee: Rohm Co Ltd
Current assignee: Rohm Co Ltd
Priority date: 2000-09-01
Filing date: 2000-09-01
Publication date: 2009-01-28
Anticipated expiration: 2020-09-01
Also published as: US20020039453A1; US6898330B2; JP2002077619A

Description

【０００１】
【発明の属する技術分野】
本発明は、ＣＣＤ固体撮像素子などのイメージセンサから出力される画像信号を処理する画像処理装置に関する。
【０００２】
【従来の技術】
ＣＣＤ固体撮像素子などのイメージセンサにおいて、ダイナミックレンジを拡げるために、入力された輝度信号を対数変換することにより、圧縮した画像信号を出力するものが、開発されている。
【０００３】
この対数変換型イメージセンサ（以下、ＬＯＧセンサ）では、図８に実線で例示されるように、その輝度ー出力レベル特性は例えば夜景から晴天の雪景間までのように広い範囲の被写体輝度に亘ってダイナミックレンジが確保されている。このＬＯＧセンサの特性を、同図中破線で示している従来のＣＣＤの特性と対比するとそのダイナミックレンジが広くなっていることが分かる。
【０００４】
【発明が解決しようとする課題】
しかしながら、ＬＯＧセンサから得られる出力電圧は被写体輝度に対して対数変換されているから、図８に「ΔＶ」として例示しているように一画面における帯域が狭くなっており、そのまま出力表示させてもコントラストの少ない画像となってしまっていた。
【０００５】
また、対数変換されている出力電圧を、リニアな値へ変換するためには対数逆変換するために複雑な信号処理を必要としていた。
【０００６】
そこで、本発明は、ＬＯＧセンサから得られる出力電圧の帯域を広くして、コントラストを強調し、見易い画像を形成できる画像処理装置を提供することを目的とする。
【０００７】
また、その画像処理のための回路構成或いは信号処理を簡素な手段で可能とする画像信号処理装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
請求項１の画像処理装置は、一部の電圧範囲Ｄｍｉｎ〜Ｄｍａｘに存在する全画素データＤに対して、それまでの評価対象画素の画素データの総和に対するそれらの評価対象画素の画素データが最大値であるとしたときの総和の比Ｒに所定の第１の係数Ａを乗算した値を、乗算し、その結果画素データの存在し得る変換後の最大値Ｌｍａｘよりも大きくなった画素データを変換後の最大値Ｌｍａｘとして、一次変換された画素データＤ′を得る第１の変換手段と、この一次変換された画素データＤ′に対して、変換後の最大値Ｌｍａｘから一次変換された画素データＤ′を減算し、これに所定の第２の係数Ｂを乗算し、その結果画素データの存在し得る変換後の最大値Ｌｍａｘよりも大きくなった画素データを変換後の最大値Ｌｍａｘとし、これを変換後の最大値Ｌｍａｘから減算して、二次変換された画素データＤ″を得る第２の変換手段と、を組み合わせて行うことを特徴とする。
【０００９】
この請求項１の画像処理装置によれば、対数変換イメージセンサからの出力電圧をその分布に応じて切り出し、有効な画素データのみを処理対象とし、且つ電圧値と光の強さの関係を直線的と見なして、電圧帯を拡大する画像変換を行うから、簡素な処理装置で見易い画像を形成することができる。
【００１０】
また、各色画素毎（例えばカラーイメージセンサにおけるＲ，Ｇ，Ｂ）に画像変換を行うことにより、ホワイトバランス処理も同時に行うことができるので、システム構成が簡素化できる。
【００１６】
また、全画素データＤに対して、その時点までの評価対象画素の画素データの総和に対するそれらの評価対象画素の画素データが最大値であるとしたときの総和の比Ｒ及び所定の第１の係数Ａにより一次変換し、この一次変換された画素データＤ′に対して変換後の最大値Ｌｍａｘ及び所定の第２の係数Ｂを用いて二次変換して画素データＤ″を得るから、フレームメモリなどに画素データを蓄積する必要がなく、画像処理は入力された画像データＤに順次、乗算、減算などの演算を施すのみで行うことができる。
【００１７】
請求項２の画像処理装置は、請求項１の画像処理装置において、前記第１の変換手段で、変換後の最大値Ｌｍａｘよりも大きくなった画素データを変換後の最大値Ｌｍａｘと置き換えた画素の数が、評価対象の画素全体において所定の個数Ｎ１よりも多かった場合に前記第１の係数Ａを所定の量だけ減じ、また逆に所定の個数Ｎ２よりも少なかった場合に前記第１の係数Ａを所定の量だけ増加させるフィードバック処理を行うことを特徴とする。
【００１８】
この請求項２の画像処理装置によれば、第１の変換において、最大値Ｌｍａｘよりも大きくなった画素データを変換後の最大値Ｌｍａｘと置き換えた画素の数が、評価対象の画素全体において所定の個数よりも多いか、少ないかに応じて第１の係数Ａを減少或いは増加させるから、全画素データＤの有意な電圧範囲の上限値が、変換後の最大値に自動的に調整される。
【００１９】
請求項３の画像処理装置は、請求項１の画像処理装置において、前記第２の変換手段で、変換後の最大値Ｌｍａｘよりも大きくなった画素データを変換後の最大値Ｌｍａｘと置き換えた画素の数が、評価対象の画素全体において所定の個数Ｎ３よりも多かった場合に前記第２の係数Ｂを所定の量だけ減じ、また逆に所定の個数Ｎ４よりも少なかった場合に前記第２の係数Ｂを所定の量だけ増加させるフィードバック処理を行うことを特徴とする。
【００２０】
この請求項３の画像処理装置によれば、第２の変換において、最大値Ｌｍａｘよりも大きくなった画素データを変換後の最大値Ｌｍａｘと置き換えた画素の数が、評価対象の画素全体において所定の個数よりも多いか、少ないかに応じて第２の係数Ｂを減少或いは増加させるから、全画素データＤの有意な電圧範囲の上限値が、変換後の最大値に自動的に調整される。
【００２１】
請求項４の画像処理装置は、一部の電圧範囲Ｄｍｉｎ〜Ｄｍａｘに存在する全画素データＤに対して、所定の初期値を有する第３の係数Ｃ１を乗算し、その結果画素データの存在し得る変換後の最大値Ｌｍａｘよりも大きくなった画素データを変換後の最大値Ｌｍａｘとして、一次変換された画素データＤ′を得る第１の変換手段と、この一次変換された画素データＤ′に対して変換後の最大値Ｌｍａｘから一次変換された画素データＤ′を減算し、これに所定の第４の係数Ｃ２を乗算し、その結果画素データの存在し得る変換後の最大値Ｌｍａｘよりも大きくなった画素データを変換後の最大値Ｌｍａｘとし、これを変換後の最大値Ｌｍａｘから減算して、二次変換された画素データＤ′を得る第２の変換手段と、を有し、前記第１の変換手段で、変換後の最大値Ｌｍａｘよりも大きくなった画素データを変換後の最大値Ｌｍａｘと置き換えた画素の数が、所定の個数Ｎ１よりも多かった場合に前記第２の係数Ｃ１を所定の量だけ減じ、また逆に所定の個数Ｎ２よりも少なかった場合に前記第２の係数Ｃ１を所定の量だけ増加させ、且つ前記第２の変換手段で、変換後の最大値Ｌｍａｘよりも大きくなった画素データを変換後の最大値Ｌｍａｘと置き換えた画素の数が、所定の個数Ｎ３よりも多かった場合に前記第４の係数Ｃ１を所定の量だけ減じ、また逆に所定の個数Ｎ４よりも少なかった場合に前記第４の係数Ｃ２を所定の量だけ増加させるフィードバック処理を行うことを特徴とする。
【００２２】
この請求項４の画像処理装置によれば、請求項１におけると同様な効果を奏する。また、全画素データＤの有意な電圧範囲Ｄｍｉｎ〜Ｄｍａｘを、所定の初期値を有する第３の係数Ｃ１及び第４の係数Ｃ２により決定しているから、一旦全画素のデータを取り込み統計的手法などを使って電圧範囲Ｄｍｉｎ〜Ｄｍａｘを求めるためのフレームメモリや演算回路などが不要となり、また、それまでの評価対象画素の画素データの総和を求める等の手段も必要としないから、さらに回路構成が簡素化できる。
【００２３】
また、全画素データＤに対して、所定の初期値を有する第３の係数Ｃ１を乗算して一次変換し、この一次変換された画素データＤ′に対して変換後の最大値Ｌｍａｘ及び所定の第４の係数Ｃ２を用いて二次変換して画素データＤ″を得るから、画像処理は入力された画像データＤに順次、乗算、減算などの演算を施すのみで行うことができる。
【００２４】
また、第１の変換において、最大値Ｌｍａｘよりも大きくなった画素データを変換後の最大値Ｌｍａｘと置き換えた画素の数が、所定の個数よりも多いか、少ないかに応じて第３の係数Ｃ１を減少或いは増加させ、さらに第２の変換において、最大値Ｌｍａｘよりも大きくなった画素データを変換後の最大値Ｌｍａｘと置き換えた画素の数が、所定の個数よりも多いか、少ないかに応じて第４の係数Ｃ２を減少或いは増加させるから、全画素データＤの有意な電圧範囲の上限値、および下限値が、変換後の最大値及び下限値に自動的に調整される。
【００２５】
請求項５の画像処理装置は、請求項１〜請求項４の画像処理装置において、
変換後の最小値Ｌｍｉｎが０でなく、任意の正負の値を採る場合に、前記第１の変換手段及び前記第２の変換手段では、変換後の最大値Ｌｍａｘに代えて、修正された変換後の最大値Ｌｍａｘ′、すなわち変換後の最大値Ｌｍａｘから変換後の最小値Ｌｍｉｎを減算した値、を用いて処理を行い、
且つ前記第２の変換手段で二次変換された画像データＤ″に、変換後の最小値Ｌｍｉｎを加算して、画像変換出力とすることを特徴とする。
【００２６】
この請求項５の画像処理装置によれば、請求項１〜４におけると同様な効果を奏するとともに、変換後の最小値Ｌｍｉｎとして、任意の正負の値を選択することが出来る。また、そのための画像処理手段としても、修正された変換後の最大値Ｌｍａｘ′として変換後の最大値Ｌｍａｘから変換後の最小値Ｌｍｉｎを減算した値を使用し、二次変換後に変換後の最小値Ｌｍｉｎを加算するだけでよいから、簡易な手段により実現することができる。
【００２７】
【発明の実施の形態】
以下、図面を参照して、本発明の画像処理装置に係る実施の形態について説明する。
【００２８】
本発明では、受光した光の強さに対して電圧が対数の関係で出力される対数変換イメージセンサの出力電圧を受け、この出力電圧の分布に応じて画面の電圧帯を決定し、有効な画素データのみを処理対象とし、且つ電圧値と光の強さの関係を直線的と見なして、電圧帯を拡大する画像変換を行う。図１は、この本発明の概念を説明するための図である。
【００２９】
図１（ａ）に示されるように、対数変換イメージセンサ（以下、ＬＯＧセンサ）からのある画面に対する画素データの出力電圧は、被写体輝度に対して対数変換された電圧が出力されることから、比較的狭い電圧範囲Ｄｍｉｎ〜Ｄｍａｘの中に集中することになる。なお、Ｄａは電圧範囲の中心値である。
【００３０】
この電圧範囲Ｄｍｉｎ〜Ｄｍａｘ内のみに有効な画素データが存在するから、この範囲内の電圧を同図（ｂ）に示されるように、画素電圧値の最大値Ｌｍａｘから最小値Ｌｍｉｎ（通常は０である）の広い範囲に広げて、コントラストを強調し、見易い画像を形成する。その際、本質的には、対数変換されている画素データであるから対数逆変換して取り扱うことが考えられるが、この画素データの電圧値が比較的狭い範囲に集中していることから、本発明ではこの電圧帯の電圧値と光の強さの関係を直線的と見なして、画像処理することにより、その処理を簡単にし、負担を少なくする。この場合、微妙な誤差は存在するが、その誤差は視覚上問題とならない程度の影響しかないから、直線的と見なすことに問題はない。
【００３１】
図２は、本発明の画像変換を行う画像処理装置の第１の実施の形態を示す図である。
【００３２】
図２において、ＬＯＧセンサ２１からの画素データは増幅器２２で増幅され、アナログ／ディジタル変換器（以下、ＡＤＣ）２３で所定ビット数（例えば、８ビット）のディジタル信号に変換され、画素データＤとなる。この画素データＤが制御装置２４に入力される。制御装置２４は、本実施の形態の画像処理装置の制御を行うものである。また、タイミング発生装置２５は、ＬＯＧセンサ２１，ＡＤＣ２３，制御装置２４等に各種のタイミング信号を供給する。
【００３３】
さて、制御装置２４は、入力された画素データＤに基づいて、評価エリアとして例えば１画面分の画素データＤの電圧値から、画像データの有意な存在範囲の画素電圧値の上限値Ｄｍａｘ（それ以上はノイズとして廃棄する）と下限値Ｄｍｉｎ（それ以下はノイズとして廃棄する）を決定する。この上下限値Ｄｍｉｎ、Ｄｍａｘを決定するためには、通常フレームメモリなどを用いて直前の１画面分の画像データから求める。なお、評価エリアとしては、１画面分の外、画面の中心部とか、複数のポイントなど、画面上の適当な部分を採用することができる。
【００３４】
このＬＯＧセンサ２１からの画面データは、１秒間に数十画面（例えば３０画面／sec）供給されるから、直前の画面データから上下限値を求めることで十分流である。なお、画素データＤを減算器２６に供給する前に、上下限値を決定するために必要な時間に見合った遅延時間を与えることができる。この場合には、当該画素データＤの属する画面データに基づいて上下限値Ｄｍｉｎ、Ｄｍａｘを決定することができる。なお、この点は、本実施の形態に限らず、本発明の他の実施の形態においても同様である。
【００３５】
制御装置２４で求められた下限値Ｄｍｉｎが、減算器２６で画素データＤから引き算されて、電圧帯の下限値Ｄｍｉｎが変換後の基準電圧、則ち最小値Ｌｍｉｎ（例えば、”０”）に合わせられ、第１変換後の画素データＤ′となる。
【００３６】
そして、第１変換後の画素データＤ′と制御装置２４からの拡大する倍率Ｌｍａｘ／（Ｄｍａｘ−Ｄｍｉｎ）とを乗算器２７で乗算して、第１変換後の画素データＤ′の上限値を変換後の最大電圧Ｌｍａｘに合わせ、第２変換後の画素データＤ″を得る。この第２変換後の画素データＤ″が、本実施の形態の画像処理装置のおける画像出力データとなる。
【００３７】
これにより、図１（ａ）の比較的狭い画素電圧範囲Ｄｍｉｎ〜Ｄｍａｘの画像データが、図１（ｂ）の広い範囲Ｌｍｉｎ〜Ｌｍａｘの画像データに、簡単な処理で変換される。
【００３８】
また、以上に説明した、対数変換イメージセンサからの出力電圧をその分布に応じて切り出し、有効な画素データのみを処理対象とし、且つ電圧値と光の強さの関係を直線的と見なして、電圧帯を拡大する画像変換を、各色画素毎（例えばカラーイメージセンサにおけるＲ，Ｇ，Ｂ）に行うことにより、ホワイトバランス処理も同時に行うことができるので、システム構成が簡素化できる。なお、この各色画素毎に画像変換処理を行うことによる、ホワイトバランス処理の点は、本実施の形態に限らず、本発明の他の実施の形態においても同様である。
【００３９】
図３は、本発明の画像変換を行う画像処理装置の第２の実施の形態を示す図である。
【００４０】
図３において、ＬＯＧセンサ３１からの画素データは増幅器３２で増幅され、アナログ／ディジタル変換器（以下、ＡＤＣ）３３で所定ビット数（例えば８ビット）のディジタル信号に変換され、画素データＤとなる。この画素データＤが制御装置３４に入力される。制御装置３４は、本実施の形態の画像処理装置の制御を行うものである。また、タイミング発生装置３５は、ＬＯＧセンサ３１，ＡＤＣ３３，制御装置３４等に各種のタイミング信号を供給する。
【００４１】
さて、制御装置３４は、入力された画素データＤから、第１の実施の形態におけると同様にして、画素データＤの電圧値から、画像データの有意な存在範囲の画素電圧値の上限値Ｄｍａｘ（それ以上はノイズとして廃棄する）と下限値Ｄｍｉｎ（それ以下はノイズとして廃棄する）を決定する。
【００４２】
制御装置３４で求められた上限値Ｄｍａｘに対する変換後の画像データの最大値Ｌｍａｘの比（＝Ｌｍａｘ／Ｄｍａｘ）を求めて、乗算器３６で画素データＤに比＝Ｌｍａｘ／Ｄｍａｘを乗算し、電圧帯の上限値Ｄｍａｘが変換後の最大値Ｌｍａｘ（例えば、８ビットデータの場合には”２５５”）に合わせられ、第１変換後の画素データＤ′となる。
【００４３】
そして、制御装置３４で、変換後の画像データの最大値Ｌｍａｘ、及び変換後の最大値Ｌｍａｘから変換後の最小値Ｌｍｉｎを引いた値に対する変換後の最大値Ｌｍａｘから第１変換後の最小値Ｄ′ｍｉｎを引いた値の比（＝（Ｌｍａｘ−Ｌｍｉｎ）／（Ｌｍａｘ−Ｄ′ｍｉｎ））、を用意する。
【００４４】
次に、減算器３７で変換後の最大値Ｌｍａｘから第１変換後の画素データＤ′を減算し、この減算された値に比＝（Ｌｍａｘ−Ｌｍｉｎ）／（Ｌｍａｘ−Ｄ′ｍｉｎ）を乗算器３８で乗算し、さらに変換後の最大値Ｌｍａｘから減算することにより、第２変換された画素データＤ″を得る。この第２変換後の画素データＤ″が、本実施の形態の画像処理装置における画像出力データとなる。
【００４５】
この第２変換の処理を纏めて式表現すると、第１変換後の全画素データＤ′に対して、第２変換後の画素データＤ″は次のようになる。
Ｄ″＝Ｌｍａｘ−（Ｌｍａｘ−Ｄ′）
×（Ｌｍａｘ−Ｌｍｉｎ）／（Ｌｍａｘ−Ｄ′ｍｉｎ）
この計算式の内、減算器３７，減算器３９における減算処理は、変換後の最大値Ｌｍａｘがフルスケール（例えば８ビットデータの場合に、”２５５”）であるとすると、単に減算するデータ（例えば減算器３７におけるＤ′）を全ビット反転させるだけで良い。
【００４６】
これにより、本実施の形態によれば、図１（ａ）の比較的狭い電圧範囲Ｄｍｉｎ〜Ｄｍａｘの画像データが、図１（ｂ）の変換後の広い範囲Ｌｍｉｎ〜Ｌｍａｘの画像データに、簡単な処理で変換される。
【００４７】
図４、図５は、本発明の画像変換を行う画像処理装置の第３の実施の形態を示す図であり、図４はそのブロック構成図、図５は変換動作を説明するための図である。
【００４８】
既に説明した第１の実施の形態及び第２の実施の形態では、入力された画素データＤをフレームメモリなどに１画面分の画像データを蓄積し、蓄積された１画面分の画素データＤの電圧値から、画像データの有意な存在範囲の画素電圧値の上限値Ｄｍａｘと下限値Ｄｍｉｎを求め、この上下限値Ｄｍｉｎ、Ｄｍａｘを画像変換処理に利用している。
【００４９】
本第３の実施の形態では、第１，第２の実施の形態とは異なり、画像データの有意な存在範囲の画素電圧値の上限値Ｄｍａｘと下限値Ｄｍｉｎを直接求めることなく、画素データの平均値を利用して、同様の画像変換処理を行う。
【００５０】
図４において、アナログ／ディジタル変換器（以下、ＡＤＣ）４１は、ＬＯＧセンサ（図示省略）からの画素データを所定ビット数（例えば８ビット）のディジタル信号に変換し、画素データＤを出力する。積算手段４２は、入力される画素データＤを、評価エリア分（たとえば１画面分）だけ積算するもので、新しい画素データを入力し、一番古い画素データを廃棄する。除算手段４３は、積算手段４２の積算値ΣＤに対するそれらの評価エリアの画素データが全て最大値（則ち白データ）であるとしたときの総和の比Ｒ（＝ΣＷ／ΣＤ）を求める。
【００５１】
制御装置４４は、本実施の形態の画像処理装置の制御を行うものである。第１定数設定手段４５は、除算手段４３からの比Ｒに乗算する第１の係数Ａを出力するものであり、第２定数設定手段５１は、第２の係数Ｂを出力するものである。その他の構成については、動作説明とともに説明する。なお、図示していないが、ＡＤＣ４１，制御装置４４等に各種のタイミング信号を供給するタイミング発生装置が設けられている。
【００５２】
さて、図４とともに図５も参照して、本実施の形態の動作を説明する。ＡＤＣ４１からの画素データＤは、乗算器４８の一方の入力に供給される。また、ＡＤＣ４１からの画素データＤは積算手段４２にも供給され、積算手段４２で評価エリアとしての一画面分の画素データＤが積算される。したがって、この積算値ΣＤは現在時点から１画面分前までの画素データを積算したものとなる。
【００５３】
次に、除算手段４３でその積算値ΣＤに対するそれらの一画面分の全ての画素データが最大値（則ち白データ）であるとしたときの総和ΣＷとの比Ｒを求める。さらに、切換手段４６を介して第１定数設定手段４５に設定されている第１の係数Ａが乗算器４７に供給され、この乗算器４７で、比Ｒと第１の係数Ａとが乗算される。
【００５４】
そして、乗算器４７からの比Ｒと第１の係数Ａとの積Ｒ×Ａと、ＡＤＣ４１からの画素データＤとが、乗算器４８で乗算される。この時、乗算器４８で乗算されたデータの値が、変換後の最大値Ｌｍａｘを越えているものについては、置換手段４９において変換後の最大値Ｌｍａｘに置き換え、一次変換された画素データＤ′を得る。
【００５５】
この一次変換の処理について、図５を参照すると、ＡＤＣ４１からの画素データＤは図５（ａ）に示されるように、画素電圧値が狭い電圧範囲Ｄｍｉｎ〜Ｄｍａｘに集中しており、本実施の形態では、積算手段４２で画素データＤを評価エリアとしての１画面分積算して、その積算値ΣＤから画像データＤの平均値Ｄａを得ている。この画素データＤの分布が正規分布している場合には平均値Ｄａは電圧範囲Ｄｍｉｎ〜Ｄｍａｘの中心値となる。
【００５６】
そして、除算手段４３の比Ｒは、画像データＤの平均値Ｄａに対する変換後の最大値Ｌｍａｘの比を示している。したがって、画像データＤに除算手段４３の比Ｒを直接乗算すると、平均値Ｄａより大きい画像データＤは変換後の最大値Ｌｍａｘを越えてしまうことになるから、除算手段４３の比Ｒを調整する必要がある。
【００５７】
第１定数設定手段４１に設定されている第１の係数Ａは、比Ｒを調整するために設けられており、その機能から係数Ａの値は１より少し小さい値（例えば０．７〜０．９程度）に設定される。その値は、画像データＤの平均値Ｄａとその平均値Ｄａを中心とした広がりを推定して設定される。
【００５８】
このようにして、算出された比Ｒと設定された第１の係数Ａとの積Ｒ×Ａを、ＡＤＣ４１からの画素データＤに乗算することにより、図５（ｂ）のように、画像データＤの上限値Ｄｍａｘが変換後の最大値Ｌｍａｘの近傍になるように、一次変換された画素データＤ′が得られる。
【００５９】
次に、二次変換について説明する。一次変換された画素データＤ′は、まず、減算器５０で変換後の最大値Ｌｍａｘから減算される。次に、減算器５０で減算された値と、切換手段５２を介して第２定数設定手段５１に設定されている第２の係数Ｂが乗算器５３に供給され、乗算される。次に、乗算器５３で乗算された値が、変換後の最大値Ｌｍａｘを越えているものについては、置換手段５４において変換後の最大値Ｌｍａｘに置き換える。そして、置換手段５４で置換された値が、減算器５５で変換後の最大値Ｌｍａｘから減算され、二次変換された画素データＤ″を得る。なお、減算器５０，５５における減算は、変換後の最大値Ｌｍａｘがフルスケールであるとすると、単に減算するデータを全ビット反転させるだけで良い。
【００６０】
この二次変換の処理について、図５を参照すると、まず、減算器５０での変換後の最大値Ｌｍａｘからの減算処理は、同図（ｂ）において、一次変換された画素データＤ′（Ｄ′ｍｉｎ〜Ｄ′ｍａｘ）を、変換後の最大値Ｌｍａｘと最小値Ｌｍｉｎ（この場合、０）の中間点を基準として、線対称に変換したことになる。
【００６１】
次に、乗算器５３での第２の係数Ｂの乗算処理は、減算器５０で線対称に変換した画像データを第２の係数Ｂにより拡大することになる。この第２の係数Ｂの大きさは、同図（ｂ）でいうと、「Ｌｍａｘ−Ｄ′ｍｉｎ」を「Ｌｍａｘ−Ｌｍｉｎ」に相当した大きさとなる。したがって、第２の係数Ｂは、画素データＤの推定した分布に応じて、そのように設定される。
【００６２】
なお、この第２の係数Ｂとしては、第１の係数Ａと関連させて、例えば「０．５／（１−Ａ）」とか、「ｋ／（１−Ａ）」（但し、ｋは任意の定数）、のように設定することができる。この場合には、第１の係数Ａを変更することで、その変化の程度は異なるが、第２の係数Ｂ（＝０．５／（１−Ａ））も自動的に変更されることになる。
【００６３】
次に、減算器５５での変換後の最大値Ｌｍａｘからの減算処理は、第２の係数Ｂにより拡大された画素データを、変換後の最大値Ｌｍａｘと最小値Ｌｍｉｎ（この場合、０）の中間点を基準として、線対称に再度変換したことになる。これにより同図（ｃ）に示されるように、二次変換され、拡大された画素データＤ″が得られる。
【００６４】
また、本実施の形態においては、一次変換された画素データＤ′の値が、変換後の最大値Ｌｍａｘを越えているものについては、置換手段４９において変換後の最大値Ｌｍａｘに置き換えている。この置き換えが多すぎる場合には、変換後の最大値Ｌｍａｘを越える画素データが多いから、第１の係数Ａが適正値より大きいことを意味しており、逆に置き換えが少なすぎる場合には画像処理装置を最大値Ｌｍａｘ間で有効に利用していないから、第１の係数Ａが適正値より小さいことを意味している。
【００６５】
このため、二次変換された画素データＤ″に含まれている変換後の最大値Ｌｍａｘの画像データを置き換えた画素の数として、それが、評価対象の画素全体において所定の個数Ｎ１よりも多かった場合に第１の係数Ａを所定の量だけ減じた係数Ａ′に変更し、また逆に所定の個数Ｎ２よりも少なかった場合に前記第１の係数Ａを所定の量だけ増加させた係数Ａ″に変更するフィードバック処理を行う。
【００６６】
この手段として、図４に示されるように、制御装置４４からの制御信号により、選択動作する切換手段４６を設け、制御装置４４からの指令信号により、第１定数設定手段４５からの第１の係数Ａと、制御装置４４からの第１の係数Ａを画像変換処理結果に応じて変更した係数Ａ′等とを切り換えて乗算手段４７に供給する。
【００６７】
これにより、第１の変換において、全画素データＤの有意な電圧範囲の上限値が、変換後の最大値に自動的に調整される。
【００６８】
また、本実施の形態において、二次変換においても事情は同様であり、乗算器５３で第２の係数Ｂと乗算された画素データの値が、変換後の最大値Ｌｍａｘを越えているものについては、置換手段５４において変換後の最大値Ｌｍａｘに置き換えている。この置き換えが多すぎる場合には、変換後の最小値Ｌｍｉｎより小さい画素データが多いから、第２の係数Ｂが適正値より大きいことを意味しており、逆に置き換えが少なすぎる場合には画像処理装置を最小値Ｌｍｉｎまで有効に利用していないから、第２の係数Ｂが適正値より小さいことを意味している。
【００６９】
このため、二次変換された画素データＤ″に含まれている変換後の最小値Ｌｍｉｎ（この場合０値）の画像データを置き換えた画素の数として、それが、評価対象の画素全体において所定の個数Ｎ３よりも多かった場合に第２の係数Ｂを所定の量だけ減じた係数Ｂ′に変更し、また逆に所定の個数Ｎ４よりも少なかった場合に前記第２の係数Ｂを所定の量だけ増加させた係数Ｂ″に変更するフィードバック処理を行う。
【００７０】
この手段として、図４に示されるように、制御装置４４からの制御信号により、選択動作する切換手段５２を設け、制御装置４４からの指令信号により、第２定数設定手段５１からの第２の係数Ｂと、制御装置４４からの第２の係数Ｂを画像変換処理結果に応じて変更した係数Ｂ′等とを切り換えて乗算手段５３に供給する。
【００７１】
これにより、第２の変換において、全画素データＤの有意な電圧範囲の下限値が、変換後の最小値に自動的に調整される。
【００７２】
本実施の形態では、画像処理の結果をフィードバックして、一次変換における第１の係数Ａ及び二次変換における第２の係数Ｂを調整するから、フィードバックの対象となっている画像が静止画像である場合にはこのフィードバックは現画像に対して繰り返しループ的にかかるため、最適な水準へ次第に収束していく。
【００７３】
また、フィードバックの対象となっている画像が動画像である場合にはこのフィードバックは次画面の画像に対してかかることになるが、前回の画像と今回の画像に大きな変化はないときには、このフィードバックによる係数調整が有効に作用する。ただ、その間に急なシーンチェンジがあった場合には変化後の状態に緩やかに追従していくことになる。
【００７４】
この第４の実施の形態によれば、全画素データＤに対して、その時点までの評価対象画素の画素データの総和ΣＤに対するそれらの評価対象画素の画素データが最大値であるとしたときの総和ΣＷの比Ｒ及び所定の第１の係数Ａにより一次変換し、この一次変換された画素データＤ′に対して変換後の最大値Ｌｍａｘ及び所定の第２の係数Ｂを用いて二次変換して画素データＤ″を得るから、フレームメモリなどに画素データを蓄積する必要がなく、画像処理は入力された画像データＤに順次、乗算、減算などの演算を施すのみで行うことができる。
【００７５】
ところで、上記第４の実施の形態においては、変換後の最小値Ｌｍｉｎが０である場合を想定して、画像変換動作を説明している。多くの場合には、変換後の最小値Ｌｍｉｎ＝０、で使用されるが、しかし、変換後の最小値Ｌｍｉｎ≠０とし、正及び負の任意の値を変換後の最小値として使用する場合もある。
【００７６】
このような変換後の最小値Ｌｍｉｎ≠０である場合の画像変換処理について、以下に説明する。
【００７７】
図４，図５の第４の実施の形態において、変換後の最小値Ｌｍｉｎが０でなく、任意の正負の値を採る場合に、一次変換及び二次変換において、変換後の最大値Ｌｍａｘに代えて、修正された変換後の最大値Ｌｍａｘ′、すなわち変換後の最大値Ｌｍａｘから変換後の最小値Ｌｍｉｎを減算（シフト）した値、を用いる。置換手段４９，５４での置換処理についても同様に修正された変換後の最大値Ｌｍａｘ′を用いる。
【００７８】
又、変換後の最大値Ｌｍａｘに代えて、修正された変換後の最大値Ｌｍａｘ′を用いる場合に、画素データＤに対しても同様に変換後の最小値Ｌｍｉｎ分を減算（シフト）して使用するように構成することが出来る。このように、変換後の最大値とともに画素データＤについても、変換後の最小値Ｌｍｉｎ分だけ減算（シフト）することにより、画像データ及び変換後の最大値が同方向にシフトされるから、画像データの処理を適切に行うことが出来る。
【００７９】
この修正された変換後の最大値Ｌｍａｘ′を用いて、図４，図５の第４の実施の形態におけると同様に、画像変換処理を行い、最後に、二次変換された画像データＤ″に、変換後の最小値Ｌｍｉｎを加算して、画像変換出力とする。
【００８０】
この変形された画像処理装置によれば、図４，図５の第４の実施の形態と同様な作用、効果を得ることが出来るとともに、変換後の最小値Ｌｍｉｎとして、任意の正負の値を選択することが出来る。また、そのための画像処理手段としても、修正された変換後の最大値Ｌｍａｘ′として変換後の最大値Ｌｍａｘから変換後の最小値Ｌｍｉｎを減算した値を使用し、二次変換後に変換後の最小値Ｌｍｉｎを加算するだけでよいから、簡易な手段により実現することができる。
【００８１】
なお、この変換後の最小値Ｌｍｉｎ≠０である場合の画像変換処理については、上記の第４の実施の形態のみでなく、後述する他の実施の形態に対しても、同様に適用することが出来る。
【００８２】
図６は、本発明の画像変換を行う画像処理装置の第４の実施の形態を示すブロック図である。
【００８３】
図６において、第３の実施の形態に係る図４と相違する点は、第１の変換における乗算器６３（図４では乗算器４８）に、所定の初期値を有する第３の係数Ｃ１が、制御装置６２から供給されるとともに、第２の変換における乗算器６６（図４では乗算器５３）に、所定の初期値を有する第４の係数Ｃ２が、制御装置６２から供給されることである。その他の、図５で説明した、変換動作の考え方は共通している。
【００８４】
図６で、ＡＤＣ６１からの、一部の電圧範囲Ｄｍｉｎ〜Ｄｍａｘに存在する全画素データＤに対して、制御装置６２から所定の初期値を有する第３の係数Ｃ１を乗算器６３で乗算する。この第３の係数Ｃ１が、画像データＤに対して適切に設定されれば、その乗算により画素データＤの上限値が変換後の最大値Ｌｍａｘ近傍に変換される。また、その乗算の結果、変換された画素データが、変換後の最大値Ｌｍａｘよりも大きくなったときには、置換手段６４によりその画素データを変換後の最大値Ｌｍａｘに置換し、一次変換された画素データＤ′を得る。
【００８５】
この一次変換された画素データＤ′に対して、変換後の最大値Ｌｍａｘから一次変換された画素データＤ′を減算器６５で減算し、これに所定の第４の係数Ｃ２を乗算器６６で乗算し、その結果画素データの存在し得る変換後の最大値Ｌｍａｘよりも大きくなった画素データを置換手段６７で変換後の最大値Ｌｍａｘに置換し、これを変換後の最大値Ｌｍａｘから減算器６８で減算し、二次変換された画素データＤ″を得る。
【００８６】
そして、一次変換において、変換後の最大値Ｌｍａｘよりも大きくなった画素データを変換後の最大値Ｌｍａｘへ置換手段６４で置き換えた画素の数が、所定の個数Ｎ１よりも多かった場合に前記第３の係数Ｃ１を所定の量だけ減じ、また逆に所定の個数Ｎ２よりも少なかった場合に前記第３の係数Ｃ１を所定の量だけ増加させる。
【００８７】
また、二次変換において、変換後の最大値Ｌｍａｘよりも大きくなった画素データを変換後の最大値Ｌｍａｘへ置換手段６７で置き換えた画素の数が、所定の個数Ｎ３よりも多かった場合に前記第４の係数Ｃ２を所定の量だけ減じ、また逆に所定の個数Ｎ４よりも少なかった場合に前記第４の係数Ｃ２を所定の量だけ増加させるフィードバック処理を行う。
【００８８】
これにより、第１の変換において、全画素データＤの有意な電圧範囲の上限値が変換後の最大値に自動的に調整され、また第２の変換において、全画素データＤの有意な電圧範囲の下限値が変換後の最小値に自動的に調整される。
【００８９】
この第４の実施の形態によれば、全画素データＤの有意な電圧範囲の特に上限値Ｄｍａｘを、所定の初期値を有する第３の係数Ｃ１により決定しているから、一旦全画素のデータを取り込み統計的手法などを使って電圧範囲Ｄｍｉｎ〜Ｄｍａｘを求めるためのフレームメモリや演算回路などが不用となり、また、それまでの評価対象画素の画素データの総和を求める等の手段も必要としないから、さらに回路構成が簡素化できる。
【００９０】
また、全画素データＤに対して、所定の初期値を有する第３の係数Ｃ１を乗算して一次変換し、この一次変換された画素データＤ′に対して変換後の最大値Ｌｍａｘ及び所定の第４の係数Ｃ２を用いて二次変換して画素データＤ″を得ている。したがって、画像処理は入力された画像データＤに順次、乗算、減算などの演算を施すのみで行うことができる。
【００９１】
また、第１の変換において、最大値Ｌｍａｘよりも大きくなった画素データを変換後の最大値Ｌｍａｘと置き換えた画素の数が、所定の個数よりも多いか、少ないかに応じて第３の係数Ｃ１を減少或いは増加させ、さらに第２の変換において、変換後の最大値Ｌｍａｘよりも大きくなった画素データを変換後の最大値Ｌｍａｘに置き換えた画素の数が、所定の個数よりも多いか、少ないかに応じて第４の係数Ｃ２を減少或いは増加させるから、全画素データＤの有意な電圧範囲の上限値Ｄｍａｘおよび下限値Ｄｍｉｎが、変換後の最大値Ｌｍａｘ及び下限値Ｌｍｉｎに自動的に調整される。
【００９２】
図７は、本発明の画像変換を行う画像処理装置の第５の実施の形態を示すブロック図である。
【００９３】
この図７の第５の実施の形態は、図４の第３の実施の形態及び図６の第４の実施の形態のいずれか一方の画像処理方法を選択できるようにしたものである。
【００９４】
具体的には、図４に乗算器４７と乗算器４８との間に切換手段７１を設けて制御装置４４から第３の係数Ｃ１を供給するようにし、また切換手段５２と乗算手段５３との間に切換手段７２を設けて制御装置４４から第４の係数Ｃ２を供給するようにしている。
【００９５】
したがって、本実施の形態によれば、必要に応じて選択的に、本発明の画像処理装置を、第３の実施の形態（図４）として機能させることもできるし、第４の実施の形態（図６）として機能させることもできる。
【００９６】
以上説明した本発明の各実施の形態において、画像処理装置をブロック構成にて示しているが、各実施の形態の画像処理をコンピュータを使用してソフトウエアで同様に行うことができる。
【００９７】
【発明の効果】
請求項１の画像処理装置によれば、対数変換イメージセンサからの出力電圧をその分布に応じて切り出し、有効な画素データのみを処理対象とし、且つ電圧値と光の強さの関係を直線的と見なして、電圧帯を拡大する画像変換を行うから、簡素な処理装置で見易い画像を形成することができる。
【００９８】
また、各色画素毎（例えばカラーイメージセンサにおけるＲ，Ｇ，Ｂ）に画像変換を行うことにより、ホワイトバランス処理も同時に行うことができるので、システム構成が簡素化できる。
【０１０１】
また、全画素データＤに対して、その時点までの評価対象画素の画素データの総和に対するそれらの評価対象画素の画素データが最大値であるとしたときの総和の比Ｒ及び所定の第１の係数Ａにより一次変換し、この一次変換された画素データＤ′に対して変換後の最大値Ｌｍａｘ及び所定の第２の係数Ｂを用いて二次変換して画素データＤ″を得るから、フレームメモリなどに画素データを蓄積する必要がなく、画像処理は入力された画像データＤに順次、乗算、減算などの演算を施すのみで行うことができる。
【０１０２】
請求項２の画像処理装置によれば、第１の変換において、最大値Ｌｍａｘよりも大きくなった画素データを変換後の最大値Ｌｍａｘと置き換えた画素の数が、評価対象の画素全体において所定の個数よりも多いか、少ないかに応じて第１の係数Ａを減少或いは増加させるから、全画素データＤの有意な電圧範囲の上限値が、変換後の最大値に自動的に調整される。
【０１０３】
請求項３の画像処理装置によれば、第２の変換において、最大値Ｌｍａｘよりも大きくなった画素データを変換後の最大値Ｌｍａｘと置き換えた画素の数が、評価対象の画素全体において所定の個数よりも多いか、少ないかに応じて第２の係数Ｂを減少或いは増加させるから、全画素データＤの有意な電圧範囲の下限値が、変換後の最小値に自動的に調整される。
【０１０４】
請求項４の画像処理装置によれば、請求項１におけると同様な効果を奏する。また、全画素データＤの有意な電圧範囲Ｄｍｉｎ〜Ｄｍａｘを、所定の初期値を有する第３の係数Ｃ１及び第４の係数Ｃ２により決定しているから、一旦全画素のデータを取り込み統計的手法などを使って電圧範囲Ｄｍｉｎ〜Ｄｍａｘを求めるためのフレームメモリや演算回路などが不要となり、また、それまでの評価対象画素の画素データの総和を求める等の手段も必要としないから、さらに回路構成が簡素化できる。
【０１０５】
また、全画素データＤに対して、所定の初期値を有する第３の係数Ｃ１を乗算して一次変換し、この一次変換された画素データＤ′に対して変換後の最大値Ｌｍａｘ及び所定の第４の係数Ｃ２を用いて二次変換して画素データＤ″を得るから、画像処理は入力された画像データＤに順次、乗算、減算などの演算を施すのみで行うことができる。
【０１０６】
また、第１の変換において、最大値Ｌｍａｘよりも大きくなった画素データを変換後の最大値Ｌｍａｘと置き換えた画素の数が、所定の個数よりも多いか、少ないかに応じて第３の係数Ｃ１を減少或いは増加させ、さらに第２の変換において、最大値Ｌｍａｘよりも大きくなった画素データを変換後の最大値Ｌｍａｘと置き換えた画素の数が、所定の個数よりも多いか、少ないかに応じて第４の係数Ｃ２を減少或いは増加させるから、全画素データＤの有意な電圧範囲の上限値、および下限値が、変換後の最大値及び下限値に自動的に調整される。
【０１０７】
請求項５の画像処理装置によれば、請求項１〜４におけると同様な効果を奏するとともに、変換後の最小値Ｌｍｉｎとして、任意の正負の値を選択することが出来る。また、そのための画像処理手段としても、修正された変換後の最大値Ｌｍａｘ′として、変換後の最大値Ｌｍａｘから変換後の最小値Ｌｍｉｎを減算した値を使用し、二次変換後に変換後の最小値Ｌｍｉｎを加算するだけでよいから、簡易な手段により実現することができる。
【図面の簡単な説明】
【図１】ＬＯＧセンサの電圧帯を拡大する画像変換を行う、本発明の概念を説明する図。
【図２】本発明の第１の実施の形態に係る画像処理装置の構成を示す図。
【図３】本発明の第２の実施の形態に係る画像処理装置の構成を示す図。
【図４】本発明の第３の実施の形態に係る画像処理装置の構成を示す図。
【図５】本発明の第３の実施の形態に係る変換動作を説明するための図。
【図６】本発明の第４の実施の形態に係る画像処理装置の構成を示す図。
【図７】本発明の第５の実施の形態に係る画像処理装置の構成を示す図。
【図８】ＬＯＧセンサの輝度ー出力レベル特性を示す図。
【符号の説明】
２１，３１対数変換センサ（ＬＯＧセンサ）
２３，３３、４１アナログ／ディジタル変換器（ＡＤＣ）
４２積算手段
４３除算手段
４５第１定数設定手段
４９、５４置換手段
５１第２定数設定手段
Ｄ画素データ
Ｄ′第１変換後の画素データ
Ｄ″第２変換後（最終変換後）の画素データ

Claims

一部の電圧範囲Ｄｍｉｎ〜Ｄｍａｘに存在する全画素データＤに対して、それまでの評価対象画素の画素データの総和に対するそれらの評価対象画素の画素データが最大値であるとしたときの総和の比Ｒに所定の第１の係数Ａを乗算した値を、乗算し、その結果画素データの存在し得る変換後の最大値Ｌｍａｘよりも大きくなった画素データを変換後の最大値Ｌｍａｘとして、一次変換された画素データＤ′を得る第１の変換手段と、
この一次変換された画素データＤ′に対して、変換後の最大値Ｌｍａｘから一次変換された画素データＤ′を減算し、これに所定の第２の係数Ｂを乗算し、その結果画素データの存在し得る変換後の最大値Ｌｍａｘよりも大きくなった画素データを変換後の最大値Ｌｍａｘとし、これを変換後の最大値Ｌｍａｘから減算して、二次変換された画素データＤ″を得る第２の変換手段と、
を組み合わせて行うことを特徴とする画像処理装置。
請求項１の画像処理装置において、前記第１の変換手段で、変換後の最大値Ｌｍａｘよりも大きくなった画素データを変換後の最大値Ｌｍａｘと置き換えた画素の数が、評価対象の画素全体において所定の個数Ｎ１よりも多かった場合に前記第１の係数Ａを所定の量だけ減じ、また逆に所定の個数Ｎ２よりも少なかった場合に前記第１の係数Ａを所定の量だけ増加させるフィードバック処理を行うことを特徴とする画像処理装置。
請求項１の画像処理装置において、前記第２の変換手段で、変換後の最大値Ｌｍａｘよりも大きくなった画素データを変換後の最大値Ｌｍａｘと置き換えた画素の数が、評価対象の画素全体において所定の個数Ｎ３よりも多かった場合に前記第２の係数Ｂを所定の量だけ減じ、また逆に所定の個数Ｎ４よりも少なかった場合に前記第２の係数Ｂを所定の量だけ増加させるフィードバック処理を行うことを特徴とする画像処理装置。
一部の電圧範囲Ｄｍｉｎ〜Ｄｍａｘに存在する全画素データＤに対して、所定の初期値を有する第３の係数Ｃ１を乗算し、その結果画素データの存在し得る変換後の最大値Ｌｍａｘよりも大きくなった画素データを変換後の最大値Ｌｍａｘとして、一次変換された画素データＤ′を得る第１の変換手段と、
この一次変換された画素データＤ′に対して変換後の最大値Ｌｍａｘから一次変換された画素データＤ′を減算し、これに所定の第４の係数Ｃ２を乗算し、その結果画素データの存在し得る変換後の最大値Ｌｍａｘよりも大きくなった画素データを変換後の最大値Ｌｍａｘとし、これを変換後の最大値Ｌｍａｘから減算して、二次変換された画素データＤ′を得る第２の変換手段と、を有し、
前記第１の変換手段で、変換後の最大値Ｌｍａｘよりも大きくなった画素データを変換後の最大値Ｌｍａｘと置き換えた画素の数が、所定の個数Ｎ１よりも多かった場合に前記第２の係数Ｃ１を所定の量だけ減じ、また逆に所定の個数Ｎ２よりも少なかった場合に前記第２の係数Ｃ１を所定の量だけ増加させ、且つ前記第２の変換手段で、変換後の最大値Ｌｍａｘよりも大きくなった画素データを変換後の最大値Ｌｍａｘと置き換えた画素の数が、所定の個数Ｎ３よりも多かった場合に前記第４の係数Ｃ１を所定の量だけ減じ、また逆に所定の個数Ｎ４よりも少なかった場合に前記第４の係数Ｃ２を所定の量だけ増加させるフィードバック処理を行うことを特徴とする画像処理装置。
請求項１〜請求項４の画像処理装置において、
変換後の最小値Ｌｍｉｎが０でなく、任意の正負の値を採る場合に、前記第１の変換手段及び前記第２の変換手段では、変換後の最大値Ｌｍａｘに代えて、修正された変換後の最大値Ｌｍａｘ′、すなわち変換後の最大値Ｌｍａｘから変換後の最小値Ｌｍｉｎを減算した値、を用いて処理を行い、
且つ前記第２の変換手段で二次変換された画像データＤ″に、変換後の最小値Ｌｍｉｎを加算して、画像変換出力とすることを特徴とする画像処理装置。