JP3807266B2 - Image processing device - Google Patents
Image processing device Download PDFInfo
- Publication number
- JP3807266B2 JP3807266B2 JP2001231357A JP2001231357A JP3807266B2 JP 3807266 B2 JP3807266 B2 JP 3807266B2 JP 2001231357 A JP2001231357 A JP 2001231357A JP 2001231357 A JP2001231357 A JP 2001231357A JP 3807266 B2 JP3807266 B2 JP 3807266B2
- Authority
- JP
- Japan
- Prior art keywords
- luminance
- image
- signal
- color
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 110
- 238000006243 chemical reaction Methods 0.000 claims description 44
- 238000000034 method Methods 0.000 claims description 18
- 230000001629 suppression Effects 0.000 claims description 18
- 230000001965 increasing effect Effects 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 4
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims 1
- 230000006870 function Effects 0.000 description 23
- 238000001914 filtration Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 17
- 238000005286 illumination Methods 0.000 description 16
- 230000004048 modification Effects 0.000 description 13
- 238000012986 modification Methods 0.000 description 13
- 238000003384 imaging method Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 9
- 230000014509 gene expression Effects 0.000 description 7
- 230000009466 transformation Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 230000003321 amplification Effects 0.000 description 5
- 238000003199 nucleic acid amplification method Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 102100036727 Deformed epidermal autoregulatory factor 1 homolog Human genes 0.000 description 2
- 101710172577 Deformed epidermal autoregulatory factor 1 homolog Proteins 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
- Processing Of Color Television Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は明暗差の大きい画像のダイナミックレンジを圧縮する画像処理装置に関する。
【０００２】
【従来の技術】
陰の領域、地面等に形成される影及び日向の領域を含むような、明暗差の大きい画像は、その暗部の中での画像の明暗差が小さいものとなり、これをダイナミックレンジの小さい表示装置に表示させたときに暗部が一様に黒化し、暗部における物体等の把握の困難な画像となってしまう。そこでHomomorphic Filteringと呼ばれる画像のダイナミックレンジを圧縮する方法が知られている。Homomorphic Filteringとは、陰日向や照明ムラなどの照明強度の情報は輝度の低空間周波数成分であることに着目し、物体の反射率と照明強度の積である輝度を対数変換することにより反射率の対数と照明強度の対数の和に変換し、低周波数成分である照明強度の成分を除去したのち、逆対数変換するものである。
【０００３】
Homomorphic Filteringでは空間周波数成分のうち高周波成分が強調される結果、エッジが不自然に強調される問題がある。そこで例えば特開平５−１６７８８９号公報記載の発明のように、画像内の各位置でエッジの大きさを表す特徴量を求め、その特徴量に基づいてフィルタの特性を可変とする方法が提案されている。即ち、Homomorphic Filteringの改良として、空間周波数成分のうち、低周波成分と、エッジの大きい部分では高周波成分も抑制するものである。これらの概略を図６に示す。
【０００４】
図６の（ａ）は、Homomorphic Filteringの基本構成を示すブロック図である。１フレーム毎に各画素の輝度Ｙが対数変換器９１１により対数変換された輝度Ｙ'となる。この対数変換された輝度Ｙ'を１フレーム毎に、低周波抑制器９１２により低周波抑制処理が行われる。低周波抑制器９１２の処理内容は、対数変換された輝度Ｙ'をコンボルーションフィルタなどにより低空間周波数成分が抑制された、対数変換された輝度Ｙ''とするものである。こうして、低周波成分が抑制された対数変換された輝度Ｙ''を逆対数変換器（指数変換器）９１３により逆対数変換して、１フレーム毎に照明強度による明暗差の抑制された画像出力を得る。
【０００５】
また、図６の（ｂ）は特開平５−１６７８８９号公報記載の、輝度信号圧縮の基本原理を示すブロック図である。１フレーム毎に各画素の輝度Ｙが対数変換器９２１により対数変換された輝度Ｙ'となる。この対数変換された輝度Ｙ'を１フレーム毎に、特徴抽出器９２２と低周波抑制器９２３により低周波抑制処理が行われる。特徴抽出器９２２においては画像内の各位置でエッジの大きさを表す特徴量を求め、その特徴量に基づいて低周波抑制器９２３のフィルタの周波数特性を変化させる。即ち、低周波抑制器９２３で、対数変換された輝度Ｙ'を低周波が抑制された対数変換された輝度とする際、エッジの大きい部分では高周波成分をも抑制する。こうして、低周波が抑制された対数変換された輝度Ｙについて、輝度分布特性を輝度分布特性判定器９２４により判定し、その情報からオフセット補正器９２５、定数倍器９２６をとおして、出力輝度の平均レベル及びダイナミックレンジの調整を行ったのち、逆対数変換器（指数変換器）９２７により逆対数変換して、１フレーム毎に明暗差の抑制された画像出力を得る。
【０００６】
【発明が解決しようとする課題】
一般的なHomomorphic Filteringも、また上記特開平５−１６７８８９号公報記載の発明も、輝度を対数圧縮した段階でフィルタリング処理を行った後、逆対数変換している。このような方法は、対数変換と逆対数変換の２回の非線形輝度レベル変換を行うために処理が複雑になるという問題がある。輝度信号はその最小値が０の他は正の値を持つため、輝度信号の対数変換はその値域が負の部分を含む。逆対数変換を行わずに表示するためには、低周波数成分抑制ののちに正の定数を加える必要が有り、この正の定数が大きくなると高輝度のコントラストが低下するという問題が生じる。また、対数関数を折れ線近似した関数により変換を行う場合、変換された画像に不自然な輝度変化が生じるという問題がある。また、低周波成分が抑制されると相対的に高周波成分が強調され、信号成分よりも高周波成分を多く含むノイズ成分が強調される。したがって、明暗差の抑制により低輝度部分が相対的に明るくなり、且つ低周波成分抑制によりノイズ成分が強調されるため、ＳＮ比が小さい低輝度部分のノイズが目立つ画像になるという問題がある。これはカラー画像の場合、特に精度の低い色情報を持つ低輝度のエッジ部分が強調されて不自然な色として表示される場合がある。また、対象物までの距離が大きくなるほど撮像画像中での照明強度による明暗差の情報が相対的に高周波成分になるのに対して、対象物までの距離と無関係にフィルタリングを行うので、遠方で明暗差の抑制が十分に行えないという問題があった。
【０００７】
本発明は上記の課題を解決するため成されたものであり、その目的は、輝度の逆対数変換処理を行わないで済む、明暗差を抑制する簡便な画像のダイナミックレンジ圧縮を行う画像処理装置を提供することである。また、カラー画像において低輝度部分で不自然な色の発生を抑えた画像処理装置を提供することも目的とする。更には、撮像画像中の対象物までの実際の距離を考慮した、明暗差を抑制する画像のダイナミックレンジ圧縮を行う画像処理装置を提供することをも目的とする。
【０００８】
【課題を解決するための手段】
上記の課題を解決するため、請求項１に記載の手段によれば、モノクロ画像を処理する画像処理装置において、輝度Ｙに対し、変換された輝度ｆ(Ｙ)を与える輝度レベル変換手段であって、関数Ｙ'＝ｆ(Ｙ)は上に凸で滑らかな単調増加関数であるような輝度レベル変換手段と、輝度レベル変換手段の出力である変換された輝度信号に対して、空間周波数の低い成分を抑制し、且つ周波数特性を画像中の各位置における対象までの概算距離に応じて可変とする低周波成分抑制手段と、低周波成分抑制手段の出力輝度について、その出力輝度分布と表示装置の入力レベルから決定される２つの定数によって、出力輝度に一方の定数を乗じたのち他方の定数を加える線形輝度レベル変換手段と、を有することを特徴とする。
【０００９】
また、請求項２に記載の手段によれは、カラー画像を処理する画像処理装置において、カラー入力画像の画像信号から輝度と、色信号を抽出する信号抽出手段と、輝度Ｙに対し、変換された輝度ｆ(Ｙ)を与える輝度レベル変換手段であって、関数Ｙ'＝ｆ(Ｙ)は上に凸で滑らかな単調増加関数であるような輝度レベル変換手段と、輝度レベル変換手段の出力である変換された輝度信号に対して、空間周波数の低い成分を抑制し、且つ周波数特性を画像中の各位置における対象までの概算距離に応じて可変とする低周波成分抑制手段と、低周波成分抑制手段の出力輝度について、その出力輝度分布と表示装置の入力レベルから決定される２つの定数によって、出力輝度に一方の定数を乗じたのち他方の定数を加える線形輝度レベル変換手段と、線形輝度レベル変換手段の出力と、同一画素にあたる信号抽出手段の抽出する色信号とから、カラー画像信号を生成する画像信号生成手段と、を有することを特徴とする。ここで色信号とは、ＲＧＢ信号、ＹＵＶ方式のＵＶ信号、ＹＩＱ方式のＩＱ信号等の色差信号、その他任意である。
【００１０】
請求項３又は請求項４に記載の手段によれば、低周波成分抑制手段の周波数特性を画像中の各位置における対象までの概算距離に応じて可変とする周波数特性制御手段を有することを特徴とする。
【００１１】
また、請求項５に記載の手段によれば、信号抽出手段により抽出された輝度値が所定値以下の時に、色信号を無彩色を示す信号に変換する入力画像の色変換手段を有することを特徴とする。無彩色とは輝度情報のみによる白色、灰色、黒色を意味する。
【００１２】
【００１３】
【００１４】
【００１５】
【００１６】
【作用及び発明の効果】
撮像画像の輝度信号は、物体の反射率の成分と照明強度の成分の積として得られるので、照明強度の成分は物体の反射率の成分の振幅とオフセットの増幅率と考えることができる。即ち、照明強度が大きい部分ほど物体の反射率の成分の平均輝度（オフセット）が大きく、且つ輝度差（振幅）が大きくなる。輝度レベル変換手段における関数Ｙ'＝ｆ(Ｙ)は、上に凸な単調増加関数であるので、輝度Ｙの小さい部分において出力輝度の差が大きくなるよう、輝度Ｙの大きい部分において出力輝度の差が小さくなるよう変換する関数である。したがって、照明強度が不均一な撮像画像の輝度信号をこのように変換することにより、物体の反射率の成分の振幅の増幅率を照明強度によらずに一様に近づけることができる。更に、低周波成分を抑制することにより、物体の反射率の成分のオフセットの増加率を一様に近づけることができる。以上の、輝度レベル変換と、低周波数成分抑制手段とにより、照明強度によらずに物体の反射率の成分の振幅とオフセットの増幅率をともに一様に近づけることができるため、照明強度による明暗差の情報が抑制されたダイナミックレンジの圧縮された画像を得ることが可能である。また、輝度レベル変換手段における関数Ｙ'＝ｆ(Ｙ)は滑らかな関数であるので、輝度変換に起因して画像中に不自然な輝度変化が生じることはない。表示装置の入力は、一般に０から正の有限値までの正のレンジである。また、ダイナミックレンジの狭い表示装置に表示する画像は、低輝度部分での黒つぶれ防止のために、低輝度部分がより明るくなるよう変換された画像が適している。輝度レベル変換手段における関数Ｙ'＝ｆ(Ｙ)はＹの最小値Ｙmin＝０に対してｆ(Ｙmin)＝０である単調増加関数であれば、変換後の輝度は最小値が０、その他の場合は正の値となる。また、低周波成分の抑制後に得られる画像は低輝度部分がより明るくあるよう変換された画像である。このため、低周波成分を抑制された画像の輝度信号を表示装置の入力レンジに合わせて定数倍するだけで、ダイナミックレンジの狭い表示装置に表示することが可能である。したがって、逆対数変換やオフセットの加算が不要となり、装置の簡略化が可能である。
【００１７】
また、低周波成分抑制手段の周波数特性を画像中の各位置における対象までの概算距離に応じて可変とすれば、遠くの対象の明暗差を適切に抑制することができ、また画像上密集する遠くの対象のエッジが不自然に強調されることを抑制することができる（請求項１、請求項２、請求項３、請求項４）。更に、輝度レベルが所定値以下の場合に、無彩色に変換することで、カラー画像中の低輝度のエッジ部分で、低周波成分抑制により不自然な色が強調されて表示することを防止できる（請求項５）。このようにして、本願のいずれの請求項に係る画像処理装置も、明暗差を抑制しつつダイナミックレンジを圧縮することができる。
【００１８】
【発明の実施の形態】
以下、本発明の具体的な実施例について図とともに説明する。尚、本発明は以下の実施例に限定されるものではない。
【００１９】
〔第１実施例〕
図１は、本発明の具体的な第１の実施例に係る画像処理装置１０を用いた撮像、処理、表示の一連の構成を示すブロック図である。モノクロ撮像装置１により得られた画像データがディジタル処理装置２により１フレーム毎の各画素の輝度Ｙとして画像処理装置１０に送られる。画像処理装置１０は次に述べる処理を行いアナログ処理装置３に１フレーム毎の輝度Ｙ'''を出力する。アナログ処理装置３は１フレーム毎の各画素の輝度Ｙ'''からアナログ信号を形成してアナログ表示装置４に出力する。
【００２０】
画像処理装置１０の処理内容は次のとおりである。ディジタル処理装置２の出力Ｙは、輝度レベル変換器１１により次に示すＹ'＝ｆ(Ｙ)により変換された輝度Ｙ'に変換される。
【数１】
【００２１】
上記変換関数は、低輝度部分では輝度に比例し、高輝度部分では輝度の対数に比例するような特性であり、Ｙの最小値Ｙmin＝０に対してｆ(Ｙmin)＝０であり、且つ関数Ｙ'＝ｆ(Ｙ)は上に凸で滑らかな単調増加関数の一例である。ここで、定数ａは変換後の輝度のスケールを決定する正のパラメータであり、フィルタリング処理を行う階調数に応じて決定する。また、定数ｂは低輝度部分と高輝度部分の境界を定義する正のパラメータである。輝度の対数に比例した変換となる高輝度部分（ｂ＜Ｙ＜Ｙmax）では、物体の反射率の成分の振幅の増幅率を一様に近づけることができるが、輝度に比例した変換となる低輝度部分（０＜Ｙ＜ｂ）では、物体の反射率の成分の振幅の増幅率が小さくなりコントラストが低下する。したがって、定数ｂを小さくすると、物体の反射率の成分を一様に近づけることができる輝度Ｙの範囲が大きくなる。しかし、定数ｂを小さくすると変換関数の高輝度部分の傾きが低輝度部分に比べて小さくなるため、高輝度部分のコントラストがより低下する。以上の特性を考慮し、実験により良好な結果が得られた定数ｂは、輝度信号Ｙのノイズレベルの数倍程度であった。輝度レベル変換器１１の出力Ｙ'はメモリ１２に１フレーム毎に記憶される。
【００２２】
次に、１フレーム毎にメモリ１２に記憶されたＹ'を、低周波抑制器１３によりフィルタリング処理を行い、低周波数成分を抑制する。低周波数成分を抑制するフィルタは例えば図１の（ｂ）に示すようなバタワース特性のハイパスフィルタを用いる。こうして、１フレーム毎にメモリ１２に記憶されたＹ'から、低周波数成分を抑制されたＹ''に変換し、再度メモリ１２に１フレーム毎に記憶する。
【００２３】
次に、１フレーム毎にメモリ１２に記憶された低周波数成分を抑制されたＹ''から、最大値検出器１４により最大値Ｙ''maxを検出する。次に予め記憶されている表示装置の入力レベルの最大値Ｌmaxとから係数Ｌmax／Ｙ''maxを係数算出器１５により算出し、メモリ１２からＹ''を順次読み出して乗算器１６により係数算出器１５の有する係数Ｌmax／Ｙ''maxと乗じて出力Ｙ'''＝Ｙ''Ｌmax／Ｙ''maxを求める。出力Ｙ'''は、照明強度による明暗差の抑制された画像出力としてアナログ処理装置３に出力される。このようにして、画像処理装置１０は、明暗差を圧縮することができる。
【００２４】
モノクロ撮像装置１、表示装置４が各々ディジタルデータを出力及び入力できる装置であるとき、ディジタル処理装置２、アナログ処理装置４は不要となる。また、ディジタル処理装置２、アナログ処理装置４を画像処理装置１０と一体化させたものも本願発明に包含される。
【００２５】
本実施例では、低周波成分を抑制された輝度Ｙ''のフレーム内での最大値Ｙ''maxが乗算器１６により定数倍され表示装置の入力の最大値Ｌmaxに変換される例を示した。即ち、フレーム内での輝度の最大値Ｙ''maxが表示される輝度の最大値である。表示される輝度の最大値は、フレーム内の所定の画素数の輝度が飽和するように決定したり、フレーム内の輝度の平均や分散などの統計量を用いて決定することも可能である。また、本実施例では、表示装置の入力レンジの最大値が一般にゼロであるため、変換関数ｆ(Ｙ)の最小値をゼロとしたが、表示装置の入力レンジの最小値がゼロでない場合や表示装置の特性により一定のオフセット値の加算が必要な場合などにｆ(Ｙ)の最小値がゼロに近い正の値とする変換関数を用いるものも本願発明に包含される。
【００２６】
〔第１実施例の変形例〕
図１の（ａ）の輝度レベル変換器１１の輝度Ｙの変換関数ｆ(Ｙ)として、次の変換関数を用いても良い。
【数２】
【００２７】
式（２）による変換は、Ｙがｂよりも十分小さい（Ｙ≪ｂ）とき、次の式（３）で近似できる。
【数３】
【００２８】
逆に 式（２）による変換は、Ｙがｂよりも十分大きい（Ｙ≫ｂ）とき、次の式（４）で近似できる。
【数４】
【００２９】
即ち、本変形例の式（２）による輝度レベル変換は、輝度Ｙが境界値ｂより十分小さいときは輝度Ｙに比例した変換となり、輝度Ｙが境界値ｂより十分大きいときは輝度Ｙの対数に比例した変換となり、輝度Ｙが境界値ｂ付近ではそれらの中間（式（２）と式（３）の中間）の特性の変換となる。式（２）の変換関数による変換は、変換前の輝度に定数を加えたのちに対数変換することと等価であり、本願発明はこのように定数値加算後に対数変換するものも含む。又その他の変形例として、図１の（ａ）の輝度レベル変換器１１の輝度Ｙの変換関数ｆ(Ｙ)として、次のような輝度Ｙのγ乗（γ＜１）に比例した関数を用いても良い。
【数５】
【００３０】
尚、本願発明の輝度レベル変換手段は、広義の意味で上に凸、且つ広義の意味で単調増加であれば良い。尚「広義の意味」とは、本願ではディジタル処理を行うため、丸め誤差のために実際の変換に際し部分的に上に凸でなかったり単調増加でない場合が起こり得ることを意味する。例えば２５４、２５４、２５５、２５５というような場合でも、それが丸め誤差によるもの（本来は２５３．５、２５４．２、２５４．７、２５５となるべき場合等）は広義の意味で上に凸であり単調増加である。
【００３１】
〔第２実施例〕
図２は、本発明の具体的な第２の実施例に係る画像処理装置２０を用いた撮像、処理、表示の一連の構成を示すブロック図である。カラー撮像装置１ｃにより得られた画像データが画像処理装置２０で処理された後、アナログカラー表示装置４ｃに出力される。
【００３２】
画像処理装置２０においての処理は次のとおりである。アナログカラー画像信号がビデオデコーダ２１により、輝度Ｙと、いわゆるＲＧＢ信号を輝度Ｙで除したｒ、ｇ、ｂの信号に分解され、ディジタル値で出力される。即ち、ｒ＝Ｒ／Ｙ、ｇ＝Ｇ／Ｙ、ｂ＝Ｂ／Ｙである。輝度Ｙは輝度レベル変換器２２に、ｒ、ｇ、ｂ信号はｒｇｂメモリ２３に出力される。輝度レベル変換器２２では、第１実施例と同じ関数Ｙ'＝ｆ(Ｙ)により変換された輝度Ｙ'に変換され、変換された輝度Ｙ'はメモリ２４に出力される。こうして、ｒｇｂメモリ２３、メモリ２４に１フレーム毎のｒｇｂ信号と変換された輝度信号Ｙ'が記憶された後、以下の処理が行われる。
【００３３】
１フレーム毎にメモリ２４に記憶されたＹ'を、低周波抑制器２５によりフィルタリング処理を行い、低周波数成分を抑制する。低周波数成分を抑制するフィルタは例えば図１の（ｂ）に示すようなバタワース特性のハイパスフィルタを用いる。こうして、１フレーム毎にメモリ２４に記憶されたＹ'から、低周波数成分を抑制されたＹ''に変換し、再度メモリ２４に１フレーム毎に記憶する。
【００３４】
次に、１フレーム毎にメモリ２４に記憶された低周波数成分を抑制されたＹ''から、最大値検出器２６により最大値Ｙ''maxを検出する。次に予め記憶されているＬmaxを用い、乗算器２７により、Ｌmax及び各画素のＹ''とＹ''maxとから明暗差の抑制された輝度Ｙ''Ｌmax／Ｙ''maxを求める。この明暗差の抑制された輝度Ｙ''Ｌmax／Ｙ''maxに対応するｒ、ｇ、ｂ信号をメモリ２３から読出し、各々乗算器２８ｒ、２８ｇ、２８ｂにおいてＲ'＝ｒＹ''Ｌmax／Ｙ''max、Ｇ'＝ｇＹ''Ｌmax／Ｙ''max、Ｂ'＝ｂＹ''Ｌmax／Ｙ''maxを各々求める。こうして得られたＲ'、Ｇ'、Ｂ'は、照明強度による明暗差の抑制されたＲＧＢ信号であるので、これを基にビデオエンコーダ２９によりアナログカラー表示装置４ｃに入力できるアナログカラー信号を生成する。このようにして、画像処理装置２０は、色情報に変化を来すことなく明暗差を圧縮することができる。
【００３５】
〔第２実施例の変形例〕
上記第２実施例ではＲＧＢ方式の変形を用いたが、ビデオデコーダが輝度Ｙと、通常のＲＧＢを出力するものでも良い。その際は、Ｒ'＝ＲＹ''Ｌmax／ＹＹ''max、Ｇ'＝ＧＹ''Ｌmax／ＹＹ''max、Ｂ'＝ＢＹ''Ｌmax／ＹＹ''maxとなるよう装置を構成する必要が有り、ｒｇｂメモリ２３に対応するＲＧＢメモリ、メモリ２４の他に輝度Ｙを１フレーム毎に記憶するメモリが更に必要となる。また、いわゆるＹＵＶ、ＹＩＱ方式にカラー信号を分解する方式では、Ｙ信号のみを処理するように第２実施例を変形することで構成できる。また、カラー撮像装置１ｃ、アナログカラー表示装置４ｃが各々ディジタルデータ出力及び入力できる装置である場合、ビデオデコーダ及びビデオエンコーダを各々ディジタルカラー信号を所望の形式に変換する演算器に置き替えるのみで構成できる。
【００３６】
〔第３実施例〕
上記第２実施例の構成では、低周波成分を抑制するフィルタリング処理によれ、ＳＮ比の小さい低輝度のエッジ部分が強調されることにより、不自然な色が表示される可能性がある。そこで下記のような構成を付加した実施例を図３示す。
【００３７】
本実施例は、第２実施例において、ビデオデコーダ２１とｒｇｂメモリ２３の間に色変換器２１Ａを加えた構成である。色変換器２１Ａの処理は、輝度Ｙが決められた値Ｙ0より大きいときはビデオデコーダ２１の出力ｒ＝Ｒ／Ｙ、ｇ＝Ｇ／Ｙ、ｂ＝Ｂ／Ｙをそのままｒ'＝ｒ＝Ｒ／Ｙ、ｇ'＝ｇ＝Ｇ／Ｙ、ｂ'＝ｂ＝Ｂ／Ｙとしてｒｇｂメモリ２３にｒ'、ｇ'、ｂ'を出力する。一方、輝度Ｙが決められた値Ｙ0より小さいときは、輝度Ｙであって無彩色を示す信号ｒ'＝１、ｇ'＝１、ｂ'＝１をｒｇｂメモリ２３に出力する。この構成により、低輝度Ｙを有する画素は常に無彩色（灰色又は黒色）として最終的にビデオエンコーダ２９から出力されることになるので、低輝度部分に不自然な着色が成されることが無くなる。
【００３８】
〔第４実施例〕
本実施例は、対象物までの距離に応じて低周波抑制を補正する構成を有するものである。図４は本願の第４の実施例に係る画像処理装置４０を用いた撮像、処理及び表示の一連の構成を示すブロック図である。モノクロ撮像装置１によりえられた画像データがディジタル処理装置２により１フレーム毎の各画素の輝度Ｙとして画像処理装置４０に送られる。画像処理装置４０は、次に述べる処理を行い、アナログ処理装置３に１フレーム毎の輝度Ｙ'''を出力する。アナログ処理装置３は１フレーム毎の各画素の輝度Ｙ'''からアナログ信号を形成してアナログ表示装置４に出力する。
【００３９】
画像処理装置４０の処理内容は次のとおりである。ディジタル処理装置２の出力Ｙは、対数変換器４１によりＹ'＝log(Ｙ)に変換される。次に１フレーム毎にメモリ１２に記憶されたＹ'を、次に述べる低周波抑制器１３によりフィルタリング処理を行い、低周波成分を抑制する。フィルタ記憶部１３Ａでは、画像中の各位置での対象物までの距離に応じた周波数特性のフィルタのカーネルを記憶しておき、低周波抑制器１３は、画像中の各位置においてフィルタ記憶部１３Ａに記憶された対応する位置のフィルタを用いてフィルタリングを行う。走行中の車両から路面を撮像した場合、例えば図５の（ａ）のような撮像画像がえられる。図５の（ａ）の縦軸をｙとすると、図５の（ａ）はｙが大きいほど地平線に近づく画像である。したがって、ｙの大きい位置ほど対象までの距離が大きくなるので、撮像画像中で小さくなり、即ち高周波成分となる。対象物までの距離と無関係な周波数特性のフィルタによりフィルタリングを行うと、ｙの大きい位置での対象物の輪郭等のエッジが、高周波成分として強調され過ぎてしまうのは明らかである。対象までの距離に応じた周波数特性のフィルタを用いることにより、遠くのエッジが強調され過ぎることなくフィルタリングを行うことができる。
【００４０】
画像中の各位置におけるフィルタの周波数特性は、次のように定める。図５の（ｂ）に示すように、高度ｈに設置されたカメラから俯角θで路面を撮像しており、カメラ光学系はピンホールカメラで近似できるものとする。カメラ光学系の光学中心をＯとし、画像面の横方向と縦方向及び光軸方向を、それぞれｘ軸、ｙ軸、ｚ軸とする。レンズの焦点距離をＦとすると、画像面上での位置(ｘ,ｙ)に対応する路面までの距離ｄは、次のとおりとなる。
【数６】
【００４１】
フィルタのカットオフ周波数をｄに比例させることにより、対象までの距離に応じた周波数特性となる。画像中の全ての位置におけるフィルタを記憶する必要はなく、距離ｄの所定範囲を１つのフィルタで近似して用いても良い。また、距離ｄとフィルタのカットオフ周波数を完全に比例させずに、距離ｄの変化に対するカットオフ周波数の変化の度合いを緩和させても良い。例えば、図１（ｂ）で空間周波数ｆの小さい領域で、｜Ｈ(ｆ)｜をｄ大で大きく、ｄ小で小さくしても良い。
【００４２】
こうして、１フレーム毎にメモリ１２に記憶されたＹ'から、低周波成分を抑制されたＹ''に変換し、再度メモリ１２に１フレーム毎に記憶する。次に、１フレーム毎にメモリ１２に記憶された低周波成分を抑制されたＹ''から、演算器４２により最大値Ｙ''maxと、平均値Ｙ''aveを検出する。次に予め記憶されている表示装置の入力レベルの最大値Ｌmaxとから、乗算係数Ｍ及び加算係数Ｐを係数算出器４３により算出し、乗算器１６で係数Ｍを乗じて、加算器４４で係数Ｐを加え、出力Ｙ'''＝ＭＹ''＋Ｐを求める。乗算係数Ｍと加算係数Ｐは次の式により求める。
【数７】
【００４３】
加算器４４の出力Ｙ'''は、逆対数変換器４５によりＹ''''＝exp(Ｙ''')に変換される。逆対数変換器４５の出力Ｙ''''は、照明強度の抑制された画像出力としてアナログ処理装置３に出力される。
【００４４】
さて、メモリ１２に記憶された低周波成分を抑制された輝度Ｙ''の最大値Ｙ''maxと、平均値Ｙ''aveは、係数Ｍを乗ぜられたのち係数Ｐを加算されるのでそれぞれlogＬmaxと、log(Ｌmax/２)に変換され、更に逆対数変換により、それぞれＬmaxとＬmax/２に変換される。即ち、輝度Ｙ''の最大値と平均値は、表示装置の入力レベルのそれぞれ最大値と中央値に変換されて表示装置に表示されるので、表示装置の明るさレンジを有効に使い、適切な明るさで表示することができる。このようにして画像処理装置４０は、遠くの対象のエッジが強調され過ぎることなく、明暗差を抑制しつつ画像のダイナミックレンジを圧縮することができる。本実施例の画像処理装置４０の主たる特徴である低周波抑制器１３とフィルタ記憶部１３Ａは、請求項３に係る発明の具体的な実施例を構成する。
【００４５】
〔第４実施例の変形例〕
第４実施例では、対象までの距離のみを考慮したフィルタリングを行う方法を示したが、対象を観察する方向による対象の形状の変形も考慮したフィルタリングを行うことも可能である。図５（ａ）のように、例えば路面の円形のマンホールは撮像により楕円として入力される。即ち、対象の縦横比が変化し、縦方向と横方向とで異なった周波数特性となるため、縦方向のエッジが強調され過ぎることがある。図５の（ｂ）に示したように、路面を撮像する場合、画像面上の位置(ｘ,ｙ)において、路面上の構造物の縦横比は次式のＲとなる。
【数８】
【００４６】
縦方向のカットオフ周波数が横方向のカットオフ周波数のＲ倍であるような周波数特性のコンボルーションフィルタのカーネルをフィルタ記憶部１３Ａに記憶し、これを用いてフィルタリングを行うことにより、縦方向のエッジが強調され過ぎることなく低周波成分の抑制を行うことが可能となる。
【００４７】
また、実際の大きさと縦横比が等しい対象物は、その画像中での位置によらず画像中での大きさと縦横比もほぼ等しくなるように、入力画像に幾何学的変換を行った後に、同一のコンボルーションカーネルで画像全体にフィルタリングを行い、逆の幾何学的変化を行うことにより、実際の対象の大きさと縦横比に応じた周波数特性でのフィルタリングを実現することができる。この場合、装置の構成は、低周波抑制器１３の前段と後段に幾何学的変換器と対応する逆幾何学的変換器とを設け、フィルタ記憶部１３Ａは不要となる。このような幾何学的変換の例として、図５（ａ）の入力画像において対象が全て路面であると仮定して、路面を真上から観察した画像に変換する方法がある。図５の（ｂ）にしめしたように路面を撮像する場合、画像面を路面に投影して画像面上の座標(ｘ,ｙ)を路面上の座標(x',y')に変化することにより、路面を真上から観察した画像に変換することができる。画像面上の座標(x,y)は次の式で路面上の座標(x',y')に変換できる。
【数９】
【００４８】
路面を真上から観察した画像では、画像中の位置によらず対象までの距離がほぼ等しいので、実際の大きさと縦横比が等しい対象物の画像中での大きさと縦横比は画像中での位置によらずほぼ等しくなる。このように、入力画像に幾何学的変換を行ったのちに、同一の周波数特性のフィルタを用いて画像全体にフィルタリングを行い、対応する逆幾何学的変換を行うことにより、遠くの対象のエッジや縦方向のエッジが強調され過ぎることなく低周波成分を抑制することができる。
【００４９】
〔第５実施例〕
図７は、本発明の具体的な第５の実施例に係る画像処理装置５０を用いた撮像、表示の一連の構成を示すブロック図である。本実施例の画像処理装置５０は、第４実施例の画像処理装置４０の内部構成の一部と、第１実施例の画像処理装置１０の内部構成の一部とを組合せ、両者の利点を共に有するものである。
【００５０】
即ち、本実施例の画像処理装置５０の構成は、第１実施例の画像処理装置１０の構成要素である低周波抑制器１３に、第４実施例の画像処理装置４０の構成要素であるフィルタ記憶部１３Ａに当たるフィルタ記憶部５Ａを追加したものである。よって、本実施例の画像処理装置５０は、第１実施例の画像処理装置１０の効果である、非線形変換を１度だけ用いて明暗差を圧縮することができることと、第４実施例の画像処理装置４０の効果である、遠くの対象のエッジが強調され過ぎることがないことの、２つの効果を併せ持つ。本実施例の画像処理装置５０は、請求項１に係る発明の具体的な実施例に当たる。
【００５１】
〔第６実施例〕
図８は、本発明の具体的な第６の実施例に係る画像処理装置６０を用いた撮像、表示の一連の構成を示すブロック図である。本実施例の画像処理装置６０は、第４実施例の画像処理装置４０の内部構成の一部を、第２実施例の画像処理装置２０の内部構成に盛り込み、両者の利点を共に有するものである。
【００５２】
即ち、本実施例の画像処理装置６０の構成は、第２実施例の画像処理装置２０の構成要素である低周波抑制器２５に、第４実施例の画像処理装置４０の構成要素であるフィルタ記憶部１３Ａに当たるフィルタ記憶部６Ａを追加したものである。よって、本実施例の画像処理装置６０は、第２実施例の画像処理装置２０の効果である、非線形変換を１度だけ用いて色情報に変化を来すことなく明暗差を圧縮することができることと、第４実施例の画像処理装置４０の効果である、遠くの対象のエッジが強調され過ぎることがないことの、２つの効果を併せ持つ。本実施例の画像処理装置６０は、請求項２に係る発明の具体的な実施例に当たる。
【００５３】
〔第７実施例〕
図９は、本発明の具体的な第７の実施例に係る画像処理装置７０を用いた撮像、表示の一連の構成を示すブロック図である。本実施例の画像処理装置７０は、第４実施例の画像処理装置４０の構成と、第２実施例の画像処理装置２０の内部構成の一部とを組合せたものであり、第４実施例の利点をカラー画像処理において有するものである。
【００５４】
即ち、本実施例の画像処理装置７０の構成は、第２実施例の画像処理装置２０の構成要素であるビデオデコーダ２１、ｒｇｂメモリ２３、乗算器２８ｒ、２８ｇ、２８ｂ、ビデオエンコーダ２９と、第４実施例の画像処理装置４０の構成要素の全てである対数変換器４１、メモリ１２、低周波抑制器１３、フィルタ記憶部１３Ａ、演算器４２、係数算出器４３、乗算器１６、加算器４４、逆対数変換器４５を有するものである。また、第２実施例の画像処理装置２０においてビデオデコーダ２１の出力が輝度レベル変換器２２乃至乗算器２７によってｒ、ｇ、ｂに乗ぜられる係数を算出するのに対応して、本実施例の画像処理装置７０は、第４実施例の画像処理装置４０同様、対数変換器４１乃至逆対数変換器４５によりｒ、ｇ、ｂに乗ぜられる係数を算出するものである。よって、本実施例の画像処理装置７０は、第２実施例の画像処理装置２０の効果である、色情報に変化を来すことなく明暗差を圧縮することができることと、第４実施例の画像処理装置４０の効果である、遠くの対象のエッジが強調され過ぎることがないことの、２つの効果を併せ持つ。本実施例の画像処理装置７０の主たる特徴であるビデオデコーダ２１、低周波抑制器１３、フィルタ記憶部１３Ａ、乗算器２８ｒ、２８ｇ、２８ｂは、請求項４に係る発明の具体的な実施例に当たる。
【００５５】
〔第５乃至第７実施例の変形例〕
第５乃至第７実施例は、第１、第２、第４実施例を組み合わせたものであると言えるので、第１、第２、第４実施例の変形例を第５乃至第７実施例に適用できることは当然である。即ち、第５実施例には第１実施例の変形例及び／又は第４実施例の変形例に当たる変形例を容易に作ることができ、第６又は第７実施例には第２実施例の変形例及び／又は第４実施例の変形例に当たる変形例を容易に作ることができる。また、第３実施例で、第２実施例に色調変換器２１Ａを加えた構成を挙げたように、第６、第７実施例に色調変換器２１Ａを加えてもよい。それらは、請求項２の従属請求項たる請求項５に係る発明、請求項４の従属請求項たる請求項５に係る発明の具体的な実施例に当たる。
【図面の簡単な説明】
【図１】 （ａ）は本発明の具体的な第１の実施例に係る画像処理装置の構成を撮像、表示装置とともに示したブロック図、（ｂ）は低周波抑制器のフィルタの一例を示したグラフ図。
【図２】 本発明の具体的な第２の実施例に係る画像処理装置の構成を撮像、表示装置とともに示したブロック図。
【図３】 本発明の具体的な第３の実施例に係る画像処理装置の構成を撮像、表示装置とともに示したブロック図。
【図４】 本発明の具体的な第４の実施例に係る画像処理装置の構成を撮像、表示装置とともに示したブロック図。
【図５】 第４実施例の機能を説明するための図。
【図６】 従来の２つのダイナミックレンジ圧縮方法の概略を示すブロック図。
【図７】 本発明の具体的な第５の実施例に係る画像処理装置の構成を撮像、表示装置とともに示したブロック図。
【図８】 本発明の具体的な第６の実施例に係る画像処理装置の構成を撮像、表示装置とともに示したブロック図。
【図９】 本発明の具体的な第７の実施例に係る画像処理装置の構成を撮像、表示装置とともに示したブロック図。
【符号の説明】
１０、２０、３０、４０、５０、６０、７０ 画像処理装置
１１、２２ 輝度レベル変換器
１２、２４ メモリ
１３、２５ 低周波抑制器
１３Ａ、５Ａ、６Ａ フィルタ記憶部
１４、２６ 最大値検出器
１５、４３ 係数算出器
１６、２７、２８ｒ、２８ｇ、２８ｂ 乗算器
２１ ビデオデコーダ
２１Ａ 色調変換器
２３ ｒｇｂメモリ
４１ 対数変換器
４２ 演算器
４４ 加算器
４５ 逆対数変換器[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing apparatus that compresses a dynamic range of an image having a large contrast.
[0002]
[Prior art]
An image having a large difference in brightness and darkness, such as a shadow area, a shadow formed on the ground, and a sunny area, has a small difference in brightness and darkness in the dark portion. When the image is displayed on the screen, the dark portion is uniformly blackened, resulting in an image in which it is difficult to grasp an object or the like in the dark portion. Therefore, there is known a method called “Homomorphic Filtering” for compressing the dynamic range of an image. Homomorphic Filtering focuses on the fact that information on illumination intensity, such as shadows and uneven illumination, is a low spatial frequency component of luminance, and the reflectance is obtained by logarithmically transforming the luminance, which is the product of the reflectance of the object and the illumination intensity. Is converted to the sum of the logarithm of the light intensity and the logarithm of the illumination intensity, and after removing the illumination intensity component which is a low frequency component, the inverse logarithm conversion is performed.
[0003]
In Homomorphic Filtering, there is a problem that edges are unnaturally emphasized as a result of emphasizing high-frequency components among spatial frequency components. Therefore, for example, as in the invention described in Japanese Patent Laid-Open No. 5-167789, a method has been proposed in which a feature value representing the size of an edge is obtained at each position in an image, and the filter characteristics are made variable based on the feature value. ing. That is, as an improvement of Homomorphic Filtering, among the spatial frequency components, the low frequency component and the high frequency component are also suppressed in the portion where the edge is large. These outlines are shown in FIG.
[0004]
FIG. 6A is a block diagram showing a basic configuration of Homomorphic Filtering. The luminance Y of each pixel for every frame becomes the luminance Y ′ logarithmically converted by the logarithmic converter 911. The logarithmically converted luminance Y ′ is subjected to low frequency suppression processing by the low frequency suppressor 912 for each frame. The processing content of the low frequency suppressor 912 is that the logarithmically converted luminance Y ′ is converted to a logarithmically converted luminance Y ″ in which low spatial frequency components are suppressed by a convolution filter or the like. In this way, the logarithmically converted luminance Y ″ in which the low frequency component is suppressed is inversely logarithmically converted by the inverse logarithmic converter (exponential converter) 913, and the image output in which the contrast difference due to the illumination intensity is suppressed for each frame. Get.
[0005]
FIG. 6B is a block diagram showing the basic principle of luminance signal compression described in Japanese Patent Laid-Open No. 5-167889. The luminance Y of each pixel for each frame becomes the luminance Y ′ logarithmically converted by the logarithmic converter 921. The logarithmically converted luminance Y ′ is subjected to low frequency suppression processing by the feature extractor 922 and the low frequency suppressor 923 for each frame. The feature extractor 922 obtains a feature amount representing the size of the edge at each position in the image, and changes the frequency characteristics of the filter of the low frequency suppressor 923 based on the feature amount. That is, when the low frequency suppressor 923 uses the logarithmically converted luminance Y ′ as the logarithmically converted luminance with the low frequency suppressed, the high frequency component is also suppressed at a portion with a large edge. In this way, the luminance distribution characteristic is determined by the luminance distribution characteristic determining unit 924 for the logarithmically converted luminance Y in which the low frequency is suppressed, and the average of the output luminance is determined from the information through the offset corrector 925 and the constant multiplier 926. After adjusting the level and dynamic range, inverse logarithmic conversion is performed by an inverse logarithmic converter (exponential converter) 927 to obtain an image output in which a contrast difference is suppressed for each frame.
[0006]
[Problems to be solved by the invention]
In general Homomorphic Filtering and the invention described in Japanese Patent Laid-Open No. Hei 5-167789, the filtering process is performed at the stage where the luminance is logarithmically compressed, and then the inverse logarithmic conversion is performed. Such a method has a problem that the processing becomes complicated because the nonlinear luminance level conversion is performed twice, ie, logarithmic conversion and inverse logarithmic conversion. Since the luminance signal has a positive value other than the minimum value of 0, the logarithmic transformation of the luminance signal includes a portion whose value range is negative. In order to display without performing inverse logarithmic conversion, it is necessary to add a positive constant after suppressing the low-frequency component, and when this positive constant increases, there arises a problem that the contrast of high luminance is lowered. Further, when conversion is performed using a function obtained by approximating a logarithmic function to a polygonal line, there is a problem that an unnatural luminance change occurs in the converted image. Further, when the low frequency component is suppressed, the high frequency component is relatively emphasized, and the noise component containing more high frequency components than the signal components is emphasized. Accordingly, there is a problem that the low luminance part becomes relatively bright due to the suppression of the brightness difference and the noise component is emphasized by the low frequency component suppression, so that the noise of the low luminance part with a small SN ratio becomes conspicuous. In the case of a color image, in particular, a low-luminance edge portion having color information with low accuracy may be emphasized and displayed as an unnatural color. Also, as the distance to the object increases, the information on the difference in brightness due to the illumination intensity in the captured image becomes a relatively high-frequency component, whereas filtering is performed regardless of the distance to the object, There was a problem that the difference in brightness could not be sufficiently suppressed.
[0007]
The present invention has been made to solve the above-described problems, and an object of the present invention is to perform an image processing apparatus that performs dynamic range compression of a simple image that suppresses a difference in brightness and darkness without performing an inverse logarithmic conversion process of luminance. Is to provide. Another object of the present invention is to provide an image processing apparatus that suppresses the occurrence of unnatural colors in low-luminance portions in color images. It is another object of the present invention to provide an image processing apparatus that performs dynamic range compression of an image that suppresses a light / dark difference in consideration of an actual distance to an object in a captured image.
[0008]
[Means for Solving the Problems]
In order to solve the above-described problem, according to the means of claim 1, in the image processing apparatus for processing a monochrome image, the brightness level converting means for giving the converted brightness f (Y) to the brightness Y. The, SekiThe number Y ′ = f (Y) is a component having a low spatial frequency with respect to the luminance level converting means which is a convex monotonously increasing function which is convex upward, and the converted luminance signal which is the output of the luminance level converting means. SuppressIn addition, the frequency characteristics are variable according to the approximate distance to the target at each position in the image.The output luminance of the low frequency component suppression means and the low frequency component suppression means is determined from the output luminance distribution and the input level of the display device.TwoDepending on the constant, the output brightnessMultiply one by one and add the otherLinear luminance level conversion means.
[0009]
According to the second aspect of the present invention, in the image processing apparatus for processing a color image, the luminance is converted from the image signal of the color input image, the signal extracting unit for extracting the color signal, and the luminance Y. Brightness level conversion means for providing the brightness f (Y), SekiThe number Y ′ = f (Y) is a component having a low spatial frequency with respect to the luminance level converting means which is a convex monotonously increasing function which is convex upward, and the converted luminance signal which is the output of the luminance level converting means. SuppressIn addition, the frequency characteristics are variable according to the approximate distance to the target at each position in the image.The output luminance of the low frequency component suppression means and the low frequency component suppression means is determined from the output luminance distribution and the input level of the display device.TwoDepending on the constant, the output brightnessMultiply one by one and add the otherAnd a linear luminance level converting means, an image signal generating means for generating a color image signal from the output of the linear luminance level converting means and the color signal extracted by the signal extracting means corresponding to the same pixel. Here, the color signal is an RGB signal, a YUV UV signal, a color difference signal such as a YIQ IQ signal, or any other arbitrary signal.
[0010]
According to the third aspect of the present invention, the frequency characteristic control means for varying the frequency characteristic of the low frequency component suppressing means according to the approximate distance to the object at each position in the image is provided. And
[0011]
According to a fifth aspect of the present invention, the image processing device further includes color conversion means for an input image that converts the color signal into a signal indicating an achromatic color when the luminance value extracted by the signal extraction means is equal to or less than a predetermined value. Features. An achromatic color means white, gray, or black based only on luminance information.
[0012]
[0013]
[0014]
[0015]
[0016]
[Operation and effect of the invention]
Since the luminance signal of the captured image is obtained as the product of the reflectance component of the object and the illumination intensity component, the illumination intensity component can be considered as the amplitude of the reflectance component of the object and the offset amplification factor. That is, as the illumination intensity increases, the average luminance (offset) of the reflectance component of the object increases and the luminance difference (amplitude) increases. Since the function Y ′ = f (Y) in the brightness level converting means is a monotonically increasing function that is convex upward, the output brightness is increased in the portion where the brightness Y is large so that the difference in output brightness is increased in the portion where the brightness Y is small. It is a function that converts so that the difference becomes small. Therefore, by converting the luminance signal of the captured image with non-uniform illumination intensity in this way, the amplification factor of the amplitude of the reflectance component of the object can be made uniform regardless of the illumination intensity. Further, by suppressing the low-frequency component, the increase rate of the offset of the reflectance component of the object can be made close to uniform. The brightness level conversion and the low frequency component suppression means described above can make both the amplitude of the reflectance component of the object and the amplification factor of the offset uniform regardless of the illumination intensity. It is possible to obtain a compressed image with a dynamic range in which difference information is suppressed. Also, ShineSince the function Y ′ = f (Y) in the degree level converting means is a smooth function, an unnatural luminance change does not occur in the image due to the luminance conversion. The input of the display device is generally a positive range from 0 to a positive finite value. In addition, an image displayed on a display device with a narrow dynamic range is suitably an image that has been converted so that the low-brightness portion becomes brighter in order to prevent blackout in the low-brightness portion.BrightnessThe function Y ′ = f (Y) in the degree level conversion means is the minimum value Y of Ymin= 0 for f (Ymin) = 0 monotonically increasing functionif there is,The converted luminance has a minimum value of 0, and a positive value in other cases. In addition, the image obtained after the suppression of the low frequency component is an image converted so that the low luminance part is brighter. For this reason, it is possible to display on a display device having a narrow dynamic range by simply multiplying the luminance signal of the image in which the low frequency component is suppressed by a constant multiplication according to the input range of the display device. Accordingly, inverse logarithmic conversion and offset addition are not required, and the apparatus can be simplified.
[0017]
Further, if the frequency characteristics of the low-frequency component suppression means are variable according to the approximate distance to the target at each position in the image, it is possible to appropriately suppress the difference in light and darkness of a distant target and to concentrate on the image. It is possible to suppress unnatural emphasis on the edges of distant objects(Claim 1, Claim 2, Claim 3, and Claim 4). Furthermore, when the luminance level is equal to or lower than a predetermined value, conversion to an achromatic color can prevent an unnatural color from being emphasized and displayed by suppressing a low frequency component at a low luminance edge portion in a color image. (Claim 5). In this way, the image processing apparatus according to any claim of the present application can compress the dynamic range while suppressing the difference in brightness.
[0018]
DETAILED DESCRIPTION OF THE INVENTION
Specific embodiments of the present invention will be described below with reference to the drawings. In addition, this invention is not limited to a following example.
[0019]
[First embodiment]
FIG. 1 is a block diagram showing a series of imaging, processing, and display configurations using an image processing apparatus 10 according to a specific first embodiment of the present invention. Image data obtained by the monochrome imaging device 1 is sent to the image processing device 10 by the digital processing device 2 as the luminance Y of each pixel for each frame. The image processing apparatus 10 performs the following processing and outputs the luminance Y ′ ″ for each frame to the analog processing apparatus 3. The analog processing device 3 forms an analog signal from the luminance Y ′ ″ of each pixel for each frame and outputs it to the analog display device 4.
[0020]
The processing contents of the image processing apparatus 10 are as follows. The output Y of the digital processing device 2 is converted by the luminance level converter 11 into luminance Y ′ converted by Y ′ = f (Y) shown below.
[Expression 1]
[0021]
The above conversion function is a characteristic that is proportional to the luminance in the low luminance portion and proportional to the logarithm of the luminance in the high luminance portion.min= 0 for f (Ymin) = 0 and the function Y ′ = f (Y) is an example of a monotonically increasing function that is convex upward and smooth. Here, the constant a is a positive parameter that determines the scale of the luminance after conversion, and is determined according to the number of gradations for performing the filtering process. The constant b is a positive parameter that defines the boundary between the low luminance portion and the high luminance portion. High luminance part (b <Y <Ymax), The amplification factor of the amplitude of the reflectance component of the object can be made close to uniform, but in the low-luminance part (0 <Y <b) where the conversion is proportional to the luminance, the reflectance component of the object The amplitude amplification factor is reduced and the contrast is lowered. Therefore, when the constant b is reduced, the range of the luminance Y that can make the reflectance component of the object close to uniform increases. However, if the constant b is reduced, the slope of the high-brightness portion of the conversion function is smaller than that of the low-brightness portion, so the contrast of the high-brightness portion is further reduced. Considering the above characteristics, the constant b for which good results were obtained through experiments was about several times the noise level of the luminance signal Y. The output Y ′ of the luminance level converter 11 is stored in the memory 12 for each frame.
[0022]
Next, Y ′ stored in the memory 12 for each frame is filtered by the low frequency suppressor 13 to suppress low frequency components. For example, a high-pass filter having a Butterworth characteristic as shown in FIG. In this way, Y ′ stored in the memory 12 for each frame is converted into Y ″ in which the low frequency component is suppressed, and stored again in the memory 12 for each frame.
[0023]
Next, the maximum value Y ″ is detected by the maximum value detector 14 from the low frequency component Y ″ stored in the memory 12 for each frame.maxIs detected. Next, the maximum value L of the input level of the display device stored in advancemaxTo Lmax/ Y ''maxIs calculated by the coefficient calculator 15, Y ″ is sequentially read from the memory 12, and the coefficient L of the coefficient calculator 15 is acquired by the multiplier 16.max/ Y ''maxMultiply and output Y '' '= Y''Lmax/ Y ''maxAsk for. The output Y ″ ′ is output to the analog processing device 3 as an image output in which a contrast difference due to illumination intensity is suppressed. In this way, the image processing apparatus 10 can compress the light / dark difference.
[0024]
When the monochrome imaging device 1 and the display device 4 are devices capable of outputting and inputting digital data, the digital processing device 2 and the analog processing device 4 are not necessary. In addition, the present invention includes the digital processing device 2 and the analog processing device 4 integrated with the image processing device 10.
[0025]
In this embodiment, the maximum value Y ″ within the frame of the luminance Y ″ in which the low frequency component is suppressed.maxIs multiplied by a constant by a multiplier 16 and the maximum input value L of the display devicemaxAn example of conversion to is shown. That is, the maximum luminance value Y '' within the framemaxIs the maximum luminance value to be displayed. The maximum luminance value to be displayed can be determined so that the luminance of a predetermined number of pixels in the frame is saturated, or can be determined using a statistic such as the average or variance of the luminance in the frame. In this embodiment, since the maximum value of the input range of the display device is generally zero, the minimum value of the conversion function f (Y) is set to zero. However, when the minimum value of the input range of the display device is not zero, The present invention includes a conversion function that makes the minimum value of f (Y) a positive value close to zero when a certain offset value needs to be added depending on the characteristics of the display device..
[0026]
[Modification of the first embodiment]
The following conversion function may be used as the conversion function f (Y) of the luminance Y of the luminance level converter 11 in FIG.
[Expression 2]
[0027]
The conversion by equation (2) can be approximated by the following equation (3) when Y is sufficiently smaller than b (Y << b).
[Equation 3]
[0028]
On the contrary, the conversion by the equation (2) can be approximated by the following equation (4) when Y is sufficiently larger than b (Y >> b).
[Expression 4]
[0029]
That is, the luminance level conversion according to Equation (2) of this modification is a conversion proportional to the luminance Y when the luminance Y is sufficiently smaller than the boundary value b, and the logarithm of the luminance Y when the luminance Y is sufficiently larger than the boundary value b. When the luminance Y is in the vicinity of the boundary value b, the conversion is between the characteristics (intermediate between the expressions (2) and (3)). The conversion by the conversion function of Expression (2) is equivalent to logarithmic conversion after adding a constant to the luminance before conversion, and the present invention includes such logarithmic conversion after addition of the constant value. As another modification, as a conversion function f (Y) of the luminance Y of the luminance level converter 11 in FIG. 1A, a function proportional to the γ-th power (γ <1) of the luminance Y is as follows. It may be used.
[Equation 5]
[0030]
The luminance level conversion means of the present invention may be convex in the broad sense and monotonically increasing in the broad sense. The term “broad meaning” means that digital processing is performed in the present application, and therefore there may occur a case in which the actual conversion is not partially convex or monotonically increased due to a rounding error. For example, even in the case of 254, 254, 255, 255, if it is due to a rounding error (originally it should be 253.5, 254.2, 254.7, 255, etc.), it is convex upward in a broad sense. There is a monotonous increase.
[0031]
[Second Embodiment]
FIG. 2 is a block diagram showing a series of imaging, processing, and display configurations using the image processing apparatus 20 according to the second specific example of the present invention. Image data obtained by the color imaging device 1c is processed by the image processing device 20, and then output to the analog color display device 4c.
[0032]
Processing in the image processing apparatus 20 is as follows. The analog color image signal is decomposed by the video decoder 21 into luminance Y and r, g, b signals obtained by dividing the so-called RGB signal by luminance Y, and output as digital values. That is, r = R / Y, g = G / Y, and b = B / Y. The luminance Y is output to the luminance level converter 22, and the r, g, and b signals are output to the rgb memory 23. The luminance level converter 22 converts the luminance Y ′ converted by the same function Y ′ = f (Y) as in the first embodiment, and outputs the converted luminance Y ′ to the memory 24. Thus, after the rgb signal for each frame and the converted luminance signal Y ′ are stored in the rgb memory 23 and the memory 24, the following processing is performed.
[0033]
Y ′ stored in the memory 24 for each frame is filtered by the low frequency suppressor 25 to suppress the low frequency component. For example, a high-pass filter having a Butterworth characteristic as shown in FIG. Thus, Y ′ stored in the memory 24 for each frame is converted into Y ″ in which the low frequency component is suppressed, and stored again in the memory 24 for each frame.
[0034]
Next, the maximum value Y ″ is detected by the maximum value detector 26 from the low-frequency component Y ″ stored in the memory 24 for each frame.maxIs detected. Next, L stored in advancemaxAnd the multiplier 27 makes LmaxAnd Y ″ and Y ″ of each pixelmaxAnd brightness Y''L with reduced brightness differencemax/ Y ''maxAsk for. Luminance Y''L with suppressed brightness differencemax/ Y ''maxR, g, b signals corresponding to are read from the memory 23, and R ′ = rY ″ L in the multipliers 28r, 28g, 28b, respectively.max/ Y ''max, G '= gY''Lmax/ Y ''max, B ′ = bY ″ Lmax/ Y ''maxEach is obtained. Since R ′, G ′, and B ′ obtained in this way are RGB signals in which the contrast difference due to the illumination intensity is suppressed, an analog color signal that can be input to the analog color display device 4c by the video encoder 29 is generated based on this RGB signal. To do. In this way, the image processing apparatus 20 can compress the light / dark difference without causing a change in the color information..
[0035]
[Modification of Second Embodiment]
In the second embodiment, a modification of the RGB method is used. However, the video decoder may output luminance Y and normal RGB. In that case, R '= RY''Lmax/ YY ''max, G '= GY''Lmax/ YY ''max, B '= BY''Lmax/ YY ''maxIn addition to the RGB memory corresponding to the rgb memory 23 and the memory 24, a memory for storing the luminance Y for each frame is further required. Further, the method of decomposing a color signal into the so-called YUV and YIQ methods can be configured by modifying the second embodiment so as to process only the Y signal. Further, when the color imaging device 1c and the analog color display device 4c are devices that can output and input digital data, respectively, the video decoder and the video encoder are simply replaced with an arithmetic unit that converts a digital color signal into a desired format. it can.
[0036]
[Third embodiment]
In the configuration of the second embodiment, an unnatural color may be displayed by emphasizing a low-luminance edge portion having a small S / N ratio by filtering processing that suppresses low-frequency components. FIG. 3 shows an embodiment in which the following configuration is added.
[0037]
In the second embodiment, a color converter 21A is added between the video decoder 21 and the rgb memory 23 in the second embodiment. The process of the color converter 21A is a value Y in which the luminance Y is determined.0When larger, the outputs r = R / Y, g = G / Y, b = B / Y of the video decoder 21 are used as they are, r ′ = r = R / Y, g ′ = g = G / Y, b ′ = b. = B / Y and r ′, g ′, b ′ are output to the rgb memory 23. On the other hand, luminance Y is a determined value Y0If it is smaller, the signals r ′ = 1, g ′ = 1, and b ′ = 1, which are luminance Y and indicating an achromatic color, are output to the rgb memory 23. With this configuration, a pixel having a low luminance Y is always output as an achromatic color (gray or black) from the video encoder 29, so that an unnatural color is not formed in a low luminance portion..
[0038]
[Fourth embodiment]
The present embodiment has a configuration for correcting the low frequency suppression according to the distance to the object. FIG. 4 is a block diagram showing a series of imaging, processing, and display configurations using the image processing apparatus 40 according to the fourth embodiment of the present application. Image data obtained by the monochrome imaging device 1 is sent to the image processing device 40 by the digital processing device 2 as the luminance Y of each pixel for each frame. The image processing device 40 performs the following processing and outputs the luminance Y ′ ″ for each frame to the analog processing device 3. The analog processing device 3 forms an analog signal from the luminance Y ′ ″ of each pixel for each frame and outputs it to the analog display device 4.
[0039]
The processing content of the image processing apparatus 40 is as follows. The output Y of the digital processing device 2 is converted into Y ′ = log (Y) by the logarithmic converter 41. Next, Y ′ stored in the memory 12 for each frame is filtered by the low frequency suppressor 13 described below to suppress low frequency components. The filter storage unit 13A stores a filter kernel having a frequency characteristic corresponding to the distance to the object at each position in the image, and the low frequency suppressor 13 stores the filter storage unit 13A at each position in the image. Filtering is performed using the filter at the corresponding position stored in. When a road surface is imaged from a running vehicle, for example, a captured image as shown in FIG. If the vertical axis of FIG. 5A is y, FIG. 5A is an image that approaches the horizon as y increases. Therefore, since the distance to the target increases as the position of y increases, it becomes smaller in the captured image, that is, a high frequency component. Obviously, if filtering is performed using a filter having a frequency characteristic that is unrelated to the distance to the object, edges such as the contour of the object at a position where y is large are overemphasized as high-frequency components. By using a filter having a frequency characteristic corresponding to the distance to the object, it is possible to perform the filtering without over-emphasizing a far edge.
[0040]
The frequency characteristics of the filter at each position in the image are determined as follows. As shown in FIG. 5B, it is assumed that a road surface is imaged at a depression angle θ from a camera installed at an altitude h, and the camera optical system can be approximated by a pinhole camera. The optical center of the camera optical system is O, and the horizontal direction, vertical direction, and optical axis direction of the image plane are the x-axis, y-axis, and z-axis, respectively. If the focal length of the lens is F, the distance d to the road surface corresponding to the position (x, y) on the image plane is as follows.
[Formula 6]
[0041]
By making the cut-off frequency of the filter proportional to d, frequency characteristics corresponding to the distance to the object are obtained. It is not necessary to store filters at all positions in the image, and a predetermined range of the distance d may be approximated with one filter. Further, the degree of change in the cutoff frequency with respect to the change in the distance d may be relaxed without making the distance d and the filter cutoff frequency completely proportional. For example, in FIG. 1B, in a region where the spatial frequency f is small, | H (f) | may be large when d is large and small when d is small.
[0042]
In this way, Y ′ stored in the memory 12 for each frame is converted into Y ″ in which the low frequency component is suppressed, and stored again in the memory 12 for each frame. Next, from Y ″ in which the low-frequency component stored in the memory 12 is suppressed for each frame, the calculator 42 calculates the maximum value Y ″.maxAnd average value Y ''aveIs detected. Next, the maximum value L of the input level of the display device stored in advancemaxThen, the multiplication coefficient M and the addition coefficient P are calculated by the coefficient calculator 43, multiplied by the coefficient M by the multiplier 16, and added by the adder 44 to obtain the output Y ′ ″ = MY ″ + P. . The multiplication coefficient M and the addition coefficient P are obtained by the following equations.
[Expression 7]
[0043]
The output Y ′ ″ of the adder 44 is converted into Y ″ ″ = exp (Y ′ ″) by the inverse logarithmic converter 45. The output Y ″ ″ of the inverse logarithmic converter 45 is output to the analog processing device 3 as an image output in which the illumination intensity is suppressed.
[0044]
Now, the maximum value Y ″ of the luminance Y ″ in which the low frequency components stored in the memory 12 are suppressed.maxAnd average value Y ''aveIs multiplied by the coefficient M and then the coefficient P is added, so logLmaxAnd log (Lmax/ 2), and by inverse logarithmic transformation,maxAnd LmaxConverted to / 2. That is, the maximum value and the average value of the luminance Y ″ are converted into the maximum value and the median value of the input level of the display device, respectively, and displayed on the display device. Display with high brightness. In this manner, the image processing apparatus 40 can compress the dynamic range of the image while suppressing the difference in brightness without excessively enhancing the edge of the far object. The low frequency suppressor 13 and the filter storage unit 13A, which are the main features of the image processing apparatus 40 of this embodiment,Claim 3The concrete Example of the invention which concerns on is comprised.
[0045]
[Modification of the fourth embodiment]
In the fourth embodiment, the filtering method considering only the distance to the target is shown, but it is also possible to perform the filtering considering the deformation of the target shape depending on the direction of observing the target. As shown in FIG. 5A, for example, a circular manhole on the road surface is input as an ellipse by imaging. That is, the aspect ratio of the object changes, and the frequency characteristics are different between the vertical direction and the horizontal direction, so that the edge in the vertical direction may be overemphasized. As shown in FIG. 5B, when the road surface is imaged, the aspect ratio of the structure on the road surface at the position (x, y) on the image surface is R of the following equation.
[Equation 8]
[0046]
A kernel of a convolution filter having a frequency characteristic such that the cutoff frequency in the vertical direction is R times the cutoff frequency in the horizontal direction is stored in the filter storage unit 13A, and filtering is performed using the kernel. It is possible to suppress the low frequency component without excessively enhancing the edge.
[0047]
In addition, an object having the same aspect ratio as the actual size is subjected to geometric transformation on the input image so that the size and aspect ratio in the image are almost equal regardless of the position in the image. By filtering the entire image with the same convolution kernel and performing a reverse geometric change, it is possible to realize filtering with frequency characteristics according to the actual size and aspect ratio of the object. In this case, the apparatus is provided with an inverse geometric converter corresponding to the geometric converter before and after the low-frequency suppressor 13, and the filter storage unit 13A is unnecessary. As an example of such geometric conversion, there is a method of converting the road surface into an image observed from directly above, assuming that all objects are road surfaces in the input image of FIG. When the road surface is imaged as shown in FIG. 5B, the image surface is projected onto the road surface, and the coordinates (x, y) on the image surface are changed to the coordinates (x ′, y ′) on the road surface. Thus, the road surface can be converted into an image observed from directly above. The coordinates (x, y) on the image plane can be converted to the coordinates (x ′, y ′) on the road surface by the following expression.
[Equation 9]
[0048]
In the image observed from directly above the road surface, the distance to the target is almost the same regardless of the position in the image, so the size and aspect ratio in the image of the target object with the same actual size and aspect ratio are It becomes almost equal regardless of the position. In this way, after performing geometric transformation on the input image, the entire image is filtered using a filter having the same frequency characteristic, and the corresponding inverse geometric transformation is performed, so that the edge of a far object is obtained. In addition, low frequency components can be suppressed without excessive enhancement of vertical edges.
[0049]
[Fifth embodiment]
FIG. 7 is a block diagram showing a series of image pickup and display configurations using an image processing apparatus 50 according to a specific fifth embodiment of the present invention. The image processing apparatus 50 according to the present embodiment combines a part of the internal configuration of the image processing apparatus 40 according to the fourth embodiment and a part of the internal configuration of the image processing apparatus 10 according to the first embodiment. It has both.
[0050]
That is, the configuration of the image processing apparatus 50 according to the present embodiment includes a low-frequency suppressor 13 that is a component of the image processing apparatus 10 according to the first embodiment and a filter that is a component of the image processing apparatus 40 according to the fourth embodiment. A filter storage unit 5A corresponding to the storage unit 13A is added. Therefore, the image processing apparatus 50 according to the present embodiment can compress the light / dark difference by using the nonlinear transformation only once, which is the effect of the image processing apparatus 10 according to the first embodiment, and the image according to the fourth embodiment. The effect of the processing device 40 is that it has two effects that the edge of a far object is not emphasized too much. The image processing apparatus 50 of this embodiment isClaim 1This corresponds to a specific embodiment of the invention.
[0051]
[Sixth embodiment]
FIG. 8 is a block diagram showing a series of imaging and display configurations using the image processing apparatus 60 according to the sixth specific embodiment of the present invention. The image processing apparatus 60 of this embodiment incorporates part of the internal configuration of the image processing apparatus 40 of the fourth embodiment into the internal configuration of the image processing apparatus 20 of the second embodiment, and has both advantages. is there.
[0052]
In other words, the configuration of the image processing device 60 of the present embodiment includes a filter that is a component of the image processing device 40 of the fourth embodiment in addition to the low frequency suppressor 25 that is a component of the image processing device 20 of the second embodiment. A filter storage unit 6A corresponding to the storage unit 13A is added. Therefore, the image processing apparatus 60 according to the present embodiment can compress the light / dark difference without changing the color information by using the non-linear transformation only once, which is an effect of the image processing apparatus 20 according to the second embodiment. It has two effects, that is, the effect of the image processing apparatus 40 of the fourth embodiment and that the edge of a far object is not emphasized too much. The image processing apparatus 60 of the present embodiment isClaim 2This corresponds to a specific embodiment of the invention.
[0053]
[Seventh embodiment]
FIG. 9 is a block diagram showing a series of image pickup and display configurations using an image processing apparatus 70 according to a specific seventh embodiment of the present invention. The image processing apparatus 70 according to the present embodiment is a combination of the configuration of the image processing apparatus 40 according to the fourth embodiment and a part of the internal configuration of the image processing apparatus 20 according to the second embodiment. This has the advantages of color image processing.
[0054]
That is, the configuration of the image processing apparatus 70 of the present embodiment includes a video decoder 21, an rgb memory 23, multipliers 28r, 28g, and 28b, a video encoder 29, which are constituent elements of the image processing apparatus 20 of the second embodiment, The logarithmic converter 41, the memory 12, the low frequency suppressor 13, the filter storage unit 13A, the arithmetic unit 42, the coefficient calculator 43, the multiplier 16, and the adder 44, which are all the components of the image processing apparatus 40 of the fourth embodiment. , Having an inverse logarithmic converter 45. In addition, in the image processing apparatus 20 of the second embodiment, the output of the video decoder 21 is calculated by the luminance level converter 22 to the multiplier 27 to calculate the coefficients to be multiplied by r, g, and b. Similar to the image processing apparatus 40 of the fourth embodiment, the image processing apparatus 70 calculates coefficients multiplied by r, g, and b by the logarithmic converter 41 to the inverse logarithmic converter 45. Therefore, the image processing apparatus 70 according to the present embodiment can compress the brightness difference without changing the color information, which is the effect of the image processing apparatus 20 according to the second embodiment, and the fourth embodiment. It has the two effects of the image processing device 40, that is, the edge of the far object is not overemphasized. The video decoder 21, the low frequency suppressor 13, the filter storage unit 13A, the multipliers 28r, 28g, and 28b, which are the main features of the image processing apparatus 70 of the present embodiment,Claim 4This corresponds to a specific embodiment of the invention.
[0055]
[Modifications of Fifth to Seventh Embodiments]
Since it can be said that the fifth to seventh embodiments are a combination of the first, second, and fourth embodiments, the modified examples of the first, second, and fourth embodiments are the fifth to seventh embodiments. Of course it can be applied to. That is, in the fifth embodiment, a modification corresponding to the modification of the first embodiment and / or the modification of the fourth embodiment can be easily made, and the sixth or seventh embodiment is the same as that of the second embodiment. A modification corresponding to the modification and / or the modification of the fourth embodiment can be easily made. Further, in the third embodiment, the color tone converter 21A may be added to the sixth and seventh embodiments as described in the configuration in which the color tone converter 21A is added to the second embodiment. They are,Claim 2Dependent claimsClaim 5Inventions related toClaim 4Dependent claimsClaim 5Related toMysteriousThis is a specific example.
[Brief description of the drawings]
FIG. 1A is a block diagram showing the configuration of an image processing apparatus according to a specific first embodiment of the present invention together with an image pickup and display apparatus, and FIG. 1B is an example of a filter of a low frequency suppressor. The graph figure shown.
FIG. 2 is a block diagram showing a configuration of an image processing apparatus according to a second specific example of the present invention, together with an image pickup and display apparatus.
FIG. 3 is a block diagram showing the configuration of an image processing apparatus according to a specific third embodiment of the present invention together with an image pickup and display apparatus.
FIG. 4 is a block diagram showing the configuration of an image processing apparatus according to a fourth specific example of the present invention, together with an image pickup and display apparatus.
FIG. 5 is a diagram for explaining functions of a fourth embodiment.
FIG. 6 is a block diagram showing an outline of two conventional dynamic range compression methods.
FIG. 7 is a block diagram showing the configuration of an image processing apparatus according to a fifth specific example of the present invention, together with an image pickup and display apparatus.
FIG. 8 is a block diagram showing the configuration of an image processing apparatus according to a sixth specific example of the present invention, together with an image pickup and display apparatus.
FIG. 9 is a block diagram showing the configuration of an image processing apparatus according to a specific seventh embodiment of the present invention together with an image pickup and display apparatus.
[Explanation of symbols]
10, 20, 30, 40, 50, 60, 70 Image processing apparatus
11, 22 Brightness level converter
12, 24 memory
13, 25 Low frequency suppressor
13A, 5A, 6A Filter storage unit
14, 26 Maximum value detector
15, 43 Coefficient calculator
16, 27, 28r, 28g, 28b Multiplier
21 Video decoder
21A Color converter
23 rgb memory
41 Logarithmic converter
42 Calculator
44 Adder
45 inverse logarithmic converter
Claims (5)
輝度Ｙに対し、変換された輝度ｆ(Ｙ)を与える輝度レベル変換手段であって、ｆ(Ｙ)は上に凸で滑らかな単調増加関数であるような輝度レベル変換手段と、
前記輝度レベル変換手段の出力である変換された輝度信号に対して、空間周波数の低い成分を抑制し、且つ周波数特性を画像中の各位置における対象までの概算距離に応じて可変とする低周波成分抑制手段と、
前記低周波成分抑制手段の出力輝度について、その出力輝度分布と表示装置の入力レベルから決定される２つの定数によって、前記出力輝度に一方の定数を乗じたのち他方の定数を加える線形輝度レベル変換手段と、
を有することを特徴とする画像処理装置。In an image processing apparatus that processes a monochrome image,
A brightness level converting means for giving a converted brightness f (Y) to the brightness Y, where f (Y) is a monotonically increasing function that is convex upward and smooth;
Low frequency that suppresses low spatial frequency components and makes frequency characteristics variable according to the approximate distance to the target at each position in the image for the converted luminance signal that is the output of the luminance level converting means Component suppression means;
Linear luminance level conversion of the output luminance of the low frequency component suppression means by multiplying the output luminance by one constant and adding the other constant by two constants determined from the output luminance distribution and the input level of the display device Means,
An image processing apparatus comprising:
カラー入力画像の画像信号から輝度と、色信号を抽出する信号抽出手段と、
輝度Ｙに対し、変換された輝度ｆ(Ｙ)を与える輝度レベル変換手段であって、ｆ(Ｙ)は上に凸で滑らかな単調増加関数であるような輝度レベル変換手段と、
前記輝度レベル変換手段の出力である変換された輝度信号に対して、空間周波数の低い成分を抑制し、且つ周波数特性を画像中の各位置における対象までの概算距離に応じて可変とする低周波成分抑制手段と、
前記低周波成分抑制手段の出力輝度について、その出力輝度分布と表示装置の入力レベルから決定される２つの定数によって、前記出力輝度に一方の定数を乗じたのち他方の定数を加える線形輝度レベル変換手段と、
前記線形輝度レベル変換手段の出力と、同一画素にあたる前記信号抽出手段の抽出する色信号とから、カラー画像信号を生成する画像信号生成手段と、
を有することを特徴とする画像処理装置。In an image processing apparatus that processes a color image,
Signal extraction means for extracting luminance and color signals from the image signal of the color input image;
A brightness level converting means for giving a converted brightness f (Y) to the brightness Y, where f (Y) is a monotonically increasing function that is convex upward and smooth;
Low frequency that suppresses low spatial frequency components and makes frequency characteristics variable according to the approximate distance to the target at each position in the image for the converted luminance signal that is the output of the luminance level converting means Component suppression means;
Linear luminance level conversion of the output luminance of the low frequency component suppression means by multiplying the output luminance by one constant and adding the other constant by two constants determined from the output luminance distribution and the input level of the display device Means,
Image signal generation means for generating a color image signal from the output of the linear luminance level conversion means and the color signal extracted by the signal extraction means corresponding to the same pixel;
An image processing apparatus comprising:
輝度信号に対して、空間周波数の低い成分を抑制し、且つ周波数特性を画像中の各位置における対象までの概算距離に応じて可変とする低周波成分抑制手段を有することを特徴とする画像処理装置。In an image processing apparatus that processes a monochrome image,
Image processing characterized by comprising low-frequency component suppression means that suppresses a component having a low spatial frequency with respect to a luminance signal and makes frequency characteristics variable according to an approximate distance to a target at each position in the image apparatus.
カラー入力画像の画像信号から輝度と、色信号を抽出する信号抽出手段と、
前記輝度信号に対して、空間周波数の低い成分を抑制し、且つ周波数特性を画像中の各位置における対象までの概算距離に応じて可変とする低周波成分抑制手段と、
前記低周波成分抑制手段の出力と、同一画素にあたる前記信号抽出手段の抽出する色信号とから、カラー画像信号を生成する画像信号生成手段と、
を有することを特徴とする画像処理装置。In an image processing apparatus that processes a color image,
Signal extraction means for extracting luminance and color signals from the image signal of the color input image;
Low frequency component suppression means that suppresses a component having a low spatial frequency with respect to the luminance signal and makes the frequency characteristic variable according to the approximate distance to the target at each position in the image;
An image signal generating means for generating a color image signal from the output of the low frequency component suppressing means and the color signal extracted by the signal extracting means corresponding to the same pixel;
An image processing apparatus comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001231357A JP3807266B2 (en) | 2000-12-28 | 2001-07-31 | Image processing device |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000399799 | 2000-12-28 | ||
| JP2000-399799 | 2000-12-28 | ||
| JP2001231357A JP3807266B2 (en) | 2000-12-28 | 2001-07-31 | Image processing device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002262130A JP2002262130A (en) | 2002-09-13 |
| JP3807266B2 true JP3807266B2 (en) | 2006-08-09 |
Family
ID=26606983
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001231357A Expired - Fee Related JP3807266B2 (en) | 2000-12-28 | 2001-07-31 | Image processing device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3807266B2 (en) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4798945B2 (en) | 2003-03-05 | 2011-10-19 | トヨタ自動車株式会社 | Imaging device |
| JP4595330B2 (en) * | 2004-01-19 | 2010-12-08 | ソニー株式会社 | Image processing apparatus and method, recording medium, and program |
| JP2008250674A (en) * | 2007-03-30 | 2008-10-16 | Hitachi Kokusai Electric Inc | Image processor |
| JP5202190B2 (en) * | 2008-08-28 | 2013-06-05 | キヤノン株式会社 | Image processing method and image processing apparatus |
| JP5305884B2 (en) * | 2008-12-17 | 2013-10-02 | 株式会社東芝 | Image processing apparatus, image processing method, and image processing program |
| JP5569042B2 (en) | 2010-03-02 | 2014-08-13 | 株式会社リコー | Image processing apparatus, imaging apparatus, and image processing method |
-
2001
- 2001-07-31 JP JP2001231357A patent/JP3807266B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002262130A (en) | 2002-09-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100879536B1 (en) | Method And System For Image Enhancement | |
| CN107045715B (en) | A kind of method that single width low dynamic range echograms generate high dynamic range images | |
| US7020332B2 (en) | Method and apparatus for enhancing a digital image by applying an inverse histogram-based pixel mapping function to pixels of the digital image | |
| EP2076013B1 (en) | Method of high dynamic range compression | |
| US8391598B2 (en) | Methods for performing local tone mapping | |
| Lee et al. | A space-variant luminance map based color image enhancement | |
| JP5392560B2 (en) | Image processing apparatus and image processing method | |
| JP4111980B2 (en) | Image processing apparatus and image processing method | |
| JP2008263475A (en) | Image processing device, method, and program | |
| JPWO2008105268A1 (en) | Image processing method | |
| JP4021261B2 (en) | Image processing device | |
| JP6004757B2 (en) | Image processing apparatus and image processing method | |
| JP2009510587A (en) | Image detail enhancement | |
| JP3184309B2 (en) | Gradation correction circuit and imaging device | |
| US10218953B2 (en) | Image processing apparatus, image processing method, and storage medium | |
| JP2008147980A (en) | Image processor, image sensing device, method for processing image, program and recording medium | |
| KR100933556B1 (en) | Color image processing apparatus and method for extending the dynamic range | |
| CN106023100B (en) | Image wide dynamic range compression method and device | |
| JP3807266B2 (en) | Image processing device | |
| JP5410378B2 (en) | Video signal correction apparatus and video signal correction program | |
| JP2011100204A (en) | Image processor, image processing method, image processing program, imaging apparatus, and electronic device | |
| JP2003060913A (en) | Image processing method and image processor | |
| JP5142833B2 (en) | Image processing apparatus and image processing method | |
| CN116468636A (en) | Low-illumination enhancement method, device, electronic equipment and readable storage medium | |
| EP2410731B1 (en) | Edge correction apparatus, edge correction method, program, and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050719 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050726 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050920 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060110 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060425 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060508 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100526 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110526 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120526 Year of fee payment: 6 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313532 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130526 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |