JP3807266B2 - Image processing device - Google Patents

Image processing device Download PDF

Info

Publication number
JP3807266B2
JP3807266B2 JP2001231357A JP2001231357A JP3807266B2 JP 3807266 B2 JP3807266 B2 JP 3807266B2 JP 2001231357 A JP2001231357 A JP 2001231357A JP 2001231357 A JP2001231357 A JP 2001231357A JP 3807266 B2 JP3807266 B2 JP 3807266B2
Authority
JP
Japan
Prior art keywords
luminance
image
signal
color
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001231357A
Other languages
Japanese (ja)
Other versions
JP2002262130A (en
Inventor
峰樹 曽我
啓一 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Central R&D Labs Inc
Original Assignee
Toyota Central R&D Labs Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Central R&D Labs Inc filed Critical Toyota Central R&D Labs Inc
Priority to JP2001231357A priority Critical patent/JP3807266B2/en
Publication of JP2002262130A publication Critical patent/JP2002262130A/en
Application granted granted Critical
Publication of JP3807266B2 publication Critical patent/JP3807266B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Processing Of Color Television Signals (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は明暗差の大きい画像のダイナミックレンジを圧縮する画像処理装置に関する。
【0002】
【従来の技術】
陰の領域、地面等に形成される影及び日向の領域を含むような、明暗差の大きい画像は、その暗部の中での画像の明暗差が小さいものとなり、これをダイナミックレンジの小さい表示装置に表示させたときに暗部が一様に黒化し、暗部における物体等の把握の困難な画像となってしまう。そこでHomomorphic Filteringと呼ばれる画像のダイナミックレンジを圧縮する方法が知られている。Homomorphic Filteringとは、陰日向や照明ムラなどの照明強度の情報は輝度の低空間周波数成分であることに着目し、物体の反射率と照明強度の積である輝度を対数変換することにより反射率の対数と照明強度の対数の和に変換し、低周波数成分である照明強度の成分を除去したのち、逆対数変換するものである。
【0003】
Homomorphic Filteringでは空間周波数成分のうち高周波成分が強調される結果、エッジが不自然に強調される問題がある。そこで例えば特開平5−167889号公報記載の発明のように、画像内の各位置でエッジの大きさを表す特徴量を求め、その特徴量に基づいてフィルタの特性を可変とする方法が提案されている。即ち、Homomorphic Filteringの改良として、空間周波数成分のうち、低周波成分と、エッジの大きい部分では高周波成分も抑制するものである。これらの概略を図6に示す。
【0004】
図6の(a)は、Homomorphic Filteringの基本構成を示すブロック図である。1フレーム毎に各画素の輝度Yが対数変換器911により対数変換された輝度Y'となる。この対数変換された輝度Y'を1フレーム毎に、低周波抑制器912により低周波抑制処理が行われる。低周波抑制器912の処理内容は、対数変換された輝度Y'をコンボルーションフィルタなどにより低空間周波数成分が抑制された、対数変換された輝度Y''とするものである。こうして、低周波成分が抑制された対数変換された輝度Y''を逆対数変換器(指数変換器)913により逆対数変換して、1フレーム毎に照明強度による明暗差の抑制された画像出力を得る。
【0005】
また、図6の(b)は特開平5−167889号公報記載の、輝度信号圧縮の基本原理を示すブロック図である。1フレーム毎に各画素の輝度Yが対数変換器921により対数変換された輝度Y'となる。この対数変換された輝度Y'を1フレーム毎に、特徴抽出器922と低周波抑制器923により低周波抑制処理が行われる。特徴抽出器922においては画像内の各位置でエッジの大きさを表す特徴量を求め、その特徴量に基づいて低周波抑制器923のフィルタの周波数特性を変化させる。即ち、低周波抑制器923で、対数変換された輝度Y'を低周波が抑制された対数変換された輝度とする際、エッジの大きい部分では高周波成分をも抑制する。こうして、低周波が抑制された対数変換された輝度Yについて、輝度分布特性を輝度分布特性判定器924により判定し、その情報からオフセット補正器925、定数倍器926をとおして、出力輝度の平均レベル及びダイナミックレンジの調整を行ったのち、逆対数変換器(指数変換器)927により逆対数変換して、1フレーム毎に明暗差の抑制された画像出力を得る。
【0006】
【発明が解決しようとする課題】
一般的なHomomorphic Filteringも、また上記特開平5−167889号公報記載の発明も、輝度を対数圧縮した段階でフィルタリング処理を行った後、逆対数変換している。このような方法は、対数変換と逆対数変換の2回の非線形輝度レベル変換を行うために処理が複雑になるという問題がある。輝度信号はその最小値が0の他は正の値を持つため、輝度信号の対数変換はその値域が負の部分を含む。逆対数変換を行わずに表示するためには、低周波数成分抑制ののちに正の定数を加える必要が有り、この正の定数が大きくなると高輝度のコントラストが低下するという問題が生じる。また、対数関数を折れ線近似した関数により変換を行う場合、変換された画像に不自然な輝度変化が生じるという問題がある。また、低周波成分が抑制されると相対的に高周波成分が強調され、信号成分よりも高周波成分を多く含むノイズ成分が強調される。したがって、明暗差の抑制により低輝度部分が相対的に明るくなり、且つ低周波成分抑制によりノイズ成分が強調されるため、SN比が小さい低輝度部分のノイズが目立つ画像になるという問題がある。これはカラー画像の場合、特に精度の低い色情報を持つ低輝度のエッジ部分が強調されて不自然な色として表示される場合がある。また、対象物までの距離が大きくなるほど撮像画像中での照明強度による明暗差の情報が相対的に高周波成分になるのに対して、対象物までの距離と無関係にフィルタリングを行うので、遠方で明暗差の抑制が十分に行えないという問題があった。
【0007】
本発明は上記の課題を解決するため成されたものであり、その目的は、輝度の逆対数変換処理を行わないで済む、明暗差を抑制する簡便な画像のダイナミックレンジ圧縮を行う画像処理装置を提供することである。また、カラー画像において低輝度部分で不自然な色の発生を抑えた画像処理装置を提供することも目的とする。更には、撮像画像中の対象物までの実際の距離を考慮した、明暗差を抑制する画像のダイナミックレンジ圧縮を行う画像処理装置を提供することをも目的とする。
【0008】
【課題を解決するための手段】
上記の課題を解決するため、請求項1に記載の手段によれば、モノクロ画像を処理する画像処理装置において、輝度Yに対し、変換された輝度f(Y)を与える輝度レベル変換手段であって、関数Y'=f(Y)は上に凸で滑らかな単調増加関数であるような輝度レベル変換手段と、輝度レベル変換手段の出力である変換された輝度信号に対して、空間周波数の低い成分を抑制し、且つ周波数特性を画像中の各位置における対象までの概算距離に応じて可変とする低周波成分抑制手段と、低周波成分抑制手段の出力輝度について、その出力輝度分布と表示装置の入力レベルから決定される2つの定数によって、出力輝度に一方の定数を乗じたのち他方の定数を加える線形輝度レベル変換手段と、を有することを特徴とする。
【0009】
また、請求項2に記載の手段によれは、カラー画像を処理する画像処理装置において、カラー入力画像の画像信号から輝度と、色信号を抽出する信号抽出手段と、輝度Yに対し、変換された輝度f(Y)を与える輝度レベル変換手段であって、関数Y'=f(Y)は上に凸で滑らかな単調増加関数であるような輝度レベル変換手段と、輝度レベル変換手段の出力である変換された輝度信号に対して、空間周波数の低い成分を抑制し、且つ周波数特性を画像中の各位置における対象までの概算距離に応じて可変とする低周波成分抑制手段と、低周波成分抑制手段の出力輝度について、その出力輝度分布と表示装置の入力レベルから決定される2つの定数によって、出力輝度に一方の定数を乗じたのち他方の定数を加える線形輝度レベル変換手段と、線形輝度レベル変換手段の出力と、同一画素にあたる信号抽出手段の抽出する色信号とから、カラー画像信号を生成する画像信号生成手段と、を有することを特徴とする。ここで色信号とは、RGB信号、YUV方式のUV信号、YIQ方式のIQ信号等の色差信号、その他任意である。
【0010】
請求項3又は請求項4に記載の手段によれば、低周波成分抑制手段の周波数特性を画像中の各位置における対象までの概算距離に応じて可変とする周波数特性制御手段を有することを特徴とする。
【0011】
また、請求項5に記載の手段によれば、信号抽出手段により抽出された輝度値が所定値以下の時に、色信号を無彩色を示す信号に変換する入力画像の色変換手段を有することを特徴とする。無彩色とは輝度情報のみによる白色、灰色、黒色を意味する。
【0012】
【0013】
【0014】
【0015】
【0016】
【作用及び発明の効果】
撮像画像の輝度信号は、物体の反射率の成分と照明強度の成分の積として得られるので、照明強度の成分は物体の反射率の成分の振幅とオフセットの増幅率と考えることができる。即ち、照明強度が大きい部分ほど物体の反射率の成分の平均輝度(オフセット)が大きく、且つ輝度差(振幅)が大きくなる。輝度レベル変換手段における関数Y'=f(Y)は、上に凸な単調増加関数であるので、輝度Yの小さい部分において出力輝度の差が大きくなるよう、輝度Yの大きい部分において出力輝度の差が小さくなるよう変換する関数である。したがって、照明強度が不均一な撮像画像の輝度信号をこのように変換することにより、物体の反射率の成分の振幅の増幅率を照明強度によらずに一様に近づけることができる。更に、低周波成分を抑制することにより、物体の反射率の成分のオフセットの増加率を一様に近づけることができる。以上の、輝度レベル変換と、低周波数成分抑制手段とにより、照明強度によらずに物体の反射率の成分の振幅とオフセットの増幅率をともに一様に近づけることができるため、照明強度による明暗差の情報が抑制されたダイナミックレンジの圧縮された画像を得ることが可能である。また、輝度レベル変換手段における関数Y'=f(Y)は滑らかな関数であるので、輝度変換に起因して画像中に不自然な輝度変化が生じることはない。表示装置の入力は、一般に0から正の有限値までの正のレンジである。また、ダイナミックレンジの狭い表示装置に表示する画像は、低輝度部分での黒つぶれ防止のために、低輝度部分がより明るくなるよう変換された画像が適している。度レベル変換手段における関数Y'=f(Y)はYの最小値Ymin=0に対してf(Ymin)=0である単調増加関数であれば、変換後の輝度は最小値が0、その他の場合は正の値となる。また、低周波成分の抑制後に得られる画像は低輝度部分がより明るくあるよう変換された画像である。このため、低周波成分を抑制された画像の輝度信号を表示装置の入力レンジに合わせて定数倍するだけで、ダイナミックレンジの狭い表示装置に表示することが可能である。したがって、逆対数変換やオフセットの加算が不要となり、装置の簡略化が可能である。
【0017】
また、低周波成分抑制手段の周波数特性を画像中の各位置における対象までの概算距離に応じて可変とすれば、遠くの対象の明暗差を適切に抑制することができ、また画像上密集する遠くの対象のエッジが不自然に強調されることを抑制することができる(請求項1、請求項2、請求項3、請求項4)。更に、輝度レベルが所定値以下の場合に、無彩色に変換することで、カラー画像中の低輝度のエッジ部分で、低周波成分抑制により不自然な色が強調されて表示することを防止できる(請求項5)。このようにして、本願のいずれの請求項に係る画像処理装置も、明暗差を抑制しつつダイナミックレンジを圧縮することができる。
【0018】
【発明の実施の形態】
以下、本発明の具体的な実施例について図とともに説明する。尚、本発明は以下の実施例に限定されるものではない。
【0019】
〔第1実施例〕
図1は、本発明の具体的な第1の実施例に係る画像処理装置10を用いた撮像、処理、表示の一連の構成を示すブロック図である。モノクロ撮像装置1により得られた画像データがディジタル処理装置2により1フレーム毎の各画素の輝度Yとして画像処理装置10に送られる。画像処理装置10は次に述べる処理を行いアナログ処理装置3に1フレーム毎の輝度Y'''を出力する。アナログ処理装置3は1フレーム毎の各画素の輝度Y'''からアナログ信号を形成してアナログ表示装置4に出力する。
【0020】
画像処理装置10の処理内容は次のとおりである。ディジタル処理装置2の出力Yは、輝度レベル変換器11により次に示すY'=f(Y)により変換された輝度Y'に変換される。
【数1】
【0021】
上記変換関数は、低輝度部分では輝度に比例し、高輝度部分では輝度の対数に比例するような特性であり、Yの最小値Ymin=0に対してf(Ymin)=0であり、且つ関数Y'=f(Y)は上に凸で滑らかな単調増加関数の一例である。ここで、定数aは変換後の輝度のスケールを決定する正のパラメータであり、フィルタリング処理を行う階調数に応じて決定する。また、定数bは低輝度部分と高輝度部分の境界を定義する正のパラメータである。輝度の対数に比例した変換となる高輝度部分(b<Y<Ymax)では、物体の反射率の成分の振幅の増幅率を一様に近づけることができるが、輝度に比例した変換となる低輝度部分(0<Y<b)では、物体の反射率の成分の振幅の増幅率が小さくなりコントラストが低下する。したがって、定数bを小さくすると、物体の反射率の成分を一様に近づけることができる輝度Yの範囲が大きくなる。しかし、定数bを小さくすると変換関数の高輝度部分の傾きが低輝度部分に比べて小さくなるため、高輝度部分のコントラストがより低下する。以上の特性を考慮し、実験により良好な結果が得られた定数bは、輝度信号Yのノイズレベルの数倍程度であった。輝度レベル変換器11の出力Y'はメモリ12に1フレーム毎に記憶される。
【0022】
次に、1フレーム毎にメモリ12に記憶されたY'を、低周波抑制器13によりフィルタリング処理を行い、低周波数成分を抑制する。低周波数成分を抑制するフィルタは例えば図1の(b)に示すようなバタワース特性のハイパスフィルタを用いる。こうして、1フレーム毎にメモリ12に記憶されたY'から、低周波数成分を抑制されたY''に変換し、再度メモリ12に1フレーム毎に記憶する。
【0023】
次に、1フレーム毎にメモリ12に記憶された低周波数成分を抑制されたY''から、最大値検出器14により最大値Y''maxを検出する。次に予め記憶されている表示装置の入力レベルの最大値Lmaxとから係数Lmax/Y''maxを係数算出器15により算出し、メモリ12からY''を順次読み出して乗算器16により係数算出器15の有する係数Lmax/Y''maxと乗じて出力Y'''=Y''Lmax/Y''maxを求める。出力Y'''は、照明強度による明暗差の抑制された画像出力としてアナログ処理装置3に出力される。このようにして、画像処理装置10は、明暗差を圧縮することができる。
【0024】
モノクロ撮像装置1、表示装置4が各々ディジタルデータを出力及び入力できる装置であるとき、ディジタル処理装置2、アナログ処理装置4は不要となる。また、ディジタル処理装置2、アナログ処理装置4を画像処理装置10と一体化させたものも本願発明に包含される。
【0025】
本実施例では、低周波成分を抑制された輝度Y''のフレーム内での最大値Y''maxが乗算器16により定数倍され表示装置の入力の最大値Lmaxに変換される例を示した。即ち、フレーム内での輝度の最大値Y''maxが表示される輝度の最大値である。表示される輝度の最大値は、フレーム内の所定の画素数の輝度が飽和するように決定したり、フレーム内の輝度の平均や分散などの統計量を用いて決定することも可能である。また、本実施例では、表示装置の入力レンジの最大値が一般にゼロであるため、変換関数f(Y)の最小値をゼロとしたが、表示装置の入力レンジの最小値がゼロでない場合や表示装置の特性により一定のオフセット値の加算が必要な場合などにf(Y)の最小値がゼロに近い正の値とする変換関数を用いるものも本願発明に包含される
【0026】
〔第1実施例の変形例〕
図1の(a)の輝度レベル変換器11の輝度Yの変換関数f(Y)として、次の変換関数を用いても良い。
【数2】
【0027】
式(2)による変換は、Yがbよりも十分小さい(Y≪b)とき、次の式(3)で近似できる。
【数3】
【0028】
逆に 式(2)による変換は、Yがbよりも十分大きい(Y≫b)とき、次の式(4)で近似できる。
【数4】
【0029】
即ち、本変形例の式(2)による輝度レベル変換は、輝度Yが境界値bより十分小さいときは輝度Yに比例した変換となり、輝度Yが境界値bより十分大きいときは輝度Yの対数に比例した変換となり、輝度Yが境界値b付近ではそれらの中間(式(2)と式(3)の中間)の特性の変換となる。式(2)の変換関数による変換は、変換前の輝度に定数を加えたのちに対数変換することと等価であり、本願発明はこのように定数値加算後に対数変換するものも含む。又その他の変形例として、図1の(a)の輝度レベル変換器11の輝度Yの変換関数f(Y)として、次のような輝度Yのγ乗(γ<1)に比例した関数を用いても良い。
【数5】
【0030】
尚、本願発明の輝度レベル変換手段は、広義の意味で上に凸、且つ広義の意味で単調増加であれば良い。尚「広義の意味」とは、本願ではディジタル処理を行うため、丸め誤差のために実際の変換に際し部分的に上に凸でなかったり単調増加でない場合が起こり得ることを意味する。例えば254、254、255、255というような場合でも、それが丸め誤差によるもの(本来は253.5、254.2、254.7、255となるべき場合等)は広義の意味で上に凸であり単調増加である。
【0031】
〔第2実施例〕
図2は、本発明の具体的な第2の実施例に係る画像処理装置20を用いた撮像、処理、表示の一連の構成を示すブロック図である。カラー撮像装置1cにより得られた画像データが画像処理装置20で処理された後、アナログカラー表示装置4cに出力される。
【0032】
画像処理装置20においての処理は次のとおりである。アナログカラー画像信号がビデオデコーダ21により、輝度Yと、いわゆるRGB信号を輝度Yで除したr、g、bの信号に分解され、ディジタル値で出力される。即ち、r=R/Y、g=G/Y、b=B/Yである。輝度Yは輝度レベル変換器22に、r、g、b信号はrgbメモリ23に出力される。輝度レベル変換器22では、第1実施例と同じ関数Y'=f(Y)により変換された輝度Y'に変換され、変換された輝度Y'はメモリ24に出力される。こうして、rgbメモリ23、メモリ24に1フレーム毎のrgb信号と変換された輝度信号Y'が記憶された後、以下の処理が行われる。
【0033】
1フレーム毎にメモリ24に記憶されたY'を、低周波抑制器25によりフィルタリング処理を行い、低周波数成分を抑制する。低周波数成分を抑制するフィルタは例えば図1の(b)に示すようなバタワース特性のハイパスフィルタを用いる。こうして、1フレーム毎にメモリ24に記憶されたY'から、低周波数成分を抑制されたY''に変換し、再度メモリ24に1フレーム毎に記憶する。
【0034】
次に、1フレーム毎にメモリ24に記憶された低周波数成分を抑制されたY''から、最大値検出器26により最大値Y''maxを検出する。次に予め記憶されているLmaxを用い、乗算器27により、Lmax及び各画素のY''とY''maxとから明暗差の抑制された輝度Y''Lmax/Y''maxを求める。この明暗差の抑制された輝度Y''Lmax/Y''maxに対応するr、g、b信号をメモリ23から読出し、各々乗算器28r、28g、28bにおいてR'=rY''Lmax/Y''max、G'=gY''Lmax/Y''max、B'=bY''Lmax/Y''maxを各々求める。こうして得られたR'、G'、B'は、照明強度による明暗差の抑制されたRGB信号であるので、これを基にビデオエンコーダ29によりアナログカラー表示装置4cに入力できるアナログカラー信号を生成する。このようにして、画像処理装置20は、色情報に変化を来すことなく明暗差を圧縮することができる
【0035】
〔第2実施例の変形例〕
上記第2実施例ではRGB方式の変形を用いたが、ビデオデコーダが輝度Yと、通常のRGBを出力するものでも良い。その際は、R'=RY''Lmax/YY''max、G'=GY''Lmax/YY''max、B'=BY''Lmax/YY''maxとなるよう装置を構成する必要が有り、rgbメモリ23に対応するRGBメモリ、メモリ24の他に輝度Yを1フレーム毎に記憶するメモリが更に必要となる。また、いわゆるYUV、YIQ方式にカラー信号を分解する方式では、Y信号のみを処理するように第2実施例を変形することで構成できる。また、カラー撮像装置1c、アナログカラー表示装置4cが各々ディジタルデータ出力及び入力できる装置である場合、ビデオデコーダ及びビデオエンコーダを各々ディジタルカラー信号を所望の形式に変換する演算器に置き替えるのみで構成できる。
【0036】
〔第3実施例〕
上記第2実施例の構成では、低周波成分を抑制するフィルタリング処理によれ、SN比の小さい低輝度のエッジ部分が強調されることにより、不自然な色が表示される可能性がある。そこで下記のような構成を付加した実施例を図3示す。
【0037】
本実施例は、第2実施例において、ビデオデコーダ21とrgbメモリ23の間に色変換器21Aを加えた構成である。色変換器21Aの処理は、輝度Yが決められた値Y0より大きいときはビデオデコーダ21の出力r=R/Y、g=G/Y、b=B/Yをそのままr'=r=R/Y、g'=g=G/Y、b'=b=B/Yとしてrgbメモリ23にr'、g'、b'を出力する。一方、輝度Yが決められた値Y0より小さいときは、輝度Yであって無彩色を示す信号r'=1、g'=1、b'=1をrgbメモリ23に出力する。この構成により、低輝度Yを有する画素は常に無彩色(灰色又は黒色)として最終的にビデオエンコーダ29から出力されることになるので、低輝度部分に不自然な着色が成されることが無くなる
【0038】
〔第4実施例〕
本実施例は、対象物までの距離に応じて低周波抑制を補正する構成を有するものである。図4は本願の第4の実施例に係る画像処理装置40を用いた撮像、処理及び表示の一連の構成を示すブロック図である。モノクロ撮像装置1によりえられた画像データがディジタル処理装置2により1フレーム毎の各画素の輝度Yとして画像処理装置40に送られる。画像処理装置40は、次に述べる処理を行い、アナログ処理装置3に1フレーム毎の輝度Y'''を出力する。アナログ処理装置3は1フレーム毎の各画素の輝度Y'''からアナログ信号を形成してアナログ表示装置4に出力する。
【0039】
画像処理装置40の処理内容は次のとおりである。ディジタル処理装置2の出力Yは、対数変換器41によりY'=log(Y)に変換される。次に1フレーム毎にメモリ12に記憶されたY'を、次に述べる低周波抑制器13によりフィルタリング処理を行い、低周波成分を抑制する。フィルタ記憶部13Aでは、画像中の各位置での対象物までの距離に応じた周波数特性のフィルタのカーネルを記憶しておき、低周波抑制器13は、画像中の各位置においてフィルタ記憶部13Aに記憶された対応する位置のフィルタを用いてフィルタリングを行う。走行中の車両から路面を撮像した場合、例えば図5の(a)のような撮像画像がえられる。図5の(a)の縦軸をyとすると、図5の(a)はyが大きいほど地平線に近づく画像である。したがって、yの大きい位置ほど対象までの距離が大きくなるので、撮像画像中で小さくなり、即ち高周波成分となる。対象物までの距離と無関係な周波数特性のフィルタによりフィルタリングを行うと、yの大きい位置での対象物の輪郭等のエッジが、高周波成分として強調され過ぎてしまうのは明らかである。対象までの距離に応じた周波数特性のフィルタを用いることにより、遠くのエッジが強調され過ぎることなくフィルタリングを行うことができる。
【0040】
画像中の各位置におけるフィルタの周波数特性は、次のように定める。図5の(b)に示すように、高度hに設置されたカメラから俯角θで路面を撮像しており、カメラ光学系はピンホールカメラで近似できるものとする。カメラ光学系の光学中心をOとし、画像面の横方向と縦方向及び光軸方向を、それぞれx軸、y軸、z軸とする。レンズの焦点距離をFとすると、画像面上での位置(x,y)に対応する路面までの距離dは、次のとおりとなる。
【数6】
【0041】
フィルタのカットオフ周波数をdに比例させることにより、対象までの距離に応じた周波数特性となる。画像中の全ての位置におけるフィルタを記憶する必要はなく、距離dの所定範囲を1つのフィルタで近似して用いても良い。また、距離dとフィルタのカットオフ周波数を完全に比例させずに、距離dの変化に対するカットオフ周波数の変化の度合いを緩和させても良い。例えば、図1(b)で空間周波数fの小さい領域で、|H(f)|をd大で大きく、d小で小さくしても良い。
【0042】
こうして、1フレーム毎にメモリ12に記憶されたY'から、低周波成分を抑制されたY''に変換し、再度メモリ12に1フレーム毎に記憶する。次に、1フレーム毎にメモリ12に記憶された低周波成分を抑制されたY''から、演算器42により最大値Y''maxと、平均値Y''aveを検出する。次に予め記憶されている表示装置の入力レベルの最大値Lmaxとから、乗算係数M及び加算係数Pを係数算出器43により算出し、乗算器16で係数Mを乗じて、加算器44で係数Pを加え、出力Y'''=MY''+Pを求める。乗算係数Mと加算係数Pは次の式により求める。
【数7】
【0043】
加算器44の出力Y'''は、逆対数変換器45によりY''''=exp(Y''')に変換される。逆対数変換器45の出力Y''''は、照明強度の抑制された画像出力としてアナログ処理装置3に出力される。
【0044】
さて、メモリ12に記憶された低周波成分を抑制された輝度Y''の最大値Y''maxと、平均値Y''aveは、係数Mを乗ぜられたのち係数Pを加算されるのでそれぞれlogLmaxと、log(Lmax/2)に変換され、更に逆対数変換により、それぞれLmaxとLmax/2に変換される。即ち、輝度Y''の最大値と平均値は、表示装置の入力レベルのそれぞれ最大値と中央値に変換されて表示装置に表示されるので、表示装置の明るさレンジを有効に使い、適切な明るさで表示することができる。このようにして画像処理装置40は、遠くの対象のエッジが強調され過ぎることなく、明暗差を抑制しつつ画像のダイナミックレンジを圧縮することができる。本実施例の画像処理装置40の主たる特徴である低周波抑制器13とフィルタ記憶部13Aは、請求項3に係る発明の具体的な実施例を構成する。
【0045】
〔第4実施例の変形例〕
第4実施例では、対象までの距離のみを考慮したフィルタリングを行う方法を示したが、対象を観察する方向による対象の形状の変形も考慮したフィルタリングを行うことも可能である。図5(a)のように、例えば路面の円形のマンホールは撮像により楕円として入力される。即ち、対象の縦横比が変化し、縦方向と横方向とで異なった周波数特性となるため、縦方向のエッジが強調され過ぎることがある。図5の(b)に示したように、路面を撮像する場合、画像面上の位置(x,y)において、路面上の構造物の縦横比は次式のRとなる。
【数8】
【0046】
縦方向のカットオフ周波数が横方向のカットオフ周波数のR倍であるような周波数特性のコンボルーションフィルタのカーネルをフィルタ記憶部13Aに記憶し、これを用いてフィルタリングを行うことにより、縦方向のエッジが強調され過ぎることなく低周波成分の抑制を行うことが可能となる。
【0047】
また、実際の大きさと縦横比が等しい対象物は、その画像中での位置によらず画像中での大きさと縦横比もほぼ等しくなるように、入力画像に幾何学的変換を行った後に、同一のコンボルーションカーネルで画像全体にフィルタリングを行い、逆の幾何学的変化を行うことにより、実際の対象の大きさと縦横比に応じた周波数特性でのフィルタリングを実現することができる。この場合、装置の構成は、低周波抑制器13の前段と後段に幾何学的変換器と対応する逆幾何学的変換器とを設け、フィルタ記憶部13Aは不要となる。このような幾何学的変換の例として、図5(a)の入力画像において対象が全て路面であると仮定して、路面を真上から観察した画像に変換する方法がある。図5の(b)にしめしたように路面を撮像する場合、画像面を路面に投影して画像面上の座標(x,y)を路面上の座標(x',y')に変化することにより、路面を真上から観察した画像に変換することができる。画像面上の座標(x,y)は次の式で路面上の座標(x',y')に変換できる。
【数9】
【0048】
路面を真上から観察した画像では、画像中の位置によらず対象までの距離がほぼ等しいので、実際の大きさと縦横比が等しい対象物の画像中での大きさと縦横比は画像中での位置によらずほぼ等しくなる。このように、入力画像に幾何学的変換を行ったのちに、同一の周波数特性のフィルタを用いて画像全体にフィルタリングを行い、対応する逆幾何学的変換を行うことにより、遠くの対象のエッジや縦方向のエッジが強調され過ぎることなく低周波成分を抑制することができる。
【0049】
〔第5実施例〕
図7は、本発明の具体的な第5の実施例に係る画像処理装置50を用いた撮像、表示の一連の構成を示すブロック図である。本実施例の画像処理装置50は、第4実施例の画像処理装置40の内部構成の一部と、第1実施例の画像処理装置10の内部構成の一部とを組合せ、両者の利点を共に有するものである。
【0050】
即ち、本実施例の画像処理装置50の構成は、第1実施例の画像処理装置10の構成要素である低周波抑制器13に、第4実施例の画像処理装置40の構成要素であるフィルタ記憶部13Aに当たるフィルタ記憶部5Aを追加したものである。よって、本実施例の画像処理装置50は、第1実施例の画像処理装置10の効果である、非線形変換を1度だけ用いて明暗差を圧縮することができることと、第4実施例の画像処理装置40の効果である、遠くの対象のエッジが強調され過ぎることがないことの、2つの効果を併せ持つ。本実施例の画像処理装置50は、請求項1に係る発明の具体的な実施例に当たる。
【0051】
〔第6実施例〕
図8は、本発明の具体的な第6の実施例に係る画像処理装置60を用いた撮像、表示の一連の構成を示すブロック図である。本実施例の画像処理装置60は、第4実施例の画像処理装置40の内部構成の一部を、第2実施例の画像処理装置20の内部構成に盛り込み、両者の利点を共に有するものである。
【0052】
即ち、本実施例の画像処理装置60の構成は、第2実施例の画像処理装置20の構成要素である低周波抑制器25に、第4実施例の画像処理装置40の構成要素であるフィルタ記憶部13Aに当たるフィルタ記憶部6Aを追加したものである。よって、本実施例の画像処理装置60は、第2実施例の画像処理装置20の効果である、非線形変換を1度だけ用いて色情報に変化を来すことなく明暗差を圧縮することができることと、第4実施例の画像処理装置40の効果である、遠くの対象のエッジが強調され過ぎることがないことの、2つの効果を併せ持つ。本実施例の画像処理装置60は、請求項2に係る発明の具体的な実施例に当たる。
【0053】
〔第7実施例〕
図9は、本発明の具体的な第7の実施例に係る画像処理装置70を用いた撮像、表示の一連の構成を示すブロック図である。本実施例の画像処理装置70は、第4実施例の画像処理装置40の構成と、第2実施例の画像処理装置20の内部構成の一部とを組合せたものであり、第4実施例の利点をカラー画像処理において有するものである。
【0054】
即ち、本実施例の画像処理装置70の構成は、第2実施例の画像処理装置20の構成要素であるビデオデコーダ21、rgbメモリ23、乗算器28r、28g、28b、ビデオエンコーダ29と、第4実施例の画像処理装置40の構成要素の全てである対数変換器41、メモリ12、低周波抑制器13、フィルタ記憶部13A、演算器42、係数算出器43、乗算器16、加算器44、逆対数変換器45を有するものである。また、第2実施例の画像処理装置20においてビデオデコーダ21の出力が輝度レベル変換器22乃至乗算器27によってr、g、bに乗ぜられる係数を算出するのに対応して、本実施例の画像処理装置70は、第4実施例の画像処理装置40同様、対数変換器41乃至逆対数変換器45によりr、g、bに乗ぜられる係数を算出するものである。よって、本実施例の画像処理装置70は、第2実施例の画像処理装置20の効果である、色情報に変化を来すことなく明暗差を圧縮することができることと、第4実施例の画像処理装置40の効果である、遠くの対象のエッジが強調され過ぎることがないことの、2つの効果を併せ持つ。本実施例の画像処理装置70の主たる特徴であるビデオデコーダ21、低周波抑制器13、フィルタ記憶部13A、乗算器28r、28g、28bは、請求項4に係る発明の具体的な実施例に当たる。
【0055】
〔第5乃至第7実施例の変形例〕
第5乃至第7実施例は、第1、第2、第4実施例を組み合わせたものであると言えるので、第1、第2、第4実施例の変形例を第5乃至第7実施例に適用できることは当然である。即ち、第5実施例には第1実施例の変形例及び/又は第4実施例の変形例に当たる変形例を容易に作ることができ、第6又は第7実施例には第2実施例の変形例及び/又は第4実施例の変形例に当たる変形例を容易に作ることができる。また、第3実施例で、第2実施例に色調変換器21Aを加えた構成を挙げたように、第6、第7実施例に色調変換器21Aを加えてもよい。それらは、請求項2の従属請求項たる請求項5に係る発明、請求項4の従属請求項たる請求項5に係る発明の具体的な実施例に当たる。
【図面の簡単な説明】
【図1】 (a)は本発明の具体的な第1の実施例に係る画像処理装置の構成を撮像、表示装置とともに示したブロック図、(b)は低周波抑制器のフィルタの一例を示したグラフ図。
【図2】 本発明の具体的な第2の実施例に係る画像処理装置の構成を撮像、表示装置とともに示したブロック図。
【図3】 本発明の具体的な第3の実施例に係る画像処理装置の構成を撮像、表示装置とともに示したブロック図。
【図4】 本発明の具体的な第4の実施例に係る画像処理装置の構成を撮像、表示装置とともに示したブロック図。
【図5】 第4実施例の機能を説明するための図。
【図6】 従来の2つのダイナミックレンジ圧縮方法の概略を示すブロック図。
【図7】 本発明の具体的な第5の実施例に係る画像処理装置の構成を撮像、表示装置とともに示したブロック図。
【図8】 本発明の具体的な第6の実施例に係る画像処理装置の構成を撮像、表示装置とともに示したブロック図。
【図9】 本発明の具体的な第7の実施例に係る画像処理装置の構成を撮像、表示装置とともに示したブロック図。
【符号の説明】
10、20、30、40、50、60、70 画像処理装置
11、22 輝度レベル変換器
12、24 メモリ
13、25 低周波抑制器
13A、5A、6A フィルタ記憶部
14、26 最大値検出器
15、43 係数算出器
16、27、28r、28g、28b 乗算器
21 ビデオデコーダ
21A 色調変換器
23 rgbメモリ
41 対数変換器
42 演算器
44 加算器
45 逆対数変換器
[0001]
BACKGROUND OF THE INVENTION
  The present invention relates to an image processing apparatus that compresses a dynamic range of an image having a large contrast.
[0002]
[Prior art]
  An image having a large difference in brightness and darkness, such as a shadow area, a shadow formed on the ground, and a sunny area, has a small difference in brightness and darkness in the dark portion. When the image is displayed on the screen, the dark portion is uniformly blackened, resulting in an image in which it is difficult to grasp an object or the like in the dark portion. Therefore, there is known a method called “Homomorphic Filtering” for compressing the dynamic range of an image. Homomorphic Filtering focuses on the fact that information on illumination intensity, such as shadows and uneven illumination, is a low spatial frequency component of luminance, and the reflectance is obtained by logarithmically transforming the luminance, which is the product of the reflectance of the object and the illumination intensity. Is converted to the sum of the logarithm of the light intensity and the logarithm of the illumination intensity, and after removing the illumination intensity component which is a low frequency component, the inverse logarithm conversion is performed.
[0003]
  In Homomorphic Filtering, there is a problem that edges are unnaturally emphasized as a result of emphasizing high-frequency components among spatial frequency components. Therefore, for example, as in the invention described in Japanese Patent Laid-Open No. 5-167789, a method has been proposed in which a feature value representing the size of an edge is obtained at each position in an image, and the filter characteristics are made variable based on the feature value. ing. That is, as an improvement of Homomorphic Filtering, among the spatial frequency components, the low frequency component and the high frequency component are also suppressed in the portion where the edge is large. These outlines are shown in FIG.
[0004]
  FIG. 6A is a block diagram showing a basic configuration of Homomorphic Filtering. The luminance Y of each pixel for every frame becomes the luminance Y ′ logarithmically converted by the logarithmic converter 911. The logarithmically converted luminance Y ′ is subjected to low frequency suppression processing by the low frequency suppressor 912 for each frame. The processing content of the low frequency suppressor 912 is that the logarithmically converted luminance Y ′ is converted to a logarithmically converted luminance Y ″ in which low spatial frequency components are suppressed by a convolution filter or the like. In this way, the logarithmically converted luminance Y ″ in which the low frequency component is suppressed is inversely logarithmically converted by the inverse logarithmic converter (exponential converter) 913, and the image output in which the contrast difference due to the illumination intensity is suppressed for each frame. Get.
[0005]
  FIG. 6B is a block diagram showing the basic principle of luminance signal compression described in Japanese Patent Laid-Open No. 5-167889. The luminance Y of each pixel for each frame becomes the luminance Y ′ logarithmically converted by the logarithmic converter 921. The logarithmically converted luminance Y ′ is subjected to low frequency suppression processing by the feature extractor 922 and the low frequency suppressor 923 for each frame. The feature extractor 922 obtains a feature amount representing the size of the edge at each position in the image, and changes the frequency characteristics of the filter of the low frequency suppressor 923 based on the feature amount. That is, when the low frequency suppressor 923 uses the logarithmically converted luminance Y ′ as the logarithmically converted luminance with the low frequency suppressed, the high frequency component is also suppressed at a portion with a large edge. In this way, the luminance distribution characteristic is determined by the luminance distribution characteristic determining unit 924 for the logarithmically converted luminance Y in which the low frequency is suppressed, and the average of the output luminance is determined from the information through the offset corrector 925 and the constant multiplier 926. After adjusting the level and dynamic range, inverse logarithmic conversion is performed by an inverse logarithmic converter (exponential converter) 927 to obtain an image output in which a contrast difference is suppressed for each frame.
[0006]
[Problems to be solved by the invention]
  In general Homomorphic Filtering and the invention described in Japanese Patent Laid-Open No. Hei 5-167789, the filtering process is performed at the stage where the luminance is logarithmically compressed, and then the inverse logarithmic conversion is performed. Such a method has a problem that the processing becomes complicated because the nonlinear luminance level conversion is performed twice, ie, logarithmic conversion and inverse logarithmic conversion. Since the luminance signal has a positive value other than the minimum value of 0, the logarithmic transformation of the luminance signal includes a portion whose value range is negative. In order to display without performing inverse logarithmic conversion, it is necessary to add a positive constant after suppressing the low-frequency component, and when this positive constant increases, there arises a problem that the contrast of high luminance is lowered. Further, when conversion is performed using a function obtained by approximating a logarithmic function to a polygonal line, there is a problem that an unnatural luminance change occurs in the converted image. Further, when the low frequency component is suppressed, the high frequency component is relatively emphasized, and the noise component containing more high frequency components than the signal components is emphasized. Accordingly, there is a problem that the low luminance part becomes relatively bright due to the suppression of the brightness difference and the noise component is emphasized by the low frequency component suppression, so that the noise of the low luminance part with a small SN ratio becomes conspicuous. In the case of a color image, in particular, a low-luminance edge portion having color information with low accuracy may be emphasized and displayed as an unnatural color. Also, as the distance to the object increases, the information on the difference in brightness due to the illumination intensity in the captured image becomes a relatively high-frequency component, whereas filtering is performed regardless of the distance to the object, There was a problem that the difference in brightness could not be sufficiently suppressed.
[0007]
  The present invention has been made to solve the above-described problems, and an object of the present invention is to perform an image processing apparatus that performs dynamic range compression of a simple image that suppresses a difference in brightness and darkness without performing an inverse logarithmic conversion process of luminance. Is to provide. Another object of the present invention is to provide an image processing apparatus that suppresses the occurrence of unnatural colors in low-luminance portions in color images. It is another object of the present invention to provide an image processing apparatus that performs dynamic range compression of an image that suppresses a light / dark difference in consideration of an actual distance to an object in a captured image.
[0008]
[Means for Solving the Problems]
  In order to solve the above-described problem, according to the means of claim 1, in the image processing apparatus for processing a monochrome image, the brightness level converting means for giving the converted brightness f (Y) to the brightness Y. The, SekiThe number Y ′ = f (Y) is a component having a low spatial frequency with respect to the luminance level converting means which is a convex monotonously increasing function which is convex upward, and the converted luminance signal which is the output of the luminance level converting means. SuppressIn addition, the frequency characteristics are variable according to the approximate distance to the target at each position in the image.The output luminance of the low frequency component suppression means and the low frequency component suppression means is determined from the output luminance distribution and the input level of the display device.TwoDepending on the constant, the output brightnessMultiply one by one and add the otherLinear luminance level conversion means.
[0009]
  According to the second aspect of the present invention, in the image processing apparatus for processing a color image, the luminance is converted from the image signal of the color input image, the signal extracting unit for extracting the color signal, and the luminance Y. Brightness level conversion means for providing the brightness f (Y), SekiThe number Y ′ = f (Y) is a component having a low spatial frequency with respect to the luminance level converting means which is a convex monotonously increasing function which is convex upward, and the converted luminance signal which is the output of the luminance level converting means. SuppressIn addition, the frequency characteristics are variable according to the approximate distance to the target at each position in the image.The output luminance of the low frequency component suppression means and the low frequency component suppression means is determined from the output luminance distribution and the input level of the display device.TwoDepending on the constant, the output brightnessMultiply one by one and add the otherAnd a linear luminance level converting means, an image signal generating means for generating a color image signal from the output of the linear luminance level converting means and the color signal extracted by the signal extracting means corresponding to the same pixel. Here, the color signal is an RGB signal, a YUV UV signal, a color difference signal such as a YIQ IQ signal, or any other arbitrary signal.
[0010]
  According to the third aspect of the present invention, the frequency characteristic control means for varying the frequency characteristic of the low frequency component suppressing means according to the approximate distance to the object at each position in the image is provided. And
[0011]
  According to a fifth aspect of the present invention, the image processing device further includes color conversion means for an input image that converts the color signal into a signal indicating an achromatic color when the luminance value extracted by the signal extraction means is equal to or less than a predetermined value. Features. An achromatic color means white, gray, or black based only on luminance information.
[0012]
[0013]
[0014]
[0015]
[0016]
[Operation and effect of the invention]
  Since the luminance signal of the captured image is obtained as the product of the reflectance component of the object and the illumination intensity component, the illumination intensity component can be considered as the amplitude of the reflectance component of the object and the offset amplification factor. That is, as the illumination intensity increases, the average luminance (offset) of the reflectance component of the object increases and the luminance difference (amplitude) increases. Since the function Y ′ = f (Y) in the brightness level converting means is a monotonically increasing function that is convex upward, the output brightness is increased in the portion where the brightness Y is large so that the difference in output brightness is increased in the portion where the brightness Y is small. It is a function that converts so that the difference becomes small. Therefore, by converting the luminance signal of the captured image with non-uniform illumination intensity in this way, the amplification factor of the amplitude of the reflectance component of the object can be made uniform regardless of the illumination intensity. Further, by suppressing the low-frequency component, the increase rate of the offset of the reflectance component of the object can be made close to uniform. The brightness level conversion and the low frequency component suppression means described above can make both the amplitude of the reflectance component of the object and the amplification factor of the offset uniform regardless of the illumination intensity. It is possible to obtain a compressed image with a dynamic range in which difference information is suppressed. Also, ShineSince the function Y ′ = f (Y) in the degree level converting means is a smooth function, an unnatural luminance change does not occur in the image due to the luminance conversion. The input of the display device is generally a positive range from 0 to a positive finite value. In addition, an image displayed on a display device with a narrow dynamic range is suitably an image that has been converted so that the low-brightness portion becomes brighter in order to prevent blackout in the low-brightness portion.BrightnessThe function Y ′ = f (Y) in the degree level conversion means is the minimum value Y of Ymin= 0 for f (Ymin) = 0 monotonically increasing functionif there is,The converted luminance has a minimum value of 0, and a positive value in other cases. In addition, the image obtained after the suppression of the low frequency component is an image converted so that the low luminance part is brighter. For this reason, it is possible to display on a display device having a narrow dynamic range by simply multiplying the luminance signal of the image in which the low frequency component is suppressed by a constant multiplication according to the input range of the display device. Accordingly, inverse logarithmic conversion and offset addition are not required, and the apparatus can be simplified.
[0017]
  Further, if the frequency characteristics of the low-frequency component suppression means are variable according to the approximate distance to the target at each position in the image, it is possible to appropriately suppress the difference in light and darkness of a distant target and to concentrate on the image. It is possible to suppress unnatural emphasis on the edges of distant objects(Claim 1, Claim 2, Claim 3, and Claim 4). Furthermore, when the luminance level is equal to or lower than a predetermined value, conversion to an achromatic color can prevent an unnatural color from being emphasized and displayed by suppressing a low frequency component at a low luminance edge portion in a color image. (Claim 5). In this way, the image processing apparatus according to any claim of the present application can compress the dynamic range while suppressing the difference in brightness.
[0018]
DETAILED DESCRIPTION OF THE INVENTION
  Specific embodiments of the present invention will be described below with reference to the drawings. In addition, this invention is not limited to a following example.
[0019]
[First embodiment]
  FIG. 1 is a block diagram showing a series of imaging, processing, and display configurations using an image processing apparatus 10 according to a specific first embodiment of the present invention. Image data obtained by the monochrome imaging device 1 is sent to the image processing device 10 by the digital processing device 2 as the luminance Y of each pixel for each frame. The image processing apparatus 10 performs the following processing and outputs the luminance Y ′ ″ for each frame to the analog processing apparatus 3. The analog processing device 3 forms an analog signal from the luminance Y ′ ″ of each pixel for each frame and outputs it to the analog display device 4.
[0020]
  The processing contents of the image processing apparatus 10 are as follows. The output Y of the digital processing device 2 is converted by the luminance level converter 11 into luminance Y ′ converted by Y ′ = f (Y) shown below.
[Expression 1]
[0021]
  The above conversion function is a characteristic that is proportional to the luminance in the low luminance portion and proportional to the logarithm of the luminance in the high luminance portion.min= 0 for f (Ymin) = 0 and the function Y ′ = f (Y) is an example of a monotonically increasing function that is convex upward and smooth. Here, the constant a is a positive parameter that determines the scale of the luminance after conversion, and is determined according to the number of gradations for performing the filtering process. The constant b is a positive parameter that defines the boundary between the low luminance portion and the high luminance portion. High luminance part (b <Y <Ymax), The amplification factor of the amplitude of the reflectance component of the object can be made close to uniform, but in the low-luminance part (0 <Y <b) where the conversion is proportional to the luminance, the reflectance component of the object The amplitude amplification factor is reduced and the contrast is lowered. Therefore, when the constant b is reduced, the range of the luminance Y that can make the reflectance component of the object close to uniform increases. However, if the constant b is reduced, the slope of the high-brightness portion of the conversion function is smaller than that of the low-brightness portion, so the contrast of the high-brightness portion is further reduced. Considering the above characteristics, the constant b for which good results were obtained through experiments was about several times the noise level of the luminance signal Y. The output Y ′ of the luminance level converter 11 is stored in the memory 12 for each frame.
[0022]
  Next, Y ′ stored in the memory 12 for each frame is filtered by the low frequency suppressor 13 to suppress low frequency components. For example, a high-pass filter having a Butterworth characteristic as shown in FIG. In this way, Y ′ stored in the memory 12 for each frame is converted into Y ″ in which the low frequency component is suppressed, and stored again in the memory 12 for each frame.
[0023]
  Next, the maximum value Y ″ is detected by the maximum value detector 14 from the low frequency component Y ″ stored in the memory 12 for each frame.maxIs detected. Next, the maximum value L of the input level of the display device stored in advancemaxTo Lmax/ Y ''maxIs calculated by the coefficient calculator 15, Y ″ is sequentially read from the memory 12, and the coefficient L of the coefficient calculator 15 is acquired by the multiplier 16.max/ Y ''maxMultiply and output Y '' '= Y''Lmax/ Y ''maxAsk for. The output Y ″ ′ is output to the analog processing device 3 as an image output in which a contrast difference due to illumination intensity is suppressed. In this way, the image processing apparatus 10 can compress the light / dark difference.
[0024]
  When the monochrome imaging device 1 and the display device 4 are devices capable of outputting and inputting digital data, the digital processing device 2 and the analog processing device 4 are not necessary. In addition, the present invention includes the digital processing device 2 and the analog processing device 4 integrated with the image processing device 10.
[0025]
  In this embodiment, the maximum value Y ″ within the frame of the luminance Y ″ in which the low frequency component is suppressed.maxIs multiplied by a constant by a multiplier 16 and the maximum input value L of the display devicemaxAn example of conversion to is shown. That is, the maximum luminance value Y '' within the framemaxIs the maximum luminance value to be displayed. The maximum luminance value to be displayed can be determined so that the luminance of a predetermined number of pixels in the frame is saturated, or can be determined using a statistic such as the average or variance of the luminance in the frame. In this embodiment, since the maximum value of the input range of the display device is generally zero, the minimum value of the conversion function f (Y) is set to zero. However, when the minimum value of the input range of the display device is not zero, The present invention includes a conversion function that makes the minimum value of f (Y) a positive value close to zero when a certain offset value needs to be added depending on the characteristics of the display device..
[0026]
[Modification of the first embodiment]
  The following conversion function may be used as the conversion function f (Y) of the luminance Y of the luminance level converter 11 in FIG.
[Expression 2]
[0027]
  The conversion by equation (2) can be approximated by the following equation (3) when Y is sufficiently smaller than b (Y << b).
[Equation 3]
[0028]
  On the contrary, the conversion by the equation (2) can be approximated by the following equation (4) when Y is sufficiently larger than b (Y >> b).
[Expression 4]
[0029]
  That is, the luminance level conversion according to Equation (2) of this modification is a conversion proportional to the luminance Y when the luminance Y is sufficiently smaller than the boundary value b, and the logarithm of the luminance Y when the luminance Y is sufficiently larger than the boundary value b. When the luminance Y is in the vicinity of the boundary value b, the conversion is between the characteristics (intermediate between the expressions (2) and (3)). The conversion by the conversion function of Expression (2) is equivalent to logarithmic conversion after adding a constant to the luminance before conversion, and the present invention includes such logarithmic conversion after addition of the constant value. As another modification, as a conversion function f (Y) of the luminance Y of the luminance level converter 11 in FIG. 1A, a function proportional to the γ-th power (γ <1) of the luminance Y is as follows. It may be used.
[Equation 5]
[0030]
  The luminance level conversion means of the present invention may be convex in the broad sense and monotonically increasing in the broad sense. The term “broad meaning” means that digital processing is performed in the present application, and therefore there may occur a case in which the actual conversion is not partially convex or monotonically increased due to a rounding error. For example, even in the case of 254, 254, 255, 255, if it is due to a rounding error (originally it should be 253.5, 254.2, 254.7, 255, etc.), it is convex upward in a broad sense. There is a monotonous increase.
[0031]
[Second Embodiment]
  FIG. 2 is a block diagram showing a series of imaging, processing, and display configurations using the image processing apparatus 20 according to the second specific example of the present invention. Image data obtained by the color imaging device 1c is processed by the image processing device 20, and then output to the analog color display device 4c.
[0032]
  Processing in the image processing apparatus 20 is as follows. The analog color image signal is decomposed by the video decoder 21 into luminance Y and r, g, b signals obtained by dividing the so-called RGB signal by luminance Y, and output as digital values. That is, r = R / Y, g = G / Y, and b = B / Y. The luminance Y is output to the luminance level converter 22, and the r, g, and b signals are output to the rgb memory 23. The luminance level converter 22 converts the luminance Y ′ converted by the same function Y ′ = f (Y) as in the first embodiment, and outputs the converted luminance Y ′ to the memory 24. Thus, after the rgb signal for each frame and the converted luminance signal Y ′ are stored in the rgb memory 23 and the memory 24, the following processing is performed.
[0033]
  Y ′ stored in the memory 24 for each frame is filtered by the low frequency suppressor 25 to suppress the low frequency component. For example, a high-pass filter having a Butterworth characteristic as shown in FIG. Thus, Y ′ stored in the memory 24 for each frame is converted into Y ″ in which the low frequency component is suppressed, and stored again in the memory 24 for each frame.
[0034]
  Next, the maximum value Y ″ is detected by the maximum value detector 26 from the low-frequency component Y ″ stored in the memory 24 for each frame.maxIs detected. Next, L stored in advancemaxAnd the multiplier 27 makes LmaxAnd Y ″ and Y ″ of each pixelmaxAnd brightness Y''L with reduced brightness differencemax/ Y ''maxAsk for. Luminance Y''L with suppressed brightness differencemax/ Y ''maxR, g, b signals corresponding to are read from the memory 23, and R ′ = rY ″ L in the multipliers 28r, 28g, 28b, respectively.max/ Y ''max, G '= gY''Lmax/ Y ''max, B ′ = bY ″ Lmax/ Y ''maxEach is obtained. Since R ′, G ′, and B ′ obtained in this way are RGB signals in which the contrast difference due to the illumination intensity is suppressed, an analog color signal that can be input to the analog color display device 4c by the video encoder 29 is generated based on this RGB signal. To do. In this way, the image processing apparatus 20 can compress the light / dark difference without causing a change in the color information..
[0035]
[Modification of Second Embodiment]
  In the second embodiment, a modification of the RGB method is used. However, the video decoder may output luminance Y and normal RGB. In that case, R '= RY''Lmax/ YY ''max, G '= GY''Lmax/ YY ''max, B '= BY''Lmax/ YY ''maxIn addition to the RGB memory corresponding to the rgb memory 23 and the memory 24, a memory for storing the luminance Y for each frame is further required. Further, the method of decomposing a color signal into the so-called YUV and YIQ methods can be configured by modifying the second embodiment so as to process only the Y signal. Further, when the color imaging device 1c and the analog color display device 4c are devices that can output and input digital data, respectively, the video decoder and the video encoder are simply replaced with an arithmetic unit that converts a digital color signal into a desired format. it can.
[0036]
[Third embodiment]
  In the configuration of the second embodiment, an unnatural color may be displayed by emphasizing a low-luminance edge portion having a small S / N ratio by filtering processing that suppresses low-frequency components. FIG. 3 shows an embodiment in which the following configuration is added.
[0037]
  In the second embodiment, a color converter 21A is added between the video decoder 21 and the rgb memory 23 in the second embodiment. The process of the color converter 21A is a value Y in which the luminance Y is determined.0When larger, the outputs r = R / Y, g = G / Y, b = B / Y of the video decoder 21 are used as they are, r ′ = r = R / Y, g ′ = g = G / Y, b ′ = b. = B / Y and r ′, g ′, b ′ are output to the rgb memory 23. On the other hand, luminance Y is a determined value Y0If it is smaller, the signals r ′ = 1, g ′ = 1, and b ′ = 1, which are luminance Y and indicating an achromatic color, are output to the rgb memory 23. With this configuration, a pixel having a low luminance Y is always output as an achromatic color (gray or black) from the video encoder 29, so that an unnatural color is not formed in a low luminance portion..
[0038]
[Fourth embodiment]
  The present embodiment has a configuration for correcting the low frequency suppression according to the distance to the object. FIG. 4 is a block diagram showing a series of imaging, processing, and display configurations using the image processing apparatus 40 according to the fourth embodiment of the present application. Image data obtained by the monochrome imaging device 1 is sent to the image processing device 40 by the digital processing device 2 as the luminance Y of each pixel for each frame. The image processing device 40 performs the following processing and outputs the luminance Y ′ ″ for each frame to the analog processing device 3. The analog processing device 3 forms an analog signal from the luminance Y ′ ″ of each pixel for each frame and outputs it to the analog display device 4.
[0039]
  The processing content of the image processing apparatus 40 is as follows. The output Y of the digital processing device 2 is converted into Y ′ = log (Y) by the logarithmic converter 41. Next, Y ′ stored in the memory 12 for each frame is filtered by the low frequency suppressor 13 described below to suppress low frequency components. The filter storage unit 13A stores a filter kernel having a frequency characteristic corresponding to the distance to the object at each position in the image, and the low frequency suppressor 13 stores the filter storage unit 13A at each position in the image. Filtering is performed using the filter at the corresponding position stored in. When a road surface is imaged from a running vehicle, for example, a captured image as shown in FIG. If the vertical axis of FIG. 5A is y, FIG. 5A is an image that approaches the horizon as y increases. Therefore, since the distance to the target increases as the position of y increases, it becomes smaller in the captured image, that is, a high frequency component. Obviously, if filtering is performed using a filter having a frequency characteristic that is unrelated to the distance to the object, edges such as the contour of the object at a position where y is large are overemphasized as high-frequency components. By using a filter having a frequency characteristic corresponding to the distance to the object, it is possible to perform the filtering without over-emphasizing a far edge.
[0040]
  The frequency characteristics of the filter at each position in the image are determined as follows. As shown in FIG. 5B, it is assumed that a road surface is imaged at a depression angle θ from a camera installed at an altitude h, and the camera optical system can be approximated by a pinhole camera. The optical center of the camera optical system is O, and the horizontal direction, vertical direction, and optical axis direction of the image plane are the x-axis, y-axis, and z-axis, respectively. If the focal length of the lens is F, the distance d to the road surface corresponding to the position (x, y) on the image plane is as follows.
[Formula 6]
[0041]
  By making the cut-off frequency of the filter proportional to d, frequency characteristics corresponding to the distance to the object are obtained. It is not necessary to store filters at all positions in the image, and a predetermined range of the distance d may be approximated with one filter. Further, the degree of change in the cutoff frequency with respect to the change in the distance d may be relaxed without making the distance d and the filter cutoff frequency completely proportional. For example, in FIG. 1B, in a region where the spatial frequency f is small, | H (f) | may be large when d is large and small when d is small.
[0042]
  In this way, Y ′ stored in the memory 12 for each frame is converted into Y ″ in which the low frequency component is suppressed, and stored again in the memory 12 for each frame. Next, from Y ″ in which the low-frequency component stored in the memory 12 is suppressed for each frame, the calculator 42 calculates the maximum value Y ″.maxAnd average value Y ''aveIs detected. Next, the maximum value L of the input level of the display device stored in advancemaxThen, the multiplication coefficient M and the addition coefficient P are calculated by the coefficient calculator 43, multiplied by the coefficient M by the multiplier 16, and added by the adder 44 to obtain the output Y ′ ″ = MY ″ + P. . The multiplication coefficient M and the addition coefficient P are obtained by the following equations.
[Expression 7]
[0043]
  The output Y ′ ″ of the adder 44 is converted into Y ″ ″ = exp (Y ′ ″) by the inverse logarithmic converter 45. The output Y ″ ″ of the inverse logarithmic converter 45 is output to the analog processing device 3 as an image output in which the illumination intensity is suppressed.
[0044]
  Now, the maximum value Y ″ of the luminance Y ″ in which the low frequency components stored in the memory 12 are suppressed.maxAnd average value Y ''aveIs multiplied by the coefficient M and then the coefficient P is added, so logLmaxAnd log (Lmax/ 2), and by inverse logarithmic transformation,maxAnd LmaxConverted to / 2. That is, the maximum value and the average value of the luminance Y ″ are converted into the maximum value and the median value of the input level of the display device, respectively, and displayed on the display device. Display with high brightness. In this manner, the image processing apparatus 40 can compress the dynamic range of the image while suppressing the difference in brightness without excessively enhancing the edge of the far object. The low frequency suppressor 13 and the filter storage unit 13A, which are the main features of the image processing apparatus 40 of this embodiment,Claim 3The concrete Example of the invention which concerns on is comprised.
[0045]
[Modification of the fourth embodiment]
  In the fourth embodiment, the filtering method considering only the distance to the target is shown, but it is also possible to perform the filtering considering the deformation of the target shape depending on the direction of observing the target. As shown in FIG. 5A, for example, a circular manhole on the road surface is input as an ellipse by imaging. That is, the aspect ratio of the object changes, and the frequency characteristics are different between the vertical direction and the horizontal direction, so that the edge in the vertical direction may be overemphasized. As shown in FIG. 5B, when the road surface is imaged, the aspect ratio of the structure on the road surface at the position (x, y) on the image surface is R of the following equation.
[Equation 8]
[0046]
  A kernel of a convolution filter having a frequency characteristic such that the cutoff frequency in the vertical direction is R times the cutoff frequency in the horizontal direction is stored in the filter storage unit 13A, and filtering is performed using the kernel. It is possible to suppress the low frequency component without excessively enhancing the edge.
[0047]
  In addition, an object having the same aspect ratio as the actual size is subjected to geometric transformation on the input image so that the size and aspect ratio in the image are almost equal regardless of the position in the image. By filtering the entire image with the same convolution kernel and performing a reverse geometric change, it is possible to realize filtering with frequency characteristics according to the actual size and aspect ratio of the object. In this case, the apparatus is provided with an inverse geometric converter corresponding to the geometric converter before and after the low-frequency suppressor 13, and the filter storage unit 13A is unnecessary. As an example of such geometric conversion, there is a method of converting the road surface into an image observed from directly above, assuming that all objects are road surfaces in the input image of FIG. When the road surface is imaged as shown in FIG. 5B, the image surface is projected onto the road surface, and the coordinates (x, y) on the image surface are changed to the coordinates (x ′, y ′) on the road surface. Thus, the road surface can be converted into an image observed from directly above. The coordinates (x, y) on the image plane can be converted to the coordinates (x ′, y ′) on the road surface by the following expression.
[Equation 9]
[0048]
  In the image observed from directly above the road surface, the distance to the target is almost the same regardless of the position in the image, so the size and aspect ratio in the image of the target object with the same actual size and aspect ratio are It becomes almost equal regardless of the position. In this way, after performing geometric transformation on the input image, the entire image is filtered using a filter having the same frequency characteristic, and the corresponding inverse geometric transformation is performed, so that the edge of a far object is obtained. In addition, low frequency components can be suppressed without excessive enhancement of vertical edges.
[0049]
[Fifth embodiment]
  FIG. 7 is a block diagram showing a series of image pickup and display configurations using an image processing apparatus 50 according to a specific fifth embodiment of the present invention. The image processing apparatus 50 according to the present embodiment combines a part of the internal configuration of the image processing apparatus 40 according to the fourth embodiment and a part of the internal configuration of the image processing apparatus 10 according to the first embodiment. It has both.
[0050]
  That is, the configuration of the image processing apparatus 50 according to the present embodiment includes a low-frequency suppressor 13 that is a component of the image processing apparatus 10 according to the first embodiment and a filter that is a component of the image processing apparatus 40 according to the fourth embodiment. A filter storage unit 5A corresponding to the storage unit 13A is added. Therefore, the image processing apparatus 50 according to the present embodiment can compress the light / dark difference by using the nonlinear transformation only once, which is the effect of the image processing apparatus 10 according to the first embodiment, and the image according to the fourth embodiment. The effect of the processing device 40 is that it has two effects that the edge of a far object is not emphasized too much. The image processing apparatus 50 of this embodiment isClaim 1This corresponds to a specific embodiment of the invention.
[0051]
[Sixth embodiment]
  FIG. 8 is a block diagram showing a series of imaging and display configurations using the image processing apparatus 60 according to the sixth specific embodiment of the present invention. The image processing apparatus 60 of this embodiment incorporates part of the internal configuration of the image processing apparatus 40 of the fourth embodiment into the internal configuration of the image processing apparatus 20 of the second embodiment, and has both advantages. is there.
[0052]
  In other words, the configuration of the image processing device 60 of the present embodiment includes a filter that is a component of the image processing device 40 of the fourth embodiment in addition to the low frequency suppressor 25 that is a component of the image processing device 20 of the second embodiment. A filter storage unit 6A corresponding to the storage unit 13A is added. Therefore, the image processing apparatus 60 according to the present embodiment can compress the light / dark difference without changing the color information by using the non-linear transformation only once, which is an effect of the image processing apparatus 20 according to the second embodiment. It has two effects, that is, the effect of the image processing apparatus 40 of the fourth embodiment and that the edge of a far object is not emphasized too much. The image processing apparatus 60 of the present embodiment isClaim 2This corresponds to a specific embodiment of the invention.
[0053]
[Seventh embodiment]
  FIG. 9 is a block diagram showing a series of image pickup and display configurations using an image processing apparatus 70 according to a specific seventh embodiment of the present invention. The image processing apparatus 70 according to the present embodiment is a combination of the configuration of the image processing apparatus 40 according to the fourth embodiment and a part of the internal configuration of the image processing apparatus 20 according to the second embodiment. This has the advantages of color image processing.
[0054]
  That is, the configuration of the image processing apparatus 70 of the present embodiment includes a video decoder 21, an rgb memory 23, multipliers 28r, 28g, and 28b, a video encoder 29, which are constituent elements of the image processing apparatus 20 of the second embodiment, The logarithmic converter 41, the memory 12, the low frequency suppressor 13, the filter storage unit 13A, the arithmetic unit 42, the coefficient calculator 43, the multiplier 16, and the adder 44, which are all the components of the image processing apparatus 40 of the fourth embodiment. , Having an inverse logarithmic converter 45. In addition, in the image processing apparatus 20 of the second embodiment, the output of the video decoder 21 is calculated by the luminance level converter 22 to the multiplier 27 to calculate the coefficients to be multiplied by r, g, and b. Similar to the image processing apparatus 40 of the fourth embodiment, the image processing apparatus 70 calculates coefficients multiplied by r, g, and b by the logarithmic converter 41 to the inverse logarithmic converter 45. Therefore, the image processing apparatus 70 according to the present embodiment can compress the brightness difference without changing the color information, which is the effect of the image processing apparatus 20 according to the second embodiment, and the fourth embodiment. It has the two effects of the image processing device 40, that is, the edge of the far object is not overemphasized. The video decoder 21, the low frequency suppressor 13, the filter storage unit 13A, the multipliers 28r, 28g, and 28b, which are the main features of the image processing apparatus 70 of the present embodiment,Claim 4This corresponds to a specific embodiment of the invention.
[0055]
[Modifications of Fifth to Seventh Embodiments]
  Since it can be said that the fifth to seventh embodiments are a combination of the first, second, and fourth embodiments, the modified examples of the first, second, and fourth embodiments are the fifth to seventh embodiments. Of course it can be applied to. That is, in the fifth embodiment, a modification corresponding to the modification of the first embodiment and / or the modification of the fourth embodiment can be easily made, and the sixth or seventh embodiment is the same as that of the second embodiment. A modification corresponding to the modification and / or the modification of the fourth embodiment can be easily made. Further, in the third embodiment, the color tone converter 21A may be added to the sixth and seventh embodiments as described in the configuration in which the color tone converter 21A is added to the second embodiment. They are,Claim 2Dependent claimsClaim 5Inventions related toClaim 4Dependent claimsClaim 5Related toMysteriousThis is a specific example.
[Brief description of the drawings]
FIG. 1A is a block diagram showing the configuration of an image processing apparatus according to a specific first embodiment of the present invention together with an image pickup and display apparatus, and FIG. 1B is an example of a filter of a low frequency suppressor. The graph figure shown.
FIG. 2 is a block diagram showing a configuration of an image processing apparatus according to a second specific example of the present invention, together with an image pickup and display apparatus.
FIG. 3 is a block diagram showing the configuration of an image processing apparatus according to a specific third embodiment of the present invention together with an image pickup and display apparatus.
FIG. 4 is a block diagram showing the configuration of an image processing apparatus according to a fourth specific example of the present invention, together with an image pickup and display apparatus.
FIG. 5 is a diagram for explaining functions of a fourth embodiment.
FIG. 6 is a block diagram showing an outline of two conventional dynamic range compression methods.
FIG. 7 is a block diagram showing the configuration of an image processing apparatus according to a fifth specific example of the present invention, together with an image pickup and display apparatus.
FIG. 8 is a block diagram showing the configuration of an image processing apparatus according to a sixth specific example of the present invention, together with an image pickup and display apparatus.
FIG. 9 is a block diagram showing the configuration of an image processing apparatus according to a specific seventh embodiment of the present invention together with an image pickup and display apparatus.
[Explanation of symbols]
  10, 20, 30, 40, 50, 60, 70 Image processing apparatus
  11, 22 Brightness level converter
  12, 24 memory
  13, 25 Low frequency suppressor
  13A, 5A, 6A Filter storage unit
  14, 26 Maximum value detector
  15, 43 Coefficient calculator
  16, 27, 28r, 28g, 28b Multiplier
  21 Video decoder
  21A Color converter
  23 rgb memory
  41 Logarithmic converter
  42 Calculator
  44 Adder
  45 inverse logarithmic converter

Claims (5)

モノクロ画像を処理する画像処理装置において、
輝度Yに対し、変換された輝度f(Y)を与える輝度レベル変換手段であって、f(Y)は上に凸で滑らかな単調増加関数であるような輝度レベル変換手段と、
前記輝度レベル変換手段の出力である変換された輝度信号に対して、空間周波数の低い成分を抑制し、且つ周波数特性を画像中の各位置における対象までの概算距離に応じて可変とする低周波成分抑制手段と、
前記低周波成分抑制手段の出力輝度について、その出力輝度分布と表示装置の入力レベルから決定される2つの定数によって、前記出力輝度に一方の定数を乗じたのち他方の定数を加える線形輝度レベル変換手段と、
を有することを特徴とする画像処理装置。
In an image processing apparatus that processes a monochrome image,
A brightness level converting means for giving a converted brightness f (Y) to the brightness Y, where f (Y) is a monotonically increasing function that is convex upward and smooth;
Low frequency that suppresses low spatial frequency components and makes frequency characteristics variable according to the approximate distance to the target at each position in the image for the converted luminance signal that is the output of the luminance level converting means Component suppression means;
Linear luminance level conversion of the output luminance of the low frequency component suppression means by multiplying the output luminance by one constant and adding the other constant by two constants determined from the output luminance distribution and the input level of the display device Means,
An image processing apparatus comprising:
カラー画像を処理する画像処理装置において、
カラー入力画像の画像信号から輝度と、色信号を抽出する信号抽出手段と、
輝度Yに対し、変換された輝度f(Y)を与える輝度レベル変換手段であって、f(Y)は上に凸で滑らかな単調増加関数であるような輝度レベル変換手段と、
前記輝度レベル変換手段の出力である変換された輝度信号に対して、空間周波数の低い成分を抑制し、且つ周波数特性を画像中の各位置における対象までの概算距離に応じて可変とする低周波成分抑制手段と、
前記低周波成分抑制手段の出力輝度について、その出力輝度分布と表示装置の入力レベルから決定される2つの定数によって、前記出力輝度に一方の定数を乗じたのち他方の定数を加える線形輝度レベル変換手段と、
前記線形輝度レベル変換手段の出力と、同一画素にあたる前記信号抽出手段の抽出する色信号とから、カラー画像信号を生成する画像信号生成手段と、
を有することを特徴とする画像処理装置。
In an image processing apparatus that processes a color image,
Signal extraction means for extracting luminance and color signals from the image signal of the color input image;
A brightness level converting means for giving a converted brightness f (Y) to the brightness Y, where f (Y) is a monotonically increasing function that is convex upward and smooth;
Low frequency that suppresses low spatial frequency components and makes frequency characteristics variable according to the approximate distance to the target at each position in the image for the converted luminance signal that is the output of the luminance level converting means Component suppression means;
Linear luminance level conversion of the output luminance of the low frequency component suppression means by multiplying the output luminance by one constant and adding the other constant by two constants determined from the output luminance distribution and the input level of the display device Means,
Image signal generation means for generating a color image signal from the output of the linear luminance level conversion means and the color signal extracted by the signal extraction means corresponding to the same pixel;
An image processing apparatus comprising:
モノクロ画像を処理する画像処理装置において、
輝度信号に対して、空間周波数の低い成分を抑制し、且つ周波数特性を画像中の各位置における対象までの概算距離に応じて可変とする低周波成分抑制手段を有することを特徴とする画像処理装置。
In an image processing apparatus that processes a monochrome image,
Image processing characterized by comprising low-frequency component suppression means that suppresses a component having a low spatial frequency with respect to a luminance signal and makes frequency characteristics variable according to an approximate distance to a target at each position in the image apparatus.
カラー画像を処理する画像処理装置において、
カラー入力画像の画像信号から輝度と、色信号を抽出する信号抽出手段と、
前記輝度信号に対して、空間周波数の低い成分を抑制し、且つ周波数特性を画像中の各位置における対象までの概算距離に応じて可変とする低周波成分抑制手段と、
前記低周波成分抑制手段の出力と、同一画素にあたる前記信号抽出手段の抽出する色信号とから、カラー画像信号を生成する画像信号生成手段と、
を有することを特徴とする画像処理装置。
In an image processing apparatus that processes a color image,
Signal extraction means for extracting luminance and color signals from the image signal of the color input image;
Low frequency component suppression means that suppresses a component having a low spatial frequency with respect to the luminance signal and makes the frequency characteristic variable according to the approximate distance to the target at each position in the image;
An image signal generating means for generating a color image signal from the output of the low frequency component suppressing means and the color signal extracted by the signal extracting means corresponding to the same pixel;
An image processing apparatus comprising:
前記信号抽出手段により抽出された輝度値が所定値以下の時に、前記色信号を無彩色を示す信号に変換する入力画像の色変換手段を有することを特徴とする請求項2又は請求項4に記載の画像処理装置。When the luminance values extracted by said signal extracting means is equal to or less than the predetermined value, to claim 2 or claim 4 characterized in that it has a color conversion unit of the input image for converting the color signal to a signal indicating an achromatic color The image processing apparatus described.
JP2001231357A 2000-12-28 2001-07-31 Image processing device Expired - Fee Related JP3807266B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001231357A JP3807266B2 (en) 2000-12-28 2001-07-31 Image processing device

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2000399799 2000-12-28
JP2000-399799 2000-12-28
JP2001231357A JP3807266B2 (en) 2000-12-28 2001-07-31 Image processing device

Publications (2)

Publication Number Publication Date
JP2002262130A JP2002262130A (en) 2002-09-13
JP3807266B2 true JP3807266B2 (en) 2006-08-09

Family

ID=26606983

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001231357A Expired - Fee Related JP3807266B2 (en) 2000-12-28 2001-07-31 Image processing device

Country Status (1)

Country Link
JP (1) JP3807266B2 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4798945B2 (en) 2003-03-05 2011-10-19 トヨタ自動車株式会社 Imaging device
JP4595330B2 (en) * 2004-01-19 2010-12-08 ソニー株式会社 Image processing apparatus and method, recording medium, and program
JP2008250674A (en) * 2007-03-30 2008-10-16 Hitachi Kokusai Electric Inc Image processor
JP5202190B2 (en) * 2008-08-28 2013-06-05 キヤノン株式会社 Image processing method and image processing apparatus
JP5305884B2 (en) * 2008-12-17 2013-10-02 株式会社東芝 Image processing apparatus, image processing method, and image processing program
JP5569042B2 (en) 2010-03-02 2014-08-13 株式会社リコー Image processing apparatus, imaging apparatus, and image processing method

Also Published As

Publication number Publication date
JP2002262130A (en) 2002-09-13

Similar Documents

Publication Publication Date Title
KR100879536B1 (en) Method And System For Image Enhancement
CN107045715B (en) A kind of method that single width low dynamic range echograms generate high dynamic range images
US7020332B2 (en) Method and apparatus for enhancing a digital image by applying an inverse histogram-based pixel mapping function to pixels of the digital image
EP2076013B1 (en) Method of high dynamic range compression
US8391598B2 (en) Methods for performing local tone mapping
Lee et al. A space-variant luminance map based color image enhancement
JP5392560B2 (en) Image processing apparatus and image processing method
JP4111980B2 (en) Image processing apparatus and image processing method
JP2008263475A (en) Image processing device, method, and program
JPWO2008105268A1 (en) Image processing method
JP4021261B2 (en) Image processing device
JP6004757B2 (en) Image processing apparatus and image processing method
JP2009510587A (en) Image detail enhancement
JP3184309B2 (en) Gradation correction circuit and imaging device
US10218953B2 (en) Image processing apparatus, image processing method, and storage medium
JP2008147980A (en) Image processor, image sensing device, method for processing image, program and recording medium
KR100933556B1 (en) Color image processing apparatus and method for extending the dynamic range
CN106023100B (en) Image wide dynamic range compression method and device
JP3807266B2 (en) Image processing device
JP5410378B2 (en) Video signal correction apparatus and video signal correction program
JP2011100204A (en) Image processor, image processing method, image processing program, imaging apparatus, and electronic device
JP2003060913A (en) Image processing method and image processor
JP5142833B2 (en) Image processing apparatus and image processing method
CN116468636A (en) Low-illumination enhancement method, device, electronic equipment and readable storage medium
EP2410731B1 (en) Edge correction apparatus, edge correction method, program, and storage medium

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050719

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050726

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050920

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060425

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060508

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100526

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110526

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120526

Year of fee payment: 6

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313532

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130526

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees