JP5550483B2 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
JP5550483B2
JP5550483B2 JP2010173437A JP2010173437A JP5550483B2 JP 5550483 B2 JP5550483 B2 JP 5550483B2 JP 2010173437 A JP2010173437 A JP 2010173437A JP 2010173437 A JP2010173437 A JP 2010173437A JP 5550483 B2 JP5550483 B2 JP 5550483B2
Authority
JP
Japan
Prior art keywords
value
peripheral area
ave
pixel
area average
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010173437A
Other languages
English (en)
Other versions
JP2012033084A5 (ja
JP2012033084A (ja
Inventor
善隆 豊田
徹也 久野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2010173437A priority Critical patent/JP5550483B2/ja
Publication of JP2012033084A publication Critical patent/JP2012033084A/ja
Publication of JP2012033084A5 publication Critical patent/JP2012033084A5/ja
Application granted granted Critical
Publication of JP5550483B2 publication Critical patent/JP5550483B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

本発明は入力画像のコントラストを補正する画像処理装置に関するものである。特に霧、霞、雨天などで撮影したコントラストの低い画像に対して被写体(人、動物、車両、道路標識など)の視認性を上げるために画像のコントラスト、先鋭性を改善する画像処理装置に関する。
従来から天候の悪い霧や、もやの中で撮像したコントラストの低く、被写体がぼけたような画像が得られたとき、コントラストを補正して鮮明な画像を生成するためにいくつかの技術が知られている。まず、撮像された画像に霧がかかった画像かどうかを判別する技術を用いてコントラストを補正する技術が提案されている(例えば特許文献1)。この技術では、霧を特定するためにはあらかじめ撮影された画像で上側が空、下が地面であるなど条件を満たすことが必要であり、適用対象について制約がある。
次に、コントラスト補正の方法として、原色信号から輝度信号を生成し、生成した輝度信号に基づいて階調補正テーブルを算出し、各原色信号に同じ補正係数を乗算することにより色バランスの変化を抑制した階調補正装置が提案されている(例えば特許文献2)。
特開2008−70979号公報(段落0051から0055) 特開2004−342030号公報(段落0036から0066)
特許文献1及び特許文献2の技術では、画像の一部のみにおいて霧などによりコントラストが低下している場合には、霧のかかっている低コントラスト部の補正が不十分であったり、逆に霧のかかっていない、コントラストが高い部分に過補正が生じるという問題があった。また、霧がかかってコントラストが低下した部分に対して補正度を上げようとすると、画像全体では黒つぶれ、白とびが起こる場合があり画質が低下するという問題があった。
本発明は、上記従来技術の課題を解決するためになされたものであり、その目的は、霧などによりコントラストが低下した箇所に対して適切にコントラスト補正を行い、かつ黒つぶれや白とびのない高品位な画像を得ることができる画像処理装置を提供するものである。
本発明に係る画像処理装置は、
正対象画素の周辺領域内の画素の値の平均値を周辺領域平均値として算出する周辺領域平均手段と、
前記補正対象画素の値と前記周辺領域平均手段によって算出された周辺領域平均値とに基づいて当該画素の値を補正する補正手段とを具備し、
前記補正手段は、
前記周辺領域平均値が小さい場合に小さな値となる第1の幅と、前記周辺領域平均値が大きい場合に小さな値となる第2の幅と、前記周辺領域平均値から前記第1の幅を減算した第1の端部位置と、前記周辺領域平均値に第2の幅を加算した第2の端部位置を生成する強調範囲決定部と、
前記補正対象画素の値が前記第1の端部位置から前記第2の端部位置までの範囲にあるとき、当該画素の値から前記周辺領域平均値を減算した値に、1より大きい第1の係数を乗算した値を前記周辺領域平均値に加算した値と等しい値を出力し、
前記補正対象画素の値が前記第1の端部位置より小さい範囲にあるとき、当該画素の値に、1より小さい第2の係数を乗算した値と等しい値を出力し、
前記補正対象画素の値が前記第2の端部位置より大きい範囲にあるとき、前記入力画像の信号のとりうる最大値から当該画素の値を減算した値に、1より小さい第3の係数を乗算した値を当該最大値から減算した値と等しい値を出力する画素値変換部とを有し
前記第2の係数は、前記補正対象画素の値が前記第1の端部位置の値に等しいとき、当該画素の値に前記第2の係数を乗算した値が、当該画素の値から前記周辺領域平均値を減算した値に前記第1の係数を乗算した値を前記周辺領域平均値に加算した値と等しくなるように定められ、
前記第3の係数は、前記補正対象画素の値が前記第2の端部位置の値に等しいとき、前記入力画像の信号のとりうる最大値から当該画素の値を減算した値に前記第3の係数を乗算した値を当該最大値から減算した値が、当該画素の値から前記周辺領域平均値を減算した値に前記第1の係数を乗算した値を前記周辺領域平均値に加算した値と等しくなるように定められる
ことを特徴とする。
本発明の画像処理装置によれば、霧などにより局所的にコントラストが低下した箇所に対して、黒つぶれや白とびを起こすことなく、適切にコントラスト補正を行うことができる。
本発明の実施の形態1に係る画像処理装置の構成を概略的に示すブロック図である。 補正対象画素と周辺領域との位置関係を示す図である。 図1の周辺領域平均手段1の構成例を示すブロック図である。 図1の周辺領域平均手段1の他の構成例を示すブロック図である。 図1の補正手段3の入力信号と出力信号の関係を模式的に示す図である。 図1の補正手段3が発生し得る入出力特性の例を示す図である。 図1の補正手段3の入出力特性の決め方を示す図である。 図1の補正手段3の入出力特性の一例を図である。 (a)及び(b)は、実施の形態1における、幅WL、WR、及び傾きKL、KRの、周辺領域平均値Aveに応じた変化の一例を示す図である。 図1の補正手段3の構成例を示すブロック図である。 図10の幅演算部(WL演算部)31の構成例を示すブロック図である。 図10の幅演算部(WR演算部)32の構成例を示すブロック図である。 本発明の実施の形態2における補正手段3bの入出力特性の一例を示す図である。 実施の形態2における補正手段3bの構成例を示すブロック図である。 図14の幅演算部(WL演算部)41の構成例を示すブロック図である。 図14の幅演算部(WR演算部)42の構成例を示すブロック図である。 (a)及び(b)は、実施の形態2における、幅WL、WR、及び傾きKL、KRの、周辺領域平均値Aveに応じた変化の一例を示す図である。 (a)及び(b)は、本発明の変形例における、幅WL、WR、及び傾きKL、KRの、周辺領域平均値Aveに応じた変化の一例を示す図である。
実施の形態1.
図1は本発明の実施の形態1に係る画像処理装置の構成を示す。
図示の画像処理装置は、画像を構成する複数の画素の信号を受けて、画像のコントラストの補正を行うものである。各画素の信号(画素信号)は、複数の色成分の信号(色信号)から成る。複数の色信号は、例えば赤、緑、青の原色成分を表すものであり、それぞれ符号Rin、Gin、Binで表され、単に入力信号とも呼ばれる。画像処理装置は、複数の画素を順に補正対象画素として、当該画素のコントラスト補正後の信号Rout、Gout、Boutを順に出力する。
図示の画像処理装置は、周辺領域平均手段1と、遅延手段2と、補正手段3とを備える。
周辺領域平均手段1は、入力信号Rin、Gin、Binから補正対象画素の周辺領域の画素の平均値を画素ごとに検出する。
補正手段3は、周辺領域平均手段1の出力値に応じて、入力信号Rin、Gin、Binの信号を補正する。
遅延手段2は、入力信号Rin、Gin、Binを遅延させる。遅延手段2の出力も、入力信号と同じ符号「Rin、Gin、Bin」で表す。遅延手段2による遅延の目的については後述する。
以下、より詳細に説明する。
周辺領域平均手段1は図2に示すように補正対象画素P0の周辺領域NA内の画素の信号成分の平均値Aveを算出して、周辺領域平均値として出力する。例えば、補正対象画素P0を中心とし、水平5画素、垂直5画素の領域を周辺領域NAとし、該周辺領域NAに含まれる25画素の値を平均化する。例えば、各画素の輝度値Yを算出し、算出した25画素分の輝度値の単純平均を求める。
輝度値Yは、例えば、簡便法として、
Y=(Rin+2Gin+Bin)/4 …(A1)
により求めることとしても良い。
なお、より正確な方法として、
Y=0.3Rin+0.59Gin+0.11Bin …(A2)
により、輝度値Yを求めることとしても良い。
図3に周辺領域平均手段1の構成例を示す。図示の周辺領域平均手段1は、輝度値算出手段11と、平均値算出手段12とを有する。輝度値算出手段11は、入力信号Rin、Gin、Binを入力とし、輝度値Yを算出する。平均値算出手段12は、輝度値Yの平均値を算出し、算出した平均値を周辺領域平均値Aveとして出力する。
輝度値算出手段11は、例えば、上記の式(A1)で表される輝度値Yを算出するものであり、ビットシフト手段111と、加算器112と、ビットシフト手段113とを有する。
ビットシフト手段111は、入力信号Ginを1ビット左方にシフトし、右端のビット(LSB)を0で埋めることで、入力された信号Ginの2倍の値を持つ信号を出力する。
加算器112は、入力信号Rin、Ginと、ビットシフト手段111の出力(2×Gin)を加算する。ビットシフト手段113は加算器112の出力の下位2ビットを切り捨てることで1/4倍し、式(A1)で表される輝度値Yを表す信号を出力する。
平均値算出手段12は、輝度値Yを、補正対象画素の周辺領域、例えば補正対象画素を中心とする5画素×5画素の領域にわたって平均するものであり、直列接続された4つの画素遅延手段121a〜121dと、直列接続された4つのライン遅延手段123a〜123dと、加算器122、124と、除算器125とを有する。
画素遅延手段121a〜121dは、輝度値Yを表す信号(輝度信号Y)を、各々1画素分(1画素期間)遅延させ、それぞれ1画素遅延信号、2画素遅延信号、3画素遅延信号、4画素遅延信号を出力する。
加算器122は、画素遅延手段121a〜121dの出力及びビットシフト手段113の出力を加算する。これにより、図2に示される水平方向5画素分の加算結果が得られる。
ライン遅延手段123a〜123dは、加算器122の出力を各々1ライン分(1ライン期間)遅延させ、それぞれ1ライン遅延信号、2ライン遅延信号、3ライン遅延信号、4ライン遅延信号を出力する。
加算器124は、ライン遅延手段123a〜123dの出力及び加算器122の出力を加算する。これにより、図2に示される水平5画素、垂直5画素の領域内の25画素の加算結果が得られる。
除算器125は、加算器124の出力を25(周辺領域内の画素の数)で割り、これにより、上記の25画素の平均値Aveが得られる。
周辺領域平均手段1で周辺領域平均値を求める際に使用する周辺領域の画素数は必ずしも5画素×5画素に限定するものではなく、補正後の画質の好みに応じて、領域の大きさを定めればよい。領域を小さく設けると周波数特性の高いコントラスト感(高周波成分について高いコントラスト感)が得られ、領域を大きく設けると周波数特性の低いコントラスト感(低周波成分について高いコントラスト感)が得られる。
また、上記の例では、式(A1)や式(A2)により求められる輝度値を画像の明るさを反映した周辺領域平均値として求めているが、本発明は、これに限定されず、画像の明るさを反映した値であれば、他の式で求められる値であっても良い。
また、輝度値の代りに、各画素についての入力信号Rin、Gin、Binの最大値Mxをその画素の代表値として求め、周辺領域の画素の代表値の平均値を求めることとしても良い。このようにすれば、コントラスト補正を行った際に、色の濃い箇所での彩度の飽和(3つの色の階調値の少なくとも一つが階調範囲の最大値になることを意味し、色つぶれとも称する)を避けることができる。
最大値Mxを求める場合には、周辺領域平均手段1は例えば図4に示されるように構成される。即ち、図4に示される周辺領域平均手段1は、図3の輝度値算出手段11の代りに、最大値選択手段13を備える。
最大値選択手段13は、入力信号Rin、Gin、Binの最大値Mxをその画素の代表値として出力する。
図4の平均値算出手段12は、最大値選択手段13から出力される最大値Mxの平均を算出して、周辺領域平均値Aveとして出力するものであり、図3の平均値算出手段12と同様に構成される。
図1に戻り、遅延手段2は、周辺領域平均手段1で算出した周辺領域平均値Aveが出力されるタイミングと、補正対象画素の信号Rin、Gin、Binが遅延信号として出力されるタイミングが一致するように(即ち、遅延手段2から補正対象画素の信号Rin、Gin、Binが出力されるとき、周辺領域平均手段1から、当該補正対象画素の周辺領域の平均値Aveが出力されるように)、入力信号Rin、Gin、Binの遅延を行う。
補正手段3は周辺領域平均値Aveの信号に応じて、遅延された入力信号Rin、Gin、Binのコントラストを補正する。
補正手段3におけるコントラスト補正の方法について図5を用いて説明する。
図5に補正手段3の入力信号Sinと出力信号Soutの関係の一例を示す。ここでSはR、G又はBのいずれかであり、以下の説明は、R、G、Bのいずれにも当てはまる。
「Sout=Sin」の直線は入力信号Sinがそのままの値で出力信号Soutとして出力されるときの入出力特性を示している。また、Smaxは入力信号のとりうる最大値を表しており、8ビット階調であれば255となる。
図5において太い実線で示した折れ線は補正手段3の入出力特性を示しており、階調補正曲線とも呼ばれる。図5に示した入出力特性は、周辺領域平均手段1から出力された周辺領域平均値Aveを中心として、Aveより小さい値ELから、Aveより大きい値ERまでの信号範囲(コントラスト強調範囲)において、座標(Ave,Ave)の点を通り、傾きKCの入出力特性をもつ。KCは1よりも大きい、予め定められた値である。これにより、入力信号Sinが平均値Aveより小さいときは、出力信号Soutは入力信号Sinよりも小さい値となり、入力信号Sinが平均値Aveより大きいときは、出力信号Soutは入力信号Sinよりも大きな値となる。
例えばAveより小さい値Sin1が入力されたときは、Sin1より小さいSout1が出力される。また、Aveより大きな値Sin2が入力されたときはSin2より大きいSout2が出力される。
このように、周辺領域平均値Aveを中心として、入力信号SinがAveより大きいときはさらに大きな値が出力され、入力信号SinがAveより小さいときはさらに小さな値が出力される。さらに値ELから値ERの範囲では、Sinの増分に対するSoutの増分の比(ΔSout/ΔSin)が1より大きい。これにより周辺画素とのコントラスト差(信号差)が大きくなり、コントラストが強調される。
以下、本願では、値ELから値ERまでの範囲をコントラスト強調範囲と呼び、値EL、ERをそれぞれコントラスト強調範囲の最小値側端部或いは左端、最大値側端部或いは右端と呼ぶことがある。
図5に示した入出力特性において、出力信号Soutは、
入力信号SinがELからERまでの範囲内では、
Sout=Ave+KC×(Sin−Ave)
で与えられる値となる。特に、
Sin=ELのときは、
Sout=ELO=Ave+KC×(EL−Ave)
=Ave−KC×(Ave−EL)
Sin=ERのときは、
Sout=ERO=Ave+KC×(ER−Ave)
となる。
入力信号SinがERより大きいときは、点(ER,ERO)と点(Smax,Smax)の2点を結ぶ直線で表される入出力特性となる。また、入力信号SinがELより小さいときは、点(0,0)と点(EL,ELO)の2点を結ぶ直線で表される入出力特性となる。
図5に記載した入出力特性において、入力される周辺領域平均値Aveが大きくなっていくと、それに合わせて傾きKCの入出力特性をもつ範囲が右側にシフトしていき(EL、ERの値が次第に大きくなり)、周辺領域平均値Aveが小さくなっていくと、それに合わせて傾きKCの入出力特性をもつ範囲が左側にシフトしていく(EL、ERの値が次第に小さくなる)。
仮に、周辺領域平均値Aveを中心として傾きKCの入出力特性をもつ範囲の幅(ER−ELの値)を一定とすると次のような問題が生じる。以下、その問題点を、図6を参照して説明する。
平均値Aveが所定の標準値Ave0(例えば最大値Smaxの1/2に等しい)である場合、Ave=Ave0の場合の入出力特性は曲線(折れ線)Caで示すごとくとなり、傾きKCの入出力特性をもつ範囲はEL(Ave0)からER(Ave0)までの範囲となる。なお、EL(Ave0)、ER(Ave0)は、それぞれAve=Ave0の場合のEL、ERの値を意味する。他の変数についても同様の表記を用いる。
平均値Aveが小さく、例えばAve1に等しいとき、入出力特性は曲線Cbのようになり、入力信号Sinがb1よりも小さい範囲では出力信号Soutに階調がなくなり黒つぶれした画像となってしまう。
また、平均値Aveが大きく、例えばAve2に等しいとき、入出力特性は曲線Ccのようになり、入力信号Sinがc2よりも大きい範囲では、出力信号Soutに階調がなくなり白とびした画像となってしまう。
そこで、本発明の実施の形態1では、図7に示すような入力特性を用いることで、黒つぶれ、白とびが生じないようにしている。図7に示す例では、平均値Aveが小さくなるにつれて(Aveの値が、Ave0からAve1、Ave3と変わるにつれて)、傾きKCの入出力特性をもつ範囲の幅をAveより小さい側において狭くしていき、Aveより大きい側において広くしていく。即ち、
Ave0−EL(Ave0)
>Ave1−EL(Ave1)
>Ave3−EL(Ave3)
>Ave5−EL(Ave3)、かつ
ER(Ave0)−Ave0
<ER(Ave1)−Ave1
<ER(Ave3)−Ave3
<ER(Ave5)−Ave5
とする。
また、Aveの値が大きくなるにつれて(Aveの値が、Ave0からAve2、Ave4と変わるにつれて)、傾きKCの入出力特性をもつ範囲の幅をAveより小さい側において広くしていき、Aveより大きい側において狭くしていく。即ち、
Ave0−EL(Ave0)
<Ave2−EL(Ave2)
<Ave4−EL(Ave4)
<Ave6−EL(Ave6)、かつ
ER(Ave0)−Ave0
>ER(Ave2)−Ave2
>ER(Ave4)−Ave4
>ER(Ave6)−Ave6
とする。
なお、図7に示す例では、
Ave5=0、Ave5−EL(Ave5)=0、
Ave6=Smax、ER(Ave6)−Ave6=0
である。
図7に示した入出力特性のうち、Ave=Ave0、Ave=Ave1、Ave=Ave2の場合のものの詳細を図8に示す。横軸のSin及び縦軸のSoutは、図5について説明したのと同様である。
AveがAve0であるときの入出力特性は図8の曲線Caに示すように、Ave0を中心として左側にWL0(=Ave0−EL(Ave0))、右側にWR0(=ER(Ave0)−Ave0)の幅をもつ範囲、すなわちAve0−WL0からAve0+WR0の範囲で傾きKCの入出力特性をもつ。
ここで、KC、WL0、WR0はあらかじめ定められた定数である。
通常は、Ave0=Smax/2とし、Ave=Ave0のときWL0=WR0とするのが望ましいが、本発明はこれに限定されない。
Ave=Ave0のときの補正手段3の入出力特性は、入力信号SinがAve0−WL0からAve0+WR0の範囲では傾きKCの入出力特性をもち、入力信号SinがAve0−WL0よりも小さい場合は、1より小さい傾きKL0の入出力特性をもち、入力信号SinがAve0+WR0よりも大きい範囲では1より小さい傾きKR0の入出力特性をもつ。これを数式で表すと、次式(B1)のようになる。
Figure 0005550483
ここで、階調変換曲線がSin=Ave0−WL0およびSin=Ave0+WR0のときに連続につながるという条件を考慮すると、KL0およびKR0の値は次式(B2)、(B3)のようにKC、WL0、WR0、およびAve0から一意に決定することができる。
Figure 0005550483
Figure 0005550483
AveがAve0より大きいとき(例えば、Ave=Ave2(Ave2>Ave0)であるとき)、Ave2を中心として左側(最小値側)にWL2、右側(最大値側)にWR2の幅をもつ範囲で傾きKCの入出力特性をもつものとすると、Ave2の右側の幅WR2をWR0と比較して、WR0×(Ave2−Ave0)/(Smax−Ave0)だけ小さくし、Ave2の左側の幅WL2をWL0と比較して同じだけ大きくする。
一般化して、Ave>Ave0のとき、WL(Ave)、WR(Ave)は、Aveに応じて変化する値として次式(B4)、(B5)により与えられる。
Figure 0005550483
Figure 0005550483
式(B4)、(B5)によれば、Ave=Ave0のときWL(Ave)=WL0、WR(Ave)=WR0であり、Aveの値が大きくなるにつれて、WL(Ave)は増加していき、WR(Ave)は減少していき、Ave=Smaxとなったとき、WL(Smax)=WL0+WR0、WR(Smax)=0となる。
図8中のWL2、WR2は、それぞれ式(B4)、(B5)のAveにAve2の値を代入して求めた値WL(Ave2)、WR(Ave2)に等しい。よって、Ave=Ave2のときの補正手段3の入出力特性Ccは、SinがAve2−WL2からAve2+WR2の範囲では傾きKCの入出力特性をもち、SinがAve2+WR2よりも大きい範囲では傾きKR0の入出力特性をもち、SinがAve2−WL2よりも小さい範囲では傾きKL0の入出力特性をもつ。これを数式で表すと、次式(B6)のようになる。
Figure 0005550483
となる。ここで、KR0、KL0は式(B2)、(B3)により与えられる値と同じ値であり、WL2、WR2は、式(B4)、(B5)でAve=Ave2とすることで与えられる。
一方、AveがAve0より小さいとき(例えば、Ave=Ave1(Ave1<Ave0)であるとき)、Ave1を中心として左側にWL1、右側にWR1の幅をもつ範囲で傾きKCの入出力特性をもつものとすると、Ave1の左側の幅WL1をWL0と比較して、WL0×(Ave0−Ave1)/Ave0だけ小さくし、Ave1の右側の幅WR1をWR0と比較して同じだけ大きくする。
一般化して、Ave<Ave0のとき、WL(Ave)、WR(Ave)は、Aveに応じて変化する値として次式(B7)、(B8)により与えられる。
Figure 0005550483
Figure 0005550483
式(B7)、(B8)によれば、Ave=Ave0のときWL(Ave)=WL0、WR(Ave)=WR0であり、Aveの値が小さくなるにつれて、WL(Ave)は減少していき、WR(Ave)は増加していき、Ave=0となったとき、WL(0)=0、WR(0)=WL0+WR0となる。
図8中のWL1、WR1は、それぞれ式(B7)、(B8)のAveにAve1の値を代入して求めた値WL(Ave1)、WR(Ave1)に等しい。よって、Ave=Ave1のときの補正手段3の入出力特性Cbは、SinがAve1−WL1からAve1+WR1の範囲では傾きKCの入出力特性をもち、SinがAve1+WR1よりも大きい範囲では傾きKR0の入出力特性をもち、SinがAve1−WL1よりも小さい範囲では傾きKL0の入出力特性をもつ。これを数式で表すと、次式(B9)のようになる。
Figure 0005550483
となる。ここで、KR0、KL0は式(B2)、(B3)により与えられる値と同じ値であり、WL1、WR1は、式(B4)、(B5)でAve=Ave1とすることで与えられる。
以上を一般化すると、図8に示した入出力特性は、周辺領域平均値Aveを中心として左側にWL(Ave)、右側にWR(Ave)の幅をもつ範囲で傾きKCの入出力特性をもち、入力信号SinがAve+WR(Ave)よりも大きい範囲では傾きKR0の入出力特性をもち、入力信号SinがAve−WL(Ave)よりも小さい範囲では傾きKL0の入出力特性をもつ。これを数式で表すと、次式(B10)のようになる。
Figure 0005550483
ここで、Sinは補正手段3に入力された信号Rin、Gin、Binであり、Soutは補正手段3から出力される信号Rout、Gout、Boutであり、Aveは周辺領域平均手段1から出力される周辺領域の平均値である。また、KR0、KL0は式(B2)、(B3)により予め与えられた値である。さらに、WL(Ave)、WR(Ave)はAveに応じて変化する値として次式(B11)、(B12)により与えられる。
Figure 0005550483
Figure 0005550483
Ave0=Smax/2、WL0=WR0の場合における、WL(Ave)、WR(Ave)とAveの関係は、図9(a)に示す如くとなる。なお、図9(b)は、KL、KRがAveの値に拘わらず一定(KL0、KR0)であることを示す。
上記のような入出力特性を有する補正手段3の一部の構成例を図10に示す。図10には入力信号がSinで表されており、補正手段3には、図10に示される構成が3つ含まれ、それぞれ、Rin,Gin,Binを処理する。
図10に示される補正手段3は、強調範囲決定部4と、画素値変換部5と、記憶部6及び7を有する。
強調範囲決定部4は、第1の幅演算部(WL演算部)31と、第2の幅演算部(WR演算部)32と、第1の端部位置演算部(EL演算部)33と、第2の端部位置演算部(ER演算部)34とを有する。
画素値変換部5は、比較部35と、画素値演算部36、37、38と、選択部39とを有する。
強調範囲決定部4は、周辺領域平均値Aveと標準値Ave0とを入力として、コントラスト強調範囲の左端EL及び右端ERを決定する。標準値Ave0は、Smax/2を中心とする所定の範囲、例えば、最大値Smaxの0.4倍乃至0.6倍の範囲内で定められ、例えばSmaxの1/2に定められる。標準値Ave0は、記憶部6に予め書き込まれ、保持されている。
WL演算部31は、最小値側範囲幅演算部とも呼ばれるものであり、平均値Aveに基づいて、入出力特性が傾きKCをもつ範囲のうち、平均値Aveよりも最小値側の部分(平均値Aveよりも左側の部分)の幅WLを算出する。なお、この幅WLを単に「左幅」と言うこともあり、また「第1の値」と言うこともある。
WR演算部32は、最大値側範囲幅演算部とも呼ばれるものであり、平均値Aveに基づいて、入出力特性が傾きKCをもつ範囲のうち、平均値Aveよりも最大値側の部分(平均値Aveよりも右側の部分)の幅WRを算出する。なお、この幅WRを単に「右幅」と言うこともあり、また「第2の値」と言う事もある。
WL演算部31及びWR演算部32の具体的な構成例は後述する。
EL演算部33は、最小値側端部位置演算部とも呼ばれるものであり、平均値Aveと左幅WLとを入力として、入出力特性が傾きKCをもつ範囲の最小値側端部或いは左端の位置EL=Ave−WLを求める。
ER演算部34は、最大値側端部位置演算部とも呼ばれるものであり、平均値Aveと右幅WRとを入力として、入出力特性が傾きKCをもつ範囲の最大値側端部或いは右端の位置ER=Ave+WRを求める。
比較部35は、EL演算部33で算出された左端位置ELと、ER演算部34で算出された右端位置ERと、信号値Sinとを入力とし、
EL≦Sin≦ERか、
Sin<ELか、
ER<Sinか
の判定を行い、判定の結果を示す信号を比較結果信号D35として出力する。
画素値演算部37は、信号値Sin、平均値Aveを入力とし、所定の傾きKCを表す係数(同じ符号KCで表す)を用いて、
SoutC=KC×(Sin−Ave)+Ave
で表される演算を行う。
画素値演算部36は、信号値Sinを入力とし、所定の傾きKL0を表す係数(同じ符号KL0で表す)を用いて、
SouL=KL0×Sin
で表される演算を行う。
画素値演算部38は、信号値Sinを入力とし、所定の傾きKR0を表す係数(同じ符号KR0で表す)を用いて、
SoutR=KR0×(Sin−Smax)+Smax
で表される演算を行う。
係数KC、KL0、KR0は記憶部7に予め書き込まれ、保持されている。
選択部39は、比較結果信号D35を受けて、該比較結果信号D35が
EL≦Sin≦ERを示すときは、画素値演算部37の演算結果SoutCを選択し、
Sin<ELを示すときは、画素値演算部36の演算結果SoutLを選択し、
ER<Sinを示すときは、画素値演算部38の演算結果SoutRを選択し、
選択した演算結果を、選択部39の出力Soutとして出力する。
なお、比較部35における比較結果に応じて、画素値演算部36、37、38の出力のうちの一つのみが選択されるので、比較結果信号D35を画素値演算部36、37、38に供給し、演算結果が選択される画素値演算部にのみ上記の演算を行わせるようにしても良い。
WR演算部32及びWL演算部31の構成例を図11及び図12に示す。
図11に示されるWL演算部31は、比較部311と、演算部312、313と、選択部314とを有する。
比較部311は周辺領域平均手段1から出力される平均値Aveと標準値Ave0とを受けて、Ave≦Ave0か否かの判定を行い、判定の結果を示す信号を比較結果信号D311として出力する。
演算部312は、
WLb=WL0−WL0×(Ave0−Ave)/(Ave0)
で表される演算を行い、演算結果WLbを出力する。
演算部313は、
WLc=WL0+WR0×(Ave−Ave0)/(Smax−Ave0)
で表される演算を行って、演算結果WLcを出力する。
選択部314は、比較部311からの比較結果信号D311を受けて、AveがAve0以下であるときは、演算部312の演算結果WLbを左幅WLとして出力し、AveがAve0より大きいときは、演算部313の演算結果WLcを左幅WLとして出力する。
なお、比較結果信号D311を演算部312、313に供給し、演算部312、313のうち、演算結果が選択部314で選択される演算部にのみ上記の演算を行わせるようにしても良い。
図12に示されるWR演算部32は、比較部321と、演算部322、323と、選択部324とを有する。
比較部321は周辺領域平均手段1から出力される平均値Aveと標準値Ave0とを受けて、Ave≦Ave0か否かの判定を行い、判定の結果を示す信号を、比較結果信号D321として出力する。
演算部322は、
WRb=WR0+WL0×(Ave0−Ave)/(Ave0)
で表される演算を行い、演算結果WRbを出力する。
演算部323は、
WRc=WR0−WR0×(Ave−Ave0)/(Smax−Ave0)
で表される演算を行い、演算結果WRcを出力する。
選択部324は、比較部321からの比較結果信号D321を受けて、AveがAve0以下のときは演算部322の演算結果WRbを右幅WRとして出力し、AveがAve0より大きいときは演算部323の演算結果WRcを右幅WRとして出力する。
なお、比較結果信号D321を演算部322、323に供給し、演算部322、323のうち、演算結果が選択部324で選択される演算部にのみ上記の演算を行わせるようにしても良い。
以上のような構成により、図8および式(B10)〜(B12)で説明した入出力特性を有する補正手段3を実現することができる。
以上で説明した補正手段3の構成によれば、補正対象画素の画素値(Sin)が周辺領域の平均値(Ave)より小さいときはさらに小さくなるように補正され、大きいときはさらに大きくなるように補正されることで、その信号差が大きくなるため、コントラストが画素ごとに調整されることになり、また画像が明るい領域でも、白とびすることのない補正を加えることができ、画像が暗い領域でも、黒つぶれすることのない補正を行うことができる。
また、画像が明るいほど、補正対象画素の画素値Sinが周辺領域平均値Aveより小さい側において傾きKC(KC>1)の入出力特性をもつ範囲が広くなるため、明るい画像領域では画像が明るくなるにつれてコントラスト強調の対象となる中間層の信号レベルが多く含まれ、画像が暗くなるほど、入力信号Sinが平均値Aveより大きい側において傾きKC(KC>1)の入出力特性をもつ範囲が広くなるため、暗い画像領域では画像が暗くなるにつれてコントラスト強調の対象となる中間層の信号レベルが多く含まれていくため有効なコントラスト補正を行うことができる。
実施の形態2.
上記の実施の形態1の図10に示される補正手段3の代わりに、図14に示される補正手段3bを用いても良い。
図10に示される補正手段3は、図8に示される入出力特性を実現するためのものであるのに対し、図14に示される補正手段3bは、図13に示される入出力特性を実現するためのものである。
図14に示される補正手段3bは、図10に示される補正手段3と慨して同じであるが、図10のWL演算部31、WR演算部32、画素値演算部36、38の代わりに、第1の幅演算部(WL演算部)41、第2の幅演算部(WR演算部)42、画素値演算部46、48を用いており、さらに、第1の傾き演算部(KL演算部)51、第2の傾き演算部(KR演算部)52、比較部53及び選択部54を備えている点で異なる。
WL演算部41は、例えば図15に示されるように構成され、WR演算部42は、例えば図16に示されるように構成されている。
図13に示した入出力特性は、図8に示した入出力特性と慨して同じであるが、以下の点で異なる。即ち、平均値AveがAve0以下かどうかに応じて、傾きKCの入出力特性をもつ範囲を構成する左側部分、右側部分の一方のみを変化させる。例えば、平均値AveがAve0より小さいときは左幅WLだけが小さくなるように変化させ、右幅WRを一定値に維持する。一方、平均値AveがAve0より大きいときは右幅WRだけが小さくなるように変化させ、左幅WLを一定値に維持する。
このような条件を満たすWL、WRの一例を図17(a)に示す。ここで、図9(a)の場合と同様、Ave0=Smax/2、WL0=WR0であるものとする。
上記の特性を持たせることで、Ave0より小さい側で左幅WLが小さくなることで黒つぶれを防止し、Ave0より大きい側で右幅WRが小さくなることで白とびを防止することができる。
図15に示されるWL演算部41は、図11に示される演算部31と慨して同じであるが、演算部312の代わりに、記憶部412を有する。
記憶部412には、予め定められた固定値WL0が書き込まれ、保持されている。
選択部314は、比較部311からの比較結果信号D311を受けて、AveがAve0以下であるときは、記憶部412から読み出される固定値WL0を左幅WLとして出力し、AveがAve0より大きいときは、演算部313の演算結果WLcを左幅WLとして出力する。
なお、比較結果信号D311を演算部313に供給し、選択部314で演算部313の演算結果が選択されるときにのみ演算部313に演算を行わせるようにしても良い。
図16に示されるWR演算部42は、図12に示されるWR演算部32と慨して同じであるが、演算部323の代わりに、記憶部423を有する。
記憶部423には、予め定められた固定値WR0が書き込まれ、保持されている。
選択部324は、比較部321からの比較結果信号D321を受けて、AveがAve0以下であるときは、演算部322の演算結果WRbを右幅WRとして出力し、AveがAve0より大きいときは、記憶部423から読み出される固定値WR0を右幅WRとして出力する。
なお、比較結果信号D321を演算部322に供給し、選択部324で演算部322の演算結果が選択されるときにのみ演算部322に演算を行わせるようにしても良い。
図14に戻り、KL演算部51は、下記の式(B13)で表される傾き(係数)KLm(Ave)を求める。
Figure 0005550483
KR演算部52は、下記の式(B14)で表される傾き(係数)KRm(Ave)を求める。
Figure 0005550483
比較部53は、AveとAve0とを受け、Ave≦Ave0か否かの判定を行い、判定の結果を示す信号を比較結果信号D53として出力する。
選択部54は、比較結果信号D53を受け、Ave≦Ave0のときは、記憶部7から読み出された係数KL0を選択して係数KLとして出力し、Ave>Ave0のときは、KL演算部51の演算結果KLm(Ave)を選択して係数KLとして出力する。
なお、比較結果信号D53をKL演算部51にも供給し、選択部54でKL演算部51の演算結果が選択されるときにのみKL演算部51に演算を行わせるようにしても良い。
選択部55は、比較結果信号D53を受け、Ave≦Ave0のときは、KR演算部52の演算結果KRm(Ave)を選択して係数KRとして出力し、Ave>Ave0のときは、記憶部7から読み出された係数KR0を選択して係数KRとして出力する。
なお、比較結果信号D53をKR演算部52にも供給し、選択部55でKR演算部52の演算結果が選択されるときにのみKR演算部52に演算を行わせるようにしても良い。
このようにして定められるKL、KRの一例を図17(b)に示す。ここで、図9(a)、図17(a)の場合と同様、Ave0=Smax/2、WL0=WR0であるものとしている。
画素値演算部46は、選択部54から供給された係数KLを用いて、図10の画素値演算部36と同様の演算を行って演算結果SoutLを出力する。但し、図10の画素値演算部36が係数KL0を用いるのに対して、図14の画素値演算部46は、係数KLを用いる。
画素値演算部48は、選択部55から供給された係数KRを用いて、図10の画素値演算部36と同様の演算を行って演算結果SoutRを出力する。但し、図10の画素値演算部38が係数KR0を用いるのに対して、図14の画素値演算部48は、係数KRを用いる。
EL演算部33、ER演算部34、比較部35、画素値演算部37及び選択部39の動作は実施の形態1と同様である。
上記のように構成することによって、図10に示した構成と同様に画像の明るい領域で白とびしないでかつ画像の暗い領域で黒つぶれしないコントラスト補正を行うことができ、かつ演算量を少なくでき構成をより簡単にする効果を奏する。
本発明は、上記の実施の形態の構成に限定されず、種々の変形が可能である。
例えば、WL(Ave)、WR(Ave)の決め方は、必ずしも式(B11)、(B12)、図11、図12、あるいは図15、図16で説明した通りでなくてもよい。WL(Ave)、WR(Ave)が満たすべき特性を一般化すると、WL(Ave)をAveが大きい場合に大きくなり、かつAveが小さい場合に小さくなるように調整し、WR(Ave)はAveが大きい場合に小さくなり、かつAveが小さい場合に大きくなるように調整すれば、黒つぶれ、白とび防止の効果を得ることができる。
さらに、WL(Ave)をAveが小さい場合に小さくなるように調整し、WR(Ave)をAveが大きい場合に小さくなるように調整するだけで、黒つぶれ及び白とびを防止する効果を得るのに十分であり、かつ演算量を削減できる効果を得ることができる。
以上のように、実施の形態1では、図9(a)、(b)に示すように、Ave≦Ave0の範囲で、Aveの減少とともに、WLを次第に減少させるとともに、WRを次第に増加させることで、WL+WRを一定に維持し、Ave>Ave0の範囲で、Aveの増加とともに、WRを次第に減少させるとともに、WLを次第に増加させることで、WL+WRを一定に維持し、KL、KRとして一定の値KL0、KR0を用いているのに対し、実施の形態2では、図17(a)、(b)に示すように、Ave≦Ave0の範囲で、Aveの減少とともに、WLを次第に減少させる一方、KRを次第に増加させ、WR,KLを一定に維持し、Ave>Ave0の範囲で、Aveの増加とともに、WRを次第に減少させるとともに、KLを次第に増加させる一方、WL、KRを一定に維持しているが、これらの中間的な形態でWL、WR、KL、KRを変化させることとしても良い。
例えば、図18(a)、(b)に実線で示すように(破線は、図9(a)、(b)、図17(a)、(b)と同じ特性を示す)、Ave=Ave0のときに、WL、WRを所定値(WL0、WR0)とし、KL、KRを所定値(KL0、KR0)とし、Ave<Ave0の範囲においては、KLを上記所定値(KL0)に維持するとともに、Aveの減少とともに、WLを次第に減少させるとともに、WRをWL+WRが所定値(WL0+WR0)を超えない範囲で次第に(単調に)増加させ、KRを次第に(単調に)増加させることとし、Ave>Ave0の範囲においては、KRを上記所定値(KR0)に維持するとともに、Aveの増加とともに、WRを次第に減少させるとともに、WLをWL+WRが所定値(WL0+WR0)を超えない範囲で次第に(単調に)増加させ、KLを次第に(単調に)増加させることとしても良い。
なおまた、WLについての所定値(WL0)とWRについての所定値(WR0)とは互いに等しくなくても良く、KLについての所定値(KL0)とKRについての所定値(KR0)も互いに等しくなくても良い。
1 周辺領域平均手段、 2 遅延手段、 3 補正手段、 31 幅演算部(WL演算部)、 32 幅演算部(WR演算部)、 33 端部位置演算部(EL演算部)、 34 端部位置演算部(ER演算部)、 35 比較部、 36 画素値演算部、 37 画素値演算部、 38 画素値演算部、 39 選択部、 311 比較部、 312 演算部、 313 演算部、 314 選択部、 321 比較部、 322 演算部、 323 演算部、 324 選択部、 41 幅演算部(WL演算部)、 42 幅演算部(WR演算部)、 412 記憶部、 423 記憶部、 51 傾き演算部(KL演算部)、 52 傾き演算部(KR演算部)、 53 比較部、 54 選択部、 55 選択部。

Claims (6)

  1. 正対象画素の周辺領域内の画素の値の平均値を周辺領域平均値として算出する周辺領域平均手段と、
    前記補正対象画素の値と前記周辺領域平均手段によって算出された周辺領域平均値とに基づいて当該画素の値を補正する補正手段とを具備し、
    前記補正手段は、
    前記周辺領域平均値が小さい場合に小さな値となる第1の幅と、前記周辺領域平均値が大きい場合に小さな値となる第2の幅と、前記周辺領域平均値から前記第1の幅を減算した第1の端部位置と、前記周辺領域平均値に第2の幅を加算した第2の端部位置を生成する強調範囲決定部と、
    前記補正対象画素の値が前記第1の端部位置から前記第2の端部位置までの範囲にあるとき、当該画素の値から前記周辺領域平均値を減算した値に、1より大きい第1の係数を乗算した値を前記周辺領域平均値に加算した値と等しい値を出力し、
    前記補正対象画素の値が前記第1の端部位置より小さい範囲にあるとき、当該画素の値に、1より小さい第2の係数を乗算した値と等しい値を出力し、
    前記補正対象画素の値が前記第2の端部位置より大きい範囲にあるとき、前記入力画像の信号のとりうる最大値から当該画素の値を減算した値に、1より小さい第3の係数を乗算した値を当該最大値から減算した値と等しい値を出力する画素値変換部とを有し
    前記第2の係数は、前記補正対象画素の値が前記第1の端部位置の値に等しいとき、当該画素の値に前記第2の係数を乗算した値が、当該画素の値から前記周辺領域平均値を減算した値に前記第1の係数を乗算した値を前記周辺領域平均値に加算した値と等しくなるように定められ、
    前記第3の係数は、前記補正対象画素の値が前記第2の端部位置の値に等しいとき、前記入力画像の信号のとりうる最大値から当該画素の値を減算した値に前記第3の係数を乗算した値を当該最大値から減算した値が、当該画素の値から前記周辺領域平均値を減算した値に前記第1の係数を乗算した値を前記周辺領域平均値に加算した値と等しくなるように定められる
    ことを特徴とする画像処理装置。
  2. 前記強調範囲決定部は、
    前記周辺領域平均値が所定の標準値以下の場合に前記周辺領域平均値が小さくなるほど前記第1のを小さくし、
    前記周辺領域平均値が前記標準値以上の場合に前記周辺領域平均値が大きくなるほど記第2のを小さくする
    ことを特徴とする請求項1に記載の画像処理装置。
  3. 前記強調範囲決定部は、
    前記周辺領域平均値が前記標準値以上の場合に前記周辺領域平均値が大きくなるほど前記第1のを大きくし、
    前記周辺領域平均値が前記標準値以下の場合に前記周辺領域平均値が小さくなるほど前記第2のを大きくする
    ことを特徴とする請求項2に記載の画像処理装置。
  4. 前記強調範囲決定部は、
    前記周辺領域平均値が前記標準値以上の場合に前記第1のを、一定値に維持し、
    前記周辺領域平均値が前記標準値以下の場合に前記第2のを、一定の値に維持する
    ことを特徴とする請求項1又は2に記載の画像処理装置。
  5. 前記標準値が、前記入力画像の信号のとりうる最大値の0.4倍乃至0.6倍程度の値であることを特徴とする請求項1からのいずれかに記載の画像処理装置。
  6. 前記標準値が、前記入力画像の信号のとりうる最大値の1/2に等しいことを特徴とする請求項に記載の画像処理装置。
JP2010173437A 2010-08-02 2010-08-02 画像処理装置 Active JP5550483B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010173437A JP5550483B2 (ja) 2010-08-02 2010-08-02 画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010173437A JP5550483B2 (ja) 2010-08-02 2010-08-02 画像処理装置

Publications (3)

Publication Number Publication Date
JP2012033084A JP2012033084A (ja) 2012-02-16
JP2012033084A5 JP2012033084A5 (ja) 2013-09-05
JP5550483B2 true JP5550483B2 (ja) 2014-07-16

Family

ID=45846389

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010173437A Active JP5550483B2 (ja) 2010-08-02 2010-08-02 画像処理装置

Country Status (1)

Country Link
JP (1) JP5550483B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104137531B (zh) 2012-03-02 2017-06-06 三菱电机株式会社 图像处理装置和方法
US9621766B2 (en) 2012-11-13 2017-04-11 Nec Corporation Image processing apparatus, image processing method, and program capable of performing high quality mist/fog correction
JP6131474B2 (ja) * 2013-03-21 2017-05-24 パナソニックIpマネジメント株式会社 映像処理装置
KR102584522B1 (ko) * 2016-12-27 2023-10-05 한화비전 주식회사 영상처리장치 및 그의 영상보정방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4011073B2 (ja) * 2005-05-27 2007-11-21 三菱電機株式会社 階調補正装置

Also Published As

Publication number Publication date
JP2012033084A (ja) 2012-02-16

Similar Documents

Publication Publication Date Title
US7893944B2 (en) Gamut mapping and subpixel rendering systems and methods
JP4577621B2 (ja) 画像補正処理システム及び画像補正処理方法
US7643180B2 (en) Image processing and display apparatus and method for tone resolution expansion of digital images
US20100329553A1 (en) Image signal processing device
US20070188525A1 (en) Image processing method and apparatus and image display apparatus
CN100366052C (zh) 图像处理设备和方法
US6771832B1 (en) Image processor for processing an image with an error diffusion process and image processing method for processing an image with an error diffusion process
JP2009518660A5 (ja)
JP2007293431A (ja) 画像処理装置
JP2004159344A (ja) コントラスト補正装置及びその方法
US20090273614A1 (en) Gamut mapping and subpixel rendering systems and methods
JP5558240B2 (ja) 画像処理装置
JP5550483B2 (ja) 画像処理装置
US20080165397A1 (en) Method and apparatus of color conversion
KR101788681B1 (ko) 표시 장치의 휘도 및 색차 전이 특성들의 보상하기 위한 색상 교정
EP1575264A1 (en) Image processing apparatus and image processing method
JP6539032B2 (ja) 表示制御装置、表示制御方法、およびプログラム
JP4467416B2 (ja) 階調補正装置
US8599455B1 (en) Method and apparatus for performing color plane adjustment
JP4397623B2 (ja) 階調補正装置
JP4455554B2 (ja) 画像処理装置及び画像処理方法
JP3912079B2 (ja) 表示装置の誤差拡散処理回路及び方法
JP2009239608A (ja) 画像処理装置およびデジタルカメラ
JP4537679B2 (ja) 液晶表示装置
WO2023148814A1 (ja) 画像表示装置、画像表示方法、及び画像表示プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130719

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130719

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140422

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140520

R150 Certificate of patent or registration of utility model

Ref document number: 5550483

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250