JP3758228B2 - Learning method and learning apparatus in adaptive classification processing - Google Patents

Learning method and learning apparatus in adaptive classification processing Download PDF

Info

Publication number
JP3758228B2
JP3758228B2 JP06912696A JP6912696A JP3758228B2 JP 3758228 B2 JP3758228 B2 JP 3758228B2 JP 06912696 A JP06912696 A JP 06912696A JP 6912696 A JP6912696 A JP 6912696A JP 3758228 B2 JP3758228 B2 JP 3758228B2
Authority
JP
Japan
Prior art keywords
image signal
class classification
learning
class
luminance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP06912696A
Other languages
Japanese (ja)
Other versions
JPH09237345A (en
Inventor
哲二郎 近藤
秀雄 中屋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP06912696A priority Critical patent/JP3758228B2/en
Publication of JPH09237345A publication Critical patent/JPH09237345A/en
Application granted granted Critical
Publication of JP3758228B2 publication Critical patent/JP3758228B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【０００１】
【発明の属する技術分野】
この発明は、画像信号の輝度値をクラス分類適応処理を用いて補正するようにした輝度補正装置に記憶される最適な係数データを獲得するためのクラス分類適応処理における学習方法および学習装置に関する。
【０００２】
【従来の技術】
通常、輝度補正装置において、輝度補正は、画面内の輝度値の積分値（全受光量に相当する）を求め、これに応じてアンプのゲインを変化させることで輝度補正を行っていた。従って、空間内で見るとどの画素にも一定のゲインが掛かっており、暗い部分のみを明るくしたり、明るい部分のみを暗くしたり、という細かい補正を行うことができなかった。
【０００３】
【発明が解決しようとする課題】
そこで、クラス分類適応処理を導入して輝度補正の改善を図ることを提案した（特願平７−３２８３５８号参照）。しかしながら、輝度補正のための係数学習において、種々の明るさの画像、種々の被写体の画像等を用いているため、膨大なデータ量を扱う必要があった。その結果、係数データの学習が非常に繁雑でしかも時間がかかるという問題があった。また、輝度補正においてノイズ等の影響でクラスの連続性が補償できないために、輝度補正に不連続が生じたりすることがあった。
【０００４】
従って、この発明の目的は、輝度分布のパターン分類に応じた輝度補正と、空間内のパターン分類および輝度値の平均値に応じた部分的な輝度補正とを行うことによりきめの細かい輝度補正を行うことができる輝度補正装置に記憶される最適な係数データを獲得するためのクラス分類適応処理における学習方法および学習装置を提供することにある。
【０００５】
【課題を解決するための手段】
請求項１に記載の発明は、入力画像信号の複数の画素と演算されることによって、入力画像信号の輝度を補正するために使用される係数を予め学習によりクラス毎に求めるようにしたクラス分類適応処理における学習方法において、入力画像信号を適当な領域に分割して領域内の輝度値に基づくパターンを用いて、領域毎の第１のクラス分類情報を生成し、入力画像信号の注目画素に関するクラス分類情報として、少なくとも、注目画素が含まれる領域の第１のクラス分類情報を縮退させた第２のクラス分類情報を生成し、照明を暗から明または明から暗に徐々に変化させて撮影した複数の画像を学習用の画像信号として使用し、照明を徐々に変化させて撮影された複数の画像の中から中央付近で撮影された画像信号を教師用の画像信号として選択し、教師用の画像信号以外の画像信号を補正対象用の画像信号として使用し、教師用の画像信号と複数の補正対象用の画像信号とを第２のクラス分類情報に基づきクラス毎に分類し、クラス毎に輝度を補正するための係数を学習することを特徴とするクラス分類適応処理における学習方法である。
そして、請求項１１に記載の発明は、入力画像信号の複数の画素と演算されることによって、入力画像信号の輝度を補正するために使用される係数を予め学習によりクラス毎に求めるようにしたクラス分類適応処理における学習装置において、入力画像信号を適当な領域に分割して領域内の輝度値に基づくパターンを用いて、領域毎の第１のクラス分類情報を生成する第１のクラス分類情報生成手段と、入力画像信号の注目画素に関するクラス分類情報として、少なくとも、注目画素が含まれる領域の第１のクラス分類情報を縮退させた第２のクラス分類情報を生成する第２のクラス分類情報生成手段と、照明を暗から明または明から暗に徐々に変化させて撮影した複数の画像を学習用の画像信号として使用し、照明を徐々に変化させて撮影された複数の画像の中から中央付近で撮影された画像信号を教師用の画像信号として選択する選択手段と、教師用の画像信号以外の画像信号を補正対象用の画像信号として使用し、教師用の画像信号と複数の補正対象用の画像信号とを第２のクラス分類情報に基づきクラス毎に分類するクラス分類手段と、クラス毎に輝度を補正するための係数を学習する学習手段とを有することを特徴とするクラス分類適応処理における学習装置である。
【０００６】
１フィールドまた１フレーム内の輝度値の平均値および標準偏差に対して量子化を行うことにより、ｎビットのコードが発生し、注目画素の周辺の空間内の複数の画素、すなわちブロック化された画素に対してＡＤＲＣ符号化（適応的ダイナミックレンジ符号化）を行うことにより、ｍビットのコードが発生し、ブロック化された画素の輝度値の平均値をシフトすることによって、ｐ（＜８）ビットのコードが発生し、縮退ＲＯＭによって、（ｎ＋ｍ＋ｐ）ビットからｑビットに減少させたクラスコードが発生し、このクラスコードに応じた係数データが読み出され、その係数データを用いた線形１次結合式によって、補正された輝度値が生成される。この係数データを獲得する学習において、教師用の画像信号として照明の強度のみ変化させた６０フレーム程度のフレームの中から最適と思われるフレームを使用し、この教師用の画像信号以外の画像信号を補正対象の画像信号とすることにより学習を行い、最適な係数データを獲得することができる。
【０００７】
【発明の実施の形態】
以下、この発明の一実施例について図面を参照して説明する。この発明の理解を容易とするため、先に本願発明者の提案にかかる輝度補正装置のいくつかの例について説明する。この発明が適用できる輝度補正装置の第１の例を図１に示す。１で示す入力端子から供給される画像信号の内、輝度信号ＹがＡ／Ｄ変換器２によってアナログ信号からディジタル信号に変換される。このＡ／Ｄ変換器２では、例えば１３．５ＭHzのクロックでサンプリングが行われた場合、画像のサイズは、１フレームあたり、横７２０画素×縦４８０ライン程度となる。ディジタル信号に変換された輝度信号は、Ａ／Ｄ変換器２から平均値／標準偏差回路３および遅延回路５へ供給される。
【０００８】
平均値／標準偏差回路３では、後述するように供給された輝度値の例えば１フィールドまたは１フレーム当りの平均値および標準偏差が求められる。平均値／標準偏差回路３において、輝度値毎の度数分布を求めるためのテーブルを持ち、１フィールド期間または１フレーム期間に乗算した度数分布から、図２に示すように輝度の平均値が算出されると共に、標準偏差も算出される。また、式（１）には、輝度の平均値を算出する計算式を示し、式（２）には、標準偏差を算出する計算式を示す。
【０００９】
平均値＝Σ（輝度値×度数）／全度数 （１）
標準偏差＝√（Σ（（輝度値−平均値）2 ×度数）／全度数） （２）
ただし、√（ ）は、（ ）内の演算結果を平方根とする。
【００１０】
量子化回路４では、算出された平均値および標準偏差がそれぞれａビット、ｂビットで量子化されて、トータルｎビット（ｎ＝ａ＋ｂ）のコードが発生される。このｎビットのコードが量子化回路４から縮退ＲＯＭ８へ供給される。さらに、このｎビットのコードは、いわゆる輝度分布をパターン化したもので、これを見ることで輝度分布が暗い方か、明るい方かに偏っているかどうか、また、輝度分布が平坦か急峻かを判定することができる。
【００１１】
一方、遅延回路５では、ｎビットのコードが生成されるまでの時間（１フィールドまたは１フレーム＋α）だけ、遅延が行われ、その出力は、ブロック化回路６および遅延回路９へ供給される。ブロック化回路６では、注目画素の周辺の空間内の複数の画素が選択され、ブロック化される。そのブロック化された画素は、平均化回路７へ供給される。平均化回路７では、注目画素付近の輝度の平均値が算出され、算出された平均値は、シフトされ、ｐ（＜８）ビットに量子化され、縮退ＲＯＭ８へ供給される。
【００１２】
このように、ブロック化された各画素の輝度の平均値が算出され、すなわち輝度レベルをクラス分類の１つとすることで、レベル方向での補正の仕方に変化を持たせることができる。例えば、明るい部分や暗い部分のみを補正したり、γ特性を考慮した補正を行うことが可能となる。また、輝度レベルの平均化による作用は、輝度補正が過敏に利くのを防止する役割も果たす。
【００１３】
以上の説明で、２種類のクラス分類コードが生成されたが、これを単純に組み合わると分類数が膨大になり、後述する係数ＲＯＭの容量が膨大になる。そこで量子化回路４からのｎビットおよび平均化回路７からのｐビットは、縮退ＲＯＭ８へ供給され、縮退ＲＯＭ８において、供給された各ビット数を縮退させる。具体的には、縮退ＲＯＭ８では、クラスを縮退させるために、（ｎ＋ｐ）ビットからｑビットに減少させたクラスコード（インデックス）が発生される。
【００１４】
なお、縮退の方法について、ここでは詳細を述べないが、（ｎ＋ｐ）ビットで学習した全クラスに対応する係数組から、ベクトル量子化的手法として、係数間ノルムの小さいものをまとめて縮退させる方法などを使用するものとする。すなわち、２つの係数組の間で、対応する係数の距離（係数間ノルム）を求め、これに基づいて、係数の組をまとめる。
【００１５】
このように、縮退ＲＯＭ８から最終的にｑビットのクラスコードが発生し、そのｑビットのクラスコードは、係数ＲＯＭ１１1 〜１１N へ供給される。係数ＲＯＭ１１1 〜１１N では、供給されたクラスコードでアドレッシングされ、係数データが読み出される。読み出された係数データは、それぞれ乗算器１２1 〜１２N へ供給される。
【００１６】
遅延合わせが行われる遅延回路９の出力がブロック化回路１０へ供給され、そのブロック化回路１０では、注目画素の周辺の複数の画素がブロック化される。ブロック化された各画素値は、乗算器１１1 〜１１N へ供給される。乗算器１２1 〜１２N では、係数ＲＯＭ１１1 〜１１N からの係数データと、ブロック化された各画素値が乗算され、その乗算出力は、加算器１３へ供給される。加算器１３では、乗算器１２1 〜１２N からの乗算出力が加算される。
【００１７】
すなわち、乗算器１２1 〜１２N および加算器１３によって、積和演算することで、輝度補正値の予測が行われる。この予測値は、Ｄ／Ａ変換回路１４において、Ｄ／Ａ変換され、補正後の輝度値Ｙ´として出力端子１５から取り出される。
【００１８】
ここで、平均値／標準偏差回路３の一例を図３に示し説明する。入力端子２１から輝度値が供給される。供給された輝度値は、輝度度数分布テーブル２２へ供給され、輝度度数分布テーブル２２において、例えば１フィールドまたは１フレーム内の輝度レベルの度数分布のテーブルが生成される。生成されたテーブルに基づいて、平均値算出回路２３では、平均値が式（１）により算出され、算出された平均値は、標準偏差算出回路２４へ供給されると共に、出力端子２５から取り出される。標準偏差算出回路２４では、度数分布のテーブルと平均値から標準偏差が式（２）により算出され、算出された標準偏差は、出力端子２６から取り出される。取り出された標準偏差が小さいときは、度数分布の幅は狭く、標準偏差が大きいときは、度数分布の幅は広くなる。
【００１９】
次に、この発明が適用できる輝度補正装置の第２の例を図４に示す。入力端子１から供給される画像信号の内、輝度信号ＹがＡ／Ｄ変換器２によってアナログ信号からディジタル信号に変換される。ディジタル信号に変換された輝度信号は、Ａ／Ｄ変換器２から平均値／標準偏差回路３および遅延回路５へ供給される。平均値／標準偏差回路３では、供給された輝度値の例えば１フィールドまたは１フレーム当りの平均値および標準偏差が式（１）および式（２）を用いて求められる。求められた平均値および標準偏差は、平均値／標準偏差回路３から量子化回路４へ供給される。量子化回路４では、算出された平均値および標準偏差がそれぞれａビット、ｂビットで量子化されて、トータルｎビット（ｎ＝ａ＋ｂ）のコードが発生される。このｎビットのコードが量子化回路４から縮退ＲＯＭ８へ供給される。
【００２０】
一方、遅延回路５では、ｎビットのコードが生成されるまでの時間（１フィールドまたは１フレーム＋α）だけ、遅延が行われ、その出力は、ブロック化回路６および３１、さらに遅延回路９へ供給される。ブロック化回路３１では、注目画素の周辺の空間内の複数の画素が選択され、ブロック化される。そのブロック化された画素は、ＡＤＲＣ回路３２へ供給される。ＡＤＲＣ回路３２では、後述するようにブロック化された画素から最大値および最小値が選択され、各画素が再量子化されｍビットのコードが発生され、縮退ＲＯＭ８へ供給される。このコードは、いわゆる空間の輝度の変化の様子をパターン化したものである。このコードによるクラス分類は、輝度補正そのものより、Ｓ／Ｎ比の改善、解像度の改善等に効果をもたらす。
【００２１】
ブロック化回路６において、補正しようとする注目画素の周辺の空間内の複数の画素が選択され、ブロック化される。このブロック化回路６において実行されるブロック化と、ブロック化回路３１において実行されるブロック化とは、異なっても良い。すなわち、ブロック化回路３１において選択される画素と、ブロック化回路６において選択される画素とは異なっても良い。ブロック化された画素は、ブロック化回路６から平均化回路７へ供給される。平均化回路７では、注目画素付近の輝度の平均値が算出され、算出された平均値は、シフトされ、ｐ（＜８）ビットに量子化され、縮退ＲＯＭ８へ供給される。
【００２２】
以上の説明で、３種類のクラス分類コードが生成されたが、上述したように、これを単純に組み合わると分類数が膨大になり、後述する係数ＲＯＭの容量が膨大になる。そこで量子化回路４からのｎビット、ＡＤＲＣ回路３２からのｍビットおよび平均化回路７からのｐビットは、縮退ＲＯＭ８へ供給され、縮退ＲＯＭ８において、供給された各ビット数を縮退させる。具体的には、縮退ＲＯＭ８では、クラスを縮退させるために、（ｎ＋ｍ＋ｐ）ビットからｑビットに減少させたクラスコード（インデックス）が発生される。
【００２３】
以後、上述した図１に示される輝度補正装置と同様に、クラスコードに対応した係数データが係数ＲＯＭ１１1 〜１１N から読み出される。読み出された係数データは、乗算器１２1 〜１２N および加算器１３によって、ブロック化された各画素値との積和演算がなされ、輝度補正値の予測が行われる。この予測値は、Ｄ／Ａ変換回路１４において、Ｄ／Ａ変換され、補正後の輝度値Ｙ´として、出力端子１５から取り出される。
【００２４】
ここで、ＡＤＲＣ回路３２の構成の一例を図５に示し説明する。入力端子４１からブロック化されたデータが供給される。供給されたデータは、最大値検出回路４２、最小値検出回路４３および遅延回路４５へ供給される。最大値検出回路４２において、ブロック内の画素値の最大となる値が検出され、最小値検出回路４３において、ブロック内の画素値の最小となる値が検出される。減算器４４では、最大値から最小値が減算され、そのブロックのダイナミックレンジＤＲが算出される。算出されたダイナミックレンジＤＲは、適応再量子化回路４７へ供給される。
【００２５】
遅延回路４５では、最大値検出回路４２および最小値検出回路４３がそれぞれ検出にかかる時間遅延が行われ、１画素ずつ出力される。減算器４６では、ブロック化された各画素から最小値が減算され、その減算値は、適応再量子化回路４７へ供給される。適応再量子化回路４７では、ダイナミックレンジＤＲに応じた所定の量子化ステップ幅を用いて、減算値の量子化を画素毎に行う。並列化回路４８では、量子化された画素がブロック単位で並列化され、出力端子４９からコード化データとして出力される。
【００２６】
次に、この発明が適用できる輝度補正装置の第３の例を図６に示す。入力端子１からの画像信号の内、輝度信号ＹがＡ／Ｄ変換器２によってアナログ信号からディジタル信号に変換される。ディジタル信号に変換された輝度信号は、Ａ／Ｄ変換器２から変換ＲＯＭ３４および遅延回路５へ供給される。変換ＲＯＭ３４では、供給された輝度値と領域の対応付けが行われる。具体的には、８ビット（０〜２５５）からなる輝度値が入力され、この輝度値をある複数の領域、例えばｓ個の領域に分ける働きが変換ＲＯＭ３４では行われる。また、この変換ＲＯＭ３４によって分けられた複数の領域毎に、領域別輝度分布回路３５では、例えば１フィールドまたは１フレーム内の度数の積算が行われる。その積算値は、ＡＤＲＣ回路３６へ供給される。ＡＤＲＣ回路３６では、上述したように領域毎に、例えばａビットの量子化が行われ、トータルｎビット（ｎ＝ｓ×ａ）のコードが発生する。このｎビットのコードは、ＡＤＲＣ回路３６から縮退ＲＯＭ８へ供給される。
【００２７】
ここで、変換ＲＯＭ３４、領域別輝度分布回路３５およびＡＤＲＣ回路３６の動作を図７を用いて説明する。図７Ａに示すように、例えば１フィールドまたは１フレーム内の輝度値の度数分布を計数しようとする場合、本来ならば２５６レベル毎の度数分布を計数する。しかしながら、図７Ｂに示すように、輝度レベルを、例えば適当なしきい値でもってｓ個の領域に分割し、その領域番号と入力輝度値を対応付けるＲＯＭを挿入することで任意の領域分けを行う。この領域分けは、単純に均等分割するか、不均等分割するか、間引くかあるいは領域のオーバーラップを認めるか等、種々のバリエーションを試すことができる。
【００２８】
図７Ｃは、ＡＤＲＣ回路３６が１ビットのＡＤＲＣを行い、このＡＤＲＣ回路３６が６ビットのコードを出力する一例である。このコードは、いわゆる輝度の度数分布をパターン化したもので、これを見ることで輝度分布が暗い方か、明るい方かに偏っているかどうかを判定することができる。以後、上述の図４と同様にＡＤＲＣ回路３２からのｍビットおよび平均値回路７からのｐビットが縮退ＲＯＭ８に供給される。
【００２９】
以上の説明のように、ＡＤＲＣ回路３６からのｎビット、ＡＤＲＣ回路３２からのｍビットおよび平均値回路７からのｐビットが発生する。この３種類のクラス分類コードが生成されたが、上述したように、これを単純に組み合わると分類数が膨大になり、後述する係数ＲＯＭの容量が膨大になる。そこで縮退ＲＯＭ８において、供給された各ビット数を縮退させる。具体的には、縮退ＲＯＭ８では、クラスを縮退させるために、（ｎ＋ｍ＋ｐ）ビットからｑビットに減少させたクラスコード（インデックス）が発生される。
【００３０】
上述した図１の輝度補正装置と同様に、クラスコードに対応した係数データが係数ＲＯＭ１１1 〜１１N から読み出される。読み出された係数データは、乗算器１２1 〜１２N および加算器１３によって、ブロック化された各画素値との積和演算がなされ、輝度補正値の予測が行われる。この予測値は、Ｄ／Ａ変換回路１４において、Ｄ／Ａ変換され、補正後の輝度値Ｙ´として、出力端子１５から取り出される。
【００３１】
次に、図１に示す輝度補正装置の第１の例に適用される係数データの学習について図８を用いて説明する。入力端子１から供給された輝度信号Ｙは、Ａ／Ｄ変換回路２へ供給され、Ａ／Ｄ変換回路２では、例えば１３．５ＭHzでサンプリングされ、平均値／標準偏差算出回路３および遅延回路５へ出力される。平均値／標準偏差算出回路３では、上述したように供給された輝度値の例えば１フィールドまたは１フレーム当りの平均値および標準偏差が式（１）および式（２）を用いて求められる。
【００３２】
量子化回路４では、算出された平均値および標準偏差に対してそれぞれａビット、ｂビットで量子化されて、トータルｎビット（ｎ＝ａ＋ｂ）のコードを発生する。このｎビットのコードは、量子化回路４から縮退ＲＯＭ８へ供給される。遅延回路５では、ｎビットのコードが生成されるまでの時間（１フィールドまたは１フレーム＋α）だけ、遅延が行われ、その出力は、ブロック化回路６および遅延回路９へ供給される。ブロック化回路６では、注目画素の周辺の空間内の複数の画素が選択され、ブロック化される。そのブロック化された画素は、平均化回路７へ供給される。平均化回路９では、注目画素付近の輝度の平均値が算出され、算出された平均値は、シフトされ、ｐ（＜８）ビットに量子化され、縮退ＲＯＭ８へ供給される。
【００３３】
縮退ＲＯＭ８では、上述するように、クラスを縮退させるために、（ｎ＋ｐ）ビットからｑビットに減少させたクラスコード（インデックス）が発生される。このように、縮退ＲＯＭ８から最終的にｑビットのクラスコードが発生し、そのｑビットのクラスコードは、学習回路５３へ供給される。
【００３４】
遅延合わせが行われる遅延回路９の出力がブロック化回路１０へ供給され、そのブロック化回路１０では、注目画素の周辺の複数の画素がブロック化される。ブロック化された各画素値は、学習回路５３へ供給される。
【００３５】
そして、入力端子５１から教師用の画像信号の対応する画素の輝度信号Ｙが入力される。入力された教師用の輝度信号Ｙは、Ａ／Ｄ変換回路５２において、アナログ信号からディジタル信号へ変換され、学習回路５３に供給される。学習回路５３では、ｎタップの線形一時結合モデルを形成し、その各係数データを学習回路５３で算出する。算出された各係数データは、出力端子５４から取り出され、係数ＲＯＭへ格納される。また、学習回路５３は、後述する最小自乗法にてクラス毎に係数データを学習するものである。学習により得られた係数データは、出力端子５４を介して出力され、ＲＯＭなどの記憶媒体にクラス毎に格納される。また、学習回路５３は、以下に述べる最小自乗法にてクラス毎に係数データ学習するものである。
【００３６】
学習の方法として、多数の補正対象用の入力信号の画素の値と教師用の画像信号の画素の値との関係を求める最小自乗法を採用した。まず、上述した値の間に線形１次結合の関係があると仮定し、以下に線形一次結合モデルを示す。
【００３７】
線形一次結合モデル：（観測方程式）
ＸＷ＝Ｙ （３）
【数１】

Figure 0003758228
【００３８】
最小自乗法による解法：（残差方程式）
【数２】
Figure 0003758228
【００３９】
式（５）から、各ｗi の最確値を見いだすには、
【数３】
Figure 0003758228
を最小にする条件、すなわち
【００４０】
【数４】
Figure 0003758228
なる、Ｎ個の条件を入れてこれを満足するｗ1 、ｗ2 、・・・、ｗN を見いだせばよい。式（５）より、
【００４１】
【数５】
Figure 0003758228
となり、式（６）条件をｉ＝１，２，・・・，Ｎについて立てればそれぞれ、
【００４２】
【数６】
Figure 0003758228
が得られる。ここで、式（５）および式（８）から次式の正規方程式が得られる。
【００４３】
【数７】
Figure 0003758228
これは、ちょうど未知数の数Ｎ個だけある連立方程式であるから、これより最確値たる各ｗi を求めることができる。
【００４４】
正確には、式（９）でｗi にかかる
【数８】
Figure 0003758228
のマトリクスが正則であれば解くことができる。（ただし、ｋ＝１，２，・・・，Ｎ、ｌ＝１，２，・・・，Ｎ）実際には、Gauss-Jordanの消去法（掃き出し法）を用いて連立方程式を解くことになる。
【００４５】
次に、最小自乗法の演算を行うハードウェアのブロック図を図９に示す。図８の学習のブロック図において、補正対象の画素を中心とするブロックの画素値ｘ1 〜ｘN と、その画素に対応する教師用の画素値δｙが入力されると共に、クラスコード（インデックス）が入力される。最小自乗法の回路は、大きく分けて正規方程式生成回路６１とＣＰＵ６２からなり、その正規方程式生成回路６１は、乗算器アレイ６３、加算メモリ６４およびデコード部６５からなる。ＣＰＵ６２は、係数データを求めるため、例えば掃き出し法の演算を行うＣＰＵからなる。乗算器アレイ６３には、注目画素位置に対して１組のメモリ（またはレジスタ）が存在し、加算メモリ６４には、クラスの数だけ組のメモリ（またはレジスタ）が存在する。また、デコード部６５では、供給されるクラスコード（インデックス）がデコードされる。
【００４６】
ここで、乗算器アレイ６３について、図１０を用いて説明する。補正対象の画素を中心としてブロックの画素値と対応する教師用の画素値δｙは、正規方程式回路６１の乗算器アレイ６３において、図１０に示すように各要素どうしの乗算が行われ、その結果が加算メモリ６４へ供給される。
【００４７】
そして、加算メモリ６４は、図１１に示すように加算器アレイ７１およびメモリ（またはレジスタ）アレイ７２1 〜７２N から構成される。加算器アレイ７１には、乗算器アレイ６３からの結果とメモリ（またはレジスタ）アレイ７２1 〜７２N からの出力が供給される。その加算結果は、加算器アレイ７１からメモリ（またはレジスタ）アレイ７２1 〜７２N に出力される。このとき、どのメモリ（またはレジスタ）アレイ７２1 〜７２N が選択されるかは、デコード部６５に供給されたクラスコード（インデックス）がデコードされることで一意に決定される。つまり、インデックスによって決定されるクラス毎にメモリ（またはレジスタ）アレイ７２が選択される。この選択されたメモリ（またはレジスタ）アレイ７２には、積和演算の結果が更新され、記憶される。
【００４８】
なお、各々のアレイの位置は、正規方程式（９）のｗi にかかる
【数９】
Figure 0003758228
の位置に対応する。正規方程式（９）を見てわかるように右上の項を反転すれば左下と同じものになるため、各アレイは三角形の形状をしている。
【００４９】
以上のようにして、ある一定期間の間にクラス毎に積和演算が行われて画素位置毎のさらにクラス毎の正規方程式が生成される。クラス毎の正規方程式の各項の結果は、それぞれのクラスに対応するメモリ（またはレジスタ）アレイに記憶されており、次にそれらのクラス毎の正規方程式の各項が掃き出し法の計算回路に供給される。この計算はＣＰＵ６２によって行われる。計算された係数データの組は、係数ＲＯＭで構成される係数テーブルに書き込まれて使用される。
【００５０】
次に、図４に示す輝度補正装置の第２の例に適用される係数データの学習について図１２を用いて説明する。入力端子１から供給された輝度信号Ｙは、Ａ／Ｄ変換回路２へ供給され、Ａ／Ｄ変換回路２では、例えば１３．５ＭHzでサンプリングされ、平均値／標準偏差算出回路３および遅延回路５へ出力される。平均値／標準偏差算出回路３では、上述したように供給された輝度値の例えば１フィールドまたは１フレーム当りの平均値および標準偏差が式（１）および式（２）を用いて求められる。
【００５１】
量子化回路４では、算出された平均値および標準偏差に対してそれぞれａビット、ｂビットで量子化されて、トータルｎビット（ｎ＝ａ＋ｂ）のコードを発生する。このｎビットのコードは、量子化回路４から縮退ＲＯＭ８へ供給される。遅延回路５では、ｎビットのコードが生成されるまでの時間（１フィールドまたは１フレーム＋α）だけ、遅延が行われ、その出力は、ブロック化回路６および３１、さらに遅延回路５へ供給される。ブロック化回路３１では、注目画素の周辺の空間内の複数の画素が選択され、ブロック化される。そのブロック化された画素は、ＡＤＲＣ回路３２へ供給される。ＡＤＲＣ回路３２では、ブロック化された画素からｍビットのコードが発生され、縮退ＲＯＭ８へ供給される。
【００５２】
ブロック化回路６では、注目画素の周辺の空間内の複数の画素が選択され、ブロック化される。上述したように、ブロック化回路３１とブロック化回路６とのブロック化とは異なっても良い。平均化回路７では、注目画素付近の輝度の平均値が算出され、算出された平均値は、シフトされ、ｐ（＜８）ビットに量子化され、縮退ＲＯＭ８へ供給される。
【００５３】
縮退ＲＯＭ８では、上述するように、クラスを縮退させるために、（ｎ＋ｍ＋ｐ）ビットからｑビットに減少させたクラスコード（インデックス）が発生される。このように、縮退ＲＯＭ８から最終的にｑビットのクラスコードが発生し、そのｑビットのクラスコードは、学習回路５３へ供給される。
【００５４】
以後、上述した図８に示される輝度補正装置の学習回路と同様に、入力端子５１からの教師用の輝度信号Ｙは、Ａ／Ｄ変換回路５２において、Ａ／Ｄ変換され、学習回路５３に供給される。学習回路５３では、縮退ＲＯＭ８からのクラスコード、ブロック化回路１０からの注目画素周辺の複数の画素およびＡ／Ｄ変換回路５２からの教師用の輝度信号Ｙから上述した最小自乗法にて、クラス毎の係数データが学習される。学習により獲得された係数データは、出力端子５４を介して、ＲＯＭなどの記憶媒体にクラス毎に格納される。
【００５５】
次に、図６に示す輝度補正装置の第３の例に適用される係数データの学習について図１３を用いて説明する。入力端子１から供給された輝度信号Ｙは、Ａ／Ｄ変換回路２へ供給され、Ａ／Ｄ変換回路２では、例えば１３．５ＭHzでサンプリングされ、変換ＲＯＭ３４および遅延回路５へ出力される。変換ＲＯＭ３４では、上述したように供給された輝度値がある複数の領域、例えばｓ個の領域に分けられる。そして、領域別輝度分布回路３５では、分けられたｓ個の領域毎に、例えば１フィールドまたは１フレーム内の度数の乗算が行われる。ＡＤＲＣ回路３６では、例えばａビットの量子化が行われ、トータルｎビット（ｎ＝ｓ×ａ）のコードが発生する。このｎビットのコードは、ＡＤＲＣ回路３６から縮退ＲＯＭ８へ供給される。
【００５６】
縮退ＲＯＭ８では、ＡＤＲＣ回路３６からのｎビット、さらに上述の図１２と同様にＡＤＲＣ回路３２からのｍビットおよび平均化回路７からのｐビットが供給され、上述したように、クラスを縮退させるために、（ｎ＋ｍ＋ｐ）ビットからｑビットに減少させたクラスコード（インデックス）が発生される。このように、縮退ＲＯＭ８から最終的にｑビットのクラスコードが発生し、そのｑビットのクラスコードは、学習回路５３へ供給される。
【００５７】
以後、上述した図８および図１２に示される輝度補正装置の学習回路と同様に、入力端子５１からの教師用の輝度信号Ｙは、Ａ／Ｄ変換回路５２において、Ａ／Ｄ変換され、学習回路５３に供給される。学習回路５３では、縮退ＲＯＭ８からのクラスコード、ブロック化回路１０からの注目画素周辺の複数の画素およびＡ／Ｄ変換回路５２からの教師用の輝度信号Ｙから上述した最小自乗法にて、クラス毎の係数データが学習される。学習により獲得された係数データは、出力端子５４を介して、ＲＯＭなどの記憶媒体にクラス毎に格納される。
【００５８】
そして、この発明は、上述した学習時の処理において、最適な教師用の画像信号と、この教師用の画像信号に対応する補正対象入力信号の画素の値とを用いて最適な係数データを獲得するものである。この学習方法の第１の実施例をより詳細に説明すると、図１４に示すように被写体８１にあてる照明を、暗から明（または、明から暗）へ手動または自動で連続的に変化させる。具体的には、学習回路の制御に用いられているＣＵＰ８２によって、電子ボリューム８３をコントロールすることにより、ライト８４が制御される。このように制御された照明により得られた画像信号がカメラ８５によって、撮影される。
【００５９】
例えば、暗から明へ自動で連続的に照明を変化させ、あるカットで６０フレーム程度の撮影を行った場合、図１５に示すように、撮影画像の輝度値が最適であると思われる中央付近のフレーム、すなわち６０フレームのほぼ中ほどのフレームを教師用の画像信号として用いる。この教師用の画像信号は、学習対象および補正対象として不感帯を設定する。この最適であると思われるフレームに対して、始めの方のフレームは、ライトレベルが低いため、輝度値が最適と思われるフレームより暗く、後の方のフレームは、ライトレベルが高いため、輝度値が最適と思われるフレームより明るくなっている。この最適と思われるフレーム以外の画像信号を補正対象の画像信号とし、上述した学習回路５３により最適な係数データを獲得することができる。
【００６０】
また、図１６を参照して、この発明による学習方法の第２の実施例を説明する。輝度値が最適であると思われる中央付近のフレームの第１の教師用の画像信号と補正対象の画像信号として注目されるフレームとの間に位置するフレームを第２の教師用の画像信号として設定する。そして、第１の教師用の画像信号は、輝度補正を施す必要がないため、第１の教師用の画像信号を中心として所定幅の不感帯を設定する。この不感帯とは、上述したように、学習対象および補正対象としない画像信号である。しかしながら、第２の教師用の画像信号は、輝度補正が必要な画像信号であるので、不感帯を設定しない。
【００６１】
そして、補正対象の画像信号と第２の教師用の画像信号を使用して上述したように学習を行って係数データが獲得される。この獲得された係数データを用いて輝度補正を行い、補正対象の輝度値から第２教師用の画像信号へ補正され、さらに第２教師用の画像信号から第１教師用の画像信号へ補正される。こうして、第１の実施例により獲得された係数データを用いて補正された画像信号と、第２の実施例により獲得された係数データを用いて補正された画像信号とを比較すると、第１の実施例では、学習時の画像信号間の輝度値のゲインが大きいため、ノイズ等の影響によって生じる明るさのふらつきが第２の実施例では、学習時の画像信号間の輝度値のゲインが過大とならないので抑えることができる。
【００６２】
次に、係数ＲＯＭに記憶される係数データを生成する学習回路の他の実施例を図１７に示す。入力端子１から供給された輝度信号Ｙは、Ａ／Ｄ変換回路２へ供給され、Ａ／Ｄ変換回路２では、例えば１３．５ＭHzでサンプリングされ、ＬＰＦ（ローパスフィルタ）５６へ供給される。ＬＰＦ５６では、ディジタル化された画像信号に対してフィルタ処理が施される。ＬＰＦ５６の出力信号は、平均値／標準偏差算出回路３および遅延回路５へ出力される。このように、Ａ／Ｄ変換回路２の出力信号に対してフィルタ処理を施して、学習対象の画像信号の解像度を教師用の画像信号の解像度に比して意識的に低くすることによって、輝度補正時に輝度補正のみでなく、解像度を上げることができる。
【００６３】
以後、上述した図１２に示される輝度補正装置の学習回路と同様に量子化回路４からのｎビット、ＡＤＲＣ回路３２からのｍビットおよび平均化回路７からのｐビットが縮退ＲＯＭ８へ供給される。縮退ＲＯＭ８では、クラスを縮退させるために、（ｎ＋ｍ＋ｐ）ビットからｑビットに減少させたクラスコードが発生される。このクラスコードは、学習回路５３へ供給される。
【００６４】
そして、入力端子５１からの教師用の輝度信号Ｙは、Ａ／Ｄ変換回路５２において、Ａ／Ｄ変換され、学習回路５３に供給される。学習回路５３では、縮退ＲＯＭ８からのクラスコード、ブロック化回路１０からの注目画素周辺の複数の画素およびＡ／Ｄ変換回路５２からの教師用の輝度信号Ｙから上述した最小自乗法にて、クラス毎の係数データが学習される。学習により獲得された係数データは、出力端子５４を介して、ＲＯＭなどの記憶媒体にクラス毎に格納される。
【００６５】
この発明は、上述した以外のクラス分類適応処理を使用した構成に使用することも可能である。
【００６６】
この実施例では、すべてハードウェアで実現する方法を記載したが、ディジタル化されたデータを計算機に取り込むことでソフトウェアで計算しても良い。
【００６７】
また、この実施例では、教師用の画像信号に静止画を使用したが、プロのカメラマンが撮影した画像信号、または照明条件の良い画像信号を使用することも可能である。
【００６８】
【発明の効果】
この発明に依れば、輝度分布のパターン分類から全体の輝度補正を行う効果と、空間内のパターン分類および輝度値の平均値から部分的な輝度補正を行う効果を待ち合わせており、よりきめの細かい輝度補正を行うことが可能となる。
【００６９】
さらに、この発明に依れば、係数データの学習において、簡単でしかも効率よく学習を行うことができる。また、補正対象となる画像信号に対してフィルタ処理を施した後に学習を行うことで、輝度補正時に輝度補正のみでなく、解像度を上げることも可能となる。
【図面の簡単な説明】
【図１】この発明が適用できる輝度補正装置の第１の例である。
【図２】この発明が適用できる第１の例の説明に用いる一例の度数分布図である。
【図３】この発明が適用された輝度補正装置に用いられている平均値／標準偏差回路の一例である。
【図４】この発明が適用できる輝度補正装置の第２の例である。
【図５】この発明が適用された輝度補正装置に用いられているＡＤＲＣ回路の一例である。
【図６】この発明が適用できる輝度補正装置の第３の例である。
【図７】この発明が適用された輝度補正装置に用いられている領域別輝度分布回路の一例である。
【図８】この発明が適用できる輝度補正装置の第１の例に対応する学習回路の一例である。
【図９】この発明に係る学習回路の一例を説明するためのブロック図である。
【図１０】この発明に係る乗算器アレイの説明に用いる一例の略線図である。
【図１１】この発明に係る加算メモリの説明に用いる一例の略線図である。
【図１２】この発明が適用できる輝度補正装置の第２の例に対応する学習回路の一例である。
【図１３】この発明が適用できる輝度補正装置の第３の例に対応する学習回路の一例である。
【図１４】この発明を説明するための略線図である。
【図１５】この発明の学習方法の第１の実施例を説明するための略線図である。
【図１６】この発明の学習方法の第２の実施例を説明するための略線図である。
【図１７】この発明の学習回路の他の実施例を示すブロック図である。
【符号の説明】
２、５２・・・Ａ／Ｄ変換回路、３・・・平均値／標準偏差回路、４・・・量子化回路、５、９・・・遅延回路、６、１０・・・ブロック化回路、７・・・平均化回路、８・・・縮退ＲＯＭ、５３・・・学習回路[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a learning method in a class classification adaptive process for obtaining optimum coefficient data stored in a luminance correction apparatus adapted to correct the luminance value of an image signal using the class classification adaptive process. And learning device About.
[0002]
[Prior art]
Normally, in the luminance correction apparatus, luminance correction is performed by obtaining an integral value (corresponding to the total amount of received light) of the luminance value in the screen and changing the gain of the amplifier accordingly. Accordingly, when viewed in space, a certain gain is applied to every pixel, and it has not been possible to perform fine correction such as making only a dark part brighter or making only a bright part darker.
[0003]
[Problems to be solved by the invention]
Therefore, it has been proposed to improve luminance correction by introducing class classification adaptive processing (see Japanese Patent Application No. 7-328358). However, since coefficient learning for luminance correction uses images of various brightnesses, images of various subjects, etc., it has been necessary to handle an enormous amount of data. As a result, the coefficient data Study There was a problem that learning was very complicated and time consuming. Further, since the continuity of the class cannot be compensated due to the influence of noise or the like in the luminance correction, the luminance correction may be discontinuous.
[0004]
Accordingly, an object of the present invention is to perform fine luminance correction by performing luminance correction according to the pattern classification of the luminance distribution and partial luminance correction according to the pattern classification in space and the average value of the luminance values. Learning Method in Class Classification Adaptation Processing for Obtaining Optimal Coefficient Data Stored in Luminance Correction Device That Can Be Performed And learning device Is to provide.
[0005]
[Means for Solving the Problems]
According to the first aspect of the present invention, a class classification that is calculated for each class by learning in advance by using a plurality of pixels of the input image signal to correct the luminance of the input image signal. In the learning method in the adaptive processing, the input image signal is divided into appropriate regions, the first class classification information for each region is generated using a pattern based on the luminance value in the region, and the target pixel of the input image signal is generated. Seki Do As classification information, at least, Region containing the pixel of interest of First classification information Degenerate Generating second class classification information, using a plurality of images taken by gradually changing the illumination from dark to light or from light to dark as image signals for learning; Photographed near the center from multiple images taken with gradually changing lighting The image signal is selected as the teacher image signal, the image signal other than the teacher image signal is used as the correction target image signal, and the teacher image signal and the plurality of correction target image signals are second In the classification information of Based on This is a learning method in a class classification adaptive process characterized by classifying for each class and learning a coefficient for correcting luminance for each class.
And claims 11 In the class classification adaptive processing, the coefficient used for correcting the luminance of the input image signal is calculated for each class by learning in advance by calculating with a plurality of pixels of the input image signal. In the learning apparatus, a first class classification for generating first class classification information for each area by dividing an input image signal into appropriate areas and using a pattern based on a luminance value in the area Information generation Means and the target pixel of the input image signal. Do As classification information, at least, Region containing the pixel of interest of First classification information Degenerate Second class classification for generating second class classification information Information generation And multiple images taken by gradually changing the illumination from dark to light or from light to dark as the learning image signal. , Taken near the center from multiple images taken with gradually changing lighting Selection means for selecting an image signal as a teacher image signal, and an image signal other than the teacher image signal as an image signal for correction , Classifying the teacher image signal and the plurality of correction target image signals into classes based on the second class classification information. class It has classification means and learning means for learning a coefficient for correcting luminance for each class. In the classification adaptation process It is a learning device.
[0006]
By quantizing the average value and standard deviation of luminance values in one field or frame, an n-bit code is generated, and a plurality of pixels in the space around the pixel of interest, that is, blocks are formed. By performing ADRC coding (adaptive dynamic range coding) on a pixel, an m-bit code is generated, and p (<8) by shifting the average value of the luminance values of the blocked pixels. A code of bits is generated, a degenerate ROM generates a class code reduced from (n + m + p) bits to q bits, coefficient data corresponding to the class code is read, and linear primary using the coefficient data A corrected luminance value is generated by the combination formula. In learning to acquire the coefficient data, a frame that seems to be optimal is used as a teacher image signal from about 60 frames in which only the illumination intensity is changed, and an image signal other than the teacher image signal is used. Learning is performed by using an image signal to be corrected, and optimal coefficient data can be obtained.
[0007]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of the present invention will be described with reference to the drawings. In order to facilitate understanding of the present invention, several examples of the luminance correction apparatus according to the proposal of the present inventor will be described first. A first example of a luminance correction apparatus to which the present invention can be applied is shown in FIG. Among the image signals supplied from the input terminal 1, the luminance signal Y is converted from an analog signal to a digital signal by the A / D converter 2. In this A / D converter 2, for example, when sampling is performed with a clock of 13.5 MHz, the size of the image is about 720 pixels wide × 480 lines high per frame. The luminance signal converted into the digital signal is supplied from the A / D converter 2 to the average value / standard deviation circuit 3 and the delay circuit 5.
[0008]
In the average value / standard deviation circuit 3, for example, an average value and a standard deviation per field or frame of the supplied luminance value are obtained as described later. The average value / standard deviation circuit 3 has a table for obtaining a frequency distribution for each luminance value, and an average value of luminance is calculated from the frequency distribution obtained by multiplying one field period or one frame period as shown in FIG. In addition, the standard deviation is also calculated. Formula (1) shows a calculation formula for calculating the average value of luminance, and Formula (2) shows a calculation formula for calculating the standard deviation.
[0009]
Average value = Σ (luminance value × frequency) / total frequency (1)
Standard deviation = √ (Σ ( (Luminance value-Average value) 2 X frequency) / all frequencies) (2)
However, √ () is the square root of the calculation result in ().
[0010]
In the quantization circuit 4, the calculated average value and standard deviation are quantized with a bit and b bit, respectively, and a code of total n bits (n = a + b) is generated. This n-bit code is supplied from the quantization circuit 4 to the degenerate ROM 8. Furthermore, this n-bit code is a pattern of a so-called luminance distribution. By looking at this, it can be determined whether the luminance distribution is biased toward a darker side or a brighter side, and whether the luminance distribution is flat or steep. Can be determined.
[0011]
On the other hand, in the delay circuit 5, a delay is performed for a time (1 field or 1 frame + α) until an n-bit code is generated, and the output is supplied to the blocking circuit 6 and the delay circuit 9. In the blocking circuit 6, a plurality of pixels in the space around the pixel of interest are selected and blocked. The blocked pixels are supplied to the averaging circuit 7. In the averaging circuit 7, the average value of luminance near the target pixel is calculated, and the calculated average value is shifted, quantized into p (<8) bits, and supplied to the degenerate ROM 8.
[0012]
In this way, the average value of the luminance of each block pixel is calculated, that is, by making the luminance level one of the class classifications, it is possible to change the way of correction in the level direction. For example, it is possible to correct only a bright part and a dark part, or to perform correction in consideration of γ characteristics. In addition, the effect of averaging the luminance level also serves to prevent the luminance correction from being overly sensitive.
[0013]
In the above description, two types of class classification codes have been generated. If these are simply combined, the number of classifications becomes enormous, and the capacity of a coefficient ROM (to be described later) becomes enormous. Therefore, the n bits from the quantization circuit 4 and the p bits from the averaging circuit 7 are supplied to the degenerate ROM 8, and the supplied number of bits is degenerated in the degenerate ROM 8. Specifically, the degenerate ROM 8 generates a class code (index) reduced from (n + p) bits to q bits in order to degenerate classes.
[0014]
Although the details of the degeneration method are not described here, a method of collectively reducing the coefficients having a small inter-coefficient norm as a vector quantization method from coefficient sets corresponding to all classes learned with (n + p) bits. Etc. shall be used. That is, the distance between the corresponding coefficients (the norm between coefficients) is obtained between the two coefficient sets, and the coefficient sets are collected based on the distance.
[0015]
In this way, a q-bit class code is finally generated from the degenerate ROM 8, and the q-bit class code is the coefficient ROM 11 1 ~ 11 N Supplied to. Coefficient ROM11 1 ~ 11 N Then, the coefficient data is read out by addressing with the supplied class code. The read coefficient data is respectively multiplied by the multiplier 12. 1 ~ 12 N Supplied to.
[0016]
The output of the delay circuit 9 to which the delay adjustment is performed is supplied to the blocking circuit 10, and the blocking circuit 10 blocks a plurality of pixels around the target pixel. Each pixel value that has been blocked is multiplied by a multiplier 11. 1 ~ 11 N Supplied to. Multiplier 12 1 ~ 12 N Then, coefficient ROM11 1 ~ 11 N Is multiplied by the block pixel values, and the multiplication output is supplied to the adder 13. In the adder 13, the multiplier 12 1 ~ 12 N The multiplication outputs from are added.
[0017]
That is, the multiplier 12 1 ~ 12 N The adder 13 performs a product-sum operation to predict the brightness correction value. This predicted value is D / A converted in the D / A conversion circuit 14 and is taken out from the output terminal 15 as a corrected luminance value Y ′.
[0018]
Here, an example of the average value / standard deviation circuit 3 will be described with reference to FIG. A luminance value is supplied from the input terminal 21. The supplied luminance value is supplied to the luminance frequency distribution table 22, and a frequency distribution table of luminance levels in one field or one frame is generated in the luminance frequency distribution table 22, for example. Based on the generated table, the average value calculation circuit 23 calculates the average value by the equation (1), and the calculated average value is supplied to the standard deviation calculation circuit 24 and taken out from the output terminal 25. . In the standard deviation calculation circuit 24, the standard deviation is calculated from the frequency distribution table and the average value by the equation (2), and the calculated standard deviation is taken out from the output terminal 26. When the extracted standard deviation is small, the frequency distribution is narrow, and when the standard deviation is large, the frequency distribution is wide.
[0019]
Next, a second example of a brightness correction apparatus to which the present invention can be applied is shown in FIG. Among the image signals supplied from the input terminal 1, the luminance signal Y is converted from an analog signal to a digital signal by the A / D converter 2. The luminance signal converted into the digital signal is supplied from the A / D converter 2 to the average value / standard deviation circuit 3 and the delay circuit 5. In the average value / standard deviation circuit 3, for example, an average value and a standard deviation per one field or one frame of the supplied luminance value are obtained using the equations (1) and (2). The obtained average value and standard deviation are supplied from the average value / standard deviation circuit 3 to the quantization circuit 4. In the quantization circuit 4, the calculated average value and standard deviation are quantized with a bit and b bit, respectively, and a code of total n bits (n = a + b) is generated. This n-bit code is supplied from the quantization circuit 4 to the degenerate ROM 8.
[0020]
On the other hand, in the delay circuit 5, the delay is performed for the time until the n-bit code is generated (1 field or 1 frame + α), and the output is supplied to the blocking circuits 6 and 31 and further to the delay circuit 9. Is done. In the blocking circuit 31, a plurality of pixels in the space around the pixel of interest are selected and blocked. The blocked pixels are supplied to the ADRC circuit 32. In the ADRC circuit 32, the maximum value and the minimum value are selected from the blocked pixels as will be described later, each pixel is requantized, an m-bit code is generated, and supplied to the degenerate ROM 8. This code is a pattern of how the brightness of a space changes. The classification by this code has an effect on the improvement of the S / N ratio, the improvement of the resolution, etc., rather than the luminance correction itself.
[0021]
In the blocking circuit 6, a plurality of pixels in the space around the target pixel to be corrected are selected and blocked. The blocking executed in the blocking circuit 6 and the blocking executed in the blocking circuit 31 may be different. That is, the pixel selected in the blocking circuit 31 and the pixel selected in the blocking circuit 6 may be different. The blocked pixels are supplied from the blocking circuit 6 to the averaging circuit 7. In the averaging circuit 7, the average value of luminance near the target pixel is calculated, and the calculated average value is shifted, quantized into p (<8) bits, and supplied to the degenerate ROM 8.
[0022]
In the above description, three types of class classification codes have been generated. As described above, when these are simply combined, the number of classifications becomes enormous, and the capacity of a coefficient ROM described later becomes enormous. Therefore, the n bits from the quantization circuit 4, the m bits from the ADRC circuit 32, and the p bits from the averaging circuit 7 are supplied to the degenerate ROM 8, and the supplied number of bits is degenerated in the degenerate ROM 8. Specifically, the degenerate ROM 8 generates a class code (index) reduced from (n + m + p) bits to q bits in order to degenerate classes.
[0023]
Thereafter, the coefficient data corresponding to the class code is stored in the coefficient ROM 11 in the same manner as the brightness correction apparatus shown in FIG. 1 ~ 11 N Read from. The read coefficient data is the multiplier 12 1 ~ 12 N Then, the adder 13 performs a product-sum operation with each pixel value that has been made into a block, and predicts the luminance correction value. This predicted value is D / A converted in the D / A conversion circuit 14 and is taken out from the output terminal 15 as a corrected luminance value Y ′.
[0024]
An example of the configuration of the ADRC circuit 32 will be described with reference to FIG. Blocked data is supplied from the input terminal 41. The supplied data is supplied to the maximum value detection circuit 42, the minimum value detection circuit 43, and the delay circuit 45. The maximum value detection circuit 42 detects the maximum pixel value in the block, and the minimum value detection circuit 43 detects the minimum pixel value in the block. In the subtracter 44, the minimum value is subtracted from the maximum value, and the dynamic range DR of the block is calculated. The calculated dynamic range DR is supplied to the adaptive requantization circuit 47.
[0025]
In the delay circuit 45, the maximum value detection circuit 42 and the minimum value detection circuit 43 each perform a time delay for detection and are output pixel by pixel. In the subtractor 46, the minimum value is subtracted from each blocked pixel, and the subtracted value is supplied to the adaptive requantization circuit 47. In the adaptive requantization circuit 47, the subtraction value is quantized for each pixel using a predetermined quantization step width corresponding to the dynamic range DR. In the parallelization circuit 48, the quantized pixels are parallelized in units of blocks and output as encoded data from the output terminal 49.
[0026]
Next, FIG. 6 shows a third example of a luminance correction apparatus to which the present invention can be applied. Of the image signal from the input terminal 1, the luminance signal Y is converted from an analog signal to a digital signal by the A / D converter 2. The luminance signal converted into the digital signal is supplied from the A / D converter 2 to the conversion ROM 34 and the delay circuit 5. In the conversion ROM 34, the supplied luminance value is associated with the area. Specifically, a luminance value composed of 8 bits (0 to 255) is input, and the conversion ROM 34 performs a function of dividing the luminance value into a plurality of areas, for example, s areas. For each of a plurality of areas divided by the conversion ROM 34, the area-specific luminance distribution circuit 35, for example, integrates the frequencies in one field or one frame. The integrated value is supplied to the ADRC circuit 36. As described above, in the ADRC circuit 36, for example, a-bit quantization is performed for each region, and a total n-bit (n = s × a) code is generated. This n-bit code is supplied from the ADRC circuit 36 to the degenerate ROM 8.
[0027]
Here, the operations of the conversion ROM 34, the area-specific luminance distribution circuit 35, and the ADRC circuit 36 will be described with reference to FIG. As shown in FIG. 7A, for example, when the frequency distribution of luminance values in one field or frame is to be counted, the frequency distribution for every 256 levels is counted. However, as shown in FIG. 7B, the luminance level is divided into, for example, s areas with an appropriate threshold value, and an arbitrary area division is performed by inserting a ROM that associates the area number with the input luminance value. For this area division, various variations such as simple equal division, non-uniform division, thinning, or overlap of areas can be tried.
[0028]
FIG. 7C shows an example in which the ADRC circuit 36 performs 1-bit ADRC, and the ADRC circuit 36 outputs a 6-bit code. This code is a pattern of a so-called luminance frequency distribution, and it is possible to determine whether the luminance distribution is biased toward a darker one or a brighter one by looking at this code. Thereafter, the m bits from the ADRC circuit 32 and the p bits from the average value circuit 7 are supplied to the degenerate ROM 8 as in FIG. 4 described above.
[0029]
As described above, n bits from the ADRC circuit 36, m bits from the ADRC circuit 32, and p bits from the average value circuit 7 are generated. These three types of class classification codes are generated. As described above, when these are simply combined, the number of classifications becomes enormous, and the capacity of a coefficient ROM described later becomes enormous. Therefore, the supplied number of bits is reduced in the reduction ROM 8. Specifically, the degenerate ROM 8 generates a class code (index) reduced from (n + m + p) bits to q bits in order to degenerate classes.
[0030]
Similar to the brightness correction apparatus in FIG. 1 described above, coefficient data corresponding to the class code is stored in the coefficient ROM 11. 1 ~ 11 N Read from. The read coefficient data is the multiplier 12 1 ~ 12 N Then, the adder 13 performs a product-sum operation with each pixel value that has been made into a block, and predicts the luminance correction value. This predicted value is D / A converted in the D / A conversion circuit 14 and is taken out from the output terminal 15 as a corrected luminance value Y ′.
[0031]
Next, learning of coefficient data applied to the first example of the brightness correction apparatus shown in FIG. 1 will be described with reference to FIG. The luminance signal Y supplied from the input terminal 1 is supplied to the A / D conversion circuit 2, and is sampled at, for example, 13.5 MHz in the A / D conversion circuit 2, and the average value / standard deviation calculation circuit 3 and the delay circuit 5 are sampled. Is output. In the average value / standard deviation calculation circuit 3, for example, an average value and a standard deviation per one field or one frame of the luminance value supplied as described above are obtained using the equations (1) and (2).
[0032]
In the quantization circuit 4, the calculated average value and standard deviation are quantized with a bit and b bit, respectively, to generate a code of total n bits (n = a + b). This n-bit code is supplied from the quantization circuit 4 to the degenerate ROM 8. In the delay circuit 5, a delay is performed for a time (1 field or 1 frame + α) until an n-bit code is generated, and the output is supplied to the blocking circuit 6 and the delay circuit 9. In the blocking circuit 6, a plurality of pixels in the space around the pixel of interest are selected and blocked. The blocked pixels are supplied to the averaging circuit 7. In the averaging circuit 9, the average value of luminance near the target pixel is calculated, and the calculated average value is shifted, quantized into p (<8) bits, and supplied to the degenerate ROM 8.
[0033]
In the degenerate ROM 8, as described above, a class code (index) reduced from (n + p) bits to q bits is generated in order to degenerate a class. Thus, a q-bit class code is finally generated from the degenerate ROM 8, and the q-bit class code is supplied to the learning circuit 53.
[0034]
The output of the delay circuit 9 to which the delay adjustment is performed is supplied to the blocking circuit 10, and the blocking circuit 10 blocks a plurality of pixels around the target pixel. Each pixel value formed into blocks is supplied to the learning circuit 53.
[0035]
Then, the luminance signal Y of the corresponding pixel of the teacher image signal is input from the input terminal 51. The input luminance signal Y for teacher is converted from an analog signal to a digital signal in the A / D conversion circuit 52 and supplied to the learning circuit 53. The learning circuit 53 forms an n-tap linear temporary combination model, and the coefficient data is calculated by the learning circuit 53. Each calculated coefficient data is taken out from the output terminal 54 and stored in the coefficient ROM. Further, the learning circuit 53 learns coefficient data for each class by the least square method described later. The coefficient data obtained by learning is output via the output terminal 54 and stored for each class in a storage medium such as a ROM. The learning circuit 53 learns coefficient data for each class by the least square method described below.
[0036]
As a learning method, a least square method for obtaining the relationship between the pixel values of a large number of correction target input signals and the pixel values of a teacher image signal was adopted. First, it is assumed that there is a linear linear coupling relationship between the above-described values, and a linear linear coupling model is shown below.
[0037]
Linear linear combination model: (observation equation)
XW = Y (3)
[Expression 1]
Figure 0003758228
[0038]
Solving method using the method of least squares: (residual equation)
[Expression 2]
Figure 0003758228
[0039]
From equation (5), each w i To find the most probable value of
[Equation 3]
Figure 0003758228
Which minimizes
[0040]
[Expression 4]
Figure 0003758228
W satisfying this with N conditions 1 , W 2 ... w N Find out. From equation (5)
[0041]
[Equation 5]
Figure 0003758228
If the condition of formula (6) is established for i = 1, 2,..., N, respectively,
[0042]
[Formula 6]
Figure 0003758228
Is obtained. Here, the following normal equation is obtained from the equations (5) and (8).
[0043]
[Expression 7]
Figure 0003758228
Since this is a simultaneous equation with just N unknowns, each w is the most probable value. i Can be requested.
[0044]
To be precise, w in equation (9) i Take
[Equation 8]
Figure 0003758228
If the matrix is regular, it can be solved. (Where k = 1, 2,..., N, l = 1, 2,..., N) In practice, the simultaneous equations are solved using Gauss-Jordan elimination (sweeping method). Become.
[0045]
Next, FIG. 9 shows a block diagram of hardware that performs the operation of the method of least squares. In the learning block diagram of FIG. 8, the pixel value x of the block centered on the pixel to be corrected 1 ~ X N Then, the teacher pixel value δy corresponding to the pixel is input, and the class code (index) is input. The circuit of the least square method is roughly divided into a normal equation generation circuit 61 and a CPU 62, and the normal equation generation circuit 61 includes a multiplier array 63, an addition memory 64, and a decoding unit 65. The CPU 62 is composed of a CPU that performs, for example, a sweep-out method in order to obtain coefficient data. The multiplier array 63 has a set of memories (or registers) for the target pixel position, and the addition memory 64 has a set of memories (or registers) corresponding to the number of classes. The decoding unit 65 decodes the supplied class code (index).
[0046]
Here, the multiplier array 63 will be described with reference to FIG. The teacher pixel value δy corresponding to the pixel value of the block centering on the pixel to be corrected is multiplied by each element in the multiplier array 63 of the normal equation circuit 61 as shown in FIG. Is supplied to the addition memory 64.
[0047]
The adder memory 64 includes an adder array 71 and a memory (or register) array 72 as shown in FIG. 1 ~ 72 N Consists of The adder array 71 includes a result from the multiplier array 63 and a memory (or register) array 72. 1 ~ 72 N The output from is supplied. The addition result is sent from the adder array 71 to the memory (or register) array 72. 1 ~ 72 N Is output. At this time, which memory (or register) array 72 1 ~ 72 N Whether or not is selected is uniquely determined by decoding the class code (index) supplied to the decoding unit 65. That is, the memory (or register) array 72 is selected for each class determined by the index. In the selected memory (or register) array 72, the result of the product-sum operation is updated and stored.
[0048]
Note that the position of each array is the w of the normal equation (9). i Take
[Equation 9]
Figure 0003758228
Corresponds to the position of. As can be seen from the normal equation (9), if the upper right term is inverted, it becomes the same as the lower left, so each array has a triangular shape.
[0049]
As described above, the product-sum operation is performed for each class during a certain period, and a normal equation for each class for each pixel position is generated. The result of each term of the normal equation for each class is stored in the memory (or register) array corresponding to each class, and then each term of the normal equation for each class is supplied to the calculation circuit of the sweep method. Is done. This calculation is performed by the CPU 62. The calculated set of coefficient data is used by being written in a coefficient table composed of a coefficient ROM.
[0050]
Next, learning of coefficient data applied to the second example of the brightness correction apparatus shown in FIG. 4 will be described with reference to FIG. The luminance signal Y supplied from the input terminal 1 is supplied to the A / D conversion circuit 2, and is sampled at, for example, 13.5 MHz in the A / D conversion circuit 2, and the average value / standard deviation calculation circuit 3 and the delay circuit 5 are sampled. Is output. In the average value / standard deviation calculation circuit 3, for example, an average value and a standard deviation per one field or one frame of the luminance value supplied as described above are obtained using the equations (1) and (2).
[0051]
In the quantization circuit 4, the calculated average value and standard deviation are quantized with a bit and b bit, respectively, to generate a code of total n bits (n = a + b). This n-bit code is supplied from the quantization circuit 4 to the degenerate ROM 8. In the delay circuit 5, a delay is performed for a time (1 field or 1 frame + α) until an n-bit code is generated, and the output is supplied to the blocking circuits 6 and 31 and further to the delay circuit 5. . In the blocking circuit 31, a plurality of pixels in the space around the pixel of interest are selected and blocked. The blocked pixels are supplied to the ADRC circuit 32. In the ADRC circuit 32, an m-bit code is generated from the blocked pixels and supplied to the degenerate ROM 8.
[0052]
In the blocking circuit 6, a plurality of pixels in the space around the pixel of interest are selected and blocked. As described above, the blocking circuit 31 and the blocking circuit 6 may be different from the blocking. In the averaging circuit 7, the average value of luminance near the target pixel is calculated, and the calculated average value is shifted, quantized into p (<8) bits, and supplied to the degenerate ROM 8.
[0053]
In the degenerate ROM 8, as described above, a class code (index) reduced from (n + m + p) bits to q bits is generated in order to degenerate classes. Thus, a q-bit class code is finally generated from the degenerate ROM 8, and the q-bit class code is supplied to the learning circuit 53.
[0054]
Thereafter, the teacher luminance signal Y from the input terminal 51 is A / D-converted by the A / D conversion circuit 52 and is input to the learning circuit 53 in the same manner as the learning circuit of the luminance correction apparatus shown in FIG. Supplied. The learning circuit 53 uses the class code from the degenerate ROM 8, the plurality of pixels around the pixel of interest from the blocking circuit 10, and the luminance signal Y for teacher from the A / D conversion circuit 52, using the above-described least square method, Each coefficient data is learned. The coefficient data obtained by learning is stored for each class in a storage medium such as a ROM via the output terminal 54.
[0055]
Next, learning of coefficient data applied to the third example of the brightness correction apparatus shown in FIG. 6 will be described with reference to FIG. The luminance signal Y supplied from the input terminal 1 is supplied to the A / D conversion circuit 2, where it is sampled at 13.5 MHz, for example, and output to the conversion ROM 34 and the delay circuit 5. In the conversion ROM 34, the luminance value supplied as described above is divided into a plurality of areas, for example, s areas. The area-specific luminance distribution circuit 35 multiplies, for example, the frequency in one field or one frame for every divided s areas. In the ADRC circuit 36, for example, a-bit quantization is performed, and a total n-bit (n = s × a) code is generated. This n-bit code is supplied from the ADRC circuit 36 to the degenerate ROM 8.
[0056]
In the degeneration ROM 8, n bits from the ADRC circuit 36, m bits from the ADRC circuit 32 and p bits from the averaging circuit 7 are supplied in the same manner as in FIG. 12, and the class is degenerated as described above. Then, a class code (index) reduced from (n + m + p) bits to q bits is generated. Thus, a q-bit class code is finally generated from the degenerate ROM 8, and the q-bit class code is supplied to the learning circuit 53.
[0057]
Thereafter, the teacher luminance signal Y from the input terminal 51 is A / D-converted by the A / D conversion circuit 52 in the same manner as the learning circuit of the luminance correction apparatus shown in FIGS. This is supplied to the circuit 53. In the learning circuit 53, the class code from the degenerate ROM 8, the plurality of pixels around the target pixel from the blocking circuit 10, and the luminance signal Y for teacher from the A / D conversion circuit 52 are used in the above-described least square method. Each coefficient data is learned. The coefficient data obtained by learning is stored for each class in a storage medium such as a ROM via the output terminal 54.
[0058]
According to the present invention, in the processing at the time of learning described above, optimal coefficient data is obtained using the optimal teacher image signal and the pixel value of the correction target input signal corresponding to the teacher image signal. To do. The first embodiment of this learning method will be described in more detail. As shown in FIG. 14, the illumination applied to the subject 81 is continuously changed manually or automatically from dark to bright (or from bright to dark). Specifically, the light 84 is controlled by controlling the electronic volume 83 by the CUP 82 used for controlling the learning circuit. The image signal obtained by the illumination controlled in this way is photographed by the camera 85.
[0059]
For example, when the lighting is automatically and continuously changed from dark to bright, and about 60 frames are shot with a certain cut, as shown in FIG. 15, the brightness value of the shot image is considered to be optimum near the center. Frames, that is, approximately the middle of 60 frames is used as a teacher image signal. This teacher image signal sets a dead zone as a learning target and a correction target. In contrast to the frame that seems to be optimal, the first frame is darker than the frame that seems to be optimal because the light level is low, and the latter frame is bright because the light level is high. The value is brighter than the frame that seems to be optimal. An image signal other than the frame considered to be optimal is set as an image signal to be corrected, and the optimum coefficient data can be obtained by the learning circuit 53 described above.
[0060]
A second embodiment of the learning method according to the present invention will be described with reference to FIG. A frame located between the first teacher image signal of the frame near the center where the luminance value is considered to be optimal and the frame of interest as the image signal to be corrected is used as the second teacher image signal. Set. Since the first teacher image signal does not need to be subjected to luminance correction, a dead band having a predetermined width is set around the first teacher image signal. As described above, the dead zone is an image signal that is not a learning target and a correction target. However, since the second teacher image signal is an image signal that requires luminance correction, no dead zone is set.
[0061]
Then, learning is performed as described above using the correction target image signal and the second teacher image signal, and coefficient data is obtained. Luminance correction is performed using the acquired coefficient data, the luminance value to be corrected is corrected to the second teacher image signal, and further, the second teacher image signal is corrected to the first teacher image signal. The Thus, when the image signal corrected using the coefficient data obtained by the first embodiment is compared with the image signal corrected using the coefficient data obtained by the second embodiment, the first In the embodiment, since the gain of the luminance value between the image signals at the time of learning is large, the brightness fluctuation caused by the influence of noise or the like is excessive in the second embodiment. Since it does not become, it can be suppressed.
[0062]
Next, another embodiment of a learning circuit for generating coefficient data stored in the coefficient ROM is shown in FIG. The luminance signal Y supplied from the input terminal 1 is supplied to the A / D conversion circuit 2, and is sampled at, for example, 13.5 MHz in the A / D conversion circuit 2 and supplied to an LPF (low-pass filter) 56. The LPF 56 performs a filtering process on the digitized image signal. The output signal of the LPF 56 is output to the average value / standard deviation calculation circuit 3 and the delay circuit 5. In this way, the output signal of the A / D conversion circuit 2 is filtered, and the resolution of the learning target image signal is consciously lowered as compared with the resolution of the teacher image signal. At the time of correction, not only brightness correction but also resolution can be increased.
[0063]
Thereafter, n bits from the quantization circuit 4, m bits from the ADRC circuit 32, and p bits from the averaging circuit 7 are supplied to the degenerate ROM 8 in the same manner as the learning circuit of the brightness correction apparatus shown in FIG. . The degeneration ROM 8 generates a class code that is reduced from (n + m + p) bits to q bits in order to degenerate classes. This class code is supplied to the learning circuit 53.
[0064]
The teacher luminance signal Y from the input terminal 51 is A / D converted in the A / D conversion circuit 52 and supplied to the learning circuit 53. The learning circuit 53 uses the class code from the degenerate ROM 8, the plurality of pixels around the pixel of interest from the blocking circuit 10, and the luminance signal Y for teacher from the A / D conversion circuit 52, using the above-described least square method, Each coefficient data is learned. The coefficient data obtained by learning is stored for each class in a storage medium such as a ROM via the output terminal 54.
[0065]
The present invention can also be used for a configuration using class classification adaptation processing other than those described above.
[0066]
In this embodiment, a method for realizing all the hardware is described. However, the digitized data may be calculated by software by taking it into a computer.
[0067]
In this embodiment, a still image is used as a teacher image signal. However, an image signal photographed by a professional cameraman or an image signal with good lighting conditions can be used.
[0068]
【The invention's effect】
According to the present invention, the effect of performing the overall brightness correction from the pattern classification of the brightness distribution and the effect of performing the partial brightness correction from the average value of the pattern classification in the space and the brightness value are awaited. Fine brightness correction can be performed.
[0069]
Furthermore, according to the present invention, learning of coefficient data can be performed easily and efficiently. Further, by performing learning after performing filter processing on an image signal to be corrected, it is possible to increase not only the luminance correction but also the resolution at the time of luminance correction.
[Brief description of the drawings]
FIG. 1 is a first example of a luminance correction apparatus to which the present invention can be applied.
FIG. 2 is a frequency distribution diagram of an example used for explaining a first example to which the present invention can be applied.
FIG. 3 is an example of an average value / standard deviation circuit used in a luminance correction apparatus to which the present invention is applied;
FIG. 4 is a second example of a brightness correction apparatus to which the present invention can be applied.
FIG. 5 is an example of an ADRC circuit used in a luminance correction apparatus to which the present invention is applied.
FIG. 6 is a third example of a luminance correction apparatus to which the present invention can be applied.
FIG. 7 is an example of a region-specific luminance distribution circuit used in a luminance correction apparatus to which the present invention is applied;
FIG. 8 is an example of a learning circuit corresponding to a first example of a luminance correction apparatus to which the present invention can be applied.
FIG. 9 is a block diagram for explaining an example of a learning circuit according to the present invention.
FIG. 10 is a schematic diagram of an example used for explaining a multiplier array according to the present invention.
FIG. 11 is a schematic diagram of an example used for explaining an addition memory according to the present invention.
FIG. 12 is an example of a learning circuit corresponding to a second example of a luminance correction apparatus to which the present invention can be applied.
FIG. 13 is an example of a learning circuit corresponding to a third example of a luminance correction apparatus to which the present invention can be applied.
FIG. 14 is a schematic diagram for explaining the present invention.
FIG. 15 is a schematic diagram for explaining a first embodiment of the learning method of the present invention;
FIG. 16 is a schematic diagram for explaining a second embodiment of the learning method of the present invention.
FIG. 17 is a block diagram showing another embodiment of the learning circuit of the present invention.
[Explanation of symbols]
2, 52 ... A / D conversion circuit, 3 ... average value / standard deviation circuit, 4 ... quantization circuit, 5, 9 ... delay circuit, 6, 10 ... blocking circuit, 7 ... Averaging circuit, 8 ... Degenerate ROM, 53 ... Learning circuit

Claims (20)

入力画像信号の複数の画素と演算されることによって、上記入力画像信号の輝度を補正するために使用される係数を予め学習によりクラス毎に求めるようにしたクラス分類適応処理における学習方法において、
上記入力画像信号を適当な領域に分割して上記領域内の輝度値に基づくパターンを用いて、上記領域毎の第１のクラス分類情報を生成し、
上記入力画像信号の注目画素に関するクラス分類情報として、少なくとも、上記注目画素が含まれる上記領域の上記第１のクラス分類情報を縮退させた第２のクラス分類情報を生成し、
照明を暗から明または明から暗に徐々に変化させて撮影した複数の画像を学習用の画像信号として使用し、
上記照明を徐々に変化させて撮影された複数の画像の中から中央付近で撮影された画像信号を教師用の画像信号として選択し、
上記教師用の画像信号以外の画像信号を補正対象用の画像信号として使用し、
上記教師用の画像信号と上記複数の補正対象用の画像信号とを上記第２のクラス分類情報に基づきクラス毎に分類し、
上記クラス毎に輝度を補正するための係数を学習することを特徴とするクラス分類適応処理における学習方法。In the learning method in the class classification adaptive process in which a coefficient used for correcting the luminance of the input image signal is calculated for each class by learning in advance by calculating with a plurality of pixels of the input image signal.
The input image signal is divided into appropriate regions and a pattern based on the luminance value in the region is used to generate first class classification information for each region,
As classification information about the target pixel of the input image signal, at least, to generate the second classification information is degenerate the first classification information of the region included the pixel of interest,
Using multiple images taken by gradually changing the lighting from dark to light or from light to dark as learning image signals,
Select an image signal photographed near the center from among a plurality of images photographed by gradually changing the illumination, as an image signal for teachers,
Using an image signal other than the teacher image signal as an image signal for correction,
Classifying the image signal for teacher and the plurality of image signals for correction based on the second class classification information for each class;
A learning method in class classification adaptive processing, wherein a coefficient for correcting luminance is learned for each class. 入力画像信号の複数の画素と演算されることによって、上記入力画像信号の輝度を補正するために使用される係数を予め学習によりクラス毎に求めるようにしたクラス分類適応処理における学習方法において、In the learning method in the class classification adaptive process in which a coefficient used for correcting the luminance of the input image signal is calculated for each class by learning in advance by calculating with a plurality of pixels of the input image signal.
上記入力画像信号を適当な領域に分割して上記領域内の輝度値を平均化して、上記領域毎の第１のクラス分類情報を生成し、Dividing the input image signal into appropriate regions and averaging the luminance values in the regions to generate first class classification information for each region;
上記入力画像信号の注目画素に関するクラス分類情報として、少なくとも、上記注目画素が含まれる上記領域の上記第１のクラス分類情報を縮退させた第２のクラス分類情報を生成し、As class classification information related to the target pixel of the input image signal, at least second class classification information generated by degenerating the first class classification information of the region including the target pixel is generated,
照明を暗から明または明から暗に徐々に変化させて撮影した複数の画像を学習用の画像信号として使用し、Using multiple images taken by gradually changing the lighting from dark to light or from light to dark as learning image signals,
上記照明を徐々に変化させて撮影された複数の画像の中から中央付近で撮影された画像信号を教師用の画像信号として選択し、Select an image signal photographed near the center from among a plurality of images photographed by gradually changing the illumination, as an image signal for teachers,
上記教師用の画像信号以外の画像信号を補正対象用の画像信号として使用し、Using an image signal other than the teacher image signal as an image signal for correction,
上記教師用の画像信号と上記複数の補正対象用の画像信号とを上記第２のクラス分類情報に基づきクラス毎に分類し、Classifying the image signal for teacher and the plurality of image signals for correction based on the second class classification information for each class;
上記クラス毎に輝度を補正するための係数を学習することを特徴とするクラス分類適応処理における学習方法。A learning method in class classification adaptive processing, wherein a coefficient for correcting luminance is learned for each class. 入力画像信号の複数の画素と演算されることによって、上記入力画像信号の輝度を補正するために使用される係数を予め学習によりクラス毎に求めるようにしたクラス分類適応処理における学習方法において、In the learning method in the class classification adaptive process in which a coefficient used for correcting the luminance of the input image signal is calculated for each class by learning in advance by calculating with a plurality of pixels of the input image signal.
上記入力画像信号を適当な領域に分割して上記領域内の輝度値に基づくパターンを用いて、上記領域毎の第１のクラス分類情報を生成し、The input image signal is divided into appropriate regions and a pattern based on the luminance value in the region is used to generate first class classification information for each region,
上記入力画像信号の輝度分布をパターン化して、第２のクラス分類情報を生成し、Patterning the luminance distribution of the input image signal to generate second class classification information;
照明を暗から明または明から暗に徐々に変化させて撮影した複数の画像を学習用の画像信号として使用し、Using multiple images taken by gradually changing the lighting from dark to light or from light to dark as learning image signals,
上記照明を徐々に変化させて撮影された複数の画像の中から中央付近で撮影された画像信号を教師用の画像信号として選択し、Select an image signal photographed near the center from among a plurality of images photographed by gradually changing the illumination, as an image signal for teachers,
上記教師用の画像信号以外の画像信号を補正対象用の画像信号として使用し、Using an image signal other than the teacher image signal as an image signal for correction,
上記教師用の画像信号と上記複数の補正対象用の画像信号とを少なくとも上記第１および第２のクラス分類情報に基づきクラス毎に分類し、Classifying the teacher image signal and the plurality of image signals for correction based on at least the first and second class classification information;
上記クラス毎に輝度を補正するための係数を学習することを特徴とするクラス分類適応処理における学習方法。A learning method in class classification adaptive processing, wherein a coefficient for correcting luminance is learned for each class. 請求項１、請求項２または請求項３に記載のクラス分類適応処理における学習方法において、
上記教師用の画像信号と補正対象用の画像信号との間に位置する画像信号を第２の教師用の画像信号として設定することを特徴とするクラス分類適応処理における学習方法。In the learning method in the classification adaptation process according to claim 1 , claim 2, or claim 3 ,
A learning method in class classification adaptive processing, wherein an image signal positioned between the teacher image signal and the correction target image signal is set as a second teacher image signal. 請求項１、請求項２または請求項３に記載のクラス分類適応処理における学習方法において、
上記教師用の画像信号に近い輝度値の画像信号を学習するための対象並びに輝度を補正するための対象から除外することを特徴とするクラス分類適応処理における学習方法。In the learning method in the classification adaptation process according to claim 1 , claim 2, or claim 3 ,
Learning method in classification adaptive processing, which comprises excluded from for correcting the target and luminance for learning image signal of the luminance values close to the image signal for the teacher. 請求項１、請求項２または請求項３に記載のクラス分類適応処理における学習方法において、
上記入力画像信号に対して低域通過フィルタを施した信号を補正対象用の画像信号として、学習を行うことを特徴とするクラス分類適応処理における学習方法。In the learning method in the classification adaptation process according to claim 1 , claim 2, or claim 3 ,
A learning method in class classification adaptive processing, wherein learning is performed using a signal obtained by applying a low-pass filter to the input image signal as an image signal for correction. 上記領域は、上記注目画素の周辺画素を含む複数個の画素を第１のブロックにブロック化したものであり、The region is obtained by blocking a plurality of pixels including peripheral pixels of the target pixel into a first block,
上記第１のクラス分類情報は、上記第１のブロック毎に空間の輝度変化のパターンで分類を行うことで生成され、The first class classification information is generated by performing classification with a pattern of luminance change in space for each of the first blocks,
さらに、上記注目画素の周辺画素を含む複数個の画素を第２のブロックにブロック化し、上記ブロック内の輝度値の平均値に基づき分類を行うことで、上記注目画素に関する第３のクラス分類情報を生成し、Further, a plurality of pixels including the peripheral pixels of the pixel of interest are blocked into a second block, and classification is performed based on an average value of luminance values in the block, whereby third class classification information relating to the pixel of interest Produces
上記第１及び第３のクラス分類情報を縮退させて、上記第２のクラス分類情報を生成することを特徴とする請求項１に記載のクラス分類適応処理における学習方法。The learning method in the class classification adaptation process according to claim 1, wherein the second class classification information is generated by degenerating the first and third class classification information. さらに、上記入力画像信号の輝度分布をパターン化して、上記領域毎の第４のクラス分類情報を生成し、Further, the luminance distribution of the input image signal is patterned to generate fourth class classification information for each region,
上記第１及び第４のクラス分類情報を縮退させて、上記第２のクラス分類情報を生成することを特徴とする請求項１又は請求項２に記載のクラス分類適応処理における学習方法。The learning method in the class classification adaptive processing according to claim 1 or 2, wherein the second class classification information is generated by degenerating the first and fourth class classification information. さらに、上記注目画素の周辺画素を含む複数個の画素にブロック化し、上記ブロック内の輝度値の平均値に基づき分類を行うことで、第３のクラス分類情報を生成し、Furthermore, the third class classification information is generated by blocking into a plurality of pixels including peripheral pixels of the target pixel and performing classification based on the average value of the luminance values in the block,
上記教師用の画像信号と上記複数の補正対象用の画像信号とを上記第１、第２および第３のクラス分類情報に基づきクラス毎に分類することを特徴とする請求項３に記載の学習方法。4. The learning according to claim 3, wherein the teacher image signal and the plurality of correction target image signals are classified for each class based on the first, second, and third class classification information. Method. 上記輝度分布のパターンとは、上記入力画像信号の１フィールドまたは１フレームの輝度に基づき得られることを特徴とする請求項３または請求項８に記載の学習方法。9. The learning method according to claim 3, wherein the luminance distribution pattern is obtained based on luminance of one field or one frame of the input image signal. 入力画像信号の複数の画素と演算されることによって、上記入力画像信号の輝度を補正するために使用される係数を予め学習によりクラス毎に求めるようにしたクラス分類適応処理における学習装置において、
上記入力画像信号を適当な領域に分割して上記領域内の輝度値に基づくパターンを用いて、上記領域毎の第１のクラス分類情報を生成する第１のクラス分類情報生成手段と、
上記入力画像信号の注目画素に関するクラス分類情報として、少なくとも、上記注目画素が含まれる上記領域の上記第１のクラス分類情報を縮退させた第２のクラス分類情報を生成する第２のクラス分類情報生成手段と、
照明を暗から明または明から暗に徐々に変化させて撮影した複数の画像を学習用の画像信号として使用し、上記照明を徐々に変化させて撮影された複数の画像の中から中央付近で撮影された画像信号を教師用の画像信号として選択する選択手段と、
上記教師用の画像信号以外の画像信号を補正対象用の画像信号として使用し、上記教師用の画像信号と上記複数の補正対象用の画像信号とを上記第２のクラス分類情報に基づきクラス毎に分類するクラス分類手段と、
上記クラス毎に輝度を補正するための係数を学習する学習手段とを有することを特徴とするクラス分類適応処理における学習装置。In the learning apparatus in the class classification adaptive process in which a coefficient used for correcting the luminance of the input image signal is calculated for each class by learning in advance by being calculated with a plurality of pixels of the input image signal.
First class classification information generating means for dividing the input image signal into appropriate areas and generating first class classification information for each area using a pattern based on a luminance value in the area;
As classification information about the target pixel of the input image signal, at least, a second class that generates second classification information is degenerate the first classification information of the region included the target pixel Classification information generating means;
Using multiple images implicitly captured by gradually changing the illumination from dark to bright or bright as an image signal for learning, near the center among the plurality of images photographed by gradually changing the illumination A selection means for selecting a photographed image signal as a teacher image signal;
An image signal other than the image signal for the teacher to use as an image signal for correction object, each class based an image signal and an image signal for the plurality of correction object for the teacher to the second classification information and class classification means for classifying to,
A learning apparatus in class classification adaptive processing, comprising learning means for learning a coefficient for correcting luminance for each class . 入力画像信号の複数の画素と演算されることによって、上記入力画像信号の輝度を補正するために使用される係数を予め学習によりクラス毎に求めるようにしたクラス分類適応処理における学習装置において、In the learning apparatus in the class classification adaptive process in which a coefficient used for correcting the luminance of the input image signal is calculated for each class by learning in advance by being calculated with a plurality of pixels of the input image signal.
上記入力画像信号を適当な領域に分割して上記領域内の輝度値を平均化して、上記領域毎の第１のクラス分類情報を生成する第１のクラス分類情報生成手段と、First class classification information generating means for dividing the input image signal into appropriate areas, averaging the luminance values in the areas, and generating first class classification information for each area;
上記入力画像信号の注目画素に関するクラス分類情報として、少なくとも、上記注目画素が含まれる上記領域の上記第１のクラス分類情報を縮退させた第２のクラス分類情報を生成する第２のクラス分類情報生成手段と、Second class classification information for generating second class classification information obtained by degenerating the first class classification information of at least the region including the target pixel as class classification information regarding the target pixel of the input image signal Generating means;
照明を暗から明または明から暗に徐々に変化させて撮影した複数の画像を学習用の画像信号として使用し、上記照明を徐々に変化させて撮影された複数の画像の中から中央付近で撮影された画像信号を教師用の画像信号として選択する選択手段と、Using a plurality of images taken by gradually changing the illumination from dark to bright or from light to dark as the learning image signal, near the center of the images taken by gradually changing the illumination A selection means for selecting a photographed image signal as a teacher image signal;
上記教師用の画像信号以外の画像信号を補正対象用の画像信号として使用し、上記教師用の画像信号と上記複数の補正対象用の画像信号とを上記第２のクラス分類情報に基づきクラス毎に分類するクラス分類手段と、An image signal other than the teacher image signal is used as a correction target image signal, and the teacher image signal and the plurality of correction target image signals are classified for each class based on the second class classification information. Classifying means for classifying into,
上記クラス毎に輝度を補正するための係数を学習する学習手段とを有することを特徴とするクラス分類適応処理における学習装置。A learning apparatus in class classification adaptive processing, comprising learning means for learning a coefficient for correcting luminance for each class. 入力画像信号の複数の画素と演算されることによって、上記入力画像信号の輝度を補正するために使用される係数を予め学習によりクラス毎に求めるようにしたクラス分類適応処理における学習装置において、In the learning apparatus in the class classification adaptive process in which a coefficient used for correcting the luminance of the input image signal is calculated for each class by learning in advance by being calculated with a plurality of pixels of the input image signal.
上記入力画像信号を適当な領域に分割して上記領域内の輝度値に基づくパターンを用いて、上記領域毎の第１のクラス分類情報を生成する第１のクラス分類情報生成手段と、First class classification information generating means for dividing the input image signal into appropriate areas and generating first class classification information for each area using a pattern based on a luminance value in the area;
上記入力画像信号の輝度分布をパターン化して、第２のクラス分類情報を生成する第２のクラス分類情報生成手段と、Patterning the luminance distribution of the input image signal to generate second class classification information;
照明を暗から明または明から暗に徐々に変化させて撮影した複数の画像を学習用の画像信号として使用し、Using multiple images taken by gradually changing the lighting from dark to light or from light to dark as learning image signals,
上記照明を徐々に変化させて撮影された複数の画像の中から中央付近で撮影された画像信号を教師用の画像信号として選択する選択手段と、Selection means for selecting an image signal photographed near the center from among a plurality of images photographed by gradually changing the illumination;
上記教師用の画像信号以外の画像信号を補正対象用の画像信号として使用し、Using an image signal other than the teacher image signal as an image signal for correction,
上記教師用の画像信号と上記複数の補正対象用の画像信号とを少なくとも上記第１および第２のクラス分類情報に基づきクラス毎に分類するクラス分類手段と、Class classification means for classifying the image signal for teacher and the plurality of image signals for correction based on at least the first and second class classification information;
上記クラス毎に輝度を補正するための係数を学習する学習手段とを特徴とするクラス分類適応処理における学習装置。A learning apparatus in class classification adaptive processing characterized by learning means for learning a coefficient for correcting luminance for each class. 請求項１１、請求項１２、または請求項１３に記載のクラス分類適応処理における学習装置において、In the learning apparatus in the class classification adaptive processing according to claim 11, claim 12, or claim 13,
上記教師用の画像信号と補正対象用の画像信号との間に位置する画像信号を第２の教師用の画像信号として設定することを特徴とするクラス分類適応処理における学習装置。A learning apparatus in class classification adaptation processing, wherein an image signal positioned between the teacher image signal and the correction target image signal is set as a second teacher image signal. 請求項１１、請求項１２、または請求項１３に記載のクラス分類適応処理における学習装置において、In the learning apparatus in the class classification adaptive processing according to claim 11, claim 12, or claim 13,
上記教師用の画像信号に近い輝度値の画像信号を学習するための対象並びに輝度を補正するための対象から除外することを特徴とするクラス分類適応処理における学習装置。A learning apparatus in a class classification adaptive process, characterized in that an image signal having a luminance value close to that of the teacher image signal is excluded from an object for learning and an object for correcting luminance. 請求項１１、請求項１２、または請求項１３に記載のクラス分類適応処理における学習装置において、In the learning apparatus in the class classification adaptive processing according to claim 11, claim 12, or claim 13,
上記入力画像信号に対して低域通過フィルタを施した信号を補正対象用の画像信号として、学習を行うことを特徴とするクラス分類適応処理における学習装置。A learning apparatus in a class classification adaptive process, wherein learning is performed using a signal obtained by performing a low-pass filter on the input image signal as an image signal for correction. 上記領域は、上記注目画素の周辺画素を含む複数個の画素を第１のブロックにブロック化したものであり、
上記第１のクラス分類情報は、上記第１のブロック毎に空間の輝度変化のパターンで分類を行うことで生成され、
さらに、上記注目画素の周辺画素を含む複数個の画素を第２のブロックにブロック化し、上記ブロック内の輝度値の平均値に基づき分類を行うことで、上記注目画素に関する第３のクラス分類情報を生成する第３のクラス分類手段を備え、
上記第２のクラス分類手段では、上記第１及び第３のクラス分類情報を縮退させて、上記第２のクラス分類情報を生成することを特徴とする請求項１１に記載のクラス分類適応処理における学習装置。The region is obtained by blocking a plurality of pixels including peripheral pixels of the target pixel into a first block,
The first class classification information is generated by performing classification with a pattern of luminance change in space for each of the first blocks,
Further, a plurality of pixels including the peripheral pixels of the pixel of interest are blocked into a second block, and classification is performed based on an average value of luminance values in the block, whereby third class classification information relating to the pixel of interest A third class classification means for generating
12. The class classification adaptation process according to claim 11 , wherein the second class classification means generates the second class classification information by degenerating the first and third class classification information. Learning device. さらに、上記入力画像信号の輝度分布をパターン化して、上記領域毎の第４のクラス分類情報を生成する第４のクラス分類手段を備え、Furthermore, it comprises a fourth class classification means for patterning the luminance distribution of the input image signal to generate fourth class classification information for each region,
上記第２のクラス分類手段では、上記第１及び第４のクラス分類情報を縮退させて、上記第２のクラス分類情報を生成することを特徴とする請求項１１又は請求項１２に記載のクラス分類適応処理における学習装置。The class according to claim 11 or 12, wherein the second class classification means generates the second class classification information by degenerating the first and fourth class classification information. A learning device in classification adaptation processing. さらに、上記注目画素の周辺画素を含む複数個の画素にブロック化し、上記ブロック内の輝度値の平均値に基づき分類を行うことで、第３のクラス分類情報を生成する第３のクラス分類手段を備え、Further, a third class classification unit that generates third class classification information by making a block into a plurality of pixels including peripheral pixels of the target pixel and performing classification based on an average value of luminance values in the block. With
上記教師用の画像信号と上記複数の補正対象用の画像信号とを上記第１、第２および第３のクラス分類情報に基づきクラス毎に分類することを特徴とする請求項１３に記載の学習装置。14. The learning according to claim 13, wherein the teacher image signal and the plurality of correction target image signals are classified for each class based on the first, second, and third class classification information. apparatus. 上記輝度分布のパターンとは、上記入力画像信号の１フィールドまたは１フレームの輝度に基づき得られることを特徴とする請求項１３または請求項１８に記載の学習装置。The learning apparatus according to claim 13 or 18, wherein the luminance distribution pattern is obtained based on luminance of one field or one frame of the input image signal.
JP06912696A 1996-02-29 1996-02-29 Learning method and learning apparatus in adaptive classification processing Expired - Fee Related JP3758228B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP06912696A JP3758228B2 (en) 1996-02-29 1996-02-29 Learning method and learning apparatus in adaptive classification processing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP06912696A JP3758228B2 (en) 1996-02-29 1996-02-29 Learning method and learning apparatus in adaptive classification processing

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2005318069A Division JP4062329B2 (en) 2005-11-01 2005-11-01 Signal processing apparatus and method

Publications (2)

Publication Number Publication Date
JPH09237345A JPH09237345A (en) 1997-09-09
JP3758228B2 true JP3758228B2 (en) 2006-03-22

Family

ID=13393644

Family Applications (1)

Application Number Title Priority Date Filing Date
JP06912696A Expired - Fee Related JP3758228B2 (en) 1996-02-29 1996-02-29 Learning method and learning apparatus in adaptive classification processing

Country Status (1)

Country Link
JP (1) JP3758228B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6678405B1 (en) * 1999-06-08 2004-01-13 Sony Corporation Data processing apparatus, data processing method, learning apparatus, learning method, and medium
KR20190003497A (en) * 2016-05-02 2019-01-09 소니 주식회사 Image processing apparatus and image processing method
EP3585044A4 (en) * 2017-02-20 2020-01-15 Sony Corporation Image processing device, image processing method, and program
JPWO2021186961A1 (en) * 2020-03-16 2021-09-23

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04271669A (en) * 1991-02-27 1992-09-28 Matsushita Electric Ind Co Ltd Gradation corrector
DE69227492T2 (en) * 1991-08-30 1999-04-08 Matsushita Electric Ind Co Ltd Image processing device
JPH05122550A (en) * 1991-10-25 1993-05-18 Matsushita Electric Ind Co Ltd Signal processor
US5376962A (en) * 1993-03-31 1994-12-27 Panasonic Technologies, Inc. Neural network video image processor
JPH06348840A (en) * 1993-06-03 1994-12-22 Konica Corp Picture restoring method
JP3486975B2 (en) * 1993-08-27 2004-01-13 ソニー株式会社 Noise reduction apparatus and method
JP3557626B2 (en) * 1993-08-27 2004-08-25 ソニー株式会社 Image restoration apparatus and method
JP3632993B2 (en) * 1993-08-30 2005-03-30 ソニー株式会社 Electronic zoom device and electronic zoom method

Also Published As

Publication number Publication date
JPH09237345A (en) 1997-09-09

Similar Documents

Publication Publication Date Title
US7570390B2 (en) Image processing device and method
US8654221B2 (en) Image processing device and method, and program
US7551794B2 (en) Method apparatus, and recording medium for smoothing luminance of an image
CN100366052C (en) Image processing device and method
US7672528B2 (en) Method of processing an image to form an image pyramid
US8085316B2 (en) Image-processing unit, imaging apparatus, and computer program product
US20080253681A1 (en) Image Processing Method and Computer Software for Image Processing
JPH05225332A (en) Method and apparatus for variable-space wave filtering
US6137541A (en) Image processing method and image processing apparatus
JPH11505357A (en) Apparatus and method for pixel-level brightness adjustment
JP2014194706A (en) Image processor, image processing method and program
US7595819B2 (en) Signal processing device and signal processing method, program, and recording medium
CN101686321B (en) Method and system for reducing noise in image data
JPH10214339A (en) Picture filtering method
US7239758B2 (en) Signal processing device for reducing noise of image signal, signal processing program, and signal processing method
US7760264B2 (en) Method of obtaining an image
JP3758228B2 (en) Learning method and learning apparatus in adaptive classification processing
JP3378601B2 (en) Image processing device
JP3360695B2 (en) Image data quantization circuit
JP3791029B2 (en) Image signal processing apparatus and method
JP2017223823A (en) Image processor, image processing program, and image processing method
JPH1011583A (en) Class classification adaptation processor and learning device/method for class classification adaptation processing
JP4062329B2 (en) Signal processing apparatus and method
US7362910B2 (en) Color image characterization, enhancement and balancing process
JP4353294B2 (en) Information signal conversion apparatus and method

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050201

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050331

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050531

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050729

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050906

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051101

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20051213

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20051226

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100113

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100113

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110113

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120113

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130113

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees