JP3810546B2 - 画像処理システムのコントラスト拡張装置におけるヒストグラム等化方法およびその装置 - Google Patents
画像処理システムのコントラスト拡張装置におけるヒストグラム等化方法およびその装置 Download PDFInfo
- Publication number
- JP3810546B2 JP3810546B2 JP01560498A JP1560498A JP3810546B2 JP 3810546 B2 JP3810546 B2 JP 3810546B2 JP 01560498 A JP01560498 A JP 01560498A JP 1560498 A JP1560498 A JP 1560498A JP 3810546 B2 JP3810546 B2 JP 3810546B2
- Authority
- JP
- Japan
- Prior art keywords
- window
- histogram
- equalized
- value
- pixel data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 52
- 238000006243 chemical reaction Methods 0.000 claims description 34
- 235000019557 luminance Nutrition 0.000 claims description 26
- 238000013500 data storage Methods 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 14
- 230000004044 response Effects 0.000 claims description 11
- 238000001914 filtration Methods 0.000 claims description 5
- 238000009825 accumulation Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000013139 quantization Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Facsimile Image Signal Circuits (AREA)
- Picture Signal Circuits (AREA)
- Image Input (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明はテレビ、ビデオカセットレコーダー、ビデオカメラ、ドアホン（door phone）、または監視用カメラなどの画像処理システムで画像信号の改良（enhancement)のためにヒストグラムを用いるコントラスト拡張装置に係り、特にコントラスト拡張装置で画像面をヒストグラム等化するためのヒストグラム等化方法およびその装置に関する。
【０００２】
【従来の技術】
画像処理システムでは、画像のコントラストを拡張するために画像の動的範囲（dynamic range)を拡張するヒストグラム等化（higstogram equalization)方法が用いられる。ここで、画像の動的範囲とは、１つの画像面をなす画素値のうち最も明るい画素値と最も暗い画素値との割合をいい、動的範囲が大きくなるほどコントラストは拡張される。
【０００３】
従来の代表的なヒストグラム等化方法として、グローバルヒストグラム等化（global histogram equalization ）方法がある。例えば、"Fundamental of Digital Image Processing" という題で A. K. Jain 氏により出版された本（Prentice-Hall 出版社、1989年）の第２４１〜２４２ページにはその内容が詳しく記載されている。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記したグローバルヒストグラム等化方法を全画像に適用した場合、発生頻度の高い輝度値を有する画素が位置する領域のコントラストは顕著に拡張される反面、頻度の低い画素の領域では元画面の画像よりそのコントラストが逆に低下する現像が起こる。このため、頻度の低い画素が占めている画像面上の領域が重要な情報を含んでいる部分であれば、情報の致命的な損失をもたらすという問題点があった。すなわち、従来のヒストグラム等化方法により全画像をヒストグラム等化する場合、情報の損失が発生する可能性があった。
【０００５】
本発明が果たそうとする第１の技術的課題は、頻度の低い情報の損失を防ぐため、すべての画像面を相互重畳するウィンドウ（window）に分割してヒストグラム等化するヒストグラム等化方法を提供することにある。
本発明が果たそうとする第２の技術的課題は、前記ヒストグラム等化方法で行われる演算の回数を減らすため、前のウィンドウから得たヒストグラムを用いて現在のウィンドウをヒストグラム等化するヒストグラム等化方法を提供することにある。
本発明が果たそうとする第３の技術的課題は、前記第１の技術的課題のヒストグラム等化方法を行うためのヒストグラム等化装置を提供するにある。
本発明が果たそうとする第４の技術的課題は、前記第２の技術的課題のヒストグラム等化方法を行うためのヒストグラム等化装置を提供するにある。
【０００６】
【発明を解決するための手段】
前記第１の課題を果たすため、本発明に係る画像処理システムのコントラスト拡張装置でのヒストグラム等化方法は、前記画像面のうちヒストグラム等化する画面の等化画像面のサイズ、前記等化画像面に被せるウィンドウのサイズ、および前記ウィンドウが移動する移動画素の数を決定する（ａ）段階と、移動、または移動しなかったウィンドウを前記等化画像面上に被せる（ｂ）段階と、前記被せたウィンドウに含まれたすべての画素のヒストグラムを求める（ｃ）段階と、前記ヒストグラムより変換関数を求める（ｄ）段階と、前記すべての画素のうち所定数の画素に対するヒストグラム等化値を前記変換関数を用いて求める（ｅ）段階と、前記ウィンドウが前記等化画像面上に被せる最後のウィンドウなのかを判断する（ｆ）段階と、前記ウィンドウが前記等化画像面上に被せる前記最後のウィンドウでなければ、前記ウィンドウを前記移動画素の数まで移動し、前記（ｂ）段階に戻る（ｇ）段階と、前記ウィンドウが前記等化画像面上に被せる前記最後のウィンドウであれば、前記（ｅ）段階で求めたすべてのヒストグラム等化値を前記等化画像面のヒストグラム等化した値として決定する（ｈ）段階からなる。ここで、前記ウィンドウと前記移動したウィンドウの所定部分は相互重畳し、且つ前記所定数の画素は前記重畳する部分に含まれるのが望ましく、重畳するウィンドウに画像面を分割してヒストグラム等化を行うので、頻度の低い画素のコントラスト損失を防ぐことができる。
【０００７】
前記第２の技術的課題を果たすため、本発明に係る画像処理システムのコントラスト拡張装置でのヒストグラム等化方法は、前記画像面のうちヒストグラム等化する画面の等化画像面のサイズ、前記等化画像面に被せるウィンドウのサイズおよび前記ウィンドウが移動する移動画素の数を決定する（ａ）段階と、移動、または移動しなかったウィンドウを前記等化画像面上に被せる（ｂ）段階と、前記被せたウィンドウが境界ウィンドウかまたは非境界ウィンドウかを判断する（ｃ）段階と、前記被せたウィンドウが前記境界ウィンドウの場合、前記境界ウィンドウに含まれたすべての画素に対するヒストグラムを求める（ｄ）段階と、前記被せたウィンドウが前記非境界ウィンドウの場合、前記非境界ウィンドウが移動前のウィンドウと重畳しない前記非境界ウィンドウの画素に対して第１の仮想ヒストグラムを求め、前記非境界ウィンドウと重畳しない前記前のウィンドウの画素に対して第２の仮想ヒストグラムを求める（ｅ）段階と、前記第１の仮想ヒストグラムを前記前のウィンドウのヒストグラムに加算するとともに、前記第２の仮想ヒストグラムを前記前のウィンドウのヒストグラムから減算して、前記非境界ウィンドウに対するヒストグラムを求める（ｆ）段階と、前記（ｄ）または前記（ｆ）段階で求めた前記ヒストグラムから変換関数を求める（ｇ）段階と、前記変換関数を用いて前記被せたウィンドウに含まれた画素のうち所定数の画素に対するヒストグラム等化値を求める（ｈ）段階と、前記ウィンドウが前記等化画像面上に被せる最後のウィンドウなのかを判断する（ｉ）段階と、前記ウィンドウが前記等化画像面上に被せる前記最後のウィンドウでなければ、前記ウィンドウの次のウィンドウを前記前の画素数まで移動し、前記（ｂ）段階に戻る（ｊ）段階、および前記ウィンドウが前記等化画像面上に被せる前記最後のウィンドウであれば、前記（ｈ）段階で求めたすべての前記ヒストグラム等化値を前記等化画像面のヒストグラム等化した値として決定する（ｋ）段階からなる。ここで、前記ウィンドウと前記移動したウィンドウの所定部分は相互重畳し、且つ前記所定数の画素は前記重畳する部分に含まれるのが望ましく、現在のウィンドウに対するヒストグラムを前のウィンドウに対するヒストグラムを用いて求めるが故に、計算量を低減できる。
【０００８】
前記第３の技術的課題を果たすため、本発明に係る画像処理システムのコントラスト拡張装置において、ヒストグラム等化装置は、前記画像データを保存し、第１のアドレス信号に応じてウィンドウに含まれた画素に対する第１の画素データを出力し、第２のアドレス信号に応じて前記画素のうち第１の所定数の画素に対する第２の画素データを出力する画像データ保存手段と、前記第１の画素データを入力してヒストグラムを生成するヒストグラム演算手段と、前記ヒストグラムの頻度を累算し、その累算した値を使って計算した前記第１の画素データに対する等化値のうち前記第１の所定数の等化値を前記第２の画素データに応じてヒストグラム等化値として出力する等化値生成手段と、前記ヒストグラム等化値を保存し、その保存したすべてのヒストグラム等化値を前記画像データのヒストグラム等化した値として出力する等化値保存手段と、前記画像面上に被せた前記ウィンドウの移動画素の数およびサイズに応じて前記第１のアドレス信号を生じ、前記第１の所定数に応じて前記第２のアドレス信号を生じる制御手段とからなる。ここで、重畳するウィンドウに画像面を分割してヒストグラム等化を行うので、頻度の低い画素のコントラスト損失を防ぐことができ、さらにルックアップテーブルでヒストグラム等化値を出力するように制御する画素データを低域通過フィルタリングするので、増幅される熱雑音もしくは量子化雑音をなくすにより、優れた画質を得ることができる。
【０００９】
前記第４の技術的課題を果たすため、本発明に係る画像処理システムのコントラスト拡張装置におけるヒストグラム等化装置は、前記画像データを保存し、第１のアドレス信号に応じて境界ウィンドウに含まれたすべての画素に対する第１の画素データを出力するか、非境界ウィンドウの前のウィンドウと重畳しない前記非境界ウィンドウに含まれた画素、および前記非境界ウィンドウと重畳しない前記前のウィンドウに含まれた画素に対する第２の画素データを第２のアドレス信号に応じて出力するか、または前記非境界ウィンドウと前記前のウィンドウに重畳する画素の中で第１の所定数の画素に対する第３の画素データを第３のアドレス信号に応じて出力するイメージデータ保存手段と、第１の制御信号に応じて前記第１の画素データからヒストグラムを生成するか、第２の制御信号に応じて前記第２の画素データから生成した仮想ヒストグラムを前記以前ウィンドウのヒストグラムと加算／減算して、その加算／減算した結果を前記ヒストグラムとして出力するヒストグラム演算手段と、前記ヒストグラムの頻度を累算し、その累算した値を使って計算した前記境界ウィンドウまたは前記非境界ウィンドウに含まれたすべての画素の等化値のうち前記第１の所定数の等化値を前記第３の画素データに応じてヒストグラム等化値として出力する等化値生成手段と、前記ヒストグラム等化値を保存し、その保存したすべてのヒストグラム等化値を前記画像データのヒストグラム等化した値として出力する等化値保存手段と、前記画像面上に被せた前記ウィンドウの移動方向、移動画素の数およびサイズに応じて、前記ヒストグラム等化するウィンドウが前記境界ウィンドウの時に前記第１のアドレス信号および前記第１の制御信号を生じ、前記非境界ウィンドウの時に前記第２のアドレス信号および前記第２の制御信号を生じ、前記第１の所定数に応じて前記第３のアドレス信号を生じる制御手段とからなる。ここで、現在のウィンドウに対するヒストグラムを前のウィンドウに対するヒストグラムを用いて求めるので、計算量を低減できる。
【００１０】
【発明の実施の形態】
次に、添付図面を参照して本発明による画像処理システムのコントラスト拡張装置におけるヒストグラム等化方法およびその装置の実施の形態を詳細に説明する。
図１を参照すると、本発明によるヒストグラム等化方法の一実施の形態が示されており、以下同図を用いて本発明の実施の形態１を説明する。
【００１１】
〔第１の実施の形態〕
図１は本発明に係るヒストグラム等化方法の第１の実施の形態を説明するためのフローチャートである。すなわち、図１には、ヒストグラム等化を行う準備をした上でウィンドウを被せる段階（ステップ１０およびステップ１２）、ヒストグラムを求める段階（ステップ１４およびステップ１６）、変換関数を求めて所定数の画素に対する等化値を求める段階（ステップ１８〜ステップ２４）および最後のウィンドウかにより、ウインドウを移動するか、それともヒストグラム等化値を決定する段階（ステップ２６〜ステップ３０）からなる。
【００１２】
図１において、まず、ヒストグラム等化のための準備をする（ステップ１０）。Ａ×Ｂ（横画素の数×縦画素の数）のサイズの１つの画像面でヒストグラム等化する画像面を“等化画像面”という。ここで、等化画像面のサイズＮ×Ｍ（横画素の数×縦画素の数）が画像面の全面であるか、それとも１面であるか、すなわち、画像面を全体的にヒストグラム等化するか、それとも局部的に等化するかを決定する。そして、等化画像面に被せるウィンドウのサイズをＰ×Ｑ（横画素の数×縦画素の数）、例えば１１×１１〜４１×４１（横画素の数×縦画素の数）から選択する。このとき、ウィンドウの移動する移動画素の数ＦをＰより小さい値、すなわち、移動する前のウィンドウと移動した後のウィンドウとが重なるように決定する。ステップ１０で、等化画像面に被せるウィンドウの数Ｃが次の式１から得られる。
【００１３】
【数１】
【００１４】
ここで、式１で用いたＤおよびＥは等化画像面の列数および行数をそれぞれ示す。
【００１５】
ステップ１０の後、初めに第１番目のウィンドウを等化画像面に被せる（ステップ１２）。ステップ１２の後、第１番目のウィンドウに含まれるＰ×Ｑの画素データから第１番目のヒストグラムを求める（ステップ１４およびステップ１６）。画素データは各画素の輝度（または輝度値）情報がＫ種の異なる値で表わされ、Ｐ×Ｑ個の画素データそれぞれの輝度が検出される（ステップ１４）。ステップ１４の後、Ｋ種の相異なる輝度それぞれに対する頻度を計算し、その計算した値を第１番目のヒストグラムとして決定する（ステップ１６）。
【００１６】
ステップ１６の後、第１番目のヒストグラムを用いて第１番目の変換関数を求める（ステップ１８）。すなわち、Ｘ−Ｙ座標系において、Ｘ軸を輝度値、Ｙ軸を累積値とし、Ｋ種の輝度情報の頻度をＸ軸の進行方向に進めながら累積してＸ−Ｙ座標に示して第１番目の関数を求めた後、第１番目の関数のＹ軸をＫ種の相異なる輝度値に均等に分割する。これにより、Ｘ軸は輝度値として、またＹ軸は分割した輝度値として、それぞれ示された第１番目の変換関数が求められる。
【００１７】
ステップ１８の後、第１番目のウィンドウに含まれた画素のうちＴ個の画素に対するヒストグラム等化値を変換関数を用いて求める（ステップ２０〜２４）。ここで、Ｔ個の画素は隣接する第２番目のウィンドウと重畳する部分に含まれる画素である。まず、第１番目のウィンドウに含まれたすべての画素それぞれに対する等化値を求める（ステップ２０）。すなわち、各画素の画素データを変換関数に代入すれば、Ｋ個の相異なる輝度値として示される等化値が得られる。
【００１８】
ステップ２０の後、第１ウィンドウのすべての画素の等化値のうち、Ｔ個の画素それぞれの該当等化値を第１ウィンドウの第１ヒストグラム等化値として求める（ステップ２２および２４）。すなわち、画像データがＭＰＥＧにより圧縮されたデータの場合、Ｋ個の画素データを低域通過フィルタリングする（ステップ２２）。これは、ＭＰＥＧにより圧縮および復元されたデータはコントラスト拡張により量子化雑音が増幅されるので、その増幅した量子化雑音を無くすためである。たとえ、画像データがＭＰＥＧにより圧縮および復元されたデータでないとしても、画像データを低域通過フィルタリングすることにより熱雑音（THERMAL NOISE)を無くすことができる。ステップ２２の後、フィルタリングしたＴ個の画素データに基づいてステップ２０で求めた等化値のうちＴ個の第１ヒストグラム等化値を求める（ステップ２４）。
【００１９】
ステップ２４の後、等化画像面に被せたウィンドウが最後のウィンドウである第Ｃ番目のウィンドウであるかを判断する（ステップ２６）。現在の等化画像面に被せたウィンドウは第１番目のウィンドウなので、第１番目のウィンドウをＦだけ水平または垂直方向に移動する（ステップ２８）。ステップ２８の後、第（Ｃ−１）番目のウィンドウを移動して第Ｃ番目のウィンドウとした時、第２番目のウィンドウを等化画像面に被せる（ステップ１２）。通常、画素データの有効な保存および管理のため、ウィンドウは等化画像面上の左側の上から右側の下に向って水平方向に被せていく。
【００２０】
ステップ１２の後、第１番目のヒストグラムおよび第１番目の変換関数を求めた方法と同じ方法で第２番目のヒストグラム等化値を求める（ステップ１４および２４）。ステップ２４の後、最後のウィンドウが第Ｃ番目のウィンドウなのかどうかを判断する（ステップ２６）。
【００２１】
以上述べたように、上記のステップを繰返して第Ｃ番目のヒストグラム等化値を求めたならば、すなわち、等化画像面に被せたウィンドウが第Ｃ番目のウィンドウの場合、第１〜第Ｃ番目のヒストグラム等化値を等化画像面のヒストグラム等化した値として決定する（ステップ３０）。
【００２２】
次に、図２を用いて本発明に係る他の実施の形態である第２の実施の形態のヒストグラム等化方法につき説明する。
〔第２の実施の形態〕
図２は、本発明に係る第２の実施の形態のヒストグラム等化方法を説明するためのフローチャートである。第２の実施の形態では、ヒストグラム等化を準備してウィンドウを被せる段階（ステップ４０および４２）、ウィンドウの種類によってそれぞれ異なるヒストグラムを求める段階（ステップ４４〜５０）、変換関数を求めて各ウィンドウに対しＴ個のヒストグラム等化値を求める段階（ステップ５２〜５８）および最後のウィンドウであるかによってウインドウを移動するか、すべてのヒストグラム等化値を決定する段階（ステップ６０〜６４）からなる。
【００２３】
図２に示したステップ４０および４２は、図１に示したステップ１０および１２と同一な過程を経る。
ウィンドウを水平方向の等化画像面に被せるときに等化画像面上の最左側の列に位置する画素を含んだウィンドウを境界ウィンドウとし、それ以外のウィンドウを非境界ウィンドウとする。なお、境界ウィンドウは最左側の列に位置する画素を含んだウィンドウに限定されるものではなく、例えばウィンドウを垂直方向の等化画像面に被せる場合には、等化画像面上の最上側に位置する画素を含んだウィンドウを境界ウィンドウとし、それ以外のウィンドウを非境界ウィンドウとしてもよい。
【００２４】
ステップ４２の後、現在の等化画像面に被せたウィンドウが境界ウィンドウか、または非境界ウィンドウかを判断する（ステップ４４）。もし、現在の等化画像面に被せるウィンドウが境界ウィンドウであれば、境界ウィンドウに含まれたすべての画素に対するヒストグラムをステップ１４およびステップ１６で行った過程と同一な過程を経て求める（ステップ４６）。
【００２５】
一方、現在の等化画像面に被せるウィンドウが非境界ウィンドウであれば、次のように非境界ウィンドウのヒストグラムを求める（ステップ４８および５０）。非境界ウィンドウの移動前のウィンドウを以前のウィンドウとしたとき、非境界ウィンドウの画素のうち以前のウィンドウと重畳しない画素を第１の仮想ヒストグラムとして求め、また以前のウィンドウの画素のうち現在の非境界ウィンドウと重畳しない画素を第２の仮想ヒストグラムとしてそれぞれ求める。すなわち、第（Ｃ−１）番目のウィンドウと第Ｃ番目のウィンドウとに含まれたすべての画素のうち、重畳しない画素に対するヒストグラムを仮想ヒストグラムとしてそれぞれ求める（ステップ４８）。ステップ４８の後、第１の仮想ヒストグラムを以前のウィンドウに対するヒストグラムに加算し、第２の仮想ヒストグラムを以前のウィンドウに対するヒストグラムから減算し、その加算および減算したヒストグラムを現在の非境界ウィンドウのヒストグラムとする（ステップ５０）。
【００２６】
ステップ４６または５０の後、ステップ１８〜３０で行われた過程と同一な過程を経て各ウィンドウ別にヒストグラム等化値を求め、その求められたすべてのヒストグラム等化値を等化画像面のヒストグラム等化した値として決定する（ステップ５２〜６４）。
【００２７】
前述したＴは、現在被せるウィンドウが境界ウィンドウか非境界ウィンドウかによって相異なる値を有する。すなわち、現在のウィンドウが境界ウィンドウの場合より非境界ウィンドウの場合に、Ｔの値がさらに小さくなる。
【００２８】
図３は、本発明に係る等化画像面のヒストグラム等化方法を説明するための、例示的な等化画像面の一部を示した図である。
本発明への理解を助けるため、ウィンドウのサイズが３×３で、水平方向にウィンドウが移動し、移動画素の数が１つで、輝度値の種類のＫを１０としたとき、図１および図２でそれぞれ行われるヒストグラム等化過程を以下に説明する。
【００２９】
図３に図示のように、等化画像面の１面７０は、細い点線で示した第１のウィンドウ７２と太い実線で示した第２のウィンドウ７４とに分割され、且つ第１のウィンドウ７２と第２のウィンドウ７４は相互重畳した画素データ６，２，１，９，４および２を有する。ここで、第１，第２のウィンドウ７２，７４に含まれた各画素データは０ないし９の輝度のうち何れか１つの輝度を有する。
【００３０】
図１に図示の方法により、第１および第２のウィンドウの第１および第２のヒストグラムおよび第１および第２の変換関数を求めれば、次の表１の通りである。
【００３１】
【表１】
【００３２】
一方、図２に示した方法により、第１ウィンドウおよび第２ウィンドウのヒストグラムを求めるためには、まず、図１に図示と同一な方法で境界ウィンドウである第１ウィンドウ７２の第１ヒストグラムを表１のように求める。次に、非境界ウィンドウである第２ウィンドウ７４に移動したとき、第１ウィンドウ７２と重畳しないの画素データ３，７および８の発生回数（前述の第２の仮想ヒストグラム）を求め第１ヒストグラムより減算する。そして、第１ウィンドウ７２と重畳しない第２ウィンドウ７４の画素データ５，２および７の発生回数（前述の第１の仮想ヒストグラム）を第１のヒストグラムに加算する。このような処理を行うことによって、表１に示した第２ウィンドウの第２ヒストグラムを少量の演算量で求めることができる。
【００３３】
図１または図２に図示の方法により第１および第２ヒストグラムを求めた後、これらを以て変換関数を求める。次に、第１ウィンドウ７２の真ん中に位置するＴ＝１個の画素データ２に対するヒストグラム等化値を変換関数を以て求め、第２ウィンドウ７４の中央に位置する画素データ４に対するヒストグラム等化値を変換関数を以てそれぞれ求める。この際、画素データ３，７，６，８および１に対するヒストグラム等化値は第１ウィンドウ７２の変換関数を以て求める。
【００３４】
次に、本発明に係るヒストグラム等化装置の構成およびその動作を、第３の実施の形態として添付した図面に基づき説明する。
〔第３の実施の形態〕
図４は、図１に示した本発明に係るヒストグラム等化方法を行う本発明による望ましい一実施の形態のヒストグラム等化装置のブロック図である。すなわち、この実施の形態によるヒストグラム等化装置は、画像データ記憶部８０、ヒストグラム演算部８２をなす比較器８４およびカウンター８６、等化値生成部８８をなす累算器９０と変換関数実行部９２とルックアップテーブル（ＬＵＴ：Look Up Table)９４と低域通過フィルター（ＬＰＦ：Low Pass Filter)９６とスイッチ９８、等化値記憶部１００および制御部１０２からなる。
【００３５】
図４に示した画像データ記憶部８０は、Ａ×Ｂのサイズ、すなわち、Ａ×Ｂ個の画素データからなるデジタル画像データ（Ｙ：輝度信号）を入力端子ＩＮ１を通じてフレームもしくはフィールド単位で入力して保存し、制御部１０２から出力する第１アドレス信号ＡＤ１に応じてウィンドウに含まれるすべての第１画素データを出力し、第２アドレス信号ＡＤ２に応じて画素のうちＴ個の画素に対する第２画素データを出力する。
【００３６】
ヒストグラム演算部８２は、画像データ記憶部８０から出力される第１画素データの輝度を検出し、Ｋ個の相異なる輝度それぞれに対する発生回数を検出した輝度から計算し、その計算された値をヒストグラムとして出力する。そのために、比較器８４は、入力した第１画素データを、画素の輝度をそれぞれ示すＫ個の相異なる比較値と比較し、Ｋ個の比較した結果を第１〜Ｋのカウント制御信号としてカウンター８６に出力する。カウンター８６は、第１〜Ｋのカウント制御信号をカウントするＫ個のカウンターからなり、制御部１０２から出力される制御信号Ｃに応じて、最終的にカウントされた値をヒストグラムとして等化値生成部８８の累算器９０に出力する。この時、制御部１０２は各ウィンドウのすべての画素データをＫ個の比較値と比較時に制御信号を発生する。
【００３７】
等化値生成部８８は、カウンター８６から出力されるヒストグラムを累算し、その累算した値を使ってウィンドウに含まれたすべての画素のヒストグラム等化値を計算し、画像データ記憶部８０から入力した第２画素データに応じて当該Ｔ個のヒストグラム等化値を出力する。そのために、累算器９０は、最後にカウントされたカウンター値、すなわち、ヒストグラムを入力して各輝度の頻度を累算する。変換関数実行部９２は、累算器９０におけるＸ−Ｙ座標系で累算した値をＹ軸に、Ｋ個の輝度をＸ軸とする所定関数を求めてから、所定関数のＹ軸で最大の累算値と最小の累算値との間をＫ個に分割し変換関数を生成し、生成した変換関数を乗算および割り算動作により行い、その行われた結果を各ウィンドウの画素それぞれに対するヒストグラム等化値として出力する。ＬＵＴ９４は、変換関数実行部９２から出力されるヒストグラム等化値をＬＵＴ９４のアドレスに相当するＫ個の輝度にＬＵＴ９４のデータとして保存し、その保存したヒストグラム等化値のうちＴ個の画素をＬＵＴ９４のアドレスに相当する第２画素データに応じて等化値記憶部１００に出力する。
【００３８】
このとき、上記した理由のため、第２画素データは低域通過フィルター９６で選択的にフィルタリングされ、そのフィルタリングされた第２画素データはスイッチ９８に印加される。スイッチ９８は、制御部１０２から出力されるスイッチング信号に応じて、フィルタリングした第２の画素データまたはフィルタリングしなかった第２の画素データをＬＵＴ９４に選択的に出力する。制御部１０２は、入力端子ＩＮ１を通じて入力される画像データがＭＰＥＧにより圧縮されてから復元されたデータのときには、スイッチ９８でフィルタリングした第２の画素データを選択するように制御する。
【００３９】
等化値記憶部１００は、等化値生成部８８から順次にＴ個ずつ入力されるヒストグラム等化値を保存し、その保存したＣ×Ｔ個のヒストグラム等化値を画像データのヒストグラム等化した値として等化値出力の制御信号に応じて出力端子ＯＵＴを通じて出力する。
【００４０】
一方、制御部１０２は、ヒストグラム等化する画像面のサイズ、画像面上に被せるウィンドウの移動方向、すなわち、水平方向かそれとも垂直方向か、ウィンドウが移動する量である移動画素の数およびウィンドウのサイズなどを示す情報を入力端子ＩＮ２を通じて入力し、入力した情報に応じて第１アドレス信号を発生する半面、各ウィンドウより抽出するヒストグラム等化値の数Ｔに応じて第２アドレス信号を生じる。
【００４１】
〔第５の実施の形態〕
図５は、図２に示したヒストグラム等化方法を行う本発明による他の実施の形態のヒストグラム等化装置のブロック図である。この実施の形態によるヒストグラム等化装置は、画像データ記憶部１２０、ヒストグラム演算部１２２をなす比較器１２４およびカウンター１２６、等化値生成部１２８をなす累算器１３２と変換関数実行部１３４とＬＵＴ１３６と低域通過フィルター１３６およびスイッチ１３８と、等化値保存部１４０、および制御部１４２からなる。
【００４２】
図５に図示の画像データ保存部１２０は、入力端子ＩＮ１を通じてＡ×Ｂ個の画素データからなる画像データをフレームもしくはフィールド単位で入力して保存する。画像データ保存部１２０は、制御部１４２から生ずる第１アドレス信号ＡＤ１に応じて境界ウィンドウに含まれたすべての画素に対する第１の画素データ、例えば、図３に図示の第１のウィンドウ７２に含まれた３，６，９，７，２，４，８，１および２を出力する。または、第２のアドレス信号ＡＤ２に応じて非境界ウィンドウに含まれた画素のうち以前のウィンドウと重畳しない画素に対する第２の画素データ、例えば、図３に図示の第２のウィンドウ７４の５，２および７と、境界ウィンドウに含まれた画素のうち非境界ウィンドウと重畳する画素に対する第３の画素データ、例えば、図３に図示の第１ウィンドウ７２の３，７および８を出力する。または、画像データ保存手段１２０は制御部１４２から出力される第３のアドレス信号ＡＤ３に応じて各ウィンドウに含まれた画素のうちＴ個の画素に対する第４の画素データをＬＵＴ１３４のアドレスとして出力する。
【００４３】
ヒストグラム演算部１２２は、画像データ保存部１２０から出力される第１の画素データより第１の制御信号Ｃ１に応じてヒストグラムを生成するか、アップおよびダウン制御信号の第２の制御信号Ｃ２に応じて第２および第３の画素データから生成した仮想ヒストグラムを前に生成したヒストグラムと加算および減算を行い、その加算および減算した値をヒストグラムとして出力する。そのために、比較器１２４は、第１画素データまたは第２および第３の画素データを画素の輝度をそれぞれ示すＫ個の比較値と比較し、Ｋ個の比較した結果を出力する。カウンター１２６はＫ個の比較した結果を第１の制御信号Ｃ１に応じてアップカウントし、第２の制御信号Ｃ２に応じて最後にカウントした値、すなわち、前のウィンドウのヒストグラムを初期値としてＫ個の比較した結果をアップもしくはダウンカウントし、最後のカウント値を制御部１４２から出力される制御信号Ｃ３に応じて、ヒストグラムとして等化値生成部１２８に出力する。
【００４４】
ここで、制御部１４２はヒストグラム等化する画像面のサイズ、画像面上に被せるウィンドウの移動方向、移動画素の数およびサイズなどを示す情報のそれぞれに応じて、ヒストグラム等化するウィンドウが境界ウィンドウのときに第１アドレス信号を生じ、非境界ウィンドウの時には第２アドレス信号を生じる。さらに、画像データ記憶部１２０から第１または第２の画素データが出力される際にはアップカウント制御信号を、第３の画素データが出力される際にはダウンカウント制御信号を、第２の制御信号としてそれぞれ出力する。一方、制御部１４２は、第２および第３の画素データを比較器１２４で比較した時点で第３の制御信号を生じ、画像データの種類により制御信号Ｃ４を生じ、ＣおよびＫに応じて等化値記憶部１４０の出力を制御する第５の制御信号Ｃ５をそれぞれ出力する。
【００４５】
なお、図５に示した等化値生成部１２８および等化値記憶部１４０は、図４に示した等化値生成部８８および等化値記憶部１００とそれぞれ同一の動作を行う。
【００４６】
【発明の効果】
以上で説明した如く、本発明に係る画像処理システムのコントラスト拡張装置におけるヒストグラム等化方法および装置は、重畳するウィンドウに画像面を分割してヒストグラム等化を行う。これにより、低頻度の画素のコントラスト損失を防止できるとともに、全画像面もしくはその一面に対して選択的にヒストグラム等化を行うので、全体的、または局部的な画質の劣化を改善できる。また、ウィンドウのサイズおよび移動画素の数を自由に調節することにより、ヒストグラム等化の演算時間および画像信号の改良をも自由に調節でき、しかも現在のウィンドウに対するヒストグラムを前のウィンドウに対するヒストグラムを以て求めるので、計算量を減らすことができる。さらに、ルックアップテーブルでヒストグラム等化値が出力されるように制御する画素データを低域通過フィルタリングするので、増幅する熱雑音もしくは量子化雑音を無くし、優れた画質を得られるとともに、ウィンドウのサイズおよび移動画素の数を自由に調節することにより、ヒストグラム等化の演算時間および画像信号の改良程度をも自由に調節できる。
【図面の簡単な説明】
【図１】本発明に係る望ましい一実施の形態のヒストグラム等化方法を説明するためのフローチャートである。
【図２】本発明に係る他の実施の形態のヒストグラム等化方法を説明するためのフローチャートである。
【図３】例示的な等化画像面の一部を示した図である。
【図４】本発明に係る望ましい一実施の形態のヒストグラム等化装置を説明するためのブロック図である。
【図５】本発明に係る他の実施の形態のヒストグラム等化装置を説明するためのブロック図である。
【符号の説明】
８０、１２０ 画像データ記憶部
８２、１２２ ヒストグラム演算部
８４、１２４ 比較器
８６、１２６ カウンター
８８、１２８ 等化値生成部
９０、１３０ 累算器
９２、１３２ 変換関数実行部
９４、１３４ ルックアップテーブル
９６、１３６ 低域通過フィルター
９８、１３８ スイッチ
１００、１４０ 等化値記憶部
１０２、１４２ 制御部
【発明の属する技術分野】
本発明はテレビ、ビデオカセットレコーダー、ビデオカメラ、ドアホン（door phone）、または監視用カメラなどの画像処理システムで画像信号の改良（enhancement)のためにヒストグラムを用いるコントラスト拡張装置に係り、特にコントラスト拡張装置で画像面をヒストグラム等化するためのヒストグラム等化方法およびその装置に関する。
【０００２】
【従来の技術】
画像処理システムでは、画像のコントラストを拡張するために画像の動的範囲（dynamic range)を拡張するヒストグラム等化（higstogram equalization)方法が用いられる。ここで、画像の動的範囲とは、１つの画像面をなす画素値のうち最も明るい画素値と最も暗い画素値との割合をいい、動的範囲が大きくなるほどコントラストは拡張される。
【０００３】
従来の代表的なヒストグラム等化方法として、グローバルヒストグラム等化（global histogram equalization ）方法がある。例えば、"Fundamental of Digital Image Processing" という題で A. K. Jain 氏により出版された本（Prentice-Hall 出版社、1989年）の第２４１〜２４２ページにはその内容が詳しく記載されている。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記したグローバルヒストグラム等化方法を全画像に適用した場合、発生頻度の高い輝度値を有する画素が位置する領域のコントラストは顕著に拡張される反面、頻度の低い画素の領域では元画面の画像よりそのコントラストが逆に低下する現像が起こる。このため、頻度の低い画素が占めている画像面上の領域が重要な情報を含んでいる部分であれば、情報の致命的な損失をもたらすという問題点があった。すなわち、従来のヒストグラム等化方法により全画像をヒストグラム等化する場合、情報の損失が発生する可能性があった。
【０００５】
本発明が果たそうとする第１の技術的課題は、頻度の低い情報の損失を防ぐため、すべての画像面を相互重畳するウィンドウ（window）に分割してヒストグラム等化するヒストグラム等化方法を提供することにある。
本発明が果たそうとする第２の技術的課題は、前記ヒストグラム等化方法で行われる演算の回数を減らすため、前のウィンドウから得たヒストグラムを用いて現在のウィンドウをヒストグラム等化するヒストグラム等化方法を提供することにある。
本発明が果たそうとする第３の技術的課題は、前記第１の技術的課題のヒストグラム等化方法を行うためのヒストグラム等化装置を提供するにある。
本発明が果たそうとする第４の技術的課題は、前記第２の技術的課題のヒストグラム等化方法を行うためのヒストグラム等化装置を提供するにある。
【０００６】
【発明を解決するための手段】
前記第１の課題を果たすため、本発明に係る画像処理システムのコントラスト拡張装置でのヒストグラム等化方法は、前記画像面のうちヒストグラム等化する画面の等化画像面のサイズ、前記等化画像面に被せるウィンドウのサイズ、および前記ウィンドウが移動する移動画素の数を決定する（ａ）段階と、移動、または移動しなかったウィンドウを前記等化画像面上に被せる（ｂ）段階と、前記被せたウィンドウに含まれたすべての画素のヒストグラムを求める（ｃ）段階と、前記ヒストグラムより変換関数を求める（ｄ）段階と、前記すべての画素のうち所定数の画素に対するヒストグラム等化値を前記変換関数を用いて求める（ｅ）段階と、前記ウィンドウが前記等化画像面上に被せる最後のウィンドウなのかを判断する（ｆ）段階と、前記ウィンドウが前記等化画像面上に被せる前記最後のウィンドウでなければ、前記ウィンドウを前記移動画素の数まで移動し、前記（ｂ）段階に戻る（ｇ）段階と、前記ウィンドウが前記等化画像面上に被せる前記最後のウィンドウであれば、前記（ｅ）段階で求めたすべてのヒストグラム等化値を前記等化画像面のヒストグラム等化した値として決定する（ｈ）段階からなる。ここで、前記ウィンドウと前記移動したウィンドウの所定部分は相互重畳し、且つ前記所定数の画素は前記重畳する部分に含まれるのが望ましく、重畳するウィンドウに画像面を分割してヒストグラム等化を行うので、頻度の低い画素のコントラスト損失を防ぐことができる。
【０００７】
前記第２の技術的課題を果たすため、本発明に係る画像処理システムのコントラスト拡張装置でのヒストグラム等化方法は、前記画像面のうちヒストグラム等化する画面の等化画像面のサイズ、前記等化画像面に被せるウィンドウのサイズおよび前記ウィンドウが移動する移動画素の数を決定する（ａ）段階と、移動、または移動しなかったウィンドウを前記等化画像面上に被せる（ｂ）段階と、前記被せたウィンドウが境界ウィンドウかまたは非境界ウィンドウかを判断する（ｃ）段階と、前記被せたウィンドウが前記境界ウィンドウの場合、前記境界ウィンドウに含まれたすべての画素に対するヒストグラムを求める（ｄ）段階と、前記被せたウィンドウが前記非境界ウィンドウの場合、前記非境界ウィンドウが移動前のウィンドウと重畳しない前記非境界ウィンドウの画素に対して第１の仮想ヒストグラムを求め、前記非境界ウィンドウと重畳しない前記前のウィンドウの画素に対して第２の仮想ヒストグラムを求める（ｅ）段階と、前記第１の仮想ヒストグラムを前記前のウィンドウのヒストグラムに加算するとともに、前記第２の仮想ヒストグラムを前記前のウィンドウのヒストグラムから減算して、前記非境界ウィンドウに対するヒストグラムを求める（ｆ）段階と、前記（ｄ）または前記（ｆ）段階で求めた前記ヒストグラムから変換関数を求める（ｇ）段階と、前記変換関数を用いて前記被せたウィンドウに含まれた画素のうち所定数の画素に対するヒストグラム等化値を求める（ｈ）段階と、前記ウィンドウが前記等化画像面上に被せる最後のウィンドウなのかを判断する（ｉ）段階と、前記ウィンドウが前記等化画像面上に被せる前記最後のウィンドウでなければ、前記ウィンドウの次のウィンドウを前記前の画素数まで移動し、前記（ｂ）段階に戻る（ｊ）段階、および前記ウィンドウが前記等化画像面上に被せる前記最後のウィンドウであれば、前記（ｈ）段階で求めたすべての前記ヒストグラム等化値を前記等化画像面のヒストグラム等化した値として決定する（ｋ）段階からなる。ここで、前記ウィンドウと前記移動したウィンドウの所定部分は相互重畳し、且つ前記所定数の画素は前記重畳する部分に含まれるのが望ましく、現在のウィンドウに対するヒストグラムを前のウィンドウに対するヒストグラムを用いて求めるが故に、計算量を低減できる。
【０００８】
前記第３の技術的課題を果たすため、本発明に係る画像処理システムのコントラスト拡張装置において、ヒストグラム等化装置は、前記画像データを保存し、第１のアドレス信号に応じてウィンドウに含まれた画素に対する第１の画素データを出力し、第２のアドレス信号に応じて前記画素のうち第１の所定数の画素に対する第２の画素データを出力する画像データ保存手段と、前記第１の画素データを入力してヒストグラムを生成するヒストグラム演算手段と、前記ヒストグラムの頻度を累算し、その累算した値を使って計算した前記第１の画素データに対する等化値のうち前記第１の所定数の等化値を前記第２の画素データに応じてヒストグラム等化値として出力する等化値生成手段と、前記ヒストグラム等化値を保存し、その保存したすべてのヒストグラム等化値を前記画像データのヒストグラム等化した値として出力する等化値保存手段と、前記画像面上に被せた前記ウィンドウの移動画素の数およびサイズに応じて前記第１のアドレス信号を生じ、前記第１の所定数に応じて前記第２のアドレス信号を生じる制御手段とからなる。ここで、重畳するウィンドウに画像面を分割してヒストグラム等化を行うので、頻度の低い画素のコントラスト損失を防ぐことができ、さらにルックアップテーブルでヒストグラム等化値を出力するように制御する画素データを低域通過フィルタリングするので、増幅される熱雑音もしくは量子化雑音をなくすにより、優れた画質を得ることができる。
【０００９】
前記第４の技術的課題を果たすため、本発明に係る画像処理システムのコントラスト拡張装置におけるヒストグラム等化装置は、前記画像データを保存し、第１のアドレス信号に応じて境界ウィンドウに含まれたすべての画素に対する第１の画素データを出力するか、非境界ウィンドウの前のウィンドウと重畳しない前記非境界ウィンドウに含まれた画素、および前記非境界ウィンドウと重畳しない前記前のウィンドウに含まれた画素に対する第２の画素データを第２のアドレス信号に応じて出力するか、または前記非境界ウィンドウと前記前のウィンドウに重畳する画素の中で第１の所定数の画素に対する第３の画素データを第３のアドレス信号に応じて出力するイメージデータ保存手段と、第１の制御信号に応じて前記第１の画素データからヒストグラムを生成するか、第２の制御信号に応じて前記第２の画素データから生成した仮想ヒストグラムを前記以前ウィンドウのヒストグラムと加算／減算して、その加算／減算した結果を前記ヒストグラムとして出力するヒストグラム演算手段と、前記ヒストグラムの頻度を累算し、その累算した値を使って計算した前記境界ウィンドウまたは前記非境界ウィンドウに含まれたすべての画素の等化値のうち前記第１の所定数の等化値を前記第３の画素データに応じてヒストグラム等化値として出力する等化値生成手段と、前記ヒストグラム等化値を保存し、その保存したすべてのヒストグラム等化値を前記画像データのヒストグラム等化した値として出力する等化値保存手段と、前記画像面上に被せた前記ウィンドウの移動方向、移動画素の数およびサイズに応じて、前記ヒストグラム等化するウィンドウが前記境界ウィンドウの時に前記第１のアドレス信号および前記第１の制御信号を生じ、前記非境界ウィンドウの時に前記第２のアドレス信号および前記第２の制御信号を生じ、前記第１の所定数に応じて前記第３のアドレス信号を生じる制御手段とからなる。ここで、現在のウィンドウに対するヒストグラムを前のウィンドウに対するヒストグラムを用いて求めるので、計算量を低減できる。
【００１０】
【発明の実施の形態】
次に、添付図面を参照して本発明による画像処理システムのコントラスト拡張装置におけるヒストグラム等化方法およびその装置の実施の形態を詳細に説明する。
図１を参照すると、本発明によるヒストグラム等化方法の一実施の形態が示されており、以下同図を用いて本発明の実施の形態１を説明する。
【００１１】
〔第１の実施の形態〕
図１は本発明に係るヒストグラム等化方法の第１の実施の形態を説明するためのフローチャートである。すなわち、図１には、ヒストグラム等化を行う準備をした上でウィンドウを被せる段階（ステップ１０およびステップ１２）、ヒストグラムを求める段階（ステップ１４およびステップ１６）、変換関数を求めて所定数の画素に対する等化値を求める段階（ステップ１８〜ステップ２４）および最後のウィンドウかにより、ウインドウを移動するか、それともヒストグラム等化値を決定する段階（ステップ２６〜ステップ３０）からなる。
【００１２】
図１において、まず、ヒストグラム等化のための準備をする（ステップ１０）。Ａ×Ｂ（横画素の数×縦画素の数）のサイズの１つの画像面でヒストグラム等化する画像面を“等化画像面”という。ここで、等化画像面のサイズＮ×Ｍ（横画素の数×縦画素の数）が画像面の全面であるか、それとも１面であるか、すなわち、画像面を全体的にヒストグラム等化するか、それとも局部的に等化するかを決定する。そして、等化画像面に被せるウィンドウのサイズをＰ×Ｑ（横画素の数×縦画素の数）、例えば１１×１１〜４１×４１（横画素の数×縦画素の数）から選択する。このとき、ウィンドウの移動する移動画素の数ＦをＰより小さい値、すなわち、移動する前のウィンドウと移動した後のウィンドウとが重なるように決定する。ステップ１０で、等化画像面に被せるウィンドウの数Ｃが次の式１から得られる。
【００１３】
【数１】
ここで、式１で用いたＤおよびＥは等化画像面の列数および行数をそれぞれ示す。
【００１５】
ステップ１０の後、初めに第１番目のウィンドウを等化画像面に被せる（ステップ１２）。ステップ１２の後、第１番目のウィンドウに含まれるＰ×Ｑの画素データから第１番目のヒストグラムを求める（ステップ１４およびステップ１６）。画素データは各画素の輝度（または輝度値）情報がＫ種の異なる値で表わされ、Ｐ×Ｑ個の画素データそれぞれの輝度が検出される（ステップ１４）。ステップ１４の後、Ｋ種の相異なる輝度それぞれに対する頻度を計算し、その計算した値を第１番目のヒストグラムとして決定する（ステップ１６）。
【００１６】
ステップ１６の後、第１番目のヒストグラムを用いて第１番目の変換関数を求める（ステップ１８）。すなわち、Ｘ−Ｙ座標系において、Ｘ軸を輝度値、Ｙ軸を累積値とし、Ｋ種の輝度情報の頻度をＸ軸の進行方向に進めながら累積してＸ−Ｙ座標に示して第１番目の関数を求めた後、第１番目の関数のＹ軸をＫ種の相異なる輝度値に均等に分割する。これにより、Ｘ軸は輝度値として、またＹ軸は分割した輝度値として、それぞれ示された第１番目の変換関数が求められる。
【００１７】
ステップ１８の後、第１番目のウィンドウに含まれた画素のうちＴ個の画素に対するヒストグラム等化値を変換関数を用いて求める（ステップ２０〜２４）。ここで、Ｔ個の画素は隣接する第２番目のウィンドウと重畳する部分に含まれる画素である。まず、第１番目のウィンドウに含まれたすべての画素それぞれに対する等化値を求める（ステップ２０）。すなわち、各画素の画素データを変換関数に代入すれば、Ｋ個の相異なる輝度値として示される等化値が得られる。
【００１８】
ステップ２０の後、第１ウィンドウのすべての画素の等化値のうち、Ｔ個の画素それぞれの該当等化値を第１ウィンドウの第１ヒストグラム等化値として求める（ステップ２２および２４）。すなわち、画像データがＭＰＥＧにより圧縮されたデータの場合、Ｋ個の画素データを低域通過フィルタリングする（ステップ２２）。これは、ＭＰＥＧにより圧縮および復元されたデータはコントラスト拡張により量子化雑音が増幅されるので、その増幅した量子化雑音を無くすためである。たとえ、画像データがＭＰＥＧにより圧縮および復元されたデータでないとしても、画像データを低域通過フィルタリングすることにより熱雑音（THERMAL NOISE)を無くすことができる。ステップ２２の後、フィルタリングしたＴ個の画素データに基づいてステップ２０で求めた等化値のうちＴ個の第１ヒストグラム等化値を求める（ステップ２４）。
【００１９】
ステップ２４の後、等化画像面に被せたウィンドウが最後のウィンドウである第Ｃ番目のウィンドウであるかを判断する（ステップ２６）。現在の等化画像面に被せたウィンドウは第１番目のウィンドウなので、第１番目のウィンドウをＦだけ水平または垂直方向に移動する（ステップ２８）。ステップ２８の後、第（Ｃ−１）番目のウィンドウを移動して第Ｃ番目のウィンドウとした時、第２番目のウィンドウを等化画像面に被せる（ステップ１２）。通常、画素データの有効な保存および管理のため、ウィンドウは等化画像面上の左側の上から右側の下に向って水平方向に被せていく。
【００２０】
ステップ１２の後、第１番目のヒストグラムおよび第１番目の変換関数を求めた方法と同じ方法で第２番目のヒストグラム等化値を求める（ステップ１４および２４）。ステップ２４の後、最後のウィンドウが第Ｃ番目のウィンドウなのかどうかを判断する（ステップ２６）。
【００２１】
以上述べたように、上記のステップを繰返して第Ｃ番目のヒストグラム等化値を求めたならば、すなわち、等化画像面に被せたウィンドウが第Ｃ番目のウィンドウの場合、第１〜第Ｃ番目のヒストグラム等化値を等化画像面のヒストグラム等化した値として決定する（ステップ３０）。
【００２２】
次に、図２を用いて本発明に係る他の実施の形態である第２の実施の形態のヒストグラム等化方法につき説明する。
〔第２の実施の形態〕
図２は、本発明に係る第２の実施の形態のヒストグラム等化方法を説明するためのフローチャートである。第２の実施の形態では、ヒストグラム等化を準備してウィンドウを被せる段階（ステップ４０および４２）、ウィンドウの種類によってそれぞれ異なるヒストグラムを求める段階（ステップ４４〜５０）、変換関数を求めて各ウィンドウに対しＴ個のヒストグラム等化値を求める段階（ステップ５２〜５８）および最後のウィンドウであるかによってウインドウを移動するか、すべてのヒストグラム等化値を決定する段階（ステップ６０〜６４）からなる。
【００２３】
図２に示したステップ４０および４２は、図１に示したステップ１０および１２と同一な過程を経る。
ウィンドウを水平方向の等化画像面に被せるときに等化画像面上の最左側の列に位置する画素を含んだウィンドウを境界ウィンドウとし、それ以外のウィンドウを非境界ウィンドウとする。なお、境界ウィンドウは最左側の列に位置する画素を含んだウィンドウに限定されるものではなく、例えばウィンドウを垂直方向の等化画像面に被せる場合には、等化画像面上の最上側に位置する画素を含んだウィンドウを境界ウィンドウとし、それ以外のウィンドウを非境界ウィンドウとしてもよい。
【００２４】
ステップ４２の後、現在の等化画像面に被せたウィンドウが境界ウィンドウか、または非境界ウィンドウかを判断する（ステップ４４）。もし、現在の等化画像面に被せるウィンドウが境界ウィンドウであれば、境界ウィンドウに含まれたすべての画素に対するヒストグラムをステップ１４およびステップ１６で行った過程と同一な過程を経て求める（ステップ４６）。
【００２５】
一方、現在の等化画像面に被せるウィンドウが非境界ウィンドウであれば、次のように非境界ウィンドウのヒストグラムを求める（ステップ４８および５０）。非境界ウィンドウの移動前のウィンドウを以前のウィンドウとしたとき、非境界ウィンドウの画素のうち以前のウィンドウと重畳しない画素を第１の仮想ヒストグラムとして求め、また以前のウィンドウの画素のうち現在の非境界ウィンドウと重畳しない画素を第２の仮想ヒストグラムとしてそれぞれ求める。すなわち、第（Ｃ−１）番目のウィンドウと第Ｃ番目のウィンドウとに含まれたすべての画素のうち、重畳しない画素に対するヒストグラムを仮想ヒストグラムとしてそれぞれ求める（ステップ４８）。ステップ４８の後、第１の仮想ヒストグラムを以前のウィンドウに対するヒストグラムに加算し、第２の仮想ヒストグラムを以前のウィンドウに対するヒストグラムから減算し、その加算および減算したヒストグラムを現在の非境界ウィンドウのヒストグラムとする（ステップ５０）。
【００２６】
ステップ４６または５０の後、ステップ１８〜３０で行われた過程と同一な過程を経て各ウィンドウ別にヒストグラム等化値を求め、その求められたすべてのヒストグラム等化値を等化画像面のヒストグラム等化した値として決定する（ステップ５２〜６４）。
【００２７】
前述したＴは、現在被せるウィンドウが境界ウィンドウか非境界ウィンドウかによって相異なる値を有する。すなわち、現在のウィンドウが境界ウィンドウの場合より非境界ウィンドウの場合に、Ｔの値がさらに小さくなる。
【００２８】
図３は、本発明に係る等化画像面のヒストグラム等化方法を説明するための、例示的な等化画像面の一部を示した図である。
本発明への理解を助けるため、ウィンドウのサイズが３×３で、水平方向にウィンドウが移動し、移動画素の数が１つで、輝度値の種類のＫを１０としたとき、図１および図２でそれぞれ行われるヒストグラム等化過程を以下に説明する。
【００２９】
図３に図示のように、等化画像面の１面７０は、細い点線で示した第１のウィンドウ７２と太い実線で示した第２のウィンドウ７４とに分割され、且つ第１のウィンドウ７２と第２のウィンドウ７４は相互重畳した画素データ６，２，１，９，４および２を有する。ここで、第１，第２のウィンドウ７２，７４に含まれた各画素データは０ないし９の輝度のうち何れか１つの輝度を有する。
【００３０】
図１に図示の方法により、第１および第２のウィンドウの第１および第２のヒストグラムおよび第１および第２の変換関数を求めれば、次の表１の通りである。
【００３１】
【表１】
一方、図２に示した方法により、第１ウィンドウおよび第２ウィンドウのヒストグラムを求めるためには、まず、図１に図示と同一な方法で境界ウィンドウである第１ウィンドウ７２の第１ヒストグラムを表１のように求める。次に、非境界ウィンドウである第２ウィンドウ７４に移動したとき、第１ウィンドウ７２と重畳しないの画素データ３，７および８の発生回数（前述の第２の仮想ヒストグラム）を求め第１ヒストグラムより減算する。そして、第１ウィンドウ７２と重畳しない第２ウィンドウ７４の画素データ５，２および７の発生回数（前述の第１の仮想ヒストグラム）を第１のヒストグラムに加算する。このような処理を行うことによって、表１に示した第２ウィンドウの第２ヒストグラムを少量の演算量で求めることができる。
【００３３】
図１または図２に図示の方法により第１および第２ヒストグラムを求めた後、これらを以て変換関数を求める。次に、第１ウィンドウ７２の真ん中に位置するＴ＝１個の画素データ２に対するヒストグラム等化値を変換関数を以て求め、第２ウィンドウ７４の中央に位置する画素データ４に対するヒストグラム等化値を変換関数を以てそれぞれ求める。この際、画素データ３，７，６，８および１に対するヒストグラム等化値は第１ウィンドウ７２の変換関数を以て求める。
【００３４】
次に、本発明に係るヒストグラム等化装置の構成およびその動作を、第３の実施の形態として添付した図面に基づき説明する。
〔第３の実施の形態〕
図４は、図１に示した本発明に係るヒストグラム等化方法を行う本発明による望ましい一実施の形態のヒストグラム等化装置のブロック図である。すなわち、この実施の形態によるヒストグラム等化装置は、画像データ記憶部８０、ヒストグラム演算部８２をなす比較器８４およびカウンター８６、等化値生成部８８をなす累算器９０と変換関数実行部９２とルックアップテーブル（ＬＵＴ：Look Up Table)９４と低域通過フィルター（ＬＰＦ：Low Pass Filter)９６とスイッチ９８、等化値記憶部１００および制御部１０２からなる。
【００３５】
図４に示した画像データ記憶部８０は、Ａ×Ｂのサイズ、すなわち、Ａ×Ｂ個の画素データからなるデジタル画像データ（Ｙ：輝度信号）を入力端子ＩＮ１を通じてフレームもしくはフィールド単位で入力して保存し、制御部１０２から出力する第１アドレス信号ＡＤ１に応じてウィンドウに含まれるすべての第１画素データを出力し、第２アドレス信号ＡＤ２に応じて画素のうちＴ個の画素に対する第２画素データを出力する。
【００３６】
ヒストグラム演算部８２は、画像データ記憶部８０から出力される第１画素データの輝度を検出し、Ｋ個の相異なる輝度それぞれに対する発生回数を検出した輝度から計算し、その計算された値をヒストグラムとして出力する。そのために、比較器８４は、入力した第１画素データを、画素の輝度をそれぞれ示すＫ個の相異なる比較値と比較し、Ｋ個の比較した結果を第１〜Ｋのカウント制御信号としてカウンター８６に出力する。カウンター８６は、第１〜Ｋのカウント制御信号をカウントするＫ個のカウンターからなり、制御部１０２から出力される制御信号Ｃに応じて、最終的にカウントされた値をヒストグラムとして等化値生成部８８の累算器９０に出力する。この時、制御部１０２は各ウィンドウのすべての画素データをＫ個の比較値と比較時に制御信号を発生する。
【００３７】
等化値生成部８８は、カウンター８６から出力されるヒストグラムを累算し、その累算した値を使ってウィンドウに含まれたすべての画素のヒストグラム等化値を計算し、画像データ記憶部８０から入力した第２画素データに応じて当該Ｔ個のヒストグラム等化値を出力する。そのために、累算器９０は、最後にカウントされたカウンター値、すなわち、ヒストグラムを入力して各輝度の頻度を累算する。変換関数実行部９２は、累算器９０におけるＸ−Ｙ座標系で累算した値をＹ軸に、Ｋ個の輝度をＸ軸とする所定関数を求めてから、所定関数のＹ軸で最大の累算値と最小の累算値との間をＫ個に分割し変換関数を生成し、生成した変換関数を乗算および割り算動作により行い、その行われた結果を各ウィンドウの画素それぞれに対するヒストグラム等化値として出力する。ＬＵＴ９４は、変換関数実行部９２から出力されるヒストグラム等化値をＬＵＴ９４のアドレスに相当するＫ個の輝度にＬＵＴ９４のデータとして保存し、その保存したヒストグラム等化値のうちＴ個の画素をＬＵＴ９４のアドレスに相当する第２画素データに応じて等化値記憶部１００に出力する。
【００３８】
このとき、上記した理由のため、第２画素データは低域通過フィルター９６で選択的にフィルタリングされ、そのフィルタリングされた第２画素データはスイッチ９８に印加される。スイッチ９８は、制御部１０２から出力されるスイッチング信号に応じて、フィルタリングした第２の画素データまたはフィルタリングしなかった第２の画素データをＬＵＴ９４に選択的に出力する。制御部１０２は、入力端子ＩＮ１を通じて入力される画像データがＭＰＥＧにより圧縮されてから復元されたデータのときには、スイッチ９８でフィルタリングした第２の画素データを選択するように制御する。
【００３９】
等化値記憶部１００は、等化値生成部８８から順次にＴ個ずつ入力されるヒストグラム等化値を保存し、その保存したＣ×Ｔ個のヒストグラム等化値を画像データのヒストグラム等化した値として等化値出力の制御信号に応じて出力端子ＯＵＴを通じて出力する。
【００４０】
一方、制御部１０２は、ヒストグラム等化する画像面のサイズ、画像面上に被せるウィンドウの移動方向、すなわち、水平方向かそれとも垂直方向か、ウィンドウが移動する量である移動画素の数およびウィンドウのサイズなどを示す情報を入力端子ＩＮ２を通じて入力し、入力した情報に応じて第１アドレス信号を発生する半面、各ウィンドウより抽出するヒストグラム等化値の数Ｔに応じて第２アドレス信号を生じる。
【００４１】
〔第５の実施の形態〕
図５は、図２に示したヒストグラム等化方法を行う本発明による他の実施の形態のヒストグラム等化装置のブロック図である。この実施の形態によるヒストグラム等化装置は、画像データ記憶部１２０、ヒストグラム演算部１２２をなす比較器１２４およびカウンター１２６、等化値生成部１２８をなす累算器１３２と変換関数実行部１３４とＬＵＴ１３６と低域通過フィルター１３６およびスイッチ１３８と、等化値保存部１４０、および制御部１４２からなる。
【００４２】
図５に図示の画像データ保存部１２０は、入力端子ＩＮ１を通じてＡ×Ｂ個の画素データからなる画像データをフレームもしくはフィールド単位で入力して保存する。画像データ保存部１２０は、制御部１４２から生ずる第１アドレス信号ＡＤ１に応じて境界ウィンドウに含まれたすべての画素に対する第１の画素データ、例えば、図３に図示の第１のウィンドウ７２に含まれた３，６，９，７，２，４，８，１および２を出力する。または、第２のアドレス信号ＡＤ２に応じて非境界ウィンドウに含まれた画素のうち以前のウィンドウと重畳しない画素に対する第２の画素データ、例えば、図３に図示の第２のウィンドウ７４の５，２および７と、境界ウィンドウに含まれた画素のうち非境界ウィンドウと重畳する画素に対する第３の画素データ、例えば、図３に図示の第１ウィンドウ７２の３，７および８を出力する。または、画像データ保存手段１２０は制御部１４２から出力される第３のアドレス信号ＡＤ３に応じて各ウィンドウに含まれた画素のうちＴ個の画素に対する第４の画素データをＬＵＴ１３４のアドレスとして出力する。
【００４３】
ヒストグラム演算部１２２は、画像データ保存部１２０から出力される第１の画素データより第１の制御信号Ｃ１に応じてヒストグラムを生成するか、アップおよびダウン制御信号の第２の制御信号Ｃ２に応じて第２および第３の画素データから生成した仮想ヒストグラムを前に生成したヒストグラムと加算および減算を行い、その加算および減算した値をヒストグラムとして出力する。そのために、比較器１２４は、第１画素データまたは第２および第３の画素データを画素の輝度をそれぞれ示すＫ個の比較値と比較し、Ｋ個の比較した結果を出力する。カウンター１２６はＫ個の比較した結果を第１の制御信号Ｃ１に応じてアップカウントし、第２の制御信号Ｃ２に応じて最後にカウントした値、すなわち、前のウィンドウのヒストグラムを初期値としてＫ個の比較した結果をアップもしくはダウンカウントし、最後のカウント値を制御部１４２から出力される制御信号Ｃ３に応じて、ヒストグラムとして等化値生成部１２８に出力する。
【００４４】
ここで、制御部１４２はヒストグラム等化する画像面のサイズ、画像面上に被せるウィンドウの移動方向、移動画素の数およびサイズなどを示す情報のそれぞれに応じて、ヒストグラム等化するウィンドウが境界ウィンドウのときに第１アドレス信号を生じ、非境界ウィンドウの時には第２アドレス信号を生じる。さらに、画像データ記憶部１２０から第１または第２の画素データが出力される際にはアップカウント制御信号を、第３の画素データが出力される際にはダウンカウント制御信号を、第２の制御信号としてそれぞれ出力する。一方、制御部１４２は、第２および第３の画素データを比較器１２４で比較した時点で第３の制御信号を生じ、画像データの種類により制御信号Ｃ４を生じ、ＣおよびＫに応じて等化値記憶部１４０の出力を制御する第５の制御信号Ｃ５をそれぞれ出力する。
【００４５】
なお、図５に示した等化値生成部１２８および等化値記憶部１４０は、図４に示した等化値生成部８８および等化値記憶部１００とそれぞれ同一の動作を行う。
【００４６】
【発明の効果】
以上で説明した如く、本発明に係る画像処理システムのコントラスト拡張装置におけるヒストグラム等化方法および装置は、重畳するウィンドウに画像面を分割してヒストグラム等化を行う。これにより、低頻度の画素のコントラスト損失を防止できるとともに、全画像面もしくはその一面に対して選択的にヒストグラム等化を行うので、全体的、または局部的な画質の劣化を改善できる。また、ウィンドウのサイズおよび移動画素の数を自由に調節することにより、ヒストグラム等化の演算時間および画像信号の改良をも自由に調節でき、しかも現在のウィンドウに対するヒストグラムを前のウィンドウに対するヒストグラムを以て求めるので、計算量を減らすことができる。さらに、ルックアップテーブルでヒストグラム等化値が出力されるように制御する画素データを低域通過フィルタリングするので、増幅する熱雑音もしくは量子化雑音を無くし、優れた画質を得られるとともに、ウィンドウのサイズおよび移動画素の数を自由に調節することにより、ヒストグラム等化の演算時間および画像信号の改良程度をも自由に調節できる。
【図面の簡単な説明】
【図１】本発明に係る望ましい一実施の形態のヒストグラム等化方法を説明するためのフローチャートである。
【図２】本発明に係る他の実施の形態のヒストグラム等化方法を説明するためのフローチャートである。
【図３】例示的な等化画像面の一部を示した図である。
【図４】本発明に係る望ましい一実施の形態のヒストグラム等化装置を説明するためのブロック図である。
【図５】本発明に係る他の実施の形態のヒストグラム等化装置を説明するためのブロック図である。
【符号の説明】
８０、１２０ 画像データ記憶部
８２、１２２ ヒストグラム演算部
８４、１２４ 比較器
８６、１２６ カウンター
８８、１２８ 等化値生成部
９０、１３０ 累算器
９２、１３２ 変換関数実行部
９４、１３４ ルックアップテーブル
９６、１３６ 低域通過フィルター
９８、１３８ スイッチ
１００、１４０ 等化値記憶部
１０２、１４２ 制御部
Claims (27)
- 画像処理システムのコントラスト拡張装置における、画像面をヒストグラム等化するためのヒストグラム等化方法において、
（ａ）前記画像面のうちヒストグラム等化する画面の等化画像面のサイズ、前記等化画像面に被せるウィンドウのサイズ、および前記ウィンドウが移動する移動画素の数を決定する段階と、
（ｂ）移動、または移動しなかったウィンドウを前記等化画像面上に被せる段階と、
（ｃ）前記被せたウィンドウに含まれたすべての画素のヒストグラムを求める段階と、
（ｄ）前記ヒストグラムより変換関数を求める段階と、
（ｅ）前記すべての画素のうち所定数の画素に対するヒストグラム等化値を前記変換関数を用いて求める段階と、
（ｆ）前記ウィンドウが前記等化画像面上に被せる最後のウィンドウなのかを判断する段階と、
（ｇ）前記ウィンドウが前記等化画像面上に被せる前記最後のウィンドウでなければ、前記ウィンドウを前記移動画素の数だけ移動し、前記（ｂ）段階に戻る段階と、
（ｈ）前記ウィンドウが前記等化画像面上に被せる前記最後のウィンドウであれば、前記（ｅ）段階で求めたすべてのヒストグラム等化値を前記等化画像面のヒストグラム等化した値として決定する段階とを備え、
前記ウィンドウと前記移動したウィンドウの所定の部分は相互重畳し、さらに前記所定数の画素は前記重畳する部分に含まれることを特徴とする画像処理システムのコントラスト拡張装置におけるヒストグラム等化方法。 - 前記（ｃ）段階は、
前記被せたウィンドウに含まれたすべての画素それぞれに対する輝度情報を有する画素データから前記画素の輝度を検出する段階と、
前記すべての画素データから検出した前記輝度それぞれの回数を計算し、その計算した値を前記ヒストグラムとして決定する段階とを備えることを特徴とする請求項１に記載の画像処理システムのコントラスト拡張装置におけるヒストグラム等化方法。 - 前記等化画像面は、前記画像面の全面であることを特徴とする請求項１に記載の画像処理システムのコントラスト拡張装置におけるヒストグラム等化方法。
- 前記等化画像面は、前記画像面の一面であることを特徴とする請求項１に記載の画像処理システムのコントラスト拡張装置におけるヒストグラム等化方法。
- 前記ウィンドウは、前記等化画像面上で水平方向に移動することを特徴とする請求項１に記載の画像処理システムのコントラスト拡張装置におけるヒストグラム等化方法。
- 前記ウィンドウは、前記等化画像面上で垂直方向に移動することを特徴とする請求項１に記載の画像処理システムのコントラスト拡張装置におけるヒストグラム等化方法。
- 前記（ｅ）段階は、
（ｅ１）前記画素の明るさを表わす相異なる輝度値それぞれの当該等化値を前記変換関数を用いて求める段階と、
（ｅ２）前記変換関数を用いて得た等化値のうち前記ヒストグラム等化値の前記所定数の画素それぞれの該当等化値を前記所定数の画素それぞれの画素データに基づいて求める段階とを備えることを特徴とする請求項１乃至６のいずれか一項に記載の画像処理システムのコントラスト拡張装置におけるヒストグラム等化方法。 - 前記（ｅ２）段階は、
前記所定数の画素データを低域通過フィルタリングする段階と、
前記フィルタリングした画素データに基づいて前記等化値のうち前記ヒストグラム等化値を求める段階とを備えることを特徴とする請求項７に記載の画像処理システムのコントラスト拡張装置におけるヒストグラム等化方法。 - 画像処理システムのコントラスト拡張装置で、画像面をヒストグラム等化するためのヒストグラム等化方法において、
（ａ）前記画像面のうちヒストグラム等化する画面の等化画像面のサイズ、前記等化画像面に被せるウィンドウのサイズおよび前記ウィンドウが移動する移動画素の数を決定する段階と、
（ｂ）移動、または移動しなかったウィンドウを前記等化画像面上に被せる段階と、
（ｃ）前記被せたウィンドウが境界ウィンドウかまたは非境界ウィンドウかを判断する段階と、
（ｄ）前記被せたウィンドウが前記境界ウィンドウの場合、前記境界ウィンドウに含まれたすべての画素に対するヒストグラムを求める段階と、
（ｅ）前記被せたウィンドウが前記非境界ウィンドウの場合、この非境界ウィンドウが移動前のウィンドウと重畳しない前記非境界ウィンドウの画素に対して第１の仮想ヒストグラムを求め、前記非境界ウィンドウと重畳しない前記前のウィンドウの画素に対して第２の仮想ヒストグラムを求める段階と、
（ｆ）前記第１の仮想ヒストグラムを前記前のウィンドウのヒストグラムに加算するとともに、前記第２の仮想ヒストグラムを前記前のウィンドウのヒストグラムから減算して、前記非境界ウィンドウのヒストグラムを求める段階と、
（ｇ）前記（ｄ）または前記（ｆ）段階で求めた前記ヒストグラムから変換関数を求める段階と、
（ｈ）前記変換関数を用いて前記被せたウィンドウに含まれた画素のうち所定数の画素に対するヒストグラム等化値を求める段階と、
（ｉ）前記ウィンドウが前記等化画像面上に被せる最後のウィンドウなのかを判断する段階と、
（ｊ）前記ウィンドウが前記等化画像面上に被せる前記最後のウィンドウでなければ、前記ウィンドウの次のウィンドウを前記移動画素の数だけ移動し、前記（ｂ）段階に戻る段階と、
（ｋ）前記ウィンドウが前記等化画像面上に被せる前記最後のウィンドウであれば、前記（ｈ）段階で求めたすべての前記ヒストグラム等化値を前記等化画像面のヒストグラム等化した値として決定する段階とを備え、
前記ウィンドウと前記移動したウィンドウの所定部分は相互重畳し、且つ前記所定数の画素は前記重畳した部分に含まれることを特徴とする画像処理システムのコントラスト拡張装置におけるヒストグラム等化方法。 - 前記等化画像面は、前記画像面の全面であることを特徴とする請求項９に記載の画像処理システムのコントラスト拡張装置におけるヒストグラム等化方法。
- 前記等化画像面は、前記画像面の一面であることを特徴とする請求項９に記載の画像処理システムのコントラスト拡張装置におけるヒストグラム等化方法。
- 前記ウィンドウは、前記等化画像面上で水平方向に移動することを特徴とする請求項９に記載の画像処理システムのコントラスト拡張装置におけるヒストグラム等化方法。
- 前記ウィンドウは、前記等化画像面上で垂直方向に移動することを特徴とする請求項９に記載の画像処理システムのコントラスト拡張装置におけるヒストグラム等化方法。
- 前記（ｈ）段階は、
（ｈ１）前記画素の明るさを表わす相異なる輝度値それぞれに対する等化値を前記変換関数を用いて求める段階と、
（ｈ２）前記変換関数を用いて求めた等化値のうち前記ヒストグラム等化値を前記所定数の画素それぞれの画素データに基づいて求める段階とを備えることを特徴とする請求項９乃至１３のいずれか一項に記載の画像処理システムのコントラスト拡張装置におけるヒストグラム等化方法。 - 前記（ｈ２）段階は、
前記所定数の画素データを低域通過フィルタリングする段階と、
前記フィルタリングした画素データに基づいて前記等化値のうち前記ヒストグラム等化値を求める段階とを備えることを特徴とする請求項１４に記載の画像処理システムのコントラスト拡張装置におけるヒストグラム等化方法。 - 画像処理システムのコントラスト拡張装置で、画像面に対する画像データをヒストグラム等化するためのヒストグラム等化装置において、
前記画像データを保存し、第１のアドレス信号に応じてウィンドウに含まれた画素に対する第１の画素データを出力し、且つ第２のアドレス信号に応じて前記画素のうち第１の所定数の画素に対する第２の画素データを出力する画像データ保存手段と、
前記第１の画素データを入力してヒストグラムを生成するヒストグラム演算手段と、
前記ヒストグラムの頻度を累算し、その累算した値を使って計算した前記第１の画素データに対する等化値のうち、前記第１の所定数の等化値を前記第２の画素データに応じてヒストグラム等化値として出力する等化値生成手段と、
前記ヒストグラム等化値を保存し、その保存したすべてのヒストグラム等化値を前記画像データのヒストグラム等化した値として出力する等化値保存手段と、
前記画像面上に被せたウィンドウのサイズおよび前記ウィンドウが移動する量を示す移動画素の数に応じて前記第１のアドレス信号を生じ、移動前の以前のウィンドウと移動後の現在のウィンドウの重畳部分に相応する前記第１の所定数に応じて前記第２のアドレス信号を生じる制御手段と、を備えることを特徴とする画像処理システムのコントラスト拡張装置におけるヒストグラム等化装置。 - 前記ヒストグラム演算手段は、
前記第１の画素データを前記画素の明るさを表わす前記第２の所定数の比較値と比較し、前記第２の所定数の比較した結果を出力する比較手段と、
前記第２の所定数の比較した結果をカウントし、制御信号に応じて前記カウントした値を前記ヒストグラムとして前記等化値生成手段に出力するカウンターとを備え、
前記制御手段は前記すべての第１の画素データを前記比較手段で比較する時に前記制御信号を出力することを特徴とする請求項１６に記載の画像処理システムのコントラスト拡張装置におけるヒストグラム等化装置。 - 前記制御手段は、ヒストグラム等化する前記画像面のサイズに応じて、前記第１のアドレス信号を出力するのを制御することを特徴とする請求項１６に記載の画像処理システムのコントラスト拡張装置におけるヒストグラム等化装置。
- 前記制御手段は、前記ウィンドウの移動方向に応じて前記第１のアドレス信号を出力するのを制御することを特徴とする請求項１６に記載の画像処理システムのコントラスト拡張装置におけるヒストグラム等化装置。
- 前記等化値生成手段は、
前記ヒストグラムを入力して累算する累算手段と、
前記累算手段で累算した値を使って求めた変換関数を乗算および割り算動作により行い、その行われた結果を前記第１の画素データに対する等化値として出力する変換関数の実行手段と、
前記変換関数の実行手段から入力した前記等化値のうち、前記ヒストグラム等化値を前記第２の画素データに応じて前記等化値保存手段に出力するルックアップテーブルとを備えることを特徴とする請求項１６，１７，１８または１９に記載の画像処理システムのコントラスト拡張装置におけるヒストグラム等化装置。 - 前記等化値生成手段は、
前記画像データ保存手段から入力した前記第２の画素データを低域通過フィルタリングして前記ルックアップテーブルに出力する低域通過フィルターを更に備えることを特徴とする請求項２０に記載の画像処理システムのコントラスト拡張装置におけるヒストグラム等化装置。 - 画像処理システムのコントラスト拡張装置で、画像面に対するイメージデータをヒストグラム等化するためのヒストグラム等化装置において、
前記画像データを保存し、第１のアドレス信号に応じて境界ウィンドウに含まれたすべての画素に対する第１の画素データを出力するか、非境界ウィンドウの前のウィンドウと重畳しない前記非境界ウィンドウに含まれた画素、および前記非境界ウィンドウと重畳しない前記前のウィンドウに含まれた画素に対する第２の画素データを第２のアドレス信号に応じて出力するか、または前記非境界ウィンドウと前記前のウィンドウに重畳する画素のうち第１の所定数の画素に対する第３の画素データを第３のアドレス信号に応じて出力する画像データ保存手段と、
第１の制御信号に応じて前記第１の画素データからヒストグラムを生成するか、第２の制御信号に応じて前記第２の画素データから生成した仮想ヒストグラムを前記前のウィンドウのヒストグラムと加算／減算し、その加算／減算した結果を前記ヒストグラムとして出力するヒストグラム演算手段と、
前記ヒストグラムの頻度を累算し、その累算した値を使って計算した前記境界ウィンドウもしくは前記非境界ウィンドウに含まれたすべての画素の等化値のうち前記第１の所定数の等化値を前記第３の画素データに応じてヒストグラム等化値として出力する等化値生成手段と、
前記ヒストグラム等化値を保存し、その保存したすべてのヒストグラム等化値を前記画像データのヒストグラム等化した値として出力する等化値保存手段と、
前記画像面上に被せる前記ウィンドウのサイズ、前記ウィンドウの移動方向および前記ウィンドウが移動する量を示す移動画素の数の入力を受けて、前記ヒストグラム等化するウィンドウが前記境界ウィンドウの時には、前記第１のアドレス信号および前記第１の制御信号を生じ、前記ヒストグラム等化するウィンドウが前記非境界ウィンドウの時には、前記第２のアドレス信号および前記第２の制御信号を生じ、移動前の以前のウィンドウと移動後の現在のウィンドウの重畳部分に相応する前記第１の所定数に応じて前記第３のアドレス信号を生じる制御手段と、を備えることを特徴とする画像処理システムのコントラスト拡張装置におけるヒストグラム等化装置。 - 前記ヒストグラム演算手段は、
前記第１または前記第２の画素データを前記画素の明るさをそれぞれ表わす第２の所定数の比較値と比較し、前記第２の所定数の比較した結果を出力する比較手段と、
前記第２の所定数の比較した結果を前記第１の制御信号に応じてアップカウントし、前記第２の制御信号に応じて、前記前のウィンドウのヒストグラムを初期値として前記第２の所定数の比較した結果をアップおよびダウンカウントし、第３の制御信号に応じて、前記カウントした値を前記ヒストグラムとして前記等化値生成手段に出力するカウンターとを備え、
前記制御手段は前記第１の画素データまたは前記第２の画素データのすべてを前記比較手段で比較した際に前記第３の制御信号を出力することを特徴とする請求項２２に記載の画像処理システムのコントラスト拡張装置におけるヒストグラム等化装置。 - 前記制御手段は、前記ウィンドウの移動方向に応じて前記第１のアドレス信号を出力することを特徴とする請求項２２に記載の画像処理システムのコントラスト拡張装置におけるヒストグラム等化装置。
- 前記制御手段は、
前記ヒストグラム等化する前記画像面のサイズに応じて、前記第１および前記第２のアドレス信号と前記第１および前記第２の制御信号とを生じることを特徴とする請求項２２に記載の画像処理システムのコントラスト拡張装置におけるヒストグラム等化装置。 - 前記等化値生成手段は、
前記ヒストグラムを入力して累算する累算手段と、
前記累算手段で累算した値を使って求めた変換関数を乗算および割り算動作により行い、その行われた結果を前記境界ウィンドウもしくは前記非境界ウィンドウに含まれた画素データに対する等化値として出力する変換関数実行手段と、
前記変換関数実行手段から入力した前記等化値のうち、前記ヒストグラム等化値を前記第３の画素データに応じて前記等化値保存手段に出力するルックアップテーブルとを備えることを特徴とする請求項２２，２３，２４または２５に記載の画像処理システムのコントラスト拡張装置におけるヒストグラム等化装置。 - 前記等化値生成手段は、
前記画像データ保存手段から入力した前記第３の画素データを低域通過フィルタリングして前記ルックアップテーブルに出力する低域通過フィルターを更に備えることを特徴とする請求項２６に記載の画像処理システムのコントラスト拡張装置におけるヒストグラム等化装置。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1997P-6231 | 1997-02-27 | ||
| KR1019970006231A KR100261214B1 (ko) | 1997-02-27 | 1997-02-27 | 영상처리 시스템의 콘트라스트 확장장치에서 히스토그램 등화방법 및 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10293843A JPH10293843A (ja) | 1998-11-04 |
| JP3810546B2 true JP3810546B2 (ja) | 2006-08-16 |
Family
ID=19498173
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP01560498A Expired - Fee Related JP3810546B2 (ja) | 1997-02-27 | 1998-01-28 | 画像処理システムのコントラスト拡張装置におけるヒストグラム等化方法およびその装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US6163621A (ja) |
| JP (1) | JP3810546B2 (ja) |
| KR (1) | KR100261214B1 (ja) |
| CN (1) | CN1178495C (ja) |
Families Citing this family (63)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6807298B1 (en) * | 1999-03-12 | 2004-10-19 | Electronics And Telecommunications Research Institute | Method for generating a block-based image histogram |
| US6687400B1 (en) * | 1999-06-16 | 2004-02-03 | Microsoft Corporation | System and process for improving the uniformity of the exposure and tone of a digital image |
| US6633657B1 (en) * | 1999-07-15 | 2003-10-14 | General Electric Company | Method and apparatus for controlling a dynamic range of a digital diagnostic image |
| JP3902894B2 (ja) * | 1999-10-15 | 2007-04-11 | 理想科学工業株式会社 | 画像処理装置及び画像処理方法 |
| EP1134698A1 (en) * | 2000-03-13 | 2001-09-19 | Koninklijke Philips Electronics N.V. | Video-apparatus with histogram modification means |
| CA2436988C (en) * | 2000-12-26 | 2008-12-23 | Honda Giken Kogyo Kabushiki Kaisha | Image processor |
| US6891672B2 (en) | 2001-02-27 | 2005-05-10 | The University Of British Columbia | High dynamic range display devices |
| US7084917B2 (en) * | 2001-07-18 | 2006-08-01 | Canon Kabushiki Kaisha | Image sensing apparatus for calculating a histogram of image data and its control method |
| US6947608B2 (en) * | 2002-01-25 | 2005-09-20 | Kabushiki Kaisha Toshiba | Equalizing circuit and method, and image processing circuit and method |
| EP1485904B1 (en) | 2002-03-13 | 2012-08-29 | Dolby Laboratories Licensing Corporation | High dynamic range display devices |
| US8687271B2 (en) | 2002-03-13 | 2014-04-01 | Dolby Laboratories Licensing Corporation | N-modulation displays and related methods |
| JP2004171301A (ja) * | 2002-11-20 | 2004-06-17 | Canon Inc | 画像処理方法及び装置 |
| DE10301898A1 (de) * | 2003-01-17 | 2004-08-05 | Robert Bosch Gmbh | Verfahren zur Einstellung eines Bildsensors |
| EP1460611A1 (en) * | 2003-03-17 | 2004-09-22 | Deutsche Thomson-Brandt Gmbh | Method and device for compensating the phosphor lag of display devices |
| SG118191A1 (en) * | 2003-06-27 | 2006-01-27 | St Microelectronics Asia | Method and system for contrast enhancement of digital video |
| EP1515274A1 (en) * | 2003-07-07 | 2005-03-16 | Sony International (Europe) GmbH | Method and apparatus for obtaining histograms from an image |
| WO2005027040A1 (ja) * | 2003-09-11 | 2005-03-24 | Matsushita Electric Industrial Co., Ltd. | 画像処理装置、画像処理方法および画像処理プログラム |
| KR101030872B1 (ko) * | 2003-09-11 | 2011-04-22 | 파나소닉 주식회사 | 시각 처리 장치, 시각 처리 방법, 화상 표시 장치, 텔레비젼, 정보 단말 장치, 카메라, 집적회로 및 기록 매체 |
| KR101089426B1 (ko) * | 2003-09-11 | 2011-12-07 | 파나소닉 주식회사 | 시각 처리 장치, 시각 처리 방법, 시각 처리 프로그램 및 반도체 장치 |
| US7783126B2 (en) * | 2003-09-11 | 2010-08-24 | Panasonic Corporation | Visual processing device, visual processing method, visual processing program, and semiconductor device |
| US7532755B2 (en) * | 2004-01-22 | 2009-05-12 | Lexmark International, Inc. | Image classification using concentration ratio |
| US7515748B2 (en) * | 2004-01-22 | 2009-04-07 | Lexmark International, Inc. | Controlled moving window adaptive histogram equalization |
| US20060013503A1 (en) * | 2004-07-16 | 2006-01-19 | Samsung Electronics Co., Ltd. | Methods of preventing noise boost in image contrast enhancement |
| US7760961B2 (en) * | 2004-10-15 | 2010-07-20 | Caba Moldvai | Adaptive contrast enhancement |
| US7573533B2 (en) | 2004-10-15 | 2009-08-11 | Genesis Microchip Inc. | Method of generating transfer curves for adaptive contrast enhancement |
| US20060274937A1 (en) * | 2005-06-07 | 2006-12-07 | Eric Jeffrey | Apparatus and method for adjusting colors of a digital image |
| US7613363B2 (en) * | 2005-06-23 | 2009-11-03 | Microsoft Corp. | Image superresolution through edge extraction and contrast enhancement |
| US8594445B2 (en) * | 2005-11-29 | 2013-11-26 | Adobe Systems Incorporated | Fast bilateral filtering using rectangular regions |
| US7783121B1 (en) * | 2005-11-29 | 2010-08-24 | Adobe Systems Incorporated | Method and apparatus for applying a filter to an image with a large range of pixel values |
| US20080310708A1 (en) * | 2005-12-21 | 2008-12-18 | Koninklijke Philips Electronics, N.V. | Method for Improving Image Viewing Properties of an Image |
| US7991225B2 (en) * | 2006-03-03 | 2011-08-02 | University Of Alaska | Methods and systems for dynamic color equalization |
| TWI318534B (en) * | 2006-03-23 | 2009-12-11 | Novatek Microelectronics Corp | Method for processing brightness of an image and related device |
| EP1840831A1 (en) * | 2006-03-31 | 2007-10-03 | Sony Deutschland Gmbh | Adaptive histogram equalization for images with strong local contrast |
| CN100568926C (zh) * | 2006-04-30 | 2009-12-09 | 华为技术有限公司 | 自动曝光控制参数的获得方法及控制方法和成像装置 |
| JP2007329700A (ja) * | 2006-06-08 | 2007-12-20 | Sony Corp | 映像信号処理装置、映像表示装置および映像表示方法 |
| JP2009545355A (ja) * | 2006-07-31 | 2009-12-24 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 画像データセットのスケールベースで可視化する方法、装置、及びコンピュータ可読媒体 |
| ES2893327T3 (es) * | 2007-02-01 | 2022-02-08 | Dolby Laboratories Licensing Corp | Calibración de visualizadores que tienen luz de fondo espacialmente variable |
| US8041137B2 (en) * | 2007-03-06 | 2011-10-18 | Broadcom Corporation | Tiled output mode for image sensors |
| US20080247665A1 (en) * | 2007-04-04 | 2008-10-09 | Silicon Integrated Systems Corp. | Method and apparatus for dynamic contrast enhancement |
| KR100944595B1 (ko) * | 2007-04-24 | 2010-02-25 | 가부시끼가이샤 르네사스 테크놀로지 | 표시 장치, 표시 장치 구동 회로, 화상 표시 방법, 전자기기 및 화상 표시 장치 구동 회로 |
| US8355595B2 (en) * | 2007-05-15 | 2013-01-15 | Xerox Corporation | Contrast enhancement methods and apparatuses |
| US7675524B1 (en) | 2007-05-17 | 2010-03-09 | Adobe Systems, Incorporated | Image processing using enclosed block convolution |
| US20080292216A1 (en) * | 2007-05-24 | 2008-11-27 | Clive Walker | Method and system for processing images using variable size tiles |
| US9058668B2 (en) * | 2007-05-24 | 2015-06-16 | Broadcom Corporation | Method and system for inserting software processing in a hardware image sensor pipeline |
| US20080292219A1 (en) * | 2007-05-24 | 2008-11-27 | Gary Keall | Method And System For An Image Sensor Pipeline On A Mobile Imaging Device |
| US7920741B2 (en) | 2007-05-31 | 2011-04-05 | Adobe Systems Incorporated | System and method for image processing using integral histogram convolution |
| US7889923B1 (en) | 2007-05-31 | 2011-02-15 | Adobe Systems Incorporated | System and method for sparse histogram merging |
| US8806321B2 (en) * | 2007-06-26 | 2014-08-12 | Oracle International Corporation | Interactive controls and information visualization using histogram equalization |
| US8411983B2 (en) * | 2007-08-31 | 2013-04-02 | Ati Technologies Ulc | Method and apparatus for producing a contrast enhanced image |
| US20090322800A1 (en) | 2008-06-25 | 2009-12-31 | Dolby Laboratories Licensing Corporation | Method and apparatus in various embodiments for hdr implementation in display devices |
| US8655097B2 (en) | 2008-08-22 | 2014-02-18 | Adobe Systems Incorporated | Adaptive bilateral blur brush tool |
| US8315473B1 (en) | 2008-08-22 | 2012-11-20 | Adobe Systems Incorporated | Variably fast and continuous bilateral approximation filtering using histogram manipulations |
| US20100214282A1 (en) | 2009-02-24 | 2010-08-26 | Dolby Laboratories Licensing Corporation | Apparatus for providing light source modulation in dual modulator displays |
| TWI408619B (zh) * | 2009-11-16 | 2013-09-11 | Inst Information Industry | 影像對比提昇裝置及其方法 |
| US8547481B2 (en) * | 2010-12-20 | 2013-10-01 | Texas Instruments Incorporated | Apparatus and method for black bar detection in digital TVs and set-top boxes |
| RU2595615C1 (ru) * | 2015-06-26 | 2016-08-27 | Общество с ограниченной ответственностью "Вокорд СофтЛаб" | Способ улучшения цифровых растровых изображений методом локального выравнивания яркости |
| TWI591583B (zh) * | 2016-04-13 | 2017-07-11 | 瑞昱半導體股份有限公司 | 影像對比增強方法及其裝置 |
| KR102552747B1 (ko) * | 2016-06-28 | 2023-07-11 | 주식회사 엘엑스세미콘 | 역 톤 매핑 방법 |
| KR102615070B1 (ko) * | 2016-10-12 | 2023-12-19 | 삼성전자주식회사 | 디스플레이 장치, 및 그 제어방법 |
| EP3503018A1 (en) | 2017-12-22 | 2019-06-26 | Vestel Elektronik Sanayi ve Ticaret A.S. | Adaptive local contrast enhancement zone for scaled videos |
| CN108924525B (zh) * | 2018-06-06 | 2021-07-06 | 平安科技（深圳）有限公司 | 图像亮度调整方法、装置、计算机设备及存储介质 |
| CN109658363A (zh) * | 2018-10-22 | 2019-04-19 | 长江大学 | 子块自适应融合的多层子块重叠直方图均衡方法及系统 |
| CN113034452B (zh) * | 2021-03-15 | 2022-09-27 | 南京理工大学 | 一种焊件轮廓检测方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3983320A (en) * | 1975-08-25 | 1976-09-28 | Hughes Aircraft Company | Raster display histogram equalization |
| DE3107901A1 (de) * | 1981-03-02 | 1982-09-16 | Siemens AG, 1000 Berlin und 8000 München | Digitale echtzeit-fernseh-bildverarbeitungseinrichtung |
| IL87306A0 (en) * | 1988-08-02 | 1989-01-31 | Technion Res & Dev Foundation | Wide dynamic range camera |
| US5388168A (en) * | 1990-11-19 | 1995-02-07 | Matsushita Electric Industrial Co., Ltd. | Picture quality improving circuit using a cumulative histogram |
| US5204910A (en) * | 1991-05-24 | 1993-04-20 | Motorola, Inc. | Method for detection of defects lacking distinct edges |
| US5588071A (en) * | 1994-10-26 | 1996-12-24 | Minnesota Mining And Manufacturing Company | Identifying an area of interest using histogram data arranged in predetermined sequence |
-
1997
- 1997-02-27 KR KR1019970006231A patent/KR100261214B1/ko not_active IP Right Cessation
-
1998
- 1998-01-09 CN CNB981036244A patent/CN1178495C/zh not_active Expired - Fee Related
- 1998-01-28 JP JP01560498A patent/JP3810546B2/ja not_active Expired - Fee Related
- 1998-02-27 US US09/032,223 patent/US6163621A/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| KR100261214B1 (ko) | 2000-07-01 |
| JPH10293843A (ja) | 1998-11-04 |
| KR19980069251A (ko) | 1998-10-26 |
| CN1178495C (zh) | 2004-12-01 |
| CN1192104A (zh) | 1998-09-02 |
| US6163621A (en) | 2000-12-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3810546B2 (ja) | 画像処理システムのコントラスト拡張装置におけるヒストグラム等化方法およびその装置 | |
| JP3828251B2 (ja) | 映像のダイナミックレンジ拡大装置 | |
| CN110418065B (zh) | 高动态范围图像运动补偿方法、装置及电子设备 | |
| EP1924097A1 (en) | Motion and scene change detection using color components | |
| JP2001204045A (ja) | 動き検出装置 | |
| JP2003009006A (ja) | 撮像方法および装置 | |
| JP3862621B2 (ja) | 画像処理装置、画像処理方法、及びそのプログラム | |
| JPH1127672A (ja) | ブロック符号化ディジタル映像の瑕疵低減用後処理方法および該方法実施用後処理装置 | |
| JP4118906B2 (ja) | 映像信号処理装置及び映像信号処理方法 | |
| JPH1117954A (ja) | 映像信号処理装置 | |
| JPH05153608A (ja) | 映像信号処理方法および装置 | |
| JP2921973B2 (ja) | 特定物体の画像抽出方法及び画像抽出装置 | |
| JP2853298B2 (ja) | テレビジョン信号の処理装置 | |
| JPH08280039A (ja) | ビデオ画像のフィルタ装置およびフィルタ方法 | |
| JP3401894B2 (ja) | 映像信号処理装置 | |
| CN1327690C (zh) | 一种视频图像缩放过程中的清晰度补偿方法 | |
| JPH0614218A (ja) | ノイズ低減装置 | |
| JPH044676A (ja) | ノイズ低減装置 | |
| JPS62171282A (ja) | 相関適応式雑音低減装置 | |
| JP4197821B2 (ja) | 画像処理装置 | |
| JPH0429477A (ja) | 動きベクトル検出装置及び画像ゆれ補正装置 | |
| JP4015071B2 (ja) | 画像処理装置、方法およびプログラム | |
| JP2776954B2 (ja) | 動き検出回路 | |
| JP2594987B2 (ja) | インターラインフリッカー除去回路 | |
| JP2024049798A (ja) | 画像処理装置、画像処理方法及びコンピュータプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051222 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060110 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060410 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060516 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060524 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100602 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110602 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |