JP3791029B2 - 画像信号処理装置および方法 - Google Patents
画像信号処理装置および方法 Download PDFInfo
- Publication number
- JP3791029B2 JP3791029B2 JP32835895A JP32835895A JP3791029B2 JP 3791029 B2 JP3791029 B2 JP 3791029B2 JP 32835895 A JP32835895 A JP 32835895A JP 32835895 A JP32835895 A JP 32835895A JP 3791029 B2 JP3791029 B2 JP 3791029B2
- Authority
- JP
- Japan
- Prior art keywords
- class classification
- bit
- classification information
- class
- target pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 title claims description 24
- 230000015654 memory Effects 0.000 claims description 24
- 230000002093 peripheral effect Effects 0.000 claims description 18
- 238000012935 Averaging Methods 0.000 claims description 13
- 238000000059 patterning Methods 0.000 claims description 4
- 238000003672 processing method Methods 0.000 claims description 3
- 230000000903 blocking effect Effects 0.000 description 27
- 101710163391 ADP-ribosyl cyclase/cyclic ADP-ribose hydrolase Proteins 0.000 description 25
- 238000006243 chemical reaction Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 16
- 238000004364 calculation method Methods 0.000 description 13
- 238000013139 quantization Methods 0.000 description 11
- 238000001514 detection method Methods 0.000 description 7
- 230000007850 degeneration Effects 0.000 description 6
- 230000003044 adaptive effect Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
- Controls And Circuits For Display Device (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、画像信号の輝度値をクラス分類適応処理を用いて補正するようにした画像信号処理装置および方法に関する。
【０００２】
【従来の技術】
通常、画像信号処理装置において、輝度補正は、画面内の輝度値の積分値（全受光量に相当する）を求め、これに応じてアンプのゲインを変化させることで輝度補正を行っていた。
【０００３】
【発明が解決しようとする課題】
しかしながら、空間内で見るとどの画素にも一定のゲインが掛かっており、暗い部分のみを明るくしたり、明るい部分のみを暗くしたり、という細かい補正を行うことができなかった。
【０００４】
従って、この発明の目的は、輝度分布のパターン分類に応じた輝度補正と、空間内のパターン分類および輝度値の平均値に応じた部分的な輝度補正とを行うことによりきめの細かい輝度補正を行うことができる画像信号処理装置および方法を提供することにある。
【０００５】
【課題を解決するための手段】
請求項１に記載の発明は、映像信号の輝度値に対して、所定期間内の度数分布を測定する手段と、
度数分布を適当な領域に分割して領域内の積算値を正規化することによって、度数分布をパターン化して、ｎビットの第１のクラス分類情報を生成する第１のクラス分類手段と、
注目画素の周辺画素を含む複数個の画素をブロック化し、ブロック毎に空間のパターン分類を行い、注目画素に関してｍビットの第２のクラス分類情報を生成する第２のクラス分類手段と、
注目画素の周辺画素の輝度値を平均化し、平均化された輝度値をｐビットの第３のクラス分類情報を生成する第３のクラス分類手段と、
ｎビットの第１のクラス分類情報、ｍビットの第２のクラス分類情報、およびｐビットの第３のクラス分類情報を組合せ、組み合わせた（ｎ＋ｍ＋ｐ）ビットのクラス分類情報を縮退し、ｑ（＜（ｎ＋ｍ＋ｐ））ビットの第４のクラス分類情報を生成する縮退手段と、
予めクラス毎に最小自乗法による学習処理で求められた係数データが格納された係数メモリと、
ｑビットの第４のクラス分類情報に対応してメモリから読み出される係数データと、注目画素の周辺画素の輝度値とを積和演算し、補正輝度値を生成する積和演算手段と、
からなることを特徴とする画像信号処理装置である。
【０００６】
また、請求項３に記載の発明は、映像信号の輝度値に対して、所定期間内の度数分布を測定するステップと、
度数分布を適当な領域に分割して領域内の積算値を正規化することによって、度数分布をパターン化して、ｎビットの第１のクラス分類情報を生成する第１のクラス分類ステップと、
注目画素の周辺画素を含む複数個の画素をブロック化し、ブロック毎に空間のパターン分類を行い、注目画素に関してｍビットの第２のクラス分類情報を生成する第２のクラス分類ステップと、
注目画素の周辺画素の輝度値を平均化し、平均化された輝度値をｐビットの第３のクラス分類情報を生成する第３のクラス分類ステップと、
ｎビットの第１のクラス分類情報、ｍビットの第２のクラス分類情報、およびｐビットの第３のクラス分類情報を組合せ、組み合わせた（ｎ＋ｍ＋ｐ）ビットのクラス分類情報を縮退し、ｑ（＜（ｎ＋ｍ＋ｐ））ビットの第４のクラス分類情報を生成する縮退ステップと、
予めクラス毎に最小自乗法による学習処理で求められた係数データが格納された係数メモリからｑビットの第４のクラス分類情報に対応して読み出される係数データと、注目画素の周辺画素の輝度値とを積和演算し、補正輝度値を生成する積和演算ステップと、
からなることを特徴とする画像信号処理方法である。
【０００７】
１フィールドまた１フレーム内の輝度値の度数の積算値に対してＡＤＲＣ符号化（適応的ダイナミックレンジ符号化）を行うことにより、ｎビットのコードが発生し、注目画素の周辺の空間内の複数の画素、すなわちブロック化された画素に対してＡＤＲＣ符号化を行うことにより、ｍビットのコードが発生し、ブロック化された画素の輝度値の平均値をシフトすることによって、ｐ（＜８）ビットのコードが発生し、縮退ＲＯＭによって、（ｎ＋ｍ＋ｐ）ビットからｑビットに減少させたクラスコードが発生し、このクラスコードに応じた係数データが読み出され、その係数データを用いた線形１次結合式によって、補正された輝度値が生成される。
【０００８】
【発明の実施の形態】
以下、この発明の一実施例について図面を参照して説明する。図１において、１で示す入力端子からの画像信号の内、輝度信号ＹがＡ／Ｄ変換器２によってアナログ信号からディジタル信号に変換される。このＡ／Ｄ変換器２では、例えば１３．５ＭHzのクロックでサンプリングが行われた場合、画像のサイズは、１フレームあたり、横７２０画素×縦４８０ライン程度となる。ディジタル信号に変換された輝度信号は、Ａ／Ｄ変換器２から変換ＲＯＭ３および遅延回路６へ供給される。
【０００９】
変換ＲＯＭ３では、供給された輝度値と領域の対応付けが行われる。具体的には、８ビット（０〜２５５）からなる輝度値が入力され、この輝度値をある複数の領域、例えばｓ個の領域に分ける働きが変換ＲＯＭ３では行われる。また、この変換ＲＯＭ３によって分けられた複数の領域毎に、領域別輝度分布回路４では、例えば１フィールドまたは１フレーム内の度数の積算が行われる。その積算値は、ＡＤＲＣ回路５へ供給される。ＡＤＲＣ回路５では、後述するように、領域毎に、例えばａビットの量子化が行われ、トータルｎビット（ｎ＝ｓ×ａ）のコードが発生する。このｎビットのコードは、ＡＤＲＣ回路５から縮退ＲＯＭ１１へ供給される。
【００１０】
ここで、変換ＲＯＭ３、領域別輝度分布回路４およびＡＤＲＣ回路５の動作を図２を用いて説明する。図２Ａに示すように、例えば１フィールドまたは１フレーム内の輝度値の度数分布を計数しようとする場合、本来ならば２５６レベル毎の度数分布を計数する。しかしながら、図２Ｂに示すように、輝度レベルを、例えば適当なしきい値でもってｓ個の領域に分割し、その領域番号と入力輝度値を対応付けるＲＯＭを挿入することで任意の領域分けを行う。この領域分けは、単純に均等分割するか、不均等分割するか、間引くかあるいは領域のオーバーラップを認めるか等、種々のバリエーションを試すことができる。
【００１１】
図２Ｃは、ＡＤＲＣ回路５が１ビットのＡＤＲＣを行い、このＡＤＲＣ回路５が６ビットのコードを出力する一例である。このコードは、いわゆる輝度の度数分布をパターン化したもので、これを見ることで輝度分布が暗い方か、明るい方かに偏っているかどうかを判定することができる。
【００１２】
一方、遅延回路６において、上述の度数分布のパターンコードを生成するまでの時間（１フィールドまたは１フレーム＋α）だけ、遅延が行われ、その出力は、ブロック化回路７および９、さらに遅延回路１２へ供給される。ブロック化回路７では、補正しようとする注目画素の周辺の空間内の複数の画素が選択され、ブロック化される。そのブロック化された画素は、ＡＤＲＣ回路８へ供給される。
【００１３】
ＡＤＲＣ回路８では、後述するように、ブロック化された画素から最大値および最小値が選択され、各画素が再量子化されｍビットのコードが発生される。このコードは、いわゆる空間の輝度の変化の様子をパターン化したものである。このコードによるクラス分類は、輝度補正そのものより、Ｓ／Ｎ比の改善、解像度の改善等に効果をもたらす。
【００１４】
ブロック化回路９において、補正しようとする注目画素の周辺の空間内の複数の画素が選択され、ブロック化される。このブロック化回路９においてなされるブロック化と、ブロック化回路７においてなされるブロック化とは、異なっても良い。ブロック化された画素は、ブロック化回路９から平均化回路１０へ供給される。平均化回路１０では、注目画素付近の輝度の平均値が算出され、算出された平均値は、シフトされ、ｐ（＜８）ビットに量子化される。
【００１５】
このように、ブロック化された各画素の輝度の平均値が算出され、すなわち輝度レベルをクラス分類の１つとすることで、レベル方向での補正の仕方に変化を持たせることができる。例えば、明るい部分や暗い部分のみを補正したり、γ特性を考慮した補正を行うことが可能となる。また、輝度レベルの平均化による作用は、輝度補正が過敏に利くのを防止する役割も果たす。
【００１６】
以上の説明で、３種類のクラス分類コードが生成されたが、これを単純に組み合わると分類数が膨大になり、後述する係数ＲＯＭの容量が膨大になる。そこでＡＤＲＣ回路５からのｎビット、ＡＤＲＣ回路８からのｍビットおよび平均化回路１０からのｐビットは、縮退ＲＯＭ１１へ供給され、縮退ＲＯＭ１１において、供給された各ビット数を縮退させる。具体的には、縮退ＲＯＭ１１では、クラスを縮退させるために、（ｎ＋ｍ＋ｐ）ビットからｑビットに減少させたクラスコード（インデックス）が発生される。
【００１７】
なお、縮退の方法について、ここでは詳細を述べないが、（ｎ＋ｍ＋ｐ）ビットで学習した全クラスに対応する係数組から、ベクトル量子化的手法として、係数間ノルムの小さいものをまとめて縮退させる方法などを使用するものとする。すなわち、２つの係数組の間で、対応する係数の距離（係数間ノルム）を求め、これに基づいて、係数の組をまとめる。
【００１８】
このように、縮退ＲＯＭ１１から最終的にｑビットのクラスコードが発生し、そのｑビットのクラスコードは、係数ＲＯＭ１４1 〜１４N へ供給される。係数ＲＯＭ１４1 〜１４N では、供給されたクラスコードでアドレッシングされ、係数データが読み出される。読み出された係数データは、それぞれ乗算器１５1 〜１５N へ供給される。
【００１９】
遅延合わせが行われる遅延回路１２の出力がブロック化回路１３へ供給され、そのブロック化回路１３では、注目画素の周辺の複数の画素がブロック化される。ブロック化された各画素値は、乗算器１５1 〜１５N へ供給される。乗算器１５1 〜１５N では、係数ＲＯＭ１４1 〜１４N からの係数データと、ブロック化された各画素値が乗算され、その乗算出力は、加算器１６へ供給される。加算器１６では、乗算器１５1 〜１５N からの乗算出力が加算される。
【００２０】
すなわち、乗算器１５1 〜１５N および加算器１６によって、積和演算することで、輝度補正値の予測が行われる。その予測値は、Ｄ／Ａ変換回路１７において、Ｄ／Ａ変換され、補正後の輝度値Ｙ´として出力端子１８から取り出される。
【００２１】
ここで、ＡＤＲＣ回路５またはＡＤＲＣ回路８として使用される構成の一例を図３に示し説明する。入力端子２１からブロック化されたデータが供給される。供給されたデータは、最大値検出回路２２、最小値検出回路２３および遅延回路２５へ供給される。最大値検出回路２２において、ブロック内の画素値の最大となる値が検出され、最小値検出回路２３において、ブロック内の画素値の最小となる値が検出される。減算器２４では、最大値から最小値が減算され、そのブロックのダイナミックレンジＤＲが算出される。算出されたダイナミックレンジＤＲは、適応再量子化回路２７へ供給される。
【００２２】
遅延回路２５では、最大値検出回路２２および最小値検出回路２３がそれぞれ検出にかかる時間遅延が行われ、１画素ずつ出力される。減算器２６では、ブロック化された各画素から最小値が減算され、その減算値は、適応再量子化回路２７へ供給される。適応再量子化回路２７では、ダイナミックレンジＤＲに応じた所定の量子化ステップ幅を用いて、減算値の量子化を画素毎に行う。並列化回路２８では、量子化された画素がブロック単位で並列化され、出力端子２９からコード化データとして出力される。
【００２３】
ここで、係数ＲＯＭに記憶される係数データを生成する学習のためのブロック図を図４に示す。入力端子１から供給された輝度信号Ｙは、Ａ／Ｄ変換回路２へ供給され、Ａ／Ｄ変換回路２では、例えば１３．５ＭHzでサンプリングされ、変換ＲＯＭ３および遅延回路６へ出力される。変換ＲＯＭ３では、上述したように供給された輝度値がある複数の領域、例えばｓ個の領域に分けられる。そして、領域別輝度分布回路４では、分けられたｓ個の領域毎に、例えば１フィールドまたは１フレーム内の度数の乗算が行われる。ＡＤＲＣ回路５では、例えばａビットの量子化が行われ、トータルｎビット（ｎ＝ｓ×ａ）のコードが発生する。このｎビットのコードは、ＡＤＲＣ回路５から縮退ＲＯＭ１１へ供給される。
【００２４】
遅延回路６では、ｎビットのコードが生成されるまでの時間（１フィールドまたは１フレーム＋α）だけ、遅延が行われ、その出力は、ブロック化回路７および９、さらに遅延回路１２へ供給される。ブロック化回路７では、注目画素の周辺の空間内の複数の画素が選択され、ブロック化される。そのブロック化された画素は、ＡＤＲＣ回路８へ供給される。ＡＤＲＣ回路８では、ブロック化された画素からｍビットのコードが発生され、縮退ＲＯＭ１１へ供給される。
【００２５】
ブロック化回路９では、注目画素の周辺の空間内の複数の画素が選択され、ブロック化される。上述したように、ブロック化回路７とのブロック化とは異なっても良い。平均化回路１０では、注目画素付近の輝度の平均値が算出され、算出された平均値は、シフトされ、ｐ（＜８）ビットに量子化され、縮退ＲＯＭ１１へ供給される。
【００２６】
縮退ＲＯＭ１１では、上述するように、クラスを縮退させるために、（ｎ＋ｍ＋ｐ）ビットからｑビットに減少させたクラスコード（インデックス）が発生される。このように、縮退ＲＯＭ１１から最終的にｑビットのクラスコードが発生し、そのｑビットのクラスコードは、学習回路３３へへ供給される。
【００２７】
遅延によるタイミング合わせが行われる遅延回路１２の出力がブロック化回路１３へ供給され、そのブロック化回路１３では、注目画素の周辺の複数の画素がブロック化される。ブロック化された各画素値が学習回路３３へ供給される。
【００２８】
そして、入力端子３１から教師用の映像信号の対応する画素の輝度信号Ｙが入力される。この教師用の輝度信号Ｙには、プロのカメラマンが撮影した映像信号、または照明条件の良い映像信号が使用され、また動画のみとは限らず静止画を使用しても良い。その教師用の輝度信号Ｙは、Ａ／Ｄ変換回路３２において、アナログ信号からディジタル信号へ変換され、学習回路３３に入力される。学習回路３３では、ｎタップの線形一時結合モデルを形成し、その各係数データを学習回路３３で算出する。算出された各係数データは、出力端子３４から取り出され、係数ＲＯＭへ格納される。また、学習回路３３は、以下に述べる最小自乗法にてクラス毎に係数データを学習するものである。
【００２９】
学習の方法として、多数の補正対象入力画素と教師用の画像の値との関係を求める方法として、最小自乗法を採用した。まず、上述した値の間に線形１次結合の関係があると仮定し、以下に線形一次結合モデルを示す。
【００３０】
線形一次結合モデル：（観測方程式）
ＸＷ＝Ｙ （１）
【数１】
【００３１】
最小自乗法による解放：（残差方程式）
【数２】
【００３２】
式（３）から、各ｗi 最確値を見いだすには、
【数３】
を最小にする条件、すなわち
【００３３】
【数４】
なる、Ｎ個の条件を入れてこれを満足するｗ1 、ｗ2 、・・・、ｗN を見いだせばよい。式（３）より、
【００３４】
【数５】
となり、式（４）条件をｉ＝１，２，・・・，Ｎについて立てればそれぞれ、
【００３５】
【数６】
が得られる。ここで、式（３）および式（６）から次式の正規方程式が得られる。
【００３６】
【数７】
これは、ちょうど未知数の数Ｎ個だけある連立方程式であるから、これより最確値たる各ｗi を求めることができる。
【００３７】
正確には、式（７）でｗi にかかる
【数８】
のマトリクスが正則であれば解くことができる。（ただし、ｋ＝１，２，・・・，Ｎ、ｌ＝１，２，・・・，Ｎ）実際には、Gauss-Jordanの消去法（掃き出し法）を用いて連立方程式を解くことになる。
【００３８】
次に、最小自乗法の演算を行うハードウェアのブロック図を図５に示す。図４の学習のブロック図において、補正対象の画素を中心としてブロックの画素値と対応する教師用の画素値が入力されると共に、クラスコード（インデックス）が入力される。最小自乗法の回路は、大きく分けて正規方程式生成回路４１とＣＰＵ４２からなり、その正規方程式生成回路４１は、乗算器アレイ４３、加算メモリ４４およびデコード部４５からなる。
【００３９】
ＣＰＵ４２は、係数データを求めるため、例えば掃き出し法の演算を行うＣＰＵからなる。乗算器アレイ４３には、注目画素位置に対して１組のメモリ（またはレジスタ）が存在し、加算メモリ４４には、クラスの数だけ組のメモリ（またはレジスタ）が存在する。また、デコード部４５では、供給されるクラスコード（インデックス）がデコードされる。
【００４０】
乗算器アレイ４３について、図６を用いて説明する。補正対象の画素を中心としてブロックの画素値と対応する教師用の画素値δｙは、正規方程式回路４１の乗算器アレイ４３において、図６に示すように各要素どうしの乗算が行われ、その結果が加算メモリ４４へ供給される。
【００４１】
そして、加算メモリ４４について、図７を用いて説明する。加算メモリ４４は、加算器アレイ５１およびメモリ（またはレジスタ）アレイ５２1 〜５２N から構成される。乗算器アレイ４３からの結果とメモリ（またはレジスタ）アレイ５２からの出力が供給され、その加算結果がメモリ（またはレジスタ）アレイ５２に出力される。どのメモリ（またはレジスタ）アレイ５２1 〜５２N が選択されるかは、クラスコード（インデックス）がデコード部４５でデコードされることで一意に決定される。つまり、インデックスによって決定されるクラス毎にメモリ（またはレジスタ）アレイ５２が選択されて、積和演算の結果がインデックスによって決定されたメモリ（またはレジスタ）アレイ５２に更新され、記憶される。
【００４２】
なお、各々のアレイの位置は、正規方程式（７）のｗi にかかる
【数９】
の位置に対応する。正規方程式（７）を見てわかるように右上の項を反転すれば左下と同じものになるため、各アレイは三角形の形状をしている。
【００４３】
以上のようにして、ある一定期間の間にクラス毎に積和演算が行われて画素位置毎のさらにクラス毎の正規方程式が生成される。クラス毎の正規方程式の各項の結果は、それぞれのクラスに対応するメモリ（またはレジスタ）アレイに記憶されており、次にそれらのクラス毎の正規方程式の各項が掃き出し法の計算回路に供給される。この計算はＣＰＵ４２によって行われる。計算された係数データの組は、図１に示す係数ＲＯＭ１４で構成される係数テーブルに書き込まれて使用される。
【００４４】
ここで、この発明の他の実施例を図８のブロック図を用いて説明する。入力端子１から供給された輝度信号Ｙは、Ａ／Ｄ変換回路２へ供給され、Ａ／Ｄ変換回路２では、例えば１３．５ＭHzでサンプリングされ、平均値／標準偏差回路５５および遅延回路６へ出力される。平均値／標準偏差回路５５では、供給された輝度値の例えば１フィールドまたは１フレーム当りの平均値および標準偏差が求められる。平均値／標準偏差回路５５において、輝度値毎の度数分布を求めるためのテーブルを持ち、１フィールド期間または１フレーム期間に乗算した度数分布から、図９に示すように輝度の平均値が算出されると共に、標準偏差も算出される。また、式（８）には、輝度の平均値を算出する計算式を示し、式（９）には、標準偏差を算出する計算式を示す。
【００４５】
平均値＝Σ（輝度値×度数）／全度数 （８）
標準偏差＝√（Σ（（輝度値−平均値）2×度数）／全度数） （９）
【００４６】
量子化回路５６では、算出された平均値および標準偏差がそれぞれａビット、ｂビットで量子化されて、トータルｎビット（ｎ＝ａ＋ｂ）のコードが発生される。このｎビットのコードが量子化回路５６から縮退ＲＯＭ１１へ供給される。さらに、このｎビットのコードは、いわゆる輝度分布をパターン化したもので、これを見ることで輝度分布が暗い方か、明るい方かに偏っているかどうか、また、輝度分布が平坦か急峻かを判定することができる。
【００４７】
遅延回路６では、ｎビットのコードが生成されるまでの時間（１フィールドまたは１フレーム＋α）だけ、遅延が行われ、その出力は、ブロック化回路７および９、さらに遅延回路１２へ供給される。ブロック化回路７では、注目画素の周辺の空間内の複数の画素が選択され、ブロック化される。そのブロック化された画素は、ＡＤＲＣ回路８へ供給される。ＡＤＲＣ回路８では、ブロック化された画素からｍビットのコードが発生され、縮退ＲＯＭ１１へ供給される。
【００４８】
ブロック化回路９では、注目画素の周辺の空間内の複数の画素が選択され、ブロック化される。上述したように、ブロック化回路７とのブロック化とは異なっても良い。平均化回路１０では、注目画素付近の輝度の平均値が算出され、算出された平均値は、シフトされ、ｐ（＜８）ビットに量子化され、縮退ＲＯＭ１１へ供給される。
【００４９】
縮退ＲＯＭ１１では、上述したように、クラスを縮退させるために、（ｎ＋ｍ＋ｐ）ビットからｑビットに減少させたクラスコード（インデックス）が発生される。このように、縮退ＲＯＭ１１から最終的にｑビットのクラスコードが発生し、そのｑビットのクラスコードは、係数ＲＯＭ１４1 〜１４N へ供給される。係数ＲＯＭ１４1 〜１４N では、供給されたクラスコードでアドレッシングされ、係数データが読み出される。読み出された係数データは、それぞれ乗算器１５1 〜１５N へ供給される。
【００５０】
遅延によるタイミング合わせが行われる遅延回路１２の出力がブロック化回路１３へ供給され、そのブロック化回路１３では、注目画素の周辺の複数の画素がブロック化される。ブロック化された各画素値は、乗算器１５1 〜１５N へ供給される。乗算器１５1 〜１５N では、係数ＲＯＭ１４1 〜１４N からの係数データと、ブロック化された各画素値が乗算され、その乗算値は、加算器１６へ供給される。加算器１６では、乗算器１５1 〜１５N からの乗算値が加算される。
【００５１】
すなわち、乗算器１５1 〜１５N および加算器１６において、積和演算することで、輝度補正値の予測が行われる。その予測値は、Ｄ／Ａ変換回路１７において、Ｄ／Ａ変換され、補正後の輝度値Ｙ´として出力端子１８から取り出される。
【００５２】
ここで、量子化回路の一例を図１０に示し説明する。入力端子６１から輝度値が供給される。供給された輝度値は、輝度度数分布テーブル６２へ供給され、輝度度数分布テーブル６２において、例えば１フィールドまたは１フレーム内の輝度レベルの度数分布のテーブルが生成される。生成されたテーブルに基づいて、平均値算出回路６３では、平均値が式（８）により算出され、算出された平均値は、標準偏差算出回路６４へ供給されると共に、出力端子６５から取り出される。標準偏差算出回路６４では、度数分布のテーブルと平均値から標準偏差が式（９）により算出され、算出された標準偏差は、出力端子６６から取り出される。取り出された標準偏差が小さいときは、度数分布の幅は狭く、標準偏差が大きいときは、度数分布の幅は広くなる。
【００５３】
ここで、係数ＲＯＭに記憶される係数データを生成する学習のためのブロック図を図１１に示す。入力端子１から供給された輝度信号Ｙは、Ａ／Ｄ変換回路２へ供給され、Ａ／Ｄ変換回路２では、例えば１３．５ＭHzでサンプリングされ、平均値／標準偏差算出回路５５および遅延回路６へ出力される。平均値／標準偏差算出回路５５では、上述したように供給された輝度値の例えば１フィールドまたは１フレーム当りの平均値および標準偏差が求められる。平均値／標準偏差算出回路５５において、輝度レベル毎の度数分布を求めるためのテーブルを持ち、１フィールド期間または１フレーム期間に乗算した度数分布から、図９に示すように輝度の平均値が算出されると共に、標準偏差も算出される。また、式（８）には、輝度の平均値を算出する計算式を示し、式（９）には、標準偏差を算出する計算式を示す。
【００５４】
量子化回路５６では、算出された平均値および標準偏差に対してそれぞれａビット、ｂビットで量子化されて、トータルｎビット（ｎ＝ａ＋ｂ）のコードを発生する。このｎビットのコードは、量子化回路５６から縮退ＲＯＭ１１へ供給される。さらに、このｎビットのコードは、いわゆる輝度分布をパターン化したもので、これを見ることで輝度分布が暗い方か、明るい方かに偏っているかどうか、また、平坦か急峻かを判定することができる。
【００５５】
遅延回路６では、ｎビットのコードが生成されるまでの時間（１フィールドまたは１フレーム＋α）だけ、遅延が行われ、その出力は、ブロック化回路７および９、さらに遅延回路１２へ供給される。ブロック化回路７では、注目画素の周辺の空間内の複数の画素が選択され、ブロック化される。そのブロック化された画素は、ＡＤＲＣ回路８へ供給される。ＡＤＲＣ回路８では、ブロック化された画素からｍビットのコードが発生され、縮退ＲＯＭ１１へ供給される。
【００５６】
ブロック化回路９では、注目画素の周辺の空間内の複数の画素が選択され、ブロック化される。上述したように、ブロック化回路７とのブロック化とは異なっても良い。平均化回路１０では、注目画素付近の輝度の平均値が算出され、算出された平均値は、シフトされ、ｐ（＜８）ビットに量子化され、縮退ＲＯＭ１１へ供給される。
【００５７】
縮退ＲＯＭ１１では、上述するように、クラスを縮退させるために、（ｎ＋ｍ＋ｐ）ビットからｑビットに減少させたクラスコード（インデックス）が発生される。このように、縮退ＲＯＭ１１から最終的にｑビットのクラスコードが発生し、そのｑビットのクラスコードは、学習回路３３へ供給される。
【００５８】
遅延合わせが行われる遅延回路１２の出力がブロック化回路１３へ供給され、そのブロック化回路１３では、注目画素の周辺の複数の画素がブロック化される。ブロック化された各画素値は、学習回路３３へ供給される。
【００５９】
そして、入力端子３１から教師用の映像信号の対応する画素の輝度信号Ｙが入力される。その教師用の輝度信号Ｙは、Ａ／Ｄ変換回路３２において、アナログ信号からディジタル信号へ変換され、学習回路３３に入力される。学習回路３３では、ｎタップの線形一時結合モデルを形成し、その各係数データを学習回路３３で算出する。算出された各係数データは、出力端子３４から取り出され、係数ＲＯＭへ格納される。また、学習回路３３は、上述した最小自乗法にてクラス毎に係数データを学習するものである。
【００６０】
この実施例では、すべてハードウェアで実現する方法を記載したが、ディジタル化されたデータを計算機に取り込むことでソフトウェアで計算しても良い。
【００６１】
【発明の効果】
この発明に依れば、輝度分布のパターン分類から全体の輝度補正を行う効果と、空間内のパターン分類および輝度値の平均値から部分的な輝度補正を行う効果を待ち合わせており、よりきめの細かい輝度補正を行うことが可能となる。
【図面の簡単な説明】
【図１】この発明の画像信号処理装置の一実施例を示すブロック図である。
【図２】この発明に係る度数分布の説明に用いる一例の度数分布図である。
【図３】この発明に係るＡＤＲＣ回路の一例のブロック図である。
【図４】この発明に係る係数データの学習するための一例のブロック図である。
【図５】この発明に係る学習回路の一例のブロック図である。
【図６】この発明に係る乗算器アレイの説明に用いる一例の略線図である。
【図７】この発明に係る加算メモリの説明に用いる一例の略線図である。
【図８】この発明の画像信号処理装置の他の実施例を示すブロック図である。
【図９】この発明に係る度数分布の説明に用いる他の一例の度数分布図である。
【図１０】この発明に係る量子化回路の一例のブロック図である。
【図１１】この発明に係る係数データの学習するための一例のブロック図である。
【符号の説明】
２、１７ Ａ／Ｄ変換回路
３ 変換ＲＯＭ
４ 領域別輝度分布回路
５、８ ＡＤＲＣ回路
６、１２ 遅延回路
７、９、１３ ブロック化回路
１０ 平均化回路
１１ 縮退ＲＯＭ
１４ 係数ＲＯＭ
１５ 乗算器
１６ 加算器
【発明の属する技術分野】
この発明は、画像信号の輝度値をクラス分類適応処理を用いて補正するようにした画像信号処理装置および方法に関する。
【０００２】
【従来の技術】
通常、画像信号処理装置において、輝度補正は、画面内の輝度値の積分値（全受光量に相当する）を求め、これに応じてアンプのゲインを変化させることで輝度補正を行っていた。
【０００３】
【発明が解決しようとする課題】
しかしながら、空間内で見るとどの画素にも一定のゲインが掛かっており、暗い部分のみを明るくしたり、明るい部分のみを暗くしたり、という細かい補正を行うことができなかった。
【０００４】
従って、この発明の目的は、輝度分布のパターン分類に応じた輝度補正と、空間内のパターン分類および輝度値の平均値に応じた部分的な輝度補正とを行うことによりきめの細かい輝度補正を行うことができる画像信号処理装置および方法を提供することにある。
【０００５】
【課題を解決するための手段】
請求項１に記載の発明は、映像信号の輝度値に対して、所定期間内の度数分布を測定する手段と、
度数分布を適当な領域に分割して領域内の積算値を正規化することによって、度数分布をパターン化して、ｎビットの第１のクラス分類情報を生成する第１のクラス分類手段と、
注目画素の周辺画素を含む複数個の画素をブロック化し、ブロック毎に空間のパターン分類を行い、注目画素に関してｍビットの第２のクラス分類情報を生成する第２のクラス分類手段と、
注目画素の周辺画素の輝度値を平均化し、平均化された輝度値をｐビットの第３のクラス分類情報を生成する第３のクラス分類手段と、
ｎビットの第１のクラス分類情報、ｍビットの第２のクラス分類情報、およびｐビットの第３のクラス分類情報を組合せ、組み合わせた（ｎ＋ｍ＋ｐ）ビットのクラス分類情報を縮退し、ｑ（＜（ｎ＋ｍ＋ｐ））ビットの第４のクラス分類情報を生成する縮退手段と、
予めクラス毎に最小自乗法による学習処理で求められた係数データが格納された係数メモリと、
ｑビットの第４のクラス分類情報に対応してメモリから読み出される係数データと、注目画素の周辺画素の輝度値とを積和演算し、補正輝度値を生成する積和演算手段と、
からなることを特徴とする画像信号処理装置である。
【０００６】
また、請求項３に記載の発明は、映像信号の輝度値に対して、所定期間内の度数分布を測定するステップと、
度数分布を適当な領域に分割して領域内の積算値を正規化することによって、度数分布をパターン化して、ｎビットの第１のクラス分類情報を生成する第１のクラス分類ステップと、
注目画素の周辺画素を含む複数個の画素をブロック化し、ブロック毎に空間のパターン分類を行い、注目画素に関してｍビットの第２のクラス分類情報を生成する第２のクラス分類ステップと、
注目画素の周辺画素の輝度値を平均化し、平均化された輝度値をｐビットの第３のクラス分類情報を生成する第３のクラス分類ステップと、
ｎビットの第１のクラス分類情報、ｍビットの第２のクラス分類情報、およびｐビットの第３のクラス分類情報を組合せ、組み合わせた（ｎ＋ｍ＋ｐ）ビットのクラス分類情報を縮退し、ｑ（＜（ｎ＋ｍ＋ｐ））ビットの第４のクラス分類情報を生成する縮退ステップと、
予めクラス毎に最小自乗法による学習処理で求められた係数データが格納された係数メモリからｑビットの第４のクラス分類情報に対応して読み出される係数データと、注目画素の周辺画素の輝度値とを積和演算し、補正輝度値を生成する積和演算ステップと、
からなることを特徴とする画像信号処理方法である。
【０００７】
１フィールドまた１フレーム内の輝度値の度数の積算値に対してＡＤＲＣ符号化（適応的ダイナミックレンジ符号化）を行うことにより、ｎビットのコードが発生し、注目画素の周辺の空間内の複数の画素、すなわちブロック化された画素に対してＡＤＲＣ符号化を行うことにより、ｍビットのコードが発生し、ブロック化された画素の輝度値の平均値をシフトすることによって、ｐ（＜８）ビットのコードが発生し、縮退ＲＯＭによって、（ｎ＋ｍ＋ｐ）ビットからｑビットに減少させたクラスコードが発生し、このクラスコードに応じた係数データが読み出され、その係数データを用いた線形１次結合式によって、補正された輝度値が生成される。
【０００８】
【発明の実施の形態】
以下、この発明の一実施例について図面を参照して説明する。図１において、１で示す入力端子からの画像信号の内、輝度信号ＹがＡ／Ｄ変換器２によってアナログ信号からディジタル信号に変換される。このＡ／Ｄ変換器２では、例えば１３．５ＭHzのクロックでサンプリングが行われた場合、画像のサイズは、１フレームあたり、横７２０画素×縦４８０ライン程度となる。ディジタル信号に変換された輝度信号は、Ａ／Ｄ変換器２から変換ＲＯＭ３および遅延回路６へ供給される。
【０００９】
変換ＲＯＭ３では、供給された輝度値と領域の対応付けが行われる。具体的には、８ビット（０〜２５５）からなる輝度値が入力され、この輝度値をある複数の領域、例えばｓ個の領域に分ける働きが変換ＲＯＭ３では行われる。また、この変換ＲＯＭ３によって分けられた複数の領域毎に、領域別輝度分布回路４では、例えば１フィールドまたは１フレーム内の度数の積算が行われる。その積算値は、ＡＤＲＣ回路５へ供給される。ＡＤＲＣ回路５では、後述するように、領域毎に、例えばａビットの量子化が行われ、トータルｎビット（ｎ＝ｓ×ａ）のコードが発生する。このｎビットのコードは、ＡＤＲＣ回路５から縮退ＲＯＭ１１へ供給される。
【００１０】
ここで、変換ＲＯＭ３、領域別輝度分布回路４およびＡＤＲＣ回路５の動作を図２を用いて説明する。図２Ａに示すように、例えば１フィールドまたは１フレーム内の輝度値の度数分布を計数しようとする場合、本来ならば２５６レベル毎の度数分布を計数する。しかしながら、図２Ｂに示すように、輝度レベルを、例えば適当なしきい値でもってｓ個の領域に分割し、その領域番号と入力輝度値を対応付けるＲＯＭを挿入することで任意の領域分けを行う。この領域分けは、単純に均等分割するか、不均等分割するか、間引くかあるいは領域のオーバーラップを認めるか等、種々のバリエーションを試すことができる。
【００１１】
図２Ｃは、ＡＤＲＣ回路５が１ビットのＡＤＲＣを行い、このＡＤＲＣ回路５が６ビットのコードを出力する一例である。このコードは、いわゆる輝度の度数分布をパターン化したもので、これを見ることで輝度分布が暗い方か、明るい方かに偏っているかどうかを判定することができる。
【００１２】
一方、遅延回路６において、上述の度数分布のパターンコードを生成するまでの時間（１フィールドまたは１フレーム＋α）だけ、遅延が行われ、その出力は、ブロック化回路７および９、さらに遅延回路１２へ供給される。ブロック化回路７では、補正しようとする注目画素の周辺の空間内の複数の画素が選択され、ブロック化される。そのブロック化された画素は、ＡＤＲＣ回路８へ供給される。
【００１３】
ＡＤＲＣ回路８では、後述するように、ブロック化された画素から最大値および最小値が選択され、各画素が再量子化されｍビットのコードが発生される。このコードは、いわゆる空間の輝度の変化の様子をパターン化したものである。このコードによるクラス分類は、輝度補正そのものより、Ｓ／Ｎ比の改善、解像度の改善等に効果をもたらす。
【００１４】
ブロック化回路９において、補正しようとする注目画素の周辺の空間内の複数の画素が選択され、ブロック化される。このブロック化回路９においてなされるブロック化と、ブロック化回路７においてなされるブロック化とは、異なっても良い。ブロック化された画素は、ブロック化回路９から平均化回路１０へ供給される。平均化回路１０では、注目画素付近の輝度の平均値が算出され、算出された平均値は、シフトされ、ｐ（＜８）ビットに量子化される。
【００１５】
このように、ブロック化された各画素の輝度の平均値が算出され、すなわち輝度レベルをクラス分類の１つとすることで、レベル方向での補正の仕方に変化を持たせることができる。例えば、明るい部分や暗い部分のみを補正したり、γ特性を考慮した補正を行うことが可能となる。また、輝度レベルの平均化による作用は、輝度補正が過敏に利くのを防止する役割も果たす。
【００１６】
以上の説明で、３種類のクラス分類コードが生成されたが、これを単純に組み合わると分類数が膨大になり、後述する係数ＲＯＭの容量が膨大になる。そこでＡＤＲＣ回路５からのｎビット、ＡＤＲＣ回路８からのｍビットおよび平均化回路１０からのｐビットは、縮退ＲＯＭ１１へ供給され、縮退ＲＯＭ１１において、供給された各ビット数を縮退させる。具体的には、縮退ＲＯＭ１１では、クラスを縮退させるために、（ｎ＋ｍ＋ｐ）ビットからｑビットに減少させたクラスコード（インデックス）が発生される。
【００１７】
なお、縮退の方法について、ここでは詳細を述べないが、（ｎ＋ｍ＋ｐ）ビットで学習した全クラスに対応する係数組から、ベクトル量子化的手法として、係数間ノルムの小さいものをまとめて縮退させる方法などを使用するものとする。すなわち、２つの係数組の間で、対応する係数の距離（係数間ノルム）を求め、これに基づいて、係数の組をまとめる。
【００１８】
このように、縮退ＲＯＭ１１から最終的にｑビットのクラスコードが発生し、そのｑビットのクラスコードは、係数ＲＯＭ１４1 〜１４N へ供給される。係数ＲＯＭ１４1 〜１４N では、供給されたクラスコードでアドレッシングされ、係数データが読み出される。読み出された係数データは、それぞれ乗算器１５1 〜１５N へ供給される。
【００１９】
遅延合わせが行われる遅延回路１２の出力がブロック化回路１３へ供給され、そのブロック化回路１３では、注目画素の周辺の複数の画素がブロック化される。ブロック化された各画素値は、乗算器１５1 〜１５N へ供給される。乗算器１５1 〜１５N では、係数ＲＯＭ１４1 〜１４N からの係数データと、ブロック化された各画素値が乗算され、その乗算出力は、加算器１６へ供給される。加算器１６では、乗算器１５1 〜１５N からの乗算出力が加算される。
【００２０】
すなわち、乗算器１５1 〜１５N および加算器１６によって、積和演算することで、輝度補正値の予測が行われる。その予測値は、Ｄ／Ａ変換回路１７において、Ｄ／Ａ変換され、補正後の輝度値Ｙ´として出力端子１８から取り出される。
【００２１】
ここで、ＡＤＲＣ回路５またはＡＤＲＣ回路８として使用される構成の一例を図３に示し説明する。入力端子２１からブロック化されたデータが供給される。供給されたデータは、最大値検出回路２２、最小値検出回路２３および遅延回路２５へ供給される。最大値検出回路２２において、ブロック内の画素値の最大となる値が検出され、最小値検出回路２３において、ブロック内の画素値の最小となる値が検出される。減算器２４では、最大値から最小値が減算され、そのブロックのダイナミックレンジＤＲが算出される。算出されたダイナミックレンジＤＲは、適応再量子化回路２７へ供給される。
【００２２】
遅延回路２５では、最大値検出回路２２および最小値検出回路２３がそれぞれ検出にかかる時間遅延が行われ、１画素ずつ出力される。減算器２６では、ブロック化された各画素から最小値が減算され、その減算値は、適応再量子化回路２７へ供給される。適応再量子化回路２７では、ダイナミックレンジＤＲに応じた所定の量子化ステップ幅を用いて、減算値の量子化を画素毎に行う。並列化回路２８では、量子化された画素がブロック単位で並列化され、出力端子２９からコード化データとして出力される。
【００２３】
ここで、係数ＲＯＭに記憶される係数データを生成する学習のためのブロック図を図４に示す。入力端子１から供給された輝度信号Ｙは、Ａ／Ｄ変換回路２へ供給され、Ａ／Ｄ変換回路２では、例えば１３．５ＭHzでサンプリングされ、変換ＲＯＭ３および遅延回路６へ出力される。変換ＲＯＭ３では、上述したように供給された輝度値がある複数の領域、例えばｓ個の領域に分けられる。そして、領域別輝度分布回路４では、分けられたｓ個の領域毎に、例えば１フィールドまたは１フレーム内の度数の乗算が行われる。ＡＤＲＣ回路５では、例えばａビットの量子化が行われ、トータルｎビット（ｎ＝ｓ×ａ）のコードが発生する。このｎビットのコードは、ＡＤＲＣ回路５から縮退ＲＯＭ１１へ供給される。
【００２４】
遅延回路６では、ｎビットのコードが生成されるまでの時間（１フィールドまたは１フレーム＋α）だけ、遅延が行われ、その出力は、ブロック化回路７および９、さらに遅延回路１２へ供給される。ブロック化回路７では、注目画素の周辺の空間内の複数の画素が選択され、ブロック化される。そのブロック化された画素は、ＡＤＲＣ回路８へ供給される。ＡＤＲＣ回路８では、ブロック化された画素からｍビットのコードが発生され、縮退ＲＯＭ１１へ供給される。
【００２５】
ブロック化回路９では、注目画素の周辺の空間内の複数の画素が選択され、ブロック化される。上述したように、ブロック化回路７とのブロック化とは異なっても良い。平均化回路１０では、注目画素付近の輝度の平均値が算出され、算出された平均値は、シフトされ、ｐ（＜８）ビットに量子化され、縮退ＲＯＭ１１へ供給される。
【００２６】
縮退ＲＯＭ１１では、上述するように、クラスを縮退させるために、（ｎ＋ｍ＋ｐ）ビットからｑビットに減少させたクラスコード（インデックス）が発生される。このように、縮退ＲＯＭ１１から最終的にｑビットのクラスコードが発生し、そのｑビットのクラスコードは、学習回路３３へへ供給される。
【００２７】
遅延によるタイミング合わせが行われる遅延回路１２の出力がブロック化回路１３へ供給され、そのブロック化回路１３では、注目画素の周辺の複数の画素がブロック化される。ブロック化された各画素値が学習回路３３へ供給される。
【００２８】
そして、入力端子３１から教師用の映像信号の対応する画素の輝度信号Ｙが入力される。この教師用の輝度信号Ｙには、プロのカメラマンが撮影した映像信号、または照明条件の良い映像信号が使用され、また動画のみとは限らず静止画を使用しても良い。その教師用の輝度信号Ｙは、Ａ／Ｄ変換回路３２において、アナログ信号からディジタル信号へ変換され、学習回路３３に入力される。学習回路３３では、ｎタップの線形一時結合モデルを形成し、その各係数データを学習回路３３で算出する。算出された各係数データは、出力端子３４から取り出され、係数ＲＯＭへ格納される。また、学習回路３３は、以下に述べる最小自乗法にてクラス毎に係数データを学習するものである。
【００２９】
学習の方法として、多数の補正対象入力画素と教師用の画像の値との関係を求める方法として、最小自乗法を採用した。まず、上述した値の間に線形１次結合の関係があると仮定し、以下に線形一次結合モデルを示す。
【００３０】
線形一次結合モデル：（観測方程式）
ＸＷ＝Ｙ （１）
【数１】
最小自乗法による解放：（残差方程式）
【数２】
式（３）から、各ｗi 最確値を見いだすには、
【数３】
【００３３】
【数４】
【００３４】
【数５】
【００３５】
【数６】
【００３６】
【数７】
【００３７】
正確には、式（７）でｗi にかかる
【数８】
【００３８】
次に、最小自乗法の演算を行うハードウェアのブロック図を図５に示す。図４の学習のブロック図において、補正対象の画素を中心としてブロックの画素値と対応する教師用の画素値が入力されると共に、クラスコード（インデックス）が入力される。最小自乗法の回路は、大きく分けて正規方程式生成回路４１とＣＰＵ４２からなり、その正規方程式生成回路４１は、乗算器アレイ４３、加算メモリ４４およびデコード部４５からなる。
【００３９】
ＣＰＵ４２は、係数データを求めるため、例えば掃き出し法の演算を行うＣＰＵからなる。乗算器アレイ４３には、注目画素位置に対して１組のメモリ（またはレジスタ）が存在し、加算メモリ４４には、クラスの数だけ組のメモリ（またはレジスタ）が存在する。また、デコード部４５では、供給されるクラスコード（インデックス）がデコードされる。
【００４０】
乗算器アレイ４３について、図６を用いて説明する。補正対象の画素を中心としてブロックの画素値と対応する教師用の画素値δｙは、正規方程式回路４１の乗算器アレイ４３において、図６に示すように各要素どうしの乗算が行われ、その結果が加算メモリ４４へ供給される。
【００４１】
そして、加算メモリ４４について、図７を用いて説明する。加算メモリ４４は、加算器アレイ５１およびメモリ（またはレジスタ）アレイ５２1 〜５２N から構成される。乗算器アレイ４３からの結果とメモリ（またはレジスタ）アレイ５２からの出力が供給され、その加算結果がメモリ（またはレジスタ）アレイ５２に出力される。どのメモリ（またはレジスタ）アレイ５２1 〜５２N が選択されるかは、クラスコード（インデックス）がデコード部４５でデコードされることで一意に決定される。つまり、インデックスによって決定されるクラス毎にメモリ（またはレジスタ）アレイ５２が選択されて、積和演算の結果がインデックスによって決定されたメモリ（またはレジスタ）アレイ５２に更新され、記憶される。
【００４２】
なお、各々のアレイの位置は、正規方程式（７）のｗi にかかる
【数９】
【００４３】
以上のようにして、ある一定期間の間にクラス毎に積和演算が行われて画素位置毎のさらにクラス毎の正規方程式が生成される。クラス毎の正規方程式の各項の結果は、それぞれのクラスに対応するメモリ（またはレジスタ）アレイに記憶されており、次にそれらのクラス毎の正規方程式の各項が掃き出し法の計算回路に供給される。この計算はＣＰＵ４２によって行われる。計算された係数データの組は、図１に示す係数ＲＯＭ１４で構成される係数テーブルに書き込まれて使用される。
【００４４】
ここで、この発明の他の実施例を図８のブロック図を用いて説明する。入力端子１から供給された輝度信号Ｙは、Ａ／Ｄ変換回路２へ供給され、Ａ／Ｄ変換回路２では、例えば１３．５ＭHzでサンプリングされ、平均値／標準偏差回路５５および遅延回路６へ出力される。平均値／標準偏差回路５５では、供給された輝度値の例えば１フィールドまたは１フレーム当りの平均値および標準偏差が求められる。平均値／標準偏差回路５５において、輝度値毎の度数分布を求めるためのテーブルを持ち、１フィールド期間または１フレーム期間に乗算した度数分布から、図９に示すように輝度の平均値が算出されると共に、標準偏差も算出される。また、式（８）には、輝度の平均値を算出する計算式を示し、式（９）には、標準偏差を算出する計算式を示す。
【００４５】
平均値＝Σ（輝度値×度数）／全度数 （８）
標準偏差＝√（Σ（（輝度値−平均値）2×度数）／全度数） （９）
【００４６】
量子化回路５６では、算出された平均値および標準偏差がそれぞれａビット、ｂビットで量子化されて、トータルｎビット（ｎ＝ａ＋ｂ）のコードが発生される。このｎビットのコードが量子化回路５６から縮退ＲＯＭ１１へ供給される。さらに、このｎビットのコードは、いわゆる輝度分布をパターン化したもので、これを見ることで輝度分布が暗い方か、明るい方かに偏っているかどうか、また、輝度分布が平坦か急峻かを判定することができる。
【００４７】
遅延回路６では、ｎビットのコードが生成されるまでの時間（１フィールドまたは１フレーム＋α）だけ、遅延が行われ、その出力は、ブロック化回路７および９、さらに遅延回路１２へ供給される。ブロック化回路７では、注目画素の周辺の空間内の複数の画素が選択され、ブロック化される。そのブロック化された画素は、ＡＤＲＣ回路８へ供給される。ＡＤＲＣ回路８では、ブロック化された画素からｍビットのコードが発生され、縮退ＲＯＭ１１へ供給される。
【００４８】
ブロック化回路９では、注目画素の周辺の空間内の複数の画素が選択され、ブロック化される。上述したように、ブロック化回路７とのブロック化とは異なっても良い。平均化回路１０では、注目画素付近の輝度の平均値が算出され、算出された平均値は、シフトされ、ｐ（＜８）ビットに量子化され、縮退ＲＯＭ１１へ供給される。
【００４９】
縮退ＲＯＭ１１では、上述したように、クラスを縮退させるために、（ｎ＋ｍ＋ｐ）ビットからｑビットに減少させたクラスコード（インデックス）が発生される。このように、縮退ＲＯＭ１１から最終的にｑビットのクラスコードが発生し、そのｑビットのクラスコードは、係数ＲＯＭ１４1 〜１４N へ供給される。係数ＲＯＭ１４1 〜１４N では、供給されたクラスコードでアドレッシングされ、係数データが読み出される。読み出された係数データは、それぞれ乗算器１５1 〜１５N へ供給される。
【００５０】
遅延によるタイミング合わせが行われる遅延回路１２の出力がブロック化回路１３へ供給され、そのブロック化回路１３では、注目画素の周辺の複数の画素がブロック化される。ブロック化された各画素値は、乗算器１５1 〜１５N へ供給される。乗算器１５1 〜１５N では、係数ＲＯＭ１４1 〜１４N からの係数データと、ブロック化された各画素値が乗算され、その乗算値は、加算器１６へ供給される。加算器１６では、乗算器１５1 〜１５N からの乗算値が加算される。
【００５１】
すなわち、乗算器１５1 〜１５N および加算器１６において、積和演算することで、輝度補正値の予測が行われる。その予測値は、Ｄ／Ａ変換回路１７において、Ｄ／Ａ変換され、補正後の輝度値Ｙ´として出力端子１８から取り出される。
【００５２】
ここで、量子化回路の一例を図１０に示し説明する。入力端子６１から輝度値が供給される。供給された輝度値は、輝度度数分布テーブル６２へ供給され、輝度度数分布テーブル６２において、例えば１フィールドまたは１フレーム内の輝度レベルの度数分布のテーブルが生成される。生成されたテーブルに基づいて、平均値算出回路６３では、平均値が式（８）により算出され、算出された平均値は、標準偏差算出回路６４へ供給されると共に、出力端子６５から取り出される。標準偏差算出回路６４では、度数分布のテーブルと平均値から標準偏差が式（９）により算出され、算出された標準偏差は、出力端子６６から取り出される。取り出された標準偏差が小さいときは、度数分布の幅は狭く、標準偏差が大きいときは、度数分布の幅は広くなる。
【００５３】
ここで、係数ＲＯＭに記憶される係数データを生成する学習のためのブロック図を図１１に示す。入力端子１から供給された輝度信号Ｙは、Ａ／Ｄ変換回路２へ供給され、Ａ／Ｄ変換回路２では、例えば１３．５ＭHzでサンプリングされ、平均値／標準偏差算出回路５５および遅延回路６へ出力される。平均値／標準偏差算出回路５５では、上述したように供給された輝度値の例えば１フィールドまたは１フレーム当りの平均値および標準偏差が求められる。平均値／標準偏差算出回路５５において、輝度レベル毎の度数分布を求めるためのテーブルを持ち、１フィールド期間または１フレーム期間に乗算した度数分布から、図９に示すように輝度の平均値が算出されると共に、標準偏差も算出される。また、式（８）には、輝度の平均値を算出する計算式を示し、式（９）には、標準偏差を算出する計算式を示す。
【００５４】
量子化回路５６では、算出された平均値および標準偏差に対してそれぞれａビット、ｂビットで量子化されて、トータルｎビット（ｎ＝ａ＋ｂ）のコードを発生する。このｎビットのコードは、量子化回路５６から縮退ＲＯＭ１１へ供給される。さらに、このｎビットのコードは、いわゆる輝度分布をパターン化したもので、これを見ることで輝度分布が暗い方か、明るい方かに偏っているかどうか、また、平坦か急峻かを判定することができる。
【００５５】
遅延回路６では、ｎビットのコードが生成されるまでの時間（１フィールドまたは１フレーム＋α）だけ、遅延が行われ、その出力は、ブロック化回路７および９、さらに遅延回路１２へ供給される。ブロック化回路７では、注目画素の周辺の空間内の複数の画素が選択され、ブロック化される。そのブロック化された画素は、ＡＤＲＣ回路８へ供給される。ＡＤＲＣ回路８では、ブロック化された画素からｍビットのコードが発生され、縮退ＲＯＭ１１へ供給される。
【００５６】
ブロック化回路９では、注目画素の周辺の空間内の複数の画素が選択され、ブロック化される。上述したように、ブロック化回路７とのブロック化とは異なっても良い。平均化回路１０では、注目画素付近の輝度の平均値が算出され、算出された平均値は、シフトされ、ｐ（＜８）ビットに量子化され、縮退ＲＯＭ１１へ供給される。
【００５７】
縮退ＲＯＭ１１では、上述するように、クラスを縮退させるために、（ｎ＋ｍ＋ｐ）ビットからｑビットに減少させたクラスコード（インデックス）が発生される。このように、縮退ＲＯＭ１１から最終的にｑビットのクラスコードが発生し、そのｑビットのクラスコードは、学習回路３３へ供給される。
【００５８】
遅延合わせが行われる遅延回路１２の出力がブロック化回路１３へ供給され、そのブロック化回路１３では、注目画素の周辺の複数の画素がブロック化される。ブロック化された各画素値は、学習回路３３へ供給される。
【００５９】
そして、入力端子３１から教師用の映像信号の対応する画素の輝度信号Ｙが入力される。その教師用の輝度信号Ｙは、Ａ／Ｄ変換回路３２において、アナログ信号からディジタル信号へ変換され、学習回路３３に入力される。学習回路３３では、ｎタップの線形一時結合モデルを形成し、その各係数データを学習回路３３で算出する。算出された各係数データは、出力端子３４から取り出され、係数ＲＯＭへ格納される。また、学習回路３３は、上述した最小自乗法にてクラス毎に係数データを学習するものである。
【００６０】
この実施例では、すべてハードウェアで実現する方法を記載したが、ディジタル化されたデータを計算機に取り込むことでソフトウェアで計算しても良い。
【００６１】
【発明の効果】
この発明に依れば、輝度分布のパターン分類から全体の輝度補正を行う効果と、空間内のパターン分類および輝度値の平均値から部分的な輝度補正を行う効果を待ち合わせており、よりきめの細かい輝度補正を行うことが可能となる。
【図面の簡単な説明】
【図１】この発明の画像信号処理装置の一実施例を示すブロック図である。
【図２】この発明に係る度数分布の説明に用いる一例の度数分布図である。
【図３】この発明に係るＡＤＲＣ回路の一例のブロック図である。
【図４】この発明に係る係数データの学習するための一例のブロック図である。
【図５】この発明に係る学習回路の一例のブロック図である。
【図６】この発明に係る乗算器アレイの説明に用いる一例の略線図である。
【図７】この発明に係る加算メモリの説明に用いる一例の略線図である。
【図８】この発明の画像信号処理装置の他の実施例を示すブロック図である。
【図９】この発明に係る度数分布の説明に用いる他の一例の度数分布図である。
【図１０】この発明に係る量子化回路の一例のブロック図である。
【図１１】この発明に係る係数データの学習するための一例のブロック図である。
【符号の説明】
２、１７ Ａ／Ｄ変換回路
３ 変換ＲＯＭ
４ 領域別輝度分布回路
５、８ ＡＤＲＣ回路
６、１２ 遅延回路
７、９、１３ ブロック化回路
１０ 平均化回路
１１ 縮退ＲＯＭ
１４ 係数ＲＯＭ
１５ 乗算器
１６ 加算器
Claims (4)
- 映像信号の輝度値に対して、所定期間内の度数分布を測定する手段と、
上記度数分布を適当な領域に分割して上記領域内の積算値を正規化することによって、上記度数分布をパターン化して、ｎビットの第１のクラス分類情報を生成する第１のクラス分類手段と、
注目画素の周辺画素を含む複数個の画素をブロック化し、ブロック毎に空間のパターン分類を行い、上記注目画素に関してｍビットの第２のクラス分類情報を生成する第２のクラス分類手段と、
上記注目画素の周辺画素の輝度値を平均化し、平均化された上記輝度値をｐビットの第３のクラス分類情報を生成する第３のクラス分類手段と、
上記ｎビットの第１のクラス分類情報、上記ｍビットの第２のクラス分類情報、および上記ｐビットの第３のクラス分類情報を組合せ、上記組み合わせた（ｎ＋ｍ＋ｐ）ビットのクラス分類情報を縮退し、ｑ（＜（ｎ＋ｍ＋ｐ））ビットの第４のクラス分類情報を生成する縮退手段と、
予めクラス毎に最小自乗法による学習処理で求められた係数データが格納された係数メモリと、
上記ｑビットの第４のクラス分類情報に対応して上記メモリから読み出される上記係数データと、上記注目画素の周辺画素の輝度値とを積和演算し、補正輝度値を生成する積和演算手段と、
からなることを特徴とする画像信号処理装置。 - 映像信号の輝度値に対して、所定期間内の度数分布を測定する手段と、
上記度数分布の平均値および標準偏差が算出され、上記平均値および標準偏差を量子化することによって、量子化された上記平均値および標準偏差をまとめて、ｎビットの第１のクラス分類情報を生成する第１のクラス分類手段と、
注目画素の周辺画素を含む複数個の画素をブロック化し、ブロック毎に空間のパターン分類を行い、上記注目画素に関してｍビットの第２のクラス分類情報を生成する第２のクラス分類手段と、
上記注目画素の周辺画素の輝度値を平均化し、平均化された上記輝度値をｐビットの第３のクラス分類情報を生成する第３のクラス分類手段と、
上記ｎビットの第１のクラス分類情報、上記ｍビットの第２のクラス分類情報、および上記ｐビットの第３のクラス分類情報を組合せ、上記組み合わせた（ｎ＋ｍ＋ｐ）ビットのクラス分類情報を縮退し、ｑ（＜（ｎ＋ｍ＋ｐ））ビットの第４のクラス分類情報を生成する縮退手段と、
予めクラス毎に最小自乗法による学習処理で求められた係数データが格納された係数メモリと、
上記ｑビットの第４のクラス分類情報に対応して上記メモリから読み出される上記係数データと、上記注目画素の周辺画素の輝度値とを積和演算し、補正輝度値を生成する積和演算手段と、
からなることを特徴とする画像信号処理装置。 - 映像信号の輝度値に対して、所定期間内の度数分布を測定するステップと、
上記度数分布を適当な領域に分割して上記領域内の積算値を正規化することによって、上記度数分布をパターン化して、ｎビットの第１のクラス分類情報を生成する第１のクラス分類ステップと、
注目画素の周辺画素を含む複数個の画素をブロック化し、ブロック毎に空間のパターン分類を行い、上記注目画素に関してｍビットの第２のクラス分類情報を生成する第２のクラス分類ステップと、
上記注目画素の周辺画素の輝度値を平均化し、平均化された上記輝度値をｐビットの第３のクラス分類情報を生成する第３のクラス分類ステップと、
上記ｎビットの第１のクラス分類情報、上記ｍビットの第２のクラス分類情報、および上記ｐビットの第３のクラス分類情報を組合せ、上記組み合わせた（ｎ＋ｍ＋ｐ）ビットのクラス分類情報を縮退し、ｑ（＜（ｎ＋ｍ＋ｐ））ビットの第４のクラス分類情報を生成する縮退ステップと、
予めクラス毎に最小自乗法による学習処理で求められた係数データが格納された係数メモリから上記ｑビットの第４のクラス分類情報に対応して読み出される上記係数データと、上記注目画素の周辺画素の輝度値とを積和演算し、補正輝度値を生成する積和演算ステップと、
からなることを特徴とする画像信号処理方法。 - 映像信号の輝度値に対して、所定期間内の度数分布を測定するステップと、
上記度数分布の平均値および標準偏差が算出され、上記平均値および標準偏差を量子化することによって、量子化された上記平均値および標準偏差をまとめて、ｎビットの第１のクラス分類情報を生成する第１のクラス分類ステップと、
注目画素の周辺画素を含む複数個の画素をブロック化し、ブロック毎に空間のパターン分類を行い、上記注目画素に関してｍビットの第２のクラス分類情報を生成する第２のクラス分類ステップと、
上記注目画素の周辺画素の輝度値を平均化し、平均化された上記輝度値をｐビットの第３のクラス分類情報を生成する第３のクラス分類ステップと、
上記ｎビットの第１のクラス分類情報、上記ｍビットの第２のクラス分類情報、および上記ｐビットの第３のクラス分類情報を組合せ、上記組み合わせた（ｎ＋ｍ＋ｐ）ビットのクラス分類情報を縮退し、ｑ（＜（ｎ＋ｍ＋ｐ））ビットの第４のクラス分類情報を生成する縮退ステップと、
予めクラス毎に最小自乗法による学習処理で求められた係数データが格納された係数メモリから上記ｑビットの第４のクラス分類情報に対応して読み出される上記係数データと、上記注目画素の周辺画素の輝度値とを積和演算し、補正輝度値を生成する積和演算ステップと、
からなることを特徴とする画像信号処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32835895A JP3791029B2 (ja) | 1995-11-22 | 1995-11-22 | 画像信号処理装置および方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32835895A JP3791029B2 (ja) | 1995-11-22 | 1995-11-22 | 画像信号処理装置および方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09147101A JPH09147101A (ja) | 1997-06-06 |
| JP3791029B2 true JP3791029B2 (ja) | 2006-06-28 |
Family
ID=18209361
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP32835895A Expired - Lifetime JP3791029B2 (ja) | 1995-11-22 | 1995-11-22 | 画像信号処理装置および方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3791029B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4595162B2 (ja) * | 2000-05-24 | 2010-12-08 | ソニー株式会社 | 画像信号処理装置及び画像信号処理方法 |
| JP4622043B2 (ja) | 2000-05-26 | 2011-02-02 | ソニー株式会社 | 情報処理装置および方法 |
| KR100688375B1 (ko) * | 2001-01-31 | 2007-03-02 | 산요덴키가부시키가이샤 | 화상 처리 회로 |
| JP2003255901A (ja) | 2001-12-28 | 2003-09-10 | Sanyo Electric Co Ltd | 有機ｅｌディスプレイの輝度制御方法および輝度制御回路 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0529635B1 (en) * | 1991-08-30 | 1998-11-04 | Matsushita Electric Industrial Co., Ltd. | An image processing apparatus |
| US5164993A (en) * | 1991-11-25 | 1992-11-17 | Eastman Kodak Company | Method and apparatus for automatic tonescale generation in digital radiographic images |
| JP3632993B2 (ja) * | 1993-08-30 | 2005-03-30 | ソニー株式会社 | 電子ズーム装置及び電子ズーム方法 |
| JP3533697B2 (ja) * | 1994-03-28 | 2004-05-31 | ソニー株式会社 | 適応フィルタ装置及び適応フィルタ処理方法 |
-
1995
- 1995-11-22 JP JP32835895A patent/JP3791029B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH09147101A (ja) | 1997-06-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7643180B2 (en) | Image processing and display apparatus and method for tone resolution expansion of digital images | |
| EP0778696B1 (en) | Method and apparatus for providing halftoning processing of color images by means of a neural network | |
| EP0781034B1 (en) | Image processing apparatus and method | |
| US20050285974A1 (en) | Apparatus and method of smoothing video signal using pattern adaptive filtering | |
| JPH05225332A (ja) | 空間的可変濾波の方法及び装置 | |
| JP3791029B2 (ja) | 画像信号処理装置および方法 | |
| JP3031994B2 (ja) | 画像処理装置 | |
| JP3758228B2 (ja) | クラス分類適応処理における学習方法および学習装置 | |
| US5488672A (en) | Color image processing apparatus | |
| US5719793A (en) | Recursive noise reduction device having improved adaptability with respect to input image data | |
| JP3743077B2 (ja) | 画像信号変換装置および方法 | |
| JP4062329B2 (ja) | 信号処理装置および方法 | |
| JPH0698157A (ja) | 中間調画像形成装置 | |
| JP3225099B2 (ja) | 画像処理装置 | |
| JP4482502B2 (ja) | 情報信号変換装置および方法 | |
| JP2703911B2 (ja) | 画像処理装置 | |
| JP2506205B2 (ja) | 黒レベル補正装置 | |
| JP2860039B2 (ja) | 擬似中間調画像縮小装置 | |
| JP2008086021A (ja) | 学習装置および学習方法 | |
| JPH1042313A (ja) | 信号処理システムおよびイメージ処理装置、ならびに信号を変換するための回路 | |
| JP2005051337A (ja) | 画像処理方法、画像処理装置およびプログラム | |
| JP2946217B2 (ja) | 画像処理装置 | |
| JP3222585B2 (ja) | 中間調二値データ発生回路 | |
| JPS59163960A (ja) | 画像処理方法 | |
| JPS6148275A (ja) | 画像信号処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050125 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050328 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051018 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051209 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060314 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060327 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090414 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100414 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100414 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110414 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120414 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130414 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130414 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140414 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |