JPH09237345A - クラス分類適応処理における学習方法 - Google Patents

Abstract

(57)【要約】 【課題】 クラス分類適応処理を用いて輝度値の補正を
行う場合、暗から明へ連続的に照明を変化させ、あるカ
ットで複数フレームの撮影を行い、その複数フレームの
中央付近のフレームを最適であると思われる輝度値の画
像信号を教師用の画像信号として設定し、教師用の画像
信号以外のフレームを補正対象の画像信号として学習を
行うことで、最適な係数データが学習できる。 【解決手段】 補正対象の画像信号がＡ／Ｄ変換され、
平均値／標準偏差回路３、遅延回路５へ供給される。量
子化回路４では、平均値と標準偏差からｎビットのコー
ドが縮退ＲＯＭ８へ供給される。ブロック化回路６、平
均化回路７からのｐビットのコードとｎビットのコード
とを縮退させたｑビットのクラスコードは、縮退ＲＯＭ
８から学習回路５３へ供給される。学習回路５３では、
Ａ／Ｄ変換された教師用の画像信号が供給され、最適な
係数データが獲得される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、画像信号の輝度
値をクラス分類適応処理を用いて補正するようにした輝
度補正装置に記憶される最適な係数データを獲得するた
めのクラス分類適応処理における学習方法に関する。

【０００２】

【従来の技術】通常、輝度補正装置において、輝度補正
は、画面内の輝度値の積分値（全受光量に相当する）を
求め、これに応じてアンプのゲインを変化させることで
輝度補正を行っていた。従って、空間内で見るとどの画
素にも一定のゲインが掛かっており、暗い部分のみを明
るくしたり、明るい部分のみを暗くしたり、という細か
い補正を行うことができなかった。

【０００３】

【発明が解決しようとする課題】そこで、クラス分類適
応処理を導入して輝度補正の改善を図ることを提案した
（特願平７−３２８３５８号参照）。しかしながら、輝
度補正のための係数学習において、種々の明るさの画
像、種々の被写体の画像等を用いているため、膨大なデ
ータ量を扱う必要があった。その結果、係数データのが
学習が非常に繁雑でしかも時間がかかるという問題があ
った。また、輝度補正においてノイズ等の影響でクラス
の連続性が補償できないために、輝度補正に不連続が生
じたりすることがあった。

【０００４】従って、この発明の目的は、輝度分布のパ
ターン分類に応じた輝度補正と、空間内のパターン分類
および輝度値の平均値に応じた部分的な輝度補正とを行
うことによりきめの細かい輝度補正を行うことができる
輝度補正装置に記憶される最適な係数データを獲得する
ためのクラス分類適応処理における学習方法を提供する
ことにある。

【０００５】

【課題を解決するための手段】請求項１に記載の発明
は、入力画像信号の複数の画素と演算されることによっ
て、入力画像信号の輝度を補正するために使用される係
数を予め学習によりクラス毎に求めるようにしたクラス
分類適応処理における学習方法において、照明を暗から
明または明から暗に徐々に変化させて撮影した複数の画
像を学習用の画像信号として使用し、複数の画像の中か
ら適切な輝度値の画像信号を教師用の画像信号として選
択し、教師用の画像信号以外の画像信号を補正対象用の
画像信号として使用し、教師用の画像信号と複数の補正
対象用の画像信号とをクラス毎に分類し、クラス毎に輝
度を補正するための係数を学習することを特徴とするク
ラス分類適応処理における学習方法である。

【０００６】１フィールドまた１フレーム内の輝度値の
平均値および標準偏差に対して量子化を行うことによ
り、ｎビットのコードが発生し、注目画素の周辺の空間
内の複数の画素、すなわちブロック化された画素に対し
てＡＤＲＣ符号化（適応的ダイナミックレンジ符号化）
を行うことにより、ｍビットのコードが発生し、ブロッ
ク化された画素の輝度値の平均値をシフトすることによ
って、ｐ（＜８）ビットのコードが発生し、縮退ＲＯＭ
によって、（ｎ＋ｍ＋ｐ）ビットからｑビットに減少さ
せたクラスコードが発生し、このクラスコードに応じた
係数データが読み出され、その係数データを用いた線形
１次結合式によって、補正された輝度値が生成される。
この係数データを獲得する学習において、教師用の画像
信号として照明の強度のみ変化させた６０フレーム程度
のフレームの中から最適と思われるフレームを使用し、
この教師用の画像信号以外の画像信号を補正対象の画像
信号とすることにより学習を行い、最適な係数データを
獲得することができる。

【０００７】

【発明の実施の形態】以下、この発明の一実施例につい
て図面を参照して説明する。この発明の理解を容易とす
るため、先に本願発明者の提案にかかる輝度補正装置の
いくつかの例について説明する。この発明が適用できる
輝度補正装置の第１の例を図１に示す。１で示す入力端
子から供給される画像信号の内、輝度信号ＹがＡ／Ｄ変
換器２によってアナログ信号からディジタル信号に変換
される。このＡ／Ｄ変換器２では、例えば１３．５ＭHz
のクロックでサンプリングが行われた場合、画像のサイ
ズは、１フレームあたり、横７２０画素×縦４８０ライ
ン程度となる。ディジタル信号に変換された輝度信号
は、Ａ／Ｄ変換器２から平均値／標準偏差回路３および
遅延回路５へ供給される。

【０００８】平均値／標準偏差回路３では、後述するよ
うに供給された輝度値の例えば１フィールドまたは１フ
レーム当りの平均値および標準偏差が求められる。平均
値／標準偏差回路３において、輝度値毎の度数分布を求
めるためのテーブルを持ち、１フィールド期間または１
フレーム期間に乗算した度数分布から、図２に示すよう
に輝度の平均値が算出されると共に、標準偏差も算出さ
れる。また、式（１）には、輝度の平均値を算出する計
算式を示し、式（２）には、標準偏差を算出する計算式
を示す。

【０００９】 平均値＝Σ（輝度値×度数）／全度数 （１） 標準偏差＝√（Σ（輝度値−平均値）² ×度数）／全度数） （２） ただし、√（ ）は、（ ）内の演算結果を平方根とす
る。

【００１０】量子化回路４では、算出された平均値およ
び標準偏差がそれぞれａビット、ｂビットで量子化され
て、トータルｎビット（ｎ＝ａ＋ｂ）のコードが発生さ
れる。このｎビットのコードが量子化回路４から縮退Ｒ
ＯＭ８へ供給される。さらに、このｎビットのコード
は、いわゆる輝度分布をパターン化したもので、これを
見ることで輝度分布が暗い方か、明るい方かに偏ってい
るかどうか、また、輝度分布が平坦か急峻かを判定する
ことができる。

【００１１】一方、遅延回路５では、ｎビットのコード
が生成されるまでの時間（１フィールドまたは１フレー
ム＋α）だけ、遅延が行われ、その出力は、ブロック化
回路６および遅延回路９へ供給される。ブロック化回路
６では、注目画素の周辺の空間内の複数の画素が選択さ
れ、ブロック化される。そのブロック化された画素は、
平均化回路７へ供給される。平均化回路７では、注目画
素付近の輝度の平均値が算出され、算出された平均値
は、シフトされ、ｐ（＜８）ビットに量子化され、縮退
ＲＯＭ８へ供給される。

【００１２】このように、ブロック化された各画素の輝
度の平均値が算出され、すなわち輝度レベルをクラス分
類の１つとすることで、レベル方向での補正の仕方に変
化を持たせることができる。例えば、明るい部分や暗い
部分のみを補正したり、γ特性を考慮した補正を行うこ
とが可能となる。また、輝度レベルの平均化による作用
は、輝度補正が過敏に利くのを防止する役割も果たす。

【００１３】以上の説明で、２種類のクラス分類コード
が生成されたが、これを単純に組み合わると分類数が膨
大になり、後述する係数ＲＯＭの容量が膨大になる。そ
こで量子化回路４からのｎビットおよび平均化回路７か
らのｐビットは、縮退ＲＯＭ８へ供給され、縮退ＲＯＭ
８において、供給された各ビット数を縮退させる。具体
的には、縮退ＲＯＭ８では、クラスを縮退させるため
に、（ｎ＋ｐ）ビットからｑビットに減少させたクラス
コード（インデックス）が発生される。

【００１４】なお、縮退の方法について、ここでは詳細
を述べないが、（ｎ＋ｐ）ビットで学習した全クラスに
対応する係数組から、ベクトル量子化的手法として、係
数間ノルムの小さいものをまとめて縮退させる方法など
を使用するものとする。すなわち、２つの係数組の間
で、対応する係数の距離（係数間ノルム）を求め、これ
に基づいて、係数の組をまとめる。

【００１５】このように、縮退ＲＯＭ８から最終的にｑ
ビットのクラスコードが発生し、そのｑビットのクラス
コードは、係数ＲＯＭ１１₁ 〜１１_N へ供給される。係
数ＲＯＭ１１₁ 〜１１_N では、供給されたクラスコード
でアドレッシングされ、係数データが読み出される。読
み出された係数データは、それぞれ乗算器１２₁ 〜１２
_N へ供給される。

【００１６】遅延合わせが行われる遅延回路９の出力が
ブロック化回路１０へ供給され、そのブロック化回路１
０では、注目画素の周辺の複数の画素がブロック化され
る。ブロック化された各画素値は、乗算器１１₁ 〜１１
_N へ供給される。乗算器１２₁ 〜１２_N では、係数ＲＯ
Ｍ１１₁ 〜１１_N からの係数データと、ブロック化され
た各画素値が乗算され、その乗算出力は、加算器１３へ
供給される。加算器１３では、乗算器１２₁ 〜１２_N か
らの乗算出力が加算される。

【００１７】すなわち、乗算器１２₁ 〜１２_N および加
算器１３によって、積和演算することで、輝度補正値の
予測が行われる。この予測値は、Ｄ／Ａ変換回路１４に
おいて、Ｄ／Ａ変換され、補正後の輝度値Ｙ´として出
力端子１５から取り出される。

【００１８】ここで、平均値／標準偏差回路３の一例を
図３に示し説明する。入力端子２１から輝度値が供給さ
れる。供給された輝度値は、輝度度数分布テーブル２２
へ供給され、輝度度数分布テーブル２２において、例え
ば１フィールドまたは１フレーム内の輝度レベルの度数
分布のテーブルが生成される。生成されたテーブルに基
づいて、平均値算出回路２３では、平均値が式（１）に
より算出され、算出された平均値は、標準偏差算出回路
２４へ供給されると共に、出力端子２５から取り出され
る。標準偏差算出回路２４では、度数分布のテーブルと
平均値から標準偏差が式（２）により算出され、算出さ
れた標準偏差は、出力端子２６から取り出される。取り
出された標準偏差が小さいときは、度数分布の幅は狭
く、標準偏差が大きいときは、度数分布の幅は広くな
る。

【００１９】次に、この発明が適用できる輝度補正装置
の第２の例を図４に示す。入力端子１から供給される画
像信号の内、輝度信号ＹがＡ／Ｄ変換器２によってアナ
ログ信号からディジタル信号に変換される。ディジタル
信号に変換された輝度信号は、Ａ／Ｄ変換器２から平均
値／標準偏差回路３および遅延回路５へ供給される。平
均値／標準偏差回路３では、供給された輝度値の例えば
１フィールドまたは１フレーム当りの平均値および標準
偏差が式（１）および式（２）を用いて求められる。求
められた平均値および標準偏差は、平均値／標準偏差回
路３から量子化回路４へ供給される。量子化回路４で
は、算出された平均値および標準偏差がそれぞれａビッ
ト、ｂビットで量子化されて、トータルｎビット（ｎ＝
ａ＋ｂ）のコードが発生される。このｎビットのコード
が量子化回路４から縮退ＲＯＭ８へ供給される。

【００２０】一方、遅延回路５では、ｎビットのコード
が生成されるまでの時間（１フィールドまたは１フレー
ム＋α）だけ、遅延が行われ、その出力は、ブロック化
回路６および３１、さらに遅延回路９へ供給される。ブ
ロック化回路３１では、注目画素の周辺の空間内の複数
の画素が選択され、ブロック化される。そのブロック化
された画素は、ＡＤＲＣ回路３２へ供給される。ＡＤＲ
Ｃ回路３２では、後述するようにブロック化された画素
から最大値および最小値が選択され、各画素が再量子化
されｍビットのコードが発生され、縮退ＲＯＭ８へ供給
される。このコードは、いわゆる空間の輝度の変化の様
子をパターン化したものである。このコードによるクラ
ス分類は、輝度補正そのものより、Ｓ／Ｎ比の改善、解
像度の改善等に効果をもたらす。

【００２１】ブロック化回路６において、補正しようと
する注目画素の周辺の空間内の複数の画素が選択され、
ブロック化される。このブロック化回路６において実行
されるブロック化と、ブロック化回路３１において実行
されるブロック化とは、異なっても良い。すなわち、ブ
ロック化回路３１において選択される画素と、ブロック
化回路６において選択される画素とは異なっても良い。
ブロック化された画素は、ブロック化回路６から平均化
回路７へ供給される。平均化回路７では、注目画素付近
の輝度の平均値が算出され、算出された平均値は、シフ
トされ、ｐ（＜８）ビットに量子化され、縮退ＲＯＭ８
へ供給される。

【００２２】以上の説明で、３種類のクラス分類コード
が生成されたが、上述したように、これを単純に組み合
わると分類数が膨大になり、後述する係数ＲＯＭの容量
が膨大になる。そこで量子化回路４からのｎビット、Ａ
ＤＲＣ回路３２からのｍビットおよび平均化回路７から
のｐビットは、縮退ＲＯＭ８へ供給され、縮退ＲＯＭ８
において、供給された各ビット数を縮退させる。具体的
には、縮退ＲＯＭ８では、クラスを縮退させるために、
（ｎ＋ｍ＋ｐ）ビットからｑビットに減少させたクラス
コード（インデックス）が発生される。

【００２３】以後、上述した図１に示される輝度補正装
置と同様に、クラスコードに対応した係数データが係数
ＲＯＭ１１₁ 〜１１_N から読み出される。読み出された
係数データは、乗算器１２₁ 〜１２_N および加算器１３
によって、ブロック化された各画素値との積和演算がな
され、輝度補正値の予測が行われる。この予測値は、Ｄ
／Ａ変換回路１４において、Ｄ／Ａ変換され、補正後の
輝度値Ｙ´として、出力端子１５から取り出される。

【００２４】ここで、ＡＤＲＣ回路３２の構成の一例を
図５に示し説明する。入力端子４１からブロック化され
たデータが供給される。供給されたデータは、最大値検
出回路４２、最小値検出回路４３および遅延回路４５へ
供給される。最大値検出回路４２において、ブロック内
の画素値の最大となる値が検出され、最小値検出回路４
３において、ブロック内の画素値の最小となる値が検出
される。減算器４４では、最大値から最小値が減算さ
れ、そのブロックのダイナミックレンジＤＲが算出され
る。算出されたダイナミックレンジＤＲは、適応再量子
化回路４７へ供給される。

【００２５】遅延回路４５では、最大値検出回路４２お
よび最小値検出回路４３がそれぞれ検出にかかる時間遅
延が行われ、１画素ずつ出力される。減算器４６では、
ブロック化された各画素から最小値が減算され、その減
算値は、適応再量子化回路４７へ供給される。適応再量
子化回路４７では、ダイナミックレンジＤＲに応じた所
定の量子化ステップ幅を用いて、減算値の量子化を画素
毎に行う。並列化回路４８では、量子化された画素がブ
ロック単位で並列化され、出力端子４９からコード化デ
ータとして出力される。

【００２６】次に、この発明が適用できる輝度補正装置
の第３の例を図６に示す。入力端子１からの画像信号の
内、輝度信号ＹがＡ／Ｄ変換器２によってアナログ信号
からディジタル信号に変換される。ディジタル信号に変
換された輝度信号は、Ａ／Ｄ変換器２から変換ＲＯＭ３
４および遅延回路５へ供給される。変換ＲＯＭ３４で
は、供給された輝度値と領域の対応付けが行われる。具
体的には、８ビット（０〜２５５）からなる輝度値が入
力され、この輝度値をある複数の領域、例えばｓ個の領
域に分ける働きが変換ＲＯＭ３４では行われる。また、
この変換ＲＯＭ３４によって分けられた複数の領域毎
に、領域別輝度分布回路３５では、例えば１フィールド
または１フレーム内の度数の積算が行われる。その積算
値は、ＡＤＲＣ回路３６へ供給される。ＡＤＲＣ回路３
６では、上述したように領域毎に、例えばａビットの量
子化が行われ、トータルｎビット（ｎ＝ｓ×ａ）のコー
ドが発生する。このｎビットのコードは、ＡＤＲＣ回路
３６から縮退ＲＯＭ８へ供給される。

【００２７】ここで、変換ＲＯＭ３４、領域別輝度分布
回路３５およびＡＤＲＣ回路３６の動作を図７を用いて
説明する。図７Ａに示すように、例えば１フィールドま
たは１フレーム内の輝度値の度数分布を計数しようとす
る場合、本来ならば２５６レベル毎の度数分布を計数す
る。しかしながら、図７Ｂに示すように、輝度レベル
を、例えば適当なしきい値でもってｓ個の領域に分割
し、その領域番号と入力輝度値を対応付けるＲＯＭを挿
入することで任意の領域分けを行う。この領域分けは、
単純に均等分割するか、不均等分割するか、間引くかあ
るいは領域のオーバーラップを認めるか等、種々のバリ
エーションを試すことができる。

【００２８】図７Ｃは、ＡＤＲＣ回路３６が１ビットの
ＡＤＲＣを行い、このＡＤＲＣ回路３６が６ビットのコ
ードを出力する一例である。このコードは、いわゆる輝
度の度数分布をパターン化したもので、これを見ること
で輝度分布が暗い方か、明るい方かに偏っているかどう
かを判定することができる。以後、上述の図４と同様に
ＡＤＲＣ回路３２からのｍビットおよび平均値回路７か
らのｐビットが縮退ＲＯＭ８に供給される。

【００２９】以上の説明のように、ＡＤＲＣ回路３６か
らのｎビット、ＡＤＲＣ回路３２からのｍビットおよび
平均値回路７からのｐビットが発生する。この３種類の
クラス分類コードが生成されたが、上述したように、こ
れを単純に組み合わると分類数が膨大になり、後述する
係数ＲＯＭの容量が膨大になる。そこで縮退ＲＯＭ８に
おいて、供給された各ビット数を縮退させる。具体的に
は、縮退ＲＯＭ８では、クラスを縮退させるために、
（ｎ＋ｍ＋ｐ）ビットからｑビットに減少させたクラス
コード（インデックス）が発生される。

【００３０】上述した図１の輝度補正装置と同様に、ク
ラスコードに対応した係数データが係数ＲＯＭ１１₁ 〜
１１_N から読み出される。読み出された係数データは、
乗算器１２₁ 〜１２_N および加算器１３によって、ブロ
ック化された各画素値との積和演算がなされ、輝度補正
値の予測が行われる。この予測値は、Ｄ／Ａ変換回路１
４において、Ｄ／Ａ変換され、補正後の輝度値Ｙ´とし
て、出力端子１５から取り出される。

【００３１】次に、図１に示す輝度補正装置の第１の例
に適用される係数データの学習について図８を用いて説
明する。入力端子１から供給された輝度信号Ｙは、Ａ／
Ｄ変換回路２へ供給され、Ａ／Ｄ変換回路２では、例え
ば１３．５ＭHzでサンプリングされ、平均値／標準偏差
算出回路３および遅延回路５へ出力される。平均値／標
準偏差算出回路３では、上述したように供給された輝度
値の例えば１フィールドまたは１フレーム当りの平均値
および標準偏差が式（１）および式（２）を用いて求め
られる。

【００３２】量子化回路４では、算出された平均値およ
び標準偏差に対してそれぞれａビット、ｂビットで量子
化されて、トータルｎビット（ｎ＝ａ＋ｂ）のコードを
発生する。このｎビットのコードは、量子化回路４から
縮退ＲＯＭ８へ供給される。遅延回路５では、ｎビット
のコードが生成されるまでの時間（１フィールドまたは
１フレーム＋α）だけ、遅延が行われ、その出力は、ブ
ロック化回路６および遅延回路９へ供給される。ブロッ
ク化回路６では、注目画素の周辺の空間内の複数の画素
が選択され、ブロック化される。そのブロック化された
画素は、平均化回路７へ供給される。平均化回路９で
は、注目画素付近の輝度の平均値が算出され、算出され
た平均値は、シフトされ、ｐ（＜８）ビットに量子化さ
れ、縮退ＲＯＭ８へ供給される。

【００３３】縮退ＲＯＭ８では、上述するように、クラ
スを縮退させるために、（ｎ＋ｐ）ビットからｑビット
に減少させたクラスコード（インデックス）が発生され
る。このように、縮退ＲＯＭ８から最終的にｑビットの
クラスコードが発生し、そのｑビットのクラスコード
は、学習回路５３へ供給される。

【００３４】遅延合わせが行われる遅延回路９の出力が
ブロック化回路１０へ供給され、そのブロック化回路１
０では、注目画素の周辺の複数の画素がブロック化され
る。ブロック化された各画素値は、学習回路５３へ供給
される。

【００３５】そして、入力端子５１から教師用の画像信
号の対応する画素の輝度信号Ｙが入力される。入力され
た教師用の輝度信号Ｙは、Ａ／Ｄ変換回路５２におい
て、アナログ信号からディジタル信号へ変換され、学習
回路５３に供給される。学習回路５３では、ｎタップの
線形一時結合モデルを形成し、その各係数データを学習
回路５３で算出する。算出された各係数データは、出力
端子５４から取り出され、係数ＲＯＭへ格納される。ま
た、学習回路５３は、後述する最小自乗法にてクラス毎
に係数データを学習するものである。学習により得られ
た係数データは、出力端子５４を介して出力され、ＲＯ
Ｍなどの記憶媒体にクラス毎に格納される。また、学習
回路５３は、以下に述べる最小自乗法にてクラス毎に係
数データ学習するものである。

【００３６】学習の方法として、多数の補正対象用の入
力信号の画素の値と教師用の画像信号の画素の値との関
係を求める最小自乗法を採用した。まず、上述した値の
間に線形１次結合の関係があると仮定し、以下に線形一
次結合モデルを示す。

【００３７】線形一次結合モデル：（観測方程式） ＸＷ＝Ｙ （３）

【数１】

【００３８】最小自乗法による解放：（残差方程式）

【数２】

【００３９】式（５）から、各ｗ_i の最確値を見いだす
には、

【数３】 を最小にする条件、すなわち

【００４０】

【数４】 なる、Ｎ個の条件を入れてこれを満足するｗ₁ 、ｗ₂ 、
・・・、ｗ_N を見いだせばよい。式（５）より、

【００４１】

【数５】 となり、式（６）条件をｉ＝１，２，・・・，Ｎについ
て立てればそれぞれ、

【００４２】

【数６】 が得られる。ここで、式（５）および式（８）から次式
の正規方程式が得られる。

【００４３】

【数７】 これは、ちょうど未知数の数Ｎ個だけある連立方程式で
あるから、これより最確値たる各ｗ_i を求めることがで
きる。

【００４４】正確には、式（９）でｗ_i にかかる

【数８】 のマトリクスが正則であれば解くことができる。（ただ
し、ｋ＝１，２，・・・，Ｎ、ｌ＝１，２，・・・，
Ｎ）実際には、Gauss-Jordanの消去法（掃き出し法）を
用いて連立方程式を解くことになる。

【００４５】次に、最小自乗法の演算を行うハードウェ
アのブロック図を図９に示す。図８の学習のブロック図
において、補正対象の画素を中心とするブロックの画素
値ｘ₁ 〜ｘ_N と、その画素に対応する教師用の画素値δ
ｙが入力されると共に、クラスコード（インデックス）
が入力される。最小自乗法の回路は、大きく分けて正規
方程式生成回路６１とＣＰＵ６２からなり、その正規方
程式生成回路６１は、乗算器アレイ６３、加算メモリ６
４およびデコード部６５からなる。ＣＰＵ６２は、係数
データを求めるため、例えば掃き出し法の演算を行うＣ
ＰＵからなる。乗算器アレイ６３には、注目画素位置に
対して１組のメモリ（またはレジスタ）が存在し、加算
メモリ６４には、クラスの数だけ組のメモリ（またはレ
ジスタ）が存在する。また、デコード部６５では、供給
されるクラスコード（インデックス）がデコードされ
る。

【００４６】ここで、乗算器アレイ６３について、図１
０を用いて説明する。補正対象の画素を中心としてブロ
ックの画素値と対応する教師用の画素値δｙは、正規方
程式回路６１の乗算器アレイ６３において、図１０に示
すように各要素どうしの乗算が行われ、その結果が加算
メモリ６４へ供給される。

【００４７】そして、加算メモリ６４は、図１１に示す
ように加算器アレイ７１およびメモリ（またはレジス
タ）アレイ７２₁ 〜７２_N から構成される。加算器アレ
イ７１には、乗算器アレイ６３からの結果とメモリ（ま
たはレジスタ）アレイ７２₁ 〜７２_N からの出力が供給
される。その加算結果は、加算器アレイ７１からメモリ
（またはレジスタ）アレイ７２₁ 〜７２_N に出力され
る。このとき、どのメモリ（またはレジスタ）アレイ７
２₁ 〜７２_N が選択されるかは、デコード部６５に供給
されたクラスコード（インデックス）がデコードされる
ことで一意に決定される。つまり、インデックスによっ
て決定されるクラス毎にメモリ（またはレジスタ）アレ
イ７２が選択される。この選択されたメモリ（またはレ
ジスタ）アレイ７２には、積和演算の結果が更新され、
記憶される。

【００４８】なお、各々のアレイの位置は、正規方程式
（９）のｗ_i にかかる

【数９】 の位置に対応する。正規方程式（９）を見てわかるよう
に右上の項を反転すれば左下と同じものになるため、各
アレイは三角形の形状をしている。

【００４９】以上のようにして、ある一定期間の間にク
ラス毎に積和演算が行われて画素位置毎のさらにクラス
毎の正規方程式が生成される。クラス毎の正規方程式の
各項の結果は、それぞれのクラスに対応するメモリ（ま
たはレジスタ）アレイに記憶されており、次にそれらの
クラス毎の正規方程式の各項が掃き出し法の計算回路に
供給される。この計算はＣＰＵ６２によって行われる。
計算された係数データの組は、係数ＲＯＭで構成される
係数テーブルに書き込まれて使用される。

【００５０】次に、図４に示す輝度補正装置の第２の例
に適用される係数データの学習について図１２を用いて
説明する。入力端子１から供給された輝度信号Ｙは、Ａ
／Ｄ変換回路２へ供給され、Ａ／Ｄ変換回路２では、例
えば１３．５ＭHzでサンプリングされ、平均値／標準偏
差算出回路３および遅延回路５へ出力される。平均値／
標準偏差算出回路３では、上述したように供給された輝
度値の例えば１フィールドまたは１フレーム当りの平均
値および標準偏差が式（１）および式（２）を用いて求
められる。

【００５１】量子化回路４では、算出された平均値およ
び標準偏差に対してそれぞれａビット、ｂビットで量子
化されて、トータルｎビット（ｎ＝ａ＋ｂ）のコードを
発生する。このｎビットのコードは、量子化回路４から
縮退ＲＯＭ８へ供給される。遅延回路５では、ｎビット
のコードが生成されるまでの時間（１フィールドまたは
１フレーム＋α）だけ、遅延が行われ、その出力は、ブ
ロック化回路６および３１、さらに遅延回路５へ供給さ
れる。ブロック化回路３１では、注目画素の周辺の空間
内の複数の画素が選択され、ブロック化される。そのブ
ロック化された画素は、ＡＤＲＣ回路３２へ供給され
る。ＡＤＲＣ回路３２では、ブロック化された画素から
ｍビットのコードが発生され、縮退ＲＯＭ８へ供給され
る。

【００５２】ブロック化回路６では、注目画素の周辺の
空間内の複数の画素が選択され、ブロック化される。上
述したように、ブロック化回路３１とブロック化回路６
とのブロック化とは異なっても良い。平均化回路７で
は、注目画素付近の輝度の平均値が算出され、算出され
た平均値は、シフトされ、ｐ（＜８）ビットに量子化さ
れ、縮退ＲＯＭ８へ供給される。

【００５３】縮退ＲＯＭ８では、上述するように、クラ
スを縮退させるために、（ｎ＋ｍ＋ｐ）ビットからｑビ
ットに減少させたクラスコード（インデックス）が発生
される。このように、縮退ＲＯＭ８から最終的にｑビッ
トのクラスコードが発生し、そのｑビットのクラスコー
ドは、学習回路５３へ供給される。

【００５４】以後、上述した図８に示される輝度補正装
置の学習回路と同様に、入力端子５１からの教師用の輝
度信号Ｙは、Ａ／Ｄ変換回路５２において、Ａ／Ｄ変換
され、学習回路５３に供給される。学習回路５３では、
縮退ＲＯＭ８からのクラスコード、ブロック化回路１０
からの注目画素周辺の複数の画素およびＡ／Ｄ変換回路
５２からの教師用の輝度信号Ｙから上述した最小自乗法
にて、クラス毎の係数データが学習される。学習により
獲得された係数データは、出力端子５４を介して、ＲＯ
Ｍなどの記憶媒体にクラス毎に格納される。

【００５５】次に、図６に示す輝度補正装置の第３の例
に適用される係数データの学習について図１３を用いて
説明する。入力端子１から供給された輝度信号Ｙは、Ａ
／Ｄ変換回路２へ供給され、Ａ／Ｄ変換回路２では、例
えば１３．５ＭHzでサンプリングされ、変換ＲＯＭ３４
および遅延回路５へ出力される。変換ＲＯＭ３４では、
上述したように供給された輝度値がある複数の領域、例
えばｓ個の領域に分けられる。そして、領域別輝度分布
回路３５では、分けられたｓ個の領域毎に、例えば１フ
ィールドまたは１フレーム内の度数の乗算が行われる。
ＡＤＲＣ回路３６では、例えばａビットの量子化が行わ
れ、トータルｎビット（ｎ＝ｓ×ａ）のコードが発生す
る。このｎビットのコードは、ＡＤＲＣ回路３６から縮
退ＲＯＭ８へ供給される。

【００５６】縮退ＲＯＭ８では、ＡＤＲＣ回路３６から
のｎビット、さらに上述の図１２と同様にＡＤＲＣ回路
３２からのｍビットおよび平均化回路７からのｐビット
が供給され、上述したように、クラスを縮退させるため
に、（ｎ＋ｍ＋ｐ）ビットからｑビットに減少させたク
ラスコード（インデックス）が発生される。このよう
に、縮退ＲＯＭ８から最終的にｑビットのクラスコード
が発生し、そのｑビットのクラスコードは、学習回路５
３へ供給される。

【００５７】以後、上述した図８および図１２に示され
る輝度補正装置の学習回路と同様に、入力端子５１から
の教師用の輝度信号Ｙは、Ａ／Ｄ変換回路５２におい
て、Ａ／Ｄ変換され、学習回路５３に供給される。学習
回路５３では、縮退ＲＯＭ８からのクラスコード、ブロ
ック化回路１０からの注目画素周辺の複数の画素および
Ａ／Ｄ変換回路５２からの教師用の輝度信号Ｙから上述
した最小自乗法にて、クラス毎の係数データが学習され
る。学習により獲得された係数データは、出力端子５４
を介して、ＲＯＭなどの記憶媒体にクラス毎に格納され
る。

【００５８】そして、この発明は、上述した学習時の処
理において、最適な教師用の画像信号と、この教師用の
画像信号に対応する補正対象入力信号の画素の値とを用
いて最適な係数データを獲得するものである。この学習
方法の第１の実施例をより詳細に説明すると、図１４に
示すように被写体８１にあてる照明を、暗から明（また
は、明から暗）へ手動または自動で連続的に変化させ
る。具体的には、学習回路の制御に用いられているＣＵ
Ｐ８２によって、電子ボリューム８３をコントロールす
ることにより、ライト８４が制御される。このように制
御された照明により得られた画像信号がカメラ８５によ
って、撮影される。

【００５９】例えば、暗から明へ自動で連続的に照明を
変化させ、あるカットで６０フレーム程度の撮影を行っ
た場合、図１５に示すように、撮影画像の輝度値が最適
であると思われる中央付近のフレーム、すなわち６０フ
レームのほぼ中ほどのフレームを教師用の画像信号とし
て用いる。この教師用の画像信号は、学習対象および補
正対象として不感帯を設定する。この最適であると思わ
れるフレームに対して、始めの方のフレームは、ライト
レベルが低いため、輝度値が最適と思われるフレームよ
り暗く、後の方のフレームは、ライトレベルが高いた
め、輝度値が最適と思われるフレームより明るくなって
いる。この最適と思われるフレーム以外の画像信号を補
正対象の画像信号とし、上述した学習回路５３により最
適な係数データを獲得することができる。

【００６０】また、図１６を参照して、この発明による
学習方法の第２の実施例を説明する。輝度値が最適であ
ると思われる中央付近のフレームの第１の教師用の画像
信号と補正対象の画像信号として注目されるフレームと
の間に位置するフレームを第２の教師用の画像信号とし
て設定する。そして、第１の教師用の画像信号は、輝度
補正を施す必要がないため、第１の教師用の画像信号を
中心として所定幅の不感帯を設定する。この不感帯と
は、上述したように、学習対象および補正対象としない
画像信号である。しかしながら、第２の教師用の画像信
号は、輝度補正が必要な画像信号であるので、不感帯を
設定しない。

【００６１】そして、補正対象の画像信号と第２の教師
用の画像信号を使用して上述したように学習を行って係
数データが獲得される。この獲得された係数データを用
いて輝度補正を行い、補正対象の輝度値から第２教師用
の画像信号へ補正され、さらに第２教師用の画像信号か
ら第１教師用の画像信号へ補正される。こうして、第１
の実施例により獲得された係数データを用いて補正され
た画像信号と、第２の実施例により獲得された係数デー
タを用いて補正された画像信号とを比較すると、第１の
実施例では、学習時の画像信号間の輝度値のゲインが大
きいため、ノイズ等の影響によって生じる明るさのふら
つきが第２の実施例では、学習時の画像信号間の輝度値
のゲインが過大とならないので抑えることができる。

【００６２】次に、係数ＲＯＭに記憶される係数データ
を生成する学習回路の他の実施例を図１７に示す。入力
端子１から供給された輝度信号Ｙは、Ａ／Ｄ変換回路２
へ供給され、Ａ／Ｄ変換回路２では、例えば１３．５Ｍ
Hzでサンプリングされ、ＬＰＦ（ローパスフィルタ）５
６へ供給される。ＬＰＦ５６では、ディジタル化された
画像信号に対してフィルタ処理が施される。ＬＰＦ５６
の出力信号は、平均値／標準偏差算出回路３および遅延
回路５へ出力される。このように、Ａ／Ｄ変換回路２の
出力信号に対してフィルタ処理を施して、学習対象の画
像信号の解像度を教師用の画像信号の解像度に比して意
識的に低くすることによって、輝度補正時に輝度補正の
みでなく、解像度を上げることができる。

【００６３】以後、上述した図１２に示される輝度補正
装置の学習回路と同様に量子化回路４からのｎビット、
ＡＤＲＣ回路３２からのｍビットおよび平均化回路７か
らのｐビットが縮退ＲＯＭ８へ供給される。縮退ＲＯＭ
８では、クラスを縮退させるために、（ｎ＋ｍ＋ｐ）ビ
ットからｑビットに減少させたクラスコードが発生され
る。このクラスコードは、学習回路５３へ供給される。

【００６４】そして、入力端子５１からの教師用の輝度
信号Ｙは、Ａ／Ｄ変換回路５２において、Ａ／Ｄ変換さ
れ、学習回路５３に供給される。学習回路５３では、縮
退ＲＯＭ８からのクラスコード、ブロック化回路１０か
らの注目画素周辺の複数の画素およびＡ／Ｄ変換回路５
２からの教師用の輝度信号Ｙから上述した最小自乗法に
て、クラス毎の係数データが学習される。学習により獲
得された係数データは、出力端子５４を介して、ＲＯＭ
などの記憶媒体にクラス毎に格納される。

【００６５】この発明は、上述した以外のクラス分類適
応処理を使用した構成に使用することも可能である。

【００６６】この実施例では、すべてハードウェアで実
現する方法を記載したが、ディジタル化されたデータを
計算機に取り込むことでソフトウェアで計算しても良
い。

【００６７】また、この実施例では、教師用の画像信号
に静止画を使用したが、プロのカメラマンが撮影した画
像信号、または照明条件の良い画像信号を使用すること
も可能である。

【００６８】

【発明の効果】この発明に依れば、輝度分布のパターン
分類から全体の輝度補正を行う効果と、空間内のパター
ン分類および輝度値の平均値から部分的な輝度補正を行
う効果を待ち合わせており、よりきめの細かい輝度補正
を行うことが可能となる。

【００６９】さらに、この発明に依れば、係数データの
学習において、簡単でしかも効率よく学習を行うことが
できる。また、補正対象となる画像信号に対してフィル
タ処理を施した後に学習を行うことで、輝度補正時に輝
度補正のみでなく、解像度を上げることも可能となる。

【図面の簡単な説明】

【図１】この発明が適用できる輝度補正装置の第１の例
である。

【図２】この発明が適用できる第１の例の説明に用いる
一例の度数分布図である。

【図３】この発明が適用された輝度補正装置に用いられ
ている平均値／標準偏差回路の一例である。

【図４】この発明が適用できる輝度補正装置の第２の例
である。

【図５】この発明が適用された輝度補正装置に用いられ
ているＡＤＲＣ回路の一例である。

【図６】この発明が適用できる輝度補正装置の第３の例
である。

【図７】この発明が適用された輝度補正装置に用いられ
ている領域別輝度分布回路の一例である。

【図８】この発明が適用できる輝度補正装置の第１の例
に対応する学習回路の一例である。

【図９】この発明に係る学習回路の一例を説明するため
のブロック図である。

【図１０】この発明に係る乗算器アレイの説明に用いる
一例の略線図である。

【図１１】この発明に係る加算メモリの説明に用いる一
例の略線図である。

【図１２】この発明が適用できる輝度補正装置の第２の
例に対応する学習回路の一例である。

【図１３】この発明が適用できる輝度補正装置の第３の
例に対応する学習回路の一例である。

【図１４】この発明を説明するための略線図である。

【図１５】この発明の学習方法の第１の実施例を説明す
るための略線図である。

【図１６】この発明の学習方法の第２の実施例を説明す
るための略線図である。

【図１７】この発明の学習回路の他の実施例を示すブロ
ック図である。

【符号の説明】

２、５２・・・Ａ／Ｄ変換回路、３・・・平均値／標準
偏差回路、４・・・量子化回路、５、９・・・遅延回
路、６、１０・・・ブロック化回路、７・・・平均化回
路、８・・・縮退ＲＯＭ、５３・・・学習回路

Claims (4)

【特許請求の範囲】
1. 【請求項１】 入力画像信号の複数の画素と演算される
   ことによって、上記入力画像信号の輝度を補正するため
   に使用される係数を予め学習によりクラス毎に求めるよ
   うにしたクラス分類適応処理における学習方法におい
   て、 照明を暗から明または明から暗に徐々に変化させて撮影
   した複数の画像を学習用の画像信号として使用し、 上記複数の画像の中から適切な輝度値の画像信号を教師
   用の画像信号として選択し、 上記教師用の画像信号以外の画像信号を補正対象用の画
   像信号として使用し、 上記教師用の画像信号と上記複数の補正対象用の画像信
   号とをクラス毎に分類し、 上記クラス毎に輝度を補正するための係数を学習するこ
   とを特徴とするクラス分類適応処理における学習方法。
2. 【請求項２】 請求項１に記載のクラス分類適応処理に
   おける学習方法において、 上記複数の画像の中から最適な輝度値の第１の画像信号
   と補正対象用の画像信号との中間に位置する画像信号を
   教師用の画像信号として設定することを特徴とするクラ
   ス分類適応処理における学習方法。
3. 【請求項３】 請求項１に記載のクラス分類適応処理に
   おける学習方法において、 上記第１の教師用の画像信号に近い輝度値の画像信号を
   学習並びに輝度を補正するための対象から除外すること
   を特徴とするクラス分類適応処理における学習方法。
4. 【請求項４】 請求項１に記載のクラス分類適応処理に
   おける学習方法において、 低域通過フィルタを通した信号を補正対象用の画像信号
   として、学習を行うことを特徴とするクラス分類適応処
   理における学習方法。