JP4595162B2 - 画像信号処理装置及び画像信号処理方法 - Google Patents
画像信号処理装置及び画像信号処理方法 Download PDFInfo
- Publication number
- JP4595162B2 JP4595162B2 JP2000153857A JP2000153857A JP4595162B2 JP 4595162 B2 JP4595162 B2 JP 4595162B2 JP 2000153857 A JP2000153857 A JP 2000153857A JP 2000153857 A JP2000153857 A JP 2000153857A JP 4595162 B2 JP4595162 B2 JP 4595162B2
- Authority
- JP
- Japan
- Prior art keywords
- class
- luminance
- signal
- prediction
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003672 processing method Methods 0.000 title claims description 6
- 238000004364 calculation method Methods 0.000 claims description 25
- 238000001514 detection method Methods 0.000 claims description 21
- 238000010276 construction Methods 0.000 claims description 15
- 230000003044 adaptive effect Effects 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 description 16
- 239000004973 liquid crystal related substance Substances 0.000 description 13
- 238000010586 diagram Methods 0.000 description 11
- 238000000034 method Methods 0.000 description 10
- 230000002093 peripheral effect Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 239000008186 active pharmaceutical agent Substances 0.000 description 4
- 238000013139 quantization Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 210000002858 crystal cell Anatomy 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Description
【０００１】
【発明の属する技術分野】
この発明は画像信号処理装置及び画像信号処理方法に関する。詳しくは、入力画像信号から注目画素と注目画素周辺の画素を切り出し、切り出した画素の輝度データを用いて輝度レベル分布のパターン検出を行うことによりパターンデータを生成し、注目画素の輝度レベルとパターンデータに基づいてクラスを決定するものとし、決定されたクラスに応じた予測演算設定情報と、入力画像信号から注目画素に応じて選択した画素の輝度データを用いて予測演算を行うことにより、注目画素の新たな輝度データを得るものである。
【０００２】
【従来の技術】
近年、表示デバイスとして陰極線管を用いた画像表示装置に、様々なディジタル機器を接続して画像を表示させることが行われていると共に、画像表示装置では画像を高精細に表示できるように解像度の向上がはかられている。このため、ディジタル機器から出力される信号がＮＴＳＣ方式の映像信号に対応するＳＤ(Standard Definition)信号であっても、画像を高画質で表示できるように、ＳＤ信号をハイビジョン等の高解像度の映像信号に対応するＨＤ(High Definition)信号に変換して画像表示装置に供給することが行われている。
【０００３】
また、画像表示装置では、表示デバイスとして陰極線管を用いるだけでなく、省電力化や大画面化及び省スペース化等のために表示デバイスとして液晶表示パネルやプラズマディスプレイパネル等も用いられるようになってきている。
【０００４】
【発明が解決しようとする課題】
ところで、画像表示装置の表示デバイスが異なるものとされると、例えば陰極線管を用いた画像表示装置で画像表示を行う場合と同様にしてＳＤ信号をＨＤ信号に変換して画像表示装置に供給しても、表示デバイスの特性の違いから画像を高画質で表示することができない場合が生じてしまう。
【０００５】
図１０は表示デバイスとして用いられる陰極線管と液晶表示素子の特性を示している。ここで、陰極線管の場合には、図１０Ａに示すように入力画像信号と輝度の関係が入力画像信号のγ(=約2.2)乗に比例して変化することが知られている。一方、液晶表示素子の場合には、入力画像信号と光透過率（輝度）の関係が、図１０Ｂに示すように入力画像信号の信号レベルが低いときや高いときには輝度の変化量が少なく、信号レベルが中間レベルであるときに入力画像信号の信号レベルに応じて輝度が大きく変化する。このため、例えば入力画像信号が領域Ａの範囲であるとき、液晶表示素子では入力画像信号の変化が輝度差として現れず、輝度情報が欠落してしまう。また、液晶表示素子では、液晶セルの厚み方向のばらつきによって液晶層に印加される電界の強さが異なることから、輝度がばらつきを生じてしまう場合も生じる。さらに、液晶表示素子でのコントラスト比は陰極線管の数分の１程度である。このため、表示デバイスとして液晶表示素子を用いる場合には、解像度を向上させるよりも階調を補うことで高画質な表示画像を得ることができる。
【０００６】
ここで、階調を補うために、入力画像信号のレベル変化が輝度差として現れるように入力画像信号のレベル変換を行うものとした場合、例えば入力画像信号の信号レベルが小さいときに、変換テーブルを用いて信号レベルの大きい信号に変換した場合、レベル変換が非線形な変換となる。例えば図１１に示すように、入力画像信号の信号レベルが「３」であるときに変換テーブルによって「２３」に変換され、信号レベルが「４」であるとき「２８」に変換されると、中間の階調である「２４」〜「２７」のレベルが失われてしまい、高画質な表示画像を得ることができない。
【０００７】
そこで、この発明では使用する表示デバイスに合わせて階調を向上させることにより高画質の画像表示を行うことができる画像信号処理装置及び画像信号処理方法を提供するものである。
【０００８】
【課題を解決するための手段】
この発明に係る画像信号処理装置は、入力画像信号から注目画素と前記注目画素周辺の画素の輝度データを切り出すタップ構築手段と、前記タップ構築手段によって切り出された輝度データを用いて輝度レベル分布のパターン検出を行うことによりパターンデータを生成し、前記注目画素の輝度レベルと前記パターンデータに基づいてクラスを決定するクラス決定手段と、高階調の輝度レベルの教師信号と、表示デバイスとの総合特性が直線状になるように前記教師信号の輝度レベルが調整された結果得られる、前記教師信号の階調を落とした低階調の輝度レベルの生徒信号とを対にして用いた学習において、前記生徒信号から予測係数を用いて予測された前記教師信号の予測信号と、前記教師信号との誤差を最小にする前記予測係数が前記クラス毎に予め求められており、前記学習により予め求められた前記クラス毎の予測係数を記憶して、前記クラス決定手段で決定されたクラスに応じた前記予測係数を出力する情報記憶手段と、前記入力画像信号から、前記注目画素の周辺に位置する画素の輝度データを選択する予測タップ設定手段と、前記情報記憶手段から出力された予測係数と前記予測タップ設定手段で選択された輝度データを積和演算することにより、前記注目画素の新たな輝度データを算出する予測演算手段とを備え、前記予測タップ設定手段は、前記クラス決定手段により決定された前記クラスが、前記輝度レベルのばらつきが少ないことを示すクラスである場合、前記画素の輝度データを選択する領域を広くするものである。
【０００９】
また、画像信号処理方法は、入力画像信号から注目画素と前記注目画素周辺の画素の輝度データを切り出し、切り出した輝度データを用いて輝度レベル分布のパターン検出を行うことによりパターンデータを生成し、前記注目画素の輝度レベルと前記パターンデータに基づいてクラスを決定する第１のステップと、高階調の輝度レベルの教師信号と、表示デバイスとの総合特性が直線状になるように前記教師信号の輝度レベルが調整された結果得られる、前記教師信号の階調を落とした低階調の輝度レベルの生徒信号とを対にして用いた学習において、前記生徒信号から予測係数を用いて予測された前記教師信号の予測信号と、前記教師信号との誤差を最小にする前記予測係数が前記クラス毎に予め求められており、前記学習により予め求められた前記クラス毎の予測係数を記憶して、前記第１のステップの処理により決定されたクラスに応じた前記予測係数を出力する第２のステップと、前記入力画像信号から、前記注目画素の周辺に位置する画素の輝度データを選択する第３のステップと、前記第２のステップの処理により出力された予測係数と、前記第３のステップの処理により選択された輝度データを積和演算することにより、前記注目画素の新たな輝度データを得る第４のステップとを有し、前記第３のステップでは、前記第１のステップの処理により決定された前記クラスが、前記輝度レベルのばらつきが少ないことを示すクラスである場合、前記画素の輝度データを選択する領域を広くするものである。
【００１０】
この発明においては、入力画像信号から注目画素と注目画素周辺の画素が切り出されて、この切り出された画素の輝度レベル分布のパターン検出をＡＤＲＣを用いて行いパターンデータが生成される。このパターンデータと注目画素の輝度レベルとに基づいてクラスが決定されて、決定されたクラスに応じた予測演算設定情報例えば予測係数と、入力画像信号から注目画素に応じて選択された画素の輝度データを用いて予測演算が行われて、注目画素の新たな輝度データが生成される。また、予測演算に用いる予測係数は、新たに生成された注目画素の輝度データと基準画像データにおける注目画素の輝度データとの誤差を最小とするように、予め学習によってクラス毎に求められる。
【００１１】
【発明の実施の形態】
以下、図面を参照しながら、この発明の実施の一形態について説明する。
この実施の一形態では、入力画像信号例えばＮＴＳＣ方式の映像信号に対応するＳＤ(Standard Definition)信号の階調変換を行い、輝度の補正と階調創造を行うものである。
【００１２】
また、階調変換では、クラス分類適応処理を行うことで階調を入力画像信号のもの以上に高めることが可能となる。すなわち、クラス分類適応処理は、入力画像信号の輝度レベル分布に応じてクラス分類を行い、さらにクラス毎に予め学習により獲得されて記憶されている予測演算設定情報を用いて予測演算を行うことにより最適な推定値を得ることで、階調を入力画像信号のもの以上に高めるものである。
【００１３】
図１は、画像信号処理装置の構成を示している。ディジタルのＳＤ信号は、クラスタップ構築部１１と予測タップ構築部１３に供給される。クラスタップ構築部１１では輝度レベルを補正する出力画素（以下「注目画素」という）と、注目画素の周囲の複数画素（以下「周辺画素」という）の領域の切り出しを行い、領域内の画素の輝度レベルをクラス分類部１２に供給する。
【００１４】
クラス分類部１２では、注目画素だけでなく周辺画素の輝度レベル分布のパターンを判別してクラス分類を行う。このクラス分類としてはＡＤＲＣ(Adaptive Dynamic Range Coding)を用いた方法、ＤＰＣＭ(Differential Pulse Code Modulation)を用いた方法、ＢＴＣ(Block Truncation Coding)を用いた方法、ＶＱ(Vector Quantization)を用いた方法等が提案されている。ここで、ＡＤＲＣはＶＴＲ（Video Tape Recorder）向け高能率符号化用に開発された適応的再量子化法であり、注目データ近傍の数画素（数タップ）で定義されるダイナミックレンジ（最大値−最小値）をもとにｋaビット再量子化を行い、注目データ近傍の数タップのデータを再量子化することでクラス分類を行うことができると共にクラス数を削減できるものである。このため、クラス分類部１２では、ＡＤＲＣを用いてクラス分類を行うものとして以下の説明を行う。
【００１５】
図２はクラス分類部１２の構成を示しており、クラスタップ構築部１１で切り出された画素（クラスタップ）の輝度データは、データ区分回路１２１に供給される。
【００１６】
データ区分回路１２１では、注目画素の輝度データを輝度クラス判別回路１２２に供給すると共に、注目画素と周辺画素の輝度データをＡＤＲＣ回路１２３に供給する。
【００１７】
輝度クラス判別回路１２２では、注目画素の輝度データを判別して、図３Ａに示すように、注目画素の輝度レベルに応じた例えば８ビットのクラスコードＭＹＣ（図３Ａでは10010111）を生成してクラス分類コード発生回路１２４に供給する。
【００１８】
ＡＤＲＣ回路１２３では、例えば図３Ｂに示すように、注目画素と周辺の４画素の合わせて５画素の輝度レベルに基づき、輝度レベル分布のパターンを判別してクラス分けを行う。このとき、クラス数が膨大となることを防ぐために、注目画素と周辺画素の輝度データに基づくクラス分けに対しては、ＡＤＲＣを用いる。
【００１９】
ここで、図４を用いてＡＤＲＣについて説明する。なお、図４は一般的な場合を示している。画素のレベル分布をパターン化してクラス分類を行うものとした場合、例えば図４Ａに示すように切り出された画素のデータを８ビットのレベル毎の度数分布を計数してパターン化することができる。しかし、この場合には度数分布を示すデータ量が大きいことから、図４Ｂに示すように、レベルを適当なしきい値Ｌthでもってｓ個（図４Ｂではs=5）の領域に分割し、その領域番号とレベルとの対応付けることで度数分布を示すデータ量を少なくできる。さらに、１ビットＡＤＲＣによって度数レベルＬthで量子化すれば図４Ｃに示すように（ｓ×１ビット）のデータでレベルの分布を表すことができる。
【００２０】
ＡＤＲＣ回路１２３は図５に示す構成とされており、注目画素と周辺画素の輝度データは、最大値検出回路２３１と最小値検出回路２３２と遅延回路２３３に供給される。最大値検出回路２３１では、切り出された注目画素と周辺画素の輝度データから最大値ＭＸを検出して減算器２３４に供給する。また、最小値検出回路２３２では、切り出された注目画素と周辺画素の輝度データから最小値ＭＮを検出して減算器２３４，２３５に供給する。減算器２３４では、最大値ＭＸから最小値ＭＮを減算して、ダイナミックレンジＤＲを算出する。この算出されたダイナミックレンジＤＲは、適応再量子化回路２３６へ供給される。
【００２１】
遅延回路２３３では、最大値検出回路２３１及び最小値検出回路２３２がそれぞれ検出にかかる時間だけ画素の輝度データを遅延させて減算器２３５に供給する。減算器２３５では、供給された輝度データから最小値を減算して、得られた減算値ＭＳを適応再量子化回路２３６に供給する。適応再量子化回路２３６では、ダイナミックレンジＤＲに応じた所定の量子化ステップ幅を用いて、減算値ＭＳの量子化を画素毎に行う。さらに、量子化によって得られたデータを並列化回路２３７で画素切り出し単位毎に並列化して、図３Ｂに示すように輝度レベル分布のパターンに応じた例えば５ビットのクラスコードＭＹＳ（図３Ｂでは001101）を生成してクラス分類コード発生回路１２４に供給する。
【００２２】
クラス分類コード発生回路１２４ではクラスコードＭＹＣ，ＭＹＳを用いて（８＋５）ビットのクラス分類コードＭＹ（クラスコードＭＹＣ，ＭＹＳが図３に示す場合のときには10010111×001101）を生成して図１に示す予測タップ選択部１４と予測係数メモリ１５に供給する。
【００２３】
予測タップ構築部１３では、ＳＤ信号から注目画素を中心とした複数の周辺画素を予測演算用の画素（以下、これを予測タップと呼ぶ）として切り出し、予測タップの輝度データを予測タップ選択部１４に供給する。予測タップ選択部１４では、クラス分類部１２からのクラス分類コードＭＹに基づき、予測タップ構築部１３から供給された画素の選択を行い、選択した画素の輝度データを積和演算部１６に供給する。
【００２４】
予測係数メモリ１５には、補正を行う前の正しい階調の信号パターンと表示デバイスで表示される画像の輝度の関係を学習することにより、取得された予測係数が予測演算設定情報としてクラス毎に記憶されている。予測係数は、線形推定式により輝度レベルが補正されて階調創造が行われた信号へ変換するための情報である。なお、予測係数の取得方法については後述する。
【００２５】
予測係数メモリ１５では、クラス分類コードＭＹに対応したアドレス位置から、そのクラスの予測係数を読み出して積和演算部１６に供給する。積和演算部１６では、予測タップ選択部１４からの予測タップの輝度データＴ1，Ｔ2，‥‥Ｔiと、予測係数ｗ1 ，ｗ2 ，‥‥ｗiとの線形１次結合式（式（１））の演算を行うことにより、注目画素の新たな輝度データを算出できる。
【００２６】
Ｌ１＝ｗ1×Ｔ1＋ｗ2×Ｔ2＋‥‥＋ｗi×Ｔi ・・・（１）
【００２７】
また、注目画素の位置を順次移動させると共に新たな輝度データを算出することで、表示デバイスの特性に応じてＳＤ信号の輝度補正及び階調創造が行われた出力信号ＳＤＣを得ることができる。
【００２８】
次に、予測係数の作成（学習）について図６を用いて説明する。予測係数を学習によって得るためには、表示デバイスに応じた関数フィルタ３１によって階調の正しい輝度レベルの教師信号ＢＹから、階調を落とした生徒信号ＤＳを形成してクラス分類部３２と予測タップ領域切出部３３に供給する。この関数フィルタ３１に入力された教師信号ＢＹと関数フィルタ３１から出力される生徒信号ＤＳとを学習用の対として、予測係数の作成が行われる。
【００２９】
この関数フィルタ３１は、生徒信号ＤＳと表示デバイスとの総合特性が直線状となるように、教師信号ＢＹのレベルを調整するためのものあり、例えば表示デバイスの特性が図１０Ｂに示すような特性であるときには、総合特性を直線状として画像の階調を表示デバイスの画面上に正しく再現できるように教師信号ＢＹを図７に示すように補正して生徒信号ＤＳを生成する。
【００３０】
クラス分類部３２は、図１に示す画像信号処理装置におけるクラス分類部１２と同様にしてクラス検出コードを発生する。また予測タップ領域切出部３３では、例えば注目画素を中心とした複数の周辺画素を予測タップとして切り出す。このクラス分類部３２で発生されたクラス検出コードと予測タップ領域切出部３３で切り出された予測タップは正規方程式加算部３４に供給される。
【００３１】
正規方程式加算部３４では、正規方程式データを生成して予測係数決定部３５に供給し、予測係数決定部３５では、正規方程式データを用いて演算処理を行い予測係数を算出する。
【００３２】
以下、予測係数の算出について、より一般化してｎ画素による予測を行う場合について説明する。予測タップとして選択される入力画素の輝度レベルをそれぞれｘ1 ,‥‥，ｘn とし、出力画素の輝度レベルをｙとしたとき、クラス毎に予測係数ｗ1 ，‥‥，ｗn によるｎタップの線形推定式を設定する。これを下記の式（２）に示す。
【００３３】
ｙ＝ｗ1×ｘ1 ＋ｗ2×ｘ2 ＋‥‥＋ｗn×ｘn ・・・（２）
【００３４】
この式（２）における予測係数ｗ1 ，‥‥，ｗnを求める方法としては、最小二乗法による解法が考えられる。この解法では、Ｘを入力画素の輝度レベル、Ｗを予測係数、Ｙを出力画素の輝度レベルとして式（３）の観測方程式を作るようにデータを収集する。この式（３）において、ｍは学習データ数を表し、ｎは上述したように予測タップ数を示している。
【００３５】
【数１】
【００３６】
次に式（３）の観測方程式をもとに、式（４）の残差方程式をたてる。
【００３７】
【数２】
【００３８】
この式（４）から、各予測係数ｗiの最確値は、式（５）を最小にする条件が成り立つ場合と考えられる。
【００３９】
【数３】
【００４０】
すなわち、式（６）の条件を考慮すればよい。
【００４１】
【数４】
【００４２】
式（６）のｉに基づくｎ個の条件を考え、これを満たすｗ1 ，……，ｗn を算出すればよい。そこで、式（４）から次式（７）を得て、さらに式（６）と次式（７）から式（８）を得るものとする。
【００４３】
【数５】
【００４４】
【数６】
【００４５】
そして式（４）及び式（８）から、次式（９）の正規方程式を得ることができる。
【００４６】
【数７】
【００４７】
式（９）の正規方程式は、未知数の数がｎ個の連立方程式であるから、これにより各ｗi の最確値を求めることができる。実際には、掃き出し法（Gauss-Jordanの消去法）を用いて連立方程式を解く。この式（９）の正規方程式を解いて、クラス毎の予測係数ｗ1，……，ｗn を決定する。
【００４８】
以上のように学習を行った結果、クラス毎に注目画素の輝度レベルを推定するための、統計的にもっとも真値に近い推定ができる予測係数が算出されることとなる。この算出された予測係数は、上述の画像信号処理装置の予測係数メモリ１５に書き込まれる。
【００４９】
また、予測タップ領域切出部３３からの予測タップの個数が、画像信号処理装置において使用される予測タップの個数より大きいとき、予測係数決定部３５では、クラス毎により多くの予測係数が求まる。この求まった予測係数の中で、絶対値が大きいものから順に使用する数の予測係数が選択されると共に、選択された予測係数が予測係数メモリ１５のクラスに対応するアドレスにそれぞれ格納される。
【００５０】
以上の処理により、線形推定式によって階調創造が行われた輝度データを作成するための予測係数の学習が終了する。
【００５１】
次に、画像信号処理装置の動作について説明する。クラスタップ構築部１１と予測タップ構築部１３では、例えば注目画素に対してＳＤ信号の切り出しを行い、図３Ｂに示したように注目画素に対して上下左右方向に位置する画素の切り出しを行う。なお、予測タップ構築部１３では、輝度クラス分類コードに応じて予測タップを例えば多くしたり少なくして切り換えることができるように画素の切り出しを行う。
【００５２】
クラス分類部１２では、クラスタップ構築部１１で切り出された画素のデータをクラスタップとして用いて、注目画素の輝度レベルと注目画素周辺の画素の輝度レベル分布パターンからクラス分類を行い、得られた輝度クラス分類コードを予測タップ選択部１４と予測係数メモリ１５に供給する。
【００５３】
予測タップ選択部１４では、輝度クラス分類コードに基づいた予測タップの選択を行う。例えば、画像の輝度傾斜が緩やかでレベルのばらつきが少ないと輝度クラス分類コードで示されているとき、予測タップとして選択する領域が狭いと積和演算部１６によって算出された輝度データの差が現れない。このため、予測タップとして選択する領域を広くして輝度データの差が生じるように、すなわち階調差が生じるように予測タップの選択を行う。
【００５４】
このようにして予測タップ選択部１４で選択された予測タップと、予測係数メモリ１５に記憶されている予め学習により求められたクラス毎の予測係数から輝度クラス分類コードに基づいて読み出した予測係数を用いて式（１）に示す積和演算を行うことにより輝度データが算出されて、注目画素の輝度データが補正されることとなる。
【００５５】
ここで、予測係数メモリ１５から読み出された予測係数は、入力画像信号に基づいて画像表示を行ったときの総合特性が直線状となるように、液晶表示素子の特性に対応させてクラス毎に設定されていることから、入力画像信号の信号レベルが小さいときや信号レベルが大きくても正しく階調が表示されるように輝度レベルが変換されると共に、周辺画素を含めた輝度レベル分布のパターンに応じて輝度レベルを調整して階調創造が行われて、液晶表示素子を用いたときに高画質な画像を表示できる画像信号が生成される。
【００５６】
また、上述の場合には、式（１）の線形１次結合式で用いる予測係数を予測演算設定情報として記憶するものとしたが、クラス毎に最適な推定式も記憶するものとして、決定されたクラスの推定式と予測係数を用いて演算を行うことにより、さらに高精度の階調創造を行うことができる。
【００５７】
このように、上述の実施の形態によれば、例えば図８に示すように、入力画像信号の信号レベルが「３」であるときには、周辺画素を含めた輝度レベル分布のパターンに応じて信号レベルが「２０」〜「２５」のいずれかに変換され、信号レベルが「４」であるときには、パターンに応じて信号レベルが「２６」〜「２９」のいずれかに変換される。このため、液晶表示素子を用いて画像表示を行うものとしたときに、図９Ａに示すように画面上の輝度レベルが小さいために画像が黒くつぶれてしまい、十分な階調で画像を表示することができない場合であっても、十分な階調を得ることができるように輝度レベルの変換が行われると共に、周辺画素の輝度レベルによって階調創造が行われて、図９Ｂに示すテーブル変換の場合のように輝度レベルが高いものとされるが、輝度レベルの差が少ないためにコントラストの少ないフラットな画像となってしまうことなく、図９Ｃに示すように輝度レベルが高いものとされると共に階調創造も行われて画像を高画質で表示できる。
【００５８】
なお、上述の実施の形態では、表示デバイスとして液晶表示素子を用いた場合について説明したが、表示デバイスの入力画像信号と輝度の特性に応じた予測演算設定情報を記憶するものとし、総合特性が直線状となるように入力画像信号に対して階調レベル変換処理を行うものとすれば、種々の表示デバイスを用いても高画質な画像を表示することができる。
【００５９】
さらに、予測演算設定情報を表示デバイス毎に設けるものとし、表示デバイスに応じてスイッチを切り換えて表示デバイスに応じた予測演算設定情報を用いるものとしたり、画像表示装置との通信、例えばＤＤＷＧ(Digital Display Working Group)が策定したＤＶＩ(Digital Visual Interface)のように、ホットプラグ機能によって画像表示装置の接続が検出されたときに、ＤＤＣ(Display Data Channel)の機能を使用して実現されているプラグ・アンド・プレイによって画像表示装置の機種名や解像度等の表示装置情報を通信によって入手して、画像表示装置で用いられている表示デバイスを判別し、判別された表示デバイスに応じた予測演算設定情報を自動的に用いるものとすれば、表示デバイスに応じた階調変換や階調創造が行われて簡単に高画質な画像を表示させることができる。なお、上述の実施の形態におけるクラスタップの切り出し画素位置等は例示的なものであって限定的なものでないことは勿論である。
【００６０】
【発明の効果】
この発明によれば、入力画像信号から注目画素と注目画素周辺の画素を切り出して輝度レベル分布のパターン検出を行うことによりパターンデータが生成されて、このパターンデータと注目画素の輝度レベルに基づいてクラスが決定される。この決定されたクラスに応じた予測演算設定情報と、入力画像信号から注目画素に応じて選択した画素の輝度データを用いて予測演算を行うことにより、注目画素の新たな輝度データが算出される。このため、表示デバイスの特性に応じた予測演算設定情報を用いることで、表示デバイスに応じて入力画像信号の信号レベルを変換することにより階調レベル変換が行われて、高画質な画像を表示できる。また、画像の輝度傾斜が緩やかでレベルのばらつきが少ないとき、階調差が生じるように予測タップの選択を行う。
【００６１】
また、予測演算設定情報は、新たに生成された注目画素の輝度データと基準画像データにおける注目画素の輝度データとの誤差を最小とするように、予め学習によってクラス毎に求められるので、この予測演算設定係数を用いることで、注目画素と注目画素周辺の画素の輝度レベルに応じて正しく階調レベル変換を行うことができる。
【００６２】
さらに、パターン検出を行いパターンデータを生成する際にＡＤＲＣが用いられるので、パターンデータのビット数を少なくして、予測演算設定情報が多くなってしまうことを防止できる。
【図面の簡単な説明】
【図１】この発明に係る画像信号処理装置の構成を示す図である。
【図２】クラス分類部の構成を示す図である。
【図３】輝度クラス判別回路とＡＤＲＣ回路の動作を説明するための図である。
【図４】ＡＤＲＣ処理を説明するための図である。
【図５】ＡＤＲＣ回路の構成を示す図である。
【図６】予測係数の学習ブロックを示す図である。
【図７】関数フィルタの特性を示す図である。
【図８】画像信号処理装置の動作を説明するための図である。
【図９】画面上の輝度分布を示す図である。
【図１０】表示デバイスの特性を示す図である。
【図１１】変換テーブルを用いた場合の動作を説明するための図である。
【符号の説明】
１１・・・クラスタップ構築部、１２・・・クラス分類部、１３・・・予測タップ構築部、１４・・・予測タップ選択部、１５・・・予測係数メモリ、１６・・・積和演算部、３１・・・関数フィルタ、３２・・・クラス分類部、３３・・・予測タップ領域切出部、３４・・・正規方程式加算部、３５・・・予測係数決定部、１２１・・・データ区分回路、１２２・・・輝度クラス判別回路、１２３・・・ＡＤＲＣ回路、１２４・・・クラス分類コード発生回路、２３１・・・最大値検出回路、２３２・・・最小値検出回路、２３３・・・遅延回路、２３４，２３５・・・減算器、２３６・・・適応再量子化回路、２３７・・・並列化回路
【発明の属する技術分野】
この発明は画像信号処理装置及び画像信号処理方法に関する。詳しくは、入力画像信号から注目画素と注目画素周辺の画素を切り出し、切り出した画素の輝度データを用いて輝度レベル分布のパターン検出を行うことによりパターンデータを生成し、注目画素の輝度レベルとパターンデータに基づいてクラスを決定するものとし、決定されたクラスに応じた予測演算設定情報と、入力画像信号から注目画素に応じて選択した画素の輝度データを用いて予測演算を行うことにより、注目画素の新たな輝度データを得るものである。
【０００２】
【従来の技術】
近年、表示デバイスとして陰極線管を用いた画像表示装置に、様々なディジタル機器を接続して画像を表示させることが行われていると共に、画像表示装置では画像を高精細に表示できるように解像度の向上がはかられている。このため、ディジタル機器から出力される信号がＮＴＳＣ方式の映像信号に対応するＳＤ(Standard Definition)信号であっても、画像を高画質で表示できるように、ＳＤ信号をハイビジョン等の高解像度の映像信号に対応するＨＤ(High Definition)信号に変換して画像表示装置に供給することが行われている。
【０００３】
また、画像表示装置では、表示デバイスとして陰極線管を用いるだけでなく、省電力化や大画面化及び省スペース化等のために表示デバイスとして液晶表示パネルやプラズマディスプレイパネル等も用いられるようになってきている。
【０００４】
【発明が解決しようとする課題】
ところで、画像表示装置の表示デバイスが異なるものとされると、例えば陰極線管を用いた画像表示装置で画像表示を行う場合と同様にしてＳＤ信号をＨＤ信号に変換して画像表示装置に供給しても、表示デバイスの特性の違いから画像を高画質で表示することができない場合が生じてしまう。
【０００５】
図１０は表示デバイスとして用いられる陰極線管と液晶表示素子の特性を示している。ここで、陰極線管の場合には、図１０Ａに示すように入力画像信号と輝度の関係が入力画像信号のγ(=約2.2)乗に比例して変化することが知られている。一方、液晶表示素子の場合には、入力画像信号と光透過率（輝度）の関係が、図１０Ｂに示すように入力画像信号の信号レベルが低いときや高いときには輝度の変化量が少なく、信号レベルが中間レベルであるときに入力画像信号の信号レベルに応じて輝度が大きく変化する。このため、例えば入力画像信号が領域Ａの範囲であるとき、液晶表示素子では入力画像信号の変化が輝度差として現れず、輝度情報が欠落してしまう。また、液晶表示素子では、液晶セルの厚み方向のばらつきによって液晶層に印加される電界の強さが異なることから、輝度がばらつきを生じてしまう場合も生じる。さらに、液晶表示素子でのコントラスト比は陰極線管の数分の１程度である。このため、表示デバイスとして液晶表示素子を用いる場合には、解像度を向上させるよりも階調を補うことで高画質な表示画像を得ることができる。
【０００６】
ここで、階調を補うために、入力画像信号のレベル変化が輝度差として現れるように入力画像信号のレベル変換を行うものとした場合、例えば入力画像信号の信号レベルが小さいときに、変換テーブルを用いて信号レベルの大きい信号に変換した場合、レベル変換が非線形な変換となる。例えば図１１に示すように、入力画像信号の信号レベルが「３」であるときに変換テーブルによって「２３」に変換され、信号レベルが「４」であるとき「２８」に変換されると、中間の階調である「２４」〜「２７」のレベルが失われてしまい、高画質な表示画像を得ることができない。
【０００７】
そこで、この発明では使用する表示デバイスに合わせて階調を向上させることにより高画質の画像表示を行うことができる画像信号処理装置及び画像信号処理方法を提供するものである。
【０００８】
【課題を解決するための手段】
この発明に係る画像信号処理装置は、入力画像信号から注目画素と前記注目画素周辺の画素の輝度データを切り出すタップ構築手段と、前記タップ構築手段によって切り出された輝度データを用いて輝度レベル分布のパターン検出を行うことによりパターンデータを生成し、前記注目画素の輝度レベルと前記パターンデータに基づいてクラスを決定するクラス決定手段と、高階調の輝度レベルの教師信号と、表示デバイスとの総合特性が直線状になるように前記教師信号の輝度レベルが調整された結果得られる、前記教師信号の階調を落とした低階調の輝度レベルの生徒信号とを対にして用いた学習において、前記生徒信号から予測係数を用いて予測された前記教師信号の予測信号と、前記教師信号との誤差を最小にする前記予測係数が前記クラス毎に予め求められており、前記学習により予め求められた前記クラス毎の予測係数を記憶して、前記クラス決定手段で決定されたクラスに応じた前記予測係数を出力する情報記憶手段と、前記入力画像信号から、前記注目画素の周辺に位置する画素の輝度データを選択する予測タップ設定手段と、前記情報記憶手段から出力された予測係数と前記予測タップ設定手段で選択された輝度データを積和演算することにより、前記注目画素の新たな輝度データを算出する予測演算手段とを備え、前記予測タップ設定手段は、前記クラス決定手段により決定された前記クラスが、前記輝度レベルのばらつきが少ないことを示すクラスである場合、前記画素の輝度データを選択する領域を広くするものである。
【０００９】
また、画像信号処理方法は、入力画像信号から注目画素と前記注目画素周辺の画素の輝度データを切り出し、切り出した輝度データを用いて輝度レベル分布のパターン検出を行うことによりパターンデータを生成し、前記注目画素の輝度レベルと前記パターンデータに基づいてクラスを決定する第１のステップと、高階調の輝度レベルの教師信号と、表示デバイスとの総合特性が直線状になるように前記教師信号の輝度レベルが調整された結果得られる、前記教師信号の階調を落とした低階調の輝度レベルの生徒信号とを対にして用いた学習において、前記生徒信号から予測係数を用いて予測された前記教師信号の予測信号と、前記教師信号との誤差を最小にする前記予測係数が前記クラス毎に予め求められており、前記学習により予め求められた前記クラス毎の予測係数を記憶して、前記第１のステップの処理により決定されたクラスに応じた前記予測係数を出力する第２のステップと、前記入力画像信号から、前記注目画素の周辺に位置する画素の輝度データを選択する第３のステップと、前記第２のステップの処理により出力された予測係数と、前記第３のステップの処理により選択された輝度データを積和演算することにより、前記注目画素の新たな輝度データを得る第４のステップとを有し、前記第３のステップでは、前記第１のステップの処理により決定された前記クラスが、前記輝度レベルのばらつきが少ないことを示すクラスである場合、前記画素の輝度データを選択する領域を広くするものである。
【００１０】
この発明においては、入力画像信号から注目画素と注目画素周辺の画素が切り出されて、この切り出された画素の輝度レベル分布のパターン検出をＡＤＲＣを用いて行いパターンデータが生成される。このパターンデータと注目画素の輝度レベルとに基づいてクラスが決定されて、決定されたクラスに応じた予測演算設定情報例えば予測係数と、入力画像信号から注目画素に応じて選択された画素の輝度データを用いて予測演算が行われて、注目画素の新たな輝度データが生成される。また、予測演算に用いる予測係数は、新たに生成された注目画素の輝度データと基準画像データにおける注目画素の輝度データとの誤差を最小とするように、予め学習によってクラス毎に求められる。
【００１１】
【発明の実施の形態】
以下、図面を参照しながら、この発明の実施の一形態について説明する。
この実施の一形態では、入力画像信号例えばＮＴＳＣ方式の映像信号に対応するＳＤ(Standard Definition)信号の階調変換を行い、輝度の補正と階調創造を行うものである。
【００１２】
また、階調変換では、クラス分類適応処理を行うことで階調を入力画像信号のもの以上に高めることが可能となる。すなわち、クラス分類適応処理は、入力画像信号の輝度レベル分布に応じてクラス分類を行い、さらにクラス毎に予め学習により獲得されて記憶されている予測演算設定情報を用いて予測演算を行うことにより最適な推定値を得ることで、階調を入力画像信号のもの以上に高めるものである。
【００１３】
図１は、画像信号処理装置の構成を示している。ディジタルのＳＤ信号は、クラスタップ構築部１１と予測タップ構築部１３に供給される。クラスタップ構築部１１では輝度レベルを補正する出力画素（以下「注目画素」という）と、注目画素の周囲の複数画素（以下「周辺画素」という）の領域の切り出しを行い、領域内の画素の輝度レベルをクラス分類部１２に供給する。
【００１４】
クラス分類部１２では、注目画素だけでなく周辺画素の輝度レベル分布のパターンを判別してクラス分類を行う。このクラス分類としてはＡＤＲＣ(Adaptive Dynamic Range Coding)を用いた方法、ＤＰＣＭ(Differential Pulse Code Modulation)を用いた方法、ＢＴＣ(Block Truncation Coding)を用いた方法、ＶＱ(Vector Quantization)を用いた方法等が提案されている。ここで、ＡＤＲＣはＶＴＲ（Video Tape Recorder）向け高能率符号化用に開発された適応的再量子化法であり、注目データ近傍の数画素（数タップ）で定義されるダイナミックレンジ（最大値−最小値）をもとにｋaビット再量子化を行い、注目データ近傍の数タップのデータを再量子化することでクラス分類を行うことができると共にクラス数を削減できるものである。このため、クラス分類部１２では、ＡＤＲＣを用いてクラス分類を行うものとして以下の説明を行う。
【００１５】
図２はクラス分類部１２の構成を示しており、クラスタップ構築部１１で切り出された画素（クラスタップ）の輝度データは、データ区分回路１２１に供給される。
【００１６】
データ区分回路１２１では、注目画素の輝度データを輝度クラス判別回路１２２に供給すると共に、注目画素と周辺画素の輝度データをＡＤＲＣ回路１２３に供給する。
【００１７】
輝度クラス判別回路１２２では、注目画素の輝度データを判別して、図３Ａに示すように、注目画素の輝度レベルに応じた例えば８ビットのクラスコードＭＹＣ（図３Ａでは10010111）を生成してクラス分類コード発生回路１２４に供給する。
【００１８】
ＡＤＲＣ回路１２３では、例えば図３Ｂに示すように、注目画素と周辺の４画素の合わせて５画素の輝度レベルに基づき、輝度レベル分布のパターンを判別してクラス分けを行う。このとき、クラス数が膨大となることを防ぐために、注目画素と周辺画素の輝度データに基づくクラス分けに対しては、ＡＤＲＣを用いる。
【００１９】
ここで、図４を用いてＡＤＲＣについて説明する。なお、図４は一般的な場合を示している。画素のレベル分布をパターン化してクラス分類を行うものとした場合、例えば図４Ａに示すように切り出された画素のデータを８ビットのレベル毎の度数分布を計数してパターン化することができる。しかし、この場合には度数分布を示すデータ量が大きいことから、図４Ｂに示すように、レベルを適当なしきい値Ｌthでもってｓ個（図４Ｂではs=5）の領域に分割し、その領域番号とレベルとの対応付けることで度数分布を示すデータ量を少なくできる。さらに、１ビットＡＤＲＣによって度数レベルＬthで量子化すれば図４Ｃに示すように（ｓ×１ビット）のデータでレベルの分布を表すことができる。
【００２０】
ＡＤＲＣ回路１２３は図５に示す構成とされており、注目画素と周辺画素の輝度データは、最大値検出回路２３１と最小値検出回路２３２と遅延回路２３３に供給される。最大値検出回路２３１では、切り出された注目画素と周辺画素の輝度データから最大値ＭＸを検出して減算器２３４に供給する。また、最小値検出回路２３２では、切り出された注目画素と周辺画素の輝度データから最小値ＭＮを検出して減算器２３４，２３５に供給する。減算器２３４では、最大値ＭＸから最小値ＭＮを減算して、ダイナミックレンジＤＲを算出する。この算出されたダイナミックレンジＤＲは、適応再量子化回路２３６へ供給される。
【００２１】
遅延回路２３３では、最大値検出回路２３１及び最小値検出回路２３２がそれぞれ検出にかかる時間だけ画素の輝度データを遅延させて減算器２３５に供給する。減算器２３５では、供給された輝度データから最小値を減算して、得られた減算値ＭＳを適応再量子化回路２３６に供給する。適応再量子化回路２３６では、ダイナミックレンジＤＲに応じた所定の量子化ステップ幅を用いて、減算値ＭＳの量子化を画素毎に行う。さらに、量子化によって得られたデータを並列化回路２３７で画素切り出し単位毎に並列化して、図３Ｂに示すように輝度レベル分布のパターンに応じた例えば５ビットのクラスコードＭＹＳ（図３Ｂでは001101）を生成してクラス分類コード発生回路１２４に供給する。
【００２２】
クラス分類コード発生回路１２４ではクラスコードＭＹＣ，ＭＹＳを用いて（８＋５）ビットのクラス分類コードＭＹ（クラスコードＭＹＣ，ＭＹＳが図３に示す場合のときには10010111×001101）を生成して図１に示す予測タップ選択部１４と予測係数メモリ１５に供給する。
【００２３】
予測タップ構築部１３では、ＳＤ信号から注目画素を中心とした複数の周辺画素を予測演算用の画素（以下、これを予測タップと呼ぶ）として切り出し、予測タップの輝度データを予測タップ選択部１４に供給する。予測タップ選択部１４では、クラス分類部１２からのクラス分類コードＭＹに基づき、予測タップ構築部１３から供給された画素の選択を行い、選択した画素の輝度データを積和演算部１６に供給する。
【００２４】
予測係数メモリ１５には、補正を行う前の正しい階調の信号パターンと表示デバイスで表示される画像の輝度の関係を学習することにより、取得された予測係数が予測演算設定情報としてクラス毎に記憶されている。予測係数は、線形推定式により輝度レベルが補正されて階調創造が行われた信号へ変換するための情報である。なお、予測係数の取得方法については後述する。
【００２５】
予測係数メモリ１５では、クラス分類コードＭＹに対応したアドレス位置から、そのクラスの予測係数を読み出して積和演算部１６に供給する。積和演算部１６では、予測タップ選択部１４からの予測タップの輝度データＴ1，Ｔ2，‥‥Ｔiと、予測係数ｗ1 ，ｗ2 ，‥‥ｗiとの線形１次結合式（式（１））の演算を行うことにより、注目画素の新たな輝度データを算出できる。
【００２６】
Ｌ１＝ｗ1×Ｔ1＋ｗ2×Ｔ2＋‥‥＋ｗi×Ｔi ・・・（１）
【００２７】
また、注目画素の位置を順次移動させると共に新たな輝度データを算出することで、表示デバイスの特性に応じてＳＤ信号の輝度補正及び階調創造が行われた出力信号ＳＤＣを得ることができる。
【００２８】
次に、予測係数の作成（学習）について図６を用いて説明する。予測係数を学習によって得るためには、表示デバイスに応じた関数フィルタ３１によって階調の正しい輝度レベルの教師信号ＢＹから、階調を落とした生徒信号ＤＳを形成してクラス分類部３２と予測タップ領域切出部３３に供給する。この関数フィルタ３１に入力された教師信号ＢＹと関数フィルタ３１から出力される生徒信号ＤＳとを学習用の対として、予測係数の作成が行われる。
【００２９】
この関数フィルタ３１は、生徒信号ＤＳと表示デバイスとの総合特性が直線状となるように、教師信号ＢＹのレベルを調整するためのものあり、例えば表示デバイスの特性が図１０Ｂに示すような特性であるときには、総合特性を直線状として画像の階調を表示デバイスの画面上に正しく再現できるように教師信号ＢＹを図７に示すように補正して生徒信号ＤＳを生成する。
【００３０】
クラス分類部３２は、図１に示す画像信号処理装置におけるクラス分類部１２と同様にしてクラス検出コードを発生する。また予測タップ領域切出部３３では、例えば注目画素を中心とした複数の周辺画素を予測タップとして切り出す。このクラス分類部３２で発生されたクラス検出コードと予測タップ領域切出部３３で切り出された予測タップは正規方程式加算部３４に供給される。
【００３１】
正規方程式加算部３４では、正規方程式データを生成して予測係数決定部３５に供給し、予測係数決定部３５では、正規方程式データを用いて演算処理を行い予測係数を算出する。
【００３２】
以下、予測係数の算出について、より一般化してｎ画素による予測を行う場合について説明する。予測タップとして選択される入力画素の輝度レベルをそれぞれｘ1 ,‥‥，ｘn とし、出力画素の輝度レベルをｙとしたとき、クラス毎に予測係数ｗ1 ，‥‥，ｗn によるｎタップの線形推定式を設定する。これを下記の式（２）に示す。
【００３３】
ｙ＝ｗ1×ｘ1 ＋ｗ2×ｘ2 ＋‥‥＋ｗn×ｘn ・・・（２）
【００３４】
この式（２）における予測係数ｗ1 ，‥‥，ｗnを求める方法としては、最小二乗法による解法が考えられる。この解法では、Ｘを入力画素の輝度レベル、Ｗを予測係数、Ｙを出力画素の輝度レベルとして式（３）の観測方程式を作るようにデータを収集する。この式（３）において、ｍは学習データ数を表し、ｎは上述したように予測タップ数を示している。
【００３５】
【数１】
次に式（３）の観測方程式をもとに、式（４）の残差方程式をたてる。
【００３７】
【数２】
この式（４）から、各予測係数ｗiの最確値は、式（５）を最小にする条件が成り立つ場合と考えられる。
【００３９】
【数３】
すなわち、式（６）の条件を考慮すればよい。
【００４１】
【数４】
式（６）のｉに基づくｎ個の条件を考え、これを満たすｗ1 ，……，ｗn を算出すればよい。そこで、式（４）から次式（７）を得て、さらに式（６）と次式（７）から式（８）を得るものとする。
【００４３】
【数５】
【数６】
そして式（４）及び式（８）から、次式（９）の正規方程式を得ることができる。
【００４６】
【数７】
式（９）の正規方程式は、未知数の数がｎ個の連立方程式であるから、これにより各ｗi の最確値を求めることができる。実際には、掃き出し法（Gauss-Jordanの消去法）を用いて連立方程式を解く。この式（９）の正規方程式を解いて、クラス毎の予測係数ｗ1，……，ｗn を決定する。
【００４８】
以上のように学習を行った結果、クラス毎に注目画素の輝度レベルを推定するための、統計的にもっとも真値に近い推定ができる予測係数が算出されることとなる。この算出された予測係数は、上述の画像信号処理装置の予測係数メモリ１５に書き込まれる。
【００４９】
また、予測タップ領域切出部３３からの予測タップの個数が、画像信号処理装置において使用される予測タップの個数より大きいとき、予測係数決定部３５では、クラス毎により多くの予測係数が求まる。この求まった予測係数の中で、絶対値が大きいものから順に使用する数の予測係数が選択されると共に、選択された予測係数が予測係数メモリ１５のクラスに対応するアドレスにそれぞれ格納される。
【００５０】
以上の処理により、線形推定式によって階調創造が行われた輝度データを作成するための予測係数の学習が終了する。
【００５１】
次に、画像信号処理装置の動作について説明する。クラスタップ構築部１１と予測タップ構築部１３では、例えば注目画素に対してＳＤ信号の切り出しを行い、図３Ｂに示したように注目画素に対して上下左右方向に位置する画素の切り出しを行う。なお、予測タップ構築部１３では、輝度クラス分類コードに応じて予測タップを例えば多くしたり少なくして切り換えることができるように画素の切り出しを行う。
【００５２】
クラス分類部１２では、クラスタップ構築部１１で切り出された画素のデータをクラスタップとして用いて、注目画素の輝度レベルと注目画素周辺の画素の輝度レベル分布パターンからクラス分類を行い、得られた輝度クラス分類コードを予測タップ選択部１４と予測係数メモリ１５に供給する。
【００５３】
予測タップ選択部１４では、輝度クラス分類コードに基づいた予測タップの選択を行う。例えば、画像の輝度傾斜が緩やかでレベルのばらつきが少ないと輝度クラス分類コードで示されているとき、予測タップとして選択する領域が狭いと積和演算部１６によって算出された輝度データの差が現れない。このため、予測タップとして選択する領域を広くして輝度データの差が生じるように、すなわち階調差が生じるように予測タップの選択を行う。
【００５４】
このようにして予測タップ選択部１４で選択された予測タップと、予測係数メモリ１５に記憶されている予め学習により求められたクラス毎の予測係数から輝度クラス分類コードに基づいて読み出した予測係数を用いて式（１）に示す積和演算を行うことにより輝度データが算出されて、注目画素の輝度データが補正されることとなる。
【００５５】
ここで、予測係数メモリ１５から読み出された予測係数は、入力画像信号に基づいて画像表示を行ったときの総合特性が直線状となるように、液晶表示素子の特性に対応させてクラス毎に設定されていることから、入力画像信号の信号レベルが小さいときや信号レベルが大きくても正しく階調が表示されるように輝度レベルが変換されると共に、周辺画素を含めた輝度レベル分布のパターンに応じて輝度レベルを調整して階調創造が行われて、液晶表示素子を用いたときに高画質な画像を表示できる画像信号が生成される。
【００５６】
また、上述の場合には、式（１）の線形１次結合式で用いる予測係数を予測演算設定情報として記憶するものとしたが、クラス毎に最適な推定式も記憶するものとして、決定されたクラスの推定式と予測係数を用いて演算を行うことにより、さらに高精度の階調創造を行うことができる。
【００５７】
このように、上述の実施の形態によれば、例えば図８に示すように、入力画像信号の信号レベルが「３」であるときには、周辺画素を含めた輝度レベル分布のパターンに応じて信号レベルが「２０」〜「２５」のいずれかに変換され、信号レベルが「４」であるときには、パターンに応じて信号レベルが「２６」〜「２９」のいずれかに変換される。このため、液晶表示素子を用いて画像表示を行うものとしたときに、図９Ａに示すように画面上の輝度レベルが小さいために画像が黒くつぶれてしまい、十分な階調で画像を表示することができない場合であっても、十分な階調を得ることができるように輝度レベルの変換が行われると共に、周辺画素の輝度レベルによって階調創造が行われて、図９Ｂに示すテーブル変換の場合のように輝度レベルが高いものとされるが、輝度レベルの差が少ないためにコントラストの少ないフラットな画像となってしまうことなく、図９Ｃに示すように輝度レベルが高いものとされると共に階調創造も行われて画像を高画質で表示できる。
【００５８】
なお、上述の実施の形態では、表示デバイスとして液晶表示素子を用いた場合について説明したが、表示デバイスの入力画像信号と輝度の特性に応じた予測演算設定情報を記憶するものとし、総合特性が直線状となるように入力画像信号に対して階調レベル変換処理を行うものとすれば、種々の表示デバイスを用いても高画質な画像を表示することができる。
【００５９】
さらに、予測演算設定情報を表示デバイス毎に設けるものとし、表示デバイスに応じてスイッチを切り換えて表示デバイスに応じた予測演算設定情報を用いるものとしたり、画像表示装置との通信、例えばＤＤＷＧ(Digital Display Working Group)が策定したＤＶＩ(Digital Visual Interface)のように、ホットプラグ機能によって画像表示装置の接続が検出されたときに、ＤＤＣ(Display Data Channel)の機能を使用して実現されているプラグ・アンド・プレイによって画像表示装置の機種名や解像度等の表示装置情報を通信によって入手して、画像表示装置で用いられている表示デバイスを判別し、判別された表示デバイスに応じた予測演算設定情報を自動的に用いるものとすれば、表示デバイスに応じた階調変換や階調創造が行われて簡単に高画質な画像を表示させることができる。なお、上述の実施の形態におけるクラスタップの切り出し画素位置等は例示的なものであって限定的なものでないことは勿論である。
【００６０】
【発明の効果】
この発明によれば、入力画像信号から注目画素と注目画素周辺の画素を切り出して輝度レベル分布のパターン検出を行うことによりパターンデータが生成されて、このパターンデータと注目画素の輝度レベルに基づいてクラスが決定される。この決定されたクラスに応じた予測演算設定情報と、入力画像信号から注目画素に応じて選択した画素の輝度データを用いて予測演算を行うことにより、注目画素の新たな輝度データが算出される。このため、表示デバイスの特性に応じた予測演算設定情報を用いることで、表示デバイスに応じて入力画像信号の信号レベルを変換することにより階調レベル変換が行われて、高画質な画像を表示できる。また、画像の輝度傾斜が緩やかでレベルのばらつきが少ないとき、階調差が生じるように予測タップの選択を行う。
【００６１】
また、予測演算設定情報は、新たに生成された注目画素の輝度データと基準画像データにおける注目画素の輝度データとの誤差を最小とするように、予め学習によってクラス毎に求められるので、この予測演算設定係数を用いることで、注目画素と注目画素周辺の画素の輝度レベルに応じて正しく階調レベル変換を行うことができる。
【００６２】
さらに、パターン検出を行いパターンデータを生成する際にＡＤＲＣが用いられるので、パターンデータのビット数を少なくして、予測演算設定情報が多くなってしまうことを防止できる。
【図面の簡単な説明】
【図１】この発明に係る画像信号処理装置の構成を示す図である。
【図２】クラス分類部の構成を示す図である。
【図３】輝度クラス判別回路とＡＤＲＣ回路の動作を説明するための図である。
【図４】ＡＤＲＣ処理を説明するための図である。
【図５】ＡＤＲＣ回路の構成を示す図である。
【図６】予測係数の学習ブロックを示す図である。
【図７】関数フィルタの特性を示す図である。
【図８】画像信号処理装置の動作を説明するための図である。
【図９】画面上の輝度分布を示す図である。
【図１０】表示デバイスの特性を示す図である。
【図１１】変換テーブルを用いた場合の動作を説明するための図である。
【符号の説明】
１１・・・クラスタップ構築部、１２・・・クラス分類部、１３・・・予測タップ構築部、１４・・・予測タップ選択部、１５・・・予測係数メモリ、１６・・・積和演算部、３１・・・関数フィルタ、３２・・・クラス分類部、３３・・・予測タップ領域切出部、３４・・・正規方程式加算部、３５・・・予測係数決定部、１２１・・・データ区分回路、１２２・・・輝度クラス判別回路、１２３・・・ＡＤＲＣ回路、１２４・・・クラス分類コード発生回路、２３１・・・最大値検出回路、２３２・・・最小値検出回路、２３３・・・遅延回路、２３４，２３５・・・減算器、２３６・・・適応再量子化回路、２３７・・・並列化回路
Claims (4)
- 入力画像信号から注目画素と前記注目画素周辺の画素の輝度データを切り出すタップ構築手段、
前記タップ構築手段によって切り出された輝度データを用いて輝度レベル分布のパターン検出を行うことによりパターンデータを生成し、前記注目画素の輝度レベルと前記パターンデータに基づいてクラスを決定するクラス決定手段と、
高階調の輝度レベルの教師信号と、表示デバイスとの総合特性が直線状になるように前記教師信号の輝度レベルが調整された結果得られる、前記教師信号の階調を落とした低階調の輝度レベルの生徒信号とを対にして用いた学習において、前記生徒信号から予測係数を用いて予測された前記教師信号の予測信号と、前記教師信号との誤差を最小にする前記予測係数が前記クラス毎に予め求められており、前記学習により予め求められた前記クラス毎の予測係数を記憶して、前記クラス決定手段で決定されたクラスに応じた前記予測係数を出力する情報記憶手段と、
前記入力画像信号から、前記注目画素の周辺に位置する画素の輝度データを選択する予測タップ設定手段と、
前記情報記憶手段から出力された予測係数と前記予測タップ設定手段で選択された輝度データを積和演算することにより、前記注目画素の新たな輝度データを算出する予測演算手段とを備え、
前記予測タップ設定手段は、
前記クラス決定手段により決定された前記クラスが、前記輝度レベルのばらつきが少ないことを示すクラスである場合、前記画素の輝度データを選択する領域を広くする画像信号処理装置。 - 前記クラス決定手段では、
前記タップ構築手段によって切り出された輝度データをＡＤＲＣ(Adaptive Dynamic Range Coding)を用いて輝度レベル分布のパターン検出を行い前記パターンデータを生成する請求項１記載の画像信号処理装置。 - 入力画像信号から注目画素と前記注目画素周辺の画素の輝度データを切り出し、切り出した輝度データを用いて輝度レベル分布のパターン検出を行うことによりパターンデータを生成し、前記注目画素の輝度レベルと前記パターンデータに基づいてクラスを決定する第１のステップと、
高階調の輝度レベルの教師信号と、表示デバイスとの総合特性が直線状になるように前記教師信号の輝度レベルが調整された結果得られる、前記教師信号の階調を落とした低階調の輝度レベルの生徒信号とを対にして用いた学習において、前記生徒信号から予測係数を用いて予測された前記教師信号の予測信号と、前記教師信号との誤差を最小にする前記予測係数が前記クラス毎に予め求められており、前記学習により予め求められた前記クラス毎の予測係数を記憶して、前記第１のステップの処理により決定されたクラスに応じた前記予測係数を出力する第２のステップと、
前記入力画像信号から、前記注目画素の周辺に位置する画素の輝度データを選択する第３のステップと、
前記第２のステップの処理により出力された予測係数と、前記第３のステップの処理により選択された輝度データを積和演算することにより、前記注目画素の新たな輝度データを得る第４のステップとを有し、
前記第３のステップでは、
前記第１のステップの処理により決定された前記クラスが、前記輝度レベルのばらつきが少ないことを示すクラスである場合、前記画素の輝度データを選択する領域を広くする画像信号処理方法。 - 前記第１のステップでは、
前記切り出された輝度データをＡＤＲＣ(Adaptive Dynamic Range Coding)を用いて輝度レベル分布のパターン検出を行い前記パターンデータを生成する請求項３記載の画像信号処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000153857A JP4595162B2 (ja) | 2000-05-24 | 2000-05-24 | 画像信号処理装置及び画像信号処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000153857A JP4595162B2 (ja) | 2000-05-24 | 2000-05-24 | 画像信号処理装置及び画像信号処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001339731A JP2001339731A (ja) | 2001-12-07 |
| JP4595162B2 true JP4595162B2 (ja) | 2010-12-08 |
Family
ID=18659039
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000153857A Expired - Fee Related JP4595162B2 (ja) | 2000-05-24 | 2000-05-24 | 画像信号処理装置及び画像信号処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4595162B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102580519B1 (ko) * | 2016-09-07 | 2023-09-21 | 삼성전자주식회사 | 영상처리장치 및 기록매체 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09147101A (ja) * | 1995-11-22 | 1997-06-06 | Sony Corp | 画像信号処理装置および方法 |
| JP2000125269A (ja) * | 1998-10-20 | 2000-04-28 | Sony Corp | 画像データ変換装置及び画像データ変換方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3726333B2 (ja) * | 1996-02-13 | 2005-12-14 | ソニー株式会社 | 量子化ビット数変換装置および方法 |
-
2000
- 2000-05-24 JP JP2000153857A patent/JP4595162B2/ja not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09147101A (ja) * | 1995-11-22 | 1997-06-06 | Sony Corp | 画像信号処理装置および方法 |
| JP2000125269A (ja) * | 1998-10-20 | 2000-04-28 | Sony Corp | 画像データ変換装置及び画像データ変換方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001339731A (ja) | 2001-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8189941B2 (en) | Image processing device, display device, image processing method, and program | |
| US6930728B2 (en) | Scan conversion apparatus | |
| US6961479B1 (en) | Image processing device, image processing method, image-processing program recorded medium | |
| JP4470280B2 (ja) | 画像信号処理装置及び画像信号処理方法 | |
| JPH1098695A (ja) | 画像情報変換装置および方法並びに積和演算装置 | |
| JP3946781B2 (ja) | 画像情報変換装置及び方法 | |
| JPWO2017203941A1 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
| JP4595162B2 (ja) | 画像信号処理装置及び画像信号処理方法 | |
| JP3723995B2 (ja) | 画像情報変換装置および方法 | |
| JP3362463B2 (ja) | フレーム補間装置 | |
| JP3844030B2 (ja) | 画像信号符号化装置および画像信号符号化方法、画像信号復号装置および画像信号復号方法 | |
| JP2005318588A (ja) | ビデオシーケンスの補助データ処理 | |
| JP4470324B2 (ja) | 画像信号変換装置および方法 | |
| JP3767019B2 (ja) | 積和演算回路および方法 | |
| JPH08317347A (ja) | 画像情報変換装置 | |
| JP4349086B2 (ja) | 情報信号の処理装置および処理方法、並びにその処理方法を実行するためのプログラム、そのプログラムを記録した媒体 | |
| JP3653287B2 (ja) | 画像情報変換装置及び画像情報変換方法 | |
| JPH08130744A (ja) | テレビジヨン受像装置 | |
| JP4062326B2 (ja) | 係数生成装置および方法 | |
| JP3826434B2 (ja) | 信号変換装置および方法 | |
| JP3480011B2 (ja) | 画像情報変換装置 | |
| JP4310847B2 (ja) | 画像情報変換装置および変換方法 | |
| JP4001143B2 (ja) | 係数生成装置および方法 | |
| JP4193236B2 (ja) | 画像情報変換装置、画像情報変換方法、およびテレビジョン受像機 | |
| JP4042121B2 (ja) | 画像情報処理装置及び画像情報処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060516 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070207 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090213 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090224 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090424 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20090916 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091006 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20091029 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091126 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100610 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100616 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100824 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100906 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131001 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |