JP3824176B2 - 画像信号変換方法、画像信号変換装置及び画像信号伝送装置 - Google Patents
画像信号変換方法、画像信号変換装置及び画像信号伝送装置 Download PDFInfo
- Publication number
- JP3824176B2 JP3824176B2 JP10069395A JP10069395A JP3824176B2 JP 3824176 B2 JP3824176 B2 JP 3824176B2 JP 10069395 A JP10069395 A JP 10069395A JP 10069395 A JP10069395 A JP 10069395A JP 3824176 B2 JP3824176 B2 JP 3824176B2
- Authority
- JP
- Japan
- Prior art keywords
- image signal
- class
- pixel
- frequency distribution
- target pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Description
【０００１】
【目次】
以下の順序で本発明を説明する。
産業上の利用分野
従来の技術
発明が解決しようとする課題（図８及び図９）
課題を解決するための手段
作用
実施例
（１）画像信号変換装置の構成（図１〜図４）
（２）学習及び予測演算（図５及び図６）
（３）実施例の動作（図１）
（４）実施例の効果
（５）他の実施例（図７）
発明の効果
【０００２】
【産業上の利用分野】
本発明は画像信号変換方法、画像信号変換装置及び画像信号伝送装置に関し、特に解像度の低い画像信号を解像度の高い画像信号に変換する場合に適用して好適なものである。
【０００３】
【従来の技術】
従来、この種の画像信号変換装置として、標準解像度（以下、ＳＤ（Standard Difinition ）と呼ぶ）信号を高解像度（以下、ＨＤ（High Difinition ）と呼ぶ）信号に変換するアツプコンバータがある。このアツプコンバータにおいては、ＳＤ画像信号を、水平補間フイルタによつて水平方向の画素数を増加させると共に垂直補間フイルタによつて垂直方向の画素数を増加させることにより、画像の解像度を向上するようになされている。
【０００４】
【発明が解決しようとする課題】
ところが、このように補間フイルタを用いて解像度を向上させる方法は、単に隣接する画素からの平均補間によつて補間画素を生成しているに過ぎず、従つて生成されるＨＤ画像信号の解像度はＳＤ画像信号の解像度と実質的に何ら変わらなかつた。さらにハードウエア規模の制限から補間フイルタのタツプ長が短く制限された場合には変換効率の低さのために却つて解像度が劣化してしまう問題もあつた。
【０００５】
そのため、解像度創造の方式において従来より予測精度を向上させる方法として、例えば特願平6-293963号に記載されているようなクラス分類適応処理が提案されている。このクラス分類適応処理を用いた画像信号変換装置１は、図８に示すように構成されている。すなわち信号変換装置１は解像度の低い入力画像データＤ１をクラスタツプ選択回路２に入力すると、ここで図９（Ａ）に示すように注目画素の周辺画素を集めることによりクラスタツプデータ（この場合、注目画素を含む１１画素の画素データ）Ｄ２を形成し、これをクラス分類回路３に送出する。
【０００６】
クラス分類回路３はクラスタツプデータＤ２に対して例えばＡＤＲＣ（Adaptive Dynamic Range Coding ）処理を施すことでクラスタツプデータＤ２をデータ圧縮し、これにより得た圧縮データをクラスコードＤ３として係数ＲＡＭ（Random Access Memory）４に送出する。このようにクラスタツプ選択部２及びクラス分類部３は、入力画像を時空間パターン分類に基づき有限個のクラスにクラス分類する。
【０００７】
係数ＲＡＭ４には、予め高解像度の画像信号を用いて例えば最小二乗法などの学習によつて求められた各クラス毎の予測係数が格納されており、クラスコードＤ３を読出しアドレスとして当該クラスコードＤ３に応じた予測係数Ｄ４が出力される。
【０００８】
また画像信号変換装置１は、入力画像データＤ１を遅延回路５を介して予測タツプ選択回路６に送出する。予測タツプ選択回路６は、図７（Ｂ）に示すように、クラスタツプでの注目画素と同じ位置の画素を注目画素として、その周辺画素を集めることにより予測タツプデータ（この場合、注目画素を含む２３画素の画素データ）Ｄ５を形成し、これを予測演算回路７に送出する。
【０００９】
予測演算回路７は予測係数Ｄ４及び予測タツプデータＤ５を用いて線型一次結合式を立てることにより積和演算を行い、入力画像データＤ１には含まれない補間画素値を生成する。画像信号変換装置１は、クラスタツプ選択回路２及び予測タツプ選択回路６における注目画素を順次移動させながら画面全体に亘つてこのような処理を施すことにより、予測演算回路７から高解像度の出力画像データＤ６を出力し得るようになされている。
【００１０】
ところが、従来の画像信号変換方法では、入力画像のクラス分類を例えばＡＤＲＣ符号化などのパターン分類によつて画一的に行つていたため、入力画像の特徴を十分に反映したクラス分類ができているとはいるとはいえなかつた。この結果、生成されるＨＤ画像信号の解像度もこれに応じて低下する問題があつた。
【００１１】
本発明は以上の点を考慮してなされたもので、画像の特徴を十分に反映したクラス分類を行うことにより、解像度の低い画像信号から一段と高解像度の画像信号を生成し得る画像信号変換方法、画像信号変換装置及び画像信号伝送装置を提案しようとするものである。
【００１２】
【課題を解決するための手段】
かかる課題を解決するため本発明は、入力される第１の画像信号を、当該第１の画像信号の解像度よりも高い解像度でなる第２の画像信号に変換する画像信号変換方法であつて、第１の画像信号に対してラプラシアンフイルタ処理を施し、当該処理後の画像を、第２の画像信号の注目画素を中心とした所定の大きさのブロツクに分割し、分割されたブロツクにおける画素レベルの度数分布を検出し、検出された度数分布の形状を判断し、判断された度数分布の形状に応じて、注目画素が属するクラスを決定し、クラスごとにそれぞれ求められた各予測係数のうち、当該決定されたクラスに対応する予測係数と、注目画素の周辺における第１の画像信号の画素とに基づく積和演算により注目画素を生成するようにした。
【００１３】
また本発明は、入力される第１の画像信号を、当該第１の画像信号の解像度よりも高い解像度でなる第２の画像信号に変換する画像信号変換方法であつて、第１の画像信号に対してラプラシアンフイルタ処理を施し、当該処理後の画像を、第２の画像信号の注目画素を中心とした所定の大きさのブロツクに分割し、分割されたブロツクにおける画素レベルの度数分布を検出し、当該度数分布の形状に応じて注目画素が属する第１のクラスを決定する。また注目画素の周辺における第１の画像信号の画素に基づいて、注目画素が属する第２のクラスを決定する。そして、クラスごとにそれぞれ求められた各予測係数のうち、クラス決定ステツプで決定された第１及び第２のクラスを組み合わせたクラスに対応する予測係数と、注目画素の周辺における第１の画像信号の画素とに基づく積和演算により注目画素を生成するようにした。
【００１４】
【作用】
ラプラシアンフイルタ処理によつて画像におけるエツジ等の特徴成分を強調した後、当該画像における所定ブロツクごとの度数分布の形状からその画像の特徴を判断し、当該画像が属するクラスを決定することができるため、その画像の特徴を十分に反映したクラスを生成できる。
【００１５】
また、ラプラシアンフイルタ処理によつて画像におけるエツジ等の特徴成分を強調した後、当該画像における所定ブロツクごとの度数分布の形状からその画像の特徴を判断し、当該画像が属する第１のクラスを決定すると共に、ラプラシアンフイルタ処理前の元の画像に応じた第２のクラスを決定し、これら第１及び第２のクラスを組み合わせたクラスを決定することができるため、元の画像（入力画像信号）の特徴を一段と正確に表現したクラスを生成することができる。
【００１６】
【実施例】
以下図面について、本発明の一実施例を詳述する。
【００１７】
（１）画像信号変換装置の構成
図１において、１０は全体として画像信号変換装置を示し、大きく分けて度数分布クラス生成部１１、時空間クラス生成部１２及び適応処理部１３によつて構成されている。これにより画像信号変換装置１０においては、入力画像を、時空間パターン分類に基づいてクラス分類するだけでなく入力画像の特徴成分に対して統計処理を行つてクラス分類し、これらのクラス分類結果を組み合わせることにより入力画像の特徴を十分に反映したクラス分類処理を行うことができるようになされている。
【００１８】
画像信号変換装置１０は、入力画像データＤ１を度数分布クラス生成部１１のラプラシアンフイルタ１４に入力して入力画像の現フレーム又はフイールドに対して、例えば図２（Ａ）又は（Ｂ）に示すような２次元のフイルタ係数でなるラプラシアンフイルタ処理を施すことにより、エツジ等の画像の特徴成分を強調する。また度数分布クラス生成部１１は、ラプラシアンフイルタ処理の結果に対して、続く非線型量子化器１５によつて非線型量子化処理を施すことにより、さらに画像の特徴を強調する。
【００１９】
ブロツク化回路１６は非線型量子化器１５からの出力画像を、注目画素データを中心とするｐライン×ｐ画素のブロツクにブロツク化して度数分布作成回路１７に送出する。ここで画像データが８ビツトとして、ラプラシアンフイルタ処理後のデータ長を（符号＋８）ビツトにまるめたとすると、ラプラシアンフイルタ処理後のデータは−２５６〜＋２５５までの値をとる。度数分布作成回路１７は各ブロツクにおいて５１２レベル値の各レベル毎の度数分布を検出し、図３に示すような度数分布表を作成する。領域分割回路１８は、度数分布表をレベル方向に分割してレベル方向を複数の領域に分割する。この実施例の領域分割回路１８はレベル方向を９個の領域に分割する。
【００２０】
この度数分布の傾向としては、平坦な画像入力に対しては、ほとんど０を含む中心付近の領域に度数が集中するが、エツジのような変化の激しい画像入力に対しては分布が広がり、場合によつてはある領域の度数が多くなつたりしてなんらかの特徴を示すことがある。従つて度数分布クラス生成部１１においては、度数分布の形状を判断することによりクラス分類を行うようことにより、入力画像の特徴をクラスに反映するようになされている。
【００２１】
ＡＤＲＣ回路１９は各ブロツクについての度数分布情報を圧縮することにより第１のクラスコードＤ１０を生成する。ＡＤＲＣ回路１９は各領域内の度数の総和を計算してこれを新たな度数分布とし、各領域（実施例の場合、９領域）の度数の最大値と最小値を検出し、この最大値と最小値との差分をダイナミツクレンジとして定義し、このダイナミツクレンジによつて決まる量子化ステツプ幅で各領域の度数と最小値との差分を割り算して各領域の度数をｎビツトで適応的に量子化することにより、第１のクラスコードＤ１０を生成する。これにより非常に多い度数分布表の情報を少ない情報量で的確に表現することができる。
【００２２】
このようにしてＡＤＲＣ回路１９は度数分布を正規化する。量子化後の符号値を９領域分並べると、ｎ×９ビツトのコードを作成することができ、これをクラス分類のためのインデツクス（すなわち第１のクラスコードＤ１０）とする。例えば、ｎ＝１の場合、各ブロツクは５１２クラスで表現される。第１のクラスコードＤ１０は遅延回路２０を介して適応処理部１３の係数ＳＲＡＭ（Static Random Access Memory）２１に送出される。
【００２３】
時空間クラス生成部１２は遅延回路２２を介して入力した入力画像データＤ１を時系列変換回路２３を介してクラスタツプ選択回路２４に与える。クラスタツプ選択回路２４は、図９について上述したように注目画素を中心としてその周辺画素を集めることによりクラスタツプデータＤ１１を形成し、これをＡＤＲＣ回路２５に送出する。ＡＤＲＣ回路２５はクラスタツプデータＤ１１に対してｍビツトの適応ダイナミツクレンジ符号化処理を施すことにより、クラスタツプデータＤ１１を圧縮して第２のクラスコードＤ１２を形成し、これを係数ＳＲＡＭ２１に送出する。
【００２４】
適応処理部１３は時系列変換回路２３の出力を遅延回路２６及び時系列変換回路２７を介して予測タツプ選択回路２８に与える。予測タツプ選択回路２８は、図９について上述したように注目画素を中心としてその周辺画素を集めることにより予測タツプデータＤ１３を形成し、これを予測演算回路２９に送出する。
【００２５】
ここで係数ＳＲＡＭ２１には、予め後述するような学習により各クラス毎に求められた予測係数が格納されており、第１及び第２のクラスコードＤ１０及びＤ１２により指定されたアドレスに格納されている予測係数Ｄ１４を出力して予測演算回路２９に与える。予測演算回路２９は予測タツプデータＤ１３及び予測係数Ｄ１４を用いて線型一次結合式を立てることにより、入力画像データＤ１には含まれない新たな画素値（補間画素値）Ｄ１５を求め、これを時系列変換回路３０に与える。時系列変換回路３０は、補間画素値Ｄ１５と入力画像データＤ１をラインスキヤン順に配列して出力する。この結果時系列変換回路３０からは高解像度の出力画像データＤ１６が出力される。
【００２６】
なお図２（Ａ）に示すような２次元のラプラシアンフイルタ係数を実現するためには、ラプラシアンフイルタ１４を、図４に示すように構成すれば良い。すなわちラプラシアンフイルタ１４は入力画像データＤ１をそれぞれ１画素分の遅延時間を有する遅延素子（Ｄ）３１〜３３を介して１ライン分の遅延時間を有するラインデイレイ（Ｌｉｎｅ）３８に送出する。そして各遅延素子３１〜３３の出力をそれぞれ乗算係数が−１に選定された乗算回路３４〜３６を介して積算回路３７に送出する。
【００２７】
ラインデイレイ３８の出力は、それぞれ１画素分の遅延時間を有する遅延素子３９〜４１を介して１ライン分の遅延時間を有するラインデイレイ４５に送出される。そして各遅延素子３９〜４１の出力が、それぞれ乗算係数が−１、８、−１に選定された乗算回路４２、４３、４４を介して積算回路３７に送出される。さらにラインデイレイ４５の出力は、それそれ１画素分の遅延時間を有する遅延素子４６〜４８に順次送出される。そして各遅延素子４６〜４８の出力が、それぞれ乗算係数が−１に選定された乗算回路４９〜５１を介して積算回路３７に送出される。この結果積算回路３７において積算された各乗算回路３４〜３６、４２〜４４、４９〜５１の出力がラプラシアンフイルタ１４の出力として遅延素子５２を介して出力される。
【００２８】
（２）学習及び予測演算
ここで係数ＳＲＡＭ２１には、以下に説明する学習により各クラス毎に予め求められた予測係数が記憶されている。すなわち予測係数を学習するために、先ず既に知られているＨＤ画像に対応した、当該ＨＤ画像よりも画素数の少ないＳＤ画像を形成しておく。そして、ＨＤ画像とＳＤ画像を用いて、クラス毎に最適な予測係数を最小二乗法などの手法により求めて係数ＳＲＡＭ２１に記憶する。
【００２９】
実際上学習は、図５に示すような予測係数作成回路６０によつて実現できる。図１との対応部分に同一符号を付して示す図５において、予測係数作成回路６０はＨＤ画像データを間引きフイルタ６１を介して図１の入力画像データＤ１に対応するＳＤ画像データに変換し、当該ＳＤ画像データを係数算出回路６２、度数分布クラス形成部１１及び時空間クラス生成部１２に送出する。
【００３０】
度数分布クラス生成部１１は、ＳＤ画像データに対して上述したのと同様のクラス分類処理を行うことにより第１のクラスコードＤ１０を生成し、これを係数算出回路６２に送出する。時空間クラス生成部１２も、ＳＤ画像データに対して上述したのと同様のクラス分類処理を行うことにより第２のクラスコードＤ１２を生成し、これを係数算出回路６２に送出する。
【００３１】
係数算出回路６２は、ＳＤ画像データ及びＨＤ画像データを用いて、第１のクラスコードＤ１０と第２のクラスコードＤ１２を組み合わせてなる各クラス毎に、ＨＤ画像データに含まれかつＳＤ画像データに含まれない補間対象画素の画素値とその周辺のＳＤ画像データの画素値との相関関係を学習により求め、この学習結果を予測係数として係数ＳＲＡＭ２１に出力する。この結果係数ＳＲＡＭ２１には、図６に示すように、第１及び第２のクラスコードＤ１０及びＤ１２の組合せでなるアドレス毎に、予測係数組が記憶される。なお図６において、予測係数の（ ）内は第１のクラスと第２のクラスの組合せ番号を表わすものとする。
【００３２】
次に係数算出回路６２における予測係数算出の原理について説明する。係数算出回路６２はＨＤ画像に含まれかつＳＤ画像に含まれない画素を注目画素（補間対象画素）とし、当該注目画素を、当該注目画素周辺のＳＤ画像中の画素と予測係数との線型一次結合式によつて表し、このとき用いた予測係数を各クラス毎に最小二乗法の演算によつて求める。
【００３３】
すなわち、先ずＨＤ画像中の注目画素レベルをｙ、その周辺のＳＤ画像中の画素レベルをｘ1 、ｘ2 、……、ｘi として、次式
【数１】
で表わされる線型一次方程式を立てる。
【００３４】
ここで（１）式における予測係数ｗ1 、ｗ2 、……、ｗi については、画素値ｙの実際の値と予測値との誤差が最小になるものを学習により求めれば良い。学習はクラス毎に複数の学習データに対して行うので、データ数がｊとすると一般的なｊ＞ｉでなる場合には予測係数ｗ1 、ｗ2 、……、ｗi は一意に決定することはできない。そこで、誤差ベクトルｅの要素を、それぞれの学習データｘk1、……、ｘki、ｙk における予測誤差ｅk として、次式
【数２】
のように定義して、次式
【数３】
を最小にする予測係数ｗ1 、……、ｗi を求める。いわゆる最小二乗法による解法である。
【００３５】
ここで（３）式のｗi による偏微分係数を求めると、次式
【数４】
となる。（４）式が０になるような各ｗp を求めれば良い。そこで次式
【数５】
及び次式
【数６】
のように、Ｘpq、Ｙp を定義すると、上述した（４）式は行列を用いて、次式
【数７】
の正規方程式に書き換えることができる。
【００３６】
ここで（７）式の正規方程式は未知数がｉ個の連立方程式であるから、これにより最確値である各未定係数ｗ1 、……、ｗi を求めることができる。具体的には、一般に（７）式の左辺の行列は正定値対称なので、コレスキー法により解くことができる。かくして、ＨＤ画像を用いた学習によつて、各クラス毎の予測係数組ｗ1 、……、ｗi を求めることができる。
【００３７】
係数算出回路６２は、このようにして求めた各クラス毎の予測係数組ｗ1 、……、ｗi を、係数ＳＲＡＭ２１の各クラスに対応したアドレスに格納する。かくして第１及び第２のクラスコードＤ１０及びＤ１２が入力されたとき、ＳＤ画像中の画素との線型一次結合により補間画素値を得ることができるような予測係数組ｗ1 、……、ｗi を出力する係数ＳＲＡＭ２１を作成することができる。
【００３８】
予測演算回路２９は係数ＳＲＡＭ２１から与えられる予測係数Ｄ１４と予測タツプ選択回路２８から与えられる予測タツプデータＤ１３とを線型一次結合することにより、補間画素値ｙ′を求める。すなわち予測演算回路２９は、予測タツプデータＤ１３でなる画素値ｘ1 、……、ｘi と予測係数Ｄ１４でなる係数組ｗ1 、……、ｗi とを用いて、補間画素値ｙ′を、次式
【数８】
により求めるようになされている。
【００３９】
（３）実施例の動作
以上の構成において、画像信号変換装置１０は、度数分布クラス生成部１１において、入力画像データＤ１に対してラプラシアンフイルタ処理を施し、ラプラシアンフイルタ後の画像における画素レベルの度数分布表を作成し、その度数分布に基づいて第１のクラスコードＤ１０を形成する。このようにして度数分布クラス生成部１１では、入力画像データＤ１のエツジ等の特徴を反映した第１のクラスコードＤ１０が形成される。
【００４０】
また画像信号変換装置１０は、時空間クラス生成部１２において、従来のクラス分類と同様の手法を用いて、入力画像データＤ１に基づいて第２のクラスコードＤ１２を形成する。このようにして時空間クラス生成部１２では、入力画像データＤ１の時空間でのレベル分布パターンを反映した第２のクラスコードＤ１２が形成される。
【００４１】
画像信号変換装置１０は、第１のクラスコードＤ１０をクラス分類のための第１の指標として使用すると共に第２のクラスコードＤ１２を第２の指標として使用し、第１の指標と第２の指標を組み合わせて、総合的なクラス分類指標とする。そして、画像信号変換装置１０は、適応処理部１３において、第１及び第２のクラスコードＤ１０及びＤ１２を組み合わせてなるクラスコードを使つて、係数ＳＲＡＭ２１に予め学習により各クラス毎に求められて格納された予測係数のうちクラスコードに応じた予測係数Ｄ１４を出力させる。
【００４２】
画像信号変換装置１０は、出力された予測係数Ｄ１４と予測タツプデータＤ１３を用いて入力画像データＤ１に含まれない画素値を生成する。このように画像信号変換装置１０においては、従来のクラス分類処理による第２のクラスコードＤ１２に組み合わせて第１のクラスコードＤ１０を用いるようにしたことにより、クラス分類精度を格段的に向上し得、この結果最終的に高解像度の出力画像データＤ１５を得ることができる。
【００４３】
（４）実施例の効果
以上の構成によれば、ラプラシアンフイルタ後の画像における画素レベルの度数分布状態を検出し、当該検出結果に基づいてその画像が属するクラスを決定することにより第１のクラスコードＤ１０を形成すると共に、入力画像データＤ１の時空間でのレベル分布パターンに応じてその画像が属するクラスを決定することにより第２のクラスコードＤ１２を形成し、当該第１及び第２のクラスコードＤ１０及びＤ１２を組み合わせたクラスを最終的なクラスとしたことにより、入力画像の特徴を反映したより正確なクラス分類を実現でき、この結果最終的に高解像度の出力画像データＤ１６を得ることができる。
【００４４】
（５）他の実施例
なお上述の実施例においては、第１及び第２のクラスコードＤ１０及びＤ１２を組み合わせたクラスを最終的な入力画像データＤ１のクラスとするようにした場合について述べたが、本発明はこれに限らず、第１のクラスコードＤ１０のみを用いて入力画像データＤ１のクラスを表現するようにしても良く、この場合でもエツジ等の入力画像データＤ１の特徴を反映したクラスを生成できることにより上述の実施例に近い効果を得ることができる。この場合には、図１における時空間クラス生成部１２を省略すると共に、係数ＳＲＡＭ２１に第１のクラスコードＤ１０にのみ対応する予測係数を記憶するようにすれば良い。
【００４５】
また上述の実施例においては、予測係数記憶手段として係数ＳＲＡＭ２１を用いた場合について述べたが、これに代えてＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）等を用いるようにしても良い。
【００４６】
また上述の実施例においては、第１及び第２のクラスコードＤ１０及びＤ１２に基づくクラスに対応する予測係数を記憶する予測係数記憶手段を設け、クラスに応じて出力される予測係数Ｄ１４を用いて補間画素値Ｄ１５を生成する場合について述べたが、本発明はこれに限らず、予測係数記憶手段に代えて、入力画像データＤ１に含まれない画素値に対応した予測値が第１のクラスコードＤ１０及び第２のクラスコードＤ１２を組み合わせた各クラス毎に記憶され、第１及び第２のクラスコードＤ１０及びＤ１２に応じた予測値を出力する予測値記憶手段を設けるようにしても実施例と同様の効果を得ることができる。またこの場合には図１における遅延回路２６、時系列変換回路２７、予測タツプ選択回路２８及び予測演算回路２９を省略することができる。
【００４７】
この場合の予測値記憶手段に記憶させる予測値を求める第１の方法としては、加重平均を用いた学習方法がある。詳述すれば、補間対象画素の周辺のＳＤ画素を用いてクラス分類を行い、クラス毎に積算した補間対象画素の画素値（ＨＤ画像を用いる）を補間対象の個数によつてインクリメントされた度数によつて割るといつた処理を様々な画像に対して行うことによりクラスに対応した予測値を求める方法である。
【００４８】
また予測値記憶手段に記憶させる予測値を求める第２の方法としては、正規化による学習方法がある。詳述すれば、補間対象画素を含む複数の画素からなるブロツクを形成し、当該ブロツク内のダイナミツクレンジによつて、補間対象画素の画素値からそのブロツクの基準値を減算した値を正規化し、この正規化された値の累積値を累積度数で除した値を予測値とする処理を様々な画像に対して行うことによりクラスに対応した予測値を求める方法である。
【００４９】
また上述の実施例においては、ラプラシアンフイルタ１４の後段に非線型量子化器１５を設けることによりラプラシアンフイルタ処理後の画像の特徴を一段と強調する場合について述べたが、非線型量子化器１５を省略するようにしても良い。
【００５０】
また上述の実施例においては、度数分布作成回路１７によつて度数分布を検出した後、領域分割回路１８によつて度数分布を各領域に分割する場合について述べたが、本発明はこれに限らず、度数分布を検出する際に予め領域毎の境界値を設定しておき、この境界値と各画素レベルを比較しながら度数を積算することで一気に所望の度数分布を検出するようにしても良い。また上述の実施例においては、複数領域に分割した度数分布の各領域毎の度数を正規化する正規化手段としてＡＤＲＣ回路１９を用いた場合について述べたが、正規化手段としてはこの他のものを用いるようにしても良い。
【００５１】
また上述の実施例においては、ＡＤＲＣ回路２５によつてクラスタツプデータＤ１１を圧縮して第２のクラスコードＤ１２を形成する場合について述べたが、ＡＤＲＣ回路２５に代えて例えばＤＣＴ（Discrete Cosine Transform ）符号化、ＤＰＣＭ（差分符号化）、ベクトル量子化、サブバンド符号化やウエーブレツト変換等の圧縮手法を用いるようにしても良い。
【００５２】
また上述の実施例においては、ラプラシアンフイルタ１４によつて入力画像信号の特徴量を抽出した場合について述べたが、本発明はこれに限らず、例えば時間差分や動き補償後の残差を計算することにより入力画像信号の特徴量を抽出し、この特徴量に対して統計処理を施すことで第１のクラスを求めるようにしても良い。
【００５３】
また上述の実施例においては、本発明を、解像度の低い入力画像信号を解像度の高い出力画像信号に変換する画像信号変換装置１０に適用した場合について述べたが、本発明はこれに限らず、図７に示すような時空間モデル符号化方式を採用した画像信号伝送装置７０に適用することもできる。
【００５４】
図１との対応部分に同一符号を付して示す図７において、画像信号伝送装置７０は送信手段でなるエンコーダ７１から低解像度の画像信号と共に予測係数を伝送路１００を介して受信手段でなるデコーダ７２に伝送する。デコーダ７２は伝送された低解像度の画像信号と予測係数を用いて高解像度の画像信号を復元する。
【００５５】
ここでエンコーダ７１はＨＤ画像データＤ２０をサンプリング回路７３を通すことによりＳＤ画像データＤ２１を形成し、当該ＳＤ画像データを圧縮エンコーダ７４によつて圧縮符号化することにより圧縮符号化データＤ２２を形成し、これを遅延回路７５を介して出力端子Ｔ１に与える。またＳＤ画像データＤ２１はローカルデコーダ７６によつて一旦復号され、係数選定部７７、度数クラス分布生成部１１及び時空間クラス生成部１２にそれぞれ送出される。度数クラス分布生成部１１及び時空間クラス生成部１２では、実施例において上述したようなクラス分類を行うことにより第１及び第２のクラスコードＤ１０及びＤ１２を生成し、これを係数選定部７７に送出する。係数選定部７７は第１及び第２のクラスコードＤ１０及びＤ１２を組み合わせたクラス毎に、ＳＤ画像データＤ２１とＨＤ画像データＤ２０の相関関係を表わす予測係数Ｄ２４を算出し、これを出力端子Ｔ２に与える。
【００５６】
デコーダ７２は入力端子Ｔ３に圧縮符号化データＤ２２を受けると、これを圧縮デコーダ７８によつて復号し、これにより得た復号画像データＤ２５を度数分布クラス生成部１１、時空間クラス生成部１２及び時系列変換回路７９に送出する。度数分布クラス生成部１１及び時空間クラス生成部１２で生成された第１及び第２のクラスコードＤ１０及びＤ１２は予測演算部８０に送出される。また予測演算部８０には、入力端子Ｔ４を介して予測係数Ｄ２４が入力されると共に復号画像データＤ２５が入力される。そして予測演算部８０は、第１及び第２のクラスコードＤ１０及びＤ１２を組み合わせたクラスに対応した予測係数Ｄ２４を選択し、当該予測係数Ｄ２４と復号画像データＤ２５とを用いた予測演算を行うことより復号画像データＤ２５には含まれない補間画素データＤ２６を算出し、これを時系列変換回路７９に送出する。時系列変換回路７９は入力した復号画像データＤ２５と補間画素データＤ２６をラインスキヤン順に時系列変換して出力する。
かくしてクラス分類手段として従来のように時空間クラス生成部１２のみを用いた場合と比較して、復号画像データＤ２５から一段と高解像度のＨＤ画像データＤ２７を得ることができる画像信号伝送装置７０を実現できる。
【００５７】
【発明の効果】
上述のように本発明によれば、入力される第１の画像信号を、当該第１の画像信号の解像度よりも高い解像度でなる第２の画像信号に変換する画像信号変換方法であつて、第１の画像信号に対してラプラシアンフイルタ処理を施し、当該処理後の画像を、第２の画像信号の注目画素を中心とした所定の大きさのブロツクに分割し、分割されたブロツクにおける画素レベルの度数分布を検出し、検出された度数分布の形状を判断し、判断された度数分布の形状に応じて、注目画素が属するクラスを決定し、クラスごとにそれぞれ求められた各予測係数のうち、当該決定されたクラスに対応する予測係数と、注目画素の周辺における第１の画像信号の画素とに基づく積和演算により注目画素を生成するようにした。これによりラプラシアンフイルタ処理によつて画像におけるエツジ等の特徴成分を強調した後の画像における所定ブロツクごとの度数分布の形状からその画像の特徴を判断し、当該画像が属するクラスを決定することができるため、その画像の特徴を十分に反映したクラスを生成でき、かくして低解像度の画像信号から一段と高解像度の画像信号を生成し得る画像信号変換方法及び画像信号変換装置を実現できる。
また上述のように本発明によれば、入力される第１の画像信号を、当該第１の画像信号の解像度よりも高い解像度でなる第２の画像信号に変換する画像信号変換方法であつて、第１の画像信号に対してラプラシアンフイルタ処理を施し、当該処理後の画像を、第２の画像信号の注目画素を中心とした所定の大きさのブロツクに分割し、分割されたブロツクにおける画素レベルの度数分布を検出し、当該度数分布の形状に応じて注目画素が属する第１のクラスを決定する。また注目画素の周辺における第１の画像信号の画素に基づいて、注目画素が属する第２のクラスを決定する。そして、クラスごとにそれぞれ求められた各予測係数のうち、クラス決定ステツプで決定された第１及び第２のクラスを組み合わせたクラスに対応する予測係数と、注目画素の周辺における第１の画像信号の画素とに基づく積和演算により注目画素を生成するようにした。これによりラプラシアンフイルタ処理によつて画像におけるエツジ等の特徴成分を強調した後の画像における所定ブロツクごとの度数分布の形状からその画像の特徴を判断し、当該画像が属する第１のクラスを決定すると共に、ラプラシアンフイルタ処理前の元の画像に応じた第２のクラスを決定し、これら第１及び第２のクラスを組み合わせたクラスを決定することができるため、元の画像（入力画像信号）の特徴を一段と正確に表現したクラスを生成することができ、かくして低解像度の画像信号から一段と高解像度の画像信号を生成し得る画像信号変換方法及び画像信号変換装置を実現できる。
【図面の簡単な説明】
【図１】本発明による画像信号変換装置の一実施例の構成を示すブロツク図である。
【図２】ラプラシアンフイルタの係数の例を示す略線図である。
【図３】度数分布クラス生成部の動作の説明に供する略線図である。
【図４】ラプラシアンフイルタの構成例を示すブロツク図である。
【図５】係数ＳＲＡＭ作成用の学習回路の構成を示すブロツク図である。
【図６】係数ＳＲＡＭの内容を示す略線図である。
【図７】本発明による画像信号変換方法を適用した画像信号伝送装置の構成を示すブロツク図である。
【図８】クラス分類適応処理を用いた従来の信号変換装置の構成を示すブロツク図である。
【図９】クラスタツプパターン及び予測タツプパターンの説明に供する略線図である。
【符号の説明】
１０……画像信号変換装置、１１……度数分布クラス生成部、１２……時空間クラス生成部、１３……適応処理部、１４……ラプラシアンフイルタ、１７……度数分布作成回路、１８……領域分割回路、２１……係数ＳＲＡＭ、２９……予測演算回路、６０……予測係数作成回路、７０……画像信号伝送装置、Ｄ１……入力画像データ、Ｄ１０……第１のクラスコード、Ｄ１１……クラスタツプデータ、Ｄ１２……第２のクラスコード、Ｄ１３……予測タツプデータ、Ｄ１４……予測係数、Ｄ１５……補間画素データ、Ｄ１６……出力画像データ。
【目次】
以下の順序で本発明を説明する。
産業上の利用分野
従来の技術
発明が解決しようとする課題（図８及び図９）
課題を解決するための手段
作用
実施例
（１）画像信号変換装置の構成（図１〜図４）
（２）学習及び予測演算（図５及び図６）
（３）実施例の動作（図１）
（４）実施例の効果
（５）他の実施例（図７）
発明の効果
【０００２】
【産業上の利用分野】
本発明は画像信号変換方法、画像信号変換装置及び画像信号伝送装置に関し、特に解像度の低い画像信号を解像度の高い画像信号に変換する場合に適用して好適なものである。
【０００３】
【従来の技術】
従来、この種の画像信号変換装置として、標準解像度（以下、ＳＤ（Standard Difinition ）と呼ぶ）信号を高解像度（以下、ＨＤ（High Difinition ）と呼ぶ）信号に変換するアツプコンバータがある。このアツプコンバータにおいては、ＳＤ画像信号を、水平補間フイルタによつて水平方向の画素数を増加させると共に垂直補間フイルタによつて垂直方向の画素数を増加させることにより、画像の解像度を向上するようになされている。
【０００４】
【発明が解決しようとする課題】
ところが、このように補間フイルタを用いて解像度を向上させる方法は、単に隣接する画素からの平均補間によつて補間画素を生成しているに過ぎず、従つて生成されるＨＤ画像信号の解像度はＳＤ画像信号の解像度と実質的に何ら変わらなかつた。さらにハードウエア規模の制限から補間フイルタのタツプ長が短く制限された場合には変換効率の低さのために却つて解像度が劣化してしまう問題もあつた。
【０００５】
そのため、解像度創造の方式において従来より予測精度を向上させる方法として、例えば特願平6-293963号に記載されているようなクラス分類適応処理が提案されている。このクラス分類適応処理を用いた画像信号変換装置１は、図８に示すように構成されている。すなわち信号変換装置１は解像度の低い入力画像データＤ１をクラスタツプ選択回路２に入力すると、ここで図９（Ａ）に示すように注目画素の周辺画素を集めることによりクラスタツプデータ（この場合、注目画素を含む１１画素の画素データ）Ｄ２を形成し、これをクラス分類回路３に送出する。
【０００６】
クラス分類回路３はクラスタツプデータＤ２に対して例えばＡＤＲＣ（Adaptive Dynamic Range Coding ）処理を施すことでクラスタツプデータＤ２をデータ圧縮し、これにより得た圧縮データをクラスコードＤ３として係数ＲＡＭ（Random Access Memory）４に送出する。このようにクラスタツプ選択部２及びクラス分類部３は、入力画像を時空間パターン分類に基づき有限個のクラスにクラス分類する。
【０００７】
係数ＲＡＭ４には、予め高解像度の画像信号を用いて例えば最小二乗法などの学習によつて求められた各クラス毎の予測係数が格納されており、クラスコードＤ３を読出しアドレスとして当該クラスコードＤ３に応じた予測係数Ｄ４が出力される。
【０００８】
また画像信号変換装置１は、入力画像データＤ１を遅延回路５を介して予測タツプ選択回路６に送出する。予測タツプ選択回路６は、図７（Ｂ）に示すように、クラスタツプでの注目画素と同じ位置の画素を注目画素として、その周辺画素を集めることにより予測タツプデータ（この場合、注目画素を含む２３画素の画素データ）Ｄ５を形成し、これを予測演算回路７に送出する。
【０００９】
予測演算回路７は予測係数Ｄ４及び予測タツプデータＤ５を用いて線型一次結合式を立てることにより積和演算を行い、入力画像データＤ１には含まれない補間画素値を生成する。画像信号変換装置１は、クラスタツプ選択回路２及び予測タツプ選択回路６における注目画素を順次移動させながら画面全体に亘つてこのような処理を施すことにより、予測演算回路７から高解像度の出力画像データＤ６を出力し得るようになされている。
【００１０】
ところが、従来の画像信号変換方法では、入力画像のクラス分類を例えばＡＤＲＣ符号化などのパターン分類によつて画一的に行つていたため、入力画像の特徴を十分に反映したクラス分類ができているとはいるとはいえなかつた。この結果、生成されるＨＤ画像信号の解像度もこれに応じて低下する問題があつた。
【００１１】
本発明は以上の点を考慮してなされたもので、画像の特徴を十分に反映したクラス分類を行うことにより、解像度の低い画像信号から一段と高解像度の画像信号を生成し得る画像信号変換方法、画像信号変換装置及び画像信号伝送装置を提案しようとするものである。
【００１２】
【課題を解決するための手段】
かかる課題を解決するため本発明は、入力される第１の画像信号を、当該第１の画像信号の解像度よりも高い解像度でなる第２の画像信号に変換する画像信号変換方法であつて、第１の画像信号に対してラプラシアンフイルタ処理を施し、当該処理後の画像を、第２の画像信号の注目画素を中心とした所定の大きさのブロツクに分割し、分割されたブロツクにおける画素レベルの度数分布を検出し、検出された度数分布の形状を判断し、判断された度数分布の形状に応じて、注目画素が属するクラスを決定し、クラスごとにそれぞれ求められた各予測係数のうち、当該決定されたクラスに対応する予測係数と、注目画素の周辺における第１の画像信号の画素とに基づく積和演算により注目画素を生成するようにした。
【００１３】
また本発明は、入力される第１の画像信号を、当該第１の画像信号の解像度よりも高い解像度でなる第２の画像信号に変換する画像信号変換方法であつて、第１の画像信号に対してラプラシアンフイルタ処理を施し、当該処理後の画像を、第２の画像信号の注目画素を中心とした所定の大きさのブロツクに分割し、分割されたブロツクにおける画素レベルの度数分布を検出し、当該度数分布の形状に応じて注目画素が属する第１のクラスを決定する。また注目画素の周辺における第１の画像信号の画素に基づいて、注目画素が属する第２のクラスを決定する。そして、クラスごとにそれぞれ求められた各予測係数のうち、クラス決定ステツプで決定された第１及び第２のクラスを組み合わせたクラスに対応する予測係数と、注目画素の周辺における第１の画像信号の画素とに基づく積和演算により注目画素を生成するようにした。
【００１４】
【作用】
ラプラシアンフイルタ処理によつて画像におけるエツジ等の特徴成分を強調した後、当該画像における所定ブロツクごとの度数分布の形状からその画像の特徴を判断し、当該画像が属するクラスを決定することができるため、その画像の特徴を十分に反映したクラスを生成できる。
【００１５】
また、ラプラシアンフイルタ処理によつて画像におけるエツジ等の特徴成分を強調した後、当該画像における所定ブロツクごとの度数分布の形状からその画像の特徴を判断し、当該画像が属する第１のクラスを決定すると共に、ラプラシアンフイルタ処理前の元の画像に応じた第２のクラスを決定し、これら第１及び第２のクラスを組み合わせたクラスを決定することができるため、元の画像（入力画像信号）の特徴を一段と正確に表現したクラスを生成することができる。
【００１６】
【実施例】
以下図面について、本発明の一実施例を詳述する。
【００１７】
（１）画像信号変換装置の構成
図１において、１０は全体として画像信号変換装置を示し、大きく分けて度数分布クラス生成部１１、時空間クラス生成部１２及び適応処理部１３によつて構成されている。これにより画像信号変換装置１０においては、入力画像を、時空間パターン分類に基づいてクラス分類するだけでなく入力画像の特徴成分に対して統計処理を行つてクラス分類し、これらのクラス分類結果を組み合わせることにより入力画像の特徴を十分に反映したクラス分類処理を行うことができるようになされている。
【００１８】
画像信号変換装置１０は、入力画像データＤ１を度数分布クラス生成部１１のラプラシアンフイルタ１４に入力して入力画像の現フレーム又はフイールドに対して、例えば図２（Ａ）又は（Ｂ）に示すような２次元のフイルタ係数でなるラプラシアンフイルタ処理を施すことにより、エツジ等の画像の特徴成分を強調する。また度数分布クラス生成部１１は、ラプラシアンフイルタ処理の結果に対して、続く非線型量子化器１５によつて非線型量子化処理を施すことにより、さらに画像の特徴を強調する。
【００１９】
ブロツク化回路１６は非線型量子化器１５からの出力画像を、注目画素データを中心とするｐライン×ｐ画素のブロツクにブロツク化して度数分布作成回路１７に送出する。ここで画像データが８ビツトとして、ラプラシアンフイルタ処理後のデータ長を（符号＋８）ビツトにまるめたとすると、ラプラシアンフイルタ処理後のデータは−２５６〜＋２５５までの値をとる。度数分布作成回路１７は各ブロツクにおいて５１２レベル値の各レベル毎の度数分布を検出し、図３に示すような度数分布表を作成する。領域分割回路１８は、度数分布表をレベル方向に分割してレベル方向を複数の領域に分割する。この実施例の領域分割回路１８はレベル方向を９個の領域に分割する。
【００２０】
この度数分布の傾向としては、平坦な画像入力に対しては、ほとんど０を含む中心付近の領域に度数が集中するが、エツジのような変化の激しい画像入力に対しては分布が広がり、場合によつてはある領域の度数が多くなつたりしてなんらかの特徴を示すことがある。従つて度数分布クラス生成部１１においては、度数分布の形状を判断することによりクラス分類を行うようことにより、入力画像の特徴をクラスに反映するようになされている。
【００２１】
ＡＤＲＣ回路１９は各ブロツクについての度数分布情報を圧縮することにより第１のクラスコードＤ１０を生成する。ＡＤＲＣ回路１９は各領域内の度数の総和を計算してこれを新たな度数分布とし、各領域（実施例の場合、９領域）の度数の最大値と最小値を検出し、この最大値と最小値との差分をダイナミツクレンジとして定義し、このダイナミツクレンジによつて決まる量子化ステツプ幅で各領域の度数と最小値との差分を割り算して各領域の度数をｎビツトで適応的に量子化することにより、第１のクラスコードＤ１０を生成する。これにより非常に多い度数分布表の情報を少ない情報量で的確に表現することができる。
【００２２】
このようにしてＡＤＲＣ回路１９は度数分布を正規化する。量子化後の符号値を９領域分並べると、ｎ×９ビツトのコードを作成することができ、これをクラス分類のためのインデツクス（すなわち第１のクラスコードＤ１０）とする。例えば、ｎ＝１の場合、各ブロツクは５１２クラスで表現される。第１のクラスコードＤ１０は遅延回路２０を介して適応処理部１３の係数ＳＲＡＭ（Static Random Access Memory）２１に送出される。
【００２３】
時空間クラス生成部１２は遅延回路２２を介して入力した入力画像データＤ１を時系列変換回路２３を介してクラスタツプ選択回路２４に与える。クラスタツプ選択回路２４は、図９について上述したように注目画素を中心としてその周辺画素を集めることによりクラスタツプデータＤ１１を形成し、これをＡＤＲＣ回路２５に送出する。ＡＤＲＣ回路２５はクラスタツプデータＤ１１に対してｍビツトの適応ダイナミツクレンジ符号化処理を施すことにより、クラスタツプデータＤ１１を圧縮して第２のクラスコードＤ１２を形成し、これを係数ＳＲＡＭ２１に送出する。
【００２４】
適応処理部１３は時系列変換回路２３の出力を遅延回路２６及び時系列変換回路２７を介して予測タツプ選択回路２８に与える。予測タツプ選択回路２８は、図９について上述したように注目画素を中心としてその周辺画素を集めることにより予測タツプデータＤ１３を形成し、これを予測演算回路２９に送出する。
【００２５】
ここで係数ＳＲＡＭ２１には、予め後述するような学習により各クラス毎に求められた予測係数が格納されており、第１及び第２のクラスコードＤ１０及びＤ１２により指定されたアドレスに格納されている予測係数Ｄ１４を出力して予測演算回路２９に与える。予測演算回路２９は予測タツプデータＤ１３及び予測係数Ｄ１４を用いて線型一次結合式を立てることにより、入力画像データＤ１には含まれない新たな画素値（補間画素値）Ｄ１５を求め、これを時系列変換回路３０に与える。時系列変換回路３０は、補間画素値Ｄ１５と入力画像データＤ１をラインスキヤン順に配列して出力する。この結果時系列変換回路３０からは高解像度の出力画像データＤ１６が出力される。
【００２６】
なお図２（Ａ）に示すような２次元のラプラシアンフイルタ係数を実現するためには、ラプラシアンフイルタ１４を、図４に示すように構成すれば良い。すなわちラプラシアンフイルタ１４は入力画像データＤ１をそれぞれ１画素分の遅延時間を有する遅延素子（Ｄ）３１〜３３を介して１ライン分の遅延時間を有するラインデイレイ（Ｌｉｎｅ）３８に送出する。そして各遅延素子３１〜３３の出力をそれぞれ乗算係数が−１に選定された乗算回路３４〜３６を介して積算回路３７に送出する。
【００２７】
ラインデイレイ３８の出力は、それぞれ１画素分の遅延時間を有する遅延素子３９〜４１を介して１ライン分の遅延時間を有するラインデイレイ４５に送出される。そして各遅延素子３９〜４１の出力が、それぞれ乗算係数が−１、８、−１に選定された乗算回路４２、４３、４４を介して積算回路３７に送出される。さらにラインデイレイ４５の出力は、それそれ１画素分の遅延時間を有する遅延素子４６〜４８に順次送出される。そして各遅延素子４６〜４８の出力が、それぞれ乗算係数が−１に選定された乗算回路４９〜５１を介して積算回路３７に送出される。この結果積算回路３７において積算された各乗算回路３４〜３６、４２〜４４、４９〜５１の出力がラプラシアンフイルタ１４の出力として遅延素子５２を介して出力される。
【００２８】
（２）学習及び予測演算
ここで係数ＳＲＡＭ２１には、以下に説明する学習により各クラス毎に予め求められた予測係数が記憶されている。すなわち予測係数を学習するために、先ず既に知られているＨＤ画像に対応した、当該ＨＤ画像よりも画素数の少ないＳＤ画像を形成しておく。そして、ＨＤ画像とＳＤ画像を用いて、クラス毎に最適な予測係数を最小二乗法などの手法により求めて係数ＳＲＡＭ２１に記憶する。
【００２９】
実際上学習は、図５に示すような予測係数作成回路６０によつて実現できる。図１との対応部分に同一符号を付して示す図５において、予測係数作成回路６０はＨＤ画像データを間引きフイルタ６１を介して図１の入力画像データＤ１に対応するＳＤ画像データに変換し、当該ＳＤ画像データを係数算出回路６２、度数分布クラス形成部１１及び時空間クラス生成部１２に送出する。
【００３０】
度数分布クラス生成部１１は、ＳＤ画像データに対して上述したのと同様のクラス分類処理を行うことにより第１のクラスコードＤ１０を生成し、これを係数算出回路６２に送出する。時空間クラス生成部１２も、ＳＤ画像データに対して上述したのと同様のクラス分類処理を行うことにより第２のクラスコードＤ１２を生成し、これを係数算出回路６２に送出する。
【００３１】
係数算出回路６２は、ＳＤ画像データ及びＨＤ画像データを用いて、第１のクラスコードＤ１０と第２のクラスコードＤ１２を組み合わせてなる各クラス毎に、ＨＤ画像データに含まれかつＳＤ画像データに含まれない補間対象画素の画素値とその周辺のＳＤ画像データの画素値との相関関係を学習により求め、この学習結果を予測係数として係数ＳＲＡＭ２１に出力する。この結果係数ＳＲＡＭ２１には、図６に示すように、第１及び第２のクラスコードＤ１０及びＤ１２の組合せでなるアドレス毎に、予測係数組が記憶される。なお図６において、予測係数の（ ）内は第１のクラスと第２のクラスの組合せ番号を表わすものとする。
【００３２】
次に係数算出回路６２における予測係数算出の原理について説明する。係数算出回路６２はＨＤ画像に含まれかつＳＤ画像に含まれない画素を注目画素（補間対象画素）とし、当該注目画素を、当該注目画素周辺のＳＤ画像中の画素と予測係数との線型一次結合式によつて表し、このとき用いた予測係数を各クラス毎に最小二乗法の演算によつて求める。
【００３３】
すなわち、先ずＨＤ画像中の注目画素レベルをｙ、その周辺のＳＤ画像中の画素レベルをｘ1 、ｘ2 、……、ｘi として、次式
【数１】
【００３４】
ここで（１）式における予測係数ｗ1 、ｗ2 、……、ｗi については、画素値ｙの実際の値と予測値との誤差が最小になるものを学習により求めれば良い。学習はクラス毎に複数の学習データに対して行うので、データ数がｊとすると一般的なｊ＞ｉでなる場合には予測係数ｗ1 、ｗ2 、……、ｗi は一意に決定することはできない。そこで、誤差ベクトルｅの要素を、それぞれの学習データｘk1、……、ｘki、ｙk における予測誤差ｅk として、次式
【数２】
【数３】
【００３５】
ここで（３）式のｗi による偏微分係数を求めると、次式
【数４】
【数５】
【数６】
【数７】
【００３６】
ここで（７）式の正規方程式は未知数がｉ個の連立方程式であるから、これにより最確値である各未定係数ｗ1 、……、ｗi を求めることができる。具体的には、一般に（７）式の左辺の行列は正定値対称なので、コレスキー法により解くことができる。かくして、ＨＤ画像を用いた学習によつて、各クラス毎の予測係数組ｗ1 、……、ｗi を求めることができる。
【００３７】
係数算出回路６２は、このようにして求めた各クラス毎の予測係数組ｗ1 、……、ｗi を、係数ＳＲＡＭ２１の各クラスに対応したアドレスに格納する。かくして第１及び第２のクラスコードＤ１０及びＤ１２が入力されたとき、ＳＤ画像中の画素との線型一次結合により補間画素値を得ることができるような予測係数組ｗ1 、……、ｗi を出力する係数ＳＲＡＭ２１を作成することができる。
【００３８】
予測演算回路２９は係数ＳＲＡＭ２１から与えられる予測係数Ｄ１４と予測タツプ選択回路２８から与えられる予測タツプデータＤ１３とを線型一次結合することにより、補間画素値ｙ′を求める。すなわち予測演算回路２９は、予測タツプデータＤ１３でなる画素値ｘ1 、……、ｘi と予測係数Ｄ１４でなる係数組ｗ1 、……、ｗi とを用いて、補間画素値ｙ′を、次式
【数８】
【００３９】
（３）実施例の動作
以上の構成において、画像信号変換装置１０は、度数分布クラス生成部１１において、入力画像データＤ１に対してラプラシアンフイルタ処理を施し、ラプラシアンフイルタ後の画像における画素レベルの度数分布表を作成し、その度数分布に基づいて第１のクラスコードＤ１０を形成する。このようにして度数分布クラス生成部１１では、入力画像データＤ１のエツジ等の特徴を反映した第１のクラスコードＤ１０が形成される。
【００４０】
また画像信号変換装置１０は、時空間クラス生成部１２において、従来のクラス分類と同様の手法を用いて、入力画像データＤ１に基づいて第２のクラスコードＤ１２を形成する。このようにして時空間クラス生成部１２では、入力画像データＤ１の時空間でのレベル分布パターンを反映した第２のクラスコードＤ１２が形成される。
【００４１】
画像信号変換装置１０は、第１のクラスコードＤ１０をクラス分類のための第１の指標として使用すると共に第２のクラスコードＤ１２を第２の指標として使用し、第１の指標と第２の指標を組み合わせて、総合的なクラス分類指標とする。そして、画像信号変換装置１０は、適応処理部１３において、第１及び第２のクラスコードＤ１０及びＤ１２を組み合わせてなるクラスコードを使つて、係数ＳＲＡＭ２１に予め学習により各クラス毎に求められて格納された予測係数のうちクラスコードに応じた予測係数Ｄ１４を出力させる。
【００４２】
画像信号変換装置１０は、出力された予測係数Ｄ１４と予測タツプデータＤ１３を用いて入力画像データＤ１に含まれない画素値を生成する。このように画像信号変換装置１０においては、従来のクラス分類処理による第２のクラスコードＤ１２に組み合わせて第１のクラスコードＤ１０を用いるようにしたことにより、クラス分類精度を格段的に向上し得、この結果最終的に高解像度の出力画像データＤ１５を得ることができる。
【００４３】
（４）実施例の効果
以上の構成によれば、ラプラシアンフイルタ後の画像における画素レベルの度数分布状態を検出し、当該検出結果に基づいてその画像が属するクラスを決定することにより第１のクラスコードＤ１０を形成すると共に、入力画像データＤ１の時空間でのレベル分布パターンに応じてその画像が属するクラスを決定することにより第２のクラスコードＤ１２を形成し、当該第１及び第２のクラスコードＤ１０及びＤ１２を組み合わせたクラスを最終的なクラスとしたことにより、入力画像の特徴を反映したより正確なクラス分類を実現でき、この結果最終的に高解像度の出力画像データＤ１６を得ることができる。
【００４４】
（５）他の実施例
なお上述の実施例においては、第１及び第２のクラスコードＤ１０及びＤ１２を組み合わせたクラスを最終的な入力画像データＤ１のクラスとするようにした場合について述べたが、本発明はこれに限らず、第１のクラスコードＤ１０のみを用いて入力画像データＤ１のクラスを表現するようにしても良く、この場合でもエツジ等の入力画像データＤ１の特徴を反映したクラスを生成できることにより上述の実施例に近い効果を得ることができる。この場合には、図１における時空間クラス生成部１２を省略すると共に、係数ＳＲＡＭ２１に第１のクラスコードＤ１０にのみ対応する予測係数を記憶するようにすれば良い。
【００４５】
また上述の実施例においては、予測係数記憶手段として係数ＳＲＡＭ２１を用いた場合について述べたが、これに代えてＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）等を用いるようにしても良い。
【００４６】
また上述の実施例においては、第１及び第２のクラスコードＤ１０及びＤ１２に基づくクラスに対応する予測係数を記憶する予測係数記憶手段を設け、クラスに応じて出力される予測係数Ｄ１４を用いて補間画素値Ｄ１５を生成する場合について述べたが、本発明はこれに限らず、予測係数記憶手段に代えて、入力画像データＤ１に含まれない画素値に対応した予測値が第１のクラスコードＤ１０及び第２のクラスコードＤ１２を組み合わせた各クラス毎に記憶され、第１及び第２のクラスコードＤ１０及びＤ１２に応じた予測値を出力する予測値記憶手段を設けるようにしても実施例と同様の効果を得ることができる。またこの場合には図１における遅延回路２６、時系列変換回路２７、予測タツプ選択回路２８及び予測演算回路２９を省略することができる。
【００４７】
この場合の予測値記憶手段に記憶させる予測値を求める第１の方法としては、加重平均を用いた学習方法がある。詳述すれば、補間対象画素の周辺のＳＤ画素を用いてクラス分類を行い、クラス毎に積算した補間対象画素の画素値（ＨＤ画像を用いる）を補間対象の個数によつてインクリメントされた度数によつて割るといつた処理を様々な画像に対して行うことによりクラスに対応した予測値を求める方法である。
【００４８】
また予測値記憶手段に記憶させる予測値を求める第２の方法としては、正規化による学習方法がある。詳述すれば、補間対象画素を含む複数の画素からなるブロツクを形成し、当該ブロツク内のダイナミツクレンジによつて、補間対象画素の画素値からそのブロツクの基準値を減算した値を正規化し、この正規化された値の累積値を累積度数で除した値を予測値とする処理を様々な画像に対して行うことによりクラスに対応した予測値を求める方法である。
【００４９】
また上述の実施例においては、ラプラシアンフイルタ１４の後段に非線型量子化器１５を設けることによりラプラシアンフイルタ処理後の画像の特徴を一段と強調する場合について述べたが、非線型量子化器１５を省略するようにしても良い。
【００５０】
また上述の実施例においては、度数分布作成回路１７によつて度数分布を検出した後、領域分割回路１８によつて度数分布を各領域に分割する場合について述べたが、本発明はこれに限らず、度数分布を検出する際に予め領域毎の境界値を設定しておき、この境界値と各画素レベルを比較しながら度数を積算することで一気に所望の度数分布を検出するようにしても良い。また上述の実施例においては、複数領域に分割した度数分布の各領域毎の度数を正規化する正規化手段としてＡＤＲＣ回路１９を用いた場合について述べたが、正規化手段としてはこの他のものを用いるようにしても良い。
【００５１】
また上述の実施例においては、ＡＤＲＣ回路２５によつてクラスタツプデータＤ１１を圧縮して第２のクラスコードＤ１２を形成する場合について述べたが、ＡＤＲＣ回路２５に代えて例えばＤＣＴ（Discrete Cosine Transform ）符号化、ＤＰＣＭ（差分符号化）、ベクトル量子化、サブバンド符号化やウエーブレツト変換等の圧縮手法を用いるようにしても良い。
【００５２】
また上述の実施例においては、ラプラシアンフイルタ１４によつて入力画像信号の特徴量を抽出した場合について述べたが、本発明はこれに限らず、例えば時間差分や動き補償後の残差を計算することにより入力画像信号の特徴量を抽出し、この特徴量に対して統計処理を施すことで第１のクラスを求めるようにしても良い。
【００５３】
また上述の実施例においては、本発明を、解像度の低い入力画像信号を解像度の高い出力画像信号に変換する画像信号変換装置１０に適用した場合について述べたが、本発明はこれに限らず、図７に示すような時空間モデル符号化方式を採用した画像信号伝送装置７０に適用することもできる。
【００５４】
図１との対応部分に同一符号を付して示す図７において、画像信号伝送装置７０は送信手段でなるエンコーダ７１から低解像度の画像信号と共に予測係数を伝送路１００を介して受信手段でなるデコーダ７２に伝送する。デコーダ７２は伝送された低解像度の画像信号と予測係数を用いて高解像度の画像信号を復元する。
【００５５】
ここでエンコーダ７１はＨＤ画像データＤ２０をサンプリング回路７３を通すことによりＳＤ画像データＤ２１を形成し、当該ＳＤ画像データを圧縮エンコーダ７４によつて圧縮符号化することにより圧縮符号化データＤ２２を形成し、これを遅延回路７５を介して出力端子Ｔ１に与える。またＳＤ画像データＤ２１はローカルデコーダ７６によつて一旦復号され、係数選定部７７、度数クラス分布生成部１１及び時空間クラス生成部１２にそれぞれ送出される。度数クラス分布生成部１１及び時空間クラス生成部１２では、実施例において上述したようなクラス分類を行うことにより第１及び第２のクラスコードＤ１０及びＤ１２を生成し、これを係数選定部７７に送出する。係数選定部７７は第１及び第２のクラスコードＤ１０及びＤ１２を組み合わせたクラス毎に、ＳＤ画像データＤ２１とＨＤ画像データＤ２０の相関関係を表わす予測係数Ｄ２４を算出し、これを出力端子Ｔ２に与える。
【００５６】
デコーダ７２は入力端子Ｔ３に圧縮符号化データＤ２２を受けると、これを圧縮デコーダ７８によつて復号し、これにより得た復号画像データＤ２５を度数分布クラス生成部１１、時空間クラス生成部１２及び時系列変換回路７９に送出する。度数分布クラス生成部１１及び時空間クラス生成部１２で生成された第１及び第２のクラスコードＤ１０及びＤ１２は予測演算部８０に送出される。また予測演算部８０には、入力端子Ｔ４を介して予測係数Ｄ２４が入力されると共に復号画像データＤ２５が入力される。そして予測演算部８０は、第１及び第２のクラスコードＤ１０及びＤ１２を組み合わせたクラスに対応した予測係数Ｄ２４を選択し、当該予測係数Ｄ２４と復号画像データＤ２５とを用いた予測演算を行うことより復号画像データＤ２５には含まれない補間画素データＤ２６を算出し、これを時系列変換回路７９に送出する。時系列変換回路７９は入力した復号画像データＤ２５と補間画素データＤ２６をラインスキヤン順に時系列変換して出力する。
かくしてクラス分類手段として従来のように時空間クラス生成部１２のみを用いた場合と比較して、復号画像データＤ２５から一段と高解像度のＨＤ画像データＤ２７を得ることができる画像信号伝送装置７０を実現できる。
【００５７】
【発明の効果】
上述のように本発明によれば、入力される第１の画像信号を、当該第１の画像信号の解像度よりも高い解像度でなる第２の画像信号に変換する画像信号変換方法であつて、第１の画像信号に対してラプラシアンフイルタ処理を施し、当該処理後の画像を、第２の画像信号の注目画素を中心とした所定の大きさのブロツクに分割し、分割されたブロツクにおける画素レベルの度数分布を検出し、検出された度数分布の形状を判断し、判断された度数分布の形状に応じて、注目画素が属するクラスを決定し、クラスごとにそれぞれ求められた各予測係数のうち、当該決定されたクラスに対応する予測係数と、注目画素の周辺における第１の画像信号の画素とに基づく積和演算により注目画素を生成するようにした。これによりラプラシアンフイルタ処理によつて画像におけるエツジ等の特徴成分を強調した後の画像における所定ブロツクごとの度数分布の形状からその画像の特徴を判断し、当該画像が属するクラスを決定することができるため、その画像の特徴を十分に反映したクラスを生成でき、かくして低解像度の画像信号から一段と高解像度の画像信号を生成し得る画像信号変換方法及び画像信号変換装置を実現できる。
また上述のように本発明によれば、入力される第１の画像信号を、当該第１の画像信号の解像度よりも高い解像度でなる第２の画像信号に変換する画像信号変換方法であつて、第１の画像信号に対してラプラシアンフイルタ処理を施し、当該処理後の画像を、第２の画像信号の注目画素を中心とした所定の大きさのブロツクに分割し、分割されたブロツクにおける画素レベルの度数分布を検出し、当該度数分布の形状に応じて注目画素が属する第１のクラスを決定する。また注目画素の周辺における第１の画像信号の画素に基づいて、注目画素が属する第２のクラスを決定する。そして、クラスごとにそれぞれ求められた各予測係数のうち、クラス決定ステツプで決定された第１及び第２のクラスを組み合わせたクラスに対応する予測係数と、注目画素の周辺における第１の画像信号の画素とに基づく積和演算により注目画素を生成するようにした。これによりラプラシアンフイルタ処理によつて画像におけるエツジ等の特徴成分を強調した後の画像における所定ブロツクごとの度数分布の形状からその画像の特徴を判断し、当該画像が属する第１のクラスを決定すると共に、ラプラシアンフイルタ処理前の元の画像に応じた第２のクラスを決定し、これら第１及び第２のクラスを組み合わせたクラスを決定することができるため、元の画像（入力画像信号）の特徴を一段と正確に表現したクラスを生成することができ、かくして低解像度の画像信号から一段と高解像度の画像信号を生成し得る画像信号変換方法及び画像信号変換装置を実現できる。
【図面の簡単な説明】
【図１】本発明による画像信号変換装置の一実施例の構成を示すブロツク図である。
【図２】ラプラシアンフイルタの係数の例を示す略線図である。
【図３】度数分布クラス生成部の動作の説明に供する略線図である。
【図４】ラプラシアンフイルタの構成例を示すブロツク図である。
【図５】係数ＳＲＡＭ作成用の学習回路の構成を示すブロツク図である。
【図６】係数ＳＲＡＭの内容を示す略線図である。
【図７】本発明による画像信号変換方法を適用した画像信号伝送装置の構成を示すブロツク図である。
【図８】クラス分類適応処理を用いた従来の信号変換装置の構成を示すブロツク図である。
【図９】クラスタツプパターン及び予測タツプパターンの説明に供する略線図である。
【符号の説明】
１０……画像信号変換装置、１１……度数分布クラス生成部、１２……時空間クラス生成部、１３……適応処理部、１４……ラプラシアンフイルタ、１７……度数分布作成回路、１８……領域分割回路、２１……係数ＳＲＡＭ、２９……予測演算回路、６０……予測係数作成回路、７０……画像信号伝送装置、Ｄ１……入力画像データ、Ｄ１０……第１のクラスコード、Ｄ１１……クラスタツプデータ、Ｄ１２……第２のクラスコード、Ｄ１３……予測タツプデータ、Ｄ１４……予測係数、Ｄ１５……補間画素データ、Ｄ１６……出力画像データ。
Claims (26)
- 入力される第１の画像信号を、当該第１の画像信号の解像度よりも高い解像度でなる第２の画像信号に変換する画像信号変換方法であつて、
上記第１の画像信号に対してラプラシアンフイルタ処理を施すラプラシアンフイルタ処理ステツプと、
上記ラプラシアンフイルタ処理後の画像を、上記第２の画像信号の注目画素を中心とした所定の大きさのブロツクに分割する分割ステツプと、
分割されたブロツクにおける画素レベルの度数分布を検出する分布検出ステツプと、
検出された度数分布の形状を判断する分布形状判断ステツプと、
判断された度数分布の形状に応じて、上記注目画素が属するクラスを決定するクラス決定ステツプと、
クラスごとにそれぞれ求められた各予測係数のうち、上記クラス決定ステツプで決定されたクラスに対応する予測係数と、上記注目画素の周辺における上記第１の画像信号の画素とに基づく積和演算により上記注目画素を生成する注目画素生成ステツプと
を具えることを特徴とする画像信号変換方法。 - 上記分布検出ステツプでは、
分割されたブロツクにおける画素レベルの度数分布をレベル方向への複数の領域に分割すると共に、当該各領域の度数を正規化し、
上記クラス決定ステツプでは、
正規化された度数分布の形状を判断する
ことを特徴とする請求項１に記載の画像信号変換方法。 - 上記分布検出ステツプでは、上記各領域の度数を正規化する際、
上記各領域で度数を足し合せた後、複数領域の度数の最大値及び最小値を検出し、当該最大値及び最小値の差分であるダイナミツクレンジによつて上記各領域の度数をｎビツトで量子化する
ことを特徴とする請求項２に記載の画像信号変換方法。 - 上記注目画素生成ステツプでは、
上記積和演算に代わつて、クラスごとに求められた各予測値のうち、上記クラス決定ステツプで決定されたクラスに対応する予測値を選択することにより、上記注目画素を生成する
ことを特徴とする請求項１に記載の画像信号変換方法。 - 入力される第１の画像信号を、当該第１の画像信号の解像度よりも高い解像度でなる第２の画像信号に変換する画像信号変換方法であつて、
上記第１の画像信号に対してラプラシアンフイルタ処理を施すラプラシアンフイルタ処理ステツプと、
上記ラプラシアンフイルタ処理後の画像を、上記第２の画像信号の注目画素を中心とした所定の大きさのブロツクに分割する分割ステツプと、
分割されたブロツクにおける画素レベルの度数分布を検出し、当該度数分布の形状に応じて上記注目画素が属する第１のクラスを決定する第１のクラス決定ステツプと、
上記注目画素の周辺における上記第１の画像信号の画素に基づいて、上記注目画素が属する第２のクラスを決定する第２のクラス決定ステツプと、
クラスごとにそれぞれ求められた各予測係数のうち、上記クラス決定ステツプで決定された第１及び第２のクラスを組み合わせたクラスに対応する予測係数と、上記注目画素の周辺における上記第１の画像信号の画素とに基づく積和演算により上記注目画素を生成する注目画素生成ステツプと
を具えることを特徴とする画像信号変換方法。 - 上記第１のクラス決定ステツプでは、
分割されたブロツクにおける画素レベルの度数分布をレベル方向への複数の領域に分割すると共に、当該各領域の度数を正規化し、当該正規化された度数分布の形状に応じて上記第１のクラスを決定する
ことを特徴とする請求項５に記載の画像信号変換方法。 - 上記第１のクラス決定ステツプでは、上記各領域の度数を正規化する際、
上記各領域で度数を足し合せた後、複数領域の度数の最大値及び最小値を検出し、当該最大値及び最小値の差分であるダイナミツクレンジによつて上記各領域の度数をｎビツトで量子化する
ことを特徴とする請求項６に記載の画像信号変換方法。 - 上記注目画素生成ステツプでは、
上記積和演算に代わつて、クラスごとに求められた各予測値のうち、上記第１及び第２のクラスを組み合わせたクラスに対応する予測値を選択することにより、上記注目画素を生成する
ことを特徴とする請求項５に記載の画像信号変換方法。 - 入力される第１の画像信号を、当該第１の画像信号の解像度よりも高い解像度でなる第２の画像信号に変換する画像信号変換装置であつて、
上記第１の画像信号に対してラプラシアンフイルタ処理を施すラプラシアンフイルタと、
上記ラプラシアンフイルタ処理後の画像を、上記第２の画像信号の注目画素を中心とした所定の大きさのブロツクに分割する分割手段と、
上記分割手段により分割されたブロツクにおける画素レベルの度数分布を検出する分布検出手段と、
上記分布検出手段により検出された度数分布の形状に応じて、上記注目画素が属するクラスを決定するクラス決定手段と、
上記第１の画像信号から上記注目画素を推定するための予測係数がクラスごとに記憶され、上記クラス決定手段により決定されたクラスに対応する予測係数を出力する予測係数記憶手段と、
上記予測係数記憶手段から出力された予測係数と、上記注目画素の周辺における上記第１の画像信号の画素とに基づく積和演算により上記注目画素を生成する注目画素生成手段と
を具えることを特徴とする画像信号変換装置。 - 上記クラス決定手段は、
上記分割手段により分割されたブロツクにおける画素レベルの度数分布をレベル方向への複数の領域に分割すると共に、当該各領域の度数を正規化し、当該正規化した度数分布の形状に応じて上記クラスを決定する
ことを特徴とする請求項９に記載の画像信号変換装置。 - 上記クラス決定手段は、
上記各領域で度数を足し合せた後、複数領域の度数の最大値及び最小値を検出し、当該最大値及び最小値の差分であるダイナミツクレンジによつて上記各領域の度数をｎビツトで量子化する
ことを特徴とする請求項１０に記載の画像信号変換装置。 - 上記予測係数記憶手段は、
クラスごとの予測係数に代わつて、上記注目画素を表す各予測値がクラスごとに記憶され、上記クラス決定手段により決定されたクラスに対応する予測値を出力する
ことを特徴とする請求項９に記載の画像信号変換装置。 - 入力される第１の画像信号を、当該第１の画像信号の解像度よりも高い解像度でなる第２の画像信号に変換する画像信号変換装置であつて、
上記第１の画像信号に対してラプラシアンフイルタ処理を施すラプラシアンフイルタと、
上記ラプラシアンフイルタ処理後の画像を、上記第２の画像信号の注目画素を中心とした所定の大きさのブロツクに分割する分割手段と、
分割されたブロツクにおける画素レベルの度数分布を検出し、当該度数分布検出結果に基づいて上記注目画素が属する第１のクラスを決定する第１のクラス決定手段と、
上記注目画素の周辺における上記第１の画像信号の画素に基づいて、上記注目画素が属する第２のクラスを決定する第２のクラス決定手段と、
上記第１の画像信号から上記注目画素を推定するための予測係数がクラスごとに記憶され、上記第１のクラス決定手段により決定された第１のクラスと上記第２のクラス決定手段により決定された第２のクラスとを組み合わせたクラスに対応する予測係数を出力する予測係数記憶手段と、
上記予測係数記憶手段から出力された予測係数と、上記注目画素の周辺における上記第１の画像信号の画素とに基づく積和演算により上記注目画素を生成する注目画素生成手段と
を具え、
上記第１のクラス決定手段は、
上記度数分布を画素レベル方向の複数の領域ごとに正規化し、当該正規化した度数分布の形状に応じて上記第１のクラスを決定する
ことを特徴とする画像信号変換装置。 - 上記第２のクラス決定手段は、
上記注目画素の周辺の上記第１の画像信号における画素の時空間のレベル分布のパターンに応じて、上記注目画素が属する第２のクラスを決定する
ことを特徴とする請求項１３に記載の画像信号変換装置。 - 上記第１のクラス決定手段は、
上記度数分布をレベル方向への複数の領域に分割し、当該各領域の度数を正規化する
ことを特徴とする請求項１３に記載の画像信号変換装置。 - 上記第１のクラス決定手段は、
上記各領域で度数を足し合せた後、複数領域の度数の最大値及び最小値を検出し、当該最大値及び最小値の差分であるダイナミツクレンジによつて上記各領域の度数をｎビツトで量子化する
ことを特徴とする請求項１３に記載の画像信号変換装置。 - 上記予測係数記憶手段は、
クラスごとの予測係数に代わつて、上記注目画素を表す各予測値がクラスごとに記憶され、上記第１のクラス決定手段により決定された第１のクラスと上記第２のクラス決定手段により決定された第２のクラスとを組み合わせたクラスに対応する予測値を出力する
ことを特徴とする請求項１３に記載の画像信号変換装置。 - 解像度の高い画像信号をサブサンプルすることにより形成した解像度の低いサブサンプル画像信号と、上記サブサンプル画像信号から上記サブサンプル画像信号に含まれない注目画素を推定するために、所定のクラス決定手段によつて決定された上記サブサンプル画像信号の各クラスに対応して求めた予測係数とを送信する送信手段と、
上記サブサンプル画像信号及び上記予測係数を受信し、当該予測係数と、上記注目画素の周辺における上記サブサンプル画像信号の画素とに基づく積和演算により上記注目画素を生成して上記サンプリング画像信号よりも解像度の高い画像信号を復元する受信手段とを有する画像信号伝送装置において、
上記クラス決定手段は、
上記サブサンプル画像信号に対してラプラシアンフイルタ処理を施すラプラシアンフイルタと、
上記ラプラシアンフイルタ処理後の画像を、上記画像信号の注目画素を中心とした所定の大きさのブロツクに分割する分割手段と、
上記分割手段により検出されたブロツクにおける画素レベルの度数分布を検出する度数分布検出手段と
を具え、
上記分布検出手段により検出された上記度数分布の形状の形状に応じて、上記注目画素が属するクラスを決定する
ことを特徴とする画像信号伝送装置。 - 上記分布検出手段は、
上記分割手段により分割されたブロツクにおける画素レベルの度数分布をレベル方向への複数の領域に分割すると共に、当該各領域の度数を正規化し、当該正規化した度数分布の形状に応じて上記クラスを決定する
ことを特徴とする請求項１８に記載の画像信号伝送装置。 - 上記分布検出手段は、
上記各領域で度数を足し合せた後、複数領域の度数の最大値及び最小値を検出し、当該最大値及び最小値の差分であるダイナミツクレンジによつて上記各領域の度数をｎビツトで量子化する
ことを特徴とする請求項１８に記載の画像信号伝送装置。 - 解像度の高い画像信号をサブサンプルすることにより形成した解像度の低いサブサンプル画像信号と、上記サブサンプル画像信号から上記サブサンプル画像信号に含まれない注目画素を推定するために、所定のクラス決定手段によつて決定された上記サブサンプル画像信号の各クラスに対応して求めた予測係数とを送信する送信手段と、
上記サブサンプル画像信号及び上記予測係数を受信し、当該予測係数と、上記注目画素の周辺における上記サブサンプル画像信号の画素とに基づく積和演算により上記注目画素を生成して上記サンプリング画像信号よりも解像度の高い画像信号を復元する受信手段とを有する画像信号伝送装置において、
上記クラス決定手段は、
上記サブサンプル画像信号に対してラプラシアンフイルタ処理を施すラプラシアンフイルタと、
上記ラプラシアンフイルタ処理後の画像を、上記画像信号の注目画素を中心とした所定の大きさのブロツクに分割する分割手段と、
上記分割手段により検出されたブロツクにおける画素レベルの度数分布を検出し、当該度数分布の形状に応じて、上記注目画素が属する第１のクラスを決定する第１のクラス決定手段と、
上記サブサンプル画像信号に基づいて上記注目画素が属する第２のクラスを決定する第２のクラス決定手段と
を具え、
上記第１のクラスと上記第２のクラスとの組み合わせが、上記注目画素を推定するためのクラスとされた
ことを特徴とする画像信号伝送装置。 - 上記第２のクラス決定手段は、
上記注目画素の周辺の上記サブサンプル信号における画素の時空間のレベル分布のパターンに応じて、上記注目画素が属する第２のクラスを決定する
ことを特徴とする請求項２１に記載の画像信号変換装置。 - 上記第１のクラス決定手段は、
上記分割手段により分割されたブロツクにおける画素レベルの度数分布をレベル方向への複数の領域に分割すると共に、当該各領域の度数を正規化し、当該正規化した度数分布の形状に応じて上記第１のクラスを決定する
ことを特徴とする請求項２１に記載の画像信号伝送装置。 - 上記第１のクラス決定手段は、
上記各領域で度数を足し合せた後、複数領域の度数の最大値及び最小値を検出し、当該最大値及び最小値の差分であるダイナミツクレンジによつて上記各領域の度数をｎビツトで量子化する
ことを特徴とする請求項２３に記載の画像信号伝送装置。 - 入力される第１の画像信号を、当該第１の画像信号の解像度よりも高い解像度でなる第２の画像信号に変換する画像信号変換方法であつて、
上記第１の画像信号における特徴量を抽出する抽出ステツプと、
抽出された特徴量を、上記第２の画像信号の注目画素を中心とした所定の大きさのブロツクに分割する分割ステツプと、
分割されたブロツクにおける上記特徴量に統計処理を施し、当該統計処理結果の分布を検出する分布検出ステツプと、
検出された統計処理結果の分布の形状を判断する分布形状判断ステツプと、
判断された度数分布の形状に応じて、上記注目画素が属するクラスを決定するクラス決定ステツプと、
クラスごとにそれぞれ求められた各予測係数のうち、上記クラス決定ステツプで決定されたクラスに対応する予測係数と、上記注目画素の周辺における上記第１の画像信号の画素とに基づく積和演算により上記注目画素を生成する注目画素生成ステツプと
を具えることを特徴とする画像信号変換方法。 - 入力される第１の画像信号を、当該第１の画像信号の解像度よりも高い解像度でなる第２の画像信号に変換する画像信号変換装置であつて、
上記第１の画像信号における特徴量を抽出する抽出手段と、
抽出された特徴量を、上記第２の画像信号の注目画素を中心とした所定の大きさのブロツクに分割する分割手段と、
分割されたブロツクにおける上記特徴量に統計処理を施し、当該統計処理結果の分布を検出する分布検出手段と、
検出された統計処理結果の分布の形状を判断する分布形状判断手段と、
判断された度数分布の形状に応じて、上記注目画素が属するクラスを決定するクラス決定手段と、
クラスごとにそれぞれ求められた各予測係数のうち、上記クラス決定手段で決定されたクラスに対応する予測係数と、上記注目画素の周辺における上記第１の画像信号の画素とに基づく積和演算により上記注目画素を生成する注目画素生成手段と
を具えることを特徴とする画像信号変換装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10069395A JP3824176B2 (ja) | 1995-03-31 | 1995-03-31 | 画像信号変換方法、画像信号変換装置及び画像信号伝送装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10069395A JP3824176B2 (ja) | 1995-03-31 | 1995-03-31 | 画像信号変換方法、画像信号変換装置及び画像信号伝送装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08275120A JPH08275120A (ja) | 1996-10-18 |
| JP3824176B2 true JP3824176B2 (ja) | 2006-09-20 |
Family
ID=14280815
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10069395A Expired - Lifetime JP3824176B2 (ja) | 1995-03-31 | 1995-03-31 | 画像信号変換方法、画像信号変換装置及び画像信号伝送装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3824176B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4645869B2 (ja) * | 2000-08-02 | 2011-03-09 | ソニー株式会社 | ディジタル信号処理方法、学習方法及びそれらの装置並びにプログラム格納媒体 |
-
1995
- 1995-03-31 JP JP10069395A patent/JP3824176B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH08275120A (ja) | 1996-10-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5940132A (en) | Image signal converting apparatus | |
| RU2612611C2 (ru) | Способ и устройство для выполнения интерполяции на основе преобразования и обратного преобразования | |
| JP3669530B2 (ja) | 画像信号変換装置及び画像信号変換方法 | |
| JP3794505B2 (ja) | 信号変換装置及び信号変換方法 | |
| JPH09212650A (ja) | 動きベクトル検出装置および検出方法 | |
| JP3864400B2 (ja) | 画像処理装置および画像処理方法 | |
| Kountchev et al. | Inverse pyramidal decomposition with multiple DCT | |
| JP3271101B2 (ja) | ディジタル画像信号処理装置および処理方法 | |
| JP3859089B2 (ja) | 信号変換装置及び信号変換方法 | |
| JP3824176B2 (ja) | 画像信号変換方法、画像信号変換装置及び画像信号伝送装置 | |
| CN1078795C (zh) | 用在图象编码系统中的改进的运动补偿方法 | |
| JP3759538B2 (ja) | 画像信号処理方法及び画像信号伝送装置 | |
| JP3326879B2 (ja) | 画像信号変換装置 | |
| JP2004135254A (ja) | 画像処理装置 | |
| JP4164912B2 (ja) | 信号処理装置及び信号処理方法 | |
| JP4337186B2 (ja) | 画像情報変換装置および画像情報変換方法、学習装置および学習方法 | |
| JPH1169147A (ja) | 直交変換符号化画像の画像サイズ変換方法 | |
| JPH10112844A (ja) | 画像処理装置および画像処理方法 | |
| JP4016138B2 (ja) | 画像信号変換装置及び画像信号変換方法 | |
| JP3814850B2 (ja) | 信号変換装置および方法 | |
| Biadgie | Near-lossless image compression using an improved edge adaptive hierarchical interpolation | |
| JP3856244B2 (ja) | 信号変換装置及び信号変換方法 | |
| JPH08275118A (ja) | 信号変換装置及び信号変換方法 | |
| JP4016140B2 (ja) | 係数生成装置及び係数生成方法 | |
| JP3420389B2 (ja) | 画像符号化方法及びその装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041119 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041203 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050201 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050826 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051025 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060609 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060622 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090707 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100707 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100707 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110707 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110707 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120707 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120707 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130707 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |