JP4099554B2 - 画像情報変換装置および画像情報変換方法 - Google Patents
画像情報変換装置および画像情報変換方法 Download PDFInfo
- Publication number
- JP4099554B2 JP4099554B2 JP25157998A JP25157998A JP4099554B2 JP 4099554 B2 JP4099554 B2 JP 4099554B2 JP 25157998 A JP25157998 A JP 25157998A JP 25157998 A JP25157998 A JP 25157998A JP 4099554 B2 JP4099554 B2 JP 4099554B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel data
- image signal
- class
- output
- code
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、入力画像信号からより高い解像度を有する画像信号を生成する機能を有する画像情報変換装置および画像情報変換方法に関する。
【０００２】
【従来の技術】
入力画像信号よりも解像度の高い画像信号を得る等の目的で、入力画像信号とは走査線構造が異なる出力画像信号を形成する画像情報変換処理が行われる。画像情報変換処理として、入力画像信号の信号レベルの３次元（時空間）分布に応じてクラス分割を行い、それによって得られるクラス値を参照して出力画像信号上の画素の予測生成を行う、クラス分類適応処理が提案されている。
【０００３】
クラス分類適応処理において、出力画像信号上の画素の予測生成は、クラス毎に所定の演算によって決定される予測係数と、入力画像信号からクラス値に関連して選択される画素との線型一次結合を算出する等の演算を行うことによってなされる。従って、かかる演算に使用される画素を適切に選択する必要がある。
【０００４】
このために、従来は、選択され得る全ての画素を入力画像信号から切り出し、切り出した画素の全てを選択されるべき画素数に等しい個数のセレクタに供給し、各セレクタによって１個ずつの画素を出力する構成が使用されていた。または、選択され得る全ての画素を対象として、選択されるべき画素を検出する処理を行うソフトウエアが使用されていた。
【０００５】
この発明の一実施形態についての説明に先立ち、その前提となる画像情報変換処理について以下に説明する。かかる処理は、入力画像信号である、標準解像度のディジタル画像信号（以下、入力ＳＤ信号と表記する）を高解像度の出力画像信号（ＨＤ信号と称されることがある）に変換するものである。この際の入力ＳＤ信号としては、例えばライン数が５２５本でインターレス方式の画像信号（以下、５２５ｉ信号と表記する）等が用いられる。また、出力画像信号としては、ライン数が５２５本でプログレッシブ方式の画像信号（以下、５２５ｐ信号と表記する）、ライン数が１０５０本でインターレス方式の画像信号（以下、１０５０ｉ信号と表記する）等が用いられる。
【０００６】
かかる画像情報変換処理においては、本願出願人の提案に係るクラス分類適応処理によって解像度を高めようとしている。クラス分類適応処理は、従来の補間処理によって高解像度信号を形成するものとは異なる。すなわち、クラス分類適応処理は、入力ＳＤ信号の信号レベルの３次元（時空間）分布に応じてクラス分割を行い、クラス毎に予め学習によって獲得された予測係数値を所定の記憶部に格納し、予測式に基づいた演算によって最適な推定値を出力する処理である。クラス分類適応処理によって、入力ＳＤ信号の解像度以上の解像度を得ることが可能となる。
【０００７】
上述したような画像情報変換処理を行うための一般的な構成の一例を図１に示す。以下の説明は、入力ＳＤ信号としての５２５ｉ信号を出力画像信号としての５２５ｐ信号に変換する処理系を例として行う。但し、他の画像信号形式を有する入力ＳＤ信号／出力画像信号間の画像情報変換処理も、同様な構成によって行うことができる。入力ＳＤ信号がタップ選択回路１、６、７に供給される。
【０００８】
タップ選択回路１は、入力ＳＤ信号から複数の画素が含まれる領域を切り出し、切り出した領域から推定予測演算回路４によってなされる演算処理に使用されるＳＤ画素（以下、予測タップと表記する）を後述するようにして選択する。そして、選択した予測タップを推定予測演算回路４に供給する。なお、予測精度を向上させるために、予測タップの選択は、クラスコードに含まれる予測タップ位置情報を参照してなされる。
【０００９】
また、推定予測演算回路４には、後述する係数メモリ１１から演算処理に使用される予測係数データが供給される。供給される予測係数データには、ｙ１，ｙ２の予測生成に使用される２種類がある。推定予測演算回路４、５は、タップ選択回路１から供給される予測タップ、および係数メモリ１１から供給される予測係数に基づいて、以下の式（１）に 従って画素値ｙを順次予測生成する。
【００１０】
ｙ＝ｗ 1 ×ｘ 1 ＋ｗ 2 ×ｘ 2 ＋‥‥＋ｗ n ×ｘ n （１）
ここで、ｘ 1 ，‥‥，ｘ n が各予測タップであり、ｗ 1 ，‥‥，ｗ n が各予測係数である。すなわち、式（１）は、ｎ個の予測タップを用いて画素値ｙを予測生成するための式である。画素値ｙの列として、出力画像信号内の２種類のラインデータｙ１、ｙ２（これらについては後述する）が予測生成される。
【００１１】
推定予測演算回路４は、ラインデータｙ１、ｙ２を線順序変換回路５に供給する。線順序変換回路５は、供給されるラインデータｙ１、ｙ２にライン倍速処理を施し、高解像度信号を生成する。この高解像度信号が最終的な出力画像信号とされる。図示しないが、出力画像信号がＣＲＴディスプレイに供給される。ＣＲＴディスプレイは、例えば５２５ｐ信号等の出力画像信号を表示することが可能であるように、その同期系が構成されている。また、入力ＳＤ信号としては、放送信号、またはＶＴＲ等の再生装置の再生信号が供給される。すなわち、この画像情報変換処理系の一例をテレビジョン受像機等に内蔵することができる。
【００１２】
一方、タップ選択回路６は、入力ＳＤ信号から空間クラスを検出するために必要なＳＤ画素（以下、空間クラスタップと表記する）を選択する。タップ選択回路６の出力が空間クラス検出回路８に供給される。また、タップ選択回路７は、入力ＳＤ信号から動きクラスを検出するために必要なＳＤ画素（以下、動きクラスタップと表記する）を選択する。タップ選択回路７の出力が動きクラス検出回路９に供給される。空間クラス検出回路８は、供給される空間クラスタップに基づいて空間クラスコードを検出し、検出した空間クラスコードをクラス合成回路１０に供給する。また、動きクラス検出回路９は、供給される動きクラスタップに基づいて動きクラスコードを検出し、検出した空間クラスコードをクラス合成回路１０に供給する。
【００１３】
クラス合成回路１０は、空間クラスコードと動きクラスコードとを合成し、合成されたクラスコードを係数メモリ１１に供給する。係数メモリ１１は、後述する学習によって予め決められた予測係数を記憶している。そして、クラス合成回路１０から供給される、合成されたクラスコードによって指定される予測係数データを、推定予測演算回路４に対して出力する。このような出力を行うためには、合成されたクラス情報によって指定されるアドレスに沿って、係数メモリ１１に予測係数データを記憶しておく等の方法を用いれば良い。
【００１４】
ここで、空間クラス検出についてより詳細に説明する。一般に、空間クラス検出回路は、空間クラスタップのレベル分布のパターンに基づいて画像データのレベル分布の空間的パターンを検出し、検出した空間的パターンに基づいて空間クラスコードを生成する。この場合、クラス数が膨大になることを防ぐために、各画素について８ビットの入力画素データをより少ないビット数のデータに圧縮するような処理を行う。このような情報圧縮処理の一例として、ＡＤＲＣ (AdaptiveDynamicRangeCoding) を用いることができる。また、情報圧縮処理として、ＤＰＣＭ（予測符号化）、ＶＱ（ベクトル量子化）等を用いることもできる。
【００１５】
ＡＤＲＣは、本来、ＶＴＲ (VideoTapeRecoder) 向け高能率符号化用に開発された適応的再量子化法であるが、信号レベルの局所的なパターンを短い語長で効率的に表現できるので、この一形態では、ＡＤＲＣを空間クラス分類のコード発生に使用している。ＡＤＲＣは、空間クラスタップのダイナミックレンジをＤＲ，ビット割当をｎ，空間クラスタップの画素のデータレベルをＬ，再量子化コードをＱとして、以下の式（２）により、最大値ＭＡＸと最小値ＭＩＮとの間を指定されたビット長で均等に分割して再量子化を行う。
【００１６】
ＤＲ＝ＭＡＸ−ＭＩＮ＋１
Ｑ＝｛（Ｌ−ＭＩＮ＋０．５）×２／ＤＲ｝ （２）
但し、｛ ｝は切り捨て処理を意味する。
【００１７】
次に、動きクラス検出についてより詳細に説明する。動きクラス検出回路２１は、供給される動きクラスタップに基づいて、以下の式（３）に従ってフレーム間差分絶対値の平均値ｐａｒａｍを計算する。そして、計算したｐａｒａｍの値に基づいて、動きクラスコードを検出する。
【００１８】
【数１】
【００１９】
式（３）においてｎは動きクラスタップ数であり、例えばｎ＝６と設定することができる。そして、ｐａｒａｍの値と、予め設定されたしきい値とを比較することによって動きの指標である動きクラスコードが決定される。例えば、ｐａｒａｍ≦２の場合には動きクラスコード０、２＜ｐａｒａｍ≦４の場合には動きクラスコード１、４＜ｐａｒａｍ≦８の場合には動きクラスコード２、ｐａｒａｍ＞８の場合には動きクラスコード３というように動きクラスコードが生成される。動きクラスコード０が動きが最小（静止）であり、動きクラスコード１、２、３となるに従って動きが大きいものと判断される。なお、動きベクトルを検出し、検出した動きベクトルに基づいて動きクラスを検出しても良い。
【００２０】
次に、予測係数の生成に係る処理について説明する。図２に、予測係数生成処理系の構成の一例を示す。出力画像信号と同じ信号形式を有する既知の信号（例えば５２５ｐ信号）が間引きフィルタ２０、および正規方程式加算回路２７に供給される。間引きフィルタ５１は、水平方向および垂直方向で画素数がそれぞれ１／２とされ、全体として供給される信号の１／４の画素数を有するＳＤ信号（例えば５２５ｉ信号）を生成する。
【００２１】
かかる処理として、例えば、入力する画像信号について垂直方向の周波数が１／２になるように垂直間引きフィルタによって画素を間引き、さらに、水平方向の周波数が１／２になるように水平間引きフィルタによって画素を間引く等の処理が行われる。間引きフィルタ５１が生成するＳＤ信号がタップ選択回路２１、２２、２３に供給される。間引きフィルタ２０の特性を変えることによって学習の特性を変え、それによって、変換して得られる画像の画質を制御することができる。
【００２２】
タップ選択回路２１は、予測タップを選択し、選択した予測タップを正規方程式加算回路２７に供給する。また、タップ選択回路２２は、予測タップを選択し、選択した予測タップを空間クラス検出回路２４に供給する。一方、タップ選択回路２３は、予測タップを選択し、選択した予測タップを動きクラス検出回路２５に供給する。空間クラス検出回路２４は、供給される空間クラスタップに基づいて空間クラスコードを検出し、検出した空間クラスコードをクラス合成回路２６に供給する。また、動きクラス検出回路２４は、供給される動きクラスタップに基づいて動きクラスコードを検出し、検出した動きクラスコードをクラス合成回路２６に供給する。クラス合成回路２６は、供給される空間クラスコードおよび動きクラスコードを合成し、合成したクラスコードを正規方程式加算回路２７に供給する。
【００２３】
正規方程式加算回路２７は、予測係数を解とする正規方程式を解くための計算処理に使 用されるデータを算出する。すなわち、正規方程式加算回路２７は、入力ＳＤ信号、タップ選択回路２１の出力、およびクラス合成回路２６の出力に基づいて加算処理を行うことにより、ラインデータｙ１，ｙ２の予測生成に使用される予測係数を解とする正規方程式を解くために必要なデータを算出する。正規方程式加算回路２７の出力は、予測係数決定回路２８に供給される。予測係数決定回路２８は、供給されるデータに基づいて正規方程式を解くための計算処理を行い、ラインデータｙ１，ｙ２の予測生成に使用される予測係数を算出する。算出される予測係数が係数メモリ２９に供給され、記憶される。
【００２４】
ここで、正規方程式について説明する。上述したように、ｎ個の予測タップを使用して、ラインデータｙ１，ｙ２を構成する各画素は、上述の式（１）によって順次予測生成される。式（１）において、学習前は予測係数ｗ 1 ，‥‥，ｗ n が未定係数である。学習は、クラス毎に複数の入力データ（上述したように出力画像信号と同じ信号形式を有する既知の信号）を入力することによって行う。かかる入力データの総数をｍと表記する場合、式（１）に従って、以下の式（４）が設定される。
【００２５】
ｙ k ＝ｗ 1 ×ｘ k1 ＋ｗ 2 ×ｘ k2 ＋‥‥＋ｗ n ×ｘ kn （４）
（ｋ＝１，２，‥‥，ｍ）
ｍ＞ｎの場合、予測係数ｗ 1 ，‥‥，ｗ n は一意に決まらないので、誤差ベクトルｅの要素ｅ k を以下の式（５）で定義して、式（６）によって定義される誤差ベクトルｅを最小とするように予測係数を定めるようにする。すなわち、いわゆる最小２乗法によって予測係数を一意に定める。
【００２６】
ｅ k ＝ｙ k −｛ｗ 1 ×ｘ k1 ＋ｗ 2 ×ｘ k2 ＋‥‥＋ｗ n ×ｘ kn ｝ （５）
（ｋ＝１，２，‥‥ｍ）
【００２７】
【数２】
【００２８】
式（６）のｅ 2 を最小とする予測係数を求めるための実際的な計算方法としては、ｅ 2 を予測係数ｗ i (i= １，２‥‥）で偏微分し（式（７））、ｉの各値について偏微分値が０となるように各予測係数ｗ i を定めれば良い。
【００２９】
【数３】
【００３０】
式（７）から各予測係数ｗ i を定める具体的な手順について説明する。式（８）、（９）のようにＸ ji ，Ｙ i を定義すると、式（７）は、式（１０）の行列式の形に書くことができる。
【００３１】
【数４】
【００３２】
【数５】
【００３３】
【数６】
【００３４】
式（１０）が一般に正規方程式と呼ばれるものである。正規方程式加算回路２７は、クラス合成回路２６から供給されたクラス情報、予測タップ選択回路２１から供給される予測タップ、および入力データに基づいて、正規方程式データ、すなわち、式（８）、（９）に従うＸ ji ，Ｙ i の値を算出する。そして、算出した正規方程式データを予測係数決定部２８に供給する。予測係数決定部２８は、正規方程式データに基づいて、掃き出し法等の一般的な行列解法に従って正規方程式を解くための計算処理を行って予測係数ｗ i を算出する。
【００３５】
このような処理によって得られる画像信号についてより詳細に説明する。まず、１フィールドの画像の一部を拡大することによって、入力ＳＤ信号としての５２５ｉ信号を出力画像信号としての５２５ｐ信号に変換する画像情報変換処理における画素の配置の一例を図３に示す。ここで、大きなドットが５２５ｉ信号の画素を示し、また、小さなドットが５２５ｐ信号の画素を示す。
【００３６】
５２５ｉ信号のラインと同一位置のラインデータｙ１（黒塗りの小さいドットとして示した）および５２５ｉ信号の上下のラインの中間位置のラインデータｙ２（白抜きの小さいドットとして示した）とが形成されることによって５２５ｐ信号が予測生成される。なお、図３は、あるフレームの奇数フィールドの画素配置を示している。他のフィールド（偶数フィールド）では、５２５ｉ信号および５２５ｐ信号の各ラインが空間的に０．５ラインずれる。
【００３７】
上述したことから、入力ＳＤ信号から選択される予測タップは、ラインデータの種類等の条件によって異なることがわかる。そして、図１等を参照して上述した一般的な画像情報変換処理においては、以下のようにして適切な予測タップが選択される。図４に、タップ選択回路１において、入力ＳＤ信号から切り出された画素データから予測タップを選択するための構成の一例を示す。Ｄ 0 ，Ｄ 1 ，Ｄ 2 ，Ｄ 3 ，・・・，Ｄ N-1 は、Ｎ個の被選択データ列、すなわち入力ＳＤ信号から切り出されるＮ個のＳＤ画素値を示す。これらの被選択データ列がＭ個のセレクタ１０１ 0 ，１０１ 1 ，１０１ 2 ，１０１ 3 ，・・・，１０１ M-1 の各々に供給される。
【００３８】
セレクタ１０１ 0 〜１０１ M-1 の各々には、さらに、クラス合成回路１０から供給されるクラスコードが入力する。セレクタ１０１ 0 〜１０１ M-1 は、クラスコードに従って、被選択データ列Ｄ 0 〜Ｄ N-1 の内からそれぞれ選択データ列（すなわち選択される予測タップ）Ａ 0 ，Ａ 1 ，Ａ 2 ，Ａ 3 ，・・・，Ａ M-1 を選択的に出力する。以上のような構成により、タップ選択回路１によって適切な予測タップが選択される。なお、被選択データ列Ｄ 0 〜Ｄ N -1 および選択データ列Ａ 1 〜Ａ M-1 のデータ長Ｌは、例えば８ビットとされる。
【００３９】
【発明が解決しようとする課題】
上述したような構成並びにソフトウエアを用いる場合には、配線数並びにアクセス回数が増大し、回路規模やコストの削減が妨げられる。すなわち、入力画像信号から切り出される画素の総数をＮ個、各画素のデータ長をＬビットと表記する場合に、各セレクタに画素データを供給するための配線の総数はＬ×（Ｎ−１）となる。また、上述したようなソフトウエアによる処理においては、切り出される画素データを蓄えるメモリに対するアクセス回数の総数がＬ×（Ｎ−１）となる。
【００４０】
特に、画質の向上等に伴い、画素のデータ長や出力画像信号上の画素の予測生成を行うために用いられる画素の個数が増大する場合には、このような問題が顕著なものとなる。
【００４１】
上述したような、一般的な画像情報変換処理系における予測タップを適切に選択するための構成においては、（Ｎ−１）×Ｍ×Ｌ個の配線が必要とされるため、特にタップ選択回路１およびその周辺において回路規模が大きくなるという問題が生じる。この発明は、予測タップを適切に選択するための構成および／または方法を簡素化するものである。
【００４２】
従って、この発明の目的は、出力画像信号上の画素の予測生成を行うために用いられる画素を選択するための回路構成を縮小することができる画像情報変換装置、並びに出力画像信号上の画素の予測生成を行うために用いられる画素を選択するために使用されるソフトウエアによる処理におけるメモリアクセス回数を削減することができる画像情報変換方法を提供することにある。
【００４３】
【課題を解決するための手段】
請求項１の発明は、入力画像信号からより高い解像度の出力画像信号へ変換するようにした画像情報変換装置において、
注目点に対して所定の位置関係にある近傍画素を、入力画像信号から選択する第１の画素データ選択手段と、
第１の画素データ選択手段によって選択される画素データから、レベル分布のパターンを検出し、検出したパターンに基づいて注目点が属する空間クラスを示す空間クラスコードを決定する空間クラス検出手段と、
空間クラス検出手段にて決定された空間クラスコードを参照して、入力画像信号から、所定個数の画素データを切り出し、切り出される画素データから、注目点を含み、注目点に対して所定の位置関係にある近傍画素を選択する第２の画素データ選択手段と、
空間クラス毎に予め決定された予測係数データを記憶し、クラスコードと、入力画像信号の信号形式と出力画像信号の信号形式との組合わせに応じて決まる情報変換のモードとに従って予測係数データを選択的に出力する記憶手段と、
記憶手段の出力と、第２の画素データ選択手段によって得られる画素データとに基づいて、出力画像信号を推定するための演算処理を行う演算処理手段とを有し、
第２の画素データ選択手段は、
空間クラス検出手段にて決定された空間クラスコードに基づいて選択されるべき近傍画素の位置情報に対応するＮビットのマスクコードを生成する画素位置情報生成手段と、
選択されるべき近傍画素の個数に等しいＭ個のコセレクタとを有し、
第１のコセレクタでは、初期値と、生成されたＮビットのマスクコードの第１ビットからＮ−Ｍ＋１ビットとの論理積により得られた値に基づいて、切り出される画素データの一部の内から、１個の画素データを選択的に出力し、出力された画素データを示す第１のマスク情報を後段へ供給し、
第２のコセレクタでは、第１のコセレクタから供給された第１のマスク情報と、生成されたＮビットのマスクコードの第２ビットからＮ−Ｍ＋１ビットとの論理積により得られ た値に基づいて、切り出される画素データの一部の内から、１個の画素データを選択的に出力し、出力された画素データを示す第２のマスク情報を後段へ供給することを特徴とする画像情報変換装置である。
【００４４】
請求項３の発明は、入力画像信号からより高い解像度の出力画像信号へ変換するようにした画像情報変換装置において、
注目点に対して所定の位置関係にある近傍画素を、入力画像信号から選択する第１の画素データ選択手段と、
第１の画素データ選択手段によって選択される画素データから、レベル分布のパターンを検出し、検出したパターンに基づいて注目点が属する空間クラスを示す空間クラスコードを決定する空間クラス検出手段と、
入力画像信号から、入力画像信号内の複数のフレーム内において、注目点と所定の位置関係にある近傍画素を選択する第２の画素データ選択手段と、
第２の画素データ選択手段によって選択される画素データから、フレーム間差分絶対値の総和を計算し、計算結果に基づいて動きを表す動きクラスコードを決定する動きクラス検出手段と、
空間クラスコードと動きクラスコードとを合成してクラスコードを生成するクラス合成手段と、
クラス合成手段にて生成されたクラスコードを参照して、入力画像信号から、所定個数の画素データを切り出し、切り出される画素データから、注目点を含み、注目点に対して所定の位置関係にある近傍画素を選択する第３の画素データ選択手段と、
クラス毎に予め決定された予測係数データを記憶し、クラスコードと、入力画像信号の信号形式と出力画像信号の信号形式との組合わせに応じて決まる情報変換のモードとに従って予測係数データを選択的に出力する記憶手段と、
記憶手段の出力と、第３の画素データ選択手段によって得られる画素データとに基づいて、出力画像信号を推定するための演算処理を行う演算処理手段とを有し、
第３の画素データ選択手段は、
クラス合成手段にて生成されたクラスコードに基づいて選択されるべき近傍画素の位置情報に対応するＮビットのマスクコードを生成する画素位置情報生成手段と、
選択されるべき近傍画素の個数に等しいＭ個のコセレクタとを有し、
第１のコセレクタでは、初期値と、生成されたＮビットのマスクコードの第１ビットからＮ−Ｍ＋１ビットとの論理積により得られた値に基づいて、切り出される画素データの一部の内から、１個の画素データを選択的に出力し、出力された画素データを示す第１のマスク情報を後段へ供給し、
第２のコセレクタでは、第１のコセレクタから供給された第１のマスク情報と、生成されたＮビットのマスクコードの第２ビットからＮ−Ｍ＋１ビットとの論理積により得られた値に基づいて、切り出される画素データの一部の内から、１個の画素データを選択的に出力し、出力された画素データを示す第２のマスク情報を後段へ供給することを特徴とする画像情報変換装置である。
【００４５】
請求項８の発明は、入力画像信号からより高い解像度の出力画像信号へ変換するようにした画像情報変換方法において、
注目点に対して所定の位置関係にある近傍画素を、入力画像信号から選択する第１の画素データ選択ステップと、
第１の画素データ選択ステップによって選択される画素データから、レベル分布のパターンを検出し、検出したパターンに基づいて注目点が属する空間クラスを示す空間クラスコードを決定する空間クラス検出ステップと、
入力画像信号から、入力画像信号内の複数のフレーム内において、注目点と所定の位置関係にある近傍画素を選択する第２の画素データ選択ステップと、
第２の画素データ選択ステップによって選択される画素データから、フレーム間差分絶対値の総和を計算し、計算結果に基づいて動きを表す動きクラスコードを決定する動きクラス検出ステップと、
空間クラスコードと動きクラスコードとを合成してクラスコードを生成するクラス合成ステップと、
クラス合成ステップにて生成されたクラスコードを参照して、入力画像信号から、所定個数の画素データを切り出し、切り出される画素データから、注目点を含み、注目点に対して所定の位置関係にある近傍画素を選択する第３の画素データ選択ステップと、
クラス毎に予め決定された予測係数データを記憶し、クラスコードと、入力画像信号の信号形式と出力画像信号の信号形式との組合わせに応じて決まる情報変換のモードとに従って予測係数データを選択的に出力する記憶ステップと、
記憶ステップの出力と、第３の画素データ選択ステップによって得られる画素データとに基づいて、出力画像信号を推定するための演算処理を行う演算処理ステップとを有し、
第３の画素データ選択ステップは、
生成されたクラスコードに基づいて選択されるべき近傍画素の位置情報に対応するＮビットのマスクコードを生成するステップと、
選択されるべき近傍画素の個数に等しいＭ個のコセレクタによって、
第１のコセレクタでは、初期値と、生成されたＮビットのマスクコードの第１ビットからＮ−Ｍ＋１ビットとの論理積により得られた値に基づいて、切り出される画素データの一部の内から、１個の画素データを選択的に出力し、出力された画素データを示す第１のマスク情報を後段へ供給し、
第２のコセレクタでは、第１のコセレクタから供給された第１のマスク情報と、生成されたＮビットのマスクコードの第２ビットからＮ−Ｍ＋１ビットとの論理積により得られた値に基づいて、切り出される画素データの一部の内から、１個の画素データを選択的に出力し、出力された画素データを示す第２のマスク情報を後段へ供給することを特徴とする画像情報変換方法である。
【００４６】
以上のような発明によれば、予測係数を記憶するメモリ上で無駄となる記憶容量を削減することができる。
【００４７】
【発明の実施の形態】
以下、この発明の一実施形態について説明する。図５に、この発明の一実施形態における予測係数生成処理系の構成の一例を示す。ここで、図１等を参照して上述した一般的な予測係数生成処理系中の構成要素と同様な構成要素には、同一の符号を付した。図１中のタップ選択回路１の代わりにタップ選択回路２００が使用される。なお、予測係数生成処理系としては、例えば、図２等を参照して上述した一般的な予測係数生成処理系と同様な構成を用いることができる。
【００４８】
次に、タップ選択回路２００において、予測タップを適切に選択するための構成について説明する。まず、タップ選択回路２００内には、図６に示すようなマスクコード発生回路２０１が設けられる。マスクコード発生回路２０１は、供給されるクラスコードから、予測タップのタップ位置情報に対応するマスクコードを発生する。マスクコードはＮビットからなり、この内のＭビットが例えば'1'とされて、「選択」を示すものとされる。また、残りのＮ−Ｍビットが例えば'0'とされて、「非選択」を示すものとされる。勿論、'0'を「選択」に対応させ、'1'を「非選択」に対応させても良い。
【００４９】
なお、図４等を参照して上述したことからわかるように、マスクコードのデータ長Ｎビットは被選択データの総数に等しく設定されており、マスクコード内の各ビットは各被選択データに対応している。また、「選択」を示すビット数Ｍは、選択データの総数に等しく設定されている。
【００５０】
さらに、図７に示すように、Ｍ個のコセレクタ２０２ 0，２０２1，２０２2，・・・，２０２M-2，２０２M-1がタップ選択回路２００内に設けられる。そして、マスクコードの一部分が各コセレクタに供給される。マスクコードの一部分としては、例えば、Ｎ−Ｍ＋１ビットの部分が使用される。以下、より具体的に説明する。Ｎビットのマスクコードの第０ビット〜第（Ｎ−Ｍ）ビットまでの部分（図７中ではＣ〔０：Ｎ−Ｍ〕と表記する）がコセレクタ２０２ 0に供給される。また、マスクコードの第１ビット〜第（Ｎ−Ｍ＋１）ビットまでの部分（図７中ではＣ〔１：Ｎ−Ｍ＋１〕と表記する）がコセレクタ２０２ 1に供給される。
【００５１】
さらに、開始ビット位置および終端ビット位置が順次１ビットずつずらされたマスクコードの一部分が後続のコセレクタに供給される。すなわち、Ｃ〔２：Ｎ−Ｍ＋２〕，・・・Ｃ〔Ｍ−２：Ｎ−Ｍ＋Ｍ−２〕，Ｃ〔Ｍ−１：Ｎ−Ｍ＋Ｍ−１〕がそれぞれ、コセレクタ２０２2，・・・，２０２M-2，２０２M-1に供給される。ここで、各コセレクタに供給されるマスクコードの一部分Ｃ〔０：Ｎ−Ｍ〕〜Ｃ〔Ｍ−１：Ｎ−Ｍ＋Ｍ−１〕は、マスクコード発生回路２０１の後段に設けられるマスクコード切出し回路（図示せず）によって生成される。
【００５２】
また、コセレクタ２０２ 0，２０２1，２０２2，・・・，２０２M-2，２０２M-1には、被選択データＤ0〜ＤN-1の内の一部（何れもＮ−Ｍ＋１個の被選択データ）が供給される。すなわち、コセレクタ２０２ 0には，被選択データＤ0〜ＤN-Mが供給される。また、被選択データＤ1〜ＤN-M+1が供給される。さらに、開始位置および終端位置がデータ１個分ずつずらされた被選択データの一部が後続のコセレクタに供給される。すなわち、被選択データＤ1〜ＤN-M+1，・・・ＤM-2〜ＤN-M+M-2，ＤM-1〜ＤN-M+M-1がそれぞれ、コセレクタ２０２2，・・・，２０２M-2，２０２M-1に供給される。
【００５３】
次に、各コセレクタの動作について説明する。ここで、各コセレクタをコセレクタ２０２ j（ｊ＝０，１・・・Ｍ−１）と表記することにする。コセレクタ２０２ jは、被選択データＤj〜ＤN-M+jの内から、マスクコードの一部分Ｃ〔ｊ：Ｎ−Ｍ＋ｊ〕に基づいて選択データＡjを出力する。さらに、コセレクタ２０２ jは、Ｃ〔ｊ：Ｎ−Ｍ＋ｊ〕において選択データＡjに対応するビット位置のみを「非選択」に対応するように反転させる処理を行う。そして、かかる処理の結果を示す所定の形式のマスク加工情報ビット列Ｃ'〔ｊ：Ｎ−Ｍ＋ｊ〕を後続のコセレクタ２０２ j+1に供給する。但し、最終段のコセレクタ２０２ M-1が生成するマスク加工情報ビット列は使用されない。
【００５４】
さらに、各コセレクタ２０２ jは、マスクコード切出し回路から供給されるＣ〔ｊ：Ｎ−Ｍ＋ｊ〕と、前段のコセレクタ２０２ j-1から供給されるマスク加工情報ビット列Ｃ'〔ｊ−１：Ｎ−Ｍ＋ｊ−１〕とについて、対応する位置のビットの間で論理積をとる処理を行う。そして、かかる処理によって得られるビット列Ｃ''〔ｊ：Ｎ−Ｍ＋ｊ〕中で「選択」を示すビットのビット位置に対応するものを、被選択データＤj〜ＤN-M+jの内から選択データＡjとして出力する。但し、最初のコセレクタ２０２ 0では、後述するように、全てのビットが「選択」に対応するものとされたビット列が供給される。
【００５５】
ここで、Ｃ''〔ｊ：Ｎ−Ｍ＋ｊ〕中に「選択」を示すビットが２個以上含まれる場合には、それらの内で最初の（すなわちビット位置が最も左の）ビットに対応する被選択データが出力される。Ｃ''〔ｊ：Ｎ−Ｍ＋ｊ〕においては、前段のコセレクタ２０２ j-1において出力された選択データＡj-1に対応するビット位置は必ず「非選択」に対応するものとされる。従って、被選択データ中の同一のデータが選択データとして出力されることが防止される。
【００５６】
なお、上述したように、Ｎビットからなるマスクコードの内のＭビットが「選択」を示すものとされる。このため、ｊ＝０，１・・・Ｍ−１の各々について、Ｃ''〔ｊ：Ｎ−Ｍ＋ｊ〕中に「選択」を示すビットが少なくとも１個は含まれることになる。従って、ｊ＝０，１・・・Ｍ−１の何れについても、被選択データの内でＡjとして出力されるべきものが無いという状況は生じない。
【００５７】
次に、具体的な実施の一例（Ｎ＝５，Ｍ＝３）について説明する。かかる一例は図７を参照して上述した場合に準拠するものである。図８に示すように、クラスコードとして例えば２３が供給される場合に、マスクコード発生回路３０１は、５ビットからなるマスクコードＣ〔０：４〕＝０１１０１を発生する。ここで、この実施の一例では、'1'／'0'がそれぞれ「選択」／「非選択」に対応する。さらに、図９に示すように、Ｍ＝３に対応して３個のコセレクタ３０２0，３０２1，３０２2が設けられる。これらのコセレクタには、マスクコードＣ〔０：４〕の内のＮ−Ｍ＋１＝３ビットからなるビット列Ｃ〔０：２〕＝０１１、Ｃ〔１：３〕＝１１０、Ｃ〔２：４〕＝１０１がそれぞれマスクコード切出し回路（図示せず）から供給される。
【００５８】
また、各コセレクタ３０２0，３０２1，３０２2には、それぞれ、Ｎ−Ｍ＋１＝３個の被選択データが供給される。すなわち、コセレクタ３０２0には、被選択データとしてＤ0，Ｄ1，Ｄ2が供給される。また、コセレクタ３０２1およびコセレクタ３０２2には、被選択データとしてそれぞれ、Ｄ1，Ｄ2，Ｄ3およびＤ2，Ｄ3，Ｄ4が供給される。さらに、コセレクタ３０２1，３０２2には、それぞれ、前段のコセレクタからマスク加工情報ビット列Ｃ'〔０：２〕，Ｃ'〔１：３〕が供給され、最初のコセレクタ３０２0には、マスク加工情報ビット列の代わりに初期値が供給される。
【００５９】
最初のコセレクタ３０２0には、初期値として１１が供給される。初期値１１は、コセレクタ３０２0の前段において出力された選択データは存在しないので、論理積をとることによって反転させられるべきビットがＣ〔０：２〕中には存在しないことに整合するものである。すなわち、ここでは、初期値１１とＣ〔０：２〕との対応するビット位置における論理積をとった結果である、Ｃ''〔０：２〕）には、Ｃ〔０：２〕と比べて変化が生じず、Ｃ''〔０：２〕＝０１１である。このＣ''〔０：２〕中で最初の'1'に対応する被選択データは、供給される３個の被選択データの内のＤ1である。そこで、コセレクタ３０２0が出力する選択データは、Ａ0＝Ｄ1とされる。
【００６０】
さらに、選択データＡ0として出力されたＤ1に対応するビット位置が反転され、「非選択」に対応する'0'とされると共に、他のビットが '1' とされることによって、ビット列１０１が生成される。そして、このビット列１０１から最初のビットを除いてなる、マスク加工ビット列Ｃ'〔０：２〕＝０１が後段のコセレクタ３０２1に供給される。
【００６１】
コセレクタ３０２1は、Ｃ'〔０：２〕＝０１とＣ〔１：３〕との対応するビット位置における論理積をとる演算を行い、かかる演算の結果としてＣ''〔１：３〕＝０１０を得る。このＣ''〔１：３〕中で最初の'1'に対応する被選択データは、供給される３個の被選択データの内のＤ2である。そこで、コセレクタ３０２1が出力する選択データは、Ａ1＝Ｄ2とされる。さらに、選択データＡ1として出力されたＤ2に対応するビット位置が強制的に反転され、「非選択」に対応する'0'とされると共に、他のビットが'1'とされることによって、加工マスク情報ビット列Ｃ'〔１：３〕＝１０１が生成される。そして、このビット列１０１から最初のビットを除いてなる、加工マスク情報ビット列Ｃ'〔１：３〕＝０１が後段のコセレクタ３０２2に供給される。
【００６２】
コセレクタ３０２2は、Ｃ'〔１：３〕とＣ〔２：４〕との対応するビット位置における論理積をとる演算を行い、かかる演算の結果としてＣ''〔２：４〕＝００１を得る。このＣ''〔２：４〕中で最初の'1'に対応する被選択データは、供給される３個の被選択データの内のＤ4である。そこで、コセレクタ３０２2が出力する選択データは、Ａ2＝Ｄ4とされる。さらに、選択データＡ1として出力されたＤ4に対応するビット位置が強制的に反転され、「非選択」に対応する '0' とされると共に、他のビットが'1'とされることによって、加工マスク情報ビット列Ｃ'〔１：３〕＝１１０が生成される。但し、コセレクタ３０２2は最終段のコセレクタなので、かかるビット列１１０から最初のビットを除いてなるマスク加工ビット列は使用されない。
【００６３】
次に、具体的な実施の他の例（Ｎ＝５，Ｍ＝３）について図９を参照して説明する。ここでは、図７、図８等と異なり、マスクコード切出し回路（図示せず）からは、各コセレクタでの処理において必要とされるマスクコード中のビットの内、ビット位置が一番右の１ビットのみが供給される。そして、各コセレクタでの処理において必要とされる他のビットとしては、前段のコセレクタから出力される加工マスク情報ビット２がそのまま使用される。
【００６４】
まず、図１０に示すように、クラスコードとして例えば２３が供給される場合に、マスクコード発生回路４０１は、５ビットからなるマスクコードＣ〔０：４〕＝０１１０１を発生する。ここで、この実施の他の例では、'1'／'0'がそれぞれ「選択」／「非選択」に対応する。さらに、図９に示すように、Ｍ＝３に対応して３個のコセレクタ４０２0，４０２1，４０２2が設けられる。これらのコセレクタには、マスクコードＣ〔０：４〕の内のＮ−Ｍ＋１＝３ビットからなるビット列の内でビット位置が一番右のもの、すなわち、Ｃ〔２〕＝１、Ｃ〔３〕＝０、Ｃ〔４〕＝１がそれぞれ供給される。
【００６５】
また、各コセレクタ４０２0，４０２1，４０２2には、図９を参照して上述した実施の一例と同様に、それぞれ、３個の被選択データが供給される。さらに、コセレクタ４０２1，４０２2には、それぞれ、前段のコセレクタからマスク加工情報ビット列Ｃ1'〔０：２〕，Ｃ1'〔１：３〕が供給され、最初のコセレクタ４０２0には、マスク加工情報ビット列の代わりに、処理において必要とされる他の２ビット（すなわちマスクコード中で最初の２ビット）が供給される。
【００６６】
最初のコセレクタ４０２ 0では、かかる２ビットとＣ〔２〕＝１とをマージする処理を行う。かかる処理の結果として、図９を参照して上述した実施の一例におけるＣ''〔０：２〕＝０１１を生成することができる。このＣ''〔０：２〕に従って、図９を参照して上述した実施の一例と同様に、選択データＡ0＝Ｄ1が出力される。
【００６７】
さらに、選択データＡ0として出力されたＤ1に対応するビット位置が反転され、「非選択」に対応する'0'とされることによって、ビット列００１が生成される。そして、このビット列００１から最初のビットを除いてなる、マスク加工ビット列Ｃ1'〔０：２〕＝０１が後段のコセレクタ４０２ 1に供給される。
【００６８】
コセレクタ４０２ 1は、Ｃ'〔０：２〕＝０１とＣ〔３〕＝０とをマージする処理を行う。かかる処理の結果としてＣ''〔１：３〕＝０１０を生成することができる。このＣ''〔１：３〕に従って、選択データＡ1＝Ｄ2が出力される。さらに、選択データＡ1として出力されたＤ2に対応するビット位置が強制的に反転され、「非選択」に対応する'0'とされることによって、ビット列０００が生成される。そして、このビット列０００から最初のビットを除いてなる、マスク加工ビット列Ｃ1'〔１：３〕＝００が後段のコセレクタ４０２ 2に供給される。
【００６９】
コセレクタ４０２ 2は、Ｃ1'〔１：３〕とＣ〔４〕とをマージする処理を行う。かかる処理の結果としてＣ''〔２：４〕＝００１を生成することができる。このＣ''〔２：４〕に従って、選択データＡ2＝Ｄ4が出力される。さらに、選択データＡ2として出力されたＤ4に対応するビット位置が強制的に反転され、「非選択」に対応する'0'とされることによって、ビット列０００が生成される。但し、コセレクタ４０２ 2は最終段のコセレクタなので、このビット列０００から最初のビットを除いてなる、マスク加工ビット列は、使用されない。
【００７０】
上述した、実施の一例および実施の他の例においては、各コセレクタに入力する被選択データのデータ量がＬ×（Ｎ−Ｍ＋１）＝Ｌ×（５−３＋１）＝Ｌ×３）とされる。一般的なソフトウエア上の処理では、上述したようにメモリアクセス回数がＬ×（Ｎ−１）なので、この発明の他の実施形態においては、各コセレクタに入力する被選択データのデータ量が削減される。また、実施の他の例では、実施の一例と比較して、マージ処理を行うが必要があるが、各コセレクタに供給されるビット数が少なくて済むという利点がある。
【００７１】
上述したこの発明の一実施形態は、予測タップ選択をハードウエア上で行う場合を前提としたものである。これに対して、予測タップ選択をソフトウエア上で行う場合においてこの発明を適用した、この発明の他の実施形態も可能である。この発明の他の実施形態について、図１２のフローチャートを参照して説明する。なお、ここでは，被選択データ数（従ってクラスコードのビット数）Ｎ＝５，選択データ数Ｍ＝３とされる場合を例として説明する。
【００７２】
ステップＳ１において、クラスコードに基づいて５ビットからなるマスクコードの発生がなされる。次に、ステップＳ２において変数ｉの値が０に初期化される。この変数ｉは、マスクコード上でステップＳ３以降の処理の対象となるビット列の開始位置（マスクコード上でのアドレス）を示す。ここで、変数ｉが取り得る値の個数は、選択データの個数に等しくなる。ステップＳ３として、ビット列の切り出しとビット列中の「選択」に対応するビットの最小アドレスが検出される。ステップＳ４として、ステップＳ３で検出された最小アドレスに従って選択データが出力される。
【００７３】
ステップＳ５として、マスクコード上で、出力された選択データに対応する位置のビットを反転させて「非選択」に対応するものとする、マスクコード変更処理が行われる。かかるステップＳ５によって同一の被選択データが出力されることが防止される。さらに、ステップＳ６において、変数ｉの値が３以下であるか否かが判定される。ステップＳ６によって変数ｉの値が３以下であると判定される場合には、ステップＳ７に移行し、変数ｉの値に１が加算され、更新される。一方、ステップＳ６によって変数ｉの値が３以下でないと判定される場合には、全ての選択データの生成が完了していると判断されるので、処理を終了する。
【００７４】
以上のような処理においては、メモリアクセス回数がＬ×（Ｎ−Ｍ＋１）（図１２の場合にはＬ×（５−３＋１）＝Ｌ×３）とされる。一般的なソフトウエア上の処理では、上述したようにメモリアクセス回数がＬ×（Ｎ−１）なので、この発明の他の実施形態においては、メモリアクセス回数が削減される。
【００７５】
上述したこの発明の一実施形態およびこの発明の他の実施形態は、入力画像信号としての５２５ｉ信号を出力画像信号としての５２５ｐ信号に変換するものであるが、この発明１は入力画像信号／出力画像信号として他の信号形式を用いる場合にも適用できる。例えば、入力画像信号としての５２５ｉ信号を出力画像信号としての１０５０ｉ信号変換する場合にも、この発明を適用することができる。
【００７６】
【発明の効果】
上述したように、この発明は、画像情報変換処理系内に、入力画像信号から切り出される画素データの一部を供給され、供給される上記切り出される画素データの一部の内から、選択すべき画素位置に関する情報の一部を参照して１個のデータを選択的に出力する、選択されるべき近傍画素の個数に等しい個数のコセレクタを有するようにしたものである。
【００７７】
また、この発明は、画像情報変換処理方法において、入力画像信号から切り出される画素データから、選択すべき画素位置に関する情報の一部を設定を参照して、データを選択的に出力するステップを有するようにしたものである。
【００７８】
このため、上述したように、コセレクタに供給される画素データ（被選択データ）に係る配線の本数を、Ｌ×（Ｎ−Ｍ＋１）とすることができる。また、ソフトウエアに画素の選択処理におけるメモリアクセスの回数をＬ×（Ｎ−Ｍ＋１）とすることができる。
【００７９】
このため、従来の構成、すなわち入力画像信号から切り出される画素データの全てをセレクタに供給するにおいては、セレクタに供給される画素データ（被選択データ）に係る配線の本数がＬ×（Ｎ−Ｍ＋１）とされていたことに比較して、配線の本数を削減することができる。また、従来のソフトウエアによる処理、すなわち入力画像信号から切り出される画素データの全てを対象とする処理においては、メモリアクセスの回数がＬ×（Ｎ−Ｍ＋１）とされていたことに比較して、メモリアクセスの回数を削減することができる。
【００８０】
従って、ＬＳＩチップの面積削減や、プログラムサイズの削減が可能となるので、コストの低減に寄与することができる。
【図面の簡単な説明】
【図１】 一般的な画像情報変換処理系の構成の一例を示すブロック図である。
【図２】 一般的な予測係数算出処理系の構成の一例を示すブロック図である。
【図３】 この発明の一実施形態によってなされる画像情報変換処理における画素の配置の一例を示す略線図である。
【図４】 一般的な画像情報変換処理系の一部の構成について詳細に説明するためのブロック図である。
【図５】 この発明の一実施形態の構成について説明するためのブロック図である。
【図６】 この発明の一実施形態の一部の構成について説明するためのブロック図である。
【図７】 この発明の一実施形態の他の一部の構成について説明するためのブロック図である。
【図８】 この発明の一実施形態における実施の一例における一部の構成を示すブロック図である。
【図９】 この発明の一実施形態における実施の一例における他の一部の構成を示すブロック図である。
【図１０】 この発明の一実施形態における実施の他の例における一部の構成を示すブロック図である。
【図１１】 この発明の一実施形態における実施の他の例における他の一部の構成を示すブロック図である。
【図１２】 この発明の他の一実施形態について説明するためのフローチャートである。
【符号の説明】
１・・・タップ選択回路、２０２0〜２０２M-1・・・コセレクタ、３０２0〜３０２M-1・・・コセレクタ、４０２0〜４０２M-1・・・コセレクタ、２０１、３０１、４０１・・・マスクコード発生回路
【発明の属する技術分野】
この発明は、入力画像信号からより高い解像度を有する画像信号を生成する機能を有する画像情報変換装置および画像情報変換方法に関する。
【０００２】
【従来の技術】
入力画像信号よりも解像度の高い画像信号を得る等の目的で、入力画像信号とは走査線構造が異なる出力画像信号を形成する画像情報変換処理が行われる。画像情報変換処理として、入力画像信号の信号レベルの３次元（時空間）分布に応じてクラス分割を行い、それによって得られるクラス値を参照して出力画像信号上の画素の予測生成を行う、クラス分類適応処理が提案されている。
【０００３】
クラス分類適応処理において、出力画像信号上の画素の予測生成は、クラス毎に所定の演算によって決定される予測係数と、入力画像信号からクラス値に関連して選択される画素との線型一次結合を算出する等の演算を行うことによってなされる。従って、かかる演算に使用される画素を適切に選択する必要がある。
【０００４】
このために、従来は、選択され得る全ての画素を入力画像信号から切り出し、切り出した画素の全てを選択されるべき画素数に等しい個数のセレクタに供給し、各セレクタによって１個ずつの画素を出力する構成が使用されていた。または、選択され得る全ての画素を対象として、選択されるべき画素を検出する処理を行うソフトウエアが使用されていた。
【０００５】
この発明の一実施形態についての説明に先立ち、その前提となる画像情報変換処理について以下に説明する。かかる処理は、入力画像信号である、標準解像度のディジタル画像信号（以下、入力ＳＤ信号と表記する）を高解像度の出力画像信号（ＨＤ信号と称されることがある）に変換するものである。この際の入力ＳＤ信号としては、例えばライン数が５２５本でインターレス方式の画像信号（以下、５２５ｉ信号と表記する）等が用いられる。また、出力画像信号としては、ライン数が５２５本でプログレッシブ方式の画像信号（以下、５２５ｐ信号と表記する）、ライン数が１０５０本でインターレス方式の画像信号（以下、１０５０ｉ信号と表記する）等が用いられる。
【０００６】
かかる画像情報変換処理においては、本願出願人の提案に係るクラス分類適応処理によって解像度を高めようとしている。クラス分類適応処理は、従来の補間処理によって高解像度信号を形成するものとは異なる。すなわち、クラス分類適応処理は、入力ＳＤ信号の信号レベルの３次元（時空間）分布に応じてクラス分割を行い、クラス毎に予め学習によって獲得された予測係数値を所定の記憶部に格納し、予測式に基づいた演算によって最適な推定値を出力する処理である。クラス分類適応処理によって、入力ＳＤ信号の解像度以上の解像度を得ることが可能となる。
【０００７】
上述したような画像情報変換処理を行うための一般的な構成の一例を図１に示す。以下の説明は、入力ＳＤ信号としての５２５ｉ信号を出力画像信号としての５２５ｐ信号に変換する処理系を例として行う。但し、他の画像信号形式を有する入力ＳＤ信号／出力画像信号間の画像情報変換処理も、同様な構成によって行うことができる。入力ＳＤ信号がタップ選択回路１、６、７に供給される。
【０００８】
タップ選択回路１は、入力ＳＤ信号から複数の画素が含まれる領域を切り出し、切り出した領域から推定予測演算回路４によってなされる演算処理に使用されるＳＤ画素（以下、予測タップと表記する）を後述するようにして選択する。そして、選択した予測タップを推定予測演算回路４に供給する。なお、予測精度を向上させるために、予測タップの選択は、クラスコードに含まれる予測タップ位置情報を参照してなされる。
【０００９】
また、推定予測演算回路４には、後述する係数メモリ１１から演算処理に使用される予測係数データが供給される。供給される予測係数データには、ｙ１，ｙ２の予測生成に使用される２種類がある。推定予測演算回路４、５は、タップ選択回路１から供給される予測タップ、および係数メモリ１１から供給される予測係数に基づいて、以下の式（１）に 従って画素値ｙを順次予測生成する。
【００１０】
ｙ＝ｗ 1 ×ｘ 1 ＋ｗ 2 ×ｘ 2 ＋‥‥＋ｗ n ×ｘ n （１）
ここで、ｘ 1 ，‥‥，ｘ n が各予測タップであり、ｗ 1 ，‥‥，ｗ n が各予測係数である。すなわち、式（１）は、ｎ個の予測タップを用いて画素値ｙを予測生成するための式である。画素値ｙの列として、出力画像信号内の２種類のラインデータｙ１、ｙ２（これらについては後述する）が予測生成される。
【００１１】
推定予測演算回路４は、ラインデータｙ１、ｙ２を線順序変換回路５に供給する。線順序変換回路５は、供給されるラインデータｙ１、ｙ２にライン倍速処理を施し、高解像度信号を生成する。この高解像度信号が最終的な出力画像信号とされる。図示しないが、出力画像信号がＣＲＴディスプレイに供給される。ＣＲＴディスプレイは、例えば５２５ｐ信号等の出力画像信号を表示することが可能であるように、その同期系が構成されている。また、入力ＳＤ信号としては、放送信号、またはＶＴＲ等の再生装置の再生信号が供給される。すなわち、この画像情報変換処理系の一例をテレビジョン受像機等に内蔵することができる。
【００１２】
一方、タップ選択回路６は、入力ＳＤ信号から空間クラスを検出するために必要なＳＤ画素（以下、空間クラスタップと表記する）を選択する。タップ選択回路６の出力が空間クラス検出回路８に供給される。また、タップ選択回路７は、入力ＳＤ信号から動きクラスを検出するために必要なＳＤ画素（以下、動きクラスタップと表記する）を選択する。タップ選択回路７の出力が動きクラス検出回路９に供給される。空間クラス検出回路８は、供給される空間クラスタップに基づいて空間クラスコードを検出し、検出した空間クラスコードをクラス合成回路１０に供給する。また、動きクラス検出回路９は、供給される動きクラスタップに基づいて動きクラスコードを検出し、検出した空間クラスコードをクラス合成回路１０に供給する。
【００１３】
クラス合成回路１０は、空間クラスコードと動きクラスコードとを合成し、合成されたクラスコードを係数メモリ１１に供給する。係数メモリ１１は、後述する学習によって予め決められた予測係数を記憶している。そして、クラス合成回路１０から供給される、合成されたクラスコードによって指定される予測係数データを、推定予測演算回路４に対して出力する。このような出力を行うためには、合成されたクラス情報によって指定されるアドレスに沿って、係数メモリ１１に予測係数データを記憶しておく等の方法を用いれば良い。
【００１４】
ここで、空間クラス検出についてより詳細に説明する。一般に、空間クラス検出回路は、空間クラスタップのレベル分布のパターンに基づいて画像データのレベル分布の空間的パターンを検出し、検出した空間的パターンに基づいて空間クラスコードを生成する。この場合、クラス数が膨大になることを防ぐために、各画素について８ビットの入力画素データをより少ないビット数のデータに圧縮するような処理を行う。このような情報圧縮処理の一例として、ＡＤＲＣ (AdaptiveDynamicRangeCoding) を用いることができる。また、情報圧縮処理として、ＤＰＣＭ（予測符号化）、ＶＱ（ベクトル量子化）等を用いることもできる。
【００１５】
ＡＤＲＣは、本来、ＶＴＲ (VideoTapeRecoder) 向け高能率符号化用に開発された適応的再量子化法であるが、信号レベルの局所的なパターンを短い語長で効率的に表現できるので、この一形態では、ＡＤＲＣを空間クラス分類のコード発生に使用している。ＡＤＲＣは、空間クラスタップのダイナミックレンジをＤＲ，ビット割当をｎ，空間クラスタップの画素のデータレベルをＬ，再量子化コードをＱとして、以下の式（２）により、最大値ＭＡＸと最小値ＭＩＮとの間を指定されたビット長で均等に分割して再量子化を行う。
【００１６】
ＤＲ＝ＭＡＸ−ＭＩＮ＋１
Ｑ＝｛（Ｌ−ＭＩＮ＋０．５）×２／ＤＲ｝ （２）
但し、｛ ｝は切り捨て処理を意味する。
【００１７】
次に、動きクラス検出についてより詳細に説明する。動きクラス検出回路２１は、供給される動きクラスタップに基づいて、以下の式（３）に従ってフレーム間差分絶対値の平均値ｐａｒａｍを計算する。そして、計算したｐａｒａｍの値に基づいて、動きクラスコードを検出する。
【００１８】
【数１】
式（３）においてｎは動きクラスタップ数であり、例えばｎ＝６と設定することができる。そして、ｐａｒａｍの値と、予め設定されたしきい値とを比較することによって動きの指標である動きクラスコードが決定される。例えば、ｐａｒａｍ≦２の場合には動きクラスコード０、２＜ｐａｒａｍ≦４の場合には動きクラスコード１、４＜ｐａｒａｍ≦８の場合には動きクラスコード２、ｐａｒａｍ＞８の場合には動きクラスコード３というように動きクラスコードが生成される。動きクラスコード０が動きが最小（静止）であり、動きクラスコード１、２、３となるに従って動きが大きいものと判断される。なお、動きベクトルを検出し、検出した動きベクトルに基づいて動きクラスを検出しても良い。
【００２０】
次に、予測係数の生成に係る処理について説明する。図２に、予測係数生成処理系の構成の一例を示す。出力画像信号と同じ信号形式を有する既知の信号（例えば５２５ｐ信号）が間引きフィルタ２０、および正規方程式加算回路２７に供給される。間引きフィルタ５１は、水平方向および垂直方向で画素数がそれぞれ１／２とされ、全体として供給される信号の１／４の画素数を有するＳＤ信号（例えば５２５ｉ信号）を生成する。
【００２１】
かかる処理として、例えば、入力する画像信号について垂直方向の周波数が１／２になるように垂直間引きフィルタによって画素を間引き、さらに、水平方向の周波数が１／２になるように水平間引きフィルタによって画素を間引く等の処理が行われる。間引きフィルタ５１が生成するＳＤ信号がタップ選択回路２１、２２、２３に供給される。間引きフィルタ２０の特性を変えることによって学習の特性を変え、それによって、変換して得られる画像の画質を制御することができる。
【００２２】
タップ選択回路２１は、予測タップを選択し、選択した予測タップを正規方程式加算回路２７に供給する。また、タップ選択回路２２は、予測タップを選択し、選択した予測タップを空間クラス検出回路２４に供給する。一方、タップ選択回路２３は、予測タップを選択し、選択した予測タップを動きクラス検出回路２５に供給する。空間クラス検出回路２４は、供給される空間クラスタップに基づいて空間クラスコードを検出し、検出した空間クラスコードをクラス合成回路２６に供給する。また、動きクラス検出回路２４は、供給される動きクラスタップに基づいて動きクラスコードを検出し、検出した動きクラスコードをクラス合成回路２６に供給する。クラス合成回路２６は、供給される空間クラスコードおよび動きクラスコードを合成し、合成したクラスコードを正規方程式加算回路２７に供給する。
【００２３】
正規方程式加算回路２７は、予測係数を解とする正規方程式を解くための計算処理に使 用されるデータを算出する。すなわち、正規方程式加算回路２７は、入力ＳＤ信号、タップ選択回路２１の出力、およびクラス合成回路２６の出力に基づいて加算処理を行うことにより、ラインデータｙ１，ｙ２の予測生成に使用される予測係数を解とする正規方程式を解くために必要なデータを算出する。正規方程式加算回路２７の出力は、予測係数決定回路２８に供給される。予測係数決定回路２８は、供給されるデータに基づいて正規方程式を解くための計算処理を行い、ラインデータｙ１，ｙ２の予測生成に使用される予測係数を算出する。算出される予測係数が係数メモリ２９に供給され、記憶される。
【００２４】
ここで、正規方程式について説明する。上述したように、ｎ個の予測タップを使用して、ラインデータｙ１，ｙ２を構成する各画素は、上述の式（１）によって順次予測生成される。式（１）において、学習前は予測係数ｗ 1 ，‥‥，ｗ n が未定係数である。学習は、クラス毎に複数の入力データ（上述したように出力画像信号と同じ信号形式を有する既知の信号）を入力することによって行う。かかる入力データの総数をｍと表記する場合、式（１）に従って、以下の式（４）が設定される。
【００２５】
ｙ k ＝ｗ 1 ×ｘ k1 ＋ｗ 2 ×ｘ k2 ＋‥‥＋ｗ n ×ｘ kn （４）
（ｋ＝１，２，‥‥，ｍ）
ｍ＞ｎの場合、予測係数ｗ 1 ，‥‥，ｗ n は一意に決まらないので、誤差ベクトルｅの要素ｅ k を以下の式（５）で定義して、式（６）によって定義される誤差ベクトルｅを最小とするように予測係数を定めるようにする。すなわち、いわゆる最小２乗法によって予測係数を一意に定める。
【００２６】
ｅ k ＝ｙ k −｛ｗ 1 ×ｘ k1 ＋ｗ 2 ×ｘ k2 ＋‥‥＋ｗ n ×ｘ kn ｝ （５）
（ｋ＝１，２，‥‥ｍ）
【００２７】
【数２】
式（６）のｅ 2 を最小とする予測係数を求めるための実際的な計算方法としては、ｅ 2 を予測係数ｗ i (i= １，２‥‥）で偏微分し（式（７））、ｉの各値について偏微分値が０となるように各予測係数ｗ i を定めれば良い。
【００２９】
【数３】
式（７）から各予測係数ｗ i を定める具体的な手順について説明する。式（８）、（９）のようにＸ ji ，Ｙ i を定義すると、式（７）は、式（１０）の行列式の形に書くことができる。
【００３１】
【数４】
【数５】
【数６】
式（１０）が一般に正規方程式と呼ばれるものである。正規方程式加算回路２７は、クラス合成回路２６から供給されたクラス情報、予測タップ選択回路２１から供給される予測タップ、および入力データに基づいて、正規方程式データ、すなわち、式（８）、（９）に従うＸ ji ，Ｙ i の値を算出する。そして、算出した正規方程式データを予測係数決定部２８に供給する。予測係数決定部２８は、正規方程式データに基づいて、掃き出し法等の一般的な行列解法に従って正規方程式を解くための計算処理を行って予測係数ｗ i を算出する。
【００３５】
このような処理によって得られる画像信号についてより詳細に説明する。まず、１フィールドの画像の一部を拡大することによって、入力ＳＤ信号としての５２５ｉ信号を出力画像信号としての５２５ｐ信号に変換する画像情報変換処理における画素の配置の一例を図３に示す。ここで、大きなドットが５２５ｉ信号の画素を示し、また、小さなドットが５２５ｐ信号の画素を示す。
【００３６】
５２５ｉ信号のラインと同一位置のラインデータｙ１（黒塗りの小さいドットとして示した）および５２５ｉ信号の上下のラインの中間位置のラインデータｙ２（白抜きの小さいドットとして示した）とが形成されることによって５２５ｐ信号が予測生成される。なお、図３は、あるフレームの奇数フィールドの画素配置を示している。他のフィールド（偶数フィールド）では、５２５ｉ信号および５２５ｐ信号の各ラインが空間的に０．５ラインずれる。
【００３７】
上述したことから、入力ＳＤ信号から選択される予測タップは、ラインデータの種類等の条件によって異なることがわかる。そして、図１等を参照して上述した一般的な画像情報変換処理においては、以下のようにして適切な予測タップが選択される。図４に、タップ選択回路１において、入力ＳＤ信号から切り出された画素データから予測タップを選択するための構成の一例を示す。Ｄ 0 ，Ｄ 1 ，Ｄ 2 ，Ｄ 3 ，・・・，Ｄ N-1 は、Ｎ個の被選択データ列、すなわち入力ＳＤ信号から切り出されるＮ個のＳＤ画素値を示す。これらの被選択データ列がＭ個のセレクタ１０１ 0 ，１０１ 1 ，１０１ 2 ，１０１ 3 ，・・・，１０１ M-1 の各々に供給される。
【００３８】
セレクタ１０１ 0 〜１０１ M-1 の各々には、さらに、クラス合成回路１０から供給されるクラスコードが入力する。セレクタ１０１ 0 〜１０１ M-1 は、クラスコードに従って、被選択データ列Ｄ 0 〜Ｄ N-1 の内からそれぞれ選択データ列（すなわち選択される予測タップ）Ａ 0 ，Ａ 1 ，Ａ 2 ，Ａ 3 ，・・・，Ａ M-1 を選択的に出力する。以上のような構成により、タップ選択回路１によって適切な予測タップが選択される。なお、被選択データ列Ｄ 0 〜Ｄ N -1 および選択データ列Ａ 1 〜Ａ M-1 のデータ長Ｌは、例えば８ビットとされる。
【００３９】
【発明が解決しようとする課題】
上述したような構成並びにソフトウエアを用いる場合には、配線数並びにアクセス回数が増大し、回路規模やコストの削減が妨げられる。すなわち、入力画像信号から切り出される画素の総数をＮ個、各画素のデータ長をＬビットと表記する場合に、各セレクタに画素データを供給するための配線の総数はＬ×（Ｎ−１）となる。また、上述したようなソフトウエアによる処理においては、切り出される画素データを蓄えるメモリに対するアクセス回数の総数がＬ×（Ｎ−１）となる。
【００４０】
特に、画質の向上等に伴い、画素のデータ長や出力画像信号上の画素の予測生成を行うために用いられる画素の個数が増大する場合には、このような問題が顕著なものとなる。
【００４１】
上述したような、一般的な画像情報変換処理系における予測タップを適切に選択するための構成においては、（Ｎ−１）×Ｍ×Ｌ個の配線が必要とされるため、特にタップ選択回路１およびその周辺において回路規模が大きくなるという問題が生じる。この発明は、予測タップを適切に選択するための構成および／または方法を簡素化するものである。
【００４２】
従って、この発明の目的は、出力画像信号上の画素の予測生成を行うために用いられる画素を選択するための回路構成を縮小することができる画像情報変換装置、並びに出力画像信号上の画素の予測生成を行うために用いられる画素を選択するために使用されるソフトウエアによる処理におけるメモリアクセス回数を削減することができる画像情報変換方法を提供することにある。
【００４３】
【課題を解決するための手段】
請求項１の発明は、入力画像信号からより高い解像度の出力画像信号へ変換するようにした画像情報変換装置において、
注目点に対して所定の位置関係にある近傍画素を、入力画像信号から選択する第１の画素データ選択手段と、
第１の画素データ選択手段によって選択される画素データから、レベル分布のパターンを検出し、検出したパターンに基づいて注目点が属する空間クラスを示す空間クラスコードを決定する空間クラス検出手段と、
空間クラス検出手段にて決定された空間クラスコードを参照して、入力画像信号から、所定個数の画素データを切り出し、切り出される画素データから、注目点を含み、注目点に対して所定の位置関係にある近傍画素を選択する第２の画素データ選択手段と、
空間クラス毎に予め決定された予測係数データを記憶し、クラスコードと、入力画像信号の信号形式と出力画像信号の信号形式との組合わせに応じて決まる情報変換のモードとに従って予測係数データを選択的に出力する記憶手段と、
記憶手段の出力と、第２の画素データ選択手段によって得られる画素データとに基づいて、出力画像信号を推定するための演算処理を行う演算処理手段とを有し、
第２の画素データ選択手段は、
空間クラス検出手段にて決定された空間クラスコードに基づいて選択されるべき近傍画素の位置情報に対応するＮビットのマスクコードを生成する画素位置情報生成手段と、
選択されるべき近傍画素の個数に等しいＭ個のコセレクタとを有し、
第１のコセレクタでは、初期値と、生成されたＮビットのマスクコードの第１ビットからＮ−Ｍ＋１ビットとの論理積により得られた値に基づいて、切り出される画素データの一部の内から、１個の画素データを選択的に出力し、出力された画素データを示す第１のマスク情報を後段へ供給し、
第２のコセレクタでは、第１のコセレクタから供給された第１のマスク情報と、生成されたＮビットのマスクコードの第２ビットからＮ−Ｍ＋１ビットとの論理積により得られ た値に基づいて、切り出される画素データの一部の内から、１個の画素データを選択的に出力し、出力された画素データを示す第２のマスク情報を後段へ供給することを特徴とする画像情報変換装置である。
【００４４】
請求項３の発明は、入力画像信号からより高い解像度の出力画像信号へ変換するようにした画像情報変換装置において、
注目点に対して所定の位置関係にある近傍画素を、入力画像信号から選択する第１の画素データ選択手段と、
第１の画素データ選択手段によって選択される画素データから、レベル分布のパターンを検出し、検出したパターンに基づいて注目点が属する空間クラスを示す空間クラスコードを決定する空間クラス検出手段と、
入力画像信号から、入力画像信号内の複数のフレーム内において、注目点と所定の位置関係にある近傍画素を選択する第２の画素データ選択手段と、
第２の画素データ選択手段によって選択される画素データから、フレーム間差分絶対値の総和を計算し、計算結果に基づいて動きを表す動きクラスコードを決定する動きクラス検出手段と、
空間クラスコードと動きクラスコードとを合成してクラスコードを生成するクラス合成手段と、
クラス合成手段にて生成されたクラスコードを参照して、入力画像信号から、所定個数の画素データを切り出し、切り出される画素データから、注目点を含み、注目点に対して所定の位置関係にある近傍画素を選択する第３の画素データ選択手段と、
クラス毎に予め決定された予測係数データを記憶し、クラスコードと、入力画像信号の信号形式と出力画像信号の信号形式との組合わせに応じて決まる情報変換のモードとに従って予測係数データを選択的に出力する記憶手段と、
記憶手段の出力と、第３の画素データ選択手段によって得られる画素データとに基づいて、出力画像信号を推定するための演算処理を行う演算処理手段とを有し、
第３の画素データ選択手段は、
クラス合成手段にて生成されたクラスコードに基づいて選択されるべき近傍画素の位置情報に対応するＮビットのマスクコードを生成する画素位置情報生成手段と、
選択されるべき近傍画素の個数に等しいＭ個のコセレクタとを有し、
第１のコセレクタでは、初期値と、生成されたＮビットのマスクコードの第１ビットからＮ−Ｍ＋１ビットとの論理積により得られた値に基づいて、切り出される画素データの一部の内から、１個の画素データを選択的に出力し、出力された画素データを示す第１のマスク情報を後段へ供給し、
第２のコセレクタでは、第１のコセレクタから供給された第１のマスク情報と、生成されたＮビットのマスクコードの第２ビットからＮ−Ｍ＋１ビットとの論理積により得られた値に基づいて、切り出される画素データの一部の内から、１個の画素データを選択的に出力し、出力された画素データを示す第２のマスク情報を後段へ供給することを特徴とする画像情報変換装置である。
【００４５】
請求項８の発明は、入力画像信号からより高い解像度の出力画像信号へ変換するようにした画像情報変換方法において、
注目点に対して所定の位置関係にある近傍画素を、入力画像信号から選択する第１の画素データ選択ステップと、
第１の画素データ選択ステップによって選択される画素データから、レベル分布のパターンを検出し、検出したパターンに基づいて注目点が属する空間クラスを示す空間クラスコードを決定する空間クラス検出ステップと、
入力画像信号から、入力画像信号内の複数のフレーム内において、注目点と所定の位置関係にある近傍画素を選択する第２の画素データ選択ステップと、
第２の画素データ選択ステップによって選択される画素データから、フレーム間差分絶対値の総和を計算し、計算結果に基づいて動きを表す動きクラスコードを決定する動きクラス検出ステップと、
空間クラスコードと動きクラスコードとを合成してクラスコードを生成するクラス合成ステップと、
クラス合成ステップにて生成されたクラスコードを参照して、入力画像信号から、所定個数の画素データを切り出し、切り出される画素データから、注目点を含み、注目点に対して所定の位置関係にある近傍画素を選択する第３の画素データ選択ステップと、
クラス毎に予め決定された予測係数データを記憶し、クラスコードと、入力画像信号の信号形式と出力画像信号の信号形式との組合わせに応じて決まる情報変換のモードとに従って予測係数データを選択的に出力する記憶ステップと、
記憶ステップの出力と、第３の画素データ選択ステップによって得られる画素データとに基づいて、出力画像信号を推定するための演算処理を行う演算処理ステップとを有し、
第３の画素データ選択ステップは、
生成されたクラスコードに基づいて選択されるべき近傍画素の位置情報に対応するＮビットのマスクコードを生成するステップと、
選択されるべき近傍画素の個数に等しいＭ個のコセレクタによって、
第１のコセレクタでは、初期値と、生成されたＮビットのマスクコードの第１ビットからＮ−Ｍ＋１ビットとの論理積により得られた値に基づいて、切り出される画素データの一部の内から、１個の画素データを選択的に出力し、出力された画素データを示す第１のマスク情報を後段へ供給し、
第２のコセレクタでは、第１のコセレクタから供給された第１のマスク情報と、生成されたＮビットのマスクコードの第２ビットからＮ−Ｍ＋１ビットとの論理積により得られた値に基づいて、切り出される画素データの一部の内から、１個の画素データを選択的に出力し、出力された画素データを示す第２のマスク情報を後段へ供給することを特徴とする画像情報変換方法である。
【００４６】
以上のような発明によれば、予測係数を記憶するメモリ上で無駄となる記憶容量を削減することができる。
【００４７】
【発明の実施の形態】
以下、この発明の一実施形態について説明する。図５に、この発明の一実施形態における予測係数生成処理系の構成の一例を示す。ここで、図１等を参照して上述した一般的な予測係数生成処理系中の構成要素と同様な構成要素には、同一の符号を付した。図１中のタップ選択回路１の代わりにタップ選択回路２００が使用される。なお、予測係数生成処理系としては、例えば、図２等を参照して上述した一般的な予測係数生成処理系と同様な構成を用いることができる。
【００４８】
次に、タップ選択回路２００において、予測タップを適切に選択するための構成について説明する。まず、タップ選択回路２００内には、図６に示すようなマスクコード発生回路２０１が設けられる。マスクコード発生回路２０１は、供給されるクラスコードから、予測タップのタップ位置情報に対応するマスクコードを発生する。マスクコードはＮビットからなり、この内のＭビットが例えば'1'とされて、「選択」を示すものとされる。また、残りのＮ−Ｍビットが例えば'0'とされて、「非選択」を示すものとされる。勿論、'0'を「選択」に対応させ、'1'を「非選択」に対応させても良い。
【００４９】
なお、図４等を参照して上述したことからわかるように、マスクコードのデータ長Ｎビットは被選択データの総数に等しく設定されており、マスクコード内の各ビットは各被選択データに対応している。また、「選択」を示すビット数Ｍは、選択データの総数に等しく設定されている。
【００５０】
さらに、図７に示すように、Ｍ個のコセレクタ２０２ 0，２０２1，２０２2，・・・，２０２M-2，２０２M-1がタップ選択回路２００内に設けられる。そして、マスクコードの一部分が各コセレクタに供給される。マスクコードの一部分としては、例えば、Ｎ−Ｍ＋１ビットの部分が使用される。以下、より具体的に説明する。Ｎビットのマスクコードの第０ビット〜第（Ｎ−Ｍ）ビットまでの部分（図７中ではＣ〔０：Ｎ−Ｍ〕と表記する）がコセレクタ２０２ 0に供給される。また、マスクコードの第１ビット〜第（Ｎ−Ｍ＋１）ビットまでの部分（図７中ではＣ〔１：Ｎ−Ｍ＋１〕と表記する）がコセレクタ２０２ 1に供給される。
【００５１】
さらに、開始ビット位置および終端ビット位置が順次１ビットずつずらされたマスクコードの一部分が後続のコセレクタに供給される。すなわち、Ｃ〔２：Ｎ−Ｍ＋２〕，・・・Ｃ〔Ｍ−２：Ｎ−Ｍ＋Ｍ−２〕，Ｃ〔Ｍ−１：Ｎ−Ｍ＋Ｍ−１〕がそれぞれ、コセレクタ２０２2，・・・，２０２M-2，２０２M-1に供給される。ここで、各コセレクタに供給されるマスクコードの一部分Ｃ〔０：Ｎ−Ｍ〕〜Ｃ〔Ｍ−１：Ｎ−Ｍ＋Ｍ−１〕は、マスクコード発生回路２０１の後段に設けられるマスクコード切出し回路（図示せず）によって生成される。
【００５２】
また、コセレクタ２０２ 0，２０２1，２０２2，・・・，２０２M-2，２０２M-1には、被選択データＤ0〜ＤN-1の内の一部（何れもＮ−Ｍ＋１個の被選択データ）が供給される。すなわち、コセレクタ２０２ 0には，被選択データＤ0〜ＤN-Mが供給される。また、被選択データＤ1〜ＤN-M+1が供給される。さらに、開始位置および終端位置がデータ１個分ずつずらされた被選択データの一部が後続のコセレクタに供給される。すなわち、被選択データＤ1〜ＤN-M+1，・・・ＤM-2〜ＤN-M+M-2，ＤM-1〜ＤN-M+M-1がそれぞれ、コセレクタ２０２2，・・・，２０２M-2，２０２M-1に供給される。
【００５３】
次に、各コセレクタの動作について説明する。ここで、各コセレクタをコセレクタ２０２ j（ｊ＝０，１・・・Ｍ−１）と表記することにする。コセレクタ２０２ jは、被選択データＤj〜ＤN-M+jの内から、マスクコードの一部分Ｃ〔ｊ：Ｎ−Ｍ＋ｊ〕に基づいて選択データＡjを出力する。さらに、コセレクタ２０２ jは、Ｃ〔ｊ：Ｎ−Ｍ＋ｊ〕において選択データＡjに対応するビット位置のみを「非選択」に対応するように反転させる処理を行う。そして、かかる処理の結果を示す所定の形式のマスク加工情報ビット列Ｃ'〔ｊ：Ｎ−Ｍ＋ｊ〕を後続のコセレクタ２０２ j+1に供給する。但し、最終段のコセレクタ２０２ M-1が生成するマスク加工情報ビット列は使用されない。
【００５４】
さらに、各コセレクタ２０２ jは、マスクコード切出し回路から供給されるＣ〔ｊ：Ｎ−Ｍ＋ｊ〕と、前段のコセレクタ２０２ j-1から供給されるマスク加工情報ビット列Ｃ'〔ｊ−１：Ｎ−Ｍ＋ｊ−１〕とについて、対応する位置のビットの間で論理積をとる処理を行う。そして、かかる処理によって得られるビット列Ｃ''〔ｊ：Ｎ−Ｍ＋ｊ〕中で「選択」を示すビットのビット位置に対応するものを、被選択データＤj〜ＤN-M+jの内から選択データＡjとして出力する。但し、最初のコセレクタ２０２ 0では、後述するように、全てのビットが「選択」に対応するものとされたビット列が供給される。
【００５５】
ここで、Ｃ''〔ｊ：Ｎ−Ｍ＋ｊ〕中に「選択」を示すビットが２個以上含まれる場合には、それらの内で最初の（すなわちビット位置が最も左の）ビットに対応する被選択データが出力される。Ｃ''〔ｊ：Ｎ−Ｍ＋ｊ〕においては、前段のコセレクタ２０２ j-1において出力された選択データＡj-1に対応するビット位置は必ず「非選択」に対応するものとされる。従って、被選択データ中の同一のデータが選択データとして出力されることが防止される。
【００５６】
なお、上述したように、Ｎビットからなるマスクコードの内のＭビットが「選択」を示すものとされる。このため、ｊ＝０，１・・・Ｍ−１の各々について、Ｃ''〔ｊ：Ｎ−Ｍ＋ｊ〕中に「選択」を示すビットが少なくとも１個は含まれることになる。従って、ｊ＝０，１・・・Ｍ−１の何れについても、被選択データの内でＡjとして出力されるべきものが無いという状況は生じない。
【００５７】
次に、具体的な実施の一例（Ｎ＝５，Ｍ＝３）について説明する。かかる一例は図７を参照して上述した場合に準拠するものである。図８に示すように、クラスコードとして例えば２３が供給される場合に、マスクコード発生回路３０１は、５ビットからなるマスクコードＣ〔０：４〕＝０１１０１を発生する。ここで、この実施の一例では、'1'／'0'がそれぞれ「選択」／「非選択」に対応する。さらに、図９に示すように、Ｍ＝３に対応して３個のコセレクタ３０２0，３０２1，３０２2が設けられる。これらのコセレクタには、マスクコードＣ〔０：４〕の内のＮ−Ｍ＋１＝３ビットからなるビット列Ｃ〔０：２〕＝０１１、Ｃ〔１：３〕＝１１０、Ｃ〔２：４〕＝１０１がそれぞれマスクコード切出し回路（図示せず）から供給される。
【００５８】
また、各コセレクタ３０２0，３０２1，３０２2には、それぞれ、Ｎ−Ｍ＋１＝３個の被選択データが供給される。すなわち、コセレクタ３０２0には、被選択データとしてＤ0，Ｄ1，Ｄ2が供給される。また、コセレクタ３０２1およびコセレクタ３０２2には、被選択データとしてそれぞれ、Ｄ1，Ｄ2，Ｄ3およびＤ2，Ｄ3，Ｄ4が供給される。さらに、コセレクタ３０２1，３０２2には、それぞれ、前段のコセレクタからマスク加工情報ビット列Ｃ'〔０：２〕，Ｃ'〔１：３〕が供給され、最初のコセレクタ３０２0には、マスク加工情報ビット列の代わりに初期値が供給される。
【００５９】
最初のコセレクタ３０２0には、初期値として１１が供給される。初期値１１は、コセレクタ３０２0の前段において出力された選択データは存在しないので、論理積をとることによって反転させられるべきビットがＣ〔０：２〕中には存在しないことに整合するものである。すなわち、ここでは、初期値１１とＣ〔０：２〕との対応するビット位置における論理積をとった結果である、Ｃ''〔０：２〕）には、Ｃ〔０：２〕と比べて変化が生じず、Ｃ''〔０：２〕＝０１１である。このＣ''〔０：２〕中で最初の'1'に対応する被選択データは、供給される３個の被選択データの内のＤ1である。そこで、コセレクタ３０２0が出力する選択データは、Ａ0＝Ｄ1とされる。
【００６０】
さらに、選択データＡ0として出力されたＤ1に対応するビット位置が反転され、「非選択」に対応する'0'とされると共に、他のビットが '1' とされることによって、ビット列１０１が生成される。そして、このビット列１０１から最初のビットを除いてなる、マスク加工ビット列Ｃ'〔０：２〕＝０１が後段のコセレクタ３０２1に供給される。
【００６１】
コセレクタ３０２1は、Ｃ'〔０：２〕＝０１とＣ〔１：３〕との対応するビット位置における論理積をとる演算を行い、かかる演算の結果としてＣ''〔１：３〕＝０１０を得る。このＣ''〔１：３〕中で最初の'1'に対応する被選択データは、供給される３個の被選択データの内のＤ2である。そこで、コセレクタ３０２1が出力する選択データは、Ａ1＝Ｄ2とされる。さらに、選択データＡ1として出力されたＤ2に対応するビット位置が強制的に反転され、「非選択」に対応する'0'とされると共に、他のビットが'1'とされることによって、加工マスク情報ビット列Ｃ'〔１：３〕＝１０１が生成される。そして、このビット列１０１から最初のビットを除いてなる、加工マスク情報ビット列Ｃ'〔１：３〕＝０１が後段のコセレクタ３０２2に供給される。
【００６２】
コセレクタ３０２2は、Ｃ'〔１：３〕とＣ〔２：４〕との対応するビット位置における論理積をとる演算を行い、かかる演算の結果としてＣ''〔２：４〕＝００１を得る。このＣ''〔２：４〕中で最初の'1'に対応する被選択データは、供給される３個の被選択データの内のＤ4である。そこで、コセレクタ３０２2が出力する選択データは、Ａ2＝Ｄ4とされる。さらに、選択データＡ1として出力されたＤ4に対応するビット位置が強制的に反転され、「非選択」に対応する '0' とされると共に、他のビットが'1'とされることによって、加工マスク情報ビット列Ｃ'〔１：３〕＝１１０が生成される。但し、コセレクタ３０２2は最終段のコセレクタなので、かかるビット列１１０から最初のビットを除いてなるマスク加工ビット列は使用されない。
【００６３】
次に、具体的な実施の他の例（Ｎ＝５，Ｍ＝３）について図９を参照して説明する。ここでは、図７、図８等と異なり、マスクコード切出し回路（図示せず）からは、各コセレクタでの処理において必要とされるマスクコード中のビットの内、ビット位置が一番右の１ビットのみが供給される。そして、各コセレクタでの処理において必要とされる他のビットとしては、前段のコセレクタから出力される加工マスク情報ビット２がそのまま使用される。
【００６４】
まず、図１０に示すように、クラスコードとして例えば２３が供給される場合に、マスクコード発生回路４０１は、５ビットからなるマスクコードＣ〔０：４〕＝０１１０１を発生する。ここで、この実施の他の例では、'1'／'0'がそれぞれ「選択」／「非選択」に対応する。さらに、図９に示すように、Ｍ＝３に対応して３個のコセレクタ４０２0，４０２1，４０２2が設けられる。これらのコセレクタには、マスクコードＣ〔０：４〕の内のＮ−Ｍ＋１＝３ビットからなるビット列の内でビット位置が一番右のもの、すなわち、Ｃ〔２〕＝１、Ｃ〔３〕＝０、Ｃ〔４〕＝１がそれぞれ供給される。
【００６５】
また、各コセレクタ４０２0，４０２1，４０２2には、図９を参照して上述した実施の一例と同様に、それぞれ、３個の被選択データが供給される。さらに、コセレクタ４０２1，４０２2には、それぞれ、前段のコセレクタからマスク加工情報ビット列Ｃ1'〔０：２〕，Ｃ1'〔１：３〕が供給され、最初のコセレクタ４０２0には、マスク加工情報ビット列の代わりに、処理において必要とされる他の２ビット（すなわちマスクコード中で最初の２ビット）が供給される。
【００６６】
最初のコセレクタ４０２ 0では、かかる２ビットとＣ〔２〕＝１とをマージする処理を行う。かかる処理の結果として、図９を参照して上述した実施の一例におけるＣ''〔０：２〕＝０１１を生成することができる。このＣ''〔０：２〕に従って、図９を参照して上述した実施の一例と同様に、選択データＡ0＝Ｄ1が出力される。
【００６７】
さらに、選択データＡ0として出力されたＤ1に対応するビット位置が反転され、「非選択」に対応する'0'とされることによって、ビット列００１が生成される。そして、このビット列００１から最初のビットを除いてなる、マスク加工ビット列Ｃ1'〔０：２〕＝０１が後段のコセレクタ４０２ 1に供給される。
【００６８】
コセレクタ４０２ 1は、Ｃ'〔０：２〕＝０１とＣ〔３〕＝０とをマージする処理を行う。かかる処理の結果としてＣ''〔１：３〕＝０１０を生成することができる。このＣ''〔１：３〕に従って、選択データＡ1＝Ｄ2が出力される。さらに、選択データＡ1として出力されたＤ2に対応するビット位置が強制的に反転され、「非選択」に対応する'0'とされることによって、ビット列０００が生成される。そして、このビット列０００から最初のビットを除いてなる、マスク加工ビット列Ｃ1'〔１：３〕＝００が後段のコセレクタ４０２ 2に供給される。
【００６９】
コセレクタ４０２ 2は、Ｃ1'〔１：３〕とＣ〔４〕とをマージする処理を行う。かかる処理の結果としてＣ''〔２：４〕＝００１を生成することができる。このＣ''〔２：４〕に従って、選択データＡ2＝Ｄ4が出力される。さらに、選択データＡ2として出力されたＤ4に対応するビット位置が強制的に反転され、「非選択」に対応する'0'とされることによって、ビット列０００が生成される。但し、コセレクタ４０２ 2は最終段のコセレクタなので、このビット列０００から最初のビットを除いてなる、マスク加工ビット列は、使用されない。
【００７０】
上述した、実施の一例および実施の他の例においては、各コセレクタに入力する被選択データのデータ量がＬ×（Ｎ−Ｍ＋１）＝Ｌ×（５−３＋１）＝Ｌ×３）とされる。一般的なソフトウエア上の処理では、上述したようにメモリアクセス回数がＬ×（Ｎ−１）なので、この発明の他の実施形態においては、各コセレクタに入力する被選択データのデータ量が削減される。また、実施の他の例では、実施の一例と比較して、マージ処理を行うが必要があるが、各コセレクタに供給されるビット数が少なくて済むという利点がある。
【００７１】
上述したこの発明の一実施形態は、予測タップ選択をハードウエア上で行う場合を前提としたものである。これに対して、予測タップ選択をソフトウエア上で行う場合においてこの発明を適用した、この発明の他の実施形態も可能である。この発明の他の実施形態について、図１２のフローチャートを参照して説明する。なお、ここでは，被選択データ数（従ってクラスコードのビット数）Ｎ＝５，選択データ数Ｍ＝３とされる場合を例として説明する。
【００７２】
ステップＳ１において、クラスコードに基づいて５ビットからなるマスクコードの発生がなされる。次に、ステップＳ２において変数ｉの値が０に初期化される。この変数ｉは、マスクコード上でステップＳ３以降の処理の対象となるビット列の開始位置（マスクコード上でのアドレス）を示す。ここで、変数ｉが取り得る値の個数は、選択データの個数に等しくなる。ステップＳ３として、ビット列の切り出しとビット列中の「選択」に対応するビットの最小アドレスが検出される。ステップＳ４として、ステップＳ３で検出された最小アドレスに従って選択データが出力される。
【００７３】
ステップＳ５として、マスクコード上で、出力された選択データに対応する位置のビットを反転させて「非選択」に対応するものとする、マスクコード変更処理が行われる。かかるステップＳ５によって同一の被選択データが出力されることが防止される。さらに、ステップＳ６において、変数ｉの値が３以下であるか否かが判定される。ステップＳ６によって変数ｉの値が３以下であると判定される場合には、ステップＳ７に移行し、変数ｉの値に１が加算され、更新される。一方、ステップＳ６によって変数ｉの値が３以下でないと判定される場合には、全ての選択データの生成が完了していると判断されるので、処理を終了する。
【００７４】
以上のような処理においては、メモリアクセス回数がＬ×（Ｎ−Ｍ＋１）（図１２の場合にはＬ×（５−３＋１）＝Ｌ×３）とされる。一般的なソフトウエア上の処理では、上述したようにメモリアクセス回数がＬ×（Ｎ−１）なので、この発明の他の実施形態においては、メモリアクセス回数が削減される。
【００７５】
上述したこの発明の一実施形態およびこの発明の他の実施形態は、入力画像信号としての５２５ｉ信号を出力画像信号としての５２５ｐ信号に変換するものであるが、この発明１は入力画像信号／出力画像信号として他の信号形式を用いる場合にも適用できる。例えば、入力画像信号としての５２５ｉ信号を出力画像信号としての１０５０ｉ信号変換する場合にも、この発明を適用することができる。
【００７６】
【発明の効果】
上述したように、この発明は、画像情報変換処理系内に、入力画像信号から切り出される画素データの一部を供給され、供給される上記切り出される画素データの一部の内から、選択すべき画素位置に関する情報の一部を参照して１個のデータを選択的に出力する、選択されるべき近傍画素の個数に等しい個数のコセレクタを有するようにしたものである。
【００７７】
また、この発明は、画像情報変換処理方法において、入力画像信号から切り出される画素データから、選択すべき画素位置に関する情報の一部を設定を参照して、データを選択的に出力するステップを有するようにしたものである。
【００７８】
このため、上述したように、コセレクタに供給される画素データ（被選択データ）に係る配線の本数を、Ｌ×（Ｎ−Ｍ＋１）とすることができる。また、ソフトウエアに画素の選択処理におけるメモリアクセスの回数をＬ×（Ｎ−Ｍ＋１）とすることができる。
【００７９】
このため、従来の構成、すなわち入力画像信号から切り出される画素データの全てをセレクタに供給するにおいては、セレクタに供給される画素データ（被選択データ）に係る配線の本数がＬ×（Ｎ−Ｍ＋１）とされていたことに比較して、配線の本数を削減することができる。また、従来のソフトウエアによる処理、すなわち入力画像信号から切り出される画素データの全てを対象とする処理においては、メモリアクセスの回数がＬ×（Ｎ−Ｍ＋１）とされていたことに比較して、メモリアクセスの回数を削減することができる。
【００８０】
従って、ＬＳＩチップの面積削減や、プログラムサイズの削減が可能となるので、コストの低減に寄与することができる。
【図面の簡単な説明】
【図１】 一般的な画像情報変換処理系の構成の一例を示すブロック図である。
【図２】 一般的な予測係数算出処理系の構成の一例を示すブロック図である。
【図３】 この発明の一実施形態によってなされる画像情報変換処理における画素の配置の一例を示す略線図である。
【図４】 一般的な画像情報変換処理系の一部の構成について詳細に説明するためのブロック図である。
【図５】 この発明の一実施形態の構成について説明するためのブロック図である。
【図６】 この発明の一実施形態の一部の構成について説明するためのブロック図である。
【図７】 この発明の一実施形態の他の一部の構成について説明するためのブロック図である。
【図８】 この発明の一実施形態における実施の一例における一部の構成を示すブロック図である。
【図９】 この発明の一実施形態における実施の一例における他の一部の構成を示すブロック図である。
【図１０】 この発明の一実施形態における実施の他の例における一部の構成を示すブロック図である。
【図１１】 この発明の一実施形態における実施の他の例における他の一部の構成を示すブロック図である。
【図１２】 この発明の他の一実施形態について説明するためのフローチャートである。
【符号の説明】
１・・・タップ選択回路、２０２0〜２０２M-1・・・コセレクタ、３０２0〜３０２M-1・・・コセレクタ、４０２0〜４０２M-1・・・コセレクタ、２０１、３０１、４０１・・・マスクコード発生回路
Claims (11)
- 入力画像信号からより高い解像度の出力画像信号へ変換するようにした画像情報変換装置において、
注目点に対して所定の位置関係にある近傍画素を、入力画像信号から選択する第１の画素データ選択手段と、
上記第１の画素データ選択手段によって選択される画素データから、レベル分布のパターンを検出し、検出した上記パターンに基づいて上記注目点が属する空間クラスを示す空間クラスコードを決定する空間クラス検出手段と、
上記空間クラス検出手段にて上記決定された空間クラスコードを参照して、上記入力画像信号から、所定個数の画素データを切り出し、切り出される画素データから、上記注目点を含み、上記注目点に対して所定の位置関係にある近傍画素を選択する第２の画素データ選択手段と、
上記空間クラス毎に予め決定された予測係数データを記憶し、上記クラスコードと、上記入力画像信号の信号形式と出力画像信号の信号形式との組合わせに応じて決まる情報変換のモードとに従って上記予測係数データを選択的に出力する記憶手段と、
上記記憶手段の出力と、上記第２の画素データ選択手段によって得られる画素データとに基づいて、上記出力画像信号を推定するための演算処理を行う演算処理手段とを有し、
上記第２の画素データ選択手段は、
上記空間クラス検出手段にて上記決定された空間クラスコードに基づいて上記選択されるべき近傍画素の位置情報に対応するＮビットのマスクコードを生成する画素位置情報生成手段と、
上記選択されるべき近傍画素の個数に等しいＭ個のコセレクタとを有し、
第１のコセレクタでは、初期値と、上記生成されたＮビットのマスクコードの第１ビットからＮ−Ｍ＋１ビットとの論理積により得られた値に基づいて、上記切り出される画素データの一部の内から、１個の画素データを選択的に出力し、上記出力された画素データを示す第１のマスク情報を後段へ供給し、
第２のコセレクタでは、上記第１のコセレクタから供給された第１のマスク情報と、上記生成されたＮビットのマスクコードの第２ビットからＮ−Ｍ＋１ビットとの論理積により得られた値に基づいて、上記切り出される画素データの一部の内から、１個の画素データを選択的に出力し、上記出力された画素データを示す第２のマスク情報を後段へ供給することを特徴とする画像情報変換装置。 - 入力画像信号からより高い解像度の出力画像信号へ変換するようにした画像情報変換装置において、
注目点に対して所定の位置関係にある近傍画素を、入力画像信号から選択する第１の画素データ選択手段と、
上記第１の画素データ選択手段によって選択される画素データから、レベル分布のパターンを検出し、検出した上記パターンに基づいて上記注目点が属する空間クラスを示す空間クラスコードを決定する空間クラス検出手段と、
上記空間クラス検出手段にて上記決定された空間クラスコードを参照して、上記入力画像信号から、所定個数の画素データを切り出し、切り出される画素データから、上記注目点を含み、上記注目点に対して所定の位置関係にある近傍画素を選択する第２の画素データ選択手段と、
上記空間クラス毎に予め決定された予測係数データを記憶し、上記クラスコードと、上記入力画像信号の信号形式と出力画像信号の信号形式との組合わせに応じて決まる情報変換のモードとに従って上記予測係数データを選択的に出力する記憶手段と、
上記記憶手段の出力と、上記第２の画素データ選択手段によって得られる画素データとに基づいて、上記出力画像信号を推定するための演算処理を行う演算処理手段とを有し、
上記第２の画素データ選択手段は、
上記空間クラス検出手段にて上記決定された空間クラスコードに基づいて上記選択されるべき近傍画素の位置情報に対応するＮビットのマスクコードを生成する画素位置情報生成手段と、
上記選択されるべき近傍画素の個数に等しいＭ個のコセレクタとを有し、
第１のコセレクタでは、上記生成されたＮビットのマスクコードの第１ビットから第Ｎ−Ｍビットと、上記生成されたＮビットのマスクコードの第Ｎ−Ｍ＋１ビットとの結合により得られた値に基づいて、上記切り出される画素データの一部の内から、１個の画素データを選択的に出力し、上記出力された画素データを示す第１のマスク情報を後段へ供給し、
第２のコセレクタでは、上記第１のコセレクタから供給された第１のマスク情報と、上記生成されたＮビットのマスクコードの第Ｎ−Ｍ＋２ビットとの結合により得られた値に基づいて、上記切り出される画素データの一部の内から、１個の画素データを選択的に出力し、上記出力された画素データを示す第２のマスク情報を後段へ供給することを特徴とする画像情報変換装置。 - 入力画像信号からより高い解像度の出力画像信号へ変換するようにした画像情報変換装置において、
注目点に対して所定の位置関係にある近傍画素を、入力画像信号から選択する第１の画素データ選択手段と、
上記第１の画素データ選択手段によって選択される画素データから、レベル分布のパターンを検出し、検出した上記パターンに基づいて上記注目点が属する空間クラスを示す空間クラスコードを決定する空間クラス検出手段と、
上記入力画像信号から、上記入力画像信号内の複数のフレーム内において、上記注目点と所定の位置関係にある近傍画素を選択する第２の画素データ選択手段と、
上記第２の画素データ選択手段によって選択される画素データから、フレーム間差分絶対値の総和を計算し、計算結果に基づいて動きを表す動きクラスコードを決定する動きクラス検出手段と、
上記空間クラスコードと上記動きクラスコードとを合成してクラスコードを生成するクラス合成手段と、
上記クラス合成手段にて上記生成されたクラスコードを参照して、上記入力画像信号から、所定個数の画素データを切り出し、切り出される画素データから、上記注目点を含み、上記注目点に対して所定の位置関係にある近傍画素を選択する第３の画素データ選択手段と、
上記クラス毎に予め決定された予測係数データを記憶し、上記クラスコードと、上記入力画像信号の信号形式と出力画像信号の信号形式との組合わせに応じて決まる情報変換のモードとに従って上記予測係数データを選択的に出力する記憶手段と、
上記記憶手段の出力と、上記第３の画素データ選択手段によって得られる画素データとに基づいて、上記出力画像信号を推定するための演算処理を行う演算処理手段とを有し、
上記第３の画素データ選択手段は、
上記クラス合成手段にて上記生成されたクラスコードに基づいて上記選択されるべき近傍画素の位置情報に対応するＮビットのマスクコードを生成する画素位置情報生成手段と、
上記選択されるべき近傍画素の個数に等しいＭ個のコセレクタとを有し、
第１のコセレクタでは、初期値と、上記生成されたＮビットのマスクコードの第１ビットからＮ−Ｍ＋１ビットとの論理積により得られた値に基づいて、上記切り出される画素データの一部の内から、１個の画素データを選択的に出力し、上記出力された画素データを示す第１のマスク情報を後段へ供給し、
第２のコセレクタでは、上記第１のコセレクタから供給された第１のマスク情報と、上記生成されたＮビットのマスクコードの第２ビットからＮ−Ｍ＋１ビットとの論理積により得られた値に基づいて、上記切り出される画素データの一部の内から、１個の画素データを選択的に出力し、上記出力された画素データを示す第２のマスク情報を後段へ供給す ることを特徴とする画像情報変換装置。 - 入力画像信号からより高い解像度の出力画像信号へ変換するようにした画像情報変換装置において、
注目点に対して所定の位置関係にある近傍画素を、入力画像信号から選択する第１の画素データ選択手段と、
上記第１の画素データ選択手段によって選択される画素データから、レベル分布のパターンを検出し、検出した上記パターンに基づいて上記注目点が属する空間クラスを示す空間クラスコードを決定する空間クラス検出手段と、
上記入力画像信号から、上記入力画像信号内の複数のフレーム内において、上記注目点と所定の位置関係にある近傍画素を選択する第２の画素データ選択手段と、
上記第２の画素データ選択手段によって選択される画素データから、フレーム間差分絶対値の総和を計算し、計算結果に基づいて動きを表す動きクラスコードを決定する動きクラス検出手段と、
上記空間クラスコードと上記動きクラスコードとを合成してクラスコードを生成するクラス合成手段と、
上記クラス合成手段にて上記生成されたクラスコードを参照して、上記入力画像信号から、所定個数の画素データを切り出し、切り出される画素データから、上記注目点を含み、上記注目点に対して所定の位置関係にある近傍画素を選択する第３の画素データ選択手段と、
上記クラス毎に予め決定された予測係数データを記憶し、上記クラスコードと、上記入力画像信号の信号形式と出力画像信号の信号形式との組合わせに応じて決まる情報変換のモードとに従って上記予測係数データを選択的に出力する記憶手段と、
上記記憶手段の出力と、上記第３の画素データ選択手段によって得られる画素データとに基づいて、上記出力画像信号を推定するための演算処理を行う演算処理手段とを有し、
上記第３の画素データ選択手段は、
上記クラス合成手段にて上記生成されたクラスコードに基づいて上記選択されるべき近傍画素の位置情報に対応するＮビットのマスクコードを生成する画素位置情報生成手段と、
上記選択されるべき近傍画素の個数に等しいＭ個のコセレクタとを有し、
第１のコセレクタでは、上記生成されたＮビットのマスクコードの第１ビットから第Ｎ−Ｍビットと、上記生成されたＮビットのマスクコードの第Ｎ−Ｍ＋１ビットとの結合により得られた値に基づいて、上記切り出される画素データの一部の内から、１個の画素データを選択的に出力し、上記出力された画素データを示す第１のマスク情報を後段へ供給し、
第２のコセレクタでは、上記第１のコセレクタから供給された第１のマスク情報と、上記生成されたＮビットのマスクコードの第Ｎ−Ｍ＋２ビットとの結合により得られた値に基づいて、上記切り出される画素データの一部の内から、１個の画素データを選択的に出力し、上記出力された画素データを示す第２のマスク情報を後段へ供給することを特徴とする画像情報変換装置。 - 請求項３または４において、
上記コセレクタは、
上記切り出される画素データの個数から上記選択されるべき近傍画素の個数を差し引くことによって得られる数に１を加えた個数の画素データが供給されることを特徴とする画像情報変換装置。 - 請求項３または４において、
上記入力画像信号は、
走査線数が５２５本のインターレス画像信号であり、
上記出力画像信号は、
走査線数が５２５本のプログレッシブ画像信号であることを特徴とする画像情報変換装置。 - 請求項３または４において、
上記入力画像信号は、
走査線数が５２５本のインターレス画像信号であり、
上記出力画像信号は、
走査線数が１０５０本のインターレス画像信号であることを特徴とする画像情報変換装置。 - 入力画像信号からより高い解像度の出力画像信号へ変換するようにした画像情報変換方法において、
注目点に対して所定の位置関係にある近傍画素を、入力画像信号から選択する第１の画素データ選択ステップと、
上記第１の画素データ選択ステップによって選択される画素データから、レベル分布のパターンを検出し、検出した上記パターンに基づいて上記注目点が属する空間クラスを示す空間クラスコードを決定する空間クラス検出ステップと、
上記入力画像信号から、上記入力画像信号内の複数のフレーム内において、上記注目点と所定の位置関係にある近傍画素を選択する第２の画素データ選択ステップと、
上記第２の画素データ選択ステップによって選択される画素データから、フレーム間差分絶対値の総和を計算し、計算結果に基づいて動きを表す動きクラスコードを決定する動きクラス検出ステップと、
上記空間クラスコードと上記動きクラスコードとを合成してクラスコードを生成するクラス合成ステップと、
上記クラス合成ステップにて上記生成されたクラスコードを参照して、上記入力画像信号から、所定個数の画素データを切り出し、切り出される画素データから、上記注目点を含み、上記注目点に対して所定の位置関係にある近傍画素を選択する第３の画素データ選択ステップと、
上記クラス毎に予め決定された予測係数データを記憶し、上記クラスコードと、上記入力画像信号の信号形式と出力画像信号の信号形式との組合わせに応じて決まる情報変換のモードとに従って上記予測係数データを選択的に出力する記憶ステップと、
上記記憶ステップの出力と、上記第３の画素データ選択ステップによって得られる画素データとに基づいて、上記出力画像信号を推定するための演算処理を行う演算処理ステップとを有し、
上記第３の画素データ選択ステップは、
上記生成されたクラスコードに基づいて上記選択されるべき近傍画素の位置情報に対応するＮビットのマスクコードを生成するステップと、
上記選択されるべき近傍画素の個数に等しいＭ個のコセレクタによって、
第１のコセレクタでは、初期値と、上記生成されたＮビットのマスクコードの第１ビットからＮ−Ｍ＋１ビットとの論理積により得られた値に基づいて、上記切り出される画素データの一部の内から、１個の画素データを選択的に出力し、上記出力された画素データを示す第１のマスク情報を後段へ供給し、
第２のコセレクタでは、上記第１のコセレクタから供給された第１のマスク情報と、上記生成されたＮビットのマスクコードの第２ビットからＮ−Ｍ＋１ビットとの論理積により得られた値に基づいて、上記切り出される画素データの一部の内から、１個の画素データを選択的に出力し、上記出力された画素データを示す第２のマスク情報を後段へ供給することを特徴とする画像情報変換方法。 - 入力画像信号からより高い解像度の出力画像信号へ変換するようにした画像情報変換方法において、
注目点に対して所定の位置関係にある近傍画素を、入力画像信号から選択する第１の画素データ選択ステップと、
上記第１の画素データ選択ステップによって選択される画素データから、レベル分布のパターンを検出し、検出した上記パターンに基づいて上記注目点が属する空間クラスを示す空間クラスコードを決定する空間クラス検出ステップと、
上記入力画像信号から、上記入力画像信号内の複数のフレーム内において、上記注目点と所定の位置関係にある近傍画素を選択する第２の画素データ選択ステップと、
上記第２の画素データ選択ステップによって選択される画素データから、フレーム間差分絶対値の総和を計算し、計算結果に基づいて動きを表す動きクラスコードを決定する動きクラス検出ステップと、
上記空間クラスコードと上記動きクラスコードとを合成してクラスコードを生成するクラス合成ステップと、
上記クラス合成ステップにて上記生成されたクラスコードを参照して、上記入力画像信号から、所定個数の画素データを切り出し、切り出される画素データから、上記注目点を含み、上記注目点に対して所定の位置関係にある近傍画素を選択する第３の画素データ選択ステップと、
上記クラス毎に予め決定された予測係数データを記憶し、上記クラスコードと、上記入力画像信号の信号形式と出力画像信号の信号形式との組合わせに応じて決まる情報変換のモードとに従って上記予測係数データを選択的に出力する記憶ステップと、
上記記憶ステップの出力と、上記第３の画素データ選択ステップによって得られる画素データとに基づいて、上記出力画像信号を推定するための演算処理を行う演算処理ステップとを有し、
上記第３の画素データ選択ステップは、
上記生成されたクラスコードに基づいて上記選択されるべき近傍画素の位置情報に対応するＮビットのマスクコードを生成するステップと、
上記選択されるべき近傍画素の個数に等しいＭ個のコセレクタによって、
第１のコセレクタでは、上記生成されたＮビットのマスクコードの第１ビットから第Ｎ−Ｍビットと、上記生成されたＮビットのマスクコードの第Ｎ−Ｍ＋１ビットとの結合により得られた値に基づいて、上記切り出される画素データの一部の内から、１個の画素データを選択的に出力し、上記出力された画素データを示す第１のマスク情報を後段へ供給し、
第２のコセレクタでは、上記第１のコセレクタから供給された第１のマスク情報と、上記生成されたＮビットのマスクコードの第Ｎ−Ｍ＋２ビットとの結合により得られた値に基づいて、上記切り出される画素データの一部の内から、１個の画素データを選択的に出力し、上記出力された画素データを示す第２のマスク情報を後段へ供給することを特徴とする画像情報変換方法。 - 請求項８において、
上記入力画像信号は、
走査線数が５２５本のインターレス画像信号であり、
上記出力画像信号は、
走査線数が５２５本のプログレッシブ画像信号であることを特徴とする画像情報変換方法。 - 請求項８において、
上記入力画像信号は、
走査線数が５２５本のインターレス画像信号であり、
上記出力画像信号は、
走査線数が１０５０本のインターレス画像信号であることを特徴とする画像情報変換方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25157998A JP4099554B2 (ja) | 1998-09-04 | 1998-09-04 | 画像情報変換装置および画像情報変換方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25157998A JP4099554B2 (ja) | 1998-09-04 | 1998-09-04 | 画像情報変換装置および画像情報変換方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000083223A JP2000083223A (ja) | 2000-03-21 |
| JP4099554B2 true JP4099554B2 (ja) | 2008-06-11 |
Family
ID=17224923
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP25157998A Expired - Fee Related JP4099554B2 (ja) | 1998-09-04 | 1998-09-04 | 画像情報変換装置および画像情報変換方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4099554B2 (ja) |
-
1998
- 1998-09-04 JP JP25157998A patent/JP4099554B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000083223A (ja) | 2000-03-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4158232B2 (ja) | 画像情報変換装置および画像表示装置 | |
| JP4696388B2 (ja) | 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、それに使用される係数種データ生成装置、係数データ生成装置、並びに情報記録媒体 | |
| JP4147632B2 (ja) | 画像情報変換装置、画像情報変換方法、およびテレビジョン受像機 | |
| JP4277446B2 (ja) | 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、それに使用される係数種データ生成装置および生成方法、並びに記録媒体 | |
| JP4131048B2 (ja) | 画像情報変換装置、変換方法および画像表示装置 | |
| JP3946781B2 (ja) | 画像情報変換装置及び方法 | |
| JP4470280B2 (ja) | 画像信号処理装置及び画像信号処理方法 | |
| JP4099555B2 (ja) | 画像情報変換装置 | |
| JP4099554B2 (ja) | 画像情報変換装置および画像情報変換方法 | |
| JP3890638B2 (ja) | 画像情報変換装置および方法 | |
| JP4140091B2 (ja) | 画像情報変換装置および画像情報変換方法 | |
| JP3723995B2 (ja) | 画像情報変換装置および方法 | |
| JP4470324B2 (ja) | 画像信号変換装置および方法 | |
| JP4193236B2 (ja) | 画像情報変換装置、画像情報変換方法、およびテレビジョン受像機 | |
| JP4123587B2 (ja) | 画像情報処理装置および方法 | |
| JP4078719B2 (ja) | 画像情報変換装置、変換方法および画像表示装置 | |
| JP3800638B2 (ja) | 画像情報変換装置および方法 | |
| JP4441860B2 (ja) | 情報信号の処理装置および処理方法、並びにプログラムおよびそれを記録した媒体 | |
| JP3826434B2 (ja) | 信号変換装置および方法 | |
| JP4470282B2 (ja) | 画像処理装置および画像処理方法 | |
| JP5308322B2 (ja) | 画像符号化装置、画像復号装置及びプログラム | |
| JP3480011B2 (ja) | 画像情報変換装置 | |
| JP3767019B2 (ja) | 積和演算回路および方法 | |
| JP3587188B2 (ja) | ディジタル画像信号処理装置および処理方法 | |
| JP4001143B2 (ja) | 係数生成装置および方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050816 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071127 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080123 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080219 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080303 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110328 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130328 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140328 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |