JP4193236B2 - Image information conversion apparatus, image information conversion method, and television receiver - Google Patents

Image information conversion apparatus, image information conversion method, and television receiver Download PDF

Info

Publication number
JP4193236B2
JP4193236B2 JP23885798A JP23885798A JP4193236B2 JP 4193236 B2 JP4193236 B2 JP 4193236B2 JP 23885798 A JP23885798 A JP 23885798A JP 23885798 A JP23885798 A JP 23885798A JP 4193236 B2 JP4193236 B2 JP 4193236B2
Authority
JP
Japan
Prior art keywords
class
image signal
data
image data
prediction coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP23885798A
Other languages
Japanese (ja)
Other versions
JP2000069433A (en
JP2000069433A5 (en
Inventor
哲二郎 近藤
靖 立平
伸幸 朝倉
真史 内田
卓夫 守村
一隆 安藤
秀雄 中屋
勉 渡辺
賢 井上
渉 新妻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP23885798A priority Critical patent/JP4193236B2/en
Publication of JP2000069433A publication Critical patent/JP2000069433A/en
Publication of JP2000069433A5 publication Critical patent/JP2000069433A5/ja
Application granted granted Critical
Publication of JP4193236B2 publication Critical patent/JP4193236B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【０００１】
【発明の属する技術分野】
この発明は、入力画像信号からより高い解像度を有する画像信号を生成する機能を有する画像情報変換装置、画像情報変換方法、およびテレビジョン受像機に関する。
【０００２】
【従来の技術】
入力画像信号よりも解像度の高い画像信号を得る等の目的で、入力画像信号とは走査線構造が異なる出力画像信号を形成する画像情報変換処理が行われる。画像情報変換処理として、入力画像信号の信号レベルの３次元（時空間）分布に応じてクラス分割を行い、それによって得られるクラス値を参照して画素の予測生成を行う、クラス分類適応処理が提案されている。
【０００３】
予測生成に係る演算処理は、クラス毎に所定の演算によって決定される予測係数を用いてなされる。従って、予測係数を表現するための予測係数データを装置内のメモリに記憶しておく必要がある。かかるメモリ内で各予測係数に対応して割り当てられるビット幅として、一般的には、予測係数の最大値を表現できるビット幅が用いられている。しかしながら、予測係数の値が大きく変動する場合には、割り当てられるビット幅の内で有効に使用されない部分が多くなるという問題があった。
【０００４】
【発明が解決しようとする課題】
従って、この発明の目的は、予測係数の値が大きく変動する場合等においても、各予測係数に対応してメモリ内で割り当てられるビット幅が有効に使用されることを可能とする画像情報変換装置、画像情報変換方法、およびテレビジョン受像機を提供することにある。
【０００５】
【課題を解決するための手段】
請求項１の発明は、入力画像信号から走査線構造の異なる出力画像信号を形成するようにした画像情報変換装置において、
所定の注目点に時間的または空間的に近傍に位置する画素を、入力画像信号から選択する第１の画像データ選択手段と、
第１の画像データ選択手段によって選択される画像データから、レベル分布のパターンを検出し、少なくとも検出したパターンに基づいて注目点が属するクラスを示すクラス値を決定するクラス検出手段と、
入力画像信号から、注目点を含み、注目点に時間的または空間的に近傍に位置する画素を選択する第２の画像データ選択手段と、
クラス毎に予め決定された予測係数データを記憶する第１の記憶手段と、
第１の記憶手段に記憶された予測係数データに対する重み量データを、クラス毎に記憶する第２の記憶手段と、
クラス値に対応して第１の記憶手段から選択される予測係数データと、第２の画像データ選択手段によって得られる画像データとの線型一次結合によって、注目点に画素を予測生成し、生成した画素を含むデータを、クラス値に対応して第２の記憶手段から選択される重み量データに従ってビットシフト処理を行うことにより、出力画像信号を推定するための演算処理を行う演算処理手段とを有し、
重み量データは、
出力画像信号に対応する所定の画像信号中の真の画素値と、第２の画像データ選択手段によって選択された画像データに対応する画像データとの線型一次結合の計算値との差を最小とするように予測係数を計算し、計算された予測係数のクラス毎の最大値をＭとしたときに、２ n-1 ＜Ｍ＜２ n の式を満たすｎの値が重み量データとしてクラス毎に決定され、
重み量データを用いて、クラス毎に所定のビット幅に収まるように、重み量データに等しいビット数のシフト処理を施すことによって予測係数が得られることを特徴とする画像情報変換装置である。
【０００６】
請求項２の発明は、入力画像信号から走査線構造の異なる出力画像信号を形成するようにした画像情報変換装置において、
所定の注目点に時間的または空間的に近傍に位置する画素を、入力画像信号から選択する第１の画像データ選択手段と、
第１の画像データ選択手段によって選択される画像データから、レベル分布のパターンを検出し、検出したパターンに基づいて注目点が属する空間クラスを示す空間クラス値を決定する空間クラス検出手段と、
入力画像信号から、入力画像信号内の複数のフレーム内において、注目点に時間的または空間的に近傍に位置する画素を選択する第２の画像データ選択手段と、
第２の画像データ選択手段によって選択される画像データから、フレーム間差分絶対値の総和を計算し、計算結果に基づいて動きを表す動きクラス値を決定する動きクラス検出手段と、
空間クラス値と動きクラス値とを合成してクラスを示すクラス値を生成するクラス合成手段と、
入力画像信号から、注目点を含み、注目点に時間的または空間的に近傍に位置する画素を選択する第３の画像データ選択手段と、
クラス毎に予め決定された予測係数データを記憶する第１の記憶手段と、
第１の記憶手段に記憶された予測係数データに対する重み量データを、クラス毎に記憶する第２の記憶手段と、
クラス値に対応して第１の記憶手段から選択される予測係数データと、第３の画像データ選択手段によって得られる画像データとの線型一次結合によって、注目点に画素を予測生成し、生成した画素を含むデータを、クラス値に対応して第２の記憶手段から選択される重み量データに従ってビットシフト処理を行うことにより、出力画像信号を推定するための演算処理を行う演算処理手段とを有し、
重み量データは、
出力画像信号に対応する所定の画像信号中の真の画素値と、第３の画像データ選択手段によって選択された画像データに対応する画像データとの線型一次結合の計算値との差を最小とするように予測係数を計算し、計算された予測係数のクラス毎の最大値をＭとしたときに、２ n-1 ＜Ｍ＜２ n の式を満たすｎの値が重み量データとしてクラス毎に決定され、
重み量データを用いて、クラス毎に所定のビット幅に収まるように、重み量データに等しいビット数のシフト処理を施すことによって予測係数が得られることを特徴とする画像情報変換装置である。
【０００７】
請求項５の発明は、入力画像信号から走査線構造の異なる出力画像信号を形成するようにした画像情報変換方法において、
所定の注目点に時間的または空間的に近傍に位置する画素を、入力画像信号から選択する第１の画像データ選択ステップと、
第１の画像データ選択ステップによって選択される画像データから、レベル分布のパターンを検出し、少なくとも検出したパターンに基づいて注目点が属するクラスを示すクラス値を決定するクラス検出ステップと、
入力画像信号から、注目点を含み、注目点に時間的または空間的に近傍に位置する画素を選択する第２の画像データ選択ステップと、
クラス毎に予め決定された予測係数データが記憶された第１の記憶手段と、第１の記憶手段に記憶された予測係数データに対する重み量データがクラス毎に記憶された第２の記憶手段とから、クラス値に従って、予測係数データと重み量データとを読み出す読み出しステップと、
読み出された予測係数データと第２の画像データ選択手段によって得られる画像データとの線型一次結合によって、注目点に画素を予測生成し、生成した画素を含むデータを、読み出しステップにおいて読み出された重み量データに従ってビットシフト処理を行うことにより、出力画像信号を推定するための演算処理を行う演算処理ステップとを有し、
重み量データは、
出力画像信号に対応する所定の画像信号中の真の画素値と、第２の画像データ選択ステップによって選択された画像データに対応する画像データとの線型一次結合の計算値との差を最小とするように予測係数を計算し、計算された予測係数のクラス毎の最大値をＭとしたときに、２ n-1 ＜Ｍ＜２ n の式を満たすｎの値が重み量データとしてクラス毎に決定され、
重み量データを用いて、クラス毎に所定のビット幅に収まるように、重み量データに等しいビット数のシフト処理を施すことによって予測係数が得られることを特徴とする画像情報変換方法である。
【０００８】
請求項６の発明は、入力画像信号から走査線構造の異なる出力画像信号を形成するようにした画像情報変換方法において、
所定の注目点に時間的または空間的に近傍に位置する画素を、入力画像信号から選択する第１の画像データ選択ステップと、
第１の画像データ選択ステップによって選択される画像データから、レベル分布のパターンを検出し、検出したパターンに基づいて注目点が属する空間クラスを示す空間クラス値を決定する空間クラス検出ステップと、
入力画像信号から、入力画像信号内の複数のフレーム内において、注目点に時間的または空間的に近傍に位置する画素を選択する第２の画像データ選択ステップと、
第２の画像データ選択ステップによって選択される画像データから、フレーム間差分絶対値の総和を計算し、計算結果に基づいて動きを表す動きクラス値を決定する動きクラス検出ステップと、
空間クラス値と動きクラス値とを合成してクラスを示すクラス値を生成するクラス合成ステップと、
入力画像信号から、注目点を含み、注目点に時間的または空間的に近傍に位置する画素を選択する第３の画像データ選択ステップと、
クラス毎に予め決定された予測係数データが記憶された第１の記憶手段と、第１の記憶手段に記憶された予測係数データに対する重み量データがクラス毎に記憶された第２の記憶手段とから、クラス値に従って、予測係数データと重み量データとを読み出す読出しステップと、
読み出された予測係数データと第３の画像データ選択手段によって得られる画像データとの線型一次結合によって、注目点に画素を予測生成し、生成した画素を含むデータを、読み出しステップにおいて読み出された重み量データに従ってビットシフト処理を行うことにより、出力画像信号を推定するための演算処理を行う演算処理ステップとを有し、
出力画像信号に対応する所定の画像信号中の真の画素値と、第３の画像データ選択ステップによって選択された画像データに対応する画像データとの線型一次結合の計算値との差を最小とするように予測係数を計算し、計算された予測係数のクラス毎の最大値をＭとしたときに、２ n-1 ＜Ｍ＜２ n の式を満たすｎの値が重み量データとしてクラス毎に決定され、
重み量データを用いて、クラス毎に所定のビット幅に収まるように、重み量データに等しいビット数のシフト処理を施すことによって予測係数が得られることを特徴とする画像情報変換方法である。
【０００９】
請求項９の発明は、入力画像信号から走査線構造の異なる出力画像信号を形成するようにしたテレビジョン信号受像機において、
所定の注目点に時間的または空間的に近傍に位置する画素を、入力画像信号から選択する第１の画像データ選択手段と、
第１の画像データ選択手段によって選択される画像データから、レベル分布のパターンを検出し、少なくとも検出したパターンに基づいて注目点が属するクラスを示すクラス値を決定するクラス検出手段と、
入力画像信号から、注目点を含み、注目点に時間的または空間的に近傍に位置する画素を選択する第２の画像データ選択手段と、
クラス毎に予め決定された予測係数データを記憶する第１の記憶手段と、
第１の記憶手段に記憶された予測係数データに対する重み量データを、クラス毎に記憶する第２の記憶手段と、
クラス値に対応して第１の記憶手段から選択される予測係数データと、第２の画像データ選択手段によって得られる画像データとの線型一次結合によって、注目点に画素を予測生成し、生成した画素を含むデータを、クラス値に対応して第２の記憶手段から選択される重み量データに従ってビットシフト処理を行うことにより、出力画像信号を推定するための演算処理を行う演算処理手段とを有し、
重み量データは、
出力画像信号に対応する所定の画像信号中の真の画素値と、第２の画像データ選択手段によって選択された画像データに対応する画像データとの線型一次結合の計算値との差を最小とするように予測係数を計算し、計算された予測係数のクラス毎の最大値をＭとしたときに、２ n-1 ＜Ｍ＜２ n の式を満たすｎの値が重み量データとしてクラス毎に決定され、
重み量データを用いて、クラス毎に所定のビット幅に収まるように、重み量データに等しいビット数のシフト処理を施すことによって予測係数が得られることを特徴とするテレビジョン信号受像機である。
【００１０】
請求項１０の発明は、入力画像信号から走査線構造の異なる出力画像信号を形成するようにしたテレビジョン信号受像機において、
所定の注目点に時間的または空間的に近傍に位置する画素を、入力画像信号から選択する第１の画像データ選択手段と、
第１の画像データ選択手段によって選択される画像データから、レベル分布のパターンを検出し、検出したパターンに基づいて注目点が属する空間クラスを示す空間クラス値を決定する空間クラス検出手段と、
入力画像信号から、入力画像信号内の複数のフレーム内において、注目点に時間的または空間的に近傍に位置する画素を選択する第２の画像データ選択手段と、
第２の画像データ選択手段によって選択される画像データから、フレーム間差分絶対値の総和を計算し、計算結果に基づいて動きを表す動きクラス値を決定する動きクラス検出手段と、
空間クラス値と動きクラス値とを合成してクラスを示すクラス値を生成するクラス合成手段と、
入力画像信号から、注目点を含み、注目点に時間的または空間的に近傍に位置する画素を選択する第３の画像データ選択手段と、
クラス毎に予め決定された予測係数データを記憶する第１の記憶手段と、
第１の記憶手段に記憶された予測係数データに対する重み量データを、クラス毎に記憶する第２の記憶手段と、
クラス値に対応して第１の記憶手段から選択される予測係数データと、第３の画像データ選択手段によって得られる画像データとの線型一次結合によって、注目点に画素を予測生成し、生成した画素を含むデータを、クラス値に対応して第２の記憶手段から選択される重み量データに従ってビットシフト処理を行うことにより、出力画像信号を推定するための演算処理を行う演算処理手段とを有し、
重み量データは、
出力画像信号に対応する所定の画像信号中の真の画素値と、第３の画像データ選択手段によって選択された画像データに対応する画像データとの線型一次結合の計算値との差を最小とするように予測係数を計算し、計算された予測係数のクラス毎の最大値をＭとしたときに、２ n-1 ＜Ｍ＜２ n の式を満たすｎの値が重み量データとしてクラス毎に決定され、
重み量データを用いて、クラス毎に所定のビット幅に収まるように、重み量データに等しいビット数のシフト処理を施すことによって予測係数が得られることを特徴とするテレビジョン信号受像機である。
【００１１】
以上のような発明によれば、重み量データに関連して、予測係数を表現する情報を所定ビット幅に収めるための処理（丸め処理）の結果として生成される係数データをに基づいて、予測生成のための演算処理を行うようにすることができる。
【００１２】
このため、クラスによって予測係数の値が大幅に変化する場合にも、係数データを記憶する係数メモリ内で各係数データに割り当てられるビット幅を増やす必要を無くすことができる。
【００１３】
【発明の実施の形態】
以下、この発明の一実施形態についての説明に先立ち、その前提となる画像情報変換処理について説明する。かかる処理は、標準解像度のディジタル画像信号（以下、ＳＤ信号と表記する）を高解像度の画像信号（ＨＤ信号と称されることがある）に変換して出力するものである。この際のＳＤ信号としては、例えばライン数が５２５本でインターレス方式の画像信号（以下、５２５ｉ信号と表記する）等が用いられる。また、高解像度の画像信号としては、例えばライン数が５２５本でプログレッシブ方式の出力映像信号（以下、５２５ｐ信号と表記する）等が用いられる。さらに、出力画像信号における水平方向の画素数が入力画像信号における水平方向の画素数の２倍とされる。
【００１４】
かかる画像情報変換処理においては、本願出願人の提案に係るクラス分類適応処理によって解像度を高めようとしている。クラス分類適応処理は、従来の補間処理によって高解像度信号を形成するものとは異なる。すなわち、クラス分類適応処理は、入力ＳＤ信号の信号レベルの３次元（時空間）分布に応じてクラス分割を行い、クラス毎に予め学習によって獲得された予測計数値を所定の記憶部に格納し、予測式に基づいた演算によって最適な推定値を出力する処理である。クラス分類適応処理によって、入力ＳＤ信号の解像度以上の解像度を得ることが可能となる。
【００１５】
このような処理によって得られる画像信号についてより詳細に説明する。図１は、１フィールドの画像の一部を拡大することによって、入力ＳＤ信号としての５２５ｉ信号を出力画像信号としての５２５ｐ信号に変換する画像情報変換処理における画素の配置の一例を示すものである。ここで、大きなドットが５２５ｉ信号の画素を示し、また、小さなドットが５２５ｐ信号の画素を示す。
【００１６】
５２５ｉ信号のラインと同一位置のラインデータｙ１（黒塗りの小さいドットとして示した）および５２５ｉ信号の上下のラインの中間位置のラインデータｙ２（白抜きの小さいドットとして示した）とが形成されることによって５２５ｐ信号が予測生成される。なお、図１は、あるフレームの奇数フィールドの画素配置を示している。他のフィールド（偶数フィールド）では、５２５ｉ信号および５２５ｐ信号の各ラインが空間的に０．５ラインずれることになる。
【００１７】
入力ＳＤ信号から、ラインデータｙ１、ｙ２についての空間クラスを検出するために必要なＳＤ画素（以下、空間クラスタップと表記する）の配置の一例を図２に示す。図２では、水平方向（左→右）に時間が進行する場合に、各フィールド内の画素を垂直方向に並べて示されている。
【００１８】
図示されているフィールドを、左から順にＦ−１／ｏ、Ｆ−１／ｅ、Ｆ／ｏ、Ｆ／ｅと表記する。なお、Ｆ−１／ｏは、「Ｆ−１番目のフレームの奇数（ｏｄｄ）番目の走査線からなるフィールド」である旨を示す表記である。同様に、Ｆ−１／ｅは、「Ｆ−１番目のフレームの偶数（ｅｖｅｎ）番目の走査線からなるフィールド」を意味し、Ｆ／ｏは、「Ｆ番目のフレームの奇数番目の走査線からなるフィールド」を意味し、また、Ｆ／ｅは、「Ｆ番目のフレームの偶数番目の走査線からなるフィールド」を意味する。
【００１９】
かかる一例においては、フィールドＦ／ｏ内のラインデータｙ１、ｙ２についての空間クラスタップとして、フィールドＦ−１／ｅ内のＴ５，Ｔ６，およびフィールドＦ／ｏ内のＴ２、Ｔ３、Ｔ４、並びにフィールドＦ／ｅ内のＴ１の全部で６個の画素値が使用される。但し、空間クラスタップの配置はこれに限定されるものでは無い。例えば、空間クラスタップとして、水平方向の複数の入力画素を使用しても良い。
【００２０】
上述したような画像情報変換処理を行うための一般的な構成の一例を図３に示す。以下の説明は、入力ＳＤ信号としての５２５ｉ信号を出力画像信号としての５２５ｐ信号に変換する処理系を例として行う。但し、他の画像信号形式を有する入力ＳＤ信号／出力画像信号間の画像情報変換処理も、同様な構成によって行うことができる。入力ＳＤ信号（５２５ｉ信号）がタップ選択回路１、６、７に供給される。
【００２１】
タップ選択回路１は、ラインデータｙ１，ｙ２を予測推定するための演算処理（後述する式（１）に従う演算処理）に必要とされる複数の画素が含まれる領域を切り出し、切り出した領域からラインデータｙ１，ｙ２を予測推定するために必要なＳＤ画素（以下、予測タップと表記する）を選択する。選択される予測タップが推定予測演算回路４に供給される。ここで、予測タップとしては、後述する空間クラスタップと同様なものを使用することができる。但し、予測精度を向上させるために、クラスに対応する予測タップ位置情報によって選択される。
【００２２】
また、推定予測演算回路４には、後述する係数メモリ１１からラインデータｙ１，ｙ２を予測推定するために必要な予測係数を供給される。推定予測演算回路４、５は、タップ選択回路１から供給される予測タップ、および係数メモリ１１から供給される予測係数に基づいて、以下の式（１）に従って画素値ｙを順次予測生成する。
【００２３】
ｙ＝ｗ1 ×ｘ1 ＋ｗ2 ×ｘ2 ＋‥‥＋ｗn ×ｘn （１）
ここで、ｘ1 ，‥‥，ｘn が各予測タップであり、ｗ1 ，‥‥，ｗn が各予測係数である。すなわち、式（１）は、ｎ個の予測タップを用いて画素値ｙを予測生成するための式である。画素値ｙの列として、ラインデータｙ１およびｙ２が予測生成される。
【００２４】
推定予測演算回路４は、ラインデータｙ１、ｙ２を線順序変換回路５に供給する。線順序変換回路５は、供給されるラインデータにライン倍速処理を施し、高解像度信号を生成する。この高解像度信号が最終的な出力画像信号とされる。図示しないが、出力画像信号がＣＲＴディスプレイに供給される。ＣＲＴディスプレイは、出力画像信号（５２５ｐ信号）を表示することが可能なように、その同期系が構成されている。また、入力ＳＤ信号としては、放送信号、またはＶＴＲ等の再生装置の再生信号が供給される。すなわち、この一実施形態をテレビジョン受像機等に内蔵することができる。
【００２５】
一方、タップ選択回路６は、入力ＳＤ信号から空間クラスタップを選択する。タップ選択回路６の出力が空間クラス検出回路８に供給される。また、タップ選択回路７は、入力ＳＤ信号から動きクラスを検出するために必要なＳＤ画素（以下、動きクラスタップと表記する）を選択する。タップ選択回路７の出力が動きクラス検出回路９に供給される。
【００２６】
空間クラス検出回路８は、供給される空間クラスタップに基づいて空間クラス値を検出し、検出した空間クラス値をクラス合成回路１０に供給する。また、動きクラス検出回路９は、供給される動きクラスタップに基づいて動きクラス値を検出し、検出した空間クラス値をクラス合成回路１０に供給する。
【００２７】
クラス合成回路１０は、空間クラス値と動きクラス値とを合成し、合成されたクラス値を係数メモリ１１に供給する。係数メモリ１１は、後述する学習によって予め決められた予測係数を記憶している。そして、クラス合成回路１０から供給される、合成されたクラス値によって指定される予測係数データを、推定予測演算回路４に対して出力する。このような出力を行うためには、合成されたクラス情報によって指定されるアドレスに沿って、係数メモリ１１に予測係数データを記憶しておく等の方法を用いれば良い。
【００２８】
ここで、空間クラス検出についてより詳細に説明する。一般に、空間クラス検出回路は、空間クラスタップのレベル分布のパターンに基づいて画像データのレベル分布の空間的パターンを検出し、検出した空間的パターンに基づいて空間クラス値を生成する。この場合、クラス数が膨大になることを防ぐために、各画素について８ビットの入力画素データをより少ないビット数のデータに圧縮するような処理を行う。このような情報圧縮処理の一例として、ＡＤＲＣ(Adaptive Dynamic Range Coding) を用いることができる。また、情報圧縮処理として、ＤＰＣＭ（予測符号化）、ＶＱ（ベクトル量子化）等を用いることもできる。
【００２９】
ＡＤＲＣは、本来、ＶＴＲ(Video Tape Recoder)向け高能率符号化用に開発された適応的再量子化法であるが、信号レベルの局所的なパターンを短い語長で効率的に表現できるので、この一形態では、ＡＤＲＣを空間クラス分類のコード発生に使用している。ＡＤＲＣは、空間クラスタップのダイナミックレンジをＤＲ，ビット割当をｎ，空間クラスタップの画素のデータレベルをＬ，再量子化コードをＱとして、以下の式（２）により、最大値ＭＡＸと最小値ＭＩＮとの間を指定されたビット長で均等に分割して再量子化を行う。
【００３０】
ＤＲ＝ＭＡＸ−ＭＩＮ＋１
Ｑ＝｛（Ｌ−ＭＩＮ＋０．５）×２／ＤＲ｝ （２）
但し、｛ ｝は切り捨て処理を意味する。
【００３１】
次に、動きクラス検出についてより詳細に説明する。動きクラス検出回路２１は、供給される動きクラスタップに基づいて、以下の式（３）に従ってフレーム間差分絶対値の平均値ｐａｒａｍを計算する。そして、計算したｐａｒａｍの値に基づいて、動きクラス値を検出する。
【００３２】
【数１】

Figure 0004193236
【００３３】
式（３）においてｎは動きクラスタップ数であり、例えばｎ＝６と設定することができる。そして、ｐａｒａｍの値と、予め設定されたしきい値とを比較することによって動きの指標である動きクラス値が決定される。例えば、ｐａｒａｍ≦２の場合には動きクラス値０、２＜ｐａｒａｍ≦４の場合には動きクラス値１、４＜ｐａｒａｍ≦８の場合には動きクラス値２、ｐａｒａｍ＞８の場合には動きクラス値３というように動きクラス値が生成される。動きクラス値０が動きが最小（静止）であり、動きクラス値１、２、３となるに従って動きが大きいものと判断される。なお、動きベクトルを検出し、検出した動きベクトルに基づいて動きクラスを検出しても良い。
【００３４】
次に、予測係数の生成に係る処理について説明する。図４に、予測係数生成処理系の構成の一例を示す。出力画像信号と同じ信号形式を有する既知の信号（例えば５２５ｐ信号）が間引きフィルタ２０、および正規方程式加算回路２７に供給される。間引きフィルタ５１は、水平方向および垂直方向で画素数がそれぞれ１／２とされ、全体として供給される信号の１／４の画素数を有するＳＤ信号（例えば５２５ｉ信号）を生成する。
【００３５】
かかる処理として、例えば、入力する画像信号について垂直方向の周波数が１／２になるように垂直間引きフィルタによって画素を間引き、さらに、水平方向の周波数が１／２になるように水平間引きフィルタによって画素を間引く等の処理が行われる。間引きフィルタ５１が生成するＳＤ信号がタップ選択回路２１、２２、２３に供給される。間引きフィルタ２０の特性を変えることによって学習の特性を変え、それによって、変換して得られる画像の画質を制御することができる。
【００３６】
タップ選択回路２１は、予測タップを選択し、選択した予測タップを正規方程式加算回路２７に供給する。また、タップ選択回路２２は、予測タップを選択し、選択した予測タップを空間クラス検出回路２４に供給する。一方、タップ選択回路２３は、予測タップを選択し、選択した予測タップを動きクラス検出回路２５に供給する。
【００３７】
空間クラス検出回路２４は、供給される空間クラスタップに基づいて空間クラス値を検出し、検出した空間クラス値をクラス合成回路２６に供給する。また、動きクラス検出回路２４は、供給される動きクラスタップに基づいて動きクラス値を検出し、検出した動きクラス値をクラス合成回路２６に供給する。クラス合成回路２６は、供給される空間クラス値および動きクラス値を合成し、合成したクラス値を正規方程式加算回路２７に供給する。
【００３８】
正規方程式加算回路２７は、予測係数を解とする正規方程式を解くための計算処理に使用されるデータを算出する。すなわち、正規方程式加算回路２７は、入力ＳＤ信号、タップ選択回路２１の出力、およびクラス合成回路２６の出力に基づいて加算処理を行うことにより、ラインデータｙ１，ｙ２の予測生成に使用される予測係数を解とする正規方程式を解くために必要なデータを算出する。
【００３９】
正規方程式加算回路２７が算出したデータが予測係数決定回路２８に供給される。予測係数決定回路２８は、供給されるデータに基づいて正規方程式を解くための計算処理を行い、ラインデータｙ１，ｙ２の予測生成に使用される予測係数を算出する。算出される予測係数が係数メモリ２９に供給され、記憶される。
【００４０】
ここで、正規方程式について説明する。上述したように、ｎ個の予測タップを使用して、ラインデータｙ１，ｙ２を構成する各画素は、上述の式（１）によって順次予測生成される。式（１）において、学習前は予測係数ｗ1 ，‥‥，ｗn が未定係数である。学習は、クラス毎に複数の入力画像信号データに対して行う。かかる入力画像信号データの総数をｍと表記する場合、式（１）に従って、以下の式（４）が設定される。
【００４１】
ｙk ＝ｗ1 ×ｘk1＋ｗ2 ×ｘk2＋‥‥＋ｗn ×ｘkn （４）
（ｋ＝１，２，‥‥，ｍ）
ｍ＞ｎの場合、予測係数ｗ1 ，‥‥，ｗn は一意に決まらないので、誤差ベクトルｅの要素ｅk を以下の式（５）で定義して、式（６）によって定義される誤差ベクトルｅを最小とするように予測係数を定めるようにする。すなわち、いわゆる最小２乗法によって予測係数を一意に定める。
【００４２】
ｅk ＝ｙk −｛ｗ1 ×ｘk1＋ｗ2 ×ｘk2＋‥‥＋ｗn ×ｘkn｝ （５）
（ｋ＝１，２，‥‥ｍ）
【００４３】
【数２】
Figure 0004193236
【００４４】
式（６）のｅ2 を最小とする予測係数を求めるための実際的な計算方法としては、ｅ2 を予測係数ｗi (i=1,2‥‥）で偏微分し（式（７））、ｉの各値について偏微分値が０となるように各予測係数ｗi を定めれば良い。
【００４５】
【数３】
Figure 0004193236
【００４６】
式（７）から各予測係数ｗi を定める具体的な手順について説明する。式（８）、（９）のようにＸji，Ｙi を定義すると、式（７）は、式（１０）の行列式の形に書くことができる。
【００４７】
【数４】
Figure 0004193236
【００４８】
【数５】
Figure 0004193236
【００４９】
【数６】
Figure 0004193236
【００５０】
式（１０）が一般に正規方程式と呼ばれるものである。正規方程式加算回路２７は、クラス合成回路２６から供給されたクラス情報、予測タップ選択回路２１から供給される予測タップ、および入力画像信号に基づいて、正規方程式データ、すなわち、式（８）、（９）に従うＸji，Ｙi の値を算出する。そして、算出した正規方程式データを予測係数決定部２８に供給する。予測係数決定部２８は、正規方程式データに基づいて、掃き出し法等の一般的な行列解法に従って正規方程式を解くための計算処理を行って予測係数ｗi を算出する。
【００５１】
上述したような一般的な画像情報変換処理において、予測係数の値は大きく変化する。このため、係数メモリ１１において予測係数を記憶するために、以下のような方法が用いられてきた。すなわち、予測係数の絶対値の最大値を求め、求めた最大値を表現できるビット幅を、各予測係数値を記憶するためのビット幅として割当てるようになされていた。
【００５２】
このようにして割当てられるビット幅は、以下のような理由で有効に使用されない場合がある。一般的に、クラス検出が適正に行われる場合には、特定のクラスの予測生成に使用される予測係数の総和が略１となり、個々の予測係数の値も１より大幅に大きくなることは無い。また、予測係数の値が大きく変動する場合には、入力画像信号から出力画像信号を的確に推定できない場合が多く、そのような予測係数を予測生成のために必要とするようなクラスが検出される割合は、通常、入力画像信号中の全画素数に比して非常に少ない。
【００５３】
このような状況においても、上述したように各予測係数に対して割当てられるビット幅を全予測係数の絶対値の最大値に基づいて決めるようにする場合には、入力画像信号に占める割合の小さいクラスによってビット幅の割当てが律則されることになる。このため、予測係数が１より大幅に大きくなることが無い、多数のクラスについて、割当てられるビット幅が有効に使用されないことがある。
【００５４】
そこで、この発明は、予測生成に使用される予測係数の最大値をクラス毎に検出し、検出した最大値に関連して、クラス毎の重み量を生成すると共に各予測係数を固定有効ビット幅に収める丸め処理を行うことによって予測係数データを生成するようにしたものである。このようにして生成される予測係数データを記憶するように構成することにより、メモリにおいて各予測係数について割り当てられるビット幅を有効に使用することが可能となる。そして、クラス毎の重み量を別途記憶し、この重み量を用いて丸め処理に対応する補償を行うことによって、予測生成を的確に行うことができる。
【００５５】
以下、この発明の一実施形態について、適宜図面を参照して説明する。一実施形態は、入力ＳＤ信号としての５２５ｉ信号を、出力画像信号としての５２５ｐ信号に変換する画像情報変換処理を行うものである。但し、他の画像信号形式を有する入力ＳＤ信号／出力画像信号間の変換を行う場合にも、この発明を適用することができる。
【００５６】
図５に、一実施形態における予測係数生成処理系の構成の一例を示す。ここで、図３等を参照して上述した一般的な予測係数生成処理系中の構成要素と同様な構成要素には、同一の符号を付した。予測係数決定回路２８によって生成される予測係数が最大値検出回路２９に供給される。最大値検出回路２９は、各クラス毎に、以下のような処理を行う。まず、予測係数の絶対値の最大値Ｍを検出し、検出した最大値Ｍを越える最小の２の巾乗を求める。すなわち、２n-1 ＜Ｍ＜２ nを満たすｎの値を求める。このｎの値を当該クラスに対する重み量データとして、重み量メモリ３０および丸め処理回路３１に供給する。丸め処理回路３１は、供給される重み量データを記憶する。また、各予測係数値は、最大値検出回路２９を介して丸め処理回路３１に供給される。
【００５７】
丸め処理回路３１は、供給される各予測係数の値を丸める処理をクラス毎に行う。まず、供給される重み量データｎを用いて、各予測係数値を２ nで割る演算を行う。すなわち、重み量ｎに等しいビット数だけ、各画素値を左にビットシフトする。さらに、かかる割り算の結果を例えば８ビット等の固定有効ビット幅に収めるために、例えば固定有効ビット幅以降のビットを以下の切り捨てる等の処理を行う。以上のような丸め処理によって得られる予測係数データが係数メモリ３２に供給される。なお、必要に応じて位取り等に関する情報を示すビットを付加しても良い。以上のようにして、全てのクラスについて、固定有効ビット幅に収められた値と、重み量データとの組合わせによって予測係数値が表現される。係数メモリ３２、重み量メモリ３０に記憶されたデータは、それぞれ、係数メモリ１１、重み量メモリ１２にロードされる。
【００５８】
次に、上述したようにして表現される予測係数値を使用した、画像情報変換処理について説明する。図６は、一実施形態における画像情報変換処理系の構成の一例を示すブロック図である。ここで、図３等を参照して上述した一般的な画像情報処理系中の構成要素と同様な構成要素には、同一の符号を付した。クラス合成回路１０が生成するクラス値は、係数メモリ１１に供給されると共に、重み量メモリ１２にも供給される。
【００５９】
係数メモリ１１は、供給されるクラス値によって指定される予測係数データを、推定予測演算回路４に対して出力する。また、重み量メモリ１２は、供給されるクラス値によって指定される重み量データを、ビットシフト処理回路５に対して出力する。このような出力を行うためには、クラス値によって指定されるアドレスに沿って、重み量メモリ１２に重み量データを記憶しておく等の方法を用いれば良い。
【００６０】
推定予測演算回路４は、上述したような演算処理を行うことによって予測生成したラインデータ値をビットシフト処理回路５に供給する。ビットシフト処理回路５は、供給される重み量データに従って、供給されるラインデータ値に対するビットシフト処理を行う。すなわち、重み量ｎに等しいビット数だけ、各画素値を右にビットシフトする。かかるビットシフト処理は、各画素値を２n 倍する演算処理であり、従って、ラインデータ値に対して、丸め処理に対応する補償がなされることになる。なお、必要に応じて位取り等に関する情報を示すビットに基づく処理を行うようにしても良い。かかる処理によって、ラインデータｙ１，ｙ２を的確に生成することができる。
【００６１】
なお、上述したこの発明の一実施形態では、空間クラスップの配置がｙ１，ｙ２について同一とされていた。これに対し、入力画像信号の走査線との位置関係の違いにに起因する予測生成の困難さの違いを考慮して、ｙ１、ｙ２について、異なる空間クラスップの配置が使用されることもある。すなわち、入力画像信号の走査線に対応する位置にあるラインデータｙ１の予測生成よりも、入力画像信号の走査線に対応する位置にないラインデータｙ２の予測生成の方が一般に困難であることを考慮して、ｙ２についてより多くの空間クラスタップが配置されることもある。このような場合にも、この発明を適用することができる。
【００６２】
また、この発明の一実施形態および他の実施形態は、５２５ｉ信号を５２５ｐ信号に変換するものであるが、５２５本のライン数は、一例であって、他のライン数であってもこの発明を適用することができる。例えば、入力ＳＤ信号における水平方向の画素数に対して、２倍以外の画素数を含むラインからなる出力画像信号を予測生成するようにしても良い。より具体的には、出力画像信号として１０５０ｉ信号、すなわち走査線数が１０５０本でインターレス方式の画像信号を予測生成する画像情報変換処理を行う場合に、この発明を適用することができる。
【００６３】
【発明の効果】
上述したように、この発明は、画像情報変換を行うに際して、クラス毎の予測係数データと共に、予測生成を行うための演算処理を行うようにしたものである。ここで、所定の方法で計算される予測係数に基づいてクラス毎に重み量データが検出される、また、かかる重み量データを使用した丸め処理によって、クラス毎の予測係数が所定ビット幅の予測係数データに変換される。
【００６４】
このため、クラスによって予測係数の値が大幅に変化する場合にも、係数メモリ内で予測係数に対応して割り当てられるビット幅を増やす必要が無く、各クラスについて最適な演算精度を確保することができる。従って、係数メモリの容量を増大させることなく、広範囲の予測係数値に対応することができる。
【００６５】
このため、画像情報変換によって得られる出力画像信号の品質を損なうことなく、予測係数に対応してメモリ内で割り当てられるビット幅を有効に使用することが可能となる。従って、予測係数に対応した記憶を行うためのメモリの総記憶容量を削減することが可能となる。このため、装置全体に関わる回路規模の縮小および低コスト化に寄与することができる。
【図面の簡単な説明】
【図１】この発明の一実施形態によってなされる画像情報変換処理における画素の配置の一例を示す略線図である。
【図２】この発明の一実施形態における、空間クラスタップ配置の一例を示す略線図である。
【図３】一般的な画像情報変換処理系の構成の一例を示すブロック図である。
【図４】一般的な予測係数算出処理系の構成の一例を示すブロック図である。
【図５】この発明の一実施形態における予測係数算出処理系の構成の一例を示すブロック図である。
【図６】この発明の一実施形態における画像情報変換処理系の構成の一例を示すブロック図である。
【符号の説明】
２９・・・最大値検出回路、３０・・・重み量メモリ、３１・・・丸め処理部、３２・・・係数メモリ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image information conversion apparatus, an image information conversion method, and a television receiver having a function of generating an image signal having a higher resolution from an input image signal.
[0002]
[Prior art]
For the purpose of obtaining an image signal having a higher resolution than the input image signal, an image information conversion process for forming an output image signal having a scanning line structure different from that of the input image signal is performed. As the image information conversion process, there is a class classification adaptive process in which class division is performed according to the three-dimensional (spatio-temporal) distribution of the signal level of the input image signal, and pixel prediction is performed by referring to the class value obtained thereby. Proposed.
[0003]
The calculation process related to the prediction generation is performed using a prediction coefficient determined by a predetermined calculation for each class. Therefore, it is necessary to store prediction coefficient data for expressing the prediction coefficient in a memory in the apparatus. In general, a bit width that can represent the maximum value of a prediction coefficient is used as a bit width assigned to each prediction coefficient in the memory. However, when the value of the prediction coefficient fluctuates greatly, there is a problem that a portion that is not used effectively increases in the allocated bit width.
[0004]
[Problems to be solved by the invention]
Accordingly, an object of the present invention is to provide an image information conversion apparatus that enables the bit width assigned in the memory to be used effectively corresponding to each prediction coefficient even when the value of the prediction coefficient varies greatly. An image information conversion method and a television receiver are provided.
[0005]
[Means for Solving the Problems]
According to a first aspect of the present invention, there is provided an image information conversion apparatus configured to form an output image signal having a different scanning line structure from an input image signal.
First image data selection means for selecting, from an input image signal, a pixel located in the vicinity of a predetermined attention point in time or space ;
Class detection means for detecting a level distribution pattern from image data selected by the first image data selection means, and determining a class value indicating a class to which the attention point belongs based on at least the detected pattern;
Second image data selection means for selecting, from the input image signal, a pixel that includes the point of interest and is located near the point of interest in terms of time or space ;
First storage means for storing prediction coefficient data predetermined for each class;
Second storage means for storing weight amount data for the prediction coefficient data stored in the first storage means for each class;
A pixel is predicted and generated by linear linear combination of prediction coefficient data selected from the first storage unit corresponding to the class value and image data obtained by the second image data selection unit. Arithmetic processing means for performing arithmetic processing for estimating an output image signal by performing bit shift processing on the data including the pixels in accordance with the weight amount data selected from the second storage means corresponding to the class value ; Yes, and
The weight data is
The difference between the true pixel value in the predetermined image signal corresponding to the output image signal and the calculated value of the linear linear combination between the image data corresponding to the image data selected by the second image data selection means is minimized. When the prediction coefficient is calculated so that the maximum value for each class of the calculated prediction coefficient is M, the value of n satisfying the expression 2 n-1 <M <2 n is used as the weight amount data for each class. Determined
An image information conversion apparatus characterized in that a prediction coefficient is obtained by performing a shift process with the same number of bits as the weight amount data so as to be within a predetermined bit width for each class using the weight amount data .
[0006]
According to a second aspect of the present invention, there is provided an image information conversion apparatus configured to form an output image signal having a different scanning line structure from an input image signal.
First image data selection means for selecting, from an input image signal, a pixel located in the vicinity of a predetermined attention point in time or space ;
Space class detecting means for detecting a level distribution pattern from image data selected by the first image data selecting means and determining a space class value indicating a space class to which the target point belongs based on the detected pattern;
Second image data selection means for selecting, from the input image signal, a pixel located in the vicinity of the point of interest temporally or spatially in a plurality of frames in the input image signal;
Motion class detection means for calculating a sum of absolute differences between frames from image data selected by the second image data selection means, and determining a motion class value representing motion based on the calculation result;
A class synthesis means for synthesizing the space class value and the motion class value to generate a class value indicating the class;
Third image data selection means for selecting, from the input image signal, a pixel that includes the point of interest and is located near the point of interest in terms of time or space ;
First storage means for storing prediction coefficient data predetermined for each class;
Second storage means for storing weight amount data for the prediction coefficient data stored in the first storage means for each class;
A pixel is predicted and generated at a target point by linear linear combination of prediction coefficient data selected from the first storage unit corresponding to the class value and image data obtained by the third image data selection unit. Arithmetic processing means for performing arithmetic processing for estimating an output image signal by performing bit shift processing on the data including the pixels in accordance with the weight amount data selected from the second storage means corresponding to the class value ; Yes, and
The weight data is
The difference between the true pixel value in the predetermined image signal corresponding to the output image signal and the calculated value of the linear linear combination between the image data corresponding to the image data selected by the third image data selection means is minimized. When the prediction coefficient is calculated so that the maximum value for each class of the calculated prediction coefficient is M, the value of n satisfying the expression 2 n-1 <M <2 n is used as the weight amount data for each class. Determined
An image information conversion apparatus characterized in that a prediction coefficient is obtained by performing a shift process with the same number of bits as the weight amount data so as to be within a predetermined bit width for each class using the weight amount data .
[0007]
The invention of claim 5 is an image information conversion method in which an output image signal having a different scanning line structure is formed from an input image signal.
A first image data selection step of selecting, from the input image signal, a pixel located in the vicinity of a predetermined point of interest temporally or spatially ;
A class detection step of detecting a level distribution pattern from the image data selected by the first image data selection step and determining a class value indicating a class to which the attention point belongs based on at least the detected pattern;
A second image data selection step for selecting, from the input image signal, a pixel that includes the point of interest and is located near the point of interest in terms of time or space ;
A first storage unit storing prediction coefficient data determined in advance for each class; a second storage unit storing weight amount data for the prediction coefficient data stored in the first storage unit for each class; A reading step for reading the prediction coefficient data and the weight amount data according to the class value;
By linear linear combination of the read prediction coefficient data and the image data obtained by the second image data selection means, a pixel is predicted and generated at the point of interest, and the data including the generated pixel is read in the reading step. by performing the bit shift processing in accordance with the weights data, it possesses an arithmetic processing step of performing arithmetic processing for estimating an output image signal,
The weight data is
The difference between the true pixel value in the predetermined image signal corresponding to the output image signal and the calculated value of linear linear combination between the image data corresponding to the image data selected in the second image data selection step is minimized. When the prediction coefficient is calculated so that the maximum value for each class of the calculated prediction coefficient is M, the value of n satisfying the expression 2 n-1 <M <2 n is used as the weight amount data for each class. Determined
The image information conversion method is characterized in that a prediction coefficient is obtained by performing a shift process with the same number of bits as the weight amount data so as to be within a predetermined bit width for each class using the weight amount data .
[0008]
The invention of claim 6 is an image information conversion method in which an output image signal having a different scanning line structure is formed from an input image signal.
A first image data selection step of selecting, from the input image signal, a pixel located in the vicinity of a predetermined point of interest temporally or spatially ;
A space class detection step of detecting a level distribution pattern from the image data selected in the first image data selection step, and determining a space class value indicating a space class to which the target point belongs based on the detected pattern;
A second image data selection step of selecting, from the input image signal, a pixel located in the vicinity of the point of interest temporally or spatially in a plurality of frames in the input image signal;
A motion class detection step for calculating a sum of absolute differences between frames from the image data selected in the second image data selection step, and determining a motion class value representing motion based on the calculation result;
A class synthesis step for synthesizing the space class value and the motion class value to generate a class value indicating the class;
A third image data selection step for selecting, from the input image signal, a pixel that includes the point of interest and is located near the point of interest in terms of time or space ;
A first storage unit storing prediction coefficient data determined in advance for each class; a second storage unit storing weight amount data for the prediction coefficient data stored in the first storage unit for each class; A reading step for reading prediction coefficient data and weight amount data according to the class value;
By linear linear combination of the read prediction coefficient data and the image data obtained by the third image data selection means, a pixel is predicted and generated at the target point, and the data including the generated pixel is read in the reading step. by performing the bit shift processing in accordance with the weights data, it possesses an arithmetic processing step of performing arithmetic processing for estimating an output image signal,
The difference between the true pixel value in the predetermined image signal corresponding to the output image signal and the calculated value of linear linear combination between the image data corresponding to the image data selected in the third image data selection step is minimized. When the prediction coefficient is calculated so that the maximum value for each class of the calculated prediction coefficient is M, the value of n satisfying the expression 2 n-1 <M <2 n is used as the weight amount data for each class. Determined
The image information conversion method is characterized in that a prediction coefficient is obtained by performing a shift process with the same number of bits as the weight amount data so as to be within a predetermined bit width for each class using the weight amount data .
[0009]
According to a ninth aspect of the present invention, there is provided a television signal receiver configured to form an output image signal having a different scanning line structure from an input image signal.
First image data selection means for selecting, from an input image signal, a pixel located in the vicinity of a predetermined attention point in time or space ;
Class detection means for detecting a level distribution pattern from image data selected by the first image data selection means, and determining a class value indicating a class to which the attention point belongs based on at least the detected pattern;
Second image data selection means for selecting, from the input image signal, a pixel that includes the point of interest and is located near the point of interest in terms of time or space ;
First storage means for storing prediction coefficient data predetermined for each class;
Second storage means for storing weight amount data for the prediction coefficient data stored in the first storage means for each class;
A pixel is predicted and generated by linear linear combination of prediction coefficient data selected from the first storage unit corresponding to the class value and image data obtained by the second image data selection unit. Arithmetic processing means for performing arithmetic processing for estimating an output image signal by performing bit shift processing on the data including the pixels in accordance with the weight amount data selected from the second storage means corresponding to the class value ; Have
The weight data is
The difference between the true pixel value in the predetermined image signal corresponding to the output image signal and the calculated value of the linear linear combination between the image data corresponding to the image data selected by the second image data selection means is minimized. When the prediction coefficient is calculated so that the maximum value for each class of the calculated prediction coefficient is M, the value of n satisfying the expression 2 n-1 <M <2 n is used as the weight amount data for each class. Determined
A television signal receiver characterized in that a prediction coefficient is obtained by performing a shift process with the same number of bits as the weight amount data so as to fit within a predetermined bit width for each class using the weight amount data. .
[0010]
According to a tenth aspect of the present invention, there is provided a television signal receiver configured to form an output image signal having a different scanning line structure from an input image signal.
First image data selection means for selecting, from an input image signal, a pixel located in the vicinity of a predetermined attention point in time or space ;
Space class detecting means for detecting a level distribution pattern from image data selected by the first image data selecting means and determining a space class value indicating a space class to which the target point belongs based on the detected pattern;
Second image data selection means for selecting, from the input image signal, a pixel located in the vicinity of the point of interest temporally or spatially in a plurality of frames in the input image signal;
Motion class detection means for calculating a sum of absolute differences between frames from image data selected by the second image data selection means, and determining a motion class value representing motion based on the calculation result;
A class synthesis means for synthesizing the space class value and the motion class value to generate a class value indicating the class;
Third image data selection means for selecting, from the input image signal, a pixel that includes the point of interest and is located near the point of interest in terms of time or space ;
First storage means for storing prediction coefficient data predetermined for each class;
Second storage means for storing weight amount data for the prediction coefficient data stored in the first storage means for each class;
A pixel is predicted and generated at a target point by linear linear combination of prediction coefficient data selected from the first storage unit corresponding to the class value and image data obtained by the third image data selection unit. Arithmetic processing means for performing arithmetic processing for estimating an output image signal by performing bit shift processing on the data including the pixels in accordance with the weight amount data selected from the second storage means corresponding to the class value ; Yes, and
The weight data is
The difference between the true pixel value in the predetermined image signal corresponding to the output image signal and the calculated value of the linear linear combination between the image data corresponding to the image data selected by the third image data selection means is minimized. When the prediction coefficient is calculated so that the maximum value for each class of the calculated prediction coefficient is M, the value of n satisfying the expression 2 n-1 <M <2 n is used as the weight amount data for each class. Determined
A television signal receiver characterized in that a prediction coefficient is obtained by performing a shift process with the same number of bits as the weight amount data so as to fit within a predetermined bit width for each class using the weight amount data. .
[0011]
According to the invention as described above, based on the coefficient data generated as a result of the process (rounding process) for storing the information representing the prediction coefficient within a predetermined bit width in relation to the weight amount data, the prediction is performed. Calculation processing for generation can be performed.
[0012]
For this reason, even when the value of the prediction coefficient varies greatly depending on the class, it is possible to eliminate the need to increase the bit width allocated to each coefficient data in the coefficient memory storing the coefficient data.
[0013]
DETAILED DESCRIPTION OF THE INVENTION
Prior to the description of an embodiment of the present invention, image information conversion processing that is the premise thereof will be described below. In this process, a standard resolution digital image signal (hereinafter referred to as an SD signal) is converted into a high resolution image signal (sometimes referred to as an HD signal) and output. As the SD signal at this time, for example, an interlaced image signal (hereinafter referred to as a 525i signal) having 525 lines is used. As the high-resolution image signal, for example, a progressive-type output video signal (hereinafter referred to as a 525p signal) having 525 lines is used. Further, the number of pixels in the horizontal direction in the output image signal is twice the number of pixels in the horizontal direction in the input image signal.
[0014]
In such image information conversion processing, resolution is being improved by class classification adaptation processing according to the proposal of the present applicant. The class classification adaptive processing is different from that in which high resolution signals are formed by conventional interpolation processing. In other words, the class classification adaptive processing performs class division according to the three-dimensional (spatio-temporal) distribution of the signal level of the input SD signal, and stores the predicted count value obtained by learning in advance for each class in a predetermined storage unit. This is a process of outputting an optimum estimated value by a calculation based on the prediction formula. With the class classification adaptive processing, it becomes possible to obtain a resolution higher than the resolution of the input SD signal.
[0015]
The image signal obtained by such processing will be described in detail. FIG. 1 shows an example of pixel arrangement in image information conversion processing for converting a 525i signal as an input SD signal into a 525p signal as an output image signal by enlarging a part of an image of one field. . Here, a large dot indicates a pixel of the 525i signal, and a small dot indicates a pixel of the 525p signal.
[0016]
Line data y1 (shown as small black dots) at the same position as the line of the 525i signal and line data y2 (shown as white small dots) between the upper and lower lines of the 525i signal are formed. As a result, a 525p signal is predicted and generated. FIG. 1 shows a pixel arrangement in an odd field of a certain frame. In the other field (even field), each line of the 525i signal and the 525p signal is spatially shifted by 0.5 lines.
[0017]
FIG. 2 shows an example of the arrangement of SD pixels (hereinafter referred to as space class taps) necessary for detecting the space class for the line data y1 and y2 from the input SD signal. In FIG. 2, when time advances in the horizontal direction (left to right), the pixels in each field are shown side by side in the vertical direction.
[0018]
The illustrated fields are expressed as F-1 / o, F-1 / e, F / o, and F / e in order from the left. F-1 / o is a notation indicating that the field is composed of an odd-numbered (odd) th scanning line of the F-1th frame. Similarly, F-1 / e means "a field made up of even-numbered (even) scan lines of the F-1th frame", and F / o means "odd-numbered scanlines of the Fth frame". "F / e" means "a field consisting of even-numbered scanning lines of the F-th frame".
[0019]
In such an example, T 5 , T 6 in field F-1 / e, and T 2 , T 3 , in field F / o, as space class taps for line data y 1 , y 2 in field F / o, A total of six pixel values are used for T4, as well as T1 in field F / e . However, the arrangement of the space class taps is not limited to this. For example, a plurality of horizontal input pixels may be used as the space class tap.
[0020]
An example of a general configuration for performing the image information conversion processing as described above is shown in FIG. In the following description, a processing system that converts a 525i signal as an input SD signal into a 525p signal as an output image signal will be described as an example. However, image information conversion processing between an input SD signal / output image signal having another image signal format can also be performed by a similar configuration. An input SD signal (525i signal) is supplied to the tap selection circuits 1, 6, and 7.
[0021]
The tap selection circuit 1 cuts out an area including a plurality of pixels required for calculation processing (calculation processing according to formula (1) described later) for predicting and estimating the line data y1 and y2, and performs line processing from the cut-out area. SD pixels (hereinafter referred to as prediction taps) necessary for predicting and estimating the data y1 and y2 are selected. The selected prediction tap is supplied to the estimated prediction calculation circuit 4. Here, as a prediction tap, the thing similar to the space class tap mentioned later can be used. However, in order to improve the prediction accuracy, it is selected by the prediction tap position information corresponding to the class.
[0022]
The estimated prediction calculation circuit 4 is supplied with prediction coefficients necessary for predicting and estimating the line data y1 and y2 from a coefficient memory 11 described later. Based on the prediction tap supplied from the tap selection circuit 1 and the prediction coefficient supplied from the coefficient memory 11, the estimated prediction calculation circuits 4 and 5 sequentially predict and generate pixel values y according to the following equation (1).
[0023]
y = w 1 × x 1 + w 2 × x 2 +... + w n × x n (1)
Here, x 1, ‥‥, x n is the prediction tap, w 1, ‥‥, w n are each prediction coefficient. That is, Expression (1) is an expression for predicting and generating the pixel value y using n prediction taps. Line data y1 and y2 are predicted and generated as a column of pixel values y.
[0024]
The estimated prediction calculation circuit 4 supplies the line data y1 and y2 to the line order conversion circuit 5. The line order conversion circuit 5 performs line double speed processing on the supplied line data to generate a high resolution signal. This high resolution signal is used as a final output image signal. Although not shown, an output image signal is supplied to the CRT display. The CRT display has a synchronous system so that an output image signal (525p signal) can be displayed. As the input SD signal, a broadcast signal or a reproduction signal of a reproduction device such as a VTR is supplied. That is, this embodiment can be incorporated in a television receiver or the like.
[0025]
On the other hand, the tap selection circuit 6 selects a space class tap from the input SD signal. The output of the tap selection circuit 6 is supplied to the space class detection circuit 8. The tap selection circuit 7 selects an SD pixel (hereinafter referred to as a motion class tap) necessary for detecting a motion class from the input SD signal. The output of the tap selection circuit 7 is supplied to the motion class detection circuit 9.
[0026]
The space class detection circuit 8 detects a space class value based on the supplied space class tap and supplies the detected space class value to the class synthesis circuit 10. The motion class detection circuit 9 detects a motion class value based on the supplied motion class tap and supplies the detected space class value to the class synthesis circuit 10.
[0027]
The class synthesis circuit 10 synthesizes the space class value and the motion class value, and supplies the synthesized class value to the coefficient memory 11. The coefficient memory 11 stores a prediction coefficient determined in advance by learning described later. Then, the prediction coefficient data specified by the synthesized class value supplied from the class synthesis circuit 10 is output to the estimated prediction calculation circuit 4. In order to perform such output, a method of storing prediction coefficient data in the coefficient memory 11 along an address specified by the synthesized class information may be used.
[0028]
Here, the space class detection will be described in more detail. In general, the spatial class detection circuit detects a spatial pattern of the level distribution of image data based on the level distribution pattern of the spatial class tap, and generates a spatial class value based on the detected spatial pattern. In this case, in order to prevent the number of classes from becoming enormous, processing for compressing 8-bit input pixel data into data having a smaller number of bits is performed for each pixel. As an example of such information compression processing, ADRC (Adaptive Dynamic Range Coding) can be used. Moreover, DPCM (predictive coding), VQ (vector quantization), etc. can also be used as information compression processing.
[0029]
ADRC is an adaptive requantization method originally developed for high-efficiency coding for VTR (Video Tape Recoder), but it can efficiently express local patterns of signal level with a short word length. In this form, ADRC is used to generate codes for spatial classification. In ADRC, the maximum value MAX and the minimum value are expressed by the following equation (2), where DR is the dynamic range of the space class tap, n is the bit allocation, L is the data level of the pixel of the space class tap, and Q is the requantization code. Requantization is performed by equally dividing the MIN with a specified bit length.
[0030]
DR = MAX-MIN + 1
Q = {(L−MIN + 0.5) × 2 / DR} (2)
However, {} means a truncation process.
[0031]
Next, motion class detection will be described in more detail. The motion class detection circuit 21 calculates the average value param of the inter-frame difference absolute value according to the following equation (3) based on the supplied motion class tap. Then, the motion class value is detected based on the calculated param value.
[0032]
[Expression 1]
Figure 0004193236
[0033]
In Equation (3), n is the number of motion class taps, and can be set to n = 6, for example. Then, a motion class value that is a motion index is determined by comparing the value of param with a preset threshold value. For example, motion class value 0 when param ≦ 2, motion class value 1 when 2 <param ≦ 4, motion class value 2 when 4 <param ≦ 8, motion when param> 8 A motion class value is generated, such as class value 3. It is determined that the motion class value 0 is the minimum (still) motion, and the motion class values 1, 2, and 3 increase the motion. Note that a motion vector may be detected, and a motion class may be detected based on the detected motion vector.
[0034]
Next, processing related to generation of a prediction coefficient will be described. FIG. 4 shows an example of the configuration of the prediction coefficient generation processing system. A known signal (for example, a 525p signal) having the same signal format as the output image signal is supplied to the thinning filter 20 and the normal equation adding circuit 27. The thinning filter 51 generates an SD signal (for example, a 525i signal) having the number of pixels halved in the horizontal direction and the vertical direction and having a ¼ pixel number of the signal supplied as a whole.
[0035]
As such processing, for example, the pixels are thinned out by a vertical thinning filter so that the frequency in the vertical direction of the input image signal becomes 1/2, and further, the pixels by the horizontal thinning filter so that the frequency in the horizontal direction becomes 1/2. Processing such as thinning out is performed. The SD signal generated by the thinning filter 51 is supplied to the tap selection circuits 21, 22, and 23. By changing the characteristic of the thinning filter 20, the characteristic of learning can be changed, and thereby the image quality of the image obtained by conversion can be controlled.
[0036]
The tap selection circuit 21 selects a prediction tap and supplies the selected prediction tap to the normal equation addition circuit 27. The tap selection circuit 22 selects a prediction tap and supplies the selected prediction tap to the space class detection circuit 24. On the other hand, the tap selection circuit 23 selects a prediction tap and supplies the selected prediction tap to the motion class detection circuit 25.
[0037]
The space class detection circuit 24 detects a space class value based on the supplied space class tap and supplies the detected space class value to the class synthesis circuit 26. The motion class detection circuit 24 detects a motion class value based on the supplied motion class tap, and supplies the detected motion class value to the class synthesis circuit 26. The class synthesis circuit 26 synthesizes the supplied space class value and motion class value, and supplies the synthesized class value to the normal equation addition circuit 27.
[0038]
The normal equation adding circuit 27 calculates data used for calculation processing for solving a normal equation having a prediction coefficient as a solution. In other words, the normal equation addition circuit 27 performs an addition process based on the input SD signal, the output of the tap selection circuit 21, and the output of the class synthesis circuit 26, so that the prediction used for the prediction generation of the line data y1 and y2 is performed. Data necessary for solving a normal equation with a coefficient as a solution is calculated.
[0039]
Data calculated by the normal equation addition circuit 27 is supplied to the prediction coefficient determination circuit 28. The prediction coefficient determination circuit 28 performs a calculation process for solving a normal equation based on the supplied data, and calculates a prediction coefficient used for prediction generation of the line data y1 and y2. The calculated prediction coefficient is supplied to the coefficient memory 29 and stored therein.
[0040]
Here, the normal equation will be described. As described above, using n prediction taps, the pixels constituting the line data y1 and y2 are sequentially predicted and generated by the above equation (1). In the formula (1), before learning prediction coefficients w 1, ‥‥, w n are undetermined coefficients. Learning is performed on a plurality of input image signal data for each class. When the total number of input image signal data is expressed as m, the following equation (4) is set according to equation (1).
[0041]
y k = w 1 × x k1 + w 2 × x k2 +... + w n × x kn (4)
(K = 1, 2,..., M)
When m> n, since the prediction coefficients w 1 ,..., w n are not uniquely determined, the element e k of the error vector e is defined by the following equation (5) and defined by the equation (6). The prediction coefficient is determined so as to minimize the error vector e. That is, the prediction coefficient is uniquely determined by a so-called least square method.
[0042]
e k = y k − {w 1 × x k1 + w 2 × x k2 +... + w n × x kn } (5)
(K = 1, 2, ... m)
[0043]
[Expression 2]
Figure 0004193236
[0044]
Equation e 2 (6) As a practical calculation method for determining the prediction coefficients to minimize the partial differentiation by the prediction coefficient w i (i = 1,2 ‥‥) the e 2 (formula (7) ), Each prediction coefficient w i may be determined so that the partial differential value becomes 0 for each value of i .
[0045]
[Equation 3]
Figure 0004193236
[0046]
A specific procedure for determining each prediction coefficient w i from Expression (7) will be described. If X ji and Y i are defined as in equations (8) and (9), equation (7) can be written in the form of the determinant of equation (10).
[0047]
[Expression 4]
Figure 0004193236
[0048]
[Equation 5]
Figure 0004193236
[0049]
[Formula 6]
Figure 0004193236
[0050]
Equation (10) is generally called a normal equation. Based on the class information supplied from the class synthesis circuit 26, the prediction tap supplied from the prediction tap selection circuit 21, and the input image signal, the normal equation addition circuit 27, that is, normal equation data, that is, Expressions (8), ( The values of X ji and Y i according to 9) are calculated. Then, the calculated normal equation data is supplied to the prediction coefficient determination unit 28. Based on the normal equation data, the prediction coefficient determination unit 28 calculates a prediction coefficient w i by performing a calculation process for solving the normal equation in accordance with a general matrix solving method such as a sweep-out method.
[0051]
In the general image information conversion process as described above, the value of the prediction coefficient changes greatly. For this reason, in order to store the prediction coefficient in the coefficient memory 11, the following method has been used. That is, the maximum absolute value of the prediction coefficient is obtained, and a bit width capable of expressing the obtained maximum value is assigned as a bit width for storing each prediction coefficient value.
[0052]
The bit width allocated in this way may not be used effectively for the following reasons. In general, when class detection is properly performed, the sum of prediction coefficients used for generating a prediction of a specific class is approximately 1, and the value of each prediction coefficient is not significantly larger than 1. . In addition, when the value of the prediction coefficient fluctuates greatly, the output image signal cannot be accurately estimated from the input image signal in many cases, and a class that requires such a prediction coefficient for prediction generation is detected. The ratio is usually very small compared to the total number of pixels in the input image signal.
[0053]
Even in such a situation, as described above, when the bit width allocated to each prediction coefficient is determined based on the maximum absolute value of all prediction coefficients, the proportion of the input image signal is small. Bit width allocation is regulated by class. For this reason, the allocated bit width may not be used effectively for a large number of classes in which the prediction coefficient is not significantly larger than 1.
[0054]
Therefore, the present invention detects the maximum value of the prediction coefficient used for prediction generation for each class, generates a weight amount for each class in relation to the detected maximum value, and sets each prediction coefficient to a fixed effective bit width. The prediction coefficient data is generated by performing the rounding process to fit in the above. By configuring so as to store the prediction coefficient data generated in this way, it is possible to effectively use the bit width assigned to each prediction coefficient in the memory. Then, by separately storing the weight amount for each class and performing compensation corresponding to the rounding process using this weight amount, prediction generation can be performed accurately.
[0055]
Hereinafter, an embodiment of the present invention will be described with reference to the drawings as appropriate. In one embodiment, an image information conversion process for converting a 525i signal as an input SD signal into a 525p signal as an output image signal is performed. However, the present invention can also be applied when converting between an input SD signal / output image signal having another image signal format.
[0056]
FIG. 5 shows an example of the configuration of a prediction coefficient generation processing system in one embodiment. Here, the same code | symbol was attached | subjected to the component similar to the component in the general prediction coefficient production | generation processing system mentioned above with reference to FIG. The prediction coefficient generated by the prediction coefficient determination circuit 28 is supplied to the maximum value detection circuit 29. The maximum value detection circuit 29 performs the following processing for each class. First, the maximum value M of the absolute value of the prediction coefficient is detected, and the minimum power of 2 that exceeds the detected maximum value M is obtained. That is, the value of n satisfying 2 n−1 <M <2 n is obtained. The value of n is supplied to the weight amount memory 30 and the rounding processing circuit 31 as weight amount data for the class. The rounding processing circuit 31 stores the supplied weight amount data. Each prediction coefficient value is supplied to the rounding circuit 31 via the maximum value detection circuit 29.
[0057]
The rounding processing circuit 31 performs processing for rounding the value of each supplied prediction coefficient for each class. First, using the supplied weight amount data n, an operation of dividing each prediction coefficient value by 2 n is performed. That is, each pixel value is bit-shifted to the left by the number of bits equal to the weight amount n. Furthermore, in order to fit the result of the division into a fixed effective bit width such as 8 bits, for example, processing such as the following truncation of bits after the fixed effective bit width is performed. Prediction coefficient data obtained by the rounding process as described above is supplied to the coefficient memory 32. In addition, you may add the bit which shows the information regarding a scale etc. as needed. As described above, the prediction coefficient value is expressed by the combination of the value stored in the fixed effective bit width and the weight amount data for all classes. The data stored in the coefficient memory 32 and the weight amount memory 30 are loaded into the coefficient memory 11 and the weight amount memory 12, respectively.
[0058]
Next, an image information conversion process using the prediction coefficient value expressed as described above will be described. FIG. 6 is a block diagram illustrating an example of a configuration of an image information conversion processing system in one embodiment. Here, the same components as those in the general image information processing system described above with reference to FIG. The class value generated by the class synthesis circuit 10 is supplied to the coefficient memory 11 and also to the weight amount memory 12.
[0059]
The coefficient memory 11 outputs prediction coefficient data specified by the supplied class value to the estimated prediction calculation circuit 4. Further, the weight amount memory 12 outputs weight amount data specified by the supplied class value to the bit shift processing circuit 5. In order to perform such output, a method of storing weight amount data in the weight amount memory 12 along the address specified by the class value may be used.
[0060]
The estimated prediction calculation circuit 4 supplies the line data value predicted and generated by performing the calculation processing as described above to the bit shift processing circuit 5. The bit shift processing circuit 5 performs a bit shift process on the supplied line data value according to the supplied weight amount data. That is, each pixel value is bit-shifted to the right by the number of bits equal to the weight amount n. Such a bit shift process is an arithmetic process for multiplying each pixel value by 2 n , and accordingly, compensation corresponding to the rounding process is performed on the line data value. It should be noted that processing based on a bit indicating information on the scale or the like may be performed as necessary. By such processing, the line data y1 and y2 can be generated accurately.
[0061]
In the above-described embodiment of the present invention, the arrangement of the space clasp is the same for y1 and y2. On the other hand, considering the difference in difficulty of predictive generation due to the difference in positional relationship between the input image signal and the scanning line, different spatial clasp arrangements may be used for y1 and y2. That is, it is generally more difficult to predict and generate line data y2 that is not at the position corresponding to the scanning line of the input image signal than to predict and generate line data y1 at the position corresponding to the scanning line of the input image signal. Considering, more space class taps may be arranged for y2. Even in such a case, the present invention can be applied.
[0062]
One embodiment and other embodiments of the present invention convert a 525i signal into a 525p signal. However, the number of 525 lines is an example, and the present invention can be applied to other numbers of lines. Can be applied. For example, an output image signal including a line including a number of pixels other than twice the number of pixels in the horizontal direction in the input SD signal may be predicted and generated. More specifically, the present invention can be applied to the case where image information conversion processing is performed to predict and generate an 1050i signal as an output image signal, that is, an interlaced image signal having 1050 scanning lines.
[0063]
【The invention's effect】
As described above, according to the present invention, when image information conversion is performed, arithmetic processing for performing prediction generation is performed together with prediction coefficient data for each class. Here, weight amount data is detected for each class based on a prediction coefficient calculated by a predetermined method, and the prediction coefficient for each class is predicted to have a predetermined bit width by rounding processing using the weight amount data. Converted to coefficient data.
[0064]
For this reason, even when the value of the prediction coefficient varies greatly depending on the class, it is not necessary to increase the bit width allocated to the prediction coefficient in the coefficient memory, and it is possible to ensure the optimum calculation accuracy for each class. it can. Accordingly, a wide range of prediction coefficient values can be handled without increasing the capacity of the coefficient memory.
[0065]
Therefore, it is possible to effectively use the bit width allocated in the memory corresponding to the prediction coefficient without deteriorating the quality of the output image signal obtained by the image information conversion. Therefore, it is possible to reduce the total storage capacity of the memory for performing storage corresponding to the prediction coefficient. For this reason, it is possible to contribute to reduction in circuit scale and cost reduction relating to the entire apparatus.
[Brief description of the drawings]
FIG. 1 is a schematic diagram illustrating an example of an arrangement of pixels in image information conversion processing performed according to an embodiment of the present invention.
FIG. 2 is a schematic diagram illustrating an example of a space class tap arrangement according to an embodiment of the present invention.
FIG. 3 is a block diagram illustrating an example of a configuration of a general image information conversion processing system.
FIG. 4 is a block diagram illustrating an example of a configuration of a general prediction coefficient calculation processing system.
FIG. 5 is a block diagram showing an example of a configuration of a prediction coefficient calculation processing system in one embodiment of the present invention.
FIG. 6 is a block diagram showing an example of the configuration of an image information conversion processing system in one embodiment of the present invention.
[Explanation of symbols]
29 ... Maximum value detection circuit, 30 ... Weight amount memory, 31 ... Rounding processing unit, 32 ... Coefficient memory

Claims (12)

入力画像信号から走査線構造の異なる出力画像信号を形成するようにした画像情報変換装置において、
所定の注目点に時間的または空間的に近傍に位置する画素を、入力画像信号から選択する第１の画像データ選択手段と、
上記第１の画像データ選択手段によって選択される画像データから、レベル分布のパターンを検出し、少なくとも検出した上記パターンに基づいて上記注目点が属するクラスを示すクラス値を決定するクラス検出手段と、
上記入力画像信号から、上記注目点を含み、上記注目点に時間的または空間的に近傍に位置する画素を選択する第２の画像データ選択手段と、
上記クラス毎に予め決定された予測係数データを記憶する第１の記憶手段と、
上記第１の記憶手段に記憶された予測係数データに対する重み量データを、上記クラス毎に記憶する第２の記憶手段と、
上記クラス値に対応して上記第１の記憶手段から選択される予測係数データと、上記第２の画像データ選択手段によって得られる画像データとの線型一次結合によって、上記注目点に画素を予測生成し、生成した上記画素を含むデータを、上記クラス値に対応して上記第２の記憶手段から選択される上記重み量データに従ってビットシフト処理を行うことにより、出力画像信号を推定するための演算処理を行う演算処理手段とを有し、
上記出力画像信号に対応する所定の画像信号中の真の画素値と、上記第２の画像データ選択手段によって選択された画像データに対応する画像データとの線型一次結合の計算値との差を最小とするように予測係数を計算し、計算された上記予測係数の上記クラス毎の最大値をＭとしたときに、２ n-1 ＜Ｍ＜２ n の式を満たすｎの値が上記重み量データとして上記クラス毎に決定され、
上記重み量データを用いて、上記クラス毎に所定のビット幅に収まるように、上記重み量データに等しいビット数のシフト処理を施すことによって上記予測係数が得られることを特徴とする画像情報変換装置。In an image information conversion apparatus configured to form an output image signal having a different scanning line structure from an input image signal,
First image data selection means for selecting, from an input image signal, a pixel located in the vicinity of a predetermined attention point in time or space ;
Class detection means for detecting a level distribution pattern from the image data selected by the first image data selection means and determining a class value indicating a class to which the attention point belongs based on at least the detected pattern;
Second image data selection means for selecting, from the input image signal, a pixel that includes the point of interest and is located near the point of interest in terms of time or space ;
First storage means for storing prediction coefficient data predetermined for each class;
Second storage means for storing weight data for the prediction coefficient data stored in the first storage means for each class;
Predictive generation of a pixel at the target point by linear linear combination of prediction coefficient data selected from the first storage unit corresponding to the class value and image data obtained by the second image data selection unit An operation for estimating the output image signal is performed by performing bit shift processing on the generated data including the pixels in accordance with the weight data selected from the second storage unit corresponding to the class value. It possesses an arithmetic processing means for processing,
A difference between a true pixel value in a predetermined image signal corresponding to the output image signal and a calculated value of linear linear combination between the image data corresponding to the image data selected by the second image data selection unit is calculated. When the prediction coefficient is calculated to be the minimum, and the maximum value for each class of the calculated prediction coefficient is M, the value of n satisfying the expression 2 n-1 <M <2 n is the weight. It is determined for each class as quantity data,
An image information conversion characterized in that the prediction coefficient is obtained by performing a shift process with the same number of bits as the weight amount data so as to be within a predetermined bit width for each class using the weight amount data. apparatus. 入力画像信号から走査線構造の異なる出力画像信号を形成するようにした画像情報変換装置において、
所定の注目点に時間的または空間的に近傍に位置する画素を、入力画像信号から選択する第１の画像データ選択手段と、
上記第１の画像データ選択手段によって選択される画像データから、レベル分布のパターンを検出し、検出した上記パターンに基づいて上記注目点が属する空間クラスを示す空間クラス値を決定する空間クラス検出手段と、
上記入力画像信号から、上記入力画像信号内の複数のフレーム内において、上記注目点に時間的または空間的に近傍に位置する画素を選択する第２の画像データ選択手段と、
上記第２の画像データ選択手段によって選択される画像データから、フレーム間差分絶対値の総和を計算し、計算結果に基づいて動きを表す動きクラス値を決定する動きクラス検出手段と、
上記空間クラス値と上記動きクラス値とを合成してクラスを示すクラス値を生成するクラス合成手段と、
上記入力画像信号から、上記注目点を含み、上記注目点に時間的または空間的に近傍に位置する画素を選択する第３の画像データ選択手段と、
上記クラス毎に予め決定された予測係数データを記憶する第１の記憶手段と、
上記第１の記憶手段に記憶された予測係数データに対する重み量データを、上記クラス毎に記憶する第２の記憶手段と、
上記クラス値に対応して上記第１の記憶手段から選択される予測係数データと、上記第３の画像データ選択手段によって得られる画像データとの線型一次結合によって、上記注目点に画素を予測生成し、生成した上記画素を含むデータを、上記クラス値に対応して上 記第２の記憶手段から選択される上記重み量データに従ってビットシフト処理を行うことにより、出力画像信号を推定するための演算処理を行う演算処理手段とを有し、
上記重み量データは、
上記出力画像信号に対応する所定の画像信号中の真の画素値と、上記第３の画像データ選択手段によって選択された画像データに対応する画像データとの線型一次結合の計算値との差を最小とするように予測係数を計算し、計算された上記予測係数の上記クラス毎の最大値をＭとしたときに、２ n-1 ＜Ｍ＜２ n の式を満たすｎの値が上記重み量データとして上記クラス毎に決定され、
上記重み量データを用いて、上記クラス毎に所定のビット幅に収まるように、上記重み量データに等しいビット数のシフト処理を施すことによって上記予測係数が得られることを特徴とする画像情報変換装置。In an image information conversion apparatus configured to form an output image signal having a different scanning line structure from an input image signal,
First image data selection means for selecting, from an input image signal, a pixel located in the vicinity of a predetermined attention point in time or space ;
A space class detection unit that detects a level distribution pattern from the image data selected by the first image data selection unit, and determines a space class value indicating a space class to which the attention point belongs based on the detected pattern. When,
Second image data selection means for selecting, from the input image signal, a pixel located in the vicinity of the point of interest temporally or spatially in a plurality of frames in the input image signal;
Motion class detection means for calculating a sum of absolute differences between frames from image data selected by the second image data selection means, and determining a motion class value representing motion based on the calculation result;
Class combining means for generating a class value indicating a class by combining the space class value and the motion class value;
Third image data selection means for selecting, from the input image signal, a pixel that includes the attention point and is located in the temporal or spatial vicinity of the attention point;
First storage means for storing prediction coefficient data predetermined for each class;
Second storage means for storing weight data for the prediction coefficient data stored in the first storage means for each class;
Predictive generation of a pixel at the target point by linear linear combination of prediction coefficient data selected from the first storage unit corresponding to the class value and image data obtained by the third image data selection unit and, the data including the generated the pixel, by performing the bit shift processing in accordance with the weighting amount data selected from upper Symbol second storage means in correspondence with the class value, for estimating the output image signal possess an arithmetic processing unit for performing arithmetic processing,
The weight data is
A difference between a true pixel value in the predetermined image signal corresponding to the output image signal and a calculated value of linear linear combination between the image data corresponding to the image data selected by the third image data selecting unit is calculated. When the prediction coefficient is calculated to be the minimum, and the maximum value for each class of the calculated prediction coefficient is M, the value of n satisfying the expression 2 n-1 <M <2 n is the weight. It is determined for each class as quantity data,
An image information conversion characterized in that the prediction coefficient is obtained by performing a shift process with the same number of bits as the weight amount data so as to be within a predetermined bit width for each class using the weight amount data. apparatus. 請求項２において、
上記入力画像信号は、
走査線数が５２５本のインターレス画像信号であり、
出力画像信号は、
走査線数が５２５本のプログレッシブ画像信号であることを特徴とする画像情報変換装置。In claim 2,
The input image signal is
Interlaced image signal with 525 scanning lines,
The output image signal is
An image information conversion apparatus characterized by being a progressive image signal having 525 scanning lines. 請求項２において、
上記入力画像信号は、
走査線数が５２５本のインターレス画像信号であり、
出力画像信号は、
走査線数が１０５０本のプログレッシブ画像信号であることを特徴とする画像情報変換装置。In claim 2,
The input image signal is
Interlaced image signal with 525 scanning lines,
The output image signal is
An image information conversion apparatus characterized by being a progressive image signal having 1050 scanning lines. 入力画像信号から走査線構造の異なる出力画像信号を形成するようにした画像情報変換方法において、
所定の注目点に時間的または空間的に近傍に位置する画素を、入力画像信号から選択する第１の画像データ選択ステップと、
上記第１の画像データ選択ステップによって選択される画像データから、レベル分布のパターンを検出し、少なくとも検出した上記パターンに基づいて上記注目点が属するクラスを示すクラス値を決定するクラス検出ステップと、
上記入力画像信号から、上記注目点を含み、上記注目点に時間的または空間的に近傍に位置する画素を選択する第２の画像データ選択ステップと、
上記クラス毎に予め決定された予測係数データが記憶された第１の記憶手段と、上記第１の記憶手段に記憶された予測係数データに対する重み量データが上記クラス毎に記憶された第２の記憶手段とから、上記クラス値に従って、上記予測係数データと上記重み量データとを読み出す読み出しステップと、
読み出された上記予測係数データと上記第２の画像データ選択手段によって得られる画像データとの線型一次結合によって、上記注目点に画素を予測生成し、生成した上記画素を含むデータを、上記読み出しステップにおいて読み出された上記重み量データに従ってビットシフト処理を行うことにより、出力画像信号を推定するための演算処理を行う演算処理ステップとを有し、
上記重み量データは、
上記出力画像信号に対応する所定の画像信号中の真の画素値と、上記第２の画像データ選択ステップによって選択された画像データに対応する画像データとの線型一次結合の計算値との差を最小とするように予測係数を計算し、計算された上記予測係数の上記クラス毎の最大値をＭとしたときに、２ n-1 ＜Ｍ＜２ n の式を満たすｎの値が上記重み量データとして上記クラス毎に決定され、
上記重み量データを用いて、上記クラス毎に所定のビット幅に収まるように、上記重み量データに等しいビット数のシフト処理を施すことによって上記予測係数が得られることを特徴とする画像情報変換方法。In an image information conversion method in which an output image signal having a different scanning line structure is formed from an input image signal,
A first image data selection step of selecting, from the input image signal, a pixel located in the vicinity of a predetermined point of interest temporally or spatially ;
A class detection step of detecting a level distribution pattern from the image data selected by the first image data selection step and determining a class value indicating a class to which the attention point belongs based on at least the detected pattern;
A second image data selection step for selecting, from the input image signal, a pixel that includes the attention point and is located in the temporal or spatial vicinity of the attention point;
First storage means storing prediction coefficient data determined in advance for each class, and second weight amount data for prediction coefficient data stored in the first storage means is stored for each class. A reading step of reading out the prediction coefficient data and the weight amount data according to the class value from a storage unit;
A pixel is predicted and generated at the attention point by linear linear combination of the read prediction coefficient data and the image data obtained by the second image data selection unit, and the data including the generated pixel is read. by performing the bit shift processing in accordance with the weighting amount data read out in step, possess an arithmetic processing step of performing arithmetic processing for estimating an output image signal,
The weight data is
The difference between the true pixel value in the predetermined image signal corresponding to the output image signal and the calculated value of linear linear combination between the image data corresponding to the image data selected in the second image data selection step is When the prediction coefficient is calculated to be the minimum, and the maximum value for each class of the calculated prediction coefficient is M, the value of n satisfying the expression 2 n-1 <M <2 n is the weight. It is determined for each class as quantity data,
An image information conversion characterized in that the prediction coefficient is obtained by performing a shift process with the same number of bits as the weight amount data so as to be within a predetermined bit width for each class using the weight amount data. Method. 入力画像信号から走査線構造の異なる出力画像信号を形成するようにした画像情報変換方法において、
所定の注目点に時間的または空間的に近傍に位置する画素を、入力画像信号から選択する第１の画像データ選択ステップと、
上記第１の画像データ選択ステップによって選択される画像データから、レベル分布のパターンを検出し、検出した上記パターンに基づいて上記注目点が属する空間クラスを示す空間クラス値を決定する空間クラス検出ステップと、
上記入力画像信号から、上記入力画像信号内の複数のフレーム内において、上記注目点に時間的または空間的に近傍に位置する画素を選択する第２の画像データ選択ステップと、
上記第２の画像データ選択ステップによって選択される画像データから、フレーム間差分絶対値の総和を計算し、計算結果に基づいて動きを表す動きクラス値を決定する動きクラス検出ステップと、
上記空間クラス値と上記動きクラス値とを合成してクラスを示すクラス値を生成するクラス合成ステップと、
上記入力画像信号から、上記注目点を含み、上記注目点に時間的または空間的に近傍に位置する画素を選択する第３の画像データ選択ステップと、
上記クラス毎に予め決定された予測係数データが記憶された第１の記憶手段と、上記第１の記憶手段に記憶された予測係数データに対する重み量データが上記クラス毎に記憶された第２の記憶手段とから、上記クラス値に従って、上記予測係数データと上記重み量データとを読み出す読出しステップと、
読み出された上記予測係数データと上記第３の画像データ選択手段によって得られる画像データとの線型一次結合によって、上記注目点に画素を予測生成し、生成した上記画素を含むデータを、上記読み出しステップにおいて読み出された上記重み量データに従ってビットシフト処理を行うことにより、出力画像信号を推定するための演算処理を行う演算処理ステップとを有し、
上記出力画像信号に対応する所定の画像信号中の真の画素値と、上記第３の画像データ選択ステップによって選択された画像データに対応する画像データとの線型一次結合の計算値との差を最小とするように予測係数を計算し、計算された上記予測係数の上記クラス毎の最大値をＭとしたときに、２ n-1 ＜Ｍ＜２ n の式を満たすｎの値が上記重み量データとして上記クラス毎に決定され、
上記重み量データを用いて、上記クラス毎に所定のビット幅に収まるように、上記重み量データに等しいビット数のシフト処理を施すことによって上記予測係数が得られることを特徴とする画像情報変換方法。In an image information conversion method in which an output image signal having a different scanning line structure is formed from an input image signal,
A first image data selection step of selecting, from the input image signal, a pixel located in the vicinity of a predetermined point of interest temporally or spatially ;
A space class detection step of detecting a level distribution pattern from the image data selected in the first image data selection step and determining a space class value indicating a space class to which the attention point belongs based on the detected pattern. When,
A second image data selection step of selecting, from the input image signal, a pixel located near the point of interest temporally or spatially in a plurality of frames in the input image signal;
A motion class detection step of calculating a sum of absolute differences between frames from the image data selected by the second image data selection step, and determining a motion class value representing motion based on the calculation result;
A class combining step for generating a class value indicating a class by combining the space class value and the motion class value;
A third image data selection step for selecting, from the input image signal, a pixel that includes the attention point and is located in the temporal or spatial vicinity of the attention point;
First storage means storing prediction coefficient data determined in advance for each class, and second weight amount data for prediction coefficient data stored in the first storage means is stored for each class. A reading step of reading out the prediction coefficient data and the weight data according to the class value from a storage unit;
A pixel is predicted and generated at the attention point by linear linear combination of the read prediction coefficient data and the image data obtained by the third image data selection unit, and the data including the generated pixel is read. by performing the bit shift processing in accordance with the weighting amount data read out in step, possess an arithmetic processing step of performing arithmetic processing for estimating an output image signal,
A difference between a true pixel value in a predetermined image signal corresponding to the output image signal and a calculated value of linear linear combination between the image data corresponding to the image data selected in the third image data selection step is calculated. When the prediction coefficient is calculated to be the minimum, and the maximum value for each class of the calculated prediction coefficient is M, the value of n satisfying the expression 2 n-1 <M <2 n is the weight. It is determined for each class as quantity data,
An image information conversion characterized in that the prediction coefficient is obtained by performing a shift process with the same number of bits as the weight amount data so as to be within a predetermined bit width for each class using the weight amount data. Method. 請求項６において、
上記入力画像信号は、
走査線数が５２５本のインターレス画像信号であり、
出力画像信号は、
走査線数が５２５本のプログレッシブ画像信号であることを特徴とする画像情報変換方法。In claim 6 ,
The input image signal is
Interlaced image signal with 525 scanning lines,
The output image signal is
An image information conversion method characterized by being a progressive image signal having 525 scanning lines. 請求項６において、
上記入力画像信号は、
走査線数が５２５本のインターレス画像信号であり、
出力画像信号は、
走査線数が１０５０本のプログレッシブ画像信号であることを特徴とする画像情報変換方法。In claim 6 ,
The input image signal is
Interlaced image signal with 525 scanning lines,
The output image signal is
An image information conversion method characterized by being a progressive image signal having 1050 scanning lines. 入力画像信号から走査線構造の異なる出力画像信号を形成するようにしたテレビジョン信号受像機において、
所定の注目点に時間的または空間的に近傍に位置する画素を、入力画像信号から選択する第１の画像データ選択手段と、
上記第１の画像データ選択手段によって選択される画像データから、レベル分布のパターンを検出し、少なくとも検出した上記パターンに基づいて上記注目点が属するクラスを示すクラス値を決定するクラス検出手段と、
上記入力画像信号から、上記注目点を含み、上記注目点に時間的または空間的に近傍に位置する画素を選択する第２の画像データ選択手段と、
上記クラス毎に予め決定された予測係数データを記憶する第１の記憶手段と、
上記第１の記憶手段に記憶された予測係数データに対する重み量データを、上記クラス毎に記憶する第２の記憶手段と、
上記クラス値に対応して上記第１の記憶手段から選択される予測係数データと、上記第２の画像データ選択手段によって得られる画像データとの線型一次結合によって、上記注目点に画素を予測生成し、生成した上記画素を含むデータを、上記クラス値に対応して上記第２の記憶手段から選択される上記重み量データに従ってビットシフト処理を行うことにより、出力画像信号を推定するための演算処理を行う演算処理手段とを有し、
上記重み量データは、
上記出力画像信号に対応する所定の画像信号中の真の画素値と、上記第２の画像データ選択手段によって選択された画像データに対応する画像データとの線型一次結合の計算値との差を最小とするように予測係数を計算し、計算された上記予測係数の上記クラス毎の最大値をＭとしたときに、２ n-1 ＜Ｍ＜２ n の式を満たすｎの値が上記重み量データとして上記クラス毎に決定され、
上記重み量データを用いて、上記クラス毎に所定のビット幅に収まるように、上記重み量データに等しいビット数のシフト処理を施すことによって上記予測係数が得られることを特徴とするテレビジョン信号受像機。In a television signal receiver configured to form an output image signal having a different scanning line structure from an input image signal,
First image data selection means for selecting, from an input image signal, a pixel located in the vicinity of a predetermined attention point in time or space ;
Class detection means for detecting a level distribution pattern from the image data selected by the first image data selection means and determining a class value indicating a class to which the attention point belongs based on at least the detected pattern;
Second image data selection means for selecting, from the input image signal, a pixel that includes the point of interest and is located near the point of interest in terms of time or space ;
First storage means for storing prediction coefficient data predetermined for each class;
Second storage means for storing weight data for the prediction coefficient data stored in the first storage means for each class;
Predictive generation of a pixel at the target point by linear linear combination of prediction coefficient data selected from the first storage unit corresponding to the class value and image data obtained by the second image data selection unit An operation for estimating the output image signal is performed by performing bit shift processing on the generated data including the pixels in accordance with the weight data selected from the second storage unit corresponding to the class value. Arithmetic processing means for performing processing,
The weight data is
A difference between a true pixel value in a predetermined image signal corresponding to the output image signal and a calculated value of linear linear combination between the image data corresponding to the image data selected by the second image data selection unit is calculated. When the prediction coefficient is calculated to be the minimum, and the maximum value for each class of the calculated prediction coefficient is M, the value of n satisfying the expression 2 n-1 <M <2 n is the weight. It is determined for each class as quantity data,
A television signal characterized in that the prediction coefficient is obtained by performing a shift process with the same number of bits as the weight amount data so as to be within a predetermined bit width for each class using the weight amount data. Receiver. 入力画像信号から走査線構造の異なる出力画像信号を形成するようにしたテレビジョン信号受像機において、
所定の注目点に時間的または空間的に近傍に位置する画素を、入力画像信号から選択する第１の画像データ選択手段と、
上記第１の画像データ選択手段によって選択される画像データから、レベル分布のパターンを検出し、検出した上記パターンに基づいて上記注目点が属する空間クラスを示す空間クラス値を決定する空間クラス検出手段と、
上記入力画像信号から、上記入力画像信号内の複数のフレーム内において、上記注目点に時間的または空間的に近傍に位置する画素を選択する第２の画像データ選択手段と、
上記第２の画像データ選択手段によって選択される画像データから、フレーム間差分絶対値の総和を計算し、計算結果に基づいて動きを表す動きクラス値を決定する動きクラス検出手段と、
上記空間クラス値と上記動きクラス値とを合成してクラスを示すクラス値を生成するクラス合成手段と、
上記入力画像信号から、上記注目点を含み、上記注目点に時間的または空間的に近傍に位置する画素を選択する第３の画像データ選択手段と、
上記クラス毎に予め決定された予測係数データを記憶する第１の記憶手段と、
上記第１の記憶手段に記憶された予測係数データに対する重み量データを、上記クラス毎に記憶する第２の記憶手段と、
上記クラス値に対応して上記第１の記憶手段から選択される予測係数データと、上記第 ３の画像データ選択手段によって得られる画像データとの線型一次結合によって、上記注目点に画素を予測生成し、生成した上記画素を含むデータを、上記クラス値に対応して上記第２の記憶手段から選択される上記重み量データに従ってビットシフト処理を行うことにより、出力画像信号を推定するための演算処理を行う演算処理手段とを有し、
上記重み量データは、
上記出力画像信号に対応する所定の画像信号中の真の画素値と、上記第３の画像データ選択手段によって選択された画像データに対応する画像データとの線型一次結合の計算値との差を最小とするように予測係数を計算し、計算された上記予測係数の上記クラス毎の最大値をＭとしたときに、２ n-1 ＜Ｍ＜２ n の式を満たすｎの値が上記重み量データとして上記クラス毎に決定され、
上記重み量データを用いて、上記クラス毎に所定のビット幅に収まるように、上記重み量データに等しいビット数のシフト処理を施すことによって上記予測係数が得られることを特徴とするテレビジョン信号受像機。In a television signal receiver configured to form an output image signal having a different scanning line structure from an input image signal,
First image data selection means for selecting, from an input image signal, a pixel located in the vicinity of a predetermined attention point in time or space ;
A space class detection unit that detects a level distribution pattern from the image data selected by the first image data selection unit, and determines a space class value indicating a space class to which the attention point belongs based on the detected pattern. When,
Second image data selection means for selecting, from the input image signal, a pixel located in the vicinity of the point of interest temporally or spatially in a plurality of frames in the input image signal;
Motion class detection means for calculating a sum of absolute differences between frames from image data selected by the second image data selection means, and determining a motion class value representing motion based on the calculation result;
Class combining means for generating a class value indicating a class by combining the space class value and the motion class value;
Third image data selection means for selecting, from the input image signal, a pixel that includes the attention point and is located in the temporal or spatial vicinity of the attention point;
First storage means for storing prediction coefficient data predetermined for each class;
Second storage means for storing weight data for the prediction coefficient data stored in the first storage means for each class;
Predictive generation of a pixel at the target point by linear linear combination of prediction coefficient data selected from the first storage unit corresponding to the class value and image data obtained by the third image data selection unit An operation for estimating the output image signal is performed by performing bit shift processing on the generated data including the pixels in accordance with the weight data selected from the second storage unit corresponding to the class value. It possesses an arithmetic processing means for processing,
The weight data is
A difference between a true pixel value in the predetermined image signal corresponding to the output image signal and a calculated value of linear linear combination between the image data corresponding to the image data selected by the third image data selecting unit is calculated. When the prediction coefficient is calculated to be the minimum, and the maximum value for each class of the calculated prediction coefficient is M, the value of n satisfying the expression 2 n-1 <M <2 n is the weight. It is determined for each class as quantity data,
A television signal characterized in that the prediction coefficient is obtained by performing a shift process with the same number of bits as the weight amount data so as to be within a predetermined bit width for each class using the weight amount data. Receiver. 請求項１０において、
上記入力画像信号は、
走査線数が５２５本のインターレス画像信号であり、
出力画像信号は、
走査線数が５２５本のプログレッシブ画像信号であることを特徴とするテレビジョン信号受像機。In claim 10 ,
The input image signal is
Interlaced image signal with 525 scanning lines,
The output image signal is
A television signal receiver characterized by being a progressive image signal having 525 scanning lines. 請求項１０において、
上記入力画像信号は、
走査線数が５２５本のインターレス画像信号であり、
出力画像信号は、
走査線数が１０５０本のプログレッシブ画像信号であることを特徴とするテレビジョン信号受像機。In claim 10 ,
The input image signal is
Interlaced image signal with 525 scanning lines,
The output image signal is
A television signal receiver characterized by being a progressive image signal having 1050 scanning lines.
JP23885798A 1998-08-25 1998-08-25 Image information conversion apparatus, image information conversion method, and television receiver Expired - Fee Related JP4193236B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP23885798A JP4193236B2 (en) 1998-08-25 1998-08-25 Image information conversion apparatus, image information conversion method, and television receiver

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP23885798A JP4193236B2 (en) 1998-08-25 1998-08-25 Image information conversion apparatus, image information conversion method, and television receiver

Publications (3)

Publication Number Publication Date
JP2000069433A JP2000069433A (en) 2000-03-03
JP2000069433A5 JP2000069433A5 (en) 2005-09-08
JP4193236B2 true JP4193236B2 (en) 2008-12-10

Family

ID=17036300

Family Applications (1)

Application Number Title Priority Date Filing Date
JP23885798A Expired - Fee Related JP4193236B2 (en) 1998-08-25 1998-08-25 Image information conversion apparatus, image information conversion method, and television receiver

Country Status (1)

Country Link
JP (1) JP4193236B2 (en)

Also Published As

Publication number Publication date
JP2000069433A (en) 2000-03-03

Similar Documents

Publication Publication Date Title
US7397512B2 (en) Information signal processing apparatus, picture information converting apparatus, and picture displaying apparatus
JP4147632B2 (en) Image information conversion apparatus, image information conversion method, and television receiver
JP4131048B2 (en) Image information conversion apparatus, conversion method, and image display apparatus
JP4168490B2 (en) Motion determination device, method and image information conversion device
JP3946781B2 (en) Image information conversion apparatus and method
JP4193233B2 (en) Motion determination device, method and image information conversion device
JP4300603B2 (en) Image information conversion apparatus and method
JP4099555B2 (en) Image information converter
JP4140091B2 (en) Image information conversion apparatus and image information conversion method
JP4193236B2 (en) Image information conversion apparatus, image information conversion method, and television receiver
JP2001339695A (en) Image signal processor and image signal processing method
JP4123587B2 (en) Image information processing apparatus and method
JP4470324B2 (en) Image signal conversion apparatus and method
JP4078719B2 (en) Image information conversion apparatus, conversion method, and image display apparatus
JP3800638B2 (en) Image information conversion apparatus and method
JP3480011B2 (en) Image information conversion device
JP4099554B2 (en) Image information conversion apparatus and image information conversion method
JP4310847B2 (en) Image information conversion apparatus and conversion method
JP3653287B2 (en) Image information conversion apparatus and image information conversion method
JP4001143B2 (en) Coefficient generation apparatus and method
JP4154768B2 (en) Image information conversion device and image display device
JP4042121B2 (en) Image information processing apparatus and image information processing method
JP2000092454A (en) Device and method for image information conversion
JPH07193791A (en) Picture information converter

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050310

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050310

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070918

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080902

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080915

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111003

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121003

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131003

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees