JP4438113B2 - 画像情報変換装置、画像情報変換方法および表示装置 - Google Patents
画像情報変換装置、画像情報変換方法および表示装置 Download PDFInfo
- Publication number
- JP4438113B2 JP4438113B2 JP00272799A JP272799A JP4438113B2 JP 4438113 B2 JP4438113 B2 JP 4438113B2 JP 00272799 A JP00272799 A JP 00272799A JP 272799 A JP272799 A JP 272799A JP 4438113 B2 JP4438113 B2 JP 4438113B2
- Authority
- JP
- Japan
- Prior art keywords
- image signal
- signal
- output
- fields
- per unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Television Systems (AREA)
- Controls And Circuits For Display Device (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、入力画像信号から単位時間当たりのフィールド数の異なる出力画像信号を形成する画像情報変換装置、画像情報変換方法および表示装置に関する。
【０００２】
【従来の技術】
入力する標準解像度信号（以下、入力ＳＤ信号と表記する）を、補間等の処理を行うことによってフィールド周波数が２倍である出力画像信号に変換するフィールド倍速処理が従来から行われている。フィールド倍速処理における画素の位置関係の一例を図２２に示す。ここで、横軸は時間、縦軸は垂直画素を示す。また、四角形で示した入力ＳＤ信号は５０フィールド／秒のインターレース画像信号であり、丸で示した出力画像信号は１００フィールド／秒のインターレース画像信号である。
【０００３】
入力ＳＤ信号はインターレース画像信号なので、入力ＳＤ信号中のフィールドｔ，ｔ＋１‥‥において隣り合うフィールド間では垂直方向の画素位置が異なる。このため、インターレース性を保ちながら入力ＳＤ信号の各フィールド間に１個ずつのフィールドを生成することはできない。そこで、図２２に示す一例においては、フィールドｔ，ｔ＋１の間に２個のフィールドｕ１，ｕ２を生成し、フィールドｔ＋１、ｔ＋２の間ではフィールドの生成を行わない。さらに、フィールドｔ＋２，ｔ＋３の間に２枚のフィールドｕ３，ｕ４を生成する。このように、入力ＳＤ信号のフィールド間に２枚の画像が生成される部分と全く生成されない部分とが交互に現れるようにすることによってフィールド倍速処理が行われる。
【０００４】
入力ＳＤ信号のフィールド間に生成されるフィールドｕ１，ｕ２‥‥内の各画素値は、各々の画素の周囲３画素の中間値として、メディアン・フィルタ等を用いて生成することができる。このようなフィールド倍速処理によって単位時間当たりの画面枚数を増やすことができるので、多くの場合、画面のちらつきを抑えることができる。
【０００５】
【発明が解決しようとする課題】
上述したような方法においては、出力画像の時間間隔が一定とならない。また、生成画素は、入力ＳＤ信号内の画素の内からメディアン・フィルタで中央の画素値を選択したものなので、入力ＳＤ信号が動画像信号である場合には入力ＳＤ信号内の画素と同じ画素が生成画素とされることになる。従って、出力画像信号は、入力ＳＤ信号に比較してフィールド数が増えるが動画像として不自然なものとなる傾向がある。さらに、垂直解像度が大きい入力ＳＤ信号に対しては、静止画でも誤動作する。その結果として、垂直解像度が大きい入力ＳＤ信号が入力される場合には、出力画像信号においてちらつきが増大してしまう。
【０００６】
従って、この発明の目的は、特に動画像信号や垂直解像度が大きい画像信号が入力する場合に、単位時間当たりのフィールド数の変化を伴う画像情報変換を行うに際して良好な画質を得ることが可能な画像情報変換装置、画像情報変換方法および表示装置を提供することにある。
【０００７】
【課題を解決するための手段】
請求項１の発明は、入力画像信号に対して単位時間当たりのフィールド数が整数倍で、入力画像信号とライン間隔が等しく、隣接するフィールド間において、垂直方向の画素位置がライン間隔の１／２ずれた出力画像信号を入力画像信号から形成するようにした画像情報変換装置において、
入力画像信号から第１の領域を切り出す第１の領域切り出し手段と、
入力画像信号から第２の領域を切り出す第２の領域切り出し手段と、
第２の領域内の各画素値に対して所定の符号化処理を行う符号化手段と、
符号化手段の出力に基づいてパターン分類情報を生成するパターン分類情報生成手段と、
パターン分類情報に対応して予め決定された予測係数データを記憶し、予測係数データの内でパターン分類情報生成手段の出力に対応する予測係数を出力する係数記憶手段と、 第１の領域切り出し手段の出力と、係数記憶手段の出力とに基づいて出力画像信号を推定するための演算処理を行う演算処理手段とを有し、
予測係数データが入力画像信号における単位時間当たりのフィールド数と出力画像信号における単位時間当たりのフィールド数との公倍数に等しい数のフィールドを単位時間当たりに有する学習用画像信号に基づいて間引き演算および／またはフィルタ演算を含む学習処理によって生成され、
時間方向における間引き演算および／またはフィルタ演算を行うことによって、学習用画像信号から、単位時間当たりのフィールド数が入力画像信号と同一である生徒信号と、単位時間当たりのフィールド数が出力画像信号と同一である教師信号とをそれぞれ生成し、生成した生徒信号と教師信号とに基づいて予測係数データを算出することを特徴とする画像情報変換装置である。
【０００８】
請求項９の発明は、入力画像信号に対して単位時間当たりのフィールド数が整数倍で、入力画像信号とライン間隔が等しく、隣接するフィールド間において、垂直方向の画素位置がライン間隔の１／２ずれた出力画像信号を入力画像信号から形成するようにした画像情報変換方法において、
入力画像信号から第１の領域を切り出す第１の領域切り出しステップと、
入力画像信号から第２の領域を切り出す第２の領域切り出しステップと、
第２の領域内の各画素値に対して所定の符号化処理を行う符号化ステップと、
符号化ステップの出力に基づいてパターン分類情報を生成するパターン分類情報生成ステップと、
パターン分類情報に対応して予め決定された予測係数データを記憶し、予測係数データの内でパターン分類情報生成ステップの出力に対応する予測係数を出力する係数記憶ステップと、
第１の領域切り出しステップの出力と、係数記憶ステップの出力とに基づいて出力画像信号を推定するための演算処理を行う演算処理ステップとを有し、
予測係数データが入力画像信号における単位時間当たりのフィールド数と出力画像信号における単位時間当たりのフィールド数との公倍数に等しい数のフィールドを単位時間当たりに有する学習用画像信号に基づいて間引き演算および／またはフィルタ演算を含む学習処理によって生成され、
時間方向における間引き演算および／またはフィルタ演算を行うことによって、学習用画像信号から、単位時間当たりのフィールド数が入力画像信号と同一である生徒信号と、単位時間当たりのフィールド数が出力画像信号と同一である教師信号とをそれぞれ生成し、生成した生徒信号と教師信号とに基づいて予測係数データを算出することを特徴とする画像情報変換方法である。
【０００９】
請求項１０の発明は、入力画像信号に対して単位時間当たりのフィールド数が整数倍で、入力画像信号とライン間隔が等しく、隣接するフィールド間において、垂直方向の画素位置がライン間隔の１／２ずれた出力画像信号を入力画像信号から形成し、形成した出力画像信号に基づく画像表示を行う表示装置において、
入力画像信号から第１の領域を切り出す第１の領域切り出し手段と、
入力画像信号から第２の領域を切り出す第２の領域切り出し手段と、
第２の領域内の各画素値に対して所定の符号化処理を行う符号化手段と、
符号化手段の出力に基づいてパターン分類情報を生成するパターン分類情報生成手段と、
パターン分類情報に対応して予め決定された予測係数データを記憶し、予測係数データの内でパターン分類情報生成手段の出力に対応する予測係数を出力する係数記憶手段と、
第１の領域切り出し手段の出力と、係数記憶手段の出力とに基づいて出力画像信号を推定するための演算処理を行う演算処理手段とを有し、
時間方向における間引き演算および／またはフィルタ演算を行うことによって、学習用画像信号から、単位時間当たりのフィールド数が入力画像信号と同一である生徒信号と、単位時間当たりのフィールド数が出力画像信号と同一である教師信号とをそれぞれ生成し、生成した生徒信号と教師信号とに基づいて予測係数データを算出する画像情報変換装置を有することを特徴とする表示装置である。
【００１０】
以上のような発明によれば、出力画像信号内の各画素を、波形パターンに応じて設定されるタップ位置における入力画像信号内の画素データの線型一次結合として予測生成することができる。
【００１１】
【発明の実施の形態】
この発明は、入力ＳＤ信号と出力画像信号とで単位時間当たりのフィールド数が異なるような画像情報変換を、クラス分類適応処理を用いて行うようにしたものである。フィールド倍速処理、すなわち出力画像信号の単位時間当たりのフィールド数が入力ＳＤ信号の２倍となるような画像情報変換を行う場合にこの発明を適用した、この発明の一実施形態の構成の一例を図１に示す。入力端子１０を介して供給される入力ＳＤ信号としての５０フィールド／秒のインターレース画像信号がブロック化回路１１、１２に供給される。ブロック化回路１１は、供給される信号にブロック化処理を施して所定の画素領域を生成し、生成した画素領域を予測演算回路１６に供給する。一方、ブロック化回路１２は、供給される信号にブロック化処理を施して所定の画素領域を生成し、生成した画素領域をＡＤＲＣ回路１３に供給する。
【００１２】
ＡＤＲＣ回路１３は、ブロック化回路１２から供給される所定の画素領域（クラスタップと称する）のデータに例えば１ビットＡＤＲＣ等のＡＤＲＣ(Adaptive Dynamic Range Coding) 処理を施すことにより、符号化データを生成する。クラスコード発生回路１４は、ＡＤＲＣ回路１３の出力に基づいて入力ＳＤ信号についての波形パターン分類情報に係るクラスコードを発生する。予測係数メモリ１５は、後述するような学習によって予め求められる予測係数データを記憶しており、予測係数データの内でクラスコード発生回路１４の出力であるクラスコードに対応する予測係数ｗ1 〜ｗn を出力する。このような動作を可能とするため、予測係数メモリ１５には、例えばクラスコードをアドレスとして予測係数データが記憶されている。
【００１３】
予測演算回路１６は、予測係数メモリ１５が出力する予測係数ｗ1 〜ｗn を使用して、ブロック化回路１１から供給される所定の画素領域（予測タップと称される）のデータｘ1 〜ｘn に基づいて以下の式（１）のような予測推定演算を行うことにより、出力画像データｙ’を予測生成し、予測生成したｙ’を含む出力画像信号を端子１７を介して出力する。上述したように、入力ＳＤ信号は５０フィールド／秒のインターレース画像信号なので、出力画像データは、１００フィールド／秒のインターレース画像信号内の各画素のデータである。
【００１４】
ｙ’＝ｗ1 ×ｘ1 ＋ｗ2 ×ｘ2 ＋‥‥＋ｗn ×ｘn （１）
端子１７に、例えばテレビジョン受像機における画像表示に係る部材を接続する構成により、出力画像信号に基づく画像表示を行うことができる。
【００１５】
次に、学習、すなわち予測係数データを算出する処理について説明する。上述の式（１）において、学習前は予測係数ｗ1 ，‥‥，ｗn が未定係数である。学習は、クラス毎に複数の教師信号ｙk （ｋ＝１，２，‥‥，ｎ）を入力し、また予測タップｘk1，‥‥，ｘknを含む生徒信号を入力することによって行う。すなわち、教師信号および生徒信号に基づいて、以下の式（２）が各ｋに対してできるだけ精度良く成り立つようにｗ1 ，‥‥，ｗn を定める。ここで、教師信号はフィールド数、走査線構造等において出力画像信号と同じ信号形式を有し、生徒信号は入力ＳＤ信号と同じ信号形式を有する。
【００１６】
ｙk ＝ｗ1 ×ｘk1＋ｗ2 ×ｘk2＋‥‥＋ｗn ×ｘkn （２）
（ｋ＝１，２，‥‥，ｍ）
教師信号の種類数ｍが予測係数の総数ｎより大きい場合、予測係数ｗ1 ，‥‥，ｗn は一意に決まらないので、誤差ベクトルｅの要素ｅk を以下の式（３）で定義して、式（４）によって定義される誤差ベクトルｅを最小とするように予測係数を定めるようにする。すなわち、いわゆる最小２乗法によって予測係数を一意に定める。
【００１７】
ｅk ＝ｙk −｛ｗ1 ×ｘk1＋ｗ2 ×ｘk2＋‥‥＋ｗn ×ｘkn｝ （３）
（ｋ＝１，２，‥‥ｍ）
【００１８】
【数１】
【００１９】
式（４）のｅ2 を最小とする予測係数を求めるための実際的な計算方法としては、ｅ2 を予測係数ｗi (i=1,2‥‥）で偏微分し（式（５））、ｉの各値について偏微分値が０となるように各予測係数ｗi を定めれば良い。
【００２０】
【数２】
【００２１】
式（５）から各予測係数ｗi を定める具体的な手順について説明する。式（６）、（７）のようにＸji，Ｙi を定義すると、式（５）は、式（８）の行列式の形に書くことができる。
【００２２】
【数３】
【００２３】
【数４】
【００２４】
【数５】
【００２５】
式（８）が一般に正規方程式と呼ばれるものである。式（８）は、掃き出し法等の一般的な行列解法によって解くことができる。
【００２６】
上述したようなクラス分類適応処理を、入力ＳＤ信号と出力画像信号とで単位時間当たりのフィールド数が異なる場合に適用するためには、単位時間当たりのフィールド数が互いに異なるような生徒信号および教師信号を用いて学習を行う必要がある。そこで、この発明では、入力ＳＤ信号における単位時間当たりのフィールド数と出力画像信号における単位時間当たりのフィールド数との公倍数に等しい数のフィールドを単位時間当たりに有する学習用画像信号を使用し、学習用画像信号に間引き演算および／またはフィルタ演算を施すことによって教師信号と生徒信号とを生成し、生成した教師信号と生徒信号とに基づいて上述の演算処理を行って予測係数を算出するようにしている。
【００２７】
この発明の一実施形態においては、入力ＳＤ信号が５０フィールド／秒のインターレース画像信号であり、出力画像信号が１００フィールド／秒のインターレース画像信号であるから両者の最小公倍数である１００フィールド／秒のプログレシブ信号を学習用信号として使用することができる。そして、この学習用信号から、間引き処理若しくはフィルタ演算を行うことによって，入力ＳＤ信号と同一の信号形式の生徒信号と、出力画像信号と同一の信号形式の教師信号とが生成され、生成される生徒信号と教師信号とに基づく上述の計算処理によって予測係数が算出される。なお、生徒信号の垂直方向の画素位置と、教師信号の垂直方向の画素位置とは互いに異なることに対処するため、両方の画素を併せ持っているプログレシブ信号が学習用信号として用いられる。
【００２８】
一般には、入力画像信号の単位時間当たりのフィールド数と出力画像信号の単位時間当たりのフィールド数との公倍数を単位時間当たりのフィールド数とするプログレシブ画像信号であれば良いので、例えば２００フィールド／秒、３００フィールド／秒等のプログレシブ信号を学習用信号として使用することもできる。
【００２９】
以上のような学習を行う構成の一例を図２に示す。１００フィールド／秒のプログレシブ信号が入力端子２０を介して時間間引きフィルタ２１および垂直間引きフィルタ２４に供給される。時間間引きフィルタ２１は、供給される信号を時間的に間引いて５０フィールド／秒のプログレシブ信号を生成し、生成した５０フィールド／秒のプログレシブ信号を垂直間引きフィルタ２２に供給する。
【００３０】
垂直間引きフィルタ２２は、供給される信号を垂直方向に間引いて５０フィールド／秒のインターレース画像信号を生成し、生成した信号を学習部２３に供給する。一方、垂直間引きフィルタ２４は、供給される信号を垂直方向に間引いて１００フィールド／秒のインターレース画像信号を生成し、生成した信号を学習部２３に供給する。
【００３１】
学習部２３は、供給される２種類の信号を教師信号および生徒信号として上述したような演算処理を行うことにより、予測係数データｗx1〜ｗxnを算出する。ここで、添え字ｘは画像情報変換における後述するようなモードに対応し、例えば４個のモードがある場合には、ｘ＝１，２，３，４等とされる。また、学習部２３は、予測係数データとクラスコードとの対応等に係る管理情報を生成する。予測係数データと管理情報とが予測係数メモリ２５に供給される。そして、予測係数データと管理情報とが共に記憶される、または管理情報に従って予測係数データがクラスコードをアドレスとして記憶される等、予測係数データとクラスコードとが対応付けられるように記憶される。
【００３２】
図３に、この発明の一実施形態における入力ＳＤ信号としての５０フィールド／秒のインターレース画像信号内の画素と、出力画像信号としての１００フィールド／秒のインターレース画像信号内の画素との位置関係の一例を示す。ここで、横軸は時間、縦軸は垂直画素を示す。また、入力ＳＤ信号内の画素を四角形で示し、出力画像信号内の画素を丸で示す。また、小さい黒丸は、学習用信号として用いられる１００フィールド／秒のプログレシブ画像信号の垂直方向の画素位置を示す。図３においては、入力ＳＤ信号内の画素と出力画像信号内の画素との位置関係には４種類あることがわかる。これら４種類の位置関係に対応して予測演算に係るモード、より具体的には予測タップおよびクラスタップのタップ構造が異なるモードが４種類設定される。
【００３３】
以下、４種類の位置関係について説明する。入力ＳＤ信号中のフィールドＳ１，Ｓ２，Ｓ３‥‥に対し、出力画像信号中のフィールドＴ１，Ｔ２，Ｔ３‥‥が以下のように生成される。フィールドＳ１と同一のフィールド位置に、垂直方向の画素位置がフィールドＳ１と同一であるフィールドＴ１が生成される。この際の位置関係を第１の位置関係と表記する。また、フィールドＳ１，Ｓ２の間にフィールドＴ２が生成される。インターレース性を保持するため、このフィールドＴ２の垂直方向の画素位置は、フィールドＴ１とは異なるものとされる。この際の位置関係を第２の位置関係と表記する。
【００３４】
また、フィールドＳ２と同一のフィールド位置にフィールドＴ３が生成される。この場合、インターレース性を保持するために、フィールドＴ３の垂直方向の画素位置はフィールドＳ２の垂直方向の画素位置と異なるものとされる。この際の位置関係を第３の位置関係と表記する。また、フィールドＳ２，Ｓ３の間にフィールドＴ４が生成される。インターレース性を保持するため、このフィールドＴ４の垂直方向の画素位置は、フィールドＴ３とは異なるものとされる。この際の位置関係を第４の位置関係と表記する。
【００３５】
さらに、フィールドＳ３と同一のフィールド位置に、垂直方向の画素位置がフィールドＳ３と同一であるフィールドＴ５が生成される。この場合、インターレース性を保持するために、フィールドＴ５の垂直方向の画素位置はフィールドＴ４の垂直方向の画素位置と異なるものとされるので、その結果としてフィールドＴ５の垂直方向の画素位置がフィールドＳ３の垂直方向の画素位置と同一とされることになる。すなわち、フィールドＴ５の生成は第１の位置関係の下でなされる。そして、フィールドＴ５以降は、順次、入力ＳＤ信号中のフィールドに対してＴ１，Ｔ２，Ｔ３，Ｔ４と同様な関係を有するフィールドが周期的に生成されることになる。すなわち、出力画像信号中の画素と入力ＳＤ信号中の画素との位置関係としては、上述した４種類の位置関係が周期的に現れることになる。
【００３６】
上述した第１、第２、第３および第４の位置関係に対応する処理モードを、以下、それぞれ、第１、第２、第３および第４のモードと表記する。第１、第２、第３および第４のモードにおける予測タップのタップ構造を、それぞれ、図４Ａ，図５Ａ，図６Ａ，図７Ａに示す。図４Ａ〜図７Ａにおいて、フィールドを示す符号は図３と同様に付した。また、生成されるべき出力画像信号内の画素を丸で示し、予測タップを四角形で示す。
【００３７】
図４Ａには、第１のモードにおいて、フィールドＴ１内の予測されるべき画素と同一位置のフィールドＳ１内の画素を予測タップとして使用する場合を示す。図５Ａには、第２のモードにおいてフィールドＳ１内の２個の画素、フィールドＳ２内の３個の画素、およびフィールドＳ３内の２個の画素を予測タップとして使用する場合を示す。図６Ａには、第３のモードにおいて、フィールドＳ１内の３個の画素、フィールドＳ２内の２個の画素、およびフィールドＳ３内の３個の画素を予測タップとして使用する場合を示す。図７Ａには、第４のモードにおいて、フィールドＳ１内の２個の画素、フィールドＳ２内の３個の画素、およびフィールドＳ３内の２個の画素を予測タップとして使用する場合を示す。
【００３８】
次に、第１、第２、第３および第４のモードにおけるクラスタップのタップ構造を、それぞれ、図４Ｂ，図５Ｂ，図６Ｂ，図７Ｂに示す。図４Ｂ〜図７Ｂにおいて、フィールドを示す符号は図３と同様に付した。また、生成されるべき出力画像信号内の画素を丸で示し、クラスタップを四角形で示す。
【００３９】
図４Ｂには、第１のモードにおいて、フィールドＴ１内の予測されるべき画素と同一位置のフィールドＳ１内の画素をクラスタップとして使用する場合を示す。図５Ｂには、第２のモードにおいてフィールドＳ１内の２個の画素、フィールドＳ２内の１個の画素、およびフィールドＳ３内の２個の画素をクラスタップとして使用する場合を示す。図６Ｂには、第３のモードにおいて、フィールドＳ１内の１個の画素、フィールドＳ２内の２個の画素、およびフィールドＳ３内の１個の画素をクラスタップとして使用する場合を示す。図７Ｂには、第４のモードにおいて、フィールドＳ１内の２個の画素、フィールドＳ２内の１個の画素、およびフィールドＳ３内の２個の画素をクラスタップとして使用する場合を示す。
【００４０】
上述したこの発明の一実施形態は、入力ＳＤ信号および出力画像信号における時間方向のフィールド位置および垂直方向の垂直方向の画素位置とが一致する場合（図１参照）を前提とするものであるが、この発明は、時間方向のフィールド位置および／または垂直方向の画素位置とがずれている場合にも適用することができる。
【００４１】
例えば、入力ＳＤ信号内の各画素と垂直方向に半ライン分ずれた位置に出力画像信号を生成する場合（図８参照）、入力ＳＤ信号内の各画素と時間方向に半フィールド分ずれた位置に出力画像信号を生成する場合（図９参照）、または入力ＳＤ信号内の各画素と垂直方向に半ライン分、かつ時間方向に半フィールド分ずれた位置に出力画像信号を生成する場合（図１０参照）等においてもこの発明を適用することができる。これらの各場合には、図３等を参照して上述した学習において、垂直間引きフィルタ２２、２４、または時間間引きフィルタ２１の動作条件等を調整して、各々の場合に適合する、教師信号と生徒信号との組が学習部２３に供給されるようにする必要がある。
【００４２】
また、上述したこの発明の一実施形態は、フィールド倍速処理を行うものであるが、単位時間当たりのフィールド数が入力ＳＤ信号に対して２倍以外であるような出力画像信号を生成する場合にも、この発明を適用することができる。例えば出力画像信号の単位時間当たりのフィールド数が入力ＳＤ信号の単位時間当たりのフィールド数の３倍等、任意の整数倍であっても良い。
【００４３】
さらには、出力画像信号の単位時間当たりのフィールド数が入力ＳＤ信号の単位時間当たりのフィールド数の整数倍でない場合にも、この発明を適用することができる。このような画像情報変換の一例として、入力ＳＤ信号としての５０フィールド／秒のインターレース画像信号（ＰＡＬ方式における画像信号等）を出力画像信号としての６０フィールド／秒のインターレース画像信号（ＮＴＳＣ方式における画像信号等）に変換する場合の一例を図１１に示す。ここで、四角形が入力ＳＤ信号を示し、丸が出力画像信号を示す。
【００４４】
この場合、学習を行う際には教師信号として６０フィールド／秒のインターレース画像信号を使用し、生徒信号として５０フィールド／秒のインターレース画像信号を使用する必要がある。そこで、学習用信号として５０と６０の公倍数を１秒あたりのフィールド数とするプログレシブ画像信号を用い、そのような画像信号から時間間引き処理、および垂直間引き処理若しくはフィルタ演算処理を行うことによって、それぞれ、教師信号、生徒信号を生成する。
【００４５】
例えば５０と６０の最小公倍数である３００フィールド／秒のプログレシブ画像信号を学習用信号として入力し、かかる画像信号中フィールドの１／５、１／６を通過させる時間間引き処理と、垂直間引き処理とによって、それぞれ、教師信号、生徒信号を生成することができる。図１１中では、学習用信号としての３００フィールド／秒のプログレシブ画像信号内の画素を小さい黒丸で示す。
【００４６】
従って、この場合には、学習に係る構成（図３参照）において、垂直間引きフィルタ２４の前段または学習部２３の前段に時間間引きフィルタをさらに設ける必要がある。より一般的には、入力ＳＤ信号中の単位時間当たりのフィールド数と出力画像信号の単位時間当たりのフィールド数とが整数倍の関係となっていない場合には、教師信号、生徒信号の何れを生成する場合にも時間間引き処理を行う必要がある。
【００４７】
上述したこの発明の一実施形態は、フィールド倍速処理等、入力ＳＤ信号と出力画像信号との間で単位時間当たりのフィールド数を変換する処理を行う場合にこの発明を適用したものである。これに対して、フィールド倍速処理と共に水平方向の画素密度を２倍とするような画像情報変換を行う場合にこの発明を適用した、この発明の他の実施形態も可能である。
【００４８】
この発明の他の実施形態における画像情報変換に係る構成は、図２等を参照して上述した処理と略同様である。また、この発明の他の実施形態における学習を行うための構成の一例を図１２に示す。ここで、図３中の構成要素と同様なものには同一の符号を付した。水平方向の画素密度が入力ＳＤ信号の２倍である、１００フィールド／秒のプログレシブ画像信号が入力端子２０を介して時間間引きフィルタ２１および垂直間引きフィルタ２４に供給される。時間間引きフィルタ２１は、供給される信号を時間的に間引いて５０フィールド／秒のプログレシブ画像信号を生成し、生成した５０フィールド／秒のプログレシブ画像信号を垂直間引きフィルタ２２に供給する。
【００４９】
垂直間引きフィルタ２２は、供給される信号を垂直方向に間引いて５０フィールド／秒のインターレース画像信号を生成し、生成した信号を水平間引きフィルタ２６に供給する。水平間引きフィルタ２６は、供給される信号に対して水平方向の画素密度を１／２とする間引き処理を施し、かかる処理によって得られる信号を学習部２３に供給する。ここで、水平間引きフィルタ２６の出力は、入力ＳＤ信号と同一の信号形式を有する生徒信号である。一方、垂直間引きフィルタ２４は、供給される信号を垂直方向に間引いて１００フィールド／秒のインターレース画像信号を生成し、生成した信号を学習部２３に供給する。垂直間引きフィルタ２４の出力は、出力画像信号と同一の信号形式を有する教師信号である。供給される生徒信号および教師信号に基づいて、学習部２３が上述したこの発明の一実施形態と同様にして予測係数データを算出する。
【００５０】
図１３に、この発明の他の実施形態における画像情報変換の一例を示す。ここで、四角形は、５０フィールド／秒のインターレース画像信号である入力ＳＤ信号内の画素を示す。また、丸は、１００フィールド／秒のインターレース画像信号であって水平方向の画素密度が入力ＳＤ信号の２倍である出力画像信号内の画素を示す。出力画像信号中には、入力ＳＤ信号中のフィールドと同一のフィールド位置のフィールド（フィールド１０１、１０３、１０５）と、入力ＳＤ信号中のフィールドの間に生成されるフィールド（フィールド１０２、１０４）とが時間方向に交互に含まれる。また、小さい黒丸は、学習用信号（上述したように水平方向の画素密度が入力ＳＤ信号の２倍である、１００フィールド／秒のプログレシブ画像信号）内の画素である。
【００５１】
垂直方向の画素位置に関しては、入力ＳＤ信号内の画素と出力画像信号内の画素との位置関係は、図３に示したこの発明の一実施形態における画像情報処理におけるものと同様に、フィールド１０１、１０２、１０３、１０４に代表される４種類が周期的に繰り返す。
【００５２】
また、出力画像信号内の水平方向の画素密度が入力ＳＤ信号内の水平方向の画素密度の２倍なので、入力ＳＤ信号内の画素１個に対して出力画像信号内の画素が２個予測生成されるが、この際の位置関係として２種類がある。従って、入力ＳＤ信号内の画素と出力画像信号内の画素との間には全体として４×２＝８種類の位置関係があり、これに対応して８種類の処理モードがあることになる。これらのモードの各々に対応して予測係数を算出するための学習が行われる。
【００５３】
これら８種類の処理モードのタップ構造について図１４〜図２１を参照して説明する。以下の説明においては、モードをＭ−Ｎ（Ｍ＝１，２，３，４，Ｎ＝１，２）と表記する。Ｍは垂直方向の画素位置に関する４種類の位置関係を示し、Ｎは水平方向の画素位置に関する２種類の位置関係を示す。図１４〜図２１においては、予測生成されるべき画素の位置を丸で示し、クラスタップ、予測タップをそれぞれ、小さい四角形、大きい四角形で示した。また、図１４〜図２１では、Ｎ＝１の場合を左側の画素を予測生成する場合に対応させ、Ｎ＝２の場合を右側の画素を予測生成する場合に対応させるように図示した。
【００５４】
まず、図１４に、モード１−１、すなわちフィールド１０１内の画素の内でＮ＝１に対応する画素を予測生成するモードにおけるタップ構造の一例を示す。上述したように、かかる画素は、予測生成されるべき２個の画素の内で左側のものとなるように図示される。この場合には、予測タップ、クラスタップが共に、フィールド１０１中で予測生成されるべき画素の両側に位置する入力ＳＤ信号内画素とされている。また、図１５に、モード１−２、すなわちフィールド１０１内の画素の内でＮ＝２に対応する画素を予測生成するモードを示す。上述したように、かかる画素は、予測生成されるべき２個の画素の内で右側のものとなるように図示される。この場合、タップ構造は、図１４に示したモード１−１におけるタップ構造と同様である。
【００５５】
次に、図１６に、モード２−１、すなわちフィールド１０２内の画素の内でＮ＝１に対応する画素を予測生成するモードにおけるタップ構造の一例を示す。上述したように、かかる画素は、予測生成されるべき２個の画素の内で左側のものとなるように図示される。この場合には、予測タップがフィールド１０１、１０３および１０５にそれぞれ、４個、６個および４個配置される。また、クラスタップは、フィールド１０１および１０３内に４個および２個配置される。一方、図１７に、モード２−２、すなわちフィールド１０２内の画素の内でＮ＝２に対応する画素を予測生成するモードにおけるタップ構造の一例を示す。上述したように、かかる画素は、予測生成されるべき２個の画素の内で右側のものとなるように図示される。この場合、タップ構造は、図１６に示したモード２−１におけるタップ構造と同様である。
【００５６】
次に、図１８に、モード３−１、すなわちフィールド１０３内の画素の内でＮ＝１に対応する画素を予測生成するモードにおけるタップ構造の一例を示す。上述したように、かかる画素は、予測生成されるべき２個の画素の内で左側のものとなるように図示される。この場合には、予測タップがフィールド１０１、１０３および１０５にそれぞれ、６個、４個および６個配置される。また、クラスタップは、フィールド１０１、１０３および１０５にそれぞれ、２個、４個および２個配置される。一方、図１９に、モード３−２、すなわちフィールド１０３内の画素の内でＮ＝２に対応する画素を予測生成するモードにおけるタップ構造の一例を示す。上述したように、かかる画素は、予測生成されるべき２個の画素の内で右側のものとなるように図示される。この場合、タップ構造は、図１８に示したモード３−１におけるタップ構造と同様である。
【００５７】
次に、モード４−１、すなわちフィールド１０４内の画素の内でＮ＝１に対応する画素を予測生成するモードにおけるタップ構造の一例を図２０に示す。上述したように、かかる画素は、予測生成されるべき２個の画素の内で左側のものとなるように図示される。この場合には、予測タップがフィールド１０１、１０３および１０５にそれぞれ、４個、６個および４個配置される。また、クラスタップは、フィールド１０１、１０３および１０５にそれぞれ、４個、６個および４個配置される。
【００５８】
また、図２１に、モード４−２、すなわちフィールド１０４内の画素の内でＮ＝２に対応する画素を予測生成するモードにおけるタップ構造の一例を示した。上述したように、かかる画素は、予測生成されるべき２個の画素の内で右側のものとなるように図示される。この場合、タップ構造は、図２０に示したモード４−１におけるタップ構造と同様である。
【００５９】
上述したこの発明の他の実施形態は、フィールド倍速処理と共に水平方向の画素密度を２倍とするような画像情報変換を行う場合にこの発明を適用するものであるが、出力画像信号の単位時間当たりのフィールド数が入力ＳＤ信号の単位時間当たりのフィールド数の２倍以外である場合、および／または出力画像信号の水平方向の画素密度が入力ＳＤ信号の水平方向の画素密度の２倍以外である場合等においても、この発明を適用することができる。
【００６０】
また、この発明は、上述した実施の形態に限定されることなく、この発明の要旨を逸脱しない範囲で種々の応用および変形が考えられる。
【００６１】
【発明の効果】
上述したように、この発明は、クラス分類適応処理を用いて、入力画像信号から単位時間当たりのフィールド数の異なる出力画像信号を形成するようにしたものである。この際に、クラス分類適応処理において使用される予測係数を、入力画像信号における単位時間当たりのフィールド数と出力画像信号における単位時間当たりのフィールド数との公倍数に等しい数のフィールドを単位時間当たりに有する学習用画像信号から時間間引き処理を含む処理によって生成される教師信号および生徒信号に基づいて生成するようにしている。
【００６２】
このため、出力画像信号内の各画素を、波形パターンに応じて設定されるタップ位置における画素データの線型一次結合として予測生成することができる。
【００６３】
従って、入力画像信号のフィールド構造に依存しない処理によって、単位時間当たりのフィールド数の異なる出力画像信号を生成することができる。
【００６４】
このため、メディアン・フィルタ等を使用する従来の処理に比較して、動画像を入力画像信号とする場合に不自然さの無い、若しくはその程度の小さい出力画像信号を得ることができる。
【００６５】
また、メディアン・フィルタ等を使用する場合に問題とされる、垂直方向の誤動作という問題を解消することができ、垂直解像度の高い入力画像信号に対しても、ちらつきの無い、若しくはその程度の小さい出力画像信号を得ることができる。
【図面の簡単な説明】
【図１】この発明の一実施形態の構成の一例を示すブロック図である。
【図２】この発明の一実施形態における学習を行うための構成の一例を示すブロック図である。
【図３】この発明の一実施形態における画像情報変換の一例について説明するための略線図である。
【図４】この発明の一実施形態における第１の処理モードのタップ構造について説明するための略線図である。
【図５】この発明の一実施形態における第２の処理モードのタップ構造について説明するための略線図である。
【図６】この発明の一実施形態における第３の処理モードのタップ構造について説明するための略線図である。
【図７】この発明の一実施形態における第４の処理モードのタップ構造について説明するための略線図である。
【図８】この発明の一実施形態における画像情報変換の他の例について説明するための略線図である。
【図９】この発明の一実施形態における画像情報変換のさらに他の例について説明するための略線図である。
【図１０】この発明の一実施形態における画像情報変換のよりさらに他の例について説明するための略線図である。
【図１１】出力画像信号の単位時間当たりのフィールド数が入力画像信号の整数倍でない場合の画像情報変換の一例について説明するための略線図である。
【図１２】この発明の他の実施形態における学習を行うための構成の一例を示すブロック図である。
【図１３】この発明の他の実施形態における画像情報変換の一例について説明するための略線図である。
【図１４】この発明の他の実施形態における処理モード１−１のタップ構造について説明するための略線図である。
【図１５】この発明の他の実施形態における処理モード１−２のタップ構造について説明するための略線図である。
【図１６】この発明の他の実施形態における処理モード２−１のタップ構造について説明するための略線図である。
【図１７】この発明の他の実施形態における処理モード１−２のタップ構造について説明するための略線図である。
【図１８】この発明の他の実施形態における処理モード３−１のタップ構造について説明するための略線図である。
【図１９】この発明の他の実施形態における処理モード３−２のタップ構造について説明するための略線図である。
【図２０】この発明の他の実施形態における処理モード４−１のタップ構造について説明するための略線図である。
【図２１】この発明の他の実施形態における処理モード４−２のタップ構造について説明するための略線図である。
【図２２】従来のフィールド倍速処理について説明するための略線図である。
【符号の説明】
１５・・・予測係数メモリ、１６・・・予測演算回路、２１・・・時間間引きフィルタ、２２、２４・・・垂直間引きフィルタ、２３・・・学習部、２６・・・水平間引きフィルタ
【発明の属する技術分野】
この発明は、入力画像信号から単位時間当たりのフィールド数の異なる出力画像信号を形成する画像情報変換装置、画像情報変換方法および表示装置に関する。
【０００２】
【従来の技術】
入力する標準解像度信号（以下、入力ＳＤ信号と表記する）を、補間等の処理を行うことによってフィールド周波数が２倍である出力画像信号に変換するフィールド倍速処理が従来から行われている。フィールド倍速処理における画素の位置関係の一例を図２２に示す。ここで、横軸は時間、縦軸は垂直画素を示す。また、四角形で示した入力ＳＤ信号は５０フィールド／秒のインターレース画像信号であり、丸で示した出力画像信号は１００フィールド／秒のインターレース画像信号である。
【０００３】
入力ＳＤ信号はインターレース画像信号なので、入力ＳＤ信号中のフィールドｔ，ｔ＋１‥‥において隣り合うフィールド間では垂直方向の画素位置が異なる。このため、インターレース性を保ちながら入力ＳＤ信号の各フィールド間に１個ずつのフィールドを生成することはできない。そこで、図２２に示す一例においては、フィールドｔ，ｔ＋１の間に２個のフィールドｕ１，ｕ２を生成し、フィールドｔ＋１、ｔ＋２の間ではフィールドの生成を行わない。さらに、フィールドｔ＋２，ｔ＋３の間に２枚のフィールドｕ３，ｕ４を生成する。このように、入力ＳＤ信号のフィールド間に２枚の画像が生成される部分と全く生成されない部分とが交互に現れるようにすることによってフィールド倍速処理が行われる。
【０００４】
入力ＳＤ信号のフィールド間に生成されるフィールドｕ１，ｕ２‥‥内の各画素値は、各々の画素の周囲３画素の中間値として、メディアン・フィルタ等を用いて生成することができる。このようなフィールド倍速処理によって単位時間当たりの画面枚数を増やすことができるので、多くの場合、画面のちらつきを抑えることができる。
【０００５】
【発明が解決しようとする課題】
上述したような方法においては、出力画像の時間間隔が一定とならない。また、生成画素は、入力ＳＤ信号内の画素の内からメディアン・フィルタで中央の画素値を選択したものなので、入力ＳＤ信号が動画像信号である場合には入力ＳＤ信号内の画素と同じ画素が生成画素とされることになる。従って、出力画像信号は、入力ＳＤ信号に比較してフィールド数が増えるが動画像として不自然なものとなる傾向がある。さらに、垂直解像度が大きい入力ＳＤ信号に対しては、静止画でも誤動作する。その結果として、垂直解像度が大きい入力ＳＤ信号が入力される場合には、出力画像信号においてちらつきが増大してしまう。
【０００６】
従って、この発明の目的は、特に動画像信号や垂直解像度が大きい画像信号が入力する場合に、単位時間当たりのフィールド数の変化を伴う画像情報変換を行うに際して良好な画質を得ることが可能な画像情報変換装置、画像情報変換方法および表示装置を提供することにある。
【０００７】
【課題を解決するための手段】
請求項１の発明は、入力画像信号に対して単位時間当たりのフィールド数が整数倍で、入力画像信号とライン間隔が等しく、隣接するフィールド間において、垂直方向の画素位置がライン間隔の１／２ずれた出力画像信号を入力画像信号から形成するようにした画像情報変換装置において、
入力画像信号から第１の領域を切り出す第１の領域切り出し手段と、
入力画像信号から第２の領域を切り出す第２の領域切り出し手段と、
第２の領域内の各画素値に対して所定の符号化処理を行う符号化手段と、
符号化手段の出力に基づいてパターン分類情報を生成するパターン分類情報生成手段と、
パターン分類情報に対応して予め決定された予測係数データを記憶し、予測係数データの内でパターン分類情報生成手段の出力に対応する予測係数を出力する係数記憶手段と、 第１の領域切り出し手段の出力と、係数記憶手段の出力とに基づいて出力画像信号を推定するための演算処理を行う演算処理手段とを有し、
予測係数データが入力画像信号における単位時間当たりのフィールド数と出力画像信号における単位時間当たりのフィールド数との公倍数に等しい数のフィールドを単位時間当たりに有する学習用画像信号に基づいて間引き演算および／またはフィルタ演算を含む学習処理によって生成され、
時間方向における間引き演算および／またはフィルタ演算を行うことによって、学習用画像信号から、単位時間当たりのフィールド数が入力画像信号と同一である生徒信号と、単位時間当たりのフィールド数が出力画像信号と同一である教師信号とをそれぞれ生成し、生成した生徒信号と教師信号とに基づいて予測係数データを算出することを特徴とする画像情報変換装置である。
【０００８】
請求項９の発明は、入力画像信号に対して単位時間当たりのフィールド数が整数倍で、入力画像信号とライン間隔が等しく、隣接するフィールド間において、垂直方向の画素位置がライン間隔の１／２ずれた出力画像信号を入力画像信号から形成するようにした画像情報変換方法において、
入力画像信号から第１の領域を切り出す第１の領域切り出しステップと、
入力画像信号から第２の領域を切り出す第２の領域切り出しステップと、
第２の領域内の各画素値に対して所定の符号化処理を行う符号化ステップと、
符号化ステップの出力に基づいてパターン分類情報を生成するパターン分類情報生成ステップと、
パターン分類情報に対応して予め決定された予測係数データを記憶し、予測係数データの内でパターン分類情報生成ステップの出力に対応する予測係数を出力する係数記憶ステップと、
第１の領域切り出しステップの出力と、係数記憶ステップの出力とに基づいて出力画像信号を推定するための演算処理を行う演算処理ステップとを有し、
予測係数データが入力画像信号における単位時間当たりのフィールド数と出力画像信号における単位時間当たりのフィールド数との公倍数に等しい数のフィールドを単位時間当たりに有する学習用画像信号に基づいて間引き演算および／またはフィルタ演算を含む学習処理によって生成され、
時間方向における間引き演算および／またはフィルタ演算を行うことによって、学習用画像信号から、単位時間当たりのフィールド数が入力画像信号と同一である生徒信号と、単位時間当たりのフィールド数が出力画像信号と同一である教師信号とをそれぞれ生成し、生成した生徒信号と教師信号とに基づいて予測係数データを算出することを特徴とする画像情報変換方法である。
【０００９】
請求項１０の発明は、入力画像信号に対して単位時間当たりのフィールド数が整数倍で、入力画像信号とライン間隔が等しく、隣接するフィールド間において、垂直方向の画素位置がライン間隔の１／２ずれた出力画像信号を入力画像信号から形成し、形成した出力画像信号に基づく画像表示を行う表示装置において、
入力画像信号から第１の領域を切り出す第１の領域切り出し手段と、
入力画像信号から第２の領域を切り出す第２の領域切り出し手段と、
第２の領域内の各画素値に対して所定の符号化処理を行う符号化手段と、
符号化手段の出力に基づいてパターン分類情報を生成するパターン分類情報生成手段と、
パターン分類情報に対応して予め決定された予測係数データを記憶し、予測係数データの内でパターン分類情報生成手段の出力に対応する予測係数を出力する係数記憶手段と、
第１の領域切り出し手段の出力と、係数記憶手段の出力とに基づいて出力画像信号を推定するための演算処理を行う演算処理手段とを有し、
時間方向における間引き演算および／またはフィルタ演算を行うことによって、学習用画像信号から、単位時間当たりのフィールド数が入力画像信号と同一である生徒信号と、単位時間当たりのフィールド数が出力画像信号と同一である教師信号とをそれぞれ生成し、生成した生徒信号と教師信号とに基づいて予測係数データを算出する画像情報変換装置を有することを特徴とする表示装置である。
【００１０】
以上のような発明によれば、出力画像信号内の各画素を、波形パターンに応じて設定されるタップ位置における入力画像信号内の画素データの線型一次結合として予測生成することができる。
【００１１】
【発明の実施の形態】
この発明は、入力ＳＤ信号と出力画像信号とで単位時間当たりのフィールド数が異なるような画像情報変換を、クラス分類適応処理を用いて行うようにしたものである。フィールド倍速処理、すなわち出力画像信号の単位時間当たりのフィールド数が入力ＳＤ信号の２倍となるような画像情報変換を行う場合にこの発明を適用した、この発明の一実施形態の構成の一例を図１に示す。入力端子１０を介して供給される入力ＳＤ信号としての５０フィールド／秒のインターレース画像信号がブロック化回路１１、１２に供給される。ブロック化回路１１は、供給される信号にブロック化処理を施して所定の画素領域を生成し、生成した画素領域を予測演算回路１６に供給する。一方、ブロック化回路１２は、供給される信号にブロック化処理を施して所定の画素領域を生成し、生成した画素領域をＡＤＲＣ回路１３に供給する。
【００１２】
ＡＤＲＣ回路１３は、ブロック化回路１２から供給される所定の画素領域（クラスタップと称する）のデータに例えば１ビットＡＤＲＣ等のＡＤＲＣ(Adaptive Dynamic Range Coding) 処理を施すことにより、符号化データを生成する。クラスコード発生回路１４は、ＡＤＲＣ回路１３の出力に基づいて入力ＳＤ信号についての波形パターン分類情報に係るクラスコードを発生する。予測係数メモリ１５は、後述するような学習によって予め求められる予測係数データを記憶しており、予測係数データの内でクラスコード発生回路１４の出力であるクラスコードに対応する予測係数ｗ1 〜ｗn を出力する。このような動作を可能とするため、予測係数メモリ１５には、例えばクラスコードをアドレスとして予測係数データが記憶されている。
【００１３】
予測演算回路１６は、予測係数メモリ１５が出力する予測係数ｗ1 〜ｗn を使用して、ブロック化回路１１から供給される所定の画素領域（予測タップと称される）のデータｘ1 〜ｘn に基づいて以下の式（１）のような予測推定演算を行うことにより、出力画像データｙ’を予測生成し、予測生成したｙ’を含む出力画像信号を端子１７を介して出力する。上述したように、入力ＳＤ信号は５０フィールド／秒のインターレース画像信号なので、出力画像データは、１００フィールド／秒のインターレース画像信号内の各画素のデータである。
【００１４】
ｙ’＝ｗ1 ×ｘ1 ＋ｗ2 ×ｘ2 ＋‥‥＋ｗn ×ｘn （１）
端子１７に、例えばテレビジョン受像機における画像表示に係る部材を接続する構成により、出力画像信号に基づく画像表示を行うことができる。
【００１５】
次に、学習、すなわち予測係数データを算出する処理について説明する。上述の式（１）において、学習前は予測係数ｗ1 ，‥‥，ｗn が未定係数である。学習は、クラス毎に複数の教師信号ｙk （ｋ＝１，２，‥‥，ｎ）を入力し、また予測タップｘk1，‥‥，ｘknを含む生徒信号を入力することによって行う。すなわち、教師信号および生徒信号に基づいて、以下の式（２）が各ｋに対してできるだけ精度良く成り立つようにｗ1 ，‥‥，ｗn を定める。ここで、教師信号はフィールド数、走査線構造等において出力画像信号と同じ信号形式を有し、生徒信号は入力ＳＤ信号と同じ信号形式を有する。
【００１６】
ｙk ＝ｗ1 ×ｘk1＋ｗ2 ×ｘk2＋‥‥＋ｗn ×ｘkn （２）
（ｋ＝１，２，‥‥，ｍ）
教師信号の種類数ｍが予測係数の総数ｎより大きい場合、予測係数ｗ1 ，‥‥，ｗn は一意に決まらないので、誤差ベクトルｅの要素ｅk を以下の式（３）で定義して、式（４）によって定義される誤差ベクトルｅを最小とするように予測係数を定めるようにする。すなわち、いわゆる最小２乗法によって予測係数を一意に定める。
【００１７】
ｅk ＝ｙk −｛ｗ1 ×ｘk1＋ｗ2 ×ｘk2＋‥‥＋ｗn ×ｘkn｝ （３）
（ｋ＝１，２，‥‥ｍ）
【００１８】
【数１】
式（４）のｅ2 を最小とする予測係数を求めるための実際的な計算方法としては、ｅ2 を予測係数ｗi (i=1,2‥‥）で偏微分し（式（５））、ｉの各値について偏微分値が０となるように各予測係数ｗi を定めれば良い。
【００２０】
【数２】
式（５）から各予測係数ｗi を定める具体的な手順について説明する。式（６）、（７）のようにＸji，Ｙi を定義すると、式（５）は、式（８）の行列式の形に書くことができる。
【００２２】
【数３】
【数４】
【数５】
式（８）が一般に正規方程式と呼ばれるものである。式（８）は、掃き出し法等の一般的な行列解法によって解くことができる。
【００２６】
上述したようなクラス分類適応処理を、入力ＳＤ信号と出力画像信号とで単位時間当たりのフィールド数が異なる場合に適用するためには、単位時間当たりのフィールド数が互いに異なるような生徒信号および教師信号を用いて学習を行う必要がある。そこで、この発明では、入力ＳＤ信号における単位時間当たりのフィールド数と出力画像信号における単位時間当たりのフィールド数との公倍数に等しい数のフィールドを単位時間当たりに有する学習用画像信号を使用し、学習用画像信号に間引き演算および／またはフィルタ演算を施すことによって教師信号と生徒信号とを生成し、生成した教師信号と生徒信号とに基づいて上述の演算処理を行って予測係数を算出するようにしている。
【００２７】
この発明の一実施形態においては、入力ＳＤ信号が５０フィールド／秒のインターレース画像信号であり、出力画像信号が１００フィールド／秒のインターレース画像信号であるから両者の最小公倍数である１００フィールド／秒のプログレシブ信号を学習用信号として使用することができる。そして、この学習用信号から、間引き処理若しくはフィルタ演算を行うことによって，入力ＳＤ信号と同一の信号形式の生徒信号と、出力画像信号と同一の信号形式の教師信号とが生成され、生成される生徒信号と教師信号とに基づく上述の計算処理によって予測係数が算出される。なお、生徒信号の垂直方向の画素位置と、教師信号の垂直方向の画素位置とは互いに異なることに対処するため、両方の画素を併せ持っているプログレシブ信号が学習用信号として用いられる。
【００２８】
一般には、入力画像信号の単位時間当たりのフィールド数と出力画像信号の単位時間当たりのフィールド数との公倍数を単位時間当たりのフィールド数とするプログレシブ画像信号であれば良いので、例えば２００フィールド／秒、３００フィールド／秒等のプログレシブ信号を学習用信号として使用することもできる。
【００２９】
以上のような学習を行う構成の一例を図２に示す。１００フィールド／秒のプログレシブ信号が入力端子２０を介して時間間引きフィルタ２１および垂直間引きフィルタ２４に供給される。時間間引きフィルタ２１は、供給される信号を時間的に間引いて５０フィールド／秒のプログレシブ信号を生成し、生成した５０フィールド／秒のプログレシブ信号を垂直間引きフィルタ２２に供給する。
【００３０】
垂直間引きフィルタ２２は、供給される信号を垂直方向に間引いて５０フィールド／秒のインターレース画像信号を生成し、生成した信号を学習部２３に供給する。一方、垂直間引きフィルタ２４は、供給される信号を垂直方向に間引いて１００フィールド／秒のインターレース画像信号を生成し、生成した信号を学習部２３に供給する。
【００３１】
学習部２３は、供給される２種類の信号を教師信号および生徒信号として上述したような演算処理を行うことにより、予測係数データｗx1〜ｗxnを算出する。ここで、添え字ｘは画像情報変換における後述するようなモードに対応し、例えば４個のモードがある場合には、ｘ＝１，２，３，４等とされる。また、学習部２３は、予測係数データとクラスコードとの対応等に係る管理情報を生成する。予測係数データと管理情報とが予測係数メモリ２５に供給される。そして、予測係数データと管理情報とが共に記憶される、または管理情報に従って予測係数データがクラスコードをアドレスとして記憶される等、予測係数データとクラスコードとが対応付けられるように記憶される。
【００３２】
図３に、この発明の一実施形態における入力ＳＤ信号としての５０フィールド／秒のインターレース画像信号内の画素と、出力画像信号としての１００フィールド／秒のインターレース画像信号内の画素との位置関係の一例を示す。ここで、横軸は時間、縦軸は垂直画素を示す。また、入力ＳＤ信号内の画素を四角形で示し、出力画像信号内の画素を丸で示す。また、小さい黒丸は、学習用信号として用いられる１００フィールド／秒のプログレシブ画像信号の垂直方向の画素位置を示す。図３においては、入力ＳＤ信号内の画素と出力画像信号内の画素との位置関係には４種類あることがわかる。これら４種類の位置関係に対応して予測演算に係るモード、より具体的には予測タップおよびクラスタップのタップ構造が異なるモードが４種類設定される。
【００３３】
以下、４種類の位置関係について説明する。入力ＳＤ信号中のフィールドＳ１，Ｓ２，Ｓ３‥‥に対し、出力画像信号中のフィールドＴ１，Ｔ２，Ｔ３‥‥が以下のように生成される。フィールドＳ１と同一のフィールド位置に、垂直方向の画素位置がフィールドＳ１と同一であるフィールドＴ１が生成される。この際の位置関係を第１の位置関係と表記する。また、フィールドＳ１，Ｓ２の間にフィールドＴ２が生成される。インターレース性を保持するため、このフィールドＴ２の垂直方向の画素位置は、フィールドＴ１とは異なるものとされる。この際の位置関係を第２の位置関係と表記する。
【００３４】
また、フィールドＳ２と同一のフィールド位置にフィールドＴ３が生成される。この場合、インターレース性を保持するために、フィールドＴ３の垂直方向の画素位置はフィールドＳ２の垂直方向の画素位置と異なるものとされる。この際の位置関係を第３の位置関係と表記する。また、フィールドＳ２，Ｓ３の間にフィールドＴ４が生成される。インターレース性を保持するため、このフィールドＴ４の垂直方向の画素位置は、フィールドＴ３とは異なるものとされる。この際の位置関係を第４の位置関係と表記する。
【００３５】
さらに、フィールドＳ３と同一のフィールド位置に、垂直方向の画素位置がフィールドＳ３と同一であるフィールドＴ５が生成される。この場合、インターレース性を保持するために、フィールドＴ５の垂直方向の画素位置はフィールドＴ４の垂直方向の画素位置と異なるものとされるので、その結果としてフィールドＴ５の垂直方向の画素位置がフィールドＳ３の垂直方向の画素位置と同一とされることになる。すなわち、フィールドＴ５の生成は第１の位置関係の下でなされる。そして、フィールドＴ５以降は、順次、入力ＳＤ信号中のフィールドに対してＴ１，Ｔ２，Ｔ３，Ｔ４と同様な関係を有するフィールドが周期的に生成されることになる。すなわち、出力画像信号中の画素と入力ＳＤ信号中の画素との位置関係としては、上述した４種類の位置関係が周期的に現れることになる。
【００３６】
上述した第１、第２、第３および第４の位置関係に対応する処理モードを、以下、それぞれ、第１、第２、第３および第４のモードと表記する。第１、第２、第３および第４のモードにおける予測タップのタップ構造を、それぞれ、図４Ａ，図５Ａ，図６Ａ，図７Ａに示す。図４Ａ〜図７Ａにおいて、フィールドを示す符号は図３と同様に付した。また、生成されるべき出力画像信号内の画素を丸で示し、予測タップを四角形で示す。
【００３７】
図４Ａには、第１のモードにおいて、フィールドＴ１内の予測されるべき画素と同一位置のフィールドＳ１内の画素を予測タップとして使用する場合を示す。図５Ａには、第２のモードにおいてフィールドＳ１内の２個の画素、フィールドＳ２内の３個の画素、およびフィールドＳ３内の２個の画素を予測タップとして使用する場合を示す。図６Ａには、第３のモードにおいて、フィールドＳ１内の３個の画素、フィールドＳ２内の２個の画素、およびフィールドＳ３内の３個の画素を予測タップとして使用する場合を示す。図７Ａには、第４のモードにおいて、フィールドＳ１内の２個の画素、フィールドＳ２内の３個の画素、およびフィールドＳ３内の２個の画素を予測タップとして使用する場合を示す。
【００３８】
次に、第１、第２、第３および第４のモードにおけるクラスタップのタップ構造を、それぞれ、図４Ｂ，図５Ｂ，図６Ｂ，図７Ｂに示す。図４Ｂ〜図７Ｂにおいて、フィールドを示す符号は図３と同様に付した。また、生成されるべき出力画像信号内の画素を丸で示し、クラスタップを四角形で示す。
【００３９】
図４Ｂには、第１のモードにおいて、フィールドＴ１内の予測されるべき画素と同一位置のフィールドＳ１内の画素をクラスタップとして使用する場合を示す。図５Ｂには、第２のモードにおいてフィールドＳ１内の２個の画素、フィールドＳ２内の１個の画素、およびフィールドＳ３内の２個の画素をクラスタップとして使用する場合を示す。図６Ｂには、第３のモードにおいて、フィールドＳ１内の１個の画素、フィールドＳ２内の２個の画素、およびフィールドＳ３内の１個の画素をクラスタップとして使用する場合を示す。図７Ｂには、第４のモードにおいて、フィールドＳ１内の２個の画素、フィールドＳ２内の１個の画素、およびフィールドＳ３内の２個の画素をクラスタップとして使用する場合を示す。
【００４０】
上述したこの発明の一実施形態は、入力ＳＤ信号および出力画像信号における時間方向のフィールド位置および垂直方向の垂直方向の画素位置とが一致する場合（図１参照）を前提とするものであるが、この発明は、時間方向のフィールド位置および／または垂直方向の画素位置とがずれている場合にも適用することができる。
【００４１】
例えば、入力ＳＤ信号内の各画素と垂直方向に半ライン分ずれた位置に出力画像信号を生成する場合（図８参照）、入力ＳＤ信号内の各画素と時間方向に半フィールド分ずれた位置に出力画像信号を生成する場合（図９参照）、または入力ＳＤ信号内の各画素と垂直方向に半ライン分、かつ時間方向に半フィールド分ずれた位置に出力画像信号を生成する場合（図１０参照）等においてもこの発明を適用することができる。これらの各場合には、図３等を参照して上述した学習において、垂直間引きフィルタ２２、２４、または時間間引きフィルタ２１の動作条件等を調整して、各々の場合に適合する、教師信号と生徒信号との組が学習部２３に供給されるようにする必要がある。
【００４２】
また、上述したこの発明の一実施形態は、フィールド倍速処理を行うものであるが、単位時間当たりのフィールド数が入力ＳＤ信号に対して２倍以外であるような出力画像信号を生成する場合にも、この発明を適用することができる。例えば出力画像信号の単位時間当たりのフィールド数が入力ＳＤ信号の単位時間当たりのフィールド数の３倍等、任意の整数倍であっても良い。
【００４３】
さらには、出力画像信号の単位時間当たりのフィールド数が入力ＳＤ信号の単位時間当たりのフィールド数の整数倍でない場合にも、この発明を適用することができる。このような画像情報変換の一例として、入力ＳＤ信号としての５０フィールド／秒のインターレース画像信号（ＰＡＬ方式における画像信号等）を出力画像信号としての６０フィールド／秒のインターレース画像信号（ＮＴＳＣ方式における画像信号等）に変換する場合の一例を図１１に示す。ここで、四角形が入力ＳＤ信号を示し、丸が出力画像信号を示す。
【００４４】
この場合、学習を行う際には教師信号として６０フィールド／秒のインターレース画像信号を使用し、生徒信号として５０フィールド／秒のインターレース画像信号を使用する必要がある。そこで、学習用信号として５０と６０の公倍数を１秒あたりのフィールド数とするプログレシブ画像信号を用い、そのような画像信号から時間間引き処理、および垂直間引き処理若しくはフィルタ演算処理を行うことによって、それぞれ、教師信号、生徒信号を生成する。
【００４５】
例えば５０と６０の最小公倍数である３００フィールド／秒のプログレシブ画像信号を学習用信号として入力し、かかる画像信号中フィールドの１／５、１／６を通過させる時間間引き処理と、垂直間引き処理とによって、それぞれ、教師信号、生徒信号を生成することができる。図１１中では、学習用信号としての３００フィールド／秒のプログレシブ画像信号内の画素を小さい黒丸で示す。
【００４６】
従って、この場合には、学習に係る構成（図３参照）において、垂直間引きフィルタ２４の前段または学習部２３の前段に時間間引きフィルタをさらに設ける必要がある。より一般的には、入力ＳＤ信号中の単位時間当たりのフィールド数と出力画像信号の単位時間当たりのフィールド数とが整数倍の関係となっていない場合には、教師信号、生徒信号の何れを生成する場合にも時間間引き処理を行う必要がある。
【００４７】
上述したこの発明の一実施形態は、フィールド倍速処理等、入力ＳＤ信号と出力画像信号との間で単位時間当たりのフィールド数を変換する処理を行う場合にこの発明を適用したものである。これに対して、フィールド倍速処理と共に水平方向の画素密度を２倍とするような画像情報変換を行う場合にこの発明を適用した、この発明の他の実施形態も可能である。
【００４８】
この発明の他の実施形態における画像情報変換に係る構成は、図２等を参照して上述した処理と略同様である。また、この発明の他の実施形態における学習を行うための構成の一例を図１２に示す。ここで、図３中の構成要素と同様なものには同一の符号を付した。水平方向の画素密度が入力ＳＤ信号の２倍である、１００フィールド／秒のプログレシブ画像信号が入力端子２０を介して時間間引きフィルタ２１および垂直間引きフィルタ２４に供給される。時間間引きフィルタ２１は、供給される信号を時間的に間引いて５０フィールド／秒のプログレシブ画像信号を生成し、生成した５０フィールド／秒のプログレシブ画像信号を垂直間引きフィルタ２２に供給する。
【００４９】
垂直間引きフィルタ２２は、供給される信号を垂直方向に間引いて５０フィールド／秒のインターレース画像信号を生成し、生成した信号を水平間引きフィルタ２６に供給する。水平間引きフィルタ２６は、供給される信号に対して水平方向の画素密度を１／２とする間引き処理を施し、かかる処理によって得られる信号を学習部２３に供給する。ここで、水平間引きフィルタ２６の出力は、入力ＳＤ信号と同一の信号形式を有する生徒信号である。一方、垂直間引きフィルタ２４は、供給される信号を垂直方向に間引いて１００フィールド／秒のインターレース画像信号を生成し、生成した信号を学習部２３に供給する。垂直間引きフィルタ２４の出力は、出力画像信号と同一の信号形式を有する教師信号である。供給される生徒信号および教師信号に基づいて、学習部２３が上述したこの発明の一実施形態と同様にして予測係数データを算出する。
【００５０】
図１３に、この発明の他の実施形態における画像情報変換の一例を示す。ここで、四角形は、５０フィールド／秒のインターレース画像信号である入力ＳＤ信号内の画素を示す。また、丸は、１００フィールド／秒のインターレース画像信号であって水平方向の画素密度が入力ＳＤ信号の２倍である出力画像信号内の画素を示す。出力画像信号中には、入力ＳＤ信号中のフィールドと同一のフィールド位置のフィールド（フィールド１０１、１０３、１０５）と、入力ＳＤ信号中のフィールドの間に生成されるフィールド（フィールド１０２、１０４）とが時間方向に交互に含まれる。また、小さい黒丸は、学習用信号（上述したように水平方向の画素密度が入力ＳＤ信号の２倍である、１００フィールド／秒のプログレシブ画像信号）内の画素である。
【００５１】
垂直方向の画素位置に関しては、入力ＳＤ信号内の画素と出力画像信号内の画素との位置関係は、図３に示したこの発明の一実施形態における画像情報処理におけるものと同様に、フィールド１０１、１０２、１０３、１０４に代表される４種類が周期的に繰り返す。
【００５２】
また、出力画像信号内の水平方向の画素密度が入力ＳＤ信号内の水平方向の画素密度の２倍なので、入力ＳＤ信号内の画素１個に対して出力画像信号内の画素が２個予測生成されるが、この際の位置関係として２種類がある。従って、入力ＳＤ信号内の画素と出力画像信号内の画素との間には全体として４×２＝８種類の位置関係があり、これに対応して８種類の処理モードがあることになる。これらのモードの各々に対応して予測係数を算出するための学習が行われる。
【００５３】
これら８種類の処理モードのタップ構造について図１４〜図２１を参照して説明する。以下の説明においては、モードをＭ−Ｎ（Ｍ＝１，２，３，４，Ｎ＝１，２）と表記する。Ｍは垂直方向の画素位置に関する４種類の位置関係を示し、Ｎは水平方向の画素位置に関する２種類の位置関係を示す。図１４〜図２１においては、予測生成されるべき画素の位置を丸で示し、クラスタップ、予測タップをそれぞれ、小さい四角形、大きい四角形で示した。また、図１４〜図２１では、Ｎ＝１の場合を左側の画素を予測生成する場合に対応させ、Ｎ＝２の場合を右側の画素を予測生成する場合に対応させるように図示した。
【００５４】
まず、図１４に、モード１−１、すなわちフィールド１０１内の画素の内でＮ＝１に対応する画素を予測生成するモードにおけるタップ構造の一例を示す。上述したように、かかる画素は、予測生成されるべき２個の画素の内で左側のものとなるように図示される。この場合には、予測タップ、クラスタップが共に、フィールド１０１中で予測生成されるべき画素の両側に位置する入力ＳＤ信号内画素とされている。また、図１５に、モード１−２、すなわちフィールド１０１内の画素の内でＮ＝２に対応する画素を予測生成するモードを示す。上述したように、かかる画素は、予測生成されるべき２個の画素の内で右側のものとなるように図示される。この場合、タップ構造は、図１４に示したモード１−１におけるタップ構造と同様である。
【００５５】
次に、図１６に、モード２−１、すなわちフィールド１０２内の画素の内でＮ＝１に対応する画素を予測生成するモードにおけるタップ構造の一例を示す。上述したように、かかる画素は、予測生成されるべき２個の画素の内で左側のものとなるように図示される。この場合には、予測タップがフィールド１０１、１０３および１０５にそれぞれ、４個、６個および４個配置される。また、クラスタップは、フィールド１０１および１０３内に４個および２個配置される。一方、図１７に、モード２−２、すなわちフィールド１０２内の画素の内でＮ＝２に対応する画素を予測生成するモードにおけるタップ構造の一例を示す。上述したように、かかる画素は、予測生成されるべき２個の画素の内で右側のものとなるように図示される。この場合、タップ構造は、図１６に示したモード２−１におけるタップ構造と同様である。
【００５６】
次に、図１８に、モード３−１、すなわちフィールド１０３内の画素の内でＮ＝１に対応する画素を予測生成するモードにおけるタップ構造の一例を示す。上述したように、かかる画素は、予測生成されるべき２個の画素の内で左側のものとなるように図示される。この場合には、予測タップがフィールド１０１、１０３および１０５にそれぞれ、６個、４個および６個配置される。また、クラスタップは、フィールド１０１、１０３および１０５にそれぞれ、２個、４個および２個配置される。一方、図１９に、モード３−２、すなわちフィールド１０３内の画素の内でＮ＝２に対応する画素を予測生成するモードにおけるタップ構造の一例を示す。上述したように、かかる画素は、予測生成されるべき２個の画素の内で右側のものとなるように図示される。この場合、タップ構造は、図１８に示したモード３−１におけるタップ構造と同様である。
【００５７】
次に、モード４−１、すなわちフィールド１０４内の画素の内でＮ＝１に対応する画素を予測生成するモードにおけるタップ構造の一例を図２０に示す。上述したように、かかる画素は、予測生成されるべき２個の画素の内で左側のものとなるように図示される。この場合には、予測タップがフィールド１０１、１０３および１０５にそれぞれ、４個、６個および４個配置される。また、クラスタップは、フィールド１０１、１０３および１０５にそれぞれ、４個、６個および４個配置される。
【００５８】
また、図２１に、モード４−２、すなわちフィールド１０４内の画素の内でＮ＝２に対応する画素を予測生成するモードにおけるタップ構造の一例を示した。上述したように、かかる画素は、予測生成されるべき２個の画素の内で右側のものとなるように図示される。この場合、タップ構造は、図２０に示したモード４−１におけるタップ構造と同様である。
【００５９】
上述したこの発明の他の実施形態は、フィールド倍速処理と共に水平方向の画素密度を２倍とするような画像情報変換を行う場合にこの発明を適用するものであるが、出力画像信号の単位時間当たりのフィールド数が入力ＳＤ信号の単位時間当たりのフィールド数の２倍以外である場合、および／または出力画像信号の水平方向の画素密度が入力ＳＤ信号の水平方向の画素密度の２倍以外である場合等においても、この発明を適用することができる。
【００６０】
また、この発明は、上述した実施の形態に限定されることなく、この発明の要旨を逸脱しない範囲で種々の応用および変形が考えられる。
【００６１】
【発明の効果】
上述したように、この発明は、クラス分類適応処理を用いて、入力画像信号から単位時間当たりのフィールド数の異なる出力画像信号を形成するようにしたものである。この際に、クラス分類適応処理において使用される予測係数を、入力画像信号における単位時間当たりのフィールド数と出力画像信号における単位時間当たりのフィールド数との公倍数に等しい数のフィールドを単位時間当たりに有する学習用画像信号から時間間引き処理を含む処理によって生成される教師信号および生徒信号に基づいて生成するようにしている。
【００６２】
このため、出力画像信号内の各画素を、波形パターンに応じて設定されるタップ位置における画素データの線型一次結合として予測生成することができる。
【００６３】
従って、入力画像信号のフィールド構造に依存しない処理によって、単位時間当たりのフィールド数の異なる出力画像信号を生成することができる。
【００６４】
このため、メディアン・フィルタ等を使用する従来の処理に比較して、動画像を入力画像信号とする場合に不自然さの無い、若しくはその程度の小さい出力画像信号を得ることができる。
【００６５】
また、メディアン・フィルタ等を使用する場合に問題とされる、垂直方向の誤動作という問題を解消することができ、垂直解像度の高い入力画像信号に対しても、ちらつきの無い、若しくはその程度の小さい出力画像信号を得ることができる。
【図面の簡単な説明】
【図１】この発明の一実施形態の構成の一例を示すブロック図である。
【図２】この発明の一実施形態における学習を行うための構成の一例を示すブロック図である。
【図３】この発明の一実施形態における画像情報変換の一例について説明するための略線図である。
【図４】この発明の一実施形態における第１の処理モードのタップ構造について説明するための略線図である。
【図５】この発明の一実施形態における第２の処理モードのタップ構造について説明するための略線図である。
【図６】この発明の一実施形態における第３の処理モードのタップ構造について説明するための略線図である。
【図７】この発明の一実施形態における第４の処理モードのタップ構造について説明するための略線図である。
【図８】この発明の一実施形態における画像情報変換の他の例について説明するための略線図である。
【図９】この発明の一実施形態における画像情報変換のさらに他の例について説明するための略線図である。
【図１０】この発明の一実施形態における画像情報変換のよりさらに他の例について説明するための略線図である。
【図１１】出力画像信号の単位時間当たりのフィールド数が入力画像信号の整数倍でない場合の画像情報変換の一例について説明するための略線図である。
【図１２】この発明の他の実施形態における学習を行うための構成の一例を示すブロック図である。
【図１３】この発明の他の実施形態における画像情報変換の一例について説明するための略線図である。
【図１４】この発明の他の実施形態における処理モード１−１のタップ構造について説明するための略線図である。
【図１５】この発明の他の実施形態における処理モード１−２のタップ構造について説明するための略線図である。
【図１６】この発明の他の実施形態における処理モード２−１のタップ構造について説明するための略線図である。
【図１７】この発明の他の実施形態における処理モード１−２のタップ構造について説明するための略線図である。
【図１８】この発明の他の実施形態における処理モード３−１のタップ構造について説明するための略線図である。
【図１９】この発明の他の実施形態における処理モード３−２のタップ構造について説明するための略線図である。
【図２０】この発明の他の実施形態における処理モード４−１のタップ構造について説明するための略線図である。
【図２１】この発明の他の実施形態における処理モード４−２のタップ構造について説明するための略線図である。
【図２２】従来のフィールド倍速処理について説明するための略線図である。
【符号の説明】
１５・・・予測係数メモリ、１６・・・予測演算回路、２１・・・時間間引きフィルタ、２２、２４・・・垂直間引きフィルタ、２３・・・学習部、２６・・・水平間引きフィルタ
Claims (10)
- 入力画像信号に対して単位時間当たりのフィールド数が整数倍で、上記入力画像信号とライン間隔が等しく、隣接するフィールド間において、垂直方向の画素位置が上記ライン間隔の１／２ずれた出力画像信号を上記入力画像信号から形成するようにした画像情報変換装置において、
入力画像信号から第１の領域を切り出す第１の領域切り出し手段と、
上記入力画像信号から第２の領域を切り出す第２の領域切り出し手段と、
上記第２の領域内の各画素値に対して所定の符号化処理を行う符号化手段と、
上記符号化手段の出力に基づいてパターン分類情報を生成するパターン分類情報生成手段と、
上記パターン分類情報に対応して予め決定された予測係数データを記憶し、予測係数データの内で上記パターン分類情報生成手段の出力に対応する予測係数を出力する係数記憶手段と、
上記第１の領域切り出し手段の出力と、上記係数記憶手段の出力とに基づいて出力画像信号を推定するための演算処理を行う演算処理手段とを有し、
上記予測係数データが上記入力画像信号における単位時間当たりのフィールド数と上記出力画像信号における単位時間当たりのフィールド数との公倍数に等しい数のフィールドを単位時間当たりに有する学習用画像信号に基づいて間引き演算および／またはフィルタ演算を含む学習処理によって生成され、
時間方向における間引き演算および／またはフィルタ演算を行うことによって、上記学習用画像信号から、単位時間当たりのフィールド数が上記入力画像信号と同一である生徒信号と、単位時間当たりのフィールド数が上記出力画像信号と同一である教師信号とをそれぞれ生成し、生成した上記生徒信号と上記教師信号とに基づいて上記予測係数データを算出することを特徴とする画像情報変換装置。 - 請求項１において、
上記入力画像信号のフィールドと一致する時間方向の位置と、上記入力画像信号のフィールド間隔を１／２した時間方向の位置とのそれぞれの位置に、上記出力画像信号における画素位置が生成されることを特徴とする画像情報変換装置。 - 請求項１において、
上記入力画像信号および／または上記出力画像信号は、インターレース画像信号であり、
上記学習用画像信号は、プログレシブ画像信号であり、
上記学習用画像信号に垂直方向における間引き演算および／またはフィルタ演算をさらに施すことによって、上記教師信号および／または生徒信号を生成することを特徴とする画像情報変換装置。 - 請求項１において、
上記出力画像信号における単位時間当たりのフィールド数は、上記入力画像信号における単位時間当たりのフィールド数の２倍であり、
上記学習用画像信号は、単位時間当たりのフィールド数が上記入力画像信号における単位時間当たりのフィールド数の２倍であることを特徴とする画像情報変換装置。 - 請求項１において、
上記入力画像信号は５０フィールド／秒のインターレース画像信号であり、
上記出力画像信号は１００フィールド／秒のインターレース画像信号であり、
上記学習用画像信号は、
１００フィールド／秒のプログレシブ画像信号であることを特徴とする画像情報変換装置。 - 請求項１において、
上記入力画像信号は５０フィールド／秒のインターレース画像信号であり、
上記出力画像信号は６０フィールド／秒のインターレース画像信号であり、
上記学習用画像信号は、
３００フィールド／秒のプログレシブ画像信号であることを特徴とする画像情報変換装置。 - 請求項１において、
上記出力画像信号における各フィールド内の水平方向の画素密度が上記入力画像信号における各フィールド内の水平方向の画素密度と異なり、
上記学習用画像信号に水平方向における間引き演算および／またはフィルタ演算をさらに施すことによって、上記教師信号および／または生徒信号を生成することを特徴とする画像情報変換装置。 - 請求項１において、
上記入力画像信号が５０フィールド／秒のインターレース画像信号であり、
上記出力画像信号が水平方向の画素密度が上記入力画像信号の２倍である、１００フィールド／秒のインターレース画像信号であり、
上記学習用画像信号は、水平方向の画素密度が上記入力画像信号の２倍である、１００フィールド／秒のプログレシブ画像信号であることを特徴とする画像情報変換装置。 - 入力画像信号に対して単位時間当たりのフィールド数が整数倍で、上記入力画像信号とライン間隔が等しく、隣接するフィールド間において、垂直方向の画素位置が上記ライン間隔の１／２ずれた出力画像信号を上記入力画像信号から形成するようにした画像情報変換方法において、
入力画像信号から第１の領域を切り出す第１の領域切り出しステップと、
上記入力画像信号から第２の領域を切り出す第２の領域切り出しステップと、
上記第２の領域内の各画素値に対して所定の符号化処理を行う符号化ステップと、
上記符号化ステップの出力に基づいてパターン分類情報を生成するパターン分類情報生成ステップと、
上記パターン分類情報に対応して予め決定された予測係数データを記憶し、予測係数データの内で上記パターン分類情報生成ステップの出力に対応する予測係数を出力する係数記憶ステップと、
上記第１の領域切り出しステップの出力と、上記係数記憶ステップの出力とに基づいて出力画像信号を推定するための演算処理を行う演算処理ステップとを有し、
上記予測係数データが上記入力画像信号における単位時間当たりのフィールド数と上記出力画像信号における単位時間当たりのフィールド数との公倍数に等しい数のフィールドを単位時間当たりに有する学習用画像信号に基づいて間引き演算および／またはフィルタ演算を含む学習処理によって生成され、
時間方向における間引き演算および／またはフィルタ演算を行うことによって、上記学習用画像信号から、単位時間当たりのフィールド数が上記入力画像信号と同一である生徒信号と、単位時間当たりのフィールド数が上記出力画像信号と同一である教師信号とをそれぞれ生成し、生成した上記生徒信号と上記教師信号とに基づいて上記予測係数データを算出することを特徴とする画像情報変換方法。 - 入力画像信号に対して単位時間当たりのフィールド数が整数倍で、上記入力画像信号とライン間隔が等しく、隣接するフィールド間において、垂直方向の画素位置が上記ライン間隔の１／２ずれた出力画像信号を上記入力画像信号から形成し、形成した上記出力画像信号に基づく画像表示を行う表示装置において、
入力画像信号から第１の領域を切り出す第１の領域切り出し手段と、
上記入力画像信号から第２の領域を切り出す第２の領域切り出し手段と、
上記第２の領域内の各画素値に対して所定の符号化処理を行う符号化手段と、
上記符号化手段の出力に基づいてパターン分類情報を生成するパターン分類情報生成手段と、
上記パターン分類情報に対応して予め決定された予測係数データを記憶し、予測係数データの内で上記パターン分類情報生成手段の出力に対応する予測係数を出力する係数記憶手段と、
上記第１の領域切り出し手段の出力と、上記係数記憶手段の出力とに基づいて出力画像信号を推定するための演算処理を行う演算処理手段とを有し、
上記予測係数データが上記入力画像信号における単位時間当たりのフィールド数と上記出力画像信号における単位時間当たりのフィールド数との公倍数に等しい数のフィールドを単位時間当たりに有する学習用画像信号に基づいて間引き演算および／またはフィルタ演算を含む学習処理によって生成されるようにした画像情報変換装置を有し、
時間方向における間引き演算および／またはフィルタ演算を行うことによって、上記学習用画像信号から、単位時間当たりのフィールド数が上記入力画像信号と同一である生徒信号と、単位時間当たりのフィールド数が上記出力画像信号と同一である教師信号とをそれぞれ生成し、生成した上記生徒信号と上記教師信号とに基づいて上記予測係数データを算出することを特徴とする表示装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP00272799A JP4438113B2 (ja) | 1999-01-08 | 1999-01-08 | 画像情報変換装置、画像情報変換方法および表示装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP00272799A JP4438113B2 (ja) | 1999-01-08 | 1999-01-08 | 画像情報変換装置、画像情報変換方法および表示装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000207526A JP2000207526A (ja) | 2000-07-28 |
| JP4438113B2 true JP4438113B2 (ja) | 2010-03-24 |
Family
ID=11537357
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP00272799A Expired - Fee Related JP4438113B2 (ja) | 1999-01-08 | 1999-01-08 | 画像情報変換装置、画像情報変換方法および表示装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4438113B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009063911A (ja) * | 2007-09-07 | 2009-03-26 | Namco Bandai Games Inc | プログラム、情報記憶媒体及び画像生成装置 |
-
1999
- 1999-01-08 JP JP00272799A patent/JP4438113B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000207526A (ja) | 2000-07-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4158232B2 (ja) | 画像情報変換装置および画像表示装置 | |
| JP2004516724A (ja) | ブロックベースの動き補償の精度を改善するための方法 | |
| JP4696388B2 (ja) | 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、それに使用される係数種データ生成装置、係数データ生成装置、並びに情報記録媒体 | |
| JP4147632B2 (ja) | 画像情報変換装置、画像情報変換方法、およびテレビジョン受像機 | |
| US6930728B2 (en) | Scan conversion apparatus | |
| JP4131048B2 (ja) | 画像情報変換装置、変換方法および画像表示装置 | |
| JP4193233B2 (ja) | 動き判定装置、その方法および画像情報変換装置 | |
| JP4438113B2 (ja) | 画像情報変換装置、画像情報変換方法および表示装置 | |
| JP4140091B2 (ja) | 画像情報変換装置および画像情報変換方法 | |
| JP4470323B2 (ja) | 画像変換装置および方法 | |
| KR100827214B1 (ko) | 비디오 스캔 레이트 전환을 위한 움직임 보상 업컨버전 | |
| JP3723995B2 (ja) | 画像情報変換装置および方法 | |
| JP4470324B2 (ja) | 画像信号変換装置および方法 | |
| JP4078719B2 (ja) | 画像情報変換装置、変換方法および画像表示装置 | |
| JPH07193789A (ja) | 画像情報変換装置 | |
| JP4174891B2 (ja) | 画像情報変換装置および方法 | |
| JP4099555B2 (ja) | 画像情報変換装置 | |
| JP3800638B2 (ja) | 画像情報変換装置および方法 | |
| JP4154768B2 (ja) | 画像情報変換装置および画像表示装置 | |
| JP4123587B2 (ja) | 画像情報処理装置および方法 | |
| JP4305688B2 (ja) | 画像処理装置および方法、並びに記録媒体 | |
| JP3653287B2 (ja) | 画像情報変換装置及び画像情報変換方法 | |
| JP4310847B2 (ja) | 画像情報変換装置および変換方法 | |
| JP4193236B2 (ja) | 画像情報変換装置、画像情報変換方法、およびテレビジョン受像機 | |
| JPH0799635A (ja) | 画像情報変換装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051205 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090421 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090622 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090811 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091002 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091215 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091228 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130115 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130115 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |