WO2000065830A1

WO2000065830A1 - Dispositif et procede de conversion d'image

Info

Publication number: WO2000065830A1
Application number: PCT/JP2000/002636
Authority: WO
Inventors: Tetsujiro Kondo; Yasushi Tatehira; Masaaki Hattori
Original assignee: Sony Corporation
Priority date: 1999-04-23
Filing date: 2000-04-21
Publication date: 2000-11-02
Also published as: EP1111918A1; US6646684B1; EP1111918A4; DE60041114D1; EP1111918B1; KR100730499B1; KR20010034918A; JP4470323B2

Description

明細書

画像変換装置および方法

技術分野

この発明は、テレビジョン受像機、 V T R等に用いて好適な画像変換装置および方法に関する。

背景技術

従来、テレビジョン走査方式のフィールド周波数としては、 5 0 Hz ( P A L方式、 S E C A M方式等）または 6 0 Hz ( N T S C方式）が広く採用されている。フィールド周波数が 5 0 Hzのような比較的低い場合には、表示画像の大面積がチカチカする、所謂フィールドフリツ力が発生する問題があった。

フィールドフリッカを低減するために、入力画像信号のフィールド数を 2倍とする画像処理装置が知られている。このような処理は、フィ一ルド倍速処理と称される。第 1 7図は、フィールド倍速処理により得られる画素構造の一例および他の例を概略的に示すものであり、縦軸を垂直方向位置 v、横軸を時間 t とするものである。フィールド倍速処理の結果、入力画像信号のフィールド周期の 1ノ 2の周期の出力画像信号が形成される。入力画像信号は、インターレス方式であるため、白い丸印で示す入力画素の垂直方向の位置（ライン位置）が時間的に連続する 2フィールド間で、 1 2ずれている。

第 1 7図 Aに示す画素構造は、出力画像信号の倍速フィールドがィン夕ーレス関係を有するように、倍速化を行うことで得られる。従来では、入力画像信号に存在してないフィールドの出力画素を形成するために、入力中の 3画素をメディアンフィル夕に供給していた。第 1 7図 Aにおいて、 3角形の破線で囲まれた 3個の入力画素から出力画素（星マークで示す）がメディアンフィル夕により生成される。メデイアンフィル夕は、 3個の入力画素の中間の画素値を有するものを出力する。第 1 7図 Aでは、一部の出力画素について、メディアンフィル夕の処理が示されているが、入力画素の位置と一致する出力画素以外の全ての出力画素がメディア：^フィル夕により生成される。第 1 7 図 Aに示す画素構造の出力画像信号を A BABタイプと称する。

また、第 1 7図 Bに示す出力画像信号の画素構造は、入力画像信号の時間的に前のフィ一ルドと同一の垂直方向の位置に新たなフィールドの画素が存在するように、倍速化を行ったものである。第 1 7図 B は、時間的に前のフィールドを繰り返して出力することによって、倍速化を行うことができる。第 1 7図 Bに示す画素構造の出力画像信号を AAB Bタイプと称する。

AAB Bタイプは、同じフィールドを繰り返し出力するので、倍速化によって、時間方向の解像度が向上しない。むしろ、ビデオカメラをパンして撮影された画像の場合には、 2重像が生じ、画質が劣化することがある。 ABABタイプは、 AAB Bタイプと比較して時空間解像度（時間方向および空間内解像度）の点で有利である。しかしながら、 ABABタイプは、時間的に前後のフィールドに含まれる 3個の入力画素をメディアンフィル夕で処理して出力画素を補間したものであるために、全画面の動き、文字の横スクロールの場合には、縦線が櫛歯状に見える劣化が生じる。例えば株式情報のように、画面に数字、文字が並んでいる画面が横スクロールする場合には、数字、文字が見にくくなる欠点がある。

従って、この発明の一つの目的は、 AAB Bタイプの問題点である時空間解像度がない問題点を解決することができる画像変換装置および方法を提供することにある。

この発明の他の目的は、入力画像の絵柄に適応して ABABタイプと A A B Bタイプとを切り替えることによって、画質を向上できる画像変換装置および方法を提供することにある。

発明の開示

上述した課題を達成するために、請求の範囲 1の発明は、互いに隣接する第 1のフィ一ルドの画素位置と第 2のフィールドの画素位置が異なる入力画像信号を、入力画像信号のフィールド周波数の N倍（N は、 2以上の整数）のフィールド周波数を有する出力画像信号に変換する画像変換装置において、

出力画像信号のうち、少なくとも入力画像信号に存在しない全てのフィールドを順次注目フィールドに設定し、注目フィールドの注目画素毎に、注目画素に基づいて決定される入力画像信号の複数の画素に基づいて、注目画素に対するクラスを決定するクラス決定部と、予め取得された予測情報を記憶するメモリ部と、

注目画素毎に、入力画像信号の複数の画素を選択する予測画素選択部と、

クラス決定部で決定されたクラスに対応する予測情報と、予測画素選択部で選択された複数の画素とに基づいて、出力画像信号の各注目画素を生成する画素生成部とを備え、

出力画像信号は、 Nと等しいフィールド単位に画素位置が変化すると共に、各フィールドの画素位置が、入力画像信号の第 1又は第 2のフィールドのいずれか一方のフィ一ルドの画素位置と一致することを特徴とする画像変換装置である。

また、請求の範囲 1 3の発明は、互いに隣接する第 1のフィールドの画素位置と第 2のフィ一ルドの画素位置が異なる入力画像信号を、入力画像信号のフィールド周波数の N倍（Nは、 2以上の整数）のフィールド周波数を有する出力画像信号に変換する画像変換方法において、

出力画像信号のうち、少なくとも入力画像信号に存在しない全てのフィールドを順次注目フィールドに設定し、注目フィールドの注目画素毎に、注目画素に基づいて決定される入力画像信号の複数の画素に基づいて、注目画素に対するクラスを決定するクラス決定ステップと注目画素毎に、入力画像信号の複数の画素を選択する予測画素選択ステップと、

決定されたクラスに対応する予測情報と、予測画素選択ステップで選択された複数の画素とに基づいて、出力画像信号の各注目画素を生成する画素生成ステツプとを備え、

出力画像信号は、 Nと等しいフィールド単位に画素位置が変化すると共に、各フィールドの画素位置が、入力画像信号の第 1又は第 2のフィ一ルドのいずれか一方のフィ一ルドの画素位置と一致することを特徴とする画像変換方法である。

この発明によれば、 A A B Bタイプの出力画像信号を生成する時に、入力画像信号中に存在しない出カフィールドの画素値を前後の入力フィールドの画像情報を使用して、クラス分類適応処理で生成するので、単に同一フィールドを繰り返し出力する従来の方法と比較して、 2度目に出力されるフィールドがその時間に対応する画像情報を持ち、時間解像度がないという問題点を解決することができる。また、クラス分類適応処理は、入力画像信号の複数画素に基づいてクラスを検出し、各クラスで最適となる推定予測式を用いて出力画像信号の画素値を作成するので、メディアンフィルタにより補間する場合と比較して出力画像信号の解像度を良好とすることができる。

また、フィールド倍速化の結果、出力画像信号として、 A A B B夕イブと、 ABABタイプとを選択的に生成することができる。従って、入力画像信号として、時空間解像度を要求される絵柄の場合には、 AB ABタイプを選択し、水平移動するテロップなどを多く見る場合には、 A AB Bタイプを選択することが可能となる。

図面の簡単な説明

第 1図は、この発明の第 1の実施形態の説明に用いる画素構造を概略的に示す略線図である。

第 2図は、この発明の第 2の実施形態のブロック図である。

第 3図は、フィールド倍速化を説明するための波形図である。第 4図は、フィールド倍速の出力画像信号に対する垂直同期信号を説明するための略線図である。

第 5図は、入力画像信号の画素と A AB Bタイプの出力画像信号の画素の配置を示す略線図である。

第 6図は、入力画像信号の画素と ABABタイプの出力画像信号の画素の配置を示す略線図である。

第 7図は、 A AB Bタイプの出力画像信号を生成する場合のタップ構造を示す略線図である。

第 8図は、 AAB Bタイプにおける予測タツプおよびクラスタツプの一例を示す略線図である。

第 9図は、 AAB Bタイプにおける予測タップおよびクラスタップの一例を示す略線図である。

第 1 0図は、 ABABタイプの出力画像信号を生成する場合のタツプ構造を示す略線図である。

第 1 1図は、 ABABタイプにおける予測タップおよびクラスタツプの一例を示す略線図である。

第 1 2図は、 ABABタイプにおける予測タップおよびクラスタツプの他の例を示す略線図である。

第 1 3図は、 A B A Bタイプにおける予測タップおよびクラスタツプのさらに他の例を示す略線図である。

第 1 4図は、予測係数を学習する時の構成を示すブロック図である „

第 1 5図は、 A A B Bタイプに関する予測係数を学習する時の教師画像と生徒画像の画素の位置関係を説明するための略線図である。第 1 6図は、 A B A Bタイプに関する予測係数を学習する時の教師画像と生徒画像の画素の位置関係を説明するための略線図である。第 1 7図は、従来のフィールド倍速化処理の一例および他の例を説明するための略線図である。

発明を実施するための最良の形態

以下、この発明の第 1の実施形態について説明する。第 1の実施形態で使用するフィールド倍速処理装置は、クラス分類適応処理によつて、少なくとも入力画像信号中に存在しない出力フィールドの画素を生成するものである。最初にこの発明が適用された A A B Bタイプの出力画像信号を生成するようにしたフィールド倍速化の処理について、第 1図を参照して説明する。第 1図は、第 1 7図と同様に、フィ一ルド倍速処理により得られる画素構造を概略的に示すものであり、縦軸を垂直方向位置 v、横軸を時間 tとするものであり、入力画像を白い丸印で示し、出力画像を黒い丸印または星マークで示す。

第 1図 Aは、第 1 7図 Aと同様の従来の処理を示し、この発明による処理との比較のための図である。すなわち、入力画像信号中のフィ一ルドと同一のフィールドを繰り返して出力することによって倍速化の処理を行うことを示す。第 1図 Bは、この発明による倍速化の処理を示す。第 1図 Bにおいて、破線で囲んで示すように、入力画像信号中に存在していないフィ一ルドの時間的に前のフィールドに属し、垂直方向の位置が同一位置の画素 X 1と、その上下の画素 x 2および X 3と、時間的に後のフィールドに属し、垂直方向の上下の位置の画素 X 4および X 5を使用して、新たなフィールドの画素 yを生成する。この処理は、クラス分類適応処理である。なお、後述する第 2の実施形態の説明から明らかなように、クラス分類適応処理で使用する入力画素は、 x l〜x 5に限られない。

この発明の第 1の実施形態は、第 1図 Bに示すように、前後の入力フィールドの入力画素を使用し、クラス分類適応処理によって新たなフィールドの出力画素を生成するので、 AAB Bタイプであって、時間方向の解像度を持った新たなフィ一ルドを生成することができる。従って、同一フィールドを繰り返し出力する従来の方法のように、パンした画面で 2重像が生じることを防止することができる。

次に、この発明の第 2の実施形態について説明する。第 2の実施形態では、入力画像信号がフィールド周波数 60Hz、ライン数が 5 2 5 本のィンターレス信号であって、フィールド倍速化の処理によって、入力画像信号をフィールド周波数 1 2 0Hz、ライン数が 5 2 5本の出力画像信号へ変換するようにしたものである。また、第 2の実施形態では、出力画像信号の画素構造として、 AAB Bタイプと ABAB夕イブとをユーザの設定によって、または入力画像信号に適応して切り替えることを可能としたものである。 AAB Bタイプの画像信号を出力する場合には、第 1図 Bを参照して説明した方法でもって、画素を生成する。 ABABタイプについても、クラス分類適応処理によって、画素を生成する。 ABABタイプに関して、クラス分類適応処理を使用するので、メディアンフィル夕を使用する従来の方法と比較して、時空間の解像度をより高くすることができる。クラス分類適応処理は、入力信号である画像信号の時間的および/ または空間的特徴に応じてクラス分割を行い、クラス毎に予め学習により獲得された予測係数値を格納した記憶手段を持ち、予測式に基づいた演算により最適な推定値を出力する方式であり、クラス分類適応処理によって、解像度を入力画像信号のもの以上に高めることが可能である。

この画素生成装置の一例では、第 2図に示すように、入力インターレス画像信号（5 2 5ライン Z 6 0 Hz) が領域切り出し部 1に供給され、クラス分類および予測演算に必要とされる複数の画素が含まれる領域が切り出される。領域切り出し部 1の出力がクラス検出回路 2および 1 2、予測タップ選択回路 3および 1 3に供給される。クラス検出回路 2および 1 2は、作成すべき出力画素の近傍の入力画素の特徵に対応するクラスを検出する。クラス検出回路 2および 1 2において、動きクラスを検出しても良い。並列に画素生成のための二つの構成を設けるのは、入力画像信号中に存在するフィールドの画素を生成する構成と、入力画像信号中に存在しないフィ一ルドの画素を生成するためである。

クラス検出回路 2および 1 2のそれぞれにより検出されたクラスが予測タップ選択回路 3、 1 3と予測係数メモリ 4、 1 4とに供給される。予測係数メモリ 4、 1 4からは、クラスに対応する予測係数セットが読出され、積和演算回路 5、 1 5に読出された予測係数セットが供給される。予測タップ選択回路 3、 1 3は、クラスに応じて使用する予測夕ップを選択する構成とされている。予め各クラスの予測係数セットを学習によって得る時に、予測係数セッ卜と使用する予測タツプ位置情報との両者を得るようにしている。予測タップ選択回路 3、 1 3には、予測タップ位置情報がクラス毎に記憶されたメモリが設けられている。このメモリからクラスに対応して読出された予測夕ップ位置情報が夕ップ切り替え用のセレクタに供給され、セレクタが選択的に予測タップを出力する。予測タップ選択回路 3 、 1 3からの予測タップが積和演算回路 5、 1 5に供給される。

積和演算回路 5、 1 5では、予測タップ（入力画像信号の画素）と予測係数セッ卜との線形推定式を用いて出力画像信号のデータを算出する。積和演算回路 5、 1 5がそれぞれフィールド倍速の出力画像信号の隣り合うフィールドの第 1および第 2の画素値を同時に出力する。積和演算回路 5からの第 1の画素値がフィールドダブラ 6に供給され、積和演算回路 1 5からの第 2の画素値がフィールドダプラ 1 6に供給される。フィールドダプラ 6 、 1 6は、フィールドメモリを有し、クラス分類処理で生成された第 1および第 2のフィールドのそれぞれのフィールド周波数を 2倍とする処理を行う。フィールドダプラ 6 、 1 6の出力がフィールド毎に切り替えられるセレクタ 7に入力される。セレクタ 7は、フィールドダプラ 6、 1 6のそれぞれの出力を交互に選択し、出力画像信号（ 5 2 5ライン / 1 2 0 Hzの出力信号）を発生する。

図示しないが、出力画像信号が例えば C R Tディスプレイに供給される。 C R Tディスプレイは、出力画像信号を表示することが可能なように、その同期系が構成されている。入力画像信号としては、放送信号、または V T R等の再生装置の再生信号が供給される。すなわち、この一例をテレビジョン受像機に内蔵することができる。

さらに、選択信号発生部 8が設けられている。選択信号発生部 8は、出力画像信号として A A B Bタイプのものを生成するか、 A B A B タイプのものを生成するかを指示する選択信号 S L 1および S L 2を発生する。選択信号 S L 1および S L 2のハイレベル、ローレベルが A A B Bタイプと A B A Bタイプとにそれぞれ対応付けられている。選択信号発生部 8は、ユーザが出力画像信号により提示される画像を見ながらスィツチ等をマニュアル操作することによって選択信号 S L 1および S L 2を発生する。マニュアル操作に限らず、入力画像信号と共に送られる制御信号の指示に応答して選択信号 S L 1および S L 2を発生しても良い。さらに、入力画像信号自体の特性に応じて自動的に選択信号 S L 1および S L 2を発生しても良い。

選択信号 S L 1により領域切り出し部 1の切り出し方法が制御される。選択信号 S L 2によりクラス検出回路 2， 1 2および予測タップ選択回路 3， 1 3におけるクラスタップおよび予測タップの設定が制御される。選択信号 S L 2により予測係数メモリ 4， 1 4の予測係数テーブルが切り替えられる。さらに、選択信号 S L 2が同期信号発生部 9に供給され、出力画像信号の各タイプに適応した垂直同期信号が生成される。この垂直同期信号によって C R Tモニタ一（図示しない ) の垂直偏向が制御される。

第 3図は、フィールドダプラ 6および 1 6の動作を横軸に時間、縦軸にフィールドダブラ 6および 1 6内のフィールドメモリのアドレスをとつて示すものである。積和演算回路 5、 1 5によって、第 1のフィ一ルドおよび第 2のフィールドのデータが同時に生成される。第 3 図 Aが積和演算回路 5によって生成された第 1のフィールドの画像信号をフィールドメモリに書き込む時のァドレスであり、第 3図 Cが積和演算回路 1 5によって生成された第 2のフィールドの画像信号をフィ一ルドメモリに書き込む時のァドレスである。各フィ一ルドに対して付加された番号 1 A， 1 B， 2 A , 2 B， · · · は、 1フレームを構成する 2フィールド（Aおよび B ) を示す。また、クラス分類適応処理による遅れを無視して、入力画像信号と積和演算回路 5、 1 5の出力画像信号に対して番号が付されている。

第 3図 Aに示す積和演算回路 5の出力画像信号がフィールドダブラ 6に供給される。フィールドダプラ 6では、積和演算回路 5の出力の 1フィールド（例えば第 3図 A中の 1 A ) がフィールドメモリに書き込まれ、この書き込みアドレスを追い越さないように、書き込み速度の 2倍の速度でフィ一ルドメモリから 1フィールド（例えば第 3図 B 中の 1 A ) が読み出される。また、 1フィールドの読み出しが 2回繰り返される。従って、第 3図 Bに示すように、 2倍のフィールド周波数とされた出力がフィールドダブラ 6から発生する。他方のフィールドダブラ 1 6も、フィールドダプラ 6と同様に積和演算回路 1 5からの演算信号のフィールド周波数を 2倍に変換した出力信号（第 3図 D ) を発生する。

これらのフィールドダプラ 6および 1 6の出力信号がセレクタ 7に供給され、セレクタ 7がそれぞれの出力信号をフィールド毎に交互に選択する。その結果、セレクタ 7からは、第 3図 Eに示す出力画像信号が得られる。出力画像信号は、積和演算回路 5により生成された第 1のフィールドの画像信号と、積和映像回路 1 5により生成された第 2のフィールドの画像信号とが時間軸方向に交互に位置し、且つフィ —ルド周波数が 2倍とされた画像信号である。

なお、第 2図に示されるクラス分類適応処理のフィールド倍速化の構成は、カラー画像信号の一つのコンポーネン卜に対応したものであり、輝度信号、二つの色差信号の計 3個のコンポーネントに対して、第 2図に示される構成をそれぞれ設けても良い。さらに、コンポ一ネントカラ一画像信号に限らず、コンポジットカラ一画像信号に対してもこの発明を適用することができる。

第 4図は、同期信号発生部 9により生成される垂直同期信号を説明するための図である。出力画像信号が A B A Bタイプの場合には、第 4図 Aに示すように、ィンターレス方式でラスター走査がなされる。すなわち、第 1フィールドの第 1ラインから実線で示すように、走査が行われ、第 2 6 3ラインの中間で第 2フィールドに移り、以降、第 5 2 5ラインまで走査がなされる。第 1フィールドの上下のライン間の中央位置に第 2フィールドのライン（破線）が存在する。従って、第 4図 Bに示すように、 A B A Bタイプでは、 2 6 2 . 5ラインの周期を有する垂直同期信号が同期信号発生部 9から出力される。

A A B Bタイプの場合では、第 4図 Cに示すように、ラス夕一走査の物理的位置で動作がなされる。最初のフィールドでは、第 1ラインから第 2 6 2ラインまでの 2 6 2ラインの走査がなされ、 2番目のフィ一ルドでは、前のフィールドの第 1ラインから第 2 6 2ラインと同一の位置の走査がされ、さらに、第 2 6 3ラインの前半までの 2 6 2 . 5ラインの走査がなされる。 3番目のフィールドでは、第 2 6 3ラインの後半から走査が開始され、第 2 6 3ラインの前半までの 2 6 3 ラインの走査がなされる。 4番目のフィールドでは、第 2 6 3ラインの後半から走査がなされ、第 2 6 2ラインまでの 2 6 2 . 5ラインの走査がなされる。 4番目のラスタ一走査は、第 1番目の走査に戻る。このように、 4フィールド周期でもって、ラスタ一走査がなされる。第 4図 Cに示すラスタ一走査を行うために、同期信号発生部 9は、 A A B Bタイプでは、第 4図 Dに示すように、垂直同期信号を発生するこのように、同期信号発生部 9は、選択信号発生部 8からの選択信号 S L 2によって指示されるタイプに適応して垂直同期信号を発生する。この垂直同期信号によって C R Tモニターの垂直偏向が制御され、フィールド倍速の出力画像信号が表示される。以下、この発明の第 2の実施形態におけるクラス分類適応処理について、より詳細に説明する。第 5図は、縦軸を垂直方向、横軸を時間方向とした時に、 A A B Bタイプの出力画像信号を生成する場合の画素位置を概略的に示す。入力画像信号中に存在しているフィ一ルド内の画素がクラス分類処理によって生成される。すなわち、クラス検出回路 2、予測タップ選択回路 3、予測係数メモリ 4、積和演算回路 5 によって、入力画像信号中に存在しないフィールド内の画素が生成される。入力画像信号中に存在していないフィールド内の画素がクラス検出回路 1 2、予測タップ選択回路 1 3、予測係数メモリ 1 4、積和演算回路 1 5によって生成される。そして、フィールドダプラ 6および 1 6とセレクタ 7とによって、第 5図に示す画素の配置を有する A A B Bタイプの出力画像信号が生成される。

第 6図は、縦軸を垂直方向、横軸を時間方向とした時に、 A B A B タイプの出力画像信号を生成する場合の画素位置を概略的に示す。入力画像信号中に存在しているフィ一ルド内の画素がクラス検出回路 2 、予測タップ選択回路 3、予測係数メモリ 4、積和演算回路 5によつて生成される。入力画像信号中に存在していないフィ一ルド内の画素がクラス検出回路 1 2、予測タップ選択回路 1 3、予測係数メモリ 1 4、積和演算回路 1 5によって生成される。そして、フィールドダブラ 6および 1 6とセレクタ 7とによって、第 6図に示す画素の配置を有する A B A Bタイプの出力画像信号が生成される。

第 5図に示す A A B Bタイプの出力画像信号を生成する場合のタツプ構造について説明する。第 7図は、垂直方向および時間方向のタツプ構造を示す。説明の便宜上、画素生成動作の共通性に基づいて、 4 個のモードを規定する。モード 1は、入力画像信号中に存在する奇数フィールドおよび偶数フィ一ルドの一方のフィ一ルド内の画素と垂直方向で同一位置に画素を第 1のフィ一'ルドの画素として生成する処理である。モード 2は、入力画像信号に存在しないフィールドの画素で、一方のフィールドの画素と垂直方向で同一位置に画素を第 2のフィ一ルドの画素として生成する処理である。モード 3は、入力画像信号中に存在する奇数フィ一ルドおよび偶数フィールドの他方のフィールド内の画素と垂直方向で同一位置に画素を第 3のフィ一ルドの画素として生成する処理である。モード 4は、入力画像信号に存在しないフィ一ルドの画素で、他方のフィ一ルドの画素と垂直方向で同一位置に画素を第 4のフィールドの画素として生成する処理である。

A A B Bタイプの出力画像信号を生成するモード 2およびモード 4 では、第 7図において、三角形で囲んで示すように、新たに生成されるフィ一ルドの前後のフィールドの入力画素がクラスタップまたは予測タップとして使用される。すなわち、生成する新たなフィールドの前のフィールド（一 1フィールドと称する）に含まれ、生成しようとする画素と同一位置の画素と、新たなフィールドの後のフィールド（ 0フィールド）に含まれ、生成しょうとする画素に対して垂直方向で上下の位置の画素とが夕ップとして使用される。

第 8図 Aは、モード 1およびモード 3における予測夕ップの一例であり、第 8図 Bは、モード 1およびモード 3におけるクラスタップの一例である。第 8図 Aおよび第 8図 Bは、縦軸を垂直方向、横軸を水平方向にとって画素の配置を示す。第 8図 Aに示すように、 — 1フィ一ルドに含まれ、生成しょうとする画素（黒い丸印） yと垂直方向で上下の位置の 6個の入力画素 x。〜x ₅ と、 0フィールドに含まれ、生成しょうとする画素 yと上下左右の位置に隣接する 4個の入力画素 x ₆ 〜x , との合計 1 0個の入力画素により予測タップが構成される

4 第 8図 Bに示すように、 4個の入力画素 X。〜X ₃ によって、モード 1およびモード 3のクラスタップが構成される。 X。および X , は、一 1フィールドに含まれ、生成しょうとする画素 yと垂直方向で上下の位置の画素である。 X ₂ および X ₃ は、 0フィールドに含まれ、生成しょうとする画素 yに対して垂直方向で上下の位置の画素である第 9図 Aは、モード 2およびモード 4における予測タツプの一例であり、第 9図 Bは、モード 2およびモード 4におけるクラスタップの一例である。第 9図 Aおよび第 9図 Bは、縦軸を垂直方向、横軸を水平方向にとって画素の配置を示す。第 9図 Aに示すように、 — 1フィ —ルドに含まれ、生成しょうとする画素（黒い丸印） yと垂直方向で同一位置の 5個の入力画素 x。〜x ₄ と、 0フィールドに含まれ、生成しようとする画素 yに対して垂直方向で上下の位置の 6個の入力画素 x ₅ 〜x _{1 0}との合計 1 1個の入力画素により予測タップが構成される。生成される画素 yと入力画素 X 2の空間的位置が同一である。第 9図 Bに示すように、 5個の入力画素 X。〜X ₄ によって、モード 2およびモード 4のクラスタップが構成される。 X。は、 — 1フィ —ルドに含まれ、生成しょうとする画素 yと空間的に同一位置の画素である。 X , および X ₂ は、一 1フィールドに含まれ、生成しようとする画素 yに対して垂直方向で上下の位置の画素である。 X ₃ および X ₄ は、 0フィールドに含まれ、生成しょうとする画素 yに対して垂直方向で上下の位置の画素である。

第 6図に示す A B A Bタイプの出力画像信号を生成する場合のタツプ構造について説明する。第 1 0図は、垂直方向および時間方向の夕ップ構造を示す。処理のモードの共通性に基づいて、 4個のモードを規定する。モード 1は、入力画像信号中に存在する一方のフィールド内の画素と垂直方向で同一位置に画素を生成する処理である。モード

2は、入力画像信号に存在しないフィールドの画素で、一方のフィールドの画素と垂直方向で 1ノ 2ラインずれた位置に画素を生成する処理である。モード 3は、入力画像信号中に存在する他方のフィールド内の画素と垂直方向で 1 2ラインずれた位置に画素を生成する処理である。モード 4は、入力画像信号に存在しないフィールドの画素で、他方のフィ一ルドの画素と垂直方向で同一位置に画素を生成する処理である。

モード 2およびモード 4では、第 1 0図において、三角形で囲んで示すように、生成する画素の含まれる新たなフィールドの前後のフィ —ルドの入力画素がタップとして使用される。モード 2では、 — 1フィールドに含まれ、生成しょうとする画素に対して垂直方向で上下の位置の画素と、 0フィールドに含まれ、生成しょうとする画素と垂直方向で同一位置の画素とがタップとして使用される。モード 4では、 — 1フィールドに含まれ、生成しょうとする画素と垂直方向で同一位置の画素と、 0フィールドに含まれ、生成しょうとする画素に対して垂直方向で上下の位置の画素とがタップとして使用される。

モード 3では、第 1 0図において、菱形で囲んで示すように、生成する画素の含まれるフィールド（0フィールド）と同一フィールドで、その上下の入力画素と、生成する画素のフィールドの前のフィールド（— 1フィールド）に含まれ、生成しょうとする画素と垂直方向で同一位置の画素と、新たなフィールドの後のフィールド（+ 1フィ一ルド）に含まれ、生成しょうとする垂直方向で同一位置の画素とがタップとして使用される。

第 1 1図 Aは、モード 2における予測タップの一例であり、第 1 1 図 Bは、モード 2におけるクラスタップの一例である。第 1 1図 Aおよび第 1 1図 Bは、縦軸を垂直方向、横軸を水平方向にとって画素の配置を示す。第 1 1図 Aに示すように、 — 1フィールドに含まれ、生成しようとする画素 yに対して垂直方向で上下の位置の 6個の入力画素 x。〜x₅ と、 0フィールドに含まれ、生成しょうとする画素 yと垂直方向で同一位置の 5個の入力画素 x₆ 〜x ,。との合計 1 1個の入力画素により予測タップが構成される。

第 1 1図 Bに示すように、 5個の入力画素 X。〜X₄ によって、モ —ド 2のクラスタップが構成される。 X。および X, は、 — 1フィ一ルドに含まれ、生成しょうとする画素 yに対して垂直方向で上下の位置の画素である。 X₂ は、 0フィールドに含まれ、生成しょうとする画素 yと同一位置の画素である。 X₃ および X₄ は、 0フィールドに含まれ、生成しょうとする画素に対して垂直方向で上下の位置の画素である。

第 1 2図 Αは、モード 3における予測タップの一例であり、第 1 2 図 Bは、モード 3におけるクラスタップの一例である。第 1 2図 Aおよび第 1 2図 Bは、縦軸を垂直方向、横軸を水平方向にとって画素の配置を示す。第 1 2図 Aに示すように、一 1フィールドに含まれ、生成しようとする画素 yに対して垂直方向で上下の位置の 2個の入力画素 x。および X , と、 0フィールドに含まれ、生成しょうとする画素 yの周辺の 6個の入力画素 x₂ 〜x₇ と、 + 1フィールドに含まれ、生成しょうとする画素 yに対して垂直方向で上下の位置の 2個の入力画素 x₈ および χ₉ との合計 1 0個の入力画素により予測タップが構成される。

第 1 2図 Βに示すように、 6個の入力画素 X。〜Χ₅ によって、モ —ド 3のクラスタップが構成される。 X。および X, は、 — 1フィールドに含まれ、生成しょうとする画素 yに対して垂直方向で上下の位置の画素である。 X₂ および X₃ は、 0フィールドに含まれ、生成しようとする画素 yに対して垂直方向で上下の位置の画素である。 X₄ および X₅ は、 + 1フィールドに含まれ、生成しょうとする画素 yに対して垂直方向で上下の位置の画素である。

第 1 3図 Aは、モード 4における予測タップの一例であり、第 1 3 図 Bは、モード 4におけるクラスタツプの一例である。第 1 3図 Aおよび第 1 3図 Bは、縦軸を垂直方向、横軸を水平方向にとって画素の配置を示す。第 1 3図 Aに示すように、一 1フィールドに含まれ、生成しようとする画素 yと垂直方向で同一位置の 5個の入力画素 x。〜 χ₄ と、 0フィールドに含まれ、生成しょうとする画素 yに対して垂直方向で上下の位置の 6個の入力画素 x₅ 〜x₁₀との合計 1 1個の入力画素により予測タツプが構成される。

第 1 3図 Bに示すように、 5個の入力画素 X。〜X₄ によって、モード 4のクラスタップが構成される。 X。は、 — 1フィールドに含まれ、生成しょうとする画素と垂直方向で同一位置の画素である。 X, および X₂ は、一 1フィールドに含まれ、生成しょうとする画素に対して垂直方向で上下の位置の画素である。 X₃ および X₄ は、 0フィ一ルドに含まれ、生成しょうとする画素 yに対して垂直方向で上下の位置の画素である。

なお、モード 1の予測タップおよびクラスタップは、入力信号に存在しているフィ一ルドを作りなおす処理であって、例えば第 8図 Aに示す ABA Bタイプのモ一ド 1と同様のもので良い。

上述した AABBタイプと ABABタイプとで、クラスタップを切り替えるために、クラス検出回路 2および 1 2に対して選択信号 S L 2が供給される。また、タイプによって予測タップを切り替えるために、予測タップ選択回路 3および 1 3に対して選択信号 S L 2が供給される。クラスタップおよび予測タップのモードに応じた切り替えは

、クラス検出回路 2 , 1 2および予測タップ選択回路 3， 1 3のそれぞれにおいてなされる。領域切り出し回路 1は、クラスタップおよび予測夕ップとして使用される可能性のある全ての入力画素を同時に出力するものである。クラス検出回路 2および 1 2は、モードと注目画素の位置に応じてクラスタツプを選択するようになされている。

クラス検出回路 2、 1 2は、クラスタップの特徵例えばレベル分布を検出する。この場合、クラス数が膨大となることを防ぐために、各画素 8ビッ卜の入力データをより少ないビット数のデータへ圧縮するような処理を行う。一例として、 ADR C (Adaptive Dynamic Range Coding ) によって、クラスタップの入力画素のデータが圧縮される。なお、情報圧縮方式としては、 ADRC以外に D P CM (予測符号化）、 VQ (ベクトル量子化）等の圧縮方式を用いても良い。

本来、 ADRCは、 VTR (Video Tape Recoder) 向け高能率符号化用に開発された適応的再量子化法であるが、信号レベルの局所的な特徴を短い語長で効率的に表現できるので、この一例では、 ADRC をクラス分類のコード発生に使用している。 ADR Cは、クラスタツプのダイナミックレンジを DR、ビット割当を n、クラスタップの画素のデータレベルを L、再量子化コードを Qとして、以下の式（ 1 ) により、最大値 MAXと最小値 M I Nとの間を指定されたビット長で均等に分割して再量子化を行う。

D R = MAX -M I N+ 1

Q= { (L -M I N + 0. 5) X 2 /D R} ( 1 ) ただし、 { } は切り捨て処理を意味する。

なお、動きクラスを併用して、クラスと動きクラスとを統合してクラスを検出するようにしても良い。この場合、動きクラスに応じて、クラスタツプを切り替えるようにしても良い。

そして、積和演算回路 5， 1 5は、予測タップ選択回路 3, 1 3でそれぞれ選択された予測タップ（画素値）と、予測係数メモリ 4, 1 4からそれぞれ読み出された予測係数セットとの線形 1次結合によつて、画素値を生成する。線形 1次式に限らず、 2次以上の高次の推定式によって画素値を生成しても良い。この場合、予測係数メモリ 4， 1 4には、 A AB Bタイプで使用する予測係数テーブルと、 ABAB タイプで使用する予測係数テーブルとが格納されている。各テーブルは、複数の予測係数セットを、モードとクラス検出回路 2， 1 2で決定されたクラスとに対応する個数有する。各テーブル（予測係数）は、予め後述する学習処理によって取得されている。

積和演算回路 5は、予測タップ選択回路 3、または 1 3からの予測夕ップ（画素値） x l， X 2 , · · · χ ί と、予測係数セット， w₂ ， · · · w i との線形 1次結合式（式（ 2 ) ) の演算を行うことにより、例えばモード .1およびモード 3の場合の画素値を算出する。積和演算回路 1 5は、同様にしてモード 2およびモード 4の場合の画素値を算出する。

L 1 =Wi X 1 +w₂ x 2 + · · · ， +w i x i ( 2 このように、予測係数セットが各クラス毎に予め学習により求められた上で、予測係数メモリ 4、 1 4に記憶しておき、入力される予測タップおよび読出された予測係数セッ卜に基づいて演算が行われ、入力されたデータに対応する出力データを形成して出力することにより、入力データを単に補間処理したのとは異なり、高画質のフィールド倍速の画像信号を出力することができる。

次に、予測係数の作成（学習）について第 1 4図を用いて説明する。 AAB Bタイプの出力画像信号を形成する学習と、 ABABタイプの出力画像信号を形成する学習とは、別々の予測係数を求めるために、別々の処理である。しかしながら、いずれの学習のためにも、第 1 4図の構成を使用することができる。予測係数を学習によって得るためには、まず、間引き部 3 1によって、フィールド周波数が 1 20Hz (フィールド倍速）のプログレッシブの画像信号から、垂直方向で画素数が 1ノ2とされ、フィールド周波数 6 0 Hzのィン夕一レス画像信号（生徒画像）を形成する。

また、間引き部 4 1によって、垂直方向で画素数が 1 Z2とされ、フィールド周波数 1 2 0Hzの画像信号（教師画像）を形成する。教師画像としては、 AABBタイプまたは AB ABタイプである。間引き部 4 1は、各フィールドの垂直方向の間引きの方法を変えることによつて、 A AB Bタイプおよび ABABタイプの一方の教師画像を形成する。間引き部 4 1からの教師画像と間引き部 3 1からの生徒画像とを学習用の対とする。

第 1 5図は、 AAB Bタイプの出力画像信号を形成するための予測係数を学習する時の画素構造を示す。また、第 1 6図は、 ABAB夕イブの出力画像信号を形成するための予測係数を学習する時の画素構造を示す。縦軸が垂直方向であり、横軸が時間方向である。第 1 5図および第 1 6図において、黒い丸印がフィールド周波数が 1 2 0Hzで、プログレッシブ画像の画素を示す。

AAB Bタイプの学習時には、間引き部 4 1において、連続するフィールドで垂直方向で同一の位置の画素を教師画像の画素とするように、垂直方向の 1ノ 2間引きがなされる。 ABABタイプの学習時には、間引き部 4 1において、連続するフィールドで、垂直方向の位置がプログレッシブ画像の 1ラインのずれを持つように、垂直方向の 1 Z2間引きがなされる。また、間引き部 3 1において、フィールド周波数を 6 0Hzとするように、時間間引きがなされ、また、時間間引き後の時間的に連続するフィールド間で、垂直方向の位置がプログレッシブ画像の 1ラインのずれを持つように、垂直方向の 1ノ2間引きがなされる。このように形成される生徒画像は、画素値生成時の入力画像に対応するものである。

間引き部 3 1からの生徒画像信号が予測タップ領域切り出し部 3 2 およびクラスタップ領域切り出し部 3 3に供給される。クラスタップ領域切り出し部 3 3からのクラスタップがクラス検出回路 34および 3 5に供給される。予測タップ領域切り出し部 3 2は、各モードで画素を作成するための予測タップを出力する。クラス検出回路 34、 3 5は、第 2図に示す画素生成装置におけるクラス検出回路 2、 1 2と同様に、モード毎に設定されたクラスタツプのデ一夕を AD R Cにより圧縮し、クラス情報を発生する。クラス検出回路 34、 3 5は、モード 1および 3と、モード 2および 4のそれぞれに関するクラスを独立に検出する。

予測タップ領域切り出し部 3 2からの予測タツプが正規方程式加算回路 3 6、 3 7に供給される。正規方程式加算回路 3 6、 3 7の説明のために、複数個の入力画素から出力画素への変換式の学習とその予測式を用いた信号変換について述べる。以下に、説明のために、より一般化して n画素による予測を行う場合について説明する。予測タツプとして選択される入力画素のレベルをそれぞれ X , 、 *' · ·、 x„ とし、教師画像中の出力画素レベルを yとしたとき、クラス毎に予測係数セット w, 、 ·· ··、 w_n による nタップの線形推定式を設定する。これを下記の式（ 3) に示す。学習前は、 _Wi が未定係数である。 y = Wi x i + w₂ x 2 +·· ··+ w« x _n (3) 学習は、クラス毎に複数の信号デ一夕に対して行う。データ数が m の場合、式（3) にしたがって、以下に示す式（4) が設定される

y k = W i X kl + W₂ X k2 + ·· · · + W„ X kn 、4)

( k = 1 , 2， ·· --m)

m>nの場合、予測係数セット Wi 、 ·· ·· w„ は、一意に決まらないので、誤差ベクトル eの要素を以下の式（5) で定義して、式（6 ) を最小にする予測係数セットを求める。いわゆる、最小自乗法による解法である。

e k = y k - { Wi Xki + w₂ X kz+ ·· ·· +w„ x _kn} C b )

( k = 1 , 2， ·· --m)

ここで、式（6) の Wi による偏微分係数を求める。それは以下の式（ 7 ) を '0' にするように、各係数 Wi を求めればよい。

de,

e. ( 7) ow_t =0 A=0

以下、式（8) 、 (9) のように Xij、 Yi を定義すると、式（ 7 ) は、行列を用いて式（ 1 0) へ書き換えられる。

( 8 )

^X =∑ ^xn'^xpj ( 9 )

*=0

( 1 0 )

この方程式は、一般に正規方程式と呼ばれている。第 1 4図中の正規方程式加算回路 3 6、 3 7のそれぞれは、クラス検出回路 3 4、 3 5から供給されたクラス情報と、予測タップ領域切り出し部 3 2から供給された予測タップと、教師画像の画素を用いて、この正規方程式の加算を行う。

学習に充分なフレーム数のデータの入力が終了した後、正規方程式加算回路 3 6、 3 7は、予測係数決定部 3 8に正規方程式デ一夕を出力する。予測係数決定部 3 8は、正規方程式を掃き出し法等の一般的な行列解法を用いて、 W i について解き、予測係数セットを算出する。予測係数決定部 3 8は、算出された予測係数セットを予測係数メモリ 3 9、 4 0に書込む。

以上のように学習を行った結果、予測係数メモリ 3 9、 4 0のそれぞれには、クラス毎に、フィールド倍速信号の注目画素 yを推定するための、もっとも真値に近い推定ができる予測係数が格納される。予測係数メモリ 3 9 、 4 0に格納された予測係数は、上述の画像変換装置において、予測係数メモリ 4 、 1 4にロードされる。

また、予測タップ領域切り出し部 3 2が出力する予測タップの個数は、画素生成装置において使用される予測タツプの個数より大きいものとされる。従って、予測係数決定部 3 8は、クラス毎により多くの予測係数セットが求まる。この求まった予測係数セットの中で、絶対値が大きいものから順に使用する数の予測係数セットが選択される。選択された予測係数セッ卜がメモリ 3 9 、 4 0のクラスに対応するァドレスにそれぞれ格納される。従って、クラス毎に予測タップが選択されることになり、この予測タップの選択位置情報がクラス毎にメモリ（図示しない）に格納される。このような予測タップ選択処理によつて、各クラスに適合した予測夕ップを選択することが可能となる。以上の処理により、線形推定式により、フィールド周波数が 6 0 Hz のィンターレス画像信号からフィ一ルド周波数が 1 2 0 Hzの画像のデ一夕を作成するための予測係数の学習が終了する。

上述したこの発明による画像変換装置を例えば C R Tディスプレイのような表示装置と入力信号源との間に設けることによって、入力画像信号の絵柄に応じてフィールド倍速化された出力画像信号のタイプを選択することができるので、良質な再生画像を見ることができる。この発明は、フィールド倍速化を行うと共に、出力画像信号として A A B Bタイプのものを生成する時に、入力画像信号中に存在しないフィールドが前後の入カフィールドの画像情報を使用して生成されるので、生成されたフィ一ルドがその時間に対応する画像情報となる。従って、単に入カフィールドと同一のフィールドを繰り返す処理の時間解像度を持たない問題点を解決することができる。また、クラス分類適応処理を使用するので、時空間解像度を向上させることができるまた、この発明は、出力画像信号として、画素構造として AAB B タイプと ABABタイプとを選択することができるので、入力画像信号の絵柄に適応したフィールド倍速処理を行うことができる。従って、文字が横にスクロールされるような画面例えば株式情報の提示画面の場合には、 A AB Bタイプを選択することによって文字を明瞭に表示し、それ以外では、 ABABタイプを選択することによって時空間解像度の良好な画像を表示することができる。

この発明は、上述した実施形態等に限定されるものでは無く、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えばフィ一ルド周波数 6 0Hzカゝら 1 2 0Hzの倍速処理について説明したが、 5 0Hzから 1 0 0Hzへの倍速処理に対しても同様にこの発明を適用できる。また、入力画像信号のフィールド周波数は、 5 0Hz、 6 0Hzには限定されない。さらに、上述した第 2の実施形態では、フィ —ルド倍速化の処理について説明したが、フィールド倍速化に加えて水平方向および Zまたは垂直方向の画素数を 2倍とする処理を同時に行うようにしても良い。さらに、倍速化に限らず、任意の比率のフィ —ルド周波数変換を行うようにしても良い。

Claims

請求の範囲

1 . 互いに隣接する第 1のフィールドの画素位置と第 2のフィールドの画素位置が異なる入力画像信号を、上記入力画像信号のフィールド周波数の N倍（Nは、 2以上の整数）のフィールド周波数を有する出力画像信号に変換する画像変換装置において、

上記出力画像信号のうち、少なくとも上記入力画像信号に存在しない全てのフィールドを順次注目フィ一ルドに設定し、上記注目フィ一ルドの注目画素毎に、上記注目画素に基づいて決定される上記入力画像信号の複数の画素に基づいて、上記注目画素に対するクラスを決定するクラス決定部と、

予め取得された予測情報を記憶するメモリ部と、

上記注目画素毎に、上記入力画像信号の複数の画素を選択する予測画素選択部と、

上記クラス決定部で決定されたクラスに対応する予測情報と、上記予測画素選択部で選択された複数の画素とに基づいて、上記出力画像信号の各注目画素を生成する画素生成部とを備え、

上記出力画像信号は、上記 Nと等しいフィールド単位に画素位置が変化すると共に、各フィールドの画素位置が、上記入力画像信号の上記第 1又は第 2のフィールドのいずれか一方のフィールドの画素位置と一致することを特徴とする画像変換装置。

2 . 請求の範囲 1において、

上記入力画像信号の上記第 1のフィ一ルドと上記第 2のフィ一ルドとは、垂直方向に画素位置が異なることを特徴とする画像変換装置。

3 . 請求の範囲 2において、

上記入力画像信号の上記第 1のフィ一ルドと上記第 2のフィールドとは、垂直方向に 1 2ライン分画素位置が異なることを特徴とする画像変換装置。

4 . 請求の範囲 1において、

上記出力画像信号は、上記入力画像信号の所定のフィ一ルドと時間がー致するフィールドを先頭とした N個のフィ一ルドの画素位置が、上記入力画像信号の所定のフィールドの画素位置と一致することを特徵とする画像変換装置。

5 . 請求の範囲 1において、

上記クラス決定部は、上記出力画像信号の全てのフィールドを順次上記注目フィールドに設定することを特徴とする画像変換装置。

6 . 請求の範囲 1において、

上記 Nが 2であることを特徴とする画像変換装置。

7 . 請求の範囲 1において、

上記画素生成部は、上記クラス決定部で決定されたクラスに対応する上記予測情報と、上記予測画素選択部で選択された複数の画素との線形推定式を演算することで、上記出力画像信号の各注目画素を生成することを特徴とする画像変換装置

8 . 請求の範囲 1において、

上記入力画像信号がィンターレス信号であることを特徴とする画像変換装置。

9 . 請求の範囲 1において、

上記メモリ部は、第 1の変換モードと第 2の変換モードとに対応する予測情報を記憶しており、

上記画素生成部は、

上記第 1の変換モードにおいて、上記クラス決定部で決定されたクラス及び上記第 1のモードに対応する予測情報と、上記予測画素選択部で選択された複数の画素とに基づいて、上記出力画像信号の各注目画素を生成することで、上記 Nと等しいフィールド単位に画素位置が変化すると共に、各フィールドの画素位置が、上記入力画像信号の上記第 1又は第 2のフィールドのいずれか一方のフィ一ルドの画素位置と一致する出力画像信号を生成し、

上記第 2の変換モードにおいて、上記クラス決定部で決定されたクラス及び上記第 2のモードに対応する予測情報と、上記予測画素選択部で選択された複数の画素とに基づいて、上記出力画像信号の各注目画素を生成することで、各フィ一ルド単位に画素位置が変化すると共に、各フィールドの画素位置が、上記入力画像信号の上記第 1又は第 2のフィ一ルドのいずれか一方のフィールドの画素位置と一致する出力画像信号を生成することを特徴とする画像変換装置。

1 0 . 請求の範囲 9において、

上記第 1のモードと上記第 2のモードとで、上記クラス決定部で上記注目画素に基づいて決定される上記入力画像信号の複数の画素が互いに異なることを特徴とする画像変換装置。

1 1 . 請求の範囲 9において、

上記予測画素選択部は、上記第 1のモードと上記第 2のモードとで

、上記注目画素毎に、上記入力画像信号から異なる複数の画素を選択することを特徴とする画像変換装置。

1 2 . 請求の範囲 9において、

上記第 1のモードに対応する同期信号と、上記第 2のモードに対応する同期信号とを選択的に発生する同期信号発生部をさらに有することを特徴とする画像変換装置。

1 3 . 互いに隣接する第 1のフィールドの画素位置と第 2のフィ一ルドの画素位置が異なる入力画像信号を、上記入力画像信号のフィ一ルド周波数の N倍（Nは、 2以上の整数）のフィールド周波数を有する出力画像信号に変換する画像変換方法において、

上記出力画像信号のうち、少なくとも上記入力画像信号に存在しない全てのフィールドを順次注目フィールドに設定し、上記注目フィールドの注目画素毎に、上記注目画素に基づいて決定される上記入力画像信号の複数の画素に基づいて、上記注目画素に対するクラスを決定するクラス決定ステップと、

上記注目画素毎に、上記入力画像信号の複数の画素を選択する予測画素選択ステップと、

上記決定されたクラスに対応する予測情報と、上記予測画素選択ステツプで選択された複数の画素とに基づいて、上記出力画像信号の各注目画素を生成する画素生成ステツプとを備え、

上記出力画像信号は、上記 Nと等しいフィ一ルド単位に画素位置が変化すると共に、各フィールドの画素位置が、上記入力画像信号の上記第 1又は第 2のフィールドのいずれか一方のフィ一ルドの画素位置と一致することを特徴とする画像変換方法。

1 4 . 請求の範囲 1 3において、

上記入力画像信号の上記第 1のフィ一ルドと上記第 2のフィールドとは、垂直方向に画素位置が異なることを特徴とする画像変換方法。

1 5 . 請求の範囲 1 4において、

上記入力画像信号の上記第 1のフィ一ルドと上記第 2のフィールドとは、垂直方向に 1 Z 2ライン分画素位置が異なることを特徴とする画像変換方法。

1 6 . 請求の範囲 1 3において、

上記出力画像信号は、上記入力画像信号の所定のフィ一ルドと時間がー致するフィールドを先頭とした N個のフィ一ルドの画素位置が、上記入力画像信号の所定のフィールドの画素位置と一致することを特徴とする画像変換方法。

1 7 . 請求の範囲 1 3において、

上記クラス決定ステツプは、上記出力画像信号の全てのフィールドを順次上記注目フィールドに設定することを特徴とする画像変換方法

1 8 . 請求の範囲 1 3において、

上記 Nが 2であることを特徴とする画像変換方法。

1 9 . 請求の範囲 1 3において、

上記画素生成ステップは、上記クラス決定ステップで決定されたクラスに対応する上記予測情報と、上記予測画素選択ステップで選択された複数の画素との線形推定式を演算することで、上記出力画像信号の各注目画素を生成することを特徴とする画像変換方法。

2 0 . 請求の範囲 1 3において、

上記入力画像信号がィン夕ーレス信号であることを特徵とする画像変換方法。

2 1 . 請求の範囲 1 3において、

上記画素生成ステップは、

上記第 1の変換モードにおいて、上記クラス決定ステツプで決定されたクラス及び上記第 1のモ一ドに対応する予測情報と、上記予測画素選択ステップで選択された複数の画素とに基づいて、上記出力画像信号の各注目画素を生成することで、上記 Nと等しいフィールド単位に画素位置が変化すると共に、各フィールドの画素位置が、上記入力画像信号の上記第 1又は第 2のフィ一ルドのいずれか一方のフィ一ルドの画素位置と一致する出力画像信号を生成し、

上記第 2の変換モードにおいて、上記クラス決定ステップで決定されたクラス及び上記第 2のモードに対応する予測情報と、上記予測画素選択ステツプで選択された複数の画素とに基づいて、上記出力画像信号の各注目画素を生成することで、各フィ一ルド単位に画素位置が変化すると共に、各フィールドの画素位置が、上記入力画像信号の上記第 1又は第 2のフィ一ルドのいずれか一方のフィールドの画素位置と一致する出力画像信号を生成することを特徴とする画像変換方法。

2 2 . 請求の範囲 2 1において、

上記第 1のモ一ドと上記第 2のモードとで、上記クラス決定ステツプで上記注目画素に基づいて決定される上記入力画像信号の複数の画素が互いに異なることを特徴とする画像変換方法。

2 3 . 請求の範囲 2 1において、

上記予測画素選択ステツプは、上記第 1のモードと上記第 2のモ一ドとで、上記注目画素毎に、上記入力画像信号から異なる複数の画素を選択することを特徴とする画像変換方法。

2 4 . 請求の範囲 2 1において、

上記第 1のモードに対応する同期信号と、上記第 2のモードに対応する同期信号とを選択的に発生する同期信号発生ステップをさらに有することを特徴とする画像変換方法。