JP4470323B2 - 画像変換装置および方法 - Google Patents
画像変換装置および方法 Download PDFInfo
- Publication number
- JP4470323B2 JP4470323B2 JP2000614655A JP2000614655A JP4470323B2 JP 4470323 B2 JP4470323 B2 JP 4470323B2 JP 2000614655 A JP2000614655 A JP 2000614655A JP 2000614655 A JP2000614655 A JP 2000614655A JP 4470323 B2 JP4470323 B2 JP 4470323B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- field
- image signal
- class
- input image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
- H04N7/012—Conversion between an interlaced and a progressive signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
- H04N7/0132—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the field or frame frequency of the incoming video signal being multiplied by a positive integer, e.g. for flicker reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
Description
技術分野
この発明は、テレビジョン受像機、ＶＴＲ等に用いて好適な画像変換装置および方法に関する。
背景技術
従来、テレビジョン走査方式のフィールド周波数としては、５０Ｈｚ（ＰＡＬ方式、ＳＥＣＡＭ方式等）または６０Ｈｚ（ＮＴＳＣ方式）が広く採用されている。フィールド周波数が５０Ｈｚのような比較的低い場合には、表示画像の大面積がチカチカする、所謂フィールドフリッカが発生する問題があった。
フィールドフリッカを低減するために、入力画像信号のフィールド数を２倍とする画像処理装置が知られている。このような処理は、フィールド倍速処理と称される。第１７図は、フィールド倍速処理により得られる画素構造の一例および他の例を概略的に示すものであり、縦軸を垂直方向位置ｖ、横軸を時間ｔとするものである。フィールド倍速処理の結果、入力画像信号のフィールド周期の１／２の周期の出力画像信号が形成される。入力画像信号は、インターレス方式であるため、白い丸印で示す入力画素の垂直方向の位置（ライン位置）が時間的に連続する２フィールド間で、１／２ずれている。
第１７図Ａに示す画素構造は、出力画像信号の倍速フィールドがインターレス関係を有するように、倍速化を行うことで得られる。従来では、入力画像信号に存在してないフィールドの出力画素を形成するために、入力中の３画素をメディアンフィルタに供給していた。第１７図Ａにおいて、３角形の破線で囲まれた３個の入力画素から出力画素（星マークで示す）がメディアンフィルタにより生成される。メディアンフィルタは、３個の入力画素の中間の画素値を有するものを出力する。第１７図Ａでは、一部の出力画素について、メディアンフィルタの処理が示されているが、入力画素の位置と一致する出力画素以外の全ての出力画素がメディアンフィルタにより生成される。第１７図Ａに示す画素構造の出力画像信号をＡＢＡＢタイプと称する。
また、第１７図Ｂに示す出力画像信号の画素構造は、入力画像信号の時間的に前のフィールドと同一の垂直方向の位置に新たなフィールドの画素が存在するように、倍速化を行ったものである。第１７図Ｂは、時間的に前のフィールドを繰り返して出力することによって、倍速化を行うことができる。第１７図Ｂに示す画素構造の出力画像信号をＡＡＢＢタイプと称する。
ＡＡＢＢタイプは、同じフィールドを繰り返し出力するので、倍速化によって、時間方向の解像度が向上しない。むしろ、ビデオカメラをパンして撮影された画像の場合には、２重像が生じ、画質が劣化することがある。ＡＢＡＢタイプは、ＡＡＢＢタイプと比較して時空間解像度（時間方向および空間内解像度）の点で有利である。しかしながら、ＡＢＡＢタイプは、時間的に前後のフィールドに含まれる３個の入力画素をメディアンフィルタで処理して出力画素を補間したものであるために、全画面の動き、文字の横スクロールの場合には、縦線が櫛歯状に見える劣化が生じる。例えば株式情報のように、画面に数字、文字が並んでいる画面が横スクロールする場合には、数字、文字が見にくくなる欠点がある。
従って、この発明の一つの目的は、ＡＡＢＢタイプの問題点である時空間解像度がない問題点を解決することができる画像変換装置および方法を提供することにある。
この発明の他の目的は、入力画像の絵柄に適応してＡＢＡＢタイプとＡＡＢＢタイプとを切り替えることによって、画質を向上できる画像変換装置および方法を提供することにある。
発明の開示
上述した課題を達成するために、請求の範囲１の発明は、互いに隣接する第１のフィールドの画素位置と第２のフィールドの画素位置が異なる入力画像信号を、入力画像信号のフィールド周波数のＮ倍（Ｎは、２以上の整数）のフィールド周波数を有する出力画像信号に変換する画像変換装置において、
出力画像信号のうち、少なくとも入力画像信号に存在しない全てのフィールドを順次注目フィールドに設定し、注目フィールドの注目画素毎に、注目画素に基づいて決定される入力画像信号の複数の画素に基づいて、注目画素に対するクラスを決定するクラス決定部と、
予め取得された予測情報を記憶するメモリ部と、
注目画素毎に、入力画像信号の複数の画素を選択する予測画素選択部と、
クラス決定部で決定されたクラスに対応する予測情報と、予測画素選択部で選択された複数の画素とに基づいて、出力画像信号の各注目画素を生成する画素生成部とを備え、
出力画像信号は、Ｎと等しいフィールド単位に画素位置が変化すると共に、各フィールドの画素位置が、入力画像信号の第１又は第２のフィールドのいずれか一方のフィールドの画素位置と一致することを特徴とする画像変換装置である。
また、請求の範囲１３の発明は、互いに隣接する第１のフィールドの画素位置と第２のフィールドの画素位置が異なる入力画像信号を、入力画像信号のフィールド周波数のＮ倍（Ｎは、２以上の整数）のフィールド周波数を有する出力画像信号に変換する画像変換方法において、
出力画像信号のうち、少なくとも入力画像信号に存在しない全てのフィールドを順次注目フィールドに設定し、注目フィールドの注目画素毎に、注目画素に基づいて決定される入力画像信号の複数の画素に基づいて、注目画素に対するクラスを決定するクラス決定ステップと、
注目画素毎に、入力画像信号の複数の画素を選択する予測画素選択ステップと、
決定されたクラスに対応する予測情報と、予測画素選択ステップで選択された複数の画素とに基づいて、出力画像信号の各注目画素を生成する画素生成ステップとを備え、
出力画像信号は、Ｎと等しいフィールド単位に画素位置が変化すると共に、各フィールドの画素位置が、入力画像信号の第１又は第２のフィールドのいずれか一方のフィールドの画素位置と一致することを特徴とする画像変換方法である。
この発明によれば、ＡＡＢＢタイプの出力画像信号を生成する時に、入力画像信号中に存在しない出力フィールドの画素値を前後の入力フィールドの画像情報を使用して、クラス分類適応処理で生成するので、単に同一フィールドを繰り返し出力する従来の方法と比較して、２度目に出力されるフィールドがその時間に対応する画像情報を持ち、時間解像度がないという問題点を解決することができる。また、クラス分類適応処理は、入力画像信号の複数画素に基づいてクラスを検出し、各クラスで最適となる推定予測式を用いて出力画像信号の画素値を作成するので、メディアンフィルタにより補間する場合と比較して出力画像信号の解像度を良好とすることができる。
また、フィールド倍速化の結果、出力画像信号として、ＡＡＢＢタイプと、ＡＢＡＢタイプとを選択的に生成することができる。従って、入力画像信号として、時空間解像度を要求される絵柄の場合には、ＡＢＡＢタイプを選択し、水平移動するテロップなどを多く見る場合には、ＡＡＢＢタイプを選択することが可能となる。
発明を実施するための最良の形態
以下、この発明の第１の実施形態について説明する。第１の実施形態で使用するフィールド倍速処理装置は、クラス分類適応処理によって、少なくとも入力画像信号中に存在しない出力フィールドの画素を生成するものである。最初にこの発明が適用されたＡＡＢＢタイプの出力画像信号を生成するようにしたフィールド倍速化の処理について、第１図を参照して説明する。第１図は、第１７図と同様に、フィールド倍速処理により得られる画素構造を概略的に示すものであり、縦軸を垂直方向位置ｖ、横軸を時間ｔとするものであり、入力画像を白い丸印で示し、出力画像を黒い丸印または星マークで示す。
第１図Ａは、第１７図Ａと同様の従来の処理を示し、この発明による処理との比較のための図である。すなわち、入力画像信号中のフィールドと同一のフィールドを繰り返して出力することによって倍速化の処理を行うことを示す。第１図Ｂは、この発明による倍速化の処理を示す。第１図Ｂにおいて、破線で囲んで示すように、入力画像信号中に存在していないフィールドの時間的に前のフィールドに属し、垂直方向の位置が同一位置の画素ｘ１と、その上下の画素ｘ２およびｘ３と、時間的に後のフィールドに属し、垂直方向の上下の位置の画素ｘ４およびｘ５を使用して、新たなフィールドの画素ｙを生成する。この処理は、クラス分類適応処理である。なお、後述する第２の実施形態の説明から明らかなように、クラス分類適応処理で使用する入力画素は、ｘ１〜ｘ５に限られない。
この発明の第１の実施形態は、第１図Ｂに示すように、前後の入力フィールドの入力画素を使用し、クラス分類適応処理によって新たなフィールドの出力画素を生成するので、ＡＡＢＢタイプであって、時間方向の解像度を持った新たなフィールドを生成することができる。従って、同一フィールドを繰り返し出力する従来の方法のように、パンした画面で２重像が生じることを防止することができる。
次に、この発明の第２の実施形態について説明する。第２の実施形態では、入力画像信号がフィールド周波数６０Ｈｚ、ライン数が５２５本のインターレス信号であって、フィールド倍速化の処理によって、入力画像信号をフィールド周波数１２０Ｈｚ、ライン数が５２５本の出力画像信号へ変換するようにしたものである。また、第２の実施形態では、出力画像信号の画素構造として、ＡＡＢＢタイプとＡＢＡＢタイプとをユーザの設定によって、または入力画像信号に適応して切り替えることを可能としたものである。ＡＡＢＢタイプの画像信号を出力する場合には、第１図Ｂを参照して説明した方法でもって、画素を生成する。ＡＢＡＢタイプについても、クラス分類適応処理によって、画素を生成する。ＡＢＡＢタイプに関して、クラス分類適応処理を使用するので、メディアンフィルタを使用する従来の方法と比較して、時空間の解像度をより高くすることができる。
クラス分類適応処理は、入力信号である画像信号の時間的および／または空間的特徴に応じてクラス分割を行い、クラス毎に予め学習により獲得された予測係数値を格納した記憶手段を持ち、予測式に基づいた演算により最適な推定値を出力する方式であり、クラス分類適応処理によって、解像度を入力画像信号のもの以上に高めることが可能である。
この画素生成装置の一例では、第２図に示すように、入力インターレス画像信号（５２５ライン／６０Ｈｚ）が領域切り出し部１に供給され、クラス分類および予測演算に必要とされる複数の画素が含まれる領域が切り出される。領域切り出し部１の出力がクラス検出回路２および１２、予測タップ選択回路３および１３に供給される。クラス検出回路２および１２は、作成すべき出力画素の近傍の入力画素の特徴に対応するクラスを検出する。クラス検出回路２および１２において、動きクラスを検出しても良い。並列に画素生成のための二つの構成を設けるのは、入力画像信号中に存在するフィールドの画素を生成する構成と、入力画像信号中に存在しないフィールドの画素を生成するためである。
クラス検出回路２および１２のそれぞれにより検出されたクラスが予測タップ選択回路３、１３と予測係数メモリ４、１４とに供給される。予測係数メモリ４、１４からは、クラスに対応する予測係数セットが読出され、積和演算回路５、１５に読出された予測係数セットが供給される。予測タップ選択回路３、１３は、クラスに応じて使用する予測タップを選択する構成とされている。予め各クラスの予測係数セットを学習によって得る時に、予測係数セットと使用する予測タップ位置情報との両者を得るようにしている。予測タップ選択回路３、１３には、予測タップ位置情報がクラス毎に記憶されたメモリが設けられている。このメモリからクラスに対応して読出された予測タップ位置情報がタップ切り替え用のセレクタに供給され、セレクタが選択的に予測タップを出力する。予測タップ選択回路３、１３からの予測タップが積和演算回路５、１５に供給される。
積和演算回路５、１５では、予測タップ（入力画像信号の画素）と予測係数セットとの線形推定式を用いて出力画像信号のデータを算出する。積和演算回路５、１５がそれぞれフィールド倍速の出力画像信号の隣り合うフィールドの第１および第２の画素値を同時に出力する。積和演算回路５からの第１の画素値がフィールドダブラ６に供給され、積和演算回路１５からの第２の画素値がフィールドダブラ１６に供給される。フィールドダブラ６、１６は、フィールドメモリを有し、クラス分類処理で生成された第１および第２のフィールドのそれぞれのフィールド周波数を２倍とする処理を行う。フィールドダブラ６、１６の出力がフィールド毎に切り替えられるセレクタ７に入力される。セレクタ７は、フィールドダブラ６、１６のそれぞれの出力を交互に選択し、出力画像信号（５２５ライン／１２０Ｈｚの出力信号）を発生する。
図示しないが、出力画像信号が例えばＣＲＴディスプレイに供給される。ＣＲＴディスプレイは、出力画像信号を表示することが可能なように、その同期系が構成されている。入力画像信号としては、放送信号、またはＶＴＲ等の再生装置の再生信号が供給される。すなわち、この一例をテレビジョン受像機に内蔵することができる。
さらに、選択信号発生部８が設けられている。選択信号発生部８は、出力画像信号としてＡＡＢＢタイプのものを生成するか、ＡＢＡＢタイプのものを生成するかを指示する選択信号ＳＬ１およびＳＬ２を発生する。選択信号ＳＬ１およびＳＬ２のハイレベル、ローレベルがＡＡＢＢタイプとＡＢＡＢタイプとにそれぞれ対応付けられている。選択信号発生部８は、ユーザが出力画像信号により提示される画像を見ながらスイッチ等をマニュアル操作することによって選択信号ＳＬ１およびＳＬ２を発生する。マニュアル操作に限らず、入力画像信号と共に送られる制御信号の指示に応答して選択信号ＳＬ１およびＳＬ２を発生しても良い。さらに、入力画像信号自体の特性に応じて自動的に選択信号ＳＬ１およびＳＬ２を発生しても良い。
選択信号ＳＬ１により領域切り出し部１の切り出し方法が制御される。選択信号ＳＬ２によりクラス検出回路２，１２および予測タップ選択回路３，１３におけるクラスタップおよび予測タップの設定が制御される。選択信号ＳＬ２により予測係数メモリ４，１４の予測係数テーブルが切り替えられる。さらに、選択信号ＳＬ２が同期信号発生部９に供給され、出力画像信号の各タイプに適応した垂直同期信号が生成される。この垂直同期信号によってＣＲＴモニター（図示しない）の垂直偏向が制御される。
第３図は、フィールドダブラ６および１６の動作を横軸に時間、縦軸にフィールドダブラ６および１６内のフィールドメモリのアドレスをとって示すものである。積和演算回路５、１５によって、第１のフィールドおよび第２のフィールドのデータが同時に生成される。第３図Ａが積和演算回路５によって生成された第１のフィールドの画像信号をフィールドメモリに書き込む時のアドレスであり、第３図Ｃが積和演算回路１５によって生成された第２のフィールドの画像信号をフィールドメモリに書き込む時のアドレスである。各フィールドに対して付加された番号１Ａ，１Ｂ，２Ａ，２Ｂ，・・・は、１フレームを構成する２フィールド（ＡおよびＢ）を示す。また、クラス分類適応処理による遅れを無視して、入力画像信号と積和演算回路５、１５の出力画像信号に対して番号が付されている。
第３図Ａに示す積和演算回路５の出力画像信号がフィールドダブラ６に供給される。フィールドダブラ６では、積和演算回路５の出力の１フィールド（例えば第３図Ａ中の１Ａ）がフィールドメモリに書き込まれ、この書き込みアドレスを追い越さないように、書き込み速度の２倍の速度でフィールドメモリから１フィールド（例えば第３図Ｂ中の１Ａ）が読み出される。また、１フィールドの読み出しが２回繰り返される。従って、第３図Ｂに示すように、２倍のフィールド周波数とされた出力がフィールドダブラ６から発生する。他方のフィールドダブラ１６も、フィールドダブラ６と同様に積和演算回路１５からの演算信号のフィールド周波数を２倍に変換した出力信号（第３図Ｄ）を発生する。
これらのフィールドダブラ６および１６の出力信号がセレクタ７に供給され、セレクタ７がそれぞれの出力信号をフィールド毎に交互に選択する。その結果、セレクタ７からは、第３図Ｅに示す出力画像信号が得られる。出力画像信号は、積和演算回路５により生成された第１のフィールドの画像信号と、積和映像回路１５により生成された第２のフィールドの画像信号とが時間軸方向に交互に位置し、且つフィールド周波数が２倍とされた画像信号である。
なお、第２図に示されるクラス分類適応処理のフィールド倍速化の構成は、カラー画像信号の一つのコンポーネントに対応したものであり、輝度信号、二つの色差信号の計３個のコンポーネントに対して、第２図に示される構成をそれぞれ設けても良い。さらに、コンポーネントカラー画像信号に限らず、コンポジットカラー画像信号に対してもこの発明を適用することができる。
第４図は、同期信号発生部９により生成される垂直同期信号を説明するための図である。出力画像信号がＡＢＡＢタイプの場合には、第４図Ａに示すように、インターレス方式でラスター走査がなされる。すなわち、第１フィールドの第１ラインから実線で示すように、走査が行われ、第２６３ラインの中間で第２フィールドに移り、以降、第５２５ラインまで走査がなされる。第１フィールドの上下のライン間の中央位置に第２フィールドのライン（破線）が存在する。従って、第４図Ｂに示すように、ＡＢＡＢタイプでは、２６２．５ラインの周期を有する垂直同期信号が同期信号発生部９から出力される。
ＡＡＢＢタイプの場合では、第４図Ｃに示すように、ラスター走査の物理的位置で動作がなされる。最初のフィールドでは、第１ラインから第２６２ラインまでの２６２ラインの走査がなされ、２番目のフィールドでは、前のフィールドの第１ラインから第２６２ラインと同一の位置の走査がされ、さらに、第２６３ラインの前半までの２６２．５ラインの走査がなされる。３番目のフィールドでは、第２６３ラインの後半から走査が開始され、第２６３ラインの前半までの２６３ラインの走査がなされる。４番目のフィールドでは、第２６３ラインの後半から走査がなされ、第２６２ラインまでの２６２．５ラインの走査がなされる。４番目のラスター走査は、第１番目の走査に戻る。このように、４フィールド周期でもって、ラスター走査がなされる。第４図Ｃに示すラスター走査を行うために、同期信号発生部９は、ＡＡＢＢタイプでは、第４図Ｄに示すように、垂直同期信号を発生する。
このように、同期信号発生部９は、選択信号発生部８からの選択信号ＳＬ２によって指示されるタイプに適応して垂直同期信号を発生する。この垂直同期信号によってＣＲＴモニターの垂直偏向が制御され、フィールド倍速の出力画像信号が表示される。
以下、この発明の第２の実施形態におけるクラス分類適応処理について、より詳細に説明する。第５図は、縦軸を垂直方向、横軸を時間方向とした時に、ＡＡＢＢタイプの出力画像信号を生成する場合の画素位置を概略的に示す。入力画像信号中に存在しているフィールド内の画素がクラス分類処理によって生成される。すなわち、クラス検出回路２、予測タップ選択回路３、予測係数メモリ４、積和演算回路５によって、入力画像信号中に存在しないフィールド内の画素が生成される。入力画像信号中に存在していないフィールド内の画素がクラス検出回路１２、予測タップ選択回路１３、予測係数メモリ１４、積和演算回路１５によって生成される。そして、フィールドダブラ６および１６とセレクタ７とによって、第５図に示す画素の配置を有するＡＡＢＢタイプの出力画像信号が生成される。
第６図は、縦軸を垂直方向、横軸を時間方向とした時に、ＡＢＡＢタイプの出力画像信号を生成する場合の画素位置を概略的に示す。入力画像信号中に存在しているフィールド内の画素がクラス検出回路２、予測タップ選択回路３、予測係数メモリ４、積和演算回路５によって生成される。入力画像信号中に存在していないフィールド内の画素がクラス検出回路１２、予測タップ選択回路１３、予測係数メモリ１４、積和演算回路１５によって生成される。そして、フィールドダブラ６および１６とセレクタ７とによって、第６図に示す画素の配置を有するＡＢＡＢタイプの出力画像信号が生成される。
第５図に示すＡＡＢＢタイプの出力画像信号を生成する場合のタップ構造について説明する。第７図は、垂直方向および時間方向のタップ構造を示す。説明の便宜上、画素生成動作の共通性に基づいて、４個のモードを規定する。モード１は、入力画像信号中に存在する奇数フィールドおよび偶数フィールドの一方のフィールド内の画素と垂直方向で同一位置に画素を第１のフィールドの画素として生成する処理である。モード２は、入力画像信号に存在しないフィールドの画素で、一方のフィールドの画素と垂直方向で同一位置に画素を第２のフィールドの画素として生成する処理である。モード３は、入力画像信号中に存在する奇数フィールドおよび偶数フィールドの他方のフィールド内の画素と垂直方向で同一位置に画素を第３のフィールドの画素として生成する処理である。モード４は、入力画像信号に存在しないフィールドの画素で、他方のフィールドの画素と垂直方向で同一位置に画素を第４のフィールドの画素として生成する処理である。
ＡＡＢＢタイプの出力画像信号を生成するモード２およびモード４では、第７図において、三角形で囲んで示すように、新たに生成されるフィールドの前後のフィールドの入力画素がクラスタップまたは予測タップとして使用される。すなわち、生成する新たなフィールドの前のフィールド（−１フィールドと称する）に含まれ、生成しようとする画素と同一位置の画素と、新たなフィールドの後のフィールド（０フィールド）に含まれ、生成しようとする画素に対して垂直方向で上下の位置の画素とがタップとして使用される。
第８図Ａは、モード１およびモード３における予測タップの一例であり、第８図Ｂは、モード１およびモード３におけるクラスタップの一例である。第８図Ａおよび第８図Ｂは、縦軸を垂直方向、横軸を水平方向にとって画素の配置を示す。第８図Ａに示すように、−１フィールドに含まれ、生成しようとする画素（黒い丸印）ｙと垂直方向で上下の位置の６個の入力画素ｘ０〜ｘ５と、０フィールドに含まれ、生成しようとする画素ｙと上下左右の位置に隣接する４個の入力画素ｘ６〜ｘ９との合計１０個の入力画素により予測タップが構成される。
第８図Ｂに示すように、４個の入力画素Ｘ０〜Ｘ３によって、モード１およびモード３のクラスタップが構成される。Ｘ０およびＸ１は、−１フィールドに含まれ、生成しようとする画素ｙと垂直方向で上下の位置の画素である。Ｘ２およびＸ３は、０フィールドに含まれ、生成しようとする画素ｙに対して垂直方向で上下の位置の画素である。
第９図Ａは、モード２およびモード４における予測タップの一例であり、第９図Ｂは、モード２およびモード４におけるクラスタップの一例である。第９図Ａおよび第９図Ｂは、縦軸を垂直方向、横軸を水平方向にとって画素の配置を示す。第９図Ａに示すように、−１フィールドに含まれ、生成しようとする画素（黒い丸印）ｙと垂直方向で同一位置の５個の入力画素ｘ０〜ｘ４と、０フィールドに含まれ、生成しようとする画素ｙに対して垂直方向で上下の位置の６個の入力画素ｘ５〜ｘ１０との合計１１個の入力画素により予測タップが構成される。生成される画素ｙと入力画素ｘ２の空間的位置が同一である。
第９図Ｂに示すように、５個の入力画素Ｘ０〜Ｘ４によって、モード２およびモード４のクラスタップが構成される。Ｘ０は、−１フィールドに含まれ、生成しようとする画素ｙと空間的に同一位置の画素である。Ｘ１およびＸ２は、−１フィールドに含まれ、生成しようとする画素ｙに対して垂直方向で上下の位置の画素である。Ｘ３およびＸ４は、０フィールドに含まれ、生成しようとする画素ｙに対して垂直方向で上下の位置の画素である。
第６図に示すＡＢＡＢタイプの出力画像信号を生成する場合のタップ構造について説明する。第１０図は、垂直方向および時間方向のタップ構造を示す。処理のモードの共通性に基づいて、４個のモードを規定する。モード１は、入力画像信号中に存在する一方のフィールド内の画素と垂直方向で同一位置に画素を生成する処理である。モード２は、入力画像信号に存在しないフィールドの画素で、一方のフィールドの画素と垂直方向で１／２ラインずれた位置に画素を生成する処理である。モード３は、入力画像信号中に存在する他方のフィールド内の画素と垂直方向で１／２ラインずれた位置に画素を生成する処理である。モード４は、入力画像信号に存在しないフィールドの画素で、他方のフィールドの画素と垂直方向で同一位置に画素を生成する処理である。
モード２およびモード４では、第１０図において、三角形で囲んで示すように、生成する画素の含まれる新たなフィールドの前後のフィールドの入力画素がタップとして使用される。モード２では、−１フィールドに含まれ、生成しようとする画素に対して垂直方向で上下の位置の画素と、０フィールドに含まれ、生成しようとする画素と垂直方向で同一位置の画素とがタップとして使用される。モード４では、−１フィールドに含まれ、生成しようとする画素と垂直方向で同一位置の画素と、０フィールドに含まれ、生成しようとする画素に対して垂直方向で上下の位置の画素とがタップとして使用される。
モード３では、第１０図において、菱形で囲んで示すように、生成する画素の含まれるフィールド（０フィールド）と同一フィールドで、その上下の入力画素と、生成する画素のフィールドの前のフィールド（−１フィールド）に含まれ、生成しようとする画素と垂直方向で同一位置の画素と、新たなフィールドの後のフィールド（＋１フィールド）に含まれ、生成しようとする垂直方向で同一位置の画素とがタップとして使用される。
第１１図Ａは、モード２における予測タップの一例であり、第１１図Ｂは、モード２におけるクラスタップの一例である。第１１図Ａおよび第１１図Ｂは、縦軸を垂直方向、横軸を水平方向にとって画素の配置を示す。第１１図Ａに示すように、−１フィールドに含まれ、生成しようとする画素ｙに対して垂直方向で上下の位置の６個の入力画素ｘ０〜ｘ５と、０フィールドに含まれ、生成しようとする画素ｙと垂直方向で同一位置の５個の入力画素ｘ６〜ｘ１０との合計１１個の入力画素により予測タップが構成される。
第１１図Ｂに示すように、５個の入力画素Ｘ０〜Ｘ４によって、モード２のクラスタップが構成される。Ｘ０およびＸ１は、−１フィールドに含まれ、生成しようとする画素ｙに対して垂直方向で上下の位置の画素である。Ｘ２は、０フィールドに含まれ、生成しようとする画素ｙと同一位置の画素である。Ｘ３およびＸ４は、０フィールドに含まれ、生成しようとする画素に対して垂直方向で上下の位置の画素である。
第１２図Ａは、モード３における予測タップの一例であり、第１２図Ｂは、モード３におけるクラスタップの一例である。第１２図Ａおよび第１２図Ｂは、縦軸を垂直方向、横軸を水平方向にとって画素の配置を示す。第１２図Ａに示すように、−１フィールドに含まれ、生成しようとする画素ｙに対して垂直方向で上下の位置の２個の入力画素ｘ０およびｘ１と、０フィールドに含まれ、生成しようとする画素ｙの周辺の６個の入力画素ｘ２〜ｘ７と、＋１フィールドに含まれ、生成しようとする画素ｙに対して垂直方向で上下の位置の２個の入力画素ｘ８およびｘ９との合計１０個の入力画素により予測タップが構成される。
第１２図Ｂに示すように、６個の入力画素Ｘ０〜Ｘ５によって、モード３のクラスタップが構成される。Ｘ０およびＸ１は、−１フィールドに含まれ、生成しようとする画素ｙに対して垂直方向で上下の位置の画素である。Ｘ２およびＸ３は、０フィールドに含まれ、生成しようとする画素ｙに対して垂直方向で上下の位置の画素である。Ｘ４およびＸ５は、＋１フィールドに含まれ、生成しようとする画素ｙに対して垂直方向で上下の位置の画素である。
第１３図Ａは、モード４における予測タップの一例であり、第１３図Ｂは、モード４におけるクラスタップの一例である。第１３図Ａおよび第１３図Ｂは、縦軸を垂直方向、横軸を水平方向にとって画素の配置を示す。第１３図Ａに示すように、−１フィールドに含まれ、生成しようとする画素ｙと垂直方向で同一位置の５個の入力画素ｘ０〜ｘ４と、０フィールドに含まれ、生成しようとする画素ｙに対して垂直方向で上下の位置の６個の入力画素ｘ５〜ｘ１０との合計１１個の入力画素により予測タップが構成される。
第１３図Ｂに示すように、５個の入力画素Ｘ０〜Ｘ４によって、モード４のクラスタップが構成される。Ｘ０は、−１フィールドに含まれ、生成しようとする画素と垂直方向で同一位置の画素である。Ｘ１およびＸ２は、−１フィールドに含まれ、生成しようとする画素に対して垂直方向で上下の位置の画素である。Ｘ３およびＸ４は、０フィールドに含まれ、生成しようとする画素ｙに対して垂直方向で上下の位置の画素である。
なお、モード１の予測タップおよびクラスタップは、入力信号に存在しているフィールドを作りなおす処理であって、例えば第８図Ａに示すＡＢＡＢタイプのモード１と同様のもので良い。
上述したＡＡＢＢタイプとＡＢＡＢタイプとで、クラスタップを切り替えるために、クラス検出回路２および１２に対して選択信号ＳＬ２が供給される。また、タイプによって予測タップを切り替えるために、予測タップ選択回路３および１３に対して選択信号ＳＬ２が供給される。クラスタップおよび予測タップのモードに応じた切り替えは、クラス検出回路２，１２および予測タップ選択回路３，１３のそれぞれにおいてなされる。領域切り出し回路１は、クラスタップおよび予測タップとして使用される可能性のある全ての入力画素を同時に出力するものである。クラス検出回路２および１２は、モードと注目画素の位置に応じてクラスタップを選択するようになされている。
クラス検出回路２、１２は、クラスタップの特徴例えばレベル分布を検出する。この場合、クラス数が膨大となることを防ぐために、各画素８ビットの入力データをより少ないビット数のデータへ圧縮するような処理を行う。一例として、ＡＤＲＣ（Ａｄａｐｔｉｖｅ Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｃｏｄｉｎｇ）によって、クラスタップの入力画素のデータが圧縮される。なお、情報圧縮方式としては、ＡＤＲＣ以外にＤＰＣＭ（予測符号化）、ＶＱ（ベクトル量子化）等の圧縮方式を用いても良い。
本来、ＡＤＲＣは、ＶＴＲ（Ｖｉｄｅｏ Ｔａｐｅ Ｒｅｃｏｄｅｒ）向け高能率符号化用に開発された適応的再量子化法であるが、信号レベルの局所的な特徴を短い語長で効率的に表現できるので、この一例では、ＡＤＲＣをクラス分類のコード発生に使用している。ＡＤＲＣは、クラスタップのダイナミックレンジをＤＲ、ビット割当をｎ、クラスタップの画素のデータレベルをし、再量子化コードをＱとして、以下の式（１）により、最大値ＭＡＸと最小値ＭＩＮとの間を指定されたビット長で均等に分割して再量子化を行う。
ＤＲ＝ＭＡＸ−ＭＩＮ＋１
Ｑ＝｛（Ｌ−ＭＩＮ＋０．５）×２／ＤＲ｝ （１）
ただし、｛ ｝は切り捨て処理を意味する。
なお、動きクラスを併用して、クラスと動きクラスとを統合してクラスを検出するようにしても良い。この場合、動きクラスに応じて、クラスタップを切り替えるようにしても良い。
そして、積和演算回路５，１５は、予測タップ選択回路３，１３でそれぞれ選択された予測タップ（画素値）と、予測係数メモリ４，１４からそれぞれ読み出された予測係数セットとの線形１次結合によって、画素値を生成する。線形１次式に限らず、２次以上の高次の推定式によって画素値を生成しても良い。この場合、予測係数メモリ４，１４には、ＡＡＢＢタイプで使用する予測係数テーブルと、ＡＢＡＢタイプで使用する予測係数テーブルとが格納されている。各テーブルは、複数の予測係数セットを、モードとクラス検出回路２，１２で決定されたクラスとに対応する個数有する。各テーブル（予測係数）は、予め後述する学習処理によって取得されている。
積和演算回路５は、予測タップ選択回路３、または１３からの予測タップ（画素値）ｘ１，ｘ２，・・・ｘｉと、予測係数セットｗ１，ｗ２，・・・ｗｉとの線形１次結合式（式（２））の演算を行うことにより、例えばモード１およびモード３の場合の画素値を算出する。積和演算回路１５は、同様にしてモード２およびモード４の場合の画素値を算出する。
Ｌ１＝ｗ１ｘ１＋ｗ２ｘ２＋・・・・＋ｗｉｘｉ （２）
このように、予測係数セットが各クラス毎に予め学習により求められた上で、予測係数メモリ４、１４に記憶しておき、入力される予測タップおよび読出された予測係数セットに基づいて演算が行われ、入力されたデータに対応する出力データを形成して出力することにより、入力データを単に補間処理したのとは異なり、高画質のフィールド倍速の画像信号を出力することができる。
次に、予測係数の作成（学習）について第１４図を用いて説明する。ＡＡＢＢタイプの出力画像信号を形成する学習と、ＡＢＡＢタイプの出力画像信号を形成する学習とは、別々の予測係数を求めるために、別々の処理である。しかしながら、いずれの学習のためにも、第１４図の構成を使用することができる。予測係数を学習によって得るためには、まず、間引き部３１によって、フィールド周波数が１２０Ｈｚ（フィールド倍速）のプログレッシブの画像信号から、垂直方向で画素数が１／２とされ、フィールド周波数６０Ｈｚのインターレス画像信号（生徒画像）を形成する。
また、間引き部４１によって、垂直方向で画素数が１／２とされ、フィールド周波数１２０Ｈｚの画像信号（教師画像）を形成する。教師画像としては、ＡＡＢＢタイプまたはＡＢＡＢタイプである。間引き部４１は、各フィールドの垂直方向の間引きの方法を変えることによって、ＡＡＢＢタイプおよびＡＢＡＢタイプの一方の教師画像を形成する。間引き部４１からの教師画像と間引き部３１からの生徒画像とを学習用の対とする。
第１５図は、ＡＡＢＢタイプの出力画像信号を形成するための予測係数を学習する時の画素構造を示す。また、第１６図は、ＡＢＡＢタイプの出力画像信号を形成するための予測係数を学習する時の画素構造を示す。縦軸が垂直方向であり、横軸が時間方向である。第１５図および第１６図において、黒い丸印がフィールド周波数が１２０Ｈｚで、プログレッシブ画像の画素を示す。
ＡＡＢＢタイプの学習時には、間引き部４１において、連続するフィールドで垂直方向で同一の位置の画素を教師画像の画素とするように、垂直方向の１／２間引きがなされる。ＡＢＡＢタイプの学習時には、間引き部４１において、連続するフィールドで、垂直方向の位置がプログレッシブ画像の１ラインのずれを持つように、垂直方向の１／２間引きがなされる。また、間引き部３１において、フィールド周波数を６０Ｈｚとするように、時間間引きがなされ、また、時間間引き後の時間的に連続するフィールド間で、垂直方向の位置がプログレッシブ画像の１ラインのずれを持つように、垂直方向の１／２間引きがなされる。このように形成される生徒画像は、画素値生成時の入力画像に対応するものである。
間引き部３１からの生徒画像信号が予測タップ領域切り出し部３２およびクラスタップ領域切り出し部３３に供給される。クラスタップ領域切り出し部３３からのクラスタップがクラス検出回路３４および３５に供給される。予測タップ領域切り出し部３２は、各モードで画素を作成するための予測タップを出力する。クラス検出回路３４、３５は、第２図に示す画素生成装置におけるクラス検出回路２、１２と同様に、モード毎に設定されたクラスタップのデータをＡＤＲＣにより圧縮し、クラス情報を発生する。クラス検出回路３４、３５は、モード１および３と、モード２および４のそれぞれに関するクラスを独立に検出する。
予測タップ領域切り出し部３２からの予測タップが正規方程式加算回路３６、３７に供給される。正規方程式加算回路３６、３７の説明のために、複数個の入力画素から出力画素への変換式の学習とその予測式を用いた信号変換について述べる。以下に、説明のために、より一般化してｎ画素による予測を行う場合について説明する。予測タップとして選択される入力画素のレベルをそれぞれｘ１、‥‥、ｘｎとし、教師画像中の出力画素レベルをｙとしたとき、クラス毎に予測係数セットｗ１、‥‥、ｗｎによるｎタップの線形推定式を設定する。これを下記の式（３）に示す。学習前は、ｗｉが未定係数である。
ｙ＝ｗ１ｘ１＋ｗ２ｘ２＋‥‥＋ｗｎｘｎ （３）
学習は、クラス毎に複数の信号データに対して行う。データ数がｍの場合、式（３）にしたがって、以下に示す式（４）が設定される。
ｙｋ＝ｗ１ｘｋ１＋ｗ２ｘｋ２＋‥‥＋ｗｎｘｋｎ （４）
（ｋ＝１，２，‥‥ｍ）
ｍ＞ｎの場合、予測係数セットｗｉ、‥‥ｗｎは、一意に決まらないので、誤差ベクトルｅの要素を以下の式（５）で定義して、式（６）を最小にする予測係数セットを求める。いわゆる、最小自乗法による解法である。
ｅｋ＝ｙｋ−｛ｗ１ｘｋ１＋ｗ２ｘｋ２＋‥‥＋ｗｎｘｋｎ｝ （５）
（ｋ＝１，２，‥‥ｍ）
ここで、式（６）のｗｉによる偏微分係数を求める。それは以下の式（７）を‘０’にするように、各係数ｗｉを求めればよい。
以下、式（８）、（９）のようにＸｉｊ、Ｙｉを定義すると、式（７）は、行列を用いて式（１０）へ書き換えられる。
この方程式は、一般に正規方程式と呼ばれている。第１４図中の正規方程式加算回路３６、３７のそれぞれは、クラス検出回路３４、３５から供給されたクラス情報と、予測タップ領域切り出し部３２から供給された予測タップと、教師画像の画素を用いて、この正規方程式の加算を行う。
学習に充分なフレーム数のデータの入力が終了した後、正規方程式加算回路３６、３７は、予測係数決定部３８に正規方程式データを出力する。予測係数決定部３８は、正規方程式を掃き出し法等の一般的な行列解法を用いて、ｗｉについて解き、予測係数セットを算出する。予測係数決定部３８は、算出された予測係数セットを予測係数メモリ３９、４０に書込む。
以上のように学習を行った結果、予測係数メモリ３９、４０のそれぞれには、クラス毎に、フィールド倍速信号の注目画素ｙを推定するための、もっとも真値に近い推定ができる予測係数が格納される。予測係数メモリ３９、４０に格納された予測係数は、上述の画像変換装置において、予測係数メモリ４、１４にロードされる。
また、予測タップ領域切り出し部３２が出力する予測タップの個数は、画素生成装置において使用される予測タップの個数より大きいものとされる。従って、予測係数決定部３８は、クラス毎により多くの予測係数セットが求まる。この求まった予測係数セットの中で、絶対値が大きいものから順に使用する数の予測係数セットが選択される。選択された予測係数セットがメモリ３９、４０のクラスに対応するアドレスにそれぞれ格納される。従って、クラス毎に予測タップが選択されることになり、この予測タップの選択位置情報がクラス毎にメモリ（図示しない）に格納される。このような予測タップ選択処理によって、各クラスに適合した予測タップを選択することが可能となる。
以上の処理により、線形推定式により、フィールド周波数が６０Ｈｚのインターレス画像信号からフィールド周波数が１２０Ｈｚの画像のデータを作成するための予測係数の学習が終了する。
上述したこの発明による画像変換装置を例えばＣＲＴディスプレイのような表示装置と入力信号源との間に設けることによって、入力画像信号の絵柄に応じてフィールド倍速化された出力画像信号のタイプを選択することができるので、良質な再生画像を見ることができる。
この発明は、フィールド倍速化を行うと共に、出力画像信号としてＡＡＢＢタイプのものを生成する時に、入力画像信号中に存在しないフィールドが前後の入力フィールドの画像情報を使用して生成されるので、生成されたフィールドがその時間に対応する画像情報となる。従って、単に入力フィールドと同一のフィールドを繰り返す処理の時間解像度を持たない問題点を解決することができる。また、クラス分類適応処理を使用するので、時空間解像度を向上させることができる。
また、この発明は、出力画像信号として、画素構造としてＡＡＢＢタイプとＡＢＡＢタイプとを選択することができるので、入力画像信号の絵柄に適応したフィールド倍速処理を行うことができる。従って、文字が横にスクロールされるような画面例えば株式情報の提示画面の場合には、ＡＡＢＢタイプを選択することによって文字を明瞭に表示し、それ以外では、ＡＢＡＢタイプを選択することによって時空間解像度の良好な画像を表示することができる。
この発明は、上述した実施形態等に限定されるものでは無く、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えばフィールド周波数６０Ｈｚから１２０Ｈｚの倍速処理について説明したが、５０Ｈｚから１００Ｈｚへの倍速処理に対しても同様にこの発明を適用できる。また、入力画像信号のフィールド周波数は、５０Ｈｚ、６０Ｈｚには限定されない。さらに、上述した第２の実施形態では、フィールド倍速化の処理について説明したが、フィールド倍速化に加えて水平方向および／または垂直方向の画素数を２倍とする処理を同時に行うようにしても良い。さらに、倍速化に限らず、任意の比率のフィールド周波数変換を行うようにしても良い。
【図面の簡単な説明】
第１図は、この発明の第１の実施形態の説明に用いる画素構造を概略的に示す略線図である。
第２図は、この発明の第２の実施形態のブロック図である。
第３図は、フィールド倍速化を説明するための波形図である。
第４図は、フィールド倍速の出力画像信号に対する垂直同期信号を説明するための略線図である。
第５図は、入力画像信号の画素とＡＡＢＢタイプの出力画像信号の画素の配置を示す略線図である。
第６図は、入力画像信号の画素とＡＢＡＢタイプの出力画像信号の画素の配置を示す略線図である。
第７図は、ＡＡＢＢタイプの出力画像信号を生成する場合のタップ構造を示す略線図である。
第８図は、ＡＡＢＢタイプにおける予測タップおよびクラスタップの一例を示す略線図である。
第９図は、ＡＡＢＢタイプにおける予測タップおよびクラスタップの一例を示す略線図である。
第１０図は、ＡＢＡＢタイプの出力画像信号を生成する場合のタップ構造を示す略線図である。
第１１図は、ＡＢＡＢタイプにおける予測タップおよびクラスタップの一例を示す略線図である。
第１２図は、ＡＢＡＢタイプにおける予測タップおよびクラスタップの他の例を示す略線図である。
第１３図は、ＡＢＡＢタイプにおける予測タップおよびクラスタップのさらに他の例を示す略線図である。
第１４図は、予測係数を学習する時の構成を示すブロック図である。
第１５図は、ＡＡＢＢタイプに関する予測係数を学習する時の教師画像と生徒画像の画素の位置関係を説明するための略線図である。
第１６図は、ＡＢＡＢタイプに関する予測係数を学習する時の教師画像と生徒画像の画素の位置関係を説明するための略線図である。
第１７図は、従来のフィールド倍速化処理の一例および他の例を説明するための略線図である。
この発明は、テレビジョン受像機、ＶＴＲ等に用いて好適な画像変換装置および方法に関する。
背景技術
従来、テレビジョン走査方式のフィールド周波数としては、５０Ｈｚ（ＰＡＬ方式、ＳＥＣＡＭ方式等）または６０Ｈｚ（ＮＴＳＣ方式）が広く採用されている。フィールド周波数が５０Ｈｚのような比較的低い場合には、表示画像の大面積がチカチカする、所謂フィールドフリッカが発生する問題があった。
フィールドフリッカを低減するために、入力画像信号のフィールド数を２倍とする画像処理装置が知られている。このような処理は、フィールド倍速処理と称される。第１７図は、フィールド倍速処理により得られる画素構造の一例および他の例を概略的に示すものであり、縦軸を垂直方向位置ｖ、横軸を時間ｔとするものである。フィールド倍速処理の結果、入力画像信号のフィールド周期の１／２の周期の出力画像信号が形成される。入力画像信号は、インターレス方式であるため、白い丸印で示す入力画素の垂直方向の位置（ライン位置）が時間的に連続する２フィールド間で、１／２ずれている。
第１７図Ａに示す画素構造は、出力画像信号の倍速フィールドがインターレス関係を有するように、倍速化を行うことで得られる。従来では、入力画像信号に存在してないフィールドの出力画素を形成するために、入力中の３画素をメディアンフィルタに供給していた。第１７図Ａにおいて、３角形の破線で囲まれた３個の入力画素から出力画素（星マークで示す）がメディアンフィルタにより生成される。メディアンフィルタは、３個の入力画素の中間の画素値を有するものを出力する。第１７図Ａでは、一部の出力画素について、メディアンフィルタの処理が示されているが、入力画素の位置と一致する出力画素以外の全ての出力画素がメディアンフィルタにより生成される。第１７図Ａに示す画素構造の出力画像信号をＡＢＡＢタイプと称する。
また、第１７図Ｂに示す出力画像信号の画素構造は、入力画像信号の時間的に前のフィールドと同一の垂直方向の位置に新たなフィールドの画素が存在するように、倍速化を行ったものである。第１７図Ｂは、時間的に前のフィールドを繰り返して出力することによって、倍速化を行うことができる。第１７図Ｂに示す画素構造の出力画像信号をＡＡＢＢタイプと称する。
ＡＡＢＢタイプは、同じフィールドを繰り返し出力するので、倍速化によって、時間方向の解像度が向上しない。むしろ、ビデオカメラをパンして撮影された画像の場合には、２重像が生じ、画質が劣化することがある。ＡＢＡＢタイプは、ＡＡＢＢタイプと比較して時空間解像度（時間方向および空間内解像度）の点で有利である。しかしながら、ＡＢＡＢタイプは、時間的に前後のフィールドに含まれる３個の入力画素をメディアンフィルタで処理して出力画素を補間したものであるために、全画面の動き、文字の横スクロールの場合には、縦線が櫛歯状に見える劣化が生じる。例えば株式情報のように、画面に数字、文字が並んでいる画面が横スクロールする場合には、数字、文字が見にくくなる欠点がある。
従って、この発明の一つの目的は、ＡＡＢＢタイプの問題点である時空間解像度がない問題点を解決することができる画像変換装置および方法を提供することにある。
この発明の他の目的は、入力画像の絵柄に適応してＡＢＡＢタイプとＡＡＢＢタイプとを切り替えることによって、画質を向上できる画像変換装置および方法を提供することにある。
発明の開示
上述した課題を達成するために、請求の範囲１の発明は、互いに隣接する第１のフィールドの画素位置と第２のフィールドの画素位置が異なる入力画像信号を、入力画像信号のフィールド周波数のＮ倍（Ｎは、２以上の整数）のフィールド周波数を有する出力画像信号に変換する画像変換装置において、
出力画像信号のうち、少なくとも入力画像信号に存在しない全てのフィールドを順次注目フィールドに設定し、注目フィールドの注目画素毎に、注目画素に基づいて決定される入力画像信号の複数の画素に基づいて、注目画素に対するクラスを決定するクラス決定部と、
予め取得された予測情報を記憶するメモリ部と、
注目画素毎に、入力画像信号の複数の画素を選択する予測画素選択部と、
クラス決定部で決定されたクラスに対応する予測情報と、予測画素選択部で選択された複数の画素とに基づいて、出力画像信号の各注目画素を生成する画素生成部とを備え、
出力画像信号は、Ｎと等しいフィールド単位に画素位置が変化すると共に、各フィールドの画素位置が、入力画像信号の第１又は第２のフィールドのいずれか一方のフィールドの画素位置と一致することを特徴とする画像変換装置である。
また、請求の範囲１３の発明は、互いに隣接する第１のフィールドの画素位置と第２のフィールドの画素位置が異なる入力画像信号を、入力画像信号のフィールド周波数のＮ倍（Ｎは、２以上の整数）のフィールド周波数を有する出力画像信号に変換する画像変換方法において、
出力画像信号のうち、少なくとも入力画像信号に存在しない全てのフィールドを順次注目フィールドに設定し、注目フィールドの注目画素毎に、注目画素に基づいて決定される入力画像信号の複数の画素に基づいて、注目画素に対するクラスを決定するクラス決定ステップと、
注目画素毎に、入力画像信号の複数の画素を選択する予測画素選択ステップと、
決定されたクラスに対応する予測情報と、予測画素選択ステップで選択された複数の画素とに基づいて、出力画像信号の各注目画素を生成する画素生成ステップとを備え、
出力画像信号は、Ｎと等しいフィールド単位に画素位置が変化すると共に、各フィールドの画素位置が、入力画像信号の第１又は第２のフィールドのいずれか一方のフィールドの画素位置と一致することを特徴とする画像変換方法である。
この発明によれば、ＡＡＢＢタイプの出力画像信号を生成する時に、入力画像信号中に存在しない出力フィールドの画素値を前後の入力フィールドの画像情報を使用して、クラス分類適応処理で生成するので、単に同一フィールドを繰り返し出力する従来の方法と比較して、２度目に出力されるフィールドがその時間に対応する画像情報を持ち、時間解像度がないという問題点を解決することができる。また、クラス分類適応処理は、入力画像信号の複数画素に基づいてクラスを検出し、各クラスで最適となる推定予測式を用いて出力画像信号の画素値を作成するので、メディアンフィルタにより補間する場合と比較して出力画像信号の解像度を良好とすることができる。
また、フィールド倍速化の結果、出力画像信号として、ＡＡＢＢタイプと、ＡＢＡＢタイプとを選択的に生成することができる。従って、入力画像信号として、時空間解像度を要求される絵柄の場合には、ＡＢＡＢタイプを選択し、水平移動するテロップなどを多く見る場合には、ＡＡＢＢタイプを選択することが可能となる。
発明を実施するための最良の形態
以下、この発明の第１の実施形態について説明する。第１の実施形態で使用するフィールド倍速処理装置は、クラス分類適応処理によって、少なくとも入力画像信号中に存在しない出力フィールドの画素を生成するものである。最初にこの発明が適用されたＡＡＢＢタイプの出力画像信号を生成するようにしたフィールド倍速化の処理について、第１図を参照して説明する。第１図は、第１７図と同様に、フィールド倍速処理により得られる画素構造を概略的に示すものであり、縦軸を垂直方向位置ｖ、横軸を時間ｔとするものであり、入力画像を白い丸印で示し、出力画像を黒い丸印または星マークで示す。
第１図Ａは、第１７図Ａと同様の従来の処理を示し、この発明による処理との比較のための図である。すなわち、入力画像信号中のフィールドと同一のフィールドを繰り返して出力することによって倍速化の処理を行うことを示す。第１図Ｂは、この発明による倍速化の処理を示す。第１図Ｂにおいて、破線で囲んで示すように、入力画像信号中に存在していないフィールドの時間的に前のフィールドに属し、垂直方向の位置が同一位置の画素ｘ１と、その上下の画素ｘ２およびｘ３と、時間的に後のフィールドに属し、垂直方向の上下の位置の画素ｘ４およびｘ５を使用して、新たなフィールドの画素ｙを生成する。この処理は、クラス分類適応処理である。なお、後述する第２の実施形態の説明から明らかなように、クラス分類適応処理で使用する入力画素は、ｘ１〜ｘ５に限られない。
この発明の第１の実施形態は、第１図Ｂに示すように、前後の入力フィールドの入力画素を使用し、クラス分類適応処理によって新たなフィールドの出力画素を生成するので、ＡＡＢＢタイプであって、時間方向の解像度を持った新たなフィールドを生成することができる。従って、同一フィールドを繰り返し出力する従来の方法のように、パンした画面で２重像が生じることを防止することができる。
次に、この発明の第２の実施形態について説明する。第２の実施形態では、入力画像信号がフィールド周波数６０Ｈｚ、ライン数が５２５本のインターレス信号であって、フィールド倍速化の処理によって、入力画像信号をフィールド周波数１２０Ｈｚ、ライン数が５２５本の出力画像信号へ変換するようにしたものである。また、第２の実施形態では、出力画像信号の画素構造として、ＡＡＢＢタイプとＡＢＡＢタイプとをユーザの設定によって、または入力画像信号に適応して切り替えることを可能としたものである。ＡＡＢＢタイプの画像信号を出力する場合には、第１図Ｂを参照して説明した方法でもって、画素を生成する。ＡＢＡＢタイプについても、クラス分類適応処理によって、画素を生成する。ＡＢＡＢタイプに関して、クラス分類適応処理を使用するので、メディアンフィルタを使用する従来の方法と比較して、時空間の解像度をより高くすることができる。
クラス分類適応処理は、入力信号である画像信号の時間的および／または空間的特徴に応じてクラス分割を行い、クラス毎に予め学習により獲得された予測係数値を格納した記憶手段を持ち、予測式に基づいた演算により最適な推定値を出力する方式であり、クラス分類適応処理によって、解像度を入力画像信号のもの以上に高めることが可能である。
この画素生成装置の一例では、第２図に示すように、入力インターレス画像信号（５２５ライン／６０Ｈｚ）が領域切り出し部１に供給され、クラス分類および予測演算に必要とされる複数の画素が含まれる領域が切り出される。領域切り出し部１の出力がクラス検出回路２および１２、予測タップ選択回路３および１３に供給される。クラス検出回路２および１２は、作成すべき出力画素の近傍の入力画素の特徴に対応するクラスを検出する。クラス検出回路２および１２において、動きクラスを検出しても良い。並列に画素生成のための二つの構成を設けるのは、入力画像信号中に存在するフィールドの画素を生成する構成と、入力画像信号中に存在しないフィールドの画素を生成するためである。
クラス検出回路２および１２のそれぞれにより検出されたクラスが予測タップ選択回路３、１３と予測係数メモリ４、１４とに供給される。予測係数メモリ４、１４からは、クラスに対応する予測係数セットが読出され、積和演算回路５、１５に読出された予測係数セットが供給される。予測タップ選択回路３、１３は、クラスに応じて使用する予測タップを選択する構成とされている。予め各クラスの予測係数セットを学習によって得る時に、予測係数セットと使用する予測タップ位置情報との両者を得るようにしている。予測タップ選択回路３、１３には、予測タップ位置情報がクラス毎に記憶されたメモリが設けられている。このメモリからクラスに対応して読出された予測タップ位置情報がタップ切り替え用のセレクタに供給され、セレクタが選択的に予測タップを出力する。予測タップ選択回路３、１３からの予測タップが積和演算回路５、１５に供給される。
積和演算回路５、１５では、予測タップ（入力画像信号の画素）と予測係数セットとの線形推定式を用いて出力画像信号のデータを算出する。積和演算回路５、１５がそれぞれフィールド倍速の出力画像信号の隣り合うフィールドの第１および第２の画素値を同時に出力する。積和演算回路５からの第１の画素値がフィールドダブラ６に供給され、積和演算回路１５からの第２の画素値がフィールドダブラ１６に供給される。フィールドダブラ６、１６は、フィールドメモリを有し、クラス分類処理で生成された第１および第２のフィールドのそれぞれのフィールド周波数を２倍とする処理を行う。フィールドダブラ６、１６の出力がフィールド毎に切り替えられるセレクタ７に入力される。セレクタ７は、フィールドダブラ６、１６のそれぞれの出力を交互に選択し、出力画像信号（５２５ライン／１２０Ｈｚの出力信号）を発生する。
図示しないが、出力画像信号が例えばＣＲＴディスプレイに供給される。ＣＲＴディスプレイは、出力画像信号を表示することが可能なように、その同期系が構成されている。入力画像信号としては、放送信号、またはＶＴＲ等の再生装置の再生信号が供給される。すなわち、この一例をテレビジョン受像機に内蔵することができる。
さらに、選択信号発生部８が設けられている。選択信号発生部８は、出力画像信号としてＡＡＢＢタイプのものを生成するか、ＡＢＡＢタイプのものを生成するかを指示する選択信号ＳＬ１およびＳＬ２を発生する。選択信号ＳＬ１およびＳＬ２のハイレベル、ローレベルがＡＡＢＢタイプとＡＢＡＢタイプとにそれぞれ対応付けられている。選択信号発生部８は、ユーザが出力画像信号により提示される画像を見ながらスイッチ等をマニュアル操作することによって選択信号ＳＬ１およびＳＬ２を発生する。マニュアル操作に限らず、入力画像信号と共に送られる制御信号の指示に応答して選択信号ＳＬ１およびＳＬ２を発生しても良い。さらに、入力画像信号自体の特性に応じて自動的に選択信号ＳＬ１およびＳＬ２を発生しても良い。
選択信号ＳＬ１により領域切り出し部１の切り出し方法が制御される。選択信号ＳＬ２によりクラス検出回路２，１２および予測タップ選択回路３，１３におけるクラスタップおよび予測タップの設定が制御される。選択信号ＳＬ２により予測係数メモリ４，１４の予測係数テーブルが切り替えられる。さらに、選択信号ＳＬ２が同期信号発生部９に供給され、出力画像信号の各タイプに適応した垂直同期信号が生成される。この垂直同期信号によってＣＲＴモニター（図示しない）の垂直偏向が制御される。
第３図は、フィールドダブラ６および１６の動作を横軸に時間、縦軸にフィールドダブラ６および１６内のフィールドメモリのアドレスをとって示すものである。積和演算回路５、１５によって、第１のフィールドおよび第２のフィールドのデータが同時に生成される。第３図Ａが積和演算回路５によって生成された第１のフィールドの画像信号をフィールドメモリに書き込む時のアドレスであり、第３図Ｃが積和演算回路１５によって生成された第２のフィールドの画像信号をフィールドメモリに書き込む時のアドレスである。各フィールドに対して付加された番号１Ａ，１Ｂ，２Ａ，２Ｂ，・・・は、１フレームを構成する２フィールド（ＡおよびＢ）を示す。また、クラス分類適応処理による遅れを無視して、入力画像信号と積和演算回路５、１５の出力画像信号に対して番号が付されている。
第３図Ａに示す積和演算回路５の出力画像信号がフィールドダブラ６に供給される。フィールドダブラ６では、積和演算回路５の出力の１フィールド（例えば第３図Ａ中の１Ａ）がフィールドメモリに書き込まれ、この書き込みアドレスを追い越さないように、書き込み速度の２倍の速度でフィールドメモリから１フィールド（例えば第３図Ｂ中の１Ａ）が読み出される。また、１フィールドの読み出しが２回繰り返される。従って、第３図Ｂに示すように、２倍のフィールド周波数とされた出力がフィールドダブラ６から発生する。他方のフィールドダブラ１６も、フィールドダブラ６と同様に積和演算回路１５からの演算信号のフィールド周波数を２倍に変換した出力信号（第３図Ｄ）を発生する。
これらのフィールドダブラ６および１６の出力信号がセレクタ７に供給され、セレクタ７がそれぞれの出力信号をフィールド毎に交互に選択する。その結果、セレクタ７からは、第３図Ｅに示す出力画像信号が得られる。出力画像信号は、積和演算回路５により生成された第１のフィールドの画像信号と、積和映像回路１５により生成された第２のフィールドの画像信号とが時間軸方向に交互に位置し、且つフィールド周波数が２倍とされた画像信号である。
なお、第２図に示されるクラス分類適応処理のフィールド倍速化の構成は、カラー画像信号の一つのコンポーネントに対応したものであり、輝度信号、二つの色差信号の計３個のコンポーネントに対して、第２図に示される構成をそれぞれ設けても良い。さらに、コンポーネントカラー画像信号に限らず、コンポジットカラー画像信号に対してもこの発明を適用することができる。
第４図は、同期信号発生部９により生成される垂直同期信号を説明するための図である。出力画像信号がＡＢＡＢタイプの場合には、第４図Ａに示すように、インターレス方式でラスター走査がなされる。すなわち、第１フィールドの第１ラインから実線で示すように、走査が行われ、第２６３ラインの中間で第２フィールドに移り、以降、第５２５ラインまで走査がなされる。第１フィールドの上下のライン間の中央位置に第２フィールドのライン（破線）が存在する。従って、第４図Ｂに示すように、ＡＢＡＢタイプでは、２６２．５ラインの周期を有する垂直同期信号が同期信号発生部９から出力される。
ＡＡＢＢタイプの場合では、第４図Ｃに示すように、ラスター走査の物理的位置で動作がなされる。最初のフィールドでは、第１ラインから第２６２ラインまでの２６２ラインの走査がなされ、２番目のフィールドでは、前のフィールドの第１ラインから第２６２ラインと同一の位置の走査がされ、さらに、第２６３ラインの前半までの２６２．５ラインの走査がなされる。３番目のフィールドでは、第２６３ラインの後半から走査が開始され、第２６３ラインの前半までの２６３ラインの走査がなされる。４番目のフィールドでは、第２６３ラインの後半から走査がなされ、第２６２ラインまでの２６２．５ラインの走査がなされる。４番目のラスター走査は、第１番目の走査に戻る。このように、４フィールド周期でもって、ラスター走査がなされる。第４図Ｃに示すラスター走査を行うために、同期信号発生部９は、ＡＡＢＢタイプでは、第４図Ｄに示すように、垂直同期信号を発生する。
このように、同期信号発生部９は、選択信号発生部８からの選択信号ＳＬ２によって指示されるタイプに適応して垂直同期信号を発生する。この垂直同期信号によってＣＲＴモニターの垂直偏向が制御され、フィールド倍速の出力画像信号が表示される。
以下、この発明の第２の実施形態におけるクラス分類適応処理について、より詳細に説明する。第５図は、縦軸を垂直方向、横軸を時間方向とした時に、ＡＡＢＢタイプの出力画像信号を生成する場合の画素位置を概略的に示す。入力画像信号中に存在しているフィールド内の画素がクラス分類処理によって生成される。すなわち、クラス検出回路２、予測タップ選択回路３、予測係数メモリ４、積和演算回路５によって、入力画像信号中に存在しないフィールド内の画素が生成される。入力画像信号中に存在していないフィールド内の画素がクラス検出回路１２、予測タップ選択回路１３、予測係数メモリ１４、積和演算回路１５によって生成される。そして、フィールドダブラ６および１６とセレクタ７とによって、第５図に示す画素の配置を有するＡＡＢＢタイプの出力画像信号が生成される。
第６図は、縦軸を垂直方向、横軸を時間方向とした時に、ＡＢＡＢタイプの出力画像信号を生成する場合の画素位置を概略的に示す。入力画像信号中に存在しているフィールド内の画素がクラス検出回路２、予測タップ選択回路３、予測係数メモリ４、積和演算回路５によって生成される。入力画像信号中に存在していないフィールド内の画素がクラス検出回路１２、予測タップ選択回路１３、予測係数メモリ１４、積和演算回路１５によって生成される。そして、フィールドダブラ６および１６とセレクタ７とによって、第６図に示す画素の配置を有するＡＢＡＢタイプの出力画像信号が生成される。
第５図に示すＡＡＢＢタイプの出力画像信号を生成する場合のタップ構造について説明する。第７図は、垂直方向および時間方向のタップ構造を示す。説明の便宜上、画素生成動作の共通性に基づいて、４個のモードを規定する。モード１は、入力画像信号中に存在する奇数フィールドおよび偶数フィールドの一方のフィールド内の画素と垂直方向で同一位置に画素を第１のフィールドの画素として生成する処理である。モード２は、入力画像信号に存在しないフィールドの画素で、一方のフィールドの画素と垂直方向で同一位置に画素を第２のフィールドの画素として生成する処理である。モード３は、入力画像信号中に存在する奇数フィールドおよび偶数フィールドの他方のフィールド内の画素と垂直方向で同一位置に画素を第３のフィールドの画素として生成する処理である。モード４は、入力画像信号に存在しないフィールドの画素で、他方のフィールドの画素と垂直方向で同一位置に画素を第４のフィールドの画素として生成する処理である。
ＡＡＢＢタイプの出力画像信号を生成するモード２およびモード４では、第７図において、三角形で囲んで示すように、新たに生成されるフィールドの前後のフィールドの入力画素がクラスタップまたは予測タップとして使用される。すなわち、生成する新たなフィールドの前のフィールド（−１フィールドと称する）に含まれ、生成しようとする画素と同一位置の画素と、新たなフィールドの後のフィールド（０フィールド）に含まれ、生成しようとする画素に対して垂直方向で上下の位置の画素とがタップとして使用される。
第８図Ａは、モード１およびモード３における予測タップの一例であり、第８図Ｂは、モード１およびモード３におけるクラスタップの一例である。第８図Ａおよび第８図Ｂは、縦軸を垂直方向、横軸を水平方向にとって画素の配置を示す。第８図Ａに示すように、−１フィールドに含まれ、生成しようとする画素（黒い丸印）ｙと垂直方向で上下の位置の６個の入力画素ｘ０〜ｘ５と、０フィールドに含まれ、生成しようとする画素ｙと上下左右の位置に隣接する４個の入力画素ｘ６〜ｘ９との合計１０個の入力画素により予測タップが構成される。
第８図Ｂに示すように、４個の入力画素Ｘ０〜Ｘ３によって、モード１およびモード３のクラスタップが構成される。Ｘ０およびＸ１は、−１フィールドに含まれ、生成しようとする画素ｙと垂直方向で上下の位置の画素である。Ｘ２およびＸ３は、０フィールドに含まれ、生成しようとする画素ｙに対して垂直方向で上下の位置の画素である。
第９図Ａは、モード２およびモード４における予測タップの一例であり、第９図Ｂは、モード２およびモード４におけるクラスタップの一例である。第９図Ａおよび第９図Ｂは、縦軸を垂直方向、横軸を水平方向にとって画素の配置を示す。第９図Ａに示すように、−１フィールドに含まれ、生成しようとする画素（黒い丸印）ｙと垂直方向で同一位置の５個の入力画素ｘ０〜ｘ４と、０フィールドに含まれ、生成しようとする画素ｙに対して垂直方向で上下の位置の６個の入力画素ｘ５〜ｘ１０との合計１１個の入力画素により予測タップが構成される。生成される画素ｙと入力画素ｘ２の空間的位置が同一である。
第９図Ｂに示すように、５個の入力画素Ｘ０〜Ｘ４によって、モード２およびモード４のクラスタップが構成される。Ｘ０は、−１フィールドに含まれ、生成しようとする画素ｙと空間的に同一位置の画素である。Ｘ１およびＸ２は、−１フィールドに含まれ、生成しようとする画素ｙに対して垂直方向で上下の位置の画素である。Ｘ３およびＸ４は、０フィールドに含まれ、生成しようとする画素ｙに対して垂直方向で上下の位置の画素である。
第６図に示すＡＢＡＢタイプの出力画像信号を生成する場合のタップ構造について説明する。第１０図は、垂直方向および時間方向のタップ構造を示す。処理のモードの共通性に基づいて、４個のモードを規定する。モード１は、入力画像信号中に存在する一方のフィールド内の画素と垂直方向で同一位置に画素を生成する処理である。モード２は、入力画像信号に存在しないフィールドの画素で、一方のフィールドの画素と垂直方向で１／２ラインずれた位置に画素を生成する処理である。モード３は、入力画像信号中に存在する他方のフィールド内の画素と垂直方向で１／２ラインずれた位置に画素を生成する処理である。モード４は、入力画像信号に存在しないフィールドの画素で、他方のフィールドの画素と垂直方向で同一位置に画素を生成する処理である。
モード２およびモード４では、第１０図において、三角形で囲んで示すように、生成する画素の含まれる新たなフィールドの前後のフィールドの入力画素がタップとして使用される。モード２では、−１フィールドに含まれ、生成しようとする画素に対して垂直方向で上下の位置の画素と、０フィールドに含まれ、生成しようとする画素と垂直方向で同一位置の画素とがタップとして使用される。モード４では、−１フィールドに含まれ、生成しようとする画素と垂直方向で同一位置の画素と、０フィールドに含まれ、生成しようとする画素に対して垂直方向で上下の位置の画素とがタップとして使用される。
モード３では、第１０図において、菱形で囲んで示すように、生成する画素の含まれるフィールド（０フィールド）と同一フィールドで、その上下の入力画素と、生成する画素のフィールドの前のフィールド（−１フィールド）に含まれ、生成しようとする画素と垂直方向で同一位置の画素と、新たなフィールドの後のフィールド（＋１フィールド）に含まれ、生成しようとする垂直方向で同一位置の画素とがタップとして使用される。
第１１図Ａは、モード２における予測タップの一例であり、第１１図Ｂは、モード２におけるクラスタップの一例である。第１１図Ａおよび第１１図Ｂは、縦軸を垂直方向、横軸を水平方向にとって画素の配置を示す。第１１図Ａに示すように、−１フィールドに含まれ、生成しようとする画素ｙに対して垂直方向で上下の位置の６個の入力画素ｘ０〜ｘ５と、０フィールドに含まれ、生成しようとする画素ｙと垂直方向で同一位置の５個の入力画素ｘ６〜ｘ１０との合計１１個の入力画素により予測タップが構成される。
第１１図Ｂに示すように、５個の入力画素Ｘ０〜Ｘ４によって、モード２のクラスタップが構成される。Ｘ０およびＸ１は、−１フィールドに含まれ、生成しようとする画素ｙに対して垂直方向で上下の位置の画素である。Ｘ２は、０フィールドに含まれ、生成しようとする画素ｙと同一位置の画素である。Ｘ３およびＸ４は、０フィールドに含まれ、生成しようとする画素に対して垂直方向で上下の位置の画素である。
第１２図Ａは、モード３における予測タップの一例であり、第１２図Ｂは、モード３におけるクラスタップの一例である。第１２図Ａおよび第１２図Ｂは、縦軸を垂直方向、横軸を水平方向にとって画素の配置を示す。第１２図Ａに示すように、−１フィールドに含まれ、生成しようとする画素ｙに対して垂直方向で上下の位置の２個の入力画素ｘ０およびｘ１と、０フィールドに含まれ、生成しようとする画素ｙの周辺の６個の入力画素ｘ２〜ｘ７と、＋１フィールドに含まれ、生成しようとする画素ｙに対して垂直方向で上下の位置の２個の入力画素ｘ８およびｘ９との合計１０個の入力画素により予測タップが構成される。
第１２図Ｂに示すように、６個の入力画素Ｘ０〜Ｘ５によって、モード３のクラスタップが構成される。Ｘ０およびＸ１は、−１フィールドに含まれ、生成しようとする画素ｙに対して垂直方向で上下の位置の画素である。Ｘ２およびＸ３は、０フィールドに含まれ、生成しようとする画素ｙに対して垂直方向で上下の位置の画素である。Ｘ４およびＸ５は、＋１フィールドに含まれ、生成しようとする画素ｙに対して垂直方向で上下の位置の画素である。
第１３図Ａは、モード４における予測タップの一例であり、第１３図Ｂは、モード４におけるクラスタップの一例である。第１３図Ａおよび第１３図Ｂは、縦軸を垂直方向、横軸を水平方向にとって画素の配置を示す。第１３図Ａに示すように、−１フィールドに含まれ、生成しようとする画素ｙと垂直方向で同一位置の５個の入力画素ｘ０〜ｘ４と、０フィールドに含まれ、生成しようとする画素ｙに対して垂直方向で上下の位置の６個の入力画素ｘ５〜ｘ１０との合計１１個の入力画素により予測タップが構成される。
第１３図Ｂに示すように、５個の入力画素Ｘ０〜Ｘ４によって、モード４のクラスタップが構成される。Ｘ０は、−１フィールドに含まれ、生成しようとする画素と垂直方向で同一位置の画素である。Ｘ１およびＸ２は、−１フィールドに含まれ、生成しようとする画素に対して垂直方向で上下の位置の画素である。Ｘ３およびＸ４は、０フィールドに含まれ、生成しようとする画素ｙに対して垂直方向で上下の位置の画素である。
なお、モード１の予測タップおよびクラスタップは、入力信号に存在しているフィールドを作りなおす処理であって、例えば第８図Ａに示すＡＢＡＢタイプのモード１と同様のもので良い。
上述したＡＡＢＢタイプとＡＢＡＢタイプとで、クラスタップを切り替えるために、クラス検出回路２および１２に対して選択信号ＳＬ２が供給される。また、タイプによって予測タップを切り替えるために、予測タップ選択回路３および１３に対して選択信号ＳＬ２が供給される。クラスタップおよび予測タップのモードに応じた切り替えは、クラス検出回路２，１２および予測タップ選択回路３，１３のそれぞれにおいてなされる。領域切り出し回路１は、クラスタップおよび予測タップとして使用される可能性のある全ての入力画素を同時に出力するものである。クラス検出回路２および１２は、モードと注目画素の位置に応じてクラスタップを選択するようになされている。
クラス検出回路２、１２は、クラスタップの特徴例えばレベル分布を検出する。この場合、クラス数が膨大となることを防ぐために、各画素８ビットの入力データをより少ないビット数のデータへ圧縮するような処理を行う。一例として、ＡＤＲＣ（Ａｄａｐｔｉｖｅ Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｃｏｄｉｎｇ）によって、クラスタップの入力画素のデータが圧縮される。なお、情報圧縮方式としては、ＡＤＲＣ以外にＤＰＣＭ（予測符号化）、ＶＱ（ベクトル量子化）等の圧縮方式を用いても良い。
本来、ＡＤＲＣは、ＶＴＲ（Ｖｉｄｅｏ Ｔａｐｅ Ｒｅｃｏｄｅｒ）向け高能率符号化用に開発された適応的再量子化法であるが、信号レベルの局所的な特徴を短い語長で効率的に表現できるので、この一例では、ＡＤＲＣをクラス分類のコード発生に使用している。ＡＤＲＣは、クラスタップのダイナミックレンジをＤＲ、ビット割当をｎ、クラスタップの画素のデータレベルをし、再量子化コードをＱとして、以下の式（１）により、最大値ＭＡＸと最小値ＭＩＮとの間を指定されたビット長で均等に分割して再量子化を行う。
ＤＲ＝ＭＡＸ−ＭＩＮ＋１
Ｑ＝｛（Ｌ−ＭＩＮ＋０．５）×２／ＤＲ｝ （１）
ただし、｛ ｝は切り捨て処理を意味する。
なお、動きクラスを併用して、クラスと動きクラスとを統合してクラスを検出するようにしても良い。この場合、動きクラスに応じて、クラスタップを切り替えるようにしても良い。
そして、積和演算回路５，１５は、予測タップ選択回路３，１３でそれぞれ選択された予測タップ（画素値）と、予測係数メモリ４，１４からそれぞれ読み出された予測係数セットとの線形１次結合によって、画素値を生成する。線形１次式に限らず、２次以上の高次の推定式によって画素値を生成しても良い。この場合、予測係数メモリ４，１４には、ＡＡＢＢタイプで使用する予測係数テーブルと、ＡＢＡＢタイプで使用する予測係数テーブルとが格納されている。各テーブルは、複数の予測係数セットを、モードとクラス検出回路２，１２で決定されたクラスとに対応する個数有する。各テーブル（予測係数）は、予め後述する学習処理によって取得されている。
積和演算回路５は、予測タップ選択回路３、または１３からの予測タップ（画素値）ｘ１，ｘ２，・・・ｘｉと、予測係数セットｗ１，ｗ２，・・・ｗｉとの線形１次結合式（式（２））の演算を行うことにより、例えばモード１およびモード３の場合の画素値を算出する。積和演算回路１５は、同様にしてモード２およびモード４の場合の画素値を算出する。
Ｌ１＝ｗ１ｘ１＋ｗ２ｘ２＋・・・・＋ｗｉｘｉ （２）
このように、予測係数セットが各クラス毎に予め学習により求められた上で、予測係数メモリ４、１４に記憶しておき、入力される予測タップおよび読出された予測係数セットに基づいて演算が行われ、入力されたデータに対応する出力データを形成して出力することにより、入力データを単に補間処理したのとは異なり、高画質のフィールド倍速の画像信号を出力することができる。
次に、予測係数の作成（学習）について第１４図を用いて説明する。ＡＡＢＢタイプの出力画像信号を形成する学習と、ＡＢＡＢタイプの出力画像信号を形成する学習とは、別々の予測係数を求めるために、別々の処理である。しかしながら、いずれの学習のためにも、第１４図の構成を使用することができる。予測係数を学習によって得るためには、まず、間引き部３１によって、フィールド周波数が１２０Ｈｚ（フィールド倍速）のプログレッシブの画像信号から、垂直方向で画素数が１／２とされ、フィールド周波数６０Ｈｚのインターレス画像信号（生徒画像）を形成する。
また、間引き部４１によって、垂直方向で画素数が１／２とされ、フィールド周波数１２０Ｈｚの画像信号（教師画像）を形成する。教師画像としては、ＡＡＢＢタイプまたはＡＢＡＢタイプである。間引き部４１は、各フィールドの垂直方向の間引きの方法を変えることによって、ＡＡＢＢタイプおよびＡＢＡＢタイプの一方の教師画像を形成する。間引き部４１からの教師画像と間引き部３１からの生徒画像とを学習用の対とする。
第１５図は、ＡＡＢＢタイプの出力画像信号を形成するための予測係数を学習する時の画素構造を示す。また、第１６図は、ＡＢＡＢタイプの出力画像信号を形成するための予測係数を学習する時の画素構造を示す。縦軸が垂直方向であり、横軸が時間方向である。第１５図および第１６図において、黒い丸印がフィールド周波数が１２０Ｈｚで、プログレッシブ画像の画素を示す。
ＡＡＢＢタイプの学習時には、間引き部４１において、連続するフィールドで垂直方向で同一の位置の画素を教師画像の画素とするように、垂直方向の１／２間引きがなされる。ＡＢＡＢタイプの学習時には、間引き部４１において、連続するフィールドで、垂直方向の位置がプログレッシブ画像の１ラインのずれを持つように、垂直方向の１／２間引きがなされる。また、間引き部３１において、フィールド周波数を６０Ｈｚとするように、時間間引きがなされ、また、時間間引き後の時間的に連続するフィールド間で、垂直方向の位置がプログレッシブ画像の１ラインのずれを持つように、垂直方向の１／２間引きがなされる。このように形成される生徒画像は、画素値生成時の入力画像に対応するものである。
間引き部３１からの生徒画像信号が予測タップ領域切り出し部３２およびクラスタップ領域切り出し部３３に供給される。クラスタップ領域切り出し部３３からのクラスタップがクラス検出回路３４および３５に供給される。予測タップ領域切り出し部３２は、各モードで画素を作成するための予測タップを出力する。クラス検出回路３４、３５は、第２図に示す画素生成装置におけるクラス検出回路２、１２と同様に、モード毎に設定されたクラスタップのデータをＡＤＲＣにより圧縮し、クラス情報を発生する。クラス検出回路３４、３５は、モード１および３と、モード２および４のそれぞれに関するクラスを独立に検出する。
予測タップ領域切り出し部３２からの予測タップが正規方程式加算回路３６、３７に供給される。正規方程式加算回路３６、３７の説明のために、複数個の入力画素から出力画素への変換式の学習とその予測式を用いた信号変換について述べる。以下に、説明のために、より一般化してｎ画素による予測を行う場合について説明する。予測タップとして選択される入力画素のレベルをそれぞれｘ１、‥‥、ｘｎとし、教師画像中の出力画素レベルをｙとしたとき、クラス毎に予測係数セットｗ１、‥‥、ｗｎによるｎタップの線形推定式を設定する。これを下記の式（３）に示す。学習前は、ｗｉが未定係数である。
ｙ＝ｗ１ｘ１＋ｗ２ｘ２＋‥‥＋ｗｎｘｎ （３）
学習は、クラス毎に複数の信号データに対して行う。データ数がｍの場合、式（３）にしたがって、以下に示す式（４）が設定される。
ｙｋ＝ｗ１ｘｋ１＋ｗ２ｘｋ２＋‥‥＋ｗｎｘｋｎ （４）
（ｋ＝１，２，‥‥ｍ）
ｍ＞ｎの場合、予測係数セットｗｉ、‥‥ｗｎは、一意に決まらないので、誤差ベクトルｅの要素を以下の式（５）で定義して、式（６）を最小にする予測係数セットを求める。いわゆる、最小自乗法による解法である。
ｅｋ＝ｙｋ−｛ｗ１ｘｋ１＋ｗ２ｘｋ２＋‥‥＋ｗｎｘｋｎ｝ （５）
（ｋ＝１，２，‥‥ｍ）
学習に充分なフレーム数のデータの入力が終了した後、正規方程式加算回路３６、３７は、予測係数決定部３８に正規方程式データを出力する。予測係数決定部３８は、正規方程式を掃き出し法等の一般的な行列解法を用いて、ｗｉについて解き、予測係数セットを算出する。予測係数決定部３８は、算出された予測係数セットを予測係数メモリ３９、４０に書込む。
以上のように学習を行った結果、予測係数メモリ３９、４０のそれぞれには、クラス毎に、フィールド倍速信号の注目画素ｙを推定するための、もっとも真値に近い推定ができる予測係数が格納される。予測係数メモリ３９、４０に格納された予測係数は、上述の画像変換装置において、予測係数メモリ４、１４にロードされる。
また、予測タップ領域切り出し部３２が出力する予測タップの個数は、画素生成装置において使用される予測タップの個数より大きいものとされる。従って、予測係数決定部３８は、クラス毎により多くの予測係数セットが求まる。この求まった予測係数セットの中で、絶対値が大きいものから順に使用する数の予測係数セットが選択される。選択された予測係数セットがメモリ３９、４０のクラスに対応するアドレスにそれぞれ格納される。従って、クラス毎に予測タップが選択されることになり、この予測タップの選択位置情報がクラス毎にメモリ（図示しない）に格納される。このような予測タップ選択処理によって、各クラスに適合した予測タップを選択することが可能となる。
以上の処理により、線形推定式により、フィールド周波数が６０Ｈｚのインターレス画像信号からフィールド周波数が１２０Ｈｚの画像のデータを作成するための予測係数の学習が終了する。
上述したこの発明による画像変換装置を例えばＣＲＴディスプレイのような表示装置と入力信号源との間に設けることによって、入力画像信号の絵柄に応じてフィールド倍速化された出力画像信号のタイプを選択することができるので、良質な再生画像を見ることができる。
この発明は、フィールド倍速化を行うと共に、出力画像信号としてＡＡＢＢタイプのものを生成する時に、入力画像信号中に存在しないフィールドが前後の入力フィールドの画像情報を使用して生成されるので、生成されたフィールドがその時間に対応する画像情報となる。従って、単に入力フィールドと同一のフィールドを繰り返す処理の時間解像度を持たない問題点を解決することができる。また、クラス分類適応処理を使用するので、時空間解像度を向上させることができる。
また、この発明は、出力画像信号として、画素構造としてＡＡＢＢタイプとＡＢＡＢタイプとを選択することができるので、入力画像信号の絵柄に適応したフィールド倍速処理を行うことができる。従って、文字が横にスクロールされるような画面例えば株式情報の提示画面の場合には、ＡＡＢＢタイプを選択することによって文字を明瞭に表示し、それ以外では、ＡＢＡＢタイプを選択することによって時空間解像度の良好な画像を表示することができる。
この発明は、上述した実施形態等に限定されるものでは無く、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えばフィールド周波数６０Ｈｚから１２０Ｈｚの倍速処理について説明したが、５０Ｈｚから１００Ｈｚへの倍速処理に対しても同様にこの発明を適用できる。また、入力画像信号のフィールド周波数は、５０Ｈｚ、６０Ｈｚには限定されない。さらに、上述した第２の実施形態では、フィールド倍速化の処理について説明したが、フィールド倍速化に加えて水平方向および／または垂直方向の画素数を２倍とする処理を同時に行うようにしても良い。さらに、倍速化に限らず、任意の比率のフィールド周波数変換を行うようにしても良い。
【図面の簡単な説明】
第１図は、この発明の第１の実施形態の説明に用いる画素構造を概略的に示す略線図である。
第２図は、この発明の第２の実施形態のブロック図である。
第３図は、フィールド倍速化を説明するための波形図である。
第４図は、フィールド倍速の出力画像信号に対する垂直同期信号を説明するための略線図である。
第５図は、入力画像信号の画素とＡＡＢＢタイプの出力画像信号の画素の配置を示す略線図である。
第６図は、入力画像信号の画素とＡＢＡＢタイプの出力画像信号の画素の配置を示す略線図である。
第７図は、ＡＡＢＢタイプの出力画像信号を生成する場合のタップ構造を示す略線図である。
第８図は、ＡＡＢＢタイプにおける予測タップおよびクラスタップの一例を示す略線図である。
第９図は、ＡＡＢＢタイプにおける予測タップおよびクラスタップの一例を示す略線図である。
第１０図は、ＡＢＡＢタイプの出力画像信号を生成する場合のタップ構造を示す略線図である。
第１１図は、ＡＢＡＢタイプにおける予測タップおよびクラスタップの一例を示す略線図である。
第１２図は、ＡＢＡＢタイプにおける予測タップおよびクラスタップの他の例を示す略線図である。
第１３図は、ＡＢＡＢタイプにおける予測タップおよびクラスタップのさらに他の例を示す略線図である。
第１４図は、予測係数を学習する時の構成を示すブロック図である。
第１５図は、ＡＡＢＢタイプに関する予測係数を学習する時の教師画像と生徒画像の画素の位置関係を説明するための略線図である。
第１６図は、ＡＢＡＢタイプに関する予測係数を学習する時の教師画像と生徒画像の画素の位置関係を説明するための略線図である。
第１７図は、従来のフィールド倍速化処理の一例および他の例を説明するための略線図である。
Claims (24)
- 互いに隣接する第１のフィールドの画素位置と第２のフィールドの画素位置が異なる入力画像信号を、上記入力画像信号のフィールド周波数のＮ倍（Ｎは、２以上の整数）のフィールド周波数を有する出力画像信号に変換する画像変換装置において、
上記出力画像信号のうち、少なくとも上記入力画像信号に存在しない全てのフィールドを順次注目フィールドに設定し、上記注目フィールドの注目画素毎に、上記注目画素に基づいて決定される上記入力画像信号の複数の画素に基づいて、上記注目画素に対するクラスを決定するクラス決定部と、
予め取得された予測情報を記憶するメモリ部と、
上記注目画素毎に、上記入力画像信号の複数の画素を選択する予測画素選択部と、
上記クラス決定部で決定されたクラスに対応する予測情報と、上記予測画素選択部で選択された複数の画素とに基づいて、上記出力画像信号の各注目画素を生成する画素生成部とを備え、
上記出力画像信号は、上記Ｎと等しいフィールド単位に画素位置が変化すると共に、各フィールドの画素位置が、上記入力画像信号の上記第１又は第２のフィールドのいずれか一方のフィールドの画素位置と一致することを特徴とする画像変換装置。 - 請求の範囲１において、
上記入力画像信号の上記第１のフィールドと上記第２のフィールドとは、垂直方向に画素位置が異なることを特徴とする画像変換装置。 - 請求の範囲２において、
上記入力画像信号の上記第１のフィールドと上記第２のフィールドとは、垂直方向に１／２ライン分画素位置が異なることを特徴とする画像変換装置。 - 請求の範囲１において、
上記出力画像信号は、上記入力画像信号の所定のフィールドと時間が一致するフィールドを先頭としたＮ個のフィールドの画素位置が、上記入力画像信号の所定のフィールドの画素位置と一致することを特徴とする画像変換装置。 - 請求の範囲１において、
上記クラス決定部は、上記出力画像信号の全てのフィールドを順次上記注目フィールドに設定することを特徴とする画像変換装置。 - 請求の範囲１において、
上記Ｎが２であることを特徴とする画像変換装置。 - 請求の範囲１において、
上記画素生成部は、上記クラス決定部で決定されたクラスに対応する上記予測情報と、上記予測画素選択部で選択された複数の画素との線形推定式を演算することで、上記出力画像信号の各注目画素を生成することを特徴とする画像変換装置 - 請求の範囲１において、
上記入力画像信号がインターレス信号であることを特徴とする画像変換装置。 - 請求の範囲１において、
上記メモリ部は、第１の変換モードと第２の変換モードとに対応する予測情報を記憶しており、
上記画素生成部は、
上記第１の変換モードにおいて、上記クラス決定部で決定されたクラス及び上記第１のモードに対応する予測情報と、上記予測画素選択部で選択された複数の画素とに基づいて、上記出力画像信号の各注目画素を生成することで、上記Ｎと等しいフィールド単位に画素位置が変化すると共に、各フィールドの画素位置が、上記入力画像信号の上記第１又は第２のフィールドのいずれか一方のフィールドの画素位置と一致する出力画像信号を生成し、
上記第２の変換モードにおいて、上記クラス決定部で決定されたクラス及び上記第２のモードに対応する予測情報と、上記予測画素選択部で選択された複数の画素とに基づいて、上記出力画像信号の各注目画素を生成することで、各フィールド単位に画素位置が変化すると共に、各フィールドの画素位置が、上記入力画像信号の上記第１又は第２のフィールドのいずれか一方のフィールドの画素位置と一致する出力画像信号を生成することを特徴とする画像変換装置。 - 請求の範囲９において、
上記第１のモードと上記第２のモードとで、上記クラス決定部で上記注目画素に基づいて決定される上記入力画像信号の複数の画素が互いに異なることを特徴とする画像変換装置。 - 請求の範囲９において、
上記予測画素選択部は、上記第１のモードと上記第２のモードとで、上記注目画素毎に、上記入力画像信号から異なる複数の画素を選択することを特徴とする画像変換装置。 - 請求の範囲９において、
上記第１のモードに対応する同期信号と、上記第２のモードに対応する同期信号とを選択的に発生する同期信号発生部をさらに有することを特徴とする画像変換装置。 - 互いに隣接する第１のフィールドの画素位置と第２のフィールドの画素位置が異なる入力画像信号を、上記入力画像信号のフィールド周波数のＮ倍（Ｎは、２以上の整数）のフィールド周波数を有する出力画像信号に変換する画像変換方法において、
上記出力画像信号のうち、少なくとも上記入力画像信号に存在しない全てのフィールドを順次注目フィールドに設定し、上記注目フィールドの注目画素毎に、上記注目画素に基づいて決定される上記入力画像信号の複数の画素に基づいて、上記注目画素に対するクラスを決定するクラス決定ステップと、
上記注目画素毎に、上記入力画像信号の複数の画素を選択する予測画素選択ステップと、
上記決定されたクラスに対応する予測情報と、上記予測画素選択ステップで選択された複数の画素とに基づいて、上記出力画像信号の各注目画素を生成する画素生成ステップとを備え、
上記出力画像信号は、上記Ｎと等しいフィールド単位に画素位置が変化すると共に、各フィールドの画素位置が、上記入力画像信号の上記第１又は第２のフィールドのいずれか一方のフィールドの画素位置と一致することを特徴とする画像変換方法。 - 請求の範囲１３において、
上記入力画像信号の上記第１のフィールドと上記第２のフィールドとは、垂直方向に画素位置が異なることを特徴とする画像変換方法。 - 請求の範囲１４において、
上記入力画像信号の上記第１のフィールドと上記第２のフィールドとは、垂直方向に１／２ライン分画素位置が異なることを特徴とする画像変換方法。 - 請求の範囲１３において、
上記出力画像信号は、上記入力画像信号の所定のフィールドと時間が一致するフィールドを先頭としたＮ個のフィールドの画素位置が、上記入力画像信号の所定のフィールドの画素位置と一致することを特徴とする画像変換方法。 - 請求の範囲１３において、
上記クラス決定ステップは、上記出力画像信号の全てのフィールドを順次上記注目フィールドに設定することを特徴とする画像変換方法。 - 請求の範囲１３において、
上記Ｎが２であることを特徴とする画像変換方法。 - 請求の範囲１３において、
上記画素生成ステップは、上記クラス決定ステップで決定されたクラスに対応する上記予測情報と、上記予測画素選択ステップで選択された複数の画素との線形推定式を演算することで、上記出力画像信号の各注目画素を生成することを特徴とする画像変換方法。 - 請求の範囲１３において、
上記入力画像信号がインターレス信号であることを特徴とする画像変換方法。 - 請求の範囲１３において、
上記画素生成ステップは、
上記第１の変換モードにおいて、上記クラス決定ステップで決定されたクラス及び上記第１のモードに対応する予測情報と、上記予測画素選択ステップで選択された複数の画素とに基づいて、上記出力画像信号の各注目画素を生成することで、上記Ｎと等しいフィールド単位に画素位置が変化すると共に、各フィールドの画素位置が、上記入力画像信号の上記第１又は第２のフィールドのいずれか一方のフィールドの画素位置と一致する出力画像信号を生成し、
上記第２の変換モードにおいて、上記クラス決定ステップで決定されたクラス及び上記第２のモードに対応する予測情報と、上記予測画素選択ステップで選択された複数の画素とに基づいて、上記出力画像信号の各注目画素を生成することで、各フィールド単位に画素位置が変化すると共に、各フィールドの画素位置が、上記入力画像信号の上記第１又は第２のフィールドのいずれか一方のフィールドの画素位置と一致する出力画像信号を生成することを特徴とする画像変換方法。 - 請求の範囲２１において、
上記第１のモードと上記第２のモードとで、上記クラス決定ステップで上記注目画素に基づいて決定される上記入力画像信号の複数の画素が互いに異なることを特徴とする画像変換方法。 - 請求の範囲２１において、
上記予測画素選択ステップは、上記第１のモードと上記第２のモードとで、上記注目画素毎に、上記入力画像信号から異なる複数の画素を選択することを特徴とする画像変換方法。 - 請求の範囲２１において、
上記第１のモードに対応する同期信号と、上記第２のモードに対応する同期信号とを選択的に発生する同期信号発生ステップをさらに有することを特徴とする画像変換方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11680699 | 1999-04-23 | ||
| PCT/JP2000/002636 WO2000065830A1 (fr) | 1999-04-23 | 2000-04-21 | Dispositif et procede de conversion d'image |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP4470323B2 true JP4470323B2 (ja) | 2010-06-02 |
Family
ID=14696131
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000614655A Expired - Fee Related JP4470323B2 (ja) | 1999-04-23 | 2000-04-21 | 画像変換装置および方法 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US6646684B1 (ja) |
| EP (1) | EP1111918B1 (ja) |
| JP (1) | JP4470323B2 (ja) |
| KR (1) | KR100730499B1 (ja) |
| DE (1) | DE60041114D1 (ja) |
| WO (1) | WO2000065830A1 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE60127631T2 (de) * | 2000-02-10 | 2007-12-13 | Sony Corp. | Anordnung und verfahren zur bildverarbeitung und aufzeichnungsträger |
| JP4691812B2 (ja) * | 2001-03-29 | 2011-06-01 | ソニー株式会社 | 係数データの生成装置および生成方法、それを使用した情報信号の処理装置および処理方法 |
| EP1326436B1 (en) * | 2001-12-28 | 2013-02-13 | Sony Corporation | Displaying information |
| US8780093B2 (en) * | 2009-03-25 | 2014-07-15 | Himax Technologies Limited | Method for transmitting image data through RSDS transmission interfaces |
| US20110025697A1 (en) * | 2009-07-28 | 2011-02-03 | Ying-Lieh Chen | Method for transmitting image data through rsds transmission interfaces |
| EP2544145B1 (en) * | 2011-07-06 | 2018-09-12 | Brandenburgische Technische Universität Cottbus-Senftenberg | Method, arrangement, computer programm and computer-readable storage medium for scaling two-dimensional structures |
Family Cites Families (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2623040B1 (fr) * | 1987-11-09 | 1990-02-09 | France Etat | Procede et dispositif de traitement de signaux d'image a balayage de trame entrelace |
| JP2982165B2 (ja) * | 1988-10-13 | 1999-11-22 | ソニー株式会社 | 映像信号受像機 |
| JPH02112392A (ja) * | 1988-10-20 | 1990-04-25 | Sony Corp | 映像信号処理装置 |
| JP2707650B2 (ja) * | 1988-11-08 | 1998-02-04 | ソニー株式会社 | テレビジョン受像機 |
| JPH02237280A (ja) * | 1989-03-10 | 1990-09-19 | Hitachi Ltd | 標準／高品位テレビジョン受信装置 |
| US5461420A (en) * | 1992-09-18 | 1995-10-24 | Sony Corporation | Apparatus for coding and decoding a digital video signal derived from a motion picture film source |
| DE4237225A1 (de) * | 1992-11-04 | 1994-05-05 | Philips Patentverwaltung | Anordnung zur Verdopplung der Teilbildfrequenz eines Bildsignals |
| KR100360206B1 (ko) * | 1992-12-10 | 2003-02-11 | 소니 가부시끼 가이샤 | 화상신호변환장치 |
| JP3362463B2 (ja) | 1993-07-09 | 2003-01-07 | ソニー株式会社 | フレーム補間装置 |
| DE69524202T2 (de) * | 1994-08-31 | 2002-07-04 | Sony Corp | Bildaufnahmevorrichtung |
| JP3794505B2 (ja) * | 1995-03-22 | 2006-07-05 | ソニー株式会社 | 信号変換装置及び信号変換方法 |
| US5852470A (en) * | 1995-05-31 | 1998-12-22 | Sony Corporation | Signal converting apparatus and signal converting method |
| US5946044A (en) * | 1995-06-30 | 1999-08-31 | Sony Corporation | Image signal converting method and image signal converting apparatus |
| JP3669530B2 (ja) * | 1995-06-30 | 2005-07-06 | ソニー株式会社 | 画像信号変換装置及び画像信号変換方法 |
| DE69736257T2 (de) * | 1996-05-30 | 2007-06-28 | Sony Corp. | Schaltung und Verfahren zur Produktsummenberechnung |
| CN1097965C (zh) * | 1996-12-11 | 2003-01-01 | 索尼公司 | 信号转换装置和方法 |
| JP3787823B2 (ja) * | 1997-07-31 | 2006-06-21 | ソニー株式会社 | 画像処理装置および画像処理方法 |
| JP4093621B2 (ja) * | 1997-12-25 | 2008-06-04 | ソニー株式会社 | 画像変換装置および画像変換方法、並びに学習装置および学習方法 |
| JP4158232B2 (ja) * | 1998-07-23 | 2008-10-01 | ソニー株式会社 | 画像情報変換装置および画像表示装置 |
| JP4147632B2 (ja) * | 1998-08-24 | 2008-09-10 | ソニー株式会社 | 画像情報変換装置、画像情報変換方法、およびテレビジョン受像機 |
| JP4140091B2 (ja) * | 1998-09-14 | 2008-08-27 | ソニー株式会社 | 画像情報変換装置および画像情報変換方法 |
| JP4135229B2 (ja) * | 1998-09-29 | 2008-08-20 | ソニー株式会社 | 映像信号の変換装置および変換方法、並びにそれを使用した画像表示装置およびテレビ受信機 |
| EP1037471B1 (en) * | 1998-10-05 | 2012-02-08 | Sony Corporation | Image transform device and method and recording medium |
| US6307560B1 (en) * | 1999-02-12 | 2001-10-23 | Sony Corporation | Classified adaptive spatio-temporal format conversion method and apparatus |
| US6377307B1 (en) * | 1999-05-27 | 2002-04-23 | Pioneer Corporation | Line interpolation apparatus and video signal conversion device |
| US20040128391A1 (en) * | 2002-12-31 | 2004-07-01 | Robert Patzer | Method and system for managing a validity period in association with a presence attribute |
-
2000
- 2000-04-21 KR KR1020007014644A patent/KR100730499B1/ko not_active IP Right Cessation
- 2000-04-21 EP EP00917418A patent/EP1111918B1/en not_active Expired - Lifetime
- 2000-04-21 US US09/720,348 patent/US6646684B1/en not_active Expired - Fee Related
- 2000-04-21 DE DE60041114T patent/DE60041114D1/de not_active Expired - Lifetime
- 2000-04-21 JP JP2000614655A patent/JP4470323B2/ja not_active Expired - Fee Related
- 2000-04-21 WO PCT/JP2000/002636 patent/WO2000065830A1/ja active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| KR20010034918A (ko) | 2001-04-25 |
| KR100730499B1 (ko) | 2007-06-22 |
| US6646684B1 (en) | 2003-11-11 |
| EP1111918A1 (en) | 2001-06-27 |
| EP1111918B1 (en) | 2008-12-17 |
| EP1111918A4 (en) | 2005-09-14 |
| WO2000065830A1 (fr) | 2000-11-02 |
| DE60041114D1 (de) | 2009-01-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4158232B2 (ja) | 画像情報変換装置および画像表示装置 | |
| JP2533393B2 (ja) | Ｎｔｓｃ―ｈｄコンバ―タ | |
| US6690427B2 (en) | Method and system for de-interlacing/re-interlacing video on a display device on a computer system during operation thereof | |
| US6118488A (en) | Method and apparatus for adaptive edge-based scan line interpolation using 1-D pixel array motion detection | |
| JP3855761B2 (ja) | 画像信号処理装置及び方法 | |
| JP4147632B2 (ja) | 画像情報変換装置、画像情報変換方法、およびテレビジョン受像機 | |
| JP4131048B2 (ja) | 画像情報変換装置、変換方法および画像表示装置 | |
| JP3596520B2 (ja) | 画像信号処理装置及び方法 | |
| JP4470323B2 (ja) | 画像変換装置および方法 | |
| JP2000078539A (ja) | 動き判定装置、その方法および画像情報変換装置 | |
| JPH10191268A (ja) | 映像信号処理装置および処理方法 | |
| JP4470324B2 (ja) | 画像信号変換装置および方法 | |
| JP4078719B2 (ja) | 画像情報変換装置、変換方法および画像表示装置 | |
| JP4140091B2 (ja) | 画像情報変換装置および画像情報変換方法 | |
| JP4174891B2 (ja) | 画像情報変換装置および方法 | |
| JP4847688B2 (ja) | インターレース−プログレッシブ変換器及びその変換方法 | |
| JP4154768B2 (ja) | 画像情報変換装置および画像表示装置 | |
| JP4099555B2 (ja) | 画像情報変換装置 | |
| US7880784B2 (en) | Arrangement for generating a 3D video signal | |
| JPH0693773B2 (ja) | 走査線数の拡大方法 | |
| JP4123587B2 (ja) | 画像情報処理装置および方法 | |
| JP3800638B2 (ja) | 画像情報変換装置および方法 | |
| JP4310847B2 (ja) | 画像情報変換装置および変換方法 | |
| JP3480011B2 (ja) | 画像情報変換装置 | |
| JPS6314587A (ja) | テレビジヨン伝送方式 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070219 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100209 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100222 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130312 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130312 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140312 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |