JP4548942B2

JP4548942B2 - 分類適応型空間−時間フォーマット変換方法及び装置

Info

Publication number: JP4548942B2
Application number: JP2000599209A
Authority: JP
Inventors: 哲二郎近藤; カリッグ、ジェームズ、ジェー; 浩二太田; フジモリ、ヤスヒロ; ゴーサル、スガタ; 勉渡辺
Original assignee: ソニーエレクトロニクスインク
Priority date: 1999-02-12
Filing date: 2000-02-09
Publication date: 2010-09-22
Anticipated expiration: 2020-02-09
Also published as: WO2000048398A9; EP1151606B1; JP2002537696A; AU2989400A; DE60023114T2; DE60023114D1; EP1151606A1; WO2000048398A1; KR20010101833A; KR100717633B1; US6307560B1; ATE306787T1

Description

【０００１】
本発明の背景技術
１．本発明の技術分野
本発明は、関連付けられたデータをあるフォーマットから別のフォーマットに変換する装置及び方法に関する。詳しくは、本発明は、入力データとは異なる空間的及び時間的座標において画像データを生成する分類適応型フィルタリング技術を用いた装置及び方法に関する。
【０００２】
２．背景技術
多くのアプリケーションにおいて、あるディジタル画像フォーマットを別のフォーマットに変換する必要がある。これらのアプリケーションは、概念の複雑さ及び画質に関して、様々な種類のものがある。最も単純な変換処理の中には、データ点の位置の変更を要求しないものもある。例えば、ＲＢＧフォーマットからＹＵＶフォーマットへの変換処理、及びＧＩＦフォーマットからＪＰＥＧフォーマットへの変換処理は、データ点の位置の変更を必要としない。データ点の数を変更し、又は削減する変換処理は、より困難である。この種の変換処理は、例えば、画像のサイズを縮小する場合などに実行される。ここで、最も複雑な種類の画像変換処理は、新たな時点において、データ点を追加する必要がある変換処理である。この種の変換処理の例としては、例えば、フィルムからビデオフォーマットへの変換、ＰＡＬフォーマットのビデオデータからＮＴＳＣフォーマットのビデオデータへの変換、時間的に圧縮されたデータからフルフレームレートのビデオデータへの変換等が含まれる。
【０００３】
新しい時点にデータ点を生成するための従来の処理としては、サンプルアンドホールド法（sample and hold）、時間的平均化法（temporal averaging）、及びオブジェクトトラッキング法（object tracking）等がある。サンプルアンドホールド法は、出力されるデータ点を最も近い過去の時点から選択する手法である。この手法では、サンプリング点間で適切な時間的距離が維持されないため、生成される動画にがたつき（jerky motion）が生じやすい。
【０００４】
時間的平均化法は、時間的な距離により重み付けされたサンプルを使用する。この技術の主な利点は、不自然ながたつきが生じないということである。この手法における問題点は、時間的な分解能が著しく劣化するという点であり、劣化は、高速に移動するオブジェクトの端部で顕著に現れる。
【０００５】
オブジェクトトラッキング法では、画像内で動いているオブジェクトに動きベクトルを関連付ける。この動きベクトルは、画像フレーム間におけるオブジェクトの位置を推定するために使用される。この手法は、演算処理のためのコストが高く、推定誤差が顕著に現れる場合もあるといった２つの主要な問題点を有している。
【０００６】
発明の開示
分類適応型空間−時間生成処理を用いて、データをあるフォーマットから他のフォーマットに変換する。この処理は、アプリケーション固有の３次元フィルタの組から画素毎に適応的に選択されたフィルタを適用することにより、新たな画素を生成する。
【０００７】
一具体例においては、入力データは、必要に応じて時間的及び空間的にフリップされ、これにより出力データ位置は、各出力データ位置に応じて定義された標準の方向の出力データ位置に配置される。分類は、フリップされた入力データを用いて実行され、この分類に基づいて適切なフィルタが選択される。フィルタはフリップされた入力データに適用され、これにより出力データ位置の値が生成される。
【０００８】
発明の詳細な説明
本発明は、空間−時間分類技術（classified spatio-temporal techniques）を用いたデータの変換処理を提供する。一具体例では、分類適応型空間−時間フォーマット変換処理（classified adaptive spatio-temporal format conversion process）を用いて、あるビデオフォーマットを他のビデオフォーマットに変換する。一具体例では、変換処理は、画素毎に１組の３次元線形フィルタから１つのフィルタを選択し、選択したフィルタをローカルに適用して、出力画素を生成する。一具体例では、フィルタを選択するために、複数のクラスを使用する。一具体例では、時間的及び空間的対称性を利用して必要なフィルタの組の数を削減する。
【０００９】
以下では、本発明を明瞭にするために、説明を目的として、多くの詳細事項について記述する。しかしながら、これらの詳細事項は、本発明を実施するための必要条件ではないことは、当業者にとって明らかである。また、本発明を不必要に不明瞭しないために、ブロック図には周知の電気的構造及び回路を示す。
【００１０】
以下では、ビデオデータを例に本発明を説明する。しかしながら、本発明は、例えばオーディオデータ等を含む様々な種類の関連性を有するデータ（correlated data）に適用することができる。
【００１１】
本発明を適用した装置の具体例をＦＩＧ．１ａに示す。ＦＩＧ．ｌａは、以下に説明する処理に用いることができる回路を単純化して機能的に示すブロック図である。この回路は、例えば大規模集積（ＬＳＩ）論理回路又はプログラマブルゲートアレーのような特別に構成された論理回路により実現してもよい。これに代えて、この回路は、ＦＩＧ．１ｂに示すように、メモリ又は他の記憶素子に格納され、又は伝送媒体を介して供給された命令を実行する特別に構成されたプロセッサ又は汎用のプロセッサにより実行されるコードとして実現してもよい。更に、本発明は、上述した構成の組合せにより実現してもよい。
【００１２】
ＦＩＧ．１ａに示すように、分類回路（classification logic）１０は、入力データストリームを検査し、後続するフィルタ選択及び出力データ生成のために、データを分類する。一具体例において、データは、例えば動きクラス（motion class）と空間クラス（spatial class）等の複数のクラスに基づいて分類される。ここで、例えば時間クラス（temporal class）や空間的活動クラス（spatial activity class）等他のクラスを使用してもよい。
【００１３】
入力データが一旦分類されると、係数メモリ２０及び選択回路２１は、入力データフィルタタップ及び対応するフィルタ係数を選択する。後述するように、フィルタのセットの数は、入出力データの空間的及び時間的な関係を利用することにより削減することができる。また、一具体例においては、選択回路２１は、データ「フリップ（flips）」を実行し、各出力位置について定義された標準の方向（standard orientation）の出力位置に出力データを配置してもよい。説明のため、ここでは、タップ構造は、分類又はフィルタリングの目的で使用される入力データタップの位置を表す。また、データタップは、個々のデータ点、すなわち特定の出力データ点を生成するための分類及びフィルタリングのために集合的に使用される入力データ点を表す。
【００１４】
フィルタ３０は、出力データの生成のために必要な計算を実行する。例えば、一具体例において、フィルタ選択は、出力値を決定するフィルタタップに対応して用いられるフィルタ係数を指示することで行われる。例えば、出力値は以下のようにして決まる。
【００１５】
【数１】

【００１６】
ここで、ｔはフィルタタップの数を表し、ｘ_ｉは入力値を表し、ｗ_ｉは対応するフィルタ係数を表す。
【００１７】
フィルタ係数は、様々な方法によって生成することができる。例えば、係数は、入力データタップと所望の出力データ点との間の空間的及び／又は時間的距離に対応する重みとしてもよい。データの変換に先立って実行されるトレーニング処理により、各クラスに対応するフィルタ係数を生成してもよい。
【００１８】
トレーニング処理は、例えば次のような基準に基づいて実行することができる。
【００１９】
【数２】

【００２０】
ここで、ｍｉｎは最小の関数を表し、Ｘ、Ｗ、Ｙは、例えば次のような行列を表す。なお、Ｘは入力データ行列であり、Ｗは係数行列であり、Ｙは目的のデータ行列（target data matrix）に相当する。行列の具体例を以下に示す。
【００２１】
【数３】

【００２２】
【数４】

【００２３】
【数５】

【００２４】
係数ｗ_ｉはこの基準に基づいて得ることができ、これにより、目的となるデータに関する推定誤差が最小限に抑えられる。
【００２５】
本発明に基づく装置の変形例をＦＩＧ．１ｂに示す。プロセッサ装置５０はプロセッサ５５、メモリ６０、入力回路６５及び出力回路７０を備える。ここに説明する方法は、特別に構成されたプロセッサ又は汎用のプロセッサにより実現してもよい。メモリ６５には命令が格納され、プロセッサ５５は、このメモリ６５にアクセスして、以下に説明する様々な処理ステップを実行する。入力回路６５には入力データストリームが入力され、入力回路６５はこのデータストリームをプロセッサ５５に供給する。出力回路７０は、以下に説明する手法に基づいて変換されたデータを出力する。
【００２６】
本発明に基づく方法は、タップ構造間の空間的及び時間的な対称性を利用して、必要なフィルタの数を削減する分類適応型空間−時間フォーマット変換処理を提供する。
【００２７】
ＦＩＧ．２ａはフォーマット変換処理の一具体例を示すフローチャートである。ＦＩＧ．２に示す処理は、データ変換処理に先行して実行されるが、この処理は、データ変換処理時に実行してもよい。
【００２８】
殆どの画像フォーマットは、一般的に理解されている構造の定義を用いて容易に記述することができる。フォーマットの詳細は、その構造を細かく定義するパラメータによって決定される。例えば、画像要素は、３０Ｈｚ、１ライン当たり７０４画素を有する４８０ラインの順次走査画像（progressive image）と定義され、次にこの画像要素の各構造の詳細が指定される。
【００２９】
入力画像フォーマットがライン数Ｈ_ｉｎ、１ラインの画素数Ｗ_ｉｎ、及びフィールド間の期間Ｔ_ｉｎ秒（fractional seconds）を有するタイプＹの構造であり、出力画像フォーマットがライン数Ｈ_ｏｕｔ、１ラインの画素数Ｗ_ｏｕｔ、及びフィールド間の期間Ｔ_ｏｕｔ秒を有するタイプＺの構造である場合、一般的な変換処理は、以下の式により表すことができる。
Ｚ（Ｈ_ｏｕｔ，Ｗ_ｏｕｔ，Ｔ_ｏｕｔ）＝ｆ［Ｙ（Ｈ_ｉｎ，Ｗ_ｉｎ，Ｔ_ｉｎ）；Δｈ；Δｗ；Δｔ）
ここで、Δｈ、Δｗ及びΔｔは、それぞれ垂直方向、水平方向及び時間的なシフトを表す。
【００３０】
非適応型（non-adaptive）の空間−時間フォーマット変換の場合には、関数ｆ［・］は、１つの３次元線形のフィルタであってもよい。適応型の空間−時間フォーマット変換の場合、関数ｆ［・］は、複数のフィルタのうちの１つを選択的に適用することにより実現される。この場合、フィルタは、画素毎にデータに基づいて選択されるため、この手法は適応型と呼ばれる。分類という用語は、フィルタを選択するための手法（manner）を意味する。
【００３１】
ＦＩＧ．２ａのステップ２１０において、入力データフォーマット及び出力データフォーマットに関する情報が受信される。例えば、入力フォーマットが３０Ｈｚ、１ライン当たり７０４画素を有する２４０ラインの順次走査画像であり、出力フォーマットが６０Ｈｚ、１ラインあたり７０４画素を有する４８０ラインの飛越し走査画像（interlaced image）であるとする。
【００３２】
ステップ２２０において、Δｈ、Δｗ及びΔｔが決定される。入出力フォーマットは、装置の制約により特定され、一方、Δｈ、Δｗ及びΔｔは、通常、変換装置の設計者により特定される。これらの値は、通常、ある種の対称制約（symmetry constraints）を充足させるように選択されなければならない。これらの制約により、使用すべきフィルタ数が最小となり、且つ出力される画質が可能な限り一定に保たれる。使用するフィルタの数を少なくすることにより、製造コストを著しく低減することができる。
【００３３】
全ての画像変換処理において、入力画素数対出力画素数の比率を計算してもよい。この比率は変換処理の詳細を設計する場合における、便宜的な参照値となる。説明のために、ｍ画素の入力に対し、ｎ画素が出力されるとする。この場合、（同じローカル領域から）代表的なｍ個の画素の組を選択した後、設計者は、これに対応するｎ個の出力画素の組を、入力画素の近傍から検出しなくてはならない。出力画素のうちの２つの画素が、基準画素（reference pixel）から同じ空間−時間的距離にある場合、（周辺条件（surrounding conditions）も同一であると仮定すれば）同じフィルタの組を使用することができる。
【００３４】
水平的対称関係、垂直的対称関係、時間的対称関係は、画素間の空間−時間的距離を等化するために使用されるので、これら水平的対称関係、垂直的対称関係、時間的対称関係は、設計における同じフィルタが使用できるという点において、顕著に現れる。ここで、一具体例においては、定義される空間−時間関係の数が最小となり、したがって、必要とされるフィルタの数を制限できるように、これら対称性を用いてオフセット（Δｈ、Δｗ、Δｔ）を選択することが望ましい。
【００３５】
ステップ２３０において、フィルタ選択のための１以上のクラスを決定するためにクラスタップが選択される。説明のため、ここでは、フィルタ選択を目的として入力データを分類するために使用される画素あるいはデータ点をクラスタップと呼ぶ。また、出力データを生成するための後続するフィルタの演算に使用される入力データをフィルタタップと呼ぶ。
【００３６】
一具体例においては、単一の種類のクラスを用いてもよい。これに代えて、組合せの分類（combination classification）を提供するために、複数のクラスを用いてもよい。上述のように、様々な種類の分類を用いてもよい。しかしながら、以下では、動き及び空間の分類のみについて説明する。
【００３７】
動きの分類（Motion classification）は、異なる時点における同一の位置の画素間の相異に基づいて行われる。画像オブジェクトの動きの大きさ、方向あるいは速度は、検討されている出力点の周囲において推定される。すなわち、クラスタップは、２つ以上の時点における画素を包含する。入力データを指示するために使用されるクラス識別子（以下、クラスＩＤという。）の数は、アプリケーションに応じて変更することができる。例えば、動きクラスＩＤ「０」は、動きがないことを示し、また、動きクラスＩＤ「１」は、ハイレベルの動き（high level of motion）を示すとしてもよい。これに代えて、更に細かなレベルで動きを分類し、この分類をフィルタ選択処理において使用してもよい。使用されるクラスタップは、アプリケーションに応じて変更してもよく、画像の動きに関する情報を収集するための様々な方法に基づいて選択してもよい。例えば、最も単純な方法として、第１の期間及び第２の期間からの入力画素を用いて、動きクラスＩＤを決定してもよい。
【００３８】
空間的分類は、空間的及び時間的に出力点を囲む入力点の空間的パターンに関するものである。一具体例では、以下の式に基づいて閾値を算出する。
Ｌ＝ＭＩＮ＋（ＭＡＸ−ＭＩＮ）／２
ここでＭＩＮとＭＡＸは空間タップ値（spatial tap value）から導き出された最小画素値及び最大画素値である。タップの各画素は２進数に対応する。すなわち、画素値がＬより大きい場合は、１に対応し、画素値がＬより小さい場合は、０に対応する。空間的クラスを定義する場合、明るさ（brightness）（１の補数）の対称性を用いて、空間的クラスの数を半分にしてもよい。例えば、空間的クラス００１０１及び１１０１０は同じであるとみなすことができる。
【００３９】
一具体例においては、出力画素毎に動きの分類及び空間の分類を組み合わせて、組合せクラスを決定し、この組合せクラスを特定のクラスタップ構造用のフィルタの組からフィルタを選択するために使用してもよい。例えば、第１の動きレベルが決定されると、空間の分類により、組合せクラスＩＤの第１の組から組合せクラスが選択される。同様に、第２の動きレベルが決定されると、空間の分類により、組合せクラスＩＤの第２の組から組合せクラスが選択される。使用されるクラスタップの数が大きくなることがあるため、ステップ２４０においては、クラスタップを標準の方向（standard orientation）に関連付け、必要なフィルタセットの数を最小化することが望ましい。ステップ２４１においては、空間及び／又は時間のクラスの各組合せに対応するフィルタ係数が決定される。
【００４０】
上述のように、Δｈ、Δｗ、Δｔは、識別された空間的及び／又は時間的差異によりタップ構造が変化する対称性を最大化するように選択する。一旦対称性が識別され、標準の方向に関連づけられると、入力ストリームに対してデータフリップ（data flips）が選択的に実行され、これにより選択されて使用されている標準の方向にデータを調整する。この処理をＦＩＧ．２ｂを用いて説明する。
【００４１】
ステップ２４５においては、入力データストリームが受信される。入力データストリームは、既知又は判定されたフォーマットを有している。同様に、所望の出力フォーマットも既知の又は識別されたものである。このように、出力データ点すなわち画素が定義され、フィルタ選択のために使用されるクラスタップは、標準の方向に対する空間−時間関係を含めて識別される。これにより、ステップ２５０において、タップデータの垂直フリップ、水平フリップ及び／又は時間フリップを含むことができる対応するデータフリップが選択された入力データに対して実行され、分類に使用されるタップデータが生成される。
【００４２】
出力データ点は、ステップ２６０において、画素毎に選択されたフィルタを用いて生成される。この具体例においては、フィルタの選択は、フィルタ係数の選択及び入力データから選択されたフィルタタップデータの選択を含んでいる。ステップ２７０において、入力データが正しく方向付けされると、選択された出力点は、フリップされ、出力データが正しい位置に配置される。
【００４３】
ＦＩＧ．３ａ〜ＦＩＧ．３ｅ及びＦＩＧ．４ａ〜ＦＩＧ．４ｅは、データの変換及び共通のタップ構造を利用して必要なフィルタの組の数を最小にする２つの具体例を説明するための図である。
【００４４】
ＦＩＧ．３ａ〜ＦＩＧ．３ｅは、順次走査入力を有する空間−時間変換装置の具体例における所望の入力と出力の関係を示す。この具体例において、入力データは、順次走査画像からより大きな飛越し走査フォーマットの画像に変換される。１ライン当たりの画素数は、係数２増加され、１フレーム当たりのライン数は、係数２増加され、１秒当たりのフィールド数は、係数２増加されるが、ここでは、順次走査構造を飛越し走査構造に変換するため、１秒当たりのフレームの総数は変更されず、したがって、１画素入力につき４つの出力画素が生成される。上述の式による汎用的な表現を用いると、Ｚは飛越し走査構造であり、Ｙは順次走査構造であり、Ｈ_ｏｕｔ＝２Ｈ_ｉｎであり、Ｗ_ｏｕｔ＝２Ｗ_ｉｎであり、Ｔ_ｏｕｔ＝Ｔ_ｉｎ／２であり、Δｈは画素間の垂直間隔の１／４であり、Δｗは画素間の水平間隔の１／４であり、Δｔ＝Ｔ_ｉｎ／４である。
【００４５】
ＦＩＧ．３ａに示すように、時刻０及び時刻４からのデータは、時刻１及び時刻３における出力データを生成するために使用される。出力点は、入力間において意図的に等間隔に配置されている。これにより、各時刻の出力データの質が同等になるのみではなく、必要とされるフィルタの数を半減させるための時間的対称性が実現される。すなわち、時刻０及び時刻４からの入力が入れ替わった場合、時刻１においてデータを生成するために使用されたフィルタの組と同じフィルタの組を時刻３におけるデータの生成に使用することができる。
【００４６】
同様に、必要なフィルタの数を削減するために、空間的対称性も利用される。この具体例における４つの出力位置は、入力データ点に対する近接関係により定義される。ＦＩＧ．３ｂに示す例では、中央の入力点を基準点として識別し、全てのタップ及びフィルタが本位の位置において適用されると、出力点１が基準となる出力位置として識別される。出力ポイント２は、入力データを水平方向にフリップし、同じフィルタを用いて生成される。出力点３，４は、空間的及び時間的フリップの両方を必要とする。この点については、ＦＩＧ．３ｄ及びＦＩＧ．３ｅに示すタップの具体例により、より明確に理解される。出力点３においては、出力データは入力データより下の位置で、相補的な時刻に発生するため、データを垂直方向に及び時間的にフリップする必要がある。出力点４においては、入力データは、水平方向、垂直方向及び時間的にフリップされる。ＦＩＧ．３ｃは、入力画素と出力画素を空間的及び時間的視点から示す図である。ＦＩＧ．３ｄ及びＦＩＧ．３ｅは、出力１，２，３，４を生成するために使用されるタップ位置を示す図である。
【００４７】
ＦＩＧ．４ａ〜ＦＩＧ．４ｅは、ＦＩＧ．４ａに示すように、飛越し走査データである入力データ及び出力データの具体例を説明するための図である。この具体例においては、１ラインあたりの画素数は、係数２増加される。１フレーム当たりのライン数は、係数２増加される。１秒当たりのフィールド数は、係数２増加される。フォーマットは変更されないため、ＦＩＧ．４ｂに示すように、１つの入力画素につき、８つの出力画素が出力される。この関係は、ＦＩＧ．４ｄ及びＦＩＧ．４ｅに示す総合的視点からの図により最もよく理解される。この図１から明らかなように、時刻１及び時刻５における出力位置は同じであるが、これら出力位置の入力データに対する関係は異なっている。この結果、ａ１〜ａ４及びｂ１〜ｂ４の符号が付された８つの出力モードが実現される（ＦＩＧ．４ｂ参照）。
【００４８】
対称性の状態に関しては、出力位置ａ１〜ａ４における出力データは、全て基準点から同じ空間的及び時間的距離を有し、したがって、ＦＩＧ．４ｄ及びＦＩＧ．４ｅに示すように、同じフィルタの組を共用することができる。同様に、出力位置ｂ１〜ｂ４における出力データは、全て基準点から同じ空間的及び時間的距離を有しており、したがって、他のフィルタの組を用いて、これらの出力データを生成することができる。すなわち、この変換処理においては、互いに素である２つのフィルタの組が必要となる。
【００４９】
本発明を好適な実施の形態を用いて説明した。上述の説明から、様々な変更、修正、変形及び用途が当業者にとって明らかである。
【図面の簡単な説明】
【図１】ＦＩＧ．ｌａは本発明を適用した装置の一具体例を示すブロック図であり、ＦＩＧ．１ｂは本発明を適用した装置の別の具体例を示すブロック図である。
【図２】ＦＩＧ．２ａは、本発明に基づくフォーマット変換処理の一具体例を示すフローチャートである。
【図３】ＦＩＧ．２ｂは本発明に基づく処理の一具体例を示すフローチャートである。
【図４】ＦＩＧ．３ａ、３ｂ、３ｃは、本発明に基づく変換処理の一具体例を説明する図である。
【図５】ＦＩＧ．３ｄは、本発明に基づく変換処理の一具体例を説明する図である。
【図６】ＦＩＧ．３ｅは、本発明に基づく変換処理の一具体例を説明する図である。
【図７】ＦＩＧ．４ａ及び４ｂは、本発明に基づく変換処理の他の具体例を説明する図である。
【図８】ＦＩＧ．４ｃは、本発明に基づく変換処理の他の具体例を説明する図である。
【図９】ＦＩＧ．４ｄは、本発明に基づく変換処理の他の具体例を説明する図である。
【図１０】ＦＩＧ．４ｅは、本発明に基づく変換処理の他の具体例を説明する図である。

Claims

第１の画像フォーマットにおける画素を含んでいる入力データを、第２の画像フォーマットにおける画素を含んでいる出力データに変換するデータ変換方法において、
各出力データ位置に応じて定義される標準の方向を選択するステップと、
上記入力データをフリップし、上記出力データ位置を上記標準の方向の出力位置に配置するステップと、
上記フリップされた入力データの時間的特性、空間的特性、及び、動き特性のうちの少なくとも一つに基づいている分類を、当該フリップされた入力データを用いて行うステップと、
上記分類に基づいて、当該分類のために生成されたフィルタ係数を含んでいるフィルタを選択するステップと、
上記フリップされた入力データに、上記選択されたフィルタのための上記フィルタ係数を適用して、出力データを生成するステップとを有するデータ変換方法。
上記分類を行うステップは、各出力画素に関する分類を行うステップを有し、上記フィルタを選択するステップは、各出力画素の生成のためのフィルタを選択するステップを有することを特徴とする請求項１記載のデータ変換方法。
上記選択されるフィルタは、３次元フィルタであることを特徴とする請求項１記載のデータ変換方法。
上記分類は、動きの分類、空間の分類、及び、動きと空間との組合わせの分類のいずれかから選択されて実行されることを特徴とする請求項１記載のデータ変換方法。
上記入力データは、ビデオデータ及び他の関連データのいずれかから選択されることを特徴とする請求項１記載のデータ変換方法。
第１の画像フォーマットにおける画素を含んでいる関連する入力データを、第２の画像フォーマットにおける画素を含んでいる出力データに変換するデータ変換システムにおいて、
各出力データ位置に応じて定義される標準の方向を選択する選択論理回路と、
上記入力データをフリップし、上記出力データ位置を上記標準の方向の出力位置に配置するフリップ論理回路と、
上記フリップされた入力データの時間的特性、空間的特性、及び、動き特性のうちの少なくとも一つに基づいている分類を、当該フリップされた入力データを用いて行う分類論理回路と、
上記分類論理回路に接続され、当該分類のために生成されたフィルタ係数を含んでいるフィルタを、上記分類に基づいて選択するフィルタ論理回路であって、当該選択されたフィルタのための当該フィルタ係数と当該フリップされた入力データとを用いて出力データを生成するフィルタ論理回路とを備えるデータ変換システム。
上記分類論理回路及びフィルタ論理回路は、ハードワイヤード論理回路及びプロセッサのいずれかから選択されることを特徴とする請求項６記載のデータ変換システム。
上記分類論理回路は、各出力画素に関して分類を行い、上記フィルタ論理回路は、各出力画素の生成のためのフィルタを選択することを特徴とする請求項６記載のデータ変換システム。
上記分類は、動きの分類、空間の分類、及び、動きと空間との組合わせの分類のいずれかから選択されて実行されることを特徴とする請求項６記載のデータ変換システム。
上記入力データは、ビデオデータ及び他の関連データのいずれかから選択されることを特徴とする請求項６記載のデータ変換システム。
第１の画像フォーマットにおける画素を含んでいる入力データを、第２の画像フォーマットにおける画素を含んでいる出力データに変換する命令を有するコンピュータにより読取可能な媒体であって、
処理システムにより実行されて、
各出力データ位置に応じて定義される標準の方向を選択し、
上記入力データをフリップし、上記出力データ位置を上記標準の方向の出力位置に配置し、
上記フリップされた入力データの時間的特性、空間的特性、及び、動き特性のうちの少なくとも一つに基づいている分類を、当該フリップされた入力データを用いて行い、
上記分類に基づいて、当該分類のために生成されたフィルタ係数を含んでいるフィルタを選択し、
上記フリップされた入力データに、上記選択されたフィルタのための上記フィルタ係数を適用して、出力データを生成する命令を有するコンピュータにより読取可能な媒体。
上記分類は、各出力画素に関する分類を含み、上記選択は、各出力画素を生成するためのフィルタの選択を含むことを特徴とする請求項１１記載のコンピュータにより読取可能な媒体。
上記分類は、動きの分類、空間の分類、及び、動きと空間との組合わせの分類のいずれかから選択されて実行されることを特徴とする請求項１１記載のコンピュータにより読取可能な媒体。
上記入力データは、ビデオデータ及び他の関連データのいずれかから選択されることを特徴とする請求項１１記載のコンピュータにより読取可能な媒体。
第１の画像フォーマットにおける画素を含んでいる入力データを、第２の画像フォーマットにおける画素を含んでいる出力データに変換するデータ変換装置において、
各出力データ位置に応じて定義される標準の方向を選択する選択手段と、
上記入力データをフリップし、上記出力データ位置を上記標準の方向の出力位置に配置するフリップ手段と、
上記フリップされた入力データの時間的特性、空間的特性、及び、動き特性のうちの少なくとも一つに基づいている分類を、当該フリップされた入力データを用いて行う分類手段と、
上記分類に基づいて、当該分類のために生成されたフィルタ係数を含んでいるフィルタを選択する選択手段と、
上記フリップされた入力データに、上記選択されたフィルタのための上記フィルタ係数を適用して、出力データを生成するフィルタ適用手段とを備えるデータ変換装置。
上記分類手段は各出力画素に関する分類を行い、上記フィルタ選択手段は、各出力画素を生成するためにフィルタを選択することを特徴とする請求項１５記載のデータ変換装置。