JP4563030B2 - ワンパスで複数の出力画像を提供するための信号処理装置 - Google Patents

ワンパスで複数の出力画像を提供するための信号処理装置 Download PDF

Info

Publication number
JP4563030B2
JP4563030B2 JP2003546567A JP2003546567A JP4563030B2 JP 4563030 B2 JP4563030 B2 JP 4563030B2 JP 2003546567 A JP2003546567 A JP 2003546567A JP 2003546567 A JP2003546567 A JP 2003546567A JP 4563030 B2 JP4563030 B2 JP 4563030B2
Authority
JP
Japan
Prior art keywords
data
signal processing
processing device
image
circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003546567A
Other languages
English (en)
Other versions
JP2005510188A (ja
Inventor
カー リーメンス,アブラハム
アー フィセルス,コルネリス
イェー スヒュテン,ローベルト
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NXP BV
Original Assignee
NXP BV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=8181294&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP4563030(B2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by NXP BV filed Critical NXP BV
Publication of JP2005510188A publication Critical patent/JP2005510188A/ja
Application granted granted Critical
Publication of JP4563030B2 publication Critical patent/JP4563030B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012Conversion between an interlaced and a progressive signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • H04N5/145Movement estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Television Systems (AREA)

Description

本発明は、インターレース映像信号の入力画像を処理することにより複数の出力画像を提供するための信号処理装置であって、時間的補間回路とその時間的補間回路に接続されるメモリバッファとを有する、信号処理装置に関する。そのような信号処理装置は、映像または映画モードへのインターレース映像信号の動き補間走査レート変換に適用されることが可能である。
米国特許第6041078号明細書において、ビット一致化動き推定を簡単化するための方法が開示されている。動き推定方法の一部、即ちブロック一致段階(基準フレームの画素ブロックと前のフレームの探索ブロックに対する絶対差の合計を計算する)に対する性能要求は、単一のビット画素値へのフレームのマルチビット画素値の最初の変換により簡単化される。それは、動き推定方法のブロック一致段階に対して必要である計算を著しく減少させる。また、それは、基準フレームの全ての画像ブロックとの比較するために前のフレームの探索領域を検索することに対する帯域の要求を減少させる。その結果、提供されるシステムは、より高い性能を有し、またはより高品質の画像をもたらす。
しかしながら、上記の方法においては、重要な画像処理の段階の前に画像情報が抜かされ、その結果、画像品質は悪影響を及ぼされることとなる。
本発明は、先行技術のシステムを凌駕する効率の改善を有する映像モードまたは映画モードへのインターレース映像信号の動き補間走査レート変換のための方法およびシステムを提供することに努める。
従って、本発明は、上記で規定した種類の信号処理装置であって、メモリバッファが少なくとも前の入力画像と現時点の画像との一部を記憶するために配置され、時間的補間回路が、メモリバッファから少なくとも前の入力画像と現時点の入力画像を受けるため、および前の入力画像の時間的な位置と現時点の入力画像の時間的な位置との間の時間的な位置における複数のインターレースフレームデータまたはデインターレースフレームデータを提供するために配置される、信号処理装置を提供する。
完全な入力画像または入力画像のほんの一部をメモリバッファに記憶することが可能である。本発明の信号処理装置は、メモリバッファに記憶されたデータを用いて、前の入力画像と現時点の入力画像との間の時間的な位置において複数の出力画像を生成することを可能にする。それ故、出力画像が生成される度の時間的補間のために要求されるデータをロードを必要としない。時間的補間は当該技術分野においては周知の技術である、当業者は、そのような機能のための種々の補間スキームについて周知である。多くの既知の補間技術は、前の画像と現時点の画像の動き補償画像画素と非動き補償画像画素の両方を必要とする。
他の実施形態においては、信号処理装置はメモリバッファに接続されるデインターレース回路をさらに有し、デインターレース回路はメモリバッファから少なくとも前の画像と現時点の画像とを受け且つ現時点の画像の時間的位置にプログレッシブ画像データを提供し、時間的補間回路は現時点の入力画像としてデインターレース回路からプログレッシブ画像データを受ける。デインターレース回路からの出力は、時間的補間回路に直接にまたは間接に供給される(中間記憶手段を用いて)ことが可能である。デインターレースは当該技術分野において周知の技術であり、当業者は、そのような機能のための種々の実行スキームについて周知している。デインターレース回路の出力は現時点の入力画像として時間的補間回路により用いられるため、そのデータに対して付加的なメモリ領域は必要ない。それ故、本発明のこの実施形態は、メモリ空間を殆ど必要としない信号処理装置を提供する。信号処理装置がシリコンチップとして実施されるとき、この実施形態において必要とするシリコンの面積はより小さくなる。
上記の実施形態に従った信号処理装置は、実施において、全ての所定の出力画像に対して1度、および全ての入力画像に対して1度、アクティブにされる。それ故、データハイウェイの帯域の要求に関して改善に達することはない。従って、他の実施形態においては、信号処理装置は、回帰データを記憶するためのローカルバッファをさらに有し、回帰データはデインターレース回路により出力され、時間的補間回路はローカルバッファから回帰データを取り出すためにさらに配置され且つ非動き補償データとしてこのデータを用いる。動きベクトルが2x2画素ブロックに対して有効である場合、理論的最小として、ローカルバッファはそのような2x2画素ブロックを記憶するために配置される。画像における特定位置のためにデインターレース回路による回帰データ出力は時間的補間回路に要求される非動き補償データに等しいため、これらのデータは際しようされることができ、記憶メモリからこれらのデータを再び取り出す必要を予め防ぎ、同じデータを再びデインターレースすることを回避する。
他の実施形態においては、時間的補間回路は多重化方式で動作される。タ入力画像シーケンス(例えば、輝度信号およびクロミナンス信号または2つの異なる映像信号)は画像毎に処理されることが可能である。
また、デインターレース回路および時間的補間回路は両方共、多重方式で動作されることが可能であり、デインターレース回路は入力画像の時間的位置において回帰出力を得るために実行され、デインターレース回路および時間的補間回路は少なくともローカルバッファからの回帰データを用いて時間的に補間された出力データを得るために実行される。この実施形態は、信号処理装置により受けられる同じ入力データを用いて、多入力画像ストリームのために多出力画像を生成することを可能にする。
前の画像は、信号処理装置の前の実行において得られたプログレッシブ画像であることが可能である。デインターレース回路の機能の特定な実施においては、回帰アルゴリズムを適用し、前の補間された入力画像の代わりに前のプログレッシブ入力画像を必要とする。その代わりとして、回帰出力画像が実際に必要とされないとき、その出力は無効となる。この場合、メモリバッファは、前の入力画像と現時点の入力画像とで満たされ、回帰デインターレーサはトランスバーサルデインターレーサにより置き換えられる。この場合、画像品質は劣化することとなるが、帯域の要求において著しい節約が達成できる。全体的には、回帰出力を無効にする可能性は、帯域のスケーラビリティを有するシステムに適切な劣化を提供する。
好適には、メモリバッファは、少なくとも1つの画像ブロックであって、例えば、8x8画素ブロックを含み、少なくとも前の画像と現時点の画像のための動きベクトルにおいてアクセス可能である画像領域を取り囲む、画像データを記憶するために配置される。メモリバッファは、他の信号処理装置回路により容易なメモリのアクセスを可能にする前の画像および現時点の画像のための分離した物理メモリとして実施されることが可能である。
本発明は、好適には、24Hz乃至60Hz、25Hz乃至50Hz、25Hz乃至100Hzおよび50Hz乃至100Hzの群の1つである時間的補間回路のための画像レート変換を出力するために、入力画像レートに適用されることが可能である。一般に、これらは、例えば、テレビシステムにおける変換に用いられる。また、60Hz、72Hz、85Hzプログレッシブの周波数のいずれにおいて動作するコンピュータスクリーンに映像信号が入力(50Hzインターレース、25Hzプログレッシブ/60Hzインターレース、24Hzプログレッシブ)および出力されることが可能である、パーソナルコンピュータのような他のアプリケーションが存在する。
他の実施形態においては、信号処理装置は時間的ノイズ削減回路をさらに有し、動き補償時間的ノイズ削減を伴う出力を提供するために、デインターレース回路およびメモリバッファからデータを受ける。この時間的ノイズ削減回路は、デインターレース回路の下流に含まれるため、消費される付加的なデータハイウェイ帯域はない。
比較可能な方式で、信号処理装置は、垂直フィルタリング回路をさらに有し、垂直方向の帯域制限インターレース信号をもつ出力または拡張された垂直方向の寸法をもつ出力を提供するために時間的補間回路からデータを受ける。この垂直フィルタリング回路は、例えば、データハイウェイの帯域についてのさらなる付加的な要求を再び伴うことなく、映像信号のサンプリンググリッドを変化させることを可能にする。
本発明の他の実施形態においては、インターレース映像信号は輝度データおよび/またはクロミナンスデータを有し、信号処理装置は、全ての画像のための輝度データおよび/またはクロミナンスデータに関して連続的に動作される。動作のために、次いで、信号処理装置は、2回実行され、1回は輝度データ処理のためであり、1回はクロミナンスデータ処理のためである。これは、オンチップロジックおよびバッファを再び用い、ただ1つのハードウェアを用い、映像信号の輝度部分およびクロミナンス部分両方のための入力映像信号
において動き補償機能を実行することを可能にする。
本発明に従った信号処理装置は、前の入力画像と現時点の入力画像とを用いて、動きベクトルを計算するために動き推定回路を備えることが可能である。前の入力画像および現時点の入力画像と、前に記憶された動きベクトルとを用いて、動き推定回路は新しい動きベクトルを計算することができる。このように、本発明の装置は、同じオンチップバッファおよびロジックの一部を再び用いて、動き推定または動き補償のどちらかを実行することが可能である(バックグラウンドメモリから画像データをアドレスし、ロードする)。
入力データを処理するためにそのような装置を用いることは、動きベクトルを決定するための第1の実行、輝度信号を処理するための第2の実行およびクロミナンス信号を処理するための第3の実行を有することが可能であり、所望の出力画像を計算するために第2の実行および第3の実行の前に第1の実行を行う。これは、本発明の装置を動作させる、非常に効率的な粗い利得多重化方式である。
また、本発明の装置は、時間多重化方式で、各々の力データストリームの各々の画像のために装置のサイクルを実行することにより、多入力データストリームを処理するために用いられることが可能である。この装置は、周期間のいずれの状態を伴うことなく、単一周期で実行されるため、複数のデータストリームを処理することが可能である。例えば、本発明の装置を用いて、1フィールド時間内に、6つのサイクルを実行することが可能であり、それらのサイクルは、動き推定−ストリーム1、動き補償輝度−ストリーム1、動き補償クロミナンス−ストリーム1、動き推定−ストリーム2、動き補償輝度−ストリーム2、動き補償クロミナンス−ストリーム2である。唯一の制限は、動き推定が画像に関連する動き補償の前に実行されることである。
図1に、種々の画像および機能ブロックをそれらの関連において示している。本発明の方法およびシステムのための入力信号は、図1の上部に示した前の入力画像11および現時点の入力画像12のようなインターレース入力画像である。前の入力画像11および現時点の入力画像12は、それぞれ、映像画像の奇数ラインまたは偶数ラインである1つの画像フィールドの画像情報を有する。中間部においては、前のプログレッシブ画像13および現時点のプログレッシブ画像14を有する、プログレッシブ中間画像を示している。プログレッシブ中間画像は、映像画像またはフレーム(非インターレース)の全てのラインの画像情報を有する。重要な機能は、動き推定器(ME)16により実行される。動き推定器16は、前の画像と現時点の画像を用いて、動きベクトルを計算する。示した実施形態において、動き推定器は、動きベクトルを生成するために前のプログレッシブ画像13および現時点の入力画像12を用いる。動き推定関数は、当業者に周知の方法であり、本発明に照らしてさらに説明する必要はない。参照文献としては、例えば、G.de Haanによる‘IC for motion−compensated de−interlacing, noise reduction and picture rate conversion’,IEEE Transaction on Cinsumer Electronics, Vol.45,No.3,August 1999がある。
デインターレーシング機能(DEI)17は、インターレース画像12をプログレッシブ画像14に変換する。例えば、50Hzのインターレース信号(各々、画像の偶数ラインのみまたは奇数ラインを有する、1秒当たり50フィールドを有する)は50Hzのプログレッシブ信号(画像の全てのラインを有するフレームを有する)に変換される。デインターレーシング関数17は、動き推定器16として入力のために同じ画像を使用し、また、動き推定器16により出力として動きベクトルを用いる。デインターレーシングは回帰関数であり、前の画像におけるデインターレース動作の現時点のプログレッシブ画像出力である、前に計算されたプログレッシブ画像13を用いる。
時間的補間関数18(または、アップコンバージョンと呼ばれる)は、時間的補間画像15を計算するために2つの中間画像13、14と動きベクトルを用いる。この機能のための主なアプリケーションは、例えば、50Hzの映像信号を100Hzの映像信号に変換することである。
図2においては、複数の機能により用いられる共有メモリを用いて、システムの概念に基づく動き補償機能の簡単な実施を示している。このシステムは、画像毎に基づいて同期を実行し、それ故、選択される順序に拘りなく、完全な画像フレーム時間(代表的には、20ミリ秒)を必要な計算を実行するために利用することが可能である。メモリ20(例えば、ランダムアクセスメモリ(RAM))においては、全ての画像メモリが記憶される。また、動き推定器16により計算される動きベクトルはこのメモリ20に記憶される。データハイウェイ(HWY)19は中央システムバスであり、メモリ20と他の機能回路またはブロック17、18との間の全ての通信を可能にする。本発明の装置は、装置を制御し且つメモリ20におよびメモリ20からのデータの流れを管理するためにデータハイウェイ19に接続されるプロセッサユニット(図示せず)を有することが可能である大きい装置の一部であることが、当業者には明らかであろう。デインターレース回路17は、入力(代表的には、前のデインターレース画像13と現時点の入力画像12であるが、次の画像(図示せず)を加えることが可能である)として複数の画像を受け、現時点の入力画像12の時間的位置にプログレッシブ画像14を出力する。デインターレース回路17の分解図は、入力画像12,13各々に対して1つである、ローカル探索領域21、22(mem)を示している。これらの探索領域はメモリバッファとして実行されることが可能であり、各々の探索領域は、非常に高い帯域における完全にランダムなアクセスを容易にするために、入力画像12、13の一部のコピーを有する。従って、必要な動き補償データはアクセスされることができる。
図3の上部において、出インターレーシング回路17により用いられる画像を示している。現時点の入力画像12および前の入力画像13からのデータが必要である。前の入力画像13は、動きベクトル
(外1)
Figure 0004563030
によりアクセスされることが可能である。
図2を再び参照するに、アップコンバータ回路18を制御値Tposと共に示している。アップコンバータ回路18は2つのプログレッシブ画像13、14であり、出力はTposにおける時間的補間画像である。Tposは2つの入力画像13、14関連する出力画像15の時間的位置を示す。アップコンバータ回路18の分解図は、デインターレース回路17におけるように、同様なローカル探索領域23、24を示している。データアクセスは異なっている。最もよく知られているアップコンバータアルゴリズムは、両方の入力画像13、14からの動き補償データと非動き補償データの両方を用いる。図3において、アップコンバータ回路18のための入力データを示している。先ず、動きベクトル
(外2)
Figure 0004563030
を時間的位置Tposに従って分割する。前のプログレッシブ画像13と現時点のプログレッシブ画像14の両方からの動き補償データを用いる。また、両方の画像の非動き補償データを用いる。
各々の入力画像13、12に対して1つの探索領域が存在する。各々の探索領域は、最大ベクトル領域を用いてアクセスされることができる周囲の画像データ全てをもつ少なくとも1つの現時点のブロック(代表的には、フレームグリッドにおいてカウントされる8x8画素)を有する。図2に示すシステムにおいては、先ず、デインターレーシング回路17をアクティブにする。この結果、メモリ20に記憶される中間プログレッシブ画像14がもたらされる。中間プログレッシブ画像14は、回帰デインターレースループのために、そしてアップコンバージョン回路18のための入力として用いられる。デインターレーシングが終了した後、アップコンバージョン回路18は、必要とされる各々の出力画像15のためにアクティブにされる。
表1においては、データハイウェイ19の帯域の計算結果を示している。この表は、50Hzのインターレース入力の100Hzのインターレース出力への変換に対して有効である。
Figure 0004563030
従って、分離回路としてのデインターレーシング機能とアップコンバージョン回路との実行は、ハイウェイ19の過剰な帯域要求をもたらすことが理解できる。
図4に示すような本発明の第1実施形態においては、装置は、ハイウェイ19によりメモリ20と通信する信号処理装置として、1つの動き補償ブロック25を用いるのみである。動き補償ブロック25はデインターレーシング回路とアップコンバージョン回路18とを有する。しかしながら、この実施形態においては、デインターレーシング回路17からの出力データはアップコンバージョン回路18に直接渡される。これは、前のプログレッシブ画像13と現時点の入力画像12とを記憶するために2つの探索領域(mem)26、27のみを有することが可能である。
この実施形態は、動き補償ブロック25のためにバッファまたはメモリ空間をあまり必要としない上記のシステムにおいて優位性を有する。この結果、動き補償ブロック25のハードウェアの実行のためにはあまりシリコン領域を必要としないこととなる。
しかしながら、動き補償ブロック25は、全ての出力画像15のために1度だけアクティブにされる必要がある。回帰デインターレーシング関数を可能にするために、ハードウェアブロックはまた、全ての入力画像12のために(現時点の画像値1におけるTposを用いて)実行される必要がある。代表的な入力から出力までの画像レートは、24−>60、25−>50、25−>100および50−>100であるため、動き補償ブロック25は、同じ入力画像12において数回実行される必要がある。図4の実施形態のための帯域要求の計算により表2に示すような結果が得られる。
Figure 0004563030
図5に示す本発明に従った第2実施形態においては、同じ入力データを用いて複数の出力画像を生成することができる方法で、回路の一部は再び使用され、他の一部は微粒子多重化される。また、より拡張された動き補償ブロック30の形式の信号処理装置はハイウェイ19を経由してメモリ20に接続する。ローカル探索領域(mem)(およびそれらの関連するアドレシングロジック)は、出インターレーシング機能17およびアップ間バージョン機能18とのために再び使用される。デインターレーシング機能17とアップコンバージョン機能18とは多重化される。この多重化は探索領域26、27のコンテンツに等しいかまたはそれより小さいデータ粒状感において実行される必要があることを述べておく必要がある。
出インターレーシング機能のような回帰アルゴリズムは、回路入力画像12と同じ時間的位置において出力画像を必要とする。ときどき、操作レート変換機能は、表示出力としてこの時間的位置を必要としない。それ故、特定の回帰出力画像を適用することができ、その結果、回帰出力画像と、1つまたはそれ以上の表示出力との間の区別が可能となる。
回帰出力画像のために計算されるデータは、アップコンバージョン機能のために必要とされる非動き補償データと同等である。それ故、このデータは、多重化の次の段階においてバッファリングされ且つ再び用いられることが可能である。これは、ほんの小さいバッファ(動きベクトルが2x2画素ブロックに有効であるとき、理論的最小は2x2画素ブロックである)のみを必要とする。
動き補償ブロック25の分解図において、2つの探索領域(mem)26および27は、入力画像13、12の関連データ、即ち、動きベクトルにおいてアクセス可能である周囲の画像領域を伴う現時点の位置を記憶するために用いられる。一旦、このデータがロードされると、動き補償ブロックの他の部分は、必要とされる全ての出力画像の現時点の一を生成するために、複数回、アクティブにされることが可能である。
参照文字Aをもつブロックの一部のみが、回帰出力画像14を計算するために実行される。動き補償ブロック25は、計算された回帰画像が記憶される付加的なローカルバッファ33を有する。回帰出力画像14に対しては、Tposの値は1とされる(現時点の画像の位置)。
表示出力dp1、dp2の計算のために、両方の部分AおよびBが実行され、バッファ33のみが読み出される。2つの表示出力dp1、dp2(または、表示パイプ)を有することにより、入力画像レートである出力画像レートを、1度または2度、得ることが可能である。他の因子が必要である(3または4でさえ)とき、本発明の装置は、他の多数の表示パイプを備えるために適合されることができることが理解されるであろう。
表3は、表1および2におけるように比較可能な方式で、図5の実施形態のための帯域の計算を示している。
Figure 0004563030
表3から理解できるように、帯域の節約は、理論的最小の場合について、300/140の率である。
図5に示している実施形態においては、付加的なハイウェイ帯域の消費を伴うことなく、プログレッシブ領域に付加的処理を付加することができる。動き補償時間的ノイズの減少34(TNR)は、そのような処理の例である。
また、表示出力dp1、dp2は、アップコンバージョン機能のプログレッシブ出力から垂直方向の帯域が制限されたインターレース信号を出力するために、例えば、縦方向のフィルタリング35(VPR)のような付加的な後処理機能を有することが可能である。
表示出力dp1、dp2は回帰ループから独立しているため、サンプリンググリッドは、この機能を用いて変化されることが可能である。また、垂直方向のフィルタリングは、垂直方向に画像をスケーリングするために用いられることが可能である。
回帰出力画像は特定のアプリケーションにおいてはその機能を無効にする。これは、回帰出力画像がメモリ20において記憶される必要がないように、付加的な帯域を節約する。しかしながら、そのようなアプリケーションにおいては、前のメモリバッファ26は、前の回帰出力画像の代わりに前の入力画像を用いて満たされる。この場合、回帰デインターレース回路は、画像品質を低減するトランスバーサルデインターレース回路として機能する必要がある。しかしながら、この実施形態は、画像品質の適切な劣化を伴う帯域スケーラビリティを可能にする。特に、1つの共通バックグラウンドメモリ20を使用する多機能を有するシステムにおいては、この実施形態は、本発明の装置のアプリケーションの自由度と範囲をエンハンスすることができる。
この入力映像システムは、同じ画像シーケンスの輝度およびクロミナンス信号のような多重化ストリームとすることが可能である。それ故、本発明の装置30は、粗い利得多重化モードにおいて用いられることが可能である。本発明の装置30は、2度、アクティブにされることができ、1度は輝度データに対してであり、他の1度はクロミナンスデータに対してである。この優位性は、1つのハードウェア(装置30)を、輝度およびクロミナンス信号の両方を非常に効率的に処理するために用いることができることである。
他の実施形態においては、動き推定機能を、例えば、動き推定回路16を導入することにより、信号処理装置30に付加することが可能である。これは、動き推定または動き補償のどちらかを実行するために1つのハードウェアを用いることを可能にし、同じローカルオンボードバッファを再び用いることを可能にする。勿論、動き推定および動き補償は実行するために異なる回路を必要とするが、バックグラウンドメモリ20からの画像データのアドレッシングおよびローディングは類似している。動き推定回路16は、前の画像および現時点の画像と、前に計算された(および記憶された)動きベクトルとを必要とする。その結果、当たらし動きベクトルが出力される。
それ故、粗い利得多重化モードにおいては、本発明の装置30は、3サイクル、即ち動
き推定、輝度データに関する動き補償およびクロミナンスデータに関する動き補償で動作することが可能である。これは、異なる映像信号が本発明の信号処理装置により処理される他の多重化モードにおいて適用されるさえ可能である。それ故、1フィールド時間(代表的には20ミリ秒)における2データストリームの処理は、本発明の装置30を6回アクティブにすること(または、サイクル)、即ち、ME−1、MC−Y−1、MC−UV−1、ME−2、MC−Y−2、MC−UV−2を必要とする。そのデータストリームのための動き補償の前に特定データストリームのための動き推定が生じることが唯一の制約である。これは、本発明の装置30が分離した実施(または、サイクル)の間のいずれの状態をも必要としないために、可能である。
当業者にとって、本発明の範囲から逸脱することなく、種々の変更および修正を施すことが可能であることは明白である。例えば、第3の探索領域は、デインターレーシング計算およびアップコンバージョン計算において次の画像を含むことがまた可能である各々の実施形態に含まれることが可能である。
本発明で用いる種々の入力画像および出力画像を示す模式的図である。 デインターレース画像および時間的補間画像を実現するための動き補償機能 の実行を示す模式図である。 図2のシステムに従った種々の入力画像および出力画像を示す図である。 本発明の第1実施形態の模式図である。 本発明の第2実施形態の模式図である。

Claims (11)

  1. インターレース映像信号の入力画像を処理することにより複数の出力画像を提供するための信号処理デバイスであって:
    時間的補間回路;並びに
    前記時間的補間回路に接続される第1のメモリバッファ及び第2のメモリバッファ;
    を有し、
    前記第1のメモリバッファは少なくともプログレッシブの前の入力画像の一部を記憶するために、前記第2のメモリバッファはインターレースの現時点の入力画像の一部を記憶するために配置され、少なくとも前記前の入力画像及び前記現時点の入力画像のための動きベクトルを介してアクセス可能である、1つの画像ブロック及び画像領域を取り囲む探索領域を備え、
    さらに、前記第1及び第2のメモリバッファに接続され、前記第1のメモリバッファから少なくとも前記前の入力画像のデータと前記第2のメモリバッファから前記現時点の入力画像のデータとを受けて、前記現時点の入力画像の時間的位置においてプログレッシブ画像データを提供するために配置されるデインターレース回路を有し、
    さらに、前記デインターレース回路により出力され、前記現時点の入力画像のプログレッシブ画像データを含む回帰データを記憶するための、前記デインターレー回路に接続するローカルバッファを有し、
    前記時間的補間回路は、前記第1のメモリバッファ、前記デインターレース回路及び前記ローカルバッファと接続し、該第1のメモリバッファから少なくとも前記前の入力画像のデータの動き補償データ及び非動き補償データと、該デインターレース回路から前記現時点の入力画像の前記プログレッシブ画像データの動き補償データと、該ローカルバッファから前記現時点の入力画像の前記プログレッシブ画像データの非動き補償データとを受けて、前記前の入力画像の時間的位置と前記現時点の入力画像の時間的位置との間の時間的位置において、複数のインターレースフレームデータ又はデインターレースフレームデータを提供し、
    前記デインターレース回路及び前記時間的補間回路は、時分割多重化方式で動作するために配置され、前記探索領域のコンテンツよりも小さいデータ粒度で多重化される、
    ことを特徴とする信号処理デバイス。
  2. 請求項1に記載の信号処理デバイスであって、前記デインターレース回路は前記現時点の入力画像の時間的位置において回帰出力を得るために実行され、前記デインターレース回路と時間的補間回路は前記ローカルバッファから少なくとも前記回帰データを用いて複数の時間的に補間された出力データを得るために実行される、ことを特徴とする信号処理デバイス。
  3. 請求項1又は2に記載の信号処理デバイスであって、前記前の入力画像は前記信号処理デバイスの前の実行において得られたプログレッシブ画像である、ことを特徴とする信号処理デバイス。
  4. 請求項2に記載の信号処理デバイスであって、前記デインターレース回路はトランスバーサルデインターレース機能を実行するために配置され、前記映像信号の前の入力画像および現時点の入力画像を用いる、ことを特徴とする信号処理デバイス。
  5. 請求項1乃至4のいずれか一項に記載の信号処理デバイスであって、前記信号処理デバイスは、動き補償時間的ノイズ削減を伴って出力を提供するために、時間的ノイズ削減回路をさらに有し、前記デインターレース回路および前記メモリバッファからデータを受ける、ことを特徴とする信号処理デバイス。
  6. 請求項1乃至5のいずれか一項に記載の信号処理デバイスであって、前記信号処理デバイスは、縦方向のフィルタリング回路をさらに有し、縦方向の帯域を制限されたインターレース信号をもつ出力またはスケーリングされた縦方向の寸法をもつ出力を提供するために前記時間的補間回路からデータを受ける、ことを特徴とする信号処理デバイス。
  7. 請求項1乃至6のいずれか一項に記載の信号処理デバイスであって、前記インターレース映像信号は輝度データおよび/またはクロミナンスデータを有し、前記信号処理デバイスは全ての画像に対して前記輝度データおよび/またはクロミナンスデータに関して連続的に処理される、ことを特徴とする信号処理デバイス。
  8. 請求項1乃至7のいずれか一項に記載の信号処理デバイスであって、前記前の画像および前記現時点の入力画像を用いて動きベクトルを計算するために動き推定回路をさらに有する、ことを特徴とする信号処理デバイス。
  9. 入力データを処理するための請求項1乃至8のいずれか一項に記載の信号処理デバイスであって、動きベクトルを決定するための第1実行、輝度信号を処理するための第2実行およびクロミナンス信号を処理するための第3実行を使用し、第1実行は所望の出力画像を計算するために第2実行および第3実行の前に実行される、ことを特徴とする信号処理デバイス。
  10. 複数の入力データストリームを処理するための請求項1乃至8のいずれか一項に記載の信号処理デバイスであって、時間多重化方式で前記入力データストリームの各々の画像のための前記信号処理デバイスのサイクルを実行する、ことを特徴とする信号処理デバイス。
  11. 請求項1乃至8のいずれか一項に記載の信号処理デバイスを有する、ことを特徴とするテレビ。
JP2003546567A 2001-11-23 2002-10-28 ワンパスで複数の出力画像を提供するための信号処理装置 Expired - Fee Related JP4563030B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP01204528 2001-11-23
PCT/IB2002/004535 WO2003045055A1 (en) 2001-11-23 2002-10-28 Signal processing device for providing multiple output images in one pass

Publications (2)

Publication Number Publication Date
JP2005510188A JP2005510188A (ja) 2005-04-14
JP4563030B2 true JP4563030B2 (ja) 2010-10-13

Family

ID=8181294

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003546567A Expired - Fee Related JP4563030B2 (ja) 2001-11-23 2002-10-28 ワンパスで複数の出力画像を提供するための信号処理装置

Country Status (7)

Country Link
US (1) US7262807B2 (ja)
EP (1) EP1452018A1 (ja)
JP (1) JP4563030B2 (ja)
KR (1) KR100939156B1 (ja)
CN (1) CN100542256C (ja)
AU (1) AU2002339655A1 (ja)
WO (1) WO2003045055A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050273657A1 (en) * 2004-04-01 2005-12-08 Hiroshi Ichiki Information processing apparatus and method, and recording medium and program for controlling the same
DK1792482T3 (da) * 2004-09-16 2012-12-10 Trident Microsystems Far East Lageroptimering til videobehandling
JP4470898B2 (ja) * 2006-03-16 2010-06-02 ソニー株式会社 画像処理装置および方法、並びに、プログラム
US8218091B2 (en) 2006-04-18 2012-07-10 Marvell World Trade Ltd. Shared memory multi video channel display apparatus and methods
US8264610B2 (en) 2006-04-18 2012-09-11 Marvell World Trade Ltd. Shared memory multi video channel display apparatus and methods
CN101444082B (zh) * 2006-04-18 2012-01-18 马维尔国际贸易有限公司 共享存储器的多视频频道显示装置和方法
US8284322B2 (en) * 2006-04-18 2012-10-09 Marvell World Trade Ltd. Shared memory multi video channel display apparatus and methods
US20080055477A1 (en) * 2006-08-31 2008-03-06 Dongsheng Wu Method and System for Motion Compensated Noise Reduction
WO2008048682A2 (en) * 2006-10-18 2008-04-24 Broadcom Corporation Video processing data provisioning
TWI384865B (zh) * 2009-03-18 2013-02-01 Mstar Semiconductor Inc 影像處理之方法及電路
WO2011071469A1 (en) * 2009-12-09 2011-06-16 Thomson Licensing Phosphor decay based progressive content
WO2011114633A1 (ja) * 2010-03-18 2011-09-22 パナソニック株式会社 映像信号処理装置及び映像信号処理方法
KR101998020B1 (ko) * 2017-04-27 2019-07-08 재단법인대구경북과학기술원 그래프 생성 방법 및 장치
US10593080B2 (en) 2017-04-27 2020-03-17 Daegu Gyeongbuk Institute Of Science And Technology Graph generating method and apparatus

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69618440T2 (de) * 1995-11-01 2002-08-29 Koninkl Philips Electronics Nv Videosignalabtastumsetzung
KR0176568B1 (ko) * 1996-01-27 1999-05-01 김광호 모션과 공간적인 상관도를 이용한 비월순차 변환장치 및 그 방법
US7095445B2 (en) * 2000-12-20 2006-08-22 Samsung Electronics Co., Ltd. Method of detecting motion in an interlaced video sequence based on logical operation on linearly scaled motion information and motion detection apparatus
US6859235B2 (en) * 2001-05-14 2005-02-22 Webtv Networks Inc. Adaptively deinterlacing video on a per pixel basis
US6847405B2 (en) * 2001-09-14 2005-01-25 Sony Corporation Motion-adaptive de-interlacing method and system for digital televisions

Also Published As

Publication number Publication date
JP2005510188A (ja) 2005-04-14
CN1589573A (zh) 2005-03-02
KR20040060986A (ko) 2004-07-06
EP1452018A1 (en) 2004-09-01
KR100939156B1 (ko) 2010-01-28
CN100542256C (zh) 2009-09-16
AU2002339655A1 (en) 2003-06-10
US20050018076A1 (en) 2005-01-27
WO2003045055A1 (en) 2003-05-30
US7262807B2 (en) 2007-08-28

Similar Documents

Publication Publication Date Title
KR100611517B1 (ko) 디지털 신호의 보간 방법 및 시스템
JP4563030B2 (ja) ワンパスで複数の出力画像を提供するための信号処理装置
US6411341B1 (en) Adaptive picture delay
JP2005208613A (ja) 適応型の表示制御装置
JP2005318612A (ja) ブロックモード適応動き補償
JP2004194317A (ja) インターレース解除装置および方法
US9241095B2 (en) Method and system for adaptive temporal interpolation filtering for motion compensation
US7236205B2 (en) Scan line conversion circuit for simultaneously carrying out three-dimensional motion adaptive sequential scan conversion and scan line conversion
JP4322114B2 (ja) 画像プロセッサ及びそのような画像プロセッサを備える画像表示装置
US7187417B2 (en) Video signal processing apparatus that performs frame rate conversion of a video signal
WO2006000977A1 (en) Image processor and image processing method using scan rate conversion
JP4326028B2 (ja) 動き予測方法
JP4791854B2 (ja) 映像処理回路及び映像処理方法
US7268828B2 (en) Television receiver and control method thereof for displaying video signals based on different television modes
JP2000092455A (ja) 画像情報変換装置および画像情報変換方法
JP2005045470A (ja) 映像信号処理装置及び映像信号処理方法
JP2003032636A (ja) 動き補償を用いた主走査変換装置及び主走査変換方法
JP3603393B2 (ja) テレビジョン回路
KR20040105966A (ko) 영상 변환 방법 및 장치
Guo et al. A co-processor architecture for video scan-rate-conversion and spatial/temporal noise reduction
KR100715168B1 (ko) 영상 신호 처리 장치 및 영상 신호 처리 방법
JP4222602B2 (ja) 順次走査変換装置
JP2001189919A (ja) 画像情報変換装置及び画像情報変換方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051025

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20080227

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080305

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080305

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20080804

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081104

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090130

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090206

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090430

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090526

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090826

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100316

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100615

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100706

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100728

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130806

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130806

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130806

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees