JP4068059B2 - ビデオデータフォーマット変換方法及び装置 - Google Patents

Description

本発明は、テレビジョン番組のデータのフォーマットに関する。詳しくは、本発明は、受信したテレビジョン番組のデータをインタレースフォーマットからプログレッシブフォーマットに変換する技術に関する。更に詳しくは、本発明は、デジタルテレビジョン信号の動き適応デインタレース方法及び装置に関する。

近年の研究及び技術の発展により、社会には広範囲に亘る様々な電子機器が普及している。これらの現代の電子機器の幾つかは、ユーザにとって強力で有用である。このようなカテゴリに分類される電子機器として幾つかの例を挙げれば、広いオフィス空間を占めるコンピュータから人間が携帯できるようなコンピュータ、地球の周りを周回して多数の通信信号を中継する衛星、ユーザが自らの地球上の位置を知ることができるグローバルポジショニングシステム（global positioning system：ＧＰＳ）、ユーザが他のユーザと無線で通信することができる携帯電話等がある。更に、現代における電子機器の一部は、ユーザに娯楽を提供する。例えば、このようなカテゴリに分類される電子機器としては、多岐に亘る様々なオーディオ番組を介してユーザに音楽を提供する携帯型及び据置き型ラジオ受信機、種々の仮想現実の世界における様々な場面をユーザに体感させるビデオゲームコンソール、ユーザに音楽を提供する携帯型及び据置き型コンパクトディスク（compact disc：ＣＤ）プレイヤ、広範囲に亘るビデオ及びオーディオ番組をユーザに提供する携帯型及び据置き型テレビジョン受信機等がある。

テレビジョン番組のコンテンツは、様々な方法で一般ユーザに配信される。例えば、一般ユーザは、同軸ケーブル、衛星放送受信アンテナ（大型又は小型）、アンテナ、ブロードバンドインターネット等を介して、ユーザの家庭及び／又はオフィスに設置されたテレビジョン受信機によってテレビジョン番組のコンテンツを受信することができる。更に、テレビジョン番組は、複数のフォーマットで一般ユーザに放送される。例えば、テレビジョン番組コンテンツの提供業者は、多くの場合、インタレースフォーマットでコンテンツを放送する。このインタレースフォーマットでは、放送業者は、テレビジョン映像コンテンツ（以下、ビデオコンテンツともいう。）の各フレーム（フィールドとも呼ばれる）に関連した全てのデータは伝送しない。すなわち、放送業者は、ビデオコンテンツにおける第１フレームの偶数番号の水平ラインを伝送し、次のフレームについては、奇数番号の水平ラインを伝送する。この方法は、ビデオコンテンツの連続するフレームにおいて、交互に省略された水平ラインを知覚することができないという人間の視覚を利用している。これにより、放送業者は、各ビデオフレームにおいて半分のデータのみを伝送すればよく、伝送帯域幅を節約することができる。

しかしながら、テレビジョン番組のコンテンツをインタレースフォーマットで放送することについては、幾つかの問題がある。例えば、デジタルテレビジョン受信機及び高精細度テレビジョン受信機（high definition television：ＨＤＴＶ）は、始めからインタレースフォーマットのテレビジョン番組を受信し、処理するようには設計されていない。代わりに、デジタルテレビジョン受信機及び高精細度テレビジョン受信機は、プログレッシブフォーマットと呼ばれるフォーマットのテレビジョン番組コンテンツを受信するように計画的に設計され、製造されている。プログレッシブフォーマットでは、インタレースフォーマットと異なり、ビデオビットストリーム内の各ビデオフレームの全てのピクチャデータが送信される。これにより、デジタルテレビジョン及び高精細度テレビジョンは、従来のインタレースフォーマットテレビジョンに比べて、より高い解像度を有する高品質な画像を視聴者に提供することができる。

上述の問題を解決する一解決法として、デジタルテレビジョン受信機及び高精細度テレビジョン受信機を、インタレースフォーマットのテレビジョンコンテンツを受信し、処理できるように変更する手法がある。デジタルテレビジョン受信機及び高精細度テレビジョン受信機によって、インタレースフォーマットのテレビジョンコンテンツを処理できるようにする方法の一例として、これらのテレビジョン受信機のハードウェアによって、各フレームの各受信ラインの画素情報を２倍にし、これによってそのフレームの存在しない（missing）水平ラインを埋めるという方法がある。しかしながら、この解決法には幾つかの問題がある。この方法における主な問題は、得られる画質が、低い解像度であるということである。

上述の問題を解決する他の解決法として、インタレーステレビジョンコンテンツ（interlaced television content）の各フレームの存在しない水平ラインにおいて、元のコンテンツがどのようなものであったかを推定する方法がある。しかしながら、この解決法にも幾つかの問題がある。この解決法における主な問題は、この種の解決法は、通常は実現が複雑であり、したがってデジタルテレビジョン受信機又は高精細度テレビジョン受信機の全体的な製造原価が高くなってしまうということである。

そこで、デジタルテレビジョン受信機及び高精細度テレビジョン受信機において、費用効果に優れ、画像の解像度を高くして、インタレースフォーマットのビデオビットストリームをプログレッシブフォーマットに変換するビデオデータフォーマット変換方法及びビデオデータフォーマット変換装置の実現が望まれている。本発明の目的は、このような要求を満たすビデオデータフォーマット変換方法及びビデオデータフォーマット変換装置を提供することである。

例えば、本発明の一実施例では、インタレースフォーマットのビデオビットストリームをデジタルテレビジョン受信機に表示することができるプログレッシブフォーマットに変換する方法及び装置が提供される。本発明の実施例は、例えば、インタレースビデオビットストリームにおける現在のフィールド（以下、現フィールドという。）、前のフィールド（以下、前フィールドという。）及び後のフィールド（以下、後フィールドという。）の画素を用いて、現フィールドにおける存在しないラインの元のコンテンツがどのようなものであったかを推定する。詳しくは、本発明の実施例は、異なる画素情報の組を用いて、ビデオビットストリーム内に存在する動きの量を推定する。これにより、本発明は、インタレースビデオビットストリームの各フィールドにおける存在しないラインの元の値をより近い値で推定することができる。すなわち、本発明は、デジタルテレビジョン受信機がインタレースビデオビットストリームを受信し、これをプログレッシブフォーマットで表示するためのデインタレース機能を提供する。

他の実施例として、本発明は、インタレースフォーマットのビデオビットストリームをプログレッシブフォーマットのビデオビットストリームに変換するビデオデータフォーマット変換装置を提供する。ビデオデータフォーマット変換装置は、インタレースフォーマットのビデオビットストリームを受信する選局手段を備える。更に、ビデオデータフォーマット変換装置は、ビデオビットストリームにおける現フィールドの画素、前フィールドの画素及び後フィールドの画素を用いて、画素レベル動き強度値を決定するビデオデコード手段を備える。このビデオデコード手段は、ビデオビットストリームにおける前フィールドの第１のマクロブロック及び後フィールドの第２のマクロブロックを用いてマクロブロック動き強度値を決定する。また、ビデオデコード手段は、ビデオビットストリームにおける前フィールドに関する第１の合計画素値と、後フィールドに関する第２の合計画素値とを用いて、包括的動き強度値を決定する。更に、ビデオデコード手段は、前フィール ド、現フィールド及び後フィールドの画素値を、画素レベル動き強度値、マクロブロック動き強度値及び包括的動き強度値の和からなる、時間的補間と空間的補間の重みを変える 総合動き強度で、重み付けて空間的及び時間的に補間することよって、インタレースフォーマットのビデオビットストリームにおける、存在しないラインの存在しない画素の値を決定する。

本発明のこれらの及びこの他の利点は、添付の図面を用いて以下説明する本発明の最良の形態の説明によって当業者に明らかとなる。

以下、本発明の最良の実施の形態を、図面を参照して詳細に説明する。ここでは、本発明を最良の実施の形態を用いて説明するが、本発明は、ここで説明する実施の形態に限定されるものではない。本発明は、特許請求の範囲によって定義される思想及び範囲内に含まれる変形例、変更例、等価物を包含する。更に、以下の本発明の詳細な説明では、本発明を明瞭に説明するために、多くの詳細事項に言及する。しかしながら、本発明がこれらの詳細事項によらずに実現できることは、当業者にとって明らかである。また、本発明の特徴を不必要に曖昧にしないために、周知の方法、手続、コンポーネント、回路については、詳細には説明しない。

表記及び用語
以下の詳細な説明のうちの幾つかの部分は、コンピュータメモリ内のデータビットに対する手続（procedure）、論理ブロック（logic block）、処理（processing）、その他の動作の記号的表記（symbolic representation）として表される。これらの説明及び表記は、データ処理技術分野の技術者が当業者に技術内容を最も効率的に伝えるために用いる手法である。手続、コンピュータにより実行されるステップ、論理ブロック、処理等は、ここでも一般的にも、所望の結果を導く一貫したステップ又は命令のシーケンスであると考えられる。これらのステップは、物理量の物理的処理を必要とするステップである。通常、必ずしもそうではないが、これらの物理量は、コンピュータシステムにおいて記憶、転送、組合せ、比較、その他の処理を行うことができる電気又は磁気信号の形態を有する。場合によっては、主として共通した使用のために、これらの信号をビット（bit）、値（value）、エレメント（element）、記号（symbol）、文字（character）、用語（term）、数字（number）等として表すことが便利である。

なお、これらの用語及び類似した用語は全て、適切な物理量に関連するものであり、単に、これらの物理量に付された便宜的なラベルにすぎない。以下の説明から明らかなように具体的に記述がない限り、本発明では、「判定（determining）」、「受信（receiving）」、「出力（outputting）」、「保存（storing）」、「アクセス（accessing）」、「送信（sending）」、「量子化（quantizing）」等の用語を用いた説明は、データを処理し、変換する民生用電子メディア機器（electronic media device）、又は類似の電子計算装置（例えば、専用又は組込形コンピュータシステム）の動作や処理を表している。データは、民生用電子メディア機器のレジスタ及び／又はメモリ内に物理（電子）量として表され、同様にコンピュータシステムのレジスタ又はメモリ、或いは他の情報記憶装置、伝送装置又は表示装置内に物理量として表される他のデータに変換される。

本発明に基づくデジタルテレビジョン装置の具体例
図１は、本発明の実施例において用いられるデジタルテレビジョン装置１００の具体的構成を示すブロック図である。なお、デジタルテレビジョン装置１００は、デジタルテレビジョン装置に厳密に限定されるものではない。すなわち、本発明は、テレビジョン信号を処理するあらゆる種類の電子メディア機器（例えば、セットトップボックス、デジタルビデオレコーダ等）にも適用することができる。以下の本発明の説明においては、ある種の処理及びステップは、デジタルテレビジョン装置１００の読取可能なメモリユニット内に存在し、デジタルテレビジョン装置１００内のプロセッサによって実行される一連の命令（例えば、ソフトウェアプログラム）として実現される。このような一連の命令が実行されると、デジタルテレビジョン装置１００は、後に詳細に説明するような特定の動作を実行し及び特定の振る舞いを示す。

図１に示すデジタルテレビジョン装置１００は、情報を送受するためのアドレス／データバス１１０（以下、単にバス１１０という。）と、バス１１０に接続され、情報及び命令を処理する１つ以上のプロセッサ１０２とを備える。プロセッサ１０２は、マイクロプロセッサであってもよく、他のいかなる種類のプロセッサであってもよい。デジタルテレビジョン装置１００は、更に、データを記憶する機能、例えば、バス１１０に接続され、プロセッサ１０２用の情報及び命令を記憶する揮発性メモリユニット１０４（例えばランダムアクセスメモリ（以下、ＲＡＭという。）、スタティックＲＡＭ、ダイナミックＲＡＭ等）と、バス１１０に接続され、プロセッサ１０２用の静的な情報及び命令を記憶している不揮発性メモリユニット１０６（例えば、読出専用メモリ（以下、ＲＯＭという。）、プログラマブルＲＯＭ、フラッシュメモリ、ＥＰＲＯＭ、ＥＥＰＲＯＭ等）とを備える。更に、デジタルテレビジョン装置１００は、バス１１０に接続され、情報及び命令を格納する磁気ディスク又は光ディスク及びディスクドライブ等のデータストレージ装置（図示せず）を備えていてもよい。

デジタルテレビジョン装置１００は、更に、バス１１０に接続されたビデオデコーダ１１２を備え、ビデオデコーダ１１２は、ビデオ信号を、例えばバス１２２を介してデジタル表示器１１６（以下、表示器ともいう。）に供給する。なお、デジタル表示器１１６は、フラットパネル液晶表示装置（flat panel liquid crystal display：ＬＣＤ）、陰極線管（cathode ray tube：ＣＲＴ）、電界放出ディスプレイ（field emission display：ＦＥＤ）、プラズマディスプレイ、及びユーザによって視認可能なビデオ及び／又はグラフィック画像を表示するのに適した他のいかなる種類の表示器であってもよい。デジタルテレビジョン装置１００は、更に、バス１１０に接続されたオーディオデコーダ１１４（例えば、サウンドカード）を備え、オーディオデコーダ１１４は、デジタルオーディオ信号を生成し、バス１２４を介して外部スピーカ１１８に供給する。本発明におけるオーディオデコーダ１１４としては、周知の数多くのオーディオデコーダのいずれでも用いることができる。なお、ビデオデコーダ１１２は、バス１１０を介して供給されるビデオ情報を処理し、オーディオデコーダ１１４は、バス１１０を介して供給されるオーディオ情報を処理する。

図１に示すデジタルテレビジョン装置１００は、テレビジョンヘッドエンド放送業者（図示せず）からテレビジョン放送信号１２８を受信する。テレビジョン放送信号１２８は、地上有線（例えば、ケーブルテレビジョン）又は無線伝送機構（例えば、アンテナ、衛星システム等）のいずれによってデジタルテレビジョン装置１００に供給されてもよい。デジタルテレビジョン装置１００は、チューナ１２０によってテレビジョン放送信号１２８を受信し、これを処理する。チューナ１２０は、バス１２６を介して変調器１０８に接続され、変調器１０８は、バス１１０に接続されている。変調器１０８は、バス１２６を 介して供給される信号をアナログ／デジタル変換するとともに、バス１１０へのバスインタフェースとしても機能する。変調器１０８及びチューナ１２０の詳細については、当業者にとって周知であるためここでは詳しくは説明しない。

プロセッサ１０２によるプロセッサ制御の下、チューナ１２０において受信されたテレビジョンオーディオ／ビデオ情報は、バス１１０を介して、ビデオデコーダ１１２及びオーディオデコーダ１１４に供給される。これにより、ビデオデコーダ１１２は、ビデオ信号を処理して、バス１２２を介して表示器１１６に供給し、オーディオデコーダ１１４は、オーディオ信号を処理して、バス１２４を介して外部スピーカ１１８に供給することができる。なお、本発明では、バス１２２とバス１２４は、ビデオデータ及びオーディオデータの両方を伝送する単一のより大容量のバスとして併合してもよい。

本発明に基づく具体的な動作
本発明の実施例は、インタレースフォーマットのビデオビットストリームをデジタルテレビジョン（例えば、デジタルテレビジョン装置１００）によって表示できるプログレッシブフォーマットに変換するための方法及び装置を提供する。具体的には、本発明は、デジタルデジタルテレビジョン装置１００のハードウェア及び／又はソフトウェアとして動作し及び実現することができる。この実施例では、入力インタレースビデオビットストリーム（incoming interlaced video bitstream、例えば、テレビジョン放送信号１２８）における現在のフィールド（以下、現フィールドという。）、前のフィールド（以下、前フィールドという。）及び後のフィールド（以下、後フィールドという。）の画素を用いて、現フィールド（フレームともいう。）における存在しないライン（missing line）の元のコンテンツがどのようなものであったかを決定する。更に、３個の異なる画素情報の組を用いて、入力ビデオビットストリーム内に存在する動きの量を推定することによって、存在しない画素のコンテンツをより正確に決定する。詳しくは、空間軸及び時間軸の両方に関する画素の動的に重み付けされた補間（dynamically weighted interpolation：以下、動的重み付け補間という。）を行うことにより、存在しない画素情報を復元する。更に、ビデオシーケンスにおける動きをより正しく推定するために、前フレームにおけるマクロブロックの直流（direct current：以下、ＤＣという。）値と後フレームにおけるマクロブロックのＤＣ値との差（マクロブロック動き強度と呼ぶ。）を判定し、及び前フレームの全ての画素のＤＣ値と、後フレームの全ての画素のＤＣ値との差（包括的動き強度と呼ぶ。）を判定し、これらの判定されたマクロブロック動き強度及び包括的動き強度に基づいて、動的重み付け補間を補償する。図２、図３、図４は、本発明に基づくこれらの異なる画素レベルにおける判定を説明する図である。

図２は、本発明に基づき、インタレースビデオフレーム、例えばフィールド（ｎ）における存在しない画素情報を復元するために用いられる空間的及び時間的な画素補間を説明する略図２００を示している。詳しくは、略図２００は、デジタルテレビジョン（例えば、デジタルテレビジョン装置１００）によって受信されるインタレースビデオビットストリームの３つのフィールド（フレームとも呼ぶ。）を画素レベルで示している。Ｘは、入力インタレースビデオビットストリームの現フィールドと呼ばれるフィールド（ｎ）内に位置するライン上の存在しない画素を示している。更に、フィールド（ｎ−１）は、表示器（例えば、表示器１１６）に既に表示された、インタレースビデオビットストリームの前フィールドを示し、フィールド（ｎ＋１）は、フィールド（ｎ）の後に表示される後フィールドを示している。この実施例では、フィールド（ｎ−１）、（ｎ）、（ｎ＋１）における隣接する画素Ａ、Ｂ、Ｃ、Ｄに関する画素情報を利用して、存在しない画素Ｘのデータの復元を試みる。画素Ｃは、フィールド（ｎ）内の画素Ｘの上に位置する画素であり、画素Ｄは、画素Ｘの下に位置する画素である。なお、フィールド（ｎ−１）、（ｎ）、（ｎ＋１）は、デジタルテレビジョン装置１００のメモリユニット（例えば、揮発性メモリ１０４及び／又は不揮発性メモリ１０６）に格納されているため、本発明の実施例はここで説明するような処理を実行することができる。

この実施例では、時間的方向及び空間的方向における画素値の局所的な差に、補間係数を動的に適応する。すなわち、時間軸において隣接する画素値（例えば、画素Ａ、Ｂ）の差が空間軸において隣接する画素値（例えば、画素Ｃ、Ｄ）の差よりも小さいことは、検討中の領域において局所的動きが小さいことを意味し、この場合、時間軸方向の補間をより強く重み付けする。一方、時間軸において隣接する画素値（例えば、画素Ａ、Ｂ）の差が空間軸において隣接する画素値（例えば、画素Ｃ、Ｄ）の差よりも大きいことは、検討中の領域において局所的動きが大きいことを意味し、この場合、空間軸方向の補間をより強く重み付けする。このように、この方法では、静的なビデオシーンのシナリオにおいて望ましい時間的補間と、高速に動くビデオシーンにおいて望ましい空間的補間との間で好ましい重み付けを行う。

例えば、フィールド（ｎ）の画素レベル動き強度補間（Ｍ_ｐ）は、次のような式で表される。

ここで、ｔ_ｔｈは、閾値であり、ｔ_Ｑは、画素Ａ、Ｂ間の時間的差の量子化係数であり、ｖ_ｔｈは、閾値であり、ｖ_Ｑは、画素Ｃ、Ｄ間の空間的差の量子化係数である。ここで、ｔ_ｔｈ、ｔ_Ｑ、ｖ_ｔｈ、ｖ_Ｑの理想値は、実験で（experimentation）定めることができる。このように時間的差と空間的差とを量子化する理由の１つは、デジタルテレビジョン装置１００のハードウェアでは、浮動小数が扱われないためである。これにより、この実施例は、既存のデジタルテレビジョン装置１００のハードウェア内においてより容易に実現することができる。フィールド（ｎ）の画素Ｘに対応する画素レベル動き強度補間値を決定すると、この実施例では、この情報をメモリ（例えば、揮発性メモリ１０４及び／又は不揮発性メモリ１０６）に格納する。

入力ビデオシーケンスにおける動きをより正しく推定するために、上述したデインタレース法では、更なる２つの動き判定による補償を行う。この実施例における更なる動き判定の１つは、マクロブロック動き強度（MacroBrock motion strength：ＭＢＭＳ）の判定である。図３は、本発明に基づき、インタレースビデオシーケンスにおける動きを判定するために用いられるマクロブロック動き強度の判定を説明する略図３００を示している。なお、「マクロブロック」とは、デジタルビデオ圧縮に関連する技術用語であり、１６×１６個の画素からなる正方形の画素ブロックを示す。この実施例におけるマクロブロック動き強度は、前フィールド（ｎ−１）と後フィールド（ｎ＋１）における対応したマクロブロック間のＤＣ値の差を算出することによって決定される。なお、マクロブロックレベルの情報は、ムービングピクチャエキスパートグループ−２（以下、ＭＰＥＧ−２という。）復号処理において得られる情報であり、このＭＰＥＧ−２復号処理は、デジタルテレビジョン装置１００のビデオデコーダ１１２によって実行することができる。

この実施例における画素Ｘに対応するマクロブロック動き強度（ＭＢＭＳ）を決定するために、まず、前フィールド（ｎ−１）及び後フィールド（ｎ＋１）における画素Ｘに対応するマクロブロックのサブブロック総和（sub-block sum：以下、ＳＢＳという。）を決定する。本発明の実施例では、フィールド内のマクロブロックのサブブロック総和は、現フィールド（ｎ）の画素（例えば、画素Ｘ）に対応するマクロブロック内の全ての画素値を合計することによって算出してもよい。例えば、前フィールド（ｎ−１）のマクロブロック３０２のサブブロック総和は、現フィールド（ｎ）の画素Ｘの位置に対応するマクロブロック３０２内の全ての画素値を合計することによって算出してもよい。なお、あるフィールドのマクロブロックのＤＣ値は、そのマクロブロックのサブブロック総和に等しい。そこで、本発明の実施例では、マクロブロック内の全ての画素値を合計することに代えて、そのマクロブロックのＤＣ値を決定することによって、そのフィールドのマクロブロックのサブブロック総和を求めてもよい。

一旦、画素Ｘに対応する前フィールド（ｎ−１）及び後フィールド（ｎ＋１）のマクロブロックのサブブロック総和（ＳＢＳ）を求めると、次の式によって現フィールド（ｎ）の画素Ｘに対応するマクロブロック動き強度（ＭＢＭＳ）を算出することができる。

ＭＢＭＳ（ｎ）＝｜ＳＢＳ（ｎ＋１）−ＳＢＳ（ｎ−１）｜
ここで、ＳＢＳ（ｎ＋１）は、画素Ｘに対応する後フィールド（ｎ＋１）のマクロブロック（例えば、マクロブロック３０４）のサブブロック総和であり、ＳＢＳ（ｎ−１）は、これも画素Ｘに対応する前フィールド（ｎ−１）のマクロブロック（例えば、マクロブロック３０２）のサブブロック総和である。一旦、現フィールド（ｎ）の画素Ｘに対応するマクロブロック動き強度を算出すると、この実施例では、算出した値をメモリ（例えば、揮発性メモリ１０４及び／又は不揮発性メモリ１０６）に記憶する。上述したように、サブブロック総和は、デジタルテレビジョン装置１００のビデオデコーダ１１２によって実行されるＭＰＥＧ−２復号処理によって求めることができる。

この実施例において用いられるもう１つの動き判定は、包括的動き強度（global motion strength：ＧＭＳ）である。図４は、本発明に基づき、インタレースビデオシーケンスにおける動きを判定するために用いられる包括的動き強度の決定を説明する略図３００を示している。具体的には、包括的動き強度は、前フィールド（ｎ−１）及び後フィールド（ｎ＋１）のそれぞれにおける全ての画素のＤＣ値の総和の差を算出することによって判定される。包括的動き強度を判定する理由の１つは、これによりビデオコンテンツにおいてシーンの変更があるか否かを判定できるためである（シーンの変更により、隣接するフィールド間で画素値が大きく変化する）。ビデオコンテンツにおいてシーンの変更があった場合、時間的補間は行わず、空間的補間を行うことが望ましい。現フィールド（ｎ）の画素Ｘに対応する包括的動き強度（ＧＭＳ）は、次の式によって算出することができる。

ＧＭＳ（ｎ）＝｜ΣＳＢＳ（ｎ＋１）−ΣＳＢＳ（ｎ−１）｜
ここで、ΣＳＢＳ（ｎ＋１）は、後フィールド（ｎ＋１）内の全てのサブブロック総和の総和であり、ΣＳＢＳ（ｎ−１）は、前フィールド（ｎ−１）内の全てのサブブロック総和の総和である。なお、包括的動き強度は、入力インタレースビデオビットストリームの各フィールド毎に１回ずつ決定する。一旦、フィールド（ｎ）について包括的動き強度を決定すると、この実施例では、算出した値をメモリ（例えば、揮発性メモリ１０４及び／又は不揮発性メモリ１０６）に記憶する。

この実施例では、マクロブロック動き強度（ＭＢＭＳ）及び包括的動き強度（ＧＭＳ）を非線形的に量子化した後に、後述するデインタレース処理に用いてもよい。例えば、マクロブロック動き強度は、次のような式に基づいて、非線形的に量子化してもよい。

ここで、ｂ_ｔｈは閾値であり、ｂ_Ｑは量子化係数である。なお、ｂ_ｔｈ及びｂ_Ｑの理想値は、実験で定めることができる。

更に、包括的動き強度（ＧＭＳ）は、次の式に基づいて、非線形的に量子化してもよい。

ここで、ｇ_ｔｈは閾値であり、ｇ_Ｑは量子化係数である。なお、ｇ_ｔｈ及びｇ_Ｑの理想値は、実験で定めることができる。マクロブロック動き強度（ＭＢＭＳ）及び包括的動き強度（ＧＭＳ）を量子化する理由の１つは、典型的なデジタルテレビジョン（例えば、デジタルテレビジョン装置１００）のハードウェアでは、浮動小数が扱われないためである。これにより、この実施例は、既存のデジタルテレビジョン装置１００のハードウェア内においてより容易且つ安価に実現することができる。このように、本発明は、デジタルテレビジョンアプリケーションに対して費用効果が非常によい解決法を提供する。

量子化された包括的動き強度（Ｍ_ｇ）、量子化されたマクロブロック動き強度（Ｍ_ｂ）及び量子化された画素レベル動き強度（Ｍ_ｐ）を算出した後、総合動き強度を算出する。すなわち、次の式を用いて、総合的動き強度（Ｍ）を算出することができる。

Ｍ＝Ｍ_ｐ＋Ｍ_ｂ＋Ｍ_ｇ
なお、ここで用いている閾値及び量子化係数（例えばｔ_ｔｈ、ｔ_Ｑ、ｖ_ｔｈ、ｖ_Ｑ、ｂ_ｔｈ、ｂ_Ｑ、ｇ_ｔｈ、ｇ_Ｑ）は、これらを用いて算出される総合動き強度（Ｍ）の値が、所定のダイナミックレンジ内に収まるように定めるとよい。例えば、総合動き強度（Ｍ）のダイナミックレンジは、次のように定義してもよい。

０≦Ｍ≦Ｍ_ＭＡＸ
ここで、Ｍ_ＭＡＸは、２５５である。もちろん、本発明において、Ｍ_ＭＡＸは適切ないかなる値を用いてもよい。更に、この実施例は、総合動き強度（Ｍ）のいかなる所定のダイナミックレンジ（例えば、正及び／又は負の値を含む）にも適用することができる。

一旦、総合動き強度（Ｍ）を決定すると、次の式を用いて、画素Ｘのデインタレース画素値を算出することができる。

ここで、Ａ、Ｂ、Ｃ、Ｄは、上述したフィールド（ｎ−１）、（ｎ）、（ｎ＋１）の画素Ａ、Ｂ、Ｃ、Ｄのそれぞれの画素値である。これにより算出される値Ｘは、現フィールド（ｎ）における存在しない画素Ｘの値である。一旦、Ｘの値を算出すると、この実施例では、この値を記憶してもよく、デジタルテレビジョン装置１００の表示器１１６に出力してもよい。このようにして、本発明により、インタレースビデオビットストリームの各フィールドから存在しない画素の画素値を決定し、デインタレースを行うことができる。

なお、本発明に基づく画素レベル動き強度、マクロブロック動き強度、包括的動き強度は、量子化を行わずに、上述した画素Ｘを求めるデインタレース処理に用いてもよい。但し、画素レベル動き強度、マクロブロック動き強度、包括的動き強度の量子化を行わない場合、これらの差分決定の結果生じる浮動小数を取り扱えるように、デジタルテレビジョン装置（例えば、デジタルテレビジョン装置１００）のハードウェアを増やさなければならない。但し、このようなハードウェアを浮動小数に対応させることにより、デジタルテレビジョン装置（例えば、デジタルテレビジョン装置１００）の製造原価が高くなる。

図５は、インタレースフォーマットのビデオビットストリームをデジタルテレビジョン（例えば、デジタルテレビジョン装置１００）によって表示できるプログレッシブフォーマットに変換するための本発明に基づく処理のフローチャート５００を示している。フローチャート５００は、本発明に基づく処理を含み、この処理は、一実施例においては、読取及び実行可能な命令による制御の下、プロセッサ及び電気的コンポーネントによって実行される。読取及び実行可能な命令は、例えば、図１に示す揮発性メモリ１０４及び／又は不揮発性メモリ１０６等のデータストレージユニット内に格納してもよい。もちろん、読取及び実行可能な命令は、いかなる種類の媒体によって提供してもよい。フローチャート５００では、特定のステップを示しているが、これらのステップは例示的なものにすぎない。すなわち、本発明は、図５に示す各ステップとは異なる様々なステップ又はこれらのステップを変形したステップによって実現することができる。この実施例に示すフローチャート５００の各ステップは、ソフトウェア、ハードウェア、並びにソフトウェア及びハードウェアの組合せのいずれによって実現してもよい。

この実施例に示すフローチャート５００により、インタレースフォーマットのビデオビットストリームをデジタルテレビジョン（例えば、デジタルテレビジョン装置１００）によって表示できるプログレッシブフォーマットに変換するための方法及び装置が実現される。詳しくは、この実施例では、入力インタレースビデオビットストリーム（例えば、テレビジョン放送信号１２８）における現フィールド、前フィールド及び後フィールドの画素を用いて、現フィールド（フレームともいう。）における存在しないラインの元のコンテンツがどのようなものであったかを決定する。更に、３個の異なる画素情報の組を用いて、入力ビデオビットストリーム内に存在する動きの量を推定することによって、存在しない画素のコンテンツをより正確に決定する。詳しくは、空間軸及び時間軸の両方に関する画素の動的に重み付けされた補間を行うことにより、存在しない画素情報を復元する。更に、マクロブロック動き強度（ＭＢＭＳ）及び包括的動き強度（ＧＭＳ）を決定することにより、動的に重み付けされた補間を補償する。

図５に示すステップ５０２において、デジタルテレビジョン（例えば、デジタルテレビジョン装置１００）がインタレースビデオビットストリームを受信しているか否かを判定する。ステップ５０２において、デジタルテレビジョンがインタレースビデオビットストリームを受信していない場合、処理はステップ５０２の開始時に戻り、ステップ５０２を繰り返す。一方、ステップ５０２において、デジタルテレビジョンがインタレースビデオビットストリームを受信している場合、処理はステップ５０４に進む。なお、ステップ５０２における、デジタルテレビジョンがインタレースビデオビットストリームを受信しているか否かに関するこの実施例における判定は、様々な手法で実現することができる。例えば、この実施例においては、そのフォーマットを判定するために入力インタレースビデオビットストリームに組み込まれているコーディングを用いる。

ステップ５０４において、この実施例では、フィールドが開始される前に、例えば入力ビデオビットストリームの垂直帰線消去期間（以下、ＶＢＩという。）において、現フィールドに対応するマクロブロック動き強度（ＭＢＭＳ）及び包括的動き強度（ＧＭＳ）を決定する。なお、この実施例におけるステップ５０４は、様々な方法で実現することができる。例えば、ステップ５０４においては、図３及び図４を用いて先に説明した方法と同様の方法によって、マクロブロック動き強度及び包括的動き強度を決定してもよい。なお、入力ビデオビットストリームにおける最初のフィールドと最後のフィールドは、他のインタリーブされたビデオフィールドとは異なる手法で処理する必要がある。この理由の１つは、入力ビデオビットストリームの最初のフィールドは、前フィールドを有さず、最後のフィールドは、後フィールドを有さないためである。したがって、この実施例では、一手法として、ステップ５０４において、（前フィールドではなく）最初のフィールドと次のフィールドとを用いて、最初のフィールドに関するマクロブロック動き強度及び包括的動き強度を決定する。また、この実施例では、ステップ５０４において、（後フィールドではなく）最後のフィールドとその前のフィールドとを用いて、最後のフィールドに関するマクロブロック動き強度及び包括的動き強度を決定する。

図５のステップ５０６において、現フィールドに対応するマクロブロック動き強度値及び包括的動き強度値をメモリ（例えば、揮発性メモリ１０４及び／又は不揮発性メモリ１０６）に記憶する。なお、マクロブロック動き強度値及び包括的動き強度値は、いかなる種類のメモリ装置に格納してもよい。ステップ５０８において、現ビデオフィールドにおける存在しない画素値のライン（デインタレースライン期間とも呼ばれる。）に対応するマクロブロック動き強度（ＭＢＭＳ）値及び包括的動き強度（ＧＭＳ）値を読み出す。

ステップ５１０において、現在のデインタレースライン期間の各画素値を決定する。なお、ステップ５１０における現在のデインタレースライン期間の各画素値の決定は、様々な方法で実現することができる。例えば、現在のデインタレースライン期間の各画素値の決定は、図１〜図４を用いて先に説明した方法と同様の方法によって行うことができる。ステップ５１２においては、ステップ５１０で決定した画素値をメモリ（例えば、揮発性メモリ１０４及び／又は不揮発性メモリ１０６）に記憶し、及びこれらの画素値を表示器（例えば、表示器１１６）に出力する。

ステップ５１４において、現在のデインタレースラインが現ビデオフィールドの最後のラインであるか否かを判定する。ステップ５１４において、現在のデインタレースラインが現ビデオフィールドの最後のラインではないと判定された場合、この処理はステップ５０８の開始時に戻る。一方、ステップ５１４において、現在のデインタレースラインが現ビデオフィールドの最後のラインであると判定された場合、処理はステップ５１６に進む。ステップ５１６においては、現フィールドが入力ビデオビットストリームにおける最後のフィールドであるか否かを判定する。ステップ５１６において、現フィールドが入力ビデオビットストリームにおける最後のフィールドではないと判定された場合、処理は、ステップ５０４の開始時に戻る。一方、ステップ５１６において、現フィールドが入力ビデオビットストリームにおける最後のフィールドであると判定された場合、処理はステップ５０２の開始時に戻る。

このように、本発明は、デジタルテレビジョン受信機及び高精細度テレビジョン受信機において、費用効果に優れ、画像の解像度を高くして、インタレースフォーマットのビデオビットストリームをプログレッシブフォーマットに変換するビデオデータフォーマット変換方法及びビデオデータフォーマット変換装置を実現する。

本発明は、上述した実施の形態に限定されるわけではなく、当該技術分野の当業者が本発明の主旨を逸脱しない範囲で上述の実施の形態に対する様々な修正、変更等を行うことが可能であることは明らかである。上述した実施例は、本発明の主旨及びその現実の応用例を説明するために選択されたものであり、当該技術分野の当業者が特定の用途に適応するように様々な修正、変更等を行うことによって本発明を最大限に利用することができる。発明の適用範囲は、特許請求の範囲によって定義される。

本発明に基づくデジタルテレビジョン受信機の構成を示すブロック図である。 本発明に基づく、インタレースビデオフィールドにおける存在しない画素を復元するために用いられる空間的及び時間的補間を説明する図である。 本発明に基づく、インタレースビデオシーケンスにおける動きを判定するために用いられるマクロブロック動き強度の決定を説明する図である。 本発明に基づく、インタレースビデオシーケンスにおける動きを判定するために用いられる包括的動き強度の決定を説明する図である。 本発明に基づきインタレースフォーマットのビデオビットストリームをデジタルテレビジョンによって表示できるプログレッシブフォーマットに変換する処理の具体例を示すフローチャートである。

Claims (16)

1. インタレースフォーマットのビデオデータをプログレッシブフォーマットのビデオデータに変換するビデオデータフォーマット変換方法において、
   上記インタレースフォーマットのビデオデータを受け取るステップと、
   上記ビデオデータにおける現フィールドの画素、前フィールドの画素及び後フィールドの画素を用いて、画素レベルの動き強度値を決定するステップと、
   上記ビデオデータにおける上記前フィールドの第１のマクロブロック及び上記後フィールドの第２のマクロブロックを用いてマクロブロック動き強度値を決定するステップと、
   上記ビデオデータにおける上記前フィールドに関する第１の合計画素値と、上記後フィールドに関する第２の合計画素値とを用いて、包括的動き強度値を決定するステップと、
   上記前フィールド、現フィールド及び後フィールドの画素値を、上記画素レベル動き強度値、上記マクロブロック動き強度値及び上記包括的動き強度値の和からなる、時間的補間と空間的補間の重みを変える総合動き強度で、重み付けて空間的及び時間的に補間することによって、上記インタレースフォーマットのビデオデータにおける、存在しないラインの存在しない画素の値を決定するステップとを有するビデオデータフォーマット変換方法。
2. 上記存在しない画素は、上記ビデオデータの現フィールド内に位置することを特徴とする請求項１記載のビデオデータフォーマット変換方法。
3. 上記マクロブロック動き強度値を決定するステップは、上記ビデオデータの前フィールドの第１のマクロブロックと、上記後フィールドの第２のマクロブロックとの間の差を算出することにより、上記マクロブロック動き強度値を決定することを特徴とする請求項１記載のビデオデータフォーマット変換方法。
4. インタレースフォーマットのビデオビットストリームをプログレッシブフォーマットのビデオビットストリームに変換するビデオデータフォーマット変換装置において、
   上記インタレースフォーマットのビデオビットストリームを受信する選局手段と、
   上記ビデオビットストリームにおける現フィールドの画素、前フィールドの画素及び後フィールドの画素を用いて、画素レベル動き強度値を決定するビデオデコード手段とを備え、
   上記ビデオデコード手段は、
   上記ビデオビットストリームにおける上記前フィールドの第１のマクロブロック及び上記後フィールドの第２のマクロブロックを用いてマクロブロック動き強度値を決定し、
   上記ビデオビットストリームにおける上記前フィールドに関する第１の合計画素値と、上記後フィールドに関する第２の合計画素値とを用いて、包括的動き強度値を決定し、
   上記前フィールド、現フィールド及び後フィールドの画素値を、上記画素レベル動き強度値、上記マクロブロック動き強度値及び上記包括的動き強度値の和からなる、時間的補間と空間的補間の重みを変える総合動き強度で、重み付けて空間的及び時間的に補間することよって、上記インタレースフォーマットのビデオビットストリームにおける、存在しないラインの存在しない画素の値を決定するビデオデータフォーマット変換装置。
5. 上記存在しない画素は、上記ビデオビットストリームの現フィールド内に位置することを特徴とする請求項４記載のビデオデータフォーマット変換装置。
6. 請求項４記載のビデオデータフォーマット変換装置を備えるテレビジョン受信機。
7. 請求項４記載のビデオデータフォーマット変換装置を備えるデジタルセットトップボックス。
8. 請求項４記載のビデオデータフォーマット変換装置を備え、デジタルテレビジョン信号を取り扱う電子メディア機器。
9. 上記ビデオデコード手段は、上記ビデオビットストリームにおける上記前フィールドの第１の合計画素値と、上記後フィールドの第２の合計画素値との間の差を算出することにより上記包括的動き強度値を決定することを特徴とする請求項４記載のビデオデータフォーマット変換装置。
10. 上記ビデオデコード手段は、上記ビデオビットストリームにおける上記前フィールドの第１のマクロブロックと、上記後フィールドの第２のマクロブロックとの間の差を算出することにより、上記マクロブロック動き強度値を決定することを特徴とする請求項４記載のビデオデータフォーマット変換装置。
11. 上記ビデオデータは、ビデオビットストリームであり、
    上記存在しない画素の値を決定するステップにおいて、上記存在しない画素は、上記ビデオビットストリームにおける上記現フィールド内に位置することを特徴とする請求項１記載のビデオデータフォーマット変換方法。
12. 上記ビデオデータを受け取るステップは、デジタルテレビジョン受信機、デジタルセットトップボックス又はデジタルテレビジョン信号を取り扱う電子メディア機器によって実行されることを特徴とする請求項１又は１１記載のビデオデータフォーマット変換方法。
13. 上記包括的動き強度値を決定するステップは、上記ビデオデータにおける上記前フィールドの第１の合計画素値と、上記後フィールドの第２の合計画素値との間の差を算出することにより上記包括的動き強度値を決定することを特徴とする請求項１記載のビデオデータフォーマット変換方法。
14. 上記マクロブロック動き強度値を決定するステップは、上記ビデオデータにおける上記前フィールドの第１のマクロブロックと、上記後フィールドの第２のマクロブロックとの間の差を算出することにより、上記マクロブロック動き強度値を決定することを特徴とする請求項１記載のビデオデータフォーマット変換方法。
15. 上記包括的動き強度値を決定するステップは、上記ビデオビットストリームにおける上記前フィールドの第１の合計画素値と、上記後フィールドの第２の合計画素値との間の差を算出することにより上記包括的動き強度値を決定することを特徴とする請求項１１記載のビデオデータフォーマット変換方法。
16. 上記マクロブロック動き強度値を決定するステップは、上記ビデオビットストリームにおける上記前フィールドの第１のマクロブロックと、上記後フィールドの第２のマクロブロックとの間の差を算出することにより、上記マクロブロック動き強度値を決定することを特徴とする請求項１１記載のビデオデータフォーマット変換方法。

Images