JPH10505975A - ディジタル・ビデオ・データのインタリーブ形記憶および効率的処理のためのパック形ｙｕｖ９フォーマット - Google Patents

Abstract

(57)【要約】 本発明によれば、ディジタル・カラー・ビデオ信号がサブサンプリングされて、特別なＹＵＶブロック・フォーマットに変換される。このフォーマットでは、インタリーブ形Ｖ、ＵおよびＹの値からなる小グループの形式で、ビデオ・フレーム内を横切って左から右へ、上から下へとデータが配置される。このフォーマットを用いた結果、ビデオ入力システムにおいて要求されるハードウェア・メモリ容量が大幅に減少する。また、補間法またはディザ法を用いて処理済み画像に生じる不要なアーティファクトを減少させることができる。

Description

【発明の詳細な説明】 ディジタル・ビデオ・データのインタリーブ形記憶および 効率的処理のためのパック形ＹＵＶ９フォーマット 発明の詳細な説明 発明の背景 この出願は、１９９３年８月６日付け米国特許出願第08/103,399号の“システ ム・プロファイル法を用いて画像を表示する方法および装置(Method and Appara tus for Displaying an Image Using System Profiling)"の一部継続（ｃ−ｉ− ｐ）出願であり、その全体を本明細書の参考文献として引用する。 ディジタル・カラー画像処理システムにおいて、１フレームの画像データは、 典型的には“複数のピクセル”からなる正方形のマトリックスに分割される。典 型的な１つのフレームは幅１６０ピクセルおよび高さ１２０ピクセルからなる。 その画像の対応する解像度は使用される表示装置のサイズの逆関数である。各ピ クセルは、輝度（強度）情報とカラー（色）情報からなる“全（フル）データ” の組合わせを有するビデオ源から供給される。典型的な１つの“ＹＵＶ”ディジ タル・カラー・ピクセル特徴付けコードは、それぞれ輝度（Ｙ）およびカラー成 分（内容）（Ｕ）および（Ｖ）を表す３つの８ビット・ディジタル・ワードを有 する。従って、１つの全データ・カラー・ピクセルを特徴付けるには２４ビット のディジタル情報が必要である。即ち、上述のフレームについては合計２４×１ ６０×１２０＝４６０，８００ビットが必要となる。このような大量のデータの バッファ（緩衝）および処理に必要な伝送ハードウェアにかかるコスト、および その比較的長い所要処理時間を考慮すると、そのデータ量は実現不可能なほど大 量である。 この問題を解決するためのこの技術分野における既知の方法は、カラー情報の 全てを送ることはしない方法である。人間の目は輝度の変化よりも色の変化に対 してははるかに鈍感なので、多くの場合はカラー情報の幾分かを削減するように 設計しても人間の見る画像が深刻な品質低下を呈することはない。例えば、この 分野では、１つのフレームを図１に示すような複数の４×４のピクセル・ブロッ クに分割することが知られている。図１において、Ｂ₁₁は左上隅にある第１ブロ ックを表している。従って、図示のスクリーン（画面）は高さ３０本のバンド（ 帯）と幅４０個のブロックで構成される。このフォーマットでは、元の全データ Ｙ、ＵおよびＶの各値は、それぞれ（Ｙ₁₁〜Ｙ_{120 160}）、（Ｕ₁₁〜Ｕ_{120 160}） および（Ｖ₁₁〜Ｖ_{120 160}）からなる。しかし、ＵおよびＶの値の全てが送られ ることはない。その代わり、図２に示されるように、Ｂ₁₁における全てのＵの値 を元のＵ₁₁の値に設定し、Ｂ₁₂における全てのＵの値を元のＵ₁₅の値に設定し、 Ｂ₂₁における全てのＵの値を元のＵ₅₁の値に設定し、他のブロックについても同 様に設定する。Ｖの値についても同じ形式を用いる。しかし、元の全てのＹの値 は保持する。このような構成を用いて、Ｕ値の８ビットとＶ値の８ビットが１ブ ロックの１６ピクセルの全てのカラー情報を与え、各ブロックのカラー情報の量 は平均して１ピクセル当たり１ビットになる。各ピクセルは全８ビットの輝度情 報を有するので、この構成に必要な１ピクセル当たりの平均ビット数は合計９個 となり、従って、専門用語として“ＹＵＶ９”と表現される。 この技術分野においてこのようなデータを処理する既知の方法は、１つのフレ ームについて全てのＹ値（１９，２００個！）を記憶し、次いで全てのブロック Ｕ値（１２００個）を記憶し、最後に全てのブロックＶ値（１２００個）を記憶 することを含んでいる。これが標準ＹＵＶ９“平面（プレーナ）”フォーマット である。しかし、このフォーマットには次の２つの重大な欠点がある。（１）１ つのフレーム全体における全てのデータまたはほとんどのデータは、プロセッサ を用いてデータに何らかの処理を施す前にバッファに記憶または蓄積しなければ ならず、（２）その結果得られた画像は（驚くべきことではないが）人間の目に 対して“塊斑点の濃淡を生成する(blocky)”効果（ブロッキー効果）を与える。 発明の概要 本発明者は、要求されるバッファ記憶量が少なくなりまた処理効率が高くなる ようにＹＵＶサブサンプリング（副サンプリング）・データをフォーマット化す る改良技術を発見し発明した。 本発明の特徴の１つによれば、ＹＵＶ９データは次のようにフォーマット化さ れる。すなわち、ブロックＢ₁₁について（Ｖ₁₁，Ｕ₁₁，Ｙ₁₁，Ｙ₁₂，Ｙ₁₃，Ｙ₁₄ ，Ｙ₂₁，Ｙ₂₂，Ｙ₂₃，Ｙ₂₄，Ｙ₃₁，Ｙ₃₂，Ｙ₃₃，Ｙ₃₄，Ｙ₄₁，Ｙ₄₂，Ｙ₄₃，Ｙ₄₄ ）とフォーマット化され、その後にブロック（Ｂ_{1 2}〜Ｂ_{1 40}）、（Ｂ_{2 1}〜Ｂ_{2 40} ）・・・等についてのブロックＶデータ、ブロックＵデータおよびＹデータが 、各フレーム内を横切って左から右へ、頂部（上）から底部（下）へとフォーマ ット化される。第１ブロックのデータが受取られて記憶されると、直ちにそのブ ロックのデータの処理が開始され、結果として得られる画像が人間の目に対して より“見やすく(friendly)”見えるようにＵ₁₁およびＶ₁₁のカラー値が補間され またはディザ処理される(dither)。これに対して、従来技術で既知の“平面フォ ーマット”技術では、そのような処理が開始する前に、１フレーム全体のＹ、Ｕ およびＶのデータのうちの全てのデータまたはほとんどのデータを受取って蓄積 する必要がある。（その理由は、ＹＵＶデータをＲＧＢデータに変換するにはそ のフレーム全体の全てのＹＵＶデータが必要だからである。）この出願の新しい フォーマットに用いられる処理前の所要データ記憶量は約（１／１フレーム当た りブロック数（＃））の割合（比）で減少し、図１に示したフレームでは（１／ １２００）の割合で減少する。 図面の簡単な説明 図１は、ＹＵＶディジタル・ビデオ・データの典型的フレームを示している。 図２は、図１のフレームの第１ブロックの拡大図であり、隣接ピクセルととも に示されている。 発明の実施の形態の詳細な説明 本発明の好ましい実施形態は、以下の説明と図１および２の参照によって理解 することができる。 １つのディジタル・ビデオ・フレームは、アドレスＰ₁₁〜Ｐ_{120 160}を有する 長方形の格子(grid)の形に配置された１６０×１２０＝１９，２００個のピクセ ルを含んでおり、各々が正方形４×４ピクセルからなる１２００個のグループ（ ブロック）に分割され、３０本の水平方向のストリップ（細条、バンド）（各ス トリップは４０個のブロックからなる）に分割される。そのグループを“ブロッ ク”と称し、そのストリップを“バンド”と称する。 元のピクセル・データは周知のＹＵＶ９サブサンプリング技術によって圧縮さ れているが、結果として得られるサブサンプリングされたデータは、次に説明す る伝送用の新規で非常に有益な“パック（詰込み、packed）”フォーマット（即 ち、インタリーブ形フォーマットまたは間挿形フォーマット）で配置されている 。 データ・ストリームはＶ₁₁およびＵ₁₁の値（Ｂ₁₁のピクセルＰ₁₁の値）で開始 し、その直ぐ後にブロックＢ₁₁の１６個のＹ値がブロックＢ₁₁内を横切って左か ら右へ、頂部から底部へと順に続く。即ち、ブロックＢ₁₁の伝送カラー・データ および輝度データは、順に（Ｖ₁₁，Ｕ₁₁，Ｙ₁₁，Ｙ₁₂，Ｙ₁₃，Ｙ₁₄，Ｙ₂₁，Ｙ₂₂ ，Ｙ₂₃，Ｙ₂₄，Ｙ₃₁，Ｙ₃₂，Ｙ₃₃，Ｙ₃₄，Ｙ₄₁，Ｙ₄₂，Ｙ₄₃，Ｙ₄₄）の形で発生 する。このブロックＢ₁₁のデータが伝送された直ぐ後に、ブロックＢ₁₂のデータ が、対応するフォーマット（Ｖ₁₅，Ｕ₁₅，Ｙ₁₅，Ｙ₁₆，Ｙ₁₇，Ｙ₁₈，Ｙ₂₅，Ｙ₂₆ ，Ｙ₂₇，Ｙ₂₈，Ｙ₃₅，Ｙ₃₆，Ｙ₃₇，Ｙ₃₈，Ｙ₄₅，Ｙ₄₆，Ｙ₄₇，Ｙ₄₈）で順に伝送 される。このデータ伝送パターンは、バンド１内の左から右まで繰返され、次い で同様にバンド２内の左から右へと続き、以下同様にフレーム全体のＹＵＶデー タが伝送されるまで続く。 このようなパック・フォーマット（パック形フォーマット）を用いると、第１ ブロック全体のデータの伝送が完了すると直ぐにその受取ったディジタル・カラ ー情報の処理を開始して画像を再構成し、表示することができる（この例外は、 補間を用いて再構成を行う場合である。補間を行う場合は、以下説明する画像再 構成の処理を開始する前に第２ブロック（Ｂ₁₂）のデータも必要になる）。これ は、そのデータの所要の処理および再構成を開始する前にＹＵＶ９データのフレ ーム全体の全てのデータまたはほとんどのデータを受取って記憶または蓄積する ことが必要な従来技術のＹＵＶ９フォーマットの方法と比較すると、優れた利点 となる。本発明では、１つまたは２つのデータ・ブロックだけを伝送した後に所 要の処理が開始するので、このフォーマットを使用することによって受取り側の メモリ空間が節減できるだけでなく、受取りおよび再構成の時間が大幅に節減で きる。 再構成（即ち、“アップサンプリング(upsampling)またはサンプル付加”）の 処理を行う間、各ブロックに対応する伝送されたそれぞれのＶおよびＵの値は、 その各ブロックのそれぞれの各ピクセルにそのまま用いることができる。その場 合、或るブロックにおける各ピクセルのＹ値が元の画像によって決定された許容 範囲内のＹ値のどの値を取ったとしても、その或るブロックにおける１６個の全 てのピクセルが同じＶ値および同じＵ値を取る。これによって、再構成された画 像中に、“塊斑点の濃淡(blockiness)”と一般にいわれる、人間に識別可能なア ーティファクト（不自然さ）が生じる。このアーティファクトは、非常に目障り で困惑させるものであり、従って非常に望ましくないものと考えられる。 受取って再構成された画像に生じる“塊斑点の濃淡”の問題を解決するには、 この出願の新規なパック形ＹＵＶ９フォーマットとともに既知の２つの技術のう ちの１つを用いると便利である。その第１の技法は補間法であり、第２の技法は ディザ法である。 有用で典型的な補間法には、左から右の順序（シーケンス）でブロック間のＶ 値およびＵ値に対して施す部分的な再構成処理が含まれている。例えば、ブロッ クＢ₁₁中の再構成されたＶ₁₂，Ｖ₂₂，Ｖ₃₂，Ｖ₄₂の各値はＶ_{(1-4) 2}＝（３／４ Ｖ₁₁＋１／４Ｖ₁₅）として定義（規定）される。同様に、Ｖ_{(1-4) 3}＝（１／２ Ｖ₁₁＋１／２Ｖ₁₅）、またＶ_{(1-4) 4}＝（１／４Ｖ₁₁＋３／４Ｖ₁₅）と定義でき る。一方、Ｖ₂₁、Ｖ₃₁およびＶ₄₁の各値にはＶ₁₁と同じ値が与えられる。この補 間法は、補間Ｖおよび補間Ｕからなるディジタル・ビデオ・フレーム全体を再構 成するためにブロック毎に左から右へ、頂部（上）から底部（下）へと実行され て、対応するそれぞれの伝送されたＹ値とともに使用されて、もはや表示に塊斑 点濃淡生成効果を呈することのない再構成された画像を生成することができる。 有用で典型的なディザ法では、各ブロックに対応する受取ったＶおよびＵの値 にそれぞれノイズが（代数学的に）加算される。各ブロックにおける各ピクセル のＶおよびＵの各値（各ブロックの左上のピクセルに対応する受取ったＶおよび Ｕの値以外の値）は、それぞれの受取ったＶおよびＵの値とは幾分違った値とな り、一般的には互いに異なる値となる。ノイズを加算すると、受取ったＶおよび Ｕの値がその分だけ増加しまたは減少する。加算するノイズの総量および符号（ ±）は、プロセッサによってランダムに（所定の正または負の限界値の範囲内で ）決定するか、またはシステム設計者によって数学的確率を用いて選択されたノ イズ・マトリックスによって記述してもよい。いずれの場合においても、その結 果、残りの１５個のＶ値および１５個のＵ値はブロックの領域内全体において大 きくまたは有意な量だけ変動する。それによって、再構成された画像において塊 斑点の濃淡のアーティファクトが生じる可能性が大幅に減少する。 上述の全ての方法に加えて、本発明者は、さらに、最も入手可能な処理装置で は、データ値の個数を４の倍数に調整することが望ましいことに気がついた。従 って、この出願のパック形ＹＵＶ９フォーマットを用いて実際に処理を実行する 場合は、ＶおよびＵの値を伝送した後、対応する１６個のＹ値を送出する前に２ つの“ブランクまたは空白”を挿入すると都合がよい。従って、そのような方法 では、各ブロックの伝送され（受取られ）た値の総数は、前述の元の１８個から なる集合の代わりに２０個（即ち４の倍数）となる。 また、上述のパック形ＹＵＶ技術は、ＹＵＶ１２（即ち、２×２ピクセルのブ ロック）フォーマットおよびその他のＹＵＶフォーマットに適用する場合にも有 益であることは、この技術分野の専門家には明らかである。 図３は本発明の方法を実現するのに適したシステムのブロック図を示す。図３ において、ディジタル・ビデオ源３００は、ディジタルＹＵＶ９のビデオ信号を メモリ・バッファ３０１に伝送する。そのディジタル・データは標準平面フォー マットでメモリ・バッファ３０１に記憶される。ビデオプロセッサ３０２（この ビデオプロセッサは平面データをパックされたＹＵＶデータに変換するようにプ ログラムされている）は、指令を受取ると、平面フォーマット（形式）のデータ を受取り、それをビデオ伝送媒体３０３を介してディジタル・グラフィックス表 示制御器３０４に伝送する。次いで、その表示制御器は対応するアナログＲＧＢ 信号をビデオ表示モニタ３０５に送出する。 この出願の発明は、上述の実施形態の範囲に限定されることなく、請求の範囲 の記載およびその均等手段によって規定される。

Claims (1)

1. 【特許請求の範囲】 １．伝送するために元のＹＵＶディジタル・ビデオ・データのフレームをサブサ ンプリングしてフォーマット化するためのコンピュータで実行される方法であっ て、 （Ａ）上記フレームを複数のピクセル・ブロックに分割するステップと、 （Ｂ）上記複数のピクセル・ブロックの各ブロックに、そのブロックに対応する 上記元のＹＵＶディジタル・ビデオ・データのフレーム中のブロックにおける複 数の元のＶ値の中の１つに等しい１つのＶ値を指定するステップと、 （Ｃ）上記複数のピクセル・ブロックの各ブロックに、そのブロックに対応する 上記元のＹＵＶディジタル・ビデオ・データのフレーム中のブロックにおける複 数の元のＵ値の中の１つに等しい１つのＵ値を指定するステップと、 （Ｄ）ブロック毎に、ステップ（Ｂ）および（Ｃ）において各ブロック毎に指定 したそれぞれの上記ＶおよびＵの値を、各それぞれのブロックに対応する全１６ 個のＹ値とともに順次フォーマット化するステップと、 （Ｅ）ステップ（Ｄ）からの上記ブロックの各々についてＶ、ＵおよびＹのデー タからなる順次形式でパックされたディジタル・ビデオ・データストリームを順 次生成するステップと、 を含むコンピュータで実行される方法。 ２．上記分割が所定のサブサンプリング比に応じて決定されるものである、請求 項１に記載の方法。 ３．上記ピクセル・ブロックの形状が長方形である、請求項１に記載の方法。 ４．上記ピクセル・ブロックの形状が正方形である、請求項３に記載の方法。 ５．上記ピクセル・ブロックがそれぞれ１６個のピクセルを含むものである、請 求項４に記載の方法。 ６．各ブロックに属するデータの部分の数が、１６個のＹ値、１つの代表的Ｖ値 および１つの代表的Ｕ値からなるものである、請求項５に記載の方法。 ７．ステップ（Ｂ）および（Ｃ）において各ブロックに対して指定されたＶおよ びＵの値が、各ブロックの左上隅にあるピクセルに対応する元のディジタル・ビ デオ・データのＶおよびＵの値である、請求項６に記載の方法。 ８．ステップ（Ｂ）および（Ｃ）において各ブロックに対して指定されたＶおよ びＵの値が、平均して、各ブロックのそれぞれの元のディジタル・ビデオ・デー タのＶおよびＵの値の中の１つより多い数の値からなるものである、請求項６に 記載の方法。 ９．上記順次形式でパックされたディジタル・ビデオ・データストリームが、上 記フレームについてブロック毎に、上記フレームの左から右へ、頂部から底部へ と生成されるものである、請求項６に記載の方法。 １０．各ブロックのＶおよびＵの値の直ぐ後に、かつ各ブロックの１６個のＹ値 の前に２つのブランク値が挿入されて、１ブロック当たりの値の総数が２０個と なるようにされた、請求項６に記載の方法。 １１．伝送するために元のＹＵＶディジタル・ビデオ・データのフレームをサブ サンプリングしてフォーマット化するシステムであって、 （Ａ）上記フレームを複数のピクセル・ブロックに分割する手段と、 （Ｂ）上記複数のピクセル・ブロックの中の各ブロックに、そのブロックに対応 する上記元のＹＵＶディジタル・ビデオ・データのフレーム中のブロックにおけ る複数の元のＶ値の中の１つに等しい１つのＶ値を指定する手段と、 （Ｃ）上記複数のピクセル・ブロックの中の各ブロックに、そのブロックに対応 する上記元のＹＵＶディジタル・ビデオ・データのフレーム中のブロックにおけ る複数の元のＵ値の中の１つに等しい１つのＵ値を指定する手段と、 （Ｄ）ブロック毎に、ステップ（Ｂ）および（Ｃ）において各ブロック毎に指定 したそれぞれの上記ＶおよびＵの値を、各それぞれのブロックに対応する全１６ 個のＹ値とともに順次フォーマット化する手段と、 （Ｅ）ステップ（Ｄ）からの上記ブロックの各々についてＶ、ＵおよびＹのデー タからなる順次形式でパックされたディジタル・ビデオ・データストリームを順 次生成する手段と、 を具えるシステム。 １２．上記分割が所定のサブサンプリング比に応じて決定されるものである、請 求項１１に記載のシステム。 １３．上記ピクセル・ブロックの形状が長方形である、請求項１１に記載のシス テム。 １４．上記ピクセル・ブロックの形状が正方形である、請求項１３に記載のシス テム。 １５．上記ピクセル・ブロックがそれぞれ１６個のピクセルを含むものである、 請求項１４に記載のシステム。 １６．各ブロックに属するデータの部分の数が、１６個のＹ値、１つの代表的Ｖ 値および１つの代表的Ｕ値からなるものである、請求項１５に記載のシステム。 １７．各ブロックに対して指定されたＶおよびＵの値が、各ブロックの左上隅に あるピクセルに対応する元のディジタル・ビデオ・データ値である、請求項１６ に記載のシステム。 １８．ステップ（Ｂ）および（Ｃ）において各ブロックに対して指定されたＶお よびＵの値が、平均して、各ブロックのそれぞれの元のディジタル・ビデオ・デ ータのＶおよびＵの値の中の１つより多い数の値からなるものである、請求項１ ６に記載のシステム。 １９．上記順次形式でパックされたディジタル・ビデオ・データストリームが、 上記フレームについてブロック毎に、上記フレームの左から右へ、頂部から底部 へと生成されるものである、請求項１６に記載のシステム。 ２０．各ブロックのＶおよびＵの値の直ぐ後に、かつ各ブロックの１６個のＹ値 の前に２つのブランク値が挿入されて、１ブロック当たりの値の総数が２０個と なるようにされた、請求項１６に記載のシステム。