JP3904115B2 - デジタル圧縮高精細度テレビジョンビットストリームを標準高精細度テレビジョンビットストリームにトランスコードする方法および装置 - Google Patents
デジタル圧縮高精細度テレビジョンビットストリームを標準高精細度テレビジョンビットストリームにトランスコードする方法および装置 Download PDFInfo
- Publication number
- JP3904115B2 JP3904115B2 JP51729595A JP51729595A JP3904115B2 JP 3904115 B2 JP3904115 B2 JP 3904115B2 JP 51729595 A JP51729595 A JP 51729595A JP 51729595 A JP51729595 A JP 51729595A JP 3904115 B2 JP3904115 B2 JP 3904115B2
- Authority
- JP
- Japan
- Prior art keywords
- macroblock
- information
- image
- image sequence
- data bitstream
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Systems (AREA)
Description
発明の技術分野
本発明は、データをあるフォーマット（または仕様）から他のフォーマットに変換するために、デジタル圧縮された符号化データ（例えばビット情報）を処理する方法および装置に関するものである。このような方法は、デジタルトランスコーディングと称され、このような機能を有する装置を、デジタルトランスコーダと称する。
発明の背景
ＩＯＳ(International Standardization Organization)のＭＰＥＧ(Moving PictureExpert Group)によって開発されたデジタルビデオ圧縮標準規格は、地上放送、電気通信およびケーブルのような広範囲のメディアに亘るデジタルビデオプログラムの配信における主技術となりつつある。ほとんどの場合ＭＰＥＧによって推奨された標準規格と同様の、または標準規格と両立し得るデジタルＨＤＴＶ（高精細度テレビジョン）標準規格は、北米およびヨーロッパにおける地上ＨＤＴＶ送信に用いられている。また、同様の技術を用いて、ケーブル、電話、光ファイバー、衛星およびＩＳＤＮ回線網によるＨＤＴＶおよび標準精細度テレビジョン（ＳＤＴＶ）が提供されている。
米国特許第 5,243,428号公報には、ＭＰＥＧ標準規格並びにそのブロックおよびフレーム符号化プロトコルが記載されている。この米国特許の内容は、この出願の内容に含まれる。フレーム間／フレーム内およびＭＰＥＧのようなビデオ符号化の関するさらに他の詳細も、次の文献にも記載されている。なお、これら文献の内容は、この出願の内容に含まれる。
“MPEG：マルチメディア用ビデオ圧縮標準規格”；
Le Gall,ACMの通信、第34巻、第４号、1991年４月
“高機能デジタル通信”；
Feher,Prentice-Hall Inc.,Englewood Cliffs, N.J. (1987)
“デジタル同時放送AD-HDTV符号化システム”；
IEEEトランザクション・オン・コンシューマ・エレクトロニクス第38巻、第４号、1992年11月
“動画及び関連オーディオの情報技術汎用符号化”；
ISO/IEC コミッティ ドラフト、1993年11月
“テストモデル５，ドラフトテストモデルエディティングコミッティ”；
ISO/IEC,1993年４月
SDTVは、ここではデジタル符号化テレビジョン信号と称され、この信号は通常の（例えばＮＴＳＣまたはＰＡＬ）型のテレビジョン画像に対する総合フォーマットおよび解像度において匹敵し得るテレビジョン画像を発生することができる。ＨＤＴＶ源の信号を通常のテレビジョンチャネル帯域幅（例えば、６ＭＨｚ）に符号化する技術を用いることによって、各チャネルに単一のＳＤＴＶプログラムの代わりに数個のＳＤＴＶプログラムを与えることができる。
ＨＤＴＶの導入は、完全なＨＤＴＶ源信号を再生し得る受像機が大部分の視聴者により得られる前に、おそらく始まるであろう。従ってＨＤＴＶ信号をＳＤＴＶ信号に変換する（即ち、これら信号をトランスコードする）必要があり、その結果これら信号はさらに処理されて、標準精細度ビデオ信号を復号化し表示し得る通常の（例えばＮＴＳＣ）テレビジョン受像機で表示することができる。
デジタルトランスコーダは伝送チェーンの中間段に、またはヘッドエンドあるいは回線交換機のような電気通信回線の部分として配置することができる。現在想像されているように、トランスコーダは中央位置から衛星または他の回線通信リンクを経てＨＤＴＶ信号を受信し、各ＨＤＴＶ信号から１つ以上のＳＤＴＶ信号をトランスコードする。次いで、これらＨＤＴＶ信号およびＳＤＴＶ信号の双方は、家庭に伝送される。
トランスコーダは、最初、ＨＤＴＶ信号およびＳＤＴＶ信号の双方に対し提供すべきチャネルを必要とする伝送チェーンに配置されるが、低価格の集積回路が容易に入手可能となり、トランスコーダを視聴者の家庭に移すことができるようになった。受信チェーンにトランスコーダを設ける利点は、（ＳＤＴＶ信号と同時放送するよりも）実際にはＨＤＴＶ信号のみを伝送でき、ＳＤＴＶ信号が占めるチャネルを他の用途に利用することができることである。
現在、ＨＤＴＶからＳＤＴＶへのトランスコーティングは、ＨＤＴＶ信号を完全に復号化して高精細度画像シーケンス（“ＨＤ画像シーケンス”）を形成することにより達成される。次に、ＨＤ画像シーケンスをフィルタリングし、サブサンプリングして低精細度画像シーケンス（“ＳＤ画像シーケンス”）を導出する。次にＳＤ画像シーケンスを処理して、ＳＤマクロブロック情報、例えばマクロブロック型情報、動きベクトル情報および量子化器情報を、符号化するために演算する。しかし、ほとんどの放送品質ビデオシステムの場合のように、完全な符号化器は高価であり、従って実際には受信（または送信）チェーンに用いるように設計された価格的に有利なトランスコーダに設けるのは困難である。
発明の概要
本発明の目的は、ＳＤシーケンスからＳＤマクロブロック情報を演算することなく価格的に有利なトランスコーディングを行う方法および装置を提供することにある。
本発明はＨＤＴＶ信号、例えば画像型情報、マクロブロック型情報、動きベクトル情報および量子化器情報の符号化されたマクロブロックに好適なＨＤ画像シーケンスおよびＨＤマクロブロック情報を復号化する方法および装置であって；
ＨＤ画像シーケンスをフィルタ処理し且つサブサンプリングしてＳＤ画像シーケンスを得；
ＨＤマクロブロック情報を用いて併置ＳＤマクロブロックの符号化に必要な対応するＳＤマクロブロック情報（例えば画像型情報、マクロブロック型情報、動きベクトル情報および量子化器情報）を直接に導出するようにしたことを特徴とする。
ＨＤマクロブロック情報を直接処理してＳＤマクロブロック情報を導出することによって、本発明は、ＳＤマクロブロック情報を導出するためにＳＤ画像シーケンスを完全に解析する必要性を排除する。このことは、ＳＤ符号処理および装置を簡単化する。その理由は、従来の方法の場合よりもメモリを充分小さくし、且つ計算の複雑性を充分少なくし、従って受信チェーンで効果的に実現し得るからである。
本願発明で説明する好適な実施例は、圧縮ＨＤＴＶ信号を圧縮ＳＤＴＶ信号にトランスコードすることに関する。一般に、同一の技術を適用して、任意の高い精細度およびビット速度ビットストリームから低い精細度およびビット速度ビットストリームへのトランスコードすることができる。
発明を実施するための最良の形態
本発明によって、ＨＤビットストリームから復号化されたＨＤマクロブロック情報を用いて、ＳＤマクロブロック情報を直接に導出することにより、圧縮ＨＤ（高精細度）ビデオデータビットストリームを、圧縮ＳＤ（低、例えば“標準”精細度）データビットストリームにトランスコードする。ここに云う“直接に”とは、ＳＤマクロブロック情報をその対応するＳＤ画像シーケンスから演算することなく、ＨＤマクロブロック情報からＳＤマクロブロック情報を導出することを意味する。
ここに提示されている参考文献には例えばＭＰＥＧデジタルビデオプロトコル、並びにＨＤおよびＳＤデジタル信号処理の双方を行うために用いられる符号器および復号器が記載されている。従ってデジタル圧縮および符号化／復号化処理並びの装置の作動の詳細はここでは詳細に説明しない。
ＨＤデータビットストリームによって、３種類の符号化画像の形式に関連する符号化情報（例えば、係数、量子化スケーリング情報および動きベクトル）を与える。これら３種類の符号化画像とは、Ｉ（フレーム内）符号化画像、Ｐ（順方向予測フレーム間）符号化画像、およびＢ（双方向予測フレーム間）符号化画像である。各Ｐ画像は、順方向に予測されたまたは個別のフレーム内符号化マクロブロックを含むことができる。各Ｂ画像は、順方向に予測された、双方向に予測された、またはフレーム内符号化されたマクロブロックを含むことができる。各Ｉ画像は、Ｉ符号化されたマクロブロックのみを含むことができる。ＨＤデータビットストリームを復号化して、画素（例えば１６×１６画素）の最初に符号化されたＨＤマクロブロックを再生する。次に、これらのマクロブロックをさらに処理して、ＨＤ画像シーケンスを形成する。トランスコーダの好適な例を説明する図１に示すように、ＨＤ情報およびＨＤ画像シーケンスをＨＤ復号器１０で導出する。次に、このＨＤ画像シーケンスをフィルタリングし、且つサブサンプラー２０でサブサンプルリングしてＳＤ画像シーケンスを形成し、これを部分ＳＤ符号器４０に供給する。
ＳＤマクロブロック情報を演算するためにＳＤ画像シーケンスをさらに処理する従来例の場合と相違して、本発明によれば、ＨＤマクロブロック情報からＳＤマクロブロック情報を直接に導出して、サブサンプラー２０により供給されたＳＤ画像シーケンスを、部分ＤＳＤ符号器４０内でＳＤ符号化データビットストリームに符号化する。
ＨＤマクロブロック情報は、各々が４つの“併置”ＨＤマクロブロックより成る各群に対してモード情報を含み、モード情報をモード選択プロセッサ５０に供給する。このモード情報は、次のものを含む：
ａ）群のマクロブロックの各々に対して用いられる予測の種類、予測の種類は、順方向に予測された、双方向に予測された、またはフレーム内符号化された、即ち、予測（フレーム内）されていないことを含む。フィールド予測またはフレーム予測を用いるか否か。；
ｂ）各マクロブロックが量子化器スケール情報を含むか否か。；
ｃ）各マクロブロックが残留係数データを含むか否か、および残留係数データを含む場合には、それがフィールドＤＣＴ符号化されたものであるかまたはフレームＤＣＴ符号化されたものであるか。；
ｄ）各マクロブロックが動き情報を含むか否か。
ここに云う“併置マクロブロック”とは、ＳＤ画像の対応するＳＤマクロブロックを形成すべきＨＤ画像の部分を形成するＨＤマクロブロックの群を意味するものとする。併置ＨＤマクロブロックとＳＤマクロブロックとの間の関係を図２に示す。
ＳＤ画像内の位置ｘ，ｙに位置する各ＳＤマクロブロックと、ＨＤ画像内の位置Ｘ，Ｙに位置する（大きさＳｘ，Ｓｙの）ＨＤ画像の対応する部分との間の関係を、式Ｘ＝Ｒ＊ｘ，Ｙ＝Ｒ＊ｙおよびＳｘ＝Ｓｙ＝１６＊Ｒで表わし、ここにＲは各ディメンション（ｘおよびｙ）のスケールファクタに等しい。この説明を行うために、ＨＤ画像およびＳＤ画像のアスペクト比が同一であり、Ｒ＝２であるものとする。従って１つのＳＤマクロブロック（ｍｂ１）は、４つのＨＤマクロブロック（ＭＢ１，ＭＢ２，ＭＢ３およびＭＢ４）に相当する。
トランスコーディング処理により形成されるＳＤ画像が、異なるアスペクト比、例えば４×３を有する場合には、サイドパネルを用いてＨＤビデオ領域を選択し、同一のアスペクト比を保持することができる。ＳＤの各マクロブロックに対しては、これをＨＤの対応する領域にマッピングすることができる。この領域によって完全にまたは部分的にカバーされるＨＤマクロブロックの全ては、特定のＳＤマクロブロックの併置マクロブロックとして用いられる。
また、ＨＤ復号器１０は、次の情報を与える。即ち、
ａ）バッファ制御兼適応量子化器３０に対し、各マクロブロックの符号化に用いられるビットの数；
ｂ）バッファ制御兼適応量子化器３０に対する、各マクロブロックの量子化情報（ｑHD）；および
ｃ）動き推定プロセッサ６０に対する、各マクロブロックの動きベクトル情報；である。
個別のマクロブロックに関する上記情報の他に、ＨＤ復号器１０によってトランスコーダのモジュール２０，３０，５０および６０に対し各ＨＤマクロブロックが（例えばＩ，ＰまたはＢ）の一部分となる画像の形式に関する情報を与える。
各々が４つの１６×１６画素ＳＤマクロブロックより成る各群を用いて、併置１６×１６画素ＨＤマクロブロックを導出する。
各ＳＤマクロブロックのマクロブロックタイプは、モード選択プロセッサ５０で併置ＨＤマクロブロックからのモード情報に基づいて定められる。
マクロブロックのモード関係は、次に示す一般項で表わすことができる。
t(mb1)=G[T1(MB1),T2(MB2),T3(MB3),・・・,Tn(MBn)]
ここにＧは関数または演算、ｎは併置ＨＤマクロブロックの総数、ｔはＳＤマクロブロックmb1に割当てるべきモード、およびＴ１〜Ｔｎは併置マクロブロックの各モードである。
ＳＤマクロブロックモードは、例えば、ＨＤマクロブロックＭＢ１〜ＭＢｎの群の各ＨＤマクロブロックの各マクロブロックモードを定めるとともに、何れのモードが上記群内で最も頻繁に用いられるかを定めるために各特定のモードを用いる回数を計数し続けるプロセスＧによって定めることができる。次に、ＨＤマクロブロックの群で最も頻繁に用いられるモードを、ＳＤマクロブロックmb1に割当てる。同様に、併置マクロブロックＭＢ１〜ＭＢｎの各々のうちの残留データを符号化するために最も頻繁に用いられるＤＣＴ符号化の種類を用いてＳＤマクロブロックmb1に用いるべきＤＣＴ符号化の種類を定める。
複数を表わすモードが存在しない場合には（即ち、“等しい（ｔｉｅ）”の場合には）、テーブルＩの優先リストを適用して特定のＳＤマクロブロックに対する予測の種類を定めることができる。
テーブルＩは、ＳＤビデオに対する総合符号化性能を最大とするための発見的方法に基づいている。
各ＨＤ画像に対して、対応するＳＤ画像が同一の画像の形式（Ｉ，ＰまたはＢ）を有する。テーブルＩは、画像の形式に従って編成される。ＳＤマクロブロックに割当てられ得る可能なマクロブロックカテゴリを欄の最上部に最高の優先度、欄の最下部に最低の優先度でリストされる。テーブルＩの使用を、次の例により示すことができる。
ＨＤ併置マクロブロックがＰ画像の一部分である場合には、対応するＳＤマクロブロックをＰ画像（ヘッドＰの欄）に対して求める。２つのフレーム内符号化併置マクロブロックと２つのフィールド予測マクロブロックとの間が“等しい(tie)”場合には、ＳＤマクロブロックはフレーム内符号化されるであろう。その理由は、ＨＤマクロブロックの２つのカテゴリのうち、クレーム内が最高となるからである。
各画像の形式に対し、ＤＣＴ符号化タイプ（即ち、フレームまたはフィールドに基づく）も、定められる。“等しい(tie)”場合には、フィールドＤＣＴがＳＤマクロブロックに対して選択される。
ＳＤマクロブロックを選択した後、ＳＤマクロブロックの動きベクトルを定めることができる。動き補償は、ＳＤ符号器４０の各ＳＤマクロブロックに対して、そのＳＤマクロブロックモードおよびその動きベクトルに基づいて常時行われる。導出された各ＳＤマクロブロックタイプとともに、ＨＤマクロブロックの各群に対する動きベクトルを用いて、併置ＳＤマクロブロックに対してベクトルを定める。
フレーム内ＳＤマクロブロックに対しては、動きベクトルを用いない。順方向に予測されたマクロブロックに対しては、mb1の順方向フレームまたはフィールド動きベクトルは、図３に示すように、且つ後に一層詳細に説明するように、ＨＤマクロブロックＭＢ１〜ＭＢ４に対する順方向フレームおよびフィールド動きベクトルの関数である。mb1の逆方向フレームまたはフィールド動きベクトルはＨＤマクロブロックＭＢ１〜ＭＢ４に対する逆方向フレームおよびフィールド動きベクトルの関数である。ＳＤマクロブロックmb1の動きベクトルの初期推定が定められると、これら動きベクトルのオフセットを有する追加の動き推定を更に詳細に行うことができる。
動き補償は、ＳＤ符号器４０により行って、残部を再演算する。
ＳＤマクロブロックmb1に初期動きベクトルは、以下に説明する方法によって、ＨＤ復号器１０により供給されるＨＤ動きベクトルを用いる動き推定プロセッサ６０で推定する。
ＳＤマクロブロックmb1の動きベクトルの初期推定は、例えば各方向（順方向／逆方向）におけるＨＤマクロブロックＭＢ１〜ＭＢｎの動きベクトルの平均値をＲで除算することにより定めることができる。換言すれば、ＨＤマクロブロックＭＢ１からＭＢｎまで、その構成（フィールド／フレーム）に関係なく、同一方向（順方向／逆方向）に属する動きベクトルを平均化する必要がある。
初期動きベクトルの所望の推定がフレームに基づくものである場合には、全てのＨＤフィールド動きベクトルは、動き推定プロセッサ６０において、平均化処理前に各フィールド動きベクトルの垂直成分を１／２とすることによって、対応するＨＤフレーム動きベクトルに変換する。初期動きベクトルの所望の推定がフィールドに基づくものである場合には、全てのフレーム動きベクトルは、平均化処理前に、これらフレーム動きベクトルの垂直成分を２倍とすることによって、対応するフィールド動きベクトルに変換する。
各群の併置マクロブロックは動きベクトルの種類および値が異なる場合があるため、これらＨＤ動きベクトルから直接に導出した併置ＳＤマクロブロックの初期動きベクトルは極めて正確なものとはなり得ず、従って追加の動き推定を必要とする。併置ＨＤ動きベクトルから良好な初期推定を行う場合には、必要な動きベクトルの量は完全なＳＤ符号器が必要とする動きベクトルよりも著しく少ない。
バーストな（圧縮）データを一定の速度で伝送させるには、符号器および復号器にバッファを必要とする。１つの符号器バッファおよび多数の復号器バッファ（情報は符号器から復号器に向かって一方向にのみ伝送される）を必要とする放送シナリオを考察する。符号器によって、復号器のバッファの何れもがオーバーフローまたはアンダーフローしないようにする。符号器がビデオバッファ状態信号（vbv_delay）を発生させることにより、ＭＰＥＧはこの問題に対処する。符号器によって、そのバッファが現在の画像の復号化の状態以前とする状態を復号器を知らせるために、画像（フレームとも称する）毎のvbv_delayを伝送する。
トランスコーダがＨＤビットストリームからＳＤビットストリームを発生するので、ＳＤビットストリームがＳＤ復号器におけるビデオバッファ制御を必要とすることにより課せられる制約を満足し得るようにする必要がある。換言すれば、ＳＤビットストリームに対しビット速度およびバッファの大きさが変化するため、ＨＤビットストリーム（ＨＤvbv_delay）のビデオバッファ制御情報は、トランスコードされたＳＤビットストリーム（ＳＤvbv delay）に対するビデオバッファ制御情報に修正する必要がある。これは次に示すようにバッファ制御兼適応量子化器３０で行なわれる。
ＨＤ符号器によってビデオバッファ条件が前記文献に示すようにＨＤvbv delay信号を供給することにより満足となるようにする。数学的にはＨＤビデオバッファ制御情報の要件は次式で表わされる。
０＜ＯＨＤ＜ＢＨＤ
ここにＯＨＤはフレーム復号化直前および直後にＨＤ符号器に結合された仮想復号器のビデオバッファの占有度であり、ＢＨＤはバッファのサイズである。
同様に、ＳＤビデオバッファ制御情報の対応する要件は、次式で表わされる。
０＜ＯＳＤ＜ＢＳＤ
ここにＯＳＤはフレーム復号化直前および直後にＳＤ符号器に結合された仮想復号器のビデオバッファの占有度であり、ＢＳＤはバッファのサイズである。この要件は、バッファ制御器を具えるトランスコーダのバッファ制御兼適応量子化器３０を用いることにより満足させることができる。これは、バッファ占有度とバッファサイズとの間の関係が真であるならば、ＯＳＤへの制限が下記に示されるようになると云う事実を利用している。
ＯＳＤ＝（ＢＳＤ／ＢＨＤ）ＯＨＤ
バッファ制御兼適応量子化器３０は、各ＨＤマクロブロックの符号化に用いられるビット数を受けて、次式を用いて各ＨＤ画像の符号化に用いられるビット数を計算する。
ＢＩＴＳ＿ＳＤｉ＝（ＢＳＤ／ＢＨＤ）ＢＩＴＳ＿ＨＤｉ
ここにＢＩＴＳ＿ＳＤｉは対応するＳＤ画像ｉの符号化に用いる必要のあるビットの推定数であり、ＢＩＴＳ＿ＨＤｉは対応するＨＤ画像ｉの符号化に用いられるビットの実際の数である。
このことは、バッファ占有度に対する制御が厳しいことを要求することに留意すべきである。換言すれば、画像当たりの実際の符号化ビットは、目標ビットの推定数に近くなければならない。
ＢＩＴＳ＿ＳＤｉを現在のＳＤ画像に対して計算した後、ＢＩＴＳ＿ＳＤｉを得るＳＤ画像に対する平均量子化器スケール(ＱｉSD)を、次のようにバッファ制御兼適応量子化器３０で計算する。
ＳＤ画像（Ｃｉ）の複雑性は次式により表わされる。
Ｃｉ＝BITS_SDi＊ＱｉSD
同様に、前のＳＤ画像の複雑性も次式により表わされる。
Ｃｉ-1＝BITS_Sdi-1＊Ｑｉ-1SD
画像から画像へ品質の連続性を実現するためには、ＣｉをＣｉ−１に等しくする必要がある。従って、推定平均量子化器のステップサイズを解くために次式を得る：
ＱｉSD＝(BITS_SDi-1＊Ｑｉ-1SD)/BITS_SDi
併置ＨＤ画像のＨＤマクロブロックの各々に対する量子化器のステップサイズ値（ｑHD）は、バッファ制御兼適応量子化器３０に対するＨＤ復号器１０によって与えられる。現在のＨＤ画像に対する平均量子化器スケールＱHDを与えるために、バッファ制御兼適応量子化器３０によってＨＤ画像に対するｑHD値の平均値を計算する。また、バッファ制御兼適応量子化器３０によって値ＱｉSDをも計算する。その理由は、値Ｑｉ−１SDおよびBITS_SDi-1がそのバッファに保持されているからである。トランスコーティング処理の始めでは、値Ｑｉ−１SDの第１値が得られる前に、値ＱHSを値Ｑｉ−１SDの代わりに用いることができる。
ＳＤ画像を符号化するために利用できるビットは、ＳＤ画像の符号化に用いられるビットの数を増大することなくその実質的な品質を増大するように割当てる必要がある。これは、雑音に敏感な領域（例えば、平坦で低いアクティビティ領域）を微細に量子化しながら、複雑な画像の領域（見えにくい）における大きな歪を許容することによって実現される。マクロブロックに透起された歪みを求めるとともにこれにより発生するビットの数を求める各ＳＤマクロブロックに対する量子化ステップサイズｑSDは、次の３つのファクタ：(１)推定平均量子化器ステップサイズＱSD、(２)バッファ状態ＯＳｉSD（これは、バッファ制御兼適応量子化器３０のバッファの現在の占有度を読取ることによって得られる、および(３)そのＳＤ画像の他のマクロブロックに対する各ＳＤマクロブロックの相対的複雑性からバッファ制御兼適応量子化器３０によって計算する。この量子化ステップサイズｑSDは次式で表わされる。
ｑSD＝（Ｑｉ，ＯＳＤｉ，ｃｊ）
ここにマクロブロックの平均的な複雑性ｃｊは、次式で示すようにＨＤ符号化ビットストリームから得られた以下の量の関数である。
Cj=f(qHD1, qHD2, qHD3, qHD4,・・・, qHDn;b1,b2,b3,b4,・・・,bn)
ここに、ｂは各ＨＤマクロブロックのビットの数である。例えば、cj=次の積のうちから得た最小値：(b1qHD1);(b2qHD2);(b3qHD3);(b4qHD4)
上述した手順の根拠は、雑音に最も敏感なＨＤマクロブロックに基づくＳＤマクロブロックを符号化することにより、“最悪の”場合を処理することである。同一の量子化ステップに対し、少数のビットが、より低いアクティブティ、従って雑音に最も敏感であることを意味する。
本発明は上述した例にのみ限定されるものではなく、要旨を変更しない範囲内で種々の変形や変更が可能である。
【図面の簡単な説明】
図１は、本発明を実現するトランスコーダの好適な例を示すブロック図、
図２は、併置ＨＤマクロブロックとＳＤマクロブロックとの間の関係を示す説明図、
図３は、併置ＨＤマクロブロック動きベクトルとＳＤマクロブロック動きベクトルとの間の関係を示す説明図である。
本発明は、データをあるフォーマット（または仕様）から他のフォーマットに変換するために、デジタル圧縮された符号化データ（例えばビット情報）を処理する方法および装置に関するものである。このような方法は、デジタルトランスコーディングと称され、このような機能を有する装置を、デジタルトランスコーダと称する。
発明の背景
ＩＯＳ(International Standardization Organization)のＭＰＥＧ(Moving PictureExpert Group)によって開発されたデジタルビデオ圧縮標準規格は、地上放送、電気通信およびケーブルのような広範囲のメディアに亘るデジタルビデオプログラムの配信における主技術となりつつある。ほとんどの場合ＭＰＥＧによって推奨された標準規格と同様の、または標準規格と両立し得るデジタルＨＤＴＶ（高精細度テレビジョン）標準規格は、北米およびヨーロッパにおける地上ＨＤＴＶ送信に用いられている。また、同様の技術を用いて、ケーブル、電話、光ファイバー、衛星およびＩＳＤＮ回線網によるＨＤＴＶおよび標準精細度テレビジョン（ＳＤＴＶ）が提供されている。
米国特許第 5,243,428号公報には、ＭＰＥＧ標準規格並びにそのブロックおよびフレーム符号化プロトコルが記載されている。この米国特許の内容は、この出願の内容に含まれる。フレーム間／フレーム内およびＭＰＥＧのようなビデオ符号化の関するさらに他の詳細も、次の文献にも記載されている。なお、これら文献の内容は、この出願の内容に含まれる。
“MPEG：マルチメディア用ビデオ圧縮標準規格”；
Le Gall,ACMの通信、第34巻、第４号、1991年４月
“高機能デジタル通信”；
Feher,Prentice-Hall Inc.,Englewood Cliffs, N.J. (1987)
“デジタル同時放送AD-HDTV符号化システム”；
IEEEトランザクション・オン・コンシューマ・エレクトロニクス第38巻、第４号、1992年11月
“動画及び関連オーディオの情報技術汎用符号化”；
ISO/IEC コミッティ ドラフト、1993年11月
“テストモデル５，ドラフトテストモデルエディティングコミッティ”；
ISO/IEC,1993年４月
SDTVは、ここではデジタル符号化テレビジョン信号と称され、この信号は通常の（例えばＮＴＳＣまたはＰＡＬ）型のテレビジョン画像に対する総合フォーマットおよび解像度において匹敵し得るテレビジョン画像を発生することができる。ＨＤＴＶ源の信号を通常のテレビジョンチャネル帯域幅（例えば、６ＭＨｚ）に符号化する技術を用いることによって、各チャネルに単一のＳＤＴＶプログラムの代わりに数個のＳＤＴＶプログラムを与えることができる。
ＨＤＴＶの導入は、完全なＨＤＴＶ源信号を再生し得る受像機が大部分の視聴者により得られる前に、おそらく始まるであろう。従ってＨＤＴＶ信号をＳＤＴＶ信号に変換する（即ち、これら信号をトランスコードする）必要があり、その結果これら信号はさらに処理されて、標準精細度ビデオ信号を復号化し表示し得る通常の（例えばＮＴＳＣ）テレビジョン受像機で表示することができる。
デジタルトランスコーダは伝送チェーンの中間段に、またはヘッドエンドあるいは回線交換機のような電気通信回線の部分として配置することができる。現在想像されているように、トランスコーダは中央位置から衛星または他の回線通信リンクを経てＨＤＴＶ信号を受信し、各ＨＤＴＶ信号から１つ以上のＳＤＴＶ信号をトランスコードする。次いで、これらＨＤＴＶ信号およびＳＤＴＶ信号の双方は、家庭に伝送される。
トランスコーダは、最初、ＨＤＴＶ信号およびＳＤＴＶ信号の双方に対し提供すべきチャネルを必要とする伝送チェーンに配置されるが、低価格の集積回路が容易に入手可能となり、トランスコーダを視聴者の家庭に移すことができるようになった。受信チェーンにトランスコーダを設ける利点は、（ＳＤＴＶ信号と同時放送するよりも）実際にはＨＤＴＶ信号のみを伝送でき、ＳＤＴＶ信号が占めるチャネルを他の用途に利用することができることである。
現在、ＨＤＴＶからＳＤＴＶへのトランスコーティングは、ＨＤＴＶ信号を完全に復号化して高精細度画像シーケンス（“ＨＤ画像シーケンス”）を形成することにより達成される。次に、ＨＤ画像シーケンスをフィルタリングし、サブサンプリングして低精細度画像シーケンス（“ＳＤ画像シーケンス”）を導出する。次にＳＤ画像シーケンスを処理して、ＳＤマクロブロック情報、例えばマクロブロック型情報、動きベクトル情報および量子化器情報を、符号化するために演算する。しかし、ほとんどの放送品質ビデオシステムの場合のように、完全な符号化器は高価であり、従って実際には受信（または送信）チェーンに用いるように設計された価格的に有利なトランスコーダに設けるのは困難である。
発明の概要
本発明の目的は、ＳＤシーケンスからＳＤマクロブロック情報を演算することなく価格的に有利なトランスコーディングを行う方法および装置を提供することにある。
本発明はＨＤＴＶ信号、例えば画像型情報、マクロブロック型情報、動きベクトル情報および量子化器情報の符号化されたマクロブロックに好適なＨＤ画像シーケンスおよびＨＤマクロブロック情報を復号化する方法および装置であって；
ＨＤ画像シーケンスをフィルタ処理し且つサブサンプリングしてＳＤ画像シーケンスを得；
ＨＤマクロブロック情報を用いて併置ＳＤマクロブロックの符号化に必要な対応するＳＤマクロブロック情報（例えば画像型情報、マクロブロック型情報、動きベクトル情報および量子化器情報）を直接に導出するようにしたことを特徴とする。
ＨＤマクロブロック情報を直接処理してＳＤマクロブロック情報を導出することによって、本発明は、ＳＤマクロブロック情報を導出するためにＳＤ画像シーケンスを完全に解析する必要性を排除する。このことは、ＳＤ符号処理および装置を簡単化する。その理由は、従来の方法の場合よりもメモリを充分小さくし、且つ計算の複雑性を充分少なくし、従って受信チェーンで効果的に実現し得るからである。
本願発明で説明する好適な実施例は、圧縮ＨＤＴＶ信号を圧縮ＳＤＴＶ信号にトランスコードすることに関する。一般に、同一の技術を適用して、任意の高い精細度およびビット速度ビットストリームから低い精細度およびビット速度ビットストリームへのトランスコードすることができる。
発明を実施するための最良の形態
本発明によって、ＨＤビットストリームから復号化されたＨＤマクロブロック情報を用いて、ＳＤマクロブロック情報を直接に導出することにより、圧縮ＨＤ（高精細度）ビデオデータビットストリームを、圧縮ＳＤ（低、例えば“標準”精細度）データビットストリームにトランスコードする。ここに云う“直接に”とは、ＳＤマクロブロック情報をその対応するＳＤ画像シーケンスから演算することなく、ＨＤマクロブロック情報からＳＤマクロブロック情報を導出することを意味する。
ここに提示されている参考文献には例えばＭＰＥＧデジタルビデオプロトコル、並びにＨＤおよびＳＤデジタル信号処理の双方を行うために用いられる符号器および復号器が記載されている。従ってデジタル圧縮および符号化／復号化処理並びの装置の作動の詳細はここでは詳細に説明しない。
ＨＤデータビットストリームによって、３種類の符号化画像の形式に関連する符号化情報（例えば、係数、量子化スケーリング情報および動きベクトル）を与える。これら３種類の符号化画像とは、Ｉ（フレーム内）符号化画像、Ｐ（順方向予測フレーム間）符号化画像、およびＢ（双方向予測フレーム間）符号化画像である。各Ｐ画像は、順方向に予測されたまたは個別のフレーム内符号化マクロブロックを含むことができる。各Ｂ画像は、順方向に予測された、双方向に予測された、またはフレーム内符号化されたマクロブロックを含むことができる。各Ｉ画像は、Ｉ符号化されたマクロブロックのみを含むことができる。ＨＤデータビットストリームを復号化して、画素（例えば１６×１６画素）の最初に符号化されたＨＤマクロブロックを再生する。次に、これらのマクロブロックをさらに処理して、ＨＤ画像シーケンスを形成する。トランスコーダの好適な例を説明する図１に示すように、ＨＤ情報およびＨＤ画像シーケンスをＨＤ復号器１０で導出する。次に、このＨＤ画像シーケンスをフィルタリングし、且つサブサンプラー２０でサブサンプルリングしてＳＤ画像シーケンスを形成し、これを部分ＳＤ符号器４０に供給する。
ＳＤマクロブロック情報を演算するためにＳＤ画像シーケンスをさらに処理する従来例の場合と相違して、本発明によれば、ＨＤマクロブロック情報からＳＤマクロブロック情報を直接に導出して、サブサンプラー２０により供給されたＳＤ画像シーケンスを、部分ＤＳＤ符号器４０内でＳＤ符号化データビットストリームに符号化する。
ＨＤマクロブロック情報は、各々が４つの“併置”ＨＤマクロブロックより成る各群に対してモード情報を含み、モード情報をモード選択プロセッサ５０に供給する。このモード情報は、次のものを含む：
ａ）群のマクロブロックの各々に対して用いられる予測の種類、予測の種類は、順方向に予測された、双方向に予測された、またはフレーム内符号化された、即ち、予測（フレーム内）されていないことを含む。フィールド予測またはフレーム予測を用いるか否か。；
ｂ）各マクロブロックが量子化器スケール情報を含むか否か。；
ｃ）各マクロブロックが残留係数データを含むか否か、および残留係数データを含む場合には、それがフィールドＤＣＴ符号化されたものであるかまたはフレームＤＣＴ符号化されたものであるか。；
ｄ）各マクロブロックが動き情報を含むか否か。
ここに云う“併置マクロブロック”とは、ＳＤ画像の対応するＳＤマクロブロックを形成すべきＨＤ画像の部分を形成するＨＤマクロブロックの群を意味するものとする。併置ＨＤマクロブロックとＳＤマクロブロックとの間の関係を図２に示す。
ＳＤ画像内の位置ｘ，ｙに位置する各ＳＤマクロブロックと、ＨＤ画像内の位置Ｘ，Ｙに位置する（大きさＳｘ，Ｓｙの）ＨＤ画像の対応する部分との間の関係を、式Ｘ＝Ｒ＊ｘ，Ｙ＝Ｒ＊ｙおよびＳｘ＝Ｓｙ＝１６＊Ｒで表わし、ここにＲは各ディメンション（ｘおよびｙ）のスケールファクタに等しい。この説明を行うために、ＨＤ画像およびＳＤ画像のアスペクト比が同一であり、Ｒ＝２であるものとする。従って１つのＳＤマクロブロック（ｍｂ１）は、４つのＨＤマクロブロック（ＭＢ１，ＭＢ２，ＭＢ３およびＭＢ４）に相当する。
トランスコーディング処理により形成されるＳＤ画像が、異なるアスペクト比、例えば４×３を有する場合には、サイドパネルを用いてＨＤビデオ領域を選択し、同一のアスペクト比を保持することができる。ＳＤの各マクロブロックに対しては、これをＨＤの対応する領域にマッピングすることができる。この領域によって完全にまたは部分的にカバーされるＨＤマクロブロックの全ては、特定のＳＤマクロブロックの併置マクロブロックとして用いられる。
また、ＨＤ復号器１０は、次の情報を与える。即ち、
ａ）バッファ制御兼適応量子化器３０に対し、各マクロブロックの符号化に用いられるビットの数；
ｂ）バッファ制御兼適応量子化器３０に対する、各マクロブロックの量子化情報（ｑHD）；および
ｃ）動き推定プロセッサ６０に対する、各マクロブロックの動きベクトル情報；である。
個別のマクロブロックに関する上記情報の他に、ＨＤ復号器１０によってトランスコーダのモジュール２０，３０，５０および６０に対し各ＨＤマクロブロックが（例えばＩ，ＰまたはＢ）の一部分となる画像の形式に関する情報を与える。
各々が４つの１６×１６画素ＳＤマクロブロックより成る各群を用いて、併置１６×１６画素ＨＤマクロブロックを導出する。
各ＳＤマクロブロックのマクロブロックタイプは、モード選択プロセッサ５０で併置ＨＤマクロブロックからのモード情報に基づいて定められる。
マクロブロックのモード関係は、次に示す一般項で表わすことができる。
t(mb1)=G[T1(MB1),T2(MB2),T3(MB3),・・・,Tn(MBn)]
ここにＧは関数または演算、ｎは併置ＨＤマクロブロックの総数、ｔはＳＤマクロブロックmb1に割当てるべきモード、およびＴ１〜Ｔｎは併置マクロブロックの各モードである。
ＳＤマクロブロックモードは、例えば、ＨＤマクロブロックＭＢ１〜ＭＢｎの群の各ＨＤマクロブロックの各マクロブロックモードを定めるとともに、何れのモードが上記群内で最も頻繁に用いられるかを定めるために各特定のモードを用いる回数を計数し続けるプロセスＧによって定めることができる。次に、ＨＤマクロブロックの群で最も頻繁に用いられるモードを、ＳＤマクロブロックmb1に割当てる。同様に、併置マクロブロックＭＢ１〜ＭＢｎの各々のうちの残留データを符号化するために最も頻繁に用いられるＤＣＴ符号化の種類を用いてＳＤマクロブロックmb1に用いるべきＤＣＴ符号化の種類を定める。
複数を表わすモードが存在しない場合には（即ち、“等しい（ｔｉｅ）”の場合には）、テーブルＩの優先リストを適用して特定のＳＤマクロブロックに対する予測の種類を定めることができる。
テーブルＩは、ＳＤビデオに対する総合符号化性能を最大とするための発見的方法に基づいている。
各ＨＤ画像に対して、対応するＳＤ画像が同一の画像の形式（Ｉ，ＰまたはＢ）を有する。テーブルＩは、画像の形式に従って編成される。ＳＤマクロブロックに割当てられ得る可能なマクロブロックカテゴリを欄の最上部に最高の優先度、欄の最下部に最低の優先度でリストされる。テーブルＩの使用を、次の例により示すことができる。
ＨＤ併置マクロブロックがＰ画像の一部分である場合には、対応するＳＤマクロブロックをＰ画像（ヘッドＰの欄）に対して求める。２つのフレーム内符号化併置マクロブロックと２つのフィールド予測マクロブロックとの間が“等しい(tie)”場合には、ＳＤマクロブロックはフレーム内符号化されるであろう。その理由は、ＨＤマクロブロックの２つのカテゴリのうち、クレーム内が最高となるからである。
各画像の形式に対し、ＤＣＴ符号化タイプ（即ち、フレームまたはフィールドに基づく）も、定められる。“等しい(tie)”場合には、フィールドＤＣＴがＳＤマクロブロックに対して選択される。
ＳＤマクロブロックを選択した後、ＳＤマクロブロックの動きベクトルを定めることができる。動き補償は、ＳＤ符号器４０の各ＳＤマクロブロックに対して、そのＳＤマクロブロックモードおよびその動きベクトルに基づいて常時行われる。導出された各ＳＤマクロブロックタイプとともに、ＨＤマクロブロックの各群に対する動きベクトルを用いて、併置ＳＤマクロブロックに対してベクトルを定める。
フレーム内ＳＤマクロブロックに対しては、動きベクトルを用いない。順方向に予測されたマクロブロックに対しては、mb1の順方向フレームまたはフィールド動きベクトルは、図３に示すように、且つ後に一層詳細に説明するように、ＨＤマクロブロックＭＢ１〜ＭＢ４に対する順方向フレームおよびフィールド動きベクトルの関数である。mb1の逆方向フレームまたはフィールド動きベクトルはＨＤマクロブロックＭＢ１〜ＭＢ４に対する逆方向フレームおよびフィールド動きベクトルの関数である。ＳＤマクロブロックmb1の動きベクトルの初期推定が定められると、これら動きベクトルのオフセットを有する追加の動き推定を更に詳細に行うことができる。
動き補償は、ＳＤ符号器４０により行って、残部を再演算する。
ＳＤマクロブロックmb1に初期動きベクトルは、以下に説明する方法によって、ＨＤ復号器１０により供給されるＨＤ動きベクトルを用いる動き推定プロセッサ６０で推定する。
ＳＤマクロブロックmb1の動きベクトルの初期推定は、例えば各方向（順方向／逆方向）におけるＨＤマクロブロックＭＢ１〜ＭＢｎの動きベクトルの平均値をＲで除算することにより定めることができる。換言すれば、ＨＤマクロブロックＭＢ１からＭＢｎまで、その構成（フィールド／フレーム）に関係なく、同一方向（順方向／逆方向）に属する動きベクトルを平均化する必要がある。
初期動きベクトルの所望の推定がフレームに基づくものである場合には、全てのＨＤフィールド動きベクトルは、動き推定プロセッサ６０において、平均化処理前に各フィールド動きベクトルの垂直成分を１／２とすることによって、対応するＨＤフレーム動きベクトルに変換する。初期動きベクトルの所望の推定がフィールドに基づくものである場合には、全てのフレーム動きベクトルは、平均化処理前に、これらフレーム動きベクトルの垂直成分を２倍とすることによって、対応するフィールド動きベクトルに変換する。
各群の併置マクロブロックは動きベクトルの種類および値が異なる場合があるため、これらＨＤ動きベクトルから直接に導出した併置ＳＤマクロブロックの初期動きベクトルは極めて正確なものとはなり得ず、従って追加の動き推定を必要とする。併置ＨＤ動きベクトルから良好な初期推定を行う場合には、必要な動きベクトルの量は完全なＳＤ符号器が必要とする動きベクトルよりも著しく少ない。
バーストな（圧縮）データを一定の速度で伝送させるには、符号器および復号器にバッファを必要とする。１つの符号器バッファおよび多数の復号器バッファ（情報は符号器から復号器に向かって一方向にのみ伝送される）を必要とする放送シナリオを考察する。符号器によって、復号器のバッファの何れもがオーバーフローまたはアンダーフローしないようにする。符号器がビデオバッファ状態信号（vbv_delay）を発生させることにより、ＭＰＥＧはこの問題に対処する。符号器によって、そのバッファが現在の画像の復号化の状態以前とする状態を復号器を知らせるために、画像（フレームとも称する）毎のvbv_delayを伝送する。
トランスコーダがＨＤビットストリームからＳＤビットストリームを発生するので、ＳＤビットストリームがＳＤ復号器におけるビデオバッファ制御を必要とすることにより課せられる制約を満足し得るようにする必要がある。換言すれば、ＳＤビットストリームに対しビット速度およびバッファの大きさが変化するため、ＨＤビットストリーム（ＨＤvbv_delay）のビデオバッファ制御情報は、トランスコードされたＳＤビットストリーム（ＳＤvbv delay）に対するビデオバッファ制御情報に修正する必要がある。これは次に示すようにバッファ制御兼適応量子化器３０で行なわれる。
ＨＤ符号器によってビデオバッファ条件が前記文献に示すようにＨＤvbv delay信号を供給することにより満足となるようにする。数学的にはＨＤビデオバッファ制御情報の要件は次式で表わされる。
０＜ＯＨＤ＜ＢＨＤ
ここにＯＨＤはフレーム復号化直前および直後にＨＤ符号器に結合された仮想復号器のビデオバッファの占有度であり、ＢＨＤはバッファのサイズである。
同様に、ＳＤビデオバッファ制御情報の対応する要件は、次式で表わされる。
０＜ＯＳＤ＜ＢＳＤ
ここにＯＳＤはフレーム復号化直前および直後にＳＤ符号器に結合された仮想復号器のビデオバッファの占有度であり、ＢＳＤはバッファのサイズである。この要件は、バッファ制御器を具えるトランスコーダのバッファ制御兼適応量子化器３０を用いることにより満足させることができる。これは、バッファ占有度とバッファサイズとの間の関係が真であるならば、ＯＳＤへの制限が下記に示されるようになると云う事実を利用している。
ＯＳＤ＝（ＢＳＤ／ＢＨＤ）ＯＨＤ
バッファ制御兼適応量子化器３０は、各ＨＤマクロブロックの符号化に用いられるビット数を受けて、次式を用いて各ＨＤ画像の符号化に用いられるビット数を計算する。
ＢＩＴＳ＿ＳＤｉ＝（ＢＳＤ／ＢＨＤ）ＢＩＴＳ＿ＨＤｉ
ここにＢＩＴＳ＿ＳＤｉは対応するＳＤ画像ｉの符号化に用いる必要のあるビットの推定数であり、ＢＩＴＳ＿ＨＤｉは対応するＨＤ画像ｉの符号化に用いられるビットの実際の数である。
このことは、バッファ占有度に対する制御が厳しいことを要求することに留意すべきである。換言すれば、画像当たりの実際の符号化ビットは、目標ビットの推定数に近くなければならない。
ＢＩＴＳ＿ＳＤｉを現在のＳＤ画像に対して計算した後、ＢＩＴＳ＿ＳＤｉを得るＳＤ画像に対する平均量子化器スケール(ＱｉSD)を、次のようにバッファ制御兼適応量子化器３０で計算する。
ＳＤ画像（Ｃｉ）の複雑性は次式により表わされる。
Ｃｉ＝BITS_SDi＊ＱｉSD
同様に、前のＳＤ画像の複雑性も次式により表わされる。
Ｃｉ-1＝BITS_Sdi-1＊Ｑｉ-1SD
画像から画像へ品質の連続性を実現するためには、ＣｉをＣｉ−１に等しくする必要がある。従って、推定平均量子化器のステップサイズを解くために次式を得る：
ＱｉSD＝(BITS_SDi-1＊Ｑｉ-1SD)/BITS_SDi
併置ＨＤ画像のＨＤマクロブロックの各々に対する量子化器のステップサイズ値（ｑHD）は、バッファ制御兼適応量子化器３０に対するＨＤ復号器１０によって与えられる。現在のＨＤ画像に対する平均量子化器スケールＱHDを与えるために、バッファ制御兼適応量子化器３０によってＨＤ画像に対するｑHD値の平均値を計算する。また、バッファ制御兼適応量子化器３０によって値ＱｉSDをも計算する。その理由は、値Ｑｉ−１SDおよびBITS_SDi-1がそのバッファに保持されているからである。トランスコーティング処理の始めでは、値Ｑｉ−１SDの第１値が得られる前に、値ＱHSを値Ｑｉ−１SDの代わりに用いることができる。
ＳＤ画像を符号化するために利用できるビットは、ＳＤ画像の符号化に用いられるビットの数を増大することなくその実質的な品質を増大するように割当てる必要がある。これは、雑音に敏感な領域（例えば、平坦で低いアクティビティ領域）を微細に量子化しながら、複雑な画像の領域（見えにくい）における大きな歪を許容することによって実現される。マクロブロックに透起された歪みを求めるとともにこれにより発生するビットの数を求める各ＳＤマクロブロックに対する量子化ステップサイズｑSDは、次の３つのファクタ：(１)推定平均量子化器ステップサイズＱSD、(２)バッファ状態ＯＳｉSD（これは、バッファ制御兼適応量子化器３０のバッファの現在の占有度を読取ることによって得られる、および(３)そのＳＤ画像の他のマクロブロックに対する各ＳＤマクロブロックの相対的複雑性からバッファ制御兼適応量子化器３０によって計算する。この量子化ステップサイズｑSDは次式で表わされる。
ｑSD＝（Ｑｉ，ＯＳＤｉ，ｃｊ）
ここにマクロブロックの平均的な複雑性ｃｊは、次式で示すようにＨＤ符号化ビットストリームから得られた以下の量の関数である。
Cj=f(qHD1, qHD2, qHD3, qHD4,・・・, qHDn;b1,b2,b3,b4,・・・,bn)
ここに、ｂは各ＨＤマクロブロックのビットの数である。例えば、cj=次の積のうちから得た最小値：(b1qHD1);(b2qHD2);(b3qHD3);(b4qHD4)
上述した手順の根拠は、雑音に最も敏感なＨＤマクロブロックに基づくＳＤマクロブロックを符号化することにより、“最悪の”場合を処理することである。同一の量子化ステップに対し、少数のビットが、より低いアクティブティ、従って雑音に最も敏感であることを意味する。
本発明は上述した例にのみ限定されるものではなく、要旨を変更しない範囲内で種々の変形や変更が可能である。
【図面の簡単な説明】
図１は、本発明を実現するトランスコーダの好適な例を示すブロック図、
図２は、併置ＨＤマクロブロックとＳＤマクロブロックとの間の関係を示す説明図、
図３は、併置ＨＤマクロブロック動きベクトルとＳＤマクロブロック動きベクトルとの間の関係を示す説明図である。
Claims (14)
- 第１のデータビットストリームを、第２のデータビットストリームにトランスコードする方法であって、
ａ）前記第１のデータビットストリームから、第１の解像度を有する第１の画像シーケンスを復号化するステップと、
ｂ）前記第１のデータビットストリームの第１のマクロブロックのマクロブロックパラメータ表すマクロブロック情報を導出するステップと、
ｃ）前記第１の画像シーケンスから、前記第１の解像度よりも低い第２の解像度を有する第２の画像シーケンスを有する第２の画像シーケンスを導出するステップと、
ｄ）前記第２の画像シーケンスおよび前記マクロブロック情報から第２のデータビットストリームを符号化するステップとを含み、
前記第２のデータビットストリームは、前記第１のマクロブロックのマクロブロック情報から導出された第２のマクロブロック情報を含む方法。 - 前記第１および第２のデータビットストリームの両方は、ＭＰＥＧフォーマットされている請求項１に記載の方法。
- 前記マクロブロック情報は、予測情報を含む、請求項１に記載の方法。
- 前記マクロブロック情報は、量子化器スケール情報を含む、請求項１に記載の方法。
- 前記マクロブロック情報は、動き情報を含む、請求項１の記載の方法。
- 前記マクロブロック情報は、変換係数情報を含む、請求項１に記載の方法。
- 前記マクロブロック情報は、動き情報，予測情報，量子化器情報，変換係数情報を含む、請求項１に記載の方法。
- 第１のデータビットストリームを、第２のデータビットストリームにトランスコードする装置であって、
ａ）前記第１のデータビットストリームから、第１の解像度を有する第１の画像シーケンスを復号化する復号器と、
ｂ）前記第１のデータビットストリームの第１のマクロブロックのマクロブロックパラメータ表すマクロブロック情報を導出する少なくとも１個のプロセッサと、
ｃ）前記第１の画像シーケンスから、前記第１の解像度よりも低い第２の解像度を有する第２の画像シーケンスを有する第２の画像シーケンスを導出するサンプラーと、
ｄ）前記第２の画像シーケンスおよび前記マクロブロック情報から第２のデータビットストリームを符号化する符号器とを具え、
前記第２のデータビットストリームは、前記第１のマクロブロックのマクロブロック情報から導出された第２のマクロブロック情報を含むトランスコーダ装置。 - 前記第１および第２のデータビットストリームの両方は、ＭＰＥＧフォーマットされている請求項８に記載のトランスコーダ装置。
- 前記マクロブロック情報は、予測情報を含む、請求項８に記載のトランスコーダ装置。
- 前記マクロブロック情報は、量子化器スケール情報を含む、請求項８に記載のトランスコーダ装置。
- 前記マクロブロック情報は、動き情報を含む、請求項８に記載のトランスコーダ装置。
- 前記マクロブロック情報は、変換係数情報を含む、請求項８に記載のトランスコーダ装置。
- 前記マクロブロック情報は、動き情報，予測情報，量子化器情報，変換係数情報を含む、請求項８に記載のトランスコーダ装置。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US08/167,394 | 1993-12-15 | ||
| US08/167,394 US6870886B2 (en) | 1993-12-15 | 1993-12-15 | Method and apparatus for transcoding a digitally compressed high definition television bitstream to a standard definition television bitstream |
| PCT/IB1994/000397 WO1995017795A1 (en) | 1993-12-15 | 1994-12-06 | Method and apparatus for transcoding a digitally compressed high definition television bitstream to a standard definition television bitstream |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08506954A JPH08506954A (ja) | 1996-07-23 |
| JP3904115B2 true JP3904115B2 (ja) | 2007-04-11 |
Family
ID=22607199
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP51729595A Expired - Lifetime JP3904115B2 (ja) | 1993-12-15 | 1994-12-06 | デジタル圧縮高精細度テレビジョンビットストリームを標準高精細度テレビジョンビットストリームにトランスコードする方法および装置 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US6870886B2 (ja) |
| EP (1) | EP0683957B1 (ja) |
| JP (1) | JP3904115B2 (ja) |
| CA (1) | CA2156180C (ja) |
| DE (1) | DE69418310T2 (ja) |
| WO (1) | WO1995017795A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10225624B2 (en) | 2014-01-03 | 2019-03-05 | Interdigital Ce Patent Holdings | Method and apparatus for the generation of metadata for video optimization |
Families Citing this family (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5715009A (en) * | 1994-03-29 | 1998-02-03 | Sony Corporation | Picture signal transmitting method and apparatus |
| JP3058028B2 (ja) * | 1994-10-31 | 2000-07-04 | 三菱電機株式会社 | 画像符号化データ再符号化装置 |
| CA2265089C (en) * | 1998-03-10 | 2007-07-10 | Sony Corporation | Transcoding system using encoding history information |
| US6504826B1 (en) * | 1998-08-24 | 2003-01-07 | Hitachi, Ltd. | Digital broadcasting receiver |
| US6768774B1 (en) * | 1998-11-09 | 2004-07-27 | Broadcom Corporation | Video and graphics system with video scaling |
| US6353459B1 (en) * | 1999-03-31 | 2002-03-05 | Teralogic, Inc. | Method and apparatus for down conversion of video data |
| JP3694888B2 (ja) * | 1999-12-03 | 2005-09-14 | ソニー株式会社 | 復号装置および方法、符号化装置および方法、情報処理装置および方法、並びに記録媒体 |
| JP2001346201A (ja) * | 2000-03-27 | 2001-12-14 | Sony Corp | 画像符号化装置とその方法、画像復号化装置とその方法、画像記録装置、画像伝送装置 |
| US7039115B1 (en) * | 2000-09-20 | 2006-05-02 | General Instrument Corporation | Processor allocation for channels in a video multi-processor system |
| US6765966B2 (en) * | 2000-12-19 | 2004-07-20 | General Instrument Corporation | Methods and apparatus for re-encoding a high definition television signal to create a standard definition television signal |
| US20020191116A1 (en) * | 2001-04-24 | 2002-12-19 | Damien Kessler | System and data format for providing seamless stream switching in a digital video recorder |
| US7126991B1 (en) | 2003-02-03 | 2006-10-24 | Tibet MIMAR | Method for programmable motion estimation in a SIMD processor |
| US7142601B2 (en) * | 2003-04-14 | 2006-11-28 | Mitsubishi Electric Research Laboratories, Inc. | Transcoding compressed videos to reducing resolution videos |
| JP4470431B2 (ja) * | 2003-10-01 | 2010-06-02 | ソニー株式会社 | データ処理装置およびその方法 |
| US7839998B2 (en) * | 2004-02-09 | 2010-11-23 | Sony Corporation | Transcoding CableCARD |
| CN1943241A (zh) * | 2004-04-06 | 2007-04-04 | 皇家飞利浦电子股份有限公司 | 用于接收视频数据的设备和方法 |
| US7881546B2 (en) * | 2004-09-08 | 2011-02-01 | Inlet Technologies, Inc. | Slab-based processing engine for motion video |
| US8412774B2 (en) | 2006-04-29 | 2013-04-02 | At&T Intellectual Property I, L.P. | Picture-in-picture video content distribution |
| US8009236B2 (en) | 2006-11-01 | 2011-08-30 | Level 3 Communications, Llc | Broadcast transmission relay circuit |
| US7995151B2 (en) | 2006-11-01 | 2011-08-09 | Level 3 Communications, Llc | Broadcast method and system |
| US20080181298A1 (en) * | 2007-01-26 | 2008-07-31 | Apple Computer, Inc. | Hybrid scalable coding |
| GB2449631B (en) * | 2007-05-21 | 2012-02-15 | Doo Technologies Fze | Method and system for processing of images |
| US8098732B2 (en) * | 2007-10-10 | 2012-01-17 | Sony Corporation | System for and method of transcoding video sequences from a first format to a second format |
| KR20100057388A (ko) * | 2008-11-21 | 2010-05-31 | 삼성전자주식회사 | 버퍼 상태에 적응적인 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치 |
| US20100226437A1 (en) * | 2009-03-06 | 2010-09-09 | Sony Corporation, A Japanese Corporation | Reduced-resolution decoding of avc bit streams for transcoding or display at lower resolution |
| US20100309975A1 (en) * | 2009-06-05 | 2010-12-09 | Apple Inc. | Image acquisition and transcoding system |
| US20130243100A1 (en) | 2012-03-15 | 2013-09-19 | Mediatek Inc. | System and Method for Adaptive Frame Re-compression in Video Processing System |
| EP2763401A1 (de) | 2013-02-02 | 2014-08-06 | Novomatic AG | Eingebettetes System zur Videoverarbeitung mit Hardware-Mitteln |
| CN113163211B (zh) * | 2018-06-30 | 2023-01-03 | Oppo广东移动通信有限公司 | 基于合并模式的帧间预测方法及装置 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4475213A (en) * | 1982-12-27 | 1984-10-02 | At&T Bell Laboratories | Digital code converter |
| FR2599201A1 (fr) * | 1986-05-23 | 1987-11-27 | Trt Telecom Radio Electr | Dispositif de codage a modulation differentielle par impulsions codees, dispositif de decodage associe et systeme de transmission comportant au moins un tel dispositif de codage ou de decodage |
| IL80103A0 (en) * | 1986-09-21 | 1987-01-30 | Eci Telecom Limited | Adaptive differential pulse code modulation(adpcm)system |
| US4866519A (en) * | 1987-09-02 | 1989-09-12 | Scientific Atlanta, Inc. | Method and apparatus for increasing the vertical definition of a transmitted television signal |
| EP0439471A1 (de) * | 1988-09-13 | 1991-08-07 | Deutsche Thomson-Brandt Gmbh | Übertragungssystem |
| US5049992A (en) * | 1990-08-27 | 1991-09-17 | Zenith Electronics Corporation | HDTV system with receivers operable at different levels of resolution |
| US5243428A (en) | 1991-01-29 | 1993-09-07 | North American Philips Corporation | Method and apparatus for concealing errors in a digital television |
| US5262854A (en) * | 1992-02-21 | 1993-11-16 | Rca Thomson Licensing Corporation | Lower resolution HDTV receivers |
| US5253056A (en) * | 1992-07-02 | 1993-10-12 | At&T Bell Laboratories | Spatial/frequency hybrid video coding facilitating the derivatives of variable-resolution images |
| US5270813A (en) * | 1992-07-02 | 1993-12-14 | At&T Bell Laboratories | Spatially scalable video coding facilitating the derivation of variable-resolution images |
| CA2115976C (en) * | 1993-02-23 | 2002-08-06 | Saiprasad V. Naimpally | Digital high definition television video recorder with trick-play features |
| AU685444B2 (en) * | 1993-03-26 | 1998-01-22 | British Telecommunications Public Limited Company | A transcoder |
-
1993
- 1993-12-15 US US08/167,394 patent/US6870886B2/en not_active Expired - Fee Related
-
1994
- 1994-12-06 JP JP51729595A patent/JP3904115B2/ja not_active Expired - Lifetime
- 1994-12-06 DE DE69418310T patent/DE69418310T2/de not_active Expired - Lifetime
- 1994-12-06 EP EP95900902A patent/EP0683957B1/en not_active Expired - Lifetime
- 1994-12-06 WO PCT/IB1994/000397 patent/WO1995017795A1/en active IP Right Grant
- 1994-12-06 CA CA002156180A patent/CA2156180C/en not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10225624B2 (en) | 2014-01-03 | 2019-03-05 | Interdigital Ce Patent Holdings | Method and apparatus for the generation of metadata for video optimization |
Also Published As
| Publication number | Publication date |
|---|---|
| WO1995017795A1 (en) | 1995-06-29 |
| DE69418310T2 (de) | 1999-11-04 |
| CA2156180C (en) | 2005-05-24 |
| DE69418310D1 (de) | 1999-06-10 |
| US20020001343A1 (en) | 2002-01-03 |
| US6870886B2 (en) | 2005-03-22 |
| JPH08506954A (ja) | 1996-07-23 |
| EP0683957A1 (en) | 1995-11-29 |
| CA2156180A1 (en) | 1995-06-29 |
| EP0683957B1 (en) | 1999-05-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3904115B2 (ja) | デジタル圧縮高精細度テレビジョンビットストリームを標準高精細度テレビジョンビットストリームにトランスコードする方法および装置 | |
| US8300688B2 (en) | Method for video transcoding with adaptive frame rate control | |
| US6343098B1 (en) | Efficient rate control for multi-resolution video encoding | |
| US7039108B2 (en) | Method and device for coding and decoding image sequences | |
| EP1287704B1 (en) | Video size conversion and transcoding from mpeg-2 to mpeg-4 | |
| US20070132784A1 (en) | Circuit and method for modifying a region of an encoded image | |
| EP1725042A1 (en) | Fade frame generating for MPEG compressed video data | |
| US6614845B1 (en) | Method and apparatus for differential macroblock coding for intra-frame data in video conferencing systems | |
| JPH07322269A (ja) | ビデオデータを有するビットストリームを符号変換する方法および装置 | |
| MXPA04011439A (es) | Metodo y aparato para transcodificar flujos de bits de video comprimido. | |
| US6961377B2 (en) | Transcoder system for compressed digital video bitstreams | |
| JP2000078471A (ja) | 可処分フレ―ムのみを使用したロゴ挿入 | |
| JP2002152759A (ja) | 画像情報変換装置および画像情報変換方法 | |
| US7079578B2 (en) | Partial bitstream transcoder system for compressed digital video bitstreams | |
| JPH07212761A (ja) | 階層符号化装置及び階層復号化装置 | |
| US7262806B2 (en) | System and method for aligned compression of interlaced video | |
| US6556714B2 (en) | Signal processing apparatus and method | |
| Aramvith et al. | MPEG-1 and MPEG-2 video standards | |
| JP4608801B2 (ja) | 画像情報変換装置及び方法 | |
| JP2001346207A (ja) | 画像情報変換装置及び方法 | |
| JP2006525731A (ja) | 新標準への移行をサポートする多階層符号化 | |
| JP4517465B2 (ja) | 画像情報変換装置及び方法並びに符号化装置及び方法 | |
| US7012959B2 (en) | Picture information conversion method and apparatus | |
| US7804899B1 (en) | System and method for improving transrating of MPEG-2 video | |
| KR0171756B1 (ko) | 디지탈 디비에스수신기의 정지영상 추출장치 및 그 추출방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050222 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20050520 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20050704 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050822 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060509 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20060808 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20060925 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060915 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061031 |
|
| R155 | Notification before disposition of declining of application |
Free format text: JAPANESE INTERMEDIATE CODE: R155 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070104 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100119 Year of fee payment: 3 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100119 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100119 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110119 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120119 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130119 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140119 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |