JP5306358B2 - 追加情報能力を持つマルチメディア符号化及び復号 - Google Patents

追加情報能力を持つマルチメディア符号化及び復号 Download PDF

Info

Publication number
JP5306358B2
JP5306358B2 JP2010526986A JP2010526986A JP5306358B2 JP 5306358 B2 JP5306358 B2 JP 5306358B2 JP 2010526986 A JP2010526986 A JP 2010526986A JP 2010526986 A JP2010526986 A JP 2010526986A JP 5306358 B2 JP5306358 B2 JP 5306358B2
Authority
JP
Japan
Prior art keywords
additional information
information
mode
encoding
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010526986A
Other languages
English (en)
Other versions
JP2010541383A (ja
Inventor
トゥラピス、アレクサンドロス
レオンタリス、アサナシオス
ステック、ケビン・ジェイ
Original Assignee
ドルビー ラボラトリーズ ライセンシング コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ドルビー ラボラトリーズ ライセンシング コーポレイション filed Critical ドルビー ラボラトリーズ ライセンシング コーポレイション
Publication of JP2010541383A publication Critical patent/JP2010541383A/ja
Application granted granted Critical
Publication of JP5306358B2 publication Critical patent/JP5306358B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/467—Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本出願は２００７年９月２８日に出願された、発明の名称「追加情報能力を持つマルチメディア「符号化及び復号」の米国仮出願第60/976,185号の優先権の利益を享受するものである。
ビデオ及び/又は音響のマルチメディア信号の符号化及び復号はチャンネル上に送られる情報量を減少させるために極端に圧縮されることが多い。エンコーダは信号を最も効率的に符号化する圧縮パラメータを選択するためにしばしば圧縮の最適化ルーチンを行う。
本願発明は、二次情報が、使用される特定の符号化に対する制約により符号化され得るビデオ信号と共に二次情報を伝送するための技術に関する。
本明細書に記載の実施の態様は予測タイプとしての制約を持つこともある。本明細書の実施の態様はまた開始及び終了コードを持っても良い。ある実施の態様においては、トランスポート層から独立のビデオビットストリーム内に種々の二次情報を埋め込むことを含んでも良い。二次情報はエンコーダにより符号化されそしてその後復号される一連のビットであっても良い。符号化はレガシーシステムに完全に透明であっても良い。本明細書のある実施の態様においては、サブオプティカル（suboptical）符号化決定の様な符号化の決定がどのように、次の符号化決定により少なくとも部分的に補償され得るかを示す。本明細書のある実施の態様は、レガシーシステムが二次情報に対する支持を提供するか否かに関わらず、レガシーシステムと共に用いても良い。
添付する図面に関して、これらの及び他の特徴を詳細に説明する。
図１はＡＶＣビデオ符号化標準での異なるマクロブロック及びサブマクロ区分のサンプルを表す。 図２はＡＶＣ標準での異なるイントラ４Ｘ４予測モードの例を表す。 図３はＶＣ標準での異なるイントラ１６Ｘ１６予測モードの例を表す。 図４はイントラ予測ブロック及びＡＶＣ内の４Ｘ４ブロックスキャンの例を表す。 図５はイントラ予測ブロック及びＡＶＣ内の４Ｘ４ブロックスキャンの例を表す。 図６は符号化及び復号シーケンスの例を表すブロック略図を表す。 図７は開始コード/終了コード及び信号化の例を示す。 図８はビデオエンコーダの例のブロック略図を表す。 図９はビデオデコーダの例のブロック略図を表す。 図１０はメッセージ位置表示の実施の態様の例を表す。 図１１はビデオ符号化内のマーキンブを例を表す。
発明の詳細な説明
本明細書に実施の態様の例が記載される。以下の記述では、本願発明の完全な理解を得るために数多くの特定の詳細について記述する。しかし、本願発明は、これらの特定の詳細によらずに実施しても良い。
他の実施の態様では、周知の構造及び装置が、本願発明を不必要に不明瞭にしないためにブロック略図の形で示される。
発明の概観
本願発明のある特徴は、ある実施の態様では、離散時間メディア信号を符号化する方法を表す。この方法はメディア信号を受信し、メディア信号内で符号化される追加情報を得て、複数の異なる符号化タイプから一つの符号化タイプを選択するために追加情報を用い、一つの符号化タイプを用いるメディア信号を符号化することを含む。符号化タイプは追加情報を表す。
これら及び他の実施の態様では、任意選択的に以下の一以上の特徴を含む。メディア信号はビデオ信号であっても良い。符号化タイプはビデオ信号用の複数の予測モードの少なくとも一つを含んでも良い。前記方法は予測モードを、符号化の効果に対する影響を減少させるために選択される信号グループに纏めてグループ化することを含んでも良い。前記方法は、開始コード及び/又は終了コード及び/又は長さコードの少なくとも一つを規定し、そして追加情報に隣接するビデオ信号位置内の、開始コード及び/又は終了コード及び/又は長さコードの少なくとも一つを表すために符号化タイプを使用することを含んでも良い。開始コード及び/又は終了コードは実際のビデオでは起きることは考えられない符号化決定のシーケンスを表すこともある。追加情報はビデオ信号の内容に関係しても良く、ビデオ信号の異なる部分と一時的に同期させることができる。追加情報はビデオ信号と関係しないこともある。
前記方法は、ほぼ同様な効果を持つ符号化タイプを決定し、及びグループを形成する符号化プログラムをグループ化することを含んでも良く、前記グループ化は使用するステップが符号化効果に持つ影響を減少させることができる。この方法は二次情報に基づき選択される第一の符号化タイプを検出することを含んでも良い。前記方法は検出に基づく選択に優先することを含んでも良い。第一の符号化タイプはビデオの劣化を引起すこともある。符号化タイプに優先するステップは、ビデオの異なる領域が受領されるまで二次情報の符号化を遅らせることを含むこともありうる。検出はビデオ信号内の変化を検出するステップに基づくことを含んでもよい。優先するステップは追加情報を表すために使用されるインター符号化（inter coding）及びイントラ符号化 (intra coding)の間の変化を含んでも良い。前記方法はビデオ信号内の追加情報の最初及び/又は終了の少なくとも一つを示す外部信号を用いることを含んでも良い。追加情報を符号化するために用いられる異なる符号化タイプはイントラ対インター予測、予測の方向、サブ区分化、参照指数、動作及び照明変化パラメータ、変換及び/又は量子化パラメータを含んでも良い。
本願発明のある特徴について、ある実施の態様においては、符号化されたメディア信号を復号すること及びメディア信号を複数の異なる符号化タイプの一つとして符号化するために使用された符号化タイプを決定することを含む方法について記載する。前記方法はメディア符号化タイプと情報のビットの間の関係に接近するために符号化タイプを使用し、そして情報のビットを復号からの追加情報として得ることを含む。
これらの及び他の実施の態様では、任意選択的に一以上の次の特徴を含む。メディア信号はビデオ信号であっても良く、メディア符号化タイプはビデオ符号化モードを含む。符号化タイプはビデオ信号のための複数の予測モードの少なくとも一つを含んでも良い。前記方法は情報のビットから開始コード及び/又は終了コードの少なくとも一つを決定し、開始コード及び/又は終了コードに隣接する追加情報を検出することを含んでも良い。前記方法は追加情報をビデオ信号の異なる部分と一時的に同期するものとして検出することを含んでも良い。前記方法は追加情報がビデオ信号に関係しないことを検出することを含んでも良い。符号化タイプは追加情報を表すために使用されるインター符号化及びイントラ符号化を含むこともある。前記方法はビデオ信号内の追加情報の開始及び/又は終了の少なくとも一つを示す外部信号を検出することを含んでも良い。追加情報を符号化するために使用される異なる符号化タイプはイントラ対インター予測、予測の方向、サブ区分化、参照指数、動作及び照明変化パラメータ、変換及び/又は量子化パラメータを含んでも良い。
本願発明のある特徴について、ある実施の態様においては複数の異なる予測モードの一つにおいてメディア信号を符号化する様に動作するメディアエンコーダ、メディア信号の一部として符号化される追加情報への入力、及び追加情報に基づき複数の予測モードの一つを選択し、そして追加情報を表すために追加情報を用いることを含む装置を含む。
これらの及び他の実施の態様では、任意選択的に一以上の以下の特徴を含んでも良い。メディア信号はビデオ信号及び/又はオーディオ信号を含んでも良い。メディアエンコーダは音声エンコーダであっても良い。決定部分は予測モードを追加情報のビットに関係付ける予測テーブルを含んでも良く、そこではテーブルは予測モードを纏めて、符号化効果への影響を減少させる様に選択される信号化グループにグループ化しても良い。決定部分は、符号化効果への衝撃のために意図的に追加情報を信号化しないこともある。追加情報はエラー訂正プログラムを用いて事前に復号されても良い。この方法は開始コード及び/又は終了コードの少なくとも一つを保存し、そして追加情報に隣接するビデオ信号の位置内で開始コード及び/又は終了コードの少なくとも一つを表すエンコーダタイプを用いることを含んでも良い。
これらの及び他の実施の態様では、任意選択的に一以上の以下の特徴を含む。開始コード及び/又は終了コードは実際のビデオでは起こり難い符号化決定の順序を表すこともある。追加情報はビデオ信号の内容に関係することもあり、そしてビデオ信号の異なる部分と一次的に同期させることも出来る。追加情報はビデオ信号と関係しないこともある。決定部分は、略同様の効果を持つ符号化プログラムを示す情報、及びその使用のステップが符号化効果に与える効果を減少させる符号化プログラムのグループを含んでも良い。ビデオエンコーダは、そこで第一の符号化タイプがビデオにおいて劣化を引き起こす二次情報に基づいて選択される第一の符号化タイプを検出することができる。ビデオエンコーダはその検出に基づいて第一の符号化タイプを用いるステップに優先しても良い。ビデオエンコーダの操作に優先するステップは二次情報の符号化をビデオの異なる領域まで遅らせることを含んでも良い。ビデオエンコーダに優先するステップは追加情報を表すために使用されるインター符号化及びイントラ符号化の間の変化を含んでも良い。
これらの及び他の実施の態様では、任意選択的に一以上の以下の特徴を含んでも良い。装置は、ビデオ信号内の追加情報の始まり及び/又は終了の内の少なくとも一つを示す外部信号との接続を含んでも良い。追加情報を符号化するために使用される異なる符号化タイプはイントラ対インター予測、予測の方向、サブ区分化、参照指数、動作及び照明変化パラメータ、変換及び/又は量子化パラメータを含んでも良い。
本発明のある特徴について、ある実施の態様では、符号化されたメディア信号を復号し、そして復号のために使用された符号化のタイプを決定するデコーダを含む装置について説明する。デコーダは メディア信号を復号した複数の異なる符号化タイプの一つを決定する。この装置は符号化タイプを受信する論理部分（logic part)、ビデオ符号化タイプと情報のビットの間の関係にアクセスし、また情報のビットを復号から追加情報として出力するために符号化タイプを用いることを含む。
これらの及び他の実施の態様では、任意選択的に一以上の以下の特徴を含んでも良い。メディア信号はビデオ信号及び/又はオーディオ信号であっても良い。メディアデコーダは音声デコーダであっても良い。論理部分はメディア信号の複数の予測モード及び予測モードに関するビットを保存することができる。
論理部分はまた情報のビットの開始コード/終了コードの少なくとも一つを検出することができ、開始コード/終了コードに隣接する追加情報を検出することもある。論理部分はメディア信号に埋め込まれる情報のビット中の誤りを検出しそして訂正することができる。論理部分は追加情報を、メディア信号の異なる部分と一時的に同期するものとして検出することができる。論理部分は追加情報がメディア信号と関係しないことを検出することもある。論理部分はメディア信号中の追加情報の開始及び/又は終了の少なくとも一つを示す外部信号を検出することができる。追加情報を符号化するために使用される異なる符号化タイプはイントラ対インター予測、予測の方向、サブ区分化、参照指数、動作及び照明変化パラメータ、変換及び/又は量子化パラメータを含んでも良い。
また本明細書に記載の方法及び技術はいずれもシステム、装置又は機器、機械、コンピュータプログラム製品、ソフトウエア、ハードウエア、又はこれらの任意の組み合わせにおいて実施することができる。例えば、コンピュータプログラム製品は、コンピュータ読取可能媒体（例えば、データ保存ユニット）において明らかに符号化することができ、データ処理装置に本明細書に記載の任意の方法のための一以上の操作を実施させる指示を含んでも良い。
追加情報能力を持つマルチメディア符号化及び復号
本発明者は、メディアがビデオ、オーディオ、静止画像又は他のマルチメディア情報を含む場合、二次情報を伝送されたメディア情報と共に伝送することが望ましいことがあることを見出した。本実施の態様では、ビデオについてのみ言及しているが、オーディオを含む他の形式もまた含まれると理解されねばならない。この二次情報は情報を表すもので、本明細書に記載のある機能のために使用されても良い。
二次情報の第一の範疇にはメディア自身、例えば、ビデオに関する情報を含んでも良い。ビデオ自身に関する二次情報はしばしばメタデータと呼ばれる。この種類の二次情報は伝送された内容に関する追加の情報を提供することも出来る。例えば、ビデオ伝送システム中のメタデータの使用には、著作権の告示情報、復号プロセスを助け又は強化するために用いられる情報又はビデオに関する追加情報などの異なる使用を含むこともある。この情報は種々の応用に用いることができる。
二次情報がメタデータである場合、このメタデータをメディアと、例えば、ビデオ画像と同期させることが重要である。またメタデータの同期は、トランスポート層で変化が起きる場合でも維持されることが重要となることもある。例えば、メタデータ信号内のビットがビデオ信号内の像のブロック又はマクロブロックと関連することが望ましい。
二次情報は代替的に非メタデータ情報であっても良く、この情報はメディアに部分的に又は全体として関連しない情報である。これは隠された通信又は例えば、レガシーシステムのサポート情報でありうる。ある実施の態様においては、追加通信チャネルは、デコーダが特別なデコード部分を備えていない限り、デコーダにとり透明である。
二次情報の応用には３D画像再構築、高ダイナミックレンジ画像生成、ノイズ除去、一時補間、超解像度画像生成、及び誤り隠蔽を含むこともある。技術分野ではこれをエンドユーザーに対する隠されたメッセージ又は他の情報を提供するために使用することもある。このシステムはデジタル署名のために使用することができ、例えば、情報は暗号化された又は暗号化されていないメッセージを伝え、又は復号されたビデオの質を高めるための専有、後処理システムに用いても良い。他の応用には、ステガノグラフィー、暗号法、後プロセス法又は、評価形成、トランスコーディングヒント、誤り隠蔽、現在のシーンでの俳優又は位置の様なビデオ内容情報、広告情報、チャンネルガイド情報、スクランブル解除符号を使用しない観賞を完全に排除する第一のタイプ、又はスクランブル符号を使用せずに、低品質画像を観賞することが可能であり、そしてスクランブル符号が提供された場合は、画像を向上させる第二のタイプを含む、異なるタイプのビデオスクランブルを含む。
二次情報はbios又は他のソフトウエア アップグレード情報等を含んでも良い。トリックモード機能（trick mode functionality）は現在及び次に来る画像の間の関係についてのヒントを提供することができる場合に支持される。この情報は、速い前進及び巻き戻し機能を提供するためにデコーダにより使用されうる。このシステムはまたビットレート拡張目的のために用いることも出来る。
本明細書に開示された複数の実施の態様は、任意の上でのべた応用又はこれらを任意に組み合わせたものにおいて使用することができる。
ある実施の態様においては、第一の実施の態様で使用されるMPEG-4 AVC標準の様な符号化システムと共に作動するシステムの使用について記述する。これらの符号化システムは種々の異なる符号化モードを用いるブロック区分を表す。特定のモードが、ブロック内の情報を可能な限り効率良く圧縮するように通常エンコーダにより選択される。異なるモードでは、ビデオ信号内のテクスチャー、動作及び照明の変化を予測する異なる予測技術を用いる。例えば、これはイントラ予測及びインター予測を含んでも良い。またサブ区分法を用いても良い。例えば、ブロックのイントラ符号化は4 x 4, 8 x 8, 又は16 x 16予測ブロックについて予測しても良い。インター予測では、モードは現在の部分、例えば、マクロブロック又はブロック内のサブ区分化方法に信号を出す。各サブ区分は更にインター予測の参照画像指標と関連させても良い。運動ベクトルを超える他の情報もまた用いることができ、それらは変換サイズ、翻訳され、アフィン変換され又は他のタイプの運動ベクトル、重量の様な証明パラメータ、相殺パラメータ、異なる変換、及び量子化パラメータの様な照明パラメータを含む。
イントラ対インター予測、予測の方向、サブ区分化、参照指数、動作及び照明変化パラメータ、変換及び/又は量子化パラメータを含む、信号を符号化するこれらの異なる方法の各々は、総称的に予測情報を呼ばれる。
ある実施の態様では、予測情報とあるデータビットの間の関係を表す情報にしたがって、追加情報を符号化する特定の種類の予測情報を用いる。この情報はルックアップテーブルであり、又はモードを情報に関連付ける他の同様のテーブルである。
図１−５は、MPEG-4 AVC/H.264標準に基づいたコーデックの様に、コーデックがマクロブロックを表す種々の異なるモードを使用することができることを示す。例えば、図１に示すマクロブロックを取る場合、これは16 x 16 マクロブロックであるとすると、全体のマクロブロックは多くの異なる方法により予測することが可能である。１００は単一の運動ベクターを持つ単一の16 x 16区分として予測されるマクロブロックを示す。１０２は16 x 8 区分を、104は8 x 16区分を、106 は4つの別々の8 x 8区分が用いられていることを示す。
同様な方法で、各区分は異なる運動ベクターを持っても良い。２つの予測可能なケースでは、ブロック当たり２組の運動ベクターを伝送しても良い。8 x 8ブロックサイズまで割り振ることのできる運き補正された予測について１６までの参照があっても良い。運き補償はまた下限が1/４までのピクセル精度で実施しても良い。加重された予測法は特に照明の変化がある場合の効果を改善するために使用しても良い。
符号化効果を改善するイントラ符号化、イントラ予測モードを使用しても良い。例えば、図２は複数の異なる4 x 4 ブロックサイズを示し及びイントラ符号化がこれらのブロックサイズにおいて使用され、200において垂直、202において水平、204 でDC, 206で左側が下方である対角方向, 208で右側が下方である対角方向, 210で右側が下方である垂直方向, 212で右側が下方である水平方向, 214で左が下方である垂直方向、 及び216で右側が上方である水平方向のモードを生産するために使用することができる。これらの予測モードは各４ｘ４ブロックに対して９つの予測モート゛を提供する。
予測はまた他のブロックサイズで実施しても良い。例えば、図３はAVCが予測のために、どの様にイントラ16 x 16予測モート゛を考えているかを示す。４００は垂直予測モード゛を示し、４０２は水平予測モードを示し、４０４はDC予測モードを、そして４０６は平面予測モードを示す。予測はまた8 x 8 モードを用いてAVC内で実施することができるが、他の現今及び将来のコーデックでは他の予測ブロックサイズ又はモードを検討しても良い。
図４及び５は各4 x 4 ブロックサイズのイントラ予測ブロック、及びAVC内のそれの各走査順序を示す。
これらの図は符号化のために使用することのできる異なる予測の幾つかを示す。エンコーダは通常好ましい運転モードを提供する符号化モードを選択する。殆んどの場合、その選択は事前に決定された品質測定、ビット数及び/又は複雑度において最良の品質を提供する符号化予測に基づく。本発明者はこの選択プロセスは、それ自身情報を符号化ために使用することができ、それにより特定のモードは情報を符号化することを見出した。
ある実施の態様において、符号化に使用される特定のモードは、決定論的な方法で選択される。追加情報を表す様に特定の選択がなされる。
図６はビデオの流れの中の追加の情報を符号化するこの決定コーダー（deterministic coder)６００を用いる実施の態様を表す。決定コーダー６００は図６に示すように、符号化されるビデオ６０５を受信し、そして符号化されたビデオ６１０を生成する。上で述べた様に、この場合MPEG-4 AVC標準又は複数の異なる符号化プログラムの一つを用いて符号化することの出来る任意の他のコード体系を用いても良い。しかし図６の決定コーダーは予測又は符号化プログラムの何れを用いるかを決定するためにモードテーブル６２０を使用する。追加情報625はコーダーに入力される。メディアテーブル620は異なる予測/符号化プログラム及びその符号化プログラムで表される追加情報のデジタルビットとの関係を特定する。運転については、コーダー６００は、追加情報を表すモードテーブル６２０からモードを選択する追加情報に基づき運転される。
符号化されたビデオ６１０が追加情報６２５にしたがって符号化された。しかし、ビデオは標準的に符号化されており、特別な部分が追加されていないため、６９０の様なレガシーデコーダのみならず６５０の様な特別なデコーダの両方がこのビデオ６１０を復号することができる。レガシーデコーダ６９０はビデオを復号しビデオ出力６９９を作る。追加情報は失われるが復号は影響されない。
二次情報はモード情報を復号するように特別に構成されているデコーダ６５０から得ることができる。デコーダ６５０はエンコーダ６００により使用される同じモードテーブルであるモードテーブル６２１を含んでも良い。モードテーブル６２１は何れの符号化モードが使用されるかをデコーダが決定することにより、使用された符号化プログラムを選択する様に符号化された追加情報を結局復号する様に使用される。デコーダ内の論理モジュール６５１はビデオ６１０が特にこの情報により符号化されることを決定し、また追加情報６５２をビデオ及びモードテーブルから取り出してそれを出力する。出力された追加情報は、ビデオの領域、例えば、それを含むフレームと時間同期させることができる。
モードテーブルは情報のビット又はバイトと特定の符号化ブロックタイプの間のあらゆる関係を確立させることで形成することができる。例えば、表１はイントラマクロブロックタイプとそれの追加データの符号への割当を表す。

表１：イントラマクロブロックタイプとそのメタデータ符号への割当

Figure 0005306358
もちろん、これは単なる例示の一つに過ぎず、異なるビットを異なるモードと関連付けしても良い。
表１はイントラ符号化モードが、どの様に二次情報データ列からビット信号を送るために用いることができることを示す。異なるマクロブロックタイプは異なる二次データ信号を示す。ＡＶＣを用いる実施の態様では、クロミナンス予測を考慮しない場合でも、異なる４ｘ４イントラ予測モードの可能な組み合わせの数が９の１６乗となる。更に追加の組み合わせが、８ｘ８，又は１６ｘ１６イントラ予測、及びクロミナンス予測モードを用いて得ることができる。この実施の態様での予測は、最も効果的な符号化プログラムよりもむしろ追加情報により決定される。他の標準又は将来の標準ではより多い又は少ないモードを使用しても良い。
しかし、特定のビデオ予測を実行することは、準最適符号化プログラムを生み出すこともある。ある実施の態様においては、不適当な予測による不手際な結果は残りの部分の順次の符号化により補償することができる。これにより品質上の影響は軽減される。
ある実施の態様においては、予測信号は効果上の損傷を軽減する様にグループ化される。例えば、ある実施の態様においては、予測についてその類似性をベースにモードを分離する。
ＡＶＣの様なビデオ圧縮では、一時期に符号化する決定は将来の決定及び効果に影響を与えることもある。特に、画像ブロックをＡ0モードで符号化することは、の歪み率コスト（Rate Distortion cost）で価値コスト（value cost）0となりうる。しかし、この第一の符号化決定は隣接ブロックの圧縮効果に影響を与えることもある。特に、隣接ブロックがモード８０で符号化されている場合、コスト１になるであろう。したがって、モードA0及びB0を使うこれらの２つのブロックに対する全コストはコスト０＋コスト１となる。
代替的な決定では、これらのブロックを、第一のブロックをモードＡ１により、第二のブロックをモードＢ１により符号化する。Ａ１及びＢ１は、第一のブロックにたいしてコスト２、第二のブロックに対してコスト３となる。全コストはコスト２＋コスト３となる。
コスト０＜コスト２であることもあるが、またコスト２＋コスト３がコスト０＋コスト１と同様である（２つのブロックの共同歪み）こともありうる。これがおきると、モードＡ0に続いてＢ0を用いることは、モードＡ１に続いてＢ１を用いた場合と同等であると言われる。
この実施の態様においては、異なるバイナリー署名を各モードに、この場合は、モードペアーに割り当てる。これにより、例えば、「０」をＡ０Ｂ０に、「１」をＡ１Ｂ１に割り当てることができる。これらは同等の効果を奏するため、情報は、符号化に対する対応するコストなしで選択して信号により送ることができる。
この分離により、効果の上で同一である一組のブロックが存在し、そして圧縮のための良好なモードを確実に見出すことでできる場合もある。
この技術はより多くのブロック、モード及び信号化されたビットに一般に使用できる。例えば、図４は異なる４ｘ４ブロックの１６ブロックを示し、これは幾つかのモードの組み合わせとなることもある。これらの組み合わせの幾つかは同等の効果を奏し、もし計測した場合、メタデータバイナリー署名をモードの組み合わせに割当てる方法を決定することを可能にする。
これに基づいて、表１は符号ＡとＢと付した２つの異なる二次情報を示す。表１は図４のブロックa00のモード０とブロックa01のモード１の組み合わせが
ブロックa00とブロックa01のモード２及びモード０の組み合わせと類似の効果を平均的に提供することを示す。同様の決定論的方法が、追加信号情報を使用することなく二次情報を検出し、復号するデコーダにより用いられる。ある実施の態様においては、開始及び終了コードは二次情報の部分を画するために使用しても良い。他の追加信号情報はまた復号プロセスを助け又はヒントを提供するために使用しても良い。
ある実施の態様においては、効率化に対する影響が最小になる様な方法で
信号化の目的において何れの予測モードをグループに纏めたら良いかを分類する技術を用いる。
ある実施の態様においては、一組の予測サンプルセットPiが、利用可能なイントラ予測モードの全て又は幾つかを用いて全ての又は殆んどの予測ブロックを生成するために使用される。
各イントラ予測モードjについて、Piは予測ブロックBijとなるであろう。
各Bijについて、全ての他の予測モードに対する絶対距離がDijkと、モードjとkの間の距離が、距離(Bij-Bik)として決定される。
モードｊ対モードkの累積平均距離は
CDjk=Σ距離(Bij-Bik)
（但しiについて合計） （１）
として計算される。
これはグラフ理論を用いて、そして累積距離を２つの予測モードの間のコスト
として選択することにより評価される。その後この予測モードは、これらを最
短経路問題、例えば、旅するセールスマン問題として考えることにより分類
される。この解法により、全ての又は幾つかの予測モードは最良の符号か効果
を区分することができる。
より具体的には、グラフ中の各交点（node）は最短経路の解法にしたがってスキャンされ、各交点はその順序に基づき異なるクラスター/符号に割り当てられる。もしＮの符号があり及び区分された交点ＭがＭ＞Ｎの場合、交点Ｍは符号Ｓ（M%N）に割当てられ、式中％はモジュロオペレーター（modulo operator）である。
準最適であるがより簡単な解法が、第一に問題を複数の部分問題に分解することにより検討することが出来、ここに各部分問題は、同様の技術を用いてイントラ予測モードのサブセットを最適化することを検討する。これらのサブセットは、例えば、２つの対立する予測の方向のモードが極めて非類似であることがすでに知られておりしたがって、それらは一緒に検討することができる事実の様な、すでに事前に規定されたルールを用いて決定することができる。
他の実施の態様では、他のサイズで例えば、4 x 4, 4 x 8, 8 x 4、の現在のマクロブロック又はVC-I, AVS, VP- 6, 又はVP-7の様な他のコーデックにより支持されることのある他の任意のマクロブロックサイズのマクロブロックを符号化するための変換の信号を送る。
他の実施の態様においては、Ｐ及びＢスライスのようなインタースライスのためにこれを実行しても良い。情報を信号として送るために全ての可能なイントラ符号化モードを用いることができるが、これらはインター/動作補償符号化モードに比べて低い符号化効率である。したがって、イントラ符号化モードの使用により符号化効率が劣る。インターモードはスライスタイプ内の信号に用いても良い。
図１はＡＶＣ標準が、如何に４つの異なる区分タイプを支持し、それぞれに動作補償のための16 x 16, 16 x 8, 8 x 16及び8 x 8 区分を指示する100, 102, 104及び106として示すインター予測を用いてマクロブロックを符号化するかを示す。各8 x 8区分は更に図１に１０８として表す8 x 8 区分、図１の１１０として表す8 x 4、図１の１１２として表す4 x8、図１の１１４として表す4 x 4の４つのより小さいサブ区分に更に分けることが出来る。どのマクロブロックが使用することができたか検出するレベル及び特徴の制約を無視しても、（8 x 8サブ区分について）44= 256の可能な組み合わせが、又はマクロビット当たり8ビットがまだ可能である。
各8 x 8の区分はまた１６の異なる参照指数を考慮することができる。組み合わせ及びしたがって、信号により表される署名の数は極めて大きいものになる。例えば、１６の参照を用いることにより、412 = 16777216の組み合わせ、又はマクロブロック当たり24ビットが可能になる。
モードは、また符号化のオーバーヘッド及びパフォーマンスインパクトを低減させるために、纏めることも可能である。ビット信号のためのインターモードを使用することにより表示品位に対する影響がより小さくなることもある。
他の実施の態様においては、容量と圧縮効果を相殺するために信号目的のために限られた数のモードのみを使用しても良い。この実施の態様においては、インターマクロブロック区分のみが、8 x 8サブマクロブロック区分での参照指数を無視する信号として用いられる。これは更にマクロブロック当たり2ビットまでの信号を可能とする。エンコーダは、組み合わせと関連したモードを用い、他の全てのモードを排除することによりあるビットの組み合わせを信号として送る。そして動き検出及び参照指数の選択は通常のエンコーダと同様の方法により実施することができる。
396マクロブロックを含むCIF解像度 (352 x 288)では、これは396 x 2= 792 ビットまで、又はフレーム当たり９９バイトまでの情報を送信する能力があることを示唆する。
表２はＰスライスについてインターマクロブロックタイプ及び符号に対する割り当てを表す。

表２ ＰスライスについてのインターＭＢ及び追加情報符号への可能な割り当て
Figure 0005306358
この方法はＢスライスに拡張しても良い。
表３はＢスライス中のインターモードから8 x 8マクロブロック区分までがどの様に4ビットメッセージにそれぞれ割当てられるかを表す。Ｐスライスと同様な方法により、ある4つのビットメッセージが与えられると、エンコーダは信号として送られる適当なモードを選択する。選択により二次情報が符号化される。
表３ ＢスライスについてのインターＭＢ及びメタデータ符号への可能な割り当て

モードの増加を考慮して、信号化はより多くのビットをカバーするように拡張することができる。
Figure 0005306358
あるモードは、効果を向上させ又は品質悪化を減少させるためにメタデータの信号化から排除することができる。例えば、マクロブロックjが、現在の二次情報符号SYMjにより規定されるモードと比べて、排除されたモードの一つを用いて、極めて良好な品質と効果で符号化され得る状況を仮定すると、排除されたモードは符号化のために選択しても良い。符号SYMjは、替わってマクロブロックj+i又は、第一の続くマクロブロックを符号化するために用いられ、第一の続くマクロブロックのためには排除されたモードは符号ｊにより規定されるモードと比較してグループコード化効果において極めて大きい向上はもたらさない。
例を取ると、もし新しい領域が開かれ又は新たな対象がビデオシーンに現われた場合、その品質に衝撃を与えることなくイントラコード化を安全に使用することができるのみならず、二次情報信号のビットを些かも失うことなく使用することができる。単一フレームの包埋能力は低減されるが、圧縮効果及びそれに続く品質に対する対応する影響は低くなることもある。
また、二次情報符号に関連したモードを選択することと比較して圧縮効果の目的のために排除されたモードを選択することのエンコーダにおいての許容値を調整することも出来る。これにより包埋能力とコード化効果の間の釣り合いを図っても良い。
二次情報が過多になると圧縮能力に影響が出ることもある。ある予想では、ビデオ動画像列において二次情報はあるフレーム又は画像にのみ挿入することが必要であるとされることもある。二次情報はある画像（フレーム）に追加され、又はビットストリーム内のある画像においてのみ追加される。これは、例えば、周期的な又は擬似乱数的な方法においてのみ可能である。例証として、これは急速送り及び巻き戻し又はランダムアクセスの様なビデオトリックモードを可能とする二次情報を提供するために使用しても良い。メッセージが知られた/
事前に決められた位置に挿入することができるが、メッセージはまた種々の理由から任意の位置に挿入しても良い。したがって、その様な場合、その存在を検出し、したがって、十分にメッセージを復号することができることが重要である。
ある実施の態様においては、デコーダ６５０はメッセージを検出することができるものでなければならないが、誰も居ない時にメッセージを検出することを避けるために、意図して符号化されたメッセージを検出していることを確認することができることが重要である。同様に、メッセージは存在するがメッセージを検出しない様なフォールスネガティブ（false negative）の排除することも重要である。ある実施の態様においては、開始コード及び終了コードが二次情報を信号として送る前及び送った後にビデオストリーム内に包埋される。開始コード及び終了コードは、実際の二次情報のために使用されたと同じ技術を用いるビデオストリーム内に包埋される事前に規定されたビット列を使用しても良い。例えば、これはビット列をマクロブロック及び/又はブロック符号化モードにマッピングすることにより行っても良い。
これらのコードはフォールスポジティブを避けるため、実際のビデは希にしか又は起きないと思われる一連の符号化決定列として選択される。例えば、最初の１６ｘ８区分、次に8ｘ16区分、次に１６ｘ8区分で符号化された3つの隣接するマクロブロックに出会うことは余りあり得ないと思われる。これらのモードは水平端で対象の端と強い関係を持つため、この組み合わせは考えられない。これが起きる唯一の場合は対象が垂直方向で左及び右マクロブロック内で水平端を持つ場合である。
他の実施の態様においては、その目的でのみ使用することができ、ビットストリーム内の他の目的で使用できない開始コード及び終了コードを保存しても良い。この実施の態様においては、検出が改善されることもある。
他の開始コードは4つのマクロブロック及び16 x 16, 8 x 8, 16 x 16及び8 x 8モードを連続で用いて表すことのできる数列0110011を用いて信号化することもできる。
開始コード数列の長さを増加させることはそれに対応してフォールスポジティブの可能性を減少させることになる。しかし、それはビデオストリームの包埋容量を低減させる犠牲の上でなされる。したがって、開始コードの長さとフォールスポジティブの相殺については意図する応用に留意した上で検討すべきである。例えば、低解像度ビデオを意図する応用例では短い開始コード、より高解像度の材料はロバスト性（robustness）を改善するためにより長い開始コードを必要とすることもある。
開始コードの後は直ちに二次情報が続いても良い。ある実施の態様においては、メッセージのデータの大きさでは固定数Ｍである場合もある。動的長さの情報はまた開始コードの直ぐ後に二次情報のビット及びバイト信号で送ることができる。
図７は表２に示す信号方法にしたがって追加情報を配置する実施の態様を示す。図７の７００の様な各ボックスはマクロブロック又はフレーム又は画像を表わす。開始コード７０５には長さコード７１０が続き、4つのマクロブロックからなる8つのビットからなり二次情報の長さを示す。これにメッセージが続き７１５から始まる。７２０はメッセージの終わりを信号する終了コードを示す。もし終了コード署名が予定する位置で出会わない場合、これは情報が有効なメッセージを表わさず又はある他のエラーが発生したことを示唆する。照合は本明細書で説明した様に図１１の一部として表される。
ある実施の態様においては、開始コード及び終了コードメッセージは一連の順序内の隣接する複数の画像を含むこともある。
他の実施の態様においては、開始及びストップコードに代えてメッセージの存在及び位置を信号で送る外部信号方法を用いる。例えば、ある実施の態様においては、既存の追加強化（ＳＥＩ）メッセージを用いてこれを実施される。
フォールスポジティブは同じ画像又は一連の順序内の複数の画像内のメッセージを繰り返すことにより低減させることができる。例えば、繰り返されないメッセージはノイズ又はエラーと想定される。したがって、もし続く画像内で同じ開始コード/メッセージ/終了コードの厳密に同じ順序を持つことの無い開始コード/メッセージ/終了コードが可能である場合、それらは採用されない。
開始コード及び終了コードは画像間で一定である必要はない。
等価スキームを用いたデータの認証及びエラーの訂正技術がまた、フォールスポジティブを減少させ及びメッセージのロバスト性（robustness）を向上させるために、メッセージを符号化するために用いても良い。
更に、あるマクロブロックは二次情報信号には適していないこともあり、排除モード（excluded mode）により符号化されるのが好ましいこともある。排除モードマクロブロックは、実際のメッセージのビットの数を信号で送る場合考慮する必要はない。
ある実施の態様においては、圧縮の効果を上げる目的でメッセージ内にエラーを導入した方が望ましいこともある。上で述べた様に、マクロブロック二次符号化のために選択されるモードは符号化の効率にとってマイナスのインパクトを持つこともある。もしエラー訂正技術が、ビットストリーム中のメッセージのビットを包埋させる前に用いられる場合、メッセージエラーは、メッセージの回復性に影響することなく意図的に追加することができる。
図８は本発明の技術を用いるビデオエンコーダを表わす。ビデオ入力８００が変換装置８０２により変換され、量子化装置８０４により量子化される。フィードバック構造８０６が動き補正及びイントラ予測モジュール８０８及び動き検出モジュール８６８と共にループフィルター８１０により形成されるループの一部として使用される。画像参照保存８１２も使用される。これらの各々は予測及び圧縮を実行するために一緒に使用され、ビットストリーム８１５を作る。メッセージ８２０が任意選択的暗号化ユニット８２２及び任意選択的エラー訂正エンコーダ８２４に入力される。上で議論した様に、モードマッピング８２６がメッセージ８２０及びビデオ符号化モードの間にモードマッピングを実行する。
図９はデコーダの例を示すものであり、デコーダはビットストリーム８１５を受領し、参照画像の保存にも用いられる参照画像バッファーのみならず逆量子化、逆変換及び動き補正を用いてビットストリームを復号する。メッセージ検出器及びモードマッピング装置９００は例えば、開始及び停止ビットを検出し、エラー訂正デコーダ９０２によるエラーの訂正を復号し、そして解読装置９０４により解読することによりメッセージの検出を行い、もし必要ならメッセージ８２０を出力する。
他の実施の態様においては、トランスコーディングユニットについて説明する。その場合、異なるビットレートで、異なる解像度で符号化され、異なるコーデックを用いるがそこにある二次情報を保持するメタデータを既に持つビットストリームがトランスコードされる。
他の実施の態様においては、図１０に表す様に、メッセージ位置表示と呼ばれる別のメッセージをまず符号化する。メッセージ位置表示は、実際のメッセージが続くフレーム及びビデオ内でどの様にまた何処から復号することが出来るかに関する正確な情報を提供する。例えば、メッセージ位置表示は、メッセージを包埋するために使用された単数又は複数の位置に関するロードマップ、ビットマッピングへのモード、暗号化方法、及び信号の一般的再構築に関する他の情報を提供することもある。
図１０では、メッセージ位置表示１０００は開始コード１００２の直ぐ後に続く。これにより時間及び空間の両方におけるメッセージの実際の位置及び実際のメッセージの大きさの検出が可能となる。図１０に示す様に、メッセージ位置表示１０００は異なるマクロブロック内で、異なる時間での位置１０１０を指し示す。メッセージ位置表示はこの図では時間ｔの像にあるが、そのメッセージ位置表示が参照するマクロブロックは時間ｔ＋１の像にある。
元のメッセージの時間及び空間がこの様に符号化することができる。もしメッセージ位置表示が暗号化される場合、侵入者が１０１０で始まるメッセージを実際に検出することは非常に困難となる。
図１１はマーキングの例のフローチャートを表す。１１００においてビデオ符号化が開始され、１１０２、１１０４の各フレームにおいてその位置がマークされるかどうかを決める。もし、そうならば、その各々が開始コード開始位置、ビットの大きさ、メッセージサイズ及び終了コードサイズを表す
scpos, scsize, mdsize及びecsizeは1106においてその最初の値に決められる。１１０８は、異なる値の大きさ及び位置を示す値を決定すること、続いて１１１０で決定されるモードが続くことを表す。１１１２はこのモードの決定に従うマクロブロックの符号化方法を表す。
上の説明はビデオ圧縮を用いる実施の態様を表す。しかし本明細書に開示された技術はオーディオ及び会話コーデックを含む他の媒体に用いても良い。ＩＳＯ/MPEG-4圧縮標準は、本明細書に記載の技術を用いて、追加情報の信号化のために使用することができる多くのオーディオ符号化を含む。例えば、コーデックは量子化された変換係数の損出の無い符号化のための１１の選択可能なＨｕｆｆｍａｎコードブックを用いる。オーディオサンプルの入力フレームが与えられると、ＡＡＣエンコーダは
符号化変換係数に必要なビット数を最小にする一組のＨｕｆｆｍａｎコードブックを選択する。この実施の態様におけるＡＡＣエンコーダは送信されるメタデータビットを受領することができ、そしてその後にＨｕｆｆｍａｎコードブックの選択を変えても良い。符号化モードはまた利用可能であり、次善の状態にセットされた場合、続く符号化決定により少なくとも部分的に相殺しても良い。その例には変換ウインドウタイプ(sine/KBD)、ジョイントステレオ符号化決定(Mid/Side符号化)、及びＴＮＳフィルタ長、順序、解像度、及び方向を含む。AMR NB音声コーデック内で、コード化されたパルスの位置及びサイン、ＬＰＣモデル係数（ベクトル量子化線スペクトル組）及びピッチラッグはこの実施の態様において用いることのできる符号化モードとしての役割をする。
より一般的なゴールを実行する異なる方法を実施するために使用される、一般的な構造及び技術及びより特異な実施の態様が本明細書に記載される。
本明細書には、上で詳細に述べた様に、限られた実施の態様が開示されているが、他の実施の態様も可能であり、本願発明者はこれらも明細書に含まれることを意図するものである。明細書は他の方法で実施されることのある、より一般的なゴールを実行するための特異な例について記載する。本明細書では代表的なものを開示するものであり、当業者が予測可能な修飾又は代替案を含むことを意図する。例えば、他の符号化プロセスも用いることができる。このシステムは他のメディアで用いても良い。更に、上に記載した特徴はある組み合わせによって稼動する、及び当初その様に特許請求の範囲に記載されているが、特許請求の範囲の組み合わせの一以上の特徴はある場合には組み合わせから削除するべきであり、及び特許請求の範囲の組み合わせはサブコンビネ−ション、又はサブコンビネ−ションの変形を意図している。
また、本発明者は「のための手段」の用語を含む請求項は米国特許法１１２条、第６段にしたがって、解釈されることを意図している。さらに、明細書の限定は、請求項に明確に記載されていない限り、請求項の解釈に取り入れないことを意図している。本明細書に記載のコンピュータは汎用であり、またワークステイション又はセットアップボックスの様なある特別の目的を持つコンピュータであるように、任意のコンピュータを含む。コンピュータはウィンドウズＸＰ又はリナックスを使用するペンチアム クラスコンピュータであり、又はマッキントッシュコンピュータであっても良い。符号化及び/又は復号化はまた、ＦＧＰＡ又はチップのようなハードウエアで実施することも出来る。プログラムはＣ，Java又は任意のプログラム言語で書いたものであっても良い。プログラムは、磁気又は光学媒体の様な記憶媒体、コンピュータハードドライブ、外付けディスク又は他の外付け媒体に導入される。プログラムはまたネットワークで実行することができ、例えば、サーバー又は他の機械が信号をローカル機に送り、信号はローカル機に本明細書に記載の操作を実施させることができる。本明細書は特別の例について記載したものである。他の実施の態様も本特許請求の範囲に含まれる。

Claims (4)

  1. 離散時間メディア信号を符号化する方法であって、
    ビデオ信号を受信するステップと、
    前記ビデオ信号内で符号化されるデータシンボルを含む追加情報を取得するステップと、を含み、
    複数のデータシンボルと複数のインター符号化モードとの間の関係を特定するモードテーブルにアクセスするステップと、
    前記追加情報内の前記データシンボルを表すため、前記アクセスされたモードテーブルからインター符号化モードを決定するステップと、
    前記追加情報内の前記データシンボルを表す前記決定されたインター符号化モードを用いて、前記ビデオ信号を符号化するステップと、を含む、
    方法。
  2. さらに前記方法はインター符号化モードを、符号化効果への影響を減少させるように選択される信号グループに纏めてグループ化するステップを含み、各信号グループは或るデータシンボルを表す、請求項１の方法。
  3. さらに前記方法は、開始コード、終了コード、又は、コード長のうちの少なくとも１つを定義するステップと、前記開始コード、前記終了コード、又は、前記コード長のうちの少なくとも１つを表すため、少なくとも１つのインター符号化モードを使用するステップと、を含み、
    前記ビデオ信号内の前記追加情報の開始は、前記追加情報の前の開始コードによって表され、
    前記追加情報の終了は、前記追加情報の後の終了コードによって表され、
    前記追加情報の長さは、前記追加情報の前のコード長によって表される、
    請求項１又は２に記載の方法。
  4. 前記追加情報は前記ビデオ信号のコンテンツに関連し、そして、前記ビデオ信号の異なる部分と一時的に同期する、請求項１乃至３の何れか１つに記載の方法。

JP2010526986A 2007-09-28 2008-08-08 追加情報能力を持つマルチメディア符号化及び復号 Expired - Fee Related JP5306358B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US97618507P 2007-09-28 2007-09-28
US60/976,185 2007-09-28
PCT/US2008/072616 WO2009045636A2 (en) 2007-09-28 2008-08-08 Multimedia coding and decoding with additional information capability

Publications (2)

Publication Number Publication Date
JP2010541383A JP2010541383A (ja) 2010-12-24
JP5306358B2 true JP5306358B2 (ja) 2013-10-02

Family

ID=40404963

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010526986A Expired - Fee Related JP5306358B2 (ja) 2007-09-28 2008-08-08 追加情報能力を持つマルチメディア符号化及び復号

Country Status (6)

Country Link
US (2) US8229159B2 (ja)
EP (1) EP2204044B1 (ja)
JP (1) JP5306358B2 (ja)
KR (1) KR101571573B1 (ja)
CN (1) CN101810007B (ja)
WO (1) WO2009045636A2 (ja)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090274211A1 (en) * 2008-04-30 2009-11-05 Omnivision Technologies, Inc. Apparatus and method for high quality intra mode prediction in a video coder
WO2012122423A1 (en) 2011-03-10 2012-09-13 Dolby Laboratories Licensing Corporation Pre-processing for bitdepth and color format scalable video coding
WO2010021682A1 (en) 2008-08-19 2010-02-25 Thomson Licensing Cabac/avc compliant watermarking of syntax elements in compressed video
JP5639056B2 (ja) * 2008-08-19 2014-12-10 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 輝度評価
CN102132247B (zh) 2008-08-19 2014-09-10 汤姆森特许公司 传播地图
US9667365B2 (en) * 2008-10-24 2017-05-30 The Nielsen Company (Us), Llc Methods and apparatus to perform audio watermarking and watermark detection and extraction
US8359205B2 (en) 2008-10-24 2013-01-22 The Nielsen Company (Us), Llc Methods and apparatus to perform audio watermarking and watermark detection and extraction
WO2010127268A1 (en) 2009-05-01 2010-11-04 The Nielsen Company (Us), Llc Methods, apparatus and articles of manufacture to provide secondary content in association with primary broadcast media content
WO2011100048A1 (en) 2010-02-09 2011-08-18 Thomson Licensing Watermark detection using a propagation map
US8982961B2 (en) 2010-04-05 2015-03-17 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by using transformation index, and method and apparatus for decoding video by using transformation index
US9369736B2 (en) 2010-04-05 2016-06-14 Samsung Electronics Co., Ltd. Low complexity entropy-encoding/decoding method and apparatus
KR20110112168A (ko) * 2010-04-05 2011-10-12 삼성전자주식회사 내부 비트뎁스 확장에 기반한 비디오 부호화 방법 및 그 장치, 내부 비트뎁스 확장에 기반한 비디오 복호화 방법 및 그 장치
WO2011126283A2 (en) 2010-04-05 2011-10-13 Samsung Electronics Co., Ltd. Method and apparatus for encoding video based on internal bit depth increment, and method and apparatus for decoding video based on internal bit depth increment
US20120243606A1 (en) * 2010-09-24 2012-09-27 Nokia Corporation Methods, apparatuses and computer programs for video coding
CN102447895B (zh) * 2010-09-30 2013-10-02 华为技术有限公司 扫描方法及装置、反扫描方法及装置
CN103262542A (zh) * 2010-10-26 2013-08-21 数码士有限公司 自适应帧内预测编码和解码方法
KR101824241B1 (ko) * 2011-01-11 2018-03-14 에스케이 텔레콤주식회사 인트라 부가정보 부호화/복호화 장치 및 방법
GB2494468B (en) * 2011-09-12 2014-01-15 Canon Kk Method and device for encoding or decoding information representing prediction modes
EP2613532A1 (en) * 2012-01-06 2013-07-10 Thomson Licensing Method of and device for encoding an HDR video together with an LDR video, method of and device for reconstructing one of an HDR video and an LDR video coded together and non-transitory storage medium
EP2634945B1 (en) * 2012-02-29 2014-12-24 Mitsubishi Electric R&D Centre Europe B.V. Method and a device for increasing the amount of information bits comprised in a symbol
CN116665683A (zh) 2013-02-21 2023-08-29 杜比国际公司 用于参数化多声道编码的方法
US9711152B2 (en) 2013-07-31 2017-07-18 The Nielsen Company (Us), Llc Systems apparatus and methods for encoding/decoding persistent universal media codes to encoded audio
US20150039321A1 (en) 2013-07-31 2015-02-05 Arbitron Inc. Apparatus, System and Method for Reading Codes From Digital Audio on a Processing Device
JP6271756B2 (ja) 2013-12-02 2018-01-31 ドルビー・インターナショナル・アーベー ビットレート信号伝達の方法および該方法を可能にするビットストリーム・フォーマット
US9953199B2 (en) 2014-02-24 2018-04-24 Hewlett-Packard Development Company, L.P. Decoding a main image using an auxiliary image
GB201414204D0 (en) 2014-08-11 2014-09-24 Advanced Risc Mach Ltd Data processing systems
EP3051821A1 (en) 2015-01-30 2016-08-03 Thomson Licensing Method and apparatus for encoding and decoding high dynamic range (HDR) videos
RU2728766C2 (ru) 2015-11-09 2020-07-31 Томсон Лайсенсинг Способ и устройство для адаптации видеоконтента, декодированного из элементарных потоков, под характеристики устройства отображения
CN107925763B (zh) * 2015-12-23 2020-01-10 华为技术有限公司 等级分割中的块级别变换选择和隐式信令的编码变换方法和设备
US10555006B2 (en) 2016-12-22 2020-02-04 Qualcomm Incorporated Deriving bilateral filter information based on a prediction mode in video coding
JP6977422B2 (ja) * 2017-09-13 2021-12-08 株式会社Ｊｖｃケンウッド トランスコード装置、トランスコード方法及びトランスコードプログラム
US12114003B2 (en) * 2022-07-15 2024-10-08 Shrinivas KUDEKAR System and method for managing encoded information in a real-time screen-to-camera communication environment

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4433207A (en) 1981-09-10 1984-02-21 Best Robert M Cryptographic decoder for computer programs
US4969041A (en) 1988-09-23 1990-11-06 Dubner Computer Systems, Inc. Embedment of data in a video signal
NL8901032A (nl) 1988-11-10 1990-06-01 Philips Nv Coder om extra informatie op te nemen in een digitaal audiosignaal met een tevoren bepaald formaat, een decoder om deze extra informatie uit dit digitale signaal af te leiden, een inrichting voor het opnemen van een digitaal signaal op een registratiedrager, voorzien van de coder, en een registratiedrager verkregen met deze inrichting.
US5327237A (en) 1991-06-14 1994-07-05 Wavephore, Inc. Transmitting data with video
US5319735A (en) 1991-12-17 1994-06-07 Bolt Beranek And Newman Inc. Embedded signalling
JP3210082B2 (ja) * 1992-07-14 2001-09-17 キヤノン株式会社 符号化装置及びその方法
US6424725B1 (en) 1996-05-16 2002-07-23 Digimarc Corporation Determining transformations of media signals with embedded code signals
US5748763A (en) 1993-11-18 1998-05-05 Digimarc Corporation Image steganography system featuring perceptually adaptive and globally scalable signal embedding
US5530751A (en) 1994-06-30 1996-06-25 Hewlett-Packard Company Embedded hidden identification codes in digital objects
US5646997A (en) 1994-12-14 1997-07-08 Barton; James M. Method and apparatus for embedding authentication information within digital data
GB2306833B (en) * 1995-10-30 2000-03-29 Sony Uk Ltd Video data compression
US5689587A (en) 1996-02-09 1997-11-18 Massachusetts Institute Of Technology Method and apparatus for data hiding in images
US7930546B2 (en) 1996-05-16 2011-04-19 Digimarc Corporation Methods, systems, and sub-combinations useful in media identification
US6046748A (en) * 1996-06-27 2000-04-04 Peerless Systems Corporation Cooperative filter and raster operation evaluation model
US6031914A (en) 1996-08-30 2000-02-29 Regents Of The University Of Minnesota Method and apparatus for embedding data, including watermarks, in human perceptible images
CN1134172C (zh) 1997-01-13 2004-01-07 皇家菲利浦电子有限公司 数字视频信号中的嵌入补充数据
KR19980086811A (ko) 1997-05-08 1998-12-05 니시무로 타이조 부가정보 매입과 재생을 위한 장치와 방법 및 그 기록 매체
DE69813230T2 (de) 1997-07-18 2004-02-12 ECOLE POLYTECHNIQUE FéDéRALE DE LAUSANNE Verfahren zur markierung eines komprimierten digitalvideosignals
KR100594954B1 (ko) 1997-08-26 2006-07-03 코닌클리케 필립스 일렉트로닉스 엔.브이. 콘텐트 정보와 이와 관련된 추가 정보를 전송하는 시스템
US6064748A (en) * 1998-01-16 2000-05-16 Hewlett-Packard Company Method and apparatus for embedding and retrieving additional data in an encoded data stream
US6233347B1 (en) * 1998-05-21 2001-05-15 Massachusetts Institute Of Technology System method, and product for information embedding using an ensemble of non-intersecting embedding generators
US6701062B1 (en) 1998-06-06 2004-03-02 Macrovision Corporation Generational copy control of a video signal
JP2001061052A (ja) * 1999-08-20 2001-03-06 Nec Corp 電子すかしデータ挿入方法及びその装置と電子すかしデータ検出装置
JP4254003B2 (ja) * 2000-04-04 2009-04-15 ソニー株式会社 埋め込み装置および埋め込み方法、復号装置および復号方法、並びに記録媒体
US6859877B2 (en) 2000-06-12 2005-02-22 Canon Kabushiki Kaisha Image processing apparatus and method, and computer readable memory medium storing program for executing image processing
JP2002076905A (ja) * 2000-06-12 2002-03-15 Canon Inc 画像符号化装置、画像符号化方法、画像符号化プログラムを記録したコンピュータ可読記録媒体及び画像符号化プログラム
US7006631B1 (en) * 2000-07-12 2006-02-28 Packet Video Corporation Method and system for embedding binary data sequences into video bitstreams
KR100898879B1 (ko) 2000-08-16 2009-05-25 돌비 레버러토리즈 라이쎈싱 코오포레이션 부수 정보에 응답하여 하나 또는 그 이상의 파라메터를변조하는 오디오 또는 비디오 지각 코딩 시스템
US7421729B2 (en) 2000-08-25 2008-09-02 Intellocity Usa Inc. Generation and insertion of indicators using an address signal applied to a database
US6674876B1 (en) * 2000-09-14 2004-01-06 Digimarc Corporation Watermarking in the time-frequency domain
US7039113B2 (en) 2001-10-16 2006-05-02 Koninklijke Philips Electronics N.V. Selective decoding of enhanced video stream
JP2003134330A (ja) * 2001-10-30 2003-05-09 Sony Corp 電子透かし埋め込み処理装置、および電子透かし埋め込み処理方法、並びにコンピュータ・プログラム
JP3952939B2 (ja) * 2001-11-28 2007-08-01 日本ビクター株式会社 可変長符号化データ受信方法及び可変長符号化データ受信装置
EP2860979A1 (en) * 2002-05-28 2015-04-15 Sharp Kabushiki Kaisha Method and systems for image intra-prediction mode estimation, communication, and organization
JP4726141B2 (ja) 2003-06-25 2011-07-20 トムソン ライセンシング 圧縮されたビデオ・ビットストリームにおける電子透かしの挿入のための符号化方法および装置
JP4124366B2 (ja) * 2004-09-17 2008-07-23 大日本印刷株式会社 電子透かしの埋め込み方法および抽出方法
FR2894739A1 (fr) 2005-12-12 2007-06-15 Thomson Licensing Sa Procede de codage, procede de decodage, dispositif de codage et dispositif de decodage de donnees video
KR100653643B1 (ko) 2006-01-26 2006-12-05 삼성전자주식회사 하모닉과 비하모닉의 비율을 이용한 피치 검출 방법 및피치 검출 장치
US7893999B2 (en) 2006-05-22 2011-02-22 Broadcom Corporation Simultaneous video and sub-frame metadata capture system
US20070268406A1 (en) 2006-05-22 2007-11-22 Broadcom Corporation, A California Corporation Video processing system that generates sub-frame metadata
US7953315B2 (en) 2006-05-22 2011-05-31 Broadcom Corporation Adaptive video processing circuitry and player using sub-frame metadata
US20080007649A1 (en) 2006-06-23 2008-01-10 Broadcom Corporation, A California Corporation Adaptive video processing using sub-frame metadata
US20080007650A1 (en) 2006-06-23 2008-01-10 Broadcom Corporation, A California Corporation Processing of removable media that stores full frame video & sub-frame metadata
US20080007651A1 (en) 2006-06-23 2008-01-10 Broadcom Corporation, A California Corporation Sub-frame metadata distribution server

Also Published As

Publication number Publication date
CN101810007B (zh) 2013-03-06
KR101571573B1 (ko) 2015-11-24
KR20100080916A (ko) 2010-07-13
US20090087110A1 (en) 2009-04-02
WO2009045636A3 (en) 2009-05-22
US8571256B2 (en) 2013-10-29
WO2009045636A2 (en) 2009-04-09
EP2204044B1 (en) 2014-07-30
JP2010541383A (ja) 2010-12-24
CN101810007A (zh) 2010-08-18
US8229159B2 (en) 2012-07-24
US20120281751A1 (en) 2012-11-08
EP2204044A2 (en) 2010-07-07

Similar Documents

Publication Publication Date Title
JP5306358B2 (ja) 追加情報能力を持つマルチメディア符号化及び復号
CN113330749A (zh) 用于变换跳过模式和块差分脉冲编码调制的改进的残差编解码
US8600179B2 (en) Method and apparatus for encoding and decoding image based on skip mode
CN110944185B (zh) 视频解码的方法和装置、计算机设备及存储介质
CN111988619A (zh) 视频编解码方法、装置、计算机设备和存储介质
CN113424541A (zh) 用于变换跳过模式和块差分脉冲编码调制的残差编解码
CN113557527A (zh) 通用视频编解码中色彩变换的方法和装置
CN111901609B (zh) 视频解码的方法和装置、计算机设备和存储介质
CN110784711A (zh) 生成用于视频序列编码或解码的合并候选列表的方法、装置
JP2017508417A (ja) 映像の復号化方法及びこれを利用する装置
JP2021517393A (ja) 柔軟なツリー構造
CN113711586A (zh) 简化的最可能模式列表生成方案
CN110944173A (zh) 视频解码方法、装置、电子设备以及存储介质
CN113348668A (zh) 在帧内块补偿中利用整数偏移进行块矢量预测的方法和装置
CN113228667A (zh) 用于视频编码的方法及装置
US11831865B2 (en) Image decoding device, image decoding method, image encoding device, and image encoding method
CN113475067A (zh) 视频编解码方法及装置
CN115398481A (zh) 对图像执行人工智能编码和人工智能解码的设备和方法
CN113678378A (zh) 用于减少用于变换系数有效标志的熵编解码的上下文模型的方法和装置
CN113348664A (zh) 用于视频编解码的方法和装置
KR20090117863A (ko) 계층적 영상 부호화를 위한 참조 프레임 관리 장치 및 방법
JP2024516763A (ja) 適応型多重変換セット選択
CN114762333A (zh) 视频编解码的方法和装置
KR101710622B1 (ko) 스킵 모드에 따라 영상을 부호화, 복호화하는 방법 및 장치
WO2020184673A1 (ja) 画像復号装置、画像復号方法、画像符号化装置、および画像符号化方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110802

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20111011

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121003

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121009

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121212

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130513

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20130521

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130611

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130625

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees