JP4700069B2 - 内部予測ビデオ符号化のためのモード選択技術 - Google Patents

内部予測ビデオ符号化のためのモード選択技術 Download PDF

Info

Publication number
JP4700069B2
JP4700069B2 JP2007551445A JP2007551445A JP4700069B2 JP 4700069 B2 JP4700069 B2 JP 4700069B2 JP 2007551445 A JP2007551445 A JP 2007551445A JP 2007551445 A JP2007551445 A JP 2007551445A JP 4700069 B2 JP4700069 B2 JP 4700069B2
Authority
JP
Japan
Prior art keywords
standard
encoding
mode selection
encoder
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007551445A
Other languages
English (en)
Other versions
JP2008527933A (ja
Inventor
リャング、イ
モーロイ、ステファン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2008527933A publication Critical patent/JP2008527933A/ja
Application granted granted Critical
Publication of JP4700069B2 publication Critical patent/JP4700069B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本明細書は、ディジタル画像処理に係り、特に、ビデオ系列の画像又は画像フレームの符号化に関する。
ディジタル・ビデオ能力は、広い範囲のデバイスへと組み込まれることが可能であり、それはディジタル・テレビ、ディジタル直接放送システム、無線通信デバイス、個人ディジタル補助装置(PDA:personal digital assistants)、ラップトップ・コンピュータ、デスクトップ・コンピュータ、ディジタル・カメラ、ディジタル記録デバイス、セルラ電話機又は衛星無線通信電話機、及びその他を含む。ディジタル・ビデオ・デバイスは、完全動画ビデオ系列を製作し、修正し、伝送し、記憶し、記録し、そして再生する際に、従来のアナログ・ビデオ・システムに対して著しい改善を提供することが可能である。
複数の異なるビデオ符号化規格が、ディジタル・ビデオ系列を符号化するために制定されてきている。動画像エキスパート・グループ(MPEG:Moving Picture Expert Group)は、例えば、MPEG−1,MPEG−2及びMPEG−4を含む複数の規格を開発している。他の規格は、国際電気通信連合(ITU:International Telecommunication Union)H.263規格、カルフォルニア州キューパーティーノ市のアップル・コンピュータにより開発されたクイックタイム(QuickTime(登録商標))技術、ワシントン州レドモンド市のマイクロソフト株式会社により開発されたウィンドウズ(登録商標)のためのビデオ及びウィンドウズ・メディア、インテル株式会社により開発されたインディオ(Indeo(登録商標))、ワシントン州シアトル市リアルネットワーク株式会社からのリアルビデオ(RealVideo(登録商標))、スーパーマック株式会社により開発されたシネパック(Cinepak(登録商標))を含む。これらの規格の更新された版、同様に、ITU H.264規格及び複数の専有規格を含む新たな規格が、出現し続けそして発展し続けている。複数の画像符号化規格が、JPEG規格のように静止画の圧縮のために同様に開発され続けている。JPEGは、標準化委員会である“ジョイント・フォトグラフィック・エキスパート・グループ(Joint Photographic Experts Group)”を言う。
複数の符号化規格は、“内部予測符号化(intra-prediction encoding)”又は単純に“内部予測(intra-prediction)”と呼ばれるものを使用させることができる。H.263では、内部予測符号化は、同様に“高度内部コーディング(advanced intra-coding)”とも呼ばれ、そして予測プロセスは、一般的に“AC/DC予測”と呼ばれる。一般に、内部予測符号化は、符号化されたビデオ・フレーム又はビデオ画像に必要なデータの量を圧縮するために所定のビデオ・フレーム又はビデオ画像内の冗長性を活用する符号化プロセスを呼ぶ。
内部予測符号化は、静止画像圧縮のような圧縮技術として単独で使用されることができるが、より一般的にはビデオ系列の圧縮の際に別のビデオ符号化技術とともに実行される。例えば、内部予測符号化は、フレーム間符号化技術とともに使用されることができ、それは時間的な相関又はフレーム間相関と呼ばれる連続するビデオ・フレーム間の類似性を利用する。フレーム間符号化は、フレーム全体にわたるデータの冗長性を活用することによって、そしてビデオ・フレームのピクセル・ベースの表示を動画表示(motion representation)に変換することによってフレーム間圧縮を与えることができる。内部予測がフレーム間圧縮とともに使用されるときに、ビデオ系列は、著しく圧縮されることが可能である。
種々のタイプの圧縮をサポートするために、ディジタル・ビデオ・デバイスは、一般的に、ディジタル・ビデオ系列を圧縮するためのエンコーダ、及びディジタル・ビデオ系列を逆圧縮するためのデコーダを含む。多くの場合には、エンコーダとデコーダは、統合されたエンコーダ/デコーダ(CODEC)を形成し、それはビデオ画像の系列を規定するフレーム内部のピクセルのブロックに動作する。
内部予測符号化に関して、エンコーダは、モード選択エンジンを利用することができ、それは所定のフレーム又は画像の内部予測のためにベスト・モードを選択する。例えば、ITU H.263符号化規格のアネックス(Annex(付属文書))Iは、3つの可能な内部予測モード、水平AC/DCモード、垂直AC/DCモード及びDCのみのモード、を与える。DCモードは、ビデオ・ブロックの平均値を表すビデオ・ブロックのDC係数を使用するモードを呼び、それに対して、ACモードは、ビデオ・ブロックの残りの(非DC)係数であるAC係数を使用する。ITU H.263符号化規格のアネックスIは、モード選択がどのようにして実行されることが可能であるかも同様に規定する。MPEG−4及びITU H.264符号化規格のような他の規格も、同様に相互予測符号化(inter-prediction encoding)のためにモードを使用する。不幸にして、異なる規格に対する内部予測モード選択をサポートするために、これらの異なる規格は、従来は別のモード選択エンジンを必要とする。
[サマリー]
本明細書は、ビデオ符号化技術及びそのような技術を実行するビデオ符号化デバイスを説明する。説明される符号化技術は、内部予測符号化を可能にする多種多様なビデオ符号化規格又は静止画像符号化規格に対して有用であり得る。本技術は、異なる内部予測符号化規格のサポートでモード選択を単純化することが可能である。特に、複数の符号化規格をサポートする符号化デバイスにおいて、1つのモード選択エンジンが、異なる符号化規格のためのモード選択を実行するために使用される。1つのモード選択エンジンは、複数の規格の各々に対して満足のいくモード選択を実行する。
ある複数のケースでは、モード選択エンジンは、1又はそれより多くの規格で従来使用されるモード選択技術から外れることがあるが、そのような規格に対して適切なモード選択性能を今まで通り与えることができる。例えば、本明細書は、ITU H.263符号化のサポートでモード選択を実行するためにITU H.264モード選択エンジンの使用を特に考慮する。本明細書は、同様に、ITU H.263符号化のサポートでモード選択を実行するためにMPEG−4モード選択エンジンの使用を特に考慮する。ある複数のケースでは、ITU H.263符号化規格のアネックスIに規定されたように、ITU H.263符号化のためのモード選択が、DCTドメインの内部予測に対して一般的に直感的に反する空間ドメインにおいて実行されることが可能であることが、認識される。本明細書中で説明されるモード選択技術が符号化デバイス内のハードウェアの削減を可能にしつつ、非常に良いレベルの圧縮を実現することを、実験に基づく研究は示している。
1つの実施形態では、本明細書は、モード選択エンジンを具備する符号化デバイスを与え、それは該符号化デバイスが第1の符号化規格又は第2の符号化規格に準拠するようにプログラムされているかどうかに拘らず内部予測符号化のためにモード選択を実行する。本デバイスは、しかも該符号化デバイスが該第1の符号化規格に準拠するようにプログラムされているときに、該第1の符号化規格に準拠する該選択されたモードにしたがって該内部予測符号化を実行するための第1のエンコーダ、及び該符号化デバイスが該第2の符号化規格に準拠するようにプログラムされているときに、該第2の符号化規格に準拠する該選択されたモードにしたがって該内部予測符号化を実行するための第2のエンコーダを含む。追加のエンコーダも、同様に含まれることができ、そしてモード選択エンジンの数は、エンコーダの数よりも少ないことがある。
本明細書中に説明されるこれらの技術及び他の技術は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの任意の組み合わせでディジタル・ビデオ・デバイスにおいて実行されることができる。様々な実施形態のさらなる詳細は、添付された図面及び以下の説明に記述される。その他の特徴、目的及び利点は、詳細な説明及び図面から、そして特許請求の範囲から明らかになるであろう。
[詳細な説明]
図1は、具体例の符号化デバイス10を説明するブロック図である。符号化デバイス10は、一般に内部予測符号化技術を実行することが可能ないずれかの符号化デバイスを呼ぶ。多くのケースでは、符号化デバイス10は、ビデオ符号化デバイスを備え、それはビデオ系列のフレームを符号化する。それらのケースでは、符号化デバイス10は、例えば、様々なフレーム間符号化技術を実行するための複数のさらなるコンポーネントを含むことができる。しかしながら、ある複数のケースでは、符号化デバイス10の様々なコンポーネントは、本明細書中に記述されるように、静止画像上に内部予測符号化技術を実行することができる。符号化デバイスの例は、ディジタル・テレビ、ディジタル・カメラ、ディジタル直接放送システム、無線通信デバイス、個人ディジタル補助装置(PDA)、ラップトップ・コンピュータ、デスクトップ・コンピュータ、ディジタル記録デバイス、セルラ電話機又は衛星無線通信電話機、及びその他を含むことができる。一般に、本明細書中に記述される符号化技術を実行するいずれかのデバイスは、符号化デバイスであり得る。
符号化デバイス10は、メモリ12を含み、それは未圧縮画像又は未圧縮ビデオ・フレームを初めに記憶する。以下の説明において、本明細書は、ビデオ・フレームに関係して実行される動作及び技術を一般に言及する。しかしながら、同様な技術が静止画像の圧縮に関して適用されることができることが、理解される。ビデオ・フレームは、内部予測符号化技術の目的に関して静止画像と本質的に同じである。
符号化デバイス10は、例えば、フレームを圧縮するために、メモリ12中に記憶されたフレームの内部予測符号化のために様々なコンポーネントを含む。より具体的に、符号化デバイス10は、2又はそれより多くの異なる符号化規格にしたがった内部予測符号化をサポートする。しかしながら、本明細書中に記述されるように、2又はそれより多くの異なる符号化規格のうちのどちらが所定の時間において使用されるかに拘らず、この内部予測符号化のためのモード選択をサポートしそして促進させるために設計されたハードウェア・エンジンは、共有されそして使用される。符号化デバイス10は、専門販売業者(vendor)が使用されるべき特定の規格をプログラムすることを可能にするようにプログラム可能であり得て、さらに専門販売業者が2又はそれより多くの規格から選択できるように弾力的であり得る。2つのエンコーダを含むように一般的に記述されるが、符号化デバイス10は、任意の数のエンコーダを含むことができる。モード選択エンジンの数は、エンコーダの数よりも少ないことがある。
図1に図示されたように、符号化デバイス10は、第1の内部予測エンコーダ14及び第2の内部予測エンコーダ16を含む。第1の内部予測エンコーダ14は、第1の符号化規格にしたがって内部予測符号化を実行する、ところが、第2の内部予測エンコーダ16は、第2の符号化規格にしたがって内部予測符号化を実行する。第1の内部予測エンコーダ14及び第2の内部予測エンコーダ16は、それぞれハードウェア、ソフトウェア、及びファームウェアの組み合わせにより与えられることができる。特にエンコーダ14及び16は、1又はそれより多くのディジタル信号プロセッサ(DSP:digital signal processor)、用途特定集積回路(ASIC:application specific integrated circuit)、フィールド・プログラマブル論理アレイ(FPGA:field programmable logic array)、汎用目的プロセッサ、又はこれらの任意の組み合わせを使用して与えられることができる。
内部予測符号化は、符号化されたビデオ・フレーム又はビデオ画像に必要とされるデータの量を圧縮するために所定のビデオ・フレーム又はビデオ画像内部の冗長性を活用する符号化プロセスを呼ぶ。エンコーダ10は、少なくとも2つの符号化規格にしたがった内部予測符号化を可能にする。しかしながら、それぞれのケースにおいて、内部予測は、静止画像圧縮に対するような圧縮技術として単独で使用されることができる、又はフレーム間対比を同様に実行するビデオ符号化技術の一部として、及び/又は別の符号化技術の一部として使用されることができる。
様々な符号化規格にしたがって、モード選択プロセスは、内部予測符号化プロセスの一部として実行される。符号化デバイス10は、モード選択エンジン18を含み、内部予測符号化のためにこのモード選択を実行する。例えば、モード選択エンジン18は、任意の所定の時間において必要とされる望ましい符号化レート、圧縮比又は符号化効率に基づいて、内部予測モードを選択することができる。しかしながら、従来のエンコーダとは異なり、符号化デバイス10は、同じモード選択エンジン18を使用して、内部予測エンコーダ14及び第2の内部予測エンコーダ16のためのモード選択を容易にする。モード選択エンジン18は、第1の内部予測エンコーダ14及び第2の内部予測エンコーダ16のいずれでも使用されるハードウェア・コンポーネントを備えることができる。例えば、モード選択ハードウェアは、モード選択プロセスを促進させることが可能である。その上、専門販売業者は、エンコーダ14及び16のうちのいずれかに関係する2つの規格のうちのいずれをサポートするために符号化デバイス10をプログラムすることが可能であるが、モード選択エンジン18は、この選択に無関係に使用される。したがって、1つのモード選択エンジン18の使用は、結果として複数の規格をサポートする符号化デバイス中のハードウェアの削減になることが可能である。
モード選択は、一般にフレームの別の部分を符号化しそして圧縮するために使用されるであろうフレームの一部分を識別するプロセスである。一例として、ITU H.263ビデオ符号化規格は、アネックスIを含み、それはその規格に準拠する好ましいモード選択プロセスを記述する。H.263のアネックスIに記述されたモード選択プロセスは、“内部”ビデオ・ブロックのコーディングがどのように実行されるかを規定する。内部ビデオ・ブロックのコーディング効率は、予測モードの弾力性を認めることによって改善されると言われる。H.263のアネックスIは、3つの異なる予測モードを規定する。別の規格文書は、3つの予測モード、又はおそらくそれよりも多くを規定できるが、いずれのケースでも、これらの異なるモードを選択するために提案される(suggested)方法は、複数の規格文書間でかなり変化する。
ITU H.263規格のアネックスI中に記述された3つの予測モード、水平DC及びAC(モード2)、垂直DC及びAC(モード1)、及びDCのみ(モード0)、の間で、エンコーダのモード・セレクタは、一般的に、最小の絶対差の和(SAD:sum of absolute different)基準を使用してベスト・モードを決定する。ITU H.263規格のアネックスIに記述されているような内部予測モード選択プロセスは、図2を参照してより良く理解されることが可能である。本明細書中で使用されるように、DCモードは、ビデオ・ブロックの平均値を表すビデオ・ブロックのDC係数を使用するモードを呼ぶ、ところが、ACモードは、ビデオ・ブロックの残りの(非DC)係数であるAC係数を使用する。
図2を参照して、C[i,j]は、予測の前の現在のブロックの離散型コサイン変換(DCT:discrete cosine transform)係数を表し、C’[0,0]は、モード0を使用する現在のブロックの予測されたDC成分を表し、A’[i,0]、i=0,1,...7、は、モード1を使用する現在のブロックの予測された一番上の行を表し、そしてB’[0,j]、j=0,1,...7、は、モード2を使用する現在のブロックの予測された左の列を表す。
SAD0、SAD1、SAD2は、それぞれモード0、1、及び2に対する絶対差の和(SAD)メトリック(metric(尺度))を表す。1つの8×8明度(ルーマ)ブロック又は色度(クロマ)ブロックに対するSADは、以下のように計算される:
Figure 0004700069
次に、所定のブロックのSADは、6個のブロック(4個のルーマと2個のクロマ)に対するSAD8×8の和である。ベスト・モードは、結果として最小のSADになるものである。
ITU H.263規格の提案された規格文書に整合する上記のアルゴリズムは、現在のブロックのDCT係数、ブロックC[i,j]、を必要とする。言い換えると、モード選択プロセスを含んでいる内部予測プロセスは、空間ドメインよりはむしろDCTドメインにおいてITU H.263規格に対して提案された規格文書にしたがって実行される。そのケースでは、内部予測モード選択は、空間ドメインにおけるピクセルのDCT変換の後であるが、DCT係数の量子化が実行される前に行われる必要がある。しかしながら、モード選択がITU H.264規格のような別の規格を用いる内部予測にしたがって実行されるときには、DCT係数は一般的に発生されない。したがって、現在のブロックのDCT係数と予測する側のブロックのDCT係数との間のSADを使用するITU H.263規格中の内部予測に対して提唱された(proposed)規格文書に整合するモード選択判断は、ITU H.264規格のような規格に対して設計されたモード選択エンジンに対して弾力的ではない。MPEG−4に関して、内部予測及び内部予測のためのモード選択は、一般的にDCTドメインにおいて実行されるが、ITU H.263よりもはるかに単純な方法で実行される。
本明細書は、ITU H.263モード選択に対する少なくとも2つの代案を考慮している。ある複数のケースでは、ITU H.263モード選択は、現在のブロックのDCT係数をあてにしないことができる。したがって、本明細書は、ITU H.263規格又は別の1つの規格が現在サポートされているかどうかに拘らず、共通モード選択エンジンがモード選択を実行することを可能にする。
MPEG−4では、現在のブロックに対する内部予測モードは、一般的に隣接するブロックの係数から決定され、それは現在のブロックのいずれの係数にも依存しない。MPEG−4では、各8×8ブロックに対するモードが決定される。MPEG−4と対照的に、ITU H.263規格に対して提唱されたモード選択方式は、16×16“マクロブロック”の左上のサブブロックに対するモードの決定を必要とするだけであり、それは全体のマクロブロックに対して使用される。
図3を参照して、そしてブロックXの係数を表すためにF_X[i][j]を使用して、ここでブロックXは処理されようとしている現在のマクロブロックの左上のブロックである、MPEG−4にしたがった内部予測モード選択プロセスは、“アルゴリズム1”と呼ばれる以下の擬似コードにしたがって要約されることができる:
もし(ブロックA,B又はCのいずれかが現在のビデオ・セグメントの範囲外である)ならば、
モード0を使用する;
そうでなければ、もし(|F_A[0][0]−F_B[0][0]|<|F_B[0][0]−F_C[0][0]|)ならば、
ブロックCから予測する(モード1);
そうでなければ、
ブロックAから予測する(モード2);
終了
特に、アルゴリズム1は、モード選択がMPEG−4に準拠するエンコーダに対してどのようにして実行されることが可能であるかを説明する。手短に、モード0は、隣接するブロックが現在のビデオ・ブロックの範囲外であるときに使用される。ブロックBとAとの間の平均DC差がブロックBとCとの間の平均差よりも小さい場合に、垂直予測が使用される。ブロックBとCとの間の平均差がブロックBとAとの間の平均差よりも小さい場合に、水平予測が使用される。
その上、アルゴリズム1は、より良い出来栄えを実現するために、以下のように、わずかに変形されることが可能である。下記は、“アルゴリズム2”と呼ばれる。
もし(ブロックA,B又はCのいずれかが現在のビデオ・セグメントの範囲外である)ならば、
モード0を使用する;
そうでなければ、もし(|F_A[0][0]−F_B[0][0]|<|F_B[0][0]−F_C[0][0]|
&&|F_A[0][0]−F_B[0][0]|/F_A[0][0]<0.03)ならば、
ブロックCから予測する(モード1);
そうでなければ、もし(|F_B[0][0]−F_C[0][0]|/F_C[0][0]<0.03)ならば、
ブロックAから予測する(モード2);
そうでなければ、
モード0を使用する;
終了
アルゴリズム1と比較して、アルゴリズム2は、追加の条件を提案し、それはDC予測の代わりに水平予測又は垂直予測のいずれかを実行するために、2つの隣接するブロック間の平均DC差がしきい値よりも低いことを必要とする。言い換えると、アルゴリズム2では、隣接するブロックが現在のビデオ・セグメントの範囲外であるとき、又は2つの隣接するブロック間の平均DC差がしきい値よりも低くないときに、モード0が使用される。MPEG−4における内部予測モード選択プロセスは、ITU H.263規格のような他の規格のためのモード選択プロセスに対して相対的に複雑でないという利点を有する。
ITU H.264推奨規格文書では、ITU H.263規格推奨とは異なり、内部予測は、DCT係数の代わりにピクセルに基づく。しかしながら、下記にさらに詳細に説明するように、ベスト16×16ルーマ・モードは、圧縮の著しい損失又はピーク信号対ノイズ比(PSNR:peak signal-to-noise ratio)の著しい劣化なしに、ITU H.263内部予測のためのモードのように、ITU H.264規格文書にしたがって決定されることが可能である。この結果は、ITU H.263内部予測が空間ドメイン中のピクセルよりはむしろDCT係数に対して実行されるように示唆されることを、意外にも与えている。
ITU H.264推奨規格文書にしたがって、マクロブロックのルーマ成分に対して4つの16×16ルーマ・モード:DC、垂直、水平、及びプレーナ、がある。垂直モード、水平モード及びプレーナ・モードは、ビデオ・ブロックのAC係数を使用する。初めの3つのモード:DC、垂直及び水平、は、内部予測のためのITU H.263規格のモードに対応するように使用されることが可能である。ある複数のケースでは、プレーナ・モードは、電力消費が問題でありそして処理能力が限られている特に手持ちデバイスにとって、計算するためにさらに複雑であることがあるので、初めの3つのモードだけが、ITU H.264モード選択のために同様に使用される。
再び、図1を参照して、符号化デバイス10は、モード選択エンジン18を含み、それは符号化デバイスが第1の符号化規格又は第2の符号化規格に準拠するようにプログラムされているかどうかに拘らず、内部予測符号化のためのモード選択を実行する。符号化デバイス10が第1の符号化規格に準拠するようにプログラムされているときに、第1のエンコーダ14は、第1の符号化規格に準拠する選択されたモードにしたがって内部予測符号化を実行する。符号化デバイスが第2の符号化規格に準拠するようにプログラムされているときに、第2のエンコーダ16は、第2の符号化規格に準拠する選択されたモードにしたがって内部予測符号化を実行する。一例として、符号化デバイス10は、ハンドセットを備えることができ、それは第1の符号化規格又は第2の符号化規格のいずれかに準拠するようにプログラムされることが可能である。したがって、専門販売業者は、符号化デバイス10を第1の規格又は第2の規格のいずれかに準拠するようにプログラムすることができ、専門販売業者に対してより大きな弾力性を提供する。その上、第1のエンコーダ14と第2のエンコーダ16が共通のモード選択エンジン18を使用するので、モード選択プロセスを加速させるためにモード選択ハードウェアを有する従来型のデュアル規格符号化デバイスと比較して、符号化デバイス10は、単純化されることが可能である。符号化デバイス10の別の例は、ディジタル・テレビ、ディジタル直接放送システム、無線通信デバイス、個人ディジタル補助装置(PDA:personal digital assistants)、ラップトップ・コンピュータ、デスクトップ・コンピュータ、ディジタル・カメラ、ディジタル記録デバイス、セルラ電話機又は衛星無線通信電話機、及びその他を含む。
ある複数の実施形態では、モード選択エンジン18は、第1のエンコーダ14の一部を形成することができる。そのケースでは、符号化デバイス10が第2の符号化規格に準拠するようにプログラムされているとき、第2のエンコーダ16は、第1のエンコーダ14のモード選択エンジン18を使用する(implement)。言い換えると、別々のコンポーネントとして図示されているが、モード選択エンジン18は、複数のエンコーダのうちの1つのハードウェア・コンポーネントを形成することができ、そして他方のエンコーダは、そのモード選択ハードウェアを同様に使用することが可能である。多種多様な他のコンポーネントは、符号化デバイス10中に同様に含まれることができるが、単純化のために具体的には図示されていない。増設のエンコーダも、同様に含まれることができる。しかしながら、エンコーダの数に無関係に、2又はそれより多くのエンコーダが、本明細書中で説明するようにモード選択エンジンを共有できる。
図4は、MPEG−4に準拠する符号化及びITU H.263に準拠する符号化をサポートするビデオ符号化デバイス40のより詳しいブロック図である。図4に示されたように、ビデオ符号化デバイス40は、メモリ42を含み、それは未圧縮の画像又は未圧縮のビデオ・フレームを初めに記憶する。符号化プロセスの全体を通して、メモリ42は、同様に符号化されたままの及び圧縮されたままのビデオ・データを記憶するために使用されることができる。
ビデオ・デバイス40は、MPEG−4エンコーダ44及びITU H.263エンコーダ46を含む。MPEG−4エンコーダ44は、MPEG−4ビデオ符号化規格に準拠してビデオ系列を符号化し、そして同様に、ITU H.263エンコーダ46は、ITU H.263ビデオ符号化規格に準拠してビデオ系列を符号化する。これらの規格の各々は、内部予測符号化とフレーム内符号化の両方を使用する。したがって、MPEG−4エンコーダ44は、内部予測エンコーダ47及びフレーム間エンコーダ41を含み、そしてITU H.263エンコーダ46は、内部予測エンコーダ45及びフレーム間エンコーダ43を含む。これらのコンポーネントの各々は、一般にエンコーダ44及び46に関係するそれぞれの符号化規格に準拠する。
上記に概略を示したように、内部予測符号化の間に実行される1つのプロセスは、内部予測モード選択である。特に、これらの異なる規格に対する推奨規格文書がモード選択を実行するために別の方法を規定するとはいえ、内部予測モード選択は、MPEG−4符号化及びITU H.263符号化の両者を考慮する。提案されたMPEG−4内部予測モード選択は、提案されたITU H.263内部予測モード選択よりもはるかに複雑でない。
MPEG−4エンコーダ44は、モード選択エンジン48を含む。モード選択エンジン48は、モード選択プロセスを加速するために設計されたハードウェアを備える。その上、モード選択エンジン48は、MPEG−4規格に対して提案された規格文書に実質的に適合するモード選択を実行する。モード選択エンジン48は、DCTドメインにおいてモード選択を実行するが、ITU H.263の提案された文書に比較して単純化された方式で、例えば、コード化されている現在のブロックからのDCT係数を必要としないで、モード選択を実行する。
ITU H.263エンコーダ46は、それ自身のモード選択エンジンを含まない。その代わりに、モード選択のために、ITU H.263エンコーダ46は、MPEG−4エンコーダ44のモード選択エンジン48を使用する。しかしながら、MPEG−4モード選択にしたがったITU H.263のためのモード選択が、ITU H.263モード選択に対して受け入れ可能な結果を提供することを、本明細書は認識する。
符号化デバイス40は、例えば、専門販売業者からの、複数の符号化規格から符号化規格を指定するプログラミング命令を受け取ることができる。例えば、専門販売業者は、MPEG−4符号化又はITU H.263符号化のいずれかを指定できる。いずれのケースでも、内部予測符号化は、選択された符号化規格に準拠して実行される。しかしながら、モード選択は、上記に概要を示したように、MPEG−4符号化又はITU H.263符号化が専門販売業者によって指定されているかどうかに拘らず、提案されたMPEG−4文書に記述されたように実行されることができる。
図5は、ビデオ符号化デバイス50のより詳しいブロック図であり、それはITU H.264に準拠する符号化及びITU H.263に準拠する符号化をサポートする。図5に示されたように、ビデオ符号化デバイス50は、メモリ52を含み、それは未圧縮の画像又は未圧縮のビデオ・フレームを初めに記憶する。符号化プロセスの全体を通して、メモリ52は、しかも符号化されたままの及び圧縮されたままのビデオ・データを記憶するために使用されることができる。図5の実施形態に矛盾なく、本明細書にしたがった方法は、離散型余弦変換(DCT)ドメインにおける内部予測を指定する提案された規格文書を有する符号化規格に準拠するようにプログラムされた符号化デバイス中で内部予測符号化のために空間ドメインにおいてモード選択を実行することを備えることができる。
ビデオ符号化デバイス50は、ITU H.264エンコーダ54及びITU H.263エンコーダ56を含む。ITU H.264エンコーダ54は、ITU H.264ビデオ符号化規格に準拠してビデオ系列を符号化し、そして同様に、ITU H.263エンコーダ56は、ITU H.263ビデオ符号化規格に準拠してビデオ系列を符号化する。これらの規格の各々は、内部予測符号化とフレーム内符号化の両方を使用する。したがって、ITU H.264エンコーダ54は、内部予測エンコーダ55及びフレーム間エンコーダ51を含み、そしてITU H.263エンコーダ56は、内部予測エンコーダ57及びフレーム間エンコーダ53を含む。これらのコンポーネントの各々は、一般にエンコーダ54及び56に関係するそれぞれの符号化規格に準拠する。
ITU H.264推奨規格文書は、内部予測が空間ドメインにおいてピクセルに対して実行されるべきであることを規定する。再び、提案されたITU H.263内部予測は、対照的に、離散型余弦変換(DCT)ドメインにおける係数に関して実行される。ITU H.264推奨規格文書にしたがって、マクロブロックのルーマ成分に対する4つの16×16ルーマ・モード:DC、垂直、水平、及びプレーナ、がある。初めの3つ:DC、垂直及び水平、は、内部予測のためのITU H.263規格のモードに対応するように使用されることが可能である。
ITU H.264エンコーダ54は、モード選択エンジン58を含む。モード選択エンジン58は、モード選択プロセスを加速するために設計されたハードウェアを備える。その上、モード選択エンジン58は、ITU H.264規格に対して提案された規格文書に実質的に適合するモード選択を実行する。しかしながら、ある複数のケースでは、プレーナ・モードが処理するためにより複雑であり得るので、初めの3つのモードだけがITU H.264モード選択のために使用されることができる。ITU H.264モード選択のためにプレーナ・モードの使用を避けることは、ビデオ符号化デバイス50のハードウェアを単純化することに、電力消費量を削減することに、そしてバッテリー寿命を延長することに役立つことがある。いずれのケースでも、モード選択エンジン58は、空間ドメインにおいて、すなわち、空間ドメインにおけるピクセル値に基づいて、モード選択を実行する。
ITU H.263エンコーダ56は、それ自身のモード選択エンジンを含まない。その代わりに、モード選択のために、ITU H.263エンコーダ56は、ITU H.264エンコーダ54のモード選択エンジン58を使用する。再び、ITU H.263規格に対する推奨規格文書は、内部予測がDCTドメインにおいて、すなわち、DCT係数に基づいて実行されることを規定するので、これは直感に反している。 しかしながら、空間ドメインにおけるITU H.263のためのモード選択が受け入れ可能な結果を提供することを、本発明は認識する。
ITU H.264推奨規格文書にしたがって、マクロブロックのルーマ成分に対する4つの16×16ルーマ・モード:DC、垂直、水平、及びプレーナ、がある。初めの3つ:DC、垂直及び水平、は、モード選択エンジン58によって決定されることが可能であり、そして内部予測のためにITU H.263規格のモードに対応するようにITU H.263エンコーダ56によって使用されることが可能である。その上、ある複数のケースでは、プレーナ・モードが、特に電力消費及び処理能力がさらに限られている手持ちデバイスにとって、計算するためにより複雑であることがあるので、初めの3つのモードだけが、ITU H.264モード選択のためにITU H.264エンコーダ54によって使用される。ある複数の実施形態では、プレーナ・モードは、エンコーダ54による使用のためにモード選択エンジン58によって計算されことが可能であるが、デバイス50がITU H.263符号化をサポートするようにプログラムされている場合には、モード選択エンジン58は、プレーナ・モードに関係するそのような計算を避けることができる。
図6は、ビデオ符号化デバイス60のブロック図であり、それは2又はそれより多くの符号化規格にしたがってビデオ符号化をサポートする。ビデオ符号化デバイス60は、図1のビデオ符号化デバイス10に非常に良く似ているが、複数の増設コンポーネントを含む。符号化装置70は、ビデオ取り込みデバイス61、ディスプレイ63、ビデオ・メモリ65及び送信機67とともにデバイス60中へとパッケージされたチップセットを備えることができる。送信機67は、無線送信機であり得る。これらの様々なコンポーネントは、通信バス69を介して通信的に接続されることができる。他のコンポーネントも、同様に含まれることができる。
符号化装置70は、ローカル高速メモリ62を含み、チップ外のビデオ・メモリ65からビデオ系列をロードされる。ビデオ系列は、本明細書中に記述されたように符号化される。デバイス60は、複数の符号化規格をサポートし、そして専門販売業者は、使用されるべき符号化規格を選択することが可能である。
符号化装置70は、モード選択エンジン68を含み、それは符号化装置70が第1の符号化規格又は第2の符号化規格に準拠するようにプログラムされているかどうかに拘らず内部予測符号化のためのモード選択を実行する。モード選択エンジン68は、モード選択プロセスを加速するために与えられたハードウェアを備えることができる。装置70は、しかも第1の内部予測エンコーダ64及び第2の内部予測エンコーダ66を含み、第1の内部予測エンコーダ64は、装置70が第1の符号化規格に準拠するようにプログラムされているときに第1の符号化規格に準拠する選択されたモードにしたがって内部予測符号化を実行し、そして第2の内部予測エンコーダ66は、装置が第2の符号化規格に準拠するようにプログラムされているときに第2の符号化規格に準拠する選択されたモードにしたがって内部予測符号化を実行する。エンコーダ64及び66は、それぞれハードウェア、ソフトウェア、及びファームウェアの任意の組み合わせを備えることができる。エンコーダ64、66は、しかも1又はそれより多くのディジタル信号プロセッサ(DSP:digital signal processor)、用途特定集積回路(ASIC:application specific integrated circuit)、FPGA、汎用プロセッサ、又はこれらの任意の組み合わせによって与えられることができる。
ビデオ取り込みデバイス61は、ビデオ系列を取り込むためにビデオ・カメラを備えることができ、そしてビデオ・メモリ65中に取り込まれた系列を記憶することができる。特に、ビデオ取り込みデバイス61は、電荷結合素子(CCD:charge coupled device)、電荷注入デバイス、フォトダイオードのアレイ、相補型金属酸化物半導体(CMOS:complementary metal oxide semiconductor)デバイス、若しくはビデオ画像又はディジタル・ビデオ系列を取り込むことが可能ないずれかの他の光感応性デバイスを含むことができる。ディスプレイ63は、復号されたビデオ系列を表示することができ、そして送信機67は、符号化されたビデオ系列を伝送できる。ある複数のケースでは、ビデオ取り込みデバイスは、ビデオ系列を取り込み、それは選択された規格にしたがって符号化され、そしてそれから送信機67によってリアルタイムで伝送される。モード選択エンジン68は、内部予測符号化の間にモード選択プロセスを加速させることによってこのリアルタイム符号化を改善することが可能である。
ビデオ・メモリ65は、一般的に比較的大きなメモリ空間を備える。ビデオ・メモリ65は、例えば、ダイナミック・ランダム・アクセス・メモリ(DRAM:dynamic random access memory)、又はFLASHメモリを備えることができる。別の例では、ビデオ・メモリ65は、不揮発性メモリ又はいずれかの他のデータ記憶デバイスを備えることができる。対照的に、ローカル・メモリ62は、ビデオ・メモリ65と比較して小さなメモリ空間そしてより早いメモリ空間を備えることができる。一例として、ローカル・メモリ62は、シンクロナス・ランダム・アクセス・メモリ(SDRAM:synchronous random access memory)を備えることができる。ローカル・メモリ62は、同様に、装置70の別のコンポーネントとともに集積された“オン−チップ”メモリを備えることもでき、プロセッサに集中する符号化プロセスの間にデータへの非常に高速なアクセスを提供することができる。
図7は、本明細書の教示に一致するプロセスを説明するフロー図である。図7は、図1の符号化デバイス10を参照して説明される。図7に示されたように、デバイス10は、第1の符号化規格(規格1)に実質的に準拠するモード選択エンジン18を使用してモード選択を実行する(71)。デバイス10が第1の規格にしたがって符号化するようにプログラムされている場合(72の分岐規格1)、デバイスは、規格1に準拠してフレームを符号化する(73)。デバイス10が第2の規格にしたがって符号化するようにプログラムされている場合(72の分岐規格2)、デバイスは、規格2に準拠してフレームを符号化する(74)。上記に概略を示したように、モード選択エンジン18が規格のうちの1つに対する内部予測ドメインとは異なるドメインにおいてそのようなモード選択を実行する場合でさえも、モード選択エンジン18は、両方の規格に対して共用されることが可能である。下記の表1−4及び図8−11のグラフは、本明細書中で説明したモード選択技術が非常に良い結果を実現することを確認する実験結果を与える。
下記の表1−4は、それぞれ図8−11のグラフに対応する。本明細書にしたがって、4つのビデオ系列が、ITU H.263符号化のあいだに試験された。系列は、フォアマン(Foreman)、マザー(Mother)、コーストガード(Coast-guard)、及びクレア(Claire)と名付けられ、別の系列を区別する。各系列は、300フレームからなる。各系列は、H.263、MPEG−4及びITU H.264に対する推奨規格文書に実質的に整合する種々のモード判断方式を使用してITU H.263規格に準拠して内部予測符号化された。内部期間(intra period)は、5フレームであった。ピーク信号対ノイズ比(PSNR)、同様に最小SAD法の代わりにMPEG−4方式又はITU H.264方式の使用に起因するレート増加、は、表1−4に列挙されている。各系列に対するそれぞれのレート歪曲線(rate-distortion curves)が、図8−11にプロットされている。
表及び図では、“H.263”は、ITU H.263規格文書のアネックスIに概略を示されたように、最小SADモード選択が使用されたときのITU H.263符号化を呼ぶ。“MPEG−4”は、アルゴリズム2(上記)に整合し、MPEG−4推奨規格文書と比較してわずかに変更されたモード選択技術が使用されたときのITU H.263符号化を呼ぶ。“H.264”は、ITU H.264推奨規格文書の初めの3つのモード(プレーナ・モードを除く)がITU H.263符号化におけるモード選択のために使用されたときの符号化を呼ぶ。MPEG−4及びH.264の“レート増加”は、H.263モード選択を用いた符号化に対して相対的なレート増加を同定する。
Figure 0004700069
Figure 0004700069
Figure 0004700069
Figure 0004700069
ITU H.263符号化に対して提案された最小SADベースの技術を使用しないことによって、影響を受けたビット・レート費用は、わずかに高いことが、観測される。アルゴリズム2(上記)で説明したようにわずかに変更されたMPEG−4モード選択方式を使用することは、ITU H.263符号化のあいだに、ほぼ同じPSNRを実現するために、結果として最小SAD法と比較して11%未満のビット・レート増加になる。ITU H.264選択方式が上記のように使用されたときに、出来栄えは、さらに良くなり、そしてITU H.263提案文書によって予想される最小SAD法を使用して実現されることが可能な出来栄えに非常に近くなった。ITU H.264選択方式が使用されたときのビット・レート増加は、5%未満であった。特に、レートは、ITU H.264モード選択技術が使用されたときに、ある複数のケースでは実際に減少した。
要するに、ITU H.263内部予測モード選択に対して調査された2つの異なる代案が検討された。ITU H.264モード選択は、ITU H.263内部予測の代わりに使用されることが可能であるが、ITU H.263内部予測に対して提案された文書と対照的に、空間ドメインにおいて実行される。MPEG−4モード選択も、同様にITU H.263内部予測の代わりに使用されることが可能であるが、ITU H.263に対して提案された文書よりもはるかに複雑でない。もし電力消費量が重大な関心事でなければ、ITU H.264モード選択エンジンのモード選択判断は、DCT係数を必要とする最小SAD法に対する良い代案として機能する。出来栄えの隔たりは、非常に小さい。もしより複雑でないことが望まれる場合でさえ、アルゴリズム2(上記)によってわずかに変更されているので、MPEG−4モード選択エンジンのモード選択判断は、妥当な出来栄えの低下をともなう代案である。
複数の異なる実施形態が記述されてきている。これらの実施形態そして他の実施形態は、特許請求の範囲のスコープの範囲内である。
図1は、本明細書の1実施形態にしたがった具体例の符号化デバイスを説明するブロック図である。 図2は、ITU H.263規格のアネックスIにおいて記述される符号化プロセスの説明を助けるために使用する図である。 図3は、MPEG−4文書で記述されるものに類似のモード選択を使用する符号化プロセスの説明を助けるために使用する図である。 図4は、MPEG−4に準拠する符号化及びITU H.263に準拠する符号化をサポートするビデオ符号化デバイスのブロック図である。 図5は、ITU H.264に準拠する符号化及びITU H.263に準拠する符号化をサポートするビデオ符号化デバイスの図である。 図6は、本明細書の1実施形態にしたがった具体例の符号化デバイスを説明する別の1つのブロック図である。 図7は、本明細書の教示に整合するプロセスを説明するフロー図である。 図8は、本明細書中に記述されたモード選択技術が非常に良い結果を実現することを確認する実験結果のグラフである。 図9は、本明細書中に記述されたモード選択技術が非常に良い結果を実現することを確認する実験結果のグラフである。 図10は、本明細書中に記述されたモード選択技術が非常に良い結果を実現することを確認する実験結果のグラフである。 図11は、本明細書中に記述されたモード選択技術が非常に良い結果を実現することを確認する実験結果のグラフである。
符号の説明
10…符号化デバイス,12…メモリ,14…第1の内部予測エンコーダ,16…第2の内部予測エンコーダ,18…モード選択エンジン。

Claims (31)

  1. 符号化デバイスが第1の符号化規格又は第2の符号化規格に準拠するようにプログラムされているかどうかに拘らず内部予測符号化のためにモード選択を実行するモード選択エンジン;
    該符号化デバイスが該第1の符号化規格に準拠するようにプログラムされているときに、該第1の符号化規格に準拠する該選択されたモードにしたがって該内部予測符号化を実行するための第1のエンコーダ;及び
    該符号化デバイスが該第2の符号化規格に準拠するようにプログラムされているときに、該第2の符号化規格に準拠する該選択されたモードにしたがって該内部予測符号化を実行するための第2のエンコーダ、
    を具備することを特徴とする符号化デバイス。
  2. 該符号化デバイスは、該第1の符号化規格又は該第2の符号化規格のいずれかに準拠するようにプログラムされることが可能であることを特徴とする請求項1の符号化デバイス。
  3. 該第1のエンコーダ及び該第2のエンコーダは、ビデオ系列を符号化するビデオ・エンコーダを備えることを特徴とする請求項1の符号化デバイス。
  4. 該モード選択エンジンは、該第1のエンコーダの一部を形成し、そして該符号化デバイスが該第2の符号化規格に準拠するようにプログラムされているときに、該第2のエンコーダは、該第1のエンコーダの該モード選択エンジンを使用することを特徴とする請求項1の符号化デバイス。
  5. 該第1の符号化規格は、国際電気通信連合(ITU)H.264規格に準拠し、そして該第2の符号化規格は、ITU H.263規格に準拠することを特徴とする請求項1の符号化デバイス。
  6. 該モード選択エンジンは、空間ドメインにおいてモード選択を実行することを特徴とする請求項5の符号化デバイス。
  7. 該第1の符号化規格は、動画像エキスパート・グループ(MPEG)−4規格に準拠し、そして該第2の符号化規格は、ITU H.263規格に準拠することを特徴とする請求項1の符号化デバイス。
  8. 該モード選択エンジンは、DCTドメインにおいてモード選択を実行するが、該ITU H.263規格によって提案されたようなモード選択とは異なる方法であることを特徴とする請求項7の符号化デバイス。
  9. 該第1の符号化規格に対して提案された規格文書は、第1のドメインにおける内部予測を指定し、そして該第2の符号化規格に対して提案された規格文書は、第2のドメインにおける内部予測を指定する、ここにおいて、該モード選択エンジンは、該符号化デバイスが該第1の符号化規格又は該第2の符号化規格に準拠するようにプログラムされているかどうかに拘らず該第1のドメインにおいてモード選択を実行することを特徴とする請求項1の符号化デバイス。
  10. 該第1の符号化規格に対して提案された規格文書は、空間ドメインにおける内部予測を指定し、そして該第2の符号化規格に対して提案された規格文書は、離散型余弦変換(DCT)ドメインにおける内部予測を指定することを特徴とする請求項1の符号化デバイス。
  11. 該モード選択エンジンは、該符号化デバイスが該第1の符号化規格又は該第2の符号化規格に準拠するようにプログラムされているかどうかに拘らず空間ドメインにおいて該モード選択を実行することを特徴とする請求項10の符号化デバイス。
  12. 該第1のエンコーダ及び該第2のエンコーダのうちの1つによって符号化されたビデオ・フレームを伝送するための送信機をさらに具備することを特徴とする請求項1の符号化デバイス。
  13. リアルタイムでビデオ・フレームを取り込むためのビデオ取り込みデバイスをさらに具備する、ここにおいて、該第1のエンコーダ及び該第2のエンコーダはリアルタイムで該ビデオ・フレームを符号化するために構成され、そして該送信機は、リアルタイムで該符号化されたビデオ・フレームを伝送するために構成されることを特徴とする請求項12の符号化デバイス。
  14. 離散型余弦変換(DCT)ドメインにおける内部予測を指定する提案された規格文書を有する符号化規格を含む複数の符号化規格に準拠するようにプログラムされた符号化デバイスにおいて、前記複数の符号化規格に共通の1つのモード選択エンジンによって、内部予測符号化のために空間ドメインまたはDCTドメインにおいてモード選択を実行することと、
    前記符号化デバイスによって、前記選択されたモードに基づいて前記内部予測符号化を実行することと、
    を具備することを特徴とする方法。
  15. 前記符号化デバイスが、該複数の符号化規格のうち該DCTドメインにおける内部予測を指定する提案された規格文書を有する符号化規格を指定するプログラミング命令を外部から受け取ることをさらに具備することを特徴とする請求項14の方法。
  16. 前記選択されたモードに基づいて前記内部予測符号化を実行することは、該DCTドメインにおける内部予測を指定する提案された規格文書を有する符号化規格に準拠する選択されたモードに基づいて内部予測符号化を実行すること、を特徴とする請求項14の方法。
  17. 前記符号化デバイスによって、該DCTドメインにおける内部予測を指定する提案された規格文書を有する符号化規格に準拠してフレーム内符号化を実行することをさらに具備することを特徴とする請求項16の方法。
  18. DCTドメインにおける内部予測を指定する提案された規格文書を有する符号化規格は、国際電気通信連合(ITU)H.263規格に準拠することを特徴とする請求項14の方法。
  19. 符号化デバイスが第1の符号化規格又は第2の符号化規格に準拠するようにプログラムされているかどうかに拘らず該第1の符号化規格に準拠するモード選択エンジンを使用して内部予測符号化するためにモード選択を実行すること;
    該符号化デバイスが該第1の符号化規格に準拠するようにプログラムされているときに、該第1の符号化規格に準拠する該選択されたモードにしたがって該内部予測符号化を実行すること;及び
    該符号化デバイスが該第2の符号化規格に準拠するようにプログラムされているときに、該第2の符号化規格に準拠する該選択されたモードにしたがって該内部予測符号化を実行すること、
    を具備することを特徴とする方法。
  20. 該第1の符号化規格は、国際電気通信連合(ITU)H.264規格に準拠し、そして該第2の符号化規格は、ITU H.263規格に準拠することを特徴とする請求項19の方法。
  21. 該第1の符号化規格は、動画像エキスパート・グループ(MPEG)−4規格に準拠し、そして該第2の符号化規格は、ITU H.263規格に準拠することを特徴とする請求項19の方法。
  22. 空間ドメインにおいてモード選択を実行することをさらに具備することを特徴とする請求項19の方法。
  23. 該第1の符号化規格に対して提案された規格文書は、第1のドメインにおける内部予測を指定し、そして該第2の符号化規格に対して提案された規格文書は、第2のドメインにおける内部予測を指定する、ここにおいて、該方法は、該符号化デバイスが該第1の符号化規格又は該第2の符号化規格に準拠するようにプログラムされているかどうかに拘らず該第1のドメインにおいてモード選択を実行することをさらに具備することを特徴とする請求項19の方法。
  24. 該第1の符号化規格に対して該提案された規格文書は、空間ドメインにおける内部予測を指定し、そして該第2の符号化規格に対して該提案された規格文書は、離散型余弦変換(DCT)ドメインにおける内部予測を指定することを特徴とする請求項19の方法。
  25. 符号化装置が第1の符号化規格又は第2の符号化規格に準拠するようにプログラムされているかどうかに拘らず内部予測符号化のためにモード選択を実行するモード選択エンジン;
    該符号化装置が該第1の符号化規格に準拠するようにプログラムされているときに、該第1の符号化規格に準拠する該選択されたモードにしたがって該内部予測符号化を実行するための手段;及び
    該符号化装置が該第2の符号化規格に準拠するようにプログラムされているときに、該第2の符号化規格に準拠する該選択されたモードにしたがって該内部予測符号化を実行するための手段、
    を具備することを特徴とする装置。
  26. 該装置は、該第1の符号化規格又は該第2の符号化規格のいずれかに準拠するようにプログラムされることが可能であるチップセットを具備することを特徴とする請求項25の装置。
  27. 該モード選択エンジンは、第1のエンコーダの一部を形成し、そして該符号化装置が該第2の符号化規格に準拠するようにプログラムされているときに、第2のエンコーダは、該第1のエンコーダの該モード選択エンジンを使用することを特徴とする請求項25の装置。
  28. 該モード選択エンジンは、ハードウェアを具備することを特徴とする請求項25の装置。
  29. 該第1の符号化規格に準拠する該選択されたモードにしたがって該内部予測符号化を実行するための該手段は、該モード選択エンジンを含んでいるハードウェア及びソフトウェアの組み合わせを備える;及び
    該第2の符号化規格に準拠する該選択されたモードにしたがって該内部予測符号化を実行するための該手段は、該モード選択エンジンを含んでいるハードウェア及びソフトウェアの前記組み合わせと別の組み合わせを備えることを特徴とする請求項28の装置。
  30. 該第1の符号化規格に対して提案された規格文書は、第1のドメインにおける内部予測を指定し、そして該第2の符号化規格に対して提案された規格文書は、第2のドメインにおける内部予測を指定する、ここにおいて、該モード選択エンジンは、該符号化装置が該第1の符号化規格又は該第2の符号化規格に準拠するようにプログラムされているかどうかに拘らず該第1のドメインにおいてモード選択を実行することを特徴とする請求項25の装置。
  31. 該第1の符号化規格に対して提案された規格文書は、空間ドメインにおける内部予測を指定し、そして該第2の符号化規格に対して提案された規格文書は、離散型余弦変換(DCT)ドメインにおける内部予測を指定することを特徴とする請求項30の装置。
JP2007551445A 2005-01-13 2006-01-13 内部予測ビデオ符号化のためのモード選択技術 Expired - Fee Related JP4700069B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/036,447 US7830960B2 (en) 2005-01-13 2005-01-13 Mode selection techniques for intra-prediction video encoding
US11/036,447 2005-01-13
PCT/US2006/001421 WO2006076675A1 (en) 2005-01-13 2006-01-13 Mode selection techniques for intra-prediction video encoding

Publications (2)

Publication Number Publication Date
JP2008527933A JP2008527933A (ja) 2008-07-24
JP4700069B2 true JP4700069B2 (ja) 2011-06-15

Family

ID=36250771

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007551445A Expired - Fee Related JP4700069B2 (ja) 2005-01-13 2006-01-13 内部予測ビデオ符号化のためのモード選択技術

Country Status (7)

Country Link
US (1) US7830960B2 (ja)
EP (1) EP1859629B1 (ja)
JP (1) JP4700069B2 (ja)
KR (1) KR100937275B1 (ja)
CN (1) CN101133648B (ja)
AT (1) ATE524019T1 (ja)
WO (1) WO2006076675A1 (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BRPI0517069A (pt) * 2004-11-04 2008-09-30 Thomson Licensing previsão rápida intra modo para um codificador de vìdeo
JPWO2006100946A1 (ja) * 2005-03-24 2008-09-04 パイオニア株式会社 画像信号再符号化装置及び画像信号再符号化方法
ATE478522T1 (de) * 2005-05-20 2010-09-15 Nxp Bv Videokodierer mit aktualisierungsfunktion
KR100727972B1 (ko) * 2005-09-06 2007-06-14 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
KR100856223B1 (ko) * 2006-10-19 2008-09-03 삼성전자주식회사 H.264 인코더의 적응적 인코딩 모드 결정 장치 및결정 방법
KR101375669B1 (ko) * 2006-11-07 2014-03-19 삼성전자주식회사 인터 예측 부호화, 복호화 방법 및 장치
JP4908180B2 (ja) * 2006-12-20 2012-04-04 株式会社東芝 動画像符号化装置
KR101365569B1 (ko) * 2007-01-18 2014-02-21 삼성전자주식회사 인트라 예측 부호화, 복호화 방법 및 장치
CN101971631B (zh) * 2007-12-21 2013-03-27 艾利森电话股份有限公司 自适应帧内模式选择
CN101340581B (zh) * 2008-08-15 2010-06-02 上海富瀚微电子有限公司 一种基于m算法的帧内预测模式选择方法及其实现装置
US8483285B2 (en) * 2008-10-03 2013-07-09 Qualcomm Incorporated Video coding using transforms bigger than 4×4 and 8×8
JP5169978B2 (ja) * 2009-04-24 2013-03-27 ソニー株式会社 画像処理装置および方法
WO2011095959A1 (en) * 2010-02-08 2011-08-11 Nokia Corporation An apparatus, a method and a computer program for video coding
US10123009B2 (en) * 2010-08-17 2018-11-06 M&K Holdings Inc. Apparatus for encoding an image
US11284072B2 (en) 2010-08-17 2022-03-22 M&K Holdings Inc. Apparatus for decoding an image
KR20120016991A (ko) * 2010-08-17 2012-02-27 오수미 인터 프리딕션 방법
US9066097B2 (en) 2011-02-01 2015-06-23 Sony Corporation Method to optimize the transforms and/or predictions in a video codec
US9654785B2 (en) * 2011-06-09 2017-05-16 Qualcomm Incorporated Enhanced intra-prediction mode signaling for video coding using neighboring mode
EP2774360B1 (en) * 2011-11-04 2017-08-02 Huawei Technologies Co., Ltd. Differential pulse code modulation intra prediction for high efficiency video coding
US9319684B2 (en) * 2012-08-21 2016-04-19 Qualcomm Incorporated Alternative transform in scalable video coding
CN104601989A (zh) * 2015-01-19 2015-05-06 北京北方常安铁路电务工程技术有限公司 视频编码方法
JP7036628B2 (ja) * 2017-03-10 2022-03-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
EP3793194A4 (en) * 2018-05-10 2022-04-20 Samsung Electronics Co., Ltd. VIDEO ENCODING METHOD AND APPARATUS AND VIDEO DECODING METHOD AND APPARATUS
JP7243732B2 (ja) * 2018-09-14 2023-03-22 株式会社ソシオネクスト 動画像符号化方法及び動画像符号化装置
EP3664451B1 (en) * 2018-12-06 2020-10-21 Axis AB Method and device for encoding a plurality of image frames
CN118509423B (zh) * 2024-07-18 2024-09-13 北京尚优力达科技有限公司 一种融合通信音视频传输方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003009149A (ja) * 2001-06-27 2003-01-10 Sony Corp 画像処理装置及び方法、並びにプログラム及び記録媒体

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6014694A (en) * 1997-06-26 2000-01-11 Citrix Systems, Inc. System for adaptive video/audio transport over a network
US6625211B1 (en) * 1999-02-25 2003-09-23 Matsushita Electric Industrial Co., Ltd. Method and apparatus for transforming moving picture coding system
US7103669B2 (en) * 2001-02-16 2006-09-05 Hewlett-Packard Development Company, L.P. Video communication method and system employing multiple state encoding and path diversity
US20040258162A1 (en) * 2003-06-20 2004-12-23 Stephen Gordon Systems and methods for encoding and decoding video data in parallel
CN1209928C (zh) * 2003-07-04 2005-07-06 清华大学 一种基于预测块组的采用帧内预测的帧内编码帧编码方法
US7324595B2 (en) * 2003-09-22 2008-01-29 Lsi Logic Corporation Method and/or apparatus for reducing the complexity of non-reference frame encoding using selective reconstruction
CN1235411C (zh) * 2003-10-17 2006-01-04 中国科学院计算技术研究所 基于流水线的帧内预测模式块编码加速方法
CN100536573C (zh) * 2004-01-16 2009-09-02 北京工业大学 基于方向的dc预测方法及用于视频编码的帧内预测方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003009149A (ja) * 2001-06-27 2003-01-10 Sony Corp 画像処理装置及び方法、並びにプログラム及び記録媒体

Also Published As

Publication number Publication date
WO2006076675A1 (en) 2006-07-20
CN101133648B (zh) 2014-11-12
CN101133648A (zh) 2008-02-27
US20060153292A1 (en) 2006-07-13
US7830960B2 (en) 2010-11-09
EP1859629B1 (en) 2011-09-07
ATE524019T1 (de) 2011-09-15
KR100937275B1 (ko) 2010-01-18
KR20070104595A (ko) 2007-10-26
WO2006076675A9 (en) 2008-12-31
EP1859629A1 (en) 2007-11-28
JP2008527933A (ja) 2008-07-24

Similar Documents

Publication Publication Date Title
JP4700069B2 (ja) 内部予測ビデオ符号化のためのモード選択技術
US7924925B2 (en) Flexible macroblock ordering with reduced data traffic and power consumption
JP5415599B2 (ja) レート制御されたビデオ符号化のための適応フレーム・スキップ技術
JP4847521B2 (ja) 複数の映像規格に従った映像符号化の際のブロックノイズ除去フィルタリング技術
RU2452128C2 (ru) Адаптивное кодирование информации заголовка видеоблока
US8995527B2 (en) Block type signalling in video coding
US8761259B2 (en) Multi-dimensional neighboring block prediction for video encoding
TWI408966B (zh) 用於視訊編碼中單向預測及雙向預測之不同權重
US20140254660A1 (en) Video encoder, method of detecting scene change and method of controlling video encoder
JP4641892B2 (ja) 動画像符号化装置、方法、及びプログラム
US20070036218A1 (en) Video transcoding
TW201029475A (en) Intelligent frame skipping in video coding based on similarity metric in compressed domain
EP1829381A2 (en) Motion estimation techniques for video encoding
JP2013515448A (ja) キャッシュヒットを向上させるための復号器内での時間的及び空間的ビデオブロックの再順序付け
JP2009267689A (ja) 動画像符号化装置、及び動画像符号化方法
JP2005110083A (ja) データ処理装置およびその方法と符号化装置
US20150103909A1 (en) Multi-threaded video encoder
Norouzi et al. Implementation of Hybrid MC/DCT video codec
Shenbagavalli et al. Adaptive Algorithm To Reduce Computational Complexity In Video Coders

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100730

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100810

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100921

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101019

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110303

R150 Certificate of patent or registration of utility model

Ref document number: 4700069

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees