JPWO2010047099A1 - スケーラブル動画像符号化方法、スケーラブル動画像符号化装置、スケーラブル動画像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents

スケーラブル動画像符号化方法、スケーラブル動画像符号化装置、スケーラブル動画像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 Download PDF

Info

Publication number
JPWO2010047099A1
JPWO2010047099A1 JP2010534689A JP2010534689A JPWO2010047099A1 JP WO2010047099 A1 JPWO2010047099 A1 JP WO2010047099A1 JP 2010534689 A JP2010534689 A JP 2010534689A JP 2010534689 A JP2010534689 A JP 2010534689A JP WO2010047099 A1 JPWO2010047099 A1 JP WO2010047099A1
Authority
JP
Japan
Prior art keywords
prediction mode
correspondence
encoding
scalable
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010534689A
Other languages
English (en)
Other versions
JP5225388B2 (ja
Inventor
和也 早瀬
和也 早瀬
幸浩 坂東
幸浩 坂東
誠之 高村
誠之 高村
上倉　一人
一人 上倉
八島　由幸
由幸 八島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2010534689A priority Critical patent/JP5225388B2/ja
Publication of JPWO2010047099A1 publication Critical patent/JPWO2010047099A1/ja
Application granted granted Critical
Publication of JP5225388B2 publication Critical patent/JP5225388B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/197—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本発明は、スケーラブル動画像符号化において、従来の符号化で選択された最適予測モードに基づいて、上位レイヤと下位レイヤとの空間的に対応するブロックについて選択する最適予測モードの組み合わせの発生率を求め、それらの関係について記述する対応表を生成する。続いて、発生率に基づいて対応表に記述される最適予測モードの組み合わせを絞り込み、その絞り込んだ最適予測モードの組み合わせについて記述する予測モード対応情報を生成する。そして、上位レイヤのブロックを符号化する場合に、下位レイヤの空間的に対応するブロックの符号化で選択された最適予測モードをキーにして予測モード対応情報を参照することで、その符号化で探索する予測モード探索候補を決定して、予測モード探索候補の数を減らすようにする。

Description

本発明は、動画像をスケーラブルに符号化するスケーラブル動画像符号化方法およびその装置と、そのスケーラブル動画像符号化方法の実現に用いられるスケーラブル動画像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関する。特に、本発明は、符号化時間の削減を実現するスケーラブル動画像符号化方法およびその装置と、そのスケーラブル動画像符号化方法の実現に用いられるスケーラブル動画像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関する。
本願は、２００８年１０月２２日に、日本に出願された特願２００８−２７１５１３号に基づき優先権を主張し、その内容をここに援用する。
近年の多様な表示端末・ネットワーク環境の背景を受け、ＪＶＴ（Joint Video Team：合同ビデオ・チーム）では、ＡＶＣ（Advanced Video Coding：高度動画像圧縮符号化標準）に対して、空間／時間／ＳＮＲ（Signal to Noise ratio）のスケーラビリティを付与した符号化方式ＳＶＣ（Scalable Video Coding）が検討されている（例えば、非特許文献１参照）。
ＳＶＣでは、Inter予測、Intra予測、レイヤ間予測という３つの予測方法を取り入れており、時間、空間、レイヤ間に内在する冗長性除去を行う。ＳＶＣでとり得る予測モードを下記に列挙する。
〔Inter予測〕
・Skip モード（Skip ）
・Direct モード（Direct ）
・１６×１６ブロックサイズ動き予測モード（Ｐ１６×１６）
・１６×８ブロックサイズ動き予測モード（Ｐ１６×８）
・８×１６ブロックサイズ動き予測モード（Ｐ８×１６）
・８×８ブロックサイズ動き予測モード（Ｐ８×８）
〔Intra予測〕
・１６×１６ブロックサイズIntra予測モード（Ｉ１６×１６）
・８×８ブロックサイズIntra予測モード（Ｉ８×８）
・４×４ブロックサイズIntra予測モード（Ｉ４×４）
〔レイヤ間予測〕
・BLSkip モード（BLSkip ）
・IntraBLモード（IntraBL）
Ｐ８×８を行う場合の各８×８ブロックは、さらに８×４、４×４、４×４のブロックサイズに分割可能である。ＳＶＣでは、マクロブロックごとに、これらの予測モード探索候補の中から１つを最適予測モードとして選択する。
最適予測モードの決定方法の例を以下に挙げる。
ＪＶＴがＳＶＣの参照エンコーダとして提供しているＪＳＶＭ（Joint Scalable Video Model、例えば、非特許文献２参照）では、各予測モードにおいて符号量と符号化歪みとからなる符号化コストが計算され、上述したすべての予測モード中で最も符号化コストが小さくなる予測モードが最適予測モードとして定められる。
また、下記に示す特許文献１では、参照フレームの動きベクトルを符号化対象フレームに外挿／内挿したベクトルが生成され、それによって動いたマクロブロックの各画素の座標が求められ、画素が一致する回数が各画素毎にカウントされる。次に、符号化対象マクロブロック内の各画素のカウント数から算出されるスコアの値の大小に従って予測モード探索候補の絞り込みが行なわれる。この絞り込み方法はＨ．２６４／ＡＶＣの予測モード探索高速化のために提案されたものであるが、Ｈ．２６４／ＡＶＣと同じ予測モード探索の仕組みであるＳＶＣにおいても適用可能である。
また、下記に示す特許文献２では、フレーム内符号化を高速で行うことができるようにするために、近接符号化ブロックの画素値を用いてフレーム内符号化を行うブロックの例えば９通りの画面内予測誤差が求められて、それに基づいてそのブロックの予測モードが決定される。次に、近接既符号化ブロックの画面内予測モードを用いてそのブロックの予測モードが決定され、その２つの予測モードが一致する場合には、そのままその予測モードが選択され、一致しない場合は、符号化コストの小さい方の予測モードが選択されるようにしている。
T. Wiegand, G. Sullivan, J. Reichel, H. Schwarz and M. Wien :"Joint Draft ITU-T Rec. H.264｜ISO/IEC 14496-10/ Amd.3 Scalable video coding, "ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6, JVT-X201, 2007. http://ftp3.itu.ch/av-arch/jvt-site/2007_06_Geneva/JVTX201.zip J. Reichel, H. Schwarz and M. Wien: "Joint Scalable Video Model JSVM-11," ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6, JVT-X202, 2007. http://ftp3.itu.ch/av-arch/jvt-site/2007_06_Geneva/JVTX202.zip
特開２００６−０３３４５１号公報 特開２００５−１８４２４１号公報
非特許文献２のＪＳＶＭにおける最適予測モードの決定方法では、予測モード探索候補の絞り込みを行っていないため、高い符号化性能を実現できる。その反面、この決定方法では、予測モード探索に莫大な時間を要する。すなわち、この決定方法では、マクロブロック内の画像の特性を考慮すれば明らかに選ばれる可能性が低い予測モード（例えば、静止領域におけるIntra予測モード）も探索しており無駄が多い。
また、特許文献１の予測モード探索候補の絞り込みは、Intra予測をするのか否かの判定を下す方法であるため、Intra予測モードの探索と比べて長い計算時間を要するInter予測モード探索の削減効果はない。つまり、Inter予測モード探索については、改良の余地をそのまま残している。
また、特許文献２の予測モード探索候補の絞り込みは、Intra予測のみの絞り込みであるため、特許文献１の予測モード探索候補の絞り込みと同様に、Inter予測モード探索の削減効果はない。つまり、Inter予測モード探索については、改良の余地をそのまま残している。
本発明はかかる事情を鑑みてなされたものであり、レイヤ構造によってスケーラビリティを実現するスケーラブル動画像符号化において、レイヤ間の最適予測モードの相関性を利用して上位レイヤの予測モード探索候補の絞り込みを行い高速化する新たなスケーラブル動画像符号化技術の提供を目的とする。
本発明のスケーラブル動画像符号化装置は、レイヤ構造によってスケーラビリティを実現するスケーラブル動画像符号化において予測モード探索の高速化を実現するために、（１）使用可能なものとして定義された予測モードの使用に制限を設けることなく行ったスケーラブル符号化で選択された最適予測モードの情報に基づいて、空間的に対応するブロックにおける選択された上位レイヤと下位レイヤの最適予測モードの組み合わせの発生率を求めて、その最適予測モードの組み合わせとその発生率との対応関係について記述する対応表を生成する生成部と、（２）上位レイヤのブロックを符号化する場合に、下位レイヤの空間的に対応するブロックの符号化で選択された最適予測モードの情報を取得する取得部と、（３）取得部の取得した最適予測モードの情報と対応表に記述される発生率の情報とに基づいて、対応表に記述される最適予測モードの組み合わせの中から有効な組み合わせを抽出して、その抽出した組み合わせの持つ上位レイヤの最適予測モードを、上位レイヤのブロックの符号化で探索する予測モード探索候補として決定する決定部と、（４）対応表を用いて実行される予測モードの使用に制限を設けるスケーラブル符号化と、対応表を用いないで実行される予測モードの使用に制限を設けないスケーラブル符号化とを交互に繰り返すように制御する制御部とを備える。
このような構成において、決定部は、取得部の取得した最適予測モードの情報をキーにして対応表を参照することで、その最適予測モードに対応付けられる発生率を特定する。次に決定部は、その特定した発生率の中から所定の閾値よりも大きな値を示す発生率を持つ最適予測モードの組み合わせを抽出したり、その特定した発生率の中から最も大きな値を示す発生率を持つ最適予測モードの組み合わせを抽出したり、その特定した発生率の中からその値の大きな順に選択される所定の個数の発生率を持つ最適予測モードの組み合わせを抽出することが好ましい。決定部は、その抽出した最適予測モードの組み合わせの持つ上位レイヤの最適予測モードを、上位レイヤのブロックの符号化で探索する予測モード探索候補として決定する。
さらに、決定部による効率的な決定処理を実現するために、本発明のスケーラブル動画像符号化装置は、前もって、対応表に記述される発生率の値に基づいて、対応表に記述される最適予測モードの組み合わせを絞り込むことで有効な最適予測モードの組み合わせを抽出して、その抽出した有効な最適予測モードの組み合わせについて記述する予測モード対応情報を生成することが好ましい。
この場合には、本発明のスケーラブル動画像符号化装置は、レイヤ構造によってスケーラビリティを実現するスケーラブル動画像符号化において予測モード探索の高速化を実現するために、（１）使用可能なものとして定義された予測モードの使用に制限を設けることなく行ったスケーラブル符号化で選択された最適予測モードの情報に基づいて、空間的に対応するブロックにおける選択された上位レイヤと下位レイヤの最適予測モードの組み合わせの発生率を求めて、その最適予測モードの組み合わせとその発生率との対応関係について記述する対応表を生成する対応表生成部と、（２）対応表に記述される発生率の値に基づいて、対応表に記述される最適予測モードの組み合わせを絞り込むことで有効な最適予測モードの組み合わせを抽出して、その抽出した有効な最適予測モードの組み合わせについて記述する予測モード対応情報を生成する予測モード対応情報生成部と、（３）上位レイヤのブロックを符号化する場合に、下位レイヤの空間的に対応するブロックの符号化で選択された最適予測モードの情報を取得する取得部と、（４）取得部の取得した最適予測モードの情報をキーにして予測モード対応情報を参照することで、上位レイヤのブロックの符号化で探索する予測モード探索候補を決定する決定部と、（５）対応表を用いて実行される予測モードの使用に制限を設けるスケーラブル符号化と、対応表を用いないで実行される予測モードの使用に制限を設けないスケーラブル符号化とを交互に繰り返すように制御する制御部とを備える。
この構成を採るときに、予測モード対応情報生成部は、所定の閾値よりも大きな値を示す発生率を持つ最適予測モードの組み合わせを有効なものとして抽出することで予測モード対応情報を生成したり、下位レイヤについて同一の最適予測モードを持つ最適予測モードの組み合わせの中から、最も大きな値を示す発生率を持つ最適予測モードの組み合わせを有効なものとして抽出することで予測モード対応情報を生成したり、大きな値を示す発生率の順に選択される所定の個数の最適予測モードの組み合わせを有効なものとして抽出することで予測モード対応情報を生成するようにしてもよい。
以上の各処理部が動作することで実現される本発明のスケーラブル動画像符号化方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御部上で動作することにより本発明を実現することになる。
本発明では、レイヤ構造によってスケーラビリティを実現するスケーラブル動画像符号化において、レイヤ間の最適予測モードの相関性を利用して上位レイヤの予測モード探索候補の絞り込みを行うことから、符号化時間を削減することができる。
さらに、本発明では、予測モード探索候補を絞り込むことで符号化時間の削減を図るときに、符号化済みフレームにおけるレイヤ間の最適予測モードの対応関係をもとに、その絞り込みを行うことから、最適予測モードが絞り込みによって省かれてしまう危険性を回避できる。したがって、予測モード探索候補を絞り込むことにより発生する可能性がある符号化性能の低下を抑制することができる。
予測モード対応率表の生成対象となるフレームと符号化対象フレームとの一例を示す説明図である。 本発明の一実施形態の動画像符号化処理の大きな流れを示すフローチャートである。 本発明の一実施形態における予測モード対応率表である。 本発明の一実施形態における予測モード探索候補の絞り込み結果を示す表である。 本発明の一実施形態における予測モード探索候補の絞り込み結果を示す表である。 本発明の一実施形態によるスケーラブル動画像符号化処理を示すフローチャートである。 図６に示されたスケーラブル動画像符号化処理において実行される予測モード検索候補を決定する処理の一例を示すフローチャートである。 図６に示されたスケーラブル動画像符号化処理において実行される予測モード検索候補を決定する処理の他の例を示すフローチャートである。 本発明の一実施形態によるスケーラブル動画像符号化装置を示すブロック図である。 図９に示されたスケーラブル動画像符号化装置における予測モード検索候補決定部の一例を示すブロック図である。 図９に示されたスケーラブル動画像符号化装置における予測モード検索候補決定部の他の例を示すブロック図である。 本発明の一実施形態の有効性を検証するために行った実験における対応率算出フレームおよび高速モード選択フレームを示す説明図である。 本発明の一実施形態の有効性を検証するために行った実験の実験結果を示すグラフ図である。 本発明の一実施形態の有効性を検証するために行った実験の実験結果を示すグラフである。
〔１〕本発明の一実施形態の基本的な考え方
本発明の一実施形態では、レイヤ構造によってスケーラビリティを実現するスケーラブル動画像符号化において、
（ｉ）予測モード対応率表（レイヤ間の最適予測モードの相関性について記述する表）の生成
（ii）予測モード対応率表を使った予測モード探索候補の絞り込み
という２つの処理によって予測モード探索の高速化を実現する。
以降、図１のような例に従って説明を進める。すなわち、レイヤＬとレイヤＬ−１の両方が、ＩＢＢＢＰの階層的Ｂ構造で符号化をしていると仮定する。図中の矢印は予測参照先を示している。符号化対象レイヤをＬ、符号化対象フレームをＢ２ｂとし、予測モード対応率表の生成対象フレームをＢ２ａとする。また、Ｂ２ｂの同一時刻のレイヤＬ−１のフレームをＢ’２ｂ、Ｂ２ａの同一時刻のレイヤＬ−１のフレームをＢ’２ａとする。時間レベルが低い順に符号化され、同一時間レベル中では時間が早いフレーム順に符号化されるとする。また、レイヤはレベルが小さい順に符号化されるとする。
次に、図２に示すフローチャートに従って、本実施形態の処理の大きな流れについて説明する。
本実施形態では、動画像をスケーラブル符号化する場合、図２のフローチャートに示すように、ステップＳ１０１で、変数ｎに１をセットし、続くステップＳ１０２で、全てのフレームを符号化したか否かを判断する。全てのフレームを符号化したと判断した場合には、処理を終了する。
一方、ステップＳ１０２の判断処理に従って、全てのフレームを符号化していないと判断したときには、ステップＳ１０３に進んで、先頭フレームからの順番に従って、未処理のフレームを１つ選択する。続くステップＳ１０４で、使用可能なものとして定義された予測モードの使用に制限を加えることなく予測を行う、すなわち、使用可能なすべての予測モードを使用して予測を行うことで、その選択したフレームを符号化する。
続いて、ステップＳ１０５で、変数ｎの値を１つインクリメントする。続くステップＳ１０６で、変数ｎの値が所定の閾値Ｎ１（Ｎ１は１以上の整数）よりも大きくなったか否かを判断する。変数ｎの値が閾値Ｎ１よりも大きくなっていないと判断したときには、ステップＳ１０２の処理に戻り、使用可能なものとして定義された予測モードの使用に制限を加えることなくフレームを符号化することを続行する。
一方、ステップＳ１０６の判断処理で、変数ｎの値が閾値Ｎ１よりも大きくなったと判断したときには、ステップＳ１０７に進んで、予測モード対応率表を生成する。予測モード対応率表は、後述するようなデータ構造を持ち、レイヤ間の最適予測モードの相関性（発生率）について記述した表である。
続いて、ステップＳ１０８で、変数ｎに１をセットし、続くステップＳ１０９で、全てのフレームを符号化したか否かを判断する。全てのフレームを符号化したと判断した場合には、処理を終了する。
一方、ステップＳ１０９において、全てのフレームを符号化していないと判断したときには、ステップＳ１１０に進む。ステップＳ１１０において、先頭フレームからの順番に従って、未処理のフレームを１つ選択する。続くステップＳ１１１で、予測モード対応率表を使って予測モードの探索候補の絞り込みを行いつつ予測を行うことで、その選択したフレームを符号化する。
続いて、ステップＳ１１２で、変数ｎの値を１つインクリメントする。続くステップＳ１１３で、変数ｎの値が所定の閾値Ｎ２（Ｎ２は１以上の整数）よりも大きくなったか否かを判断する。変数ｎの値が閾値Ｎ２よりも大きくなっていないと判断したときには、ステップＳ１０９の処理に戻り、予測モード対応率表を使って予測モードの探索候補の絞り込みを行いつつフレームを符号化することを続行する。
一方、ステップＳ１１３において、変数ｎの値が閾値Ｎ２よりも大きくなったと判断したときには、予測モード対応率表を更新する必要があると判断して、ステップＳ１０１の処理に戻る。これによって、予測モード対応率表を更新しつつ、ステップＳ１０１〜ステップＳ１１３の処理を続行する。
このように、本実施形態では、動画像をスケーラブル符号化する場合に、Ｎ１枚のフレームを符号化した後、その符号化結果に基づいて、レイヤ間の最適予測モードの相関性（発生率）について記述する予測モード対応率表を生成する。続いて、それに続くＮ２枚のフレームの符号化に移り、生成した予測モード対応率表を使って予測モードの探索候補の絞り込みを行いつつ、Ｎ２枚のフレームの符号化を繰り返していくように処理する。
（ｉ）予測モード対応率表の生成
次に、ステップＳ１０７で実行する予測モード対応率表の生成処理について説明する。
ステップＳ１０４の処理によって、図１に示す予測モード対応率表生成対象フレームＢ２ａとその直下のＢ’２ａはすでに符号化済みであり、最適予測モードはすでに選択されている。フレームＢ２ａとＢ’２ａの符号化時には、選択された最適予測モードの情報をバッファに格納しておく。そのバッファに格納される最適予測モード情報に基づいて、フレームＢ２ａのマクロブロック（以下、ＭＢと略記する）の最適予測モードと、空間的に対応するフレームＢ’２ａのサブマクロブロック（以下、ＳＭＢと略記する）の最適予測モードとの対応関係を調べる。
具体的には、図３に示すようなデータ構造を持つ予測モード対応率表を、Ｂ２ａとＢ’２ａとの間で生成する。図３に示す数値は、フレームＢ’２ａの各ＳＭＢ（８×８サイズ）で選択された最適予測モードがｉの場合に、フレームＢ２ａのＭＢにおいて最適予測モードｊが選択された割合（発生率）を示している。例えば、フレームＢ’２ａのＳＭＢにおいてＰ１６×１６が選ばれた場合、Ｐ１６×１６が選ばれたＳＭＢと空間的に対応するフレームＢ２ａのＭＢでは、Skip モードが３２．３％選ばれていることを示している。
ここで、フレームＢ２ａやＢ’２ａにおける最適予測モードの選択方法は、非特許文献２に記したＪＳＶＭの方法でも良いし、特許文献１に記したような予測モード探索候補の絞り込みを行う方法でも良い。
また、この例では、予測モード対応率表の対象フレームは符号化対象フレームと同一時間レベルの符号化済みフレーム１枚（Ｂ２ａ）としているが、これに限らない。異なる時間レベルの符号化済みフレーム（例えば、Ｂ１）を対象としても良い。また、複数のフレームを対象（例えば、Ｂ１とＢ２ａ）として、その複数のフレームの累積で対応率を計算しても良い。つまり、符号化対象レイヤおよびその直下レイヤにおいて符号化済みのフレームであれば、予測モード対応率表生成対象フレームとなりうる。
（ii）予測モード対応率表を使った予測モード探索候補の絞り込み
次に、ステップＳ１１１における予測モード対応率表を使った予測モード探索候補の絞り込み処理について説明する。
ステップＳ１０７で生成された予測モード対応率表中の予測モード対応率の値に従って、符号化対象フレームＢ２ｂの各ＭＢにおいて、予測モード探索候補を絞り込む。予測モード対応率表の表中の数値は、符号化対象マクロブロックにおける最適予測モードとなりうる確率とみなす。
予測モード探索候補の絞り込み処理についてより具体的に説明する。以下の説明ではと、フレームＢ２ｂの符号化対象マクロブロックをＭＢＬと表記し、ＭＢＬと空間的に同一位置にあるレイヤＬ−１のフレームＢ’２ｂのサブマクロブロックをＳＭＢＬ−１と表記する。
マクロブロックＭＢＬの予測モード探索候補を絞り込む場合、まず、サブマクロブロックＳＭＢＬ−１の最適予測モードの情報を読み込む。次に、予測モード対応率表とＳＭＢＬ−１の最適予測モードとを照合し、符号化対象マクロブロックＭＢＬにおける各予測モードの最適予測モードとなりうる確率（対応率）を調査する。次に、この最適予測モードとなりうる確率をもとに予測モード探索候補を絞り込む。下記に、絞り込みの例を２つ示す。
（イ）絞り込み手法１
絞り込み手法１は、予測モード探索候補絞り込み閾値を用いて予測モード探索候補を絞り込む手法である。
この絞り込み手法１では、予測モード探索候補絞り込み閾値ｔ％を設け、この閾値ｔ％未満の予測モードを探索候補から除外する。閾値ｔの値は外部から与える。値の決定方法としては、符号化性能の劣化を許容範囲以内に抑える値を複数回のエンコード処理により決定する方法が一例として考えられる。
ここで、ＳＭＢＬ−１の最適予測モードの情報を取得した時点に、予測モード対応率表からＭＢＬにおける各予測モードの最適予測モードとなりうる確率（対応率）を読み出して、予測モード探索候補絞り込み閾値と比較するという方法を用いると、その比較処理が煩雑なものとなる。
そこで、前もって、予測モード対応率表の対応率を予測モード探索候補絞り込み閾値で閾値処理しておいて、予測モード対応率表の対応率を２値化しておくようにする。
図４に、図３に示す予測モード対応率表において予測モード探索候補絞り込み閾値５％と設定した場合の予測モード探索候補の絞り込み結果を示す。図中において、○が探索候補、×が探索候補から除外された予測モードを示している。
（ロ）絞り込み手法２
絞り込み手法２は、予測モード対応率が最大となる予測モードのみを探索候補と設定する手法である。
予測モード対応率が最大となる予測モードを探索候補として設定する。通常はここで１つの予測モードに絞られるが、最大値を与える予測モード探索候補が複数ある場合には、それらをすべて探索候補として設定する。
ここで、ＳＭＢＬ−１の最適予測モードの情報を取得した時点に、予測モード対応率表からＭＢＬにおける各予測モードの最適予測モードとなりうる確率（対応率）を読み出して、その中から最大値の対応率を特定するという方法を用いると、その特定処理が煩雑なものとなる。
そこで、前もって、予測モード対応率表の対応率の中に含まれる最大値の対応率を特定しておいて、予測モード対応率表の対応率を２値化しておくようにする。
図５に、図３に示す予測モード対応率表において最大値の予測モードを予測モード探索候補として設定した場合の絞り込み結果を示す。図中において、○が探索候補、×が探索候補から除外された予測モードを示している。
以下、実施の形態に従って本発明を詳細に説明する。
図６〜図８に、本実施形態により実行されるスケーラブル動画像符号化処理のフローチャートを図示する。
図６は、本実施形態により実行されるスケーラブル動画像符号化処理の全体的なフローチャートである。図７および図８は、図６のフローチャートのステップＳ２０１で実行する処理の詳細の一例および他の例を示すフローチャートである。
次に、これらのフローチャートに従って、本実施形態により実行されるスケーラブル動画像符号化処理について詳細に説明する。
本実施形態の符号化処理は拡張レイヤに対する処理であり、基本レイヤには非スケーラブルのシングルレイヤ符号化処理を適用する。シングルレイヤ符号化処理の一例には、非特許文献２で挙げたＳＶＣの参照エンコーダＪＳＶＭの基本レイヤ部分の符号化処理が挙げられる。
図６のフローチャートで実行するステップＳ２０１〜ステップＳ２０６の処理について説明する。
ステップＳ２０１において、符号化対象マクロブロック（ＭＢ）において探索する予測モード探索候補の初期値を読み込み、最終的に符号化対象ＭＢにおいて探索する予測モードの探索候補を決定して、レジスタに格納する。本処理の詳細については、図７および図８を参照して後述する。
ステップＳ２０２において、ステップＳ２０１の処理によって格納された予測モード探索候補の情報をレジスタから読み込み、各予測モード探索候補の探索を実行し、符号化に利用する最適予測モードを１つ決定して、その情報をレジスタに格納する。最適予測モードの決定方法の一例としては、ＪＳＶＭで行われている符号量と符号化歪みの線形和で表現される符号化コストを最小化する予測モードを最適とする方法が挙げられる。
ステップＳ２０３において、符号化対象ＭＢにおける最適予測モードの情報をレジスタから読み込み、その最適予測モードにて動き補償を行い、予測残差信号を生成して、バッファに格納する。
ステップＳ２０４において、予測残差信号をバッファから読み込み、その予測残差信号の符号化を行い、符号化データをバッファに格納する。本処理の一例には、非特許文献２で挙げたＳＶＣの参照エンコーダＪＳＶＭにおける、ＤＣＴ、量子化、可変長符号化の一連処理が挙げられる。
ステップＳ２０５において、全てのＭＢの符号化が完了したか否かの判定処理を行う。全てのＭＢの符号化が完了した場合には符号化処理を終了し、バッファから各ＭＢの符号化データおよび必要なその他のヘッダ情報を読み込み、最終的な符号化データとして出力する。一方、全てのＭＢの符号化が完了していない場合にはステップＳ２０６の処理に移る。
ステップＳ２０６において、次の符号化対象ＭＢに移り、ステップＳ２０１の処理を行う。
次に、ステップＳ２０１で実行する具体的な処理の一例について、ステップＳ３０１〜ステップＳ３０６を含む図７のフローチャートを用いて説明する。
ステップＳ３０１において、符号化対象ＭＢが本実施形態を適用する予測モード探索候補絞り込み対象ＭＢであるか否かについて指定する情報を読み込む。 符号化対象ＭＢが予測モード探索候補絞り込み対象ＭＢである場合には、ステップＳ３０２の処理に移る。符号化対象ＭＢが予測モード探索候補絞り込み対象ＭＢでない場合には、予測モード探索候補の初期値を最終的な予測モード探索候補として出力する。
ステップＳ３０２において、予測モード対応率表の計算対象とする符号化済みフレームの指定情報を外部から読み込み、その指定フレームの予測モード情報をレジスタに格納する。
ステップＳ３０３において、予測モード対応率表の計算対象フレームにおける予測モード情報（符号化で用いられた最適な予測モードの情報）を読み込み、符号化対象レイヤとその直下レイヤの最適予測モードの対応率（発生率）を計算して、予測モード対応率表としてレジスタに格納する。図３に示すような予測モード対応率表を生成してレジスタに格納する。
ステップＳ３０４において、予測モード対応率表を読み込み、それをバッファに格納する。
ステップＳ３０５において、予測モード探索候補絞り込み閾値を読み込み、それをレジスタに格納する。
ステップＳ３０６において、予測モード対応率表をバッファから読み込むとともに、予測モード探索候補絞り込み閾値をレジスタから読み込む。対応率（発生率）が予測モード探索候補絞り込み閾値以上の予測モードのみを予測モード探索候補として設定して、その情報をレジスタに格納する。この設定・格納にあたっては、基本レイヤの符号化で得られた最適予測モードに対応付けられる予測モード探索候補のみを選択して、設定・格納する。
このようにして、図６のフローチャートでは、図３に示すようなデータ構造を持つ予測モード対応率表に基づいて、図４に示すような形態で予測モード探索候補を絞り込むように処理する。
次に、ステップＳ２０１で実行する具体的な処理の他の例について、ステップＳ４０１〜ステップＳ４０５を含む図８のフローチャートを用いて説明する。
ステップＳ４０１において、符号化対象ＭＢが本発明を適用する予測モード探索候補絞り込み対象ＭＢであるか否かについて指定する情報を読み込む。符号化対象ＭＢが予測モード探索候補絞り込み対象ＭＢである場合には、ステップＳ４０２の処理に移る。符号化対象ＭＢが予測モード探索候補絞り込み対象ＭＢでない場合には、予測モード探索候補初期値を最終的な予測モード探索候補として出力する。
ステップＳ４０２において、予測モード対応率表の計算対象とする符号化済みフレームの指定情報を外部から読み込み、その指定フレームの予測モード情報をレジスタに格納する。
ステップＳ４０３において、予測モード対応率表の計算対象フレームにおける予測モード情報（符号化で用いられた最適な予測モードの情報）を読み込む。次に符号化対象レイヤとその直下レイヤの最適予測モードの対応率（発生率）を計算して、予測モード対応率表としてレジスタに格納する。すなわち、図３に示すような予測モード対応率表を生成してレジスタに格納する。
ステップＳ４０４において、予測モード対応率表を読み込み、それをバッファに格納する。
ステップＳ４０５において、予測モード対応率表をバッファから読み込み、対応率（発生率）が最大の予測モードのみを予測モード探索候補として設定し、その情報をレジスタに格納する。ここで、この設定・格納にあたっては、基本レイヤの符号化で得られた最適予測モードに対応付けられる予測モード探索候補のみを選択して、設定・格納する。
このようにして、図６のフローチャートでは、図３に示すようなデータ構造を持つ予測モード対応率表に基づいて、図５に示すような形態で予測モード探索候補を絞り込むように処理する。
図９〜図１１に、本発明の一実施形態によるスケーラブル動画像符号化装置の構成を図示する。
図９は、本実施形態のスケーラブル動画像符号化装置の全体的な構成であり、図１０および図１１は、図９に示す予測モード探索候補決定部１０２の詳細な構成の一例および他の例を示す。
次に、これらの装置構成図を参照して、本実施形態のスケーラブル動画像符号化装置について詳細に説明する。
本実施形態のスケーラブル動画像符号化装置は、拡張レイヤに対する処理装置であり、基本レイヤには非スケーラブルのシングルレイヤ符号化処理を適用する。シングルレイヤ符号化処理の一例には、非特許文献２で挙げたＳＶＣの参照エンコーダＪＳＶＭの基本レイヤ部分の符号化処理が挙げられる。
まず最初に、図９を参照して、スケーラブル動画像符号化装置の全体構成について説明する。
予測モード探索候補初期値記憶部１０１は、予測モード探索候補の初期値を読み込み、レジスタに出力する。
予測モード探索候補決定部１０２は、予測モード探索候補の初期値を読み込み、最終的に探索する予測モード探索候補を決定する。次に、予測モード探索候補決定部１０２は、その最終的に決定した予測モード探索候補の情報をレジスタに出力して、最適予測モード決定部１０３に移す。本処理部の詳細な構成については、図１０および図１１を用いて後述する。
最適予測モード決定部１０３は、予測モード探索候補をレジスタから読み込み、各予測モード探索候補について探索を実行する。次に、最適予測モード決定部１０３は、符号化に利用する最適予測モードを１つ決定して、その情報を最適予測モード記憶部１０４に出力する。最適予測モードの決定方法の一例としては、ＪＳＶＭで行われている符号量と符号化歪みの線形和で表現される符号化コストを最小化する予測モードを最適とする方法が挙げられる。
予測残差信号生成部１０５は、最適予測モード記憶部１０４から符号化対象ＭＢにおける最適予測モードを読み込み、その最適予測モードにて動き補償を行い、予測残差信号を生成して、バッファに出力する。
予測残差信号符号化部１０６は、符号化対象ＭＢにおける予測残差信号をバッファから読み込み、その予測残差信号の符号化を行い、符号化データをバッファに出力する。本処理の一例に、Ｈ．２６４／ＡＶＣの参照エンコーダＪＭや、非特許文献２で挙げたＳＶＣの参照エンコーダＪＳＶＭのＤＣＴ、量子化、可変長符号化の一連処理の適用が考えられる。
全ＭＢ完了判定部１０７は、全てのＭＢの符号化が完了したか否かの判定処理を行う。全てのＭＢの符号化が完了した場合には符号化処理を終了して、最終的な符号化データを出力する。全てのＭＢの符号化が完了していない場合には符号化対象ＭＢ更新部１０８の処理に移る。
符号化対象ＭＢ更新部１０８は、次の符号化対象ＭＢに移り、予測モード探索候補決定部１０２の処理を行う。
次に、図１０を参照して、予測モード探索候補決定部１０２の詳細な構成の一例について説明する。
予測モード探索候補絞り込み対象ＭＢ指定情報記憶部２０１は、予測モード探索候補の絞り込みを行うＭＢであるのか否かについて指定する情報を読み込み、レジスタに出力する。
予測モード探索候補絞り込み対象ＭＢ判定部２０２は、予測モード探索候補絞り込み対象ＭＢ指定情報記憶部２０１から予測モード探索候補の絞り込みを行うＭＢの指定情報を読み込み、符号化対象ＭＢが絞り込みを行うＭＢであるのか否かの判定処理を行う。符号化対象ＭＢが絞り込みを行うＭＢである場合には予測モード対応率表生成部２０６の処理に移る。符号化対象ＭＢが絞り込みを行わないＭＢである場合には予測モード探索候補の初期値を最終的な予測モード探索候補として決定して、出力する。
予測モード対応率計算対象フレーム指定情報記憶部２０３は、予測モード対応率の計算対象となる符号化済みのフレームの指定情報を読み込み、レジスタに出力する。
対象フレーム拡張レイヤ最適予測モード記憶部２０４は、予測モード対応率計算対象フレーム指定情報記憶部２０３の読み込んだ指定情報の指す予測モード対応率の計算対象となるフレームについて、符号化対象レイヤにおける最適予測モード情報を読み込み、レジスタに出力する。
対象フレーム直下レイヤ最適予測モード記憶部２０５は、予測モード対応率計算対象フレーム指定情報記憶部２０３の読み込んだ指定情報の指す予測モード対応率の計算対象となるフレームについて、符号化対象レイヤの直下レイヤにおける最適予測モード情報を読み込み、レジスタに出力する。
予測モード対応率表生成部２０６は、対象フレーム拡張レイヤ最適予測モード記憶部２０４から予測モード対応率の計算対象フレームの符号化対象レイヤにおける最適予測モード情報を読み込む。さらに予測モード対応率表生成部２０６は、対象フレーム直下レイヤ最適予測モード記憶部２０５から予測モード対応率の計算対象フレームの符号化対象レイヤの直下レイヤにおける最適予測モード情報を読み込んで、対応するマクロブロックとサブマクロブロック間での最適予測モードの対応率（発生率）を計算して、予測モード対応率表として予測モード対応率表記憶部２０７に出力する。
予測モード探索候補絞り込み閾値記憶部２０８は、予測モード探索候補絞り込み閾値を読み込み、レジスタに出力する。
予測モード対応率表閾値比較部２０９は、予測モード対応率表記憶部２０７から予測モード対応率表を読み込むとともに、予測モード探索候補絞り込み閾値記憶部２０８から予測モード探索候補絞り込み閾値を読み込む。次に予測モード対応率表閾値比較部２０９は、直下ＳＭＢの最適予測モードに対応付けられる符号化対象ＭＢの最適予測モードの発生確率を調査し、発生確率が予測モード探索候補絞り込み閾値以上の予測モードのみを最終的な予測モード探索候補として設定して、出力する。
このようにして、図１０に示す装置構成では、図３に示すようなデータ構造を持つ予測モード対応率表に基づいて、図４に示すような形態で予測モード探索候補を絞り込むように処理する。
次に、図１１を参照して、予測モード探索候補決定部１０２の詳細な構成の他の一例について説明する。
予測モード探索候補絞り込み対象ＭＢ指定情報記憶部３０１は、予測モード探索候補の絞り込みを行うＭＢであるのか否かについて指定する情報を読み込み、レジスタに出力する。
予測モード探索候補絞り込み対象ＭＢ判定部３０２は、予測モード探索候補絞り込み対象ＭＢ指定情報記憶部３０１から予測モード探索候補の絞り込みを行うＭＢの指定情報を読み込み、符号化対象ＭＢが絞り込みを行うＭＢであるのか否かの判定処理を行う。符号化対象ＭＢが絞り込みを行うＭＢである場合には予測モード対応率表生成部３０６の処理に移る。符号化対象ＭＢが絞り込みを行わないＭＢである場合には予測モード探索候補の初期値を最終的な予測モード探索候補として決定して、出力する。
予測モード対応率計算対象フレーム指定情報記憶部３０３は、予測モード対応率の計算対象となる符号化済みのフレームの指定情報を読み込み、レジスタに出力する。
対象フレーム拡張レイヤ最適予測モード記憶部３０４は、予測モード対応率計算対象フレーム指定情報記憶部３０３の読み込んだ指定情報の指す予測モード対応率の計算対象となるフレームについて、符号化対象レイヤにおける最適予測モード情報を読み込み、レジスタに出力する。
対象フレーム直下レイヤ最適予測モード記憶部３０５は、予測モード対応率計算対象フレーム指定情報記憶部３０３の読み込んだ指定情報の指す予測モード対応率の計算対象となるフレームについて、符号化対象レイヤの直下レイヤにおける最適予測モード情報を読み込み、レジスタに出力する。
予測モード対応率表生成部３０６は、対象フレーム拡張レイヤ最適予測モード記憶部３０４から予測モード対応率の計算対象フレームの符号化対象レイヤにおける最適予測モード情報を読み込む。さらに、予測モード対応率表生成部３０６は、対象フレーム直下レイヤ最適予測モード記憶部３０５から予測モード対応率の計算対象フレームの符号化対象レイヤの直下レイヤにおける最適予測モード情報を読み込む。次に、予測モード対応率表生成部３０６は、対応するマクロブロックとサブマクロブロック間での最適予測モードの対応率（発生率）を計算して、予測モード対応率表として予測モード対応率表記憶部３０７に出力する。
発生率最大予測モード調査部３０８は、予測モード対応率表記憶部３０７から予測モード対応率表を読み込み、直下ＳＭＢの最適予測モードに対する符号化対象ＭＢの最適予測モードの発生確率を調査し、発生確率が最大の予測モードを最終的な予測モード探索候補として設定して、出力する。
このようにして、図１１に示す装置構成では、図３に示すようなデータ構造を持つ予測モード対応率表に基づいて、図５に示すような形態で予測モード探索候補を絞り込むように処理する。
次に、本発明の有効性を検証するために行った実験の結果について説明する。
この実験は、ＪＳＶＭ 9.12.2 に本実施形態を実装し、ＪＳＶＭと本実施形態とを比較することで行った。映像は７０４×５７６サイズのＳＶＣテスト映像“City ”および“Soccer”と、１９２０×１０２４サイズのテスト映像“Pedestrian ”および“Station”を用いた。上記の解像度の映像は拡張レイヤへの入力とし、基本レイヤにはその縦横半分の画素数解像度の映像を入力した。符号化枚数は１２９枚、ＱＰ（Quantization Parameter）は２２、２７、３２、３７の４つを試し、両レイヤで同じ値を用いた。ＧＯＰ（Group of Pictures）構造はＩＢＢＢＰの階層的Ｂピクチャ構造とし、１６枚ごとにＩを入れた。対応率算出フレームおよび高速モード選択フレームは、図１２に示すように、最下位時間レベルに属する２枚のフレームをそれぞれ適用した。符号化時間測定には、Ｘeon 3.16ＧＨｚのＣＰＵを用いた。
下記の表１に、符号量増加率と符号化時間削減率の実験結果を示す。
Figure 2010047099
ここで、符号量増加率は、各ＱＰにおける符号量とＰＳＮＲ（Peak Signal to Noise Ratio）のプロット４点の間の近似曲線をPiecewise Cubic Hermite Polynominal Interpolation により生成し、比較対象の２データの共通区間における符号量の平均差分値を当増加率として定めた。また、符号化時間削減率は、各ＱＰにおける符号化時間削減率の平均値である。
図１３に、“Pedestrian ”および“Station”画像の符号化における符号化特性を図示し、図１４に、“Pedestrian ”の符号化における符号化時間の変化の様子を図示する。
以上に示す実験結果により、本発明は、解像度・映像によらず、符号量増加率を１％未満に抑制しつつ、２０％前後の符号化時間削減率を実現することが検証できた。
本発明は上述した実施形態に限定されるものではない。例えば、上述した実施形態では、基本レイヤおよび拡張レイヤという階層レイヤ構成に対して本発明を適用した例を説明したが、本発明はこのような階層レイヤ構成に、適用が限られるものではない。
本発明は、レイヤ構造によってスケーラビリティを実現するスケーラブル動画像符号化に適用できるものであり、本発明を適用することで符号化時間を削減することができる。
１０１ 予測モード探索候補初期値記憶部
１０２ 予測モード探索候補決定部
１０３ 最適予測モード決定部
１０４ 最適予測モード記憶部
１０５ 予測残差信号生成部
１０６ 予測残差信号符号化部
１０７ 全ＭＢ完了判定部
１０８ 符号化対象ＭＢ更新部
２０１ 予測モード探索候補絞り込み対象ＭＢ指定情報記憶部
２０２ 予測モード探索候補絞り込み対象ＭＢ判定部
２０３ 予測モード対応率計算対象フレーム指定情報記憶部
２０４ 対象フレーム拡張レイヤ最適予測モード記憶部
２０５ 対象フレーム直下レイヤ最適予測モード記憶部
２０６ 予測モード対応率表生成部
２０７ 予測モード対応率表記憶部
２０８ 予測モード探索候補絞り込み閾値記憶部
２０９ 予測モード対応率表閾値比較部
３０１ 予測モード探索候補絞り込み対象ＭＢ指定情報記憶部
３０２ 予測モード探索候補絞り込み対象ＭＢ判定部
３０３ 予測モード対応率計算対象フレーム指定情報記憶部
３０４ 対象フレーム拡張レイヤ最適予測モード記憶部
３０５ 対象フレーム直下レイヤ最適予測モード記憶部
３０６ 予測モード対応率表生成部
３０７ 予測モード対応率表記憶部
３０８ 発生率最大予測モード調査部

Claims (10)

  1. 動画像をスケーラブルに符号化するスケーラブル動画像符号化方法であって、
    使用可能として定義された予測モードの使用に制限を設けることなく行ったスケーラブル符号化において選択された最適予測モードの情報に基づいて、上位レイヤと下位レイヤとの空間的に対応するブロックについて選択すべき最適予測モードの組み合わせの発生率を求めて、前記選択された最適予測モードと前記選択すべき最適予測モードとの組み合わせと前記発生率との対応関係について記述する対応表を生成する過程と、
    前記上位レイヤのブロックを符号化する場合に、前記下位レイヤの前記空間的に対応するブロックの符号化における前記選択された最適予測モードの情報を取得する過程と、
    前記取得する過程において取得した前記選択された最適予測モードの情報と前記対応表に記述された前記発生率の情報とに基づいて、前記対応表に記述された前記組み合わせの中から有効な組み合わせを抽出して、抽出された前記有効な組み合わせの持つ前記上位レイヤの最適予測モードを、前記上位レイヤのブロックの符号化において探索すべき予測モード探索候補として決定する過程と、
    を備えるスケーラブル動画像符号化方法。
  2. 動画像をスケーラブルに符号化するスケーラブル動画像符号化方法であって、
    使用可能として定義された予測モードの使用に制限を設けることなく行ったスケーラブル符号化において選択された最適予測モードの情報に基づいて、上位レイヤと下位レイヤとの空間的に対応するブロックについて選択すべき最適予測モードの組み合わせの発生率を求めて、前記選択された最適予測モードと前記選択すべき最適予測モードとの組み合わせと前記発生率との対応関係について記述する対応表を生成する過程と、
    前記発生率の値に基づいて、前記対応表に記述された前記選択された最適予測モードと前記選択すべき最適予測モードとの組み合わせを絞り込むことで有効な最適予測モードの組み合わせを抽出して、抽出された前記有効な最適予測モードの組み合わせについて記述する予測モード対応情報を生成する過程と、
    前記上位レイヤのブロックを符号化する場合に、前記下位レイヤの前記空間的に対応するブロックの符号化における前記選択された最適予測モードの情報を取得する過程と、
    前記取得する過程において取得した前記選択された最適予測モードの情報をキーにして前記予測モード対応情報を参照することによって、前記上位レイヤのブロックの符号化において探索すべき予測モード探索候補を決定する過程と、
    を備えるスケーラブル動画像符号化方法。
  3. 請求項２に記載のスケーラブル動画像符号化方法において、
    前記予測モード対応情報を生成する過程では、所定の閾値よりも大きな値を示す発生率を持つ前記組み合わせを有効なものとして抽出するスケーラブル動画像符号化方法。
  4. 請求項２に記載のスケーラブル動画像符号化方法において、
    前記予測モード対応情報を生成する過程では、前記下位レイヤについて同一の最適予測モードを持つ最適予測モードの組み合わせの中から、最も大きな値を示す発生率を持つ前記組み合わせを有効なものとして抽出するか、あるいは、大きな値を示す発生率の順に選択される所定の個数の最適予測モードの組み合わせを有効なものとして抽出するスケーラブル動画像符号化方法。
  5. 請求項１ないし４のいずれか１項に記載のスケーラブル動画像符号化方法において、
    前記対応表を用いて実行される予測モードの使用に制限を設けるスケーラブル符号化と、前記対応表を用いないで実行される予測モードの使用に制限を設けないスケーラブル符号化とを交互に繰り返すように制御する過程を備えるスケーラブル動画像符号化方法。
  6. 動画像をスケーラブルに符号化するスケーラブル動画像符号化装置であって、
    使用可能として定義された予測モードの使用に制限を設けることなく行ったスケーラブル符号化において選択された最適予測モードの情報に基づいて、上位レイヤと下位レイヤとの空間的に対応するブロックについて選択すべき最適予測モードの組み合わせの発生率を求めて、前記選択された最適予測モードと前記選択すべき最適予測モードとの組み合わせと前記発生率との対応関係について記述する対応表を生成する生成部と、
    前記上位レイヤのブロックを符号化する場合に、前記下位レイヤの前記空間的に対応するブロックの符号化における前記選択された最適予測モードの情報を取得する取得部と、
    前記取得部において取得した前記選択された最適予測モードの情報と前記対応表に記述された前記発生率の情報とに基づいて、前記対応表に記述された前記組み合わせの中から有効な組み合わせを抽出して、抽出された前記有効な組み合わせの持つ前記上位レイヤの最適予測モードを、前記上位レイヤのブロックの符号化において探索すべき予測モード探索候補として決定する決定部と、
    を備えるスケーラブル動画像符号化装置。
  7. 動画像をスケーラブルに符号化するスケーラブル動画像符号化装置であって、
    使用可能として定義された予測モードの使用に制限を設けることなく行ったスケーラブル符号化において選択された最適予測モードの情報に基づいて、上位レイヤと下位レイヤとの空間的に対応するブロックについて選択すべき最適予測モードの組み合わせの発生率を求めて、前記選択された最適予測モードと前記選択すべき最適予測モードとの組み合わせと前記発生率との対応関係について記述する対応表を生成する対応表生成部と、
    前記発生率の値に基づいて、前記対応表に記述された前記選択された最適予測モードと前記選択すべき最適予測モードとの組み合わせを絞り込むことによって有効な最適予測モードの組み合わせを抽出して、抽出された前記有効な最適予測モードの組み合わせについて記述する予測モード対応情報を生成する予測モード対応情報生成部と、
    前記上位レイヤのブロックを符号化する場合に、前記下位レイヤの前記空間的に対応するブロックの符号化における前記選択された最適予測モードの情報を取得する取得部と、
    前記取得部において取得され前記選択された最適予測モードの情報をキーにして前記予測モード対応情報を参照することによって、前記上位レイヤのブロックの符号化において探索すべき予測モード探索候補を決定する決定部と、
    を備えるスケーラブル動画像符号化装置。
  8. 請求項６または７に記載のスケーラブル動画像符号化装置において、
    前記対応表を用いて実行される予測モードの使用に制限を設けるスケーラブル符号化と、前記対応表を用いないで実行される予測モードの使用に制限を設けないスケーラブル符号化とを交互に繰り返すように制御する制御部を備えるスケーラブル動画像符号化装置。
  9. 請求項１ないし５のいずれか１項に記載のスケーラブル動画像符号化方法をコンピュータに実行させるためのスケーラブル動画像符号化プログラム。
  10. 請求項１ないし５のいずれか１項に記載のスケーラブル動画像符号化方法をコンピュータに実行させるためのスケーラブル動画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2010534689A 2008-10-22 2009-10-21 スケーラブル動画像符号化方法、スケーラブル動画像符号化装置、スケーラブル動画像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 Expired - Fee Related JP5225388B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010534689A JP5225388B2 (ja) 2008-10-22 2009-10-21 スケーラブル動画像符号化方法、スケーラブル動画像符号化装置、スケーラブル動画像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2008271513 2008-10-22
JP2008271513 2008-10-22
PCT/JP2009/005512 WO2010047099A1 (ja) 2008-10-22 2009-10-21 スケーラブル動画像符号化方法、スケーラブル動画像符号化装置、スケーラブル動画像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2010534689A JP5225388B2 (ja) 2008-10-22 2009-10-21 スケーラブル動画像符号化方法、スケーラブル動画像符号化装置、スケーラブル動画像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体

Publications (2)

Publication Number Publication Date
JPWO2010047099A1 true JPWO2010047099A1 (ja) 2012-03-22
JP5225388B2 JP5225388B2 (ja) 2013-07-03

Family

ID=42119152

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010534689A Expired - Fee Related JP5225388B2 (ja) 2008-10-22 2009-10-21 スケーラブル動画像符号化方法、スケーラブル動画像符号化装置、スケーラブル動画像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体

Country Status (10)

Country Link
US (1) US8509302B2 (ja)
EP (1) EP2339853A4 (ja)
JP (1) JP5225388B2 (ja)
KR (1) KR101260369B1 (ja)
CN (1) CN102187677B (ja)
BR (1) BRPI0920213A2 (ja)
CA (1) CA2740467C (ja)
RU (1) RU2488235C2 (ja)
TW (1) TWI401967B (ja)
WO (1) WO2010047099A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5038367B2 (ja) * 2009-07-27 2012-10-03 日本電信電話株式会社 スケーラブル動画像符号化方法、スケーラブル動画像符号化装置およびスケーラブル動画像符号化プログラム
WO2012113197A1 (zh) * 2011-02-24 2012-08-30 中兴通讯股份有限公司 一种预测模式的编码或解码方法及装置
TWI463876B (zh) * 2011-05-17 2014-12-01 Alpha Imaging Technology Corp 影像壓縮方法
US9654785B2 (en) 2011-06-09 2017-05-16 Qualcomm Incorporated Enhanced intra-prediction mode signaling for video coding using neighboring mode
CN103237212B (zh) * 2013-04-08 2016-04-13 浙江大学 一种生成增强层块单元编码信息参考队列的方法及装置
US20150189269A1 (en) * 2013-12-30 2015-07-02 Google Inc. Recursive block partitioning
US10893276B2 (en) * 2015-03-04 2021-01-12 Sony Corporation Image encoding device and method
KR102262554B1 (ko) 2017-12-14 2021-06-09 한국전자통신연구원 예측 네트워크를 사용하는 영상의 부호화 및 복호화를 위한 방법 및 장치
WO2019117645A1 (ko) * 2017-12-14 2019-06-20 한국전자통신연구원 예측 네트워크를 사용하는 영상의 부호화 및 복호화를 위한 방법 및 장치
CN114143536B (zh) * 2021-12-07 2022-09-02 重庆邮电大学 一种shvc空间可伸缩帧的视频编码方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5768537A (en) 1996-02-22 1998-06-16 International Business Machines Corporation Scalable MPEG2 compliant video encoder
US6031575A (en) 1996-03-22 2000-02-29 Sony Corporation Method and apparatus for encoding an image signal, method and apparatus for decoding an image signal, and recording medium
JP3371191B2 (ja) 1996-03-22 2003-01-27 ソニー株式会社 画像信号の符号化方法及び復号方法、並びに、符号化装置及び復号装置
JP2005184241A (ja) 2003-12-17 2005-07-07 Kddi Corp 動画像フレーム内モード判定方式
JP4199707B2 (ja) 2004-07-16 2008-12-17 日本電信電話株式会社 符号化予測モード決定装置，符号化予測モード決定方法，符号化予測モード決定プログラムおよびその記録媒体
KR100679025B1 (ko) 2004-11-12 2007-02-05 삼성전자주식회사 다 계층 기반의 인트라 예측 방법, 및 그 방법을 이용한비디오 코딩 방법 및 장치
US20060153295A1 (en) 2005-01-12 2006-07-13 Nokia Corporation Method and system for inter-layer prediction mode coding in scalable video coding
JP2009508454A (ja) 2005-09-07 2009-02-26 ヴィドヨ，インコーポレーテッド スケーラブルなビデオ符号化を用いたスケーラブルで低遅延のテレビ会議用システムおよび方法
KR100763196B1 (ko) * 2005-10-19 2007-10-04 삼성전자주식회사 어떤 계층의 플래그를 계층간의 연관성을 이용하여부호화하는 방법, 상기 부호화된 플래그를 복호화하는방법, 및 장치
AU2006320064B2 (en) * 2005-11-30 2010-09-09 Kabushiki Kaisha Toshiba Image encoding/image decoding method and image encoding/image decoding apparatus
KR20080089633A (ko) * 2006-01-09 2008-10-07 노키아 코포레이션 스케일러블 비디오 부호화에서 에러 회복 모드 결정
CN100584026C (zh) * 2006-03-27 2010-01-20 华为技术有限公司 交织模式下的视频分层编码方法
JP5065086B2 (ja) 2007-03-28 2012-10-31 京セラ株式会社 携帯通信端末およびその制御方法
WO2010044757A1 (en) * 2008-10-17 2010-04-22 Agency For Science, Technology And Research Method for encoding a digital picture, encoder, and computer program element

Also Published As

Publication number Publication date
US8509302B2 (en) 2013-08-13
RU2011114296A (ru) 2012-11-27
TW201023651A (en) 2010-06-16
JP5225388B2 (ja) 2013-07-03
EP2339853A1 (en) 2011-06-29
EP2339853A4 (en) 2011-08-31
WO2010047099A1 (ja) 2010-04-29
CA2740467A1 (en) 2010-04-29
CN102187677A (zh) 2011-09-14
RU2488235C2 (ru) 2013-07-20
BRPI0920213A2 (pt) 2020-12-01
KR20110069065A (ko) 2011-06-22
CN102187677B (zh) 2013-08-28
US20110194599A1 (en) 2011-08-11
TWI401967B (zh) 2013-07-11
CA2740467C (en) 2013-08-20
KR101260369B1 (ko) 2013-05-07

Similar Documents

Publication Publication Date Title
JP5225388B2 (ja) スケーラブル動画像符号化方法、スケーラブル動画像符号化装置、スケーラブル動画像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP7071453B2 (ja) 動き情報の復号化方法、符号化方法及び記録媒体
TWI839388B (zh) 簡化的基於歷史的運動矢量預測
CN111164978B (zh) 用于对图像进行编码/解码的方法和设备以及用于存储比特流的记录介质
TW202013967A (zh) 改進的模式匹配的運動向量推導
TWI744613B (zh) 在合併模式中對視頻資料解碼的圖像解碼設備、在合併模式中對視頻資料編碼的圖像編碼設備及儲存編碼視頻資訊的電腦可讀取媒體
KR20190046704A (ko) 비대칭 서브 블록 기반 영상 부호화/복호화 방법 및 장치
JP6147368B2 (ja) 画像符号化装置、画像復号装置、符号化ストリーム変換装置、画像符号化方法、及び画像復号方法
JP5038367B2 (ja) スケーラブル動画像符号化方法、スケーラブル動画像符号化装置およびスケーラブル動画像符号化プログラム
CN116366844A (zh) 使用样点滤波的图像编码/解码方法和设备
JP5222958B2 (ja) 動画像符号化装置、動画像符号化方法、動画像復号化装置および動画像復号化方法
US20130315311A1 (en) Image encoding/decoding device and method, and reference picture indexing device and method
CN112369021A (zh) 用于吞吐量增强的图像编码/解码方法和设备以及存储比特流的记录介质
MXPA06002079A (es) Codificacion bi-direccional predictiva avanzada de video entrelazado.
JP2024079781A (ja) ビデオ・コーディングのための方法及び装置
JP2023521609A (ja) ビデオコーディングのための方法、コンピュータプログラム及び装置
KR20230124072A (ko) 단일 참조 시그널링에 의한 도출된 모션 벡터
WO2022022299A1 (zh) 视频编解码中的运动信息列表构建方法、装置及设备
JP2009049969A (ja) 動画像符号化装置及び方法並びに動画像復号化装置及び方法
CN118158436A (zh) 对图像进行解码的方法、对图像进行编码的方法以及用于发送通过对图像进行编码的方法生成的比特流的方法
CN116686289A (zh) 用于单参考运动矢量差的自适应精度
TWI719524B (zh) 降低非相鄰Ｍerge設計的複雜度
WO2020129681A1 (ja) 符号化装置及びプログラム
JP6728870B2 (ja) 画像圧縮装置、画像圧縮方法、及び画像圧縮プログラム
US20230093043A1 (en) Method and apparatus for adaptive reordering for reference frames

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130305

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130312

R151 Written notification of patent or utility model registration

Ref document number: 5225388

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160322

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees