JP5625512B2 - 符号化装置、符号化方法、プログラム、および記録媒体 - Google Patents

符号化装置、符号化方法、プログラム、および記録媒体 Download PDF

Info

Publication number
JP5625512B2
JP5625512B2 JP2010131809A JP2010131809A JP5625512B2 JP 5625512 B2 JP5625512 B2 JP 5625512B2 JP 2010131809 A JP2010131809 A JP 2010131809A JP 2010131809 A JP2010131809 A JP 2010131809A JP 5625512 B2 JP5625512 B2 JP 5625512B2
Authority
JP
Japan
Prior art keywords
picture
encoding
reference image
image data
bit rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010131809A
Other languages
English (en)
Other versions
JP2011259197A (ja
Inventor
田中　潤一
潤一 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2010131809A priority Critical patent/JP5625512B2/ja
Priority to CN201180027153.XA priority patent/CN102934442B/zh
Priority to EP11792333.4A priority patent/EP2582139A4/en
Priority to KR20127031451A priority patent/KR20130118735A/ko
Priority to PCT/JP2011/062647 priority patent/WO2011155376A1/ja
Priority to US13/701,341 priority patent/US9826227B2/en
Publication of JP2011259197A publication Critical patent/JP2011259197A/ja
Application granted granted Critical
Publication of JP5625512B2 publication Critical patent/JP5625512B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/16—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、符号化装置、符号化方法、プログラム、および記録媒体に関し、特に、マクロブロック単位でオーバーヘッドを削減することができるようにした符号化装置、符号化方法、プログラム、および記録媒体に関する。
AVC（Advanced Video Coding）方式では、マルチリファレンスと呼ばれる、複数の参照画像を動き補償に利用する機構が導入されている。マルチリファレンスにより、マクロブロック単位で最適な参照画像を選択することができ、その結果、符号化効率を向上させることができる。
一方、AVC方式の符号化を行う装置としては、MPEG2（Moving Picture Experts Group phase 2）方式の放送用のビットストリームを、低ビットレートのAVC方式のビットストリームに変換して記録メディアに蓄積するセットトップボックス、Blu-ray(登録商標)レコーダなどがある。
このような装置において、HD（High Definition）画像を2Mbps程度の低ビットレートで高画質を保ったまま圧縮するためには、様々な工夫が必要になる。
そこで、マルチリファレンスを利用した符号化装置において、参照画像を動的に切り替えることにより符号化効率を向上させることが提案されている（例えば、特許文献１参照）。
特開２０１０−６３０９２号公報
しかしながら、従来のAVC方式のインターレース符号化では、一般的に、カレントピクチャは、２フィールド以上の画像を参照画像として符号化される。従って、２フィールド以上の参照画像を指定するために、RefIdxと呼ばれるシンタックスを送信する必要があり、これにより、オーバーヘッドが大きくなる。RefIdxは、マクロブロック単位で送信されるため、RefIdxの送信は、特に低ビットレートの符号化において大きな負荷となる。
本発明は、このような状況に鑑みてなされたものであり、AVC方式で符号化を行う場合において、マクロブロック単位でオーバーヘッドを削減することができるようにするものである。
本発明の一側面の符号化装置は、符号化された画像データのビットレートに基づいて、その符号化における参照リストに含まれる参照ピクチャの枚数を１枚に決定する参照画数決定手段と、前記参照画数決定手段により前記参照リストに含まれる参照ピクチャの枚数が１枚に決定された場合、画像データの中から１枚の画像データを前記参照ピクチャとして決定する参照ピクチャ決定手段とを備える符号化装置である。
本発明の一側面の符号化方法、プログラム、および記録媒体に記録されるプログラムは、本発明の一側面の符号化装置に対応する。
本発明の一側面においては、符号化された画像データのビットレートに基づいて、その符号化における参照リストに含まれる参照ピクチャの枚数が１枚に決定され、前記参照リストに含まれる参照ピクチャの枚数が１枚に決定された場合、画像データの中から１枚の画像データが前記参照ピクチャとして決定される。
本発明の一側面によれば、マクロブロック単位でオーバーヘッドを削減することができる。
本発明を適用した符号化装置の一実施の形態の構成例を示すブロック図である。 参照画像のフィールド数の第１の決定方法を説明する図である。 参照画像のフィールド数の第２の決定方法を説明する図である。 デフォルトの参照画像を説明する図である。 デフォルトの参照画像を説明する図である。 デフォルトの参照画像を説明する図である。 デフォルトの参照画像を説明する図である。 参照画像の変更の判断例を説明する図である。 参照画像の変更の判断例を説明する図である。 参照画像の変更の判断例を説明する図である。 参照画像の変更の判断例を説明する図である。 参照画像変更指示処理を説明するフローチャートである。 参照画像変更処理を説明するフローチャートである。 AVC規格のMacroblock prediction syntaxを示す図である。 コンピュータの一実施の形態の構成例を示す図である。
＜一実施の形態＞
［符号化装置の一実施の形態の構成例］
図１は、本発明を適用した符号化装置の一実施の形態の構成例を示すブロック図である。
符号化装置１０のA／D変換部１１は、外部から入力されるアナログ信号であるフィールド単位の画像信号に対してA/D変換を行い、ディジタル信号である画像データを得る。そして、A/D変換部１１は、そのフィールド単位の画像データを画像並べ替えバッファ１２に供給する。
画像並べ替えバッファ１２は、A/D変換部１１からのフィールド単位の画像データを一時記憶し、必要に応じてピクチャとして読み出すことで、符号化装置１０の出力であるビットストリームのGOP(Group of Pictures)構造に応じて、ピクチャを符号化順に並べ替える並べ替えを行う。
画像並べ替えバッファ１２から読み出されたピクチャのうちの、イントラ符号が行われるイントラピクチャは、スライスヘッダ生成部１３に供給される。
スライスヘッダ生成部１３は、画像並べ替えバッファ１２から供給されるイントラピクチャに付加するスライスヘッダを生成し、そのイントラピクチャに付加して演算部１４に供給する。
演算部１４は、スライスヘッダ生成部１３から供給されるイントラピクチャの画素値から、必要に応じて、イントラ予測部２５から供給される予測画像の画素値を減算し、直交変換部１５に供給する。
直交変換部１５は、イントラピクチャ（の画素値、又は、予測画像の画素値が減算された減算値）に対して、離散コサイン変換や、カルーネン・レーベ変換等の直交変換を施し、その結果得られる変換係数を、量子化部１６に供給する。
量子化部１６は、直交変換部１５からの変換係数を量子化し、その結果得られる量子化値を、可逆符号化部１７に供給する。
可逆符号化部１７は、量子化部１６からの量子化値に対して、可変長符号化や、算術符号化等の可逆符号化を施し、その結果得られる符号化データを、蓄積バッファ１８に供給する。
蓄積バッファ１８は、可逆符号化部１７からの符号化データを一時記憶し、所定のレートでビットストリームとして伝送する。
参照画数決定部１９（参照画数決定手段）は、蓄積バッファ１８に一時記憶される符号化データのビットレートを監視しており、そのビットレート等に基づき、ノンイントラピクチャの参照画像のフィールド数を決定する。そして、参照画数決定部１９は、決定された参照画像のフィールド数をスライスヘッダ生成部１３に供給する。
なお、参照画像のフィールド数とは、１つの時間方向の参照画像のフィールド数である。従って、例えば、符号化対象がＢピクチャであり、参照画像のフィールド数が１である場合、参照画像は、符号化対象より前の１つのピクチャと、符号化対象より後の１つのピクチャの計２つのピクチャとなる。
レート制御部２０は、蓄積バッファ１８の符号化データの蓄積量を監視しており、その蓄積量に基づき、量子化部１６の量子化ステップ等の、量子化部１６の挙動を制御する。
量子化部１６で得られる量子化値は、可逆符号化部１７に供給される他、逆量子化部２１にも供給される。逆量子化部２１は、量子化部１６からの量子化値を、変換係数に逆量子化し、逆直交変換部２２に供給する。
逆直交変換部２２は、逆量子化部２１からの変換係数を逆直交変換し、演算部２３に供給する。
演算部２３は、逆直交変換部２２から供給されるデータに対して、必要に応じて、イントラ予測部２５から供給される予測画像の画素値を加算することで、イントラピクチャの復号画像を得て、フレームメモリ２４に供給する。
フレームメモリ２４は、演算部２３から供給される復号画像を一時記憶し、その復号画像を、必要に応じて、予測画像を生成するのに用いる参照画像として、イントラ予測部２５や動き予測／動き補償部２６に供給する。
イントラ予測部２５は、イントラピクチャの中で、演算部１４で処理の対象となっている部分（ブロック）の近傍の画素のうちの、既にフレームメモリ２４に記憶されている画素から予測画像を生成し、演算部１４および演算部２３に供給する。
イントラ符号化が行われるピクチャについて、上述したようにして、イントラ予測部２５から演算部１４に予測画像が供給される場合、演算部１４では、スライスヘッダ生成部１３から供給されるピクチャから、イントラ予測部２５から供給される予測画像が減算される。
また、演算部２３では、演算部１４で減算された予測画像が、逆直交変換部２２から供給されるデータに加算される。
一方、インター符号化が行われるノンイントラピクチャは、画像並べ替えバッファ１２から、スライスヘッダ生成部１３に供給される。
スライスヘッダ生成部１３（参照ピクチャ決定手段）は、参照画数決定部１９から供給される参照画像のフィールド数、ノンイントラピクチャの種類、および参照画制御部２７からの指示に基づいて、画像並べ替えバッファ１２から入力されるピクチャの中から、そのフィールド数のピクチャを参照画像として決定する。スライスヘッダ生成部１３は、決定された参照画像を指定する情報（以下、参照画像情報という）を含むスライスヘッダを生成し、ノンイントラピクチャに付加する。そして、スライスヘッダ生成部１３は、スライスヘッダが付加されたノンイントラピクチャを演算部１４と動き予測/動き補償部２６に供給する。
動き予測／動き補償部２６は、スライスヘッダ生成部１３から供給されるノンイントラピクチャに付加されたスライスヘッダに含まれる参照画像情報に基づいて、フレームメモリ２４から、ノンイントラピクチャの動き予測に際して参照される復号画像のピクチャを、参照画像として読み出す。さらに、動き予測／動き補償部２６は、フレームメモリ２４からの参照画像を用いて、スライスヘッダ生成部１３からのノンイントラピクチャについて、動きベクトル探索（ME（Motion Estimation））を行い、動きベクトル、ME残差、MV（Motion Vector）長等を検出する。
そして、動き予測／動き補償部２６は、動きベクトルにしたがい、参照画像に動き補償を施すことで、ノンイントラピクチャの予測画像を生成し、演算部１４および演算部２３に供給する。
また、動き予測/動き補償部２６は、ノンイントラピクチャのボケ量を検出する。なお、ボケ量としては、ノンイントラピクチャの画面全体の画素分散値（Variance）、ノンイントラピクチャに対してSobel filterやCanny filterを用いることにより抽出されたエッジ成分の量が用いられる。動き予測/動き補償部２６は、ノンイントラピクチャのME残差、MV長、およびボケ量を参照画制御部２７に供給する。
参照画制御部２７は、デフォルトの参照画像を用いて符号化された符号化対象のノンイントラピクチャの発生符号量および量子化値等に基づいて、以下の式（１）により、動き量を求める。具体的には、例えば、符号化対象のノンイントラピクチャがＰピクチャである場合、そのＰピクチャに対応するＩピクチャと、デフォルトの参照画像を用いて符号化された符号化対象のＰピクチャの発生符号量および量子化値に基づいて、以下の式（１）により、動き量を求める。なお、発生符号量は、可逆符号化部１７から供給され、量子化値は、量子化部１６から供給される。
Motion Intensity=Complex_P/Complex_I
Complex_I=I_bit×I_qscale
Complex_P=P_bit×P_qscale
・・・（１）
なお、式（１）において、Motion Intensityは、動き量を表し、I_bit,P_bitは、それぞれ、Ｉピクチャの発生符号量、Ｐピクチャの発生符号量を表す。また、I_qscale,P_qscaleは、それぞれ、Ｉピクチャの量子化値、Ｐピクチャの量子化値を表す。
式（１）によれば、符号化対象のＰピクチャの動きが大きい場合、Complex_Pが大きくなり、動き量Motion Intensityは大きくなる。一方、符号化対象のＰピクチャに動きが全くない場合、動き量Motion Intensityはゼロに近づく。
参照画制御部２７は、この動き量と、動き予測/動き補償部２６から供給されるME残差、MV長、およびボケ量とに基づいて、参照画像を変更するかどうかを判定する。参照画制御部２７は、参照画像を変更すると判定した場合、参照画像の変更をスライスヘッダ生成部１３に指示する。
演算部１４では、スライスヘッダ生成部１３から供給されるノンイントラピクチャから、イントラ予測部２５および動き予測/動き補償部２６から供給される予測画像が減算され、以下、イントラピクチャの場合と同様にして、符号化が行われる。
なお、イントラ予測部２５が予測画像を生成するモードであるイントラ予測モードは、イントラ予測部２５から可逆符号化部１７に供給される。また、動き予測／動き補償部２６で得られる動きベクトル、及び、動き予測／動き補償部２６が動き補償を行うモードである動き補償予測モードは、動き予測／動き補償部２６から可逆符号化部１７に供給される。
可逆符号化部１７では、イントラ予測モード、動きベクトル、動き補償予測モード、その他、各ピクチャのピクチャタイプ等の、復号に必要な情報が可逆符号化され、符号化データのヘッダに含められる。
［参照画像のフィールド数の決定方法の説明］
図２は、参照画数決定部１９における参照画像のフィールド数の第１の決定方法を説明する図である。なお、図２のグラフにおいて、横軸は時刻を表し、縦軸はビットレートを表している。
第１の決定方法では、図２に示すように、参照画数決定部１９は、外部から指定されるファイルサイズ（以下、指定ファイルサイズという）に対応するビットレート（以下、ターゲットビットレートという）に基づいて、最終的な実際の符号化データのファイルサイズが指定ファイルサイズを越えると推測される、各時刻のビットレートの最低値を、各時刻のビットレートの閾値として決定する。
そして、参照画数決定部１９は、蓄積バッファ１８を監視し、各時刻の符号化データのビットレートが閾値以上である場合、参照画像のフィールド数を１に設定する。一方、各時刻の符号化データのビットレートが閾値より小さい場合、参照画数決定部１９は、参照画像のフィールド数をデフォルト値のままにする。即ち、図２の例では、各時刻の符号化データのビットレートが閾値以上である区間Ａにおいて、参照画像のフィールド数は１に設定され、区間Ａ以外において、参照画像のフィールド数はデフォルト値に設定される。
図３は、参照画数決定部１９における参照画像のフィールド数の第２の決定方法を説明する図である。
なお、図３のグラフにおいて、横軸は時刻を表し、縦軸はファイル超過量を表している。ファイル超過量とは、最終的な実際の符号化データのファイルサイズが指定ファイルサイズを超過する量である。
第２の決定方法では、図３に示すように、参照画数決定部１９は、各時刻の符号化データのビットレートおよびターゲットビットレートに基づいて、各時刻におけるファイル超過量を予測する。参照画数決定部１９は、各時刻のファイル超過量が閾値（Threshold）以上である場合、参照画像のフィールド数を１に設定する。一方、各時刻のファイル超過量が閾値より小さい場合、参照画数決定部１９は、参照画像のフィールド数をデフォルト値のままにする。即ち、図３の例では、各時刻のファイル超過量が閾値以上である区間Ｂにおいて、参照画像のフィールド数は１に設定され、区間Ｂ以外において、参照画像のフィールド数はデフォルト値に設定される。
なお、ファイル超過量の閾値は、最終的な実際の符号化データのファイルサイズが指定ファイルサイズを超えると推測される、各時刻のファイル超過量の最低値である。
以上のような第１の決定方法および第２の決定方法によれば、最終的な実際の符号化データのファイルサイズが指定ファイルサイズを超えると推測される場合に、参照画像のフィールド数が１に設定される。ここで、後述するように、参照画像のフィールド数が１である場合、RefIdxと呼ばれるシンタックスを送信する必要がなくなるため、マクロブロック単位のオーバーヘッドが削減される。従って、第１の決定方法および第２の決定方法によれば、最終的な実際の符号化データのファイルサイズが指定ファイルサイズを超えると推測される場合に、マクロブロック単位のオーバーヘッドが削減され、その結果、最終的なファイル超過量が抑制される。
［デフォルトの参照画像の説明］
図４乃至図７は、デフォルトの参照画像を説明する図である。
なお、図４乃至図７の例において、ビットストリームのGOP構造は、Ｉ，Ｐ，Ｂ，Ｂ，Ｂ，Ｂ，Ｐ，Ｐピクチャの順に並ぶ構造となっている。
図４乃至図７に示すように、符号化対象のピクチャのデフォルトの参照画像は、そのピクチャと同一の種類のフィールドのピクチャである。
具体的には、例えば、図４に示すように、符号化対象のピクチャがGOPの先頭から７番目のトップフィールド（top field）のＰピクチャ４１である場合、デフォルトの参照画像は、トップフィールドのＩピクチャ４２である。
一方、図５に示すように、符号化対象のピクチャがGOPの先頭から８番目のボトムフィールド（bottom field）のＰピクチャ５１である場合、デフォルトの参照画像は、ボトムフィールドのＰピクチャ４３である。
また、図６に示すように、符号化対象のピクチャがGOPの先頭から３番目のトップフィールドのＢピクチャ６１である場合、デフォルトの参照画像は、トップフィールドの、Ｂピクチャ６１より前のＩピクチャ４２、Ｂピクチャ６１より後ろのＰピクチャ４１である。
一方、図７に示すように、符号化対象のピクチャがGOPの先頭から４番目のボトムフィールドのＢピクチャである場合、デフォルトの参照画像は、ボトムフィールドの、Ｂピクチャ７１より前のＰピクチャ４３と、Ｂピクチャ７１より後ろのＰピクチャ５１である。
以上のように、符号化対象のピクチャのデフォルトの参照画像は、そのピクチャと同一の種類のフィールドのピクチャとなっているが、図４乃至図７に示すように、同一の種類のフィールドのピクチャどうしの時間距離は、必ずしも近くはない。
例えば、図４に示すように、符号化対象のＰピクチャ４１と、そのＰピクチャ４１のデフォルトの参照画像であるＩピクチャ４２との時間距離は、Ｐピクチャ４１と、ボトムフィールドのＰピクチャ４３との時間距離より遠い。
また、図５に示すように、符号化対象のＰピクチャ５１と、そのＰピクチャ５１のデフォルトの参照画像であるＰピクチャ４３との時間距離は、Ｐピクチャ５１と、トップフィールドのＰピクチャ４１との時間距離より遠い。
さらに、図６に示すように、符号化対象のＢピクチャ６１と、そのＢピクチャ６１より後のデフォルトの参照画像であるＰピクチャ４１との時間距離は、Ｂピクチャ６１と、ボトムフィールドのＰピクチャ５１との時間距離より近い。しかしながら、Ｂピクチャ６１と、そのＢピクチャ６１より前のデフォルトの参照画像であるＩピクチャ４２との時間距離は、Ｂピクチャ６１と、ボトムフィールドのＰピクチャ４３との時間距離より遠い。
また、図７に示すように、符号化対象のＢピクチャ７１と、そのＢピクチャ７１より前のデフォルトの参照画像であるＰピクチャ４３との時間距離は、Ｂピクチャ７１と、トップフィールドのＩピクチャ４２との時間距離より近い。しかしながら、Ｂピクチャ７１と、そのＢピクチャ７１より後のデフォルトの参照画像であるＰピクチャ５１との時間距離は、Ｂピクチャ７１と、トップフィールドのＰピクチャ４１との時間距離より遠い。
従って、符号化対象のピクチャの時間相関を空間相関に比べて重視すべきである場合、即ち時間距離が近い画像を参照画像として符号化を行うことが望ましい場合、符号化装置１０は、符号化対象のピクチャの参照画像を、そのピクチャと時間距離が近い画像に変更する。
［参照画像の変更の判断例の説明］
図８乃至図１１は、参照画制御部２７による参照画像の変更の判断例を説明する図である。
図８に示すように、例えば、符号化対象のピクチャの動き量、ＭＥ残差、およびＭＶ長が大きく、ボケ量が多い場合、参照画制御部２７は、符号化対象のピクチャの時間相関を空間相関に比べて重視すべきと判断し、参照画像を変更すると判定する。これにより、符号化対象のピクチャの参照画像が、そのピクチャとフィールドの種類が同一のデフォルトの参照画像から、そのピクチャとの時間距離が短いピクチャに変更される。
即ち、符号化対象のピクチャのボケ量が多い場合、フィールドの種類の違いによる位相差が問題にならないので、符号化対象のピクチャの動き量、ＭＥ残差、およびＭＶ長が大きいことが考慮されて、符号化対象のピクチャとの時間距離が短いピクチャが参照画像とされる。
また、図９に示すように、例えば、符号化対象のピクチャの動き量、ＭＥ残差、およびＭＶ長の値が小さく、ボケ量が少ない場合、参照画制御部２７は、符号化対象のピクチャの時間相関を空間相関に比べて重視すべきではないと判断し、参照画像を変更しないと判定する。これにより、符号化対象のピクチャの参照画像は、そのピクチャとフィールドの種類が同一のデフォルトの参照画像のままとなる。
即ち、符号化対象のピクチャのボケ量が少ない場合、フィールドの種類の違いによる位相差が問題になるので、符号化対象のピクチャの参照画像は、そのピクチャとフィールドの種類が同一のデフォルトの参照画像のままとなる。
さらに、図１０に示すように、符号化対象のピクチャの動き量、ＭＥ残差、およびＭＶ長が小さいが、ボケ量が多い場合、参照画制御部２７は、符号化対象のピクチャの時間相関を空間相関に比べて重視すべきではないと判断し、参照画像を変更しないと判定する。これにより、符号化対象のピクチャの参照画像は、そのピクチャとフィールドの種類が同一のデフォルトの参照画像のままとなる。
即ち、符号化対象のピクチャのボケ量が多い場合、フィールドの種類の違いによる位相差は問題にならないが、符号化対象のピクチャの動き量、ＭＥ残差、およびＭＶ長が小さいことが考慮されて、符号化対象のピクチャの参照画像は、そのピクチャとフィールドの種類が同一のデフォルトの参照画像のままとなる。
また、図１１に示すように、符号化対象のピクチャの動き量、ＭＥ残差、およびＭＶ長が大きいが、ボケ量が少ない場合、参照画制御部２７は、符号化対象のピクチャの時間相関を空間相関に比べて重視すべきであると判断し、参照画像を変更すると判定する。これにより、符号化対象のピクチャの参照画像が、そのピクチャとフィールドの種類が同一のデフォルトの参照画像から、そのピクチャとの時間距離が短いピクチャに変更される。
即ち、符号化対象のピクチャのボケ量が少ない場合、フィールドの種類の違いによる位相差が問題になるが、符号化対象のピクチャの動き量、ＭＥ残差、およびＭＶ長が大きいことが考慮されて、符号化対象のピクチャとの時間距離が短いピクチャが参照画像とされる。
以上のように、参照画制御部２７は、符号化対象のピクチャの動き量、ＭＥ残差、ＭＶ長等の動きを表す情報とボケ量とに基づいて、適切な参照画像を設定するので、符号化対象と参照画像の相関を高めることができる。その結果、予測画像と符号化対象の残差が小さくなり、符号量が小さくなる。
［符号化装置の処理の説明］
図１２は、図１の符号化装置１０の参照画制御部２７による参照画像変更指示処理を説明するフローチャートである。この参照画像変更指示処理は、例えば、符号化対象のノンイントラピクチャごとに行われる。
図１２のステップＳ１１において、参照画制御部２７は、符号化対象のノンイントラピクチャの動き量に基づいて、符号化対象のノンイントラピクチャの動きが大きいかどうかを判定する。具体的には、参照画制御部２７は、符号化対象のノンイントラピクチャの動き量が所定の閾値以上である場合、動きが大きいと判定し、動き量が所定の閾値より小さい場合、動きが小さいと判定する。
ステップＳ１１で符号化対象のノンイントラピクチャの動きが大きいと判定された場合、処理はステップＳ１２に進む。ステップＳ１２において、参照画制御部２７は、動き予測/動き補償部２６から供給されるＭＥ残差に基づいて、符号化対象のノンイントラピクチャの動きベクトルに時間方向の相関がないかどうか、即ち動き予測が当たりにくいかどうかを判定する。具体的には、ＭＥ残差が所定の閾値以上である場合、参照画制御部２７は、動きベクトルに時間方向の相関がないと判定し、ＭＥ残差が所定の閾値より小さい場合、動きベクトルに時間方向の相関があると判定する。
ステップＳ１２で動きベクトルに時間方向の相関がないと判定された場合、ステップＳ１３において、参照画制御部２７は、動き予測/動き補償部２６から供給されるＭＶ長に基づいて、符号化対象のノンイントラピクチャの動きベクトルが長いかどうかを判定する。具体的には、ＭＶ長が所定の閾値以上である場合、参照画制御部２７は、動きベクトルが長いと判定し、ＭＶ長が所定の閾値より小さい場合、動きベクトルが長くはないと判定する。
ステップＳ１３で動きベクトルが長いと判定された場合、ステップＳ１４において、参照画制御部２７は、内部のReferenceListFlagをMotionに設定する。即ち、参照画制御部２７は、スライスヘッダ生成部１３に参照画像の変更を指示する。そして、処理は終了する。
一方、ステップＳ１１で動きが大きくはないと判定された場合、ステップＳ１２で動きベクトルに時間方向の相関がないと判定された場合、または、ステップＳ１３で動きベクトルが長くはないと判定された場合、処理はステップＳ１５に進む。
ステップＳ１５において、参照画制御部２７は、動き量、ＭＥ残差、およびＭＶ長に基づいて、符号化対象のノンイントラピクチャの動きが小さく、動きベクトルに時間方向の相関があり、かつ動きベクトルが短いかどうかを判定する。
ステップＳ１５で符号化対象のノンイントラピクチャの動きが小さく、動きベクトルに時間方向の相関があり、かつ動きベクトルが短いと判定された場合、処理はステップＳ１７に進む。
一方、ステップＳ１５で符号化対象のノンイントラピクチャの動きが大きいか、動きベクトルに時間方向の相関がないか、または動きベクトルが長いと判定された場合、処理はステップＳ１６に進む。
ステップＳ１６において、参照画制御部２７は、動き予測/動き補償部２６から供給されるボケ量に基づいて、ボケが多いかどうかを判定する。具体的には、ボケ量が所定の閾値以上である場合、参照画制御部２７は、ボケが多いと判定し、ボケ量が所定の閾値より小さい場合、ボケが多くはないと判定する。
ステップＳ１６でボケが多いと判定された場合、処理はステップＳ１４に進み、参照画制御部２７は、内部のReferenceListFlagをMotionに設定する。そして処理は終了する。
一方、ステップＳ１６でボケが多くはないと判定された場合、処理はステップＳ１７に進む。
ステップＳ１７において、参照画制御部２７は、内部のReferenceListFlagをDefaultに設定する。即ち、参照画制御部２７は、スライスヘッダ生成部１３に参照画像の変更を指示しない。そして、処理は終了する。
図１３は、図１の符号化装置１０による参照画像変更処理を説明するフローチャートである。この参照画像変更処理は、例えば、符号化対象のノンイントラピクチャごとに行われる。
ステップＳ３１において、参照画数決定部１９は、図２で説明した第１の決定方法や図３で説明した第２の決定方法により、参照画像のフィールド数を１に設定するかどうかを判定する。
ステップＳ３１で参照画像のフィールド数を１に設定すると判定された場合、ステップＳ３２において、スライスヘッダ生成部１３は、参照画制御部２７のReferenceListFlagがMotionに設定されているかどうかを判定する。
ステップＳ３２でReferenceListFlagがMotionに設定されていると判定された場合、ステップＳ３３において、スライスヘッダ生成部１３は、画像並べ変えバッファ１２から供給される符号化対象のピクチャがＢピクチャであるかどうかを判定する。
ステップＳ３３で符号化対象のピクチャがＢピクチャであると判定された場合、ステップＳ３４において、スライスヘッダ生成部１３は、符号化対象のピクチャがトップフィールドのピクチャであるかどうかを判定する。
ステップＳ３４で符号化対象のピクチャがトップフィールドのピクチャであると判定された場合、処理はステップＳ３５に進む。ステップＳ３５において、スライスヘッダ生成部１３は、スライスヘッダ内の符号化対象のピクチャより前の参照画像のフィールド数から１を減算した値を表す「num_ref_idx_l0_active_minus1」の値を０に設定する。即ち、スライスヘッダ生成部１３は、符号化対象のピクチャより前の参照画像のフィールド数が１であることをスライスヘッダに記述する。
また、スライスヘッダ生成部１３は、スライスヘッダ内の符号化対象のピクチャより後の参照画像のフィールド数から１を減算した値を表す「num_ref_idx_l1_active_minus1」の値を０に設定する。即ち、スライスヘッダ生成部１３は、符号化対象のピクチャより後の参照画像のフィールド数が１であることをスライスヘッダに記述する。
さらに、スライスヘッダ生成部１３は、スライスヘッダ内の符号化対象のピクチャより前の参照画像としてデフォルトの参照画像を用いるかどうかを表す「ref_pic_list_reordering_flag_l0」の値を、デフォルトの参照画像を用いないことを表す１に設定する。
また、スライスヘッダ生成部１３は、符号化対象のピクチャより前のデフォルトの参照画像より時間距離が近い、符号化対象のピクチャより前のピクチャを、スライスヘッダ内の符号化対象のピクチャより前の参照画像の参照画像情報としてのリスト「List0」の０番のインデックス「RefIdx0」のピクチャに設定する。例えば、符号化対象のピクチャが図６のＢピクチャ６１である場合、Ｉピクチャ４２より時間距離が近いＰピクチャ４３が、リスト「List0」の０番のインデックス「RefIdx0」のピクチャに設定される。そして、処理は終了する。
一方、ステップＳ３４で符号化対象のピクチャがトップフィールドのピクチャではないと判定された場合、即ち符号化対象のピクチャがボトムフィールドのピクチャである場合、処理はステップＳ３６に進む。
ステップＳ３６において、スライスヘッダ生成部１３は、スライスヘッダ内の「num_ref_idx_l0_active_minus1」の値を０に設定するとともに、「num_ref_idx_l1_active_minus1」の値を０に設定する。
また、スライスヘッダ生成部１３は、スライスヘッダ内の符号化対象のピクチャより後の参照画像としてデフォルトの参照画像を用いるかどうかを表す「ref_pic_list_reordering_flag_l1」の値を、デフォルトの参照画像を用いないことを表す１に設定する。
さらに、スライスヘッダ生成部１３は、符号化対象のピクチャより後のデフォルトの参照画像より時間距離が近い、符号化対象のピクチャより後のピクチャを、スライスヘッダ内の符号化対象のピクチャより後の参照画像の参照画像情報としてのリスト「List1」の０番のインデックス「RefIdx0」のピクチャに設定する。例えば、符号化対象のピクチャが図７のＢピクチャ７１である場合、Ｐピクチャ５１より時間距離が近いＰピクチャ４１が、リスト「List1」の０番のインデックス「RefIdx0」のピクチャに設定される。そして、処理は終了する。
一方、ステップＳ３３で符号化対象のピクチャがＢピクチャではないと判定された場合、即ち符号化対象のピクチャがＰピクチャである場合、処理はステップＳ３７に進む。
ステップＳ３７において、スライスヘッダ生成部１３は、スライスヘッダ内の「num_ref_idx_l0_active_minus1」の値を０に設定する。また、スライスヘッダ生成部１３は、デフォルトの参照画像より時間距離が近い、符号化対象のピクチャより前のピクチャをリスト「List0」の０番のインデックス「RefIdx0」のピクチャに設定する。
例えば、符号化対象のピクチャが図４のＰピクチャ４１である場合、Ｉピクチャ４２より時間距離が近いＰピクチャ４３が、リスト「List0」の０番のインデックス「RefIdx0」のピクチャに設定される。また、符号化対象のピクチャが図５のＰピクチャ５１である場合、Ｐピクチャ４３より時間距離が近いＰピクチャ４１が、リスト「List0」の０番のインデックス「RefIdx0」のピクチャに設定される。そして、処理は終了する。
一方、ステップＳ３２でReferenceListFlagがMotionに設定されていないと判定された場合、即ちReferenceListFlagがDefaultに設定されている場合、処理はステップＳ３８に進む。
ステップＳ３８において、スライスヘッダ生成部１３は、画像並べ変えバッファ１２から供給される符号化対象のピクチャがＢピクチャであるかどうかを判定する。
ステップＳ３８で符号化対象のピクチャがＢピクチャであると判定された場合、ステップＳ３９において、スライスヘッダ生成部１３は、スライスヘッダ内の「num_ref_idx_l0_active_minus1」の値を０に設定するとともに、「num_ref_idx_l1_active_minus1」の値を０に設定する。そして、処理は終了する。
一方、ステップＳ３８で符号化対象のピクチャがＢピクチャではないと判定された場合、即ち符号化対象のピクチャがＰピクチャであると判定された場合、処理はステップＳ４０に進む。
ステップＳ４０において、スライスヘッダ生成部１３は、スライスヘッダ内の「num_ref_idx_l0_active_minus1」の値を０に設定し、処理は終了する。
また、ステップＳ３１で参照画像のフィールド数を１に設定しないと判定された場合、処理は終了する。この場合、例えば、通常の参照画像設定処理が行われる。
［本発明の効果の例の説明］
図１４は、AVC規格のMacroblock prediction syntaxを示す図である。
図１４の１９段落目および２０段落目に示すように、Macroblock prediction syntaxでは、「num_ref_idx_l0_active_minus1」が０より大きい場合に、リスト「List0」のRefIdxを読み出すことが記述されている。また、２２段落目および２３段落目に示すように、Macroblock prediction syntaxでは、「num_ref_idx_l1_active_minus1」が０より大きい場合に、リスト「List1」のRefIdxを読み出すことが記述されている。
従って、「num_ref_idx_l0_active_minus1」および「num_ref_idx_l1_active_minus1」が０である場合、即ち、参照画像のフィールド数が１である場合、リスト「List0」およびリスト「List1」のRefIdxは読み出されない。よって、参照画像のフィールド数が１である場合、マクロブロック単位でオーバーヘッドが削減され、符号化効率が改善する。
なお、上述した説明では、符号化対象のピクチャの動き量、ＭＥ残差、ＭＶ長、およびボケ量の全てに基づいて、参照画像が決定されたが、符号化対象のピクチャの動き量、ＭＥ残差、ＭＶ長、およびボケ量の少なくとも１つに基づいて、参照画像が決定されるようにしてもよい。
また、参照画像の決定方法は、上述した方法に限定されない。例えば、参照画像の決定方法は、参照画像の複数の候補をそれぞれ参照画像として動き補償を施し、その結果得られる予測画像と符号化対象との差分の絶対値が最小になる参照画像の候補を参照画像として決定する方法であってもよい。本発明は、AVC方式以外の方式で符号化を行う符号化装置にも適用することができる。
[本発明を適用したコンピュータの説明]
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
そこで、図１５は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
プログラムは、コンピュータに内蔵されている記録媒体としての記憶部２０８やROM（Read Only Memory）２０２に予め記録しておくことができる。
あるいはまた、プログラムは、リムーバブルメディア２１１に格納（記録）しておくことができる。このようなリムーバブルメディア２１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブルメディア２１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
なお、プログラムは、上述したようなリムーバブルメディア２１１からドライブ２１０を介してコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵する記憶部２０８にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
コンピュータは、CPU(Central Processing Unit)２０１を内蔵しており、CPU２０１には、バス２０４を介して、入出力インタフェース２０５が接続されている。
CPU２０１は、入出力インタフェース２０５を介して、ユーザによって、入力部２０６が操作等されることにより指令が入力されると、それに従って、ROM２０２に格納されているプログラムを実行する。あるいは、CPU２０１は、記憶部２０８に格納されたプログラムを、RAM(Random Access Memory)２０３にロードして実行する。
これにより、CPU２０１は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０１は、その処理結果を、必要に応じて、例えば、入出力インタフェース２０５を介して、出力部２０７から出力、あるいは、通信部２０９から送信、さらには、記憶部２０８に記録等させる。
なお、入力部２０６は、キーボードや、マウス、マイク等で構成される。また、出力部２０７は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
１０ 符号化装置， １３ スライスヘッダ生成部， １９ 参照画数決定部

Claims (14)

  1. 符号化された画像データのビットレートに基づいて、その符号化における参照リストに含まれる参照ピクチャの枚数を１枚に決定する参照画数決定手段と、
    前記参照画数決定手段により前記参照リストに含まれる参照ピクチャの枚数が１枚に決定された場合、画像データの中から１枚の画像データを前記参照ピクチャとして決定する参照ピクチャ決定手段と
    を備える符号化装置。
  2. 前記参照画数決定手段は、前記ビットレートが閾値以上である場合、前記参照リストに含まれる参照ピクチャの枚数を１枚に決定する
    請求項１に記載の符号化装置。
  3. 前記参照画数決定手段は、前記符号化された画像データのビットレートと、前記符号化された画像データのファイルサイズの閾値とに基づいて、前記参照リストに含まれる参照ピクチャの枚数を１枚に決定する
    請求項１に記載の符号化装置。
  4. 前記参照画数決定手段は、前記符号化された画像データの各時刻のビットレートが、前記ファイルサイズの閾値に対応する各時刻のビットレートに基づく閾値以上である場合、前記参照リストに含まれる参照ピクチャの枚数を１枚に決定する
    請求項３に記載の符号化装置。
  5. 前記参照画数決定手段は、前記符号化された画像データの各時刻のビットレートと、前記ファイルサイズの閾値に対応する各時刻のビットレートとに基づいて、各時刻において、前記符号化された画像データのファイルサイズが、前記ファイルサイズの閾値を超過する量であるファイル超過量を予測し、前記ファイル超過量が閾値以上である場合、前記参照リストに含まれる参照ピクチャの枚数を１枚に決定する
    請求項３に記載の符号化装置。
  6. 前記参照ピクチャ決定手段は、符号化対象のピクチャの動き量、ＭＥ残差、およびＭＶ長の少なくとも１つが所定の閾値以上である場合、前記符号化対象のピクチャとフィールドの種類が同一のピクチャに比べて前記符号化対象のピクチャとの時間距離が短いピクチャを、前記参照ピクチャとする
    請求項１に記載の符号化装置。
  7. 前記参照ピクチャ決定手段は、符号化対象のピクチャの動き量、ＭＥ残差、およびＭＶ長の少なくとも１つが所定の閾値より小さい場合、前記符号化対象のピクチャとフィールドの種類が同一のピクチャを、前記参照ピクチャとする
    請求項１に記載の符号化装置。
  8. 前記参照ピクチャ決定手段は、符号化対象のピクチャの動き量、ＭＥ残差、およびＭＶ長の少なくとも１つが所定の閾値より小さく、かつ、前記符号化対象のピクチャのボケ量が所定の閾値以上である場合、前記符号化対象のピクチャとフィールドの種類が同一のピクチャに比べて前記符号化対象のピクチャとの時間距離が短いピクチャを、前記参照ピクチャとする
    請求項１に記載の符号化装置。
  9. 前記参照ピクチャ決定手段は、符号化対象のピクチャの動き量、ＭＥ残差、およびＭＶ長の少なくとも１つが所定の閾値より小さく、かつ、前記符号化対象のピクチャのボケ量が所定の閾値より小さい場合、前記符号化対象のピクチャとフィールドの種類が同一のピクチャを、前記参照ピクチャとする
    請求項１に記載の符号化装置。
  10. 前記符号化の方式は、AVC（Advanced Video Coding）方式であり、
    前記参照画数決定手段は、前記ビットレートに基づいて、前記符号化された画像データのスライスヘッダ内のnum_ref_idx_l0_active_minus1を０に設定する
    請求項１に記載の符号化装置。
  11. 前記参照画数決定手段は、前記ビットレートに基づいて、前記符号化された画像データのスライスヘッダ内のnum_ref_idx_l1_active_minus1を０に設定する
    請求項１０に記載の符号化装置。
  12. 符号化装置が、
    符号化された画像データのビットレートに基づいて、その符号化における参照リストに含まれる参照ピクチャの枚数を１枚に決定する参照画数決定ステップと、
    前記参照画数決定ステップの処理により前記参照リストに含まれる参照ピクチャの枚数が１枚に決定された場合、画像データの中から１枚の画像データを前記参照ピクチャとして決定する参照ピクチャ決定ステップと
    を含む符号化方法。
  13. コンピュータを、
    符号化された画像データのビットレートに基づいて、その符号化における参照リストに含まれる参照ピクチャの枚数を１枚に決定する参照画数決定手段と、
    前記参照画数決定手段により前記参照リストに含まれる参照ピクチャの枚数が１枚に決定された場合、画像データの中から１枚の画像データを前記参照ピクチャとして決定する参照ピクチャ決定手段と
    して機能させるためのプログラム。
  14. 請求項１３に記載のプログラムが記録されている記録媒体。
JP2010131809A 2010-06-09 2010-06-09 符号化装置、符号化方法、プログラム、および記録媒体 Expired - Fee Related JP5625512B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2010131809A JP5625512B2 (ja) 2010-06-09 2010-06-09 符号化装置、符号化方法、プログラム、および記録媒体
CN201180027153.XA CN102934442B (zh) 2010-06-09 2011-06-02 编码装置和编码方法
EP11792333.4A EP2582139A4 (en) 2010-06-09 2011-06-02 CODING DEVICE AND CODING METHOD
KR20127031451A KR20130118735A (ko) 2010-06-09 2011-06-02 부호화 장치 및 부호화 방법
PCT/JP2011/062647 WO2011155376A1 (ja) 2010-06-09 2011-06-02 符号化装置および符号化方法
US13/701,341 US9826227B2 (en) 2010-06-09 2011-10-05 Motion picture encoding apparatus and motion picture encoding method based on bit rate

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010131809A JP5625512B2 (ja) 2010-06-09 2010-06-09 符号化装置、符号化方法、プログラム、および記録媒体

Publications (2)

Publication Number Publication Date
JP2011259197A JP2011259197A (ja) 2011-12-22
JP5625512B2 true JP5625512B2 (ja) 2014-11-19

Family

ID=45097984

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010131809A Expired - Fee Related JP5625512B2 (ja) 2010-06-09 2010-06-09 符号化装置、符号化方法、プログラム、および記録媒体

Country Status (6)

Country Link
US (1) US9826227B2 (ja)
EP (1) EP2582139A4 (ja)
JP (1) JP5625512B2 (ja)
KR (1) KR20130118735A (ja)
CN (1) CN102934442B (ja)
WO (1) WO2011155376A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9369732B2 (en) 2012-10-08 2016-06-14 Google Inc. Lossless intra-prediction video coding
US9756346B2 (en) 2012-10-08 2017-09-05 Google Inc. Edge-selective intra coding
US9210432B2 (en) * 2012-10-08 2015-12-08 Google Inc. Lossless inter-frame video coding
US9407915B2 (en) 2012-10-08 2016-08-02 Google Inc. Lossless video coding with sub-frame level optimal quantization values
JP2017158173A (ja) * 2016-02-26 2017-09-07 パナソニックＩｐマネジメント株式会社 動画像符号化装置および動画像符号化方法

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5875305A (en) * 1996-10-31 1999-02-23 Sensormatic Electronics Corporation Video information management system which provides intelligent responses to video data content features
US20020154694A1 (en) * 1997-03-21 2002-10-24 Christopher H. Birch Bit stream splicer with variable-rate output
JP3951152B2 (ja) * 1997-09-19 2007-08-01 ソニー株式会社 画像符号化装置および方法
US6654417B1 (en) * 1998-01-26 2003-11-25 Stmicroelectronics Asia Pacific Pte. Ltd. One-pass variable bit rate moving pictures encoding
EP1089569A1 (en) * 1999-04-19 2001-04-04 Sony Corporation Image encoding device and its method
JP2002542727A (ja) 1999-04-21 2002-12-10 ナブハ，ランジート 可聴形態でインターネットベースの情報を提供するための方法とシステム
US20020165970A1 (en) * 2001-05-02 2002-11-07 Carl Ludewig System and method for intelligent bit rate and buffer selection
US7206453B2 (en) * 2001-05-03 2007-04-17 Microsoft Corporation Dynamic filtering for lossy compression
US20040001546A1 (en) * 2002-06-03 2004-01-01 Alexandros Tourapis Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
WO2004066634A1 (en) * 2003-01-20 2004-08-05 Koninklijke Philips Electronics N.V. Video coding
JP2007503776A (ja) * 2003-08-26 2007-02-22 トムソン ライセンシング インター符号化に使われる参照画像数を最小化するための方法および装置
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US8064520B2 (en) * 2003-09-07 2011-11-22 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video
US7577198B2 (en) * 2003-09-07 2009-08-18 Microsoft Corporation Number of reference fields for an interlaced forward-predicted field
JP4405367B2 (ja) * 2004-08-27 2010-01-27 パナソニック株式会社 映像信号の予測符号化における参照フィールドの決定方法
US20080063387A1 (en) * 2004-09-24 2008-03-13 Hiroshi Yahata Data Processor
JP5198869B2 (ja) * 2004-12-02 2013-05-15 トムソン ライセンシング ビデオエンコーダのレート制御のための量子化パラメータの決定
US8031774B2 (en) * 2005-01-31 2011-10-04 Mediatek Incoropration Video encoding methods and systems with frame-layer rate control
US8879856B2 (en) * 2005-09-27 2014-11-04 Qualcomm Incorporated Content driven transcoder that orchestrates multimedia transcoding using content information
CN101283600B (zh) * 2005-10-05 2012-10-03 松下电器产业株式会社 参考图像选择方法以及装置
JP4775132B2 (ja) * 2006-06-20 2011-09-21 ソニー株式会社 画像理装置および方法、プログラム、並びに記録媒体
JP2008011117A (ja) * 2006-06-28 2008-01-17 Matsushita Electric Ind Co Ltd 画像符号化におけるインターレース符号化時の参照ピクチャ決定方法
US7898950B2 (en) * 2006-08-18 2011-03-01 Microsoft Corporation Techniques to perform rate matching for multimedia conference calls
JP5324594B2 (ja) * 2007-11-28 2013-10-23 フランス・テレコム 動きの符号化及び復号
KR101442601B1 (ko) * 2007-11-28 2014-09-19 삼성전자주식회사 파일의 타겟 압축율 결정방법 및 장치
KR100968371B1 (ko) * 2008-04-25 2010-07-06 주식회사 코아로직 영상의 복호화 방법 및 장치
US8548042B2 (en) * 2008-06-05 2013-10-01 Nippon Telegraph And Telephone Corporation Video bitrate control method, video bitrate control apparatus, video bitrate control program, and computer-readable recording medium having the program recorded thereon
TWI473016B (zh) * 2008-07-16 2015-02-11 Sisvel Internat S A 用以處理多視圖視訊位元串流之方法與裝置及電腦可讀媒體
JP2010063092A (ja) 2008-08-05 2010-03-18 Panasonic Corp 画像符号化装置、画像符号化方法、画像符号化集積回路およびカメラ
US20110110422A1 (en) * 2009-11-06 2011-05-12 Texas Instruments Incorporated Transmission bit-rate control in a video encoder

Also Published As

Publication number Publication date
US20130077671A1 (en) 2013-03-28
CN102934442B (zh) 2017-04-26
EP2582139A4 (en) 2014-01-01
KR20130118735A (ko) 2013-10-30
JP2011259197A (ja) 2011-12-22
WO2011155376A1 (ja) 2011-12-15
CN102934442A (zh) 2013-02-13
EP2582139A1 (en) 2013-04-17
US9826227B2 (en) 2017-11-21

Similar Documents

Publication Publication Date Title
US11647219B2 (en) Image encoding and decoding method with merge flag and motion vectors
US9077968B2 (en) Image processing apparatus and method, and program
US20140105295A1 (en) Moving image encoding method and apparatus, and moving image decoding method and apparatus
US9485513B2 (en) Encoding device, decoding device, and program
JP4764136B2 (ja) 動画像符号化装置、及びフェードシーン検出装置
JP2007251497A (ja) 動画像符号化方法、動画像符号化装置、動画像符号化プログラム
JP5625512B2 (ja) 符号化装置、符号化方法、プログラム、および記録媒体
JP2009089332A (ja) 動き予測方法及び動き予測装置
US9445089B2 (en) Video encoding device, video encoding method and video encoding program
JP5489557B2 (ja) 画像符号化装置及び画像符号化方法
JP2013115583A (ja) 動画像符号化装置及びその制御方法並びにプログラム
JP2024069447A (ja) 画像処理装置及び画像処理方法
JP5007761B2 (ja) 画像処理装置および方法、プログラム、並びに、記録媒体
JP2011082629A (ja) 画像符号化方法、画像復号化方法、画像符号化装置、及び画像復号化装置、並びにプログラム
US11223824B2 (en) Image processing apparatus and image processing method
JP5760950B2 (ja) 動画像再符号化装置、動画像再符号化方法及び動画像再符号化用コンピュータプログラム
WO2014006959A1 (ja) 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラム
JP2005323315A (ja) 予測情報・量子化値制御圧縮符号化装置、予測情報・量子化値制御圧縮符号化プログラムおよび予測情報・量子化値制御圧縮符号化方法
JP6646125B2 (ja) 動画像予測復号方法及び動画像予測復号装置
JP2014096754A (ja) 符号化方式変換装置、符号化方式変換方法、及びプログラム
KR20180018903A (ko) 참조 프레임 선택 방법 및 그 장치
JP4406887B2 (ja) 動画像符号化装置及び動画像符号化方法
JP2006340014A (ja) 低複雑度動き補償型時間方向フィルタ処理方法ならびに装置
JP2014112952A (ja) 画像符号化装置
JP2012054791A (ja) 符号化装置、復号装置及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130517

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140724

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140807

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140902

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140915

R151 Written notification of patent or utility model registration

Ref document number: 5625512

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees