JP6062356B2 - 画像符号化装置 - Google Patents

画像符号化装置 Download PDF

Info

Publication number
JP6062356B2
JP6062356B2 JP2013502282A JP2013502282A JP6062356B2 JP 6062356 B2 JP6062356 B2 JP 6062356B2 JP 2013502282 A JP2013502282 A JP 2013502282A JP 2013502282 A JP2013502282 A JP 2013502282A JP 6062356 B2 JP6062356 B2 JP 6062356B2
Authority
JP
Japan
Prior art keywords
picture
code amount
quantization parameter
value
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013502282A
Other languages
English (en)
Other versions
JPWO2012117955A1 (ja
Inventor
尚嗣 山村
尚嗣 山村
岡本 彰
彰 岡本
斉藤 誠
誠 斉藤
拓也 平岡
拓也 平岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MegaChips Corp
Original Assignee
MegaChips Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MegaChips Corp filed Critical MegaChips Corp
Publication of JPWO2012117955A1 publication Critical patent/JPWO2012117955A1/ja
Application granted granted Critical
Publication of JP6062356B2 publication Critical patent/JP6062356B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142Detection of scene cut or scene change
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/007Transform coding, e.g. discrete cosine transform
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • H04N19/126Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/149Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/15Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、画像符号化装置に関し、さらに詳しくは、入力される画像データの複雑度を示す特性値を用いて画像データを符号化する画像符号化装置に関する。
画像符号化装置は、MPEG2やH.264などの画像符号化技術を用いて、デジタル放送などで放送される画像データをDVDなどの記録媒体に記録する。画像符号化装置は、記録媒体の容量及び記録時間などの記録条件に基づいて、符号量制御処理を実行する。
非特許文献1には、符号量制御方式の一つであるTM5(Test Model 5)が記載されている。TM5は、MPEG2符号化方式の標準化の過程において提案された技術である。
TM5は、アクティビティと呼ばれる画像データの特性値を用いて、符号量制御処理を実行する。アクティビティは、画像の複雑度を示す特性値である。たとえば、マクロブロックのアクティビティは、下記の手順で算出される。マクロブロック内のある画素の画素値と、マクロブロック内の画素の画素平均値との差分絶対値が算出される。マクロブロック内の各画素の差分絶対値の総和が、マクロブロックのアクティビティとして算出される。
特許文献1には、画像データのアクティビティに基づいてシーンチェンジを検出する技術が記載されている。
特開2009−232148号公報 "Test Model 5",ISO/IEC−JTC1/SC29/WG11,1993年4月
アクティビティは、符号量制御及びシーンチェンジの検出など、画像データの符号化条件を決定するために用いられるパラメータである。しかし、画像データの複雑度としてアクティビティを用いることにより、適切な符号化条件が選択されないことがあった。適切な符号化条件が選択されない場合、符号化された画像データのビットレートが、予め設定された目標ビットレートから大きくずれたり、符号化された画像データの画質が劣化したりするおそれがある。
本発明の画像符号化装置は、非圧縮画像データをピクチャ単位で符号化する画像符号化装置であって、第1ピクチャをアダマール変換して周波数成分データを生成し、周波数成分データに含まれる交流成分値の絶対値を合計することにより、第1ピクチャの特性値を算出するアダマール変換部と、第1ピクチャの符号化により発生する符号量の目標値であるピクチャ目標符号量を算出する符号量算出部と、第1ピクチャの特性値とピクチャ目標符号量とに基づいて、第1ピクチャの符号化に用いられる量子化パラメータを決定する第1量子化パラメータ決定部と、複数のピクチャにより構成される画像グループのうち、第1ピクチャが属する画像グループの直前に符号化された直前符号化済み画像グループを特定し、第1ピクチャの特性値と直前符号化済み画像グループの先頭ピクチャの特性値とを比較し、第1ピクチャの特性値と先頭ピクチャの特性値との比較結果に基づいて、第1量子化パラメータ決定部により決定された量子化パラメータを補正する補正部と、補正部により補正された量子化パラメータを用いて第1ピクチャを符号化する符号化部と、を備える。
特性値がピクチャの周波数成分を含むため、第1ピクチャを符号化する際に特性値を用いることにより、画像データの適切な符号化条件を選択することができる。
特性値が周波数成分を含むため、特性値に基づいて第1ピクチャの量子化パラメータを決定することにより、符号量制御の精度を向上させることができる。
また、本発明の画像符号化装置は、非圧縮画像データをピクチャ単位で符号化する画像符号化装置であって、第1ピクチャをアダマール変換して周波数成分データを生成し、周波数成分データに含まれる交流成分値の絶対値を合計することにより、第1ピクチャの特性値を算出するアダマール変換部と、第1ピクチャの特性値と、複数のピクチャにより構成される画像グループの先頭に位置するピクチャのうち第1ピクチャに最も近い符号化済みピクチャの特性値との差分絶対値が第1しきい値よりも大きい場合、第1ピクチャでシーンチェンジが発生したと判定するシーンチェンジ判定部と、シーンチェンジ判定部による判定結果に基づいて、第1ピクチャの量子化パラメータを決定し、決定したパラメータを用いて第1ピクチャを符号化する符号化部と、を備える。
特性値がピクチャの周波数成分を含むため、ピクチャ間の周波数成分の変動を考慮して、シーンチェンジの有無を判定することができる。
また、本発明の画像符号化装置は、さらに、複数のピクチャにより構成される画像グループの先頭ピクチャのうち第1ピクチャに最も近い符号化済み先頭ピクチャを第1先頭ピクチャとした場合、第1ピクチャの量子化パラメータと、第1先頭ピクチャの量子化パラメータとの第1差分絶対値を計算する第1差分計算部と、第1ピクチャから起算して所定数の符号化済み先頭ピクチャを第2先頭ピクチャとした場合、各第2先頭ピクチャの量子化パラメータと、各第2先頭ピクチャの直前に位置する符号化済み先頭ピクチャの量子化パラメータとの第2差分絶対値を計算する第2差分計算部と、第1差分絶対値と全ての第2差分絶対値との合計値が所定値以下となるように、第1ピクチャの量子化パラメータを補正する補正部と、を備える。
量子化パラメータの上昇及び下降が繰り返されることが防止されるため、符号化された画像データの画質を向上させることができる。
それゆえにこの発明の目的は、画像データの符号化条件を適切に選択することができる技術を提供することである。
この発明の目的、特徴、局面、及び利点は、以下の詳細な発明と添付図面によって明白となる。
本発明の第1の実施の形態による画像符号化装置の構成を示す機能ブロック図である。 図1に示す画像符号化装置が実行する符号化処理のフローチャートである。 図1に示すアダマール変換部が算出するアダマール値の算出手順を示す図である。 図1に示すH.264データのピクチャの配列を示す図である。 図2に示すシーンチェンジ判定処理のフローチャートである。 図2に示す量子化パラメータ決定処理のフローチャートである。 図1に示す量子化パラメータ決定部が量子化パラメータを決定したときにおける、イントラピクチャの符号量とアダマール値との相関を示す図である。 ピクチャのアクティビティに基づいて量子化パラメータを決定したときにおける、イントラピクチャの符号量とアクティビティとの相関を示す図である。 本発明の第2の実施の形態による量子化パラメータ決定処理のフローチャートである。 図6及び図9に示す量子化パラメータの補正処理のフローチャートである。 図1に示すH.264データの構成を示す図である。 図10に示す補正処理によって設定される補正方向を示す図である。 図1に示すH.264データの量子化パラメータの変化を示す図である。
以下、図面を参照しつつ、本発明の実施の形態について説明する。
[第1の実施の形態]
{1.全体構成}
図1は、本発明の第1の実施の形態に係る画像符号化装置1の機能的構成を示すブロック図である。画像符号化装置1は、非圧縮画像データ21をH.264方式で符号化して、H.264データ29を出力する。画像符号化装置1は、アダマール変換部11と、シーンチェンジ判定部12と、量子化パラメータ決定部13と、符号化部14と、QP対応テーブル15とを備える。
アダマール変換部11は、動画像データである非圧縮画像データ21をアダマール変換して、周波数成分データ22(図3参照)を生成する。アダマール変換部11は、周波数成分データ22に含まれる交流成分値を加算することにより、アダマール値23を生成する。アダマール値23は、非圧縮画像データ21のピクチャごとに算出されるため、H.264データ29の各ピクチャに対応する。
シーンチェンジ判定部12は、各ピクチャのアダマール値23及びGOP(Group Of Picture)の発生符号量を利用して、カレントピクチャでシーンチェンジが発生したか否かを判定する。カレントピクチャは、符号化対象のピクチャである。
量子化パラメータ決定部13は、カレントピクチャのアダマール値23と、ピクチャ目標符号量と、QP対応テーブル15とに基づいて、カレントピクチャの量子化パラメータ24を決定する。ピクチャ目標符号量は、カレントピクチャが符号化されたときに発生する符号量の目標値である。QP対応テーブル15は、アダマール値23及びピクチャ目標符号量の両者に対応する量子化パラメータ24を設定したテーブルである。
量子化パラメータ決定部13は、符号量算出部131と、誤差算出部132と、決定方法選択部133とを備える。
符号量算出部131は、GOP理想符号量と、GOP目標符号量と、ピクチャ目標符号量とを算出する。GOP理想符号量は、GOP単位でのH.264データ29の符号量の理想値であり、符号化前に設定される目標ビットレートに基づいて算出される。GOP目標符号量は、GOP発生符号量に基づいてGOP理想符号量を調整した値である。GOP発生符号量は、GOP単位でのH.264データ29の符号量である。
誤差算出部132は、GOP理想符号量とGOP発生符号量とに基づいて、全体誤差と期間誤差とを算出する。全体誤差及び期間誤差は、ピクチャ目標符号量の算出に用いられる。全体誤差及び期間誤差の詳細は、後述する。
決定方法選択部133は、カレントピクチャの量子化パラメータ24を決定する方法を、下記の二つの方法のいずれかから選択する。第1の方法は、カレントピクチャのアダマール値23を用いて量子化パラメータを決定する方法である。第2の方法は、直前の符号化済みI(Intra)ピクチャの量子化パラメータ24を、カレントピクチャの量子化パラメータ24として決定する方法である。
符号化部14は、非圧縮画像データ21を入力する。符号化部14は、カレントピクチャの量子化パラメータ24を用いて、カレントピクチャを符号化して、H.264データ29を生成する。
{2.動作概要}
画像符号化装置1は、カレントピクチャをアダマール変換して周波数成分データ22を生成する。周波数成分データ22の交流成分値の総和が、アダマール値23として算出される。画像符号化装置1は、カレントピクチャの符号化条件を決定する際に、ピクチャにおける画像の複雑度を示す特性値としてアダマール値23を利用する。複雑度は、ピクチャが有する各画素の画素値のばらつきの度合いを示す。アダマール値23は、ピクチャの周波数成分を含む。このため、画像の複雑度を示す特性値としてアダマール値23を利用した場合、ピクチャの周波数成分のばらつきを考慮した上で、ピクチャを符号化することができる。したがって、ピクチャの符号化条件を精度よく決定することができる。
画像符号化装置1は、アダマール値23を利用して、カレントピクチャでシーンチェンジが発生したか否かを判定する。画像符号化装置1は、ピクチャ間の周波数成分の変動を考慮して、シーンチェンジの有無を判定することができる。したがって、シーンチェンジの検出精度を向上させることができる。
画像符号化装置1は、カレントピクチャのアダマール値23に基づいて量子化パラメータ24を決定する。アクティビティに比べて、アダマール値23とピクチャの発生符号量との相関関係が高いため、符号量制御の精度を向上させることができる。
{3.符号化処理の流れ}
以下、画像符号化装置1の動作について詳しく説明する。図2は、画像符号化装置1が実行する符号化処理のフローチャートである。
最初に、符号量算出部131が、GOP理想符号量を算出する。GOP理想符号量は、H.264データ29のフレームレートと、H.264データ29の目標ビットレートと、1GOPあたりのピクチャ数に基づいて算出される。
画像符号化装置1において、アダマール変換部11が、非圧縮画像データ21の各ピクチャのアダマール値23の算出を開始する(ステップS1)。アダマール変換部11は、後述するステップS2〜S6の処理と並行して、各ピクチャのアダマール値23を算出する。
画像符号化装置1は、符号化対象のピクチャ(カレントピクチャ)を決定する(ステップS2)。シーンチェンジ判定部12は、カレントピクチャのアダマール値23に基づいて、カレントピクチャでシーンチェンジが発生したか否かを判定する(ステップS3)。
量子化パラメータ決定部13は、シーンチェンジの判定結果に基づいて、カレントピクチャの量子化パラメータ24を決定する(ステップS4)。シーンチェンジがカレントピクチャで発生した場合、量子化パラメータ決定部13は、カレントピクチャのアダマール値23に基づいて、カレントピクチャの量子化パラメータ24を決定する。
符号化部14は、量子化パラメータ決定部13により決定された量子化パラメータを用いて、カレントピクチャを符号化する(ステップS5)。カレントピクチャの符号化後、画像符号化装置1は、非圧縮画像データ21の符号化処理を終了するか否かを判定する(ステップS6)。符号化処理を終了する場合(ステップS6においてYes)、画像符号化装置1は、図2に示す処理を終了する。符号化処理を終了しない場合(ステップS6においてNo)、画像符号化装置1は、ステップS2〜S5の処理を繰り返し実行する。
{3.1.アダマール値の算出}
アダマール値の算出について詳しく説明する。アダマール変換部11は、量子化パラメータの決定(ステップS4)及びピクチャの符号化(ステップS5)と並行して、各ピクチャのアダマール値23を算出する。
図3は、アダマール値23を算出する流れを示す概略図である。ピクチャ21Pは、非圧縮画像データ21のピクチャであり、予測処理等の前処理が行われていないオリジナルの画像データである。図3において、画素21a〜21hのサイズを誇張して表示している。アダマール変換部11は、水平方向に配列された8つの画素21a〜21hの画素値をアダマール変換して、直流成分H0と交流成分H1〜H7とを含む周波数成分データ22を生成する。このように、アダマール変換部11は、水平方向の8画素単位でピクチャ21Pの各画素をアダマール変換する。なお、符号化部14は、カレントピクチャを符号化する際に、周波数成分データ22を使用しない。符号化部14は、カレントピクチャを符号化する際、アダマール変換部11とは別にアダマール変換を実行する。
水平方向のアダマール変換により得られた全ての交流成分の絶対値和が、アダマール値23として算出される。つまり、アダマール値23は、ピクチャの全ての画素を8画素単位でアダマール変換することにより得られた全ての交流成分の絶対値の合計値であり、ピクチャ単位で算出される。アダマール変換部11は、シーンチェンジ判定部12及び量子化パラメータ決定部13に、アダマール値23を出力する。垂直方向のアダマール変換を行わなくてもアダマール値23を算出することができるため、アダマール値23を算出するときの演算量を削減することができる。
{3.2.シーンチェンジ判定処理(ステップS3)}
以下、シーンチェンジ判定処理(ステップS3、図2参照)について詳しく説明する。
図4は、H.264データ29のピクチャの配列を示す図である。図4において、「I」は、Iピクチャを示す。「B」は、B(Bi-Directional Predictive)ピクチャを示す。「P」は、P(Predictive)ピクチャを示す。以下、Iピクチャ、Pピクチャ及びBピクチャを総称するときには、単に「ピクチャ」と記載する。図4において、GOP30,40,50は、一つのIピクチャを有する。Iピクチャは、各GOPの先頭に配置される。
図5は、シーンチェンジ判定処理(ステップS3)のフローチャートである。シーンチェンジ判定部12は、アダマール値23の変化と、GOPの発生符号量との二つの基準により、シーンチェンジが発生したか否かを判定する。
ピクチャ41〜49を含むGOP40が、符号化対象のGOP(カレントGOP)である場合を例にして、シーンチェンジ判定処理の流れを説明する。
シーンチェンジ判定部12は、カレントピクチャの比較対象となるピクチャ(比較対象ピクチャ)を決定する(ステップS31)。Pピクチャ44,47またはBピクチャ42,43,45,46,48,49がカレントピクチャである場合、比較対象ピクチャは、GOP40の先頭ピクチャ(Iピクチャ41)となる。Iピクチャ41がカレントピクチャである場合、比較対象ピクチャは、GOP40の直前に符号化されたGOP30の先頭ピクチャ(Iピクチャ31)となる。すなわち、シーンチェンジ判定部12は、カレントピクチャに最も近い符号化済みのIピクチャを比較対象ピクチャとして決定する。
最初に、シーンチェンジ判定部12は、アダマール値23の変化に基づいて、シーンチェンジが発生したか否かを判定する。シーンチェンジ判定部12は、カレントピクチャのアダマール値23と、比較対象ピクチャのアダマール値23との差分絶対値であるアダマール差分値を算出する(ステップS32)。シーンチェンジ判定部12は、アダマール差分値と第1SC(Scene Change)閾値とを比較する(ステップS33)。第1SC閾値は、比較対象ピクチャのアダマール値23に所定の第1SC係数を乗じることによって算出される。比較対象ピクチャがGOPの先頭ピクチャ(Iピクチャ)であるため、第1SC閾値は、GOP単位で変化する。なお、第1SC閾値は、非圧縮画像データ21の符号化の開始前に設定される固定値でもよい。
アダマール差分値が第1SC閾値よりも大きい場合(ステップS33においてYes)、シーンチェンジ判定部12は、カレントピクチャでシーンチェンジが発生したと判定する(ステップS37)。すなわち、カレントピクチャのアダマール値23が、比較対象ピクチャのアダマール値23から得られる閾値を超えて変化した場合、シーンチェンジ判定部12は、シーンチェンジが発生したと判定する。
アダマール差分値が第1SC閾値以下である場合(ステップS33においてNo)、シーンチェンジ判定部12は、カレントピクチャがIピクチャ41であるか否かを確認する(ステップS34)。カレントピクチャがIピクチャ41でない場合(ステップS34においてNo)、シーンチェンジ判定部12は、図5の処理を終了する。
一方、カレントピクチャがIピクチャ41である場合(ステップS34においてYes)、シーンチェンジ判定部12は、直前に符号化されたGOPの発生符号量を利用して、シーンチェンジが発生したか否かを判定する。具体的には、シーンチェンジ判定部12は、符号量差分値を算出する(ステップS35)。符号量差分値は、GOP理想符号量と、GOP40の直前に符号化されたGOP30の発生符号量との差分絶対値である。
符号量差分値が第2SC閾値よりも大きい場合(ステップS36においてYes)、シーンチェンジ判定部12は、カレントピクチャ(Iピクチャ41)でシーンチェンジが発生したと判定する(ステップS37)。第2SC閾値は、GOP理想符号量に、シーンチェンジの判定基準を示す所定の第2SC係数を乗じることにより算出される。すなわち、GOP理想符号量に対する符号量差分値の割合が、GOP理想符号量から得られる閾値を超えた場合、カレントピクチャ(Iピクチャ41)でシーンチェンジが発生したと判定される。
一方、符号量差分値が第2SC閾値以下である場合(ステップS36においてNo)、シーンチェンジ判定部12は、カレントピクチャでシーンチェンジが発生していないと判断し、図5の処理を終了する。
このように、シーンチェンジ判定部12は、アダマール差分値を利用して、カレントピクチャでシーンチェンジが発生したか否かを判定する。アダマール値23は、ピクチャをアダマール変換することにより算出されるため、ピクチャの周波数成分が考慮されている。すなわち、カレントピクチャと比較対象ピクチャとの間の周波数成分の変化に基づいてシーンチェンジを検出することができるため、シーンチェンジの判定精度を向上することができる。
シーンチェンジ判定部12は、カレントピクチャがIピクチャである場合、GOP理想符号量と、カレントGOP(GOP40)の直前に符号化されたGOP30の発生符号量とに基づいて、シーンチェンジの有無を判定する。このように、アダマール値23と、カレントピクチャの直前に符号化されたGOP30の発生符号量の二つのパラメータを用いてシーンチェンジの有無を判定することにより、シーンチェンジ判定精度を向上させることができる。
{量子化パラメータ決定処理(ステップS4)}
以下、量子化パラメータ決定処理(ステップS4、図2参照)について説明する。基本的には、カレントピクチャに最も近い符号化済みIピクチャの量子化パラメータ24が、カレントピクチャの量子化パラメータ24として用いられる。しかし、シーンチェンジが発生した場合、あるいは、GOP理想符号量と符号化済みGOPの発生符号量との差分が後述する選択基準値よりも大きい場合、カレントピクチャの量子化パラメータ24は、カレントピクチャのアダマール値23に基づいて決定される。
図6は、量子化パラメータ決定処理(ステップS4)のフローチャートである。量子化パラメータ決定部13は、カレントピクチャでシーンチェンジが発生しているか否かを確認する(ステップS401)。
カレントピクチャでシーンチェンジが発生していた場合(ステップS401においてYes)、量子化パラメータ決定部13は、カレントピクチャのピクチャ種別に関係なく、カレントピクチャのアダマール値23を用いて量子化パラメータ24を決定する。
符号量算出部131が、GOP理想符号量に基づいて、カレントピクチャのピクチャ目標符号量を算出する(ステップS402)。
シーンチェンジが発生した場合、カレントピクチャの量子化パラメータ24として、カレントピクチャに最も近い符号化済みのIピクチャの量子化パラメータ24を利用することは、適切でない。カレントピクチャの量子化パラメータ24を再設定するために、符号量算出部131は、カレントピクチャをIピクチャと見なして、ピクチャ目標符号量を算出する。ピクチャ種別に応じた量子化パラメータ24の調整は、後述するステップS411で行われる。ピクチャ目標符号量は、具体的には、カレントピクチャのピクチャ種別に関係なく、GOP理想符号量にIピクチャ比率を乗算することによって算出される。GOP40がカレントGOPである場合、Iピクチャ比率は、GOP40の一つ前に位置するGOP30の発生符号量に対する、Iピクチャ31の発生符号量の割合として算出される。
量子化パラメータ決定部13は、カレントピクチャのアダマール値23と、ピクチャ目標符号量と、QP対応テーブル15とを用いて、量子化パラメータ24を決定する(ステップS403)。QP対応テーブル15は、アダマール値23及びピクチャ目標符号量の両者に対応する量子化パラメータが設定された2次元のテーブルである。量子化パラメータ決定部13は、カレントピクチャのアダマール値23及びピクチャ目標符号量を入力パラメータとしてQP対応テーブル15を参照して、量子化パラメータ24を決定する。
ステップS403において、カレントピクチャのアダマール値23及びピクチャ目標符号量を、1マクロブロックあたりの平均値に換算して、量子化パラメータ24を決定することが望ましい。この場合、QP対応テーブル15において、1マクロブロックあたりのアダマール値23及びピクチャ目標符号量が入力パラメータに設定される。これにより、ピクチャのサイズごとのQP対応テーブル15を準備しなくてもよい。
このように、シーンチェンジが発生していた場合(ステップS401においてYes)、量子化パラメータ決定部13は、ピクチャの種別に関係なく、アダマール値23及びピクチャ目標符号量に基づいて量子化パラメータを決定する。シーンチェンジが発生した場合、符号化済みのIピクチャの量子化パラメータ24をカレントピクチャの量子化パラメータ24に設定することにより、画質が劣化するおそれがあるためである。
ステップS401の説明に戻る。シーンチェンジがカレントピクチャで発生していない場合(ステップS401においてNo)、量子化パラメータ決定部13は、カレントピクチャがIピクチャであるか否かを確認する(ステップS404)。カレントピクチャがPピクチャまたはBピクチャである場合(ステップS404においてNo)、カレントピクチャの量子化パラメータ24は、カレントピクチャに最も近い符号化済みのIピクチャの量子化パラメータ24に決定される(ステップS405)。カレントピクチャがピクチャ42〜49のいずれかである場合、Iピクチャ41の量子化パラメータ24が、カレントピクチャの量子化パラメータ24に決定される。
カレントピクチャがIピクチャである場合(ステップS404においてYes)、量子化パラメータ決定部13は、ステップS406の処理を実行する。決定方法選択部133は、符号量差分値が選択基準値を超えているか否かに基づいて、量子化パラメータ24の決定方法を第1の方法及び第2の方法のいずれかから選択する(ステップ406)。第1の方法は、カレントピクチャのアダマール値23に基づいて決定する方法である。第2の方法は、直前の符号化済みIピクチャの量子化パラメータ24を用いる方法である。符号量差分値は、ステップS35(図5参照)で説明したように、GOP理想符号量と、カレントGOPの直前に符号化されたGOPの発生符号量との差分絶対値として算出される。選択基準値については後述する。
以下、ステップS406〜S410の説明では、特に断りのない限り、Iピクチャ41がカレントピクチャであり、GOP40がカレントGOPである場合を例に説明する。
ステップS406の処理を実行する理由について説明する。Iピクチャ41でシーンチェンジが発生していない場合、原則として、直前に符号化されたGOP30の先頭ピクチャ(Iピクチャ31)の量子化パラメータ24が、Iピクチャ41の量子化パラメータ24として設定される。ここで、GOP30の発生符号量とGOP理想符号量とのずれが、Iピクチャ41でシーンチェンジが発生したと判定されるほどの大きさではないが、比較的大きい場合を考える。この場合、GOP30の先頭ピクチャの量子化パラメータ24がピクチャ41の量子化パラメータ24に設定されることにより、GOP30と同様に、GOP40の発生符号量とGOP理想符号量とのずれも、比較的大きくなる可能性が高い。このようなケースを防ぐために、量子化パラメータ決定部16は、ステップS406において、符号量差分値に基づいて、Iピクチャ41の量子化パラメータ24の決定方法を選択する。
具体的には、ステップS406において、量子化パラメータ決定部13は、ステップS35(図5参照)と同様に、GOP理想符号量とGOP30の発生符号量との差分絶対値である符号量差分値を算出する。量子化パラメータ決定部13は、符号量差分値が選択基準値を超えているか否かを確認する。選択基準値は、量子化パラメータ24の決定にアダマール値23を用いるか否かを判定するための基準となる値であり、第2SC閾値よりも小さい。選択基準値は、GOP理想符号量に所定の選択係数を乗じることにより算出される。
選択係数は、シーンチェンジの判定に用いられる第2SC係数よりも小さい。これは、上述のように、シーンチェンジが発生していれば(ステップS401においてYes)、Iピクチャ41の量子化パラメータ24は、アダマール値23に基づいて算出されるためである。(ステップS403)。
符号量差分値が選択基準値以下である場合(ステップS406においてNo)、決定方法選択部133は、符号化済みIピクチャの量子化パラメータ24を用いる方法を選択する。Iピクチャ41の量子化パラメータ24は、Iピクチャ41に最も近い符号化済みのIピクチャ31の量子化パラメータ24に決定される(ステップS405)。これは、Iピクチャ31の量子化パラメータ24をGOP40の符号化に使用しても、GOP40の発生符号量とGOP理想符号量との差が拡大することはないと考えられるためである。
一方、符号量差分値が選択基準値よりも大きい場合(ステップS406においてYes)、決定方法選択部133は、GOP30の発生符号量とGOP理想符号量とのずれが比較的大きいと判断する。このため、アダマール値23に基づいて量子化パラメータ24を決定する方法が選択される。符号量算出部131は、GOP40の目標符号量(GOP目標符号量)を算出する(ステップS407)。GOP単位の発生符号量をGOP理想符号量に収束させるために、GOP目標符号量は、GOP理想符号量と、符号化済みGOPの発生符号量とに基づいて算出される。
GOP目標符号量の算出手順について説明する。まず、誤差算出部132が、(式1)を用いて、非圧縮画像データ21の符号化に伴って生じる全体誤差を算出する。
(式1)において、ETは、全体誤差を示す。Qdは、GOP理想符号量を示す。Qgは、符号化済みGOPの発生符号量を示す。すなわち、誤差算出部132は、符号化済みGOPの発生符号量からGOP理想符号量を差し引いた値(個別誤差)を算出し、各符号化済みGOPの個別誤差を合計することにより、全体誤差を算出する。
誤差算出部132は、(式2)を用いて、期間誤差を算出する。
(式2)において、Epは、期間誤差を示す。rangeは、期間誤差の計算対象となる符号化済みGOPの数を示す。すなわち、誤差算出部132は、符号化済みGOPのうち、カレントGOPを基準とした所定数の符号化済みGOPを指定し、指定された符号化済みGOPの個別誤差を合計することにより期間誤差を算出する。
誤差判定部132は、(式3)を用いて、GOP目標符号量を算出する。
(式3)において、Qaは、GOP目標符号量を示す。Ceは、全体誤差及び期間誤差に乗じる1以下の係数であり、非圧縮画像データ21の符号化前に設定される。このように、GOP目標符号量は、GOP理想符号量、全体誤差及び期間誤差に基づいて算出される。
なお、GOP目標符号量に下限値を設定してもよい。詳細は後述するが、Iピクチャ41の量子化パラメータ24は、アダマール値23と、GOP目標符号量から算出されるピクチャ目標符号量に基づいて決定される。GOP目標符号量がGOP理想符号量を大幅に下回る場合、量子化パラメータ24が極端に高い値に決定されることが想定される。この場合、Iピクチャ41が属するGOP40の画質が大幅に劣化する。しかし、GOP目標符号量に下限値を設定することにより、H.264データ29の画質を一定レベル以上に保つことができる。
GOP目標符号量の算出(ステップS407)の後に、符号量算出部131は、ピクチャ目標符号量を算出する(ステップS408)。ピクチャ目標符号量は、ステップS402と同様に、GOP目標符号量にIピクチャ比率を乗算することにより算出される。量子化パラメータ決定部13は、ステップS403と同様に、Iピクチャ41のアダマール値23とピクチャ目標符号量とQP対応テーブル15とに基づいて、Iピクチャ41の量子化パラメータ24を決定する(ステップS409)。
このように、Iピクチャ41でシーンチェンジが発生していなくても、直前に符号化されたGOP30の発生符号量が、GOP理想符号量から比較的大きくずれた場合、Iピクチャ41の量子化パラメータ24は、アダマール値23に基づいて決定される。これにより、GOP30の発生符号量がGOP理想符号量から比較的大きくずれた場合であっても、H.264データ29のビットレートを、目標ビットレートに収束させることができる。
ステップS409の後に、量子化パラメータ決定部13は、符号化済みIピクチャの量子化パラメータ24に基づいて、Iピクチャ41の量子化パラメータ24を補正する(ステップS410)。これにより、H.264データ29の画質が急激に変化することを防止する。
具体的には、量子化パラメータ決定部13は、GOP40を基準にして、所定数(たとえば、3つ)の符号化済みIピクチャの量子化パラメータ24を特定する。量子化パラメータ決定部13は、Iピクチャ41の量子化パラメータ24と、特定された符号化済みIピクチャの量子化パラメータ24との差分絶対値和を算出する。算出した差分絶対値和が、予め設定された変化上限値よりも大きい場合、Iピクチャ41の量子化パラメータ24は、差分絶対値和が変化上限値以下となるように補正される。ステップS410の詳細については、第2の実施の形態で説明する。
次に、ステップS411について説明する。ステップS411の処理は、ステップS403,S405でカレントピクチャの量子化パラメータ24が決定された後、及び、ステップS410でカレントピクチャの量子化パラメータ24が補正された後に実行される。ステップS411では、ステップS403,S405,S410のいずれかで決定されたカレントピクチャの量子化パラメータ24が、カレントピクチャのピクチャ種別に応じて調整される。量子化パラメータ決定部13は、カレントピクチャのピクチャ種別に応じたオフセット値を量子化パラメータ24に加算する(ステップS411)。カレントピクチャがP,Bピクチャの場合、オフセット値は、0よりも大きい値に設定される。カレントピクチャがIピクチャの場合、オフセット値は、0に設定される。ただし、Iピクチャのオフセット値は、0よりも大きい値でもよい。
量子化パラメータ決定部13は、カレントピクチャの量子化パラメータ24が、予め設定された上限値を超えているか、及び下限値を下回っていないかを確認する(ステップS412)。量子化パラメータ24が上限値を超えていれば、量子化パラメータ24は、上限値に設定される。量子化パラメータ24が下限値を下回っていれば、量子化パラメータ24は、下限値に設定される。このようにして、カレントピクチャの量子化パラメータ24が決定される。符号化部14は、量子化パラメータ決定部13により決定された量子化パラメータ24を用いて、カレントピクチャを符号化する(ステップS5、図2参照)。
このように、画像符号化装置1は、カレントピクチャのアダマール値23に基づいて、カレントピクチャの量子化パラメータ24を設定する。これにより、非圧縮画像データ21を符号化するときの符号量制御の精度を向上することができる。以下、この理由について説明する。
図7は、上記の手順に基づいて各ピクチャの量子化パラメータを決定した場合における、符号化されたIピクチャの符号量と、符号化されたIピクチャのアダマール値との相関を示す図である。図8は、アクティビティに基づいてIピクチャの量子化パラメータを決定した場合における、符号化されたIピクチャの符号量と、符号化されたIピクチャのアクティビティとの相関を示す図である。図7及び図8において、縦軸は、1マクロブロックあたりの符号量を示す。
図7及び図8に示すように、Iピクチャの発生符号量のばらつきは、アクティビティを用いて量子化パラメータを決定としたときよりも、アダマール値を用いて量子化パラメータを決定したときの方が小さい。したがって、アダマール値を用いてIピクチャの量子化パラメータを決定した場合、ピクチャの発生符号量のばらつきを抑制することができるため、符号量制御の精度を向上することができる。
[第2の実施の形態]
以下、図9を参照しながら、本発明の第2の実施の形態を説明する。図9は、本発明の第2の実施の形態に係る量子化パラメータ決定処理(ステップS4)のフローチャートである。第2の実施の形態が第1の実施の形態と異なる点は、ステップS403でカレントピクチャの量子化パラメータ24が決定された後にも量子化パラメータ24の補正処理(ステップS410)が実行される点である。
図10は、量子化パラメータの補正処理(ステップS410)のフローチャートである。図11は、H.264データ29を構成するGOPの配列を示す図である。以下、図10及び図11を参照しながら、GOP60の先頭ピクチャ(Iピクチャ61)がカレントピクチャである場合を例にして、ステップS410を詳しく説明する。
量子化パラメータ決定部13は、シーンチェンジが発生したときにIピクチャ61の量子化パラメータ24を決定した場合(ステップS451においてYes)、Iピクチャ61のアダマール値23を用いて補正方向を設定する(ステップS452)。補正方向は、ステップS403またはS409によって決定されたIピクチャ61の量子化パラメータ24を、符号化済みのIピクチャ51の量子化パラメータ24を基準として増加させるか減少させるかを示すパラメータである。図12は、Iピクチャ61の量子化パラメータ24の補正方向を示す図である。図12において、横軸は、各ピクチャの番号であり、ピクチャの符号を便宜的に横軸の値として用いている。
ステップS452において、量子化パラメータ決定部13は、Iピクチャ61に最も近い符号化済みのIピクチャ51を特定する。具体的には、量子化パラメータ決定部13は、Iピクチャ61が属するGOP60の直前に符号化されたGOP50を特定し、GOP50の先頭ピクチャとしてIピクチャ51を特定する。
Iピクチャ61のアダマール値23がIピクチャ51のアダアール値23よりも大きい場合、量子化パラメータ決定部13は、Iピクチャ51からIピクチャ61にかけて複雑度が増加したと判断し、補正方向を上方向(矢印65の方向)に決定する。Iピクチャ61の量子化パラメータ24は、Iピクチャ51の量子化パラメータ24以上となるように補正される。なお、Iピクチャ61の量子化パラメータ24は、ステップS452の時点では補正されず、後述するステップS456で補正される。
一方、Iピクチャ61のアダマール値23がIピクチャ51のアダアール値23よりも小さい場合、量子化パラメータ決定部13は、複雑度が減少した判断し、補正方向を下方向(矢印66の方向)に決定する。Iピクチャ61の量子化パラメータ24は、Iピクチャ51の量子化パラメータ24以下となるように補正される。
ステップS451の説明に戻る。量子化パラメータ決定部13は、符号量差分値が選択基準値よりも大きいときに、Iピクチャ61の量子化パラメータ24を決定した場合(ステップS451においてNo)、GOP発生符号量を用いて補正方向を決定する(ステップS453)。つまり、ステップS453は、カレントピクチャの量子化パラメータが図6又は図9に示すステップS404〜SS09の処理により決定されたときに実行される。
ステップS453において、量子化パラメータ決定部13は、Iピクチャ61に最も近い符号化済みGOP(GOP50)を特定する。量子化パラメータ決定部13は、GOP50の発生符号量がGOP理想符号量以下である場合、符号量を増加させるために、補正方向を上方向(矢印65の方向)に決定する。一方、量子化パラメータ決定部13は、GOP50の発生符号量がGOP理想符号量よりも大きい場合、符号量を抑えるために、補正方向を下方向(矢印66の方向)に決定する。
次に、量子化パラメータ決定部13は、ステップS454,455を実行する。図13は、量子化パラメータ24の変化を示す図である。図13において、横軸は、ピクチャの番号を示し、Iピクチャの符号を便宜的に用いている。以下、Iピクチャ31,41,51の量子化パラメータ24が、それぞれ「25」,「24」,「26」であり、Iピクチャ61(カレントピクチャ)の量子化パラメータ24が「23」に決定された場合を例にしてステップS454,S455を説明する。
量子化パラメータ決定部13は、Iピクチャ61の量子化パラメータ24の変化量を計算する(ステップS454)。すなわち、Iピクチャ61の量子化パラメータ24と、Iピクチャ61に最も近い符号化済みGOP50の先頭ピクチャ(Iピクチャ51)の量子化パラメータ24との差分絶対値を計算する。
量子化パラメータ決定部13は、符号化済みIピクチャの量子化パラメータ24の変化量の絶対値を計算する(ステップS455)。具体的には、量子化パラメータ決定部13は、Iピクチャ61を基準にして、符号化済みGOPの2つの先頭ピクチャ51,41を特定する。Iピクチャ51の量子化パラメータ24とIピクチャ41の量子化パラメータ24との差分絶対値が計算される。Iピクチャ41の量子化パラメータ24とIピクチャ31の量子化パラメータ24との差分絶対値が計算される。
量子化パラメータ決定部13は、ステップS454で計算された差分絶対値と、ステップS455で計算された全ての差分絶対値との合計値が所定上限値以下となるように、補正範囲を設定する(ステップS456)。合計値は、下記(式4)により表わされる。
(式4)において、「S」は、合計値を示す。「QP」は、Iピクチャ61(カレントピクチャ)の量子化パラメータ24」を示す。「PrevQP1」、「PrevQP2」、「PrevQP3」は、それぞれIピクチャ51,41,31の量子化パラメータ24を示す。
(式4)及び図13を参照しながら、補正範囲の設定について詳しく説明する。変化上限値が4に設定されており、補正方向がステップS451〜S453により下方向に決定されたと仮定する。Iピクチャ51,41の量子化パラメータが「26」,「24」であるので、|PrevQP1−PrevQP2|は、「2」である。Iピクチャ41,31の量子化パラメータが「24」,「25」であるので、|PrevQP2−PrevQP3|は、「1」である。したがって、合計値Sを変化上限値「4」以下とするためには、量子化パラメータ決定部13は、|QP−PrevQP1|を「1」以下にしなければならない。
補正方向が下方向であり、かつ、Iピクチャ51の量子化パラメータ(PrevQP1)が「26」である。このため、量子化パラメータ決定部13は、図13に示すように、Iピクチャ61の量子化パラメータ24の補正範囲を「25」〜「26」に設定する(ステップS456)。
次に、量子化パラメータ決定部13は、ステップS403又はS409(図9参照)で決定されたIピクチャ61の量子化パラメータ24を、設定した補正範囲内に入るように補正する(ステップS457)。図13に示すように、Iピクチャ61の量子化パラメータ24が「23」である場合、量子化パラメータ決定部13は、Iピクチャ61の量子化パラメータ24を「25」に補正する。Iピクチャ61の量子化パラメータ24が「26」よりも大きい値に決定されていた場合、量子化パラメータ決定部13は、Iピクチャ61の量子化パラメータ24を「26」に補正する。
このように、量子化パラメータ決定部13は、ステップS454,S455で計算された差分絶対値の合計値が所定上限値以下となるように、カレントピクチャの量子化パラメータを補正する。この結果、量子化パラメータの振動(量子化パラメータの上昇及び低下が繰り返されること)の振幅を小さくすることができる。画質の向上と画質の劣化とが繰り返し発生することを防止できるため、H.264データ29の画質が全体的に低下することを防止できる。
なお、シーンチェンジが発生した場合(ステップS451においてYes)、量子化パラメータ決定部13は、ステップS455を省略してもよい。この場合、量子化パラメータ決定部13は、|QP−PrevQP1|が変化上限値以下となるように、補正範囲を設定する。ステップS455の累積値を用いて補正範囲を設定したときに比べて、補正範囲を広く設定することができるため、シーンチェンジ発生後のピクチャの量子化パラメータを、比較的に自由に決定することができる。この場合、変化上限値は、ステップS455を実行するときに用いられる変化上限値と異なっていてもよい。
上記実施の形態において、アダマール変換部11は、水平方向のアダマール変換に加えて、垂直方向のアダマール変換を行ってアダマール値を算出してもよい。これにより、水平方向及び垂直方向の周波数成分を含むアダマール値を得ることができるため、シーンチェンジの検出精度及び符号量制御の精度を向上することができる。また、アダマール変換部11は、垂直方向のみのアダマール変換を行ってもよい。
上記実施の形態において、符号量算出部131が、GOP目標符号量の算出に、GOP理想符号量、全体誤差及び期間誤差を用いる例を説明した。しかし、符号量算出部131は、GOP理想符号量及び全体誤差のみを用いてGOP目標符号量を算出してもよい。あるいは、符号量算出部131は、GOP理想符号量及び期間誤差のみを用いてGOP目標符号量を算出してもよい。これにより、非圧縮画像データ21の符号化時の計算量をさらに抑制することができる。
また、上記実施の形態では、カレントピクチャがIピクチャであるときに、アダマール値23とピクチャ目標符号量とに基づいてカレントピクチャの量子化パラメータを決定することにより、GOP単位で符号量を制御する例を説明した。しかし、画像符号化装置1は、GOP単位で符号量を制御するのではなく、GOPと異なる複数のピクチャのグループ単位で符号量を制御してもよい。たとえば、画像符号化装置1は、連続する2つ以上のGOPを符号量の制御単位としてもよいし、GOPよりも少ない数のピクチャのグループを符号量の制御単位としてもよい。
この場合、符号量制御単位を構成するピクチャのグループにおいて、先頭ピクチャはIピクチャであることが望ましい。ステップS31(図5参照)において、シーンチェンジ判定部12は、カレントピクチャに最も近いグループの先頭ピクチャを比較対象ピクチャとして決定する。
ステップS402(図6又は図9参照)において、符号量算出部131は、グループの理想符号量に先頭ピクチャ比率を乗ずることにより、ピクチャ目標符号量を算出すればよい。先頭ピクチャ比率は、直前の符号化済みグループの発生符号量に対する先頭ピクチャの発生符号量の割合を計算することにより得ることができる。ステップS404(図6又は図9参照)において、量子化パラメータ決定部13は、カレントピクチャが符号量制御単位の先頭ピクチャであるか否かを判断すればよい。
ステップS454,S455(図10において)、量子化パラメータ決定部13は、Iピクチャ51,41,61ではなく、カレントピクチャ(Iピクチャ61)とグループの先頭ピクチャとを使用して差分絶対値を計算すればよい。
この発明を添付図面に示す実施態様について説明したが、この発明は、その詳細な説明の記載をもって制約されるものではなく、請求の範囲に記載する範囲において広く構成される。

Claims (12)

  1. 非圧縮画像データをピクチャ単位で符号化する画像符号化装置であって、
    第1ピクチャをアダマール変換して周波数成分データを生成し、前記周波数成分データに含まれる交流成分値の絶対値を合計することにより、前記第1ピクチャの特性値を算出するアダマール変換部と、
    前記第1ピクチャの符号化により発生する符号量の目標値であるピクチャ目標符号量を算出する符号量算出部と、
    前記第1ピクチャの特性値と前記ピクチャ目標符号量とに基づいて、前記第1ピクチャの符号化に用いられる量子化パラメータを決定する第1量子化パラメータ決定部と、
    複数のピクチャにより構成される画像グループのうち、前記第1ピクチャが属する画像グループの直前に符号化された直前符号化済み画像グループを特定し、前記第1ピクチャの特性値と前記直前符号化済み画像グループの先頭ピクチャの特性値とを比較し、前記第1ピクチャの特性値と前記先頭ピクチャの特性値との比較結果に基づいて、前記第1量子化パラメータ決定部により決定された量子化パラメータを補正する補正部と、
    前記補正部により補正された量子化パラメータを用いて前記第1ピクチャを符号化する符号化部と、
    を備える画像符号化装置
  2. 請求項に記載の画像符号化装置であって、
    前記符号量算出部は、予め設定された目標ビットレートに基づいて、複数のピクチャにより構成される画像グループの符号量の理想値であるグループ理想符号量を算出し、
    前記画像符号化装置は、さらに、
    前記第1ピクチャの量子化パラメータとして、画像グループの先頭に位置するピクチャのうち前記第1ピクチャに最も近い符号化済みピクチャの量子化パラメータの使用を決定する第2量子化パラメータ決定部と、
    前記グループ理想符号量と、前記直前符号化済み画像グループの発生符号量とに基づいて、前記第1量子化パラメータ決定部及び前記第2量子化パラメータ決定部のいずれかを選択する決定方法選択部と、
    を備える画像符号化装置
  3. 請求項に記載の画像符号化装置であって、さらに、
    前記特性値に基づいて、前記第1ピクチャでシーンチェンジが発生したか否かを判定するシーンチェンジ判定部、
    を備え、
    前記決定方法選択部は、前記第1ピクチャでシーンチェンジが発生したと判定された場合、前記第1量子化パラメータ決定部を選択する画像符号化装置
  4. 請求項に記載の画像符号化装置であって、さらに、
    前記決定方法選択部は、前記第1ピクチャが画像グループの先頭ピクチャである場合、前記第1量子化パラメータ決定部及び前記第2量子化パラメータ決定部のいずれかを選択し、前記第1ピクチャが先頭ピクチャでない場合、前記第2量子化パラメータ決定部を選択する画像符号化装置
  5. 請求項に記載の画像符号化装置であって、さらに、
    一の符号化済み画像グループの発生符号量から前記グループ理想符号量を差し引いた値を個別誤差とした場合、前記第1ピクチャが属する画像グループよりも前に符号化された全ての符号化済み画像グループの個別誤差の総和を全体誤差として算出する全体誤差算出部、
    を備え、
    前記符号量算出部は、前記グループ理想符号量と前記全体誤差とに基づいて、前記ピクチャ目標符号量を算出する画像符号化装置
  6. 請求項に記載の画像符号化装置であって、さらに、
    一の符号化済み画像グループの発生符号量から前記グループ理想符号量を差し引いた値を個別誤差とした場合、前記ピクチャが属する画像グループから起算して所定数の符号化済み画像グループの個別誤差の総和を期間誤差として算出する期間誤差算出部、
    を備え、
    前記符号量算出部は、前記グループ理想符号量と前記期間誤差とに基づいて、前記ピクチャ目標符号量を算出する画像符号化装置
  7. 非圧縮画像データをピクチャ単位で符号化する画像符号化装置であって、
    第1ピクチャをアダマール変換して周波数成分データを生成し、前記周波数成分データに含まれる交流成分値の絶対値を合計することにより、前記第1ピクチャの特性値を算出するアダマール変換部と、
    前記第1ピクチャの特性値と、複数のピクチャにより構成される画像グループの先頭に位置するピクチャのうち前記第1ピクチャに最も近い符号化済みピクチャの特性値との差分絶対値が第1しきい値よりも大きい場合、前記第1ピクチャでシーンチェンジが発生したと判定するシーンチェンジ判定部と、
    前記シーンチェンジ判定部による判定結果に基づいて、前記第1ピクチャの量子化パラメータを決定し、決定したパラメータを用いて前記第1ピクチャを符号化する符号化部と、
    を備える画像符号化装置
  8. 請求項に記載の画像符号化装置であって、さらに、
    予め設定された目標ビットレートに基づいて、画像グループの符号量の理想値であるグループ理想符号量を設定する符号量算出部、
    を備え、
    前記シーンチェンジ判定部は、前記第1ピクチャが画像グループの先頭に位置するピクチャであり、かつ、前記グループ理想符号量と、前記第1ピクチャが属する画像グループの直前に符号化された画像グループの発生符号量との差分絶対値が第2しきい値よりも大きい場合、前記第1ピクチャでシーンチェンジが発生したと判定する画像符号化装置
  9. 請求項に記載の画像符号化装置であって、さらに、
    像グループの先頭に位置するピクチャのうち前記第1ピクチャに最も近い符号化済みピクチャを第1先頭ピクチャとした場合、前記第1ピクチャの量子化パラメータと、前記第1先頭ピクチャの量子化パラメータとの第1差分絶対値を計算する第1差分計算部と、
    画像グループの先頭に位置するピクチャのうち前記第1ピクチャから起算して所定数の符号化済み先頭ピクチャを第2先頭ピクチャとした場合、各第2先頭ピクチャの量子化パラメータと、各第2先頭ピクチャの直前に位置する符号化済み先頭ピクチャの量子化パラメータとの第2差分絶対値を計算する第2差分計算部と、
    を備え、
    前記補正部は、前記第1差分絶対値と全ての第2差分絶対値との合計値が所定値以下となるように、前記第1ピクチャの量子化パラメータを補正する画像符号化装置
  10. 請求項に記載の画像符号化装置であって、
    前記補正部は、画像グループの符号量の理想値であるグループ理想符号量と前記直前符号化済み画像グループの発生符号量とに基づいて、前記第1ピクチャの量子化パラメータを前記第1先頭ピクチャの量子化パラメータよりも小さい値に補正するか大きい値に補正するかを決定する画像符号化装置
  11. 請求項に記載の画像符号化装置であって、さらに、
    前記特性値に基づいて、前記第1ピクチャでシーンチェンジが発生したか否かを判定するシーンチェンジ判定部、
    を備え、
    前記補正部は、シーンチェンジが前記第1ピクチャで発生したと判定された場合、前記第1ピクチャの特性量と前記第1先頭ピクチャの特性量とに基づいて、前記第1ピクチャの量子化パラメータを前記第1先頭ピクチャの量子化パラメータよりも小さい値に補正するか大きい値に補正するかを決定する画像符号化装置
  12. 請求項1ないし請求項11のいずれかに記載の画像符号化装置であって、
    前記アダマール変換部は、水平方向に配列された所定数の画素単位で前記第1ピクチャをアダマール変換する画像符号化装置
JP2013502282A 2011-02-28 2012-02-24 画像符号化装置 Active JP6062356B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011041798 2011-02-28
JP2011041798 2011-02-28
PCT/JP2012/054526 WO2012117955A1 (ja) 2011-02-28 2012-02-24 画像符号化装置

Publications (2)

Publication Number Publication Date
JPWO2012117955A1 JPWO2012117955A1 (ja) 2014-07-07
JP6062356B2 true JP6062356B2 (ja) 2017-01-18

Family

ID=46757892

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013502282A Active JP6062356B2 (ja) 2011-02-28 2012-02-24 画像符号化装置

Country Status (3)

Country Link
US (2) US9031341B2 (ja)
JP (1) JP6062356B2 (ja)
WO (1) WO2012117955A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9350989B2 (en) 2012-12-11 2016-05-24 Megachips Corporation Moving image coding apparatus, code amount control method, and storage medium
US9661329B2 (en) * 2014-04-30 2017-05-23 Intel Corporation Constant quality video coding
JP6652068B2 (ja) * 2015-01-19 2020-02-19 日本電気株式会社 動画像符号化装置、動画像符号化方法および動画像符号化プログラム
US9872026B2 (en) * 2015-06-12 2018-01-16 Intel Corporation Sample adaptive offset coding
EP3772022A1 (en) * 2019-06-12 2021-02-03 Shanghai Cambricon Information Technology Co., Ltd Method for determining quantization parameters in neural network and related products

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08317387A (ja) * 1995-05-17 1996-11-29 Nippon Columbia Co Ltd 動画像圧縮符号化方式
JP2007318617A (ja) * 2006-05-29 2007-12-06 Renesas Technology Corp 画像符号化装置、及び画像符号化プログラム
JP2009044483A (ja) * 2007-08-09 2009-02-26 Panasonic Corp 画像符号化装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3001962B2 (ja) * 1990-11-13 2000-01-24 日本電気ホームエレクトロニクス株式会社 動画データの圧縮符号化方式
JP3560217B2 (ja) * 1998-04-30 2004-09-02 ソニー株式会社 データ符号化装置、データ符号化方法及びデータ伝送方法
JP4747975B2 (ja) * 2006-07-14 2011-08-17 ソニー株式会社 画像処理装置および方法、プログラム、並びに、記録媒体
JP2007318817A (ja) 2007-09-05 2007-12-06 Fujitsu Component Ltd アンテナ装置
JP5039976B2 (ja) 2008-03-24 2012-10-03 株式会社メガチップス トランスコーダ
US8363727B2 (en) * 2008-09-30 2013-01-29 Microsoft Corporation Techniques to perform fast motion estimation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08317387A (ja) * 1995-05-17 1996-11-29 Nippon Columbia Co Ltd 動画像圧縮符号化方式
JP2007318617A (ja) * 2006-05-29 2007-12-06 Renesas Technology Corp 画像符号化装置、及び画像符号化プログラム
JP2009044483A (ja) * 2007-08-09 2009-02-26 Panasonic Corp 画像符号化装置

Also Published As

Publication number Publication date
US9407919B2 (en) 2016-08-02
JPWO2012117955A1 (ja) 2014-07-07
US9031341B2 (en) 2015-05-12
WO2012117955A1 (ja) 2012-09-07
US20130336593A1 (en) 2013-12-19
US20150163495A1 (en) 2015-06-11

Similar Documents

Publication Publication Date Title
JP5212372B2 (ja) 画像処理装置及び画像処理方法
JP6062356B2 (ja) 画像符号化装置
US8107529B2 (en) Coding device, coding method, program of coding method, and recording medium recorded with program of coding method
JPWO2009035143A1 (ja) 画像処理装置及び方法
US8891892B2 (en) Image encoding method using adaptive preprocessing scheme
KR20140042845A (ko) 지각적 비디오 코딩을 위한 구조적 유사성 기반의 레이트-왜곡 최적화 방법 및 시스템
JP2007235291A (ja) 適応量子化装置及び適応量子化プログラム
WO2007143876A1 (en) Method and apparatus for adaptively determining a bit budget for encoding video pictures
JPWO2010092772A1 (ja) 多視点画像符号化方法、多視点画像復号方法、多視点画像符号化装置、多視点画像復号装置、多視点画像符号化プログラムおよび多視点画像復号プログラム
JP2002010259A (ja) 画像符号化装置及び画像符号化方法及び画像符号化プログラムを記録した記録媒体
JP5133290B2 (ja) 動画像符号化装置および復号装置
JP4366571B2 (ja) 動画像符号化装置及び方法
JP2011146883A (ja) 画像処理装置
EP1978745B1 (en) Statistical adaptive video rate control
JP2022123031A (ja) 符号化装置、符号化方法、及び符号化プログラム
JP5706759B2 (ja) 画像符号化装置及び画像符号化方法
US20090161758A1 (en) Code amount control method, code amount control device, and camera system
US8559738B2 (en) Predictive coding method for coding texture of image
Yan et al. Adaptive distortion-based intra-rate estimation for H. 264/AVC rate control
JP5649296B2 (ja) 画像符号化装置
US8792562B2 (en) Moving image encoding apparatus and method for controlling the same
US9185420B2 (en) Moving image coding apparatus and moving image coding method
JP6313614B2 (ja) 動画像符号化装置及びその制御方法
JP5871602B2 (ja) 符号化装置
KR101868270B1 (ko) 싱글 패스 일관 화질 제어를 기반으로 하는 컨텐츠 인식 비디오 인코딩 방법, 컨트롤러 및 시스템

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160412

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160608

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161214

R150 Certificate of patent or registration of utility model

Ref document number: 6062356

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250