JP5059859B2 - 動画像符号化方法 - Google Patents

動画像符号化方法 Download PDF

Info

Publication number
JP5059859B2
JP5059859B2 JP2009521664A JP2009521664A JP5059859B2 JP 5059859 B2 JP5059859 B2 JP 5059859B2 JP 2009521664 A JP2009521664 A JP 2009521664A JP 2009521664 A JP2009521664 A JP 2009521664A JP 5059859 B2 JP5059859 B2 JP 5059859B2
Authority
JP
Japan
Prior art keywords
encoding
picture
quantization width
coding
luminance change
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009521664A
Other languages
English (en)
Other versions
JPWO2009093436A1 (ja
Inventor
清史 安倍
省造 藤井
慎二郎 水野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2009521664A priority Critical patent/JP5059859B2/ja
Publication of JPWO2009093436A1 publication Critical patent/JPWO2009093436A1/ja
Application granted granted Critical
Publication of JP5059859B2 publication Critical patent/JP5059859B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/16Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Description

本発明は、動画像符号化方法および動画像符号化装置に関し、特に画面間予測を行う際に発生する符号化ノイズを抑制するための技術に関する。
一般に動画像の符号化では、時間方向および空間方向の冗長性を削減することによって情報量の圧縮を行う。例えば、時間的な冗長性の削減を目的とする画面間予測符号化では、前方または後方のピクチャを参照してブロック単位で動きの検出および予測画像の作成を行う。さらに、得られた予測画像と符号化対象ピクチャとの差分値に対して符号化を行う。
ここで、“ピクチャ”とは1枚の画面を表す用語であり、プログレッシブ画像ではフレームを意味し、インタレース画像ではフレームもしくはフィールドを意味する。
インタレース画像とは、1つのフレームが時刻の異なる2つのフィールドから構成される画像である。インタレース画像の符号化処理においては、1つのフレームをフレームのまま処理すること、2つのフィールドとして処理すること、および、フレーム内のブロック毎にフレーム構造またはフィールド構造として処理することができる。
画面間予測符号化ではなく、画面内予測符号化によって得られるピクチャをIピクチャと呼ぶ。また、1枚のピクチャのみを参照する画面間予測符号化によって得られるピクチャをPピクチャと呼ぶ。また、同時に2枚までピクチャを参照可能な画面間予測符号化によって得られるピクチャをBピクチャと呼ぶ。
なお、参照ピクチャは符号化対象ピクチャよりも先に符号化されメモリに格納されている必要があり、符号化の基本単位であるブロックごとに適切なものが選択され指定される。
Pピクチャ又はBピクチャの符号化には、動き補償画面間予測符号化が用いられている。動き補償画面間予測符号化とは、ピクチャ内の各部の動き量(動きベクトル)を検出し、当該動き量を考慮した予測を行うことにより、予測精度を向上すると共に、データ量を減らす符号化方式である。
具体的には、動き補償画面間予測符号化では、符号化対象ピクチャの符号化対象ブロックに対し、参照ピクチャ側で最も画素情報が似通ったブロックの位置を見つけて動きベクトルを検出する。
さらに、参照ピクチャ側のその位置のブロックの画素値と符号化対象ブロックの画素値との差分(予測残差)のみを符号化する。動き補償画面間予測符号化ではこのようにしてデータ量を削減する。
従って、符号化対象ブロックとより似通ったブロックを検出することができれば予測残差が小さくなるため高い圧縮率を実現することができる。
逆に似通ったブロックを検出できなかった場合は予測残差を符号化するために必要な情報量が多くなる。そのため、特に低ビットレートで充分な符号量を予測残差に割り当てることが出来ない状況下では予測残差を充分に再現することができず、これにより発生した歪みが符号化ノイズとして画質を劣化させる原因となる。
この符号化ノイズは、画素値のばらつきが比較的少ない領域(以下、「平坦領域」という。)で目立ちやすい。そこで、符号化対象ピクチャ内で平坦領域を検出し、平坦領域については量子化幅を比較的小さな値に設定することで当該平坦領域内の符号化ノイズの発生を抑制する技術(第一の従来技術)がある。
また、符号化対象ピクチャと参照ピクチャとの間での輝度変化が比較的大きい場合、符号化対象ブロックに似通ったブロックを参照ピクチャ内で検出することが困難である。つまり、符号化対象の動画像における大きな輝度変化は予測残差を増大させる要因の一つであり、符号化ノイズの発生要因の一つである。
図14は、予測残差が大きくなる状況の例としての、輝度変化が発生した場合の従来の動き補償の振る舞いを説明する模式図である。
図14において、P3−Orgが符号化対象ピクチャであり、P1−RefおよびP2−Refが参照ピクチャである。
図14に示す例では、時間の経過とともに輝度が変化していることを示している。具体的には、P1−Ref、P2−Ref、P3−Orgの順に輝度が次第に高くなっている。
このようなシーンではどこから予測したとしても予測残差が大きくなってしまう。例えば、符号化対象ブロックBL01はBL21の位置から予測を行い、符号化対象ブロックBL02はBL12の位置から予測を行い、その結果、予測画像としてP3−Predが生成された場合を想定する。
この場合、動き補償を行ったブロック間の画素値の差が大きいため、P3−Org内のBL01およびBL02の画素値と、予測画像であるP3−Pred内の各該当ブロックの画素値とが大きく異なることになる。これにより、P3−Org内の各ブロックについての予測残差は大きくなり、結果として符号化ノイズが発生し易い状況が生まれる。
このような課題に対して、例えば特許文献1では、ピクチャ内で輝度変化の影響を受けたブロックを検出して当該ブロックに割り当てる符号量を増やす方法(第二の従来技術)が開示されている。
特開2007−274671号公報
しかしながら、上記第一の従来技術では、例えば平坦領域が占める割合の大きなピクチャが連続する場合、符号量を増やす対象となるブロック数が大幅に増加することになる。
その結果、全体として必要な符号量が増大することにより充分な圧縮効率を実現できなくなるという問題が生じる。
また、上記第二の従来技術では、局所的に激しく輝度変化が発生した場合であれば対象領域を特定してその領域のみ画質を上げることが可能である。
しかし、画面全体で輝度変化が発生した場合や、緩やかな輝度変化が数フレームに渡って発生した場合は、符号量を増やす対象となるブロック数が大幅に増加する。
その結果、上記第一の従来技術と同じく、全体として必要な符号量が増加することにより充分な圧縮効率を実現できなくなるという問題が生じる。
例えば、ビデオカメラで撮影された動画像においては、光源とカメラの撮影対象の位置関係とにより画面全体の輝度が変化する特性がある。これにより、カメラや撮影対象が移動したときや光源の明るさが変わったときなど、頻繁に画面全体の輝度変化が発生する。
本発明は、上記従来の課題を考慮し、符号化対象の動画像に時間的な輝度変化がある場合に、符号量の増加を最小限に抑制し、かつ、効果的に符号化ノイズを抑制する動画像符号化方法を提供することを目的とする。
上記の目的を達成するために、本発明の動画像符号化方法は、時間的に前方又は後方にある符号化済みのピクチャをブロックの単位で参照して予測符号化を行うことで動画像を符号化する動画像符号化方法であって、前記予測符号化の対象のブロックである符号化対象ブロックが含まれる符号化対象ピクチャと前記参照に用いる符号化済みピクチャとの間で、所定の大きさ以上の輝度変化が発生している可能性があるか否かを判定する輝度変化判定ステップと、前記符号化対象ブロックを構成する複数の画素の画素値のばらつき度が、所定の閾値よりも小さいか否かを判定する平坦領域判定ステップと、前記符号化対象ブロックに対する符号化における量子化に用いられる量子化幅を決定する量子化幅決定ステップとを含み、前記量子化幅決定ステップでは、前記輝度変化判定ステップにおいて前記所定の大きさ以上の輝度変化が発生している可能性があると判定され、かつ、前記平坦領域判定ステップにおいて前記ばらつき度が前記所定の閾値よりも小さいと判定された場合の量子化幅を、前記所定の大きさ以上の輝度変化が発生している可能性があると判定されず、または、前記ばらつき度が前記所定の閾値よりも小さいと判定されなかった場合の量子化幅よりも小さな値に決定する。
本構成により、符号化対象の動画像に時間的な輝度変化がある場合において、画質の劣化が目立ちやすい平坦領域の画質が改善される。
また、平坦領域はそもそも少ない符号量で符号化可能な領域である。そのため、平坦領域における符号化ノイズの抑制のための符号量の増加が全体の符号量に与える影響は少ない。
つまり、本発明の動画像符号化方法では、符号化ノイズが目立ちやすい領域であり、かつ、符号量の増加に与える影響の少ない領域に限定して符号化ノイズの発生を抑制することができる。
このように、本発明は、符号量の増加を最小限に抑制しながら効果的に符号化ノイズを抑制することができる。
また、前記輝度変化判定ステップでは、符号化対象の動画像を生成するカメラから取得されるカメラ制御情報に示される値の変化量が、前記カメラ制御情報についての閾値以上である場合、前記所定の大きさ以上の輝度変化が発生している可能性があると判定するとしてもよい。
本構成により、画像を解析して輝度変化を検出するという負荷の高い処理を行うことなく、高い精度で輝度変化を検出することが可能となる。
また、本発明の動画像符号化方法は、時間的に前方又は後方にある符号化済みのピクチャをブロックの単位で参照して予測符号化を行うことで動画像を符号化する動画像符号化方法であって、前記予測符号化の対象のブロックである符号化対象ブロックが含まれる符号化対象ピクチャの符号化構造が、Pピクチャであるか否かを判定する符号化構造判定ステップと、前記符号化対象ブロックを構成する複数の画素の画素値のばらつき度が、所定の閾値よりも小さいか否かを判定する平坦領域判定ステップと、前記符号化対象ブロックに対する符号化における量子化に用いられる量子化幅を決定する量子化幅決定ステップとを含み、前記量子化幅決定ステップでは、前記符号化構造判定ステップにおいて前記符号化構造がPピクチャであると判定され、かつ、前記平坦領域判定ステップにおいて前記ばらつき度が前記所定の閾値よりも小さいと判定された場合の量子化幅を、前記符号化構造がPピクチャであると判定されず、または、前記ばらつき度が前記所定の閾値よりも小さいと判定されなかった場合の量子化幅よりも小さな値に決定するとしてもよい。
このような処理によっても、符号量の増加を最小限に抑制し、かつ、効果的に符号化ノイズを抑制することができる。
なお、本発明は、上記のいずれかの動画像符号化方法として実現することができるだけでなく、本発明の動画像復号化方法が含む各処理を実行する要素で構成される動画像符号化装置および集積回路、並びに、本発明の動画像復号化方法が含む各処理をコンピュータに実行させるためのプログラムとしても実現することができる。
また、そのプログラムをDVD等の記録媒体やインターネット等の伝送媒体を介して広く流通させることができる。
本発明は、符号量の増加を最小限に抑制し、かつ、効果的に符号化ノイズを抑制する動画像符号化方法を提供することができる。
具体的には、本発明の動画像符号化方法によれば、画質の劣化が目立ち易い領域であって、画質の改善に伴う符号量の増加量が少ない領域の画質を改善する。これにより、人間の視覚で捉えられる画質の向上と、符号量の増加の抑制との両立が実現される。
図1は、本発明の実施の形態1における動画像符号化装置の主要な機能構成を示すブロック図である。 図2(a)は、実施の形態1の動画像符号化装置における、量子化幅の決定に係る処理の流れを示すフローチャートであり、図2(b)は、輝度変化に関与するカメラ制御情報の例を示す図である。 図3は、輝度変化発生時に画面間予測を行った際の、平坦領域と非平坦領域における輝度変化の影響の違いを説明するための模式図である。 図4は、平坦領域と非平坦領域とで符号化により発生する符号量の傾向の違いを説明するための模式図である。 図5は、本発明の実施の形態2における動画像符号化装置の主要な機能構成を示すブロック図である。 図6(a)は、実施の形態2の動画像符号化装置における、量子化幅の決定に係る処理の流れを示すフローチャートであり、図6(b)は、輝度変化に関与する画面特徴値の例を示す図である。 図7は、本発明の実施の形態3における動画像符号化装置の主要な機能構成を示すブロック図である。 図8(a)は、実施の形態3の動画像符号化装置における、量子化幅の決定に係る処理の流れの第一の例を示すフローチャートであり、図8(b)は、実施の形態3の動画像符号化装置における、量子化幅の決定に係る処理の流れの第二の例を示すフローチャートである。 図9(a)は、フレーム符号化の場合の一般的な参照関係を示す図であり、図9(b)は、フィールド符号化の場合の一般的な参照関係を示す図である。 図10は、実施の形態3の変形例における処理の流れの一例を示すフローチャートである。 図11は、実施の形態3の変形例における処理の流れの別の一例を示すフローチャートである。 図12は、カメラ制御情報と符号化構造情報の両方が考慮された量子化幅制御の流れの一例を示す図である。 図13は、実施の形態1の動画像符号化装置における集積回路化の一例を示す図である。 図14は、従来の、輝度変化による画面間予測への影響を説明するための模式図である。
以下本発明の実施の形態について、図面を参照しながら説明する。
(実施の形態1)
図1は、本発明の実施の形態1における動画像符号化装置100の主要な機能構成を示すブロック図である。
動画像符号化装置100は、図1に示すようにピクチャメモリ101、量子化幅決定部102、予測残差符号化部103、符号列生成部104、予測残差復号化部105、ピクチャメモリ106、動きベクトル検出部107、動き補償符号化部108、平坦領域判定部111、および、変化判定部112を備えている。
符号化対象となる動画像は表示を行う順にピクチャ単位でピクチャメモリ101に入力され、符号化を行う順にピクチャの並び替えが行われる。
さらに各々のピクチャはマクロブロックと呼ばれるブロックに分割されブロック単位で以降の処理が行われる。マクロブロックは、例えば水平16画素×垂直16画素のブロックである。
ピクチャメモリ101から読み出された、マクロブロック単位の入力画像信号は差分演算部109に入力される。
差分演算部109は、入力画像信号と、動き補償符号化部108の出力である予測画像信号との差分を取ることによって得られる差分画像信号を予測残差符号化部103に出力する。
予測残差符号化部103は差分画像信号に対して直交変換を行い、さらに量子化幅決定部102で決定された量子化幅を用いて量子化を行い残差符号化信号を出力する。
残差符号化信号は予測残差復号化部105に入力され、逆量子化、逆直交変換等が行われ、残差復号化信号が予測残差復号化部105から出力される。
加算演算部110は残差復号化信号と予測画像信号との加算を行い、再構成画像信号を生成する。
また、生成された再構成画像信号の中で、以降の画面間予測で参照される可能性がある信号はピクチャメモリ106に格納される。つまり、動き補償符号化部108による符号化処理の際に参照される可能性のあるピクチャがピクチャメモリ106に格納される。
一方、ピクチャメモリ101から読み出されたマクロブロック単位の入力画像信号は動きベクトル検出部107にも入力される。
動きベクトル検出部107は、ピクチャメモリ106に格納されている再構成画像信号から構成される参照ピクチャを探索対象とし、入力画像信号に最も近い画像領域を検出することによってその位置を指し示す動きベクトルを決定する。
また、例えばH.264では複数のピクチャを参照ピクチャとして使用することができる。そのため参照ピクチャとして用いるピクチャを指定するための参照インデックスも同時に決定される。
動き補償符号化部108は、前記処理によって検出された動きベクトルおよび参照インデックスを用いて、ピクチャメモリ106に格納されている参照ピクチャから予測画像を生成する。
一連の処理によって生成された残差符号化信号、動きベクトル、参照インデックス等の符号化情報は符号列生成部104に入力される。符号列生成部104は、入力された符号化情報に可変長符号化を施すことによって、動画像符号化装置100から出力される符号列を生成する。
次に、予測残差符号化部103が量子化を行う際に使用する量子化幅の値を決定するための、変化判定部112、平坦領域判定部111および量子化幅決定部102の処理を詳しく説明する。
平坦領域判定部111は、符号化対象のマクロブロック(以下、「符号化対象ブロック」という。)が平坦領域であるか否かを判定する。変化判定部112は、動画像符号化装置100に入力される動画像を生成するカメラから入力された、カメラ制御情報の変化量が大きいか否かを判定する。
それぞれの判定結果は、量子化幅決定部102に入力される。量子化幅決定部102は、これら判定結果を用いて量子化幅を決定し、決定した量子化幅を予測残差符号化部103に入力する。
なお、変化判定部112は、本発明の動画像符号化方法における輝度変化判定ステップを実行する処理部の第一の例である。
上記の処理の流れをまとめると図2(a)のフローチャートのようになる。
図2(a)は、実施の形態1の動画像符号化装置100における、量子化幅の決定に係る処理の流れを示すフローチャートである。
変化判定部112はカメラ制御情報の変化量が所定の閾値以上か否かを判定する(S201)。
変化判定部112は、具体的には、符号化対象の動画像における時間的な輝度変化に関与するカメラ制御情報をこの判定に使用する。この判定に使用されるカメラ制御情報の例を図2(b)に示す。
図2(b)は、輝度変化に関与するカメラ制御情報の例を示す図である。
変化判定部112は、図2(b)に示す、EV(Exposure Value:露出値)、ズーム位置、シャッター速度、絞り値、ゲイン値のうちの少なくとも1つを用いて上記判定を行う。
例えば、所定の期間内でのEVの増加量または減少量の絶対値が、EVについての所定の閾値以上である場合、符号化対象ピクチャと参照ピクチャとの間に所定の大きさ以上の輝度変化が発生している、またはその可能性があると判断できる。
なお、上記の「所定の期間」は、例えば、時間またはピクチャの枚数などにより規定される期間である。
変化判定部112は、このようにカメラ制御情報の変化量と所定の閾値とを比較する。これにより、符号化対象のピクチャと、それ以前の符号化により得られた参照ピクチャとの間で、所定の大きさ以上の輝度変化が発生している可能性があるか否かが判定される。
変化判定部112はさらに、カメラ制御情報の変化量が所定の閾値より大きな場合(S201でYES)、その旨を量子化幅決定部102に通知する。
次に、平坦領域判定部111は、符号化対象ブロックが平坦領域であるか否かを判定する(S202)。なお、この判定は、輝度変化についての判定(S201)より前に行われてもよく、並行して行われてもよい。
平坦領域判定部111は、例えば、符号化対象ブロックの入力画像信号を用いて、当該ブロック内における画素値のばらつき度を算出する。
なお、「画素値のばらつき度」とは、例えば、符号化対象ブロック内の隣接する画素の画素値間の差分の絶対値を合計することにより得ることのできる物理量である。平坦領域判定部111はこの画素値のばらつき度を算出し、算出した値と所定の閾値とを比較する。
比較の結果、画素値のばらつき度が当該閾値よりも小さな場合、平坦領域判定部111は、当該ブロックは平坦領域であると判定する(S202でYES)。
また、比較の結果、画素値のばらつき度が当該閾値以上の場合、平坦領域判定部111は、当該ブロックは非平坦領域であると判定する(S202でNO)。
なお、平坦領域判定部111は、入力画像信号の代わりに差分演算部109で算出された差分画像信号を用いて、符号化対象ブロックが平坦領域であるか否かを判定してもよい。
また、平坦領域判定部111は、予測残差符号化部103が行う直交変換によって生成された周波数成分毎の係数値を用いて上記判定を行ってもよい。この場合、低周波数領域に係数が集中していれば平坦領域、高周波数領域まで係数が分散していれば非平坦領域として判定することができる。
また、平坦領域判定部111は、その他の方法によって符号化対象ブロックが平坦領域であるか否か判定してもよい。
量子化幅決定部102は、カメラ制御情報の変化量が所定の閾値以上である場合(S201でYES)であって、かつ、符号化対象ブロックが平坦領域である場合(S202でYES)にのみ、量子化幅を、非平坦領域であるマクロブロックについての量子化幅よりも小さい値に決定する(S203)。
量子化幅決定部102により決定された量子化幅は、上述のように、予測残差符号化部103による量子化に用いられる。
つまり、量子化幅決定部102は、符号化ノイズが目立ち易い平坦領域については、非平坦領域を量子化する場合よりも小さな量子化幅で量子化するよう決定する。
例えば、量子化幅決定部102は、当該ブロックについての量子化幅を、予め設定された、符号化対象ブロックに対する量子化の際の基準となる量子化幅(基準量子化幅)よりも小さい値にする処理を行う。
なお、符号化対象ブロックについての量子化幅をどのような値まで小さくするかについては、他の手法が用いられてもよい。
例えば、上記の基準量子化幅とは無関係に常に一定の量子化幅以下になるまで小さくするという制御を行う方法がある。平坦領域では量子化幅とノイズの見え方に相関関係がある。そこで、人の視覚ではノイズを認識し難いレベルを実現する特定の値まで量子化幅を小さくする。これにより、ビットレートに依存せず常に目立ちやすいノイズを抑制することが可能となる。
また、変調幅である量子化幅から特定の固定値だけ小さくするという制御を行ってもよい。また、基準量子化幅に応じてその基準量子化幅から減じる値を可変にするという制御を行ってもよい。
図3は、輝度変化発生時に画面間予測を行った際の、平坦領域と非平坦領域における輝度変化の影響の違いを説明するための模式図である。
なお、図3において、P2−Orgが符号化対象ピクチャであり、P1−Refが参照ピクチャである。また、P1−RefはP2−Orgよりも輝度が低い。つまりこれらの輝度は異なっている。
各ピクチャでは画面の右上にエッジまたはテクスチャが存在している。符号化対象ブロックBL01は非平坦領域に属し、BL11の位置から予測が行われる。また、符号化対象ブロックBL02は平坦領域に属し、BL12の位置から予測が行われる。
その結果、予測画像としてP2−Predが生成されたとする。最終的に生成される符号化画像はこの予測画像に対して残差信号を加算したものとなる。
ここで、残差信号の復号化における精度(符号化前の画素値と復号化後の画素値との同一性)は、符号化の際の量子化幅により制限される。そのため、予測誤差は最終的に符号化ノイズとして符号化画像の画質劣化の原因となる。
しかし同じような輝度変化によって生じた予測誤差でも、BL01の位置のような非平坦領域では他のエッジやテクスチャの情報によって人の視覚には判別し難くなる傾向がある。
それに対してBL02の位置のような平坦領域では少しでも誤差があると人の視覚に目立つノイズとなってしまう。
本実施の形態の動画像符号化装置100では、この特性を利用して輝度変化が発生した場合に視覚的にノイズが目立ちやすい平坦領域に絞って量子化幅を小さくして画質を向上させる。これにより、効果的な画質の改善を実現している。
また、一般に、平坦領域を符号化した際の符号量は、非平坦領域を符号化した際の符号量よりも小さな値に収まる。つまり、平坦領域は、画質の向上による符号量の増加が比較的小さいという特性を有している。
図4は、平坦領域と非平坦領域とで符号化により発生する符号量の傾向の違いを説明するための模式図である。
予測残差の符号化は、入力された予測残差係数に対して直交変換を行って直交変換係数を算出し、これに対して指定された量子化幅で量子化を行うことによって得られた係数値を可変長符号化することによってなされる。
図4に示すように、平坦領域ブロックの予測残差係数は全面に渡って同じような値となり、非平坦領域ブロックでは係数値がばらつく傾向がある。
これらの予測残差を直交変換して得られた直交変換係数は、平坦領域ブロックでは低周波数領域((0,0)の係数位置周辺)に値が集中する。また、非平坦領域ブロックでは低周波数領域から離れた高周波数領域((3,3)の係数位置周辺)に近いところまで係数が分散する傾向がある。
従って、平坦領域ブロックを符号化する場合に量子化幅を小さくしたとしても符号化しなくてはならない非0の直交変換係数の数が少ない。そのため、符号量が大幅に増加することはない。
それに対して、非平坦領域ブロックを符号化する場合に量子化幅を小さくしてしまうと非0の直交変換係数の数が多いため急激に符号量が増加してしまうことになる。
本実施の形態の動画像符号化装置100は、上述のように平坦領域に絞って量子化幅を小さくして画質を向上させている。つまり、上記の平坦領域の特性を利用して、画質の向上に伴う符号量の増加を最小限に抑えている。
このように、本実施の形態の動画像符号化装置100によれば、動画像を符号化する際に、画質の劣化が目立ち易い領域であって、かつ画質の改善に伴う符号量の増加量が少ない領域については、符号化の際の量子化幅を小さくする。これにより、効率的かつ効果的な画質の改善が実現される。
(実施の形態2)
図5は、本発明の実施の形態2における動画像符号化装置500の主要な機能構成を示すブロック図である。
なお、ピクチャメモリ501、予測残差符号化部503、符号列生成部504、予測残差復号化部505、ピクチャメモリ506、動きベクトル検出部507、動き補償符号化部508、差分演算部509および加算演算部510による基本的な処理内容は、実施の形態1における動画像符号化装置100(図1参照)の基本的な処理内容と同一である。
そのため、これら処理部による基本的な処理内容の説明は省略し、予測残差符号化部503で量子化を行う際に使用する量子化幅の値を決定するための、特徴値大きさ判定部512、平坦領域判定部511および量子化幅決定部502の処理を詳しく説明する。
平坦領域判定部511は、符号化対象ブロックが平坦領域であるか否かを判定する。特徴値大きさ判定部512は、入力画像から画面特徴値抽出部513が抽出した画面特徴値の大きさが所定の閾値以上か否かを判定する。
それぞれの判定結果は、量子化幅決定部502に入力される。量子化幅決定部502は、これら判定結果を用いて量子化幅を決定し、決定した量子化幅を予測残差符号化部503に入力する。
なお、特徴値大きさ判定部512は、本発明の動画像符号化方法における輝度変化判定ステップを実行する処理部の第二の例である。
上記の処理の流れをまとめると図6(a)のフローチャートのようになる。
図6(a)は、実施の形態2の動画像符号化装置500における、量子化幅の決定に係る処理の流れを示すフローチャートである。
特徴値大きさ判定部512は、画面特徴値抽出部513から入力される画面特徴値の大きさが所定の閾値以上か否かを判定する(S601)。
具体的には、特徴値大きさ判定部512は、符号化対象の動画像における時間的な輝度変化に関与する画面特徴値をこの判定に使用する。この判定に使用される画面特徴値の例を図6(b)に示す。
図6(b)は、輝度変化に関与する画面特徴値の例を示す図である。
特徴値大きさ判定部512は、図6(b)に示す、画面輝度の変化量、画面の推定ズーム速度、画面の推定動き速度のうちの少なくとも1つを用いて上記判定を行う。
例えば、ある時点での画面の推定ズーム速度が、ズーム速度についての所定の閾値以上である場合、符号化対象ピクチャと参照ピクチャとの間に、撮影範囲の急激な拡大または縮小を要因とする所定の大きさ以上の輝度変化が発生している、またはその可能性があると判断できる。
また、例えば、ある時点での画面の推定動き速度が、動き速度についての所定の閾値以上である場合、符号化対象ピクチャと参照ピクチャとの間に、撮影対象の急激な切り替わりを要因とする所定の大きさ以上の輝度変化が発生している、またはその可能性があると判断できる。
特徴値大きさ判定部512は、このように画面特徴値と所定の閾値とを比較する。これにより、符号化対象のピクチャと、それ以前の符号化により得られた参照ピクチャとの間で、所定の大きさ以上の輝度変化が発生しているか否かが判定される。
特徴値大きさ判定部512はさらに、画面特徴値が所定の閾値より大きな場合(S601でYES)、その旨を量子化幅決定部502に通知する。
次に平坦領域判定部511は、符号化対象ブロックが平坦領域であるか否かを判定する(S602)。
なお、平坦領域判定部511が行う、符号化対象ブロックが平坦領域であるか否かの判定に用いる手法は、実施の形態1の平坦領域判定部111と同じである。
すなわち、平坦領域判定部511は、例えば、符号化対象ブロックの入力画像信号を用いて、当該ブロック内における画素値のばらつき度を算出する。さらに、算出したばらつき度と、所定の閾値とを比較する。平坦領域判定部511は、この比較の結果、画素値のばらつき度が当該閾値よりも小さな場合、当該ブロックは平坦領域であると判定し(S602でYES)、画素値のばらつき度が当該閾値以上の場合、当該ブロックは非平坦領域であると判定する(S602でNO)。
なお、平坦領域判定部511は、実施の形態1の平坦領域判定部111と同じく、入力画像信号の代わりに差分演算部509で算出された差分画像信号、または、予測残差符号化部503が行う直交変換によって生成された周波数成分毎の係数値を用いて、符号化対象ブロックが平坦領域であるか否かを判定してもよい。
また、平坦領域判定部511は、その他の方法によって符号化対象ブロックが平坦領域であるか否か判定してもよい。
量子化幅決定部502は、画面特徴値が所定の閾値以上である場合(S601でYES)であって、かつ、符号化対象ブロックが平坦領域である場合(S602でYES)にのみ、量子化幅を、非平坦領域であるマクロブロックについての量子化幅よりも小さい値に決定する(S603)。
量子化幅決定部502により決定された量子化幅は、予測残差符号化部503による量子化に用いられる。
つまり、量子化幅決定部502は、符号化ノイズが目立ち易い平坦領域については、非平坦領域を量子化する場合よりも小さな量子化幅で量子化するよう決定する。
例えば、量子化幅決定部502は、当該ブロックについての量子化幅を、予め設定された基準量子化幅よりも小さい値にする処理を行う。
なお、符号化対象ブロックについての量子化幅をどのような値まで小さくするかについては、他の手法が用いられてもよい。
例えば、実施の形態1と同じく、基準量子化幅とは無関係に常に一定の量子化幅以下になるまで小さくするという制御を行う方法がある。また、変調幅である量子化幅から特定の固定値だけ小さくするという制御を行ってもよい。また、基準量子化幅に応じてその基準量子化幅から減じる値を可変にするという制御を行ってもよい。
実施の形態2の動画像符号化装置500は、以上説明したように、小さな量子化幅で量子化する対象を、参照先との間での輝度変化が大きな領域であって、かつ、平坦領域に限定する。これにより、実施の形態1の動画像符号化装置100と同じく、符号量の増加を最小限に抑制し、かつ、効果的に符号化ノイズを抑制することが可能である。
しかし、実施の形態2の動画像符号化装置500は、実施の形態1の動画像符号化装置100とは異なり、カメラから取得されるカメラ制御情報を必要としない。
そのため、例えばデジタルビデオレコーダにおける符号化装置、および、カメラと連動する機能を持たない、デジタルビデオカメラにおける符号化装置のように、カメラ制御情報を取得することが出来ない符号化装置であっても、動画像符号化装置500の構成を採用することにより、効率的かつ効果的に画質を改善することができる。
つまり、動画像符号化装置500は、カメラ制御情報を取得できない場合であっても、輝度変化が発生した場合に視覚的にノイズが目立ちやすい平坦領域の画質を向上させることによって、符号量の増加を最小限に抑えながら効果的に画質を改善することを実現している。
(実施の形態3)
図7は、本発明の実施の形態3における動画像符号化装置700の主要な機能構成を示すブロック図である。
なお、ピクチャメモリ701、予測残差符号化部703、符号列生成部704、予測残差復号化部705、ピクチャメモリ706、動きベクトル検出部707、動き補償符号化部708、差分演算部709および加算演算部710による基本的な処理内容は、実施の形態1における動画像符号化装置100(図1参照)の基本的な処理内容と同一である。
そのため、これら処理部による基本的な処理内容の説明は省略し、予測残差符号化部703で量子化を行う際に使用する量子化幅の値を決定するための、平坦領域判定部711および量子化幅決定部702の処理を詳しく説明する。
平坦領域判定部711は、符号化対象ブロックが平坦領域であるか否かを判定する。この判定により得られた判定結果は、量子化幅決定部702に入力される。また、量子化幅決定部702にはさらに符号化構造情報が入力される。
なお、「符号化構造情報」とは、本実施の形態においては、符号化対象ピクチャの種類(I、P、またはB)、並びに、符号化対象のピクチャに対しフレーム符号化およびフィールド符号化のいずれが実行されるかを示す情報である。
例えば、動画像符号化装置700の動作を制御する制御部(図示せず)から、符号化構造情報が量子化幅決定部702に入力される。
量子化幅決定部702は、これら判定結果および符号化構造情報を用いて量子化幅を決定し、決定した量子化幅を予測残差符号化部703に入力する。
なお、量子化幅決定部702は、本発明の動画像符号化方法における輝度変化判定ステップを実行する処理部の第三の例である。量子化幅決定部702は、具体的には、符号化構造情報を参照することで、所定の大きさ以上の輝度変化の発生の有無を判断することができる。
上記の処理の流れの一例を図8(a)に示す。
図8(a)は、実施の形態3の動画像符号化装置700における、量子化幅の決定に係る処理の流れの第一の例を示すフローチャートである。
量子化幅決定部702は、符号化構造情報を参照することで、符号化対象ブロックがPピクチャとして符号化を行うピクチャに含まれるブロックか否かを判定する(S801A)。
次に平坦領域判定部711は、符号化対象ブロックが平坦領域であるか否かを判定する(S802)。
なお、平坦領域判定部711が行う、符号化対象ブロックが平坦領域であるか否かの判定に用いる手法は、実施の形態1の平坦領域判定部111と同じである。
すなわち、平坦領域判定部711は、例えば、符号化対象ブロックの入力画像信号を用いて、当該ブロック内における画素値のばらつき度を算出する。さらに、算出したばらつき度と、所定の閾値とを比較する。比較の結果、画素値のばらつき度が当該閾値よりも小さな場合、当該ブロックは平坦領域であると判定し(S802でYES)、画素値のばらつき度が当該閾値以上の場合、当該ブロックは非平坦領域であると判定する(S802でNO)。
なお、平坦領域判定部711は、実施の形態1の平坦領域判定部111と同じく、入力画像信号の代わりに差分演算部709で算出された差分画像信号、または、予測残差符号化部703が行う直交変換によって生成された周波数成分毎の係数値を用いて、符号化対象ブロックが平坦領域であるか否かを判定してもよい。
また、平坦領域判定部711は、その他の方法によって符号化対象ブロックが平坦領域であるか否か判定してもよい。
量子化幅決定部702は、符号化対象ブロックがPピクチャとして符号化するピクチャに含まれるブロックである場合(S801AでYES)であって、かつ、符号化対象ブロックが平坦領域である場合(S802でYES)にのみ、量子化幅を、非平坦領域であるマクロブロックについての量子化幅よりも小さい値に決定する。
量子化幅決定部702により決定された量子化幅は、予測残差符号化部703による量子化に用いられる。
つまり、量子化幅決定部702は、符号化ノイズが目立ち易い平坦領域については、非平坦領域を量子化する場合よりも小さな量子化幅で量子化するよう決定する。
例えば、量子化幅決定部702は、当該ブロックについての量子化幅を、予め設定された基準量子化幅よりも小さい値に決定する。
なお、符号化対象ブロックについての量子化幅をどのような値まで小さくするかについては、他の手法であってもよい。
例えば、実施の形態1と同じく、基準量子化幅とは無関係に常に一定の量子化幅以下になるまで小さくするという制御を行う方法がある。また、変調幅である量子化幅から特定の固定値だけ小さくするという制御を行ってもよい。また、基準量子化幅に応じてその基準量子化幅から減じる値を可変にするという制御を行ってもよい。
また、量子化幅決定部702は、図8(b)に示すように、符号化構造情報を参照することで、符号化対象がフィールド構造であり、かつ、Pピクチャとして符号化を行うピクチャの2つのフィールドのうち、符号化順で先に符号化するフィールドに含まれるブロックであるか否か(S802B)を判定してもよい。
つまり、符号化対象ブロックが、Pピクチャとして符号化されるピクチャに含まれるブロックである場合、および、符号化順で先に符号化するフィールドに含まれるブロックである場合は、ともに、参照ピクチャまでの時間間隔が比較的に長い。
また、符号化対象のピクチャと参照ピクチャまでの時間間隔が長いほど、これらの間で、所定の大きさ以上の輝度変化が発生している可能性が高いと考えることができる。そのため、実施の形態3の動画像符号化装置700は、符号化対象ブロックについての符号化構造情報を、符号化幅の制御のための参照情報の1つとして扱う。
図9(a)および図9(b)は、符号化構造による輝度変化の影響の受け易さを説明するための模式図である。
なお、図9(a)は、フレーム符号化の場合の一般的な参照関係を示す図であり、図9(b)は、フィールド符号化の場合の一般的な参照関係を示す図である。
また、図9(a)および図9(b)において、矢印の始端に位置するピクチャが符号化される際に、矢印の先端が示すピクチャが参照されることを示している。
また、図9(a)および図9(b)では、最も一般的な参照関係を説明するため、参照に使用することのできるピクチャをIピクチャとPピクチャのみとし、さらに参照先のピクチャとしてPピクチャは時間的に前方の最も近い1枚のピクチャを、Bピクチャは時間的に前方および後方のそれぞれで最も近い1枚ずつのピクチャを参照している。
図9(a)は全てフレーム符号化を行った場合の例を示している。具体的には、BピクチャであるB3はI1とP4を参照し、PピクチャであるP7はP4のみを参照している。
ここで、輝度変化が発生するようなシーンでは、符号化対象ピクチャと参照ピクチャとの時間間隔が広くなるほど輝度変化の影響が大きくなり予測誤差が増加する。
例えば、B3であれば、B3との時間間隔が1フレーム分であるP4を参照することができる。しかし、P7の場合は、P7との時間間隔が3フレーム分であるP4を参照するしかない。つまりPピクチャの方が輝度変化の影響を強く受ける傾向がある。
また、図9(b)は全てフィールド符号化を行った場合の例を示している。具体的には、Bピクチャの先頭フィールドであるB3TはP1BとP4Tを参照し、Pピクチャの先頭フィールドであるP7TはP4Bのみを参照し、Pピクチャの後続フィールドであるP7BはP7Tのみを参照している。
例えば、B3Tであれば、B3Tとの時間間隔が2フィールド分であるP4Tを、P7Bであれば、P7Bとの時間間隔が1フィールド分であるP7Tを参照することができる。
しかし、P7Tの場合は、P7Tとの時間間隔が5フィールド分であるP4Bを参照するしかない。つまりフィールド構造の場合はPピクチャの先頭フィールドが最も輝度変化の影響を強く受ける傾向がある。
なお、1つのPピクチャを構成する先頭フィールドおよび後続フィールドのうち、先に後続フィールドが符号化される場合は、後続フィールドが最も輝度変化の影響を強く受けることになる。
このように、符号化対象が、Pピクチャの一部として符号化される場合、または、Pピクチャを構成する2つのフィールドのうち符号化順で先に符号化されるフィールド(以下、「先行フィールド」という。)の一部として符号化される場合(これらの場合を、「符号化対象がPピクチャまたは先行フィールドである場合」という。)、当該符号化対象と、参照ピクチャとの時間間隔が比較的に長い。
そのため、Pピクチャおよび先行フィールドは、輝度変化の影響を強く受けることになる。言い換えると、符号化対象であるPピクチャまたは先行フィールドと、参照ピクチャとの間で所定の大きさ以上の輝度変化が発生している可能性があると言える。
本実施の形態の動画像符号化装置700は、この特性を利用して効率的かつ効果的な画質の改善を行う。具体的には、動画像符号化装置700は、一連の動画像を符号化する際に、Pピクチャまたは先行フィールドに限定して平坦領域の量子化幅を小さくして画質を向上させる。
これにより、符号量の増加を最小限に抑えながら効果的に画質を改善することを実現している。また、カメラ制御情報や画面特徴値を用いる必要がないため、これらの情報を利用することの出来ない符号化装置であっても、動画像符号化装置700の構成を採用することにより効率的かつ効果的に画質を改善することができる。
(実施の形態3の変形例)
実施の形態3では、Pピクチャまたは先行フィールドのみについて量子化幅を小さくするとした。
しかし、Pピクチャまたは先行フィールドでは量子化幅を小さくする際の変位を大きくし、それ以外のピクチャでは量子化幅を小さくする際の変位を小さくすることにより、効率的かつ効果的な画質の向上を実現することもできる。そこで、この処理の流れを実施の形態3の変形例として説明する。
図10は、実施の形態3の変形例における処理の流れの一例を示すフローチャートである。
図10に示すように、量子化幅決定部702により、符号化対象がPピクチャであると判定され(S1001でYES)、かつ、平坦領域判定部711により、符号化対象ブロックが平坦領域であると判定された場合(S1002でYES)、量子化幅決定部702は、量子化幅を基準量子化幅からXだけ小さい値に決定する。
また、量子化幅決定部702により、符号化対象がPピクチャではなく(S1001でNO)Bピクチャであると判定され(S1004でYES)、かつ、平坦領域判定部711により、符号化対象ブロックが平坦領域であると判定された場合(S1005でYES)、量子化幅決定部702は、量子化幅を基準量子化幅からYだけ小さい値に決定する。
なお、上記のXとYとは、X>Yの関係である。つまり、符号化対象がPピクチャに含まれるブロックである場合の量子化幅をQ1とし、符号化対象ブロックがBピクチャに含まれるブロックである場合の量子化幅をQ2とし、基準量子化幅をQ0とすると、当該符号化対象ブロックが平坦領域である場合、Q0>Q2>Q1となるように、符号化対象ブロックについての量子化幅が決定される。
図11は、実施の形態3の変形例における処理の流れの別の一例を示すフローチャートである。
図11に示すように、量子化幅決定部702により、符号化対象がPピクチャの先頭フィールドであると判定され(S1101でYES)、かつ、平坦領域判定部711により、符号化対象ブロックが平坦領域であると判定された場合(S1102でYES)、量子化幅決定部702は、量子化幅を基準量子化幅からXだけ小さい値に決定する。
また、量子化幅決定部702により、符号化対象がPピクチャの先頭フィールドではなく(S1101でNO)、PピクチャまたはBピクチャであると判定され(S1104でYES)、かつ、平坦領域判定部711により、符号化対象ブロックが平坦領域であると判定された場合(S1105でYES)、量子化幅決定部702は、量子化幅を基準量子化幅からYだけ小さい値に決定する。
なお、S1104の判断における“Pピクチャ”とは、フレーム構造のPピクチャ、および、フィールド構造のPピクチャの後続フィールドを含む表現である。
また、上記のXとYとは、X>Yの関係である。つまり、符号化対象ブロックがPピクチャの先頭フィールドに含まれるブロックである場合の量子化幅をQ1とし、符号化対象ブロックがPピクチャまたはBピクチャに含まれるブロックである場合の量子化幅をQ2とし、基準量子化幅をQ0とすると、当該符号化対象ブロックが平坦領域である場合、Q0>Q2>Q1となるように、符号化対象ブロックについての量子化幅が決定される。
また、図11に示す処理では、符号化対象がPピクチャの先頭フィールドであるか否かを判断している(S1101)。これは、先頭フィールドおよび後続フィールドのうち、先に符号化されるフィールド(先行フィールド)が先頭フィールドであることを前提とした判断である。
つまり、先行フィールドが後続フィールドである場合は、符号化対象が後続フィールドである場合に、対象ブロックが平坦領域であるか否かの判断(S1102)に移行する。
これら図10および図11に示す処理では、輝度変化が発生した場合に最も影響を受け易いPピクチャまたは先行フィールドに含まれる平坦領域についての量子化幅を大幅に小さくして画質を向上させるだけでなく、それ以外のピクチャでも平坦領域の量子化幅を若干小さくして画質を向上させている。
これにより、例えば、符号化ピクチャと参照ピクチャとの時間間隔が小さいにもかかわらず画質劣化が激しくなるような輝度変化が発生した場合に、符号量の増加を最小限に抑えながら効果的に画質が改善されるという効果が発揮される。
なお、実施の形態3に記載の処理内容は、実施の形態1または実施の形態2に記載の処理内容と組み合わせて実施することも可能である。
例えば、実施の形態1に記載のカメラ制御情報の変化量が閾値以上か否かの判定(図2(a)のS201)に加え、実施の形態3に記載の符号化対象がPピクチャもしくはPピクチャの先頭フィールドであるかどうかの判定(図10のS1001または図11のS1101)を行ってもよい。
図12は、カメラ制御情報と符号化構造情報の両方が考慮された量子化幅制御の流れの一例を示す図である。
図12に示すように、カメラ制御情報の変化量が閾値以上であり(S1201でYES)、符号化対象ブロックが平坦領域であり(S1202でYES)、かつ、符号化対象がPピクチャである場合(S1203でYES)、当該符号化対象ブロックについての量子化幅が小さな値に決定される(S1204)。
この処理により、他よりも小さな量子化幅で量子化されるブロック、つまり、他よりも多くの符号量が割り当てられるブロックが、実施の形態1〜3よりも絞り込まれる。
そのため、例えば実施の形態1〜3よりも画質の改善に伴う符号量の増加が抑制される。
また、例えば、実施の形態2に記載の画面特徴値の大きさが閾値以上か否かの判定(図6(a)のS601)に加え、実施の形態3に記載の符号化対象がPピクチャもしくはPピクチャの先頭フィールドであるか否かの判定(図10のS1001または図11のS1101)の判定を行ってもよい。
この処理でも、図12に示す処理と同様に、例えば実施の形態1〜3よりも画質の改善に伴う符号量の増加が抑制されるという効果が発揮される。
(実施の形態4)
さらに、上記各実施の形態で示した動画像符号化方法を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録してもよい。これにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
なお、記録媒体としてはフレキシブルディスクに限らず、光ディスク、ICカード、ROMカセット等、プログラムを記録できるものであれば同様に実施することができる。
また、上記各実施の形態で示した動画像符号化方法を実現するための処理を集積回路であるLSIに行わせてもよい。また、動画像符号化方法に含まれる複数の処理の一部または全てを含むように1チップ化されてもよい。また、LSIは集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと称されることもある。
図13は、実施の形態1の動画像符号化装置100における集積回路化の一例を示す図である。
図13に示すLSI150は、動画像符号化装置100が備える複数の機能ブロックを含む集積回路の一例である。
なお、これら複数の機能ブロックは1つのLSIではなく、複数のLSIに分散して含まれてもよい。
また、実施の形態2の動画像符号化装置500および実施の形態3の動画像符号化装置700のそれぞれにおいても、それらが有する機能ブロックの一部または全部を集積回路化することができる。
また、集積回路化の手法はLSIに限るものではなく、専用回路または汎用プロセッサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
さらには、半導体技術の進歩または派生する別技術によりLSIなどに置き換わる集積回路の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。
(実施の形態1〜4の補足事項)
なお、本発明を上記実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。
(1)上記の各装置は、具体的には、マイクロプロセッサ、ROM、RAM、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記RAMまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
(2)上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なICカードまたは単体のモジュールから構成されてもよい。前記ICカードまたは前記モジュールは、マイクロプロセッサ、ROM、RAMなどから構成されるコンピュータシステムである。前記ICカードまたは前記モジュールは、上記の超多機能LSIを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ICカードまたは前記モジュールは、その機能を達成する。このICカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。
(3)本発明は、上記に示す本発明の動画像符号化方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
また、本発明は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。
また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
(4)上記各実施の形態及び上記(1)〜(3)に記載の技術内容をそれぞれ組み合わせてもよい。
本発明の動画像符号化方法は、例えばビデオカメラ、ビデオレコーダ、DVD装置、携帯電話、およびパーソナルコンピュータ等で、動画像を構成する各ピクチャを符号化して符号列を生成する方法として有用である。
100、500、700 動画像符号化装置
101、106、501、506、701、706 ピクチャメモリ
102、502、702 量子化幅決定部
103、503、703 予測残差符号化部
104、504、704 符号列生成部
105、505、705 予測残差復号化部
107、507、707 動きベクトル検出部
108、508、708 動き補償符号化部
109、509、709 差分演算部
110、510、710 加算演算部
111、511、711 平坦領域判定部
112 変化判定部
150 LSI
512 特徴値大きさ判定部
513 画面特徴値抽出部

Claims (12)

  1. カメラで撮影された動画像に対して、時間的に前方又は後方にある符号化済みのピクチャをブロックの単位で参照して予測符号化を行うことで前記動画像を符号化する動画像符号化方法であって、
    前記予測符号化の対象のブロックである符号化対象ブロックが含まれる符号化対象ピクチャと前記参照に用いる符号化済みピクチャとの間で、所定の大きさ以上の輝度変化が発生している可能性があるか否かを、前記カメラから取得されるカメラ制御情報に示される値の変化量が閾値以上である否かで判定する輝度変化判定ステップと、
    前記符号化対象ブロックを構成する複数の画素の画素値のばらつき度が、所定の閾値よりも小さいか否かを判定する平坦領域判定ステップと、
    前記符号化対象ブロックに対する符号化における量子化に用いられる量子化幅を決定する量子化幅決定ステップとを含み、
    前記量子化幅決定ステップでは、
    前記輝度変化判定ステップにおいて前記所定の大きさ以上の輝度変化が発生している可能性があると判定され、かつ、前記平坦領域判定ステップにおいて前記ばらつき度が前記所定の閾値よりも小さいと判定された前記符号化対象ブロックについての量子化幅を、
    前記所定の大きさ以上の輝度変化が発生している可能性があると判定されず、または、前記ばらつき度が前記所定の閾値よりも小さいと判定されなかった前記符号化対象ブロックについての量子化幅よりも小さな値に決定し、
    前記輝度変化判定ステップでは、前記カメラ制御情報に示される値の変化量が、前記閾値以上である場合、前記所定の大きさ以上の輝度変化が発生している可能性があると判定する
    動画像符号化方法。
  2. 前記輝度変化判定ステップでは、前記カメラ制御情報として、露出値、ズーム位置、シャッター速度、絞り値、およびゲイン値のうちの少なくとも1つを使用する
    請求項記載の動画像符号化方法。
  3. 前記量子化幅決定ステップでは、量子化幅を決定する場合、所定の量子化幅以下の値になるように量子化幅を決定する
    請求項1記載の動画像符号化方法。
  4. カメラで撮影された動画像に対して、時間的に前方又は後方にある符号化済みのピクチャをブロックの単位で参照して予測符号化を行うことで前記動画像を符号化する動画像符号化方法であって、
    前記予測符号化の対象のブロックである符号化対象ブロックが含まれる符号化対象ピクチャと前記参照に用いる符号化済みピクチャとの間で、所定の大きさ以上の輝度変化が発生している可能性があるか否かを、前記符号化対象ピクチャと前記参照に用いる符号化済みピクチャとの時間間隔に基づいて判定する輝度変化判定ステップと、
    前記符号化対象ブロックを構成する複数の画素の画素値のばらつき度が、所定の閾値よりも小さいか否かを判定する平坦領域判定ステップと、
    前記符号化対象ブロックに対する符号化における量子化に用いられる量子化幅を決定する量子化幅決定ステップとを含み、
    前記量子化幅決定ステップでは、
    前記輝度変化判定ステップにおいて前記所定の大きさ以上の輝度変化が発生している可能性があると判定され、かつ、前記平坦領域判定ステップにおいて前記ばらつき度が前記所定の閾値よりも小さいと判定された前記符号化対象ブロックについての量子化幅を、
    前記所定の大きさ以上の輝度変化が発生している可能性があると判定されず、または、前記ばらつき度が前記所定の閾値よりも小さいと判定されなかった前記符号化対象ブロックについての量子化幅よりも小さな値に決定する
    動画像符号化方法。
  5. 前記輝度変化判定ステップでは、前記符号化対象ピクチャの符号化構造がPピクチャであった場合、前記所定の大きさ以上の輝度変化が発生している可能性があると判定する
    請求項記載の動画像符号化方法。
  6. 前記輝度変化判定ステップでは、前記符号化対象ピクチャの符号化構造がフィールド符号化におけるPピクチャであり、かつ、前記符号化対象ブロックが含まれるフィールドが符号化順で先に符号化するフィールドである場合、前記所定の大きさ以上の輝度変化が発生している可能性があると判定する
    請求項記載の動画像符号化方法。
  7. 前記量子化幅決定ステップでは、前記符号化対象ブロックについての量子化幅を決定する場合、
    前記符号化対象ピクチャの符号化構造がフィールド符号化におけるPピクチャであり、かつ、前記符号化対象ブロックが含まれるフィールドが符号化順で先に符号化するフィールドであるときは、基準となる量子化幅である基準量子化幅よりXだけ小さな量子化幅を
    決定し、
    前記符号化構造がフィールド符号化におけるPピクチャではなく、または、前記符号化対象ブロックが含まれるフィールドが符号化順で先に符号化するフィールドでないときは、前記基準量子化幅よりY(X>Y)だけ小さな量子化幅を決定する
    請求項記載の動画像符号化方法。
  8. 前記輝度変化判定ステップでは、前記符号化対象ピクチャの符号化構造がPピクチャまたはBピクチャであった場合、前記所定の大きさ以上の輝度変化が発生している可能性があると判定する
    請求項記載の動画像符号化方法。
  9. 前記量子化幅決定ステップでは、前記符号化対象ブロックについての量子化幅を決定する場合、前記符号化対象ピクチャの符号化構造がPピクチャであるときは、基準となる量子化幅である基準量子化幅よりXだけ小さな量子化幅を決定し、前記符号化構造がBピクチャであるときは、前記基準量子化幅よりY(X>Y)だけ小さな量子化幅を決定する
    請求項記載の動画像符号化方法。
  10. 前記量子化幅決定ステップでは、量子化幅を決定する場合、所定の量子化幅以下の値になるように量子化幅を決定する
    請求項記載の動画像符号化方法。
  11. カメラで撮影された動画像に対して、時間的に前方又は後方にある符号化済みのピクチャをブロックの単位で参照して予測符号化を行うことで前記動画像を符号化する動画像符号化装置であって、
    前記予測符号化の対象のブロックである符号化対象ブロックが含まれる符号化対象ピクチャと前記参照に用いる符号化済みピクチャとの間で、所定の大きさ以上の輝度変化が発生している可能性があるか否かを、前記カメラから取得されるカメラ制御情報に示される値の変化量が閾値以上である否かで判定する輝度変化判定部と、
    前記符号化対象ブロックを構成する複数の画素の画素値のばらつき度が、所定の閾値よりも小さいか否かを判定する平坦領域判定部と、
    前記符号化対象ブロックに対する符号化における量子化に用いられる量子化幅を決定する量子化幅決定部とを備え、
    前記量子化幅決定部は、
    前記輝度変化判定部により前記所定の大きさ以上の輝度変化が発生している可能性があると判定され、かつ、前記平坦領域判定部により前記ばらつき度が前記所定の閾値よりも小さいと判定された前記符号化対象ブロックについての量子化幅を、
    前記所定の大きさ以上の輝度変化が発生している可能性があると判定されず、または、前記ばらつき度が前記所定の閾値よりも小さいと判定されなかった前記符号化対象ブロックについての量子化幅よりも小さな値に決定し、
    前記輝度変化判定部は、前記カメラ制御情報に示される値の変化量が、前記閾値以上である場合、前記所定の大きさ以上の輝度変化が発生している可能性があると判定する
    動画像符号化装置。
  12. カメラで撮影された動画像に対して、時間的に前方又は後方にある符号化済みのピクチャをブロックの単位で参照して予測符号化を行うことで前記動画像を符号化する集積回路であって、
    前記予測符号化の対象のブロックである符号化対象ブロックが含まれる符号化対象ピクチャと前記参照に用いる符号化済みピクチャとの間で、所定の大きさ以上の輝度変化が発生している可能性があるか否かを、前記カメラから取得されるカメラ制御情報に示される値の変化量が閾値以上である否かで判定する輝度変化判定部と、
    前記符号化対象ブロックを構成する複数の画素の画素値のばらつき度が、所定の閾値よりも小さいか否かを判定する平坦領域判定部と、
    前記符号化対象ブロックに対する符号化における量子化に用いられる量子化幅を決定する量子化幅決定部とを備え、
    前記量子化幅決定部は、
    前記輝度変化判定部により前記所定の大きさ以上の輝度変化が発生している可能性があると判定され、かつ、前記平坦領域判定部により前記ばらつき度が前記所定の閾値よりも小さいと判定された前記符号化対象ブロックについての量子化幅を、
    前記所定の大きさ以上の輝度変化が発生している可能性があると判定されず、または、前記ばらつき度が前記所定の閾値よりも小さいと判定されなかった前記符号化対象ブロックについての量子化幅よりも小さな値に決定し、
    前記輝度変化判定部は、前記カメラ制御情報に示される値の変化量が、前記閾値以上である場合、前記所定の大きさ以上の輝度変化が発生している可能性があると判定する
    集積回路。
JP2009521664A 2008-01-23 2009-01-20 動画像符号化方法 Expired - Fee Related JP5059859B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009521664A JP5059859B2 (ja) 2008-01-23 2009-01-20 動画像符号化方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2008012993 2008-01-23
JP2008012993 2008-01-23
JP2009521664A JP5059859B2 (ja) 2008-01-23 2009-01-20 動画像符号化方法
PCT/JP2009/000173 WO2009093436A1 (ja) 2008-01-23 2009-01-20 動画像符号化方法

Publications (2)

Publication Number Publication Date
JPWO2009093436A1 JPWO2009093436A1 (ja) 2011-05-26
JP5059859B2 true JP5059859B2 (ja) 2012-10-31

Family

ID=40900948

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009521664A Expired - Fee Related JP5059859B2 (ja) 2008-01-23 2009-01-20 動画像符号化方法

Country Status (4)

Country Link
US (1) US8179965B2 (ja)
JP (1) JP5059859B2 (ja)
CN (1) CN101682782B (ja)
WO (1) WO2009093436A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102084631B1 (ko) * 2011-11-08 2020-05-27 삼성전자주식회사 변환블록 크기에 기초한 양자화 파라미터 결정 방법 및 그 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07107466A (ja) * 1993-10-07 1995-04-21 Hitachi Ltd 撮像装置
JPH11196423A (ja) * 1997-12-26 1999-07-21 Sony Corp 画像処理装置および方法、並びに提供媒体
JP2006203597A (ja) * 2005-01-21 2006-08-03 Pioneer Electronic Corp ディジタル画像復号装置及び方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0813138B2 (ja) * 1990-11-28 1996-02-07 松下電器産業株式会社 画像符号化装置
US5440344A (en) * 1992-04-28 1995-08-08 Mitsubishi Denki Kabushiki Kaisha Video encoder using adjacent pixel difference for quantizer control
US6865291B1 (en) * 1996-06-24 2005-03-08 Andrew Michael Zador Method apparatus and system for compressing data that wavelet decomposes by color plane and then divides by magnitude range non-dc terms between a scalar quantizer and a vector quantizer
US6125201A (en) * 1997-06-25 2000-09-26 Andrew Michael Zador Method, apparatus and system for compressing data
US8442108B2 (en) * 2004-07-12 2013-05-14 Microsoft Corporation Adaptive updates in motion-compensated temporal filtering
JP5006633B2 (ja) 2006-03-10 2012-08-22 キヤノン株式会社 画像符号化装置、画像符号化方法、プログラム及び記憶媒体
WO2008044511A1 (en) * 2006-10-12 2008-04-17 Kabushiki Kaisha Toshiba Method and apparatus for encoding image

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07107466A (ja) * 1993-10-07 1995-04-21 Hitachi Ltd 撮像装置
JPH11196423A (ja) * 1997-12-26 1999-07-21 Sony Corp 画像処理装置および方法、並びに提供媒体
JP2006203597A (ja) * 2005-01-21 2006-08-03 Pioneer Electronic Corp ディジタル画像復号装置及び方法

Also Published As

Publication number Publication date
WO2009093436A1 (ja) 2009-07-30
CN101682782A (zh) 2010-03-24
US8179965B2 (en) 2012-05-15
US20100104011A1 (en) 2010-04-29
JPWO2009093436A1 (ja) 2011-05-26
CN101682782B (zh) 2013-03-20

Similar Documents

Publication Publication Date Title
JP3297293B2 (ja) 動画像復号方法および動画像復号装置
JP5508534B2 (ja) シーン切替検出
JP4246723B2 (ja) フレーム内予測符号化制御方法、フレーム内予測符号化制御装置、フレーム内予測符号化制御プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP4820191B2 (ja) 動画像符号化装置及びプログラム
KR100846512B1 (ko) 영상의 부호화, 복호화 방법 및 장치
JP2011507461A (ja) 適応型グループオブピクチャ(agop)構造の決定
US20110013695A1 (en) Moving image encoding apparatus and moving image encoding method
JP2007329693A (ja) 画像符号化装置、及び画像符号化方法
WO2010109564A1 (ja) 画像符号化装置及び画像符号化方法
TWI511531B (zh) 影像編碼裝置、影像編碼方法及影像編碼程式
JP2009224854A (ja) 画像符号化装置及び方法
JP2006333249A (ja) 画像復号装置及び方法、画像符号化装置及び方法、コンピュータプログラム及び記憶媒体
JP2011250400A (ja) 動画像符号化装置及び動画像符号化方法
JP2007228519A (ja) 画像符号化装置及び画像符号化方法
JP5059859B2 (ja) 動画像符号化方法
JP2007221201A (ja) 動画像符号化装置及び動画像符号化プログラム
JP2007124580A (ja) 動画像符号化プログラム、プログラム記憶媒体、および符号化装置。
JP2009111647A (ja) 動きベクトル検出装置および動きベクトル検出方法
US8306116B2 (en) Image prediction apparatus and method, image encoding apparatus, and image decoding apparatus
WO2014156647A1 (ja) 複数の入力画像をエンコーディングする方法、プログラムを格納する記憶媒体および装置
JP4222274B2 (ja) 符号化モード選択装置及び符号化モード選択プログラム
JP4829951B2 (ja) フレーム内予測符号化制御方法、フレーム内予測符号化制御装置、フレーム内予測符号化制御プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2011129979A (ja) 画像処理装置
JP2010050860A (ja) 画像表示装置、録画再生装置、及び画像処理方法
JP2009177443A (ja) 符号化装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110601

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120501

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120605

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120710

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120802

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150810

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5059859

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees