JP6149707B2 - 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、及び動画像撮影装置 - Google Patents

動画像符号化装置、動画像符号化方法、動画像符号化プログラム、及び動画像撮影装置 Download PDF

Info

Publication number
JP6149707B2
JP6149707B2 JP2013243206A JP2013243206A JP6149707B2 JP 6149707 B2 JP6149707 B2 JP 6149707B2 JP 2013243206 A JP2013243206 A JP 2013243206A JP 2013243206 A JP2013243206 A JP 2013243206A JP 6149707 B2 JP6149707 B2 JP 6149707B2
Authority
JP
Japan
Prior art keywords
encoding
pixel
image
block
target block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013243206A
Other languages
English (en)
Other versions
JP2015103970A (ja
Inventor
純平 小山
純平 小山
数井 君彦
君彦 数井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2013243206A priority Critical patent/JP6149707B2/ja
Priority to US14/518,034 priority patent/US20150146776A1/en
Publication of JP2015103970A publication Critical patent/JP2015103970A/ja
Application granted granted Critical
Publication of JP6149707B2 publication Critical patent/JP6149707B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Description

開示の技術は、動画像符号化装置、動画像符号化方法、動画像符号化プログラム、及び動画像撮影装置に関する。
動画像は、一般に非常に大きなデータ量を有する。そのため、動画像を扱う装置は、動画像を他の装置へ送信する場合、或いは動画像を記憶装置に記憶する場合、動画像を圧縮符号化する。
代表的な動画像の圧縮符号化方法の標準規格には、ISO/IEC(International Standardization Organization/International Electrotechnical Commission)で策定されたMPEG−2(Moving Picture Experts Group phase 2)がある。その他、MPEG−4、AVC(Advanced Video Coding, MPEG-4 AVC/H.264)がある。また、新たな標準規格として、HEVC(High Efficiency Video Coding, MPEG-H/H.265)がある。
これらの標準規格は、符号化対象のフレーム画像(ピクチャ)を、表示の順番で前後するフレーム画像を用いて符号化する画面間符号化方法及び符号化対象のフレーム画像のみを用いて符号化する画面内符号化方法を採用している。
上記の標準規格により、例えば画素値がほぼ一様であるが、位置によって画素値が僅かに変化するグラデーション領域を含む動画像を低ビットレートで符号化した場合、グラデーション領域に符号化前の動画像では検知されなかった擬似輪郭が検知される場合がある。ここで、グラデーション領域とは、例えば青空の背景等である。このような場合、グラデーション領域の量子化値を小さくして量子化し、グラデーション領域の情報量を増加させることで擬似輪郭の発生を抑制できる。
特開2008−46346号公報 特開2003−158741号公報 特開2011−234070号公報 特開2007−67469号公報
しかしながら、単純に量子化値を小さくして量子化すると、符号化画像の情報量の大幅な増加につながり、ビットレートを低くすることが困難となる。
開示の技術は、一つの側面として、符号化画像の情報量の増加を抑制しつつ擬似輪郭の発生を抑制することが目的である。
開示の技術は、算出部は、符号化対象ブロック及び前記符号化対象ブロックに隣接する複数の隣接ブロックのうち少なくとも一つの隣接ブロックの画素平均値及び画素ばらつき度を各々算出する。符号化対象ブロックは、動画像に含まれるフレーム画像のうち画面内予測符号化により符号化されるフレーム画像を分割した複数のブロックから予め定めた符号化順序により選択されたブロックである。擬似輪郭発生判定部は、符号化対象ブロック及び少なくとも一つの隣接ブロックの画素平均値及び画素ばらつき度に基づいて擬似輪郭発生条件を満たすか否かを判定する。擬似輪郭発生条件は、符号化対象ブロック及び少なくとも一つの隣接ブロックの画素ばらつき度が第1の閾値未満であり、符号化対象ブロック及び少なくとも一つの隣接ブロックの画素平均値の差分絶対値が0より大きく且つ第2の閾値未満となる条件である。量子化部は、擬似輪郭発生条件を満たす場合、符号化対象ブロックの画像と画面内予測符号化により符号化された符号化対象ブロックの予測画像との差分を示す予測誤差画像を、設定量子化パラメータよりも小さい量子化パラメータで量子化する。設定量子化パラメータは、目標ビットレートに応じて設定される。
開示の技術は、一つの側面として、符号化画像の情報量の増加を抑制しつつ擬似輪郭の発生を抑制することができる、という効果を有する。
第1実施形態に係る動画像撮影装置の構成図である。 動画像符号化装置として機能するコンピュータのブロック図である。 動画像符号化処理の流れを示すフローチャートである。 符号化対象ブロック及び隣接ブロックの画素平均値について説明するための図である。 擬似輪郭が発生する境界について説明するための図である。 第2実施形態に係る動画像撮影装置の構成図である。 画面間予測画像符号化における予測モードについて説明するための図である。 擬似輪郭が発生する画像の一例を示す図である。 グラデーション領域の画素値の一例を示す図である。 低ビットレートで符号化した画像に擬似輪郭が発生する場合について説明するための図である。 擬似輪郭が発生する仕組みについて説明するための図である。
以下、図面を参照して開示の技術の実施形態の一例を詳細に説明する。
(第1実施形態)
まず、擬似輪郭が発生する原因について説明する。AVC規格及びHEVC規格の画面内符号化方法は、上側及び左側に隣接する符号化済みのブロックを復号した画像を用いて符号化対象ブロックの予測画像を生成し、入力画像と予測画像との差分を符号化する。
ここで、図7を参照して、AVC規格の画面内符号化方法による、符号化対象ブロックの予測画像の生成方法を説明する。図7は、AVC規格により規定された9種類の予測モード及び各予測モードでのブロック内の各画素の予測値の生成方法を表している。
例えば、予測モード2 (DC)では、4×4画素の符号化対象ブロック内の画素a〜pの予測値は、全て符号化対象ブロックに隣接する画素A〜D、I〜Lの8画素の画素値の平均値とする。
また、予測モード0(Vertical)では、画素a、e、i、mの予測値は全て画素Aの画素値とする。同様に、画素b、f、j、nの予測値は全て画素Bの画素値とし、画素c、g、k、oの予測値は全て画素Cの画素値とし、画素d、h、l、pの予測値は全て画素Dの画素値とする。
例えば画素値がほぼ一様であるが、位置によって画素値が僅かに変化するグラデーション領域(例えば青空の背景)を含む動画像を低ビットレートで符号化した場合、グラデーション領域に符号化前の動画像では見えなかった擬似輪郭が検知される場合がある。
図8には、擬似輪郭の一例を示した。図8に示す動画像に含まれるフレーム画像100は、背景が青空102、前景が家104であるフレーム画像の例であり、背景の青空102に擬似輪郭106が発生している。擬似輪郭106は、等高線のように知覚される。擬似輪郭106の周辺では、画素値の変動は僅かであるものの、背景の画素値がほぼ一様であるため、画素値が僅かに変化する部分が人間の目に知覚されやすい。
次に、図9、10を参照し、擬似輪郭が発生する領域における符号化前後の画素値の変化について説明する。
図9には、符号化前の動画像に含まれるフレーム画像を複数のブロックに分割したうちの一部のブロック110の画素値の一例を示した。各ブロックは、一例として4×4画素である。また、各画素の数値は画素値を表している。図9に示す例では、各画素の画素値の差が僅かであるため、誤差拡散の原理により人間は擬似輪郭を知覚しない。
図10には、符号化後の符号化画像の一部のブロック112の画素値の一例を示した。図10に示すように、符号化によってブロック112内の画素値が一様になり、異なる画素値を持つブロックの境界において擬似輪郭114が知覚されてしまう。このように、符号化によって、ブロック内の画素値が一様化されることが擬似輪郭の原因である。
次に、図11を参照して、画面内予測符号化によってブロック内の画素値の一様化が発生する様子について説明する。
図11に示すように、一例として4×4画素の符号化対象ブロックのブロック画像118(符号化前の画像)の各画素の平均値は39であり、画素値の変動は最大で‘1’である。このような符号化対象ブロックを画面内予測符号化する場合、予測モードとしては通常は図7に示す予測モード2(DC)が選択される。符号化対象ブロックの予測画像120は、符号化済みの隣接ブロックの画素値から生成されるが、図11の例では、予測画像120の各画素の画素値は一例として39となっている。
予測誤差画像生成部122は、符号化対象ブロックのブロック画像118の各画素の画素値と、予測画像120の各画素の画素値との差分を、対応する画素毎に算出することにより予測誤差画像124を生成する。図11の例では、対応する画素毎の差分は最大でも‘1’である。
直交変換量子化部126は、予測誤差画像124に対して直交変換処理及び量子化処理を施すことにより、各画素の量子化係数128を算出する。低ビットレートで符号化する場合、量子化値(量子化パラメータ:Qp)は予測誤差よりも大きくなるのが一般的である。従って、量子化係数は全て0になる。
逆量子化逆直交変換部130は、量子化係数128に対して逆量子化処理及び逆直交変換処理を施すことにより、再構成誤差画像132を算出する。再構成誤差画像132の各画素の画素値は、量子化係数128と同様に全て‘0’となる。
復号画像生成部134は、再構成誤差画像132の各画素の画素値と予測画像120の各画素の画素値とを、対応する画素毎に加算することにより、ブロック復号画像136を生成する。画面内予測符号による予測画像の各画素の画素値が一様であり、また再構成誤差画像132の各画素の画素値が全て‘0’となるため、結果としてブロック復号画像136の各画素の画素値が一様となる。
ブロック復号画像136の各画素の画素値が一様にならないようにするには、量子化値等の量子化パラメータを十分小さくし、再構成誤差画像の各画素の画素値が全て‘0’にならないようにすることが必要である。
そこで、第1実施形態では、擬似輪郭が発生する可能性があるブロックについては量子化パラメータを小さくして量子化することにより、符号化画像の情報量の増加を抑制しつつ擬似輪郭の発生を抑制する場合について説明する。
図1には、第1実施形態に係る動画像撮影装置10が示されている。動画像撮影装置10は、撮影部12及び動画像符号化装置14を備えている。
撮影部12は、例えばCCD(Charge Coupled Device)又はCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子及びレンズ等を含む。撮影部12は、動画像の撮影時には、撮影した動画像の動画像データを動画像符号化装置14に出力する。すなわち、撮影部12は、予め定めた時間毎にフレーム画像の画像データを動画像符号化装置14に出力する。
動画像符号化装置14は、予測誤差画像生成部16、直交変換量子化部18、エントロピー符号化部20、逆量子化逆直交変換部22、復号画像生成部24、及びフレームメモリ26を含む。また、動画像符号化装置14は、予測画像生成部28、切替部30、算出部32、及び擬似輪郭発生判定部34を含む。なお、予測画像生成部28は、画面内予測画像生成部28A及び画面間予測画像生成部28Bを含む。
動画像の符号化処理は、1フレーム画像(1画面ともいう)を、ブロックサイズに応じた大きさの複数のブロックに分割して、ブロック毎に行われる。従って、動画像符号化装置14の各部は、ブロック単位で各処理を実行する。また、1フレーム画像内における符号化は、予め定めた符号化順序、例えばフレーム画像の左から右へ、上から下へ、という順番で行われるのが通常である。従って、第1実施形態では、前記符号化順序に従って複数のブロックから符号化対象ブロックが選択され、順次符号化される場合について説明する。なお、符号化の際には、複数のブロックサイズから、最適なブロックサイズが選択される。
予測誤差画像生成部16には、撮影部12が出力した動画像に含まれるフレーム画像が入力される。予測誤差画像生成部16は、入力されたフレーム画像のうち、前記符号化順序に従って選択された符号化対象ブロックの画像と、予測画像生成部28が出力した予測画像と、に基づいて、予測誤差画像を生成する。
予測誤差画像生成部16には、予測画像生成部28から予測画像がブロック単位で供給される。予測画像については後述する。予測誤差画像生成部16は、符号化対象ブロックの画像の各画素の画素値と、予測画像の各画素の画素値との差分を、対応する画素毎に算出することにより予測誤差画像を生成して直交変換量子化部18に出力する。このように、予測誤差画像生成部16において予測誤差画像が生成される。
直交変換量子化部18は、予測誤差画像生成部16が出力した予測誤差画像に直交変換処理を施し、予測誤差画像を水平及び垂直方向の周波数成分に分離する。また、直交変換量子化部18は、例えば離散コサイン変換(DCT変換)等の直交変換処理により得られた各周波数成分の情報を、目標ビットレートに対応して設定された設定量子化パラメータで量子化して量子化係数を生成する。目標ビットレートは、例えばユーザーにより設定された動画像の撮影モード(高画質モード、標準画質モード、低画質モード等)に応じて設定される。
また、量子化パラメータには、量子化値(Qp)及び量子化ステップサイズ(Qstep)がある。第1実施形態では、一例として、量子化ステップサイズは固定とし、目標ビットレートに対応した量子化値に量子化ステップサイズを乗算した設定量子化値で直交変換処理により得られた各周波数成分の情報を除算することにより量子化係数を生成する。このように量子化することにより予測誤差画像の符号量を低減する。なお、後述する擬似輪郭発生判定部34から、符号化対象ブロックの量子化値を小さくするように指示された場合には、設定量子化値よりも小さい量子化値で量子化を行う。なお、量子化値を小さくするのではなく、設定量子化値に対応した量子化ステップサイズを設定量子化ステップサイズとし、この設定量子化ステップサイズよりも小さい量子化ステップサイズで量子化するようにしてもよい。
直交変換量子化部18は、量子化係数をエントロピー符号化部20及び逆量子化逆直交変換部22に出力する。なお、直交変換量子化部18は、開示の技術における量子化部の一例である。
エントロピー符号化部20は、直交変換量子化部18が出力した量子化係数及び符号化パラメータをエントロピー符号化する。なお、符号化パラメータには、例えば、後述する画面間予測画像生成部28Bにより検出される動きベクトルの情報、画面内予測画像生成部28Aで予測画像を生成する際の予測モード及び直交変換量子化部18で量子化する際の量子化値等が含まれる。また、エントロピー符号化とは、シンボルの出現頻度に応じて、可変長の符号を割り当て符号化する処理をいう。エントロピー符号化により生成された符号化動画像(ビットストリーム)は、予め定められた出力先、例えばメモリーカード等に出力される。
逆量子化逆直交変換部22は、直交変換量子化部18から出力された量子化係数を逆量子化して逆量子化係数を生成する。また、逆量子化逆直交変換部22は、逆量子化された逆量子化係数に対して逆直交変換処理する。ここで、逆変換直交処理とは、直交変換量子化部18で行われる変換処理とは逆方向に変換する処理をいう。なお、直交変換量子化部18で設定量子化パラメータより小さい量子化パラメータで量子化した場合には、逆量子化逆直交変換部22では、設定量子化パラメータより小さい量子化パラメータで逆量子化する。
逆量子化逆直交変換部22によって復号処理が行われることにより、符号化前の予測誤差画像と同程度の画像である再構成誤差画像が得られる。ただし、前述したように、フレーム画像にグラデーション領域が含まれる場合は、予測誤差画像の情報が失われてしまう場合がある(図11参照)。逆量子化逆直交変換部22は、再構成誤差画像を復号画像生成部24に出力する。
復号画像生成部24には、予測画像生成部28で生成された予測画像がブロック単位で供給される。
復号画像生成部24は、逆量子化逆直交変換部22が出力した再構成誤差画像の各画素の画素値と、予測画像生成部28が出力した予測画像の各画素の画素値とを、対応する画素毎に加算し、符号化対象ブロックの画像を復号したブロック復号画像を生成する。復号画像生成部24は、生成したブロック復号画像をフレームメモリ26に出力する。
なお、符号化対象のフレーム画像に含まれるブロックの各々について上記各機能部での処理が行われることにより、符号化されたブロックの各々のブロック復号画像が生成され、フレーム画像全体を復号した画像が生成される。以下、フレーム画像全体を復号した画像を、単に復号画像と呼称する。
フレームメモリ26は、復号画像生成部24が出力したブロック復号画像の各々を順次記憶する。これにより、符号化されたフレーム画像全体の復号画像が記憶される。記憶された復号画像は、後述する画面間予測画像生成部28Bにより読み出され、他のフレーム画像を符号化するときの動きベクトル検出処理や動き補償処理等で参照される。従って、記憶された復号画像のうち、画面間予測画像生成部28Bで予測画像の生成の際に参照される復号画像は、「参照画像」とも呼ばれる。
予測画像生成部28は、画面内予測画像生成部28A及び画面間予測画像生成部28Bを有する。予測画像生成部28は、予測画像をブロック単位で生成して予測誤差画像生成部16及び復号画像生成部24に出力すると共に、予測画像の生成の際に使用した符号化パラメータをエントロピー符号化部20に出力する。符号化パラメータには、例えば、画面間予測符号化を行った際に検出した動きベクトルの情報、画面内予測符号化を行った際の予測モード等が含まれる。
画面内予測画像生成部28Aは、画面内予測符号化方法で符号化を行うときの予測画像をブロック単位で生成する。画面内予測符号化方法は、他のフレーム画像を用いず、符号化対象となるフレーム画像のみを用いて画像を符号化・復号する方法であって、イントラ予測符号化方法又はフレーム内予測符号化方法とも呼ばれる。なお、画面内予測符号化方法のみにより符号化されたフレーム画像はIピクチャと呼ばれる。具体的には、1枚のフレーム画像内において、符号化対象ブロックに隣接する符号化済みのブロックのブロック復号画像から、予測モードに応じて符号化対象ブロックの予測画像を生成する。そして、生成した予測画像と符号化対象ブロックの画像との差分を符号化する方法である。
予測モードは、例えば以下のように決定する。最適な予測モードを選択するために、例えば全ての予測モードについて予測画像を生成し、符号化コストを算出する。そして、全ての符号化コストを比較して、符号化コストが最も小さい予測モードを最適な予測モードとして選択する。
画面間予測画像生成部28Bは、画面間予測符号化方法で符号化を行うときの予測画像をブロック単位で生成する。画面間予測符号化方法は、異なる時刻の参照フレーム画像から符号化対象ブロックに最も類似するブロックを検出して動きベクトルを検出する。そして、動きベクトルで動き補償されたブロックの画像と符号化対象ブロックの画像との差分を予測画像として符号化する方法である。画面間予測符号化方法は、インター予測符号化方法又はフレーム間予測符号化方法とも呼ばれる。なお、画面間予測符号化方法により過去のフレーム画像のみを参照して符号化されたフレーム画像をPピクチャ、過去のフレーム画像と未来のフレーム画像の両方を参照して符号化されたフレーム画像をBピクチャと呼ぶ。
切替部30は、画面内予測画像生成部28Aで生成された予測画像及び画面間予測画像生成部28Bで生成された予測画像の一方を選択して予測誤差画像生成部16及び復号画像生成部24に出力する。具体的には、切替部30は、動画像符号化装置14に入力されたフレーム画像がIピクチャの生成対象である場合は、画面内予測画像生成部28Aで生成された予測画像を選択して予測誤差画像生成部16及び復号画像生成部24に出力する。一方、切替部30は、動画像符号化装置14に入力されたフレーム画像がPピクチャ又はBピクチャの生成対象である場合は、画面内予測画像生成部28Aで生成された予測画像又は画面間予測画像生成部28Bで生成された予測画像の何れかを選択して予測誤差画像生成部16及び復号画像生成部24に出力する。
算出部32は、詳細は後述するが、符号化対象ブロックの各画素の画素値に基づいて画素ばらつき度及び画素平均値を算出する。また、算出部32は、符号化対象ブロックに隣接する隣接ブロックの各画素の画素値に基づいて画素ばらつき度及び画素平均値を隣接ブロック毎に算出する。なお、算出部32は、開示の技術における算出部の一例である。
擬似輪郭発生判定部34は、詳細は後述するが、符号化対象ブロック及び符号化対象ブロックに隣接する隣接ブロックの画素ばらつき度及び画素平均値に基づいて、符号化対象ブロックと隣接ブロックとの境界に擬似輪郭が発生するか否かを判定する。擬似輪郭発生判定部34は、符号化対象ブロックと隣接ブロックとの境界に擬似輪郭が発生すると判定した場合は、直交変換量子化部18に対して、符号化対象ブロックを量子化する際の量子化値を、設定量子化値よりも小さくするように指示する。なお、擬似輪郭発生判定部34は、開示の技術における擬似輪郭発生判定部の一例である。
動画像符号化装置14は、例えば図2に示すコンピュータ50で実現することができる。コンピュータ50はCPU52、メモリ54、及び不揮発性の記憶部56を備え、これらはバス58を介して互いに接続されている。
また、記憶部56はHDD(Hard Disk Drive)又はフラッシュメモリ等によって実現できる。記録媒体としての記憶部56には、コンピュータ50を動画像符号化装置14として機能させるための動画像符号化プログラム60が記憶されている。CPU60は、動画像符号化プログラム60を記憶部56から読み出してメモリ54に展開し、動画像符号化プログラム60が有するプロセスを順次実行する。
動画像符号化プログラム60は、予測誤差画像生成プロセス62、直交変換量子化プロセス64、エントロピー符号化プロセス66、逆量子化逆直交変換プロセス68、及び復号画像生成プロセス70を有する。また、動画像符号化プログラム60は、画面内予測画像生成プロセス72A、画面間予測画像生成プロセス72B、切替プロセス74、算出プロセス76、及び擬似輪郭発生判定プロセス78を有する。
CPU52は、予測誤差画像生成プロセス62を実行することで、図1に示す予測誤差画像生成部16として動作する。また、CPU52は、直交変換量子化プロセス64を実行することで、図1に示す直交変換量子化部18として動作する。また、CPU52は、エントロピー符号化プロセス66を実行することで、図1に示すエントロピー符号化部20として動作する。また、CPU52は、逆量子化逆直交変換プロセス68を実行することで、図1に示す逆量子化逆直交変換部22として動作する。また、CPU52は、復号画像生成プロセス70を実行することで、図1に示す復号画像生成部24として動作する。また、CPU52は、画面内予測画像生成プロセス72Aを実行することで、図1に示す画面内予測画像生成部28Aとして動作する。また、CPU52は、画面間予測画像生成プロセス72Bを実行することで、図1に示す画面間予測画像生成部28Bとして動作する。また、CPU52は、切替プロセス74を実行することで、図1に示す切替部30として動作する。また、CPU52は、算出プロセス76を実行することで、図1に示す算出部32として動作する。また、CPU52は、擬似輪郭発生判定プロセス78を実行することで、図1に示す擬似輪郭発生判定部34として動作する。
これにより、動画像符号化プログラム60を実行したコンピュータ50が、動画像符号化装置14として機能することになる。なお、動画像符号化プログラム60は、開示の技術における動画像符号化プログラムの一例である。
なお、動画像符号化装置14は、例えば半導体集積回路、より詳しくはASIC(Application Specific Integrated Circuit)等で実現することも可能である。
次に第1実施形態の作用を説明する。ユーザーが動画像の撮影開始を指示すると、撮影部12による動画像の撮影が開始され、動画像に含まれるフレーム画像が順次動画像符号化装置14に出力される。動画像符号化装置14は、撮影部12から、動画像に含まれるフレーム画像が入力される毎に、図3に示す動画像符号化処理を実行する。なお、図3に示す動画像符号化処理は、動画像符号化装置14に入力されたフレーム画像がIピクチャの生成対象である場合、すなわち、画面内予測符号化処理が行われる場合の処理であり、画面間予測符号化処理が行われる場合については説明を省略する。
ステップS100では、予測誤差画像生成部16が、入力されたフレーム画像のうち、予め定めた符号化順序に従って選択された符号化対象ブロックの画像と予測画像とに基づいて予測誤差画像を生成する。すなわち、符号化対象ブロックの画像の各画素の画素値と予測画像の各画素の画素値との差分を、対応する画素毎に算出することにより予測誤差画像を生成する。予測誤差画像生成部16は、生成した予測誤差画像を直交変換量子化部18に出力する。
ステップS102では、算出部32が、符号化対象ブロックの画素値に基づいて画素平均値及び画素ばらつき度を算出すると共に、符号化対象ブロックに隣接する隣接ブロックの画素値に基づいて画素平均値及び画素ばらつき度を算出する。第1実施形態では、隣接ブロックの画素平均値及び画素ばらつき度を算出する際には、撮影部12から入力されたフレーム画像の隣接ブロックの画素値を用いる。なお、隣接ブロックは、符号化対象ブロックと線の境界を有するブロックであり、具体的には、符号化対象ブロックと1辺で接した上下左右に隣接する4個のブロックを言う。
なお、画素平均値Aは、例えば次式により算出する。
ここで、Nは、正方形のブロックの1辺の画素数、p[i]はブロック内のi番目(i=0,1,2,・・・,N−1)の画素値である。
画素ばらつき度は、ブロック内の各画素の画素値の分散Dとする。分散Dは、上記(1)式により算出した画素平均値Aを用いて次式で算出される。
このように、第1実施形態では、ブロック内の画素の画素値の分散を画素ばらつき度とすることにより、ブロックの画像の平坦度を検出することができる。すなわち画素ばらつき度が小さいほど、ブロック内の各画素の画素値のばらつきが小さいため、ブロックの画像の平坦度が高く、画素ばらつき度が大きいほど、ブロック内の各画素の画素値のばらつきが大きいため、ブロックの画像の平坦度が低いといえる。
なお、ブロック内の各画素の画素値の分散Dを画素ばらつき度とするのではなく、ブロック内の各画素の画素値の標準偏差を画素ばらつき度として用いても良い。
ステップS104では、擬似輪郭発生判定部34が、符号化対象ブロックの画素ばらつき度及び符号化対象ブロックに隣接する隣接ブロックの画素ばらつき度に基づいて、符号化処理対象ブロック及び隣接ブロックが全て平坦であるか否かを判定する。
擬似輪郭発生判定部34は、上記(3)式で算出した符号化対象ブロックの画素ばらつき度が予め定めた第1の閾値TH1(以下、単に閾値TH1という)未満の場合に符号化対象ブロックの画素値が一様であると判定する。すなわち符号化対象ブロックの画像が平坦であると判定する。また、擬似輪郭発生判定部34は、隣接ブロックについても同様に、隣接ブロックについて上記(3)式により算出した画素ばらつき度が閾値TH1未満の場合に、隣接ブロックの画素値が一様であると判定する。擬似輪郭発生判定部34は、隣接ブロックの全てについて画素値が一様であるか否かを判定する。なお、閾値TH1は、画素ばらつき度が閾値TH1未満であれば、そのブロックの画像が平坦であると判断できる値に設定され、例えば画像の階調数の1〜2%程度の値に設定される。例えば各画素の画素値が8ビットで表される場合(256階調)、閾値TH1は‘3’又は‘4’程度の値に設定される。
そして、符号化対象ブロックの画素ばらつき度及び隣接ブロックの画素ばらつき度が全て閾値TH1未満の場合、すなわち符号化対象ブロック及び隣接ブロックの全てが平坦の場合には、ステップS106へ移行する。一方、一つでも画素ばらつき度が閾値TH1以上のブロックが存在する場合、すなわち、一つでも平坦でないブロックが存在する場合には、ステップS112へ移行する。
ステップS106では、擬似輪郭発生判定部34が、符号化対象ブロックの画素平均値と隣接ブロックの画素平均値との差分絶対値を各隣接ブロックについて各々算出する。差分絶対値Sは、符号化対象ブロックの画素平均値をA1、隣接ブロックの画素平均値をA2とした場合、次式で算出される。
S=|A1−A2| ・・・(4)
ステップS108では、擬似輪郭発生判定部34が、ステップS106で算出した各差分絶対値のうち、‘0’よりも大きく、且つ、第2の閾値TH2(以下、単に閾値TH2という)未満となる差分絶対値が存在するか否かを判定する。すなわち、擬似輪郭が発生する可能性がある隣接ブロックが存在するか否かを判断する。なお、閾値TH2は、差分絶対値が閾値TH2未満であれば擬似輪郭が発生すると判断できる値に設定され、一例として画像の階調数の0.5%程度の値に設定される。例えば各画素の画素値が8ビットで表される場合(256階調)、閾値TH2は‘1’又は‘2’程度の値に設定される。
そして、‘0’よりも大きく、且つ、閾値TH2未満となる差分絶対値が存在する場合、すなわち擬似輪郭が発生する可能性がある隣接ブロックが存在する場合は、ステップS110へ移行する。一方、‘0’よりも大きく、且つ、閾値TH2未満となる差分絶対値が存在しない場合、すなわち擬似輪郭が発生する可能性がある隣接ブロックが存在しない場合にはステップS112へ移行する。
図4に示すように、例えば符号化対象ブロック80及び隣接ブロック82A〜82Dの全ての画素ばらつき度が閾値TH1未満と判定された場合に、符号化対象ブロック80の画素平均値が‘40’、上側の隣接ブロック82Aの画素平均値が‘39’だったとする。また、下側の隣接ブロック82Bの画素平均値が‘41’、左側の隣接ブロック82Cの画素平均値が‘40’、右側の隣接ブロック82Dの画素平均値が‘40’であったとする。
この場合、符号化対象ブロック80の画素平均値と上側の隣接ブロック82Aの画素平均値との差分絶対値、符号化対象ブロック80の画素平均値と下側の隣接ブロック82Bの画素平均値との差分絶対値が‘1’となる。このため、符号化対象ブロック80と上側の隣接ブロック82Aとの境界、符号化対象ブロック80と下側の隣接ブロック82Bとの境界に擬似輪郭が発生する可能性があると判定される。
一方、符号化対象ブロック80の画素平均値と左側の隣接ブロック82Cの画素平均値との差分絶対値、符号化対象ブロック80の画素平均値と右側の隣接ブロック82Dの画素平均値との差分絶対値は‘0’となる。このため、符号化対象ブロック80と左側の隣接ブロック82Cとの境界、符号化対象ブロック80と右側の隣接ブロック82Dとの境界に擬似輪郭が発生する可能性はないと判定される。
上記のように判定されることにより、例えば図5に示すように、擬似輪郭が発生する可能性がある境界84を特定することができる。図5の例では、ハッチングされたブロックは、差分絶対値が‘0’よりも大きく、且つ、閾値TH2未満となる隣接ブロックが存在するため、隣接するブロックとの境界において擬似輪郭が発生する可能性があると判定されたブロックである。
なお、全ての差分絶対値について‘0’よりも大きく、且つ、閾値TH2未満となるか否かを判定しなくてもよい。すなわち、差分絶対値が‘0’よりも大きく、且つ、閾値TH2未満となる隣接ブロックが存在することを最初に検出した場合、残りの隣接ブロックの差分絶対値についてはステップS108の判定をせずにステップS110へ移行してもよい。
ステップS110では、擬似輪郭発生判定部34が、設定量子化値よりも小さい量子化値で量子化するように、直交変換量子化部18に指示する。例えば、設定量子化値から予め定めた値を減算した量子化値で量子化するように直交変換量子化部18に指示する。減算する値は、設定量子化値から前記予め定めた値を減算すれば擬似輪郭の発生が抑制されると判断できる値に設定される。例えば、設定量子化値から‘6’を減算した値を新たな量子化値として直交変換量子化部18に指示する。例えば量子化値と量子化ステップサイズが比例する線形量子化の場合、設定量子化値から‘6’を減算すると量子化ステップサイズは1/2倍となる。従って、設定量子化値で量子化した場合と比較すると情報量は2倍となる。なお、減算する値は‘6’に限られるものではない。
ステップS112では、直交変換量子化部18が、予測誤差画像生成部16から出力された予測誤差画像の情報に直交変換処理を施す。また、直交変換量子化部18は、擬似輪郭発生判定部34から設定量子化値よりも小さい量子化値で量子化するように指示があった場合には、設定量子化値よりも小さい量子化値で直交変換処理後の情報を量子化して量子化係数を生成する。一方、前記指示がなかった場合には、設定量子化値で直交変換処理後の情報を量子化して量子化係数を生成する。
ステップS114では、エントロピー符号化部20が、直交変換量子化部18から供給された量子化後の量子化係数と、予測画像生成部28が出力した符号化パラメータとをエントロピー符号化する。
ステップS116では、逆量子化逆直交変換部22が、直交変換量子化部18から出力された量子化係数を逆量子化する。また、逆量子化逆直交変換部22は、逆量子化された逆量子化係数に対して逆直交変換処理し、再構成誤差画像を生成する。
ステップS118では、復号画像生成部24が、再構成誤差画像の各画素の画素値と予測画像の各画素の画素値とを、対応する画素毎に加算することにより、符号化対象ブロックの画像を復号したブロック復号画像を生成し、フレームメモリ26に出力する。
ステップS120では、画面内予測画像生成部28Aが、画面内予測符号化方法に従って予測画像を生成する。すなわち、符号化対象ブロックに隣接する符号化済みのブロックのブロック復号画像から、予測モードに応じて符号化対象ブロックの予測画像を生成する。例えば予測モードとして図7に示す予測モード2(DC)が選択された場合には、符号化対象ブロック内の画素a〜pの予測値は、全て符号化対象ブロックに隣接する画素A〜D、I〜Lの8画素の画素値の平均値となる。そして、画面内予測画像生成部28Aは、生成した予測画像を予測誤差画像生成部16及び復号画像生成部24に出力する。
ステップS122では、予測誤差画像生成部16が、フレーム画像の全ブロックについて上記の符号化処理を実行したか否か、すなわち全ブロックについてステップS100〜S120の処理を実行したか否かを判断する。そして、未処理のブロックが有る場合にはステップS100へ移行して上記と同様の処理を実行し、全ブロックについて符号化処理が終了した場合は本ルーチンを終了する。
以上のように第1実施形態では、符号化対象ブロック及び隣接ブロックの画素ばらつき度が閾値TH1未満で、符号化対象ブロック及び隣接ブロックの画素平均値の差分絶対値が0より大きく且つ閾値TH2未満である擬似輪郭発生条件を満たすかを判断する。そして、擬似輪郭発生条件を満たす場合は、量子化値を小さくして量子化する。
例えば、前述したグラデーション領域(青空の背景等)を含む動画像を符号化する場合、グラデーション領域全体の量子化値を小さくするのではなく、グラデーション領域のうち擬似輪郭が発生する可能性があるブロックに対してのみ量子化値を小さくする。このため、符号化画像の情報量の増加を抑制しつつ擬似輪郭の発生を抑制することができる。
(第2実施形態)
次に開示の技術の第2実施形態について説明する。なお、第1実施形態と同一の部分には同一の符号を付して説明を省略し、第1実施形態と異なる部分を中心に説明する。
図6には、第2実施形態に係る動画像符号化装置14Aを示した。動画像符号化装置14Aが図1に示した動画像符号化装置14と異なる点は、算出部32がフレームメモリ26と接続されている点であり、その他は同一であるので説明は省略する。
第1実施形態では、算出部32は、図3のステップS102において、隣接ブロックの各画素の画素値として、撮影部12が出力したフレーム画像の画素値を用いて画素ばらつき度及び画素平均値を算出した。
これに対し、第2実施形態の算出部32は、既に符号化済みでブロック復号画像がフレームメモリ26に記憶されている隣接ブロックについては、隣接ブロックの各画素の画素値として、ブロック復号画像の画素値を用いて画素ばらつき度及び画素平均値を算出する。
すなわち、符号化対象ブロックの上側及び左側の隣接ブロックについては、既に符号化済みでブロック復号画像がフレームメモリ26に記憶されているので、これらの隣接ブロックについては、フレームメモリ26に記憶されたブロック復号画像の画素値を用いる。
なお、符号化の順序が通常と異なる場合は、符号化対象ブロックの上側及び左側の隣接ブロックが符号化済みとは限らないので、この場合は、異なる順序で符号化した場合に既に符号化済みの隣接ブロックについては、ブロック復号画像の画素値を用いればよい。
このように、隣接ブロックの画素値としてブロック復号画像の画素値を用いて画素ばらつき度及び画素平均値を算出することにより、擬似輪郭が発生するか否かの判定精度を向上させることができる。
なお、図3のステップS102では、符号化対象ブロック及び隣接ブロックの画素平均値を算出する際に、ブロック内の全ての画素の画素値から画素平均値を算出しているが、これに限られない。例えば、ブロック内の一部の画素を除外して画素平均値を算出するようにしてもよい。
また、図3のステップS104では、全ての隣接ブロックの画素ばらつき度が全て閾値TH1未満の場合にステップS106へ移行しているが、一部の隣接ブロックの画素ばらつき度が閾値TH1未満でない場合でもステップS106へ移行するようにしてもよい。
また、動画像を符号化する際の各ブロックのブロックサイズは一つのフレーム画像内において通常は固定であるが、一つのブロックを複数の小ブロックに分割して符号化する場合がある。この場合、符号化対象ブロック及び隣接ブロック各々のブロックサイズが異なる場合がある。
例えば、符号化対象ブロックのブロックサイズが、左側の隣接ブロックのブロックサイズより大きい場合には、符号化対象ブロックの左側には、複数の隣接ブロックが隣接することになる。このような場合には、符号化対象ブロックの左側に隣接する全ての隣接ブロックについて図3の処理の対象とすることが好ましい。一方、符号化対象ブロックのブロックサイズが符号化対象ブロックの左側の隣接ブロックのブロックサイズより小さい場合には、当該隣接ブロックの全領域ではなく、符号化対象ブロックと隣接し且つ同一サイズの隣接領域を隣接ブロックと見なして処理してもよい。
また、上記では開示の技術に係る動画像符号化プログラムの一例である動画像符号化プログラム60が記憶部56に予め記憶(インストール)されている態様を説明したが、これに限定されるものではない。開示の技術に係る動画像符号化プログラムは、CD−ROMやDVD−ROM等の記録媒体に記録されている形態で提供することも可能である。
また、動画像符号化装置14は、例えばビデオカメラ、携帯電話、スマートフォン、映像送信装置、映像受信装置、テレビ電話システム、パーソナルコンピュータ等に搭載することが可能である。
以上の実施形態に関し、更に以下の付記を開示する。
(付記1)
動画像に含まれるフレーム画像のうち画面内予測符号化により符号化されるフレーム画像を分割した複数のブロックから予め定めた符号化順序により選択された符号化対象ブロック及び前記符号化対象ブロックに隣接する複数の隣接ブロックのうち少なくとも一つの隣接ブロックの画素平均値及び画素ばらつき度を各々算出する算出部と、
前記符号化対象ブロック及び前記少なくとも一つの隣接ブロックの画素ばらつき度が予め定めた第1の閾値未満であり、前記符号化対象ブロック及び前記少なくとも一つの隣接ブロックの画素平均値の差分絶対値が0より大きく且つ予め定めた第2の閾値未満となる擬似輪郭発生条件を満たすか否かを判定する擬似輪郭発生判定部と、
前記擬似輪郭発生条件を満たす場合に、前記符号化対象ブロックの画像と前記画面内予測符号化により符号化された前記符号化対象ブロックの予測画像との差分を示す予測誤差画像を、目標ビットレートに応じて設定された設定量子化パラメータよりも小さい量子化パラメータで量子化する量子化部と、
を備えた動画像符号化装置。
(付記2)
前記算出部は、前記少なくとも一つの隣接ブロックのうち、前記画面内予測符号化により符号化済みの隣接ブロックについては、前記符号化済みの隣接ブロックを復号したブロック復号画像の画素値を用いて前記画素ばらつき度及び前記画素平均値を算出する
付記1記載の動画像符号化装置。
(付記3)
前記算出部は、前記複数の隣接ブロックの全てについて画素ばらつき度を算出し、
前記擬似輪郭発生判定部は、前記符号化対象ブロック及び前記複数の隣接ブロック全ての画素ばらつき度が予め定めた第1の閾値未満であり、前記符号化対象ブロック及び前記複数の隣接ブロック全ての画素平均値の差分絶対値が0より大きく且つ予め定めた第2の閾値未満である擬似輪郭発生条件を満たすか否かを判定する
付記1又は付記2記載の動画像符号化装置。
(付記4)
前記符号化対象ブロックの画素平均値は、前記符号化対象ブロックの全画素の画素値の平均値であり、前記隣接ブロックの画素平均値は、前記隣接ブロックの全画素の画素値の平均値である
付記1〜付記3の何れかに記載の動画像符号化装置。
(付記5)
前記符号化対象ブロックの画素ばらつき度は、前記符号化対象ブロックの各画素の画素値の分散であり、前記隣接ブロックの画素ばらつき度は、前記隣接ブロックの各画素の画素値の分散である
付記1〜付記4の何れかに記載の動画像符号化装置。
(付記6)
動画像に含まれるフレーム画像のうち画面内予測符号化により符号化されるフレーム画像を分割した複数のブロックから予め定めた符号化順序により選択された符号化対象ブロック及び前記符号化対象ブロックに隣接する複数の隣接ブロックのうち少なくとも一つの隣接ブロックの画素平均値及び画素ばらつき度を各々算出し、
前記符号化対象ブロック及び前記少なくとも一つの隣接ブロックの画素ばらつき度が予め定めた第1の閾値未満であり、前記符号化対象ブロック及び前記少なくとも一つの隣接ブロックの画素平均値の差分絶対値が0より大きく且つ予め定めた第2の閾値未満となる擬似輪郭発生条件を満たすか否かを判定し、
前記擬似輪郭発生条件を満たす場合に、前記符号化対象ブロックの画像と前記画面内予測符号化により符号化された前記符号化対象ブロックの予測画像との差分を示す予測誤差画像を、目標ビットレートに応じて設定された設定量子化パラメータよりも小さい量子化パラメータで量子化する
ことを含む動画像符号化方法。
(付記7)
前記少なくとも一つの隣接ブロックのうち、前記画面内予測符号化により符号化済みの隣接ブロックについては、前記符号化済みの隣接ブロックを復号したブロック復号画像の画素値を用いて前記画素ばらつき度及び前記画素平均値を算出する
付記6記載の動画像符号化方法。
(付記8)
前記複数の隣接ブロックの全てについて画素ばらつき度を算出し、
前記符号化対象ブロック及び前記複数の隣接ブロック全ての画素ばらつき度が予め定めた第1の閾値未満であり、前記符号化対象ブロック及び前記複数の隣接ブロック全ての画素平均値の差分絶対値が0より大きく且つ予め定めた第2の閾値未満である擬似輪郭発生条件を満たすか否かを判定する
付記6又は付記7記載の動画像符号化方法。
(付記9)
前記符号化対象ブロックの画素平均値は、前記符号化対象ブロックの全画素の画素値の平均値であり、前記隣接ブロックの画素平均値は、前記隣接ブロックの全画素の画素値の平均値である
付記6〜付記8の何れかに記載の動画像符号化方法。
(付記10)
前記符号化対象ブロックの画素ばらつき度は、前記符号化対象ブロックの各画素の画素値の分散であり、前記隣接ブロックの画素ばらつき度は、前記隣接ブロックの各画素の画素値の分散である
付記6〜付記9の何れかに記載の動画像符号化方法。
(付記11)
コンピュータに、
動画像に含まれるフレーム画像のうち画面内予測符号化により符号化されるフレーム画像を分割した複数のブロックから予め定めた符号化順序により選択された符号化対象ブロック及び前記符号化対象ブロックに隣接する複数の隣接ブロックのうち少なくとも一つの隣接ブロックの画素平均値及び画素ばらつき度を各々算出し、
前記符号化対象ブロック及び前記少なくとも一つの隣接ブロックの画素ばらつき度が予め定めた第1の閾値未満であり、前記符号化対象ブロック及び前記少なくとも一つの隣接ブロックの画素平均値の差分絶対値が0より大きく且つ予め定めた第2の閾値未満となる擬似輪郭発生条件を満たすか否かを判定し、
前記擬似輪郭発生条件を満たす場合に、前記符号化対象ブロックの画像と前記画面内予測符号化により符号化された前記符号化対象ブロックの予測画像との差分を示す予測誤差画像を、目標ビットレートに応じて設定された設定量子化パラメータよりも小さい量子化パラメータで量子化する
ことを含む処理を実行させるための動画像符号化プログラム。
(付記12)
動画像を撮影する撮影部と、
前記動画像に含まれるフレーム画像のうち画面内予測符号化により符号化されるフレーム画像を分割した複数のブロックから予め定めた符号化順序により選択された符号化対象ブロック及び前記符号化対象ブロックに隣接する複数の隣接ブロックのうち少なくとも一つの隣接ブロックの画素平均値及び画素ばらつき度を各々算出する算出部と、前記符号化対象ブロック及び前記少なくとも一つの隣接ブロックの画素ばらつき度が予め定めた第1の閾値未満であり、前記符号化対象ブロック及び前記少なくとも一つの隣接ブロックの画素平均値の差分絶対値が0より大きく且つ予め定めた第2の閾値未満となる擬似輪郭発生条件を満たすか否かを判定する擬似輪郭発生判定部と、前記擬似輪郭発生条件を満たす場合に、前記符号化対象ブロックの画像と前記画面内予測符号化により符号化された前記符号化対象ブロックの予測画像との差分を示す予測誤差画像を、目標ビットレートに応じて設定された設定量子化パラメータよりも小さい量子化パラメータで量子化する量子化部と、を含む動画像符号化装置と、
を含む動画像撮影装置。
10 動画像撮影装置
12 撮影部
14、14A 動画像符号化装置
16 予測誤差画像生成部
18 直交変換量子化部
20 エントロピー符号化部
22 逆量子化逆直交変換部
24 復号画像生成部
26 フレームメモリ
28 予測画像生成部
28A 画面内予測画像生成部
28B 画面間予測画像生成部
30 切替部
32 算出部
34 擬似輪郭発生判定部
50 コンピュータ

Claims (8)

  1. 動画像に含まれるフレーム画像のうち画面内予測符号化により符号化されるフレーム画像を分割した複数のブロックから予め定めた符号化順序により選択された符号化対象ブロック及び前記符号化対象ブロックに隣接する複数の隣接ブロックのうち少なくとも一つの隣接ブロックの画素平均値及び画素ばらつき度を各々算出する算出部と、
    前記符号化対象ブロック及び前記少なくとも一つの隣接ブロックの画素ばらつき度が予め定めた第1の閾値未満であり、前記符号化対象ブロック及び前記少なくとも一つの隣接ブロックの画素平均値の差分絶対値が0より大きく且つ予め定めた第2の閾値未満となる擬似輪郭発生条件を満たすか否かを判定する擬似輪郭発生判定部と、
    前記擬似輪郭発生条件を満たす場合に、前記符号化対象ブロックの画像と前記画面内予測符号化により符号化された前記符号化対象ブロックの予測画像との差分を示す予測誤差画像を、目標ビットレートに応じて設定された設定量子化パラメータよりも小さい量子化パラメータで量子化する量子化部と、
    を含む動画像符号化装置。
  2. 前記算出部は、前記少なくとも一つの隣接ブロックのうち、前記画面内予測符号化により符号化済みの隣接ブロックについては、前記符号化済みの隣接ブロックを復号したブロック復号画像の画素値を用いて前記画素ばらつき度及び前記画素平均値を算出する
    請求項1記載の動画像符号化装置。
  3. 前記算出部は、前記複数の隣接ブロックの全てについて画素ばらつき度を算出し、
    前記擬似輪郭発生判定部は、前記符号化対象ブロック及び前記複数の隣接ブロック全ての画素ばらつき度が予め定めた第1の閾値未満であり、前記符号化対象ブロック及び前記複数の隣接ブロック全ての画素平均値の差分絶対値が0より大きく且つ予め定めた第2の閾値未満である擬似輪郭発生条件を満たすか否かを判定する
    請求項1又は請求項2記載の動画像符号化装置。
  4. 前記符号化対象ブロックの画素平均値は、前記符号化対象ブロックの全画素の画素値の平均値であり、前記隣接ブロックの画素平均値は、前記隣接ブロックの全画素の画素値の平均値である
    請求項1〜3の何れか1項に記載の動画像符号化装置。
  5. 前記符号化対象ブロックの画素ばらつき度は、前記符号化対象ブロックの各画素の画素値の分散であり、前記隣接ブロックの画素ばらつき度は、前記隣接ブロックの各画素の画素値の分散である
    請求項1〜4の何れか1項に記載の動画像符号化装置。
  6. 動画像に含まれるフレーム画像のうち画面内予測符号化により符号化されるフレーム画像を分割した複数のブロックから予め定めた符号化順序により選択された符号化対象ブロック及び前記符号化対象ブロックに隣接する複数の隣接ブロックのうち少なくとも一つの隣接ブロックの画素平均値及び画素ばらつき度を各々算出し、
    前記符号化対象ブロック及び前記少なくとも一つの隣接ブロックの画素ばらつき度が予め定めた第1の閾値未満であり、前記符号化対象ブロック及び前記少なくとも一つの隣接ブロックの画素平均値の差分絶対値が0より大きく且つ予め定めた第2の閾値未満となる擬似輪郭発生条件を満たすか否かを判定し、
    前記擬似輪郭発生条件を満たす場合に、前記符号化対象ブロックの画像と前記画面内予測符号化により符号化された前記符号化対象ブロックの予測画像との差分を示す予測誤差画像を、目標ビットレートに応じて設定された設定量子化パラメータよりも小さい量子化パラメータで量子化する
    ことを含む動画像符号化方法。
  7. コンピュータに、
    動画像に含まれるフレーム画像のうち画面内予測符号化により符号化されるフレーム画像を分割した複数のブロックから予め定めた符号化順序により選択された符号化対象ブロック及び前記符号化対象ブロックに隣接する複数の隣接ブロックのうち少なくとも一つの隣接ブロックの画素平均値及び画素ばらつき度を各々算出し、
    前記符号化対象ブロック及び前記少なくとも一つの隣接ブロックの画素ばらつき度が予め定めた第1の閾値未満であり、前記符号化対象ブロック及び前記少なくとも一つの隣接ブロックの画素平均値の差分絶対値が0より大きく且つ予め定めた第2の閾値未満となる擬似輪郭発生条件を満たすか否かを判定し、
    前記擬似輪郭発生条件を満たす場合に、前記符号化対象ブロックの画像と前記画面内予測符号化により符号化された前記符号化対象ブロックの予測画像との差分を示す予測誤差画像を、目標ビットレートに応じて設定された設定量子化パラメータよりも小さい量子化パラメータで量子化する
    ことを含む処理を実行させるための動画像符号化プログラム。
  8. 動画像を撮影する撮影部と、
    前記動画像に含まれるフレーム画像のうち画面内予測符号化により符号化されるフレーム画像を分割した複数のブロックから予め定めた符号化順序により選択された符号化対象ブロック及び前記符号化対象ブロックに隣接する複数の隣接ブロックのうち少なくとも一つの隣接ブロックの画素平均値及び画素ばらつき度を各々算出する算出部と、前記符号化対象ブロック及び前記少なくとも一つの隣接ブロックの画素ばらつき度が予め定めた第1の閾値未満であり、前記符号化対象ブロック及び前記少なくとも一つの隣接ブロックの画素平均値の差分絶対値が0より大きく且つ予め定めた第2の閾値未満となる擬似輪郭発生条件を満たすか否かを判定する擬似輪郭発生判定部と、前記擬似輪郭発生条件を満たす場合に、前記符号化対象ブロックの画像と前記画面内予測符号化により符号化された前記符号化対象ブロックの予測画像との差分を示す予測誤差画像を、目標ビットレートに応じて設定された設定量子化パラメータよりも小さい量子化パラメータで量子化する量子化部と、を含む動画像符号化装置と、
    を含む動画像撮影装置。
JP2013243206A 2013-11-25 2013-11-25 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、及び動画像撮影装置 Expired - Fee Related JP6149707B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013243206A JP6149707B2 (ja) 2013-11-25 2013-11-25 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、及び動画像撮影装置
US14/518,034 US20150146776A1 (en) 2013-11-25 2014-10-20 Video image encoding device, video image encoding method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013243206A JP6149707B2 (ja) 2013-11-25 2013-11-25 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、及び動画像撮影装置

Publications (2)

Publication Number Publication Date
JP2015103970A JP2015103970A (ja) 2015-06-04
JP6149707B2 true JP6149707B2 (ja) 2017-06-21

Family

ID=53182645

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013243206A Expired - Fee Related JP6149707B2 (ja) 2013-11-25 2013-11-25 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、及び動画像撮影装置

Country Status (2)

Country Link
US (1) US20150146776A1 (ja)
JP (1) JP6149707B2 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10356317B2 (en) * 2014-10-30 2019-07-16 Technion Research & Development Foundation Limited Wide-scale terrestrial light-field imaging of the sky
KR20200012957A (ko) * 2017-06-30 2020-02-05 후아웨이 테크놀러지 컴퍼니 리미티드 인터-프레임 예측 방법 및 디바이스
EP3692716A1 (en) * 2017-10-05 2020-08-12 InterDigital VC Holdings, Inc. Method and apparatus for adaptive illumination compensation in video encoding and decoding
US11558615B2 (en) * 2018-04-16 2023-01-17 Interdigital Vc Holdings, Inc. Quantization parameter prediction for video encoding and decoding
WO2019208190A1 (ja) * 2018-04-26 2019-10-31 ソニー株式会社 画像符号化装置、および画像符号化方法、並びにプログラム
DE102018110383A1 (de) * 2018-04-30 2019-10-31 Basler Ag Verfahren und Vorrichtung zum Kodieren von Bilddaten
CN110198444B (zh) * 2019-04-16 2021-07-09 浙江大华技术股份有限公司 视频帧编码方法、视频帧编码设备及具有存储功能的装置
CN110207781B (zh) * 2019-06-19 2021-02-02 华侨大学 一种散状物料动态计量方法和系统
CN116074530A (zh) * 2022-01-19 2023-05-05 杭州海康威视数字技术股份有限公司 一种图像解码方法、编码方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3721716B2 (ja) * 1997-06-02 2005-11-30 富士ゼロックス株式会社 画像情報符号化装置および方法
JPH11136674A (ja) * 1997-10-31 1999-05-21 Casio Comput Co Ltd 画像符号化方法及び記憶媒体
JP2005192190A (ja) * 2003-12-01 2005-07-14 Pioneer Plasma Display Corp 動画偽輪郭低減方法、動画偽輪郭低減回路、表示装置及びプログラム
KR101379185B1 (ko) * 2009-04-14 2014-03-31 에스케이 텔레콤주식회사 예측 모드 선택 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101379186B1 (ko) * 2009-08-21 2014-04-10 에스케이 텔레콤주식회사 인트라 예측 부호화/복호화 방법 및 장치

Also Published As

Publication number Publication date
JP2015103970A (ja) 2015-06-04
US20150146776A1 (en) 2015-05-28

Similar Documents

Publication Publication Date Title
JP6149707B2 (ja) 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、及び動画像撮影装置
US11438610B2 (en) Block-level super-resolution based video coding
JP5893002B2 (ja) ビデオ符号化におけるレート制御
US9723316B2 (en) Image encoding device, image decoding device, image encoding method, image decoding method, and image prediction device
KR101644898B1 (ko) 화상부호화장치 및 화상부호화방법
US20110002385A1 (en) Image coding apparatus, control method therefor and computer program
JP5133290B2 (ja) 動画像符号化装置および復号装置
US20150237375A1 (en) Moving image coding apparatus, moving image coding method, storage medium, and integrated circuit
JP2005159419A (ja) 画像処理装置及び方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
US8514935B2 (en) Image coding apparatus, image coding method, integrated circuit, and camera
JPWO2006101126A1 (ja) 符号化装置および符号化装置を備えた動画像記録システム
JP2008067353A (ja) 動きベクトル検出装置及び動きベクトル検出方法
JP7343817B2 (ja) 符号化装置、符号化方法、及び符号化プログラム
US9438925B2 (en) Video encoder with block merging and methods for use therewith
JP6457248B2 (ja) 画像復号装置、画像符号化装置および画像復号方法
KR20180021942A (ko) 보안 카메라용 영상 코덱에서 블록 분할 정보 전송 방법 및 장치
JP5178616B2 (ja) シーンチェンジ検出装置および映像記録装置
JP5943733B2 (ja) 画像符号化装置およびその制御方法ならびにプログラム
JP2009218965A (ja) 画像処理装置、それを搭載した撮像装置、および画像再生装置
JP4911625B2 (ja) 画像処理装置、およびそれを搭載した撮像装置
JP2018032909A (ja) 画像符号化装置及びその制御方法及び撮像装置及びプログラム
JP2008193501A (ja) 画像符号化装置及び画像符号化方法
JP6200220B2 (ja) 画像処理装置、符号化装置、復号装置、及びプログラム
JP2008099175A (ja) 動画符号化装置および動画符号化方法
JP2018191136A (ja) 符号化装置、符号化方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160804

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170417

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170425

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170508

R150 Certificate of patent or registration of utility model

Ref document number: 6149707

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees