JP6100904B2 - 動画像符号化装置およびその動作方法 - Google Patents

動画像符号化装置およびその動作方法 Download PDF

Info

Publication number
JP6100904B2
JP6100904B2 JP2015528022A JP2015528022A JP6100904B2 JP 6100904 B2 JP6100904 B2 JP 6100904B2 JP 2015528022 A JP2015528022 A JP 2015528022A JP 2015528022 A JP2015528022 A JP 2015528022A JP 6100904 B2 JP6100904 B2 JP 6100904B2
Authority
JP
Japan
Prior art keywords
unit
moving image
quantization
prediction
frequency conversion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015528022A
Other languages
English (en)
Other versions
JPWO2015011752A1 (ja
Inventor
亮司 橋本
亮司 橋本
憲一 岩田
憲一 岩田
一志 秋江
一志 秋江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Renesas Electronics Corp
Original Assignee
Renesas Electronics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Renesas Electronics Corp filed Critical Renesas Electronics Corp
Publication of JPWO2015011752A1 publication Critical patent/JPWO2015011752A1/ja
Application granted granted Critical
Publication of JP6100904B2 publication Critical patent/JP6100904B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/563—Motion estimation with padding, i.e. with filling of non-object values in an arbitrarily shaped picture block or region for estimation purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、動画像符号化装置およびその動作方法に関し、特にパディング処理に際して、動画像符号化装置から生成される符号化ビットストリームの符号量の増加を軽減するのに有効な技術に関する。
良く知られているように国際規格ＩＳＯ／ＩＥＣ １３８１８−２で標準化されたＭＰＥＧ−２の規格による動画像(Moving Picture)の一般的な圧縮方式は、ビデオストリームから冗長な情報を削除することによって、ビデオ記憶容量と必要な帯域幅とを削減すると言う原理に基づいている。尚、ＭＰＥＧは、Moving Picture Experts Groupの略である。
ＭＰＥＧ−２の規格は、ビットストリームのシンタックス(圧縮符号化データ列の規則または符号化データのビットストリームの構成方法)およびデコードプロセスのみを規定しているので、衛星放送・サービス、ケーブルテレビジョン、インターラクティブテレビジョン、インターネット等の種々の状況で十分利用可能なようにフレキシブルなものである。
ＭＰＥＧ−２のエンコードプロセスでは、最初にデジタルビデオの各画素のカラーと輝度との成分を規定するために、ビデオ信号はサンプルされ量子化される。カラーと輝度との成分を示す値は、マクロブロックとして知られている構造に蓄積される。マクロブロックに蓄積されたカラーと輝度との値は、離散コサイン変換(ＤＣＴ：Discrete Cosine Transform)を使用して周波数値に変換される。ＤＣＴによって得られる変換係数は、ピクチャーの輝度とカラーで異なった周波数を持つ。量子化されたＤＣＴ変換係数は、ビデオストリームを更に圧縮する可変長コーディング(ＶＬＣ：Variable Length Coding)によってエンコードされる。
ＭＰＥＧ−２のエンコードプロセスでは、動き圧縮技術による付加圧縮が規定されている。ＭＰＥＧ−２の規格では、Ｉフレーム、Ｐフレーム、Ｂフレームの３種類のピクチャーもしくはフレームが存在している。Ｉフレームは、ビデオストリームで他のいかなるピクチャーまたはフレームを参照することなく再生されるイントラ符号化されたものである。ＰフレームとＢフレームとは、他のピクチャーまたはフレームの参照によって再生されるインター符号化されたものである。例えば、ＰフレームとＢフレームとは、参照フレームに関して動き推定を示す動きベクトルを含む。動きベクトルの使用によって、ＭＰＥＧエンコーダは特定のビデオストリームに必要な帯域幅の低減が可能となる。尚、Ｉフレームは独立(intra-coded)フレームと呼ばれ、Ｐフレームは片方向予測(predictive-coded)フレームと呼ばれ、Ｂフレームは両方向予測(bi-directionally predictive-coded)フレームと呼ばれる。
従って、ＭＰＥＧ−２の動画像符号化装置(Encoder)は、フレームメモリと動きベクトル検出部と動き補償部と減算部とＤＣＴ変換部と量子化部と逆量子化部と逆ＤＣＴ変換部と可変長符号化部によって構成される。符号化される動画像信号は、Ｂフレームの符号化や動きベクトルを検出するためにフレームメモリに格納された後、フレームメモリから読み出され、動き補償部からの動き補償予測信号が減算部で減算され、ＤＣＴ変換部と量子化部とでそれぞれＤＣＴ変換処理と量子化処理とが実行される。量子化されたＤＣＴ変換係数は、可変長符号化部で可変長符号化処理されるとともに、逆量子化部と逆ＤＣＴ変換部で局部復号処理が実行された後にこの局部復号処理結果は動き補償部を介して減算部に供給される。
一方、ＭＰＥＧ−２の動画像復号装置(Decoder)は、バッファメモリと可変長復号部と逆量子化部と逆ＤＣＴ変換部と動き補償部と加算部とフレームメモリによって構成される。ＭＰＥＧ−２の符号化ビットストリームはバッファメモリに蓄積された後、可変長復号部と逆量子化部と逆ＤＣＴ変換部とで可変長復号処理と逆量子化処理と逆ＤＣＴ変換処理とがそれぞれ実行される。これらの処理結果は、加算部で可変長復号処理された動きベクトルに基づき生成される参照画像と加算され、加算部の出力から再生画像信号が生成される。この再生画像信号はフレームメモリに格納され、他のフレームの予測に使用される。
ＭＰＥＧ−２の規格に続いて、テレビ電話等の低レートの符号化のための国際規格ＩＳＯ／ＩＥＣ １４４９６で標準化されたＭＰＥＧ−４の規格(Ｈ．２６３)よる動画像の一般的な圧縮方式も提案されている。ＭＰＥＧ−４(Ｈ．２６３)の規格による圧縮方式は、ＭＰＥＧ−２と同様にフレーム間予測と離散コサイン変換を用いた「ハイブリッド型」と呼ばれるものであり、更に半画素(ハーフペル)単位での動き補償が導入された。この圧縮方式は、ＭＰＥＧ−２と同様に、エントロピー符号化としてハフマン符号を使用するが、新しくランとレベルとラストとを同時に符号化する3次元可変長符号化(３次元ＶＬＣ)という技術を導入して、圧縮率を大きく向上させている。尚、ランとレベルとはランレングスの係数に関するものであって、ラストとは最後の係数であるかを示すものである。更に、ＭＰＥＧ−４(Ｈ．２６３)の規格には、Ｂａｓｅｌｉｎｅと呼ばれる基本部分と、Ａｎｎｅｘと呼ばれる拡張規格とがある。
ＭＰＥＧ−４(Ｈ．２６３)の規格による圧縮方式による効率改善が十分でなかったため、より高い符号化効率を達成するために、ＭＰＥＧ−４ ＡＶＣ(Ｈ．２６４)の規格が国際規格ＩＳＯ／ＩＥＣ １４４９６−１０によって標準化された。尚、ＡＶＣは、Advanced Video Codingの略であり、ＭＰＥＧ−４ ＡＶＣ(Ｈ．２６４)の規格は、Ｈ．２６４／ＡＶＣと呼ばれる。
規格Ｈ．２４６／ＡＶＣによるビデオコーディングは、ビデオコーディング層(Video Coding Layer)と、ネットワーク抽象層(Network Abstraction Layer)とから構成されている。すなわち、ビデオコーディング層は、ビデオコンテキストを有効に表現するように設計されたものであり、ネットワーク抽象層は、ビデオのＶＣＬ表現をフォーマットするとともに種々の転送層や記憶媒体による転送のために適切な方法でヘッダー情報を与えるものである。
ＭＰＥＧ−２、ＭＰＥＧ−４、ＭＰＥＧ−４ ＡＶＣ(Ｈ．２６４)等の国際標準動画像符号化方法では、時間方向の相関を使って高い符号化効率を実現するために、インター符号化すなわちフレーム間予測符号化が使用されている。フレームの符号化モードには、フレーム間の相関を使わずにイントラ符号化を使用するＩフレームと、過去に符号化した１フレームからインター予測するＰフレームと、過去に符号化した２フレームからインター予測することができるＢフレームがある。
このフレーム間予測符号化では、符号化対象である動画像と動き補償された参照画像(予測画像)との減算が実行され、この減算による予測残差が符号化される。符号化の処理は、ＤＣＴ(離散コサイン変換)等の直交変換と量子化と可変長符号化の処理を含んでいる。動き補償(動き補正)は、フレーム間予測の参照フレームを空間的に移動させる処理を含むものであり、動き補償の処理は、被符号化フレームのブロック単位で行われる。画像内容に動きが無い場合には、移動は無く被予測画素と同一位置の画素が使用される。動きが有る場合には、最も類似するブロックが探索されて、移動量が動きベクトルとされる。動き補償のブロックは、ＭＰＥＧ−２の符号化方法では１６画素×１６画素／１６画素×８画素のブロックであり、ＭＰＥＧ−４の符号化方法では１６画素×１６画素／１６画素×８画素／８画素×８画素のブロックである。動き補償のブロックは、ＭＰＥＧ−４ ＡＶＣ(Ｈ．２６４)の符号化方法では１６画素×１６画素／１６画素×８画素／８画素×１６画素／８画素×８画素／８画素×４画素／４画素×８画素／４画素×４画素のブロックである。
上述した符号化処理は映像画面(フレームまたはフィールド)毎に行われるものであり、画面を細分化したブロック(通常は１６画素×１６画素、ＭＰＥＧではマクロブロック(ＭＢ)と呼ばれる)が処理単位となるものである。すなわち、符号化されるべきブロック毎に、既に符号化された参照画像から最も類似したブロック(予測画像)が選択されて、符号化画像(ブロック)と予測画像の差分信号が符号化(直交変換、量子化等)される。画面内での符号化されるブロックと予測信号の相対位置の差が、動きベクトルと呼ばれるものである。
また、下記非特許文献１には、Ｈ．２４６／ＡＶＣによるビデオコーディング層(ＶＣＬ)は、ブロックベースドハイブリッドビデオコーディングと呼ばれるアプローチに従っていると記載されている。ＶＣＬ設計は、マクロブロック、スライスから構成されており、各ピクチャーは固定サイズの複数のマクロブロックに分割され、各マクロブロックは、輝度成分で１６×１６サンプルの四角形ピクチャー領域と、それに対応する２つの色差成分のそれぞれに四角形サンプル領域を含んでいる。１つのピクチャーは、１つまたはそれ以上のスライスを含むことができる。各スライスはアクティブなシーケンスパラメータセットとピクチャーパラメータセットとを与えると言う意味で自己包含的であり、スライス表現は基本的には他のスライスからの情報を使用することなくデコードされることができるので、シンタックスエレメントはビットストリームとピクチャーの領域のサンプルの値とから解析できる。しかしながら、より完全なデコーディングのために、スライス境界にわたってデブロッキングフィルタを適応するには、他のスライスからのいくつかの情報が必要となる。
一方で、動画像符号を扱うシステムは、デジタルＨＤＴＶ(High Definition Television)放送受信機やＨＤＴＶ信号を撮影可能なデジタルビデオカメラなどで、画像サイズは大画面化してきている。これらの信号を処理する画像符号化装置や画像復号装置には、ますます高い処理性能が求められている。
このような背景から、規格Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣの後続規格である新規格Ｈ．２６５(ＩＳＯ／ＩＥＣ ２３００８−２)が提案され、この新規格はＨＥＶＣ(High Efficiency Video Coding)と呼ばれている。ＨＥＶＣ規格は、ブロックサイズの適正化等により圧縮効率が優れたものであり、ＭＰＥＧ−２の規格に比較して約４倍、規格Ｈ．２６４／ＡＶＣに比較して約２倍圧縮性能を有するとしている。
一方、下記特許文献１には、ＭＰＥＧ−１／２／４とＨ．２６１／Ｈ．２６３／Ｈ．２６４−ＡＶＣ等の広く採用される種々の符号化圧縮規格では、１６×１６画素からなる１つのマクロブロックが動き補償と後続処理の処理単位として使用されているのに対し、ＨＥＶＣ規格では、よりフレキシブルなブロック構造が処理単位として採用されると記載されている。このフレキシブルなブロック構造の単位は、コーディングユニット(ＣＵ)と呼ばれ、コーディングユニットは最大コーディングユニット(ＬＣＵ)から出発して良好な性能を達成するために、クアッド・トリー(quadtree)を使用した小さなブロックに適応的に分割される。最大コーディングユニット(ＬＣＵ)のサイズは、マクロブロックのサイズ(１６×１６画素)よりもずっと大きな６４×６４画素である。尚、下記特許文献１に説明された最大コーディングユニット(ＬＣＵ)は、ＨＥＶＣ規格で説明されたコーディングトリーブロック(ＣＴＢ)またはコーディングトリーブロック(ＣＴＵ)に相当するものである。下記特許文献１の図１とそれに関係する開示には、クアッド・トリーに基づくコーディングユニット分割の例が示され、その深さ“ゼロ”では最初のコーディングユニット(ＣＵ)は６４×６４画素からなる最大コーディングユニット(ＬＣＵ)である。スプリットフラグ“０”は、その時点のコーディングユニット(ＣＵ)が分割されないことを示す一方、スプリットフラグ“１”は、その時点のコーディングユニット(ＣＵ)がクアッド・トリーによって４つの小さなコーディングユニットに分割されることを示す。分割後のコーディングユニット(ＣＵ)は、予め特定された最小コーディングユニット(ＣＵ)のサイズに到達するまで、更にクアッド・トリー分割されることも、下記特許文献１に記載されている。
下記非特許文献２には、ＨＥＶＣの規格の概観が記載されている。以前の規格のコーディングレイヤーのコアが、輝度サンプルの１６×１６ブロックと８×８ブロックの２つの色度サンプルを含むマクロブロックであったのに対して、ＨＥＶＣの規格の類似構成は、伝統的なマクロブロックよりも大きくエンコーダによってサイズが選択されるコーディングトリーユニット(ＣＴＵ)である。コーディングトリーユニット(ＣＴＵ)は、輝度コーディングトリーブロック(ＣＴＢ)と色度コーディングトリーブロック(ＣＴＢ)とシンタックス要素とによって構成される。コーディングトリーユニット(ＣＴＵ)のクアッド・トリー・シンタックスは、その輝度と色度のコーディングトリーブロック(ＣＴＢ)の大きさと位置とを指定する。ピクチャー領域を符号化するために、インター・ピクチャーまたはイントラ・ピクチャーが使用されるか否かの決定は、コーディングユニット(ＣＵ)のレベルでなされる。プレディクションユニット(ＰＵ)の分割構造は、コーディングユニット(ＣＵ)のレベルにその根源を持っている。基本的なプレディクションタイプの決定に依存して、輝度と色度のコーディングブロック(ＣＢ)はサイズの分割が可能で、輝度と色度のプレディクションブロック(ＰＢ)からの予測が可能である。ＨＥＶＣ規格は、６４×６４サンプルから４×４サンプルまでの可変のプレディクションブロック(ＰＢ)のサイズをサポートする。予測残差はブロック変換によって符号化されて、トランスフォームユニット(ＴＵ)のトリー構造は、コーディングユニット(ＣＵ)のレベルにその根源を持つものである。輝度のコーディングブロック(ＣＢ)の残差は、輝度のトランスフォームブロック(ＴＢ)と同一とすることが可能であり、更に小さな輝度のトランスフォームブロック(ＴＢ)への分割が可能である。これは、色度のトランスフォームブロック(ＴＢ)でも同様である。離散コサイン変換(ＤＣＴ)の関数と類似した整数ベースの関数が、４×４、８×８、１６×１６、３２×３２サンプルの四角型のトランスフォームブロック(ＴＢ)のサイズのために定義されている。
更に下記非特許文献２には、ＨＥＶＣの規格に準拠するビットストリームを生成可能なハイブリットビデオエンコーダの構成が記載され、そのインター・ピクチャー予測ループ中に、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣの規格で使用されるものと類似したデブロッキングフィルタが含まれることも記載されている。
下記特許文献２には、任意形状の画像を効率良く符号化するために、ブロック内の画像データの無い空白領域を埋めるパディング手段に、外部より入力される画像信号の形状情報を供給することが記載されている。入力画像信号の横及び縦のサイズが圧縮符号化のためのブロックサイズの整数倍である必要があるので、パディング手段は任意形状の画像を符号化するために、空白領域を画像領域の平均値で埋める動作、または画像領域の端の画素をコピーするなどして埋める動作を実行するものである。
下記特許文献３には、画像信号を符号化する際に、画面の端の部分で画素値が不連続に変化する信号を符号化すると、信号の不連続性により高周波成分が生じ、多くの符号量を発生すると言う問題を解決する符号化装置が記載されている。重み係数判定器は、同期信号を基に画像信号の画面内の位置を計算し、画面の端に近づくほど０に近づく重み係数ｗを出力する。第１乗算器は入力画像信号に重み係数ｗを乗算して、第２乗算器は一定値出力器の出力に係数１−ｗを乗算して、加算器は２つの乗算器の出力信号を加算した後、加算器の出力は符号化器によって符号化される。画面の端では画像信号を滑らかに一定値にしているので、余計な符号量が必要とならないと記載されている。
下記特許文献４には、送信画像に含まれる画像の重要位置を示す情報を操作者が操作部に設定すると、画像符号化部は画像の重要位置内の画像データを、それ以外の位置の画像データよりも画質を向上して符号化するテレビ電話装置が記載されている。
下記特許文献５には、ＭＰＥＧ−４規格で採用された画面外動きベクトル(ＵＭＶ：Unrestricted Motion Vector)を実現するために(画面境界外部を参照画像として使用するために)、画面内の画素値を、画面外に外挿するパディング処理が記載されている。更に、パディング処理の外挿開始位置が有効画像領域の端か符号化マクロブロックの端なのかがＭＰＥＧ−４規格で不統一であるので、このパディング処理の外挿開始位置がエンコータとデコータとで不統一である場合にデコータで発生するノイズを防止する方法が記載されている。
米国公開特許 ＵＳ２０１２／０１０６６５２Ａ１ 明細書 特開平１０−２３４０４号 公報 特開平５−９１３３３号 公報 特開平７−２０３４３４号 公報 特開２００９−１０００４１ 公報
ＧＡＲＹ Ｊ． ＳＵＬＬＩＶＡＮ ｅｔ ａｌ，"Ｖｉｄｅｏ Ｃｏｍｐｒｅｓｓｉｏｎ−Ｆｒｏｍ Ｃｏｎｃｅｐｔ ｔｏ ｔｈｅ Ｈ．２６４／ＡＶＣ Ｓｔａｎｄａｒｄ" ， ＰＲＯＣＥＥＤＩＮＧ ＯＦ ＴＨＥ ＩＥＥＥ， ＶＯＬ．９３、 Ｎｏ．１， ＪＡＮＵＡＲＹ ２００５、ＰＰ．１８−３１． Ｇａｒｙ Ｊ． Ｓｕｌｌｉｖａｎ ｅｔ ａｌ， "Ｏｖｅｒｖｉｅｗ ｏｆ ｔｈｅ Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （ＨＥＶＣ） Ｓｔａｎｄａｒｄ"， ＩＥＥＥ ＴＲＡＮＳＡＣＴＩＯＮＳ ＯＮ ＣＩＲＣＵＩＴＳ ＡＮＤ ＳＹＳＴＥＭＳ ＦＯＲ ＶＩＤＥＯ ＴＥＣＨＮＮＯＬＯＧＹ， ＶＯＬ．２２，ＮＯ．１２， ＤＥＣＥＭＢＥＲ ２０１２， ＰＰ．１６４９−１６６８．
本発明者等は、本発明に先立ち現行規格Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣの後続規格としてのＨＥＶＣ規格に準拠し、動画像入力信号の符号化によって符号化ビットストリームを生成することが可能な動画像符号化装置(Video Encoder)の開発に従事した。この動画像符号化装置は、ＨＥＶＣ規格だけではなく、現行規格Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣに準拠して動画像入力信号を符号化することも要求されたものである。
このＨＥＶＣ規格は、ブロックサイズの適正化等により圧縮効率が優れたものであり、ＭＰＥＧ−２の規格と比較して約４倍、規格Ｈ．２６４／ＡＶＣと比較して約２倍の圧縮性能を有するとされている。デジタルＨＤＴＶ(High Definition Television)放送受信機や、ＨＤＴＶ信号を撮影可能なデジタルビデオカメラ等における画像サイズの大画面化に伴って、動画像符号化装置や動画像復号装置には更に高い処理性能が求められており、ＨＥＶＣ規格は、これらの要求を満足するものと期待されている。
一方、近年、高精細ＨＤ(High Definition)の画素サイズ(１９２０画素×１０８０画素)の約４倍の４０９６画素×２１６０画素または３８４０画素×２１６０画素の大きさの表示装置を有する４ＫＴＶが、注目されている。例えば、日本においては、２０１４年７月から４Ｋテレビ放送を開始するとの総務省の方針が発表されている。このように、４ＫＴＶの表示装置の表示画面に相当する１枚のフレーム(ピクチャー)の動画像信号の符号化または復号を実行する動画像符号化装置または動画像復号装置にも、高い処理性能が要求される。
図１０は、本発明に先立って本発明者等によって検討された現行規格Ｈ．２６４とＨＥＶＣ規格との選択された方式に準拠して動画像入力信号の符号化によって符号化ビットストリームを生成することが可能な動画像符号化装置１の構成を示す図である。
図１０に示した動画像符号化装置１は、パディング処理部１００と減算器１０１と周波数変換部１０２と量子化部１０３と逆量子化部１０４と逆周波数変換部１０５と加算器１０６と可変長符号化部１１４とビデオバッファ１１５によって構成される。更に動画像符号化装置１は、フィルタユニット１０７とフレームメモリ１０８と動きベクトル検出部１０９と動き補償部１１０とバッファメモリ１１１とイントラ予測部１１２とセレクタ部１１３によって構成される。
動画像信号ＶＳは、パディング処理部１００の入力端子に供給され、パディング処理部１００は必要に応じてパディング処理を実行する。すなわち、上記特許文献２に記載されたように、動画像符号化装置１に供給される動画像信号ＶＳの横および縦のサイズが符号化ブロックサイズの整数倍でない場合には、パディング処理後の動画像信号の横および縦のサイズが符号化ブロックサイズの整数倍となるよう、パディング処理部１００はパディング処理を実行するものである。
図１１は、図１０に示した本発明に先立って本発明者等によって検討された動画像符号化装置１のパディング処理部１００におけるパディング処理を説明する図である。
図１１では、図１０に示した動画像符号化装置１がＨＥＶＣ規格に準拠して動画像信号ＶＳの符号化処理を実行する場合を示している。すなわち、この場合の符号化ブロックサイズは、ＨＥＶＣ規格により定義されたコーディングユニットＣＵである。従って、このコーディングユニットＣＵは、６４×６４画素からなる最大コーディングユニット(ＬＣＵ)である場合と、最大コーディングユニット(ＬＣＵ)の分割で生成されたものである場合とがある。
図１１に示すように動画像符号化装置１に供給される動画像信号ＶＳの横および縦のサイズが、符号化ブロックサイズであるコーディングユニットＣＵの整数倍となっていない。従って、パディング処理部１００は、パディング処理後の動画像信号の横および縦のサイズが符号化ブロックサイズの整数倍となるようにパディング処理を実行する。すなわち、図１１に示すように、動画像信号ＶＳの右横方向と縦下方向とに、パディング処理部１００のパディング処理によって、パディング処理データＰＤが追加されている。パディング処理データＰＤは、例えば、動画像信号ＶＳとパディング処理データＰＤとの境界近傍の動画像信号ＶＳの画素値自体もしくは画素値の平均値をコピーすることなどによって、形成することが可能である。その結果、パディング処理後の動画像信号の横および縦のサイズが符号化ブロックサイズの整数倍となるように、動画像信号ＶＳにパディング処理データＰＤが追加されるので、図１０に示す動画像符号化装置１による動画像符号化処理に際して、動画像信号の不連続性によって発生する高周波成分を低減することが可能となる。従って、高周波成分の低減によって、可変長符号化部１１４から生成される圧縮ビデオ符号化ビットストリームＣＶＢＳの符号量の低減が可能となる。
尚、図１１に示すパディング処理部１００のパディング処理後の動画像信号ＶＳは、動画像復号装置(Decoder)によって表示される必要がある。それに対して、図１１に示したパディング処理部１００のパディング処理後のパディング処理データＰＤは、動画像復号装置(Decoder)による表示の必要性が無いものである。
また図１０に示した動画像符号化装置１が現行規格Ｈ．２６４に準拠して動画像信号ＶＳの符号化処理を実行する場合は、符号化ブロックサイズは、マクロブロック(ＭＢ)となる。このマクロブロック(ＭＢ)は、輝度成分で１６画素×１６画素のサイズを有するものである。この場合に、パディング処理部１００は、パディング処理後の動画像信号の横および縦のサイズがマクロブロック(ＭＢ)サイズの整数倍となるようにパディング処理を実行するものである。
図１０に示すように、パディング処理部１００のパディング処理後の追加動画像信号ＶＳ＋ＰＤは、減算器１０１の一方の入力端子と、動きベクトル検出部１０９の一方の入力端子と、イントラ予測部１１２の一方の入力端子とに供給される。
図１０に図示されていないが、動画像の各ピクチャーのインター予測もしくはイントラ予測を示す予測モードが、図示しない符号化制御ユニットからセレクタ部１１３と可変長符号化部１１４に供給される。まずインター符号化される動画像信号ＶＳのコーディングユニット(ＣＵ)は、減算器１０１の一方の入力端子に供給される。その一方、動きベクトル検出部１０９は、パディング処理部１００からのパディング処理後の動画像信号ＶＳとフレームメモリ１０８に格納された参照画像とに応答して、動きベクトルＭＶを生成する。そして、動き補償部１１０は、生成された動きベクトルＭＶとフレームメモリ１０８に格納された参照画像とに応答して、動き補償予測信号を生成する。その結果、動き補償部１１０からの動き補償予測信号が、セレクタ部１１３を介して減算部１０１で動画像信号ＶＳから減算される。減算部１０１の減算出力信号である予測残差に関して、周波数変換部１０２と量子化部１０３とでそれぞれ周波数変換処理と量子化処理とが実行される。量子化部１０３で量子化された周波数変換係数と、動きベクトル検出部１０９から生成された動きベクトルＭＶは、可変長符号化部１１４で可変長符号化処理され、ビデオバッファ１１５を介して圧縮ビデオ符号化ビットストリームＣＶＢＳが生成される。その一方、量子化部１０３で量子化された周波数変換係数は、逆量子化部１０４と逆周波数変換部１０５と加算器１０６とフィルタユニット１０７とによって局部復号処理が実行され、局部復号処理結果が参照画像としてフレームメモリ１０８に格納される。このフィルタユニット１０７は、ＭＰＥＧ−４ ＡＶＣ(Ｈ．２６４)の規格に従って、ブロック歪みを低減するためのデブロッキングフィルタの機能を有するものである。また更にフィルタユニット１０７は、ＨＥＶＣ規格に準拠するため、デブロッキングフィルタ処理の後にサンプルアダプティブオフセット(ＳＡＯ)と呼ばれるフィルタ機能を有する。このフィルタ機能は、動画像符号化装置１の図示しない符号化制御ユニットの度数分布解析により決定される追加パラメータによって記述されるルックアップテーブルを使用することにより、原信号振幅を良好に再構築するものである。
動画像信号のイントラ符号化に関して、パディング処理部１００からのパディング処理後の動画像信号ＶＳは、イントラ予測部１１２の一方の入力端子に供給される。バッファメモリ１１１には、イントラ予測によって符号化され、局部復号処理によって生成された参照画像が格納されているので、バッファメモリ１１１から読み出された参照画像が、イントラ予測部１１２の他方の入力端子に供給されている。従って、イントラ予測部１１２は、一方の入力端子に供給される動画像信号ＶＳのコーディングユニット(ＣＵ)をイントラ符号化する際に、バッファメモリ１１１から他方の入力端子に供給される符号化済みの参照画像に含まれる複数の近隣のコーディングユニット(ＣＵ)から最適なコーディングユニットを選択して、更に選択された最適なコーディングユニットの空間情報を生成する。その結果、このイントラ予測部１１２は、イントラ予測された最適なコーディングユニット(ＣＵ)と対応する空間的予測モードとを含んだイントラ予測情報をセレクタ部１１３に供給するものである。
以上説明したように、本発明に先立って本発明者等によって検討された、図１０に示す動画像符号化装置１において、パディング処理部１００は、パディング処理後の追加動画像信号ＶＳ＋ＰＤの横および縦のサイズが符号化ブロックサイズの整数倍となるよう、パディング処理を実行するものである。従って、動画像符号化装置１に供給される動画像信号ＶＳの横および縦のサイズが、符号化ブロックサイズの整数倍となっていない場合でも、パディング処理データＰＤが追加されるので、動画像信号の不連続性によって発生する高周波成分を低減することが可能となる。従って、高周波成分の低減により、可変長符号化部１１４から生成される圧縮ビデオ符号化ビットストリームＣＶＢＳの符号量の低減が可能となる。
しかし、図１０に示す動画像符号化装置１は、パディング処理部１００のパディング処理によって、動画像信号の不連続性によって発生する高周波成分を低減して符号化ビットストリームＣＶＢＳの符号量の低減が可能となる。しかしながら、動画像信号ＶＳに追加されるパディング処理データＰＤの分、符号化ビットストリームＣＶＢＳの符号量が増加すると言う問題が、本発明に先立った本発明者等による検討によって明らかにされた。
すなわち、動画像信号ＶＳに追加されるパディング処理データＰＤは、上述したように、例えば動画像信号ＶＳとパディング処理データＰＤとの境界近傍の動画像信号ＶＳの画素値自体もしくは画素値の平均値をコピーすることによって形成される。その結果、パディング処理データＰＤの画素値は、非ゼロ値となる。従って、パディング処理データＰＤも符号化されるので、符号化ビットストリームＣＶＢＳには、動画像信号ＶＳとは異なるデータが含まれるので、符号化ビットストリームＣＶＢＳの符号量が増加することになる。
このような課題を解決するための手段等を以下に説明するが、その他の課題と新規な特徴は本明細書の記述及び添付図面から明らかになるであろう。
本願において開示される発明のうち代表的なものについて簡単に説明すれば下記のとおりである。
すなわち、代表的な実施の形態による動画像符号化装置(１)は、符号化すべき動画像信号(ＶＳ)に関係するシンタックスエレメントの動画像符号化処理を実行して符号化ビットストリーム(ＣＶＢＳ)を形成する。
前記動画像符号化処理に先行して、前記動画像信号(ＶＳ)にパディング処理データ(ＰＤ)が追加されるパディング処理(１００)を前記動画像符号化装置(１)が実行する。
前記パディング処理により前記パディング処理データ(ＰＤ)が追加された追加動画像信号の横および縦のサイズは、前記動画像符号化処理の符号化ブロックサイズの整数倍に設定される。
前記シンタックスエレメントの符号化ブロックが、前記動画像信号(ＶＳ)と前記パディング処理データ(ＰＤ)とのいずれに属するかが前記動画像符号化装置(１)により判定される。
前記シンタックスエレメントの前記符号化ブロックが前記動画像信号に属すると判定される第１の場合には、第１の符号量を有する前記符号化ビットストリームが形成されるように、前記動画像符号化処理が制御される。
前記シンタックスエレメントの前記符号化ブロックが前記パディング処理データに属すると判定される第２の場合には、前記第１の符号量よりも小さな第２の符号量を有する前記符号化ビットストリームが形成されるように、前記動画像符号化処理が制御されることを特徴とする(図１参照)。
本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば下記の通りである。
すなわち、本動画像符号化装置によれば、パディング処理に際して、動画像符号化装置から生成される符号化ビットストリームの符号量が増加するのを軽減することができる。
図１は、実施の形態１による動画像符号化装置１の構成を示す図である。 図２は、実施の形態１の動画像符号化装置１に含まれる量子化出力調整部１１６と量子化出力制御部１１７の動作を説明する図である。 図３は、実施の形態１の動画像符号化装置１に含まれる動きベクトル検出制御部１１８と動きベクトル検出部１０９の構成と動作とを説明する図である。 図４は、実施の形態１の動画像符号化装置１に含まれるイントラ予測制御部１１９とイントラ予測部１１２の構成と動作とを説明する図である。 図５は、実施の形態１の動画像符号化装置１に含まれる周波数変換制御部１２０の構成と動作とを説明する図である。 図６は、実施の形態１の動画像符号化装置１に含まれる量子化パラメータ制御部１２１の構成と動作とを説明する図である。 図７は、実施の形態１の動画像符号化装置１において、デブロッキングフィルタでの低消費電力の実現のためのフィルタユニット１０７とフィルタ制御部１２２との構成と動作とを説明する図である。 図８は、コーディングユニット(ＣＵ)が最大コーディングユニット(ＬＣＵ)から適応的に分割される様子を示す図である。 図９は、スライスレベルもしくはタイルレベルの並列処理を実行する実施の形態２による動画像符号化装置の構成を示す図である。 図１０は、本発明に先立って本発明者等によって検討された現行規格Ｈ．２６４とＨＥＶＣ規格との選択された方式に準拠して動画像入力信号の符号化によって符号化ビットストリームを生成することが可能な動画像符号化装置１の構成を示す図である。 図１１は、図１０に示した本発明に先立って本発明者等によって検討された動画像符号化装置１のパディング処理部１００におけるパディング処理を説明する図である。
１．実施の形態の概要
先ず、本願において開示される発明の代表的な実施の形態について概要を説明する。代表的な実施の形態についての概要説明で括弧を付して参照する図面中の参照符号は、それが付された構成要素の概念に含まれるものを例示するに過ぎない。
〔１〕代表的な実施の形態による動画像符号化装置(１)は、符号化すべき動画像信号(ＶＳ)に関係するシンタックスエレメントの動画像符号化処理を実行することによって、符号化ビットストリーム(ＣＶＢＳ)を形成するものである(図１参照)。
前記動画像符号化処理に先行して、前記動画像信号(ＶＳ)にパディング処理データ(ＰＤ)が追加されるパディング処理(１００)を前記動画像符号化装置(１)が実行する。
前記パディング処理により前記パディング処理データ(ＰＤ)が追加された追加動画像信号の横および縦のサイズは、前記動画像符号化処理の符号化ブロックサイズの整数倍に設定されるものである。
前記動画像信号に関係する前記シンタックスエレメントの符号化ブロックが、前記動画像信号(ＶＳ)と前記パディング処理データ(ＰＤ)とのいずれに属するかが前記動画像符号化装置(１)により判定される。
前記動画像符号化装置の判定によって、前記動画像信号に関係する前記シンタックスエレメントの前記符号化ブロックが前記動画像信号に属すると判定される第１の場合には、第１の符号量を有する前記符号化ビットストリームが形成されるように、前記第１の場合の判定によって前記動画像符号化処理が制御される。
前記動画像符号化装置の他の判定によって、前記動画像信号に関係する前記シンタックスエレメントの前記符号化ブロックが前記パディング処理データに属すると判定される第２の場合には、前記第１の符号量よりも小さな第２の符号量を有する前記符号化ビットストリームが形成されるように、前記第２の場合の判定によって前記動画像符号化処理が制御されることを特徴とする。
前記実施の形態によれば、パディング処理に際して、動画像符号化装置から生成される符号化ビットストリームの符号量が増加するのを軽減することができる。
〔２〕好適な実施の形態では、前記〔１〕で規定した前記動画像符号化装置(１)は、パディング処理部と動きベクトル検出部と動き補償部と減算器と周波数変換部と量子化部と逆量子化部と逆周波数変換部とメモリ(１０８、１１１)とイントラ予測部とセレクタ部と可変長符号化部とを具備する。
前記パディング処理部(１００)は、前記パディング処理を実行することによって前記追加動画像信号を生成して前記減算器(１０１)と前記動きベクトル検出部(１０９)と前記イントラ予測部(１１２)に供給する。
前記動きベクトル検出部(１０９)は、前記追加動画像信号と前記メモリ(１０８)に格納されたインター参照画像とから動きベクトル(ＭＶ)を生成する。
前記動き補償部(１１０)は、前記動きベクトル検出部(１０９)から生成される前記動きベクトル(ＭＶ)と前記メモリ(１０８)に格納された前記インター参照画像とに応答して動き補償予測信号を生成する。
前記イントラ予測部(１１２)は、前記追加動画像信号と前記メモリ(１１１)に格納されたイントラ参照画像とからイントラ予測信号を生成する。
前記セレクタ部(１１３)は、前記動き補償部(１１０)から生成される前記動き補償予測信号と前記イントラ予測部(１１２)から生成される前記イントラ予測信号とから選択された選択予測信号を出力する。
前記減算器(１０１)の一方の入力端子には前記追加動画像信号が供給され、前記減算器(１０１)の他方の入力端子には前記セレクタ部(１１３)から出力される前記選択予測信号が供給され、前記減算器(１０１)の出力端子から予測残差が生成される。
前記減算器(１０１)の前記出力端子から生成される前記予測残差に関し、前記周波数変換部(１０２)と前記量子化部(１０３)とでそれぞれ周波数変換処理と量子化処理とが実行される。
前記量子化部(１０３)で量子化処理された前記周波数変換部(１０２)の前記周波数変換処理の結果は、前記逆量子化部(１０４)と前記逆周波数変換部(１０５)とによって局部復号処理が実行され、前記局部復号処理の結果は前記インター参照画像および前記イントラ参照画像として前記メモリ(１０８、１１１)に格納される。
前記量子化部(１０３)で量子化処理された前記周波数変換部(１０２)の前記周波数変換処理の前記結果は前記可変長符号化部(１１４)により符号化処理され、前記可変長符号化部(１１４)から前記符号化ビットストリーム(ＣＶＢＳ)が生成される。
前記動画像信号に関係する前記シンタックスエレメントは、下記(Ａ)乃至下記(Ｄ)の情報の少なくとも、いずれか１つである(図１参照)。
(Ａ)．前記量子化部(１０３)で量子化処理された前記周波数変換部(１０２)の前記周波数変換処理の情報、
(Ｂ)．前記動きベクトルと前記動き補償予測信号とを使用して、インター予測によって符号化される符号化ブロックの情報、
(Ｃ)．前記イントラ参照画像を使用してイントラ予測によって符号化される符号化ブロックの情報と、
(Ｄ)．前記量子化部(１０３)で量子化処理される符号化ブロックの情報。
〔３〕他の好適な実施の形態では、前記〔２〕で規定した前記動画像符号化装置(１)は、前記量子化部(１０３)の出力端子と前記可変長符号化部(１１４)の入力端子および前記逆量子化部(１０４)の入力端子との間に接続された量子化出力調整部(１１６)と、前記量子化出力調整部(１１６)に接続された量子化出力制御部(１１７)とを更に具備する。
前記量子化出力制御部(１１７)は、前記動画像信号に関係する前記シンタックスエレメントである前記量子化部(１０３)で量子化処理された前記周波数変換部(１０２)の前記周波数変換処理の前記情報が、前記動画像信号(ＶＳ)と前記パディング処理データ(ＰＤ)とのいずれに属するかを判定する。
前記量子化出力調整部(１１６)には、前記量子化部(１０３)の量子化処理によって生成される量子化出力信号(２０１)と、前記量子化出力信号(２０１)より少ないデータ量を有する調整信号(２００)と、前記量子化出力制御部(１１７)から生成される判定結果とが供給される。
前記周波数変換処理の前記情報が前記動画像信号(ＶＳ)に属するとの前記量子化出力制御部(１１７)の判定結果に応答して、前記量子化出力調整部(１１６)は前記量子化部(１０３)から生成される前記量子化出力信号(２０１)を前記可変長符号化部(１１４)の前記入力端子と前記逆量子化部(１０４)の前記入力端子に供給する。
前記周波数変換処理の前記情報が前記パディング処理データ(ＰＤ)に属するとの前記量子化出力制御部(１１７)の判定結果に応答して、前記量子化出力調整部(１１６)は前記調整信号(２００)を前記可変長符号化部(１１４)の前記入力端子と前記逆量子化部(１０４)の前記入力端子に供給することを特徴とする(図１、図２参照)。
〔４〕更に他の好適な実施の形態では、前記〔２〕で規定した前記動画像符号化装置(１)は、前記動きベクトル検出部(１０９)に接続された動きベクトル検出制御部(１１８)を更に具備する。
前記動きベクトル検出部(１０９)は、動きベクトル探索部(１０９１)と予測ベクトル生成部(１０９２)と動きベクトルセレクタ部(１０９３)とを含む。
前記動きベクトル探索部(１０９１)は、前記追加動画像信号中に含まれてインター予測によって符号化される前記符号化ブロックに関して動きベクトル探索動作を実行して探索動きベクトル(ＭＶ)を生成する。
前記予測ベクトル生成部(１０９２)は、前記追加動画像信号中に含まれてインター予測によって符号化される前記符号化ブロックに関して規格Ｈ．２６４または規格Ｈ．２６５で規定された動きベクトル予測方法を実行して予測ベクトル(ＰＭＶ)を生成する。
前記動きベクトル検出制御部(１１８)は、前記追加動画像信号中に含まれて前記動画像信号に関係する前記シンタックスエレメントであるインター予測によって符号化される前記符号化ブロックが、前記動画像信号(ＶＳ)と前記パディング処理データ(ＰＤ)とのいずれに属するかを判定する。
前記動きベクトルセレクタ部(１０９３)には、前記動きベクトル探索部(１０９１)によって生成される前記探索動きベクトル(ＭＶ)と、前記予測ベクトル生成部(１０９２)によって生成される前記予測ベクトル(ＰＭＶ)と、前記動きベクトル検出制御部(１１８)から生成される判定結果とが供給される。
前記インター予測によって符号化される前記符号化ブロックが前記動画像信号(ＶＳ)に属するとの前記動きベクトル検出制御部(１１８)の判定結果に応答して、前記動きベクトルセレクタ部(１０９３)は前記動きベクトル探索部(１０９１)によって生成される前記探索動きベクトル(ＭＶ)を、前記動きベクトル(ＭＶ)として、前記動き補償部(１１０)に供給する。
前記インター予測によって符号化される前記符号化ブロックが前記パディング処理データに属するとの前記動きベクトル検出制御部の判定結果に応答して、前記動きベクトルセレクタ部は前記予測ベクトル生成部によって生成される前記予測ベクトル(ＰＭＶ)を、前記動きベクトル(ＭＶ)として、前記動き補償部(１１０)に供給することを特徴とする(図１、図３参照)。
〔５〕より好適な実施の形態では、前記〔２〕で規定した前記動画像符号化装置(１)は、前記イントラ予測部(１１２)に接続されたイントラ予測制御部(１１９)を更に具備する。
前記イントラ予測部(１１２)は、イントラ予測方向決定部(１１２１)と近傍予測方向生成部(１１２２)と予測方向セレクタ部(１１２３)とイントラ予測処理部(１１２４)とを含む。
前記イントラ予測方向決定部(１１２１)は、前記追加動画像信号中に含まれてイントラ予測によって符号化される前記符号化ブロックに関してイントラ予測動作を実行して予測方向(ＰＤ)を生成する。
前記近傍予測方向生成部(１１２２)は、前記追加動画像信号中に含まれてイントラ予測によって符号化される前記符号化ブロックに関して規格Ｈ．２６４または規格Ｈ．２６５で規定された近傍方向予測方法を実行して近傍予測方向(ＮＰＤ)を生成する。
前記イントラ予測制御部(１１９)は、前記追加動画像信号中に含まれて前記動画像信号に関係する前記シンタックスエレメントであるイントラ予測によって符号化される前記符号化ブロックが、前記動画像信号(ＶＳ)と前記パディング処理データ(ＰＤ)とのいずれに属するかを判定する。
前記予測方向セレクタ部(１１２３)には、前記イントラ予測方向決定部(１１２１)によって生成される前記予測方向(ＰＤ)と、前記近傍予測方向生成部(１１２２)によって生成される前記近傍予測方向(ＮＰＤ)と、前記イントラ予測制御部(１１９)から生成される判定結果とが供給される。
前記イントラ予測によって符号化される前記符号化ブロックが前記動画像信号(ＶＳ)に属するとの前記イントラ予測制御部(１１９)の判定結果に応答して、前記予測方向セレクタ部(１１２３)は前記イントラ予測方向決定部(１１２１)によって生成される前記予測方向(ＰＤ)を、前記イントラ予測処理部(１１２４)に供給する。
前記イントラ予測処理部(１１２４)は、前記イントラ予測方向決定部(１１２１)によって生成される前記予測方向(ＰＤ)と前記メモリ(１１１)に格納されたイントラ参照画像から、前記セレクタ部(１１３)に供給される前記イントラ予測信号を生成する。
前記イントラ予測によって符号化される前記符号化ブロックが前記パディング処理データ(ＰＤ)に属するとの前記イントラ予測制御部(１１９)の判定結果に応答して、前記予測方向セレクタ部(１１２３)は前記近傍予測方向生成部(１１２２)によって生成される前記近傍予測方向(ＮＰＤ)を、前記イントラ予測処理部(１１２４)に供給する。
前記イントラ予測処理部(１１２４)は、前記予測方向セレクタ部(１１２３)は前記近傍予測方向生成部(１１２２)によって生成される前記近傍予測方向(ＮＰＤ)と前記メモリ(１１１)に格納されたイントラ参照画像から、前記セレクタ部(１１３)に供給される前記イントラ予測信号を生成することを特徴とする(図１、図４参照)。
〔６〕他のより好適な実施の形態では、前記〔３〕で規定した前記動画像符号化装置(１)は、前記周波数変換部(１０２)に接続された周波数変換制御部(１２０)を更に具備する。
前記周波数変換制御部(１２０)は、前記周波数変換部(１０２)で実行される前記周波数変換処理のための周波数変換サイズ(ＴＳ)を設定する。
前記周波数変換制御部(１２０)によって設定される前記周波数変換サイズに応答して、前記周波数変換部で実行される前記周波数変換処理によって処理される符号化ブロックが前記動画像信号と前記パディング処理データとを同時に含まないように、前記周波数変換部(１０２)での前記符号化ブロックのパーティション動作が決定されることを特徴とする(図１、図５参照)。
〔７〕更に他のより好適な実施の形態では、前記〔６〕で規定した前記動画像符号化装置(１)では、前記周波数変換制御部(１２０)は、周波数変換サイズ決定部(１２０１)と非クロスオーバー周波数変換サイズ決定部(１２０２)と領域判定部(１２０３)と周波数変換サイズセレクタ部(１２０４)とを含む。
前記周波数変換サイズ決定部(１２０１)は、規格Ｈ．２６４または規格Ｈ．２６５で規定された複数の種類の周波数変換サイズ(ＴＳ)の候補から１つの選択周波数変換サイズ(ＴＳ)を選択して前記周波数変換サイズセレクタ部(１２０４)の一方の入力端子に供給する。
前記領域判定部(１２０３)は、前記１つの選択周波数変換サイズ(ＴＳ)を有する符号化ブロックが前記動画像信号と前記パディング処理データとの境界をクロスオーバーするか否かを判定する。
前記非クロスオーバー周波数変換サイズ決定部(１２０２)は、前記周波数変換処理によって処理される符号化ブロックが前記動画像信号と前記パディング処理データとの前記境界をクロスオーバーしないような非クロスオーバー周波数変換サイズ(ＮＴＳ)を生成して前記周波数変換サイズセレクタ部(１２０４)の他方の入力端子に供給する。
前記１つの選択周波数変換サイズを有する前記符号化ブロックが前記境界をクロスオーバーしないとの前記領域判定部(１２０３)の判定結果に応答して、前記周波数変換サイズセレクタ部(１２０４)は前記１つの選択周波数変換サイズを前記周波数変換処理のための前記周波数変換サイズ(ＴＳ)として前記周波数変換部(１０２)に供給する。
前記１つの選択周波数変換サイズを有する前記符号化ブロックが前記境界をクロスオーバーするとの前記領域判定部の判定結果に応答して、前記周波数変換サイズセレクタ部は前記非クロスオーバー周波数変換サイズを前記周波数変換処理のための前記周波数変換サイズとして前記周波数変換部に供給することを特徴とする(図１、図５参照)。
〔８〕別のより好適な実施の形態では、前記〔２〕で規定した前記動画像符号化装置(１)は、前記量子化部(１０３)に接続された量子化パラメータ制御部(１２１)を更に具備する。
前記量子化パラメータ制御部(１２１)は、量子化パラメータ生成部(１２１１)と量子化パラメータレジスタ部(１２１２)と領域判定部(１２１３)と量子化パラメータセレクタ部(１２１４)とを含む。
前記量子化パラメータ生成部(１２１１)は、前記可変長符号化部(１１４)から生成される前記符号化ビットストリーム(ＣＶＢＳ)の符号量に対応する量子化パラメータ(ＱＰ)を生成して前記量子化パラメータセレクタ部(１２１４)の一方の入力端子と前記量子化パラメータレジスタ部(１２１２)の入力端子とに供給する。
前記量子化パラメータレジスタ部(１２１２)の出力端子に生成される前記量子化パラメータ(ＱＰ)は、前記量子化パラメータセレクタ部(１２１４)の他方の入力端子に供給される。
前記領域判定部(１２１３)は、前記動画像信号に関係する前記シンタックスエレメントである前記量子化部(１０３)で量子化処理される符号化ブロックが、前記動画像信号(ＶＳ)と前記パディング処理データ(ＰＤ)とのいずれに属するかを判定する。
前記量子化部(１０３)で量子化処理される前記符号化ブロックが前記動画像信号(ＶＳ)に属するとの前記領域判定部(１２１３)の判定結果に応答して、前記量子化パラメータセレクタ部(１２１４)は前記量子化パラメータ生成部(１２１１)から前記一方の入力端子に供給される前記量子化パラメータ(ＱＰ)を前記量子化部(１０３)に供給する。
前記量子化部で量子化処理される前記符号化ブロックが前記パディング処理データ(ＰＤ)に属するとの前記領域判定部の判定結果に応答して、前記量子化パラメータセレクタ部は前記量子化パラメータレジスタ部(１２１２)の前記出力端子から前記他方の入力端子に供給される前記量子化パラメータ(ＱＰ)を前記量子化部(１０３)に供給することを特徴とする(図１、図６参照)。
〔９〕更に別のより好適な実施の形態では、前記〔２〕乃至前記〔８〕のいずれかで規定した前記動画像符号化装置(１)は、前記メモリ(１０８)に接続されたフィルタユニット(１０７)と、フィルタ制御部(１２２)とを更に具備する。
前記フィルタユニット(１０７)は、前記逆量子化部(１０４)と前記逆周波数変換部(１０５)によって実行される前記局部復号処理の前記結果に関してデブロッキングフィルタ処理を実行して、前記デブロッキングフィルタ処理の結果を前記メモリ(１０８)に格納するものである。
前記フィルタ制御部(１２２)は、前記フィルタユニット(１０７)による前記デブロッキングフィルタ処理が実行される前記局部復号処理の前記結果が前記動画像信号(ＶＳ)と前記パディング処理データ(ＰＤ)とのいずれに属するかを判定する。
前記フィルタユニット(１０７)による前記デブロッキングフィルタ処理が実行される前記局部復号処理の前記結果が前記動画像信号(ＶＳ)に属するとの前記フィルタ制御部(１２２)の判定結果に応答して、前記フィルタユニット(１０７)による前記デブロッキングフィルタ処理が実行される。
前記フィルタユニット(１０７)による前記デブロッキングフィルタ処理が実行される前記局部復号処理の前記結果が前記パディング処理データ(ＰＤ)に属するとの前記フィルタ制御部(１２２)の判定結果に応答して、前記フィルタユニット(１０７)による前記デブロッキングフィルタ処理の実行が停止されることを特徴とする(図１、図７参照)。
〔１０〕具体的な実施の形態では、前記〔２〕乃至前記〔８〕のいずれかで規定した前記動画像符号化装置(１)で、前記動きベクトル検出部と前記動き補償部と前記減算器と前記周波数変換部と前記量子化部と前記逆量子化部と前記逆周波数変換部と前記イントラ予測部と前記セレクタ部と前記可変長符号化部とは、半導体集積回路の１個の半導体チップに集積化される(図１参照)。
〔１１〕他の具体的な実施の形態では、前記〔２〕乃至前記〔８〕のいずれかで規定した前記動画像符号化装置(１)では、前記動画像符号化処理の前記符号化ブロックサイズは、１６画素×１６画素のサイズを有するマクロブロックと６４画素×６４画素のサイズを有する最大コーディングユニットから形成可能なコーディングユニットとのいずれかである(図１参照)。
〔１２〕更に他の具体的な実施の形態では、前記〔２〕乃至前記〔８〕のいずれかで規定した前記動画像符号化装置(１)は、規格Ｈ．２６４と規格Ｈ．２６５とから任意に選択された方式に準拠して前記動画像信号(ＶＳ)の動画像符号化処理を実行して、前記符号化ビットストリーム(ＣＶＢＳ)を形成することを特徴とする(図１参照)。
〔１３〕他のより具体的な実施の形態では、前記〔２〕乃至前記〔８〕のいずれかで規定した前記動画像符号化装置は、画像分割部(３０１)と複数の動画像符号化処理部(１Ａ、１Ｂ、１Ｃ、１Ｄ)とを含む。
前記画像分割部(３０１)は、前記動画像信号(ＶＳ)を分割することによって複数の分割動画像信号を生成する。
前記画像分割部によって生成された前記複数の分割動画像信号は、前記複数の動画像符号化処理部(１Ａ、１Ｂ、１Ｃ、１Ｄ)によって並列処理されるものである。
前記複数の動画像符号化処理部(１Ａ、１Ｂ、１Ｃ、１Ｄ)の各動画像符号化処理部は、前記動きベクトル検出部と前記動き補償部と前記減算器と前記周波数変換部と前記量子化部と前記逆量子化部と前記逆周波数変換部と前記イントラ予測部と前記セレクタ部と前記可変長符号化部を含むことを特徴とする(図９参照)。
〔１４〕最も具体的な実施の形態では、前記〔１３〕で規定した前記動画像符号化装置では、前記画像分割部(３０１)と前記複数の動画像符号化処理部(１Ａ、１Ｂ、１Ｃ、１Ｄ)とは、半導体集積回路の１個の半導体チップに集積化されたことを特徴とする(図９参照)。
〔１５〕別の観点による実施の形態は、符号化すべき動画像信号(ＶＳ)に関係するシンタックスエレメントの動画像符号化処理を実行することによって、符号化ビットストリーム(ＣＶＢＳ)を形成する動画像符号化装置(１)の動作方法である(図１参照)。
前記動画像符号化処理に先行して、前記動画像信号(ＶＳ)にパディング処理データ(ＰＤ)が追加されるパディング処理(１００)を前記動画像符号化装置(１)が実行する。
前記パディング処理により前記パディング処理データ(ＰＤ)が追加された追加動画像信号の横および縦のサイズは、前記動画像符号化処理の符号化ブロックサイズの整数倍に設定されるものである。
前記動画像信号に関係する前記シンタックスエレメントの符号化ブロックが、前記動画像信号(ＶＳ)と前記パディング処理データ(ＰＤ)とのいずれに属するかが前記動画像符号化装置(１)により判定される。
前記動画像符号化装置の判定によって、前記動画像信号に関係する前記シンタックスエレメントの前記符号化ブロックが前記動画像信号に属すると判定される第１の場合には、第１の符号量を有する前記符号化ビットストリームが形成されるように、前記第１の場合の判定によって前記動画像符号化処理が制御される。
前記動画像符号化装置の他の判定によって、前記動画像信号に関係する前記シンタックスエレメントの前記符号化ブロックが前記パディング処理データに属すると判定される第２の場合には、前記第１の符号量よりも小さな第２の符号量を有する前記符号化ビットストリームが形成されるように、前記第２の場合の判定によって前記動画像符号化処理が制御されることを特徴とする。
前記実施の形態によれば、パディング処理に際して、動画像符号化装置から生成される符号化ビットストリームの符号量の増加を軽減することができる。
２．実施の形態の詳細
実施の形態について更に詳述する。なお、発明を実施するための形態を説明するための全図において、前記の図と同一の機能を有する要素には同一の符号を付して、その繰り返しの説明を省略する。
［実施の形態１］
《動画像符号化装置の構成》
図１は、実施の形態１による動画像符号化装置１の構成を示す図である。
実施の形態１による動画像符号化装置１も、図１０に示した動画像符号化装置１と同様に、現行規格Ｈ．２６４とＨＥＶＣ規格のうち選択されたいずれかの方式に準拠して動画像入力信号の符号化によって符号化ビットストリームを生成することが可能なものである。
実施の形態１の動画像符号化装置１は、パディング処理部１００と減算器１０１と周波数変換部１０２と量子化部１０３と逆量子化部１０４と逆周波数変換部１０５と加算器１０６と可変長符号化部１１４とビデオバッファ１１５によって構成される。更に動画像符号化装置１は、フィルタユニット１０７とフレームメモリ１０８と動きベクトル検出部１０９と動き補償部１１０とバッファメモリ１１１とイントラ予測部１１２とセレクタ部１１３によって構成される。
更に、実施の形態１の動画像符号化装置１は、上述した課題を解決するために、図１０に示した動画像符号化装置１に含まれていない量子化出力調整部１１６と量子化出力制御部１１７と動きベクトル検出制御部１１８とイントラ予測制御部１１９と周波数変換制御部１２０と量子化パラメータ制御部１２１とによって構成される。また更に、実施の形態１の動画像符号化装置１は、低消費電力の実現のためにフィルタユニット１０７のデブロッキングフィルタを制御するフィルタ制御部１２２を含むものである。
《動画像符号化装置の概略》
実施の形態１による動画像符号化装置１の概略は、下記の通りである。
すなわち、実施の形態１による動画像符号化装置１は、符号化すべき動画像信号ＶＳに関係するシンタックスエレメントの動画像符号化処理を実行することによって、符号化ビットストリームＣＶＢＳを形成するものである。
前記動画像符号化処理に先行して、前記動画像信号ＶＳにパディング処理データＰＤが追加されるパディング処理を前記動画像符号化装置１が実行する。
前記パディング処理により前記パディング処理データＰＤが追加された追加動画像信号の横および縦のサイズは、前記動画像符号化処理の符号化ブロックサイズの整数倍に設定されるものである。
前記動画像信号ＶＳに関係する前記シンタックスエレメントの符号化ブロックが、前記動画像信号ＶＳと前記パディング処理データＰＤとのいずれに属するかが前記動画像符号化装置１により判定される。
前記動画像符号化装置１の判定によって、前記動画像信号ＶＳに関係する前記シンタックスエレメントの前記符号化ブロックが前記動画像信号ＶＳに属すると判定される第１の場合には、第１の符号量を有する前記符号化ビットストリームＣＶＢＳが形成されるように前記第１の場合の判定によって前記動画像符号化処理が制御される。
前記動画像符号化装置１の他の判定によって、前記動画像信号ＶＳに関係する前記シンタックスエレメントの前記符号化ブロックが前記パディング処理データＰＤに属すると判定される第２の場合には、前記第１の符号量よりも小さな第２の符号量を有する前記符号化ビットストリームＣＶＢＳが形成されるように前記第２の場合の判定によって前記動画像符号化処理が制御される。
実施の形態１による動画像符号化装置１において、符号化すべき動画像信号ＶＳに関係するシンタックスエレメントの第１の例は、量子化部１０３で量子化処理された周波数変換部１０２の周波数変換処理の情報である。
更に符号化すべき動画像信号ＶＳに関係するシンタックスエレメントの第２の例は、動きベクトルと動き補償予測信号を使用してインター予測によって符号化される符号化ブロックの情報である。
更に符号化すべき動画像信号ＶＳに関係するシンタックスエレメントの第３の例は、イントラ参照画像を使用してイントラ予測によって符号化される符号化ブロックの情報である。
更に符号化すべき動画像信号ＶＳに関係するシンタックスエレメントの第４の例は、量子化部１０３で量子化処理される符号化ブロックの情報である。
上述した第１の例においては、量子化出力調整部１１６の入力端子には、量子化部１０３で量子化処理された周波数変換部１０２の周波数変換処理の情報が供給されている。
上述した第２の例においては、動きベクトル検出部１０９から形成される動きベクトルＭＶを使用して動き補償部１１０がインター符号化する符号化ブロックが動画像信号ＶＳとパディング処理データＰＤのいずれか一方のみを含むように、動きベクトル検出部１０９での符号化ブロックのパーティション動作が動きベクトル検出部１０９自身によって制御される。
上述した第３の例において、イントラ予測方向を使用してイントラ予測部１１２がイントラ符号化する符号化ブロックが動画像信号ＶＳとパディング処理データＰＤとのいずれか一方のみを含むように、イントラ予測部１１２での符号化ブロックのパーティション動作がイントラ予測部１１２自身によって制御される。
上述した第４の例において、量子化部１０３が周波数変換部１０２の周波数変換係数を量子化する際に、符号化ブロックである周波数変換係数が動画像信号ＶＳとパディング処理データＰＤとのいずれか一方のみを含むように、量子化部１０３での符号化ブロックのパーティション動作が量子化部１０３自身により制御される。
実施の形態１による動画像符号化装置１において、上述した第１の例から第４の例までのうちの少なくとも１つが選択され実行されることによって、パディング処理に際して、符号化ビットストリームＣＶＢＳの符号量が増加するのを軽減することが可能となる。
更に、実施の形態１による動画像符号化装置１において、上述した第１の例から第４の例までのうちの少なくとも複数が選択され実行されることによって、パディング処理に際して、符号化ビットストリームＣＶＢＳの符号量が増加するのを更に軽減することが可能となる。
更に、実施の形態１による動画像符号化装置１において、上述した第１の例から第４の例までの全てが選択され実行されることによって、パディング処理に際して、符号化ビットストリームＣＶＢＳの符号量が増加するのを大幅に軽減することが可能となる。
また、上述した第１の例から第４の例の少なくとも１つが選択され実行される際に、フィルタユニット１０７によってデブロッキングフィルタ処理される符号化ブロックである局部復号処理結果が動画像信号ＶＳとパディング処理データＰＤとのいずれか一方のみを含むように、フィルタユニット１０７での符号化ブロックのパーティション動作がフィルタユニット１０７自身により制御される。
《動画像符号化装置の詳細》
以下に、実施の形態１による動画像符号化装置１の詳細を説明する。
《量子化出力調整部および量子化出力制御部》
図２は、実施の形態１の動画像符号化装置１に含まれる量子化出力調整部１１６と量子化出力制御部１１７の動作を説明する図である。
図１で説明したように、パディング処理データＰＤが追加された動画像信号ＶＳのコーディングユニット(ＣＵ)が減算器１０１の一方の入力端子に供給され、動き補償部１１０からの動き補償予測信号またはイントラ予測部１２からのイントラ予測情報が、セレクタ部１１３を経由して減算器１０１の他方の入力端子に供給されることにより、減算器１０１の出力端子から予測残差が生成される。減算部１０１の減算出力信号である予測残差に関して、周波数変換部１０２と量子化部１０３とでそれぞれ周波数変換処理と量子化処理とが実行される。
従って、図２に示したように、量子化部１０３の出力端子からは、周波数変換部１０２の量子化された周波数変換係数２０１が生成される。周波数変換部１０２は、小数を含まない整数のみの変換係数を出力する整数ベースの離散コサイン変換(ＤＣＴ：Discrete Cosine Transform)または離散サイン変換(ＤＳＴ：Discrete Sine Transform)を実行する。従って、図２に示した周波数変換係数２０１は、３個の整数の非ゼロ係数(“５”、“−１”、“２”)と１３個のゼロ係数(“０”)とを含んでいる。この周波数変換係数２０１は、セレクタＳＥＬによって構成された量子化出力調整部１１６の一方の入力端子に供給される。
一方、小さな符号量を有する符号化ビットストリームＣＶＢＳが可変長符号化部１１４から生成されるように、セレクタＳＥＬによって構成された量子化出力調整部１１６の他方の入力端子には、１６個のゼロ係数(“０”)を含む調整周波数変換係数２００が供給される。
更に図２に示したように、セレクタＳＥＬによって構成された量子化出力調整部１１６の選択制御端子には、量子化出力制御部１１７の出力端子が接続されている。
減算器１０１の一方の入力端子に供給されるコーディングユニット(ＣＵ)の横および縦の画素サイズを示すサイズ情報Ｓｉｚｅ＿Ｉｎｆが、量子化出力制御部１１７の一方の入力端子に供給される一方、減算器１０１の一方の入力端子に供給されるコーディングユニット(ＣＵ)の位置情報Ｐｏｓｉｔｉｏｎ＿Ｉｎｆが、量子化出力制御部１１７の他方の入力端子に供給される。この位置情報Ｐｏｓｉｔｉｏｎ＿Ｉｎｆは、コーディングユニット(ＣＵ)の左上のラスタースキャン開始アドレス(Ｘ，Ｙ)である。
図８は、コーディングユニット(ＣＵ)が最大コーディングユニット(ＬＣＵ)から適応的に分割される様子を示す図である。従って、最大コーディングユニット(ＬＣＵ)の左上のラスタースキャン開始アドレスと最大コーディングユニット(ＬＣＵ)の内部のコーディングユニット(ＣＵ)の左上のラスタースキャン開始アドレスとの少なくともいずれかが、位置情報Ｐｏｓｉｔｉｏｎ＿Ｉｎｆとして量子化出力制御部１１７に供給される。
このように、量子化出力制御部１１７に、コーディングユニット(ＣＵ)のサイズ情報Ｓｉｚｅ＿Ｉｎｆと位置情報Ｐｏｓｉｔｉｏｎ＿Ｉｎｆとが供給され、コーディングユニット(ＣＵ)が動画像信号ＶＳとパディング処理データＰＤとのいずれに属するかが判定される。
量子化出力制御部１１７によってコーディングユニット(ＣＵ)が動画像信号ＶＳに属すると判定される場合には、例えばハイレベル“１”の選択出力信号が量子化出力制御部１１７の出力端子から生成される。その結果、量子化出力調整部１１６は、量子化出力制御部１１７の出力端子から生成されるハイレベル“１”の選択出力信号に応答して、その一方の入力端子に供給される、３個の非ゼロ係数と１３個のゼロ係数とを含む周波数変換係数２０１を選択して、その出力端子に出力する。従って、量子化出力調整部１１６の出力端子に出力される３個の非ゼロ係数と１３個のゼロ係数とを含む周波数変換係数２０１は、可変長符号化部１１４の入力端子と逆量子化部１０４の入力端子に供給される。その結果、この周波数変換係数２０１に応答して、可変長符号化部１１４は第１の符号量として比較的大きな符号量を有する符号化ビットストリームＣＶＢＳを形成するものである。従って、この場合には、符号化ビットストリームＣＶＢＳが供給される動画像復号装置(Video Decoder)は、動画像信号ＶＳを高画質で再生することが可能となるものである。
一方、量子化出力制御部１１７によってコーディングユニット(ＣＵ)がパディング処理データＰＤに属すると判定される場合には、例えばローレベル“０”の選択出力信号が量子化出力制御部１１７の出力端子から生成される。その結果、量子化出力調整部１１６は、量子化出力制御部１１７の出力端子から生成されるローレベル“０”の選択出力信号に応答して、その他方の入力端子に供給される１６個のゼロ係数を含む調整周波数変換係数２００を選択して、その出力端子に出力する。従って、量子化出力調整部１１６の出力端子に出力される、１６個のゼロ係数を含む調整周波数変換係数２００は、可変長符号化部１１４の入力端子と逆量子化部１０４の入力端子に供給される。その結果、この調整周波数変換係数２００に応答して、可変長符号化部１１４は第１の符号量よりも小さな第２の符号量を有する符号化ビットストリームＣＶＢＳを形成するものである。従って、この場合には、パディング処理部１００のパディング処理により、符号化ビットストリームＣＶＢＳの符号量が増大するのを軽減することが可能とされる。符号化ビットストリームＣＶＢＳが不揮発性メモリやＤＶＤ等のように一定のビデオ記憶容量を有する記録ディスクに蓄積される場合には、節約分、録画時間を長くできるか、もしくは節約分、高画質化することが可能となる。
更に、実施の形態１の動画像符号化装置１では、図１および図２に示すように、量子化出力調整部１１６の出力端子に出力される周波数変換係数２０１もしくは調整周波数変換係数２００は、可変長符号化部１１４の入力端子と逆量子化部１０４の入力端子に供給される。従って、逆量子化部１０４と逆周波数変換部１０５と加算器１０６とフィルタユニット１０７とフレームメモリ１０８とによって実行される局部復号処理結果と符号化ビットストリームＣＶＢＳが供給される動画像復号装置(Video Decoder)の再生画像との間のミスマッチの発生を防止することが可能となる。もし、このミスマッチが発生すると、フレームメモリ１０８に格納される局部復号処理結果に誤差が蓄積されるので、次のコーディングユニット(ＣＵ)の符号化処理に際して、減算部１０１の減算出力信号である予測残差にも誤差が発生するので、動画像符号化装置１の符号化処理の精度が低下すると言う問題が発生する。
尚、実施の形態１の動画像符号化装置１は、図１に示すように、量子化出力調整部１１６は、量子化部１０３の出力端子と可変長符号化部１１４の入力端子および逆量子化部１０４の入力端子との間に接続されている。他の実施の形態では、量子化出力調整部１１６を２個使用して、第１の量子化出力調整部１１６は量子化部１０３の出力端子と可変長符号化部１１４の入力端子の間に接続して、第２の量子化出力調整部１１６は量子化部１０３の出力端子と逆量子化部１０４の入力端子の間に接続することも可能である。尚、単一の量子化出力制御部１１７が第１の量子化出力調整部１１６と第２の量子化出力調整部１１６を共通に制御して、コーディングユニット(ＣＵ)が動画像信号ＶＳとパディング処理データＰＤとのいずれに属するかを判定することが可能である。この他の実施の形態においても、パディング処理部１００のパディング処理により符号化ビットストリームＣＶＢＳの符号量が増大するのを軽減することが可能とされて、上述した局部復号処理結果と動画像復号装置の再生画像との間のミスマッチの発生を防止することが可能となる。
尚、実施の形態１の動画像符号化装置１が、現行規格Ｈ．２６４に準拠して動画像入力信号の符号化によって符号化ビットストリームＣＶＢＳを生成する場合には、上述したコーディングユニット(ＣＵ)の代わりに、輝度成分で１６画素×１６画素のサイズを有するマクロブロック(ＭＢ)が処理されるものである。このマクロブロック(ＭＢ)が動画像信号ＶＳとパディング処理データＰＤとのいずれに属するかが判定されることによって、量子化出力調整部１１６の出力端子から周波数変換係数２０１と調整周波数変換係数２００とのいずれかが出力されるものである。
《動きベクトル検出制御部および動きベクトル検出部》
図３は、実施の形態１の動画像符号化装置１に含まれる動きベクトル検出制御部１１８と動きベクトル検出部１０９の構成と動作とを説明する図である。
図３に示すように、動きベクトル検出部１０９は、動きベクトル探索部１０９１と予測ベクトル生成部１０９２と動きベクトルセレクタ部１０９３によって構成される。
動きベクトル探索部１０９１は、ＭＰＥＧ−２、ＭＰＥＧ−４の規格で一般的な動きベクトル探索動作を実行することによって動きベクトルＭＶを生成して、生成される動きベクトルＭＶは動きベクトルセレクタ部１０９３の一方の入力端子に供給される。動きベクトル探索部１０９１によって実行される一般的な動きベクトル探索動作は、インター予測により符号化されるコーディングユニット(ＣＵ)の近傍のコーディングユニット(ＣＵ)の動きベクトルＭＶを参考にしてインター予測により符号化されるコーディングユニット(ＣＵ)の動きベクトルＭＶが探索されて生成される。
予測ベクトル生成部１０９２は、現行規格Ｈ．２６４とＨＥＶＣ規格で規定された予測方法を実行して予測ベクトルＰＭＶを生成して、生成される予測ベクトルＰＭＶは動きベクトルセレクタ部１０９３の他方の入力端子に供給される。
現行規格Ｈ．２６４で規定された予測方法では、インター予測によって符号化されるマクロブロック(ＭＢ)の近傍の３個のマクロブロック(ＭＢ)の３個の動きベクトルのメディアン値が、インター予測によって符号化されるマクロブロック(ＭＢ)を符号化する際に使用する予測ベクトルＰＭＶとされる。この予測値は動画像符号化装置と動画像復号装置との間で一意に決定された方法であるので、両装置間で予測値を指定するための符号伝送は実行されない。
ＨＥＶＣ規格で規定された予測方法では、インター予測により符号化されるコーディングユニット(ＣＵ)に関して予測値となる可能性のある動きベクトルの候補リストが作成され、リストに含まれる動きベクトルの中から符号化側によって最適な予測候補が選択され、最適な予測候補のインデックスを符号化して復号側に伝達する手法が採用される。この方法によって、最も予測差分の小さくなる予測値としての予測ベクトルＰＭＶを選択することによって、動きベクトルＭＶを符号化することが可能となる。
図３に示すように、動きベクトル検出制御部１１８の一方の入力端子には、インター予測によって符号化されるマクロブロック(ＭＢ)またはコーディングユニット(ＣＵ)の横および縦の画素サイズを示すサイズ情報Ｓｉｚｅ＿Ｉｎｆが供給される。その一方、動きベクトル検出制御部１１８の他方の入力端子には、インター予測によって符号化されるマクロブロック(ＭＢ)またはコーディングユニット(ＣＵ)の位置情報Ｐｏｓｉｔｉｏｎ＿Ｉｎｆが供給されるものである。この位置情報Ｐｏｓｉｔｉｏｎ＿Ｉｎｆは、マクロブロック(ＭＢ)またはコーディングユニット(ＣＵ)の左上のラスタースキャン開始アドレス(Ｘ，Ｙ)である。
このように、動きベクトル検出制御部１１８に、マクロブロック(ＭＢ)もしくはコーディングユニット(ＣＵ)のサイズ情報Ｓｉｚｅ＿Ｉｎｆと位置情報Ｐｏｓｉｔｉｏｎ＿Ｉｎｆとが供給され、マクロブロック(ＭＢ)もしくはコーディングユニット(ＣＵ)が動画像信号ＶＳとパディング処理データＰＤとのいずれに属するかが判定される。
動きベクトル検出制御部１１８によってインター予測により符号化されるマクロブロック(ＭＢ)またはコーディングユニット(ＣＵ)が動画像信号ＶＳに属すると判定される場合には、例えばハイレベル“１”の選択出力信号が動きベクトル検出制御部１１８の出力端子から生成される。従って、動きベクトルセレクタ部１０９３は、動きベクトル検出制御部１１８の出力端子から生成されるハイレベル“１”の選択出力信号に応答して、その一方の入力端子に動きベクトル探索部１０９１から供給される動きベクトルＭＶを選択してその出力端子に出力する。その結果、動きベクトル検出部１０９の動きベクトル探索部１０９１から生成される動きベクトルＭＶが、動きベクトルセレクタ部１０９３を経由して、動き補償部１１０に供給される。従って、動きベクトル検出部１０９の動きベクトル探索部１０９１から生成された動きベクトルＭＶとフレームメモリ１０８に格納された参照画像とに応答して、動き補償部１１０は動き補償予測信号を生成する。このインター予測の場合には、動きベクトル検出部１０９の動きベクトルセレクタ部１０９３から生成される動きベクトルＭＶと動きベクトル検出部１０９の予測ベクトル生成部１０９２から生成される予測ベクトルＰＭＶとの差分(ＭＶ−ＰＭＶ)である差分ベクトル(ＭＶＤ：Motion Vector Difference)を、可変長符号化部１１４が符号化する。この差分ベクトル(ＭＶＤ)の可変長符号化部１１４による符号化情報が符号化ビットストリームＣＶＢＳに含まれるので、符号化ビットストリームＣＶＢＳが供給される動画像復号装置は、動画像信号ＶＳに関する差分ベクトル(ＭＶＤ)の情報の復号により、動画像信号ＶＳを再生することが可能となる。このように動画像信号ＶＳのインター予測の場合には、この差分ベクトル(ＭＶＤ)に応答して、可変長符号化部１１４は第１の符号量として比較的大きな符号量を有する符号化ビットストリームＣＶＢＳを形成するものである。その結果、比較的大きな符号量を有する符号化ビットストリームＣＶＢＳが供給される動画像復号装置は、動画像信号ＶＳを高画質で再生することが可能となるものである。
それと反対に、動きベクトル検出制御部１１８によってインター予測により符号化されるマクロブロック(ＭＢ)またはコーディングユニット(ＣＵ)がパディング処理データＰＤに属すると判定される場合には、例えばローレベル“０”の選択出力信号が動きベクトル検出制御部１１８の出力端子から生成される。その結果、動きベクトルセレクタ部１０９３は生成されたローレベル“０”の選択出力信号に応答して、その他方の入力端子に動きベクトル検出部１０９の予測ベクトル生成部１０９２から供給される予測ベクトルＰＭＶを選択してその出力端子に出力する。従って、パディング処理データＰＤのインター予測の場合には、予測ベクトル生成部１０９２から生成される予測ベクトルＰＭＶが動きベクトル検出部１０９の動きベクトルセレクタ部１０９３から出力されるようになる。従って、この場合には、動きベクトル検出部１０９の動きベクトルセレクタ部１０９３から生成される動きベクトルＭＶとしての予測ベクトルＰＭＶと動きベクトル検出部１０９の予測ベクトル生成部１０９２から生成される予測ベクトルＰＭＶの差分(ＭＶ−ＰＭＶ)である差分ベクトル(ＭＶＤ)は、実質的にゼロの値となる。この実質的にゼロの値を有する差分ベクトル(ＭＶＤ)を、可変長符号化部１１４が符号化する。その結果、この実質的にゼロの値を有する差分ベクトル(ＭＶＤ)に応答して、可変長符号化部１１４は第１の符号量よりも小さな第２の符号量を有する符号化ビットストリームＣＶＢＳを形成する。符号化ビットストリームＣＶＢＳの情報のうちで、可変長符号化部１１４により符号化されるパディング処理データＰＤの情報は、動画像復号装置で再生される動画像信号ＶＳの画質に大きな影響を与えるものではない。従って、この場合には、パディング処理部１００のパディング処理により符号化ビットストリームＣＶＢＳの符号量が増大するのを軽減することが可能とされる。符号化ビットストリームＣＶＢＳが一定のビデオ記憶容量を有する記録ディスクに蓄積される場合には、節約分、録画時間を長くできるか、もしくは節約分、高画質化することが可能となる。
《イントラ予測制御部およびイントラ予測部》
図４は、実施の形態１の動画像符号化装置１に含まれるイントラ予測制御部１１９とイントラ予測部１１２の構成と動作とを説明する図である。
図４に示すように、イントラ予測部１１２は、イントラ予測方向決定部１１２１と近傍予測方向生成部１１２２と予測方向セレクタ部１１２３とイントラ予測処理部１１２４によって構成される。
イントラ予測方向決定部１１２１はＭＰＥＧ−４、Ｈ．２６４、Ｈ．２６５の規格で一般的なイントラ予測動作を実行することによって予測方向ＰＤを生成して、生成される予測方向ＰＤは予測方向セレクタ部１１２３の一方の入力端子に供給される。イントラ予測方向決定部１１２１によって実行される一般的なイントラ予測動作は、次の通りである。すなわち、ＭＰＥＧ−４では、水平方向と垂直方向との２方向の予測方向ＰＤである。また、Ｈ．２６４では上記非特許文献１に記載された９個の方向の予測方向ＰＤであり、更にＨＥＶＣ規格では、上記非特許文献２に記載された３４個のモードの予測方向ＰＤである。
近傍予測方向生成部１１２２は、図３で説明した予測ベクトル生成部１０９２と同様に、現行規格Ｈ．２６４とＨＥＶＣ規格で規定された予測方法を実行して近傍予測方向ＮＰＤを生成して、生成される近傍予測方向ＮＰＤは予測方向セレクタ部１１２３の他方の入力端子に供給される。
図４に示したように、イントラ予測制御部１１９の一方の入力端子には、イントラ予測によって符号化されるマクロブロック(ＭＢ)またはコーディングユニット(ＣＵ)の横および縦の画素サイズを示すサイズ情報Ｓｉｚｅ＿Ｉｎｆが供給される。その一方、イントラ予測制御部１１９の他方の入力端子には、イントラ予測によって符号化されるマクロブロック(ＭＢ)またはコーディングユニット(ＣＵ)の位置情報Ｐｏｓｉｔｉｏｎ＿Ｉｎｆが供給されるものである。この位置情報Ｐｏｓｉｔｉｏｎ＿Ｉｎｆは、マクロブロック(ＭＢ)またはコーディングユニット(ＣＵ)の左上のラスタースキャン開始アドレス(Ｘ，Ｙ)である。
このように、イントラ予測制御部１１９に、マクロブロック(ＭＢ)もしくはコーディングユニット(ＣＵ)のサイズ情報Ｓｉｚｅ＿Ｉｎｆと位置情報Ｐｏｓｉｔｉｏｎ＿Ｉｎｆとが供給され、マクロブロック(ＭＢ)またはコーディングユニット(ＣＵ)が動画像信号ＶＳとパディング処理データＰＤとのいずれに属するかが判定される。
イントラ予測制御部１１９によってイントラ予測により符号化されるマクロブロック(ＭＢ)またはコーディングユニット(ＣＵ)が動画像信号ＶＳに属すると判定される場合には、例えばハイレベル“１”の選択出力信号がイントラ予測制御部１１９の出力端子から生成される。従って、予測方向セレクタ部１１２３は、イントラ予測制御部１１９の出力端子から生成されるハイレベル“１”の選択出力信号に応答して、その一方の入力端子にイントラ予測方向決定部１１２１から供給される予測方向ＰＤを選択し、その出力端子に出力する。その結果、イントラ予測方向決定部１１２１から生成される予測方向ＰＤが、予測方向セレクタ部１１２３を経由してイントラ予測処理部１１２４に供給される。イントラ予測処理部１１２４には、パディング処理部１００からパディング処理データＰＤが追加された動画像信号ＶＳのコーディングユニット(ＣＵ)とバッファメモリ１１１からイントラ符号化済みの参照画像が供給される。従って、イントラ予測処理部１１２４は予測方向ＰＤとコーディングユニット(ＣＵ)とイントラ符号化済みの参照画像とを使用して、イントラ予測された最適なコーディングユニット(ＣＵ)をセレクタ部１１３に供給する。このイントラ予測の場合には、イントラ予測部１１２の予測方向セレクタ部１１２３から生成される予測方向ＰＤとイントラ予測部１１２の近傍予測方向生成部１１２２から生成される近傍予測方向ＮＰＤとの差分(ＰＤ−ＮＰＤ)である差分予測方向(ＰＤＤ：Prediction Direction Difference)を、可変長符号化部１１４が符号化する。この差分予測方向(ＰＤＤ)の可変長符号化部１１４による符号化情報が符号化ビットストリームＣＶＢＳに含まれるので、符号化ビットストリームＣＶＢＳが供給される動画像復号装置は、動画像信号ＶＳに関する差分予測方向(ＰＤＤ)の情報の復号により、動画像信号ＶＳを再生することが可能となる。このように動画像信号ＶＳのイントラ予測の場合には、この差分予測方向(ＰＤＤ)に応答して、可変長符号化部１１４は第１の符号量として比較的大きな符号量を有する符号化ビットストリームＣＶＢＳを形成するものである。その結果、比較的大きな符号量を有する符号化ビットストリームＣＶＢＳが供給される動画像復号装置は、動画像信号ＶＳを高画質で再生することが可能となるものである。
それと反対に、イントラ予測制御部１１９によってイントラ予測で符号化されるマクロブロック(ＭＢ)もしくはコーディングユニット(ＣＵ)がパディング処理データＰＤに属すると判定される場合には、例えば、ローレベル“０”の選択出力信号がイントラ予測制御部１１９の出力端子から生成される。従って、予測方向セレクタ部１１２３は生成されたローレベル“０”の選択出力信号に応答して、その他方の入力端子にイントラ予測制御部１１９の近傍予測方向生成部１１２２から供給される近傍予測方向ＮＰＤを選択してその出力端子に出力する。従って、パディング処理データＰＤのイントラ予測の場合には、近傍予測方向生成部１１２２から生成される近傍予測方向ＮＰＤがイントラ予測部１１２の予測方向セレクタ部１１２３から出力されるようになる。従って、この場合には、イントラ予測部１１２の予測方向セレクタ部１１２３ら生成される予測方向ＰＤとしての近傍予測方向ＮＰＤとイントラ予測部１１２の近傍予測方向生成部１１２２から生成される近傍予測方向ＮＰＤの差分(ＰＤ−ＮＰＤ)である差分予測方向(ＰＤＤ)は、実質的にゼロの値となる。この実質的にゼロの値を有する差分予測方向(ＰＤＤ)を、可変長符号化部１１４が符号化するものである。その結果、この実質的にゼロの値を有する差分予測方向(ＰＤＤ)に応答して、可変長符号化部１１４は第１の符号量よりも小さな第２の符号量を有する符号化ビットストリームＣＶＢＳを形成する。符号化ビットストリームＣＶＢＳの情報のうちで、可変長符号化部１１４により符号化されるパディング処理データＰＤの情報は、動画像復号装置で再生される動画像信号ＶＳの画質に大きな影響を与えるものではない。従って、この場合には、パディング処理部１００のパディング処理により符号化ビットストリームＣＶＢＳの符号量が増大するのを軽減することが可能となる。符号化ビットストリームＣＶＢＳが一定のビデオ記憶容量を有する記録ディスクに蓄積される場合には、節約分、録画時間を長くできるか、もしくは節約分、高画質化することが可能となる。
《周波数変換制御部》
図５は、実施の形態１の動画像符号化装置１に含まれる周波数変換制御部１２０の構成と動作とを説明する図である。
図２で説明した量子化出力調整部１１６と量子化出力制御部１１７による量子化された周波数変換係数の調整動作において、１個のコーディングユニット(ＣＵ)が、図１１に示すように動画像信号ＶＳの画素値とパディング処理データＰＤの画素値とを同時に含む場合を想定する。動画像信号ＶＳの画素値とパディング処理データＰＤの画素値とを同時に含む１個のコーディングユニット(ＣＵ)は、図１１に示すように動画像信号ＶＳの領域とパディング処理データＰＤの領域との間の境界に存在する。このように、動画像信号ＶＳの画素値とパディング処理データＰＤの画素値とを同時に含む１個のコーディングユニット(ＣＵ)に関して、量子化出力調整部１１６は動画像信号ＶＳに属すると混在判定するように、量子化出力調整部１１６は動作する。従って、動画像信号ＶＳの画素値とパディング処理データＰＤの画素値とを同時に含む１個のコーディングユニット(ＣＵ)に関して、可変長符号化部１１４は大きな符号量を有する符号化ビットストリームＣＶＢＳを形成する。その結果、動画像信号ＶＳの画素値とパディング処理データＰＤの画素値を同時に含む１個のコーディングユニット(ＣＵ)に含まれた動画像信号ＶＳは、動画像復号装置(Video Decoder)によって高画質で再生されることが可能となる。更に、Ｈ．２６４の場合には、動画像信号ＶＳの画素値とパディング処理データＰＤの画素値とを同時に含んだ１個のマクロブロック(ＭＢ)に関しても、この１個のマクロブロック(ＭＢ)は動画像信号ＶＳに属すると混在判定される必要がある。
このように、動画像信号ＶＳの画素値とパディング処理データＰＤの画素値を同時に含む１個のマクロブロック(ＭＢ)もしくはコーディングユニット(ＣＵ)に関しても、この１個のマクロブロック(ＭＢ)またはコーディングユニット(ＣＵ)を動画像信号ＶＳに属すると判定する必要があるのは、図３の動きベクトル検出制御部１１８と図４のイントラ予測制御部１１９でも同様である。これと同一の必要性は、図６を使用して以下に説明する量子化パラメータ制御部１２１、および図７を使用して以下に説明するフィルタ制御部１２２についても全く同様である。
しかし、図２の量子化出力制御部１１７と図３の動きベクトル検出制御部１１８と図４のイントラ予測制御部１１９と図６の量子化パラメータ制御部１２１とが上述した混在判定方法を実行すると、混在型の１個のコーディングユニット(ＣＵ)またはマクロブロック(ＭＢ)に含まれるパディング処理データＰＤに関しても、大きな符号量を有する符号化ビットストリームＣＶＢＳが形成される。その結果、図２の量子化出力制御部１１７と、図３の動きベクトル検出制御部１１８と、図４のイントラ予測制御部１１９と、図６の量子化パラメータ制御部１２１とによる符号量の増加軽減の効果が小さくなると言う問題が、発生する可能性がある。また、図７のフィルタ制御部１２２が上述した混在判定方法を実行すると、混在型の１個のコーディングユニット(ＣＵ)またはマクロブロック(ＭＢ)に含まれるパディング処理データＰＤに関しても、フィルタユニット１０７のデブロッキングフィルタの機能が活性化されるので、低消費電力化の効果が小さくなると言う問題が、発生する可能性がある。
図５に示した周波数変換制御部１２０は、実施の形態１の動画像符号化装置１に含まれた周波数変換部１０２における周波数変換処理において、１個のコーディングユニット(ＣＵ)が動画像信号ＶＳの画素値とパディング処理データＰＤの画素値を同時に含まないように、パーティション動作を実行するものである。すなわち、周波数変換部１０２でのコーディングユニット(ＣＵ)のパーティション動作によって、１個のコーディングユニット(ＣＵ)が動画像信号ＶＳの画素値とパディング処理データＰＤの画素値とのいずれか一方のみを含むものとなる。言い換えると、１個のコーディングユニット(ＣＵ)は、動画像信号ＶＳとパディング処理データＰＤとの境界をクロスオーバーしなくなるものである。更に言い換えると、１個のコーディングユニット(ＣＵ)の境界は、動画像信号ＶＳとパディング処理データＰＤとの境界に一致するようになる。
周波数変換制御部１２０は、図５に示すように、周波数変換サイズ決定部１２０１と非クロスオーバー周波数変換サイズ決定部１２０２と領域判定部１２０３と周波数変換サイズセレクタ部１２０４によって構成される。
Ｈ．２６４の規格では、輝度成分で１６画素×１６画素のサイズを有する１個のマクロブロック(ＭＢ)の周波数変換に際して、８画素×８画素のサイズと４画素×４画素のサイズの２種類の周波数変換サイズが使用可能とされている。
ＨＥＶＣ規格では、輝度成分で６４画素×６４画素のサイズを有する１個の最大コーディングユニット(ＬＣＵ)から分割が可能である１個のコーディングユニット(ＣＵ)の周波数変換に際して、３２画素×３２画素のサイズと１６画素×１６画素のサイズと８画素×８画素のサイズと４画素×４画素のサイズの４種類の周波数変換サイズが使用可能とされている。
図５に示した周波数変換制御部１２０の周波数変換サイズ決定部１２０１は、Ｈ．２６４の規格の２種類の周波数変換サイズまたはＨＥＶＣ規格の４種類の周波数変換サイズから１つの周波数変換サイズＴＳを選択して、この１つの周波数変換サイズＴＳを周波数変換サイズセレクタ部１２０４の一方の入力端子に供給する。この１つの周波数変換サイズＴＳは、例えば動き補償部１１０から動き補償予測信号が生成されるタイミング、またはイントラ予測部１１２からイントラ予測信号が生成されるタイミングで決定される。すなわち、動き補償予測信号またはイントラ予測信号の画像信号の画素値が単調に変化する部分では、周波数変換サイズ決定部１２０１により周波数変換サイズＴＳは比較的大きなサイズに選択される。それに対して、動き補償予測信号またはイントラ予測信号の画像信号の画素値が複雑に変化する部分では、周波数変換サイズ決定部１２０１により周波数変換サイズＴＳは比較的小さなサイズに選択される。更に、周波数変換サイズ決定部１２０１は、１個のマクロブロック(ＭＢ)もしくは１個のコーディングユニット(ＣＵ)の周波数変換サイズＴＳを決定するのと同時に、そのサイズ情報Ｓｉｚｅ＿Ｉｎｆと位置情報Ｐｏｓｉｔｉｏｎ＿Ｉｎｆとを決定する。
このサイズ情報Ｓｉｚｅ＿Ｉｎｆと位置情報Ｐｏｓｉｔｉｏｎ＿Ｉｎｆが、領域判定部１２０３に供給される。領域判定部１２０３は、このサイズ情報Ｓｉｚｅ＿Ｉｎｆと位置情報Ｐｏｓｉｔｉｏｎ＿Ｉｎｆとを有する１個のマクロブロック(ＭＢ)または１個のコーディングユニット(ＣＵ)が動画像信号ＶＳとパディング処理データＰＤとの境界をクロスオーバーするか否かを判定する。領域判定部１２０３の判定結果が「ＮＯ」の場合には、領域判定部１２０３はハイレベル“１”の選択出力信号を生成して、周波数変換サイズセレクタ部１２０４の選択制御信号に供給する。周波数変換サイズセレクタ部１２０４は、領域判定部１２０３の出力端子から生成されるハイレベル“１”の選択出力信号に応答して、その一方の入力端子に周波数変換サイズ決定部１２０１から供給される周波数変換サイズＴＳを選択してその出力端子に出力する。その結果、実施の形態１の動画像符号化装置１に含まれる周波数変換部１０２は、この周波数変換サイズＴＳに従って１個のコーディングユニット(ＣＵ)もしくは１個のマクロブロック(ＭＢ)１の周波数変換処理を実行する。それに対して、領域判定部１２０３の判定結果が「ＹＥＳ」の場合には、領域判定部１２０３はローレベル“０”の選択出力信号を生成して、周波数変換サイズセレクタ部１２０４の選択制御信号に供給する。従って、周波数変換サイズセレクタ部１２０４は、領域判定部１２０３の出力端子から生成されるローレベル“０”の選択出力信号に応答して、その他方の入力端子に非クロスオーバー周波数変換サイズ決定部１２０２から供給される非クロスオーバー周波数変換サイズＮＴＳを選択してその出力端子に出力する。非クロスオーバー周波数変換サイズ決定部１２０２は、周波数変換サイズ決定部１２０１から供給される１個のマクロブロック(ＭＢ)もしくは１個のコーディングユニット(ＣＵ)のサイズ情報Ｓｉｚｅ＿Ｉｎｆと位置情報Ｐｏｓｉｔｉｏｎ＿Ｉｎｆに応答して、非クロスオーバー周波数変換サイズＮＴＳを生成して周波数変換サイズセレクタ部１２０４の他方の入力端子に供給している。その結果、実施の形態１の動画像符号化装置１に含まれる周波数変換部１０２は、非クロスオーバー周波数変換サイズ決定部１２０２により生成されるこの非クロスオーバー周波数変換サイズＴＳに従って、１個のコーディングユニット(ＣＵ)もしくは１個のマクロブロック(ＭＢ)１の周波数変換処理を実行するものである。
《量子化パラメータ制御部》
図６は、実施の形態１の動画像符号化装置１に含まれる量子化パラメータ制御部１２１の構成と動作とを説明する図である。
図６に示すように、量子化パラメータ制御部１２１は、量子化パラメータ生成部１２１１と量子化パラメータレジスタ部１２１２と領域判定部１２１３と量子化パラメータセレクタ部１２１４によって構成される。
一方、実施の形態１における動画像符号化装置１に含まれた可変長符号化部１１４から生成される圧縮ビデオ符号化ビットストリームＣＶＢＳの符号量が過大となることを防止するために、ビットレート制御が量子化部１０３の量子化処理で使用される量子化パラメータＱＰを調整することにより実行される。
すなわち、量子化部１０３に接続された量子化パラメータ制御部１２１は、ビットレート制御のための量子化パラメータＱＰの調整制御を実行するものである。従って、量子化パラメータ生成部１２１１は、例えば可変長符号化部１１４の出力に接続されたビデオバッファ１１５のデータ充足度等から、可変長符号化部１１４から生成される圧縮ビデオ符号化ビットストリームＣＶＢＳの符号量を把握する。符号量が大きい場合には、量子化パラメータ生成部１２１１は、量子化パラメータＱＰを大きな値に設定する。従って、大きな値の量子化パラメータＱＰに応答して、量子化部１０３は量子化される周波数変換係数のビット数を減少するので、圧縮ビデオ符号化ビットストリームＣＶＢＳの符号量が過大となることを防止することが可能となる。それに対して符号量が小さな場合には、量子化パラメータ生成部１２１１は、量子化パラメータＱＰを小さな値に設定するものである。その結果、小さな値の量子化パラメータＱＰに応答して、量子化部１０３は量子化される周波数変換係数のビット数を増加するので、圧縮ビデオ符号化ビットストリームＣＶＢＳの符号量を増加でき、高画質の圧縮ビデオ符号化ビットストリームＣＶＢＳを生成することが可能となる。
ところで、実施の形態１の動画像符号化装置１では、可変長符号化部１１４は、量子化部１０３の量子化パラメータＱＰの時間的な変化分である差分量子化パラメータ(ＱＰＤ：Quantization Parameter Difference)を、シンタックスエレメントとして符号化するものである。その結果、差分量子化パラメータ(ＱＰＤ)のシンタックスエレメントが可変長符号化部１１４から生成される圧縮ビデオ符号化ビットストリームＣＶＢＳに含まれるので、動画像復号装置(Decoder)も差分量子化パラメータ(ＱＰＤ)を使用して正確な動画像復号処理動作を実行することが可能となる。
一方、量子化部１０３は量子化される情報のうち、動画像信号ＶＳの画素値は動画像復号装置における高画質の動画像復号動作に必要のであるに対して、パディング処理データＰＤの情報の画素値は動画像復号装置で再生される動画像信号ＶＳの画質に大きな影響を与えるものではない。
従って、図６に示した実施の形態１による量子化パラメータ制御部１２１は、量子化部１０３によって量子化処理されるマクロブロック(ＭＢ)またはコーディングユニット(ＣＵ)が動画像信号ＶＳとパディング処理データＰＤとのいずれに属するかを判定するための領域判定部１２１３を含んでいる。この領域判定部１２１３には、量子化部１０３により量子化処理されるマクロブロック(ＭＢ)またはコーディングユニット(ＣＵ)のサイズ情報Ｓｉｚｅ＿Ｉｎｆと位置情報Ｐｏｓｉｔｉｏｎ＿Ｉｎｆとが供給されている。
量子化部１０３によって量子化処理されるマクロブロック(ＭＢ)またはコーディングユニット(ＣＵ)が動画像信号ＶＳに属すると判定される場合には、例えばハイレベル“１”の選択出力信号が領域判定部１２１３の出力端子から生成される。その結果、量子化パラメータセレクタ部１２１４は、領域判定部１２１３の出力端子から生成されるハイレベル“１”の選択出力信号に応答して、その一方の入力端子に量子化パラメータ生成部１２１１から供給される量子化パラメータＱＰを選択してその出力端子に出力する。従って、この量子化パラメータＱＰに従って、量子化部１０３は、動画像信号ＶＳに属するマクロブロック(ＭＢ)もしくはコーディングユニット(ＣＵ)の周波数変換部１０２による周波数変換係数に関して量子化処理を実行するものである。この場合は、量子化パラメータ制御部１２１の量子化パラメータセレクタ部１２１４から生成される量子化パラメータＱＰと量子化パラメータレジスタ部１２１２に格納されて量子化パラメータレジスタ部１２１２から生成される直前の量子化パラメータＰＱＰの差分(ＱＰ−ＰＱＰ)である差分量子化パラメータ(ＱＰＤ)を、可変長符号化部１１４が符号化するものである。この差分量子化パラメータ(ＱＰＤ)の可変長符号化部１１４による符号化情報が符号化ビットストリームＣＶＢＳに含まれ、符号化ビットストリームＣＶＢＳが供給される動画像復号装置は動画像信号ＶＳに関する差分量子化パラメータ(ＱＰＤ)の情報の復号により、動画像信号ＶＳを再生することが可能となる。このように動画像信号ＶＳの量子化処理の場合は、この差分量子化パラメータ(ＱＰＤ)に応答して、可変長符号化部１１４は第１の符号量として比較的大きな符号量を有する符号化ビットストリームＣＶＢＳを形成するものである。その結果、比較的大きな符号量を有する符号化ビットストリームＣＶＢＳが供給される動画像復号装置は、動画像信号ＶＳを高画質で再生することが可能となるものである。
それと反対に、量子化部１０３により量子化処理されるマクロブロック(ＭＢ)またはコーディングユニット(ＣＵ)がパディング処理データＰＤに属すると判定される場合は、ローレベル“０”の選択出力信号が領域判定部１２１３の出力端子から生成される。その結果、量子化パラメータセレクタ部１２１４は、領域判定部１２１３の出力端子から生成されるローレベル“０”の選択出力信号に応答して、その他方の入力端子に量子化パラメータレジスタ部１２１２から供給される直前の量子化パラメータＰＱＰを選択してその出力端子に出力する。その結果、この直前の量子化パラメータＰＱＰに従って、量子化部１０３は、パディング処理データＰＤに属するマクロブロック(ＭＢ)もしくはコーディングユニット(ＣＵ)の周波数変換部１０２による周波数変換係数に関して量子化処理を実行するものである。この場合は、量子化パラメータ制御部１２１の量子化パラメータセレクタ部１２１４から生成される量子化パラメータＱＰと量子化パラメータレジスタ部１２１２に格納されて予測ベクトル生成部１０９２から生成される直前の量子化パラメータＰＱＰの差分(ＱＰ−ＰＱＰ)である差分量子化パラメータ(ＱＰＤ)は、実質的にゼロの値となる。この実質的にゼロの値を有する差分量子化パラメータ(ＱＰＤ)を、可変長符号化部１１４が符号化する。その結果、この実質的にゼロの値を有する差分量子化パラメータ(ＱＰＤ)に応答して、可変長符号化部１１４は第１の符号量よりも小さな第２の符号量を有する符号化ビットストリームＣＶＢＳを形成する。符号化ビットストリームＣＶＢＳの情報のうちで、可変長符号化部１１４によって符号化されるパディング処理データＰＤの情報は、動画像復号装置で再生される動画像信号ＶＳの画質に大きな影響を与えるものではない。その結果、この場合には、パディング処理部１００のパディング処理により符号化ビットストリームＣＶＢＳの符号量が増大するのを軽減することが可能とされる。符号化ビットストリームＣＶＢＳが一定のビデオ記憶容量を有する記録ディスクに蓄積される場合は、節約分、録画時間を長くできるか、もしくは節約分、高画質化することが可能となる。
《フィルタユニットとフィルタ制御部》
図７は、実施の形態１の動画像符号化装置１において、デブロッキングフィルタでの低消費電力の実現のためのフィルタユニット１０７とフィルタ制御部１２２との構成と動作とを説明する図である。
上述したように、実施の形態１の動画像符号化装置１に含まれたフィルタユニット１０７は、Ｈ．２６４の規格に従って、ブロック歪みを低減するためのデブロッキングフィルタの機能を有するものである。一方、逆量子化部１０４と逆周波数変換部１０５と加算器１０６とによる局部復号処理結果は、フィルタユニット１０７のデブロッキングフィルタの機能でフィルタ処理されるものである。しかし、フィルタユニット１０７のデブロッキングフィルタの機能でフィルタ処理される情報も、動画像信号ＶＳに属する場合とパディング処理データＰＤに属する場合とがある。
動画像信号ＶＳに属する局部復号処理結果が、フィルタユニット１０７のデブロッキングフィルタの機能でフィルタ処理されることによって、フレームメモリ１０８に格納されてイントラ予測に使用される参照画像のブロック歪みを低減することが可能となる。しかし、パディング処理データＰＤに属する局部復号処理結果がフィルタユニット１０７でフィルタ処理されても、フレームメモリ１０８に格納されてイントラ予測に使用される参照画像のブロック歪みを低減することは不可能である。
従って、図７に示した実施の形態１によるフィルタユニット１０７とフィルタ制御部１２２は、加算器１０６からフィルタユニット１０７に供給されるデブロッキングフィルタ処理対象情報が動画像信号ＶＳに属する場合には、この情報のデブロッキングフィルタ処理を実行するものである。しかしながら、図７に示した実施の形態１によるフィルタユニット１０７とフィルタ制御部１２２は、加算器１０６からフィルタユニット１０７に供給されるデブロッキングフィルタ処理対象情報がパディング処理データＰＤに属する場合には、この情報のデブロッキングフィルタ処理の実行を停止するものである。
すなわち、図７に示したフィルタ制御部１２２には、加算器１０６からフィルタユニット１０７に供給されるデブロッキングフィルタ処理対象情報のサイズ情報Ｓｉｚｅ＿Ｉｎｆと位置情報Ｐｏｓｉｔｉｏｎ＿Ｉｎｆとが供給されている。
デブロッキングフィルタ処理対象情報が動画像信号ＶＳに属するとフィルタ制御部１２２によって判定される場合には、例えばハイレベル“１”の動作選択信号がフィルタ制御部１２２の出力端子から生成される。従って、フィルタユニット１０７のデブロッキングフィルタの機能は、フィルタ制御部１２２の出力端子から生成されるハイレベル“１”の動作出力信号に応答して活性化される。その結果、フィルタユニット１０７のデブロッキングフィルタの機能は、動画像信号ＶＳに属する情報のデブロッキングフィルタ処理を実行する。
デブロッキングフィルタ処理対象情報がパディング処理データＰＤに属するとフィルタ制御部１２２によって判定される場合には、例えばローレベル“１”の非動作選択信号がフィルタ制御部１２２の出力端子から生成される。従って、フィルタユニット１０７のデブロッキングフィルタの機能は、フィルタ制御部１２２の出力端子から生成されるローレベル“１”の非動作選択信号に応答して非活性化される。その結果、フィルタユニット１０７のデブロッキングフィルタの機能は、パディング処理データＰＤに属する情報のデブロッキングフィルタ処理の実行を停止するものである。このようにして、図７に示した実施の形態１によるフィルタユニット１０７とフィルタ制御部１２２とによれば、デブロッキングフィルタの消費電力を低減することが可能となる。
《動画像符号化装置の半導体集積回路》
実施の形態１の動画像符号化装置１の大部分は、フレームメモリ１０８とバッファメモリ１１１とビデオバッファ１１５を除き、半導体集積回路の１個の半導体チップ内に集積化される。例えば、この半導体集積回路は、最先端半導体製造プロセスによって製造されるシステムＬＳＩもしくはシステムオンチップ(ＳＯＣ)と呼ばれる大規模半導体集積回路である。
すなわち、実施の形態１の動画像符号化装置１では、パディング処理部１００と減算器１０１と周波数変換部１０２と量子化部１０３と逆量子化部１０４と逆周波数変換部１０５と加算器１０６と可変長符号化部１１４は、半導体集積回路の１個の半導体チップに集積化される。更に、フィルタユニット１０７とフレームメモリ１０８と動きベクトル検出部１０９と動き補償部１１０とバッファメモリ１１１とイントラ予測部１１２とセレクタ部１１３も、この１個の半導体チップに集積化される。また更に、量子化出力調整部１１６と量子化出力制御部１１７と動きベクトル検出制御部１１８とイントラ予測制御部１１９と周波数変換制御部１２０と量子化パラメータ制御部１２１とフィルタ制御部１２２も、同様に、この１個の半導体チップ内に集積化される。尚、フレームメモリ１０８とバッファメモリ１１１とビデオバッファ１１５は、この１個の半導体チップと別の同期型ダイナミックランダムアクセスメモリ(ＳＤＲＡＭ)の半導体チップに集積化される。
［実施の形態２］
《並列処理を実行する動画像符号化装置の構成》
図９は、スライスレベルもしくはタイルレベルの並列処理を実行する実施の形態２による動画像符号化装置の構成を示す図である。
上記非特許文献１に記載されたように、スライスはピクチャーの他のスライスと独立にエンコードされデコードされるので、スライスは並列処理に使用できるものである。また上記非特許文献２に記載されたように、タイルは並列処理を可能とするものであり、ピクチャーを四角形の領域に分割することによってタイルが形成されるものである。
図９に示すように、並列処理を実行する実施の形態２による動画像符号化装置は、画像分割部３０１と画像構築部３０２と複数個の動画像符号化処理部１Ａ、１Ｂ、１Ｃ、１Ｄ……とフレームメモリ１０８とバッファメモリ１１１とによって構成されている。
画像分割部３０１は動画像信号ＶＳが供給され、それを分割することによって複数個のスライスもしくは複数個のタイルを生成する。画像分割部３０１によって生成された複数個のスライスもしくは複数個のタイルは、複数個の動画像符号化処理部１Ａ、１Ｂ、１Ｃ、１Ｄにそれぞれ供給される。
複数個の動画像符号化処理部１Ａ、１Ｂ、１Ｃ、１Ｄの各動画像符号化処理部は、実施の形態１の動画像符号化装置１と同様に構成されている。すなわち、各動画像符号化処理部は、パディング処理部１００と減算器１０１と周波数変換部１０２と量子化部１０３と逆量子化部１０４と逆周波数変換部１０５と加算器１０６と可変長符号化部１１４とを含んでいる。更に、各動画像符号化処理部は、動きベクトル検出部１０９と動き補償部１１０とバッファメモリ１１１とイントラ予測部１１２とセレクタ部１１３を含んでいる。また更に、各動画像符号化処理部は、量子化出力調整部１１６と量子化出力制御部１１７と動きベクトル検出制御部１１８とイントラ予測制御部１１９と周波数変換制御部１２０と量子化パラメータ制御部１２１とフィルタ制御部１２２とを含んでいる。
複数個の動画像符号化処理部１Ａ、１Ｂ、１Ｃ、１Ｄから生成される複数の動画像符号化処理結果は、画像構築部３０２に供給される。画像構築部３０２は、複数個の動画像符号化処理部１Ａ、１Ｂ、１Ｃ、１Ｄの複数の動画像符号化処理結果から、圧縮ビデオ符号化ビットストリームＣＶＢＳを生成する。
複数個の動画像符号化処理部１Ａ、１Ｂ、１Ｃ、１Ｄの動画像符号化処理動作は、実施の形態１の動画像符号化装置１のそれと全く同様であるので、説明を省略する。
実施の形態２の動画像符号化装置の大部分は、フレームメモリ１０８とバッファメモリ１１１とビデオバッファ１１５を除き、半導体集積回路の１個の半導体チップ内に集積化される。この半導体集積回路も、最先端半導体製造プロセスによって製造されるシステムＬＳＩまたはシステムオンチップ(ＳＯＣ)と呼ばれる大規模半導体集積回路である。
以上、本発明者によってなされた発明を実施形態に基づいて具体的に説明したが、本発明はそれに限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは言うまでもない。
例えば、本動画像符号化処理装置は、現行規格Ｈ．２６４とＨＥＶＣ規格の選択された方式に準拠して動画像入力信号の符号化によって符号化ビットストリームを生成することのみに限定されるものではない。
すなわち、本動画像符号化処理装置は、６４×６４画素のサイズの最大コーディングユニット(ＬＣＵ)を最大処理単位とするＨＥＶＣ規格だけでなく、６４×６４画素のサイズよりも大きなサイズの最大コーディングユニット(ＬＣＵ)を最大処理単位とする将来出現する規格に準拠した符号化ビットストリームを生成することに適用することも可能である。
更に、図２の量子化出力制御部１１７と、図３の動きベクトル検出制御部１１８と、図４のイントラ予測制御部１１９と、図６の量子化パラメータ制御部１２１は、それぞれ図５の周波数変換制御部１２０と同様に、１個のコーディングユニット(ＣＵ)が動画像信号ＶＳの画素値とパディング処理データＰＤの画素値を同時に含まないように、パーティション動作を実行することが可能である。その結果、符号化ビットストリームＣＶＢＳの符号量を低減することが、可能となる。
また更に、図７のフィルタ制御部１２２も、図５の周波数変換制御部１２０と同様に、１個のコーディングユニット(ＣＵ)が動画像信号ＶＳの画素値とパディング処理データＰＤの画素値を同時に含まないように、パーティション動作を実行することが可能である。その結果、フィルタユニット１０７のデブロッキングフィルタの機能に関する消費電力化を低減することが可能となる。
本発明は、パディング処理に際して、符号化ビットストリームの符号量が増加するのを軽減する動画像符号化装置およびその動作方法に広く適用することができる。
１…動画像符号化装置
１００…パディング処理部
１０１…減算器
１０２…周波数変換部
１０３…量子化部
１０４…逆量子化部
１０５…逆周波数変換部
１０６…加算器
１０７…フィルタユニット
１０８…フレームメモリ
１０９…動きベクトル検出部
１１０…動き補償部
１１１…バッファメモリ
１１２…イントラ予測部
１１３…セレクタ部
１１４…可変長符号化部
１１５…ビデオバッファ
１１６…量子化出力調整部
１１７…量子化出力制御部
１１８…動きベクトル検出制御部
１１９…イントラ予測制御部
１２０…周波数変換制御部
１２１…量子化パラメータ制御部
１２２…フィルタ制御部

Claims (16)

  1. 符号化すべき動画像信号に関係するシンタックスエレメントの動画像符号化処理を実行することによって、符号化ビットストリームを形成する動画像符号化装置であって、
    前記動画像符号化処理に先行して、前記動画像信号にパディング処理データが追加されるパディング処理を前記動画像符号化装置が実行して、
    前記パディング処理により前記パディング処理データが追加された追加動画像信号の横および縦のサイズは、前記動画像符号化処理の符号化ブロックサイズの整数倍に設定されるものであり、
    前記動画像信号に関係する前記シンタックスエレメントの符号化ブロックが、前記動画像信号と前記パディング処理データとのいずれに属するかが前記動画像符号化装置により判定され、
    前記動画像符号化装置の判定によって、前記動画像信号に関係する前記シンタックスエレメントの前記符号化ブロックが前記動画像信号に属すると判定される第１の場合には、第１の符号量を有する前記符号化ビットストリームが形成されるように、前記第１の場合の判定によって前記動画像符号化処理が制御され、
    前記動画像符号化装置の他の判定によって、前記動画像信号に関係する前記シンタックスエレメントの前記符号化ブロックが前記パディング処理データに属すると判定される第２の場合には、前記第１の符号量よりも小さな第２の符号量を有する前記符号化ビットストリームが形成されるように、前記第２の場合の判定によって前記動画像符号化処理が制御され、
    前記動画像符号化装置は、パディング処理部と動きベクトル検出部と動き補償部と減算器と周波数変換部と量子化部と逆量子化部と逆周波数変換部とメモリとイントラ予測部とセレクタ部と可変長符号化部とを具備して、
    前記パディング処理部は、前記パディング処理を実行することによって前記追加動画像信号を生成して前記減算器と前記動きベクトル検出部と前記イントラ予測部に供給して、
    前記動きベクトル検出部は、前記追加動画像信号と前記メモリに格納されたインター参照画像とから動きベクトルを生成して、
    前記動き補償部は、前記動きベクトル検出部から生成される前記動きベクトルと前記メモリに格納された前記インター参照画像とに応答して動き補償予測信号を生成して、
    前記イントラ予測部は、前記追加動画像信号と前記メモリに格納されたイントラ参照画像とからイントラ予測信号を生成して、
    前記セレクタ部は、前記動き補償部から生成される前記動き補償予測信号と前記イントラ予測部から生成される前記イントラ予測信号とから選択された選択予測信号を出力して、
    前記減算器の一方の入力端子には前記追加動画像信号が供給され、前記減算器の他方の入力端子には前記セレクタ部から出力される前記選択予測信号が供給され、前記減算器の出力端子から予測残差が生成され、
    前記減算器の前記出力端子から生成される前記予測残差に関し、前記周波数変換部と前記量子化部とでそれぞれ周波数変換処理と量子化処理とが実行され、
    前記量子化部で量子化処理された前記周波数変換部の前記周波数変換処理の結果は、前記逆量子化部と前記逆周波数変換部とによって局部復号処理が実行され、前記局部復号処理の結果は前記インター参照画像および前記イントラ参照画像として前記メモリに格納され、
    前記量子化部で量子化処理された前記周波数変換部の前記周波数変換処理の前記結果は前記可変長符号化部により符号化処理され、前記可変長符号化部から前記符号化ビットストリームが生成され、
    前記動画像信号に関係する前記シンタックスエレメントは、下記(Ａ)乃至(Ｄ)の情報、
    (Ａ)．前記量子化部で量子化処理された前記周波数変換部の前記周波数変換処理の情報、
    (Ｂ)．前記動きベクトルと前記動き補償予測信号とを使用して、インター予測によって符号化される符号化ブロックの情報、
    (Ｃ)．前記イントラ参照画像を使用してイントラ予測によって符号化される符号化ブロックの情報と、
    (Ｄ)．前記量子化部で量子化処理される符号化ブロックの情報、
    の少なくとも、いずれか１つであり、
    前記動画像符号化装置は、前記周波数変換部に接続された周波数変換制御部を更に具備して、
    前記周波数変換制御部は、前記周波数変換部で実行される前記周波数変換処理のための周波数変換サイズを設定して、
    前記周波数変換制御部によって設定される前記周波数変換サイズに応答して、前記周波数変換部で実行される前記周波数変換処理によって処理される符号化ブロックが前記動画像信号と前記パディング処理データとを同時に含まないように、前記周波数変換部での前記符号化ブロックのパーティション動作が決定される
    動画像符号化装置。
  2. 請求項１において、
    前記動画像符号化装置は、前記量子化部の出力端子と前記可変長符号化部の入力端子および前記逆量子化部の入力端子との間に接続された量子化出力調整部と、前記量子化出力調整部に接続された量子化出力制御部とを更に具備して、
    前記量子化出力制御部は、前記動画像信号に関係する前記シンタックスエレメントである前記量子化部で量子化処理された前記周波数変換部の前記周波数変換処理の前記情報が、前記動画像信号と前記パディング処理データとのいずれに属するかを判定して、
    前記量子化出力調整部には、前記量子化部の量子化処理によって生成される量子化出力信号と、前記量子化出力信号より少ないデータ量を有する調整信号と、前記量子化出力制御部から生成される判定結果とが供給され、
    前記周波数変換処理の前記情報が前記動画像信号に属するとの前記量子化出力制御部の判定結果に応答して、前記量子化出力調整部は前記量子化部から生成される前記量子化出力信号を前記可変長符号化部の前記入力端子と前記逆量子化部の前記入力端子に供給して、
    前記周波数変換処理の前記情報が前記パディング処理データに属するとの前記量子化出力制御部の判定結果に応答して、前記量子化出力調整部は前記調整信号を前記可変長符号化部の前記入力端子と前記逆量子化部の前記入力端子に供給する
    動画像符号化装置。
  3. 請求項１において、
    前記動画像符号化装置は、前記動きベクトル検出部に接続された動きベクトル検出制御部を更に具備して、
    前記動きベクトル検出部は、動きベクトル探索部と予測ベクトル生成部と動きベクトルセレクタ部とを含み、
    前記動きベクトル探索部は、前記追加動画像信号中に含まれてインター予測によって符号化される前記符号化ブロックに関して動きベクトル探索動作を実行して探索動きベクトルを生成して、
    前記予測ベクトル生成部は、前記追加動画像信号中に含まれてインター予測によって符号化される前記符号化ブロックに関して規格Ｈ．２６４または規格Ｈ．２６５で規定された動きベクトル予測方法を実行して予測ベクトルを生成して、
    前記動きベクトル検出制御部は、前記追加動画像信号中に含まれて前記動画像信号に関係する前記シンタックスエレメントであるインター予測によって符号化される前記符号化ブロックが、前記動画像信号と前記パディング処理データとのいずれに属するかを判定して、
    前記動きベクトルセレクタ部には、前記動きベクトル探索部によって生成される前記探索動きベクトルと、前記予測ベクトル生成部によって生成される前記予測ベクトルと、前記動きベクトル検出制御部から生成される判定結果とが供給され、
    前記インター予測によって符号化される前記符号化ブロックが前記動画像信号に属するとの前記動きベクトル検出制御部の判定結果に応答して、前記動きベクトルセレクタ部は前記動きベクトル探索部によって生成される前記探索動きベクトルを、前記動きベクトルとして、前記動き補償部に供給して、
    前記インター予測によって符号化される前記符号化ブロックが前記パディング処理データに属するとの前記動きベクトル検出制御部の判定結果に応答して、前記動きベクトルセレクタ部は前記予測ベクトル生成部によって生成される前記予測ベクトルを、前記動きベクトルとして、前記動き補償部に供給する
    動画像符号化装置。
  4. 請求項１において、
    前記動画像符号化装置は、前記イントラ予測部に接続されたイントラ予測制御部を更に具備して、
    前記イントラ予測部は、イントラ予測方向決定部と近傍予測方向生成部と予測方向セレクタ部とイントラ予測処理部とを含み、
    前記イントラ予測方向決定部は、前記追加動画像信号中に含まれてイントラ予測によって符号化される前記符号化ブロックに関してイントラ予測動作を実行して予測方向を生成して、
    前記近傍予測方向生成部は、前記追加動画像信号中に含まれてイントラ予測によって符号化される前記符号化ブロックに関して規格Ｈ．２６４または規格Ｈ．２６５で規定された近傍方向予測方法を実行して近傍予測方向を生成して、
    前記イントラ予測制御部は、前記追加動画像信号中に含まれて前記動画像信号に関係する前記シンタックスエレメントであるイントラ予測によって符号化される前記符号化ブロックが、前記動画像信号と前記パディング処理データとのいずれに属するかを判定して、
    前記予測方向セレクタ部には、前記イントラ予測方向決定部によって生成される前記予測方向と、前記近傍予測方向生成部によって生成される前記近傍予測方向と、前記イントラ予測制御部から生成される判定結果とが供給され、
    前記イントラ予測によって符号化される前記符号化ブロックが前記動画像信号に属するとの前記イントラ予測制御部の判定結果に応答して、前記予測方向セレクタ部は前記イントラ予測方向決定部によって生成される前記予測方向を、前記イントラ予測処理部に供給して、
    前記イントラ予測処理部は、前記イントラ予測方向決定部によって生成される前記予測方向と前記メモリに格納されたイントラ参照画像から、前記セレクタ部に供給される前記イントラ予測信号を生成して、
    前記イントラ予測によって符号化される前記符号化ブロックが前記パディング処理データに属するとの前記イントラ予測制御部の判定結果に応答して、前記予測方向セレクタ部は前記近傍予測方向生成部によって生成される前記近傍予測方向を、前記イントラ予測処理部に供給して、
    前記イントラ予測処理部は、前記予測方向セレクタ部は前記近傍予測方向生成部によって生成される前記近傍予測方向と前記メモリに格納されたイントラ参照画像から、前記セレクタ部に供給される前記イントラ予測信号を生成する
    動画像符号化装置。
  5. 請求項１において、
    前記動画像符号化装置では、前記周波数変換制御部は、周波数変換サイズ決定部と非クロスオーバー周波数変換サイズ決定部と領域判定部と周波数変換サイズセレクタ部とを含み、
    前記周波数変換サイズ決定部は、規格Ｈ．２６４または規格Ｈ．２６５で規定された複数の種類の周波数変換サイズの候補から１つの選択周波数変換サイズを選択して前記周波数変換サイズセレクタ部の一方の入力端子に供給して、
    前記領域判定部は、前記１つの選択周波数変換サイズを有する符号化ブロックが前記動画像信号と前記パディング処理データとの境界をクロスオーバーするか否かを判定して、
    前記非クロスオーバー周波数変換サイズ決定部は、前記周波数変換処理によって処理される符号化ブロックが前記動画像信号と前記パディング処理データとの前記境界をクロスオーバーしないような非クロスオーバー周波数変換サイズを生成して前記周波数変換サイズセレクタ部の他方の入力端子に供給して、
    前記１つの選択周波数変換サイズを有する前記符号化ブロックが前記境界をクロスオーバーしないとの前記領域判定部の判定結果に応答して、前記周波数変換サイズセレクタ部は前記１つの選択周波数変換サイズを前記周波数変換処理のための前記周波数変換サイズとして前記周波数変換部に供給して、
    前記１つの選択周波数変換サイズを有する前記符号化ブロックが前記境界をクロスオーバーするとの前記領域判定部の判定結果に応答して、前記周波数変換サイズセレクタ部は前記非クロスオーバー周波数変換サイズを前記周波数変換処理のための前記周波数変換サイズとして前記周波数変換部に供給する
    動画像符号化装置。
  6. 請求項１において、
    前記動画像符号化装置は、前記量子化部に接続された量子化パラメータ制御部を更に具備して、
    前記量子化パラメータ制御部は、量子化パラメータ生成部と量子化パラメータレジスタ部と領域判定部と量子化パラメータセレクタ部とを含み、
    前記量子化パラメータ生成部は、前記可変長符号化部から生成される前記符号化ビットストリームの符号量に対応する量子化パラメータを生成して前記量子化パラメータセレクタ部の一方の入力端子と前記量子化パラメータレジスタ部の入力端子とに供給して、
    前記量子化パラメータレジスタ部の出力端子に生成される前記量子化パラメータは、前記量子化パラメータセレクタ部の他方の入力端子に供給され、
    前記領域判定部は、前記動画像信号に関係する前記シンタックスエレメントである前記量子化部で量子化処理される符号化ブロックが、前記動画像信号と前記パディング処理データとのいずれに属するかを判定して、
    前記量子化部で量子化処理される前記符号化ブロックが前記動画像信号に属するとの前記領域判定部の判定結果に応答して、前記量子化パラメータセレクタ部は前記量子化パラメータ生成部から前記一方の入力端子に供給される前記量子化パラメータを前記量子化部に供給して、
    前記量子化部で量子化処理される前記符号化ブロックが前記パディング処理データに属するとの前記領域判定部の判定結果に応答して、前記量子化パラメータセレクタ部は前記量子化パラメータレジスタ部の前記出力端子から前記他方の入力端子に供給される前記量子化パラメータを前記量子化部に供給する
    動画像符号化装置。
  7. 請求項１乃至請求項６のいずれかにおいて、
    前記動画像符号化装置は、前記メモリに接続されたフィルタユニットと、フィルタ制御部とを更に具備して、
    前記フィルタユニットは、前記逆量子化部と前記逆周波数変換部によって実行される前記局部復号処理の前記結果に関してデブロッキングフィルタ処理を実行して、前記デブロッキングフィルタ処理の結果を前記メモリに格納するものであり、
    前記フィルタ制御部は、前記フィルタユニットによる前記デブロッキングフィルタ処理が実行される前記局部復号処理の前記結果が前記動画像信号と前記パディング処理データとのいずれに属するかを判定して、
    前記フィルタユニットによる前記デブロッキングフィルタ処理が実行される前記局部復号処理の前記結果が前記動画像信号に属するとの前記フィルタ制御部の判定結果に応答して、前記フィルタユニットによる前記デブロッキングフィルタ処理が実行され、
    前記フィルタユニットによる前記デブロッキングフィルタ処理が実行される前記局部復号処理の前記結果が前記パディング処理データに属するとの前記フィルタ制御部の判定結果に応答して、前記フィルタユニットによる前記デブロッキングフィルタ処理の実行が停止される
    動画像符号化装置。
  8. 請求項１乃至請求項６のいずれかにおいて、
    前記動画像符号化装置で、前記動きベクトル検出部と前記動き補償部と前記減算器と前記周波数変換部と前記量子化部と前記逆量子化部と前記逆周波数変換部と前記イントラ予測部と前記セレクタ部と前記可変長符号化部とは、半導体集積回路の１個の半導体チップに集積化される
    動画像符号化装置。
  9. 請求項１乃至請求項６のいずれかにおいて、
    前記動画像符号化処理の前記符号化ブロックサイズは、１６画素×１６画素のサイズを有するマクロブロックと６４画素×６４画素のサイズを有する最大コーディングユニットから形成可能なコーディングユニットとのいずれかである
    動画像符号化装置。
  10. 請求項１乃至請求項６のいずれかにおいて、
    前記動画像符号化装置は、規格Ｈ．２６４と規格Ｈ．２６５とから任意に選択された方式に準拠して前記動画像信号の動画像符号化処理を実行して、前記符号化ビットストリームを形成する
    動画像符号化装置。
  11. 請求項１乃至請求項６のいずれかにおいて、
    前記動画像符号化装置は、画像分割部と複数の動画像符号化処理部とを含み、
    前記画像分割部は、前記動画像信号を分割することによって複数の分割動画像信号を生成して、
    前記画像分割部によって生成された前記複数の分割動画像信号は、前記複数の動画像符号化処理部によって並列処理されるものであり、
    前記複数の動画像符号化処理部の各動画像符号化処理部は、前記動きベクトル検出部と前記動き補償部と前記減算器と前記周波数変換部と前記量子化部と前記逆量子化部と前記逆周波数変換部と前記イントラ予測部と前記セレクタ部と前記可変長符号化部を含む
    動画像符号化装置。
  12. 請求項１１において、
    前記動画像符号化装置では、前記画像分割部と前記複数の動画像符号化処理部とは、半導体集積回路の１個の半導体チップに集積化された
    動画像符号化装置。
  13. 符号化すべき動画像信号に関係するシンタックスエレメントの動画像符号化処理を実行することによって符号化ビットストリームを形成する動画像符号化装置の動作方法であって、
    前記動画像符号化処理に先行して、前記動画像信号にパディング処理データが追加されるパディング処理を前記動画像符号化装置が実行して、
    前記パディング処理により前記パディング処理データが追加された追加動画像信号の横および縦のサイズは、前記動画像符号化処理の符号化ブロックサイズの整数倍に設定されるものであり、
    前記動画像信号に関係する前記シンタックスエレメントの符号化ブロックが、前記動画像信号と前記パディング処理データとのいずれに属するかが前記動画像符号化装置により判定され、
    前記動画像符号化装置の判定によって、前記動画像信号に関係する前記シンタックスエレメントの前記符号化ブロックが前記動画像信号に属すると判定される第１の場合には、第１の符号量を有する前記符号化ビットストリームが形成されるように、前記第１の場合の判定によって前記動画像符号化処理が制御され、
    前記動画像符号化装置の他の判定によって、前記動画像信号に関係する前記シンタックスエレメントの前記符号化ブロックが前記パディング処理データに属すると判定される第２の場合には、前記第１の符号量よりも小さな第２の符号量を有する前記符号化ビットストリームが形成されるように、前記第２の場合の判定によって前記動画像符号化処理が制御され、
    前記動画像符号化装置は、パディング処理部と動きベクトル検出部と動き補償部と減算器と周波数変換部と量子化部と逆量子化部と逆周波数変換部とメモリとイントラ予測部とセレクタ部と可変長符号化部とを具備して、
    前記パディング処理部は、前記パディング処理を実行することによって前記追加動画像信号を生成して前記減算器と前記動きベクトル検出部と前記イントラ予測部に供給して、
    前記動きベクトル検出部は、前記追加動画像信号と前記メモリに格納されたインター参照画像とから動きベクトルを生成して、
    前記動き補償部は、前記動きベクトル検出部から生成される前記動きベクトルと前記メモリに格納された前記インター参照画像とに応答して動き補償予測信号を生成して、
    前記イントラ予測部は、前記追加動画像信号と前記メモリに格納されたイントラ参照画像とからイントラ予測信号を生成して、
    前記セレクタ部は、前記動き補償部から生成される前記動き補償予測信号と前記イントラ予測部から生成される前記イントラ予測信号とから選択された選択予測信号を出力して、
    前記減算器の一方の入力端子には前記追加動画像信号が供給され、前記減算器の他方の入力端子には前記セレクタ部から出力される前記選択予測信号が供給され、前記減算器の出力端子から予測残差が生成され、
    前記減算器の前記出力端子から生成される前記予測残差に関し、前記周波数変換部と前記量子化部とでそれぞれ周波数変換処理と量子化処理とが実行され、
    前記量子化部で量子化処理された前記周波数変換部の前記周波数変換処理の結果は、前記逆量子化部と前記逆周波数変換部とによって局部復号処理が実行され、前記局部復号処理の結果は前記インター参照画像および前記イントラ参照画像として前記メモリに格納され、
    前記量子化部で量子化処理された前記周波数変換部の前記周波数変換処理の前記結果は前記可変長符号化部により符号化処理され、前記可変長符号化部から前記符号化ビットストリームが生成され、
    前記動画像信号に関係する前記シンタックスエレメントは、下記(Ａ)乃至(Ｄ)の情報、
    (Ａ)．前記量子化部で量子化処理された前記周波数変換部の前記周波数変換処理の情報、
    (Ｂ)．前記動きベクトルと前記動き補償予測信号とを使用して、インター予測によって符号化される符号化ブロックの情報、
    (Ｃ)．前記イントラ参照画像を使用してイントラ予測によって符号化される符号化ブロックの情報と、
    (Ｄ)．前記量子化部で量子化処理される符号化ブロックの情報、
    の少なくとも、いずれか１つであり、
    前記動画像符号化装置は、前記周波数変換部に接続された周波数変換制御部を更に具備して、
    前記周波数変換制御部は、前記周波数変換部で実行される前記周波数変換処理のための周波数変換サイズを設定して、
    前記周波数変換制御部によって設定される前記周波数変換サイズに応答して、前記周波数変換部で実行される前記周波数変換処理によって処理される符号化ブロックが前記動画像信号と前記パディング処理データとを同時に含まないように、前記周波数変換部での前記符号化ブロックのパーティション動作が決定される
    動画像符号化装置の動作方法。
  14. 請求項１３において、
    前記動画像符号化装置は、前記量子化部の出力端子と前記可変長符号化部の入力端子および前記逆量子化部の入力端子との間に接続された量子化出力調整部と、前記量子化出力調整部に接続された量子化出力制御部とを更に具備して、
    前記量子化出力制御部は、前記動画像信号に関係する前記シンタックスエレメントである前記量子化部で量子化処理された前記周波数変換部の前記周波数変換処理の前記情報が、前記動画像信号と前記パディング処理データとのいずれに属するかを判定して、
    前記量子化出力調整部には、前記量子化部の量子化処理によって生成される量子化出力信号と、前記量子化出力信号より少ないデータ量を有する調整信号と、前記量子化出力制御部から生成される判定結果とが供給され、
    前記周波数変換処理の前記情報が前記動画像信号に属するとの前記量子化出力制御部の判定結果に応答して、前記量子化出力調整部は前記量子化部から生成される前記量子化出力信号を前記可変長符号化部の前記入力端子と前記逆量子化部の前記入力端子に供給して、
    前記周波数変換処理の前記情報が前記パディング処理データに属するとの前記量子化出力制御部の判定結果に応答して、前記量子化出力調整部は前記調整信号を前記可変長符号化部の前記入力端子と前記逆量子化部の前記入力端子に供給する
    動画像符号化装置の動作方法。
  15. 請求項１４において、
    前記動画像符号化装置は、前記動きベクトル検出部に接続された動きベクトル検出制御部を更に具備して、
    前記動きベクトル検出部は、動きベクトル探索部と予測ベクトル生成部と動きベクトルセレクタ部とを含み、
    前記動きベクトル探索部は、前記追加動画像信号中に含まれてインター予測によって符号化される前記符号化ブロックに関して動きベクトル探索動作を実行して探索動きベクトルを生成して、
    前記予測ベクトル生成部は、前記追加動画像信号中に含まれてインター予測によって符号化される前記符号化ブロックに関して規格Ｈ．２６４または規格Ｈ．２６５で規定された動きベクトル予測方法を実行して予測ベクトルを生成して、
    前記動きベクトル検出制御部は、前記追加動画像信号中に含まれて前記動画像信号に関係する前記シンタックスエレメントであるインター予測によって符号化される前記符号化ブロックが、前記動画像信号と前記パディング処理データとのいずれに属するかを判定して、
    前記動きベクトルセレクタ部には、前記動きベクトル探索部によって生成される前記探索動きベクトルと、前記予測ベクトル生成部によって生成される前記予測ベクトルと、前記動きベクトル検出制御部から生成される判定結果とが供給され、
    前記インター予測によって符号化される前記符号化ブロックが前記動画像信号に属するとの前記動きベクトル検出制御部の判定結果に応答して、前記動きベクトルセレクタ部は前記動きベクトル探索部によって生成される前記探索動きベクトルを、前記動きベクトルとして、前記動き補償部に供給して、
    前記インター予測によって符号化される前記符号化ブロックが前記パディング処理データに属するとの前記動きベクトル検出制御部の判定結果に応答して、前記動きベクトルセレクタ部は前記予測ベクトル生成部によって生成される前記予測ベクトルを、前記動きベクトルとして、前記動き補償部に供給する
    動画像符号化装置の動作方法。
  16. 請求項１３において、
    前記動画像符号化装置は、前記イントラ予測部に接続されたイントラ予測制御部を更に具備して、
    前記イントラ予測部は、イントラ予測方向決定部と近傍予測方向生成部と予測方向セレクタ部とイントラ予測処理部とを含み、
    前記イントラ予測方向決定部は、前記追加動画像信号中に含まれてイントラ予測によって符号化される前記符号化ブロックに関してイントラ予測動作を実行して予測方向を生成して、
    前記近傍予測方向生成部は、前記追加動画像信号中に含まれてイントラ予測によって符号化される前記符号化ブロックに関して規格Ｈ．２６４または規格Ｈ．２６５で規定された近傍方向予測方法を実行して近傍予測方向を生成して、
    前記イントラ予測制御部は、前記追加動画像信号中に含まれて前記動画像信号に関係する前記シンタックスエレメントであるイントラ予測によって符号化される前記符号化ブロックが、前記動画像信号と前記パディング処理データとのいずれに属するかを判定して、
    前記予測方向セレクタ部には、前記イントラ予測方向決定部によって生成される前記予測方向と、前記近傍予測方向生成部によって生成される前記近傍予測方向と、前記イントラ予測制御部から生成される判定結果とが供給され、
    前記イントラ予測によって符号化される前記符号化ブロックが前記動画像信号に属するとの前記イントラ予測制御部の判定結果に応答して、前記予測方向セレクタ部は前記イントラ予測方向決定部によって生成される前記予測方向を、前記イントラ予測処理部に供給して、
    前記イントラ予測処理部は、前記イントラ予測方向決定部によって生成される前記予測方向と前記メモリに格納されたイントラ参照画像から、前記セレクタ部に供給される前記イントラ予測信号を生成して、
    前記イントラ予測によって符号化される前記符号化ブロックが前記パディング処理データに属するとの前記イントラ予測制御部の判定結果に応答して、前記予測方向セレクタ部は前記近傍予測方向生成部によって生成される前記近傍予測方向を、前記イントラ予測処理部に供給して、
    前記イントラ予測処理部は、前記予測方向セレクタ部は前記近傍予測方向生成部によって生成される前記近傍予測方向と前記メモリに格納されたイントラ参照画像から、前記セレクタ部に供給される前記イントラ予測信号を生成する
    動画像符号化装置の動作方法。
JP2015528022A 2013-07-22 2013-07-22 動画像符号化装置およびその動作方法 Active JP6100904B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2013/069753 WO2015011752A1 (ja) 2013-07-22 2013-07-22 動画像符号化装置およびその動作方法

Publications (2)

Publication Number Publication Date
JPWO2015011752A1 JPWO2015011752A1 (ja) 2017-03-02
JP6100904B2 true JP6100904B2 (ja) 2017-03-22

Family

ID=52392838

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015528022A Active JP6100904B2 (ja) 2013-07-22 2013-07-22 動画像符号化装置およびその動作方法

Country Status (7)

Country Link
US (1) US10356437B2 (ja)
EP (1) EP3026906B1 (ja)
JP (1) JP6100904B2 (ja)
KR (1) KR102167350B1 (ja)
CN (1) CN105379284B (ja)
TW (1) TWI626842B (ja)
WO (1) WO2015011752A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019039920A1 (ko) * 2017-08-25 2019-02-28 가온미디어 주식회사 가상 현실 영상의 부호화/복호화 방법 및 그 장치

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105659594A (zh) * 2013-10-17 2016-06-08 联发科技股份有限公司 发送/接收图片的压缩的像素数据组和像素数据分组设定的指示信息的数据处理装置以及相关数据处理方法
KR102365685B1 (ko) * 2015-01-05 2022-02-21 삼성전자주식회사 인코더의 작동 방법과 상기 인코더를 포함하는 장치들
CN105992000B (zh) * 2015-03-06 2019-03-22 扬智科技股份有限公司 影像流的处理方法及其影像处理装置
JP6604750B2 (ja) * 2015-06-12 2019-11-13 キヤノン株式会社 撮像装置、撮像装置の制御方法、及びプログラム
WO2016209153A1 (en) * 2015-06-26 2016-12-29 Telefonaktiebolaget Lm Ericsson (Publ) Encoding and decoding of pictures in a video
US10375156B2 (en) 2015-09-11 2019-08-06 Facebook, Inc. Using worker nodes in a distributed video encoding system
US10063872B2 (en) 2015-09-11 2018-08-28 Facebook, Inc. Segment based encoding of video
US10341561B2 (en) * 2015-09-11 2019-07-02 Facebook, Inc. Distributed image stabilization
US10506235B2 (en) 2015-09-11 2019-12-10 Facebook, Inc. Distributed control of video encoding speeds
US10602153B2 (en) 2015-09-11 2020-03-24 Facebook, Inc. Ultra-high video compression
US10602157B2 (en) 2015-09-11 2020-03-24 Facebook, Inc. Variable bitrate control for distributed video encoding
US10499070B2 (en) 2015-09-11 2019-12-03 Facebook, Inc. Key frame placement for distributed video encoding
US20170150176A1 (en) 2015-11-25 2017-05-25 Qualcomm Incorporated Linear-model prediction with non-square prediction units in video coding
WO2017158850A1 (ja) * 2016-03-18 2017-09-21 株式会社ソシオネクスト 画像処理装置、および画像処理方法
FI20165256A (fi) * 2016-03-24 2017-09-25 Nokia Technologies Oy Laitteisto, menetelmä ja tietokoneohjelma videokoodaukseen ja -dekoodaukseen
CN116527945A (zh) * 2017-07-17 2023-08-01 汉阳大学校产学协力团 影像编码/解码方法及装置
CN107959885B (zh) * 2017-12-12 2020-05-19 华中科技大学 一种加密视频的运动检测方法
US10491897B2 (en) * 2018-04-13 2019-11-26 Google Llc Spatially adaptive quantization-aware deblocking filter
WO2020168520A1 (zh) * 2019-02-21 2020-08-27 深圳市大疆创新科技有限公司 编码器、编码系统和编码方法
MX2022001243A (es) 2019-08-06 2022-02-17 Beijing Bytedance Network Tech Co Ltd Particion de region de video basada en formato de color.
EP4008109A4 (en) 2019-09-02 2022-09-14 Beijing Bytedance Network Technology Co., Ltd. ENCODING MODE DETERMINATION BASED ON COLOR FORMAT
JP7189854B2 (ja) * 2019-09-19 2022-12-14 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
EP4018662A4 (en) 2019-09-21 2023-05-03 Beijing Bytedance Network Technology Co., Ltd. SIZE LIMITATION BASED ON CHROMA INTRA MODE
US20220368899A1 (en) * 2019-10-07 2022-11-17 Sk Telecom Co., Ltd. Method for splitting picture and decoding apparatus

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2990890B2 (ja) 1991-09-27 1999-12-13 日本電気株式会社 画像信号の符号化方法と符号化装置
JPH07203434A (ja) 1993-12-30 1995-08-04 Canon Inc 画像送信装置
JPH09322164A (ja) * 1996-05-31 1997-12-12 Nec Corp 画像信号圧縮装置および画像信号圧縮伸張装置
JP3373117B2 (ja) 1996-06-28 2003-02-04 沖電気工業株式会社 画像符号化装置
JP2002051338A (ja) * 2000-08-01 2002-02-15 Canon Inc 直交変換装置及び直交変換方法
JP2005065239A (ja) * 2003-07-28 2005-03-10 Matsushita Electric Ind Co Ltd 動画像の復号化装置
US7822123B2 (en) 2004-10-06 2010-10-26 Microsoft Corporation Efficient repeat padding for hybrid video sequence with arbitrary video resolution
JP4114885B2 (ja) * 2005-10-31 2008-07-09 松下電器産業株式会社 画像符号化装置、方法、及びプログラム
JP2009100041A (ja) 2007-10-12 2009-05-07 Toshiba Corp 画像復号装置
US8121197B2 (en) * 2007-11-13 2012-02-21 Elemental Technologies, Inc. Video encoding and decoding using parallel processors
JP2010193401A (ja) * 2009-02-20 2010-09-02 Canon Inc 画像符号化方法及び画像符号化装置
KR101700358B1 (ko) * 2009-12-09 2017-01-26 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
EP2557792A4 (en) * 2010-04-09 2014-08-13 Mitsubishi Electric Corp VIDEO CODING DEVICE AND VIDEO CODING DEVICE
EP2606646A1 (en) * 2010-10-01 2013-06-26 General Instrument Corporation Coding and decoding utilizing picture boundary padding in flexible partitioning
CN101969562B (zh) * 2010-10-27 2015-07-01 北京中星微电子有限公司 一种帧宽高为非16整数倍的视频编码方法及编码器
US8654860B2 (en) 2010-11-01 2014-02-18 Mediatek Inc. Apparatus and method for high efficiency video coding using flexible slice structure
US9930366B2 (en) * 2011-01-28 2018-03-27 Qualcomm Incorporated Pixel level adaptive intra-smoothing
JP5741092B2 (ja) * 2011-03-15 2015-07-01 富士通株式会社 画像符号化方法及び画像符号化装置
EP2533537A1 (en) * 2011-06-10 2012-12-12 Panasonic Corporation Transmission of picture size for image or video coding

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019039920A1 (ko) * 2017-08-25 2019-02-28 가온미디어 주식회사 가상 현실 영상의 부호화/복호화 방법 및 그 장치

Also Published As

Publication number Publication date
KR20160034903A (ko) 2016-03-30
KR102167350B1 (ko) 2020-10-19
CN105379284A (zh) 2016-03-02
EP3026906B1 (en) 2020-03-25
TWI626842B (zh) 2018-06-11
CN105379284B (zh) 2020-02-21
EP3026906A1 (en) 2016-06-01
EP3026906A4 (en) 2017-04-05
WO2015011752A1 (ja) 2015-01-29
JPWO2015011752A1 (ja) 2017-03-02
US20160156926A1 (en) 2016-06-02
TW201505422A (zh) 2015-02-01
US10356437B2 (en) 2019-07-16

Similar Documents

Publication Publication Date Title
JP6100904B2 (ja) 動画像符号化装置およびその動作方法
US11647231B2 (en) Image processing device and image processing method
JP7269257B2 (ja) フレームレベル超解像ベースビデオ符号化
JP6120707B2 (ja) 動画像符号化装置およびその動作方法
US9380311B2 (en) Method and system for generating a transform size syntax element for video decoding
JP6212345B2 (ja) 動画像符号化装置およびその動作方法
US20140254660A1 (en) Video encoder, method of detecting scene change and method of controlling video encoder
Ma et al. Overview of IEEE 1857 video coding standard
US11563975B2 (en) Motion compensation boundary filtering
JP6234770B2 (ja) 動画像復号処理装置、動画像符号化処理装置およびその動作方法
EP3751850A1 (en) Motion compensation boundary filtering
Ma et al. AVS: An Application-Oriented Video Coding Standard
Lin Achieving re-loss-free video coding in a class of H. 264 like hybrid coding

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170112

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170209

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170223

R150 Certificate of patent or registration of utility model

Ref document number: 6100904

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250