JPWO2009130971A1 - 動画像符号化装置および動画像復号装置 - Google Patents

動画像符号化装置および動画像復号装置 Download PDF

Info

Publication number
JPWO2009130971A1
JPWO2009130971A1 JP2010509122A JP2010509122A JPWO2009130971A1 JP WO2009130971 A1 JPWO2009130971 A1 JP WO2009130971A1 JP 2010509122 A JP2010509122 A JP 2010509122A JP 2010509122 A JP2010509122 A JP 2010509122A JP WO2009130971 A1 JPWO2009130971 A1 JP WO2009130971A1
Authority
JP
Japan
Prior art keywords
block
motion
unit
prediction mode
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010509122A
Other languages
English (en)
Other versions
JP5049386B2 (ja
Inventor
友子 青野
友子 青野
伊藤　典男
典男 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2010509122A priority Critical patent/JP5049386B2/ja
Publication of JPWO2009130971A1 publication Critical patent/JPWO2009130971A1/ja
Application granted granted Critical
Publication of JP5049386B2 publication Critical patent/JP5049386B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

標準規格ＭＰＥＧ−４ ＡＶＣ／Ｈ.２６４と互換性を保ちながら、動領域に対する符号化歪の抑制と再生画像の高画質化の処理を追加できる動画像符号化装置を提供する。この動画像符号化装置は、動画像を小ブロックに分割し、当該ブロック毎に予測モードとしてイントラ予測モードまたはインター予測モードのいずれかを選択して符号化データを出力する動画像符号化装置であって、カメラの撮影パラメータに基づいてカメラの動きに対応する画像の動き量を算出する動き量算出部と、前記ブロック毎にインター予測モードで用いた動きベクトルと前記動き量とを比較する比較部と、前記比較結果に応じ前記動き量と該当するブロックの位置情報とを符号化して、前記符号化データに付加する付加データ符号化部と、を備える。

Description

本発明は、装置の性能に応じた符号化・復号処理が可能な動画像符号化装置および動画像復号装置に関する。
動画像符号化技術の最新の国際標準であるＭＰＥＧ−４ ＡＶＣ／Ｈ.２６４（以降、Ｈ.２６４と略記する）は、イントラ予測技術およびインター予測技術の改良によって、従来の符号化技術に対して予測性能が向上している。
例えば、イントラ予測技術では、従来、ＤＣＴ（Discrete Cosine Transform）後の変換係数に対して予測を行っており、予測方法もＤＣ予測、水平／垂直方向のＡＣ予測の３種類であった。
しかし、Ｈ.２６４では、ＤＣＴ前の画素値に対して予測を行っており、予測方法は４×４ブロック単位で９種類、８×８ブロック単位で９種類、１６×１６ブロック単位で４種類と多くの予測モードから最適な予測モードを選択できるため、予測精度が高まっている。
また、インター予測技術では、動き補償は従来１６×１６ブロックサイズおよび８×８ブロックサイズのみであった。
しかし、Ｈ.２６４では、１６×１６、１６×８、８×１６、８×８、８×４、４×８、４×４と７種類に増えており、予測精度は高まっている。
このように予測精度が高くなったため、従来と同程度の画質を実現する場合でも、予測誤差が小さくなり、符号化に必要な符号量が削減されることになったが、一方では、量子化幅が粗い場合、従来とは異なる歪が現れるという問題がでてきた。
例えば、パンのようなカメラワークによって画像全体が動く場合、あるいは画像の一部だけが動く場合においても、従来はインター予測の性能がイントラ予測の性能を上回っており、動領域に対してはほとんどインター予測が選択されていた。
しかし、Ｈ．２６４では、同一画面内での予測精度が向上したため、テクスチャの乏しい平坦な領域では動領域であってもイントラ予測が選択されるようになった。
このように、イントラ予測を選択したブロックとインター予測を選択したブロックが混在すると、テクスチャの細かさが異なるため、見た目の印象が悪くなるという問題、また、インター予測の代わりにイントラ予測が選択された場合、画像のテクスチャを再現しにくいという問題がでてきた。
さらに、従来、コンテンツを符号化する際には、ランダムアクセスや高速再生のために、周期的にキーフレーム（あるいはフィールド、以降ではまとめてフレームと呼ぶ）を挿入していた。
Ｈ．２６４では、このキーフレームとして、ＩＤＲ(Instantaneous Decoder Refresh)ピクチャを用い、ＩＤＲピクチャより後に復号されるピクチャがＩＤＲピクチャより前に復号されたピクチャを参照することを禁止するクローズドＧＯＰ(Group Of Pictures)の構造をとることが多い。
この場合、複雑度の高いテクスチャを持つ静止シーンやゆっくり動くパン等のシーンでは、ノイズの影響を受けて、ループ内フィルタの強度の違いや選択されるイントラ予測モードの違いがＩＤＲピクチャ毎に発生し、ＩＤＲピクチャ挿入間隔（ＧＯＰ）単位のフリッカというユーザに認識される歪として現れるようになった。
上記の問題を解決するために、非特許文献１では、カメラワークで画面全体が動くシーンにおいては、ＰおよびＢピクチャの予測モード決定時に、画面全体の動きや符号化対象ブロック近傍のイントラ予測ブロックの割合を考慮してイントラ／インター予測モードの選択方法を提案している。
また、特許文献１では、ＧＯＰ単位のフリッカが認識されやすいと判定された場合は、クローズドＧＯＰではなくオープンＧＯＰを使って符号化する方法や、イントラ／インター予測モードの選択方法を変更して、時間方向の画像の変化が突然現れて歪（フリッカ）として認識されることを回避する方法を提案している。
また、特許文献２では、符号化データの情報をもとに、復号装置側で時間および空間方向のフィルタリング強度を調整し、フリッカが発生しやすいと判定された部分のテクスチャをぼかすことで歪（フリッカ）を抑制する方法を提案している。
吉野知伸、外２名、「Ｈ.２６４／ＭＰＥＧ−４ ＡＶＣ符号化における主観画質向上に関する一検討」、２００６年度映像情報メディア学会冬季大会予稿集、映像情報メディア学会、２００６年１２月、Ｎｏ．１−１ 特開２００７−２１４７８５号公報 特開２００６−２２９４１１号公報
しかしながら、非特許文献１では、次のような問題点がある。
・画面全体の動きの計算が新たに必要となり処理量が増大する。
・コスト計算の結果、もともとイントラ予測を選択した方が小さい符号量になると判定されたブロックをインター予測に変更してしまうため、符号量が増加する場合がでてきてしまう。
・画面全体が動くシーンが対象であるため、画面の一部のみが動領域であるシーンに対しては適応できない。
また、特許文献１では、次のような問題点がある。
・オープンＧＯＰに変更した場合、正常に復号できないピクチャが発生するため、この正常に復号できなかったピクチャを表示しないようにする等の、追加の処理が必要になる。
・ワンセグのようなオープンＧＯＰに対応できないアプリケーションには適用することができない。
また、特許文献２では、フィルタの強度を部分的に変更するため、誤判定した場合にかえってフリッカが目立ったり、フィルタ強度の調整が難しい等の問題がある。
本発明は、上述の実情を考慮してなされたものであって、標準規格ＭＰＥＧ−４ ＡＶＣ／Ｈ.２６４と互換性を保ちながら、動領域に対する符号化歪の抑制と再生画像の高画質化の処理を追加できる動画像符号化装置および動画像復号装置を提供することを目的とする。
上記の課題を解決するために、本発明を次のような構成とする。
動画像符号化装置は、動画像を小ブロックに分割し、当該ブロック毎に予測モードとしてイントラ予測モードまたはインター予測モードのいずれかを選択して符号化データを出力する動画像符号化装置であって、カメラの撮影パラメータに基づいてカメラの動きに対応する画像の動き量を算出する動き量算出部と、前記ブロック毎にインター予測モードで用いた動きベクトルと前記動き量とを比較する比較部と、前記比較結果に応じ前記動き量と該当するブロックの位置情報とを符号化して、前記符号化データに付加する付加データ符号化部と、を備えたものである。
上記の動画像符号化装置に対しては、動画像を小ブロックに分割し、当該ブロック毎に予測モードとしてイントラ予測モードまたはインター予測モードのいずれかを選択して符号化された符号化データを復号処理するとともに、前記ブロック毎にインター予測モードで用いた動きベクトルと、カメラの動きに対応する画像の動き量との比較結果に応じ前記動き量と該当するブロックの位置情報とを符号化して前記符号化データに付加された付加データを取得して復号処理する動画像復号装置であって、前記符号化データに付加された付加データを復号処理して、動き量とブロックの位置情報を取得する付加データ復号部と、前記動き量から動き補償ブロックを生成する動き補償部と、前記位置情報のブロックに該当する前記符号化データの復号処理されたブロックの画像と前記動き補償部で生成された動き補償ブロックの画像とを合成する合成部と、を備えるものである。
さらに、他の構成として、動画像符号化装置は、動画像を小ブロックに分割し、当該ブロック毎に予測モードとしてイントラ予測モードまたはインター予測モードのいずれかを選択して符号化データを出力する動画像符号化装置であって、キーフレームについて、カメラの撮影パラメータに基づいてカメラの動きに対応する画像の動き量を算出する動き量算出部と、前記動き量が所定値以下の場合に、前記ブロック毎にインター予測モードで用いた動きベクトルと前記動き量とを比較する比較部と、前記比較結果に応じ前記動き量と該当するブロックの位置情報とを符号化して、前記符号化データに付加する付加データ符号化部と、を備えるものである。
上記の他の構成の動画像符号化装置に対しては、動画像を小ブロックに分割し、当該ブロック毎に予測モードとしてイントラ予測モードまたはインター予測モードのいずれかを選択して符号化された符号化データを復号処理するとともに、キーフレームについて、カメラの動きに対応する画像の動き量が所定値以下の場合に、前記ブロック毎にインター予測モードで用いた動きベクトルと、前記動き量との比較結果に応じ前記動き量と該当するブロックの位置情報とを符号化して前記符号化データに付加された付加データを取得して復号処理する動画像復号装置であって、キーフレームについて、前記符号化データに付加された付加データを復号処理して、動き量とブロックの位置情報を取得する付加データ復号部と、前記動き量から動き補償ブロックを生成する動き補償部と、前記位置情報のブロックに該当する前記符号化データの復号処理されたブロックの画像と前記動き補償部で生成された動き補償ブロックの画像とを合成する合成部と、を備えるものである。
本発明により、標準規格ＭＰＥＧ−４ ＡＶＣ／Ｈ.２６４と互換性を保ちながら、動領域に対する符号化歪の抑制と再生画像の高画質化の処理を追加できる。
実施形態１に係る動画像符号化装置の構成を示すブロック図である。 動き量または動きベクトルを必要とするブロックの位置情報を説明する図である。 実施形態１に係る動画像符号化装置の付加データの処理手順を説明するフローチャートである。 実施形態１に係る動画像復号装置の構成を示すブロック図である。 実施形態１に係る動画像復号装置のポスト処理部の構成を示すブロック図である。 実施形態２に係る動画像符号化装置の付加データの処理手順を説明するフローチャートである。 実施形態３に係る動画像符号化装置の構成を示すブロック図である。 実施形態３に係る動画像符号化装置の付加データの処理手順を説明するフローチャートである。
符号の説明
１０１…直交変換部、１０２…量子化部、１０３…可変長符号化部、１０４…レート制御部、１０５…逆量子化部、１０６…逆直交変換部、１０７…加算部、１０８…ループ内フィルタ、１０９…フレームメモリ、１１０…イントラ予測部、１１１…動き検出部、１１２…動き補償部、１１３…予測モード決定部、１１４…減算部、１１５…画素数算出部（動き量算出部）、１１６…比較部、１１７…付加データ符号化部、１１８…符号化データ再構成部、
４０１…入力バッファ、４０２…可変長復号部、４０３…逆量子化部、４０４…逆直交変換部、４０５…加算部、４０６…ループ内フィルタ、４０７…フレームメモリ、４０８…イントラ予測部、４０９…動き補償部、４１０…切替スイッチ、４１１…付加データ復号部、４１２…ポスト処理部、５０１…合成部、５０２…動き補償部、５０３…位置情報判定部。
以下、図面を参照して、本発明に係る好適な実施形態について説明する。
＜実施形態１＞
図１は、実施形態１に係る動画像符号化装置の構成を示すブロック図である。図１において、動画像符号化装置は、直交変換部１０１、量子化部１０２、可変長符号化部１０３、レート制御部１０４、逆量子化部１０５、逆直交変換部１０６、加算部１０７、ループ内フィルタ１０８、フレームメモリ１０９、イントラ予測部１１０、動き検出部１１１、動き補償部１１２、予測モード決定部１１３、減算部１１４、画素数算出部（動き量算出部）１１５、比較部１１６、付加データ符号化部１１７、符号化データ再構成部１１８とから構成される。
以上の構成のうち、直交変換部１０１、量子化部１０２、可変長符号化部１０３、レート制御部１０４、逆量子化部１０５、逆直交変換部１０６、加算部１０７、ループ内フィルタ１０８、フレームメモリ１０９、イントラ予測部１１０、動き検出部１１１、動き補償部１１２、予測モード決定部１１３、減算部１１４は、Ｈ.２６４準拠の動画像符号化装置では公知の構成であるので簡単に説明する。
Ｈ.２６４準拠の符号化方法では、動画像ストリームを構成するフレームをマクロブロック単位に分割し、マクロブロックごとに符号化を実行する。そして、マクロブロックごとにイントラ予測モード、インター予測モードおよびそれら以外のいずれかを判断して符号化が実行される。
イントラ予測モードにおいては、符号化対象ブロックの予測ブロックが生成され、符号化対象ブロックと予測ブロックから計算された予測誤差ブロックが直交変換、量子化および可変長符号化によって符号化される。
また、インター予測モードにおいては、符号化対象ブロックと、これに対応する参照フレーム上の領域の位置関係を動きベクトルとして検出し、符号化対象フレームから動きベクトル分変位した参照フレーム上の領域を予測ブロックとし、符号化対象ブロックと予測ブロックから計算された予測誤差ブロックが、直交変換、量子化および可変長符号化によって符号化される。
以下、各構成要素について説明する。
減算部１１４は、入力画像の符号化対象ブロックと予測モード決定部１１３から入力した予測ブロックとの予測誤差ブロックを計算し、直交変換部１０１に出力する。
直交変換部１０１は、減算部１１４から入力した予測誤差ブロックに離散コサイン変換などの直交変換を施して生成した変換係数を量子化部１０２に出力する。
量子化部１０２は、レート制御部１０４から入力した量子化パラメータを基に、当該量子化パラメータに応じて規定される量子化スケールで、直交変換部１０１から出力された変換係数を量子化して可変長符号化部１０３および逆量子化部１０５に出力する。
レート制御部１０４は、可変長符号化部１０３で発生する符号量を監視し、目標符号量に合わせるための量子化パラメータを決定し、これを量子化部１０２に出力する。
可変長符号化部１０３は、量子化部１０２から入力した量子化された変換係数を可変長符号化して図示しないバッファに格納する。このとき、可変長符号化部１０３は、予測モード決定部１１３で決定した予測モードと、予測モードがインター予測の場合には、動き補償部１１２から入力した動きベクトルを符号化して各マクロブロックのヘッダデータに格納する。
また、可変長符号化部１０３は、各マクロブロックに、量子化部１０２における量子化で用いた量子化スケールを含める。
逆量子化部１０５は、量子化部１０２で用いた量子化スケールを基に、量子化された変換係数を逆量子化して逆直交変換部１０６に出力する。
逆直交変換部１０６は、逆量子化部１０５から入力した逆量子化された変換係数に、直交変換部１０１の直交変換に対応した逆直交変換を施して加算部１０７に出力する。
加算部１０７は、予測モード決定部１１３で決定した予測ブロックと、逆直交変換部１０６から入力した逆変換された予測誤差とを加算して、ループ内フィルタ１０８に出力する。
ループ内フィルタ１０８は、加算部１０７から入力した局所復号された画像からブロック歪みを除去し、参照フレームとしてフレームメモリ１０９に書き込む。
イントラ予測部１１０は、予め規定された複数のイントラ予測モードのそれぞれに対して、同一画像内の局所復号された画素値から各マクロブロックについてイントラ予測を行い、最適な予測モードを決定し、その場合の予測モードおよび予測ブロックを予測モード決定部１１３に出力する。
動き検出部１１１は、入力画像の符号化対象ブロックの動きベクトルを検出し、動き補償部１１２、可変長符号化部１０３および比較部１１６に出力する。
この動き検出部１１１は、フレームメモリ１０９に格納されている参照フレームの所定の探索範囲において、現ブロックに類似する部分を探索して、現ブロックからの空間的移動量を動きベクトルとして検出する。
動き補償部１１２は、動き検出部１１１から入力される動きベクトルとフレームメモリ１０９に格納されている参照フレームとを用いて予測ブロックを生成して、予測モードおよび予測ブロックを予測モード決定部１１３に出力する。
予測モード決定部１１３は、イントラ予測部１１０から入力した予測ブロックと、動き補償部１１２から入力した予測ブロックを各々符号化対象ブロックと比較し、予測誤差が小さいと判断した予測ブロックを選択して減算部１１４に出力するとともに、選択されたイントラあるいはインター予測モードを可変長符号化部１０３へ出力する。
次に、本実施形態１の動画像符号化装置の特有な構成である、画素数算出部１１５、比較部１１６、付加データ符号化部１１７および符号化データ再構成部１１８について詳細に説明する。
カメラの動き量（画素数換算）Ｄｓは以下の式で算出できる。ここで、Ｄｒは、撮影時の焦点距離、θは、カメラの水平あるいは垂直方向における撮影方向（レンズの向き）の角度、αは撮影した画像を所定の画像サイズで表現するための比率である。
Ｄｓ ＝ Ｄｒ × ｔａｎθ × α
カメラの動き量Ｄｓは、撮影対象自体が静止しておりカメラのパンだけの場合、動き検出部１１１で検出される動きベクトルＭＶとほぼ同じ値になる。
画素数算出部１１５は、上述のようにカメラの撮影パラメータからカメラの水平方向および垂直方向の動き量Ｄｓを画素数で算出し、比較部１１６に出力する。
比較部１１６は、カメラの動き量Ｄｓと動き検出部１１１で検出した動きベクトルＭＶの差分を計算し、この差分が予め定められた閾値ＴＨＭＶ以下の場合、符号化対象ブロックはカメラワークと似た動きをすると解釈し、符号化対象ブロックの位置情報と動き量Ｄｓを付加データ符号化部１１７に出力する。また、差分が予め定められた閾値ＴＨＭＶより大きい場合には何も出力しない。
付加データ符号化部１１７は、比較部１１６から出力された位置情報とカメラの動き量Ｄｓを符号化して、符号化データ再構成部１１８に出力する。
カメラの動き量Ｄｓは、画像１枚に対して１ベクトルなので、画像毎に１つ符号化すればよい。
また、動き量Ｄｓを必要とするブロックの位置情報の符号化方法としては、図２のように、各ブロックの位置を平面の１ビットに対応させて、必要なブロックを１、不必要なブロックを０として、これをランレングス符号化する方法等がある。
符号化データ再構成部１１８は、可変長符号化部１０３で作成された符号化データが格納されているバッファに、付加データ符号化部１１７で符号化された付加データを追加してその符号化データを再構成する。
付加データをバッファに格納する方法としては、次のような方法がある。
Ａ）動画像の符号化データとは別に格納する場合：
符号化データは、音声、テキストデータ等と多重化する際にパケットヘッダとパケットデータからなるパケットとして表わされる。例えば、多重化方式としてＭＰＥＧ−２ Ｓｙｓｔｅｍを使った場合、このパケットヘッダには、パケットデータに格納しているデータの識別子（stream_id）と、再生出力時刻の管理情報（PTS：Presentation Time Stamp)、復号時間の管理情報（DTS：Decoding Time Stamp)等が格納される。
また、パケットデータには、stream_idで示される識別子によって示されるデータが格納される。
付加データを格納する場合、パケットヘッダのstream_idフィールドに、private_stream_1（２進数で１０１１１１０１）、あるいは、metadata_stream（２進数で１１１１１１００）を設定し、付加データ符号化部１１７で符号化された付加データをパケットデータとして格納する。
さらに、付加データが同期する符号化データの再生出力時刻や復号時間をそれぞれパケットヘッダのＰＴＳおよびＤＴＳに格納する。
Ｂ）動画像符号化データの中に格納する場合：
Ｈ.２６４では、通常の画像データ(主ピクチャ)の符号化データ以外に冗長ピクチャを格納することができる。
この場合には、比較部１１６から出力された位置情報と動き量ＤｓをＨ.２６４の符号化データの形式に変換して、冗長ピクチャに格納する。
次に、付加データの処理手順を図３のフローチャートを用いて説明する。この図３は、カメラの動き量Ｄｓを画像毎に１つ符号化し、位置情報をランレングス符号化する場合の例である。
まず、カメラから符号化対象の画像の撮影パラメータ（Ｄｒ、θ、α）を読み込み（ステップＳ１）、この撮影パラメータからカメラの水平方向および垂直方向の動き量Ｄｓを画素数換算で算出し（ステップＳ２）、この動き量Ｄｓを符号化する（ステップＳ３）。
このステップＳ１およびＳ２により画素数算出部１１５を構成する。
以下、ステップＳ４乃至Ｓ８により比較部１１６を構成する。
符号化対象画像の各マクロブロックについて、ステップＳ４乃至Ｓ８を繰り返す。
カメラの動き量Ｄｓと動き検出部１１１で検出した符号化対象ブロックの動きベクトルＭＶの差分を計算し、この差分が予め定められた閾値ＴＨＭＶ以下の場合（ステップＳ４でＹＥＳ）、符号化対象ブロックの位置に１をセットする（ステップＳ５）。
一方、差分が予め定められた閾値ＴＨＭＶより大きい場合（ステップＳ４でＮＯ）、符号化対象ブロックの位置に０をセットする（ステップＳ６）。
すべてのブロックの処理が終わらない場合（ステップＳ７でＮＯ）、符号化対象ブロックを処理していない他のブロックに進め（ステップＳ８）、ステップＳ４に戻る。
すべてのブロックの処理が終わった場合（ステップＳ７でＹＥＳ）、位置情報をランレングス符号化する（ステップＳ９）。ステップＳ３およびＳ９により付加データ符号化部１１７を構成する。
上記の方法では、カメラの動き量Ｄｓと符号化対象ブロックの動きベクトルＭＶの差により、符号化対象ブロックの動きがカメラワークと似ているかどうかを判定していた。
この判定方法以外では、動き検出部１１１にカメラの動き量Ｄｓを入力することにより、カメラの動き量Ｄｓを動きベクトルとした時の予測誤差量を別途計算し、この値と動き検出部１１１で求めた動きベクトルＭＶの予測誤差量とを比較することで、符号化対象ブロックの動きがカメラワークと似ているかどうかを判定することも可能である。
また、上記の方法では、符号化対象ブロックの動きがカメラワークと似ているかどうかのみを判定しているが、さらに予測モード決定部１１３で選択された予測モードも判定条件に加え、符号化対象ブロックの動きがカメラワークと似ており、且つ、イントラ予測モードと判定されたブロックのみ、動画像復号装置側で動き量Ｄｓが必要なブロックとして符号化することも可能である。
次に、本実施形態１に係る動画像復号装置について説明する。この動画像復号装置は、動画像符号化装置から出力される符号化データおよび付加データを用いて復号処理する。
図４は、本実施形態１に係る動画像復号装置のブロック図であり、同図において、動画像復号装置は、入力バッファ４０１、可変長復号部４０２、逆量子化部４０３、逆直交変換部４０４、加算部４０５、ループ内フィルタ４０６、フレームメモリ４０７、イントラ予測部４０８、動き補償部４０９、切替スイッチ４１０、付加データ復号部４１１、ポスト処理部４１２とから構成される。
以上の構成のうち、可変長復号部４０２、逆量子化部４０３、逆直交変換部４０４、加算部４０５、ループ内フィルタ４０６、フレームメモリ４０７、イントラ予測部４０８、動き補償部４０９、切替スイッチ４１０は、Ｈ.２６４準拠の動画像復号装置の公知の構成であるので、簡単に説明する。本実施形態１の動画像復号装置の構成では、付加データがなくてもＨ.２６４準拠の符号化データを正常に復号することができる。
入力された符号データは、一旦、入力バッファ４０１に蓄積され、必要に応じて、動画像符号化データが可変長復号部４０２に提供され、付加データが付加データ復号部４１１に提供される。
可変長復号部４０２は、動画像符号化データを復号し、各マクロブロックの予測モード、動きベクトル、量子化スケールおよび量子化された変換係数を分離する。
また、可変長復号部４０２は、量子化スケールおよび量子化された変換係数を逆量子化部４０３に出力し、予測モードを切替スイッチ４１０に出力し、動きベクトルを動き補償部４０９に出力する。
逆量子化部４０３は、可変長復号部４０２から入力した変換係数を逆量子化し、逆直交変換部４０４に出力する。
逆直交変換部４０４は、逆量子化部４０３から入力した逆量子化された変換係数を逆直交変換し、加算部４０５に出力する。
加算部４０５は、切替スイッチ４１０から出力された予測ブロックと逆直交変換部４０４の出力である予測誤差ブロックとを加算して、イントラ予測部４０８、ループ内フィルタ４０６に出力する。
ループ内フィルタ４０６は、加算部４０５から入力した復号ブロックをフィルタリングして、フレームメモリ４０７に格納する。
イントラ予測部４０８は、加算部４０５から入力した同一画像内の復号画素値からイントラ予測した予測ブロックを切替スイッチ４１０へ出力する。
動き補償部４０９は、フレームメモリ４０７に格納された復号画像と、可変長復号部４０２で復号された動きベクトルにより予測ブロックを算出して切替スイッチ４１０へ出力する。
切替スイッチ４１０は、可変長復号部４０２から入力された予測モードがイントラ予測モードである場合には、イントラ予測部４０８からの予測ブロックを選択し、予測モードがインター予測モードである場合には、動き補償部４０９からの予測ブロックを選択して、加算部４０５に出力する。
以下、本実施形態１の動画像復号装置の特有な構成である、付加データ復号部４１１、ポスト処理部４１２について、詳細に説明する。
付加データ復号部４１１は、入力バッファ４０１から入力した付加データを復号し、カメラの撮影パラメータの関連情報（カメラの動き量Ｄｓおよび動き量Ｄｓが必要なブロックの位置情報）をポスト処理部４１２に出力する。
ポスト処理部４１２は、カメラの撮影パラメータの関連情報を用いてポスト処理を行う。このポスト処理部４１２は、図５に示すように、合成部５０１、動き補償部５０２、位置情報判定部５０３から構成される。ここで、動き補償部５０２は、図４の動き補償部４０９と同じ機能である。
位置情報判定部５０３は、カメラの動き量Ｄｓが必要なブロックの位置情報から、動き補償部５０２での処理が必要なブロックを抽出し、水平および垂直方向の位置情報に変換して動き補償部５０２に位置情報を通知する。
動き補償部５０２は、動き補償をするブロックの位置情報、動きベクトルに相当するカメラの動き量Ｄｓ、フレームメモリ４０７に格納された参照画像を用いて、復号対象ブロックに対する動き補償ブロックを生成し合成部５０１に出力する。
合成部５０１は、動き補償部５０２から入力した動き補償ブロックと、フレームメモリ４０７（Ｈ.２６４準拠の動画像復号装置）から入力した復号画像中の対応する復号ブロックとをで合成して再生画像を出力する。
しかし、合成部５０１は、カメラの動き量Ｄｓが不必要なブロックでは動き補償は行わず、Ｈ.２６４準拠の動画像復号装置で復号された復号ブロックをそのまま再生画像として出力する。
ここで、復号ブロックと動き補償ブロックとの合成方法は、双方のブロックの平均でも良いし、Ｈ.２６４準拠の動画像復号装置で復号した符号化対象ブロックの予測モードの種類やブロックサイズに依存して、重み付き和のような適応的な処理を行っても良いし、復号ブロックを動き補償ブロックに置き換えても良い。
このポスト処理は、再生直前の画像の各ブロックに対して行うため、フレームメモリ４０７に格納された予測に用いる参照画像には影響を及ぼさないため、動画像復号装置における自由な処理が可能である。
以上のように、Ｈ.２６４準拠の符号化データとは別に、カメラの動き量を付加データとして動画像復号装置に提供することによって、Ｈ.２６４と互換性を保ったままで、動画像復号装置の性能に合わせて再生画像に高画質化の処理を行うことができる。
一方、動画像復号装置がポスト処理を行わない場合、あるいは、ポスト処理を有しない場合でも、Ｈ.２６４準拠の符号化データから復号された最低限の画質は保証される。
また、動画像符号化装置側でカメラの動き量に即したブロックの位置情報を送るようにしたので、動画像復号装置側でこのようなブロックの位置を推定するよりも正確な位置情報を得ることができる。このとき、動画像符号化装置側では、コスト計算の結果として最適な符号化データを作成しているが、画像１枚当たり動きベクトル１つ分の符号量と、１ブロック当たり最大１ビットの符号量を追加するだけで、視覚的にも最適な画像を動画像復号装置側で再生処理することができる。
＜実施形態２＞
本実施形態２では、ＧＯＰ単位で発生するフリッカを抑制するために必要な情報を付加データとして符号化する動画像符号化装置およびその符号化データを復号する動画像復号装置について説明する。
本実施形態２に係る動画像符号化装置の構成は、図１と同じであるため、以下では相違する点についてのみ説明する。
キーフレームでは、通常、イントラ予測モードのみを用いて画像を符号化するため、動きに関する情報は符号化しないが、本実施形態２では符号化対象ブロックのカメラの動き量あるいは動き検出部１１１で求めた動きベクトルを付加データとして符号化する。
次に、キーフレームにおける付加データの処理手順を図６のフローチャートを用いて説明する。
まず、カメラから符号化対象の画像の撮影パラメータ（Ｄｒ、θ、α）を読み込み、この撮影パラメータからカメラの水平方向および垂直方向の動き量Ｄｓを画素数換算で算出する（ステップＳ１１）。このステップＳ１１により画素数算出部１１５を構成する。
以下、ステップＳ１２乃至Ｓ２０により比較部１１６を構成する。
カメラの動き量Ｄｓが予め定められた閾値ＦＴＨより大きければ（ステップＳ１２でＮＯ）、動きの早いシーンでありフリッカは発生しないと解釈し、特別な処理を行わない。
一方、カメラの動き量Ｄｓが予め定められた閾値ＦＴＨより小さければ（ステップＳ１２でＹＥＳ）、符号化対象の画像の各マクロブロックについて、ステップＳ１４乃至Ｓ１９を繰り返す。
動き量Ｄｓを符号化し（ステップＳ１３）、通常のインター予測モードと同様、動き検出部１１１で対象ブロックの動きベクトルＭＶを求める（ステップＳ１４）。
カメラの動き量Ｄｓと動きベクトルＭＶとの差分を計算し、この差分が予め定められた閾値ＦＭＶ以下の場合（ステップＳ１５でＹＥＳ）、対象ブロックはフリッカが目立ちやすいブロックとして解釈されて、対象ブロックの位置に１をセットする（ステップＳ１６）。
一方、差分が予め定められた閾値ＦＭＶより大きい場合（ステップＳ１５でＮＯ）、対象ブロックの位置に０をセットする（ステップＳ１７）。
すべてのブロックの処理が終わらない場合（ステップＳ１８でＮＯ）、対象ブロックを処理していない他のブロックに進め（ステップＳ１９）、ステップＳ１４に戻る。
すべてのブロックの処理が終わった場合（ステップＳ１８でＹＥＳ）、位置情報をランレングス符号化する（ステップＳ２０）。このステップＳ２０により付加データ符号化部１１７を構成する。
上記以外のフリッカが目立ちやすいブロックを判定する方法としては、キーフレームと過去フレームの動きベクトルを各々比較する方法がある。
これは、キーフレームの直前のＰあるいはＢピクチャの動きベクトルＭＶpを１画面分格納しておき、同じ位置ブロックにおけるキーフレームの動きベクトルＭＶと過去フレームの動きベクトルＭＶpを比較し、差が小さい場合はキーフレームの前後で大きな動きはないと判断し、フリッカが目立ちやすいブロックと解釈する。
この場合、動画像復号装置側でキーフレーム直前の過去フレームにおける動きベクトルを保持し、動画像符号化装置側でキーフレームにおいてもブロック毎に動きベクトルＭＶを付加データとして符号化する必要がある。
このように、フリッカが発生しやすいキーフレームに対しては、可変長符号化部１０３から出力されるＨ.２６４準拠の符号化データとは別に、カメラの動き量Ｄｓあるいは符号化対象ブロックの動きベクトルＭＶおよび動き情報が必要なブロックの位置を付加データとして符号化することで、動画像復号装置側にフリッカを抑制するために必要な情報を送ることができる。
次に、実施形態２に係る動画像復号装置について説明する。この動画像復号装置は、実施形態２に係る動画像符号化装置が出力する符号化データおよび付加データを用いて復号処理する。
本実施形態２に係る動画像復号装置の構成は、図４および図５と同じであるため、以下では相違する点についてのみ説明する。
実施形態２に係る動画像符号化装置では、Ｈ.２６４準拠の符号化データとは別に、キーフレームにおいてフリッカの目立ちやすいブロックと、そのブロックの動きベクトルあるいは対応するカメラの動き量を付加データとして符号化している。
ポスト処理部４１２では、付加データ復号部４１１で復号されたカメラの動き量Ｄｓ、およびフリッカが目立つブロックの位置情報がキーフレームにおいてのみ入力され、実施形態１の動画像復号装置と同様に動作する。しかし、フリッカが目立たないブロックでは動き補償は行わず、Ｈ.２６４準拠の動画像復号装置で復号された復号ブロックが再生ブロックとしてそのまま出力される。
以上のように、カメラの撮影パラメータ等を付加データとして利用することで、動画像符号化装置側では動き検出のような計算量の大きい処理については従来の構成をそのまま利用するだけで新しい構成要素を追加することなく、動画像復号装置側に符号化歪を抑制処理するための情報や再生画像を高画質化処理するための情報を送ることができる。動画像復号装置では、装置自体のもつ処理能力に従って符号化歪の抑制処理や再生画像の高画質化処理を実行するかどうか、あるいはどの程度の処理を実行するかを選択できる。
例えば、動画像復号装置のポスト処理において、動き補償ブロックのテクスチャと復号ブロックとを合成することで、キーフレームの前後での画質変動を抑制し、フリッカの目立たない再生画像を作成する処理を行える。
また、キーフレームのみに関係する付加データの追加であるため、ＧＯＰ構造には関係せず、様々なアプリに適用させることができる。
さらに、フリッカが目立ちやすいブロックの動きベクトルＭＶを付加データとする場合にも、動き補償部５０２に入力する動きベクトルをブロック毎に変更するだけで対応することができる。
＜実施形態３＞
上述の実施形態１および２では、カメラワークによって画像全体に動きがある場合を対象としたが、本実施形態３では、カメラワークによる全体的な動きではなく、画像の一部のみに動きがある場合を対象とするため、カメラパラメータを用いない。
図７は、本実施形態３に係る動画像符号化装置の構成を示すブロック図である。図７のうち図１と同じ機能については、同じ符号を付して説明を省略する。図７と図１の相違点は、図１の画素数算出部１１５が削除され、予測モード決定部１１３および比較部１１６の動作が異なる点である。
予測モード決定部１１３は、上述した実施形態１や２と同様にして予測モードを決定する。しかし、イントラ予測モードが選択された場合でも、インター予測誤差量も小さいときがあり、これは、符号化対象ブロックに動きがあるにも関わらず、予測誤差量の求め方に依存してイントラ予測モードが選択されたものと考えられる。
そこで、予測モード決定部１１３では、決定された予測モードに加えて、イントラ予測部１１０で算出された予測誤差量Ｄｉｎｔｒａと動き検出部１１１（あるいは動き補償部１１２）で算出された予測誤差量Ｄｉｎｔｅｒの差分値Ｄｍｏｄｅを比較部１１６に出力する。
Ｄｍｏｄｅ＝｜Ｄｉｎｔｒａ−Ｄｉｎｔｅｒ｜
比較部１１６では、予測モード決定部１１３から入力した差分値Ｄｍｏｄｅが予め定められた閾値ＴＨＭＯＤＥ以下のブロックの位置と、このブロックに関して動き検出部１１１で検出した動きベクトルＭＶを付加データ符号化部１１７に出力する。
付加データ符号化部１１７では、比較部１１６から入力した動きベクトルＭＶと、そのブロックの位置情報を実施形態１と同様の方法で符号化する。
次に、実施形態３における付加データの処理手順を図８のフローチャートを用いて説明する。
まず、イントラ予測部１１０で計算された予測誤差量Ｄｉｎｔｒａと動き検出部１１１（あるいは動き補償部１１２）で計算された予測誤差量Ｄｉｎｔｅｒを入力し（ステップＳ３１）、予測誤差量Ｄｉｎｔｒａと予測誤差量Ｄｉｎｔｅｒの差分値Ｄｍｏｄｅを計算するとともに（ステップＳ３２）、上述した実施形態１や２と同様にして予測モードを決定する（ステップＳ３３）。
このステップＳ３１乃至Ｓ３３により予測モード決定部１１３を構成する。
符号化対象の画像の各マクロブロックについて、ステップＳ３４乃至Ｓ３９を繰り返す。
対象ブロックの予測モードがイントラ予測モード以外の場合（ステップＳ３４でＮＯ）、ステップＳ３７に進む。
一方、対象ブロックの予測モードがイントラ予測モードの場合（ステップＳ３４でＹＥＳ）、且つ、差分値Ｄｍｏｄｅが予め定められた閾値ＴＨＭＯＤＥ以下の場合（ステップＳ３５でＹＥＳ）、対象ブロックの位置に１をセットし、対象ブロックの位置と対応付けて動きベクトルＭＶを格納する（ステップＳ３６）。
他方、差分値Ｄｍｏｄｅが予め定められた閾値ＴＨＭＯＤＥより大きい場合（ステップＳ３５でＮＯ）、対象ブロックの位置に０をセットする（ステップＳ３７）。
すべてのブロックの処理が終わらない場合（ステップＳ３８でＮＯ）、対象ブロックを処理していない他のブロックに進め（ステップＳ３９）、ステップＳ３４に戻る。
以上、ステップＳ３４乃至Ｓ３９により比較部１１６を構成する。
すべてのブロックの処理が終わった場合（ステップＳ３８でＹＥＳ）、位置情報をランレングス符号化し（ステップＳ４０）、位置情報が１のブロックについて動きベクトルＭＶを符号化する（ステップＳ４１〜Ｓ４４）。
このステップＳ４０乃至Ｓ４３により付加データ符号化部１１７を構成する。
以上で説明したように、イントラ予測モードとインター予測モードの予測誤差量の差が小さいブロックでは、イントラ予測モードを使って作成したＨ.２６４準拠の符号化データとは別に、インター予測モードが選択されたときに用いるはずの動きベクトルを符号化して提供することで、動画像復号装置側に局所的な動きに対する情報を提供することができる。
ここで、符号化データと別に送付される付加データは、位置情報と動きベクトルのみであり、この追加によって必要となるデータは非常に小さい。
また、付加データとして符号化される動きベクトルは、予測モード選択のためにもともと算出したものであり、この動きベクトルを付加するために新たな動き検出処理や、動き補償処理を行う必要はない。これによって、動画像復号装置側では、動画像符号化装置で作成された正確な動き情報を用いて、ポスト処理で再生画像を高画質化することが可能となり、また、ポスト処理方法も動きベクトルや位置情報に基づいて多様な方法を適用することができる。
次に、実施形態３に係る動画像復号装置について説明する。この動画像復号装置は、実施形態３に係る動画像符号化装置が出力する符号化データおよび付加データを用いて復号処理する。
本実施形態３における付加データは、イントラ予測モードとインター予測モードの予測誤差の差が小さく、且つ、イントラ予測モードが選択されたブロックに対し、そのブロックの位置情報とインター予測モードが選択された場合の動きベクトルである。
従って、本実施形態３に係る動画像復号装置の構成は、図４および図５と同じであるが、図５の動き補償部５０２に入力される動きベクトルがブロック毎に異なるという違いがある。
動画像復号装置では、Ｈ.２６４準拠の符号化データとは別に、イントラ予測モードとインター予測モードの予測誤差の差が小さく、且つ、イントラ予測モードが選択されたブロックに対し、付加データとしてインター予測モードが選択された場合の動きベクトルが提供されるので、性能に合わせて再生画像を高画質化することができる。
尚、本発明は上述した実施形態に限定されず、本発明の要旨を逸脱しない範囲内で各種の変形、修正が可能であるのは勿論である。
【０００４】
としてイントラ予測モードまたはインター予測モードのいずれかを選択して符号化データを出力する動画像符号化装置であって、カメラの撮影パラメータに基づいてカメラの動きに対応する画像の動き量を算出する動き量算出部と、前記ブロック毎にインター予測モードで用いた動きベクトルと前記動き量とを比較する比較部と、前記比較結果に応じ前記動き量と該当するブロックの位置情報とを符号化して、前記符号化データとは別に格納して付加する付加データ符号化部と、を備えたものである。
［００１８］
上記の動画像符号化装置に対しては、動画像を小ブロックに分割し、当該ブロック毎に予測モードとしてイントラ予測モードまたはインター予測モードのいずれかを選択して符号化された符号化データを復号処理するとともに、前記ブロック毎にインター予測モードで用いた動きベクトルと、カメラの動きに対応する画像の動き量との比較結果に応じ前記動き量と該当するブロックの位置情報とを符号化して前記符号化データとは別に格納して付加された付加データを取得して復号処理する動画像復号装置であって、前記符号化データとは別に格納して付加された付加データを復号処理して、動き量とブロックの位置情報を取得する付加データ復号部と、前記動き量から動き補償ブロックを生成する動き補償部と、前記位置情報のブロックに該当する前記符号化データの復号処理されたブロックの画像と前記動き補償部で生成された動き補償ブロックの画像とを合成する合成部と、を備えるものである。
［００１９］
さらに、他の構成として、動画像符号化装置は、動画像を小ブロックに分割し、当該ブロック毎に予測モードとしてイントラ予測モードまたはインター予測モードのいずれかを選択して符号化データを出力する動画像符号化装置であって、キーフレームについて、カメラの撮影パラメータに基づいてカメラの動きに対応する画像の動き量を算出する動き量算出部と、前記動き量が所定値以下の場合に、前記ブロック毎にインター予測モードで用いた動きベクトルと前記動き量とを比較する比較部と、前記比較結果に応じ前記動き量と該当するブロックの位置情報とを符号化して、前記符号化データとは別に格納して付加する付加データ符号化部と、を備えるものである。
［００２０］
上記の他の構成の動画像符号化装置に対しては、動画像を小ブロックに分割し、当該ブロック毎に予測モードとしてイントラ予測モードまたはインター予測モードのいずれかを選択して符号化された符号化データを復号処理するとともに、キーフレーム
【０００５】
について、カメラの動きに対応する画像の動き量が所定値以下の場合に、前記ブロック毎にインター予測モードで用いた動きベクトルと、前記動き量との比較結果に応じ前記動き量と該当するブロックの位置情報とを符号化して前記符号化データとは別に格納して付加された付加データを取得して復号処理する動画像復号装置であって、キーフレームについて、前記符号化データとは別に格納して付加された付加データを復号処理して、動き量とブロックの位置情報を取得する付加データ復号部と、前記動き量から動き補償ブロックを生成する動き補償部と、前記位置情報のブロックに該当する前記符号化データの復号処理されたブロックの画像と前記動き補償部で生成された動き補償ブロックの画像とを合成する合成部と、を備えるものである。
発明の効果
［００２１］
本発明により、標準規格ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４と互換性を保ちながら、動領域に対する符号化歪の抑制と再生画像の高画質化の処理を追加できる。
図面の簡単な説明
［００２２］
［図１］実施形態１に係る動画像符号化装置の構成を示すブロック図である。
［図２］動き量または動きベクトルを必要とするブロックの位置情報を説明する図である。
［図３］実施形態１に係る動画像符号化装置の付加データの処理手順を説明するフローチャートである。
［図４］実施形態１に係る動画像復号装置の構成を示すブロック図である。
［図５］実施形態１に係る動画像復号装置のポスト処理部の構成を示すブロック図である。
［図６］実施形態２に係る動画像符号化装置の付加データの処理手順を説明するフローチャートである。
［図７］実施形態３に係る動画像符号化装置の構成を示すブロック図である。
［図８］実施形態３に係る動画像符号化装置の付加データの処理手順を説明するフローチャートである。
符号の説明
［００２３］
１０１…直交変換部、１０２…量子化部、１０３…可変長符号化部、１０４…レート制御部
【０００４】
としてイントラ予測モードまたはインター予測モードのいずれかを選択して符号化データを出力する動画像符号化装置であって、カメラの撮影パラメータに基づいてカメラの動きに対応する画像の動き量（動きベクトルに相当）を算出する動き量算出部と、前記ブロック毎にインター予測モードで用いた動きベクトルと前記動き量とを比較する比較部と、前記比較結果に応じ前記動き量と該当するブロックの位置情報とを符号化して、前記符号化データとは別に格納して付加する付加データ符号化部と、を備え、符号化データのみを復号した場合に較べ、付加データの復号処理を加えることで再生画像を高画質化したものである。
［００１８］
上記の動画像符号化装置に対しては、動画像を小ブロックに分割し、当該ブロック毎に予測モードとしてイントラ予測モードまたはインター予測モードのいずれかを選択して符号化された符号化データを復号処理するとともに、前記ブロック毎にインター予測モードで用いた動きベクトルと、カメラの動きに対応する画像の動き量との比較結果に応じ前記動き量と該当するブロックの位置情報とを符号化して前記符号化データとは別に格納して付加された付加データを取得して復号処理する動画像復号装置であって、前記符号化データとは別に格納して付加された付加データを復号処理して、動き量とブロックの位置情報を取得する付加データ復号部と、前記動き量から動き補償ブロックを生成する動き補償部と、前記位置情報のブロックに該当する前記符号化データの復号処理されたブロックの画像と前記動き補償部で生成された動き補償ブロックの画像とを合成する合成部と、を備えるものである。
［００１９］
さらに、他の構成として、動画像符号化装置は、動画像を小ブロックに分割し、当該ブロック毎に予測モードとしてイントラ予測モードまたはインター予測モードのいずれかを選択して符号化データを出力する動画像符号化装置であって、キーフレームについて、カメラの撮影パラメータに基づいてカメラの動きに対応する画像の動き量を算出する動き量算出部と、前記動き量が所定値以下の場合に、前記ブロック毎にインター予測モードで用いた動きベクトルと前記動き量とを比較する比較部と、前記比較結果に応じ前記動き量と該当するブロックの位置情報とを符号化して、前記符号化データとは別に格納して付加する付加データ符号化部と、を備えるものである。
［００２０］
上記の他の構成の動画像符号化装置に対しては、動画像を小ブロックに分割し、当該ブロック毎に予測モードとしてイントラ予測モードまたはインター予測モードのいずれかを選択して符号化された符号化データを復号処理するとともに、キーフレーム

Claims (4)

  1. 動画像を小ブロックに分割し、当該ブロック毎に予測モードとしてイントラ予測モードまたはインター予測モードのいずれかを選択して符号化データを出力する動画像符号化装置であって、カメラの撮影パラメータに基づいてカメラの動きに対応する画像の動き量を算出する動き量算出部と、前記ブロック毎にインター予測モードで用いた動きベクトルと前記動き量とを比較する比較部と、前記比較結果に応じ前記動き量と該当するブロックの位置情報とを符号化して、前記符号化データに付加する付加データ符号化部と、を備えることを特徴とする動画像符号化装置。
  2. 動画像を小ブロックに分割し、当該ブロック毎に予測モードとしてイントラ予測モードまたはインター予測モードのいずれかを選択して符号化データを出力する動画像符号化装置であって、キーフレームについて、カメラの撮影パラメータに基づいてカメラの動きに対応する画像の動き量を算出する動き量算出部と、前記動き量が所定値以下の場合に、前記ブロック毎にインター予測モードで用いた動きベクトルと前記動き量とを比較する比較部と、前記比較結果に応じ前記動き量と該当するブロックの位置情報とを符号化して、前記符号化データに付加する付加データ符号化部と、を備えることを特徴とする動画像符号化装置。
  3. 動画像を小ブロックに分割し、当該ブロック毎に予測モードとしてイントラ予測モードまたはインター予測モードのいずれかを選択して符号化された符号化データを復号処理するとともに、前記ブロック毎にインター予測モードで用いた動きベクトルと、カメラの動きに対応する画像の動き量との比較結果に応じ前記動き量と該当するブロックの位置情報とを符号化して前記符号化データに付加された付加データを取得して復号処理する動画像復号装置であって、前記符号化データに付加された付加データを復号処理して、動き量とブロックの位置情報を取得する付加データ復号部と、前記動き量から動き補償ブロックを生成する動き補償部と、前記位置情報のブロックに該当する前記符号化データの復号処理されたブロックの画像と前記動き補償部で生成された動き補償ブロックの画像とを合成する合成部と、を備えることを特徴とする動画像復号装置。
  4. 動画像を小ブロックに分割し、当該ブロック毎に予測モードとしてイントラ予測モードまたはインター予測モードのいずれかを選択して符号化された符号化データを復号処理するとともに、キーフレームについて、カメラの動きに対応する画像の動き量が所定値以下の場合に、前記ブロック毎にインター予測モードで用いた動きベクトルと、前記動き量との比較結果に応じ前記動き量と該当するブロックの位置情報とを符号化して前記符号化データに付加された付加データを取得して復号処理する動画像復号装置であって、キーフレームについて、前記符号化データに付加された付加データを復号処理して、動き量とブロックの位置情報を取得する付加データ復号部と、前記動き量から動き補償ブロックを生成する動き補償部と、前記位置情報のブロックに該当する前記符号化データの復号処理されたブロックの画像と前記動き補償部で生成された動き補償ブロックの画像とを合成する合成部と、を備えることを特徴とする動画像復号装置。
JP2010509122A 2008-04-21 2009-03-27 動画像符号化装置および動画像復号装置 Expired - Fee Related JP5049386B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010509122A JP5049386B2 (ja) 2008-04-21 2009-03-27 動画像符号化装置および動画像復号装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2008110439 2008-04-21
JP2008110439 2008-04-21
PCT/JP2009/056258 WO2009130971A1 (ja) 2008-04-21 2009-03-27 動画像符号化装置および動画像復号装置
JP2010509122A JP5049386B2 (ja) 2008-04-21 2009-03-27 動画像符号化装置および動画像復号装置

Publications (2)

Publication Number Publication Date
JPWO2009130971A1 true JPWO2009130971A1 (ja) 2011-08-18
JP5049386B2 JP5049386B2 (ja) 2012-10-17

Family

ID=41216709

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010509122A Expired - Fee Related JP5049386B2 (ja) 2008-04-21 2009-03-27 動画像符号化装置および動画像復号装置

Country Status (2)

Country Link
JP (1) JP5049386B2 (ja)
WO (1) WO2009130971A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102238391B (zh) * 2011-05-25 2016-12-07 深圳市云宙多媒体技术有限公司 一种预测编码方法、装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3778960B2 (ja) * 1994-06-29 2006-05-24 株式会社東芝 動画像符号化方法及び装置
JP2000092499A (ja) * 1998-09-08 2000-03-31 Canon Inc 画像符号化制御装置、画像符号化制御方法及び記憶媒体
JP2006215655A (ja) * 2005-02-01 2006-08-17 Sharp Corp 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体
JP2008011455A (ja) * 2006-06-30 2008-01-17 Sanyo Electric Co Ltd 符号化方法
JP4451833B2 (ja) * 2005-10-05 2010-04-14 日本電信電話株式会社 映像符号化方法，映像符号化装置，映像符号化プログラムおよびその記録媒体

Also Published As

Publication number Publication date
JP5049386B2 (ja) 2012-10-17
WO2009130971A1 (ja) 2009-10-29

Similar Documents

Publication Publication Date Title
KR101619450B1 (ko) 뎁스 정보를 이용한 비디오 신호 처리 방법 및 장치
EP3100454B1 (en) Method for low-latency illumination compensation process
US8325799B2 (en) Moving picture encoding method, device using the same, and computer program
KR100964526B1 (ko) 전환 효과를 위한 멀티미디어 코딩 기술
JP4401336B2 (ja) 符号化方法
US20060062299A1 (en) Method and device for encoding/decoding video signals using temporal and spatial correlations between macroblocks
US9473790B2 (en) Inter-prediction method and video encoding/decoding method using the inter-prediction method
CN113841395B (zh) 视频编解码中的自适应分辨率改变
WO2012076646A1 (en) High-dynamic range video tone mapping
JP2006279573A (ja) 符号化装置と方法、ならびに復号装置と方法
JP2010154490A (ja) 画像復号化方法
US11503323B2 (en) Method and apparatus for inter-picture prediction with virtual reference picture for video coding
JP2008219876A (ja) 動画像符号化装置、動画像符号化方法、及び、動画像復号化装置
JP5137687B2 (ja) 復号装置及び復号方法、プログラム
US20210289205A1 (en) Encoder, decoder, encoding method, and decoding method
US20220329785A1 (en) Encoder, decoder, encoding method, decoding method, and medium
US20220368929A1 (en) Encoder, decoder, encoding method, and decoding method
US20110096151A1 (en) Method and system for noise reduction for 3d video content
JP2006279917A (ja) 動画像符号化装置、動画像復号装置及び動画像伝送システム
US8165217B2 (en) Image decoding apparatus and method for decoding prediction encoded image data
US6697430B1 (en) MPEG encoder
JP2007036888A (ja) 符号化方法
JP5441812B2 (ja) 動画像符号化装置、及びその制御方法
JP2004241869A (ja) 透かし埋め込み及び画像圧縮部
JP2007036889A (ja) 符号化方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120626

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120720

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150727

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees