JP5269593B2 - 符号化装置、符号化方法、復号装置、復号方法およびそれらのプログラム - Google Patents

符号化装置、符号化方法、復号装置、復号方法およびそれらのプログラム Download PDF

Info

Publication number
JP5269593B2
JP5269593B2 JP2008523866A JP2008523866A JP5269593B2 JP 5269593 B2 JP5269593 B2 JP 5269593B2 JP 2008523866 A JP2008523866 A JP 2008523866A JP 2008523866 A JP2008523866 A JP 2008523866A JP 5269593 B2 JP5269593 B2 JP 5269593B2
Authority
JP
Japan
Prior art keywords
image
image data
data
circuit
refreshing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008523866A
Other languages
English (en)
Other versions
JP2009503999A (ja
Inventor
フン ヂユ イ
淳 村山
武文 名雲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JP2009503999A publication Critical patent/JP2009503999A/ja
Application granted granted Critical
Publication of JP5269593B2 publication Critical patent/JP5269593B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/527Global motion vector estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)

Description

本発明は、画像データの符号化装置、符号化方法、復号装置、復号方法およびそれらのプログラムに関する。
近年、画像データデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するMPEG(Moving Picture Experts Group)やH.264/AVC(Advanced Video Coding)となどの符号化方式に準拠した符号化装置および復号装置、及び他の符号化システムが、放送局などの情報配信、及び一般家庭における情報受信の双方において普及しつつある。
上述した符号化方式は、動画像データを構成する複数のピクチャデータにGOP(GroupOf Pictures)構造に基づいたピクチャタイプI,P,Bを割り当て、Iピクチャデータについてはイントラ符号化を行い、P,Bピクチャデータについてはインター符号化を行う。
ところで、上述した符号化装置では、例えば、ピクチャデータ内の平坦な画像領域において、復号画像にリフレッシングと呼ばれるノイズパターン(Grain Noise)が生じ、それが知覚されて復号画像の画質が低くなってしまう。
復号画像の知覚される画質を向上することが符号化装置、符号化方法、復号装置、復号方法およびそれらのプログラムを提供するのが望ましい。
本発明の第1の観点によれば、符号化対象の画像データを基に、当該画像データ内の符号化画像を復号したときに、原画像に同様な特性が連続する箇所、イントラ符号とインター符号の難易度が同じ箇所、原画像の構成が単純な箇所でイントラピクチャデータごとに発生する当該画像データ内のリフレッシング対策処理を行う画像領域データを、動きベクトルに応じて特定する特定手段と、前記画像データを符号化する際に、前記特定手段が特定した画像領域データについて、直交変換係数を所定の量子化パラメータで量子化するようにリフレッシング対策処理を施すリフレッシング対策手段とを有し、
前記特定手段は、動画像データを構成する前記画像データをインター符号化した場合の予測差分画像と、イントラ符号化した場合の予測差分画像との間の差分を基に、前記画像領域データを特定する、
符号化装置が提供される。
本発明の第2の観点によれば、符号化対象の画像データを基に、当該画像データ内の符号化画像を復号したときに、原画像に同様な特性が連続する箇所、イントラ符号とインター符号の難易度が同じ箇所、原画像の構成が単純な箇所でイントラピクチャデータごとに発生する当該画像データ内のリフレッシング対策処理を行う画像領域データを、動きベクトルに応じて特定する第1の工程と、前記画像データを符号化する際に、前記第1の工程で特定した画像領域データについて、直交変換係数を所定の量子化パラメータで量子化するようにリフレッシング対策処理を施す第2の工程とを有し、
前記第1の工程において、動画像データを構成する前記画像データをインター符号化した場合の予測差分画像と、イントラ符号化した場合の予測差分画像との間の差分を基に、前記画像領域データを特定する、符号化方法が提供される。
本発明の第3の観点によれば、コンピュータが実行するプログラムであって、
符号化対象の画像データを基に、当該画像データ内の符号化画像を復号したときに、原画像に同様な特性が連続する箇所、イントラ符号とインター符号の難易度が同じ箇所、原画像の構成が単純な箇所でイントラピクチャデータごとに発生する当該画像データ内のリフレッシング対策処理を行う画像領域データを、動きベクトルに応じて特定する第1の手順であって、動画像データを構成する前記画像データをインター符号化した場合の予測差分画像と、イントラ符号化した場合の予測差分画像との間の差分を基に、前記画像領域データを特定する、第1の手順と、前記画像データを符号化する際に、前記第1の手順で特定した画像領域データについて、直交変換係数を所定の量子化パラメータで量子化するようにリフレッシング対策処理を施す第2の手順とを前記コンピュータに実行させるプログラムが提供される。
本発明の第4の観点によれば、符号化画像データを復号して復号画像データを生成する復号手段と、前記復号手段が生成した復号画像データを基に、当該画像データ内の符号化画像を復号したときに、原画像に同様な特性が連続する箇所、イントラ符号とインター符号の難易度が同じ箇所、原画像の構成が単純な箇所でイントラピクチャデータごとに発生する当該復号画像データ内のリフレッシング対策処理を行う画像領域データを、動きベクトルに応じて特定する特定手段と、前記復号手段が生成した復号画像データ内の前記特定手段が特定した画像領域データに、ノイズパターンを付加してリフレッシング対策処理を施すリフレッシング対策手段とを有し、
前記特定手段は、動画像データを構成する前記画像データをインター符号化した場合の予測差分画像と、イントラ符号化した場合の予測差分画像との間の差分を基に、前記画像領域データを特定する、復号装置が提供される。
本発明の第5の観点によれば、符号化画像データを復号して復号画像データを生成する第1の工程と、前記第1の工程で生成した復号画像データを基に、当該画像データ内の符号化画像を復号したときに、原画像に同様な特性が連続する箇所、イントラ符号とインター符号の難易度が同じ箇所、原画像の構成が単純な箇所でイントラピクチャデータごとに発生する当該復号画像データ内ののリフレッシング対策処理を行う画像領域データを、動きベクトルに応じて特定する第2の工程と、前記第1の工程で生成した復号画像データ内の前記第2の工程で特定した画像領域データに、ノイズパターンを付加してリフレッシング対策処理を施す第3の工程とを有し、
前記第2の工程において、動画像データを構成する前記画像データをインター符号化した場合の予測差分画像と、イントラ符号化した場合の予測差分画像との間の差分を基に、前記画像領域データを特定する、復号方法が提供される。
本発明の第6の観点によれば、コンピュータが実行するプログラムであって、
符号化画像データを復号して復号画像データを生成する第1の手順と、前記第1の手順で生成した復号画像データを基に、当該画像データ内の符号化画像を復号したときに、原画像に同様な特性が連続する箇所、イントラ符号とインター符号の難易度が同じ箇所、原画像の構成が単純な箇所でイントラピクチャデータごとに発生する当該復号画像データ内のリフレッシング対策処理を行う画像領域データを、動きベクトルに応じて特定する第2の手順であって、動画像データを構成する前記画像データをインター符号化した場合の予測差分画像と、イントラ符号化した場合の予測差分画像との間の差分を基に、前記画像領域データを特定する、第2の手順と、前記第1の手順で生成した復号画像データ内の前記第2の手順で特定した画像領域データに、ノイズパターンを付加してリフレッシング対策処理を施す第3の手順とを前記コンピュータに実行させるプログラムが提供される。
本発明によれば、復号画像の知覚される画質を向上することができる符号化装置、符号化方法、復号装置、復号方法およびそれらのプログラムを提供することができる。
以下、本実施形態の通信システム1について説明する。
図1は、本実施形態の通信システム1の概念図である。
図1に示すように、通信システム1は、送信側に設けられた符号化装置2と、受信側に設けられた復号装置3とを有する。
通信システム1では、送信側の符号化装置2において、離散コサイン変換やカルーネン・レーベ変換などの直交変換と動き補償によって圧縮したフレーム画像データ(ビットストリーム)を生成し、当該フレーム画像データを変調した後に、衛星放送波、ケーブルTV網、電話回線網、携帯電話回線網などの伝送媒体を介して送信する。
受信側では、復号装置3において受信した画像信号を復調した後に、上記変調時の直交変換の逆変換と動き補償によって伸張したフレーム画像データを生成して利用する。
なお、上記伝送媒体は、光ディスク、磁気ディスクおよび半導体メモリなどの記録媒体であってもよい。
<符号化装置2>
以下、図1に示す符号化装置2について説明する。
図2は、図1に示す符号化装置2の全体構成図である。
図2に示すように、符号化装置2は、例えば、A/D変換回路21、ピクチャタイプ割り当て回路22、画面並べ替え回路23、MBタイプ決定回路26、演算回路31、直交変換回路32、量子化回路33、レート制御回路34、可逆符号化回路35、バッファメモリ36、逆量子化回路37、逆直交変換回路38、加算回路39、デブロックフィルタ40、フレームメモリ41、イントラ予測回路42、動き予測・補償回路43、動き予測・補償回路51、リフレッシュ検出回路52、リフレッシュ対策回路53、リフレッシュ対策回路54を有する。
以下、符号化装置2の構成要素について説明する。
[A/D変換回路21]
A/D変換回路21は、入力されたアナログの輝度信号Y、色差信号Pb,Prから構成される原画像信号S10をデジタルのピクチャデータに変換し、これをピクチャタイプ割り当て回路22に出力する。
[ピクチャタイプ割り当て回路22]
ピクチャタイプ割り当て回路22は、A/D変換回路21から入力したピクチャデータのそれぞれに、I,P,Bのいずれかのピクチャタイプを割り当てる。
[画面並べ替え回路23]
画面並べ替え回路23は、A/D変換回路22が生成したピクチャデータを、ピクチャタイプ割り当て回路22で割り当てたピクチャタイプI,P,BからなるGOP(Group Of Pictures) 構造に応じて、符号化する順番に並べ替えて動き予測・補償回路51およびリフレッシュ対策回路53に出力する。
[MBタイプ決定回路26]
MBタイプ決定回路26は、画面並べ替え回路23によって並べ替えられた各ピクチャデータのマクロブロックタイプ(例えば、4x4や16x16タイプ)を決定する。
[演算回路31]
演算回路31は、MBタイプ決定回路26から入力した符号化対象のピクチャデータと、イントラ予測回路42あるいは動き予測・補償回路43から入力した予測画像データPIとの差分を示す画像データを生成し、これを直交変換回路32に出力する。
[直交変換回路32]
直交変換回路32は、演算回路31から入力した画像データに離散コサイン変換(DCT:Discrete Cosine Transform)やカルーネン・レーベ変換などの直交変換を施して変換係数を示す画像データ(例えばDCT係数)を生成し、これをリフレッシュ対策回路54に出力する。
直交変換回路32は、例えば、MBタイプ決定回路26で決定されたブロックサイズに基づいて、直交変換を行う。
[量子化回路33]
量子化回路33は、リフレッシュ対策回路54から入力した画像データS54(量子化前の変換係数)を、レート制御回路34から入力した量子化スケールQSを基に量子化して量子化後の変換係数を示す画像データを生成し、これを可逆符号化回路35および逆量子化回路37に出力する。
[レート制御回路34]
レート制御回路34は、例えば、バッファメモリ36から読み出した画像データを基に量子化スケールQSを生成し、これを量子化回路33に出力する。
[可逆符号化回路35]
可逆符号化回路35は、量子化回路33から入力した画像データを可変長符号化した画像データをバッファ28に格納する。
このとき、可逆符号化回路35は、動き予測・補償回路43から入力した動きベクトルMVあるいはその差分動きベクトル、参照画像データの識別データ、並びにイントラ予測回路42から入力したイントラ予測モードをヘッダデータなどに格納する。
[バッファメモリ36]
バッファメモリ36に格納された画像データは、変調等された後に画像データS2として送信される。
当該画像データS2は、後述するように、復号装置3によって復号される。
[逆量子化回路37]
逆量子化回路37は、量子化回路33の量子化に対応した逆量子化処理を、量子化回路33からの画像データに施して、それによって得られたデータを生成し、これを逆直交変換回路38に出力する。
[逆直交変換回路38]
逆直交変換回路38は、逆量子化回路37から入力したデータに、直交変換回路32における直交変換の逆変換を施して生成した画像データを加算回路39に出力する。
[加算回路39]
加算回路33は、逆直交変換回路38から入力した(デコードされた)画像データと、イントラ予測回路42あるいは動き予測・補償回路43から入力した予測画像データPIとを加算して参照(再構成)ピクチャデータを生成し、これをデブロックフィルタ40に出力する。
[デブロックフィルタ40]
デブロックフィルタ40は、加算回路39から入力した参照ピクチャデータのブロック歪みのみを除去してフレームメモリ41に書き込む。
[イントラ予測回路42]
イントラ予測回路42は、イントラ符号化するマクロブロックにおいて、残差が最小となるイントラ予測のモードおよび予測ブロックのブロックサイズを決定する。
イントラ予測回路42は、ブロックサイズとして、4x4および16x16画素を用いる。
イントラ予測回路42は、イントラ予測が選択された場合に、イントラ予測による予測画像データPIを演算回路31および加算回路39に出力する。
[動き予測・補償回路43]
動き予測・補償回路43は、既に符号化され、局所復号され、フレームメモリ31に記録されている画像から、動き予測を行い、残差を最小にする動きベクトルおよび動く補償のブロックサイズを決定する。
動き予測・補償回路43は、ブロックサイズとして、16x16、16x8、8x16、8x8、8x4、4x8および4x4画素を用いる。
動き予測・補償回路43は、インター予測が選択された場合に、インター予測による予測画像データPIを演算回路31および加算回路39に出力する。
前述したように、符号化画像を復号したときに、図3に示すように、リフレッシングと呼ばれるノイズが発生することがある。
リフレッシングは、イントラリフレッシュ、あるいはイントラリフレッシュやイントラフリッカとも呼ばれ、イントラピクチャデータ毎に発生するノイズである。
以下、リフレッシングの発生(知覚)パターンについて考察すると、リフレッシングは、原画像に同様な特性が連続する(大きな動きがない)箇所で知覚される。また、リフレッシングは、イントラ符号とインター符号の難度が同じ箇所で知覚される。また、リフレッシングは、原画像の構成が単純な箇所で知覚される。
符号化装置2では、上述した特性を考慮して、符号化対象の画像データを構成するマクロブロックMB毎に、リフレッシングが知覚される特性をマクロブロックMBがどの程度持つかを判断する指標となるリフレッシング発生予測レベルVoteを算出する。
そして、符号化装置2は、リフレッシング発生予測レベルVoteに基づいて、各マクロブロックMBについて、リフレッシング対策を行うか否かを決定する。
符号化装置2では、図2に示す動き予測・補償回路51およびリフレッシュ検出回路52によって、上述したリフレッシング発生予測レベルVoteを算出し、これに基づいて、各マクロブロックMBについてリフレッシング対策を行うか否かを決定する。
そして、リフレッシュ対策回路53が、リフレッシング対策を行うマクロブロックMBについて、そのマクロブロックMBが属するピクチャデータにピクチャタイプ割り当て回路22おいてIピクチャデータが割り当てられた場合に、それをPピクチャデータとして符号化するように制御する。
また、リフレッシュ対策回路54が、リフレッシング対策を行うマクロブロックMBについて、直交変換回路32が生成したその画像データ(変換係数)を、リフレッシングが知覚され難いように調整して量子化回路33に出力する。
[リフレッシュ検出回路52およびリフレッシュ対策回路53,54]
以下、符号化装置2によるリフレッシング検出、並びに対策の処理について説明する。
図4は、図2に示す符号化装置2によるリフレッシング検出、並びに対策の処理を説明するためのフローチャートである。
以下に示す例では、リフレッシュ検出回路52が、動き予測・補償回路51からのInterAD,IntraADに基づいて、リフレッシング対策処理を行うマクロブロックR−MBを決定する場合を例示する。当該決定は、リフレッシュ検出回路52におけるリフレッシング対策処理に反映される。
それとは別に、リフレッシュ検出回路52は、動き予測・補償回路43およびイントラ予測回路42の処理結果に応じた実際のInterAD,IntraADに基づいて、リフレッシング対策処理を行うマクロブロックR−MBを決定する。当該決定は、例えば、リフレッシュ検出回路54におけるリフレッシング対策処理に反映される。この場合におけるリフレッシュ検出回路52による決定処理は、実際のInterAD,IntraADを用いる点を除いて、以下に説明するステップST12〜ST17の処理と同じである。
ステップST11:
図2に示す動き予測・補償回路51が、画面並べ替え回路23から入力した符号化対象のピクチャデータを構成する各マクロブロックMBについて、InterAD,IntraADを計算する。
動き予測・補償回路51は、再構成ピクチャデータを用いることなく、画面並べ替え回路23から入力した符号化前のピクチャデータのみを用いて、処理対象のマクロブロックMBをインター符号化およびイントラ符号化の各々で符号化する場合における、処理対象のマクロブロックMBと、予測マクロブロックMBとの間の差分(残差)の予測値を、それぞれInterAD,IntraADとして計算する。
ステップST12:
リフレッシュ検出回路52は、ステップST11で動き予測・補償回路51が計算したInterAD,IntraADを基に、前述した特性を考慮して、符号化対象の画像データを構成するマクロブロックMB毎に、リフレッシングが知覚される特性をマクロブロックMBがどの程度持つかを判断する指標となるリフレッシング発生予測レベルVoteを算出する。
当該ステップST12の処理については後に詳細に説明する。
ステップST13:
リフレッシュ検出回路52は、図5に示すように、ステップST12で算出したリフレッシング発生予測レベルVoteを基に、下記式(1)により、エネルギーEを算出する。
(数1)
E(MBi) =Vote(MBtop) * Vote(MBtop) +Vote(MBbottom) * Vote(MBbottom) +
Vote(MBleft) * Vote(MBleft) +Vote(MBright) * Vote(MBright) +
Vote(MBi) * Vote(MBi)
…(1)
ステップST14:
リフレッシュ検出回路52は、ステップST13で算出したエネルギーEを基に、図6に示すヒストグラムデータHISTを生成する。
そして、リフレッシュ検出回路52は、上記生成したヒストグラムデータHISTに基づいて、リフレッシング対策の対象を決める基準となる基準レベルを決定する。
具体的には、リフレッシュ検出回路52は、所定の割合(例えば、20%)のマクロブロックMBがリフレッシング対策の対象となるように、上記基準レベルを決定する。
ここで、上記所定の割合を低くすると、復号画像においてリフレッシングが知覚され易くなり、一方、上記所定の割合を高くすると、リフレッシング対策に伴う処理量によるオーバヘッドが大きくなる。
リフレッシュ検出回路52は、上記基準レベルに応じたカットオフレベルを決定する。
そして、リフレッシュ検出回路52は、図8に示すように、エネルギーEが上記カットオフレベルCLより大きいマクロブロックMBをリフレッシング対策の対象のマクロブロックMB(R−MB)として特定する。
ステップST15:
リフレッシュ検出回路52は、図9に示すように、周囲(上、下、左、右)の全てのマクロブロックMB(a,b,c,d)がマクロブロックR−MBではないマクロブロックR−MB(e)を、リフレッシング対策の対象から外す。すなわち、リフレッシング対策の対象でないマクロブロックNR−MBとする。
ステップST16:
リフレッシュ検出回路52は、処理対象のリフレッシング対策の対象でないマクロブロックMBについて、その周囲8個のマクロブロックMBにおいて、リフレッシング対策の対象のマクロブロックR−MBが、リフレッシング対策の対象でないマクロブロックNR−MBより数が多い場合に、当該処理対象のマクロブロックNR−MBをリフレッシング対策の対象とする。すなわち、マクロブロックR−MBとする。
リフレッシュ検出回路52は、上記処理を予め決められた繰り返し回数(例えば、3)だけ実行する。
図9に示す例では、1回目の処理で、マクロブロックNR―MB(x)をマクロブロックR−MBに変更し、2回目の処理で、マクロブロックNR−MB(d)をマクロブロックR−MBに変更する。
ステップST17:
リフレッシュ検出回路52は、ピクチャデータの周辺領域に位置するマクロブロックMBについては、図10に示すように、それに隣接する(周辺と反対側で隣接する)マクロブロックMBがマクロブロックR−MBの場合には、当該周辺領域に位置するマクロブロックMBをマクロブロックR−MBに変更する。
ステップST18:
リフレッシュ対策回路53およびリフレッシュ対策回路54は、リフレッシュ検出回路52においてリフレッシング対策の対象として決定されたマクロブロックR−MBについて、リフレッシング対策処理を行う。
リフレッシュ対策回路53およびリフレッシュ対策回路54が行うリフレッシング対策処理については後に詳細に説明する。
[図4に示すステップST12]
以下、図4に示すステップST12におけるリフレッシング発生予測レベルVoteの算出処理について説明する。
図11および図12は、図4に示すステップST12の処理を説明するためのフローチャートである。
ステップST31:
リフレッシュ検出回路52は、下記式(2)により、図13(A)に示すように、検出対象のピクチャデータPIC(n)のマクロブロックMB(n)と、その一つ前のピクチャデータPIC(n−1)の対応する位置のマクロブロックMB(n−1)との間のMAD値の差分の絶対値に応じたMadDiffを算出する。
MAD値は、マクロブロックMBを構成する画素データの平均絶対値和、マクロブロックMB内の各画素値と、当該マクロブロックMB内の画素値の平均値との差分を累積した値を示している。
(数2)
MadDiff=ABS(MAD(n−1,i,j)−MAD(n,i,j))/256
…(2)
ステップST32:
リフレッシュ検出回路52は、下記式(3)で示す条件1が満たされているか否かを判断し、条件1が満たされていると判断するとステップST33に進み、そうでない場合にはステップST34に進む。
ステップST31,ST32の処理は、背景の動きが小さいマクロブロックMBでリフレッシングが生じやすいという特性に基づいている。
(数3)
TH1≦MadDiff≦TH2
…(3)
ステップST33:
リフレッシュ検出回路52は、図13(B)に示すように、マクロブロックMBを構成する4x4の色差ブロックCbを構成する画素データの最大値(Max)と最小値(Min)を特定し、それらの差分を算出する。
また、リフレッシュ検出回路52は、図14(B)に示すように、マクロブロックMBを構成する4x4の色差ブロックCrを構成する画素データの最大値(Max)と最小値(Min)を特定し、それらの差分を算出する。
リフレッシュ検出回路52は、色差ブロックCbについて算出した上記差分と、色差ブロックCrについて算出した上記差分とを加算して値ColorDiffを算出する。
ステップST34:
リフレッシュ検出回路52は、検出対象のマクロブロックMBのリフレッシング発生予測レベルVoteとして「0」を設定する。
ステップST35:
リフレッシュ検出回路52は、下記式(4)で示す条件2が満たされているか否かを判断し、条件2が満たされていると判断するとステップST36に進み、そうでない場合にはステップST34に進む。
ステップST34,ST35の処理は、色のバリエーションが少ないブロックMBでリフレッシングが生じやすいという特性に基づいている。
(数4)
ColorDiff≦TH3
…(4)
ステップST36:
リフレッシュ検出回路52は、図4に示すステップST11で説明したように動き予測・補償回路51で算出したInterAD,IntraADを用いて、下記式(5)により、値AdDiffを計算する。
(数5)
AdDiff=(InterAD−IntraAD)/256
…(5)
ステップST37:
リフレッシュ検出回路52は、ステップST31で算出したMAD(n,i,j)と、ステップST36で算出したAdDiffとを基に、下記式(6)で示す条件3が満たされているか否かを判断し、条件3が満たされていると判断するとステップST38に進み、そうでない場合にはステップST39に進む。
ステップST36,ST37の処理は、色のバリエーションが少ないブロックMBで、且つ、IntraADが比較的小さいマクロブロックMBでフレッシングが生じやすいという特性に基づいている。
(数6)
TH4≦AdDiff≦TH5 &
TH6≦MAD(n,i,j)≦TH7
…(6)
ステップST38:
リフレッシュ検出回路52は、検出対象のマクロブロックMBのリフレッシング発生予測レベルVoteとして「4」を設定する。
ステップST39:
リフレッシュ検出回路52は、図4に示すステップST11で説明したように動き予測・補償回路51で算出したInterAD,IntraADを用いて、下記式(7)により、値AdDiffを計算する。
(数7)
AdDiff=(IntraAD−InterAD)/256
…(7)
ステップST40:
リフレッシュ検出回路52は、ステップST31で算出したMAD(n,i,j)と、ステップST39で算出したAdDiffとを基に、下記式(8)で示す条件4が満たされているか否かを判断し、条件4が満たされていると判断するとステップST42に進み、そうでない場合にはステップST41に進む。
ステップST39,ST40の処理は、色のバリエーションが大きいブロックMBで、且つ、IntraADが比較的大きいマクロブロックMBでリフレッシングが生じやすいという特性に基づいている。
(数8)
TH8≦AdDiff≦TH9 &
TH10≦MAD(n,i,j)≦TH11
…(8)
ステップST41:
リフレッシュ検出回路52は、検出対象のマクロブロックMBのリフレッシング発生予測レベルVoteとして「0」を設定する。
ステップST42:
リフレッシュ検出回路52は、検出対象のマクロブロックMBのリフレッシング発生予測レベルVoteとして「4」を設定する。
[リフレッシュ対策回路53]
リフレッシュ対策回路53は、リフレッシュ検出回路52から入力したリフレッシング結果(InterAD,IntraADの予測値に基づいたリフレッシング結果)に基づいて、例えば、図14に示すように、リフレッシング対策の対象となるマクロブロックMB_2が、ピクチャタイプ割り当て回路22においてIピクチャデータに属し、I(フレーム内)符号化されると決められている場合に、それをP(フレーム間)符号化した結果を原画像データとして量子化させる。
これにより、マクロブロックMB_2は、その前のマクロブロックMB_1のパターンを引き継ぎ、リフレッシングを知覚し難くできる。
そして、リフレッシュ対策回路53は、P符号化したマクロブロックMB_2を、I符号化されたマクロブロックMB_3として規定する。
これは、復号装置3が、一定間隔でIピクチャデータが存在することを前提として復号を行うためである。
なお、リフレッシュ対策回路53は、フレーム間の連続性を持った画像データを生成し、当該画像データを原画像データとして量子化する処理であれば上述した処理以外の処理、例えば、時間方向のフィルタリング処理や、符号化順が前の他の画像データを前記原画像データとして用いる処理の少なくとも一つの処理を行ってもよい。
[リフレッシュ対策回路54]
リフレッシュ対策回路54は、実際のInterAD,IntraADを用いてリフレッシュ検出回路52が行ったリフレッシング結果によってリフレッシング対策処理の対象とされたマクロブロックR−MBについて、図15に示すリフレッシング対策処理を行う。
なお、リフレッシュ対策回路54は、InterAD,IntraADの予測値を用いてリフレッシュ検出回路52が行ったリフレッシング結果によってリフレッシング対策処理の対象とされたマクロブロックR−MBについて、図15に示すリフレッシング対策処理を行ってもよい。
図15は、リフレッシュ対策回路54および量子化回路33の処理を説明するためのフローチャートである。
ステップST51:
リフレッシュ対策回路54は、直交変換回路32からDCT(直交変換)係数を示す画像データを入力する。
そして、リフレッシュ対策回路54は、リフレッシング対策を行う対象となるマクロブロックR−MBの各DCT係数について、それを当該マクロブロックMBの周囲のマクロブロックMBの量子化パラメータQP(量子化スケールQS)で量子化した場合にゼロとなるDCT係数の位置をマスク位置として特定する。
ステップST52:
リフレッシュ対策回路54は、直交変換回路32から入力したDCT係数を、予め決められた量子化パラメータQP(リフレッシングが知覚できない程度の量子化を行う量子化パラメータ)で量子化するように量子化回路33を制御する。
ステップST53:
量子化回路33は、リフレッシュ対策回路54の制御により、ステップST52で生成した量子化値のうち、ステップST51で特定したマスク位置の量子化値をゼロにして、可逆符号化回路35および逆量子化回路37に出力する。
なお、リフレッシュ対策回路54は、例えば、図15のステップST51において、一定値以下のDCT係数の位置を自動的にマスク位置として決定してもよい。
また、リフレッシュ対策回路54は、DCT係数の値とは無関係に所定の位置をマスク位置として決定してもよい。
また、リフレッシュ対策回路54は、ステップST51において、複数のマスク位置のパターンを予め用意し、画像データの特性に応じて、これらのパターンを選択的に用いてもよい。
また、リフレッシュ対策回路54は、DCT係数の値を基にマスク位置を決定する場合に、高周波成分のDCT係数に低周波成分のDCT係数より高いしきい値を規定してマスク位置を決定してもよい。
以下、図2に示す符号化装置2の全体動作を説明する。
入力となる画像信号は、まず、A/D変換回路21においてデジタル信号に変換される。
次に、ピクチャタイプ割り当て回路22において、ピクチャタイプが割り当てられ、続いて、画面並べ替え回路23において、画像圧縮情報のGOP構造に応じ、ピクチャデータの並べ替えが行われ、それによって得られたピクチャデータが、リフレッシュ対策回路53およびMBタイプ決定回路26を介して演算回路31に出力される。
それと並行して、動き予測・補償回路51およびリフレッシュ検出回路52において、図4等を用いて説明したように、InterAD,IntraADの予測値を基に、リフレッシング対策処理の対象とするマクロブロックR−MBを決定する。
演算回路31に入力されたピクチャデータは、マクロブロックMBを単位として、イントラ予測回路42によるイントラ符号化あるいは動き予測・補償回路43によるインター符号化のいずれか一方が選択され、最終的に演算回路31で生成された差分画像が、直交変換回路32による直交変化処理および量子化回路33による量子化処理を経て、可逆符号化回路35で可逆符号化された後にバッファメモリ36に書き込まれる。
このとき、リフレッシュ検出回路52においてn動き予測・補償回路51からのInterAD,IntraADに基づいてリフレッシング対策処理を行うマクロブロックR−MBを決定し、その結果に基づいて、リフレッシュ対策回路53において図15に示すリフレッシング対策処理が行われる。
また、リフレッシュ対策回路53において動き予測・補償回路43およびイントラ予測回路42の処理結果に応じた実際のInterAD,IntraADに基づいて、リフレッシング対策処理を行うマクロブロックR−MBを決定する。そして、リフレッシュ対策回路54において、当該決定されたマクロブロックR−MBについて、図16に示すリフレッシング対策処理を行う。
以上説明したように、符号化装置2によれば、図2に示すリフレッシュ検出回路52においてリフレッシングが生じる可能性が高い特性を持つマクロブロックR−MBを特定し、そのマクロブロックR−MBに対してリフレッシュ対策回路53およびリフレッシュ対策回路54において、リフレッシングが知覚されないように予めリフレッシング対策処理を施す。
これにより、復号装置3において、復号画像にリフレッシングが知覚されることを抑制でき、高画質化を図れる。
<復号装置3>
以下、図1に示す復号装置3について説明する。
図16は、図1に示す復号装置3の構成図である。
図16に示すように、復号装置3は、例えば、バッファメモリ81、可逆復号回路82、逆量子化回路83、逆直交変換回路84、加算回路85、フレームメモリ86、画像並べ替えバッファ87、D/A変換回路88、イントラ予測回路89、動き予測・補償回路90、動き予測・補償回路151、リフレッシュ検出回路152、リフレッシュ対策回路153を有する。
バッファメモリ81は、符号化装置2から受信(入力)したビットストリームである画像データS2を記憶する。
可逆復号回路82は、バッファメモリ81から読み出した画像データS2を、図2に示す可逆符号化回路27による可逆符号化に対した方法で復号して画像データS82を生成する。
可逆復号回路82は、画像データS2に多重化された直交変換サイズ信号TRSIZEを分離および復号して逆量子化回路83および逆直交変換回路84に出力する。
可逆復号回路82について後に詳細に説明する。
逆量子化回路83は、可逆復号回路82から入力した直交変換サイズ信号TRSIZEを基に、可逆復号回路82から入力した可逆復号後の画像データS82を、図2に示す量子化回路26に対応した逆量子化方法で逆量子化して画像データS83を生成し、これを逆直交変換回路84に出力する。
逆直交変換回路84は、可逆復号回路82から入力した直交変換サイズ信号TRSIZEを基に、逆量子化回路83から入力した画像データS83を、図2に示す直交変換回路25の直交変換に対応した直交逆変換を行って画像データS84を生成し、これを加算回路85に出力する。
加算回路85は、イントラ予測回路89あるいは動き予測・補償回路90から入力した予測画像と、逆直交変換回路84から入力した画像データS84とを加算して画像データS85を生成し、これをフレームメモリ86および画像並べ替えバッファ87に出力する。
画像並べ替えバッファ87は、加算回路85から入力した画像データS85をピクチャ単位で表示順に並べ替えて動き予測・補償回路151およびリフレッシュ対策回路153に出力する。
イントラ予測回路89は、フレームメモリ86から読み出した画像データS85内の復号対象のブロックデータがイントラ予測符号化されたものである場合に、当該ブロックデータをイントラ方式で復号して予測画像データを生成し、これを加算回路85に出力する。
動き予測・補償回路90は、フレームメモリ86から読み出した画像データS85内の復号対象のブロックデータがインター予測符号化されたものである場合に、当該ブロックデータをインター方式で復号して予測画像データを生成し、これを加算回路85に出力する。
動き予測・補償回路151は、例えば、図2に示す動き予測・補償回路51と同様の処理を行い、IntraAD,InterADの予測値を生成し、これをリフレッシュ検出回路152に出力する。
リフレッシュ検出回路152は、動き予測・補償回路151から入力したIntraAD,InterADの予測値に基づいて、リフレッシュ検出回路52と同様の手法で、リフレッシング対策の対象とするマクロブロックR−MBを特定する。
リフレッシュ対策回路153は、画像並べ替えバッファ87から入力したピクチャデータを構成するマクロブロックMBのうち、リフレッシュ検出回路152においてリフレッシング対策の対象とされたマクロブロックR−MBに予め決められたノイズパターンを付加した後に、当該ピクチャデータをD/A変換回路88に出力する。
D/A変換回路88は、リフレッシュ対策回路153から入力したピクチャデータをD/A変換してアナログの画像信号を生成する。
以上説明したように、復号装置3によれば、復号したピクチャデータ内の各マクロブロックMBについて、リフレッシングが知覚される可能性が高いマクロブロックMBをリフレッシュ検出回路152で特定し、そのマクロブロックMBに積極的にノイズパターンを付加する。
これにより、動きが小さいあるいは色バリエーションが小さい画像領域において知覚され易いリフレッシングを、ノイズパターンにより知覚されに難くすることができ、復号画像の知覚される画質を向上できる。
当業者は、本発明の技術的範囲またはその均等の範囲内において、上述した実施形態の構成要素に関し、様々な変更、コンビネーション、サブコンビネーション、並びに代替を行ってもよいことが理解される。
例えば、上述した符号化装置2あるいは復号装置3の機能の全部あるいは一部を、図17に示すように、メモリ252に記憶されたプログラムPRGの記述に従ってCPUなどの処理回路253が実行してもよい。
この場合に、インターフェース251を介して、符号化対象あるいは復号対象の画像データが入力され、その処理結果が出力される。
図1は、本発明は、本発明の実施形態の通信システムの構成図である。 図2は、図1に示す符号化装置の機能ブロック図である。 図3は、リフレッシングの発生要因を説明するための図である。 図4は、図2に示す符号化装置によるリフレッシング検出、並びに対策の処理を説明するためのフローチャートである。 図5は、図4に示すステップST13の処理を説明するための図である。 図6は、図4に示すステップST14を説明するための図である。 図7は、図4に示すステップST14を説明するための図である。 図8は、図4に示すステップST15の処理を説明するための図である。 図9は、図4に示すステップST16の処理を説明するための図である。 図10は、図4に示すステップST17の処理を説明するための図である。 図11は、図4に示すステップST12の処理をより詳細に説明するためのフローチャートである。 図12は、図4に示すステップST12の処理をより詳細に説明するための図11の続きのフローチャートである。 図13(A)は、図11に示すステップST31を説明するための図であり、図13(B)はステップST33を説明するための図である。 図14は、図2に示すリフレッシュ対策回路53によるリフレッシング対策処理を説明するための図である。 図15は、図2に示すリフレッシュ対策回路および量子化回路による処理を説明するためのフローチャートである。 図16は、図1に示す復号装置の構成図である。 図17は、本実施形態の符号化装置および復号装置の変形例を説明するための図である。
符号の説明
1…通信システム、2…符号化装置、3…復号装置、21…A/D変換回路、22…ピクチャタイプ割り当て回路、23…画面並べ替え回路、26…MBタイプ決定回路、31…演算回路、32…直交変換回路、33…量子化回路、34…レート制御回路、35…可逆符号化回路、36…バッファメモリ、37…逆量子化回路、38…逆直交変換回路、39…加算回路、40…デブロックフィルタ、41…フレームメモリ、42…イントラ予測回路、43…動き予測・補償回路、51…動き予測・補償回路、52…リフレッシュ検出回路、53…リフレッシュ対策回路、54…リフレッシュ対策回路、81…バッファメモリ、82…可逆復号回路、83…逆量子化回路、84…逆直交変換回路、85…加算回路、86…フレームメモリ、87…画像並べ替えバッファ、88…D/A変換回路、89…イントラ予測回路、90…動き予測・補償回路、151…動き予測・補償回路、152…リフレッシュ検出回路、153…リフレッシュ対策回路、251…インターフェース、252…メモリ、253…演算回路

Claims (11)

  1. 符号化対象の画像データを基に、当該画像データ内の符号化画像を復号したときに、原画像に同様な特性が連続する箇所、イントラ符号とインター符号の難易度が同じ箇所、原画像の構成が単純な箇所でイントラピクチャデータごとに発生する当該画像データ内のリフレッシング対策処理を行う画像領域データを、動きベクトルに応じて特定する特定手段と、
    前記画像データを符号化する際に、前記特定手段が特定した画像領域データについて、直交変換係数を所定の量子化パラメータで量子化するようにリフレッシング対策処理を施すリフレッシング対策手段と
    を有し、
    前記特定手段は、動画像データを構成する前記画像データをインター符号化した場合の予測差分画像と、イントラ符号化した場合の予測差分画像との間の差分を基に、前記画像領域データを特定する、
    符号化装置。
  2. 前記画像データがブロックデータを単位として符号化される場合に、
    前記特定手段は、前記画像データを構成するブロックデータを前記画像領域データとして特定する、
    請求項1に記載の符号化装置。
  3. 前記リフレッシング対策手段は、フレーム間の連続性を持った画像データを生成し、当該画像データを原画像データとして量子化する、
    請求項2に記載の符号化装置。
  4. 前記リフレッシング対策手段は、フレーム間符号化処理と、時間方向のフィルタリング処理と、符号化順が前の他の画像データを前記原画像データとして用いる処理との少なくとも一つの処理を行う、
    請求項3に記載の符号化装置。
  5. 前記リフレッシング対策手段は、前記フレーム間符号化するように変更した前記ブロックデータの量子化パラメータを、予め決められた量子化パラメータより小さくなるように変更する、
    請求項3に記載の符号化装置。
  6. 前記リフレッシング対策手段は、前記特定手段が特定したブロックデータの直交変換係数のうち、当該ブロックデータの周囲のブロックデータに設定された量子化パラメータで量子化した場合にゼロになる前記直交変換係数を強制的にゼロにする、
    請求項2に記載の符号化装置。
  7. 符号化対象の画像データを基に、当該画像データ内の符号化画像を復号したときに、原画像に同様な特性が連続する箇所、イントラ符号とインター符号の難易度が同じ箇所、原画像の構成が単純な箇所でイントラピクチャデータごとに発生する当該画像データ内のリフレッシング対策処理を行う画像領域データを、動きベクトルに応じて特定する第1の工程と、
    前記画像データを符号化する際に、前記第1の工程で特定した画像領域データについて、直交変換係数を所定の量子化パラメータで量子化するようにリフレッシング対策処理を施す第2の工程と
    を有し、
    前記第1の工程において、動画像データを構成する前記画像データをインター符号化した場合の予測差分画像と、イントラ符号化した場合の予測差分画像との間の差分を基に、前記画像領域データを特定する、
    符号化方法。
  8. コンピュータが実行するプログラムであって、
    符号化対象の画像データを基に、当該画像データ内の符号化画像を復号したときに、原画像に同様な特性が連続する箇所、イントラ符号とインター符号の難易度が同じ箇所、原画像の構成が単純な箇所でイントラピクチャデータごとに発生する当該画像データ内のリフレッシング対策処理を行う画像領域データを、動きベクトルに応じて特定する第1の手順であって、動画像データを構成する前記画像データをインター符号化した場合の予測差分画像と、イントラ符号化した場合の予測差分画像との間の差分を基に、前記画像領域データを特定する、第1の手順と、
    前記画像データを符号化する際に、前記第1の手順で特定した画像領域データについて、直交変換係数を所定の量子化パラメータで量子化するようにリフレッシング対策処理を施す第2の手順と
    を前記コンピュータに実行させるプログラム。
  9. 符号化画像データを復号して復号画像データを生成する復号手段と、
    前記復号手段が生成した復号画像データを基に、当該画像データ内の符号化画像を復号したときに、原画像に同様な特性が連続する箇所、イントラ符号とインター符号の難易度が同じ箇所、原画像の構成が単純な箇所でイントラピクチャデータごとに発生する当該復号画像データ内のリフレッシング対策処理を行う画像領域データを、動きベクトルに応じて特定する特定手段と、
    前記復号手段が生成した復号画像データ内の前記特定手段が特定した画像領域データに、ノイズパターンを付加してリフレッシング対策処理を施すリフレッシング対策手段と
    を有し、
    前記特定手段は、動画像データを構成する前記画像データをインター符号化した場合の予測差分画像と、イントラ符号化した場合の予測差分画像との間の差分を基に、前記画像領域データを特定する、
    復号装置。
  10. 符号化画像データを復号して復号画像データを生成する第1の工程と、
    前記第1の工程で生成した復号画像データを基に、当該画像データ内の符号化画像を復号したときに、原画像に同様な特性が連続する箇所、イントラ符号とインター符号の難易度が同じ箇所、原画像の構成が単純な箇所でイントラピクチャデータごとに発生する当該復号画像データ内ののリフレッシング対策処理を行う画像領域データを、動きベクトルに応じて特定する第2の工程と、
    前記第1の工程で生成した復号画像データ内の前記第2の工程で特定した画像領域データに、ノイズパターンを付加してリフレッシング対策処理を施す第3の工程と
    を有し、
    前記第2の工程において、動画像データを構成する前記画像データをインター符号化した場合の予測差分画像と、イントラ符号化した場合の予測差分画像との間の差分を基に、前記画像領域データを特定する、
    復号方法。
  11. コンピュータが実行するプログラムであって、
    符号化画像データを復号して復号画像データを生成する第1の手順と、
    前記第1の手順で生成した復号画像データを基に、当該画像データ内の符号化画像を復号したときに、原画像に同様な特性が連続する箇所、イントラ符号とインター符号の難易度が同じ箇所、原画像の構成が単純な箇所でイントラピクチャデータごとに発生する当該復号画像データ内のリフレッシング対策処理を行う画像領域データを、動きベクトルに応じて特定する第2の手順であって、動画像データを構成する前記画像データをインター符号化した場合の予測差分画像と、イントラ符号化した場合の予測差分画像との間の差分を基に、前記画像領域データを特定する、第2の手順と、
    前記第1の手順で生成した復号画像データ内の前記第2の手順で特定した画像領域データに、ノイズパターンを付加してリフレッシング対策処理を施す第3の手順と
    を前記コンピュータに実行させるプログラム。
JP2008523866A 2005-07-26 2006-04-04 符号化装置、符号化方法、復号装置、復号方法およびそれらのプログラム Expired - Fee Related JP5269593B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/189,379 2005-07-26
US11/189,379 US7697783B2 (en) 2005-07-26 2005-07-26 Coding device, coding method, decoding device, decoding method, and programs of same
PCT/US2006/012434 WO2007018626A2 (en) 2005-07-26 2006-04-04 Coding device, coding method, decoding device, decoding method, and programs of same

Publications (2)

Publication Number Publication Date
JP2009503999A JP2009503999A (ja) 2009-01-29
JP5269593B2 true JP5269593B2 (ja) 2013-08-21

Family

ID=37694354

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008523866A Expired - Fee Related JP5269593B2 (ja) 2005-07-26 2006-04-04 符号化装置、符号化方法、復号装置、復号方法およびそれらのプログラム

Country Status (12)

Country Link
US (1) US7697783B2 (ja)
EP (1) EP1915825A4 (ja)
JP (1) JP5269593B2 (ja)
KR (1) KR101283260B1 (ja)
CN (1) CN101233697B (ja)
AU (1) AU2006277054B2 (ja)
CA (1) CA2616363A1 (ja)
HK (1) HK1115483A1 (ja)
MY (1) MY149490A (ja)
RU (1) RU2387093C2 (ja)
TW (1) TWI419566B (ja)
WO (1) WO2007018626A2 (ja)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100282147B1 (ko) * 1998-11-13 2001-02-15 구자홍 압축 영상 복원 방법
TWI245539B (en) * 2004-09-22 2005-12-11 Sony Taiwan Ltd Spatial domain pre-processing to reduce the intra-coding computation complexity
KR101200865B1 (ko) * 2006-03-23 2012-11-13 삼성전자주식회사 영상의 부호화 방법 및 장치, 복호화 방법 및 장치
KR101311402B1 (ko) * 2006-03-23 2013-09-25 삼성전자주식회사 영상의 부호화 방법 및 장치, 복호화 방법 및 장치
JP4724061B2 (ja) * 2006-07-06 2011-07-13 株式会社東芝 動画像符号化装置
JP4901772B2 (ja) * 2007-02-09 2012-03-21 パナソニック株式会社 動画像符号化方法及び動画像符号化装置
US8824567B2 (en) * 2007-04-04 2014-09-02 Ittiam Systems (P) Ltd. Method and device for tracking error propagation and refreshing a video stream
JP5250638B2 (ja) * 2008-01-17 2013-07-31 トムソン ライセンシング フリッカー測定方法
US20100027621A1 (en) * 2008-07-31 2010-02-04 Kabushiki Kaisha Toshiba Apparatus, method and computer program product for moving image generation
US8711933B2 (en) * 2010-08-09 2014-04-29 Sony Computer Entertainment Inc. Random access point (RAP) formation using intra refreshing technique in video coding
CN103444181B (zh) 2011-04-12 2018-04-20 太阳专利托管公司 运动图像编码方法、运动图像编码装置、运动图像解码方法、运动图像解码装置及运动图像编码解码装置
EP3751854B1 (en) 2011-05-24 2023-05-10 Sun Patent Trust Image encoding method, image encoding apparatus, image decoding method, image decoding apparatus
ES2911670T3 (es) 2011-05-27 2022-05-20 Sun Patent Trust Aparato, procedimiento y programa para decodificar imágenes en movimiento
US9485518B2 (en) 2011-05-27 2016-11-01 Sun Patent Trust Decoding method and apparatus with candidate motion vectors
SG194746A1 (en) 2011-05-31 2013-12-30 Kaba Gmbh Image encoding method, image encoding device, image decoding method, image decoding device, and image encoding/decoding device
JP5937589B2 (ja) 2011-05-31 2016-06-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 動画像復号化方法、および動画像復号化装置
EP2536143B1 (en) * 2011-06-16 2015-01-14 Axis AB Method and a digital video encoder system for encoding digital video data
CA2836063C (en) 2011-06-30 2020-06-16 Panasonic Corporation Image encoding and decoding method and device for generating predictor sets in high-efficiency video coding
MX341415B (es) 2011-08-03 2016-08-19 Panasonic Ip Corp America Metodo de codificacion de video, aparato de codificacion de video, metodo de decodificacion de video, aparato de decodificacion de video y aparato de codificacion/decodificacion de video.
IN2014CN02602A (ja) 2011-10-19 2015-08-07 Panasonic Corp
US8855432B2 (en) * 2012-12-04 2014-10-07 Sony Corporation Color component predictive method for image coding
US9386317B2 (en) 2014-09-22 2016-07-05 Sony Interactive Entertainment Inc. Adaptive picture section encoding mode decision control
US10419760B2 (en) 2014-09-29 2019-09-17 Sony Interactive Entertainment Inc. Picture quality oriented rate control for low-latency streaming applications
JP2016212348A (ja) * 2015-05-13 2016-12-15 株式会社 オルタステクノロジー 液晶表示装置
US10200716B2 (en) 2015-06-25 2019-02-05 Sony Interactive Entertainment Inc. Parallel intra-prediction encoding/decoding process utilizing PIPCM and/or PIDC for selected sections
US10178390B2 (en) 2016-03-30 2019-01-08 Sony Interactive Entertainment Inc. Advanced picture quality oriented rate control for low-latency streaming applications
US11212536B2 (en) 2017-07-14 2021-12-28 Sony Interactive Entertainment Inc. Negative region-of-interest video coding

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA1316591C (en) * 1987-10-20 1993-04-20 Kazuhiro Hishinuma Method and apparatus for radiation image processing and x-ray image processing
JPH0568171A (ja) * 1991-09-05 1993-03-19 Matsushita Electric Ind Co Ltd 帯域分割型画像符号化装置
US5387938A (en) * 1992-10-08 1995-02-07 Matsushita Electric Industrial Co., Ltd. Adaptive interframe/intraframe block coding method and apparatus
JPH07203456A (ja) * 1993-12-28 1995-08-04 Matsushita Electric Ind Co Ltd 符号化装置と復号化装置と映像記録装置
JPH07222167A (ja) * 1994-02-08 1995-08-18 Nippon Telegr & Teleph Corp <Ntt> 動き補償フレーム間符号化方法
JPH0846966A (ja) * 1994-07-29 1996-02-16 Matsushita Electric Ind Co Ltd 画質改善方法
JP4223571B2 (ja) * 1995-05-02 2009-02-12 ソニー株式会社 画像符号化方法及び装置
JP3282527B2 (ja) * 1996-12-27 2002-05-13 富士ゼロックス株式会社 画像符号化装置
US6055340A (en) * 1997-02-28 2000-04-25 Fuji Photo Film Co., Ltd. Method and apparatus for processing digital images to suppress their noise and enhancing their sharpness
US6178205B1 (en) * 1997-12-12 2001-01-23 Vtel Corporation Video postfiltering with motion-compensated temporal filtering and/or spatial-adaptive filtering
JPH11250246A (ja) * 1998-02-27 1999-09-17 Fuji Photo Film Co Ltd 画像処理方法および装置
US6667815B1 (en) * 1998-09-30 2003-12-23 Fuji Photo Film Co., Ltd. Method and apparatus for processing images
CA2309002A1 (en) * 2000-05-23 2001-11-23 Jonathan Martin Shekter Digital film grain reduction
KR100382908B1 (ko) * 2001-01-31 2003-05-09 엘지전자 주식회사 동영상 전송 시스템의 블록 필터링 방법
US6842484B2 (en) * 2001-07-10 2005-01-11 Motorola, Inc. Method and apparatus for random forced intra-refresh in digital image and video coding
US20030112863A1 (en) * 2001-07-12 2003-06-19 Demos Gary A. Method and system for improving compressed image chroma information
CN1575479A (zh) * 2001-10-25 2005-02-02 皇家飞利浦电子股份有限公司 用于运动估算的单元和方法以及设有这种运动估算单元的图像处理设备
WO2003041394A1 (en) * 2001-11-05 2003-05-15 Nikon Corporation Image compression apparatus, image compression program, and image compression method
US20030103567A1 (en) * 2001-12-03 2003-06-05 Riemens Abraham Karel Motion compensation and/or estimation
JP2003333370A (ja) * 2002-05-10 2003-11-21 Matsushita Electric Ind Co Ltd 信号処理装置
JP2004015501A (ja) 2002-06-07 2004-01-15 Nec Corp 動画像符号化装置および動画像符号化方法
MXPA05000558A (es) * 2002-07-16 2005-04-19 Nokia Corp Metodo de acceso aleatorio y renovacion gradual de imagen en codificacion de video.
US7636492B2 (en) * 2003-02-28 2009-12-22 Hewlett-Packard Development Company, L.P. Selective smoothing including bleed-through reduction
US7164807B2 (en) * 2003-04-24 2007-01-16 Eastman Kodak Company Method and system for automatically reducing aliasing artifacts
JP2005102159A (ja) * 2003-08-19 2005-04-14 Matsushita Electric Ind Co Ltd 動画像符号化方法および動画像復号化方法
FR2860940A1 (fr) * 2003-10-14 2005-04-15 Nextream France Dispositif et procede de reduction de bruit d'un signal video
JP2005151152A (ja) * 2003-11-14 2005-06-09 Sony Corp データ処理装置およびその方法と符号化装置

Also Published As

Publication number Publication date
CN101233697B (zh) 2012-05-30
HK1115483A1 (en) 2008-11-28
JP2009503999A (ja) 2009-01-29
MY149490A (en) 2013-09-13
CN101233697A (zh) 2008-07-30
WO2007018626A2 (en) 2007-02-15
CA2616363A1 (en) 2007-02-15
RU2008106865A (ru) 2009-09-10
RU2387093C2 (ru) 2010-04-20
AU2006277054B2 (en) 2010-08-19
US20070025621A1 (en) 2007-02-01
EP1915825A2 (en) 2008-04-30
TW200715867A (en) 2007-04-16
EP1915825A4 (en) 2013-12-04
WO2007018626A3 (en) 2007-12-21
KR101283260B1 (ko) 2013-07-11
TWI419566B (zh) 2013-12-11
KR20080046166A (ko) 2008-05-26
US7697783B2 (en) 2010-04-13
AU2006277054A1 (en) 2007-02-15

Similar Documents

Publication Publication Date Title
JP5269593B2 (ja) 符号化装置、符号化方法、復号装置、復号方法およびそれらのプログラム
JP4186242B2 (ja) 画像信号処理装置及び画像信号処理方法
RU2426270C2 (ru) Устройство и способ кодирования
KR100677552B1 (ko) 루프 필터링 방법 및 루프 필터
JP4804107B2 (ja) 画像符号化装置、画像符号化方法及びそのプログラム
JP2006519565A (ja) ビデオ符号化
JP2002500483A (ja) 符号化/非符号化ブロックに対するブロックパラメータの適応的符号化を使用した改良型ビデオ符号化
JP5078837B2 (ja) 符号化装置、符号化装置の制御方法及びコンピュータプログラム
JP4561508B2 (ja) 画像処理装置、画像処理方法およびそのプログラム
JP4747494B2 (ja) データ処理装置およびその方法と符号化装置
JP2007006390A (ja) 画像処理装置、画像処理方法及びプログラム
JP3599942B2 (ja) 動画像符号化方法、及び動画像符号化装置
US20060146183A1 (en) Image processing apparatus, encoding device, and methods of same
JP4655791B2 (ja) 符号化装置、符号化方法およびそのプログラム
KR20170077621A (ko) 영상 압축에서의 플리커링 현상 제거 방법 및 그 장치
US10992942B2 (en) Coding method, decoding method, and coding device
JP4517963B2 (ja) 符号化装置、符号化方法、プログラムおよび記録媒体
JPH10164594A (ja) 動画像の圧縮符号化方法およびその装置
JP2005197879A (ja) 映像信号符号化装置
JP4000581B2 (ja) 画像符号化装置および方法
JP2007074559A (ja) 符号化装置及び符号化方法
KR20070018590A (ko) 비디오 전송 시스템 및 디블로킹 제어 방법
JP2001145104A (ja) 画像復号化方法および画像復号化装置
JPH0686254A (ja) 動画像データの高能率符号化装置
JPH0730895A (ja) 画像処理装置及びその処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090325

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120327

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120521

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130318

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130416

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130508

R150 Certificate of patent or registration of utility model

Ref document number: 5269593

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees