JP5234241B2 - 動画像符号化方法、及びこれを用いた装置と、コンピュータプログラム - Google Patents

動画像符号化方法、及びこれを用いた装置と、コンピュータプログラム

Info

Publication number
JP5234241B2
JP5234241B2 JP2006550785A JP2006550785A JP5234241B2 JP 5234241 B2 JP5234241 B2 JP 5234241B2 JP 2006550785 A JP2006550785 A JP 2006550785A JP 2006550785 A JP2006550785 A JP 2006550785A JP 5234241 B2 JP5234241 B2 JP 5234241B2
Authority
JP
Japan
Prior art keywords
image
frame
intra
coding
quantization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2006550785A
Other languages
English (en)
Other versions
JPWO2006070787A1 (ja
Inventor
慶一 蝶野
裕三 仙田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2006550785A priority Critical patent/JP5234241B2/ja
Publication of JPWO2006070787A1 publication Critical patent/JPWO2006070787A1/ja
Application granted granted Critical
Publication of JP5234241B2 publication Critical patent/JP5234241B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

本発明は動画像符号化技術に関し、例えば動画像信号を蓄積する動画像符号化装置に適用して好適なものである。
従来、動画像符号化装置は、外部から入力される動画像信号をディジタル化した後、所定の動画像符号化方式に準拠した符号化処理を行うことで符号化情報列すなわちビットストリームを生成する。
前記の動画像符号化方式として近年規格化されたISO/IEC 14496-10 Advanced Video Codingがある（非特許文献１ ISO/IEC 14496-10 Advanced Video Coding）。また、前記Advanced Video Coding符号器の開発の参照モデルとしてJM(Joint Model)方式が知られている。
JM方式においては、動画像を構成する各画像フレームをMB(Macro Block)とよばれる16x16画素サイズのブロックに分割し、さらに前記MBを4x4画素サイズのブロック分割し（以後、4x4ブロックと呼ぶ）、前記4x4ブロックを符号化の最小構成単位とする。
画像フレームがQCIF(Quarter Common Intermediate Format)の場合での、前記ブロック分割の例を図１に示す。なお、通常、画像フレームは、輝度信号と色差信号で構成されるが、以下では説明の簡略化のために、輝度信号のみを取り扱う。
図１を参照して、画像フレームを入力とし、ビットストリームを出力するJM方式の動作を説明する。
図２を参照すると、JM方式(従来方式)はMBバッファ101、変換装置102、量子化装置103、逆量子化/逆変換装置104、エントロピー符号化装置105、符号量制御装置106、フレームメモリA107、ループ内フィルタ装置108、フレームメモリB109、フレーム内予測装置110、フレーム間予測装置111、予測方式推定装置112、スイッチSW100で構成される。
各装置の動作を以下で説明する。
MBバッファ101は、入力画像フレームの符号化対象MBの画素値を格納する。
MBバッファ101から供給される符号化対象MBの画素値（以後、単純に入力MBと呼ぶ）は、フレーム内予測装置110あるいはフレーム間予測装置111から供給される予測値が減じられる。前記、予測値が減じられた入力画像は予測誤差と呼ばれる。
フレーム間予測は、現在の符号化対象画像フレームと表示時刻が異なる過去に再構築された画像フレームを参照し、画像フレームの時間方向での相関を利用して現在の符号化対象ブロックを予測する。以後、前記フレーム間予測を復号に必要とする符号化をインター符号化、インター符号化されたMBをインターMB、フレーム間予測で生成された予測値をフレーム間予測値あるいはフレーム間予測画像と呼ぶ。
一方、上述したフレーム間予測を復号に用いない符号化をイントラ符号化とよび、イントラ符号化されたMBをイントラMBと呼ぶ。JM方式では、フレーム内予測をイントラ符号化に利用できる。前記フレーム内予測は、現在の符号化対象画像フレームと表示時刻が同一の過去に再構築された画像フレームを参照し、画像フレームの空間方向での相関を利用して現在の符号化対象ブロックを予測する。以後、前記フレーム内予測で生成された予測値をフレーム内予測値あるいはフレーム内予測画像と呼ぶ。
前記イントラMBのみで構成される符号化画像フレームをIフレームと呼ぶ。一方、前記イントラMBだけでなくインターMBで構成される符号化画像フレームをPフレーム、さらにフレーム間予測に１枚の画像フレームだけでなく、同時に2枚の画像フレームから予測できるインターMBを含む符号化画像フレームをBフレームと呼ぶ。
通常シーンが定常的な場合、隣接する画像フレーム間の画素相関は極めて高く、イントラ符号化よりもインター符号化の方が効果的に圧縮できる。このため動画像の大部分の画像フレームは、インター符号化を利用できるPフレームあるいはBフレームで符号化される。
変換装置102は、前記予測誤差をMBよりも細かいブロックの単位で周波数変換し、空間領域から周波数領域に変換する。前記周波数領域に変換された予測誤差を変換係数と呼ぶ。前記周波数変換には、DCT(Discrete Cosine Transform)やアダマール変換などの直交変換が利用でき、JM方式(従来方式)では基底を整数値化した4x4画素ブロックサイズの整数精度DCTを利用する。
一方で、符号量制御装置106は、入力画像フレームを目標のビット数で符号化するためにエントロピー符号化装置105が出力するビットストリームのビット数を監視し、出力されるビットストリームのビット数が目標のビット数よりも多ければ量子化ステップサイズを大とする量子化パラメータを出力し、逆に出力されるビットストリームのビット数が目標のビット数よりも少なければ量子化ステップサイズを小とする量子化パラメータを出力する。これによって出力ビットストリームは目標のビット数に近づくように符号化される。
量子化装置103は、前記変換係数を、符号量制御装置106が供給する前記量子化パラメータに対応する量子化ステップサイズで量子化する。前記量子化された変換係数は、レベルあるいは量子化値と呼ばれる（以後、イントラ符号化対象の量子化値をイントラ符号化量子化値、一方インター符号化対象の量子化値をインター符号化量子化値と呼ぶ）。前記量子化値はエントロピー符号化装置105によってエントロピー符号化されてビット列、すなわちビットストリームとして出力される。
なお、変換装置102と量子化装置103をまとめた装置を、変換量子化装置200と呼ぶ。
続いて、以降の符号化のために、逆量子化/逆変換装置104は、量子化装置103から供給されるレベルを逆量子化し、さらに逆周波数変換して元の空間領域に戻す。
前記逆量子化された変換係数を逆量子化変換係数あるいは再構築変換係数と呼ぶ。また、元の空間領域に戻された予測誤差を再構築予測誤差と呼ぶ。
フレームメモリA107は、前記再構築予測誤差に前記予測値を加えた値を、再構築フレームとして格納する。
現在の符号化対象画像フレーム内のすべてのMBが符号化された後、ループ内フィルタ108はフレームメモリA107に格納された再構築フレームに対してノイズ除去フィルタリングを行う。
フレームメモリB109は、ループ内フィルタ108から供給される前記ノイズ除去フィルタされた画像フレームを参照フレームとして格納する。
フレーム内予測装置110は、フレームメモリA107に格納された再構築フレームから、予測方式推定装置112から供給されるMBタイプおよびフレーム内予測方向に基づき、フレーム内予測値を生成する。
フレーム間予測装置111は、フレームメモリB109に格納された参照フレームから、予測方式推定装置112から供給されるMBタイプおよび動きベクトルに基づき、フレーム間予測値を生成する。
予測方式推定装置112は、入力MBとの予測誤差を最小とするフレーム内予測方向とイントラMBタイプの組、およびフレーム間予測での動きベクトルとインターMBタイプの組をそれぞれ推定する。
スイッチSW100は、予測方式推定装置112での推定結果に基づき、フレーム内予測が予測誤差を最小とするのであればフレーム内予測装置110の出力、そうでなければフレーム間予測装置111の出力を予測値とする。
以上の処理を実行することで、JM方式は動画像を符号化する。
前記インター符号化を用いた動画像符号化では、放送や蓄積を目的に動画像を符号化する場合、途中からでも再生(復号)が可能となるように周期的にＩフレームを挿入する。前記の単純な一例を図３に示す。
しかし、前記周期的なＩフレーム挿入の副作用として、視覚的に目立つＩフレームの挿入周期のちらつき(以後Iフレームフリッカとよぶ)が発生する。動画像を符号化の低ビットレート化につれて、前記Iフレームフリッカが、主観画質を低下させる。
前記Iフレームフリッカが、視覚的に目立つ理由は、Iフレームでのイントラ符号化のノイズパターンと、直前に表示されたPフレームでのインター符号化のノイズパターンが異なるからである。前記符号化ノイズパターンの異なりは、Iフレームと、Pフレームでの予測構造の違いによる(図４)。
上記のようなフリッカを低減する手段として、特許文献１のように、人間の視覚特性が高い領域の量子化ステップサイズを細かくする適応量子化が考えられる。
また、上記のようなフリッカを低減する手段として、特許文献２のように、Iフレーム、PフレームおよびBフレームの量子化ステップサイズの比を最適に近い値にして、画質を一定に保つ方法が考えられる。
また、上記のようなフリッカを低減する手段として、特許文献３のように、Pフレームの残差信号が量子化デッドゾーン幅より小さい場合に常に予測誤差のレベルを0として、連続するPフレーム間のフリッカを低減する方法が考えられる。
また、上記のようなフリッカを低減する手段として、非特許文献2のように、連続するフレームを全てIフレームで符号化し、静止領域と判断された領域のレベルを均一に保つ方法が考えられる。
また、上記のようなフリッカを低減する手段として、特許文献４のように、連続するフレームを全てIフレームで符号化し、静止領域と判断された領域のレベルを、過去に符号化した画像フレームのレベルに置換する方法が考えられる。
また、上記のようなフリッカを低減する手段として、非特許文献3のように、Iフレームの符号化時に静止領域と判断された領域では、直前に符号化したＩフレームとの類似度を考慮しながらフレーム内予測方向を推定し、フレーム内予測値の揺らぎを防ぐ方法が考えられる。
特開2002-335527号公報 特開平5−111012号公報 特開平08-251593号公報 特開2003-235042号公報 ISO/IEC 14496-10 Advanced Video Coding） 井口他、"H.264符号化におけるイントラモードのフリッカ低減方法," FIT 2003, J-040, 2003 境田他、"適応量子化によるAVC/H.264符号化におけるイントラフレームのフリッカ抑圧," FIT 2004, LJ-009, 2004
しかし、特許文献１の技術は、画像フレーム内全体の視覚特性が高い場合、あるいは目標レートが極端に低い場合、視覚特性が高い領域の量子化ステップサイズを優先的に細かくできないため、所望する効果が得られなかった。
また、特許文献２の技術は、上述したIフレームフリッカは、フレームタイプ別の量子化ステップサイズの比よりも、上述したイントラ符号化とインター符号化のノイズパターンの違いに強く依存しているため、課題を根本的に解決することはできなかった。
また、特許文献３の技術は、同じ符号化構造を持つPフレーム間でしか適用できないため、上述したイントラ符号化とインター符号化のノイズパターンの違いによって発生するIフレームフリッカの抑圧には適用できず、課題を解決することはできなかった。
また、非特許文献２の技術は、「すべての画像フレームをIフレームで符号化するため、低レートでの画質が悪い」、また「フレーム内予測を画素空間ではなく、変換領域で量子化した後に行うため、イントラ符号化での量子化のノイズを予測誤差信号に重畳するため、低レートでの画質が悪い」、また「PフレームあるいはBフレームなどのインター符号化と併用する場合に適用できない」、また「画像に動きがある場合に適用できない」といった理由から、課題を解決することはできなかった。
また、特許文献4の技術は、非特許文献2と同様に、「すべてのフレームをIフレームで符号化するため符号化効率が悪い」、また「PフレームあるいはBフレームなどのフレーム間予測符号化と併用する場合に適用でいない」、また「画像に動きがある場合に適用できない」といった課題があった。
また、非特許文献3の技術は、「PフレームあるいはBフレームなどのフレーム間予測を併用した場合、直前に符号化したIフレームと現在の符号化対象のＩフレームのフレーム間距離が離れるため、画像に動きがある場合に効果がでない」、また「完全静止のシーン以外では、画像内でのオブジェクトの座標が画像フレームごとに一定とはならず、この結果、フレーム内予測値の揺らぎを抑えられず、効果がでない」といった課題があった。
そこで、本発明は上記の課題に鑑みてみてなされたものであり、その目的は、IフレームだけでなくPフレームおよびBフレームなどのフレーム間予測も用いて動画を符号化する場合、さらには動きのあるシーンを含む動画像を符号化する場合にでも、効果的に上記のIフレームフリッカの低減を実現することが可能な、動画像符号化方法およびこれを用いた装置あるいはコンピュータプログラムを提供することを目的とする。
上記課題を解決する第１の発明は、動画像符号化装置であって、インター符号化を用いて符号化されたのち再構築された画像フレームを利用して、画像をイントラ符号化する手段を具備することを特徴とする。
上記課題を解決する第２の発明は、上記第１の発明において、前記インター符号化を用いて符号化されたのち再構築された画像フレームが、前記イントラ符号化される画像に対して過去の画像フレームであることを特徴とする。
上記課題を解決する第３の発明は、上記第２の発明において、前記過去の画像フレームが、前記イントラ符号化される画像の直前のＰフレームであることを特徴とする。
上記課題を解決する第４の発明は、上記第３の発明において、イントラ符号化の量子化値を、イントラ符号化対象の画像をPフレームの画像でフレーム間予測、変換、量子化、逆量子化、逆変換して得られる再構築画像を用いて補正する手段を具備することを特徴とする。
上記課題を解決する第５の発明は、上記第３の発明において、イントラ符号化の量子化値を、イントラ符号化対象の画像を前記Pフレームの画像でフレーム間予測して得られるフレーム間予測画像を用いて補正する手段を具備することを特徴とする。
上記課題を解決する第６の発明は、上記第４又は第５の発明において、イントラ符号化の量子化値として、前記補正に用いる画像とフレーム内予測値画像の差分を変換し、量子化を施して得られる量子化値を用いることを特徴とする。
上記課題を解決する第７の発明は、上記第４又は第５の発明において、イントラ符号化の量子化値として、前記補正に用いる画像を変換し、量子化を施して得られる量子化値を用いることを特徴とする。
上記課題を解決する第８の発明は、上記第６又は第７の発明において、前記量子化が四捨五入の量子化特性を持つことを特徴とする。
上記課題を解決する第９の発明は、上記第８の発明において、イントラ符号化の変換係数と、前記補正に用いる画像から得られる変換係数の差分が、インター符号化の量子化デッドゾーン幅以下である場合でのみ、前記イントラ符号化の量子化値の補正が適用されることを特徴とする。
上記課題を解決する第１０の発明は、上記第３の発明において、イントラ符号化対象の画像を前記Pフレームの画像でフレーム間予測、変換、量子化、逆量子化、逆変換して生成される再構築画像を、イントラ符号化する手段を具備することを特徴とする。
上記課題を解決する第１１の発明は、上記第３の発明において、イントラ符号化対象の画像を前記Pフレームの画像でフレーム間予測して生成されるフレーム間予測画像を、イントラ符号化する手段を具備する特徴とする。
上記課題を解決する第１２の発明は、上記第１０又は第１１の発明において、前記生成された画像とイントラ符号化対象の画像との差分が、画素空間でのインター符号化の量子化デッドゾーン幅以下である場合、前記イントラ符号化が適用されることを特徴とする。
上記課題を解決する第１３の発明は、動画像符号化方法であって、インター符号化を用いて符号化されたのち再構築された画像フレームを利用して、画像をイントラ符号化することを特徴とする。
上記課題を解決する第１４の発明は、上記第１３の発明において、前記インター符号化を用いて符号化されたのち再構築された画像フレームが、前記イントラ符号化される画像に対して過去の画像フレームであることを特徴とする。
上記課題を解決する第１５の発明は、上記第１４の発明において、前記過去の画像フレームが、前記イントラ符号化される画像の直前のＰフレームであることを特徴とする。
上記課題を解決する第１６の発明は、上記第１５の発明において、イントラ符号化の量子化値を、イントラ符号化対象の画像をPフレームの画像でフレーム間予測、変換、量子化、逆量子化、逆変換して得られる再構築画像を用いて補正することを特徴とする。
上記課題を解決する第１７の発明は、上記第１５の発明において、イントラ符号化の量子化値を、イントラ符号化対象の画像を前記Pフレームの画像でフレーム間予測して得られるフレーム間予測画像を用いて補正することを特徴とする。
上記課題を解決する第１８の発明は、上記第１６又は第１７の発明において、イントラ符号化の量子化値として、前記補正に用いる画像とフレーム内予測値画像の差分を変換し、量子化を施して得られる量子化値を用いることを特徴とする。
上記課題を解決する第１９の発明は、上記第１６又は第１７の発明において、イントラ符号化の量子化値として、前記補正に用いる画像を変換し、量子化を施して得られる量子化値を用いることを特徴とする。
上記課題を解決する第２０の発明は、上記第１８又は第１９の発明において、前記量子化が四捨五入の量子化特性を持つことを特徴とする。
上記課題を解決する第２１の発明は、上記第２０の発明において、イントラ符号化の変換係数と、前記補正に用いる画像から得られる変換係数の差分が、インター符号化の量子化デッドゾーン幅以下である場合でのみ、前記イントラ符号化の量子化値の補正が適用されることを特徴とする。
上記課題を解決する第２２の発明は、上記第１５の発明において、イントラ符号化対象の画像を前記Pフレームの画像でフレーム間予測、変換、量子化、逆量子化、逆変換して生成される再構築画像を、イントラ符号化することを特徴とする。
上記課題を解決する第２３の発明は、上記第１５の発明において、イントラ符号化対象の画像を前記Pフレームの画像でフレーム間予測して生成されるフレーム間予測画像を、イントラ符号化することを特徴とする。
上記課題を解決する第２４の発明は、上記第２２又は第２３の発明において、前記生成された画像とイントラ符号化対象の画像との差分が、画素空間でのインター符号化の量子化デッドゾーン幅以下である場合、前記イントラ符号化を適用することを特徴とする。
上記課題を解決する第２５の発明は、情報処理装置に動画像符号化を行わせるプログラムであって、前記プログラムは前記情報処理装置を、画像をイントラ符号化する時に、インター符号化を用いて符号化されたのち再構築された画像フレームを利用して符号化する手段として機能させることを特徴とする。
上記課題を解決する第２６の発明は、上記第２５の発明において、前記過去にインター符号化を用いて符号化されたのち再構築された画像フレームが、前記イントラ符号化される画像に対して過去のフレームであることを特徴とする。
上記課題を解決する第２７の発明は、上記第２６の発明において、前記過去にインター符号化を用いて符号化されたのち再構築された画像フレームが、前記イントラ符号化される画像の直前のＰフレームであることを特徴とする。
上記課題を解決する第２８の発明は、上記第２７の発明において、前記プログラムは前記情報処理装置を、イントラ符号化の量子化値を、イントラ符号化対象の画像をPフレームの画像でフレーム間予測、変換、量子化、逆量子化、逆変換して得られる再構築画像を用いて補正する手段として機能させることを特徴とする。
上記課題を解決する第２９の発明は、上記第２７の発明において、前記プログラムは前記情報処理装置を、イントラ符号化の量子化値を、イントラ符号化対象の画像を前記Pフレームの画像でフレーム間予測して得られるフレーム間予測画像を用いて補正する手段として機能させることを特徴とする。
上記課題を解決する第３０の発明は、上記第２８又は第２９の発明において、イントラ符号化の量子化値として、前記補正に用いる画像とフレーム内予測値画像の差分を変換し、量子化を施して得られる量子化値を用いることを特徴とする。
上記課題を解決する第３１の発明は、上記第２８又は第２９の発明において、イントラ符号化の量子化値として、前記補正に用いる画像を変換し、量子化を施して得られる量子化値を用いることを特徴とする。
上記課題を解決する第３２の発明は、上記第３０又は第３１の発明において、前記量子化が四捨五入の量子化特性を持つことを特徴とする。
上記課題を解決する第３３の発明は、上記第３２の発明において、イントラ符号化の変換係数と、前記補正に用いる画像から得られる変換係数の差分が、インター符号化の量子化デッドゾーン幅以下である場合でのみ、前記イントラ符号化の量子化値の補正が適用されることを特徴とする。
上記課題を解決する第３４の発明は、上記第２７の発明において、前記プログラムは前記情報処理装置を、イントラ符号化対象の画像を前記Pフレームの画像でフレーム間予測、変換、量子化、逆量子化、逆変換して生成される再構築画像を、イントラ符号化する手段として機能させることを特徴とする。
上記課題を解決する第３５の発明は、上記第２７の発明において、前記プログラムは前記情報処理装置を、イントラ符号化対象の画像を前記Pフレームの画像でフレーム間予測して生成されるフレーム間予測画像を、イントラ符号化する手段として機能させることを特徴とする。
上記課題を解決する第３６の発明は、上記第３４又は第３５の発明において、前記生成された画像とイントラ符号化対象の画像との差分が、画素空間でのインター符号化の量子化デッドゾーン幅以下である場合、前記イントラ符号化が適用されることを特徴とする。
上記課題を解決する第３７の発明は、動画像符号化装置であって、イントラ符号化によって生じるノイズを、インター符号化によって生じるノイズに類似させる手段を具備することを特徴とする。
上記課題を解決する第３８の発明は、動画像符号化方法であって、イントラ符号化によって生じるノイズを、インター符号化によって生じるノイズに類似させることを特徴とする。
上記課題を解決する第３９の発明は、動画像の符号化・復号システムであって、画像をイントラ符号化する時に、インター符号化を用いて符号化されたのち再構築された画像フレームを利用して符号化する手段と、前記符号化されたデータを復号する復号手段とを有することを特徴とする。
上記課題を解決する第４０の発明は、動画像の符号化・復号方法であって、画像をイントラ符号化する時に、インター符号化を用いて符号化されたのち再構築された画像フレームを利用して符号化するステップと、前記符号化されたデータを復号するステップとを有することを特徴とする。
本発明のイントラ符号化は、従来のイントラ符号化に加えて、図２７に示す如く、フレームメモリ109に格納された参照フレームを入力とし、量子化装置103が出力するイントラ符号化のレベル(量子化値)を補正する量子化制御装置999とを備える。
現在の符号化対象の画像フレームの直前に再生側で表示される参照フレームがインター符号化画像フレームであれば、量子化制御装置999は、インター符号化画像フレームのインター符号化ノイズの特性と、現在のイントラ符号化によるノイズの特性の異なりによるIフレームフリッカを視覚的に低減できるように、イントラ符号化のレベル（量子化値）を、適切に補正する機能を具備する。
これによって、IフレームだけでなくPフレームおよびBフレームなどのフレーム間予測も用いて動画を符号化する場合、さらには動きのあるシーンを含む動画像を符号化する場合にでも、Iフレームフリッカの低減することができる。
本発明は、IフレームだけでなくPフレームおよびBフレームなどのフレーム間予測も用いて動画を符号化する場合、さらには動きのあるシーンを含む動画像を符号化する場合にでも、効果的にIフレームフリッカの低減を実現することが可能な、動画像符号化方法およびこれを用いた装置あるいはコンピュータプログラムを提供することができる。
図１は画像フレームの構成を示す図である。 図２は従来の動画像符号化装置のブロック図である。 図３は途中再生のためのＩフレームの周期的な挿入を説明する為の図である。 図４はＩフレームフリッカの発生を説明する為の図である。 図５は従来の変換量子化装置のブロック図である。 図６はIntra4MBフレーム内予測方向を説明する為の図である。 図７はIntra16MBフレーム内予測方向を説明する為の図である。 図８はIntra16MBの符号化構造を説明する為の図である。 図９は注目画素を説明する為の図である。 図１０は従来方法によるＩフレームフリッカの発生を説明する為の図である。 図１１は本発明の動画像符号化装置のブロック図である。 図１２は補正参照画像生成参照フレームを説明する為の図である。 図１３は実施例１におけるＩフレームフリッカ抑圧制御装置のブロック図である。 図１４はＩフレームフリッカ抑圧制御信号及びインター符号化再構築画像計算のフローチャートである。 図１５は実施例１における変換量子化装置のブロック図である。 図１６は変換係数補正のフローチャートである。 図１７は本発明の効果を説明する為の図である。 図１８は実施例２におけるＩフレームフリッカ抑圧制御装置のブロック図である。 図１９はＩフレームフリッカ抑圧制御信号及びフレーム間予測画像計算のフローチャートである。 図２０は実施例３における変換量子化装置のブロック図である。 図２１は係数量子化のフローチャートである。 図２２はＤＣ係数量子化のフローチャートである。 図２０は実施例４における変換量子化装置のブロック図である。 図２４は予測誤差補正のフローチャートである。 図２５は本発明を利用した情報処理装置のブロック図である。 図２６は本発明を説明する為の図である。 図２７は本発明を説明する為の図である。 図２８は本発明の動画復号化装置のブロック図である。
符号の説明
１０２ 変換装置
１０３ 量子化装置
１０４ 逆量子化／逆変換装置
２００ 変換量子化装置
３００ Iフレームフリッカ抑圧制御装置
３０１ コントローラ
本発明の実施の形態を説明する。
まず、以下に本発明の理解を容易にする為に、本発明の要旨について説明する。
図２６に、図２に示した従来の動画像符号化装置における、イントラ符号化時に動作するブロックのみを示す。図２６から分かるように、従来方式は、参照フレームすなわち現在の符号化対象と表示時刻の異なる画像フレームの符号化ノイズを考慮することなく、単純に入力画像をイントラ符号化する。
このため、参照フレームにインター符号化された画像フレームが含まれている場合に、単純に入力をイントラ符号化すると、上述したIフレームフリッカが発生する。
次に、図２７に、本発明の動画符号化装置のイントラ符号化時に動作するブロックを示す。図２７の発明のイントラ符号化は、図２６の従来のイントラ符号化に加えて、フレームメモリ109に格納された参照フレームを入力とし、量子化装置103が出力するイントラ符号化のレベル(量子化値)を補正する量子化制御装置999を備える。
現在の符号化対象の画像フレームの直前に再生側で表示される参照フレームがインター符号化画像フレームであれば、量子化制御装置999は、インター符号化画像フレームのインター符号化ノイズの特性と、現在のイントラ符号化によるノイズの特性の異なるによるIフレームフリッカを視覚的に低減できるように、イントラ符号化のレベル（量子化値）を、適切に補正する機能を具備する。
これによって、IフレームだけでなくPフレームおよびBフレームなどのフレーム間予測も用いて動画を符号化する場合、さらには動きのあるシーンを含む動画像を符号化する場合にでも、効果的にIフレームフリッカの低減を実現できる。
以下に、本発明の詳細を説明する。
まず、発明方式と従来方式(JM方式)の違いを明確にするために、JM方式の変換と量子化をより詳しく説明する。
JM方式の変換と量子化
図２の変換量子化装置200のより詳細な構成を、以下の図５に示す。
変換装置102は、2D変換装置1021、DC2D変換装置1022、スイッチSW1023によって構成される。2D変換装置1021は予測誤差に対して、以降で説明する2D変換を行う。スイッチSW1023は、供給されるMBタイプが以降で説明するIntra16MBである場合は、2D変換装置1021から供給される変換係数のうちDCの変換係数をDC2D変換装置1022に供給する。DC2D変換装置1022は、供給されるDCの変換係数に対して以降で説明するDC2D変換を行う。
量子化装置103は、係数量子化装置1031とDC係数量子化装置1032によって構成される。係数量子化装置1031は、入力される量子化パラメータ、MBタイプに基づいて、以降で説明する係数量子化によって変換係数を量子化し、レベルを出力する。DC係数量子化装置1032は、入力される量子化パラメータ、MBタイプに基づいて、以降で説明するDC係数量子化によってDC変換係数を量子化し、DCレベルを出力する。
続いて、従来方式の変換量子化装置の動作を、予測値の生成、予測誤差の生成、予測誤差の2D変換、変換係数の量子化の順で説明する。
まず予測値の生成を説明する。予測値はフレーム内予測あるいはフレーム間予測によって生成される。
以下、フレーム内予測とフレーム間予測をそれぞれ説明する。
JM方式のフレーム内予測には、符号化対象MBの単位で隣接する画素からフレーム内予測するMBタイプ(以後、Intra16MBと呼ぶ)と、符号化対象MB内の4x4ブロックの単位で隣接する画素からフレーム内予測するMBタイプ(以後、Intra4MBと呼ぶ)がある。
Intra4MBは、4x4ブロックの単位で図６に示す９種類のフレーム内予測方向を用いてフレーム内予測が可能である。また、Intra16MBは、図７に示す４種類のフレーム内予測方向を用いてフレーム内予測が可能である。
一例として、図6で示した垂直方向に対応するフレーム内予測値pIntraidx(x,y)の生成式を式(1)に示す。
Figure 0005234241
ただし、画像フレームの解像度を横width画素、縦height画素とし、現在の符号化対象フレームの時刻をt、再構築フレーム(図２のフレームメモリA107に格納)の画素値をrec(t,i,j){0≦i≦width-1、0≦j≦height-1}、画像フレームにおける符号化対象MBの左上角の座標を(MBx,MBy) {0≦MBx≦width-16、0≦MBy≦height-16}、前記MB内での符号化対象4x4ブロックのインデックスをidx{0≦idx≦15} (図１の中央図参照)、前記インデックスidx の4x4ブロックの左上角のMB内部での座標を
Figure 0005234241
とする。
その他の予測方向のIntra4MBのフレーム内予測値あるいはIntra16MBのフレーム内予測値の生成式は非特許文献1を参照されたい。
フレーム間予測値pInteridx(x,y)は、参照フレームと現在の符号化対象フレームのフレーム間距離をf、インデックスidx の4x4ブロックの動きベクトルを(mvxidx, mvyidx)とすると、式(2)で計算することができる。
Figure 0005234241
ここで、MC[rec(t-f),xx,yy,mvx,mvy]は、符号化対象の画像フレーム内での座標(xx,yy) {0≦xx≦width-1、0≦yy≦height-1}を動きベクトル(mvx,mvy)画素だけシフトした座標に対応する参照フレームref(t-f)の画素値を読み出す関数である。また、前記MC[rec(t-f),xx,yy,mvx,mvy]は、動きベクトル(mvx,mvy)が小数精度である場合、小数位置の画素値を周辺の整数位置の画素から適切に補間するものとする。
また上記参照フレームref(t)は、式(3)のループ内フィルタ108によって再構築フレームrec(t)にノイズ除去フィルタリングをかけた後の画素で構成される。もちろんノイズ除去フィルタリングがオフであればref(t)とrec(t)は完全一致する。
Figure 0005234241
ただしLP[ ]はノイズ除去フィルタリングを示す記号とする。
続いて、予測誤差の生成を説明する。
予測誤差は、入力画素から上述した予測値を減じることで生成される。入力画像フレームをorg(t,i,j){0≦i≦width-1、0≦j≦height-1}、符号化対象MBをsrc(i,j) {0≦i≦15、0≦j≦15}とすると、予測誤差peidx(x, y) {0≦idx≦15、0≦x≦3、0≦y≦3}は式(4)によって計算できる。
Figure 0005234241
続いて、予測誤差の2D変換を説明する。
2D変換は、符号化対象MBのMBタイプによって異なる。MBタイプがIntra16MBでなければ式(7)の2D変換、Intra16MBであればさらに式(8)のDC2D変換を行う。
Figure 0005234241
Figure 0005234241
ただし式(8)の記号”//”は四捨五入である。Intra16MBでは、図8に示すように、各インデックスidx の4x4ブロックのDC係数(Tidx(0, 0))は、さらにひとつの4x4ブロック（以後、DCブロックと呼ぶ）として集められて、さらに変換される。
続いて、変換係数の量子化を説明する。4x4ブロックがDCブロックであれば式(9)のDC係数量子化、そうでなければ式(10)の係数量子化でレベルを計算する。
Figure 0005234241
Figure 0005234241
Figure 0005234241
ここでqp{0≦qp≦51}は符号量制御装置106から供給される量子化パラメータ、式(13)のfintraおよびfinterは量子化の丸め位置を決定するパラメータである。JM方式ではfintra=1/3、finter=1/6である。
以上が、JM方式の変換と量子化の動作である。
従来方式の符号化によって、図９の注目画素がどのように変動するのか、図１０を参照して説明する。図９を参照すると、前記注目画素は、静止領域の画素である場合もあれば、動き領域の画素である場合もある。人間の視覚特性は静止領域に対して敏感で、動き領域に対して鈍感であると一般に言われる。しかし、動き領域の画素でも、人間の目がこれを追従している場合、人間の視覚特性は敏感になる。
図10には、注目画素の入力org(t, vpxt,vpyt)、再構築rec(t, vpxt,vpyt)、予測pred(t,
vpxt,vpyt)、予測誤差pe(t, vpxt,vpyt)、再構築予測誤差recpe(t, vpxt,vpyt)の画素値が時系列でプロットされている。ここで(vpxt,vpyt)は時刻tでの注目画素の画像フレーム内での座標とし、各画素には以下の関係がある。
Figure 0005234241
ただしT[ ]は変換処理、Q[ ]は量子化処理、IQIT[ ]は逆量子化/逆変換処理を示す記号とする。
図１０を参照すると、入力の注目画素は比較的なだらかに変化するのに対して、再構築したI3フレームの注目画素には急激な画素値の変化がある。
上述したIフレームでの急激な画素値の変化、すなわちIフレームフリッカの原因は、注目画素の時間軸での連続性を考慮しないで、単純に入力を忠実に再現するイントラ符号化を行うからである。
以下で説明する本発明は、画像をイントラ符号化する時に、インター符号化を用いて符号化された画像のインター符号化ノイズパターンを考慮して、すなわち、注目画素の時間軸での連続性を考慮してイントラ符号化を行うことで、上述した課題であるIフレームフリッカを低減する。なお、以降では、前記「インター符号化を用いて符号化された画像のインター符号化ノイズパターンを考慮したイントラ符号化」を「時間軸での連続性を考慮したイントラ符号化」と呼ぶ。
図１１を参照して本実施例での発明の動画像符号化装置に示す。
図１１の発明方式は、図２の従来方式に加えて、Iフレームフリッカ抑圧制御装置300を備える。また、Iフレームフリッカ抑圧制御装置300から供給されるIフレームフリッカ予測圧制御信号、および補正参照画像とフレーム内予測値の差分である参照予測誤差によって変換量子化装置200の内部動作が従来方式のものと異なる。
Iフレームフリッカ抑圧制御装置300と変換量子化装置200以外の装置は従来方式と同一なので、説明の簡略化のために、Iフレームフリッカ抑圧制御装置300および量子化装置200のみを以下で説明する。
まず本実施形態におけるIフレームフリッカ抑圧制御装置300を説明する。
本実施形態におけるIフレームフリッカ抑圧制御装置300の動作の概略は、イントラ符号化対象の画像を、過去にインター符号化を用いて符号化されたのち再構築された画像フレーム(以後、補正参照画像生成参照フレームと呼ぶ)でフレーム間予測、変換、量子化、逆量子化、逆変換してインター符号化再構築画像recInter(t, vpxt,vpyt)を生成し、これを補正参照画像として出力する。定式的には式(17)となる。
Figure 0005234241
また、式(17)のrecInter(t, vpxt,vpytt)は、以下のループ内フィルタ108によってノイズ除去フィルタリングが適用されてもよい。
Figure 0005234241
なお、上述した補正参照画像生成参照フレームには、イントラ符号化対象の画像フレームと最もフレーム間相関が高い画像フレームがよい。このため通常、フレーム間距離が短いほど、前記フレーム間相関は高い。このため、Bフレームを用いない符号化では、直前に符号化したPフレームが最も良い(図１２(a)) 。ただし、直前のPフレームで照明などによるフラッシュが発生した場合などでは、さらにその直前のPフレームでもよい。
一方、Bフレームを用いた符号化においては、通常Bフレームは、IフレームやPフレームよりも粗く量子化される。よって、この場合では、補正参照画像生成参照フレームは、粗く量子化されたBフレームよりも、ある程度の画質で符号化された直前のPフレームがよい(図１２(b))。
以上で、本実施形態におけるIフレームフリッカ抑圧制御装置300の大まかな動作の説明を終了する。
続いて、本実施形態におけるIフレームフリッカ抑圧制御装置300の入出力を説明する。
Iフレームフリッカ抑圧制御装置300の入力は、MBバッファ101から供給される入力MBの画素、およびフレーム間予測装置111から供給されるフレーム間予測値、および符号量制御106から供給される量子化パラメータ、および予測方式推定装置112から供給される動きベクトルとMBタイプである。一方、出力は、変換量子化装置200に供給されるIフレームフリッカ抑圧制御信号、およびフレーム内予測値が減じられた後に変換量子化装置200に供給される補正参照画像、および予測方式推定装置112を制御する動きベクトル推定制御信号である。
続いて、図１３を参照して、本実施形態におけるIフレームフリッカ抑圧制御装置300の構成を説明する。
図１３のIフレームフリッカ抑圧制御装置を参照すると、変換装置102、量子化装置103、逆量子化/逆変換装置104およびコントローラ301を備える。
コントローラ301は、供給される量子化パラメータ、および動きベクトルとMBタイプ、および入力MBとフレーム間予測値の差分から、Iフレームフリッカ抑圧制御信号を計算する。
Iフレームフリッカ抑圧制御信号は「時間軸での連続性を考慮したイントラ符号化を、画像フレーム内のどの領域で適用するか」を示す情報である。
なお、コントローラ301は、予測方式推定装置112がIフレームで、フレーム間予測方式推定(入力MBとのフレーム間予測誤差を最小とする、補正参照画像生成参照フレームからの動きベクトルとインターMBタイプの組を検出する処理)が停止中であれば、動きベクトル推定制御信号により前記フレーム間予測方式推定を動作させる。
変換装置102は、入力MBとフレーム間予測値の差分を変換し、変換係数を量子化装置103に供給する。
量子化装置103は、前記変換係数を供給される前記量子化パラメータに対応する量子化ステップサイズで量子化し、レベルを計算する。
逆量子化/逆変換装置104は、量子化装置103から供給される前記レベルを逆量子化し、さらに逆周波数変換して元の空間領域に戻し、再構築予測誤差を計算する。
前記再構築予測誤差に前記フレーム間予測を加算してインター符号化再構築画像を得て、これを補正参照画像として出力する。
なお、後に、Iフレームフリッカ抑圧制御装置300の外部で、前記補正参照画像は、フレーム内予測値が減じられて参照予測誤差が生成される。参照予測誤差は「時間軸での連続性を考慮したイントラ符号化を、どの程度時間方向に連続となるように行うか」を示す情報である
なお、上記Iフレームフリッカ抑圧制御装置300における変換装置102、量子化装置103、逆量子化/逆変換装置104は従来方式と同一である。
続いて図１４のフローチャートを参照して、上記の動作をより詳細に説明する。
ステップS1001では、入力MBの画素値src(x,
y){ 0≦x≦15、0≦y≦15}と補正参照画像生成参照フレームからのフレーム間予測値pInteridx(x,y){0≦idx≦15、0≦x≦3、0≦y≦3}から、第2の予測誤差pe2idx(x,
y) {0≦idx≦15、0≦x≦3、0≦y≦3}を式(19)で計算する。
Figure 0005234241
ただし、本実施例での上述した第2の予測誤差は、Iフレームフリッカ抑圧制御装置300内部だけで利用される。
ステップS1002では、第2の予測誤差pe2idx(x,
y)、MBタイプ、および量子化パラメータqpから、Iフレームフリッカ抑圧制御信号IFlickerControlを、式(20)によって計算する。
Figure 0005234241
ただし、qpth1は量子化パラメータの閾値(本実施形態では28)、αは0より大きな値、Tgainは変換のゲイン(本実施形態では16)である。αが1のとき、Sthは画素空間領域でのインター符号化での量子化デッドゾーン幅となる。
また、Iフレームフリッカ抑圧制御信号IFlickerControl=0は「変換係数を補正しない」、IFlickerControl=1は「DC変換係数以外の変換係数を補正する」、IFlickerControl=2は「すべての変換係数を補正する」を意味するものとする。
式(20)の処理によって、時間方向に不連続な領域（すなわちSpe2 >256xSth）のIFlickerControlは零となるので「時間方向に不連続な領域を無理に連続となるように符号化する」といった問題点も生じない。
ステップS1003では、第2の予測誤差pe2idx(x, y) {0≦idx≦15、0≦x≦3、0≦y≦3}を、従来方式と同様に量子化、逆量子化、逆変換して第2の再構築予測誤差recpe2idx(x, y) {0≦idx≦15、0≦x≦3、0≦y≦3}を計算する。さらに、フレーム間予測値pInteridx(x, y)を加算し、インター符号化再構築画像recInteridx(x,
y) {0≦idx≦15、0≦x≦3、0≦y≦3}を式(23)で計算する。
Figure 0005234241
以上で、本実施形態におけるIフレームフリッカ抑圧制御装置300の説明を終了する。
なお、上述したインター符号化再構築画像は、補正参照画像としてIフレームフリッカ抑圧制御装置300の外部に出力される。前記補正参照画像は、フレーム内予測装置110から供給されるフレーム内予測値が減じられて、参照予測誤差rpeidx(x,
y) 0≦idx≦15、0≦x≦3、0≦y≦3}が式(24)で計算される。
Figure 0005234241
Iフレームフリッカ抑圧制御装置300によって、イントラ符号化対象画像の再構築画像が時間方向に連続となるようにどのように符号化するのかを示す情報（Iフレームフリッカ抑圧制御信号）と、イントラ符号化対象画像の再構築画像が時間方向にどの程度連続となるように符号化するかを示す情報（参照予測誤差）が得られる。
続いて説明する発明の変換量子化装置200は、これらの情報を用いて、イントラ符号化対象画像の再構築画像の時間方向で連続性を考慮した符号化を行う。
図１５を参照して、本発明の実施例における量子化装置200を説明する。
本発明の実施例における量子化装置200は、図５の従来方式の構成に加えて、変換係数補正装置201を備える。
変換係数補正装置201は、Iフレームフリッカ抑圧制御装置300から供給されるIフレームフリッカ抑圧制御信号、および補正参照画像からフレーム内予測値を減じた参照予測誤差、および符号量制御装置106から供給される量子化パラメータに基づいて、変換装置102から供給される変換係数およびDC変換係数を補正し、補正変換係数と補正DC変換係数を量子化装置103に供給する。すなわちイントラ符号化の量子化値（レベル）を適応的に補正する。
図５の変換量子化装置との違いは、変換係数補正装置201による変換係数およびDC変換係数の補正だけである。よって、変換係数補正装置201のみを以下では説明する。
図１６のフローチャートを参照して、量子化パラメータをqp, Iフレームフリッカ抑圧制御信号をIFlickerControl、参照予測誤差をrpeidx(x, y) {0≦idx≦15、0≦x≦3、0≦y≦3}、変換装置102から供給される変換係数をTidx(x, y) {0≦idx≦15、0≦x≦3、0≦y≦3}、DC変換係数をTDC(x, y){0≦x≦3、0≦y≦3}、出力する補正変換係数をT’idx(x, y) {0≦idx≦15、0≦x≦3、0≦y≦3}、出力する補正DC変換係数をTDC’(x, y) 0≦x≦3、0≦y≦3}として、各ステップの動作を説明する。
ステップS2001では、補正変換係数T’idx(x, y)および補正DC変換係数TDC’(x, y)を式(25),(26)によって初期化する。
T’idx(x,y) = Tidx(x, y) (25)
TDC’(x, y) = TDC’(x,y) (26)
ステップS2002では、Iフレームフリッカ抑圧制御信号IFlickerControlが0か否かをみる。IFlickerControlが0でなければ（係数を補正するのであれば）ステップS2003、そうでなければ処理を終了する。
ステップS2003では、補正の対象とする変換係数がIntra16MBか否かをみる。Intra16MBでなければステップS2004、そうでなければステップS2005にうつる。
ステップS2004では、すべてのidx, x, y {0≦idx≦15、0≦x≦3、0≦y≦3}の変換係数に対して式(27)の補正を行い、処理を終了する。
Figure 0005234241
ここでQsdz1(x,y)はインター符号化の量子化デッドゾーンである。これを用いた式(27)のconditionAの判定により、過剰なイントラ符号化量子化値の補正を防ぐことができる(もちろん、Qsdz1に、より大きな値を用いることも可能であるが、インター符号化の量子化デッドゾーンが最も安定した効果が得られる)。
また、上記の補正は、式(27)ではなく式(33)でもよい。
Figure 0005234241
ただしsign(C)はC<0であれば-1、そうでなければ1を返す関数である。
なお式(27)でconditionA(idx,x,y)=Trueとなった場合、補正参照画像とフレーム内予測画像の差分を量子化して得られるレベルが、イントラ符号化のレベルとなる。一方、式(33)でconditionA(idx,x,y)=Trueとなった場合には、補正参照画像とフレーム内予測画像の差分を四捨五入の量子化特性の量子化して得られるレベルが、イントラ符号化のレベルとなる。四捨五入の量子化特性を用いた方が、その再構築画像が時間方向により正確に連続となる。
ステップS2005では、x=y=0以外のすべてのidx,x, y {0≦idx≦15、0≦x≦3、0≦y≦3}の変換係数に対して式(27)の補正を行う。もちろん、式(27)のかわりに式(33)を用いてもよい。
ステップS2006では、Iフレームフリッカ抑圧制御信号IFlickerControlが1か否かをみる。1でなければ(DC変換係数を補正するのであれば)ステップS2007、そうでなければ処理を終了する。
ステップS2007では、すべてのx, y {0≦x≦3、0≦y≦3}の変換係数に対して式(35)のDC変換係数の補正を行い、処理を終了する。
Figure 0005234241
Figure 0005234241
Figure 0005234241
ここでQsdz2(x,y)はDC変換領域でのインター符号化の量子化デッドゾーンである。これを用いた式(35)のconditionBの判定により、過剰なイントラ符号化量子化値の補正を防ぐことができる(もちろん、Qsdz2に、より大きな値を用いることも可能であるが、DC変換領域でのインター符号化の量子化デッドゾーンが最も安定した効果が得られる)。
また上記のDC変換係数の補正は、式(35)ではなく式(40)で計算してもよい。
Figure 0005234241
なお式(35)でconditionB(x,y)=Trueとなった場合は、補正参照画像とフレーム内予測画像の差分を量子化して得られるレベルが、イントラ符号化のレベルとなる。一方、式(40)でconditionB(x,y)=Trueとなった場合には、補正参照画像とフレーム内予測画像の差分を四捨五入の量子化特性の量子化して得られるレベルが、イントラ符号化のレベルとなる。四捨五入の量子化特性を用いた方が、その再構築画像が時間方向により正確に連続となる。
以上で変換係数補正装置201の説明を終わる。
上述した発明の動画像符号装置の効果を示す例として、図９でのI3フレームでの注目画素の参照予測誤差を
Figure 0005234241
として、再構築画素の連続性を考慮して符号化したときの注目画素の遷移を図１７に示す。
発明の作用によって、予測誤差の変換係数が参照予測誤差の変換係数で補正されて、I3フレームでの注目画素の再構築予測誤差は式(42)になる。
Figure 0005234241
これにより発明例(図１７)での再構築予測誤差は、従来例(図１０)の再構築予測誤差よりも量子化幅分だけ小さくなる。この結果、従来例で発生したI3フレームでの注目画素の急激な変化が、発明では抑圧される。
また、参照予測誤差はインター符号化画像から生成されているので、注目画素が静止領域であっても動き領域であっても、上述した効果が得られる。またブロックの単位で、参照予測誤差は計算されるので、画像フレーム内のブロックごとに、適応的に上記のIフレームフリッカの抑圧が適用される。
すなわち本発明は、IフレームだけでなくPフレームおよびBフレームなどのフレーム間予測も用いて動画を符号化する場合、さらには動きのあるシーンおよび動き領域を含む動画像を符号化する場合にでも、効果的にIフレームフリッカの低減を実現可能とする。
上述した実施例１の動画像符号化装置では、補正参照画像を計算するために、Iフレームフリッカ抑圧制御装置300は変換、量子化、逆量子化、逆変換の処理が必要であった。本実施形態では、前記変換、量子化、逆量子化、逆変換を必要としない、より簡略化したIフレームフリッカ抑圧制御装置300を説明する。
本実施形態の動画像符号化装置は、実施例１のIフレームフリッカ抑圧制御装置300以外の構成は同一であるので、説明の簡略化のために本実施形態におけるIフレームフリッカ抑圧制御装置300のみを以下で述べる。
図１８を参照して、本実施形態におけるIフレームフリッカ抑圧制御装置300の構成を説明する。
実施例１と比較すると、変換装置102、量子化装置103、逆量子化/逆変換装置104が削除されている。コントローラ301は、実施例１と同一である。
この構造より、本実施例で得られる補正参照画像は、イントラ符号化対象の画像を補正参照画像生成参照フレームからフレーム間予測した際の、フレーム間予測画像となる。すなわち補正参照画像は、実施例１の式(17)の第１項を零としたインター符号化再構築画像と等価である。
上述した式(17)の第１項を零とした原理には「時間方向で連続な画像は、前記の画像とフレーム間予測画像がマッチする。このため、予測誤差が小さく、量子化された後に予測誤差が零なる」傾向を利用している。これにより予測誤差の変換、量子化、逆量子化、逆変換をしない分、より少ない演算コストで第1実施形態のIフレームフリッカ抑圧制御装置と同等の機能を実現する。
続いて図１９のフローチャートを参照して、本実施例におけるIフレームフリッカ抑圧制御装置の動作を説明する。
ステップS3001では、入力MBの画素値src(x, y){ 0≦x≦15、0≦y≦15}と補正参照画像生成参照フレームからのフレーム間予測値pInteridx(x, y) {0≦idx≦15、0≦x≦3、0≦y≦3}から、第2の予測誤差pe2idx(x,
y) {0≦idx≦15、0≦x≦3、0≦y≦3}を式(19)で計算する(ステップS1001と同一)。
Figure 0005234241
ただし、本実施例での上述した第２の予測誤差は、Iフレームフリッカ抑圧制御装置300内部だけで利用される。
ステップS3002では、第2の予測誤差pe2idx(x, y)、MBタイプ、および量子化パラメータqpから、Iフレームフリッカ抑圧制御信号IFlickerControlを、式(20)によって計算する(ステップS1002と同一)。
Figure 0005234241
ただし、qpth1は量子化パラメータの閾値(本実施例では28)である。
ただし、Iフレームフリッカ抑圧制御信号IFlickerControl=0は「変換係数を補正しない」、IFlickerControl=1は「DC変換係数以外の変換係数を補正する」、IFlickerControl=2は「すべての変換係数を補正する」を意味するものとする。
式(20)の処理によって、時間方向に不連続な領域（すなわちSpe2 >
256xSth）のIFlickerControlは零となるので「時間方向に不連続な領域を無理に連続となるように符号化する」といった問題点も生じない。
以上で、本実施形態におけるIフレームフリッカ抑圧制御装置300の説明を終了する。
なお、上述したフレーム間予測値は補正参照画像としてIフレームフリッカ抑圧制御装置300の外部に出力される。前記補正参照画像は、フレーム内予測装置110から供給されるフレーム内予測値が減じられて、参照予測誤差rpeidx(x, y) 0≦idx≦15、0≦x≦3、0≦y≦3}が式(43)で計算される。
Figure 0005234241
本実施例のIフレームフリッカ抑圧制御装置300によって、実施例１と同様に、Iフレームフリッカ抑圧制御信号と、参照予測誤差が得られる。
これによって、実施例１と同様に、IフレームだけでなくPフレームおよびBフレームなどのフレーム間予測も用いて動画を符号化する場合、さらには動きのあるシーンを含む動画像を符号化する場合にでも、効果的にIフレームフリッカの低減を実現できる。
本実施では、実施例１での変換量子化装置200のように「変換係数を補正して、前記補正した変換係数を量子化する」のではなく、「参照予測誤差の変換係数に基づいて、量子化装置がレベルを直接補正する」変換量子化装置を利用する発明の動画像符号化装置を述べる。
変換量子化装置200内部の構成のみが、第1実施形態あるいは第2実施形態と異なるので、説明の簡略化のために本実施形態におけるIフレームフリッカ抑圧制御装置200のみを説明する(もちろん、Ｉフレームフリッカ抑圧制御装置300の構成は、第1実施形態/第2実施形態のどちらでもよい)。
図２０を参照して、本実施形態におけるIフレームフリッカ抑圧制御装置200を説明する。
図２０の変換量子化装置200は、図５の従来方式の構成に加えて変換装置102と同じ機能をもつ変換装置102Bを備える。前記変換装置102Bは、供給される参照予測誤差を、変換装置102の予測誤差と同様に変換し、参照変換係数と参照DC変換係数を出力する。
なお前記参照変換係数RTidx(x, y) {0≦idx≦15、0≦x≦3、0≦y≦3}は式(28)、参照DC変換係数RTDC(x, y) ｛0≦x≦3、0≦y≦3｝は式(36)によって計算されるものとする。
図５の従来方式との動作の違いは、係数量子化装置1031とDC係数量子化装置1032のみである。
よって係数量子化装置1031とDC係数量子化装置1032のみの動作をそれぞれ以下で説明する。
図２１のフローチャートを参照して係数量子化装置1031の動作を説明する。
ステップS4001では、すべての変換係数Tidx(x, y) {0≦idx≦15、0≦x≦3、0≦y≦3}を式(10)によって量子化してレベルLidx(x, y) {0≦idx≦15、0≦x≦3、0≦y≦3}を計算する。
なおステップS4001は従来方式の係数量子化そのものの動作であり、続くステップS4002からステップS4005までが発明によって追加された動作となる。
ステップS4002では、Iフレームフリッカ抑圧制御信号IFlickerControlが0か否かをみる。IFlickerControlが0でなければ（係数を補正するのであれば）ステップS4003、そうでなければ処理を終了する。
ステップS4003では、補正した係数の個数を示すカウンタcountLを0として初期化する。
ステップS4004では、countLが256以上か否か（すべてのidx, x, y{0≦idx≦15、0≦x≦3、0≦y≦3}の係数を補正したか否か）をチェックし、countLが256以上であれば処理を終了し、そうでなければステップS4005にうつる。
ステップS4005では、式(44)によってレベルLidx(x, y)を補正し、countLを1インクリメントしてステップS4004に移る。
Figure 0005234241
idx = countL/16 (46)
num = countL%16 (47)
x = num %4 (48)
y = num/4 (49)
以上で本実施例における係数量子化装置1031の動作説明を終了する。
続いて図２２のフローチャートを参照してDC係数量子化装置1032の動作を説明する。
ステップS5001では、すべてのDC変換係数TDC(x,
y) {0≦x≦3、0≦y≦3}を式(9)によって量子化してレベルLDC(x, y) {0≦x≦3、0≦y≦3}を計算する。
なおステップS5001は従来方式のDC係数量子化そのものの動作であり、続くステップS5002からステップS5005までが発明によって追加された動作となる。
ステップS5002では、Iフレームフリッカ抑圧制御信号IFlickerControlが1でかつMBタイプがIntra16MBか否かをみる。IFlickerControlが1でかつMBタイプがIntra16MBであれば（DC係数を補正するのであれば）ステップS5003、そうでなければ処理を終了する。
ステップS5003では、補正したDC係数の個数を示すカウンタcountDCLを0として初期化する。
ステップS5004では、countDCLが16以上か否か（すべてのx, y{0≦x≦3、0≦y≦3}のDC係数を補正したか否か）をチェックし、countDCLが16以上であれば処理を終了し、そうでなければステップS5005にうつる。
ステップS5005では、式(50)によってレベルLDC(x, y)を補正し、countDCLを1インクリメントしてステップS5004に移る。
Figure 0005234241
x = countDCL %4 (52)
y = countDCL /4 (53)
以上で本実施形態におけるDC係数量子化装置1032の動作説明を終了する。
以上説明した本実施形態における変換量子化装置200により、第1実施形態と同様に、IフレームだけでなくPフレームおよびBフレームなどのフレーム間予測も用いて動画を符号化する場合、さらには動きのあるシーンを含む動画像を符号化する場合にでも、効果的にIフレームフリッカの低減を実現できる。
本実施例では、実施例１あるいは実施例３で変換量子化装置200のように「変換量子化装置200が参照予測誤差の変換係数を計算する」ことなく、より簡単な構成でIフレームフリッカを低減できる変換量子化装置を利用した発明の動画像符号化装置する。
変換量子化装置200内部の構成のみが、実施例１あるいは実施例３と異なるので、説明の簡略化のために本実施形態におけるIフレームフリッカ抑圧制御装置200のみを説明する(もちろん、Ｉフレームフリッカ抑圧制御装置300の構成は、実施例１又は実施例２のどちらでもよい)。
本実施形態の変換量子化装置200の構成を以下の図２３に示す。
本実施形態における変換量子化装置200は、図５の従来方式の構成に加えて予測誤差補正装置202を備える。予測誤差補正装置202は、供給されるIフレームフリッカ抑圧制御信号/参照予測誤差に基づいて、予測誤差を補正し、補正した予測誤差を変換装置102に供給する。
予測誤差補正装置202以外の装置は、図５の従来方式のものと同じである。よって、以下では予測誤差補正装置202の動作のみを図２４のフローチャートを参照して説明する。
ステップS6001では、Iフレームフリッカ抑圧制御信号IFlickerControlが0か否かをみる。IFlickerControlが0でなければ（予測誤差を補正するのであれば）ステップS6002、そうでなければ処理を終了する。
ステップS6002では、補正した予測誤差の画素数個数を示すカウンタcountpeを0として初期化する。
ステップS6003では、countpeが256以上か否か（すべてのidx, x, y{0≦idx≦15、0≦x≦3、0≦y≦3}の予測誤差を補正したか否か）をチェックし、countpeが256以上であれば処理を終了し、そうでなければステップS6004にうつる。
ステップS6004では、式(54)によって予測誤差peidx(x, y) {0≦idx≦15、0≦x≦3、0≦y≦3}を補正し、countpeを1インクリメントしてステップS6003に移る。
Figure 0005234241
idx = countpe / 16 (57)
num= countpe % 16 (58)
x = num % 4 (59)
y = num / 4 (60)
ここで式(56)のβは1以上の実数(本実施形態では2)である。
以上で予測誤差補正装置202の動作説明を終了する。
ここで、参照予測誤差は、第1実施形態あるいは第2実施形態で説明した補正参照画像とフレーム内予測の差分である。一方、予測誤差は、入力MBとフレーム内予測の差分である。つまり式、本実施形態における変換量子化装置200は、イントラ符号化において、イントラ符号化対象の画像に代えて、上述した補正参照画像を符号化することができる。ただし、無条件にすべてのイントラ符号化対象の画像を置き換えるのではなく、式(54)から分かるように、時間方向に連続とみなされた画像に対してのみ、上述したイントラ符号化対象の画像を補正参照画像に置き換えている
上説明した本実施形態における変換量子化装置200により、第1実施形態と同様に、IフレームだけでなくPフレームおよびBフレームなどのフレーム間予測も用いて動画を符号化する場合、さらには動きのあるシーンを含む動画像を符号化する場合にでも、効果的にIフレームフリッカの低減を実現できる。
上述した実施例においては、フレーム内予測を用いる動画像符号化装置に発明を適用した場合について述べたが、フレーム内予測を用いない動画像符号化装置に適用することも可能である。
この場合、上述したフレーム内予測値pIntraidx(x, y)の値をすべて0として動作させればよい。
また、この場合(フレーム内予測を用いない場合)での実施例１の動作は、イントラ符号化の量子化値として、インター符号化再構築画像を変換、量子化して得られる量子化値が用いられることになる。もちろん変換量子化装置200の構成は、実施例３のものでもよい。
また、この場合(フレーム内予測を用いない場合)における実施例２の動作は、イントラ符号化の量子化値として、補正参照画像生成参照フレームからのフレーム間予測画像を変換、量子化して得られる量子化値が用いられることになる。もちろん変換量子化装置200の構成は、第3実施形態のものでもよい。
また、この場合(フレーム内予測を用いない場合)における実施例４の動作は、イントラ符号化の対象の画像として、インター符号化再構築画像あるいは補正参照画像生成参照フレームからのフレーム間予測画像が用いられる。
なお上述した実施の形態でおいては、輝度信号に対してのみ発明を適用した場合について述べたが、本発明は色差信号に対しても適用可能である。
さらには上述した実施例においては、上述した説明からも明らかなように、ハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。
図２５は、本発明による動画像符号化装置をインプリメントした情報処理システムの一般的ブロック構成図である。
図２５に示す情報処理システムは、プロセッサA1001，プログラムメモリA1002，記憶媒体A1003およびA1004からなる。記憶媒体A1003およびA1004は、別個の記憶媒体であってもよいし、同一の記憶媒体からなる記憶領域であってもよい。記憶媒体としては、ハードディスク等の磁気記憶媒体を用いることができる。
実施例７では、上述した実施例１から実施例６の動画符号化装置が生成したビットストリームを入力とし、前記ビットストリームを復号した画像を出力とする復号化装置について説明する。
図２８を参照すると、復号化装置は、エントロピー復号化装置D101、逆量子化/逆変換装置D102、フレームメモリD103、フレーム内予測装置D104およびフレーム間予測装置D105によって構成される。
エントロピー復号化装置D101は、ビットストリームに多重化されたレベル、量子化パラメータ、イントラMBタイプ、インターMBタイプ、予測方向、動きベクトルなどのビット列をエントロピー復号化し、元の数値に戻す。
逆量子化/逆変換装置D102は、エントロピー復号化装置D101から供給されるレベルを、逆量子化および逆変換して元の画素空間に戻す。前記元の画素空間に戻されたレベルを予測誤差と呼ぶ。
さらに、前記予測誤差には、SW100から供給される予測値が加算されて、再構築画像フレームとして、フレームメモリD103に格納される。
フレームメモリD103は、動画像符号化装置で説明したフレームメモリA107、ループ内フィルタ装置108、フレームメモリB109を統合した構成となっている。
フレームメモリD103は、格納された再構築画像フレームの表示時刻を監視し、表示時刻となった再構築画像フレームを出力する。
フレーム内予測装置D104は、エントロピー復号化装置D101から供給されるＭＢタイプがイントラＭＢであれば、フレームメモリ105に格納された再構築画像フレームから、供給されるイントラＭＢおよび予測方向に基づき、符号化装置のフレーム内予測装置110と同様にフレーム内予測画像を生成する。
フレーム間予測装置D105は、エントロピー復号化装置D101から供給されるＭＢタイプがインターＭＢであれば、フレームメモリ105に格納された再構築画像フレーム(参照フレーム)から、供給されるインターＭＢタイプおよび動きベクトルに基づき、符号化装置のフレーム間予測装置111と同様にフレーム間予測画像を生成する。
SW100は、エントロピー復号化装置D101から供給されるMBタイプがイントラＭＢであればフレーム内予測装置D104から供給されるフレーム内予測画像を予測値として出力し、インターＭＢであればフレーム間予測装置D105から供給されるフレーム間予測画像を予測値として出力する。
以上説明した処理によって、動画像復号化装置は、入力されるビットストリームを復号し、画像を再構築することができる。

Claims (31)

  1. 動画像符号化装置であって、
    符号化対象のフレームよりも過去にインター符号化された画像フレームの画像を用いて前記符号化対象の画像をインター符号化して得られる再構築画像をイントラ符号化して得る参照量子化係数を用いて、前記符号化対象画像フレームの画像をイントラ符号化して得る入力量子化係数値を補正する補正手段を具備することを特徴とする動画像符号化装置。
  2. 前記参照量子化係数値は、前記符号化対象画像フレームよりも過去にインター符号化された画像フレームの画像を用いて前記符号化対象の画像をインター符号化して得られる再構築画像とフレーム内予測値画像との差分を周波数変換し、量子化して得られる量子化係数値であって、
    前記入力量子化係数値は、前記符号化対象画像フレームの画像とフレーム内予測値画像との差分を周波数変換し、量子化して得られる量子化係数値である
    ことを特徴とするフレーム内予測を用いる請求項１に記載の動画像符号化装置。
  3. 前記参照量子化係数値は、前記符号化対象画像フレームよりも過去にインター符号化された画像フレームの画像を用いて前記符号化対象の画像をインター符号化して得られる再構築画像を周波数変換し、量子化して得られる量子化係数値であって、
    前記入力量子化係数値は、前記符号化対象画像フレームの画像を周波数変換し、量子化して得られる量子化係数値である
    ことを特徴とする請求項１に記載の動画像符号化装置。
  4. 前記量子化が四捨五入の量子化特性を持つことを特徴とする請求項２又は請求項３に記載の動画像符号化装置。
  5. 前記補正手段は、前記入力量子化係数値の量子化前の値と前記参照量子化係数値の量子化前の値との差分が、インター符号化の量子化デッドゾーン幅以下である場合でのみ、前記入力量子化係数値を前記参照量子化係数値に補正することを特徴とする請求項１から請求項４のいずれかに記載の動画像符号化装置。
  6. 前記過去の画像フレームが、前記イントラ符号化される画像の直前のＰフレームであることを特徴とする請求項１から請求項５のいずれかに記載の動画像符号化装置。
  7. 前記過去の画像フレームが、前記イントラ符号化される画像の直前のＰフレームであり、
    イントラ符号化対象の画像を前記Ｐフレームの画像でフレーム間予測、変換、量子化、逆量子化、逆変換して生成される再構築画像を、イントラ符号化する手段を具備することを特徴とする請求項１に記載の動画像符号化装置。
  8. 前記過去の画像フレームが、前記イントラ符号化される画像の直前のＰフレームであり、
    イントラ符号化対象の画像を前記Ｐフレームの画像でフレーム間予測して生成されるフレーム間予測画像を、イントラ符号化する手段を具備することを特徴とする請求項１に記載の動画像符号化装置。
  9. 前記生成された画像とイントラ符号化対象の画像との差分が、画素空間でのインター符号化の量子化デッドゾーン幅以下である場合、前記イントラ符号化が適用されることを特徴とする請求項７又は請求項８に記載の動画像符号化装置。
  10. 動画像符号化であって、
    符号化対象のフレームよりも過去にインター符号化された画像フレームの画像を用いて前記符号化対象の画像をインター符号化して得られる再構築画像をイントラ符号化して得る参照量子化係数を用いて、前記符号化対象画像フレームの画像をイントラ符号化して得る入力量子化係数値を補正することを特徴とする動画像符号化方法。
  11. 前記参照量子化係数値は、前記符号化対象画像フレームよりも過去にインター符号化された画像フレームの画像を用いて前記符号化対象の画像をインター符号化して得られる再構築画像とフレーム内予測値画像との差分を周波数変換し、量子化して得られる量子化係数値であって、
    前記入力量子化係数値は、前記符号化対象画像フレームの画像とフレーム内予測値画像との差分を周波数変換し、量子化して得られる量子化係数値である
    ことを特徴とするフレーム内予測を用いる請求項１０に記載の動画像符号化方法。
  12. 前記参照量子化係数値は、前記符号化対象画像フレームよりも過去にインター符号化された画像フレームの画像を用いて前記符号化対象の画像をインター符号化して得られる再構築画像を周波数変換し、量子化して得られる量子化係数値であって、
    前記入力量子化係数値は、前記符号化対象画像フレームの画像を周波数変換し、量子化して得られる量子化係数値である
    ことを特徴とする請求項１０に記載の動画像符号化方法。
  13. 前記量子化が四捨五入の量子化特性を持つことを特徴とする請求項１１又は請求項１２に記載の動画像符号化方法。
  14. 前記入力量子化係数値の量子化前の値と前記参照量子化係数値の量子化前の値との差分が、インター符号化の量子化デッドゾーン幅以下である場合でのみ、前記入力量子化係数値を前記参照量子化係数値に補正することを特徴とする請求項１０から請求項１３のいずれかに記載の動画像符号化装置。
  15. 前記過去の画像フレームが、前記イントラ符号化される画像の直前のＰフレームであることを特徴とする請求項１０から請求項１４のいずれかに記載の動画像符号化方法。
  16. 前記過去の画像フレームが、前記イントラ符号化される画像の直前のＰフレームであり、
    イントラ符号化対象の画像を前記Ｐフレームの画像でフレーム間予測、変換、量子化、逆量子化、逆変換して生成される再構築画像を、イントラ符号化することを特徴とする請求項１０に記載の動画像符号化方法。
  17. 前記過去の画像フレームが、前記イントラ符号化される画像の直前のＰフレームであり、
    イントラ符号化対象の画像を前記Ｐフレームの画像でフレーム間予測して生成されるフレーム間予測画像を、イントラ符号化することを特徴とする請求項１０に記載の動画像符号化方法。
  18. 前記生成された画像とイントラ符号化対象の画像との差分が、画素空間でのインター符号化の量子化デッドゾーン幅以下である場合、前記イントラ符号化を適用することを特徴とする請求項１６又は請求項１７に記載の動画像符号化方法。
  19. 情報処理装置に動画像符号化を行わせるプログラムであって、
    前記プログラムは前記情報処理装置を、符号化対象のフレームよりも過去にインター符号化された画像フレームの画像を用いて前記符号化対象の画像をインター符号化して得られる再構築画像をイントラ符号化して得る参照量子化係数を用いて、前記符号化対象画像フレームの画像をイントラ符号化して得る入力量子化係数値を補正する補正手段として機能させることを特徴とするプログラム。
  20. 前記参照量子化係数値は、前記符号化対象画像フレームよりも過去にインター符号化された画像フレームの画像を用いて前記符号化対象の画像をインター符号化して得られる再構築画像とフレーム内予測値画像との差分を周波数変換し、量子化して得られる量子化係数値であって、
    前記入力量子化係数値は、前記符号化対象画像フレームの画像とフレーム内予測値画像との差分を周波数変換し、量子化して得られる量子化係数値である
    ことを特徴とするフレーム内予測を用いる請求項１９に記載のプログラム。
  21. 前記参照量子化係数値は、前記符号化対象画像フレームよりも過去にインター符号化された画像フレームの画像を用いて前記符号化対象の画像をインター符号化して得られる再構築画像を周波数変換し、量子化して得られる量子化係数値であって、
    前記入力量子化係数値は、前記符号化対象画像フレームの画像を周波数変換し、量子化して得られる量子化係数値である
    ことを特徴とする請求項１９に記載のプログラム。
  22. 前記量子化が四捨五入の量子化特性を持つことを特徴とする請求項２０又は請求項２１に記載のプログラム。
  23. 前記補正手段は、前記入力量子化係数値の量子化前の値と前記参照量子化係数値の量子化前の値との差分が、インター符号化の量子化デッドゾーン幅以下である場合でのみ、前記入力量子化係数値を前記参照量子化係数値に補正することを特徴とする請求項１９から請求項２２のいずれかに記載のプログラム。
  24. 前記過去の画像フレームが、前記イントラ符号化対象画像の直前のＰフレームであることを特徴とする請求項１９から請求項２３のいずれかに記載のプログラム。
  25. 前記過去の画像フレームが、前記イントラ符号化される画像の直前のＰフレームであり、
    前記プログラムは前記情報処理装置を、
    イントラ符号化対象の画像を前記Ｐフレームの画像でフレーム間予測、変換、量子化、逆量子化、逆変換して生成される再構築画像を、イントラ符号化する手段として機能させることを特徴とする請求項１９に記載のプログラム。
  26. 前記過去の画像フレームが、前記イントラ符号化される画像の直前のＰフレームであり、
    前記プログラムは前記情報処理装置を、
    イントラ符号化対象の画像を前記Ｐフレームの画像でフレーム間予測して生成されるフレーム間予測画像を、イントラ符号化する手段として機能させることを特徴とする請求項１９に記載のプログラム。
  27. 前記生成された画像とイントラ符号化対象の画像との差分が、画素空間でのインター符号化の量子化デッドゾーン幅以下である場合、前記イントラ符号化が適用されることを特徴とする請求項２５又は請求項２６に記載のプログラム。
  28. 動画像符号化装置であって、
    符号化対象のフレームよりも過去にインター符号化された画像フレームの画像を用いて前記符号化対象の画像をインター符号化して得られる再構築画像をイントラ符号化して得る参照量子化係数を用いて、前記符号化対象画像フレームの画像をイントラ符号化して得る入力量子化係数値を補正し、イントラ符号化によって生じるノイズを、インター符号化によって生じるノイズに類似させる手段を具備することを特徴とする動画像符号化装置。
  29. 動画像符号化方法であって、
    符号化対象のフレームよりも過去にインター符号化された画像フレームの画像を用いて前記符号化対象の画像をインター符号化して得られる再構築画像をイントラ符号化して得る参照量子化係数を用いて、前記符号化対象画像フレームの画像をイントラ符号化して得る入力量子化係数値を補正し、イントラ符号化によって生じるノイズを、インター符号化によって生じるノイズに類似させることを特徴とする動画像符号化方法。
  30. 動画像の符号化・復号システムであって、
    符号化対象のフレームよりも過去にインター符号化された画像フレームの画像を用いて前記符号化対象の画像をインター符号化して得られる再構築画像をイントラ符号化して得る参照量子化係数を用いて、前記符号化対象画像フレームの画像をイントラ符号化して得る入力量子化係数値を補正して画像を符号化する手段と、
    前記符号化されたデータを復号する復号手段と
    を有することを特徴とする動画像の符号化・復号システム。
  31. 動画像の符号化・復号方法であって、
    符号化対象のフレームよりも過去にインター符号化された画像フレームの画像を用いて前記符号化対象の画像をインター符号化して得られる再構築画像をイントラ符号化して得る参照量子化係数を用いて、前記符号化対象画像フレームの画像をイントラ符号化して得る入力量子化係数値を補正して画像を符号化するステップと、
    前記符号化されたデータを復号するステップと
    を有することを特徴とする動画像の符号化・復号方法。
JP2006550785A 2004-12-28 2005-12-27 動画像符号化方法、及びこれを用いた装置と、コンピュータプログラム Active JP5234241B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006550785A JP5234241B2 (ja) 2004-12-28 2005-12-27 動画像符号化方法、及びこれを用いた装置と、コンピュータプログラム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2004379778 2004-12-28
JP2004379778 2004-12-28
PCT/JP2005/023862 WO2006070787A1 (ja) 2004-12-28 2005-12-27 動画像符号化方法、及びこれを用いた装置と、コンピュータプログラム
JP2006550785A JP5234241B2 (ja) 2004-12-28 2005-12-27 動画像符号化方法、及びこれを用いた装置と、コンピュータプログラム

Publications (2)

Publication Number Publication Date
JPWO2006070787A1 JPWO2006070787A1 (ja) 2008-08-07
JP5234241B2 true JP5234241B2 (ja) 2013-07-10

Family

ID=36614900

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006550785A Active JP5234241B2 (ja) 2004-12-28 2005-12-27 動画像符号化方法、及びこれを用いた装置と、コンピュータプログラム

Country Status (6)

Country Link
US (1) US8325799B2 (ja)
EP (1) EP1845735A4 (ja)
JP (1) JP5234241B2 (ja)
KR (1) KR100945985B1 (ja)
CN (1) CN101091393B (ja)
WO (1) WO2006070787A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017142301A1 (ko) * 2016-02-16 2017-08-24 삼성전자 주식회사 영상을 부호화/복호화 하는 방법 및 그 장치

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7663017B2 (en) * 2003-07-30 2010-02-16 Institut Pasteur Transgenic mice having a human major histocompatability complex (MHC) phenotype, experimental uses and applications
US8422546B2 (en) * 2005-05-25 2013-04-16 Microsoft Corporation Adaptive video encoding using a perceptual model
JP4449915B2 (ja) * 2006-02-08 2010-04-14 ソニー株式会社 符号化装置、符号化方法およびプログラム、並びに、記録媒体
US20070237237A1 (en) * 2006-04-07 2007-10-11 Microsoft Corporation Gradient slope detection for video compression
US8503536B2 (en) 2006-04-07 2013-08-06 Microsoft Corporation Quantization adjustments for DC shift artifacts
US7995649B2 (en) 2006-04-07 2011-08-09 Microsoft Corporation Quantization adjustment based on texture level
US8059721B2 (en) 2006-04-07 2011-11-15 Microsoft Corporation Estimating sample-domain distortion in the transform domain with rounding compensation
US8711925B2 (en) 2006-05-05 2014-04-29 Microsoft Corporation Flexible quantization
US8036270B2 (en) * 2006-07-27 2011-10-11 Sharp Laboratories Of America, Inc. Intra-frame flicker reduction in video coding
JP4628374B2 (ja) * 2007-01-18 2011-02-09 日本放送協会 符号化装置、及びプログラム
US8238424B2 (en) 2007-02-09 2012-08-07 Microsoft Corporation Complexity-based adaptive preprocessing for multiple-pass video compression
US20080240257A1 (en) * 2007-03-26 2008-10-02 Microsoft Corporation Using quantization bias that accounts for relations between transform bins and quantization bins
US8498335B2 (en) * 2007-03-26 2013-07-30 Microsoft Corporation Adaptive deadzone size adjustment in quantization
US8243797B2 (en) 2007-03-30 2012-08-14 Microsoft Corporation Regions of interest for quality adjustments
US8442337B2 (en) 2007-04-18 2013-05-14 Microsoft Corporation Encoding adjustments for animation content
US8331438B2 (en) * 2007-06-05 2012-12-11 Microsoft Corporation Adaptive selection of picture-level quantization parameters for predicted video pictures
US8363719B2 (en) * 2007-10-29 2013-01-29 Canon Kabushiki Kaisha Encoding apparatus, method of controlling thereof, and computer program
EP2071851B1 (en) * 2007-12-11 2011-09-28 Alcatel Lucent Process for delivering a video stream over a wireless channel
EP2071852A1 (en) * 2007-12-11 2009-06-17 Alcatel Lucent Process for delivering a video stream over a wireless bidirectional channel between a video encoder and a video decoder
WO2009091387A1 (en) * 2008-01-17 2009-07-23 Thomson Licensing Reduced video flicker
US8654844B1 (en) * 2008-02-04 2014-02-18 Zenverge, Inc. Intra frame beating effect reduction
KR101656091B1 (ko) * 2008-03-10 2016-09-08 톰슨 라이센싱 효율성과 주관적 품질의 개선을 지원하는 예측 프레임 선택을 위한 방법 및 장치
US8189933B2 (en) 2008-03-31 2012-05-29 Microsoft Corporation Classifying and controlling encoding quality for textured, dark smooth and smooth video content
US8897359B2 (en) 2008-06-03 2014-11-25 Microsoft Corporation Adaptive quantization for enhancement layer video coding
KR101518237B1 (ko) * 2008-09-01 2015-05-15 삼성전자주식회사 영상의 역양자화 방법 및 장치, 복호화 방법 및 장치
EP2345258A4 (en) * 2008-11-12 2012-04-25 Thomson Licensing ELIMINATION OF FRAME SCINTILLE I FOR MULTIPHREAD VIDEO CODING PARALLEL TO THE GOP
WO2010056315A1 (en) * 2008-11-13 2010-05-20 Thomson Licensing Multiple thread video encoding using gop merging and bit allocation
DE112010004844T5 (de) * 2009-12-16 2012-10-31 International Business Machines Corporation Videocodierung unter Verwendung von Pixeldatenströmen
US9294755B2 (en) 2010-10-20 2016-03-22 Raytheon Company Correcting frame-to-frame image changes due to motion for three dimensional (3-D) persistent observations
CN103647974B (zh) 2010-11-26 2017-05-31 日本电气株式会社 视频解码设备和视频解码方法
US8923401B2 (en) * 2011-05-31 2014-12-30 Raytheon Company Hybrid motion image compression
EP2536143B1 (en) * 2011-06-16 2015-01-14 Axis AB Method and a digital video encoder system for encoding digital video data
US8913656B2 (en) * 2011-10-14 2014-12-16 Mediatek Inc. Method and apparatus for in-loop filtering
CN102497553B (zh) * 2011-12-12 2017-08-25 深圳市云宙多媒体技术有限公司 一种视频解码后处理方法及装置
US9230333B2 (en) 2012-02-22 2016-01-05 Raytheon Company Method and apparatus for image processing
US9723314B2 (en) * 2012-02-29 2017-08-01 Smsc Holdings Sarl Flicker reduction circuit and method for compressed video transmission
CN103731673B (zh) * 2012-10-10 2017-02-22 浙江大华技术股份有限公司 一种视频编码的方法及装置
KR101728285B1 (ko) * 2013-06-12 2017-04-18 미쓰비시덴키 가부시키가이샤 화상 부호화 장치, 화상 부호화 방법, 화상 복호 장치, 화상 복호 방법 및 기억 매체
US20160205398A1 (en) * 2015-01-08 2016-07-14 Magnum Semiconductor, Inc. Apparatuses and methods for efficient random noise encoding
KR102338980B1 (ko) 2015-03-23 2021-12-13 삼성전자주식회사 플리커를 제거하기 위해 양자화 계수를 조절할 수 있은 인코더와 이를 포함하는 장치
US10341565B2 (en) 2016-05-10 2019-07-02 Raytheon Company Self correcting adaptive low light optical payload
US10715819B2 (en) 2017-04-26 2020-07-14 Canon Kabushiki Kaisha Method and apparatus for reducing flicker
WO2019084792A1 (zh) * 2017-10-31 2019-05-09 深圳市大疆创新科技有限公司 一种编码方法及装置
CN110087070B (zh) * 2018-01-26 2021-04-02 翔升（上海）电子技术有限公司 数据的压缩方法、装置、设备和介质
DE102018112215B3 (de) * 2018-04-30 2019-07-25 Basler Ag Quantisiererbestimmung, computerlesbares Medium und Vorrichtung, die mindestens zwei Quantisierer implementiert
US11057617B2 (en) * 2018-08-03 2021-07-06 Tencent America LLC Method and apparatus for video coding
CN110232672A (zh) * 2019-06-20 2019-09-13 合肥工业大学 一种运动数据的去噪方法及系统

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05236461A (ja) * 1992-02-17 1993-09-10 G C Technol Kk 画像符号化方法と装置
EP0687111A2 (de) * 1994-06-06 1995-12-13 SICAN, GESELLSCHAFT FÜR SILIZIUM-ANWENDUNGEN UND CAD/CAT NIEDERSACHSEN mbH Verfahren zur Codierung/Decodierung eines Datenstroms
JPH08116539A (ja) * 1994-10-17 1996-05-07 Hitachi Ltd 動画像符号化装置と動画像符号化方法
JPH0998429A (ja) * 1995-09-29 1997-04-08 Mitsubishi Electric Corp ディジタル映像信号符号化装置および復号化装置
JPH09224250A (ja) * 1996-02-16 1997-08-26 Nippon Hoso Kyokai <Nhk> レベル変動検出装置および画質改善装置
JPH09247673A (ja) * 1996-03-04 1997-09-19 Kokusai Denshin Denwa Co Ltd <Kdd> 符号化動画像再生装置
JPH09261635A (ja) * 1996-03-22 1997-10-03 Mitsubishi Electric Corp データ圧縮回路およびデータ伸長回路および動き補償予測復号装置
JPH1098731A (ja) * 1996-03-04 1998-04-14 Mitsubishi Electric Corp ディジタル画像復号装置及びディジタル画像復号方法
JP2000023169A (ja) * 1998-06-26 2000-01-21 Sony Corp 復号装置
JP2000165861A (ja) * 1998-11-26 2000-06-16 Oki Electric Ind Co Ltd 動画像復号装置
JP2000165875A (ja) * 1998-11-26 2000-06-16 Oki Electric Ind Co Ltd メモリ量の少ない動画像解像度変換符号化・復号装置
JP2002359850A (ja) * 2001-02-15 2002-12-13 Ricoh Co Ltd ウェーブレット処理を実行するためのメモリ使用機構
JP2005039321A (ja) * 2003-07-15 2005-02-10 Nippon Hoso Kyokai <Nhk> フリッカ低減量子化器、フリッカ低減量子化方法、及びそのプログラム
JP2005318468A (ja) * 2004-04-30 2005-11-10 Nippon Hoso Kyokai <Nhk> 画面内予測符号化装置、その方法及びそのプログラム
JP2005323315A (ja) * 2004-05-11 2005-11-17 Nippon Hoso Kyokai <Nhk> 予測情報・量子化値制御圧縮符号化装置、予測情報・量子化値制御圧縮符号化プログラムおよび予測情報・量子化値制御圧縮符号化方法
JP2005348008A (ja) * 2004-06-02 2005-12-15 Nippon Telegr & Teleph Corp <Ntt> 動画像符号化方法、動画像符号化装置、動画像符号化プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3187097B2 (ja) 1991-10-17 2001-07-11 株式会社東芝 動画像符号化における符号量配分方法とこれを用いた動画像符号化方法及び装置
US5410350A (en) * 1992-10-28 1995-04-25 Sony Corporation Motion picture encoding and/or decoding system
JPH08251593A (ja) * 1995-03-10 1996-09-27 Sony Corp 量子化回路
US6208689B1 (en) * 1996-03-04 2001-03-27 Mitsubishi Denki Kabushiki Kaisha Method and apparatus for digital image decoding
US6101276A (en) * 1996-06-21 2000-08-08 Compaq Computer Corporation Method and apparatus for performing two pass quality video compression through pipelining and buffer management
US6584154B1 (en) * 1998-11-26 2003-06-24 Oki Electric Industry Co., Ltd. Moving-picture coding and decoding method and apparatus with reduced computational cost
US6639942B1 (en) * 1999-10-21 2003-10-28 Toshiba America Electronic Components, Inc. Method and apparatus for estimating and controlling the number of bits
JP2002202799A (ja) * 2000-10-30 2002-07-19 Fujitsu Ltd 音声符号変換装置
US6831947B2 (en) * 2001-03-23 2004-12-14 Sharp Laboratories Of America, Inc. Adaptive quantization based on bit rate prediction and prediction error energy
JP3732760B2 (ja) * 2001-06-29 2006-01-11 株式会社東芝 物体認識装置及び物体認識方法
FR2830143B1 (fr) * 2001-09-21 2004-02-27 St Microelectronics Sa Procede et dispositif de compression d'un signal d'image
JP2003235042A (ja) * 2002-02-12 2003-08-22 Sony Corp 画像符号化装置及びその符号化方法
US20030202606A1 (en) 2002-04-05 2003-10-30 Michael Tinker Multi-phase processing for real-time display of a compressed video bitstream
WO2004030369A1 (en) * 2002-09-27 2004-04-08 Videosoft, Inc. Real-time video coding/decoding
CN1225126C (zh) * 2002-10-09 2005-10-26 中国科学院计算技术研究所 用于视频编码的新型空间预测方法及其装置
KR100498333B1 (ko) * 2002-10-26 2005-07-01 엘지전자 주식회사 양자화 파라미터 결정 방법
KR20040062109A (ko) * 2002-12-31 2004-07-07 엘지전자 주식회사 동영상 부호화 방법
EP1582064A4 (en) * 2003-01-09 2009-07-29 Univ California VIDEO PROCESSING AND DEVICES
US8320464B2 (en) * 2004-05-04 2012-11-27 Qualcomm Incorporated Method and apparatus to construct bi-directional predicted frames for temporal scalability
US20070230574A1 (en) 2004-05-25 2007-10-04 Koninklijke Philips Electronics N.C. Method and Device for Encoding Digital Video Data
US8311113B2 (en) * 2004-11-12 2012-11-13 Broadcom Corporation Method and system for using motion prediction to equalize video quality across intra-coded frames
JP2006174415A (ja) * 2004-11-19 2006-06-29 Ntt Docomo Inc 画像復号装置、画像復号プログラム、画像復号方法、画像符号化装置、画像符号化プログラム及び画像符号化方法
EP1967002B1 (en) * 2005-12-23 2011-07-13 Koninklijke Philips Electronics N.V. A device for and a method of processing a data stream

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05236461A (ja) * 1992-02-17 1993-09-10 G C Technol Kk 画像符号化方法と装置
EP0687111A2 (de) * 1994-06-06 1995-12-13 SICAN, GESELLSCHAFT FÜR SILIZIUM-ANWENDUNGEN UND CAD/CAT NIEDERSACHSEN mbH Verfahren zur Codierung/Decodierung eines Datenstroms
JPH08116539A (ja) * 1994-10-17 1996-05-07 Hitachi Ltd 動画像符号化装置と動画像符号化方法
JPH0998429A (ja) * 1995-09-29 1997-04-08 Mitsubishi Electric Corp ディジタル映像信号符号化装置および復号化装置
JPH09224250A (ja) * 1996-02-16 1997-08-26 Nippon Hoso Kyokai <Nhk> レベル変動検出装置および画質改善装置
JPH09247673A (ja) * 1996-03-04 1997-09-19 Kokusai Denshin Denwa Co Ltd <Kdd> 符号化動画像再生装置
JPH1098731A (ja) * 1996-03-04 1998-04-14 Mitsubishi Electric Corp ディジタル画像復号装置及びディジタル画像復号方法
JPH09261635A (ja) * 1996-03-22 1997-10-03 Mitsubishi Electric Corp データ圧縮回路およびデータ伸長回路および動き補償予測復号装置
JP2000023169A (ja) * 1998-06-26 2000-01-21 Sony Corp 復号装置
JP2000165861A (ja) * 1998-11-26 2000-06-16 Oki Electric Ind Co Ltd 動画像復号装置
JP2000165875A (ja) * 1998-11-26 2000-06-16 Oki Electric Ind Co Ltd メモリ量の少ない動画像解像度変換符号化・復号装置
JP2002359850A (ja) * 2001-02-15 2002-12-13 Ricoh Co Ltd ウェーブレット処理を実行するためのメモリ使用機構
JP2005039321A (ja) * 2003-07-15 2005-02-10 Nippon Hoso Kyokai <Nhk> フリッカ低減量子化器、フリッカ低減量子化方法、及びそのプログラム
JP2005318468A (ja) * 2004-04-30 2005-11-10 Nippon Hoso Kyokai <Nhk> 画面内予測符号化装置、その方法及びそのプログラム
JP2005323315A (ja) * 2004-05-11 2005-11-17 Nippon Hoso Kyokai <Nhk> 予測情報・量子化値制御圧縮符号化装置、予測情報・量子化値制御圧縮符号化プログラムおよび予測情報・量子化値制御圧縮符号化方法
JP2005348008A (ja) * 2004-06-02 2005-12-15 Nippon Telegr & Teleph Corp <Ntt> 動画像符号化方法、動画像符号化装置、動画像符号化プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CSNJ200510027069; 境田慎一、外３名: '適応量子化によるＡＶＣ／Ｈ．２６４イントラフレームのフリッカ抑制' ＦＩＴ２００４ 第３回情報科学技術フォーラム 講演論文集 , 20040820, ｐ．２２５-２２７, 社団法人電子情報通信学会、社団法人情報処理学会 *
JPN6012004670; 井口和久、外３名: 'Ｈ．２６４符号化におけるイントラモードのフリッカ低減手法' ＦＩＴ２００３　情報科学技術フォーラム　講演論文集 , 20030825, ｐ．２７７-２７８, 社団法人電子情報通信学会、社団法人情報処理学会 *
JPN6012004671; 境田慎一、外３名: '適応量子化によるＡＶＣ／Ｈ．２６４イントラフレームのフリッカ抑制' ＦＩＴ２００４ 第３回情報科学技術フォーラム 講演論文集 , 20040820, ｐ．２２５-２２７, 社団法人電子情報通信学会、社団法人情報処理学会 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017142301A1 (ko) * 2016-02-16 2017-08-24 삼성전자 주식회사 영상을 부호화/복호화 하는 방법 및 그 장치
US11095911B2 (en) 2016-02-16 2021-08-17 Samsung Electronics Co., Ltd. Method and apparatus for encoding image
US11516491B2 (en) 2016-02-16 2022-11-29 Samsung Electronics Co., Ltd. Method of decoding an image using indicated most probable mode
US11528495B2 (en) 2016-02-16 2022-12-13 Samsung Electronics Co., Ltd. Method of decoding an image using indicated most probable mode
US11528494B2 (en) 2016-02-16 2022-12-13 Samsung Electronics Co., Ltd. Method of decoding an image using indicated most probable mode
US11546624B2 (en) 2016-02-16 2023-01-03 Samsung Electronics Co., Ltd. Method of decoding an image using indicated most probable mode

Also Published As

Publication number Publication date
CN101091393B (zh) 2012-03-07
KR20070086494A (ko) 2007-08-27
WO2006070787A1 (ja) 2006-07-06
EP1845735A4 (en) 2009-07-15
KR100945985B1 (ko) 2010-03-09
CN101091393A (zh) 2007-12-19
US20080101465A1 (en) 2008-05-01
JPWO2006070787A1 (ja) 2008-08-07
US8325799B2 (en) 2012-12-04
EP1845735A1 (en) 2007-10-17

Similar Documents

Publication Publication Date Title
JP5234241B2 (ja) 動画像符号化方法、及びこれを用いた装置と、コンピュータプログラム
US11538198B2 (en) Apparatus and method for coding/decoding image selectively using discrete cosine/sine transform
KR100987765B1 (ko) 동영상 부호화기에서의 예측 수행 방법 및 장치
KR100716998B1 (ko) 블록화 현상을 감소시키기 위한 부호화 및 복호화 장치 및그 방법과, 이를 구현하기 위한 프로그램이 기록된 기록매체
JP4650173B2 (ja) 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体
KR100850706B1 (ko) 적응적 동영상 부호화 및 복호화 방법과 그 장치
KR101608426B1 (ko) 영상의 인트라 예측 부호화/복호화 방법 및 그 장치
US7848426B2 (en) Motion vector estimation method and encoding mode determining method
JP4247680B2 (ja) 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体
KR100772391B1 (ko) 직교 변환 및 벡터 양자화에 기반한 동영상 부호화 및복호화 방법과 이를 이용한 장치
US20090238271A1 (en) Apparatus and method for encoding and decoding using alternative converter accoding to the correlation of residual signal
JP5173409B2 (ja) 符号化装置および符号化装置を備えた動画像記録システム
KR20060054485A (ko) 경계강도에 기초한 적응 필터링
KR20100027384A (ko) 예측 모드 결정 방법 및 장치
KR20090087767A (ko) 영상의 인트라 예측 부호화 방법
KR101375667B1 (ko) 영상의 부호화, 복호화 방법 및 장치
KR100856392B1 (ko) 현재 영상의 복원영역을 참조하는 동영상 부호화/복호화장치 및 그 방법
KR101221495B1 (ko) 적응적 ｍｃｔｆ의 ｒｄ 최적화 방법
KR100801155B1 (ko) Ｈ．２６４에서의 저복잡도를 가지는 공간적 에러 은닉방법
JP6874844B2 (ja) 動画像符号化装置、動画像符号化方法、及び、動画像符号化プログラム
KR100924779B1 (ko) 적응적 동영상 부호화 및 복호화 방법과 그 장치
KR20160053848A (ko) 영상의 인트라 예측 부호화/복호화 방법 및 그 장치
JP3311312B2 (ja) 符号化制御方法、符号化制御装置、および符号化制御プログラムを記録した記録媒体
JP4556774B2 (ja) 映像信号処理方法
JP4556773B2 (ja) 映像信号処理方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110223

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110425

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120406

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130227

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130312

R150 Certificate of patent or registration of utility model

Ref document number: 5234241

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160405

Year of fee payment: 3