JP5100015B2 - 画面間又は画面内符号化モードの動画像符号化方法及び装置 - Google Patents

画面間又は画面内符号化モードの動画像符号化方法及び装置 Download PDF

Info

Publication number
JP5100015B2
JP5100015B2 JP2006031128A JP2006031128A JP5100015B2 JP 5100015 B2 JP5100015 B2 JP 5100015B2 JP 2006031128 A JP2006031128 A JP 2006031128A JP 2006031128 A JP2006031128 A JP 2006031128A JP 5100015 B2 JP5100015 B2 JP 5100015B2
Authority
JP
Japan
Prior art keywords
encoding
macroblock
intra
block
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2006031128A
Other languages
English (en)
Other versions
JP2006222968A (ja
Inventor
デュクルー グザヴィエ
ヤニック,オリヴィエ
ロレット アンヌ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2006222968A publication Critical patent/JP2006222968A/ja
Application granted granted Critical
Publication of JP5100015B2 publication Critical patent/JP5100015B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01DHARVESTING; MOWING
    • A01D13/00Diggers, e.g. potato ploughs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01BSOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B59/00Devices specially adapted for connection between animals or tractors and agricultural machines or implements
    • A01B59/06Devices specially adapted for connection between animals or tractors and agricultural machines or implements for machines mounted on tractors
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01DHARVESTING; MOWING
    • A01D75/00Accessories for harvesters or mowers
    • A01D75/002Carriers for the transport of harvesters or mowers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/15Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01DHARVESTING; MOWING
    • A01D69/00Driving mechanisms or parts thereof for harvesters or mowers
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P60/00Technologies relating to agriculture, livestock or agroalimentary industries

Description

本発明は、画像ブロックの画面内又は画面間符号化モードを用いた、一連の画像の動画像符号化方法及び装置に関する。
より詳細には、それぞれ画像間の動き補償、空間補償及びブロック変換に基づく画面間及び画面内符号化アルゴリズムを用いた動画像圧縮に関する。本発明は、MPEG−4 Part 10又はH.264とも呼ばれるMPEG−4 AVCの規格に基づく。
MPEG−4 AVC動画像符号化方式の規格は、空間補償を含むことにより、従来の規格より非常に高機能な画面内符号化を導入している。符号化されるものは、情報源マクロブロックではなく、情報源マクロブロックと既に符号化された隣接マクロブロックから生じる画素との間の差分である。
画面内の輝度予測符号化は、16×16の大きさの単一ブロック又は4×4の大きさの16個の独立したブロックに対して実行されてよい。4×4のブロックには9個のモードが定義され、16×16のブロックには4個のモードが定義されているので、可能な予測が非常に多い。
図1は、4×4のブロックの種々の画面内の輝度符号化モードを概略的に示す。図2は、16×16のブロックの種々の画面内の輝度符号化モードを示す。
ITU−T Rec. H.264(2002E)及び非特許文献1は、これらの異なる符号化モードを説明している。参照し易くするため、図は前記規格で用いられている英語の用語を用いる。注意すべき事は、純粋な画面内モードは存在せず、前記規格の全ての画面内モードは予測モードである。画面内の色差符号化は、16×16の画面内モードに定義された4個の選択肢から選択された予測を用い、8×8の大きさの単一のブロックに対して行われる。
画面内符号化の決定は、従って、従来の規格よりかなり複雑である。計算の複雑さに加え、画面内符号化の実行は、因果関係の問題を引き起こす。なぜなら、予測に用いられる隣接する画素は再構成された画素であるため、つまり予め画面間又は画面内符号化され、そして復号化されているためである。一般的なモデルである、規格の基準となる符号化モデルは、リアルタイム動作の制約を考慮していない一般的構文を記述している。計算の複雑さと画面内符号化の因果関係は、このモデルの対象ではない。
例えば、標準的なテレビフォーマットにおいて、リアルタイムの用途が意図された場合、試されるべき符号化モード数が膨大なため、処理時間の問題が生じる。画像のマクロブロックの符号化は、テレビの走査に従い実行され、現在のマクロブロックの画面内符号化の試みは、前のマクロブロックの処理が完了した後でのみ行われる。問題は、試みが連続的に行われる、ハードウェア実装時に生じる。
「イントラ・プレディクション(intra prediction)」、アイエスオー・アイイーシー・エフシーディー14496−10(ISO/IEC FCD 14496-10)、2002年、8.5章 「カルキュレーション・オブ・ザ・マクロブロック・アドレス(calculation of the macroblock address)」、アイティーユーティー・レコメンデーション・エイチ264 2002イー(ITU-T Rec.H264(2002E))、アイティーユーティー(ITU-T)、2002年、6.3段落
本発明の目的の1つは、上記の不利点を緩和することである。
本発明は、画像を複数の画像マクロブロックに変換するステップと、
現在のマクロブロックに対し、コスト及び/又は品質要因の基準に従い、複数の画面間モードと複数の画面内モードとから、少なくとも1つの符号化モードを選択するステップとを有し、前記画面間モードは、マクロブロックの複数のブロックへの分割に応じ、前記複数のブロックの動き補償を1つ以上の予め符号化された画像に用い、前記画面内モードは、マクロブロックの複数のブロックへの分割に応じ、画像内で前記複数のブロックの空間補償を用い、前記空間補償は、予測値と符号化されるべき対応する残りとを計算するために用いられる補償であり、マクロブロックの画面間又は画面内符号化モードは、マクロブロックを構成する複数のブロックの画面間又は画面内符号化モードの組合せに相当する、画面間又は画面内モードの動画像符号化方法であって
前記選択ステップは、事前選択ステップと符号化決定ステップの2つの連続するステップに分けられ、前記事前選択ステップは、前記複数の画面内符号化モードから現在のマクロブロックの画面内モードを予め選択する画面内モードの事前選択ステップであり、前記符号化決定ステップは、現在のマクロブロックの効率的な符号化の一部であり、現在のマクロブロックの符号化モードを前記複数の画面間モードと前記予め選択された画面内モードから選択することと、
現在のマクロブロックの前記事前選択ステップは、前のマクロブロックの前記符号化決定ステップの間に実行されることとを特徴とする、動画像符号化方法である。
ある特定の実施例では、前記前のマクロブロックは前の画像に属し、前記現在のマクロブロックは現在の画像に属し、前記現在の画像は、前記前の画像のマクロブロックの効率的な符号化の間に格納される。
ある特定の実施例では、前記前のマクロブロックは、前記現在の画像の前のマクロブロックの行に属し、前記現在のマクロブロックは、現在のマクロブロックの行に属し、前記現在のマクロブロックの行は、前の行のマクロブロックの効率的な符号化の間に格納される。
ある特定の実施例では、前記事前選択ステップは1つ以上の分割を有し、前記1つ以上の分割は、前記画像の複数のマクロブロックを異なる大きさの複数のブロックに分けるもので、前記空間補償は、前記異なる大きさの複数のブロックに対し、残り、前記マクロブロックを構成する前記複数のブロックの符号化コストの和である前記マクロブロックの符号化コストの計算のために行われる。
ある特定の実施例では、画面内モードは画素の選択に関連し、予測値は前記画素の値に基づき計算される。
ある特定の実施例では、前記ブロックの画面内モードは、少なくともH.264の規格で定義された16×16及び4×4の画面内モードである。
ある特定の実施例では、マクロブロックのブロックの画面内モードにおける前記コスト及び/又は品質要因は、前記画面内符号化モードがマクロブロックのブロックの画面内符号化モードに選択された時に、効率的な前記ブロックの符号化方法により、前記ブロックの符号化を実行することにより得られる。
ある特定の実施例では、マクロブロックのブロックの画面内モードにおける前記コスト及び/又は品質要因は、前記画面内モードに従い符号化されたデータに関連するストリームの構造に基づく推測と、符号化されるべき情報源ブロックと前記画面内モードに従い予測されたブロックとの間の差分にそれぞれ基づく推測を実行することにより得られる。
本発明はまた、複数の画面間符号化モードと複数の画面内符号化モードのうち、コスト及び/又は歪みの基準に従い、動き補償を伴う画面間モード又は空間補償を伴う画面内モードの動画像符号化装置であって、
画像又は画像の部分の画面内符号化を実行し、一式の画面内符号化モードから1つの符号化モードを選択する最初の処理である画面内符号化回路と、
前記最初の処理の間に前記画像又は画像の部分を格納する記憶装置と、
前記記憶装置から送信された前記格納された画像又は画像部分に対し、画面間符号化モードと前記最初の処理である画面内符号化回路により送信された選択された画面内符号化モードとの間の符号化決定回路
とを有することを特徴とする、動画像符号化装置である。
前記提案された方法は、画像全体の画面内符号化の中で、画面内符号化の決定を行い、またP及びB画像の符号化の最終決定処理において前記画面内符号化の決定の再利用を行う。前記最終処理は、N個の可能な画面間予測モードと最初の符号化処理の間に選択された1個の画面内予測モードとから、最適な予測モードを選択することに制限されてもよい。
画像の最初の画面内符号化処理の実装により、種々の画面内モードにおいて、次のマクロブロックを符号化するコストを計算するために、マクロブロックの処理の終了を待つ必要がない。
本発明の他の特徴と利点は、限定されない例として与えられる、以下に示す図を用いた説明から明らかだろう。
図3は、本発明の方法を実施する符号化装置を示す。
示された例では、最初の画面内符号化処理は、画像毎に行われ、画像の長さ分の遅延を生じる。選択された画像内モードは、画像の各マクロブロックに関連付けられる。同様に、動き推測は完全な画像に対して行われ、生成された動きベクトル場は、動きベクトルを画像の各マクロブロックに関連付ける。
画像列は、図示されない前処理回路により処理される。この前処理回路は、特に、画像の群またはGOPへの再構成と、I又はP又はBの各画像種類の選択、つまり画面内又は画面間又は双方向の選択と、画像の再順序付けを行う。動画像列の各情報源画像は、再順序付けの後、図3に示された装置の入力へ送信される。前記入力は、最初の処理である画面内符号化回路1と、遅延及び画像ブロックへの変換回路2と、動き予測回路3とに接続される。
前記最初の処理である画面内符号化回路1は、画面内モードで、受信した動画像のブロックの種類I又はP又はBに関わらず、受信した動画像のブロックの符号化処理を行う。種々の16×16画面内及び4×4画面内符号化モードは、従って、先に述べたように、各マクロブロックに対して試される。前記回路は、符号化のコストと符号化されたマクロブロックの歪みを考慮に入れたコスト/品質要因の関数に基づき、16×16画面内モードをマクロブロックに対し選択し、4×4画面内モードをマクロブロックの各ブロックに対し選択する。
動き予測回路3は、第1の入力として情報源画像を受信し、第2の入力として再構成画像記憶装置11からの再構成された画像を受信する。前記回路は、画像のマクロブロックの動きベクトルのそれぞれを関連付ける。これは、情報源画像のマクロブロックのブロックを再構成された画像のブロックに関連付ける計算に相当する。これは前の若しくは次の画像、又は符号化されるべき画像の種類による2つの画像の組合せであってよい。関連付けられた動きベクトルは、ブロックに分割されたマクロブロックの種々の部分に相当する。これらは、例えば、マクロブロックを構成する16×16、16×8、8×8等の大きさのブロックの相関から生成されたベクトルである。
最初の処理である画面内符号化の間に選択された画面内符号化モードに関する情報は、マクロブロックの段階における符号化決定回路4へ送信される。この回路の機能は、種類P又はBの異なる画像のマクロブロックに対して、選択された画面内符号化モードと画面間符号化モードとの間の選択を行うことである。
遅延及び画像ブロックへの変換回路2は、最初の処理である画面内符号化の間に、各画像を格納する。このように遅延された画像もまたマクロブロックとブロックに分割される。マクロブロックは、マクロブロックの段階における符号化決定回路4へ送信される。同様に、従来通りに、符号化されるべきマクロブロックの各4×4情報源ブロックは、減算器5へ送信される。減算器5は、対応する予測されたブロックを第2の入力で受信する。減算器の出力で、4×4輝度ブロックは予測誤差ブロックと呼ばれ、整数及び量子化離散コサイン変換又はDCT6へ送信される。整数及び量子化離散コサイン変換又はDCT6は、量子化係数のブロック又は残りのブロックを供給する。次に前記4×4輝度ブロックは、エントロピー符号化回路7へ送信される。エントロピー符号化回路7は、量子化され整列された値のエントロピー符号化を行う。そして前記4×4輝度ブロックは、装置の出力にあるバッファメモリー8へ送信される。バッファメモリー8の占有率は、調整回路9により用いられる。調整回路9は、量子化器6の量子化ステップに作用し、符号化器のデータストリームの速度を調整する。
マクロブロックの段階における符号化決定回路4により画面間モードが選択された場合、マクロブロックの段階における符号化決定回路4はスイッチ17を動かし、動き補償回路10の出力を減算器5へ接続する。動き補償回路は、マクロブロックの段階における符号化決定回路により送信された画面間符号化モードに基づき、またマクロブロックの動き予測回路により送信された動きベクトルに基づき、再構成画像記憶装置11から、1つ又は複数の動きベクトルに対応する1つ又は複数の再構成された画像ブロックをフェッチし、減算器の第2の入力へ送信されるべき予測4×4ブロックを計算する。これは減算器の第1の入力に現れる、処理済みのマクロブロックの4×4ブロックに対応する、予測された画像ブロックである。
マクロブロックの段階における符号化決定回路4により画面内モードが選択された場合、マクロブロックの段階における符号化決定回路4はスイッチ17を動かし、空間補償回路16の出力を減算器5へ接続する。減算器の第1の入力に現れる、処理済みのマクロブロックの4×4ブロックに相当する、予測された画像ブロックは、次に、減算器の第2の入力へ送信される。空間補償回路16は、マクロブロック行記憶装置15から、マクロブロックの段階における符号化決定回路4により送信された選択された画面内符号化モードにより定義された、予測されたブロックに対応する画素の輝度値をフェッチする。
離散量子化コサイン変換回路6の出力における量子化係数のブロックはまた、逆量子化及び逆離散コサイン変換回路12へ送信され、輝度ブロックを供給する。加算器13により、このブロックに予測されたブロックが加算される。このように再構成されたブロックは、マクロブロックの最後の行を格納する、マクロブロック行記憶装置15へ送信される。前記再構成されたブロックはまた、ブロックの効果を減衰させるフィルター14へ送信される。フィルターされたブロックは、再構成画像記憶装置11に格納される。
最初の処理である画面内符号化回路1は、画面内符号化処理の間、最適な画面内モードの選択に基づくことができる。異なるモデルでは、例えば、実時間符号化では、これは「帰納的」モデルである。あるいは、コスト/歪みの二重の推測では、これは「演繹的」モデルである。
第1の場合は、最初の処理である画面内符号化回路の画面内モード決定モジュールは、9個の可能な4×4画面内モードと4個の16×16画面内モードを用いて、各4×4ブロックの完全な符号化を行う。マクロブロックの各ブロックの各4×4画面内モードに対し、符号化コストが、情報源ブロックと再構成されたブロックとの間の差分に応じた歪みとして、計算される。最良のコスト/歪みの妥協点に対応するモードが、マクロブロックの各ブロックに対して選択される。選択された4×4画面内モードの組合せに対応する全体のマクロブロックの段階における符号化コストと符号化の歪みは、次に、16×16画面内モードのコストと歪みと比較される。このモジュールは、従って、一式のブロックを有する。これらのブロックの機能は、種々の画面内符号化処理を行うことであり、特に、減算器、残りを供給するDCT計算回路及び量子化器、逆DCT計算回路及び量子化回路、ブロックを再構成する加算器、記憶装置、予測ブロックを計算する動き補償である。これらは図4を用い後述する。
第2の場合は、つまり演繹的モデルの場合、画面内モード決定モジュールは、再構成ブロックの計算を実行せずに、符号化/歪みのコストを予測誤差に基づき予測することを含む。このような装置は、AVCの規格のベンチマークモデルで提案されている。予測値は再構成ブロックからでなはく、情報源ブロックから抽出される。例えば、SATD(変換差分絶対値和)機能が用いられる。種々の4×4及び16×16画面内符号化モードは、マクロブロックを構成する4×4ブロックのそれぞれに対して、情報源の輝度からこれらのモードに対応する予測輝度を差し引くことにより、予測誤差を与える。予測誤差ブロックのアダマール変換は、そして、絶対値に加算される係数又は残りを提供する。予測誤差の二乗を加算することも可能である。得られた和は、第1の近似として、歪みを表す。コストの計算は、係数の符号化コストを考慮せず、構文つまりマクロブロックのヘッダーの計算に限定されてよい。このモジュールは、特に、減算器と変換計算回路を有する。
最初の画面内符号化処理において、マクロブロックの段階における符号化決定回路4により行われる画面内符号化モードの選択は、つまり最適な画面間/画面内符号化モードの選択は、実時間符号化又はコスト/歪み対の推測に基づいてもよい。
第1の場合は、つまり実時間符号化の場合、回路は、画面間及び画面内符号化コストを計算するために用いられる、先に述べた全てのブロックと、マクロブロック及び残りの予測ブロックとを有する。これは、特に、減算器と、DCT計算回路と、量子化器と、逆DCT及び量子化回路と、ブロック及びマクロブロックを再構成する加算器と、予測ブロックを計算する動き補償とを含む。特に画面内モードに関し、前記画面内モードは、最初の処理の間にブロックに対して計算された予測ブロック及び選択された画面内モードと異なるため、正確な計算が要求された場合、予測ブロックの計算が事実上必要である。最初の処理である画面内モードは、純粋な画面内符号化を行う。つまり、画像の全てのマクロブロックは、画面内モードで符号化される。マクロブロックの段階における符号化決定回路により選択された効率的な符号化モードは、画面間又は画面内モードであってよい。そして画面内モードの計算の予測値は、画面間モードで符号化されたマクロブロックから、また最初の処理の間に計算されたものとは異なる再構成された値から生成する事が可能である。
第2の場合は、推測値、つまりコスト及び歪みは、それぞれ単に構文のコストに基づき及び情報源ブロックと予測ブロック間の差分に基づき推測される。しかしながら、簡略化されたアーキテクチャを可能にする変形例では、歪みの推測は、画面内モードでは、再構成されたブロックではなく情報源ブロックの予測値を用い、また選択された画面内モードに対して最初の処理である画面内符号化回路により計算されたコスト/歪み情報を用いて行われる。
「帰納的」モデルに従う、最初の処理である画面内符号化回路1は、図4を用いて以下に説明される。
回路の入力は、情報源画像により供給される。画像ブロック変換回路は、4×4画素の大きさのブロックを減算器回路22へ供給する。減算器回路22は、離散コサイン変換及び量子化回路23へ供給される。この回路は、エントロピー符号化回路24と逆量子化及び逆変換回路25に接続される。予測されたブロックは、減算器22の第2の入力へ送信される。逆量子化及び逆変換回路25は、回路23の逆の処理を行う。加算器26は、回路25から生成される、符号化されそして復号化されたブロックを第1の入力で受信し、予測されたブロックを第2の入力で受信し、再構成された画面内ブロックを出力で供給する。
この画面内画像ブロックは、マクロブロック行記憶装置27に格納される。空間補償回路28は、記憶装置27から、マクロブロックの段階における画面内符号化決定回路21から受信した、試されるべき画面内符号化モードにより、試されるべきブロックの予測値を受信する。前記試されるべきブロックの予測値は、減算器22の第1の入力に現れ、減算器22の第2の入力に現れる予測されたブロックの計算に用いられる。画面間符号化決定回路21は、マクロブロックの段階で、種々の画面内符号化モードを再検討する。画面内符号化モードは、エントロピー符号化回路から、構文に基づき符号化のコストを計算することを可能にするデータストリームを受信する。
先に説明した動き推測は、最初の処理である画面内符号化の間に、完全な画像に対して行われる。この動き推測は、従来通りに、マクロブロック毎に、マクロブロックの符号化の間に、実行することが可能である。
同様に、最初の処理である画面内符号化は、先の説明により、画像毎に実行される。この最初の処理は、マクロブロックの行毎に実行することが可能である。非特許文献2に記載されているように、用いられる規格が、画像をマクロブロックの対に分割することを許す場合、最初の処理は、マクロブロックの2つの行毎に実行される。最初の処理と呼ばれるこの処理により引き起こされた遅延は、完全な画像ではなく、マクロブロックの1つ又は2つの行に相当する。遅延回路2は、符号化されるべき現在の画像、つまり符号化されるべきマクロブロックの1つ又は2つの行を、処理の間に又は最初の処理に関連する事前分析の間に、格納することを可能にする。遅延は従って、画像の期間、つまりこれらの例ではマクロブロックの1つ又は2つの行に相当する。画像、つまりマクロブロックの1つ又は2つの行を格納する間に、前の画像、つまり前の1つ又は2つの行の効率的な符号化が実行される。符号化は、マクロブロックの段階の符号化決定ステップを有する。
マクロブロックの画像ブロックへの分割は、4×4画素の大きさのブロックに対して先に説明された。他の大きさの画像ブロックへのマクロブロックの如何なる分割も、画面内モードの定義の場合、本発明の分野の一部である。この発明は、マクロブロックの可能な画面内モードの数の増加に伴い、ますます価値を増大する。マクロブロックの可能な画面内モードの数は、少なくともマクロブロックを構成するブロックの画面間モードの可能な組合せの数に等しい。勿論、マクロブロックの異なる大きさのブロックへの分割に対応するモードを検討することも予想される。MPEG4−AVCの規格は「Highプロファイル」と呼ばれるプロファイルを提案している。Highプロファイルは、先に説明した9個の4×4画面内予測モードと同様の方法で、8×8の大きさのブロックの符号化を可能にする。
典型的な実施例によると、情報源画像は、画像マクロブロック、つまりMPEGの規格により定義されているマクロブロックに分割される。これは、勿論、複数の例を含む。本発明は、同様に、画像ブロックへの画像の如何なる種類の分割にも適用される。画像ブロックは、より一般的にはマクロブロック、つまり一式のブロックと見なされ、各ブロックは個別の画面内符号化モードの対象になり得る。これらのブロックの組合せは、マクロブロックに対する画面内符号化モードを定義する。
本方法による符号化の品質の損失はまだ測定中である。本方法は決定処理を並行処理にすること、及び必要に応じてマクロブロックとその周囲との間に存在する制約となる因果関係とを、画面内予測の計算のために除去することを可能にする。
本発明の分野は、動き補償及び空間補償の利用に基づく、コード体系の分野である。特に、MPEG−4 AVCの規格と「ハードウェア」アーキテクチャを包含し、標準的なテレビ画像の実時間コーディングの製品開発を可能にする。
提案された方法は、コーディングモードの選択過程に影響するが、コーディング自体には影響しないため、製品群の完全性を包含しない。特に、画面内符号化モードが最終的に画面間/画面内決定処理で選択された場合、マクロブロック又はブロックは、規格に準拠するために、隣接する予め符号化された及び復号化された画素を用いて符号化される。
従来技術の4×4画面内符号化モードを示す。 従来技術の16×16画面内符号化モードを示す。 符号化の回路図を示す。 最初の処理である画面内符号化の回路図を示す。
符号の説明
1 最初の処理である画面内符号化
2 遅延及び画像ブロック変換
3 動き予測
4 マクロブロックの段階における符号化決定
5 減算器
6 整数及び量子化離散コサイン変換又はDCT
7 エントロピー符号化
8 バッファメモリー
9 調整回路
10 動き補償
11 再構成画像記憶装置
12 逆量子化及び逆離散コサイン変換
13 加算器
14 フィルター
15 マクロブロック行記憶装置
16 空間補償
17 スイッチ
20 画像ブロック変換
21 マクロブロックの段階における画面内符号化決定
22 減算器
23 離散コサイン変換及び量子化
24 エントロピー符号化
25 逆量子化及び逆変換
26 加算器
27 マクロブロック行記憶装置
28 空間補償

Claims (8)

  1. 画面間符号化モード又は画面内符号化モードでビデオ画像列を符号化する装置の符号化方法であって、
    前記装置は、異なる画面間符号化モード及び異なる画面内符号化モードを使
    前記装置は、遅延及び分割手段第1の符号化手段及び第2符号化段を有し、
    当該方法は、
    記遅延及び分割手段が、現在の画像を複数の画像マクロブロックに分割するステップと、
    第1の符号化手段が、元の画像データを用いて、マクロブロックのレベルの前記現在の画像画面内符号化を行うステップであって利用可能な画面内符号化モードの中からマクロブロック毎に特定の画面内符号化モードを予め選択するステップと前記第1の符号化手段は、マクロブロックを、前記現在の画像内のブロックの空間補償を用いる特定の画面内符号化モードが各ブロックに割り当てられる複数のブロックに分割し、
    記第2符号化、マクロブロックのレベルの前記現在の画像符号化して、再構成された画像データを取得するステップとを含み前記第2の符号化手段は、コスト及び/又は品質要因の基準に従い、現在のマクロブロックの複数のブロックへの分割に依存して、及び予測ブロック値及び前記予測ブロック値と真のブロック値との間の符号化されるべき対応する残差の計算のために1又は複数の予め符号化された画像間で該ブロックの動き補償を用いて、前記予め選択された画面内符号化モード及び前記利用可能な画面間符号化モードの中から符号化モードを前記現在のマクロブロックのために選択し、
    前記第2の符号化手段は、前記現在のマクロブロックのために画面内符号化モードを予め選択すること前のマクロブロックに対する前記第2の符号化手段の符号化モードの選択中実行る、
    ことを特徴とする符号化方法。
  2. 前記前のマクロブロックは前の画像に属し、
    前記現在のマクロブロックは現在の画像に属し、
    前記現在の画像は、前記第2の符号化手段による前記前の画像のマクロブロック符号化中に格納される、
    ことを特徴とする請求項1記載の符号化方法。
  3. 前記前のマクロブロックは、前記現在の画像の前のマクロブロックの行に属し、
    前記現在のマクロブロックは、現在のマクロブロックの行に属し、
    前記現在のマクロブロックの行は、前記第2の符号化手段による前の行のマクロブロック符号化中に格納される、
    ことを特徴とする請求項1記載の符号化方法。
  4. 前記第1の符号化手段による予め選択することは前記画像のマクロブロックの異なる大きさのブロックへの1つ以上の分割を有し、
    前記空間補償は、前記異なる大きさのブロックに対し、前記予測ブロック値及び前記真のブロック値との間の符号化されるべき残差の計算のために行われ、
    前記マクロブロックの符号化コストは、前記マクロブロックを構成する前記ブロックの符号化コストの和である、
    ことを特徴とする請求項1記載の符号化方法。
  5. 画面内モードは画素の選択に関連し、
    前記予測値は前記画素の値に基づき計算される、
    ことを特徴とする請求項1記載の符号化方法。
  6. 前記ブロックの画面内モードは、少なくともH.264の規格で定義された16×16及び4×4の画面内モードである、
    ことを特徴とする請求項1記載の符号化方法。
  7. 現在のマクロブロックの現在のブロックの画面内符号化モードの前記コスト及び/又は品質要因は、前記画面内符号化モードが前記現在のマクロブロックの前記現在のブロックのために選択されたときに、前記第2の符号化手段による符号化により、前記現在のブロックの符号化を実行することにより得られる、
    ことを特徴とする請求項1記載の符号化方法。
  8. 画面間符号化モード又は画面内符号化モードでビデオ画像列を符号化する装置であって、
    当該装置は、異なる画面間符号化モード及び異なる画面内符号化モードを使
    現在の画像は画像のマクロブロックに分割され、
    当該装置は、
    の画像データを用いて、マクロブロックのレベルの前記現在の画像画面内符号化を実行し利用可能な画面内符号化モードからマクロブロック毎に特定の画面内符号化モードを予め選択する第1の符号化回路と前記第1の符号化回路は、マクロブロックを、前記現在の画像内のブロックの空間補償を用いる特定の画面内符号化モードが各ブロックに割り当てられる複数のブロックに分割
    前記画面内符号化中に前記現在の画像又はその一部を格納する記憶装置と、
    クロブロックのレベルの前記現在の画像符号化を実行し再構成された画像データを取得する第2の符号化回路とを備え前記第2の符号化回路は、コスト及び/又は品質要因の基準に従い、現在のマクロブロックの複数のブロックへの分割に依存して、及び予測ブロック値及び前記予測ブロック値と真のブロック値との間の符号化されるべき対応する残差の計算のために1又は複数の予め符号化された画像間で該ブロックの動き補償を用いて、前記予め選択された画面内符号化モード及び前記利用可能な画面間符号化モードの中から符号化モードを前記現在のマクロブロックのために選択し、
    前記第2の符号化回路は、前記現在のマクロブロックのために画面内符号化モードを予め選択すること前のマクロブロックに対する前記第2の符号化回路の符号化モードの選択中実行る、
    ことを特徴とする装置。
JP2006031128A 2005-02-10 2006-02-08 画面間又は画面内符号化モードの動画像符号化方法及び装置 Active JP5100015B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0550396A FR2881898A1 (fr) 2005-02-10 2005-02-10 Procede et dispositif de codage d'une image video en mode inter ou intra
FR0550396 2005-02-10

Publications (2)

Publication Number Publication Date
JP2006222968A JP2006222968A (ja) 2006-08-24
JP5100015B2 true JP5100015B2 (ja) 2012-12-19

Family

ID=34954044

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006031128A Active JP5100015B2 (ja) 2005-02-10 2006-02-08 画面間又は画面内符号化モードの動画像符号化方法及び装置

Country Status (9)

Country Link
US (1) US8000389B2 (ja)
EP (1) EP1691559B1 (ja)
JP (1) JP5100015B2 (ja)
KR (1) KR101210528B1 (ja)
CN (1) CN100593955C (ja)
DE (1) DE602006021248D1 (ja)
FR (1) FR2881898A1 (ja)
MY (1) MY144150A (ja)
TW (1) TWI366399B (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8824567B2 (en) * 2007-04-04 2014-09-02 Ittiam Systems (P) Ltd. Method and device for tracking error propagation and refreshing a video stream
JP4799477B2 (ja) * 2007-05-08 2011-10-26 キヤノン株式会社 画像符号化装置及び画像符号化方法
KR101396365B1 (ko) 2007-08-28 2014-05-30 삼성전자주식회사 영상의 시공간적 움직임 추정/보상 방법 및 장치
TWI415478B (zh) * 2007-10-15 2013-11-11 Nippon Telegraph & Telephone 影像編碼裝置及解碼裝置、影像編碼方法及解碼方法,其程式與記錄有程式的記錄媒體
FR2925819A1 (fr) * 2007-12-21 2009-06-26 Thomson Licensing Sas Procede de codage double passe par macrobloc
CN101217663B (zh) * 2008-01-09 2010-09-08 上海华平信息技术股份有限公司 用于编码器的图像像素块编码模式的快速选择方法
US8750378B2 (en) * 2008-09-23 2014-06-10 Qualcomm Incorporated Offset calculation in switched interpolation filters
US9479786B2 (en) 2008-09-26 2016-10-25 Dolby Laboratories Licensing Corporation Complexity allocation for video and image coding applications
US8406297B2 (en) 2008-10-17 2013-03-26 Futurewei Technologies, Inc. System and method for bit-allocation in video coding
US9432674B2 (en) * 2009-02-02 2016-08-30 Nvidia Corporation Dual stage intra-prediction video encoding system and method
KR20100095992A (ko) * 2009-02-23 2010-09-01 한국과학기술원 비디오 부호화에서의 분할 블록 부호화 방법, 비디오 복호화에서의 분할 블록 복호화 방법 및 이를 구현하는 기록매체
FR2944936A1 (fr) * 2009-04-23 2010-10-29 Thomson Licensing Procedes de codage et de decodage d'un bloc de donnees images, dispositifs de codage et de decodage implementant lesdits procedes
KR101648123B1 (ko) * 2011-08-31 2016-08-18 한국과학기술원 비디오 부호화에서의 분할 블록 부호화 방법, 비디오 복호화에서의 분할 블록 복호화 방법 및 이를 구현하는 기록매체
GB2495990A (en) 2011-10-28 2013-05-01 Canon Kk Motion compensated image coding with omission of coding mode cost calculation for a motion predictor in a set.
JP2016149738A (ja) * 2015-02-10 2016-08-18 日本放送協会 送信装置、受信装置、及び半導体チップ
KR20170058837A (ko) 2015-11-19 2017-05-29 한국전자통신연구원 화면내 예측모드 부호화/복호화 방법 및 장치
WO2017086746A1 (ko) * 2015-11-19 2017-05-26 한국전자통신연구원 화면내 예측 모드 부호화/복호화 방법 및 장치
CN109640081B (zh) * 2019-02-14 2023-07-14 深圳市网心科技有限公司 一种帧内预测方法、编码器、电子设备及可读存储介质
CN111586416A (zh) * 2020-06-02 2020-08-25 浙江大华技术股份有限公司 视频编码方法、装置、编码器及存储装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2813001B1 (fr) * 2000-08-11 2002-12-20 Thomson Multimedia Sa Procede de conversion de format couleur d'une sequence d'images
KR100358159B1 (ko) 2000-12-01 2002-10-25 에스케이 텔레콤주식회사 영상 압축 시스템에서 매크로블록 압축모드 선택 방법
EP2099228B1 (en) * 2001-09-14 2014-11-12 NTT DoCoMo, Inc. Coding method, decoding method, coding apparatus, decoding apparatus, image processing system, coding program, and decoding program
JP2004140473A (ja) * 2002-10-15 2004-05-13 Sony Corp 画像情報符号化装置、復号化装置並びに画像情報符号化方法、復号化方法
FR2851111B1 (fr) * 2003-02-10 2005-07-22 Nextream France Dispositif de codage d'un flux de donnees video
JP2004304724A (ja) * 2003-04-01 2004-10-28 Sony Corp 画像処理装置とその方法、並びに符号化装置
KR100987765B1 (ko) * 2003-09-30 2010-10-13 삼성전자주식회사 동영상 부호화기에서의 예측 수행 방법 및 장치
TWI245539B (en) * 2004-09-22 2005-12-11 Sony Taiwan Ltd Spatial domain pre-processing to reduce the intra-coding computation complexity

Also Published As

Publication number Publication date
KR20060090749A (ko) 2006-08-16
CN1819658A (zh) 2006-08-16
US8000389B2 (en) 2011-08-16
EP1691559A1 (en) 2006-08-16
MY144150A (en) 2011-08-15
FR2881898A1 (fr) 2006-08-11
CN100593955C (zh) 2010-03-10
TWI366399B (en) 2012-06-11
EP1691559B1 (en) 2011-04-13
DE602006021248D1 (de) 2011-05-26
JP2006222968A (ja) 2006-08-24
US20060176956A1 (en) 2006-08-10
TW200633538A (en) 2006-09-16
KR101210528B1 (ko) 2012-12-10

Similar Documents

Publication Publication Date Title
JP5100015B2 (ja) 画面間又は画面内符号化モードの動画像符号化方法及び装置
JP6316487B2 (ja) エンコーダ、デコーダ、方法、及びプログラム
JP5026092B2 (ja) 動画像復号装置および動画像復号方法
JP5219089B2 (ja) 画像データの生成方法
WO2010001999A1 (ja) 動画像符号化/復号化方法及び装置
JP2009544225A (ja) ビデオ圧縮用並列処理装置
US20090274213A1 (en) Apparatus and method for computationally efficient intra prediction in a video coder
JP2009303265A (ja) 画像符号化装置、画像復号装置、および画像符号化方法、画像復号方法
CN102804779A (zh) 图像处理装置和方法
JP2011024066A (ja) 画像処理装置および方法
US10652570B2 (en) Moving image encoding device, moving image encoding method, and recording medium for recording moving image encoding program
KR20190110159A (ko) 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법 및 기억 매체
US20110135003A1 (en) Uni-modal based fast half-pel and fast quarter-pel refinement for video encoding
JP4901450B2 (ja) 動画像符号化装置
JP2007013298A (ja) 画像符号化装置
KR100677118B1 (ko) 움직임 추정 방법 및 그 장치
KR20170114598A (ko) 적응적 색상 순서에 따른 색상 성분 간 예측을 이용한 동영상 부호화 및 복호화 방법 및 장치
JP2009089267A (ja) イントラ予測符号化装置、イントラ予測符号化方法及びプログラム
JP5219062B2 (ja) 画像データの生成方法
JP6708211B2 (ja) 動画像符号化装置、動画像符号化方法および動画像符号化プログラムを記憶する記録媒体
KR100771640B1 (ko) 고속 모드 결정 기능을 구비한 h.264 인코더
JP5513333B2 (ja) 動画像符号化装置、動画像符号化方法、およびプログラム
US20060227874A1 (en) System, method, and apparatus for DC coefficient transformation
JP2008289105A (ja) 画像処理装置およびそれを搭載した撮像装置
KR101841352B1 (ko) 참조 프레임 선택 방법 및 그 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111018

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120508

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120911

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120925

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151005

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5100015

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250