JP4989416B2 - 動画像圧縮符号化装置 - Google Patents

動画像圧縮符号化装置 Download PDF

Info

Publication number
JP4989416B2
JP4989416B2 JP2007279020A JP2007279020A JP4989416B2 JP 4989416 B2 JP4989416 B2 JP 4989416B2 JP 2007279020 A JP2007279020 A JP 2007279020A JP 2007279020 A JP2007279020 A JP 2007279020A JP 4989416 B2 JP4989416 B2 JP 4989416B2
Authority
JP
Japan
Prior art keywords
encoding
moving image
information
input
encoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007279020A
Other languages
English (en)
Other versions
JP2009111479A (ja
Inventor
悟史 宮地
康弘 滝嶋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2007279020A priority Critical patent/JP4989416B2/ja
Priority to US12/254,243 priority patent/US8660183B2/en
Publication of JP2009111479A publication Critical patent/JP2009111479A/ja
Application granted granted Critical
Publication of JP4989416B2 publication Critical patent/JP4989416B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、動画像圧縮符号化装置に関し、特に、圧縮符号化されたことのない動画像と圧縮符号化された動画像を復号して得られる動画像とを選択的に圧縮符号化する動画像圧縮符号化装置に関する。
動画像を伝送あるいは放送するため、符号化処理された動画像を復号し、これにより得られる動画像を別の方式で再度符号化して送出する動画像圧縮符号化装置が知られている。
特許文献１には、MPEG-2やH.264といった動き補償を用いた符号化方式で符号化された符号化データを復号し、これにより得られる画像データを再度符号化する符号化装置が記載されている
この符号化装置は、符号化の際の動きベクトルの生成に膨大な演算量を必要とするという従来技術の問題を解決するものであり、符号化対象の動画像として与えられる符号化された動画像の中から動きベクトル情報を抜き出し、符号化処理中の箇所の周辺の動きベクトル値と比較し、分散値の大小などに応じて動きベクトルの再利用可否を判断し、再利用可と判断されたものについては動ベクトルを再利用し、再利用不可と判断されたものについては符号化装置内部で動ベクトルを生成する。
このように、符号化された動画像を復号して得られる動画像を別の符号化方式で再度符号化する際、前の動きベクトルを再利用することにより、符号化装置における動きベクトルの生成に要する演算量を削減できる。
特開２００７−１９４８１８号公報
特許文献１の符号化装置では、符号化された動画像を復号して得られる動画像が入力されることを想定しており、その想定の下で、別の符号化方式で符号化する際の動きベクトルの生成に掛かる演算量を削減するということを意図しているだけである。
この符号化装置に、圧縮されたことのない動画像が入力されたとしても、符号化の処理は、符号化された動画像が復号されて入力される場合と同じである。すなわち、動きベクトルの生成・算出処理を除けば、入力される動画像が、圧縮符号化されたことのない動画像であるか、あるいは圧縮符号化された動画像を復号して得られる動画像であるかによらず、同一の符号化処理が行われる。圧縮符号化されたことのない動画像と圧縮符号化された動画像を復号して得られる動画像とでは、符号化雑音の付与などの動画像の性質が変化している。
特許文献１の符号化装置では、この動画像の性質の変化が考慮されずに符号化処理されることになるので、圧縮符号化されたことのない動画像が入力された場合と圧縮符号化された動画像が復号された動画像が入力された場合とのそれぞれにおいて、符号化画像の画質を考慮した最適な符号化処理が行われないという課題がある。
本発明の目的は、上記課題を解決し、圧縮符号化されたことのない動画像が入力された場合と圧縮符号化された動画像を復号して得られる動画像が入力された場合とのそれぞれにおいて、符号化画像の画質を考慮した最適な符号化処理を行うことができる動画像圧縮符号化装置を提供することにある。
上記課題を解決するため、本発明は、圧縮符号化されたことのない動画像と圧縮符号化された動画像を復号して得られる動画像とを選択的に圧縮符号化する動画像圧縮符号化装置において、入力される動画像を符号化するための複数の符号化モードの内、レート歪み最適化制御の式をモード判定評価値の算出式として算出されるモード判定評価値を最小にするモードを判定するモード判定手段と、入力される動画像を前記モード判定手段で判定されたモードで符号化処理する符号化手段と、入力される動画像が圧縮符号化されたことがあるか否かを示す再符号化情報を入力する入力手段と、 前記モード判定手段でのモード判定動作を変更する変更手段とを備え、前記変更手段は、前記入力手段により入力された再符号化情報が、圧縮符号化されたことがあることを示す場合、前記モード判定評価値の算出式における結合係数を予測方向および動きベクトルを含む付加的情報の伝送に必要な情報量を考慮する度合いが小さくなるように変える点に第１の特徴がある。
また、本発明は、前記モード判定手段が、レート歪み最適化制御の式をモード判定評価値の算出式として算出されるモード判定評価値を最小にするモードを判定するのに代えて、動き予測およびイントラ予測のそれぞれのモードで求められた差分についての絶対値和または二乗和とモードごとに統計的に求めた付加的情報の情報量を表す定数とを加算して求められるモード判定評価値を最小にするモードを判定し、前記変更手段が、前記モード判定評価値の算出式における結合係数を付加的情報の伝送に必要な情報量を考慮する度合いが小さくなるように変えるのに代えて、前記定数を、付加的情報の情報量が少なくなるのと等価となるよう、小さい値に変える点に第２の特徴がある。
また、本発明は、前記入力手段により入力される再符号化情報が、圧縮符号化で受ける符号化雑音の影響の程度を示す指標としての数値を有し、前記変更手段は、前記数値で示される符号化雑音の影響の程度が大きくなるに従って前記モード判定評価値の算出式における結合係数を予測方向および動きベクトルを含む付加的情報の伝送に必要な情報量を考慮する度合いが小さくなるように変える点に第３の特徴がある。
また、本発明は、前記入力手段が、入力される動画像が符号化されたときのビットストリームから単位時間あたりのビット数を観測してビットレートを算出する手段を備え、これにより算出されたビットレートを前記再符号化情報として入力し、前記変更手段は、ビットレートが小さくなるに従って前記モード判定評価値の算出式における結合係数を予測方向および動きベクトルを含む付加的情報の伝送に必要な情報量を考慮する度合いが小さくなるように変える点に第４の特徴がある。
また、本発明は、前記入力手段が、入力される動画像が符号化されたときのビットストリームからビットレートを示す情報フィールドを抜き出してビットレートを検出する手段を備え、これにより抜き出されたビットレートを前記再符号化情報として入力し、前記変更手段は、ビットレートが小さくなるに従って前記モード判定評価値の算出式における結合係数を予測方向および動きベクトルを含む付加的情報の伝送に必要な情報量を考慮する度合いが小さくなるように変える点に第５の特徴がある。
さらに、本発明は、前記入力手段が、入力される動画像が符号化されたときのビットストリームからフレームあたりの量子化パラメータを観測して符号化雑音量を推定する手段を備え、これにより推定された符号化雑音量を前記再符号化情報として入力し、前記変更手段は、前記符号化雑音量が多くなるに従って前記モード判定評価値の算出式における結合係数を予測方向および動きベクトルを含む付加的情報の伝送に必要な情報量を考慮する度合いが小さくなるように変える点に第６の特徴がある。
本発明によれば、入力される動画像の性質に応じた符号化制御が可能となり、最適な符号化画質を得ることができる。
以下、図面を参照して本発明を説明する。図１は、本発明に係る動画像圧縮符号化装置の一実施形態を示すブロック図である。以下では、動画像符号化の国際標準方式の１つであるITU-T H.264に従って符号化処理を行う動画像圧縮符号化装置を例にあげて説明する。
本実施形態の動画像圧縮符号化装置は、イントラ(Intra)予測モード検出部1-1,1-2、Intra予測補償部2-1,2-2、動き検出部4-1,4-2,・・・,4-N、動き補償部5-1,5-2,・・・,5-N、減算器3-1,3-2、6-1,6-2,・・・,6-N、選択スイッチ7-1,7-2,7-3、DCT部8、量子化部9、可変長符号化部10，バッファ11、レート制御部12、逆量子化部13、逆DCT部14、加算器15、フレームメモリ16およびモード判定部17を備える。
H.264では、Intra予測は、ブロックの単位を16x16としたモードとブロックの単位を4x4としたモードとがあるので、ここでは、それらのモード対応に2つのイントラ(Intra)予測モード検出部1-1,1-2、Intra予測補償部2-1,2-2および減算器3-1,3-2を設けている。また、動き検出は、ブロックの単位を16x16、8x16、16x8、8x8、さらにそれを細分化したモードがあるので、ここでは、それらのモード対応にN個の動き検出部4-1,4-2,・・・,4-N、動き補償部5-1,5-2,・・・,5-Nおよび減算器6-1,6-2,・・・,6-Nを設けている。
符号化対象の動画像は、イントラ(Intra)予測モード検出部1-1,1-2および動き検出部4-1,4-2,・・・,4-Nに入力される。入力された動画像信号の各フレームにおけるマクロブロック(16x16)に対して、以下の処理が行われる。
Intra予測モード検出部1-1,1-2は、フレームメモリ16からの局部復号画像を用いて各ブロックサイズモード(1個の16x16または16個の4x4)に対してIntra予測モード検出を行い、Intra予測での予測誤差を最小とする予測方向(Direction)を求める。
Intra予測補償部2-1,2-2は、Intra予測モード検出部1-1,1-2で求められたDirectionを用い、フレームメモリ16からの局部復号画像をIntra予測補償して減算器3-1,3-2に与える。
減算器3-1,3-2は、入力される符号化対象の動画像とIntra予測補償部2-1,2-2でIntra予測補償された局部復号画像との差分を求める。
一方、動き検出部4-1,4-2,・・・,4-Nは、フレームメモリ16からの局部復号画像を用いて各ブロック単位で動き検出を行い、動き予測処理での予測誤差を最小とする動きベクトルを求める。
動き補償部5-1,5-2,・・・,5-Nは、動き検出部4-1,4-2,・・・,4-Nで求められた動きベクトルを用い、フレームメモリ16からの局部復号画像を動き補償して減算器6-1,6-2,・・・,6-Nに与える。
減算器6-1,6-2,・・・,6-Nは、入力される符号化対象の動画像と動き補償部5-1,5-2,・・・,5-Nで動き補償された局部復号画像との差分を求める。
選択スイッチ7-1は、減算器3-1,3-2,6-1,6-2,・・・,6-Nで求められた差分のうちの１つを選択してDCT部8に与え、選択スイッチ7-2は、Intra予測モード検出部1-1,1-2で求められたDirectionおよび動き検出部4-1,4-2,・・・,4-Nで求められた動きベクトルおよびのうちの１つを選択して可変長符号化部10に与える。また、選択スイッチ7-3は、Intra予測補償部2-1,2-2および動き補償部5-1,5-2,・・・,5-Nで求められた予測補償された局部復号画像のうちの１つを選択して加算器15に与える。
選択スイッチ7-1,7-2,7-3は、モード判定部17でのモード判定結果に従って連動して各モード対応に切り替えられる。モード判定部17でのモード判定処理については、後で説明する。
DCT部8は、選択スイッチ7-1で選択された差分をDCT係数に変換し、量子化部9は、このDCT係数を量子化し、可変長符号化部10は、量子化部9で量子化されたDCT係数、動きベクトル、Intra予測Directionおよびモード情報を可変長符号化し、ビットストリームとして出力する。バッファ11は、可変長符号化部10で可変長符号化されたビットストリームをバッファリングし、所定の速度で出力する。
レート制御部12は、バッファ11での情報量の占有量の上下動を監視し、その占有量が一定となるように、量子化部9での量子化パラメータ(QP)を決定する。ここで、QPを大きくすれば粗い量子化が行われるので情報量が減少し、QPを小さくすれば細かい量子化が行われるので情報量が増大する。量子化パラメータ(QP)は、また、モード判定部17に与えられる。
また、量子化部9で量子化されたDCT係数は、逆量子化部13で逆量子化され、さらに、逆DCT部14で逆変換されて差分値となる。加算部15は、この逆変換により得られた差分値を、Intra予測補償部2-1,2-2および動き補償部5-1,5-2,・・・,5-Nからの対応する局部復号画像に加算して新たな局部復号画像を生成する。フレームメモリ16の局部復号画像はこの新たな局部復号画像に更新される。
モード判定部17は、動き予測およびIntra予測のそれぞれのモードで求められた差分、対応するDirectionおよび動きベクトル、再符号化情報および量子化パラメータ(QP)に基づいて符号化処理での最適な予測モードを判定し、モード判定結果を選択スイッチ7-1,7-2,7-3および可変長符号化部10に与える。
選択スイッチ7-1,7-2,7-3は、モード判定部17からのモード判定結果に従って連動して切り替えられる。可変長符号化部10は、モード判定部17からのモード判定結果および選択スイッチ7-2からのDirectionあるいは動きベクトルを量子化されたDCT係数とともに可変長符号化する。
次に、モード判定部17でのモード判定処理について説明する。図２は、モード判定部17の構成を詳細に示すブロック図であり、レート推定部21、λ値決定部22、評価値算出部23および最小値判定部24を備える。
レート推定部21は、Intra予測モード検出部1-1,1-2で求められたDirectionおよび動き検出部4-1,4-2,・・・,4-Nで求められた動きベクトルを入力とし、それらの情報(Directionおよび動きベクトル)を伝送するのに必要な情報量を推定し、この値を数値Rとして評価値算出部23へ送出する。λ値決定部22は、再符号化情報に従って変更される数値λを評価値算出部23へ送出する。
評価値算出部23は、動き予測およびIntra予測のそれぞれのモードで求められた差分それぞれについて絶対値和または二乗和を算出し、これを数値Dとして保持する。また、評価値算出部23は、数値Dとレート推定部21から送出される数値Rとλ値決定部22から送出される数値λを用い、式(1)に従って数値Eを算出する。
Ｅ＝Ｄ＋λＲ (1)
式(1)は、レート歪み最適化制御(R-D最適化制御)の式であり、数値Eを最小とするのが最適化状態であることを表している。すなわち、数値Eは、入力される動画像を複数の符号化モードの内のいずれのモードで符号化するか判定するための基準値となるモード判定係数を意味している。つまり、式(1)により算出される数値Eは、差分Dが最小となるというだけでなく、付加的情報(Direction，動きベクトル)の伝送に必要な情報量Rを考慮した値が最小となる最適化状態判定の根拠となる基準値となるものであり、数値λは、その場合の付加的情報の伝送に必要な情報量Rをどの程度見積もるかの、レート歪み最適化制御における結合係数である。
最小値判定部24は、評価値算出部23で算出された、各モードの数値Eのうち最小となる数値Eを判定し、最小の数値Eを与えるモードをモード判定結果として出力する。
λ値決定部22には、符号化対象の動画像が圧縮符号化されたことがない場合、あるいは、符号化対象の動画像が一旦符号化されてもその圧縮率が極端に低かった(圧縮されたことがない場合に等しい)場合、例えば「∞」が再符号化情報として入力される。また、符号化対象の動画像が一旦圧縮符号化されている場合、「0」と「∞」の間の適当な値が再符号化情報として入力される。ここで、値「∞」は、デジタル回路においては使用される数値型における最大値(例えば、符号なし16ビット整数の場合、65535)を意味する。
レート歪み最適化制御においては、一般に、数値λとして0.85x2(QP/3)が用いられている。λ値決定部22は、再符号化情報が「∞」である場合、数値λを0.85x2(QP/3)のままとして変更しない。また、再符号化情報が「0」と「∞」の間の、符号化対象の動画像が圧縮符号化されたことがあることを示す値である場合、数値λを0.85x2(QP/3)より小さい値に変更する。
符号化対象の動画像が圧縮符号化されたことがある場合(圧縮率が極端に低かった場合を除く)、圧縮率が高ければ、符号化対象の動画像における符号化雑音が多く、予測誤差を示す数値Dは大きくなる傾向にある。この場合、数値Eに対する数値Rの影響が比較的小さく、数値Dを最小化する観点でモード判定を行うのが望ましいため、式(1)において数値Rの考慮を小さくするために数値λを小さくした方が最適制御となる。
一方、符号化対象の動画像が圧縮符号化されたことがない、あるいは一旦符号化されてもその圧縮率が極端に低かった場合、符号化対象の動画像における符号化雑音が少なく、予測誤差を示す数値Dは小さくなる傾向にある。この場合、数値Eに対する数値Rの影響が無視できなくなるので、式(1)において数値Rを十分に考慮する必要があり、数値λを、通常の符号化されていない画像を入力画像として取り扱う符号化装置と同等の値とするのが好ましい。
また、符号化対象の動画像が圧縮符号化されたことがある場合、それにおける符号化雑音に相当するビットレートの値は符号化雑音の程度を示し、ビットレートが小さいほど符号化雑音が大きいことを示すので、ビットレートの値が小さくなるに従って数値λを小さい方向に変更することが好ましい。
以上のことから、λ値決定部22は、再符号化情報が、符号化対象の動画像が圧縮符号化されたことがない、あるいは圧縮率が極端に低かったことを示す値「∞」である場合、数値λを変更せず、一方で、再符号化情報が、符号化対象の動画像が圧縮符号化されたことがあることを示す値である場合、その圧縮された度合いに応じて数値λを小さい値に変更する。また、再符号化情報として、符号化対象の動画像が符号化されたときのビットレートの値が入力された場合、λ値決定部22は、その値が小さくなるに従って数値λを小さい方向に変更し、その値がある閾値より大きい場合には数値λを殆ど変更しない。
このように、符号化対象の動画像における符号化雑音量を暗示するビットレート値を再符号化情報とすることにより、モード判定部17でのモード判定の根拠となる基準値が符号化対象の動画像の性質に応じてより細かく最適に設定され、最適化制御が行われることとなる。
なお、このλ値の変更は、符号化動作開始時に一度だけ設定する、あるいは所定の時間間隔ごとに設定する、あるいはフレーム単位で設定する、といったいずれの方法でも行うことができる。
次に、λ値決定部22に入力される再符号化情報について説明する。再符号化情報は、入力される動画像が圧縮符号化されたことがあるか否か、また、圧縮符号化されたことがある場合にはその圧縮度合いを示すものである。λ値決定部22には再符号化情報として固定値を与えることができ、また、符号化されたときのビットストリームから得られるビットレートを与えることもできる。あるいは、入力された画像から推定される符号化雑音量を与えることもできる。
図３は、λ値決定部22に再符号化情報として固定値を与える場合の構成を示すブロック図である。符号化装置31は、本発明に従って構成されたものであり、これには、符号化対象の動画像として、圧縮符号化されたことがない動画像、あるいは符号化部32で一旦符号化され、その後、復号部33で復号された動画像が入力される。
また、符号化装置31(λ値決定部22(図２))には再符号化情報として固定値が与えられる。この固定値は、符号化装置31に圧縮符号化されたことがない動画像が入力される場合、例えば最大値(16ビットの場合、65535)、圧縮符号化されたことがある動画像が入力される場合、例えば最小値(0)、の2値である。符号化装置31(λ値決定部22)は、再符号化情報として固定値「65535」が与えられた場合、数値λを変更しないが、固定値「0」が与えられた場合、数値λを小さい値に変更する。なお、圧縮符号化されたことがある動画像が入力される場合、符号化されたときのビットレートを固定値として与え、この固定値が所定の閾値よりも小さければ数値λを小さい方向に変更し、大きければ数値λを殆ど変更しないようにすることもできる。
図４は、λ値決定部22に再符号化情報としてビットレートを自動的に与える場合の構成を示すブロック図である。なお、図３と同一あるいは同等部分には同じ符号を付してある。符号化装置31、符号化部32および復号部33の動作は、図３と同じであるので、説明を省略する。
ビットレート推定部41は、符号化部32で符号化されたビットストリームの単位時間当たりの情報量からビットレートを推定する。ビットレートの推定には、入力されるビットストリームの情報量を積算し、これにより積算された情報量を積算時間で除算して１秒当たりの情報量に換算するという手法を採用できる。さらに、それを複数回行ってこれらの平均を求めれば、ビットレートの推定の確度や安定性を高めることができる。ビットレート推定部41で推定されたビットレートは、再符号化情報として符号化装置31(λ値決定部22)に与えられる。
符号化装置31(λ値決定部22)には、符号化対象の動画像として圧縮符号化されたことがない動画像が入力された場合、あるいは符号化対象の動画像が一旦符号化されてもその圧縮率が極端に低かった(圧縮されたことがない場合に等しい)場合、再符号化情報として最大値(16ビット符号なしの場合、65535)が与えられる。
符号化装置31(λ値決定部22)は、再符号化情報として最大値が与えられた場合、数値λを変更しないが、再符号化情報として符号化されたときのビットストリームから得られるビットレートの値が与えられた場合、その値が小さければ数値λを小さい方向に変更し、大きければ数値λを殆ど変更しない。
図５は、λ値決定部22に再符号化情報としてビットレートを自動的に与える場合の他の構成を示すブロック図である。なお、図３と同一あるいは同等部分には同じ符号を付してある。符号化装置31、符号化部32および復号部33の動作は、図３と同じであるので、説明を省略する。
ビットレート情報抽出部51は、符号化部32で符号化されたビットストリームからビットレート情報を抽出する。ビットストリームからのビットレート情報の抽出は、ビットストリーム中のビットレートを含むフィールドから抜き出すことができる。ビットレート情報抽出部51で抜き出されたビットレート情報は、再符号化情報として符号化装置31(λ値決定部22)に与えられる。
図６は、ビットレートを含むフィールドの例を示す。本例は、ISO/IEC 13818-2(MPEG-2 Video)の場合のビットストリーム中のシーケンスヘッダ情報を示し、このシーケンスヘッダ情報の先頭から64ビット目から18ビットの中にビットレート情報(bit_rate_value)が含まれている。この例の場合、ビットレート情報抽出部51は、ビットレート情報(bit_rate_value)を抜き出す。なお、MPEG-2 Videoでは、この情報は400bit/sを単位として記述されているので、実際のビットレートは、このフィールドの値を400倍する必要がある。
符号化装置31(λ値決定部22)には、符号化対象の動画像として圧縮符号化されたことがない動画像が入力された場合、あるいは符号化対象の動画像が一旦符号化されてもその圧縮率が極端に低かった(圧縮されたことがない場合に等しい)場合、再符号化情報として最大値(16ビット符号なしの場合、65535)が与えられる。
符号化装置31(λ値決定部22)は、再符号化情報として最大値が与えられた場合、数値λを変更しないが、再符号化情報として符号化されたときのビットストリームから得られるビットレートの値が与えられた場合、その値が小さければ数値λを小さい方向に変更し、大きければ数値λを殆ど変更しない。
図７は、λ値決定部22に再符号化情報としてビットレートを自動的に与える場合の他の構成を示すブロック図である。なお、図３と同一あるいは同等部分には同じ符号を付してある。符号化装置31、符号化部32および復号部33の動作は、図３と同じであるので、説明を省略する。
量子化パラメータ抽出部71は、符号化部32で符号化されたビットストリームから量子化パラメータを抽出する。量子化パラメータは、そのビットストリームがどの程度圧縮されているのかの指標となるものであり、大きい量子化パラメータは粗い量子化が行われ、その画像には符号化雑音を多く含むことを意味し、小さい量子化パラメータは細かい量子化が行われ、その画像に含まれる量子化雑音が少ないことを意味する。この量子化パラメータの抽出は、通常のマクロブロック(16x16)単位で行ってフレームごとに平均値を求める、あるいはフレームで1つの量子化パラメータを抽出してその値を用いる、ことによって行われる。量子化パラメータ抽出部71で抽出された量子化パラメータの値は、再符号化情報として符号化装置31(λ値決定部22)に与えられる。
符号化装置31(λ値決定部22)は、再符号化情報として最大値が与えられた場合、数値λを変更しないが、再符号化情報として符号化されたときのビットストリームから得られる量子化パラメータの値が与えられた場合、その値が大きい場合は符号化雑音が多い画像、すなわち圧縮率が高いが画像として、数値λを小さい方向に変更し、量子化パラメータの値が小さければ数値λを殆ど変更しない。
以上実施形態を説明したが、本発明は、上記実施形態に限られるものではなく、種々に変形可能である。例えば、モードごとの付加的情報(Directionおよび動きベクトル)を伝送するのに必要な情報量は、ブロックサイズなどから統計的に求めることもできるので、上記実施形態(図２)のようにレート推定部、λ値決定部および評価値算出部を用いずにモード判定係数を求めることもできる。この場合、動き予測およびIntra予測のそれぞれのモードで求められた差分それぞれについて絶対値和または二乗和とモードごとに統計的に求めた付加的情報の情報量(定数)とを加算してモード判定係数Eとすればよい。このような実施形態の場合は、λ値の変更は、前記した付加的情報の情報量(定数)の変更を行うことに相当する。
本発明に係る動画像圧縮符号化装置の一実施形態を示すブロック図である。 モード判定部を詳細に示すブロック図である。 再符号化情報として固定値を与える場合の構成を示すブロック図である。 再符号化情報としてビットレートを自動的に与える場合の構成を示すブロック図である。 再符号化情報としてビットレートを自動的に与える場合の他の構成を示すブロック図である。 ビットストリーム中の、ビットレートを含むフィールドの例を示す図である。 再符号化情報として符号化雑音量を自動的に与える場合の構成を示すブロック図である。
符号の説明
1-1,1-2・・・イントラ(Intra)予測モード検出部、2-1,2-2・・・Intra予測補償部、4-1,4-2,・・・,4-N・・・動き検出部、5-1,5-2,・・・,5-N・・・動き補償部、3-1,3-2、6-1,6-2,・・・,6-N・・・減算器、7-1,7-2,7-3・・・選択スイッチ、8・・・DCT部、9・・・量子化部、10・・・可変長符号化部、11・・・バッファ、12・・・レート制御部、13・・・逆量子化部、14・・・逆DCT部、15・・・加算器、16・・・フレームメモリ、17・・・モード判定部、21・・・レート推定部、22・・・λ値決定部、23・・・評価値算出部、24・・・最小値判定部、31・・・符号化装置、32・・・符号化部、33・・・復号部、41・・・ビットレート推定部、51・・・ビットレート情報抽出部、71・・・量子化パラメータ抽出部

Claims (6)

  1. 圧縮符号化されたことのない動画像と圧縮符号化された動画像を復号して得られる動画像とを選択的に圧縮符号化する動画像圧縮符号化装置において、
    入力される動画像を符号化するための複数の符号化モードの内、レート歪み最適化制御の式をモード判定評価値の算出式として算出されるモード判定評価値を最小にするモードを判定するモード判定手段と、
    入力される動画像を前記モード判定手段で判定されたモードで符号化処理する符号化手段と、
    入力される動画像が圧縮符号化されたことがあるか否かを示す再符号化情報を入力する入力手段と、
    前記モード判定手段でのモード判定動作を変更する変更手段とを備え、
    前記変更手段は、前記入力手段により入力された再符号化情報が、圧縮符号化されたことがあることを示す場合、前記モード判定評価値の算出式における結合係数を予測方向および動きベクトルを含む付加的情報の伝送に必要な情報量を考慮する度合いが小さくなるように変えることを特徴とする動画像圧縮符号化装置。
  2. 前記モード判定手段は、レート歪み最適化制御の式をモード判定評価値の算出式として算出されるモード判定評価値を最小にするモードを判定するのに代えて、動き予測およびイントラ予測のそれぞれのモードで求められた差分についての絶対値和または二乗和とモードごとに統計的に求めた付加的情報の情報量を表す定数とを加算して求められるモード判定評価値を最小にするモードを判定し、
    前記変更手段は、前記モード判定評価値の算出式における結合係数を付加的情報の伝送に必要な情報量を考慮する度合いが小さくなるように変えるのに代えて、前記定数を、付加的情報の情報量が少なくなるのと等価となるよう、小さい値に変えることを特徴とする請求項１に記載の動画像圧縮符号化装置。
  3. 前記入力手段により入力される再符号化情報は、圧縮符号化で受ける符号化雑音の影響の程度を示す指標としての数値を有し、前記変更手段は、前記数値で示される符号化雑音の影響の程度が大きくなるに従って前記モード判定評価値の算出式における結合係数を予測方向および動きベクトルを含む付加的情報の伝送に必要な情報量を考慮する度合いが小さくなるように変えることを特徴とする請求項１に記載の動画像圧縮符号化装置。
  4. 前記入力手段は、入力される動画像が符号化されたときのビットストリームから単位時間あたりのビット数を観測してビットレートを算出する手段を備え、これにより算出されたビットレートを前記再符号化情報として入力し、前記変更手段は、ビットレートが小さくなるに従って前記モード判定評価値の算出式における結合係数を予測方向および動きベクトルを含む付加的情報の伝送に必要な情報量を考慮する度合いが小さくなるように変えることを特徴とする請求項３に記載の動画像圧縮符号化装置。
  5. 前記入力手段は、入力される動画像が符号化されたときのビットストリームからビットレートを示す情報フィールドを抜き出してビットレートを検出する手段を備え、これにより抜き出されたビットレートを前記再符号化情報として入力し、前記変更手段は、ビットレートが小さくなるに従って前記モード判定評価値の算出式における結合係数を予測方向および動きベクトルを含む付加的情報の伝送に必要な情報量を考慮する度合いが小さくなるように変えることを特徴とする請求項３に記載の動画像圧縮符号化装置。
  6. 前記入力手段は、入力される動画像が符号化されたときのビットストリームからフレームあたりの量子化パラメータを観測して符号化雑音量を推定する手段を備え、これにより推定された符号化雑音量を前記再符号化情報として入力し、前記変更手段は、前記符号化雑音量が多くなるに従って前記モード判定評価値の算出式における結合係数を予測方向および動きベクトルを含む付加的情報の伝送に必要な情報量を考慮する度合いが小さくなるように変えることを特徴とする請求項３に記載の動画像圧縮符号化装置。
JP2007279020A 2007-10-26 2007-10-26 動画像圧縮符号化装置 Expired - Fee Related JP4989416B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007279020A JP4989416B2 (ja) 2007-10-26 2007-10-26 動画像圧縮符号化装置
US12/254,243 US8660183B2 (en) 2007-10-26 2008-10-20 Moving-picture compression-encoding apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007279020A JP4989416B2 (ja) 2007-10-26 2007-10-26 動画像圧縮符号化装置

Publications (2)

Publication Number Publication Date
JP2009111479A JP2009111479A (ja) 2009-05-21
JP4989416B2 true JP4989416B2 (ja) 2012-08-01

Family

ID=40582801

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007279020A Expired - Fee Related JP4989416B2 (ja) 2007-10-26 2007-10-26 動画像圧縮符号化装置

Country Status (2)

Country Link
US (1) US8660183B2 (ja)
JP (1) JP4989416B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9892782B1 (en) 2011-05-25 2018-02-13 Terra Prime Technologies, Llc Digital to analog converters and memory devices and related methods
US8773887B1 (en) * 2011-05-25 2014-07-08 Peter K. Naji Resistive memory devices and related methods
US9589633B2 (en) 2011-05-25 2017-03-07 Peter K. Nagey Memory devices and related methods
JP6111556B2 (ja) 2012-08-10 2017-04-12 富士通株式会社 動画像再符号化装置、方法及びプログラム
KR20160011951A (ko) * 2014-07-23 2016-02-02 삼성전자주식회사 영상 처리 디바이스 및 방법
CN111432207B (zh) * 2020-03-30 2020-11-24 北京航空航天大学 基于显著目标检测和显著性指导的感知高清视频编码方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2102671A (en) * 1929-05-21 1937-12-21 Bell Telephone Labor Inc Wave translation system
US3342941A (en) * 1962-06-18 1967-09-19 Toyo Tsushinki Kabushiki Kaish Multi-channel carrier transmission system
US4006315A (en) * 1967-04-21 1977-02-01 Carrier Communications, Inc. Inductive-carrier communication systems
DE2714439C3 (de) * 1977-03-31 1980-08-14 Siemens Ag, 1000 Berlin Und 8000 Muenchen System zum Empfang frequenzmodulierter digitaler Nachrichtensignale
US4498060A (en) * 1981-12-01 1985-02-05 Dolby Ray Milton Circuit arrangements for modifying dynamic range using series arranged bi-linear circuits
KR970006558B1 (ko) * 1993-12-30 1997-04-29 한국과학기술연구원 광화상 직접 전송 방법 및 장치
DE69630643T2 (de) * 1995-08-29 2004-10-07 Sharp Kk Videokodierungsvorrichtung
US6430229B1 (en) * 1997-04-22 2002-08-06 Silicon Laboratories Inc. Capacitive isolation system with digital communication and power transfer
US5870046A (en) * 1997-04-22 1999-02-09 Silicon Laboratories Inc. Analog isolation system with digital communication across a capacitive barrier
US6385235B1 (en) * 1997-04-22 2002-05-07 Silicon Laboratories, Inc. Direct digital access arrangement circuitry and method for connecting to phone lines
US6137827A (en) * 1997-04-22 2000-10-24 Silicon Laboratories, Inc. Isolation system with digital communication across a capacitive barrier
US6101278A (en) * 1998-01-30 2000-08-08 Philips Electronics North America Corp. System for extracting coding parameters from video data
JP3724202B2 (ja) * 1998-03-10 2005-12-07 ソニー株式会社 画像データ処理装置および方法、並びに記録媒体
JP4421734B2 (ja) * 1999-04-13 2010-02-24 パナソニック株式会社 符号化データ変換方法，及びデータ記録媒体
JP2001218213A (ja) * 2000-01-31 2001-08-10 Mitsubishi Electric Corp 画像信号変換符号化装置
JP4438749B2 (ja) * 2006-01-18 2010-03-24 ソニー株式会社 符号化装置、符号化方法およびプログラム

Also Published As

Publication number Publication date
US20090110056A1 (en) 2009-04-30
JP2009111479A (ja) 2009-05-21
US8660183B2 (en) 2014-02-25

Similar Documents

Publication Publication Date Title
EP2213006B1 (en) Method and apparatus for performing motion estimation
KR100719647B1 (ko) 영상 데이터 변환 장치 및 영상 데이터 변환 방법
KR100987765B1 (ko) 동영상 부호화기에서의 예측 수행 방법 및 장치
KR101420957B1 (ko) 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법 및 화상 복호 방법
KR101090586B1 (ko) 부호화 장치/복호화 장치, 부호화 방법/복호화 방법 및 기록 매체
EP1833256B1 (en) Selection of encoded data, setting of encoded data, creation of recoded data, and recoding method and device
JP2006140758A (ja) 動画像符号化方法、動画像符号化装置および動画像符号化プログラム
JP2010135864A (ja) 画像符号化方法及び装置並びに画像復号化方法及び装置
KR20080064355A (ko) 영상의 예측 부호화 방법 및 장치, 그 복호화 방법 및 장치
JP4989416B2 (ja) 動画像圧縮符号化装置
JP4494803B2 (ja) 動き補償に基づいた改善されたノイズ予測方法及びその装置とそれを使用した動画符号化方法及びその装置
JP2010028220A (ja) 動きベクトル検出装置、動きベクトル検出方法、画像符号化装置及びプログラム
JP4952360B2 (ja) 動画像復号方法、動画像復号装置、動画像復号プログラム
JP3982615B2 (ja) 符号化動画像データの方式変換装置
JPH10336672A (ja) 符号化方式変換装置およびその動きベクトル検出方法
JP5649296B2 (ja) 画像符号化装置
JP4224778B2 (ja) ストリーム変換装置および方法、符号化装置および方法、記録媒体、並びに、プログラム
JP2008004984A (ja) 画像理装置および方法、プログラム、並びに記録媒体
JP4130617B2 (ja) 動画像符号化方法および動画像符号化装置
JP4520442B2 (ja) 動画像再符号化方法，動画像再符号化装置および動画像再符号化プログラム
US20030081676A1 (en) Methods and systems for video transcoding in DCT domain with low complexity
KR100982514B1 (ko) 영상의 인트라 예측 부호화 방법 및 그 장치
JP5760950B2 (ja) 動画像再符号化装置、動画像再符号化方法及び動画像再符号化用コンピュータプログラム
JP4971817B2 (ja) 画像符号化装置
KR100744435B1 (ko) 고속 동영상 압축을 위한 ｄｃｔ 및 양자화 과정 생략 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100715

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110621

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110803

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111109

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120404

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120427

R150 Certificate of patent or registration of utility model

Ref document number: 4989416

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150511

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees