JP4644939B2 - 動画像符号化装置および動画像符号化方法 - Google Patents
動画像符号化装置および動画像符号化方法 Download PDFInfo
- Publication number
- JP4644939B2 JP4644939B2 JP2001008639A JP2001008639A JP4644939B2 JP 4644939 B2 JP4644939 B2 JP 4644939B2 JP 2001008639 A JP2001008639 A JP 2001008639A JP 2001008639 A JP2001008639 A JP 2001008639A JP 4644939 B2 JP4644939 B2 JP 4644939B2
- Authority
- JP
- Japan
- Prior art keywords
- block
- coding
- frame
- encoding
- deterioration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
Description
【０００１】
【発明の属する技術分野】
この発明は、動画像符号化装置および動画像符号化方法に係わり、特に符号化した画像信号（例えば、圧縮符号化した画像信号）を回線品質の低い伝送路環境で送るとき、誤りによって生ずる画像データの劣化を抑制するように画像信号の符号化を行う動画像符号化装置および動画像符号化方法に関するものである。
【０００２】
【従来の技術】
従来より、この種の動画像符号化装置として、入力画像を１フレーム毎に符号化して伝送する際、フレーム内符号化（ＩＮＴＲＡ）とフレーム間予測符号化（ＩＮＴＥＲ）を符号化単位となるブロック単位で適応的に選択して用いる動画像符号化装置がある。この動画像符号化装置では、符号化効率に基づいてブロック毎にフレーム内符号化とフレーム間予測符号化を選択するが、これとは別に、符号化した動画像を伝送する際に発生する誤りによる画質劣化を抑制することを目的として、ブロックを強制的にフレーム内符号化するリフレッシュ（強制リフレッシュ）が行われる。
【０００３】
フレーム間予測符号化では、伝送中に符号化データに誤りによる画質劣化が生じた場合、劣化したフレームを参照して復号を行う次のフレームでも同様の劣化が生じる。伝送したフレームにおいて参照される領域が誤りによる劣化を生じ易いときほど、次のフレームにおいても大きな劣化の発生する確率が高い。このように複数のフレームにわたって劣化が伝播した結果、主観画質が著しく低下する。これに対し、途中のフレームの画像を強制的にリフレッシュすれば、劣化の伝播を抑え、画質劣化に対する耐性を向上させることができる。画像内の各領域に対して誤りが発生したときの劣化の度合は画素値の分布に依存することから、画質の劣化の著しいブロックに対して優先的に強制リフレッシュを行うことにより、符号化効率を大きく低下させることなく効果的に誤りに対する耐性を向上させることができる。
【０００４】
図５は、特開２０００−１６５８８１号公報に示された従来の動画像符号化装置の構成を示すブロック図である。
この動画像符号化装置において、フレームメモリ１０には、入力画像（現フレーム）１０１および参照画像（参照フレーム）１０２が与えられる。参照画像１０２は、ブロック符号化部１８より、前フレームの復号画像として与えられる。ブロック符号化部１８は、後述するようにフレーム内のブロック毎に符号化を行うが、復号機能も有しており、前フレームの符号化データを復号し、参照画像１０２としてフレームメモリ１０へ送る。
【０００５】
モード選択部２４は、入力画像１０１のブロック毎の複雑さなどから符号化効率を考慮して各ブロックの符号化モードを、フレーム内符号化（ＩＮＴＲＡ）／フレーム間予測符号化（ＩＮＴＥＲ）の何れかに決定する。符号量制御部２５は、モード選択部２４が決定した符号化モードにおいて、発生符号量が一定量以下という条件下で入力画像１０１を符号化した際に生じる符号化歪みが最小になるように、画像データを量子化する幅を示す各ブロックの量子化ステップを決定する。
【０００６】
劣化パワー算出部１２は、ブロックの符号化データに伝送誤りが発生した場合を想定し、欠損したデータを補完した画像と原画像との誤差パワー（劣化パワー）を算出する。カウンタ２６は、伝送する符号化データを監視し、最新の同期符号から注目するブロック（以下、注目ブロックと呼ぶ）までの符号量をカウントする。データ欠損確率推定部２７は、カウンタ２６からのカウント値（最新の同期符号から注目ブロックまでの符号量）を入力とし、このカウント値から伝送中の誤りによってデータ欠損が起こる確率をブロック毎に推定する。
【０００７】
この場合、カウンタ２６では１フレームの遅延がかけられており、カウンタ２６からは１フレーム前の符号化データのカウント結果が出力される。つまり、カウンタ２６は、１フレーム前の最新の同期信号から注目ブロックまでの符号量をデータ欠損確率推定部２７へ与える。データ欠損確率推定部２７は、この１フレーム前の注目ブロックまでの符号量から、現フレームの注目ブロックのデータ欠損確率を推定する。
【０００８】
図６は、伝送中に誤りが発生した位置とデータ欠損確率について説明する図である。符号化データは、図６（ａ）に示すように、複数ブロックの符号化データの合間に同期符号が挿入される形をとっている。この符号化データを受信する復号器（図示せず）は、誤りが発生した地点から次の同期符号までのデータを破棄し（図６（ａ），（ｂ）参照）、改めてデータの復号を行う。そのため、伝送時の誤りはランダムに発生するのに対し、直前の同期符号からの距離が遠い符号化データほど破棄される確率が高くなる。このような復号器での誤り発生時の復号動作を想定し、データ欠損確率推定部２７は、直前の同期符号からの距離が遠くなるほどデータ欠損確率の推定値を高くする。
【０００９】
リフレッシュ優先度算出部２８は、劣化パワー算出部１２からの現フレームの劣化パワーおよびデータ欠損確率推定部２７からの現フレームの各ブロックのデータ欠損確率をそれぞれ閾値判定して強制リフレッシュを行う優先度を算出し、リフレッシュブロック選択部２９へ送る。
【００１０】
リフレッシュブロック選択部２９は、リフレッシュ優先度算出部２８からのリフレッシュ優先度に基づいて、強制リフレッシュ（フレーム内符号化）を行うブロックを決定する。ブロック符号化部１８は、モード選択部２４およびリフレッシュブロック選択部２９が決定した符号化モードと符号量制御部２５が決定した量子化ステップに従って、現フレームの各ブロックの符号化を行い、符号化データを生成する。
【００１１】
この従来の動画像符号化装置では、劣化パワーおよびデータ欠損確率の大きいブロックほど誤りが発生した際の劣化の度合が大きいことから、このようなブロックについて優先的に強制リフレッシュが行われる。
【００１２】
【発明が解決しようとする課題】
しかしながら、従来の動画像符号化装置においては、強制リフレッシュするブロックの選択が符号化効率を考慮したフレーム内符号化／フレーム間予測符号化の切替えとは独立に行われるため、選択基準となる閾値の設定によっては多くのブロックにおいてフレーム内符号化が選択され、符号化効率が低下する虞れがある。
【００１３】
また、従来の動画像符号化装置では、伝送誤りが発生した場合の実際の画質劣化を十分に反映しておらず、強制リフレッシュするブロックの選択を効果的に行えていない。特に、フレーム間予測符号化によって劣化が伝播することによる影響を考慮していない。
【００１４】
本発明はこのような課題を解決するためになされたもので、その目的とするところは、強制リフレッシュを適正かつ効果的に行うことによって、符号化効率を低下させることなく、画質劣化を抑制することの可能な動画像符号化装置および動画像符号化方法を提供することにある。
【００１５】
【課題を解決するための手段】
このような目的を達成するために本発明は、入力画像および１フレーム前の復号結果である参照画像を格納するフレームメモリと、フレーム内符号化／フレーム間予測符号化の種別を示す符号化モードと、画像データを量子化する幅を示す量子化ステップとに従い、フレームメモリを参照してブロック単位に入力画像の符号化を行い、符号列を生成するブロック符号化処理を行うブロック符号化手段と、符号列を監視し、符号列に挿入された最新の同期符号から最新の符号化済ブロックの符号列までの符号量をカウントする符号カウント手段と、フレームメモリに格納された入力画像および参照画像から解析した画素値分布の統計量と、ブロック符号化手段の出力する符号列の符号量とを参照し、１フレーム分の符号列の符号量が一定量以下という条件下で各ブロック毎に選択可能な複数の符号化モードそれぞれに対し、ブロック符号化処理による画質歪みが最小になるように量子化ステップを算出するとともに、次に符号化しようとする注目ブロックに割り当てられた符号量の予測値を出力する符号量制御手段と、注目ブロックに割り当てられた符号量の予測値と、符号カウント手段によって得られる符号量と、予め与えられたビット単位の誤りが発生する確率とから、注目ブロックが伝送時に誤りによってデータ欠損を起こす確率を推定するデータ欠損確率推定手段と、符号量制御手段で導出した入力画像内の画素値分布の統計量を参照し、フレーム内のブロック符号化処理による画質歪みであるフレーム符号化歪みを推定するフレーム符号化歪み推定手段と、フレームメモリに格納された入力画像および参照画像を用い、符号化対象となるブロックにデータ欠損が生じた場合の復号画像と入力画像との誤差パワーである劣化パワーを算出する劣化パワー算出手段と、この劣化パワー算出手段が算出した劣化パワーとデータ欠損確率推定手段が推定したデータ欠損確率とから、各ブロック毎に選択可能な複数の符号化モードそれぞれに対し、伝送誤りによるデータ欠損によって注目ブロックに発生する画質劣化の期待値である劣化推定値を算出する劣化推定値算出手段と、この劣化推定値算出手段が算出した劣化推定値とフレーム符号化歪み推定手段が推定したフレーム符号化歪みとを参照して、注目ブロックに対する最適な符号化モードを決定するモード選択手段とを設けたものである。
【００１６】
劣化パワー算出手段は、注目ブロックの画素値を補完し、補完後の画像と入力画像との誤差パワーを出力する。補完方法としては、入力画像における周囲の画素値もしくは、参照画像において同一位置にあるブロックの画素値もしくは、ブロック符号化手段で注目ブロックの符号化に用いた動き情報に従い動き補償を行った参照画像上の画素値を用いるものがある。
【００１７】
データ欠損確率推定手段は、符号量制御手段によって注目ブロックに割り当てられた符号量の推定値と符号カウント手段によって得られる符号量との和と、予め与えられたビット単位の誤りが発生する確率との積としてデータ欠損確率を算出する。
【００１８】
劣化推定値算出手段は、注目ブロックがフレーム内符号化されている場合の劣化推定値を劣化パワーとデータ欠損確率との積として求め、注目ブロックがフレーム間予測符号化されている場合の劣化推定値を劣化パワーとデータ欠損確率との積に、フレーム間予測符号化における動き補償処理によって参照される参照フレーム内領域の劣化推定値を劣化伝播項として加えた値として求める。この劣化伝播項は、動き補償処理によって参照される参照フレーム内領域を中に含む複数ブロックの劣化推定値の重みづけ平均によって推定することが可能である。また、劣化推定値算出手段は、注目ブロックがフレーム間予測符号化されている場合の劣化推定値を、劣化パワーとデータ欠損確率の積に、予め定めた比例乗数に劣化伝播項を乗じた値を加えた値を劣化推定値として算出することも可能である。
【００１９】
モード選択手段は、注目ブロックについて、候補となる符号化モードにおける劣化推定値を劣化推定値算出手段から取得し、フレーム符号化歪みをフレーム符号化歪み推定手段から取得し、取得した劣化推定値とフレーム符号化歪みとの和が最も小さくなる符号化モードを最適なものとして選択する。
【００２０】
さらに、フレームメモリに格納された入力画像および参照画像と、符号量制御手段が出力する量子化ステップとを参照して、注目ブロックを符号化した際に発生する画質歪みであるブロック符号化歪みを推定するブロック符号化歪み推定手段を設けてもよい。
【００２１】
この場合、上述したモード選択手段に代えて、劣化推定値算出手段が算出した劣化推定値と、フレーム符号化歪み推定手段が推定したフレーム符号化歪みと、ブロック符号化歪み推定手段が推定したブロック符号化歪みとを参照して、フレーム内符号化とフレーム間予測符号化と参照画像における同一位置にあるブロックをそのままコピーするスキップとから、注目ブロックに対する最適な符号化モードを決定するモード選択手段を設ける。
【００２２】
また、上述した劣化推定値算出手段に代えて、劣化パワー算出手段が算出した劣化パワーとデータ欠損確率推定手段が推定したデータ欠損確率とから、各ブロック毎に選択可能な複数の符号化モードをフレーム内符号化，フレーム間予測符号化，スキップとし、これら符号化モードのそれぞれに対し、伝送誤りによるデータ欠損によって注目ブロックに発生する画質劣化の期待値である劣化推定値を算出する劣化推定値算出手段を設ける。
【００２３】
ブロック符号化歪み推定手段は、注目ブロックの符号化モードがフレーム内符号化およびフレーム間予測符号化の場合には、当該注目ブロックのブロック符号化歪みを量子化歪みとして符号量制御手段の出力する量子化ステップを用いて推定し、注目するブロックの符号化モードがスキップの場合には、当該注目ブロックと参照画像において同一位置にあるブロックとの誤差パワーをブロック符号化歪みとして出力する。
【００２４】
データ欠損確率推定手段は、注目ブロックに割り当てられた符号量の予測値と、符号カウント手段によって得られる符号量と、予め与えられたビット単位の誤りが発生する確率とから、符号化モードがフレーム内符号化およびフレーム間予測符号化である場合の注目ブロックが伝送時に誤りによってデータ欠損を起こす確率を推定し、符号化モードがスキップであることを示す符号の符号量と、符号カウント手段によって得られる符号量と、予め与えられたビット単位の誤りが発生する確率とから、符号化モードがスキップである場合の注目ブロックが伝送時に誤りによってデータ欠損を起こす確率を推定する。
【００２５】
劣化推定値算出手段は、各ブロック毎に選択可能な複数の符号化モードをフレーム内符号化，フレーム間予測符号化，スキップとして、データ欠損確率推定手段からのフレーム内符号化およびフレーム間予測符号化である場合のデータ欠損確率と劣化パワー算出手段が算出した劣化パワーとから、フレーム内符号化，フレーム間予測符号化のそれぞれに対し、伝送誤りによるデータ欠損によって注目ブロックに発生する画質劣化の期待値である劣化推定値を算出し、データ欠損確率推定手段からのスキップの場合のデータ欠損確率と劣化パワー算出手段が算出した劣化パワーとから、符号化モードがフレーム間予測符号化の場合と同様の方法でスキップの場合の劣化推定値を算出する。
【００２６】
モード選択手段は、注目ブロックについて、フレーム内符号化およびフレーム間予測符号化における劣化推定値を劣化推定値算出手段から取得し、フレーム符号化歪みをフレーム符号化歪み推定手段から取得し、フレーム内符号化およびフレーム間予測符号化のうち取得した劣化推定値とフレーム符号化歪みとの和が小さい方を注目ブロックに対する最適な符号化モードの候補として選択した後、劣化推定値算出手段が算出した劣化推定値とブロック符号化歪み推定手段が推定したブロック符号化歪みの推定値との和を、選択した符号化モードの候補とスキップとで比較し、小さい方を注目ブロックに対する最適な符号化モードとして選択する。
【００２７】
【発明の実施の形態】
以下、本発明を図面に基づいて詳細に説明する。
〔実施の形態１〕
図１はこの発明の第１の実施の形態（実施の形態１）を示す動画像符号化装置の構成を示すブロック図である。
【００２８】
この実施の形態１において、符号量制御部１１は、フレームメモリ１０に格納された入力画像および参照画像から解析した画素値分布の統計量と、現フレームの現在ブロックまでに要した実際の符号量（注目ブロックの直前までの符号量）とを参照し、１フレーム分の符号量が一定量以下という条件下で符号化処理による歪みが最小になるように、量子化ステップを決定する。この量子化ステップの決定は、注目ブロックに対して選択可能な符号化モード、すなわちフレーム内符号化とフレーム間予測符号化のそれぞれについて行う。
【００２９】
〔符号量制御方式の一例〕
以下では符号量制御方式の一例として、文献１〔Video Codec Test Model, Near-Term, Version 10 (TMN10) Draft1の第８章：ITU-T SG16発行〕に記載された方式を用いて説明する。なお、他の符号量制御方式においても、量子化ステップの決定、後述するフレーム符号化歪みの推定を行うことができ、本発明に適用することが可能である。
【００３０】
ブロックを符号化した際に発生する符号量ｒは、量子化ステップをＱ、ブロック内の画素値の分散をσ2 、ブロック内の画素数をＡとすると、比例定数Ｋ，Ｃを用いて
ｒ＝Ａ・（Ｋ・σ2 ／Ｑ2 ＋Ｃ） ・・・・（１）
と近似することができる。
【００３１】
但し、上記（１）式において、σ2 は、ブロックがフレーム間予測符号化されているときには予測誤差信号の分散として与えられ、ブロックがフレーム内符号化されているときには原画像信号の分散の１／３として与えられる。
【００３２】
フレーム内において符号化対象となる複数ブロックにおけるσの総和をＳ、フレームに割り当てられる目標とする符号量（目標符号量）をＲ、符号化対象となるブロックの数をＮとすると、量子化歪みの総和を最小にするような量子化ステップＱopt は、Ｌ＝Ｒ−Ａ・Ｎ・Ｃとして、
Ｑopt ＝（Ａ・Ｋ・σ・Ｓ／Ｌ）1/2 ・・・・（２）
と表される。
【００３３】
符号量制御部１１は、各ブロックの量子化ステップがＱopt に近づくように量子化ステップを変更する。例えば、動画像符号化の国際標準方式の一つである「Ｈ．２６３」や「ＭＰＥＧ−４」では、量子化ステップは直前のブロックの量子化ステップから±４の範囲で２ずつの刻みでしか変更できない。ブロック符号化部１８は、このようにして定められた量子化ステップに従って現在のブロックを符号化した時点で、実際に要した符号量をカウントし、その値を符号量制御部１１に返す。
【００３４】
符号量制御部１１は、現フレームの現在ブロックまでに要した実際の符号量とまだ符号化されていない残りのブロックに要する符号量との和が目標符号量Ｒに達するように、残りのブロックへの符号量の再配分を行う。このモデルにおいて、符号化対象となる複数ブロックの符号化歪みの総和（フレーム符号化歪み）Ｄｆは、
Ｄｆ＝Ａ2 ・Ｋ・Ｓ2 ／１２Ｌ ・・・・（３）
と推定される。
【００３５】
フレーム符号化歪み推定部１４は、符号量制御部１１が算出したＳ（符号化対象となる複数ブロックにおけるσの総和）に従ってフレーム符号化歪みＤｆを算出し、モード選択部１７に出力する。また、符号量制御部１１は、上記（１）式に従って次のブロック（注目ブロック）における符号量の予測値を算出し、データ欠損確率推定部１３に送る。
【００３６】
劣化パワー算出部１２は、ブロックの符号化データに伝送誤りが発生した場合を想定し、欠損したデータを補完した画像（補完画像）と原画像との誤差パワー（劣化パワー）Ｄｅを算出する。
【００３７】
図２（ａ）は欠損データの補完の一例を示す図である。この例では、現フレームのブロックの符号化データに伝送誤りが発生したと仮定し、参照画像において同一位置にあるブロックの画素値をそのままコピーすることで欠損した画素値を補完する。この時の画質劣化の度合は、参照画像において同一位置にある画素値と現在のフレームにおける画素値との差分によって表される。
【００３８】
劣化パワー算出部１２は、この復号器での欠損データの補完を想定し、フレームメモリ１０中の参照画像から復号器側と同様にして補完画像を作り、この補完画像と原画像との誤差パワー（劣化パワー）Ｄｅを算出する。
【００３９】
データ欠損確率推定部１３は、符号量制御部１１からの注目ブロックの符号量の予測値（ＬＡ）およびカウンタ１９によって得られる最新の同期符号から注目ブロックの直前まで（最新の符号化済みブロックの符号列まで）の符号量（ＬＢ）から、注目ブロックにおいて誤りによるデータ欠損の発生する確率ｐを推定する。その算出式は例えば、符号量ＬＡとＬＢとの和をＬ０、ビット単位に誤りの発生する確率をλとし、誤りの発生がランダムに起こるとすると、
ｐ＝１−（１−λ）L0 ・・・・（４）
と与えられる。また、この式はλを微小な値とすると、λ・Ｌ０と近似される。
【００４０】
劣化推定値算出部１５は、劣化パワー算出部１２が算出した現フレームの劣化パワーＤｅおよびデータ欠損確率推定部１３が算出した現フレームの注目ブロックのデータ欠損確率ｐおよびメモリ１６に格納されている前フレームにおける参照ブロックの劣化推定値を参照し、注目ブロックに対して選択可能な符号化モード（フレーム内符号化／フレーム間予測符号化）について、注目ブロックにおいて誤りが発生した際の劣化度合（注目ブロックの劣化推定値）Ｄｄを推定する。
【００４１】
注目ブロックの劣化推定値Ｄｄは、注目ブロックの符号化モードがフレーム内符号化かフレーム間予測符号化かによって異なる値をとる。フレーム内符号化の場合、注目ブロックの劣化推定値Ｄｄは、注目ブロックが誤りによってデータが欠損した際の画質劣化の期待値となり、データ欠損確率ｐと劣化パワーＤｅの積で表す（Ｄｄ＝ｐ・Ｄｅ）。一方、フレーム間予測符号化の場合、注目ブロックの劣化推定値Ｄｄは、データ欠損確率ｐと劣化パワーＤｅの積に、参照フレームにおける画質劣化のフレーム間予測による伝播項Ｄｐを加える（Ｄｄ＝ｐ・Ｄｅ＋Ｄｐ）。画質劣化の伝播について図３を用いて説明する。
【００４２】
図３において、現フレームの注目ブロックＢ１０に対し、参照フレームにおける動き補償フレーム間予測による参照先のブロック（参照先ブロック）をＢ１０’とする。また、参照先ブロックＢ１０’とその一部が重なる参照フレーム内のブロックをそれぞれ参照ブロックＢ００，Ｂ０１，Ｂ０２，Ｂ０３とし、これらの参照ブロックと参照先ブロックＢ１０’とが重なる部分領域をそれぞれｂ００，ｂ０１，ｂ０２，ｂ０３とする。また、注目ブロックＢ１０に対する動きベクトルをＶとする。
【００４３】
フレーム間予測符号化によって、注目ブロックＢ１０は参照先ブロックＢ１０’内の画質劣化をそのまま受け継ぐことになる。その値は参照先ブロックＢ１０’の部分領域ｂ００，ｂ０１，ｂ０２，ｂ０３における画質劣化の和となる。これらの画質劣化度を、参照ブロックＢ００，Ｂ０１，Ｂ０２，Ｂ０３における画質劣化度に対し、面積比を乗ずることで近似する。
【００４４】
この面積比は動きベクトルＶによって定めることができる。ブロックの一辺をｍ、Ｖを水平軸方向に射影した長さをＶｘ、垂直軸方向に射影した長さをＶｙとすると、Ｂ００に対するｂ００の面積比は、（ｍ−Ｖｘ）・（ｍ−Ｖｙ）／（ｍ・ｍ）と表すことができる。ｂ０１，ｂ０２，ｂ０３についても同様である。
【００４５】
以上より、注目ブロックＢ１０の参照フレームからの劣化の伝播項Ｄｐは、メモリ１６に格納されている参照ブロックＢ００，Ｂ０１，Ｂ０２，Ｂ０３の劣化推定値を参照し、それらを動きベクトルＶに従って重みづけ加算した値として表される。
【００４６】
モード選択部１７は、注目ブロックの符号化モードがフレーム内符号化の場合の劣化推定値Ｄｄとフレーム符号化歪みＤｆとの和と、注目ブロックの符号化モードがフレーム間予測符号化の場合の劣化推定値Ｄｄとフレーム符号化歪みＤｆとの和とを比較し、それが最小となる方の符号化モードを選択する。ブロック符号化部１８は、モード選択部１７が決定した符号化モードおよび、符号量制御部１１が算出した量子化ステップに基づいて注目ブロックの符号化を行い、符号化データを生成する。
【００４７】
なお、上述においては、フレーム間予測符号化の場合の劣化推定値Ｄｄとして、現フレームにおける劣化期待値（ｐ・Ｄｅ）と前のフレームからの劣化伝播項（Ｄｐ）とを単純に加算したが、現フレームにおける劣化期待値や前のフレームからの劣化伝播項に重み付けを行い、設計時における画質の調整に応じてその重み付けの値を変えるようにしてもよい。
【００４８】
例えば、前のフレームからの劣化伝播項に対して１を越えた値を乗ずることで、前フレームからの劣化の伝播が大きいブロックに対して優先的にフレーム内符号化を行うことにより、劣化したブロックが複数フレームにわたって停留するのを抑圧できる。また、モード選択部１７において、フレーム符号化歪みＤｆを考慮せずに、注目ブロックの劣化推定値Ｄｄを最小にするようなモード選択を行うようにしてもよい。この場合、符号化効率は低下するものの、最適な誤り耐性を有する符号化は実現することができる。
【００４９】
〔実施の形態２〕
図４はこの発明の第２の実施形態（実施の形態２）の構成を示すブロック図である。この実施の形態２では、図１に示した実施の形態１の構成に加えて、ブロック符号化歪み推定部２１を設けている。
【００５０】
また、モード選択部２０は、劣化推定値算出部２３が算出する注目ブロックの劣化推定値とフレーム符号化歪み推定部１４が算出するフレーム符号化歪みＤｆに加えてブロック符号化歪み推定部２１が算出するブロック符号化歪みＤｂを参照して、符号化モードをフレーム内符号化（ＩＮＴＲＡ）とフレーム間予測符号化（ＩＮＴＥＲ）とスキップ（ＳＫＩＰ）の３つから選択する。
【００５１】
また、ブロック符号化部１８は、モード選択部２０からの符号化モードがスキップであった場合、その注目ブロックについて、動き情報や係数情報は符号化せず、符号化モードがスキップであることを示す符号のみを送る。この場合、注目ブロックについては、前フレームの復号結果をそのままコピーすることで復号結果とする。
【００５２】
ブロック符号化歪み推定部２１は、フレーム内符号化／フレーム間予測符号化／スキップそれぞれの場合について、注目ブロックの符号化歪みＤｂを推定する。
【００５３】
符号化モードがフレーム内符号化／フレーム間予測符号化の場合には符号化歪みは量子化による誤差パワーと一致する。この場合、ブロック符号化歪み推定部２１は、フレーム内符号化／フレーム間予測符号化のそれぞれの場合の量子化ステップを参照して、注目ブロックの符号化歪みＤｂを推定する。例えば、量子化が線形量子化の場合、量子化ステップの２乗を１２で割った値にブロック内画素数を掛けた値を符号化歪みＤｂとして推定する。
【００５４】
一方、符号化モードがスキップである場合、復号画像は前フレームにおける注目ブロックと同一のものとなることから、符号化歪みは、前フレームと現在のフレームとの間の誤差パワーとして表される。この場合、ブロック符号化歪み推定部２１は、前フレームと現在のフレームとの間の誤差パワーを求め、この誤差パワーを注目ブロックの符号化歪みＤｂとして推定する。
【００５５】
データ欠損確率推定部２２および劣化推定値算出部２３もまた、注目ブロックの符号化モードがスキップの場合に対応した出力をそれぞれ行う。符号化モードがスキップの場合、データ欠損確率推定部２２は符号化モードがスキップであることを示す符号の要する符号量とカウンタ１９によって得られる最新の同期符号から注目ブロックの直前までの符号量から、注目ブロックのデータ欠損確率ｐを推定する。劣化推定算出部２３は、得られたデータ欠損確率ｐに従って、符号化モードがフレーム間予測符号化の場合と同様にしてスキップの場合の劣化推定値Ｄｄを算出する。
【００５６】
モード選択部２０は、実施の形態１におけるモード選択部１７が実施する処理と同様にして、フレーム内符号化／フレーム間予測符号化の何れかを最適な符号化モードの候補として選択した後、劣化推定値算出部２３が算出した劣化推定値Ｄｄとブロック符号化歪み推定部２１が推定したブロック符号化歪みＤｂとの和を、選択した符号化モードの候補とスキップとで比較し、小さい方を注目ブロックに対する最適な符号化モードとして選択する。
【００５７】
【発明の効果】
以上説明したことから明らかなように本発明によれば、誤りによって発生する劣化と符号化歪みとの和が小さくなるようにモード選択を行うことにより、強制リフレッシュを適正かつ効果的に行うことができるようになり、符号化効率を低下させることなく、画質劣化を抑制することが可能となる。
また、本発明によれば、伝送誤りに対して発生する画質劣化の度合をブロック毎に推定し、画質劣化の予想されるブロックに対して優先的にフレーム内符号化を行う。従来の手法ではリフレッシュの頻度を経験的に調整していたのに対して、本発明により常に好適なリフレッシュを実現することができる。
さらに本発明では、符号化制御方式によって得られる符号量と符号化歪みの推定値を用いてモード選択を行うことで、ブロック単位の符号化処理と同時に各ブロックの好適なモード選択が可能となり、必要とする演算量もごく微小な量に抑えることができる。
加えて本発明では、誤り耐性を考慮した符号化モードの選択に、フレーム内符号化、フレーム間予測符号化に加えて、スキップを候補としている。符号化モードとしてスキップを選択した場合の発生符号量は１ビットと微小であり、誤りによるデータ欠落の可能性は他の符号化モードに比べて極めて低いため、誤りへの耐性はさらに向上する。
【図面の簡単な説明】
【図１】 本発明の第１の実施の形態（実施の形態１）を示す動画像符号化装置の構成を示すブロック図である。
【図２】 誤りが発生した際の補完処理と画質劣化について説明する図である。
【図３】 前フレームにおける画質劣化の現フレームへの伝播について説明する図である。
【図４】 本発明の第２の実施の形態（実施の形態２）を示す動画像符号化装置の構成を示すブロック図である。
【図５】 従来の動画像符号化装置の構成を示すブロック図である。
【図６】 誤りが発生した際のデータ欠損確率について説明する図である。
【符号の説明】
１０…フレームメモリ、１１…符号量制御部、１２…劣化パワー算出部、１３，２２…データ欠損確率推定部、１４…フレーム符号化歪み推定部、１５，２３…劣化推定値算出部、１６…メモリ、１７，２０…モード選択部、１８…ブロック符号化部、１９…カウンタ、２１…ブロック符号化歪み推定部、１０１…入力画像、１０２…参照画像。
【発明の属する技術分野】
この発明は、動画像符号化装置および動画像符号化方法に係わり、特に符号化した画像信号（例えば、圧縮符号化した画像信号）を回線品質の低い伝送路環境で送るとき、誤りによって生ずる画像データの劣化を抑制するように画像信号の符号化を行う動画像符号化装置および動画像符号化方法に関するものである。
【０００２】
【従来の技術】
従来より、この種の動画像符号化装置として、入力画像を１フレーム毎に符号化して伝送する際、フレーム内符号化（ＩＮＴＲＡ）とフレーム間予測符号化（ＩＮＴＥＲ）を符号化単位となるブロック単位で適応的に選択して用いる動画像符号化装置がある。この動画像符号化装置では、符号化効率に基づいてブロック毎にフレーム内符号化とフレーム間予測符号化を選択するが、これとは別に、符号化した動画像を伝送する際に発生する誤りによる画質劣化を抑制することを目的として、ブロックを強制的にフレーム内符号化するリフレッシュ（強制リフレッシュ）が行われる。
【０００３】
フレーム間予測符号化では、伝送中に符号化データに誤りによる画質劣化が生じた場合、劣化したフレームを参照して復号を行う次のフレームでも同様の劣化が生じる。伝送したフレームにおいて参照される領域が誤りによる劣化を生じ易いときほど、次のフレームにおいても大きな劣化の発生する確率が高い。このように複数のフレームにわたって劣化が伝播した結果、主観画質が著しく低下する。これに対し、途中のフレームの画像を強制的にリフレッシュすれば、劣化の伝播を抑え、画質劣化に対する耐性を向上させることができる。画像内の各領域に対して誤りが発生したときの劣化の度合は画素値の分布に依存することから、画質の劣化の著しいブロックに対して優先的に強制リフレッシュを行うことにより、符号化効率を大きく低下させることなく効果的に誤りに対する耐性を向上させることができる。
【０００４】
図５は、特開２０００−１６５８８１号公報に示された従来の動画像符号化装置の構成を示すブロック図である。
この動画像符号化装置において、フレームメモリ１０には、入力画像（現フレーム）１０１および参照画像（参照フレーム）１０２が与えられる。参照画像１０２は、ブロック符号化部１８より、前フレームの復号画像として与えられる。ブロック符号化部１８は、後述するようにフレーム内のブロック毎に符号化を行うが、復号機能も有しており、前フレームの符号化データを復号し、参照画像１０２としてフレームメモリ１０へ送る。
【０００５】
モード選択部２４は、入力画像１０１のブロック毎の複雑さなどから符号化効率を考慮して各ブロックの符号化モードを、フレーム内符号化（ＩＮＴＲＡ）／フレーム間予測符号化（ＩＮＴＥＲ）の何れかに決定する。符号量制御部２５は、モード選択部２４が決定した符号化モードにおいて、発生符号量が一定量以下という条件下で入力画像１０１を符号化した際に生じる符号化歪みが最小になるように、画像データを量子化する幅を示す各ブロックの量子化ステップを決定する。
【０００６】
劣化パワー算出部１２は、ブロックの符号化データに伝送誤りが発生した場合を想定し、欠損したデータを補完した画像と原画像との誤差パワー（劣化パワー）を算出する。カウンタ２６は、伝送する符号化データを監視し、最新の同期符号から注目するブロック（以下、注目ブロックと呼ぶ）までの符号量をカウントする。データ欠損確率推定部２７は、カウンタ２６からのカウント値（最新の同期符号から注目ブロックまでの符号量）を入力とし、このカウント値から伝送中の誤りによってデータ欠損が起こる確率をブロック毎に推定する。
【０００７】
この場合、カウンタ２６では１フレームの遅延がかけられており、カウンタ２６からは１フレーム前の符号化データのカウント結果が出力される。つまり、カウンタ２６は、１フレーム前の最新の同期信号から注目ブロックまでの符号量をデータ欠損確率推定部２７へ与える。データ欠損確率推定部２７は、この１フレーム前の注目ブロックまでの符号量から、現フレームの注目ブロックのデータ欠損確率を推定する。
【０００８】
図６は、伝送中に誤りが発生した位置とデータ欠損確率について説明する図である。符号化データは、図６（ａ）に示すように、複数ブロックの符号化データの合間に同期符号が挿入される形をとっている。この符号化データを受信する復号器（図示せず）は、誤りが発生した地点から次の同期符号までのデータを破棄し（図６（ａ），（ｂ）参照）、改めてデータの復号を行う。そのため、伝送時の誤りはランダムに発生するのに対し、直前の同期符号からの距離が遠い符号化データほど破棄される確率が高くなる。このような復号器での誤り発生時の復号動作を想定し、データ欠損確率推定部２７は、直前の同期符号からの距離が遠くなるほどデータ欠損確率の推定値を高くする。
【０００９】
リフレッシュ優先度算出部２８は、劣化パワー算出部１２からの現フレームの劣化パワーおよびデータ欠損確率推定部２７からの現フレームの各ブロックのデータ欠損確率をそれぞれ閾値判定して強制リフレッシュを行う優先度を算出し、リフレッシュブロック選択部２９へ送る。
【００１０】
リフレッシュブロック選択部２９は、リフレッシュ優先度算出部２８からのリフレッシュ優先度に基づいて、強制リフレッシュ（フレーム内符号化）を行うブロックを決定する。ブロック符号化部１８は、モード選択部２４およびリフレッシュブロック選択部２９が決定した符号化モードと符号量制御部２５が決定した量子化ステップに従って、現フレームの各ブロックの符号化を行い、符号化データを生成する。
【００１１】
この従来の動画像符号化装置では、劣化パワーおよびデータ欠損確率の大きいブロックほど誤りが発生した際の劣化の度合が大きいことから、このようなブロックについて優先的に強制リフレッシュが行われる。
【００１２】
【発明が解決しようとする課題】
しかしながら、従来の動画像符号化装置においては、強制リフレッシュするブロックの選択が符号化効率を考慮したフレーム内符号化／フレーム間予測符号化の切替えとは独立に行われるため、選択基準となる閾値の設定によっては多くのブロックにおいてフレーム内符号化が選択され、符号化効率が低下する虞れがある。
【００１３】
また、従来の動画像符号化装置では、伝送誤りが発生した場合の実際の画質劣化を十分に反映しておらず、強制リフレッシュするブロックの選択を効果的に行えていない。特に、フレーム間予測符号化によって劣化が伝播することによる影響を考慮していない。
【００１４】
本発明はこのような課題を解決するためになされたもので、その目的とするところは、強制リフレッシュを適正かつ効果的に行うことによって、符号化効率を低下させることなく、画質劣化を抑制することの可能な動画像符号化装置および動画像符号化方法を提供することにある。
【００１５】
【課題を解決するための手段】
このような目的を達成するために本発明は、入力画像および１フレーム前の復号結果である参照画像を格納するフレームメモリと、フレーム内符号化／フレーム間予測符号化の種別を示す符号化モードと、画像データを量子化する幅を示す量子化ステップとに従い、フレームメモリを参照してブロック単位に入力画像の符号化を行い、符号列を生成するブロック符号化処理を行うブロック符号化手段と、符号列を監視し、符号列に挿入された最新の同期符号から最新の符号化済ブロックの符号列までの符号量をカウントする符号カウント手段と、フレームメモリに格納された入力画像および参照画像から解析した画素値分布の統計量と、ブロック符号化手段の出力する符号列の符号量とを参照し、１フレーム分の符号列の符号量が一定量以下という条件下で各ブロック毎に選択可能な複数の符号化モードそれぞれに対し、ブロック符号化処理による画質歪みが最小になるように量子化ステップを算出するとともに、次に符号化しようとする注目ブロックに割り当てられた符号量の予測値を出力する符号量制御手段と、注目ブロックに割り当てられた符号量の予測値と、符号カウント手段によって得られる符号量と、予め与えられたビット単位の誤りが発生する確率とから、注目ブロックが伝送時に誤りによってデータ欠損を起こす確率を推定するデータ欠損確率推定手段と、符号量制御手段で導出した入力画像内の画素値分布の統計量を参照し、フレーム内のブロック符号化処理による画質歪みであるフレーム符号化歪みを推定するフレーム符号化歪み推定手段と、フレームメモリに格納された入力画像および参照画像を用い、符号化対象となるブロックにデータ欠損が生じた場合の復号画像と入力画像との誤差パワーである劣化パワーを算出する劣化パワー算出手段と、この劣化パワー算出手段が算出した劣化パワーとデータ欠損確率推定手段が推定したデータ欠損確率とから、各ブロック毎に選択可能な複数の符号化モードそれぞれに対し、伝送誤りによるデータ欠損によって注目ブロックに発生する画質劣化の期待値である劣化推定値を算出する劣化推定値算出手段と、この劣化推定値算出手段が算出した劣化推定値とフレーム符号化歪み推定手段が推定したフレーム符号化歪みとを参照して、注目ブロックに対する最適な符号化モードを決定するモード選択手段とを設けたものである。
【００１６】
劣化パワー算出手段は、注目ブロックの画素値を補完し、補完後の画像と入力画像との誤差パワーを出力する。補完方法としては、入力画像における周囲の画素値もしくは、参照画像において同一位置にあるブロックの画素値もしくは、ブロック符号化手段で注目ブロックの符号化に用いた動き情報に従い動き補償を行った参照画像上の画素値を用いるものがある。
【００１７】
データ欠損確率推定手段は、符号量制御手段によって注目ブロックに割り当てられた符号量の推定値と符号カウント手段によって得られる符号量との和と、予め与えられたビット単位の誤りが発生する確率との積としてデータ欠損確率を算出する。
【００１８】
劣化推定値算出手段は、注目ブロックがフレーム内符号化されている場合の劣化推定値を劣化パワーとデータ欠損確率との積として求め、注目ブロックがフレーム間予測符号化されている場合の劣化推定値を劣化パワーとデータ欠損確率との積に、フレーム間予測符号化における動き補償処理によって参照される参照フレーム内領域の劣化推定値を劣化伝播項として加えた値として求める。この劣化伝播項は、動き補償処理によって参照される参照フレーム内領域を中に含む複数ブロックの劣化推定値の重みづけ平均によって推定することが可能である。また、劣化推定値算出手段は、注目ブロックがフレーム間予測符号化されている場合の劣化推定値を、劣化パワーとデータ欠損確率の積に、予め定めた比例乗数に劣化伝播項を乗じた値を加えた値を劣化推定値として算出することも可能である。
【００１９】
モード選択手段は、注目ブロックについて、候補となる符号化モードにおける劣化推定値を劣化推定値算出手段から取得し、フレーム符号化歪みをフレーム符号化歪み推定手段から取得し、取得した劣化推定値とフレーム符号化歪みとの和が最も小さくなる符号化モードを最適なものとして選択する。
【００２０】
さらに、フレームメモリに格納された入力画像および参照画像と、符号量制御手段が出力する量子化ステップとを参照して、注目ブロックを符号化した際に発生する画質歪みであるブロック符号化歪みを推定するブロック符号化歪み推定手段を設けてもよい。
【００２１】
この場合、上述したモード選択手段に代えて、劣化推定値算出手段が算出した劣化推定値と、フレーム符号化歪み推定手段が推定したフレーム符号化歪みと、ブロック符号化歪み推定手段が推定したブロック符号化歪みとを参照して、フレーム内符号化とフレーム間予測符号化と参照画像における同一位置にあるブロックをそのままコピーするスキップとから、注目ブロックに対する最適な符号化モードを決定するモード選択手段を設ける。
【００２２】
また、上述した劣化推定値算出手段に代えて、劣化パワー算出手段が算出した劣化パワーとデータ欠損確率推定手段が推定したデータ欠損確率とから、各ブロック毎に選択可能な複数の符号化モードをフレーム内符号化，フレーム間予測符号化，スキップとし、これら符号化モードのそれぞれに対し、伝送誤りによるデータ欠損によって注目ブロックに発生する画質劣化の期待値である劣化推定値を算出する劣化推定値算出手段を設ける。
【００２３】
ブロック符号化歪み推定手段は、注目ブロックの符号化モードがフレーム内符号化およびフレーム間予測符号化の場合には、当該注目ブロックのブロック符号化歪みを量子化歪みとして符号量制御手段の出力する量子化ステップを用いて推定し、注目するブロックの符号化モードがスキップの場合には、当該注目ブロックと参照画像において同一位置にあるブロックとの誤差パワーをブロック符号化歪みとして出力する。
【００２４】
データ欠損確率推定手段は、注目ブロックに割り当てられた符号量の予測値と、符号カウント手段によって得られる符号量と、予め与えられたビット単位の誤りが発生する確率とから、符号化モードがフレーム内符号化およびフレーム間予測符号化である場合の注目ブロックが伝送時に誤りによってデータ欠損を起こす確率を推定し、符号化モードがスキップであることを示す符号の符号量と、符号カウント手段によって得られる符号量と、予め与えられたビット単位の誤りが発生する確率とから、符号化モードがスキップである場合の注目ブロックが伝送時に誤りによってデータ欠損を起こす確率を推定する。
【００２５】
劣化推定値算出手段は、各ブロック毎に選択可能な複数の符号化モードをフレーム内符号化，フレーム間予測符号化，スキップとして、データ欠損確率推定手段からのフレーム内符号化およびフレーム間予測符号化である場合のデータ欠損確率と劣化パワー算出手段が算出した劣化パワーとから、フレーム内符号化，フレーム間予測符号化のそれぞれに対し、伝送誤りによるデータ欠損によって注目ブロックに発生する画質劣化の期待値である劣化推定値を算出し、データ欠損確率推定手段からのスキップの場合のデータ欠損確率と劣化パワー算出手段が算出した劣化パワーとから、符号化モードがフレーム間予測符号化の場合と同様の方法でスキップの場合の劣化推定値を算出する。
【００２６】
モード選択手段は、注目ブロックについて、フレーム内符号化およびフレーム間予測符号化における劣化推定値を劣化推定値算出手段から取得し、フレーム符号化歪みをフレーム符号化歪み推定手段から取得し、フレーム内符号化およびフレーム間予測符号化のうち取得した劣化推定値とフレーム符号化歪みとの和が小さい方を注目ブロックに対する最適な符号化モードの候補として選択した後、劣化推定値算出手段が算出した劣化推定値とブロック符号化歪み推定手段が推定したブロック符号化歪みの推定値との和を、選択した符号化モードの候補とスキップとで比較し、小さい方を注目ブロックに対する最適な符号化モードとして選択する。
【００２７】
【発明の実施の形態】
以下、本発明を図面に基づいて詳細に説明する。
〔実施の形態１〕
図１はこの発明の第１の実施の形態（実施の形態１）を示す動画像符号化装置の構成を示すブロック図である。
【００２８】
この実施の形態１において、符号量制御部１１は、フレームメモリ１０に格納された入力画像および参照画像から解析した画素値分布の統計量と、現フレームの現在ブロックまでに要した実際の符号量（注目ブロックの直前までの符号量）とを参照し、１フレーム分の符号量が一定量以下という条件下で符号化処理による歪みが最小になるように、量子化ステップを決定する。この量子化ステップの決定は、注目ブロックに対して選択可能な符号化モード、すなわちフレーム内符号化とフレーム間予測符号化のそれぞれについて行う。
【００２９】
〔符号量制御方式の一例〕
以下では符号量制御方式の一例として、文献１〔Video Codec Test Model, Near-Term, Version 10 (TMN10) Draft1の第８章：ITU-T SG16発行〕に記載された方式を用いて説明する。なお、他の符号量制御方式においても、量子化ステップの決定、後述するフレーム符号化歪みの推定を行うことができ、本発明に適用することが可能である。
【００３０】
ブロックを符号化した際に発生する符号量ｒは、量子化ステップをＱ、ブロック内の画素値の分散をσ2 、ブロック内の画素数をＡとすると、比例定数Ｋ，Ｃを用いて
ｒ＝Ａ・（Ｋ・σ2 ／Ｑ2 ＋Ｃ） ・・・・（１）
と近似することができる。
【００３１】
但し、上記（１）式において、σ2 は、ブロックがフレーム間予測符号化されているときには予測誤差信号の分散として与えられ、ブロックがフレーム内符号化されているときには原画像信号の分散の１／３として与えられる。
【００３２】
フレーム内において符号化対象となる複数ブロックにおけるσの総和をＳ、フレームに割り当てられる目標とする符号量（目標符号量）をＲ、符号化対象となるブロックの数をＮとすると、量子化歪みの総和を最小にするような量子化ステップＱopt は、Ｌ＝Ｒ−Ａ・Ｎ・Ｃとして、
Ｑopt ＝（Ａ・Ｋ・σ・Ｓ／Ｌ）1/2 ・・・・（２）
と表される。
【００３３】
符号量制御部１１は、各ブロックの量子化ステップがＱopt に近づくように量子化ステップを変更する。例えば、動画像符号化の国際標準方式の一つである「Ｈ．２６３」や「ＭＰＥＧ−４」では、量子化ステップは直前のブロックの量子化ステップから±４の範囲で２ずつの刻みでしか変更できない。ブロック符号化部１８は、このようにして定められた量子化ステップに従って現在のブロックを符号化した時点で、実際に要した符号量をカウントし、その値を符号量制御部１１に返す。
【００３４】
符号量制御部１１は、現フレームの現在ブロックまでに要した実際の符号量とまだ符号化されていない残りのブロックに要する符号量との和が目標符号量Ｒに達するように、残りのブロックへの符号量の再配分を行う。このモデルにおいて、符号化対象となる複数ブロックの符号化歪みの総和（フレーム符号化歪み）Ｄｆは、
Ｄｆ＝Ａ2 ・Ｋ・Ｓ2 ／１２Ｌ ・・・・（３）
と推定される。
【００３５】
フレーム符号化歪み推定部１４は、符号量制御部１１が算出したＳ（符号化対象となる複数ブロックにおけるσの総和）に従ってフレーム符号化歪みＤｆを算出し、モード選択部１７に出力する。また、符号量制御部１１は、上記（１）式に従って次のブロック（注目ブロック）における符号量の予測値を算出し、データ欠損確率推定部１３に送る。
【００３６】
劣化パワー算出部１２は、ブロックの符号化データに伝送誤りが発生した場合を想定し、欠損したデータを補完した画像（補完画像）と原画像との誤差パワー（劣化パワー）Ｄｅを算出する。
【００３７】
図２（ａ）は欠損データの補完の一例を示す図である。この例では、現フレームのブロックの符号化データに伝送誤りが発生したと仮定し、参照画像において同一位置にあるブロックの画素値をそのままコピーすることで欠損した画素値を補完する。この時の画質劣化の度合は、参照画像において同一位置にある画素値と現在のフレームにおける画素値との差分によって表される。
【００３８】
劣化パワー算出部１２は、この復号器での欠損データの補完を想定し、フレームメモリ１０中の参照画像から復号器側と同様にして補完画像を作り、この補完画像と原画像との誤差パワー（劣化パワー）Ｄｅを算出する。
【００３９】
データ欠損確率推定部１３は、符号量制御部１１からの注目ブロックの符号量の予測値（ＬＡ）およびカウンタ１９によって得られる最新の同期符号から注目ブロックの直前まで（最新の符号化済みブロックの符号列まで）の符号量（ＬＢ）から、注目ブロックにおいて誤りによるデータ欠損の発生する確率ｐを推定する。その算出式は例えば、符号量ＬＡとＬＢとの和をＬ０、ビット単位に誤りの発生する確率をλとし、誤りの発生がランダムに起こるとすると、
ｐ＝１−（１−λ）L0 ・・・・（４）
と与えられる。また、この式はλを微小な値とすると、λ・Ｌ０と近似される。
【００４０】
劣化推定値算出部１５は、劣化パワー算出部１２が算出した現フレームの劣化パワーＤｅおよびデータ欠損確率推定部１３が算出した現フレームの注目ブロックのデータ欠損確率ｐおよびメモリ１６に格納されている前フレームにおける参照ブロックの劣化推定値を参照し、注目ブロックに対して選択可能な符号化モード（フレーム内符号化／フレーム間予測符号化）について、注目ブロックにおいて誤りが発生した際の劣化度合（注目ブロックの劣化推定値）Ｄｄを推定する。
【００４１】
注目ブロックの劣化推定値Ｄｄは、注目ブロックの符号化モードがフレーム内符号化かフレーム間予測符号化かによって異なる値をとる。フレーム内符号化の場合、注目ブロックの劣化推定値Ｄｄは、注目ブロックが誤りによってデータが欠損した際の画質劣化の期待値となり、データ欠損確率ｐと劣化パワーＤｅの積で表す（Ｄｄ＝ｐ・Ｄｅ）。一方、フレーム間予測符号化の場合、注目ブロックの劣化推定値Ｄｄは、データ欠損確率ｐと劣化パワーＤｅの積に、参照フレームにおける画質劣化のフレーム間予測による伝播項Ｄｐを加える（Ｄｄ＝ｐ・Ｄｅ＋Ｄｐ）。画質劣化の伝播について図３を用いて説明する。
【００４２】
図３において、現フレームの注目ブロックＢ１０に対し、参照フレームにおける動き補償フレーム間予測による参照先のブロック（参照先ブロック）をＢ１０’とする。また、参照先ブロックＢ１０’とその一部が重なる参照フレーム内のブロックをそれぞれ参照ブロックＢ００，Ｂ０１，Ｂ０２，Ｂ０３とし、これらの参照ブロックと参照先ブロックＢ１０’とが重なる部分領域をそれぞれｂ００，ｂ０１，ｂ０２，ｂ０３とする。また、注目ブロックＢ１０に対する動きベクトルをＶとする。
【００４３】
フレーム間予測符号化によって、注目ブロックＢ１０は参照先ブロックＢ１０’内の画質劣化をそのまま受け継ぐことになる。その値は参照先ブロックＢ１０’の部分領域ｂ００，ｂ０１，ｂ０２，ｂ０３における画質劣化の和となる。これらの画質劣化度を、参照ブロックＢ００，Ｂ０１，Ｂ０２，Ｂ０３における画質劣化度に対し、面積比を乗ずることで近似する。
【００４４】
この面積比は動きベクトルＶによって定めることができる。ブロックの一辺をｍ、Ｖを水平軸方向に射影した長さをＶｘ、垂直軸方向に射影した長さをＶｙとすると、Ｂ００に対するｂ００の面積比は、（ｍ−Ｖｘ）・（ｍ−Ｖｙ）／（ｍ・ｍ）と表すことができる。ｂ０１，ｂ０２，ｂ０３についても同様である。
【００４５】
以上より、注目ブロックＢ１０の参照フレームからの劣化の伝播項Ｄｐは、メモリ１６に格納されている参照ブロックＢ００，Ｂ０１，Ｂ０２，Ｂ０３の劣化推定値を参照し、それらを動きベクトルＶに従って重みづけ加算した値として表される。
【００４６】
モード選択部１７は、注目ブロックの符号化モードがフレーム内符号化の場合の劣化推定値Ｄｄとフレーム符号化歪みＤｆとの和と、注目ブロックの符号化モードがフレーム間予測符号化の場合の劣化推定値Ｄｄとフレーム符号化歪みＤｆとの和とを比較し、それが最小となる方の符号化モードを選択する。ブロック符号化部１８は、モード選択部１７が決定した符号化モードおよび、符号量制御部１１が算出した量子化ステップに基づいて注目ブロックの符号化を行い、符号化データを生成する。
【００４７】
なお、上述においては、フレーム間予測符号化の場合の劣化推定値Ｄｄとして、現フレームにおける劣化期待値（ｐ・Ｄｅ）と前のフレームからの劣化伝播項（Ｄｐ）とを単純に加算したが、現フレームにおける劣化期待値や前のフレームからの劣化伝播項に重み付けを行い、設計時における画質の調整に応じてその重み付けの値を変えるようにしてもよい。
【００４８】
例えば、前のフレームからの劣化伝播項に対して１を越えた値を乗ずることで、前フレームからの劣化の伝播が大きいブロックに対して優先的にフレーム内符号化を行うことにより、劣化したブロックが複数フレームにわたって停留するのを抑圧できる。また、モード選択部１７において、フレーム符号化歪みＤｆを考慮せずに、注目ブロックの劣化推定値Ｄｄを最小にするようなモード選択を行うようにしてもよい。この場合、符号化効率は低下するものの、最適な誤り耐性を有する符号化は実現することができる。
【００４９】
〔実施の形態２〕
図４はこの発明の第２の実施形態（実施の形態２）の構成を示すブロック図である。この実施の形態２では、図１に示した実施の形態１の構成に加えて、ブロック符号化歪み推定部２１を設けている。
【００５０】
また、モード選択部２０は、劣化推定値算出部２３が算出する注目ブロックの劣化推定値とフレーム符号化歪み推定部１４が算出するフレーム符号化歪みＤｆに加えてブロック符号化歪み推定部２１が算出するブロック符号化歪みＤｂを参照して、符号化モードをフレーム内符号化（ＩＮＴＲＡ）とフレーム間予測符号化（ＩＮＴＥＲ）とスキップ（ＳＫＩＰ）の３つから選択する。
【００５１】
また、ブロック符号化部１８は、モード選択部２０からの符号化モードがスキップであった場合、その注目ブロックについて、動き情報や係数情報は符号化せず、符号化モードがスキップであることを示す符号のみを送る。この場合、注目ブロックについては、前フレームの復号結果をそのままコピーすることで復号結果とする。
【００５２】
ブロック符号化歪み推定部２１は、フレーム内符号化／フレーム間予測符号化／スキップそれぞれの場合について、注目ブロックの符号化歪みＤｂを推定する。
【００５３】
符号化モードがフレーム内符号化／フレーム間予測符号化の場合には符号化歪みは量子化による誤差パワーと一致する。この場合、ブロック符号化歪み推定部２１は、フレーム内符号化／フレーム間予測符号化のそれぞれの場合の量子化ステップを参照して、注目ブロックの符号化歪みＤｂを推定する。例えば、量子化が線形量子化の場合、量子化ステップの２乗を１２で割った値にブロック内画素数を掛けた値を符号化歪みＤｂとして推定する。
【００５４】
一方、符号化モードがスキップである場合、復号画像は前フレームにおける注目ブロックと同一のものとなることから、符号化歪みは、前フレームと現在のフレームとの間の誤差パワーとして表される。この場合、ブロック符号化歪み推定部２１は、前フレームと現在のフレームとの間の誤差パワーを求め、この誤差パワーを注目ブロックの符号化歪みＤｂとして推定する。
【００５５】
データ欠損確率推定部２２および劣化推定値算出部２３もまた、注目ブロックの符号化モードがスキップの場合に対応した出力をそれぞれ行う。符号化モードがスキップの場合、データ欠損確率推定部２２は符号化モードがスキップであることを示す符号の要する符号量とカウンタ１９によって得られる最新の同期符号から注目ブロックの直前までの符号量から、注目ブロックのデータ欠損確率ｐを推定する。劣化推定算出部２３は、得られたデータ欠損確率ｐに従って、符号化モードがフレーム間予測符号化の場合と同様にしてスキップの場合の劣化推定値Ｄｄを算出する。
【００５６】
モード選択部２０は、実施の形態１におけるモード選択部１７が実施する処理と同様にして、フレーム内符号化／フレーム間予測符号化の何れかを最適な符号化モードの候補として選択した後、劣化推定値算出部２３が算出した劣化推定値Ｄｄとブロック符号化歪み推定部２１が推定したブロック符号化歪みＤｂとの和を、選択した符号化モードの候補とスキップとで比較し、小さい方を注目ブロックに対する最適な符号化モードとして選択する。
【００５７】
【発明の効果】
以上説明したことから明らかなように本発明によれば、誤りによって発生する劣化と符号化歪みとの和が小さくなるようにモード選択を行うことにより、強制リフレッシュを適正かつ効果的に行うことができるようになり、符号化効率を低下させることなく、画質劣化を抑制することが可能となる。
また、本発明によれば、伝送誤りに対して発生する画質劣化の度合をブロック毎に推定し、画質劣化の予想されるブロックに対して優先的にフレーム内符号化を行う。従来の手法ではリフレッシュの頻度を経験的に調整していたのに対して、本発明により常に好適なリフレッシュを実現することができる。
さらに本発明では、符号化制御方式によって得られる符号量と符号化歪みの推定値を用いてモード選択を行うことで、ブロック単位の符号化処理と同時に各ブロックの好適なモード選択が可能となり、必要とする演算量もごく微小な量に抑えることができる。
加えて本発明では、誤り耐性を考慮した符号化モードの選択に、フレーム内符号化、フレーム間予測符号化に加えて、スキップを候補としている。符号化モードとしてスキップを選択した場合の発生符号量は１ビットと微小であり、誤りによるデータ欠落の可能性は他の符号化モードに比べて極めて低いため、誤りへの耐性はさらに向上する。
【図面の簡単な説明】
【図１】 本発明の第１の実施の形態（実施の形態１）を示す動画像符号化装置の構成を示すブロック図である。
【図２】 誤りが発生した際の補完処理と画質劣化について説明する図である。
【図３】 前フレームにおける画質劣化の現フレームへの伝播について説明する図である。
【図４】 本発明の第２の実施の形態（実施の形態２）を示す動画像符号化装置の構成を示すブロック図である。
【図５】 従来の動画像符号化装置の構成を示すブロック図である。
【図６】 誤りが発生した際のデータ欠損確率について説明する図である。
【符号の説明】
１０…フレームメモリ、１１…符号量制御部、１２…劣化パワー算出部、１３，２２…データ欠損確率推定部、１４…フレーム符号化歪み推定部、１５，２３…劣化推定値算出部、１６…メモリ、１７，２０…モード選択部、１８…ブロック符号化部、１９…カウンタ、２１…ブロック符号化歪み推定部、１０１…入力画像、１０２…参照画像。
Claims (13)
- フレーム内符号化とフレーム間予測符号化を符号化単位となるブロック単位で適応的に選択して用いる動画像符号化装置であって、
入力画像および１フレーム前の復号結果である参照画像を格納するフレームメモリと、
フレーム内符号化／フレーム間予測符号化の種別を示す符号化モードと、画像データを量子化する幅を示す量子化ステップとに従い、前記フレームメモリを参照してブロック単位に前記入力画像の符号化を行い、符号列を生成するブロック符号化処理を行うブロック符号化手段と、
前記符号列を監視し、符号列に挿入された最新の同期符号から最新の符号化済ブロックの符号列までの符号量をカウントする符号カウント手段と、
前記フレームメモリに格納された入力画像および参照画像から解析した画素値分布の統計量と、前記ブロック符号化手段の出力する符号列の符号量とを参照し、１フレーム分の符号列の符号量が一定量以下という条件下で各ブロック毎に選択可能な複数の符号化モードそれぞれに対し、前記ブロック符号化処理による画質歪みが最小になるように量子化ステップを算出するとともに、次に符号化しようとする注目ブロックに割り当てられた符号量の予測値を出力する符号量制御手段と、
前記注目ブロックに割り当てられた符号量の予測値と、前記符号カウント手段によって得られる符号量と、予め与えられたビット単位の誤りが発生する確率とから、注目ブロックが伝送時に誤りによってデータ欠損を起こす確率を推定するデータ欠損確率推定手段と、
前記符号量制御手段で導出した入力画像内の画素値分布の統計量を参照し、フレーム内の前記ブロック符号化処理による画質歪みであるフレーム符号化歪みを推定するフレーム符号化歪み推定手段と、
前記フレームメモリに格納された入力画像および参照画像を用い、符号化対象となるブロックにデータ欠損が生じた場合の復号画像と入力画像との誤差パワーである劣化パワーを算出する劣化パワー算出手段と、
この劣化パワー算出手段が算出した劣化パワーと前記データ欠損確率推定手段が推定したデータ欠損確率とから、各ブロック毎に選択可能な複数の符号化モードそれぞれに対し、伝送誤りによるデータ欠損によって前記注目ブロックに発生する画質劣化の期待値である劣化推定値を算出する劣化推定値算出手段と、
この劣化推定値算出手段が算出した劣化推定値と前記フレーム符号化歪み推定手段が推定したフレーム符号化歪みとを参照して、前記注目ブロックに対する最適な符号化モードを決定するモード選択手段と
を備えたことを特徴とする動画像符号化装置。 - 請求項１に記載した動画像符号化装置において、前記劣化パワー算出手段に代えて、
前記フレームメモリに格納された入力画像を用い、前記注目ブロックの画素値を入力画像における周囲の画素値から補完し、補完後の画像と入力画像との誤差パワーを劣化パワーとして算出する劣化パワー算出手段を設けた
ことを特徴とする動画像符号化装置。 - 請求項１に記載した動画像符号化装置において、前記劣化パワー算出手段に代えて、
前記フレームメモリに格納された入力画像および参照画像を用い、前記注目ブロックの画素値を参照画像において同一位置にあるブロックの画素値から補完し、補完後の画像と入力画像との誤差パワーを劣化パワーとして算出する劣化パワー算出手段を設けた
ことを特徴とする動画像符号化装置。 - 請求項１に記載した動画像符号化装置において、前記劣化パワー算出手段に代えて、
前記フレームメモリに格納された入力画像および参照画像を用い、前記注目ブロックの画素値を前記ブロック符号化手段で当該ブロックの符号化に用いた動き情報に従い動き補償を行った参照画像上の画素値から補完し、補完後の画像と入力画像との誤差パワーを劣化パワーとして算出する劣化パワー算出手段を設けた
ことを特徴とする動画像符号化装置。 - 請求項１に記載した動画像符号化装置において、前記データ欠損確率推定手段に代えて、
前記符号量制御手段によって前記注目ブロックに割り当てられた符号量の予測値と前記符号カウント手段によって得られる符号量との和と、予め与えられたビット単位の誤りが発生する確率との積とから、注目ブロックが伝送時に誤りによってデータ欠損を起こす確率を算出するデータ欠損確率推定手段を設けた
ことを特徴とする動画像符号化装置。 - 請求項１に記載した動画像符号化装置において、前記劣化推定値算出手段に代えて、
前記劣化パワー算出手段が算出した劣化パワーと前記データ欠損確率推定手段が推定したデータ欠損確率とから、フレーム内符号の場合の画質劣化の推定値を劣化パワーとデータ欠損確率との積として求め、
フレーム間予測符号化の場合の画質劣化の推定値を、劣化パワーとデータ欠損確率との積に、フレーム間予測符号化における動き補償処理によって参照される参照フレーム内領域の劣化推定値を劣化伝播項として加えた値として求める劣化推定値算出手段を設けた
ことを特徴とする動画像符号化装置。 - 請求項１に記載した動画像符号化装置において、前記劣化推定値算出手段に代えて、
前記劣化パワー算出手段が算出した劣化パワーと前記データ欠損確率推定手段が推定したデータ欠損確率とから、フレーム内符号の場合の画質劣化の推定値を劣化パワーとデータ欠損確率との積として求め、
フレーム間予測符号化の場合の画質劣化の推定値を、劣化パワーとデータ欠損確率との積に、フレーム間予測符号化における動き補償処理によって参照される参照フレーム内領域を中に含む複数ブロックの劣化推定値の重みづけ平均によって算出される劣化伝播項を加えた値として求める劣化推定値算出手段を設けた
ことを特徴とする動画像符号化装置。 - 請求項１に記載した動画像符号化装置において、前記劣化推定値算出手段に代えて、
前記劣化パワー算出手段が算出した劣化パワーと前記データ欠損確率推定手段が推定したデータ欠損確率とから、フレーム内符号の場合の画質劣化の推定値を劣化パワーとデータ欠損確率との積として求め、
フレーム間予測符号化の場合の画質劣化の推定値を、劣化パワーとデータ欠損確率との積に、フレーム間予測符号化における動き補償処理によって参照される参照フレーム内領域の劣化推定値を劣化伝播項とし、この劣化伝播項を予め定めた比例乗数に乗じた値を加えた値として求める劣化推定値算出手段を設けた
ことを特徴とする動画像符号化装置。 - 請求項１に記載した動画像符号化装置において、前記モード選択手段に代えて、
前記注目ブロックについて、候補となる符号化モードにおける劣化推定値を前記劣化推定値算出手段から取得し、フレーム符号化歪みを前記フレーム符号化歪み推定手段から取得し、取得した劣化推定値とフレーム符号化歪みとの和が最も小さくなる符号化モードを前記注目ブロックに対する最適な符号化モードとして決定するモード選択手段を設けた
ことを特徴とする動画像符号化装置。 - 請求項１に記載した動画像符号化装置において、
前記フレームメモリに格納された入力画像および参照画像と、前記符号量制御手段が出力する量子化ステップとを参照して、前記注目ブロックを符号化した際に発生する画質歪みであるブロック符号化歪みを推定するブロック符号化歪み推定手段をさらに備え、
前記モード選択手段に代えて、
前記劣化推定値算出手段が算出した劣化推定値と、前記フレーム符号化歪み推定手段が推定したフレーム符号化歪みと、前記ブロック符号化歪み推定手段が推定したブロック符号化歪みとを参照して、フレーム内符号化とフレーム間予測符号化と参照画像における同一位置にあるブロックをそのままコピーするスキップとから、前記注目ブロックに対する最適な符号化モードを決定するモード選択手段を設け、
前記劣化推定値算出手段に代えて、
前記劣化パワー算出手段が算出した劣化パワーと前記データ欠損確率推定手段が推定したデータ欠損確率とから、各ブロック毎に選択可能な複数の符号化モードをフレーム内符号化，フレーム間予測符号化，スキップとし、これら符号化モードのそれぞれに対し、伝送誤りによるデータ欠損によって前記注目ブロックに発生する画質劣化の期待値である劣化推定値を算出する劣化推定値算出手段を設けた
ことを特徴とする動画像符号化装置。 - 請求項１０に記載した動画像符号化装置において、前記ブロック符号化歪み推定手段に代えて、
前記注目ブロックの符号化モードがフレーム内符号化およびフレーム間予測符号化の場合には、当該注目ブロックを符号化した際に発生する画質歪みであるブロック符号化歪みを量子化歪みとして前記符号量制御手段の出力する量子化ステップを用いて推定し、
前記注目ブロックの符号化モードがスキップの場合には、当該注目ブロックと前記フレームメモリに格納されている参照画像において同一位置にあるブロックとの誤差パワーをブロック符号化歪みとして推定するブロック符号化歪み推定手段を設け、
前記データ欠損確率推定手段に代えて、
前記注目ブロックに割り当てられた符号量の予測値と、前記符号カウント手段によって得られる符号量と、予め与えられたビット単位の誤りが発生する確率とから、符号化モードがフレーム内符号化およびフレーム間予測符号化である場合の注目ブロックが伝送時に誤りによってデータ欠損を起こす確率を推定し、
前記符号化モードがスキップであることを示す符号の符号量と、前記符号カウント手段によって得られる符号量と、予め与えられたビット単位の誤りが発生する確率とから、符号化モードがスキップである場合の注目ブロックが伝送時に誤りによってデータ欠損を起こす確率を推定するデータ欠損確率推定手段を設け、
前記劣化推定値算出手段に代えて、
各ブロック毎に選択可能な複数の符号化モードをフレーム内符号化，フレーム間予測符号化，スキップとして、
前記データ欠損確率推定手段からのフレーム内符号化およびフレーム間予測符号化である場合のデータ欠損確率と前記劣化パワー算出手段が算出した劣化パワーとから、フレーム内符号化，フレーム間予測符号化のそれぞれに対し、伝送誤りによるデータ欠損によって前記注目ブロックに発生する画質劣化の期待値である劣化推定値を算出し、
前記データ欠損確率推定手段からのスキップの場合のデータ欠損確率と前記劣化パワー算出手段が算出した劣化パワーとから、符号化モードがフレーム間予測符号化の場合と同様の方法でスキップの場合の劣化推定値を算出する劣化推定値算出手段を設けた
ことを特徴とする動画像符号化装置。 - 請求項１０に記載した動画像符号化装置において、前記モード選択手段に代えて、
前記注目ブロックについて、フレーム内符号化およびフレーム間予測符号化における劣化推定値を前記劣化推定値算出手段から取得し、フレーム符号化歪みを前記フレーム符号化歪み推定手段から取得し、フレーム内符号化およびフレーム間予測符号化のうち取得した劣化推定値とフレーム符号化歪みとの和が小さい方を前記注目ブロックに対する最適な符号化モードの候補として選択した後、
前記劣化推定値算出手段が算出した劣化推定値と前記ブロック符号化歪み推定手段が推定したブロック符号化歪みの推定値との和を、選択した符号化モードの候補とスキップとで比較し、小さい方を前記注目ブロックに対する最適な符号化モードとして選択するモード選択手段を設けた
ことを特徴とする動画像符号化装置。 - フレーム内符号化とフレーム間予測符号化を符号化単位となるブロック単位で適応的に選択して用いる動画像符号化方法であって、
入力画像および１フレーム前の復号結果である参照画像をフレームメモリへ格納する工程と、
フレーム内符号化／フレーム間予測符号化の種別を示す符号化モードと、画像データを量子化する幅を示す量子化ステップとに従い、前記フレームメモリを参照してブロック単位に前記入力画像の符号化を行い、符号列を生成するブロック符号化処理を行うブロック符号化工程と、
前記符号列を監視し、符号列に挿入された最新の同期符号から最新の符号化済ブロックの符号列までの符号量をカウントする符号カウント工程と、
前記フレームメモリに格納された入力画像および参照画像から解析した画素値分布の統計量と、前記ブロック符号化工程により出力される符号列の符号量とを参照し、１フレーム分の符号列の符号量が一定量以下という条件下で各ブロック毎に選択可能な複数の符号化モードそれぞれに対し、前記ブロック符号化処理による画質歪みが最小になるように量子化ステップを算出するとともに、次に符号化しようとする注目ブロックに割り当てられた符号量の予測値を出力する符号量制御工程と、
前記注目ブロックに割り当てられた符号量の予測値と、前記符号カウント工程によって得られる符号量と、予め与えられたビット単位の誤りが発生する確率とから、注目ブロックが伝送時に誤りによってデータ欠損を起こす確率を推定するデータ欠損確率推定工程と、
前記符号量制御工程で導出した入力画像内の画素値分布の統計量を参照し、フレーム内の前記ブロック符号化処理による画質歪みであるフレーム符号化歪みを推定するフレーム符号化歪み推定工程と、
前記フレームメモリに格納された入力画像および参照画像を用い、符号化対象となるブロックにデータ欠損が生じた場合の復号画像と入力画像との誤差パワーである劣化パワーを算出する劣化パワー算出工程と、
この劣化パワー算出工程によって算出された劣化パワーと前記データ欠損確率推定工程によって推定されたデータ欠損確率とから、各ブロック毎に選択可能な複数の符号化モードそれぞれに対し、伝送誤りによるデータ欠損によって前記注目ブロックに発生する画質劣化の期待値である劣化推定値を算出する劣化推定値算出工程と、
この劣化推定値算出工程によって算出された劣化推定値と前記フレーム符号化歪み推定工程によって推定されたフレーム符号化歪みとを参照して、前記注目ブロックに対する最適な符号化モードを決定するモード選択工程と
を備えたことを特徴とする動画像符号化方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001008639A JP4644939B2 (ja) | 2001-01-17 | 2001-01-17 | 動画像符号化装置および動画像符号化方法 |
| US10/046,817 US7161982B2 (en) | 2001-01-17 | 2002-01-17 | Device and method for motion video encoding reducing image degradation in data transmission without deteriorating coding efficiency |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001008639A JP4644939B2 (ja) | 2001-01-17 | 2001-01-17 | 動画像符号化装置および動画像符号化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002218467A JP2002218467A (ja) | 2002-08-02 |
| JP4644939B2 true JP4644939B2 (ja) | 2011-03-09 |
Family
ID=18876227
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001008639A Expired - Fee Related JP4644939B2 (ja) | 2001-01-17 | 2001-01-17 | 動画像符号化装置および動画像符号化方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7161982B2 (ja) |
| JP (1) | JP4644939B2 (ja) |
Families Citing this family (35)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4151374B2 (ja) * | 2002-03-29 | 2008-09-17 | セイコーエプソン株式会社 | 動画像符号化装置および動画像符号化方法 |
| JP3937223B2 (ja) | 2003-01-21 | 2007-06-27 | ソニー株式会社 | 記録装置、再生装置、記録方法及び再生方法 |
| US7881367B2 (en) * | 2003-01-29 | 2011-02-01 | Nxp B.V. | Method of video coding for handheld apparatus |
| EP1513350A1 (en) * | 2003-09-03 | 2005-03-09 | Thomson Licensing S.A. | Process and arrangement for encoding video pictures |
| JP2005203905A (ja) * | 2004-01-13 | 2005-07-28 | Sony Corp | 画像符号化装置、画像符号化方法並びに画像符号化プログラム |
| US7843959B2 (en) * | 2004-01-30 | 2010-11-30 | Telefonaktiebolaget Lm Ericsson | Prioritising data elements of a data stream |
| US7689051B2 (en) * | 2004-04-15 | 2010-03-30 | Microsoft Corporation | Predictive lossless coding of images and video |
| US7521719B2 (en) * | 2004-08-13 | 2009-04-21 | Paul Steven Schranz | Light emitting and image sensing device and apparatus |
| US8385416B2 (en) * | 2004-09-16 | 2013-02-26 | Thomson Licensing | Method and apparatus for fast mode decision for interframes |
| US8948266B2 (en) | 2004-10-12 | 2015-02-03 | Qualcomm Incorporated | Adaptive intra-refresh for digital video encoding |
| JP4877449B2 (ja) * | 2004-11-04 | 2012-02-15 | カシオ計算機株式会社 | 動画像符号化装置および動画像符号化処理プログラム |
| KR100724939B1 (ko) * | 2005-06-20 | 2007-06-04 | 삼성전자주식회사 | 카메라부를 이용한 유저 인터페이스 구현 방법 및 이를위한 이동통신단말기 |
| US8233535B2 (en) * | 2005-11-18 | 2012-07-31 | Apple Inc. | Region-based processing of predicted pixels |
| JP4643453B2 (ja) * | 2006-01-10 | 2011-03-02 | 株式会社東芝 | 情報処理装置及び情報処理装置の動画像復号方法 |
| US8861585B2 (en) * | 2006-01-20 | 2014-10-14 | Qualcomm Incorporated | Method and apparatus for error resilience algorithms in wireless video communication |
| US8325822B2 (en) * | 2006-01-20 | 2012-12-04 | Qualcomm Incorporated | Method and apparatus for determining an encoding method based on a distortion value related to error concealment |
| JP4993676B2 (ja) * | 2006-09-01 | 2012-08-08 | キヤノン株式会社 | 画像符号化装置及び画像符号化方法 |
| WO2008093714A1 (ja) * | 2007-01-31 | 2008-08-07 | Nec Corporation | 画質評価方法、画質評価装置および画質評価プログラム |
| US8711926B2 (en) * | 2007-02-08 | 2014-04-29 | Qualcomm Incorporated | Distortion estimation for quantized data |
| US20100325255A1 (en) * | 2007-04-05 | 2010-12-23 | Gene Cheung | Data transmission system and method |
| RU2496252C2 (ru) | 2007-06-29 | 2013-10-20 | Шарп Кабусики Кайся | Устройство кодирования изображения, способ кодирования изображения, устройство декодирования изображения, способ декодирования изображения, программа и запоминающий носитель |
| ATE526787T1 (de) * | 2007-12-11 | 2011-10-15 | Alcatel Lucent | Verfahren zum zustellen eines videostroms über einen drahtlosen kanal |
| US20090180701A1 (en) * | 2008-01-10 | 2009-07-16 | Seungyeob Choi | Video Data Encoding System |
| WO2011125211A1 (ja) | 2010-04-08 | 2011-10-13 | 株式会社 東芝 | 画像符号化方法及び画像復号化方法 |
| WO2013030833A1 (en) * | 2011-08-29 | 2013-03-07 | I.C.V.T. Ltd. | Controlling a video content system |
| JP2015033103A (ja) * | 2013-08-07 | 2015-02-16 | ソニー株式会社 | 画像処理装置、画像処理方法、およびプログラム |
| WO2017093188A1 (en) * | 2015-11-30 | 2017-06-08 | Telefonaktiebolaget Lm Ericsson (Publ) | Encoding and decoding of pictures in a video |
| WO2018124957A1 (en) | 2016-12-30 | 2018-07-05 | Telefonaktiebolaget Lm Ericsson (Publ) | Decoded picture buffer management for handling cross-picture data prediction |
| US10609418B2 (en) | 2017-04-18 | 2020-03-31 | Qualcomm Incorporated | System and method for intelligent data/frame compression in a system on a chip |
| US10484685B2 (en) * | 2017-04-18 | 2019-11-19 | Qualcomm Incorporated | System and method for intelligent data/frame compression in a system on a chip |
| US11632151B2 (en) * | 2018-06-20 | 2023-04-18 | Telefonaktiebolaget Lm Ericsson (Publ) | Method and apparatus for massive MU-MIMO |
| US10984545B2 (en) * | 2018-11-16 | 2021-04-20 | Nvidia Corporation | Estimating depth for a video stream captured with a monocular rgb camera |
| CN112492122B (zh) * | 2020-11-17 | 2022-08-12 | 杭州微帧信息科技有限公司 | 一种基于vmaf自适应调节锐化参数的方法 |
| US11451828B1 (en) * | 2021-07-16 | 2022-09-20 | Omnivision Technologies, Inc. | Image compression technique for low-power, always-on camera systems |
| US20230400991A1 (en) * | 2022-06-14 | 2023-12-14 | Western Digital Technologies, Inc. | Data Storage Device and Method for Prediction-Based Improved Power-Loss Handling |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000165881A (ja) * | 1998-11-25 | 2000-06-16 | Nec Corp | 動画像符号化装置および動画像符号化方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6043844A (en) * | 1997-02-18 | 2000-03-28 | Conexant Systems, Inc. | Perceptually motivated trellis based rate control method and apparatus for low bit rate video coding |
| US5909559A (en) * | 1997-04-04 | 1999-06-01 | Texas Instruments Incorporated | Bus bridge device including data bus of first width for a first processor, memory controller, arbiter circuit and second processor having a different second data width |
| US6904174B1 (en) * | 1998-12-11 | 2005-06-07 | Intel Corporation | Simplified predictive video encoder |
| US7263127B1 (en) * | 1998-04-02 | 2007-08-28 | Intel Corporation | Method and apparatus for simplifying frame-based motion estimation |
| US6542545B1 (en) * | 1999-10-01 | 2003-04-01 | Mitsubishi Electric Reseach Laboratories, Inc. | Estimating rate-distortion characteristics of binary shape data |
-
2001
- 2001-01-17 JP JP2001008639A patent/JP4644939B2/ja not_active Expired - Fee Related
-
2002
- 2002-01-17 US US10/046,817 patent/US7161982B2/en not_active Expired - Fee Related
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000165881A (ja) * | 1998-11-25 | 2000-06-16 | Nec Corp | 動画像符号化装置および動画像符号化方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20020094028A1 (en) | 2002-07-18 |
| JP2002218467A (ja) | 2002-08-02 |
| US7161982B2 (en) | 2007-01-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4644939B2 (ja) | 動画像符号化装置および動画像符号化方法 | |
| EP0933948B1 (en) | Video encoder and video encoding method | |
| US5724369A (en) | Method and device for concealment and containment of errors in a macroblock-based video codec | |
| US8824567B2 (en) | Method and device for tracking error propagation and refreshing a video stream | |
| KR100425676B1 (ko) | 비디오 전송 시스템의 에러 복구 방법 | |
| JP3840020B2 (ja) | 動画像符号化装置 | |
| JP4829581B2 (ja) | 画像のシーケンスの符号化の方法及び装置 | |
| JP5593440B2 (ja) | 動きベクトル予測方法 | |
| JP2000201354A (ja) | 動画像符号化装置 | |
| JP4525878B2 (ja) | 動画像符号化方法 | |
| JP4133346B2 (ja) | 予測タイプの選択によるビデオデータブロックのイントラ符号化 | |
| US20080069202A1 (en) | Video Encoding Method and Device | |
| EP1720356A1 (en) | A frequency selective video compression | |
| JP3450384B2 (ja) | 動画像符号化装置 | |
| JP4644097B2 (ja) | 動画像符号化プログラム、プログラム記憶媒体、および符号化装置。 | |
| JP5516842B2 (ja) | 動画像処理装置、動画像処理方法、および動画像処理プログラム | |
| JP2019193182A (ja) | 符号化装置、符号化方法、及び符号化プログラム | |
| JP2010010917A (ja) | 動画像符号化装置、動画像復号装置、動画像符号化方法、及び動画像復号方法 | |
| KR100377190B1 (ko) | 블록별 생성 비트스트림 크기에 따른 채널 오류 발생가능성 예측에 의한 인트라 갱신 블록 결정 기법을 이용한 영상 부호화 방법 | |
| KR100454526B1 (ko) | 시공간적 정보를 이용한 인트라 프레임의 에러 은닉방법 | |
| JP4223577B2 (ja) | 画像符号化装置とその方法、および、画像復号化装置とその方法 | |
| JP2005303555A (ja) | 動画像符号化装置および動画像符号化方法 | |
| JP2740746B2 (ja) | 動画像圧縮装置 | |
| JP7356549B1 (ja) | 画像符号化装置及び画像符号化方法 | |
| JPH03283785A (ja) | ブロック符号化信号復号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071212 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100831 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100914 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101012 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101109 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101122 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131217 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |