JPH09327023A - フレーム内／フレーム間符号化切替方法および画像符号化装置 - Google Patents
フレーム内／フレーム間符号化切替方法および画像符号化装置Info
- Publication number
- JPH09327023A JPH09327023A JP14448296A JP14448296A JPH09327023A JP H09327023 A JPH09327023 A JP H09327023A JP 14448296 A JP14448296 A JP 14448296A JP 14448296 A JP14448296 A JP 14448296A JP H09327023 A JPH09327023 A JP H09327023A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- inter
- intra
- coding
- mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
(57)【要約】
【課題】 フレーム内／フレーム間符号化時のオーバヘ
ッドを減少させることができ、結果として符号化効率を
向上させる。 【解決手段】 直前にフレーム間符号化したフレーム内
のＭinter 個のインターモードブロックの動きベクトル
の大きさの平均値を算出する。次に、算出した動きベク
トルの大きさの平均値から、動きベクトルから見たフレ
ーム間相関指標ｒ mvを算出する。次に、予測誤差電力ｅ
i の平均値を算出する。予測誤差電力ｅiから見たフレ
ーム間相関指標ｒerr を算出する。フレーム間相関指標
ｒmv，ｒer r からフレーム間相関指標ｒinter を算出す
る。符号化対象フレームの輝度分散ｖａｒからフレーム
内相関指標ｒintra を算出する。フレーム間相関指標ｒ
inte r とフレーム内相関指標ｒintra を比較し、より高
い相関のモードを選択する。
ッドを減少させることができ、結果として符号化効率を
向上させる。 【解決手段】 直前にフレーム間符号化したフレーム内
のＭinter 個のインターモードブロックの動きベクトル
の大きさの平均値を算出する。次に、算出した動きベク
トルの大きさの平均値から、動きベクトルから見たフレ
ーム間相関指標ｒ mvを算出する。次に、予測誤差電力ｅ
i の平均値を算出する。予測誤差電力ｅiから見たフレ
ーム間相関指標ｒerr を算出する。フレーム間相関指標
ｒmv，ｒer r からフレーム間相関指標ｒinter を算出す
る。符号化対象フレームの輝度分散ｖａｒからフレーム
内相関指標ｒintra を算出する。フレーム間相関指標ｒ
inte r とフレーム内相関指標ｒintra を比較し、より高
い相関のモードを選択する。
Description
【０００１】
【発明の属する技術分野】本発明は画像符号化方法に関
する。
する。
【０００２】
【従来の技術】フレーム内符号化は、符号化対象フレー
ム内だけで符号化を行ない、空間的な冗長度を削減する
方法である。これに対し、フレーム間符号化は、符号化
済みの画像信号を参照フレームとし、時間方向の冗長度
も削減することにより、符号化効率を向上させる方法で
ある（図５（１））。また、符号化対象フレームをブロ
ック単位に分割し、動き補償を行なうことにより、さら
に効率を上げることができる（図５（２））。
ム内だけで符号化を行ない、空間的な冗長度を削減する
方法である。これに対し、フレーム間符号化は、符号化
済みの画像信号を参照フレームとし、時間方向の冗長度
も削減することにより、符号化効率を向上させる方法で
ある（図５（１））。また、符号化対象フレームをブロ
ック単位に分割し、動き補償を行なうことにより、さら
に効率を上げることができる（図５（２））。
【０００３】フレーム間符号化では、参照フレームとの
相関が高い場合は符号化効率が向上するが、相関が低い
場合は、逆に符号化効率が低下する。そこで、符号化対
象フレームのブロック単位にフレーム内符号化モード
（以下、イントラモード）とフレーム間符号化モード
（以下、インターモード）を適応的に切替えて符号化を
行なう。入力された符号化対象フレーム信号および符号
化対象フレームと参照フレームの差分信号（予測誤差信
号）を比較し、発生情報量が小さいと思われる信号を選
択することにより、イントラ／インターモードを決定す
る。例えば、入力信号の分散と予測誤差信号の分散を比
較し、分散が小さい信号を符号化する。
相関が高い場合は符号化効率が向上するが、相関が低い
場合は、逆に符号化効率が低下する。そこで、符号化対
象フレームのブロック単位にフレーム内符号化モード
（以下、イントラモード）とフレーム間符号化モード
（以下、インターモード）を適応的に切替えて符号化を
行なう。入力された符号化対象フレーム信号および符号
化対象フレームと参照フレームの差分信号（予測誤差信
号）を比較し、発生情報量が小さいと思われる信号を選
択することにより、イントラ／インターモードを決定す
る。例えば、入力信号の分散と予測誤差信号の分散を比
較し、分散が小さい信号を符号化する。
【０００４】このように、フレーム間符号化を行なうフ
レーム（以下、インターフレーム）では、適応的に符号
化モードを切替えるため、フレーム内符号化されたブロ
ックとフレーム間符号化されたブロックが混在し、各ブ
ロック毎に、符号化モードを表す情報がオーバーヘッド
として必要となる。
レーム（以下、インターフレーム）では、適応的に符号
化モードを切替えるため、フレーム内符号化されたブロ
ックとフレーム間符号化されたブロックが混在し、各ブ
ロック毎に、符号化モードを表す情報がオーバーヘッド
として必要となる。
【０００５】また、符号化対象フレームの全ブロックを
イントラモードにて符号化処理を行う場合として、 １：動画シーケンスの最初のフレーム ２：演算誤差などの蓄積を防ぐためのフレーム間符号化
の参照フレームの初期化 がある。参照フレームの初期化は、予め定められた周期
にて行われる（図６）。
イントラモードにて符号化処理を行う場合として、 １：動画シーケンスの最初のフレーム ２：演算誤差などの蓄積を防ぐためのフレーム間符号化
の参照フレームの初期化 がある。参照フレームの初期化は、予め定められた周期
にて行われる（図６）。
【０００６】
【発明が解決しようとする課題】上述した従来の方法
は、インターフレーム、ブロック単位にイントラ／イン
ターモードを適応的に切替えている。駒落しなどにより
参照フレームと符号化対象フレーム間の間隔（以下、フ
レーム間距離）が長くなった場合、参照フレームと符号
化対象フレームの相関が小さくなり、イントラモードが
選ばれるブロックが増加する（図７）。一般に、ＭＰＥ
Ｇ−１やＨ．２６１などのフレーム間符号化では、イン
トラモードの出現確率が低いと考えられるため、イント
ラモードを示す符号は、インターモードを示す符号に比
べ長くなっている。このため、イントラモードのブロッ
クの出現確率が高くなるに従い、符号化モードを示す符
号によるオーバーヘッドが増加する。
は、インターフレーム、ブロック単位にイントラ／イン
ターモードを適応的に切替えている。駒落しなどにより
参照フレームと符号化対象フレーム間の間隔（以下、フ
レーム間距離）が長くなった場合、参照フレームと符号
化対象フレームの相関が小さくなり、イントラモードが
選ばれるブロックが増加する（図７）。一般に、ＭＰＥ
Ｇ−１やＨ．２６１などのフレーム間符号化では、イン
トラモードの出現確率が低いと考えられるため、イント
ラモードを示す符号は、インターモードを示す符号に比
べ長くなっている。このため、イントラモードのブロッ
クの出現確率が高くなるに従い、符号化モードを示す符
号によるオーバーヘッドが増加する。
【０００７】このように、インターフレームにおいてイ
ントラモードのブロックの出現確率が高くなると、オー
バーヘッドが増加し、符号化効率が低下するという欠点
があった。
ントラモードのブロックの出現確率が高くなると、オー
バーヘッドが増加し、符号化効率が低下するという欠点
があった。
【０００８】逆に、イントラフレームでは、イントラモ
ードブロックのみであるから、符号化モードを示すため
のオーバーヘッドは必要無い。しかしながら、フレーム
単位でのイントラ／インター符号化モード切替えについ
ては、上述した通り、演算誤差の蓄積防止等を目的とし
て周期的にイントラフレームが挿入されるだけであり、
符号化効率向上を目的として行なわれていない。
ードブロックのみであるから、符号化モードを示すため
のオーバーヘッドは必要無い。しかしながら、フレーム
単位でのイントラ／インター符号化モード切替えについ
ては、上述した通り、演算誤差の蓄積防止等を目的とし
て周期的にイントラフレームが挿入されるだけであり、
符号化効率向上を目的として行なわれていない。
【０００９】本発明の目的は、フレーム内／フレーム間
符号化時のオーバヘッドを減少させることができ、結果
として符号化効率を向上させることができるフレーム内
／フレーム間符号化切替方法および画像符号化装置を提
供することにある。
符号化時のオーバヘッドを減少させることができ、結果
として符号化効率を向上させることができるフレーム内
／フレーム間符号化切替方法および画像符号化装置を提
供することにある。
【００１０】
【課題を解決するための手段】本発明のフレーム内／フ
レーム間符号化切替方法は、動画像シーケンスに対して
フレーム内／フレーム間符号化を行う際に、符号化対象
フレームにおいて、フレーム内符号化に対するフレーム
間符号化の符号化ゲインと発生情報量のオーバーヘッド
を比較し、符号化対象フレームの符号化モードを決定す
る。
レーム間符号化切替方法は、動画像シーケンスに対して
フレーム内／フレーム間符号化を行う際に、符号化対象
フレームにおいて、フレーム内符号化に対するフレーム
間符号化の符号化ゲインと発生情報量のオーバーヘッド
を比較し、符号化対象フレームの符号化モードを決定す
る。
【００１１】ここで、「符号化ゲイン」は符号化効率を
指す。フレーム内相関とフレーム間相関はそれぞれフレ
ーム内／フレーム間の符号化効率の近似として用いてい
る。正確には、フレーム内符号化の符号化効率とフレー
ム間符号化の符号化効率（オーバーヘッドを含む）を比
較する。
指す。フレーム内相関とフレーム間相関はそれぞれフレ
ーム内／フレーム間の符号化効率の近似として用いてい
る。正確には、フレーム内符号化の符号化効率とフレー
ム間符号化の符号化効率（オーバーヘッドを含む）を比
較する。
【００１２】本発明の実施態様によれば、既に符号化さ
れたフレームまたは符号化対象フレームの情報から、符
号化対象フレームのフレーム内相関およびフレーム間相
関を算出し、両相関値の比較の結果から符号化対象フレ
ームの符号化モードを決定する。
れたフレームまたは符号化対象フレームの情報から、符
号化対象フレームのフレーム内相関およびフレーム間相
関を算出し、両相関値の比較の結果から符号化対象フレ
ームの符号化モードを決定する。
【００１３】本発明の他の実施態様によれば、符号化対
象フレームと参照フレームのフレーム間距離を用いてフ
レーム間符号化での発生情報量を推定し、符号化モード
を決定する。
象フレームと参照フレームのフレーム間距離を用いてフ
レーム間符号化での発生情報量を推定し、符号化モード
を決定する。
【００１４】本発明のフレーム内／フレーム間符号化切
替方法は、直前にフレーム間符号化したフレーム内のイ
ンターモードの動きベクトルについて、該動きベクトル
の大きさの平均値を算出する段階と、算出された動きベ
クトルの大きさの平均値から、動きベクトルから見たフ
レーム間相関指標ｒmvを算出する段階と、直前にフレー
ム間符号化したフレームのインターモードブロックでの
予測誤差電力の平均値を算出する段階と、算出された平
均誤差電力から、予測誤差電力から見たフレーム間相関
誤差ｒer r を算出する段階と、算出された２つのフレー
ム間相関指標ｒmvとｒerr から１つのフレーム間相関指
標ｒinter を算出する段階と、符号化対象フレームの輝
度分散ｖａｒからフレーム内相関指標ｒintra を算出す
る段階と、算出されたフレーム間相関指標ｒinter とフ
レーム内相関指標ｒintra を比較し、より相関の高い符
号化モードを選択する段階を有する。
替方法は、直前にフレーム間符号化したフレーム内のイ
ンターモードの動きベクトルについて、該動きベクトル
の大きさの平均値を算出する段階と、算出された動きベ
クトルの大きさの平均値から、動きベクトルから見たフ
レーム間相関指標ｒmvを算出する段階と、直前にフレー
ム間符号化したフレームのインターモードブロックでの
予測誤差電力の平均値を算出する段階と、算出された平
均誤差電力から、予測誤差電力から見たフレーム間相関
誤差ｒer r を算出する段階と、算出された２つのフレー
ム間相関指標ｒmvとｒerr から１つのフレーム間相関指
標ｒinter を算出する段階と、符号化対象フレームの輝
度分散ｖａｒからフレーム内相関指標ｒintra を算出す
る段階と、算出されたフレーム間相関指標ｒinter とフ
レーム内相関指標ｒintra を比較し、より相関の高い符
号化モードを選択する段階を有する。
【００１５】本発明の画像符号化装置は、画像信号を入
力し、符号化対象フレームの輝度値の分散ｖａｒを算出
する輝度分散算出部と、入力画像信号をブロックに分割
するブロック分割部と、符号化対象フレームと参照フレ
ームとの間のフレーム間距離ｎ、直前にフレーム間符号
化を行なったフレームにて算出した動きベクトル、該動
きベクトルを算出した際のフレーム間距離ｍ、前記符号
化対象フレームの輝度値の分散ｖａｒ、直前に符号化し
たフレーム間符号化モードブロックでの予測誤差電力ｅ
iから、請求項４に記載の方法で符号化モードを選択す
るイントラ／インターフレーム切替え制御部と、前記イ
ントラ／インターフレーム切替え制御部で選択された、
符号化対象フレームの符号化モードがフレーム間符号化
モードの場合、原信号の分散と予測誤差信号の分散を比
較し、原信号の分散の方が小さい場合はフレーム内符号
化モード、予測誤差信号の分散の方が小さい場合はフレ
ーム間符号化モードとし、符号化対象フレームの選択さ
れた符号化モードがフレーム内符号化モードであれば常
にフレーム内符号化モードとするフレーム内／フレーム
間モードブロック切替え制御部と、フレームメモリと、
直前に符号化したフレームのフレーム間符号化モードブ
ロックでの予測誤差電力ｅi の平均値を算出し、前記イ
ントラ／インターフレーム切替え制御部に出力し、符号
化対象ブロックがフレーム間符号化モードの場合、ブロ
ック単位の画像信号と、前記フレームメモリ内の１フレ
ーム前の復号画像から動きベクトルｖiを検出し、符号
化対象ブロックがフレーム内符号化モードの場合、ブロ
ック単位の画像信号から動きベクトルを検出する動きベ
クトル検出部と、前記動きベクトルｖi または前記フレ
ームメモリから出力された前フレームのデータに対して
動き補償を行う動き補償部と、前記イントラ／インター
モードブロック切替え制御部により制御され、フレーム
間符号化モードの場合、動き補償された前記動きベクト
ルｖi を選択し、フレーム内符号化モードの場合、０を
出力する第１のスイッチと、前記ブロック分割部の出力
と前記第１のスイッチの出力から予測誤差信号を求める
減算器と、前記予測誤差信号を離散コサイン変換係数に
変換する離散コサイン変換部と、バッファと、前記バッ
ファのバッファメモリ占有量を基にして量子化ステップ
を設定する量子化ステップ計算部と、前記離散コサイン
変換係数を前記量子化ステップにて量子化する量子化部
と、量子化された前記離散コサイン変換係数を可変長符
号化し、前記バッファメモリに入力する可変長符号化部
と、量子化された前記離散コサイン変換係数を逆量子化
する逆量子化部と、逆量子化された前記離散コサイン変
換係数を逆離散コサイン変換する逆離散コサイン変換部
と、前記インター／イントラモードブロック切替え制御
部により制御され、フレーム間符号化モードの場合、前
記動き補償部で動き補償された前フレームのデータを選
択し、フレーム内符号化モードの場合、０を出力する第
２のスイッチと、前記第２のスイッチの出力と、逆離散
コサイン変換された前記離散コサイン変換係数を加算
し、復号画像を生成し、前記フレームメモリに蓄える加
算器を有する。
力し、符号化対象フレームの輝度値の分散ｖａｒを算出
する輝度分散算出部と、入力画像信号をブロックに分割
するブロック分割部と、符号化対象フレームと参照フレ
ームとの間のフレーム間距離ｎ、直前にフレーム間符号
化を行なったフレームにて算出した動きベクトル、該動
きベクトルを算出した際のフレーム間距離ｍ、前記符号
化対象フレームの輝度値の分散ｖａｒ、直前に符号化し
たフレーム間符号化モードブロックでの予測誤差電力ｅ
iから、請求項４に記載の方法で符号化モードを選択す
るイントラ／インターフレーム切替え制御部と、前記イ
ントラ／インターフレーム切替え制御部で選択された、
符号化対象フレームの符号化モードがフレーム間符号化
モードの場合、原信号の分散と予測誤差信号の分散を比
較し、原信号の分散の方が小さい場合はフレーム内符号
化モード、予測誤差信号の分散の方が小さい場合はフレ
ーム間符号化モードとし、符号化対象フレームの選択さ
れた符号化モードがフレーム内符号化モードであれば常
にフレーム内符号化モードとするフレーム内／フレーム
間モードブロック切替え制御部と、フレームメモリと、
直前に符号化したフレームのフレーム間符号化モードブ
ロックでの予測誤差電力ｅi の平均値を算出し、前記イ
ントラ／インターフレーム切替え制御部に出力し、符号
化対象ブロックがフレーム間符号化モードの場合、ブロ
ック単位の画像信号と、前記フレームメモリ内の１フレ
ーム前の復号画像から動きベクトルｖiを検出し、符号
化対象ブロックがフレーム内符号化モードの場合、ブロ
ック単位の画像信号から動きベクトルを検出する動きベ
クトル検出部と、前記動きベクトルｖi または前記フレ
ームメモリから出力された前フレームのデータに対して
動き補償を行う動き補償部と、前記イントラ／インター
モードブロック切替え制御部により制御され、フレーム
間符号化モードの場合、動き補償された前記動きベクト
ルｖi を選択し、フレーム内符号化モードの場合、０を
出力する第１のスイッチと、前記ブロック分割部の出力
と前記第１のスイッチの出力から予測誤差信号を求める
減算器と、前記予測誤差信号を離散コサイン変換係数に
変換する離散コサイン変換部と、バッファと、前記バッ
ファのバッファメモリ占有量を基にして量子化ステップ
を設定する量子化ステップ計算部と、前記離散コサイン
変換係数を前記量子化ステップにて量子化する量子化部
と、量子化された前記離散コサイン変換係数を可変長符
号化し、前記バッファメモリに入力する可変長符号化部
と、量子化された前記離散コサイン変換係数を逆量子化
する逆量子化部と、逆量子化された前記離散コサイン変
換係数を逆離散コサイン変換する逆離散コサイン変換部
と、前記インター／イントラモードブロック切替え制御
部により制御され、フレーム間符号化モードの場合、前
記動き補償部で動き補償された前フレームのデータを選
択し、フレーム内符号化モードの場合、０を出力する第
２のスイッチと、前記第２のスイッチの出力と、逆離散
コサイン変換された前記離散コサイン変換係数を加算
し、復号画像を生成し、前記フレームメモリに蓄える加
算器を有する。
【００１６】図３に、フレーム間距離と両モードでの発
生情報量の差を示す。図３の領域Ａでは、インターフレ
ームの方が効率が良いが、領域Ｂでは、イントラフレー
ムとして処理した方が発生情報量が少なくなっている。
生情報量の差を示す。図３の領域Ａでは、インターフレ
ームの方が効率が良いが、領域Ｂでは、イントラフレー
ムとして処理した方が発生情報量が少なくなっている。
【００１７】そこで、本発明では、符号化対象フレーム
について、イントラフレームとインターフレームで符号
化し、各フレームタイプの発生情報量を比較し、発生情
報量が小さくなるフレームタイプを選択する。図３の例
では、領域Ａではインターフレーム、領域Ｂではイント
ラフレームとして符号化処理を行なう。発生情報量が小
さいフレームタイプを常に選択することにより、オーバ
ーヘッドを最小限に抑えることができ、符号化効率が向
上する。
について、イントラフレームとインターフレームで符号
化し、各フレームタイプの発生情報量を比較し、発生情
報量が小さくなるフレームタイプを選択する。図３の例
では、領域Ａではインターフレーム、領域Ｂではイント
ラフレームとして符号化処理を行なう。発生情報量が小
さいフレームタイプを常に選択することにより、オーバ
ーヘッドを最小限に抑えることができ、符号化効率が向
上する。
【００１８】図３における領域Ａと領域Ｂの境界（以
下、境界ＡＢ）は、入力画像信号によって性質が異なる
ため、一意に定めることはできない。そのため、符号化
対象フレームに対し、フレーム内符号化とフレーム間符
号化を同時に行なう必要がある。
下、境界ＡＢ）は、入力画像信号によって性質が異なる
ため、一意に定めることはできない。そのため、符号化
対象フレームに対し、フレーム内符号化とフレーム間符
号化を同時に行なう必要がある。
【００１９】そこで、フレーム間相関やフレーム内相関
などから、インターフレームおよびイントラフレームで
の発生情報量を近似する。例として、フレーム間相関の
指標をフレーム間予測誤差電力または動き量により、フ
レーム内相関の指標を輝度信号の分散より算出する。
などから、インターフレームおよびイントラフレームで
の発生情報量を近似する。例として、フレーム間相関の
指標をフレーム間予測誤差電力または動き量により、フ
レーム内相関の指標を輝度信号の分散より算出する。
【００２０】フレーム間予測誤差電力が大きい場合、フ
レーム間の予測効率が低下していることを示しており、
フレーム間相関は小さいと考えられる。フレーム間予測
誤差電力が小さい場合、フレーム間の予測効率が高いこ
とから、フレーム間相関は大きいと考えられる。今、フ
レーム予測誤差電力から見たフレーム間相関の指標ｒ
err を、予測誤差電力Ｅrrp から算出する。
レーム間の予測効率が低下していることを示しており、
フレーム間相関は小さいと考えられる。フレーム間予測
誤差電力が小さい場合、フレーム間の予測効率が高いこ
とから、フレーム間相関は大きいと考えられる。今、フ
レーム予測誤差電力から見たフレーム間相関の指標ｒ
err を、予測誤差電力Ｅrrp から算出する。
【００２１】ｒerr ＝ｆerr （Ｅrrp ） ｆerr は、予測誤差電力Ｅrrp が小さくなればフレーム
間相関指標ｒerr が大きくなり、予測誤差電力Ｅrrp が
大きくなればフレーム間相関指標ｒerr が小さくなる関
数である。
間相関指標ｒerr が大きくなり、予測誤差電力Ｅrrp が
大きくなればフレーム間相関指標ｒerr が小さくなる関
数である。
【００２２】また、フレーム間距離ｍで算出された動き
ベクトル
ベクトル
【００２３】
【外１】 から物体の移動速度ｖを次式のように求めることができ
る。
る。
【００２４】
【数１】 ｎフレーム後の位置ｌn は、 ｌn ＝ｖ・ｎ となる。移動速度ｖが大きい場合、フレーム間距離ｎが
大きくなるに従い、参照フレーム内にあった物体はフレ
ーム外に移動している可能性が高くなる（図４
（１））。逆に、移動速度ｖが小さい場合、フレーム間
距離ｎが大きくなっても、参照フレーム内にあった物体
は、フレームに留まっている可能性がある（図４
（２））。よって、移動速度ｖの大きさによりｎフレー
ム後のフレーム間相関を推定できる。今、動き量から見
たフレーム間相関の指標ｒmvを、フレーム間距離ｎでの
動き量ｌn から算出する。
大きくなるに従い、参照フレーム内にあった物体はフレ
ーム外に移動している可能性が高くなる（図４
（１））。逆に、移動速度ｖが小さい場合、フレーム間
距離ｎが大きくなっても、参照フレーム内にあった物体
は、フレームに留まっている可能性がある（図４
（２））。よって、移動速度ｖの大きさによりｎフレー
ム後のフレーム間相関を推定できる。今、動き量から見
たフレーム間相関の指標ｒmvを、フレーム間距離ｎでの
動き量ｌn から算出する。
【００２５】ｒmv＝ｆmv（ｌn ） ｆmvは、動き量ｌn が小さくなればフレーム間相関指標
ｒmvが大きくなり、動き量ｌn が大きくなればフレーム
間相関指標ｒmvが小さくなる関数である。
ｒmvが大きくなり、動き量ｌn が大きくなればフレーム
間相関指標ｒmvが小さくなる関数である。
【００２６】それぞれのパラメータから求めた２つのフ
レーム間相関指標ｒerr ，ｒmvから１つのフレーム間相
関ｒinter を近似する。
レーム間相関指標ｒerr ，ｒmvから１つのフレーム間相
関ｒinter を近似する。
【００２７】ｒinter ＝ｆinter （ｒmv，ｒerr ） 輝度信号の分散ｖａｒが大きい場合、フレーム内相関は
小さいと考えられ、輝度信号の分散ｖａｒが小さい場
合、フレーム内相関は大きいと考えられる。今、フレー
ム内相関の指標ｒintra を輝度信号の分散ｖａｒから算
出する。
小さいと考えられ、輝度信号の分散ｖａｒが小さい場
合、フレーム内相関は大きいと考えられる。今、フレー
ム内相関の指標ｒintra を輝度信号の分散ｖａｒから算
出する。
【００２８】ｒintra ＝ｆintra （ｖａｒ） ｆintra は、輝度信号の分散ｖａｒが小さくなればフレ
ーム内相関指標ｒintraが大きくなり、輝度信号の分散
ｖａｒが大きくなればフレーム内相関指標ｒintr a が小
さくなる関数である。
ーム内相関指標ｒintraが大きくなり、輝度信号の分散
ｖａｒが大きくなればフレーム内相関指標ｒintr a が小
さくなる関数である。
【００２９】上述したように、近似によりイントラフレ
ームおよびインターフレームの相関指標を推定し、より
相関が高くなるフレームタイプにて符号化処理を行な
う。
ームおよびインターフレームの相関指標を推定し、より
相関が高くなるフレームタイプにて符号化処理を行な
う。
【００３０】
【発明の実施の形態】次に、本発明の実施形態について
図面を参照して説明する。
図面を参照して説明する。
【００３１】図１は本発明の一実施形態の画像符号化装
置の構成図、図２はイントラ／インターフレーム切替え
制御部１１６の処理を示す流れ図である。
置の構成図、図２はイントラ／インターフレーム切替え
制御部１１６の処理を示す流れ図である。
【００３２】本実施形態では、フレーム間相関を、符号
化対象フレームを参照フレームのフレーム間距離ｎ、直
前に符号化を行なったフレームにて算出した動き量ｖお
よび予測誤差信号電力ｅから算出し、フレーム内相関
を、符号化対象フレームの輝度値の分散から算出する。
画像符号化方式としては動き補償と離散コサイン変換を
使用した場合を想定し、ブロック単位で符号化処理を行
なう。フレーム内のブロック数をＭとする。
化対象フレームを参照フレームのフレーム間距離ｎ、直
前に符号化を行なったフレームにて算出した動き量ｖお
よび予測誤差信号電力ｅから算出し、フレーム内相関
を、符号化対象フレームの輝度値の分散から算出する。
画像符号化方式としては動き補償と離散コサイン変換を
使用した場合を想定し、ブロック単位で符号化処理を行
なう。フレーム内のブロック数をＭとする。
【００３３】本実施形態の画像符号化装置は、入力端子
１０１と輝度分散算出部１０２とブロック分割部１０３
と動きベクトル検出部１０５と動き補償部１０７とスイ
ッチ１０８と離散コサイン変換部１１０と量子化部１１
１と逆量子化部１１２と逆離散コサイン変換部１１３と
スイッチ１１４とフレームメモリ１１５とイントラ／イ
ンターフレーム切替え制御部１１６とイントラ／インタ
ーモードブロック切替え制御部１１７と量子化ステップ
計算部１１８と可変長符号化部１２１とバッファ１２２
と減算器１２３と加算器１２４と出力端子１２５で構成
されている。
１０１と輝度分散算出部１０２とブロック分割部１０３
と動きベクトル検出部１０５と動き補償部１０７とスイ
ッチ１０８と離散コサイン変換部１１０と量子化部１１
１と逆量子化部１１２と逆離散コサイン変換部１１３と
スイッチ１１４とフレームメモリ１１５とイントラ／イ
ンターフレーム切替え制御部１１６とイントラ／インタ
ーモードブロック切替え制御部１１７と量子化ステップ
計算部１１８と可変長符号化部１２１とバッファ１２２
と減算器１２３と加算器１２４と出力端子１２５で構成
されている。
【００３４】まず、入力端子１０１から入力された画像
は輝度分散算出部１０２に入力され、符号化対象フレー
ムの輝度値の分散ｖａｒが算出される。また、入力画像
信号は小ブロック分割部１０３にてＭ個のブロックに分
割される。次に、イントラ／インターフレーム切替え制
御部１１６にて、符号化対象フレームと参照フレームと
のフレーム間距離ｎ、直前にフレーム間符号化を行なっ
たフレームにて算出した動きベクトル
は輝度分散算出部１０２に入力され、符号化対象フレー
ムの輝度値の分散ｖａｒが算出される。また、入力画像
信号は小ブロック分割部１０３にてＭ個のブロックに分
割される。次に、イントラ／インターフレーム切替え制
御部１１６にて、符号化対象フレームと参照フレームと
のフレーム間距離ｎ、直前にフレーム間符号化を行なっ
たフレームにて算出した動きベクトル
【００３５】
【外２】 、動きベクトル
【００３６】
【外３】 を算出した際のフレーム間距離ｍ、符号化対象フレーム
の輝度値の分散ｖａｒ、予測誤差電力ｅiから、符号化
対象フレームの符号化モードを図２に示す手順で決定す
る。
の輝度値の分散ｖａｒ、予測誤差電力ｅiから、符号化
対象フレームの符号化モードを図２に示す手順で決定す
る。
【００３７】１．直前にフレーム間符号化したフレーム
内のＭinter 個（ただし、Ｍinter≦Ｍ）のインターモ
ードブロックの動きベクトル
内のＭinter 個（ただし、Ｍinter≦Ｍ）のインターモ
ードブロックの動きベクトル
【００３８】
【外４】 について、動きベクトルの大きさの平均値
【００３９】
【外５】 を算出する（ステップ２０１）。
【００４０】
【数２】 ２．算出したインターモードブロックの動きベクトルの
大きさの平均値
大きさの平均値
【００４１】
【外６】 から、動きベクトルから見たフレーム間相関指標ｒmvを
算出する（ステップ２０２）。
算出する（ステップ２０２）。
【００４２】
【数３】 ３．直前に符号化したフレームのＭinter 個のインター
モードブロックでの予測誤差電力ｅi の平均値
モードブロックでの予測誤差電力ｅi の平均値
【００４３】
【外７】 を算出する（ステップ２０３）。
【００４４】
【数４】 ４．算出した平均誤差電力
【００４５】
【外８】 から、予測誤差電力ｅi から見たフレーム間相関指標ｒ
err を算出する（ステップ２０４）。
err を算出する（ステップ２０４）。
【００４６】
【数５】 ５．算出した２つのフレーム間相関指標ｒmv，ｒerr か
ら１つのフレーム間相関指標ｒinter を算出する（ステ
ップ２０５）。
ら１つのフレーム間相関指標ｒinter を算出する（ステ
ップ２０５）。
【００４７】
【数６】 ６．符号化対象フレームの輝度分散ｖａｒからフレーム
内相関指標ｒintra を算出する（ステップ２０６）。
内相関指標ｒintra を算出する（ステップ２０６）。
【００４８】
【数７】 ７．算出したフレーム間相関指標ｒinter とフレーム内
相関指標ｒintra を比較し、より相関の高いモードを選
択する（ステップ２０７）。
相関指標ｒintra を比較し、より相関の高いモードを選
択する（ステップ２０７）。
【００４９】符号化対象フレームがインターフレームで
ある場合、イントラ／インターブロック切替え制御部１
１７にて、ブロックのモード決定を行なう。決定には、
原信号の分散と予測誤差信号の分散を比較し、原信号の
分散が小さい場合はイントラモード、予測誤差信号の分
散が小さい場合はインターモードとする。原信号をｓ
（ｍ，ｎ）、予測信号をｐ（ｍ，ｎ）、ブロックサイズ
をＮ×Ｎすると、原信号の分散ｖａｒs と予測誤差信号
の分散ｖａｒe （ｍ，ｎ）は以下の通りである。
ある場合、イントラ／インターブロック切替え制御部１
１７にて、ブロックのモード決定を行なう。決定には、
原信号の分散と予測誤差信号の分散を比較し、原信号の
分散が小さい場合はイントラモード、予測誤差信号の分
散が小さい場合はインターモードとする。原信号をｓ
（ｍ，ｎ）、予測信号をｐ（ｍ，ｎ）、ブロックサイズ
をＮ×Ｎすると、原信号の分散ｖａｒs と予測誤差信号
の分散ｖａｒe （ｍ，ｎ）は以下の通りである。
【００５０】
【数８】 符号化対象フレームがイントラフレームである場合、原
信号の分散や予測誤差信号の分散に関係なく、常にイン
トラモードとする。
信号の分散や予測誤差信号の分散に関係なく、常にイン
トラモードとする。
【００５１】符号化対象ブロックがインターモードであ
る場合、ブロック単位の画像信号１０４とフレームメモ
リ１１５内の１フレーム前の復号画像から動きベクトル
検出部１０５において動きベクトルｖi （１０６）を検
出する。この動きベクトルｖ i （１０６）を基に、動き
補償部１０７において動き補償を行ない、スイッチ１０
８をインター側に切替え、減算器１２３により予測誤差
信号を符号化対象ブロック信号１０９として求め、離散
コサイン変換部１１０にて離散コサイン変換を行なう。
また、符号化対象ブロックがイントラブロックの場合、
スイッチ１０８をイントラ側に切替え、ブロック単位の
画像信号１０４に対し、離散コサイン変換部１１０にて
離散コサイン変換を行なう。
る場合、ブロック単位の画像信号１０４とフレームメモ
リ１１５内の１フレーム前の復号画像から動きベクトル
検出部１０５において動きベクトルｖi （１０６）を検
出する。この動きベクトルｖ i （１０６）を基に、動き
補償部１０７において動き補償を行ない、スイッチ１０
８をインター側に切替え、減算器１２３により予測誤差
信号を符号化対象ブロック信号１０９として求め、離散
コサイン変換部１１０にて離散コサイン変換を行なう。
また、符号化対象ブロックがイントラブロックの場合、
スイッチ１０８をイントラ側に切替え、ブロック単位の
画像信号１０４に対し、離散コサイン変換部１１０にて
離散コサイン変換を行なう。
【００５２】次に、量子化ステップ計算部１１８におい
ては、バッファメモリ占有量１１９を基にして、量子化
ステップを設定する。設定された量子化ステップ１２０
を使って、離散コサイン変換係数を量子化部１１１で量
子化し、可変長符号化部１２１で可変長符号化した後、
バッファメモリ１２２に入力する。符号化データを一定
のビットレートで出力端子１２５に出力する。また、量
子化した離散コサイン変換係数を逆量子化部１１２にて
逆量子化、逆離散コサイン変換部１１３で逆離散コサイ
ン変換を行なう。符号化対象ブロックがインターモード
ブロックの場合のみ、動き補償された前フレームのデー
タと加算器１２４にて加算して復号画像を生成する。そ
して、復号画像を次フレームの動き補償予測のためにフ
レームメモリ１１５に蓄える。
ては、バッファメモリ占有量１１９を基にして、量子化
ステップを設定する。設定された量子化ステップ１２０
を使って、離散コサイン変換係数を量子化部１１１で量
子化し、可変長符号化部１２１で可変長符号化した後、
バッファメモリ１２２に入力する。符号化データを一定
のビットレートで出力端子１２５に出力する。また、量
子化した離散コサイン変換係数を逆量子化部１１２にて
逆量子化、逆離散コサイン変換部１１３で逆離散コサイ
ン変換を行なう。符号化対象ブロックがインターモード
ブロックの場合のみ、動き補償された前フレームのデー
タと加算器１２４にて加算して復号画像を生成する。そ
して、復号画像を次フレームの動き補償予測のためにフ
レームメモリ１１５に蓄える。
【００５３】以上述べた実施形態では、フレーム間相関
の指標算出に予測誤差電力と動き量、フレーム内相関の
指標算出に輝度値の分散を用いたが、フレーム間の相関
およびフレーム内の相関を示すものであれば、これにと
らわれるものではない。
の指標算出に予測誤差電力と動き量、フレーム内相関の
指標算出に輝度値の分散を用いたが、フレーム間の相関
およびフレーム内の相関を示すものであれば、これにと
らわれるものではない。
【００５４】
【発明の効果】以上説明したように、本発明によれば、
フレーム内／フレーム間符号化時のオーバヘッドを減少
させることができ、結果として符号化効率を向上させる
ことが可能となる。
フレーム内／フレーム間符号化時のオーバヘッドを減少
させることができ、結果として符号化効率を向上させる
ことが可能となる。
【図１】本発明の一実施形態の画像符号化装置のブロッ
ク図である。
ク図である。
【図２】図１中のイントラ／インターフレーム切替え制
御部１１６の処理の流れ図である。
御部１１６の処理の流れ図である。
【図３】発生情報量とオーバーヘッドを示す図である。
【図４】ｎフレーム後の物体の位置と動き量を示す図で
ある。
ある。
【図５】フレーム間符号化を示す図である。
【図６】参照フレームの初期化を示す図である。
【図７】イントラモードブロックとインターモードブロ
ックの比率を示す図である。
ックの比率を示す図である。
１０１ 入力端子 １０２ 輝度分散算出部 １０３ 小ブロック分割部 １０４ 小ブロック画像信号 １０５ 動きベクトル検出部 １０６ 動きベクトル １０７ 動き補償部 １０８ スイッチ １０９ 符号化対象ブロック信号 １１０ 離散コサイン変換部 １１１ 量子化部 １１２ 逆量子化部 １１３ 逆離散コサイン変換部 １１４ スイッチ １１５ フレームメモリ １１６ イントラ／インターフレーム切替え制御部 １１７ イントラ／インターブロック切替え制御部 １１８ 量子化ステップ計算部 １１９ バッファメモリ占有量 １２０ 量子化ステップ １２１ 可変長符号化部 １２２ バッファメモリ １２３ 減算器 １２４ 加算器 １２５ 出力端子 ２０１〜２０７ ステップ
Claims (5)
- 【請求項１】 動画像シーケンスに対してフレーム内／
フレーム間符号化を行う際に、符号化対象フレームにお
いて、フレーム内符号化に対するフレーム間符号化の符
号化ゲインと発生情報量のオーバーヘッドを比較し、符
号化対象フレームの符号化モードを決定するフレーム内
／フレーム間符号化切替方法。 - 【請求項２】 既に符号化されたフレームまたは符号化
対象フレームの情報から、符号化対象フレームのフレー
ム内相関およびフレーム間相関を算出し、両相関値の比
較の結果から符号化対象フレームの符号化モードを決定
する請求項１記載のフレーム内／フレーム間符号化切替
方法。 - 【請求項３】 符号化対象フレームと参照フレームのフ
レーム間距離を用いてフレーム間符号化での発生情報量
を推定し、符号化モードを決定する請求項２記載のフレ
ーム内／フレーム間符号化切替方法。 - 【請求項４】 直前にフレーム間符号化したフレーム内
のインターモードの動きベクトルについて、該動きベク
トルの大きさの平均値を算出する段階と、 算出された動きベクトルの大きさの平均値から、動きベ
クトルから見たフレーム間相関指標ｒmvを算出する段階
と、 直前にフレーム間符号化したフレームのインターモード
ブロックでの予測誤差電力の平均値を算出する段階と、 算出された平均誤差電力から、予測誤差電力から見たフ
レーム間相関誤差ｒer r を算出する段階と、 算出された２つのフレーム間相関指標ｒmvとｒerr から
１つのフレーム間相関指標ｒinter を算出する段階と、 符号化対象フレームの輝度分散ｖａｒからフレーム内相
関指標ｒintra を算出する段階と、 算出されたフレーム間相関指標ｒinter とフレーム内相
関指標ｒintra を比較し、より相関の高い符号化モード
を選択する段階を有する、フレーム内／フレーム間符号
化切替方法。 - 【請求項５】 画像信号を入力し、符号化対象フレーム
の輝度値の分散ｖａｒを算出する輝度分散算出部と、 入力画像信号をブロックに分割するブロック分割部と、 符号化対象フレームと参照フレームとの間のフレーム間
距離ｎ、直前にフレーム間符号化を行なったフレームに
て算出した動きベクトル、該動きベクトルを算出した際
のフレーム間距離ｍ、前記符号化対象フレームの輝度値
の分散ｖａｒ、直前に符号化したフレーム間符号化モー
ドブロックでの予測誤差電力ｅiから、請求項４に記載
の方法で符号化モードを選択するイントラ／インターフ
レーム切替え制御部と、 前記イントラ／インターフレーム切替え制御部で選択さ
れた、符号化対象フレームの符号化モードがフレーム間
符号化モードの場合、原信号の分散と予測誤差信号の分
散を比較し、原信号の分散の方が小さい場合はフレーム
内符号化モード、予測誤差信号の分散の方が小さい場合
はフレーム間符号化モードとし、符号化対象フレームの
選択された符号化モードがフレーム内符号化モードであ
れば常にフレーム内符号化モードとするフレーム内／フ
レーム間モードブロック切替え制御部と、 フレームメモリと、 直前に符号化したフレームのフレーム間符号化モードブ
ロックでの予測誤差電力ｅi の平均値を算出し、前記イ
ントラ／インターフレーム切替え制御部に出力し、符号
化対象ブロックがフレーム間符号化モードの場合、ブロ
ック単位の画像信号と、前記フレームメモリ内の１フレ
ーム前の復号画像から動きベクトルｖiを検出し、符号
化対象ブロックがフレーム内符号化モードの場合、ブロ
ック単位の画像信号から動きベクトルを検出する動きベ
クトル検出部と、 前記動きベクトルｖi または前記フレームメモリから出
力された前フレームのデータに対して動き補償を行う動
き補償部と、 前記イントラ／インターモードブロック切替え制御部に
より制御され、フレーム間符号化モードの場合、動き補
償された前記動きベクトルｖi を選択し、フレーム内符
号化モードの場合、０を出力する第１のスイッチと、 前記ブロック分割部の出力と前記第１のスイッチの出力
から予測誤差信号を求める減算器と、 前記予測誤差信号を離散コサイン変換係数に変換する離
散コサイン変換部と、 バッファと、 前記バッファのバッファメモリ占有量を基にして量子化
ステップを設定する量子化ステップ計算部と、 前記離散コサイン変換係数を前記量子化ステップにて量
子化する量子化部と、 量子化された前記離散コサイン変換係数を可変長符号化
し、前記バッファメモリに入力する可変長符号化部と、 量子化された前記離散コサイン変換係数を逆量子化する
逆量子化部と、 逆量子化された前記離散コサイン変換係数を逆離散コサ
イン変換する逆離散コサイン変換部と、 前記インター／イントラモードブロック切替え制御部に
より制御され、フレーム間符号化モードの場合、前記動
き補償部で動き補償された前フレームのデータを選択
し、フレーム内符号化モードの場合、０を出力する第２
のスイッチと、 前記第２のスイッチの出力と、逆離散コサイン変換され
た前記離散コサイン変換係数を加算し、復号画像を生成
し、前記フレームメモリに蓄える加算器を有する画像符
号化装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP14448296A JPH09327023A (ja) | 1996-06-06 | 1996-06-06 | フレーム内／フレーム間符号化切替方法および画像符号化装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP14448296A JPH09327023A (ja) | 1996-06-06 | 1996-06-06 | フレーム内／フレーム間符号化切替方法および画像符号化装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH09327023A true JPH09327023A (ja) | 1997-12-16 |
Family
ID=15363348
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP14448296A Pending JPH09327023A (ja) | 1996-06-06 | 1996-06-06 | フレーム内／フレーム間符号化切替方法および画像符号化装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH09327023A (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6501800B1 (en) * | 1999-09-14 | 2002-12-31 | Nec Corporation | Variable bit-rate encoding device |
| US7116715B2 (en) | 1999-03-05 | 2006-10-03 | Kdd Corporation | Video coding apparatus according to a feature of a video picture |
| US7333660B2 (en) | 2003-11-19 | 2008-02-19 | Kabushiki Kaisha Toshiba | Apparatus for and method of coding moving picture |
| US10893275B2 (en) | 2017-06-15 | 2021-01-12 | Tencent Technology (Shenzhen) Company Ltd | Video coding method, device, device and storage medium |
-
1996
- 1996-06-06 JP JP14448296A patent/JPH09327023A/ja active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7116715B2 (en) | 1999-03-05 | 2006-10-03 | Kdd Corporation | Video coding apparatus according to a feature of a video picture |
| US6501800B1 (en) * | 1999-09-14 | 2002-12-31 | Nec Corporation | Variable bit-rate encoding device |
| US7333660B2 (en) | 2003-11-19 | 2008-02-19 | Kabushiki Kaisha Toshiba | Apparatus for and method of coding moving picture |
| US10893275B2 (en) | 2017-06-15 | 2021-01-12 | Tencent Technology (Shenzhen) Company Ltd | Video coding method, device, device and storage medium |
| US11297328B2 (en) | 2017-06-15 | 2022-04-05 | Tencent Technology (Shenzhen) Company Ltd | Video coding method, device, device and storage medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2963416B2 (ja) | 量子化活動度を用いてビット発生量を制御する映像符号化方法及び装置 | |
| US7133447B2 (en) | Motion estimation method using adaptive mode decision | |
| JPH10174103A (ja) | 画像符号化装置、符号化画像記録媒体、画像復号化装置、画像符号化方法、および符号化画像伝送方法 | |
| CN101491106A (zh) | 图像处理设备和方法及程序 | |
| WO2006074043A2 (en) | Method and apparatus for providing motion estimation with weight prediction | |
| JP4525878B2 (ja) | 動画像符号化方法 | |
| US6950465B1 (en) | Video coding by adaptively controlling the interval between successive predictive-coded frames according to magnitude of motion | |
| JP3846424B2 (ja) | 画像信号量子化装置およびその方法 | |
| JP3757088B2 (ja) | 動画像符号化装置および方法 | |
| WO2003056838A1 (en) | Moving picture compression/coding apparatus and motion vector detection method | |
| JP4130617B2 (ja) | 動画像符号化方法および動画像符号化装置 | |
| JPH09327023A (ja) | フレーム内／フレーム間符号化切替方法および画像符号化装置 | |
| JP2000032468A (ja) | 画像符号化方法および動き補償モード選択プログラムを記録した記録媒体 | |
| JP3200518B2 (ja) | 画像信号符号化装置 | |
| JP4676513B2 (ja) | 符号化ピクチャタイプ決定方法，装置，そのプログラムおよびその記録媒体 | |
| KR960012937B1 (ko) | 적응적 전처리 기능을 갖는 영상 부호화 장치 | |
| KR100266708B1 (ko) | 양방향 예측 픽쳐의 조건부 보충 부호화 방법 | |
| JPH07111653A (ja) | 符号化装置 | |
| KR100207419B1 (ko) | 부호화 비트발생율 제어방법 및 그 제어장치 | |
| JP3843160B2 (ja) | 動画像予測符号化方法 | |
| KR100207418B1 (ko) | 부호화 비트발생율 제어방법 및 그 제어장치 | |
| KR100778473B1 (ko) | 비트율 제어 방법 | |
| KR0124162B1 (ko) | 예측 부호화 방법 | |
| JPH06233279A (ja) | 動き補償符号化装置 | |
| KR100196828B1 (ko) | 영상부호기의 움직임 벡터 선택방법 |