JP4869986B2

JP4869986B2 - 動画像符号化装置

Info

Publication number: JP4869986B2
Application number: JP2007056190A
Authority: JP
Inventors: 智行清水; 康弘滝嶋
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2007-03-06
Filing date: 2007-03-06
Publication date: 2012-02-08
Anticipated expiration: 2027-03-06
Also published as: JP2008219630A

Description

本発明は複数のモード、複数のブロックサイズの符号化手段を備える動画像符号化装置に関し、特に、デジタル動画像信号の高能率符号化におけるフリッカの発生を抑制する動画像符号化装置に関する。

現在、動画像を圧縮符号化する方式としては、ＩＳＯ／ＩＥＣＪＴＣ１／ＳＣ２９／ＷＧ１１（ＭＰＥＧ）で規格化されたＭＰＥＧ−１、ＭＰＥＧ−２及びＭＰＥＧ−４、ＩＳＯ／ＩＥＣ
ＪＴＣ１／ＳＣ２９／ＷＧ１（ＪＰＥＧ）で規格化されたＪＰＥＧ、ＩＴＵ−Ｔで勧告化されたＨ．２６１及びＨ．２６３等がある。

これらの圧縮符号化方式では、動画像をブロックと呼ばれる特定の大きさの領域（例えば、１６×１６画素）に分割し、このブロックを単位として動き補償予測、変換処理（離散コサイン変換〔ＤＣＴ：Ｄｉｓｃｒｅｔｅ
ＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ〕等）を行い、さらに、高周波成分を大きく削減するように量子化を行い、可変長符号化を行うことで動画像の符号化を実現している。また、前記した圧縮符号化方式では、動き補償予測を行わないイントラ画像（画面内符号化画像）に対して、符号化対象となるブロックにおけるＤＣＴ等の変換係数を、当該ブロックに近接する他のブロックとの差分形式により予測符号化することで、符号化効率の向上を図っている。

また、動画像を圧縮符号化する他の方式として、ＩＴＵ−ＴとＩＳＯ／ＩＥＣ
ＪＴＣ１／ＳＣ２９／ＷＧ１１で規格化されたＨ．２６４／ＭＰＥＧ−４ＡＶＣ（以下、Ｈ．２６４／ＡＶＣという）がある。このＨ．２６４／ＡＶＣでは、動き補償予測を行わないイントラ画像において、当該画像（画面）の画素値を画面内で直接予測（画面内予測）することで符号化の効率を向上させている。すなわち、Ｈ．２６４／ＡＶＣでは、マクロブロックと呼ばれる１６×１６画素の領域（ブロック）を対象に、当該マクロブロックの上部あるいは左部にある、すでに符号化済みのマクロブロックにおける当該マクロブロックに近接した画素値を利用して、当該マクロブロックの画素値を複数の予測モードで予測し、当該マクロブロックの画素値と最も類似する予測モードを選択することで当該マクロブロックの画素値を予測している。

さらに、Ｈ．２６４／ＡＶＣでは、マクロブロックを４×４画素の大きさの領域（ブロック）に分割し、この４×４画素のブロック毎に画面内予測を行うモードを備えている。この場合、Ｈ．２６４／ＡＶＣは、４×４画素ブロックの上部、右上部、左部、左上部にある、すでに符号化済みのブロックにおける当該ブロックに近接した画素値を利用して、当該ブロックの画素値を複数の予測モードで予測し、当該ブロックの画素値と最も類似する予測モードを選択することで当該ブロックの画素値を予測している。そして、Ｈ．２６４／ＡＶＣは、１６個の４×４画素ブロックの予測結果と、マクロブロック（１６×１６画素ブロック）の予測結果とから、当該マクロブロックに、より類似するものを選択することで当該マクロブロックの画素値を予測している。

ところが、上記のＨ．２６４／ＡＶＣは、動画像中のイントラ画像を符号化する際に、あるマクロブロックが時間的にほぼ同じ画素値の画像で連続している場合であっても、当該マクロブロックに近接した他のマクロブロックの画素値が時間的に異なる場合に、当該マクロブロックの予測モードが時間的に異なってしまう場合がある。これによって、同じマクロブロック位置で、ほぼ同じ画素値の画像であるにもかかわらず、大きく異なる画素値として予測されることになり、符号化された動画像を復号化した場合に、フリッカが発生し、画質が劣化してしまうという問題がある。

こうした問題に対応して、復号画像が全フレームでの同一位置における画像との誤差が最も少ない符号化モードを選択することによってフリッカを削減する技術が知られている（例えば、特許文献１参照。）。また、ある程度平坦な領域において、フリッカが発生しにくい符号化モードを選択することによって、フリッカを削減する技術も知られている（例えば、非特許文献１参照。）。
特開２００５−３１８４６８号公報「Ｈ．２６４／ＭＰＥＧ−４ＡＶＣにおけるイントラ符号化フレームのフリッカ低減法」清水淳、谷田隆一、上倉一人、八島由幸、米原紀子、第２１回画像符号化シンポジウム、２００５年１１月８日、電子情報通信学会、画像工学研究専門委員会主催

しかしながら、特許文献１および非特許文献１に記載された方法では、フリッカの発生を抑制できるものの、符号量の増加を考慮しないで、符号化モードあるいは量子化パラメータの操作を実行するために、符号化効率を大幅に低下させてしまうといった問題があった。また、非特許文献１に記載された方法では、平坦な領域のみを対象とするために、動画像の種別によってはフリッカの低減効果が低くなる場合があるという問題もあった。

そこで、本発明は、上述の課題に鑑みてなされたものであり、符号化効率の低下を大幅に防止しつつ、フリッカの発生を抑制することができる動画像符号化装置を提供することを目的とする。

本発明は、上記の課題を解決するために、以下の事項を提案している。
（１）本発明は、第１〜第ｎ（ｎは２以上の自然数）の符号化モードのうちいずれか一つを選択してブロック単位で予測符号化処理を実行して出力する動画像符号化装置であって、第ｉ（１≦ｉ≦ｎ）の符号化モードで符号化処理を実行して符号化コストおよびフリッカ強度を計算する第ｉモード符号化手段と、各符号化手段によって出力される符号化コストが最小となる第ｊ（１≦ｊ≦ｎ）の符号化モードを選択する仮モード選択手段と、各符号化手段によって出力されるフリッカ強度が最小となる第ｋ（１≦ｋ≦ｎ）の符号化モードを選択するフリッカ最小モード選択手段と、前記仮モード選択手段によって選択された第ｊの符号化モードの符号化コストと、第ｋの符号化モードの符号化コストに基づいて、最終符号化モードを判定して符号化データを出力する最終モード判定手段と、を備え、前記最終モード判定手段は、第ｋの符号化モードの符号化コストと第ｊの符号化モードの符号化コストを比較し、比較結果としての差が所定値よりも小さい場合に、第ｋの符号化モードを最終符号化モードとして判定し、比較結果としての差が所定値よりも大きい場合に第ｊの符号化モードを最終符号化モードとして判定する動画符号化装置を提案している。

この発明によれば、第ｉモード符号化手段が、第ｉ（１≦ｉ≦ｎ）の符号化モードで符号化処理を実行して符号化コストおよびフリッカ強度を計算し、仮モード選択手段が、各符号化手段によって出力される符号化コストが最小となる第ｊ（１≦ｊ≦ｎ）の符号化モードを選択し、最小モード選択手段が、各符号化手段によって出力されるフリッカ強度が最小となる第ｋ（１≦ｋ≦ｎ）の符号化モードを選択する。そして、最終モード判定手段が、仮モード選択手段によって選択された第ｊの符号化モードの符号化コストと、第ｋの符号化モードの符号化コストに基づいて、最終符号化モードを判定して符号化データを出力する。したがって、符号化効率の低下を大幅に防止しつつ、フリッカの発生を抑制することができる。
さらに、この発明によれば、第ｋの符号化モードの符号化コストと第ｊの符号化モードの符号化コストを比較し、比較結果としての差が所定値よりも小さい場合に、第ｋの符号化モードを最終符号化モードとして判定し、比較結果としての差が所定値よりも大きい場合に第ｊの符号化モードを最終符号化モードとして判定する。したがって、符号化コストの差が少ない場合には、両者の符号化効率がほぼ同一であるため、フリッカ強度の低い符号化モードを選択し、符号化コストの差が大きい場合には、符号化効率の低下を防止するために、符号化コストの低い符号化モードを選択することができる。

（２）本発明は、（１）の動画像符号化装置について、前記符号化コストの比較を符号化コストの差分絶対値あるいは、符号化コストの比を用いて実行することを特徴とする動画符号化装置を提案している。

本発明によれば、符号化コストの比較を符号化コストの差分絶対値を用いて実行した場合には、計算負荷を抑えつつ予測符号化処理を行う符号化モードとして決定することができ、符号化コストの比を用いて実行した場合には、差分絶対値を比較関数とする場合に比べて、閾値の設定が容易であり、評価精度を向上させることができる。

（３）本発明は、（１）又は（２）に記載の動画像符号化装置について、前記フリッカ強度が、原画の時間的な変動量と符号化画像の時間的な変動量を比較するとともに、変動量として特定領域のフレーム間絶対差分値を用いて、該変動量間の差分値により計算されることを特徴とする動画符号化装置を提案している。

この発明によれば、上記のような方法を用いることにより、正確に、フレーム間の相関変動を測定して画その時間的な強度変動を得ることができる。

（４）本発明は、第１〜第ｎ（ｎは２以上の自然数）の符号化モードのうちいずれか一つを選択してブロック単位で予測符号化処理を実行して出力する動画像符号化装置であって、第ｉ（１≦ｉ≦ｎ）の符号化モードで符号化処理を実行して符号化コストおよびフリッカ強度を計算する第ｉモード符号化手段と、各符号化手段によって出力されるｍ個（ｍは２以上の自然数）の各ブロックの符号化コストの和が最小となる第ｊ（１≦ｊ≦ｍ^ｎ）の符号化モード列を選択する仮モード列選択手段と、各符号化手段によって出力されるｍ個のブロックのフリッカ強度が最小となる第ｋ（１≦ｋ≦ｍ^ｎ）の符号化モード列を選択するフリッカ最小モード列選択手段と、前記仮モード列選択手段によって選択された第ｊの符号化モード列の各ブロックの符号化コストの和と、前記フリッカ最小モード列選択手段により選択された第ｋの符号化モード列の各ブロックの符号化コストの和とに基づいて、符号化結果となる最終符号化モード列を判定してｍ個のブロックの符号化データを出力する最終モード列判定手段と、を備え、前記最終モード列判定手段は、第ｋの符号化モード列の符号化コスト和と第ｊの符号化モード列の符号化コスト和を比較し、比較結果が所定値よりも小さい場合に、第ｋの符号化モード列を最終符号化モード列として判定し、比較結果が所定値よりも大きい場合に第ｊの符号化モード列を最終符号化モード列として判定することを特徴とする動画像符号化装置を提案している。

本発明によれば、第ｉモード符号化手段が、第ｉ（１≦ｉ≦ｎ）の符号化モードで符号化処理を実行して符号化コストおよびフリッカ強度を計算し、仮モード列選択手段が、各符号化手段によって出力されるｍ個（ｍは２以上の自然数）の各ブロックの符号化コストの和が最小となる第ｊ（１≦ｊ≦ｍ^ｎ）の符号化モード列を選択し、フリッカ最小モード列選択手段が、各符号化手段によって出力されるｍ個のブロックのフリッカ強度が最小となる第ｋ（１≦ｋ≦ｍ^ｎ）の符号化モード列を選択する。そして、最終モード列判定手段が、仮モード列選択手段によって選択された第ｊの符号化モード列の各ブロックの符号化コストの和と、フリッカ最小モード列選択手段により選択された第ｋの符号化モード列の各ブロックの符号化コストの和とに基づいて、符号化結果となる最終符号化モード列を判定してｍ個のブロックの符号化データを出力する。したがって、符号化効率の低下を大幅に防止しつつ、フリッカの発生を抑制することができる。
さらに、この発明によれば、第ｋの符号化モード列の符号化コスト和と第ｊの符号化モード列の符号化コスト和を比較し、比較結果が所定値よりも小さい場合に、第ｋの符号化モード列を最終符号化モード列として判定し、比較結果が所定値よりも大きい場合に第ｊの符号化モード列を最終符号化モード列として判定する。したがって、符号化コストの差が少ない場合には、両者の符号化効率がほぼ同一であるため、フリッカ強度の低い符号化モードを選択し、符号化コストの差が大きい場合には、符号化効率の低下を防止するために、符号化コストの低い符号化モードを選択することができる。

（５）本発明は、（４）の動画像符号化装置について、前記符号化コストの比較を符号化コストの差分絶対値あるいは、符号化コストの比を用いて実行することを特徴とする動画符号化装置を提案している。

この発明によれば、符号化コストの比較を符号化コストの差分絶対値を用いて実行した場合には、計算負荷を抑えつつ予測符号化処理を行う符号化モードとして決定することができ、符号化コストの比を用いて実行した場合には、差分絶対値を比較関数とする場合に比べて、閾値の設定が容易であり、評価精度を向上させることができる。

（６）本発明は、（４）又は（５）に記載の動画像符号化装置について、前記フリッカ強度が、原画の時間的な変動量と符号化画像の時間的な変動量を比較するとともに、変動量として特定領域のフレーム間絶対差分値を用いて、該変動量間の差分値により計算されることを特徴とする動画符号化装置を提案している。

本発明によれば、符号化効率の低下を大幅に防止しつつ、フリッカの発生を抑制することができるという効果がある。

以下、本発明の実施形態について、図面を用いて、詳細に説明する。
なお、本実施形態における構成要素は適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組合せを含む様々なバリエーションが可能である。したがって、本実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。

＜第１の実施形態＞
図１から図４を用いて、本発明の第１の実施形態について説明する。

＜動画像符号化装置の構成＞
本実施形態に係る動画像符号化装置１０は、図１に示すように、ｎ個の符号化器１１ａ、１１ｂ、・・・、１１ｎと、仮モード選択器１２と、最終モード選択器１３と、図示しない予測符号化処理器とから構成されている。

ｎ個の符号化器１１ａ、１１ｂ、・・・、１１ｎのうち、図示する第１モード符号化器１１ａには、複数の符号化モードのうち、確率的に最もフリッカが発生しにくいと思われる符号化モードが格納される。また、第１モード符号化器１１ａ以外の符号化器には、例えば、確率的にフリッカが発生しにくいと思われる順番にその他の符号化モードが格納される。そして、ｎ個の符号化器１１ａ、１１ｂ、・・・、１１ｎは、それぞれ格納した符号化モードにより符号化処理を行い符号化コストの算出を実行する。

ここで、符号化モードとしては、図２に示すＨ．２６４のイントラ４×４予測に用いられる９つの符号化モードおよび図３に示すＨ．２６４のイントラ１６×１６予測に用いられる４つの符号化モードが挙げられる。

図２において、図２（ａ）は、垂直方向予測における符号化モードを、図２（ｂ）は、水平方向予測における符号化モードを、図２（ｃ）は、直流成分予測における符号化モードを、図２（ｄ）は、左斜め下対角線方向予測における符号化モードを、図２（ｅ）は、右斜め下対角線方向予測における符号化モードを、図２（ｆ）は、垂直寄り右斜め下方向予測における符号化モードを、図２（ｇ）は、水平寄り左斜め下方向予測における符号化モードを、図２（ｈ）は、垂直寄り左斜め下方向予測における符号化モードを、図２（ｉ）は、水平寄り右斜め下方向予測における符号化モードを示している。

また、図３において、図３（ａ）は、垂直方向予測における符号化モードを、図３（ｂ）は、水平方向予測における符号化モードを、図３（ｃ）は、直流成分予測における符号化モードを、図３（ｄ）は、平面補間予測における符号化モードを示している。

Ｈ．２６４を例にとった場合、図２および図３に示した符号化モードのうち、図２（ｃ）に示す直流成分予測における符号化モードおよび図３（ｃ）に示す直流成分予測における符号化モードが、確率的に、最もフリッカの発生を抑制できる性質を有している。このため、本実施形態においては、図２（ｃ）に示す直流成分予測における符号化モードおよび図３（ｃ）に示す直流成分予測における符号化モードが第１モード符号化器１１ａに格納される。なお、本実施形態においては、符号化モードとして、図２および図３に示した符号化モードを例示したが、例えば、イントラ４×４予測、イントラ１６×１６予測、動き補償の符号化モードのうちいずれかのモードを選択するようにしてもよい。また、周期的に挿入されるＩフレーム（全てＩフレームとして符号化した場合を含む）に適用することもできる。

図１に戻って、仮モード選択器１２は、第１モード符号化器１１ａに格納された符号化モード以外の符号化モードについて、符号化処理を実行して符号化コストを求め、これらの符号化モードのうち、最も符号化コストが低い符号化モードを最も符号化効率が高い符号化モードして選択する。なお、符号化コストの算出については、予測符号化処理における予測画像と原画像の各画素から求められる差分絶対値和、差分二乗和、およびそれらにλ×符号化ビット数（λは量子化パラメータによって求められる変数）を足し合わせた値のうちいずれを用いてもよい。

最終モード選択器１３は、第１モード符号化器１１ａに格納された符号化モードと仮モード選択器１２によって選択された符号化モードとの符号化コストとに基づいて、図示しない予測符号化処理器において予測符号化処理を行う符号化モードを決定する。具体的には、第１モード符号化器１１ａに格納された符号化モードと仮モード選択器１２によって選択された符号化モードとの符号化コストの差分絶対値を比較関数とし、比較関数の値が所定の閾値以下のときには、仮モード選択器１２によって選択された符号化モードを予測符号化処理を行う符号化モードとして決定し、比較関数の値が所定の閾値よりも大きいときには、第１モード符号化器１１ａに格納された符号化モードを予測符号化処理を行う符号化モードとして決定する。このように、差分絶対値を比較関数とする場合には、計算負荷を軽減することができる。

あるいは、第１モード符号化器１１ａに格納された符号化モードと仮モード選択器１２によって選択された符号化モードとの符号化コストの比を比較関数とし、比較関数の値が所定の閾値以下のときには、仮モード選択器１２によって選択された符号化モードを予測符号化処理を行う符号化モードとして決定し、比較関数の値が所定の閾値よりも大きいときには、第１モード符号化器１１ａに格納された符号化モードを予測符号化処理を行う符号化モードとして決定する。このように、比を比較関数とする場合には、評価精度を高めることができる。

＜動画像符号化装置の処理フロー＞
次に、図４を用いて、本実施形態に係る動画像符号化装置の処理フローについて説明する。
まず、図２および図３に示した複数の符号化モードのうち、確率的に最もフリッカが発生しにくいと思われる符号化モードを第１のモードとして、第１モード符号化器１１ａに格納し、符号化処理を行って、符号化コストの算出を実行する（ステップＳ１０１）。

また、第１モード符号化器１１ａ以外の符号化器１１ｂ、・・・、１１ｎに符号化モードを格納し、符号化処理を行って、各符号化モードの符号化コストを算出する（ステップＳ１０２）。なお、第１モードとしては、予め、統計上フリッカの発生頻度が最も低い符号化モードを指定する。次に、仮モード選択器１２は、第１モード符号化器１１ａ以外の符号化器１１ｂ、・・・、１１ｎから各符号化モードにおける符号化コストを入力し、符号化コストが最小である符号化モードを第ｊのモードとして選択する（ステップＳ１０３）。

具体的に、符号化コストは、予測符号化処理における予測画像と原画像の各画素から求められる、差分絶対値和ＳＡＤ（ｉ）、差分二乗和ＳＳＤ（ｉ）、およびそれらにλ（λは量子化パラメータによって求められる変数）と符号化ビット数Ｒ（ｉ）の積を足し合わせた値、すなわちＳＡＤ（ｉ）＋λＲ（ｉ）ないしＳＳＤ（ｉ）＋λＲ（ｉ）のうちいずれかが利用できる。この符号化コストが小さければ小さいほど、符号化ビット数あたりの画質劣化が小さくなるという性質があるため、符号化コストが最小となる符号化モードが最も符号化効率の高い符号化モードとなり、仮モード選択器１２において、このモードを仮符号化モードｊとして選択する。

最終モード選択器１３は、上記第１のモードと第ｊのモードの符号化コストから比較関数を演算する（ステップＳ１０４）。そして、比較関数の値が所定の閾値以下である場合（ステップＳ１０５の「Ｙｅｓ」）には、予測符号化処理を行う符号化モードとして第１のモードを選択し（ステップＳ１０６）、比較関数の値が所定の閾値よりも大きい場合（ステップＳ１０５の「Ｎｏ」）には、予測符号化処理を行う符号化モードとして第ｊのモードを選択（ステップＳ１０７）して、符号化データを出力する（ステップＳ１０８）。

より具体的には、比較関数として、第１のモードと第ｊのモードの符号化コストの差分絶対値｜Ｃｏｓｔ（１）−Ｃｏｓｔ（ｊ）｜、ないし比Ｃｏｓｔ（ｊ）／Ｃｏｓｔ（１）を求める。このとき、比較関数が閾値Ｔｈｒ以下となる場合、第１の符号化モードと第ｊの符号化モードはほぼ同じ符号化効率を示すため、第１の符号化モードを最終符号化モードとして判定し、それ以外の場合は符号化効率の低下を防止するため第ｊのモードを最終符号化モードとして判定する。最後に、最終符号化モードとして判定された符号化モードによって符号化した符号化データを最終結果として出力し、処理を終了する。

したがって、本実施形態によれば、確率的に最もフリッカが発生しにくいと思われる符号化モードと、この符号化モード以外で最も符号化コストが低い符号化モードとを選択し、その両者について符号化コストによる比較関数を計算して、その値と所定の閾値から最終的な符号化モードを決定することから、符号化効率の低下を防止しつつ、フリッカの発生を抑制することができる。

＜第２の実施形態＞
図５および図６を用いて、本発明の第２の実施形態について説明する。

＜動画像符号化装置の構成＞
本実施形態に係る動画像符号化装置２０は、図５に示すように、ｎ個の符号化器２１ａ、２１ｂ、・・・、２１ｎと、フリッカ最小モード選択器２２と、仮モード選択器２３と、最終モード選択器２４と、図示しない予測符号化処理器とから構成されている。

ｎ個の符号化器２１ａ、２１ｂ、・・・、２１ｎは、図２および図３に示すような複数の符号化モードを格納し、符号化処理を実行してそれぞれの符号化モードの符号化コストおよびフリッカ強度を算出する。

ここで、フリッカ強度は、フレーム間の相関変動を測定して画素の時間的な強度変動を測定する。測定方法としては、時間的な変動量をそれぞれ原画、符号化画像において求め、原画の変動量に比べ符号化画像の変動量が大きい場合はフリッカ度が高いと判定できる。変動量としては、単純な前後フレーム画素の差分絶対値和、相関係数などを用いることができ、変動量の差分などを強度として用いることが可能である。なお、画素変化は平坦部が人間の視覚で感知しやすいため、変動量を測定する領域を空間的な画素変化が小さい平坦部分に限定することにより、視覚的にフリッカが目立つ部分に対してフリッカを抑制することが可能である。また、平坦部測定方法としては、ブロック内の画素値の分散が小さい領域を平坦部と判定することも可能である。

なお、フリッカ強度は、ｎ個の符号化器２１ａ、２１ｂ、・・・、２１ｎにおいて、直前の動画像フレームの原画像および復号画像を参照できる場合には、以下の式により算出することができる。ここで。Ｒ（ｉ、ｊ）は復号画像を、Ｏ（ｉ、ｊ）は、原画像を、ｉはフレーム番号を、ｊはマクロブロック番号を、εは定数を、ＳＡＤは差分絶対値和を示している。

フリッカ最小モード選択器２２は、各符号化器２１ａ、２１ｂ、・・・、２１ｎが算出したフリッカ強度に基づいて、フリッカ強度が最小となる符号化モードを選択する。仮モード選択器２３は、各符号化器２１ａ、２１ｂ、・・・、２１ｎが算出した符号化コストに基づいて、符号化コストが最小となる符号化モードを選択する。

最終モード選択器２４は、フリッカ最小モード選択器２２により選択された符号化モードと仮モード選択器２３によって選択された符号化モードとの符号化コストとに基づいて、図示しない予測符号化処理器において予測符号化処理を行う符号化モードを決定する。具体的には、フリッカ最小モード選択器２２により選択された符号化モードと仮モード選択器２３によって選択された符号化モードとの符号化コストの差分絶対値を比較関数とし、比較関数の値が所定の閾値以下のときには、仮モード選択器２３によって選択された符号化モードを予測符号化処理を行う符号化モードとして決定し、比較関数の値が所定の閾値よりも大きいときには、フリッカ最小モード選択器２２により選択された符号化モードを予測符号化処理を行う符号化モードとして決定する。このように、差分絶対値を比較関数とする場合には、計算負荷を軽減することができる。

あるいは、フリッカ最小モード選択器２２により選択された符号化モードと仮モード選択器２３によって選択された符号化モードとの符号化コストの比を比較関数とし、比較関数の値が所定の閾値以下のときには、仮モード選択器２３によって選択された符号化モードを予測符号化処理を行う符号化モードとして決定し、比較関数の値が所定の閾値よりも大きいときには、フリッカ最小モード選択器２２により選択された符号化モードを予測符号化処理を行う符号化モードとして決定する。このように、比を比較関数とする場合には、評価精度を高めることができる。

＜動画像符号化装置の処理フロー＞
次に、図６に基づいて、本実施形態に係る動画像符号化装置の処理フローについて説明する。
まず、図２および図３に示した複数の符号化モードについて各符号化器２１ａ、２１ｂ、・・・、２１ｎにおいて符号化処理を行って、符号化コストおよびフリッカ強度の算出を実行する（ステップＳ２０１）。

次に、仮モード選択器２３により、符号化コストが最小の符号化モードを選択し、これを第ｊのモードとする（ステップＳ２０２）。さらに、フリッカ最小モード選択器２２によりフリッカ強度が最小の符号化モードを選択し、これを第ｋのモードとする（ステップＳ２０３）。

最終モード選択器１３は、上記第ｊのモードと第ｋのモードの符号化コストから比較関数を演算する（ステップＳ２０４）。そして、比較関数の値が所定の閾値以下である場合（ステップＳ２０５の「Ｙｅｓ」）には、予測符号化処理を行う符号化モードとして第ｋのモードを選択し（ステップＳ２０６）、比較関数の値が所定の閾値よりも大きい場合（ステップＳ２０５の「Ｎｏ」）には、予測符号化処理を行う符号化モードとして第ｊのモードを選択（ステップＳ２０７）して、符号化データを出力する（ステップＳ２０８）。

したがって、本実施形態によれば、すべての符号化モードについて、符号化処理を実行し、その符号化コストとフリッカ強度を算出した上で、最も符号化コストの低い符号化モードと、最もフリッカ強度が低い符号化モードとを選択し、その両者について符号化コストによる比較関数を計算して、その値と所定の閾値から最終的な符号化モードを決定することから、符号化効率の低下を防止しつつ、フリッカの発生を抑制することができる。

＜第３の実施形態＞
図７および図８を用いて、本発明の第３の実施形態について説明する。
ここで、Ｈ．２６４におけるイントラ予測のように、隣接するマクロブロックの符号化結果が当該マクロブロックの符号化結果に影響を及ぼす場合、隣接マクロブロックの符号化結果によって、当該マクロブロックにおいて、符号化効率を最小とする符号化モード、フリッカを最小とする符号化モードが変動する。そこで、本実施形態においては、複数のマクロブロック列の符号化モードを総合的に判断することによって、さらなる符号化効率の向上およびフリッカの削減を可能とするものである。

＜動画像符号化装置の構成＞
本実施形態に係る動画像符号化装置３０は、図７に示すように、ｎ個の符号化器３１ａ、３１ｂ、・・・、３１ｎと、フリッカ最小モード列選択器３２と、仮モード列選択器３３と、最終モード列選択器３４と、図示しない予測符号化処理器とから構成されている。

ｎ個の符号化器３１ａ、３１ｂ、・・・、３１ｎは、図２および図３に示すような複数の符号化モードを格納し、符号化処理を実行してそれぞれの符号化モードの符号化コストおよびフリッカ強度を第２の実施形態と同様の方法で算出する。

フリッカ最小モード列選択器３２は、各符号化器２１ａ、２１ｂ、・・・、２１ｎが算出したｍ個のブロックのフリッカ強度が最小となる第ｋ（１≦ｋ≦ｍ^ｎ）の符号化モード列を選択する。仮モード列選択器３３は、各符号化器２１ａ、２１ｂ、・・・、２１ｎが算出したｍ個（ｍは２以上の自然数）の各ブロックの符号化コストの和が最小となる第ｊ（１≦ｊ≦ｍ^ｎ）の符号化モード列を選択する。

最終モード列選択器２４は、仮モード選択器３３によって選択された第ｊの符号化モード列の各ブロックの符号化コストの和と、フリッカ最小モード列選択器３２によって選択された第ｋの符号化モード列の各ブロックの符号化コストの和とに基づいて、符号化結果となる最終符号化モード列を判定してｍ個のブロックの符号化データを出力する。

＜動画像符号化装置の処理フロー＞
次に、図８に基づいて、本実施形態に係る動画像符号化装置の処理フローについて説明する。
ｍ個（ｍは２以上の自然数）のマクロブロックを単位として符号化する場合、選択可能な符号化モード列はｍ^ｎ個存在する。そこで、まず、第１〜第ｍのマクロブロック列において、それぞれを図２および図３に示した第１〜第ｎの符号化モードで符号化したｍ^ｎ個のモード列に対して、各符号化器３１ａ、３１ｂ、・・・、３１ｎにおいて符号化処理を行って、符号化コスト和およびフリッカ強度の算出を実行する（ステップＳ３０１）。

次に、仮モード列選択器３３により、符号化コスト和が最小の符号化モード列を選択し、これを第ｊのモードとする（ステップＳ３０２）。さらに、フリッカ最小モード列選択器３２によりフリッカ強度が最小の符号化モードを選択し、これを第ｋのモードとする（ステップＳ３０３）。

最終モード選択器１３は、上記第ｊのモードと第ｋのモードの符号化コスト和から比較関数を演算する（ステップＳ３０４）。そして、比較関数の値が所定の閾値以下である場合（ステップＳ２０５の「Ｙｅｓ」）には、予測符号化処理を行う符号化モードとして第ｋのモードを選択し（ステップＳ２０６）、比較関数の値が所定の閾値よりも大きい場合（ステップＳ２０５の「Ｎｏ」）には、予測符号化処理を行う符号化モードとして第ｊのモードを選択（ステップＳ２０７）して、符号化データを出力する（ステップＳ２０８）。

したがって、本実施形態によれば、隣接マクロブロックの符号化結果によって、当該マクロブロッにおいて、符号化効率を最小とする符号化モード、フリッカを最小とする符号化モードが変動することに鑑みて、ｍ個のマクロブロックをｎ個の符号化モードで符号化したｍ^ｎ個のモード列について、それぞれの符号化モードにおける符号化コスト和とフリッカ強度を算出した上で、最も符号化コスト和の低い符号化モードと、最もフリッカ強度が低い符号化モードとを選択し、その両者について符号化コストによる比較関数を計算して、その値と所定の閾値から最終的な符号化モードを決定することから、符号化効率の低下を防止しつつ、フリッカの発生を抑制することができる。

以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

第１の実施形態に係る構成図である。イントラ予測に基づく符号化モードを示した図である。イントラ予測に基づく符号化モードを示した図である。第１の実施形態に係る処理フローである。第２の実施形態に係る構成図である。第２の実施形態に係る処理フローである。第３の実施形態に係る構成図である。第３の実施形態に係る処理フローである。

符号の説明

１０、２０、３０・・・動画像符号化装置、１１ａ、１１ｂ、・・・、１１ｎ、２１ａ、２１ｂ、・・・、２１ｎ、３１ａ、３１ｂ、・・・、３１ｎ・・・符号化器、１２、２３・・・仮モード選択器、１３、２４・・・最終モード判定器、２２・・・フリッカ最小モード選択器、３２・・・フリッカ最小モード選択器、３３・・・仮モード列選択器、３４・・・最終モード判定器、

Claims

第１〜第ｎ（ｎは２以上の自然数）の符号化モードのうちいずれか一つを選択してブロック単位で予測符号化処理を実行して出力する動画像符号化装置であって、
第ｉ（１≦ｉ≦ｎ）の符号化モードで符号化処理を実行して符号化コストおよびフリッカ強度を計算する第ｉモード符号化手段と、
各符号化手段によって出力される符号化コストが最小となる第ｊ（１≦ｊ≦ｎ）の符号化モードを選択する仮モード選択手段と、
各符号化手段によって出力されるフリッカ強度が最小となる第ｋ（１≦ｋ≦ｎ）の符号化モードを選択するフリッカ最小モード選択手段と、
前記仮モード選択手段によって選択された第ｊの符号化モードの符号化コストと、第ｋの符号化モードの符号化コストに基づいて、最終符号化モードを判定して符号化データを出力する最終モード判定手段と、を備え、
前記最終モード判定手段は、第ｋの符号化モードの符号化コストと第ｊの符号化モードの符号化コストを比較し、比較結果としての差が所定値よりも小さい場合に、第ｋの符号化モードを最終符号化モードとして判定し、比較結果としての差が所定値よりも大きい場合に第ｊの符号化モードを最終符号化モードとして判定することを特徴とする動画像符号化装置。
前記符号化コストの比較を符号化コストの差分絶対値あるいは、符号化コストの比を用いて実行することを特徴とする請求項１に記載の動画符号化装置。
前記フリッカ強度が、原画の時間的な変動量と符号化画像の時間的な変動量を比較するとともに、変動量として特定領域のフレーム間絶対差分値を用いて、該変動量間の差分値により計算されることを特徴とする請求項１又は２に記載の動画符号化装置。
第１〜第ｎ（ｎは２以上の自然数）の符号化モードのうちいずれか一つを選択してブロック単位で予測符号化処理を実行して出力する動画像符号化装置であって、
第ｉ（１≦ｉ≦ｎ）の符号化モードで符号化処理を実行して符号化コストおよびフリッカ強度を計算する第ｉモード符号化手段と、
各符号化手段によって出力されるｍ個（ｍは２以上の自然数）の各ブロックの符号化コストの和が最小となる第ｊ（１≦ｊ≦ｍ^ｎ）の符号化モード列を選択する仮モード列選択手段と、
各符号化手段によって出力されるｍ個のブロックのフリッカ強度が最小となる第ｋ（１≦ｋ≦ｍ^ｎ）の符号化モード列を選択するフリッカ最小モード列選択手段と、
前記仮モード列選択手段によって選択された第ｊの符号化モード列の各ブロックの符号化コストの和と、前記フリッカ最小モード列選択手段により選択された第ｋの符号化モード列の各ブロックの符号化コストの和とに基づいて、符号化結果となる最終符号化モード列を判定してｍ個のブロックの符号化データを出力する最終モード列判定手段と、を備え、
前記最終モード列判定手段は、第ｋの符号化モード列の符号化コスト和と第ｊの符号化モード列の符号化コスト和を比較し、比較結果が所定値よりも小さい場合に、第ｋの符号化モード列を最終符号化モード列として判定し、比較結果が所定値よりも大きい場合に第ｊの符号化モード列を最終符号化モード列として判定することを特徴とする動画像符号化装置。
前記符号化コストの比較を符号化コストの差分絶対値あるいは、符号化コストの比を用いて実行することを特徴とする請求項４に記載の動画符号化装置。
前記フリッカ強度が、原画の時間的な変動量と符号化画像の時間的な変動量を比較するとともに、変動量として特定領域のフレーム間絶対差分値を用いて、該変動量間の差分値により計算されることを特徴とする請求項４又は５に記載の動画符号化装置。