JP4189358B2 - 画像符号化装置及び方法 - Google Patents

Description

本発明は、画像符号化装置及び方法に関し、動画像または静止画像を量子化するために適切な量子化精度情報を設定する技術に関するものである。

従来のＩＴＵ−ＴＨ.２６４，ＩＳＯ／ＩＥＣ ＭＰＥＧ―２などの動画像符号化標準方式では、マクロブロックと呼ばれる符号化単位の特徴に応じて、個々に最適な符号化モードあるいは量子化パラメータを選択して高画質な圧縮を行うことが可能である。

具体的には、圧縮方式のもっとも基本的な量子化方法として、重要度が高いと判断されたマクロブロックに対しては量子化パラメータである量子化ステップを小さくし、重要度が低いと判断されたブロックに対しては量子化ステップを大きくすることで、符号化効率および画質の改善を得る試みがなされている。

そこで視覚特性を考慮した量子化パラメータの修正方法が提案されている（例えば非特許文献１）。この修正方法は、人間の視覚特性が平坦部の歪みに敏感であるという性質を考慮して、入力画像のアクティビティを計算して、平坦部の量子化ステップを小さく修正する方法である。

他には知覚特性を考慮した映像の符号化方法が提案されている（例えば特許文献１）。この符号化方法は、注目領域から背景領域に向かって画質が次第に低下するようにモデリングを行い、その画質モデリング結果に応じて量子化パラメータを修正する方法である。

International Organisation for Standardisation TestModel Editing Committee,1993. Test Model 5. April. ISO-IEC/JTC1/SC29/WG11/N0400 特開２００３−２８４０７１号公報

しかしながら、上記非特許文献１に記載された方法では、画面内の平坦部に対して量子化ステップを小さくすることで知覚しやすい部分の量子化歪みの軽減を行っているが、実際に人間が注目する部分は、画像内の平坦部ではない場合が多い。例えば、人の顔などを含み背景が比較的平坦な画像の場合、背景の平坦部よりも人の顔などの平坦ではない部分に注目すると思われる。そして人間の視覚特性では、詳細に見ることができる領域の面積が限られているため、画面内において注目する領域の画質が重視される。しかし、この方法は、注目する領域の量子化ステップを相対的に大きくしてしまうため、注目する領域の主観的な画質が低下するという問題がある。

一方、上記特許文献１に記載された方法では、注目する領域の量子化ステップを相対的に小さくすることで、注目する領域の画質を向上させているが、背景の平坦部の量子化ステップを相対的に大きくしてしまうため、背景の平坦部の知覚しやすい量子化歪みを強調することになり、結果的に全体的な主観画質を低下するという問題がある。

本発明は、上記に鑑みてなされたものであって、符号化時の知覚しやすい部分の画質劣化を軽減させ、かつ人間が視覚的に注目する領域の主観的な画質を向上させることを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、入力された入力画像情報について、前記入力画像情報内の予め区切られた画面領域の単位である符号化単位毎に量子化を行った後に、符号化を行う画像符号化装置であって、前記入力画像情報について前記符号化単位毎の量子化幅を設定する設定手段と、前記入力画像情報について前記符号化単位毎に、予め定められた視覚的に注目する要素における視覚的な注目度合いを示した注目度情報を算出する注目度算出手段と、前記入力画像情報について前記符号化単位毎に、予め定められた視覚的に画質劣化を知覚しやすい要素について画質劣化の知覚容易性を示した劣化知覚度情報を算出する劣化知覚度算出手段と、前記注目度算出手段により算出された前記注目度情報及び前記劣化知覚度算出手段により算出された劣化知覚度情報に基づいて、絵柄が平坦でありかつ注目度が高い前記符号化単位については、前記量子化幅を相対的に小さくし、絵柄が平坦ではなく注目度が低い前記符号化単位については、前記量子化幅を相対的に大きくするように、前記設定手段で設定された前記量子化幅を修正する修正手段と、前記修正手段により修正された前記量子化幅により、前記入力画像情報を量子化する量子化手段と、を備え、前記注目度算出手段は、前記符号化単位毎の各画素とその隣接画素との輝度差の最大値が大きくなるほど値が大きくなり、１以上の値である第１の注目度と、前記符号化単位毎の動きが大きくなるほど値が大きくなり、１以上の値である第２の注目度と、前記符号化単位毎の平均色がＨＳＶ空間内での明度および彩度に基づいて予め定められた赤色の範囲内である場合には赤色の範囲外である場合よりも値が大きくなり、１以上の値である第３の注目度と、前記符号化単位毎の平均色と画面単位での平均色とのＬ＊ａ＊ｂ空間内での色差が大きいほど値が大きくなり、１以上の値である第４の注目度と、前記符号化単位毎の平均色がＨＳＶ空間内での色相に基づいて予め定められた肌色の範囲内である場合に肌色の範囲外である場合よりも値が大きくなり、１以上の値である第５の注目度と、前記符号化単位毎の画面の中央からの距離が大きくなるほど値が大きくなり、１以上の値である第６の注目度と、を求め、前記第１の注目度、前記第２の注目度、前記第３の注目度および前記第４の注目度の相乗平均と前記第５の注目度と前記第６の注目度とを加算して前記符号化単位毎の第７の注目度を求め、前記第７の注目度が大きくなるほど値が大きくなるように前記注目度情報を求める、ことを特徴とする。

また、本発明は、入力された入力画像情報について、前記入力画像情報内の予め区切られた画面領域の単位である符号化単位毎に量子化を行った後に、符号化を行う画像符号化方法であって、前記入力画像情報について前記符号化単位毎の量子化幅を設定する設定ステップと、前記入力画像情報について前記符号化単位毎に、予め定められた視覚的に注目する要素における視覚的な注目度合いを数値で示した注目度情報を算出する注目度算出ステップと、前記入力画像情報について前記符号化単位毎に、予め定められた視覚的に画質劣化を知覚しやすい要素について画質劣化の知覚容易性を数値で示した劣化知覚度情報を算出する劣化知覚度算出ステップと、前記注目度算出ステップにより算出された前記注目度情報及び前記劣化知覚度算出ステップにより算出された劣化知覚度情報に基づいて、絵柄が平坦でありかつ注目度が高い前記符号化単位については、前記量子化幅を相対的に小さくし、絵柄が平坦ではなく注目度が低い前記符号化単位については、前記量子化幅を相対的に大きくするように、前記設定ステップで設定された前記量子化幅を修正する修正ステップと、前記修正ステップにより修正された前記量子化幅により、前記入力画像情報を量子化する量子化ステップと、を備え、前記注目度算出ステップは、前記符号化単位毎の各画素とその隣接画素との輝度差の最大値が大きくなるほど値が大きくなり、１以上の値である第１の注目度と、前記符号化単位毎の動きが大きくなるほど値が大きくなり、１以上の値である第２の注目度と、前記符号化単位毎の平均色がＨＳＶ空間内での明度および彩度に基づいて予め定められた赤色の範囲内である場合には赤色の範囲外である場合よりも値が大きくなり、１以上の値である第３の注目度と、前記符号化単位毎の平均色と画面単位での平均色とのＬ＊ａ＊ｂ空間内での色差が大きいほど値が大きくなり、１以上の値である第４の注目度と、前記符号化単位毎の平均色がＨＳＶ空間内での色相に基づいて予め定められた肌色の範囲内である場合に肌色の範囲外である場合よりも値が大きくなり、１以上の値である第５の注目度と、前記符号化単位毎の画面の中央からの距離が大きくなるほど値が大きくなり、１以上の値である第６の注目度と、を求め、前記第１の注目度、前記第２の注目度、前記第３の注目度および前記第４の注目度の相乗平均と前記第５の注目度と前記第６の注目度とを加算して前記符号化単位毎の第７の注目度を求め、前記第７の注目度が大きくなるほど値が大きくなるように前記注目度情報を求める、ことを特徴とする。

本発明によれば、絵柄が平坦でありかつ注目度が高い前記符号化単位については、前記量子化幅を相対的に小さくし、絵柄が平坦ではなく注目度が低い符号化単位については、量子化幅を相対的に大きくするように、注目度情報及び劣化知覚度情報の双方を用いて量子化幅を修正してから量子化を行うので、注目度情報のみによる修正により発生する、注目しない領域であり且つ劣化を知覚しやすい領域で符号化による画質の劣化を強調する、という事態を防ぎ、劣化知覚度情報のみによる修正で発生する、劣化を知覚しにくい領域であり且つ注目する領域では画質が低下するという事態を防ぎ、注目する領域及び劣化を知覚しやすい領域について適切な量子化幅が設定されるので、符号化時の知覚しやすい部分の画質劣化を軽減させ、かつ人間が視覚的に注目する領域の主観的な画質を向上させるという効果を奏する。

以下に添付図面を参照して、この発明にかかる画像符号化装置及び方法の最良な実施の形態を詳細に説明する。

図１は、本発明の本実施の形態にかかる画像符号化装置１００の構成を示すブロック図である。同図に示すように画像符号化装置１００は、減算部１０１、直交変換部１０２、量子化部１０３、エントロピー符号化部１０４、量子化制御部１０５、逆量子化部１０６、逆直交変換部１０７、加算部１０８、フレームメモリ１０９及び予測画像生成部１１０で構成される。入力される入力画像信号はフレーム単位の動画像信号とする。そして画像符号化装置１００はこのような構成を備えることで、入力された入力画像信号について直交変換を行った後に、量子化を行い、さら符号化を行うことにより、入力画像信号を符号化した符号化データを出力する。また、符号化までの処理はマクロブロック単位で行うこととする。このマクロブロックは本発明の符号化単位に相当する。

減算部１０１は、入力画像信号と、後述する予測画像生成部１１０から入力された予測画像信号の差分を取り、予測誤差信号を生成し、直交変換部１０２に出力する。

直交変換部１０２は、減算部１０１により生成された予測誤差信号に対して、変換処理を行うことで、予測誤差信号のマクロブロック毎に少数の低域係数に集中させた直交変換係数情報を生成する。そして直交変換部１０２は生成した直交変換係数情報を出力する。なお、本実施の形態においては変換方式に離散コサイン変換（ＤＣＴ）を用いることとするが、この変換方式に制限するものではない。

量子化部１０３は、量子化ステップ設定部１２１、量子化処理部１２２で構成され、マクロブロック毎に少数の低域係数に集中させた直交変換係数情報に対して高域係数を削除するための量子化を行う。また、量子化部１０３は、量子化を行うために量子化制御部１０５との間で量子化ステップ情報の入出力を行う。そして量子化部１０３は、量子化が行われた直交変換係数情報を、量子化直交変換係数情報としてエントロピー符号化部１０４及び逆量子化部１０６に出力する。次に量子化部１０３を構成する量子化ステップ設定部１２１及び量子化処理部１２２について説明する。

量子化ステップ設定部１２１は、本発明の設定手段に相当し、直交変換部１０２から入力された直交変換係数情報におけるマクロブロック毎の直交変換された各係数について割り算するための量子化ステップを設定する。この設定された量子化ステップを量子化ステップ情報として出力する。また量子化ステップが本発明の量子化精度情報に相当する。

量子化処理部１２２は、本発明の量子化手段に相当し、後述する量子化制御部１０５から入力された量子化ステップ情報による、修正された量子化ステップにより、直交変換部１０２から入力された直交変換係数情報を割り算して余りを丸めることで量子化を行う。

量子化制御部１０５は、劣化知覚度算出部１３１、注目度算出部１３２及び量子化ステップ修正部１３３とから構成される。量子化制御部１０５は、量子化ステップ設定部１２１から入力された量子化ステップ情報に対して、入力された入力画像信号あるいは後述する動きベクトル情報などを解析し、利用者の画像劣化の知覚しやすさを示す劣化知覚度及び注目する度合いを示す注目度を算出し、これら劣化知覚度及び注目度に基づいて、量子化ステップを修正して、出力する。この修正を行うことで視覚的に符号化歪みが小さくなり、かつ注目されると思われるブロックの画質が向上する。次に量子化制御部１０５を構成する劣化知覚度算出部１３１、注目度算出部１３２及び量子化ステップ修正部１３３について説明する。

劣化知覚度算出部１３１は、本発明の劣化知覚度算出手段に相当し、入力されたフレーム単位の入力画像信号をマクロブロック単位に分割し、各マクロブロックの劣化知覚度を算出する。

符号化時に発生する画質劣化の知覚しやすさとして、相対的に絵が複雑な領域より、平坦な領域の量子化歪みのほうがより知覚されやすいので、本実施の形態においては、劣化知覚度としてマクロブロックの絵柄の複雑さを示すアクティビティを用いる。なお、この劣化知覚度を示すアクティビティの算出方法は後述する。また、アクティビティが本発明の利用者が視覚的に画質劣化を知覚しやすい要素に相当する。

注目度算出部１３２は、本発明の注目度算出手段に相当し、入力されたフレーム単位の入力画像信号をマクロブロック単位に分割し、入力画像信号と予測画像生成部１１０から入力された動きベクトル情報により、マクロブロック毎に利用者が視覚的に注目している度合いを数値で示した注目度を算出する。なお、詳細な注目度の算出方法は後述する。また、本実施の形態では注目度を算出するために入力画像信号及び動きベクトル情報を用いることとしたが、どちらか一方により注目度を算出してもよい。

本実施の形態において、人間が注目している画像の特定領域としては、１）合焦程度（焦点が合っているか否かの程度を示す）が他の領域より高い領域、２）特別な色や他の領域とは異色な色を有する領域、３）画面の中心に近い領域、４）他の領域とは異質な動きベクトルを有する領域、とする。そして、これら合焦程度、色、画面内の位置、動きに関する特徴を示す値を算出し、算出された値を注目度とする。なお、合焦程度、色、画面内の位置、動きについての注目度の算出方法及び各々算出された注目度から求められる総合的な注目度の算出方法は後述する。また、合焦程度、色、画面内の位置、動きが本発明の利用者が視覚的に注目する要素に相当する。

また、本実施の形態においては、マクロブロック毎の注目度を合焦程度、色、画面内の位置、動きの各々について算出することとしたが、これらの特徴からのみ注目度を算出すると制限するものではなく、視覚的に注目される度合いを示す特徴を用いるのであればよい。また、これらのうち、いずれかを選択して注目度を算出しても良いし、別の物理的特徴を示す値を用いて算出しても良い。

量子化ステップ修正部１３３は、本発明の修正手段に相当し、量子化ステップ設定部１２１から入力された量子化ステップ情報、マクロブロック毎の劣化知覚度及び注目度に基づいて、マクロブロック毎に利用者が知覚しやすい符号化歪みを小さくし、かつ注目されていると思われるブロックの画質が向上するように量子化ステップ情報が保持する量子化ステップを修正し、修正された量子化ステップを量子化ステップ情報として出力する。

本実施の形態において、量子化ステップ修正部１３３による量子化ステップの修正では、注目度だけではなく、劣化知覚度を用いることとした。従来から用いられた、注目されにくい背景に画質劣化を知覚しやすい平坦な領域が含まれている画像を注目度のみ用いて修正した場合では、注目度が高いマクロブロックの量子化ステップをフレーム内で相対的に小さくし、注目度が低いマクロブロックの量子化ステップをフレーム内で相対的に大きくなるように修正され、結果として非注目領域の知覚されやすい平坦な領域の画質劣化を強調していた。しかし、本実施の形態の量子化ステップ修正部１３３は、注目度と劣化知覚度の両方に基づいて量子化ステップを修正することで画質劣化の強調を防ぎ、画質を向上させることを可能とした。

逆量子化部１０６は、量子化部１０３により出力された量子化直交変換係数情報に対してマクロブロック毎に量子化ステップを掛けることにより、逆量子化を行う。

逆直交変換部１０７は、逆量子化部１０６により逆量子化された量子化直交変換係数情報に対してさらに逆直交変換を行い、逆直交変換された情報を加算部１０８に出力する。

加算部１０８は、逆直交変換部１０７から入力された情報に、予測画像信号を加算して、局部復号信号を生成し、フレームメモリ１０９に出力する。

フレームメモリ１０９は入力された加算部１０８から入力された局部復号画像信号を記憶する。

予測画像生成部１１０は、フレーム内のマクロブロック毎に、入力された入力画像信号とフレームメモリ１０９に記憶された局部復号画像信号との間のマッチング（例えばブロックマッチング）を行い、もっとも差分が小さくなるような動きベクトルを検出し、この動きベクトルで補償された局部画像信号を用いて予測画像信号を生成する。そして予測画像生成部１１０は、補償するときに選択された、動きベクトル情報及び予測モード情報を生成された予測画像信号と供に出力する。

エントロピー符号化部１０４は、量子化部１０３による量子化直交変換係数情報及び予測画像生成部１１０により入力された動きベクトル情報と予測モード情報について、入力画像信号の出現確率の偏りを利用して圧縮する（エントロピー符号化を行う）。そしてエントロピー符号化部１０４は、圧縮して生成された符号化データを伝送系または蓄積系（ともに図示せず）に出力する。また本実施の形態において、圧縮方式として可変長符号方式を用いるが、本発明を可変長符号方式に制限するものではない。

次に、以上により構成された本実施の形態に係る画像符号化装置１００において入力された入力画像信号について処理を行い、符号化データを出力するまでの処理について説明する。図２は本実施の形態にかかる画像符号化装置１００における入力された入力画像信号について処理を行い、符号化データを出力するまでの全体処理を示すフローチャートである。

減算部１０１は、入力された入力画像信号から予測画像生成部１１０から入力された予測画像信号の差分を取ることで予測誤差信号を生成し、出力する（ステップＳ２０１）。なお、予測画像生成部１１０から入力される予測画像信号の生成手順については後述する。

そして直交変換部１０２は、入力された予測誤差信号に対して直交変換を行い、直交変換された予測誤差信号である直交変換係数情報を出力する（ステップＳ２０２）。

量子化部１０３は、入力された直交変換係数情報に対して量子化を行い、量子化された直交変換係数情報を示す量子化直交変換係数情報を出力する（ステップＳ２０３）。量子化部１０３は、量子化ステップを保持する量子化ステップ情報を量子化制御部１０５との間で入出力を行い、量子化制御部１０５により修正された量子化ステップを用いて直交変換係数情報に対して量子化を行う。なお、量子化部１０３及び量子化制御部１０５により行われる処理の詳細は後述する。

エントロピー符号化部１０４は、量子化部１０３から入力された量子化直交変換係数情報及び予測画像生成部１１０により入力された動きベクトル情報と予測モード情報についてエントロピー符号化を行い、生成された符号データを出力する（ステップＳ２０４）。なお、入力される動きベクトル情報と予測モード情報の生成手順については後述する。

上述した処理手順により注目度及び劣化知覚度に基づいて量子化され、かつ符号化されたデータの取得が可能となる。なお、符号化までの処理手順を上述した処理手順に制限するものではない。

次に、図２のステップＳ２０３による量子化部１０３及び量子化制御部１０５により入力された直交変換係数情報を量子化するまでの処理について説明する。図３は本実施の形態にかかる画像符号化装置１００の量子化部１０３及び量子化制御部１０５により入力された直交変換係数情報について量子化するまでの全体処理を示すフローチャートである。

量子化ステップ設定部１２１は、入力された直交変換係数情報のマクロブロック毎の各係数について割り算するための量子化ステップを設定し、この設定された量子化ステップを量子化ステップ情報として出力する（ステップＳ３０１）。

注目度算出部１３２は、入力画像信号と動きベクトル情報からマクロブロックの注目度を算出する（ステップＳ３０２）。上述したとおり、本実施の形態において人間が注目している画像の特定領域は合焦程度、色、画面内の位置、動きとするため、まずこれらについて各々の注目度を算出し、さらに各々の注目度から総合的な注目度を算出する。

合焦程度の特徴についての注目度ｂの算出方法について説明する。画像内において、一般に焦点が合っている領域では、隣接画素の輝度が急激に変化する部分が有ると考えられる。このため、マクロブロック内に輝度の急激に変化する部分があれば、焦点が合っているとみなし、合焦程度の特徴を示す値を高くする。

このマクロブロックの合焦程度についての注目度ｂは数（１）式により算出される。
ｂ＝（ｄ―ｄ_min）／（ｄ_max―ｄ_min）＋１…（１）
ｄは、当該マクロブロック内のある画素とその隣接画素との輝度差の最大値とし、ｄ_min，ｄ_maxはそれぞれのフレーム単位におけるｄの最大値、最小値である。数（１）式によれば、隣接画素との輝度差の最大値ｄが大きくなるほどｂの値が大きくなる。すなわち、焦点が合っている領域ほど、フレーム単位で、ｂの値が相対的に大きくなる。

なお、合焦程度をマクロブロック内の隣接画素の輝度差を最大値として算出する方法に制限するものではなく、例えばブロック内の画素の輝度の自己相関関係や、直交交換係数の高周波数成分等から算出する方法など、他の方法を用いて算出しても良い。

次に色に関する注目度の算出方法について説明する。色について利用者が注目する場合は、特徴的な色、例えば赤あるいは肌色の場合、そしてフレームなどの単位における平均色との色の違いがある場合が考えられる。そして本手順においては、赤に関する注目度ｒ、肌色に関する注目度ｓｋ、フレーム単位における平均色との色の違いによる注目度ｃｄのそれぞれについて算出する。

赤に関する注目度ｒはブロック内の画素の色の平均値をＨＳＶカラーモデルで表した場合の明度Ｖ及び彩度Ｓにより求めることとする。例えば明度Ｖ＞０．７であり、かつ彩度Ｓ＞０．５の場合にｒ＝２とし、それ以外の場合をｒ＝１とする。なお、明度Ｖ及び彩度Ｓは０〜１の間の値をとる。

肌色に関する注目度ｓｋはブロック内の画素の色の平均値をＨＳＶカラーモデルで表した場合の色相Ｈにより求めることとする。例えば０＜Ｈ＜（π／６）の場合に肌色と見なしｓｋ＝２とし、それ以外の場合をｓｋ＝１とする。なお、色相Ｈは０〜２πの間の値をとる。

フレーム単位における平均色との色の違いによる注目度ｃｄを求めるために、まずフレーム内で画素の色の平均値をL*a*bカラーモデルで表した値Ｃ_{frame_av}とマクロブロック内の画素の色の平均値をL*a*bカラーモデルで表した値Ｃ_{block_av}を算出する。そしてＣ_{block_av}とＣ_{frame_av} のL*a*b空間内のブロックにおける色差ｃを数（２）式により算出する。
ｃ＝‖Ｃ_{block_av}―Ｃ_{frame_av}‖…（２）
そしてｃをフレーム内の全てのブロックについて算出し、フレーム内のｃの最小値をｃ_minとし、フレーム内のｃの最大値をｃ_maxとする。

そしてフレーム単位における平均色との色の違いによるブロックの注目度ｃｄを数（３）式により算出する。
ｃｄ＝（ｃ―ｃ_min）／（ｃ_max−ｃ_min）＋１…（３）

なお、本実施の形態では、色に関する注目度の算出方法において、赤と肌色を人の視線を引きつける特定色として注目度を設定したが、この２色に制限するものではなく、画像の特徴に応じて、他の色に関する注目度を設定してもよい。また色差による算出方法を、当該マクロブロックの平均色と、フレーム内の平均色とのL*a*b空間での色差が大きいほど、色差に関する注目度が大きくなるような算出方法に制限するものではなく、例えば隣接ブロックの平均色との色差を用いて算出するなど、他の算出方法を用いてもよい。また、色の特徴によって視覚的に注目する度合いが算出できる方法であれば、特定色であるか否による注目度の算出方法あるいは周辺領域との色差による注目度を算出する方法に制限せず、他の特徴を用いて算出しても良い。

次に画面内の位置に関する注目度ｐの算出方法について説明する。画面内において中心に近づくほど注目度ｐが高くなると考えられるため、マクロブロックの重心位置と画面内の中心との距離に基づいて画面の位置に関する注目度ｐを算出する。なお、本手順ではフレーム単位で画面内の位置に関する注目度を求めることとする。

例えば注目度ｐを数（４）式により算出する。
ｐ＝２−（ｌ―ｌ_min）／（ｌ_max―ｌ_min）…（４）
ｌはマクロブロックの重心位置と画面内の中心との距離を示し、ｌ_maxはフレーム内でのｌの最大値であり、またｌ_minはフレーム内でのｌの最小値である。そして画面内の位置に関する注目度ｐを、数（４）式により求めることで当該マクロブロックの重心位置が画面内の中心位置から遠ざかるにつれ、線形に減少することとなる。なお、画面内の位置に関する注目度を数（４）式による算出方法に制限するものではなく、画面内の位置に基づいて注目度を算出する方法であれば、どのような算出方法でもよい。

次にマクロブロックの動きに関する注目度ｍｖの算出方法について説明する。マクロブロックの動きに関する注目度ｍｖを算出するために予測画像生成部１１０により入力された動きベクトル情報を用いる。まずは当該マクロブロックの動きベクトルｖから、動きベクトルの大きさｓを数（５）式により算出する。
ｓ＝‖ｖ‖＋ａ…（５）
なお、ａはカメラワークによる人間の注目点の分布の偏りを考慮した値である。例えばカメラがズームイン動作を行っているような画像の場合には、人間の注目点の分布がズームインの中心部に集まることが知られていることから、ズームインである場合にはａに例えば上述した数（４）式のｐを適用し、中心からの距離が近いほど注目度が高くなるような値とすることが可能である。またズームイン以外のカメラワークの場合にはａ＝０とする。なお、ズームインの場合にのみａの値を設定することに制限するものではなく、ズームイン以外のカメラワークによりａの値を定めても良い。

そして数（５）式により、ｓをフレーム内の全てのブロックから算出し、フレーム内におけるｓの最大値をｓ_maxとし、ｓの最小値をｓ_minとする。そしてこれらの値からマクロブロックの動きに関する注目度ｍｖを数（６）式により算出する。
ｍｖ＝（ｓ−ｓ_min）／（ｓ_max―ｓ_min）＋１…（６）
そしてマクロブロックの動きに関する注目度ｍｖは、数（６）式により求めることで当該マクロブロックの動きの大きさに応じて、線形に増減することとなる。

なお、予測画像生成部１１０により入力された動きベクトル情報を用いた算出に制限するものではなく、例えば、入力画像信号を１フレーム前の入力画像信号のアフィン変換により近似するようなアフィンパラメータを推定し、このパラメータを用いて１フレーム前の入力画像信号を動き補償したあと、ブロックマッチングにより求めた動きベクトルとしてもよい。この方法は、カメラワークによる画像のグローバルな動きを取り除いた動きベクトルを検出することを意味する。このアフィンパラメータの係数により上述したａの値を定めてもよい。他にもフレームやフィールドやスライス単位に含まれるマクロブロックの動きベクトルの向きヒストグラムによりａの値を定めても良い。

そして、以上の各々の注目度から各マクロブロックの総合的な注目度Ｇを算出する。まずは、上述のマクロブロックごとの合焦程度、色、位置情報、動きの注目度より各ブロックの注目度合いを示すｇを数（７）式より算出する。
ｇ＝（ｂ×ｍｖ×ｒ×ｃｄ）＾（１／４）＋ｓｋ＋ｐ…（７）
数（７）式においては肌色に関する注目度ｓｋと位置に関する注目度ｐを重視し、合焦程度による注目度ｂ、動きによる注目度ｍｖ、赤色に関する注目度ｒ、色差に関する注目度ｃｄの相乗平均に加算した値を各ブロックの注目度合いを示すｇとした。この算出方法は、人間の画像を見る際に、人の顔や手などの肌色領域や、画面の中心領域を特に注目することが多いことを考慮したものである。この数（７）式により特に肌色領域及び位置に関する注目度に重点を置いた量子化ステップの修正が可能となる。なお、この数（７）式による算出方法に制限するものではなく、例えばそれぞれの特徴による注目度の平均値による算出方法など、他の算出方法を用いても良い。

そして数（７）式により、ｇをフレーム内の全てのブロックから算出し、フレーム内におけるｇの最大値をｇ_maxとし、ｇの最小値をｇ_minとする。そしてこれらの値からマクロブロックの総合的な注目度Ｇを数（８）式により算出する。
Ｇ＝（ｇ−ｇ_min）／（ｇ_max―ｇ_min）＋１…（８）
そしてマクロブロックの総合的な注目度Ｇは、数（８）式により求めることでｇをフレーム単位で０〜１の範囲にスケーリングした値となる。

なお、マクロブロックの合焦程度などの各々の注目度、あるいは総合的な注目度の算出方法を、上述した式による算出方法に制限するものではない。例えば上述した式のように線形に減少するものではなく、非線形に減少するような別の式により注目度を算出しても良い。また、知覚的に注目する度合いを示す別の物理的特徴を示す値を別の式により算出して、算出された別の物理特徴を示す値により総合的な注目度Ｇを算出してもよい。なお、本実施の形態においては各々の注目度、あるいは総合的な注目度についてフレーム単位でスケーリングを行ったが、フレーム単位に制限するものではなく、例えばフィールドやスライス単位で行ってもよい。

次に、劣化知覚度算出部１３１は、入力画像信号からマクロブロックの劣化知覚度を算出する（ステップＳ３０３）。上述したとおり、本実施の形態においてマクロブロックの劣化知覚度として絵柄の複雑さを示すアクティビティＮ_{_act}を用いるので、このアクティビティＮ_{_act}を算出する。

まずは当該マクロブロックの入力画像の分散値であるＶ_yに１を加えた値をactとする。そしてアクティビティＮ_{_act}を数（９）式により算出する。
Ｎ_{_act}＝（Ａ×act＋ave_act）／（act＋Ａ×ave_act）…（９）
またave_actはフレーム単位でのactの平均値であり、ＡはＮ_{_act}の値を１／Ａ〜Ａの値にスケーリングするための定数であり、後述する係数ＧＡにより適切な量子化ステップに修正できるような定数を設定する。Ａの具体的な数値として、例えばＡ＝１．５が考えられるが、本実施の形態はＡ＝１．５に制限するものではない。

数（９）式によりアクティビティＮ_{_act}は、当該マクロブロックの入力画像の分散が平均よりも小さい場合、つまり絵柄として相対的に平坦な部分の場合、アクティビティＮ_{_act}は１より小さくなる。逆に、当該マクロブロックの入力画像の分散が平均よりも大きい場合、つまり絵柄として相対的に複雑な部分の場合、アクティビティＮ_{_act}の値は１より大きくなる。なお、アクティビティＮ_{_act}が本発明の劣化知覚度情報に相当する。

そして、量子化ステップ修正部１３３では、ステップＳ３０２より算出された注目度及びステップＳ３０３により算出された劣化知覚度により、ステップＳ３０１で設定された量子化ステップを修正する（ステップＳ３０４）。

まずＧは０〜１の範囲でスケーリングされた値であり、後の説明を容易にするため数（１０）式により１を基準として±０．５増減がある変数Ｇ’にする。
Ｇ’＝１．５―Ｇ…（１０）
つまり、数（１０）式で算出されたＧ’は、注目度が他のブロックと比べて高いブロックでは１より小さくなり、注目度が０．５以下、すなわち注目度が他のブロックと比べて低いブロックでは１より大きな値となる。なお、Ｇ’が本発明の注目度情報に相当する。

次に、マクロブロックの注目度Ｇと劣化知覚度を示すアクティビティＮ_{_act}により量子化ステップを修正するために用いる係数ＧＡを数（１１）式により算出する。
ＧＡ＝Ｇ’×Ｎ_{_act}…（１１）
つまり、数（１１）式の係数ＧＡの値は、絵柄が平坦でありかつ注目度が高いマクロブロックでは、１より小さな値となり、逆に絵柄が平坦ではなく注目度が低いブロックでは、１より大きな値となる。

なお、量子化ステップを修正するための係数を得る式を数（１１）式に制限するものではなく、他の式により量子化ステップを修正するための係数を得てもよい。

またＧ’により注目度が他のブロックに比べて高い場合に１より大きくなり、注目度が他のブロックに比べて低い場合に１より小さくなるようにしたが、注目度について他のブロックと比べて大きいか否か判断するための値であるＧ’を（１．５―Ｇ）に制限するものではない。また、後述する変形例におけるＧ’の値も同様とする。

次に、係数ＧＡを用いて、量子化ステップ情報として量子化ステップ修正部１３３から入力された量子化ステップＱＰ’を修正して量子化ステップＱＰを得る。具体的な量子化ステップＱＰの値は数（１２）式により算出される。
ＱＰ＝ＧＡ×ＱＰ’…（１２）
なお、算出された量子化ステップＱＰが、整数でない場合は四捨五入により整数に丸められる。なお、四捨五入に制限するものではなく、切り捨てや切り上げにより整数に丸めても良い。

数（１２）式により、絵柄が平坦でありかつ注目度が高いマクロブロックについては、量子化ステップを相対的に小さくし、絵柄が平坦ではなく注目度が低いマクロブロックについては、量子化ステップを相対的に大きくする。

そして、量子化処理部１２２は、ステップＳ３０４により修正された量子化ステップを用いて、入力された直交変換係数情報について量子化を行う（ステップＳ３０５）。

なお、本実施の形態において量子化する手順を上述の手順に制限するものではない。特にステップＳ３０１、ステップＳ３０２、ステップＳ３０３においては、処理手順の順序を制限するものではなく、例えば同時に行うことにしても良い。

上述した処理手順により、注目度が高いマクロブロックの量子化ステップを小さく修正したあとで、量子化を行うので注目領域の主観画質を向上させることが可能となる。さらに注目度が低いが絵柄が平坦であり知覚しやすいマクロブロックにおいても、より１に近い値に設定されたＧＡにより量子化ステップを修正するので、本処理手順により量子化ステップが大きすぎるように修正されることもなく、量子化後の画像において非注目領域の知覚されやすい画質劣化の軽減が可能となる。これにより知覚しやすい平坦部の符号化歪みを軽減し、かつ注目領域の主観的な画質を向上させることが可能となる。

次に、量子化直交変換係数情報から予測画像信号を生成するまでの処理について説明する。図４は本実施の形態にかかる入力された量子化直交変換係数情報から予測画像信号を生成するまでの全体処理を示すフローチャートである。

逆量子化部１０６は、量子化部１０３より入力された量子化直交変換係数情報についてマクロブロック毎に量子化ステップを掛けることで、逆量子化を行う（ステップＳ４０１）。そして逆直交変換部１０７は、逆量子化された量子化直交変換係数情報について逆直交変換を行う（ステップＳ４０２）。

次に加算部１０８は、予測画像生成部１１０より入力された予測画像信号とステップＳ４０２において逆直交変換された情報を加算して、局部復号画像信号を生成する（ステップＳ４０３）。そしてフレームメモリ１０９は、生成された局部復号画像信号を記憶する（ステップＳ４０４）。

そして予測画像生成部１１０は、フレーム内のマクロブロック毎に、入力画像信号とフレームメモリ１０９に記憶された局部画像信号との間のマッチングを行い、予測画像信号を生成する（ステップＳ４０５）。そして予測画像生成部１１０は、生成した予測画像信号を、選択された、動きベクトル情報及び予測モード情報と供に出力する。

上述した処理手順により選択された、動きベクトル情報及び予測モード情報は、エントロピー符号化部１０４により、量子化直交変換係数情報と供に符号化されることとなる。また、予測画像信号は、減算部１０１において入力画像信号に対して減算処理を行い、データ量の縮小が可能となった。また予測画像信号は、加算部１０８において逆直交変換された情報に加算することで局部復号画像信号を生成することが可能となった。

また、本実施の形態においては、マクロブロックの劣化知覚度を示す値としてアクティビティを用いることとしたが、符号化時の画質劣化の知覚しやすさを示す値であればよく、アクティビティに制限するものではない、例えば、γ特性に基づく算出方法や、輝度の平均値が小さい方がより劣化を知覚しやすいという特性を用いた算出方法、あるいは他の知覚特性を用いた算出方法など、他の方法を用いて算出してもよい。また、例えばアクティビティやγ特性、輝度値に関する特性などを画質劣化の知覚しやすさに関わる特性を複数用いて劣化知覚度を算出してもよい。

また、アクティビティの算出方法についても数（９）式による算出方法に制限せず、例えばＶ_yの値としてマクロブロックを４分割し、それぞれに含まれる輝度の分散の最小値を用いるなど、他の算出方法を用いても良い。

また、本実施の形態において、マクロブロックを本発明の符号化単位として、マクロブロック毎に予測モードおよび量子化ステップの対を決定することとしたが、これに制限するものではなく、例えば複数のマクロブロック単位、スライス、フィールド、フレーム、ピクチャ、あるいはＧＯＰなど他の単位を用いても良い。

さらに、本実施形態においては動画像について符号化処理を行ったが、静止画像の符号化あるいは他視点画像の符号化に本発明を適用することも可能である。

（変形例）
本発明は、上述した各実施の形態に限定されるものではなく、以下に例示するような種々の変形が可能である。

（変形例１）
上述した実施の形態では、量子化ステップ修正部１３３により量子化ステップを修正する際に、数（１２）式により量子化ステップＱＰ’と係数ＧＡの積により修正していたが、同様の性質を持つ式により量子化ステップＱＰを算出してもよい。

例えば、数（１３）式により量子化ステップを算出することも考えられる。
ＱＰ＝Ｋ・ｌｏｇ_L（ＧＡ）＋ＱＰ’…（１３）
Ｌは１以上の実数であり、Ｋは正の実数である必要があり、Ｈ．２６４に適用する場合はＬ＝２，Ｋ＝６が望ましい値であると考えられる。また、算出された量子化ステップＱＰが整数でない場合、切り捨てや切り上げあるいは四捨五入等を用いて整数に丸める。この数（１３）式を用いることで本実施の形態の数（１２）式と同様の効果が得られる。つまり知覚しやすい平坦部の符号化歪みを軽減し、かつ注目領域の主観的な画質を向上させることが可能となった。

（変形例２）
さらに上述した実施の形態においては係数ＧＡを求めるために数（１１）式を用いたが、他の算出方法によりＧＡを算出しても良い。例えばＧ’が１より大きいか否かにより場合分けしてＧＡを得る方法がある。

例えばＧ’≧１の場合にＧＡ＝Ｇ’とし、Ｇ’＜１の場合に、ＧＡ＝Ｎ_{_act}として算出する方法が考えられる。

また、Ｇ’≧１の場合にＧＡ＝Ｎ_{_act}とし、Ｇ’＜１の場合に、ＧＡ＝Ｇ’として算出する方法が考えられる。

また、Ｇ’≧１の場合にＧＡ＝Ｇ’×Ｎ_{_act}とし、Ｇ’＜１の場合に、ＧＡ＝Ｎ_{_act}として算出する方法が考えられる。

また、Ｇ’≧１の場合にＧＡ＝Ｎ_{_act}とし、Ｇ’＜１の場合に、ＧＡ＝Ｇ’×Ｎ_{_act}として算出する方法が考えられる。

これらの算出方法によりＧＡを求め、上述した実施の形態あるいは変形例１により量子化ステップを算出し、量子化を行うことで、知覚しやすい平坦部の符号化歪みを軽減し、かつ注目領域の主観的な画質を向上させることが可能となる。

以上のように、本発明にかかる画像符号化装置および画像符号化方法は、画像の符号化する装置等に有用であるが、特に画質を向上させるために適切な量子化ステップを設定して量子化を行う動画像の符号化装置に適している。

実施の形態にかかる画像符号化装置の構成を示すブロック図である。 実施の形態にかかる画像符号化装置における入力された入力画像信号について処理を行い、符号化データを出力するまでの全体処理を示すフローチャートである。 実施の形態にかかる画像符号化装置における量子化部及び量子化制御部において入力された直交変換係数情報について量子化するまでの全体処理を示すフローチャートである。 実施の形態にかかる入力された量子化直交変換係数情報から予測画像信号を生成するまでの全体処理を示すフローチャートである。

符号の説明

１００ 画像符号化装置
１０１ 減算部
１０２ 直交変換部
１０３ 量子化部
１０４ エントロピー符号化部
１０５ 量子化制御部
１０６ 逆量子化部
１０７ 逆直交変換部
１０８ 加算部
１０９ フレームメモリ
１１０ 予測画像生成部
１２１ 量子化ステップ設定部
１２２ 量子化処理部
１３１ 劣化知覚度算出部
１３２ 注目度算出部
１３３ 量子化ステップ修正部

Claims (8)

1. 入力された入力画像情報について、前記入力画像情報内の予め区切られた画面領域の単位である符号化単位毎に量子化を行った後に、符号化を行う画像符号化装置であって、
   前記入力画像情報について前記符号化単位毎の量子化幅を設定する設定手段と、
   前記入力画像情報について前記符号化単位毎に、予め定められた視覚的に注目する要素における視覚的な注目度合いを示した注目度情報を算出する注目度算出手段と、
   前記入力画像情報について前記符号化単位毎に、予め定められた視覚的に画質劣化を知覚しやすい要素について画質劣化の知覚容易性を示した劣化知覚度情報を算出する劣化知覚度算出手段と、
   前記注目度算出手段により算出された前記注目度情報及び前記劣化知覚度算出手段により算出された劣化知覚度情報に基づいて、絵柄が平坦でありかつ注目度が高い前記符号化単位については、前記量子化幅を相対的に小さくし、絵柄が平坦ではなく注目度が低い前記符号化単位については、前記量子化幅を相対的に大きくするように、前記設定手段で設定された前記量子化幅を修正する修正手段と、
   前記修正手段により修正された前記量子化幅により、前記入力画像情報を量子化する量子化手段と、
   を備え、
   前記注目度算出手段は、
   前記符号化単位毎の各画素とその隣接画素との輝度差の最大値が大きくなるほど値が大きくなり、１以上の値である第１の注目度と、
   前記符号化単位毎の動きが大きくなるほど値が大きくなり、１以上の値である第２の注目度と、
   前記符号化単位毎の平均色がＨＳＶ空間内での明度および彩度に基づいて予め定められた赤色の範囲内である場合には赤色の範囲外である場合よりも値が大きくなり、１以上の値である第３の注目度と、
   前記符号化単位毎の平均色と画面単位での平均色とのＬ＊ａ＊ｂ空間内での色差が大きいほど値が大きくなり、１以上の値である第４の注目度と、
   前記符号化単位毎の平均色がＨＳＶ空間内での色相に基づいて予め定められた肌色の範囲内である場合に肌色の範囲外である場合よりも値が大きくなり、１以上の値である第５の注目度と、
   前記符号化単位毎の画面の中央からの距離が大きくなるほど値が大きくなり、１以上の値である第６の注目度と、
   を求め、
   前記第１の注目度、前記第２の注目度、前記第３の注目度および前記第４の注目度の相乗平均と前記第５の注目度と前記第６の注目度とを加算して前記符号化単位毎の第７の注目度を求め、
   前記第７の注目度が大きくなるほど値が大きくなるように前記注目度情報を求める、
   ことを特徴とする画像符号化装置。
2. 前記修正手段は、前記注目度算出手段により算出された前記入力画像情報内の複数の前記符号化単位間における相対的な注目度の高低を示す前記注目度情報と、前記劣化知覚度算出手段により算出された前記入力画像情報内の複数の前記符号化単位間における相対的な劣化知覚度の高低を示す前記劣化知覚度情報とに従って、前記符号化単位毎に前記設定手段で設定された前記量子化幅を修正すること
   を特徴とする請求項１に記載の画像符号化装置。
3. 前記注目度算出手段は、前記入力画像情報について前記符号化単位毎に、予め定められた視覚的に注目する要素における、数値であり且つ数値が小さくなるほど注目される度合いが高いことを示す前記注目度情報を算出し、
   前記劣化知覚度算出手段は、前記入力画像情報について前記符号化単位毎に、予め定められた視覚的に画質劣化を知覚しやすい要素における、数値であり且つ数値が小さくなるほど符号化による画像劣化を知覚しやすいことを示す前記劣化知覚度情報を算出すること
   を特徴とする請求項２に記載の画像符号化装置。
4. 前記注目度算出手段は、前記入力画像情報について前記符号化単位毎に、予め定められた視覚的に注目する要素における、前記画面領域内での最大値と最小値の間に１を含む値となる前記注目度情報を算出し、
   前記劣化知覚度算出手段は、前記入力画像情報について前記符号化単位毎に、予め定められた視覚的に画質劣化を知覚しやすい要素における、前記画面領域内での最大値と最小値の間に１を含む値となる前記劣化知覚度度情報を算出し、
   前記修正手段は、前記符号化単位毎の前記量子化幅を、前記注目度情報と前記劣化知覚度情報の積に、前記設定手段により設定された前記量子化幅を乗じて得られた値に修正することを特徴とする請求項３に記載の画像符号化装置。
5. 前記注目度算出手段は、前記入力画像情報について前記符号化単位毎に、予め定められた視覚的に注目する要素における、前記画面領域内での最大値と最小値の間に１を含む値となる前記注目度情報を算出し、
   前記劣化知覚度算出手段は、前記入力画像情報について前記符号化単位毎に、予め定められた視覚的に画質劣化を知覚しやすい要素における、前記画面領域内での最大値と最小値の間に１を含む値となる前記劣化知覚度度情報を算出し、
   前記修正手段は、前記符号化単位毎の前記量子化幅を、前記注目度情報と前記劣化知覚度情報の積の予め定められた１以上の実数の対数に予め定められた正の実数を乗じた値に、前記設定手段により設定された前記量子化幅を加算して得られた値に修正することを特徴とする請求項３に記載の画像符号化装置。
6. 前記注目度算出手段において、視覚的に注目する要素である前記符号化単位毎の合焦程度情報、色情報、動き情報、位置情報のうち少なくとも１つ以上の要素について注目度を算出すること
   を特徴する請求項１〜５のいずれか一つに記載の画像符号化装置。
7. 入力された入力画像情報について、前記入力画像情報内の予め区切られた画面領域の単位である符号化単位毎に量子化を行った後に、符号化を行う画像符号化方法であって、
   前記入力画像情報について前記符号化単位毎の量子化幅を設定する設定ステップと、
   前記入力画像情報について前記符号化単位毎に、予め定められた視覚的に注目する要素における視覚的な注目度合いを数値で示した注目度情報を算出する注目度算出ステップと、
   前記入力画像情報について前記符号化単位毎に、予め定められた視覚的に画質劣化を知覚しやすい要素について画質劣化の知覚容易性を数値で示した劣化知覚度情報を算出する劣化知覚度算出ステップと、
   前記注目度算出ステップにより算出された前記注目度情報及び前記劣化知覚度算出ステップにより算出された劣化知覚度情報に基づいて、絵柄が平坦でありかつ注目度が高い前記符号化単位については、前記量子化幅を相対的に小さくし、絵柄が平坦ではなく注目度が低い前記符号化単位については、前記量子化幅を相対的に大きくするように、前記設定ステップで設定された前記量子化幅を修正する修正ステップと、
   前記修正ステップにより修正された前記量子化幅により、前記入力画像情報を量子化する量子化ステップと、
   を備え、
   前記注目度算出ステップは、
   前記符号化単位毎の各画素とその隣接画素との輝度差の最大値が大きくなるほど値が大きくなり、１以上の値である第１の注目度と、
   前記符号化単位毎の動きが大きくなるほど値が大きくなり、１以上の値である第２の注目度と、
   前記符号化単位毎の平均色がＨＳＶ空間内での明度および彩度に基づいて予め定められた赤色の範囲内である場合には赤色の範囲外である場合よりも値が大きくなり、１以上の値である第３の注目度と、
   前記符号化単位毎の平均色と画面単位での平均色とのＬ＊ａ＊ｂ空間内での色差が大きいほど値が大きくなり、１以上の値である第４の注目度と、
   前記符号化単位毎の平均色がＨＳＶ空間内での色相に基づいて予め定められた肌色の範囲内である場合に肌色の範囲外である場合よりも値が大きくなり、１以上の値である第５の注目度と、
   前記符号化単位毎の画面の中央からの距離が大きくなるほど値が大きくなり、１以上の値である第６の注目度と、
   を求め、
   前記第１の注目度、前記第２の注目度、前記第３の注目度および前記第４の注目度の相乗平均と前記第５の注目度と前記第６の注目度とを加算して前記符号化単位毎の第７の注目度を求め、
   前記第７の注目度が大きくなるほど値が大きくなるように前記注目度情報を求める、
   ことを特徴とする画像符号化方法。
8. 前記修正ステップは、前記注目度算出ステップにより算出された前記入力画像情報内の複数の前記符号化単位間における相対的な注目度の高低を示す前記注目度情報と、前記劣化知覚度算出ステップにより算出された前記入力画像情報内の複数の前記符号化単位間における相対的な劣化知覚度の高低を示す前記劣化知覚度情報とに従って、前記符号化単位毎に前記設定手段で設定された前記量子化幅を修正すること
   を特徴とする請求項７に記載の画像符号化方法。

Images