JP6616592B2 - 符号化装置及びそのプログラム - Google Patents

Description

本発明は、動画像の符号化処理技術に関し、特に、短視距離を対象とする視聴環境下に適した符号化制御を行う符号化装置及びそのプログラムに関する。

近年、ディスプレイやビデオカメラ画像の大型化に伴い、臨場感・実物感が得られるよう動画像の高解像度化が行われている。いわゆる８Ｋと呼ばれるスーパーハイビジョン（ＳＨＶ）のような超高精細動画像は、ある程度の短視距離、例えば０．７５Ｈ（１Ｈ：モニタ画面高）程度の視距離で視聴することで、視聴者は映像に包み込まれるような臨場感を楽しむことができる。

ところで、超高精細・大画面テレビの映像の画面サイズと“好ましい観視距離”との関係に関して、視野内の情報受容特性についての報告が為されている（例えば、非特許文献１参照）。

また、広い視野で画像を観たときの臨場感に関連する心理的な効果を定量化して示した報告もある（例えば、非特許文献２参照）。

成田長人、金澤勝、岡野文男、"超高精細・大画面映像システムの画面パラメータ"、一般社団法人映像情報メディア学会、映像情報メディア学会誌、Vol. 56, No. 3, pp. 437〜446、2002年3月1日発行 映像情報メディア学会 卓越研究データベース、"視野角に対する画像の臨場感の客観測定"、［online］、［平成27年4月6日検索］、インターネット〈URL：http://dbnst.nii.ac.jp/pro/detail/1147〉

スーパーハイビジョン（ＳＨＶ）のような超高精細動画像では、１フレームあたりの情報量も多くなり、符号化効率及び符号化速度の向上が求められる。

また、短視距離を前提とした視聴環境では、画面中央部の画素に比べると、周辺領域では画素に対する距離や角度が生じる。このため周辺領域の重要性が中央部分に比べて相対的に低くなり、動画像の画面全体を同一の符号化方式及び圧縮率で処理することは、符号化効率の観点から望ましくない。

本発明の目的は、上述の問題に鑑みて、短視距離を対象とする視聴環境下に適した符号化制御を行う符号化装置及びそのプログラムを提供することにある。

本発明では、短視距離を対象とする視聴環境下に適した符号化制御として、画面の中央部と周辺部で異なる符号化制御を行うことによって符号化効率及び符号化速度を改善する。

本発明の符号化装置は、動画像の符号化処理を行う符号化装置であって、動画像のフレームを所定のブロックサイズの単位ブロックにブロック分割するブロック分割手段と、前記単位ブロックを基に変換ブロックを決定し、該変換ブロックに対して所定の直交変換処理を施す直交変換手段と、前記直交変換処理が施された変換ブロックに対して所定の量子化処理を施し、符号化信号を生成する量子化手段と、前記フレームに対して短視距離を考慮して予め定めた領域基準を基に、当該ブロック分割の対象とする単位ブロックが属する領域を判定する手段と、当該所定の量子化処理の対象とする変換ブロックが属する領域を判定する手段のいずれか一方、又は双方を有し、当該判定結果に基づいて、前記短視距離にて前記フレームに対して中央部の領域よりも、周辺部の領域の符号データ量を抑制するよう所定の符号化パラメータを制御する領域判定・制御手段と、を備え、前記領域判定・制御手段は、前記領域基準として、前記フレームの中央部の中心画素を基準に、前記中心画素の法線方向上の視点からの視角度により、前記フレームを構成する各画素に対する水平方向の水平縮小率をＳｘとし垂直方向の垂直縮小率をＳｙとしたときに前記フレームの画素毎に縮小率Ｓ＝Ｓｘ×Ｓｙを求め、該縮小率Ｓが前記中心画素に対して所定の割合以下になる画素群を、前記符号データ量を抑制する領域とし、該領域を区分するように定められた１以上の第１の境界線と、前記中心画素の法線方向上の当該視点から、臨場感を引き起こすとされる予め定められた誘導視野又は予め定められた安定注視野の範囲の外側の領域を区分するように定められた１以上の第２の境界線とを定め、前記中心画素を基準にして、前記フレームの中央部を含む前記１以上の第１の境界線より内側の領域を前記中央部の領域とし、前記１以上の第１の境界線より外側、且つ前記１以上の第２の境界線より内側の領域を、前記符号データ量を抑制する第１の領域とし、前記１以上の第２の境界線より外側の領域を、前記符号データ量を抑制する第２の領域として判定する領域判定部と、前記所定の符号化パラメータの制御として、前記フレームに対して中央部の領域よりも、周辺部の領域の符号データ量を抑制するよう、前記１以上の第１の境界線及び前記１以上の第２の境界線で定まる領域毎に、前記量子化手段により予め定めた符号化処理に基づく量子化制御値を補正する量子化補正部と、を有することを特徴とする。

また、本発明の符号化装置において、前記量子化手段によって量子化され符号化された結果を所定の検証基準に基づいて、符号化歪が所定値内の歪み量であるか否かを検証し、符号化歪が所定値内であればそのまま出力し、符号化歪が所定値内でなければ前記領域判定・制御手段に対して異なる領域設定、又は異なる符号化パラメータで、前記中央部の領域と比して前記周辺部の領域の符号データ量を抑制し、且つ符号化歪が所定値内となるよう繰り返し制御する符号化検証手段を更に備えることを特徴とする。

更に、本発明のプログラムは、コンピュータを、本発明の符号化装置として機能させるためのプログラムであることを特徴とする。

本発明によれば、短視距離を考慮した動画像の符号化効率を改善することができる。

本発明による第１実施形態の符号化装置の概略構成を示すブロック図である。 （ａ），（ｂ）は、それぞれ本発明による第１実施形態の符号化装置に係る基本ブロック（ＣＴＵ）及び変換ブロック（ＴＵ）の例を示す説明図である。 本発明による第１実施形態の符号化装置の符号化処理例を示すフローチャートである。 本発明による第１実施形態の符号化装置に係る短視距離の説明図である。 （ａ）は、本発明による第１実施形態の符号化装置に係る視野内の情報受容特性の説明図であり、（ｂ）はその計算値である。 本発明による第１実施形態の符号化装置に係る視野内の情報受容特性と臨場感に関する誘導視野範囲と境界線を示す画面境界の一例を示す説明図である。 本発明による第１実施形態の符号化装置に係る視野内の情報受容特性と臨場感に関する誘導視野範囲と境界線を示す画面境界の別例を示す説明図である。 本発明による第１実施形態の符号化装置に係る視野内の情報受容特性と臨場感に関する誘導視野範囲と境界線を示す画面境界の更なる別例を示す説明図である。 本発明による第２実施形態の符号化装置の概略構成を示すブロック図である。 本発明による第２実施形態の符号化装置の符号化処理例を示すフローチャートである。

以下、図面を参照して、本発明による各実施形態の符号化装置１を順に説明する。

〔第１実施形態〕
（装置構成）
図１は、本発明による第１実施形態の符号化装置１の概略構成を示すブロック図である。符号化装置１は、動画像の各フレームの画面について、その中央部の領域と周辺領域とを詳細に後述する所定の領域基準に基づいて定義し、画面の中央部と周辺部で異なる符号化制御を行うことによって符号化効率及び符号化速度を改善する装置であり、ブロック分割部１１、直交変換部１２、量子化部１３、領域判定部１４、量子化補正部１５、及び分割補正部１６を備える。ここで、ブロック分割部１１、直交変換部１２及び量子化部１３は、それぞれ入力される複数フレームからなる動画像について予め定めた符号化処理でのブロック分割処理、直交変換処理、及び量子化処理が予定されているものとし、領域判定部１４、量子化補正部１５及び分割補正部１６は、この予定されていた符号化処理に対する補正を行うよう機能する。

ブロック分割部１１は、領域判定部１４及び分割補正部１６による制御下で、入力される複数フレームからなる動画像の映像信号を入力し、フレームごとに所定のブロックサイズの単位ブロックに分割し、この単位ブロックから更なる所定のブロックサイズの変換ブロックへの分割を許容した態様で、各単位ブロックを予め定めた順序で直交変換部１２に出力する。尚、単位ブロックから変換ブロックへの分割を行わないときは、この単位ブロックを変換ブロックとして扱うことができる。

例えば、Ｈ．２６５／ＨＥＶＣの場合では、フレームを分割するＣＴＵ（Coding Tree Unit、符号化ツリーユニット）、ＣＴＵを繰り返し利用可能に（再帰的に）分割するＣＵ（Coding Unit、符号化ユニット）、ＣＵを予測処理用に分割するＰＵ（Prediction Unit、予測ユニット）、及びＣＵを変換処理用に分割するＴＵ（Transform Unit、変換ユニット）がブロック分割処理に含まれる。このため、「単位ブロック」は、ＣＴＵ、或いはＣＴＵから分割又は非分割されたＣＵとすることができる。また、「変換ブロック」は、ＣＵから量子化変換のために分割又は非分割されたＴＵとすることができる。例えば、図２（ａ）に示すように、フレームＦをＣＴＵに分割すると、このＣＴＵを更に分割したＣＵとし、このＣＵを単位ブロックとして量子化変換のために更に分割した変換ブロック（ＴＵ）とすることができる。或いは、図２（ｂ）に示すように、フレームＦをＣＴＵに分割すると、このＣＴＵを更に分割したＣＵとし、このＣＵを単位ブロックとするとともに、このＣＵを量子化変換のためのＴＵとすることができる。更には、フレームＦをＣＴＵに分割して単位ブロックとし、このＣＴＵを量子化変換のためのＴＵとすることもできる。

或いはまた、Ｈ．２６４／ＡＶＣの場合では、フレームを分割するマクロブロックを「単位ブロック」とし、マクロブロックから量子化変換のために分割されたサブマクロブロックを「変換ブロック」とすることができる。

直交変換部１２は、順次得られる単位ブロックを基に変換ブロックを決定し、変換ブロックに対して所定の直交変換処理を施して、量子化部１３に出力する。

量子化部１３は、領域判定部１４及び量子化補正部１５による制御下で、直交変換処理が施された変換ブロックに対して所定の量子化処理を施し、符号化信号を生成して外部に出力する。尚、ブロック分割や量子化に係る制御値（量子化パラメータなど）は、符号化パラメータとして符号化信号のヘッダ情報に含めて出力することができる。このため、復号側は、符号化パラメータを参照して復号処理するものであればよく、既存の復号装置により復号することができる。

領域判定部１４は、ブロック分割部１１から得られる単位ブロックの位置情報（単位ブロック位置情報）により、所定の領域基準に基づいて、当該単位ブロックが動画像の各フレームの画面におけるいずれの領域に属するかを判定し、その判定結果を「単位ブロックの領域情報」として分割補正部１６に出力する。更に、領域判定部１４は、直交変換部１２から得られる変換ブロックの位置情報（変換ブロック位置情報）により、当該所定の領域基準に基づいて、当該変換ブロックが動画像の各フレームの画面におけるいずれの領域に属するかを判定し、その判定結果を「変換ブロックの領域情報」として量子化補正部１５に出力する。

量子化補正部１５及び分割補正部１６は、それぞれ「変換ブロックの領域情報」及び「単位ブロックの領域情報」を基に、フレームＦに関して短視距離にて中央部よりも、周辺部の符号データ量を抑制するよう量子化に係る制御値（例えば、量子化パラメータｑＰ）及びブロック分割の補正を行うよう制御する。

より具体的には、量子化補正部１５は、「変換ブロックの領域情報」を基に、量子化部１３による所定の量子化処理における制御値（例えば、量子化パラメータ）を補正するか否かを判別して量子化部１３に対して補正制御する。一例として、量子化部１３は、所定の量子化処理を施す前に補正前制御値（例えば、補正前の量子化パラメータｑＰ）を量子化補正部１５に出力し、量子化補正部１５は、「変換ブロックの領域情報」を基に補正前制御値（例えば、補正前の量子化パラメータｑＰ）を補正するか否かを判別し、補正する際にはその補正後制御値（補正後の量子化パラメータｑＰ）を量子化部１３に返す。量子化部１３は、この補正後制御値を用いて、当該直交変換処理が施された変換ブロックに対して所定の量子化処理を施し、符号化信号を生成して外部に出力する。

分割補正部１６は、「単位ブロックの領域情報」を基に、ブロック分割部１１によるブロック分割に係る単位ブロックのブロックサイズの補正の要否を判定制御し、補正の要否を示す分割補正情報をブロック分割部１１に出力する。一例として、ブロック分割部１１は、予め定めた符号化処理に基づき分割する単位ブロックを直交変換部１２に出力する前に、当該単位ブロックの位置情報を領域判定部１４に出力し、領域判定部１４は、領域判定の後に「単位ブロックの領域情報」を生成し、分割補正部１６は、「単位ブロックの領域情報」を基に分割補正情報をブロック分割部１１に出力する。そして、ブロック分割部１１は、この分割補正情報が、当該単位ブロックのブロックサイズの補正を示すときは、その分割補正情報が示すブロックサイズで単位ブロックを決定して直交変換部１２に出力し、この分割補正情報が、当該単位ブロックのブロックサイズの補正を示さないときは、当該予め定めた符号化処理に基づき分割する単位ブロックをそのまま直交変換部１２に出力する。

尚、領域判定部１４及び分割補正部１６によるブロック分割の補正制御に関して、Ｈ．２６５／ＨＥＶＣの場合では、フレームＦからＣＴＵへのブロックサイズは補正しないようにし、ＣＴＵからＣＵへのブロック分割、或いはこのＣＵからＴＵへのブロック分割について補正を行うようにするのが簡便である。同様に、Ｈ．２６４／ＡＶＣの場合では、フレームＦからマクロブロックへのブロックサイズは補正しないようにし、マクロブロックからサブマクロブロックへのブロック分割について補正を行うようにするのが簡便である。

尚、量子化補正部１５、及び分割補正部１６は、そのいずれか一方のみを備えるよう構成することもできる。

（装置動作）
以下、図３を参照して、Ｈ．２６５／ＨＥＶＣの場合を基に、本発明による第１実施形態の符号化装置１に関する動作例をより具体的に説明する。図３は、本発明による第１実施形態の符号化装置１の符号化処理例を示すフローチャートである。

ここで、モニタ画面高Ｈ＝４３２０ライン×横７６８０画素のいわゆる８Ｋと呼ばれるスーパーハイビジョン（ＳＨＶ）の超高精細動画像を符号化処理して生成する例について説明する。このとき、例えば図４に示すように、或る程度の短視距離、例えば０．７５Ｈ程度の視距離で視聴することで、視聴者は映像に包み込まれるような臨場感を楽しむことができる。図４に示す画面例で、例えばフレームＦの画面に対する法線方向のＺ軸上の視点から当該画面の中央部Ｏまでの視距離を０．７５Ｈとすると、画面のＹ軸方向の上下端Ｆ１の視野角は±３３°、画面のＸ軸方向の左右端Ｆ２の視野角は±５０°となる。

まず、符号化装置１は、ブロック分割部１１により、入力される複数フレームからなる動画像の映像信号を入力し、予め定めた符号化処理に基づき単位ブロックに分割するが、この単位ブロックを直交変換部１２に出力する前に、当該単位ブロックの位置情報を領域判定部１４に出力し、領域判定部１４による判定を待機する（ステップＳ１１）。

続いて、符号化装置１は、領域判定部１４により、ブロック分割部１１から得られる単位ブロック位置情報（ＣＴＵ／ＣＵの位置情報）から、予め定義された領域基準を基に、当該単位ブロックが動画像の各フレームの画面におけるいずれの領域に属するかを判定し、その判定結果を「単位ブロックの領域情報」として生成する（ステップＳ１２）。

フレームＦの画面に関する領域基準に関して、例えば、当該画面の中央部の定義、或いは周辺部の定義は、視聴者が一人か複数かで異なるものとすることができるが、ここでは複数の視聴者であっても通常は画面中央を注視することを考量して、一人の視聴者が画面中央で視距離０．７５Ｈから視聴する際の領域基準で、中央部と周辺部を定め、更にはこの周辺部のうち誘導視野範囲、或いは安定注視野の領域を定めて、各領域別の符号化処理を行う例を説明する。

領域基準は、「視距離と視角度に依存する幾何学的な縮小率」と、「視野内の情報受容特性」のうちいずれか一方、好適にはその双方を考量して、動画像の各フレームの画面について、その中央部の領域と周辺領域とを１つ又は複数の境界線にて区分するよう定義するものである。特に、本実施形態の符号化装置１は、画面の中央部の領域に比して、周辺領域の分割ブロックのブロックサイズを大きくしたりその量子化ビット数を粗くしたりすることで、或る程度の符号化歪と引き換えに、フレーム画面全体として符号データ量を抑制させ、符号化速度の向上を可能とする。

「視距離と視角度に依存する幾何学的な縮小率」は、動画像の或るフレームＦの画面について、中心画素（０，０）の法線方向に距離ｚから視聴した際の、中心画素（０，０）に対する画素Ａ（ｘ,ｙ）の水平縮小率をＳｘ、垂直縮小率をＳｙとすると、次式で求めることができる。

例えば、画素Ａ（ｘ,ｙ＝０）のときの水平縮小率をＳｘは、図５（ａ）に示すように、Ｓｘ＝ａ’／ａより得られる。そして、ｚ＝０．７５Ｈを代入して得られる±５０°の視角度における縮小率のグラフを図５（ｂ）に示している。

このように、フレームＦの画素毎に「縮小率Ｓ＝Ｓｘ×Ｓｙ」を求め、縮小率Ｓが中心画素（０，０）に対して５０％以下になる画素群を、データ量を抑制する領域として定め、図６に示す境界線Ｌａを定めることができる。例えばこの数値を４０％や６０％、７５％と定めてもよいし、複数の境界線Ｌａを定めることもできる。また、符号化データ量が或る閾値以上になる場合にこの数値を変動させて周辺領域の符号化データ量を減少させ、或る瞬間の画面全体の符号化データ合計量を抑制させるよう適応的に境界線Ｌａを定めてもよい。このような幾何学的な縮小率から求まる境界線を境界線Ｌａとすると、図６に示すように、境界線Ｌａに囲まれる領域を中央部とする領域Ａ、境界線Ｌａの外側部分を周辺部とし領域Ｂとし区分することができる。

また、「視野内の情報受容特性」については、中心画素（０，０）の法線方向（距離０．７５Ｈ）に視点がある場合、臨場感を引き起こすとされる誘導視野範囲（水平：±５０°、上：３５°、下：５０°）を用いて、その外側の領域を、データ量を抑制する画素範囲に定める。ただし、この臨場感を考量する範囲を例えば安定注視野（水平：±４５°、上：３０°、下：４０°）などとしてもよい。この情報受容特性に基づく境界線を境界線Ｌｂとすると、図６に示すように、領域Ｂのうち境界線Ｌｂの外側部分を領域Ｃとし区分する。

このようにして、短視距離を対象とする視聴環境下に適した動画像の各フレームに対する領域基準を定めることができる。

続いて、符号化装置１は、分割補正部１６により、領域判定部１４によって得られる単位ブロックの領域情報を基に、ブロック分割の補正を行うか否かを判定し（ステップＳ１３）、例えば、ブロック分割部１１によるＣＴＵからＣＵへの分割の要否を判定して、判定対象のＣＴＵが周辺領域（領域Ｂ或いは領域Ｃ）に属しているときは（ステップＳ１３：Ｙｅｓ）、ＣＴＵからＣＵへの分割を行わないようブロック分割部１１に対して補正制御する（ステップＳ１４）。一方、判定対象のＣＴＵが中央部の領域（領域Ａ）に属しているときは（ステップＳ１３：Ｎｏ）、ステップＳ１５に移行する。この処理によって、周辺領域の或る程度の符号化歪と引き換えに、データ量を削減し符号化時間の短縮を図ることができる。尚、分割補正部１６を設けていない構成とするときは、ステップＳ１１からステップＳ１５に直接移行する。

続いて、符号化装置１は、直交変換部１２により、順次得られる単位ブロック（ＣＴＵ／ＣＵ）を基に変換ブロック（ＴＵ）を決定し、ＴＵに対して所定の直交変換処理を施す（ステップＳ１５）。このとき、符号化装置１は、領域判定部１４により、直交変換部１２から得られる変換ブロック位置情報（ＴＵの位置情報）から、当該予め定義された領域基準を基に、当該変換ブロック（ＴＵ）が動画像の各フレームの画面におけるいずれの領域に属するかを判定し、その判定結果を「変換ブロックの領域情報」として生成する。

続いて、符号化装置１は、量子化補正部１５により、領域判定部１４によって得られる変換ブロックの領域情報を基に、量子化部１３による所定の量子化処理における制御値（例えば、量子化パラメータ）を補正するか否かを判別して量子化部１３に対して補正制御することで、量子化部１３が領域判定に応じた可変制御で符号化対象の変換ブロック（ＴＵ）を量子化するよう制御する（ステップＳ１６）。例えば、量子化補正部１５は、判定対象のＴＵが中央部の領域（領域Ａ）に属しているときは、予め定めた符号化処理に基づく量子化パラメータｑＰのままとして、量子化パラメータｑＰを補正しないよう量子化部１３を制御し、判定対象のＴＵが周辺領域（領域Ｂ又は領域Ｃ）に属しているときは、視点からの立体角が中心画素（０, ０ ）に比べて半分以下になるため、量子化パラメータｑＰの値を「＋６（量子化ステップを２倍）」に補正するよう量子化部１３を制御する。例えばこの量子化パラメータｑＰの増加分は、他の数値にしてもよいし、複数の境界線Ｌａ，Ｌｂを定めた場合には別個の値で定めた複数のｑＰ値の中から選ぶことができる。特に、領域Ｃの画素は、領域Ｂにある画素よりも重要性が低くなるため、更に量子化パラメータｑＰの値を増加させる処理を行ってもよい。例えばこのときの量子化パラメータｑＰの値の増加分は更に「＋６」とすることができる。尚、ブロック分割の補正のみを行うよう構成するときは、ステップＳ１５における変換ブロックの判定処理やステップＳ１６における領域判定に応じた量子化パラメータｑＰの可変制御は省略することができる。

以上のように構成することにより、本発明に係る符号化装置１は、短視距離を対象とする視聴環境下に適した符号化制御として、画面の中央部と周辺部で異なる符号化制御を行うことによって符号化効率及び符号化速度を改善することができる。

また、図６に示す例では、「視距離と視角度に依存する幾何学的な縮小率」に基づく境界線Ｌａにより中央部を定める例を示したが、例えば「視距離と視角度に依存する幾何学的な縮小率」に基づく境界線Ｌａを複数設定するとともに、「視野内の情報受容特性」に基づく境界線Ｌｂを複数設定して、各境界線Ｌａ，Ｌｂで区分される領域のうち、中心部Ｏに最も近い境界線内を中央部とし、中央部から遠ざかる周辺部の領域ほどデータ量の減少及び処理速度を向上させるよう符号化パラメータを定めてもよい。例えば、図７に示す例では、臨場感を引き起こすとされる「視野内の情報受容特性」に基づく境界線Ｌｂ‐１内の誘導視野範囲（水平：±５０°、上：３５°、下：５０°）で、更に別の「視野内の情報受容特性」に基づく境界線Ｌｂ‐２、「視距離と視角度に依存する幾何学的な縮小率」に基づく縮小率３０％，５０％の２つの境界線Ｌａ‐１，Ｌａ‐２を設定している。そして、それぞれの境界線によって区切られる領域Ａ，Ｂ，Ｃ，Ｄ，Ｅを、それぞれ中央部を示す有効視野の領域、周辺部を示す誘導視野範囲内の第１の領域、周辺部を示す誘導視野範囲内の第２の領域、及び周辺部を示す誘導視野範囲外の領域として定め、中心部Ｏに最も近い境界線内（領域Ａ）を中央部とし、中央部から遠ざかる周辺部の領域ほどデータ量の減少及び処理速度の向上を伴うような符号化パラメータ（ブロックサイズや量子化パラメータ等）の補正を行うよう構成することができる。

また、「視野内の情報受容特性」に基づく境界線Ｌｂのみを複数設定してもよい。例えば図８に示すように、境界線Ｌｂ‐１，境界線Ｌｂ‐２，境界線Ｌｂ‐３により領域Ａ，Ｂ，Ｃを設け、中心部Ｏに最も近い境界線Ｌｂ‐１内の領域Ａは中央部を示す有効視野の領域とし、領域Ｂは周辺部を示す安定注視野（水平：±４５°、上：３０°、下：４０°）の領域、領域Ｃは周辺部を示す誘導視野範囲（水平：±５０°、上：３５°、下：５０°）の領域として設定し、中央部から遠ざかる周辺部の領域ほどデータ量の減少及び処理速度の向上を伴うような符号化パラメータ（ブロックサイズや量子化パラメータ等）の補正を行うよう構成することができる。

そして、このような「視野内の情報受容特性」に基づく境界線を利用して領域基準を定めることにより、誘導視野又は安定視野をフレームＦの画面上方よりも下方の視野を重視させることができるため、フレームＦの下方に字幕が付されることが多いことを考慮すると、実用性の高い領域別符号化処理を実現することができる。

〔第２実施形態〕
（装置構成）
図９は、本発明による第２実施形態の符号化装置１の概略構成を示すブロック図である。尚、第１実施形態と同様な構成要素には同一の参照番号を付している。第２実施形態の符号化装置１は、動画像の各フレームの画面について、その中央部の領域と周辺領域とを前述した所定の領域基準に基づいて定義し、画面の中央部と周辺部で異なる符号化制御を行うことによって符号化効率及び符号化速度を改善する装置であり、ブロック分割部１１、直交変換部１２、量子化部１３、領域判定部１４、量子化補正部１５、及び分割補正部１６を備える点で第１実施形態と同様であるが、符号化検証部１７を更に備える点で相違する。ブロック分割部１１、直交変換部１２、量子化部１３、量子化補正部１５、及び分割補正部１６の動作は第１実施形態と同様であり、その詳細な説明は省略するが、ここでは主に、量子化部１３による量子化後の符号化結果を検証する符号化検証部１７と、これに係る領域判定部１４の動作について、図１０を参照して説明する。

図１０は、第２実施形態の符号化装置１の符号化処理例を示すフローチャートである。ステップＳ１１〜Ｓ１６は第１実施形態と同様であり、ステップＳ１６にて、量子化部１３は、領域判定に応じた可変制御で符号化対象の変換ブロック（ＴＵ）を量子化する。

続いて、符号化検証部１７は、量子化部１３によって量子化され符号化された結果を例えば客観的指標のひとつであるピーク信号対雑音比を表わすＰＳＮＲ（Peak Signal to Noise Ratio）などの検証基準により、符号化歪が所定値内の歪み量であるか否かを検証し（ステップＳ１７）、符号化歪が所定値内であれば（ステップＳ１７：Ｙｅｓ）、そのまま出力し、符号化歪が所定値内でなければ（ステップＳ１７：Ｎｏ）、データ量の減少及び処理速度の向上作用が高すぎると判定し、領域判定部１４に対して符号化パラメータの領域設定、又は分割補正部１６や量子化補正部１５による補正処理の変更を指示する（ステップＳ１８）。この指示に応じて領域判定部１４は境界線の設定の変更を行うことができ、これに伴いブロック分割の補正、及び量子化パラメータの補正など、データ量の減少及び処理速度の向上作用を損なわないよう再設定し、符号化歪が所定値内となるまで繰り返すようにする。分割補正部１６や量子化補正部１５による補正処理の変更によっても同様にデータ量の減少及び処理速度の向上作用を損なわないよう再設定し、符号化歪が所定値内となるまで繰り返すようにする。これにより、データ量の減少及び処理速度の向上作用を損なうことなく、一定量の符号化品質を維持することができる。

以上、特定の実施形態の例及び実施例を挙げて本発明を説明したが、本発明は前述の例に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。

例えば、上述した例では、周辺領域の分割ブロックサイズを大きくしたり量子化ビット数を粗くしたりする例を説明したが、これ以外にも、周辺領域では、デブロッキング・フィルタ処理の省略を行うなど、画面（フレーム）の中央部の領域に比して、周辺部の領域の符号化処理における一部の処理を省略することで、或る程度の符号化劣化と引き換えに、データ量の減少及び処理速度を向上させることができる。

更には、周辺領域の符号化処理における一部の処理を省略する他の例として、周辺領域では予め定めた符号化処理に基づく画面内予測の方向性予測数を減少させてもよい。周辺領域では例えば非方向性予測の２種と水平・垂直の方向性予測とを合わせた４通りとするよう定めてもよい。この場合も、デブロッキング・フィルタ処理の省略と同様に、或る程度の符号化劣化と引き換えに処理速度を向上させることができる。

そして、各実施形態の符号化装置１をコンピュータとして機能させることができ、当該コンピュータに、本発明に係る各構成要素を実現させるためのプログラムは、当該コンピュータの内部又は外部に備えられるメモリ（図示せず）に記憶される。コンピュータに備えられる中央演算処理装置（ＣＰＵ）などの制御で、各構成要素の機能を実現するための処理内容が記述されたプログラムを、適宜、メモリから読み込んで、各実施形態の符号化装置１の各構成要素の機能をコンピュータに実現させることができる。ここで、各構成要素の機能をハードウェアの一部で実現してもよい。

本発明によれば、短視距離を考慮した動画像の符号化効率を改善することができるので、動画像の符号化処理を要する用途に有用である。

１ 符号化装置
１１ ブロック分割部
１２ 直交変換部
１３ 量子化部
１４ 領域判定部
１５ 量子化補正部
１６ 分割補正部
１７ 符号化検証部

Claims (3)

1. 動画像の符号化処理を行う符号化装置であって、
   動画像のフレームを所定のブロックサイズの単位ブロックにブロック分割するブロック分割手段と、
   前記単位ブロックを基に変換ブロックを決定し、該変換ブロックに対して所定の直交変換処理を施す直交変換手段と、
   前記直交変換処理が施された変換ブロックに対して所定の量子化処理を施し、符号化信号を生成する量子化手段と、
   前記フレームに対して短視距離を考慮して予め定めた領域基準を基に、当該ブロック分割の対象とする単位ブロックが属する領域を判定する手段と、当該所定の量子化処理の対象とする変換ブロックが属する領域を判定する手段のいずれか一方、又は双方を有し、当該判定結果に基づいて、前記短視距離にて前記フレームに対して中央部の領域よりも、周辺部の領域の符号データ量を抑制するよう所定の符号化パラメータを制御する領域判定・制御手段と、を備え、
   前記領域判定・制御手段は、
   前記領域基準として、前記フレームの中央部の中心画素を基準に、前記中心画素の法線方向上の視点からの視角度により、前記フレームを構成する各画素に対する水平方向の水平縮小率をＳｘとし垂直方向の垂直縮小率をＳｙとしたときに前記フレームの画素毎に縮小率Ｓ＝Ｓｘ×Ｓｙを求め、該縮小率Ｓが前記中心画素に対して所定の割合以下になる画素群を、前記符号データ量を抑制する領域とし、該領域を区分するように定められた１以上の第１の境界線と、前記中心画素の法線方向上の当該視点から、臨場感を引き起こすとされる予め定められた誘導視野又は予め定められた安定注視野の範囲の外側の領域を区分するように定められた１以上の第２の境界線とを定め、前記中心画素を基準にして、前記フレームの中央部を含む前記１以上の第１の境界線より内側の領域を前記中央部の領域とし、前記１以上の第１の境界線より外側、且つ前記１以上の第２の境界線より内側の領域を、前記符号データ量を抑制する第１の領域とし、前記１以上の第２の境界線より外側の領域を、前記符号データ量を抑制する第２の領域として判定する領域判定部と、
   前記所定の符号化パラメータの制御として、前記フレームに対して中央部の領域よりも、周辺部の領域の符号データ量を抑制するよう、前記１以上の第１の境界線及び前記１以上の第２の境界線で定まる領域毎に、前記量子化手段により予め定めた符号化処理に基づく量子化制御値を補正する量子化補正部と、を有することを特徴とする符号化装置。
2. 前記量子化手段によって量子化され符号化された結果を所定の検証基準に基づいて、符号化歪が所定値内の歪み量であるか否かを検証し、符号化歪が所定値内であればそのまま出力し、符号化歪が所定値内でなければ前記領域判定・制御手段に対して異なる領域設定、又は異なる符号化パラメータで、前記中央部の領域と比して前記周辺部の領域の符号データ量を抑制し、且つ符号化歪が所定値内となるよう繰り返し制御する符号化検証手段を更に備えることを特徴とする、請求項１に記載の符号化装置。
3. コンピュータを、請求項１又は２に記載の符号化装置として機能させるためのプログラム。