JPWO2015132881A1 - 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法及びプログラム - Google Patents

Abstract

画像符号化装置（１００）は、第１解像度の入力画像信号（２０）を第１解像度より低い第２解像度の第２画像信号に変換する画像変換部（１０１）と、入力画像信号（２０）が表す画像の注目領域（４０）を取得する領域取得部（１１２）と、注目領域（４０）を示す第１領域情報を出力する領域情報出力部（１１３）と、入力画像信号（２０）から注目領域（４０）に対応する部分領域信号を取得し、第１符号化信号に符号化する第１符号化部（１２）と、第２画像信号を第２符号化信号に符号化する第２符号化部（１１）と、第２符号化信号と第１符号化信号とを出力する出力部（１１９）とを備える。

Description

本発明は、画像符号化装置、画像復号装置、画像符号化方法、画像復号方法及びプログラムに関する。特に、画像を符号化する画像符号化装置と、符号化データに対して復号を行う画像復号装置に関する。

近年、動画像を圧縮して符号化する技術が広く用いられている。動画像の符号化方式としては、例えば、ＭＰＥＧ−２（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）方式、ＭＰＥＧ−４ ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）／ＩＴＵ−Ｔ Ｈ．２６４方式などがある（例えば、非特許文献１参照）。
ＭＰＥＧ−２方式は、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）−ＶＩＤＥＯに採用されている。
ＭＰＥＧ−４ ＡＶＣ／ＩＴＵ−Ｔ Ｈ．２６４方式は、携帯端末向けの地上デジタル放送（ワンセグ放送）、Ｂｌｕ−ｒａｙ（登録商標）Ｄｉｓｋなどに採用されている。

また、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４は、階層符号化を行うことができる（非特許文献１ Ａｎｎｅｘ Ｇ Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ参照）。
階層符号化では、拡張レイヤの予測を行う際に、画面内予測、画面間予測、レイヤ間予測のいずれかを選択して使用することができる。レイヤ間予測では、基本レイヤの符号化済画像を拡大して拡張レイヤの予測に用いる。

ＭＰＥＧ−４ ＡＶＣ（ＩＳＯ／ＩＥＣ １４４９６−１０）／ＩＴＵ−Ｔ Ｈ．２６４規格

従来の画像符号化装置では、拡張レイヤの符号化を行う際に、画面内予測、画面間予測、レイヤ間予測のいずれかを用いて、拡張レイヤの画素全ての符号化を行う必要がある。また、画面間予測で符号化を行う際に、予測画像となる拡張レイヤの画像を符号化する必要がある。
また、従来の画像復号装置では、拡張レイヤの復号を行う際に、拡張レイヤの画素全ての復号を行う必要がある。また、画面間予測で符号化されている際に、予測画像となる拡張レイヤの画像を復号する必要がある。

このように、従来の画像符号化装置及び画像復号装置では、拡張レイヤの画像データの符号化、符号化データの復号を行う際に、拡張レイヤの画素の全ての符号化及び復号、予測画像となる拡張レイヤの符号化及び復号を行う必要がある。よって、従来の画像符号化装置及び画像復号装置では、多くの計算量が必要になるという課題があった。

本発明は、上記のような課題を解決するためになされたもので、画像符号化装置及び画像復号装置において、画像データの符号化処理及び復号処理に係る計算量を低減することを目的とする。

本発明に係る画像符号化装置は、
画像を示す第１解像度の第１画像信号を受け付け、前記第１画像信号を前記第１解像度より低い第２解像度の第２画像信号に変換し、前記第２画像信号を出力する画像変換部と、
前記画像の一部の領域を部分領域として取得する領域取得部と、
前記部分領域を示す第１領域情報を出力する領域情報出力部と、
前記第１画像信号と前記領域情報出力部により出力された前記第１領域情報とを受け付け、前記第１画像信号から前記第１領域情報が示す前記部分領域に対応する信号を部分領域信号として取得し、取得した前記部分領域信号を符号化し、符号化した前記部分領域信号を第１符号化信号として出力する第１符号化部と、
前記画像変換部から出力された前記第２画像信号を受け付け、前記第２画像信号を符号化し、符号化した前記第２画像信号を第２符号化信号として出力する第２符号化部と、
前記第２符号化部から出力された前記第２符号化信号と、前記第１符号化部から出力された前記第１符号化信号とを含む符号化信号を出力する出力部と
を備えることを特徴とする。

本発明に係る画像符号化装置によれば、画像変換部が画像を示す第１解像度の第１画像信号を第１解像度より低い第２解像度の第２画像信号に変換し、領域取得部が部分領域を取得し、領域情報出力部が前記部分領域を示す第１領域情報を出力し、第１符号化部が前記第１画像信号から前記部分領域に対応する信号を部分領域信号として取得し、前記部分領域信号を符号化し、第２符号化部が第２画像信号を符号化し、第２符号化信号として出力し、出力部が前記第２符号化信号と前記第１符号化信号とを出力するので、画像を第１解像度より低い第２解像度で符号化し、部分領域のみを第１解像度で符号化することができるので、符号化のための計算量を低減することができるという効果を奏する。

実施の形態１に係る画像符号化装置１００の一例を示すブロック構成図である。 実施の形態１に係る画像符号化装置１００、画像復号装置６００（図７参照）のハードウェア構成の一例を示す図である。 実施の形態１に係る画像符号化装置１００の画像符号化方法における低解像度画像符号化処理（工程）の一例を示すフローチャートである。 実施の形態１に係る注目領域抽出処理（工程）を説明するための図である。 実施の形態１に係る画像符号化装置１００の画像符号化方法における高解像度画像符号化処理（工程）の一例を示すフローチャートである。 実施の形態１に係る高解像度画像符号化処理（工程）を説明するための図である。 実施の形態２に係る画像復号装置６００の一例を示すブロック構成図である。 実施の形態２に係る画像復号装置６００の画像復号方法における低解像度画像復号処理（工程）の一例を示すフローチャートである。 実施の形態２に係る画像復号装置６００の画像復号方法における高解像度画像復号処理（工程）の一例を示すフローチャートである。 実施の形態２に係る高解像度画像復号処理（工程）を説明するための図である。 実施の形態２に係る高解像度画像復号処理（工程）を説明するための図である。

実施の形態１．
図１は、本実施の形態に係る画像符号化装置１００の一例を示すブロック構成図である。
図１において、画像符号化装置１００は、画像変換部１０１、領域取得部１１２、領域情報出力部１１３、第２符号化部１１、画像拡大部１１１、出力部１１９、第１符号化部１２を備える。

第２符号化部１１（低解像度画像符号化部）は、予測部１０２、減算部１０３、直交変換部１０４、量子化部１０５、エントロピー符号化部１０６、逆量子化部１０７、逆直交変換部１０８、加算部１０９、フレームメモリ１１０を備える。
第１符号化部１２（高解像度画像符号化部）は、予測部１１４、減算部１１５、直交変換部１１６、量子化部１１７、エントロピー符号化部１１８を備える。

画像変換部１０１は、入力画像信号２０をｎ／ｍ倍に縮小し、縮小した入力画像信号２０を低解像度画像信号２１として出力する。このとき、ｎ，ｍは、整数かつｎ＜ｍである。画像変換部１０１は、画像を示す第１解像度（高解像度）の入力画像信号２０（第１画像信号）を第１解像度より低い第２解像度（低解像度）の第２画像信号に変換（縮小）し、低解像度画像信号２１（第２画像信号）を出力する。画像変換部１０１は、画像縮小部ともいう。

第２符号化部１１は、画像変換部１０１から出力された低解像度画像信号２１を符号化し、符号化した低解像度画像信号２１を低解像度符号化信号２７（第２符号化信号）として出力する。第２符号化部１１は、低解像度画像符号化部ともいう。

予測部１０２は、画像変換部１０１が出力した低解像度画像信号２１を、ブロック単位、例えば１６画素×１６画素単位に分割する。予測部１０２は、分割した各々の低解像度画像信号とフレームメモリ１１０に蓄積された参照画像信号３１とにより、画面内予測または画面間予測を実行する。そして、予測部１０２は、低解像度予測画像信号２２及び低解像度予測情報２３を出力する。

減算部１０３は、画像変換部１０１が出力した低解像度画像信号２１から予測部１０２が出力した低解像度予測画像信号２２を減算して、低解像度差分画像信号２４を出力する。
直交変換部１０４は、低解像度差分画像信号２４を直交変換し、低解像度直交変換係数２５を出力する。
量子化部１０５は、低解像度直交変換係数２５を量子化し、低解像度差分量子化係数２６を出力する。
エントロピー符号化部１０６は、低解像度差分量子化係数２６及び低解像度予測情報２３をエントロピー符号化し、低解像度符号化信号２７を出力する。

逆量子化部１０７は、低解像度差分量子化係数２６を逆量子化し、復号直交変換係数２８を出力する。
逆直交変換部１０８は、復号直交変換係数２８を逆直交変換し、復号差分画像信号２９を出力する。
加算部１０９は、低解像度予測画像信号２２に復号差分画像信号２９を加算し、復号画像信号３０を出力する。
フレームメモリ１１０は、復号画像信号３０を参照画像信号３１として蓄積する。

画像拡大部１１１は、フレームメモリ１１０に蓄積された参照画像信号３１をｍ／ｎ倍して拡大参照画像信号３２を出力する。このときｍ、ｎは、画像変換部１０１で用いたものと同じ値である。また、参照画像信号３１は、入力画像信号２０と同じ時刻の画像信号、つまり同一の画像を縮小、符号化した際の復号画像信号３０を用いる。

領域取得部１１２は（注目領域抽出部）、画像変換部１０１から低解像度画像信号２１を受け付け、低解像度画像信号２１に基づいて、画像の一部の領域を注目領域４０（部分情報）として取得する。領域取得部１１２は、低解像度画像信号２１から注目領域４０を抽出する。注目領域４０は、例えば、背景画像信号３３（図３参照）と低解像度画像信号２１（現在の画像）との差分を取り、差分値が第１閾値以上となる領域とする。領域取得部１１２は、注目領域４０を抽出する注目領域抽出部ともいう。

すなわち、領域取得部１１２は、低解像度画像信号２１から画像の背景として定められた背景画像を示す背景画像信号３３（低解像度背景画像）を取得し背景画像信号３３と低解像度画像信号２１との画素毎の差分値を算出する。領域取得部１１２は、差分値が第１閾値以上となる画素を判定画素として抽出し、前記判定画素を含む領域を注目領域４０として取得する。また、領域取得部１１２は、単位面積あたりの画素の数に対する判定画素の数の比が第２閾値以上である領域を注目領域４０として取得してもよい。

領域取得部１１２は、例えば、単一または複数の矩形領域を注目領域４０として抽出する。あるいは、領域取得部１１２は、単一または複数の任意形状の領域を注目領域４０として抽出してもよい。
また、領域取得部１１２は、マクロブロックごとの画面内予測コストをもとに注目領域４０を抽出する。あるいは、領域取得部１１２は、マクロブロックごとの画面間予測コストをもとに注目領域４０を抽出してもよい。領域取得部１１２は、注目領域４０を抽出する注目領域抽出部ともいう。

領域情報出力部１１３（注目領域拡大部）は、画像が第１解像度で表された場合に注目領域４０（部分領域）に対応する領域を示す情報を領域情報４１（第１領域情報）として出力する。
領域情報出力部１１３は、注目領域４０をｍ／ｎ倍して得られた拡大注目領域を領域情報４１として出力する。領域情報４１とは、画像における注目領域４０の位置を示す情報である。

予測部１１４は、領域情報出力部１１３が出力した領域情報４１において、入力画像信号２０をブロック単位に分割し、画像拡大部１１１が出力した拡大参照画像信号３２とレイヤ間予測を行い、高解像度予測画像信号４２及び高解像度予測情報４３を出力する。

減算部１１５は、領域情報４１において、入力画像信号２０から高解像度予測画像信号４２を減算して、高解像度差分画像信号４４を出力する。
直交変換部１１６は、高解像度差分画像信号４４を直交変換し、高解像度直交変換係数４５を出力する。
量子化部１１７は、高解像度直交変換係数４５を量子化し、高解像度差分量子化係数４６を出力する。
エントロピー符号化部１１８は、高解像度差分量子化係数４６及び高解像度予測情報４３をエントロピー符号化し、高解像度符号化信号４７を出力する。

出力部１１９は、低解像度符号化信号２７と高解像度符号化信号４７とを含む多重化符号化信号４８（符号化信号の一例）を出力する。出力部１１９は、低解像度符号化信号２７と高解像度符号化信号４７を多重化し、多重化符号化信号４８として出力する多重化部である。

図２は、本実施の形態に係る画像符号化装置１００、画像復号装置６００のハードウェア構成の一例を示す図である。
図２を用いて、画像符号化装置１００、画像復号装置６００（図７参照）のハードウェア構成例について説明する。

画像符号化装置１００、画像復号装置６００はコンピュータであり、画像符号化装置１００、画像復号装置６００の各要素をプログラムで実現することができる。
画像符号化装置１００、画像復号装置６００のハードウェア構成としては、バスに、演算装置９０１、外部記憶装置９０２、主記憶装置９０３、通信装置９０４、入出力装置９０５が接続されている。

演算装置９０１は、プログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。
外部記憶装置９０２は、例えばＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やフラッシュメモリ、ハードディスク装置である。
主記憶装置９０３は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。
通信装置９０４は、例えば通信ボード等であり、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等に接続されている。通信装置９０４は、ＬＡＮに限らず、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）、広域ＬＡＮ、ＡＴＭ（Ａｓｙｎｃｈｒｏｎｏｕｓ Ｔｒａｎｓｆｅｒ Ｍｏｄｅ）ネットワークといったＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、あるいは、インターネットに接続されていても構わない。ＬＡＮ、ＷＡＮ、インターネットは、ネットワークの一例である。
入出力装置９０５は、例えばマウス、キーボード、ディスプレイ装置等である。マウスの代わりに、タッチパネル、タッチパッド、トラックボール、ペンタブレット、あるいは、その他のポインティングデバイスが用いられてもよい。ディスプレイ装置は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）、あるいは、その他の表示装置でもよい。

プログラムは、通常は外部記憶装置９０２に記憶されており、主記憶装置９０３にロードされた状態で、順次演算装置９０１に読み込まれ、実行される。
プログラムは、ブロック構成図に示す「〜部」として説明している機能を実現するプログラムである。
プログラムプロダクト（コンピュータプログラムプロダクト）は、図１などに示す「〜部」の機能を実現するプログラムが記録された記憶媒体、記憶装置などから構成される。プログラムプロダクトは、外観に関わらず、コンピュータ読み取り可能なプログラムをロードしているものである。

更に、外部記憶装置９０２にはオペレーティングシステム（ＯＳ）も記憶されており、ＯＳの少なくとも一部が主記憶装置９０３にロードされ、演算装置９０１はＯＳを実行しながら、ブロック構成図に示す「〜部」の機能を実現するプログラムを実行する。
また、アプリケーションプログラムも外部記憶装置９０２に記憶されており、主記憶装置９０３にロードされた状態で、順次演算装置９０１により実行される。
また、「〜テーブル」等の情報も外部記憶装置９０２に記憶されている。

また、「〜の判断」、「〜の判定」、「〜の抽出」、「〜の検知」、「〜の設定」、「〜の登録」、「〜の選択」、「〜の生成」、「〜の入力」、「〜の出力」等の処理の結果を示す情報やデータや信号値や変数値が主記憶装置９０３にファイルとして記憶されている。
また、画像符号化装置１００、画像復号装置６００が受信したデータが主記憶装置９０３に記憶される。
また、暗号鍵、復号鍵、乱数値、パラメータが、主記憶装置９０３にファイルとして記憶されてもよい。

なお、図２の構成は、あくまでも画像符号化装置１００、画像復号装置６００のハードウェア構成の一例を示すものであり、画像符号化装置１００、画像復号装置６００のハードウェア構成は図２に記載の構成に限らず、他の構成であってもよい。

図３は、本実施の形態に係る画像符号化装置１００の画像符号化方法における第１符号化処理（工程）（低解像度画像符号化処理（工程））の一例を示すフローチャートである。
図３を用いて、画像符号化装置１００の画像符号化処理（工程）における各部の動作について説明する。画像符号化装置１００の画像符号化処理（工程）において、画像符号化装置１００の各部は、画像符号化装置１００の備える処理装置、記憶装置、入出力装置等のハードウェア資源と協働して処理を実行することにより、第１符号化処理（工程）を実現する。図３では、画像符号化装置１００の画像符号化処理（工程）における第２符号化処理（工程）（低解像度符号化処理（工程））について説明する。

＜Ｓ２０１：画像変換処理＞
まず、ステップＳ２０１において、画像変換部１０１は入力画像信号２０をｎ／ｍ倍に縮小して低解像度画像信号２１を出力する。

＜Ｓ２０２：領域取得処理＞
ステップＳ２０２において、領域取得部１１２は、低解像度画像信号２１から注目領域４０を抽出する。

図４は、本実施の形態に係る領域取得処理（工程）（注目領域抽出処理（工程））を説明するための図である。
画像符号化装置１００は、低解像度画像信号２１から背景画像信号３３を取得する。領域取得部１１２は、取得した背景画像信号３３と低解像度画像信号２１との画素毎の差分値を処理装置により算出する。領域取得部１１２は、算出した差分値があらかじめ設定された第１閾値以上となる画素を判定画素として含む領域を注目領域４０とする。画像符号化装置１００は、背景画像信号３３をあらかじめ記憶装置に記憶していてもよい。あるいは、画像符号化装置１００は、入力画像信号２０から背景画像信号３３を算出してもよい。
あるいは、領域取得部１１２は、入力画像信号２０に基づいて、動きのある領域を算出し、算出した動きのある領域を注目領域４０としてもよい。
上述したように、注目領域４０は、矩形領域でもよいし、その他の形状の領域でもよい。

＜Ｓ２０３からＳ２０７：第２符号化処理＞
ステップＳ２０３において、予測部１０２は、１つのフレームである低解像度画像信号２１をブロック単位に分割する。予測部１０２は、ブロック単位に分割した低解像度画像信号２１とフレームメモリ１１０に蓄積された参照画像信号３１とにより、画面内予測、画面間予測、あるいはフレーム間予測を行い、低解像度予測画像信号２２及び低解像度予測情報２３を出力する。このとき、予測部１０２は、低解像度画像信号２１とフレームメモリ１１０に蓄積された過去の参照画像信号３１とを用いて、予測を行う。減算部１０３は、画像変換部１０１が出力した低解像度画像信号２１から予測部１０２が出力した低解像度予測画像信号２２を減算して、低解像度差分画像信号２４を出力する。

ステップＳ２０４において、直交変換部１０４は、低解像度差分画像信号２４を直交変換し、低解像度直交変換係数２５を出力する。量子化部１０５は、低解像度直交変換係数２５を量子化し、低解像度差分量子化係数２６を出力する。

ステップＳ２０５において、逆量子化部１０７は、低解像度差分量子化係数２６を逆量子化し、復号直交変換係数２８を出力する。逆直交変換部１０８は、復号直交変換係数２８を逆直交変換し、復号差分画像信号２９を出力する。

ステップＳ２０６において、エントロピー符号化部１０６は、低解像度差分量子化係数２６及び低解像度予測情報２３をエントロピー符号化し、低解像度符号化信号２７を出力する。

ステップＳ２０７において、予測部１０２は、フレーム内の全ブロックに対して符号化処理が終了したか否かを判定する。フレーム内の全ブロックに対して符号化処理が終了した場合（Ｓ２０７でＹＥＳ）、低解像度符号化処理を終了する。フレーム内に符号化処理が終了していないブロックがある場合（Ｓ２０７でＮＯ）、Ｓ２０３に戻り、次のブロックに対して符号化処理を行う。

図５は、本実施の形態に係る画像符号化装置１００の画像符号化方法における高解像度画像符号化処理（工程）の一例を示すフローチャートである。図６は、本実施の形態に係る第１符号化処理（工程）（高解像度画像符号化処理（工程））を説明するための図である。
図５及び図６を用いて、画像符号化装置１００の高解像度画像符号化処理（工程）における各部の動作について説明する。画像符号化装置１００の高解像度画像符号化処理（工程）において、画像符号化装置１００の各部は、画像符号化装置１００の備える処理装置、記憶装置、入出力装置等のハードウェア資源と協働して処理を実行することにより、画像符号化処理（工程）を実現する。

ステップＳ４０１において、画像拡大部１１１は、フレームメモリ１１０に蓄積された参照画像信号３１をｍ／ｎ倍して拡大参照画像信号３２を出力する（図６（１）参照）。このとき、画像拡大部１１１は、参照画像信号３１として、入力画像信号２０と同じ時刻の画像信号、つまり同一の画像を縮小し、符号化した際の復号画像信号３０を用いる。

＜Ｓ４０２：領域情報出力処理（工程）＞
ステップＳ４０２において、領域情報出力部１１３は、注目領域４０をｍ／ｎ倍し、領域情報４１を出力する（図６（２）参照）。
領域情報出力部１１３は、画像が第１解像度（高解像度）で表された場合に注目領域４０に対応する領域を示す情報を領域情報４１として出力する。低解像度画像信号２１に基づいて得られた注目領域４０は、画像が第２解像度（低解像度）で表された場合の注目領域４０の位置を示す情報である。そこで、領域情報出力部１１３は、この注目領域４０を拡大し、拡大した拡大注目領域４０を領域情報４１として出力する。

＜Ｓ４０３からＳ４０６：第１符号化処理＞
ステップＳ４０３において、予測部１１４は、領域情報出力部１１３が出力した領域情報４１において、入力画像信号２０をブロック単位に分割し、画像拡大部１１１が出力した拡大参照画像信号３２とレイヤ間予測を行い、高解像度予測画像信号４２及び高解像度予測情報４３を出力する（図６（３）参照）。そして、減算部１１５が、入力画像信号２０から、予測部１１４が出力した高解像度予測画像信号４２を減算して、高解像度差分画像信号４４を出力する。

ステップＳ４０４において、直交変換部１１６は、高解像度差分画像信号４４を直交変換し、高解像度直交変換係数４５を出力する。量子化部１１７は、高解像度直交変換係数４５を量子化し、高解像度差分量子化係数４６を出力する。

ステップＳ４０５において、エントロピー符号化部１１８は、高解像度差分量子化係数４６及び高解像度予測情報４３をエントロピー符号化し、高解像度符号化信号４７を出力する（図６（３）参照）。

ステップＳ４０６において、予測部１１４は、フレーム内の全ブロックに対して符号化処理が終了したか否かを判定する。フレーム内の全ブロックに対して符号化処理が終了した場合（Ｓ４０６でＹＥＳ）、高解像度符号化処理を終了する。フレーム内に符号化処理が終了していないブロックがある場合（Ｓ４０６でＮＯ）、Ｓ４０３に戻り、次のブロックに対して符号化処理を行う。

＜出力処理＞
図６（４）に示すように、出力部１１９は、第２符号化部１１から出力された低解像度符号化信号２７と、第１符号化部１２から出力された高解像度符号化信号４７とを多重化し、多重化符号化信号４８として出力する（出力処理（工程））。

なお、本実施の形態では、背景画像信号３３を用意しておき、画素差分値があらかじめ設定された閾値以上となる画素を含む矩形領域を注目領域４０とした。しかし、低解像度符号化の過程で算出される予測コストをもとに注目領域４０を算出するように構成しても良い。
また、注目領域として単一の矩形領域を算出するように説明したが、複数の任意領域を注目領域として抽出するように構成しても良い。

また、本実施の形態では、画像を低解像度で表した低解像度画像信号２１から注目領域４０を抽出した。しかし、例えば、画像を高解像度で表した入力画像信号２０から注目領域４０を抽出してもよい。この場合、領域情報出力部１１３は、注目領域４０を拡大する必要はない。
なお、低解像度画像信号２１から注目領域４０を抽出することにより、注目領域４０の抽出に係る計算量を低減することができる。

以上のように、本実施の形態に係る画像符号化装置は、拡張レイヤ（高解像度画像）の画像データの符号化を行う際に、画像内の注目領域を決定し、注目領域に対してのみレイヤ間符号化を用いて符号化する。また、注目領域以外は、符号化を行わない。このような処理により、画像データの符号化処理に係る計算量を低減することができる。
この発明によれば、画像符号化装置が第１の解像度の画像を符号化する際に、注目領域に対してのみ第２の符号化信号のローカルデコード画像を拡大した画像を参照画像としてレイヤ間予測処理を行い、注目領域以外の領域は第２の符号化信号のローカルデコード画像を拡大した画像をそのまま使用するように構成したので、第１の解像度の画像信号を符号化する際の処理量を低減することができる。

以上のように、本実施の形態に係る画像符号化装置によれば、入力画像信号を縮小し、低解像度画像信号を出力する画像変換部と、低解像度画像信号から注目領域を抽出する領域取得部と、低解像度参照画像信号を拡大して拡大参照画像信号を出力する画像拡大部と、注目領域を拡大して拡大注目領域（領域情報）を出力する領域情報出力部と、拡大注目領域においてのみ入力画像信号と拡大参照画像信号のレイヤ間予測を行い符号化する高解像度符号化部を備えたので、高解像度画像を符号化する演算量を低減することができる。また、拡大注目領域のみ符号化を行うため、高解像度符号化信号のデータ量を低減することができる。

実施の形態２．
本実施の形態では、主に、実施の形態１と異なる点について説明する。
実施の形態１で説明した構成部と同様の機能を有する構成部については、同一の符号を付し、その説明を省略する場合がある。

図７は、本実施の形態に係る画像復号装置６００の一例を示すブロック構成図である。
図７に示すように、画像復号装置６００は、分離部６０１、第２復号部６１（低解像度画像復号部）、第１復号部６２（高解像度画像復号部）、信号変換部６１１（画像拡大部）、合成部６１１０を備える。

第２復号部６１は、エントロピー復号部６０２、逆量子化部６０３、逆直交変換部６０４、参照画像生成部６０５、加算部６０６、フレームメモリ６０７を備える。
第１復号部６２は、エントロピー復号部６０８、逆量子化部６０９、逆直交変換部６１０を備える。
合成部６１１０は、参照画像生成部６１２、加算部６１３を備える。第１復号部６２が合成部６１１０を備える構成でもよい。

分離部６０１は、多重化符号化信号４８を取得する。分離部６０１は、取得した多重化符号化信号４８を低解像度符号化信号２７と高解像度符号化信号４７にと分離する。
エントロピー復号部６０２は、分離部６０１が出力した低解像度符号化信号２７をエントロピー復号し、低解像度差分量子化係数２６と低解像度予測情報２３とを出力する。
逆量子化部６０３は、低解像度差分量子化係数２６を逆量子化し、低解像度直交変換係数２５を出力する。
逆直交変換部６０４は、低解像度直交変換係数２５を逆直交変換し、低解像度差分画像信号２４を出力する。

参照画像生成部６０５は、低解像度予測情報２３とフレームメモリ６０７に蓄積された低解像度復号画像信号５１とから、低解像度参照画像信号５０を生成する。
加算部６０６は、低解像度参照画像信号５０と低解像度差分画像信号２４を加算し、低解像度復号画像信号５１を出力する。
フレームメモリ６０７は、低解像度復号画像信号５１を蓄積する。
第２復号部６１は、分離部６０１により分離された低解像度符号化信号２７を低解像度復号画像信号５１（第２復号信号）に復号する。

エントロピー復号部６０８は、分離部６０１が出力した高解像度符号化信号４７をエントロピー復号し、高解像度差分量子化係数４６と高解像度予測情報４３及び領域情報４１を出力する。
逆量子化部６０９は、高解像度差分量子化係数４６を逆量子化し、高解像度直交変換係数４５を出力する。
逆直交変換部６１０は、高解像度直交変換係数４５を逆直交変換し、高解像度差分画像信号４４を出力する。
第１復号部６２は、分離部６０１により分離された高解像度符号化信号４７を高解像度差分画像信号４４（第１復号信号）に復号する。

信号変換部６１１は、第２復号部６１から出力された低解像度復号画像信号５１を第１解像度の拡大復号画像信号５２（変換信号）に変換する。具体的には、信号変換部６１１は、フレームメモリ６０７に蓄積された低解像度復号画像信号５１をｍ／ｎ倍に拡大して拡大復号画像信号５２を出力する。このときｎ、ｍは整数かつｎ＜ｍである。

合成部６１１０は、第１復号部６２から出力された高解像度差分画像信号４４と、信号変換部６１１から出力された拡大復号画像信号５２とに基づいて、第１解像度の高解像度復号画像信号（合成信号）を生成する。
参照画像生成部６１２は、高解像度予測情報４３と拡大復号画像信号５２とから、高解像度参照画像信号５３を生成する。
加算部６１３は、高解像度参照画像信号５３と高解像度差分画像信号４４とを加算し、高解像度復号画像信号５４（合成信号）を出力する。

図８は、本実施の形態に係る画像復号装置６００の画像復号方法における画像復号処理（工程）の一例を示すフローチャートである。
図８を用いて、画像復号装置６００の画像復号処理（工程）のうちの低解像度画像復号処理（工程）における各部の動作について説明する。画像復号装置６００の各部は、画像復号装置６００の備える処理装置、記憶装置、入出力装置等のハードウェア資源と協働して処理を実行することにより、低解像度画像復号処理（工程）を実現する。

＜Ｓ７００：多重分離処理（工程）＞
ステップＳ７００において、分離部６０１は、注目領域４０に相当する領域を高解像度で符号化した高解像度符号化信号４７と、画像の全体領域を低解像度で符号化した低解像度符号化信号２７とが多重化された多重化符号化信号４８を取得する。分離部６０１は、取得した多重化符号化信号４８を分離して、高解像度符号化信号４７と低解像度符号化信号２７とを取得する。

＜Ｓ７０１〜Ｓ７０５：第２復号処理（工程）＞
ステップＳ７０１において、エントロピー復号部６０２は、分離部６０１が出力した低解像度符号化信号２７をエントロピー復号し、低解像度差分量子化係数２６と低解像度予測情報２３とを出力する。
ステップＳ７０２において、逆量子化部６０３は、低解像度差分量子化係数２６を逆量子化し、低解像度直交変換係数２５を出力する。逆直交変換部６０４は、低解像度直交変換係数２５を逆直交変換し、低解像度差分画像信号２４を出力する。

ステップＳ７０３において、参照画像生成部６０５は、エントロピー復号部６０２が出力した低解像度予測情報２３とフレームメモリ６０７に蓄積された低解像度復号画像信号５１とから、低解像度参照画像信号５０を生成する。
ステップＳ７０４において、加算部６０６は、低解像度参照画像信号５０と低解像度差分画像信号２４とを加算し、低解像度復号画像信号５１を出力する。フレームメモリ６０７は、低解像度復号画像信号５１を蓄積する。

ステップＳ７０５において、エントロピー復号部６０２は、フレーム内の全ブロックに対して復号処理が終了したか否かを判定する。フレーム内の全ブロックに対して復号処理が終了した場合（Ｓ７０５でＹＥＳ）、低解像度復号処理を終了する。フレーム内に復号処理が終了していないブロックがある場合（Ｓ７０５でＮＯ）、Ｓ７０１に戻り、次のブロックに対して復号処理を行う。

図９は、本実施の形態に係る画像復号装置６００の画像復号方法における画像復号処理（工程）の一例を示すフローチャートである。図１０は、本実施の形態に係る画像復号処理（工程）の一例を説明するための図である。
図９及び図１０を用いて、画像復号装置６００の画像復号処理（工程）のうち高解像度画像復号処理（工程）と合成処理（工程）における各部の動作について説明する。画像復号装置６００の各部は、画像復号装置６００の備える処理装置、記憶装置、入出力装置等のハードウェア資源と協働して処理を実行することにより、画像復号処理（工程）を実現する。

＜Ｓ８０１：信号変換処理＞
まず、ステップＳ８０１において、信号変換部６１１は、フレームメモリ６０７に蓄積された低解像度復号画像信号５１をｍ／ｎ倍に拡大し、拡大復号画像信号５２を出力する（図１０（１）参照）。

ステップＳ８０２において、エントロピー復号部６０８は、分離部６０１が出力した高解像度符号化信号４７をエントロピー復号し、高解像度差分量子化係数４６と高解像度予測情報４３及び注目領域４０を出力する。

ステップＳ８０３において、逆量子化部６０９は、高解像度差分量子化係数４６を逆量子化し、高解像度直交変換係数４５を出力する。また、逆直交変換部６１０は、高解像度直交変換係数４５を逆直交変換し、高解像度差分画像信号４４を出力する。

ステップＳ８０４において、参照画像生成部６１２は、高解像度予測情報４３と拡大復号画像信号５２とから、高解像度参照画像信号５３を生成する。

ステップＳ８０５において、加算部６１３は、高解像度参照画像信号５３の注目領域４０に対して、高解像度差分画像信号４４を加算し、高解像度復号画像信号５４を出力する（図１０（２）参照）。

ステップＳ８０６において、エントロピー復号部６０８は、エントロピー復号部６０８が出力した注目領域内の全ブロックに対して復号処理が終了したか否かを判定する。全ブロックに対して復号処理が終了した場合（Ｓ８０６でＹＥＳ）、高解像度復号処理を終了する。復号処理が終了していないブロックがある場合（Ｓ８０６でＮＯ）、Ｓ８０２に戻り、次のブロックに対して復号処理を行う。

図１１は、本実施の形態に係る画像復号処理（工程）の他例を説明するための図である。
図１１では、（ｎ−２）フレームから（ｎ＋２）フレームの多重化符号化信号５４（符号化データ）を復号する場合を示している。ここでは、ｎフレームに対してのみ第１復号処理（高解像度復号処理）を行い、他のフレームについては第２復号処理（低解像度復号処理）のみを行う。このように、本実施の形態に係る画像復号装置６００によれば、所望するフレームのみの高解像度復号処理を行うことができる。よって、フレームの高解像度復号画像信号の取得処理の演算量を低減することができる。

以上のように、本実施の形態に係る画像復号装置によれば、低解像度符号化信号と高解像度符号化信号とが多重化された多重化符号化信号を入力し、低解像度符号化信号を復号する低解像度復号部と、低解像度参照画像信号を拡大して拡大参照画像信号を出力する画像拡大部と、注目領域においてのみ高解像度差分画像信号と拡大参照画像信号を加算し高解像度復号画像信号を出力する高解像度復号部とを備えたので、高解像度画像を復号する演算量を低減することができる。

また、本実施の形態に係る画像復号装置によれば、画像復号装置が第１の符号化信号を復号する際に、注目領域のみ第２の符号化信号のローカルデコード画像を拡大した画像を参照画像としてレイヤ間予測処理が行われており、注目領域以外の領域は第２の符号化信号のローカルデコード画像を拡大した画像をそのまま使用するように構成したので、所望の第１の解像度の復号画像信号を復号するための処理量を低減することができる。

また、本実施の形態に係る画像符号化装置１００は、画像復号装置が拡張レイヤの符号化データの復号を行う際に、符号化データの注目領域は、レイヤ間予測を用いて符号化されており、注目領域以外の画像は、基本レイヤの符号化済画像を拡大した画像をそのまま用いることにより、所望の拡張レイヤの画像を復号する処理量を低減することを目的とする。

上記実施の形態１において説明した画像符号化装置１００の「画像変換部」、「領域取得部」、「領域情報出力部」、「画像拡大部」、「出力部」、「第１符号化部」、「第２符号化部」の構成は、実施の形態１に限られるわけではない。これらの構成要件は任意である。例えば、「領域取得部」、「領域情報出力部」をひとつの機能ブロックで実現してもよいし、「画像拡大部」、「出力部」をひとつの機能ブロックで実現しても良い。あるいは、これらの機能ブロックを、他のどのような組み合わせで画像符号化装置１００を構成しても構わない。

同様に、上記実施の形態２において説明した画像復号装置６００の「信号変換部」、「分離部」、「第１復号部」、「第２復号部」構成についても、実施の形態２に限られるわけではない。これらの構成要件は任意である。これらの機能ブロックを、どのような組み合わせで画像復号装置６００を構成しても構わない。

以上、本発明の実施の形態１，２について説明したが、これらの実施の形態のうち、２つを組み合わせて実施しても構わない。あるいは、これらの実施の形態のうち、１つを部分的に実施しても構わない。あるいは、これらの実施の形態のうち、２つを部分的に組み合わせて実施しても構わない。なお、本発明は、これらの実施の形態に限定されるものではなく、必要に応じて種々の変更が可能である。

１１ 第２符号化部、１２ 第１符号化部、２０ 入力画像信号、２１ 低解像度画像信号、２２ 低解像度予測画像信号、２３ 低解像度予測情報、２４ 低解像度差分画像信号、２５ 低解像度直交変換係数、２６ 低解像度差分量子化係数、２７ 低解像度符号化信号、２８ 復号直交変換係数、２９ 復号差分画像信号、３０ 復号画像信号、３１ 参照画像信号、３２ 拡大参照画像信号、３３ 背景画像信号、４０ 注目領域、４１ 領域情報、４２ 高解像度予測画像信号、４３ 高解像度予測情報、４４ 高解像度差分画像信号、４５ 高解像度直交変換係数、４６ 高解像度差分量子化係数、４７ 高解像度符号化信号、４８ 多重化符号化信号、５０ 低解像度参照画像信号、５１ 低解像度復号画像信号、５２ 拡大復号画像信号、１０１ 画像変換部、１０２ 予測部、１０３ 減算部、１０４ 直交変換部、１０５ 量子化部、１０６ エントロピー符号化部、１０７ 逆量子化部、１０８ 逆直交変換部、１０９ 加算部、１１０ フレームメモリ、１１１ 画像拡大部、１１２ 領域取得部、１１３ 領域情報出力部、１１４ 予測部、１１５ 減算部、１１６ 直交変換部、１１７ 量子化部、１１８ エントロピー符号化部、１１９ 出力部、６１ 第２復号部、６２ 第１復号部、６００ 画像復号装置、６０１ 分離部、６０２ エントロピー復号部、６０３ 逆量子化部、６０４ 逆直交変換部、６０５ 参照画像生成部、６０６ 加算部、６０７ フレームメモリ、６０８ エントロピー復号部、６０９ 逆量子化部、６１０ 逆直交変換部、６１１ 信号変換部、６１２ 参照画像生成部、６１３ 加算部、９０１ 演算装置、９０２ 外部記憶装置、９０３ 主記憶装置、９０４ 通信装置、９０５ 入出力装置、６１１０ 合成部。

Claims (11)

1. 画像を示す第１解像度の第１画像信号を受け付け、前記第１画像信号を前記第１解像度より低い第２解像度の第２画像信号に変換し、前記第２画像信号を出力する画像変換部と、
   前記画像の一部の領域を部分領域として取得する領域取得部と、
   前記部分領域を示す第１領域情報を出力する領域情報出力部と、
   前記第１画像信号と前記領域情報出力部により出力された前記第１領域情報とを受け付け、前記第１画像信号から前記第１領域情報が示す前記部分領域に対応する信号を部分領域信号として取得し、取得した前記部分領域信号を符号化し、符号化した前記部分領域信号を第１符号化信号として出力する第１符号化部と、
   前記画像変換部から出力された前記第２画像信号を受け付け、前記第２画像信号を符号化し、符号化した前記第２画像信号を第２符号化信号として出力する第２符号化部と、
   前記第２符号化部から出力された前記第２符号化信号と、前記第１符号化部から出力された前記第１符号化信号とを含む符号化信号を出力する出力部と
   を備えることを特徴とする画像符号化装置。
2. 前記領域取得部は、
   前記画像変換部から前記第２画像信号を受け付け、前記第２画像信号に基づいて、前記画像の一部の領域を前記部分領域として取得し、
   前記領域情報出力部は、
   前記画像が前記第１解像度で表された場合に前記部分領域に対応する領域を示す情報を前記第１領域情報として出力することを特徴とする請求項１に記載の画像符号化装置。
3. 前記領域取得部は、
   前記第２画像信号から前記画像の背景として定められた背景画像を示す背景画像信号を取得し、前記背景画像信号と前記第２画像信号との画素毎の差分値を算出し、前記差分値が第１閾値以上となる画素を判定画素として抽出し、前記判定画素を含む領域を前記部分領域として取得することを特徴とする請求項２に記載の画像符号化装置。
4. 前記領域取得部は、
   単位面積あたりの画素の数に対する前記判定画素の数の比が第２閾値以上である領域を前記部分領域として取得することを特徴とする請求項３に記載の画像符号化装置。
5. 前記領域取得部は、少なくとも１つの矩形領域を前記部分領域として取得することを特徴とする請求項１〜４のいずれかに記載の画像符号化装置。
6. 前記出力部は、前記第１符号化信号と前記第２符号化信号とを多重化し、多重化した前記第１符号化信号と前記第２符号化信号とを多重化符号化信号として出力することを特徴とする請求項１〜５のいずれかに記載の画像符号化装置。
7. 画像の一部の領域を示す第１解像度の部分画像信号を符号化した第１符号化信号と、前記第１解像度より低い第２解像度の第２画像信号であって前記画像を示す第２画像信号を符号化した第２符号化信号とを含む符号化信号を受け付け、前記符号化信号を前記第１符号化信号と前記第２符号化信号とに分離する分離部と、
   前記分離部により分離された前記第１符号化信号を受け付け、前記第１符号化信号を復号し、復号した前記第１符号化信号を第１復号信号として出力する第１復号部と、
   前記分離部により分離された前記第２符号化信号を受け付け、前記第２符号化信号を復号し、復号した前記第２符号化信号を第２復号信号として出力する第２復号部と、
   前記第２復号部から出力された前記第２復号信号を前記第１解像度の変換信号に変換し、前記変換信号を出力する信号変換部と、
   前記第１復号部から出力された第１復号信号と、前記信号変換部から出力された前記変換信号と基づいて、前記第１解像度の合成信号を生成する合成部と
   を備えることを特徴とする画像復号装置。
8. 画像変換部が、画像を示す第１解像度の第１画像信号を受け付け、前記第１画像信号を前記第１解像度より低い第２解像度の第２画像信号に変換し、
   領域取得部が、前記画像の一部の領域を部分領域として取得し、
   領域情報出力部が、前記部分領域を示す第１領域情報を出力し、
   第１符号化部が、前記第１画像信号と前記領域情報出力部により出力された前記第１領域情報とを受け付け、前記第１画像信号から前記第１領域情報が示す前記部分領域に対応する信号を部分領域信号として取得し、取得した前記部分領域信号を符号化し、符号化した前記部分領域信号を第１符号化信号として出力し、
   第２符号化部が、前記画像変換部から出力された前記第２画像信号を受け付け、前記第２画像信号を符号化し、符号化した前記第２画像信号を第２符号化信号として出力し、
   出力部が、前記第２符号化部から出力された前記第２符号化信号と、前記第１符号化部から出力された前記第１符号化信号とを含む符号化信号を出力することを特徴とする画像符号化方法。
9. 分離部が、画像の一部の領域を示す第１解像度の部分画像信号を符号化した第１符号化信号と、前記第１解像度より低い第２解像度の第２画像信号であって前記画像を示す第２画像信号を符号化した第２符号化信号とを含む符号化信号を受け付け、前記符号化信号を前記第１符号化信号と前記第２符号化信号とに分離し、
   第１復号部が、前記分離部により分離された前記第１符号化信号を受け付け、前記第１符号化信号を復号し、復号した前記第１符号化信号を第１復号信号として出力し、
   第２復号部が、前記分離部により分離された前記第２符号化信号を受け付け、前記第２符号化信号を復号し、復号した前記第２符号化信号を第２復号信号として出力し、
   信号変換部が、前記第２復号部から出力された前記第２復号信号を前記第１解像度の変換信号に変換し、
   合成部が、前記第１復号部から出力された第１復号信号と、前記信号変換部から出力された前記変換信号とに基づいて、前記第１解像度の合成信号を生成することを特徴とする画像復号方法。
10. 画像を示す第１解像度の第１画像信号を受け付け、前記第１画像信号を前記第１解像度より低い第２解像度の第２画像信号に変換し、前記第２画像信号を出力する画像変換処理と、
    前記画像の一部の領域を部分領域として取得する領域取得処理と、
    前記部分領域を示す第１領域情報を出力する領域情報出力処理と、
    前記第１画像信号と前記領域情報出力処理により出力された前記第１領域情報とを受け付け、前記第１画像信号から前記第１領域情報が示す前記部分領域に対応する信号を部分領域信号として取得し、取得した前記部分領域信号を符号化し、符号化した前記部分領域信号を第１符号化信号として出力する第１符号化処理と、
    前記画像変換処理により変換された前記第２画像信号を受け付け、前記第２画像信号を符号化し、符号化した前記第２画像信号を第２符号化信号として出力する第２符号化処理と、
    前記第２符号化処理により出力された前記第２符号化信号と、前記第１符号化処理により出力された前記第１符号化信号とを含む符号化信号を出力する出力処理と
    をコンピュータに実行させるプログラム。
11. 画像の一部の領域を示す第１解像度の部分画像信号を符号化した第１符号化信号と、前記第１解像度より低い第２解像度の第２画像信号であって前記画像を示す第２画像信号を符号化した第２符号化信号とを含む符号化信号を受け付け、前記符号化信号を前記第１符号化信号と前記第２符号化信号とに分離する分離処理と、
    前記分離処理により分離された前記第１符号化信号を受け付け、前記第１符号化信号を復号し、復号した前記第１符号化信号を第１復号信号として出力する第１復号処理と、
    前記分離処理により分離された前記第２符号化信号を受け付け、前記第２符号化信号を復号し、復号した前記第２符号化信号を第２復号信号として出力する第２復号処理と、
    前記第２復号処理により出力された前記第２復号信号を前記第１解像度の変換信号に変換し、前記変換信号を出力する信号変換処理と、
    前記第１復号処理により出力された第１復号信号と、前記信号変換処理により出力された前記変換信号とに基づいて、前記第１解像度の合成信号を生成する合成処理と
    をコンピュータに実行させるプログラム。

Images