JP4146701B2 - 動画像符号化方法および動画像符号化装置 - Google Patents
動画像符号化方法および動画像符号化装置 Download PDFInfo
- Publication number
- JP4146701B2 JP4146701B2 JP2002295620A JP2002295620A JP4146701B2 JP 4146701 B2 JP4146701 B2 JP 4146701B2 JP 2002295620 A JP2002295620 A JP 2002295620A JP 2002295620 A JP2002295620 A JP 2002295620A JP 4146701 B2 JP4146701 B2 JP 4146701B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- image
- shift
- base layer
- bit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
- H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、階層データ構造を持つ動画像符号化方法および動画像符号化装置に関し、特に低帯域においても画面中の重要領域に対して画質を高く保つことができる動画像符号化方法および動画像符号化装置に関する。
【０００２】
【従来の技術】
従来の映像伝送システムで伝送される映像データは、ある一定の伝送帯域で伝送できるように、通常、Ｈ.２６１方式やＭＰＥＧ（Moving Picture Experts Group）方式などによって一定帯域以下に圧縮符号化されており、一度符号化された映像データは伝送帯域が変わっても映像品質を変えることはできない。
【０００３】
しかしながら、近年のネットワークの多様化に伴い、伝送路の帯域変動が大きく、複数の帯域に見合った品質の映像を伝送可能な映像データが必要とされており、これに対応するために、階層構造を持ち複数帯域に対応できる階層符号化方式が規格化されている。このような階層符号化方式の中でも、とりわけ帯域選択に関して自由度が高い方式であるＭＰＥＧ−４ ＦＧＳ（ＩＳＯ／ＩＥＣ １４４９６−２ Ａｍｅｎｄｍｅｎｔ ４）が現在規格化されている。ＭＰＥＧ−４ ＦＧＳにより符号化された映像データは、単体で復号化が可能な動画像ストリームである一の基本レイヤと、基本レイヤの復号化動画像品質を向上させるための動画像ストリームである、少なくとも一以上の拡張レイヤとで構成される。基本レイヤは低帯域で低画質の映像データであり、これに拡張レイヤを帯域に応じて足し合わせることにより自由度の高い高画質化が可能である。
【０００４】
ＭＰＥＧ−４ ＦＧＳにおいては、割り当てる拡張レイヤの数を制御することにより、基本レイヤに足し合わせる拡張レイヤの総データサイズを任意サイズで分割できるという特徴を有するため、基本レイヤの帯域は固定とし、拡張レイヤの総データサイズを制御して伝送帯域に適応させることが可能である。例えば、受信可能な帯域に応じて、基本レイヤと複数の拡張レイヤとを選択して受信することにより、帯域に応じた品質の映像を受信することが可能である。また、拡張レイヤが伝送路で欠損しても低画質ではあるが基本レイヤのみで映像を再生することが可能である。
【０００５】
このように、ＭＰＥＧ−４ ＦＧＳは帯域が高くなるにつれ、大きなサイズの拡張レイヤまたは多数の拡張レイヤを基本レイヤに足していくことにより画面全体を滑らかに高画質化することが可能であるが、当然のことながら帯域が低い状況においては画面全体が低画質となってしまう。特に、ＭＰＥＧ−４ ＦＧＳの拡張レイヤは時間的に連続したフレーム間の相関を利用しないフレーム内符号化方式を用いているため、フレーム間の相関を利用するフレーム間符号化に比べて圧縮効率が低下してしまう。とりわけ低帯域ではユーザにとって重要な領域も低画質になってしまうという課題がある。
【０００６】
そこで、拡張レイヤの符号化効率を向上させるための従来技術では、拡張レイヤのビット平面ＶＬＣ（Variable Length Coding：可変長符号化）において、左上から右下へ順に符号化を行うのではなく、基本レイヤで用いた量子化値が大きいマクロブロックから順に符号化を行うようにしている（例えば、特許文献１参照）。
【０００７】
図１７は、従来の映像符号化装置の構成の一例を示す図である。この映像符号化装置１０は、映像入力部１２、基本レイヤ符号化部１４、基本レイヤ復号化部１６、基本レイヤ出力部１８、差分画像生成部２０、ＤＣＴ部２２、格納順序制御部２４、ビット平面ＶＬＣ部２６、および拡張レイヤ出力部２８を有する。
【０００８】
映像入力部１２は、入力した映像信号を１画面毎に基本レイヤ符号化部１４と差分画像生成部２０に出力する。基本レイヤ符号化部１４は、映像入力部１２から入力した映像信号に対して、動き補償・ＤＣＴ（Discrete Cosine Transform：離散コサイン変換）・量子化を用いたＭＰＥＧ符号化を行い、符号化データを基本レイヤ出力部１８と基本レイヤ復号化部１６に出力するとともに、１６×１６画素で構成されるマクロブロック（１６×１６画素で構成される正方格子状の画素集合）の量子化に用いた量子化値を格納順序制御部２４に出力する。基本レイヤ復号化部１６は、基本レイヤの符号化データに対して逆量子化・逆ＤＣＴ・動き補償を行って得られた復号化データを差分画像生成部２０に出力する。
【０００９】
差分画像生成部２０は、映像入力部１２から入力した非圧縮の映像信号と基本レイヤ復号化部１６から入力した基本レイヤ符号化・復号化後の復号化画像データとの間で差分処理を行って差分画像を生成し、差分画像をＤＣＴ部２２に出力する。ＤＣＴ部２２は、差分画像生成部２０から入力した差分画像全体に対して、８×８画素単位で順にＤＣＴ変換を行い、画像内の全ＤＣＴ係数を格納順序制御部２４に出力する。格納順序制御部２４は、ＤＣＴ部２２から入力した全ＤＣＴ係数に対してマクロブロック単位で並べ替えを行い、マクロブロックの格納順序情報を拡張レイヤ出力部２８に出力するとともに、並べ替えた全ＤＣＴ係数をビット平面ＶＬＣ部２６に出力する。
【００１０】
格納順序制御部２４におけるマクロブロックの並べ替えは、基本レイヤ符号化部１４から入力されるマクロブロック毎の量子化値を用いて行われ、量子化値が大きいマクロブロックから順に左上から右下に向かって格納される。ビット平面ＶＬＣ部２６は、格納順序制御部２４から入力した全画面のＤＣＴ係数に対して、各ＤＣＴ係数を２進数で表した後、各ビット位置に属するビットでビット平面を構成し、上位ビット平面から下位ビット平面の順でそれぞれ可変長符号化（ＶＬＣ）を行う。各ビット平面においては、左上のマクロブロックから右下へと可変長符号化（ＶＬＣ）を行い、上位ビット平面から順にビットストリームに先頭から並べて行き、拡張レイヤのビットストリームを生成し、拡張レイヤ出力部２８に出力する。ビット平面ＶＬＣ部２６によって生成された拡張レイヤのビットストリームは、上位ビット平面のデータが先頭に格納され、続いて順に下位ビット平面のデータが格納された構造となっており、各ビット平面においては量子化値の大きいマクロブロックのデータから先に格納されている。拡張レイヤ出力部２８は、マクロブロックの格納順序情報と拡張レイヤビットストリームを多重化して外部に出力する。
【００１１】
このように、映像符号化装置１０においては、各ビット平面においてマクロブロックの量子化値が大きいものから順にビット平面ＶＬＣ処理を行うことにより、各ビット平面において量子化誤差が大きいと予想されるマクロブロックから先に拡張レイヤとしてデータを格納して行くことが可能となる。したがって、基本レイヤにおいて画質劣化が大きい可能性の高い領域は、各ビット平面内で上位の拡張レイヤに格納されるため、同一ビット平面で比べると上位の拡張レイヤのみを使用するような低帯域において、画質劣化が大きい部分を先に高画質化することが可能となる。
【００１２】
【特許文献１】
特開２００１−２６８５６８号公報（段落[００２４]、図５）
【００１３】
【発明が解決しようとする課題】
しかしながら、従来の動画像符号化方法においては、ビット平面内でマクロブロックの格納順序を変える場合、各ビット平面の内部を見ると画質劣化が大きいマクロブロックから先に高画質化できるものの、ビット平面単位で比べるとマクロブロック毎の画質差は無い。すなわち、ビット平面毎に拡張レイヤを分割し、受信する状況では、何らメリットは無いものとなる。
【００１４】
特に低帯域においては、ユーザにとって重要な領域が優先的に高画質化されることが望ましく、重要領域以外の量子化値が大きい場合には重要領域よりもそれ以外の領域が優先して高画質化されてしまう。従来の方法では、量子化値を用いて符号化順序を変えており、低帯域において重要な領域を優先的に高画質化することはできない。たとえ、従来の方法を用いて重要な領域に対してビット平面内でのデータ格納順序を変えたとしても、限定された同一ビット平面における局所的な優先付けを行うことしかできない。
【００１５】
したがって、従来の映像符号化方法では、限られた同一ビット平面内ではなく、帯域が低い場合おいて重要領域を優先して高画質化することはできない。このため、低帯域において重要な領域ほど高画質である映像符号化方式が今日強く望まれている。
【００１６】
本発明は、かかる点に鑑みてなされたものであり、低帯域においても重要領域が高画質であり、帯域が高くなるほど周辺領域を段階的に高画質化することができる動画像符号化方法および動画像符号化装置を提供することを目的とする。
【００１７】
【課題を解決するための手段】
（１）本発明の動画像符号化方法は、動画像を一の基本レイヤと少なくとも一の拡張レイヤとに分割して符号化する動画像符号化方法であって、動画像の各領域の重要度を抽出する抽出ステップと、重要度が大きい領域から順に各領域の符号化データを拡張レイヤに割り当てる割り当てステップと、を有するようにした。
【００１８】
この方法によれば、伝送帯域が低帯域の受信端末であっても、重要度の高い領域を優先的に復号化できる動画像符号を伝送することができ、低帯域においても重要領域が高画質であり、帯域が高くなるほど周辺領域を段階的に高画質化することができる。
【００１９】
（２）本発明の動画像符号化方法は、上記の方法において、重要度が最も大きい領域を重要領域とし、当該重要領域から周辺に沿って重要度の値を小さくするようにした。
【００２０】
この方法によれば、ユーザにとって重要な情報をユーザにとって重要な情報ほど優先的に復号化してより効果的な符号化データを提供することができる。
【００２１】
（３）本発明の動画像符号化方法は、上記の方法において、重要度の抽出は、動画像中の顔領域または動体物を検出することにより行われるようにした。
【００２２】
この方法によれば、より効果的に重要度を設定することができる。
【００２３】
（４）本発明の動画像符号化方法は、上記の方法において、重要領域の内部において基本レイヤ復号化動画像と原動画像との差分値が大きい部分については、さらに重要度の値を大きくするようにした。
【００２４】
この方法によれば、重要領域の中でも、変化の激しい領域を優先的に拡張レイヤに格納することにより、重要領域の内部で基本レイヤでの画質劣化が大きい領域ほど優先的に高画質化することができ、より効果的な符号化データを提供することができる。
【００２５】
（５）本発明の動画像符号化方法は、上記の方法において、前記割り当てステップは、重要度に応じてシフト値を設定し、各領域の符号化データを対応するシフト値によってビットシフトすることにより、各領域の符号化データを拡張レイヤに割り当てる、ようにした。
【００２６】
この方法によれば、重要度に応じた優先度に従った拡張レイヤを形成することができる。
【００２７】
（６）本発明の動画像符号化方法は、上記の方法において、重要度が大きいほどシフト値を大きく設定するようにした。
【００２８】
この方法によれば、上位の拡張レイヤに重要度の大きいデータを格納することができ、復号化の際に重要度の大きい領域を優先的に高画質化することができる。
【００２９】
（７）本発明の動画像伝送方法は、上記いずれかに記載の動画像符号化方法を用いた動画の符号化および動画の転送を互いに同期させて行うようにした。
【００３０】
この方法によれば、動画の符号化と転送を効果的に同期させて行うことができる。
【００３１】
（８）本願発明の動画像符号化装置は、動画原画像を入力する画像入力部と、前記動画原画像から一の基本レイヤを抽出し符号化する基本レイヤ符号化部と、前記基本レイヤ符号化部によって符号化された基本レイヤを復号化して再構成する基本レイヤ復号化部と、前記基本レイヤ復号化部によって再構成された再構成画像と前記動画原画像との差分画像を生成する差分画像生成部と、前記動画原画像から重要領域を抽出する重要領域抽出部と、前記重要領域抽出部によって抽出された重要領域の重要度に応じて段階的にビットシフト値を設定する段階的シフトマップ生成部と、前記差分画像生成部によって生成された差分画像をＤＣＴ変換するＤＣＴ部と、前記ＤＣＴ部によって得られたＤＣＴ係数を、前記段階的シフトマップ生成部によって得られたビットシフト値によってビットシフトするビットシフト部と、前記ビットシフト部によってビットシフトされたビット平面ごとにＶＬＣ処理を行うビット平面ＶＬＣ部と、前記ビット平面ＶＬＣ部によってＶＬＣ処理された動画像ストリームを拡張レイヤとして少なくとも一以上に分割する拡張レイヤ分割部と、を有する構成を採る。
【００３２】
この構成によれば、伝送帯域が低帯域の受信端末であっても、重要度の高い領域を優先的に復号化できる動画像符号を伝送することができ、低帯域においても重要領域が高画質であり、帯域が高くなるほど周辺領域を段階的に高画質化することができる。
【００３３】
（９）本願発明の動画像符号化プログラムは、上記記載の動画像符号化方法をコンピュータに実行させるためのプログラムである。
【００３４】
このプログラムによれば、伝送帯域が低帯域の受信端末であっても、重要度の高い領域を優先的に復号化できる動画像符号を伝送することができ、低帯域においても重要領域が高画質であり、帯域が高くなるほど周辺領域を段階的に高画質化することができる。
【００３５】
【発明の実施の形態】
本発明の骨子は、重要領域から優先して拡張レイヤ符号化を行うことにより、例えば、端末の移動中において、帯域が下がった場合でも重要領域の品質を高く維持できるようにしたことである。
【００３６】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００３７】
（実施の形態１）
本実施の形態では、低帯域においても重要領域を優先的に高画質化することができ、かつ、高帯域になるほど周辺領域も段階的に高画質化することができる動画像符号化方法を適用した映像符号化装置および映像復号化装置について説明する。
【００３８】
図１は、本発明の実施の形態１に係る動画像符号化方法を適用した映像符号化装置の構成を示すブロック図である。
【００３９】
図１に示す映像符号化装置１００は、基本レイヤを生成する基本レイヤエンコーダ１１０と、拡張レイヤを生成する拡張レイヤエンコーダ１２０と、基本レイヤの帯域を設定する基本レイヤ帯域設定部１４０と、拡張レイヤの分割帯域幅を設定する拡張レイヤ分割幅設定部１５０とを有する。
【００４０】
基本レイヤエンコーダ１１０は、１画像毎に画像（原画像）を入力する画像入力部１１２と、基本レイヤの圧縮符号化を行う基本レイヤ符号化部１１４と、基本レイヤの出力を行う基本レイヤ出力部１１６と、基本レイヤの復号化を行う基本レイヤ復号化部１１８とを有する。
【００４１】
拡張レイヤエンコーダ１２０は、重要領域の検出を行う重要領域検出部１２２と、重要領域の情報から段階的シフトマップを生成する段階的シフトマップ生成部１２４と、入力画像と基本レイヤ復号化画像（再構成画像）との差分画像を生成する差分画像生成部１２６と、ＤＣＴ変換を行うＤＣＴ部１２８と、段階的シフトマップ生成部１２４から出力されるシフトマップに従ってＤＣＴ係数のビットシフトを行うビットシフト部１３０と、ＤＣＴ係数に対してビット平面毎に可変長符号化（ＶＬＣ）を行うビット平面ＶＬＣ部１３２と、ＶＬＣ符号化された拡張レイヤを拡張レイヤ分割幅設定部１５０から入力される分割幅でデータ分割処理を行う拡張レイヤ分割部１３４とを有する。
【００４２】
図２は、本発明の実施の形態１に係る動画像符号化方法を適用した映像復号化装置の構成を示すブロック図である。
【００４３】
図２に示す映像復号化装置２００は、基本レイヤを復号化する基本レイヤデコーダ２１０と、拡張レイヤを復号化する拡張レイヤデコーダ２２０とを有する。
【００４４】
基本レイヤデコーダ２１０は、基本レイヤを入力する基本レイヤ入力部２１２と、入力された基本レイヤの復号化処理を行う基本レイヤ復号化部２１４とを有する。
【００４５】
拡張レイヤデコーダ２２０は、分割された複数の拡張レイヤを合成して入力する拡張レイヤ合成入力部２２２と、拡張レイヤに対してビット平面ＶＬＤ（Variable Length Decoding：可変長復号化）処理を行うビット平面ＶＬＤ部２２４と、ビットシフトを行うビットシフト部２２６と、逆ＤＣＴ処理を行う逆ＤＣＴ部２２８と、基本レイヤ復号化画像と拡張レイヤ復号化画像を加算する画像加算部２３０と、再構成画像を出力する再構成画像出力部２３２とを有する。
【００４６】
次いで、上記構成を有する映像符号化装置１００の動作について、つまり、映像符号化装置１００における映像信号に対する処理の手順について、図３に示すフローチャートを用いて説明する。なお、図３に示すフローチャートは、映像符号化装置１００の図示しない記憶装置（例えば、ＲＯＭやフラッシュメモリなど）に制御プログラムとして記憶されており、同じく図示しないＣＰＵによって実行される。
【００４７】
まず、ステップＳ１０００では、映像信号を入力する映像入力処理を行う。具体的には、画像入力部１１２で、入力した映像信号から同期信号を検出して、映像信号を構成する原画像を１画面毎に基本レイヤ符号化部１１４、差分画像生成部１２６、および重要領域検出部１２２に出力する。なお、さらには、基本レイヤ帯域設定部１４０は、基本レイヤに対する帯域値を基本レイヤ符号化部１１４に出力し、拡張レイヤ分割幅設定部１５０は、拡張レイヤの分割サイズを拡張レイヤ分割部１３４に出力する。
【００４８】
そして、ステップＳ１１００では、映像信号を基本レイヤとして符号化／復号化する基本レイヤ符号化復号化処理を行う。具体的には、基本レイヤ符号化部１１４で、画像入力部１１２から入力された原画像に対して、基本レイヤ帯域設定部１４０から入力された帯域になるように、動き補償・ＤＣＴ・量子化・可変長符号化処理等を用いたＭＰＥＧ符号化を行って基本レイヤストリームを生成し、生成したストリームを基本レイヤ出力部１１６および基本レイヤ復号化部１１８に出力する。そして、基本レイヤ出力部１１６では、基本レイヤ符号化部１１４から入力した基本レイヤストリームを外部に出力する。また、基本レイヤ復号化部１１８では、基本レイヤ符号化部１１４から入力した基本レイヤストリームに対してＭＰＥＧ復号化を行って復号化画像（再構成画像）を生成し、生成した復号化画像を差分画像生成部１２６に出力する。
【００４９】
そして、ステップＳ１２００では、差分画像を算出する差分画像生成処理を行う。具体的には、差分画像生成部１２６で、画像入力部１１２から入力した原画像に対して、基本レイヤ復号化部１１８から入力した復号化画像との差分を画素毎に取る差分処理を行って、差分画像を生成し、生成した差分画像をＤＣＴ部１２８に出力する。
【００５０】
そして、ステップＳ１３００では、差分画像に対してＤＣＴ変換を行うＤＣＴ処理を行う。具体的には、ＤＣＴ部１２８で、差分画像生成部１２６から入力した差分画像に対して、画像全体について８×８画素単位で離散コサイン変換（ＤＣＴ）を施すことにより、画像全体のＤＣＴ係数を算出し、得られたＤＣＴ係数をビットシフト部１３０に出力する。
【００５１】
一方、ステップＳ１４００では、重要領域を検出する重要領域検出処理を行う。具体的には、重要領域検出部１２２で、画像入力部１１２から入力した１画面の画像データに対して、例えば、平均顔画像などの予め記憶されている画像データとの相関が高い領域を検出する。ここでは、例えば、相関の度合いに応じて、相対的に重要度の大小を決定する。そして、最も相関の高い領域（つまり、最も重要度が大きい領域）を重要領域として、その検出結果を段階的シフトマップ生成部１２４に出力する。
【００５２】
図４は、重要領域検出部１２２における検出結果の一例を示す図である。ここでは、例えば、検出結果として矩形領域を出力する場合は、重要領域の重心座標（ｃｘ，ｃｙ）と重心Ｇからの水平垂直方向の半径（ｒｘ，ｒｙ）の４つの値を出力するものとする。
【００５３】
なお、重要領域検出部１２２における検出結果の出力方法は、これに限定されるわけではなく、領域を指定できる方法であれば、いかなる出力方法でもよい。また、重要領域の検出方法は、画像との相関値を用いるものに限定されるわけではなく、領域検出を行うことができる手法であれば、いかなる方法でもよい。また、重要領域検出部１２２は、顔領域を検出する方法に限定されるわけではなく、ユーザにとって重要な領域を検出または指定できる方法であれば、いかなる方法でもよい。たとえば、重要領域の検出方法として、動画像中の顔領域以外に、これと共にまたは選択的に、動体物を検出することも可能である。これにより、より効率的に重要度を設定することができる。
【００５４】
そして、ステップＳ１５００では、段階的シフトマップを生成する段階的シフトマップ生成処理を行う。具体的には、段階的シフトマップ生成部１２４で、重要領域検出部１２２から入力した領域の重心座標（ｃｘ，ｃｙ）と半径（ｒｘ，ｒｙ）の４つの情報を用いて段階的なシフト値を持つ段階的シフトマップを生成し、生成した段階的シフトマップをビットシフト部１３０に出力する。段階的シフトマップは、画像を１６×１６正方画素のマクロブロック毎に１つの値を示したマップである。
【００５５】
図５は、段階的シフトマップの一例を示す図である。図５に示す段階的シフトマップ１６０は、画像をマクロブロック１６２に区切り、各マクロブロック１６２に１つのシフト値を有する。ここでは、図５に示すように、シフト値の段階数は「０」〜「４」の５段階とし、重要領域検出部１２２によって検出された検出領域１６４が最も大きいシフト値を持ち、周辺領域に向かうにつれてシフト値が小さくなるようになっている。
【００５６】
図６は、図３の段階的シフトマップ生成処理の手順の一例を示すフローチャートである。この段階的シフトマップ生成処理は、図６に示すように、最大シフト領域算出処理（ステップＳ１５１０）、領域拡大ステップ算出処理（ステップＳ１５２０）、領域拡大処理（ステップＳ１５３０）、およびシフト値設定処理（ステップＳ１５４０）の４つの処理から構成されている。
【００５７】
まず、ステップＳ１５１０では、最大シフト領域算出処理を行う。具体的には、段階的シフトマップ生成部１２４で、重要領域検出部１２２から入力した領域を包含するマクロブロックで構成されるマクロブロック領域を最大シフト領域１６６とし（図５参照）、この最大シフト領域１６６内のマクロブロック全部に対してシフト値の最大値を設定し、それ以外の領域に対しては「０」を設定する。図５に示す例では、シフト値を「０」〜「４」としているため、最大シフト領域１６６の内部は、最大値の「４」が示されている。なお、以下では、シフト値が「０」以外に設定されている領域を「非ゼロシフト領域」と呼ぶことにする。
【００５８】
そして、ステップＳ１５２０では、領域拡大ステップ算出処理を行う。具体的には、段階的シフトマップ生成部１２４で、特定の重要領域から周辺領域へ領域を拡大して小さいシフト値を設定する際に使用する領域拡大ステップを、重要領域検出部１２２から入力した重要領域の半径（ｒｘ，ｒｙ）を用いて算出する。領域拡大ステップの算出は、例えば、次の（式１）、（式２）、
【数１】
【数２】
を用いて行われる。ここで、（式１）において、ｄｘは横方向の拡大ステップ（マクロブロック単位）であり、ｒｘは検出領域１６４の横半径（画素単位）であり、macroblock_sizeはマクロブロックの横幅（画素単位）である。また、（式２）において、ｄｙは縦方向の拡大ステップ（マクロブロック単位）であり、ｒｙは検出領域１６４の縦半径（画素単位）である。
【００５９】
そして、ステップＳ１５３０では、領域拡大処理を行う。具体的には、段階的シフトマップ生成部１２４で、上記（式１）、（式２）により算出した領域の拡大ステップｄｘ，ｄｙを用いて、現在の非ゼロシフト領域に対して、重心Ｇを共通とし、左右にそれぞれｄｘ個マクロブロックの列を拡大し、上下にそれぞれｄｙ個マクロブロックの行を拡大する。ただし、このような拡大処理において、拡大後の領域が画面外に出る方向については、当該拡大処理を停止する。
【００６０】
そして、ステップＳ１５４０では、シフト値設定処理を行う。具体的には、段階的シフトマップ生成部１２４で、ステップＳ１５３０の領域拡大処理において拡大された部分の領域に対して、非ゼロシフト領域内の最小シフト値から「１」を減算した値を設定する。
【００６１】
そして、ステップＳ１５５０では、段階的シフトマップ生成処理を終了するか否かを判断する。具体的には、ステップＳ１５４０で設定されたシフト値が「０」であるか否かを判断する。この判断の結果としてステップＳ１５４０で設定されたシフト値が「０」である場合は（Ｓ１５５０：ＹＥＳ）、図３のフローチャートにリターンし、ステップＳ１５４０で設定されたシフト値が「０」でない場合は（Ｓ１５５０：ＮＯ）、ステップＳ１５３０に戻る。すなわち、ステップＳ１５４０で設定されたシフト値が「０」になるまでステップＳ１５３０（領域拡大処理）とステップＳ１５４０（シフト値設定処理）を繰り返して段階的シフトマップ生成処理を終了する。そして、得られた段階的シフトマップをビットシフト部１３０に出力する。
【００６２】
なお、段階的シフトマップの生成方法は、検出領域１６４の半径を用いて順次拡大する方法に限定されるわけではなく、重要領域から周辺領域に向けて段階的にシフト値が小さくなる傾向を有する生成方法であれば、いかなる方法でもよい。
【００６３】
そして、ステップＳ１６００では、ＤＣＴ係数に対してビットシフトを行うビットシフト処理を行う。具体的には、ビットシフト部１３０で、ＤＣＴ部１２８から入力したＤＣＴ係数に対して、段階的シフトマップ生成部１２４から入力した段階的シフトマップ内のシフト値によってマクロブロック毎にビットシフトを行う。例えば、シフト値が「４」であるマクロブロックに対しては、マクロブロック内のすべてのＤＣＴ係数をそれぞれ上位ビット方向に４ビットシフトする。
【００６４】
図７および図８は、ビットシフトの一例を示す図であって、図７（Ａ）は段階的シフトマップを示す図、図７（Ｂ）はＭＢ１のＤＣＴ係数を示す図、図８（Ｃ）はシフト前のビット平面の概念図、図８（Ｄ）はシフト後のビット平面の概念図である。
【００６５】
ここで、図７（Ａ）に示す段階的シフトマップは５×４個のマクロブロックに対するシフト値を持つ段階的シフトマップであり、ＭＢ１はマクロブロック１のシフト値、ＭＢ２はマクロブロック２のシフト値、ＭＢ３はマクロブロック３のシフト値をそれぞれ示している。図７（Ｂ）に示すＭＢ１のＤＣＴ係数は、マクロブロック１（ＭＢ１）に含まれるＤＣＴ係数を２進数で表記したものである。また、図８（Ｃ）に示すシフト前のビット平面概念図は、ＭＢ１〜ＭＢ３に含まれる全ＤＣＴ係数に対して、縦軸をビット平面とし、横軸をＤＣＴ係数の位置として並べて図式化したものである。図８（Ｄ）に示すシフト後のビット平面概念図は、図７（Ａ）の段階的シフトマップに示されたシフト値に基づいて、マクロブロック毎に上位方向へビットシフトを行った後のＤＣＴ係数を示している。
【００６６】
このように、ビットシフト処理では、ステップＳ１５００で生成した段階的シフトマップに従ってＤＣＴ係数をビットシフトした後、ビットシフト後のＤＣＴ係数をビット平面ＶＬＣ部１３２に出力する。
【００６７】
そして、ステップＳ１７００では、ビット平面毎にＶＬＣ処理を行うビット平面ＶＬＣ処理を行う。具体的には、ビット平面ＶＬＣ部１３２で、段階的シフトマップ生成部１２４から入力した段階的シフトマップを可変長符号化し、さらに、ビットシフト部１３０から入力したＤＣＴ係数に対して、ビット平面毎に可変長符号化を行う。
【００６８】
図９は、ビット平面ＶＬＣの概念図であって、図８（Ｄ）に示すシフト後のビット平面概念図に対応している。ただし、図９において、第１ビット平面は、画面内の全ＤＣＴ係数をビット平面順に並べた際に、最上位ビット（ＭＳＢ：Most Significant Bit）の位置に存在するビットを集めた平面であり、第２ビット平面は、ＭＳＢの次の上位ビット位置に存在するビットを集めた平面であり、第３ビット平面は、第２ビット平面の次の上位ビット位置に存在するビットを集めた平面であり、第Ｎビット平面は、最下位ビット（ＬＳＢ：Least Significant Bit）の位置に存在するビットを集めた平面である。
【００６９】
図１０は、拡張レイヤビットストリームの構成図である。図１０に示す拡張レイヤビットストリームは、各ビット平面を可変長符号化して生成したビットストリームを、第１ビット平面（ｂｐ１）、第２ビット平面（ｂｐ２）、…、第Ｎビット平面（ｂｐＮ）の順に格納した構成となっている。
【００７０】
ビット平面ＶＬＣ部１３２では、まず、全画像中で第１ビット平面に存在するビット列に対して可変長符号化を行い、生成したビットストリームを拡張レイヤの先頭位置に配置する（ｂｐ１）。次に、第２ビット平面に対して可変長符号化を行い、第１ビット平面のビットストリームに続く位置に配置する（ｂｐ２）。そして、同様の処理を繰り返し、最後に、第Ｎビット平面に対して可変長符号化を行い、ビットストリームの最後の位置に配置する（ｂｐＮ）。また、ビットシフトにより発生した下位ビットはすべて「０」として扱うものとする。このように、大きい値でビットシフトされたマクロブロックほど上位のビット平面にて可変長符号化され、拡張レイヤとなる動画像ストリーム内では先頭に近いところに格納されることになる。
【００７１】
このように、ビット平面ＶＬＣ処理では、ビット平面ＶＬＣを行って拡張レイヤとなる動画像ストリームを生成する。生成された動画像ストリームは、拡張レイヤ分割部１３４に出力される。
【００７２】
図１１（Ａ）は、重要領域の検出結果の一例を示す図、図１１（Ｂ）は、対応する段階的シフトマップの一例を示す図である。図１２は、対応するビットシフト結果の一例を示す図である。
【００７３】
ここで、図１１（Ｂ）に示す段階的シフトマップは、マクロブロック１６２毎にシフト値を持つマップの一例であり、重要領域１６４を含むマクロブロックには最も大きいシフト値「２」が設定され、周辺領域には、段階的にシフト値が小さくなり、「１」、「０」が設定されている。
【００７４】
図１２に示すビットシフト結果は、１画面全体のＤＣＴ係数を、ｘ軸、ｙ軸、ビット平面を軸とした３次元で表現したものであり、各マクロブロックに対して段階的シフトマップに示されたシフト値を用いてビットシフトを行った結果を示している。このビットシフト結果において、重要領域１６４が最も上位のビット平面に位置し、周辺領域が次のビット平面に位置しているため、上位ビット平面から行われる可変長符号化処理では、重要領域１６４から周辺領域に向けて順に可変長符号化され、拡張レイヤとなる動画像ストリーム内の先頭から格納されることになる。なお、図１２では、簡略化のため、画面内のＤＣＴ係数の上位ビットはすべて同一のビット平面に位置するものとして図示している。
【００７５】
そして、ステップＳ１８００では、拡張レイヤを複数に分割する拡張レイヤ分割処理を行う。具体的には、拡張レイヤ分割部１３４で、ビット平面ＶＬＣ部１３２から入力した拡張レイヤに対して、拡張レイヤ分割幅設定部１５０から入力した分割サイズを用いて先頭からデータ分割を行い、分割した複数の拡張レイヤを外部に出力する。分割された拡張レイヤは、伝送帯域に合わせて先頭部分から複数の部分を１つに合成して伝送することにより、映像データの帯域制御が可能である。
【００７６】
そして、ステップＳ１９００では、終了判定処理を行う。具体的には、画像入力部１１２において映像信号の入力が停止したか否かを判断する。この判断の結果として画像入力部１１２において映像信号の入力が停止した場合は（Ｓ１９００：ＹＥＳ）、符号化終了と判定して、一連の符号化処理を終了するが、画像入力部１１２において映像信号の入力が停止していない場合は（Ｓ１９００：ＮＯ）、ステップＳ１０００に戻る。すなわち、画像入力部１１２において映像信号の入力が停止するまでステップＳ１０００〜ステップＳ１８００の一連の処理を繰り返す。
【００７７】
次いで、上記構成を有する映像復号化装置２００の動作について、つまり、映像復号化装置２００におけるビットストリームに対する処理の手順について、図１３に示すフローチャートを用いて説明する。なお、図１３に示すフローチャートは、映像復号化装置２００の図示しない記憶装置（例えば、ＲＯＭやフラッシュメモリなど）に制御プログラムとして記憶されており、同じく図示しないＣＰＵによって実行される。
【００７８】
まず、ステップＳ２０００では、画像毎に映像の復号化を開始する復号化開始処理を行う。具体的には、基本レイヤ入力部２１２で、基本レイヤの入力処理を開始し、拡張レイヤ合成入力部２２２で、拡張レイヤの入力処理を開始する。
【００７９】
そして、ステップＳ２１００では、基本レイヤを入力する基本レイヤ入力処理を行う。具体的には、基本レイヤ入力部２１２で、基本レイヤのストリームを１画面毎に取り出し、基本レイヤ復号化部２１４に出力する。
【００８０】
そして、ステップＳ２２００では、基本レイヤを復号化する基本レイヤ復号化処理を行う。具体的には、基本レイヤ復号化部２１４で、基本レイヤ入力部２１２から入力した基本レイヤのストリームに対して、ＶＬＤ・逆量子化・逆ＤＣＴ・動き補償処理等によりＭＰＥＧ復号化処理を行って基本レイヤ復号化画像を生成し、生成した基本レイヤ復号化画像を画像加算部２３０に出力する。
【００８１】
一方、ステップＳ２３００では、複数の拡張レイヤを合成して入力する拡張レイヤ合成入力処理を行う。具体的には、拡張レイヤ合成入力部２２２で、分割された拡張レイヤを先頭から１つに合成して行き、合成した拡張レイヤのストリームをビット平面ＶＬＤ部２２４に出力する。なお、分割された拡張レイヤの個数は、伝送帯域等の条件によって変わる。
【００８２】
そして、ステップＳ２４００では、ビット平面毎にＶＬＤ処理を行うビット平面ＶＬＤ処理を行う。具体的には、ビット平面ＶＬＤ部２２４で、拡張レイヤ合成入力部２２２から入力した拡張レイヤのビットストリームに対して可変長復号化（ＶＬＤ）処理を行って画面全体のＤＣＴ係数と段階的シフトマップを算出し、算出結果をビットシフト部２２６に出力する。
【００８３】
そして、ステップＳ２５００では、ＶＬＤ後のＤＣＴ係数に対してビットシフトを行うビットシフト処理を行う。具体的には、ビットシフト部２２６で、ビット平面ＶＬＤ部２２４から入力したＤＣＴ係数に対して、段階的シフトマップに示されるシフト値に従ってマクロブロック毎に下位ビット方向へビットシフトを行い、ビットシフト後のＤＣＴ係数を逆ＤＣＴ部２２８に出力する。
【００８４】
そして、ステップＳ２６００では、逆ＤＣＴ処理を行う。具体的には、逆ＤＣＴ部２２８で、ビットシフト部２２６から入力したＤＣＴ係数に対して逆ＤＣＴ処理を施して拡張レイヤの復号化画像を生成し、生成した拡張レイヤ復号化画像を画像加算部２３０に出力する。
【００８５】
そして、ステップＳ２７００では、基本レイヤの復号化画像と拡張レイヤの復号化画像を加算する画像加算処理を行う。具体的には、画像加算部２３０で、基本レイヤ復号化部２１４から入力した基本レイヤの復号化画像と逆ＤＣＴ部２２８から入力した拡張レイヤの復号化画像とを画素毎に加算して再構成画像を生成し、生成した再構成画像を再構成画像出力部２３２に出力する。そして、再構成画像出力部２３２では、画像加算部２３０から入力した再構成画像を外部に出力する。
【００８６】
そして、ステップＳ２８００では、終了判定処理を行う。具体的には、基本レイヤ入力部２１２において基本レイヤのストリームの入力が停止したか否かを判断する。この判断の結果として基本レイヤ入力部２１２において基本レイヤのストリームの入力が停止した場合は（Ｓ２８００：ＹＥＳ）、復号化終了と判定して、一連の復号化処理を終了するが、基本レイヤ入力部２１２において基本レイヤのストリームの入力が停止していない場合は（Ｓ２８００：ＮＯ）、ステップＳ２０００に戻る。すなわち、基本レイヤ入力部２１２において基本レイヤのストリームの入力が停止するまでステップＳ２０００〜ステップＳ２７００の一連の処理を繰り返す。
【００８７】
このように、本実施の形態によれば、映像符号化装置１００において、画面内の重要領域を自動検出する重要領域検出部１２２と、重要領域から周辺領域に向けて段階的にシフト値が小さくなる段階的シフトマップを生成する段階的シフトマップ生成部１２４と、段階的シフトマップに従ってＤＣＴ係数をビットシフトするビットシフト部１３０とを有するため、重要領域の高画質化に寄与するＤＣＴ係数を拡張レイヤの先頭部分に優先的に多く格納することができ、拡張レイヤのデータ量が少ない低帯域においても、重要領域を優先的に高画質化することができる。
【００８８】
また、本実施の形態によれば、重要領域から距離が近い領域ほど高画質化に寄与するＤＣＴ係数を拡張レイヤの先頭に近い部分に格納することができ、拡張レイヤのデータ量を増やして帯域を上げて行くほどより広い周辺領域の高画質化に寄与するＤＣＴ係数を拡張レイヤに含めることができるため、高画質化される領域を段階的に拡大して行くことが可能である。したがって、帯域が大きくなるにつれ、重要領域を中心とし画面全体に方向により大きく拡大した領域を高画質化することが可能である。
【００８９】
なお、本実施の形態では、基本レイヤの符号化・復号化にＭＰＥＧ方式を、拡張レイヤの符号化・復号化にＭＰＥＧ−４ ＦＧＳ方式をそれぞれ用いているが、これに限定されるわけではなく、ビット平面符号化を用いる方式であれば、他の符号化・復号化方式を用いることも可能である。
【００９０】
また、本実施の形態では、基本レイヤ・拡張レイヤの符号化と映像データの転送を非同期で行っているが、符号化と転送を同期させることにより、ライブ映像に対してユーザが指定する重要領域を優先符号化し、効率良く転送することが可能となる。
【００９１】
（実施の形態２）
本実施の形態では、低帯域においても基本レイヤの画質劣化が大きな部分でかつ重要領域を高画質化することができ、高帯域になるほど周辺領域も段階的に高画質化することができる動画像符号化方法を適用した映像符号化装置について説明する。
【００９２】
図１４は、本発明の実施の形態２に係る動画像符号化方法を適用した映像符号化装置の構成を示すブロック図である。なお、この映像符号化装置３００は、図１に示す映像符号化装置１００と同様の基本的構成を有しており、同一の構成要素には同一の符号を付し、その説明を省略する。
【００９３】
本実施の形態の特徴は、拡張レイヤエンコーダ１２０ａが後述する付加機能を有することである。すなわち、映像符号化装置３００は、図１に示す映像符号化装置１００と同様に、映像信号を基本レイヤと拡張レイヤに符号化し、重要領域情報から段階的シフトマップを生成する段階的シフトマップ生成部１２４ａと、入力画像と基本レイヤ復号化画像との差分画像を生成する差分画像生成部１２６ａとを有するが、差分画像生成部１２６ａによって生成された差分画像が段階的シフトマップ生成部１２４ａにも出力されるようになっている。
【００９４】
差分画像生成部１２６ａは、画像入力部１１２から入力された原画像に対して、基本レイヤ復号化部１１８から入力された復号化画像（再構成画像）との差分処理を画素毎に行って差分画像を生成し、生成した差分画像をＤＣＴ部１２８に加えて段階的シフトマップ生成部１２４ａにも出力する。
【００９５】
段階的シフトマップ生成部１２４ａは、重要領域検出部１２２から入力された領域の重心座標（ｃｘ，ｃｙ）と半径（ｒｘ，ｒｙ）の４つの情報と、差分画像生成部１２６ａから入力された差分画像とを用いて段階的なシフト値を持つ段階的シフトマップを生成する。
【００９６】
図１５は、段階的シフトマップ生成部１２４ａにおける段階的シフトマップ生成処理の手順の一例を示すフローチャートである。ここでは、図１５に示すように、ステップＳ１５４５を図６に示すフローチャートに挿入している。
【００９７】
ステップＳ１５１０〜ステップＳ１５４０は、図６に示すフローチャートの各ステップと同様であるため、その説明を省略する。
【００９８】
そして、ステップＳ１５４５では、ステップＳ１５１０〜ステップＳ１５４０の処理を経て算出された段階的シフトマップに対して、そのシフト値を差分画像を用いて更新する。すなわち、段階的シフトマップ生成部１２４ａでは、ステップＳ１５１０〜ステップＳ１５４０の処理を経て段階的シフトマップを算出し、その後、差分画像を用いて段階的シフトマップのシフト値を更新する。
【００９９】
図１６は、図１５の段階的シフトマップ更新処理の手順の一例を示すフローチャートである。この段階的シフトマップ更新処理は、図１６に示すように、差分絶対和算出処理（ステップＳ３０００）、優先マクロブロック算出処理（ステップＳ３１００）、およびシフトマップ更新処理（ステップＳ３２００）の３つの処理から構成されている。
【０１００】
まず、ステップＳ３０００では、差分絶対和算出処理を行う。具体的には、段階的シフトマップ生成部１２４ａで、差分画像生成部１２６ａから入力した差分画像を用いて、各マクロブロックｉに対してマクロブロック内の画素の絶対値の和ＳＵＭ（ｉ）を求める。差分絶対和の算出は、例えば、次の（式３）、
【数３】
を用いて行われる。ここで、ｉはマクロブロックの位置を示し、ＳＵＭ（ｉ）はマクロブロックｉ内の画素の絶対値の和を示し、ｊはマクロブロック内の画素の位置を示し、Ｎはマクロブロック内の総画素数を示し、ＤＩＦＦ（ｊ）は画素ｊの画素値を示している。
【０１０１】
そして、ステップＳ３１００では、優先マクロブロック算出処理を行う。具体的には、段階的シフトマップ生成部１２４ａで、まず、段階的シフトマップにおいて同一のシフト値shiftを持つ領域毎に差分絶対和ＳＵＭ（ｉ）の平均値ＡＶＲ（shift）を算出する。次に、段階的シフトマップにおいて同一のシフト値shiftを持つ領域毎に各マクロブロックｉの差分絶対和ＳＵＭ（ｉ）と平均値ＡＶＲ（shift）の比較を行う。そして、この比較の結果としてマクロブロックの差分絶対和ＳＵＭ（ｉ）が平均値ＡＶＲ（shift）よりも大きい場合は、当該マクロブロックを優先マクロブロックとする。
【０１０２】
ここで、平均値ＡＶＲ（shift）の算出は、例えば、次の（式４）、
【数４】
を用いて行われる。（式４）において、ＡＶＲ（shift）は段階的シフトマップにおいてシフト値が"shift"であるマクロブロックの差分絶対和の平均値を示し、Ｍは段階的シフトマップにおいてシフト値が"shift"であるマクロブロックの個数を示し，ＳＵＭ＿ｓｈｉｆｔ（ｋ）は段階的シフトマップにおいてシフト値が"shift"であるマクロブロックｋの差分絶対和を示している。
【０１０３】
また、優先マクロブロックの算出は、例えば、次の（式５）、
【数５】
を用いて行われる。ここで、ＭＢｉはマクロブロックｉを示している。
【０１０４】
なお、優先マクロブロックの算出方法は、（式５）に限定されるわけではなく、差分絶対和が大きいマクロブロックが優先マクロブロックとなりうる方法であれば、いかなる方法でもよい。
【０１０５】
そして、ステップＳ３２００では、シフトマップ更新処理を行う。具体的には、段階的シフトマップ生成部１２４ａで、ステップＳ３１００の優先マクロブロック算出処理で算出した優先マクロブロックに対して、段階的シフトマップに示されたシフト値に「１」を加えた後、図１５のフローチャートにリターンする。
【０１０６】
なお、シフトマップの更新方法は、優先マクロブロックのシフト値に「１」を加える方法に限定されるわけではなく、シフト値を大きくする方法であれば、いかなる方法でもよい。
【０１０７】
ステップＳ１５５０は、図６に示すフローチャートのステップと同様であるため、その説明を省略する。
【０１０８】
このように、段階的シフトマップ生成部１２４ａでは、段階的シフトマップ更新処理を行い、得られた段階的シフトマップをビットシフト部１３０に出力する。
【０１０９】
このように、本実施の形態によれば、段階的シフトマップ生成部１２４ａの段階的シフトマップ更新処理において、差分画像の絶対和が大きいマクロブロックほどシフト値をさらに大きくするため、基本レイヤにおいて画質劣化が大きいマクロブロックほど優先してビット平面ＶＬＣを行うことができ、低帯域において、重要領域の中でも特に画質劣化が大きな部分に対してさらに優先して高画質化を行うことができる。
【０１１０】
【発明の効果】
以上説明したように、本発明によれば、低帯域においても重要領域が高画質であり、帯域が高くなるほど周辺領域を段階的に高画質化することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１に係る動画像符号化方法を適用した映像符号化装置の構成を示すブロック図
【図２】本発明の実施の形態１に係る動画像符号化方法を適用した映像復号化装置の構成を示すブロック図
【図３】実施の形態１に対応する映像符号化装置の動作を示すフローチャート
【図４】図１の重要領域検出部における検出結果の一例を示す図
【図５】段階的シフトマップの一例を示す図
【図６】図３の段階的シフトマップ生成処理の手順の一例を示す図
【図７】（Ａ）ビットシフトの一例を示す図であって、特に段階的シフトマップを示す図
（Ｂ）ビットシフトの一例を示す図であって、特にＭＢ１のＤＣＴ係数を示す図
【図８】（Ｃ）ビットシフトの一例を示す図であって、特にシフト前のビット平面の概念図
（Ｄ）ビットシフトの一例を示す図であって、特にシフト後のビット平面の概念図
【図９】ビット平面ＶＬＣの概念図
【図１０】拡張レイヤビットストリームの構成図
【図１１】（Ａ）重要領域の検出結果の一例を示す図
（Ｂ）図１１（Ａ）の検出結果に対応する段階的シフトマップの一例を示す図
【図１２】図１１（Ａ）の検出結果に対応するビットシフト結果の一例を示す図
【図１３】実施の形態１に対応する映像復号化装置の動作を示すフローチャート
【図１４】本発明の実施の形態２に係る動画像符号化方法を適用した映像符号化装置の構成を示すブロック図
【図１５】図１４の段階的シフトマップ生成部における段階的シフトマップ生成処理の手順の一例を示すフローチャート
【図１６】図１５の段階的シフトマップ更新処理の手順の一例を示すフローチャート
【図１７】従来の映像符号化装置の構成の一例を示す図
【符号の説明】
１００、３００ 映像符号化装置
１１０ 基本レイヤエンコーダ
１１２ 画像入力部
１１４ 基本レイヤ符号化部
１１６ 基本レイヤ出力部
１１８、２１４ 基本レイヤ復号化部
１２０、１２０ａ 拡張レイヤエンコーダ
１２２ 重要領域検出部
１２４，１２４ａ 段階的シフトマップ生成部
１２６ 差分画像生成部
１２８ ＤＣＴ部
１３０、２２６ ビットシフト部
１３２ ビット平面ＶＬＣ部
１３４ 拡張レイヤ分割部
１４０ 基本レイヤ帯域設定部
１５０ 拡張レイヤ分割幅設定部
２００ 映像復号化装置
２１０ 基本レイヤデコーダ
２１２ 基本レイヤ入力部
２２０ 拡張レイヤデコーダ
２２２ 拡張レイヤ合成入力部
２２４ ビット平面ＶＬＤ部
２２８ 逆ＤＣＴ部
２３０ 画像加算部
２３２ 再構成画像出力部
【発明の属する技術分野】
本発明は、階層データ構造を持つ動画像符号化方法および動画像符号化装置に関し、特に低帯域においても画面中の重要領域に対して画質を高く保つことができる動画像符号化方法および動画像符号化装置に関する。
【０００２】
【従来の技術】
従来の映像伝送システムで伝送される映像データは、ある一定の伝送帯域で伝送できるように、通常、Ｈ.２６１方式やＭＰＥＧ（Moving Picture Experts Group）方式などによって一定帯域以下に圧縮符号化されており、一度符号化された映像データは伝送帯域が変わっても映像品質を変えることはできない。
【０００３】
しかしながら、近年のネットワークの多様化に伴い、伝送路の帯域変動が大きく、複数の帯域に見合った品質の映像を伝送可能な映像データが必要とされており、これに対応するために、階層構造を持ち複数帯域に対応できる階層符号化方式が規格化されている。このような階層符号化方式の中でも、とりわけ帯域選択に関して自由度が高い方式であるＭＰＥＧ−４ ＦＧＳ（ＩＳＯ／ＩＥＣ １４４９６−２ Ａｍｅｎｄｍｅｎｔ ４）が現在規格化されている。ＭＰＥＧ−４ ＦＧＳにより符号化された映像データは、単体で復号化が可能な動画像ストリームである一の基本レイヤと、基本レイヤの復号化動画像品質を向上させるための動画像ストリームである、少なくとも一以上の拡張レイヤとで構成される。基本レイヤは低帯域で低画質の映像データであり、これに拡張レイヤを帯域に応じて足し合わせることにより自由度の高い高画質化が可能である。
【０００４】
ＭＰＥＧ−４ ＦＧＳにおいては、割り当てる拡張レイヤの数を制御することにより、基本レイヤに足し合わせる拡張レイヤの総データサイズを任意サイズで分割できるという特徴を有するため、基本レイヤの帯域は固定とし、拡張レイヤの総データサイズを制御して伝送帯域に適応させることが可能である。例えば、受信可能な帯域に応じて、基本レイヤと複数の拡張レイヤとを選択して受信することにより、帯域に応じた品質の映像を受信することが可能である。また、拡張レイヤが伝送路で欠損しても低画質ではあるが基本レイヤのみで映像を再生することが可能である。
【０００５】
このように、ＭＰＥＧ−４ ＦＧＳは帯域が高くなるにつれ、大きなサイズの拡張レイヤまたは多数の拡張レイヤを基本レイヤに足していくことにより画面全体を滑らかに高画質化することが可能であるが、当然のことながら帯域が低い状況においては画面全体が低画質となってしまう。特に、ＭＰＥＧ−４ ＦＧＳの拡張レイヤは時間的に連続したフレーム間の相関を利用しないフレーム内符号化方式を用いているため、フレーム間の相関を利用するフレーム間符号化に比べて圧縮効率が低下してしまう。とりわけ低帯域ではユーザにとって重要な領域も低画質になってしまうという課題がある。
【０００６】
そこで、拡張レイヤの符号化効率を向上させるための従来技術では、拡張レイヤのビット平面ＶＬＣ（Variable Length Coding：可変長符号化）において、左上から右下へ順に符号化を行うのではなく、基本レイヤで用いた量子化値が大きいマクロブロックから順に符号化を行うようにしている（例えば、特許文献１参照）。
【０００７】
図１７は、従来の映像符号化装置の構成の一例を示す図である。この映像符号化装置１０は、映像入力部１２、基本レイヤ符号化部１４、基本レイヤ復号化部１６、基本レイヤ出力部１８、差分画像生成部２０、ＤＣＴ部２２、格納順序制御部２４、ビット平面ＶＬＣ部２６、および拡張レイヤ出力部２８を有する。
【０００８】
映像入力部１２は、入力した映像信号を１画面毎に基本レイヤ符号化部１４と差分画像生成部２０に出力する。基本レイヤ符号化部１４は、映像入力部１２から入力した映像信号に対して、動き補償・ＤＣＴ（Discrete Cosine Transform：離散コサイン変換）・量子化を用いたＭＰＥＧ符号化を行い、符号化データを基本レイヤ出力部１８と基本レイヤ復号化部１６に出力するとともに、１６×１６画素で構成されるマクロブロック（１６×１６画素で構成される正方格子状の画素集合）の量子化に用いた量子化値を格納順序制御部２４に出力する。基本レイヤ復号化部１６は、基本レイヤの符号化データに対して逆量子化・逆ＤＣＴ・動き補償を行って得られた復号化データを差分画像生成部２０に出力する。
【０００９】
差分画像生成部２０は、映像入力部１２から入力した非圧縮の映像信号と基本レイヤ復号化部１６から入力した基本レイヤ符号化・復号化後の復号化画像データとの間で差分処理を行って差分画像を生成し、差分画像をＤＣＴ部２２に出力する。ＤＣＴ部２２は、差分画像生成部２０から入力した差分画像全体に対して、８×８画素単位で順にＤＣＴ変換を行い、画像内の全ＤＣＴ係数を格納順序制御部２４に出力する。格納順序制御部２４は、ＤＣＴ部２２から入力した全ＤＣＴ係数に対してマクロブロック単位で並べ替えを行い、マクロブロックの格納順序情報を拡張レイヤ出力部２８に出力するとともに、並べ替えた全ＤＣＴ係数をビット平面ＶＬＣ部２６に出力する。
【００１０】
格納順序制御部２４におけるマクロブロックの並べ替えは、基本レイヤ符号化部１４から入力されるマクロブロック毎の量子化値を用いて行われ、量子化値が大きいマクロブロックから順に左上から右下に向かって格納される。ビット平面ＶＬＣ部２６は、格納順序制御部２４から入力した全画面のＤＣＴ係数に対して、各ＤＣＴ係数を２進数で表した後、各ビット位置に属するビットでビット平面を構成し、上位ビット平面から下位ビット平面の順でそれぞれ可変長符号化（ＶＬＣ）を行う。各ビット平面においては、左上のマクロブロックから右下へと可変長符号化（ＶＬＣ）を行い、上位ビット平面から順にビットストリームに先頭から並べて行き、拡張レイヤのビットストリームを生成し、拡張レイヤ出力部２８に出力する。ビット平面ＶＬＣ部２６によって生成された拡張レイヤのビットストリームは、上位ビット平面のデータが先頭に格納され、続いて順に下位ビット平面のデータが格納された構造となっており、各ビット平面においては量子化値の大きいマクロブロックのデータから先に格納されている。拡張レイヤ出力部２８は、マクロブロックの格納順序情報と拡張レイヤビットストリームを多重化して外部に出力する。
【００１１】
このように、映像符号化装置１０においては、各ビット平面においてマクロブロックの量子化値が大きいものから順にビット平面ＶＬＣ処理を行うことにより、各ビット平面において量子化誤差が大きいと予想されるマクロブロックから先に拡張レイヤとしてデータを格納して行くことが可能となる。したがって、基本レイヤにおいて画質劣化が大きい可能性の高い領域は、各ビット平面内で上位の拡張レイヤに格納されるため、同一ビット平面で比べると上位の拡張レイヤのみを使用するような低帯域において、画質劣化が大きい部分を先に高画質化することが可能となる。
【００１２】
【特許文献１】
特開２００１−２６８５６８号公報（段落[００２４]、図５）
【００１３】
【発明が解決しようとする課題】
しかしながら、従来の動画像符号化方法においては、ビット平面内でマクロブロックの格納順序を変える場合、各ビット平面の内部を見ると画質劣化が大きいマクロブロックから先に高画質化できるものの、ビット平面単位で比べるとマクロブロック毎の画質差は無い。すなわち、ビット平面毎に拡張レイヤを分割し、受信する状況では、何らメリットは無いものとなる。
【００１４】
特に低帯域においては、ユーザにとって重要な領域が優先的に高画質化されることが望ましく、重要領域以外の量子化値が大きい場合には重要領域よりもそれ以外の領域が優先して高画質化されてしまう。従来の方法では、量子化値を用いて符号化順序を変えており、低帯域において重要な領域を優先的に高画質化することはできない。たとえ、従来の方法を用いて重要な領域に対してビット平面内でのデータ格納順序を変えたとしても、限定された同一ビット平面における局所的な優先付けを行うことしかできない。
【００１５】
したがって、従来の映像符号化方法では、限られた同一ビット平面内ではなく、帯域が低い場合おいて重要領域を優先して高画質化することはできない。このため、低帯域において重要な領域ほど高画質である映像符号化方式が今日強く望まれている。
【００１６】
本発明は、かかる点に鑑みてなされたものであり、低帯域においても重要領域が高画質であり、帯域が高くなるほど周辺領域を段階的に高画質化することができる動画像符号化方法および動画像符号化装置を提供することを目的とする。
【００１７】
【課題を解決するための手段】
（１）本発明の動画像符号化方法は、動画像を一の基本レイヤと少なくとも一の拡張レイヤとに分割して符号化する動画像符号化方法であって、動画像の各領域の重要度を抽出する抽出ステップと、重要度が大きい領域から順に各領域の符号化データを拡張レイヤに割り当てる割り当てステップと、を有するようにした。
【００１８】
この方法によれば、伝送帯域が低帯域の受信端末であっても、重要度の高い領域を優先的に復号化できる動画像符号を伝送することができ、低帯域においても重要領域が高画質であり、帯域が高くなるほど周辺領域を段階的に高画質化することができる。
【００１９】
（２）本発明の動画像符号化方法は、上記の方法において、重要度が最も大きい領域を重要領域とし、当該重要領域から周辺に沿って重要度の値を小さくするようにした。
【００２０】
この方法によれば、ユーザにとって重要な情報をユーザにとって重要な情報ほど優先的に復号化してより効果的な符号化データを提供することができる。
【００２１】
（３）本発明の動画像符号化方法は、上記の方法において、重要度の抽出は、動画像中の顔領域または動体物を検出することにより行われるようにした。
【００２２】
この方法によれば、より効果的に重要度を設定することができる。
【００２３】
（４）本発明の動画像符号化方法は、上記の方法において、重要領域の内部において基本レイヤ復号化動画像と原動画像との差分値が大きい部分については、さらに重要度の値を大きくするようにした。
【００２４】
この方法によれば、重要領域の中でも、変化の激しい領域を優先的に拡張レイヤに格納することにより、重要領域の内部で基本レイヤでの画質劣化が大きい領域ほど優先的に高画質化することができ、より効果的な符号化データを提供することができる。
【００２５】
（５）本発明の動画像符号化方法は、上記の方法において、前記割り当てステップは、重要度に応じてシフト値を設定し、各領域の符号化データを対応するシフト値によってビットシフトすることにより、各領域の符号化データを拡張レイヤに割り当てる、ようにした。
【００２６】
この方法によれば、重要度に応じた優先度に従った拡張レイヤを形成することができる。
【００２７】
（６）本発明の動画像符号化方法は、上記の方法において、重要度が大きいほどシフト値を大きく設定するようにした。
【００２８】
この方法によれば、上位の拡張レイヤに重要度の大きいデータを格納することができ、復号化の際に重要度の大きい領域を優先的に高画質化することができる。
【００２９】
（７）本発明の動画像伝送方法は、上記いずれかに記載の動画像符号化方法を用いた動画の符号化および動画の転送を互いに同期させて行うようにした。
【００３０】
この方法によれば、動画の符号化と転送を効果的に同期させて行うことができる。
【００３１】
（８）本願発明の動画像符号化装置は、動画原画像を入力する画像入力部と、前記動画原画像から一の基本レイヤを抽出し符号化する基本レイヤ符号化部と、前記基本レイヤ符号化部によって符号化された基本レイヤを復号化して再構成する基本レイヤ復号化部と、前記基本レイヤ復号化部によって再構成された再構成画像と前記動画原画像との差分画像を生成する差分画像生成部と、前記動画原画像から重要領域を抽出する重要領域抽出部と、前記重要領域抽出部によって抽出された重要領域の重要度に応じて段階的にビットシフト値を設定する段階的シフトマップ生成部と、前記差分画像生成部によって生成された差分画像をＤＣＴ変換するＤＣＴ部と、前記ＤＣＴ部によって得られたＤＣＴ係数を、前記段階的シフトマップ生成部によって得られたビットシフト値によってビットシフトするビットシフト部と、前記ビットシフト部によってビットシフトされたビット平面ごとにＶＬＣ処理を行うビット平面ＶＬＣ部と、前記ビット平面ＶＬＣ部によってＶＬＣ処理された動画像ストリームを拡張レイヤとして少なくとも一以上に分割する拡張レイヤ分割部と、を有する構成を採る。
【００３２】
この構成によれば、伝送帯域が低帯域の受信端末であっても、重要度の高い領域を優先的に復号化できる動画像符号を伝送することができ、低帯域においても重要領域が高画質であり、帯域が高くなるほど周辺領域を段階的に高画質化することができる。
【００３３】
（９）本願発明の動画像符号化プログラムは、上記記載の動画像符号化方法をコンピュータに実行させるためのプログラムである。
【００３４】
このプログラムによれば、伝送帯域が低帯域の受信端末であっても、重要度の高い領域を優先的に復号化できる動画像符号を伝送することができ、低帯域においても重要領域が高画質であり、帯域が高くなるほど周辺領域を段階的に高画質化することができる。
【００３５】
【発明の実施の形態】
本発明の骨子は、重要領域から優先して拡張レイヤ符号化を行うことにより、例えば、端末の移動中において、帯域が下がった場合でも重要領域の品質を高く維持できるようにしたことである。
【００３６】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００３７】
（実施の形態１）
本実施の形態では、低帯域においても重要領域を優先的に高画質化することができ、かつ、高帯域になるほど周辺領域も段階的に高画質化することができる動画像符号化方法を適用した映像符号化装置および映像復号化装置について説明する。
【００３８】
図１は、本発明の実施の形態１に係る動画像符号化方法を適用した映像符号化装置の構成を示すブロック図である。
【００３９】
図１に示す映像符号化装置１００は、基本レイヤを生成する基本レイヤエンコーダ１１０と、拡張レイヤを生成する拡張レイヤエンコーダ１２０と、基本レイヤの帯域を設定する基本レイヤ帯域設定部１４０と、拡張レイヤの分割帯域幅を設定する拡張レイヤ分割幅設定部１５０とを有する。
【００４０】
基本レイヤエンコーダ１１０は、１画像毎に画像（原画像）を入力する画像入力部１１２と、基本レイヤの圧縮符号化を行う基本レイヤ符号化部１１４と、基本レイヤの出力を行う基本レイヤ出力部１１６と、基本レイヤの復号化を行う基本レイヤ復号化部１１８とを有する。
【００４１】
拡張レイヤエンコーダ１２０は、重要領域の検出を行う重要領域検出部１２２と、重要領域の情報から段階的シフトマップを生成する段階的シフトマップ生成部１２４と、入力画像と基本レイヤ復号化画像（再構成画像）との差分画像を生成する差分画像生成部１２６と、ＤＣＴ変換を行うＤＣＴ部１２８と、段階的シフトマップ生成部１２４から出力されるシフトマップに従ってＤＣＴ係数のビットシフトを行うビットシフト部１３０と、ＤＣＴ係数に対してビット平面毎に可変長符号化（ＶＬＣ）を行うビット平面ＶＬＣ部１３２と、ＶＬＣ符号化された拡張レイヤを拡張レイヤ分割幅設定部１５０から入力される分割幅でデータ分割処理を行う拡張レイヤ分割部１３４とを有する。
【００４２】
図２は、本発明の実施の形態１に係る動画像符号化方法を適用した映像復号化装置の構成を示すブロック図である。
【００４３】
図２に示す映像復号化装置２００は、基本レイヤを復号化する基本レイヤデコーダ２１０と、拡張レイヤを復号化する拡張レイヤデコーダ２２０とを有する。
【００４４】
基本レイヤデコーダ２１０は、基本レイヤを入力する基本レイヤ入力部２１２と、入力された基本レイヤの復号化処理を行う基本レイヤ復号化部２１４とを有する。
【００４５】
拡張レイヤデコーダ２２０は、分割された複数の拡張レイヤを合成して入力する拡張レイヤ合成入力部２２２と、拡張レイヤに対してビット平面ＶＬＤ（Variable Length Decoding：可変長復号化）処理を行うビット平面ＶＬＤ部２２４と、ビットシフトを行うビットシフト部２２６と、逆ＤＣＴ処理を行う逆ＤＣＴ部２２８と、基本レイヤ復号化画像と拡張レイヤ復号化画像を加算する画像加算部２３０と、再構成画像を出力する再構成画像出力部２３２とを有する。
【００４６】
次いで、上記構成を有する映像符号化装置１００の動作について、つまり、映像符号化装置１００における映像信号に対する処理の手順について、図３に示すフローチャートを用いて説明する。なお、図３に示すフローチャートは、映像符号化装置１００の図示しない記憶装置（例えば、ＲＯＭやフラッシュメモリなど）に制御プログラムとして記憶されており、同じく図示しないＣＰＵによって実行される。
【００４７】
まず、ステップＳ１０００では、映像信号を入力する映像入力処理を行う。具体的には、画像入力部１１２で、入力した映像信号から同期信号を検出して、映像信号を構成する原画像を１画面毎に基本レイヤ符号化部１１４、差分画像生成部１２６、および重要領域検出部１２２に出力する。なお、さらには、基本レイヤ帯域設定部１４０は、基本レイヤに対する帯域値を基本レイヤ符号化部１１４に出力し、拡張レイヤ分割幅設定部１５０は、拡張レイヤの分割サイズを拡張レイヤ分割部１３４に出力する。
【００４８】
そして、ステップＳ１１００では、映像信号を基本レイヤとして符号化／復号化する基本レイヤ符号化復号化処理を行う。具体的には、基本レイヤ符号化部１１４で、画像入力部１１２から入力された原画像に対して、基本レイヤ帯域設定部１４０から入力された帯域になるように、動き補償・ＤＣＴ・量子化・可変長符号化処理等を用いたＭＰＥＧ符号化を行って基本レイヤストリームを生成し、生成したストリームを基本レイヤ出力部１１６および基本レイヤ復号化部１１８に出力する。そして、基本レイヤ出力部１１６では、基本レイヤ符号化部１１４から入力した基本レイヤストリームを外部に出力する。また、基本レイヤ復号化部１１８では、基本レイヤ符号化部１１４から入力した基本レイヤストリームに対してＭＰＥＧ復号化を行って復号化画像（再構成画像）を生成し、生成した復号化画像を差分画像生成部１２６に出力する。
【００４９】
そして、ステップＳ１２００では、差分画像を算出する差分画像生成処理を行う。具体的には、差分画像生成部１２６で、画像入力部１１２から入力した原画像に対して、基本レイヤ復号化部１１８から入力した復号化画像との差分を画素毎に取る差分処理を行って、差分画像を生成し、生成した差分画像をＤＣＴ部１２８に出力する。
【００５０】
そして、ステップＳ１３００では、差分画像に対してＤＣＴ変換を行うＤＣＴ処理を行う。具体的には、ＤＣＴ部１２８で、差分画像生成部１２６から入力した差分画像に対して、画像全体について８×８画素単位で離散コサイン変換（ＤＣＴ）を施すことにより、画像全体のＤＣＴ係数を算出し、得られたＤＣＴ係数をビットシフト部１３０に出力する。
【００５１】
一方、ステップＳ１４００では、重要領域を検出する重要領域検出処理を行う。具体的には、重要領域検出部１２２で、画像入力部１１２から入力した１画面の画像データに対して、例えば、平均顔画像などの予め記憶されている画像データとの相関が高い領域を検出する。ここでは、例えば、相関の度合いに応じて、相対的に重要度の大小を決定する。そして、最も相関の高い領域（つまり、最も重要度が大きい領域）を重要領域として、その検出結果を段階的シフトマップ生成部１２４に出力する。
【００５２】
図４は、重要領域検出部１２２における検出結果の一例を示す図である。ここでは、例えば、検出結果として矩形領域を出力する場合は、重要領域の重心座標（ｃｘ，ｃｙ）と重心Ｇからの水平垂直方向の半径（ｒｘ，ｒｙ）の４つの値を出力するものとする。
【００５３】
なお、重要領域検出部１２２における検出結果の出力方法は、これに限定されるわけではなく、領域を指定できる方法であれば、いかなる出力方法でもよい。また、重要領域の検出方法は、画像との相関値を用いるものに限定されるわけではなく、領域検出を行うことができる手法であれば、いかなる方法でもよい。また、重要領域検出部１２２は、顔領域を検出する方法に限定されるわけではなく、ユーザにとって重要な領域を検出または指定できる方法であれば、いかなる方法でもよい。たとえば、重要領域の検出方法として、動画像中の顔領域以外に、これと共にまたは選択的に、動体物を検出することも可能である。これにより、より効率的に重要度を設定することができる。
【００５４】
そして、ステップＳ１５００では、段階的シフトマップを生成する段階的シフトマップ生成処理を行う。具体的には、段階的シフトマップ生成部１２４で、重要領域検出部１２２から入力した領域の重心座標（ｃｘ，ｃｙ）と半径（ｒｘ，ｒｙ）の４つの情報を用いて段階的なシフト値を持つ段階的シフトマップを生成し、生成した段階的シフトマップをビットシフト部１３０に出力する。段階的シフトマップは、画像を１６×１６正方画素のマクロブロック毎に１つの値を示したマップである。
【００５５】
図５は、段階的シフトマップの一例を示す図である。図５に示す段階的シフトマップ１６０は、画像をマクロブロック１６２に区切り、各マクロブロック１６２に１つのシフト値を有する。ここでは、図５に示すように、シフト値の段階数は「０」〜「４」の５段階とし、重要領域検出部１２２によって検出された検出領域１６４が最も大きいシフト値を持ち、周辺領域に向かうにつれてシフト値が小さくなるようになっている。
【００５６】
図６は、図３の段階的シフトマップ生成処理の手順の一例を示すフローチャートである。この段階的シフトマップ生成処理は、図６に示すように、最大シフト領域算出処理（ステップＳ１５１０）、領域拡大ステップ算出処理（ステップＳ１５２０）、領域拡大処理（ステップＳ１５３０）、およびシフト値設定処理（ステップＳ１５４０）の４つの処理から構成されている。
【００５７】
まず、ステップＳ１５１０では、最大シフト領域算出処理を行う。具体的には、段階的シフトマップ生成部１２４で、重要領域検出部１２２から入力した領域を包含するマクロブロックで構成されるマクロブロック領域を最大シフト領域１６６とし（図５参照）、この最大シフト領域１６６内のマクロブロック全部に対してシフト値の最大値を設定し、それ以外の領域に対しては「０」を設定する。図５に示す例では、シフト値を「０」〜「４」としているため、最大シフト領域１６６の内部は、最大値の「４」が示されている。なお、以下では、シフト値が「０」以外に設定されている領域を「非ゼロシフト領域」と呼ぶことにする。
【００５８】
そして、ステップＳ１５２０では、領域拡大ステップ算出処理を行う。具体的には、段階的シフトマップ生成部１２４で、特定の重要領域から周辺領域へ領域を拡大して小さいシフト値を設定する際に使用する領域拡大ステップを、重要領域検出部１２２から入力した重要領域の半径（ｒｘ，ｒｙ）を用いて算出する。領域拡大ステップの算出は、例えば、次の（式１）、（式２）、
【数１】
【００５９】
そして、ステップＳ１５３０では、領域拡大処理を行う。具体的には、段階的シフトマップ生成部１２４で、上記（式１）、（式２）により算出した領域の拡大ステップｄｘ，ｄｙを用いて、現在の非ゼロシフト領域に対して、重心Ｇを共通とし、左右にそれぞれｄｘ個マクロブロックの列を拡大し、上下にそれぞれｄｙ個マクロブロックの行を拡大する。ただし、このような拡大処理において、拡大後の領域が画面外に出る方向については、当該拡大処理を停止する。
【００６０】
そして、ステップＳ１５４０では、シフト値設定処理を行う。具体的には、段階的シフトマップ生成部１２４で、ステップＳ１５３０の領域拡大処理において拡大された部分の領域に対して、非ゼロシフト領域内の最小シフト値から「１」を減算した値を設定する。
【００６１】
そして、ステップＳ１５５０では、段階的シフトマップ生成処理を終了するか否かを判断する。具体的には、ステップＳ１５４０で設定されたシフト値が「０」であるか否かを判断する。この判断の結果としてステップＳ１５４０で設定されたシフト値が「０」である場合は（Ｓ１５５０：ＹＥＳ）、図３のフローチャートにリターンし、ステップＳ１５４０で設定されたシフト値が「０」でない場合は（Ｓ１５５０：ＮＯ）、ステップＳ１５３０に戻る。すなわち、ステップＳ１５４０で設定されたシフト値が「０」になるまでステップＳ１５３０（領域拡大処理）とステップＳ１５４０（シフト値設定処理）を繰り返して段階的シフトマップ生成処理を終了する。そして、得られた段階的シフトマップをビットシフト部１３０に出力する。
【００６２】
なお、段階的シフトマップの生成方法は、検出領域１６４の半径を用いて順次拡大する方法に限定されるわけではなく、重要領域から周辺領域に向けて段階的にシフト値が小さくなる傾向を有する生成方法であれば、いかなる方法でもよい。
【００６３】
そして、ステップＳ１６００では、ＤＣＴ係数に対してビットシフトを行うビットシフト処理を行う。具体的には、ビットシフト部１３０で、ＤＣＴ部１２８から入力したＤＣＴ係数に対して、段階的シフトマップ生成部１２４から入力した段階的シフトマップ内のシフト値によってマクロブロック毎にビットシフトを行う。例えば、シフト値が「４」であるマクロブロックに対しては、マクロブロック内のすべてのＤＣＴ係数をそれぞれ上位ビット方向に４ビットシフトする。
【００６４】
図７および図８は、ビットシフトの一例を示す図であって、図７（Ａ）は段階的シフトマップを示す図、図７（Ｂ）はＭＢ１のＤＣＴ係数を示す図、図８（Ｃ）はシフト前のビット平面の概念図、図８（Ｄ）はシフト後のビット平面の概念図である。
【００６５】
ここで、図７（Ａ）に示す段階的シフトマップは５×４個のマクロブロックに対するシフト値を持つ段階的シフトマップであり、ＭＢ１はマクロブロック１のシフト値、ＭＢ２はマクロブロック２のシフト値、ＭＢ３はマクロブロック３のシフト値をそれぞれ示している。図７（Ｂ）に示すＭＢ１のＤＣＴ係数は、マクロブロック１（ＭＢ１）に含まれるＤＣＴ係数を２進数で表記したものである。また、図８（Ｃ）に示すシフト前のビット平面概念図は、ＭＢ１〜ＭＢ３に含まれる全ＤＣＴ係数に対して、縦軸をビット平面とし、横軸をＤＣＴ係数の位置として並べて図式化したものである。図８（Ｄ）に示すシフト後のビット平面概念図は、図７（Ａ）の段階的シフトマップに示されたシフト値に基づいて、マクロブロック毎に上位方向へビットシフトを行った後のＤＣＴ係数を示している。
【００６６】
このように、ビットシフト処理では、ステップＳ１５００で生成した段階的シフトマップに従ってＤＣＴ係数をビットシフトした後、ビットシフト後のＤＣＴ係数をビット平面ＶＬＣ部１３２に出力する。
【００６７】
そして、ステップＳ１７００では、ビット平面毎にＶＬＣ処理を行うビット平面ＶＬＣ処理を行う。具体的には、ビット平面ＶＬＣ部１３２で、段階的シフトマップ生成部１２４から入力した段階的シフトマップを可変長符号化し、さらに、ビットシフト部１３０から入力したＤＣＴ係数に対して、ビット平面毎に可変長符号化を行う。
【００６８】
図９は、ビット平面ＶＬＣの概念図であって、図８（Ｄ）に示すシフト後のビット平面概念図に対応している。ただし、図９において、第１ビット平面は、画面内の全ＤＣＴ係数をビット平面順に並べた際に、最上位ビット（ＭＳＢ：Most Significant Bit）の位置に存在するビットを集めた平面であり、第２ビット平面は、ＭＳＢの次の上位ビット位置に存在するビットを集めた平面であり、第３ビット平面は、第２ビット平面の次の上位ビット位置に存在するビットを集めた平面であり、第Ｎビット平面は、最下位ビット（ＬＳＢ：Least Significant Bit）の位置に存在するビットを集めた平面である。
【００６９】
図１０は、拡張レイヤビットストリームの構成図である。図１０に示す拡張レイヤビットストリームは、各ビット平面を可変長符号化して生成したビットストリームを、第１ビット平面（ｂｐ１）、第２ビット平面（ｂｐ２）、…、第Ｎビット平面（ｂｐＮ）の順に格納した構成となっている。
【００７０】
ビット平面ＶＬＣ部１３２では、まず、全画像中で第１ビット平面に存在するビット列に対して可変長符号化を行い、生成したビットストリームを拡張レイヤの先頭位置に配置する（ｂｐ１）。次に、第２ビット平面に対して可変長符号化を行い、第１ビット平面のビットストリームに続く位置に配置する（ｂｐ２）。そして、同様の処理を繰り返し、最後に、第Ｎビット平面に対して可変長符号化を行い、ビットストリームの最後の位置に配置する（ｂｐＮ）。また、ビットシフトにより発生した下位ビットはすべて「０」として扱うものとする。このように、大きい値でビットシフトされたマクロブロックほど上位のビット平面にて可変長符号化され、拡張レイヤとなる動画像ストリーム内では先頭に近いところに格納されることになる。
【００７１】
このように、ビット平面ＶＬＣ処理では、ビット平面ＶＬＣを行って拡張レイヤとなる動画像ストリームを生成する。生成された動画像ストリームは、拡張レイヤ分割部１３４に出力される。
【００７２】
図１１（Ａ）は、重要領域の検出結果の一例を示す図、図１１（Ｂ）は、対応する段階的シフトマップの一例を示す図である。図１２は、対応するビットシフト結果の一例を示す図である。
【００７３】
ここで、図１１（Ｂ）に示す段階的シフトマップは、マクロブロック１６２毎にシフト値を持つマップの一例であり、重要領域１６４を含むマクロブロックには最も大きいシフト値「２」が設定され、周辺領域には、段階的にシフト値が小さくなり、「１」、「０」が設定されている。
【００７４】
図１２に示すビットシフト結果は、１画面全体のＤＣＴ係数を、ｘ軸、ｙ軸、ビット平面を軸とした３次元で表現したものであり、各マクロブロックに対して段階的シフトマップに示されたシフト値を用いてビットシフトを行った結果を示している。このビットシフト結果において、重要領域１６４が最も上位のビット平面に位置し、周辺領域が次のビット平面に位置しているため、上位ビット平面から行われる可変長符号化処理では、重要領域１６４から周辺領域に向けて順に可変長符号化され、拡張レイヤとなる動画像ストリーム内の先頭から格納されることになる。なお、図１２では、簡略化のため、画面内のＤＣＴ係数の上位ビットはすべて同一のビット平面に位置するものとして図示している。
【００７５】
そして、ステップＳ１８００では、拡張レイヤを複数に分割する拡張レイヤ分割処理を行う。具体的には、拡張レイヤ分割部１３４で、ビット平面ＶＬＣ部１３２から入力した拡張レイヤに対して、拡張レイヤ分割幅設定部１５０から入力した分割サイズを用いて先頭からデータ分割を行い、分割した複数の拡張レイヤを外部に出力する。分割された拡張レイヤは、伝送帯域に合わせて先頭部分から複数の部分を１つに合成して伝送することにより、映像データの帯域制御が可能である。
【００７６】
そして、ステップＳ１９００では、終了判定処理を行う。具体的には、画像入力部１１２において映像信号の入力が停止したか否かを判断する。この判断の結果として画像入力部１１２において映像信号の入力が停止した場合は（Ｓ１９００：ＹＥＳ）、符号化終了と判定して、一連の符号化処理を終了するが、画像入力部１１２において映像信号の入力が停止していない場合は（Ｓ１９００：ＮＯ）、ステップＳ１０００に戻る。すなわち、画像入力部１１２において映像信号の入力が停止するまでステップＳ１０００〜ステップＳ１８００の一連の処理を繰り返す。
【００７７】
次いで、上記構成を有する映像復号化装置２００の動作について、つまり、映像復号化装置２００におけるビットストリームに対する処理の手順について、図１３に示すフローチャートを用いて説明する。なお、図１３に示すフローチャートは、映像復号化装置２００の図示しない記憶装置（例えば、ＲＯＭやフラッシュメモリなど）に制御プログラムとして記憶されており、同じく図示しないＣＰＵによって実行される。
【００７８】
まず、ステップＳ２０００では、画像毎に映像の復号化を開始する復号化開始処理を行う。具体的には、基本レイヤ入力部２１２で、基本レイヤの入力処理を開始し、拡張レイヤ合成入力部２２２で、拡張レイヤの入力処理を開始する。
【００７９】
そして、ステップＳ２１００では、基本レイヤを入力する基本レイヤ入力処理を行う。具体的には、基本レイヤ入力部２１２で、基本レイヤのストリームを１画面毎に取り出し、基本レイヤ復号化部２１４に出力する。
【００８０】
そして、ステップＳ２２００では、基本レイヤを復号化する基本レイヤ復号化処理を行う。具体的には、基本レイヤ復号化部２１４で、基本レイヤ入力部２１２から入力した基本レイヤのストリームに対して、ＶＬＤ・逆量子化・逆ＤＣＴ・動き補償処理等によりＭＰＥＧ復号化処理を行って基本レイヤ復号化画像を生成し、生成した基本レイヤ復号化画像を画像加算部２３０に出力する。
【００８１】
一方、ステップＳ２３００では、複数の拡張レイヤを合成して入力する拡張レイヤ合成入力処理を行う。具体的には、拡張レイヤ合成入力部２２２で、分割された拡張レイヤを先頭から１つに合成して行き、合成した拡張レイヤのストリームをビット平面ＶＬＤ部２２４に出力する。なお、分割された拡張レイヤの個数は、伝送帯域等の条件によって変わる。
【００８２】
そして、ステップＳ２４００では、ビット平面毎にＶＬＤ処理を行うビット平面ＶＬＤ処理を行う。具体的には、ビット平面ＶＬＤ部２２４で、拡張レイヤ合成入力部２２２から入力した拡張レイヤのビットストリームに対して可変長復号化（ＶＬＤ）処理を行って画面全体のＤＣＴ係数と段階的シフトマップを算出し、算出結果をビットシフト部２２６に出力する。
【００８３】
そして、ステップＳ２５００では、ＶＬＤ後のＤＣＴ係数に対してビットシフトを行うビットシフト処理を行う。具体的には、ビットシフト部２２６で、ビット平面ＶＬＤ部２２４から入力したＤＣＴ係数に対して、段階的シフトマップに示されるシフト値に従ってマクロブロック毎に下位ビット方向へビットシフトを行い、ビットシフト後のＤＣＴ係数を逆ＤＣＴ部２２８に出力する。
【００８４】
そして、ステップＳ２６００では、逆ＤＣＴ処理を行う。具体的には、逆ＤＣＴ部２２８で、ビットシフト部２２６から入力したＤＣＴ係数に対して逆ＤＣＴ処理を施して拡張レイヤの復号化画像を生成し、生成した拡張レイヤ復号化画像を画像加算部２３０に出力する。
【００８５】
そして、ステップＳ２７００では、基本レイヤの復号化画像と拡張レイヤの復号化画像を加算する画像加算処理を行う。具体的には、画像加算部２３０で、基本レイヤ復号化部２１４から入力した基本レイヤの復号化画像と逆ＤＣＴ部２２８から入力した拡張レイヤの復号化画像とを画素毎に加算して再構成画像を生成し、生成した再構成画像を再構成画像出力部２３２に出力する。そして、再構成画像出力部２３２では、画像加算部２３０から入力した再構成画像を外部に出力する。
【００８６】
そして、ステップＳ２８００では、終了判定処理を行う。具体的には、基本レイヤ入力部２１２において基本レイヤのストリームの入力が停止したか否かを判断する。この判断の結果として基本レイヤ入力部２１２において基本レイヤのストリームの入力が停止した場合は（Ｓ２８００：ＹＥＳ）、復号化終了と判定して、一連の復号化処理を終了するが、基本レイヤ入力部２１２において基本レイヤのストリームの入力が停止していない場合は（Ｓ２８００：ＮＯ）、ステップＳ２０００に戻る。すなわち、基本レイヤ入力部２１２において基本レイヤのストリームの入力が停止するまでステップＳ２０００〜ステップＳ２７００の一連の処理を繰り返す。
【００８７】
このように、本実施の形態によれば、映像符号化装置１００において、画面内の重要領域を自動検出する重要領域検出部１２２と、重要領域から周辺領域に向けて段階的にシフト値が小さくなる段階的シフトマップを生成する段階的シフトマップ生成部１２４と、段階的シフトマップに従ってＤＣＴ係数をビットシフトするビットシフト部１３０とを有するため、重要領域の高画質化に寄与するＤＣＴ係数を拡張レイヤの先頭部分に優先的に多く格納することができ、拡張レイヤのデータ量が少ない低帯域においても、重要領域を優先的に高画質化することができる。
【００８８】
また、本実施の形態によれば、重要領域から距離が近い領域ほど高画質化に寄与するＤＣＴ係数を拡張レイヤの先頭に近い部分に格納することができ、拡張レイヤのデータ量を増やして帯域を上げて行くほどより広い周辺領域の高画質化に寄与するＤＣＴ係数を拡張レイヤに含めることができるため、高画質化される領域を段階的に拡大して行くことが可能である。したがって、帯域が大きくなるにつれ、重要領域を中心とし画面全体に方向により大きく拡大した領域を高画質化することが可能である。
【００８９】
なお、本実施の形態では、基本レイヤの符号化・復号化にＭＰＥＧ方式を、拡張レイヤの符号化・復号化にＭＰＥＧ−４ ＦＧＳ方式をそれぞれ用いているが、これに限定されるわけではなく、ビット平面符号化を用いる方式であれば、他の符号化・復号化方式を用いることも可能である。
【００９０】
また、本実施の形態では、基本レイヤ・拡張レイヤの符号化と映像データの転送を非同期で行っているが、符号化と転送を同期させることにより、ライブ映像に対してユーザが指定する重要領域を優先符号化し、効率良く転送することが可能となる。
【００９１】
（実施の形態２）
本実施の形態では、低帯域においても基本レイヤの画質劣化が大きな部分でかつ重要領域を高画質化することができ、高帯域になるほど周辺領域も段階的に高画質化することができる動画像符号化方法を適用した映像符号化装置について説明する。
【００９２】
図１４は、本発明の実施の形態２に係る動画像符号化方法を適用した映像符号化装置の構成を示すブロック図である。なお、この映像符号化装置３００は、図１に示す映像符号化装置１００と同様の基本的構成を有しており、同一の構成要素には同一の符号を付し、その説明を省略する。
【００９３】
本実施の形態の特徴は、拡張レイヤエンコーダ１２０ａが後述する付加機能を有することである。すなわち、映像符号化装置３００は、図１に示す映像符号化装置１００と同様に、映像信号を基本レイヤと拡張レイヤに符号化し、重要領域情報から段階的シフトマップを生成する段階的シフトマップ生成部１２４ａと、入力画像と基本レイヤ復号化画像との差分画像を生成する差分画像生成部１２６ａとを有するが、差分画像生成部１２６ａによって生成された差分画像が段階的シフトマップ生成部１２４ａにも出力されるようになっている。
【００９４】
差分画像生成部１２６ａは、画像入力部１１２から入力された原画像に対して、基本レイヤ復号化部１１８から入力された復号化画像（再構成画像）との差分処理を画素毎に行って差分画像を生成し、生成した差分画像をＤＣＴ部１２８に加えて段階的シフトマップ生成部１２４ａにも出力する。
【００９５】
段階的シフトマップ生成部１２４ａは、重要領域検出部１２２から入力された領域の重心座標（ｃｘ，ｃｙ）と半径（ｒｘ，ｒｙ）の４つの情報と、差分画像生成部１２６ａから入力された差分画像とを用いて段階的なシフト値を持つ段階的シフトマップを生成する。
【００９６】
図１５は、段階的シフトマップ生成部１２４ａにおける段階的シフトマップ生成処理の手順の一例を示すフローチャートである。ここでは、図１５に示すように、ステップＳ１５４５を図６に示すフローチャートに挿入している。
【００９７】
ステップＳ１５１０〜ステップＳ１５４０は、図６に示すフローチャートの各ステップと同様であるため、その説明を省略する。
【００９８】
そして、ステップＳ１５４５では、ステップＳ１５１０〜ステップＳ１５４０の処理を経て算出された段階的シフトマップに対して、そのシフト値を差分画像を用いて更新する。すなわち、段階的シフトマップ生成部１２４ａでは、ステップＳ１５１０〜ステップＳ１５４０の処理を経て段階的シフトマップを算出し、その後、差分画像を用いて段階的シフトマップのシフト値を更新する。
【００９９】
図１６は、図１５の段階的シフトマップ更新処理の手順の一例を示すフローチャートである。この段階的シフトマップ更新処理は、図１６に示すように、差分絶対和算出処理（ステップＳ３０００）、優先マクロブロック算出処理（ステップＳ３１００）、およびシフトマップ更新処理（ステップＳ３２００）の３つの処理から構成されている。
【０１００】
まず、ステップＳ３０００では、差分絶対和算出処理を行う。具体的には、段階的シフトマップ生成部１２４ａで、差分画像生成部１２６ａから入力した差分画像を用いて、各マクロブロックｉに対してマクロブロック内の画素の絶対値の和ＳＵＭ（ｉ）を求める。差分絶対和の算出は、例えば、次の（式３）、
【数３】
【０１０１】
そして、ステップＳ３１００では、優先マクロブロック算出処理を行う。具体的には、段階的シフトマップ生成部１２４ａで、まず、段階的シフトマップにおいて同一のシフト値shiftを持つ領域毎に差分絶対和ＳＵＭ（ｉ）の平均値ＡＶＲ（shift）を算出する。次に、段階的シフトマップにおいて同一のシフト値shiftを持つ領域毎に各マクロブロックｉの差分絶対和ＳＵＭ（ｉ）と平均値ＡＶＲ（shift）の比較を行う。そして、この比較の結果としてマクロブロックの差分絶対和ＳＵＭ（ｉ）が平均値ＡＶＲ（shift）よりも大きい場合は、当該マクロブロックを優先マクロブロックとする。
【０１０２】
ここで、平均値ＡＶＲ（shift）の算出は、例えば、次の（式４）、
【数４】
【０１０３】
また、優先マクロブロックの算出は、例えば、次の（式５）、
【数５】
【０１０４】
なお、優先マクロブロックの算出方法は、（式５）に限定されるわけではなく、差分絶対和が大きいマクロブロックが優先マクロブロックとなりうる方法であれば、いかなる方法でもよい。
【０１０５】
そして、ステップＳ３２００では、シフトマップ更新処理を行う。具体的には、段階的シフトマップ生成部１２４ａで、ステップＳ３１００の優先マクロブロック算出処理で算出した優先マクロブロックに対して、段階的シフトマップに示されたシフト値に「１」を加えた後、図１５のフローチャートにリターンする。
【０１０６】
なお、シフトマップの更新方法は、優先マクロブロックのシフト値に「１」を加える方法に限定されるわけではなく、シフト値を大きくする方法であれば、いかなる方法でもよい。
【０１０７】
ステップＳ１５５０は、図６に示すフローチャートのステップと同様であるため、その説明を省略する。
【０１０８】
このように、段階的シフトマップ生成部１２４ａでは、段階的シフトマップ更新処理を行い、得られた段階的シフトマップをビットシフト部１３０に出力する。
【０１０９】
このように、本実施の形態によれば、段階的シフトマップ生成部１２４ａの段階的シフトマップ更新処理において、差分画像の絶対和が大きいマクロブロックほどシフト値をさらに大きくするため、基本レイヤにおいて画質劣化が大きいマクロブロックほど優先してビット平面ＶＬＣを行うことができ、低帯域において、重要領域の中でも特に画質劣化が大きな部分に対してさらに優先して高画質化を行うことができる。
【０１１０】
【発明の効果】
以上説明したように、本発明によれば、低帯域においても重要領域が高画質であり、帯域が高くなるほど周辺領域を段階的に高画質化することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１に係る動画像符号化方法を適用した映像符号化装置の構成を示すブロック図
【図２】本発明の実施の形態１に係る動画像符号化方法を適用した映像復号化装置の構成を示すブロック図
【図３】実施の形態１に対応する映像符号化装置の動作を示すフローチャート
【図４】図１の重要領域検出部における検出結果の一例を示す図
【図５】段階的シフトマップの一例を示す図
【図６】図３の段階的シフトマップ生成処理の手順の一例を示す図
【図７】（Ａ）ビットシフトの一例を示す図であって、特に段階的シフトマップを示す図
（Ｂ）ビットシフトの一例を示す図であって、特にＭＢ１のＤＣＴ係数を示す図
【図８】（Ｃ）ビットシフトの一例を示す図であって、特にシフト前のビット平面の概念図
（Ｄ）ビットシフトの一例を示す図であって、特にシフト後のビット平面の概念図
【図９】ビット平面ＶＬＣの概念図
【図１０】拡張レイヤビットストリームの構成図
【図１１】（Ａ）重要領域の検出結果の一例を示す図
（Ｂ）図１１（Ａ）の検出結果に対応する段階的シフトマップの一例を示す図
【図１２】図１１（Ａ）の検出結果に対応するビットシフト結果の一例を示す図
【図１３】実施の形態１に対応する映像復号化装置の動作を示すフローチャート
【図１４】本発明の実施の形態２に係る動画像符号化方法を適用した映像符号化装置の構成を示すブロック図
【図１５】図１４の段階的シフトマップ生成部における段階的シフトマップ生成処理の手順の一例を示すフローチャート
【図１６】図１５の段階的シフトマップ更新処理の手順の一例を示すフローチャート
【図１７】従来の映像符号化装置の構成の一例を示す図
【符号の説明】
１００、３００ 映像符号化装置
１１０ 基本レイヤエンコーダ
１１２ 画像入力部
１１４ 基本レイヤ符号化部
１１６ 基本レイヤ出力部
１１８、２１４ 基本レイヤ復号化部
１２０、１２０ａ 拡張レイヤエンコーダ
１２２ 重要領域検出部
１２４，１２４ａ 段階的シフトマップ生成部
１２６ 差分画像生成部
１２８ ＤＣＴ部
１３０、２２６ ビットシフト部
１３２ ビット平面ＶＬＣ部
１３４ 拡張レイヤ分割部
１４０ 基本レイヤ帯域設定部
１５０ 拡張レイヤ分割幅設定部
２００ 映像復号化装置
２１０ 基本レイヤデコーダ
２１２ 基本レイヤ入力部
２２０ 拡張レイヤデコーダ
２２２ 拡張レイヤ合成入力部
２２４ ビット平面ＶＬＤ部
２２８ 逆ＤＣＴ部
２３０ 画像加算部
２３２ 再構成画像出力部
Claims (6)
- 動画像を一の基本レイヤと少なくとも一の拡張レイヤとに分割して符号化する動画像符号化方法であって、
動画像中の顔領域または動体物を検出することにより動画像の各領域の重要度を決定する決定ステップと、
重要度が最も大きい領域を重要領域とし、当該重要領域から周辺に沿って重要度の値を小さくし、重要領域の内部において基本レイヤ復号化動画像と原動画像との差分値が大きい部分については、さらに重要度の値を大きくし、重要度が大きい領域から順に各領域の符号化データを拡張レイヤに割り当てる割り当てステップと、
を有することを特徴とする動画像符号化方法。 - 前記割り当てステップは、
重要度に応じてシフト値を設定し、
各領域の符号化データを対応するシフト値によってビットシフトすることにより、各領域の符号化データを拡張レイヤに割り当てる、
ことを特徴とする請求項１記載の動画像符号化方法。 - 重要度が大きいほどシフト値を大きく設定することを特徴とする請求項２記載の動画像符号化方法。
- 請求項１から請求項３のいずれかに記載の動画像符号化方法を用いた符号化装置による動画の符号化および符号化装置から受信端末への符号化された動画の転送を互いに同期させて行うことを特徴とする動画像伝送方法。
- 動画原画像を入力する画像入力部と、
前記動画原画像から一の基本レイヤを抽出し符号化する基本レイヤ符号化部と、
前記基本レイヤ符号化部によって符号化された基本レイヤを復号化して再構成する基本レイヤ復号化部と、
前記基本レイヤ復号化部によって再構成された再構成画像と前記動画原画像との差分画像を生成する差分画像生成部と、
動画像中の顔領域または動体物を検出することにより前記動画原画像から重要度が最も大きい重要領域を抽出する重要領域抽出部と、
重要度が最も大きい領域を重要領域とし、当該重要領域から周辺に沿って重要度の値を小さくし、重要領域の内部において再構成画像と原動画像との差分値が大きい部分については、さらに重要度の値を大きくし、前記重要領域の重要度の値に応じて段階的にビットシフト値を設定する段階的シフトマップ生成部と、
前記差分画像生成部によって生成された差分画像をＤＣＴ変換するＤＣＴ部と、
前記ＤＣＴ部によって得られたＤＣＴ係数を、前記段階的シフトマップ生成部によって得られたビットシフト値によってビットシフトするビットシフト部と、
前記ビットシフト部によってビットシフトされたビット平面ごとにＶＬＣ処理を行うビット平面ＶＬＣ部と、
前記ビット平面ＶＬＣ部によってＶＬＣ処理された動画像ストリームを拡張レイヤとして少なくとも一以上に分割する拡張レイヤ分割部と、
を有する動画像符号化装置。 - 請求項１記載の動画像符号化方法をコンピュータに実行させるための動画像符号化プログラム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002295620A JP4146701B2 (ja) | 2002-10-09 | 2002-10-09 | 動画像符号化方法および動画像符号化装置 |
| US10/679,482 US20040105591A1 (en) | 2002-10-09 | 2003-10-07 | Method and apparatus for moving picture coding |
| CNB2003101196247A CN1221140C (zh) | 2002-10-09 | 2003-10-09 | 图像编码方法和图像编码装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002295620A JP4146701B2 (ja) | 2002-10-09 | 2002-10-09 | 動画像符号化方法および動画像符号化装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004134914A JP2004134914A (ja) | 2004-04-30 |
| JP4146701B2 true JP4146701B2 (ja) | 2008-09-10 |
Family
ID=32285804
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002295620A Expired - Fee Related JP4146701B2 (ja) | 2002-10-09 | 2002-10-09 | 動画像符号化方法および動画像符号化装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20040105591A1 (ja) |
| JP (1) | JP4146701B2 (ja) |
| CN (1) | CN1221140C (ja) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004343451A (ja) * | 2003-05-15 | 2004-12-02 | Matsushita Electric Ind Co Ltd | 動画像復号化方法および動画像復号化装置 |
| JP2005142654A (ja) * | 2003-11-04 | 2005-06-02 | Matsushita Electric Ind Co Ltd | 映像送信装置および映像受信装置 |
| WO2006016782A1 (en) * | 2004-08-13 | 2006-02-16 | Industry Academic Cooperation Foundation Kyunghee University | Method and apparatus to encode image, and method and apparatus to decode image data |
| JP2006165809A (ja) | 2004-12-03 | 2006-06-22 | Toshiba Corp | 情報処理装置 |
| JP4641892B2 (ja) * | 2005-07-27 | 2011-03-02 | パナソニック株式会社 | 動画像符号化装置、方法、及びプログラム |
| US20100183033A1 (en) * | 2009-01-20 | 2010-07-22 | Nokia Corporation | Method and apparatus for encapsulation of scalable media |
| JP2011109398A (ja) * | 2009-11-17 | 2011-06-02 | Sony Corp | 画像送信方法、画像受信方法、画像送信装置、画像受信装置及び画像伝送システム |
| WO2012039404A1 (ja) * | 2010-09-24 | 2012-03-29 | 株式会社Gnzo | 映像ビットストリームの伝送システム |
| CN113395521A (zh) * | 2020-03-13 | 2021-09-14 | 华为技术有限公司 | 图像编码和解码方法及装置 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6263022B1 (en) * | 1999-07-06 | 2001-07-17 | Philips Electronics North America Corp. | System and method for fine granular scalable video with selective quality enhancement |
| US7245663B2 (en) * | 1999-07-06 | 2007-07-17 | Koninklijke Philips Electronis N.V. | Method and apparatus for improved efficiency in transmission of fine granular scalable selective enhanced images |
| US6480547B1 (en) * | 1999-10-15 | 2002-11-12 | Koninklijke Philips Electronics N.V. | System and method for encoding and decoding the residual signal for fine granular scalable video |
| US6792044B2 (en) * | 2001-05-16 | 2004-09-14 | Koninklijke Philips Electronics N.V. | Method of and system for activity-based frequency weighting for FGS enhancement layers |
-
2002
- 2002-10-09 JP JP2002295620A patent/JP4146701B2/ja not_active Expired - Fee Related
-
2003
- 2003-10-07 US US10/679,482 patent/US20040105591A1/en not_active Abandoned
- 2003-10-09 CN CNB2003101196247A patent/CN1221140C/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN1221140C (zh) | 2005-09-28 |
| JP2004134914A (ja) | 2004-04-30 |
| CN1497983A (zh) | 2004-05-19 |
| US20040105591A1 (en) | 2004-06-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6031575A (en) | Method and apparatus for encoding an image signal, method and apparatus for decoding an image signal, and recording medium | |
| US8090025B2 (en) | Moving-picture coding apparatus, method and program, and moving-picture decoding apparatus, method and program | |
| US20040136457A1 (en) | Method and system for supercompression of compressed digital video | |
| JP5335912B2 (ja) | 画像符号化装置、画像符号化方法、及び画像符号化プログラム | |
| WO2013108684A1 (ja) | 動画像復号装置、動画像符号化装置、動画像復号方法及び動画像符号化方法 | |
| JPWO2010137323A1 (ja) | 映像符号化装置、映像復号装置、映像符号化方法、および映像復号方法 | |
| JP2002199402A (ja) | 離散コサイン変換コード化された信号を符号変換するシステムおよびそれに関連する方法 | |
| JPWO2009051010A1 (ja) | 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法 | |
| JP2006287315A (ja) | 画像符号化方法および装置、画像復号方法 | |
| CN1922884A (zh) | 视频解码方法 | |
| WO2003007619A1 (en) | Method and device for generating a scalable coded video signal from a non-scalable coded video signal | |
| JP4146701B2 (ja) | 動画像符号化方法および動画像符号化装置 | |
| JP7357736B2 (ja) | 符号化装置、復号装置、及びプログラム | |
| CN110650337B (zh) | 一种图像编码方法、解码方法、编码器、解码器及存储介质 | |
| JP2006191253A (ja) | レート変換方法及びレート変換装置 | |
| JP2008004984A (ja) | 画像理装置および方法、プログラム、並びに記録媒体 | |
| JP3948266B2 (ja) | 動画像符号化装置、符号化方法、復号化装置、復号化方法及び動画像符号列伝送方法 | |
| KR101236405B1 (ko) | 이미지 인코딩 방법 및 이와 연관된 이미지 디코딩 방법,인코딩 장치, 및 디코딩 장치 | |
| JP2000312362A (ja) | 画像符号化方式変換装置、画像符号化方式変換方法および記録媒体 | |
| JP3643777B2 (ja) | 動画像復号装置および動画像復号方法 | |
| JP4956527B2 (ja) | 量子化誤差を低減する方法および装置 | |
| JP2004056616A (ja) | 符号化信号復号装置、符号化信号復号方法および符号化信号復号プログラム | |
| WO2006046334A1 (ja) | 映像符号化装置、映像復号化装置、映像符号化方法及び映像復号化方法 | |
| JP5917117B2 (ja) | 画像符号化装置及び画像符号化方法 | |
| JP4561688B2 (ja) | 動画像符号化装置、動画像符号化プログラム、動画像復号化装置、及び動画像復号化プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050714 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070409 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070417 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070607 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080527 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080620 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110627 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |