JP3570863B2

JP3570863B2 - 動画像復号化装置および動画像復号化方法

Info

Publication number: JP3570863B2
Application number: JP21027897A
Authority: JP
Inventors: 芳美井須; 俊一関口; 光太郎浅井
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 1997-08-05
Filing date: 1997-08-05
Publication date: 2004-09-29
Anticipated expiration: 2017-08-05
Also published as: US6301301B1; JPH1155672A

Description

【０００１】
【発明の属する技術分野】
本発明は、動画像を復号化する技術に関する。特に、対象物の動きを予測して符号化された動画像の復号化に関する。
【０００２】
【従来の技術】
図２３は、第一の従来技術である、ＩＴＵ−Ｔの勧告Ｈ．２６３に基づく動画像符号化装置の構成を示すブロック図である。同図において、１は入力画像、１０１は差分器、１０２は予測信号、１０３は予測誤差信号、１０４は符号化部、１０５は符号化データ、１０６は復号部、１０７は復号された予測誤差信号、１０８は加算器、１０９は局所復号画像信号、１１０はメモリ、１１１は予測部、１１２は動きベクトル、をそれぞれ表す。
【０００３】
まず符号化すべき入力画像１は、差分器１０１に入力される。差分器１０１は、この入力画像１と後述する予測信号１０２との差分をとり、それを予測誤差信号１０３として出力する。符号化部１０４は、入力画像１または予測誤差信号１０３を符号化して符号化データ１０５を出力する。符号化部１０４における符号化の方法としては、予測誤差信号１０３を直交変換の一種であるＤＣＴ（ＤｉｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｎｓｆｏｒｍａｔｉｏｎ：離散コサイン変換）を用いて空間領域から周波数領域に変換し、ＤＣＴによって得られた変換係数を線形量子化する手法が採用されている。
【０００４】
前記符号化部１０４で得られた符号化データ１０５は２つに分岐され、一方は図示しない受信側復号化装置に向けて送出され、他方は本装置内の復号部１０６に入力される。復号部１０６は、符号化部１０４と逆の動作を行い、符号化データより復号予測誤差信号１０７を求めて出力する。加算器１０８は、復号予測誤差信号１０７を予測信号１０２に加算することにより復号画像信号１０９を求め、出力する。予測部１１１は、符号化すべき入力画像１とメモリ１１０に蓄えられた１フレーム前の復号画像信号１０９とを用いて動き補償予測を行い、予測信号１２３と動きベクトル１１２を出力する。このとき動き補償はマクロブロックと呼ばれる１６×１６画素からなる固定サイズのブロック単位で行われる。さらに動きの激しい領域に位置するブロックに対しては、オプショナルな機能として、マクロブロックを４分割した８×８画素のサブブロック単位で動き補償予測を行う機能がある。このようにして求められた動きベクトル１１２は図示しない受信側復号化装置に向かって送出され、予測信号１０２は前記差分器１０１および加算器１０８に送られる。
【０００５】
図２４は第二の従来技術に係わる動画像符号化装置の構成図である。この装置は、Ｌ．Ｃ．ＲｅａｌらによるＡＶｅｒｙＬｏｗＢｉｔＲａｔｅＶｉｄｅｏＣｏｄｅｒＢａｓｅｄｏｎＶｅｃｔｏｒＱｕａｎｔｉｚａｔｉｏｎ（ＩＥＥＥＴｒａｎｓ．ｏｎＩｍａｇｅＰｒｏｃｅｓｓｉｎｇ，ＶＯＬ．５，ＮＯ．２，Ｆｅｂ．１９９６）で提案された符号化方式に基づく。同図において、１１３は領域分割部、１１４は予測部、１１５は領域決定部、１１６は符号化モード情報、１１７は動きベクトル、１１８は符号化部、１１９は符号化データ、をそれぞれ表す。
【０００６】
図２４のように、本方式では、入力画像１をまず領域分割部１１３において複数の領域に分割する。領域分割部１１３では、動き補償予測誤差に基づいた領域形状の決定を行っており、あらかじめ用意した１０種類のブロックサイズ４×４，４×８，８×４，８×８，８×１６，１６×８，１６×１６，１６×３２，３２×１６，３２×３２の中から、フレーム間信号の分散の閾値判定により、動きの大きい領域には小さなブロックを割り当て、背景などの動きの小さい領域には大きなブロックを割り当てている。具体的には、予測部１１４で得られた予測誤差信号について、領域決定部１１５でその分散値を計算し、これに基づいてブロックサイズを決定していく。領域形状情報や各領域の符号化モードなどの属性情報１１６、動きベクトル１１７もこの時点で決定され、属性情報１１６のうちの符号化モード情報にしたがって予測誤差信号または原信号が符号化部１１８で符号化され、符号化データ１１９を得る。以降の処理は第一の従来技術と同じである。
【０００７】
【発明が解決しようとする課題】
上記第一の従来技術では、符号化単位の領域の形が２種類に限定される。しかも、それらはともに正方形である。したがって、さほど動きがない背景のような領域であっても動きの激しい被写体のエッジ部分などの領域であっても特に区別なく符号化することになるので、画像のシーン構造にダイナミックに適応した符号化を行うことができない。
【０００８】
また、上記第二の従来技術は、複数のサイズの正方ブロックを準備し、重要度の低い領域は大きなブロックで粗く符号化し、重要度の高い領域は小さいブロックで密に符号化することで画像のシーン構造に対応した符号化を行うようになっているが、領域の形状が正方ブロックに限定されており、任意の形状の画像領域に対する適応性には改善の余地がある。
【０００９】
また、任意形状に対応した領域分割を行って、この領域単位で符号化を行う場合、領域分割に係わる演算量が増えるのみならず、領域形状に関する符号量も増大する。
【００１０】
本発明の目的は、上記課題を解決する、種々の画像構造に的確に対応できる領域分割技術を用いた動画像符号化技術によって、いろいろな形状に分割された領域の符号化データを正しく復号する技術の提供にある。
【００１１】
【課題を解決するための手段】
本発明は、過去に復号済みのフレームにおける領域分割結果を利用した領域分割、または現フレーム内の情報のみを用いた領域分割のうち、いずれか一方を用いて複数の領域に分割された画像を個々の領域毎に符号化した符号化データを入力して復号する動画像復号化装置において、符号化データには各領域の領域形状を過去に復号済みのフレームの領域形状情報を利用して復号するか、あるいはフレーム内の情報のみで復号するかを指示する指示情報を含み、符号化データに含まれる各領域に対する上記指示情報を復号する指示情報復号部と、該指示情報復号部で復号された各領域に対する上記指示情報に応じて領域形状を復号する領域形状復号部と、を備えることを特徴とするものである。
【００１４】
また、本発明は、過去に復号済みのフレームにおける領域分割結果を利用した領域分割、または現フレーム内の情報のみを用いた領域分割のうち、いずれか一方を用いて複数の領域に分割された画像を個々の領域毎に符号化した符号化データを入力して復号する動画像復号化方法において、符号化データには各領域の領域形状を過去に復号済みのフレームの領域形状情報を利用して復号するか、あるいはフレーム内の情報のみで復号するかを指示する指示情報を含み、符号化データに含まれる各領域形状の上記指示情報を復号するステップと、復号された各領域に対する上記指示情報に応じて領域形状を復号するステップと、を備えることを特徴とするものである。
【００１７】
【発明の実施の形態】
動画像符号化装置の説明１．
本発明の動画像復号化装置が復号するのに好適な符号化ビットストリームを生成する動画像符号化装置の具体例について説明する。図１は符号化装置の構成を示すブロック図である。同図において、１は入力画像、２は領域分割部、３は領域形状情報、４は領域画像信号、５は領域動き情報、６は領域属性情報、７は符号化部、８は局所復号画像、９はメモリ、１０は差分画像、１１は符号化ビットストリーム、をそれぞれ表す。図２は本符号化装置の動作を示すフローチャートである。
【００１８】
まず、図１および図２をもとに、装置全体の動作について説明する。入力画像１は領域分割部２に入力され（Ｓ１）、ここでまず、メモリ９に蓄えられた１フレーム前に領域分割符号化された画像（参照画像）の領域形状情報３を読み出し、該領域形状を初期形状として、初期分割（Ｓ２）と近傍領域統合（Ｓ３）の２系統の処理を行う。領域分割部２の動作は後で詳しく述べる。領域分割部２は、結果として入力画像を領域に分割した状態を表す形状情報３、各領域の画像信号４、各領域の動き情報５、各領域の符号化モードなどの属性情報６を符号化部７へ受け渡す。また次に領域分割および符号化を行うフレームの初期分割状態とするため、領域形状情報３をメモリ９に蓄えておく。符号化部７では、これらの情報を適当な符号化方式に基づいてビットパターンに変換し、多重化して符号化ビットストリーム１１として出力する（Ｓ４、Ｓ５）。また、動き補償予測に基づく領域分割および符号化を行うため、符号化部７では領域ごとに局所復号画像８を生成し、これをメモリ９に蓄えておく。領域分割部２および符号化部７はメモリ９に蓄えられた局所復号画像を差分画像１０として読み出し、動き補償予測を行う。ただし、領域分割の過程で動き補償予測が行われているので符号化部７では、動き補償予測を新たに行わなくてもよい。
【００１９】
以下、領域分割部２の動作について詳述する。図３は領域分割部２の詳細な構成図である。同図において、１２は射影部、１３は初期形状情報、１４は分割処理部、１５は分割形状情報、１６は統合処理部、をそれぞれ表す。
【００２０】
図４に分割処理部１４の内部構成を示す。同図において、１７はアクティビティ算出部、１８はアクティビティ、１９は分割判定部、をそれぞれ表す。図５は射影部１２および分割処理部１４の動作を示すフローチャートである。
【００２１】
分割処理部１４は、アクティビティに基づく分割を行う。アクティビティとは、画像の特徴又は特性を判定するために、画像情報の所定の性質に関して数値化されたデータである。
【００２２】
まず符号化する画像をＦ^ｔ，１フレーム前に領域分割符号化された画像をＦ^ｔ−１とすると、射影部１２において、Ｆ^ｔ−１の領域形状情報３をメモリ９から読み出し、Ｆ^ｔ−１の領域形状をＦ^ｔに射影し（Ｓ８）、射影された領域形状を初期形状情報１３として分割処理部１４に渡す。Ｆ^ｔに図６のようにＦ^ｔ−１の最終の領域形状（Ｓ^{ｆｉｎａｌ} _ｎとする）が射影されたとする。このときのＦ^ｔに含まれる領域数をＮ_０とし、各領域をＳ^０ _ｎ（１≦ｎ≦Ｎ_０）と表記する。この各Ｓ^０ _ｎについて、さらに分割を行うかどうかを判定する（Ｓ９）。このため、アクティビティ算出部１７で各領域のアクティビティを算出する。ここでのアクティビティは次式に示す符号量−歪みコストＬ（Ｓ^０ _ｎ）を採用する。
【００２３】
［数１］Ｌ（Ｓ^０ _ｎ）＝Ｄ（Ｓ^０ _ｎ）＋ λＲ（Ｓ^０ _ｎ）
ここでＤ（Ｓ^０ _ｎ）はＳ^０ _ｎの符号化歪み、Ｒ（Ｓ^０ _ｎ）はＳ^０ _ｎの符号量で、λは定数である。
【００２４】
図７にアクティビティ算出部１７の内部構成図を示す。同図において、２０は暫定符号化部、２１は復号部、２２は符号化歪み算出部、２３は符号量−歪みコスト算出部、２４は定数、をそれぞれ表す。
【００２５】
また図８はアクティビティ算出部の動作を示すフローチャートである。
【００２６】
まず暫定符号化部２０において、Ｓ^０ _ｎの符号化を行う（Ｓ１３）。ここでの符号化の目的は、符号化歪みＤ（Ｓ^０ _ｎ）算出のための局所復号画像と、符号量Ｒ（Ｓ^０ _ｎ）を求めることにある。本実施の形態では、暫定符号化部２０では、メモリ９中の差分画像１０を用いて動き補償予測を行って符号化を実施する。ここで符号化されるデータは、画像データ、つまり予測誤差信号または原信号、予測画像を特定するための動き情報、符号化モードなどの属性情報を含み、これらの符号量の総和がＲ（Ｓ^０ _ｎ）である。予測誤差信号は原信号と動きパラメータ探索の結果得られる予測画像の差として得られる。
【００２７】
一方、復号部２１では、暫定符号化部２０で得られた符号化データを用いて局所復号画像を生成する（Ｓ１４）。次いで符号化歪み算出部２２において、この局所復号画像と原画像との間の歪みＤ（Ｓ^０ _ｎ）を計算する（Ｓ１５）。符号量−歪みコスト算出部２３は、暫定符号化部２０で得られた符号量Ｒ（Ｓ^０ _ｎ）、符号化歪み算出部２２で得られた符号化歪みＤ（Ｓ^０ _ｎ）をもとに、定数２４のもとで前述の符号量−歪みコストＬ（Ｓ^０ _ｎ）を計算する（Ｓ１６）。算出されたＬ（Ｓ^０ _ｎ）をアクティビティ１８として、分割判定部１９に渡す。
【００２８】
次いで分割判定部１９において、アクティビティ１８とあらかじめ設定した閾値ＴＨと比較して、Ｓ^０ _ｎをさらに分割するかどうかを判定する（Ｓ９）。この分割判定部１９は、本発明の比較部に相当する。アクティビティ１８がＴＨより大きい場合、そのＳ^０ _ｎを分割する。すなわち、分割判定部１９は、本発明の組分割部にも相当する。分割の方法については、例えば図９のようにその領域を構成している最小のブロックに均等分割する方法などがある。それ以外の例として、領域のサイズに応じて分割するブロックのサイズを可変にすることもできる。
【００２９】
この時点での各領域を、分割領域Ｓ^１ _ｎと表記する。この分割状態を分割形状情報として統合処理部１６に渡す。
【００３０】
次いで統合処理部１６において、各Ｓ^１ _ｎについて隣接する領域との統合を行う。
【００３１】
領域の分割、統合処理終了後、最終的に入力画像１の領域分割状態を表す情報３、各領域の画像信号４、動き情報５、属性情報６が符号化部７に出力される。
【００３２】
領域分割状態を表す情報３には、領域の形状情報が含まれる。領域の形状情報としては、例えば、分割および統合の処理過程に関する情報を採用する。復号側では、この情報をもとに符号化装置と同様の処理を再現することで、領域形状を把握することができる。１フレーム前に領域分割符号化された画像の領域形状を初期形状とした場合、再分割が行われた領域に関してのみ、該領域の位置情報と分割の処理過程に関する情報を符号化して伝送すればよく、再分割を行わない領域に関しては、分割過程に関する情報を伝送する必要がない。ＴＶ会議のようなシーンでは、領域形状情報を効果的に削減できるだけでなく、領域分割処理時間を低減できる。
【００３３】
以上の射影部１２を含む領域分割部２の動作により、１フレーム前の領域形状を利用せずに、画像を無条件に均等に分割した状態を初期形状として領域分割を行う場合に比べて、領域分割における計算量、および領域形状の符号量を削減することができる。
【００３４】
以上の動画像符号化装置の例では、アクティビティとして符号量−歪みコストを採用したが、それ以外の例として、以下のものが考えられる。
【００３５】
第一の例は、領域の動き補償予測に伴う予測誤差電力である。動き補償予測はブロックマッチング法により行う。このとき領域の形状は任意形状のため、通常のブロックマッチング法を適用するために、図１０に示すように、領域に外接する矩形を定義し、この外接矩形単位でブロックマッチングを行う。図１１はブロックマッチング法による動き補償予測の方法を示している。ブロックマッチング法では、次の式を与えるベクトルｖが被予測領域Ｓの動きベクトルとして求められる。
【００３６】
【数２】

ただし、被予測領域Ｓの時刻ｔにおける（ｘ，ｙ）上の画素値をｆ_Ｓ（ｘ，ｙ，ｔ）、時刻ｔ−１における（ｘ，ｙ）上の画素値をｆ_Ｓ（ｘ，ｙ，ｔ−１）、位置（ｘ，ｙ，ｔ−１）をベクトルｖだけ変位させた位置の画素値をｆ_Ｓ（ｘ＋ｖ_ｘ，ｙ＋ｖ_ｙ，ｔ−１）とする。また、Ｒは動きベクトル探索範囲を表す。
【００３７】
この結果得られたベクトルによって、予測画像はｆ_Ｓ（ｘ＋ｖ_ｘ，ｙ＋ｖ_ｙ，ｔ−１）で与えられ、予測誤差電力、すなわちアクティビティはＤ_ｍｉｎとなる。この方法でアクティビティを定義することにより、１フレーム前に領域分割符号化された画像の領域形状で動き補償予測を行った結果、予測誤差が大きい領域について再分割を行い、領域形状を変更することができる。
【００３８】
第二の例は領域内の分散値である。分散値は領域の画素分布の複雑さを表しており、エッジなど画素値が急激に変化する画像を含む領域では分散値が大きくなる。領域Ｓ内の画素値をｆ_Ｓ（ｘ，ｙ，ｔ）とし、領域Ｓ内の画素値の平均値をμ_Ｓとすると、領域内の分散値σ_Ｓは次式で与えられる。
【００３９】
【数３】

このアクティビティを採用すれば、１フレーム前に領域分割符号化された画像の領域形状を用いた場合、エッジを含んでしまうような領域について、再分割を行い、領域形状を変更することができる。
【００４０】
第三の例は領域内のエッジ強度である。エッジ強度は例えば、Ｇ．Ｒｏｂｉｎｓｏｎによる「Ｅｄｇｅｄｅｔｅｃｔｉｏｎｂｙｃｏｍｐａｓｓｇｒａｄｉｅｎｔｍａｓｋｓ」（ＪｏｕｒｎａｌｏｆＣｏｍｐｕｔｅｒＧｒａｐｈｉｃｓａｎｄＩｍａｇｅＰｒｏｃｅｓｓｉｎｇ，Ｖｏｌ．６，Ｎｏ．５，Ｏｃｔ．１９７７）に記載されるソーベル演算子（ＳｏｂｅｌＯｐｅｒａｔｏｒ）で求めたり、エッジ上に分布する画素数（エッジ分布面積）として求めることができる。このアクティビティを採用すれば、１フレーム前に領域分割符号化された画像の領域形状を用いた場合エッジを含む領域について、エッジを検出し、その結果に基づいて領域を再分割し、領域形状を変更することができる。
【００４１】
第四の例は今まで述べたアクティビティの値の線形和である。各アクティビティ値に適度の重み付けを行うことにより、種々の画像への対応することができる。
【００４２】
動画像符号化装置の説明２．
本発明の動画像復号化装置が復号するのに好適な符号化ビットストリームを生成する動画像符号化装置の他の具体例について説明する。本具体例では、動画像符号化装置の説明１で述べた動画像符号化装置の分割処理部１４の構成だけが異なるので、この部分についてのみ説明する。本具体例における分割処理部１４の内部構成図を図１２に示す。同図において、２５はブロック抽出部である。また、図１３は図１２に示す分割処理部１４の動作を示すフローチャートである。
【００４３】
本具体例の分割処理部１４では、射影された領域形状とは無関係に、まずブロック抽出部２５で、固定サイズのブロック（Ｂ^０ _ｍ）を抽出し（Ｓ１７）、このブロック単位でアクティビティを算出する。次に分割判定部１９において、アクティビティ１８とあらかじめ設定した閾値ＴＨと比較して（Ｓ１８）、アクティビティ１８がＴＨより大きい場合、そのブロック位置の領域についてのみ分割する（Ｓ１９）。分割の方法については、例えば図１４のように、そのブロックを均等分割する方法などがある。
【００４４】
本具体例では領域形状とは無関係にアクティビティを算出するため、大きな領域の一部に変更があった場合に、その部分のみを検出し、分割することができる。
【００４５】
動画像符号化装置の説明３．
本発明の動画像復号化装置が復号するのに好適な符号化ビットストリームを生成する動画像符号化装置のさらに他の具体例について説明する。本具体例では、動画像符号化装置の説明１で述べた動画像符号化装置の領域分割部２の構成だけが異なるので、この部分についてのみ説明する。本具体例における領域分割部２の内部構成図を図１５に示す。同図において、２６は評価値算出部、２７は初期状態判定部、２８は評価値、２９は初期状態決定フラグ、をそれぞれ表す。
【００４６】
図１６は図１５の構成による領域分割部２の動作を示すフローチャートである。
【００４７】
本具体例の領域分割部２では、射影部１２でＦ^ｔ−１の領域形状を射影したＦ^ｔに対して、該領域形状に基づく分割を行ったときのＦ^ｔの評価値（Ｅ_０ ^ｔとする）を算出する（Ｓ２２）。評価値としては例えば、動画像符号化装置の説明１で述べた各領域Ｓ_ｋ（１≦ｋ≦Ｎ_０）の符号量−歪みコストＬ（Ｓ_ｋ）の総和Ｌを採用する。
【００４８】
【数４】

初期状態判定部２７では、該評価値に基づき、Ｆ^ｔ−１の領域形状を初期状態とするか否かを判定する。実際の判定は該評価値を閾値判定（Ｓ２３）することにより、行う。該評価値Ｅ_０ ^ｔが予め設定された閾値ＴＨ０を超えた場合には、Ｆ^ｔ−１の領域形状を利用せず、フレーム全体を固定サイズのブロックに均等に分割した状態を初期状態とする（Ｓ２４）など、１フレーム前の状態とは関係なく、分割を行う。閾値判定の結果、Ｆ^ｔ−１の領域形状を利用するか否かの情報を初期状態決定フラグ２９として、符号化部７に渡す。
【００４９】
それ以外の例として、Ｅ_０ ^ｔが閾値ＴＨ０を超えた場合に、フレーム内情報のみを用いて領域分割、および符号化を行うこともできる。フレーム内情報のみを用いた領域分割の方法としては例えば、領域内の分散値をアクティビティとする領域分割がある。領域内の分散値については動画像符号化装置の説明１で述べたとおりである。
【００５０】
フレーム内情報として分散値を採用すれば、画像の局所的な構造の複雑さに応じて領域を分割することができる。
【００５１】
また、閾値を二つ設定し、フレーム内情報のみを用いた領域分割と、フレーム内／フレーム間情報を用いた領域分割を切り替えて、併用することもできる。
【００５２】
予め設定された閾値をＴＨ１，ＴＨ２（ＴＨ１＞ＴＨ２）とする。Ｅ_０ ^ｔが閾値ＴＨ１を超えた場合には上述したように、フレーム内情報のみを用いて領域分割を行う。また、ＴＨ２＜Ｅ_０ ^ｔ≦ ＴＨ１のときには動き補償予測を行って求めた符号量−歪みコストや予測誤差電力等をもとに、領域分割を行う。
【００５３】
本具体例によれば、フレーム間の動きが大きく、１フレーム前の領域分割の形状を用いることに意味がない場合には、１フレーム前の領域形状を用いずに、領域分割を行うことができる。
【００５４】
さらに、評価値をもとにシーンチェンジ等を判定することにより、シーンチェンジなどがあった場合にはフレーム内の情報のみを用いた領域分割に切り替えるなど、より画像の内容に応じた符号化を行うことができる。
【００５５】
実施の形態１．
本実施の形態では今まで述べた１フレーム前の領域形状を利用して領域分割を行う動画像符号化装置によって生成される符号化ビットストリームを復号する動画像復号化装置を説明する。図１７に本実施の形態に係わる復号化装置の構成を示す。
【００５６】
同図において、３０はビットストリーム解析部、３１は初期分割方法復号部、３２は初期分割方法フラグ、３３は射影部、３４は領域形状復号部、３５は属性情報復号部、３６は画像データ復号部、３７は動き情報復号部、３８は動きパラメータ、３９は動き補償部、４０は予測画像、４１は画像復元部、４２は外部メモリ、４３は再生画像、をそれぞれ表す。
【００５７】
本実施の形態における復号化装置は、画像フレームもしくは画像フレーム中の部分画像に関して、１フレーム前に領域分割符号化された画像あるいは部分画像の領域形状を用いて、領域分割を行うか、また１フレーム前の画像の領域形状を用いない場合に、フレーム内情報のみを用いて符号化するかといった領域分割の方法に関する情報をまず復号し、次にこの情報に基づいて、領域分割状態を表す領域形状を表す符号化ビットストリームを復号する。つぎに所定の符号化方法により符号化された各領域の画像データ、各領域の属性情報、各領域の動き情報とからなる符号化ビットストリームを復号し、領域画像を復元し、画像フレームもしくは画像フレーム中の部分画像領域を再生する。
【００５８】
本実施の形態では、領域形状の記述は、符号化の際、領域を分割および統合したときの処理過程の明示による。分割の処理過程の記述は、領域を予め決められた順番で走査し、分割が行われたかどうかを記述することにより行う。統合に関しても同様である。１フレーム前の領域形状を利用して分割を行う場合には、分割が行われた領域に関してのみ、その領域の位置情報と分割の処理過程を記述すればよい。復号化装置では、符号化装置同様、１フレーム前の領域形状を利用する場合には、１フレーム前の領域形状を符号化すべき画像に射影し、分割、統合の処理過程に関する情報をもとに最終的な領域分割状態を復元することができる。
【００５９】
図１８は本実施の形態に係わる復号化装置の動作を示すフローチャートである。
【００６０】
符号化ビットストリーム１１は、まずビットストリーム解析部３０に入力され、ビット列から符号化データへの変換が行われる（Ｓ２５）。符号化データのうち、まず初期分割方法フラグが初期分割方法復号部３１において復号され（Ｓ２６）、初期分割方法フラグより１フレーム前の領域形状を利用するか否かを判定し（Ｓ２７）、１フレーム前の領域形状を利用する場合には、射影部３３において、１フレーム前の領域形状を射影する（Ｓ２８）。また１フレーム前の領域形状を利用しない場合には、符号化装置同様、固定サイズのブロックに均等分割を行う（Ｓ２９）。次に領域形状情報が領域形状復号部３４において復号され、上述の方法で画像フレームもしくは画像フレーム中の部分画像の領域分割状態が復元される（Ｓ３０）。領域が復元されたことにより、以降のビットストリーム中に符号化されている領域情報の符号化順序が特定される。各領域をＳ_ｎと呼ぶ。
【００６１】
次いで符号化順序に従って、ビットストリームから順次各領域のデータが復号される。まず領域Ｓ_ｎの属性情報が属性情報復号部３５で復号され、領域の符号化モード情報などが復号される（Ｓ３１）。ここでインターモード、すなわち予測誤差信号を符号化するモードであれば（Ｓ３２）、動き情報復号部３７において動きパラメータが復号される（Ｓ３３）。動きパラメータ３８は動き補償部３９に送られ、動き補償部３９はこれに基づいて外部メモリ４２内に蓄積される参照画像中の予測画像に相当するメモリアドレスを計算し、外部メモリ４２から予測画像を取り出す（Ｓ３４）。次いで画像データ復号部３６において領域Ｓ_ｎの画像データが復号される（Ｓ３５）。インターモードの場合は、この復号された画像データと予測画像４０とを加算することによって最終的な領域Ｓ_ｎの再生画像４３が復元される。イントラモードの場合には、復号された画像データそのものが最終的な領域Ｓ_ｎの再生画像４３となる。再生画像は以降の予測画像生成のための参照画像として用いるため、外部メモリ４２に書き込まれる。これらの判断および再生画像の復元は画像復元部４１で行われる（Ｓ３６）。
【００６２】
一連の処理は、画像フレームもしくは画像フレーム中の部分画像に含まれる全領域について行われた時点で終了する。以降の他の画像フレームもしくは画像フレーム中の部分画像についても同様の処理を施せばよい。
【００６３】
動画像符号化装置の説明４．
図１９は本発明の動画像復号化装置が復号するのに好適な符号化ビットストリームを生成する動画像符号化装置の構成を示すブロック図である。
【００６４】
同図において、４４は符号化モード選択部、４５は符号化モード組合せ表、４６は領域サイズ、４７は選択された符号化モード組合せ、をそれぞれ表す。
【００６５】
また、図２０は図１９の構成による動画像符号化装置の動作を示すフローチャートである。
【００６６】
本具体例では、各領域の符号化モードを選択する際に、予め領域サイズに対して、選択できる符号化モードの組合せを決めておく。符号化モードとしては、インターモード（フレーム間符号化モード）、イントラモード（フレーム内符号化モード）、１フレーム前の同じ位置の領域画像をそのままコピーするコピーモード、量子化パラメータが１領域前と変わる場合と変わらない場合などがあげられる。例えば、大きなサイズの領域で、イントラモード（フレーム内符号化モード）が選択されることは少ないので、選択できる符号化モードをインターモード（フレーム間符号化モード）とコピーモードのみに限定する。
【００６７】
符号化モード選択部４４では、領域分割部２によって得られた領域のサイズ４６に応じて、予め設定された符号化モードの組合せ表４５の中から選択できる符号化モードの組合せ４７を選択し（Ｓ４０）、その中から符号化モードを決定する（Ｓ４１）。
【００６８】
以上の構成により、付加情報なしで領域サイズに応じて選択できる符号化モードを効果的に限定できるため、符号化モードの符号量を削減することができる。
【００６９】
実施の形態２．
本実施の形態では、上述の動画像符号化装置の説明４で述べた動画像符号化装置によって生成される符号化ビットストリームを復号して再生画像を得る動画像復号化装置について説明する。
【００７０】
図２１に本実施の形態における復号化装置の構成を示す。同図において、４８は領域サイズ算出部、４９は符号化モード選択部、５０は選択できる符号化モードの組合せ、５１は符号化モード復号部、をそれぞれ表す。
【００７１】
この復号化装置は、画像フレームまたは画像フレーム中の部分画像に関して、まず符号化ビットストリーム中の領域分割状態を表す領域形状情報を復元し、各領域の領域サイズより、各領域の符号化モードの組合せを特定し、符号化モードを復号する。この符号化モードに基づいて符号化された各領域の画像データ、各領域の動き情報とからなる符号化ビットストリームを復号し、領域画像を復元し、画像フレームもしくは画像フレーム中の部分画像を再生する。
【００７２】
図２２は本実施の形態における復号化装置の動作を示すフローチャートである。
【００７３】
符号化ビットストリーム１１は、まずビットストリーム解析部３０に入力され、ビット列から符号化データへの変換が行われる（Ｓ２５）。符号化データのうち、領域形状情報が領域形状復号部３４において復号され、画像フレームもしくは画像フレーム中の部分画像内の領域分割の状態が復元される（Ｓ２６）。この領域分割状態の復元により、以降のビットストリーム中に符号化されている領域情報の符号化順序が特定される。本文では、各領域をＳ_ｎと呼ぶ。次いで、符号化順序に従って、ビットストリームから順次各領域のデータが復号される。まず領域サイズ算出部４８において、各領域Ｓ_ｎの形状よりＳ_ｎの領域サイズを算出する（Ｓ４４）。領域サイズとしては、図１０に示すように、領域の外接矩形のサイズや、領域に含まれる画素数などを採用する。次に符号化モード選択部４９において、Ｓ_ｎの領域サイズよりその領域を符号化するために用いた符号化モードの組合せを選択する（Ｓ４５）。選択された組合せの中から、符号化モード復号部５１において、領域Ｓ_ｎの符号化モード情報が復号される（Ｓ４６）。以下この符号化モードに基づいて、各領域の画像データが復元される。復元方法については、実施の形態１で述べた方法と同様である。
【００７４】
【発明の効果】
本発明の動画像復号化装置は、領域分割方法復号部と領域形状復元部および画像データ復号部を備えるため、動画像符号化装置で画像の内容に応じた領域分割方法によって、いろいろな形状の領域が生成されていても対応することができる。従って、動画像符号化装置との組合せが容易になる。
【００７５】
他方、本発明の別の動画像復号化装置は、領域形状復元部、符号化モード選択部、符号化部を備えるため、動画像符号化装置で各領域のサイズによって選択できる符号化モードの組合せが限定されていても対応することができる。従って、動画像符号化装置との組合せが容易になる。
【００７６】
また、本発明の動画像復号化方法は、領域分割方法復号ステップと領域形状復元ステップおよび画像データ復号ステップを備えるため、動画像符号化方法で画像の内容に応じた領域分割方法によって、いろいろな形状の領域が生成されていても対応することができる。従って、画像符号化方法との組合せが容易になる。
【００７７】
また、本発明の別の動画像復号化方法は、領域形状復元ステップ、符号化モード選択ステップ、符号化ステップを備えるため、動画像符号化方法で各領域のサイズによって選択できる符号化モードの組合せが限定されていても対応することができる。従って、動画像符号化方法との組合せが容易になる。
【図面の簡単な説明】
【図１】動画像符号化装置及び方法全般に共通な構成図である。
【図２】図１の符号化装置、方法の動作を示すフローチャートである。
【図３】図１の領域分割部の内部構成図である。
【図４】図３の分割処理部の内部構成図である。
【図５】図３の射影部および図４の分割処理部の動作を示すフローチャートである。
【図６】図３の射影部における領域形状の射影の例を示す図である。
【図７】図４のアクティビティ算出部の内部構成図である。
【図８】図７のアクティビティ算出部の動作を示すフローチャートである。
【図９】図４の分割処理部における領域の均等分割結果の例を示す図である。
【図１０】領域の外接矩形の例を示す図である。
【図１１】ブロックマッチングによる動き補償予測を示す図である。
【図１２】図３の分割処理部の別の実施の形態を示す図である。
【図１３】図１４の分割処理部の動作を示すフローチャートである。
【図１４】図１２の分割処理部におけるブロックの均等分割結果の例を示す図である。
【図１５】図３の領域分割部の別の具体例を示す図である。
【図１６】図１５の領域分割部の動作を示すフローチャートである。
【図１７】実施の形態に係わる動画像復号化装置の内部構成図である。
【図１８】図１７の復号化装置の動作を示すフローチャートである。
【図１９】動画像符号化装置の別の構成図である。
【図２０】図１９の符号化装置の動作を示すフローチャートである。
【図２１】実施の形態に係わる動画像復号化装置の別の内部構成図である。
【図２２】図２１の復号化装置の動作を示すフローチャートである。
【図２３】第一の従来技術に係わる動画像符号化装置を示す図である。
【図２４】第二の従来技術に係わる動画像符号化装置を示す図である。
【符号の説明】
１入力画像、２領域分割部、３領域形状情報、４領域画像信号、５領域動き情報、６領域属性情報、７符号化部、８局所復号画像、９メモリ、１０差分画像、１１符号化ビットストリーム、１２射影部、１３初期形状情報、１４分割処理部、１５分割形状情報、１６統合処理部、１７アクティビティ算出部、１８アクティビティ、１９分割判定部、２０暫定符号化部、２１復号部、２２符号化歪み算出部、２３符号量−歪みコスト算出部、２４定数、２５ブロック抽出部、２６評価値算出部、２７初期状態判定部、２８評価値、２９初期状態決定フラグ、３０ビットストリーム解析部、３１初期分割方法復号部、３２初期分割方法フラグ、３３射影部、３４領域形状復号部、３５属性情報復号部、３６画像データ復号部、３７動き情報復号部、３８動きパラメータ、３９動き補償部、４０予測画像、４１画像復元部、４２外部メモリ、４３再生画像、４４符号化モード選択部、４５符号化モード組合せ表、４６領域サイズ、４７選択された符号化モード組合せ、４８領域サイズ算出部、４９符号化モード選択部、５０選択できる符号化モードの組合せ、５１符号化モード復号部、１０１差分器、１０２予測信号、１０３予測誤差信号、１０４符号化部、１０５符号化データ、１０６復号部、１０７復号された予測誤差信号、１０８加算器、１０９局所復号画像信号、１１０メモリ、１１１予測部、１１２動きベクトル、１１３領域分割部、１１４予測部、１１５領域決定部、１１６符号化モード情報、１１７動きベクトル、１１８符号化部、１１９符号化データ。

Claims

過去に復号済みのフレームにおける領域分割結果を利用した領域分割、または現フレーム内の情報のみを用いた領域分割のうち、いずれか一方を用いて複数の領域に分割された画像を個々の領域毎に符号化した符号化データを入力して復号する動画像復号化装置において、
符号化データには各領域の領域形状を過去に復号済みのフレームの領域形状情報を利用して復号するか、あるいはフレーム内の情報のみで復号するかを指示する指示情報を含み、
符号化データに含まれる各領域に対する上記指示情報を復号する指示情報復号部と、
該指示情報復号部で復号された各領域に対する上記指示情報に応じて領域形状を復号する領域形状復号部と、
を備えることを特徴とする動画像復号化装置。
過去に復号済みのフレームにおける領域分割結果を利用した領域分割、または現フレーム内の情報のみを用いた領域分割のうち、いずれか一方を用いて複数の領域に分割された画像を個々の領域毎に符号化した符号化データを入力して復号する動画像復号化方法において、
符号化データには各領域の領域形状を過去に復号済みのフレームの領域形状情報を利用して復号するか、あるいはフレーム内の情報のみで復号するかを指示する指示情報を含み、
符号化データに含まれる各領域形状の上記指示情報を復号するステップと、
復号された各領域に対する上記指示情報に応じて領域形状を復号するステップと、
を備えることを特徴とする動画像復号化方法。