JP4404340B2 - 適応形状画像符号化装置および復号装置 - Google Patents

Description

この発明は適応形状画像符号化装置および復号装置に関し、特に特殊な形状の画像を効率的に符号化する適応形状画像符号化装置および復号装置に関する。

入力画像から任意形状の部分映像を切り出し、これを符号化する従来技術の一例として、例えば特開平１１−２６６４５４号公報に記されたものがある。

この公報には、矩形状の入力画像から任意の領域を選択し、該領域の位置及び形状を符号化し、また種々のパラメータを調節して該領域の画質が他の領域の画質よりも良好に符号化されるようにする符号化装置が開示されている。また、入力された符号化データを分離し、該分離された符号化データから前記領域の位置及び形状を復号すると共に符号化パラメータを復号し、該符号化パラメータを用いて前記任意の領域の画像を復号することが開示されている。
特開平１１−２６６４５４号公報

前記の従来技術には、矩形状の入力画像から任意の領域を切り出し、該切り出した領域の画像を他の領域の画質より良好に符号化および復号する装置が開示されているが、入力画像が特殊な性質を有する場合、例えば該入力画像が全方位型カメラで撮像されたものである場合については、該特殊な性質を基に符号化効率等を向上させるようにする点について何らの配慮もされていない。換言すれば、前記従来技術では、特殊な性質を有する入力画像に対しては、符号化効率、画質、解像度などを良好にすることができないという問題があった。

本発明の目的は、前記した従来技術に鑑みてなされたものであり、特殊な性質を有する入力画像、例えば特殊カメラから入力された画像の符号化効率、画質、解像度などを良好にすることができる適応形状画像符号化装置および復号装置を提供することにある。

前記した目的を達成するために、本発明は全方位撮影カメラで撮影された円形画像またはドウナツ形状画像を入力画像とする適応形状画像符号化装置において、前記入力画像の形状に適合するようにかつその画像密度が大であるほどその幅が小となるように同心円状にスライスし、該スライス内の入力画像を、その画像密度が大であるほど小となるサイズのブロックに分割する手段と、前記スライスを特定するデータおよび該スライスの予め定められた符号化処理の開始点であるスライスの基準位置からのシフト量を含むパラメータを用いて、該スライス内の入力画像の順次のブロックの位置と動きベクトルを求め、該動きベクトルを用いて動き補償し、動き補償画像と入力画像の差分についてＤＣＴを行うことにより、前記分割された各ブロックの符号化を行う手段とを具備し、該符号化を行う手段は、一つのスライスに含まれるブロックに対して順次符号化を行い、それが終わると次のスライスに含まれるブロックに対して順次符号化を行うようにした点に第１の特徴がある。

本発明によれば、入力画像をその画素密度または画像解像度に応じた大きさのブロックに分割して符号化するので、画素密度または画像解像度に応じた精度で符号化でき、符号化効率が向上する。また、スライスを特定するデータおよび該スライスの基準位置からのシフト量を含むパラメータを用いて画像中の物体の動きを定義するようにしているので、画像中の物体の動きや空間内相関性が効率的に表現でき、この点でも符号化効率が向上する。

また、本発明によれば、全方位撮影カメラで撮影された円形画像またはドウナツ形状画像のような特殊な性質を有する画像に適用すると、良好な符号化効率、画質、解像度などを期待できる符号化および復号装置を提供することができる。

以下に、図面を参照して、本発明を詳細に説明する。図１は、本発明の一実施形態の概略の構成を示すブロック図である。

図において、画像形状認識部２１は、特殊カメラ（例えば、全方位撮影カメラ）などで撮影された画像などの特殊な性質を有する入力画像ａの形状、サイズなどを検出する。全方位撮影カメラからの入力画像であれば、その形状が円形であることを検出する。この形状認識は例えば入力映像の時間方向差分などの方法により自動的に検出可能である。例えば、後述する図６の円形画像１１ａの場合、円形画像の外側領域は画像が存在しないので時間方向差分は０になるが円形画像領域内は０にならない。よって、該入力画像ａが円形であることが認識できる。同様の方法により、円形画像の前記外側領域に加えて中心部領域にも画像が存在しないと判定された場合には、入力画像がドウナツ状であると認識できる。

また、該画像領域が特定できるとそのサイズも自動的に認識できる。なお、該入力画像ａが特殊な形状をもつものであっても、その形状およびサイズが既知であれば、該画像形状認識部２１は省略することができる。

ここで、前記全方位撮影カメラの一例の構成と、該カメラからの入力画像を、図５、図６を参照して説明する。図５は全方位撮影カメラの概念図、図６は該全方位撮影カメラで撮影した画像データを、パソコン等のディスプレイに表示した画面の一例を示すものである。

全方位撮影カメラは周知であり種々の方式のものがあるが、図５の全方位撮影カメラ１においては、透明のアクリル円筒２の内部の上面に設けられた半球状またはお椀状の全方位ミラー３、該全方位ミラー３の中心部から下方に延伸されたセンターニードル４、該センターニードル４の下方に設けられたＣＣＤカメラ５およびケーブルコネクタ６から構成されている。なお、このカメラは周知であるので、詳細な説明は省略する。

該全方位撮影カメラ１をケーブルコネクタ６を介してパソコン等に接続し、該全方位撮影カメラ１で撮影された画像をディスプレイに表示すると、図６のような画面１１が得られる。該画面１１には、全方位撮影カメラ１の撮影画像そのものであるドウナツ状の３６０°全方位画像（以下、円形画像という）１１ａ、該円形画像１１ａを帯状に展開したパノラマ展開画像１１ｂ、および画像１１ｂの一部を切り出した通常の１フレームサイズの画像１１ｃが映出される。１１ｄは、該画像１１ｃの切り出し画像である。前記円形画像１１ａは中心に近くなる程高密度の画像であり、また人などの移動があると、その移動は円周方向に動く傾向が強いという特殊な性質を有している。この円形画像１１ａは、例えば１５フレーム／秒の動画像である。なお、画像１１ｃは、例えば携帯電話などに配信することができる。

再度、図１に戻って説明を続ける。画像分割部２２は、入力画像ａの形状、サイズおよび／または画像解像度などを考慮に入れて、処理単位に分割する。例えば、スライス、マクロブロック、ブロックといった階層への分割が可能である。

例えば、図２(a)に示すような円形入力画像１１ａに対して、同心円上にスライスし、中心から外方へ同心円領域１１ａ１，１１ａ２，１１ａ３，・・・を形成する。そして、同図(b)に示すように、各領域１１ａ１，１１ａ２，１１ａ３，・・・を、マクロブロックまたはブロックで分割する。

この場合、分割される処理単位は、画素密度または画像解像度に応じて、異なるサイズおよび形状にすることができる。例えば、円中心部の画像解像度が高い映像であれば、マクロブロック、ブロックの構成画素数を均一として、マクロブロック、ブロックの面積（サイズ）や、１スライス内のマクロブロック、ブロックの数を可変とすることができる。なお、全画像中の画素密度の大小は既知の方法から検出できる。また、画素密度の大きい画像部分と小さい画像部分とが既知の場合には、新たに画素密度を検出する必要はない。

例えば、図２のような円形入力画像１１ａでは、中心部ほど画素密度または画像解像度が高いので、中心部のマクロブロックまたはブロック１のサイズをマクロブロックまたはブロック２のサイズより、またマクロブロックまたはブロック２のサイズをマクロブロックまたはブロック３のサイズより小さくする。換言すれば、各マクロブロック、各ブロックに含まれる画素数は全て同一の１６×１６または８×８であるので、該マクロブロックまたはブロックの画素密度は中心部のものほど高くなる。

次に、図１の形状情報符号化部２３は、画像の形状などの情報として、例えば２次元直交座標、極座標などで画像形状を定義し、その座標データを符号化する。該画像形状のデータは、符号統合部２６に送られる。なお、入力画像ａの画像形状が既知の場合には、該画像形状の情報を予め受信側に知らせておけばよいから、この情報は省略可能である。

一方、分割データサイズ・位置情報符号化部２４は、各マクロブロックまたはブロックの分割データサイズと、それらの位置情報を符号化する。該分割データサイズと位置情報は、符号統合部２６に送られる。

図３は、各ブロックの分割データサイズとその位置情報のデータフォーマットの説明図である。最初に、全画像の境界に関するデータ（境界部の座標など）が登録され、次いでスライス１，２，３，・・・に関するデータが列挙される。スライス１に関するデータを代表に上げて説明すると、まずスライス１の開始点が登録される。該開始点は、例えばスライス１に属するブロックのうちの最も左上の座標Ｐ１（Ｘ１，Ｙ１）（図２(b)参照）とすることができる。次に、スライス１中のブロックのサイズ、例えば８×８が登録される。該サイズは、予め決められておれば、省略することができる。次いで、スライス１中に属するブロックＢ１〜Ｂｎの左上の座標（Ｘ１，Ｙ１）〜（Ｘｎ，Ｙｎ）が順次登録される。

なお、前記分割データサイズ・位置情報符号化部２４は、固定的な画像を扱う場合は、該分割データサイズおよびその位置情報は既知であるので省略可能である。

次に、図１の符号化部２５の動作を説明する。画像の符号化には多種の方式が適用可能であるが、一例として、ＭＣ（動き補償）＋ＤＣＴ方式を適用することができる。この場合、あるスライスに含まれるブロックについて順次符号化を行い、これが終了すると次のスライスに含まれるブロックについて符号化を行う。このような符号化を、最後のスライスに含まれるブロックの最後まで行う。例えば、図２の例では、スライス１に含まれるブロック１に対して順次符号化を行い、全てのブロックの符号化が終わると続いてスライス２に含まれるブロック２に対して順次符号化を行う。さらに、スライス２に含まれるブロックの符号化が全て終わると引き続きスライス３に含まれるブロック３に対して順次符号化を行う。

また、前記ＭＣ（動き補償）＋ＤＣＴ方式を適用する場合には、一例として、ＭＣにおける動きベクトル参照位置を、オフセット値が示す位置に存在するブロック、マクロブロック、これらが属するスライスを特定するデータ（例えば、番号）、および該スライスの基準位置からのシフト量として定義可能である。ＤＣＴや量子化は、ブロック単位に実行可能である。

前記円形画像１１ａまたはドウナツ形状画像では、人物などの動物体は同心円画像内、すなわちスライス内を円周方向に移動する傾向が統計的に大きい。従って、前記したように、スライス順かつ各スライス内のブロック順に符号化をすると、画像中の物体の動きや空間内相関性に適合した符号化を行えるようになり、符号化効率が向上する。また、ＭＣにおける動きベクトル参照位置を、前記したように、スライスの番号および該スライスの基準位置からのシフト量として定義すると、画像中の物体の動きや空間内相関性に適合した符号化を行えるようになり、符号化効率が向上する。

次に、符号統合部２６は、前記画像形状、分割データサイズ、および位置情報をヘッダとし、符号化部２５からの画像情報と統合して出力する。以上により、特殊な性質を有する入力画像ａを効率的に符号化することができる。すなわち、画像中の物体の動きや空間内相関性に適合した符号化を行えるようになる。また、画素密度の大きい画像部分には精細な符号化ができ、逆に画素密度の小さい画像部分には粗い符号化を行うことができる。

次に、図４を参照して、適応形状画像復号装置の一実施形態を説明する。画像構成情報分離部３１は、入力してきた符号化画像情報ｂを、前記ヘッダ情報と画像情報とに分離する。ヘッダ情報は画像構成情報構築部３２に送られ、復号される。該復号された画像構成情報は画像復号部３３の動き補償部ＭＣに送られる。

一方、画像情報は画像復号部３３に送られる。該画像復号部３３は、差分情報復号部３３ａと動き補償部３３ｂから構成されている。また、該差分復号部３３ａは可変長復号部ＶＬＤと逆量子化部Ｑ^−１と逆ＤＣＴ部ＤＣＴ^−１とから構成されている。差分情報復号部３３ａは周知の動作により復号されたＤＣＴを出力する。該ＤＣＴは動き補償部３３ｂで動き補償され、復号画像が出力される。

本発明の一実施形態の符号化装置の概略構成を示すブロック図である。 本発明の一実施形態における画像のスライスおよび画像分割の一例を示す説明図である。 入力画像の分割データサイズ、位置情報のデータフォーマットの説明図である。 本発明の一実施形態の復号装置の概略構成を示すブロック図である。 全方位撮影カメラの構成の説明図である。 全方位撮影カメラで撮影した画像をディスプレーに表示した時の表示例を示す図である。

符号の説明

２１・・・画像形状認識部、２２・・・画像分割部、２３・・・形状情報符号化部、２４・・・分割データサイズ・位置情報符号化部、２５・・・符号化部、２６・・・符号統合部 ３１・・・画像構成情報分離部、３２・・・画像構成情報構築部、３３・・・画像復号部。

Claims (4)

1. 全方位撮影カメラで撮影された円形画像またはドウナツ形状画像を入力画像とする適応形状画像符号化装置において、
   前記入力画像の形状に適合するようにかつその画像密度が大であるほどその幅が小となるように同心円状にスライスし、該スライス内の入力画像を、その画像密度が大であるほど小となるサイズのブロックに分割する手段と、
   前記スライスを特定するデータおよび該スライスの予め定められた符号化処理の開始点であるスライスの基準位置からのシフト量を含むパラメータを用いて、該スライス内の入力画像の順次のブロックの位置と動きベクトルを求め、該動きベクトルを用いて動き補償し、動き補償画像と入力画像の差分についてＤＣＴを行うことにより、前記分割された各ブロックの符号化を行う手段とを具備し、
   該符号化を行う手段は、一つのスライスに含まれるブロックに対して順次符号化を行い、それが終わると次のスライスに含まれるブロックに対して順次符号化を行う適応形状画像符号化装置。
2. 請求項１に記載の適応形状画像符号化装置において、
   前記スライスは、前記入力画像の画像密度に応じた曲線であることを特徴とする適応形状画像符号化装置。
3. 請求項１に記載の適応形状画像符号化装置において、
   前記円形画像またはドウナツ形状画像は、中心部に向かう程画像密度が大である適応形状画像符号化装置。
4. 請求項１ないし３のいずれかに記載の適応形状画像符号化装置により符号化された信号を復号する適応形状画像復号装置において、
   受信した信号を、前記ブロックの位置および動きベクトルを含むヘッダ情報と、画像情報とに分離する手段と、
   該画像情報を、前記ヘッダ情報を用いて復号する手段とからなる適応形状画像復号装置。