JP4305904B2

JP4305904B2 - 部分画像符号化装置

Info

Publication number: JP4305904B2
Application number: JP2003329806A
Authority: JP
Inventors: 康弘滝嶋; 悟史宮地
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2003-09-22
Filing date: 2003-09-22
Publication date: 2009-07-29
Anticipated expiration: 2023-09-22
Also published as: JP2005101720A

Description

本発明は部分画像符号化装置に関し、特にベース画像からの部分画像または切り出し画像の符号化を低負荷にて行うことができるようにした部分画像符号化装置に関する。

従来、カメラ撮影等のベース画像から部分画像を切り出して伝送等を行うシステムが、例えば特開平９−２９８４６９号公報に記されているように提案されている。

この公報に記されているシステムでは、テレビカメラで撮影された画像の中の一部を、該画像の監視（モニタ）部またはＣＰＵから指定して切り出し、切り出された画像をＭＰＥＧ／Ｈ２６１方式で圧縮して前記監視部等に伝送する技術、および圧縮する場合、時間軸方向で近傍の画像と現在の画像とを比較し、画像情報の差分のみを伝送することにより、圧縮後のデータ量を少なくすることが開示されている。
特開平９−２９８４６９号公報

しかしながら、前記した背景技術には、次のような問題があった。すなわち、ベース画像から複数の部分画像、特に位置が移動する部分画像を切り出して伝送する場合には、各切り出し画像毎に符号化処理を行うため、その符号化に多大な処理負荷が生ずると共に処理時間が大きくなるという問題があった。

本発明は、前記した従来技術の課題を解消するためになされたものであり、その目的は、ベース画像から部分画像、あるいは位置、サイズが時間と共に変化する部分画像を切り出し、符号化して伝送する場合に、該符号化処理の処理負荷を軽減できる部分画像符号化装置を提供することにある。

前記した目的を達成するために、本発明は、ベース画像からそれより小さい形状の部分画像を切り出しＭＰＥＧ符号化する部分画像符号化装置において、前記ベース画像を各ブロックに分割し、該各ブロックに対して動きベクトル探索範囲に対する複数種類の制約のもとでそれぞれ動きベクトル探索を行い、動き補償画像と入力画像の差分についてＤＣＴを行うことにより、最適の動きベクトルと直交変換係数を含む前処理データを求め、蓄積する前処理手段と、前記ベース画像から切り出された部分画像におけるブロックの位置に応じて対応する制約に係る前処理データを取得し、該ブロックを量子化、可変長符号化する部分画像符号化手段とを具備した点に第１の特徴がある。

また、本発明は、前記部分画像の基準位置が、前記ベース画像の基準位置に対し、ブロック又はマクロブロック単位で離間するようにした点に第２の特徴がある。

さらに、本発明は、前記ベース画像から切り出される部分画像の位置またはそのサイズは、部分画像を切り出す時間と共に変化できる点に第３の特徴がある。

前記第１の特徴によれば、部分画像符号化手段は、前処理データを用いて部分画像の符号化を行うことができるので、複数の部分画像符号化を行う場合に、該符号化処理の処理負荷を軽減できると共に、処理速度を大きく向上することができる。

また、前記第２の特徴によれば、部分画像の切り出し位置に関わらず、その符号化に際して、前記前処理データを利用することができるようになる。換言すれば、部分画像と前処理データとの整合を図ることができるようになる。

また、前記特徴３によれば、符号化をする部分画像のパン、チルト等を実行することができる。

さらに、本発明によれば、前記ベース画像の各ブロックに対して、参照ブロックの制約なしと、上、下、左又は右ブロック列に関し制約ありとを含むルールに従って前処理データを求め、該前処理データを利用して符号化するため、符号化効率が向上する。

以下に、図面を参照して本発明を詳細に説明する。図８は全方位撮影カメラの概念図、図９は該全方位撮影カメラで撮影した画像データを、パソコン等のディスプレイに表示した画面の一例を示すものである。

全方位撮影カメラは周知であり種々の方式のものがあるが、図８の全方位撮影カメラ１においては、透明のアクリル円筒２の内部の上面に設けられた半球状またはお椀状の全方位ミラー３、該全方位ミラー３の中心部から下方に延伸されたセンターニードル４、該センターニードル４の下方に設けられたＣＣＤカメラ５およびケーブルコネクタ６から構成されている。なお、このカメラは周知であるので、詳細な説明は省略する。

該全方位撮影カメラ１をケーブルコネクタ６を介してパソコン等に接続し、該全方位撮影カメラ１で撮影された画像をディスプレイに表示すると、図９のような画面１１が得られる。該画面１１には、全方位撮影カメラ１の撮影画像そのものであるドウナツ状の３６０°全方位画像１１ａ、該ドウナツ状の３６０°全方位画像１１ａを帯状に展開した画像１１ｂ、すなわちパノラマ展開画像、および画像１１ｂの一部を切り出した通常の１フレームサイズの画像１１ｃが映出される。１１ｄは、該画像１１ｃの切り出し画像である。なお、画像１１ｃは、例えば携帯電話などに配信することができる。

全方位撮影カメラ１から得られる画像は、通常のＰＣ用カメラと同様に、例えば１５フレーム／秒の動画像である。展開画像１１ｂは例えばＰＣ用カメラ画像等の通常の１フレームサイズより何倍も大きいので、携帯電話等に配信する場合、ベース画像から位置が移動する部分画像を切り出し、符号化して伝送することが行われる。同時に複数の異なる部分画像を生成する場合、従来技術を用いると、符号化処理の処理負荷が部分画像の数に比例して重くなる。

本発明は、このような不具合を解決するためになされたものであり、その一実施形態を図１を参照して説明する。図１は本発明の一実施形態の概略の構成を示すブロック図である。

ベース画像入力部２１からは前記展開画像（以下、ベース画像という）１１ｂが入力する。ベース画像符号化前処理部２２では、該展開画像１１ｂの全部の小領域例えばブロック（８×８画素）またはマクロブロック（１６×１６画素）に対して符号化前処理を行う。例えば、ＭＰＥＧの場合の動き推定（ＭＥ）／動き補償（ＭＣ）＋直交変換（例えば、ＤＣＴ）の処理を、隣接ブロックとの相関を用いて行う、または隣接ブロックとの相関の利用を制約しながら行うという前処理を行う。該前処理を行った結果のデータは、該ベース画像符号化前処理部２２中の図示されていない記憶装置に記憶される。なお、その詳細は、図２を参照して後述する。

部分画像位置入力部２３は、前記展開画像１１ｂから切り出す部分画像の初期位置、該部分画像の動きの速度などを入力する。なお、該部分画像の初期位置は、ベース画像の基準位置からブロックまたはマクロブロック単位で離れた位置に決められる。部分原画像生成部２４は部分画像のサイズや部分画像の位置を決定する。また、部分画像位置入力部２３からの入力信号に基づいて部分原画像を切り出し、出力する。この場合、後述の説明から明らかになるように、部分画像の基準位置は、ベース画像の基準位置からブロックまたはマクロブロック単位で離れた位置となるように切り出されるものとする。

部分画像符号化部２５は、部分原画像生成部２４から入力された部分原画像を、前記ベース画像符号化前処理部２２で作成および保存されたデータを用いて符号化する。この場合、該部分原画像の周辺部は隣接ブロックとの相関の利用を制約した処理で得られたデータを用い、該部分原画像の内部は隣接ブロックとの相関を用いる処理で得られたデータを用いる。

図２は、前記ベース画像符号化前処理部２２の詳細な機能を示すブロック図であり、画像ブロック分割部２２ａ、ＭＥ／ＭＣおよびＤＣＴ部２２ｂ、参照ブロック記述テーブル２２ｃ、およびメモリ２２ｄとから構成されている。

画像ブロック分割部２２ａは、図３に示されているように、ベース画像である展開画像１１ｂを例えば８×８画素、あるいは１６×１６画素のブロックｂ_１１，ｂ_２１、ｂ_３１、・・・、ｂ_ｎｎ’に分割する。ＭＥ／ＭＣおよびＤＣＴ部２２ｂは参照ブロック記述テーブル２２ｃに記述された参照ブロック選択ルールに従って、各ルール毎に最適の動きベクトルを求め、それに応じたＤＣＴ係数を求める。該動きベクトルとＤＣＴ係数は、メモリ２２ｄに記憶される。ループＳ１は、参照ブロックの記述の数だけ循環される。

前記参照ブロック記述テーブル２２ｃには、図４に示されているように、例えば、０：参照ブロックの制約なし、１：左ブロック列を参照しない、２：上ブロック列を参照しない、３：右ブロック列を参照しない、４：下ブロック列を参照しない、５：左は１ブロック列までしか参照しない、６：上は１ブロック列までしか参照しない、７：右は１ブロック列までしか参照しない、８：下は１ブロック列までしか参照しない等という前フレーム参照についてのルールが記述されている。なお、このテーブルに、さらに他のルールを記述しても良い。

そこで、ＭＥ／ＭＣおよびＤＣＴ部２２ｂは、ベース画像の前記ブロックｂ_１１，ｂ_２１、ｂ_３１、・・・、ｂ_ｎｎ’毎に、かつ前記ルール毎に、最適の動きベクトルＭＶとそれに対応するＤＣＴを求め、それらをメモリ２２ｄに蓄積する。

いま、前記ブロックｂ_１１，ｂ_２１、ｂ_３１、・・・、ｂ_ｎｎ’が１６×１６画素のマクロブロックであるとすると、該マクロブロック毎に、前記ルール０〜８の各々およびこれらの組み合わせ（例えば、ルール１＋２）に対して、最適の動きベクトルＭＶ_０〜ＭＶ_ｋ（ｋ≧８）を求める。また、ＤＣＴに関しては、４個の８×８画素に対する輝度に係る４個のＤＣＴ（ＤＣＴ１〜ＤＣＴ４）と色度に係る２個のＤＣＴ（ＤＣＴ５〜６）を求める。これらの動きベクトルＭＶとＤＣＴ（前処理データ群）は、メモリ２２ｄに記憶される。

以上のようにして、ベース画像符号化前処理部２２からは、ベース画像と、前処理データ群とが出力される。

次に、部分原画像生成部２４の機能の詳細を図５を参照して説明する。部分原画像生成部２４は部分画像サイズ・位置決定部２４ａからなり、該部分画像サイズ・位置決定部２４ａは、前記部分画像位置入力部２３から部分画像の初期位置、該部分画像の動き速度などを入力すると共に、部分画像のサイズとその位置を決定する。ループＳ２は、切り出された部分画像の数だけ循環される。この機能により、符号化をするフレームのパン、チルト等が実行される。すなわち、部分画像の位置を変えると、パン、チルトなどになる。

図６の３１はパン、３２はチルトの一例を示す。図において、（Ｘ０，Ｙ０）は前記ベース画像１１ｂの基準位置を示し、部分画像サイズはｘ１×ｙ１の矩形であるとする。また、パン３１およびチルト３２において、最初の切り出し部分画像の初期位置Ｐ１、Ｐ１１およびＰ２１は、それぞれ展開画面１１ｂの基準位置（Ｘ０，Ｙ０）からＸおよびＹ方向に８画素あるいは１６画素の単位で離れた位置に設定される。

次に、矢印ａ方向にパン３１を行う場合には、各画面の基準位置Ｐ１，Ｐ２，Ｐ３，・・・は、８画素あるいは１６画素単位で矢印ａ方向に、前記部分画像位置入力部２３で指定された速度（パン速度）でシフトされる。また、矢印ｂ方向にチルト３２を行う場合には、各画面の基準位置Ｐ１１，Ｐ１２，Ｐ１３，・・・は、Ｘ，Ｙ方向共に、８画素あるいは１６画素単位で矢印ｂ方向にシフトされる。このように、各画面の基準位置をＸ，Ｙ方向共に、８画素あるいは１６画素単位でシフトさせるのは、前記部分画像符号化部２５で符号化する際に、ベース画像符号化前処理部２２で得られた前処理データを何ら加工することなく使えるようにするためである。

上記のように部分画像サイズ・位置決定部２４ａにて部分画像サイズとその位置が決定されると、前記部分画像符号化部２５にて前記パン３１またはチルト３２等の各部分画像の符号化が行われる。該符号化の処理においては、各部分画像の周辺部のブロック、例えば図７の部分画像４０の左上隅のブロックｂ_００に対しては前記ルール１＋２の左および上ブロック列を参照しないルールを適用した場合の前処理データ（動きベクトルＭＶとＤＣＴ）が前記メモリ２２ｄから読み出されて適用される。また、上部の各ブロックｂ_０１〜ｂ_{０，ｎー１}に対しては、前記ルール２の上ブロック列を参照しないを適用した場合の前処理データが利用される。また、右上隅のブロックｂ_０ｎに対しては前記ルール２＋３の上および右ブロック列を参照しないを適用した場合の前処理データが利用される。また、左側の周辺ブロックｂ_１０〜ｂ_{ｍ−１，０}に対しては、前記ルール１を適用した場合の前処理データ、左下隅のブロックｂ_ｍ０に対しては、前記ルール１＋４を適用した場合の前処理データが利用される。さらに、中央部のブロックｂ_{ｍ’，ｎ’}に対しては、前記ルール０の参照ブロックの制約なしを適用した場合の前処理データが利用される。また、前フレームのブロックを参照した場合の前処理データを利用するようにしてもよい。

以上のように、部分画像（切り出し画像）では、その周辺部のブロックはベース画像の隣接間相関の利用を制約したモードあるいは独自の処理モードを利用し、その他のブロックではベース画像の隣接間相関を利用するモードを利用する。

前記部分画像符号化部２５はその後、前記メモリ２２ｄから読み出した前処理データを公知の方法で量子化（Ｑ）し、次いで可変長符号化（ＶＬＣ）して出力する。該出力されたデータは、携帯電話やインターネットなどに配送することができる。

本発明の概略の構成を示すブロック図である。図１のベース画像符号化前処理部の詳細を示すブロック図である。ベース画像のブロック分割の説明図である。参照ブロック記述テーブルの説明図である。図１の部分原画像生成部の詳細を示すブロック図である。位置またはサイズが変化する部分画像の例を示す図である。図１の部分画像符号化部の動作の説明図である。全方位撮影カメラの構成の説明図である。全方位撮影カメラで撮影した画像をディスプレーに表示した時の表示例を示す図である。

符号の説明

２１・・・ベース画像入力部、２２・・・ベース画像符号化前処理部、２３・・・部分画像位置入力部、２４・・・部分原画像生成部、２５・・・部分画像符号化部。

Claims

ベース画像からそれより小さい形状の部分画像を切り出しＭＰＥＧ符号化する部分画像符号化装置において、
前記ベース画像を各ブロックに分割し、該各ブロックに対して動きベクトル探索範囲に対する複数種類の制約のもとでそれぞれ動きベクトル探索を行い、動き補償画像と入力画像の差分についてＤＣＴを行うことにより、最適の動きベクトルと直交変換係数を含む前処理データを求め、蓄積する前処理手段と、
前記ベース画像から切り出された部分画像におけるブロックの位置に応じて対応する制約に係る前処理データを取得し、該ブロックを量子化、可変長符号化する部分画像符号化手段とを具備したことを特徴とする部分画像符号化装置。
請求項１に記載の部分画像符号化装置において、
前記ベース画像からの最初の切り出し位置である前記部分画像の基準位置は、前記ベース画像の開始位置である基準位置に対し、ブロック又はマクロブロック単位で離間していることを特徴とする部分画像符号化装置。
請求項１または２に記載の部分画像符号化装置において、
前記ベース画像から切り出される部分画像の位置またはそのサイズは、部分画像を切り出す時間と共に変化できることを特徴とする部分画像符号化装置。
請求項１ないし３のいずれかに記載の部分画像符号化装置において、
前記前処理データは、参照ブロックの制約なしと、上、下、左又は右ブロック列の参照に関し制約ありとを含む参照ブロックに関するルールに従って得られることを特徴とする部分画像符号化装置。
請求項４に記載の部分画像符号化装置において、
前記部分画像符号化手段は、前記部分画像の周辺部のブロックに対しては前記制約ありに係る前処理データを取得し、その他のブロックに対しては前記制約なしに係る前処理データを取得することを特徴とする部分画像符号化装置。
請求項１ないし５のいずれかに記載の部分画像符号化装置において、
前記ベース画像は、３６０°全方位画像を帯状に展開した画像であることを特徴とする部分画像符号化装置。