JP4025310B2

JP4025310B2 - 画像変換装置、画像変換方法、画像変換プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体、並びに、動画像変換装置、動画像変換方法、動画像変換プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体

Info

Publication number: JP4025310B2
Application number: JP2004132793A
Authority: JP
Inventors: 英明木全; 正樹北原
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2004-04-28
Filing date: 2004-04-28
Publication date: 2007-12-19
Anticipated expiration: 2024-04-28
Also published as: JP2005318194A

Description

本発明は、視点位置や視線方向を変更することを可能とする映像技術などに好適となる映像蓄積に関する技術である。

複数のカメラ入力映像を予め持っていれば、入力映像を切り替えることによって視点位置と視線方向を変更することが可能である。これらは撮影した位置での映像が得られるが、更に、撮影されていない視点位置や視線方向の映像を生成する技術が提案されている。例えば、下記に示す非特許文献１では、複数のカメラ入力画像から光線空間を生成して、その光線空間から画像情報を取り出すことにより、撮影されていない視点位置または視線方向の映像を生成する手法が提案されている。

ここで、任意視点の映像を生成するための画像情報の符号化方法としては、カメラ入力映像を符号化対象とする手法と、光線空間を符号化対象とする手法とに分類できる。

カメラ入力映像を符号化対象とする手法としては、単純にカメラ入力映像を個別に符号化する手法の他に、カメラ間の相関を利用した手法が提案されている。例えば、下記に示す非特許文献２では、複数のカメラ入力映像のうち、同じ時間帯のピクチャをまとめて一つのタイルとして符号化する手法を提案している。このタイル内にあるピクチャ間でフレーム間予測符号化を適用して比較的効率の良い符号化を実現する。

このように、複数カメラ入力映像のピクチャ間でフレーム間予測符号化を適用して、各ピクチャを符号化することが行われている。

一方、光線空間を符号化対象とする手法としては、例えば、下記に示す非特許文献３が挙げられる。この手法では、多次元の光線空間を多次元サブバンド分割して複数のレイヤ構造にして、各レイヤを符号化する。
藤井，木本，谷本："光線群表現における３次元空間情報の圧縮"，３次元画像コンファレンス'96, pp.1-6 (1996.7) Heung-Yeung Shun, Sing Bing Kang, Shing-Chow Chan, "Survey of Image-Based Representations and Compression Techniques," IEEE Trans., Circuits Syst., Video Technol., vol.13, no.11, pp.1020-1037, 2003 M.Tanimoto, S.Sakaguchi, T.Kobayashi, T.Fujii, T.Kimoto, "The Hierarchical Ray Space for 3-D Imaging," EVA 2000 Florence（2000.3）

複数のカメラで構成される撮像系では、カメラから取得する画像情報は膨大なものとなる。この膨大な画像情報を、ユーザは一度の画像として見るようなことはなく、通常はこのうちの一部分を選択して見ることになる。例えば、ユーザの所望する視点位置や視線方向の画像情報を見る場合には、その画像を生成するために必要な画像情報または光線情報のみが必要であって、必ずしも全ての画像情報は必要ではない。

このようなことを背景にして、通常の場合、複数のカメラ入力画像は一旦記録媒体に蓄積されることになる。

このとき、記録する対象である画像情報は膨大なものとなることから、記録媒体としてはＤＲＡＭのような撮像デバイスに含まれる小容量のメモリではなく、ハードディスクなどのような大容量の外部記憶装置が使用される。ここで、メモリは高速にデータを転送することができるのに対して、ハードディスクなどの外部記憶装置は記録媒体に記録する処理時間が膨大なものとなるという問題がある。

従来技術では、複数のカメラ入力画像などを取り扱う場合にも、特別な工夫を施すことなく、それぞれのカメラ入力画像を符号化して、ハードディスクなどのような大容量の外部記憶装置に蓄積するようにしていた。

これから、従来技術に従っていると、複数のカメラで構成される撮像系で撮像される画像情報を蓄積する場合に、その蓄積に多大な時間を要するという問題がある。

本発明はかかる事情に鑑みてなされたものであって、複数のカメラで構成される撮像系で撮像される画像情報などを蓄積する場合に、その蓄積に要する時間を大幅に短縮できるようにする新たな画像変換技術の提供を目的とする。

〔１〕本発明の画像変換装置の構成
上記目的を達成するために、本発明の画像変換装置は、（イ）画像情報をＮ（Ｎは２以上の整数）個のバンドデータに空間サブバンド分割する空間サブバンド分割部と、（ロ）各バンドデータをＭ（Ｍは２以上、Ｎ以下の整数）個の転送先のいずれか１箇所へ振り分けて送信するバンド振り分け送信部と、（ハ）バンドデータを受信しデータフォーマットに変換して蓄積し、かつ、この変換にあたって、変換元となったバンドデータの時刻情報を組み込む形でデータフォーマット変換を行って、その変換したデータフォーマットを蓄積するとともに、変換元となったバンドデータが高域バンドデータである場合には、低域バンドデータが存在することを示す情報と、その低域バンドデータが蓄積されている場所を示す情報とについて蓄積し、一方、変換元となったバンドデータが低域バンドデータである場合には、高域バンドデータが存在することを示す情報と、その高域バンドデータが蓄積されている場所を示す情報とについて蓄積するフォーマット変換蓄積部とを備えるように構成する。

以上の各処理手段が動作することで実現される本発明の画像変換方法はコンピュータプログラムで実現できるものであり、このコンピュータプログラムは、半導体メモリなどのような適当な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。

このように構成される本発明の画像変換装置では、画像情報をＮ個のバンドデータに空間サブバンド分割して、各バンドデータをＭ個の転送先のいずれか１箇所へ振り分けて送信し、その振り分け先で、バンドデータを受信しデータフォーマットに変換して対となる蓄積部に蓄積する。
そして、この変換・蓄積にあたって、変換元となったバンドデータの時刻情報を組み込む形でデータフォーマット変換を行って、その変換したデータフォーマットを蓄積するとともに、変換元となったバンドデータが高域バンドデータである場合には、低域バンドデータが存在することを示す情報と、その低域バンドデータが蓄積されている場所を示す情報とについて蓄積し、一方、変換元となったバンドデータが低域バンドデータである場合には、高域バンドデータが存在することを示す情報と、その高域バンドデータが蓄積されている場所を示す情報とについて蓄積する。

このようにして、本発明の画像変換装置によれば、画像情報を空間サブバンド分割することで複数のバンドに分割して、バンドデータ毎に蓄積する媒体を選択することができるようになる。

ここで得られる各バンドデータのデータ量は、１画面の画像情報のデータ量よりも一般的に少ない。従って、カメラで撮影される画像情報の１フレームあたりの平均の蓄積処理をバンド数分だけ並列に処理することができるようになることで、蓄積にかかる時間を大幅に短縮することができるようになる。

〔２〕本発明の動画像変換装置の構成
上記目的を達成するために、本発明の動画像変換装置は、（イ）動画像情報をＮ（Ｎは２以上の整数）個のバンドデータに時空間サブバンド分割する時空間サブバンド分割部と、（ロ）各バンドデータをＭ（Ｍは２以上、Ｎ以下の整数）個の転送先のいずれか１箇所へ振り分けて送信するバンド振り分け送信部と、（ハ）バンドデータを受信しデータフォーマットに変換して蓄積し、かつ、この変換にあたって、変換元となったバンドデータの時刻情報を組み込む形でデータフォーマット変換を行って、その変換したデータフォーマットを蓄積するとともに、変換元となったバンドデータが高域バンドデータである場合には、低域バンドデータが存在することを示す情報と、その低域バンドデータが蓄積されている場所を示す情報とについて蓄積し、一方、変換元となったバンドデータが低域バンドデータである場合には、高域バンドデータが存在することを示す情報と、その高域バンドデータが蓄積されている場所を示す情報とについて蓄積するフォーマット変換蓄積部とを備えるように構成する。

以上の各処理手段が動作することで実現される本発明の動画像変換方法はコンピュータプログラムで実現できるものであり、このコンピュータプログラムは、半導体メモリなどのような適当な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。

このように構成される本発明の動画像変換装置では、動画像情報をＮ個のバンドデータに時空間サブバンド分割して、各バンドデータをＭ個の転送先のいずれか１箇所へ振り分けて送信し、その振り分け先で、バンドデータを受信しデータフォーマットに変換して対となる蓄積部に蓄積する。
そして、この変換・蓄積にあたって、変換元となったバンドデータの時刻情報を組み込む形でデータフォーマット変換を行って、その変換したデータフォーマットを蓄積するとともに、変換元となったバンドデータが高域バンドデータである場合には、低域バンドデータが存在することを示す情報と、その低域バンドデータが蓄積されている場所を示す情報とについて蓄積し、一方、変換元となったバンドデータが低域バンドデータである場合には、高域バンドデータが存在することを示す情報と、その高域バンドデータが蓄積されている場所を示す情報とについて蓄積する。

このようにして、本発明の動画像変換装置によれば、動画像情報を時空間サブバンド分割することで複数のバンドに分割して、バンドデータ毎に蓄積する媒体を選択することができるようになる。

これをカメラ撮像系に適用するには、例えば次のような手順となる。

カメラで撮影される画像情報を蓄積するメモリを備えておき、撮影される画像情報を複数フレーム分蓄積する。そして、蓄積されている複数フレーム分の画像情報に対して時間サブバンド分割を適用して、複数のバンドに分割する。このとき、低域成分について時間サブバンド分割を繰り返す。次に、得られた各バンドデータに対して、更に空間サブバンド分割を適用する。そして、バンドデータ毎に蓄積する媒体を選択する。

ここで、この例では、最初に時間サブバンド分割し、それに対して空間サブバンド分割するという処理手順で説明したが、最初に空間サブバンド分割し、それに対して時間サブバンド分割するという処理手順をとってもよい。

フォーマット変換蓄積部で変換するフォーマットとしては、各バンドデータの先頭に時刻情報をつけて時刻順序に配列したものとなる。更に、バンドデータを可逆符号化または不可逆符号化してもよい。また、時刻の異なるバンドデータ間でフレーム間予測符号化を適用しても良い。

また、このフォーマット変換蓄積部については、ネットワークで繋がれた複数の蓄積機器で構成されてもよいし、ＰＣＩバスやシリアルバスで接続された複数の蓄積機器で構成されてもよい。ＰＣＩバスなどで接続される場合には、複数の蓄積機器はＲＡＩＤ構成で実現してもよい。

この処理を実行するにあたって、本発明の画像変換装置や本発明の動画像変換装置では、フォーマット変換蓄積部で蓄積する際に、他のフォーマットデータとの依存関係を同時に蓄積するように処理する。

すなわち、高域バンドデータは低域バンドデータが無いと画像情報を再構成できない。そこで、高域バンドデータを蓄積するフォーマットでは、低域バンドデータが画像の再構成には必要であることを示す情報と、低域バンドデータが蓄積されている場所を示す情報とを蓄積する。また、低域バンドデータを蓄積するフォーマットでは、解像度を上げることに利用できる高域バンドデータが他にあることを示す情報と、高域バンドデータが蓄積されている場所を示す情報とを蓄積する。

以上に説明したように、本発明によれば、画像情報を空間サブバンド分割または時空間サブバンド分割することで複数のバンドに分割して、バンドデータ毎に蓄積する媒体を選択することができるようになる。

ここで得られる各バンドデータのデータ量は、１画面の画像情報のデータ量よりも一般的に少ない。

従って、本発明によれば、カメラで撮影される画像情報の１フレームあたりの蓄積処理をバンド数分だけ並列処理にすることができるようになることで、蓄積にかかる時間を大幅に短縮することができるようになる。

以下、実施の形態に従って本発明を詳細に説明する。

カメラから入力された画像情報を空間サブバンド分割（ウエーブレット変換などを用いることにより空間サブバンド分割する）して、４箇所に転送し、各バンドでフレーム間予測符号化を適用してフォーマット変換する場合の処理例について説明する。

フレーム間予測符号化としてはＨ.264符号化方式を用いるとする。また、空間サブバンド分割では、画像情報を一度サブバンド分割し、更に低域成分をサブバンド分割するものとする。また、バンド振り分け送信部では、空間サブバンド分割部で画像情報をサブバンド分割したバンドを基準に転送先を選択するものとする。

図１に、空間サブバンド分割したバンド構成の例と転送する基準とを示す。

この図では、画像情報を１回サブバンド分割したときの縦横高域成分をＨＨで示し、縦低域横高域成分をＨＬで示し、縦高域横低域成分をＬＨで示す。そして、画像情報を１回サブバンド分割したときの縦横低域成分に対して、更に１回サブバンド分割したときの縦横高域成分をＬＬ−ＨＨで示し、縦低域横高域成分をＬＬ−ＨＬで示し、縦高域横低域成分をＬＬ−ＬＨで示し、縦横低域成分をＬＬ−ＬＬで示す。

この例では、合計７バンドに分割されるが、バンド振り分けについては、図中に示す太い枠で示した基準で４箇所に転送する。

図２に、本発明を具備する動画像変換装置の一実施形態例を図示する。

この図に示すように、本発明を具備する動画像変換装置は、動画像を撮影する画像撮像部１０１と、画像を空間サブバンド分割する空間サブバンド分割部１０２と、バンドデータを４箇所に転送するバンド振り分け送信部１０３と、第１のバンドデータを受信しデータフォーマットに変換して蓄積する第１のフォーマット変換蓄積部１０４-1と、第２のバンドデータを受信しデータフォーマットに変換して蓄積する第２のフォーマット変換蓄積部１０４-2と、第３のバンドデータを受信しデータフォーマットに変換して蓄積する第３のフォーマット変換蓄積部１０４-3と、第４のバンドデータを受信しデータフォーマットに変換して蓄積する第４のフォーマット変換蓄積部１０４-4とを備える。

第１のフォーマット変換蓄積部１０４-1の処理する第１のバンドデータにはＬＬ−ＬＬ、ＬＬ−ＨＬ、ＬＬ−ＬＨ、ＬＬ−ＨＨバンドが含まれており、第２のフォーマット変換蓄積部１０４-2の処理する第２のバンドデータにはＨＬバンドが含まれており、第３のフォーマット変換蓄積部１０４-3の処理する第３のバンドデータにはＬＨバンドが含まれており、第４のフォーマット変換蓄積部１０４-4の処理する第４のバンドデータにはＨＨバンドが含まれている。

図３に、フォーマット変換蓄積部１０４-i（ｉ＝１〜４）の一実施形態例を図示する。

この図に示すように、各フォーマット変換蓄積部１０４-iは、バンド毎にデータを入力するデータ入力部２０１と、参照画像との間で動き探索を行って符号化モードを決定する動き探索モード決定部２０２と、参照画像との間で動き補償をして予測残差を求める動き補償部２０３と、予測残差を符号化する符号化部２０４と、符号化データを復号する復号部２０５と、復号画像を蓄積する参照画像メモリ２０６と、各フレームの時刻情報を符号化するフレーム時刻符号化部２０７と、符号化データと時刻情報とを多重化して蓄積媒体に蓄積する媒体蓄積部２０８とを備える。

第１のバンドデータを処理する第１のフォーマット変換蓄積部１０４-1の実行する処理について説明するならば、第１のフォーマット変換蓄積部１０４-1は、ＬＬ−ＬＬ、ＬＬ−ＨＬ、ＬＬ−ＬＨ、ＬＬ−ＨＨバンドの順序で各バンドを符号化する。参照画像メモリ２０６には各バンドに対応した個別のメモリが用意されている。

第１のフォーマット変換蓄積部１０４-1は、まず、フレーム時刻符号化部２０７を使って入力フレームの時刻を符号化する。そして、ＬＬ−ＬＬ成分の画像情報を入力し、動き探索をして符号化モードを決定する。このとき、ＬＬ−ＬＬ成分用の参照画像メモリ２０６に蓄積されている画像を参照画像に使用する。そして、動き補償して符号化し、符号化データを復号して、ＬＬ−ＬＬ成分用の参照画像メモリ２０６に復号画像を蓄積する。

次に、第１のフォーマット変換蓄積部１０４-1は、ＬＬ−ＨＬ成分の画像情報を入力して、動き補償して符号化する。このとき、動きベクトルと符号化モードとについては、ＬＬ−ＬＬ成分で求めたものを使用する。また、動き補償部２０３では、ＬＬ−ＨＬ成分用の参照画像メモリ２０６に蓄積されている画像を参照画像に使用する。そして、符号化データを復号して、ＬＬ−ＨＬ成分用の参照画像メモリ２０６に復号画像を蓄積する。

次に、第１のフォーマット変換蓄積部１０４-1は、ＬＬ−ＬＨ成分の画像情報を入力して、動き補償して符号化する。このとき、動きベクトルと符号化モードとについては、ＬＬ−ＬＬ成分で求めたものを使用する。また、動き補償部２０３では、ＬＬ−ＬＨ成分用の参照画像メモリ２０６に蓄積されている画像を参照画像に使用する。そして、符号化データを復号して、ＬＬ−ＬＨ成分用の参照画像メモリ２０６に復号画像を蓄積する。

次に、第１のフォーマット変換蓄積部１０４-1は、ＬＬ−ＨＨ成分の画像情報を入力して、動き補償して符号化する。このとき、動きベクトルと符号化モードとについては、ＬＬ−ＬＬ成分で求めたものを使用する。また、動き補償部２０３では、ＬＬ−ＨＨ成分用の参照画像メモリ２０６に蓄積されている画像を参照画像に使用する。そして、符号化データを復号して、ＬＬ−ＨＨ成分用の参照画像メモリ２０６に復号画像を蓄積する。

最後に、第１のフォーマット変換蓄積部１０４-1は、媒体蓄積部２０８を使って、フレーム時刻符号化データと各バンドの符号化データとを多重化して、蓄積媒体に蓄積する。

一方、第２のバンドデータを処理する第２のフォーマット変換蓄積部１０４-2は、Ｈ.264符号化方式を適用して、ＨＬ成分の画像情報をフレーム間予測符号化する。また、第３のバンドデータを処理する第３のフォーマット変換蓄積部１０４-3は、Ｈ.264符号化方式を適用して、ＬＨ成分の画像情報をフレーム間予測符号化する。また、第４のバンドデータを処理する第４のフォーマット変換蓄積部１０４-4は、Ｈ.264符号化方式を適用して、ＨＨ成分の画像情報をフレーム間予測符号化する。

このような前提で、画像撮像部１０１により撮影して得られる動画像情報を４箇所に転送し、フォーマット変換して蓄積媒体に蓄積させる手順について説明する。

まず、画像撮像部１０１は、画像情報を撮影し、これを受けて、空間サブバンド分割部１０２は、画像情報を空間サブバンド分割し、これを受けて、バンド振り分け送信部１０３は、図１に示す基準（太枠で示した基準）に従ってバンドデータを４箇所に転送する。

このバンドデータの転送を受けて、第１のフォーマット変換蓄積部１０４-1では、４つのバンドデータ（ＬＬ−ＬＬ、ＬＬ−ＨＬ、ＬＬ−ＬＨ、ＬＬ−ＨＨバンド）を受信して、Ｈ.264符号化方式を適用して符号化して蓄積媒体に蓄積する。そして、第２のフォーマット変換蓄積部１０４-2では、１つのバンドデータ（ＨＬバンド）を受信して、Ｈ.264符号化方式を適用して符号化して蓄積媒体に蓄積する。そして、第３のフォーマット変換蓄積部１０４-3では、１つのバンドデータ（ＬＨバンド）を受信して、Ｈ.264符号化方式を適用して符号化して蓄積媒体に蓄積する。そして、第４のフォーマット変換蓄積部１０４-4では、１つのバンドデータ（ＨＨバンド）を受信してＨ．２６４符号化方式を適用して符号化して蓄積媒体に蓄積する。

本発明を具備する動画像変換装置は、以上の手順を画像を撮影する度に繰り返し実行する。

このようにして、図２及び図３のように構成される本発明を具備する動画像変換装置では、画像情報を空間サブバンド分割して、４箇所に転送して個別に蓄積するように処理することから、カメラで撮影される画像情報の１フレームあたりの蓄積処理を４並列処理にすることができることで、その蓄積にかかる時間を大幅に短縮することができるようになる。

このように構成されるときにあって、バンド振り分け送信部１０３は、偶数フレームと奇数フレームとで転送先を替えることにより合計８箇所に転送するようにしてもよい。

この場合には、図４に示すように、蓄積媒体に蓄積するフォーマット変換蓄積部１０４-iとして４個追加する構成を採ることになる。この方法を用いれば、１フレームあたりの蓄積処理を平均８並列処理にすることができ、蓄積にかかる時間を更に短縮することができることになる。

図２に示す本発明を具備する動画像変換装置では、空間サブバンド分割部１０２を使って画像を空間サブバンド分割するようにしているが、画像を時空間サブバンド分割するようにしてもよい。

この構成を採る場合には、図５に示すように、空間サブバンド分割部１０２に代えて時空間サブバンド分割部１０５を備えるとともに、画像撮像部１０１により撮像される画像情報を複数フレーム分蓄積する画像メモリ１０６を備えることになる。

空間サブバンド分割部１０２に代えて時空間サブバンド分割部１０５を備える場合には、図６に示すように、ＭＣＴＦ手法(Motion Compensated Temporal Filtering：動き方向に２フレーム間でサブバンド分割用分析フィルタを適用する技術）を用いて、蓄積されている複数フレーム分の画像情報に対して時間サブバンド分割を適用することで、複数のバンドに分割して（このとき、低域成分について時間サブバンド分割を繰り返す）、図７に示すように、得られた各バンドデータに対して、更に空間サブバンド分割を適用するという処理を行うことになる。

ここで、この例では、時空間サブバンド分割部１０５は、最初に時間サブバンド分割し、それに対して空間サブバンド分割するという処理手順で説明したが、図８に示すように、最初に空間サブバンド分割し、それに対して時間サブバンド分割するという処理手順をとってもよい。

なお、時間サブバンド分割については、下記の文献に詳しく紹介されている。

（１）Jens-Ralner Ohm, "Three-Dimensional Subband Coding with Motion Compensattion," IEEE Trans, Image Proc., vol.3, no.5, pp.559-571, 1994.
（２）Lin Luo, Feng Wu, Shipeng Li and Zhenquan Zhuang, "Advanced Lifting-Based Motion-Threading (MTh) Technique for the 3D Wavelet Video Coding," VCIP2003, vol.5150, pp.707-718, 2003.
（３）Ylannis Andreopoulos, Mihaela Van der Schaar, Adrian Munteanu, Joerl Barbarien, Peter Schelkens and Jan Cornelis, "COMPLETE-TO-OVERCOMPLETE DISCRETE WAVELET TRANSFORMS FOR SCALABLE VIDEO CODING WITH MCTF," VCIP2003, vol.5150, pp.719-731, 2003.
（４）Shih-Ta Hsiang and John W.Woods, "Embedded video coding using invertible motion compensated 3-D subband / wavelet filter bank," Signal Processing : Image Communication, vol.16, pp.705-724, 2001.
（５）Jong Chul Ye and Mihaela van der Schaar, "Fully Scalable 3-D Overcomplete Wavelet Video Coding using Adaptive Motion Compensated Temporal Filtering," VCIP2003, vol.5150, pp.1169-1180, 2003.
以上に説明した実施形態例では、フォーマット変換蓄積部１０４-iではＨ.264符号化方式を用いたが、別の符号化方式を用いてもよい。例えば、ＭＣ−ＥＺＢＣ方式（上述の文献（４))を用いてもよい。

図９に、この場合におけるフォーマット変換蓄積部１０４-1（ＬＬ−ＬＬ、ＬＬ−ＨＬ、ＬＬ−ＬＨ、ＬＬ−ＨＨバンドを処理する）の構成を示す。

この図に示すように、この構成を採る場合には、フォーマット変換蓄積部１０４-1は、バンド毎にデータを入力するデータ入力部２０１と、バンドデータを蓄積する画像メモリ２０９と、画像メモリ２０９に蓄積されたデータ間で動き補償を行いながら時間サブバンド分割を行う時間サブバンド分割部２１０と、サブバンドデータをエントロピー符号化するエントロピー符号化部２１１と、各フレームの時刻情報を符号化するフレーム時刻符号化部２０７と、符号化データと時刻情報とを多重化して蓄積媒体に蓄積する媒体蓄積部２０８とを備える。

このとき、フォーマット変換蓄積部１０４-1は、ＬＬ−ＬＬ、ＬＬ−ＨＬ、ＬＬ−ＬＨ、ＬＬ−ＨＨバンドの順序で各バンドを符号化する。ただし、各バンドで８フレーム分をまとめて符号化する。画像メモリ２０９には各バンドに対応した個別のメモリが用意されている。

このように構成される場合、フォーマット変換蓄積部１０４-1は次のように動作する。すなわち、まず、フレーム時刻符号化部２０７は、入力フレームの時刻を符号化する。そして、データ入力部２０１は、ＬＬ−ＬＬ成分の画像情報を８フレーム分入力して画像メモリ２０９に蓄積する。時間サブバンド分割部２１０は、画像メモリ２０９に蓄積されているバンドデータをサブバンド分割する。エントロピー符号化部２１１は、バンドデータをエントロピー符号化する。続いて、ＬＬ−ＨＬ成分、ＬＬ−ＬＨ成分、ＬＬ−ＨＨ成分の順序で各バンドの符号化を繰り返す。最後に、媒体蓄積部２０８は、フレーム時刻符号化データと各バンドの符号化データとを多重化して蓄積媒体に蓄積する。

図示実施形態例に従って本発明を説明したが、本発明はこれに限定されるものではない。例えば、実施形態例では、カメラは１つしか備えない例を示したが、カメラが複数ある場合には、カメラの台数分だけ、この構成を並列に構築すればよい。

また、フォーマット変換蓄積部１０４-2とフォーマット変換蓄積部１０４-3とフォーマット変換蓄積部１０４-4とに蓄積されるデータを使って画像情報を再構成するには、フォーマット変換蓄積部１０４-1に蓄積されるデータを使用する必要がある。そこで、例えば、これらのフォーマット変換蓄積部１０４-iがネットワークで接続されている場合には、蓄積媒体に蓄積するときに、他のフォーマット変換蓄積部のＵＲＬを同時に蓄積するようにしてもよい。

空間サブバンド分割した場合のバンド構成の一例を示す図である。本発明を具備する動画像変換装置の一実施形態例である。フォーマット変換蓄積部の一実施形態例である。本発明を具備する動画像変換装置の他の実施形態例である。本発明を具備する動画像変換装置の他の実施形態例である。時間サブバンド分割の説明図である。時空間サブバンド分割の説明図である。時空間サブバンド分割の説明図である。フォーマット変換蓄積部の他の実施形態例である。

符号の説明

１０１画像撮像部
１０２空間サブバンド分割部
１０３バンド振り分け送信部
１０４フォーマット変換蓄積部
２０１データ入力部
２０２動き探索モード決定部
２０３動き補償部
２０４符号化部
２０５復号部
２０６参照画像メモリ
２０７フレーム時刻符号化部
２０８媒体蓄積部

Claims

画像データを予め規定されたデータフォーマットに変換して蓄積する画像変換装置であって、
画像情報をＮ（Ｎは２以上の整数）個のバンドデータに空間サブバンド分割する空間サブバンド分割部と、
各バンドデータをＭ（Ｍは２以上、Ｎ以下の整数）個の転送先のいずれか１箇所へ振り分けて送信するバンド振り分け送信部と、
バンドデータを受信しデータフォーマットに変換して蓄積し、かつ、この変換にあたって、変換元となったバンドデータの時刻情報を組み込む形でデータフォーマット変換を行って、その変換したデータフォーマットを蓄積するとともに、変換元となったバンドデータが高域バンドデータである場合には、低域バンドデータが存在することを示す情報と、その低域バンドデータが蓄積されている場所を示す情報とについて蓄積し、一方、変換元となったバンドデータが低域バンドデータである場合には、高域バンドデータが存在することを示す情報と、その高域バンドデータが蓄積されている場所を示す情報とについて蓄積するフォーマット変換蓄積部と、
を備えることを特徴とする画像変換装置。
動画像データを予め規定されたデータフォーマットに変換して蓄積する動画像変換装置であって、
動画像情報をＮ（Ｎは２以上の整数）個のバンドデータに時空間サブバンド分割する時空間サブバンド分割部と、
各バンドデータをＭ（Ｍは２以上、Ｎ以下の整数）個の転送先のいずれか１箇所へ振り分けて送信するバンド振り分け送信部と、
バンドデータを受信しデータフォーマットに変換して蓄積し、かつ、この変換にあたって、変換元となったバンドデータの時刻情報を組み込む形でデータフォーマット変換を行って、その変換したデータフォーマットを蓄積するとともに、変換元となったバンドデータが高域バンドデータである場合には、低域バンドデータが存在することを示す情報と、その低域バンドデータが蓄積されている場所を示す情報とについて蓄積し、一方、変換元となったバンドデータが低域バンドデータである場合には、高域バンドデータが存在することを示す情報と、その高域バンドデータが蓄積されている場所を示す情報とについて蓄積するフォーマット変換蓄積部と、
を備えることを特徴とする動画像変換装置。
画像データを予め規定されたデータフォーマットに変換して蓄積する画像変換方法であって、
画像情報をＮ（Ｎは２以上の整数）個のバンドデータに空間サブバンド分割する空間サブバンド分割ステップと、
各バンドデータをＭ（Ｍは２以上、Ｎ以下の整数）個の転送先のいずれか１箇所へ振り分けて送信するバンド振り分け送信ステップと、
バンドデータを受信しデータフォーマットに変換して対となる蓄積部に蓄積し、かつ、この変換にあたって、変換元となったバンドデータの時刻情報を組み込む形でデータフォーマット変換を行って、その変換したデータフォーマットを蓄積するとともに、変換元となったバンドデータが高域バンドデータである場合には、低域バンドデータが存在することを示す情報と、その低域バンドデータが蓄積されている場所を示す情報とについて蓄積し、一方、変換元となったバンドデータが低域バンドデータである場合には、高域バンドデータが存在することを示す情報と、その高域バンドデータが蓄積されている場所を示す情報とについて蓄積するフォーマット変換蓄積ステップと、
を実行することを特徴とする画像変換方法。
動画像データを予め規定されたデータフォーマットに変換して蓄積する動画像変換方法であって、
動画像情報をＮ（Ｎは２以上の整数）個のバンドデータに時空間サブバンド分割する時空間サブバンド分割ステップと、
各バンドデータをＭ（Ｍは２以上、Ｎ以下の整数）個の転送先のいずれか１箇所へ振り分けて送信するバンド振り分け送信ステップと、
バンドデータを受信しデータフォーマットに変換して対となる蓄積部に蓄積し、かつ、この変換にあたって、変換元となったバンドデータの時刻情報を組み込む形でデータフォーマット変換を行って、その変換したデータフォーマットを蓄積するとともに、変換元となったバンドデータが高域バンドデータである場合には、低域バンドデータが存在することを示す情報と、その低域バンドデータが蓄積されている場所を示す情報とについて蓄積し、一方、変換元となったバンドデータが低域バンドデータである場合には、高域バンドデータが存在することを示す情報と、その高域バンドデータが蓄積されている場所を示す情報とについて蓄積するフォーマット変換蓄積ステップと、
を実行することを特徴とする動画像変換方法。
画像データを予め規定されたデータフォーマットに変換して蓄積する処理を行う画像変換プログラムであって、
画像情報をＮ（Ｎは２以上の整数）個のバンドデータに空間サブバンド分割する空間サブバンド分割処理と、
各バンドデータをＭ（Ｍは２以上、Ｎ以下の整数）個の転送先のいずれか１箇所へ振り分けて送信するバンド振り分け送信処理と、
バンドデータを受信しデータフォーマットに変換して対となる蓄積部に蓄積し、かつ、この変換にあたって、変換元となったバンドデータの時刻情報を組み込む形でデータフォーマット変換を行って、その変換したデータフォーマットを蓄積するとともに、変換元となったバンドデータが高域バンドデータである場合には、低域バンドデータが存在することを示す情報と、その低域バンドデータが蓄積されている場所を示す情報とについて蓄積し、一方、変換元となったバンドデータが低域バンドデータである場合には、高域バンドデータが存在することを示す情報と、その高域バンドデータが蓄積されている場所を示す情報とについて蓄積するフォーマット変換蓄積処理とをコンピュータに実行させるための画像変換プログラム。
動画像データを予め規定されたデータフォーマットに変換して蓄積する処理を行う動画像変換プログラムであって、
動画像情報をＮ（Ｎは２以上の整数）個のバンドデータに時空間サブバンド分割する時空間サブバンド分割処理と、
各バンドデータをＭ（Ｍは２以上、Ｎ以下の整数）個の転送先のいずれか１箇所へ振り分けて送信するバンド振り分け送信処理と、
バンドデータを受信しデータフォーマットに変換して対となる蓄積部に蓄積し、かつ、この変換にあたって、変換元となったバンドデータの時刻情報を組み込む形でデータフォーマット変換を行って、その変換したデータフォーマットを蓄積するとともに、変換元となったバンドデータが高域バンドデータである場合には、低域バンドデータが存在することを示す情報と、その低域バンドデータが蓄積されている場所を示す情報とについて蓄積し、一方、変換元となったバンドデータが低域バンドデータである場合には、高域バンドデータが存在することを示す情報と、その高域バンドデータが蓄積されている場所を示す情報とについて蓄積するフォーマット変換蓄積処理とをコンピュータに実行させるための動画像変換プログラム。
画像データを予め規定されたデータフォーマットに変換して蓄積する処理を行う画像変換プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
画像情報をＮ（Ｎは２以上の整数）個のバンドデータに空間サブバンド分割する空間サブバンド分割処理と、
各バンドデータをＭ（Ｍは２以上、Ｎ以下の整数）個の転送先のいずれか１箇所へ振り分けて送信するバンド振り分け送信処理と、
バンドデータを受信しデータフォーマットに変換して対となる蓄積部に蓄積し、かつ、この変換にあたって、変換元となったバンドデータの時刻情報を組み込む形でデータフォーマット変換を行って、その変換したデータフォーマットを蓄積するとともに、変換元となったバンドデータが高域バンドデータである場合には、低域バンドデータが存在することを示す情報と、その低域バンドデータが蓄積されている場所を示す情報とについて蓄積し、一方、変換元となったバンドデータが低域バンドデータである場合には、高域バンドデータが存在することを示す情報と、その高域バンドデータが蓄積されている場所を示す情報とについて蓄積するフォーマット変換蓄積処理とをコンピュータに実行させるための画像変換プログラムを記録したコンピュータ読み取り可能な記録媒体。
動画像データを予め規定されたデータフォーマットに変換して蓄積する処理を行う動画像変換プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
動画像情報をＮ（Ｎは２以上の整数）個のバンドデータに時空間サブバンド分割する時空間サブバンド分割処理と、
各バンドデータをＭ（Ｍは２以上、Ｎ以下の整数）個の転送先のいずれか１箇所へ振り分けて送信するバンド振り分け送信処理と、
バンドデータを受信しデータフォーマットに変換して対となる蓄積部に蓄積し、かつ、この変換にあたって、変換元となったバンドデータの時刻情報を組み込む形でデータフォーマット変換を行って、その変換したデータフォーマットを蓄積するとともに、変換元となったバンドデータが高域バンドデータである場合には、低域バンドデータが存在することを示す情報と、その低域バンドデータが蓄積されている場所を示す情報とについて蓄積し、一方、変換元となったバンドデータが低域バンドデータである場合には、高域バンドデータが存在することを示す情報と、その高域バンドデータが蓄積されている場所を示す情報とについて蓄積するフォーマット変換蓄積処理とをコンピュータに実行させるための動画像変換プログラムを記録したコンピュータ読み取り可能な記録媒体。