JP5017646B2

JP5017646B2 - 映像伝送システム、映像伝送装置、映像伝送方法、探査ロボット、及びプログラム

Info

Publication number: JP5017646B2
Application number: JP2007044723A
Authority: JP
Inventors: 政宏岩橋; 哲也木村
Original assignee: Nagaoka University of Technology
Current assignee: Nagaoka University of Technology
Priority date: 2007-02-23
Filing date: 2007-02-23
Publication date: 2012-09-05
Anticipated expiration: 2027-02-23
Also published as: JP2008211405A

Description

本発明は、映像伝送システム、映像伝送装置、映像伝送方法、探査ロボット、及びプログラムに関し、特に、自走式ロボットに搭載されたカメラにより得られた映像信号を伝送するシステムに用いて好適なものである。

高い旋回性能と安定した重心バランスにより、段差の乗越えや狭小空間への進入が可能なクローラ型走行ロボットが開発されている（例えば、特許文献１参照。）。このような走行ロボットにカメラを搭載して、撮影された映像の映像信号を遠隔地点に伝送することで、表示された映像を見ながらロボットを遠隔操作するためのロボットビジョン・システムも開発されている。その際、膨大な映像信号をインターネット等の通信ネットワーク経由で伝送する方法が各種提案されている（例えば、特許文献２参照。）。

特開２００５−１１１５９５号公報特開２００２−３０５７４３号公報

しかしながら、従来において、ロボットに搭載されたカメラで撮影される映像は、常に同じ画素数かつ同じフレームレートで伝送されるため、映像信号の伝送路に対して、常に膨大な量のデータ転送、すなわち広い伝送帯域を要求することになる。その結果、混線や輻輳といった伝送路の障害による影響を受けやすい。例えば、迅速かつ正確であることが要求される消防活動や救助活動に、カメラを搭載したロボットを利用する場合にはできるだけ安定した映像の伝送は欠かせない。

本発明は、状況に応じて映像成分を適応的に伝送し、伝送路の帯域を有効に活用できるようにすることを目的とする。

本発明の映像伝送装置は、撮像装置を搭載した移動機能を有するロボットの前記撮像装置により得られる映像信号を、伝送路を介して遠隔地の受信側装置に伝送する映像伝送装置であって、前記撮像装置により得られる映像信号を時空間分解処理して複数の映像成分に分解する分解手段と、前記分解手段により分解された複数の映像成分の中から、状況に応じて送信する映像成分を選択する選択手段と、前記選択手段により選択された映像成分を送信する送信手段とを備え、前記分解手段は、前記撮像装置により得られる映像信号を、当該映像信号を構成する複数のフレームについてのフレーム間処理により時間方向に複数の成分に分解する時間的順変換手段、及びフレーム内処理により空間方向に複数の成分に分解する空間的順変換手段を有し、前記時間的順変換手段は、前記映像信号を構成する連続したフレームを隣接する複数のフレームからなるフレーム群に分割して、各フレーム群に対して順方向に時間的変換処理としてＮ×Ｎ画素（Ｎは正の整数）の順方向の直交変換を施し、前記時間的変換処理して得られた低域のＭ×Ｍ画素（Ｍは正の整数かつＭ＜Ｎ）を時間方向に係る第１成分とし、残りの成分を時間方向に係る第２成分とすることを特徴とする。
本発明の映像伝送装置は、撮像装置を搭載した移動機能を有するロボットの前記撮像装置により得られる映像信号を、伝送路を介して遠隔地の受信側装置に伝送する映像伝送装置であって、前記撮像装置により得られる映像信号を時空間分解処理して複数の映像成分に分解する分解手段と、前記分解手段により分解された複数の映像成分の中から、状況に応じて送信する映像成分を選択する選択手段と、前記選択手段により選択された映像成分を送信する送信手段とを備え、前記分解手段は、前記撮像装置により得られる映像信号を、当該映像信号を構成する複数のフレームについてのフレーム間処理により時間方向に複数の成分に分解する時間的順変換手段、及びフレーム内処理により空間方向に複数の成分に分解する空間的順変換手段を有し、前記時間的順変換手段は、前記映像信号を構成する連続したフレームを隣接する複数のフレームからなるフレーム群に分割して、各フレーム群に対して順方向に時間的変換処理としてＳステージ（Ｓは正の整数）のオクターブ分割を施し、前記時間的変換処理して得られた第Ｔステージ（Ｔは正の整数かつＴ＞Ｓ）の低域成分の復号に用いられる成分を時間方向に係る第１成分とし、残りの成分を時間方向に係る第２成分とすることを特徴とする。

本発明によれば、ロボットに搭載された撮像装置により得られる映像信号を時間方向及び空間方向に複数の映像成分に分解し、状況に応じた映像成分を適切に選択して送信し、それをもとに受信側で映像を再生させる。これにより、常に映像成分のすべてを伝送する場合と比較して、伝送するデータ量を低減し、伝送路の帯域を有効に活用することができる。

以下、本発明の実施形態を図面に基づいて説明する。

＜第１の実施形態＞
本発明の第１の実施形態における映像伝送システムは、自走式ロボットに搭載されたカメラにより得られる映像信号を、データ伝送路を介して遠隔地の受信側装置に伝送するシステムであって、映像信号を複数の映像成分に分解して、利用状況に応じて映像成分を選択し圧縮伝送する。

図１は、第１の実施形態における映像伝送システムの構成例を示すブロック図である。第１の実施形態における映像伝送システムは、図１に示すように、自走式のロボット１とロボット１の操縦者あるいは状況の観察者といった映像の受信者が利用する受信側装置３とが、データ伝送路２を介して通信可能なように接続される。ここで、データ伝送路２は、ロボット１と受信側装置３との間でデータが伝送可能であればよく、インターネット等の通信ネットワークであっても良いし、ロボット１と受信側装置３に係る個別の通信回線（有線、無線）であっても良い。

以下、図１に示した映像伝送システムについて詳細に説明する。
（ロボット１）
ロボット１は、撮像装置であるカメラ１１を搭載し、遠隔操作により自走することが可能な移動機能を有する自走式ロボットであり、例えば消防活動や救助活動等で使用される探査ロボットである。ロボット１は、カメラ１１、映像信号処理部（送信側）１２Ａ、映像送信部１７、制御信号受信部１８、移動制御部１９、走行装置２０、及び状況検知部２１を有する。

カメラ１１は、ロボット１が存在する地点やその周辺の映像を撮影するためのものであり、遠隔操作によりアングルも操作可能となっている。

映像信号処理部１２Ａは、カメラ１１により撮影された映像の映像信号に対して所定の処理を施す。映像信号処理部１２Ａは、成分分解部１３及び成分選択部１６を有する。
成分分解部１３は、カメラ１１により得られた映像信号に時空間分解処理を施す。成分分解部１３は、時間的順変換部１４及び空間的順変換部１５を有し、映像信号を時間方向及び空間方向に複数の映像成分に分解する。

時間的順変換部１４は、映像信号を構成する複数のフレームについてのフレーム間処理により映像信号を時間方向の映像成分に分解する。また、空間的順変換部１５は、各フレームについてのフレーム内処理により映像信号を空間方向の映像成分に分解する。すなわち、時間的順変換部１４及び空間的順変換部１５により、映像信号は、複数の時空間成分に分解される。

成分選択部１６は、ロボット１の利用状況（例えば、受信者の利用形態や状況検知部２１の検知結果など）に応じて、成分分解部１３により時空間方向に分解して得られた複数の映像成分の中から受信側装置３に送信する映像成分を選択する。本実施形態では、成分選択部１６は、複数の映像成分の中から、ロボット１の利用状況に応じた必要最小限の映像成分を選択するものとする。

映像送信部１７は、映像信号処理部１２Ａから供給される映像信号（詳細には、成分選択部１６により選択された映像成分）を符号化し、データ伝送路２を介して受信側装置３に送信する。

制御信号受信部１８は、データ伝送路２を介して送信された受信側装置３からのロボット１を遠隔操作するための各種制御信号を受信する。移動制御部１９は、制御信号受信部１８にて受信した制御信号に基づいて、ロボット１を移動させる走行装置２０を制御する。状況検知部２１は、ロボット１の状況を検知するものであり、例えば制御信号受信部１８にて受信した制御信号等に基づいて、移動中であるか観察中であるか検知する。

（受信側装置３）
受信側装置３は、ロボット１からの映像を受けてロボット１を遠隔操作する。受信側装置３は、映像受信部３１、映像信号処理部（受信側）３２Ａ、映像表示部３６、操作制御部３７、及び制御信号送信部３８を有する。

映像受信部３１は、ロボット１から送信された映像信号（選択された映像成分）を、データ伝送路２を介して受信して復号する。
映像信号処理部３２Ａは、成分合成部３３を有し、映像受信部３１により得られた映像信号に対して所定の処理を施す。

成分合成部３３は、映像受信部３１により得られた映像成分を合成する。具体的には、成分合成部３３は、時間的逆変換部３４及び空間的逆変換部３５を有し、受信された映像成分を時間方向及び空間方向について合成する。
時間的逆変換部３４は、時間的順変換部１４で施される処理の逆方向のフレーム間処理により時間方向の成分として合成する。また、空間的逆変換部３５は、空間的順変換部１５で施される処理の逆方向のフレーム内処理により空間方向の成分として合成する。

映像表示部３６は、成分合成部３３により合成され生成された映像信号を再生表示する。

操作制御部３７は、オペレータ等からの操作部等を介した入力に基づいて、ロボット１を遠隔操作するための制御信号を生成する。制御信号送信部３８は、操作制御部３７により生成された制御信号をデータ伝送路２を介してロボット１に送信する。

次に、映像信号処理部１２Ａ及び３２Ａでの処理について説明する。
まず、時間的順変換部１４及び時間的逆変換部３４にてそれぞれ行われる時間方向の分解処理及びその逆処理について説明する。

時間的順変換部１４は、映像信号を構成する連続したフレームを、隣接する複数のブロック（隣接する複数のフレームからなるフレーム群）に分割する。そして、分割した各ブロックから１つのフレームを選択して、それを時間方向の第１成分とする。また、例えば各ブロックの残りのフレームを時間方向の第２成分とする。
成分選択部１６は、時間的順変換部１４により時間方向に分解して得られた第１成分及び第２成分を利用状況に応じて選択する。

例えば、時間的順変換部１４は、連続した２つのフレームを１つのブロックとして、ブロック内の最初のフレームをＬ成分、最後のフレームをＨ成分とする。そして、成分選択部１６は、観察時など時間解像度は低くても良いが高い空間解像度が要求される場合には、ブロック内の最初の１フレーム（Ｌ成分）を選択する。
時間的逆変換部３４は、成分選択部１６によって選択されたフレームを受信して合成し映像信号を生成する。したがって、ブロック内の最初の１フレーム（Ｌ成分）のみが選択されている場合には、受信側装置３では１／２にコマ落としされた映像が出力され、時間分解能が低くなる。

まとめると図５に示すように、本実施形態では、状況を精査するために映像をゆっくりパンさせて周囲を観察するような「観察時」には、時間的なＨ成分を伝送しないことによるコマ落しにより時間分解能を低くしてデータの伝送量を低減する。

また、時間的順変換部１４は、連続したフレームを、隣接する複数のブロックに分割し、各ブロックに対して順方向に時間的変換を施すようにしても良い。この場合、成分選択部１６は、観察時など時間解像度は低くても良いが高い空間解像度が要求される場合には、時間的変換により得られた成分から特定の成分のみを選択すれば良い。

時間的変換としては、ウォルシュ・アダマール変換や離散コサイン変換といった直交変換を適用することが可能である。例えば、時間的順変換部１４での時間的変換がＮ×Ｎ点（縦方向にＮ画素かつ横方向にＮ画素）の順方向の直交変換の場合には、時間解像度を低くするために、成分選択部１６は低域のＭ×Ｍ点を選択する。なお、ＮとＭは正の整数であり、Ｎ＞Ｍである。
時間的逆変換部３４は、Ｍ×Ｍ点の逆方向の直交変換を行い、映像信号を生成する。なお、低域に選択されたＭ×Ｍ点を配置し高域にゼロ値を配置してから、Ｎ×Ｎ点の逆方向の直交変換を行うようにしても良い。

また、時間的変換として、ウェーブレット変換やフィルタバンクによるオクターブ分割を適用することも可能である。例えば、時間的順変換部１４での時間的変換がＳステージのオクターブ分割の場合には、時間解像度を低くするために成分選択部１６は第Ｔステージの最低域の成分を復号するのに必要最小限の成分を全て選択する。なお、ＳとＴは正の整数であり、Ｔ＞Ｓである。時間的逆変換部３４は、第Ｔステージの最低域をオクターブ合成してこれを出力する。

オクターブ分割を適用した場合，最低域をＬ成分、それ以外の高域すべてをＨ成分とする。Ｌ成分は、カメラ１１が静止している状態であればフレーム同期加算した結果と等価であり、降雨雪粒子などの移動体が映像から消失させ静止している観測対象（例えば壁のヒビ等）を鮮明化する働きがある。このため、Ｌ成分のみを受信側装置３で再生表示することで、観察に適した映像を閲覧することができる。
また、例えばハール基底に基づくウェーブレット変換を用いることで、加減算とシフト演算のみで上述した処理を高速に実現することができる。

次に、空間的順変換部１５及び空間的逆変換部３５にてそれぞれ行われる空間方向の分解処理及びその逆処理について説明する。

空間的順変換部１５は、映像信号を構成する各フレーム内の画素を、隣接する複数のブロック（隣接する複数の画素からなる画素群）に分割する。そして、分割した各ブロックから１つの画素を選択して、それを空間方向の第１成分とする。また、例えば各ブロックの残りの画素を空間方向の第２成分とする。
成分選択部１６は、空間的順変換部１５により空間方向に分解して得られた第１成分及び第２成分を利用状況に応じて選択する。

例えば、空間的順変換部１５は、フレーム内の互いに隣接する２×２画素（縦方向に２かつ横方向に２の合計４画素）を１つのブロックとして、ブロック内の特定の位置における１つの画素をＬ成分、それ以外の３つの画素をＨ成分とする。そして、成分選択部１６は、移動時（走行時）など空間解像度は低くても良いが高い時間解像度が要求される場合には、Ｌ成分のみを選択する。
空間的逆変換部３５は、成分選択部１６によって選択されたＬ成分を受信して合成し映像信号を生成する。したがって、Ｌ成分のみが選択されている場合には、受信側装置３では画素数が縦横共に１／２に間引かれた映像が出力され、空間分解能が低くなる。

まとめると図５に示すように、ロボット１を走行させて迅速に場所を移動するような「走行時」には、空間的なＨ成分を伝送しないことによる画素間引きにより空間分解能を低くしてデータの伝送量を低減する。

また、空間的順変換部１５は、フレーム内の画素を、隣接する複数のブロックに分割し、各ブロックに対して順方向に空間的変換を施すようにしても良い。この場合、成分選択部１６は、移動時（走行時）など空間解像度は低くても良いが高い時間解像度が要求される場合には、空間的変換により得られた成分から特定の成分のみを選択すれば良い。

空間的変換としては、ウォルシュ・アダマール変換や離散コサイン変換といった直交変換を適用することが可能である。例えば、空間的順変換部１５での空間的変換がＮ×Ｎ点の順方向の直交変換の場合には、空間解像度を低くするために、成分選択部１６は低域のＭ×Ｍ点を選択する。なお、ＮとＭは正の整数であり、Ｎ＞Ｍである。
空間的逆変換部３５は、Ｍ×Ｍ点の逆方向の直交変換を行い、映像信号を生成する。なお、低域に選択されたＭ×Ｍ点を配置し高域にゼロ値を配置してから、Ｎ×Ｎ点の逆方向の直交変換を行うようにしても良い。

また、空間的変換として、ウェーブレット変換やフィルタバンクによるオクターブ分割を適用することも可能である。例えば、空間的順変換部１５での空間的変換がＳステージのオクターブ分割の場合には、空間解像度を低くするために成分選択部１６は第Ｔステージの最低域の成分を復号するのに必要最小限の成分を全て選択する。なお、ＳとＴは正の整数であり、Ｔ＞Ｓである。空間的逆変換部３５は、第Ｔステージの最低域をオクターブ合成してこれを出力する。

このように、従来は映像信号の全成分を常に伝送していたが（図２（ａ）参照）、本実施形態では、図２（ｂ）に示すように映像信号を時間方向及び空間方向に複数の映像成分に分解して、状況に応じて映像成分を選択的に伝送する。

また、映像信号に対して時間的及び空間的な変換を施すことで、映像送信部１７によるデータ圧縮の効率を高めることができる。また，空間的な変換結果から最低域をＬ成分とすることで，縮小映像（低い空間解像度の映像）におけるエリアス誤差を抑圧する効果があり，エリアス誤差が少ない品質の良い映像を再生することができる。

以上、説明したように第１の実施形態によれば、遠隔操作により自走することが可能なロボット１に搭載されたカメラ１１から得られた映像信号が、成分分解部１３により時間方向及び空間方向に複数の成分に分解され、成分選択部１６により状況に応じて必要な映像成分のみが選択されてデータ伝送路２を介して遠隔地の受信側装置３に伝送される。そして、受信側装置３では、ロボット１から送信されたデータ（映像成分）が受信・復号され、成分合成部３３により元の成分が合成されて映像信号が生成され、映像表示部３６にて再生表示し閲覧者に映像を提供する。これにより、常に映像成分のすべてを通信する場合に比べ、伝送するデータ量を低減し、伝送に要する伝送路の帯域を低減することができる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。
図３は、第２の実施形態における映像伝送システムの構成例を示すブロック図である。この図３において、図１に示したブロック等と同一の機能を有するブロック等には同一の符号を付し、重複する説明は省略する。

第２の実施形態における映像伝送システムは、自走式ロボットに搭載されたカメラにより得られる映像信号を、データ伝送路を介して遠隔地の受信側装置に伝送するシステムであって、映像信号を複数の映像成分に分解して成分毎に伝送する。そして、受信側で、利用状況に応じて映像成分を選択して受信し復号することで、利用状況に応じて適切な映像を表示できるようにする。

第１の実施形態とは、映像信号処理部（送信側）１２Ｂが成分選択部を有さずに成分分解部１３で構成され、映像成分の選択を行うデータ選択部３９を受信側装置３に備えたことが相違する。データ選択部３９は、ロボット１から映像成分毎に送信された映像信号から、ロボット１の利用状況（例えば、受信者の利用形態など）に応じて所望の映像成分を選択して映像受信部３１に出力する。

これにより、第２の実施形態における映像伝送システムでは、ロボット１から送信された映像信号のうち、利用状況に応じて必要な映像成分のみがデータ選択部３９により選択されて受信されるので、常に全成分を受信する場合に比べ、受信側装置３における処理を低減することができる。また、複数の受信側装置３が存在する場合には、受信側装置３毎に時間方向及び空間方向について異なる解像度での映像を表示することが可能になる。

＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。
図４は、第３の実施形態における映像伝送システムの構成例を示すブロック図である。この図４において、図１に示したブロック等と同一の機能を有するブロック等には同一の符号を付し、重複する説明は省略する。

第３の実施形態における映像伝送システムは、自走式ロボットに搭載されたカメラにより得られる映像信号を、データ伝送路を介して遠隔地の受信側装置に伝送するシステムであって、映像信号を複数の映像成分に分解して，利用状況に応じて映像成分を選択し圧縮伝送する。また、受信側装置３では、受信して生成された映像信号を元にパノラマ画像を生成して映像履歴を閲覧者等に提供する。

第１の実施形態とは、映像信号処理部（受信側）３２Ｂ内にパノラマ生成部４０を備えたことが相違する。パノラマ生成部４０は、成分合成部３３により合成された映像信号を構成するフレーム画像を繋ぎ合わせてパノラマ画像を生成する。パノラマ生成部４０により各フレームが接合されて生成されたパノラマ画像は、映像表示部３６により表示する。これにより、ロボット１により撮影された映像の映像履歴を容易に閲覧することができる。

（本発明の他の実施形態）
なお、上述した実施形態は、コンピュータのＣＰＵ又はＭＰＵ、ＲＡＭ、ＲＯＭ等で構成可能なものであり、ＲＡＭやＲＯＭに記憶されたプログラムが動作することによって実現でき、前記プログラムは本発明の実施形態に含まれる。また、コンピュータが上述の実施形態の機能を果たすように動作させるプログラムを、例えばＣＤ−ＲＯＭのような記録媒体に記録し、コンピュータに読み込ませることによって実現できるものであり、前記プログラムを記録した記録媒体は本発明の実施形態に含まれる。前記プログラムを記録する記録媒体としては、ＣＤ−ＲＯＭ以外に、フレキシブルディスク、ハードディスク、磁気テープ、光磁気ディスク、不揮発性メモリカード等を用いることができる。
また、コンピュータがプログラムを実行し処理を行うことにより、上述の実施形態の機能が実現されるプログラムプロダクトは、本発明の実施形態に含まれる。前記プログラムプロダクトとしては、上述の実施形態の機能を実現するプログラム自体、前記プログラムが読み込まれたコンピュータ、ネットワークを介して通信可能に接続されたコンピュータに前記プログラムを提供可能な送信装置、及び当該送信装置を備えるネットワークシステム等がある。
また、コンピュータが供給されたプログラムを実行することにより上述の実施形態の機能が実現されるだけでなく、そのプログラムがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）又は他のアプリケーションソフト等と共同して上述の実施形態の機能が実現される場合や、供給されたプログラムの処理のすべて又は一部がコンピュータの機能拡張ボードや機能拡張ユニットにより行われて上述の実施形態の機能が実現される場合も、かかるプログラムは本発明の実施形態に含まれる。

なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

本発明の第１の実施形態における映像伝送システムの構成例を示す図である。本発明の実施形態における映像信号の伝送方式を概念的に示す図である。本発明の第２の実施形態における映像伝送システムの構成例を示す図である。本発明の第３の実施形態における映像伝送システムの構成例を示す図である。本発明の実施形態における映像信号の伝送方式の特徴を示した図である。

符号の説明

１ロボット
２データ伝送路
３受信側装置
１１カメラ
１２映像信号処理部
１３成分分解部
１４時間的順変換部
１５空間的順変換部
１６成分選択部
１７映像送信部
３１映像受信部
３２映像信号処理部
３３成分合成部
３４時間的逆変換部
３５空間的逆変換部
３６映像表示部

Claims

撮像装置を搭載した移動機能を有するロボットの前記撮像装置により得られる映像信号を、伝送路を介して遠隔地の受信側装置に伝送する映像伝送装置であって、
前記撮像装置により得られる映像信号を時空間分解処理して複数の映像成分に分解する分解手段と、
前記分解手段により分解された複数の映像成分の中から、状況に応じて送信する映像成分を選択する選択手段と、
前記選択手段により選択された映像成分を送信する送信手段とを備え、
前記分解手段は、前記撮像装置により得られる映像信号を、当該映像信号を構成する複数のフレームについてのフレーム間処理により時間方向に複数の成分に分解する時間的順変換手段、及びフレーム内処理により空間方向に複数の成分に分解する空間的順変換手段を有し、
前記時間的順変換手段は、前記映像信号を構成する連続したフレームを隣接する複数のフレームからなるフレーム群に分割して、各フレーム群に対して順方向に時間的変換処理としてＮ×Ｎ画素（Ｎは正の整数）の順方向の直交変換を施し、前記時間的変換処理して得られた低域のＭ×Ｍ画素（Ｍは正の整数かつＭ＜Ｎ）を時間方向に係る第１成分とし、残りの成分を時間方向に係る第２成分とすることを特徴とする映像伝送装置。
撮像装置を搭載した移動機能を有するロボットの前記撮像装置により得られる映像信号を、伝送路を介して遠隔地の受信側装置に伝送する映像伝送装置であって、
前記撮像装置により得られる映像信号を時空間分解処理して複数の映像成分に分解する分解手段と、
前記分解手段により分解された複数の映像成分の中から、状況に応じて送信する映像成分を選択する選択手段と、
前記選択手段により選択された映像成分を送信する送信手段とを備え、
前記分解手段は、前記撮像装置により得られる映像信号を、当該映像信号を構成する複数のフレームについてのフレーム間処理により時間方向に複数の成分に分解する時間的順変換手段、及びフレーム内処理により空間方向に複数の成分に分解する空間的順変換手段を有し、
前記時間的順変換手段は、前記映像信号を構成する連続したフレームを隣接する複数のフレームからなるフレーム群に分割して、各フレーム群に対して順方向に時間的変換処理としてＳステージ（Ｓは正の整数）のオクターブ分割を施し、前記時間的変換処理して得られた第Ｔステージ（Ｔは正の整数かつＴ＞Ｓ）の低域成分の復号に用いられる成分を時間方向に係る第１成分とし、残りの成分を時間方向に係る第２成分とすることを特徴とする映像伝送装置。
前記空間的順変換手段は、前記映像信号を構成する各フレーム内の画素を隣接する複数の画素からなる画素群に分割して、各画素群に対して順方向に空間的変換処理としてＰ×Ｐ画素（Ｐは正の整数）の順方向の直交変換を施し、前記空間的変換処理して得られた低域のＱ×Ｑ画素（Ｑは正の整数かつＱ＜Ｐ）を空間方向に係る第１成分とし、残りの成分を空間方向に係る第２成分とすることを特徴とする請求項１又は２記載の映像伝送装置。
前記空間的順変換手段は、前記映像信号を構成する各フレーム内の画素を隣接する複数の画素からなる画素群に分割して、各画素群に対して順方向に空間的変換処理としてＸステージ（Ｘは正の整数）のオクターブ分割を施し、前記空間的変換処理して得られた第Ｙステージ（Ｙは正の整数かつＹ＞Ｘ）の低域成分の復号に用いられる成分を空間方向に係る第１成分とし、残りの成分を空間方向に係る第２成分とすることを特徴とする請求項１又は２記載の映像伝送装置。
前記選択手段は、前記ロボットの観察時には、時間解像度を低くするように映像成分を選択し、前記ロボットの移動動作時には空間解像度を低くするように成分を選択することを特徴とする請求項１〜４の何れか１項に記載の映像伝送装置。
請求項１又は２記載の映像伝送装置から送信された映像成分を受信する受信手段と、
前記受信手段により受信した映像成分を合成して映像信号を生成する合成手段と、
前記合成手段により生成された映像信号に係る映像を表示する表示手段とを備えることを特徴とする映像伝送装置。
前記合成手段により生成された映像信号の各フレーム画像を繋ぎ合わせてパノラマ画像を生成し前記表示手段に表示させるパノラマ生成手段を備えることを特徴とする請求項６記載の映像伝送装置。
撮像装置を搭載した移動機能を有するロボットと遠隔地の受信側装置とが、伝送路を介して通信可能に接続される映像伝送システムであって、
前記撮像装置により得られる映像信号を時空間分解処理して複数の映像成分に分解する分解手段と、
前記分解手段により分解された複数の映像成分の中から、状況に応じて送信する映像成分を選択する選択手段と、
前記選択手段により選択された映像成分を送信する送信手段と、
前記送信手段と前記伝送路を介して接続され、前記送信手段より送信された映像成分を受信する受信手段と、
前記受信手段により受信した映像成分を合成して映像信号を生成する合成手段と、
前記合成手段により生成された映像信号に係る映像を表示する表示手段とを備え、
前記分解手段は、前記撮像装置により得られる映像信号を、当該映像信号を構成する複数のフレームについてのフレーム間処理により時間方向に複数の成分に分解する時間的順変換手段、及びフレーム内処理により空間方向に複数の成分に分解する空間的順変換手段を有し、
前記時間的順変換手段は、前記映像信号を構成する連続したフレームを隣接する複数のフレームからなるフレーム群に分割して、各フレーム群に対して順方向に時間的変換処理としてＮ×Ｎ画素（Ｎは正の整数）の順方向の直交変換を施し、前記時間的変換処理して得られた低域のＭ×Ｍ画素（Ｍは正の整数かつＭ＜Ｎ）を時間方向に係る第１成分とし、残りの成分を時間方向に係る第２成分とすることを特徴とする映像伝送システム。
撮像装置を搭載した移動機能を有するロボットと遠隔地の受信側装置とが、伝送路を介して通信可能に接続される映像伝送システムであって、
前記撮像装置により得られる映像信号を時空間分解処理して複数の映像成分に分解する分解手段と、
前記分解手段により分解された複数の映像成分の中から、状況に応じて送信する映像成分を選択する選択手段と、
前記選択手段により選択された映像成分を送信する送信手段と、
前記送信手段と前記伝送路を介して接続され、前記送信手段より送信された映像成分を受信する受信手段と、
前記受信手段により受信した映像成分を合成して映像信号を生成する合成手段と、
前記合成手段により生成された映像信号に係る映像を表示する表示手段とを備え、
前記分解手段は、前記撮像装置により得られる映像信号を、当該映像信号を構成する複数のフレームについてのフレーム間処理により時間方向に複数の成分に分解する時間的順変換手段、及びフレーム内処理により空間方向に複数の成分に分解する空間的順変換手段を有し、
前記時間的順変換手段は、前記映像信号を構成する連続したフレームを隣接する複数のフレームからなるフレーム群に分割して、各フレーム群に対して順方向に時間的変換処理としてＳステージ（Ｓは正の整数）のオクターブ分割を施し、前記時間的変換処理して得られた第Ｔステージ（Ｔは正の整数かつＴ＞Ｓ）の低域成分の復号に用いられる成分を時間方向に係る第１成分とし、残りの成分を時間方向に係る第２成分とすることを特徴とする映像伝送システム。
撮像装置を搭載した移動機能を有するロボットの前記撮像装置により得られる映像信号を、伝送路を介して遠隔地の受信側装置に伝送する映像伝送方法であって、
前記撮像装置により得られる映像信号を時空間分解処理して複数の映像成分に分解する分解工程と、
前記分解工程にて分解して得られる複数の映像成分の中から、状況に応じて送信する映像成分を選択する選択工程と、
前記選択工程にて選択された映像成分を送信する送信工程とを有し、
前記分解工程は、前記撮像装置により得られる映像信号を、当該映像信号を構成する複数のフレームについてのフレーム間処理により時間方向に複数の成分に分解する時間的順変換工程、及びフレーム内処理により空間方向に複数の成分に分解する空間的順変換工程を有し、
前記時間的順変換工程では、前記映像信号を構成する連続したフレームを隣接する複数のフレームからなるフレーム群に分割して、各フレーム群に対して順方向に時間的変換処理としてＮ×Ｎ画素（Ｎは正の整数）の順方向の直交変換を施し、前記時間的変換処理して得られた低域のＭ×Ｍ画素（Ｍは正の整数かつＭ＜Ｎ）を時間方向に係る第１成分とし、残りの成分を時間方向に係る第２成分とすることを特徴とする映像伝送方法。
撮像装置を搭載した移動機能を有するロボットの前記撮像装置により得られる映像信号を、伝送路を介して遠隔地の受信側装置に伝送する映像伝送方法であって、
前記撮像装置により得られる映像信号を時空間分解処理して複数の映像成分に分解する分解工程と、
前記分解工程にて分解して得られる複数の映像成分の中から、状況に応じて送信する映像成分を選択する選択工程と、
前記選択工程にて選択された映像成分を送信する送信工程とを有し、
前記分解工程は、前記撮像装置により得られる映像信号を、当該映像信号を構成する複数のフレームについてのフレーム間処理により時間方向に複数の成分に分解する時間的順変換工程、及びフレーム内処理により空間方向に複数の成分に分解する空間的順変換工程を有し、
前記時間的順変換工程では、前記映像信号を構成する連続したフレームを隣接する複数のフレームからなるフレーム群に分割して、各フレーム群に対して順方向に時間的変換処理としてＳステージ（Ｓは正の整数）のオクターブ分割を施し、前記時間的変換処理して得られた第Ｔステージ（Ｔは正の整数かつＴ＞Ｓ）の低域成分の復号に用いられる成分を時間方向に係る第１成分とし、残りの成分を時間方向に係る第２成分とすることを特徴とする映像伝送方法。
撮像装置を搭載した移動機能を有するロボットの前記撮像装置により得られる映像信号を、伝送路を介して遠隔地の受信側装置に伝送する処理をコンピュータに実行させるためのプログラムであって、
前記撮像装置により得られる映像信号を時空間分解処理して複数の映像成分に分解する分解ステップと、
前記分解ステップにて分解して得られる複数の映像成分の中から、状況に応じて送信する映像成分を選択する選択ステップと、
前記選択ステップにて選択された映像成分を送信する送信ステップとをコンピュータに実行させ、
かつ前記分解ステップは、前記撮像装置により得られる映像信号を、当該映像信号を構成する複数のフレームについてのフレーム間処理により時間方向に複数の成分に分解する時間的順変換ステップ、及びフレーム内処理により空間方向に複数の成分に分解する空間的順変換ステップを有し、
前記時間的順変換ステップでは、前記映像信号を構成する連続したフレームを隣接する複数のフレームからなるフレーム群に分割して、各フレーム群に対して順方向に時間的変換処理としてＮ×Ｎ画素（Ｎは正の整数）の順方向の直交変換を施し、前記時間的変換処理して得られた低域のＭ×Ｍ画素（Ｍは正の整数かつＭ＜Ｎ）を時間方向に係る第１成分とし、残りの成分を時間方向に係る第２成分とすることを特徴とするプログラム。
撮像装置を搭載した移動機能を有するロボットの前記撮像装置により得られる映像信号を、伝送路を介して遠隔地の受信側装置に伝送する処理をコンピュータに実行させるためのプログラムであって、
前記撮像装置により得られる映像信号を時空間分解処理して複数の映像成分に分解する分解ステップと、
前記分解ステップにて分解して得られる複数の映像成分の中から、状況に応じて送信する映像成分を選択する選択ステップと、
前記選択ステップにて選択された映像成分を送信する送信ステップとをコンピュータに実行させ、
かつ前記分解ステップは、前記撮像装置により得られる映像信号を、当該映像信号を構成する複数のフレームについてのフレーム間処理により時間方向に複数の成分に分解する時間的順変換ステップ、及びフレーム内処理により空間方向に複数の成分に分解する空間的順変換ステップを有し、
前記時間的順変換ステップでは、前記映像信号を構成する連続したフレームを隣接する複数のフレームからなるフレーム群に分割して、各フレーム群に対して順方向に時間的変換処理としてＳステージ（Ｓは正の整数）のオクターブ分割を施し、前記時間的変換処理して得られた第Ｔステージ（Ｔは正の整数かつＴ＞Ｓ）の低域成分の復号に用いられる成分を時間方向に係る第１成分とし、残りの成分を時間方向に係る第２成分とすることを特徴とするプログラム。
移動機能を有する探査ロボットであって、
移動中であるか観察中であるかを検知する状況検知手段と、
映像を撮影する撮像手段と、
前記撮像手段により得られる映像信号を時空間分解処理して複数の映像成分に分解する分解手段と、
前記状況検知手段での検知結果に応じて、前記分解手段により分解された複数の映像成分の中から、伝送路を介して遠隔地の受信側装置に送信する映像成分を選択する選択手段と、
前記選択手段により選択された映像成分を前記伝送路に対して送信する送信手段とを備え、
前記分解手段は、前記撮像手段により得られる映像信号を、当該映像信号を構成する複数のフレームについてのフレーム間処理により時間方向に複数の成分に分解する時間的順変換手段、及びフレーム内処理により空間方向に複数の成分に分解する空間的順変換手段を有し、
前記時間的順変換手段は、前記映像信号を構成する連続したフレームを隣接する複数のフレームからなるフレーム群に分割して、各フレーム群に対して順方向に時間的変換処理としてＮ×Ｎ画素（Ｎは正の整数）の順方向の直交変換を施し、前記時間的変換処理して得られた低域のＭ×Ｍ画素（Ｍは正の整数かつＭ＜Ｎ）を時間方向に係る第１成分とし、残りの成分を時間方向に係る第２成分とすることを特徴とする探査ロボット。
移動機能を有する探査ロボットであって、
移動中であるか観察中であるかを検知する状況検知手段と、
映像を撮影する撮像手段と、
前記撮像手段により得られる映像信号を時空間分解処理して複数の映像成分に分解する分解手段と、
前記状況検知手段での検知結果に応じて、前記分解手段により分解された複数の映像成分の中から、伝送路を介して遠隔地の受信側装置に送信する映像成分を選択する選択手段と、
前記選択手段により選択された映像成分を前記伝送路に対して送信する送信手段とを備え、
前記分解手段は、前記撮像手段により得られる映像信号を、当該映像信号を構成する複数のフレームについてのフレーム間処理により時間方向に複数の成分に分解する時間的順変換手段、及びフレーム内処理により空間方向に複数の成分に分解する空間的順変換手段を有し、
前記時間的順変換手段は、前記映像信号を構成する連続したフレームを隣接する複数のフレームからなるフレーム群に分割して、各フレーム群に対して順方向に時間的変換処理としてＳステージ（Ｓは正の整数）のオクターブ分割を施し、前記時間的変換処理して得られた第Ｔステージ（Ｔは正の整数かつＴ＞Ｓ）の低域成分の復号に用いられる成分を時間方向に係る第１成分とし、残りの成分を時間方向に係る第２成分とすることを特徴とする探査ロボット。
撮像装置を搭載した移動機能を有するロボットと遠隔地の受信側装置とが、伝送路を介して通信可能に接続される映像伝送システムであって、
前記撮像装置により得られる映像信号を時空間分解処理して複数の映像成分に分解する分解手段と、
前記分解手段により分解された複数の映像成分を送信する送信手段と、
前記送信手段と前記伝送路を介して接続され、前記送信手段より送信された複数の映像成分の中から、状況に応じた映像成分だけを選択して受信する受信手段と、
前記受信手段により受信した映像成分を合成して映像信号を生成する合成手段と、
前記合成手段により生成された映像信号に係る映像を表示する表示手段とを備え、
前記分解手段は、前記撮像装置により得られる映像信号を、当該映像信号を構成する複数のフレームについてのフレーム間処理により時間方向に複数の成分に分解する時間的順変換手段、及びフレーム内処理により空間方向に複数の成分に分解する空間的順変換手段を有し、
前記時間的順変換手段は、前記映像信号を構成する連続したフレームを隣接する複数のフレームからなるフレーム群に分割して、各フレーム群に対して順方向に時間的変換処理としてＮ×Ｎ画素（Ｎは正の整数）の順方向の直交変換を施し、前記時間的変換処理して得られた低域のＭ×Ｍ画素（Ｍは正の整数かつＭ＜Ｎ）を時間方向に係る第１成分とし、残りの成分を時間方向に係る第２成分とすることを特徴とする映像伝送システム。
撮像装置を搭載した移動機能を有するロボットと遠隔地の受信側装置とが、伝送路を介して通信可能に接続される映像伝送システムであって、
前記撮像装置により得られる映像信号を時空間分解処理して複数の映像成分に分解する分解手段と、
前記分解手段により分解された複数の映像成分を送信する送信手段と、
前記送信手段と前記伝送路を介して接続され、前記送信手段より送信された複数の映像成分の中から、状況に応じた映像成分だけを選択して受信する受信手段と、
前記受信手段により受信した映像成分を合成して映像信号を生成する合成手段と、
前記合成手段により生成された映像信号に係る映像を表示する表示手段とを備え、
前記分解手段は、前記撮像装置により得られる映像信号を、当該映像信号を構成する複数のフレームについてのフレーム間処理により時間方向に複数の成分に分解する時間的順変換手段、及びフレーム内処理により空間方向に複数の成分に分解する空間的順変換手段を有し、
前記時間的順変換手段は、前記映像信号を構成する連続したフレームを隣接する複数のフレームからなるフレーム群に分割して、各フレーム群に対して順方向に時間的変換処理としてＳステージ（Ｓは正の整数）のオクターブ分割を施し、前記時間的変換処理して得られた第Ｔステージ（Ｔは正の整数かつＴ＞Ｓ）の低域成分の復号に用いられる成分を時間方向に係る第１成分とし、残りの成分を時間方向に係る第２成分とすることを特徴とする映像伝送システム。