JP4255272B2

JP4255272B2 - 画像生成装置

Info

Publication number: JP4255272B2
Application number: JP2002356090A
Authority: JP
Inventors: 匠橋詰; 純一瀧口
Original assignee: Waseda University; Mitsubishi Electric Corp
Current assignee: Waseda University; Mitsubishi Electric Corp
Priority date: 2002-12-06
Filing date: 2002-12-06
Publication date: 2009-04-15
Anticipated expiration: 2022-12-06
Also published as: JP2004192076A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像生成装置に係り、更に詳しくは、人間が容易に直視することのできない空間等の様子、及び当該空間内に存在する人や物等の状況を正確に把握するのに有用な画像生成装置に関する。
【０００２】
【従来の技術】
従来、大地震で倒壊の可能性のある家屋内の被災者発見、火災等で人間が侵入できない場所での生存者発見、又は、原子炉内等の人間が容易に入れない場所での機器点検時には、ＣＣＤカメラを搭載した無線操縦の移動体を進入させ、ＣＣＤカメラからの映像を外部で確認することで，遭難者の救出プランの策定や，機器の点検が実施されている。（例えば、特許文献１参照）
【０００３】
【特許文献１】
特開２００２−２００９９０号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、前記従来技術では、リアルタイムのカメラ映像のみが得られるに過ぎず、移動体が進入する内部の状況が複雑な場合に、対象物とカメラアングル如何では、対象物等の識別や機器の点検が困難な場合がある。また、例えば、被災者を画像上で確認できても、その位置までは特定できないばかりか、その周囲の環境（例えば，天井落下の危険性，障害物の有無）の危険度に関する判断が固定カメラの瞬時映像からでは行い難いという問題がある。更に、救出のための階段や穴等をカメラで捕らえることができても、階段や穴等と被災者との位置関係が掴み難いため、救出プラン策定が行い難いという問題がある。また、カメラの映像からでは、当該カメラと被災者や点検対象機器等の対象物との離間距離が不明であり、この離間距離を簡単に把握できる装置の出現も要望されているところである。
【０００５】
【発明の目的】
本発明は、以上の問題点に着目して案出されたものであり、その目的は、人間が容易に直視することのできない空間等の様子や当該空間内に存在する人、物等対象物の状況を正確に把握するのに有用な画像を得ることができる画像生成装置を提供することにある。
【０００６】
また、本発明の他の目的は、カメラ等の撮像手段によって撮像された対象物と撮像手段との離間距離を画像上で簡単に把握することができる画像生成装置を提供することにある。
【０００９】
【課題を解決するための手段】
前記目的を達成するため、本発明は、所定方向に移動可能な移動体と、この移動体に設けられるとともに、周囲の視野を略同時に撮像してリング状の原画像を得る撮像手段と、前記原画像を略短冊状のパノラマ画像に展開する画像展開手段と、前記移動体の速度に応じた幅のパノラマ画像を所定時間毎に収集し、これら各パノラマ画像を経時的に繋ぎ合わせることで、前記移動体が移動した領域のパノラマ画像を総合した領域画像を生成する領域画像生成手段と、前記移動体の速度を検出する速度検出手段と、前記移動体の方位角及び／又は姿勢変位角を検出する角度検出手段とを備え、
前記領域画像生成手段は、方位が考慮された地図的領域画像が生成される方位基準画像生成部を備え、当該方位基準画像生成部は、前記速度検出手段及び角度検出手段の検出値に基づいて、各パノラマ画像が所定の方位を基準として繋ぎ合わされることで、前記地図的領域画像を生成する、という構成を採っている。このような構成により、領域画像に映し出された対象物等の方位や、移動体の移動距離等が簡単に分かり、対象物等の探索や移動体の現在位置の特定等を容易に行うことができる。また、被災者や機器の周囲の環境の危険性、例えば、天井のコンクリートのひび割れ、天井落下の危険性、床面の穴や段差、床や壁面の障害物の有無等が地図に対応して表示されることになり、これら危険性のある場所や部位等を地図上で特定することができる。
【００１０】
ここにおいて、前記速度検出手段は、所定の直交三軸方向の速度をそれぞれ検出可能に設けられる一方、前記角度検出手段は、前記直交三軸回りの回転角をそれぞれ検出可能に設けられ、
前記方位基準画像生成部は、前記速度検出手段及び角度検出手段からの検出値に基づいて、前記地図的領域画像を三次元的に生成する、という構成を採ることが好ましい。これにより、移動体が天地方向に移動する場合においても、移動体の移動領域の周囲の状況、対象物等の方位、移動体の移動距離、及び、移動体の現在位置等を正確に把握することができる。
【００１１】
ここで、前記方位基準画像生成部は、前記移動体の移動軌跡を算出可能に設けられる、という構成を併用することができる。このような構成によれば、移動体の移動ルートを地図上で簡単に把握することが可能となる。
【００１２】
また、前記方位基準画像生成部には、前記移動体の移動による画像のブレを補正するスタビライザー機能が設けられる、という構成を採るとよい。これにより、移動体の移動時に撮像手段に揺れが生じても、当該揺れによる画像のブレが補正され、より見易い領域画像を提供することができる。
【００１３】
更に、前記移動体と所定の対象物との離間距離が反映された距離画像を生成する距離画像生成手段を更に備え、
前記距離画像生成手段は、前記移動体の移動による前記原画像の視差から算出された離間距離に基づいて前記距離画像を生成する、という構成も併せて採用することができる。このような構成によれば、カメラ等の撮像手段によって撮像された対象物と撮像手段との離間距離を画像上で簡単に把握することができ、移動体の移動時における障害物の回避、移動体の速度調整や進路決定等を難なく行うことができる。
【００１４】
ここにおいて、前記距離画像生成手段は、前記離間距離に応じて異なる色彩が施された距離画像を生成する、という構成を採用とするとよい。これにより、対象物に対する遠近関係を視覚的に早く把握することができ、移動体の操作性を一層高めることができる。
【００１５】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら説明する。
【００１６】
［第１実施例］
図１には、本実施例に係る画像生成装置としての探索監視装置の概略構成図が示されている。この図において、探索監視装置１０は、人間が入れない場所等を移動しながら周囲を撮像し、当該移動領域を総合した領域画像を生成する装置である。この探索監視装置１０は、所定方向に移動して前記領域画像を生成する移動体１１と、この移動体１１の移動を遠隔操作するための移動操作端末１２と、移動体１１と別個に設けられるとともに、当該移動体１１からの領域画像が表示される表示手段１４とを備えて構成されている。
【００１７】
前記移動体１１は、前方及び周囲の視野を略同時に撮像可能な撮像手段としての全周撮像器（ＯＤＶ：Ｏｍｎｉ−ＤｉｒｅｃｔｉｏｎａｌＶｉｓｉｏｎ）１６と、この全周撮像器１６の後方（図１中左方）に連なるとともに、各種センサが格納されたセンサユニット（ＩＭＵ：ＩｎｅｒｔｉａｌＭｅａｓｕｒｅｍｅｎｔＵｎｉｔ）１７と、これら全周撮像器１６及びセンサユニット１７からの各種データに基づき、コンピュータを用いて所定の演算処理等を行うことにより前記領域画像を生成する画像処理装置１８と、これら各装置１６〜１８が搭載されるとともに、キャタビラー等からなる移動機構２０が設けられたプラットフォーム２１と、前記移動操作端末１２からの指令に基づいて移動機構２０を駆動させる駆動装置２２とを備えて構成されている。
【００１８】
前記全周撮像器１６は、図２に示されるように、略半球状の外観をなす本体２４と、この本体２４の外周部分に周方向に沿って多数設けられて図示しない電源により発光するＬＥＤ等の発光体２５とを備えている。
【００１９】
前記本体２４は、本出願人により既提案されている特開２００２−３２５２４６号公報等に記載された構造が採用され、その前方（図１中右方）と側方略全周（側方約３６０度）とを略同時に撮像可能となっている。すなわち、本体２４は、図３に示されるように、略中央に穴２７が形成された凸状の主鏡２８と、当該主鏡２８を覆うとともに、外からの光が透過可能となる略半球状のドーム２９と、このドーム２９の頂部２９Ａに固定された凸状の副鏡３０と、主鏡２８の穴２７の裏側（図３中左方）に相対配置されるＣＣＤカメラ等の撮像部３１とを備えている。この本体２４は、図３中二点鎖線で示されるように、その前方からの光が直接、撮像部３１に入射される一方、側方からの光が主鏡２８、副鏡３０の順で反射されて撮像部３１に入射されるようになっている。この結果、図４に示される円形の原画像Ｔが得られるようになっている。この原画像Ｔは、側方略全周の画像を表すリング状のドーナツ画像Ｄと、このドーナツ画像Ｄの内側に位置するとともに、前方の画像を表す中央画像Ｃとにより構成されている。
【００２０】
前記発光体２５は、全周撮像器１６の周辺が所定以下の明るさになったときに発光することで、暗所での本体２４による撮像を可能にしている。この場合、特に限定されるものではないが、全周撮像器１６が存在する場所の明るさ等に応じて自動若しくは手動でＯＮ−ＯＦＦできるように構成し、加えて、発光体２５の照度等を調整できる構造としてもよい。
【００２１】
なお、前記全周撮像器１６としては、中央画像Ｃをも含めた原画像Ｔが得られる構造としたが、ドーナツ画像Ｄのみが得られるようにしてもよい。要するに、本発明は、周囲の視野を略同時に撮像してリング状の原画像Ｔを得ることができる限りにおいて、種々の構造の撮像手段を採用することができる。
【００２２】
前記センサユニット１７は、図５に示されるように、移動体１１の進行方向の直線加速度を検出可能な直線加速度計３３によって構成されている。
【００２３】
前記画像処理装置１８は、図５及び図６に示されるように、全周撮像器１６で得られたドーナツ画像Ｄを短冊状のパノラマ画像Ｐに展開する画像展開手段３５と、この画像展開手段３５より展開されたパノラマ画像Ｐを繋ぎ合わせて、前記移動体１１（図１参照）の移動領域を総合した一連の領域画像Ａ（図７参照）を生成する領域画像生成手段３６とを備えている。
【００２４】
前記画像展開手段３５は、図５に示されるように、全周撮像器１６で得られたドーナツ画像Ｄに係るデータをデジタル変換する公知のフレームグラバ３８と、このフレームグラバ３８で変換されたデジタルデータ（例えば、ビットマップデータ）に対して所定の演算処理をすることで前記パノラマ画像Ｐを生成する処理部３９とを備えて構成されている。
【００２５】
処理部３９は、前記特開２００２−３２５２４６号公報において本出願人が既に提案したアルゴリズムを用いて、歪んだドーナツ画像Ｄから歪みが補正されたパノラマ画像Ｐに展開できるようになっている。なお、この展開アルゴリズムは、本発明の本質ではないため詳細な説明を省略する。
【００２６】
前記領域画像生成手段３６は、図７に示されるように、パノラマ画像Ｐを所定時間毎に収集し、これら各パノラマ画像Ｐを経時的に繋ぎ合わることで、帯状領域画像Ａ１を生成するようになっている。すなわち、領域画像生成手段３６は、図５に示されるように、前記直線加速度計３３による検出値を時間で積分して移動速度を演算する積分器４１と、この積分器４１による演算値から全周撮像器１６が基準となる帯状領域画像Ａ１を生成する移動体基準画像生成部４２とにより構成されている。この移動体基準画像生成部４２は、単位時間毎に撮像されたパノラマ画像Ｐを略一定の向きで直線方向（図７中左右方向）に経時的に繋ぎ合わせることで、一連の帯状領域画像Ａ１を生成するようになっている。つまり、ここでは、図７に示されるように、パノラマ画像Ｐの長寸側の辺同士が経時的に接合され、方形状の帯状領域画像Ａ１が生成されることになる。この際、各パノラマ画像Ｐの短寸方向の幅Ｗは、積分器４１で求められた移動体１１の移動速度に応じて相違し、具体的には、移動体１１の移動速度の増大に伴って幅Ｗが増大するようになっている。ここで、以上においては、直線加速度計３３及び積分器４１により、移動体１１の速度を検出する速度検出手段を構成する。なお、この速度検出手段としては、前記構成例に限定されるものではなく、オドメータ等の他の機器を適用することもできる。
【００２７】
前記表示手段１４は、一若しくは二以上の液晶ディスプレイやＣＲＴディスプレイ等により構成されており、具体的には、図５に示されるように、全周撮像器１６からの原画像Ｔをリアルタイムで表示する第１の表示部４４と、領域画像生成手段３６で生成された帯状領域画像Ａ１を表示する第２の表示部４５とを備えている。
【００２８】
従って、このような第１実施例によれば、第１の表示部４４に表示された全周撮像器１６の現在の原画像Ｔを見ながら、人間の入れないような場所等での移動体１１の操作を簡単に行うことができる。更に、移動体１１の移動領域の画像が一連の領域画像Ａとして得られることになるため、人間が容易に入れないような場所等の様子やその場所に存在する対象物等を、あたかも人間が実際に見たのと略同等に把握できるという効果を得る。
【００２９】
次に、本発明の前記以外の実施例について説明する。なお、以下の説明において、前述した部分と同一若しくは同等の構成部分については、同一符号を用いて説明を省略若しくは簡略にする。
【００３０】
［第２実施例］
この第２実施例は、第１実施例に対し、帯状領域画像Ａ１の他に、方位が考慮された図８の地図的領域画像Ａ２をも生成可能としたところに特徴を有する。
【００３１】
すなわち、ここでの地図的領域画像Ａ２は、図８中北方向を上方、東方向を右方とする水平面上において、各パノラマ画像Ｐが、それらの中での北方向が常に同図中上を向くように、各パノラマ画像Ｐを適宜回転しながら繋ぎ合わされることにより形成される。従って、この地図的領域画像Ａ２は、北基準の地図的な役割を担い、ある部分に映し出されている所定の対象物（図示省略）の位置や移動体１１の出発点等からの距離の把握を可能とする。この地図的領域画像Ａ２は、前記表示手段１４の一部を構成する第３の表示部４６（図９参照）で表示されるようになっている。なお、その他の第１及び第２の表示部４４，４５は、前記第１実施例と同様に、原画像Ｔ、帯状領域画像Ａ１が表示されるようになっている。
【００３２】
また、図９に示されるように、前記センサユニット１７は、前記直線加速度計３３に加え、地磁気の水平成分から移動体１１のヨー方位角を検出可能な磁気方位計４８を更に備えている。なお、磁気方位計４８の代わりに地球の自転を検出する方式の他の方位計を適用することも可能である。
【００３３】
前記領域画像生成手段３６は、前記移動体基準画像生成部４２及び前記積分器４１に加え、当該積分器４１で演算された移動体１１の移動速度及び磁気方位計４８で検出された方位角に基づいて、地図的領域画像Ａ２を生成する方位基準画像生成部５０を更に備えて構成されている。
【００３４】
方位基準画像生成部５０は、図１０に示されるように、北が上方、東が右方となる地図状の北基準水平面座標系（磁北座標系）における各パノラマ画像Ｐの姿勢（回転角）と移動軌跡Ｌを求め、各パノラマ画像Ｐを北基準で経時的に繋ぎ合わせるようになっている。
【００３５】
すなわち、方位基準画像生成部５０では、図１１に示されるアルゴリズムを用いて地図的領域画像Ａ２が生成される。以下、このアルゴリズムの内容について説明する。
【００３６】
先ず、前記第１実施例と同様にしてドーナツ画像Ｄがパノラマ画像Ｐに展開された後（Ｓ１０１）、各パノラマ画像Ｐは、磁気方位計４８の検出値ψ_MAGに基づき、図１２のパノラマ画像座標系Ｐ（ｘ_P(ｉ)，ｙ_P(ｊ））から図１０の磁北座標系Ｎ（ｘ_N(ｉ)，ｙ_N(ｊ））に変換される（Ｓ１０２）。この際における変換式は、次の通りである。
【数１】

但し、ｉ＝１〜ｗ（図１２参照）、ｊ＝１〜ｈ（図１２参照）とする。
このようにして求められた値は、前記各パノラマ画像Ｐの回転角を特定するパラメータとなる。
【００３７】
一方、各パノラマ画像Ｐの移動軌跡Ｌは、積分器４１により演算された移動体１１の直線速度ΔＬ_Pと磁気方位計４８の検出値ψ_MAGとに基づき、次式によって求められる（Ｓ１０３）。
【数２】

ここで、ｎ（ｎ＝１，２，３・・・・）は、サンプリング周期であり、Ｌ（ｘ_n，ｙ_n）は、サンプリング時の移動体１１の位置を示す。
【００３８】
以上の式により、各サンプルにおけるパノラマ画像Ｐの位置及び姿勢が特定され、それらを総合して地図的領域画像Ａ２が生成される（Ｓ１０４）。
【００３９】
従って、このような第２実施例によれば、前述した第１実施例の効果に加え、地図的領域画像Ａ２も得られるため、移動体１１に写し出された人や物の位置に対する外部からの正確な把握に寄与できるという効果をも得る。
【００４０】
［第３実施例］
この第３実施例は、前記第２実施例に対し、前記第３の表示部４６で、図１３に示されるように、地図的領域画像Ａ２及び移動体１１の移動軌跡Ｌを三次元的に表示可能にしたところに特徴を有する。同時に、方位基準画像生成部５０に、移動体１１の移動による地図的領域画像Ａ２のブレを補正するスタビライザー機能を設けたところに特徴を有する。
【００４１】
ここでのセンサユニット１７は、図１４に示されるように、移動体１１の進行方向をＸ軸とする直交三軸方向の移動体１１の直線加速度をそれぞれ検出可能な３軸直線加速度計５２と、移動体１１のロール方向、ピッチ方向、及びヨー方向回りの角速度を検出可能な３軸ジャイロ５３と、前記磁気方位計４８とを備えて構成されている。
【００４２】
また、３軸直線加速度計５２で検出された各直線加速度を時間で積分して直交三軸方向の速度を演算する積分器５５と、３軸ジャイロ５３で検出された各角速度を時間で積分して三方向回りの回転角度を演算する積分器５６とが設けられている。従って、３軸直線加速度計５２と積分器５５とにより、所定の直交三軸方向の移動体の速度を検出可能な速度検出手段が構成される一方、３軸ジャイロ５３と積分器５６とにより、前記直交三軸回りの回転角（姿勢変位角）を検出可能な角度検出手段が構成される。なお、この角度検出手段としては、ヨー方向について前記磁気方位計４８を用い、他の二方向については、傾斜を検出する傾斜計等に代替させることも可能である。
【００４３】
本実施例に係る方位基準画像生成部５０は、前記各実施例と同様の手順で得られたパノラマ画像Ｐと、３軸直線加速度計５２及び積分器５５により得られた直交三軸方向の速度と、３軸ジャイロ５３と積分器５６により得られた三方向回りの回転角と、前記磁気方位計により検出された方位角とから、前記第２実施例と異なるアルゴリズムを用いることにより、前記地図的領域画像Ａ２及び移動軌跡Ｌを三次元的に生成し、且つ、地図的領域画像Ａ２のブレを補正するよう演算処理するようになっている。
【００４４】
ここでのアルゴリズムにつき、図１５等を用いながら以下に説明する。
【００４５】
前記各実施例と同様にしてドーナツ画像Ｄがパノラマ画像Ｐに展開された後（Ｓ２０１）、当該パノラマ画像Ｐの各座標が、図１２のパノラマ画像座標系Ｐ（ｘ_P(ｉ)，ｙ_P(ｊ））から、図１６の極座標系Ｑ（θ_{AZ_0}(ｉ)，θ_{EL_0}(ｊ））に変換される（Ｓ２０２）。ここでは、次の変換式が用いられる。
【数３】

但し、ｉ＝１〜ｗ（図１２参照）とする。
【数４】

但し、ｊ＝１〜ｈ（図１２参照）とする。
【００４６】
そして、パノラマ画像Ｐの各座標が、図１５及び図１７に示されるように、極座標系Ｑ（θ_{AZ_0}(ｉ)，θ_{EL_0}(ｊ））から、直交座標系（ｘ₀，ｙ₀，ｚ₀）に変換される（Ｓ２０３）。ここでは、次の変換式が用いられる。
【数５】

【数６】

【数７】

ここで得られたパノラマ画像Ｐの各座標は、図１８及び図１９に示されるように、全周撮像器１６（ＯＤＶ）を基準としたＯＤＶ基準直交座標系（ｘ₀，ｙ₀，ｚ₀）となる。
【００４７】
次いで、図１５に示されるように、パノラマ画像Ｐの各座標は、前記ＯＤＶ基準直交座標系（ｘ₀，ｙ₀，ｚ₀）から、移動体１１を基準とした図２０の機体基準直交座標系（ｘ_P，ｙ_P，ｚ_P）に変換される（Ｓ２０４）。ここでは、次の変換式が用いられる。
【数８】

但し、φ_0-P，θ_0-P，ψ_0-Pは、移動体１１に対する全周撮像器１６のオフセット角、つまり、ＯＤＶ基準直交座標系と機体基準直交座標系とのオフセット角である。また、次式（９）〜（１１）に示されるように、Ｃ_X（φ）は、ロール（ｘ）方向の回転行列であり、Ｃ_Y（θ）は、ピッチ（ｙ）方向の回転行列であり、Ｃ_Z（ψ）は、ヨー（ｚ）方向の回転行列である。
【数９】

【数１０】

【数１１】

【００４８】
そして、パノラマ画像Ｐの各座標は、移動体１１によって動く前記機体基準直交座標系（ｘ_P，ｙ_P，ｚ_P）から、常時静止状態となる水平面基準座標系（ｘ_H，ｙ_H，ｚ_H）に変換される（Ｓ２０５）。ここでは、積分器５６で３軸ジャイロ５３の角速度を積分する（Ｓ２０６）ことによって得られる各方向の回転角（ロール方向φ_P，ピッチ方向θ_P，ヨー方向ψ_P）が用いられ、これによって、移動体１１の移動によるパノラマ画像Ｐのブレを補正する処理が行われる。ここで、機体基準直交座標系（ｘ_P，ｙ_P，ｚ_P）から、水平面基準座標系（ｘ_H，ｙ_H，ｚ_H）への変換式は、次の通りである。
【数１２】

なお、Ｃ_X（φ）、Ｃ_Y（θ）、Ｃ_Z（ψ）は、前述の式（９）〜（１１）を利用して求められる。
【００４９】
次に、パノラマ画像Ｐの各座標は、水平面基準座標系（ｘ_H，ｙ_H，ｚ_H）から、極座標系（θ_{AZ_H}(ｉ)，θ_{EL_H}(ｊ））に変換される（Ｓ２０７）。ここでの変換式は、次の通りである。
【数１３】

但し、ｘ_H，ｙ_Hの大きさにより、図２１の場合分けが行われる。
【数１４】

【００５０】
更に、パノラマ画像Ｐの各座標は、極座標系（θ_{AZ_H}(ｉ)，θ_{EL_H}(ｊ））から、水平面基準のパノラマ画像座標系Ｈ（ｘ_H(ｉ)，ｙ_H(ｊ））に変換される（Ｓ２０８）。ここでの変換式は、次の通りである。
【数１５】

但し、ｉ＝１〜ｗ（図１２参照）とする。
【数１６】

但し、ｊ＝１〜ｈ（図１２参照）とする。
【００５１】
一方、パノラマ画像Ｐの移動軌跡Ｌは、次のようにして求められる。
【００５２】
先ず、３軸直線加速度計５２で検出された各方向の加速度を積分器５５で積分することで、移動体の速度（Δｘ_P，Δｙ_P，Δｚ_P）が求められる（Ｓ２０９）。そして、前記機体基準直交座標系での速度（Δｘ_P，Δｙ_P，Δｚ_P）から、前記水平面基準座標系での速度（Δｘ_H，Δｙ_H，Δｚ_H）に変換される（Ｓ２１０）。ここでの変換式は、前述した式（１２）が利用される。ここでも、前述の手順（Ｓ２０６）によって得られた各方向の回転角度（ロール方向φ_P，ピッチ方向θ_P，ヨー方向ψ_P）が用いられる。なお、Ｃ_X（φ）、Ｃ_Y（θ）、Ｃ_Z（ψ）は、前述の式（９）〜（１１）を利用して求められる。
【００５３】
そして、水平面基準座標系の速度（Δｘ_H，Δｙ_H）が、磁気方位計４８からの検出値ψ_MAGに基づき、図１０の磁北座標系の速度（Δｘ_N，Δｙ_N）に変換される（Ｓ２１１）。このときの変換式は、次の通りである。なお、ここでは、Δｚ_Hは用いない。
【数１７】

【００５４】
次に、前記磁北座標系の速度（Δｘ_N，Δｙ_N）と速度Δｚ_Hとから、次式を用いて移動体１１の移動軌跡Ｌが求められる（Ｓ２１２）。
【数１８】

ここで、ｎ（ｎ＝１，２，３・・・・）は、サンプリング周期である。
【００５５】
このようにして求められた移動軌跡Ｌは、前記第３の表示部４６で、図１３のように三次元的に表示される（Ｓ２１３）。
【００５６】
また、パノラマ画像Ｐの各座標は、前記Ｓ２０８の手順で求めたパノラマ画像座標系Ｈ（ｘ_H(ｉ)，ｙ_H(ｊ））から、前記磁北座標系に変換される（Ｓ２１４）。ここでは、前記Ｓ２１２の手順で求められた移動体１１の移動軌跡Ｌと、磁気方位計４８からの検出値ψ_MAGとに基づき、次式により変換される。
【数１９】

但し、ｉ＝１〜ｗ、ｊ＝１〜ｈとする。
【００５７】
このようにして求められた北方向基準の地図的領域画像Ａ２は、天地方向（Ｚ軸方向）の位置（高さ・深さ位置）毎に、第３の表示部４６で表示可能となる（Ｓ２１４）。
【００５８】
従って、このような第３実施例によれば、前述した効果に加え、移動体１１が天地方向に移動したときでも、その周囲の状況をより確実に把握することができるという効果を得る。
【００５９】
また、方位基準画像生成部５０に、移動体１１の移動に伴うパノラマ画像Ｐのブレを補正するスタビライザー機能が設けられているため、例えば、瓦礫の上を移動体１１が走行する場合等において、当該移動体１１の揺れにより生じるパノラマ画像Ｐのブレが補正されることになり、地図的領域画像Ａ２を一層見易くできるという効果をも得る。
【００６０】
なお、第３実施例の方位基準画像生成部５０に対し、スタビライザー機能を設けないようにすることも可能である。この場合は、積分器５６で演算された角度変位（φ_P、θ_P、ψ_P）を考慮せずに、第２実施例と同様にしてパノラマ座標Ｐの座標変換が行われる。
【００６１】
また、前記第２及び第３実施例では、北基準の地図的領域画像Ａ２を生成できるようにしたが、本発明はこれに限らず、同様のアルゴリズムで、他の方角や方向等を基準とした地図的領域画像Ａ２を生成するようにしてもよい。
【００６２】
［第４実施例］
この第４実施例に係る探索監視装置６０は、図２２に示されるように、前記第１実施例の構成に加え、移動体１１から所定の対象物（図示省略）までの距離が反映された距離画像を生成する距離画像生成手段６２を更に備えたところに特徴を有する。なお、ここで生成された距離画像は、表示手段１４の第３の表示部６４で表示される。
【００６３】
前記距離画像生成手段６２は、図２２及び図２３に示されるように、距離画像を生成する際に移動体１１の移動を指令する距離画像指令端末６６と、当該距離画像指令端末６６からの信号と前記移動指令端末１２からの信号を選択的に切り替える切替部６７と、フレームグラバ３８からのドーナツ画像Ｄが記憶される画像メモリ６９と、撮像タイミングの相違する二枚のドーナツ画像Ｄを対比することで、所定の距離画像を生成する距離画像生成部７０と、これら画像メモリ６９及び距離画像生成部７０を指令する撮像タイミング発生部７１とを備えて構成されている。
【００６４】
なお、特に限定されるものではないが、本実施例では、距離画像指令端末６６、切替部６７、及び撮像タイミング発生部７１が移動体１１と別個に設けられる一方、画像メモリ６９及び距離画像生成部７０が移動体１１の画像処理装置１８に設けられている。ここで、切替部６７及び撮像タイミング発生部７１を、移動体１１に設けてもよいし、逆に、画像メモリ６９及び距離画像生成部７０を、移動体１１と別個に設けてもよい。
【００６５】
前記距離画像指令端末６６は、所定の操作を行うと、切替部６７が切り替わって、移動体１１を直進させる指令を駆動装置２２に付与するようになっている。
【００６６】
前記距離画像生成部７０は、移動体１１の移動により異なる角度から撮像された二つのドーナツ画像Ｄに対し、それぞれ写った対象物の各画素数の差である視差から、移動体１１と対象物との間の最短離間距離（以下、単に、「離間距離」と称する）を算出し、当該離間距離の大きさに応じて、前記対象物の色彩を人工的に変えた距離画像を生成できるようになっている。ここで、前記離間距離の算出は、前記視差の逆数に所定の定数を乗じることにより求められる。また、距離画像の生成は、距離毎に定められた色彩から、算出された離間距離に対応する色彩を選択し、当該色彩を、前記対象物が映った画像に施す処理が行われるようになっている。なお、前記対象物が映った画像に距離を併記する処理を行ってもよい。
【００６７】
前記撮像タイミング発生部７１は、距離画像指令端末６６の操作が行われたときに、その直後のドーナツ画像Ｄを記憶するように画像メモリ６９に指令するとともに、距離画像指令端末６６の操作が行われてから一定時間後のドーナツ画像Ｄを取り込むように距離画像生成部７０に指令する。
【００６８】
次に、前記距離画像生成手段６２による処理手順を説明する。
【００６９】
距離画像指令端末６６の操作が行われると、移動体１１が、一定時間直進する。この際、移動体１１の移動直後に全周撮像器１６で撮像された先のドーナツ画像Ｄが、フレームグラバ３８から画像メモリ６９に記憶される。その後、所定時間経過し、移動体１１が更に直進した状態で全周撮像器１６に撮像された後のドーナツ画像Ｄが、フレームグラバ３８から距離画像生成部７０に取り込まれる。すると、距離画像生成部７０では、画像メモリ６９から先のドーナツ画像Ｄが取り込まれ、後のドーナツ画像Ｄとともに、それらに写った所定の対象物の画素数を計測して視差を算出する。そして、当該視差に基づいて前記離間距離が求められ、更に、前記対象物に所定の色彩が人工的に施された距離画像が生成されることになる。
【００７０】
従って、このような第４実施例によれば、前記第１実施例の効果に加え、対象物までの距離を距離画像で確認することができ、移動体１１の操作上一層有用になる。
【００７１】
なお、距離画像生成手段６２は、第２及び第３実施例の構成に対しても、同様に付加することができる。
【００７２】
また、前記各実施例におけるアルゴリズムや処理手順、及び装置各部の構成は、前記各実施例に限定されるものではなく、実質的に同様の結果、作用、効果等が得られる限りにおいて、種々の変更が可能である。
【００７３】
更に、前記各実施例では、画像処理装置１８を移動体１１に設けたが、本発明はこれに限らず、画像処理装置１８の一部若しくは全体の構成を移動体１１と分離配置することも可能である。
【００７４】
また、前記各実施例では、人間の入れない場所等の状況を把握する探索監視装置に本発明を適用したが、本発明はこれに限らず、他の用途の画像生成装置にも適用することができる。
【００７５】
【発明の効果】
以上説明したように、本発明によれば、あたかも現場を直視したかのような画像を得ることができ、人間が容易に直視できない空間等の様子や当該空間内に存在する人や物等の対象物の状況を正確に把握することができる。
【００７６】
また、移動体と対象物との離間距離を画像から簡単に把握することができ、当該離間距離と実際の画像とにより、移動体の操作を一層楽に行うことができる。
【図面の簡単な説明】
【図１】第１実施例に係る探索監視装置の概略構成図。
【図２】全周撮像器及びセンサユニットの概略斜視図。
【図３】全周撮像器の概略断面図。
【図４】原画像の概念図。
【図５】第１実施例に係る画像処理装置のシステム構成図。
【図６】ドーナツ画像からパノラマ画像への展開を説明するための概念図。
【図７】帯状領域画像の概念図。
【図８】地図的領域画像の概念図。
【図９】第２実施例に係る画像処理装置のシステム構成図。
【図１０】北基準水平面座標系を説明するための図。
【図１１】第２実施例の方位基準画像生成部で適用されるアルゴリズムを説明するためのチャート図。
【図１２】パノラマ画像座標系を説明するための図。
【図１３】第３実施例の方位基準画像生成部で得られる三次元的な地図的領域画像及び移動軌跡の表示態様を示す概念図。
【図１４】第３実施例に係る画像処理装置のシステム構成図。
【図１５】第３実施例の方位基準画像生成部で適用されるアルゴリズムを説明するためのチャート図。
【図１６】パノラマ画像極座標系を説明するための図。
【図１７】極座標−直交座標変換を説明するための図。
【図１８】ＯＤＶ基準直交座標系と機体基準直交座標系との関係を示す斜視図。
【図１９】ＯＤＶ基準極座標系を説明するための斜視図。
【図２０】機体基準直交座標系を説明するための斜視図。
【図２１】直交座標から極座標への変換の際の場合分けに用いられる図表。
【図２２】第４実施例に係る探索監視装置のシステム構成図。
【図２３】第４実施例に係る探索監視装置の概略構成図。
【符号の説明】
１０探索監視装置（画像生成装置）
１１移動体
１６全周撮像器（撮像手段）
１７センサユニット
１８画像処理装置
３３直線加速度計（速度検出手段）
３５画像展開手段
３６領域画像生成手段
４１積分器（速度検出手段）
４２移動体基準画像生成部
４８磁気方位計
５０方位基準画像生成部
５２三軸直線加速度計（速度検出手段）
５３三軸ジャイロ（角度検出手段）
５５積分器（速度検出手段）
５６積分器（角度検出手段）
６０探索監視装置（画像生成装置）
６２距離画像生成手段
Ａ領域画像
Ａ１帯状領域画像
Ａ２地図的領域画像
Ｄドーナツ画像
Ｌ移動軌跡
Ｐパノラマ画像
Ｔ原画像
Ｗ幅

Claims

所定方向に移動可能な移動体と、この移動体に設けられるとともに、周囲の視野を略同時に撮像してリング状の原画像を得る撮像手段と、前記原画像を略短冊状のパノラマ画像に展開する画像展開手段と、前記移動体の速度に応じた幅のパノラマ画像を所定時間毎に収集し、これら各パノラマ画像を経時的に繋ぎ合わせることで、前記移動体が移動した領域のパノラマ画像を総合した領域画像を生成する領域画像生成手段と、前記移動体の速度を検出する速度検出手段と、前記移動体の方位角及び／又は姿勢変位角を検出する角度検出手段とを備え、
前記領域画像生成手段は、方位が考慮された地図的領域画像が生成される方位基準画像生成部を備え、当該方位基準画像生成部は、前記速度検出手段及び角度検出手段の検出値に基づいて、各パノラマ画像が所定の方位を基準として繋ぎ合わされることで、前記地図的領域画像を生成することを特徴とする画像生成装置。
前記速度検出手段は、所定の直交三軸方向の速度をそれぞれ検出可能に設けられる一方、前記角度検出手段は、前記直交三軸回りの回転角をそれぞれ検出可能に設けられ、
前記方位基準画像生成部は、前記速度検出手段及び角度検出手段からの検出値に基づいて、前記地図的領域画像を三次元的に生成することを特徴とする請求項１記載の画像生成装置。
前記方位基準画像生成部は、前記移動体の移動軌跡を算出可能に設けられていることを特徴とする請求項２記載の画像生成装置。
前記方位基準画像生成部には、前記移動体の移動による画像のブレを補正するスタビライザー機能が設けられていることを特徴とする請求項２又は３記載の画像生成装置。
前記移動体と所定の対象物との離間距離が反映された距離画像を生成する距離画像生成手段を更に備え、
前記距離画像生成手段は、前記移動体の移動による前記原画像の視差から算出された離間距離に基づいて前記距離画像を生成することを特徴とする請求項１〜４の何れかに記載の画像生成装置。
前記距離画像生成手段は、前記離間距離に応じて異なる色彩が施された距離画像を生成することを特徴とする請求項５記載の画像生成装置。