JPH02151828A

JPH02151828A - 全方位観測装置

Info

Publication number: JPH02151828A
Application number: JP63306566A
Authority: JP
Inventors: Yasushi Yagi; 康史八木
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 1988-12-02
Filing date: 1988-12-02
Publication date: 1990-06-11

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】〔産業上の利用分野〕この発明は、例えばプラント工場などにおける侵入監視
のための視覚センサおよび画像処理方法に係り、特に侵
入監視の中でも広範囲を監視するための視覚つまり全方
位観測装置に関するものである。

〔従来の技術〕

第１３図は例えば特開昭６１−２７５９１２号公報に開
示された従来の全方位視覚装置の斜視図であって、図に
おいて、１９は半球状の視界を有する魚眼レンズ、２２
はソリッドステートカメラで、減速レンズ／シャッター
装置２０とレベルディテクタ２１と２自由度ジンバル取
付台２３とにより、魚眼レンズ１９の光軸が鉛直上方を
向いているときのみ撮像を行なう。上記した装置は魚眼
レンズ１９が鉛直上方を向いたときの半球状の外界を撮
像する。

そしてこの外界内に予め存在し、位置が既知の参照物体
の位置関係から三角測量により自己位置を算出する。

また、第１４図は例えば特開昭４７−１０５３４号公報
に開示された従来の全方位視覚装置の構成図で、図にお
いて、２４は円錐鏡、４はレンズ、１０はテレビカメラ
である。この装置は円錐鏡２４に反射された方位３６０
°のパノラマ映像がレンズ４により集束され、テレビカ
メラ１０によって撮像された人が歪んだ画像をモニタに
より観測するものである。

〔発明が解決しようとする課題〕

従来の全方位視覚装置は以上のように構成されているの
で、前者の装置は魚眼レンズを用いて全方位の′視野を
得そいたため、観測に不必要な上方の外界情報が画像の
大半を占め、観測に必要な横方向の情報量が圧縮され分
解能を低下させるという課題があった。また後者の装置
は円錐反射鏡を利用するため、常に歪み湾曲した画像を
観測しなければならないという課題があった。

この発明は上記のような課題を解消するためになされた
もので、横方位を中心とした３６０°のパノラマ状観測
が行なえ、かつ歪のない画像を観測することのできる全
方位観測装置を得ることを目的とする。

〔課題を解決するための手段〕

この発明に係る全方位観測装置は、全方位から入射する
光を反射する側面と光を透過する上面および底面とから
なる円錐台状反射鏡と、この反射鏡の底面に設けた平面
反射鏡と、上記円錐台状反射鏡からの反射光と該円錐台
状反射鏡の底面および上面を透過した平面反射鏡からの
反射光とを同時に集束するレンズと、このレンズにより
結像した被検出物体の像を撮像する２次元撮像素子とか
ら構成したものである。

〔作　用〕

この発明においては、円錐台状反射鏡の円錐形状により
、方位３６０°のパノラマ状の視野Ｍ域を一度−の撮像
で観測することができ、また、同時に任意の方向の歪の
ない画像も観測できる作用が得られる。

〔実施例〕

以下、この発明の一実施例を図について説明する。第１
図はこの発明による全方位観測装置の斜視図で、７は反
射鏡部、８は撮像部であって、ガラス管９によって接続
されている。撮像部８はレンズ４と２次元撮像素子５お
よびテレビカメラ１０とから構成されている。次に反射
鏡部７の構成について説明する。１はパノラマ状の画像
を得るための円錐台状反射鏡であり、その側面部は反射
面で上面および底面は貫通している。３ば平面反射鏡で
、この反射鏡３からの反射光は、円錐台状反射鏡１を上
、下に通過して撮像部８へ到達する。

撮像部８の光軸と円錐台状反射鏡１の中心軸は一致する
。１１は平面反射鏡３を旋回させるための回転機構で、
１２は平面反射鏡３の仰角を変化させるための回転機構
、１３は上記再回転機構１１１２を継ぐ取付は治具であ
る。

第２図は第１図に示した装置の作動図であっ□て、平面
反射鏡３からの反射光は、円錐台状反射鏡１を貫通して
レンズ４で集束され、２次元撮像素子５上で結像する。

なお、視野領域□は斜線域１４で、円錐台状反射鏡Ｉの
視野領域は斜線域１５である。

また、実施例で・は□円錐台状反射鏡の中央域は貫通孔
としたが、平面反射鏡３がらの反射光の光路が変更され
ず、円錐台状反射□鏡１の中央域を通って２次元撮像素
子５上に結像できればよいので、円錐台状反射鏡１が光
を透過する材料であり、側面のみ反射面になっていれば
中央域が貫通している必要はない。また、実施例ではガ
ラス管９を用いたが、全方位からの外界が光路を変更さ
れず、反射鏡に反射し２次元撮像素子５上に結像されれ
ばよいので、光を透過する材料であればよい。

上記のように構成した全方位観測装置においては、第１
の特徴として方位３６０°の゛パノラマ状の視野領域の
映像を一度に観測できる。しかし第３図に示すように円
錐台状反射鏡を利用しているため、画像面１８′に写し
出された被検出物体の画像成分のうち、円錐台状反射鏡
の軸に対し直交する成分は湾曲して写る。ここでレンズ
４の中心を原点とし、Ｚ軸がレンズの光軸となるＯＬ−
’ＸＹＺ座標系と画像面１８と光軸との交点を原点とし
、ＸＹ軸に各々平行な０−ｘｙ座標系を考えると被検出
□物体上ノ点Ｐ　（Ｘ、Ｙ、Ｚ）　と画像ｒｔＪ１８へ
の写像位置ｐ（ｘ、ｙ）　の間には下記の弐（１１〜（
６）の関係が成立”する。

式（１）〜（４）は第４図（ａｌ、　（ｂ）に示すよう
に方位角αの関係を・表す。さらに第５図に示すように
式（５）は仰角βの関係を示す。ここで第５図は第４図
における点Ｐと撮像部の光軸とによってできる断面図で
ある。

ｔａｎ　　α−Ｙ／Ｘ＝ｙ／ｘ　　　　　　　　　　　
　　−・・（１）Ｒ−６７７戸　　　　　　　　　　　
　　　・・・（２）Ｖｏ−仏〒７ｉ　　　　　　　　　
　　　　　・・・（３）Ｘ＝ＶｏｃｏｓｃＸ　　Ｙ　　
−Ｖｏ　　ｓｉｎ　ａ　　　　　　　　　　　−（４ｉ
ｔａｎ　　β　−Ｒ／　Ｆ　　　　　　　　　　　　　
　　　　　　　・・＋５）ｖＯ−（Ｈ（１−ｃｏｓθ）
＋Ｚｏｌ　　ｔａｎ（β　−θ））（ｓｉｎ　θ　　　
　　　　　　　　　　　　　　　　　　　　・・・（６
）ただし、Ｒは撮像点ｐ（ｘ＋ｙ）の画像中心から長さ
、ｖｏば被検出物体上の点Ｐ（Ｘ、Ｙ、Ｚ）のレンズ中
心からの水平距離、θは円錐台状反射鏡の頂角、Ｆはレ
ンズの焦点距離、Ｈはレンズ中心０．と円錐頂点間の長
さである。

これによって、被検出物体上の点Ｐとレンズ中心ＯＬと
の高さの差Ｚ。およびθ、Ｈ，Ｆがわかれば点Ｐの画像
面上での座標（ｘ、　ｙ）を計測することで、式（１，
１〜（６）より点Ｐの位置（Ｘ、　Ｙ、　Ｚ）および方
位角α。

仰角βは計算できる。

また、監視領域に侵入する未知物体は第６図に示すよう
なフローチャートで基準画像と撮像画像とを比較するこ
とで実現可能である。すなわち、ステップ１において全
方位観測装置のカメラから撮像された画像はステップ２
で画像メモリに格納される。ステップ３の差分回路によ
って予め未知物体のない状態で撮像しておいたステップ
４の基準画像と上記画像メモリに格納した画像との差分
をとり、次に適当なしきい値を設定し、しきい値以上の
全ての画素を抽出する。さらにステップ５の候補領域検
出回路によって抽出された画素を連続した画素の領域毎
に分けて未知物体候補領域とし、ステップ６で面積計算
回路にて各候補領域の面積を計算し、領域が大きい場合
ステップ７の判別回路にて未知物体領域２５（第７図）
と判別し、ステップ８で位置計算回路にて方位角、仰角
、距離の計算を行なう。なお、ステップ２〜ステツプ８
は制御回路によって駆動される。未知物体の方位は第７
図に示すように未知物体領域の重心位置Ｐ１と画像中心
Ｏを結ぶ方向とし、式（１）より方位角αを求める。仰
角についても式（２）よりＯ，Ｐ＋間の長さを求め式（
５）から算出する。また、距離については、未知物体領
域に接するレンズ中心○を中心とした円Ｒを想定し、円
Ｒと線分０．Ｐ＋の交点Ｐ８をもって未知物体の地上面
での位置とし、式（４）（６）から算出する。

監視領域に侵入する移動物体の検出は第８図に示すフロ
ーチャートで一定周期で撮像された画像間の比較により
実現される。すなわち、ステップ１において全方位観測
装置のカメラより一定周期で撮像し隣接した画像をステ
ップ２の画像メモリ１とステップ３の画像メモリ２に格
納する。次にステップ４の差分回路にて画像メモリ１，
２の差分を取り、ｎ回くり返しステップ５の差分画像メ
モリに格納する。その後、ステップ６の移動軌跡領域検
出回路にて上記ｎ枚の差分画像の画素単位での最大値を
とることで連続差分画像を作成する。

そして、この連続差分画像からしきい値以上の全ての画
素を抽出し、抽出された画素を連続した画素ごとに領域
分けし、移動軌跡候補領域を検出する。この領域に対し
ステップ７で面積計算回路にて領域の面積を計算し、領
域面積が大きい場合にはステップ８の判別回路にて移動
軌跡領域と判別し、ステップ９の位置計算回路にて移動
物体の距離、方向、移動の速やさを計算する。なお、ス
テップ２〜９ば制御回路によって駆動される。

第９図は移動物体検出方法の説明図で、（８１は移動軌
跡領域図、（ｂｌ、　（Ｃ１は各々１番目、ｎ番目差分
画像における移動軌跡領域図、ｆｄｌは移動ベクトル検
出図である。これによれば、移動軌跡領域２６に含まれ
る各々の差分画像での移動軌跡領域２７に対し画像中心
０を円中心とする最小接円Ｒ１との接点Ｐ、＋（１≦１
≦ｎ）を地上面とし、全ての差分画像ｎ枚について求め
、接点Ｐｅｉを継ぎ合せることで移動ベクトルとし、最
後の接点位置Ｐ、□を現在位置とする。そして現在位置
に関して式（１）〜（６）より方位角、仰角、距離を計
算する。さらに、移動ベクトルの始点についても上記と
同様に求め、始点。

終点の方位角、距離と１番目と最後の画像の撮像時刻の
差Ｔとより移動速度、移動方向の算出を行なう。

次に未知物体、移動物体の被検出物体を歪のない画像で
撮像するために平面反射鏡を被検出物体の観測可能な方
位角、仰角に制御する。平面反射鏡の方位角については
円錐台状画像より求めた方位角αに合せればよい。しか
し、仰角については反射鏡の高さが違うため、第１０図
に示したように点Ｐ′を画像にとらえるためには仰角を
算出する必要がある。これは式（２１，（３１を用いて
Ｈを反射鏡とレンズ中心ＯＬまでの長さに置き換えるこ
とで算出する。

なお、実施例では工場用進入監視について説明したが、
その他、百貨店やスーパーマーケットなどの室内監視で
あってもよい。また交差点などにおける自動車走行量の
計測や交通整理、飛行場あるいは湾などでの交通整理で
あっても上記同様に行なえる。

また、回転機構の位置は、平面反射鏡が回転できればよ
いので、第１１図に示すように旋回回転機構１１はガラ
ス管９の下など反射鏡部７全体が旋回できるようにして
もよいし、仰角回転機構１２は平面反射鏡の中心などで
あってもよい。さらに、反射鏡部７と撮像部２間の支え
は第１２図のように支柱２８であってもよい。

〔発明の効果〕

以上説明したようにこの発明によれば、円錐台状反射鏡
、平面反射鏡、２軸回転機構、レンズおよびカメラから
なる簡単な構成により、全方位のパノラマ情景を撮像す
ることができ、かつ歪のない通常画像も同時に観測でき
るため、低コスト化が図れる。さらに、円錐台状反射鏡
を用いることで、連続して全方位にわたって観測したた
め、カメラを回転することで観測不可能なことがなくな
り、これによって信転性の高い全方位観測装置となる。

【図面の簡単な説明】

第１図はこの発明の一実施例による全方位観測装置の斜
視図、第２図は第１図装置の作動説明図、第３図はこの
発明装置の対象物観測図、第４図は方位角の説明図、第
５図は仰角と距離計測の説明図、第６図は未知物体検出
方法のフローチャート図、第７図は未知物体検出の説明
図、第８図は移動物体検出方法のフローチャート図、第
９図は移動物体検出方法の説明図で、（ａ）は移動軌跡
領域図、（ｂｌ、（Ｃ）は各々１番目、ｎ番目差分画像
の移動軌跡領域図、（ｄ）は移動ベクトル検出図、第１
Ｏ図は平面反射鏡仰角計算のための説明図、第１１回お
よび第１２図は他の実施例による全方位観測装置の各々
の斜視図、第１３図および第１４図は従来の全方位視覚
装置の斜視図と側面図である。１・・・円錐台状反射鏡、３・・・平面反射鏡、４・・
・レンズ、５・・・２次元撮像素子。なお、図中同一符号は同−又は相当部分を示す。第１図

Claims

【特許請求の範囲】

全方位から入射する光を反射する側面と光を透過する上
面および底面とからなる円錐台状反射鏡と、この反射鏡
の底面に設けた平面反射鏡と、上記円錐台状反射鏡から
の反射光と該円錐台状反射鏡の底面および上面を透過し
た平面反射鏡からの反射光とを同時に集束するレンズと
、このレンズにより結像した被検出物体の像を撮像する
２次元撮像素子とから構成されることを特徴とする全方
位観測装置。