JPH06295333A - 全方位視覚系 - Google Patents

全方位視覚系

Info

Publication number
JPH06295333A
JPH06295333A JP5080749A JP8074993A JPH06295333A JP H06295333 A JPH06295333 A JP H06295333A JP 5080749 A JP5080749 A JP 5080749A JP 8074993 A JP8074993 A JP 8074993A JP H06295333 A JPH06295333 A JP H06295333A
Authority
JP
Japan
Prior art keywords
hyperboloid
mirror
camera
image
equation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP5080749A
Other languages
English (en)
Other versions
JP2939087B2 (ja
Inventor
Nobutoshi Gako
宣捷 賀好
Masahiko Yanaida
正彦 谷内田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=13727058&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JPH06295333(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP5080749A priority Critical patent/JP2939087B2/ja
Publication of JPH06295333A publication Critical patent/JPH06295333A/ja
Application granted granted Critical
Publication of JP2939087B2 publication Critical patent/JP2939087B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Measurement Of Optical Distance (AREA)
  • Image Input (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【目的】 全方位の画像の同時撮影が可能な全方位視覚
系を提供することにある。 【構成】 2葉双曲面のうちの一方の双曲面状の形状を
有する反射ミラーと、2葉双曲面のうちの他方の双曲面
状の形状を有し中心が他方の双曲面の焦点に配置された
レンズとを備えた画像入力装置を含むことを特徴とす
る。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は全方位視覚系に係り、詳
細には広い範囲の視覚情報を同時に入力し得る、特に、
監視装置や自律移動ロボット等に用いて好適な双曲面ミ
ラーを用いた全方位視覚系であって、該視覚系を用いて
移動中に撮像した画像から移動ステレオ視の原理により
環境構造物までの距離を計測し得る全方位視覚系に係
る。
【0002】
【従来の技術】広い範囲の視覚情報を同時に入力し得る
入力装置の研究が盛んに行われている。特に、監視装置
や移動ロボットに応用する研究が盛んである。ここでロ
ボットに応用する画像入力装置を例に従来の技術を説明
する。
【0003】実際の環境内において、ロボットを誘導す
るためには、ロボットが移動環境下で現在どのような環
境下であるかを理解し、適切な判断を行う必要がある。
そのためには、ロボットにセンサを搭載しこのセンサ情
報を利用して自律移動する必要がある。センサとしては
超音波、レーザー、カメラなどがあるが、中でも視覚セ
ンサはロボットの周辺の状況を知る上で有効なセンサで
ある(人は80%以上の情報を視覚(眼)から獲得する
といわれている)。
【0004】従来の移動ロボットに関する研究では、一
般のカメラで直接とった中心射影の画像を利用してい
た。しかし、この方法では視野領域が前方中心となり、
側方及び後方の情報を知ることができなかった。
【0005】このようなロボットなどが人工環境の中を
移動する場合、必ずしも移動物体は前方より接近してく
るとは限らない。側方、後方からの移動物体の接近によ
る危険が生じ得る。事実、人が自動車を運転する場合
も、発進や右左折の場合にルームミラーないしドアミラ
ーで後方の確認行っている。よって、移動ロボットにお
いても移動しながら全方位の情報を獲得することが望ま
しい。
【0006】このような目的で全方位の視覚情報を同時
に獲得する方法として従来以下に示す方法が提案されて
いる。
【0007】(1)カメラを回す方法:カメラを鉛直軸
廻りに回転させる方法で全方位の中心射影の鮮明な画像
が得られる。
【0008】(2)魚眼レンズを用いる方法:魚眼レン
ズをつけたカメラを上に向けて使う方法で一度に全方位
の画像をとることができる。
【0009】(3)球面ミラーを用いる方法:半球面の
ミラーとカメラとから構成されミラーに写った環境をカ
メラでとる方法である。
【0010】(4)円錐ミラーを用いる方法:円錐面の
ミラーとカメラとから構成され、側方中心の情報が得ら
れ衝突回避等には有効なセンサである。
【0011】
【発明が解決しようとする課題】しかし、上記の各従来
技術には次の問題点がある。
【0012】(1)カメラを回す方法:カメラを回すた
めに全方位の画像をとるのに時間がかかり、衝突回避な
ど実時間で判断する必要のある問題に対しては適切では
ない。
【0013】(2)魚眼レンズを用いる方法:出力画像
はロボットの移動に必ずしも必要でない天井などの画像
を多く含み、ロボットに必要な側方の情報が十分観測で
きない。
【0014】(3)球面ミラーを用いる方法:この方法
は上記魚眼レンズを上下反転した場合の視野領域と類似
し、天井などの代わりにカメラ自身の像や床面を画像に
多く含み側方の解像度が低いという欠点がある。
【0015】(4)円錐ミラーを用いる方法:足元の情
報を得るために工夫が必要とされる。
【0016】さらに、ここであげたカメラを回す方法以
外の全方位視覚系は、光学系の特性から画像を一般のカ
メラで直接とった画像に変換できないため、独自の視覚
情報の処理方法が必要とされる。
【0017】例えば、従来の画像処理システムを用いた
場合、垂直方向の直線は画面では放射状になるため比較
的見つけやすいが、水平方向の直線は同心円状となるた
め容易には発見できないという問題がある。また、これ
らの直線を正しく認識し、通常の画面に変換することが
容易でないことも明かである。
【0018】本発明の目的は、全方位の画像の同時撮影
が可能な全方位視覚系を提供することにある。
【0019】
【課題を解決するための手段】本発明は、2葉双曲面の
うちの一方の双曲面状の形状を有する反射ミラーと、2
葉双曲面のうちの他方の双曲面状の形状を有し中心が他
方の双曲面の焦点に配置されたレンズとを備えた画像入
力装置を含むことを特徴とする。
【0020】
【作用】画像入力装置が2葉双曲面のうちの一方の双曲
面状の形状を有する反射ミラーと、2葉双曲面のうちの
他方の双曲面状の形状を有し中心が他方の双曲面の焦点
に配置されたレンズとを備えているため、換言すれば双
曲面ミラーを用い、その焦点から像を撮影できるので光
学系で複雑な変換を受けていない歪の少ない画像を一度
に得ることができる。この結果、撮影した画像を一般の
カメラで直接とった画像に簡単に変換し得るとともに一
般のカメラ出力画像と同じく従来の画像処理技術を利用
し得る。
【0021】
【実施例】2葉双曲面投影による全方位視覚系と、セン
サが移動中に撮像した画像から移動ステレオ視の原理に
より環境構造物までの距離を計測する方法、さらにはこ
の方法を用いたシミュレーション結果について説明す
る。
【0022】本視覚系の特徴は双曲面ミラーを用いるこ
とである。2葉双曲面投影の基本的な性質を以下に述べ
る。
【0023】図1は本発明の全方位視覚系の実施例を説
明する図、図2は2葉双曲面を説明する図である。最初
に2葉双曲面について説明する。
【0024】図2において、1、2は双曲面、Oは座標
原点、OM1は双曲面1の焦点、OC1は双曲面2の焦点、
1 は座標原点からの各焦点までの距離、X、Y、Zは
各座標軸を示す。
【0025】2葉双曲面の式は次の通りである。
【0026】 (X2 +Y2 )/a2 −Z2 /b2 =−1 (2.1) ただしaは虚軸(共役軸)の半分、bは実軸(主軸)の
半分である。
【0027】2葉双曲面はX2 /a2 −Z2 /b2 =−
1で表される双曲面の回りに回転して得られる(この双
曲線X軸の回りに回転すると1葉双曲面になる)。従っ
て、その形状には以下に示す特徴がある。
【0028】即ち、Z軸に平行な平面による2通りの双
曲面の切り口は双曲線となり、XY平面に平行な平面に
よる切り口は円であり、XY平面で対称な2つの曲面を
有している。
【0029】本実施例では2葉のうちZ>0の領域にあ
る双曲面をミラーとして利用している。
【0030】このような反射ミラーを用いた視覚系の構
成について述べる。
【0031】図1において、鉛直下向きに設置した2葉
双曲面のうちの一方の双曲面ミラー3とその下に鉛直上
向きに設置したカメラから構成されている。カメラの光
軸をZ軸(鉛直方向)とするカメラとミラーに固定した
O−XYZ3次元座標系を考える。3は双曲面状の形状
を有するミラー、OM はミラー3の焦点、Oc は双曲面
状の形状を有するカメラレンズの中心、xyは画像平面
を表す。座標原点Oはミラーの焦点OM とカメラレンズ
の中心OC との中心、cは原点Oから中心Ocまたは焦
点OM までの距離である。画像平面xyはXY平面に平
行でレンズ中心Oc からfだけ離れたZ軸上の点を通る
面とする。
【0032】図3は視覚系の鉛直断面を説明する図であ
る。図3において、4はミラー3の双曲面の漸近線、5
は画像平面である。
【0033】図3に示すようにミラー3の双曲面とその
焦点OM 、カメラのレンズ中心Ocは次式で示される。
【0034】 ミラー (X2 +Y2 )/a2 −Z2 /b2 =−1 ミラーの焦点OM (0,0,+c) (2.2) カメラのレンズの中心Oc (0,0,−c) ただしaは虚軸(共役軸)の半分、bは実軸(主軸)の
半分、cは次式で表される。
【0035】
【数1】
【0036】図4は点の射影水平方向を説明する図であ
る。
【0037】このような視覚系は次のように動作する。
すなわち図4に示すように距離計測を行う任意の点P
(XP ,YP ,ZP )に対する画像平面上の写像点をp
(xp,yp )とすると、次式が成立する。
【0038】 tanθ=YP /XP =yp /xp (2.3) すなわち、YP /XP で定まる対象物体の方位角θやy
p /xp で定まる画像平面内の像pの方位角θを算出す
ることで得られる。このように360度パノラマ状の領
域を双曲面ミラーを介して、撮像面上に投影する本方式
では対象物体の方位角θが、その物体の画像平面上の投
影の方位として直接現れる。
【0039】図5は点の射影鉛直方向を説明する図であ
る。
【0040】図5に示すように点Pと双曲面ミラー軸Z
を含む鉛直面を想定すると、点Pと写像点pとの間に次
式が成り立つ。
【0041】
【数2】
【0042】ただしa、b、cは双曲面に固有の定数
(式2.2 参照)でありfはカメラの焦点距離である。
【0043】即ち、物体の位置(XP P )がわかれ
ば、その物体の高さZP は天頂角βから求められる。次
に数2の式の算出の詳細を説明する。
【0044】図6は視覚系の鉛直方向を説明する図であ
る。
【0045】図6のようにp,qを設定するとp,qお
よび線分OM c バーからなる三角形から正弦定理によ
り p/sin(π/2+α)= q/sin(π/2−β)=2c/sin(−α+β) (2.4) の関係が成立する。
【0046】式2.4 を簡単にすると次式が得られる。
【0047】 p/cos α=q/cos β=2c/sin(−α+β) (2.5) また双曲線の性質より p−q=2b (2.6) が得られるため式2.5 、2.6 からp、qを消去すると [{2c cosβ/sin(−α+β)}+2b]/cosα=2c/sin(−α+β) (2.7) が得られ、式2.7 をまとめると、 bsin(−α+β)=c( cosα− cosβ) (2.8) となる。加法定理により式2.8 は、 b( cosα sinβ− sinα cosβ)=c( cosα− cosβ) (2.9) となりα、βをy= tanα、x= tanβとすると式2.9
が次式に置き換えることができる。
【0048】
【数3】
【0049】これを簡単にすると
【0050】
【数4】
【0051】となりこれをyについて解くと次式の関係
が得られる。
【0052】
【数5】
【0053】上式の両辺を自乗してyについて整理する
と、
【0054】
【数6】
【0055】となり、この二次方程式を解くと、
【0056】
【数7】
【0057】となる。y=−xは明らかに求めているも
のとは異なる。よって、もう一方の解を使用しy= tan
α、x= tanβを代入すると、 tanα={(b2 +c2 ) sinβ−2bc}/{(b2 −c2 ) cosβ} (3.0) 同様にxについて解き、y= tanα、x=tan βを代入
すると、 tanβ={(b2 +c2 ) sinα−2bc}/{(b2 −c2 ) cosα} (3.1) となる。
【0058】図7は直線の射影を説明する図である。同
図において距離計測を行う任意の直線Gを次の2平面の
交線として表す。
【0059】
【数8】
【0060】数8の式はミラーの焦点OM (0,0,
c)と直線Gを通る平面式S1 と直線Gを含み前記平面
1 と交差する任意の平面式S2 である。この直線Gの
画像面上への射影曲線は、極座標系(r,θ)で表すと
次式になる。
【0061】
【数9】
【0062】すなわち、任意の直線Gの画像面上への射
影像は、ミラーの焦点OM を通る平面S1 の関係のみに
より同一式で表現される。数9の式の算出の詳細につい
て下記に記載する。
【0063】直線を画像面上に射影した式は次のように
算出される。
【0064】(X,Y,Z)を(h,θ,α)で表すと
(hはOM から(X,Y,Z)までの距離)、
【0065】
【数10】
【0066】これを数8の式の前者に代入すると l1 cosα cosθ+m1 cos α sinθ+n1 sin α=0 (3.2) この式を変形すると、 tanα=(−l1 cos θ−m1 sin θ)/n1 (3.3) 数2の式を代入すると (−l1 cosθ−m1 sin θ)/n1 ={(b2 +c2 )sin β−2bc }/ (b2 −c2 ) cosβ (3.4) となり、
【0067】
【数11】
【0068】を代入すると数9の式が得られる。
【0069】次に上述のセンサを搭載したロボットが移
動中に撮像した時系列画像から移動ステレオの原理によ
り環境内構造物までの位置情報を求める方法について述
べる。
【0070】まず静止環境での位置情報の獲得について
述べる。図8は点の距離計測を説明する図である。同図
に基づいて点の獲得情報を説明する。
【0071】図8に示すように移動しているときの任意
の時刻t1 、t2 における数2の式のパラメータを夫々
添字1,2で区別する。この時、時刻t1 から見た時刻
2でのミラーの焦点OM の位置を(VX ,VY
Z )とすると,時刻t1 からみた対象点P(XP ,Y
P ,ZP )の位置は、(θ1 、α1 )、(θ2 、α2
を観測することで次の方程式を解くことにより求まる。
【0072】 XP /( cosα1 cos θ1 )=YP /( cosα1 sin θ1 )=ZP / sinα1 (XP −VX )/( cosα2 cosθ2 )=(YP −VY )/ ( cosα2 cosθ2 )=(ZP −VZ )/ sinα2 (3.2) それぞれの式は各時刻でのミラーの焦点OM と対象点P
とを結ぶ直線を示す。式3.2 は次式がなりたたなければ
解を持たない。
【0073】 (cosα1 sinθ1 sinα2 − cosα2 sinθ2 sinα1 )VX + (sinα1 cosα2 cosθ2 − sinα2 cosα1 cosθ1 )VY + (cosα1 cosθ1 cosα2 sinθ2 − cosα2 cosθ2 cosα1 sinθ1 ) VZ =0 (3.3) 図9は直線の距離計測を説明する図である。
【0074】図9に示すように移動しているときの任意
の時刻t1 、t2 における数の式のパラメータを夫々添
字1,2で区別する。また、時刻t1 からみた時刻t2
でのミラー焦点OM の位置を(VX ,VY ,VZ )とす
る。時刻t1 におけるミラーの焦点OM と対象直線上の
任意の一点を結ぶ直線は、時刻t1 でのセンサに写った
対象直線の像から求めることができる。この直線の次式
で表す。
【0075】 X/(cosα11 cosθ11 )=Y/(cosα11 sinθ11 )=Z/ sinα11 (3.4) また、Oと対象直線上の別の任意の1点を結ぶ直線を次
式で表す。
【0076】 X/(cosα12 cosθ12 )=Y/(cosα12 sinθ12 )=Z/ sinα12 (3.5) 式3.4 と3.5 の二つの直線を含む平面上に対象直線は存
在する。従って式3.4と3.5 の二つの直線を含む平面
は、次式で表される。
【0077】
【数12】
【0078】但し、×はベクトルの外積を示す。
【0079】同様に時刻t2 についても同じことを行
う。まず対象直線上の任意の2点と(VX ,VY
Z )を結ぶ直線は次式で示される。
【0080】 (X-VX )/(cosα21 cosθ21)=(X-VY )/(cosα21 sinθ21)=(Z-VZ )sinα21 (3.6) (X-VX )/(cosα22 cosθ22)=(X-VY )/(cosα22 sinθ22)=(Z-VZ )sinα22 (3.7) 式3.6 と3.7 の2つの直線を含む平面は、次式で示され
る。
【0081】
【数13】
【0082】よって、対象直線は2平面として数12、
数13の式から算出できる。但し、数12、数13の式
において両平面の法線ベクトルの外積がOバーとなる
[N1バー×N2 バー=0]の場合は、2平面は平行面
となり交線は存在しない。対象直線が求まる条件は、対
象直線とセンサの移動方向が捻れの位置にある場合であ
る。
【0083】ここでベクトルの外積について説明する。
【0084】ベクトルAバー、Bバーが直交座標系にお
いて、
【0085】
【数14】
【0086】で与えられているときベクトルの外積は次
式で計算することができる。
【0087】
【数15】
【0088】ベクトルAバー、Bバーの外積としてはつ
ぎのようなベクトルCバーをいう。即ち、その大きさは
Aバー、Bバーを2辺とする平行四辺形の面積に等し
く、その方向はAバー、Bバーに垂直でAバー、Bバ
ー、Cバーが右手系となるような向きを有している。
【0089】また、直線と平面の交点を求めることによ
り、各時刻で選んだ対象直線上の点は求めることができ
る。直線と平面を次のように定義すると、
【0090】
【数16】
【0091】となり交点は次式で表される。
【0092】
【数17】
【0093】以上の構成を有用性を検証するためシミュ
レーションを行った。図10はシミュレーションに使用
した仮想環境を説明する図である。
【0094】図10において、10はセンサ、11は四
角錐、12は直方体を示す。環境としては室内を想定し
環境内にはワイヤーフレーム状のセンサ10、四角錐1
1、直方体12が存在する。
【0095】四角錐11の大きさは底面が45×45c
m、高さが60cm、直方体12の大きさは底面が56
×25cm、高さが38cmである。またセンサ10の
設定は次の通りである。
【0096】2葉双曲面ミラーの固有の係数:(a,
b,c)=(8,6,10) カメラレンズの画角:65度 画像面のサイズ:500×500(pixel) これらの設定により画像上の半径250pixelの円
内にミラーの焦点OMを含む水平面より仰角15度から
下方の全方位画像が得られる。
【0097】以上の設定のもとでセンサは空間内を高さ
40cmで水平に163.25cm直進する。ただし、
センサの位置情報は正確に得られるものとする。
【0098】図11は図10のセンサ10の位置にセン
サが位置する場合の画像上への射影像の結果を示す図で
ある。図11の上方が進行方向であり図11の円はミラ
ーの焦点から見て水平な線である。
【0099】次に移動ステレオによる計測結果について
説明する。
【0100】図12から図14は環境とセンサの移動し
た経路と結果を示す図である。図12から図14におい
て正しい環境を点線、計測した環境を実線、センサの奇
跡を鎖線で示す。図12は移動距離が16.32cm、
図13は移動距離が81.62cm、図14は移動距離
が163.24cmである。
【0101】位置計測方法は直線の情報獲得で述べた直
線を計算する方法を使用した。直線上の任意の2点には
エッジの端点を使い、端点の座標を計算した。また、画
像面への射影した座標を整数化することで量子化誤差と
して与えた。
【0102】図15はセンサの移動距離と計算誤差とを
説明する図である。
【0103】図15において、誤差は正しい端点と計算
により算出される端点の距離の相乗平均で求めた。誤差
は移動距離が16.32cmでは47.00cmであっ
たが81.62cmで1.97cm、163.24cm
で1.52cmと移動距離が長くなるにつれて減少し
た。
【0104】以上の結果により移動ステレオ法がこの視
覚系でも有効であり、多の従来の計測法でも同様に利用
できる。
【0105】この実施例では本実施例をロボットに応用
する場合について述べてきたが、この視覚系の応用範囲
はロボットに限らない。広い範囲を同時入力できる画像
入力装置として各種の監視装置などに用いて好適であ
る。また2眼を設置すればこれまで述べてきた移動ステ
レオと同様の原理で距離測定にも用いることができる。
【0106】以上は移動ロボット用視覚センサとして2
葉双曲面投影を用いた全方位視覚系の実施例、および該
実施例を用いて環境構造物までの距離を計測する方法に
関して説明してきた。本実施例で述べている2葉双曲面
は双曲線の回転体であるため、「双曲線上における接線
および法線は、それぞれ焦点半径(焦点と接線とを結ぶ
動径)のなす内角および外角を2等分する」という性格
をもつ。即ち、双曲線とは与えられた2つの定点F
1 (0,c)、F2 (0,−c)(焦点)までの距離の
差が一定(=2b<2c)であるような全ての点の集合
(軌跡)をいう。
【0107】図16は双曲線の要素を説明する図であ
る。図16において、AB(2b)は実軸、A,Bは頂
点、Oは中心、焦点F1 およびF2 は実軸上の中心から
cの距離
【0108】
【数18】
【0109】にあり、虚軸CD(2b)は
【0110】
【数19】
【0111】である。双曲線の方程式の標準形としては
双曲線の実軸が一致するとき y2 /b2 −x2 /a2 =1 (3.8) が成立する。双曲線上の点M(x0 ,y0 )における接
線の方程式は yy0 /b2 −xx0 /a2 =1 (3.9) で表され双曲線上における接線および法線は、それぞれ
焦点半径(焦点と接点とを結ぶ動径)のなす内角および
外角を二等分する。さらに双曲線の分岐が原点から遠ざ
かるに従い限りなく近ずいていく直線、即ち、漸近線の
方程式は y=±ax/b (3.10) にて表される。
【0112】従って、図5に示すようにカメラのレンズ
中心Oc を一方の双曲面の焦点位置にすることで点Pの
位置にかかわらず、点Pと双曲面ミラーでの反射位置と
を結ぶ光路の延長線は、ミラー焦点Oを通過する。
【0113】すなわち、数2の式のαとβの関係を用い
ればカメラで撮像した画像は、ミラーの焦点Oから見た
画像に変換できる。これは、焦点Oにレンズ中心をもつ
カメラを鉛直軸まわりに回転させることで得られる全方
位画像と等しく、本実施例では一般のカメラと同じく従
来よりの画像処理技術を利用できる利点を有する。
【0114】他の全方位視覚系の内、視覚系の類似する
球面および円錐投影を用いる場合と、2葉双曲面投影を
基いる場合との相違について述べると次の通りである。
【0115】図17は球面投影法を用いた場合の視野領
域および光路、図18は円錐投影法を用いた場合の視野
領域および光路、図19は2葉双曲面投影法を用いた場
合の視野領域および光路を示す。
【0116】図17の投影図法を用いた場合、球面ミラ
ーの上部をのぞく全視野が視野領域21となり、足元か
ら側方まで観測できる。しかし、画像の中心部にはカメ
ラ自身の像が写り視野領域として利用できず、さらに側
方の情報は解像度が低い欠点をもつ。
【0117】図18の円錐投影法を用いた場合、側方を
中心とした視野領域22となるため側方の密な情報が得
やすい。その反面足元の情報を得るためには光学系に工
夫が必要である。
【0118】図19においては20は焦点、23は視野
領域を示す。2葉双曲面を用いた場合、カメラ自身も写
るが漸近面(円錐上)により側方の視野領域23は制限
され、球面投影を用いたときより密な情報が得られる。
【0119】次に射影像の関係について比較する。球面
投影や円錐投影を用いた場合、ミラー面の曲率のためミ
ラーに焦点をもたない。そのため、線分などの場合、射
影関係が複雑となり従来の方法を利用できない場合があ
る。
【0120】2葉双曲面投影を用いた場合、カメラで撮
像した画像は、ミラーの焦点Oから見た画像に数2の式
α、βの関係式を用いれば変換でき、一般のカメラと同
じく従来よりの画像処理技術を利用できる。このことに
より観測対象が点や鉛直線だけではなく、任意の直線の
場合も射影関係が容易に得られる。例えば、ステレオ視
において、画像間の点単位の対応が得られなくても、線
単位の対応がわかれば直線の計測ができ、オクルージョ
ンが発生する場合も線分のうち可視部の距離は計測可能
である。
【0121】以上のことから2葉双曲面投影は、従来か
らの画像処理技術が利用でき視野領域もロボットが移動
するためには充分な情報が得られるものである。
【0122】このように2葉双曲面投影を用いた本実施
例においては、(1)双曲面ミラーとテレビジョンカメ
ラのシンプルな構成であり、(2)全方位が一度に観測
でき、(3)2葉双曲面投影においては、他の全方位視
覚系にない焦点をもつという特徴があるために独自の画
像認識技術を考慮しなくてもよいという特徴を有する。
【0123】さらに、シミュレーション実験によりセン
サが移動中に撮像した2枚の画像から移動ステレオ視の
原理により、環境構造物までの距離を計測した。その結
果、従来の距離計測技術が利用できることが確認され
た。
【0124】これらのことは本実施例の固有の効果であ
り、特に監視装置やロボット移動用の視覚系など、一度
に広い範囲の画像を入力する必要がある画像入力装置と
して従来の画像処理システムとともに用いて有効であ
る。
【0125】
【発明の効果】画像入力装置が2葉双曲面のうちの一方
の双曲面状の形状を有する反射ミラーと、2葉双曲面の
うちの他方の双曲面状の形状を有し中心が他方の双曲面
の焦点に配置されたレンズとを備えているため、換言す
れば双曲面ミラーを用い、その焦点から像を撮影できる
ので光学系で複雑な変換を受けていない歪の少ない画像
を一度に得ることができる。この結果、撮影した画像を
一般のカメラで直接とった画像に簡単に変換し得るとと
もに一般のカメラ出力画像と同じく従来の画像処理技術
を利用し得る。
【図面の簡単な説明】
【図1】本発明の全方位視覚系の実施例を説明する図で
ある。
【図2】2葉双曲面を説明する図である。
【図3】視覚系の鉛直断面を説明する図である。
【図4】点の射影水平方向を説明する図である。
【図5】点の射影鉛直方向を説明する図である。
【図6】視覚系の鉛直方向を説明する図である。
【図7】直線の射影を説明する図である。
【図8】点の距離計測を説明する図である。
【図9】直線の獲得情報を説明する図である。
【図10】シミュレーションに使用した仮想環境を説明
する図である。
【図11】図10のセンサの位置にセンサが位置する場
合の画像上への射影像の結果を示す図である。
【図12】環境とセンサの移動した経路と結果の第1例
を示す図である。
【図13】環境とセンサの移動した経路と結果の第2例
を示す図である。
【図14】環境とセンサの移動した経路と結果の第3例
を示す図である。
【図15】センサの移動距離と計算誤差とを説明する図
である。
【図16】双曲線の要素を説明する図である。
【図17】球面投影法を用いた場合の視野領域および光
路を示す図である。
【図18】円錐投影法を用いた場合の視野領域および光
路を示す図である。
【図19】2葉双曲面投影法を用いた場合の視野領域お
よび光路を示す。
【符号の説明】
1、2 双曲面 3 ミラー 5 画像平面

Claims (1)

    【特許請求の範囲】
  1. 【請求項1】 2葉双曲面のうちの一方の双曲面状の形
    状を有する反射ミラーと、2葉双曲面のうちの他方の双
    曲面状の形状を有し中心が他方の双曲面の焦点に配置さ
    れたレンズとを備えた画像入力装置を含むことを特徴と
    する全方位視覚系。
JP5080749A 1993-04-07 1993-04-07 全方位視覚系 Expired - Lifetime JP2939087B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP5080749A JP2939087B2 (ja) 1993-04-07 1993-04-07 全方位視覚系

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP5080749A JP2939087B2 (ja) 1993-04-07 1993-04-07 全方位視覚系

Publications (2)

Publication Number Publication Date
JPH06295333A true JPH06295333A (ja) 1994-10-21
JP2939087B2 JP2939087B2 (ja) 1999-08-25

Family

ID=13727058

Family Applications (1)

Application Number Title Priority Date Filing Date
JP5080749A Expired - Lifetime JP2939087B2 (ja) 1993-04-07 1993-04-07 全方位視覚系

Country Status (1)

Country Link
JP (1) JP2939087B2 (ja)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000022220A (ja) * 1998-07-03 2000-01-21 Stanley Electric Co Ltd 反射型ledランプ
JP2000128031A (ja) * 1998-08-21 2000-05-09 Sumitomo Electric Ind Ltd ドライブレコ―ダ、安全運転支援システムおよび盗難防止システム
JP2000331168A (ja) * 1999-03-12 2000-11-30 Tokyoto Gesuido Service Kk 管渠内面画像の処理装置及びその方法
WO2001040863A1 (fr) * 1999-11-30 2001-06-07 Matsushita Electric Industrial Co., Ltd. Camera de vision nocturne omnidirectionnelle
EP1158474A2 (en) * 2000-05-23 2001-11-28 Sharp Kabushiki Kaisha Omni-azimuthal visual system
EP1172678A2 (en) * 2000-07-13 2002-01-16 Sharp Kabushiki Kaisha Omnidirectional vision sensor
EP1197937A1 (en) * 2000-10-11 2002-04-17 Sharp Kabushiki Kaisha Surround surveillance apparatus for mobile body
WO2002035285A1 (fr) * 2000-10-20 2002-05-02 Matsushita Electric Industrial Co., Ltd. Dispositif d'imagerie a grand angle
JP2002183714A (ja) * 2000-12-14 2002-06-28 Nippon Telegr & Teleph Corp <Ntt> 空間形状獲得処理方法およびそのための装置および空間形状獲得処理プログラムを記録した記録媒体
EP1158473A3 (en) * 2000-05-23 2002-08-14 Sharp Kabushiki Kaisha Surround surveillance system for mobile body, and mobile body, car, and train using the same
EP1233345A1 (en) * 2001-02-09 2002-08-21 Sharp Kabushiki Kaisha Imaging system, program used for controlling image data in the same system, method for correcting distortion of captured images in the same system, and recording medium storing procedures for such a method
EP1261199A2 (en) * 2001-05-10 2002-11-27 Sharp Kabushiki Kaisha System and method for perspective projection image creation
JP2009229237A (ja) * 2008-03-21 2009-10-08 Tokyo Electric Power Co Inc:The 飛来物探査装置および映像取得手段の設置方法
US7852369B2 (en) * 2002-06-27 2010-12-14 Microsoft Corp. Integrated design for omni-directional camera and microphone array
US8059185B2 (en) 2005-12-28 2011-11-15 Canon Kabushiki Kaisha Photographing apparatus, image display method, computer program and storage medium for acquiring a photographed image in a wide range
US10663295B2 (en) 2015-12-04 2020-05-26 Socionext Inc. Distance measurement system, mobile object, and component

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7312810B2 (en) 2001-05-25 2007-12-25 Matsushita Electric Industrial Co., Ltd. Wide-angle image generating device
US8503109B2 (en) 2009-04-06 2013-08-06 Panasonic Corporation Optical system and imaging device

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000022220A (ja) * 1998-07-03 2000-01-21 Stanley Electric Co Ltd 反射型ledランプ
JP2000128031A (ja) * 1998-08-21 2000-05-09 Sumitomo Electric Ind Ltd ドライブレコ―ダ、安全運転支援システムおよび盗難防止システム
JP2000331168A (ja) * 1999-03-12 2000-11-30 Tokyoto Gesuido Service Kk 管渠内面画像の処理装置及びその方法
WO2001040863A1 (fr) * 1999-11-30 2001-06-07 Matsushita Electric Industrial Co., Ltd. Camera de vision nocturne omnidirectionnelle
US6738569B1 (en) 1999-11-30 2004-05-18 Matsushita Electric Industrial Co., Ltd. Omnidirectional visual camera
EP1158474A3 (en) * 2000-05-23 2003-04-16 Sharp Kabushiki Kaisha Omni-azimuthal visual system
EP1158473A3 (en) * 2000-05-23 2002-08-14 Sharp Kabushiki Kaisha Surround surveillance system for mobile body, and mobile body, car, and train using the same
US6897883B1 (en) 2000-05-23 2005-05-24 Sharp Kabushiki Kaisha Omniazimuthal visual system
EP1158474A2 (en) * 2000-05-23 2001-11-28 Sharp Kabushiki Kaisha Omni-azimuthal visual system
US6693518B2 (en) 2000-05-23 2004-02-17 Sharp Kabushiki Kaisha Surround surveillance system for mobile body, and mobile body, car, and train using the same
EP1172678A2 (en) * 2000-07-13 2002-01-16 Sharp Kabushiki Kaisha Omnidirectional vision sensor
EP1172678A3 (en) * 2000-07-13 2004-01-07 Sharp Kabushiki Kaisha Omnidirectional vision sensor
US6793356B2 (en) 2000-07-13 2004-09-21 Sharp Kabushiki Kaisha Omnidirectional vision sensor
EP1197937A1 (en) * 2000-10-11 2002-04-17 Sharp Kabushiki Kaisha Surround surveillance apparatus for mobile body
US7295229B2 (en) 2000-10-11 2007-11-13 Sharp Kabushiki Kaisha Surround surveillance apparatus for mobile body
KR100650121B1 (ko) * 2000-10-11 2006-11-24 샤프 가부시키가이샤 이동체용 주위 감시 장치
WO2002035285A1 (fr) * 2000-10-20 2002-05-02 Matsushita Electric Industrial Co., Ltd. Dispositif d'imagerie a grand angle
US6847497B2 (en) 2000-10-20 2005-01-25 Matsushita Electric Industrial Co., Ltd. Wide-angle imaging device
JP2002183714A (ja) * 2000-12-14 2002-06-28 Nippon Telegr & Teleph Corp <Ntt> 空間形状獲得処理方法およびそのための装置および空間形状獲得処理プログラムを記録した記録媒体
US7058235B2 (en) 2001-02-09 2006-06-06 Sharp Kabushiki Kaisha Imaging systems, program used for controlling image data in same system, method for correcting distortion of captured image in same system, and recording medium storing procedures for same method
EP1233345A1 (en) * 2001-02-09 2002-08-21 Sharp Kabushiki Kaisha Imaging system, program used for controlling image data in the same system, method for correcting distortion of captured images in the same system, and recording medium storing procedures for such a method
EP1261199A3 (en) * 2001-05-10 2004-03-31 Sharp Kabushiki Kaisha System and method for perspective projection image creation
EP1261199A2 (en) * 2001-05-10 2002-11-27 Sharp Kabushiki Kaisha System and method for perspective projection image creation
KR100494540B1 (ko) * 2001-05-10 2005-06-13 샤프 가부시키가이샤 투시투영 화상 생성을 위한 시스템, 방법 및 프로그램, 및그 프로그램을 기억하는 기록 매체
US6947611B2 (en) 2001-05-10 2005-09-20 Sharp Kabushiki Kaisha System, method and program for perspective projection image creation, and recording medium storing the same program
US7852369B2 (en) * 2002-06-27 2010-12-14 Microsoft Corp. Integrated design for omni-directional camera and microphone array
US8059185B2 (en) 2005-12-28 2011-11-15 Canon Kabushiki Kaisha Photographing apparatus, image display method, computer program and storage medium for acquiring a photographed image in a wide range
JP2009229237A (ja) * 2008-03-21 2009-10-08 Tokyo Electric Power Co Inc:The 飛来物探査装置および映像取得手段の設置方法
US10663295B2 (en) 2015-12-04 2020-05-26 Socionext Inc. Distance measurement system, mobile object, and component

Also Published As

Publication number Publication date
JP2939087B2 (ja) 1999-08-25

Similar Documents

Publication Publication Date Title
JP2939087B2 (ja) 全方位視覚系
Gluckman et al. Real-time omnidirectional and panoramic stereo
Nayar et al. Catadioptric image formation
Nayar Omnidirectional video camera
Nene et al. Stereo with mirrors
US6304285B1 (en) Method and apparatus for omnidirectional imaging
Yamazawa et al. Omnidirectional imaging with hyperboloidal projection
US7176960B1 (en) System and methods for generating spherical mosaic images
Conroy et al. Resolution invariant surfaces for panoramic vision systems
EP1331605B1 (en) Omnidirectional visual system and method
JP4825971B2 (ja) 距離算出装置、距離算出方法、構造解析装置及び構造解析方法。
WO1990016037A1 (en) Method for measuring position and posture of object
JP3827912B2 (ja) 全方向ステレオ画像撮影装置及びステレオ画像撮影装置
US7710451B2 (en) Rectified catadioptric stereo sensors
JPH11331654A (ja) 全方位視角センサ
Baker et al. Single viewpoint catadioptric cameras
JP2002033943A (ja) 全方位視覚センサー
JP3752063B2 (ja) 全方位ステレオ画像撮影装置
JP2023505891A (ja) 環境のトポグラフィを測定するための方法
Yagi et al. Real-time omnidirectional image sensors
Svoboda et al. Panoramic cameras for 3D computation
CN100492170C (zh) 一种全向立体视觉成像方法及装置
JP4790185B2 (ja) 調整反射屈折ステレオセンサ
JP3343583B2 (ja) 焦点光源付ステレオカメラによる3次元面形状推定方法
JP2007264402A (ja) 全方位視覚センサ

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090611

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100611

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110611

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110611

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120611

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120611

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130611

Year of fee payment: 14