JPH1195344A - 全方位ステレオ画像撮影装置 - Google Patents

全方位ステレオ画像撮影装置

Info

Publication number
JPH1195344A
JPH1195344A JP9253978A JP25397897A JPH1195344A JP H1195344 A JPH1195344 A JP H1195344A JP 9253978 A JP9253978 A JP 9253978A JP 25397897 A JP25397897 A JP 25397897A JP H1195344 A JPH1195344 A JP H1195344A
Authority
JP
Japan
Prior art keywords
mirror
image
camera
pyramid
omnidirectional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP9253978A
Other languages
English (en)
Other versions
JP3752063B2 (ja
Inventor
Naokazu Yokoya
直和 横矢
Haruo Takemura
治雄 竹村
Kazumasa Yamazawa
一誠 山澤
Hidehiko Iwasa
英彦 岩佐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP25397897A priority Critical patent/JP3752063B2/ja
Publication of JPH1195344A publication Critical patent/JPH1195344A/ja
Application granted granted Critical
Publication of JP3752063B2 publication Critical patent/JP3752063B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Image Input (AREA)
  • Processing Or Creating Images (AREA)

Abstract

(57)【要約】 【課題】全方位のステレオ画像をリアルタイムに計測す
ること。 【解決手段】曲率の違う2つの双曲面ミラー201,2
02を、外側の焦点を、原点203で一致するよう配置
し、その原点にレンズ中心がくるようカメラを配置する
ことにより、投影面204に、計測点207の2つのス
テレオ対208,209が同時に投影されることによ
り、一度に全周囲のステレオ画像が撮影され、またステ
レオ対応点も、投影面の原点から放射方向の直線上だけ
を探索するだけで計測でき、高速に3次元座標を計算で
きる。あるいは角錐ミラーを2つ上下対称に配置するこ
とにより、解像度の高い全方位のステレオ画像を撮影す
ることができる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、全方位のステレオ
画像対を得ることのできる全方位ステレオ画像撮影装置
に関するものである。
【0002】
【従来の技術】従来、全方位の画像を実時間で撮影する
装置としては、特開平6−295333号公報に開示さ
れているものなどがある。図11はこの従来の装置の構
成図であり、801は回転双曲面のミラーであり、80
2はカメラである。双曲面ミラー801は凸部分が反射
面であり、その凸部分を鉛直下向きに配置し、カメラ8
02は、双曲面の外焦点803にレンズ中心がくるよう
配置する。
【0003】ミラーの内側の焦点を804とし、点80
5から内側の焦点804へ向かう光806は、ミラー8
01で反射され、カメラのレンズ中心である外側の焦点
803を通過する。このためカメラ802で得られる像
は、内側の焦点804から見た中心投影の像と等価なも
のになる。
【0004】このようにして、リアルタイムに全方位の
画像を取得することができる。
【0005】また、高い解像度の全方位の画像を取得す
るために、角錐型のミラーと複数個のカメラを用いた全
方位の画像の撮影装置として、特開平8−125835
号公報に開示されているものがある。
【0006】図12は、この従来の装置の構成図であ
り、901は角錐型のミラーであり、902は角錐ミラ
ー901の各面に写る像をとらえるよう各面に対応して
配置されたカメラ群である。
【0007】各カメラのレンズ中心が対応するミラー面
によって作られる虚像が角錐の中心の一点で重なるよ
う、各カメラの位置を配置することにより、虚像の交点
から外周方向を見たのと等価な全周囲の画像を分割した
ものが、各カメラに取得される。
【0008】このようにして分割して得られた画像を、
画像処理によって繋ぎあわせることにより、全周囲のパ
ノラマ画像を生成する。
【0009】この場合、全周囲画像を1つのカメラで取
得する場合に比べ、カメラの解像度が同じ場合、複数の
カメラで分担した方が高解像度の画像が得られることな
る。
【0010】
【発明が解決しようとする課題】しかしながら上記の方
法を距離計測などで用いられるステレオ画像の撮影に利
用する場合、以下のような課題が生じる。
【0011】ステレオ画像の撮影は、異なるカメラ位置
から同一対象を撮影した2つのステレオ画像対を撮影す
ることになる。上記全方位の撮影装置を用いる場合で
も、2つの撮影装置を一定の間隔をおいて並べることと
なる。
【0012】その場合、全方位の撮影装置の特性から、
一方の撮影装置の映像には、もう一方の撮影装置がお互
いに写り、視野をふさぐことととなる。これは、全方位
の撮影を損なうこととなる。
【0013】前記課題を解決するために、一台の撮像装
置を移動し、異なる位置での映像を時間をおいて撮影す
る移動ステレオの手法を用いることも可能である。しか
し、この場合リアルタイムの映像の取得は不可能とな
る。
【0014】本発明は、従来の全方位ステレオ撮影装置
のこのような課題を考慮して、従来に比べてより完全な
全方位のステレオ画像対を、リアルタイムに取得するこ
とが出来る全方向ステレオ画像撮影装置を提供すること
を目的とする。
【0015】
【課題を解決するための手段】請求項1記載の本発明
は、所定方向の全方位の像を反射させる第1のミラー
と、前記第1のミラーと中心軸同士が実質上一致した、
所定方向の全方位の像を反射させる第2のミラーと、前
記第1のミラー及び第2のミラーによりそれぞれ反射し
た同一対象物の2種類の画像をステレオ画像として撮像
するカメラとを備え、前記第1のミラー、前記第2のミ
ラー、及び前記カメラは、前記2種類の画像が前記カメ
ラ内においてそれぞれ異なる位置に像を結ぶように配置
されている全方位ステレオ画像撮影装置である。
【0016】請求項3記載の本発明は、所定方向の実質
上全方位の像を反射させる第1の角錐型ミラーと、前記
第1の角錐型ミラーと中心軸同士が実質上一致した、所
定方向の実質上全方位の像を反射させる第2の角錐型ミ
ラーと、前記第1の角錐型ミラーの一つの反射面、及び
その反射面に対応した前記第2の角錐型ミラーの一つの
反射面によりそれぞれ反射した同一対象物の2種類の画
像をステレオ画像として撮像する、前記第1又は第2の
角錐型ミラーの反射面毎に設けられたカメラとを備え、
前記第1の角錐型ミラーの前記一つの反射面、前記第2
の角錐型ミラーの前記一つの反射面、及び前記カメラ
は、前記2種類の画像が前記カメラ内においてそれぞれ
異なる位置に像を結ぶように配置されている全方位ステ
レオ画像撮影装置である。
【0017】請求項4記載の本発明は、所定方向の実質
上全方位の像を反射させる第1の角錐型ミラーと、前記
第1の角錐型ミラーと中心軸同士が実質上一致してお
り、且つ、角錐型ミラーの底面同士が対向するように配
置された、所定方向の実質上全方位の像を反射させる第
2の角錐型ミラーと、前記第1の角錐型ミラーの一つの
反射面、及びその反射面に対応した前記第2の角錐型ミ
ラーの一つの反射面によりそれぞれ反射した同一対象物
の2種類の画像の一方を、ステレオ画像の片方の画像と
して撮像するカメラとを備え、前記カメラは、前記第1
の角錐型ミラーのそれぞれの反射面毎に、及び前記第2
の角錐型ミラーのそれぞれの反射面毎に設けられている
全方位ステレオ画像撮影装置である。
【0018】請求項5記載の本発明は、所定方向の実質
上全方位の像を反射させる第1のミラーと、前記第1の
ミラーと中心軸同士が実質上一致しており、前記第1の
ミラーと対向するように配置された、所定方向の実質上
全方位の像を反射させる第2のミラーと、前記第1のミ
ラー及び第2のミラーによりそれぞれ反射した同一対象
物の2種類の画像の内、前記第1のミラーにより反射し
た画像をステレオ画像の一方の画像として撮像する第1
のカメラと、前記2種類の画像の内、前記第2のミラー
により反射した画像をステレオ画像の他方の画像として
撮像する第2のカメラとを備えた全方位ステレオ画像撮
影装置である。
【0019】請求項8記載の本発明は、上記全方位ステ
レオ画像撮影装置によって撮影された画像データを利用
して、前記2つのミラー又は前記相互に対応する2つの
反射面により反射した各画像の画像領域間のステレオ対
応点を求める対応点計算部と、前記対応点計算部で求め
たステレオ対応点に基づいて、その対応点の3次元座標
を計算する奥行き計算部とを備えた全方位ステレオ画像
撮影装置である。
【0020】
【発明の実施の形態】以下、本発明の実施の形態につい
て、図1から図7を用いて説明する。
【0021】(実施の形態1)図1は本発明の全方位ス
テレオ画像撮影装置の概略構成図を示す。
【0022】図1において、101、102は、ことな
る曲率の双曲面の断面を持つ双曲面ミラーであり、10
3は鉛直方向を示しており、前記双曲面ミラー101,
102の軸は、鉛直方向103と一致する。104はそ
の双曲面の外側の焦点にレンズ中心が位置するよう、鉛
直方向103に沿って配置されたカメラである。
【0023】この光学的な配置を図2を用いて説明す
る。図2は、図1の鉛直線103を含む面にそった断面
の模式図である。201は上部に位置する双曲面ミラー
1であり、202は下部に位置する双曲面ミラー2であ
る。尚、図2の双曲面ミラー1(201)は、図1の双
曲面ミラー101に対応し、又、双曲面ミラー2(20
2)は、図1の双曲面ミラー102に対応する。ここ
で、座標系を、原点0を2つの双曲面ミラーの焦点20
3におき、上方向をZ軸、横方向をY軸、画面手前方向
をX軸とする。カメラの焦点距離をfとして、像を結ぶ
Z=fの投影面を204とする。
【0024】双曲面ミラー1の形状は、次の式で表せ
る。
【0025】
【数1】
【0026】ここで、a1、b1、c1は、双曲面の形状
を決めるパラメータで、以下の関係がある。
【0027】
【数2】
【0028】図2のように、外側の焦点を原点(0,
0,0)に固定した場合、もう一つの内側の焦点205
の座標は、(0,0,2C1)となる。
【0029】同様に双曲面ミラー2に関して
【0030】
【数3】
【0031】
【数4】
【0032】の関係が成り立つ。ここで双曲面ミラー2
の内側の焦点206の座標は、(0,0,2C2)とな
る。
【0033】いま図2の207で示される点P(Xp、
Yp、Zp)が、投影面204にどのように写るかを示
す。点Pから焦点205に向かう光は、双曲面ミラー1
で反射され、原点におかれたカメラのレンズに入射す
る。このとき投影面204に写る像が、208の点P1
(xp1、yp1、f)である。
【0034】同様に207の点Pから、双曲面ミラー2
の焦点206に向かう光が、投影面204に結ぶ像は、
209の点P2(xp2、yp2、f)で表される。
【0035】投影面の像の様子を図3に示す。301は
カメラの撮影範囲を示し、302のリング状の部分が双
曲面ミラー1に反射した像の写る範囲であり、303の
円状の部分が双曲面ミラー2の反射像の写る範囲を示し
ている。
【0036】この302,303が、全方位に対応する
ステレオ画像対である。このように同一カメラの投影面
に、領域が分かれてステレオ画像対が投影されるので、
カメラを動画記録可能なビデオカメラなどにすれば、リ
アルタイムで全方位のステレオ画像が撮影できる。
【0037】なお、以上の説明では、全方位を写すため
のミラーを、双曲面ミラーで構成した例で説明したが、
その他の角錐ミラーでも同様に実施可能である。これに
ついては、更に後述する。
【0038】次に、双曲面ミラーから得られたステレオ
画像対の関係から、計測点の3次元情報を計測する手法
について説明する。
【0039】図2の207で示された点Pが投影面20
4に投影された点P1,P2は、図3では、それぞれ30
4,305で示される位置に投影される。投影面上での
1、P2の座標は、それぞれ(xp1、yp1)、(yp2
p2)となる。
【0040】3次元空間で同一の点が、2つの双曲面ミ
ラー1,2によって投影された点P1,P2の間には、
双曲面ミラーがZ軸に関して回転対称であるという性質
から、双曲面ミラーの軸の中心を通る直線上に並ぶとい
う制約が生じる。言い換えると、空間上の同一点の投影
面上での対応点を探索するステレオ対の探索の時に、探
索範囲を2次元の平面から、1次元の直線に限定でき、
探索にかかる処理を低減できる。
【0041】処理の流れを図4を用いて説明する。40
1は、図3で示したカメラでの撮影画像である。402
は、前記撮影画像からステレオ対応点を探索する対応点
計算部であり、403は前記対応点計算部からのステレ
オ対応点の組から、その点の3次元座標を計算する奥行
き計算部である。
【0042】対応点計算部402においては、撮影画像
を中心から外側に向かって放射方向に輝度値の一次微分
を行い、エッジを抽出する。このエッジデータに対し
て、ステレオ対応点を相関を計算して探索する。探索範
囲は中心から放射状にのびる直線状に限定する。相関値
が予め与えたしきい値より高い点の組の座標P
1(xp1,yp1)、P2(xp2,yp2)を、403の奥行
き計算部に出力する。
【0043】奥行き計算部403においては、与えられ
た2つのステレオ対応点の組から、図2の207に示す
対応点Pの3次元座標(Xp、Yp、Zp)を計算す
る。
【0044】図5に示すように、双曲面のパラメータa
1、b1、c1、カメラの焦点距離f、点Pから双曲面の
内側の焦点への直線が水平線とのなす角を−α1、双曲
面ミラー1からの原点への反射光と水平線がなす角をβ
1とすると、
【0045】
【数5】
【0046】
【数6】
【0047】
【数7】
【0048】の関係が得られる。ここで、図5では、双
曲面ミラー1と点Qとの関係を描いた説明図であり、そ
の説明の都合上、双曲面ミラー2の記載を省略してい
る。従って、同図の双曲面ミラー1を双曲面ミラー2と
見なすことにより、双曲面ミラー2についても、上記と
同様に、
【0049】
【数8】
【0050】
【数9】
【0051】
【数10】
【0052】の関係が成り立つ。
【0053】また、ステレオ対応点が、投影面で中心を
通る直線の上に制限されるという拘束は、その直線が投
影面のX軸となす角をθとして
【0054】
【数11】
【0055】の関係が得られる。
【0056】(式5)から(式11)を元に、Xp、Y
p、Zpについて求めると
【0057】
【数12】
【0058】よって、双曲面ミラーの形状のパラメータ
1,b1、c1、a2、b2、c2、カメラの焦点距離fは
判っているので、ステレオ対応点(xp1,yp1)、(x
p2,yp2)の組から(式12)により、対応する点の3
次元座標を計算する。計算された出力が図4の404の
座標出力である。
【0059】(実施の形態2)図6は、本発明の全方位
ステレオ画像撮影装置の実施の形態2の概略構成図を示
す。
【0060】図6において、601は上部角錐ミラー、
602は下部角錐ミラーであり、その中心線605と一
致する603は上部角錐ミラーの各面の反射像を撮影す
る上部カメラ群、604は下部角錐ミラーの各反射像を
撮影する下部カメラ群である。
【0061】光学的な配置を図7を用いて説明する。図
7は、図6の中心線605を含み、角錐の1つの面に垂
直に交わる平面に沿った断面の模式図である。701、
702は、それぞれ上部角錐ミラー、下部角錐ミラー、
703、704はそれぞれ上部カメラ、下部カメラであ
る。705を2つの角錐ミラーの中心線上の中間点Oと
する。上部カメラ703に写る映像は、ミラー701に
よって反射され、上部カメラ703の虚像706の位置
から見た映像と等価なものになる。同様に下部カメラ7
04の虚像を707とする。
【0062】水平方向に分割された像を、全方位のステ
レオに隙間なく接合するためには、各方向のカメラのレ
ンズ中心を一致させる必要がある。1つのカメラで時間
をずらして撮影する場合には、レンズ中心も回転の中心
として、水平方向に回転すればよいが、同時に複数のカ
メラで撮影する場合には、同時に2つのカメラを同じ場
所に置けないので不可能である。しかしミラーを使っ
て、すべてのカメラの虚像のレンズ中心を1つの点に集
めれば、カメラの実体は別々の場所に位置し、等価的な
レンズ中心だけを一点に集めることができる。角錐ミラ
ーの場合、このレンズ中心の集まる場所は、角錐ミラー
の中心線上になり、各カメラは虚像のレンズ中心が、中
心線上の一点に位置するよう配置される。
【0063】カメラ703の撮影範囲を、線分708,
709で囲まれる領域、カメラ704の撮影範囲を線分
710,711で囲まれる領域としたとき、両方のカメ
ラに投影像が写るステレオ計測可能な領域は、712で
示す斜線の領域となる。
【0064】次に、この領域とミラー、カメラの画角、
位置との関係を説明する。図7に示すように、角錐ミラ
ーの角度をγとする。上部、下部とも同じ形状のミラー
とする。またカメラ703,704の光軸は鉛直線上を
向いているとする。このときミラーによって反射された
カメラの光軸713、714が水平方向となす仰角をψ
とすれば、γとψとの関係は次の式のようになる。
【0065】
【数13】
【0066】705の原点0からカメラの虚像のレンズ
中心までの距離をLとして、カメラの上下方向の画角を
2ρとする。705の原点0から外側に向かって水平な
方向をY軸、鉛直方向をZ軸とし、計測領域712が始
まる点715の座標を(0,y0,0)とおけば、y
0は、
【0067】
【数14】y0 = L / tan(ψ+ρ) となる。
【0068】計測領域712の形状が変化する点716
のY座標をycとすれば、y0<y<ycでの計測領域7
12の境界上の点716のz座標は、
【0069】
【数15】z = y tan(ψ+ρ) ― L となる。
【0070】yc<yでの計測領域712の境界上の点
717のz座標は、
【0071】
【数16】z = L ― y tan(ψ-ρ) となる。(式14)、(式15)から、点717の座標
cは、
【0072】
【数17】 yc = 2L / ( tan(ψ+ρ) + tan(ψ−ρ) ) となる。
【0073】計測したい対象が存在する領域を、計測領
域712が覆うように、角錐ミラーの距離L、仰角ψを
調整することにより、望む計測領域のステレオ画像対を
取得することができる。
【0074】なお、以上の説明では、全方位を写すため
のミラーを、角錐ミラーで構成した例で説明したが、そ
の他の球面ミラー、円錐ミラー、双曲面ミラーでも同様
に実施可能である。
【0075】以上述べたことから明らかな様に本実施の
形態にれば、例えば、移動ロボットの視覚系や、人工現
実感などの分野における実環境の取得などにおいて、全
方位のリアルタイムの画像だけでなく、その画像中の対
象物までの距離などの情報を与える全方位のステレオ画
像対を得ることのできる全方位のステレオ画像撮影装置
を提供することが出来る。
【0076】即ち、水平方向の全方位を写すミラー2組
を、その互いが他方のミラーに写りこまないよう上下対
称に組み合わせる、あるいは、2つの反射像を同一カメ
ラの投影面の異なる位置に像を結ぶよう形状の違うミラ
ーを上下方向に配置することにより、全方位のステレオ
画像対をリアルタイムに取得可能となる。
【0077】特に曲率の違う2つの双曲面ミラーを組み
合わせることにより、全方位のステレオ画像対を1つの
映像の中に撮影可能となり、リアルタイムに全方位のス
テレオ画像撮影が可能となる。また得られた画像からス
テレオ対応点を探索する場合、放射状の直線上でのみ探
索すればよく、高速に対応点の3次元座標を求めること
が可能となる。
【0078】尚、上記実施の形態1では、全方位を写す
ためのミラーを、双曲面ミラーで構成した例で説明した
が、これに限らず例えば、以下に示すような角錐ミラー
で構成しても良い。
【0079】即ち、ここでは、全方位を写すためのミラ
ーを、角錐ミラーで構成した実施例について説明する。
【0080】図8は、角錐ミラーで構成した本発明の全
方位ステレオ画像撮影装置の概略構成図である。図8に
おいて、1001は上部角錐ミラーであり、1002は
下部角錐ミラーであり、1003は上部、下部角錐ミラ
ーの対応する平面の反射像を同時に撮影するカメラ群で
ある。この場合、1つのカメラには対応する上下の角錐
ミラーの面のステレオ像が得られる。この像は、全方位
を水平方向に分割したものであり、全カメラの像を合成
することで、水平方向360度の像を得ることができ
る。
【0081】次に、光学的な配置を、図9を用いて説明
する。図9は、図8の角錐ミラーの中心軸を含み、角錐
ミラーを構成する平面ミラーの1つに垂直な平面で切断
した断面図を示している。1101が注目する上部角錐
ミラー面、1102は、それに対応する下部角錐ミラー
面である。1103は、それら2つのミラー面に写る反
射像を撮影するカメラである。
【0082】1104に示す点Qが、上部、下部ミラー
面で反射され、カメラ1103の投影面1105に写る
像は、それぞれq1、q2となる。よって、同一の点か
らの2つのステレオ対が、1つのカメラの投影面上に得
られる。
【0083】この様にして得られた点q1,q2の座標
を利用して、以下に述べる計算により、点Qの3次元座
標が得られる。
【0084】ここで、点Qの3次元座標と、カメラの投
影像の関係について、図11,12を参照しながら述べ
る。
【0085】即ち、図11に示すように、1103のカ
メラから見た像は、カメラの虚像1106,1107か
ら見た場合の像と等価である。よってカメラ1103に
撮影される像を考える場合、仮想的に虚像1106,1
107の位置にカメラをおいたものとして、考えても良
い。ただし、鏡像の関係にあるため、撮影される像も、
反転した虚像の関係にあることに注意する必要がある。
【0086】次に、図12を参照しながら、点Qの3次
元座標の算出方法について更に述べる。
【0087】図10は、1201の下部ミラー面に関し
て1204の点Qと、1206の投影像q2の関係を示
したものである。今1202のカメラのレンズ中心を座
標系の原点として、カメラの光軸方向をZ軸、ミラー面
に垂直な横方向をY軸、図面手前方向をX軸とする。1
201のミラー面は、Z軸と成す角がγで、Z軸と交わ
る点が原点OからRの距離にあるとする。
【0088】このXYZ座標系で、1204の点Qの座
標を(XQ、YQ、ZQ)とし、焦点距離fのカメラの投
影面1205に写る像1206をq2(xq2、yq2
f)として、その2つの関係を求める。
【0089】1202のカメラの虚像を1203とし、
そのレンズ中心をO’とする。点Qの投影像q2は、カ
メラの虚像の投影面1207に写る像q2’(120
8)と鏡像の関係にある。よって1207の投影面上の
座標系での、q2’の座標からq2の座標は求められ
る。
【0090】まず、原点が1203のカメラの虚像のレ
ンズ中心O’にあり、カメラの虚像の光軸にZ’軸が一
致し、X’軸が前記XYZ座標系のX軸と平行な、X’
Y’Z’座標系を考える。この座標系でのq2’の座標
は、(xq2’ 、yq2’ 、f)となる。q2との鏡像の関
係にあるので、
【0091】
【数18】xq2 = −xq2’ yq2 = −yq2’ となる。
【0092】次に、点QのX’Y’Z’座標系での座標
を求める。XYZ座標系とX’Y’Z’座標系の変換
は、XYZ座標系の原点Oを、O’へ平行移動し、Z軸
がZ’軸へ一致するよう、X軸周りに回転することによ
り、求められる。
【0093】今、Z軸とZ’軸の成す角をψとすれば、
【0094】
【数19】ψ = 2γ の関係がある。一方、OからO’への平行移動により、
Q(XQ、YQ、ZQ)の座標値は、
【0095】
【数20】(XQ、YQ+Rsinψ、ZQ+R+Rcosψ) となる。次に、X軸周りのψ回転により
【0096】
【数21】
【0097】となる。
【0098】Z'でfの距離にある投影面1207の投
影により、点Qの投影像q2’(xq2’、yq2’、f)の
座標が求まり、(式18)より、カメラへの投影像q2
(xq2、yq2、f)が求まる。
【0099】
【数22】 xq2 = −xq2’ = −f・XQ’/ZQ’ yq2 = −yq2’ = −f・YQ’/ZQ’ 以上により、ミラーの位置R、傾きγ、カメラの焦点距
離fを用いて、任意の点Q(XQ、YQ、ZQ)と、その
カメラでの像q2(xq2、yq2、f)には、(式2
1)、(式22)の関係が成り立つ。
【0100】一方、図9におけるような、上部、下部の
2つのミラー面では、その傾きγ、カメラからの距離R
が異なる。よって、一点Qのカメラでの投影像は、それ
ぞれのγ、Rと(式21)、(式22)により、別の点
q1、q2となる。
【0101】従って、逆に、それぞれのγ、Rが判って
いれば、点q1、q2の座標と、(式21)、(式2
2)により、点Qの3次元座標(XQ、YQ、ZQ)を計
算できる。尚、上述した点Qの3次元座標の計算方法
は、上記実施の形態2において点Pの3次元座標を求め
る場合にも同様に用いることが出来ることは言うまでも
ない。
【0102】
【発明の効果】以上述べたところから明らかな様に本発
明は、従来に比べてより完全な全方位のステレオ画像対
を、リアルタイムに取得することが出来るという長所を
有する。
【図面の簡単な説明】
【図1】本発明の一実施の形態の全方位ステレオ画像撮
影装置の概略構成図
【図2】同実施の形態の全方位ステレオ画像撮影装置の
鉛直断面図
【図3】同実施の形態のカメラにより得られる投影像を
示す図
【図4】同実施の形態の3次元座標を計算する処理の流
れを示す図
【図5】同実施の形態の光学系の関係を示す説明図
【図6】本発明の全方位ステレオ画像撮影装置の第2の
実施の形態の概略構成図
【図7】本発明の第2の実施の形態の測定範囲を説明す
る図
【図8】本発明の全方位ステレオ画像撮影装置の他の実
施の形態の角錐ミラーを用いた概略構成図
【図9】同実施の形態の鉛直断面図
【図10】同実施の形態の光学系の関係を示す説明図
【図11】従来の双曲面型全方位撮影装置の説明図
【図12】従来の角錐型全方位撮影装置の説明図
【符号の説明】
101 上部の双曲面ミラー 102 下部の双曲面ミラー 104 カメラ 201、 202 双曲面ミラー 204 投影面 205、 206 双曲面の焦点 207 計測点 208、 209 投影面へ投影された点 301 撮影像 302 上部双曲面ミラーの投影範囲 303 部双曲面ミラーの投影範囲 401 投影像 402 対応点計算部 403 奥行き計算部 404 3次元座標データ 601、602 角錐ミラー 603、604 カメラ群 605 角錐中心 701、702 角錐ミラー 703、704 カメラ 706、707 カメラの虚像 708、709、710、711 カメラの撮影範囲 712 ステレオ計測可能な領域 713、714 カメラの光軸 715、716、717、718 ステレオ計測可能な
領域の境界上の点 801 双曲面ミラー 802 カメラ 803 レンズ中心(外焦点) 804 内焦点 805 観測点 806 観測点からの光線 901 角錐ミラー 902 カメラ群 1001 上部角錐ミラー 1002 下部角錐ミラー 1003 カメラ群 1101 上部ミラー面 1102 下部ミラー面 1103 カメラ 1104 計測点 1105 カメラの投影面 1106 上部ミラー面に対応するカメラの虚像 1107 下部ミラー面に対応するカメラの虚像 1201 ミラー面 1202 カメラ 1203 カメラの虚像 1204 計測点 1205 カメラの投影面 1206 計測点の投影像 1207 虚像の投影面 1208 虚像の投影面への投影像

Claims (9)

    【特許請求の範囲】
  1. 【請求項1】 所定方向の全方位の像を反射させる第1
    のミラーと、 前記第1のミラーと中心軸同士が実質上一致した、所定
    方向の全方位の像を反射させる第2のミラーと、 前記第1のミラー及び第2のミラーによりそれぞれ反射
    した同一対象物の2種類の画像をステレオ画像として撮
    像するカメラとを備え、 前記第1のミラー、前記第2のミラー、及び前記カメラ
    は、前記2種類の画像が前記カメラ内においてそれぞれ
    異なる位置に像を結ぶように配置されていることを特徴
    とする全方位ステレオ画像撮影装置。
  2. 【請求項2】 前記第1及び第2のミラーは、何れも双
    曲面のミラーであり、双方の双曲面の中心軸が一致し、
    外側の焦点の位置が一致するよう配置されており、 前記カメラは、前記外側の焦点の位置が、前記カメラの
    レンズ中心の位置に一致するように配置されていること
    を特徴とする請求項1記載の全方位ステレオ画像撮影装
    置。
  3. 【請求項3】 所定方向の実質上全方位の像を反射させ
    る第1の角錐型ミラーと、 前記第1の角錐型ミラーと中心軸同士が実質上一致し
    た、所定方向の実質上全方位の像を反射させる第2の角
    錐型ミラーと、 前記第1の角錐型ミラーの一つの反射面、及びその反射
    面に対応した前記第2の角錐型ミラーの一つの反射面に
    よりそれぞれ反射した同一対象物の2種類の画像をステ
    レオ画像として撮像する、前記第1又は第2の角錐型ミ
    ラーの反射面毎に設けられたカメラとを備え、 前記第1の角錐型ミラーの前記一つの反射面、前記第2
    の角錐型ミラーの前記一つの反射面、及び前記カメラ
    は、前記2種類の画像が前記カメラ内においてそれぞれ
    異なる位置に像を結ぶように配置されていることを特徴
    とする全方位ステレオ画像撮影装置。
  4. 【請求項4】 所定方向の実質上全方位の像を反射させ
    る第1の角錐型ミラーと、 前記第1の角錐型ミラーと中心軸同士が実質上一致して
    おり、且つ、角錐型ミラーの底面同士が対向するように
    配置された、所定方向の実質上全方位の像を反射させる
    第2の角錐型ミラーと、 前記第1の角錐型ミラーの一つの反射面、及びその反射
    面に対応した前記第2の角錐型ミラーの一つの反射面に
    よりそれぞれ反射した同一対象物の2種類の画像の一方
    を、ステレオ画像の片方の画像として撮像するカメラと
    を備え、 前記カメラは、前記第1の角錐型ミラーのそれぞれの反
    射面毎に、及び前記第2の角錐型ミラーのそれぞれの反
    射面毎に設けられていることを特徴とする全方位ステレ
    オ画像撮影装置。
  5. 【請求項5】 所定方向の実質上全方位の像を反射させ
    る第1のミラーと、 前記第1のミラーと中心軸同士が実質上一致しており、
    前記第1のミラーと対向するように配置された、所定方
    向の実質上全方位の像を反射させる第2のミラーと、 前記第1のミラー及び第2のミラーによりそれぞれ反射
    した同一対象物の2種類の画像の内、前記第1のミラー
    により反射した画像をステレオ画像の一方の画像として
    撮像する第1のカメラと、 前記2種類の画像の内、前記第2のミラーにより反射し
    た画像をステレオ画像の他方の画像として撮像する第2
    のカメラと、を備えたことを特徴とする全方位ステレオ
    画像撮影装置。
  6. 【請求項6】 前記第1及び第2のミラーは、回転対称
    な形状のミラーであることを特徴とする請求項5記載の
    全方位ステレオ画像撮影装置。
  7. 【請求項7】 前記回転対称な形状のミラーが、双曲面
    ミラー、円錐型ミラー又は球面ミラーであることを特徴
    とする請求項6記載の全方位ステレオ画像撮影装置。
  8. 【請求項8】 請求項1〜7の何れか一つに記載の全方
    位ステレオ画像撮影装置によって撮影された画像データ
    を利用して、前記2つのミラー又は前記相互に対応する
    2つの反射面により反射した各画像の画像領域間のステ
    レオ対応点を求める対応点計算部と、 前記対応点計算部で求めたステレオ対応点に基づいて、
    その対応点の3次元座標を計算する奥行き計算部と、を
    備えたことを特徴とする全方位ステレオ画像撮影装置。
  9. 【請求項9】 前記全方位ステレオ画像撮影装置が、請
    求項2記載の全方位ステレオ画像撮影装置であって、 前記2つのミラーにより反射した各画像の画像領域の一
    方が同心円の内側の円の内部領域に、他方が前記同心円
    の外側の円と前記内側の円との間の領域に対応してお
    り、前記対応点計算部が前記内部領域と前記双方の円の
    間の領域との間の前記ステレオ対応点を求める場合、前
    記同心円の中心から半径方向への直線上を探索すること
    を特徴とする請求項8記載の全方位ステレオ画像撮影装
    置。
JP25397897A 1997-09-18 1997-09-18 全方位ステレオ画像撮影装置 Expired - Lifetime JP3752063B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP25397897A JP3752063B2 (ja) 1997-09-18 1997-09-18 全方位ステレオ画像撮影装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP25397897A JP3752063B2 (ja) 1997-09-18 1997-09-18 全方位ステレオ画像撮影装置

Publications (2)

Publication Number Publication Date
JPH1195344A true JPH1195344A (ja) 1999-04-09
JP3752063B2 JP3752063B2 (ja) 2006-03-08

Family

ID=17258578

Family Applications (1)

Application Number Title Priority Date Filing Date
JP25397897A Expired - Lifetime JP3752063B2 (ja) 1997-09-18 1997-09-18 全方位ステレオ画像撮影装置

Country Status (1)

Country Link
JP (1) JP3752063B2 (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001040863A1 (fr) * 1999-11-30 2001-06-07 Matsushita Electric Industrial Co., Ltd. Camera de vision nocturne omnidirectionnelle
JP2005234224A (ja) * 2004-02-19 2005-09-02 Yasushi Yagi 全方位撮像システム
JP2007081826A (ja) * 2005-09-14 2007-03-29 Fujifilm Corp 監視システム
KR100763941B1 (ko) 2006-02-09 2007-10-05 전북대학교산학협력단 전방향 스테레오 영상 장치
JP2008181330A (ja) * 2007-01-24 2008-08-07 Sanyo Electric Co Ltd 画像処理装置及び画像処理方法
US7837330B2 (en) 2005-04-18 2010-11-23 Sharp Kabushiki Kaisha Panoramic three-dimensional adapter for an optical instrument and a combination of such an adapter and such an optical instrument
WO2011040239A1 (ja) * 2009-10-02 2011-04-07 株式会社 トプコン 広角撮像装置及び測定システム
JP2011160442A (ja) * 2003-06-03 2011-08-18 Leonard P Steuart Iii ディジタル3d/360度カメラシステム
CN102595169A (zh) * 2010-12-17 2012-07-18 微软公司 用于360度立体视频捕捉的底架组件
US8256902B2 (en) 2008-06-04 2012-09-04 Satoru Yoshii Entire visual-field projection device, and entire-visual-field image system
WO2012136388A1 (en) * 2011-04-08 2012-10-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Capturing panoramic or semi-panoramic 3d scenes
JP2020046262A (ja) * 2018-09-18 2020-03-26 株式会社日立製作所 ステレオカメラ、車載灯具ユニット、及びステレオカメラシステム
JP2021012075A (ja) * 2019-07-05 2021-02-04 株式会社日立製作所 ステレオカメラ

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6738569B1 (en) 1999-11-30 2004-05-18 Matsushita Electric Industrial Co., Ltd. Omnidirectional visual camera
WO2001040863A1 (fr) * 1999-11-30 2001-06-07 Matsushita Electric Industrial Co., Ltd. Camera de vision nocturne omnidirectionnelle
JP2011160442A (ja) * 2003-06-03 2011-08-18 Leonard P Steuart Iii ディジタル3d/360度カメラシステム
JP2005234224A (ja) * 2004-02-19 2005-09-02 Yasushi Yagi 全方位撮像システム
JP4554954B2 (ja) * 2004-02-19 2010-09-29 康史 八木 全方位撮像システム
US7837330B2 (en) 2005-04-18 2010-11-23 Sharp Kabushiki Kaisha Panoramic three-dimensional adapter for an optical instrument and a combination of such an adapter and such an optical instrument
JP2007081826A (ja) * 2005-09-14 2007-03-29 Fujifilm Corp 監視システム
KR100763941B1 (ko) 2006-02-09 2007-10-05 전북대학교산학협력단 전방향 스테레오 영상 장치
JP2008181330A (ja) * 2007-01-24 2008-08-07 Sanyo Electric Co Ltd 画像処理装置及び画像処理方法
US8256902B2 (en) 2008-06-04 2012-09-04 Satoru Yoshii Entire visual-field projection device, and entire-visual-field image system
JP2011082598A (ja) * 2009-10-02 2011-04-21 Topcon Corp 広角撮像装置及び測定システム
WO2011040239A1 (ja) * 2009-10-02 2011-04-07 株式会社 トプコン 広角撮像装置及び測定システム
US9733080B2 (en) 2009-10-02 2017-08-15 Kabushiki Kaisha Topcon Wide-angle image pickup unit and measuring device
CN102595169A (zh) * 2010-12-17 2012-07-18 微软公司 用于360度立体视频捕捉的底架组件
WO2012136388A1 (en) * 2011-04-08 2012-10-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Capturing panoramic or semi-panoramic 3d scenes
JP2020046262A (ja) * 2018-09-18 2020-03-26 株式会社日立製作所 ステレオカメラ、車載灯具ユニット、及びステレオカメラシステム
WO2020059182A1 (ja) * 2018-09-18 2020-03-26 株式会社日立製作所 ステレオカメラ、車載灯具ユニット、及びステレオカメラシステム
CN112219086A (zh) * 2018-09-18 2021-01-12 株式会社日立制作所 立体摄像机、车载灯具组件以及立体摄像机系统
US11290703B2 (en) 2018-09-18 2022-03-29 Hitachi, Ltd. Stereo camera, onboard lighting unit, and stereo camera system
CN112219086B (zh) * 2018-09-18 2022-05-06 株式会社日立制作所 立体摄像机、车载灯具组件以及立体摄像机系统
JP2021012075A (ja) * 2019-07-05 2021-02-04 株式会社日立製作所 ステレオカメラ

Also Published As

Publication number Publication date
JP3752063B2 (ja) 2006-03-08

Similar Documents

Publication Publication Date Title
US7176960B1 (en) System and methods for generating spherical mosaic images
WO2021185218A1 (zh) 一种在运动过程中获取物体3d坐标及尺寸的方法
US6304285B1 (en) Method and apparatus for omnidirectional imaging
JP4742190B2 (ja) 3次元オブジェクト計測装置
US7420750B2 (en) Catadioptric single camera systems having radial epipolar geometry and methods and means thereof
WO2021185217A1 (zh) 一种基于多激光测距和测角的标定方法
WO2021185220A1 (zh) 一种基于坐标测量的三维模型构建及测量方法
KR20020007211A (ko) 전방위 시각 센서
WO2021185214A1 (zh) 一种在3d建模中远距离标定方法
CN1222280A (zh) 全方向成象装置
RU2001101469A (ru) Получение трехмерных планов одной ручной съемочной камерой
JP3752063B2 (ja) 全方位ステレオ画像撮影装置
WO2021185216A1 (zh) 一种基于多激光测距的标定方法
WO2022078442A1 (zh) 一种基于光扫描和智能视觉融合的3d信息采集方法
WO2021185215A1 (zh) 一种在3d建模中多相机共同标定方法
JP2010276433A (ja) 撮像装置、画像処理装置及び距離計測装置
CN100492170C (zh) 一种全向立体视觉成像方法及装置
US9273954B2 (en) Method and system for analyzing geometric parameters of an object
JP2006220603A (ja) 撮像装置
Lu et al. Image-based system for measuring objects on an oblique plane and its applications in 2-D localization
CN206573465U (zh) 一种环外侧成像装置
Fiala et al. Feature extraction and calibration for stereo reconstruction using non-svp optics in a panoramic stereo-vision sensor
JP2007264402A (ja) 全方位視覚センサ
JP2005275789A (ja) 三次元構造抽出方法
RU2420774C2 (ru) Способ для определения местонахождения объекта в окружающем пространстве и панорамная аппаратура для реализации способа

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040818

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050712

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050909

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20051206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20051209

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091216

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091216

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101216

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101216

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111216

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111216

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121216

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121216

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131216

Year of fee payment: 8

EXPY Cancellation because of completion of term