JPH1164931A - 全周囲画像取得方法並びに全周囲画像入力装置とその製造方法 - Google Patents

Abstract

(57)【要約】 【課題】 全周囲画像を取得する。 【解決手段】カメラの水平画角が９０度もしくは、それ
以上となるような広角のレンズを取り付けた２台のカメ
ラ３，３′と２つの三角柱型反射ミラー１，１′が互い
に角度９０度で組み合わされた構造の装置において２台
のカメラ３，３′から得られた画像を処理することによ
り、全周囲画像を生成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、全周囲画像の取得
に関し、特に２台のカメラと二つの三角柱型反射ミラー
を用いた構造による欠落のない全周囲の画像の取得方法
並びに全周囲画像入力装置とその製造方法に関する。

【０００２】

【従来の技術】従来からの１台のカメラによる前方中心
の視野領域のみならず、側方、後方の視野領域を含めた
全周囲画像を１度に取得できることは、監視装置やロボ
ットの視覚装置等にとって、実環境下の状況を把握する
上での重要な情報となり得る。従来、全周囲画像を取得
する方法として、カメラを回転する方法、魚眼レンズを
用いる方法、曲面ミラー（球面ミラー、円すいミラーや
双曲面ミラー）の反射像を用いた方法等が提案されてい
る。

【０００３】○カメラを回転する方法は、カメラを鉛直
軸の回りに回転させ、全周囲画像を取得する方法であ
る。

【０００４】○魚眼レンズを用いる方法は、魚眼レンズ
を取り付けたカメラを上方向に向け一度に全周囲画像を
取得するものである。

【０００５】○曲面ミラーの反射像を用いる方法は、曲
面ミラーとカメラにより構成され、曲面ミラーに写った
全周囲の反射像をミラー下方に設置したカメラにより、
撮像するものである。（例えば、特願平５−８０７４
９）

【０００６】

【発明が解決しようとする課題】カメラを回転する方法
では、分解能や画像のひずみの点では問題はないが、全
周囲画像を取得するのに、カメラが１回転するだけの時
間がかかるという問題がある。ロボットの視覚装置や監
視装置として活用するためには、高速に全周囲画像を取
得することが必要である。

【０００７】魚眼レンズを用いる方法は、１台のカメラ
により全周囲画像を実時間で取得することができるが、
不用な天井部の情報を多く含むため、分解能が低く、か
つ、画像のひずみが大きいという問題がある。

【０００８】曲面ミラー（球面ミラー、円すいミラー、
双曲面ミラー）の反射像を利用する方法では、１台のカ
メラにより全周囲画像を実時間で取得することができる
が、分解能が低く、画像のひずみが大きいという問題が
ある。その上、ミラーとカメラの位置関係から、曲面ミ
ラーをカメラ上方に全周囲の視野を確保しつつ、固定す
る必要がある。このため、曲面ミラーは、透明な光学ガ
ラス、または、それに類した透明材質のもので保持しな
ければならず、構造上問題がある。かつ、画像取得を目
的とするため、高精度な曲面ミラーが必要とされ、その
製造コストにも問題がある。

【０００９】本発明は、高速で従来方法より分解能が高
く、画像ひずみが小さい全周囲画像を得る方法を提供す
る。また、特殊な技術を用いることなく、低コストで、
小型で、堅固な構造を持った全周囲画像入力装置及びそ
の装置化を容易に達成することができる製造方法を提供
する。

【００１０】

【課題を解決するための手段】上記目的を達成するため
に、本発明においては、カメラの水平画角が９０度もし
くは、それ以上となるような広角のレンズを取り付けた
２台のカメラと２つの三角柱型反射ミラーが互いに角度
９０度で組み合わされた全周囲画像入力装置と画像処理
装置において実現している。

【００１１】全周囲画像入力装置について、一方の三角
柱型反射ミラーは、２つの反射面を持ち、その境界の稜
線を中心として、その反射像は、互いに反対方向の２方
向の情報を持つ。他方の三角柱型反射ミラーによる反射
像は、２つの三角柱型反射ミラーが互いに角度９０度で
組み合わされているため、先の三角柱型反射ミラーの反
射像に対して、９０度回転した互いに反対方向の２方向
の情報を持つ。このように、２つの三角柱型反射ミラー
による反射像は、全周囲（４方向）の情報を含んでい
る。

【００１２】このような全周囲の情報を２つの三角柱型
反射ミラーを介して、上下２台のカメラにて撮像する。
こうして得られた４方向の画像から、予め、決められた
各水平方向９０度の視野制限領域を画像処理装置にて抽
出し、それらをつなぎ合わせて全周囲画像を構成する。
尚、ここで得られた画像には、カメラに取り付けられた
広角なカメラレンズに起因する画像歪みが発生してい
る。このため、これら画像に対して歪み補正プログラム
を実行する。

【００１３】

【発明の実施の形態】図５に、小型化（６０ｍｍ（Ｄ）
×７０ｍｍ（Ｗ）×１３４ｍｍ（Ｈ））が実現されてい
る全周囲画像入力装置の実施例を示す。ここでは、画像
処理装置は除いている。実施例に基づき、まず、構成、
構造について説明する。図１において、ミラー面２を持
つ三角柱型反射ミラー１とミラー面２′を持つ三角柱型
反射ミラー１′が互いに９０度の角度で配置される。カ
メラレンズ主点３及びカメラレンズ主点３′の各々のレ
ンズ主点がＺ軸上に配置される。ここで、各々のカメラ
のレンズは、カメラの水平画角が９０度もしくは、それ
以上となるように広角のものが選択される。

【００１４】カメラレンズ主点３′′は、図２のレンズ
鏡筒６の幅ＭＮ、ミラー面２′′の大きさＯＰ、ミラー
面間角度α及びカメラの画角βとの関係において、視野
が妨げられることなく、必要とするカメラの垂直画角γ
（β／２）が充分に確保できるような最適なＺ軸上の位
置が決定される。この決定に際して重要な要素となるの
が、レンズ鏡筒６の幅ＭＮとＲ（カメラレンズ主点
３′′とミラー面２′′の頂点間距離）である。Ｒが大
きくなれば、同じγを得るためには、ミラー面２′′の
大きさＯＰを大きくする必要がある。また、レンズ鏡筒
６の幅ＭＮが大きくなれば、γの視野を妨げることとな
る。このため、装置の小型化のためには、レンズの選定
が重要である。尚、αは、カメラがみる方向を規定する
とともに、上下２台のカメラの視野方向を一致させるた
めに、γ／２の方向が水平軸（Ｘ軸）と一致するように
選ばれる必要がある。本実施例では、焦点距離＝２．８
ｍｍ、水平画角＝１０６度、垂直画角（β）＝７８度、
レンズ鏡筒６の幅ＭＮ＝１６ｍｍ、カメラレンズ主点位
置１３からレンズ鏡筒６の前面までの距離＝５．７ｍｍ
のレンズを使用し、Ｒ＝８．７ｍｍ、ミラー面間角度α
＝１１０度でミラー面２′′の大きさＯＰ＝約１８ｍｍ
としている。この場合、水平軸（Ｘ軸）を中心として、
γ＝３０度以上が確保されている。このような配置によ
り、２台のカメラは、図１の上部カメラの視野方向４，
４′及び下部カメラの視野方向５，５′を持ち、各々の
視野方向に対して、垂直画角γを持つ。結果、図３のよ
うに、上部カメラの画像７には、上部カメラの視野方向
４の画像８（実環境の上下反転画像）と上部カメラの視
野方向４′の画像８′（実環境の左右反転画像）が半分
ずつ撮像される。同様に、下部カメラの画像７′には、
下部カメラの視野方向５の画像９′（実環境の上下反転
画像）と下部カメラの視野方向５′の画像９（実環境の
左右反転画像）が半分ずつ撮像される。これら４方向の
画像は、上下、また、左右の反転画像であるため、画像
処理装置において、正常画像に変換する。

【００１５】三角柱型反射ミラーの製造に関して、三角
柱型反射ミラー１と、三角柱型反射ミラー１′は、各々
単独で製造し、図４のように組み合わせて固定する。三
角柱型反射ミラーは、不錆性金属（例えば、ステンレ
ス、アルミ合金等）を加工・研磨し、鏡面仕上げしたも
のを用いる。このことにより、任意のミラー面間角度や
ミラー面を含む任意形状を容易に製造することが可能と
なり、また、金属であることから、ミラー面以外の部分
には、容易に他の構造物との精度の良い固定等が可能と
なる。

【００１６】２つのカメラのレンズの保持は、図５にお
いて、レンズ１０の保持については、三角柱型反射ミラ
ー１の両端面に、保持材１１と保持材１１′を取り付
け、その保持材に対して、レンズ取り付け部１２を取り
付ける。同様に、レンズ１０′の保持は、三角柱型反射
ミラー１′の両端面に、保持材１１′′と保持材１
１′′′を取り付け、その保持材に対して、レンズ取り
付け部１２′を取り付ける。このことにより、１３，１
３′の２つのカメラのセンサ、１４，１４′の２つのカ
メラ信号処理回路基板も保持材１１，１１′，１
１′′，１１′′′を利用することで、視野を妨げるこ
となく保持することが可能となる。

【００１７】また、本実施例の２台のカメラの内、上部
に取り付けられたカメラに必要な入出力ケーブル（電
源、信号等）について、ケーブルの引き回しにより、２
台のカメラの視野を妨げてはならない。本実施例では、
これらケーブルを上部保持材の壁面に沿い、両三角柱型
反射ミラー間の隙間を通り、下部保持材の壁面に至る経
路を通すことで、視野が妨げられることはない。

【００１８】このように、特別な光学ミラーや特別な取
り付け手段は必要とせずに現状の金属加工・研磨技術の
みで、低コストで容易に装置構成部品が精度良く製造で
き、それらを組み立てることにより、装置として、小型
で堅固な一体構造化が達成される。

【００１９】次に、連続した全周囲画像の生成方法を説
明する。２台のカメラの内、上部カメラについては、図
６の上部三角柱型反射ミラーの中央稜線１６を中心とし
て、互いに反対方向の２方向の情報が図５のカメラセン
サ１３の半分ずつに撮像されることとなる。この時のカ
メラの等価的配置は、中心からＲだけ隔てた１７，１
７′となる。このことは、２台のカメラが各々δの水平
画角、γの垂直画角を持ち、互いに反対方向を撮像して
いることと等価である。同様に、下部カメラについても
図７に示すように、下部三角柱型反射ミラーの中央稜線
１８を中心として等価的には中心からＲだけ隔てた１
９，１９′から２台のカメラがδの水平画角、γの垂直
画角を持ち、互いに反対方向を撮像していることと等価
となる。この２つの関係を組み合わせた本実施例では、
図８に示すように等価的には、中心から各々がＲだけ隔
てた４台のカメラが互いに異なる４方向（周囲）を撮像
していることとなる。これらの画像関係を用いて、全周
囲画像を生成する。

【００２０】このような画像をつなぎ合わせて全周囲画
像を生成する場合に問題となるのが、境界領域での情報
の欠落または、重複である。本実施例の構成において、
図８のように、カメラの水平画角が９０度以上であるの
で、２つのカメラから得られた画像は、４方向の情報を
持つが互いに重複した情報を含んでいる。このため、こ
れら重複した情報を取り除く必要がある。

【００２１】そのために、まず、４台の等価的カメラに
よって撮像された画像について、その水平画角が９０度
となるように、予め、視野制限された画像領域を確定し
ておく。図９に示すように、視野内の９０度の範囲に順
次、衝立２０，２０′，２０′′，２０′′′等を設置
し、画像処理装置によりその領域を確定する。カメラの
水平画角が９０度丁度となるようにあらかじめ設定され
ているとすれば、この工程は必要ない。このような領域
の確定を４つの等価的カメラ主点位置１７，１７′，１
９，１９′について行う。全周囲画像入力装置からの画
像入力に対して、画像処理装置により、これら領域を抽
出し、抽出した画像をつなぎ合わせて全周囲画像を生成
する。

【００２２】本実施例によれば、図９に示すような重複
した画像のつなぎ合わせである。しかし、その重複領域
Ｗは、Ｒ（中心Ｏからの変位量）に依存する関係があ
る。即ちＷ＝２×ＣＯＳ（４５度）×Ｒである。ここ
で、Ｒは、図２のカメラレンズ主点３′′とミラー頂点
間距離である。Ｒが小さければ、Ｗは小さく重複による
全体の全周囲画像に対する影響は小さいものとなる。本
実施例では、Ｒ＝８．７ｍｍであり、Ｗ＝約１．２ｃｍ
となり、４方向の画像が水平方向の左右に約１．２ｃｍ
の重複領域をもってつなぎ合わされることとなる。この
重複領域は、撮像する物点までの距離に依存しない。

【００２３】一方、視差の影響がある。図１０におい
て、カメラレンズ主点位置３′′′にある２台のカメラ
は、各々垂直画角γで撮像するが同一の高さの視点をも
っていない。境界領域について、得られた画像間には上
下２台のカメラレンズ主点間距離に相当するＨによる視
差の影響が生じることになる。この時、全周囲画像は、
各方向の画像の境界部分で、撮像物点位置において、実
寸でＨだけ垂直方向に変位したような階段状に生成しな
ければならない。しかし、撮像物点が充分に遠方にある
場合には、２台のカメラは、同一の高さの視点をもつて
いるとしてよく、この影響は無視することができる。

【００２４】厳密な意味での重複と視差による画像のつ
なぎ合わせの関係を図１１に示す。４方向の画像は、左
右に重複領域幅２１を含み、視差による垂直方向の不連
続幅２２を含んでつなぎ合わされることとなる。

【００２５】以上のことから、画像のつなぎ合わせによ
る全周囲画像の生成において、重複についてはＲ、視差
の影響についてはＨを小さくすれば、重複領域幅２１、
不連続幅２２を小さくすることができる。また、重複領
域幅２１と不連続幅２２は、撮像物点までの距離に依存
する関係がある。撮像物点までの距離が遠い場合（遠方
領域）には、重複領域幅２１、不連続幅２２は、更に小
さくすることができる。本実施例の場合、撮像物点まで
の距離が１ｍの時、画像上（水平方向）で占める重複領
域幅２１の割合は、約１％程度であり、画像上（垂直方
向）で占める垂直方向の不連続幅２２の割合は、約３％
程度である。

【００２６】監視装置やロボットの視覚装置のような比
較的遠方領域を対象とする場合には、これら重複及び視
差による問題は生じないと言える。また、近傍領域を対
象とする場合においても、情報の欠落を意味するもので
はなく、対象領域までの距離が確定されれば、画像間の
重複領域幅２１や不連続幅２２を確定することができ、
画像処理等により同様な全周囲画像の生成が可能であ
る。尚、ここで得られた画像には、カメラに取り付けら
れた広角なカメラレンズに起因する画像歪みが発生して
いる。このため、これら画像に対して歪み補正プログラ
ムを実行する。

【００２７】

【発明の効果】本発明は、以上説明したように、簡単な
構造で、かつ、その製造においても、特殊な技術や破損
し易い光学ガラス等を用いることなく、小型で軽量に構
成されるため、以下に記載されるような効果を奏する。

【００２８】同時に４方向の画像情報が得られるため、
高速に全周囲画像を得ることができる。また、広角なカ
メラレンズによる画像は、魚眼レンズや曲面ミラーを用
いた時の画像に比べ、画像ひずみが小さく、画像補正を
容易に行うことができる。また、小型、軽量で堅固な一
体構造であるため、ロボットの視覚装置や監視装置とし
ての活用が図られる。

【００２９】

【図面の簡単な説明】

【図１】三角柱型反射ミラーとカメラ主点位置の関係に
よる本方法の基本構成図

【図２】三角柱型反射ミラーとカメラレンズ関係図

【図３】２台のカメラによる画像構成図

【図４】三角柱型反射ミラーの製造と組立図

【図５】実施例（全周囲画像入力装置：（Ａ）正面図
（Ｂ）側面図）

【図６】上部三角柱型反射ミラーによる等価的カメラ主
点位置と撮像範囲図

【図７】下部三角柱型反射ミラーによる等価的カメラ主
点位置と撮像範囲図

【図８】２つの三角柱型反射ミラーと等価的カメラ主点
位置図

【図９】重複領域と視野制限図

【図１０】視差の影響図

【図１１】全周囲画像のつなぎ合わせ図

【００２８】

【符号の説明】

１ 三角柱型反射ミラー ２ ミラー面 ３ カメラレンズ主点 ６ レンズ鏡筒 １０ カメラレンズ １１ 保持材 １２ カメラレンズ取り付け部 １３ カメラセンサ １４ カメラ信号処理基板 ２０ 衝立 ２１ 重複領域幅 ２２ 不連続幅

Claims (3)

【特許請求の範囲】
1. 【請求項１】カメラの水平画角が９０度もしくは、それ
   以上となるようなカメラレンズを取り付けた２台のカメ
   ラを備え、二つの互いに反射方向が異なる反射面を持つ
   三角柱型反射ミラーが互いに９０度の角度で配置された
   構造を持ち、各々のカメラは、三角柱型反射ミラーの両
   反射面が交差する稜線の中央の鉛直線上に位置し、第一
   のカメラの画像は、一方の三角柱型反射ミラーにより互
   いに反対方向の二方向の情報を含み、第二のカメラの画
   像は、前記に直交する他方の三角柱型反射ミラーにより
   互いに反対方向の二方向の情報を含み、この二つの画像
   にて、全周囲画像を表しており、これら４方向の画像情
   報を画像処理装置により処理し、つなぎ合わせることで
   全周囲の画像を高速に取得することを特徴とする全周囲
   画像取得方法。
2. 【請求項２】水平画角が９０度もしくは、それ以上とな
   るようなカメラレンズを供えた２台のカメラが、互いに
   ９０度の角度で配置された三角柱型反射ミラーａ（１）
   と三角柱型反射ミラーｂ（３）の上下に位置し、各々の
   三角柱型反射ミラーについて、上下２台のカメラの視野
   方向を一致させるために決められるミラー面間角度α
   と、また、カメラレンズ主点位置（１３）、ミラー面
   （１２）の頂点間距離Ｒとレンズ鏡筒（１１）の幅によ
   り決められるミラー面（１２）の大きさを有し、第一の
   カメラの画像は、互いに反対の２方向の情報を含み、ま
   た、第二のカメラの画像は、９０度回転した互いに反対
   の２方向の情報を含み、２つの画像により重複を含む全
   周囲の画像を実時間で取得することを特徴とする全周囲
   画像入力装置。
3. 【請求項３】２台のカメラと、互いに９０度の角度で配
   置された２つの三角柱による構成の請求項２の全周囲画
   像入力装置について、２つの三角柱型反射ミラーに不錆
   性金属を加工・研磨・鏡面仕上げしたものを用い、前記
   ２つの三角柱型反射ミラーを単独で製造し、互いに固定
   し、三角柱型反射ミラーの両端面の金属部がカメラレン
   ズ（１０，１０′）やカメラセンサ（１３，１３′）や
   カメラ信号処理基板（１４，１４′）の保持のための保
   持材（１１，１１′，１１′′，１１′′′）の固定に
   利用された、堅固な構造を特徴とする全周囲画像入力装
   置の製造方法。