JP3827912B2 - 全方向ステレオ画像撮影装置及びステレオ画像撮影装置 - Google Patents
全方向ステレオ画像撮影装置及びステレオ画像撮影装置 Download PDFInfo
- Publication number
- JP3827912B2 JP3827912B2 JP2000098812A JP2000098812A JP3827912B2 JP 3827912 B2 JP3827912 B2 JP 3827912B2 JP 2000098812 A JP2000098812 A JP 2000098812A JP 2000098812 A JP2000098812 A JP 2000098812A JP 3827912 B2 JP3827912 B2 JP 3827912B2
- Authority
- JP
- Japan
- Prior art keywords
- cameras
- support member
- camera
- stereo image
- stereo
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Studio Devices (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Accessories Of Cameras (AREA)
- Closed-Circuit Television Systems (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、３次元空間の全方向の濃度画像を撮影する共に該３次元空間の位置情報を取得する全方向ステレオ画像撮影装置に関するものである。
【０００２】
【従来の技術】
複数人が参加するテレビ会議システム、移動ロボットの遠隔操作、防犯システム或いはロボットと人とのインタラクション等においては、広範囲の環境情報の取得が重要になる。例えば、遠隔地で行われる会議に仮想的に参加するときには、利用者の見たい方向の会議場の画像を、利用者の周囲に再現できれば利用者に臨場感を与えることができる。このような再現を行うには、実際の会議場の広範囲な濃度画像ばかりでなく、３次元の位置情報を環境情報として取得することが必要になってくる。
【０００３】
元々、広範囲な濃度画像を取得する装置には、大別すると、光学系を工夫したものと複数の画像を統合するものとがある。光学系を工夫した装置には、球面、円錐面、双曲面或いは放物面等の回転体ミラーと１個のカメラとを使用したものがあった。また魚眼レンズと１個のカメラとを使用するものもあった。一方、複数の画像を統合する装置には、カメラを回転させて間歇的に画像を取得し、これらの画像を統合するものと、複数個のカメラを円周上に配置し、該複数個のカメラで撮影した画像を統合するものとがあった。
【０００４】
濃度画像に加えて３次元の位置情報を取得する従来の装置は、上述の技術を利用しており、例えば次の文献１，２に記載されるものがあった。
文献１；特開平１１−９５３４４号公報
文献２；特開平１１−３２５８９５号公報
図２、図３及び図４は、前記文献１に記載された全方位ステレオ画像撮影装置の構成図である。
【０００５】
図２の全方位ステレオ画像撮影装置では、曲率の異なる双曲面ミラー１，２を、焦点Ｏが一致するように鉛直方向に配置し、その焦点Ｏにレンズ中心がくるようにカメラを配置し、双曲面ミラー１，２で反射した画像をカメラで撮影している。この装置では、各双曲面ミラー１，２で反射した３次元空間の任意の点Ｐの画像がＰ１，Ｐ２として投影面３上に並ぶので、その距離を推定することにより、点Ｐの３次元の位置情報を取得している。
【０００６】
図３の全方位ステレオ画像撮影装置では、上部多角錘ミラー４と下部多角錘ミラー５とを鉛直方向に配置すると共に、複数個のカメラ６を水平面の円周上に等間隔に配置している。このような構成の装置は、上部多角錘ミラー４の一面と下部多角錘ミラー５の一面とで反射した画像を各カメラ６で撮影し、該各カメラ６で撮影した画像に基づき３次元の位置情報を取得している。
【０００７】
図４の全方位ステレオ画像撮影装置では、同じ形状の多角錘ミラー７，８を鉛直方向に対称となるように配置し、多角錘ミラー７の各面を撮影する複数個のカメラ９を円周上に配置し、さらに、多角錘ミラー８の各面を撮影する複数個のカメラ１０を円周上に配置している。各カメラ９と各カメラ１０とはそれぞれ対をなし、複数のステレオカメラを形成している。このような構成の装置では、各ステレオカメラで撮影された１組の画像に基づき、水平方向を分割した領域の３次元の位置情報を取得している。
【０００８】
図５は、前記文献２に記載されたステレオ３次元計測装置である。この装置では、上下に移動可能な回転カメラ１１によって構成されている。カメラ１１は、上側の位置で回転して円周方向の画像を撮影し、さらに、下側の位置に移動して後に回転して円周方向の画像を撮影する。上側の位置で撮影した画像と下側の位置で撮影した画像はステレオ画像となる。このステレオ画像に基づき、３次元の位置情報が取得可能になる。
【０００９】
【発明が解決しようとする課題】
しかしながら、図２〜図４の全方位ステレオ画像撮影装置、及び図５のステレオ３次元計測装置には、次のような課題があった。
【００１０】
図２の全方位ステレオ画像撮影装置は、１個のカメラで広範囲の画像を撮影することになるので同時刻に全方位の画像が得られ、リアルタイム性を満足するが、空間分解能が低い上に、該画像におけるカメラの光軸近辺と他の部分とで解像度に差がでるという課題があった。また、名称が全方位ステレオ画像撮影装置となっているが、水平方向の全周囲の画像が得られのみであり、ステレオ画像が形成される範囲が狭いという課題もあった。
【００１１】
図３の全方位ステレオ画像撮影装置は、複数個のカメラ６で分割して広範囲の画像を撮影するので、図２の装置に比べて空間分解能は向上するが、１個のカメラでステレオ画像を形成するので空間分解能が低い。また、図２の装置と同様に、水平方向の全周囲の画像が得られのみであり、ステレオ画像が形成される範囲が狭いという課題もあった。図４の全方位ステレオ画像撮影装置は、リアルタイム性を満足すると共に、空間分解能も向上するが、図２及び図３の装置と同様に、ステレオ画像が形成される領域が狭いという課題があった。
【００１２】
図５のステレオ３次元計測装置は、図２〜図４の全方位ステレオ画像撮影装置と同様に、水平方向の全周囲の位置情報の取得が可能であっても、上方或は下方が盲点となって位置情報が得られないばかりか、カメラ１１を回転させて複数の画像を間歇的に撮影し、さらに、この間歇的な撮影を上側の位置と下側の位置の２回に分けて行うので、全周囲について１組の画像を取得するのに時間がかかり、リアルタイム性が欠けるという課題があった。
【００１３】
なお、魚眼レンズを利用して３次元空間の位置情報を取得する装置も考えられるが、魚眼レンズを用いるかぎり、空間分解能が低下することが予想されると共に、少なくとも対をなす装置の一方の画像には，他方の装置がお互いに写り、その装置のある位置の画像は得られないという問題があった。
なお、ステレオカメラで位置情報を取得する場合、カメラ間隔は、３次元の位置情報の精度を確保するための重要な値である。これを短くすると精度が劣化する。これに対し、装置全体の構成は小型化したいという問題があった。
【００１４】
本発明は、前記課題を解決し、リアルタイム性を満足し、装置全体は小型でありながら空間分解能が高く、かつ、３次元空間に関して位置情報の取得が可能なステレオ画像撮影装置を提供することを目的とする。併せて、３次元空間の全方向に関して位置情報の取得が可能な全方向ステレオ画像撮影装置を提供することを目的とする。
【００１５】
【課題を解決するための手段】
前記課題を解決するために、本願の請求項１〜７に記載の発明（以下、「第１〜第７の発明」という）のうちの第１の発明は、全方向ステレオ画像撮影装置において、複数のカメラを基準平面上にそれぞれ支持する複数の支持部材を、多面体のすべての面或いは一部を除くすべての面に着脱自在に取付けた全方向ステレオ画像撮影装置であって、前記各カメラは、同カメラが取付けられた支持部材と同一の支持部材に支持された他のカメラと対をなし、該支持部材の取り付けられた前記多面体の面が向く方向及びその近傍の方向に関して３次元情報の演算を可能にする画像を撮影するステレオカメラを形成し、前記各支持部材は、前記取り付けられた各面に平行な前記基準平面に前記複数のカメラを配置する構成とし、同一の前記支持部材に支持された前記カメラ間を結ぶ線分の一部あるいは全部は、隣接する支持部材における基準平面を貫通するように配置されるとともに、隣接する前記支持部材に配置されたカメラの視野を遮らないように配置されている。
【００１６】
このような構成を採用したことにより、例えば、支持部材を多面体のすべての面に取付けると、装置を中心にして、３次元空間全体を分割し、各方向を各支持部材で支持された複数のカメラがそれぞれ撮影することになる。
【００１８】
また、第１の発明ではこのような構成を採用したことにより、各支持部材に支持されたカメラがステレオカメラとなり、それぞれステレオ画像が撮影される。ステレオ画像から３次元情報が得られる。また、このような構成を採用したことにより、ステレオ対応点を求める際に問題となる対をなすカメラ間の位置関係及び姿勢関係等の校正が，支持部材及び複数のカメラで構成されるユニットごとに行うことが可能になり、全方向のステレオ画像は、校正された全方向を分割したすべての画像を合成することで得ることが可能となる。換言すれば、全方向のステレオ画像を隙間なく得るための校正が容易となる。
【００２０】
さらに、第１の発明ではこのような構成を採用したことにより、支持部材及び複数のカメラで構成されるユニットの外形が多面体の各面よりも大きくても、該ユニットの各面への取付けが可能になる。また、すべてのカメラの画像には、他のカメラが写らないので、視野をふさぐことがない。換言すれば、大きなユニットが小さな多面体に複数取付けられ、完全な全方向のステレオ画像を得ることが可能になる。
【００２１】
第２の発明では、第１の発明の全方向ステレオ画像撮影装置において、前記各支持部材は、３個以上の前記カメラをそれぞれ支持し、各支持部材における前記カメラ間を結ぶ直線で囲まれる閉図形は、隣接する支持部材における各カメラ間を結ぶ直線で囲まれる閉図形に干渉する構成にしている。
【００２２】
第２の発明によれば、以上のような構成にしたので、第１の発明と同様に、支持部材及び複数のカメラで構成されるユニットの外形が多面体の各面よりも大きくても、該各面に取り付け可能になる。
【００２３】
第３の発明では、第１または２の発明の全方向ステレオ画像撮影装置において、前記各支持部材には、前記複数のカメラによって２以上の前記ステレオカメラが形成されるようにしている。
【００２４】
このような構成を採用したことにより、多面体の各面が向く方向に関してステレオカメラを２セット以上持つことと同じになる。
第４の発明では、第１、２または３の発明の全方向ステレオ画像撮影装置において、前記多面体は、前記面が３次元空間を等分割する正多面体で構成している。
【００２５】
このような構成を採用することにより、各支持部材に支持された複数のカメラは、等分割された３次元空間を中心にしてそれぞれ撮影することになる。
第５の発明は、ステレオ画像撮影装置において、複数のカメラを基準平面上にそれぞれ支持する複数の支持部材を、多面体の一部の面に着脱自在に取付けたステレオ画像撮影装置であって、前記各カメラは、同カメラが取付けられた支持部材と同一の支持部材に支持された他のカメラと対をなし、該支持部材の取り付けられた前記多面体の面が向く方向及びその近傍の方向に関して３次元情報の演算を可能にする画像を撮影するステレオカメラを形成し、前記各支持部材は、前記取り付けられた各面に平行な前記基準平面に前記複数のカメラを配置する構成とし、同一の前記支持部材に支持された前記カメラ間を結ぶ線分の一部あるいは全部は、隣接する支持部材における基準平面を貫通するように配置されるとともに、隣接する前記支持部材に配置されたカメラの視野を遮らないように配置されている。
【００２６】
第６の発明では、請求項５記載のステレオ画像撮影装置において、前記各支持部材は、３個以上の前記カメラをそれぞれ支持し、各支持部材における前記カメラ間を結ぶ直線で囲まれる閉図形は、隣接する支持部材における各カメラ間を結ぶ直線で囲まれる閉図形に干渉する構成にした。
第７の発明では、請求項５または６記載のステレオ画像撮影装置において、前記各支持部材には、前記複数のカメラによって２以上の前記ステレオカメラが形成される。
【００２７】
第５、６及び第７の発明によれば、以上のような構成にしたことにより、全方向でない点で相異する他は、第１、２及び３の発明と同様な作用、効果を奏する。
【００２８】
【発明の実施の形態】
以下、本発明を具体化した全方向ステレオ画像撮影装置の実施形態を、図１及び図６〜図１７を参照しつつ説明する。
【００２９】
本実施形態の全方向ステレオ画像撮影装置は、形状が正多面体の基材２０に、それぞれ３個のＣＣＤカメラ２１を支持する複数の支持部材２２を取り付けたものである。
【００３０】
基材２０の形状の正多面体としては、例えば図６のように、３次元空間を２０等分に分割する正２０面体でもよいし、この他の正１２面体、正８面体、正６面体或いは正４面体でもよい。ちなみに、図１は、正２０面体の基材２０を用いたものである。
【００３１】
支持部材２２は、図７のように、例えばアルミニウムの板で形成され、基準平面上にカメラ２１のレンズ中心が直角二等辺三角形の頂点になるように、３個のカメラ２１を支持している。３個のカメラが直角二等辺三角形に配置されるが、支持部材２２の形状は三角形ではなく、切り欠き部が形成されて凹状である。支持部材２２は、基材２０の各面２３に着脱自在に取り付けられ、３個のカメラ２１と支持部材２２が１つのユニットとなって多面体の各面２３の法線方向を向くようになっている。今、直角二等辺三角形の角度が９０度の位置のカメラ２１を２１ａとし、４５度の位置のカメラ２１をそれぞれ２１ｂ，２１ｃとすると、カメラ２１ａ及びカメラ２１ｂで１セットのステレオカメラが形成され、これらにより、ステレオ画像が求められる。カメラ２１ａ及びカメラ２１ｃで１セットのステレオカメラが形成され、これらにより、ステレオ画像が求められる。つまり、垂直方向と水平方向の２つのステレオ画像が得られる。例えば、１つのステレオ画像だけでは、２個のカメラからの距離が定まる点の集合体の位置情報が得られるのみで、３次元空間の任意の点の座標の決定するには精度が欠ける。ところが、本実施形態では、支持部材２２ごとに２種類のステレオ画像が得られるので、正確な３次元の位置情報が得られる。さらに、各カメラ２１ａ，２１ｂ，２１ｃが直角二等辺三角形の頂点に位置するので、その計算速度も速くできるようになっている。
【００３２】
各面２３の外形よりも、支持部材２２の外形の方が大きく、カメラ２１の間隔が十分確保されている。各面２３の形状は、基材２０が正２０面体のときには正三角形である。基材２０が正４面体及び正８面体のときにも、各面２３の形状は正三角形になる。基材２０が正６面体のときには、各面２３の形状は正方形になる。基材２０が正１２面体のときには、各面２３の形状は正５角形になる。
【００３３】
次に、支持部材２２及びカメラ２１の設計について説明する。
まず、正多面体にカメラを配置した場合において全方向画像を撮影するのに必要な視野角について、各面２３の重心位置にピンホールカメラを配置したものとして考察する
図８のように、カメラ２１の中心（各面２３の重心）位置をＡ，Ｂとし、正多面体の重心位置をＣとし、２個のカメラ２１の光軸をＤ，Ｅとし、頂点から面２３の重心を通る直線の交点をＳとする。また、線分ＣＤと線分ＳＡ及び線分ＣＥと線分ＳＢとはそれぞれ垂直とすると、正２０面体は、２０個の正三角形で構成されるので、隣接する２つの面２３のなす角αは、次の式（１）から、
ｓｉｎ（α／２）＝２／（３1/2 ＋（１５）1/2 ）・・・（１）
α＝４１．８１０３（度）
となる。そのため、ＡＳＢの角度θは、１３８．１８９７度となる。正２０面体においては、各面２３が正三角形なので、線分ＳＡ，ＳＢの長さが等しく、視野限界の交点Ｐとレンズを結ぶ線分ＰＡ，ＰＢとが平行になるときは、線分ＰＡと線分ＡＢ及び線分ＰＢと線分ＡＢとが互いに垂直のときであり、このときの視野角δは４１．８１０３度になる。即ち、視野角δが４１．８１０３度以上のときに、全方向の画像が撮影可能になる。
【００３４】
正１２面体は、１２個の正五角形から構成され、隣接する２つの面２３の角度αは、次の式（２）から、
ｓｉｎ（α／２）＝２1/2 ／（５＋５1/2 ）1/2 ・・・（２）
α＝６３．４３４９（度）
となる。そのため、正２０面体の場合と同様に、全方向の画像を撮影するために正１２面体の場合には、視野角δが６３．４３４９度以上必要になる。
【００３５】
正８面体の場合には、８つの正三角形で構成されるので、隣接する２つの面２３のなす角αは、次の式（３）から、
ｓｉｎ（α／２）＝１／３1/2 ・・・（３）
α＝７０．５２８８（度）
となる。そのため、全方向の画像を撮影するのに必要な視野角δは７０．５２８８度以上になる。
【００３６】
正６面体の場合には、６個の正方形から構成されるので、隣接する２つの面２３のなす角αは、次の式（４）から、
ｓｉｎ（α／２）＝１ ／２1/2 ・・・（４）
α＝９０（度）
となる。そのため、全方向の画像を撮影するのに必要な視野角δは、９０度以上になる。
【００３７】
正４面体の場合には、４個の正三角形から構成されるので、隣接する２つの面２３のなす角αは、次の式（５）から、
ｓｉｎ（α／２）＝２ ／６1/2 ・・・（５）
α＝１０９．４７１２（度）
となる。そのため、全方向の画像を撮影するのに必要な視野角δは、１０９．４７１２度以上になる。
【００３８】
ここで、基材２０の各面２３における３眼ステレオカメラで捉えるステレオ画像について、各カメラ２１ａ，２１ｂ，２１ｃをピンホールカメラとして説明する。
【００３９】
例えば、図９のように、カメラ２１ａとカメラ２１ｂとを結ぶ線分ＬＲと、各カメラ２１ａ，カメラ２１ｂの光軸ＣＬ，ＣＲは、垂直である。また、この光軸ＣＬ，ＣＲは、各カメラ２１ａ，カメラ２１ｂの視野角θ１，θ２の垂直２等分線である。各カメラ２１ａ，カメラ２１ｂの視野限界の交わる場所Ｐからカメラ２１ａ，カメラ２１ｂの画像が重なりはじめ、その場所Ｐよりも基準面から離れると、その画像の重なりが増える。カメラ２１ａ，カメラ２１ｂの画像が重なるところで、ステレオ画像が取得できる。カメラ２１ｃとカメラ２１ａについても同様である。
【００４０】
３眼カメラの構成をとることにより、２セットのステレオカメラが形成されるので、この２セットのステレオカメラから得られる情報が相互に補完されて精度が向上する。さらに、１セットのステレオカメラで撮影したステレオ画像では取得困難な情報に関し、もう一方のステレオカメラで撮影した画像により補完されることにより、高密度な情報取得が可能になる。
【００４１】
図１を側面から見ると図１０のようになる。
カメラ間隔は、３次元の位置情報の精度を確保するための重要な値である。これを短くすると精度が劣化する。これに対し、装置全体の構成は小型化したい。そのため、支持部材２２の外形に対して、基材２０の各面２３の形状は小さくなっており、該支持部材２２を各面２３に取り付けると、対をなすカメラ２１ａ，２１ｂ間を結ぶ線分及びカメラ２１ａ，２１ｃ間を結ぶ線分が、隣接する支持部材２２における基準平面を貫通し、図１のように一見複雑に入り組んだ構成になる。仮に、図１の支持部材２２が交差しないように基材２０から離すと、図１１のようになり、装置全体の大きさが大型化する。支持部材２２を基材２０に取り付ける際には、該支持部材２２を面２３の位置に応じて回転させて取り付ける。基材２０が正４面体、正６面体、正８面体、正１２面体及び正２０面体の場合の支持部材２２の取り付け例を展開図で示すと、図１２〜図１６のようになる。図１２〜図１６のように支持部材２２を基材２０の各面に取付けると、各支持部材２２におけるカメラ２１ａ，２１ｂ，２１ｃ間を結ぶ直線で囲まれる閉図形が、隣接する支持部材２２における各カメラ間を結ぶ直線で囲まれる閉図形に干渉することになる。この状態では、各支持部材２２におけるステレオカメラのベースラインが、隣接する支持部材２２の切り欠き部を通る。
【００４２】
このような構成の全方向ステレオ画像撮影装置は、図１７のように例えばスタンド３０に固定され、図示しない電線類は基材２０の内部及びスタンド３０を通って外部に導出される。各支持部材２２の支持する３個のカメラ２１ａ，２１ｂ，２１ｃが、分割された３次元空間を担当して面２３の法線方向の画像をそれぞれ撮影する。即ち、３次元空間全体が同時に撮影される。これらの撮影結果から２つのステレオ画像が形成され、さらに、該ステレオ画像から３次元空間における位置情報が求められる。
【００４３】
次に、本実施形態の全方向ステレオ画像撮影装置の用途を説明する。
全方向に関する濃度画像ばかりでなく、３次元空間における位置情報が正確に取得でき、本装置を設置した場所の全方向の環境を観察できるので、例えば危険区域等の全体の環境を遠隔地から観察できる。管路等の人間の入れない場所に全方向ステレオ画像装置を侵入させることにより、例えば継ぎ目等の管路の側壁の状態も観測できる。さらに、カメラ２１及び支持部材２２を十分小さくすると、内視鏡としても使用できる。この場合、先端部を回転させなくても全周囲の状態をひずみなく観察できる。
【００４４】
また、利用者の上下を含む全周囲から、遠隔地の画像を提供して利用者にあたかも遠隔地にいるような臨場感を与えるシステムの画像入力側装置として使用できる。
【００４５】
以上のように、上記実施形態の全方向ステレオ画像撮影装置によれば、次のような特徴を得ることができる。
・ カメラ２１ａ，２１ｂ，２１ｃをそれぞれ基準平面上に支持する複数の支持部材２２を多面体の面２３に取り付けたので、装置を中心にして、３次元空間全体の画像を同時に取得することができ、リアルタイム性が確保できると共に、空間分解能が高い画像が取得できる。
【００４６】
・ 各支持部材２２が支持するカメラ２１ａ，２１ｂ，２１ｃによって、２組のステレオカメラが構成されるので、取得する３次元空間の位置情報の精度が向上する。さらに、カメラ２１ａで撮影する画像は、２つのステレオ画像を生成する際に、共有されるので、装置全体のカメラ数の増加を少なくできる。
【００４７】
・ カメラ間を結ぶ線分の一部あるは全部は、隣接する支持部材２２における基準平面を貫通する構成にしたので、精度を維持しつつ、装置全体を小型化できる。
【００４８】
・ カメラ２１ａ，２１ｂ，２１ｃは、直角二等辺三角形の頂点となるように配置したので、３次元の位置情報を取得する際の処理速度を速くできる。
・ 基材２０を正４面体、正６面体、正８面体、正１２面体或いは正２０面体で構成したので、３次元空間の分割が均等となり、複数の支持部材２２の形状や、それに支持されるカメラ２１ａ，２１ｂ，２１ｃの特性を揃えることが可能になり、低コスト化が可能になる。
【００４９】
なお、上記実施形態は以下のように変更してもよい。
○ 基材２０の形状は、正多面体に限定されず、さらに、支持部材２２の取り付け位置も用途によって変更可能である。例えば、基材２０を図１８（ａ）の多角柱として側面のみに支持部材２２を取り付けてもよい。同様に、図１８（ｂ）のように、基材２０を多角錘台を重ねたような形状にしてもよい。
【００５０】
○ 上記実施形態では、基材２０の多面体のすべての面２３に支持部材２２を取付けた例を説明しているが、ステレオ画像の取得の必要がない方向がある場合、それに対応する面２３には支持部材２２を取付けなくてもよい。
【００５１】
○ 支持部材２２が支持するカメラ２１ａ，２１ｂ，２１ｃの数は、変更可能である。例えば精度の問題がない場合には、２個にしてもよし、また、より精度を向上させたい場合には、例えば図１９のように５個にしてもよい。
【００５２】
○ カメラ２１ａ，２１ｂ，２１ｃは、可視光を撮影するものでなくてもよい。例えば赤外光や放射線等を撮影するものでもよい。
○ カメラ２１ａ，２１ｂ，２１ｃは、直角二等辺三角形の頂点となるように支持されているが、他の位置に支持してもよい。
【００５３】
○ 上記実施形態では、全方向の濃度画像及び３次元位置情報の取得が可能な全方向ステレオ画像撮影装置の技術を説明したが、この技術は、所望の複数の方向のみに関する濃度画像及び３次元位置情報の取得が可能なステレオ画像撮影装置にも適用可能である。例えば、図２０のように、ステレオカメラを構成する３個以上のカメラ２１をそれぞれ支持する複数の支持部材２２を、各支持部材２２に外接する平面で囲んだ凸型閉立体またはカメラ視野が、隣接する支持部材２２のカメラ２１が作る閉図形と干渉するように配置するようにすれば、各支持部材２２のカメラ２１が向く方向のステレオ画像の取得が可能になり、これらの方向の濃度画像及び３次元位置情報が隙間なく取得できる。図２０の装置を視点を変えて見ると、図２１のようになる。
【００５４】
【発明の効果】
以上、詳述したように、第１の発明によれば、複数のカメラを基準平面上に支持する複数の支持部材を多面体の面に取り付けたので、装置を中心にして、３次元空間全体を分割し、各方向を各支持部材で支持された複数のカメラが撮影することになり、全体が高い分解能で撮影できる。
【００５５】
また、各カメラは、同カメラが取付けられた支持部材と同一の支持部材に支持された他のカメラと対をなし、該支持部材の取り付けられた多面体の面が向く方向及びその近傍の方向に関して３次元情報の演算を可能にする画像を撮影するステレオカメラを形成し、各支持部材は、取り付けられた各面に平行な基準平面に複数のカメラを配置する構成としている。各支持部材は基準平面に複数のカメラを配置する構成とし、各カメラは、同一支持部材に支持された他のカメラとでステレオカメラをなし、多面体の面が向く方向の３次元画像を撮影するので、３次元空間の位置情報の取得が可能になる。
【００５６】
そして、同一の前記支持部材に支持された前記カメラ間を結ぶ線分の一部あるいは全部は、隣接する支持部材における基準平面を貫通するように配置されるとともに、隣接する前記支持部材に配置されたカメラの視野を遮らないように配置されているので、支持部材及び複数のカメラで構成されるユニットの外形が多面体の各面よりも大きくても、ユニットの各面への取付けが可能になる。その上、すべてのカメラの画像には、他のカメラが写らないので、視野をふさぐことがない。換言すれば、大きなユニットが小さな多面体に複数取付けられ、完全な全方向のステレオ画像を得ることが可能になる。
【００５７】
第２の発明によれば、全方向ステレオ画像撮影装置において、各支持部材は、３個以上のカメラをそれぞれ支持し、各支持部材におけるカメラ間を結ぶ直線で囲まれる閉図形は、隣接する支持部材における各カメラ間を結ぶ直線で囲まれる閉図形に干渉する構成にしている。そのため、第３の発明と同様に、支持部材及び複数のカメラで構成されるユニットの外形が多面体の各面よりも大きくても、各面に取り付け可能になる。
【００５８】
第３の発明によれば、各支持部材に、複数のカメラによって２以上のスレオカメラが形成されるようにしたので、取得される位置情報の精度が高まる。
第４の発明によれば、多面体は正多面体で構成したので、３次元空間の分割が均等となり、複数の支持部材の形状を揃えることが可能になると共に、各面間における画像統合処理も合理的に行えるようになる。
【００５９】
第５、６及び第７の発明によれば、全方向でない点を除けば、第１、２及び３の発明と同様の効果を奏する。
【図面の簡単な説明】
【図１】 本発明の実施形態を示す全方向ステレオ画像撮影装置の正面図。
【図２】 従来の第１の全方位ステレオ画像撮影装置を示す構成図。
【図３】 従来の第２の全方位ステレオ画像撮影装置を示す構成図。
【図４】 従来の第３の全方位ステレオ画像撮影装置を示す構成図。
【図５】 従来のステレオ３次元計測装置を示す構成図。
【図６】 図１中の基材２０を示す正面図。
【図７】 図１中の支持部材２２を示す斜視図。
【図８】 支持部材２２及びカメラ２１の設計の説明図。
【図９】 支持部材２２の視野範囲の説明図。
【図１０】 図１の側面図。
【図１１】 図１の分解図。
【図１２】 正四面体の展開図。
【図１３】 正６面体の展開図。
【図１４】 正８面体の展開図。
【図１５】 正１２面体の展開図。
【図１６】 正２０面体の展開図。
【図１７】 スタンドに取り付けた全方向ステレオ画像撮影装置を示す斜視図。
【図１８】 基材支持２０の他の例を示す斜視図。
【図１９】 カメラの位置の説明図。
【図２０】 応用例のステレオ画像撮影装置の構成図。
【図２１】 別角度から見た図２０の装置の斜視図。
【符号の説明】
２０…基材、２１，２１ａ〜２１ｃ…カメラ、２２…支持部材、３０…スタンド
【発明の属する技術分野】
本発明は、３次元空間の全方向の濃度画像を撮影する共に該３次元空間の位置情報を取得する全方向ステレオ画像撮影装置に関するものである。
【０００２】
【従来の技術】
複数人が参加するテレビ会議システム、移動ロボットの遠隔操作、防犯システム或いはロボットと人とのインタラクション等においては、広範囲の環境情報の取得が重要になる。例えば、遠隔地で行われる会議に仮想的に参加するときには、利用者の見たい方向の会議場の画像を、利用者の周囲に再現できれば利用者に臨場感を与えることができる。このような再現を行うには、実際の会議場の広範囲な濃度画像ばかりでなく、３次元の位置情報を環境情報として取得することが必要になってくる。
【０００３】
元々、広範囲な濃度画像を取得する装置には、大別すると、光学系を工夫したものと複数の画像を統合するものとがある。光学系を工夫した装置には、球面、円錐面、双曲面或いは放物面等の回転体ミラーと１個のカメラとを使用したものがあった。また魚眼レンズと１個のカメラとを使用するものもあった。一方、複数の画像を統合する装置には、カメラを回転させて間歇的に画像を取得し、これらの画像を統合するものと、複数個のカメラを円周上に配置し、該複数個のカメラで撮影した画像を統合するものとがあった。
【０００４】
濃度画像に加えて３次元の位置情報を取得する従来の装置は、上述の技術を利用しており、例えば次の文献１，２に記載されるものがあった。
文献１；特開平１１−９５３４４号公報
文献２；特開平１１−３２５８９５号公報
図２、図３及び図４は、前記文献１に記載された全方位ステレオ画像撮影装置の構成図である。
【０００５】
図２の全方位ステレオ画像撮影装置では、曲率の異なる双曲面ミラー１，２を、焦点Ｏが一致するように鉛直方向に配置し、その焦点Ｏにレンズ中心がくるようにカメラを配置し、双曲面ミラー１，２で反射した画像をカメラで撮影している。この装置では、各双曲面ミラー１，２で反射した３次元空間の任意の点Ｐの画像がＰ１，Ｐ２として投影面３上に並ぶので、その距離を推定することにより、点Ｐの３次元の位置情報を取得している。
【０００６】
図３の全方位ステレオ画像撮影装置では、上部多角錘ミラー４と下部多角錘ミラー５とを鉛直方向に配置すると共に、複数個のカメラ６を水平面の円周上に等間隔に配置している。このような構成の装置は、上部多角錘ミラー４の一面と下部多角錘ミラー５の一面とで反射した画像を各カメラ６で撮影し、該各カメラ６で撮影した画像に基づき３次元の位置情報を取得している。
【０００７】
図４の全方位ステレオ画像撮影装置では、同じ形状の多角錘ミラー７，８を鉛直方向に対称となるように配置し、多角錘ミラー７の各面を撮影する複数個のカメラ９を円周上に配置し、さらに、多角錘ミラー８の各面を撮影する複数個のカメラ１０を円周上に配置している。各カメラ９と各カメラ１０とはそれぞれ対をなし、複数のステレオカメラを形成している。このような構成の装置では、各ステレオカメラで撮影された１組の画像に基づき、水平方向を分割した領域の３次元の位置情報を取得している。
【０００８】
図５は、前記文献２に記載されたステレオ３次元計測装置である。この装置では、上下に移動可能な回転カメラ１１によって構成されている。カメラ１１は、上側の位置で回転して円周方向の画像を撮影し、さらに、下側の位置に移動して後に回転して円周方向の画像を撮影する。上側の位置で撮影した画像と下側の位置で撮影した画像はステレオ画像となる。このステレオ画像に基づき、３次元の位置情報が取得可能になる。
【０００９】
【発明が解決しようとする課題】
しかしながら、図２〜図４の全方位ステレオ画像撮影装置、及び図５のステレオ３次元計測装置には、次のような課題があった。
【００１０】
図２の全方位ステレオ画像撮影装置は、１個のカメラで広範囲の画像を撮影することになるので同時刻に全方位の画像が得られ、リアルタイム性を満足するが、空間分解能が低い上に、該画像におけるカメラの光軸近辺と他の部分とで解像度に差がでるという課題があった。また、名称が全方位ステレオ画像撮影装置となっているが、水平方向の全周囲の画像が得られのみであり、ステレオ画像が形成される範囲が狭いという課題もあった。
【００１１】
図３の全方位ステレオ画像撮影装置は、複数個のカメラ６で分割して広範囲の画像を撮影するので、図２の装置に比べて空間分解能は向上するが、１個のカメラでステレオ画像を形成するので空間分解能が低い。また、図２の装置と同様に、水平方向の全周囲の画像が得られのみであり、ステレオ画像が形成される範囲が狭いという課題もあった。図４の全方位ステレオ画像撮影装置は、リアルタイム性を満足すると共に、空間分解能も向上するが、図２及び図３の装置と同様に、ステレオ画像が形成される領域が狭いという課題があった。
【００１２】
図５のステレオ３次元計測装置は、図２〜図４の全方位ステレオ画像撮影装置と同様に、水平方向の全周囲の位置情報の取得が可能であっても、上方或は下方が盲点となって位置情報が得られないばかりか、カメラ１１を回転させて複数の画像を間歇的に撮影し、さらに、この間歇的な撮影を上側の位置と下側の位置の２回に分けて行うので、全周囲について１組の画像を取得するのに時間がかかり、リアルタイム性が欠けるという課題があった。
【００１３】
なお、魚眼レンズを利用して３次元空間の位置情報を取得する装置も考えられるが、魚眼レンズを用いるかぎり、空間分解能が低下することが予想されると共に、少なくとも対をなす装置の一方の画像には，他方の装置がお互いに写り、その装置のある位置の画像は得られないという問題があった。
なお、ステレオカメラで位置情報を取得する場合、カメラ間隔は、３次元の位置情報の精度を確保するための重要な値である。これを短くすると精度が劣化する。これに対し、装置全体の構成は小型化したいという問題があった。
【００１４】
本発明は、前記課題を解決し、リアルタイム性を満足し、装置全体は小型でありながら空間分解能が高く、かつ、３次元空間に関して位置情報の取得が可能なステレオ画像撮影装置を提供することを目的とする。併せて、３次元空間の全方向に関して位置情報の取得が可能な全方向ステレオ画像撮影装置を提供することを目的とする。
【００１５】
【課題を解決するための手段】
前記課題を解決するために、本願の請求項１〜７に記載の発明（以下、「第１〜第７の発明」という）のうちの第１の発明は、全方向ステレオ画像撮影装置において、複数のカメラを基準平面上にそれぞれ支持する複数の支持部材を、多面体のすべての面或いは一部を除くすべての面に着脱自在に取付けた全方向ステレオ画像撮影装置であって、前記各カメラは、同カメラが取付けられた支持部材と同一の支持部材に支持された他のカメラと対をなし、該支持部材の取り付けられた前記多面体の面が向く方向及びその近傍の方向に関して３次元情報の演算を可能にする画像を撮影するステレオカメラを形成し、前記各支持部材は、前記取り付けられた各面に平行な前記基準平面に前記複数のカメラを配置する構成とし、同一の前記支持部材に支持された前記カメラ間を結ぶ線分の一部あるいは全部は、隣接する支持部材における基準平面を貫通するように配置されるとともに、隣接する前記支持部材に配置されたカメラの視野を遮らないように配置されている。
【００１６】
このような構成を採用したことにより、例えば、支持部材を多面体のすべての面に取付けると、装置を中心にして、３次元空間全体を分割し、各方向を各支持部材で支持された複数のカメラがそれぞれ撮影することになる。
【００１８】
また、第１の発明ではこのような構成を採用したことにより、各支持部材に支持されたカメラがステレオカメラとなり、それぞれステレオ画像が撮影される。ステレオ画像から３次元情報が得られる。また、このような構成を採用したことにより、ステレオ対応点を求める際に問題となる対をなすカメラ間の位置関係及び姿勢関係等の校正が，支持部材及び複数のカメラで構成されるユニットごとに行うことが可能になり、全方向のステレオ画像は、校正された全方向を分割したすべての画像を合成することで得ることが可能となる。換言すれば、全方向のステレオ画像を隙間なく得るための校正が容易となる。
【００２０】
さらに、第１の発明ではこのような構成を採用したことにより、支持部材及び複数のカメラで構成されるユニットの外形が多面体の各面よりも大きくても、該ユニットの各面への取付けが可能になる。また、すべてのカメラの画像には、他のカメラが写らないので、視野をふさぐことがない。換言すれば、大きなユニットが小さな多面体に複数取付けられ、完全な全方向のステレオ画像を得ることが可能になる。
【００２１】
第２の発明では、第１の発明の全方向ステレオ画像撮影装置において、前記各支持部材は、３個以上の前記カメラをそれぞれ支持し、各支持部材における前記カメラ間を結ぶ直線で囲まれる閉図形は、隣接する支持部材における各カメラ間を結ぶ直線で囲まれる閉図形に干渉する構成にしている。
【００２２】
第２の発明によれば、以上のような構成にしたので、第１の発明と同様に、支持部材及び複数のカメラで構成されるユニットの外形が多面体の各面よりも大きくても、該各面に取り付け可能になる。
【００２３】
第３の発明では、第１または２の発明の全方向ステレオ画像撮影装置において、前記各支持部材には、前記複数のカメラによって２以上の前記ステレオカメラが形成されるようにしている。
【００２４】
このような構成を採用したことにより、多面体の各面が向く方向に関してステレオカメラを２セット以上持つことと同じになる。
第４の発明では、第１、２または３の発明の全方向ステレオ画像撮影装置において、前記多面体は、前記面が３次元空間を等分割する正多面体で構成している。
【００２５】
このような構成を採用することにより、各支持部材に支持された複数のカメラは、等分割された３次元空間を中心にしてそれぞれ撮影することになる。
第５の発明は、ステレオ画像撮影装置において、複数のカメラを基準平面上にそれぞれ支持する複数の支持部材を、多面体の一部の面に着脱自在に取付けたステレオ画像撮影装置であって、前記各カメラは、同カメラが取付けられた支持部材と同一の支持部材に支持された他のカメラと対をなし、該支持部材の取り付けられた前記多面体の面が向く方向及びその近傍の方向に関して３次元情報の演算を可能にする画像を撮影するステレオカメラを形成し、前記各支持部材は、前記取り付けられた各面に平行な前記基準平面に前記複数のカメラを配置する構成とし、同一の前記支持部材に支持された前記カメラ間を結ぶ線分の一部あるいは全部は、隣接する支持部材における基準平面を貫通するように配置されるとともに、隣接する前記支持部材に配置されたカメラの視野を遮らないように配置されている。
【００２６】
第６の発明では、請求項５記載のステレオ画像撮影装置において、前記各支持部材は、３個以上の前記カメラをそれぞれ支持し、各支持部材における前記カメラ間を結ぶ直線で囲まれる閉図形は、隣接する支持部材における各カメラ間を結ぶ直線で囲まれる閉図形に干渉する構成にした。
第７の発明では、請求項５または６記載のステレオ画像撮影装置において、前記各支持部材には、前記複数のカメラによって２以上の前記ステレオカメラが形成される。
【００２７】
第５、６及び第７の発明によれば、以上のような構成にしたことにより、全方向でない点で相異する他は、第１、２及び３の発明と同様な作用、効果を奏する。
【００２８】
【発明の実施の形態】
以下、本発明を具体化した全方向ステレオ画像撮影装置の実施形態を、図１及び図６〜図１７を参照しつつ説明する。
【００２９】
本実施形態の全方向ステレオ画像撮影装置は、形状が正多面体の基材２０に、それぞれ３個のＣＣＤカメラ２１を支持する複数の支持部材２２を取り付けたものである。
【００３０】
基材２０の形状の正多面体としては、例えば図６のように、３次元空間を２０等分に分割する正２０面体でもよいし、この他の正１２面体、正８面体、正６面体或いは正４面体でもよい。ちなみに、図１は、正２０面体の基材２０を用いたものである。
【００３１】
支持部材２２は、図７のように、例えばアルミニウムの板で形成され、基準平面上にカメラ２１のレンズ中心が直角二等辺三角形の頂点になるように、３個のカメラ２１を支持している。３個のカメラが直角二等辺三角形に配置されるが、支持部材２２の形状は三角形ではなく、切り欠き部が形成されて凹状である。支持部材２２は、基材２０の各面２３に着脱自在に取り付けられ、３個のカメラ２１と支持部材２２が１つのユニットとなって多面体の各面２３の法線方向を向くようになっている。今、直角二等辺三角形の角度が９０度の位置のカメラ２１を２１ａとし、４５度の位置のカメラ２１をそれぞれ２１ｂ，２１ｃとすると、カメラ２１ａ及びカメラ２１ｂで１セットのステレオカメラが形成され、これらにより、ステレオ画像が求められる。カメラ２１ａ及びカメラ２１ｃで１セットのステレオカメラが形成され、これらにより、ステレオ画像が求められる。つまり、垂直方向と水平方向の２つのステレオ画像が得られる。例えば、１つのステレオ画像だけでは、２個のカメラからの距離が定まる点の集合体の位置情報が得られるのみで、３次元空間の任意の点の座標の決定するには精度が欠ける。ところが、本実施形態では、支持部材２２ごとに２種類のステレオ画像が得られるので、正確な３次元の位置情報が得られる。さらに、各カメラ２１ａ，２１ｂ，２１ｃが直角二等辺三角形の頂点に位置するので、その計算速度も速くできるようになっている。
【００３２】
各面２３の外形よりも、支持部材２２の外形の方が大きく、カメラ２１の間隔が十分確保されている。各面２３の形状は、基材２０が正２０面体のときには正三角形である。基材２０が正４面体及び正８面体のときにも、各面２３の形状は正三角形になる。基材２０が正６面体のときには、各面２３の形状は正方形になる。基材２０が正１２面体のときには、各面２３の形状は正５角形になる。
【００３３】
次に、支持部材２２及びカメラ２１の設計について説明する。
まず、正多面体にカメラを配置した場合において全方向画像を撮影するのに必要な視野角について、各面２３の重心位置にピンホールカメラを配置したものとして考察する
図８のように、カメラ２１の中心（各面２３の重心）位置をＡ，Ｂとし、正多面体の重心位置をＣとし、２個のカメラ２１の光軸をＤ，Ｅとし、頂点から面２３の重心を通る直線の交点をＳとする。また、線分ＣＤと線分ＳＡ及び線分ＣＥと線分ＳＢとはそれぞれ垂直とすると、正２０面体は、２０個の正三角形で構成されるので、隣接する２つの面２３のなす角αは、次の式（１）から、
ｓｉｎ（α／２）＝２／（３1/2 ＋（１５）1/2 ）・・・（１）
α＝４１．８１０３（度）
となる。そのため、ＡＳＢの角度θは、１３８．１８９７度となる。正２０面体においては、各面２３が正三角形なので、線分ＳＡ，ＳＢの長さが等しく、視野限界の交点Ｐとレンズを結ぶ線分ＰＡ，ＰＢとが平行になるときは、線分ＰＡと線分ＡＢ及び線分ＰＢと線分ＡＢとが互いに垂直のときであり、このときの視野角δは４１．８１０３度になる。即ち、視野角δが４１．８１０３度以上のときに、全方向の画像が撮影可能になる。
【００３４】
正１２面体は、１２個の正五角形から構成され、隣接する２つの面２３の角度αは、次の式（２）から、
ｓｉｎ（α／２）＝２1/2 ／（５＋５1/2 ）1/2 ・・・（２）
α＝６３．４３４９（度）
となる。そのため、正２０面体の場合と同様に、全方向の画像を撮影するために正１２面体の場合には、視野角δが６３．４３４９度以上必要になる。
【００３５】
正８面体の場合には、８つの正三角形で構成されるので、隣接する２つの面２３のなす角αは、次の式（３）から、
ｓｉｎ（α／２）＝１／３1/2 ・・・（３）
α＝７０．５２８８（度）
となる。そのため、全方向の画像を撮影するのに必要な視野角δは７０．５２８８度以上になる。
【００３６】
正６面体の場合には、６個の正方形から構成されるので、隣接する２つの面２３のなす角αは、次の式（４）から、
ｓｉｎ（α／２）＝１ ／２1/2 ・・・（４）
α＝９０（度）
となる。そのため、全方向の画像を撮影するのに必要な視野角δは、９０度以上になる。
【００３７】
正４面体の場合には、４個の正三角形から構成されるので、隣接する２つの面２３のなす角αは、次の式（５）から、
ｓｉｎ（α／２）＝２ ／６1/2 ・・・（５）
α＝１０９．４７１２（度）
となる。そのため、全方向の画像を撮影するのに必要な視野角δは、１０９．４７１２度以上になる。
【００３８】
ここで、基材２０の各面２３における３眼ステレオカメラで捉えるステレオ画像について、各カメラ２１ａ，２１ｂ，２１ｃをピンホールカメラとして説明する。
【００３９】
例えば、図９のように、カメラ２１ａとカメラ２１ｂとを結ぶ線分ＬＲと、各カメラ２１ａ，カメラ２１ｂの光軸ＣＬ，ＣＲは、垂直である。また、この光軸ＣＬ，ＣＲは、各カメラ２１ａ，カメラ２１ｂの視野角θ１，θ２の垂直２等分線である。各カメラ２１ａ，カメラ２１ｂの視野限界の交わる場所Ｐからカメラ２１ａ，カメラ２１ｂの画像が重なりはじめ、その場所Ｐよりも基準面から離れると、その画像の重なりが増える。カメラ２１ａ，カメラ２１ｂの画像が重なるところで、ステレオ画像が取得できる。カメラ２１ｃとカメラ２１ａについても同様である。
【００４０】
３眼カメラの構成をとることにより、２セットのステレオカメラが形成されるので、この２セットのステレオカメラから得られる情報が相互に補完されて精度が向上する。さらに、１セットのステレオカメラで撮影したステレオ画像では取得困難な情報に関し、もう一方のステレオカメラで撮影した画像により補完されることにより、高密度な情報取得が可能になる。
【００４１】
図１を側面から見ると図１０のようになる。
カメラ間隔は、３次元の位置情報の精度を確保するための重要な値である。これを短くすると精度が劣化する。これに対し、装置全体の構成は小型化したい。そのため、支持部材２２の外形に対して、基材２０の各面２３の形状は小さくなっており、該支持部材２２を各面２３に取り付けると、対をなすカメラ２１ａ，２１ｂ間を結ぶ線分及びカメラ２１ａ，２１ｃ間を結ぶ線分が、隣接する支持部材２２における基準平面を貫通し、図１のように一見複雑に入り組んだ構成になる。仮に、図１の支持部材２２が交差しないように基材２０から離すと、図１１のようになり、装置全体の大きさが大型化する。支持部材２２を基材２０に取り付ける際には、該支持部材２２を面２３の位置に応じて回転させて取り付ける。基材２０が正４面体、正６面体、正８面体、正１２面体及び正２０面体の場合の支持部材２２の取り付け例を展開図で示すと、図１２〜図１６のようになる。図１２〜図１６のように支持部材２２を基材２０の各面に取付けると、各支持部材２２におけるカメラ２１ａ，２１ｂ，２１ｃ間を結ぶ直線で囲まれる閉図形が、隣接する支持部材２２における各カメラ間を結ぶ直線で囲まれる閉図形に干渉することになる。この状態では、各支持部材２２におけるステレオカメラのベースラインが、隣接する支持部材２２の切り欠き部を通る。
【００４２】
このような構成の全方向ステレオ画像撮影装置は、図１７のように例えばスタンド３０に固定され、図示しない電線類は基材２０の内部及びスタンド３０を通って外部に導出される。各支持部材２２の支持する３個のカメラ２１ａ，２１ｂ，２１ｃが、分割された３次元空間を担当して面２３の法線方向の画像をそれぞれ撮影する。即ち、３次元空間全体が同時に撮影される。これらの撮影結果から２つのステレオ画像が形成され、さらに、該ステレオ画像から３次元空間における位置情報が求められる。
【００４３】
次に、本実施形態の全方向ステレオ画像撮影装置の用途を説明する。
全方向に関する濃度画像ばかりでなく、３次元空間における位置情報が正確に取得でき、本装置を設置した場所の全方向の環境を観察できるので、例えば危険区域等の全体の環境を遠隔地から観察できる。管路等の人間の入れない場所に全方向ステレオ画像装置を侵入させることにより、例えば継ぎ目等の管路の側壁の状態も観測できる。さらに、カメラ２１及び支持部材２２を十分小さくすると、内視鏡としても使用できる。この場合、先端部を回転させなくても全周囲の状態をひずみなく観察できる。
【００４４】
また、利用者の上下を含む全周囲から、遠隔地の画像を提供して利用者にあたかも遠隔地にいるような臨場感を与えるシステムの画像入力側装置として使用できる。
【００４５】
以上のように、上記実施形態の全方向ステレオ画像撮影装置によれば、次のような特徴を得ることができる。
・ カメラ２１ａ，２１ｂ，２１ｃをそれぞれ基準平面上に支持する複数の支持部材２２を多面体の面２３に取り付けたので、装置を中心にして、３次元空間全体の画像を同時に取得することができ、リアルタイム性が確保できると共に、空間分解能が高い画像が取得できる。
【００４６】
・ 各支持部材２２が支持するカメラ２１ａ，２１ｂ，２１ｃによって、２組のステレオカメラが構成されるので、取得する３次元空間の位置情報の精度が向上する。さらに、カメラ２１ａで撮影する画像は、２つのステレオ画像を生成する際に、共有されるので、装置全体のカメラ数の増加を少なくできる。
【００４７】
・ カメラ間を結ぶ線分の一部あるは全部は、隣接する支持部材２２における基準平面を貫通する構成にしたので、精度を維持しつつ、装置全体を小型化できる。
【００４８】
・ カメラ２１ａ，２１ｂ，２１ｃは、直角二等辺三角形の頂点となるように配置したので、３次元の位置情報を取得する際の処理速度を速くできる。
・ 基材２０を正４面体、正６面体、正８面体、正１２面体或いは正２０面体で構成したので、３次元空間の分割が均等となり、複数の支持部材２２の形状や、それに支持されるカメラ２１ａ，２１ｂ，２１ｃの特性を揃えることが可能になり、低コスト化が可能になる。
【００４９】
なお、上記実施形態は以下のように変更してもよい。
○ 基材２０の形状は、正多面体に限定されず、さらに、支持部材２２の取り付け位置も用途によって変更可能である。例えば、基材２０を図１８（ａ）の多角柱として側面のみに支持部材２２を取り付けてもよい。同様に、図１８（ｂ）のように、基材２０を多角錘台を重ねたような形状にしてもよい。
【００５０】
○ 上記実施形態では、基材２０の多面体のすべての面２３に支持部材２２を取付けた例を説明しているが、ステレオ画像の取得の必要がない方向がある場合、それに対応する面２３には支持部材２２を取付けなくてもよい。
【００５１】
○ 支持部材２２が支持するカメラ２１ａ，２１ｂ，２１ｃの数は、変更可能である。例えば精度の問題がない場合には、２個にしてもよし、また、より精度を向上させたい場合には、例えば図１９のように５個にしてもよい。
【００５２】
○ カメラ２１ａ，２１ｂ，２１ｃは、可視光を撮影するものでなくてもよい。例えば赤外光や放射線等を撮影するものでもよい。
○ カメラ２１ａ，２１ｂ，２１ｃは、直角二等辺三角形の頂点となるように支持されているが、他の位置に支持してもよい。
【００５３】
○ 上記実施形態では、全方向の濃度画像及び３次元位置情報の取得が可能な全方向ステレオ画像撮影装置の技術を説明したが、この技術は、所望の複数の方向のみに関する濃度画像及び３次元位置情報の取得が可能なステレオ画像撮影装置にも適用可能である。例えば、図２０のように、ステレオカメラを構成する３個以上のカメラ２１をそれぞれ支持する複数の支持部材２２を、各支持部材２２に外接する平面で囲んだ凸型閉立体またはカメラ視野が、隣接する支持部材２２のカメラ２１が作る閉図形と干渉するように配置するようにすれば、各支持部材２２のカメラ２１が向く方向のステレオ画像の取得が可能になり、これらの方向の濃度画像及び３次元位置情報が隙間なく取得できる。図２０の装置を視点を変えて見ると、図２１のようになる。
【００５４】
【発明の効果】
以上、詳述したように、第１の発明によれば、複数のカメラを基準平面上に支持する複数の支持部材を多面体の面に取り付けたので、装置を中心にして、３次元空間全体を分割し、各方向を各支持部材で支持された複数のカメラが撮影することになり、全体が高い分解能で撮影できる。
【００５５】
また、各カメラは、同カメラが取付けられた支持部材と同一の支持部材に支持された他のカメラと対をなし、該支持部材の取り付けられた多面体の面が向く方向及びその近傍の方向に関して３次元情報の演算を可能にする画像を撮影するステレオカメラを形成し、各支持部材は、取り付けられた各面に平行な基準平面に複数のカメラを配置する構成としている。各支持部材は基準平面に複数のカメラを配置する構成とし、各カメラは、同一支持部材に支持された他のカメラとでステレオカメラをなし、多面体の面が向く方向の３次元画像を撮影するので、３次元空間の位置情報の取得が可能になる。
【００５６】
そして、同一の前記支持部材に支持された前記カメラ間を結ぶ線分の一部あるいは全部は、隣接する支持部材における基準平面を貫通するように配置されるとともに、隣接する前記支持部材に配置されたカメラの視野を遮らないように配置されているので、支持部材及び複数のカメラで構成されるユニットの外形が多面体の各面よりも大きくても、ユニットの各面への取付けが可能になる。その上、すべてのカメラの画像には、他のカメラが写らないので、視野をふさぐことがない。換言すれば、大きなユニットが小さな多面体に複数取付けられ、完全な全方向のステレオ画像を得ることが可能になる。
【００５７】
第２の発明によれば、全方向ステレオ画像撮影装置において、各支持部材は、３個以上のカメラをそれぞれ支持し、各支持部材におけるカメラ間を結ぶ直線で囲まれる閉図形は、隣接する支持部材における各カメラ間を結ぶ直線で囲まれる閉図形に干渉する構成にしている。そのため、第３の発明と同様に、支持部材及び複数のカメラで構成されるユニットの外形が多面体の各面よりも大きくても、各面に取り付け可能になる。
【００５８】
第３の発明によれば、各支持部材に、複数のカメラによって２以上のスレオカメラが形成されるようにしたので、取得される位置情報の精度が高まる。
第４の発明によれば、多面体は正多面体で構成したので、３次元空間の分割が均等となり、複数の支持部材の形状を揃えることが可能になると共に、各面間における画像統合処理も合理的に行えるようになる。
【００５９】
第５、６及び第７の発明によれば、全方向でない点を除けば、第１、２及び３の発明と同様の効果を奏する。
【図面の簡単な説明】
【図１】 本発明の実施形態を示す全方向ステレオ画像撮影装置の正面図。
【図２】 従来の第１の全方位ステレオ画像撮影装置を示す構成図。
【図３】 従来の第２の全方位ステレオ画像撮影装置を示す構成図。
【図４】 従来の第３の全方位ステレオ画像撮影装置を示す構成図。
【図５】 従来のステレオ３次元計測装置を示す構成図。
【図６】 図１中の基材２０を示す正面図。
【図７】 図１中の支持部材２２を示す斜視図。
【図８】 支持部材２２及びカメラ２１の設計の説明図。
【図９】 支持部材２２の視野範囲の説明図。
【図１０】 図１の側面図。
【図１１】 図１の分解図。
【図１２】 正四面体の展開図。
【図１３】 正６面体の展開図。
【図１４】 正８面体の展開図。
【図１５】 正１２面体の展開図。
【図１６】 正２０面体の展開図。
【図１７】 スタンドに取り付けた全方向ステレオ画像撮影装置を示す斜視図。
【図１８】 基材支持２０の他の例を示す斜視図。
【図１９】 カメラの位置の説明図。
【図２０】 応用例のステレオ画像撮影装置の構成図。
【図２１】 別角度から見た図２０の装置の斜視図。
【符号の説明】
２０…基材、２１，２１ａ〜２１ｃ…カメラ、２２…支持部材、３０…スタンド
Claims (7)
- 複数のカメラを基準平面上にそれぞれ支持する複数の支持部材を、多面体のすべての面或いは一部を除くすべての面に着脱自在に取付けた全方向ステレオ画像撮影装置であって、
前記各カメラは、同カメラが取付けられた支持部材と同一の支持部材に支持された他のカメラと対をなし、該支持部材の取り付けられた前記多面体の面が向く方向及びその近傍の方向に関して３次元情報の演算を可能にする画像を撮影するステレオカメラを形成し、
前記各支持部材は、前記取り付けられた各面に平行な前記基準平面に前記複数のカメラを配置する構成とし、
同一の前記支持部材に支持された前記カメラ間を結ぶ線分の一部あるいは全部は、隣接する支持部材における基準平面を貫通するように配置されるとともに、隣接する前記支持部材に配置されたカメラの視野を遮らないように配置されていることを特徴とする全方向ステレオ画像撮影装置。 - 前記各支持部材は、３個以上の前記カメラをそれぞれ支持し、
各支持部材における前記カメラ間を結ぶ直線で囲まれる閉図形は、
隣接する支持部材における各カメラ間を結ぶ直線で囲まれる閉図形に干渉する構成にしたことを特徴とする請求項１記載の全方向ステレオ画像撮影装置。 - 前記各支持部材には、前記複数のカメラによって２以上の前記ステレオカメラが形成されることを特徴とする請求項１または２記載の全方向ステレオ画像撮影装置。
- 前記多面体は、前記各面が３次元空間を等分割する正多面体で構成したことを特徴とする請求項１、２または３記載の全方向ステレオ画像撮影装置。
- 複数のカメラを基準平面上にそれぞれ支持する複数の支持部材を、多面体の一部の面に着脱自在に取付けたステレオ画像撮影装置であって、
前記各カメラは、同カメラが取付けられた支持部材と同一の支持部材に支持された他のカメラと対をなし、該支持部材の取り付けられた前記多面体の面が向く方向及びその近傍の方向に関して３次元情報の演算を可能にする画像を撮影するステレオカメラを形成し、
前記各支持部材は、前記取り付けられた各面に平行な前記基準平面に前記複数のカメラを配置する構成とし、
同一の前記支持部材に支持された前記カメラ間を結ぶ線分の一部あるいは全部は、隣接する支持部材における基準平面を貫通するように配置されるとともに、隣接する前記支持部材に配置されたカメラの視野を遮らないように配置されていることを特徴とするステレオ画像撮影装置。 - 前記各支持部材は、３個以上の前記カメラをそれぞれ支持し、
各支持部材における前記カメラ間を結ぶ直線で囲まれる閉図形は、
隣接する支持部材における各カメラ間を結ぶ直線で囲まれる閉図形に干渉する構成にしたことを特徴とする請求項５記載のステレオ画像撮影装置。 - 前記各支持部材には、前記複数のカメラによって２以上の前記ステレオカメラが形成される
ことを特徴とする請求項５または６記載のステレオ画像撮影装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000098812A JP3827912B2 (ja) | 2000-03-31 | 2000-03-31 | 全方向ステレオ画像撮影装置及びステレオ画像撮影装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000098812A JP3827912B2 (ja) | 2000-03-31 | 2000-03-31 | 全方向ステレオ画像撮影装置及びステレオ画像撮影装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001285692A JP2001285692A (ja) | 2001-10-12 |
| JP3827912B2 true JP3827912B2 (ja) | 2006-09-27 |
Family
ID=18613254
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000098812A Expired - Lifetime JP3827912B2 (ja) | 2000-03-31 | 2000-03-31 | 全方向ステレオ画像撮影装置及びステレオ画像撮影装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3827912B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012056437A1 (en) | 2010-10-29 | 2012-05-03 | École Polytechnique Fédérale De Lausanne (Epfl) | Omnidirectional sensor array system |
| WO2019176690A2 (en) | 2018-03-16 | 2019-09-19 | Ricoh Company, Ltd. | Imaging device, image processing apparatus, and image processing method |
| US10872432B2 (en) | 2018-01-05 | 2020-12-22 | Panasonic Intellectual Property Management Co., Ltd. | Disparity estimation device, disparity estimation method, and program |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002069623A1 (fr) * | 2001-02-28 | 2002-09-06 | Sony Corporation | Dispositif d'entree d'images |
| WO2003017646A1 (fr) | 2001-08-17 | 2003-02-27 | Sony Corporation | Dispositif d'imagerie |
| JP2003141527A (ja) * | 2001-11-07 | 2003-05-16 | Japan Science & Technology Corp | 多視点画像処理システムのキャリブレーション装置及びキャリブレーション方法 |
| JP2003287828A (ja) * | 2002-03-27 | 2003-10-10 | Sony Corp | 撮像装置 |
| CA2766111C (en) * | 2009-06-30 | 2021-11-16 | Saab Ab | A method and an arrangement for estimating 3d models in a street environment |
| US20120056987A1 (en) * | 2010-09-03 | 2012-03-08 | Luke Fedoroff | 3d camera system and method |
| EP3654286B1 (en) | 2013-12-13 | 2024-01-17 | Panasonic Intellectual Property Management Co., Ltd. | Image capturing apparatus, monitoring system, image processing apparatus, image capturing method, and non-transitory computer readable recording medium |
| CN106796390A (zh) * | 2014-10-07 | 2017-05-31 | 诺基亚技术有限公司 | 用于立体成像的具有大视场的相机设备 |
| CN107211085B (zh) * | 2015-02-20 | 2020-06-05 | 索尼公司 | 摄像装置和摄像方法 |
| JP2019035584A (ja) * | 2015-12-01 | 2019-03-07 | 株式会社ソニー・インタラクティブエンタテインメント | 距離計測デバイス |
| DE102016113000A1 (de) * | 2016-07-14 | 2018-01-18 | Aesculap Ag | Endoskopische Vorrichtung und Verfahren zur endoskopischen Untersuchung |
| CN107809610B (zh) | 2016-09-08 | 2021-06-11 | 松下知识产权经营株式会社 | 摄像头参数集算出装置、摄像头参数集算出方法以及记录介质 |
| KR20180066655A (ko) * | 2016-12-09 | 2018-06-19 | 정한별 | Vr 촬영용 카메라 고정장치 |
| US10893212B2 (en) | 2017-01-26 | 2021-01-12 | Sony Corporation | Spherically-arranged imaging array having pairs of cameras with overlapping fields of view |
| JP7038345B2 (ja) | 2017-04-20 | 2022-03-18 | パナソニックＩｐマネジメント株式会社 | カメラパラメタセット算出方法、カメラパラメタセット算出プログラム及びカメラパラメタセット算出装置 |
| JP7016058B2 (ja) | 2017-04-28 | 2022-02-04 | パナソニックＩｐマネジメント株式会社 | カメラパラメタセット算出方法、カメラパラメタセット算出プログラム及びカメラパラメタセット算出装置 |
| JP7054803B2 (ja) | 2017-07-21 | 2022-04-15 | パナソニックＩｐマネジメント株式会社 | カメラパラメタセット算出装置、カメラパラメタセット算出方法及びプログラム |
| JP7408053B2 (ja) * | 2019-12-02 | 2024-01-05 | 株式会社ニコン | 全天球カメラ |
| CN117978982B (zh) * | 2024-04-01 | 2024-07-05 | 深圳市世邦环境科技有限公司 | 一种垃圾填埋场内的监控系统及监控方法 |
-
2000
- 2000-03-31 JP JP2000098812A patent/JP3827912B2/ja not_active Expired - Lifetime
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012056437A1 (en) | 2010-10-29 | 2012-05-03 | École Polytechnique Fédérale De Lausanne (Epfl) | Omnidirectional sensor array system |
| US10362225B2 (en) | 2010-10-29 | 2019-07-23 | Ecole Polytechnique Federale De Lausanne (Epfl) | Omnidirectional sensor array system |
| US10872432B2 (en) | 2018-01-05 | 2020-12-22 | Panasonic Intellectual Property Management Co., Ltd. | Disparity estimation device, disparity estimation method, and program |
| WO2019176690A2 (en) | 2018-03-16 | 2019-09-19 | Ricoh Company, Ltd. | Imaging device, image processing apparatus, and image processing method |
| KR20200124271A (ko) | 2018-03-16 | 2020-11-02 | 가부시키가이샤 리코 | 촬상 장치, 화상 처리 장치 및 화상 처리 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001285692A (ja) | 2001-10-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3827912B2 (ja) | 全方向ステレオ画像撮影装置及びステレオ画像撮影装置 | |
| Nayar | Omnidirectional video camera | |
| CN101271187B (zh) | 无死角的双目立体全方位视觉传感装置 | |
| US9671221B2 (en) | Portable device for optically measuring three-dimensional coordinates | |
| US6744569B2 (en) | Method and apparatus for omnidirectional three dimensional imaging | |
| US7176960B1 (en) | System and methods for generating spherical mosaic images | |
| KR100599423B1 (ko) | 전방향성 이미징 장치 | |
| US6304285B1 (en) | Method and apparatus for omnidirectional imaging | |
| JP5486113B2 (ja) | パノラマ投影デバイスによって実施される投影方法 | |
| JP4825971B2 (ja) | 距離算出装置、距離算出方法、構造解析装置及び構造解析方法。 | |
| Baker et al. | Single viewpoint catadioptric cameras | |
| WO2018137721A1 (zh) | 一种获取全景图像的装置及其组装方法 | |
| JP2006352851A (ja) | 複合カメラによりシーンの画像を取得する方法及び装置 | |
| JP2022116089A (ja) | 撮像システム、方法及び用途 | |
| Krishnan et al. | Towards a true spherical camera | |
| JP2010276433A (ja) | 撮像装置、画像処理装置及び距離計測装置 | |
| JP3635539B2 (ja) | キャリブレーションパターンユニット | |
| JP4631048B2 (ja) | 撮像装置及び撮像系パラメータの校正方法 | |
| JP2019525509A (ja) | 水平視差ステレオパノラマ取込方法 | |
| JP2005283616A (ja) | 撮像装置 | |
| JPH1195344A (ja) | 全方位ステレオ画像撮影装置 | |
| CN109565539A (zh) | 拍摄装置以及拍摄方法 | |
| RU2420774C2 (ru) | Способ для определения местонахождения объекта в окружающем пространстве и панорамная аппаратура для реализации способа | |
| JP4211319B2 (ja) | 撮像装置 | |
| JP5424388B2 (ja) | 撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20031031 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040115 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20040129 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060303 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060314 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060512 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060606 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060705 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3827912 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120714 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120714 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130714 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150714 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |