JP4554954B2

JP4554954B2 - 全方位撮像システム

Info

Publication number: JP4554954B2
Application number: JP2004043320A
Authority: JP
Inventors: 康史八木; 富夫越後
Original assignee: 康史八木
Priority date: 2004-02-19
Filing date: 2004-02-19
Publication date: 2010-09-29
Anticipated expiration: 2024-02-19
Also published as: JP2005234224A

Description

本発明は、全方位撮像システムに関し、特に、低コストで画像と距離情報とを同時に獲得することが可能な全方位撮像システムに関する。

従来、人の周辺環境を監視したり、犯罪を防止したりするために携帯可能な監視カメラや、定点監視カメラなどの研究開発が進められている。
このような人の周辺環境を監視する監視カメラの役割は、人が気付かない視野に現れた対象物の発見および記録にある。人は、前方視野は自身の視覚によって注意しているが、無意識下では、側方および後方視野の情報を獲得していない。このため、人の視覚外から急に現れる悪意を持った犯罪者、または悪意はなくても不注意で衝突する加害者に対し、事前に衝突を検知し、回避または対処することで、事故または事件を未然に防止することができる。

このような側方および後方を含む広角視野情報の獲得のために全方位カメラが開発されており、側方視野を意識した反射光学系に関する研究が、ロボティクスの分野で活発に研究されている。全方位カメラの特徴として周囲３６０度の側方画像を、一度の撮影で獲得できる点にある。
このように、全方位を観測できる利点を生かし、全方位カメラを遠隔テレビ会議に利用したり（例えば、非特許文献１参照。）、全方位カメラを定点監視カメラとして用い、広範囲の監視や、移動物体の追跡またはイベント抽出などに利用したりする試みがある（例えば、非特許文献２参照。）。

また、ロボティクスの応用として提案された様々な技術の一つとして、全方位カメラを用いて、全方位の奥行き情報を観測する手法がある。この手法では曲面を有する２つのミラーをカメラの光軸上に重ね合わせている。これにより、１台のカメラで得られた入力画像から、全方位の奥行き距離を実時間で計測することができる（例えば、非特許文献３参照。）。対象物の奥行き距離はステレオ法の対応関係から求められるが、対象物の偽対応など対応関係を求めるには困難な問題がある。このような対応づけを簡便にするために、投票（ボーティング）と呼ばれる手法が存在する。さらに移動カメラで捉えた複数枚の画像を時空間に並べ、その軌跡をＥＰＩ（Epipolar Plane Image）と称する平面で切断し軌跡から距離情報を得る手法が存在する。
Nishihara, T., Yabe, H., and Oka, R., "Indexing of Human Motion at Meeting Room by Analyzing Time-varying Images of Omni-directional Camera," Proc. 4th ACCV, vol. I, pp. 1-4, 2000. Onoe, Y., Yokoya, Y., Yamazawa, K., and Takemura, H., "Visual Surveillance and Monitoring System Using an Omnidirectional Video Camera," Proc. 14th ICPR, vol. I, pp. 588-592, 1998. Southwell, D., Reyda, J., Fiale, M., and Basu, A., "Panoramic Stereo," Proc. ICPR, 1996.

上述のように、全周囲を観測するには全方位カメラが有効である。しかしながら、画像と距離情報（奥行き情報）とを同時に獲得するには、複数の全方位カメラが必要になり、コスト的に問題がある。
また、距離情報を得るために、複数の全方位画像より得られるステレオ画像間で、対象物の対応付けを行わなければならないが、処理が複雑であるという問題がある。

さらに、その様子を記録した映像は、事故または事件の状況証拠となるが、周囲を全て撮影した映像を常時記録するにはコスト面で問題がある。このため、カメラに近づく対象物を検知し、対象物が写る画像だけを切り出して記録する要求がある。

また、従来の全方位カメラの遠隔テレビ会議や定点監視への応用では、遠隔地のユーザが、会議の様子を知りたい場所や、監視場所等の切り出す場所をインタラクティブに指定する必要がある。その後、指定された場所の透視投影映像（通常のカメラで見た映像）がユーザに提示されている。しかし、人の周辺環境への監視への適用を考えた場合には、対象物がどの方向から出現するかが分からず、切り出し場所をインタラクティブには指定することができない。このため、実時間で透視投影映像を生成することができない。

また、非特許文献３のように曲面を有する２つのミラーをカメラの光軸上に重ね合わせた全方位カメラは存在する。しかし、２つの視点から観測された画像より三角測量の原理を用いてステレオ視した場合には、偽の対応が起こるという問題点が知られている（例えば、M.Yachida, Y.Kitamura, M.Kimachi, "Trinocular vision: New approach for correspondence problem," Proc. 8th Int'l Conf. Pattern Recognition, pp.1041-1044, 1986）。

本発明は、上述の課題を解決するためになされたもので、低コストで画像と距離情報とを獲得することが可能な全方位撮像システムを提供することを目的とする。
また、簡便な処理でステレオ画像間の対象物の対応付けを行なうことができる全方位撮像システムを提供することも目的とする。
さらに、低コストで対象物の画像を記録することができる全方位撮像システムを提供することも目的とする。

さらにまた、実時間で逆透視投影映像を生成することが可能な全方位撮像システムを提供することも目的とする。
さらにまた、対象物の偽対応を起こすことなく、正確な対象物の三次元位置を特定することができる全方位撮像システムを提供することも目的とする。

上記目的を達成するために、本発明に係る全方位撮像システムは、各々周囲３６０度の光を反射可能な形状を有する３つ以上のミラーと、前記３つ以上のミラーで反射される光を撮像する１つのカメラと、前記３つ以上のミラーから、２つのミラーの組み合わせを抽出するミラー組み合わせ抽出手段と、前記ミラー組み合わせ抽出手段で抽出されたミラーの組み合わせの各々について、前記カメラで撮像された画像中より得られる当該組み合わせに含まれる２つのミラーでの反射映像と前記２つのミラーの基線長とに基づいて、対象物までの距離を算出する距離算出手段とを備えている。
１台のカメラで３つ以上のミラーで反射される光を撮像している。３つ以上のミラーで反射された画像間で対応付けを行なうことにより距離情報を得ることができる。このため、低コストで画像と距離情報とを獲得することが可能な全方位撮像システムを提供することができる。

３つ以上のミラーから得られる画像に基づいて、対象物までの距離を算出している。このため、対象物の偽対応を起こすことなく、正確な対象物の三次元位置を特定することができる全方位撮像システムを提供することができる。
さらに好ましくは、上述の全方位撮像システムは、さらに、前記対象物までの距離に基づいて、前記対象物が前記カメラを中心とする所定の半径を有する仮想球面内に侵入したか否かを判定する判定手段と、前記対象物が前記仮想球面内に侵入した場合に、警告を発する警告発生手段とを備える。

この構成によると、仮想球面内に侵入した対象物に対して警告を発し、注意を促すことが可能になる。このため、事故や事件等を未然に防止することができる。

また、全方位撮像システムは、各々周囲３６０度の光を反射可能な形状を有する３つ以上のミラーと、前記３つ以上のミラーで反射される光を撮像する１つのカメラと、前記カメラで撮像された画像に含まれる前記３つ以上のミラーでの反射画像の各々に基づいて、前記カメラから対象物への視線方向を求める視線方向取得手段と、前記カメラを中心とし、所定の大きさのボクセルで区切られた仮想的な球を生成する仮想球生成手段と、前記視線方向取得手段で求められた視線と交差するボクセルに投票をする投票手段と、投票結果に基づいて、所定のしきい値以上の投票が行なわれたボクセルに基づいて、対象物の三次元位置を特定する三次元位置特定手段とを備えていてもよい。

投票の対象となるボクセルの位置を仮想的な球内に限定し、カメラからの視線と交差するボクセルの投票を行なうことに、投票の多いボクセルの位置を対象物の存在位置としている。このため、簡便な処理でステレオ画像間の対象物の対応付けを行なうことができる全方位撮像システムを提供することができる。

一般的に、投票を行なう際には、対象物の周辺に複数の視点を設け、当該視点から対象物に対する視線方向への投票を行なっている。これは、カメラを中心に設置し、全周囲の方向へ投票すると投票対象位置が無限に広がってしまうからである。よって、何らかの方法でボーティングする空間を狭めなければならない。

この構成では、投票の対象空間を仮想的な球内に制限している。このため、カメラを中心に配置した投票を可能にしている。

また、全方位撮像システムは、各々周囲３６０度の光を反射可能な形状を有する３つ以上のミラーと、前記３つ以上のミラーで反射される光を撮像する１つのカメラと、前記カメラで撮像された画像に含まれる前記３つ以上のミラーでの反射画像の各々に基づいて、前記カメラから対象物への視線方向を求める視線方向取得手段と、前記カメラの周辺に所定の大きさのセルで区切られた仮想的な球表面を生成する仮想球表面生成手段と、前記視線方向取得手段で求められた視線と交差するセルに投票をする投票手段と、投票結果に基づいて、所定のしきい値以上の投票が行なわれたセルに基づいて、対象物の三次元位置を特定する三次元位置特定手段とを備えていてもよい。

投票位置を仮想的な球表面のセルに限定している。このため、ボクセルに投票をする場合に比べ、投票箇所が少ない。このため、さらに簡便な処理でステレオ画像間の対象物の対応付けを行なうことができる全方位撮像システムを提供することができる。

さらに好ましくは、上述の全方位撮像システムは、さらに、前記対象物の三次元位置に基づいて、前記対象物が前記カメラを中心とする所定の半径を有する仮想球面内に侵入したか否かを判定する判定手段と、前記対象物が前記仮想球面内に侵入した場合に、前記カメラで撮像された画像に基づいて、前記対象物を通常のカメラから見た画像へ透視投影変換し、透視投影変換後の画像をユーザに提示する透視投影変換手段とを備える。

投票という簡便な方法により対象物の三次元位置が求められている。このため、カメラから対象物への視線方向も即座に求めることができる。よって、実時間で逆透視投影映像（通常のカメラから見た映像）を生成することが可能な全方位撮像システムを提供することができる。

さらに好ましくは、上述の全方位撮像システムは、さらに、前記透視投影変換後の画像を記録する記録手段を備える。

逆透視投影映像のみを記録することができるため、カメラで撮像された生の画像を記録する場合に比べ、低コストで対象物の画像を記録することができる全方位撮像システムを提供することができる。

また、全方位撮像システムは、各々周囲３６０度の光を反射可能な形状を有する３つ以上のミラーと、前記３つ以上のミラーで反射される光を撮像する１つのカメラと、前記カメラで撮像された画像に含まれる前記３つ以上のミラーでの反射画像を一列に並べ立体画像を生成する立体画像生成手段と、前記立体画像中より曲線を抽出する曲線抽出手段と、前記曲線抽出手段での抽出結果に基づいて、前記カメラから所定の距離内に対象物が存在するか否かを判断する判断手段とを備えていてもよい。好ましくは、前記曲線抽出手段は、前記立体画像中より直線を除去する除去部と、直線が除去された前記立体画像中より曲線を抽出する抽出部とを有することを特徴とする。

画像間で視差が生じる場合、すなわち対象物がカメラの近傍に存在する場合には、立体画像中で対象物が曲線として抽出されるという性質を利用して、対象物が近傍に存在するか否かを判断している。このため、簡便な方法により対象物までの距離を計測することができる。

さらに好ましくは、上述の全方位撮像システムは、さらに、前記カメラの傾きを検出する傾き検出手段と、前記カメラの傾きに基づいて、前記カメラで撮像される映像の傾きを補正する傾き補正手段とを備える。

ジャイロセンサ等の傾き検出手段により検出されるカメラの傾きに基づいて、前記カメラで撮像される映像の傾きを補正することにより、カメラに振動等が加わった場合であっても、対象物までの正確な距離または対象物の正確な三次元位置を求めることができる。

上述したような全方位撮像システムを用いることにより、以下のような効果をも奏する。すなわち、街の定点監視カメラに防犯を依存すると、カメラの視線を遮る障害物が多くある場合には、設置台数を増やしても死角が生じやすい。このため、カメラの配置位置の決定が困難であった。また、定点監視カメラには、プライバシー侵害の問題もある。そこで防犯においても、小型カメラを個人が持ち歩くことで、ユーザの自発的な撮影において、ユーザ個人の近接領域を常に監視することが可能となり、他人のプライバシーを過度に侵害せずに、防犯に対する効果を実現することができる。

以上説明したように、本発明によると、低コストで画像と距離情報とを獲得することが可能な全方位撮像システムを提供することができる。
また、簡便な処理でステレオ画像間の対象物の対応付けを行なうことができる全方位撮像システムを提供することもできる。

さらに、低コストで対象物の画像を記録することができる全方位撮像システムを提供することもできる。

さらにまた、実時間で逆透視投影映像を生成することが可能な全方位撮像システムを提供することもできる。
さらにまた、対象物の偽対応を起こすことなく、正確な対象物の三次元位置を特定することができる全方位撮像システムを提供することもできる。

以下、図面を参照しながら本発明の実施の形態に係る全方位撮像システムについて説明する。
図１は、本発明の実施の形態に係る全方位撮像システムのハードウェア構成を示すブロック図である。全方位撮像システム２０は、全方位カメラ２２と、ジャイロセンサ２４と、ポータブルＰＣ（ＰｅｒｓｏｎａｌＣｏｍｐｕｔｅｒ）２６と、ビデオサーバ２８とを備えている。

全方位カメラ２２は、周囲３６０度の映像を一度に撮像可能なカメラである。全方位カメラ２２の詳細については後述する。ジャイロセンサ２４は、全方位カメラ２２の傾きを検出するためのセンサである。ポータブルＰＣ２６は、ジャイロセンサ２４で検出された全方位カメラ２２の傾きに基づいて、全方位カメラ２２で撮像される映像の傾きを補正し、映像切り出しを行う。また、ポータブルＰＣ２６は、無線ネットワーク等によりビデオサーバ２８に接続され、ビデオサーバ２８に切り出された映像を送信する。さらに、ビデオサーバ２８から得られた監視の判断結果に基づいて、アラームを出力したりする。さらにまた、ビデオサーバ２８から得られる画像を表示したりする。

ビデオサーバ２８は、無線ネットワーク等によりポータブルＰＣ２６に接続され、ビデオサーバ２８より受信した映像を解析し、全方位カメラ２２の周囲に対象物が侵入したか否かの判断を行ったり、対象物の画像を生成したりする。ビデオサーバ２８は、その判断結果や対象物の画像をポータブルＰＣ２６に送信する。

図２は、全方位カメラ２２の構成を示す外観図である。全方位カメラ２２は、全方位ミラー３２と、カメラ３４とを備えている。全方位ミラー３２は、周囲３６０°の方向から入射した光を反射するミラーである。全方位ミラー３２の詳細については後述する。カメラ３４は、全方位ミラー３２で反射された画像を撮像する。

図３は、全方位カメラ２２およびジャイロセンサ２４の設置位置の一例を示す図である。図３に示すように、全方位カメラ２２およびジャイロセンサ２４を自動車の天井に設置し、周囲からの接近車や接近者等を監視するようにしてもよい。

図４は、全方位カメラ２２およびジャイロセンサ２４の設置位置の他の一例を示す図である。図４に示すように、ショルダーバッグの肩位置に全方位カメラ２２およびジャイロセンサ２４を設置し、周囲からの接近者等を監視するようにしてもよい。

図５は、全方位カメラ２２およびジャイロセンサ２４の設置位置のさらに他の一例を示す図である。図５に示すように、ランドセルに全方位カメラ２２およびジャイロセンサ２４を設置し、周囲からの接近者等を監視するようにしてもよい。

図６は、全方位カメラ２２およびジャイロセンサ２４の設置位置のさらに他の一例を示す図である。図６に示すように、帽子に全方位カメラ２２およびジャイロセンサ２４を設置し、周囲からの接近者等を監視するようにしてもよい。

図７は、全方位カメラ２２およびジャイロセンサ２４の設置位置のさらに他の一例を示す図である。図７に示すように、バイクに全方位カメラ２２およびジャイロセンサ２４を設置し、周囲からの接近物等を監視するようにしてもよい。なお、ポータブルＰＣ２６を運転者の視認可能な位置に置くことにより、運転者は、側方や後方の接近者等を監視することができる。

図８は、全方位ミラー３２の構成を示す外観図であり、（ａ）は側面図であり、（ｂ）は底面図である。全方位ミラー３２は、半円球形状のミラー３２ａ上に６つの小さな半円球形状のミラー３２ｂが一体形成されている。
このように、ユーザは超小型化された全方位カメラ２２およびジャイロセンサ２４を携帯することにより、獲得した情報から、接近する未確認対象物の存在を事前に知らされる。また、ポータブルＰＣ２６は、注意を促す表示システムを併せ持つ。全方位カメラで獲得した映像はユーザを中心として、全方向に広がりをもつが、ユーザから距離が離れると解像度が低下するため、判別が困難になる。しかし、ユーザ近傍では解像度が高く、認知可能な映像が得られる。

また、上述のように、複数の半円球状のミラー３２ｂを用いて、全方位ミラー３２を形成している。このため、複数のカメラを用いた立体視と同様に、対象物の距離を検出することができる。図８に示したように、それぞれのミラー３２ｂの曲面中心を結ぶ距離が基線長となり、それぞれのミラー３２ｂ間で視差が発生する。

図９は、ある２つのミラー３２ｂより得られる映像からの奥行き距離を求める方法について説明するための図である。ここでは、２つのミラー３２ｂより得られる映像を映像４２ａおよび映像４２ｂとする。基線長をｄとすると、空間中の点４４と、映像４２ａおよび映像４２ｂとの関係は、次式（１）および次式（２）のように表すことができる。この式より各ミラー３２ｂからの奥行きを算出することができる。図９では、２つの曲面から決定できる距離を表したが、同じ対象物は複数の曲面に投影されるため、全ての組合せからの距離が算出可能である。

カメラから複数の全方位を投影する曲面に対する光軸は、それぞれのミラー３２ｂに対して異なった角度から投影される。そのため、図１０（ａ）に示すように無限遠方の直線は同じ方位となるが、図１０（ｂ）に示すように距離が近くなるに従い、方位にずれを生じる。それに加え、光軸の傾きにより、同じ高さの物体に対しても光軸中心から放射方向までの距離が異なる。ただし、ミラーは設計段階で基線長が決められ、カメラに設置した後、事前にキャリブレーションが可能である。このため、光軸の傾きを仮想的に光軸が平行であるように予め変換することが可能である。

次に、実際に対象物までの距離を得る方法として２つの手法について述べる。
１つ目の方法は、投票による３次元検出である。二眼立体視において、画像間で対応する点を求めるのは複雑な処理が必要であるが、多眼視の場合、空間を所定の大きさのボクセルに区切り、画像から得られる視線をボクセルに投票すると、真の３次元点では複数の投票が得られる。従来の１台の全方位カメラでは視線が中心から放射状になるため、複数の視線を投票することが不可能であったが、複数のミラー３２ｂを用いることで、投票が可能になった。その様子を図１１に示す。カメラの近傍に検出限界の半径を持つ仮想的な球を生成する。球の内部を図１２に示すようなボクセル５２に区切り、複数のミラー３２ｂより得られる画像の各々について、物体の視線が貫通するボクセルに投票を行なう。物体が球内にあるときには、必ず２本以上の視線からの投票が対応するボクセルにある。このことから、複数の投票があった（所定のしきい値以上の投票があった）ボクセルを物体の３次元位置とする。ただし、投票は近傍の球内に限定されるため、処理が簡便になる。

なお、図１３に示すように、検出限界の半径を持つ仮想的な球の表面を複数のセル５４に区切り、セル５４に対して投票を行なうようにしてもよい。このようにすることにより、仮想的な球内に物体が侵入する境界での投票を行なうことができ、さらに、投票は、球表面に限定されることより、さらに処理が簡便になる。

次に、２つ目の方法では、距離の代わりに、複数のミラー３２ｂから得られる画像における視差の有無を検出する簡便な方法について述べる。図１４に示すように、複数のミラー３２ｂから獲得される全方位画像を一列に並べ立体画像（３次元画像）６２を生成する。カメラ３４から遠く離れた物体は上述のように方位が等しくなる。このため、画像間で視差が現れないため、立体画像６２において直線６４を描く。しかし、カメラ３４の近傍に存在する対象物は視差を生じさせるため、基線長に依存して視差が現れる。このため、立体画像６２においては曲線６６を描く。したがって、立体画像６４において、直線除去フィルターを利用し、直線６４を除去することにより、簡便に視差がある領域だけを抜き出し、近傍の対象物と判定することができる。

この奥行き距離は、ユーザから遠く離れるほど距離精度が低下する一方で、ユーザの近傍の対象物の距離は精度良く獲得できる。よって、図１５に示すように、全方位撮像システム２０によると、ユーザ近傍にあたかもバリア７２が形成され、その内部に侵入した未確認対象物までの距離を測定し、その対象物を映像でユーザに知らせることができるようになる。

なお、全方位カメラ２２で撮像された映像は、ユーザにとって現実世界と異なり、周囲の全方向の映像が矩形の撮像面に映る。そのため、ユーザはカメラの方向を意識することなく全方向の情報を獲得することができる。しかし、全方位画像は屈折した画像となっているため、その画像を見ても、ユーザは対象物を認識するのは困難である。
このため、ユーザに違和感なく映像を伝えるには、映像を通常のカメラで撮影した画像と同様の透視投影画像に変換する必要がある。透視投影画像に変換する際のユーザの視線を獲得するため、上述のようにして、ユーザに近づく対象物を自動検出し、ユーザが見るべき方向（ユーザの視線方向）とする。

ユーザから対象物までの距離が、一定距離より近くなり仮想的なバリア７２の内側に入った場合には、未確認対象物の接近として、ユーザにアラーム等により警告するとともに、その方向を提示する。それとともに、当該方向に基づいて、全方位カメラの映像を通常カメラの映像と同様になるように切り出して透視投影映像に変換し表示する。
ユーザが携帯する全方位カメラ２２は、ユーザの周囲を撮影するが、携帯する際に、全方位カメラ２２の傾きが無いように設定する。また、ユーザの動きとともに全方位カメラ２２が動くため、動きによる傾きを補正するために、ユーザは、全方位カメラ２２とともにジャイロセンサ２４を携帯する。ジャイロセンサ２４の出力に基づいて、傾きを補正した映像切り出しが行なわれる。これらの処理はユーザが持つポータブルＰＣ２６で処理される。一方、映像を蓄積するため、全方位カメラ２２から得られた映像およびジャイロセンサ２４の出力は、ビデオサーバ２８に転送され、ビデオサーバ２８においてユーザの行動履歴を常時蓄積するとともに、その行動履歴がポータブルＰＣ２６に転送される。

以上説明したように、本実施の形態によると、１台のカメラで６つのミラーで反射される光を撮像している。このため、ミラーで反射された画像間で対応付けを行なうことにより距離情報を得ることができる。このため、低コストで画像と距離情報とを獲得することが可能な全方位撮像システムを提供することができる。

また、６つのミラーから得られる画像に基づいて、対象物までの距離を算出している。このため、２つのミラーから得られる画像に基づいて対象物の対応付けを行う場合と異なり、対象物の偽対応を起こすことなく、正確な対象物の三次元位置を特定することができる全方位撮像システムを提供することができる。

さらに、投票または立体画像から曲線抽出という手法により、対象物までの距離を求めることができる。よって、高速に全方位の距離を測定できるとともに、ユーザの近傍で高精度の測定結果が得られる。このため、一定距離以内に近づく対象物に対して警告を発し、その映像を表示することができる。

また、距離情報に基づいて、ユーザまでの到達時間を事前に予測検知することもできる。このため、このシステムは自転車、バイクを含む車両に利用でき、運転時における近傍の交通からの安全確保にも利用可能である。特に、高速道路などでは、隣接レーンを走行する車両に気付かずに車線変更すると大事故に繋がるが、側後方を監視するこの発明を利用することで、事前にドライバーに注意を促し、その映像で危険を確認させることができる。またこの映像は走行記録になることから、事故が発生したときの状況証拠として利用することができる。

以上、本発明の実施の形態に係る全方位撮像システムについて説明したが、本発明は、この実施の形態に限定されるものではない。
例えば、ミラー３２ｂとして半円球の曲面ミラーを用いたが、双曲面ミラー、放物面ミラー等の周囲３６０度の光を反射可能なミラーであればどのような形状であってもよい。
また、ミラー３２ｂの個数は６個に限定されるものではなく、それ以上であってもよいし、それ以下であってもよい。

本発明は、全方位撮像システムに適用可能であり、特に、ユーザや自転車およびバイクを含む車両の周辺環境の監視等に適用可能である。

本発明の実施の形態に係る全方位撮像システムのハードウェア構成を示すブロック図である。全方位カメラの構成を示す外観図である。全方位カメラおよびジャイロセンサの設置位置の一例を示す図である。全方位カメラおよびジャイロセンサの設置位置の他の一例を示す図である。全方位カメラおよびジャイロセンサの設置位置のさらに他の一例を示す図である。全方位カメラおよびジャイロセンサの設置位置のさらに他の一例を示す図である。全方位カメラおよびジャイロセンサの設置位置のさらに他の一例を示す図である。全方位ミラー３２の構成を示す外観図であり、（ａ）は側面図であり、（ｂ）は底面図である。ある２つのミラーより得られる映像からの奥行き距離を求める方法について説明するための図である。物体までの距離と方位との関係を説明するための図である。投票の様子を示す図である。球の内部をボクセルに区切った様子を示す図である。球の表面をセルに区切った様子を示す図である。対処物までの距離を得る方法を説明するための図である。ユーザの近傍に設けられる仮想的なバリアについて説明するための図である。

符号の説明

２０全方位撮像システム
２２全方位カメラ
２４ジャイロセンサ
２６ポータブルＰＣ
２８ビデオサーバ
３２全方位ミラー
３４カメラ
３２ａ，３２ｂミラー
５２ボクセル
５４セル
６２立体画像
７２バリア

Claims

各々周囲３６０度の光を反射可能な形状を有する３つ以上のミラーと、
前記３つ以上のミラーで反射される光を撮像する１つのカメラと、
前記３つ以上のミラーから、２つのミラーの組み合わせを抽出するミラー組み合わせ抽出手段と、
前記ミラー組み合わせ抽出手段で抽出されたミラーの組み合わせの各々について、前記カメラで撮像された画像中より得られる当該組み合わせに含まれる２つのミラーでの反射映像と前記２つのミラーの基線長とに基づいて、対象物までの距離を算出する距離算出手段とを備える
ことを特徴とする全方位撮像システム。
さらに、前記対象物までの距離に基づいて、前記対象物が前記カメラを中心とする所定の半径を有する仮想球面内に侵入したか否かを判定する判定手段と、
前記対象物が前記仮想球面内に侵入した場合に、警告を発する警告発生手段とを備える
ことを特徴とする請求項１に記載の全方位撮像システム。
各々周囲３６０度の光を反射可能な形状を有する３つ以上のミラーと、
前記３つ以上のミラーで反射される光を撮像する１つのカメラと、
前記カメラで撮像された画像に含まれる前記３つ以上のミラーでの反射画像の各々に基づいて、前記カメラから対象物への視線方向を求める視線方向取得手段と、
前記カメラを中心とし、所定の大きさのボクセルで区切られた仮想的な球を生成する仮想球生成手段と、
前記視線方向取得手段で求められた視線と交差するボクセルに投票をする投票手段と、
投票結果に基づいて、所定のしきい値以上の投票が行なわれたボクセルに基づいて、対象物の三次元位置を特定する三次元位置特定手段とを備える
ことを特徴とする全方位撮像システム。
各々周囲３６０度の光を反射可能な形状を有する３つ以上のミラーと、
前記３つ以上のミラーで反射される光を撮像する１つのカメラと、
前記カメラで撮像された画像に含まれる前記３つ以上のミラーでの反射画像の各々に基づいて、前記カメラから対象物への視線方向を求める視線方向取得手段と、
前記カメラの周辺に所定の大きさのセルで区切られた仮想的な球表面を生成する仮想球表面生成手段と、
前記視線方向取得手段で求められた視線と交差するセルに投票をする投票手段と、
投票結果に基づいて、所定のしきい値以上の投票が行なわれたセルに基づいて、対象物の三次元位置を特定する三次元位置特定手段とを備える
ことを特徴とする全方位撮像システム。
さらに、前記対象物の三次元位置に基づいて、前記対象物が前記カメラを中心とする所定の半径を有する仮想球面内に侵入したか否かを判定する判定手段と、
前記対象物が前記仮想球面内に侵入した場合に、前記カメラで撮像された画像に基づいて、前記対象物を通常のカメラから見た画像へ透視投影変換し、透視投影変換後の画像をユーザに提示する透視投影変換手段とを備える
ことを特徴とする請求項３または４に記載の全方位撮像システム。
さらに、前記透視投影変換後の画像を記録する記録手段を備える
ことを特徴とする請求項５に記載の全方位撮像システム。
各々周囲３６０度の光を反射可能な形状を有する３つ以上のミラーと、
前記３つ以上のミラーで反射される光を撮像する１つのカメラと、
前記カメラで撮像された画像に含まれる前記３つ以上のミラーでの反射画像を一列に並べ立体画像を生成する立体画像生成手段と、
前記立体画像中より曲線を抽出する曲線抽出手段と、
前記曲線抽出手段での抽出結果に基づいて、前記カメラから所定の距離内に対象物が存在するか否かを判断する判断手段とを備える
ことを特徴とする全方位撮像システム。
前記曲線抽出手段は、
前記立体画像中より直線を除去する除去部と、
直線が除去された前記立体画像中より曲線を抽出する抽出部とを有する
ことを特徴とする請求項７に記載の全方位撮像システム。
さらに、前記判断手段の判断結果に基づいて、前記対象物が前記カメラから前記所定の距離内に侵入した場合に、警告を発する警告発生手段を備える
ことを特徴とする請求項７または８に記載の全方位撮像システム。
さらに、前記カメラの傾きを検出する傾き検出手段と、
前記カメラの傾きに基づいて、前記カメラで撮像される映像の傾きを補正する傾き補正手段とを備える
ことを特徴とする請求項１〜９のいずれか１項に記載の全方位撮像システム。
請求項１〜１０のいずれか１項に記載の全方位撮像システムで用いられる全方位カメラであって、
各々周囲３６０度の光を反射可能な形状を有する３つ以上のミラーと、
前記３つ以上のミラーで反射される光を撮像する１つのカメラとを備える
ことを特徴とする全方位カメラ。
前記３つ以上のミラーは、各々周囲３６０度の光を反射可能な形状を有する６つのミラーである
ことを特徴とする請求項１１に記載の全方位カメラ。