JP3805631B2

JP3805631B2 - 多重焦点全方位撮像装置

Info

Publication number: JP3805631B2
Application number: JP2001053554A
Authority: JP
Inventors: 康史八木; 正彦谷内田; 長原　　一
Original assignee: Japan Science and Technology Agency; National Institute of Japan Science and Technology Agency
Current assignee: Japan Science and Technology Agency; National Institute of Japan Science and Technology Agency
Priority date: 2001-02-28
Filing date: 2001-02-28
Publication date: 2006-08-02
Anticipated expiration: 2021-02-28
Also published as: JP2002262157A

Description

【０００１】
【発明の属する技術分野】
本発明は、全方位のパノラマ風景等の画像を得ることのできる全方位撮像装置に関する。
【０００２】
【従来の技術】
従来、全方位視覚センサは３６０°全方位が撮像できる超広角センサで、監視カメラ、テレビ会議等に用いられている。また、近年、自律移動ロボットの目として、小型かつ実時間でパノラマ画像を取得する研究開発が盛んである。
【０００３】
ところで、移動ロボットや監視装置における視覚情報取得は、小型で視覚範囲が広いことが必要である。
【０００４】
空間中のある一点から全方位のパノラマ画像を実時間で取得する方式には、大別して複数個のカメラから撮像する方式と、ミラーや魚眼レンズを用いる方式がある。
【０００５】
複数個のカメラを用いる方式は、例えば正多面体の各面に撮像素子を配置し、取得した画像を合成する方式である（例えば、先行文献：全方位カメラシステム、第２回「地域から発信する科学技術」シンポジウム、１９９９．１０．１１）。この方式は、全方位の観察が可能であるが、多くのカメラが必要なため、装置が大きくなり経済的ではない。特に、ロボットに搭載することを考慮すると大きすぎるといった問題がある。
【０００６】
一方、ミラーを用いる方式には、本願発明者などによる提案や他の先願がある〔特許：▲１▼特許第２９３９０８７号（特開平６−２９５３３３号）、本発明者等による発明、▲２▼特開平６−１４１２１１号、先行文献：▲１▼八木、日本ロボット学会誌、Ｖｏｌ．１３，Ｎｏ．３，ｐ３４７−３５０，１９９５，▲２▼佐藤、八木、「コンピュータビジョン：技術評論と将来展望」新技術コミュニケーションズ刊、１９９８．６〕。
【０００７】
これらの従来の方式は、双曲面形のミラーを下向きに、カメラを上向きに、両者垂直軸を合わせて配置し、カメラのレンズの中心が双曲面の焦点と双対の位置になるようにする。ミラーに反射した画像をカメラで撮像することにより、視覚情報を取得する。さらに、取得した画像に補正処理を施して出力画像に変換する。この方法を用いれば、水平３６０°全方位が撮像できる。
【０００８】
【発明が解決しようとする課題】
しかしながら、上記したミラー方式は、１個の撮像素子で処理するために解像度向上に問題がある。解像度を制約しているのは、撮像素子の画素数によるものと光学的ボケによるものとがある。前者に対して、本願発明者等は画素ずらしの方式を撮像素子の回転方式としてシステムに導入した〔文献：長原他、情報処理学会、２０００−ＣＶＩＭ−１２１−１３（２０００．３．２３）〕。
【０００９】
他にも上記したミラー方式の全方位撮像の改良に関する提案があるが、画素数を増やす方法も含めて、いずれにおいても解像度が不十分で、実用に至っていないのが現状である。特に、光学的ボケの対策ができていない。
【００１０】
本発明は、上記状況に鑑みて、ミラー方式の全方位撮像にあたり、焦点を変えて非点収差を減少させることにより光学的ボケをなくすことができる多重焦点全方位撮像装置を提供することを目的とする。
【００１１】
【課題を解決するための手段】
本発明は、上記目的を達成するために、
〔１〕全方位画像を反射する曲面鏡と受光レンズと撮像素子を用いて全方位画像を取得する装置において、取得画像範囲を２以上に分割し、前記撮像素子の焦点位置を変えることにより非点収差を減少させ、各々の最適の画像フォーカスを得るようにしたものである。
【００１２】
〔２〕上記〔１〕記載の多重焦点全方位撮像装置において、前記受光レンズに対する撮像素子の位置を変える手段を具備するようにしたものである。
【００１３】
〔３〕上記〔２〕記載の多重焦点全方位撮像装置において、前記撮像素子の焦点位置の移動を駆動機構を用いて前記撮像素子の上下方向に行うことを特徴とする。
【００１４】
〔４〕上記〔２〕記載の多重焦点全方位撮像装置において、前記撮像素子の焦点位置の移動を駆動機構を用いて水平方向に行うことを特徴とする。
【００１５】
〔５〕上記〔２〕記載の多重焦点全方位撮像装置において、前記撮像素子の焦点位置の移動を駆動機構を用いて回転方向に行うことを特徴とする。
【００１６】
〔６〕上記〔１〕記載の多重焦点全方位撮像装置において、前記撮像素子に対する受光レンズの位置を変える手段を具備するようにしたものである。
【００１７】
〔７〕上記〔６〕記載の多重焦点全方位撮像装置において、前記受光レンズの電動制御でフォーカス面を変える手段を具備するようにしたものである。
【００１８】
〔８〕上記〔１〕記載の多重焦点全方位撮像装置において、前記受光レンズの後にハーフミラーを設置し、フォーカス面を変える手段を具備するようにしたものである。
【００１９】
〔９〕上記〔１〕記載の多重焦点全方位撮像装置において、前記受光レンズの前にハーフミラーを設置し、フォーカス面を変える手段を具備するようにしたものである。
【００２０】
〔１０〕上記〔１〕記載の多重焦点全方位撮像装置において、前記全方位画像を反射する曲面鏡と前記受光レンズと撮像素子を、鉛直線を中心にして回転させるようにしたものである。
【００２１】
〔１１〕上記〔１〕記載の多重焦点全方位撮像装置において、前記受光レンズと撮像素子を鉛直線を中心にして回転させるようにしたものである。
【００２２】
このように、全方位画像を反射する双曲面鏡と撮像素子を用いて全方位画像を取得する装置において、取得画像範囲を２以上に分割し、各々の最適の画像フォーカスを得られるようにする。光学的解像度の劣化は、非点収差の影響で入射光線の俯角に強く依存する。一方、各俯角に焦点を合わせた際のＭＴＦ限界を調べ、俯角全域にわたってＣＣＤの限界解像度を越えるように設計する。
【００２３】
【発明の実施の形態】
以下、本発明の実施の形態について詳細に説明する。
【００２４】
まず、全方位撮像装置の光学系とその入力と変換画像の関係について概略を述べる。
【００２５】
図１は本発明にかかる全方位撮像装置の光学系を示す図であり、図１（ａ）はその平面模式図、図１（ｂ）はその側面模式図である。図２はその入力と変換画像の関係を示す図、図３（ａ）は全方位入力画像、図３（ｂ）は変換画像、図３（ｃ）はパノラマ画像例である。
【００２６】
これらの図において、１は双曲面鏡、２は双曲面鏡１の焦点＋ｃ、３は入射光線、４は画像平面（カメラ）、５はレンズの主点−ｃ、６は共通透視変換画像の座標、７はパノラマ画像の座標、８は入力画像の座標である。
【００２７】
これらの図に示すように、全方位撮像装置は、鉛直下向きの双曲面鏡１と上向きのカメラ４から構成される。双曲面鏡１は

のように表され、２つの焦点（０，０，ｃ），（０，０，−ｃ）を持ち、カメラ４は双曲面の中心軸と同軸に主点５が双曲面鏡１のその一方の焦点（０，０，−ｃ）にくるように配置されている。このように配置することで、センサの周囲３６０°を一度に撮像することができる〔図３（ａ）参照〕。また、図１に示すように、双曲面鏡１のミラー中心に向かって入ってくる光３は、双曲面の特性によりミラーに反射後、もう一方の焦点に向かう。すなわち、画像上での任意の写像点ｐ（ｘ，ｙ）と俯角α，方位角βの関係は、上記式（３）〜式（５）から一意に決まる。この式から全方位入力画像〔図３（ａ）参照〕を、図２に示すように、ミラー焦点を視点とした透視変換画像６〔図３（ｂ）参照〕やパノラマ画像７〔図３（ｃ）参照〕に容易に変換できるという特性をもつ。
【００２８】
従来例で示したように、全方位撮像装置は、入力全方位画像を無歪みで透明変換やパノラマ画像に実時間変換できるため、人に対する広視野角画像や任意視点画像提示を行うための撮像センサとして向いている。しかし、図１に示したように、たった１枚のＣＣＤセンサで全方位を撮像するため、画角分解能が全体的に劣るという欠点をもつ。さらに、図３（ａ）のように、入力画像中では撮像対象が放射状に現れるため、俯角が大きくなるにしたがって画角分解能が低くなる。
【００２９】
図４は俯角に対する画角解像度と光学的ボケ特性を示す図である。
【００３０】
この図は、入力画像の周囲方向と放射方向において俯角に対する画角解像度を実線で、光学的ボケ特性の俯角に対する変化を点線で表したグラフである。
【００３１】
この図から明らかなように、パノラマや透視変換を行うと変換画像下部の解像度の低さが更に顕著になる。
【００３２】
同様の条件で、分解能を示すＭＴＦを図５に示す。
【００３３】
図５は俯角に対するＭＴＦとＣＣＤの遮断周波数特性図である。
【００３４】
この図から明らかなように、俯角の大きい範囲と小さい範囲では、解像度は光学的フォーカスに支配されていることがわかる。
【００３５】
次に、双曲面を同心円状に分割し、各俯角に対するＭＴＦを図６に示す。
【００３６】
図６は多重焦点画像列を用いた超解像度化を示す図である。
【００３７】
ここでは、−１０°，２０°，４０°に３分割するようにしている。なお、６分割（ｆ_-10ｆ₀ｆ₁₀ｆ₂₀ｆ₃₀ｆ₄₀）としてもよい。
【００３８】
この図に示すように、入力と出力の画像空間は異なる。そのため、俯角の小さいｆ_-10の合焦点領域（俯角−２０〜−２°）はおよそ４枚の入力画像で出力の９割を満たすが、俯角の大きいｆ₄₀の合焦点領域（俯角２１〜５０°）においては５０枚も必要になることが示されている。このことから入出力画像比が均一となるように各画像を撮像する必要がある。
【００３９】
そして、分割毎にフォーカスを合わせ、得られた画像を合成する。
【００４０】
本発明では、更に、全方位画像を反射する双曲面鏡と受光レンズと撮像素子を用いて全方位画像を取得する装置において、取得画像範囲を３以上に分割し、各々の最適の画像フォーカスを得る手段と、前記撮像素子の焦点位置を変えることにより非点収差を減少させる多重焦点全方位撮像装置を得ることにある。
【００４１】
以下、本発明の実施例を順次説明する。
【００４２】
図７は本発明の第１実施例を示す多重焦点全方位撮像装置の模式図である。
【００４３】
この図において、１１は双曲面鏡、１２は受光レンズ、１３は撮像素子、１４は撮像素子１３の上下移動手段としてのステッピングギアである。
【００４４】
この実施例では、受光レンズ１２に対する撮像素子１３の位置を駆動機構、例えば、ステッピングギア１４で変えることができるようにしている。
【００４５】
この実施例によれば、撮像素子１３を上下させるようにしたので、画素ずらしの効果も生じる。画像中では、放射方向の解像度の向上を図ることができる。
【００４６】
図８は本発明の第２実施例を示す多重焦点全方位撮像装置の模式図である。
【００４７】
この実施例では、撮像素子１３に対して受光レンズ１２の位置を変える。つまり、受光レンズ１２の上下移動手段（駆動機構）としての電動制御装置１５により、フォーカス面を変えることができる。
【００４８】
なお、この実施例では、カメラ自体は市販のものを利用することができる。また、レンズも市販のものを利用できるという利点がある。
【００４９】
図９は本発明の第３実施例を示す多重焦点全方位撮像装置の模式図である。
【００５０】
この図において、２１は双曲面鏡、２２は受光レンズ、２３は受光レンズ２２の後ろに配置されるハーフミラー、２４はハーフミラー２３の後ろに配置される第１の撮像素子、２５はハーフミラー２３の側方に配置される第２の撮像素子である。
【００５１】
このように構成することにより、フォーカス面を変えることができる。
【００５２】
図１０は本発明の第４実施例を示す多重焦点全方位撮像装置の模式図である。
【００５３】
この図において、３１は双曲面鏡、３２は第１の受光レンズ３３の前に配置されるハーフミラー、３３はそのハーフミラー３２の後ろに配置される第１の受光レンズ、３４はその第１の受光レンズ３３の後ろに配置される第１の撮像素子、３５はハーフミラー３２の側方に配置される第２の受光レンズ、３６はその第２の受光レンズ３５の側方に配置される第２の撮像素子である。
【００５４】
このように構成することにより、フォーカス面を変えることができる。
【００５５】
上記した第３及び第４実施例によれば、可動部を持たない、実時間（撮像素子の動作速度）で多重焦点の画像が撮像できるという利点がある。なお、ハーフミラーを順次組み合わせて、画像の分割数を２以上にすることも可能であるが、画像を分割すると、各画像の明るさは暗くなるので、現実に分割できる分割数には限度がある。また、ハーフミラー以外のプリズムでも同様の効果を奏することができる。
【００５６】
図１１は本発明の第５実施例を示す多重焦点全方位撮像装置の模式図である。
【００５７】
この図において、４１は双曲面鏡、４２は受光レンズ、４３は撮像素子であり、この実施例では、双曲面鏡４１と受光レンズ４２と撮像素子４３を通る鉛直線４４を中心にして可動部４５となし、この可動部４５を駆動機構４６によりカメラ全体を回転させるようにする。
【００５８】
この実施例によれば、カメラ全体を回転させるようにしたので、従来からある全方位カメラをそのまま利用することができるという利点がある。
【００５９】
図１２は本発明の第６実施例を示す多重焦点全方位撮像装置の模式図である。
【００６０】
この実施例では、双曲面鏡４１と受光レンズ４２と撮像素子４３を通る鉛直線４４を中心にして、受光レンズ４２と撮像素子４３を可動部４７となし、この可動部４７を駆動機構４８により回転させるようにする。
【００６１】
このように構成することにより、フォーカス面を変えることができる。
【００６２】
この実施例によれば、レンズ系は固定となるので、外見からすると回転していようになり、故障はしにくくなるといった利点がある。
【００６３】
図１３は本発明の第７実施例を示す多重焦点全方位撮像装置の模式図であり、図１３（ａ）はその全体構成図、図１３（ｂ）はその撮像素子の平行移動による撮像素子の位置ずれの平面図、図１３（ｃ）はその撮像素子の回転による撮像素子の位置ずれの平面図である。
【００６４】
この実施例では、撮像素子４３のみを駆動機構４９により移動させるようにする。すなわち、図１３（ｂ）に示すように、撮像素子４３を平行移動させるようにしたり、図１３（ｃ）に示すように、撮像素子４３を回転させるようする。
【００６５】
この実施例によれば、他の画素ずらしとは違って、撮像素子４３のみを動かすようにしたので、可動部及び駆動機構を小型化できる利点がある。また、図７に示した第１実施例の方法と組み合わせると、撮像素子４３のみを動かすことにより、多重焦点と画素ずらしが可能となり、その効果は大きい。
【００６６】
このように、実施例として、双曲面鏡と４０万単板ＣＣＤを用い、３分割（ｆ_-10ｆ₁₀ｆ₄₀）と６分割（ｆ_-10ｆ₀ｆ₁₀ｆ₂₀ｆ₃₀ｆ₄₀）とし、各俯角（右下数字）に対応して画面を分割し、各画面で前記撮像素子の焦点位置を変えることにより非点収差を減少させる。分割して取得された各画像を合成して全体画像を得る。すでに提案されている画像ずらし方法と合わせて、実用に耐える画像再生を達成した。
【００６７】
なお、上記実施例では、双曲面鏡を用いた全方位カメラの場合について述べたが、これに限定されるものではなく、他の放物面、球面、２枚以上の曲面鏡を用いた全方位カメラでもよい。
【００６８】
また、上記実施例では、取得画像範囲を３以上に分割したものを示したが、本発明における取得画像範囲の分割は２以上であれば適用できる。
【００６９】
なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨に基づいて種々の変形が可能であり、これらを本発明の範囲から排除するものではない。
【００７０】
【発明の効果】
以上、詳細に説明したように、本発明によれば、以下のような効果を奏することができる。
【００７１】
（Ａ）ミラー方式の全方位撮像にあたり、焦点を変えて非点収差を減少させることにより光学的ボケをなくすことができる。
【００７２】
（Ｂ）取得画像範囲を２以上に分割し、前記撮像素子の焦点位置を変えることにより非点収差を減少させ、各々の最適の画像フォーカスを得ることができる。
【００７３】
（Ｃ）自律ロボットにおいては全方位画像情報を、小型であって実時間でかつ高解像度に取得することが重要である。本発明によれば、固定式・移動式の監視カメラとしての用途にも有用である。
【図面の簡単な説明】
【図１】本発明にかかる全方位撮像装置の光学系を示す図である。
【図２】本発明にかかる全方位撮像装置の光学系における入力と変換画像の関係を示す図である。
【図３】本発明にかかる全方位撮像装置の全方位入力画像と変換画像例を示す図である。
【図４】俯角に対する画角解像度と光学的ボケ特性を示す図である。
【図５】分解能を示すＭＴＦを示す図である。
【図６】双曲面を同心円状に分割し、各俯角に対するＭＴＦを示す図である。
【図７】本発明の第１実施例を示す多重焦点全方位撮像装置の模式図である。
【図８】本発明の第２実施例を示す多重焦点全方位撮像装置の模式図である。
【図９】本発明の第３実施例を示す多重焦点全方位撮像装置の模式図である。
【図１０】本発明の第４実施例を示す多重焦点全方位撮像装置の模式図である。
【図１１】本発明の第５実施例を示す多重焦点全方位撮像装置の模式図である。
【図１２】本発明の第６実施例を示す多重焦点全方位撮像装置の模式図である。
【図１３】本発明の第７実施例を示す多重焦点全方位撮像装置の模式図である。
【符号の説明】
１，１１，２１，３１，４１双曲面鏡
２双曲面鏡の焦点＋ｃ
３入射光線
４画像平面（カメラ）
５レンズの主点−ｃ
６共通透視変換画像の座標
７パノラマ画像の座標
８入力画像の座標
１２，２２，４２受光レンズ
１３，４３撮像素子
１４撮像素子の上下移動手段（ステッピングギア）
１５受光レンズの移動手段（電動制御装置）
２３，３２ハーフミラー
２４，３４第１の撮像素子
２５，３６第２の撮像素子
３３第１の受光レンズ
３５第２の受光レンズ
４４鉛直線
４５，４７可動部
４６，４８，４９駆動機構

Claims

全方位画像を反射する曲面鏡と受光レンズと撮像素子を用いて全方位画像を取得する装置において、
取得画像範囲を２以上に分割し、前記撮像素子の焦点位置を変えることにより非点収差を減少させ、各々の最適の画像フォーカスを得る多重焦点全方位撮像装置。
請求項１記載の多重焦点全方位撮像装置において、前記受光レンズに対する撮像素子の位置を変える手段を具備する多重焦点全方位撮像装置。
請求項２記載の多重焦点全方位撮像装置において、前記撮像素子の焦点位置の移動を駆動機構を用いて前記撮像素子の上下方向に行うことを特徴とする多重焦点全方位撮像装置。
請求項２記載の多重焦点全方位撮像装置において、前記撮像素子の焦点位置の移動を駆動機構を用いて水平方向に行うことを特徴とする多重焦点全方位撮像装置。
請求項２記載の多重焦点全方位撮像装置において、前記撮像素子の焦点位置の移動を駆動機構を用いて回転方向に行うことを特徴とする多重焦点全方位撮像装置。
請求項１記載の多重焦点全方位撮像装置において、前記撮像素子に対する受光レンズの位置を変える手段を具備する多重焦点全方位撮像装置。
請求項６記載の多重焦点全方位撮像装置において、前記受光レンズの電動制御でフォーカス面を変える手段を具備する多重焦点全方位撮像装置。
請求項１記載の多重焦点全方位撮像装置において、前記受光レンズの後にハーフミラーを設置し、フォーカス面を変える手段を具備する多重焦点全方位撮像装置。
請求項１記載の多重焦点全方位撮像装置において、前記受光レンズの前にハーフミラーを設置し、フォーカス面を変える手段を具備する多重焦点全方位撮像装置。
請求項１記載の多重焦点全方位撮像装置において、前記全方位画像を反射する曲面鏡と前記受光レンズと撮像素子を、鉛直線を中心にして回転させる多重焦点全方位撮像装置。
請求項１記載の多重焦点全方位撮像装置において、前記受光レンズと撮像素子を鉛直線を中心にして回転させる多重焦点全方位撮像装置。