JP4787292B2 - 全方位撮像装置 - Google Patents

Description

本発明は、方位毎の被写体情報が放射状に担持された全方位画像を撮像し、その画像データから、方位毎の被写体情報が並列状に担持されたパノラマ展開画像を形成する全方位撮像装置に関する。

従来、この種の全方位撮像装置は、結像光学系により、エリアセンサ（２次元イメージセンサ）の撮像面上に全方位画像を結像させ、該エリアセンサにより取得された全方位画像の画像データに基づき、パノラマ展開画像を形成するように構成されている（下記特許文献１〜４参照）。

上記結像光学系としては、各方位の被写体からの光束を集めるために、魚眼レンズやパノラマ環状レンズ（ＰＡＬ；Panoramic Annular Lens 下記特許文献５参照）等の広角レンズ（全方位レンズ）を用いるものや、球面や双曲面、円錐形状等の曲面ミラー（全方位ミラー）を用いるものが知られている。

特開２００３−３０８５２６号公報 特開２００５−９４７１３号公報 特開２００８−２８６０６号公報 特開２００３−２５００７０号公報 特表２００７−５３１３３３号公報

図３に、全方位画像とパノラマ展開画像との対応関係の一例を示す。図３は、曲面ミラーを有する結像光学系を、その光軸が鉛直方向と平行となるように、かつ曲面ミラーが下向きとなるように円卓上に設置して得られた、円卓回りに座る４人の人物の被写体情報を担持した全方位画像（同図（ａ））と、そのパノラマ展開画像（同図（ｂ））を模式的に示す図である。

図３（ａ）に示す全方位画像７０は、全体として円環状をなす領域内（中心部の領域Ｓ_０には、全方位ミラーと対向配置されたレンズ等が写る）に、方位毎の被写体情報をその画像中心Ｃから径方向に沿って放射状に担持している（例えば、方位角度θ_１，θ_２に位置する各被写体情報は、ラインＬ_１，Ｌ_２上にそれぞれ担持される）。

一方、図３（ｂ）に示すパノラマ展開画像８０は、全体として矩形状をなし、その縦方向（実空間の鉛直方向と対応する）が全方位画像における径方向に対応するとともに、その横方向（実空間の水平方向と対応する）が全方位画像における周方向と対応し、方位毎の被写体情報を横方向に沿って並列状に担持するように形成されている（例えば、全方位画像７０において、方位角度θ_１，θ_２に対応したラインＬ_１，Ｌ_２上にそれぞれ担持された被写体情報は、パノラマ展開画像８０上において、上記方位角度θ_１，θ_２に対応したラインＬ_１´，Ｌ_２´上にそれぞれ担持される）。

ここで、全方位画像７０の画像データからパノラマ展開画像８０を形成する場合において、全方位画像７０内に設定した２つの画像領域Ｓ_１，Ｓ_２について考察する。２つの画像領域Ｓ_１，Ｓ_２は、或る同一の方位角度範囲α内の被写体情報を担持しているが、画像領域Ｓ_１の方が画像領域Ｓ_２よりも画像中心Ｃに近いため、全方位画像７０内では、画像領域Ｓ_２よりも画像領域Ｓ_１の方が、方位角方向（全方位画像７０における周方向）の長さが短くなっている。

全方位画像７０の画像データからパノラマ展開画像８０を形成すると、全方位画像７０内の２つの画像領域Ｓ_１，Ｓ_２内の画像データは、パノラマ展開画像８０内の２つの画像領域Ｓ_１´，Ｓ_２´内の画像データにそれぞれ変換される。全方位画像７０では、画像領域Ｓ_２よりも画像領域Ｓ_１の方が方位角方向（全方位画像７０における周方向）の長さが短いが、パノラマ展開画像８０では、２つの画像領域Ｓ_１´，Ｓ_２´の方位角方向（パノラマ展開画像８０における横方向）の長さは、互いに同じとなる。

このため、一般的なエリアセンサを用いて全方位画像７０の画像データを取得し、この画像データによりパノラマ展開画像８０を形成した場合、画像領域Ｓ_２´に比べて画像領域Ｓ_１´の画質が低下する（不鮮明になる）という問題が生じる。これは、各受光素子が一定の密度で配置されている一般的なエリアセンサでは、全方位画像７０内の２つの画像領域Ｓ_１，Ｓ_２のうち、方位角方向の長さが短い画像領域Ｓ_１の方が、対応する受光素子の単位方位角あたりの数が相対的に少ないことに起因している。すなわち、１つの受光素子により１つの画像データが得られるとすると、一般的なエリアセンサを用いて全方位画像７０を撮像した場合、同じ大きさの方位角度範囲内の被写体情報に対する単位方位角あたりの画像データ数が、全方位画像７０内における画像領域の径方向の位置の違いによって大きく変化することに起因している。例えば、２つの画像領域Ｓ_１，Ｓ_２では、画像中心Ｃに近い位置にある画像領域Ｓ_１の方が、画像中心Ｃから遠い位置にある画像領域Ｓ_２よりも、得られる単位方位角あたりの画像データ数が少なくなる。

本発明は、このような事情に鑑みなされたものであり、全方位画像の画像データを得る際に、全方位画像内の全画像領域において、同じ大きさの方位角度範囲内の被写体情報に対して単位方位角あたり略同数の画像データを得ることができ、全画像領域に亘り高画質なパノラマ展開画像を形成し得る全方位撮像装置を提供することを目的とする。

上記目的を達成するため本発明の全方位撮像装置は、以下のように構成されている。
すなわち、本発明に係る全方位撮像装置は、方位毎の被写体情報が放射状に担持された全方位画像を結像せしめる結像光学系と、モータで駆動され中空部が光通路となる回転軸と、前記回転軸の一端側に固定された回転部で保持され前記回転軸と一体に回転する回転ユニット部と、前記回転軸の他端側に配設され前記モータを保持した固定部で保持された固定ユニット部とを備え、前記全方位画像から画像データを取得する撮像手段と、前記撮像手段で取得された画像データに基づき、前記方位毎の被写体情報が並列状に担持されたパノラマ展開画像を形成するパノラマ展開画像形成手段と、を備えた全方位撮像装置であって、
前記回転ユニット部は、前記回転軸の軸方向に直交する方向に沿って配列された受光素子群により、前記回転軸の回転により前記全方位画像を回転走査して画像データを読み取るラインセンサと、前記ラインセンサで読み取られた画像データを第１波長の光信号に変換して出力する電光変換部と、波長選択性を有し、前記電光変換部からの光信号と前記第１波長とは異なる第２波長の電力光とを反射と透過により分離する第１光分離手段と、前記第１光分離手段で分離された前記光信号を前記回転軸の回転中心を通ってその一端側から他端側に向かう第１光路に入射させ、かつ前記第１光路とは逆向きの第２光路を通って前記回転軸の一端側から出射した前記電力光を前記第１光分離手段に入射させる第１偏向部材と、前記第１光分離手段で分離された電力光を受光して電力に変換し、前記ラインセンサ及び電光変換部に給電する電源部とを有し、
前記固定ユニット部は、前記第２波長の電力光を出力する電力用光源と、波長選択性を有し、前記電力用光源から出力された電力光と第１波長の前記光信号とを反射と透過により分離する第２光分離手段と、前記第２光分離手段で分離された前記電力光を前記回転軸の回転中心を通ってその他端側から一端側に向かう第２光路に入射させ、かつ前記第２光路とは逆向きの第１光路を通って前記回転軸の他端側から出射した光信号を前記第２光分離手段に入射させる第２偏向部材と、前記第２光分離手段で分離された光信号を受光して前記全方位画像の画像データに変換する光電変換部とを有する、ことを特徴とする。

本発明において、前記結像光学系は、全方位からの光束を屈折させて集める広角レンズを備えてなるものとすること、または、全方位からの光束を反射させて集める曲面ミラーを備えてなるものとすることができる。

また、前記ラインセンサは、前記所定の回転軸が前記受光素子群の配列方向中央部に設けられてなるものとすることができる。

上記ラインセンサは、多数の受光素子（受光素子群）が直線状に１列のみ配置されたものの他に、数列の受光素子群が並列して直線状に配置されたものを含むものとする。

本発明に係る全方位撮像装置は、上述の構成を備えていることにより、以下のような作用効果を奏する。

すなわち、本発明の全方位撮像装置は、結像された全方位画像の画像データを、所定の回転軸と直交する方向に沿って配列された受光素子群を有するラインセンサを回転走査せしめながら方位毎に順次取得し、この方位毎に順次取得された画像データに基づきパノラマ展開画像を形成する。

ラインセンサを回転走査せしめながら、全方位画像の画像データを方位毎に順次取得することにより、全方位画像内における画像領域の位置の違いに関係なく、同じ大きさの方位角度範囲内の被写体情報に対して単位方位角あたり略同数の画像データを得ることが可能となる。したがって、全画像領域に亘り高画質なパノラマ展開画像を形成することが可能となる。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。図１は本発明の第１実施形態に係る全方位撮像装置の概略構成図である。

図１に示す全方位撮像装置１０は、方位毎の被写体情報が放射状に担持された全方位画像を結像せしめる結像光学系２０と、該結像光学系２０により結像された全方位画像の画像データを取得する撮像手段４０と、該撮像手段４０により取得された全方位画像の画像データに基づき、方位毎の被写体情報が並列状に担持されたパノラマ展開画像を形成する、コンピュータ等からなるパノラマ展開画像形成手段６０と、該パノラマ展開画像形成手段６０による解析結果や画像を表示する表示装置６１と、キーボードやマウス等からなる入力装置６２と、を備えてなる。

上記結像光学系２０は、全方位からの光束を屈折させて集める、魚眼レンズやパノラマ環状レンズ等からなる広角レンズ２１を有しており、該広角レンズ２１が集めた光束により、結像面Ｐ_１上に全方位画像を結像せしめるようになっている。

上記撮像手段４０は、所定の回転軸Ａ（結像光学系２０の光軸Ｚ_１と一致するように配置される）と直交する方向に沿って１列に配列された受光素子群（図示略）を有し該回転軸Ａ回りに回転走査可能なラインセンサ４１を備え、該ラインセンサ４１を結像面Ｐ_１上において回転走査せしめながら、全方位画像の画像データを方位毎に順次取得するように構成されている。

次に、図４に基づき、上記撮像手段４０の構成についてさらに詳細に説明する。図４は撮像手段４０の概略構成図である。
図４に示すように撮像手段４０は、図示せぬケースに固定された固定部４２と、該固定部４２に設置された駆動モータ４３と、該駆動モータ４３が有する中空の回転軸４３ａに固定された回転部４４と、該回転部４４の回転角度を検出する回転エンコーダ等からなる回転角度検出部４５とを備えており、上記ラインセンサ４１は、上記回転部４４と一体的に回転し得るように図示せぬ取付手段を介して該回転部４４に取り付けられている。

また、この撮像手段４０は、上記ラインセンサ４１への電力の供給および該ラインセンサ４１からの出力信号の伝送を、光を利用して行うように構成されている。すなわち、この撮像手段４０は、所定の波長域（以下「第１波長」と称する）の光を出力する電力供給用のレーザ光源４６と、該レーザ光源４６からの光を順次伝達するダイクロイックプリズム４７、反射プリズム４８，４９、およびダイクロイックプリズム５０と、伝達された光を受光し電力に変換する太陽電池等からなる光電変換電源部５１とを備えており、該光電変換電源部５１からの電力をイメージセンサ駆動部５２に供給し、該イメージセンサ駆動部５２を介して上記ラインセンサ４１を駆動するようになっている。なお、上記イメージセンサ駆動部５２は、上記回転角度検出部４５からの検出信号に基づき、所定の回転角度毎に上記ラインセンサ４１を駆動せしめ、該ラインセンサ４１による撮像が行われるように構成されている。

また、この撮像手段４０は、上記ラインセンサ４１からの出力信号を処理する信号処理部５３と、該信号処理部５３からの電気信号を、上記第１波長とは異なる他の波長域（以下「第２波長」と称する）の光信号に変換して出力する電光変換部５４と、該電光変換部５４から上記ダイクロイックプリズム５０、上記反射プリズム４９，４８、およびダイクロイックプリズム４７を介して伝達された光信号を受光し、電気信号に変換する光電変換部５５と、該光電変換部５５からの電気信号を処理し画像信号として出力する信号処理部５６とを備えている。なお、上記信号処理部５３および上記電光変換部５４に対しても上記光電変換電源部５１から電力が供給されるが矢線の図示は省略してある。

また、上記ダイクロイックプリズム４７，５０には、上記第１波長の光は透過し、上記第２波長の光は直角に反射する透過反射面４７ａ，５０ａをそれぞれ備えている。また、上述のレーザ光源４６、ダイクロイックプリズム４７、反射プリズム４８、光電変換部５５、および信号処理部５６は、図示せぬ取付手段を介して上記固定部４２（または図示せぬケース）に固定されており、反射プリズム４９、ダイクロイックプリズム５０、光電変換電源部５１、イメージセンサ駆動部５２、信号処理部５３および電光変換部５４は、図示せぬ取付手段を介して上記回転部４４に固定され、上記ラインセンサ４１と共に回転するように構成されている。なお、上記回転角度検出部４５は、読取部および被読取部（図示略）からなり、その一方が固定部４２に配され、他方が回転部４４に配されている。

次に、図２に基づき、本発明の第２実施形態に係る全方位撮像装置について説明する。図２は本発明の第２実施形態に係る全方位撮像装置の概略構成図である。なお、図２において、上述の第１実施形態のものと概念的に共通または類似するものには、図１で用いたものと同一または類似（同一の番号の後に英文字Ａを付けた）番号を付してある。

図２に示す全方位撮像装置１０Ａは、結像光学系２０Ａの構成および撮像手段４０が配設される向き（図２では上向きに配設されるのに対し、図１では下向きに配設される）が上記全方位撮像装置１０と異なるものであり、他の構成は基本的に同じである。

上記結像光学系２０Ａは、反射面が球面や双曲面、円錐形状等に形成された曲面ミラー２２と、結像レンズ２３とを備えており、曲面ミラー２２が集めた全方位からの光束を結像レンズ２３がさらに屈折させて集光せしめることにより、結像面Ｐ_２上に全方位画像を結像せしめるようになっている。

次に、図３に基づき、本発明の第２実施形態に係る全方位撮像装置１０Ａの作用について説明する。図３は、従来技術の問題点を説明するときにも用いたが、全方位撮像装置１０Ａの結像光学系２０Ａを、その光軸Ｚ_２が鉛直方向と平行となるように、かつ曲面ミラー２２が下向きとなるように円卓上に設置することにより結像面Ｐ_２上に結像された、円卓回りに座る４人の人物の被写体情報を担持した全方位画像７０（同図（ａ））と、そのパノラマ展開画像８０（同図（ｂ））を模式的に示している。

（１）まず、図２に示す結像光学系２０Ａにより、結像面Ｐ_２上に全方位画像７０を結像させる。
（２）次いで、ラインセンサ４１を結像面Ｐ_２上において回転走査せしめながら、ラインセンサ４１の所定の回転角度毎に、全方位画像７０の画像データを方位毎に順次取得し、これをパノラマ展開画像形成手段６０に出力する。例えば、全方位画像７０において、方位角度θ_１，θ_２にそれぞれ対応したラインＬ_１，Ｌ_２上の各画像データは、ラインセンサ４１が、ラインＬ_１，Ｌ_２上に位置するときにそれぞれ取得されて出力される。

（３）次に、パノラマ展開画像形成手段６０において、ラインセンサ４１により方位毎に順次取得された全方位画像７０の画像データに基づき、パノラマ展開画像８０を形成する。なお、パノラマ展開画像８０を形成する際の基本的な処理は、全方位画像７０において取得された方位毎の画像データを、パノラマ展開画像８０の横方向に沿って並列状に配列し直す処理となる（例えば、全方位画像７０において、方位角度θ_１，θ_２に対応したラインＬ_１，Ｌ_２上においてそれぞれ取得された方位毎の画像データは、パノラマ展開画像８０上において、上記方位角度θ_１，θ_２に対応したラインＬ_１´，Ｌ_２´上にそれぞれ配列される）。

このように、全方位撮像装置１０Ａでは、全方位画像７０の画像データを、ラインセンサ４１を用いて方位毎に取得するので、全方位画像７０内における画像領域の径方向の位置の違いに関係なく、同じ大きさの方位角度範囲内の被写体情報に対して単位方位角あたり略同数の画像データを得ることができる。例えば、図３（ａ）に示す２つの画像領域Ｓ_１，Ｓ_２（同一の方位角度範囲α内の被写体情報を担持している）において、それぞれ取得される単位方位角あたりの画像データ数は互いに略等しくなる。

したがって、全画像領域に亘り高画質なパノラマ展開画像８０を形成することが可能となる。例えば、パノラマ展開画像８０において、上記２つの画像領域Ｓ_１，Ｓ_２とそれぞれ対応する２つの画像領域Ｓ_１´，Ｓ_２´間での画質の差は生じない。

なお、本発明の第１実施形態に係る全方位撮像装置１０の作用は、上記全方位撮像装置１０Ａと同様であり詳細な説明は省略する。ただし、図３（ａ）の全方位画像７０は、全方位撮像装置１０Ａの結像光学系２０Ａの曲面ミラー２１を介して結像される鏡像であり、全方位撮像装置１０の結像光学系２０により結像されるものとは異なる。

以上、本発明の実施形態について詳細に説明したが、本発明は上述の実施形態に限定されるものではなく、種々に態様を変更することが可能である。

例えば、上記実施形態では、ラインセンサ４１の回転軸Ａが、ラインセンサ４１の一端部に設定されているが、図５に示すラインセンサ４１Ａのように、回転軸Ａ´をラインセンサ４１Ａの長さ方向中央部（受光素子群の配列方向中央部）に設定してもよい。この場合、ラインセンサ４１Ａを１８０度だけ回転走査せしめることにより、全方位画像全領域の画像データ取得することが可能となる。

また、上記実施形態では、ラインセンサへの電力供給およびラインセンサからの信号伝達を、共に光を用いて行うようにしているが、これらを共に無線で行うようにすることも可能である。また、ラインセンサへの電力の供給は無線方式で行い、ラインセンサからの信号伝達については、光を利用する方式で行うことや、逆にラインセンサへの電力の供給は光を利用する方式で行い、ラインセンサからの信号伝達については、無線方式で行うことも可能である。また、ラインセンサへの電力の供給やラインセンサからの信号伝達を、電磁コイルを利用した電磁誘導により行うことも可能である。なお、ラインセンサへの電力供給およびラインセンサからの信号伝達を、共に無線方式で行う場合の撮像手段の構成は、本願出願人が既に特許庁に対し開示している特願２００８−７４６１１号明細書に記載されたものと同様とすることができる。

また、上記実施形態におけるラインセンサ４１は、受光素子群が１列に配置されたものとされているが、数列の受光素子群が並列して直線状に配置されたラインセンサ（図示略）を用いることも可能である。

第１実施形態に係る全方位撮像装置の概略構成図 第２実施形態に係る全方位撮像装置の概略構成図 全方位画像（ａ）とパノラマ展開画像（ｂ）との対応関係を示す模式図 撮像手段の概略構成図 ラインセンサの回転軸の他の設定例を示す図

符号の説明

１０，１０Ａ 全方位撮像装置
２０，２０Ａ 結像光学系
２１ 広角レンズ
２２ 曲面ミラー
２３ 結像レンズ
４０ 撮像手段
４１，４１Ａ ラインセンサ
４２ 固定部
４３ 駆動モータ
４３ａ 回転軸
４４ 回転部
４５ 回転角度検出部
４６ レーザ光源
４７，５０ ダイクロイックプリズム
４７ａ，５０ａ 透過反射面
４８，４９ 反射プリズム
５１ 光電変換電源部
５２ イメージセンサ駆動部
５３ 光電変換電源部
５４ 電光変換部
５５ 光電変換部
５６ 信号処理部
７０ 全方位画像
８０ パノラマ展開画像
Ａ，Ａ´ 回転軸
Ｃ 画像中心
Ｐ_１，Ｐ_２ 結像面
Ｚ_１，Ｚ_２ 光軸
Ｌ_１，Ｌ_２ （全方位画像上の）ライン
Ｌ_１´，Ｌ_２´ （パノラマ展開画像上の）ライン
Ｓ_０〜Ｓ_２ （全方位画像上の）画像領域
Ｓ_１´，Ｓ_２´ （パノラマ展開画像上の）画像領域
θ_１，θ_２ 方位角度
α 方位角度範囲

Claims (4)

1. 方位毎の被写体情報が放射状に担持された全方位画像を結像せしめる結像光学系と、
   モータで駆動され中空部が光通路となる回転軸と、前記回転軸の一端側に固定された回転部で保持され前記回転軸と一体に回転する回転ユニット部と、前記回転軸の他端側に配設され前記モータを保持した固定部で保持された固定ユニット部とを備え、前記全方位画像から画像データを取得する撮像手段と、
   前記撮像手段で取得された画像データに基づき、前記方位毎の被写体情報が並列状に担持されたパノラマ展開画像を形成するパノラマ展開画像形成手段と、を備えた全方位撮像装置であって、
   前記回転ユニット部は、
   前記回転軸の軸方向に直交する方向に沿って配列された受光素子群により、前記回転軸の回転により前記全方位画像を回転走査して画像データを読み取るラインセンサと、
   前記ラインセンサで読み取られた画像データを第１波長の光信号に変換して出力する電光変換部と、
   波長選択性を有し、前記電光変換部からの光信号と前記第１波長とは異なる第２波長の電力光とを反射と透過により分離する第１光分離手段と、
   前記第１光分離手段で分離された前記光信号を前記回転軸の回転中心を通ってその一端側から他端側に向かう第１光路に入射させ、かつ前記第１光路とは逆向きの第２光路を通って前記回転軸の一端側から出射した前記電力光を前記第１光分離手段に入射させる第１偏向部材と、
   前記第１光分離手段で分離された電力光を受光して電力に変換し、前記ラインセンサ及び電光変換部に給電する電源部とを有し、
   前記固定ユニット部は、
   前記第２波長の電力光を出力する電力用光源と、
   波長選択性を有し、前記電力用光源から出力された電力光と第１波長の前記光信号とを反射と透過により分離する第２光分離手段と、
   前記第２光分離手段で分離された前記電力光を前記回転軸の回転中心を通ってその他端側から一端側に向かう第２光路に入射させ、かつ前記第２光路とは逆向きの第１光路を通って前記回転軸の他端側から出射した光信号を前記第２光分離手段に入射させる第２偏向部材と、
   前記第２光分離手段で分離された光信号を受光して前記全方位画像の画像データに変換する光電変換部とを有する、
   ことを特徴とする全方位撮像装置。
2. 前記結像光学系は、全方位からの光束を屈折させて集める広角レンズを備えてなることを特徴とする請求項１記載の全方位撮像装置。
3. 前記結像光学系は、全方位からの光束を反射させて集める曲面ミラーを備えてなることを特徴とする請求項１記載の全方位撮像装置。
4. 前記ラインセンサの回転中心軸が、前記受光素子群の配列方向中央部に設けられてなることを特徴とする請求項１〜３いずれか記載の全方位撮像装置。

Images