JP7346947B2 - 全天球撮像装置、画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、全天球撮像装置、画像処理装置及び画像処理方法に関する。

撮像装置から被写体までの測距の手法の一つに、ＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式と呼ばれる、被写体に向けて測距光を照射し、その反射光の時間差から距離を算出する方法がある。これは、所定の照射パターンにより強度変調された赤外光による測距光を被写体に向けて照射した後、被写体によって反射された測距光を赤外線用の撮像素子で受光し、照射パターンにより照射から受光までの時間差を画素ごとに検出、距離を算出するものである。算出された距離値は画素ごとにビットマップ状に集められ、「距離画像」として保存される。このような方式の距離画像生成装置（撮像装置）をＴＯＦカメラと呼ぶ。

しかしながら、従来のＴＯＦカメラによって垂直方向水平方向含めて全ての方向を同時に計測しようとすると、複数の光学系が互いの画角内に写り込んでしまうため、写り込んだ画角（方向）に関する距離を計測することはできない。

本発明は、確実に全天球領域をカバーし、全ての方向を同時に計測することができる全天球撮像装置、画像処理装置及び画像処理方法を提供することを目的とする。

本発明の実施形態に係る全天球撮像装置は、少なくとも二つの投光部と、少なくとも二つの受光部と、前記少なくとも二つの投光部と前記少なくとも二つの受光部とを配置する筐体と、を具備する。前記少なくとも二つの投光部のそれぞれは、前記筐体において、他の何れか一つの前記投光部と光軸を略平行とし、他の何れか一つの前記投光部と前記光軸を略上の投光方向を逆として、前記少なくとも二つの受光部のそれぞれの受光範囲の外側に配置される。前記少なくとも二つの受光部のそれぞれは、前記筐体において、他の何れか一つの前記受光部と光軸を略平行とし、他の何れか一つの前記受光部と前記光軸を略上の受光方向を逆として、前記少なくとも二つの投光部のそれぞれの投光範囲の外側に配置される。前記少なくとも二つの投光部のそれぞれの投光範囲は１８０度以上である。前記少なくとも二つの受光部のそれぞれの受光範囲は１８０度以上である。

本発明に係る全天球撮像装置、画像処理装置及び画像処理方法によれば、確実に全天球領域をカバーし、全ての方向を同時に計測することができる。

図１は、実施形態に係る撮像装置１ａの外観の例を概略的に示す斜視図である。 図２は、撮像装置１ａの上面図である。 図３は、ＴＯＦ投光レンズ１１０ａ（又はＴＯＦ投光レンズ１１０ｂ）を有する投光部１１ａ（１１ｂ）の構成を説明するための図である。 図４は、ＴＯＦ受光レンズ１２０ａ（又はＴＯＦ受光レンズ１２０ｂ）を有する受光部１２ａ（１２ｂ）の構成を説明するための図である。 図５は、実施形態に係る撮像装置１のハードウェア構成の例を示すブロック図である。 図６は、実施形態に係る撮像装置１の機能を説明するための機能ブロック図である。 図７は、撮像装置１ａによって実行される距離算出処理について説明するための図である。 図８は、全天球距離画像の撮像処理の流れを示したフローチャートである。 図９は、図８のステップＳ４における距離画像データの結合処理の流れを示したフローチャートである。 図１０（ａ）、図１０（ｂ）は、魚眼画像形式について説明するための図である。 図１１（ａ）、図１１（ｂ）は、正距円筒画像形式における球面と正距円筒画像との対応関係を説明するための図である。 図１２は、距離画像データの結合処理に従う距離画像の画像形式の変化について説明するための図である。 図１３は、従来のＴＯＦカメラの配置に基づいた全天球ＴＯＦカメラについて説明する図である。 図１４は、実施形態の第１の変形例に係る撮像装置１ｂを、筐体１０ｂの上面側から見た例を示す図である。 図１５（ａ）、図１５（ｂ）は、実施形態の第２の変形例に係る撮像装置１ｃを説明するための図である。 図１６（ａ）、図１６（ｂ）は、実施形態の第３の変形例に係る撮像装置１ｄを説明するための図である。 図１７は、本第３の変形例に係る撮像装置１ｄのハードウェア構成について説明する図である。 図１８は、本第３の変形例に係る撮像装置１ｄの機能を説明するための機能ブロック図である。 図１９は、本第３の変形例に係る撮像装置１ｄによって実行される、ＲＧＢ画像結合処理の流れを示したフローチャートである。 図２０は、実施形態の第４の変形例に係る撮像装置１ｆを、筐体１０ｆの上面側から見た例を示す図である。 図２１（ａ）、図２１（ｂ）は、実施形態の第５の変形例に係る撮像装置１ｇを説明するための図である。 図２２は、実施形態の第６の変形例に係る撮像装置１ｈを、筐体１０ｈの上面側から見た例を示す図である。

以下に添付図面を参照して、全天球撮像装置、画像処理装置および画像処理方法の実施形態を詳細に説明する。

図１は、実施形態に係る撮像装置１ａの外観の例を概略的に示す斜視図である。図２は、撮像装置１の上面図を示す。図１、図２に示す実施形態に係る撮像装置１ａは、３６０度の距離画像を撮像可能な全天球カメラとしての全天球撮像装置である。

撮像装置１ａは、少なくとも二つの投光部１１ａ、１１ｂと、少なくとも二つの受光部１２ａ、１２ｂと、少なくとも二つの投光部１１ａ、１１ｂと少なくとも二つの受光部１２ａ、１２ｂとを配置する筐体と、を具備する。また、撮像装置１ａにおいて、少なくとも二つの投光部１１ａ、１１ｂのそれぞれは、筐体１ａにおいて、他の何れか一つの投光部と光軸を略平行とし、他の何れか一つの投光部と光軸を略上の投光方向を逆として、少なくとも二つの受光部のそれぞれの受光範囲の外側に配置されている。さらに、撮像装置１ａにおいて、少なくとも二つの受光部１２ａ、１２ｂのそれぞれは、筐体において、他の何れか一つの受光部と光軸を略平行とし、他の何れか一つの受光部と光軸を略上の受光方向を逆として、少なくとも二つの投光部のそれぞれの投光範囲の外側に配置されている。

より具体的には、図１、図２に示す様に、撮像装置１ａは、ＴＯＦ投光レンズ１１０ａを有する投光部１１ａ、ＴＯＦ投光レンズ１１０ｂを有する投光部１１ｂ、ＴＯＦ受光レンズ１２０ａを有する受光部１２ａ、ＴＯＦ受光レンズ１２０ｂを有する受光部１２ｂ、筐体１０ａ、グリップ部１４、撮像ボタン１５を具備している。なお、図１において、ＴＯＦ投光レンズ１１０ｂ、ＴＯＦ受光レンズ１２０ｂは、図上にて筐体１０ａの背面側にあるため、図においては符号のみ示している。

筐体１０ａは、例えば図１に示す様に立方体形状をしており、その内部には撮像装置１ａの光学系、画像処理系に対応するモジュールが内蔵される。

ＴＯＦ投光レンズ１１０ａ及びこれを有する投光部１１ａは、筐体１０ａの側面のうちのいずれか一つの面に配置される。また、ＴＯＦ投光レンズ１１０ｂ及びこれを有する投光部１１ｂは、ＴＯＦ投光レンズ１１０ａが配置された面と対向する面に配置される。

ＴＯＦ投光レンズ１１０ａ、１１０ｂは、全角１８０度超の魚眼レンズである。従って、ＴＯＦ投光レンズ１１０ａ、１１０ｂを用いて実現されるによる投光範囲は、それぞれ図２に示す投光範囲１１０ａ、１１０ｂのような１８０度を超えたものとなる。

ＴＯＦ受光レンズ１２０ａ及びこれを有する受光部１２ａは、筐体１０ａの側面のうち、ＴＯＦ投光レンズ１１０ａ、１１０ｂが配置されていないいずれか一つの面に配置される。ＴＯＦ受光レンズ１２０ｂ及びこれを有する受光部１２ｂは、ＴＯＦ受光レンズ１２０ａが配置された面と対向する面に配置される。

ＴＯＦ受光レンズ１２０ａ、１２０ｂは、全角１８０度超の魚眼レンズである。従って、ＴＯＦ受光レンズ１２０ａ、１２０ｂを用いて実現されるによる受光範囲は、それぞれ図２に示す受光範囲１２０ａ、１２０ｂのような１８０度を超えたものとなる。

図３は、ＴＯＦ投光レンズ１１０ａ（又はＴＯＦ投光レンズ１１０ｂ）を有する投光部１１ａ（１１ｂ）の構成を説明するための図である。なお、同図における矢印は、光の進行方向を模式的に示したものである。

同図に示す様に、投光部１１ａ（１１ｂ）は、面発光光源１１１ａ（１１１ｂ）と、１８０度超の投光領域を持つＴＯＦ投光レンズ１１０ａ（１１０ｂ）とを有する。

面発光光源１１１ａ（１１１ｂ）は、面形状の光源であり、筐体１０ａに内蔵される。面発光光源１１１ａ（１１１ｂ）は、例えば、垂直共振器面発光レーザー（いわゆるＶＣＳＥＬ：Vertical Cavity Surface Emitting LASER）を２次元アレイ状配置したものを採用することができる。面発光光源１１１ａ（１１１ｂ）からの発光光は、ＴＯＦ投光レンズ１１０（１１０ｂ）において拡散され、１８０度以上の投光範囲に投光されることになる。

図４は、ＴＯＦ受光レンズ１２０ａ（又はＴＯＦ受光レンズ１２０ｂ）を有する受光部１２ａ（１２ｂ）の構成を説明するための図である。なお、同図における矢印は、光の進行方向を模式的に示したものである。

同図に示す様に、受光部１２は、ＴＯＦセンサ１２１ａ（１２１ｂ）と、１８０度超の受光部領域を持つＴＯＦ受光レンズ１２０ａ（１２０ｂ）とを有する。

ＴＯＦ受光レンズ１２０ａ（１２０ｂ）が受光する光は、図４に示す様に当該レンズによって収束されＴＯＦセンサ１２１ａ（１２１ｂ）に入射する。

ＴＯＦセンサ１２１ａ（１２１ｂ）は、デジタルカメラ等に使用されるイメージセンサと同様の２次元のエリアセンサであり、筐体１０ａに内蔵される。ＴＯＦセンサ１２１ａ（１２１ｂ）は、各画素で距離データを算出し、距離画像データを生成する。

図１に戻り、グリップ部１４は、手などにより撮像装置１ａを保持するための把持部である。

グリップ部１４には、撮像を指示するための撮像ボタン１５が設けられる。グリップ部１４に対して、撮像装置１ａに対する設定などの操作を行う操作部や、ステータスなどを表示する表示部をさらに設けてもよい。

図５は、実施形態に係る撮像装置１ａのハードウェア構成の例を示すブロック図である。図５において、撮像装置１ａは、面発光光源１１１ａ、１１１ｂ、ＴＯＦセンサ１２１ａ、１２１ｂに加えて、測距制御部２３を具備する。

測距制御部２３は、面発光光源１１１ａ、１１１ｂ、ＴＯＦセンサ１２１ａ、１２１ｂと接続され、筐体１０ａに内蔵される。測距制御部２３は、ＣＰＵ（Central Processing Unit）２３１、ＲＯＭ（Read Only Memory）２３２、ＲＡＭ（Random Access Memory）２３３、ＳＳＤ（Solid State Drive）２３４、光源駆動回路２３５、センサＩ／Ｆ（Interface）２３６、入出力Ｉ／Ｆ２３７を有する。これらは、システムバス２３８で相互に電気的に接続されている。

ＣＰＵ２３１は、ＲＯＭ２３２やＳＳＤ２３４等の記憶装置からプログラムやデータを
ＲＡＭ２３３上に読み出し、処理を実行することで、測距制御部２３全体の制御や後述する機能を実現する。なお、ＣＰＵ２３１の有する機能の一部、又は全部を、ＡＳＩＣ（application specific integrated circuit）やＦＰＧＡ（Field-Programmable Gate Array）等の電子回路により実現させてもよい。

ＲＯＭ２３２は、電源を切ってもプログラムやデータを保持することが可能な不揮発性の半導体メモリ（記憶装置）である。ＲＯＭ２３２には、処理部１００の起動時に実行されるＢＩＯＳ（Basic Input／Output System）、ＯＳ設定等のプログラムやデータが格納されている。

ＲＡＭ２３３は、プログラムやデータを一時保持する揮発性の半導体メモリ（記憶装置）である。

ＳＳＤ２３４は、測距制御部２３による処理を実行するプログラムや各種データが記憶された不揮発性メモリである。なお、ＳＳＤはＨＤＤ（Hard Disk Drive）等であっても良い。

光源駆動回路２３５は、面発光光源１１１ａ、１１１ｂに電気的に接続され、ＣＰＵ２３１等から入力した制御信号に応じて面発光光源１１１ａ、１１１ｂに駆動電圧等の駆動信号を出力する電気回路である。光源駆動回路２３５は、制御信号に応じて、面発光光源１１１ａ、１１１ｂに含まれる複数の発光部を発光駆動させる。駆動信号として矩形波や正弦波、又は所定の波形形状の電圧波形を用いることができる。なお、光源駆動回路２３５は、電圧波形の周波数を変化させて、駆動信号の周波数を変調することができる。

センサＩ／Ｆ２３６は、ＴＯＦセンサ１２１ａ、１２１ｂに電気的に接続され、ＴＯＦセンサ１２１ａ、１２１ｂの出力する位相信号を入力するインターフェースである。入出力Ｉ／Ｆ２３７は、メインコントローラ８０やＰＣ（Personal Computer）等の外部装置と接続するためのインターフェースである。

図６は、実施形態に係る撮像装置１ａの機能を説明するための機能ブロック図である。図６において、撮像装置１ａの機能として、測距制御部２３を具備する。

測距制御部２３は、発光制御部２３８、受光処理部２３９を具備する。測距制御部２３は、発光制御部２３８を介した面発光光源１１１ａ、１１１ｂによる発光と、受光処理部２３９を介したＴＯＦセンサ１２１ａ、１２１ｂによる受光とを同期させて制御する。

発光制御部２３８は、撮像装置１ａの機能として、駆動信号出力部２３８を少なくとも有する。

駆動信号出力部２３８は、駆動信号を面発光光源１１１ａ、１１１ｂに出力し、同時発光させる。また、駆動信号出力部２３８は、所定の電圧波形、及び所定の発光周波数で駆動信号を出力することで、面発光光源１１１ａ、１１１ｂによる発光を時間変調（時間的制御）することができる。本実施形態では、一例として、ＭＨｚ（メガヘルツ）程度の周波数で矩形波、又は正弦波の駆動信号を所定のタイミングで面発光光源１１１ａ、１１１ｂに出力する。

受光処理部２３９は、撮像装置１ａの機能として、位相信号入力部２３９ａ、距離画像取得部２３９ｂ、格納部２３９ｃ、距離画像結合部２３９ｄを少なくとも有する。

位相信号入力部２３９ａは、センサＩ／Ｆ２３６等により実現され、ＴＯＦセンサ１２１ａ、１２１ｂが出力する位相信号を入力する。位相信号入力部２３９ａは、ＴＯＦセンサ１２１ａ、１２１ｂにおける二次元に配列された画素毎の位相信号を入力することができる。また、位相信号入力部２３９ａは、入力した位相信号を距離画像取得部２３９ｂに出力する。なお、本実施形態では、位相信号入力部２３９ａに２つのＴＯＦセンサ１２１ａ、１２１ｂが接続されている。このため、２セット分の位相信号が出力されることになる。

距離画像取得部２３９ｂは、位相信号入力部２３９ａから入力したＴＯＦセンサ１２１ａ、１２１ｂの画素毎の位相信号に基づいて、撮像装置１ａから対象物までの距離画像データを取得する。ここで、距離画像とは、画素毎に取得した距離データを画素の位置に応じて二次元に配列させて生成された画像であり、例えば、距離を画素の輝度に変換して生成された画像である。距離画像取得部２３９ｂは、取得した２つの距離画像データを格納部２３９ｃに出力する。

格納部２３９ｃは、ＲＡＭ２３３等により実現され、距離画像取得部２３９ｂから入力した距離画像データを一時格納する。

距離画像結合部２３９ｄは、格納部２３９ｃで一時格納された２つの距離画像データを読み出し、これらを結合して１つの全天球距離画像データを生成する。

なお、距離画像結合部２３９ｄは、ＣＰＵ２３１が制御プログラムを実行することにより実現される。しかしながら、当該例に限定されず、距離画像結合部２３９ｄの一部又は全部を、同様の各機能を実行するように設計された専用のハードウェア、例えばＡＳＩＣ（Application Specific Integrated Circuit）、ＤＳＰ（digital signal processor）、ＦＰＧＡ（field programmable gate array）等の半導体集積回路や従来の回路モジュール等によって実現するようにしてもよい。

なお、上述では、図６に示した構成が撮像装置１ａに内蔵されるものとして説明しているが、これはこの例に限定されない。例えば、図６に示した構成を、撮像装置１ａと接続可能な外部の情報処理装置に持たせてもよい。

（距離算出処理）
次に、撮像装置１ａによって実行される距離算出処理について説明する。

ＴＯＦセンサ１２１ａ、１２１ｂは、それぞれ１つの受光素子に２つの電荷蓄積部（第１電荷蓄積Ａ、第２電荷蓄積Ｂ）を持ち、どちらに電荷を蓄積するかを高速に切り替えることができる。このため、一つの矩形波に対して、真逆の位相信号２つを同時に検出可能である。例えば０度と１８０度の組み合わせ、もしくは９０度と２７０度の組み合わせを同時に検出することができる。従って、２回の投光受光プロセスにより、距離計測できる。

図７は、撮像装置１ａによって実行される距離算出処理について説明するための図であり、投光、反射光に対する第１電荷蓄積部α、第２電荷蓄積部βの蓄積タイミングをグラフ化したものである。同図において、斜線エリアは、電荷が蓄積された期間を示している。

なお、蓄積される電荷量を増やすため、投光は一回の矩形波ではなく、デューティ比５０％の矩形波の繰り返しパターンとし、それに応じて第１電荷蓄積Ａ、第２電荷蓄積Ｂの切り替えも繰り返して行うことが好ましい。

４つの位相信号Ａ０、Ａ９０、Ａ１８０、Ａ２７０は、それぞれ照射光のパルス周期に対して、時間的に０°、９０°、１８０°、２７０°の４つの位相に分割された位相信号であるため、次の（１）式を用いて位相差角φを求めることができる。
φ＝Ａｒｃｔａｎ｛（Ａ９０－Ａ２７０）／（Ａ０－Ａ１８０）｝ （１）

位相差角φを用いて、遅延時間Ｔｄは、次の（２）式から求めることができる。
Ｔｄ＝φ／２π×Ｔ（Ｔ＝２Ｔ０、Ｔ０：照射光のパルス幅) （２）

遅延時間Ｔｄを用いて対象物までの距離値ｄは、次の（３）式より求めることができる。
ｄ＝Ｔｄ×ｃ÷２（ｃ：光速）…（３）

次に、撮像装置１ａによって実行される、距離算出処理を含む（全天球距離画像の）撮像処理について説明する。

図８は、全天球距離画像の撮像処理の流れを示したフローチャートである。同図に示す様に、駆動信号出力部２３８ａは、駆動信号を投光部１１ａ、１１ｂに出力し（ステップＳ１）、投光部１１ａ、１１ｂ内の面発光光源１１１ａ、１１１ｂを同時発光させる。

なお、このステップＳ１において。駆動信号出力部２３８ａは、所定の電圧波形、及び所定の発光周波数で駆動信号を出力することで、発光部による発光を時間変調（時間的制御）する。例えば、駆動信号出力部２３８ａは、ＭＨｚ（メガヘルツ）程度の周波数で矩形波、又は正弦波の駆動信号を所定のタイミングで投光部１１ａ、１１ｂに出力する。

位相信号入力部２３９ａは、受光部１２ａ、１２ｂのＴＯＦセンサ１２１ａ、１２１ｂが出力する第１グループの発光に応じた位相信号を入力し、入力した位相信号を距離画像取得部２３９ｂに出力する（ステップＳ２）。

距離画像取得部２３９ｂは、位相信号入力部２３９ａから入力したＴＯＦセンサ１２１ａ、１２１ｂの画素毎の位相信号に応じて、第１グループの発光に応じた当該撮像装置１ａから対象物までの距離画像データを取得する（ステップＳ３）。距離画像取得部２３９ｂは、取得した距離画像データを格納部２３９ｃに出力する。格納部２３９ｃは、距離画像取得部格納部２３９ｂから入力した距離画像データを一時格納する。

距離画像結合部２３９ｄは、格納部２３９ｃで一時格納された２つの距離画像データを読み出し、これらを結合して１つの全天球距離画像データを生成する（ステップＳ４）。

図９は、図８のステップＳ４における距離画像データの結合処理の流れを示したフローチャートである。

同図に示す様に、まず、距離画像結合部２３９ｄは、魚眼画像形式の２つの距離画像データを取得する（ステップＳ４０１）。

ここで、魚眼画像形式について説明する。図１０（ａ）は、魚眼画像形式について説明するための図であり、魚眼レンズ（すなわち、ＴＯＦ受光レンズ１２０ａ、１２０ｂ）がどのように３次元入射光を２次元に射影するかを説明するための図である。図１０（ｂ）は、図１０（ａ）の関係において、３次元入射光が射影された２次元平面を示した図である。

図１０（ａ）に示す様に、入射角φは、魚眼レンズの縁に接する平面と光軸との交点を頂点とした場合の、光軸に対する角度として表される。１８０°を超える画角を持つ魚眼レンズで撮像された魚眼画像は、撮像位置から、凡そ半球分のシーンの画像となる。

図１０（ａ）および図１０（ｂ）に示されるように、射影関数ｆ（φ）で関係が決められる、入射角φに対応する像高ｈで魚眼画像が生成される。射影関数ｆ（φ）は、魚眼レンズの性質によって異なる。例えば、像高ｈ、焦点距離ｆＬ、入射方向と光軸の成す角（入射角）をφとして、下記の（４）式で表される等距離射影方式と呼ばれる射影方式を持つ魚眼レンズがあり、今回はそれを用いるものとする。
ｈ＝ｆＬ×φ …（４）

図９に戻り、距離画像結合部２３９ｄは、魚眼画像形式の２つの距離画像データをそれぞれ正距円筒画像形式に変換する（ステップＳ４０２）。本ステップＳ４０２において、２つの距離画像データを同じ座標系に基づいて正距円筒画像形式に変換することで、次のステップＳ４０３での画像結合を容易にする。

ここで、正距円筒画像形式について説明する。正距円筒画像形式は、全天球画像を表現可能な方式であり、正距円筒図法を用いて作成される画像（正距円筒画像）の形式である。正距円筒図法とは、地球儀の緯度経度のような、２変数で３次元の方向を表し、緯度経度が直交するように平面表示した図法である。従って、正距円筒画像は、正距円筒図法を用いて生成された画像であり、球面座標系の２つの角度変数を２軸とする座標で表現されている。

図１１（ａ）は、正距円筒画像における座標の一例を示した図である。図１１（ｂ）は、球面における座標の一例を示した図である。図１１（ａ）、図１１（ｂ）を参照しながら、正距円筒画像形式における球面と正距円筒画像との対応関係について説明する。

正距円筒画像は、図１１（ａ）に示す様な、水平角度が－１８０～１８０°、垂直角度が－９０～９０°の、角度座標に対応する画素値を持つ画像である。角度座標は、球面上の各点と対応付けられており、地球儀の緯度経度座標のようなものとなっている。

一方、図１１（ｂ）示す魚眼画像の座標と、図１１（ａ）に示す正距円筒画像の座標との関係は、図１０（ｂ）で説明したような射影関数ｆ（φ）を用いることで対応付けることができる。従って、この対応関係を用いて、魚眼画像形式の２つの画像データから、正距円筒画像形式への画像変換を実行することができる。

図９に戻り、距離画像結合部２３９ｄは、２つの正距円筒画像形式の距離画像データを結合し、１つの全天球距離画像データを生成する（ステップＳ４０３）。こうして生成される全天球距離画像データは、ステップＳ４０１において入力する２つの距離画像データが全画角１８０度超の領域をカバーしていることから、適切に繋ぐことで全天球領域をカバーするものとなる。なお、複数画像を繋ぐための既存の技術を用いることができ、特に方法は限定しない。

図１２は、距離画像データの結合処理に従う距離画像の画像形式の変化について説明するための図である。

同図に示す様に、ステップＳ４０１において入力される距離画像１、２は、魚眼画像形式の画像である。魚眼画像形式は、いわゆる円周魚眼であり、円状に有効領域を持ち、その外側は無効領域として、図１２に示す様に通常は黒い領域となる。

また、ステップＳ４０２において、距離画像１、２は、正距円筒画像形式の画像に変換される。なお、２つのＴＯＦ受光レンズ１２０ａ、１２０ｂは、その向き（レンズに入射する光の方向）が互いに逆向きになっている。従って、同じ球面座標系に基づいて正距円筒画像形式に変換すると、有効領域と無効領域はおおよそ逆（１８０度ずれたもの）になっている。また、２つのＴＯＦ受光レンズ１２０ａ、１２０ｂは、画角が１８０度超の魚眼レンズであるため、球面の半分以上をカバーする。このため、正距円筒画像形式の画像としての距離画像１、２の有効領域は、一部重複する。

また、ステップＳ４０３において、距離画像１、２は結合され、正距円筒画像形式の全天球距離画像となる。ステップＳ４０１において入力する魚眼画像形式２つの距離画像１、２は全画角１８０度超の領域をカバーしている。従って、この魚眼画像形式の距離画像から生成された正距円筒画像形式の距離画像１、２は、２つ合わせると全天球領域をカバーすることができる。

（効果）
以上述べた本実施形態に係る全天球撮像装置によれば、投光範囲を１８０度以上とするＴＯＦ投光レンズ１１０ａ、１１０ｂ（投光部１１ａ、１１ｂ）が、光軸を略平行とし、他の何れか一つのＴＯＦ投光レンズ（投光部）と光軸を略上の投光方向を逆として、ＴＯＦ受光レンズ１２０ａ、１２０ｂ（受光部１２ａ、１２ｂ）によるそれぞれの受光範囲の外側に配置されている。また、受光範囲を１８０度以上とするＴＯＦ受光レンズ１２０ａ、１２０ｂ（受光部１２ａ、１２ｂ）が、光軸を略平行とし、他の何れか一つのＴＯＦ受光レンズと光軸を略上の投光方向を逆として、ＴＯＦ投光レンズ１１０ａ、１１０ｂ（投光部１１ａ、１１ｂ）によるそれぞれの投光範囲の外側に配置されている。

従って、投光範囲を１８０度以上とするＴＯＦ投光レンズ１１０ａ、１１０ｂの上記配置により、投光範囲を３６０度とすることができる。また、受光範囲を１８０度以上とするＴＯＦ受光レンズ１２０ａ、１２０ｂの上記配置により、受光範囲を３６０度とすることができる。

また、ＴＯＦ投光レンズ１１０ａ、１１０ｂは、受光範囲１１０ａＲ、１１０ｂＲ（すなわち、ＴＯＦ受光レンズ１２０ａ、１２０ｂの画角）に入らないように（写り込むことがないように）、また、ＴＯＦ受光レンズ１２０ａ、１２０ｂは、投光範囲１２０ｂＲ、１２０ｂＲ（すなわち、ＴＯＦ投光レンズ１１０ａ、１１０ｂの画角）に入らないように（写り込むことがないように）、それぞれ配置されている。従って、投光範囲、受光範囲のそれぞれにおいて、投光部と受光部とが互いに邪魔をすることがなく、死角がない全天球領域による撮像を実現することができる。

（比較例）
図１３は、従来のＴＯＦカメラの配置に基づいた全天球ＴＯＦカメラ３０について説明する図である。同図に示す様に、全天球ＴＯＦカメラ３０は、例えば直方体形状を有する筐体１０５の向かい合う側面のうちの一方において、ＴＯＦ投光レンズ１１０ａとＴＯＦ受光レンズ１２０ａとが並べて配置され、筐体１０５の向かい合う側面のうちの他方において、ＴＯＦ投光レンズ１１０ｂとＴＯＦ受光レンズ１２０ｂとが並べて配置されている。

係る従来の構成の場合、ＴＯＦ投光レンズ１１０ａの投光範囲１１０ａＲの中にＴＯＦ受光レンズ１２０ａが映り込んでしまい、また、ＴＯＦ受光レンズ１２０ａの受光範囲１２０ａＲの中にＴＯＦ投光レンズ１１０ａが映り込んでしまう。同様に、ＴＯＦ投光レンズ１１０ｂの投光範囲１１０ｂＲの中にＴＯＦ受光レンズ１２０ｂが映り込んでしまい、また、ＴＯＦ受光レンズ１２０ｂの受光範囲１２０ｂＲの中にＴＯＦ投光レンズ１１０ｂが映り込んでしまう。従って、従来の構成では、ＴＯＦ受光レンズとＴＯＦ投光レンズの画角が互いに邪魔をしてしまい、全角１８０度超をカバーする全天球距離画像を取得することはできない。

これに対し、本実施形態に係る撮像装置１ａでは、投光範囲、受光範囲のそれぞれにおいて、投光部と受光部とが互いに邪魔をすることはない。従って、死角がない全天球領域による撮像を実現することができる。

［実施形態の第１の変形例］
次に、実施形態の第１の変形例について説明する。図１４は、実施形態の第１の変形例に係る撮像装置１ｂを、筐体１０ｂの上面側から見た例を示す図である。なお、図１４において、上述した図１、図２と共通する部分には同一の符号を付して、詳細な説明を省略する。

図１、図２に示した撮像装置１ａは、立方体形状である筐体１０ａの４つの側面に、ＴＯＦ投光レンズ１１０ａ、１１０ｂと、ＴＯＦ受光レンズ１２０ａ、１２０ｂとを配置する構成であった。これに対し、本第１の変形例に係る撮像装置１ｂは、図１４に示す様に、図１、図２に示した撮像装置１ａにおいて、立方体形状の筐体１０ａの各側面の境界の辺を面取りした筐体１０ｂを具備する構成となっている。すなわち、筐体１０ｂは、立方体形状の筐体１０ａのＴＯＦ投光レンズ１１０ａ、１１０ｂとＴＯＦ受光レンズ１２０ａ、１２０ｂとの間の角が切り取られるように面取りされた形状となっている。

筐体１０ｂをこの様な形状にすることで、ＴＯＦ投光レンズ１１０ａ、１１０ｂ及びＴＯＦ受光レンズ１２０ａ、１２０ｂの大きさに対して筐体１０ｂを大きくしたとしても、レンズの画角内に対する筐体１０ｂの映り込みを防ぐことができる。

なお、立方体を面取りした立体は、面取りを行わない状態の各面について当該立体を構成する仮想的な面として考えることで、当該立体を立方体と見做すことができる。

［実施形態の第２の変形例］
次に、実施形態の第２の変形例について説明する。図１５（ａ）は、実施形態の第２の変形例に係る撮像装置１ｃの外観の例を概略的に示す斜視図である。図１５（ｂ）は、実施形態の第２の変形例に係る撮像装置１ｃを筐体１０ｃの上面側から見た図である。なお、図１５（ａ）、図１５（ｂ）において、上述した図１、図２と共通する部分には同一の符号を付して、詳細な説明を省略する。また、図１５（ａ）において、ＴＯＦ投光レンズ１２０ａ、ＴＯＦ受光レンズ１２０ｂは、図上にて筐体１０ｃの背面側にあるため、図においては符号のみ示している。

図１、図２に示した撮像装置１ａは、立方体形状である筐体１０ａを具備する構成とした。これに対して、本第２の変形例に係る撮像装置１ｃは、図１５（ａ）、図１５（ｂ）に示す様に、対向する２辺の長さが等しく頂点で接する２辺の長さが異なる長方形を上面とする筐体１０ｃを具備する構成となっている。

なお、筐体１０ｂは、上面としての長方形が、短辺および長辺の長さの比が所定以下、すなわち、各レンズの画角内に別のレンズが映り込まない形状であれば、直方体形状であっても問題ない。

また、これに限らず、ＴＯＦ投光レンズ１１０ａ、１１０ｂ及びＴＯＦ受光レンズ１２０ａ、１２０ｂが配置される筐体は、６面の４角形に囲まれ、対向する２面が平行な立体であって、６面のうち４面以上の各面にＴＯＦ投光レンズ１１０ａ、１１０ｂ及びＴＯＦ受光レンズ１２０ａ、１２０ｂのいずれかが配置される形状であればよい。例えば、６面全てが平行四辺形で構成される平行六面体と呼ばれる形状であってもよい。

［実施形態の第３の変形例］
次に、実施形態の第３の変形例について説明する。実施形態の第３の変形例に係る撮像装置１ｄは、全天球距離画像に加えて、全天球ＲＧＢ画像をも取得可能な構成を有する。

図１６（ａ）は、実施形態の第３の変形例に係る撮像装置１ｄの外観の例を概略的に示す斜視図である。図１６（ｂ）は、実施形態の第３の変形例に係る撮像装置１ｄを筐体１０ｄの上面側から見た図である。

図１６（ａ）、図１６（ｂ）に示す様に、撮像装置１ｄは、図１、図２に示した撮像装置１ａの構成に加えて、それぞれ筐体１０ｄの上面と底面とに配置されたＲＧＢセンサ１３ａ、１３ｂを具備する。ＲＧＢセンサ１３ａ、１３ｂは、全角１８０度超のＲＧＢ受光レンズ１３０ａ、１３０ｂとエリアセンサを備え、可視光を用いて魚眼画像形式の可視光撮像（ＲＧＢ画像）を取得するデバイスである。

ＲＧＢ受光レンズ１３０ａ、１３０ｂは、筐体１０ｄにおいて、少なくとも二つのＴＯＦ投光レンズ１１０ａ、１１０ｂによるそれぞれの投光範囲１１０ａＲ、１１０ｂＲの外側に配置され、且つ、少なくとも二つのＴＯＦ受光部によるそれぞれの受光範囲１２０ａＲ、１２０ｂＲの外側に配置される。また、ＲＧＢ受光レンズ１３０ａ、１３０ｂは、筐体１０ｄにおいて、画角範囲が真逆になるように配置されている。

すなわち、図１６（ａ）、図１６（ｂ）に示す様に、撮像装置１ｄの筐体１０ｄにおいては、立方体もしくは直方体の向かい合う２面に同一レンズを配置している。言い換えれば、全てのレンズが別のレンズの画角範囲に写り込むことがないように（ＴＯＦ投光レンズ１１０ａ、１１０ｂ、ＴＯＦ受光レンズ１２０ａ、１２０ｂ、ＲＧＢ受光レンズ１３０ａ、１３０ｂは、相互に写り込むことがないように）、それぞれを配置されている。従って、従って、死角がない全天球距離画像及び全天球ＲＧＢ画像を取得することができる。

図１７は、本第３の変形例に係る撮像装置１ｄのハードウェア構成について説明する図である。同図に示す様に、撮像装置１ｄは、図５に示した撮像装置１ａのハードウェア構成に加えて、２つのエリアセンサ１３１ａ、１３１ｂに加えて、ＲＧＢセンサＩ／Ｆ２４０をさらに具備する。

エリアセンサ１３１ａ、１３１ｂは、一般的なデジタルカメラに使われているようなセンサであり、可視光画像（ＲＧＢ画像）を取得することができる。

ＲＧＢセンサＩ／Ｆ２４０は、エリアセンサ１３１ａ、１３１ｂに電気的に接続され、エリアセンサ１３１ａ、１３１ｂの出力するＲＧＢ信号を入力するインターフェースである。

図１８は、本第３の変形例に係る撮像装置１ｄの機能を説明するための機能ブロック図である。同図に示す様に、撮像装置１ｄは、図６に示した撮像装置１ａの機能に加えて、ＲＧＢ画像処理部２４１をさらに具備する。

ＲＧＢ画像処理部２４１は、ＲＧＢ画像入力部２４１ａ、ＲＧＢ画像格納部２４１ｂ、ＲＧＢ画像結合部２４１ｃを有している。

ＲＧＢ画像入力部２４１ａは、エリアセンサ１３１ａ、１３１ｂが出力するＲＧＢ画像を入力する。例えば、ＲＧＢ画像入力部２４１ａは、エリアセンサ１３１ａ、１３１ｂにおける二次元に配列された画素毎のＲＧＢ信号を入力することができる。ＲＧＢ画像入力部２４１ａは、入力したＦＲＧＢ画像をＲＧＢ画像格納部２４１ｂに出力する（本変形例では、ＲＧＢ画像処理部２４１に２つのエリアセンサ１３１ａ、１３１ｂが接続されているため、２つのＲＧＢ画像を出力する）。なお、ＲＧＢ画像入力部２４１ａは、ＲＧＢセンサＩ／Ｆ２４０等により実現される。

ＲＧＢ画像格納部２４１ｂは、ＲＡＭ２３３等により実現され、ＲＧＢ画像入力部２４１ａから入力したＲＧＢ画像データを一時格納する。

ＲＧＢ画像結合部２４１ｃは、ＲＧＢ画像格納部２４１ｂで一時格納された２つのＲＧＢ画像データを読み出し、これらを結合して１つの全天球ＲＧＢ画像データを生成する。なお、ＲＧＢ画像結合部２４１ｃは、ＣＰＵ２３１が制御プログラムを実行することにより実現される。しかしながら、当該例に限定されず、ＲＧＢ画像結合部２４１ｃの一部又は全部を、同様の各機能を実行するように設計された専用のハードウェア、例えばＡＳＩＣ（Application Specific Integrated Circuit）、ＤＳＰ（digital signal processor）、ＦＰＧＡ（field programmable gate array）等の半導体集積回路や従来の回路モジュール等によって実現するようにしてもよい。

測距制御部２３は、面発光光源１１１ａ、１１１ｂの発光と、ＴＯＦセンサ１２１ａ、１２１ｂによる受光とを同期させて制御することができるとともに、エリアセンサ１３１ａ、１３１ｂによる受光も同期することで、同じタイミングでの距離画像とＲＧＢ画像を取得することができる。

図１９は、本第３の変形例に係る撮像装置１ｄによって実行される、ＲＧＢ画像結合処理の流れを示したフローチャートである。

同図に示す様に、ＲＧＢ画像入力部２４１ａは、魚眼画像形式の２つのＲＧＢ画像データを入力する（ステップＳ１１）。ＲＧＢ画像格納部２４１ｂは、ＲＧＢ画像入力部２４１ａが入力した２つのＲＧＢ画像データを一時格納する。

ＲＧＢ画像格納部２４１ｂは、各ＲＧＢ画像データを正距円筒画像形式に変換する（ステップＳ１２）。なお、正距円筒画像形式は、上述の通り、全天球画像を表現可能な方式である。ＲＧＢ画像格納部２４１ｂは、２つのＲＧＢ画像データを同じ座標系に基づいて正距円筒画像形式に変換することで、次のステップでの画像結合を容易にする。

ＲＧＢ画像格納部２４１ｂは、ステップＳ１２で生成された２つのＲＧＢ画像データを結合し、１枚の全天球ＲＧＢ画像データを生成する（ステップＳ１３）。入力された２つのＲＧＢ画像データは、全画角１８０度超の領域をカバーしている。このため、この２つのＲＧＢ画像データを適切に繋ぐことで生成された全天球ＲＧＢ画像データは、全天球領域をカバーすることができる。

なお、ステップＳ１３における結合処理は、複数画像を繋ぐための既存の技術を用いることができ、特に方法を限定しない。

［実施形態の第４の変形例］
次に、実施形態の第４の変形例について説明する。図２０は、実施形態の第４の変形例に係る撮像装置１ｆを、筐体１０ｆの上面側から見た例を示す図である。なお、図２０において、上述した図１、図２と共通する部分には同一の符号を付して、詳細な説明を省略する。

図１、図２に示した撮像装置１ａは、立方体形状である筐体１０ａを具備する構成とした。これに対して、本第２の変形例に係る撮像装置１ｆは、図２０に示す様に、筐体１０ｆを六角柱により構成し、筐体１０ｆにおける六角柱の６つの面（側面）に、投光範囲を１８０度以上とするＴＯＦ投光レンズ１１０ａ、１１０ｂが、光軸を略平行とし、他の何れか一つのＴＯＦ投光レンズと光軸を略上の投光方向を逆として、ＴＯＦ受光レンズ１２０ａ、１２０ｂによるそれぞれの受光範囲の外側に配置され、ＲＧＢ受光レンズ１３０ａ、１３０ｂの受光範囲の外側に配置されている。また、受光範囲を１８０度以上とするＴＯＦ受光レンズ１２０ａ、１２０ｂが、光軸を略平行とし、他の何れか一つのＴＯＦ受光レンズと光軸を略上の投光方向を逆として、ＴＯＦ投光レンズ１１０ａ、１１０ｂによるそれぞれの投光範囲の外側に配置され、ＲＧＢ受光レンズ１３０ａ、１３０ｂの受光範囲の外側に配置されている。さらに、受光範囲を１８０度以上とするＲＧＢ受光レンズ１３０ａ、１３０ｂが、互いに画角範囲が逆になるようにして、ＴＯＦ投光レンズ１１０ａ、１１０ｂによるそれぞれの投光範囲の外側に配置され、ＴＯＦ受光レンズ１２０ａ、１２０ｂによるそれぞれの受光範囲の外側に配置されている。

すなわち、筐体１０ｆを六角柱形状にすることで、ＴＯＦ投光レンズ１１０ａ、１１０ｂ、ＴＯＦ受光レンズ１２０ａ、１２０ｂ、ＲＧＢ受光レンズ１３０ａ、１３０ｂは、相互に写り込むことがないように、それぞれを配置することができる。従って、死角がない全天球距離画像及び全天球ＲＧＢ画像を取得することができる。

また、実施形態の第３の変形例に比べて、下面にレンズが無いことで、グリップや撮像ボタンを配置するスペースを確保することが容易となる。

［実施形態の第５の変形例］
次に、実施形態の第５の変形例について説明する。実施形態の第５の変形例に係る撮像装置１ｇは、（ＴＯＦ）受光部の数を増やし、1つの受光部がカバーする画角を狭くして、全天球距離画像の解像度を向上させる構成を具備するものである。

図２１（ａ）は、実施形態の第５の変形例に係る撮像装置１ｇの外観の例を概略的に示す斜視図である。図２１（ｂ）は、実施形態の第５の変形例に係る撮像装置１ｇを、図２１（ａ）の視点に対し反対側の視点からの外観の例を概略的に示す斜視図である。すなわち、図２１（ａ）、（ｂ）は、同じ撮像装置１ｇを異なる方向から見た図を示したものである（左にｘｙｚ座標系を示しており、互いにz軸に１８０度回転した方向からの表示した関係となっている）。

図２１（ａ）、図２１（ｂ）に示す様に、撮像装置１ｇは２つのＴＯＦ投光レンズ１１０ａ、１１０ｂ（すなわち、２つの投光部１１ａ、１１ｂ）と、ＲＧＢ受光レンズ１３０ａ、１３０ｂ（すなわち、２つのＲＧＢセンサ１３ａ、１３ｂ）と、６つのＴＯＦ受光レンズ１２０ａ、１２０ｂ、１２０ｃ、１２０ｄ、１２０ｅ、１２０ｆ（すなわち、６つのＴＯＦセンサ１２ａ、１２ｂ、１２ｃ、１２ｄ、１２ｅ、１２ｆ）と、筐体１０ｇとを具備している。

筐体１０ｇは、立方体形状の各頂点を、当該頂点で交わる３つの辺の中点を通る平面によって切り落とした（面取りした）形状となっている。６つのＴＯＦ受光レンズ１２０ａ、１２０ｂ、１２０ｃ、１２０ｄ、１２０ｅ、１２０ｆは、面取り前である立方体形状としての筐体１０ｇの各面（６面）にそれぞれ配置されている。２つのＴＯＦ投光レンズ１１０ａ、１１０ｂは、筐体１０ｇについて、それぞれ立方体が面取りされて形成された面において、光軸を略平行とし、他の何れか一つのＴＯＦ投光レンズと光軸を略上の投光方向を逆として、各ＴＯＦ受光レンズの受光範囲の外側に配置され、ＲＧＢ受光レンズ１３０ａ、１３０ｂの受光範囲の外側に（互いに画角範囲が逆になるように）配置されている。２つのＲＧＢ受光レンズ１３０ａ、１３０ｂは、筐体１０ｇについて、それぞれ立方体が面取りされて形成された面において、互いに画角範囲が逆になるように配置されている。

すなわち、撮像装置１ｇにおいては、全天球領域をカバーする２つのＴＯＦ投光レンズ１１０ａ、１１０ｂと、全天球領域をカバーする２つのＲＧＢ受光レンズ１３０ａ、１３０ｂと、６つのＴＯＦ受光レンズ１２０ａ、１２０ｂ、１２０ｃ、１２０ｄ、１２０ｅ、１２０ｆとは、相互に写り込むことがないように、それぞれ配置されている。従って、死角がない全天球ＲＧＢ画像、及び死角がなく解像度がより高いＴＯＦ方式の全天球距離画像を取得することができる。

［実施形態の第６の変形例］
次に、実施形態の第６の変形例について説明する。実施形態の第６の変形例に係る撮像装置１ｈは、第４の変形例に係る撮像装置１ｆに対してさらに２つのＲＧＢセンサを加えることで、ステレオ測距方式による全天球距離画像を取得可能とするものである。

図２２は、実施形態の第６の変形例に係る撮像装置１ｈを、筐体１０ｈの上面側から見た例を示す図である。なお、図２２において、上述した図１、図２、図２０と共通する部分には同一の符号を付して、詳細な説明を省略する。

図２２に示した撮像装置１ｇは、図２０に示した撮像装置１ｈに対して、六角柱形状を有する筐体１０ｈの上面にＲＧＢ受光レンズ１３０ｃ（ＲＧＢセンサ１３ｃ）、底面にＲＧＢ受光レンズ１３０ｄ（ＲＧＢセンサ１３ｄ）をさらに設けた構成を具備している。

すなわち、撮像装置１ｇは、４つのＲＧＢ受光レンズ１３０ａ、１３０ｂ、１３０ｃ、１３０ｄ（すなわち、４つのＲＧＢセンサ１３ａ、１３ｂ、１３ｃ、１３ｄ）を具備している。また、ＲＧＢ受光レンズ１３０ａ（ＲＧＢセンサ１３ａ）とＲＧＢ受光レンズ１３０ｂ（ＲＧＢセンサ１３ｂ）とは互いに画角範囲が逆になるように配置され、ＲＧＢ受光レンズ１３０ｃ（ＲＧＢセンサ１３ｃ）とＲＧＢ受光レンズ１３０ｄ（ＲＧＢセンサ１３ｄ）とは互いに画角範囲が逆になるように配置されている。従って、４つのＲＧＢセンサ１３ａ、１３ｂ、１３ｃ、１３ｄにより、ステレオ測距方式による全天球距離画像を生成することができる。なお、ステレオ測距方式による全天球距離画像の生成の詳細については、ここでは割愛する。

一般に、ステレオ測距方式の全天球距離画像の特性は、ＴＯＦ方式の全天球距離画像と特性と異なる。例えば、ＴＯＦ方式の全天球距離画像は、高精度であり、テクスチャーのない領域も測距できるが、解像度は低い傾向にある。一方、ステレオ測距方式の全天球距離画像は、高解像度で測距できるが、長距離では精度が悪く、またテクスチャーのある領域でしか測距できない。

第６の変形例に係る撮像装置１ｈによれば、死角がないステレオ測距方式の全天球距離画像と、死角がないＴＯＦ方式の全天球距離画像とを適切に融合することで、相補的により良い全天球距離画像を取得することができる。

なお、上述の実施形態及び各変形例は、本発明の好適な実施の例ではあるがこれに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変形による実施が可能である。

１ａ、１ｂ、１ｃ、１ｄ、１ｆ、１ｇ、１ｈ 撮像装置
１０ａ、１０ｂ、１０ｃ、１０ｄ、１０ｆ、１０ｇ、１０ｈ、１０５ 筐体
１１ａ、１１ｂ 投光部
１２ａ、１２ｂ 受光部
１３ａ、１３ｂ ＲＧＢセンサ
１４ グリップ部
１５ 撮像ボタン
２３ 測距制御部
１１０ａ、１１０ｂ ＴＯＦ投光レンズ
１１０ａＲ、１１０ｂＲ 投光範囲
１２０ａ、１２０ｂ、１２０ｃ、１２０ｄ、１２０ｅ、１２０ｆ ＴＯＦ受光レンズ
１２０ａＲ、１２０ｂＲ 受光範囲
１３０ａ、１３０ｂ ＲＧＢ受光レンズ
１３０ａＲ、１３０ｂＲ 受光範囲
１３１ａ、１３１ｂ エリアセンサ
２３１ ＣＰＵ
２３２ ＲＯＭ
２３３ ＲＡＭ
２３４ ＳＳＤ
２３５ 光源駆動回路
２３６ センサＩ／Ｆ
２３７ 入出力Ｉ／Ｆ
２３８ 発光制御部
２３８ａ 駆動信号出力部
２３９ 受光処理部
２３９ａ 位相信号入力部
２３９ｂ 距離画像取得部
２３９ｃ 格納部
２３９ｄ 距離画像結合部
２４０ ＲＧＢセンサＩ／Ｆ
２４１ ＲＧＢ画像処理部
２４１ａ ＲＧＢ画像入力部
２４１ｂ ＲＧＢ画像格納部
２４１ｃ ＲＧＢ画像結合部

特開２０１８－１５２６３２号公報

Claims (9)

1. 少なくとも二つの投光部と、
   少なくとも二つの受光部と、
   前記少なくとも二つの投光部と前記少なくとも二つの受光部とを配置する筐体と、
   を具備し、
   前記少なくとも二つの投光部のそれぞれは、前記筐体において、他の何れか一つの前記投光部と光軸を略平行とし、他の何れか一つの前記投光部と投光方向を逆として、前記少なくとも二つの受光部のそれぞれの受光範囲の外側に配置され、
   前記少なくとも二つの受光部のそれぞれは、前記筐体において、他の何れか一つの前記受光部と光軸を略平行とし、他の何れか一つの前記受光部と受光方向を逆として、前記少なくとも二つの投光部のそれぞれの投光範囲の外側に配置され、
   前記少なくとも二つの投光部のそれぞれの投光範囲は１８０度以上であり、
   前記少なくとも二つの受光部のそれぞれの受光範囲は１８０度以上である、
   全天球撮像装置。
2. 少なくとも二つの投光部と、
   少なくとも二つの受光部と、
   前記少なくとも二つの投光部と前記少なくとも二つの受光部とを配置する筐体と、
   可視光の画像を撮像する少なくとも二つの撮像部と、
   を具備し、
   前記少なくとも二つの投光部のそれぞれは、前記筐体において、他の何れか一つの前記投光部と光軸を略平行とし、他の何れか一つの前記投光部と投光方向を逆として、前記少なくとも二つの受光部のそれぞれの受光範囲の外側に配置され、
   前記少なくとも二つの受光部のそれぞれは、前記筐体において、他の何れか一つの前記受光部と光軸を略平行とし、他の何れか一つの前記受光部と受光方向を逆として、前記少なくとも二つの投光部のそれぞれの投光範囲の外側に配置され、
   前記少なくとも二つの撮像部は、前記筐体において、互いに画角範囲を逆として、前記少なくとも二つの投光部のそれぞれの投光範囲の外側に配置され、且つ、前記少なくとも二つの受光部のそれぞれの受光範囲の外側に配置され、
   前記少なくとも二つの撮像部のそれぞれの画角領域は１８０度以上である、
   全天球撮像装置。
3. 少なくとも二つの投光部と、
   少なくとも二つの受光部と、
   前記少なくとも二つの投光部と前記少なくとも二つの受光部とを配置する筐体と、
   を具備し、
   前記少なくとも二つの投光部のそれぞれは、異なる投光方向に向いて、前記少なくとも二つの受光部のそれぞれの受光範囲の外側に配置され、
   前記少なくとも二つの受光部のそれぞれは、異なる受光方向に向いて、前記少なくとも二つの投光部のそれぞれの投光範囲の外側に配置され、
   前記少なくとも二つの投光部のそれぞれの投光範囲は１８０度以上であり、前記少なくとも二つの投光部による投光範囲が３６０度であり、
   前記少なくとも二つの受光部のそれぞれの受光範囲は１８０度以上であり、前記少なくとも二つの受光部による受光範囲が３６０度である、
   全天球撮像装置。
4. 少なくとも二つの投光部と、
   少なくとも二つの受光部と、
   可視光の画像を撮像する少なくとも二つの撮像部と、
   前記少なくとも二つの投光部と前記少なくとも二つの受光部とを配置する筐体と、
   を具備し、
   前記少なくとも二つの投光部のそれぞれは、異なる投光方向に向いて、前記少なくとも二つの受光部のそれぞれの受光範囲の外側に配置され、
   前記少なくとも二つの受光部のそれぞれは、異なる受光方向に向いて、前記少なくとも二つの投光部のそれぞれの投光範囲の外側に配置され、
   前記少なくとも二つの撮像部のそれぞれは、異なる方向に向いて、前記少なくとも二つの投光部のそれぞれの投光範囲の外側に配置され、且つ、前記少なくとも二つの受光部のそれぞれの受光範囲の外側に配置され、
   前記少なくとも二つの投光部による投光範囲及び前記少なくとも二つの受光部による受光範囲は３６０度であり、
   前記少なくとも二つの撮像部のそれぞれの画角領域は１８０度以上であり、前記少なくとも二つの撮像部による画角範囲が３６０度である、
   全天球撮像装置。
5. 前記筐体は、
   ６面の４角形に囲まれた立体であって、該６面のうち４面以上の各面に前記少なくとも二つの投光部と前記少なくとも二つの受光部とが配置される、
   請求項１乃至４のうちいずれか一項に記載の全天球撮像装置。
6. 前記筐体は、立方体形状、直方体形状、六角柱形状のいずれかである、
   請求項１乃至５のうちいずれか一項に記載の全天球撮像装置。
7. 請求項１から６のいずれか一項に記載の全天球撮像装置と、
   前記少なくとも二つの受光部のそれぞれから取得された受光信号に基づいて、前記少なくとも二つの受光部のそれぞれに対応する撮像画像を取得する取得部と、
   複数の前記撮像画像に基づき全天球距離画像を生成する画像処理部と、
   を具備する画像処理装置。
8. 筐体に、投光範囲が１８０度以上である少なくとも二つの投光部のそれぞれを、他の何れか一つの前記投光部と光軸を略平行とし、他の何れか一つの前記投光部と投光方向を逆として、少なくとも二つの受光部のそれぞれの受光範囲の外側に配置し、受光範囲が１８０度以上である前記少なくとも二つの受光部のそれぞれを、他の何れか一つの前記受光部と光軸を略平行とし、他の何れか一つの前記受光部と受光方向を逆として、前記少なくとも二つの投光部のそれぞれの投光範囲の外側に配置する、全天球撮像装置を用いて、前記少なくとも二つの受光部のそれぞれから取得された受光信号に基づいて、前記少なくとも二つの受光部のそれぞれに対応する撮像画像を取得するステップと、
   複数の前記撮像画像に基づき全天球距離画像を生成するステップと、
   を具備する画像処理方法。
9. 筐体に、少なくとも二つの投光部のそれぞれを、他の何れか一つの前記投光部と光軸を略平行とし、他の何れか一つの前記投光部と投光方向を逆として、少なくとも二つの受光部のそれぞれの受光範囲の外側に配置し、前記少なくとも二つの受光部のそれぞれを、他の何れか一つの前記受光部と光軸を略平行とし、他の何れか一つの前記受光部と受光方向を逆として、前記少なくとも二つの投光部のそれぞれの投光範囲の外側に配置する、全天球撮像装置を用いて、前記少なくとも二つの受光部のそれぞれから取得された受光信号に基づいて、前記筐体において、互いに画角範囲を逆として、前記少なくとも二つの投光部のそれぞれの投光範囲の外側に配置され、且つ、前記少なくとも二つの受光部のそれぞれの受光範囲の外側に配置され、それぞれの画角領域が１８０度以上である少なくとも二つの撮像部を用いて、前記少なくとも二つの受光部のそれぞれに対応する可視光の撮像画像を取得するステップと、
   複数の前記撮像画像に基づき全天球距離画像を生成するステップと、
   を具備する画像処理方法。

Images