JP7215472B2 - 撮像装置および撮像方法 - Google Patents

Description

本発明は、撮像装置および撮像方法に関する。

近年、撮像装置は、被写体をフィルムに写し込む銀塩カメラから、ＣＣＤ（Charged-coupled devices）やＣＭＯＳ（Complementary metal-oxide-semiconductor）などの光学センサ（光学イメージセンサ）に感光するデジタルカメラに置き換わり、その信号は光学イメージセンサ上の画素に光学画像（光学イメージ）として記録される。

一方、被測定対象である物体までの距離を測定するための３次元センサによる測距技術の開発が盛んに行われている。その技術の一つとして３次元レーザ計測がある。レーザ機器から発するレーザ光が物体に反射して返ってくるまでの時間と反射強度をもとにレーザ機器から物体までの距離を計測するもので、レーザ光を一定間隔で放射状に発することで３次元の点群データを得ることができる。なお、以下の説明では、３次元センサの被測定対象である物体についても被写体と称する。

３次元レーザ計測によれば、物体の３次元形状を調べることはできるが、写真のように画像として取得していないので、例えば金具が外れていないか、部材に割れや腐食がないか等の物体の状況を把握することには適さない。また、３次元レーザ計測用の機器は、一般に撮像装置に比べて格段に高価であり、かつ、写真撮影と比べて計測時間も長く、取得した点群データを図面に起こす際にも多くの手間がかかるため、全般的に高コストである。また、３次元レーザ計測機器は大きく重く取り扱いが容易ではないため、高所かつ不安的な箇所での計測には不適である。

３次元センサによる測距技術として、パルス光を投光してから、該パルス光が物体で反射して戻ってくるまでの時間に基づいて物体までの距離を求めるＴＯＦ（Time of Flight）演算方式を用いた測距技術が知られている（例えば、特許文献１，２）。

ＴＯＦによる測距技術では、画素がセンサ上に２次元配列されたエリアイメージセンサ（ＴＯＦイメージセンサ）が用いられ、それぞれの画素には距離情報が記録される。なお、ＴＯＦイメージセンサの各画素に画素情報が記録されたものをＴＯＦイメージ（ＴＯＦ画像）とも称する。

このような測距に用いられるエリアイメージセンサの画素数は、撮像装置に一般に用いられている光学イメージセンサの画素数に比べると少ないため、測距に用いられるエリアイメージセンサを用いても、光学イメージセンサで記録できるほどの高精彩な光学画像を記録することはできない。

光学画像と距離情報とを併せて取得する技術として、１つの装置内に光学イメージセンサとその撮像光学系、エリアイメージセンサとその撮像光学系を並べて設けた技術が知られている、また、特許文献３には、被写体から反射された光に含まれる多重波長帯域の光を通過させる第１フィルタと、制御信号により、多重波長帯域の光に含まれる特定波長帯域の光を通過させる第２フィルタと、記多重波長帯域の光を光電変換した第１画像信号と、特定波長帯域の光を光電変換した第２画像信号と、を検出する検出部と、第１画像信号から第２画像信号を除去した差分画像信号と、第２画像信号とを利用して、カラー画像及び深さ画像を生成する画像処理装置が開示されている。

しかしながら、１つの装置内に光学イメージセンサとその撮像光学系、エリアイメージセンサとその撮像光学系を並べて設けた場合、各撮像光学系での撮影位置はずれることとなるため、光学画像の画素レベルで一致した距離情報を取得することはできない。また、特許文献３の技術では、時分割切り替えによる同じ画素を光学画像と距離情報の取得に共用して、光学画像の複数の画素に対して１の距離情報を得ているため、光学画像の画素レベルで一致した距離情報を取得することはできない。

このように、従来、撮像装置で撮影される高精細な光学画像の画素情報に、画素単位で被写体までの距離情報を記録することはできなかった。

そこで本発明は、撮像装置で撮影される光学画像の画素情報に、画素単位で被写体までの距離情報を記録することができる撮像装置を提供することを目的とする。

かかる目的を達成するため、本発明に係る撮像装置は、
センサに被写体の像を結像させる２以上の撮像光学系と、
前記被写体を照射する２以上の発光部と、
前記２以上の撮像光学系と前記２以上の発光部とを所定の角度分回転させる回転制御手段と、
前記センサにより撮像された像から４πラジアンの立体角内の像を得る撮像制御手段と、を備える全天球型の撮像装置であって、
前記２以上の撮像光学系は、可視光を撮像する光学センサに前記被写体の像を結像させる第１の撮像光学系と、前記被写体までの距離を測定する３次元センサに前記被写体の像を結像させる第２の撮像光学系と、を有し、
前記第１の撮像光学系と前記第２の撮像光学系とは、それぞれの光軸が一致しており、互いに異なる方向を撮像するものであり、
前記２以上の発光部は、前記回転制御手段による回転方向における前記第２の撮像光学系の両側に、前記第２の撮像光学系の撮像範囲側を照射可能に設けられ、
前記撮像制御手段は、前記回転制御手段により前記撮像装置を所定の角度で回転させつつ、前記光学センサと前記３次元センサとを用いて同時に撮像させるものである。

本発明によれば、撮像装置で撮影される光学画像の画素情報に、画素単位で被写体までの距離情報を記録することができる。

撮像装置の一例を示す断面構成図である。 撮像装置による撮影処理の一例を示すフローチャートである。 （ａ）光学イメージセンサの受光部、（ｂ）ＴＯＦイメージセンサの受光部を示す模式図である。 ベイヤー配列の配列パターンの説明図である。 距離情報が付与された光学画像のデータファイル構造の一例を示す図である。 ＴＯＦイメージセンサの機能構成の一例を示すブロック図である。 投光系の機能構成の一例を示すブロック図である。 パルス制御信号のタイミングチャートの一例である。 光源駆動信号のタイミングチャートの一例である。 受光系の機能構成の一例を示すブロック図である。 ３次元情報取得部と受光部との間の信号の送受信の説明図である。 ＴＯＦイメージセンサにおける１フレームの概略図である。 全天球型撮像装置の要部構成図である。 全天球型撮像装置の上視図である。 全天球型撮像装置による撮影処理の一例を示すフローチャートである。 全天球型撮像装置の概略横視図である。 全天球型撮像装置の光源の一例を示す概略図である。 光源の照射角度の説明図である。 全天球型撮像装置による撮影処理の説明図である。

以下、本発明に係る構成を図１から図１９に示す実施の形態に基づいて詳細に説明する。

［第１の実施形態］
本発明に係る撮像装置の一実施形態である撮像装置１について説明する。本実施形態に係る撮像装置は、センサに被写体の像を結像させる撮像光学系（撮像光学系５）と、被写体を照射する発光部（光源２１）と、を備えた撮像装置（撮像装置１）であって、センサは、少なくとも可視光を撮像する光学センサ（光学イメージセンサ１０）と、被写体までの距離を測定する３次元センサ（ＴＯＦイメージセンサ２０）と、を有し、光学センサまたは３次元センサのいずれか一方を用いて撮像光学系により結像された像を撮像した後、該撮像光学系による結像位置に、他方のセンサを変位させて撮像する撮像制御手段を備えるものである。なお、括弧内は実施形態での符号、適用例を示す。

（撮像装置構成）
図１は、本実施形態に係る撮像装置１の一例を示す断面構成図である。撮像装置１は、筐体３、基板４、光学イメージセンサ１０、ＴＯＦイメージセンサ２０、撮像光学系５（レンズ５として簡易的に示す）、および光源２１を備えている。

筐体３内に配置された基板４には、画像を撮影する撮像素子としての光学イメージセンサ１０と、距離取得用の受光素子としてのＴＯＦイメージセンサ２０とが固設されているとともに、基板４は、該基板４を変位可能に支持する手段に支持されるとともに、撮像装置１の制御手段（撮像制御手段）によりその変位が制御され、図１（ａ）に示す位置と、図１（ｂ）に示す位置との間で往復移動が可能となっている。なお、光学イメージセンサ１０は、例えば、ＣＭＯＳイメージセンサである。また、本実施形態では、３次元センサとして、ＴＯＦイメージセンサ２０を用いる場合を説明するが、他の３次元センサを適用することもできる。各イメージセンサの詳細については後述する。

撮像装置１による撮影時には、先ず、図１（ａ）に示す状態（第一状態という）にて可視光での映像を光学イメージセンサ１０にて撮影する。次いで、図１（ｂ）に示すように、光学イメージセンサ１０にて撮影された略同一位置にＴＯＦイメージセンサ２０が来るように基板４を変位させた状態（第二状態という）とする。そして、光源２１からパルス光を発光させて再度撮影を行う。ＴＯＦイメージセンサ２０を用いた撮影後は、基板４を変位させて、再び第一状態に戻すようにする。

（撮影処理）
図２は、撮像装置１による撮影処理の一例を示すフローチャートである。なお、この撮影処理では、撮影処理中に基板４を変位させることで、２つのセンサを略同一位置として撮影するため、撮像装置１は、三脚などの固定手段により固定されているものである。また、この撮影処理での基板４は、第一状態（図１（ａ））を初期位置としている。

撮像装置１は、操作者からレリーズボタンの押下などの撮影指示を受けると（Ｓ１０１）、第一状態での光学イメージセンサ１０を用いた撮影を実施し（Ｓ１０２）、光学イメージセンサ１０は光学イメージ（光学画像）を取得する（Ｓ１０３）。

次いで、基板４を変位させて第二状態（図１（ｂ））とし（Ｓ１０４）、第二状態でのＴＯＦイメージセンサ２０を用いた撮影を実施する（Ｓ１０５）。このとき、光源２１からパルス光を発光させて（Ｓ１０６）、ＴＯＦイメージセンサ２０はＴＯＦイメージ（ＴＯＦ画像）を取得する（Ｓ１０７）。

次いで、取得した光学イメージとＴＯＦイメージの画素の位置を対応付ける制御を実行して（Ｓ１０８）、光学イメージの各画素について距離情報を付与する（Ｓ１０９）。なお、本実施形態では、先に光学イメージセンサ１０を用いた撮影を行い、その後、ＴＯＦイメージセンサ２０を用いた撮影を行う例を説明したが、先にＴＯＦイメージセンサ２０を用いた撮影を行い、その後、光学イメージセンサ１０を用いた撮影を行うようにしてもよい。

（センサ間画素位置対応）
本実施形態に係る撮像装置１による撮影では、光学イメージセンサ１０とＴＯＦイメージセンサ２０とは、略同一位置にて撮影されているので、同じ場所（視野）を撮影している。よって、２つのセンサの画素は同じ場所として対応させることができる。これにより、光学イメージセンサ１０で撮像した光学画像の画素のそれぞれにＴＯＦイメージセンサ２０により測距した距離情報を対応させ記録することが可能となる。

ここで、光学イメージセンサ１０とＴＯＦイメージセンサ２０とのセンササイズや画素数を同じものとすることができれば、画素を１対１で対応させることができるが、既に述べたように、一般に、ＴＯＦイメージセンサ２０の画素数は、光学イメージセンサ１０の画素数に比べて少ない。このため、光学イメージセンサ１０とＴＯＦイメージセンサ２０とのセンササイズや画素数が異なる場合は、光学イメージセンサ１０とＴＯＦイメージセンサ２０の各画素を対応させる制御が必要となる。

光学イメージセンサ１０の画素数がＴＯＦイメージセンサ２０の４倍の画素数である場合を例にして、２つのセンサの画素の位置を対応させる制御（Ｓ１０８）について説明する。

図３（ａ）は、光学イメージセンサ１０の受光部１９の一部を示す模式図、図３（ｂ）は、ＴＯＦイメージセンサ２０の受光部２９の一部を示す模式図である。図３に示すように、光学イメージセンサ１０の受光部１９、およびＴＯＦイメージセンサ２０の受光部２９は、受光素子（例えば、フォトダイオードやフォトトランジスタ）が格子状に２次元配列されてなり、各受光素子から入った光情報に基づいて画像を作成する。図３に示す１つの格子部が１の受光素子（すなわち、画素）を示しており、ここでは、光学イメージセンサ１０の画素数が２０４８（横）×１０２４（縦）の例、ＴＯＦイメージセンサ２０の画素数が１０２４（横）×５１２（縦）であるものとする。

ここで、図３（ａ）に示す光学イメージセンサ１０の斜線部の４つの画素は、図３（ｂ）に示すＴＯＦイメージセンサ２０の斜線部の１つの画素に対応するため、光学イメージセンサ１０の４つの画素に対して、ＴＯＦイメージセンサ２０の１つの画素で測定した距離情報を割り当てることで、光学イメージセンサ１０の各画素に距離情報を割り当てることが可能となる。

図４は、ベイヤー配列の配列パターンの説明図である。ベイヤー配列は、色の３原色である赤（Ｒ）、緑（Ｇ）、青（Ｂ）を、Ｒ，Ｇ，Ｇ，Ｂの単位で配列するものである。光学イメージセンサ１０にベイヤー配列のカラーフィルターを用いる場合、４つの画素でカラー画像上の最小単位となるため、図３に示したように、光学イメージセンサ１０の４つの画素に対して、ＴＯＦイメージセンサ２０の１つの画素で測定した距離情報を割り当てることで、カラー画像を構成する各画素に距離情報を割り当てることができる。

（データ構造）
２つのセンサの画素の対応制御（Ｓ１０８）の後、光学画像の各画素のデータに距離情報が付与される。

図５は、距離情報が付与された光学画像のデータファイル構造の一例を示す図である。データファイル３０は、ヘッダーデータ３１、画像データ３２、および距離データ３３からなり、画像データ３２は、例えば、ＲＡＷ画像をベイヤー配列で示すデータであり、距離データ３３は、例えば、それぞれの画素における距離のバイナリデータである。

（ＴＯＦイメージセンサ）
次に、３次元センサの好ましい一例であるＴＯＦイメージセンサ２０について説明する。ＴＯＦイメージセンサは、変調した参照光を照射し（光源２１からのパルス光）、この参照光が被測定対象である物体（被写体）で反射されて、戻ってくるまでの時間を検出することで、被写体までの測距を行うものである。

なお、ＴＯＦは、種々ある３次元センシング方式の中でも、そのレスポンス性の原理的優位性から、さまざまな用途への開発が進められており、例えば、ジェスチャー認識やロボットや自動車などの移動体の位置制御などへの応用が期待されている。また、ＴＯＦには、参照光の発光タイミングと受光タイミングの時間差を直接検出する直接ＴＯＦ法と、受光信号を使った演算から該時間差を検出する間接ＴＯＦ法が知られいるが、近距離測定においては、間接ＴＯＦ法の方が有利であると考えられている。

図６は、ＴＯＦイメージセンサ２０の機能構成の一例を示すブロック図である。ＴＯＦイメージセンサ２０は、投光系２０１、受光系２０２、および３次元情報取得部２０３を有しており、３次元情報取得部２０３は、撮像装置１の制御手段とバス２０４を介して接続されている。

なお、投光系２０１、受光系２０２、および３次元情報取得部２０３の各部は、例えば、ＴＯＦイメージセンサ２０の筐体内に収納されており、筐体には、投光系２０１から投光される光、および物体で反射され、受光系２０２に向かう光が通過するための窓が設けられるとともに、窓にはガラスが取り付けられている。

図７は、投光系２０１の機能構成の一例を示すブロック図である。投光系２０１は、受光系２０２の－Ｚ側に配置されており、光源２１および光源駆動部２５を有している。

光源２１は、＋Ｘ方向に光を射出するように配置されており、光源駆動部２５によって点灯および消灯が制御される。なお、光源２１としては、例えば、ＬＥＤを用いることができるが、これに限らず、端面発光レーザや面発光レーザ等の半導体レーザ等の他の光源を用いることもできる。

図８は、パルス制御信号のタイミングチャートの一例である。また、図９は、光源駆動信号のタイミングチャートの一例である。光源駆動部２５には、３次元情報取得部２０３から送出されるパルス制御信号（図８）が入力され、光源駆動部２５は、パルス制御信号に基づいて、光源２１を駆動するための光源駆動信号（図９）を生成する。光源駆動信号（駆動パルス）は、光源２１および３次元情報取得部２０３に送出される。

これにより、光源２１からは、３次元情報取得部２０３から指示されたパルス幅のパルス光が射出される。複数の光源がある場合、各光源から同じパルス幅のパルス光として制御される。なお、光源２１から射出されるパルス光は、デューティ（ｄｕｔｙ）が５０％以下となるように、３次元情報取得部２０３において設定されている。

投光系２０１の光源２１から射出され、物体で反射された光の一部は、ＴＯＦイメージセンサ２０に戻ってくる。そして、受光系２０２は、物体で反射されＴＯＦイメージセンサ２０に戻ってくる光（物体からの反射光）を検出する。

図１０は、受光系２０２の機能構成の一例を示すブロック図である。受光系２０２は、投光系２０１の＋Ｚ側に配置されており、結像光学系２８および受光部２９を有している。

結像光学系２８は、物体からの反射光の光路上に配置され、物体からの反射光を集光する。なお、図１０の例では、結像光学系２８が１枚のレンズで構成される例を示しているが、複数のレンズで構成されても良いし、ミラー光学系を用いても良い。

受光部２９は、結像光学系２８を介して物体からの反射光を受光して、電気信号に変換し、該電気信号を時間的に分割して複数の時間毎の信号に振り分ける。

３次元情報取得部２０３は、受光部２９から入力される信号を用いて光源２１の発光タイミングと受光部２９の受光タイミングとの時間差を算出するとともに、時間差に基づいて、物体までの距離を算出して物体の３次元情報を取得する。

図１１は、３次元情報取得部２０３と受光部２９との間の信号の送受信の説明図である。３次元情報取得部２０３は、光源２１に印加される駆動パルスの周波数である変調周波数を制御する変調周波数制御部２０３ａと、光源２１の射出タイミングと受光部２９の受光タイミングの時間差に基づいて物体までの距離を算出して物体の３次元情報である距離画像を生成する距離画像生成部２０３ｂと、を備えており、３次元情報取得部２０３は、ＴＸ１信号、ＴＸ２信号、ＴＸＤ信号及びリセット信号を受光部２９に出力する。

受光部２９は、画素が２次元配列されたエリアイメージセンサ（図３（ｂ））であって、結像光学系２８を介した物体からの反射光を受光する。受光部２９の出力信号（アナログ信号）は、アナログデジタルコンバータ（ＡＤＣ）によりデジタル信号に変換され、３次元情報取得部２０３に送られる。

受光部２９は、１の受光素子に対して、２つの電荷蓄積部を有しており、ＴＸ１信号がハイレベルのときは、受光系２０２で光電変換された電荷を一方の電荷蓄積部に蓄積し、ＴＸ２信号がハイレベルのときは、受光系２０２で光電変換された電荷を他方の電荷蓄積部に蓄積する。

また、受光部２９は、ＴＸＤ信号がハイレベルのときは、電荷の蓄積を行わず、リセット信号がハイレベルになると、２つの電荷蓄積部に蓄積されている電荷量を０にする。このように、距離情報取得のためのイメージセンサは通常の光学的イメージセンサとは異なる構造を有するものであり、同じセンサ上に組み込むことは容易ではない。

図１２は、ＴＯＦイメージセンサ２０における１フレームの概略図である。ＴＯＦイメージセンサ２０は、基本的には、変調周波数が異なる２つ以上のＴＯＦ検出（ＴＯＦ演算方式を用いる検出）を実行し、高周波数側のＴＯＦ検出で高い距離分解能の距離情報を取得するとともに、低周波数側のＴＯＦ検出で高周波数側のＴＯＦ検出情報に含まれるエイリアシング成分を判定してディエイリアシングを行う（参考文献：特許文献１）。

ここでは、異なる変調周波数を用いる２つのサブフレームで１フレームを構成する例について説明する。一方のサブフレームにおける変調周波数（一の駆動パルスの周波数）を第一の周波数ｆ１とし、他方のサブフレームにおける変調周波数（他の駆動パルスの周波数）を第二の周波数ｆ２とする。

３次元情報取得部２０３では、第一の周波数ｆ１によるＴＯＦ検出を行い、距離画像生成部２０３ｂ内のメモリにその位相情報を格納する。次に、変調周波数制御部２０３ａで第一の周波数ｆ１から第二の周波数ｆ２に切り替えて、第二の周波数ｆ２によるＴＯＦ検出を行う。ここで、第一の周波数ｆ１＞第二の周波数ｆ２の関係とする。なお、第二の周波数ｆ２によるＴＯＦ検出を行った後、第一の周波数ｆ１によるＴＯＦ検出を行っても良いのは勿論である。

３次元情報取得部２０３は、第１の駆動パルスが光源２１に供給されている第１の時間帯に求めた時間差から算出した物体までの距離と、第２の駆動パルスが光源２１に供給されている第２の時間帯に求めた時間差から算出した物体までの距離を用いて３次元情報を算出する。

このとき、パルス幅が異なる３つ以上の駆動パルスを異なる時間帯に光源２１に供給しても良い。この場合、パルス幅が異なる３つ以上の駆動パルスをパルス幅が大きい側と小さい側に分け、パルス幅が小さい側の駆動パルスを正弦波状とし、パルス幅が大きい側の駆動パルスを矩形波状とすることが好ましい。

以上説明した本実施形態に係る撮像装置１は、光学イメージセンサ１０で撮影される光学画像の画素ごとに正確な距離情報を対応付けて記録することができる距離情報同時取得型の撮像装置１とすることができる。

これにより、例えば、同じ撮影範囲の画像イメージとＴＯＦイメージとのそれぞれの画素を対応させることで、画像のカラーイメージを距離に対応したカラーイメージで表示させることが可能となる。このとき、画像イメージに対して画素単位で、距離に対応したカラーイメージを付加することができるため、距離イメージが写真画質と同様に高品位なものとすることができる。

また、撮影位置からの正確な距離情報はすなわち空間座標へと変換できるため、光学写真の空間を３Ｄ座標にて認識できるようになる。このため、例えば、３次元ＣＡＤ（computer-aided design）などのソフトウェアへ空間データ入力を簡易に行うことが可能となる。

なお、本実施形態では、光源２１は、単一の発光点（ＬＤまたはＬＥＤ）を有し、これをパルス発光させ、物体からの反射光をＴＯＦイメージセンサ２０で受光する場合について説明したが、例えば、光源２１は、２次元配列された複数の発光点を有し、複数の発光点を順次パルス点灯させ、各発光パルスの物体からの反射光を単一の受光系２０２で順次受光して距離画像を生成してもよい。

また、本実施形態では、非走査型の投光系２０１を例に説明したが、投光系２０１を、光偏向器（例えばポリゴンミラー、ガルバノミラー、ＭＥＭＳミラー、等）を含む走査型の投光系２０１としても良い。この場合、例えば、一方向に配列されたライン光源からそれぞれ射出された複数の光を、ライン光源の配列方向に非平行な方向（例えば、垂直な方向）に走査して、ライン光源に対応して該配列方向に平行に配列された複数の受光系２０２で受光し、距離画像を生成することができる。また、単一の発光点からの光を光偏向手段で２次元走査して、物体からの反射光をＴＯＦイメージセンサ２０で受光し、距離画像を生成しても良い。

また、本実施形態では、撮像センサとして、光学イメージセンサ１０と、ＴＯＦイメージセンサ２０と、をそれぞれ１つずつ設けた撮像装置１を例に説明したが、撮像装置１は、光学イメージセンサ１０およびＴＯＦイメージセンサ２０を少なくとも１つ有するものであればよく、３以上の撮像センサを有し、これらを１つの撮像光学系５の結像位置に変位させるものであってもよい。

［第２の実施形態］
以下、本発明に係る撮像装置の他の実施形態について説明する。なお、上記実施形態と同様の点についての説明は適宜省略する。

第２の実施形態に係る撮像装置は、センサに被写体の像を結像させる２以上の撮像光学系（撮像光学系５Ａ，５Ｂ）と、被写体を照射する発光部（光源２１）と、センサにより撮像された像から４πラジアンの立体角内の像を得る撮像制御手段と、を備える全天球型の撮像装置（全天球型撮像装置２）であって、センサは、少なくとも可視光を撮像する光学センサ（光学イメージセンサ１０）と、被写体までの距離を測定する３次元センサ（ＴＯＦイメージセンサ２０）と、を有するものである。なお、括弧内は実施形態での符号、適用例を示す。

近年、特殊な光学画像記録を行うカメラ技術として、１８０度より広い画角を持つ広角レンズと、この広角レンズによる像を撮影する光学イメージセンサとによる撮像光学系を２つ、物体側レンズが互いに逆向きになるように組み合わせ、各撮像光学系により撮影された像を合成して「４πラジアンの立体角内の像」を得る全天球型撮像装置が知られている（参考文献：特開２０１０－２７１６７５号公報）。このような全天球型撮像装置では、同時に全方位の画像情報を取得することができ、例えば、防犯用監視カメラや車載カメラ等へ有効に利用することができる。

この全天球型撮像装置において、第１の実施形態で説明したように距離情報取得を可能とすれば、高精細な写真を得ながら全天球画像イメージの画素に距離情報を記録することが可能となる。以下、撮像装置が全天球型撮像装置である場合について説明する。

（全天球型撮像装置構成）
図１３は、本発明に係る撮像装置の他の実施形態である全天球型撮像装置２の要部構成図である。全天球型撮像装置２は、２つの撮像光学系５Ａ，５Ｂを備えている。撮像光学系５Ａ，５Ｂは、撮像センサを除いて同一の構造を有している。以下、撮像光学系５Ａを構成するものには符号の末尾にＡを付し、撮像光学系５Ｂを構成するものには符号の末尾にＢを付して区別する。

全天球型撮像装置２は、撮像光学系５Ａ，５Ｂのいずれか一方の撮像センサとしてＴＯＦイメージセンサ２０を設置し、他方の撮像センサとして光学イメージセンサ１０を設置している。ここでは、撮像光学系５ＡにＴＯＦイメージセンサ２０、撮像光学系５Ｂに光学イメージセンサ１０を設置した場合について説明する。

撮像光学系５Ａについて説明する。撮像光学系５Ａは、１８０度より広い画角を持つ広角レンズ６Ａと、この広角レンズによる像を撮像するＴＯＦイメージセンサ２０とを有する。

ＴＯＦイメージセンサ２０は、基板４Ａに設けられている。基板４Ａは、固設されており、ＴＯＦイメージセンサ２０を駆動する回路素子や、外部との電気的接続に必要な回路素子を有し、ＴＯＦイメージセンサ２０よりもサイズが大きい。

広角レンズ６Ａは、負のパワーの前群６Ａ_１、反射面の実体をなすプリズム６Ａ_２、正のパワーの後群６Ａ_３を配し、反射面により前群の光軸ＬＡ_１を後群６Ａ_３に向かって９０度折り曲げるものである。なお、前群６Ａ_１、後群６Ａ_３は、複数のレンズで構成されるものであるが、図１３では、それぞれ１枚のレンズとして簡略化して示している。

物体側からの光は、前群６Ａ_１に入射し、プリズム６Ａ_２の反射面により反射され、後群６Ａ３に向かって光軸を９０度折り曲げられる。プリズム６Ａ_２の反射面で反射された光束は、後群光軸ＬＡ_２に沿って後群６Ａ_３に入射し、後群６Ａ_３を透過すると、ＴＯＦイメージセンサ２０の受光面上に結像する。

撮像光学系５Ｂについて説明する。撮像光学系５Ｂは、１８０度より広い画角を持つ広角レンズと、この広角レンズ６Ｂによる像を撮像する光学イメージセンサ１０とを有する。

光学イメージセンサ１０は、基板４Ｂに設けられている。基板４Ｂは、固設されており、光学イメージセンサ１０を駆動する回路素子や、外部との電気的接続に必要な回路素子を有し、光学イメージセンサ１０よりもサイズが大きい。

広角レンズ６Ｂは、負のパワーの前群６Ｂ_１、反射面の実体をなすプリズム６Ｂ_２、正のパワーの後群６Ｂ_３を配し、反射面により前群の光軸ＬＢ_１を後群６Ｂ_３に向かって９０度折り曲げるものである。なお、前群６Ｂ_１、後群６Ｂ_３は、複数のレンズで構成されるものであるが、図１３では、それぞれ１枚のレンズとして簡略化して示している。

物体側からの光は、前群６Ｂ_１に入射し、プリズム６Ｂ_２の反射面により反射され、後群６Ｂ３に向かって光軸を９０度折り曲げられる。プリズム６Ｂ_２の反射面で反射された光束は、後群光軸ＬＢ_２に沿って後群６Ｂ_３に入射し、後群６Ｂ_３を透過すると、光学イメージセンサ１０の受光面上に物体像を結像する。

ここまで説明した２つの撮像光学系５Ａ，５Ｂは、図１３に示すように組み合わせられている。即ち、前群６Ａ_１，６Ｂ_１の前群光軸ＬＡ_１，ＬＢ_１を合致させて前群の向きが逆になる（図１３において、撮像光学系５Ａの前群６Ａ_１は右向き、撮像光学系５Ｂの前群６Ｂ_１は左向き）ように、且つ、後群６Ａ_３，６Ｂ_３の光軸ＬＡ_２，ＬＢ_２が互いに平行で、後群同士の向きが互いに逆になる（図１３において、撮像光学系５Ａの後群６Ａ_３は上向きであり、撮像光学系５Ｂの後群６Ｂ_３は下向き）ように組み合わせられている。

この２つの撮像光学系５Ａ，５Ｂを有する全天球型撮像装置２は、１８０°向きが異なる逆向きのＴＯＦイメージと光学画像と、を同時に撮影することができる（第一の撮影という）。そして、この第一の撮影後、全天球型撮像装置２を１８０°回転させて撮影することで、最初の撮影とはそれぞれの向きが１８０°異なるＴＯＦイメージと光学画像と、を同時に撮影することができる（第二の撮影）。

この第一の撮影と第二の撮影で取得した画像を合成することで光学画像の４πラジアンの立体角内の像（すなわち、全天球画像）を得ることができるとともに、ＴＯＦイメージについても４πラジアンの立体角内の像を得ることができる。そして、それぞれは略同じ場所での撮影を行っているため、同じ場所を写したそれぞれの画素を対応させることが可能となる。

図１４は、全天球型撮像装置２の上視図である。ＴＯＦイメージセンサでの撮影側には、光源２１からパルス光を投光する必要があるため、全天球型撮像装置２は、ＴＯＦイメージセンサ２０での撮影側にパルス光を発する光源２１を有している。なお、図１４のように光源２１を全天球型撮像装置２の両サイドに設け、１８０°回転させて撮影を行う場合、光源２１が設けられた範囲（斜線部）は、死角となり全天球画像から蹴られる（光源２１が映り込んでしまう）こととなる。この点については後述する。

（撮影処理）
図１５は、全天球型撮像装置２による撮影処理の一例を示すフローチャートである。なお、この撮影処理では、撮影処理中に全天球型撮像装置２を１８０°回転させるものであるため、全天球型撮像装置２は、三脚などの固定手段に固定されているとともに、更に所望の角度を正確に回転させるための回転雲台などの回転制御手段に固定されている。

全天球型撮像装置２は、操作者からレリーズボタンの押下などの撮影指示を受けると（Ｓ２０１）、撮影（第一の撮影）を実施する（Ｓ２０２）。撮影では光源２１からパルス光を発光させて（Ｓ２０３）、光学イメージセンサ１０は光学画像を取得するとともに、ＴＯＦイメージセンサ２０は光学画像とは１８０°異なる位置でのＴＯＦイメージを取得する（Ｓ２０４）。

次いで、回転制御手段により回転雲台を１８０°回転させた後（Ｓ２０５）、撮影（第二の撮影）を実施する（Ｓ２０６）。

この回転雲台の回転動作は、回転雲台として任意の角度に回転制御可能な自動回転雲台を用いることが好ましいが、自動回転雲台を用いず、ユーザが手動で回転させるものであってもよい。手動の場合は、全天球型撮像装置２は、第一の撮影の完了時に、回転雲台を所定角度回転させる必要があることを通知する。このときの回転雲台としては、所望の角度に正確に回転させて固定できるための目盛りや固定機能を有する回転雲台を用いることが好ましい。

第二の撮影では光源２１からパルス光を発光させて（Ｓ２０７）、光学イメージセンサ１０は光学画像を取得するとともに、ＴＯＦイメージセンサ２０は光学画像とは１８０°異なる位置でのＴＯＦイメージを取得する（Ｓ２０８）。

第一の撮影と第二の撮影で取得した光学画像とＴＯＦイメージを合成して、全天球画像を作成する（Ｓ２０９）。

次いで、取得した光学イメージとＴＯＦイメージの画素の位置を対応付け制御を実行して（Ｓ２１０）、光学イメージの各画素について距離情報を付与する（Ｓ２１１）。

なお、本実施形態では、三脚雲台などの回動可能な支持手段により支持されている全天球型撮像装置２を１８０°回転させる例を説明したが、全天球型撮像装置２の筐体３の内部で、撮像光学系５Ａ，５Ｂを１８０°回転させる構成としてもよい。この場合、全天球型撮像装置２の光源２１がＴＯＦイメージセンサ２０の撮影側（片側）のみを照射可能であれば、ＴＯＦイメージセンサ２０の回転とともに、光源２１についても回転させる必要があるが、双方のセンサの撮影側（両側）を照射可能な光源２１を用いることで、光源２１を固設することができる。

以上説明した第２の実施形態に係る全天球型撮像装置２によれば、光学イメージセンサで撮影される４πラジアンの立体角内の光学画像の画素ごとに正確な距離情報を対応付けて記録することができる距離情報同時取得型の全天球型撮像装置とすることができる。

また、上記のように、撮影位置からの正確な距離情報はすなわち空間座標へと変換できるため、簡易に全天球の空間座標データと高精細な光学画像を得ることができる。例えば、建築物の改修や補強をする際に、配管、配線、付帯設備、構造部材などの配置や寸法などの情報の取得が必要となる場合、全天球型撮像装置２による撮影により、全方位のパノラマ画像をもとに状況把握するだけでなく、寸法計測や図面作成までも可能とすることができる。

なお、第２の実施形態では、撮像光学系は、それぞれ１８０度より広い画角を持つ広角レンズを有する同一構造の２の撮像光学系であって、光学イメージセンサ１０およびＴＯＦイメージセンサ２０をそれぞれに設けた例について説明したが、各撮像系の画角が１８０度より狭い場合などは、３以上の撮像光学系を有するとともに、光学イメージセンサ１０およびＴＯＦイメージセンサ２０の少なくとも一方を２以上有するものであってもよい。

［第３の実施形態］
上述のように、ＴＯＦイメージを撮影するためには、光源２１が必要となるが、全天球型撮像装置２において、全天球を全方位的に照射しようとすると、光源２１の規模が大きくなり、全天球撮影の画角の多くが光源２１で隠されてしまうことになる。

これに対し、第２の実施形態で説明したように、同一構造の撮像光学系を２つ組み合わせ、１つを光学イメージセンサ、他方の１つをＴＯＦイメージセンサとすることで、ＴＯＦイメージセンサでの撮像側の半球面を照射すればよいこととなる（図１４）。これにより、光源２１の規模を小さくすることができるので、全天球撮影時に光源２１で隠されてしまう部分が非常に小さくなり、全天球型撮像装置２を軽量化、スリム化することができる。

しかしながら、図１４に示したように、半球面を照射する場合であっても全天球撮影時には一部に光源２１で隠されてしまう範囲が存在してしまう。そこで、本実施形態では、全天球型撮像装置２を２回以上回転させて撮影し、撮影画像を合成することで、光源２１に蹴られた部分のない全天球撮影画像を得るものである。

図１６は、本実施形態に係る全天球型撮像装置２の概略横視図である。また、図１７は、全天球型撮像装置２の光源２１の一例を示す概略図であって、（ａ）横視図、（ｂ）上視図、（ｃ）正面図である。また、図１８は、図１７に示す光源２１の照射角度の説明図である。

光源２１は、ＴＯＦイメージセンサ２０側の撮影方向の両側に設けられるものであり、その発光部２２は、全天球型撮像装置２の上側から下側まで均等にパルス光を照射できるように、複数の発光点２３が縦方向に半円状に配置されてなる。ここでは、発光点２３の設置角度は水平方向を基準に上下方向へそれぞれ３６°ずらして設置した例を示している。また、発光点２３の前面にパルス光を拡散させる拡散板２４が設けられており、発光点２３からのパルス光を拡散板２４で均一化させることで、全天球型撮像装置２の上側から下側まで均等にパルス光を照射することが可能となる。

また、本実施形態では、発光点２３が縦方向に並んだ発光部２２が２列配置され、２列の発光部２２は、上面からみて６０度の角度で配置されており、１列の発光部２２が左右に３０°の角度で照射するようにしている。これにより、光源２１は、上面からの撮影角度１２０°にパルス光を投光する。

なお、発光部２２の発光点２３はできるだけ均等に全天球を照らすだけの充分な個数があれば望ましく、少なくとも左右両側で８個以上あることが好ましい。

また、光源２１は、ＴＯＦイメージセンサ２０側の撮影方向の両側に設けられることが好ましいが、これに限られるものではなく、広い撮像画角を得るために任意の角度でそれぞれ外側方向に向けて設置し、照射させる構成としてもよい。

図１９は、本実施形態に係る全天球型撮像装置２による撮影処理の説明図であって、（ａ）は第一の撮影時、（ｂ）は第二の撮影時、（ｃ）は第三の撮影時における全天球型撮像装置２の上視図である。なお、全天球型撮像装置２のＴＯＦイメージセンサ側の撮影方向の両側に設けられている２つの光源２１で蹴られる画角は、それぞれ６０°未満であるものとする。

先ず、図１９（ａ）に示す向きで全天球型撮像装置２は、一回目の撮影を実行する。次いで、回転雲台を１２０°回転させて、図１９（ｂ）に示す位置として、２回目の撮影を実行する。さらに、その位置から回転雲台を１２０°回転させて、図１９（ｃ）に示す位置として、３回目の撮影を実行する。そして、１２０°の画角の画像を３枚合成して全天球画像を作成する。

１８０°回転させて２回の撮影を実行した場合、２つの光源２１で蹴られる画角が存在してしまうが、本実施形態のように２回以上回転させて、３回以上の撮影を実行することで、全画角についての画像イメージとＴＯＦイメージを取得することが可能となる。そして、これらを合成することにより、全画角についての全天球画像を作成することができる。光源２１により蹴られる画角度に応じて、回転角度、撮影回数を設定することで、光源２１で蹴られる画角によらず、全画角についての全天球画像を作成することが可能となる。

なお、複数枚の画像を合成して全天球画像とする場合、原則として重複部分を有する必要がある。すなわち、上記の例では、１回の撮影の画角は、１２０°以上の画像を合成する必要があるが、本明細書では、説明を簡易にするために１２０°ずつの画角を得るものとして説明している。

尚、上述の実施形態は本発明の好適な実施の例ではあるがこれに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変形実施可能である。

１ 撮像装置
２ 全天球型撮像装置
３ 筐体
４，４Ａ，４Ｂ 基板
５，５Ａ，５Ｂ 撮像光学系（レンズ）
６Ａ，６Ｂ 広角レンズ
６Ａ_１，６Ｂ_１ 前群
６Ａ_２，６Ｂ_２ プリズム
６Ａ_３，６Ｂ_３ 後群
ＬＡ_１，ＬＢ_１ 前群の光軸
ＬＡ_２，ＬＢ_２ 後群の光軸
１０ 光学イメージセンサ（光学センサ）
１９ 受光部
２０ ＴＯＦイメージセンサ（３次元センサ）
２１ 光源
２２ 発光部
２３ 発光点
２４ 拡散板
２５ 光源駆動部
２８ 結像光学系
２９ 受光部
３０ データファイル
３１ ヘッダーデータ
３２ 画像データ
３３ 距離データ
２０１ 投光系
２０２ 受光系
２０３ ３次元情報取得部
２０３ａ 変調周波数制御部
２０３ｂ 距離画像生成部
２０４ バス

特表２０１５－５０１９２７号公報 特表２０１３－５３８３４２号公報 特開２０１５－ ７０６１９号公報

Claims (5)

1. センサに被写体の像を結像させる２以上の撮像光学系と、
   前記被写体を照射する２以上の発光部と、
   前記２以上の撮像光学系と前記２以上の発光部とを所定の角度分回転させる回転制御手段と、
   前記センサにより撮像された像から４πラジアンの立体角内の像を得る撮像制御手段と、を備える全天球型の撮像装置であって、
   前記２以上の撮像光学系は、可視光を撮像する光学センサに前記被写体の像を結像させる第１の撮像光学系と、前記被写体までの距離を測定する３次元センサに前記被写体の像を結像させる第２の撮像光学系と、を有し、
   前記第１の撮像光学系と前記第２の撮像光学系とは、それぞれの光軸が一致しており、互いに異なる方向を撮像するものであり、
   前記２以上の発光部は、前記回転制御手段による回転方向における前記第２の撮像光学系の両側に、前記第２の撮像光学系の撮像範囲側を照射可能に設けられ、
   前記撮像制御手段は、前記回転制御手段により前記撮像装置を所定の角度で回転させつつ、前記光学センサと前記３次元センサとを用いて同時に撮像させる
   ことを特徴とする撮像装置。
2. 前記第１の撮像光学系および前記第２の撮像光学系は、それぞれ１８０度より広い画角を持つ広角レンズを有する同一構造の２の撮像光学系であることを特徴とする請求項１に記載の撮像装置。
3. 前記撮像制御手段は、略同一範囲を撮像した前記光学センサの各画素の画素情報に、前記３次元センサによる撮像で得られる距離情報を対応させて記憶することを特徴とする請求項１または２に記載の撮像装置。
4. 前記３次元センサは、ＴＯＦ（Time of Flight）イメージセンサであることを特徴とする請求項１から３までのいずれかに記載の撮像装置。
5. センサに被写体の像を結像させる２以上の撮像光学系と、
   前記被写体を照射する２以上の発光部と、
   前記２以上の撮像光学系と前記２以上の発光部とを所定の角度分回転させる回転制御手段と、を備え、
   前記２以上の撮像光学系は、可視光を撮像する光学センサに前記被写体の像を結像させる第１の撮像光学系と、前記被写体までの距離を測定する３次元センサに前記被写体の像を結像させる第２の撮像光学系と、を含み、
   前記第１の撮像光学系と前記第２の撮像光学系とは、それぞれの光軸が一致しており、互いに異なる方向を撮像するものであり、
   前記２以上の発光部は、前記回転制御手段による回転方向における前記第２の撮像光学系の両側に、前記第２の撮像光学系の撮像範囲側を照射可能に設けられている
   全天球型の撮像装置を用いた撮像方法であって、
   前記光学センサと前記３次元センサとを用いて同時に撮像させる工程と、
   該工程後に前記回転制御手段を所定の角度で回転させつつ、前記光学センサと前記３次元センサとを用いて同時に撮像させることを繰りかえす工程と、を有することを特徴とする撮像方法。

Images