JP7363068B2 - ３次元情報取得システム - Google Patents

３次元情報取得システム Download PDF

Info

Publication number
JP7363068B2
JP7363068B2 JP2019053599A JP2019053599A JP7363068B2 JP 7363068 B2 JP7363068 B2 JP 7363068B2 JP 2019053599 A JP2019053599 A JP 2019053599A JP 2019053599 A JP2019053599 A JP 2019053599A JP 7363068 B2 JP7363068 B2 JP 7363068B2
Authority
JP
Japan
Prior art keywords
light
light receiving
projection
imaging
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019053599A
Other languages
English (en)
Other versions
JP2020153865A (ja
Inventor
祐樹 堀田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2019053599A priority Critical patent/JP7363068B2/ja
Publication of JP2020153865A publication Critical patent/JP2020153865A/ja
Application granted granted Critical
Publication of JP7363068B2 publication Critical patent/JP7363068B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Description

本発明は、３次元情報取得システムに関する。
測距領域内の様々な物体までの距離を光の飛行時間（ＴＯＦ：time of flight）に対応した複数の距離値の距離画像として取得する技術が既に知られている。
この技術において広角化したレンズを使用する場合の技術として、広角化により顕在化する画角ごとの測距誤差を光路長差とレンズの厚み差に基づいて補正する方法を開示した文献がある（特許文献１参照）。
しかし、魚眼レンズは、画角ごとに入射瞳位置が異なる。このため、従来方式では魚眼レンズを用いて広範囲（広角）を一度に測定しようとすると入射瞳位置による誤差により３次元情報の精度が低下するという問題があった。
本発明は、上記に鑑みてなされたものであって、広角化による測定精度を向上することが可能な３次元情報取得システムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明の一実施の形態の３次元情報取得システムは、それぞれ光を投射する複数の投射部の組と、前記投射部から投射され、計測対象から反射してきた前記光をそれぞれ受光する複数の受光部の組と、それぞれ画像を撮像する複数の撮像部の組と、前記投射部から投射された光が前記受光部の受光面で受光されるまでの光の飛行時間に対応する複数の距離値を含む距離画像を生成する距離画像生成部と、前記距離画像から３次元点群のデータを生成する３次元点群生成部と、前記光の入射角毎の入射瞳位置に対応した補正情報に基づいて前記３次元点群の座標を補正する補正部と、を有し、前記複数の投射部の組と、前記複数の受光部の組と、前記複数の撮像部の組と、を共通の筐体に一体的に備え、前記複数の投射部の組の各々の前記投射部は、各々の前記投射部の投射範囲が互いに異なる投射範囲になる向きに設けられ、前記複数の受光部の組の各々の前記受光部は、各々の前記受光部の計測範囲が互いに異なる計測範囲になる向きに設けられ、前記投射部と、前記受光部と、前記撮像部とは、前記筐体の長手方向に関して異なる位置に設けられる、ことを特徴とする。
本発明によれば、広角化による測定精度を向上することが可能になるという効果を奏する。
図１は、本実施の形態における魚眼レンズを使用した場合の受光光学系の入射瞳位置の変化の一例を示した図である。 図２は、受光部の構成の一例を示す図である。 図３は、受光光学系における光軸および最大画角の主光線を示す図である。 図４は、各射影方式における画角に対する像高の変化量を示すグラフである。 図５は、受光光学系における画角に対する像高の変化量と、等距離射影方式の理想の像高の変化量とを示すグラフである。 図６は、受光光学系における画角に対する周辺光量比を示すグラフである。 図７は、受光光学系の球面収差を示すグラフである。 図８は、受光光学系の非点収差を示すグラフである。 図９は、受光光学系のコマ収差を示すグラフである。 図１０は、受光光学系のＭＴＦの特性を示すグラフである。 図１１は、本実施の形態に係る３次元情報取得装置の構成を示す図である。 図１２は、３次元情報を取得する処理の全体フローの一例を示す図である。 図１３は、レンズの画角及びセンサ解像度に基づいて距離画像を３次元点群に変換する処理の説明図である。 図１４は、読取画像の画素位置と補正値との関係を示す図である。 図１５は、補正情報の一例を示す図である。 図１６は、本実施の形態に係る撮像装置の外観の一例を示す図である。 図１７は、撮像装置の構成を説明するための図である。 図１８は、処理回路の処理ブロックの構成の一例を示す図である。 図１９は、Ｃｔｏｆのコストカーブ関数の一例を示す図である。 図２０は、再投影処理を模式的に示した図である。 図２１は、計測範囲の入力画像に対して対象物を示すセグメンテーション情報を付与する説明図である。 図２２は、撮像装置の処理回路の動作の一例を示すフロー図である。 図２３は、変形例１に係る位相差検出方式で計測する撮像装置の構成について説明するための図である。 図２４は、投射部の構成の一例を模式的に示す図である。 図２５は、ＭＥＭＳミラーの構成の一例を説明する図である。 図２６は、変形例２に係る撮像装置の構成の一例を説明するための図である。 図２７は、ＥｑｕｉＲｅｃｔａｎｇｕｌａｒ等の投影系の説明図である。 図２８は、６群７枚の魚眼レンズとして構成される結像光学系の一例を示す図である。 図２９は、２つの結像光学系の詳細な構成を示す図である。 図３０は、サグ量を示す図である。 図３１は、他の撮像装置の形態を示す図である。 図３２は、他の撮像装置の全体図である。 図３３は、撮像装置の六面図である。
以下に、添付図面を参照して、３次元情報取得システムの実施の形態を詳細に説明する。
「実施の形態」
魚眼レンズでは画角ごとに入射瞳位置が異なる。このため、ＴＯＦ（Time Of Flight）カメラで取得された距離画像をｘｙｚ直交座標系に変換した場合、各座標値は画角に依存した系統的な誤差が乗った状態で示されることになる。
図１は、魚眼レンズを使用した場合の受光光学系の入射瞳位置の変化の一例を示した図である。図１には、受光光学系における画角ごとの入射瞳位置の一例を示している。一例として画角０°～１００°における各画角（２０°、４０°、６０°、８０°、９０°、１００°）の入射瞳位置を図中に丸記で示している。図１に示す入射瞳位置は数ｍｍオーダでずれてくるため、例えば正確性が求められる建造物の測量などを用途とした場合に無視できない要素となる。
図１に示すように、画角０°～１００°の間でも、画角の変化に応じて入射瞳位置がＺ軸方向に変化しており、画角に応じた入射瞳位置の変化が測定精度に大きく依存することが分かる。特に、広角レンズとして１４０°以上の魚眼レンズを使用している場合には、測定結果において無視できない要素となる。
発明者は、この誤差は、ＴＯＦカメラで取得した距離画像を３次元座標に変換する際に、入射瞳位置の情報をもとに各ｘｙｚ座標を光軸方向に入射角に応じた値でオフセット補正すれば誤差を除去または軽減することができると考えた。
そこで、本実施の形態では、ＴＯＦ方式のカメラで距離画像を取得し、その距離画像をｘｙｚ直交座標系に変換した後に、画角ごとの入射瞳位置の変化量に基づいて座標をオフセット補正する例について示す。
＜光学条件１＞
まず、本実施の形態に係る受光部の受光光学系の光学条件について説明する。受光光学系は、魚眼レンズを含んでいる。受光光学系は複数枚のレンズを含んで構成されていてもよい。またプリズムを含み、光軸を折り曲げる構成であってもよい。魚眼レンズは、中心射影方式以外の射影方式（例えば等距離射影方式や、立体射影方式など）のレンズであり、画角が一般に１８０度以上である。なお、以下に示す条件は、あくまで一例であり、「光学設計上の画角ごとの入射瞳位置のずれ」が発生する光学系であれば、補正処理の適用により、同様に効果が得られる。
図２は、受光部の構成の一例を示す図である。図２に示す受光部１３は、受光光学系１０Ａと、カバーガラスＣＧと、ＴＯＦセンサ１３ａと、を備えている。受光光学系１０Ａは、１８０度を超える画角に対応した広角レンズ（いわゆる、魚眼レンズ）であり、等距離射影方式が採用されている。ここで、等距離射影方式とは、像高（ＴＯＦセンサ１３ａにより取得される距離画像の画像中からの高さ）をｙ、受光光学系１０Ａの焦点距離をｆ、半画角をθとした場合に、ｙ＝ｆ・θの関係を有する方式である。すなわち、像高ｙは、半画角θ（入射角）に比例する。受光光学系１０Ａは、前群２Ａ（第１レンズ群）と、絞り４Ａと、後群３Ａ（第２レンズ群）と、を備えている。受光光学系１０Ａは、物体側から像側に向かって、前群２Ａ、絞り４Ａ、後群３Ａ、カバーガラスＣＧ、およびＴＯＦセンサ１３ａの順に直列に並んで構成されている。
前群２Ａは、受光光学系１０Ａの物体側に配置されたレンズ群である。また、前群２Ａは、全体として負の屈折力で、１８０度を超える広画角の光線を取り込む。前群２Ａは、物体側から像側に向かって、レンズＬ１、レンズＬ２、平行平面板ＰＰの順に直列に並んで構成されている。
レンズＬ１は、ガラス材料で構成された両面が球面の負メニスカスレンズである。レンズＬ２は、ガラス材料で構成された両面が非球面の負メニスカスレンズである。平行平面板ＰＰは、光軸に対して垂直な平行な平面を有し、ガラス材料の屈折率を有する光学部材である。
絞り４Ａは、前群２Ａに入射する光の量を自在に調整する開口絞りである。絞り４Ａは、後述するレンズＬ３の物体側の面（面Ｌ３Ｒ１）の近傍に配置されている。
後群３Ａは、受光光学系１０Ａの像側に配置されたレンズ群である。後群３Ａは、全体として正の屈折力で、主に撮像画像の収差を補正する。後群３Ａは、物体側から像側に向かって、レンズＬ３、レンズＬ４、レンズＬ５、レンズＬ６、レンズＬ７の順に直列に並んで構成されている。
レンズＬ３は、ガラス材料で構成された両面が球面の両凸レンズである。レンズＬ４は、ガラス材料で構成された両面が非球面の両凸レンズである。レンズＬ５は、ガラス材料で構成された両面が球面の両凸レンズである。レンズＬ６は、ガラス材料で構成された両面が球面の両凹レンズである。レンズＬ５およびレンズＬ６は、レンズ面（後述の面Ｌ５Ｒ２および面Ｌ６Ｒ１）で貼り合わされた接合レンズを形成している。レンズＬ７は、ガラス材料で構成された両面が非球面の両凸レンズである。
カバーガラスＣＧは、像側に位置するＴＯＦセンサ１３ａを保護するカバー部材である。ＴＯＦセンサ１３ａは、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ又はＣＣＤ（Charge Coupled Device）センサなどであり、受光面に複数の受光素子が配列されている。ＴＯＦセンサ１３ａは、受光光学系１０Ａに入射した光を各受光素子で検出し、各画素値を距離値とする距離画像を生成する。
また、図２は、レンズ等の配置およびレンズ等の面も示す。レンズＬ１、Ｌ２、平行平面板ＰＰ、およびレンズＬ３～Ｌ７は、各々の光軸が一致した光軸ＯＡ上に直列に並んで配置されている。レンズＬ１～Ｌ７の物体側のレンズ面を、それぞれ面Ｌ１Ｒ１、Ｌ２Ｒ１、Ｌ３Ｒ１、Ｌ４Ｒ１、Ｌ５Ｒ１、Ｌ６Ｒ１、およびＬ７Ｒ１とする。また、レンズＬ１～Ｌ７の像側のレンズ面を、それぞれ面Ｌ１Ｒ２、Ｌ２Ｒ２、Ｌ３Ｒ２、Ｌ４Ｒ２、Ｌ５Ｒ２、Ｌ６Ｒ２、およびＬ７Ｒ２とする。
平行平面板ＰＰおよびカバーガラスＣＧの物体側の面を、それぞれ、面ＰＰＲ１および面ＣＧＲ１とする。また、平行平面板ＰＰおよびカバーガラスＣＧの像側の面を、それぞれ、面ＰＰＲ２および面ＣＧＲ２とする。
次に、上述の各光学部材についての設計データ（レンズデータ）の一例を示す。
Figure 0007363068000001
表１における面番号「１」～「６」および「８」～「１８」は、それぞれ、図２に示す面Ｌ１Ｒ１、Ｌ１Ｒ２、Ｌ２Ｒ１、Ｌ２Ｒ２、ＰＰＲ１、ＰＰＲ２、Ｌ３Ｒ１、Ｌ３Ｒ２、Ｌ４Ｒ１、Ｌ４Ｒ２、Ｌ５Ｒ１、Ｌ６Ｒ１（Ｌ５Ｒ２）、Ｌ６Ｒ２、Ｌ７Ｒ１、Ｌ７Ｒ２、ＣＧＲ１、およびＣＧＲ２に対応する。また、タイプが「非球面」に対応する曲率半径は、近軸曲率半径を示している。また、屈折率は、ナトリウムＤ線に対する屈折率を示している。さらに、長さの次元を有する量の単位は、［ｍｍ］である。
（光学系の各要素の機能）
図３は、受光光学系１０Ａにおける光軸および最大画角の主光線を示す図である。図４は、各射影方式における画角に対する像高の変化量を示すグラフである。図５は、受光光学系１０Ａにおける画角に対する像高の変化量と、等距離射影方式の理想の像高の変化量とを示すグラフである。図６は、受光光学系１０Ａにおける画角に対する周辺光量比を示すグラフである。図３～５を参照しながら、受光光学系１０Ａの各要素の機能について説明する。
上述のように、受光光学系１０Ａは、１８０度を超える画角をＴＯＦセンサ１３ａに結像させるために、等距離射影方式を採用している。ここで、図４に、各射影方式における画角（半画角）に対する像高の変化量を示す。図４に示すように、等距離射影方式は、ｙ＝ｆ・θの関係があるので、像高ｙは、半画角θに比例し、グラフは直線となる。
また、中心射影方式は、通常のレンズに採用される方式であり、ｙ＝ｆ・ｔａｎθの関係がある。中心射影方式は、画角が大きくなるとＴＯＦセンサ１３ａに収まらなくなるため、魚眼レンズには適さない。
また、正射影方式は、ｙ＝ｆ・ｓｉｎθの関係がある。正射影方式は、中心と周辺とで明るさが一様なため、周辺光量の低下が生じない。
また、立体射影方式は、ｙ＝２ｆ・ｔａｎ（θ／２）の関係がある。立体射影方式では、中心に比べて周辺の像が拡大される。立体射影方式は、太陽または月が地平線に近づくにつれて大きく見える心理的な特徴を抑えているので、人の眼に近い方式である。
そして、等立体角射影方式は、ｙ＝２ｆ・ｓｉｎ（θ／２）の関係がある。等立体射影方式は、像の面積が立体角に比例するため立体角の測定が可能である。
上述のように、受光光学系１０Ａは、等距離射影方式を採用している。図５に、上述のレンズデータに基づいた半画角に対する像高の変化量と、等距離射影方式の理想の像高の変化量とを示す。受光光学系１０Ａのレンズデータに基づいた半画角に対する像高の変化量のグラフは、等距離射影方式の理想の像高の変化量のグラフに近似している。これによって、すべての画角の画素数がＴＯＦセンサ１３ａ上で同じ画素数となるため、撮像画像の中心部および周辺部の解像感を均一にし、かつ、周辺の画角まで高解像にすることができる。
前群２Ａは、１８０度を超える広画角の光線を取り込んで屈曲させる必要があるので、全体で負の屈折力を有する。すなわち、前群２Ａは、負の焦点距離を形成するために、負メニスカスレンズを有する。ここで、光線を屈曲させるためにメニスカスレンズの枚数を重ねた場合、受光光学系１０Ａの全長が長くなる。また、受光光学系１０Ａの全長を短くするために、複数のメニスカスレンズの間隔を詰めた場合、機械的に組み付けの限界がある。そこで、前群２Ａは、負メニスカスレンズを２枚（レンズＬ１、Ｌ２）有するものとしている。
また、所定の明るさを確保するために、受光光学系１０Ａの焦点距離を小さく（Ｆナンバを小さく）する必要がある。ここで、レンズの厚さを無視する場合の屈折率、レンズ面の曲率半径、および焦点距離の理論式を以下に示す。
Figure 0007363068000002
この式によると、焦点距離ｆを小さくするためには、例えば、前群２Ａが有するメニスカスレンズの曲率半径を小さくする方法がある。しかし、負メニスカスレンズの凹形状の部分は、製造工程の形状測定で、測定子を凹形状の接線に対して所定の角度以下（例えば、６０度以下）にする制約がある。そこで、前群２Ａが有する負メニスカスレンズの屈折率ｎを大きくすることにより、焦点距離ｆを小さくしている。例えば、上述の表１に示すように、前群２ＡのレンズＬ１、Ｌ２の屈折率を１．８以上にすることが望ましい。これによって、焦点距離を小さく抑えて、Ｆナンバの値も２．０程度に抑えることができ、明るさを確保することができる。また、前群２Ａの負メニスカスレンズの屈折率を１．８以上とすることによって、負メニスカスレンズの枚数を２枚とすることができ、かつ、各レンズを薄く、レンズ径も小さくすることができる。これによって、受光光学系１０Ａの全長を短くすることができる。さらに、受光光学系１０Ａに対する最大画角も１９０度以上とすることができる。
また、前群２Ａは、両面が非球面の負メニスカスレンズであるレンズＬ２を有する。これによって、レンズＬ２は、光軸ＯＡ上（以下、単に軸上という）、および光軸ＯＡ外（以下、単に軸外という）の光線が集光されていない状態なので、軸上および軸外の光線に基づく画像の収差の補正のための非球面の形成が容易になる。すなわち、レンズＬ２上で軸上および軸外を通過する光線に基づく画像について別々に補正しやすくなる。例えば、レンズＬ２を曲率が一様な球面レンズとした場合、軸上または軸外のどちらかに対してしか補正することができず、残存する収差については、後群３Ａで補正しなければならない。その場合、後群３Ａのレンズの枚数の増加、または、後群３Ａの全長の延長が必要になる。このことからも、受光光学系１０Ａでは、画角ごとに発生する収差を、光線が集光する前の前群２Ａ内で収差の補正をしておくことが望ましい。
なお、前群２ＡのレンズＬ２は、両面が非球面の負メニスカスレンズとしたが、これに限定されるものではない。すなわち、レンズＬ２の面Ｌ２Ｒ１または面Ｌ２Ｒ２のうちいずれかの面を非球面としてもよい。ただし、両面を非球面とするレンズの方が製造しやすいという利点がある。また、前群２ＡのレンズＬ２を、非球面の負メニスカスレンズとしたが、レンズＬ１、または、レンズＬ１およびＬ２の双方を、非球面の負メニスカスレンズとしてもよい。これによって、上述の効果を得ることができる。ただし、レンズＬ１は最も物体側に配置されるレンズであるため、レンズ面の損傷を受けやすいので、レンズＬ２に形成することが望ましい。
また、受光光学系１０Ａは、図３に示すように、前群２Ａの平行平面板ＰＰの中に入射瞳位置を有する。ここで、入射瞳位置を含み、光軸ＯＡと垂直な平面を、入射瞳面２０Ａとする。また、受光光学系１０Ａに対する最大画角の光線のうち、絞り４Ａの中心を通る光線を主光線３０Ａとする。一般に、レンズに入射する光の照度は、入射前と入射後とで下記の式で示されるコサイン４乗則の関係がある。なお、画角と入射瞳位置との関係については後に詳しく説明する。
Figure 0007363068000003
入射瞳面２０Ａから射出する光の照度は、この式に従って、入射瞳面２０Ａに入射する光の照度と比較して低下する。ここで、図３に示す入射角Ａは、上記式の入射角θに対応する。例えば、前群２ＡのレンズＬ１、Ｌ２が存在しない場合、７０度以上の入射角Ａにより入射した光の光量は、この式により、ほぼ０となる。しかし、受光光学系１０Ａは、前群２ＡのレンズＬ１、Ｌ２によって、入射角Ａを１３度以下に抑制することができる。これによって、受光光学系１０Ａに入射する周辺光線（例えば、図３に示す主光線３０Ａ）に基づく周辺光量の低下を抑制することができる。例えば、受光光学系１０Ａにおいては、図６に示すように、レンズの中心の光量に対する周辺光量の比である周辺光量比の低下を抑制することができ、その他の要因（ビネッティング、瞳収差および色収差）等を考慮しても実用上問題の無い周辺光量を担保することができる。
また、受光光学系１０Ａは、後群３Ａにおいて、ガラス球面の両凸レンズであるレンズＬ３、および、ガラス非球面の両凸レンズであるレンズＬ４を有している。このレンズＬ３、Ｌ４は、入射する光に対して、球面収差および軸上色収差を補正している。さらに、レンズＬ３、Ｌ４は、上述の前群２ＡにおいてＦナンバを低い値に抑えたことにより発生するコマ収差を補正している。
なお、レンズＬ３およびレンズＬ４は、いずれも正の焦点距離を有する両凸レンズであるため、理論的には、１枚の両凸レンズで代用することが可能である。しかし、実際上は、１枚の両凸レンズとすると、曲率半径が非常に小さくなり、レンズのコバが製造限界を超え、さらに、レンズとしての感度も高くなり、結果として、光学系全体の性能が低下することになる。そこで、受光光学系１０Ａでは、上述の理由からレンズＬ３、Ｌ４の２枚のレンズとすることによって、パワーを分散するものとしている。
また、受光光学系１０Ａでは、レンズＬ４を非球面レンズとしている。これによって、各画角の光線の収差を均一に補正している。このように、絞り４Ａに近い位置のレンズ（図２では、レンズＬ４）を非球面レンズとすることによって、絞り４Ａを通過した光線のすべてが入射しやすくなる。さらに、収差の補正をしやすくなる。なお、レンズＬ４が、両面が非球面の両凸レンズとしたが、これに限定されない。すなわち、レンズＬ４の面Ｌ４Ｒ１または面Ｌ４Ｒ２のうちいずれかの面を非球面としてもよい。ただし、両面を非球面とするレンズの方が製造しやすいという利点がある。また、レンズＬ３、または、レンズＬ３およびＬ４の双方を、非球面の両凸レンズとしてもよい。これによって、上述の効果を得ることができる。
また、受光光学系１０Ａは、ガラス非球面の両凸レンズであるレンズＬ７を有している。レンズ７は、後群３Ａのレンズの中でＴＯＦセンサ１３ａに最も近い位置にある。ここで、レンズＬ７は、絞り４Ａから離れた位置に配置されているので、軸上および軸外の画角の主光線の通過位置が異なる。レンズ７は、レンズＬ２と同様に、軸上および軸外の光線に基づく画像の収差の補正、およびＴＯＦセンサ１３ａへの入射角度の補正のための非球面の形成が容易になる。例えば、一般的に使用されるイメージセンサ（撮像素子）は、入射角１０度程度を想定してマイクロレンズが配置されているので、その入射角に合せて、イメージセンサから射出するレンズの射出角を決定する必要がある。これは、レンズ（図２ではレンズＬ７に相当）からの射出角と、イメージセンサへの入射角とが大きく乖離した場合、最終的に得られる撮像画像では、周辺光量が低下してしまう等の問題が発生するためである。しかし、上述のように、レンズＬ７は、軸上および軸外の光線に基づく画像の収差の補正、およびＴＯＦセンサ１３ａへの入射角度の補正のための非球面の形成が容易であるので、この問題の発生を抑制することができる。
なお、レンズＬ７は、収差およびＴＯＦセンサ１３ａへの入射角を補正するが、これに限定されず、収差またはＴＯＦセンサ１３ａの入射角の少なくともいずれかを補正してもよい。
図７は、受光光学系１０Ａの球面収差を示すグラフである。図８は、受光光学系１０Ａの非点収差を示すグラフである。図９は、受光光学系１０Ａのコマ収差を示すグラフである。図１０は、受光光学系１０ＡのＭＴＦの特性を示すグラフである。図７～図１０を参照しながら、受光光学系１０Ａが有する収差等について説明する。
図７に示す球面収差を示すグラフは、横軸が球面収差［ｍｍ］を示し、縦軸が受光光学系１０Ａに入射する光線の入射高さを示す。
図８に示す非点収差を示すグラフは、横軸が収差（縦収差）［ｍｍ］を示し、縦軸が受光光学系１０Ａに入射する光線の入射角（画角）を示す。「Ｓ」のグラフは、それぞれの画角で入射する光線のうち、サジタル面上の光線についての非点収差を示す。また、「Ｔ」のグラフは、それぞれの画角で入射する光線のうち、タンジェンシャル（メリディオナル）面上の光線についての非点収差を示す。
図９に示すコマ収差を示すグラフは、受光光学系１０Ａへ入射する画角が０［ｄｅｇ］、３０［ｄｅｇ］、６０［ｄｅｇ］、および９０［ｄｅｇ］の場合のそれぞれのコマ収差を示す。横軸が受光光学系１０Ａに入射する入射高（「ｐｙ」がＴＯＦセンサ１３ａのｙ方向を示し、「ｐｘ」がＴＯＦセンサ１３ａのｘ方向を示す）を示し、縦軸が横収差（「ｅｙ」がｙ方向の横収差を示し、「ｅｘ」がｘ方向の横収差を示す）［ｍｍ］を示す。
図１０に示すＭＴＦの特性を示すグラフは、横軸が空間周波数［ｍｍ－１］を示し、縦軸がＭＴＦを示す。ＭＴＦの特性は、値が「１．０」に近づくほど光学性能が高いことになるが、光学系には、持ち得ることができる解像力の限界がある。この限界を図１０の「回折限界」のグラフで示しており、空間周波数が高いほどＭＴＦの性能が落ちる。また、ＭＴＦの特性のグラフは、「回折限界」のグラフに近づくほど光学性能が高いことになる。図１０では、受光光学系１０Ａに入射する画角が３０［ｄｅｇ］、６０［ｄｅｇ］、および９０［ｄｅｇ］の場合のそれぞれのＭＴＦの特性のグラフで、「Ｓ」または「Ｔ」に属している。このうち、「Ｓ」のグラフは、それぞれの画角で入射する光線のうち、サジタル面上の光線についてのＭＴＦの特性を示す。そして、「Ｔ」のグラフは、それぞれの画角で入射する光線のうち、タンジェンシャル（メリディオナル）面上の光線についてのＭＴＦの特性を示す。
＜３次元情報取得装置の構成＞
続いて、上述した光学条件を有する３次元情報取得装置の全体構成について説明する。３次元情報取得装置では、投射部から測定範囲に光を投射し、測定対象（物体）から反射してきた光を受光部の受光面に配列された複数の受光素子により検出することにより、距離値を画素値とする距離画像が得られる。距離値は、投射部から投射された光が受光面の受光素子で検出されるまでの光の飛行時間に対応する距離の値である。しかし、受光光学系は、上述したように魚眼レンズにより広角から光を入射する。この場合、画角による入射瞳位置の変化による測定誤差が無視できない。本実施の形態に係る３次元情報取得装置では、入射瞳位置による誤差を含まないようにするために、画角毎の入射瞳位置による誤差を補正する補正処理を行う。
図１１は、３次元情報取得装置の構成を示す図である。図１１（ａ）には３次元情報取得装置で補正を行う場合の概略構成を示し、図１１（ｂ）には、外部装置で補正を行う場合の概略構成を示している。なお、図１１（ａ）、図１１（ｂ）に示す構成は一例であり、これに限るものではない。また、記憶部５０Ｂや、媒体インタフェース６０Ｂや、通信部７０Ｂなどは、適宜設ければよい。
発光部１０Ｂは、投射部に構成され、光を発光する。ＴＯＦセンサ１３ａは、発光部１０Ｂが発光した光が物体で反射した光を受光光学系１０Ａを介して受光面の複数の受光素子で検出する。
記憶部５０Ｂは、各種の情報を記憶する。記憶部５０Ｂは、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）及びＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）である。なお、記憶部５０Ｂに、他の記憶デバイスを用いてもい。媒体インタフェース６０Ｂは可搬型の記録媒体（ＵＳＢメモリや、ＳＤカードなど）と情報を入出力する。なお、補正部４３Ｂが補正に使用する補正情報は、記憶部５０Ｂに記憶させてもよいし、記録媒体に記憶させてもよいし、あるいは、通信部７０Ｂを介して外部装置から取得してもよい。
表示部８０Ｂは、例えばＬＣＤや有機ＥＬ等の表示デバイスであり、ユーザに対して表示を行う。なお、表示部８０Ｂは、他の表示デバイスであってもよい。指示入力部９０Ｂは、例えばタッチパネルや、キーボードや、ポインティングデバイス（例えばマウス）等であり、ユーザからの指示入力を受け付ける。指示入力部９０Ｂとして他の入力デバイスを用いてもよい。
制御部４０Ｂは、各部を制御する。図１１（ａ）において、制御部４０Ｂには、距離画像生成部４１Ｂと、３次元点群生成部４２Ｂと、補正部４３Ｂとが含まれている。
距離画像生成部４１Ｂは、発光部１０Ｂで発光された光が受光部１３のＴＯＦセンサ１３ａの受光面で受光されるまでの光の飛行時間に対応する複数の距離値を含む距離画像を生成する。例えば、発光部１０Ｂを発光させて、その光をＴＯＦセンサ１３ａから距離画像として出力させる。距離画像の距離値算出方法としては、発光タイミングと受光タイミングの時間差を直接検出する直接ＴＯＦ法と、受光信号を使った演算から該当時間差を検出する間接ＴＯＦ法が知られているが、いずれのＴＯＦ方式を使用してもよい。なお、一般に近距離測定においては間接ＴＯＦ法が有利であると考えられている。
３次元点群生成部４２Ｂは、距離画像を３次元点群に変換することにより３次元点群のデータを生成する。
補正部４３Ｂは、光の入射角毎の入射瞳位置に対応した補正情報に基づいて上記３次元点群の座標を補正する。
制御部４０ＢをＣＰＵ（Central Processing Unit）とすると、距離画像生成部４１Ｂ、３次元点群生成部４２Ｂ、および、補正部４３Ｂは、ＣＰＵが記憶部５０Ｂ（ＲＯＭなど）のプログラムを読み出して実行するなどして実現される。また、これに限らず、制御部４０ＢにＡＳＩＣ（Application Specific Integrated Circuit）などの専用のハードウェアにより距離画像生成部４１Ｂ、３次元点群生成部４２Ｂ、および、補正部４３Ｂを設けてもよい。
なお、図１１（ｂ）に示すように、補正部４３Ｂを外部装置（情報処理装置）１０００に設けて、外部装置１０００において補正を行うようにしてもよい。
通信部７０Ｂは、外部装置と通信し、情報の入出力を行う。通信部７０Ｂは、無線通信デバイス或いは有線通信デバイスである。図１１（ｂ）において、３次元情報取得部は通信部７０Ｂから外部装置（情報処理装置）１０００に３次元点群のデータなどを送信する。外部装置１０００は、３次元情報取得装置から送信された所定形式のデータ（例えば３次元点群のデータ）を通信部（「入力部」に対応）７０Ｂで受信し、そのデータに対し補正部４３Ｂで補正処理を行う。
図１２～図１５は、３次元情報取得装置における補正処理の説明図である。
図１２は、３次元情報を取得する処理の全体フローの一例を示す図である。まず、制御部４０Ｂは測距領域に向けて発光部１０Ｂを発光し、ＴＯＦセンサ１３ａにより測距領域の各物体からの反射光を検出する（ステップＳ１）。
次に、制御部４０Ｂは、ＴＯＦセンサ１３ａの検出結果に基づいて発光部１０ＢからＴＯセンサ１３ａの受光面までの光の飛行時間に対応する複数の距離値を有する距離画像を生成する（ステップＳ２）。
次に、制御部４０Ｂは、距離画像を３次元点群に変換する（ステップＳ３）。具体的に、制御部４０Ｂは、レンズの画角とセンサ解像度とに基づいて距離画像を３次元点群に変換する。
図１３は、レンズの画角及びセンサ解像度に基づいて距離画像を３次元点群に変換する処理の説明図である。図１３に示すように、例えば、全画角ｆ、センサ解像度（サイズ）ｗ［ｐｉｘ］の等距離射影方式の受光部（受光光学系及び受光素子配列）であった場合、３次元座標ｘ、ｙ、ｚは以下の式で変換される。
Figure 0007363068000004
ここで、θ、φはθ＝０のときｕ＝０、ｖ＝０とした画像座標（ｕ，ｖ）から以下の式で求まる。
Figure 0007363068000005
次に、制御部４０Ｂは、入射瞳位置に対応する補正情報を取得する（ステップＳ４）。補正情報は、例えば予め記憶部５０Ｂに記憶しておき、その補正情報を記憶部５０Ｂから取得する。その他、記録媒体に補正情報を格納し、その補正情報を媒体インタフェース６０Ｂを介して取得してもよい。また、通信部７０Ｂを介して外部装置から補正情報を取得してもよい。
図１４は、読取画像の画素位置と補正値との関係を示す図である。図１４（ａ）には、各画素位置における像高（＝入射角θ）の関係を示している。ここで、θは入射角を表し、Ｃは入射角θ＝０となる画像中心を表している。図１４（ｂ）には、θと補正値との関係を示す図である。
図１５は、補正情報の一例を示す図である。図１５の補正情報は、画像の各画素に対応する補正値ｋ１、ｋ２、・・・を有する。
次に、制御部４０Ｂは、取得した補正情報に基づきステップＳ３で変換した３次元点群の位置座標を補正する（ステップＳ５）。本例では、入射角θに関連付けられた補正値を用いて、３次元点群のうち光軸方向ｚの座標を補正する。
制御部４０Ｂは、出力形式が３次元点群出力の場合（ステップＳ６：Ｙｅｓ）、補正後の３次元点群を出力する（ステップＳ７）。また、制御部４０Ｂは、出力形式が距離画像形式の場合（ステップＳ６：Ｎｏ）、補正後の３次元点群を距離画像に変換し（ステップＳ８）、その距離画像を出力する（ステップＳ９）。補正後の３次元点群を距離画像に変換する場合、例えば３次元点群を距離画像に再投影する。３次元点群から距離画像に投影する方式としては、例えば正距円筒図法などがあるが、これに限定されない。距離画像で出力する場合、再投影による演算誤差が発生するが、３次元点群に比べてデータ量が少ないという利点がある。
ステップＳ６～Ｓ８では、補正された３次元情報を例えば媒体インタフェース６０Ｂにより記録媒体に対して出力する。また、通信部７０Ｂにより、補正された３次元情報を外部装置に出力（送信）してもよい。
「実施例」
図１６および図１７は、第１の実施の形態に係る３次元情報取得装置の構成の一例を示す図である。図１６及び図１７には、３次元情報取得装置の一例として撮像装置の構成の一例を示している。図１６は、撮像装置の外観の一例を示す図である。図１７は、撮像装置の構成を説明するための図である。図１７には、図１６の撮像装置の内部の構成を示している。さらに、図１７には、光の経路を説明するための図を重ねて示している。先ず、図１６および図１７を参照して撮像装置の構成について説明する。
撮像装置１は、撮像部（カメラ）１１と、可視光以外の光を投射する投射部（距離センサの発光部に相当する部分）１２と、投射部１２が投射した光を受光する受光部１３とを筐体１０に対して一体に設けたものである。各部は、筐体１０内部の処理回路１４と同期信号線Ｌにより電気的に接続されており、それぞれ同期して動作する。
撮影スイッチ１５は、ユーザが処理回路１４に撮影指示信号を入力するためのものである。撮影指示に基づき処理回路１４は各部を制御してＲＧＢ画像や距離画像を取得し、距離画像から得た３次元点群の座標を画角ごとの入射瞳位置の補正値を使用して補正する。本例では、さらに処理回路１４は、「情報処理部」として高密度３次元点群データに再構築する処理を行う。なお、入射瞳位置の補正値により補正を行うため、距離画像としては精度のよい３次元点群のデータが得られるが、この例では、３次元点群データの精度が受光部１３の画素数（解像度）に制限されることになる。このため本例では、それを高密度の３次元点群データに再構築する場合の処理についても示す。再構築したデータは可搬型の記録媒体や通信などを介して外部のＰＣなどに出力され、３次元復元モデルの表示に利用できる。
各部や処理回路１４には、筐体１０内部に収容されるバッテリから電力が供給される。この他にも、筐体１０の外部から接続コードにより電力供給を受ける構成としてもよい。
撮像部１１は、撮像素子１１ａや、魚眼レンズ（広角レンズ）１１ｂなどを有する。投射部１２は、光源部１２ａや広角レンズ１２ｂなどを有する。受光部１３は、ＴＯＦ（Time Of Fright）センサ１３ａや魚眼レンズ（広角レンズ）１３ｂなどを有する。なお、各部は、図示を省略しているがプリズムやレンズ群などの光学系を構成してよい。例えば、撮像部１１に、魚眼レンズ１１ｂが集めた光を撮像素子１１ａに結像するための光学系を構成してよい。また、投射部１２に、光源部１２ａの光を広角レンズ１２ｂに導く光学系を構成してよい。また、受光部１３に魚眼レンズ１３ｂが集めた光をＴＯＦセンサ１３ａに結像するための光学系を構成してよい。魚眼レンズ１３ｂに入射する光は例えば図１に示す受光光学系１０Ａを通じてＴＯＦセンサ１３ａに結像する。その他、各光学系は、撮像素子１１ａ、光源部１２ａなどの構成や配置に応じて適宜決められている。
撮像素子１１ａ、光源部１２ａ、およびＴＯＦセンサ１３ａは、筐体１０の内部に一体的に収められている。魚眼レンズ１１ｂと、広角レンズ１２ｂと、魚眼レンズ１３ｂとは、それぞれ筐体１０の第１の面に設けられている。第１の面において、魚眼レンズ１１ｂ、広角レンズ１２ｂ、および魚眼レンズ１３ｂのぞれぞれの内側の範囲は開口している。ここで魚眼レンズ１３ｂは、画角１４０°以上に広角化した広角レンズを使用している。
撮像素子１１ａは、２次元解像度のイメージセンサ（エリアセンサ）である。撮像素子１１ａは、２次元方向に各画素の受光素子（フォトダイオード）が多数配列された撮像エリアを有する。撮像エリアには可視光を受光するためにベイヤ配列等のＲ（Ｒｅｄ）とＧ（Ｇｒｅｅｎ）とＢ（Ｂｌｕｅ）のカラーフィルタが設けられており、カラーフィルタを通過した光がフォトダイオードに蓄電される。ここでは、広角の２次元画像を高解像度で取得することができるように画素数の多いイメージセンサを使用する。撮像素子１１ａは、その撮像エリアに結像した光を各画素の画素回路で電気信号に変換して高解像度のＲＧＢ画像を出力する。魚眼レンズ１１ｂは、広角から光を集め、その光を撮像素子１１ａの撮像エリアに結像する。
光源部１２ａは、半導体レーザであり、距離の計測に用いる可視光領域以外（ここでは一例として赤外とする）の波長帯のレーザ光を出射する。光源部１２ａには、１つの半導体レーザを用いてもよいし、複数の半導体レーザを組み合わせて使用してもよい。また、半導体レーザとして例えばＶＣＳＥＬ（Vertical Cavity Surface Emitting LASER）などの面発光型の半導体レーザを使用してもよい。また、半導体レーザの光を光学レンズにより縦に長くなるように成形し、縦長にした光を、ＭＥＭＳ（Micro Electro Mechanical Systems）ミラーなどの光偏向素子で計測範囲の一次元方向に走査するような構成にしてもよい。本実施の形態では、光源部１２ａとして、半導体レーザＬＡの光をＭＥＭＳミラーなどの光偏向素子を使用せずに広角レンズ１２ｂを介して広角の範囲に広げる形態を示している。
光源部１２ａの広角レンズ１２ｂは、光源部１２ａが出射した光を広角（例えば図１７に示す撮像方向を正面とする周囲１８０度の半球の範囲など）の範囲に広げる機能を有する。
受光部１３の魚眼レンズ１３ｂは、投射部１２により投射された光源部１２ａの光の反射光を、計測範囲である広角の各方向から取り込み、それらの光をＴＯＦセンサ１３ａの受光エリア（受光面）に結像する。計測範囲には一つまたは複数の計測対象（例えば建物など）が含まれており、計測対象で反射した光（反射光）が魚眼レンズ１３ｂに入射する。反射光は、例えば魚眼レンズ１３ｂの表面全体に赤外領域の波長以上の光をカットするフィルタを設けるなどして取り込んでよい。なお、これに限らず、受光エリアに赤外領域の光が入射すればよいため、魚眼レンズ１３ｂから受光エリアまでの光路にフィルタなど赤外領域の波長の光を通す手段を設けてもよい。
ＴＯＦセンサ１３ａは、２次元解像度の光センサである。ＴＯＦセンサ１３ａは多数の受光素子（フォトダイオード）が２次元方向に配列された受光エリア（受光面）を有する。ＴＯＦセンサ１３ａは、計測範囲の各エリア（各エリアを位置とも言う）の反射光を、各エリアに対応する受光素子で受光し、各受光素子で検出した光に基づき各エリアまでの距離値を計測（算出）する。
例えば、図１７に示すパルス方式で距離を計測する構成では、光源部１２ａで、立ち上がり時間が数ナノ秒（ｎｓ）で且つ光ピークパワーが強い超短パルスの照射パルスＰ１を出射し、これに同期してＴＯＦセンサ１３ａにより、光源部１２ａが出射した照射パルスＰ１の反射光である反射パルスＰ２の受光までにかかる時間（ｔ）を計測する。この方式を採用する場合、例えばＴＯＦセンサ１３ａとして、受光素子の出力側に時間の計測を行う回路などを実装したものを使用する。各回路では、受光素子毎に、光源部１２ａが照射パルスＰ１を出射してから反射パルスＰ２を受光するまでにかかる時間を距離に換算し、各エリアまでの距離を得る。このように、ＴＯＦセンサ１３ａは、投射部１２による光の照射に同期して駆動し、各受光素子（画素に対応）で反射光を受光するまでにかかった時間から各画素に対応する距離値を算出し、画素情報に計測範囲内の各エリアまでの距離値を対応付けた距離情報（「距離画像」や「ＴＯＦ画像」とも言う）を出力する。なお、測定範囲が分割されてなるエリアの数は、ＴＯＦセンサ１３ａの画素の解像度によって決まる。従って、小型化のため解像度が低いものを使用した場合、距離画像の画素数が減少するため、得られる３次元点群のデータ数も少なくなる。この方式は、ピーク光を使用し強力な光を出力することができるので、撮像装置１の広角化に適している。また、ＭＥＭＳミラーなどを使用して光を振る（走査する）構成にした場合には、強力な光を、広がりを抑えつつ遠くまで照射することができるため、測定距離の拡大に繋がる。この場合、光源部１２ａから出射されたレーザ光を、ＭＥＭＳミラーにより広角レンズ１２ｂへ向けて走査（偏向）するような配置関係とする。
なお、撮像部１１の有効画角と受光部１３の有効画角は一致していることが望ましいが、必ずしも一致していなくてもよい。必要に応じて撮像部１１の有効画角と受光部１３の有効画角とをそれぞれ減じてもよい。また、ＴＯＦセンサ１３ａの解像度は、撮像装置１の小型化を優先して撮像素子１１ａの解像度よりも低く設定してよい。本例のようなパルス方式の場合、ＴＯＦセンサ１３ａを高解像度に設けることは難しい。ＴＯＦセンサ１３ａを撮像素子１１ａよりも低解像度のものとすることにより、受光エリアのサイズ拡大を抑えることができるため、撮像装置１の小型化に繋げることができる。このためＴＯＦセンサ１３ａは低解像度になり、ＴＯＦセンサ１３ａで得られる３次元点群は低密度となるが、処理回路１４で再構築を行えば高密度の３次元点群に変換することができる。処理回路１４において高密度の３次元点群に変換する処理については後述する。
本実施の形態では、一例として、撮像素子１１ａと、光源部１２ａと、ＴＯＦセンサ１３ａとは筐体１０の長手方向に直線上に並ぶように設けている。撮像素子１１ａの撮像エリア（撮像面）やＴＯＦセンサ１３ａの受光エリア（受光面）は、図１７に示すように長手方向に直交する方向に向けて配置してもよいし、光の直進方向（光路）を９０度変換して入射させるプリズムなどを設けることで長手方向に向けて配置してもよい。この他にも、構成に応じて任意の向きに配置してもよい。つまり、撮像素子１１ａと、光源部１２ａと、ＴＯＦセンサ１３ａとは、同じ計測範囲が対象となるように配置される。撮像部１１と、投射部１２と、受光部１３とが筐体１０の一面側から、その測定範囲に向けて配置される。この際に、撮像素子１１ａとＴＯＦセンサ１３ａとを、平行ステレオ化するように同一基線上に配置できればよい。平行ステレオ化するように配置することにより、撮像素子１１ａが１つであっても、ＴＯＦセンサ１３ａの出力を利用して視差データを得ることが可能になる。光源部１２ａは、ＴＯＦセンサ１３ａの計測範囲に光を照射することができるように構成する。
（処理回路）
また、この例では、ＴＯＦ画像は、そのままでは解像度が低い。そのため、本例では処理回路１４により高解像度化し、高密度の３次元点群データを再構築する処理を示す。なお、処理回路１４における「情報処理部」としての以下に示す処理の一部または全ては、外部の情報処理装置で行ってもよい。
図１８は、処理回路１４の処理ブロックの構成の一例を示す図である。図１８に示す処理回路１４は、制御部１４１と、ＲＧＢ画像データ取得部１４２と、モノクロ処理部１４３と、ＴＯＦ画像データ取得部１４４と、高解像度化部１４５と、マッチング処理部１４６と、再投影処理部１４７と、セマンティックセグメンテーション部１４８と、視差計算部１４９と、３次元再構成処理部１５０と、補正部１５１とを有する。図１８において、実線矢印は信号の流れを示し、破線矢印はデータの流れを示している。ここで、ＴＯＦセンサ１３ａと、制御部１４１と、ＴＯＦ画像データ取得部１４４とが「距離画像生成部」に対応し、３次元再構成処理部１５０が「３次元点群生成部」に対応し、補正部１５１が「補正部」に対応する。
制御部１４１は、撮影スイッチ１５からＯＮ信号（撮影開始信号）を受けると撮像素子１１ａ、光源部１２ａ、およびＴＯＦセンサ１３ａに同期信号を出力し、処理回路１４全体を制御する。制御部１４１は、先ず光源部１２ａに超短パルスの出射を指示する信号を出力し、これと同じタイミングでＴＯＦセンサ１３ａにＴＯＦ画像データの生成を指示する信号を出力する。さらに、制御部１４１は、撮像素子１１ａに撮像を指示する信号を出力する。なお、撮像素子１１ａにおける撮像は、光源部１２ａから超短パルスが出射されている期間でもよいし、その前後の直近の期間でもよい。
ＲＧＢ画像データ取得部１４２は、制御部１４１による撮像指示に基づき、撮像素子１１ａが撮像したＲＧＢ画像データを取得する。モノクロ処理部１４３は、ＴＯＦセンサ１３ａから得られるＴＯＦ画像データとのマッチング処理のためにデータ種を揃えるための処理を行う。この例では、モノクロ処理部１４３は、ＲＧＢ画像データをモノクロ画像に変換する処理を行う。
ＴＯＦ画像データ取得部１４４は、制御部１４１によるＴＯＦ画像データの生成指示に基づき、ＴＯＦセンサ１３ａが生成したＴＯＦ画像データを取得する。
高解像度化部１４５は、ＴＯＦ画像データをモノクロ画像に見立て、その解像度を高解像度化する。具体的に、高解像度化部１４５は、ＴＯＦ画像データの各画素に対応付けられている距離の値を、モノクロ画像の値（グレースケール値）に置き換えて使用する。さらに、高解像度化部１４５は、モノクロ画像の解像度を撮像素子１１ａから得られたＲＧＢ画像データの解像度まで高解像度化する。高解像度への変換は、例えば通常のアップコンバート処理を施すことにより行う。その他の変換方法としては、例えば連続して生成されたＴＯＦ画像データを複数フレーム取得し、それらを利用して隣接する地点の距離を追加して超解像度処理を施すなどしてもよい。
マッチング処理部１４６は、ＴＯＦ画像データを高解像度化したモノクロ画像と、ＲＧＢ画像データのモノクロ画像とについて、テクスチャのある部分の特徴量を抽出し、抽出した特徴量によりマッチング処理を行う。例えば、マッチング処理部１４６は、各モノクロ画像からエッジを抽出し、抽出したエッジ情報同士でマッチング処理を行う。この他の方法として、例えばＳＩＦＴ等のテクスチャの変化を特徴量化した手法でマッチング処理を行ってもよい。ここでマッチング処理とは、対応画素の探索のことを意味する。
マッチング処理の具体的な手法として、例えばブロックマッチングがある。ブロックマッチングは、参照する画素の周辺で、Ｍ×Ｍ（Ｍは正の整数）ピクセルサイズのブロックとして切り出される画素値と、もう一方の画像のうち、探索の中心となる画素の周辺で、同じくＭ×Ｍピクセルのブロックとして切り出される画素値の類似度を計算し、最も類似度が高くなる中心画素を対応画素とする方法である。
類似度の計算方法は様々である。例えば、次に示す（式１）は正規化自己相関係数ＣＮＣＣ（NCC：Normalized Correlation Coefficient）を示す式である。正規化自己相関係数ＣＮＣＣは数値が高いほど類似度が高いことを示し、ブロックの画素値が完全に一致していれる場合に１となる。
探索範囲の中で最も高い係数値を示すブロックの中心画素を対応画素とする。
Figure 0007363068000006
また、ＴＯＦ画像データからテクスチャレス領域の距離のデータも得られるため、領域に応じてマッチング処理に重みをつけてもよい。例えば式１の計算において、次に示す式２に示すようにエッジ以外の箇所（テクスチャレス領域）に重みをかける計算を行ってもよい。
また、式１の代わりに、次の式３のような選択的正規化相関（ＳＣＣ：Selective Correlation Coefficient）などを用いてもよい。
Figure 0007363068000007
Figure 0007363068000008
式３は基本的に式１と同様であるが、選択関数Ｃｎと呼ばれるマスク係数を通しているところが異なる。一般的にはＣｎはｂｎ，ｂ´ｎをそれぞれ各画像に対する増分符号として定義される。つまりエッジがより強調されて計算される。この反対を使うことによってエッジでない領域によりＴＯＦデータを利用させることができる。ただし、ここでＣｔｏｆは、ＴＯＦセンサ１３ａで検出された距離位置を中心に幅を持たせた重みのコストカーブ関数とする。図１９が、Ｃｔｏｆのコストカーブ関数の一例である。
再投影処理部１４７は、計測範囲の各位置の距離を示すＴＯＦ画像データを撮像部１１の２次元座標（スクリーン座標系）に再投影する処理を行う。再投影するとは、ＴＯＦセンサ１３ａが算出する３次元点が、撮像素子１１ａの画像ではどの座標に写るかを求めることである。ＴＯＦ画像データは、受光部１３（主に魚眼レンズ１３ｂ）を中心とする座標系における３次元点の位置を示す。従って、ＴＯＦ画像データが示す３次元点を、撮像部１１（主に魚眼レンズ１１ｂ）を中心とする座標系に再投影する。例えば、再投影処理部１４７は、ＴＯＦ画像データの３次元点の座標を撮像部１１を中心とする３次元点の座標に平行移動し、平行移動後に、ＲＧＢ画像データが示す２次元の座標系（スクリーン座標系）に変換する処理を施す。図２０は、再投影処理を模式的に示した図である。スクリーン座標系に変換する処理について式４を用いて説明する。
式４において、（Ｘ，Ｙ，Ｚ）は撮像部１１の座標系における３次元座標を示している。３×３行列は投影行列と呼ばれるものであり、スクリーン座標系の（ｘ，ｙ）方向の焦点距離（ｆｘ，ｆｙ）と、光学中心に対するスクリーン座標系のずれ（ｃｘ，ｃｙ）とを使って示される。式２により求まるλ（ｕ，ｖ）がスクリーン座標系に変換（再投影）されたときの座標（再投影座標）である。
Figure 0007363068000009
視差計算部１４９は、マッチング処理により得られた対応画素との距離のズレから各位置の視差を計算する。
なお、視差のマッチング処理は、再投影処理部１４７が変換した再投影座標を利用して、再投影座標の位置の周辺画素を探索することで、処理時間の短縮や、より詳細で高解像度な距離情報を取得することが可能になる。
また、視差のマッチング処理にセマンティックセグメンテーション部１４８のセマンティックセグメンテーション処理により得られたセグメンテーションデータを利用してもよい。その場合、さらに詳細で高解像度の距離情報を取得することができるようになる。
また、エッジのみや、強い特徴量のある部分のみ、視差のマッチング処理を行い、その他の部分は、ＴＯＦ画像データも利用し、例えばＲＧＢ画像特徴や確率的な手法を利用し、伝搬処理を行ってもよい。
セマンティックセグメンテーション部１４８は、深層学習を利用して、例えば図２１のように、計測範囲の入力画像に対して対象物を示すセグメンテーションラベルを付与する。これにより、ＴＯＦ画像データの各画素を、距離毎に分けた複数の距離領域の何れかに拘束させることができるので、計算の信頼性がさらに高まる。
３次元再構成処理部１４５は、ＲＧＢ画像データ取得部１４２からＲＧＢ画像データを取得し、視差計算部１４９が出力した距離情報に基づいて３次元データを再構成し、各３次元点に色情報を付加した高密度３次元点群を出力する。
（処理回路の動作）
図２２は、撮像装置１の処理回路１４の動作の一例を示すフロー図である。処理回路１４の制御部１４１は、ユーザにより撮影スイッチ１５がＯＮされ、撮影指示信号が入力されると、次のような方法で高密度３次元点群を生成する動作を行う。
先ず、制御部１４１は、光源部１２ａと、ＴＯＦセンサ１３ａと、撮像素子１１ａとを駆動して計測範囲を撮影する（ステップＳ１１）。制御部１４１による駆動により、光源部１２ａが赤外光（照射パルス）を照射し、その反射光である反射パルスをＴＯＦセンサ１３ａが受光する。また、撮像素子１１ａが、光源部１２ａの駆動開始のタイミングあるいはその直近の期間に計測範囲を撮像する。
次に、ＴＯＦ画像データ取得部１４４が、ＴＯＦセンサ１３ａから２次元領域の各位置の距離を示すＴＯＦ画像データを取得する（ステップＳ１２）。さらに、ＲＧＢ画像データ取得部１４２が、撮像素子１１ａから計測範囲のＲＧＢ画像データを取得する（ステップＳ１３）。なお、ステップＳ１２とステップＳ１３は逆の順序で行われても良い。
次に、モノクロ処理部１４３が、ＲＧＢ画像データをモノクロ画像へ変換する（ステップＳ１４）。ＴＯＦ画像データとＲＧＢ画像データとでは、それぞれが距離データとＲＧＢデータとでデータ種が異なり、そのままではマッチングを行うことができない。従って、先ず一旦、それぞれのデータをモノクロ画像に変換する。ＴＯＦ画像データについては、高解像度化部１４５が高解像度化の前に各画素の距離を示す値を、そのままモノクロ画像の値に置き換えることで変換する。
次に、高解像度化部１４５がＴＯＦ画像データの解像度を高解像度化する（ステップＳ１５）。
次に、マッチング処理部１４６が、各モノクロ画像についてテクスチャのある部分の特徴量を抽出し、抽出した特徴量でマッチング処理を行う（ステップＳ１６）。
次に、視差計算部１４９が、対応画素の距離のズレから各位置の視差を計算する（ステップＳ１７）。
そして、３次元再構成処理部１４５が、ＲＧＢ画像データ取得部１４２からＲＧＢ画像データを取得し、視差計算部１４９が出力した距離情報に基づいて３次元データを再構成し、各３次元点に色情報を付加した高密度３次元点群を出力する（ステップＳ１８）。
以上のように、本実施の形態に係る撮像装置は、画角ごとの入射瞳位置の変化量に基づいて座標をオフセット補正する。このため、本実施の形態に係る撮像装置は、広角化による測定精度を向上することが可能になる。また、本実施の形態に係る撮像装置は、可視光を受光して画像を取得する撮像部と、可視光以外の光を投射する投射部と、投射部が投射した光に基づいて距離情報を取得する距離情報取得部とを筐体に対して一体的に設ける。これにより、距離情報を取得するための準備が簡単な撮像装置を実現することができる。従来のように撮像装置と投射装置とが別体の場合は、撮影のたびに、撮像装置と投射装置のキャリブレーションが必要になる。キャリブレーションとは、投射方向と撮像方向の位置あわせなどである。しかし、本実施の形態では、共通の筐体に一体的に設けられるため、そのようなキャリブレーションは不要である、このため、距離情報を取得するための準備が簡単になる。また、処理回路において、各部が出力したデータを基に高密度の３次元点群データを再構築する。これにより、「高解像度」で「高精度」な「遠方・広角の３次元復元」を１つの小型デバイスとして実現することが可能になる。
「変形例１」
実施の形態には、パルス方式で距離を計測する構成を示したが、この方式に限らず、適宜他の方式に変形してもよい。変形例１では、パルス方式以外の一例として位相差検出方式で距離を計測する場合の構成について示す。
一般に、位相差検出方式では、基本周波数で振幅変調したレーザ光を計測範囲に照射し、その反射光を受光して照射光と反射光との位相差を測定することで時間を求め、その時間に光速をかけて距離を算出する。この方式では、ある程度の解像度が見込めることが強みだが、位相差を取るために光を出し続ける必要がある。このために強い光を出力することはできず、計測範囲を遠方まで稼ぐことが難しい。またスポット光が基本になるために広角化が難しい。変形例１では、この点も改善する。
図２３は、変形例１に係る位相差検出方式で計測する撮像装置の構成について説明するための図である。図２３には、図１７に示す撮像装置１の構成において、位相差検出方式に変形した場合の構成を示している。ここでは、図１７に示す撮像装置の構成とは異なる箇所について説明し、共通する箇所については説明を適宜省略する。
変形例１に係る撮像装置２において、光源部は、基本周波数で振幅変調したレーザ光を照射する。ここでは位相差検出方式を採用するため、スポット光を利用する。図２３に示す一例では、「走査手段」である光偏向素子の一例のＭＥＭＳミラー２３１と、半導体レーザ２３２とを設けている。
ＭＥＭＳミラー２３１は、一次元方向に駆動し、半導体レーザ２３２のレーザ光を計測範囲の一方向（例えばＸ軸方向）に走査する。投射部から見た場合、計測範囲の全てはＸ軸と、これに直交するＹ軸の２次平面に投影することができる。そこで、この計測範囲の全てを２次平面と考えたときのＸ軸方向に対してＭＥＭＳミラー２３１によりレーザ光を走査する。２次平面におけるＹ軸方向の範囲についてはレーザ光に縦長の光を使用することによりカバーする。このように構成することにより、位相差検出方式において広角化を可能にする。
図２３に示す例では、半導体レーザ２３２を設けて走査系拡大レンズ２３３によりレーザ光を縦長の径になるように成形することで、２次平面のＹ軸方向の範囲をカバーする。ここでは、一例として、多数の半導体レーザ２３２を使用する。なお、半導体レーザ２３２の数は、適宜決めてよい。半導体レーザ２３２は、強い光を得るために複数構成したものを示しているが、これに限定せず、１であってもよい。なお、半導体レーザ２３２の数を増やすにつれて、強い光を出し続けることがより可能になる。
半導体レーザとしてＶＣＳＥＬを使用してもよい。複数の半導体レーザを構成する場合、ＶＣＳＥＬにおいてレーザ光を出射する発光部を一次元方向に配列したものや、２次元方向に配列したものなどを利用することができる。
図２４は、変形例１に係る投射部の構成の一例を模式的に示す図である。図２４に示すように、処理回路１４の制御部１４１が、半導体レーザ２３２の発光回路２３２ａとＸ軸方向にスポット光を走査するＭＥＭＳミラー２３１とを共に制御する。具体的に、制御部１４１は、半導体レーザ２３２を発光した後、ＭＥＭＳミラー２３１を一軸方向（図２４の回転軸周り）に往復回動させる。この制御により、半導体レーザ２３２から出射されたレーザ光ＰがＭＥＭＳミラー２３１を介して計測範囲の一次元方向（Ｘ軸方向）に走査される。
図２４には、ＭＥＭＳミラー２３１を介することによりレーザ光Ｐが方向を変えて出射される様子を破線矢印で示している。また、この例では、走査系拡大レンズ２３３を設けているため、レーザ光Ｐは径が縦長になるように成形されて出射される。図２４には、ＭＥＭＳミラー２３１により一次元方向に走査されるレーザ光Ｐにおいて、任意のレーザ光Ｐの径が走査系拡大レンズ２３３により縦長になるように成形されて出射される様子を一点鎖線矢印で示している。このように、変形例１に示す構成であれば、ＭＥＭＳミラー２３１の一軸方向の駆動だけで計測範囲全体にレーザ光Ｐが照射される。また、位相差検出方式において強い光を出し続けることと広角化とを実現することができる。
（光偏向素子）
図２５は、ＭＥＭＳミラー２３１の構成の一例を説明する図である。図２５に示すＭＥＭＳミラー２３１は、支持基板１３１に、可動部１３２と二組の蛇行状梁部１３３とを有する。
可動部１３２は反射ミラー１３２０を備えている。二組の蛇行状梁部１３３はそれぞれ一端が可動部１３２に連結され、他端が支持基板１３１により支持されている。二組の蛇行状梁部１３３はそれぞれミアンダ形状の複数の梁部からなり、共に、第１の電圧の印加により変形する第１の圧電部材１３３１と、第２の電圧の印加により変形する第２の圧電部材１３３２とを各梁部に１つおきに有する。第１の圧電部材１３３１と第２の圧電部材１３３２と隣り合う梁部ごとに独立に設けられている。二組の蛇行状梁部１３３はそれぞれ第１の圧電部材１３３１と第２の圧電部材１３３２への電圧の印加により変形し、可動部１３２の反射ミラー１３２０を回転軸周りに回転させる。
具体的には、第１の圧電部材１３３１と第２の圧電部材１３３２に逆位相となる電圧を印加し、各梁部に反りを発生させる。これにより、隣り合う梁部が異なる方向にたわみ、それが累積され、二組の蛇行状梁部１３３に連結する可動部１３２と共に反射ミラー１３２０が回転軸を中心に往復回動する。さらに、回転軸を回転中心とするミラー共振モードに合わせた駆動周波数をもつ正弦波を逆相で第１の圧電部材１３３１と第２の圧電部材１３３２とに印加することで、低電圧で非常に大きな回転角度を得ることができる。
なお、駆動波形は正弦波に限らない。例えばノコギリ波であってもよい。また、共振モードに限らず、非共振モードで駆動させてもよい。
（処理回路の動作）
制御部１４１は、撮影スイッチ１５からＯＮ信号（撮影開始信号）を受けると撮像素子１１ａ、光源部（半導体レーザ２３２とＭＥＭＳミラー２３１）、およびＴＯＦセンサ１３ａ（この例では位相差検出方式のＴＯＦセンサ）に同期信号を出力して駆動し、処理回路１４全体を制御する。変形例１では、制御部１４１は、光源部の複数の半導体レーザ２３２を駆動し、ＭＥＭＳミラー２３１による一走査の間、強い光をＭＥＭＳミラー２３１に照射し続ける。ＭＥＭＳミラー２３１は、半導体レーザ２３２の照射と共に走査を開始する。ＴＯＦセンサ１３ａは、走査期間中、測定範囲からの反射光を対応する受光素子で受光し、各画素のデータを処理回路１４へ出力する。
処理回路１４へ出力されたデータは、受光部１３が取得し、照射光と反射光との位相差から時間を求め、その時間に光速をかけて距離を算出する。このようにして生成されたＴＯＦ画像データは、実施の形態と同様の手順で高密度３次元点群データが再構築される。３次元点群データの再構築の処理については、実施の形態の説明の繰り返しになりため、ここでの説明は省略する。
以上のように、変形例１の構成では、光偏向素子や複数の半導体レーザを設けた場合のものについて示している。本構成では、ＭＥＭＳミラーや、ＶＣＳＥＬなどを採用することにより、撮像素子１１ａと、光源部（半導体レーザ２３２とＭＥＭＳミラー２３１）と、ＴＯＦセンサ１３ａとを筐体１０の長手方向に直線上に並ぶように設けることができるため、撮像装置１を小型化することがより可能になる。
「変形例２」
実施の形態や変形例１には、ＲＧＢ画像を取得する撮像部と、可視光領域以外の光を投射する投射部と、投射部が投射した光に基づいて距離情報を取得する距離情報取得部とを、それぞれを１組ずつ半天球（略１８０度、または１８０度以下）の測定範囲を対象に筐体１０に設けたものを示した。各部の数は、１組ずつに限らず適宜増やしてもよい。例えば、半天球（略１８０度、または１８０度以下）の測定範囲を対象に、撮像部を同一基線上に２組設け、撮像部をステレオカメラ化してもよい。また、筐体１０の正面側だけでなく背面側などにも、同じ数の撮像部、投射部、距離情報取得部を設けてもよい。このように、撮像部、投射部、および距離情報取得部を複数組設ける場合、複数組の一つの組（例えば正面側の組）と他の組（例えば背面側の組）とは計測範囲が互いに異なる計測範囲になる向きに設ける。
図２６は、変形例２に係る撮像装置の構成の一例を説明するための図である。図２６には、図１７に示す撮像装置１の構成を変形した場合の構成を示している。ここでは、図１７に示す撮像装置の構成とは異なる箇所について説明し、共通する箇所については説明を適宜省略する。
図２６に示す撮像装置３は、筐体１０の一面（正面とする）に撮像部１１を同一基線上に２組設けた場合のものである。また、筐体１０の背面にも、正面と同様の数および配列で、撮像部１１と、投射部１２と、受光部１３とを一体に設けている。
図２６に示すように、正面だけでなく背面側にも設けることにより、正面側の半天球（略１８０度）に背面側の半天球（略１８０度）も加わり、全天球（周囲３６０度）の範囲をカバーすることができるようになる。つまり、１度の撮影により処理回路１４は３６０度全方向のＲＧＢ画像と距離情報のデータとを取得することができ、全方向の３次元復元モデルのためのデータ（高密度３次元点群データ）を１度に生成することができる。なお、高密度３次元点群データを生成する処理は、全方向のＲＧＢ画像と距離情報のデータとを使用することを除き実施の形態と略同様である。
また、図２６に示す構成では、筐体１０の一面にＲＧＢの撮像部１１を同一基線上に２組設けている。この場合、処理回路１４において多眼での処理が可能になる。つまり、一面において所定距離離して設けた２つの撮像部１１を同時に駆動することにより２つの視点のＲＧＢ画像が得られる。このため、２つのＲＧＢ画像に基づいて計算した視差の使用が可能になり、さらに測定範囲全体の距離精度を向上させることができる。
具体的には、ＲＧＢの撮像部１１を複数設けた場合、従来の視差計算のように、ＳＳＳＤを使ったマルチベースラインステレオ（ＭＳＢ）やＥＰＩ処理などが利用可能になる。このため、これを利用することで視差の信頼度があがり、高い空間解像度と精度を実現することが可能になる。
（処理回路の動作）
例えば次に示す式５のように、式２をベースとしてさらにエッジでのＲＧＢ画像を利用する比率を高くする。ここでＣＲＧＢは、ＲＧＢ多眼画像による視差計算処理であり、ＭＢＳやＥＰＩで計算されるコスト値である。ｗ１はＣｗｎｃｃとＣＲＧＢのどちらを優先するかを決定する重み値であるが、式２で示したｗをそのまま利用してもよい。
Figure 0007363068000010
マッチングした視差から、実際の距離への計算は、次式の式６により行う。Ｚが奥行き、ｆが焦点であり、ｂａｓｅｌｉｎｅは基線長と呼ばれ、撮像部１１間の基線上における距離である。ｄは視差であり、上記のマッチング処理によって算出された値、つまり、その基線方向で、参照画素と対応画素の座標値の差に画素ピッチを乗じた値である。
Figure 0007363068000011
なお、これは画像の投影形態が透視投影の場合であり、全周囲画像等で利用されるＥｑｕｉＲｅｃｔａｎｇｕｌａｒ等の投影系では、下記（式７）が利用される。図２７に、この式を導出する説明図を示している。
Figure 0007363068000012
「適用例」
計測範囲についての３Ｄ復元技術は、Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｏｎと呼ばれる手法や、複数の画像撮影手段を備えた機器を用いた、ステレオ法と呼ばれる手法をメインとしている。これらの手法は基本的な処理として、カメラによって異なる位置から撮影された画像中から、同じ箇所を撮影したとされる点を、画像の類似度に基づいて探索する。この処理は対応点探索などと呼ばれる。この対応点探索処理に引き続いて、場合によっては複雑な計算を施して、大規模な空間を可能な限り隙間なく滑らかに復元しようとするものである。
異なる地点から撮影した画像において、同じ箇所が撮影されたとするような点を探す場合には、基本的には画像の特徴が重要である。例えば室内の単色の壁や、単色の床など、画像として映った際に、どこを撮影しても同じで特徴のみつからないような領域（テクスチャレス領域）については、画像の類似度を元に対応点を探すことが非常に困難になる。この対応点が見つからないと、人間の目でいうところの視差が分からないことになり、奥行きを知ることができない。つまり対応点が見つからない点については正しく３Ｄ復元することが困難になる。
この課題に対して、パターン光やランダム光を照射することで、対応画素を探しやすくする手法が知られている。これは総称してアクティブステレオ法などと呼ばれる。アクティブステレオ法の例として、ゲームプレイヤーのジェスチャ入力を可能とする装置であるＫｉｎｅｃｔに代表されるように、既知のパターン光（赤外光）を照射してカメラで撮像し、深度情報を得るデバイスもあるが、これらは深度情報を取得することのみが目的とされ、被写体の自然な色情報を同時に得ることはできない。そのため、物体や空間を３次元復元し、デジタル３Ｄデータとして再利用することは難しい。別途色情報を通常のカメラ撮影によって取得し、３Ｄメッシュのテクスチャなどとして重ね合わせることはできるが、被写体が動いたり撮像装置が動いたりしている場合には不可能である。
また、カメラのマッチングを利用して距離を推測する場合には、根本的に画像の対応点マッチングによって処理を行うため、特徴領域点においてさえも、キャリブレーション性能などによって距離精度が悪化する、対象までの距離に従って測距精度が悪化する、といった問題がある。これはアクティブステレオにおいても同様の問題である。これに加え、アクティブステレオの場合は、パターンが投射されている領域は特徴点がとれるが、しかし広角にパターンを投射するためには、大きな投影装置が必要になるという問題がある。
一方、ＴＯＦを利用した方法では、投光した光が受光装置で計測できる領域においては、距離に関わらず高い測距精度を実現することができるが、光を投射してその戻ってくる時間を計測するため、ある投光に対して受光系をなすシステムが必要になる。このため、一度に数多くの測距点を取得するためには、投光・受光系のシステムを大量に備える必要が生じ、装置が大型化し、かつコストが膨大にかかる。このため、限られた投光・受光系のシステムに回転機構を設けて、装置を実現するのが一般的である。このような場合でも、カメラほどの解像度は実現できないことと、回転系を備えるために時間差が生じてしまい、装置の大型化は避けられない。回転機構に対しては、近年、機械的な回転機構をなくして投光レーザや受光センサを振るＭＥＭＳ技術や複数点の受光を可能にするＴＯＦセンサ、それに複数のレーザを備えたＶＣＳＥＬなども出てきている。これより、根源的な解像度不足と広角化の問題が改良されはするが、それでもカメラほどの高解像度化と広角化・小型化は実現できない。また、アクティブステレオと同様に、これらは深度情報を取得することのみが目的とされ、被写体の自然な色情報を同時に得ることはできない。
従来の装置をただ接続した場合は非常に大型なものになってしまうが、本実施の形態や、その変形例として示す各撮像装置においては、これらの課題が解決される。つまり、小型でありながら、略１８０度～３６０度（全周囲）をターゲットとする広角の３次元情報をテクスチャレス領域も含め、高密度に一度に復元することができる。特に可視光以外を投光する投光系と、その光を受光するセンサを、解像度が粗くてもいいように構築する場合において非常に小型な一体構成を実現することができる。
「光学条件のその他の実施例」
図２８に例示する結像光学系２０各々は、６群７枚の魚眼レンズとして構成されている。結像光学系２０が構成する魚眼レンズは、図２８に示す実施形態では、１８０度（＝３６０度／ｎ；ｎ＝２）より大きい画角を有する。魚眼レンズは、好適には１８５度以上の画角を有し、さらに１９０度以上の画角を有することが好ましい。このような画角を有することにより、互いの重なり領域を基にして、画像処理において合成がなされる。
図２９は、図２８に示す撮像体１２における２つの結像光学系２０Ａ，２０Ｂの詳細な構成を示す図である。なお、図２８で示すように各結像光学系は互いのプリズムを軸にして接合されているが、図２９においては、便宜上、２つの結像光学系２０Ａ，２０Ｂが離間して描かれている点に留意されたい。図２９に示すように、第１の結像光学系２０Ａは、レンズＬＡ１～ＬＡ３により構成される前群と、反射部材である直角プリズムＰＡと、レンズＬＡ４～ＬＡ７により構成される後群とを含む。そして、第４レンズＬＡ４の物体側には、開口絞りＳＡが配置される。第１の結像光学系２０Ａでは、また、第７レンズＬＡ７の像側には、フィルタＦと、開口絞りＳＡとが配置される。
同様に結像光学系２０Ｂは、レンズＬＢ１～ＬＢ３により構成される前群と、直角プリズムＰＢと、レンズＬＢ４～ＬＢ７により構成される後群とを含む。第４レンズＬＢ４の物体側には、開口絞りＳＢが配置される。また、第７レンズＬＢ７の像側には、フィルタＦと、開口絞りＳＢとが配置される。
第１の結像光学系２０Ａの前群を構成するレンズＬＡ１～ＬＡ３は、物体側から順に、光学ガラス材料による負のメニスカスレンズ（ＬＡ１）、プラスチック樹脂材料による負レンズ（ＬＡ２）、および光学ガラス材料による負のメニスカスレンズ（ＬＡ３）である。後群を構成するレンズＬＡ４～ＬＡ７は、物体側から順に、光学ガラス材料による両凸レンズ（ＬＡ４）、光学ガラス材料による両凸レンズ（ＬＡ５）と両凹レンズ（ＬＡ６）との張り合わせレンズ、およびプラスチック樹脂材料による両凸レンズ（ＬＡ７）である。
第２の結像光学系２０Ｂの前群を構成するレンズＬＢ１～ＬＢ３も同様に、物体側から順に、光学ガラス材料による負メニスカスレンズ（ＬＢ１）、プラスチック樹脂材料による負レンズ（ＬＢ２）、および光学ガラス材料による負のメニスカスレンズ（ＬＢ３）である。後群を構成するレンズＬＢ４～ＬＢ７も、物体側から順に、光学ガラス材料による両凸レンズ（ＬＢ４）、光学ガラス材料による両凸レンズ（ＬＢ５）と両凹レンズ（ＬＢ６）との張り合わせレンズ、およびプラスチック樹脂材料による両凸レンズ（ＬＢ７）である。
これら第１および第２の結像光学系２０Ａ，２０Ｂにおいて、前群のプラスチック樹脂材料による負レンズＬＡ２，ＬＢ２と、後群のプラスチック樹脂材料による両凸レンズＬＡ７，ＬＢ７とは、両面が非球面である。一方、残りの光学ガラス材料による各レンズは、球面レンズとされている。
前群と後群との間に配置される直角プリズムＰＡ，ＰＢは、好適には、ｄ線（λ＝５８７．６ｎｍ）の屈折率が１．８より大きい材質で形成される。直角プリズムＰＡ，ＰＢは、それぞれ、前群からの光を後群に向かって内部反射させる。したがって、各々の結像光学系２０Ａ，２０Ｂにおいて、結像光束の光路は、直角プリズムＰＡ，ＰＢ内を通過する。上記高い屈折率の材料で直角プリズムを構成することにより、直角プリズムＰＡ，ＰＢ内の光路長が長くなり、前群、直角プリズムおよび後群における前群と後群の間の光路長を、機械的な長さよりも長くできる。ひいては、魚眼レンズをコンパクトに構成することができる。
また、開口絞りＳＡ，ＳＢの近傍に直角プリズムＰＡ，ＰＢを配置することにより、小さな外形の直角プリズムを用いるができるようになり、魚眼レンズ間の距離を小さくできる。また、図２９に示すような直角プリズムＰＡ，ＰＢの配置を採用することにより、２つの光学系の視差を小さくすることができる。さらに、図２８および図２９に示すように、２つの結像光学系２０Ａ，２０Ｂを対向させて配置することにより、さらにコンパクトな構造とし、撮像されない空間領域を小さくすることができる。
ここで、再び図２８を参照する。２つの結像光学系２０Ａ，２０Ｂの光学素子（レンズ、プリズム、フィルタおよび開口絞り）は、その光軸が対応する固体撮像素子２４の受光領域の中心部に直交して位置するように、かつ、受光領域が、対応する魚眼レンズの結像面となるように、鏡筒２６によって、固体撮像素子２４Ａ，２４Ｂに対して位置関係が定められて保持されている。つまり、結像光学系２０各々は、組み合わせられる固体撮像素子２４の受光領域に撮像対象の像を結像させるよう位置決めされている。
固体撮像素子２４各々は、受光領域が面積エリアを成す２次元の固体撮像素子であり、組み合わせられる結像光学系２０により集光された光を画像信号に変換する。固体撮像素子２４Ａ，２４Ｂは、その受光面に、極微小な受光領域が相互に分離して２次元的に配列した構造を有する。個々の微小な受光領域で光電変換される情報が個々の画素を構成する。
図２８に示す実施形態では、結像光学系２０Ａ，２０Ｂは、同一仕様のものであり、それぞれの光軸が合致するようにして、互いに逆向きに組み合わせられている。そして、全天周撮像システム１０は、２つの結像光学系２０Ａ，２０Ｂと、２つの固体撮像素子２４Ａ，２４Ｂとを組み合わせて、全天周の画像情報を撮像できるように構成されている。また、図２８に示す構成を採用することにより、筐体１８の上部の物体も撮影可能とされている。
第１の撮像光学系により撮像される画像は、２次元の固体撮像素子２４Ａの受光領域上に結像する。同様に第２の撮像光学系が撮像する画像は、２次元の固体撮像素子２４Ｂの受光領域上に結像する。固体撮像素子２４Ａ，２４Ｂは、受光した光分布を画像信号に変換して、コントローラ・ボード１６Ａ，１６Ｂに入力する。
コントローラ・ボード１６Ａ，１６Ｂ上には、図示しない画像処理部および出力部が設けられる。上記固体撮像装置２４Ａ，２４Ｂから出力される画像信号は、コントローラ・ボード１６上の画像処理部へと入力される。画像処理部は、固体撮像素子２４Ａおよび固体撮像素子２４Ｂからそれぞれ入力される画像信号を１つの画像に合成して、立体角４πラジアンの画像（以下「全天周画像」と参照する。）とし、出力部へ出力する。ここで、図２８に示す実施形態では、全天球画像を生成しているが、水平面のみ３６０度を撮影した、いわゆるパノラマ画像であっても良い。
上述したように、魚眼レンズが１８０度以上の画角を有しているので、固体撮像素子２４Ａおよび２４Ｂから出力される画像信号を合成して全天周画像を構成する際には、重複する画像部分が、同一像を表す基準データとして画像繋ぎ合わせの参考とされる。出力部は、例えばディスプレイ装置、印刷装置、ＳＤカードやコンパクトフラッシュ（登録商標）などの外部記憶媒体などとして構成され、合成された全天球画像を出力する。
上記バッテリ１４は、固体撮像装置２４Ａ，２４Ｂおよびコントローラ・ボード１６Ａ，１６Ｂ上のチップやコンポーネントに電力を供給する電力供給手段である。バッテリ１４は、アルカリマンガン一次電池やオキシライド一次電池などの一次電池や、リチウムイオン二次電池、リチウムイオンポリマ二次電池、ニッケル水素二次電池などの二次電池を用いて構成される。
図２８に示す全天周撮像システム１０は、一端に撮像光学系が設けられた棒形状を有する。筐体１８は、コントローラ・ボード１６Ａ，１６Ｂおよびバッテリ１４を含むモジュールを保持する本体部と、撮像体１２を保持し、第１レンズＬＡ１，ＬＢ１を露出する開口が設けられたレンズ保持部とからなる。筐体１８は、本体部の平坦な筐体面１８Ａ，１８Ｂを有する。
図２８に示す結像光学系２０Ａ，２０Ｂにおいて、最も物体側に位置する第１レンズＬＡ１，ＬＢ１は、筐体１８における本体部の筐体面１８Ａ，１８Ｂから突出している。特定の実施形態では、第１レンズＬＡ１，ＬＢ１は、筐体１８の外部に露出されている。
結像光学系２０Ａ単体の落下試験を行うと、第１レンズＬＡ１，ＬＢ１が光学ガラス材料により形成されているとすると、１．５ｍ程の高さから落下させる条件で、レンズ表面にひびが入る場合がある。第１レンズＬＡ１，ＬＢ１がプラスチック樹脂材料により形成されていると、上記と同様の条件では、レンズ表面にキズつく場合がある。つまり、撮影者が本全天周撮像システム１０を保持し、誤って手から滑り落としてしまうと、第１レンズが破損してしまう可能性がある。第１レンズＬＡ１，ＬＢ１が破損してしまうと、固体撮像素子２４の受光面に適切に結像させることができず、良好な画像を得ることが困難となる。
図２８に示す全天周撮像システム１０において、上述した撮像体１２およびバッテリ１４が、多くの割合の重量を占める主要な部材である。そこで、本実施形態による全天周撮像システム１０では、上記重量を占める主要な部材である撮像体１２およびバッテリ１４の配置に関して、全天周撮像システム１０全体のモーメントを踏まえ、以下の特徴を備える。
本実施形態による全天周撮像システム１０は、撮像体１２の重心位置をＡとし、バッテリ１４の重心位置をＢとし、当該全天周撮像システム１０全体の重心をＰとし、上記撮像体１２の重心位置Ａおよび重心Ｐの距離ＡＰと、上記バッテリ１４の重心位置Ｂおよび重心Ｐの距離ＢＰとが、下記関係式（８）を満たす。
ＡＰ＞ＢＰ ・・・（８）
上記関係式（８）が満たされることにより、全天周撮像システム１０全体の重心がバッテリ１４側に偏ることになる。これにより、例えば全天周撮像システム１０が手から滑り落下してしまった場合に、突出した光学素子を有する撮像体１２側から落下することが少なくなる。
また、好適な実施形態では、図２８中、撮像体１２の重心位置Ａと全体の重心Ｐとの間の位置Ｓにシャッターボタンを配置することができる。シャッターボタンは、撮像体１２による撮像開始の指示を入力するために撮影者により押圧される撮像開始入力手段である。図２８に示す実施形態による全天周撮像システム１０では、撮像体１２、シャッターボタンおよびバッテリ１４は、図面上同一直線ｘ上に配置されており、かつ、撮像体１２の重心位置Ａ、シャッターボタン位置Ｓおよび全天周撮像システム１０全体の重心Ｐの順に並ぶように配置されている。シャッターボタンは、図２８においては、筐体１８の正面側に配置されている。
なお、シャッターボタンの配置は、図２８に示した配置に限定されるものではない。図３２は、他の実施形態による全天周撮像システム１０を示す全体図である。図３２に示す全天周撮像システム１０では、シャッターボタン２２は、図３２の紙面において直線ｘの左側、つまり左側の結像光学系２０Ａの下に位置し、結像光学系２０Ａ，２０Ｂの光軸にそった方向に押圧されるように設置されている。図３２においても、撮像体１２の重心位置Ａ、シャッターボタン位置Ｓおよび全天周撮像システム１０全体の重心Ｐの順に並ぶように配置されている点では、図２８と同様である。また、図３３は、図３２で示された、他の実施形態による全天周撮像システム１０の六面図である。
撮影者が安定的に本全天周撮像システム１０を保持するためには、本全天周撮像システム１０の形状の中心Ｎ付近、すなわち位置Ｓと位置Ｐの間を保持することが望ましい。撮影者は、上述のような保持状態で、重心Ｐより撮像体１２側に配置されたシャッターボタンを押圧することとなる。このとき、撮像体１２よりも、撮像体１２から離れたバッテリ１４側へ重心が偏る配置構成を採用することで、シャッターボタンが押圧されても、バッテリ１４側の方のモーメントが大きいため、画質の劣化を招く手振れが抑制される。ひいては、撮影者は安定的に全天周撮像システム１０を用いて撮影することが可能となる。
なお、部材１２，１４各々の重心の測定は、ロードセル（質量測定器）を用いて、各部材の２次元方向の重心位置を複数回測定することにより、３次元の重心位置を特定することができる。なお、説明する実施形態では、重心位置Ａは、２つの結像光学系２０Ａ，２０Ｂ、鏡筒２６および固体撮像素子２４Ａ，２４Ｂを含む撮像体１２全体の重心としている。しかしながら、他の実施形態では、固体撮像素子２４Ａを除外し、２つの結像光学系２０Ａ，２０Ｂおよび鏡筒２６を含む部分の重心を重心位置Ａとしてもよい。また、重心位置Ｂは、バッテリ１４の重心であり、本実施形態では、バッテリ１４を固体撮像素子２４へ接続するケーブルは含めていない。
また、全天周撮像システム１０では、撮像体１２の質量をｍとし、バッテリ１４の質量をＭとして、撮像体１２の重量ｍおよびバッテリ１４の重量Ｍが、下記関係式（９）を満たすことが好ましい。
ｍ＜Ｍ ・・・（９）
さらに全天周撮像システム１０では、全天周撮像システム１０全体の形状の中心位置をＮとして、撮像体１２の重量ｍと、バッテリ１４の重量Ｍと、撮像体１２の重心位置Ａおよび上記中心Ｎの距離ＡＮと、バッテリ１４の重心位置Ｂおよび中心Ｎの距離ＢＮとが、下記関係式（１０）を満たすことが好ましい。
ｍ×ＡＮ＜Ｍ×ＢＮ ・・・（１０）
上記関係式（９）および（１０）が満たされることにより、全天周撮像システム１０全体の重心がバッテリ１４側に偏ることになる。これにより、例えば全天周撮像システム１０が手から滑り落下してしまった場合に、突出した光学素子を有する撮像体１２側から落下することが少なくなる。
上述した配置構成は、第１レンズＬＡ１，ＬＢ１が筐体面１８Ａ，１８Ｂから突出する形状を有している撮像システムに対し、特に有効である。第１レンズＬＡ１，ＬＢ１のサグ量が３ｍｍ以上となる撮像システムに対し、特に有効である。これは、第１レンズＬＡ１，ＬＢ１のサグ量が３ｍｍ以上となると、１．５ｍからの落下試験において、光学ガラス材料で形成されたレンズでは割れが、プラスチック樹脂材料で形成されたレンズではキズが、顕著となることによる。なお、ここでいうサグ量は、有効径におけるサグ量を示しており、非有効径のサグ量は含まない。
上記サグ量ｈは、図３０に示すように定義され、第１レンズＬＡ１，ＬＢ１の凸レンズの曲率半径をｒとし、第１レンズＬＡ１，ＬＢ１の有効径（直径）をＲとし、曲率半径ｒで規格化して、下記関係式（１１）が満たされる場合に好適である。
１－１ｃｏｓ｛ｓｉｎ－１（Ｒ／２ｒ）｝≧０．１７ ・・・（１１）
例えば、第１レンズＬＡ１，ＬＢ１の第１レンズの曲率半径ｒが１８ｍｍであり、有効径Ｒが２０ｍｍであるとすると、この第１レンズのサグ量ｈは、約３．０３ｍｍとなり、サグ量ｈを曲率半径ｒで規格化した値（ｈ／ｒ）は、約０．１７となり、上記（１１）関係式が満たされる。
また、例えば、第１レンズＬＡ１，ＬＢ１の第１レンズの曲率半径ｒが１７ｍｍであり、有効径Ｒが２０ｍｍであるとすると、この第１レンズのサグ量ｈは、約３．２５ｍｍとなり、サグ量ｈを曲率半径ｒで規格化した値（ｈ／ｒ）は、約０．１９となり、上記（１１）関係式が満たされる。
さらに、第１レンズＬＡ１，ＬＢ１の第１レンズの曲率半径ｒが１０ｍｍであり、有効径Ｒが２０ｍｍであるとすると、この第１レンズのサグ量ｈは、約１０．００ｍｍとなり、サグ量ｈを曲率半径ｒで規格化した値（ｈ／ｒ）は、約１となり、上記（１１）関係式が満たされる。なお、規格化した値（ｈ／ｒ）の上限は１であるため、この値が上限となる。
以下、上記関係式（８）～（１０）を満たす撮像体１２およびバッテリ１４の配置構成を実現するための材料構成について説明する。
撮像体１２の重量ｍが、バッテリ１４の重量Ｍに比べて軽くなる、すなわち上記関係式（１０）を満たすためには、撮像体１２の結像光学系２０で用いられるレンズについて、比重が小さな材料を採用すればよい。上述したように結像光学系２０は、特定の実施形態では、６群７枚のレンズ構成とされており、この内、物体側から２枚目のレンズＬＡ２，ＬＢ２および７枚目ＬＡ７，ＬＢ７は、プラスチック樹脂材料で形成されている。また、他の実施形態では、第２レンズＬＡ２，ＬＢ２および第７レンズＬＡ７，ＬＢ７に限定されず、レンズＬＡ１～ＬＡ７，ＬＢ１～ＬＢ７の全部または任意の一部をプラスチック樹脂材料で形成してもよい。
レンズを形成する材料としては、好適には、比重が２．５ｇ／ｃｍ３（以下、単位を省略する。）より小さなプラスチック樹脂材料を用いることができる。このようなプラスチック樹脂材料としては、シクロオレフィン樹脂（比重１．１）、エピスルフィド系樹脂（比重１．４６）、チオウレタン系樹脂（比重１．３５）、（ポリエステル）メタクリレート（比重１．３７）、ポリカーボネート（比重１．２０）、（ウレタン）メタクリレート（比重１．１７）、（エポキシ）メタクリレート（比重１．１９）、ジアリルカーボネート（１．２３）、ジアリルフタレート系樹脂（比重１．２７）、ウレタン系樹脂（比重１．１）、ポリメチルメタクリレート（比重１．１８）、およびアリルジグリコールカーボネート（比重１．３２）などを挙げることができる。レンズを形成するプラスチック樹脂材料としては、より好適には、ガラス（比重２．５）に比べ２倍以上比重が小さくなるような、比重１．１以上１．２５未満のプラスチック樹脂材料を用いることができる。
また、上記関係式（１０）を満たすためには、レンズだけでなく、レンズを保持する鏡筒２６についても比重が小さな材料を採用することが好ましい。鏡筒を形成する材料としては、好適には、比重が２．７ｇ／ｃｍ３より小さなプラスチック樹脂材料を用いることができる。鏡筒を形成するプラスチック樹脂材料としては、ポリカーボネート樹脂（ＰＣ）、ポリフェニレンスルフィド樹脂（ＰＰＳ）、アクリルニトリルブダジエンスチレン樹脂（ＡＢＳ）、ポリブチレンテレフタレート樹脂（ＰＢＴ）、ポリエチレンテレフタレート樹脂（ＰＥＴ）、ポリスチレン樹脂（ＰＳ）、ポリフェニレンエーテル樹脂（ＰＰＥ）、ポリアミド樹脂（ＰＡ）などの樹脂と、ガラス繊維、炭素繊維、ピッチ系、ＰＡＮ（Polyacrylonitrile）系の炭素繊維などのフィラーとからなる複合材料を用いることができる。
鏡筒を形成するプラスチック樹脂材料としては、より好適には、アルミ（比重２．７）に比べ２倍以上比重が小さくなる、比重１．３以上１．３５未満のプラスチック樹脂材料を用いることができる。鏡筒を形成する材料としては、例示的には、ガラス入りポリカーボネート材を用いることができる。
また、再び図２８を参照すると、本全天周撮像システム１０は、好適には、筐体１８におけるバッテリ１４が配置される付近の外装に配置された、衝撃吸収材３０を備えることができる。衝撃吸収材は、低反発ウレタンゴムなどの低弾性ゴム材料や、衝撃吸収ゲル成形物などを用いることができる。
上述した配置構成では、例えば全天周撮像システム１０が手元から落下してしまった場合でも、バッテリ１４側から落下し易くなる。上記衝撃吸収材３０を備える構成により、落下時において好適に筐体１８および収容するモジュールを保護することができる。
なお、上述までの実施形態では、２つの撮像光学系を用いて全天周を撮影可能な全天周撮像システムについて説明してきたが、２つの撮像光学系を組み合わせた状態に限定されるものではなく、単眼式の棒状カメラにおいても適用することができる。また、上述までの説明では、歪曲収差が補正されない魚眼レンズを一例に説明してきたが、歪曲収差が補正される超広角レンズを用いて全天周撮像システムを構成することもできる。
さらに、２より大きな自然数ｎ個の撮像光学系を用いて全天周を撮影可能な撮像システム一般に適用してもよい。例えば、３６０度／３＝１２０度より大きい画角を有する広角レンズ（結像光学系）を３個、同一平面内で放射状に配設し、各々に固体撮像素子を組み合わせて撮像システムを構成することができる。この場合に得られる画像は、全天周画像ではないが、３６０度の水平パノラマ画像を撮像でき、車載カメラや防犯カメラとして良好である。また、撮像される画像は、静止画であってもよいし、動画であってもよい。
なお、上述の実施の形態および変形例は、本発明の好適な実施の例ではあるがこれに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変形による実施が可能である。
１ 撮像装置
１０Ａ 受光光学系
１０Ｂ 発光部
１２ 投射部
１２ａ 光源部
１３ 受光部
１３ａ ＴＯＦセンサ
１３ｂ 広角レンズ
１４ 処理回路
４０Ｂ 制御部
４１Ｂ 距離画像生成部
４２Ｂ ３次元点群生成部
４３Ｂ 補正部
５０Ｂ 記憶部
６０Ｂ 媒体インタフェース
７０Ｂ 通信部
８０Ｂ 表示部
９０Ｂ 指示入力部
１０００ 外部装置（情報処理装置）
国際公開第２０１７／１３８２９１号

Claims (17)

  1. それぞれ光を投射する複数の投射部の組と、
    前記投射部から投射され、計測対象から反射してきた前記光をそれぞれ受光する複数の受光部の組と、
    それぞれ画像を撮像する複数の撮像部の組と、
    前記投射部から投射された光が前記受光部の受光面で受光されるまでの光の飛行時間に対応する複数の距離値を含む距離画像を生成する距離画像生成部と、
    前記距離画像から３次元点群のデータを生成する３次元点群生成部と、
    前記光の入射角毎の入射瞳位置に対応した補正情報に基づいて前記３次元点群の座標を補正する補正部と、
    を有し、
    前記複数の投射部の組と、前記複数の受光部の組と、前記複数の撮像部の組と、を共通の筐体に一体的に備え、
    前記複数の投射部の組の各々の前記投射部は、各々の前記投射部の投射範囲が互いに異なる投射範囲になる向きに設けられ、前記複数の受光部の組の各々の前記受光部は、各々の前記受光部の計測範囲が互いに異なる計測範囲になる向きに設けられ、
    前記投射部と、前記受光部と、前記撮像部とは、前記筐体の長手方向に関して異なる位置に設けられる、
    ことを特徴とする３次元情報取得システム。
  2. 前記受光部の受光光学系は魚眼レンズを有する、
    ことを特徴とする請求項１に記載の３次元情報取得システム。
  3. 前記魚眼レンズは、１４０°以上の画角を有する超広角レンズである、
    ことを特徴とする請求項２に記載の３次元情報取得システム。
  4. 前記距離画像生成部と、前記３次元点群生成部と、前記補正部とを前記筐体に一体的に備える、
    ことを特徴とする請求項１乃至３のうちの何れか一項に記載の３次元情報取得システム。
  5. 前記投射部は、前記光を走査する走査部を含む、
    ことを特徴とする請求項１乃至４のうちの何れか一項に記載の３次元情報取得システム。
  6. 前記投射部は、計測範囲の一次元方向に対して光の径が長くなるように前記光を投射する、
    ことを特徴とする請求項５に記載の３次元情報取得システム。
  7. 前記撮像部と、前記投射部と、前記受光部とは前記筐体において直線上に設けられている、
    ことを特徴とする請求項１乃至６のうちの何れか一項に記載の３次元情報取得システム。
  8. 前記投射部の投光光学系と、前記受光部の受光光学系と、前記撮像部の撮像光学系と、が前記長手方向に並ぶように設けられる、
    ことを特徴とする請求項１乃至７のうちの何れか一項に記載の３次元情報取得システム。
  9. 前記投射部の光源部と、前記受光部の光センサと、前記撮像部の撮像素子と、が前記長手方向に並ぶように設けられる、
    ことを特徴とする請求項１乃至８のうちの何れか一項に記載の３次元情報取得システム。
  10. 前記撮像部を同一基線上に複数備える、
    ことを特徴とする請求項１乃至９のうちの何れか一項に記載の３次元情報取得システム。
  11. 前記受光部の光センサの解像度は前記撮像部の撮像素子の解像度よりも低い、
    ことを特徴とする請求項１乃至８のうちの何れか一項に記載の３次元情報取得システム。
  12. 前記撮像部と、前記投射部と、前記受光部とが、共に同じ計測範囲に向けて前記筐体の一面側に設けられている、
    ことを特徴とする請求項１乃至１１のうちの何れか一項に記載の３次元情報取得システム。
  13. 前記複数の撮像部の組の各々の前記撮像部の撮像範囲は、各々の前記撮像部の撮像範囲が互いに異なる撮像範囲になる向きに設けられている、
    ことを特徴とする請求項１乃至１２のうちの何れか一項に記載の３次元情報取得システム。
  14. 前記距離画像と前記撮像部の撮像画像とに基づいて３次元点群データを構成する情報処理部を有する、
    ことを特徴とする請求項１乃至１３のうちの何れか一項に記載の３次元情報取得システム。
  15. 前記情報処理部は、
    前記距離画像の解像度を前記撮像画像の解像度に高解像度化することによりで得た視差データを用いて、前記距離画像から得られる３次元点群データよりも高密度の３次元点群データを構成する、
    ことを特徴とする請求項１４に記載の３次元情報取得システム。
  16. ３次元情報取得装置と情報処理装置とを含む３次元情報取得システムであって、
    前記３次元情報取得装置は、
    それぞれ光を投射する複数の投射部の組と、
    前記投射部から投射され、計測対象から反射してきた前記光をそれぞれ受光する複数の受光部の組と、
    それぞれ画像を撮像する複数の撮像部の組と、
    前記投射部から投射された光が前記受光部の受光面で受光されるまでの光の飛行時間に対応する複数の距離値を含む距離画像を生成する距離画像生成部と、
    前記距離画像から３次元点群のデータを生成する３次元点群生成部と、
    前記３次元点群のデータを送信する送信部と、
    を有し、
    前記情報処理装置は、
    前記３次元点群のデータを受信する受信部と、
    前記光の入射角毎の入射瞳位置に対応した補正情報に基づいて前記３次元点群の座標を補正する補正部と、
    を有し、
    前記複数の投射部の組と、前記複数の受光部の組と、前記複数の撮像部の組と、を共通の筐体に一体的に備え、
    前記複数の投射部の組の各々の前記投射部は、各々の前記投射部の投射範囲が互いに異なる投射範囲になる向きに設けられ、前記複数の受光部の組の各々の前記受光部は、各々の前記受光部の計測範囲が互いに異なる計測範囲になる向きに設けられ、
    前記投射部と、前記受光部と、前記撮像部とは、前記筐体の長手方向に関して異なる位置に設けられる、
    ことを特徴とする３次元情報取得システム。
  17. ３次元情報取得装置と情報処理装置とを含む３次元情報取得システムであって、
    前記３次元情報取得装置は、
    それぞれ光を投射する複数の投射部の組と、
    前記投射部から投射され、計測対象から反射してきた前記光をそれぞれ受光する複数の受光部の組と、
    それぞれ画像を撮像する複数の撮像部の組と、
    を有し、
    前記３次元情報取得装置または前記情報処理装置は、
    前記投射部から投射された光が前記受光部の受光面で受光されるまでの光の飛行時間に対応する複数の距離値を含む距離画像を生成する距離画像生成部と、
    前記距離画像から３次元点群のデータを生成する３次元点群生成部と、
    前記光の入射角毎の入射瞳位置に対応した補正情報に基づいて前記３次元点群の座標を補正する補正部と、
    を有し、
    前記複数の投射部の組と、前記複数の受光部の組と、前記複数の撮像部の組と、を共通の筐体に一体的に備え、
    前記複数の投射部の組の各々の前記投射部は、各々の前記投射部の投射範囲が互いに異なる投射範囲になる向きに設けられ、前記複数の受光部の組の各々の前記受光部は、各々の前記受光部の計測範囲が互いに異なる計測範囲になる向きに設けられ、
    前記投射部と、前記受光部と、前記撮像部とは、前記筐体の長手方向に関して異なる位置に設けられる、
    ことを特徴とする３次元情報取得システム。
JP2019053599A 2019-03-20 2019-03-20 ３次元情報取得システム Active JP7363068B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019053599A JP7363068B2 (ja) 2019-03-20 2019-03-20 ３次元情報取得システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019053599A JP7363068B2 (ja) 2019-03-20 2019-03-20 ３次元情報取得システム

Publications (2)

Publication Number Publication Date
JP2020153865A JP2020153865A (ja) 2020-09-24
JP7363068B2 true JP7363068B2 (ja) 2023-10-18

Family

ID=72558684

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019053599A Active JP7363068B2 (ja) 2019-03-20 2019-03-20 ３次元情報取得システム

Country Status (1)

Country Link
JP (1) JP7363068B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7040660B1 (ja) 2021-03-23 2022-03-23 株式会社リコー 情報処理装置および情報処理方法
JP7006824B1 (ja) 2021-03-23 2022-01-24 株式会社リコー 情報処理装置
WO2023139946A1 (ja) * 2022-01-19 2023-07-27 ソニーセミコンダクタソリューションズ株式会社 測距装置および測距方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008082707A (ja) 2006-09-25 2008-04-10 Topcon Corp 測量方法及び測量システム及び測量データ処理プログラム
JP2013204411A (ja) 2012-03-29 2013-10-07 Sumitomo (Shi) Construction Machinery Co Ltd 作業機械用周辺監視装置
WO2017138291A1 (ja) 2016-02-09 2017-08-17 富士フイルム株式会社 距離画像取得装置及びその応用
JP6235094B1 (ja) 2016-10-14 2017-11-22 株式会社コロプラ 表示制御方法及び当該表示制御方法をコンピュータに実行させるためのプログラム
JP2018515825A (ja) 2015-02-24 2018-06-14 ハイプヴイアール Ｌｉｄａｒステレオ融合実写３ｄモデルバーチャルリアリティビデオ
JP2018152632A (ja) 2017-03-09 2018-09-27 株式会社リコー 撮像装置および撮像方法
US20180302611A1 (en) 2017-04-12 2018-10-18 Sick Ag 3D Time of Flight Camera and Method of Detecting Three-Dimensional Image Data

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008082707A (ja) 2006-09-25 2008-04-10 Topcon Corp 測量方法及び測量システム及び測量データ処理プログラム
JP2013204411A (ja) 2012-03-29 2013-10-07 Sumitomo (Shi) Construction Machinery Co Ltd 作業機械用周辺監視装置
JP2018515825A (ja) 2015-02-24 2018-06-14 ハイプヴイアール Ｌｉｄａｒステレオ融合実写３ｄモデルバーチャルリアリティビデオ
WO2017138291A1 (ja) 2016-02-09 2017-08-17 富士フイルム株式会社 距離画像取得装置及びその応用
JP6235094B1 (ja) 2016-10-14 2017-11-22 株式会社コロプラ 表示制御方法及び当該表示制御方法をコンピュータに実行させるためのプログラム
JP2018152632A (ja) 2017-03-09 2018-09-27 株式会社リコー 撮像装置および撮像方法
US20180302611A1 (en) 2017-04-12 2018-10-18 Sick Ag 3D Time of Flight Camera and Method of Detecting Three-Dimensional Image Data

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
布施孝志 外１名，"連続距離画像の統合・調整手法に関する研究"，写真測量とリモートセンシング，2014年，Volume 53, Number 5，Pages 205-212，<URL: https://doi.org/10.4287/jsprs.53.205 >

Also Published As

Publication number Publication date
JP2020153865A (ja) 2020-09-24

Similar Documents

Publication Publication Date Title
US9736372B2 (en) Imaging system
JP7363068B2 (ja) ３次元情報取得システム
EP2562577B1 (en) Wide-angle optical imaging system including several objectives
JP5623313B2 (ja) 撮像装置および撮像光学系
JP5261805B2 (ja) 携帯用機器のカメラアプリケーション
US10715711B2 (en) Adaptive three-dimensional imaging system and methods and uses thereof
Dansereau et al. A wide-field-of-view monocentric light field camera
CN108718406B (zh) 一种可变焦3d深度相机及其成像方法
US20070052833A1 (en) Variable magnification optical system and image-taking apparatus
JP2009300268A (ja) ３次元情報検出装置
JP7409443B2 (ja) 撮像装置
US20120230549A1 (en) Image processing device, image processing method and recording medium
JP2018163363A (ja) 撮像システム
US20230090281A1 (en) Panoramic camera system for enhanced sensing
JP5261562B2 (ja) 携帯用機器のカメラアプリケーション
US7586662B2 (en) Three-dimensional light ray input apparatus
CN110082895A (zh) 用于机器视觉高光学扩展量模块化变焦镜头
CN111787301A (zh) 镜头、三维成像方法、装置、设备及存储介质
JP5850191B1 (ja) 光学系および撮像システム
CN110708532A (zh) 一种普适光场单元图像生成方法和系统
Hiura et al. Krill-eye: Superposition compound eye for wide-angle imaging via grin lenses
JP2009151154A (ja) 受光素子、焦点検出装置および撮像装置
CN107835959B (zh) 摄像装置、摄像光学系统、摄像装置的制造方法以及摄像方法
JP2015210329A (ja) アレイ光学系
JP2021012055A (ja) 測距装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220113

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230314

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230515

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230613

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230809

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230905

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230918

R151 Written notification of patent or utility model registration

Ref document number: 7363068

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151