JPWO2020116035A1 - 距離情報取得装置、距離情報取得方法、およびプログラム - Google Patents

Abstract

距離情報取得装置は、光源と、受光装置と、制御回路と、信号処理回路とを備える。前記制御回路は、前記光源に、第１の空間分布を有する第１の光をシーンに向けて出射させ、その後、第２の空間分布を有する第２の光を前記シーンに向けて出射させ、前記受光装置の複数の受光素子の少なくとも一部に、前記第１の光によって生じた前記シーンからの第１の反射光、および前記第２の光によって生じた前記シーンからの第２の反射光を、同一の露光期間内に検出させる。前記信号処理回路は、前記受光装置の前記複数の受光素子から出力された受光データに基づいて距離データを生成する。

Description

本開示は、距離情報取得装置、距離情報取得方法、およびプログラムに関する。

従来、光で空間をスキャンできる種々のデバイスが提案されている。

特許文献１は、２次元的に配列された複数のナノフォトニックアンテナ素子を有する光フェーズドアレイを開示している。それぞれのアンテナ素子は位相シフタに光学的に結合される。この光フェーズドアレイでは、コヒーレント光ビームが導波路によってそれぞれのアンテナ素子に誘導され、位相シフタによって光ビームの位相がシフトされる。これにより、遠視野放射パターンの振幅分布を変化させることができることが開示されている。

特許文献２は、内部を光が導波する光導波層、および光導波層の上面および下面に形成された第１分布ブラッグ反射鏡を備える導波路と、導波路内に光を入射させるための光入射口と、光入射口から入射して導波路内を導波する光を出射させるために導波路の表面に形成された光出射口とを備える光偏向素子を開示している。

特許文献３から５は、空間的にランダムに変調された光を出射し、反射光を受光することで得られた信号に解析的な信号処理を施すことによって距離画像を生成する装置を開示している。

特許文献６は、シーンを複数の領域に分割し、領域ごとに異なるビームの密度、すなわち、２次元空間中に放射されるビームの頻度が異なる光を出射するスキャン方法を開示している。

特許文献７は、スローライト導波路と呼ばれる光導波路を利用して、任意の方向に光を出射することのできる発光デバイスを開示している。

特表２０１６−５０８２３５号公報 特開２０１３−１６５９１号公報 特開２０１６−０９９３４６号公報 米国特許出願公開２０１３／００８８７２６号 米国特許出願公開２０１５／０３７８０１１号 特開２０１３−１５６１３８号公報 米国特許出願公開２０１８／２２４７０９号

本開示は、比較的低いエネルギーで、対象シーンの距離情報を生成するための新規な技術を提供する。

本開示の一態様に係る距離情報取得装置は、光源と、複数の受光素子を備える受光装置と、前記光源および前記受光装置を制御する制御回路と、信号処理回路とを備える。前記制御回路は、前記光源に、第１の空間分布を有する第１の光をシーンに向けて出射させ、その後、第２の空間分布を有する第２の光を前記シーンに向けて出射させる。前記制御回路は、さらに、前記受光装置の前記複数の受光素子の少なくとも一部に、前記第１の光によって生じた前記シーンからの第１の反射光、および前記第２の光によって生じた前記シーンからの第２の反射光を、同一の露光期間内に検出させる。前記信号処理回路は、前記受光装置の前記複数の受光素子から出力された受光データに基づいて、前記第１の反射光および前記第２の反射光に由来する距離データを生成して出力する。

本開示の包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能な記録ディスク等の記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ‐Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の不揮発性の記録媒体を含み得る。装置は、１つ以上の装置で構成されてもよい。装置が２つ以上の装置で構成される場合、当該２つ以上の装置は、１つの機器内に配置されてもよく、分離した２つ以上の機器内に分かれて配置されてもよい。本明細書及び特許請求の範囲では、「装置」とは、１つの装置を意味し得るだけでなく、複数の装置からなるシステムも意味し得る。

本開示の一態様によれば、比較的低いエネルギーで、対象シーンの距離情報を取得することができる。

本開示の一態様の付加的な恩恵及び有利な点は本明細書及び図面から明らかとなる。この恩恵及び／又は有利な点は、本明細書及び図面に開示した様々な態様及び特徴により個別に提供され得るものであり、この恩恵及び／又は有利な点の１つ以上を得るために態様および特徴の全てが必要ではない。

図１は、実施形態１に係る距離情報取得装置の概略構成を示すブロック図である。 図２は、距離情報取得装置の利用シーンの一例を模式的に示す図である。 図３は、実施形態１に係る距離情報取得装置の構成の一例を示すブロック図である。 図４Ａは、遠距離ビーム情報の一例を示す図である。 図４Ｂは、近距離ビーム情報の一例を示す図である。 図５は、複数の遠距離用ビームと複数の近距離用ビームとが投光される様子を模式的に示す図である。 図６Ａは、間接ＴｏＦ方式における投光および露光のタイミングの例を示す図である。 図６Ｂは、間接ＴｏＦ方式における投光および露光のタイミングの他の例を示す図である。 図７は、発光デバイスの一例を模式的に示す斜視図である。 図８は、光導波路素子の断面の構造および伝搬する光の例を模式的に示す図である。 図９Ａは、光導波路アレイの出射面に垂直な方向に光が出射されている様子を示す模式図である。 図９Ｂは、光導波路アレイの出射面に垂直な方向とは異なる方向に光が出射されている様子を示す模式図である。 図１０は、３次元空間における光導波路アレイを模式的に示す斜視図である。 図１１は、光導波路アレイおよび位相シフタアレイの一例を示す図である。 図１２は、光源の一例を示す図である。 図１３は、光源の他の例を示す図である。 図１４は、光源のさらに他の例を示す図である。 図１５は、実施形態１に係る距離情報取得装置の動作の概要を示すフローチャートである。 図１６は、実施形態１における各光ビームの投光および露光のタイミングの例を示す模式図である。 図１７は、実施形態１における各光ビームの投光および露光のタイミングの他の例を示す模式図である。 図１８は、電荷計測動作の例を示すフローチャートである。 図１９は、実施形態１の変形例における各光ビームの投光および露光のタイミングの例を示す模式図である。 図２０Ａは、実施形態１の変形例における第１の光ビーム情報の一例を示す図である。 図２０Ｂは、実施形態１の変形例における第２の光ビーム情報の一例を示す図である。 図２１は、実施形態１の変形例における動作を説明するための図である。 図２２は、実施形態２における距離情報取得装置の構成を示す図である。 図２３は、実施形態２における距離情報取得装置の動作の一例を示すフローチャートである。 図２４は、実施形態２における各光ビームの投光および露光のタイミングの例を示す模式図である。 図２５は、実施形態２における時間計測の動作を示すフローチャートである。

以下、本開示の実施形態を、図面を参照しながら具体的に説明する。なお、以下で説明する実施形態は、いずれも包括的又は具体的な例を示すものである。以下の実施形態で示される数値、形状、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する趣旨ではない。また、以下の実施形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、各図は模式図であり、必ずしも厳密に図示されたものではない。さらに、各図において、実質的に同一の構成要素に対しては同一または類似の符号を付しており、重複する説明は省略又は簡略化されることがある。

本開示において、回路、ユニット、装置、部材または部の全部または一部、またはブロック図における機能ブロックの全部または一部は、例えば、半導体装置、半導体集積回路（ＩＣ）、またはＬＳＩ（ｌａｒｇｅ ｓｃａｌｅ ｉｎｔｅｇｒａｔｉｏｎ）を含む１つまたは複数の電子回路によって実行され得る。ＬＳＩまたはＩＣは、１つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、１つのチップに集積されてもよい。ここでは、ＬＳＩまたはＩＣと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ（ｖｅｒｙ ｌａｒｇｅ ｓｃａｌｅ ｉｎｔｅｇｒａｔｉｏｎ）、もしくはＵＬＳＩ（ｕｌｔｒａ ｌａｒｇｅ ｓｃａｌｅ ｉｎｔｅｇｒａｔｉｏｎ）と呼ばれるものであってもよい。ＬＳＩの製造後にプログラムされる、Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ（ＦＰＧＡ）、またはＬＳＩ内部の接合関係の再構成またはＬＳＩ内部の回路区画のセットアップができるｒｅｃｏｎｆｉｇｕｒａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅも同じ目的で使うことができる。

さらに、回路、ユニット、装置、部材または部の全部または一部の機能または操作は、ソフトウェア処理によって実行することが可能である。この場合、ソフトウェアは１つまたは複数のＲＯＭ、光学ディスク、ハードディスクドライブなどの非一時的記録媒体に記録され、ソフトウェアが処理装置（ｐｒｏｃｅｓｓｏｒ）によって実行されたときに、そのソフトウェアで特定された機能が処理装置（ｐｒｏｃｅｓｓｏｒ）および周辺装置によって実行される。システムまたは装置は、ソフトウェアが記録されている１つまたは複数の非一時的記録媒体、処理装置（ｐｒｏｃｅｓｓｏｒ）、および必要とされるハードウェアデバイス、例えばインターフェースを備えていてもよい。

（実施形態１）
図１は、実施形態１に係る距離情報取得装置の概略構成を示すブロック図である。距離情報取得装置は、光源１００と、受光装置１５０と、制御回路３００と、信号処理回路４００とを備える。

光源１００は、例えば同時に複数の光ビームを異なる方向に出射することが可能な構成を備え得る。受光装置１５０は、複数の受光素子を有する。複数の受光素子は複数の画素にそれぞれ対応する。本明細書において、受光素子を画素と呼ぶ場合もある。受光装置１５０は、指示された露光期間において各受光素子が受けた光の量に応じた受光データを出力する。受光装置１５０は、例えば、１次元的または２次元的に配列された複数の受光素子を有するイメージセンサであり得る。制御回路３００は、光源１００および受光装置１５０を制御する。信号処理回路４００は、受光装置１５０から出力された受光データに基づいて、距離データを生成して出力する。

本実施形態における制御回路３００は、概略的には、以下の動作を実行する。

（１）光源１００に、第１の空間分布を有する第１の光をシーンに向けて出射させる。第１の光は、複数の第１の光ビームを含んでいてもよく、ひとつながりのパターンをもつ単一の光ビームであってもよい。

（２）光源１００に、第２の空間分布を有する第２の光をシーンに向けて出射させる。第２の光は、複数の第２の光ビームを含んでいてもよく、ひとつながりのパターンをもつ単一の光ビームであってもよい。

第１の光の到達距離と第２の光の到達距離とが異なっていてもよい。例えば、第２の光は、第１の光に比して、光源から所定の距離の照射面における単位面積当たりのエネルギーが低いものとしてもよい。第１の光と第２の光との到達距離を異ならせる他の例として、第１の光の波長と第２の光の波長とが異なっていてもよい。例えば、第２の光の波長として、第１の光の波長よりも大気中での吸収率が高い波長を選択してもよい。後述するように、第１の光の到達距離と第２の光の到達距離とが同一であってもよい。

本実施形態において、第２の空間分布は、第１の空間分布とは異なる。本開示において、光ビームの「空間分布」は、その光ビームが到達し得る３次元（即ち、距離、方向および角度範囲）的な空間の範囲を意味する。第１の光と第２の光とが同一の方向および同一の角度範囲に出射される場合であっても、両者の到達可能な距離が異なる場合には、第１の空間分布と第２の空間分布とが異なるといえる。「２次元の空間分布」は、「空間分布」の３次元から光ビームが到達可能な距離の次元を除いた、光の方向および角度範囲を意味する。後述するように、第１の空間分布と第２の空間分布とが同一であってもよい。また、本開示において、「放射強度」とは、点状の放射源から「ある方向」へ時間あたりに放射される放射エネルギーを指し、放射される光の放射束を、放射源からみた立体角すなわち、光の広がる角度範囲の大きさで微分することで求められる。また、本開示において、「光の到達距離」とは、障害物が無いと仮定した場合に、光源の位置から、所定の光量子束密度（photpsynthetic photon flux density）以上の光が届き得る最も遠い位置までの距離をいう。

（３）受光装置１５０の複数の受光素子の少なくとも一部に、第１の光によって生じたシーンからの第１の反射光、および第２の光によって生じたシーンからの第２の反射光を、同一の露光期間において受光させる。

信号処理回路４００は、受光装置１５０の複数の受光素子から出力された受光データに基づいて、第１の反射光および第２の反射光に由来する距離データを生成して出力する。本開示において、「距離データ」とは、計測点の基準点からの絶対的な距離、あるいは計測点間の相対的な距離を表した様々なデータを意味し、例えば、２次元画像データの各画素に対し、対応する計測点の距離情報を付した距離画像データであってもよい。また、各計測点の３次元座標を表す３次元点群データであってもよい。また、距離データは、直接的に距離を表すデータに限られず、測距のために取得されたセンサデータそのもの、すなわちＲａｗデータであってもよい。Ｒａｗデータは、例えば受光装置１５０の各受光素子が検出した輝度データである。Ｒａｗデータは、距離を計算するために必要な付加データと併せて、距離データとして取り扱うことができる。付加データは、例えば、後述する間接ＴＯＦによる距離計算に必要な、各受光素子の露光タイミングおよび露光時間幅を示すデータである。

以上の構成によれば、第１の光および第２の光は、シーンの全体をカバーする必要がない。このため、出射光のエネルギーを低減することができる。さらに、相対的に近い距離範囲での測距と、相対的に遠い距離範囲での測距とを同時に行うことができる。近距離の測距と遠距離の測距とを別々に行う場合に比べて測距の時間を短縮することができる。

露光期間は、シーンにおける、受光装置から第１の距離だけ離れた位置で生じた第１の反射光の一部が受光装置に到達する時点を含まず、受光装置から第１の距離よりも長い第２の距離だけ離れた位置で生じた第１の反射光の他の一部が受光装置に到達する時点を含み、受光装置から第１の距離だけ離れた位置で生じた第２の反射光の一部が受光装置に到達する時点を含むように設定され得る。このような構成により、装置から相対的に近い第１の距離にある物体からの第１の反射光は検出されず、第１の距離にある物体からの第２の反射光は検出され、装置から相対的に遠い第２の距離にある物体からの第１の反射光は検出されるようにすることができる。これにより、近距離にある物体の測距と遠距離にある物体の測距とを同時に行うことができる。

図２は、本実施形態の利用シーンの一例を模式的に示す図である。この例では、受光装置１５０は、２次元画像を取得するイメージセンサ２００によって実現されている。光源１００は、複数の第１の光ビーム２１０を含む第１の光と、複数の第２の光ビーム２２０を含む第２の光とを、順に出射する。各第１の光ビーム２１０は、光源から所定の距離の照射面において、相対的に高い単位面積あたりのエネルギーを有し、遠方まで届く。これに対し、各第２の光ビーム２２０は、当該照射面において、相対的に低い単位面積あたりのエネルギーを有し、それほど遠方までは届かない。以下の説明において、第１の光ビーム２１０を「遠距離用ビーム」と称し、第２の光ビーム２２０を「近距離用ビーム」と称することがある。図２に示す例では、いずれの光ビームも、全体として同程度のエネルギーを有する。このため、各第２の光ビーム２２０の広がり角は、各第１の光ビーム２１０の広がり角よりも大きい。

図２では、４本の第１の光ビーム２１０と２本の第２の光ビーム２２０とが例示されているが、実際にはさらに多くの光ビーム２１０および２２０が出射され得る。

イメージセンサ２００は、第１の光によって生じたシーンからの第１の反射光２３０と、第２の光によって生じたシーンからの第２の反射光２４０とを、同一の露光期間において受光する。信号処理回路４００は、イメージセンサ２００から出力された受光データに基づいて、第１の反射光および第２の反射光に由来する距離データを生成する。

複数の第１の光ビーム２１０の本数は、撮影対象のシーン全体をカバーする光ビームの本数よりも少ない。同様に、複数の第２の光ビーム２２０の本数は、撮影対象のシーン全体をカバーする光ビームの本数よりも少ない。言い換えれば、第１の光ビーム２１０および第２の光ビームのいずれも、「疎な光ビーム」である。

イメージセンサ２００における複数の受光素子は、第１の反射光を受光し第２の反射光を受光しない複数の第１の受光素子と、第２の反射光を受光し第１の反射光を受光しない複数の第２の受光素子と、第１の反射光および第２の反射光のいずれも受光しない複数の第３の受光素子とを含み得る。全ての画素のうち複数の第３の受光素子に対応する複数の画素の位置は、シーン全体の一部に対応する（図５参照）。信号処理回路は、このシーン全体の一部の距離情報を推定することができる。すなわち、信号処理回路は、受光データに基づいて、複数の第３の受光素子に対応する複数の画素の位置における距離情報を推定することにより、距離データを生成する。信号処理回路４００は、予め設定された重み情報を用いて、受光データから、距離データを生成することができる。重み情報は、第１の空間分布および第２の空間分布に基づいて定められる。重み情報を用いた信号処理の詳細については後述する。

本実施形態の距離情報取得装置は、疎な光ビームを用いて距離データを生成する。これにより、撮影対象のシーン全体をカバーする光ビームを用いる場合と比較して、低い消費電力で距離情報を取得することができる。

以下、本実施形態の構成および動作をより具体的に説明する。

［１−１ 距離情報取得装置の構成］
図３は、実施形態１に係る距離情報取得装置の構成の一例を示すブロック図である。図３に示される距離情報取得装置は、光源１００と、イメージセンサ２００と、制御回路３００と、信号処理回路４００と、記憶装置５００と、ディスプレイ６００とを備える。制御回路３００は、記憶媒体３１０と、プロセッサ３２０とを備える。

光源１００は、例えばレーザ光を出射する発光デバイスであり得る。光源１００は、より遠くまで届く複数の遠距離用ビームと、遠距離用ビームよりも到達距離の短い複数の近距離用ビームとを出射する。光源１００は、複数の遠距離用ビーム、および複数の近距離用ビームを、例えばランダムな方向に出射する。遠距離用ビームの到達距離は、例えば１００ｍから２００ｍであり得る。近距離用ビームの到達距離は、例えば０ｍから１００ｍであり得る。これらの光ビームの到達距離は、この例に限らず、任意に設定できる。

イメージセンサ２００は、２次元的に配列された複数の受光素子を有する。各受光素子は、例えばフォトダイオードなどの光電変換素子を含み得る。各受光素子は、光を受けると光電変換を行い、受光量に応じた電気信号を出力する。

制御回路３００は、光源１００、イメージセンサ２００、および信号処理回路４００の動作を制御する。制御回路３００は、例えばマイクロコントローラユニット（ＭＣＵ）などの電子回路によって実現され得る。図３に示す制御回路３００は、プロセッサ３２０と、記憶媒体３１０とを備える。プロセッサ３２０は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）によって実現され得る。記憶媒体３１０は、例えばＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの不揮発性メモリ、およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの揮発性メモリを含み得る。記憶媒体３１０は、プロセッサ３２０によって実行されるコンピュータプログラム３１４を格納する。プロセッサ３２０は、当該プログラム３１４を実行することにより、後述する動作を実行することができる。

制御回路３００は、光源１００による光ビームの投光のタイミングと、イメージセンサ２００の露光のタイミングとを決定し、決定したタイミングに従って、投光制御信号と、露光制御信号とを出力する。投光制御信号は、予め記憶媒体３１０に格納された遠距離ビーム情報３１１および近距離ビーム情報３１２に従って生成される。遠距離ビーム情報３１１は、複数の遠距離用ビームの出射方向およびビーム形状に関する情報を含み得る。近距離ビーム情報３１２は、複数の近距離用ビームの出射方向およびビーム形状に関する情報を含み得る。記憶媒体３１０は、さらに、イメージセンサ２００の受光面上での第１の反射光および第２の反射光の分布によって決定される重み情報３１３を予め格納している。

信号処理回路４００は、イメージセンサ２００から露光期間ごとに出力される受光データと、記憶媒体３１０に格納された重み情報３１３とを取得する。信号処理回路４００は、受光データと重み情報３１３とに基づいて、物体までの距離を画素ごとに計算または推定することにより、距離データを生成する。生成された距離データは、記憶装置５００に記録される。距離データは、ディスプレイ６００に表示されてもよい。距離データは、例えば距離画像を示すデータであり得る。

［１−１−１ 制御回路３００の構成］
以下、制御回路３００の構成のより具体的な例を説明する。制御回路３００は、プロセッサ３２０と、記憶媒体３１０とを備える。プロセッサ３２０は、投光／露光タイミング決定部３２２と、計時部３２４と、投光制御信号出力部３２６と、露光制御信号出力部３２８とを備える。記憶媒体３１０は、遠距離ビーム情報３１１と、近距離ビーム情報３１２と、重み情報３１３と、プロセッサ３２０が実行するコンピュータプログラム３１４とを格納する。

距離情報取得装置は、間接ＴｏＦ（Ｔｉｍｅ−ｏｆ−Ｆｒｉｇｈｔ）方式による測距を行う。距離情報取得装置は、測距を行う際に圧縮センシングの技術を利用する。圧縮センシングの技術を用いることで、複数の近距離用ビームと複数の近距離用ビームとが、いずれも空間的に疎であったとしても、各画素における物体までの距離を推定することができる。言い換えれば、複数の近距離用ビームの数、および複数の遠距離用ビームの数の各々は、測距対象のシーンの全体を網羅するビーム数よりも少なくてもよい。

図４Ａは、遠距離ビーム情報３１１の一例を示す図である。図４Ｂは、近距離ビーム情報３１２の一例を示す図である。この例では、遠距離ビーム情報３１１および近距離ビーム情報３１２の各々は、各光ビームに共通する情報として、ビームの形状、ビームの広がり角、および距離レンジの情報を含む。ここで距離レンジは、そのビームを用いて測定される距離の範囲を指す。遠距離ビーム情報３１１および近距離ビーム情報３１２の各々は、さらに、各光ビームについて、ビーム番号と、出射方向の情報とを含む。図４Ａおよび図４Ｂの例では、イメージセンサ２００の受光面に平行に、互いに直交するｘ軸およびｙ軸が設定され、受光面に垂直でシーンに向けた方向にｚ軸が設定されている。各光ビームの出射方向は、ｘｚ平面に投影した場合のｚ軸からの角度と、ｙｚ平面に投影した場合のｚ軸からの角度とによって指定される。

図４Ａおよび図４Ｂに示す例において、複数の近距離用ビームおよび複数の遠距離用ビームの方向はランダムに決定されている。さらに、近距離用ビームの数および遠距離用ビーム数のいずれについても、測距対象のシーン全体を網羅する光ビームの数よりも少ない。

なお、図４Ａおよび図４Ｂに示す遠距離ビーム情報３１１および近距離ビーム情報３１２は、一例に過ぎず、上記とは異なる情報を含んでいてもよい。また、図４Ａおよび図４Ｂの例では、ｘｚ平面およびｙｚ平面にそれぞれ投影した場合の角度によって投光方向が記述されるが、これ以外の方法で投光の方向を記述してもよい。

図５は、本実施形態における複数の遠距離用ビーム２１０と複数の近距離用ビーム２２０とが投光される様子を模式的に示す図である。図５の例では、光源１００に最も近い位置に自転車があり、続いて人、乗用車、トラックの順に、より遠方にある様子が示されている。小さい円は遠距離用ビーム２１０の投光領域を示し、大きい円は近距離用ビーム２２０の投光領域を示す。図５におけるマス目は、イメージセンサ２００の画素を示す。なお、イメージセンサ２００の画素は、実際には微細であるが、図５では、見易さのため、実際よりも粗く示されている。この例では、近距離用ビーム２２０の放射強度は、遠距離用ビーム２１０の放射強度よりも低い。

図５の例において、遠距離用ビーム２１０および近距離用ビーム２２０は、それぞれランダムな方向に投光されている。投光される領域は、イメージセンサ２００の全画素を網羅しない。投光の方向には、遠距離用ビーム２１０も近距離用ビーム２２０も照射されない方向と、遠距離用ビーム２１０のみ照射される方向と、近距離用ビーム２２０のみ照射される方向と、遠距離用ビーム２１０および近距離用ビーム２２０の両方が照射される方向とが含まれる。反射光を受光するイメージセンサ２００の受光面においても上記の４種類の方向にそれぞれ対応する４種類の画素領域が存在する。

ここで、光源１００とイメージセンサ２００との間の距離は、例えば数ｍｍ程度であり得る。一方、測距の距離レンジは、例えば０ｍから２００ｍ程度の範囲であり、多くの場合数ｍ以上である。このことを考慮すると、光源１００およびイメージセンサ２００は、空間座標において同一の点に位置するとみなすことができる。従って、光源１００から出射した光ビームは、光ビームの方向にある物体によって反射され、光源１００とほぼ同じ位置にあるイメージセンサ２００によって受光される。遠距離にある物体と近距離にある物体とが光ビームの方向に存在する場合、近距離にある物体によって光ビームが反射され、遠距離にある物体には光ビームが届かない。

一方、本実施形態では、相対的に遠い第１の距離レンジにある物体によって遠距離用ビーム２１０が反射されてイメージセンサ２００に到達する期間と、相対的に近い第２の距離レンジにある物体によって近距離用ビーム２２０が反射されてイメージセンサ２００に到達する期間とが、少なくとも部分的に重なる。そのような条件が満たされるように、各光ビームの出射のタイミングおよび露光のタイミングが調整される。第１の距離レンジは、例えば１００ｍから２００ｍの範囲に設定され、第２の距離レンジは、例えば０ｍから１００ｍの範囲に設定され得る。第１の距離レンジ以外の距離にある物体によって反射された遠距離用ビーム２１０、および第２の距離レンジ以外の距離にある物体によって反射された近距離用ビーム２２０は、イメージセンサ２００によって検出されない。すなわち、遠距離用ビーム２１０および近距離用ビーム２２０の両方が照射される方向に物体が存在していたとしても、イメージセンサ２００によって検出されるのは、それらのビームの一方のみである。

画素ピッチが十分に小さく、物体の輪郭線によって当該物体の内側と外側とに分割される画素がない場合、イメージセンサ２００の受光面には、遠距離用ビーム２１０と近距離用ビーム２２０の両方を受光する画素はない。この場合、遠距離用ビーム２１０も近距離用ビーム２２０も受光しない画素、遠距離用ビーム２１０のみ受光する画素、近距離用ビーム２２０のみ受光する画素の３種類のみが生じ得る。ただし、物体の輪郭線によって当該物体の内側と外側とに分割される画素がある場合、そのような画素は、遠距離用ビーム２１０および近距離用ビーム２２０の両方を受光し得る。その場合には、第１の光ビームも第２の光ビームも受光しない画素、第１の光ビームのみ受光する画素、第１の光ビームのみ受光する画素、第１の光ビームおよび第２の光ビームの両方を受光する画素の４種類が生じ得る。

図３に示す投光／露光タイミング決定部３２２は、光源１００が複数の遠距離用ビーム２１０を出射するタイミングと、光源１００が複数の近距離用ビーム２２０を出射するタイミングと、イメージセンサ２００が露光を行うタイミングとを決定する。

計時部３２４は、時間を計測する。

投光制御信号出力部３２６は、光源１００を制御する投光制御信号を出力する。投光制御信号には、複数の遠距離用ビームを投光するための第１の制御信号と、複数の遠距離用ビームを投光するための第２の制御信号とがある。第１の制御信号は、各遠距離用ビームの方向、ビーム形状、および強度を規定する遠距離ビーム情報３１１に基づいて生成される。第２の制御信号は、各近距離用ビームの方向、ビーム形状、および強度を規定する近距離ビーム情報３１２に基づいて生成される。

露光制御信号出力部３２８は、イメージセンサ２００の露光を制御する露光制御信号を出力する。イメージセンサ２００は、出力された露光制御信号に従って露光を実行する。

投光／露光タイミング決定部３２２、計時部３２４、投光制御信号出力部３２６、露光制御信号出力部３２８のそれぞれの機能は、例えばプロセッサ３２０がプログラム３１４を実行することによって実現され得る。その場合、プロセッサ３２０が、投光／露光タイミング決定部３２２、計時部３２４、投光制御信号出力部３２６、および露光制御信号出力部３２８として機能する。これらの各機能部は、専用のハードウェアによって実現されていてもよい。

ここで、一般的な間接ＴｏＦ方式による測距方法の一例を説明する。ＴｏＦ方式は、光源から出射した光が物体によって反射されて光源の近傍の光検出器まで戻ってくるまでの飛行時間を測定することで、装置から物体までの距離を測定する方式である。飛行時間を直接計測する方式を直接ＴｏＦと呼ぶ。複数の露光期間を設け、露光期間ごとの反射光のエネルギー分布から、飛行時間を計算する方式を間接ＴｏＦと呼ぶ。

図６Ａは、間接ＴｏＦ方式における投光タイミング、反射光の到達タイミング、および２回の露光タイミングの例を示す図である。横軸は時間を示している。矩形部分は、投光、反射光の到達、および２回の露光のそれぞれの期間を表している。図６Ａの（ａ）は、光源から光が出射するタイミングを示している。Ｔ０は測距用の光ビームのパルス幅である。図６Ａの（ｂ）は、光源から出射して物体で反射された光ビームがイメージセンサに到達する期間を示している。Ｔｄは光ビームの飛行時間である。図６Ａの例では、光パルスの時間幅Ｔ０よりも短い時間Ｔｄで反射光がイメージセンサに到達している。図６Ａの（ｃ）は、イメージセンサの第１の露光期間を示している。この例では、投光の開始と同時に露光が開始され、投光の終了と同時に露光が終了している。第１の露光期間では、反射光のうち、早期に戻ってきた光が光電変換され、生じた電荷が蓄積される。Ｑ１は、第１の露光期間の間に光電変換された光のエネルギーを表す。このエネルギーＱ１は、第１の露光期間の間に蓄積された電荷の量に比例する。

図６Ａの（ｄ）は、イメージセンサの第２の露光期間を示している。この例では、第２の露光期間は、投光の終了と同時に開始し、光ビームのパルス幅Ｔ０と同一の時間、すなわち第１の露光期間と同一の時間が経過した時点で終了する。Ｑ２は、第２の露光期間の間に光電変換された光のエネルギーを表す。このエネルギーＱ２は、第２の露光期間の間に蓄積された電荷の量に比例する。第２の露光期間では、反射光のうち、第１の露光期間が終了した後に到達した光が受光される。第１の露光期間の長さが光ビームのパルス幅Ｔ０に等しいことから、第２の露光期間で受光される反射光の時間幅は、飛行時間Ｔｄに等しい。

ここで、第１の露光期間の間に画素に蓄積される電荷の積分容量をＣｆｄ１、第２の露光期間の間に画素に蓄積される電荷の積分容量をＣｆｄ２、光電流をＩｐｈ、電荷転送クロック数をＮとする。第１の露光期間における画素の出力電圧は、以下のＶｏｕｔ１で表される。
Ｖｏｕｔ１＝Ｑ１／Ｃｆｄ１＝Ｎ×Ｉｐｈ×（Ｔ０−Ｔｄ）／Ｃｆｄ１

第２の露光期間における画素の出力電圧は、以下のＶｏｕｔ２で表される。
Ｖｏｕｔ２＝Ｑ２／Ｃｆｄ２＝Ｎ×Ｉｐｈ×Ｔｄ／Ｃｆｄ２

図６Ａの例では、第１の露光期間の時間長と第２の露光期間の時間長とが等しいため、Ｃｆｄ１＝Ｃｆｄ２である。従って、Ｔｄは以下の式で表すことができる。
Ｔｄ＝｛Ｖｏｕｔ２／（Ｖｏｕｔ１＋Ｖｏｕｔ２）｝×Ｔ０

光速をＣ（≒３×１０^８ｍ／ｓ）とすると、装置と物体との距離Ｌは、以下の式で表される。
Ｌ＝１／２×Ｃ×Ｔｄ＝１／２×Ｃ×｛Ｖｏｕｔ２／（Ｖｏｕｔ１＋Ｖｏｕｔ２）｝×Ｔ０

イメージセンサ２００は、実際には露光期間に蓄積した電荷を出力するため、時間的に連続して２回の露光を行うことができない場合がある。図６Ｂは、連続で２つの露光期間を設けることができない場合の投光と露光、および電荷出力のタイミングを模式的に示す図である。図６Ｂの例では、まず、光源１００が投光を開始すると同時にイメージセンサ２００は露光を開始し、光源１００が投光を終了すると同時にイメージセンサ２００は露光を終了する。この露光期間Ｐ１は、図６Ａにおける露光期間１に相当する。イメージセンサ２００は、露光直後にこの露光期間Ｐ１で蓄積された電荷を出力する。次に、光源１００は再度投光を開始し、１回目と同一の時間Ｔ０が経過すると投光を終了する。イメージセンサ２００は、光源１００が投光を終了すると同時に露光を開始し、第１の露光期間Ｐ１と同一の時間長が経過すると露光を終了する。この露光期間Ｐ２は、図６Ａにおける露光期間２に相当する。イメージセンサ２００は、露光直後にこの露光期間Ｐ２で蓄積された電荷を出力する。

このように、図６Ｂの例では、上記の距離計算のための電圧を取得するために、光源１００は投光を２回行い、イメージセンサ２００はそれぞれの投光に対して異なるタイミングで露光する。このようにすることで、２つの露光期間を時間的に連続して設けることができない場合でも、露光期間ごとに電圧を取得できる。このように、露光期間ごとに電荷の出力を行うイメージセンサ２００では、予め設定された複数の露光期間の各々で蓄積される電荷の情報を得るために、同一条件の光を、設定された露光期間の数と等しい回数だけ投光することになる。

なお、実際の測距では、イメージセンサ２００は、光源１００から出射されて物体で反射された光のみではなく、バックグラウンド光、すなわち太陽光または周辺の照明等の外部からの光を受光し得る。そこで、一般には、光ビームが出射されていない状態でイメージセンサ２００に入射するバックグラウンド光による蓄積電荷を計測するための露光期間が設けられる。バックグランド用の露光期間で計測された電荷量を、光ビームの反射光を受光したときに計測される電荷量から減算することで、光ビームの反射光のみを受光した場合の電荷量を求めることができる。本実施形態では、簡便のため、バックグランド光についての動作の説明を省略する。

本実施形態の距離情報取得装置は、上記の間接ＴｏＦ方式による測距と、圧縮センシングとを組み合わせることにより、各画素における距離情報を取得する。圧縮センシングには、図３に示す重み情報３１３が用いられる。以下、重み情報３１３の詳細を説明する。

本実施形態における重み情報３１３は、近距離用ビームおよび遠距離用ビームのそれぞれの投光パターンに基づく重み行列を表す。重み行列の行数はイメージセンサ２００の画素数Ｌの２倍であり、列数は画素数Ｌと距離の解析数Ｎとを掛けた値である。距離の解析数Ｎは、測距範囲の分割数であり、測距の分解能を表す。

イメージセンサ２００の画素ｉ（ｉ＝１，２，・・・，Ｌ）の距離ベクトルをｘ_ｉとする。ｘ_ｉは、要素数Ｎのベクトルであり、画素ｉに位置する物体の距離の範囲を表す。例えば、ｘ_ｉ＝［１，０，０，０，…，０］^Ｔは１６．７メートル未満、ｘ_ｉ＝［０，１，０，０，…，０］^Ｔは１６．７メートル以上３３．３メートル未満、ｘ_ｉ＝［０，０，０，０，…，１］^Ｔは（Ｎ−１）×１６．７メートル以上Ｎ×１６．７メートル未満を示す。以下、説明を簡略化するため、Ｎ＝１２の場合の例を説明する。ここでは、近距離用ビームは、０メートルから１００メートルの範囲にある物体を検出するために使用され、遠距離用ビームは、１００メートルから２００メートルの範囲にある物体を検出するために使用されるものと仮定する。

この例では、後に図１６を参照して説明するように、まず遠距離用ビームが投光され、その後、近距離用ビームが投光される。近距離用ビームの投光終了後、第１の露光期間が開始する。第１の露光期間が終了すると、第２の露光期間が開始する。

画素ｉについて、第１の露光期間で蓄積された電荷量に対応する電圧をｙ_１ｉ、第２の露光期間で蓄積された電荷量に対応する電圧をｙ_２ｉとする。ただし、以下の式１が満たされるように正規化する。

近距離用ビームのみが照射される画素については、ｙ_１ｉおよびｙ_２ｉは、例えば以下の式２のように表される。

ａ１からａ６、およびｂ１からｂ６は、０以上１以下の実数であり、式１を満たす数である。この例では、装置から１００メートルを超える距離に位置する物体からの近距離用ビームの反射光は、強度の減衰によって検出されない。このため、式２における行列の第７列から第１２列の各値は０に設定される。

遠距離用ビームのみが照射される画素については、ｙ_１ｉおよびｙ_２ｉは、例えば以下の式３のように表される。

ａ７からａ１２、およびｂ７からｂ１２は、０以上１以下の実数であり、式１を満たす数である。この例では、装置から１００メートル未満の距離に位置する物体からの遠距離用ビームの反射光が検出されないように各露光期間が設定される。このため、式３における行列の第１列から第６列の各値は０に設定される。

近距離用ビームと遠距離用ビームとが同時に照射される画素については、ｙ_１ｉおよびｙ_２ｉは、例えば以下の式４のように表される。

いずれのビームも照射されない画素については、ｙ_１ｉおよびｙ_２ｉは、ゼロになるため、以下の式５のように表される。

ここで、式２から式５における行列の各要素の数値は、ｘ_ｉ、ｙ_１ｉおよびｙ_２ｉの形式に依存する。上記の行列の各要素の数値は実装によって異なる。

式２から式５は、まとめると以下の式６のように表現できる。
Ｙ＝ＷＸ （６）
ここで、画素数をＬとして、Ｙは以下の式７で表され、Ｘは以下の式８で表される。

Ｙは、画素ごとに、第１の露光期間および第２の露光期間でそれぞれ検出された、正規化された電荷量または電圧値を並べたベクトルである。Ｘは、前述の要素数Ｎのｘ_ｉがＬ個並べられたベクトルであり、要素数はＬ×Ｎである。Ｘは、各画素の距離を表す。より具体的には、Ｘは、各画素に対応する位置にある物体が、測距範囲を解析数Ｎで分割した場合の何番目の距離レンジにあるかを示す。画素ごとに、分割された複数の距離レンジの各々を示す要素に、０または１の値を持つことにより、距離が表現される。物体が装置から２００メートル未満の位置に存在する画素については、ｘ_ｉは、Ｎ個の要素中１つだけが１であり、他の要素が０のベクトルである。物体が装置から２００メートル未満の位置に存在しない画素については、ｘ_ｉは、Ｎ個の要素の全てが０のベクトルである。

Ｗは、行数が２Ｌで列数がＬ×Ｎの行列である。上述の［ｙ_１ｉ，ｙ_２ｉ］およびｘ_ｉの定義より、行列Ｗは、以下の式９で表される。

ここで、式（９）における行列Ｗの各要素ｗは、式（２）から（５）のいずれかの行列を表す。各ｗが、式（２）から（５）のいずれの行列に該当するかは、例えば予めキャリブレーションを行うことによって決定され得る。本実施形態では、式９に示す重み行列Ｗが、重み情報３１３として用いられる。

［１−１−２ 光源１００の構成］
光源１００の構成例を説明する。光源１００は、例えば特許文献４に開示されているような、光源および符号化マスクを利用して、任意の空間パターンの光を出射する光源であり得る。あるいは、光源１００は、例えば特許文献１に開示されているような、任意の空間パターンの光を出射できる光フェーズドアレイの構成を備えていてもよい。さらには、特許文献７に開示されている発光デバイスを利用してもよい。以下、光源１００の構成の一例を説明する。

図７は、光源１００において使用され得る発光デバイスの一例を模式的に示す斜視図である。光源１００は、各々が異なる方向に光を出射する複数の発光デバイスの組み合わせによって構成され得る。図７は、そのうちの１つの発光デバイスの構成を簡略化して示している。

発光デバイスは、複数の光導波路素子１０を含む光導波路アレイを備える。複数の光導波路素子１０の各々は、第１の方向（図７におけるＸ方向）に延びた形状を有する。複数の光導波路素子１０は、第１の方向に交差する第２の方向（図７におけるＹ方向）に規則的に配列されている。複数の光導波路素子１０は、第１の方向に光を伝搬させながら、第１および第２の方向に平行な仮想的な平面に交差する第３の方向Ｄ３に光を出射させる。

複数の光導波路素子１０のそれぞれは、互いに対向する第１のミラー３０および第２のミラー４０と、ミラー３０とミラー４０の間に位置する光導波層２０とを有する。ミラー３０およびミラー４０の各々は、第３の方向Ｄ３に交差する反射面を、光導波層２０との界面に有する。ミラー３０およびミラー４０、ならびに光導波層２０は、第１の方向に延びた形状を有している。

第１のミラー３０の反射面と第２のミラー４０の反射面とは略平行に対向している。２つのミラー３０およびミラー４０のうち、少なくとも第１のミラー３０は、光導波層２０を伝搬する光の一部を透過させる特性を有する。言い換えれば、第１のミラー３０は、当該光について、第２のミラー４０よりも高い光透過率を有する。このため、光導波層２０を伝搬する光の一部は、第１のミラー３０から外部に出射される。このようなミラー３０および４０は、例えば誘電体による多層膜（「多層反射膜」と称することもある。）によって形成される多層膜ミラーであり得る。

それぞれの光導波路素子１０に入力する光の位相を調整し、さらに、これらの光導波路素子１０における光導波層２０の屈折率もしくは厚さ、または光導波層２０に入力される光の波長を調整することで、任意の方向に光を出射させることができる。

図８は、１つの光導波路素子１０の断面の構造および伝搬する光の例を模式的に示す図である。図８では、図７に示すＸ方向およびＹ方向に垂直な方向をＺ方向とし、光導波路素子１０のＸＺ面に平行な断面が模式的に示されている。光導波路素子１０において、一対のミラー３０とミラー４０が光導波層２０を挟むように配置されている。光導波層２０のＸ方向における一端から導入された光２２は、光導波層２０の上面に設けられた第１のミラー３０および下面に設けられた第２のミラー４０によって反射を繰り返しながら光導波層２０内を伝搬する。第１のミラー３０の光透過率は第２のミラー４０の光透過率よりも高い。このため、主に第１のミラー３０から光の一部を出力することができる。

通常の光ファイバーなどの光導波路では、全反射を繰り返しながら光が光導波路に沿って伝搬する。これに対して、本実施形態における光導波路素子１０では、光は光導波層２０の上下に配置されたミラー３０および４０によって反射を繰り返しながら伝搬する。このため、光の伝搬角度に制約がない。ここで光の伝搬角度とは、ミラー３０またはミラー４０と光導波層２０との界面への入射角度を意味する。ミラー３０またはミラー４０に対して、より垂直に近い角度で入射する光も伝搬できる。すなわち、全反射の臨界角よりも小さい角度で界面に入射する光も伝搬できる。このため、光の伝搬方向における光の群速度は自由空間における光速に比べて大きく低下する。これにより、光導波路素子１０は、光の波長、光導波層２０の厚さ、および光導波層２０の屈折率の変化に対して光の伝搬条件が大きく変化するという性質を持つ。このような光導波路を、「反射型光導波路」または「スローライト光導波路」と称する。

光導波路素子１０から空気中に出射される光の出射角度θは、以下の式（１０）によって表される。

式（１０）からわかるように、空気中での光の波長λ、光導波層２０の屈折率ｎ_ｗおよび光導波層２０の厚さｄのいずれかを変えることで光の出射方向を変えることができる。

例えば、ｎ_ｗ＝２、ｄ＝３８７ｎｍ、λ＝１５５０ｎｍ、ｍ＝１の場合、出射角度は０°である。この状態から、屈折率をｎ_ｗ＝２．２に変化させると、出射角度は約６６°に変化する。一方、屈折率を変えずに厚さをｄ＝４２０ｎｍに変化させると、出射角度は約５１°に変化する。屈折率も厚さも変化させずに波長をλ＝１５００ｎｍに変化させると、出射角度は約３０°に変化する。このように、光の波長λ、光導波層２０の屈折率ｎ_ｗ、および光導波層２０の厚さｄのいずれかを変化させることにより、光の出射方向を変化させることができる。

光の波長λは、例えば一般的なシリコン（Ｓｉ）により光を吸収することで光を検出するイメージセンサで高い検出感度が得られる４００ｎｍから１１００ｎｍ（可視光から近赤外光）の波長域に含まれ得る。他の例では、波長λは、光ファイバーまたはＳｉ光導波路において伝送損失の比較的小さい１２６０ｎｍから１６２５ｎｍの近赤外光の波長域に含まれ得る。なお、これらの波長範囲は一例である。使用される光の波長域は、可視光または赤外光の波長域に限定されず、例えば紫外光の波長域であってもよい。

発光デバイスは、各光導波路素子１０における光導波層２０の屈折率、厚さ、および波長の少なくとも１つを変化させる第１調整素子を備え得る。これにより、出射光の方向を調製することができる。

光導波層２０の少なくとも一部の屈折率を調整するために、光導波層２０は、液晶材料または電気光学材料を含んでいてもよい。光導波層２０は、一対の電極によって挟まれ得る。一対の電極に電圧を印加することにより、光導波層２０の屈折率を変化させることができる。

光導波層２０の厚さを調整するために、例えば、第１のミラー３０および第２のミラー４０の少なくとも一方に少なくとも１つのアクチュエータが接続されてもよい。少なくとも１つのアクチュエータによって第１のミラー３０と第２のミラー４０との距離を変化させることにより、光導波層２０の厚さを変化させることができる。光導波層２０が液体から形成されていれば、光導波層２０の厚さは容易に変化し得る。

複数の光導波路素子１０が一方向に配列された光導波路アレイにおいて、それぞれの光導波路素子１０から出射される光の干渉により、光の出射方向は変化する。各光導波路素子１０に供給する光の位相を調整することにより、光の出射方向を変化させることができる。以下、その原理を説明する。

図９Ａは、光導波路アレイの出射面に垂直な方向に光を出射する光導波路アレイの断面を示す図である。図９Ａには、各光導波路素子１０を伝搬する光の位相シフト量も記載されている。ここで、位相シフト量は、左端の光導波路素子１０を伝搬する光の位相を基準にした値である。本実施形態における光導波路アレイは、等間隔に配列された複数の光導波路素子１０を含んでいる。図９Ａにおいて、破線の円弧は、各光導波路素子１０から出射される光の波面を示している。直線は、光の干渉によって形成される波面を示している。矢印は、光導波路アレイから出射される光の方向（すなわち、波数ベクトルの方向）を示している。図９Ａの例では、各光導波路素子１０における光導波層２０を伝搬する光の位相はいずれも同じである。この場合、光は光導波路素子１０の配列方向（Ｙ方向）および光導波層２０が延びる方向（Ｘ方向）の両方に垂直な方向（Ｚ方向）に出射される。

図９Ｂは、光導波路アレイの出射面に垂直な方向とは異なる方向に光を出射する光導波路アレイの断面を示す図である。図９Ｂに示す例では、複数の光導波路素子１０における光導波層２０を伝搬する光の位相が、配列方向に一定量（Δφ）ずつ異なっている。この場合、光は、Ｚ方向とは異なる方向に出射される。このΔφを変化させることにより、光の波数ベクトルのＹ方向の成分を変化させることができる。隣接する２つの光導波路素子１０の間の中心間距離をｐとすると、光の出射角度α_０は、以下の式（１１）によって表される。

光導波路素子１０の本数がＮのとき、光の出射角度の広がり角Δαは、以下の式（１２）によって表される。

したがって、光導波路素子１０の本数が多いほど、広がり角Δαを小さくすることができる。

図１０は、３次元空間における光導波路アレイを模式的に示す斜視図である。図１０に示す太い矢印は、発光デバイスから出射される光の方向を表す。θは、光の出射方向とＹＺ平面とがなす角度である。θは式（１０）を満たす。α_０は、光の出射方向とＸＺ平面とがなす角度である。α_０は式（１１）を満たす。

それぞれの光導波路素子１０から出射される光の位相を制御するために、例えば、光導波路素子１０に光を導入する前段に、光の位相を変化させる位相シフタが設けられ得る。発光デバイスは、複数の光導波路素子１０のそれぞれに接続された複数の位相シフタと、各位相シフタを伝搬する光の位相を調整する第２調整素子とを備え得る。各位相シフタは、複数の光導波路素子１０の対応する１つにおける光導波層２０に直接的にまたは他の光導波路を介して繋がる光導波路を含む。第２調整素子は、複数の位相シフタから複数の光導波路素子１０へ伝搬する光の位相の差をそれぞれ変化させることにより、複数の光導波路素子１０から出射される光の方向（すなわち、第３の方向Ｄ３）を変化させる。以下の説明では、光導波路アレイと同様に、配列された複数の位相シフタを「位相シフタアレイ」と称することがある。

図１１は、光導波路アレイ１０Ａおよび位相シフタアレイ８０Ａを、光出射面の法線方向（Ｚ方向）から見た模式図である。図１１に示す例では、全ての位相シフタ８０が同じ伝搬特性を有し、全ての光導波路素子１０が同じ伝搬特性を有する。それぞれの位相シフタ８０およびそれぞれの光導波路素子１０は同じ長さであってもよいし、長さが異なっていてもよい。それぞれの位相シフタ８０の長さが等しい場合は、例えば、駆動電圧によってそれぞれの位相シフト量を調整することができる。

また、それぞれの位相シフタ８０の長さを等ステップで変化させた構造にすることで、同じ駆動電圧で等ステップの位相シフトを与えることもできる。さらに、この発光デバイスは、複数の位相シフタ８０に光を分岐して供給する光分岐器９０と、各光導波路素子１０を駆動する第１駆動回路１１０と、各位相シフタ８０を駆動する第２駆動回路１２０とをさらに備える。図１１における直線の矢印は光の入力を示している。別々に設けられた第１駆動回路１１０と第２駆動回路１２０とをそれぞれ独立に制御することにより、２次元的に光の出射方向を変化させることができる。この例では、第１駆動回路１１０は、第１調整素子の１つの要素として機能し、第２駆動回路１２０は、第２調整素子の１つの要素として機能する。

第１駆動回路１１０は、各光導波路素子１０における光導波層２０の屈折率および厚さの少なくとも一方を変化させることにより、光導波層２０から出射する光の角度を変化させる。第２駆動回路１２０は、各位相シフタ８０における光導波路２０ａの屈折率を変化させることにより、光導波路２０ａの内部を伝搬する光の位相を変化させる。光分岐器９０は、全反射によって光が伝搬する光導波路で構成してもよいし、光導波路素子１０と同様の反射型光導波路で構成してもよい。

なお、光分岐器９０で分岐したそれぞれの光の位相を制御した後に、それぞれの光を位相シフタ８０に導入してもよい。この位相制御には、例えば、位相シフタ８０に至るまでの光導波路の長さを調整することによるパッシブな位相制御構造を用いることができる。あるいは、位相シフタ８０と同様の機能を有する電気信号で制御可能な位相シフタを用いても良い。このような方法により、例えば、全ての位相シフタ８０に等位相の光が供給されるように、位相シフタ８０に導入される前に位相を調整してもよい。そのような調整により、第２駆動回路１２０による各位相シフタ８０の制御をシンプルにすることができる。

上記の発光デバイスの動作原理、および動作方法などの詳細は、特許文献７に開示されている。特許文献７の開示内容全体を本明細書に援用する。

本実施形態における光源１００は、各々が異なる方向に光を出射する複数の導波路アレイを組み合わせることによって実現され得る。以下、そのような光源１００の構成例を説明する。

図１２は、光源１００の一例を示す図である。この例における光源１００は、光導波路アレイ１０Ａと、光導波路アレイ１０Ａに接続された位相シフタアレイ８０Ａとを備える。光導波路アレイ１０Ａは、Ｙ方向に並ぶ複数の光導波路群１０ｇを含む。各光導波路群１０ｇは、１つ以上の光導波路素子１０を含む。位相シフタアレイ８０Ａは、Ｙ方向に並ぶ複数の位相シフタ群８０ｇを含む。各位相シフタ群８０ｇは、１つ以上の位相シフタ８０を含む。この例において、位相シフタ群８０ｇのまとまりは、光導波路群１０ｇのまとまりとは異なっている。より具体的には、１つの光導波路群１０ｇに、２つの位相シフタ群８０ｇが接続されている。

各位相シフタ８０の位相シフト量は、制御回路３００によって個別に制御される。各位相シフタ８０の位相シフト量は、その配列の順序に応じた第１の位相シフト量（Δφの整数倍）と、位相シフタ群８０ｇごとに異なる第２の位相シフト量（Ｖａ、Ｖｂ、Ｖｃ、Ｖｄのいずれか）との和になるように制御される。第２の位相シフト量を位相シフタ群８０ｇごとに変化させることにより、光ビームの出射方向のＹ成分、およびスポットサイズのＹ方向の広がり角が制御される。

一方、制御回路３００は、光導波路群１０ｇごとに、印加される電圧の値を個別に決定する。各光導波路群１０ｇへの印加電圧の制御により、光ビームの出射方向のＸ成分が制御される。位相シフタ群８０ｇと光導波路群１０ｇとの組み合わせに依存して、光の出射方向が決定される。図１２の例では、１つの位相シフタ群８０ｇに接続された隣り合う２つの光導波路群１０ｓから同一の方向に光が出射する。１つの光導波路群１０ｇから出射される光の放射束を１つの光ビームとすると、図１２の例では、２本の光ビームを同時に出射することができる。光導波路素子１０および位相シフタ８０の数を増やせば、さらにビーム本数を増やすことができる。

図１３は、光源１００の他の構成例を示す図である。この例における光源１００は、各々が異なる方向に光ビームを出射する複数の発光デバイス７００を備える。この例では、１つのチップ上に複数の位相シフタ８０および複数の光導波路素子１０が実装される。制御回路３００は、各発光デバイス７００における各位相シフタ８０および各光導波路素子１０への印加電圧を制御する。これにより、制御回路３００は、各発光デバイス７００から出射する光ビームの方向を制御する。この例では、光源１００は３つの発光デバイス７００を備えるが、さらに多数の発光デバイス７００を備えていてもよい。近距離用ビームおよび遠距離用ビームの各々は、複数の発光デバイス７００から出射する光ビームの集合によって構成され得る。

図１４は、光源１００のさらに他の構成例を示す図である。この例における光源１００は、各々が異なるチップに実装された複数の発光デバイス７００を備える。複数の発光デバイス７００は、異なる方向に光ビームを出射する。各発光デバイス７００は、複数の位相シフタ８０および複数の光導波路素子１０に印加する電圧を決定する制御回路３００ａを備える。各発光デバイス７００における制御回路３００ａは、外部の制御回路３００によって制御される。この例でも、光源１００は３つの発光デバイス７００を備えるが、さらに多数の発光デバイス７００を備えていてもよい。近距離用ビームおよび遠距離用ビームの各々は、複数の発光デバイス７００から出射する光ビームの集合によって構成され得る。

［１−１−３ イメージセンサ２００の構成］
次に、図３に示すイメージセンサ２００の構成を説明する。

イメージセンサ２００は、受光面に２次元的に配列された複数の受光素子を備える。イメージセンサ２００は、例えばＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ、または赤外線アレイセンサであり得る。受光素子は、例えばフォトダイオードなどの光電変換素子と、１つ以上の電荷蓄積部とを含む。光電変換によって生じた電荷が、露光期間の間、電荷蓄積部に蓄積される。電荷蓄積部に蓄積された電荷は、露光期間終了後、出力される。

このようにして、各受光素子は、露光期間の間に受けた光の量に応じた電気信号を出力する。この電気信号を「受光データ」と称する。イメージセンサ２００は、モノクロタイプの撮像素子であってもよいし、カラータイプの撮像素子であってもよい。例えば、Ｒ／Ｇ／Ｂ、Ｒ／Ｇ／Ｂ／ＩＲ、またはＲ／Ｇ／Ｂ／Ｗのフィルタを有するカラータイプの撮像素子を用いてもよい。イメージセンサ２００は、可視の波長範囲に限らず、例えば紫外、近赤外、中赤外、遠赤外などの波長範囲に検出感度を有していてもよい。イメージセンサ２００は、ＳＰＡＤ（Ｓｉｎｇｌｅ Ｐｈｏｔｏｎ Ａｖａｌａｎｃｈｅ Ｄｉｏｄｅ）を利用したセンサであってもよい。イメージセンサ２００は、全画素の信号を一括で露光することが可能な電子シャッタ、すなわちグローバルシャッタの機構を備え得る。

なお、本実施形態ではイメージセンサ２００が用いられるが、イメージセンサ２００とは異なる受光装置を用いてもよい。例えば、一次元的に配列された複数の受光素子を備えた受光装置を用いてもよい。

［１−１−４ 信号処理回路４００の構成］
信号処理回路４００は、イメージセンサ２００から出力された信号を処理するＣＰＵおよび／またはＧＰＵなどの１つ以上のプロセッサを含み得る。図３に示す信号処理回路４００は、距離推定部４１０と、画像生成部４３０とを備える。距離推定部４１０は、イメージセンサ２００から出力された信号に基づいて、各画素における距離を計算または推定する。画像生成部４３０は、各画素の距離情報に基づいて、距離画像を生成する。距離推定部４１０および画像生成部４３０の機能は、例えば信号処理回路４００のプロセッサがコンピュータプログラムを実行することによって実現され得る。その場合、当該プロセッサが、距離推定部４１０および画像生成部４３０として機能する。これらの各機能部は、専用のハードウェアによって実現されていてもよい。

［１−２ 距離情報取得装置の動作］
実施形態１に係る距離情報取得装置の動作を説明する。図１５は、実施形態１に係る距離情報取得装置の動作の概要を示すフローチャートである。距離情報取得装置は、図１５に示すステップＳ１１００からＳ１４００の動作を実行する。以下、各ステップの動作を説明する。

＜ステップＳ１１００＞
まず、制御回路３００は、光源１００による近距離用ビームおよび遠距離用ビームのそれぞれの投光のタイミングと、イメージセンサ２００の露光のタイミングとを決定する。投光と露光のタイミングの詳細については後述する。

＜ステップＳ１２００＞
次に、制御回路３００は、決定した投光タイミングに従って、光源１００に、投光を指示する制御信号を送信する。さらに、決定した露光タイミングに従って、イメージセンサ２００に、露光の開始および終了を指示する制御信号を送信する。これにより、光源１００から複数の遠距離用ビームおよび複数の近距離用ビームが出射され、イメージセンサ２００の各受光素子に電荷が蓄積される。本実施形態では、前述のように、２回の露光期間が設定される。イメージセンサ２００は、それぞれの露光期間で各受光素子に蓄積された電荷量に応じた受光データを出力する。

＜ステップＳ１３００＞
次に、信号処理回路４００は、ステップＳ１２００で出力された受光データと、制御回路３００の記憶媒体３１０に格納された重み情報３１３とを取得する。信号処理回路４００は、取得した受光データおよび重み情報３１３に基づいて、全画素における距離情報を推定する。第１の露光期間と第２の露光期間のそれぞれの受光データから全画素の距離情報を求めるために、信号処理回路４００は、圧縮センシングに基づく復元処理を実行する。この処理は、図３に示す距離推定部４１０によって実行される。

＜ステップＳ１４００＞
信号処理回路４００は、ステップＳ１３００で計算した各画素における距離の値を、例えば色彩のスケールに置き換えて、距離画像を生成する。なお、距離画像は、色彩のスケールに限らず、グレースケールその他の表現方法で２次元的な距離を表現してもよい。距離画像の生成は、図３に示す画像生成部４３０によって実行される。信号処理回路４００は、距離画像を生成することなく、１つ以上の物体の距離を示すデータを生成して出力してもよい。

［１−２−１ 投光／受光タイミング］
次に、本実施形態における各光ビームの投光および露光のタイミングの例を説明する。

図１６は、本実施形態における各光ビームの投光および露光のタイミングの例を示す模式図である。図１６の（ａ）は、遠距離ビームの投光のタイミングを示している。図１６の（ｂ）は、近距離用ビームの投光のタイミングを示している。図１６の（ｃ）は、第１の露光期間を示している。図１６の（ｄ）は、第２の露光期間を示している。

第１の露光期間は、近距離用ビームの投光が終了すると同時に開始し、各ビームのパルス幅と同一の時間が経過すると終了する。第２の露光期間は、第１の露光期間が終了すると開始し、第１の露光期間と同一の時間が経過すると終了する。

図１６の（ｅ）における実線のパルスは、遠距離用ビームが遠方（例えば装置から１００ｍから２００ｍの範囲）に存在する物体で反射された場合の反射光が装置に戻ってくるタイミングを示している。図１６の（ｅ）における点線のパルスは、遠距離用ビームが近距離（例えば装置から１００ｍ未満の範囲）に存在する物体で反射された場合の反射光が装置に戻ってくるタイミングを示している。図１６の（ｆ）は、近距離用ビームが近距離（例えば装置から１００ｍ未満の範囲）にある物体で反射されて装置に戻ってくるタイミングを示している。

遠距離用ビームの投光は近距離用ビームの投光に先行する。遠方で反射された遠距離用ビームと近くで反射された近距離用ビームの両方が、少なくとも一方の露光期間で受光されるように各露光期間が設定される。

図１６の（ｅ）において点線で示されたパルスは、近距離にある物体で反射して戻ってきた遠距離用ビームの反射光を示している。この反射光は、すべての露光期間の外側のタイミングで装置に戻ってくる。このため、イメージセンサ２００は、このような光を検出しない。イメージセンサ２００は、例えば１００ｍ未満にある物体によって反射された遠距離用の光ビームを検出しない。一方、近距離用の光ビームについては、遠距離用の光ビームよりも照射面における単位面積あたりのエネルギーが小さいため、遠距離用の光ビームよりも到達距離が短い。よって、装置から例えば１００ｍ以上離れた物体で近距離用の光ビームが反射された場合には、強度の減衰により、検出することができなくなる。このため、近距離用の光ビームが、次回以降の投光に対する露光期間で検出されることはない。なお、近距離用の光ビームと遠距離用の光ビームの到達距離が同一であってもよい。その場合でも、次回の投光までの時間間隔を十分に空けることにより、遠距離物体で反射された近距離用の光ビームが次回以降の露光期間に検出されることを回避できる。

図１６に示す例では、第１の露光期間が終了すると直ちに第２の露光期間が開始する。イメージセンサ２００は各画素につき２つの電荷蓄積部を備えており、電荷を蓄積する電荷蓄積部を露光期間毎に切替えることができる。この例では、第１の露光期間および第２の露光期間が終了したのち、各電荷蓄積部に蓄積された電荷を出力する期間が設けられ得る。

これに対し、イメージセンサ２００が各画素に１つの電荷蓄積部を備える場合は、各露光期間の終了後に、蓄積された電荷を出力する期間が設けられる。そのような場合には、図１７に示すように遠距離用ビームおよび近距離用ビームの１回の投光については露光を１回のみ行い、次回の投光時に、前回と異なるタイミングで露光してもよい。

図１７は、露光期間の後に電荷出力のための期間が設けられる場合の投光および露光のタイミングの例を示す図である。この例では、遠距離用ビームおよび近距離用ビームの投光が行われた後、第１の露光期間において、イメージセンサ２００は、各ビームの反射光による電荷を蓄積し、出力する。続いて、所定の時間が経過した後、前回と同一の条件で遠距離用ビームおよび近距離用ビームの投光が行われる。この２回目の近距離用ビームの投光が終了してから、第１の露光期間に相当する時間が経過すると、第２の露光期間が開始される。第２の露光期間において、イメージセンサ２００は、各ビームの反射光による電荷を蓄積し、出力する。このように、図１７の例では、イメージセンサ２００は、露光が終了する度に電荷出力を行う。このため、光源１００は、同一の条件の遠距離用ビームと近距離用ビームの組み合わせで投光を連続して複数回行う。イメージセンサ２００は、投光ごとに、異なるタイミングで露光する。これにより、各露光期間で蓄積された電荷による電圧を取得することができる。

なお、露光期間は２つに限らず、連続する３つ以上の露光期間を設けてもよい。また、投光および露光のタイミングは、上記のタイミングとは異なっていてもよい。投光と受光のタイミングは、各光ビームの距離範囲の設定などの種々の条件に応じて調整され得る。

図１７の例のように、遠距離用ビームおよび近距離用ビームの投光のたびに露光を１回だけ行う場合においても、イメージセンサ２００が各画素に２つの電荷蓄積部を備え、露光期間ごとに蓄積される電荷蓄積部を切替えてもよい。この場合、イメージセンサ２００は、複数回投光と露光を繰り返したのちに、各電荷蓄積部に蓄積された電荷を出力してもよい。

［１−２−２ 投光／露光による電荷計測の動作］
次に、ステップＳ１２００における電荷計測の動作の詳細を説明する。

図１８は、図１７に示す例における電荷計測の動作を示すフローチャートである。距離情報取得装置は、図１８に示すステップＳ１２０１からＳ１２１２の動作を実行する。以下、各ステップの動作を説明する。

＜ステップＳ１２０１＞
制御回路３００は、ステップＳ１１００で決定された全ての露光期間での電荷計測が終了したか否かを判断する。全ての露光期間での電荷計測が終了している場合、ステップＳ１３００に進む。全ての露光期間の電荷計測が終了していない場合、ステップＳ１２０２に進む。

＜ステップＳ１２０２＞
制御回路３００は、投光と露光とを制御するために時間の計時を開始する。

＜ステップＳ１２０３＞
制御回路３００は、ステップＳ１１００で決定された遠距離用ビームの投光タイミングで、投光制御信号を光源１００に出力する。投光制御信号は、遠距離ビーム情報３１１が示すビーム形状、広がり角、および光ビームの方向の情報と、ステップＳ１１００で決定された投光のパルス時間長の情報とを含む。

＜ステップＳ１２０４＞
光源１００は、ステップＳ１２０３で出力された投光制御信号に従って、遠距離用ビームを生成して投光する。

＜ステップＳ１２０５＞
制御回路３００は、ステップＳ１１００で決定された近距離用ビームの投光タイミングになると、投光制御信号を光源１００に出力する。この投光制御信号は、近距離ビーム情報３１２が示すビーム形状、広がり角、および光ビームの方向の情報と、ステップＳ１１００で決定された投光のパルス時間長の情報とを含む。

＜ステップＳ１２０６＞
光源１００は、ステップＳ１２０３で出力された投光制御信号に従って、近距離用ビームを生成して投光する。

＜ステップＳ１２０７＞
制御回路３００は、ステップＳ１１００で決定された複数の露光期間のうち、まだ露光を行っていない１つの露光期間を選択する。制御回路３００は、選択した露光期間の開始のタイミングでイメージセンサ２００に露光開始信号を出力する。

＜ステップＳ１２０８＞
イメージセンサ２００は、ステップＳ１２０７で出力された露光開始信号に従って露光を開始する。

＜ステップＳ１２０９＞
制御回路３００は、ステップＳ１２０７で選択した露光期間の終了のタイミングでイメージセンサ２００に露光終了信号を出力する。

＜ステップＳ１２１０＞
イメージセンサ２００は、ステップＳ１２０９で出力された露光終了信号に従って露光を終了する。

＜ステップＳ１２１１＞
イメージセンサ２００は、露光開始から露光終了までの期間に各画素に蓄積した電荷の量に応じた受光データを出力する。

＜ステップＳ１２１２＞
制御回路３００は、計時を終了する。ステップＳ１２１２の後、ステップＳ１２０１に戻る。

ステップＳ１２０１からステップＳ１２１２の一連の動作により、光源１００による投光とイメージセンサ２００による露光が行われる。露光期間ごとにイメージセンサ２００の画素ごとに蓄積された電荷の量に応じた受光データが出力される。

［１−２−３ 全画素の距離情報復元処理］
次に、図１５におけるステップＳ１３００の動作の詳細を説明する。ステップＳ１３００では、信号処理回路４００が、重み情報を用いて、ステップＳ１２００で露光期間ごとに取得した受光データから、各画素の距離を推定する。

前述の式６を、ベクトルＹと行列Ｗが既知という条件で、ベクトルＸについて解くことにより、画素ごとの距離の値を得ることができる。しかしながら、この式では、ベクトルＹの要素数よりもベクトルＸの要素数の方が多いため、一意に解を求めることができない。そこで、拘束条件を導入し、式６を以下のように変形する。

ここで、行列Ｍは、以下の式１４で表されるＬ×（Ｌ×Ｎ）行列である。

すなわち、ベクトルＭＸは、画素ごとの距離を示す要素数Ｌのベクトルである。

式１３において、第１項は、式６を２乗誤差に緩和したものである。第２項は、ベクトルＸのＬ１ノルムを示しており、ベクトルＸの要素の多くが０になるための拘束項である。第３項におけるＴＶ（ＭＸ）は、距離画像を表すＭＸにおける近傍の画素との輝度変化の絶対値和であるtotal variationである。αおよびβは、重み係数を示している。total variationの詳細は、例えば、Rudin L. I., Osher S. J., and Fatemi E., "Nonlinear total variation based noise removal algorithms", Physica D, vol. 60, pp. 259-268, 1992.に開示されている。この文献の開示内容の全体を本明細書に援用する。

式１３は、括弧内の値が最小になるベクトルＸを求める演算を示している。式１３は、例えば、ＡＤＭＭ（Alternating Direction Method of Multipliers)を利用することで解くことができる。ＡＤＭＭの詳細は、例えばD. Gabay and B. Mercier, “A dual algorithm for the solution of nonlinear variational problems via finite-element approximations”, Computers & Mathematics with Applications, vol. 2, pp. 17-40, 1976.に開示されている。この文献の開示内容の全体を本明細書に援用する。

［１−３．効果］
上述したように、本実施形態における距離情報取得装置は、光源１００と、イメージセンサ２００と、制御回路３００と、信号処理回路４００とを備える。光源１００は、同時に複数の光ビームを異なる方向に出射することが可能な構成を備える。イメージセンサ２００は、複数の受光素子を有し、指示された露光期間において各受光素子が受けた光の量に応じた受光データを出力する。制御回路３００は、光源１００に、複数の遠距離用ビームを含み、第１の空間分布を有する第１の光をシーンに向けて出射させる。その後、制御回路３００は、光源１００に、複数の近距離用ビームを含み、第２の空間分布を有する第２の光をシーンに向けて出射させる。

ここで第２の空間分布は、第１の空間分布とは異なる。また、光源から所定の距離の照射面における各近距離用ビームの単位面積あたりのエネルギーは、当該照射面における各遠距離用ビームの単位面積あたりのエネルギーよりも低い。制御回路３００は、イメージセンサ２００の複数の受光素子に、第１の光によって生じたシーンからの第１の反射光と、第２の光によって生じたシーンからの第２の反射光とを、同一の露光期間において検出させる。信号処理回路４００は、イメージセンサ２００から出力された受光データに基づいて、第１の反射光および第２の反射光に由来する距離データを生成して出力する。

特に、本実施形態における信号処理回路４００は、光ビームの投光パターンに伴う受光パターンの重み情報を用いた圧縮センシングの手法を用いて、距離データを生成する。距離データは、第１の反射光も第２の反射光も受光しない受光素子に対応する１つ以上の画素についての推定された距離情報を含む。

以上の構成により、疎な光ビームから全画素での距離情報を得ることができる。複数の光ビームは、シーンの全体をカバーする必要がない。このため、出射光のエネルギーを低減することができる。さらに、圧縮センシングを用いることで、線形補完を行う際に見られる引き延ばしまたはボケのような画質劣化が低減し、より自然な距離情報が得られる。さらに、遠距離用の光ビームの投光のタイミングと近距離用の光ビームの投光のタイミングとを調整し、それらの反射光を同時に受光することで、遠距離の範囲での測距と近距離の範囲での測距とを同時に行うことができる。遠距離の測距と近距離の測距とを別々に行う場合に比べて測距の時間を短縮することができる。これにより、広い距離範囲を測距する場合でも、測距時間を短縮することができる。距離画像を動画として生成する際には、より高いフレームレートで滑らかな距離動画を生成することができる。また、フレームレートを高くすることにより、時間方向の情報を用いて高精度の距離画像を生成することも可能になる。

実施形態１では、圧縮センシングを用いた復元処理の方法として、式６を定義し、式１３を用いた計算が行われる。しかし、式６におけるＸ、Ｙ、Ｗの定義は前述の定義に限らず、他の定義を用いてもよい。また、式６のＸを求める方法として、式１３を設定したが、式１３を用いた方法に限らず、他の方法を用いてＸを求めてもよい。

（実施形態１の変形例）
次に、本開示の例示的な実施形態１の変形例を説明する。

実施形態１では、距離情報取得装置から物体までの距離を測定する方法として、光の到達距離が異なる２種類の光ビーム、すなわち、近距離用ビームと遠距離用ビームとが用いられる。これに対し、本変形例では、光の到達距離が等しく、イメージセンサ２００の受光面に平行な平面上での分布が異なる２組の光ビームが用いられる。各組の光ビームは、複数の光ビームを含み得る。

以下、実施形態１と異なる点を中心に説明する。

図１９は、本変形例に係る距離情報取得装置の構成の一例を示すブロック図である。図１９は、図３に示す遠距離用ビーム情報３１１が第１の光ビーム情報３１５に置き換わり、近距離用ビーム情報３１２が第２の光ビーム情報３１６に置き換わった点以外は、図３と同じである。

本変形例における光源１００は、到達距離の等しい複数の光ビームを２つの異なる空間パターンで出射する。いずれの空間パターンも、複数の光ビームのランダムな方向への出射によって実現される。各光ビームの到達距離は、例えば０ｍから２００ｍであり得る。すなわち、本変形例における第１の光ビームおよび第２の光ビームの各々の到達距離は、前述の実施形態１における遠距離用ビームの到達距離に相当する。各光ビームの到達距離は、上記の範囲に限定されず、用途に応じて適切な値に設定され得る。

本変形例においても、制御回路３００は、光源１００による光ビームの投光のタイミングと、イメージセンサ２００の露光のタイミングとを決定し、決定したタイミングに従って、投光制御信号と、露光制御信号とを出力する。投光制御信号は、予め記憶媒体３１０に格納された第１の光ビーム情報３１５および第２の光ビーム情報３１６に従って生成される。第１の光ビーム情報３１５は、第１の光ビームの出射方向およびビーム形状に関する情報を含み得る。第２の光ビーム情報３１６は、第２の光ビームの出射方向およびビーム形状に関する情報を含み得る。

図２０Ａは、第１の光ビーム情報３１５の一例を示す図である。図２０Ｂは、第２の光ビーム情報３１６の一例を示す図である。この例では、複数の第１の光ビームと、複数の第２の光ビームとの間で、ビーム形状、広がり角、および距離レンジは同一であるが、光ビームの出射方向の組み合わせが異なる。このような例に限定されず、例えば、複数の第１の光ビームと、複数の第２の光ビームとの間で、ビーム形状および／または広がり角が異なるようにしてもよい。

複数の第１の光ビームおよび複数の第２の光ビームの方向はランダムに決定されている。複数の第１の光ビームの空間分布と複数の第２の光ビームの空間分布は異なる。第１の光ビームの数および第２の光ビームの数のいずれについても、測距対象のシーン全体を網羅する光ビームの数よりも少ない。

本変形例においても、実施形態１と同様、相対的に遠い第１の距離レンジにある物体によって第１の光ビームが反射されてイメージセンサ２００に到達する期間と、相対的に近い第２の距離レンジにある物体によって第２の光ビームが反射されてイメージセンサ２００に到達する期間とが、少なくとも部分的に重なる。そのような条件が満たされるように、各光ビームの出射のタイミングおよび露光のタイミングが調整される。第１の距離レンジは、例えば１００ｍから２００ｍの範囲に設定され、第２の距離レンジは、例えば０ｍから１００ｍの範囲に設定され得る。第１の距離レンジ以外の距離にある物体によって反射された第１の光ビーム、および第２の距離レンジ以外の距離にある物体によって反射された第２の光ビームは、イメージセンサ２００によって検出されないようにイメージセンサ２００の露光時間が調整される。すなわち、第１の光ビームの反射光および第２の光ビームの反射光の両方が照射される方向に物体が存在していたとしても、イメージセンサ２００によって検出されるのは、それらのビームの一方のみである。

画素ピッチが十分に小さく、物体の輪郭線によって当該物体の内側と外側とに分割される画素がない場合、イメージセンサ２００の受光面には、第１の光ビームと第２の光ビームの両方を受光する画素はない。この場合、第１の光ビームも第２の光ビームも受光しない画素、第１の光ビームのみ受光する画素、第２の光ビームのみ受光する画素の３種類のみが生じ得る。ただし、物体の輪郭線によって当該物体の内側と外側とに分割される画素がある場合、そのような画素は、第１の光ビームおよび第２の光ビームの両方を受光し得る。その場合には、第１の光ビームも第２の光ビームも受光しない画素、第１の光ビームのみ受光する画素、第１の光ビームのみ受光する画素、第１の光ビームおよび第２の光ビームの両方を受光する画素の４種類が生じ得る。これらの画素の状態は、上記の式２から式５にそれぞれ対応する。

図２１は、本変形例における各光ビームの投光および露光のタイミングの例を示す模式図である。図２１の（ａ）は、第１の光ビームの投光のタイミングを示している。左側のパルスはｋ回目の投光を示し、右側のパルスはｋ＋１回目の投光を示す。図２１の（ｂ）は、第２の光ビームの投光のタイミングを示している。図２１の（ｃ）は、第１の露光期間を示している。図２１の（ｄ）は、第２の露光期間を示している。

第１の露光期間は、第２の光ビームの投光が終了すると同時に開始し、各ビームのパルス幅と同一の時間が経過すると終了する。第２の露光期間は、第１の露光期間が終了すると開始し、第１の露光期間と同一の時間が経過すると終了する。

図２１の（ｅ）における実線のパルスは、第１の光ビームが遠方（例えば装置から１００ｍから２００ｍの範囲）に存在する物体で反射された場合の反射光が装置に戻ってくるタイミングを示している。図２１の（ｅ）における点線のパルスは、第１の光ビームが近距離（例えば装置から１００ｍ未満の範囲）に存在する物体で反射された場合の反射光が装置に戻ってくるタイミングを示している。図２１の（ｆ）における実線のパルスは、第２の光ビームが近距離（例えば装置から１００ｍ未満の範囲）にある物体で反射されて装置に戻ってくるタイミングを示している。図２１の（ｆ）における点線のパルスは、第２の光ビームが遠方に存在する物体で反射された場合の反射光が装置に戻ってくるタイミングを示している。

第１の光ビームの投光は第２の光ビームの投光に先行する。遠方で反射された第１の光ビームと近くで反射された第２の光ビームの両方が、少なくとも一方の露光期間で受光されるように各露光期間が設定される。

図２１の（ｅ）において点線で示された近距離からの第１の光ビームの反射光は、すべての露光期間の外側で装置に戻ってくる。このため、イメージセンサ２００は、このような光を検出しない。イメージセンサ２００は、例えば１００ｍ未満にある物体によって反射された第１の光ビームを検出しない。すなわち、イメージセンサ２００は、例えば１００ｍ未満にある物体によって反射された第１の光ビームが装置に到達する時間区間では露光を行わない。

図２１の（ｆ）において点線で示された遠距離からの第２の光ビームの反射光も、すべての露光期間の外側で装置に戻ってくる。このため、イメージセンサ２００は、このような光を検出しない。イメージセンサ２００は、例えば装置から１００ｍ以上の距離にある物体によって反射された第２の光ビームを検出しない。さらに、図２１の（ａ）の右側に示すｋ＋１回目のパルスのタイミングは、左側に示すｋ回目のパルスのタイミングから十分に時間間隔を空けて設定される。この時間間隔は、ｋ回目の第２の光ビームを投光してから、当該第２の光ビームが遠方にある物体で反射されて戻ってくるまでの時間よりも長い時間に設定され得る。このようにすることにより、遠距離の物体で反射された第２の光ビームが次回以降の露光期間に検出されることを回避できる。より具体的には、第２の光ビームを投光してから、当該第２の光ビームの反射光が装置に到達するまでの時間のうち、最長の時間が経過した後に、次の投光に対する最初の露光期間が開始するように、次回の投光までの時間が設定され得る。

本変形例では、到達距離が同一である２種類の光ビームを用いて、複数の距離レンジの測距を、投光と露光のタイミングの制御により実現する。このようにすることで、実施形態１における到達距離の異なる２種類の光ビームを用いた場合と同様の効果を得ることができる。本変形例における制御回路３００の動作、および信号処理回路４００による各画素での距離の推定方法については実施形態１と同様である。ただし、式９に示す重み行列Ｗの各要素ｗの値は、第１の光ビーム情報３１５および第２の光ビーム情報３１６の内容に応じて調整される。

なお、本変形例では２つの距離レンジを第１の光ビームと第２の光ビームに割り当てたが、３つ以上の距離レンジを３種類以上の光ビームに割り当ててもよい。その場合、当該３種類以上の光ビームの、受光面に平行な平面での配置がいずれも異なるように、各光ビームの投光条件が設定され得る。

実施形態１とその変形例では、空間分布の異なる光ビームを順次照射したが、２次元の空間分布が全く同一あるいは３次元の空間分布が全く同一の光ビームを順次照射してもよい。空間分布が同一の場合、図３および図１９に示す重み情報３１３は、各画素の状態として、第１の光ビームと第２の光ビームの両方が照射される画素とどちらの光も照射されない画素の２種類の情報のみを含む。距離推定部４１０は、各画素について２種類の状態のいずれであるかを規定する重み情報３１３に基づいて、全画素の距離を推定する計算を行う。シーンの状況および画素の位置によっては、遠近の２つの距離レンジのいずれを選択すべきかについての情報が不足する場合がある。そこで、たとえば「より近距離の候補を優先する」というような拘束条件を加えることにより、距離の推定を行ってもよい。

（実施形態２）
次に、本開示の例示的な実施形態２を説明する。

実施形態１では、距離情報取得装置から物体までの距離を測定する方法として、間接ＴｏＦ法が用いられる。これに対し、実施形態２では、直接ＴｏＦ法が用いられる。以下、実施形態１と異なる点を中心に説明する。

図１９は、実施形態２における距離情報取得装置の構成を示す図である。本実施形態では、図３に示す露光制御信号出力部３２８が設けられておらず、イメージセンサ２００がタイマーカウンタ２０３を備えている。それ以外の構成は、実施形態１の構成と同様である。

本実施形態におけるイメージセンサ２００は、タイマーカウンタ２０３を伴う複数の受光素子２０２が２次元的に配置された構成を備える。光源１００は、近距離用ビームの投光の開始と同時に投光信号をイメージセンサ２００に出力する。

直接ＴｏＦによる測距では、投光の開始から反射光の受光までの時間が直接計測される。受光素子２０２ごとにタイマーカウンタ２０３が設けられる。タイマーカウンタ２０３は、光源１００から投光信号が出力されてから受光素子２０２が反射光を受光するまでの時間を計測する。タイマーカウンタ２０３は、計時開始後、すなわち投光信号入力後、最初の反射光の受光までの時間を計測する。このため、遠距離用ビームの反射光と近距離用ビームの反射光とが相次いで受光素子２０２に到達した場合には、先に到着した反射光までの時間が計測される。

本実施形態における重み情報を説明する。実施形態１と同様、重み情報３１３は、近距離用ビームと遠距離用ビームの投光パターンに基づく重み行列である。

本実施形態における重み行列Ｗは、行数がイメージセンサ２００の画素数Ｌであり、列数が画素数Ｌと距離の解析数Ｎとを掛けた値である。

イメージセンサ２００の画素ｉ（ｉ＝１，２，・・・，Ｌ）の距離ベクトルをｘ_ｉとする。ｘ_ｉは、要素数Ｎのベクトルであり、画素ｉに位置する物体の距離の範囲を表す。例えば、ｘ_ｉ＝［１，０，０，０，…，０］^Ｔは１６．７メートル未満、ｘ_ｉ＝［０，１，０，０，…，０］^Ｔは１６．７メートル以上３３．３メートル未満、ｘ_ｉ＝［０，０，０，０，…，１］^Ｔは（Ｎ−１）×１６．７メートル以上Ｎ×１６．７メートル未満を示す。

近距離用ビームのみ、または、遠距離用ビームのみが照射される画素については、以下の式１５が成立する。

ただし、ｗ_１は、観測値に対応する要素のみ１、それ以外の要素は０のＮ次元ベクトルである。

近距離用ビームと遠距離用ビームとが同時に照射される画素については、以下の式１６が成立する。

ただし、ｗ_２は、近距離用ビームと遠距離用ビームそれぞれの観測値に対応する要素のみ１、それ以外の要素は０のＮ次元ベクトルである。

いずれのビームも照射されていない画素については、以下の式１７が成立する。

ただし、ｗ_０は、すべての要素が０のＮ次元ベクトルである。

式１５から式１７をまとめると、以下の式１８のように表現できる。
Ｙ＝ＷＸ （１８）

ここで、画素数をＬとして、Ｙは以下の式１９で表され、Ｘは以下の式２０で表される。

ただし、Ｙは、画素ごとにＴｏＦの値が計測されたか否かを示すベクトルであり、各要素の値が０または１のみのＬ次元ベクトルである。Ｘは、前述の要素数Ｎ個のｘ_ｉがＬ個並べられたベクトルであり、要素数はＬ×Ｎである。Ｘは、画素ごとの距離を表す。より具体的には、Ｘは、各画素に対応する位置にある物体が、測距範囲を解析数で分割した場合の何番目の距離レンジにあるかを示す。画素ごとに、分割された複数の距離レンジの各々を示す要素に、０または１の値を持つことにより、距離が表現される。ｘ_ｉは、Ｎ個の要素中１つだけが１であり、他の要素が０のベクトルである。

Ｗは、行数がＬで列数がＬ×Ｎの行列である。上述のｙ_ｉ，ｘ_ｉの定義より、行列Ｗは、以下の式２１で表される。

ここで、式（２１）における行列Ｗの各要素ｗは、式１５から式１７における行列ｗ_１、ｗ_２、ｗ_０のいずれかを表す。各ｗがｗ_１、ｗ_２、ｗ_０のいずれに該当するかは、例えば予めキャリブレーションを行うことによって決定され得る。

次に、実施形態２の距離情報取得装置の動作を説明する。図２３は、本実施形態の距離情報取得装置の動作の一例を示すフローチャートである。図２３は、図１５に示すステップＳ１２００がステップＳ２２００に置き換わり、ステップＳ１３００がステップＳ２３００に置き換わった点を除けば、図１５と同様である。以下、各ステップの動作を説明する。

＜ステップＳ１１００＞
まず、制御回路３００は、光源１００による近距離用ビームと遠距離用ビームのそれぞれの投光のタイミングと、イメージセンサ２００の露光のタイミングとを決定する。

＜ステップＳ２２００＞
次に、制御回路３００は、決定した投光タイミングに従って、光源１００に、遠距離用ビームおよび近距離用ビームの投光を指示する投光制御信号を送信する。光源１００は、近距離用ビームの投光と同時にイメージセンサ２００に投光信号を出力する。イメージセンサ２００は、投光信号に従って、タイマーカウンタ２０３により反射光の受光までの時間を計測する。ステップＳ２２００の動作の詳細は、投光と露光のタイミングの詳細とあわせて後述する。

＜ステップＳ２３００＞
信号処理回路４００は、ステップＳ２２００で計測された時間と、制御回路３００の記憶媒体３１０に格納された重み情報３１３とを取得する。取得した時間情報と重み情報とに基づいて、全画素における物体までの距離を推定する。時間情報は、圧縮センシングを用いた復元処理によって生成される。

＜ステップＳ１４００＞
信号処理回路４００の画像生成部４３０は、ステップＳ２３００で計算された各画素での距離の値を、例えば色彩のスケールに置き換えて、距離画像を生成する。なお、距離画像は、色彩のスケールに限らず、グレースケールその他の表現方法で２次元的な距離を表現してもよい。本実施形態においても、信号処理回路４００は、距離画像を生成することなく、１つ以上の物体の距離を示すデータを生成して出力してもよい。

［２−２−１ 投光／受光タイミング］
次に、本実施形態における各光ビームの投光および露光のタイミングを説明する。

図２４は、本実施形態の距離情報取得装置における各光ビームの投光および露光のタイミングの例を示す模式図である。図２４の（ａ）は、遠距離用ビームの投光タイミングを示している。図２４の（ｂ）は、近距離用ビームの投光タイミングを示している。図２４の（ｃ）は、遠距離用ビームの反射光がイメージセンサ２００に到達するタイミングの例を示している。図２４の（ｄ）および（ｆ）は、タイマーカウンタの動作タイミングの例を示している。図２４の（ｅ）は、近距離用ビームの反射光がイメージセンサ２００に到達するタイミングの例を示している。

遠距離用ビームの投光は近距離用ビームの投光に先行する。遠方で反射された遠距離用ビームと近くで反射された近距離用ビームのうち、いずれか先行してイメージセンサ２００に到達した方が受光されるように、露光タイミングすなわちタイマーカウンタ２０３の動作タイミングが設定される。

図２４の（ｃ）において点線で示されたパルスは、近距離（例えば１００ｍ未満）にある物体で反射された遠距離用の光ビームの反射光を示している。このような反射光は、タイマーカウンタ２０３の動作開始以前にイメージセンサ２００に到達するため、飛行時間が計測されない。図２４の（ｅ）に示す近距離にある物体で反射された近距離用ビームは、通常、図２４の（ｆ）に示すタイマーカウンタ２０３の動作によって飛行時間が計測される。しかし、近距離用ビームの反射光が到達する画素と同一の画素に、先行して遠距離用ビームが到達している場合には、図２４の（ｄ）に示すように、先行する遠距離用ビームの反射光によってタイマーカウンタ２０３が既に停止している。

この場合、近距離用ビームの反射光の飛行時間は計測されない。実施形態１と同様に、光源１００とイメージセンサ２００との距離は、測定される距離に対して無視できる程度に小さい。このため、光源１００から出射した光ビームは、より近い距離にある物体で反射されてイメージセンサ２００に到達する。しかしながら、物体の輪郭線の位置に対応する位置にある画素においては、遠距離用ビームと近距離用ビームとの両方が到達し得る。その場合には、より先行して到達した光ビームの受光タイミングが計測される。

図２４の（ｃ）および（ｅ）に示すように、近距離用ビームの投光と同時にタイマーカウンタの動作を開始することで、近距離用ビームの反射光がイメージセンサ２００に先行して到着する場合には、計測された時間は飛行時間そのものを指す。これに対し、遠距離用ビームが先行してイメージセンサ２００に到達した場合には、計測された時間は、飛行時間よりも短い時間となる。

［２−２−２ 投光／露光による時間計測の動作］
次に、図２３に示すステップＳ２２００における時間計測の動作の詳細を説明する。図２５は、図２４に示すタイミングでの光源１００の投光とイメージセンサ２００の露光による時間計測の動作を示すフローチャートである。図２５は、図１８に示す動作と同様の動作を含む。同様の動作については同一の番号を付して説明する。

＜ステップＳ１２０２＞
制御回路３００は、投光と露光とを制御するために時間の計時を開始する。計時は、計時部３２４によって行われる。

＜ステップＳ１２０３＞
制御回路３００は、ステップＳ１１００で決定された遠距離用ビームの投光タイミングで、投光制御信号を光源１００に出力する。投光制御信号は、遠距離ビーム情報３１１が示すビーム形状、広がり角、および光ビームの方向の情報と、ステップＳ１１００で決定された投光のパルス時間長の情報とを含む。

＜ステップＳ１２０４＞
光源１００は、ステップＳ１２０３で出力された投光制御信号に従って、遠距離用ビームを生成して投光する。

＜ステップＳ１２０５＞
制御回路３００は、ステップＳ１１００で決定された近距離用ビームの投光タイミングになると、投光制御信号を光源１００に出力する。この投光制御信号は、近距離ビーム情報３１２が示すビーム形状、広がり角、および光ビームの方向の情報と、ステップＳ１１００で決定された投光のパルス時間長の情報とを含む。

＜ステップＳ２２０６＞
光源１００は、ステップＳ１２０３で出力された投光制御信号に従って、近距離用ビームを生成して投光する。同時に、光源１００は、投光信号をイメージセンサ２００に出力する。

＜ステップＳ２２０７＞
イメージセンサ２００は、光源１００から出力された投光信号の入力に伴い、各画素のタイマーカウンタ２０３の動作を開始する。

＜ステップＳ２２０８＞
イメージセンサ２００は、制御回路３００の計時部３２４を参照し、ステップＳ１１００で決定された露光時間の最大値が経過したか否かを判定する。ステップＳ２２０８において、最大露光時間が経過している場合は、ステップＳ２２１２に進む。最大露光時間が経過していない場合は、ステップＳ２２０９に進む。

＜ステップＳ２２０９＞
イメージセンサ２００の各受光素子２０２は、タイマーカウンタ動作開始後に受光したか否かを判定する。受光した場合、ステップＳ２２１０に進む。受光していない場合、ステップＳ２２０８に戻る。

＜ステップＳ２２１０＞
イメージセンサ２００の各受光素子２０２は、タイマーカウンタを停止する。

＜ステップＳ２２１２＞
イメージセンサ２００は、制御回路３００における計時部３２４を参照し、露光終了タイミングになったことを確認すると、露光を終了する。タイマーカウンタを停止していない画素は値を０とし、タイマーカウンタを停止した画素は値をタイマーカウンタによって計測された時間に設定する。

ステップＳ２２０７からステップＳ２２１２の一連の動作をイメージセンサ２００の各受光素子で行うことにより、画素ごとに時間が計測される。

［２−２−３ 各画素の時間情報に基づく全画素の距離情報復元処理］
図２３に示すステップＳ２３００の動作の詳細を説明する。ステップＳ２３００では、信号処理回路４００は、ステップＳ２２００においてイメージセンサ２００の画素ごとに計測された時間を、値の有無によって２値化する。すなわち、受光までの時間が計測された場合は１、時間が計測されなかった場合は０の２値にする。信号処理回路４００は、重み情報３１３を用いて、各画素の距離を推定する。

前述の式１７を、ベクトルＹと行列Ｗが既知という条件で、ベクトルＸについて解くことにより、画素ごとの距離の値を生成することができる。しかしながら、この式では一意に解を求めることができない。そこで、拘束条件を導入し、式１７を以下のように変形する。

ここで、行列Ｍは、以下の式２２で表されるＬ×（Ｌ×Ｎ）行列である。

すなわち、ベクトルＭＸは、画素ごとの距離を示す要素数Ｌのベクトルである。

式２１において、第１項は、式１７を２乗誤差に緩和したものである。実施形態１と同様に、ベクトルＸについて解くことで、全画素の距離を得ることができる。計算方法として、例えばＡＤＭＭ等の公知の方法を利用することができる。

実施形態２において、観測値ｙ_ｉは反射光が受光されたか否かの２値にして計算するものとしたが、これは一例に過ぎない。観測値ｉとして、実際に観測された時間を別途保存して使用してもよい。その際には、ｘ_ｉの値が近距離の範囲内であれば、観測された時間情報より距離を計算し、遠距離の範囲内であれば観測された時間情報から計算された距離に、計測されていない時間分の距離を加算することで、ｘ_ｉの推定値より詳細な距離を取得することができる。さらに、上記の計算方法を採用する場合、Ｎ＝１２として説明したが、これは一例に過ぎない。上記の計算方法は、適宜変更してもよい。例えば、遠距離用ビームおよび近距離用ビームのうちの１つ以上の反射光の受光の可能性がある画素についてはＮ＝２、すなわち、測定距離範囲を近距離の範囲と遠距離の範囲の２つに分類してもよい。

さらに、いずれの反射光も受光しない画素についてはＮを３以上の複数の値に設定してもよい。計算されたｘ_ｉの値に応じて、近距離の範囲内であれば、観測された時間情報から距離を計算し、遠距離の範囲内であれば観測された時間情報から計算された距離に、計測されていない時間分の距離を加算することで、詳細な距離を取得することができる。また、近距離用ビームの反射光のみ受光する画素、および遠距離用ビームの反射光のみ受光する画素についてはＮ＝１とし、近距離用ビームおよび遠距離用ビームのいずれの反射光も受光する可能性がある画素についてのみ、Ｎ＝２としてもよい。

なお、実施形態２において、式２１を用いてＸについてＡＤＭＭ等のアルゴリズムを利用して解くものとしたが、このような方法に限定されない。例えば、グラフカット法を用いて、式１７をＸについて解いてもよい。すなわち、式１７の問題を、遠距離用ビームまたは近距離用ビームの二値セグメンテーション問題であると捉えて解いてもよい。例えば、遠距離用ビームまたは近距離用ビームのいずれかで確定している画素をｓｅｅｄとして、エネルギー関数（例えばＰｏｔｔｓ Ｉｎｔｅｒａｃｔｉｏｎ Ｅｎｅｒｇｙ Ｍｏｄｅｌ）を定義し、ｍｉｎ−ｃｕｔもしくはｍａｘ ｆｌｏｗアルゴリズムによってＸを求めても良い。

なお、確実にいずれの光ビームも照射されていない画素に関しては、｜ｙ−ｗｘ｜の値が閾値以上（例えば０．５以上）であるものとして取り扱ってもよい。近距離用ビームのみが照射されている画素において値がない場合は、当該画素の位置には、近距離用ビームに対応する距離範囲には物体が存在しないと考えてよい。遠距離用ビームのみが照射されている画素において値がない場合は、遠距離用ビームに対応する距離範囲には物体が存在しないと考えてよい。イメージセンサ２００において有効な観測値がある画素については、グラフカット法により、物体が近距離の範囲内にあるか遠距離の範囲内にあるかを決定することができる。

しかしながら、イメージセンサ２００において有効な観測値がない画素も存在する。例えば、光ビームの反射光が入射しない画素、近距離用ビームのみ投光され所定の近距離範囲には物体がない画素、および遠距離用ビームのみ投光され所定の遠距離範囲には物体がない画素（すなわち、物体が近すぎるか遠すぎる画素）も存在する。これらの画素については、以下のような手順で、物体が近距離の範囲内にあるか遠距離の範囲内にあるかがグラフカット法によって決定された画素の情報を用いて距離データを作成することができる。

画素ごとの奥行値を示すベクトルをＺとする。Ｚは、Ｚ＝ＭＸで表される。

ここで、行列Ａは、前述のグラフカット法によって奥行値が確定した画素に対応する、対角成分が１、それ以外の成分は０のＬ×Ｌ対角行列である。ベクトルＢは、前述のグラフカット法によって奥行値が確定した画素に対応する成分は確定した奥行値、それ以外の成分は０である要素数Ｌのベクトルである。ここでＬは、画素数である。ＴＶ（ＭＸ）は、画像Ｘ上における近傍との輝度変化の絶対値和であるTotal Variationである。

ｆ_ＤＦ（ｚ_ｉ）は、範囲を限定する拘束条件（例えば、J. N. Laska et al., “Democracy in Action: Quantization, Saturation, and Compressive Sensing”, Applied and Computational Harmonic Analysis, vol. 31, no. 3, pp. 429-443, 2001.)である。ｆ_ＤＦ（ｚ_ｉ）は、以下を満たす。

ただし、近距離ビームの測距範囲は０よりも遠方かつＲ_Ｎ以下、遠距離ビームの測距範囲はＲ_Ｆよりも遠方とする。γは、重み係数を示している。式２３は、例えば、前述のＡＤＭＭを利用することで解くことができる。

（他の変形例）
前述の各実施形態および変形例においては、光ビームの到達距離の範囲を近距離と遠距離の２種類としたが、光ビームの到達距離の範囲を３種類以上にしてもよい。例えば、照射面における単位面積あたりのエネルギーの異なる３種類以上の光ビームを出射してもよい。

前述の各実施形態および変形例において、空間分布の異なる光ビームを順次照射したが、空間分布が同一の光ビームを順次照射してもよい。例えば、２次元の空間分布が同一である光ビームを順次照射してもよい。あるいは、３次元の空間分布が同一の光ビームを順次照射してもよい。

前述の各実施形態および変形例において、各到達距離範囲の複数のビームの配置はあらかじめ定められているが、測距動作ごとに異なる空間パターンの光ビームを使用してもよい。例えば、あらかじめ複数のパターンの情報が記憶されている場合は、測距動作ごとにパターンが選択されてもよい。各到達距離範囲の光ビームのパターンは組み合わせが決まっている必要はなく、独立に選択され得る。また、複数のビームのパターンは、計測の都度決定されてもよいし、計測の都度通信回路を通じて外部から指示されてもよい。

前述の各実施形態および変形例において、あらかじめ定められた重み情報が記憶されている。各到達距離範囲の光ビームのパターンの組み合わせが決まっている場合は、パターンの組み合わせごとに重み情報が記憶され得る。測距動作ごとに各到達距離範囲の光ビームのパターンが変わる場合には、パターンが決定されるたびに、重み情報を生成してもよい。あるいは、計測の都度通信回路を通じて外部から重み情報を取得してもよい。

前述の各実施形態および変形例において、光源、イメージセンサ、制御回路、および信号処理回路は、すべて同一の装置内に配置されているが、必ずしも同一の装置内に配置されていなくてもよい。ただし、光源とイメージセンサは、計測する距離に対して同一点とみなせる位置に配置され得る。光源、イメージセンサ、制御回路、および信号処理回路が、通信によって互いに接続されたシステムを構成してもよい。

前述の各実施形態および変形例において、ｘ_ｉは、所定の測定距離範囲を解析数Ｎで分割した場合の距離レンジを示すベクトルであるが、必ずしもそのようなベクトルでなくてもよい。測定距離範囲の分割は、等分割でもよいし、等分割でなくてもよい。測定範囲のうち距離が近いほど距離を細かく分割し、距離が遠いほど粗く分割してもよい。これにより、近距離では距離の分解能が高く、遠距離では距離の分解能が低い測距が実現される。

実施形態１、実施形態1の変形例、実施形態２において、遠距離を計測するためのビームを先行して投光し、近距離を計測するためのビームを後から投光した。遠距離用ビームと近距離用ビームの投光のタイミングと露光のタイミングは次のように決定される。すなわち、遠距離用ビームで測距する光源からの距離の範囲の最小値をＲＬ_ｍｉｎ、最大値をＲＬ_ｍａｘ、光速をｃとすると、遠距離用ビームに対する露光タイミングは、遠距離用ビーム投光開始後２×ＲＬ_ｍｉｎ／ｃの時点から２×ＲＬ_ｍａｘ／ｃの時点までの期間を複数の露光区間に分割したものになる。また、近距離用ビームで測距する光源からの距離の範囲の最小値をＲＳ_ｍｉｎ、最大値をＲＳ_ｍａｘ、光速をｃとすると、近距離用ビームに対する露光タイミングは、近距離用ビーム投光開始後２×ＲＳ_ｍｉｎ／ｃの時点から２×ＲＳ_ｍａｘ／ｃの時点までの期間を複数の露光区間に分割したものになる。

上記の遠距離用ビームに対する露光タイミングと近距離用ビームに対する露光タイミングが同一になるように、遠距離用ビームの投光と近距離用ビームの投光と、露光タイミングと、を調節する。すなわち、遠距離用ビームは近距離用ビームよりも以下の時間だけ先行して投光される。
２×ＲＬ_ｍｉｎ／ｃ―２×ＲＳ_ｍｉｎ／ｃ 以上 ２×ＲＬ_ｍａｘ／ｃ―２×ＲＳ_ｍａｘ／ｃ 以下。
露光は、近距離ビームの投光開始から２×ＲＳ_ｍｉｎ／ｃ時間後に開始される。

例えば、遠距離用ビームで測距する光源からの距離の範囲を１００ｍから２００ｍまでとする。また、近距離用ビームで測距する光源からの距離の範囲を０ｍから１００ｍまでとする。この場合、ＲＬ_ｍｉｎが１００ｍ、ＲＬ_ｍａｘが２００ｍ、ＲＳ_ｍｉｎが０ｍ、ＲＳ_ｍａｘが１００ｍとなる。この場合、以下が成り立つ。
２×ＲＬ_ｍｉｎ／ｃ＝２×ＲＳ_ｍａｘ／ｃ＝２×１００／（３×１０^８）≒６６７ｎｓ
２×ＲＳ_ｍｉｎ／ｃ＝２×０／（３×１０^８）＝０
２×ＲＬ_ｍｉｎ／ｃ―２×ＲＳ_ｍｉｎ／ｃ＝２×ＲＬ_ｍａｘ／ｃ―２×ＲＳ_ｍａｘ／ｃ≒６６７ｎｓ―０＝６６７ｎｓ
２×ＲＬ_ｍａｘ／ｃ＝２×２００／（３×１０^８）≒１３３４ｎｓ
すなわち、遠距離用ビームの投光から、光が１００ｍを往復する期間である６６７ｎｓ後に短距離用ビームが投光され、同時に露光が開始される。

なお、遠距離用ビームで測距する距離の範囲と近距離用ビームで測距する距離の範囲が異なる場合は以下のようになる。例えば、遠距離用ビームで測距する光源からの距離の範囲を１００ｍから３００ｍまでであり、近距離用ビームで測距する光源からの距離の範囲を０ｍから１００ｍまでとする。
２×ＲＬ_ｍｉｎ／ｃ＝２×ＲＳ_ｍａｘ／ｃ＝２×１００／（３×１０^８）≒６６７ｎｓ
２×ＲＳ_ｍｉｎ／ｃ＝２×０／（３×１０^８）＝０
２×ＲＬ_ｍｉｎ／ｃ―２×ＲＳ_ｍｉｎ／ｃ≒６６７ｎｓ―０＝６６７ｎｓ
２×ＲＬ_ｍａｘ／ｃ―２×ＲＳ_ｍａｘ／ｃ≒２０００ｎｓ―６６７ｎｓ＝１３３３ｎｓ
２×ＲＬ_ｍａｘ／ｃ＝２×３００／（３×１０^８）≒２０００ｎｓ
遠距離用ビームの投光から、光が１００ｍを往復する期間である６６７ｎｓ以降で１３３３ｎｓ以前に短距離用ビームが投光され、同時に露光が開始される。一方遠距離用ビームによる測距の時間区間は６６７ｎｓから２０００ｎｓである。近距離用ビームの反射光は遠距離用ビームの反射光を受光する露光区間のいずれかで受光される。

本開示の技術は、測距を行う装置に広く利用可能である。例えば、本開示の技術は、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｎｇ ａｎｄ Ｒａｎｇｉｎｇ）を利用したセンシングシステムに利用可能である。

１００ 光源
１５０ 受光装置
２００ イメージセンサ
２０２ 受光素子
２０３ タイマーカウンタ
２１０ 遠距離用ビーム
２２０ 近距離用ビーム
２３０ 遠距離用ビームの反射光
２４０ 近距離用ビームの反射光
３００ 制御回路
３１０ 記憶媒体
３１１ 遠距離ビーム情報
３１２ 近距離ビーム情報
３１３ 重み情報
３２０ プロセッサ
３２２ 投光／露光タイミング決定部
３２４ 計時部
３２６ 投光制御信号出力部
３２８ 露光制御信号出力部
４００ 信号処理回路
４１０ 距離推定部
４３０ 画像生成部
５００ 記憶装置
６００ ディスプレイ
７００ 発光デバイス

Claims (14)

1. 光源と、
   複数の受光素子を備える受光装置と、
   前記光源および前記受光装置を制御する制御回路であって、
   前記光源に、第１の空間分布を有する第１の光をシーンに向けて出射させ、その後、第２の空間分布を有する第２の光を前記シーンに向けて出射させ、
   前記受光装置の前記複数の受光素子の少なくとも一部に、前記第１の光によって生じた前記シーンからの第１の反射光、および前記第２の光によって生じた前記シーンからの第２の反射光を、同一の露光期間内に検出させる、制御回路と、
   前記受光装置の前記複数の受光素子から出力された受光データに基づいて、前記第１の反射光および前記第２の反射光に由来する距離データを生成して出力する信号処理回路と、を備える距離情報取得装置。
2. 前記第２の空間分布は、前記第１の空間分布とは異なる、請求項１に記載の距離情報取得装置。
3. 前記受光装置における前記複数の受光素子の前記少なくとも一部は、前記第１の反射光を受光し前記第２の反射光を受光しない複数の第１の受光素子と、前記第２の反射光を受光し前記第１の反射光を受光しない複数の第２の受光素子と、を含み、
   前記複数の受光素子は、前記第１の反射光および第２の反射光のいずれも受光しない複数の第３の受光素子をさらに含み、
   前記信号処理回路は、前記受光データに基づいて、前記複数の第３の受光素子に対応する複数の画素の位置における距離情報を推定することにより、前記距離データを生成する、請求項１または２に記載の距離情報取得装置。
4. 前記信号処理回路は、予め設定された重み情報を用いて、前記受光データから、前記距離データを生成する、請求項１から３のいずれかに記載の距離情報取得装置。
5. 前記重み情報は、前記第１の空間分布および前記第２の空間分布に基づいて定められる、請求項４に記載の距離情報取得装置。
6. 前記第２の光の放射強度は、前記第１の光の放射強度よりも低い、請求項１から５のいずれかに記載の距離情報取得装置。
7. 前記第１の光は、互いに出射方向の異なる複数の第１の光ビームを含み、
   前記第２の光は、互いに出射方向の異なる複数の第２の光ビームを含む、請求項１から６のいずれかに記載の距離情報取得装置。
8. 前記第２の光の到達距離は、前記第１の光の到達距離よりも短い、請求項１から７のいずれかに記載の距離情報取得装置。
9. 前記光源から離れた照射面における前記第２の光の単位面積あたりのエネルギーは、前記照射面における前記第１の光の単位面積あたりのエネルギーよりも低い、請求項１から７のいずれかに記載の距離情報取得装置。
10. 前記第１の光は第１の波長を有し、
    前記第２の光は第２の波長を有し、
    前記第２の波長の大気中の吸収率は、前記第１の波長の大気中の吸収率よりも高い、請求項７に記載の距離情報取得装置。
11. 前記制御回路は、
    前記光源に、第３の空間分布を有する第３の光を、前記第２の光の出射後に前記シーンに向けて出射させ、
    前記受光装置に、前記第３の光によって生じた前記シーンからの第３の反射光を、前記同一の露光期間内に検出させ、
    前記第３の光の到達距離は、前記第２の光の到達距離よりも短い、
    請求項８に記載の距離情報取得装置。
12. 前記露光期間は、
    前記シーンにおける、前記受光装置から第１の距離だけ離れた位置で生じた前記第１の反射光の一部が前記受光装置に到達する時点を含まず、
    前記受光装置から前記第１の距離よりも長い第２の距離だけ離れた位置で生じた前記第１の反射光の他の一部が前記受光装置に到達する時点を含み、
    前記受光装置から前記第１の距離だけ離れた位置で生じた前記第２の反射光の一部が前記受光装置に到達する時点を含む、請求項１から１１のいずれかに記載の距離情報取得装置。
13. 距離情報取得方法であって、
    光源に、第１の空間分布を有する第１の光をシーンに向けて出射させ、その後、第２の空間分布を有する第２の光を前記シーンに向けて出射させることと、
    受光装置の複数の受光素子の少なくとも一部に、前記第１の光によって生じた前記シーンからの第１の反射光、および前記第２の光によって生じた前記シーンからの第２の反射光を、同一の露光期間内に検出させることと、
    前記受光装置の前記複数の受光素子から出力された受光データに基づいて、前記第１の反射光および前記第２の反射光に由来する距離データを生成して出力することと、を含む距離情報取得方法。
14. コンピュータに、
    光源に、第１の空間分布を有する第１の光をシーンに向けて出射させ、その後、第２の空間分布を有する第２の光を前記シーンに向けて出射させることと、
    受光装置の複数の受光素子の少なくとも一部に、前記第１の光によって生じた前記シーンからの第１の反射光、および前記第２の光によって生じた前記シーンからの第２の反射光を、同一の露光期間内に検出させることと、
    受光装置の前記複数の受光素子から出力された受光データに基づいて、前記第１の反射光および前記第２の反射光に由来する距離データを生成して出力することと、を実行させる、プログラム。

Images