WO2021065138A1

WO2021065138A1 - 測距装置および制御方法

Info

Publication number: WO2021065138A1
Application number: PCT/JP2020/026581
Authority: WO
Inventors: 安寿稲田; 清原　督三; 加藤　弓子
Original assignee: パナソニックＩｐマネジメント株式会社
Priority date: 2019-10-01
Filing date: 2020-07-07
Publication date: 2021-04-08
Also published as: EP4040108A4; CN114341672A; EP4040108A1; US20220206155A1; JPWO2021065138A1

Abstract

測距装置は、発光装置と、受光装置と、前記発光装置および前記受光装置を制御し、前記受光装置から出力された信号を処理する処理回路とを備える。前記処理回路は、前記発光装置に、シーン内の第１の範囲を照射する第１の光を出射させ、前記受光装置に、前記第１の光の照射によって生じた第１の反射光を検出させて第１の検出データを出力させ、前記第１の検出データに基づき、前記第１の範囲よりも狭い１つ以上の第２の範囲を決定し、前記発光装置に、前記第２の範囲を照射する第２の光を出射させ、前記受光装置に、前記第２の光の照射によって生じた第２の反射光を検出させて第２の検出データを出力させ、前記第２の検出データに基づき、前記第２の範囲の距離データを生成して出力する。

Description

測距装置および制御方法

　本開示は、測距装置および制御方法に関する。

　従来、物体に光を照射し、当該物体からの反射光を検出することにより、当該物体の位置または距離に関するデータを取得する種々のデバイスが提案されている。

　例えば特許文献１は、光源を含む投光系と、投光系から投光され物体で反射された光を受光する光検出器を含む受光系と、光検出器の出力信号が入力される信号処理系と、制御系とを備える物体検出装置を開示している。制御系は、投光系の投光範囲内の少なくとも１つの領域を注目領域として設定し、投光系の投光条件または信号処理系の処理条件を、注目領域に投光するときと注目領域以外の領域に投光するときとで異なるように制御する。

　特許文献２は、ライダー（ＬＩＤＡＲ：Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）装置を開示している。当該ライダー装置は、第１のビームスキャナと、第２のビームスキャナと、コントローラとを備える。第１のビームスキャナは、第１のスキャンパターンの第１のレーザビームで第１の領域をスキャンする。第２のビームスキャナは、第２のスキャンパターンの第２のレーザビームで、第１の領域よりも狭い第２の領域をスキャンする。コントローラは、第１のビームスキャナを駆動して第１の領域をスキャンし、第１のレーザビームによる反射光のデータを取得する。そして、当該データから、１つ以上の対象物を決定し、第２のビームスキャナを駆動して第２の領域内を照射することにより、当該対象物をモニターする。

　特許文献３は、測距撮像装置を開示している。この測距撮像装置は、パッシブ光を検出するイメージセンサから出力された信号に基づき、撮像対象エリア全体の中から測距を必要とする被写体を特定する。そして、当該被写体をレーザ光で照射し、その反射光を検出することで、当該被写体までの距離を計測する。

　特許文献４は、光ビームによって空間を走査し、イメージセンサによって物体からの反射光を受光して距離情報を取得する装置を開示している。

特開２０１７－１７３２９８号公報米国特許第１００６１０２０号明細書特開２０１８－１８５３４２号公報米国特許出願公開第２０１８／０２１７２５８号明細書

　本開示は、測距対象シーンにおける特定の領域の距離データを効率的に取得することを可能にする技術を提供する。

　本開示の一態様に係る測距装置は、拡がりの程度の異なる複数種類の光を出射することが可能な発光装置と、前記発光装置から出射された前記光に基づく反射光を検出する受光装置と、前記発光装置および前記受光装置を制御し、前記受光装置から出力された信号を処理する処理回路と、を備える。前記処理回路は、前記発光装置に、シーン内の第１の範囲を照射する第１の光を出射させ、前記受光装置に、前記第１の光の照射によって生じた第１の反射光を検出させて第１の検出データを出力させ、前記第１の検出データに基づき、前記第１の範囲よりも狭い１つ以上の第２の範囲を決定し、前記発光装置に、前記第２の範囲を照射する、前記第１の光よりも拡がりの程度が小さい第２の光を出射させ、前記受光装置に、前記第２の光の照射によって生じた第２の反射光を検出させて第２の検出データを出力させ、前記第２の検出データに基づき、前記第２の範囲の距離データを生成して出力する。

　本開示の包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能な記録ディスク等の記録媒体によって実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意の組み合わせによって実現されてもよい。コンピュータ読み取り可能な記録媒体は、揮発性の記録媒体を含んでいてもよいし、ＣＤ－ＲＯＭ（Compact Disc‐Read Only Memory）等の不揮発性の記録媒体を含んでいてもよい。装置は、１つ以上の装置で構成されてもよい。装置が２つ以上の装置で構成される場合、当該２つ以上の装置は、１つの機器内に配置されてもよく、分離した２つ以上の機器内に分かれて配置されてもよい。本明細書及び特許請求の範囲では、「装置」とは、１つの装置を意味し得るだけでなく、複数の装置からなるシステムも意味し得る。

　本開示の実施形態によれば、測距対象シーンにおける特定の領域の距離データを効率的に取得することが可能になる。

測距装置の基本的な構成を示す図である。測距装置の動作の概要を説明するための図である。測距装置による１回の測距動作の流れを示すフローチャートである。実施形態１における測距装置の構成を模式的に示す図である。１回の測距動作の例を示すフローチャートである。距離画像の一例を示す図である。選択される第２の範囲の例を示す図である。スキャンビームが照射される範囲の例を示す図である。１回の測距動作の他の例を示すフローチャートである。直接ＴＯＦによる測距方法の例を説明するための図である。間接ＴＯＦによる測距方法の例を説明するための図である。近距離モードでの光パルスおよび露光時間窓の例を示す図である。遠距離モードでの光パルスおよび露光時間窓の例を示す図である。レンジ切り替えの他の例を示す図である。フラッシュ光とスキャンビームの発光のタイミングおよび露光のタイミングの例を示す図である。フラッシュ光による測距とスキャンビームによる測距とを別のフレーム動作で行う例を示す図である。スキャン光源の一例を模式的に示す図である。スキャン光源の例を模式的に示す図である。光導波路素子の構造の一例を模式的に示す図である。位相シフタの一例を模式的に示す図である。実施形態１の変形例における測距装置の動作を示すフローチャートである。距離画像の一例を示す図である。選択される第２の範囲の例を示す図である。スキャンビームが照射される範囲の例を示す図である。実施形態１の変形例における動作を示すフローチャートである。変形例におけるフラッシュ光およびスキャンビームの発光タイミングと、露光タイミングの例を示す図である。他の変形例による測距装置の動作を示すフローチャートである。変形例における発光と受光のタイミングを示す図である。変形例における発光と受光のタイミングを示す図である。フラッシュ光よりも先にスキャン光を出射する構成に、直接ＴＯＦ法を適用した例を示す図である。実施形態２における測距装置の構成を示す図である。実施形態２の測距装置による１回の測距動作の流れを示すフローチャートである。輝度画像の一例を示す図である。輝度画像中で特定の対象物が存在するエリアの例を示す図である。スキャンビームが照射される範囲の例を示す図である。スキャンビームが照射される範囲の他の例を示す図である。実施形態２の変形例の動作を示すフローチャートである。

　本開示において、回路、ユニット、装置、部材もしくは部の全部または一部、またはブロック図における機能ブロックの全部または一部は、例えば、半導体装置、半導体集積回路（ＩＣ）、またはＬＳＩ（ｌａｒｇｅ　ｓｃａｌｅ　ｉｎｔｅｇｒａｔｉｏｎ）を含む１つまたは複数の電子回路によって実行され得る。ＬＳＩまたはＩＣは、１つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、１つのチップに集積されてもよい。ここでは、ＬＳＩまたはＩＣと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ（ｖｅｒｙ　ｌａｒｇｅ　ｓｃａｌｅ　ｉｎｔｅｇｒａｔｉｏｎ）、もしくはＵＬＳＩ（ｕｌｔｒａ　ｌａｒｇｅ　ｓｃａｌｅ　ｉｎｔｅｇｒａｔｉｏｎ）と呼ばれるものであってもよい。ＬＳＩの製造後にプログラムされる、Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ（ＦＰＧＡ）、またはＬＳＩ内部の接合関係の再構成またはＬＳＩ内部の回路区画のセットアップができるｒｅｃｏｎｆｉｇｕｒａｂｌｅ　ｌｏｇｉｃ　ｄｅｖｉｃｅも同じ目的で使うことができる。

　さらに、回路、ユニット、装置、部材または部の全部または一部の機能または動作は、ソフトウェア処理によって実行することが可能である。この場合、ソフトウェアは１つまたは複数のＲＯＭ、光学ディスク、ハードディスクドライブなどの非一時的記録媒体に記録され、ソフトウェアが処理装置（ｐｒｏｃｅｓｓｏｒ）によって実行されたときに、そのソフトウェアで特定された機能が処理装置（ｐｒｏｃｅｓｓｏｒ）および周辺装置によって実行される。システムまたは装置は、ソフトウェアが記録されている１つまたは複数の非一時的記録媒体、処理装置（ｐｒｏｃｅｓｓｏｒ）、および必要とされるハードウェアデバイス、例えばインターフェースを備えていてもよい。

　以下、本開示の例示的な実施形態を説明する。なお、以下で説明する実施形態は、いずれも包括的又は具体的な例を示すものである。以下の実施形態で示される数値、形状、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、各図は模式図であり、必ずしも厳密に図示されたものではない。さらに、各図において、実質的に同一の構成要素に対しては同一の符号を付しており、重複する説明は省略又は簡略化される場合がある。

　図１は、本開示の例示的な実施形態による測距装置の概略的な構成を示すブロック図である。本実施形態における測距装置は、発光装置１００と、受光装置２００と、処理回路３００とを備える。測距装置は、例えば車両に搭載されるライダーシステムの一部として利用され得る。測距装置は、測距対象のシーンを光で照射し、距離データを生成して出力するように構成されている。なお、本開示における「距離データ」とは、シーン中の１つ以上の計測点の基準点からの絶対的な距離、もしくは計測点間の相対的な深度を表す任意の形式のデータ、または上記の距離もしくは深度を算出するための任意の形式のデータを意味する。距離データは、例えば、距離画像データであってもよいし、３次元点群データであってもよい。また、距離データは、直接的に距離または深度を表すデータに限られず、距離または深度を算出するためのセンサデータそのもの、すなわちＲａｗデータであってもよい。センサデータすなわちＲａｗデータは、受光装置２００が備えるセンサから出力されるデータである。Ｒａｗデータは、例えば受光装置２００が検出した１つ以上の輝度を示す輝度データであり得る。

　発光装置１００は、拡がりの程度の異なる複数種類の光を出射する。例えば、シーンに向けて相対的に拡がりの大きい光ビームまたはフラッシュ光を照射したり、シーン中の特定の領域に向けて拡がりの小さい光ビームを照射したりすることができる。言い替えれば、発光装置１００は、相対的にブロードな第１の光と、第１の光の照射範囲よりも狭い範囲を照射する第２の光を出射することができる。発光装置１００は、第１の光を出射する第１の光源と、第２の光を出射する第２の光源とを備えていてもよい。あるいは、発光装置１００は、第１の光および第２の光の両方を出射することが可能な１つの光源を備えていてもよい。

　受光装置２００は、発光装置１００から出射された光の反射光を検出する。受光装置２００は、例えば１つ以上のイメージセンサを備える。受光装置２００は、第１の光の照射によって生じた第１の反射光を検出して第１の検出データを出力する。受光装置２００はまた、第２の光の照射によって生じた第２の反射光を検出して第２の検出データを出力する。受光装置２００は、第１の反射光を検出して第１の検出データを出力する第１のイメージセンサと、第２の反射光を検出して第２の検出データを出力する第２のイメージセンサとを備えていてもよい。あるいは、受光装置２００は、第１の反射光および第２の反射光をそれぞれ検出することが可能な１つのイメージセンサを備えていてもよい。

　処理回路３００は、発光装置１００および受光装置２００を制御し、受光装置２００から出力されたデータを処理する回路である。処理回路３００は、１つ以上のプロセッサと、１つ以上の記録媒体とを含む。記録媒体は、例えばＲＡＭおよびＲＯＭなどのメモリを含む。記録媒体には、プロセッサによって実行されるコンピュータプログラム、および処理の過程で生じた種々のデータが格納され得る。処理回路３００は、複数の回路の集合体であってもよい。例えば、処理回路３００は、発光装置１００および受光装置２００を制御する制御回路と、受光装置２００から出力された信号を処理する信号処理回路とを含んでいてもよい。

　図２は、測距装置の動作の概要を説明するための図である。図２には、測距装置の一例と、測距装置によって生成され得る距離画像の一例とが模式的に示されている。この例における発光装置１００は、第１の光源１１０と、第２の光源１２０とを備える。第１の光源１１０は、第１の光として、フラッシュ光Ｌ１を出射するように構成されている。第２の光源１２０は、第２の光として、より拡がりの小さい光ビームＬ２を出射するように構成されている。第２の光源１２０は、光ビームＬ２の出射方向を変化させることができる。受光装置２００は、イメージセンサ２１０を備える。この例におけるイメージセンサ２１０は、ＴＯＦ（Ｔｉｍｅ　ｏｆ　Ｆｌｉｇｈｔ）による測距が可能なＴＯＦイメージセンサである。イメージセンサ２１０は、直接ＴＯＦまたは間接ＴＯＦの技術を利用して、測距対象のシーンの距離画像を生成することができる。処理回路３００は、第１の光源１１０、第２の光源１２０、およびイメージセンサ２１０を制御する。

　本実施形態における処理回路３００は、第１の光源１１０にフラッシュ光Ｌ１を出射させ、その反射光をイメージセンサ２１０に検出させる。これにより、イメージセンサ２１０は、第１の検出データとして、対象シーンの距離画像データを生成して出力する。処理回路３００は、出力された距離画像データに基づき、シーン中でより高精度の測距が必要な１つ以上の領域を決定する。そして、決定した領域に向けて、第２の光源１２０に光ビームＬ２を出射させ、その反射光をイメージセンサ２１０に検出させる。このとき、処理回路３００は、光ビームＬ２の出射方向を順次変更することで、決定した領域が光ビームＬ２でスキャンされるようにしてもよい。図２の右図に示す複数の白丸は、光ビームＬ２で照射される領域の例を示している。これらの領域を光ビームＬ２でスキャンすることにより、イメージセンサ２１０は、これらの領域における距離データを生成することができる。処理回路３００は、イメージセンサ２１０から出力される距離データに基づき、シーン中の特定の領域に存在する対象物までの距離データを出力することができる。上記の動作が繰り返されることにより、対象シーンの距離データ、例えば距離画像データが所定のフレームレートで出力される。

　図３は、測距装置による１回の測距動作の流れを示すフローチャートである。処理回路３００は、測距動作中、図３のフローチャートに示すステップＳ１１からＳ１７の動作を実行する。以下、各ステップの動作を説明する。

　（ステップＳ１１）
　処理回路３００は、発光装置１００に、シーン内の第１の範囲を照射する第１の光を出射させる。図２の例では、第１の光はフラッシュ光であるため、シーン内の比較的広い範囲がフラッシュ光で照射される。

　（ステップＳ１２）
　処理回路３００は、受光装置２００に、第１の光の照射によって生じた第１の反射光を検出させて第１の検出データを出力させる。第１の検出データは、図２の例では、第１の範囲内の距離分布を示す距離画像データである。第１の検出データは、第１の範囲内の輝度分布を示す輝度画像データであってもよい。

　（ステップＳ１３）
　処理回路３００は、第１の検出データに基づき、第１の範囲よりも狭い１つ以上の第２の範囲を決定する。この第２の範囲として、第１の検出データが示す画像において、例えば距離計測の精度が低い範囲、または、注目すべき対象物が存在すると推定される範囲が選択され得る。第１の検出データが距離画像データである場合、距離画像データを生成するときに参照された各画素の受光量が少ない場合、その画素について計算された距離の信頼度は低いと考えられる。そこで、例えば、各画素の受光量を示す画素値が所定の閾値を下回る場合、その画素を含む範囲が第２の範囲として決定され得る。一方、第１の検出データが輝度画像データである場合、公知の画像認識技術を利用して特定の対象物（例えば、自動車、二輪車、自転車、または歩行者など）を認識することにより、第２の範囲を決定してもよい。

　（ステップＳ１４）
　処理回路３００は、発光装置１００に、第２の範囲を照射する第２の光を出射させる。第２の光は、図２に示すように、第１の光よりも狭い光ビームである。このため、第２の光は、第１の光よりもエネルギ密度が高く、より遠方まで到達する。すなわち、第２の光の照射により、第１の光を用いた場合よりも遠方の距離計測が可能である。したがって、第１の光の照射だけでは十分な精度で距離を計測できない領域についても、第２の光の照射によってより高い精度で距離を計測することができる。第２の光のビーム径が、第２の範囲と比較して小さい場合、処理回路３００は、第２の光で第２の範囲をスキャンするように発光装置１００を制御する。

　（ステップＳ１５）
　処理回路３００は、受光装置２００に、第２の光の照射によって生じた第２の反射光を検出させて第２の検出データを出力させる。第２の検出データは、第２の光が照射された領域の距離データであってもよいし、輝度データであってもよい。

　（ステップＳ１６）
　処理回路３００は、第２の検出データに基づき、第２の範囲に存在する１つ以上の対象物までの距離を示す距離データを生成して出力する。これにより、第１の光の照射だけでは得られない距離情報、例えば、遠方の対象物の距離情報を取得することができる。

　（ステップＳ１７）
　処理回路３００は、第１の検出データと、第２の検出データとを、１つのデータに統合してもよい。例えば、第１の検出データに基づく距離画像データと、第２の検出データに基づく距離画像データとを統合し、１つの距離画像データを再構成してもよい。または、第１の検出データに基づく３次元点群データと、第２の検出データに基づく３次元点群データとを統合し、１つの３次元点群データを再構成してもよい。または、第１の検出データに基づく輝度データと、第２の検出データに基づく輝度データとを統合し、１つの輝度データを再構成してもよい。なお、この統合処理は必須では無く、各距離データを個別に順次出力してもよい。

　図３に示すフローチャートは、１回の測距動作を示しており、実際の応用時には、図３に示す動作が繰り返し実行され得る。例えば、１秒間に３０回程度のレートで、図３に示す動作が繰り返し実行され得る。図３に示す例では、第１の光と第２の光とが異なるタイミングで出射されるが、これらが同時に出射されてもよい。その場合、第１の光と第２の光とが同時に出射される動作が繰り返される。第２の光によって照射される第２の範囲は、当該第２の光の照射以前の第１の光の照射によって得られた第１の検出データに基づいて決定される。

　なお、ステップＳ１１およびＳ１２において、１回の第１の光の照射による反射光の強度が十分でない場合、第１の光を複数回照射し、その反射光を積算した結果に基づき第１の検出データを生成してもよい。同様に、ステップＳ１４およびＳ１５において、第２の光を複数回照射し、その反射光を積算した結果に基づき第２の検出データを生成してもよい。第１の光と第２の光の積算回数は同一でもよく、異なっていてもよい。

　以上のように、本実施形態によれば、まず相対的に広い第１の光でシーン内の第１の領域が照射される。第１の光の照射によって生じた第１の反射光が受光装置２００によって検出され、第１の検出データが出力される。続いて、第１の検出データに基づいて、第１の範囲よりも狭い第２の範囲が決定される。決定された第２の範囲が、第１の光よりも拡がりの程度が小さい第２の光で照射される。第２の光の照射によって生じた第２の反射光が受光装置２００によって検出され、第２の検出データが出力される。第２の検出データに基づき、第２の範囲内に存在する対象物までの距離が計測される。

　このような動作により、第１の光のみを用いた場合には十分な精度で距離を計測できない領域についても、より高い精度で距離を計測することができる。さらに、第２の光でシーン全体をスキャンすることでシーン全体の距離データを取得する構成と比較して、短い時間で必要な距離データを取得することができる。このため、信頼性の高い距離データを短時間で取得することが可能である。このような測距装置は、例えば自動運転システムにおけるセンサの一つとして用いられ得る。本実施形態の測距装置を用いることにより、自動運転に必要な可動物体（例えば、人、自動車、二輪車など）の認識を高い精度で高速に行うことが可能になる。

　以下、本開示のより具体的な実施形態を説明する。

　（実施形態１）
　図４は、本開示の例示的な実施形態１における測距装置の構成を模式的に示す図である。本実施形態における測距装置は、フラッシュ光源１１１と、スキャン光源１２１と、ＴＯＦイメージセンサ２１１と、コントローラ３０１とを備える。フラッシュ光源１１１は、前述の「第１の光源」に該当する。フラッシュ光源１１１は、フラッシュ光を出射する。スキャン光源１２１は、前述の「第２の光源」に該当する。スキャン光源１２１は、フラッシュ光の照射範囲に含まれる一部の範囲を照射する光ビームであるスキャン光（以下、「スキャンビーム」とも称する。）を出射する。フラッシュ光源１１１とスキャン光源１２１の集合は、前述の「発光装置」に該当する。ＴＯＦイメージセンサ２１１は、前述の「受光装置」における「イメージセンサ」に該当する。ＴＯＦイメージセンサ２１１は、例えば直接ＴＯＦまたは間接ＴＯＦ技術を利用して、対象シーンの距離画像データを生成する。以下、距離画像データを単に「距離画像」と称することがある。コントローラ３０１は、前述の「処理回路」に該当する。コントローラ３０１は、フラッシュ光源１１１、スキャン光源１２１、およびイメージセンサ２１１に接続され、これらの動作を制御する。コントローラ３０１は、プロセッサと、メモリ３３０とを備える。

　本実施形態におけるコントローラ３０１は、フラッシュ光の出射タイミングの制御と、スキャン光のビーム形状、出射方向、および出射タイミングの制御と、イメージセンサ２１１から出力されたデータに基づく処理とを行う。コントローラ３０１は、フラッシュ光の照射によって生成された距離画像データと、スキャン光の照射によって生成された距離データとに基づいて、対象シーンについての新たな距離画像データを生成して出力する。なお、コントローラ３０１は、距離画像データに代えて、または距離画像データに加えて、輝度画像データまたは３次元点群データを生成してもよい。以下、コントローラ３０１による動作の詳細を説明する。

　図５は、コントローラ３０１によって実行される１回の測距動作を示すフローチャートである。コントローラ３０１は、図５に示すステップＳ１０１からＳ１０９の動作を実行することにより、シーンの測距データを生成する。以下、各ステップの動作を説明する。

　（ステップＳ１０１）
　コントローラ３０１は、フラッシュ光源１１１を駆動して、フラッシュ光を出射させる。フラッシュ光により、シーン中の比較的広い第１の範囲が照射される。測距データは、フラッシュ光をパルス発光し、その反射光パルスの遅延時間を計測または計算することで得られる。なお、本実施形態ではフラッシュ光が使用されるが、フラッシュ光に代えて、比較的広角の光ビームが使用されてもよい。

　（ステップＳ１０２）
　コントローラ３０１は、イメージセンサ２１１に露光を実行させ、フラッシュ光の反射光を検出させる。反射光の検出は、イメージセンサ２１１の画素ごとに行われる。本実施形態では、直接ＴＯＦまたは間接ＴＯＦの技術を利用して、画素ごとに距離が計算される。フラッシュ光の照射とイメージセンサによる露光を複数回繰り返すことで各画素の信号を蓄積してもよい。そのような動作により、ＳＮ（Ｓｉｇｎａｌ　ｔｏ　Ｎｏｉｓｅ）比を向上させることができる。イメージセンサ２１１は、画素ごとの距離の値を示すデータを出力する。このデータを「距離画像データ」と呼ぶ。イメージセンサ２１１の動作の具体例については後述する。

　（ステップＳ１０３）
　コントローラ３０１は、イメージセンサ２１１から出力された距離画像データを取得する。図６Ａは、距離画像の一例を示す図である。この例のように、第１の領域内の距離分布を示す画像が生成され、メモリ３３０に格納される。

　（ステップＳ１０４）
　コントローラ３０１は、距離画像データに基づき、測距の信頼度が低いと推定されるエリアを第２の範囲として特定する。例えば、イメージセンサ２１１が各画素について距離を算出するときに用いた各画素の光強度データ、または生成された距離画像の各画素の距離の値に基づいて、第２の範囲を決定する。測距の信頼度が低いと推定される領域として、例えば、距離画像の生成の元となった光強度データの値が閾値よりも小さい、すなわちＳＮ比が低い領域が選択され得る。図６Ｂは、選択される第２の範囲の例を示す図である。図６Ｂにおいて、第２の範囲の例が矩形の枠で表現されている。このように、距離画像の一部のエリアが第２の範囲として決定される。図６Ｂの例では、１つの矩形のエリアが第２の範囲として決定されているが、複数のエリアが第２の範囲として決定されてもよい。

　（ステップＳ１０５）
　コントローラ３０１は、スキャンビームの出射方向を決定する。出射方向は、第２の範囲の少なくとも一部がスキャンビームで照射される方向に設定される。ここで、スキャン光源１２１は、ビームの方向だけでなく、ビーム形状またはビーム径を変更できるように構成されていてもよい。その場合には、コントローラ３０１は、スキャンビームの方向だけでなく、第２の範囲の分布に応じて、ビーム形状および／またはビーム径を調整してもよい。

　（ステップＳ１０６）
　コントローラ３０１は、決定した出射方向にスキャンビームを出射するようにスキャン光源１２１に指示する。これにより、第２の範囲の少なくとも一部がスキャンビームで照射される。ここで、１回のスキャンビームの出射では光量が不足する場合は、同一の方向に複数回スキャンビームを出射し、露光を繰り返すことで信号を蓄積してもよい。図６Ｃは、スキャンビームが照射される範囲の例を示している。図６Ｃには、スキャンビームが照射される範囲の例が楕円で表現されている。図６Ｃには、方向の異なる２つのスキャンビームによって照射される２つの範囲が例示されている。コントローラ３０１は、スキャンビームの方向を変更して繰り返し照射することで、第２の範囲の全体が照射されるようにしてもよい。あるいは、複数のスキャンビームを異なる方向に同時に出射してもよい。

　（ステップＳ１０７）
　コントローラ３０１は、イメージセンサ２１１に、スキャンビームの反射光を検出させ、スキャンビームの照射範囲における距離データを出力させる。ここで、スキャンビームが複数回出射される場合は、露光もスキャンビームの出射ごとに行われる。その場合、ステップＳ１０５からＳ１０７の動作が、スキャンが完了するまで繰り返される。

　（ステップＳ１０８）
　コントローラ３０１は、イメージセンサ２１１によって生成された第２の範囲についての距離データを取得する。この距離データは、スキャンビームが照射された第２の範囲に対応する複数の画素の距離の値を示すデータである。

　（ステップＳ１０９）
　コントローラ３０１は、ステップＳ１０３で取得した距離画像データと、ステップＳ１０８で取得した距離データとに基づいて、新たな距離画像データを生成して出力する。この距離画像データは、ステップＳ１０３において取得した距離画像データのうち、第２の範囲に対応するデータを、ステップＳ１０８で取得されたデータに置換したデータであり得る。コントローラ３０１は、当該距離画像データに加えて、イメージセンサ２１１または図示されていない他のイメージセンサから取得した輝度画像データを併せて出力してもよい。なお、この例では、コントローラ３０１は、フラッシュ光によるデータとスキャン光によるデータとを統合して出力するが、両者を独立した別のデータとして出力してもよい。

　コントローラ３０１は、距離画像データにおける各距離の値を３次元の座標値に変換し、３次元点群データとして出力してもよい。また、コントローラ３０１は、ステップＳ１０２およびステップＳ１０７においてイメージセンサ２１１により検出された輝度画像データを、当該輝度画像データから距離画像データを算出するために必要な付加データと併せて出力してもよい。付加データは、例えば、後述する間接ＴＯＦによる距離計算に必要なイメージセンサ２１１の露光タイミングおよび露光時間窓の幅を示すデータである。

　以上の動作により、フラッシュ光だけでは正確に測距できない領域についても、測距データを取得することができる。このため、取得できる測距の情報量を増加させることができる。さらに、スキャンビームでシーンの全体をスキャンする構成と比較して、短い時間で必要な距離データを取得することができる。

　図７は、スキャンビームによって第２の範囲がスキャンされる場合の動作の例を示すフローチャートである。図７に示す動作は、ステップＳ１０７とステップＳ１０８との間に、スキャンが完了したかを判断するステップが追加されている点を除き、図５に示す動作と同じである。この例では、ステップＳ１０７の後、スキャンが完了したか否かが判定される。スキャンが完了したと判定されるまで、ステップＳ１０５からＳ１０７の動作が繰り返される。この例では、ステップＳ１０５において、スキャンビームの出射方向は、ステップＳ１０４で決定された第２の範囲のうち、照射がまだ所定の回数以上行われていない領域に照射されるように決定される。ここで所定の回数は、イメージセンサ２１１の画素の信号蓄積に必要な回数を指し、１回以上の任意の回数に設定され得る。ある例において、この回数は、１００回以上、場合によっては１０００回以上に達する場合もある。ステップＳ１０５からＳ１０７の動作を繰り返すことにより、第２の範囲の全体がスキャンビームによってスキャンされる。第２の範囲の全体がスキャンビームによってスキャンされると、スキャンが完了したと判定され、ステップＳ１０８に進む。

　次に、本実施形態の測距装置による測距動作をより具体的に説明する。本実施形態では、直接ＴＯＦまたは間接ＴＯＦなどの技術を利用して、距離が計測される。

　図８は、直接ＴＯＦによる測距方法の例を説明するための図である。直接ＴＯＦは、光パルスが出射されてから戻ってくるまでの時間を、イメージセンサ２１１の各受光素子が持つクロックで測定する方法である。光が出射されたタイミングから、反射光が戻ってくるタイミングまでの間、ゲート信号を生成し、そのゲート信号内のクロックパルスの数をカウントすることで、光の飛行時間を計測できる。図８には、相対的に近い領域から反射光が戻ってくる場合と、相対的に遠い領域から反射光が戻ってくる場合のそれぞれにおけるゲート信号およびクロックのパルス信号が例示されている。遠方からの反射光の方がイメージセンサ２１１に遅く到達するため、クロックのカウント数が多くなる。飛行時間をＴ［ｓ］とし、光速をｃ（≒３×１０^８ｍ／ｓ）とすると、距離Ｄ［ｍ］を、Ｄ＝Ｔ／２ｃの演算によって算出することができる。

　図９は、間接ＴＯＦによる測距方法の例を説明するための図である。間接ＴＯＦは、光パルスが出射されてから戻ってくるまでの時間を光強度に変換して計測する方法である。図９の例では、各画素について３つの露光時間窓が設けられ、それぞれの時間窓で検出された光強度から距離が算出される。時間窓は、必要な測定レンジに合わせて設定される。例えば０ｍから１００ｍの範囲について測距を行う場合、図９に示すように、３３４ナノ秒（ｎｓ）の露光窓を３つ用意し、光パルスの時間幅も３３４ｎｓに設定することで測距が可能である。図９には、５０ｍよりも近い距離にある物体からの反射光パルス、５０ｍから１００ｍの範囲内に位置する物体からの反射光パルス、および１００ｍよりも遠い距離にある物体からの反射光パルスが例示されている。第１の時間窓での信号値をＡ０、第２の時間窓での信号値をＡ１、第２の時間窓での信号値をＡ２とする。第１および第２の時間窓で反射光が検出され、第３の時間窓では反射光が検出されなかった場合、距離Ｄは、５０ｍ以下であり、図９に示す式（１）によって計算される。また、第２および第３の時間窓で反射光が検出され、第１の時間窓では反射光が検出されなかった場合、距離Ｄは、５０ｍ以上１００ｍ以下であり、図９に示す式（２）によって計算される。一方、第１および第２の時間窓のいずれにおいても反射光が検出されなかった場合、距離は計算されない。出射光パルスの時間幅、および各露光時間窓の幅は、距離の計測範囲に応じて設定される。例えば、５０ｍまでの範囲で測距を行う場合、当該幅は、約１６７ｎｓに設定される。この測距方法では、イメージセンサ２１１の各受光素子の動作モードを変えることなく、１パターンの動作で測距が可能である。

　コントローラ３０１は、近距離の測距が可能なモードと遠距離の測距が可能なモードとを切り替えるように構成される。具体的には、フラッシュ光の発光時には近距離モードで動作し、スキャン光の発光時には遠距離モードで動作する。図１０Ａおよび図１０Ｂは、そのような切替動作の例を説明するための図である。図１０Ａは、近距離モードでの光パルスおよび露光時間窓の例を示している。図１０Ｂは、遠距離モードでの光パルスおよび露光時間窓の例を示している。図１０Ａの例では、０ｍから５０ｍの範囲で測距できるように、光パルス幅および露光時間窓が１６７ｎｓに設定されている。図１０Ｂの例では、０ｍから１００ｍの範囲で測距できるように、光パルス幅および露光時間窓が３３４ｎｓに設定されている。コントローラ３０１は、動作中、光パルスの時間幅および露光時間窓の長さを変更して測定可能な距離のレンジを切り替えることができる。

　図１１は、レンジ切り替えの他の例を示す図である。この例では、コントローラ３０１は、発光タイミングに対する露光タイミングを変化させることで測定レンジを切り替える。例えば、近距離モードでは、図１０Ａの例と同様のタイミングで露光が行われ、遠距離モードでは、発光の開始タイミングから、パルス幅の２倍の時間が経過したタイミングで露光が開始される。図１１の例では、光パルスの時間幅、および各露光時間窓の幅は、１６７ｎｓに設定され、０ｍから５０ｍのレンジで測距可能な近距離モードと、５０ｍから１００ｍのレンジで測距可能な遠距離モードとが切り替えられる。

　図１１の例では、近距離モードにおいて、第１の時間窓および第２の時間窓で反射光が検出され、第３の時間窓では反射光が検出されない場合、図１１に示す式（１）に基づいて距離Ｄが計算される。近距離モードにおいて、第２の時間窓および第３の時間窓で反射光が検出され、第１の時間窓では反射光が検出されない場合、図１１に示す式（２）に基づいて距離Ｄが計算される。近距離モードにおいて、第１の時間窓および第２の時間窓のいずれにおいても反射光が検出されなかった場合、距離は計算されない。一方、遠距離モードにおいて、第１の時間窓および第２の時間窓で反射光が検出され、第３の時間窓では反射光が検出されない場合、図１１に示す式（３）に基づいて距離Ｄが計算される。遠距離モードにおいて、第２の時間窓および第３の時間窓で反射光が検出され、第１の時間窓では反射光が検出されない場合、図１１に示す式（４）に基づいて距離Ｄが計算される。遠距離モードにおいて、第１の時間窓および第２の時間窓のいずれにおいても反射光が検出されなかった場合、距離は計算されない。

　コントローラ３０１は、近距離モードと遠距離モードとで、出射光の出力を変化させてもよい。そのような制御により、例えば露光の飽和が生じないように調整することができる。

　図１２Ａは、フラッシュ光とスキャンビームの発光のタイミングおよび露光のタイミングの例を示す図である。測距装置は、フラッシュ光で広範囲を測距した後、スキャンビームで特定領域の測距を行う。この例では、フラッシュ光およびスキャンビームは、ともに複数回連続して出射され、出射ごとに露光が行われる。フラッシュ光およびスキャンビームのそれぞれについて、複数回の露光動作によって蓄積された電荷量に応じた信号によって１フレームの２次元画像データが生成され、さらに当該２次元画像データを基に距離データが生成され、出力される。あるいは、電荷量に応じて画素ごとに距離を計算した後に、２次元距離データを生成し、出力してもよい。コントローラ３０１は、このような露光動作とデータ出力動作を、イメージセンサ２１１に繰り返し実行させる。以下、本開示では、光の検出および１フレームのデータの生成に関わる動作を「フレーム動作」と称する。フレーム動作は、受光装置による露光動作とデータ出力動作の繰り返しの単位であり、すなわち図１２Ａに示すような連続する２回のデータ出力動作の間の動作である。この例では、各フレーム動作において、前半にフラッシュ光の発光および露光の期間が設定され、後半にスキャンビームの発光および露光の期間が設定されている。これにより、フレーム動作ごとに、フラッシュ光による距離データと、スキャンビームによる距離データとが１フレームに統合され、出力される。図１２Ａの例では、フラッシュ光の露光は近距離モードで行われ、スキャンビームの露光は遠距離モードで行われる。具体的には、フラッシュ光とスキャンビームとで、発光タイミングに対する露光タイミングが異なる。このため、近距離から遠距離までの広いレンジの距離データを１フレームに統合することができる。

　このような例に限らず、フラッシュ光を出射するときの測定レンジと、スキャン光を出射するときの測定レンジとを同一にしてもよい。なお、フレーム動作ごとのフラッシュ光およびスキャンビームのそれぞれの出射回数は１回であってもよい。

　本開示では、１回のフレーム動作で取得されたデータのまとまりを「フレーム」と称する。１フレームのデータには、例えば、輝度画像データ、距離画像データ、または３次元点群データが含まれ得る。

　図１２Ｂは、フラッシュ光による測距とスキャンビームによる測距とを別のフレーム動作で行う場合の例を示している。本例では、フラッシュ光を用いて取得された近距離の距離データと、スキャンビームを用いて取得された遠距離の距離データとが、別のフレームのデータとして出力される。

　このように、本実施形態では、コントローラ３０１は、イメージセンサ２１１に、少なくとも１回の露光動作と、当該露光動作によって蓄積された電荷量に応じた２次元画像データを出力するデータ出力動作とを繰り返し実行させる。一例では、フラッシュ光の出射が、連続する２回のデータ出力動作の間に少なくとも１回実行され、スキャンビームの出射が、連続する他の２回のデータ出力動作の間に少なくとも１回実行される。他の例では、連続する２回のデータ出力動作の間に、少なくとも１回のフラッシュ光の出射と、少なくとも１回のスキャンビームの出射との双方が実行される。何れの例においても、連続する２回のデータ出力動作の間に出射されるスキャンビームは、異なる方向に出射される複数のスキャンビームを含んでいてもよい。スキャンビームの出射方向は、それ以前に出射されたフラッシュ光の照射によって得られたデータに基づいて決定される。

　次に、スキャン光源１２１の構成例を説明する。スキャン光源１２１は、コントローラ３０１の制御に応じて光ビームの出射方向を変化させることができるデバイスである。スキャン光源１２１は、測距対象のシーン内の一部の領域を光ビームで順次照射することができる。スキャン光源１２１から出射される光ビームの波長は特に限定されず、例えば可視域から赤外域に含まれる任意の波長でよい。

　図１３は、スキャン光源１２１の一例を示す図である。この例では、スキャン光源１２１は、レーザなどの発光素子と、少なくとも１つの可動ミラー、例えばＭＥＭＳミラーとを備える。発光素子から出射された光は、可動ミラーによって反射され、対象領域内（図１３において矩形で表示）の所定の領域に向かう。コントローラ３０１は、可動ミラーを駆動することにより、スキャン光源１２１からの出射光の方向を変化させる。これにより、例えば図１３において点線矢印で示すように、対象領域を光でスキャンすることができる。

　可動ミラーを有する光源とは異なる構造によって光の出射方向を変化させることが可能な光源を用いてもよい。例えば、特許文献４に開示されているような、反射型導波路を利用した発光デバイスを用いてもよい。あるいは、アンテナアレイによって各アンテナから出力される光の位相を調節することで、アレイ全体の光の方向を変化させる発光デバイスを用いてもよい。

　図１４Ａは、スキャン光源１１２の例を模式的に示す斜視図である。参考のために、互いに直交するＸ軸、Ｙ軸、およびＺ軸が模式的に示されている。スキャン光源１１２は、光導波路アレイ１０Ａと、位相シフタアレイ２０Ａと、光分岐器３０と、それらが集積された基板４０とを備える。光導波路アレイ１０Ａは、Ｙ方向に配列された複数の光導波路素子１０を含む。各光導波路素子１０はＸ方向に延びている。位相シフタアレイ２０ＡはＹ方向に配列された複数の位相シフタ２０を含む。各位相シフタ２０はＸ方向に延びた光導波路を備える。光導波路アレイ１０Ａにおける複数の光導波路素子１０は、位相シフタアレイ２０Ａにおける複数の位相シフタ２０にそれぞれ接続されている。位相シフタアレイ２０Ａには光分岐器３０が接続されている。

　不図示の発光素子から発せられた光Ｌ０は、光分岐器３０を介して位相シフタアレイ２０Ａにおける複数の位相シフタ２０に入力される。位相シフタアレイ２０Ａにおける複数の位相シフタ２０を通過した光は、位相がＹ方向に一定量ずつシフトした状態で、光導波路アレイ１０Ａにおける複数の光導波路素子１０にそれぞれ入力される。光導波路アレイ１０Ａにおける複数の光導波路素子１０にそれぞれ入力された光は、光ビームＬ２として、ＸＹ平面に平行な光出射面１０ｓから、光出射面１０ｓに交差する方向に出射される。

　図１４Ｂは、光導波路素子１０の構造の例を模式的に示す図である。光導波路素子１０は、互いに対向する第１ミラー１１および第２ミラー１２と、第１ミラー１１と第２ミラー１２との間に位置する光導波層１５と、光導波層１５に駆動電圧を印加するための一対の電極１３および１４とを含む。光導波層１５は、例えば液晶材料または電気光学材料などの、電圧の印加によって屈折率が変化する材料によって構成され得る。第１ミラー１１の透過率は、第２ミラー１２の透過率よりも高い。第１ミラー１１および第２ミラー１２の各々は、例えば、複数の高屈折率層および複数の低屈折率層が交互に積層された多層反射膜から形成され得る。

　光導波層１５に入力された光は、光導波層１５内を第１ミラー１１および第２ミラー１２によって反射されながらＸ方向に沿って伝搬する。図１４Ｂにおける矢印は、光が伝搬する様子を模式的に表している。光導波層１５内を伝搬する光の一部は、第１ミラー１１から外部に出射される。

　電極１３、１４に駆動電圧を印加することにより、光導波層１５の屈折率が変化し、光導波路素子１０から外部に出射される光の方向が変化する。駆動電圧の変化に応じて、光導波路アレイ１０Ａから出射される光ビームＬ２の方向が変化する。具体的には、図１４Ａに示す光ビームＬ２の出射方向を、Ｘ軸に平行な第１の方向Ｄ１に沿って変化させることができる。

　図１４Ｃは、位相シフタ２０の例を模式的に示す図である。位相シフタ２０は、例えば熱によって屈折率が変化する熱光学材料を含む全反射導波路２１と、全反射導波路２１に熱的に接触するヒータ２２と、ヒータ２２に駆動電圧を印加するための一対の電極２３および２４とを含む。全反射導波路２１の屈折率は、ヒータ２２、基板４０および空気の屈折率よりも高い。屈折率差により、全反射導波路２１に入力された光は、全反射導波路２１内を全反射されながらＸ方向に沿って伝搬する。

　一対の第２電極２３および２４に駆動電圧を印加することにより、全反射導波路２１がヒータ２２によって加熱される。その結果、全反射導波路２１の屈折率が変化し、全反射導波路２１の端から出力される光の位相がシフトする。図１４Ａに示す複数の位相シフタ２０における隣り合う２つの位相シフタ２０から出力される光の位相差を変化させることにより、光ビームＬ２の出射方向を、Ｙ軸に平行な第２の方向Ｄ２に沿って変化させることができる。

　以上の構成により、スキャン光源１２１は、光ビームＬ２の出射方向を２次元的に変化させることができる。

　上記のようなスキャン光源１１２の動作原理、および動作方法などの詳細は、例えば特許文献４に開示されている。特許文献４の開示内容の全体を本明細書に援用する。

　次に、イメージセンサ２１１の構成例を説明する。イメージセンサ２１１は、受光面に沿って２次元に配列された複数の受光素子を備える。イメージセンサ２１１の受光面に対向して、不図示の光学部品が設けられ得る。光学部品は、例えば少なくとも１つのレンズを含み得る。光学部品は、プリズムまたはミラー等の他の光学素子を含んでいてもよい。光学部品は、シーン中の物体の１点から拡散した光がイメージセンサ２１１の受光面上の１点に集束するように設計され得る。

　イメージセンサ２１１は、例えばＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）センサ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ、または赤外線アレイセンサであり得る。各受光素子は、例えばフォトダイオードなどの光電変換素子と、１つ以上の電荷蓄積部とを含む。光電変換によって生じた電荷が、露光期間の間、電荷蓄積部に蓄積される。電荷蓄積部に蓄積された電荷は、露光期間終了後、出力される。このようにして、各受光素子は、露光期間の間に受けた光の量に応じた電気信号を出力する。この電気信号を「受光データ」と称することがある。イメージセンサ２１１は、モノクロタイプの撮像素子であってもよいし、カラータイプの撮像素子であってもよい。例えば、Ｒ／Ｇ／Ｂ、Ｒ／Ｇ／Ｂ／ＩＲ、またはＲ／Ｇ／Ｂ／Ｗのフィルタを有するカラータイプの撮像素子を用いてもよい。イメージセンサ２１１は、可視の波長範囲に限らず、例えば紫外、近赤外、中赤外、遠赤外などの波長範囲に検出感度を有していてもよい。イメージセンサ２１１は、ＳＰＡＤ（Ｓｉｎｇｌｅ　Ｐｈｏｔｏｎ　Ａｖａｌａｎｃｈｅ　Ｄｉｏｄｅ）を利用したセンサであってもよい。イメージセンサ２１１は、全画素の露光を一括で行なう電子シャッタ方式、すなわちグローバルシャッタの機構を備え得る。電子シャッタは、行毎に露光を行うローリングシャッタ方式、または光ビームの照射範囲に合わせた一部のエリアのみ露光を行うエリアシャッタ方式であってもよい。電子シャッタがグローバルシャッタ方式である場合、フラッシュ光と同期してシャッタを制御することで、１度で２次元情報を取得することができる。一方、ローリングシャッタ等のように、一部の画素ごとに露光タイミングを変えていく方式の場合、フラッシュ光の受光は露光タイミングの合った一部の画素でしかできず、露光タイミングが合わなかった画素では受光できないため、取得できる情報量が減る。ただし、これは、画素ごとにシャッタータイミングのずれ分を補正した距離計算の信号処理を行なうことで、解決することも可能である。これに対して、スキャン光の場合、照射する光の範囲が狭いため、一部の画素にしか反射光が戻ってこない。このため、グローバルシャッタ方式よりも、ローリングシャッタ等のように、一部の画素ごとに露光タイミングをスキャン光の出射方向に応じて変えていく方式の方が、効率的に多くの距離情報を取得することができる。ただし、スキャン光で測定すべき情報量がそれほど多くない場合、例えば対象物の数が１０個以下程度と少ない場合には、グローバルシャッタ方式と組み合わせても十分な情報量を取得することができる。以上のような特性を考慮して、イメージセンサ２１１は、電子シャッタの方式を切替え可能であってもよい。例えば、フラッシュ光による測距の際はグローバルシャッタ方式による露光を行い、スキャンビームによる測距の際はスキャンビームのスポット形状に合わせたローリングシャッタ方式、あるいはエリアシャッタ方式による露光を行ってもよい。

　次に、本実施形態の変形例を説明する。

　図１５は、本実施形態の変形例における測距装置の動作を示すフローチャートである。本変形例では、コントローラ３０１は、各フレーム動作において、フラッシュ光とスキャン光とを同時に出射するようにフラッシュ光源１１１およびスキャン光源１２１を制御する。コントローラ３０１は、図１５に示すステップＳ２０１からＳ２０９の動作を実行する。以下、各ステップの動作を説明する。

　（ステップＳ２０１）
　コントローラ３０１は、フラッシュ光源１１１およびスキャン光源１２１を駆動して、フラッシュ光とスキャン光とを同時に出射させる。フラッシュ光により、シーン中の比較的広い第１の範囲が照射される。一方、スキャン光により、シーン中の比較的狭い第２の範囲が照射される。このステップにおけるスキャン光の出射方向は、予め設定された特定の方向である。

　（ステップＳ２０２）
　コントローラ３０１は、イメージセンサ２１１に露光を実行させ、フラッシュ光およびスキャン光のそれぞれの反射光を検出させる。反射光の検出は、イメージセンサ２１１の画素ごとに行われる。イメージセンサ２１１は、蓄積された電荷量に応じた２次元画像データを出力する。ステップＳ２０１からＳ２０２の動作が第１フレーム動作に相当する。イメージセンサ２１１は、２次元画像データを基に、画素ごとの距離の値を有する距離画像データを生成し、出力する。あるいは、蓄積された電荷量から各画素ごとに距離を計算し、これをもとに２次元距離データを生成、出力しても良い。

　（ステップＳ２０３）
　コントローラ３０１は、イメージセンサ２１１から出力された距離画像データを取得する。図１６Ａは、距離画像の一例を示す図である。図１６Ａにおいて、スキャン光が照射された領域の例が楕円で示されている。なお、スキャン光の照射範囲は楕円に限らず、円などの他の形状でもよい。スキャン光源１２１がビーム形状またはビーム径を変更できるように構成されている場合、コントローラ３０１は、出射ごとにビーム形状またはビーム径を変更してもよい。この例では、第１の領域内の距離分布を示す画像が生成され、メモリ３３０に格納される。

　（ステップＳ２０４）
　コントローラ３０１は、ステップＳ２０３で生成された距離画像データに基づき、測距が不十分であると推定されるエリアを第２の範囲として特定する。この例においても、第２の範囲は、各画素の反射光強度に基づいて決定され得る。例えば、スキャン光の反射光の強度が十分に高いと判断した場合、コントローラ３０１は、反射光強度が閾値よりも低くＳＮが低い領域を第２の範囲として決定してもよい。また、スキャン光の反射光の強度が不十分と判断した場合も、コントローラ３０１は、出射方向を変更して反射光の強度がさらに高まる位置に照準を変えてもよい。このような制御により、得られる距離情報の量を増やすことができる。なお、スキャン光の反射光強度が適切なＳＮで得られている場合は、前フレーム動作で決定された第２の範囲を変更せず、同じ領域を照射してもよい。図１６Ｂは、選択される第２の範囲の例を示している。この例では、図１６Ａにおいて楕円で示される照射範囲とは異なる範囲が、次のフレーム動作において出射されるスキャン光の照射範囲、すなわち第２の範囲として設定される。

　（ステップＳ２０５）
　コントローラ３０１は、次のフレーム動作におけるスキャンビームの出射方向を決定する。出射方向は、ステップＳ２０４で決定された第２の範囲の少なくとも一部がスキャンビームで照射される方向に決定される。

　続いて、第１フレーム動作に続く第２フレーム動作に相当するステップＳ２０６からＳ２０７の動作が実行される。

　（ステップＳ２０６）
　コントローラ３０１は、フラッシュ光源１１１およびスキャン光源１２１を駆動して、フラッシュ光とスキャンビームとを同時に出射させる。スキャンビームの出射方向は、ステップＳ２０５で決定された方向である。図１６Ｃは、スキャンビームが照射される範囲の例を示している。図１６Ｃにおいて、スキャンビームが照射される範囲が楕円で示されている。

　（ステップＳ２０７）
　コントローラ３０１は、イメージセンサ２１１に露光を実行させ、フラッシュ光およびスキャン光のそれぞれの反射光を検出させる。反射光の検出は、イメージセンサ２１１の画素ごとに行われる。イメージセンサ２１１は、画素ごとの距離の値を示す距離画像データを生成し、記録媒体に記録する。

　（ステップＳ２０８）
　コントローラ３０１は、ステップＳ２０７において出力された距離画像データを記録媒体から取得する。

　（ステップＳ２０９）
　コントローラ３０１は、距離画像データを記録媒体に出力する。このとき、イメージセンサ２１１または図示されていない他のイメージセンサから取得した輝度画像データを併せて出力してもよい。

　以上の動作によっても、フラッシュ光のみを用いた場合よりも高精度の距離データを取得することができる。また、スキャン光のみを用いてシーンの全域をスキャンする構成と比較して、短時間で必要な距離データを取得することができる。

　図１５に示す変形例では、第２フレーム動作におけるスキャンビームの出射方向が、直前の第１フレーム動作で取得された検出データに基づいて決定されるが、第１フレーム動作よりもさらに前のフレーム動作で取得された検出データに基づいて決定されてもよい。

　また、図１５は、２フレーム分の動作のみを示しているが、連続的に複数回の測距を行う場合、図１５に示すステップＳ２０４からＳ２０９に示す動作は繰り返し実行され得る。以下、そのような繰り返し動作を行う場合の例を説明する。

　図１７は、複数のフレーム動作が繰り返される動作の例を示すフローチャートである。図１７に示す例では、図５に示す例と同様、まずフラッシュ光のみを用いて距離画像データが生成される（ステップＳ１０１からＳ１０３）。次に、図１５に示す例と同様、スキャンビームの照射範囲が決定され、スキャンビームとフラッシュ光とが同時に出射され、距離画像データが生成される（ステップＳ２０４からＳ２０９）。ステップＳ２０９の後、コントローラ３０１は、動作終了の指示の有無を判断する（ステップＳ２１０）。動作終了の指示は、例えばユーザの操作に起因して他の装置から入力され得る。動作終了の指示がない場合、ステップ２０４に戻り、次のスキャンビームの照射範囲が直前に取得された距離画像データに基づいて決定される。ステップＳ２１０において動作終了の指示を受けるまで、コントローラ３０１は、ステップＳ２０４からＳ２１０の動作を繰り返す。この繰り返しの周波数は、用途に応じて任意に設定され得る。例えば、毎秒３０フレーム（３０ｆｐｓ）程度の周波数で上記動作を繰り返すことができる。この例では、ステップＳ２０４からＳ２１０の１サイクルの動作を、「フレーム動作」と称する。コントローラ３０１は、複数のフレーム動作を繰り返し実行することで、シーン内の測距データを繰り返し出力する。なお、ステップＳ１０１からＳ１０３は必ずしも必要ではなく、以前のフレーム動作で取得された距離画像データを用いて、ステップＳ２０４以降を実行してもよい。

　図１８は、本変形例におけるフラッシュ光およびスキャンビームの発光タイミングと、露光タイミングの例を示す図である。各フレーム動作において、コントローラ３０１は、発光装置に、フラッシュ光とスキャンビームとを同時に出射させ、イメージセンサ２１１に、それぞれの反射光を同一の露光期間内に検出させる。このような動作により、フラッシュ光だけでは反射光が弱く測距できない領域についても、高精度の測距が可能である。

　図１９は、他の変形例による測距装置の動作を示すフローチャートである。図１９に示すフローチャートは、ステップＳ２０６がステップＳ２１６に置き換わった点を除き、図１７のフローチャートと同じである。本変形例でも、コントローラ３０１は、複数のフレーム動作を繰り返し実行する。各フレーム動作において、コントローラ３０１は、スキャン光源１２１にスキャン光を出射させ、その後、フラッシュ光源１１１にフラッシュ光を出射させる（ステップＳ２１６）。コントローラ３０１は、スキャン光およびフラッシュ光のそれぞれの反射光を同一の露光期間に検出させる（ステップＳ２０７）。なお、本変形例においてもステップＳ１０１からＳ１０３は必ずしも必要ではなく、以前のフレーム動作で取得された距離画像データを用いて、ステップＳ２０４以降を実行してもよい。

　図２０は、本変形例における発光と受光のタイミングを示す図である。図示されるように、スキャンビームが出射された後、所定のディレイ時間が経過した後、フラッシュ光が出射される。これにより、フラッシュ光による測距の測定レンジ外にある遠方の対象物についても同一の露光期間で測距することができる。スキャン光の反射光を受光した画素における距離は、フラッシュ光の反射光を受光した画素における距離の計算式に、「ディレイ時間」×「光速」で計算される距離の値を加算することによって計算できる。この例において、例えば、フラッシュ光による測定レンジを０ｍから５０ｍとすると、フラッシュ光のパルス幅は１６７ｎｓに設定される。それに合わせて１６７ｎｓの露光時間窓が３つ設けられる。フラッシュ光よりも２００ｎｓだけ前にパルス幅１６７ｎｓのスキャン光を出射した場合、スキャン光の距離レンジは２０～７０ｍとなる。また、ディレイを５０ｍ分遅らせる３３０ｎｓとした場合には、距離レンジは５０ｍ～１００ｍとなる。このような露光動作を、フラッシュ光では正確に測距できない対象物に対して適用することで、フラッシュ光のみを用いた場合と比較して、測距可能な測距レンジを拡大することができる。

　図２１は、各フレーム動作中に、フラッシュ光およびスキャンビームのそれぞれを複数回出射して露光する場合の発光タイミングおよび露光タイミングの例を示している。このように、各フレーム動作において、複数回の発光および露光を繰り返すことによって信号蓄積量を増加させてもよい。この例では、フレームごとに、所定回数の露光が終了した時点で、各画素のデータが読み出され、そのフレームの測距データが出力される。

　図２２は、フラッシュ光よりも先にスキャン光を出射する構成において、直接ＴＯＦ法による測距を行う場合の発光と受光のタイミングの例を示す図である。図２２には、フラッシュ光の反射光を受ける画素領域と、スキャン光の反射光を受ける画素領域のそれぞれにおける反射光パルス、ゲート信号、およびクロックパルスの例が示されている。フラッシュ光を出射してから反射光を受光するまでの間のクロックパルスをカウントすることにより、飛行時間を計測し、距離を計算できる。この例のように、直接ＴＯＦ法を用いた場合でも、測距が可能である。この場合においても、スキャン光の反射光を受光する画素の距離は、フラッシュ光の反射光を受光した画素における距離の計算式に「ディレイ時間」×「光速」で計算される距離を加算することによって計算できる。

　（実施形態２）
　次に、本開示の実施形態２を説明する。本実施形態では、実施形態１とは異なり、フラッシュ光源１１１の照射によって得られた輝度画像データに基づいて、スキャンビームの照射範囲が決定される。例えば、輝度画像データから、画像認識によって歩行者または車両などの特定の対象物の位置を特定し、その位置に向けてスキャンビームが出射される。このような動作により、当該対象物までの距離データを高い精度で得ることができる。

　図２３は、本実施形態における測距装置の構成を示す図である。本実施形態の測距装置は、実施形態１の構成要素に加えて、画像処理回路３０３をさらに備えている。イメージセンサ２１１は、距離画像に加えて輝度画像のデータを出力するように構成されている。画像処理回路３０３は、例えばＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）などの画像処理用のプロセッサを含む。画像処理回路３０３は、画像データから特定の物体を認識することができる。画像処理回路３０３は、輝度画像に基づいて、特定の対象物の位置を特定し、当該対象物の位置を示すデータをコントローラ３０１に送る。コントローラ３０１は、その位置にスキャンビームが照射されるように、スキャン光源１２１を制御する。なお、コントローラ３０１と、画像処理回路３０３は、１つの処理回路として統合されていてもよい。

　図２３に示すコントローラ３０１は、イメージセンサ２１１から出力されたデータに基づき、距離画像データと輝度画像データとを別々に生成して出力する。コントローラ３０１はまた、人または車両などの対象物を特定するデータ、および対象物の座標データを出力する。これらの対象物に関するデータは、画像処理回路３０３から出力されてもよい。対象物に関するデータは、図示されるように距離画像または輝度画像とは別のデータとして出力されていてもよいし、距離画像または輝度画像に統合して出力されてもよい。

　図２４は、本実施形態の測距装置による１回の測距動作の流れを示すフローチャートである。コントローラ３０１および画像処理回路３０３は、図２４に示すステップＳ３０１からＳ３０９の動作を実行することにより、シーンの測距データを生成する。以下、各ステップの動作を説明する。

　（ステップＳ３０１）
　コントローラ３０１は、フラッシュ光源１１１を駆動して、フラッシュ光を出射させる。フラッシュ光により、シーン中の比較的広い第１の範囲が照射される。

　（ステップＳ３０２）
　コントローラ３０１は、イメージセンサ２１１に露光を実行させ、フラッシュ光の反射光を検出させる。反射光の検出は、イメージセンサ２１１の画素ごとに行われる。イメージセンサ２１１は、画素ごとの反射光強度を示す輝度データを含む輝度画像データを出力する。イメージセンサ２１１は、実施形態１と同様に距離画像データを併せて出力してもよい。本実施形態でも、直接ＴＯＦまたは間接ＴＯＦの技術を利用して、画素ごとに距離を計算することができる。フラッシュ光の照射とイメージセンサによる露光を複数回繰り返すことで各画素の信号を蓄積してもよい。そのような動作により、ＳＮを向上させることができる。

　（ステップＳ３０３）
　コントローラ３０１は、イメージセンサ２１１から出力された輝度画像データを取得する。図２５Ａは、輝度画像の一例を示す図である。この例のように、第１の領域内の輝度分布を示す画像が生成され、メモリ３３０に格納される。この輝度画像データは、画像処理回路３０３に送られる。

　（ステップＳ３０４）
　画像処理回路３０３は、輝度画像データから、測距すべき１つ以上の対象物を検出する。対象物として、例えば人、車、または特定できない未知の物体が選択され得る。画像処理回路３０３は、例えば公知の画像認識技術を用いて、画像の特徴に基づき、特定の対象物を特定することができる。本実施形態では、フラッシュ光を照射した状態で輝度画像データが取得されるため、夜間でもイメージデータを取得することができる。フラッシュ光源１１１として、例えば車両のヘッドライトが用いられ得る。ヘッドライトに代えて、例えば近赤外光を出射する光源を使用して輝度画像データを取得してもよい。図２５Ｂは、輝度画像中で特定の対象物が存在するエリアの例を示す図である。この図において、複数の対象物のエリアが破線枠で示されている。この例のように、画像処理回路３０３は、シーンの中から１つ以上の対象物の位置を特定し、その位置座標を示すデータをコントローラ３０１に送る。

　（ステップＳ３０５）
　コントローラ３０１は、対象物の位置データに基づき、スキャンビームの出射方向を決定する。出射方向は、特定された対象物が存在する領域（すなわち第２の範囲）の少なくとも一部がスキャンビームで照射される方向に設定される。コントローラ３０１は、スキャンビームの方向だけでなく、第２の範囲の分布に応じて、ビーム形状および／またはビーム径を調整してもよい。

　（ステップＳ３０６）
　コントローラ３０１は、決定した出射方向にスキャンビームを出射するようにスキャン光源１２１に指示する。これにより、第２の範囲の少なくとも一部がスキャンビームで照射される。ここで、１回のスキャンビームの出射では光量が不足する場合は、同一の方向に複数回スキャンビームを出射し、露光を繰り返すことで信号を蓄積してもよい。図２５Ｃは、スキャンビームが照射される範囲の例を示している。図２５Ｃには、スキャンビームが照射される範囲の例が楕円で表現されている。図２５Ｃには、方向の異なる２つのスキャンビームによって照射される２つの範囲が例示されている。コントローラ３０１は、スキャンビームの方向を変更して繰り返し照射することで、第２の範囲の全体が照射されるようにしてもよい。あるいは、複数のスキャンビームを異なる方向に同時に出射してもよい。図２５Ｄは、スキャンビームが照射される範囲の他の例を示している。この例では、検出された対象物が、ビーム形状の異なる複数のスキャンビームで照射される様子が示されている。この例のように、第２の範囲の大きさまたは分布に応じて、ビーム形状を変更してもよい。例えば、人と自動車とでは大きさが異なるので、その大きさに合わせてビームのスポットサイズを変更してもよい。このような制御を行うことにより、必要十分な対象物の測距データを得ることができる。図２５Ｃおよび図２５Ｄの例では、複数の対象物に１つのビームが照射されているが、対象物ごとに１つのビームを出射してもよい。

　（ステップＳ３０７）
　コントローラ３０１は、イメージセンサ２１１に、スキャンビームの反射光を検出させ、スキャンビームの照射範囲における距離データを出力させる。ここで、スキャンビームが複数回出射される場合は、露光もスキャンビームの出射ごとに行われる。その場合、ステップＳ３０５からＳ３０７の動作が、スキャンが完了するまで繰り返される。

　（ステップＳ３０８）
　コントローラ３０１は、イメージセンサ２１１によって生成された第２の範囲についての距離データを取得する。この距離データは、スキャンビームが照射された第２の範囲に対応する複数の画素の距離の値を示すデータである。

　（ステップＳ３０９）
　コントローラ３０１は、ステップＳ３０３で取得した輝度画像データと、ステップＳ３０８で取得した距離データとに基づいて、出力用のデータを生成して出力する。この出力データは、シーンの輝度分布、および各対象物の位置および距離の情報を含み得る。出力データには、シーンの距離分布を示すデータが含まれていてもよい。例えば、ステップＳ３０３において、イメージセンサ２１１が輝度画像データに加えて距離画像データを生成するように構成されている場合、その距離画像データを出力データに含めてもよい。

　測距装置は、図２４に示す動作を繰り返すごとに、距離画像データと輝度画像データの２種類のデータを出力することができる。ここで、距離画像データと輝度画像データとは、各々が１フレームのデータとして出力されても良いし、統合された１フレームのデータとして出力されてもよい。また、本実施形態においても、３次元点群データが出力データに含まれていてもよい。

　以上の動作により、輝度画像から認識された特定の対象物の距離データを効果的に取得することができる。例えば測距装置が自動運転のためのセンサとして用いられる場合、人または車両などの動く物体をターゲットに、測距することができる。そのような動く対象物にスキャン光の照準を合わせ、測距を行うことで、動きをトラッキングすることもできる。その動きから、移動しようとしている方向（例えば速度ベクトル）を計算することができる。速度ベクトルに基づいて、動きの予測を行うことができる。このような動作予測が可能になることで、必要以上に減速することなく自動走行を円滑に行うことができる。また、より詳細に対象物を調べたい場合にも、同様の技術を適用できる。例えば、路面に落ちている未知の障害物に関しては、そのサイズまたは距離が画像のみからでは判別できない場合がある。そこで、スキャン光で距離を測定し、イメージングの結果と照合することで、外形の大きさを算出できる。これにより、避けなくてもよいのか、避けるべきか、といった判断が可能になる。

　図２６は、本実施形態の変形例の動作を示すフローチャートである。このフローチャートは、ステップＳ３０３およびＳ３０４が、それぞれステップＳ４０３およびＳ４０４に置き換わった点を除き、図２４に示すフローチャートと同じである。本変形例では、ステップＳ４０３において、輝度画像データおよび距離画像データの両方をイメージセンサ２１１から取得する。ステップＳ３０４において、画像処理回路３０３は、距離画像データから測距不十分なエリアを特定し、輝度画像データから特定の対象物を特定する。測距不十分なエリアを特定する方法は、図５のステップＳ１０４における方法と同じである。画像処理回路３０３は、測距不十分なエリアと、特定の対象物が存在するエリアの位置データをコントローラ３０１に送る。コントローラ３０１は、ステップＳ３０５において、取得した当該エリアの位置データに基づき、スキャンビームの出射方向、ビーム形状、ビームサイズなどを決定する。

　本変形例によれば、輝度画像データおよび距離画像データの両方に基づき、より詳細な測距が必要な領域をより高い精度で測距することができる。例えば、フラッシュ光による測距で全体像を把握しながら、トラッキングして動きを予測すべき人もしくは車、またはサイズの特定が必要な対象物に照準を合わせて測距を行うことができる。これにより、例えば自動運転車用のセンサとして測距装置が利用される場合に、必要以上に減速することなく自動走行を円滑に行うことができる。

　以上の実施形態の構成および動作は、可能な範囲で適宜組み合わせることができる。例えば、実施形態２の動作と、図７に示すようなスキャン動作、図１７に示すような周期的なフレーム動作、またはフラッシュ光とスキャン光との同時照射を組み合わせてもよい。

　以上の実施形態において、輝度画像および距離画像は、１つのイメージセンサ２１１によって取得されるが、これらを２つのイメージセンサが取得するようにしてもよい。すなわち、測距装置は、輝度画像データを生成する第１のイメージセンサと、距離画像データを生成する第２のイメージセンサとを含んでいてもよい。

　以上のように、本開示の一態様に係る測距装置は、拡がりの程度の異なる複数種類の光を出射することが可能な発光装置と、前記発光装置から出射された前記光に基づく反射光を検出する受光装置と、前記発光装置および前記受光装置を制御し、前記受光装置から出力された信号を処理する処理回路と、を備える。前記処理回路は、前記発光装置に、シーン内の第１の範囲を照射する第１の光を出射させ、前記受光装置に、前記第１の光の照射によって生じた第１の反射光を検出させて第１の検出データを出力させ、前記第１の検出データに基づき、前記第１の範囲よりも狭い１つ以上の第２の範囲を決定し、前記発光装置に、前記第２の範囲を照射する、前記第１の光よりも拡がりの程度が小さい第２の光を出射させ、前記受光装置に、前記第２の光の照射によって生じた第２の反射光を検出させて第２の検出データを出力させ、前記第２の検出データに基づき、前記第２の範囲の距離データを生成して出力する。

　上記の測距装置によれば、第１の光のみを用いた場合には十分な精度で距離を計測できない領域についても、第２の光を用いることで、より高い精度で距離を計測することができる。さらに、第２の光でシーン全体をスキャンすることでシーン全体の距離データを取得する構成と比較して、短い時間で必要な距離データを取得することができる。このため、信頼性の高い距離データを短時間で取得することが可能である。

　前記第１の光は、例えばフラッシュ光であり得る。前記第２の光は、前記フラッシュ光の照射範囲に含まれる範囲を照射する光ビームであり得る。前記フラッシュ光は、例えば車両のヘッドライトであってもよい。フラッシュ光を用いることにより、例えば夜間でも広範囲の第１の検出データを取得することができる。

　前記受光装置は、前記第１の範囲の距離画像データ、および前記第１の範囲の輝度画像データの少なくとも一方を、前記第１の検出データとして生成するイメージセンサを備えていてもよい。そのようなイメージセンサを備えた受光装置を用いることにより、第１の範囲の距離画像データまたは輝度画像データに基づいて、より詳細な測距が必要な第２の範囲を決定することができる。

　前記イメージセンサは、前記第１の範囲の距離画像データを生成してもよい。前記処理回路は、前記第１の範囲の距離画像データに基づき、前記第２の範囲を決定してもよい。これにより、第１の範囲の距離画像データに基づいて、より詳細な測距が必要な第２の範囲を決定することができる。例えば、測距の精度が不十分な範囲を第２の範囲として決定することができる。

　前記処理回路は、前記第１の光を用いて取得された前記第１の範囲の距離画像データと、前記第２の光を用いて取得された前記第２の範囲の距離画像データとを１フレームの距離画像データに統合して出力してもよい。これにより、高い精度の統合された距離画像データを取得することができる。

　前記イメージセンサは、前記第１の範囲の輝度画像データを生成してもよい。前記処理回路は、前記第１の範囲の輝度画像データに基づき、前記第２の範囲を決定してもよい。これにより、第１の範囲の輝度画像データに基づいて、より詳細な測距が必要な第２の範囲を決定することができる。例えば、輝度画像データから認識された特定の対象物が存在する範囲を第２の範囲として決定することができる。

　前記イメージセンサは、前記第１の範囲の距離画像データ、および前記第１の範囲の輝度画像データの両方を生成してもよい。前記処理回路は、前記第１の範囲の距離画像データおよび前記第１の範囲の輝度画像データに基づき、前記第２の範囲を決定してもよい。これにより、例えば距離画像データに基づいて決定される測距が不十分な範囲と、輝度画像データに基づいて決定される特定の対象物が存在する範囲とを、第２の範囲として決定することができる。

　前記処理回路は、前記第１の範囲の輝度画像データに基づき、前記第１の範囲内に存在する１つ以上の対象物を特定し、前記１つ以上の対象物に前記第２の光が照射されるように、前記第２の範囲を決定してもよい。

　前記イメージセンサは、グローバルシャッタ方式の電子シャッタを備えていてもよい。電子シャッタがグローバルシャッタ方式である場合、第１の光と同期してシャッタのオンおよびオフを制御することにより、２次元情報を一度に取得することができる。

　前記処理回路は、前記発光装置および前記受光装置に、前記第１の光を少なくとも１回出射させ、前記第１の反射光を検出させる動作と、前記第２の光を少なくとも１回出射させ、前記第２の反射光を検出させる動作とを、繰り返し実行させてもよい。これにより、シーンの距離データを繰り返し生成することができる。

　前記第２の光を出射させる動作は、異なる方向に複数回前記第２の光を出射させる動作を含んでいてもよい。これにより、第２の光によって第２の範囲をスキャンすることができる。

　前記処理回路は、前記発光装置に、前記第１の光および前記第２の光を同時に複数回出射させてもよい。前記第２の範囲の決定は、それ以前の前記第１の光の照射によって取得された前記第１の検出データに基づいて行われ得る。

　前記処理回路は、前記発光装置および前記受光装置に、前記第２の光を出射させ、その後、前記第１の光を出射させ、その後、前記第１の反射光と前記第２の反射光とを同一の露光期間内に検出させる動作を繰り返し実行させてもよい。前記第２の範囲の決定は、それ以前の前記第１の光の照射によって取得された前記第１の検出データに基づいて行われ得る。

　前記発光装置は、前記第１の光を出射する第１の光源と、前記第２の光を出射する第２の光源と、を備えていてもよい。

　本開示の他の態様に係る方法は、発光装置に、シーン内の第１の範囲を照射する第１の光を出射させることと、受光装置に、前記第１の光の照射によって生じた第１の反射光を検出させて第１の検出データを出力させることと、前記第１の検出データに基づき、前記第１の範囲よりも狭い１つ以上の第２の範囲を決定することと、前記発光装置に、前記第２の範囲を照射する、前記第１の光よりも拡がりの程度が小さい第２の光を出射させることと、前記受光装置に、前記第２の光の照射によって生じた第２の反射光を検出させて第２の検出データを出力させることと、前記第２の検出データに基づき、前記第２の範囲の距離データを生成して出力することと、を含む。

　本開示のさらに他の態様に係るコンピュータプログラムは、発光装置と、受光装置と、前記発光装置および前記受光装置を制御し、前記受光装置から出力された信号を処理する処理回路と、を備えたシステムにおける前記処理回路によって実行される。前記コンピュータプログラムは、前記処理回路のプロセッサに、前記発光装置に、シーン内の第１の範囲を照射する第１の光を出射させることと、前記受光装置に、前記第１の光の照射によって生じた第１の反射光を検出させて第１の検出データを出力させることと、前記第１の検出データに基づき、前記第１の範囲よりも狭い１つ以上の第２の範囲を決定することと、前記発光装置に、前記第２の範囲を照射する、前記第１の光よりも拡がりの程度が小さい第２の光を出射させることと、前記受光装置に、前記第２の光の照射によって生じた第２の反射光を検出させて第２の検出データを出力させることと、前記第２の検出データに基づき、前記第２の範囲の距離データを生成して出力することと、を実行させる。

　本開示の技術は、測距を行う装置またはシステムに広く利用可能である。例えば、本開示の技術は、ＬＩＤＡＲシステムの構成要素として使用され得る。

　１００　発光装置
　１１０　第１光源
　１１１　フラッシュ光源
　１２０　第２光源
　１２１　スキャン光源
　２００　受光装置
　２１０、２１１　イメージセンサ
　３００　処理回路
　３０１　コントローラ
　３０３　画像処理回路
　３３０　メモリ

Claims

　拡がりの程度の異なる複数種類の光を出射することが可能な発光装置と、
　前記発光装置から出射された前記光に基づく反射光を検出する受光装置と、
　前記発光装置および前記受光装置を制御し、前記受光装置から出力された信号を処理する処理回路と、
を備え、
　前記処理回路は、
　　前記発光装置に、シーン内の第１の範囲を照射する第１の光を出射させ、
　　前記受光装置に、前記第１の光の照射によって生じた第１の反射光を検出させて第１の検出データを出力させ、
　　前記第１の検出データに基づき、前記第１の範囲よりも狭い１つ以上の第２の範囲を決定し、
　　前記発光装置に、前記第２の範囲を照射する、前記第１の光よりも拡がりの程度が小さい第２の光を出射させ、
　　前記受光装置に、前記第２の光の照射によって生じた第２の反射光を検出させて第２の検出データを出力させ、
　　前記第２の検出データに基づき、前記第２の範囲の距離データを生成して出力する、
　測距装置。
　前記第１の光は、フラッシュ光であり、
　前記第２の光は、前記フラッシュ光の照射範囲に含まれる範囲を照射する光ビームである、
　請求項１に記載の測距装置。
　前記受光装置は、前記第１の範囲の距離画像データ、および前記第１の範囲の輝度画像データの少なくとも一方を、前記第１の検出データとして生成するイメージセンサを備える、請求項１または２に記載の測距装置。
　前記イメージセンサは、前記第１の範囲の距離画像データを生成し、
　前記処理回路は、前記第１の範囲の距離画像データに基づき、前記第２の範囲を決定する、
　請求項３に記載の測距装置。
　前記処理回路は、前記第１の光を用いて取得された前記第１の範囲の距離画像データと、前記第２の光を用いて取得された前記第２の範囲の距離画像データとを１フレームの距離画像データに統合して出力する、
　請求項４に記載の測距装置。
　前記イメージセンサは、前記第１の範囲の輝度画像データを生成し、
　前記処理回路は、前記第１の範囲の輝度画像データに基づき、前記第２の範囲を決定する、
　請求項３に記載の測距装置。
　前記イメージセンサは、前記第１の範囲の距離画像データ、および前記第１の範囲の輝度画像データの両方を生成し、
　前記処理回路は、前記第１の範囲の距離画像データおよび前記第１の範囲の輝度画像データに基づき、前記第２の範囲を決定する、
　請求項３に記載の測距装置。
　前記処理回路は、前記第１の範囲の輝度画像データに基づき、前記第１の範囲内に存在する１つ以上の対象物を特定し、前記１つ以上の対象物に前記第２の光が照射されるように、前記第２の範囲を決定する、請求項６または７に記載の測距装置。
　前記イメージセンサは、グローバルシャッタ方式の電子シャッタを備える、請求項３から８のいずれかに記載の測距装置。
　前記処理回路は、前記発光装置および前記受光装置に、前記第１の光を少なくとも１回出射させ、前記第１の反射光を検出させる動作と、前記第２の光を少なくとも１回出射させ、前記第２の反射光を検出させる動作とを、繰り返し実行させる、
　請求項１から９のいずれかに記載の測距装置。
　前記第２の光を出射させる動作は、異なる方向に複数回前記第２の光を出射させる動作を含む、
　請求項１０に記載の測距装置。
　前記処理回路は、前記発光装置に、前記第１の光および前記第２の光を同時に複数回出射させ、
　前記第２の範囲の決定は、それ以前の前記第１の光の照射によって取得された前記第１の検出データに基づいて行われる、
　請求項１から１１のいずれかに記載の測距装置。
　前記処理回路は、前記発光装置および前記受光装置に、前記第２の光を出射させ、その後、前記第１の光を出射させ、その後、前記第１の反射光と前記第２の反射光とを同一の露光期間内に検出させる動作を繰り返し実行させ、
　前記第２の範囲の決定は、それ以前の前記第１の光の照射によって取得された前記第１の検出データに基づいて行われる、
　請求項１から１１のいずれかに記載の測距装置。
　前記発光装置は、
　　前記第１の光を出射する第１の光源と、
　　前記第２の光を出射する第２の光源と、
を備える、請求項１から１３のいずれかに記載の測距装置。
　発光装置に、シーン内の第１の範囲を照射する第１の光を出射させることと、
　受光装置に、前記第１の光の照射によって生じた第１の反射光を検出させて第１の検出データを出力させることと、
　前記第１の検出データに基づき、前記第１の範囲よりも狭い１つ以上の第２の範囲を決定することと、
　前記発光装置に、前記第２の範囲を照射する、前記第１の光よりも拡がりの程度が小さい第２の光を出射させることと、
　前記受光装置に、前記第２の光の照射によって生じた第２の反射光を検出させて第２の検出データを出力させることと、
　前記第２の検出データに基づき、前記第２の範囲の距離データを生成して出力することと、
　を含む方法。
　発光装置と、受光装置と、前記発光装置および前記受光装置を制御し、前記受光装置から出力された信号を処理する処理回路と、を備えたシステムにおける前記処理回路によって実行されるコンピュータプログラムであって、前記処理回路のプロセッサに、
　前記発光装置に、シーン内の第１の範囲を照射する第１の光を出射させることと、
　前記受光装置に、前記第１の光の照射によって生じた第１の反射光を検出させて第１の検出データを出力させることと、
　前記第１の検出データに基づき、前記第１の範囲よりも狭い１つ以上の第２の範囲を決定することと、
　前記発光装置に、前記第２の範囲を照射する、前記第１の光よりも拡がりの程度が小さい第２の光を出射させることと、
　前記受光装置に、前記第２の光の照射によって生じた第２の反射光を検出させて第２の検出データを出力させることと、
　前記第２の検出データに基づき、前記第２の範囲の距離データを生成して出力することと、
を実行させるコンピュータプログラム。