WO2021019906A1

WO2021019906A1 - 測距装置、情報処理方法、および情報処理装置

Info

Publication number: WO2021019906A1
Application number: PCT/JP2020/022058
Authority: WO
Inventors: 加藤　弓子; 安寿稲田; 敏康杉尾; 賀敬井口
Original assignee: パナソニックＩｐマネジメント株式会社
Priority date: 2019-07-26
Filing date: 2020-06-04
Publication date: 2021-02-04
Also published as: JPWO2021019906A1; US20220075077A1

Abstract

測距装置は、複数の光ビームを異なる方向および異なるタイミングでシーンに向けて出射する発光装置と、複数の受光素子のアレイを含み、各光ビームの出射によって生じた前記シーンからの反射光を前記複数の受光素子によって検出する受光装置と、前記受光装置から出力された信号に基づいて、前記シーン中の複数の点の位置または距離を示す計測データを含む出力データを生成して出力する信号処理回路と、を備える。前記出力データは、各々が前記複数の点のうちの一部の点の前記計測データ含む複数のブロックのデータを含む。前記複数のブロックの各々に個別の時刻データが付与されている。

Description

測距装置、情報処理方法、および情報処理装置

　本開示は、測距装置、情報処理方法、および情報処理装置に関する。

　従来、光で空間を走査（スキャン）し、物体からの反射光を受光して物体までの距離を計測する種々のデバイスが提案されている。対象シーンの距離情報は、例えば３次元の点群（point cloud）のデータに変換され、利用され得る。点群データは、典型的には、シーン中で物体が存在する点の分布が３次元座標で表現されたデータである。

　特許文献１および２は、光ビームによって空間を走査し、光センサによって物体からの反射光を検出することで物体までの距離情報を取得するシステムを開示している。当該システムは、点群データの各点に計測時刻が対応付けられた情報を生成して出力する。

　特許文献３および４は、光ビームによって空間を走査し、イメージセンサによって物体からの反射光を受光して距離情報を取得する装置を開示している。

特開２０１１－１７０５９９号公報特開２００９－２９４１２８号公報特開２０１６－２２４０６２号公報米国特許出願公開第２０１８／０２１７２５８号明細書

　本開示は、距離データまたは距離画像の取得および処理に関する技術を提供する。例えば、本開示の一態様は、複数の装置によって個別に生成された距離画像データまたは点群データの統合を容易にする技術を提供する。また、本開示の一態様は、距離画像データまたは点群データと他のデータとの統合を容易にする技術を提供する。

　本開示の一態様に係る測距装置は、複数の光ビームを異なる方向および異なるタイミングでシーンに向けて出射する発光装置と、複数の受光素子のアレイを含み、各光ビームの出射によって生じた前記シーンからの反射光を前記複数の受光素子によって検出する受光装置と、前記受光装置から出力された信号に基づいて、前記シーン中の複数の点の位置または距離を示す計測データを含む出力データを生成して出力する信号処理回路と、を備える。前記出力データは、各々が前記複数の点のうちの一部の点の前記計測データを含む複数のブロックのデータを含み、前記複数のブロックの各々に個別の時刻データが付与されている。

　本開示の他の態様に係る情報処理方法は、シーン中の複数の点の位置または距離を示す第１の計測データを含む第１の出力データであって、各々が前記複数の点のうちの一部の点の前記第１の計測データを含む複数のブロックのデータを含み、且つ前記複数のブロックの各々に個別の時刻データが付与されている第１の出力データと、前記シーン中の他の複数の点の位置または距離を示す第２の計測データを含み、且つ前記他の複数の点の各々の前記第２の計測データに時刻データが付与されている第２の出力データとを取得し、前記第１の出力データおよび前記第２の出力データから、所定の時刻範囲に含まれる時刻データを有する１つ以上の点の前記第１の計測データおよび１つ以上の点の前記第２の計測データをそれぞれ抽出して同一の座標系に統合することにより、３次元点群データを生成する。

　本開示の他の態様に係る情報処理装置は、プロセッサを備え、前記プロセッサは、複数の受光素子のアレイを含む受光装置によって異なるタイミングで検出された受光データを取得し、前記受光データを基にシーン中の複数の点の位置または距離を示す計測データを生成し、各々が前記複数の点の一部の点の前記計測データを含む複数のブロックのデータを含み、前記複数のブロックの各々に個別の時刻データが付与された出力データを生成し、出力する。

　本開示の包括的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能な記録ディスク等の記録媒体によって実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意の組み合わせによって実現されてもよい。コンピュータ読み取り可能な記録媒体は、揮発性の記録媒体を含んでいてもよいし、ＣＤ－ＲＯＭ（Compact Disc‐Read Only Memory）等の不揮発性の記録媒体を含んでいてもよい。装置は、１つ以上の装置で構成されてもよい。装置が２つ以上の装置で構成される場合、当該２つ以上の装置は、１つの機器内に配置されてもよく、分離した２つ以上の機器内に分かれて配置されてもよい。本明細書および特許請求の範囲では、「装置」とは、１つの装置を意味し得るだけでなく、複数の装置からなるシステムも意味し得る。

　本開示の一態様によれば、距離画像データまたは点群データを含むデータの統合が容易になる。

　本開示に含まれる様々な態様における付加的な恩恵および有利な点は本明細書および図面から明らかとなる。この恩恵および／または有利な点のそれぞれは、本明細書および図面に開示された様々な態様または各態様における一部の特徴により個別に提供され得るものであり、恩恵および／または有利な点の１つ以上を得るために特徴の全てが必要ではない。

交通環境を監視するシステムを模式的に示す概念図である。上記システムの構成例を示すブロック図である。上記システムにおけるデータの流れの一例を簡略化して示す図である。実施形態１に係る測距装置の構成を示すブロック図である。光ビームによって測距対象のシーンが走査される様子を模式的に示す図である。記録媒体に記録される情報の例を示す第１の図である。記録媒体に記録される情報の例を示す第２の図である。記録媒体に記録される情報の例を示す第３の図である。出力データ形式の一例を示す図である。出力データ形式の他の例を示す図である。発光デバイスの一例を模式的に示す斜視図である。１つの光導波路素子の断面の構造および伝搬する光の例を模式的に示す図である。光導波路アレイの出射面に垂直な方向に光を出射する光導波路アレイの断面を示す図である。光導波路アレイの出射面に垂直な方向とは異なる方向に光を出射する光導波路アレイの断面を示す図である。３次元空間における光導波路アレイを模式的に示す斜視図である。光導波路アレイおよび位相シフタアレイを、光出射面の法線方向から見た模式図である。ビームスキャナの他の例を示す図である。ビームスキャナのさらに他の構成例を示す図である。ビームスキャナのさらに他の構成例を示す図である。ビームスキャナのさらに他の例を示す図である。間接ＴｏＦ方式による測距方法を説明するための第１の図である。間接ＴｏＦ方式による測距方法を説明するための第２の図である。間接ＴｏＦ方式による測距方法を説明するための第３の図である。間接ＴｏＦ方式による測距方法を説明するための第４の図である。距離計測部の詳細な機能構成を示すブロック図である。ブロック範囲記憶部に記録される情報の一例を示す図である。測距装置の動作の一例を示すフローチャートである。ステップＳ２１００の動作の詳細を示すフローチャートである。光ビームの方向と、物体の位置と、反射光のイメージセンサの受光面上への入射位置との関係を示す模式図である。ブロックの決定方法を説明するための第１の図である。ブロックの決定方法を説明するための第２の図である。ブロックの決定方法を説明するための第３の図である。ブロックの決定方法を説明するための第４の図である。ブロックの決定方法を説明するための第５の図である。ブロックの決定方法を説明するための第６の図である。ビーム径の異なる光ビームの投光による、受光の状態を模式的に示す第１の図である。ビーム径の異なる光ビームの投光による、受光の状態を模式的に示す第２の図である。実施形態２における記録媒体に記録される情報の一例を示す図である。実施形態２におけるブロック範囲記憶部が記憶する情報の一例を示す図である。フラッシュが出射された場合に、イメージセンサが物体からの反射光を受光する様子を模式的に示す図である。光ビームが出射された場合に、イメージセンサが物体からの反射光を受光する様子を模式的に示す図である。フラッシュおよび光ビームが出射された場合に、イメージセンサが物体からの反射光を受光する様子を模式的に示す図である。実施形態３における記録媒体に記録される情報の一例を示す図である。実施形態３の測距装置の動作の一部を示すフローチャートである。実施形態４における記録媒体に記録される情報の一例を示す図である。実施形態４における測距装置がステップＳ２８０において出力する出力データの一例を示す図である。実施形態５において記録媒体に記録される情報の例を示す図である。実施形態５において記録媒体に記録される情報の例を示す図である。実施形態５における測距装置の動作の一例を示すフローチャートである。実施形態６に係る車両制御システムの構成を示すブロック図である。実施形態６における測距装置の動作の一部を示す図である。実施形態６において出力されるデータのフォーマットの一例を示す図である。実施形態６において出力されるデータのフォーマットの他の例を示す図である。出力データ形式の他の例を示す図である。出力データ形式のさらに他の例を示す図である。符号化された点群データのデータ形式の一例を示す図である。符号化された点群データのデータ形式の一例を示す図である。車両制御システムの構成例を示すブロック図である。車両制御システムの記録媒体に記録されるデータの例を示す図である。交通情報システムの構成例を示すブロック図である。固定体システムにおけるプロセッサが実行する動作の一例を示すフローチャートである。交通情報システムの他の構成例を示すブロック図である。交通情報システムにおけるサーバの動作の一例を示すフローチャートである。交通情報システムにおけるサーバが事故状況の解析の要求を受け付けた場合の動作の一例を示すフローチャートである。

　本開示において、回路、ユニット、装置、部材もしくは部の全部または一部、またはブロック図における機能ブロックの全部または一部は、例えば、半導体装置、半導体集積回路（ＩＣ）、またはＬＳＩ（ｌａｒｇｅ　ｓｃａｌｅ　ｉｎｔｅｇｒａｔｉｏｎ）を含む１つまたは複数の電子回路によって実行され得る。ＬＳＩまたはＩＣは、１つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、１つのチップに集積されてもよい。ここでは、ＬＳＩまたはＩＣと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ（ｖｅｒｙ　ｌａｒｇｅ　ｓｃａｌｅ　ｉｎｔｅｇｒａｔｉｏｎ）、もしくはＵＬＳＩ（ｕｌｔｒａ　ｌａｒｇｅ　ｓｃａｌｅ　ｉｎｔｅｇｒａｔｉｏｎ）と呼ばれるものであってもよい。ＬＳＩの製造後にプログラムされる、Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ（ＦＰＧＡ）、またはＬＳＩ内部の接合関係の再構成またはＬＳＩ内部の回路区画のセットアップができるｒｅｃｏｎｆｉｇｕｒａｂｌｅ　ｌｏｇｉｃ　ｄｅｖｉｃｅも同じ目的で使うことができる。

　さらに、回路、ユニット、装置、部材または部の全部または一部の機能または動作は、ソフトウェア処理によって実行することが可能である。この場合、ソフトウェアは１つまたは複数のＲＯＭ、光学ディスク、ハードディスクドライブなどの非一時的記録媒体に記録され、ソフトウェアが処理装置（ｐｒｏｃｅｓｓｏｒ）によって実行されたときに、そのソフトウェアで特定された機能が処理装置（ｐｒｏｃｅｓｓｏｒ）および周辺装置によって実行される。システムまたは装置は、ソフトウェアが記録されている１つまたは複数の非一時的記録媒体、処理装置（ｐｒｏｃｅｓｓｏｒ）、および必要とされるハードウェアデバイス、例えばインターフェースを備えていてもよい。

　＜後述する実施形態を適用し得る構成の一例＞
　以降の実施形態を説明する前に、後述する実施形態を適用し得る構成の一例について説明する。

　図１は、道路の交通環境を監視するサーバ５００を含むシステムの一例を模式的に示す概念図である。サーバ５００は、車両などの移動体３００に搭載された測距装置、および信号機などの固定体システム４００が備える測距装置に、ネットワーク６００を介して接続される。固定体システム４００は、信号機以外の固定体、例えば照明機器、電柱、ガードレールなどの公共物その他のインフラストラクチャに設けられたシステムであってもよい。各測距装置は、光源と光センサとを備え、距離情報を含むセンサデータを逐次生成して出力する。センサデータは、例えば、距離画像または３次元点群を示すデータである。以下の説明において、特に断らない限り、３次元点群を単に「点群」と称する。なお、この例では移動体３００および固定体システム４００が備える測距装置は、光源と光センサとを備えるが、それらの測距装置の一部または全体は、他の方式で測距を行ってもよい。例えば、ミリ波などの無線電波を用いて測距を行う測距装置を用いてもよいし、一または複数のカメラで取得された２次元画像を用いて測距を行う測距装置を用いてもよい。

　サーバ５００は、各移動体３００および各固定体システム４００から、測距装置の位置および姿勢を示すデータと、センサデータとを取得する。サーバ５００は、プロセッサ５２０と、記録媒体５４０とを備える。プロセッサ５２０は、各測距装置から取得したセンサデータを統合して道路環境を示すデータを逐次生成し、記録媒体５４０に記録する。プロセッサ５２０は、例えばサーバ５００に固有の３次元座標系で表現された点群データを生成する。このようなデータは、例えば事故が生じたときに、事故の原因を調査する目的で利用され得る。

　なお、この例では、サーバ５００が移動体３００および固定体システム４００から測距装置の位置および姿勢を示すデータとセンサデータとを取得するが、取得するデータはセンサデータのみであってもよい。その場合、例えば、サーバ５００は各測距装置から取得したセンサデータを用いて各距離装置の位置と姿勢を推定する。

　また、この例では、サーバ５００が生成する点群データは、サーバ５００に固有の座標系で表現されているが、サーバ５００が生成する点群データの座標系はサーバ５００に固有である必要はない。例えば、サーバ５００に対して、外部から点群データの座標系を指定できるようにしてもよいし、サーバ５００が利用する三次元地図データの座標系に点群データの座標系を合わせてもよい。

　図２は、上記のシステムのより詳細な構成例を示すブロック図である。この例におけるシステムは、複数の移動体３００と、複数の固定体システム４００とを含む。移動体３００および固定体システム４００の各々の個数は任意である。

　移動体３００の各々は、異なる位置および姿勢で配置された複数の測距センサ３１０と、通信回路３２０とを備える。同様に、固定体システム４００の各々は、異なる位置および姿勢で配置された複数の測距センサ４１０と、通信回路４２０とを備える。測距センサ３１０および４１０の各々は、測距を行い、距離画像または３次元点群を示すセンサデータを生成する。センサデータは、通信回路３２０および４２０によってサーバ５００に送信される。

　サーバ５００は、プロセッサ５２０および記録媒体５４０に加えて、通信回路５６０を備える。プロセッサ５２０は、通信回路５６０を介してセンサデータを逐次取得し、記録媒体５４０に記録する。プロセッサ５２０は、取得したセンサデータの時刻照合および座標変換などの必要な処理を行うことにより、特定の時刻および特定の場所における統合された点群データを生成することができる。

　図３は、サーバ５００、移動体３００、および固定体システム４００の動作およびデータの流れの一例を簡略化して示す図である。図３では簡単のため、複数の移動体３００がまとめて１つの移動体として表現され、複数の固定体システム４００がまとめて１つの固定体として表現されている。移動体３００および固定体システム４００の各々における測距センサ３１０および４１０の各々は、繰り返し測距を行い、シーン中の物体の位置および時刻の情報を含むデータを逐次生成する。それらのデータは、サーバ５００に送られる。サーバ５００は、取得したデータの時刻照合および座標変換などの必要な処理を行い、記録媒体５４０に記録する。このような動作が例えば一定の周期で繰り返される。

　サーバ５００は、特定の日時および特定の場所における道路環境の解析を要求する指令を外部から受けることがある。その場合、プロセッサ５２０は、該当する日時および場所のデータを記録媒体５４０から取得し、要求に応じたデータを生成して出力する。このような動作により、例えば事故原因の解明に役立つデータを取得することができる。

　上記のようなシステムにおいて、逐次生成されるセンサデータを統合して正確な道路環境のデータを生成するためには、各位置のデータが取得された時刻を正確に記録することが重要である。特に車両事故の原因解明のために特定の時刻および特定の場所における物体の正確な位置および移動速度を把握するためには、事故現場における３次元の位置データと、各位置のデータが取得された正確な時刻の情報が要求される。

　対象シーンの距離分布の情報を取得するために、光ビームでシーンを走査してイメージセンサで反射光を検出する測距装置が考えられる。後述するようにＴｏＦ（Ｔｉｍｅ　ｏｆ　Ｆｌｉｇｈｔ）の技術を適用することにより、光ビームによって照射された物体までの距離を計測することができる。光ビームでシーンを走査しながら距離を計測することにより、距離画像データ、または距離画像データから変換された点群データを生成することができる。本開示では、距離画像データまたは点群データのあるひと纏まりを「フレーム」と称することがある。これはイメージセンサから出力される画像データの単位である「フレーム」と一致する場合もあれば、異なる場合もある。距離画像データまたは点群データは、例えば一定のフレームレートで繰り返し生成される。１フレーム分の距離画像データまたは点群データに１つの時刻を対応付けて出力することも可能である。

　例えば、時速６０キロメートル（ｋｍ）で走行している自動車は、１ミリ秒（ｍｓ）で約１．６６センチメートル（ｃｍ）移動する。一般的な動画像は、３０ｆｐｓすなわち１秒間に３０フレームのフレームレートで構成される。すなわち、約３３ｍｓごとに１フレームが取得される。時速６０ｋｍの車両は、３３ｍｓの間に約５５ｃｍ移動する。よって、１フレームごとの時刻情報では、車両、歩行者、または自転車等の複数の移動体の位置関係を明確にすることができない可能性がある。

　イメージセンサを用いて距離情報を取得する測距センサには、例えばフラッシュ光を用いた近距離の３次元計測に用いられる。一方で、光径を絞った光ビームを出射して物体からの反射光を検出する方式も存在する。このような方式は、１００ｍを越える長距離の距離情報の取得に向く。以上のような測距センサによれば、投光のタイミングと受光のタイミングとのずれを利用して距離を計測することができる。

　ここで一例として、光径を絞った光ビームでシーンを走査し、反射光をイメージセンサで検出する場合を想定する。光径を絞った状態で出射された光ビームはシーン内の限られた範囲に位置する物体にのみ到達する。そのため、イメージセンサは１つの光ビームを出射する度に狭い範囲に位置する物体のみから反射光を受ける。すなわち、イメージセンサが備える複数の受光素子のうち、当該物体の位置に対応する範囲に位置する一部の受光素子のみが反射光を受ける。光ビームの方向を順次変化させながら反射光を検出するスキャン動作により、イメージセンサが検出可能な範囲の全体について距離情報を得ることができる。このような構成においては、光ビームの出射されるタイミングが方向によって異なる。１回のスキャンが完了する度に１つの距離画像が生成される構成においては、距離画像中の部分によって受光のタイミングが異なる。例えば３０ｆｐｓで出力される距離画像の場合、画素によって最大で３０ｍｓ程度の差が生じ得る。

　このように、同一のフレームであっても、距離画像または点群の部分によって測距の時刻が異なる。このため、複数の測距センサから収集したデータをフレーム時刻に基づいて統合する場合、同時刻のフレームのデータを用いたとしてもセンサ間で同一物体の位置情報が異なる可能性がある。この位置情報のずれにより、位置情報の統合が十分に正確ではない可能性がある。

　一方、距離画像データの画素ごと、または点群データの点ごとに詳細な時刻情報を記録する方法も考えられる。そのような方法であれば、前述の問題は回避できる。しかし、距離画像データの画素ごと、または点群データの点ごとに詳細な時刻情報を付与すると、データ量が膨大になり、極めて高速な通信網、および高性能な演算プロセッサが必要となる。

　以下、本開示の実施形態の概要を説明する。

　本開示の一実施形態による測距装置は、発光装置と、受光装置と、信号処理回路とを備える。前記発光装置は、複数の光ビームを異なる方向および異なるタイミングでシーンに向けて出射する。前記受光装置は、複数の受光素子のアレイを含み、各光ビームの出射によって生じた前記シーンからの反射光を前記複数の受光素子によって検出する。前記信号処理回路は、前記受光装置から出力された信号に基づいて、前記複数の受光素子のうち、前記反射光を検出した受光素子にそれぞれ対応する前記シーン中の複数の点の位置または距離を示す計測データを含む出力データを生成して出力する。前記出力データは、各々が前記複数の点のうちの一部の点の前記計測データを含む複数のブロックのデータを含む。前記複数のブロックの各々に個別の時刻データが付与されている。

　各ブロックに付与された前記時刻データは、前記複数の光ビームのうち、前記ブロックに対応する光ビームが出射された時刻を示していてもよい。

　各ブロックに付与された前記時刻データは、前記複数の光ビームのうち、前記ブロックに対応する光ビームの反射光が前記複数の受光素子のいずれかによって受光された時刻を示していてもよい。

　前記発光装置は、出射する光ビームの形状および／または径を変化させることが可能であってもよい。各ブロックに属する前記点の数または範囲は、前記ブロックに対応する光ビームの形状および／または径に応じて異なる。

　前記複数のブロックは、前記時刻データが共通する２つ以上のブロックを含んでいてもよい。

　前記信号処理回路は、前記複数の点の３次元座標の情報を含む点群データを前記出力データとして生成してもよい。

　前記信号処理回路は、前記複数の点の距離分布を示す距離画像データを前記出力データとして生成してもよい。

　前記時刻データは、例えば、マイクロ秒単位またはナノ秒単位で時刻を表現する。

　本開示の他の実施形態による情報処理方法は、各々が上記のいずれかに記載の測距装置である第１の測距装置および第２の測距装置から、前記出力データである第１の出力データおよび第２の出力データをそれぞれ取得し、前記第１の出力データおよび前記第２の出力データの各々から、所定の時刻範囲に含まれる時刻データを有する１つ以上のブロックのデータを抽出して同一の座標系に統合することにより、３次元点群データを生成する。

　本開示のさらに他の実施形態による情報処理方法は、以下のステップを含む。
・シーン中の複数の点の位置または距離を示す第１の計測データを含む第１の出力データであって、各々が前記複数の点のうちの一部の点の前記第１の計測データを含む複数のブロックのデータを含み、且つ前記複数のブロックの各々に個別の時刻データが付与されている第１の出力データを取得する。
・前記シーン中の他の複数の点の位置または距離を示す第２の計測データを含み、且つ前記他の複数の点の各々の前記第２の計測データに時刻データが付与されている第２の出力データを取得する。
・前記第１の出力データおよび前記第２の出力データから、所定の時刻範囲に含まれる時刻データを有する１つ以上の点の前記第１の計測データおよび１つ以上の点の前記第２の計測データをそれぞれ抽出して同一の座標系に統合することにより、３次元点群データを生成する。

　ここで、第２の出力データは、第１の出力データと同様、ブロック毎に個別の時刻データが付与された複数のブロックのデータを含んでいてもよい。あるいは、第２の出力データの点ごとに個別に時刻データが付与されていてもよいし、第２の出力データが示す全ての点について共通の時刻データが付与されていてもよい。上記の「複数の点」と「他の複数の点」との間に、重複する点が含まれていてもよい。

　前記統合は、前記第１の計測データおよび前記第２の計測データの中で、時空間領域で互いに重なりのあるデータを、前記第１の計測データおよび前記第２の計測データの信頼度に基づきマージすることを含んでいてもよい。

　前記信頼度は、例えば、以下の（ａ）から（ｄ）からなる群から選択される少なくとも１つに基づいて決定され得る。
　（ａ）前記第１の計測データを生成した第１の計測装置の移動速度、および前記第２の計測データを生成した第２の計測装置の移動速度のうちの少なくとも一方
　（ｂ）前記第１の計測装置および前記第２の計測装置のうちの少なくとも一方の位置および姿勢と、太陽の方向との関係
　（ｃ）前記第１の計測データが示す前記複数の点の空間密度、および前記第２の計測データが示す前記他の複数の点の空間密度のうちの少なくとも一方
　（ｄ）前記第１の計測データが示す前記複数の点の位置、および前記第２の計測データが示す前記他の複数の点の位置のうちの少なくとも一方と、地図データに示された１つ以上の構造物の位置との関係

　前記第１の計測データを計測した第１の計測装置、および前記第２の計測データを計測した第２の計測装置のうちの少なくとも一方は、移動体に搭載され得る。前記統合は、固定体に設けられた、または前記固定体と通信可能な情報処理装置によって実行され得る。前記情報処理装置は、前記移動体が前記固定体から所定の距離範囲に位置するとき、前記第１の計測装置および前記第２の計測装置の前記少なくとも一方から、前記計測データを取得するように構成され得る。

　前記方法は、解析要求信号に応答して、統合された前記３次元点群データのうち、前記解析要求信号が指定する時空間領域に対応する一部の３次元点群データを抽出することをさらに含んでいてもよい。

　前記抽出は、前記一部の３次元点群データを、所定の周期でサンプリングされた複数フレームのデータに構成することを含んでいてもよい。

　前記抽出は、前記３次元点群データのうち、移動体に対応する点群データを抽出することを含んでいてもよい。前記方法は、前記移動体のトラッキングデータを生成することをさらに含んでいてもよい。

　本開示のさらに他の実施形態による情報処理装置は、プロセッサを備える。前記プロセッサは、各々が上記のいずれかに記載の測距装置である第１の測距装置および第２の測距装置から、前記出力データである第１の出力データおよび第２の出力データをそれぞれ取得し、前記第１の出力データおよび前記第２の出力データの各々から、所定の時刻範囲に含まれる時刻データを有する１つ以上のブロックのデータを抽出して同一の座標系に統合することにより、３次元点群データを生成する。

　本開示のさらに他の実施形態による情報処理装置は、プロセッサを備える。前記プロセッサは、以下のステップを実行する。
・シーン中の複数の点の位置または距離を示す第１の計測データを含む第１の出力データであって、各々が前記複数の点のうちの一部の点の前記第１の計測データを含む複数のブロックのデータを含み、且つ前記複数のブロックの各々に個別の時刻データが付与されている第１の出力データを取得する。
・前記シーン中の他の複数の点の位置または距離を示す第２の計測データを含み、且つ前記他の複数の点の各々の前記第２の計測データに時刻データが付与されている第２の出力データとを取得する。
・前記第１の出力データおよび前記第２の出力データから、所定の時刻範囲に含まれる時刻データを有する１つ以上の点の前記第１の計測データおよび１つ以上の点の前記第２の計測データをそれぞれ抽出して同一の座標系に統合することにより、３次元点群データを生成する。

　本開示のさらに他の実施形態による情報処理装置は、プロセッサを備え、前記プロセッサは、以下の動作を実行する。
・複数の受光素子のアレイを含む受光装置によって異なるタイミングで生成された受光データを取得する。
・前記受光データを基にシーン中の複数の点の位置または距離を示す計測データを生成する。
・各々が前記複数の点の一部の点の前記計測データを含む複数のブロックのデータを含み、前記複数のブロックの各々に個別の時刻データが付与された出力データを生成し、出力する。

　本開示のさらに他の実施形態によるデータ生成装置は、３次元データを生成するデータ生成装置であって、前記３次元データは第１の期間に計測された第１の計測データと第２の期間に計測された第２の計測データとを含み、前記第１の計測データは複数のブロックを含み、前記複数のブロックのうちの第１のブロックは、一または複数のビームを照射して測定された複数の点の位置または距離を示す測定データを含み、前記データ生成装置はプロセッサと前記プロセッサに接続されたメモリとを含み、前記プロセッサは、前記複数のブロックのデータを生成し、前記複数のブロックのそれぞれに対応する複数の計測時刻を示す時刻データを生成し、前記複数のブロックのデータおよび前記時刻データを格納した前記３次元データを出力し、前記時刻データはそれぞれのブロックに含まれる複数の点の計測のために出射されたビームの出射時刻に基づいて決定されている。

　本開示のさらに他の実施形態によるデータ処理装置は、３次元データを処理するデータ処理装置であって、前記３次元データは第１の期間に計測された第１の計測データと第２の期間に計測された第２の計測データとを含み、前記第１の計測データは複数のブロックを含み、前記複数のブロックのうちの第１のブロックは、一または複数のビームを照射して計測された複数の点の位置または距離を示す測定データを含み、前記データ処理装置はプロセッサと前記プロセッサに接続されたメモリとを含み、前記プロセッサは、前記メモリに格納された前記３次元データを読み出し、前記３次元データは、前記複数のブロックのデータおよび前記複数のブロックのそれぞれに対応する複数の計測時刻を示す時刻データを含み、前記複数のブロックのデータおよび前記時刻データを用いて第２の３次元データを生成し、前記時刻データはそれぞれのブロックに含まれる複数の点の計測のために出射されたビームの出射時刻に基づいて決定されている。

　以下、本開示の実施形態について、より具体的に説明する。なお、以下で説明する実施形態は、いずれも包括的または具体的な例を示すものである。以下の実施形態で示される数値、形状、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、各図は模式図であり、必ずしも厳密に図示されたものではない。さらに、各図において、実質的に同一の構成要素に対しては同一の符号を付しており、重複する説明は省略または簡略化される場合がある。

　［実施形態１］
　実施形態１に係る測距装置を説明する。実施形態１に係る点群データ取得システムは、測距対象のシーンに向けて光ビームを出射するビームスキャナと、シーン中の物体からの反射光を検出するイメージセンサと、ビームスキャナによる投光およびイメージセンサによる光検出の動作を制御する制御回路と、時刻情報を生成するクロックと、イメージセンサから取得した信号および制御回路から取得した信号に基づいてシーン中の物体の分布を示すデータを生成する信号処理回路と、生成されたデータを記録する記録媒体とを備える。制御回路は、ビームスキャナによる投光のタイミングと、イメージセンサによる受光のタイミングとを詳細な時刻情報として記録媒体に記録する。信号処理回路は、イメージセンサから取得した信号および制御回路から取得した信号に基づいて画素ごとに距離を計算する距離計算部と、計算された画素ごとの距離に基づいて距離画像のデータを生成する距離画像生成部と、距離画像の各画素の距離情報を点群データに変換する点群データ生成部とを含む。信号処理回路は、点群のうち、同時刻に距離情報が取得された複数の点を１つのブロックとして、点群を複数のブロックに分類し、ブロックごとに時刻情報を付与して出力する。

　［１－１　点群データ取得システムの構成］
　図４は、実施形態１に係る測距装置１００の構成を示すブロック図である。図４に示されるように、測距装置１００は、ビームスキャナ１１０と、イメージセンサ１２０と、制御回路１３０と、クロック１４０と、記録媒体１５０と、信号処理回路１６０とを備える。信号処理回路１６０は、距離計測部１６１と、距離画像生成部１６２と、点群データ生成部１６３と、出力部１６９とを含む。

　ビームスキャナ１１０は、光ビームを出射する発光装置の一種である。ビームスキャナ１１０は、例えばレーザ光源を含む。ビームスキャナ１１０は、制御回路１３０からの指令に応答して、光ビームを指定された方向に出射する。一例において、ビームスキャナ１１０は、対象シーンを光ビームで走査する動作を繰り返す。他の例において、ビームスキャナ１１０は、所定のトリガを受けて、対象シーンにおける特定の領域を走査する動作を行う。ビームスキャナ１１０は、１回の走査を所定の時間内に実行する。この時間を「フレーム時間」と称する。ビームスキャナ１１０は、フレーム時間内に、複数の光ビームを異なる方向に順次出射する。各フレームにおけるフレーム時間、および光ビームの出射回数は同一とは限らず、フレーム毎に異なる場合もある。

　イメージセンサ１２０は、受光装置の一種であり、受光面に沿って２次元に配列された複数の受光素子のアレイを備える。イメージセンサ１２０の受光面に像を形成するレンズなどの光学部品も設けられ得る。イメージセンサ１２０は、出射された光ビームの経路上に位置する物体からの反射光を受ける。各受光素子は、フォトダイオードなどの光電変換素子および１つ以上の電荷蓄積部を含み、受けた光の強度に応じて電荷を蓄積する。以下の説明において、受光素子を「画素」と称することがある。イメージセンサ１２０は、制御回路１３０からの指令に応答して、各受光素子に電荷を蓄積させ、蓄積された電荷の量に応じた電気信号を出力する。１つの光ビームの反射光を受ける受光素子は、全受光素子のうちの一部のみである。光ビームが異なる方向に繰り返し出射され、その都度、異なる受光素子群によって反射光が検出される。光ビームの出射方向のパターンおよび順序は、予め設定されている。その予め設定された一連の光ビームの出射に起因して生じた反射光ビームを検出することにより、イメージセンサ１２０は１フレームのデータを生成する。本実施形態では、イメージセンサ１２０が検出可能なシーンの全域について光ビームによる走査が完了した段階で、イメージセンサ１２０は全画素分のデータを１フレームのデータとして出力する。イメージセンサ１２０は、例えば１秒間に３０フレームを出力する。このフレームレートは一例に過ぎず、用途に応じてフレームレートは適宜決定される。

　なお、上記説明ではイメージセンサ１２０が検出可能なシーンの全域について光ビームによる走査が完了した段階でデータを出力するとしたが、イメージセンサ１２０が備える画素の一部の領域に対応する方向に光ビームを出射して得られたデータを出力してもよい。このとき、イメージセンサ１２０は、すべての画素で得られたデータを出力してもよいし、上述した一部の領域の画素で得られたデータのみを出力してもよい。

　制御回路１３０は、例えばマイクロコントローラユニット（ＭＣＵ）などの、プロセッサを含む電子回路によって実現され得る。制御回路１３０は、ビームスキャナ１１０による光ビームの出射のタイミングと出射の方向、およびイメージセンサ１２０の露光のタイミングを決定する。制御回路１３０は、決定したタイミングに従って、投光制御信号および露光制御信号を、ビームスキャナ１１０およびイメージセンサ１２０にそれぞれ出力する。投光制御信号は、予め定められた方向および順序で光ビームが順次出射されるように生成される。

　図５は、光ビームによって測距対象のシーンが走査される様子を模式的に示す図である。図５には、複数の光ビームのスポットが点線の円で示されているが、同時に出射される光ビームの本数は１以上の任意の数であり得る。本実施形態では、イメージセンサ１２０の受光面に平行な２次元平面において網羅的に光ビームが順次照射される。制御回路１３０は、光ビームの投光方向と投光タイミングを示す情報を記録媒体１５０に記録する。なお、光ビームによる走査の態様は任意である。図５におけるマス目は、イメージセンサ１２０の画素を表している。なお、イメージセンサ１２０の画素は、実際には微細であるが、図５では、見易さのため、実際よりも粗く示されている。以降の図でも同様の表現を用いることがある。

　クロック１４０は、ビームスキャンの制御に必要な詳細な時刻情報を出力する回路である。クロック１４０は、例えばナノ秒またはマイクロ秒の精度の時刻を計測し、その情報を出力する。クロック１４０は、例えばリアルタイムクロックなどの集積回路によって実現され得る。クロック１４０は時刻サーバと同期していてもよい。同期には、例えばＮＴＰ（Network Time Protocol)またはＰＴＰ(Precision Time Protocol)等のプロトコルを利用してもよい。あるいは、ＧＰＳ（Grobal Positioning System）の情報を用いてサーバの時刻を基準とする時刻同期を行ってもよい。なお、時刻同期の方法は上記に限らず、任意である。時刻同期により、クライアントである測距装置１００は正確な時刻情報を取得できる。

　記録媒体１５０は、例えばＲＯＭまたはＲＡＭなどのメモリであり得る。記録媒体１５０は、制御回路１３０および信号処理回路１６０によって生成される各種のデータを記録する。記録媒体１５０は、さらに、制御回路１３０および信号処理回路１６０によって実行されるコンピュータプログラムを格納していてもよい。

　記録媒体１５０は、制御回路１３０から出力された光ビームの投光方向と投光タイミングを示す情報を記録する。記録媒体１５０は、さらに、信号処理回路１６０によって生成された各種のデータも記録する。例えば、距離計測部１６１で計算された画素ごとの距離データを記録する。本実施形態では、後述するように、光ビームの投光方向と投光タイミングの組み合わせごとに、対応する複数の画素のブロックが対応付けられて記録される。

　図６Ａから図６Ｃは、記録媒体１５０に記録される情報の例を示している。図６Ａは、複数のフレームに共通の情報を示している。図６Ｂは、１フレームでは共通であるが、フレームごとに変動する情報を示している。図６Ｃは、画素ごとに異なる情報を示している。

　図６Ａに示すように、複数のフレームに共通の情報は、イメージセンサ１２０の車両内での位置、受光面の法線方向、および画角を示す情報を含む。イメージセンサ１２０の車両内での位置は、例えば、車両の中心を原点とした３次元座標で表され得る。イメージセンサ１２０の受光面の法線方向は、当該３次元座標で表された法線ベクトルの成分によって表され得る。画角は、例えば水平面での角度および鉛直面での角度によって表され得る。

　図６Ｂに示すように、フレームごとに変動する情報は、ビーム方向、ブロックを示す画素範囲、および時刻の情報を含む。本実施形態では、ビームスキャナ１１０から出射される１方向の光ビームの反射光を受光する画素群が１つのブロックとして扱われる。光ビームの方向が同一であっても物体の位置によって反射光の軌跡が移動するため、ブロックの位置は投光のたびに異なり得る。１フレームあたり１方向の光ビームによる測距の回数が１回である場合、ブロックはフレームごとに異なり得る。なお、実際の測距では、反射光のエネルギーが小さいため、１回の投光および露光では十分な電荷を蓄積できない場合がある。その場合には、１回の測距のために複数回の同一方向の投光を繰り返し、露光を反復することで十分な電荷を蓄積してもよい。その場合の詳細な時刻の決定方法については後述する。図６Ｂの例では、ビーム方向を示す情報として、ビーム方向の単位ベクトルを３次元座標で表した数値が記録される。なお、ビーム方向を示す情報に代えて、ブロックを判別するための識別子（ＩＤ）が記録されてもよい。ブロックの画素範囲は、例えばそのブロックに含まれる複数の画素のうち、最初の画素（例えば最も左上の画素）の座標と最後の画素（例えば最も右下の画素）の座標とによって指定され得る。ブロックの画素範囲の指定は座標値に限らず、画素のＩＤによって指定されてもよい。ビーム方向およびブロックの画素範囲に対応付けて、計測時刻が記録される。時刻は、例えばマイクロ秒またはナノ秒の単位で記録され得る。なお、時刻の情報に加えて、日付の情報が記録されてもよい。計測時刻は、光ビームの出射のタイミング、または当該光ビームの反射光を受光したタイミングによって定まる。このため、１方向の光ビームに対応するブロックでは時刻が共通となる。図６Ｃの例では、画素ごとの情報は、信号処理回路１６０によって計算された距離情報を含む。

　なお、上記説明では光ビームを出射した出射時刻または光ビームの反射光を受光した時刻を計測時刻としたが、上記とは異なる時刻を計測時刻としてもよい。例えば、出射時刻と受光時刻の平均値、またはビームスキャナ１１０に指示された出射時刻など、当該光ビームの出射によって計測された位置データの計測時刻の特定または推定に利用できる情報であればどのような情報を計測時刻として用いてもよい。

　信号処理回路１６０は、例えばＣＰＵおよび／またはＧＰＵなどのプロセッサを含む電子回路である。信号処理回路１６０における距離計測部１６１、距離画像生成部１６２、点群データ生成部１６３、および出力部１６９の機能は、例えば信号処理回路１６０のプロセッサが、記録媒体１５０に格納されたプログラムを実行することによって実現され得る。その場合、当該プロセッサが、距離計測部１６１、距離画像生成部１６２、点群データ生成部１６３、および出力部１６９として機能する。これらの各機能部は、専用のハーウェアによって実現されていてもよい。なお、制御回路１３０と信号処理回路１６０とが、１つの回路によって実現されていてもよい。例えば、１つのＭＣＵが、制御回路１３０および信号処理回路１６０の両方の機能を有していてもよい。記録媒体１５０も、当該回路に含まれていてもよい。

　距離計測部１６１は、イメージセンサ１２０から出力された、画素ごとの、各露光期間での受光によって蓄積された電荷量を示す信号を取得する。距離計測部１６１は、その信号に基づき、各画素に対応する位置にある物体までの距離を計算し、画素ごとの距離情報を記録媒体１５０に記録する。この距離情報は、例えば図６Ｃに示す形式で記録され得る。

　距離画像生成部１６２は、計測された画素ごとの距離情報に基づき、距離画像データを生成する。

　点群データ生成部１６３は、生成された距離画像データを予め定められた点を原点とする３次元座標空間中の点群データに変換する。原点は、例えば、測距装置１００が搭載された車両の中心位置に設定され得る。点群データ生成部１６３は、さらに、画素ブロックごとに投光時刻と点群データとを対応付け、ブロックごとの計測時刻情報が付加された点群データを生成する。

　出力部１６９は、計測時刻情報が付加された点群データを出力する。当該点群データは、例えば記録媒体１５０に記録される。

　なお、点群データに付与される計測時刻情報は、クロック１４０が出力する時刻情報の時間の単位と異なる時間の単位で表現されていてもよい。例えば、クロック１４０が出力する時刻情報がナノ秒程度の時間の単位またはマイクロ秒程度の時間の単位で表現されているが、点群データに付与される計測時刻情報がミリ秒程度の時間の単位による表現の精度で十分である場合がある。そのような場合、制御回路１３０または信号処理回路１６０は、クロック１４０が出力する時刻情報に基づいて計測時刻情報で用いる時間の単位で表現された計測時刻を導出してもよい。ここで、計測時刻情報に用いる時間の単位は、予め決められていてもよいし、外部からの指示に応じて設定できてもよい。また、出力データは、計測時刻情報の時間の単位を示す時刻単位情報を含んでいてもよい。このとき、時刻単位情報は、例えば出力データに付与されたヘッダ領域などに格納される。

　図７Ａは、出力データ形式の一例を示している。この例では、複数のフレームに共通のデータである固定値と、フレームごとに異なるデータとが出力される。固定値は、例えば予め定められた複数のフレームに１回の頻度で出力され得る。

　固定値は、例えばイメージセンサ１２０の車両内での位置、イメージセンサ１２０の受光面の法線方向、イメージセンサ１２０の画角、および日付を示す値を含み得る。イメージセンサ１２０の位置は、例えば車両の中心を原点とした３次元座標で表された３バイトの値で表現され得る。受光面の法線方向は、例えば上記の３次元座標で表された３バイトの値で表現され得る。画角は、例えば２バイトの値で表現され得る。日付は、年、月、日の情報を含み、例えば２バイトの値で表現され得る。

　図７Ａの例では、フレームごとの出力データは、ブロックごとのデータとして、当該ブロックに含まれる点の数、当該ブロックの計測時刻、および当該ブロックに含まれる複数の点のそれぞれの位置の情報を含む。ブロックに含まれる点の数は、例えば１バイトで表され得る。計測時刻は、例えばマイクロ秒単位で５バイトで表され得る。ブロック内の各点の位置は、３次元座標であり、例えば３バイトで表され得る。ブロックごとの点の数、時刻、点ごとの位置のデータセットをブロック数だけ反復することで、１フレームのデータの出力が完了する。なお、図７Ａの例ではブロック数は既知の固定値である。

　図７Ｂは、出力データ形式の他の例を示している。この例では、点群データの各点と、点群データの変換元である距離画像における各画素とを紐づけるＩＤ番号が順に付与されている。１フレーム内の光ビームの方向の数であるブロックの数はすべてのフレームで共通の固定値として出力される。その上で、フレームごとにデータが出力される。フレームごとに、各々のブロックに含まれる複数の点のうち最初の点のＩＤ（例えば１バイト）と最後の点のＩＤ（例えば１バイト）の２バイトで各ブロックに含まれる複数の点が特定され得る。このデータがブロック数分出力され、続いて、ブロックごとの計測時刻がマイクロ秒単位で５バイトでブロック数分出力される。このとき、ブロックに対応する複数の点のデータと、時刻データは、同一のブロックの情報が同じ順番になるように並べられて出力される。ブロックごとのデータに続いて、点群の各点の３次元座標中の位置が例えば３バイトで出力される。このときの点群の並び順は、点群ＩＤの順である。位置は点ごとに３バイトで出力され、点の個数分だけ連続で出力される。なお、フレームによってブロック数が異なる場合は、フレーム毎の情報にブロック数の情報が含まれてもよい。

　［１－１－２　ビームスキャナ１１０の構成］
　次に、ビームスキャナ１１０の構成例を説明する。ビームスキャナ１１０は、制御回路１３０の制御に応じて光ビームの出射方向を変化させることができる発光デバイスである。ビームスキャナ１１０は、測距対象のシーン内の一部の領域を光ビームで順次照射する。この機能を実現するため、ビームスキャナ１１０は、光ビームの出射方向を変化させる機構を備える。例えば、ビームスキャナ１１０は、レーザなどの発光素子と、少なくとも１つの可動ミラー、例えばＭＥＭＳミラーとを備え得る。発光素子から出射された光は、可動ミラーによって反射され、測距対象のシーン内の所定の領域に向かう。制御回路１３０は、可動ミラーを駆動することにより、光ビームの出射方向を変化させることができる。

　可動ミラーを有する発光デバイスとは異なる構造によって光の出射方向を変化させることが可能な発光デバイスを用いてもよい。例えば、特許文献４に開示されているような、反射型導波路を利用した発光デバイスを用いてもよい。あるいは、アンテナアレイによって各アンテナから出力される光の位相を調節することで、アレイ全体の光の方向を変化させる発光デバイスを用いてもよい。

　以下、ビームスキャナ１１０の構成の一例を説明する。

　図８は、ビームスキャナ１１０として使用され得る発光デバイスの一例を模式的に示す斜視図である。この発光デバイスは、複数の光導波路素子１０を含む光導波路アレイを備える。複数の光導波路素子１０の各々は、第１の方向（図８におけるＸ方向）に延びた形状を有する。複数の光導波路素子１０は、第１の方向に交差する第２の方向（図８におけるＹ方向）に規則的に配列されている。複数の光導波路素子１０は、第１の方向に光を伝搬させながら、第１および第２の方向に平行な仮想的な平面に交差する第３の方向Ｄ３に光を出射させる。

　複数の光導波路素子１０のそれぞれは、互いに対向する第１のミラー３０および第２のミラー４０と、ミラー３０とミラー４０の間に位置する光導波層２０とを有する。ミラー３０およびミラー４０の各々は、第３の方向Ｄ３に交差する反射面を、光導波層２０との界面に有する。ミラー３０およびミラー４０、ならびに光導波層２０は、第１の方向に延びた形状を有している。

　第１のミラー３０の反射面と第２のミラー４０の反射面とは略平行に対向している。２つのミラー３０およびミラー４０のうち、少なくとも第１のミラー３０は、光導波層２０を伝搬する光の一部を透過させる特性を有する。言い換えれば、第１のミラー３０は、当該光について、第２のミラー４０よりも高い光透過率を有する。このため、光導波層２０を伝搬する光の一部は、第１のミラー３０から外部に出射される。このようなミラー３０および４０は、例えば誘電体による多層膜によって形成される多層膜ミラーであり得る。

　それぞれの光導波路素子１０に入力する光の位相を調整し、さらに、これらの光導波路素子１０における光導波層２０の屈折率もしくは厚さ、または光導波層２０に入力される光の波長を調整することで、任意の方向に光を出射させることができる。

　図９は、１つの光導波路素子１０の断面の構造および伝搬する光の例を模式的に示す図である。図９では、図８に示すＸ方向およびＹ方向に垂直な方向をＺ方向とし、光導波路素子１０のＸＺ面に平行な断面が模式的に示されている。光導波路素子１０において、一対のミラー３０とミラー４０が光導波層２０を挟むように配置されている。光導波層２０のＸ方向における一端から導入された光２２は、光導波層２０の上面に設けられた第１のミラー３０および下面に設けられた第２のミラー４０によって反射を繰り返しながら光導波層２０内を伝搬する。第１のミラー３０の光透過率は第２のミラー４０の光透過率よりも高い。このため、主に第１のミラー３０から光の一部を出力することができる。

　通常の光ファイバーなどの光導波路では、全反射を繰り返しながら光が光導波路に沿って伝搬する。これに対して、本実施形態における光導波路素子１０では、光は光導波層２０の上下に配置されたミラー３０および４０によって反射を繰り返しながら伝搬する。このため、光の伝搬角度に制約がない。ここで光の伝搬角度とは、ミラー３０またはミラー４０と光導波層２０との界面への入射角度を意味する。ミラー３０またはミラー４０に対して、より垂直に近い角度で入射する光も伝搬できる。すなわち、全反射の臨界角よりも小さい角度で界面に入射する光も伝搬できる。このため、光の伝搬方向における光の群速度は自由空間における光速に比べて大きく低下する。これにより、光導波路素子１０は、光の波長、光導波層２０の厚さ、および光導波層２０の屈折率の変化に対して光の伝搬条件が大きく変化するという性質を持つ。このような光導波路を、「反射型光導波路」または「スローライト光導波路」と称する。

　光導波路素子１０から空気中に出射される光の出射角度θは、以下の式（１）によって表される。

　式（１）からわかるように、空気中での光の波長λ、光導波層２０の屈折率ｎ_ｗおよび光導波層２０の厚さｄのいずれかを変えることで光の出射方向を変えることができる。

　例えば、ｎ_ｗ＝２、ｄ＝３８７ｎｍ、λ＝１５５０ｎｍ、ｍ＝１の場合、出射角度は０°である。この状態から、屈折率をｎ_ｗ＝２．２に変化させると、出射角度は約６６°に変化する。一方、屈折率を変えずに厚さをｄ＝４２０ｎｍに変化させると、出射角度は約５１°に変化する。屈折率も厚さも変化させずに波長をλ＝１５００ｎｍに変化させると、出射角度は約３０°に変化する。このように、光の波長λ、光導波層２０の屈折率ｎ_ｗ、および光導波層２０の厚さｄのいずれかを変化させることにより、光の出射方向を変化させることができる。

　光の波長λは、例えば一般的なシリコン（Ｓｉ）により光を吸収することで光を検出するイメージセンサで高い検出感度が得られる４００ｎｍから１１００ｎｍ（可視光から近赤外光）の波長域に含まれ得る。他の例では、波長λは、光ファイバーまたはＳｉ光導波路において伝送損失の比較的小さい１２６０ｎｍから１６２５ｎｍの近赤外光の波長域に含まれ得る。なお、これらの波長範囲は一例である。使用される光の波長域は、可視光または赤外光の波長域に限定されず、例えば紫外光の波長域であってもよい。

　発光デバイスは、各光導波路素子１０における光導波層２０の屈折率、厚さ、および波長の少なくとも１つを変化させる第１調整素子を備え得る。これにより、出射光の方向を調製することができる。

　光導波層２０の少なくとも一部の屈折率を調整するために、光導波層２０は、液晶材料または電気光学材料を含んでいてもよい。光導波層２０は、一対の電極によって挟まれ得る。一対の電極に電圧を印加することにより、光導波層２０の屈折率を変化させることができる。

　光導波層２０の厚さを調整するために、例えば、第１のミラー３０および第２のミラー４０の少なくとも一方に少なくとも１つのアクチュエータが接続されてもよい。少なくとも１つのアクチュエータによって第１のミラー３０と第２のミラー４０との距離を変化させることにより、光導波層２０の厚さを変化させることができる。光導波層２０が液体から形成されていれば、光導波層２０の厚さは容易に変化し得る。

　複数の光導波路素子１０が一方向に配列された光導波路アレイにおいて、それぞれの光導波路素子１０から出射される光の干渉により、光の出射方向は変化する。各光導波路素子１０に供給する光の位相を調整することにより、光の出射方向を変化させることができる。以下、その原理を説明する。

　図１０Ａは、光導波路アレイの出射面に垂直な方向に光を出射する光導波路アレイの断面を示す図である。図１０Ａには、各光導波路素子１０を伝搬する光の位相シフト量も記載されている。ここで、位相シフト量は、左端の光導波路素子１０を伝搬する光の位相を基準にした値である。本実施形態における光導波路アレイは、等間隔に配列された複数の光導波路素子１０を含んでいる。図１０Ａにおいて、破線の円弧は、各光導波路素子１０から出射される光の波面を示している。直線は、光の干渉によって形成される波面を示している。矢印は、光導波路アレイから出射される光の方向（すなわち、波数ベクトルの方向）を示している。図１０Ａの例では、各光導波路素子１０における光導波層２０を伝搬する光の位相はいずれも同じである。この場合、光は光導波路素子１０の配列方向（Ｙ方向）および光導波層２０が延びる方向（Ｘ方向）の両方に垂直な方向（Ｚ方向）に出射される。

　図１０Ｂは、光導波路アレイの出射面に垂直な方向とは異なる方向に光を出射する光導波路アレイの断面を示す図である。図１０Ｂに示す例では、複数の光導波路素子１０における光導波層２０を伝搬する光の位相が、配列方向に一定量（Δφ）ずつ異なっている。この場合、光は、Ｚ方向とは異なる方向に出射される。このΔφを変化させることにより、光の波数ベクトルのＹ方向の成分を変化させることができる。隣接する２つの光導波路素子１０の間の中心間距離をｐとすると、光の出射角度α_０は、以下の式（２）によって表される。

　光導波路素子１０の本数がＮのとき、光の出射角度の広がり角Δαは、以下の式（３）によって表される。

　したがって、光導波路素子１０の本数が多いほど、広がり角Δαを小さくすることができる。

　図１１は、３次元空間における光導波路アレイを模式的に示す斜視図である。図１１に示す太い矢印は、発光デバイスから出射される光の方向を表す。θは、光の出射方向とＹＺ平面とがなす角度である。θは式（２）を満たす。α_０は、光の出射方向とＸＺ平面とがなす角度である。α_０は式（３）を満たす。

　それぞれの光導波路素子１０から出射される光の位相を制御するために、例えば、光導波路素子１０に光を導入する前段に、光の位相を変化させる位相シフタが設けられ得る。発光デバイスは、複数の光導波路素子１０のそれぞれに接続された複数の位相シフタと、各位相シフタを伝搬する光の位相を調整する第２調整素子とを備え得る。各位相シフタは、複数の光導波路素子１０の対応する１つにおける光導波層２０に直接的にまたは他の光導波路を介して繋がる光導波路を含む。第２調整素子は、複数の位相シフタから複数の光導波路素子１０へ伝搬する光の位相の差をそれぞれ変化させることにより、複数の光導波路素子１０から出射される光の方向（すなわち、第３の方向Ｄ３）を変化させる。以下の説明では、光導波路アレイと同様に、配列された複数の位相シフタを「位相シフタアレイ」と称することがある。

　図１２は、光導波路アレイ１０Ａおよび位相シフタアレイ８０Ａを、光出射面の法線方向（Ｚ方向）から見た模式図である。図１２に示す例では、全ての位相シフタ８０が同じ伝搬特性を有し、全ての光導波路素子１０が同じ伝搬特性を有する。それぞれの位相シフタ８０およびそれぞれの光導波路素子１０は同じ長さであってもよいし、長さが異なっていてもよい。それぞれの位相シフタ８０の長さが等しい場合は、例えば、駆動電圧によってそれぞれの位相シフト量を調整することができる。また、それぞれの位相シフタ８０の長さを等ステップで変化させた構造にすることで、同じ駆動電圧で等ステップの位相シフトを与えることもできる。さらに、この発光デバイスは、複数の位相シフタ８０に光を分岐して供給する光分岐器９０と、各光導波路素子１０を駆動する第１駆動回路２１０と、各位相シフタ８０を駆動する第２駆動回路２２０とをさらに備える。図１２における直線の矢印は光の入力を示している。別々に設けられた第１駆動回路２１０と第２駆動回路２２０とをそれぞれ独立に制御することにより、２次元的に光の出射方向を変化させることができる。この例では、第１駆動回路２１０は、第１調整素子の１つの要素として機能し、第２駆動回路２２０は、第２調整素子の１つの要素として機能する。

　第１駆動回路２１０は、各光導波路素子１０における光導波層２０の屈折率および厚さの少なくとも一方を変化させることにより、光導波層２０から出射する光の角度を変化させる。第２駆動回路２２０は、各位相シフタ８０における光導波路２０ａの屈折率を変化させることにより、光導波路２０ａの内部を伝搬する光の位相を変化させる。光分岐器９０は、全反射によって光が伝搬する光導波路で構成してもよいし、光導波路素子１０と同様の反射型光導波路で構成してもよい。

　なお、光分岐器９０で分岐したそれぞれの光の位相を制御した後に、それぞれの光を位相シフタ８０に導入してもよい。この位相制御には、例えば、位相シフタ８０に至るまでの光導波路の長さを調整することによるパッシブな位相制御構造を用いることができる。あるいは、位相シフタ８０と同様の機能を有する電気信号で制御可能な位相シフタを用いても良い。このような方法により、例えば、全ての位相シフタ８０に等位相の光が供給されるように、位相シフタ８０に導入される前に位相を調整してもよい。そのような調整により、第２駆動回路２２０による各位相シフタ８０の制御をシンプルにすることができる。

　上記の発光デバイスの動作原理、および動作方法などの詳細は、特許文献４に開示されている。特許文献４の開示内容の全体を本明細書に援用する。

　図１３は、ビームスキャナ１１０の他の例を示す図である。この例におけるビームスキャナ１１０は、光導波路アレイ１０Ａと、光導波路アレイ１０Ａに接続された位相シフタアレイ８０Ａとを備える。光導波路アレイ１０Ａは、Ｙ方向に並ぶ複数の光導波路群１０ｇを含む。各光導波路群１０ｇは、１つ以上の光導波路素子１０を含む。位相シフタアレイ８０Ａは、Ｙ方向に並ぶ複数の位相シフタ群８０ｇを含む。各位相シフタ群８０ｇは、１つ以上の位相シフタ８０を含む。この例において、位相シフタ群８０ｇのまとまりは、光導波路群１０ｇのまとまりとは異なっている。より具体的には、１つの光導波路群１０ｇに、２つの位相シフタ群８０ｇが接続されている。

　各位相シフタ８０の位相シフト量は、制御回路１３０によって個別に制御される。各位相シフタ８０の位相シフト量は、その配列の順序に応じた第１の位相シフト量（Δφの整数倍）と、位相シフタ群８０ｇごとに異なる第２の位相シフト量（Ｖａ、Ｖｂ、Ｖｃ、Ｖｄのいずれか）との和になるように制御される。第２の位相シフト量を位相シフタ群８０ｇごとに変化させることにより、光ビームの出射方向のＹ成分、およびスポットサイズのＹ方向の広がり角が制御される。

　一方、制御回路１３０は、光導波路群１０ｇごとに、印加される電圧の値を個別に決定する。各光導波路群１０ｇへの印加電圧の制御により、光ビームの出射方向のＸ成分が制御される。位相シフタ群８０ｇと光導波路群１０ｇとの組み合わせに依存して、光の出射方向が決定される。図１３の例では、１つの位相シフタ群８０ｇに接続された隣り合う２つの光導波路群１０ｓから同一の方向に光が出射する。１つの光導波路群１０ｇから出射される光束を１つの光ビームとすると、図１３の例では、２本の光ビームを同時に出射することができる。光導波路素子１０および位相シフタ８０の数を増やせば、さらにビーム本数を増やすことができる。

　図１４は、ビームスキャナ１１０のさらに他の構成例を示す図である。この例におけるビームスキャナ１１０は、各々が異なる方向に光ビームを出射する複数の発光デバイス７０を備える。この例では、１つのチップ上に複数の位相シフタ８０および複数の光導波路素子１０が実装される。制御回路１３０は、各発光デバイス７０における各位相シフタ８０および各光導波路素子１０への印加電圧を制御する。これにより、制御回路１３０は、各発光デバイス７０から出射する光ビームの方向を制御する。この例では、ビームスキャナ１１０は３つの発光デバイス７０を備えるが、さらに多数の発光デバイス７０を備えていてもよい。

　図１５は、ビームスキャナ１１０のさらに他の構成例を示す図である。この例におけるビームスキャナ１１０は、各々が異なるチップに実装された複数の発光デバイス７０を備える。複数の発光デバイス７０は、異なる方向に光ビームを出射する。各発光デバイス７０は、複数の位相シフタ８０および複数の光導波路素子１０に印加する電圧を決定する制御回路１３０ａを備える。各発光デバイス７０における制御回路１３０ａは、外部の制御回路１３０によって制御される。この例でも、ビームスキャナ１１０は３つの発光デバイス７０を備えるが、さらに多数の発光デバイス７０を備えていてもよい。

　図１６は、ビームスキャナ１１０のさらに他の例を示す図である。この例では、ビームスキャナ１１０は、レーザなどの発光素子と、少なくとも１つの可動ミラー、例えばＭＥＭＳミラーとを備える。発光素子から出射された光は、可動ミラーによって反射され、対象領域内（図１６において矩形で表示）の所定の領域に向かう。制御回路１３０は、可動ミラーを駆動することにより、ビームスキャナ１１０からの出射光の方向を変化させる。これにより、例えば図１６において点線矢印で示すように、対象領域を光でスキャンすることができる。

　［１－１－３　イメージセンサ１２０の構成］
　次に、イメージセンサ１２０の構成例を説明する。イメージセンサ１２０は、受光面に沿って２次元に配列された複数の受光素子を備える。イメージセンサ１２０の受光面に対向して、不図示の光学部品が設けられ得る。光学部品は、例えば少なくとも１つのレンズを含み得る。光学部品は、プリズムまたはミラー等の他の光学素子を含んでいてもよい。光学部品は、シーン中の物体の１点から拡散した光がイメージセンサ１２０の受光面上の１点に集束するように設計され得る。

　イメージセンサ１２０は、例えばＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）センサ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ、または赤外線アレイセンサであり得る。各受光素子は、例えばフォトダイオードなどの光電変換素子と、１つ以上の電荷蓄積部とを含む。光電変換によって生じた電荷が、露光期間の間、電荷蓄積部に蓄積される。電荷蓄積部に蓄積された電荷は、露光期間終了後、出力される。このようにして、各受光素子は、露光期間の間に受けた光の量に応じた電気信号を出力する。この電気信号を「受光データ」と称することがある。イメージセンサ１２０は、モノクロタイプの撮像素子であってもよいし、カラータイプの撮像素子であってもよい。例えば、Ｒ／Ｇ／Ｂ、Ｒ／Ｇ／Ｂ／ＩＲ、またはＲ／Ｇ／Ｂ／Ｗのフィルタを有するカラータイプの撮像素子を用いてもよい。イメージセンサ１２０は、可視の波長範囲に限らず、例えば紫外、近赤外、中赤外、遠赤外などの波長範囲に検出感度を有していてもよい。イメージセンサ１２０は、ＳＰＡＤ（Ｓｉｎｇｌｅ　Ｐｈｏｔｏｎ　Ａｖａｌａｎｃｈｅ　Ｄｉｏｄｅ）を利用したセンサであってもよい。イメージセンサ１２０は、露光後に全画素の信号を一括で読出すことが可能な電子シャッタ、すなわちグローバルシャッタの機構を備え得る。電子シャッタは、行毎に露光を行うローリングシャッタ方式、または光ビームの照射範囲に合わせた一部のエリアのみ露光を行うエリアシャッタ方式であってもよい。

　［１－１－４　測距方法の例］
　本実施形態では、信号処理回路１６０は、間接ＴｏＦ方式と呼ばれる測距方法によって物体までの距離を計測する。以下、一般的な間接ＴｏＦ方式による測距方法の一例を説明する。なお、間接ＴｏＦ方式に限らず、直接ＴｏＦ方式による測距方法を用いてもよい。

　ＴｏＦ方式は、光源から出射した光が物体によって反射されて光源の近傍の光検出器まで戻ってくるまでの飛行時間を測定することで、装置から物体までの距離を測定する方式である。飛行時間を直接計測する方式を直接ＴｏＦと呼ぶ。複数の露光期間を設け、露光期間ごとの反射光のエネルギー分布から、飛行時間を計算する方式を間接ＴｏＦと呼ぶ。

　図１７Ａは、間接ＴｏＦ方式における投光タイミング、反射光の到達タイミング、および２回の露光タイミングの例を示す図である。横軸は時間を示している。矩形部分は、投光、反射光の到達、および２回の露光のそれぞれの期間を表している。この例では、簡単のため、１つの光ビームが出射され、その光ビームによって生じた反射光を受ける受光素子が連続で２回露光する場合の例を説明する。図１７Ａの部分（ａ）は、光源から光が出射するタイミングを示している。Ｔ０は測距用の光ビームのパルス幅である。図１７Ａの部分（ｂ）は、光源から出射して物体で反射された光ビームがイメージセンサに到達する期間を示している。Ｔｄは光ビームの飛行時間である。図１７Ａの例では、光パルスの時間幅Ｔ０よりも短い時間Ｔｄで反射光がイメージセンサに到達している。図１７Ａの部分（ｃ）は、イメージセンサの第１の露光期間を示している。この例では、投光の開始と同時に露光が開始され、投光の終了と同時に露光が終了している。第１の露光期間では、反射光のうち、早期に戻ってきた光が光電変換され、生じた電荷が蓄積される。Ｑ１は、第１の露光期間の間に光電変換された光のエネルギーを表す。このエネルギーＱ１は、第１の露光期間の間に蓄積された電荷の量に比例する。図１７Ａの部分（ｄ）は、イメージセンサの第２の露光期間を示している。この例では、第２の露光期間は、投光の終了と同時に開始し、光ビームのパルス幅Ｔ０と同一の時間、すなわち第１の露光期間と同一の時間が経過した時点で終了する。Ｑ２は、第２の露光期間の間に光電変換された光のエネルギーを表す。このエネルギーＱ２は、第２の露光期間の間に蓄積された電荷の量に比例する。第２の露光期間では、反射光のうち、第１の露光期間が終了した後に到達した光が受光される。第１の露光期間の長さが光ビームのパルス幅Ｔ０に等しいことから、第２の露光期間で受光される反射光の時間幅は、飛行時間Ｔｄに等しい。

　ここで、第１の露光期間の間に受光素子に蓄積される電荷の積分容量をＣｆｄ１、第２の露光期間の間に受光素子に蓄積される電荷の積分容量をＣｆｄ２、光電流をＩｐｈ、電荷転送クロック数をＮとする。第１の露光期間における受光素子の出力電圧は、以下のＶｏｕｔ１で表される。
　Ｖｏｕｔ１＝Ｑ１／Ｃｆｄ１＝Ｎ×Ｉｐｈ×（Ｔ０－Ｔｄ）／Ｃｆｄ１

　第２の露光期間における受光素子の出力電圧は、以下のＶｏｕｔ２で表される。
　Ｖｏｕｔ２＝Ｑ２／Ｃｆｄ２＝Ｎ×Ｉｐｈ×Ｔｄ／Ｃｆｄ２

　図１７Ａの例では、第１の露光期間の時間長と第２の露光期間の時間長とが等しいため、Ｃｆｄ１＝Ｃｆｄ２である。従って、Ｔｄは以下の式で表すことができる。
　Ｔｄ＝｛Ｖｏｕｔ２／（Ｖｏｕｔ１＋Ｖｏｕｔ２）｝×Ｔ０

　光速をＣ（≒３×１０^８ｍ／ｓ）とすると、装置と物体との距離Ｌは、以下の式で表される。
　Ｌ＝１／２×Ｃ×Ｔｄ＝１／２×Ｃ×｛Ｖｏｕｔ２／（Ｖｏｕｔ１＋Ｖｏｕｔ２）｝×Ｔ０

　イメージセンサは、実際には露光期間に蓄積した電荷を出力するため、時間的に連続して２回の露光を行うことができない場合がある。その場合には、例えば図１７Ｂに示す方法が用いられ得る。

　図１７Ｂは、連続で２つの露光期間を設けることができない場合の投光と露光、および電荷出力のタイミングを模式的に示す図である。図１７Ｂの例では、まず、光源が投光を開始すると同時にイメージセンサは露光を開始し、光源が投光を終了すると同時にイメージセンサは露光を終了する。この露光期間は、図１７Ａにおける露光期間１に相当する。イメージセンサは、露光直後にこの露光期間で蓄積された電荷を出力する。この電荷量は、受光された光のエネルギーＱ１に相当する。次に、光源は再度投光を開始し、１回目と同一の時間Ｔ０が経過すると投光を終了する。イメージセンサは、光源が投光を終了すると同時に露光を開始し、第１の露光期間と同一の時間長が経過すると露光を終了する。この露光期間は、図１７Ａにおける露光期間２に相当する。イメージセンサは、露光直後にこの露光期間で蓄積された電荷を出力する。この電荷量は、受光された光のエネルギーＱ２に相当する。

　このように、図１７Ｂの例では、上記の距離計算のための信号を取得するために、光源は投光を２回行い、イメージセンサはそれぞれの投光に対して異なるタイミングで露光する。このようにすることで、２つの露光期間を時間的に連続して設けることができない場合でも、露光期間ごとに電圧を取得できる。このように、露光期間ごとに電荷の出力を行うイメージセンサでは、予め設定された複数の露光期間の各々で蓄積される電荷の情報を得るために、同一条件の光を、設定された露光期間の数と等しい回数だけ投光することになる。

　なお、実際の測距では、イメージセンサは、光源から出射されて物体で反射された光のみではなく、バックグラウンド光、すなわち太陽光または周辺の照明等の外部からの光を受光し得る。そこで、一般には、光ビームが出射されていない状態でイメージセンサに入射するバックグラウンド光による蓄積電荷を計測するための露光期間が設けられる。バックグランド用の露光期間で計測された電荷量を、光ビームの反射光を受光したときに計測される電荷量から減算することで、光ビームの反射光のみを受光した場合の電荷量を求めることができる。本実施形態では、簡便のため、バックグランド光についての動作の説明を省略する。

　上記の例では、簡単のため、１つの光ビームのみに着目したが、複数の光ビームが連続で出射されてもよい。以下、２つの光ビームが連続で出射される場合の光検出動作の例を説明する。

　図１８Ａは、各単位期間において、異なる方向に２つの光ビームが連続で出射される場合の光検出の第１の例を示す図である。横軸は時間を表す。この例では、単位期間内に、３回の露光が連続して行われる。

　図１８Ａの部分（ａ）は、光源から２つの光ビームが出射されるタイミングを示している。図１８Ａの部分（ｂ）は、光源から出射された２つの光ビームが物体で拡散されることによって生じる反射光が受光装置におけるイメージセンサに到達するタイミングを示している。この例では、実線で示される第１の光ビームの投光が終了すると、すぐに破線で示される第２の光ビームの投光が開始される。これらの光ビームの反射光は、各光ビームの投光タイミングよりも少し遅れてイメージセンサに到達する。第１の光ビームと、第２の光ビームとでは、出射方向が異なり、これらの光ビームの反射光は、イメージセンサにおける異なる２つの受光素子または２つの受光素子群に入射する。図１８Ａの部分（ｃ）から（ｅ）は、第１から第３の露光期間をそれぞれ示している。この例では、第１の露光期間は、第１の光ビームの投光の開始と同時に開始され、投光の終了と同時に終了する。第２の露光期間は、第２の光ビームの投光の開始と同時に開始され、投光の終了と同時に終了する。第３の露光期間は、第２の光ビームの投光の終了と同時に開始され、当該光ビームのパルスの時間幅と同じ時間が経過すると終了する。図１８Ａの部分（ｆ）は、イメージセンサのシャッタ開放期間を示している。図１８Ａの部分（ｇ）は、各受光素子の電荷出力の期間を示している。

　この例では、イメージセンサの各受光素子は、３つの露光期間において、それぞれ独立に、光電変換によって生じた電荷を蓄積する。各電荷蓄積期間で蓄積された電荷は、同時に読み出される。この動作を実現するために、各受光素子には、３つ以上の電荷蓄積部が設けられる。それらの電荷蓄積部への電荷の蓄積は、例えばスイッチによって切り替えられる。各露光期間の長さは、シャッタ開放期間よりも短い時間に設定される。イメージセンサは、最初の光ビームの投光の開始時点でシャッタを開いて露光を開始する。反射光が受光される可能性のある期間にわたってシャッタは開放されている。最後の光ビームによって生じた反射光が受光され得る期間である第３の露光期間が終了すると、イメージセンサは、シャッタを閉じ、露光を終了する。シャッタ開放期間が終了すると、イメージセンサは、信号の読出しを行う。この際、第１から第３の電荷蓄積期間に蓄積されたそれぞれの電荷量に応じた信号が画素ごとに読み出される。読み出された信号は、受光データとして、信号処理回路１６０に送られる。信号処理回路１６０は、当該受光データに基づき、図１７Ａを参照して説明した方法により、反射光を受けた受光素子について、距離を計算することができる。

　図１８Ａの例によれば、受光素子ごとに複数の電荷蓄積部が必要であるが、複数の電荷蓄積部に蓄積された電荷の出力を一括で行うことができる。このため、投光と露光の反復をより短時間で行うことができる。

　図１８Ｂは、各単位期間において、異なる方向に２つの光ビームが連続で出射される場合の光検出の第２の例を示す図である。図１８Ｂの例では、図１７Ｂの例と同様に、露光期間が終了する度に電荷出力が行われる。１つの単位期間の間に、第１の光ビームおよび第２の光ビームの出射、露光、および電荷出力が、３セット繰り返される。第１のセットにおいて、第１の光ビームの投光開始と同時に、各受光素子の露光が開始され、第１の光ビームの投光終了と同時に露光が終了する。この露光期間Ｐ１は、図１８Ａに示す露光期間１に相当する。露光期間Ｐ１が終了すると、各受光素子に蓄積された電荷が読み出される。第２のセットにおいては、第１の光ビームの投光終了と同時に、すなわち第２の光ビームの投光開始と同時に、各受光素子の露光が開始され、第２の光ビームの投光終了と同時に露光が終了する。この露光期間Ｐ２は、図１８Ａに示す露光期間２に相当する。露光期間Ｐ２が終了すると、各受光素子に蓄積された電荷が読み出される。第３のセットにおいては、第２の光ビームの投光終了と同時に、各受光素子の露光が開始され、各光ビームのパルス幅に相当する時間長が経過すると露光が終了する。この露光期間Ｐ３は、図１８Ａに示す露光期間３に相当する。露光期間Ｐ１が終了すると、各受光素子に蓄積された電荷が読み出される。この例では、各単位期間において、複数の光ビームの連続投光、露光、および受光データの読出しの一連の動作が３回繰り返される。これにより、図１７Ｂの例と同様に、受光素子ごとに、各露光期間の電荷量に応じた受光データを取得することができる。これにより、前述の演算によって距離を計算することができる。

　図１８Ｂの例によれば、各受光素子は１つの電荷蓄積部を有していればよいため、イメージセンサの構造を簡素化できる。

　なお、図１８Ａおよび図１８Ｂの例では、単位期間ごとに、３つの露光期間が設定されているが、単位期間あたりの露光期間の数は２以下または４以上であってもよい。例えば、同時に複数の方向に光ビームを出射できる光源を使用する場合、単位期間あたりの露光期間は２つでもよい。その場合、図１７Ａまたは図１７Ｂを参照して説明した方法によって距離を計算できる。あるいは、後述する直接ＴｏＦによる距離計算方法を適用する場合、単位期間あたりの露光期間は１つでもよい。さらに、単位期間あたりに出射される光ビームの数は２つに限らず、３つ以上でもよい。投光および受光のタイミングは、複数の光ビームの到達距離範囲の設定等に応じて調整され得る。

　［１－１－５．距離計測部１６１の構成］
　距離計測部１６１の構成を説明する。図１９は、距離計測部１６１の詳細な機能構成を示すブロック図である。距離計測部１６１は、データ画素抽出部１６１ａと、ブロック範囲記憶部１６１ｂと、距離計算部１６１ｃとを備える。なお、データ画素抽出部１６１ａおよび距離計算部１６１ｃは、信号処理回路１６０がコンピュータプログラムを実行することによって実現され得る。

　データ画素抽出部１６１ａは、イメージセンサ１２０から、露光期間ごとに各画素に蓄積された電荷の量に応じた信号を取得する。データ画素抽出部１６１ａは、制御回路１３０から、出射された光ビームの方向を示す情報も取得する。データ画素抽出部１６１ａは、ブロック範囲記憶部１６１ｂを参照して、当該方向の光ビームの反射光を受光し得る画素の範囲を抽出する。さらに、データ画素抽出部１６１ａは、イメージセンサ１２０の画素のうち、２つ以上の露光期間で取得された２つの信号のうちの少なくとも一方の値が０でない画素であって、上記の画素の範囲と重なる画素を抽出する。抽出された画素を含む予め定められた画素数の範囲内の画素が当該光ビームに対応する画素のブロックとして決定される。予め定められた画素数は、例えば、ｘ軸方向に１０画素、ｙ軸方向に１０画素の矩形領域に含まれる１００個であり得る。

　ブロック範囲記憶部１６１ｂは、メモリなどの記録媒体である。図１９の例では、記録媒体１５０とは別の要素であるが、記録媒体１５０に含まれていてもよい。ブロック範囲記憶部１６１ｂには、光ビームの各出射方向と、当該光ビームの反射光を受光し得る画素範囲とが関連付けられて記録されている。さらに、各出射方向について、例えば１００ｍの距離に十分大きな物体があると仮定した場合に、当該物体による反射光を受光する画素の範囲が、「標準画素範囲」として記録されている。標準画素範囲は、画素範囲に含まれる。

　図２０は、ブロック範囲記憶部１６１ｂに記録される情報の一例を示している。光ビームの方向は、例えば、所定の３次元座標で表された当該方向の単位ベクトルの成分で表現され得る。この３次元座標は、例えば、受光面の中心を原点とし、画像の横方向に相当する方向にｘ軸、画像の縦方向に相当する方向にｙ軸、受光面に垂直でシーンに向けた方向にｚ軸をもつ座標であり得る。画素範囲は、イメージセンサ１２０の画素のうち、矩形の領域に含まれる画素の範囲として指定され得る。例えば、出力される画像上で最も左上の画素位置と最も右下の画素位置によって画素範囲が表され得る。標準画素範囲も同様に、画像上の最も左上の画素位置と最も右下の画素位置によって範囲が指定され得る。

　距離計算部１６１ｃは、データ画素抽出部１６１ａが決定した画素範囲についてのみ、距離を計算する。距離は、イメージセンサ１２０の受光面から物体までの距離を指す。距離計算は、例えば前述の間接ＴｏＦ方式による計算で計算される。

　［１－２　動作］
　次に、測距装置１００の動作を説明する。

　図２１は、測距装置１００の動作の一例を示すフローチャートである。測距装置１００は、図２０に示すステップＳ１１００からＳ２８００の動作を実行することにより、１フレーム分の距離データおよび点群データを生成する。連続して複数フレーム分のデータを生成する場合、測距装置１００は、図２１に示すステップＳ１１００からＳ２８００の動作を繰り返す。以下、各ステップの動作を説明する。

　（ステップＳ１１００）
　まず、制御回路１３０は、予め定められた光ビームの方向のうち、投光されていない方向があるかどうかを判断する。予め定められた全ての方向について、投光が完了している場合、すなわちステップＳ１１００においてｙｅｓの場合、ステップＳ２１００に進む。予め定められた方向のうち投光されていない方向がある場合、すなわちステップＳ１１００においてｎｏの場合、ステップＳ１２００に進む。

　（ステップＳ１２００）
　制御回路１３０は、予め定められた光ビームの方向のうち投光されていない方向の１つを決定する。

　(ステップＳ１３００)
　制御回路１３０は、ステップＳ１２００で決定された光ビームの方向を示す情報を記録媒体１５０に記録する。

　(ステップＳ１４００)
　制御回路１３０は、ステップＳ１２００で決定された方向について、予め定められた２つ以上の露光期間の全てについて、イメージセンサ１２０の露光が完了したかを判断する。この判断がｙｅｓの場合、ステップＳ１９００に進む。この判断がｎｏの場合、ステップＳ１５００に進む。

　(ステップＳ１５００)
　制御回路１３０は、予め定められた２つ以上の露光期間のうち、まだ露光が行われていない露光期間の１つを決定する。各露光期間は、例えば、ビームスキャナ１１０が出射する光パルスの時間長と同じ時間長をもつ。第１の露光期間は、例えば、投光開始と同時に開始し、投光終了と同時に終了する。第２の露光期間は、例えば、ビームスキャナ１１０の投光終了と同時に開始され、光パルスの時間長と同じ時間が経過すると終了する。第３の露光期間が設定される場合、当該第３の露光期間は、例えば、第２の露光期間の終了のタイミングで開始され、光パルスの時間長と同じ時間が経過すると終了する。

　(ステップＳ１６００)
　制御回路１３０は、ステップＳ１２００で決定された光ビームの方向について、ビームスキャナ１１０の投光が、予め定められた同一方向への投光回数を満たしたか否かを判断する。この判断がｙｅｓの場合、ステップＳ１４００へ戻る。この判断がｎｏの場合、ステップＳ１７００に進む。

　（ステップＳ１７００）
　ビームスキャナ１１０は、ステップＳ１２００で決定された方向に光ビームを出射する。出射される光ビームは、例えば矩形パルス光であり得る。パルスの時間長は、例えば１００ｎｓ程度であり得る。

　（ステップＳ１８００）
　イメージセンサ１２０は、ステップＳ１５００で決定された露光期間で受光を行う。この露光期間は、例えば前述の第１から第３の露光期間のいずれかである。

　（ステップＳ１９００）
　全ての露光期間での露光が完了すると、制御回路１３０は、光ビームが出射された詳細時刻（例えばマイクロ秒単位）を、その光ビームの方向と関連付けて記録する。この例におけるビームスキャナ１１０は、１つの方向に光ビームを複数回出射するため、複数の光ビームの出射時刻に対して１つの時刻が決定される。制御回路１３０は、例えば、計測の詳細時刻として、各方向について、１番目の投光の開始時刻を計測の詳細時刻として記録する。計測の詳細時刻は、当該方向の最後の投光の開始時刻もしくは終了時刻、または、当該方向の投光のうち、投光順の中央に当たる投光の開始時刻もしくは終了時刻でもよい。あるいは、複数の投光時刻の平均値を計測の詳細時刻として記録してもよい。

　なお、上記の例では、一つの方向に出射された複数の光ビームの出射時刻に基づいて計測の詳細時刻が決定されるが、計測の詳細時刻を他の方法で決定してもよい。例えば一つの方向に出射された複数の光ビームの受光時刻など、出射時刻以外の時刻を計測の詳細時刻として決定してもよい。

　(ステップＳ２０００)
　イメージセンサ１２０は、全画素について、露光期間ごとに蓄積された電荷の量に応じた信号を出力する。この信号は、信号処理回路１６０の距離計測部１６１に送られる。

　（ステップＳ２１００）
　信号処理回路１６０の距離計測部１６１は、イメージセンサ１２０の全画素のうち、当該光ビームの反射光を受光した画素のブロックを決定する。具体的には、距離計測部１６１のデータ画素抽出部１６１ａは、ブロック範囲記憶部１６１ｂを参照し、当該光ビームの方向に対応する、物体からの反射光を受光し得る画素の範囲を決定する。さらに、データ画素抽出部１６１ａは、露光期間ごとに蓄積された電荷量に基づき、物体からの反射光を受光しうる画素の範囲のうち、いずれかの露光期間での電荷量が０でない画素を検出する。検出された画素およびその周辺の画素をブロックとして決定する。ブロックは、例えば、ｘ軸方向１０画素、ｙ軸方向１０画素の矩形の領域内の画素によって構成され得る。いずれかの露光期間における電荷量の値が０でない１つ以上の画素を中心に範囲が決定される。いずれかの露光期間について値が０でない画素が複数の領域に分布する場合には、予め定められた大きさの範囲で、できるだけ多くの画素を含む範囲が決定される。当該範囲内に、いずれかの露光期間について値が０でない画素が検出されない場合は、予め出射方向ごとに定められた標準画素範囲に含まれる複数の画素がブロックとして決定される。標準画素範囲は、例えば図２０を参照して説明したように、イメージセンサ１２０の受光面から特定の距離、例えば１００ｍの位置に十分な大きさの物体がある場合にその物体からの反射光を受光する画素の範囲であり得る。ステップＳ２１００の動作の詳細は後述する。

　(ステップＳ２２００)
　距離計測部１６１は、光ビームの方向に対応するブロックと、当該ブロックに含まれる画素との対応関係を規定するデータを、記録媒体１５０に記録する。例えば、ブロックのＩＤと、当該ブロックに含まれる画素の範囲を示すデータが記録され得る。

　（ステップＳ２３００）
　距離計測部１６１は、ステップＳ２１００で決定されたブロックに含まれる各画素について、物体までの距離を計算する。距離計算の方法は、例えば図１７Ａから図１８Ｂを参照して説明したとおりである。

　(ステップＳ２４００)
　距離計測部１６１は、ステップＳ２３００で計算された、当該ブロックに含まれる画素ごとの距離を記録媒体１５０に記録する。ステップＳ２４００の後、ステップＳ１１００に戻る。

　以上のステップＳ１１００からＳ２４００までの動作が、予め設定された全方向への投光が完了するまで、繰り返される。全方向への投光が完了すると、ステップＳ２５００に進む。

　(ステップＳ２５００)
　距離画像生成部１６２は、記録媒体１５０に記録された画素ごとの距離に基づいて、全画素の距離情報を画像形式にした距離画像データを生成する。

　(ステップＳ２６００)
　点群データ生成部１６３は、記録媒体１５０に記録された画素ごとの距離に基づいて、予め定められた３次元空間座標における点群データを生成する。点群データ生成部１６３は、イメージセンサ１２０の位置、およびイメージセンサ１２０の向きの情報に基づいて、０または無限大以外の値をもつ画素について、座標変換を行う。これにより、距離画像データを点群データへ変換する。点群データ生成部１６３は、さらに、ステップＳ２２００において記録されたブロックと画素との対応情報を、ブロックと点群との対応情報に変換して記録する。

　(ステップＳ２７００)
　出力部１６９は、ステップＳ２６００において距離画像から変換された点群データと、ブロックと点群との対応情報に基づいて、出力データを生成する。例えば、図７Ａまたは図７Ｂに示すような、ブロックごとの対応点および詳細時刻の情報と、点群に含まれる各点の３次元空間での位置の情報とを含む出力データが生成される。

　(ステップＳ２８００)
　出力部１６９は、ステップＳ２７００で生成された１フレーム分のデータを出力する。当該データは、記録媒体１５０に記録される。

　ステップＳ１１００からＳ２８００の動作により、測距装置１００は、１フレーム分の、ブロック単位の詳細時刻情報を含む点群データを生成し、出力することができる。ステップＳ１１００からＳ２８００の動作が、例えば所定のフレームレート（例えば３０ｆｐｓ）で繰り返され得る。

　[ステップＳ２１００の詳細動作]
　次に、ステップＳ２１００における動作の詳細を説明する。図２２は、ステップＳ２１００の動作の詳細を示すフローチャートである。ステップＳ２１００は、図２２に示すステップＳ２１０１からＳ２１１０を含む。以下、各ステップの動作を説明する。

　（ステップＳ２１０１）
　距離計測部１６１のデータ画素抽出部１６１ａは、ブロック範囲記憶部１６１ｂを参照し、当該光ビームの方向に対応する、物体からの反射光を受光し得る画素の範囲を決定する。例えば図２０の例では、ステップＳ１２００で決定された光ビームの方向に対応する「画素範囲」を抽出する。光ビームが出射され、物体から拡散した光を歪みのない光学レンズで集光すると、集光された光はイメージセンサ１２０の受光面の特定の位置で検出される。イメージセンサ１２０の受光面に直交する方向以外の方向に出射される場合、光が検出される位置は、光ビームの方向を受光面に投影した直線上にあり、物体とイメージセンサ１２０との距離によって当該直線上のどの位置に入射するかが変化する。

　図２３は、光ビームの方向と、物体の位置と、物体による反射光のイメージセンサ１２０の受光面上への入射位置との関係を示す模式図である。図２３において、ビームスキャナ１１０から出射された光ビームは、実線の矢印Ｌ１で表されている。物体が位置１６５Ａ、１６５Ｂ、１６５Ｃのそれぞれに存在する場合に生じる反射光が、破線矢印で示されている。位置１６５Ａに存在する物体からの反射光は、受光面上の位置１６５ａに入射する。位置１６５Ｂに存在する物体からの反射光は、受光面上の位置１６５ｂに入射する。位置１６５Ｃに存在する物体からの反射光は、受光面上の位置１６５ｃに入射する。位置１６５ａ、１６５ｂ、および１６５ｃは、光ビームＬ１の経路をイメージセンサ１２０の受光面を含む平面に投影した直線上にある。図２０に示す「画素範囲」は、この直線に沿って設定されており、光ビームの広がり幅に応じた画素の幅が付与されている。この画素範囲は、イメージセンサ１２０上で反射光を受光し得る範囲を表す。一方、図２０に示す「標準画素範囲」は、その光ビームによる反射光を検出し得る最大の距離（例えば１００ｍ）に物体が存在すると仮定した場合の反射光を受光し得る画素の範囲を表す。

　（ステップＳ２１０２）
　データ画素抽出部１６１ａは、ステップＳ２１０１で決定された反射光を受光し得る範囲の画素のうち、すでに記録媒体１５０に距離が記録されている画素がある場合は、当該画素を反射光を受光し得る範囲の画素から除外する。

　（ステップＳ２１０３）
　データ画素抽出部１６１ａは、ステップＳ２１０１で決定された範囲の画素であって、ステップＳ２１０２で除外されなかった画素について、いずれかの露光期間で受光した画素があるか否かを判断する。この判断がｙｅｓの場合、ステップＳ２１０４に進む。この判断がｎｏの場合、ステップＳ２１０５に進む。

　（ステップＳ２１０４）
　データ画素抽出部１６１ａは、ステップＳ２１０３で特定された、いずれかの露光期間で受光した画素が、予め定められたブロックのサイズよりも小さい範囲で分布しているか否かを判断する。予め定められたブロックのサイズは、例えば縦横１０画素ずつの大きさであり得る。ステップＳ２１０４の判断がｙｅｓの場合、ステップＳ２１０６に進む。ステップＳ２１０４の判断がｎｏの場合、ステップＳ２１０７に進む。

　図２４Ａは、イメージセンサ１２０の受光面のうち、受光可能性のある画素範囲Ａ１と、標準画素範囲Ａ２の例を示す図である。図２４Ｂは、いずれかの露光期間で受光した画素Ｓが、受光可能性のある範囲で予め定められた大きさの範囲Ａ３の内部に分布している状態の例を示す図である。図２４Ｃおよび図２４Ｄは、いずれかの露光期間で受光した画素Ｓが、受光可能性のある範囲で予め定められた大きさの範囲Ａ３を超えて分布している状態の例を示す図である。図２４Ｂのような場合、ステップＳ２１０４において、ｙｅｓと判断される。一方、図２４Ｃまたは図２４Ｄのような場合、ステップＳ２１０４においてｎｏと判断される。

　なお、特殊なケースとして、図２５Ａの例のように、受光可能性のある範囲Ａ１の中で、同一の大きさの連続した受光画素Ｓの範囲が複数検出される場合があり得る。あるいは、図２５Ｂの例のように、受光可能性のある範囲Ａ１に一様に受光画素Ｓが分布している場合があり得る。これらの例外に対して、図２５Ａの場合には、例えば、受光可能性のある範囲Ａ１の外を含めて、近傍に受光した画素が多い方の連続した受光画素Ｓの範囲をブロックとして設定してもよい。図２５Ｂの場合には、例えば、受光画素Ｓの分布範囲の中央の位置のブロックサイズの領域Ａ３をブロックとして設定してもよい。

　（ステップＳ２１０５）
　データ画素抽出部１６１ａは、ブロック範囲記憶部１６１ｂに記憶された標準画素範囲をブロックとして設定する。このステップは、例えば図２４Ａに示すような場合に実行される。ステップＳ２１０５を実行した後、ステップＳ２２００に進む。

　(ステップＳ２１０６)
　データ画素抽出部１６１ａは、ステップＳ２１０１で抽出された、受光可能性のある範囲内で、受光した連続する画素をブロックとして設定する。このステップは、例えば図２４Ｂに示すような場合に実行される。ステップＳ２１０６を実行した後、ステップＳ２２００に進む。

　（ステップＳ２１０７）
　データ画素抽出部１６１ａは、隣り合う画素がいずれも受光画素である、連続する受光画素の領域を特定する。特定された受光画素が連続する領域のうち、最も大きいもの、すなわち領域に含まれる画素数が最も大きい領域を抽出する。

　（ステップＳ２１０８）
　データ画素抽出部１６１ａは、ステップＳ２１０７で抽出した受光画素が連続する領域のうち最も大きい領域が、予め定められたブロックサイズ以下であるか否かを判断する。この判断がｙｅｓの場合、ステップＳ２１０９に進む。この判断がｎｏの場合、ステップＳ２１１０に進む。

　(ステップＳ２１０９)
　データ画素抽出部１６１ａは、ステップＳ２１０７で抽出された領域をブロックとして設定する。このステップは、例えば図２４Ｃに示すような場合に実行される。ステップＳ２１０９を実行した後、ステップＳ２２００に進む。

　(ステップＳ２１１０)
　データ画素抽出部１６１ａは、ステップＳ２１０７で抽出された領域の中心位置、例えば当該領域に含まれる全受光画素の座標の重心位置を中心として、ブロックを設定する。ブロックの中心位置がステップＳ２１０７で抽出した領域の中心と重なるようにブロックを設定してもよい。このステップは、図２４Ｄに示すような場合に実行される。ステップＳ２１１０を実行した後ステップＳ２２００に進む。

　［１－３．効果］
　以上のように、本実施形態における測距装置１００は、ビームスキャナ１１０と、イメージセンサ１２０と、信号処理回路１６０とを備える。ビームスキャナ１１０は、異なるタイミングで複数の光ビームを異なる方向に出射する発光装置である。イメージセンサ１２０は、複数の受光素子のアレイを含み、各光ビームの出射によって生じた前記シーンからの反射光を複数の受光素子によって検出する。信号処理回路１６０は、イメージセンサ１２０から出力された信号に基づいて、複数の受光素子のうち、反射光を検出した受光素子にそれぞれ対応するシーン中の複数の点の位置または距離を示すデータを含む出力データを生成して出力する。出力データにおいて、複数の点のデータは、複数のブロックに分類されており、複数のブロックの各々に個別の時刻データが付与されている。あるタイミングにおいて、光ビームは、イメージセンサ１２０の画角によって規定される範囲の一部のみに出射される。逐次的に光ビームの方向を変更して各画素での距離を計測することにより、イメージセンサ１２０全体として受光し得るシーンの全域について距離画像を生成できる。１つの距離画像に関しては、ビームごとに計測時刻が異なる。信号処理回路１６０は、距離画像における複数の画素を、ビームの方向ごとにブロック化し、さらに距離画像から変換した点群データにおける複数の点も同様にブロック化する。ブロックごとに計測時刻を記録することにより、１フレームとして出力される点群データに詳細な時刻を対応付けて出力することができる。

　本実施形態によれば、距離画像の１フレーム単位の計測時刻（例えばミリ秒単位）でなく、フレーム内での光ビームの照射タイミングに対応した詳細な計測時刻（例えばマイクロ秒単位）を画素のブロックごとに記録することができる。このため、例えば本実施形態の測距装置１００を備える複数の装置からの情報を正確に統合することが容易になる。本実施形態によれば、物体の３次元の位置情報に加えて、詳細な時刻情報を含む４次元の時空間情報を生成することができる。３次元の位置情報に対応する詳細時刻の出力により、特に移動物体の位置、移動方向、および速度を、より正確に構成することができる。具体的には、事故が生じたときの複数の移動体の位置関係などの交通状況の詳細を再現することが可能になる。

　［実施形態２］
　次に、第２の実施形態による測距装置を説明する。

　前述の各実施形態では光ビームのビーム形状およびビーム径が固定であるが、本実施形態では、ビーム形状およびビーム径がフレームごとに調整可能である。フレームごとにビーム形状およびビーム径が異なるように制御することができる。ビーム径を小さくすることにより、同じ光のエネルギーであれば光ビームは遠くまで到達する。出射される光のエネルギーが同じで、フレームごとに到達距離を調整する場合には、本実施形態のようにフレームごとにビーム形状およびビーム径を調整することが有効である。

　図２６Ａおよび図２６Ｂは、ビーム径の異なる光ビームの投光による、受光の状態を模式的に示す図である。図２６Ａは小さいビーム径での受光の状態を示し、図２６Ｂは大きいビーム径での受光の状態を示す。図中の点線の円は、ビームスポットを表し、太線の矩形枠はブロックを表す。ビーム径が小さいと、受光範囲に含まれる画素数は少なくなり、ビーム径が大きいと受光範囲に含まれる画素数は多くなる。このように、ビーム形状およびビーム径の変化に応じて、イメージセンサ１２０上で、１つの光ビームの方向に対応する画素範囲が変化する。

　本実施形態の測距装置の構成は、図４に示す測距装置１００の構成と同じである。ただし、本実施形態では、制御回路１３０は、光ビームの方向だけでなくフレームごとに光ビームのビーム形状およびビーム径を決定する。記録媒体１５０には、フレームごとの情報として、光ビームのビーム形状およびビーム径の情報が予め記録されている。

　図２７は、本実施形態における記録媒体１５０に記録される情報の一例を示している。本実施形態では、図６Ｂに示す情報に代えて、図２７に示す情報が記録媒体１５０に記録される。図６Ａおよび図６Ｃに示す情報は、本実施形態でも同様に記録される。本実施形態では、図２７に示すように、ビーム形状およびビーム径を特定するビーム形状ＩＤが、ビーム方向、ブロックに含まれる画素範囲および時刻の情報に関連付けて記録される。

　本実施形態におけるブロック範囲記憶部１６１ｂ（図１９参照）は、ビーム方向と画素範囲と標準画素範囲との対応表を、取り得るビーム形状およびビーム径の数だけ保持する。図２８は、本実施形態におけるブロック範囲記憶部１６１ｂが記憶する情報の一例を示している。図２８の例では、ビーム形状ごとに、各光ビームの方向に対応する、受光する可能性のある画素範囲と、標準画素範囲の情報が予め記録されている。さらに、ビーム形状ごとに、ブロックサイズが記録されている。ブロックサイズは、実施形態１では予め定められた固定値であるが、本実施形態では、ビーム形状ごとに設定されている。

　本実施形態における制御回路１３０は、図２１に示すステップＳ１１００で投光されていない方向があるかどうかを判断する前に、まず、光ビームのビーム形状およびビーム径を決定する。ビーム形状およびビーム径ごとに、イメージセンサ１２０の検出可能な範囲の全体を網羅する光ビームの方向のリストのデータが、記録媒体１５０に予め記録されている。制御回路１３０は、そのリストを参照して、ステップＳ１１００の判断を行う。

　本実施形態におけるデータ画素抽出部１６１ａ（図１９参照）は、制御回路１３０から、光ビームの出射時刻の情報とともに、ビーム形状およびビーム径の情報を取得する。データ画素抽出部１６１ａは、そのビーム形状およびビーム径の情報に従って、ブロック範囲記憶部１６１ｂに記憶された複数の対応表の中から、当該フレームの光ビームのビーム形状およびビーム径に対応する対応表を選択する。そして、選択した対応表における着目するビーム方向に対応する画素範囲および標準画素範囲の情報に基づき、ブロックを決定する。

　以上のように、本実施形態では、フレームごとに光ビームのビーム形状およびビーム径が決定される。ビームの方向ごとに距離画像の画素をブロック化し、さらに距離画像から変換した点群データの点をブロック化することができる。ブロックごとに計測時刻を記録し、各フレームに対応する点群に詳細な時刻を対応付けて出力することができる。加えて、フレームごとに光ビームの到達距離が異なる仕様においても、フレームごとの光ビームの仕様に合わせて、光ビームごとに点群データをブロック化し、点群のブロックごとに詳細な時刻を出力することができる。

　ビームスキャナ１１０が任意のビーム形状およびビーム径の光ビームを出射でき、制御回路１３０がフレームごとに、任意にビーム形状およびビーム径を設定する構成を採用してもよい。その場合、信号処理回路１６０は、それぞれのビーム方向に対応する画素範囲と標準画素範囲とを都度計算してもよい。その場合、信号処理回路１６０は、光ビームの出射方向の情報に基づき、出射方向に延びる直線をイメージセンサ１２０の受光面に投影した直線を求め、画素範囲の中心位置を決定する。そして、ビーム形状およびビーム径の情報に基づいて、受光可能性のある画素範囲の広がりを計算することができる。

　［実施形態３］
　次に、第３の実施形態による測距装置を説明する。

　前述の各実施形態では、光ビームのビーム径は、１フレーム分の距離計測動作中は固定である。これに対し、本実施形態では、１フレーム分の距離計測動作中であってもビーム径が調整可能である。本実施形態における投光には、イメージセンサ１２０の画角の範囲全体に一度に光を照射することができるフラッシュの投光も含まれる。

　本実施形態の測距装置１００の構成は実施形態１の構成（図４参照）と同一である。制御回路１３０は、記録媒体１５０に記録された情報を参照してビームスキャナ１１０が出射する光ビームの径および方向を決定し、ビームスキャナ１１０の投光のタイミングとイメージセンサ１２０の露光のタイミングを制御する。

　図２９Ａは、１つの光源から広角に広がる光であるフラッシュをビームスキャナ１１０から投光した場合に、イメージセンサ１２０が物体からの反射光を受光する様子を模式的に示す図である。フラッシュ投光時には、ビームスキャナ１１０は、イメージセンサ１２０の画角の範囲を網羅する光５０を拡散する。光５０が広く拡散されるため、光５０は近傍、例えば３０ｍ以内にしか届かない。よって、イメージセンサ１２０は近傍の物体のみから反射光を受光する。従って、図２９Ａに網掛けで示す、イメージセンサ１２０の近くにある物体、例えば図の左下に示される自動車と自家用車、および右下に示される人については、反射光が検出され、測距が可能である。

　図２９Ｂは、広がりが小さくエネルギー密度が距離によって減衰しにくい、すなわち遠くまで届く光ビームをビームスキャナ１１０が出射した場合に、イメージセンサ１２０が物体からの反射光を受光する様子を模式的に示す図である。図２９Ａに示すフラッシュ光５０とは異なり、光６０は、ビーム径は小さいが、長距離、例えば５０ｍ以上にまで届き、イメージセンサ１２０は遠くの物体からも反射光を検出できる。従って、図２９Ｂに網掛けで示される遠くの物体、例えば上部中央のトラックと自家用車からの反射光も検出することが可能である。このように、小径の光ビームを出射することで、遠方の物体も測距可能である。

　図２９Ｃは、図２９Ａに示すフラッシュの投光による近傍の物体からの反射光と、図２９Ｂに示す小径の光ビームの投光による遠方の物体からの反射光の両方の受光状況を示す模式図である。ここでは説明の便宜上、光ビームのビーム形状は、画角の範囲の全体に広がるフラッシュと、１００ｍまで到達する円形でビーム径の細い光ビームの２種類とする。フラッシュ光５０と、遠距離用の光６０は、同一フレーム内で、異なるタイミングで出射され得る。光ビームのビーム形状は、これらに限らず、他の形状の光ビームを出射してもよい。図２９Ｃの例では、近くにある自転車、自動車、および人については、フラッシュの反射光をイメージセンサ１２０が検出することができる。しかし、遠くにある自動車とトラックについては、イメージセンサ１２０は、フラッシュによる反射光を検出できず、広がり角の小さい光ビームの反射光のみを検出できる。

　図３０は、本実施形態における記録媒体１５０に記録される情報の一例を示している。実施形態１と比較して、図６Ｂに示す情報の代わりに、図３０に示す情報が記録される。図６Ａおよび図６Ｃに示す情報は、本実施形態でも同様に記録される。本実施形態では、フレームごとの情報として、光ビームの種類、すなわちフラッシュか遠距離用の光ビームかが記録される。フラッシュは全方向に広がるため、ビーム方向の情報は記録されない。画素範囲については、フラッシュの反射光を受光する全ての画素が「画素範囲」となり得る。画素範囲の形状が不定であるため、例えば、ｙ座標が同一の画素について、ｘ軸方向に、開始画素の座標と終了画素の座標とを併記する方法で範囲が記録され得る。図２９Ｃの例では、１つのマス目が１つの画素に対応するとし、左上を（０，０）とする。この場合、左下の自動車と自転車からの反射光を受光する画素範囲は（５，１）（５，６）、（６，１）（６，６）・・・（１０、１）（１０，６）と表される。右下の人からの反射光を受光する画素範囲は、（６、１１）（６，１３）、（７，１１）（７，１３）・・・（１０，１１）（１０、１３）と表される。なお、実際には、イメージセンサ１２０の画素は、図２９Ｃに示すマス目よりも遥かに小さいが、図２９Ｃではわかり易さのため、マス目が極端に大きく描かれている。

　図３１は、本実施形態の測距装置１００の動作の一部を示すフローチャートである。本実施形態では、図２１に示すフローチャートのステップＳ１１００の前に、図３１に示すステップＳ３１００からステップＳ３９００の動作が追加される。さらに、ステップＳ１１００およびＳ１２００の代わりにステップＳ４０００およびＳ４１００がそれぞれ実行される。これらの点を除き、本実施形態の動作は実施形態１の動作と同じである。図３１を参照して、本実施形態の測距装置１００の動作を説明する。

　（ステップＳ３１００）
　まず、制御回路１３０は、フラッシュについてビームスキャナ１１０の投光が、予め定められた投光回数を満たしたか否かを判断する。この判断がｙｅｓの場合、ステップＳ３４００に進む。この判断がｎｏの場合、ステップＳ３２００に進む。

　（ステップＳ３２００）
　ビームスキャナ１１０はフラッシュを投光する。投光されるフラッシュは、例えば、矩形状に強度が時間的に変化するパルス光であり得る。パルスの時間長は、例えば１００ｎｓであり得る。

　（ステップＳ３３００）
　イメージセンサ１２０は、予めフラッシュに合わせて設定された露光期間で受光を行う。露光期間として、例えば、前述のように、第１から第３の露光期間が設定され得る。露光の後、ステップＳ３１００に戻る。

　（ステップＳ３４００）
　制御回路１３０は、ビームスキャナ１１０がフラッシュを投光した詳細時刻（例えばマイクロ秒単位）の情報を記録媒体１５０に記録する。ビームスキャナ１１０は、フラッシュを複数回投光するため、複数の投光時刻に対して１つの時刻を決定する。制御回路１３０は、例えば、計測の詳細時刻として、フラッシュの１番目の投光の開始時刻を計測の詳細時刻として記憶する。あるいは、計測の詳細時刻は、フラッシュの最後の投光の開始時刻もしくは終了時刻、または、フラッシュの投光のうち投光順の中央に当たる投光の開始時刻もしくは終了時刻等でもよい。また、複数回の投光時刻の平均値を計測の詳細時刻としてもよい。

　（ステップＳ３５００）
　イメージセンサ１２０は、全画素について、露光期間ごとに蓄積された電荷を出力する。

　（ステップＳ３６００）
　距離計測部１６１は、フラッシュの投光によって生じた物体からの反射光を、いずれかの露光期間で受光した画素を抽出し、フラッシュに対応する画素範囲として決定する。

　（ステップＳ３７００）
　距離計測部１６１は、ステップＳ３６００で決定されたフラッシュの画素範囲を、ブロックに対応する画素範囲として記録媒体１５０に記録する。画素範囲の記述形式は、例えば前述の図３０に示す形式であり得る。

　（ステップＳ３８００）
　距離計測部１６１は、ステップＳ３７００で決定されたフラッシュのブロックに含まれる各画素について、距離を計算する。距離計算の方法は、例えば図１７Ａから図１８Ｂを参照して説明したとおりである。

　（ステップＳ３９００）
　距離計算部１６１ｃは、ステップＳ３８００で計算された当該ブロックに含まれる各画素の距離を記録媒体１５０に記録する。

　（ステップＳ４０００）
　制御回路１３０は、記録媒体１５０に記録された、フラッシュのブロックに対応する画素以外のすべての画素について、当該画素が反射光を受光し得る光ビームの投光方向への投光が行われたか否かを判断する。この判断がｙｅｓの場合、ステップＳ２５００に進む。この判断がｎｏの場合、ステップＳ４１００に進む。

　（ステップＳ４１００）
　制御回路１３０は、フラッシュのブロックに対応する画素以外のすべての画素のうち、まだ光ビームの反射光を受光していない画素に反射光が入射し得る光ビームの投光方向を決定する。ステップＳ４１００の後、ステップＳ１３００に進む。

　イメージセンサ１２０の特定の画素が光ビームの反射光を受光し得る光ビームの投光方向は、例えば以下の要領で決定することができる。イメージセンサ１２０の特定の画素と、イメージセンサ１２０の受光面に集光する光学系のレンズ中心に当たる位置とを結んだ直線上の物体に光ビームが照射されると、当該画素は光ビームの反射光を受光し得る。光ビームの出射点の位置と画素の位置との間にずれがあるため、物体までの距離に応じて、当該画素が反射光を受光する光ビームの方向は異なる。光ビームの方向を決定する方法の一例として、当該画素が光ビームの反射光を検出し得る最大距離、例えば１００ｍの距離に物体が存在すると仮定した場合に、当該画素が反射光を受光し得る光ビームの方向を計算によって求めることができる。特定の光ビームの方向について、受光可能性のある画素範囲は、例えば実施形態１のステップＳ２１００の動作に関連して説明した方法で決定される。このような方法で、光ビームの反射光をまだ受光していない画素について、順次、当該画素が受光する可能性のある光ビームの方向を決定し、受光可能性のある画素範囲に含まれない画素を減少させることができる。最大距離での光ビームの方向で、反射光を受光可能な画素範囲に含まれることがなかった画素がある場合、光ビームがより近距離にある物体によって反射されるものとして画素範囲を設定し、光ビームの方向を決定することができる。例えば、最大距離の半分の距離で受光可能な画素範囲を設定して光ビームの方向を決定してもよい。フラッシュの反射光を受光しなかった画素について、例えば１００ｍおよび５０ｍの距離に物体が存在するものとして受光可能性のある範囲を設定して光ビームの方向を順次決定することができる。それでも受光しなかった画素がある場合には、物体が存在しないものとして、当該画素の距離を無限大に設定してもよい。

　本実施形態では、光ビームで計測可能な最大距離とその半分の距離での受光可能性のある画素範囲を決定することにより、フラッシュの反射光を受光しなかった画素について網羅的に測距が行われる。光ビームのビーム形状とビーム径に依存して、決定される受光可能な画素範囲に含まれる画素数または画素範囲の大きさは異なる。また、イメージセンサ１２０における画素の位置とビームスキャナ１１０の光出射点の位置との差に依存して、視差の大きさが異なる。よって、フラッシュの反射光を受光しなかった画素に対する網羅的測距の手順は、ビーム形状、ビーム径、および視差の大きさに依存して変更され得る。ビーム径が小さく１つの光ビームの反射光を受光し得る画素範囲が小さいほど、想定される距離を精細に設定して光ビームの方向が設定され得る。また、イメージセンサ１２０の画素の位置とビームスキャナ１１０の光源位置とのずれに起因する視差が大きいほど、想定される距離を精細に設定して光ビームの方向が設定され得る。

　ステップＳ３１００からステップＳ２４００までの動作を繰り返すことにより、設定された光ビームの組み合わせによって測距可能な画素ごとに、距離情報を取得することができる。信号処理回路１６０は、ステップＳ２５００およびＳ２６００において、距離画像データおよび点群データをそれぞれ生成する。最終的に、ステップＳ２８００で１フレーム分の点群データが出力される。

　以上のように、本実施形態によれば、１つのフレーム内で、フラッシュを含む投光が繰り返し行われる。光ビームのビーム形状およびビーム径を変更可能にすることで、より少ない投光回数で精度の高い測距を実現することができる。ビームの種類または方向ごとに距離画像の画素をブロック化し、さらに距離画像から変換された点群データの点をブロック化することができる。このような構成により、ブロックごとに計測時刻を記録し、１フレームとして出力される点群データに詳細な時刻を対応付けて出力することができる。さらに、フレームごとに光ビームの到達距離が異なる仕様においても、フレームごとの光ビームの仕様に合わせて、光ビームごとに点群データをブロック化し、点群のブロックごとに詳細な時刻情報を付与することができる。

　［実施形態４］
　次に第４の実施形態による測距装置を説明する。

　本実施形態の測距装置１００は、ビームスキャナ１１０が複数の光ビームを同時に出射する点で、前述の各実施形態と異なる。本実施形態における制御回路１３０は、ビームスキャナ１１０から出射される複数の光ビームについて、それらの光ビームの反射光が同一の画素で受光されないように、それぞれの光ビームの方向を調整する。

　本実施形態における制御回路１３０は、出射する複数の光ビームの組み合わせと、各光ビームの出射のタイミングおよび順序を決定する。制御回路１３０は、記録媒体１５０に記録されている情報を参照し、まだ投光されていない光ビームの中で、同時に出射する複数の光ビームの組み合わせを決定する。

　図３２は、本実施形態の測距装置１００における記録媒体１５０に記録される情報の一例を示す図である。本実施形態では、図６Ｂに示す情報に代えて、図３２に示す情報が記録される。図６Ａおよび図６Ｃに示す情報は、本実施形態でも同様に記録される。フレーム毎の情報として、ブロックごとにビーム方向と、当該ブロックに含まれる画素範囲とが記録される。実施形態１ではブロックごとに時刻情報が異なるが、本実施形態では、同時に出射された複数の光ビームにそれぞれ対応する複数のブロックが同一の時刻情報を持つ。

　本実施形態の測距装置１００の動作は、図２１に示す実施形態１の動作と基本的には同じである。ただし、ステップＳ１２００において複数の投光方向が決定される点で異なる。同時に出射される複数の光ビームは、それらの光ビームの経路に沿った複数の直線をイメージセンサ１２０の受光面に射影することで得られる複数の直線が、互いに重ならない、または交差しないように決定され得る。ステップＳ１３００において、制御回路１３０は、同時に出射される複数の光ビームの情報を記録媒体１５０に記録する。また、ステップＳ１９００において、制御回路１３０は、複数の光ビームの出射時刻として、共通の１つの時刻の値を記録媒体１５０に記録する。Ｓ２０００において、イメージセンサ１２０は、同一の露光期間に複数のブロックの画素の受光データを出力する。ステップＳ２１００において、信号処理回路１６０は、複数の光ビームの方向のそれぞれについて、対応する画素範囲に含まれる画素について受光の有無を判断し、距離計算すべき画素の範囲すなわちブロックを決定する。ステップＳ２２００において、信号処理回路１６０は、ステップＳ１９００で記録された時刻と、ステップＳ２２００で決定された複数のブロックにそれぞれ対応する複数の画素範囲とを、光ビームの方向と関連付けて記録媒体１５０に記録する。

　図３３は、本実施形態における測距装置１００がステップＳ２８００において出力する出力データの一例を示している。この例では、前述の例と同様、フレーム共通の固定値として、車両を中心とした３次元座標中でのイメージセンサ１２０の位置座標が３バイトで出力され、当該３次元座標中でのイメージセンサ１２０の受光面の法線ベクトルが３バイトで出力され、イメージセンサ１２０の画角が２バイトで出力され、日付が２バイトで出力される。固定値に続いて、フレームごとの情報が出力される。図３３の例では、フレームごとの情報として、ブロックごとに時刻および当該ブロックに含まれる点群の位置がまとめて出力される。具体的には、フレームごとに、時刻を共有するブロックの数が１バイトで出力され、それに続いて、それらの複数ブロックに共通の詳細時刻が５バイトで出力される。時刻に続いて、その時刻に測距された１つのブロックについて、ブロック内に含まれる点群の点の数が１バイトで出力され、続いて各点の３次元位置が３バイトで出力される。ブロック内の点の位置情報が連続で出力された後、同一の時刻に計測された他のブロックについても同様に、ブロック内に含まれる点群の点の数が１バイトで出力され、各点の３次元位置が３バイトで連続で出力される。時刻情報を共有するブロックの数だけ点数と位置情報の列が反復される。同一時刻のブロックの情報がすべて出力されると、再び、時刻を共有するブロックの数の情報と時刻、ブロックに含まれる点群の各点の位置データが続く。

　以上のように、本実施形態の測距装置１００によれば、複数の光ビームを同時に出射し、同一の時刻情報を持つ複数の画素ブロックのデータが出力される。異なる方向に複数の光ビームを同時に出射し、方向の組み合わせを変化させながら対象シーンをスキャンすることで、シーン全体のスキャンに要する時間を短縮することができる。さらに、複数のブロックに対応付けて１つの時刻情報を出力することで、出力データの量を削減することができる。

　本実施形態によれば、光ビームの方向ごとに距離画像の画素がブロック化され、さらに距離画像から変換された点群データの点もブロック化される。これにより、ブロックごとに計測時刻が記録され、１フレーム分のデータとして出力される点群データの各ブロックに詳細な時刻を対応付けて出力することができる。さらに、フレームごとに光ビームの到達距離が異なる仕様においても、フレームごとの光ビームの仕様に合わせて、光ビームごとに点群データをブロック化し、点群のブロックごとに詳細な時刻を出力することができる。

　［実施形態５］
　次に、第５の実施形態による測距装置を説明する。

　前述の各実施形態では、光ビームが出射された時刻を測距が行われた詳細な時刻として記録される。これに対し、本実施形態では、測距の詳細な時刻として、イメージセンサ１２０が反射光を受光した露光期間に関連付けられた時刻が記録される。

　本実施形態の測距装置の構成は、図４に示す実施形態１の測距装置１００の構成と同じである。本実施形態では、信号処理回路１６０が、イメージセンサ１２０の各画素によって反射光が検出されたタイミングをクロック１４０が生成する時刻と照合し、反射光の受光タイミングの詳細な時刻情報を生成する。信号処理回路１６０は、生成した詳細な時刻情報を、ブロックの画素範囲と関連付けて記録媒体１５０に記録する。

　図３４Ａおよび図３４Ｂは、本実施形態において記録媒体１５０に記録される情報の例を示す図である。本実施形態では、図６Ｂに示す情報の代わりに、図３４Ａおよび図３４Ｂに示す情報が記録される。図６Ａおよび図６Ｃに示す情報は、本実施形態でも同様に記録される。

　図３４Ａに示すように、信号処理回路１６０は、イメージセンサ１２０の露光期間ごとに、露光タイミングの詳細時刻を記録媒体１５０に記録する。本実施形態では間接ＴｏＦ方式による測距が行われるため、１回の投光のタイミングに対して２つ以上の露光期間が設定される。そのため、図３４Ａに示すように、投光ごとに設定された複数の露光期間のうちのいずれの露光期間かを示す情報とともに、露光時刻が記録される。記録される時刻は、例えば露光開始時刻または露光終了時刻であり得る。時刻は、例えばマイクロ秒単位またはナノ秒単位で記憶され得る。

　各ブロックの画素範囲が決定された後、図３４Ｂに示すように、各ブロックの画素範囲とブロックごとの計測時刻とが関連付けられて記録される。この計測時刻は、図３４Ａに示す露光時刻に基づき、信号処理回路１６０によって決定される。

　図３５は、本実施形態における測距装置の動作の一例を示すフローチャートである。実施形態１における動作（図２１参照）と同じ動作については同一の符号を付している。ステップＳ１１００からＳ１７００、Ｓ２１００からＳ２８００の動作は、図２１に示す動作と同一である。本実施形態では、ステップＳ１７００の後、ステップＳ４０００、Ｓ４１００、Ｓ４２００が追加され、ステップＳ１９００およびＳ２０００の代わりにステップＳ４３００、Ｓ４４００、Ｓ４５００、Ｓ４６００が追加されている。以下、これらの各ステップを説明する。

　（ステップＳ４０００）
　イメージセンサ１２０は、ステップＳ１５００で決定された露光期間の受光を行い、受光した旨を示す受光信号を信号処理回路１６０に出力する。受光信号は露光開始時または露光終了時に出力され得る。

　（ステップＳ４１００）
　信号処理回路１６０は、ステップＳ４０００でイメージセンサ１２０から受光信号を取得したタイミング、すなわち露光開始時または露光終了時の詳細時刻をクロック１４０から取得し、露光時刻として記録媒体１５０に出力する。

　（ステップＳ４２００）
　記録媒体１５０は、ステップＳ４１００で生成された露光時刻を記憶する。ステップＳ４２００の後、ステップＳ１６００に戻る。

　(ステップＳ４３００)
　１つの光ビームについて、全露光期間での露光が完了すると、イメージセンサ１２０は、全画素について、露光期間ごとに蓄積された電荷の量を示す信号を出力する。

　（ステップＳ４４００）
　信号処理回路１６０は、ステップＳ４３００で出力された信号に基づき、いずれかの露光期間で０でない値を持つ画素があるか否かを判断する。この判断がｙｅｓの場合、ステップＳ４５００に進む。この判断がｎｏの場合、ステップＳ４６００に進む。

　(ステップＳ４５００)
　信号処理回路１６０は、記録媒体１５０に記憶された露光時刻を参照し、距離が計測された詳細時刻を決定する。信号処理回路１６０は、決定した測距の詳細時刻を記録媒体１５０に出力する。記録媒体１５０は、図３４Ｂに示すブロックに対応する時刻として記録する。さらに、記録媒体１５０は、図３４Ａの露光ごとの時刻の情報を消去する。測距の詳細時刻の決定について、露光時刻は複数回分が記録されているため、例えば受光した画素があった露光期間の最初の露光時刻が採用され得る。あるいは、受光した画素があった露光期間の最後の露光時刻、または複数回の露光期間の中央の露光時刻を採用してもよい。また、受光した画素があった露光期間の時刻の平均値を採用してもよい。

　（ステップＳ４６００）
　記録媒体１５０は、図３４Ａに示す露光ごとの時刻の情報を消去する。ステップＳ４６００の後、ステップＳ１１００へ戻る。

　本実施形態によっても、実施形態１と同様の効果を得ることができる。なお、光ビームの出射に関しては、実施形態１と同様の構成に限らず、実施形態２から４のいずれかの構成を採用してもよい。

　［実施形態６］
　次に、第６の実施形態による車両制御システムを説明する。

　図３６は、本開示の第２の実施形態に係る車両制御システム１０００の構成を示すブロック図である。この車両制御システム１０００は、点群データ取得システム２００と、自動運転制御システム７００とを含む。点群データ取得システム２００は、複数の測距装置１００Ａと、プロセッサ１９０とを備える。自動運転制御システム７００は、プロセッサ７１０と、記録媒体７２０と、出力インタフェース７３０とを備える。

　各測距装置１００Ａは、実施形態１から５のいずれかにおける測距装置１００と同様の構成を備える。図３６では、１つの測距装置１００Ａのみ、その構成が示されている。複数の測距装置１００Ａは、いずれも同等の機能を有し、車両の異なる位置に配置されている。各測距装置１００Ａは、信号処理回路１６０が点群データではなく距離画像データを出力する点で前述の各実施形態における測距装置１００とは異なる。本実施形態において、点群データは、測距装置１００Ａの外部に配置された処理装置であるプロセッサ１９０によって生成される。プロセッサ１９０は、複数の測距装置１００Ａからそれぞれ出力される複数の距離画像データを１つの点群データに統合して出力する。プロセッサ１９０は、点群データ生成部１９１と、点群データ出力部１９２とを備える。点群データ生成部１９１および点群データ出力部１９２の各々は、専用の回路として実現されていてもよい。あるいは、プロセッサ１９０がコンピュータプログラムを実行することにより、点群データ生成部１９１および点群データ出力部１９２として機能してもよい。

　各測距装置１００Ａは、実施形態１における動作と同様の動作を実行することにより、ブロックごとに時刻情報が付与された距離画像データを生成する。このデータには、ブロックごとの時刻情報と、ブロックと画素との対応関係を示す情報とが含まれる。このデータは、点群データ生成部１９１に送られる。各測距装置１００Ａの動作は、ステップＳ２５００までは図２１に示す動作と同一である。以下、図３７を参照して、ステップＳ２５００以降の動作を説明する。

　図３７は、本実施形態における測距装置１００Ａの動作のうち、図２１に示す動作とは異なる部分を示している。図２１に示すステップＳ１１００からステップＳ２４００の動作により、記録媒体１５０に、図６Ａから図６Ｃに例示されるようなデータが記録される。すなわち、図６Ａに例示される複数フレームに共通の情報と、図６Ｂに例示されるフレームごとの情報と、図６Ｃに例示される少なくとも１フレーム分の画素ごとの距離情報とが記録される。以後、信号処理回路１６０は、図３７に示すステップＳ２５００からＳ２７５０の動作を実行する。各ステップの動作は以下のとおりである。

　(ステップＳ２５００)
　信号処理回路１６０は、記録媒体１５０に記録された画素ごとの距離に基づいて、全画素の距離情報を画像形式にした距離画像を生成する。

　(ステップＳ２７１０)
　信号処理回路１６０は、ステップＳ２５００で生成された距離画像と、記録媒体１５０に記録された、複数フレームに共通の情報、ブロックと画素との対応情報、および時刻情報とに基づいて、出力データを生成する。このデータには、ブロックごとの時刻情報と、ブロックと画素との対応関係を示す情報とが含まれる。このデータは、点群データ生成部１９１に送られる。

　図３８Ａは、測距装置１００Ａにおける信号処理回路１６０から出力されるデータのフォーマットの一例を示す図である。図７Ａの例と同様、複数のフレームに共通のデータである固定値と、フレームごとに異なるデータとが出力される。固定値は、例えばイメージセンサ１２０の車両内での位置、イメージセンサ１２０の受光面の法線方向、イメージセンサ１２０の画角、および日付を示す値を含み得る。イメージセンサ１２０の位置は、例えば３バイトの値で表現され得る。受光面の法線方向は、例えば３バイトの値で表現され得る。画角は、例えば２バイトの値で表現され得る。日付は、例えば２バイトの値で表現され得る。図３８Ａの例では、フレームごとの出力データは、ブロックごとのデータとして、当該ブロックに含まれる画素数、当該ブロックの計測時刻、および当該ブロックに含まれる複数の画素のそれぞれについて計算された距離の情報を含む。ブロックに含まれる画素数は、例えば１バイトで表され得る。計測時刻は、例えばマイクロ秒単位で５バイトで表され得る。ブロック内の各画素の距離は、例えば１バイトで表され得る。ブロックごとの画素数、時刻、画素ごとの距離のデータセットをブロック数だけ反復することで、１フレームのデータの出力が完了する。なお、図３８Ａの例ではブロック数は既知の固定値である。

　図３８Ｂは、出力データ形式の他の例を示している。この例では、図７Ｂの例と同様、固定値にブロック数の情報が含まれている。また、各画素にＩＤが付与されている。ブロック数は、例えば１バイトで表され得る。フレームごとに、各々のブロックに含まれる複数の画素の範囲、すなわち開始点と終了点の画素のＩＤが例えば２バイトで表され得る。続いて、各ブロックに対応する計測時刻が例えば５バイトで表され得る。最後に、各画素について計測された距離が１バイトで表され得る。

　なお、複数の測距装置１００Ａのそれぞれを識別するＩＤ情報が、複数フレームに共通する情報に含まれていてもよい。

　(ステップＳ２７２０)
　信号処理回路１６０は、ステップＳ２７１０で生成した距離画像データとブロックごとの計測時刻を含むデータを、点群データ生成部１９１に出力する。

　(ステップＳ２７３０)
　点群データ生成部１９１は、複数の測距装置１００Ａから取得した複数の距離画像を統合して点群データを生成する。具体的には、点群データ生成部１９１は、複数の測距装置１００Ａから、ブロックごとの距離画像データと測定時刻とを逐次取得する。一例においては、取得した複数フレームの距離画像のうち、ブロックごとの測定時刻が一定時間の範囲内にある距離画像を、点群データにおける１つの「フレーム」として統合する。他の例においては、１フレームの距離画像中において、ブロックごとの測定時刻が一定時間の範囲内にあるブロックを点群データにおける１つの「フレーム」として統合する。後者の例では、１つの距離画像中のデータが、点群データにおける複数の「フレーム」に分割され得る。一定時間は、例えば３０ミリ秒程度であり得る。取得した距離画像の画素のうち、０または無限大以外の値をもつ画素について、各測距装置１００Ａから取得したイメージセンサ１２０の位置および方向の情報に基づいて、距離画像データの画素ごとの距離情報を、車両制御システム１０００の持つ３次元座標中の点群データに変換する。３次元座標は、例えば当該車両の中心を原点とした３次元座標であり得る。さらに、点群データの変換元である距離画像における画素とブロックとの対応を、点群データの点とブロックとの対応情報として生成し、各ブロックの計測時刻と点群データとの対応情報を生成する。

　（ステップＳ２７４０）
　点群データ出力部１９２は、ステップＳ２７３０で生成された点群データ、データ点とブロックとの対応情報、およびブロックごとの計測時間情報を出力データ列として生成する。この出力データ列は、自動運転制御システム７００におけるプロセッサ７１０に送られる。

　図３９Ａは、出力データ列のデータ形式の一例を示している。この例では、データ列ごとに、１バイトでブロック数が出力され、続いて、ブロックごとに、ブロック内に含まれる点数が１バイトで、時刻が５バイトで、各点の３次元位置情報が３バイトで出力される。

　図３９Ｂは、出力データ列のデータ形式の他の例を示している。この例では、データ列ごとに、１バイトでブロック数が、１バイトで全点数がまず出力され、続いて、ブロックの対応点が２バイトでブロック数分出力され、時刻が５バイトでブロック数分出力され、各点の３次元位置情報が３バイトで全点数分出力される。

　なお、図３９Ａおよび図３９Ｂの例において、データ列毎の識別子（ＩＤ）が付与されてもよい。識別子はデータ列毎に１ずつ増えるものとし、所定の数で０にリセットされてもよい。また、取得されたセンサ情報をデータ列に含めてもよい。例えば、イメージセンサを含むセンサ群の数、およびそれぞれのセンサの固定値（例えば、位置、方向、画角）がデータ列に含まれていてもよい。それぞれのブロックが複数のセンサのうちのどのセンサで取得されたかを示す情報として、ブロックごとにセンサＩＤを付与してもよい。

　自動運転制御システム７００は、点群データ取得システム２００から逐次取得した点群データに基づき、車両の自動運転制御を行う。自動運転制御システム７００の記録媒体７２０には、地図データなどの各種のデータが記録されている。各種のデータは通信により都度取得および更新されてもよい。プロセッサ７１０は、地図データと、点群データ取得システム２００から逐次取得した点群データに基づき、複数の操作系に適切な指令を送る。操作系には、例えば、アクセル、ブレーキ、ステアリングなどの機構が含まれる。本実施形態によれば、点群データ取得システム２００から、適切に時刻合わせされた点群データが送られるため、時刻の誤差に起因する誤認識の可能性を低減することができる。

　上記の各実施形態では、データ形式の一例を示したが、その他のデータ形式が用いられてもよい。例えば、それぞれのデータのバイト数は前述の値に限らず、他の固定値であってもよいし、可変であってもよい。可変の場合は、別途バイト長がデータに含まれるようにしてもよい。また、ブロック、フレーム、またはセンサ毎のデータの切れ目を示す情報として、所定のデータ形式の同期情報またはデリミタが用いられてもよい。データを解析する際に、同期情報を取得した後、データの解析が可能となる。データにデータ長またはデータ数の情報を含めることにより、データの切れ目を示してもよいし、同期情報とデータ長またはデータ数とを組み合わせることによってデータの切れ目を示してもよい。それぞれのデータをパケット形式としてもよい。パケットには、例えばパケットの種別、長さ、またはデータなどを示し、パケットヘッダにデータ共通の情報を示してもよい。

　なお、出力ファイルに、時刻同期に用いたプロトコルまたは基準にしたサーバ情報等、点群の統合時に必要な時刻補助情報を付加してもよい。

　上記の各実施形態では、距離を計測する方法として間接ＴｏＦ法が用いられるが、直接ＴｏＦ法を用いてもよい。その場合には、イメージセンサ１２０は、タイマーカウンタを備える受光素子の２次元アレイを備えるセンサで置き換えられる。直接ＴｏＦによる距離計測では、光ビームの出射と同時にイメージセンサ１２０の露光が開始され、さらに同時にタイマーカウンタの動作が開始される。イメージセンサ１２０の受光素子が１つの光子を受光した時点で、タイマーカウンタの動作が停止される。光ビームが到達し、反射光が受光可能な最大距離に対応する時間長以上の時間長を露光時間とし、露光時間内に受光がなかった場合は距離が無限大とされる。直接ＴｏＦ法では僅かな光をとらえて時間を計測するため、実際の距離計測時には複数回の距離計測を行い、得られた時間長の平均値をとる等の方法により、計測値を決定してもよい。前述の実施形態と同様に光ビームの投光時刻が各ブロックの計測時刻として設定され得る。複数の投光によって距離を計測する場合には、最初の光ビームの投光時刻、最後の光ビームの投光時刻、または当該方向の全光ビームの投光時刻の中央値等が、計測時刻として設定され得る。

　点群データを符号化または圧縮して出力してもよい。符号化の際には、例えば図４０Ａおよび図４０Ｂに示すようなファイルフォーマットを用いてもよい。図４０Ａおよび図４０Ｂの例では、点の位置情報に時刻情報そのものではなく、時刻ＩＤが付加され、各時刻ＩＤの実際の時刻は別領域（例えばヘッダの上位）に記述される。時刻の総数はフレーム内のブロック数に一致する。つまり時刻ＩＤの範囲は０からブロック数－１である。これにより、各点の属性情報として時刻を付加することで、符号化の観点では処理が行いやすく、符号化効率を上げやすくなる。すなわち、時刻ＩＤを使用することで、圧縮時にはＩＤ付加による冗長部も含めてデータ量が削減される。例えばマイクロ秒の精度の場合、時刻情報の値の範囲が０～５９９９９９９９で２６ｂｉｔと膨大である。複数の点に同じ時刻が付加される場合、時刻の値そのものの代わりに、時刻ＩＤを各点に付加することでデータ量を削減できる。時刻ＩＤに必要なビット数は、フレーム内のブロック数に依存するが、例えばブロック数が２５６個の場合は８ｂｉｔと、２６ｂｉｔより小さくてすむ。

　このように、時刻ＩＤを使用することにより、データサイズを抑えつつ、符号化に適したファイルフォーマットを実現することができる。なお、同じ時刻ＩＤが付与された点は同じブロックに属しているため、時刻ＩＤは、ブロックと各ブロックに属する点との対応関係を示すデータであるといえる。

　［実施形態７］
　次に、第７の実施形態によるシステムを説明する。本実施形態のシステムは、複数の測距装置から出力データを取得し、それらの出力データを統合して新たな点群データを生成する。実施形態６におけるシステムとは異なり、本実施形態では、各測距装置は、必ずしもブロック毎に時刻が付与されたデータを出力するように構成されていなくてもよい。各測距装置は、例えば、複数の点のそれぞれに個別に詳細な時刻が付与された出力データを生成してもよい。複数の測距装置からの出力データを統合するシステムには、例えば以下の３つの例がある。

　第１の例では、システムは、複数の測距装置から、測距装置ごとに設定された３次元座標系で表現された複数の点の位置または距離を示すデータを取得し、それらのデータを１つの３次元座標系で表現された点群データに変換することによって統合する。各測距装置は、位置または距離の情報とともに、測距時の詳細時刻の情報を含むデータを出力する。システムは、複数の測距装置から送信された、詳細時刻の情報と３次元の位置情報とを統合することにより、４次元の点群データを生成して出力する。このようなシステムは、例えば実施形態６のような自動運転車両の制御システム、または複数の固定センサによって周辺環境を監視する監視システムであり得る。

　第２の例におけるシステムは、比較的小規模なサーバシステムである。サーバシステムは、例えば、図２に示す固定体システム４００に搭載された情報処理装置をサーバとして備え得る。そのようなサーバシステムは、当該固定体システム４００の周囲に位置する複数の端末システムをさらに備え得る。各端末システムは、例えば第１の例のようなシステムであってもよい。そのような例では、各端末システムは、それぞれに固有の座標系で表現された点群データを出力するように構成される。サーバは、それらの点群データを統合して、新たな点群データを生成する。このとき、サーバは、点群の位置に加えて、点ごとに付与された詳細な時刻を含めた４次元のデータを生成する。各端末システムが移動体に含まれる場合、サーバは、各端末システムの位置および姿勢を示すデータを取得する。例えば、サーバは、各端末システムの座標系の原点が、サーバの座標系においてどの位置にあるかを示すデータと、各端末システムの座標系の、サーバの座標系に対する回転角を示すデータとを取得する。各端末システムの位置を、サーバ自身あるいは周辺の固定システムに含まれる測距装置群によって得られた点群データから生成してもよい。複数のシステムが出力する４次元の点群データには重なりがある可能性がある。点群の測距時刻が同一、あるいは測距時刻の差がごく小さい（例えば、１０μ秒以下）にも関わらず、それらの点群の位置のぶれが大きい場合、いずれかの点のデータの信頼性が低いと考えられる。そこで、各システムの状態に基づいて、システム単位の点群ごと、あるいは各データ点ごとに信頼度を求め、信頼度に従って点群の統合を行ってもよい。例えば、信頼度の低いデータ点を信頼度の高いデータ点にマージしてもよい。このように、第１の計測データと第２の計測データとの統合は、第１の計測データおよび第２の計測データの中で、時空間領域で互いに重なりのあるデータを、第１の計測データの信頼度および第２の計測データの信頼度に基づきマージすることを含み得る。この例において、信頼度は、例えば以下の（ａ）から（ｃ）のうちの少なくとも１つに基づいて決定され得る。
　（ａ）第１の計測データを生成した第１の計測装置の移動速度、および第２の計測データを生成した第２の計測装置の移動速度のうちの少なくとも一方
　（ｂ）第１の計測装置および第２の計測装置のうちの少なくとも一方の位置および姿勢と、太陽の方向との関係
　（ｃ）第１の計測データが示す複数の点の空間密度、および第２の計測データが示す他の複数の点の空間密度のうちの少なくとも一方

　第２の例におけるサーバは、例えば信号機または街灯などの固定体に設置された交通状況監視用のローカルサーバであり得る。あるいは、サーバは、複数のセキュリティロボットを含むセキュリティシステムにおけるサーバであってもよい。そのようなセキュリティシステムは、例えばビルを監視する用途で使用され得る。サーバは、複数のセキュリティロボットに搭載されたカメラから送信されたデータを統合して点群データを生成してもよい。

　第３の例におけるシステムは、例えば図１および図２に示すサーバ５００のような、比較的大規模な演算を行うサーバを含む。この例におけるサーバ（以下、「大規模サーバ」と称する。）は、第１の例のような端末システムから出力されるデータと、第２の例のような小規模サーバから出力されるデータとを取得する。大規模サーバは、広域の地図データを記憶している。大規模サーバは、地図データと、個々の端末システムおよび小規模サーバのそれぞれの位置および姿勢のデータとに基づいて、各端末システムおよび各小規模サーバから取得した点群データを統合する。例えば、大規模サーバは、取得したそれぞれの点群データにおける各点の位置を地図データと共通の３次元座標系における位置に変換して統合する。点群データの統合にあたって、地図データに示された建造物などの構造物の配置と、端末システムまたは小規模サーバから取得したデータ点との間の矛盾が生じる場合がある。そのような矛盾を解消するために、例えば、地図データに示された構造物の位置と矛盾するデータ点を削除し、削除したデータ点を含む点群データの信頼度を下げてもよい。点群の測距時刻が同一、あるいは測距時刻の差がごく小さい（例えば、１０μ秒以下）にも関わらず、それらの点群の位置のぶれが大きい場合、いずれかの点のデータの信頼性が低いと考えられる。そこで、例えばデータ点の空間密度の関数として各点の位置データの信頼度を求め、その信頼度を点群データの付加情報として記録してもよい。あるいは、第２の例のように、信頼度に基づいてデータ点をマージしてもよい。信頼度は、第２の例で示した例の他にも、例えば、計測データが示す複数の点の位置と、地図データに示された１つ以上の構造物の位置との関係に基づいて決定され得る。例えば、端末システムまたは小規模サーバから出力された点群データのうち、地図データと矛盾した点がある場合、矛盾した点の割合に応じて信頼度を決定してもよい。

　大規模サーバの具体的な例は、例えば、交通情報センターに設置されるサーバのような、複数の移動体の動的状態を監視して記録するサーバであり得る。あるいは、大規模サーバは、ビル等のセキュリティセンターに設置されたサーバであってもよい。

　上記の第１から第３の例のいずれにおいても、各測距装置は、計測データに詳細な時刻データを付加して出力する。これにより、データを取得するサーバは、各測距装置の出力の時間単位であるフレーム間隔（例えば３３ミリ秒間隔）よりも詳細な時間単位（例えばマイクロ秒単位）でデータ点の計測時刻を取得できる。サーバは、複数の測距装置から取得した３次元の位置データに時刻データを加えた４次元データとして統合する。点ごとあるいはブロックごとに詳細な時刻の情報が得られるため、複数の測距装置、あるいは測距装置を含む複数のシステムの間で、フレーム動作の同期をとる必要がない。よって、出力されるフレームの時間単位に拘束されずにデータを統合することができる。また、統合によって生成した時空間座標データから、任意の領域を抽出して処理することができる。これにより、環境の状態を詳細に再現または分析することが可能になる。例えば、対象物の移動状況をマイクロ秒単位で抽出することができる。

　以下、上記の第１から第３の例におけるシステムをより具体的に説明する。

　＜第１の例＞
　図４１は、第１の例における車両制御システム１０００の構成を示すブロック図である。この車両制御システム１０００は、複数（ｎ個）の測距装置１００Ａｉ（ｉ＝１，２，・・・，ｎ）と、自動運転制御システム８００とを含む。自動運転制御システム８００は、受信装置８１０と、プロセッサ８２０と、記録媒体８３０と、出力インタフェース８４０とを備える。

　測距装置１００Ａｉは、実施形態１から５のいずれかにおける測距装置１００と同様の構成を備える。ただし、本実施形態における測距装置１００Ａｉは、距離画像データと、画素ごとの詳細時刻のデータとを出力する。複数の測距装置１００Ａｉはいずれも同等の機能を有し、車両の異なる位置に配置されている。各測距装置１００Ａｉは、受信装置８１０と無線または有線で接続されている。

　受信装置８１０は、複数の測距装置１００Ａｉが出力するデータを取得する。受信装置８１０は、各測距装置１００Ａｉから、フレームに共通のデータと、フレームごとに異なるデータとを取得する。フレームに共通のデータは、例えば測距装置１００Ａｉの位置および姿勢を示すデータを含む。フレームごとに異なるデータは、距離画像データと、画素ごとの測距時の詳細時刻データとを含む。

　プロセッサ８２０は、記録媒体８３０に格納されたプログラムを実行することにより、受信装置８１０が順次取得する測距装置１００Ａｉからの出力データを１つの統一された座標系で表された点群データに変換する。具体的には、各測距装置１００Ａｉから出力される当該測距装置１００Ａｉの位置および方向の情報に基づいて、距離画像データを、当該車両の統一座標系で表現された点群データに変換する。統一座標系として、例えば、当該車両の重心を原点とし、ｘ軸と奥行方向のｄ軸とを含む平面が水平面に並行になる座標系が用いられ得る。プロセッサ８２０は、さらに、生成した点群データと、記録媒体８３０に格納された地図データとに基づいて、周辺環境の認識処理を行う。そして、プロセッサ８２０は、認識結果に基づいて車両の動作を決定し、ステアリング、エンジン、ブレーキ等の操作系に制御信号を出力する。

　記録媒体８３０は、プロセッサ８２０によって生成された、統一座標系で表現された点群の位置と、各点の詳細な計測時刻とを合わせた４次元データを記憶する。図４２は、記録媒体８３０が記憶する内容の一例を示している。図４２の例では、各点の４次元情報と合わせて、各点がどの測距装置によって得られた点であるかを示す情報とが関連付けられて記録される。

　本実施形態における動作は、図３７を参照して説明した実施形態６における動作と同様である。ただし、本実施形態では、以下の点が実施形態６とは異なっている。実施形態６では、車両制御システム１０００とは別に設けられたプロセッサ１９０が複数の測距装置１００Ａから出力された複数の距離画像データを１つの点群データに統合する。これに対し、本実施形態では、自動運転制御システム８００におけるプロセッサ８２０が上記の統合処理を実行する。自動運転制御システム８００における受信装置８１０は、ステップＳ２７２０で出力された詳細な時刻データが付加された距離画像データを、複数の測距装置１００Ａｉから取得する。プロセッサ８２０は、これらのデータを、１つの点群データに統合する。

　＜第２の例＞
　図４３は、第２の例における交通情報システム２０００の構成を示すブロック図である。この交通情報システム２０００は、複数の車両制御システム１０００と、固定体システム４００とを含む。固定体システム４００は、複数の測距装置１００Ａと、通信回路４２０と、プロセッサ４３０と、記録媒体４４０とを備える。

　各車両制御システム１０００は、第１の例における車両制御システム１０００に相当する。図４３では、簡単のため、複数の車両制御システム１０００の１つについてのみ、構成要素が図示されている。各車両制御システム１０００は、前述の複数の測距装置１００Ａｉ、プロセッサ８２０、記録媒体８３０に加えて、通信回路８４０を備える。通信回路８４０は、固定体システム４００における通信回路４２０との間で無線通信を行うことができる。各車両制御システム１０００は、記録媒体８３０に記録された４次元の点群データを出力する。出力されるデータには、４次元点群データに加えて、当該車両の位置、走行速度、および走行方向を示すデータが含まれ得る。出力は、例えば周期的に行われる。例えば、３３ｍ秒に１回点群データが出力され得る。点群データの出力のタイミングは車両制御システム１０００ごとに異なっていてもよい。出力された点群データは、固定体システム４００に送られる。

　交通情報システム２０００は、固定体システム４００の周辺の限られた空間の範囲内に位置するもののみで構成される。例えば、固定体システム４００は交差点に設置された信号機のうちの１つに設置され得る。交通情報システム２０００は、例えば固定体システム４００の周囲の半径５０ｍ以内に位置する１つ以上の車両制御システム１０００を含み得る。領域内に車両制御システム１０００がない場合、交通情報システム２０００は、固定体システム４００のみを含む。

　固定体システム４００における各測距装置１００Ａは、車両制御システム１０００における測距装置１００Ａｉと同様の構成を備える。

　通信回路４２０は、車両制御システム１０００から送信された点群データを受信する。通信回路４２０はまた、プロセッサ４３０による後述の処理によって生成されたデータを車両制御システム１０００に送信する。

　プロセッサ４３０は、車両制御システム１０００から取得した点群データと、測距装置１００Ａから出力された距離画像データまたは点群データを取得し、それらのデータを、固定の３次元座標系で表現された点群データに統合する。プロセッサ４３０はまた、当該点群データの各点に詳細な計測時刻のデータを付加した４次元データを生成する。プロセッサ４３０は、さらに、当該４次元データに基づき、時刻ごとの周辺環境の認識または分析の処理を行い、処理結果を示すデータを生成してもよい。

　記録媒体４４０は、通信回路４２０が取得した点群データ、および各測距装置１００Ａが取得した距離画像データを記憶する。さらに、記録媒体４４０は、プロセッサ４３０によって生成された４次元データを記憶する。

　図４４は、固定体システム４００におけるプロセッサ４３０が実行する動作の一例を示すフローチャートである。プロセッサ４３０は、図４４に示すステップＳ５１１０からＳ５２２０の動作を実行することにより、複数の車両制御システム１０００および複数の測距装置１００Ａから順次取得したデータを統合し、４次元座標系で表現されたデータを生成する。以下、各ステップの動作を説明する。

　（ステップＳ５１１０）
　まず、プロセッサ４３０は、図示されていない入力手段から入力された動作の終了を指示する終了信号の有無を判断する。ステップＳ５１１０において終了信号が入力されている場合、すなわちステップＳ５１１０においてｙｅｓの場合、動作を終了する。ステップＳ５１１０において終了信号が入力されていない場合、すなわちステップＳ５１１０においてｎｏの場合、ステップＳ５１２０に進む。

　（ステップＳ５１２０）
　プロセッサ４３０は、処理すべきデータがあるか否かを判定する。具体的には、通信回路４２０が車両制御システム１０００からの出力データを受信したか、あるいは、測距装置１００Ａがデータを出力したか否かが判定される。ステップＳ５１２０において通信回路４２０がデータを受信した場合、または測距装置１００Ａがデータを出力した場合、ステップＳ５１３０に進む。ステップＳ５１２０において通信回路４２０がデータを受信しておらず、測距装置１００Ａが出力したデータがない場合、ステップＳ５１２０の動作を繰り返す。

　（ステップＳ５１３０）
　プロセッサ４３０は、通信回路４２０が受信したデータ、あるいは測距装置１００が出力したデータを取得する。取得するデータは、例えば点群データまたは距離画像データである。以下、この取得したデータを「測距データ」と称する。

　（ステップＳ５１４０）
　プロセッサ４３０は、ステップＳ５１３０で取得した測距データのうち未処理のデータが残っているか否かを判断する。ステップＳ５１４０において未処理のデータが残っている場合、ステップＳ５１５０に進む。ステップＳ５１４０において未処理のデータが残っていない場合、ステップＳ５１２０に戻る。

　（ステップＳ５１５０）
　プロセッサ４３０は、処理対象のデータが移動体すなわち車両制御システム１０００からのデータか、固定体すなわち測距装置１００Ａからのデータかを判断する。ステップＳ５１５０において処理対象のデータが移動体からのデータである場合、ステップＳ５１６０に進む。ステップＳ５１５０において処理対象のデータが固定体で生成されたデータである場合、ステップＳ５１９０へ進む。

　（ステップＳ５１６０）
　プロセッサ４３０は、処理対象の測距データの各データ点に対応する詳細時刻を抽出する。プロセッサ４３０は、さらに、処理対象の測距データを出力した車両制御システム１０００の、抽出された詳細時刻における位置データを取得する。車両制御システム１０００の位置データとして、例えばＧＰＳから取得した位置データを用いてもよい。その場合、車両制御システム１０００は、例えばフレームごとに、ＧＰＳから取得した位置データを固定値として出力する。プロセッサ４３０は、連続する２つのフレーム間の位置の移動をフレーム間隔の時間幅に基づいて線形補完することにより、各詳細時刻における車両制御システム１０００の位置を算出してもよい。

　（ステップＳ５１７０）
　プロセッサ４３０は、固定体システム４００における測距装置１００Ａによる測距データの中に、当該詳細時刻の近傍の時刻に取得された測距データがあるか否かを判断する。近傍の時刻は、例えば当該詳細時刻の前後５００μｓ程度であり得る。ステップＳ５１７０において測距装置１００Ａによる測距データがある場合、ステップＳ５１８０に進む。ステップＳ５１７０において測距装置１００Ａによる測距データがない場合、ステップＳ５１９０に進む。

　（ステップＳ５１８０）
　プロセッサ４３０は、ステップＳ５１７０で特定された測距装置１００Ａによる測距データに基づき、点群データを生成する。プロセッサ４３０は、データ点をクラスタリングし、ステップＳ５１６０で決定された車両制御システム１０００の位置に最も近い車両に相当するクラスタを抽出する。そして、車両制御システム１０００の位置を、抽出したクラスタの重心の座標に変更する。

　（ステップＳ５１９０）
　プロセッサ４３０は、各データ点の座標値を固定体システム４００の固定座標系での座標値に変換する。車両制御システム１０００から取得したデータ点については、ステップＳ５１６０からステップＳ５１８０までの動作で決定された車両制御システム１０００の位置を基準に車両制御システム１０００の座標が設定される。プロセッサ４３０は、車両制御システム１０００の座標系で表現された各データ点の位置座標を、固定体システム４００の固定座標で表現された位置座標に変換する。

　（ステップＳ５２００）
　プロセッサ４３０は、ステップＳ５１９０で固定座標系に統合された点群データに、各データ点に対応する詳細時刻を付加することにより、４次元データとしての点群データを生成する。そして、４次元データ中で、処理対象のデータに対応する時刻およびその近傍（例えば前後５００μｓ程度）の点群データを抽出する。

　（ステップＳ５２１０）
　プロセッサ４３０は、ステップＳ５２００で抽出した点群データをクラスタリングする。クラスタ周辺においてデータ点の密度が低く、いずれのクラスタにも含まれなかった点が分布する領域は、位置ずれしたデータ点とみなされる。プロセッサ４３０は、クラスタに含まれるデータ点および位置ずれしたデータ点について、どの車両制御システム１０００または測距装置１００Ａに由来するかを判断し、それらのデータ点の信頼度を抽出する。プロセッサ４３０は、信頼度の高いデータ点のみでクラスタを再作成する。元のクラスタから位置ずれしたデータ点に含まれる信頼度の低いデータ点については、再作成したクラスタと重なるデータ点の数が最大になるように移動ベクトルを設定して、３次元位置を移動させ、点群をクラスタにマージする。

　（ステップＳ５２２０）
　プロセッサ４３０は、ステップＳ５２２０で移動されたデータ点を含め、４次元の点群データを記録媒体４４０に記録する。

　ステップＳ５１２０からステップＳ５２２０を繰り返すことで、逐次入力される複数の車両制御システム１０００からの点群データと、逐次生成される測距装置１００Ａからの距離データとを利用して、固定体システム４００の周辺環境における詳細な時刻情報を含む４次元の点群データを生成することができる。

　生成された４次元の点群データは、固定体システム４００の周辺、例えば半径５０メートル以内の範囲に位置する車両制御システム１０００の各々に送信され得る。プロセッサ４３０は、点群データに加えて、点群データに基づく処理結果、例えば、移動体の認識結果を示すデータを出力してもよい。そのような認識結果を示すデータは、例えば、車両、人、または自転車等の移動体を識別するラベルと、当該移動体の位置情報と、移動ベクトル情報とを含み得る。固定体システム４００の固定座標に統一された点群データ、および当該点群データに基づく処理結果を示すデータを取得することにより、各車両制御システム１０００は、より安全な航行が可能となる。例えば、オクルージョン等により、自車の測距装置等のセンサでは検知し得なかった障害物等を検知して動作計画を作成することで、より安全に航行することが可能となる。

　なお、ステップＳ５２１０における信頼度は、以下のような要因により決定され得る。例えば、測距装置が搭載されたシステムの移動速度が高いほど信頼度が低く設定され得る。また、固定座標における太陽の方角と日時と時刻とに基づき、太陽光が測距装置のセンサに入射する条件で測距されたか否かを判定し、そのような条件で測距された可能性がある点群については、信頼度を低く設定してもよい。

　＜第３の例＞
　次に、第３の例における交通情報システムを説明する。交通情報システムは、例えば図１および図２を参照して説明したシステムと同様の構成を備える。交通情報システムは、複数の移動体３００と、複数の固定体システム４００と、サーバ５００とを含む。移動体３００および固定体システム４００の各々の個数は任意である。

　移動体３００の各々は、異なる位置および姿勢で配置された複数の測距センサ３１０と、通信回路３２０とを備える。同様に、固定体システム４００の各々は、異なる位置および姿勢で配置された複数の測距センサ４１０と、通信回路４２０とを備える。測距センサ３１０および４１０の各々は、前述のいずれかの実施形態における測距装置と同様の方法で測距を行い、距離画像または３次元点群を示すデータを生成する。生成されたデータは、通信回路３２０および４２０によってサーバ５００に送信される。各移動体３００がデータを直接サーバ５００に送信する代わりに、固定体システム４００が周囲の移動体３００からの測距データを集約してサーバ５００に送信してもよい。図４５は、そのような交通情報システムの構成例を示している。図４５の例では、各固定体システム４００は、周囲に位置する１つ以上の移動体３００からデータを取得し、取得したデータと自身が備える１つ以上の測距センサ４１０から出力されたデータとを統合して１つの点群データを生成してサーバ５００に送信する。固定体システム４００は、固定体システム４００から所定の距離範囲に移動体３００が位置するとき、当該移動体３００の各センサ４１０からデータを取得する。各固定体システム４００によるデータ統合処理は、固定体システム４００におけるプロセッサ４３０によって実行される。プロセッサ４３０は、記録媒体４４０に格納されたプログラムを実行することにより、データ統合処理を行う。プロセッサ４３０によるデータ統合処理は、第２の例における処理と同様である。

　サーバ５００は、プロセッサ５２０と、記録媒体５４０と、通信回路５６０とを備える。プロセッサ５２０は、通信回路５６０を介してデータを逐次取得し、記録媒体５４０に記録する。プロセッサ５２０は、取得したデータの時刻照合および座標変換などの必要な処理を行うことにより、特定の時刻および特定の場所における統合された点群データを生成する。

　図４６は、サーバ５００の動作の一例を示すフローチャートである。サーバ５００のプロセッサ５２０は、図４６に示すステップＳ６１１０からステップＳ６１６０の動作を実行する。これにより、プロセッサ５２０は、順次取得した点群データまたは距離画像データと、各点の時刻データとに基づいて、１つの４次元座標系、すなわち、３次元の位置座標に時間を加えた座標系で表現された点群データを生成する。以下、各ステップの動作を説明する。

　（ステップＳ６１１０）
　まず、サーバ５００は、図示されていない入力装置から入力された動作の終了を指示する終了信号の有無を判断する。ステップＳ６１１０において、終了信号が入力されている場合、動作を終了する。ステップＳ６１１０において、終了信号が入力されていない場合、ステップＳ６１２０に進む。

　（ステップＳ６１２０）
　プロセッサ５２０は、通信回路５６０が移動体３００からの出力を受信したか、あるいは固定体システム４００からの出力を受信したかを判断する。ステップＳ６１２０において移動体３００または固定体システム４００からの出力を受信している場合、ステップＳ６１３０に進む。ステップＳ６１２０において移動体３００からの出力も、固定体システム４００からの出力もいずれも受信していない場合、ステップＳ６１２０を繰り返す。

　（ステップＳ６１３０）
　プロセッサ５２０は、ステップＳ６１２０で通信回路５６０が受信した移動体３００または固定体システム４００からの出力データを取得する。

　（ステップＳ６１４０）
　プロセッサ５２０は、ステップＳ６１３０で取得したデータから、測距が行われた時点での移動体３００または固定体システム４００の位置および方向の情報を抽出する。位置および方向の情報は、例えばＧＰＳ情報であり得る。プロセッサ５２０は、さらに、測距が行われた詳細な時刻データを取得する。ステップＳ６１３０で取得したデータが距離画像データである場合、プロセッサ５２０は、距離画像データを点群データに変換する。プロセッサ５２０は、距離画像中の画素のうち、有効な距離の値を持つ画素について、距離の値を、移動体３００または固定体システム４００に固有の座標系で表された位置座標に変換する。この変換は、移動体３００または固定体システム４００の位置および方向の情報に基づいて行われる。

　（ステップＳ６１５０）
　プロセッサ５２０は、ステップＳ６１４０で取得または生成した、移動体３００または固定体システム４００に固有の座標系で表された点群データを、サーバ５００に固有の絶対座標系で表された点群データに変換する。絶対座標系は、例えば、緯度と経度と高度とによって表現される３次元座標である。高度は、地表または海水面からの高さを示す。プロセッサ５２０は、ステップＳ６１４０で取得した移動体３００または固定体システム４００の絶対座標系での位置に基づいて、点群データの座標変換を行う。移動体３００または固定体システム４００の位置は、例えば緯度と経度と地表からの高さとで表現され得る。移動体３００または固定体システム４００に固有の座標系は、例えば、地表面に平行なｘ軸、鉛直方向に平行なｙ軸、および地表面に平行でｘ軸に垂直なｄ軸によって構成され得る。プロセッサ５２０は、例えば、ｙ軸の原点を移動体３００または固定体システム４００の高さに一致し、ｄ軸の方向が当該移動体３００または固定体システム４００の方向と一致するように変換する。

　（ステップＳ６１６０）
　プロセッサ５２０は、ステップＳ６１６０で生成した絶対座標系で表現された（緯度、経度、高度）の３次元データに、各点の測距の詳細時刻のデータを付加した（緯度、経度、高度、時刻）の４次元データを、記録媒体５４０に記録する。ステップＳ６１６０の後ステップＳ６１１０に戻る。

　ステップＳ６１１０からステップＳ６１６０を繰り返すことで、サーバ５００は、（緯度、経度、高度、時刻）の４次元座標で表現された詳細な時刻の情報を含む点群データを蓄積する。

　サーバ５００は、特定の日時および特定の場所における事故状況の解析を要求する指令を外部の装置から受けることがある。その場合、プロセッサ５２０は、該当する日時および場所のデータを記録媒体５４０から取得し、要求に応じたデータを生成して出力する。

　図４７は、サーバ５００が事故状況の解析の要求を受け付けた場合の動作の一例を示すフローチャートである。サーバ５００におけるプロセッサ５２０は、図４７に示すステップＳ６５１０からステップＳ６５６０の動作を実行することにより、要求された時空間領域の交通状況を示すデータを出力する。より具体的には、プロセッサ５２０は、記録媒体５４０に記憶された複数の点の（緯度、経度、高度、時刻）の４次元のデータから、該当する領域を抽出し、その領域内の位置および詳細な時刻の情報に基づき、対象物のトラッキングを行うことにより、当該時空間領域の交通状況を示すデータを生成して出力する。以下各ステップの動作を説明する。

　（ステップＳ６５１０）
　まず、外部の装置から入力された解析要求信号に応答して、プロセッサ５２０は、記録媒体５４０に格納された（緯度、経度、高度、時刻）の４次元のデータから、抽出すべき時空間領域を決定する。解析要求信号には、時空間を絞り込むための情報が含まれる。例えば、住所を示す文字列、または地図上の点を指定する情報などの、空間範囲を特定する情報が解析要求信号に含まれ得る。また、文字列または時計表示などの入力手段によって、おおよその時刻、例えば、時間単位あるいは分単位の時刻情報が解析要求信号に含まれ得る。プロセッサ５２０は、入力された位置に最も近い道路または道路に類する施設を特定する。特定された位置から所定の範囲内、例えば半径５０ｍの範囲内の領域を空間領域として決定する。さらにプロセッサ５２０は、入力された時刻を中心に、所定の時間範囲内、例えば前後３０分間の領域を時間領域として決定する。

　（ステップＳ６５２０）
　プロセッサ５２０は、ステップＳ６５１０で決定した時空間領域に含まれる点のデータを記録媒体５４０から読み出す。

　（ステップＳ６５３０）
　プロセッサ５２０は、ステップＳ６５２０で読みだされた（緯度、経度、高度、時刻）の４次元データが示す点群から、移動体を示す点群を抽出する。例えば、４次元のボクセルを設定し、ボクセル内の点数が時間の経過とともに大きく変動するボクセル内のデータ点を移動体のデータ点とみなすことができる。具体的な方法の一例として、まず、ステップＳ６５２０で読みだされた４次元の時空間領域のうち、３次元で表現された空間を複数の領域に分割する。各領域は、例えば、１辺の長さが３０ｃｍのボクセルである。地図データから建造物が存在することがわかっている範囲を除いた領域にのみ、ボクセルを設定してもよい。設定したボクセルごとに、時間軸上で例えば５００ｍ秒ごとに区切り、各５００ｍ秒間に当該ボクセル内に存在するデータ点の数を取得する。データ点の数が、５００ｍ秒の時間の区切りごとに変動するボクセルを、移動体を含むボクセルとして抽出する。ここで、データ点の数の変動が、ノイズに起因するデータ点の数の変動よりも大きい場合に、そのボクセルが移動体を含むものとして抽出される。例えば、特定の空間領域を表すボクセル内のデータ点の数を、５００ｍ秒ごとにカウントした場合に、データ点の数の最小値がデータ点の数の最大値の３０％以下になれば、そのボクセルが移動体を含むと判断してもよい。移動体が特定の空間領域を通り過ぎる場合、その領域内の移動体を示す点群の数は、０から次第に増加し、最大値に達した後、減少して再び０になる。移動体が存在しない場合でも、静止物体またはノイズに起因する点群が存在する。このため、特定の領域を示すボクセル内のデータ点の数の時間変化に基づいて、移動体の有無を判断できる。

　（ステップＳ６５４０）
　プロセッサ５２０は、ステップＳ６５３０で移動体を含むボクセルとして抽出されたすべての空間ボクセルの領域について、例えば３０ｍ秒ごとに、各３０ｍ秒間に取得されたデータ点の分布を生成する。各３０ｍ秒間のデータ分布をクラスタリングし、各クラスタに対して、認識処理を行う。クラスタの位置、大きさ、および移動速度などの特性に基づき、クラスタごとに、例えば自動車、自転車、人のいずれに該当するかが認識される。

　（ステップＳ６５５０）
　プロセッサ５２０は、ステップＳ６５４０で認識された移動体のクラスタのうち、自動車、自転車、または人と認識された各クラスタについて、トラッキングデータを生成する。トラッキングデータは、そのクラスタの点群が３次元空間中で占める領域の情報と、ステップＳ６５２０で読みだされた詳細時刻の情報とを合わせた４次元座標群のデータであり得る。

　（ステップＳ６５６０）
　プロセッサ５２０は、ステップＳ６５５０で生成されたトラッキングデータを出力する。トラッキングデータは、解析要求信号を入力したユーザが使用する表示デバイス、または解析要求信号を入力した外部システムに送信され得る。

　以上のように、プロセッサ５２０は、統合された点群データから、解析要求信号が指定する時空間領域に対応する一部の点群データを抽出する。プロセッサ５２０はまた、統合された点群データから、１つ以上の移動体に対応する点群データを抽出する。そして、当該移動体の位置の経時変化を示すトラッキングデータを生成する。プロセッサ５２０は、抽出した点群データを、所定の周期でサンプリングされた複数フレームのデータに構成してもよい。

　上記の動作により、例えば自動車、自転車、または人などの移動体の位置を、例えばマイクロ秒単位の精細な時間分解能で特定することができる。これにより、例えば移動体同士が衝突する事故が生じた場合に、衝突時の各移動体の正確な位置、移動方向、および移動速度等の情報を、事後的に検証することができる。このような移動体の詳細動作の検証により、例えば事故の原因を特定し、当事者の責任の割合等についての納得性を向上させることができる。

　［補足］
　（１）上記の各実施の形態では、測距装置で計測された距離データを統合する処理の一例として、複数の測距装置で計測された距離データと当該距離データに付与された時刻情報を用いて点群データを生成する場合について説明した。しかしながら、出力データを用いた信号処理は、上記の距離データを統合する処理に限られない。出力データを用いた信号処理は、図２のサーバ５００で実施されてもよいし、移動体３００または固定体システム４００が備える信号処理回路で実施されてもよい。また、測距装置１００または１００Ａが備える信号処理回路１６０で実施されてもよい。

　（２）上記の各実施の形態では、光ビームを出射して計測した距離データまたは３次元点群データに対して計測時刻情報を付与する場合を例に挙げて説明した。しかしながら、計測時刻情報が付与される対象である距離データまたは３次元点群データは、上記各実施の形態で説明した測距装置とは異なる構成を有する測距装置で測定されたデータであってもよい。例えば、ミリ波などの無線電波を用いて測距を行う測距装置で測定されたデータであってもよいし、一または複数のカメラで取得された２次元画像を用いて測距を行う測距装置で測定されたデータであってもよい。

　また、ミリ波などの無線電波を用いて測距を行う測距装置で測定されたデータに関しては、例えば、同一時刻に一または複数の送信アンテナから出射された電波ビームに基づいて、一または複数の受信アンテナで受信された信号から生成された複数の測距データまたは３次元点群データを一つのブロックとして格納してもよい。このとき、ブロックのデータごとに、電波ビームの出射時刻または反射ビームの受信時刻などの計測時刻情報が付与される。

　このように、本開示の各実施の形態について説明した測距データの生成方法および装置は、例えば光または電波などの電磁波を出射して測距を行う任意の能動的な測距方式に適用可能である。本構成によると、出力データにおいて、測距対象となる領域全体の測距データまたは点群データに対して一つの計測時刻情報を付与する場合と比較して、より小さなデータ単位で時刻情報が付与される。このため、当該出力データを用いて他のデータとの統合などの信号処理を行う場合に、処理が容易になる、または処理結果の品質もしくは信頼性が向上するなどの効果を得ることができる。また、一または複数のビームを出射することによって取得された複数の点の距離データまたは３次元点群データをブロックとして、ブロックごとに計測時刻情報を付与してもよい。これにより、例えば画素単位など、より細かいデータ単位で計測時刻情報を付与する場合と比較して、出力データのサイズを小さくすることができる。

　本開示の技術は、測距を行う装置またはシステムに広く利用可能である。例えば、本開示の技術は、ＬｉＤＡＲ（Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）システムの構成要素として使用され得る。

　１０　　車両制御システム
　１００　測距装置
　１１０　ビームスキャナ
　１２０　イメージセンサ
　１３０　制御回路
　１４０　クロック
　１５０　記録媒体
　１６０　信号処理回路
　１６１　距離計測部
　１６２　距離画像生成部
　１６３　点群データ生成部
　１６９　出力部
　１９０　プロセッサ
　２００　点群データ取得システム
　３００　移動体
　３１０　測距センサ
　３２０　通信回路
　４００　固定体
　４１０　測距センサ
　４２０　通信回路
　５００　サーバ
　５２０　プロセッサ
　５４０　記録媒体
　６００　ネットワーク
　７００　自動運転制御システム
　７１０　情報処理装置
　７２０　記録媒体

Claims

　複数の光ビームを異なる方向および異なるタイミングでシーンに向けて出射する発光装置と、
　複数の受光素子のアレイを含み、各光ビームの出射によって生じた前記シーンからの反射光を前記複数の受光素子によって検出する受光装置と、
　前記受光装置から出力された信号に基づいて、前記シーン中の複数の点の位置または距離を示す計測データを含む出力データを生成して出力する信号処理回路と、
を備え、
　前記出力データは、各々が前記複数の点のうちの一部の点の前記計測データを含む複数のブロックのデータを含み、前記複数のブロックの各々に個別の時刻データが付与されている、
　測距装置。
　各ブロックに付与された前記時刻データは、前記複数の光ビームのうち、前記ブロックに対応する光ビームが出射された時刻を示す、請求項１に記載の測距装置。
　各ブロックに付与された前記時刻データは、前記複数の光ビームのうち、前記ブロックに対応する光ビームの反射光が前記複数の受光素子のいずれかによって受光された時刻を示す、請求項１に記載の測距装置。
　前記発光装置は、出射する光ビームの形状および／または径を変化させることが可能であり、
　各ブロックに属する前記点の数または範囲は、前記ブロックに対応する光ビームの形状および／または径に応じて異なる、
　請求項１から３のいずれかに記載の測距装置。
　前記複数のブロックは、前記時刻データが共通する２つ以上のブロックを含む、請求項１から４のいずれかに記載の測距装置。
　前記信号処理回路は、前記複数の点の３次元座標の情報を含む点群データを前記出力データとして生成する、請求項１から５のいずれかに記載の測距装置。
　前記信号処理回路は、前記複数の点の距離分布を示す距離画像データを前記出力データとして生成する、請求項１から５のいずれかに記載の測距装置。
　前記時刻データは、マイクロ秒単位またはナノ秒単位で時刻を表現する、請求項１から７のいずれかに記載の測距装置。
　シーン中の複数の点の位置または距離を示す第１の計測データを含む第１の出力データであって、各々が前記複数の点のうちの一部の点の前記第１の計測データを含む複数のブロックのデータを含み、且つ前記複数のブロックの各々に個別の時刻データが付与されている第１の出力データと、前記シーン中の他の複数の点の位置または距離を示す第２の計測データを含み、且つ前記他の複数の点の各々の前記第２の計測データに時刻データが付与されている第２の出力データとを取得することと、
　前記第１の出力データおよび前記第２の出力データから、所定の時刻範囲に含まれる時刻データを有する１つ以上の点の前記第１の計測データおよび１つ以上の点の前記第２の計測データをそれぞれ抽出して同一の座標系に統合することにより、３次元点群データを生成することと、
　を含む情報処理方法。
　前記統合は、前記第１の計測データおよび前記第２の計測データの中で、時空間領域で互いに重なりのあるデータを、前記第１の計測データの信頼度および前記第２の計測データの信頼度に基づきマージすることを含む、請求項９に記載の情報処理方法。
　前記信頼度は、
　（ａ）前記第１の計測データを生成した第１の計測装置の移動速度、および前記第２の計測データを生成した第２の計測装置の移動速度のうちの少なくとも一方、
　（ｂ）前記第１の計測装置および前記第２の計測装置のうちの少なくとも一方の位置および姿勢と、太陽の方向との関係、
　（ｃ）前記第１の計測データが示す前記複数の点の空間密度、および前記第２の計測データが示す前記他の複数の点の空間密度のうちの少なくとも一方、および
　（ｄ）前記第１の計測データが示す前記複数の点の位置、および前記第２の計測データが示す前記他の複数の点の位置のうちの少なくとも一方と、地図データに示された１つ以上の構造物の位置との関係からなる群から選択される少なくとも１つに基づいて決定される、請求項１０に記載の情報処理方法。
　前記第１の計測データを計測した第１の計測装置、および前記第２の計測データを計測した第２の計測装置のうちの少なくとも一方は、移動体に搭載され、
　前記統合は、固定体に設けられた、または前記固定体と通信可能な情報処理装置によって実行され、
　前記情報処理装置は、前記移動体が前記固定体から所定の距離範囲に位置するとき、前記第１の計測装置および前記第２の計測装置の前記少なくとも一方から、前記計測データを取得する、
　請求項９に記載の情報処理方法。
　解析要求信号に応答して、統合された前記３次元点群データのうち、前記解析要求信号が指定する時空間領域に対応する一部の３次元点群データを抽出することをさらに含む、請求項９に記載の情報処理方法。
　前記抽出は、前記一部の３次元点群データを、所定の周期でサンプリングされた複数フレームのデータに構成することを含む、請求項１３に記載の情報処理方法。
　前記抽出は、前記３次元点群データのうち、移動体に対応する点群データを抽出することを含み、
　前記方法は、前記移動体の位置の経時変化を示すトラッキングデータを生成することをさらに含む、
　請求項１３または１４に記載の情報処理方法。
　プロセッサを備え、前記プロセッサは、
　シーン中の複数の点の位置または距離を示す第１の計測データを含む第１の出力データであって、各々が前記複数の点のうちの一部の点の前記第１の計測データを含む複数のブロックのデータを含み、且つ前記複数のブロックの各々に個別の時刻データが付与されている第１の出力データと、前記シーン中の他の複数の点の位置または距離を示す第２の計測データを含み、且つ前記他の複数の点の各々の前記第２の計測データに時刻データが付与されている第２の出力データとを取得し、
　前記第１の出力データおよび前記第２の出力データから、所定の時刻範囲に含まれる時刻データを有する１つ以上の点の前記第１の計測データおよび１つ以上の点の前記第２の計測データをそれぞれ抽出して同一の座標系に統合することにより、３次元点群データを生成する、
　情報処理装置。
　プロセッサを備え、前記プロセッサは、
　複数の受光素子のアレイを含む受光装置によって異なるタイミングで生成された受光データを取得し、
　前記受光データを基にシーン中の複数の点の位置または距離を示す計測データを生成し、
　各々が前記複数の点の一部の点の前記計測データを含む複数のブロックのデータを含み、前記複数のブロックの各々に個別の時刻データが付与された出力データを生成し、出力する、
　情報処理装置。