JP7457950B2 - 測距装置、情報処理方法、および情報処理装置 - Google Patents

Description

本開示は、測距装置、情報処理方法、および情報処理装置に関する。

従来、光で空間を走査（スキャン）し、物体からの反射光を受光して物体までの距離を計測する種々のデバイスが提案されている。対象シーンの距離情報は、例えば３次元の点群（point cloud）のデータに変換され、利用され得る。点群データは、典型的には、シーン中で物体が存在する点の分布が３次元座標で表現されたデータである。

特許文献１および２は、光ビームによって空間を走査し、光センサによって物体からの反射光を検出することで物体までの距離情報を取得するシステムを開示している。当該システムは、点群データの各点に計測時刻が対応付けられた情報を生成して出力する。

特許文献３および４は、光ビームによって空間を走査し、イメージセンサによって物体からの反射光を受光して距離情報を取得する装置を開示している。

特開２０１１－１７０５９９号公報 特開２００９－２９４１２８号公報 特開２０１６－２２４０６２号公報 米国特許出願公開第２０１８／０２１７２５８号明細書

本開示は、距離データまたは距離画像の取得および処理に関する技術を提供する。例えば、本開示の一態様は、複数の装置によって個別に生成された距離画像データまたは点群データの統合を容易にする技術を提供する。また、本開示の一態様は、距離画像データまたは点群データと他のデータとの統合を容易にする技術を提供する。

本開示の一態様に係る測距装置は、複数の光ビームを異なる方向および異なるタイミングでシーンに向けて出射する発光装置と、少なくとも１つの受光素子を含み、前記光の出射によって生じた前記シーンからの反射光を前記少なくとも１つの受光素子によって検出する受光装置と、前記受光装置から出力された信号に基づいて、前記シーン中の複数の点の位置または距離を示す計測データを含む出力データを、フレームごとに生成して出力する信号処理回路と、を備える。前記出力データは、前記フレームごとに定められた基準時刻を示す基準時刻データと、前記点ごとに定められた前記基準時刻との差分を示す時刻差分データと、を含む。１フレームの出力データを生成する期間における光ビームの出射回数は、前記フレームごとに異なっていてもよい。

本開示の他の態様に係る情報処理装置は、プロセッサを備え、前記プロセッサは、シーン中の複数の点の位置または距離を示す第１の計測データを含む第１の出力データであって、フレームごとに定められた基準時刻を示す基準時刻データと、前記点ごとに定められた前記基準時刻との差分を示す時刻差分データとを含む第１の出力データと、前記シーン中の他の複数の点の位置または距離を示す第２の計測データを含み、且つ前記他の複数の点の各々の前記第２の計測データに時刻データが付与されている第２の出力データとを取得し、前記第１の出力データおよび前記第２の出力データから、所定の時刻範囲に含まれる時刻データを有する１つ以上の点の前記第１の計測データおよび１つ以上の点の前記第２の計測データをそれぞれ抽出して同一の座標系に統合することにより、３次元点群データを生成する。

本開示のさらに他の態様に係る情報処理装置は、プロセッサを備え、前記プロセッサは、少なくとも１つの受光素子を含む受光装置によって異なるタイミングで検出された受光データを取得し、前記受光データを基にシーン中の複数の点の位置または距離を示す計測データをフレームごとに生成し、前記計測データと、前記フレームごとに定められた基準時刻を示す基準時刻データと、前記点ごとに定められた前記基準時刻との差分を示す時刻差分データとを含む出力データを生成し、出力する。１フレームの出力データを生成する期間における光ビームの出射回数は、前記フレームごとに異なっていてもよい。

本開示の包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能な記録ディスク等の記録媒体によって実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意の組み合わせによって実現されてもよい。コンピュータ読み取り可能な記録媒体は、揮発性の記録媒体を含んでいてもよいし、ＣＤ－ＲＯＭ（Compact Disc‐Read Only Memory）等の不揮発性の記録媒体を含んでいてもよい。装置は、１つ以上の装置で構成されてもよい。装置が２つ以上の装置で構成される場合、当該２つ以上の装置は、１つの機器内に配置されてもよく、分離した２つ以上の機器内に分かれて配置されてもよい。本明細書及び特許請求の範囲では、「装置」とは、１つの装置を意味し得るだけでなく、複数の装置からなるシステムも意味し得る。

本開示の一態様によれば、距離画像データまたは点群データを含むデータの統合が容易になる。

本開示に含まれる様々な態様における付加的な恩恵及び有利な点は本明細書及び図面から明らかとなる。この恩恵及び／又は有利な点のそれぞれは、本明細書及び図面に開示された様々な態様または各態様における一部の特徴により個別に提供され得るものであり、その１つ以上を得るために全てが必要ではない。

道路の交通環境を監視するサーバを含むシステムの一例を模式的に示す概念図である。 図１に示すシステムのより詳細な構成例を示すブロック図である。 サーバ、移動体、および固定体の動作およびデータの流れの一例を簡略化して示す図である。 実施形態１に係る測距装置の構成を示すブロック図である。 光ビームによって測距対象のシーンが走査される様子を模式的に示す図である。 記録媒体に記録されるデータの例を示す図である。 記録媒体に記録されるデータの例を示す図である。 記録媒体に記録されるデータの例を示す図である。 記録媒体に記録されるデータの例を示す図である。 点群データのデータ形式の例を示す図である。 点群データのデータ形式の他の例を示す図である。 距離画像データのデータ形式の例を示す図である。 距離画像データのデータ形式の他の例を示す図である。 発光デバイスの一例を模式的に示す斜視図である。 １つの光導波路素子の断面の構造および伝搬する光の例を模式的に示す図である。 光導波路アレイの出射面に垂直な方向に光を出射する光導波路アレイの断面を示す図である。 光導波路アレイの出射面に垂直な方向とは異なる方向に光を出射する光導波路アレイの断面を示す図である。 ３次元空間における光導波路アレイを模式的に示す斜視図である。 光導波路アレイおよび位相シフタアレイを、光出射面の法線方向から見た模式図である。 ビームスキャナの他の例を示す図である。 ビームスキャナのさらに他の構成例を示す図である。 ビームスキャナのさらに他の構成例を示す図である。 ビームスキャナのさらに他の例を示す図である。 間接ＴｏＦ方式による測距方法を説明するための第１の図である。 間接ＴｏＦ方式による測距方法を説明するための第２の図である。 間接ＴｏＦ方式による測距方法を説明するための第３の図である。 間接ＴｏＦ方式による測距方法を説明するための第４の図である。 測距装置の動作の一例を示すフローチャートである。 点群データのファイルフォーマットの一例を示す図である。 点群データの他の例を示す図である。 実施形態１の変形例による動作の例を示すフローチャートである。 記録媒体に記録されるデータの例を示す図である。 記録媒体に記録されるデータの他の例を示す図である。 点群データのデータ形式の他の例を示す図である。 点群データのデータ形式のさらに他の例を示す図である。 距離画像データのデータ形式の他の例を示す図である。 距離画像データのデータ形式のさらに他の例を示す図である。 点群データのファイルフォーマットの例を示す図である。 実施形態２における信号処理回路における距離計測部の詳細な機能構成を示すブロック図である。 実施形態２において記録される情報の例を示す図である。 実施形態２において記録される情報の例を示す図である。 実施形態２における測距装置の動作の例を示すフローチャートである。 実施形態２における点群データのデータ形式の例を示す図である。 実施形態２における点群データのデータ形式の他の例を示す図である。 実施形態２における距離画像データのデータ形式の例を示す図である。 実施形態２における距離画像データのデータ形式の他の例を示す図である。 実施形態２における出力データのファイルフォーマットの例を示す図である。 実施形態２における出力データ形式の他の例を示す図である。 図２９におけるステップＳ３１１０の動作の詳細を示すフローチャートである。 光ビームの方向と、物体の位置と、反射光のイメージセンサの受光面上への入射位置との関係を示す模式図である。 ブロックの決定方法を説明するための第１の図である。 ブロックの決定方法を説明するための第２の図である。 ブロックの決定方法を説明するための第３の図である。 ブロックの決定方法を説明するための第４の図である。 ブロックの決定方法を説明するための第５の図である。 ブロックの決定方法を説明するための第６の図である。 実施形態３に係る車両制御システムの構成を示すブロック図である。 実施形態３における出力データ列のデータ形式の一例を示す図である。 実施形態３における出力データ列のデータ形式の他の例を示す図である。

本開示において、回路、ユニット、装置、部材もしくは部の全部または一部、またはブロック図における機能ブロックの全部または一部は、例えば、半導体装置、半導体集積回路（ＩＣ）、またはＬＳＩ（ｌａｒｇｅ ｓｃａｌｅ ｉｎｔｅｇｒａｔｉｏｎ）を含む１つまたは複数の電子回路によって実行され得る。ＬＳＩまたはＩＣは、１つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、１つのチップに集積されてもよい。ここでは、ＬＳＩまたはＩＣと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ（ｖｅｒｙ ｌａｒｇｅ ｓｃａｌｅ ｉｎｔｅｇｒａｔｉｏｎ）、もしくはＵＬＳＩ（ｕｌｔｒａ ｌａｒｇｅ ｓｃａｌｅ ｉｎｔｅｇｒａｔｉｏｎ）と呼ばれるものであってもよい。ＬＳＩの製造後にプログラムされる、Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ（ＦＰＧＡ）、またはＬＳＩ内部の接合関係の再構成またはＬＳＩ内部の回路区画のセットアップができるｒｅｃｏｎｆｉｇｕｒａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅも同じ目的で使うことができる。

さらに、回路、ユニット、装置、部材または部の全部または一部の機能または動作は、ソフトウェア処理によって実行することが可能である。この場合、ソフトウェアは１つまたは複数のＲＯＭ、光学ディスク、ハードディスクドライブなどの非一時的記録媒体に記録され、ソフトウェアが処理装置（ｐｒｏｃｅｓｓｏｒ）によって実行されたときに、そのソフトウェアで特定された機能が処理装置（ｐｒｏｃｅｓｓｏｒ）および周辺装置によって実行される。システムまたは装置は、ソフトウェアが記録されている１つまたは複数の非一時的記録媒体、処理装置（ｐｒｏｃｅｓｓｏｒ）、および必要とされるハードウェアデバイス、例えばインターフェースを備えていてもよい。

＜後述する実施形態を適用し得る構成の一例＞
本開示の実施形態の詳細を説明する前に、後述する実施形態を適用し得る構成の一例を説明する。

図１は、道路の交通環境を監視するサーバ５００を含むシステムの一例を模式的に示す概念図である。サーバ５００は、車両などの移動体３００に搭載された測距装置、および信号機などの固定体４００に取り付けられた測距装置に、ネットワーク６００を介して接続される。固定体４００は、信号機以外にも、例えば照明機器、電柱、ガードレールなどの公共物その他のインフラストラクチャであってもよい。各測距装置は、光源と光センサとを備え、距離情報を含むセンサデータを逐次生成して出力する。センサデータは、例えば、距離画像または３次元点群を示すデータである。以下の説明において、特に断らない限り、３次元点群を単に「点群」と称する。なお、ここでは移動体３００及び固定体４００が備える測距装置を光源と光センサを備える測距装置として説明したが、その一部または全体は、他の方式で測距を行う測距装置であってもよい。例えば、ミリ波などの電波を用いて測距を行う測距装置であってもよいし、一または複数のカメラで取得された２次元画像を用いて測距を行う測距装置であってもよい。

サーバ５００は、各移動体３００および各固定体４００から、測距装置の位置および姿勢を示すデータと、センサデータとを取得する。サーバ５００は、プロセッサ５２０と、記録媒体５４０とを備える。プロセッサ５２０は、各測距装置から取得したセンサデータを統合して道路環境を示すデータを逐次生成し、記録媒体５４０に記録する。プロセッサ５２０は、例えばサーバ５００に固有の３次元座標系で表現された点群データを生成する。このようなデータは、例えば事故が生じたときに、事故の原因を調査する目的で利用され得る。

なお、上記説明では、サーバ５００が移動体３００および固定体４００から測距装置の位置および姿勢を示すデータとセンサデータとを取得するとしたが、取得するデータはセンサデータのみであってもよい。その場合、例えば、サーバ５００は各測距装置から取得したセンサデータを用いて各距離装置の位置と姿勢を推定する。

また、上記説明では、サーバ５００が生成する点群データは、サーバ５００に固有の座標系で表現されているとしたが、サーバ５００が生成する点群データの座標系はサーバ５００に固有である必要はない。例えば、サーバ５００に対して、外部から点群データの座標系を指定できるようにしてもよいし、サーバ５００が利用する三次元地図データの座標系に合わせてもよい。

図２は、上記のシステムのより詳細な構成例を示すブロック図である。この例におけるシステムは、複数の移動体３００と、複数の固定体４００とを含む。移動体３００および固定体４００の各々の個数は任意である。

移動体３００の各々は、異なる位置および姿勢で配置された複数の測距センサ３１０と、通信回路３２０とを備える。同様に、固定体４００の各々は、異なる位置および姿勢で配置された複数の測距センサ４１０と、通信回路４２０とを備える。測距センサ３１０および４１０の各々は、測距を行い、距離画像または３次元点群を示すセンサデータを生成する。センサデータは、通信回路３２０および４２０によってサーバ５００に送信される。

サーバ５００は、プロセッサ５２０および記録媒体５４０に加えて、通信回路５６０を備える。プロセッサ５２０は、通信回路５６０を介してセンサデータを逐次取得し、記録媒体５４０に記録する。プロセッサ５２０は、取得したセンサデータの時刻照合および座標変換などの必要な処理を行うことにより、特定の時刻および特定の場所における統合された点群データを生成することができる。

図３は、サーバ５００、移動体３００、および固定体４００の動作およびデータの流れの一例を簡略化して示す図である。図３では簡単のため、複数の移動体３００がまとめて１つの移動体として表現され、複数の固定体４００がまとめて１つの固定体として表現されている。移動体３００および固定体４００の各々における測距センサ３１０および４１０の各々は、繰り返し測距を行い、シーン中の物体の位置および時刻の情報を含むデータを逐次生成する。それらのデータは、サーバ５００に送られる。サーバ５００は、取得したデータの時刻照合および座標変換などの必要な処理を行い、記録媒体５４０に記録する。このような動作が例えば一定の周期で繰り返される。

サーバ５００は、特定の日時および特定の場所における道路環境の解析を要求する指令を外部から受けることがある。その場合、プロセッサ５２０は、該当する日時および場所のデータを記録媒体５４０から取得し、要求に応じたデータを生成して出力する。このような動作により、例えば事故原因の解明に役立つデータを取得することができる。

上記のようなシステムにおいて、逐次生成されるセンサデータを統合して正確な道路環境のデータを生成するためには、各位置のデータが取得された時刻を正確に記録することが重要である。特に車両事故の原因解明のために特定の時刻および特定の場所における物体の正確な位置および移動速度を把握するためには、事故現場における３次元の位置データと、各位置のデータが取得された正確な時刻の情報が要求される。

対象シーンの距離分布の情報を取得するために、光ビームでシーンを走査してイメージセンサなどの受光装置で反射光を検出する測距装置が考えられる。後述するようにＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）の技術を適用することにより、光ビームによって照射された物体までの距離を計測することができる。光ビームでシーンを走査しながら距離を計測することにより、距離画像データ、または距離画像データから変換された点群データを生成することができる。本開示では、距離画像データまたは点群データのあるひと纏まりを「フレーム」と称することがある。これはイメージセンサから出力される画像データの単位である「フレーム」と一致する場合もあれば、異なる場合もある。距離画像データまたは点群データは、例えば一定のフレームレートで繰り返し生成される。１フレーム分の距離画像データまたは点群データに１つの時刻を対応付けて出力することも可能である。

例えば、時速６０キロメートル（ｋｍ）で走行している自動車は、１ミリ秒（ｍｓ）で約１．６６センチメートル（ｃｍ）移動する。一般的な動画像は、３０ｆｐｓすなわち１秒間に３０フレームのフレームレートで構成される。すなわち、３３ｍｓごとに１フレームが取得される。時速６０ｋｍの車両は、３３ｍｓの間に約５５ｃｍ移動する。よって、１フレームごとの時刻情報では、車両、歩行者、または自転車等の複数の移動体の位置関係を明確にすることができない可能性がある。

イメージセンサを用いて距離情報を取得する測距センサは、例えばフラッシュ光を用いた近距離の３次元計測に用いられる。一方で、光径を絞った光ビームを出射して物体からの反射光を検出する方式も存在する。このような方式は、１００ｍを越える長距離の距離情報の取得に向く。以上のような測距センサによれば、投光のタイミングと受光のタイミングとのずれを利用して距離を計測することができる。

ここで一例として、光径を絞った光ビームでシーンを走査し、反射光をイメージセンサで検出する場合を想定する。光径を絞った状態で出射された光ビームはシーン内の限られた範囲に位置する物体にのみ到達する。そのため、イメージセンサは１つの光ビームを出射する度に狭い範囲に位置する物体のみから反射光を受ける。すなわち、イメージセンサが備える複数の受光素子のうち、当該物体の位置に対応する範囲に位置する一部の受光素子のみ反射光を受ける。光ビームの方向を順次変化させながら反射光を検出するスキャン動作により、イメージセンサが検出可能な範囲の全体について距離情報を得ることができる。このような構成においては、光ビームの出射されるタイミングが方向によって異なる。１回のスキャンが完了する度に１つの距離画像が生成される構成においては、距離画像中の部分によって受光のタイミングが異なる。例えば３０ｆｐｓで出力される距離画像の場合、画素によって最大で３０ｍｓ程度の差が生じ得る。

このように、同一のフレームであっても、距離画像または点群の部分によって測距の時刻が異なる。このため、複数の測距センサから収集したデータをフレーム時刻に基づいて統合する場合、同時刻のフレームのデータを用いたとしてもセンサ間で同一物体の位置情報が異なる可能性がある。この位置情報のずれにより、位置情報の統合が十分に正確にできない可能性がある。

一方、距離画像データの画素ごと、または点群データの点ごとに詳細な時刻情報を記録する方法も考えられる。そのような方法であれば、前述の問題は回避できる。しかし、距離画像データの画素ごと、または点群データの点ごとに詳細な時刻情報を付与すると、データ量が膨大になり、極めて高速な通信網、および高性能な演算プロセッサが必要となる。

以下、本開示の実施形態の概要を説明する。

本開示の例示的な実施形態による測距装置は、発光装置と、受光装置と、信号処理回路とを備える。前記発光装置は、複数の光ビームを異なる方向および異なるタイミングでシーンに向けて出射する。前記受光装置は、少なくとも１つの受光素子を含み、前記光の出射によって生じた前記シーンからの反射光を前記少なくとも１つの受光素子によって検出する。前記信号処理回路は、前記受光装置から出力された信号に基づいて、前記シーン中の複数の点の位置または距離を示す計測データを含む出力データを、フレームごとに生成して出力する。前記出力データは、前記フレームごとに定められた基準時刻を示す基準時刻データと、前記点ごとに定められた前記基準時刻との差分を示す時刻差分データとを含む。１フレームの出力データを生成する期間における光ビームの出射回数は、前記フレームごとに異なっていてもよい。

上記構成によれば、各フレームの出力データが、基準時刻データと、点ごとに定められた時刻差分データとを含む。時刻差分データのサイズは、基準時刻データのサイズよりも小さい。例えば、基準時刻データは、時、分、秒、ミリ秒、マイクロ秒のそれぞれの単位の値を含み得る。これに対し、時刻差分データは、例えばマイクロ秒の単位の値のみを含み得る。基準時刻データが例えば５バイトのデータ量で表現される場合、時刻差分データは、例えば１バイトのデータ量で表現され得る。なお、基準時刻データおよび時刻差分データは、マイクロ秒単位に限らず、例えばナノ秒単位またはミリ秒単位のデータであってもよい。各フレームの点ごとに基準時刻からの差分を記録することにより、点ごとに詳細な時刻を記録する場合と比較して、出力データの量を大幅に低減することができる。各フレームの点の数は多く、例えば数千から数百万になる場合もある。点ごとに詳細な時刻を付与すると、データ量が膨大になる。本実施形態のように、データ量の小さい時刻差分を付与することにより、各フレームの出力データの量を大幅に低減できる。これにより、極めて高速な通信網、および高性能な演算プロセッサを用いることなく、データの統合が可能になる。

各点の前記時刻差分データは、前記点についての前記計測データを取得するために使用された前記光が出射された時刻または前記光が検出された時刻と、前記基準時刻との差分を示していてもよい。そのような例に限らず、前記時刻差分データは、その点の計測時刻に関連付けられた任意の時刻と、基準時刻との差分を示していてもよい。

前記発光装置は、複数の光ビームを異なる方向および異なるタイミングでシーンに向けて出射するように構成されていてもよい。前記受光装置は、複数の受光素子のアレイを含んでいてもよい。前記受光装置は、各光ビームの出射によって生じた前記シーンからの反射光を前記複数の受光素子によって検出するように構成されてもよい。

上記構成によれば、複数の光ビームでシーンを走査することにより、より遠方の距離情報を取得することができる。

前記出力データは、各々が前記複数の点のうちの一部の点の前記計測データを含む複数のブロックのデータを含んでいてもよい。前記ブロックごとに、前記基準時刻との差分を示す個別の時刻差分データが、前記ブロックの各点の前記時刻差分データとして記録されてもよい。

上記構成によれば、ブロックごとに１つの時刻差分データが記録されるため、出力データの量をさらに小さくすることができる。ブロックは、例えば１つの方向に出射される光ビームに基づく反射光を受ける受光素子のまとまりごとに規定される。光ビームによって出射時刻が異なる場合、その反射光を受ける受光素子のまとまりごとに検出時刻が異なる。よって、上記構成では、受光素子のまとまりごとにブロックが規定され、ブロックごとに時刻差分が計算され、記録される。これにより、点ごとに１つの時刻差分が記録される場合と比較して、データ量を数分の１以下に抑えることができる。

なお、ブロックごとに時刻差分データが記録される場合であっても、各ブロックに対応付けられた点ごとに時刻差分データが定められているといえる。したがって、そのような場合も、出力データが点ごとに定められた時刻差分データを含むものと解釈する。

各フレームの前記基準時刻は、前記フレームにおける前記計測データを取得するために出射された前記複数の光ビームのうち、最初の光ビームが出射された時刻であってもよい。基準時刻は、これに限らず、他の時刻に設定されていてもよい。

各点についての前記時刻差分データは、前記点についての前記計測データを取得するために出射された光ビームの出射時刻と、直前に前記計測データが取得された他の点についての前記計測データを取得するために出射された光ビームの出射時刻との差分を示していてもよい。

前記発光装置は、前記複数の光ビームを一定の時間間隔で出射するように構成されていてもよい。各フレームにおける前記基準時刻は、前記フレームにおける前記計測データを取得するために最初に出射された光ビームの出射時刻であってもよい。前記フレームにおける各点の前記時刻差分データは、前記点についての前記計測データを取得するために出射された光ビームの順番を示すデータと、前記複数の光ビームの時間間隔を示すデータとを含んでいてもよい。

上記構成によれば、時刻差分データが、時刻の差分そのものではなく、光ビームの順番および光ビームの出射時刻の間隔を示すデータを含む。このような構成によっても、各点の時刻差分を小さいデータ量で表現することができる。

前記信号処理回路は、前記複数の点の距離分布を示す距離画像データを前記出力データとして生成してもよい。この場合、出力データは、シーン中の複数の点の距離を表現する。各点までの距離は、例えばＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）などの測距技術によって計測され得る。ＴｏＦには、直接ＴｏＦまたは間接ＴｏＦなどの方式がある。いずれの方式で距離を計測してもよい。

前記信号処理回路は、前記複数の点の３次元座標の情報を含む点群データを前記出力データとして生成してもよい。この場合、出力データは、シーン中の複数の点の位置を３次元座標で表現する。点群データは、例えば上記の距離画像データから変換することによって生成され得る。

本開示の他の実施形態による情報処理方法は、以下のステップを含む。
・シーン中の複数の点の位置または距離を示す第１の計測データを含む第１の出力データであって、フレームごとに定められた基準時刻を示す基準時刻データと、前記点ごとに定められた前記基準時刻との差分を示す時刻差分データとを含む第１の出力データと、前記シーン中の他の複数の点の位置または距離を示す第２の計測データを含み、且つ前記他の複数の点の各々の前記第２の計測データに時刻データが付与されている第２の出力データとを取得する。
・前記第１の出力データおよび前記第２の出力データから、所定の時刻範囲に含まれる時刻データを有する１つ以上の点の前記第１の計測データおよび１つ以上の点の前記第２の計測データをそれぞれ抽出して同一の座標系に統合することにより、３次元点群データを生成する。

上記の方法によれば、独立して生成された第１の出力データと第２の出力データとを統合することにより、３次元点群データを生成することができる。少なくとも第１の出力データが上記の時刻差分データを含むため、より効率的にデータの統合が可能である。

本開示のさらに他の実施形態による情報処理装置は、プロセッサを備える。前記プロセッサは、以下のステップを実行する。
・シーン中の複数の点の位置または距離を示す第１の計測データを含む第１の出力データであって、フレームごとに定められた基準時刻を示す基準時刻データと、前記点ごとに定められた前記基準時刻との差分を示す時刻差分データとを含む第１の出力データと、前記シーン中の他の複数の点の位置または距離を示す第２の計測データを含み、且つ前記他の複数の点の各々の前記第２の計測データに時刻データが付与されている第２の出力データとを取得する。
・前記第１の出力データおよび前記第２の出力データから、所定の時刻範囲に含まれる時刻データを有する１つ以上の点の前記第１の計測データおよび１つ以上の点の前記第２の計測データをそれぞれ抽出して同一の座標系に統合することにより、３次元点群データを生成する。

本開示のさらに他の実施形態による情報処理装置は、プロセッサを備える。前記プロセッサは、以下のステップを実行する。
・少なくとも１つの受光素子を含む受光装置によって異なるタイミングで検出された受光データを取得する。
・前記受光データを基にシーン中の複数の点の位置または距離を示す計測データをフレームごとに生成する。
・前記計測データと、前記フレームごとに定められた基準時刻を示す基準時刻データと、前記点ごとに定められた前記基準時刻との差分を示す時刻差分データとを含む出力データを生成し、出力する。１フレームの出力データを生成する期間における光ビームの出射回数は、前記フレームごとに異なっていてもよい。

以下、本開示の実施形態について、より具体的に説明する。なお、以下で説明する実施形態は、いずれも包括的又は具体的な例を示すものである。以下の実施形態で示される数値、形状、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、各図は模式図であり、必ずしも厳密に図示されたものではない。さらに、各図において、実質的に同一の構成要素に対しては同一の符号を付しており、重複する説明は省略又は簡略化される場合がある。

＜実施形態１＞
実施形態１に係る測距装置を説明する。本実施形態では、発光装置として、光ビームの出射方向を変化させることが可能なビームスキャナが用いられる。また、受光装置として、複数の受光素子が２次元的に配列されたイメージセンサが用いられる。測距装置は、これらに加えて、イメージセンサから出力された信号を処理する信号処理回路と、測距装置の全体の動作を制御する制御回路とを備える。信号処理回路は、イメージセンサから出力された信号に基づいて、シーン中の複数の点の位置または距離を示す計測データを含む出力データを、フレームごとに生成して出力する。信号処理回路は、計測データに、フレームごとに定められた基準時刻を示す基準時刻データと、各フレームの点ごとに定められた時刻差分データを付加して出力データとして出力する。このような構成により、各点に詳細な時刻データが付与される場合と比較して、出力データのサイズを大幅に低減することが可能である。以下、本実施形態の測距装置の構成および動作の例をより詳細に説明する。

［１－１ 構成］
［１－１－１ 測距装置の構成］
図４は、実施形態１に係る測距装置１００の構成を示すブロック図である。図４に示されるように、測距装置１００は、ビームスキャナ１１０と、イメージセンサ１２０と、制御回路１３０と、クロック１４０と、記録媒体１５０と、信号処理回路１６０とを備える。信号処理回路１６０は、距離計測部１６１と、距離画像生成部１６２と、点群データ生成部１６３と、時刻決定部１６４と、出力部１６９とを含む。

ビームスキャナ１１０は、光ビームを出射する発光装置の一種である。ビームスキャナ１１０は、例えばレーザ光源を含む。ビームスキャナ１１０は、制御回路１３０からの指令に応答して、光ビームを指定された方向に出射する。一例において、ビームスキャナ１１０は、対象シーンを光ビームで走査する動作を繰り返す。他の例において、ビームスキャナ１１０は、所定のトリガを受けて、対象シーンにおける特定の領域を走査する動作を行う。ビームスキャナ１１０は、１回の走査を所定の時間内に実行する。この時間を「フレーム時間」と称することがある。ビームスキャナ１１０は、フレーム時間内に、複数の光ビームを異なる方向に順次出射する。各フレームにおけるフレーム時間、および光ビームの出射回数は同一とは限らず、フレーム毎に異なる場合もある。

イメージセンサ１２０は、受光装置の一種であり、受光面に沿って２次元に配列された複数の受光素子のアレイを備える。イメージセンサ１２０の受光面に像を形成するレンズなどの光学部品も設けられ得る。イメージセンサ１２０は、出射された光ビームの経路上に位置する物体からの反射光を受ける。各受光素子は、フォトダイオードなどの光電変換素子であり、受けた光の強度に応じて電荷を蓄積する。以下の説明において、受光素子を「画素」と称することがある。イメージセンサ１２０は、制御回路１３０からの指令に応答して、各受光素子に電荷を蓄積させ、蓄積された電荷の量に応じた電気信号を出力する。１つの光ビームの反射光を受ける受光素子は、全受光素子のうちの一部のみである。光ビームが異なる方向に繰り返し出射され、その都度、異なる受光素子群によって反射光が検出される。光ビームの出射方向のパターンおよび順序は、予め設定されている。その予め設定された一連の光ビームの出射に起因して生じた反射光ビームを検出することにより、イメージセンサ１２０は１フレームのデータを生成する。本実施形態では、イメージセンサ１２０が検出可能なシーンの全域について光ビームによる走査が完了した段階で、イメージセンサ１２０は全画素分のデータを１フレームのデータとして出力する。イメージセンサ１２０は、例えば１秒間に３０フレームを出力する。このフレームレートは一例に過ぎず、用途に応じてフレームレートは適宜決定される。

なお、本実施形態では、イメージセンサ１２０が検出可能なシーンの全域について光ビームによる走査が完了した段階でデータを出力するが、イメージセンサ１２０は、一部の画素の領域に対応する方向に光ビームを出射することで得られたデータを出力してもよい。この場合、イメージセンサ１２０は、すべての画素で得られたデータを出力してもよいし、当該一部の画素で得られたデータのみを出力してもよい。

制御回路１３０は、例えばマイクロコントローラユニット（ＭＣＵ）などの、プロセッサを含む電子回路によって実現され得る。制御回路１３０は、ビームスキャナ１１０による光ビームの出射のタイミングと出射の方向、およびイメージセンサ１２０の露光のタイミングを決定する。制御回路１３０は、決定したタイミングに従って、投光制御信号および露光制御信号を、ビームスキャナ１１０およびイメージセンサ１２０にそれぞれ出力する。投光制御信号は、予め定められた方向および順序で光ビームが順次出射されるように生成される。

図５は、光ビームによって測距対象のシーンが走査される様子を模式的に示す図である。図５には、複数の光ビームのスポットが点線の円で示されているが、同時に出射される光ビームの本数は１以上の任意の数であり得る。本実施形態では、イメージセンサ１２０の受光面に平行な２次元平面において網羅的に光ビームが順次照射される。制御回路１３０は、光ビームの投光方向と投光タイミングを示す情報を記録媒体１５０に記録する。なお、光ビームによる走査の態様は任意である。図５におけるマス目は、イメージセンサ１２０の画素を表している。なお、イメージセンサ１２０の画素は、実際には微細であるが、図５では、見易さのため、実際よりも粗く示されている。以降の図でも同様の表現を用いることがある。

クロック１４０は、ビームスキャンの制御に必要な詳細な時刻情報を出力する回路である。クロック１４０は、例えばナノ秒またはマイクロ秒の精度の時刻を計測し、その情報を出力する。クロック１４０は、例えばリアルタイムクロックなどの集積回路によって実現され得る。クロック１４０は時刻サーバと同期していてもよい。同期には、例えばＮＴＰ（Network Time Protocol)またはＰＴＰ(Precision Time Protocol)等のプロトコルを利用してもよい。あるいは、ＧＰＳ情報を用いてサーバの時刻を基準とする時刻同期を行ってもよい。なお、時刻同期の方法は上記に限らず、任意である。時刻同期により、クライアントである測距装置１００は正確な時刻情報を取得できる。

制御回路１３０は、ビームスキャナ１１０による各光ビームの出射のタイミングで、クロック１４０によって計測された詳細な時刻（例えば、ナノ秒またはマイクロ秒の単位の時刻）を、記録媒体１５０に記録する。制御回路１３０はまた、各光ビームについて、その反射光が受光素子によって検出された時刻を記録媒体１５０に記録してもよい。

信号処理回路１６０は、例えばＣＰＵおよび／またはＧＰＵなどのプロセッサを含む電子回路である。信号処理回路１６０における距離計測部１６１、距離画像生成部１６２、点群データ生成部１６３、時刻決定部１６４、および出力部１６９の機能は、例えば信号処理回路１６０のプロセッサが、記録媒体１５０に格納されたプログラムを実行することによって実現され得る。その場合、当該プロセッサが、距離計測部１６１、距離画像生成部１６２、点群データ生成部１６３、時刻決定部１６４、および出力部１６９として機能する。これらの各機能部は、専用のハーウェアによって実現されていてもよい。なお、制御回路１３０と信号処理回路１６０とが、１つの回路によって実現されていてもよい。例えば、１つのＭＣＵが、制御回路１３０および信号処理回路１６０の両方の機能を有していてもよい。記録媒体１５０も、当該回路に含まれていてもよい。

信号処理回路１６０における時刻決定部１６４は、フレームごとに、基準時刻を決定して記録媒体１５０に記録する。基準時刻は、例えば、そのフレームの計測データを取得するために出射される複数の光ビームのうちの最初の光ビームが出射される時刻に設定され得る。時刻決定部１６４は、各画素の計測データを取得するために出射された各光ビームが出射された時刻と、そのフレームの基準時刻との差分を記録媒体１５０に記録する。なお、基準時刻は、最初の光ビームの出射時刻に限定されない。例えば最後の光ビームの出射時刻、または光ビームの出射時刻の平均値などの時刻が基準時刻として設定されてもよい。あるいは、いずれかの光ビームがイメージセンサ１２０によって受光された時刻、または受光時刻の平均値などの時刻が基準時刻として設定されてもよい。

記録媒体１５０は、例えばＲＯＭまたはＲＡＭなどのメモリであり得る。記録媒体１５０は、制御回路１３０および信号処理回路１６０によって生成される各種のデータを記録する。記録媒体１５０は、さらに、制御回路１３０および信号処理回路１６０によって実行されるコンピュータプログラムを格納していてもよい。

記録媒体１５０は、制御回路１３０から出力された光ビームの投光方向および投光タイミングを示すデータ、および各光ビームの出射時刻を示すデータを記録する。記録媒体１５０は、さらに、信号処理回路１６０によって生成された各種のデータも記録する。例えば、距離計測部１６１で計算された画素ごとの距離データを記録する。本実施形態では、さらに、時刻決定部１６４によって決定された、フレームごとの基準時刻のデータと、画素ごとの時刻差分のデータも、記録媒体１５０に記録される。

図６Ａから図６Ｄは、記録媒体１５０に記録されるデータの例を示している。図６Ａは、複数のフレームに共通のデータを示している。図６Ｂは、光ビームごとに記録される出射方向と出射時刻のデータを示している。図６Ｃは、フレームごとに記録される基準時刻データを示している。図６Ｄは、画素ごとに記録される距離データと時刻差分データとを示している。

図６Ａに示すように、複数のフレームに共通のデータは、イメージセンサ１２０の車両内での位置、イメージセンサ１２０の受光面の法線方向、および画角を示すデータを含む。イメージセンサ１２０の車両内での位置は、例えば、車両の中心を原点とした３次元座標で表され得る。イメージセンサ１２０の受光面の法線方向は、例えば当該３次元座標で表された法線ベクトルの成分によって表され得る。画角は、例えば水平面での角度および鉛直面での角度によって表され得る。

図６Ｂに示すように、光ビームごとに、出射方向と出射時刻のデータが記録される。この例では、イメージセンサ１２０の受光面に配列された複数の受光素子の１つの中心位置を原点とし、画像の横方向に相当する方向にｘ軸、画像の縦方向に相当する方向にｙ軸、受光面に垂直でシーンに向けた方向にｚ軸をもつ座標系が用いられている。光ビームの出射方向は、光ビームの中心の方向をｘｙ平面に射影した方向を示す単位ベクトルと、ｘｚ平面に射影した方向を示す単位ベクトルとによって記述され得る。なお、光ビームの出射方向の表現形式は図示されている形式に限らず、任意である。図６Ｂの例では、同一の方向に連続して複数回光ビームが出射され、イメージセンサ１２０の受光素子に信号が繰り返し蓄積される。これにより、１本の光ビームでは光量が不足する場合であっても、信号を蓄積することで、十分な検出感度を得ることができる。この例では、同一の方向に予め設定された回数の光ビームが出射されると、他の方向についても同様に複数回光ビームが出射される。このような動作が繰り返されることにより、光ビームによるシーンの走査が実現される。各光ビームは、パルス的に出射され得る。各光ビームの出射時刻は、例えばその光ビームの出射の開始時刻もしくは終了時刻、またはそれらの平均値などの値に設定され得る。図６Ｂに示す例では、時刻データが、時、分、秒、ミリ秒、マイクロ秒のそれぞれの値を含む。時刻データは、例えばナノ秒の値を含んでいてもよい。この光ビームごとの時刻データは、図６Ｃに示す基準時刻、および図６Ｄに示す時刻差分を決定するために信号処理回路１６０によって参照される。

図６Ｃに示すように、フレームごとに基準時刻データが記録される。基準時刻として、例えば、そのフレームの計測データを取得するために使用される最初の光ビームの出射時刻が設定され得る。基準時刻は他の時刻であってもよい。例えば、そのフレームの計測データを取得するために使用される複数の光ビームの出射時刻の平均値を基準時刻としてもよい。あるいは、最初の光ビームによって生じた反射光がイメージセンサ１２０によって受光された時刻、または複数の光ビームの反射光が受光された時刻の平均値を基準時刻としてもよい。他にも、出射時刻と受光時刻の平均値、またはビームスキャナ１１０に指示された出射時刻など、当該光ビームの出射によって計測された位置データまたは距離データの計測時刻の特定または推定に利用できる限り、任意の情報を基準時刻として用いてもよい。図６Ｃに示す例では、基準時刻データが、時、分、秒、ミリ秒、マイクロ秒のそれぞれの数値を含む。

図６Ｄに示すように、画素ごとに、計測された距離と、時刻差分のデータが記録される。距離および時刻差分は、信号処理回路１６０によって後述する方法で計算される。各画素の時刻差分は、その画素の計測データが取得された時刻と、基準時刻との差分を示す値である。図６Ｄの例では、時刻差分データは、マイクロ秒の単位の値のみを含む。

基準時刻および時刻差分データは、用途に応じて、例えばナノ秒などの、より詳細な時刻の情報を含んでいてもよい。

次に、信号処理回路１６０の機能をより詳細に説明する。

距離計測部１６１は、イメージセンサ１２０から出力された、画素ごとの、各露光期間での受光によって蓄積された電荷量を示す信号を取得する。距離計測部１６１は、その信号に基づき、各画素に対応する位置にある物体までの距離を計算し、画素ごとの距離データを記録媒体１５０に記録する。この距離データは、例えば図６Ｄに示す形式で記録され得る。

距離画像生成部１６２は、計測された画素ごとの距離データに基づき、シーン中の複数の点の距離分布を示す距離画像データを生成する。より具体的には、距離画像生成部１６２は、フレームごとの基準時刻を示すデータと、各画素の距離および時刻差分を示すデータとを含む距離画像データを生成する。距離画像生成部１６２は、計測された距離の値を輝度情報および／または色情報に変換して距離画像を生成してもよい。

点群データ生成部１６３は、生成された距離画像データを、予め定められた点を原点とする３次元座標空間中の点群データに変換する。これにより、シーン中の複数の点の３次元座標の情報を含む点群データが生成される。原点は、例えば、測距装置１００が搭載された車両の中心位置などの所定の位置に設定され得る。点群データ生成部１６３は、フレームごとに、基準時刻と、各点の座標と、時刻差分とが対応付けられた点群データを生成する。各点の時刻差分として、その点の変換元である距離画像の画素に対応付けられた時刻差分と同じ値が設定される。ここで、光ビームの反射光を受光しなかった受光素子が存在する場合、その受光素子に対応する点のデータは、出力される点群データには含まれない。

出力部１６９は、フレームごとの基準時刻と、画素ごとの時刻差分のデータを含む距離画像データ、および／または、フレームごとの基準時刻と、点ごとの時刻差分のデータを含む点群データを出力する。当該距離画像データまたは当該点群データは、例えば記録媒体１５０に記録され得る。以下の説明において、距離画像データおよび点群データを「出力データ」と総称することがある。出力データは、例えば図示されていない通信回路を介して、他の情報処理装置に送信され得る。

測距装置１００から出力されたデータを受信する他の情報処理装置のプロセッサは、距離画像データまたは点群データによって表現される各点の時刻を次の式によって計算することができる。
時刻＝基準時刻＋時刻差分

なお、距離画像データと３次元点群データの両方が生成されてもよいし、これらのデータの一方のみが生成されてもよい。本実施形態において重要な点は、距離画像データおよび３次元点群データの少なくとも一方を含む出力データが、フレームごとの基準時刻のデータと、シーン中の複数の点ごとの時刻差分のデータとを含むことにある。これにより、当該出力データを取得した他の情報処理装置によるデータ統合の負荷を抑制することができる。

なお、出力データに付与される時刻データは、クロック１４０が出力する時刻データの時間の単位と異なる時間の単位で表現されていてもよい。例えば、クロック１４０が出力する時刻データがマイクロ秒またはナノ秒程度の時間の単位で表現されている一方で、出力データに付与される時刻データがミリ秒程度の時間の単位による表現の精度で十分である場合がある。そのような場合、制御回路１３０および信号処理回路１６０は、クロック１４０が出力する時刻データを、基準時刻および時刻差分として必要な時間の単位で表現された時刻データに変換して記録してもよい。ここで、基準時刻および時刻差分として必要な時間の単位は、予め決められていてもよいし、外部からの指示に応じて設定できるようにしてもよい。また、出力データは、基準時刻および時刻差分の時間の単位を示す時刻単位データを含んでいてもよい。この場合、時刻単位データは、例えば出力データに付与されたヘッダ領域などに格納され得る。

図７Ａから図７Ｄは、出力データの形式の例を示している。図７Ａおよび図７Ｂは、信号処理回路１６０から出力される点群データの異なる２つのデータ形式の例をそれぞれ示している。図７Ｃおよび図７Ｄは、信号処理回路１６０から出力される距離画像データの異なる２つのデータ形式の例をそれぞれ示している。図７Ａから図７Ｄのいずれの例でも、複数のフレームに共通のデータである固定値と、フレームごとに異なるデータとが出力される。固定値は、例えば出力データのヘッダに付加されて出力され得る。固定値は、予め定められた複数のフレームに１回の頻度で出力されてもよい。

固定値は、例えばイメージセンサ１２０の車両内での位置、イメージセンサ１２０の受光面の法線方向、イメージセンサ１２０の画角、および日付を示す値を含み得る。イメージセンサ１２０の位置は、例えば車両の中心を原点とした３次元座標で表された３バイトの値で表現され得る。受光面の法線方向は、例えば上記の３次元座標で表された３バイトの値で表現され得る。画角は、例えば２バイトの値で表現され得る。日付は、年、月、日の情報を含み、例えば２バイトの値で表現され得る。

図７Ａに示す点群データの例では、各フレームのデータは、当該フレームの基準時刻と、当該フレーム内の点の数と、各点の位置と、各点の時刻差分のそれぞれのデータを含む。基準時刻は、例えば５バイトで表され得る。フレーム内の点の数は、例えば１バイトで表され得る。各点の位置は、３次元座標値であり、例えば３バイトで表され得る。この例では、基準時刻および点数のデータが順に出力された後、位置のデータが点数分繰り返され、続いて時刻差分のデータが同じ点の順番で点数分繰り返される。

図７Ｂに示す点群データの例では、各フレームの出力データにおける各点の位置および時刻差分のデータの配列が図７Ａの例とは異なっている。図７Ｂの例では、基準時刻および点数のデータに続いて、点の位置および時刻差分のデータのペアが、点数分繰り返される。それ以外の点は、図７Ａの例と同じである。

点群データの形式は、図７Ａおよび図７Ｂに示す形式に限らず、任意の形式でよい。本実施形態における点群データには、イメージセンサ１２０の受光素子のうち、光ビームの反射光を受光しなかった受光素子に対応する点のデータは含まれない。

図７Ｃに示す距離画像データの例では、各フレームのデータは、当該フレームの基準時刻と、各画素について計測された距離と、各画素の時刻差分のそれぞれのデータを含む。距離は、例えば１バイトで表され得る。この例では、基準時刻のデータが出力された後、距離のデータがイメージセンサ１２０の画素の配列順に、画素数分繰り返され、続いて時刻差分のデータが同じ画素の順に画素数分繰り返される。ここで、光ビームの反射光が受光されなかった画素については、距離が計測されないため、計測時刻が特定されない。このため、そのような画素については、距離の値が例えば０または無限大に設定され、時刻差分は例えば０に設定され得る。固定値については、前述の点群データにおける固定値と同じである。

図７Ｄに示す距離画像データの例では、各フレームのデータにおける各画素の距離および時刻差分のデータの配列が図７Ｃの例とは異なっている。図７Ｄの例では、基準時刻のデータに続いて、距離と時刻差分のデータのペアが、予め定められた画素の順で連続して画素数分繰り返される。それ以外の点は、図７Ｃの例と同じである。

距離画像データの形式は、図７Ｃおよび図７Ｄに示す形式に限らず、任意の形式でよい。図７Ｃおよび図７Ｄの例では、画素数が既知の値であるものとして、出力データに画素数のデータが含まれていない。固定値として、画素数のデータが出力データに含まれていてもよい。

図７Ａから図７Ｄの例では、固定値として日付のデータが出力データに含まれる。日付のデータは、フレームごとのデータに含まれていてもよい。例えば、基準時刻のデータが日付の情報を含んでいてもよい。基準時刻のデータが日付の情報を含んでいる場合、例えば深夜の計測中に日付が変わるような場合でも、フレームのデータと日付との対応付けを容易にすることができる。

［１－１－２ ビームスキャナ１１０の構成］
次に、ビームスキャナ１１０の構成例を説明する。ビームスキャナ１１０は、制御回路１３０の制御に応じて光ビームの出射方向を変化させることができる発光デバイスである。ビームスキャナ１１０は、測距対象のシーン内の一部の領域を光ビームで順次照射する。この機能を実現するため、ビームスキャナ１１０は、光ビームの出射方向を変化させる機構を備える。例えば、ビームスキャナ１１０は、レーザなどの発光素子と、少なくとも１つの可動ミラー、例えばＭＥＭＳミラーとを備え得る。発光素子から出射された光は、可動ミラーによって反射され、測距対象のシーン内の所定の領域に向かう。制御回路１３０は、可動ミラーを駆動することにより、光ビームの出射方向を変化させることができる。

可動ミラーを有する発光デバイスとは異なる構造によって光の出射方向を変化させることが可能な発光デバイスを用いてもよい。例えば、特許文献４に開示されているような、反射型導波路を利用した発光デバイスを用いてもよい。あるいは、アンテナアレイによって各アンテナから出力される光の位相を調節することで、アレイ全体の光の方向を変化させる発光デバイスを用いてもよい。

以下、ビームスキャナ１１０の構成の一例を説明する。

図８は、ビームスキャナ１１０として使用され得る発光デバイスの一例を模式的に示す斜視図である。この発光デバイスは、複数の光導波路素子１０を含む光導波路アレイを備える。複数の光導波路素子１０の各々は、第１の方向（図８におけるＸ方向）に延びた形状を有する。複数の光導波路素子１０は、第１の方向に交差する第２の方向（図８におけるＹ方向）に規則的に配列されている。複数の光導波路素子１０は、第１の方向に光を伝搬させながら、第１および第２の方向に平行な仮想的な平面に交差する第３の方向Ｄ３に光を出射させる。

複数の光導波路素子１０のそれぞれは、互いに対向する第１のミラー３０および第２のミラー４０と、ミラー３０とミラー４０の間に位置する光導波層２０とを有する。ミラー３０およびミラー４０の各々は、第３の方向Ｄ３に交差する反射面を、光導波層２０との界面に有する。ミラー３０およびミラー４０、ならびに光導波層２０は、第１の方向に延びた形状を有している。

第１のミラー３０の反射面と第２のミラー４０の反射面とは略平行に対向している。２つのミラー３０およびミラー４０のうち、少なくとも第１のミラー３０は、光導波層２０を伝搬する光の一部を透過させる特性を有する。言い換えれば、第１のミラー３０は、当該光について、第２のミラー４０よりも高い光透過率を有する。このため、光導波層２０を伝搬する光の一部は、第１のミラー３０から外部に出射される。このようなミラー３０および４０は、例えば誘電体による多層膜によって形成される多層膜ミラーであり得る。

それぞれの光導波路素子１０に入力する光の位相を調整し、さらに、これらの光導波路素子１０における光導波層２０の屈折率もしくは厚さ、または光導波層２０に入力される光の波長を調整することで、任意の方向に光を出射させることができる。

図９は、１つの光導波路素子１０の断面の構造および伝搬する光の例を模式的に示す図である。図９では、図８に示すＸ方向およびＹ方向に垂直な方向をＺ方向とし、光導波路素子１０のＸＺ面に平行な断面が模式的に示されている。光導波路素子１０において、一対のミラー３０とミラー４０が光導波層２０を挟むように配置されている。光導波層２０のＸ方向における一端から導入された光２２は、光導波層２０の上面に設けられた第１のミラー３０および下面に設けられた第２のミラー４０によって反射を繰り返しながら光導波層２０内を伝搬する。第１のミラー３０の光透過率は第２のミラー４０の光透過率よりも高い。このため、主に第１のミラー３０から光の一部を出力することができる。

通常の光ファイバーなどの光導波路では、全反射を繰り返しながら光が光導波路に沿って伝搬する。これに対して、本実施形態における光導波路素子１０では、光は光導波層２０の上下に配置されたミラー３０および４０によって反射を繰り返しながら伝搬する。このため、光の伝搬角度に制約がない。ここで光の伝搬角度とは、ミラー３０またはミラー４０と光導波層２０との界面への入射角度を意味する。ミラー３０またはミラー４０に対して、より垂直に近い角度で入射する光も伝搬できる。すなわち、全反射の臨界角よりも小さい角度で界面に入射する光も伝搬できる。このため、光の伝搬方向における光の群速度は自由空間における光速に比べて大きく低下する。これにより、光導波路素子１０は、光の波長、光導波層２０の厚さ、および光導波層２０の屈折率の変化に対して光の伝搬条件が大きく変化するという性質を持つ。このような光導波路を、「反射型光導波路」または「スローライト光導波路」と称する。

光導波路素子１０から空気中に出射される光の出射角度θは、以下の式（１）によって表される。

式（１）からわかるように、空気中での光の波長λ、光導波層２０の屈折率ｎ_ｗおよび光導波層２０の厚さｄのいずれかを変えることで光の出射方向を変えることができる。

例えば、ｎ_ｗ＝２、ｄ＝３８７ｎｍ、λ＝１５５０ｎｍ、ｍ＝１の場合、出射角度は０°である。この状態から、屈折率をｎ_ｗ＝２．２に変化させると、出射角度は約６６°に変化する。一方、屈折率を変えずに厚さをｄ＝４２０ｎｍに変化させると、出射角度は約５１°に変化する。屈折率も厚さも変化させずに波長をλ＝１５００ｎｍに変化させると、出射角度は約３０°に変化する。このように、光の波長λ、光導波層２０の屈折率ｎ_ｗ、および光導波層２０の厚さｄのいずれかを変化させることにより、光の出射方向を変化させることができる。

光の波長λは、例えば一般的なシリコン（Ｓｉ）により光を吸収することで光を検出するイメージセンサで高い検出感度が得られる４００ｎｍから１１００ｎｍ（可視光から近赤外光）の波長域に含まれ得る。他の例では、波長λは、光ファイバーまたはＳｉ光導波路において伝送損失の比較的小さい１２６０ｎｍから１６２５ｎｍの近赤外光の波長域に含まれ得る。なお、これらの波長範囲は一例である。使用される光の波長域は、可視光または赤外光の波長域に限定されず、例えば紫外光の波長域であってもよい。

発光デバイスは、各光導波路素子１０における光導波層２０の屈折率、厚さ、および波長の少なくとも１つを変化させる第１調整素子を備え得る。これにより、出射光の方向を調整することができる。

光導波層２０の少なくとも一部の屈折率を調整するために、光導波層２０は、液晶材料または電気光学材料を含んでいてもよい。光導波層２０は、一対の電極によって挟まれ得る。一対の電極に電圧を印加することにより、光導波層２０の屈折率を変化させることができる。

光導波層２０の厚さを調整するために、例えば、第１のミラー３０および第２のミラー４０の少なくとも一方に少なくとも１つのアクチュエータが接続されてもよい。少なくとも１つのアクチュエータによって第１のミラー３０と第２のミラー４０との距離を変化させることにより、光導波層２０の厚さを変化させることができる。光導波層２０が液体から形成されていれば、光導波層２０の厚さは容易に変化し得る。

複数の光導波路素子１０が一方向に配列された光導波路アレイにおいて、それぞれの光導波路素子１０から出射される光の干渉により、光の出射方向は変化する。各光導波路素子１０に供給する光の位相を調整することにより、光の出射方向を変化させることができる。以下、その原理を説明する。

図１０Ａは、光導波路アレイの出射面に垂直な方向に光を出射する光導波路アレイの断面を示す図である。図１０Ａには、各光導波路素子１０を伝搬する光の位相シフト量も記載されている。ここで、位相シフト量は、左端の光導波路素子１０を伝搬する光の位相を基準にした値である。本実施形態における光導波路アレイは、等間隔に配列された複数の光導波路素子１０を含んでいる。図１０Ａにおいて、破線の円弧は、各光導波路素子１０から出射される光の波面を示している。直線は、光の干渉によって形成される波面を示している。矢印は、光導波路アレイから出射される光の方向（すなわち、波数ベクトルの方向）を示している。図１０Ａの例では、各光導波路素子１０における光導波層２０を伝搬する光の位相はいずれも同じである。この場合、光は光導波路素子１０の配列方向（Ｙ方向）および光導波層２０が延びる方向（Ｘ方向）の両方に垂直な方向（Ｚ方向）に出射される。

図１０Ｂは、光導波路アレイの出射面に垂直な方向とは異なる方向に光を出射する光導波路アレイの断面を示す図である。図１０Ｂに示す例では、複数の光導波路素子１０における光導波層２０を伝搬する光の位相が、配列方向に一定量（Δφ）ずつ異なっている。この場合、光は、Ｚ方向とは異なる方向に出射される。このΔφを変化させることにより、光の波数ベクトルのＹ方向の成分を変化させることができる。隣接する２つの光導波路素子１０の間の中心間距離をｐとすると、光の出射角度α_０は、以下の式（２）によって表される。

光導波路素子１０の本数がＮのとき、光の出射角度の広がり角Δαは、以下の式（３）によって表される。

したがって、光導波路素子１０の本数が多いほど、広がり角Δαを小さくすることができる。

図１１は、３次元空間における光導波路アレイを模式的に示す斜視図である。図１１に示す太い矢印は、発光デバイスから出射される光の方向を表す。θは、光の出射方向とＹＺ平面とがなす角度である。θは式（２）を満たす。α_０は、光の出射方向とＸＺ平面とがなす角度である。α_０は式（３）を満たす。

それぞれの光導波路素子１０から出射される光の位相を制御するために、例えば、光導波路素子１０に光を導入する前段に、光の位相を変化させる位相シフタが設けられ得る。発光デバイスは、複数の光導波路素子１０のそれぞれに接続された複数の位相シフタと、各位相シフタを伝搬する光の位相を調整する第２調整素子とを備え得る。各位相シフタは、複数の光導波路素子１０の対応する１つにおける光導波層２０に直接的にまたは他の光導波路を介して繋がる光導波路を含む。第２調整素子は、複数の位相シフタから複数の光導波路素子１０へ伝搬する光の位相の差をそれぞれ変化させることにより、複数の光導波路素子１０から出射される光の方向（すなわち、第３の方向Ｄ３）を変化させる。以下の説明では、光導波路アレイと同様に、配列された複数の位相シフタを「位相シフタアレイ」と称することがある。

図１２は、光導波路アレイ１０Ａおよび位相シフタアレイ８０Ａを、光出射面の法線方向（Ｚ方向）から見た模式図である。図１２に示す例では、全ての位相シフタ８０が同じ伝搬特性を有し、全ての光導波路素子１０が同じ伝搬特性を有する。それぞれの位相シフタ８０およびそれぞれの光導波路素子１０は同じ長さであってもよいし、長さが異なっていてもよい。それぞれの位相シフタ８０の長さが等しい場合は、例えば、駆動電圧によってそれぞれの位相シフト量を調整することができる。また、それぞれの位相シフタ８０の長さを等ステップで変化させた構造にすることで、同じ駆動電圧で等ステップの位相シフトを与えることもできる。さらに、この発光デバイスは、複数の位相シフタ８０に光を分岐して供給する光分岐器９０と、各光導波路素子１０を駆動する第１駆動回路２１０と、各位相シフタ８０を駆動する第２駆動回路２２０とをさらに備える。図１２における直線の矢印は光の入力を示している。別々に設けられた第１駆動回路２１０と第２駆動回路２２０とをそれぞれ独立に制御することにより、２次元的に光の出射方向を変化させることができる。この例では、第１駆動回路２１０は、第１調整素子の１つの要素として機能し、第２駆動回路２２０は、第２調整素子の１つの要素として機能する。

第１駆動回路２１０は、各光導波路素子１０における光導波層２０の屈折率および厚さの少なくとも一方を変化させることにより、光導波層２０から出射する光の角度を変化させる。第２駆動回路２２０は、各位相シフタ８０における光導波路２０ａの屈折率を変化させることにより、光導波路２０ａの内部を伝搬する光の位相を変化させる。光分岐器９０は、全反射によって光が伝搬する光導波路で構成してもよいし、光導波路素子１０と同様の反射型光導波路で構成してもよい。

なお、光分岐器９０で分岐したそれぞれの光の位相を制御した後に、それぞれの光を位相シフタ８０に導入してもよい。この位相制御には、例えば、位相シフタ８０に至るまでの光導波路の長さを調整することによるパッシブな位相制御構造を用いることができる。あるいは、位相シフタ８０と同様の機能を有する電気信号で制御可能な位相シフタを用いても良い。このような方法により、例えば、全ての位相シフタ８０に等位相の光が供給されるように、位相シフタ８０に導入される前に位相を調整してもよい。そのような調整により、第２駆動回路２２０による各位相シフタ８０の制御をシンプルにすることができる。

上記の発光デバイスの動作原理、および動作方法などの詳細は、特許文献４に開示されている。特許文献４の開示内容の全体を本明細書に援用する。

図１３は、ビームスキャナ１１０の他の例を示す図である。この例におけるビームスキャナ１１０は、光導波路アレイ１０Ａと、光導波路アレイ１０Ａに接続された位相シフタアレイ８０Ａとを備える。光導波路アレイ１０Ａは、Ｙ方向に並ぶ複数の光導波路群１０ｇを含む。各光導波路群１０ｇは、１つ以上の光導波路素子１０を含む。位相シフタアレイ８０Ａは、Ｙ方向に並ぶ複数の位相シフタ群８０ｇを含む。各位相シフタ群８０ｇは、１つ以上の位相シフタ８０を含む。この例において、位相シフタ群８０ｇのまとまりは、光導波路群１０ｇのまとまりとは異なっている。より具体的には、１つの光導波路群１０ｇに、２つの位相シフタ群８０ｇが接続されている。

各位相シフタ８０の位相シフト量は、制御回路１３０によって個別に制御される。各位相シフタ８０の位相シフト量は、その配列の順序に応じた第１の位相シフト量（Δφの整数倍）と、位相シフタ群８０ｇごとに異なる第２の位相シフト量（Ｖａ、Ｖｂ、Ｖｃ、Ｖｄのいずれか）との和になるように制御される。第２の位相シフト量を位相シフタ群８０ｇごとに変化させることにより、光ビームの出射方向のＹ成分、およびスポットサイズのＹ方向の広がり角が制御される。

一方、制御回路１３０は、光導波路群１０ｇごとに、印加される電圧の値を個別に決定する。各光導波路群１０ｇへの印加電圧の制御により、光ビームの出射方向のＸ成分が制御される。位相シフタ群８０ｇと光導波路群１０ｇとの組み合わせに依存して、光の出射方向が決定される。図１３の例では、１つの位相シフタ群８０ｇに接続された隣り合う２つの光導波路群１０ｓから同一の方向に光が出射する。１つの光導波路群１０ｇから出射される光束を１つの光ビームとすると、図１３の例では、２本の光ビームを同時に出射することができる。光導波路素子１０および位相シフタ８０の数を増やせば、さらにビーム本数を増やすことができる。

図１４は、ビームスキャナ１１０のさらに他の構成例を示す図である。この例におけるビームスキャナ１１０は、各々が異なる方向に光ビームを出射する複数の発光デバイス７０を備える。この例では、１つのチップ上に複数の位相シフタ８０および複数の光導波路素子１０が実装される。制御回路１３０は、各発光デバイス７０における各位相シフタ８０および各光導波路素子１０への印加電圧を制御する。これにより、制御回路１３０は、各発光デバイス７０から出射する光ビームの方向を制御する。この例では、ビームスキャナ１１０は３つの発光デバイス７０を備えるが、さらに多数の発光デバイス７０を備えていてもよい。

図１５は、ビームスキャナ１１０のさらに他の構成例を示す図である。この例におけるビームスキャナ１１０は、各々が異なるチップに実装された複数の発光デバイス７０を備える。複数の発光デバイス７０は、異なる方向に光ビームを出射する。各発光デバイス７０は、複数の位相シフタ８０および複数の光導波路素子１０に印加する電圧を決定する制御回路１３０ａを備える。各発光デバイス７０における制御回路１３０ａは、外部の制御回路１３０によって制御される。この例でも、ビームスキャナ１１０は３つの発光デバイス７０を備えるが、さらに多数の発光デバイス７０を備えていてもよい。

図１６は、ビームスキャナ１１０のさらに他の例を示す図である。この例では、ビームスキャナ１１０は、レーザなどの発光素子と、少なくとも１つの可動ミラー、例えばＭＥＭＳミラーとを備える。発光素子から出射された光は、可動ミラーによって反射され、対象領域内（図１６において矩形で表示）の所定の領域に向かう。制御回路１３０は、可動ミラーを駆動することにより、ビームスキャナ１１０からの出射光の方向を変化させる。これにより、例えば図１６において点線矢印で示すように、対象領域を光でスキャンすることができる。

［１－１－３ イメージセンサ１２０の構成］
次に、イメージセンサ１２０の構成例を説明する。イメージセンサ１２０は、受光面に沿って２次元に配列された複数の受光素子を備える。イメージセンサ１２０の受光面に対向して、不図示の光学部品が設けられ得る。光学部品は、例えば少なくとも１つのレンズを含み得る。光学部品は、プリズムまたはミラー等の他の光学素子を含んでいてもよい。光学部品は、シーン中の物体の１点から拡散した光がイメージセンサ１２０の受光面上の１点に集束するように設計され得る。

イメージセンサ１２０は、例えばＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ、または赤外線アレイセンサであり得る。各受光素子は、例えばフォトダイオードなどの光電変換素子と、１つ以上の電荷蓄積部とを含む。光電変換によって生じた電荷が、露光期間の間、電荷蓄積部に蓄積される。電荷蓄積部に蓄積された電荷は、露光期間終了後、出力される。このようにして、各受光素子は、露光期間の間に受けた光の量に応じた電気信号を出力する。この電気信号を「受光データ」と称することがある。イメージセンサ１２０は、モノクロタイプの撮像素子であってもよいし、カラータイプの撮像素子であってもよい。例えば、Ｒ／Ｇ／Ｂ、Ｒ／Ｇ／Ｂ／ＩＲ、またはＲ／Ｇ／Ｂ／Ｗのフィルタを有するカラータイプの撮像素子を用いてもよい。イメージセンサ１２０は、可視の波長範囲に限らず、例えば紫外、近赤外、中赤外、遠赤外などの波長範囲に検出感度を有していてもよい。イメージセンサ１２０は、ＳＰＡＤ（Ｓｉｎｇｌｅ Ｐｈｏｔｏｎ Ａｖａｌａｎｃｈｅ Ｄｉｏｄｅ）を利用したセンサであってもよい。イメージセンサ１２０は、露光後に全画素の信号を一括で読出すことが可能な電子シャッタ、すなわちグローバルシャッタの機構を備え得る。電子シャッタは、行毎に露光を行うローリングシャッタ方式、または光ビームの照射範囲に合わせた一部のエリアのみ露光を行うエリアシャッタ方式であってもよい。

［１－１－４ 測距方法の例］
本実施形態では、信号処理回路１６０は、間接ＴｏＦ方式と呼ばれる測距方法によって物体までの距離を計測する。以下、一般的な間接ＴｏＦ方式による測距方法の一例を説明する。なお、間接ＴｏＦ方式に限らず、直接ＴｏＦ方式による測距方法を用いてもよい。

ＴｏＦ方式は、光源から出射した光が物体によって反射されて光源の近傍の光検出器まで戻ってくるまでの飛行時間を測定することで、装置から物体までの距離を測定する方式である。飛行時間を直接計測する方式を直接ＴｏＦと呼ぶ。複数の露光期間を設け、露光期間ごとの反射光のエネルギー分布から、飛行時間を計算する方式を間接ＴｏＦと呼ぶ。

図１７Ａは、間接ＴｏＦ方式における投光タイミング、反射光の到達タイミング、および２回の露光タイミングの例を示す図である。横軸は時間を示している。矩形部分は、投光、反射光の到達、および２回の露光のそれぞれの期間を表している。この例では、簡単のため、１つの光ビームが出射され、その光ビームによって生じた反射光を受ける受光素子が連続で２回露光する場合の例を説明する。図１７Ａの（ａ）は、光源から光が出射するタイミングを示している。Ｔ０は測距用の光ビームのパルス幅である。図１７Ａの（ｂ）は、光源から出射して物体で反射された光ビームがイメージセンサに到達する期間を示している。Ｔｄは光ビームの飛行時間である。図１７Ａの例では、光パルスの時間幅Ｔ０よりも短い時間Ｔｄで反射光がイメージセンサに到達している。図１７Ａの（ｃ）は、イメージセンサの第１の露光期間を示している。この例では、投光の開始と同時に露光が開始され、投光の終了と同時に露光が終了している。第１の露光期間では、反射光のうち、早期に戻ってきた光が光電変換され、生じた電荷が蓄積される。Ｑ１は、第１の露光期間の間に光電変換された光のエネルギーを表す。このエネルギーＱ１は、第１の露光期間の間に蓄積された電荷の量に比例する。図１７Ａの（ｄ）は、イメージセンサの第２の露光期間を示している。この例では、第２の露光期間は、投光の終了と同時に開始し、光ビームのパルス幅Ｔ０と同一の時間、すなわち第１の露光期間と同一の時間が経過した時点で終了する。Ｑ２は、第２の露光期間の間に光電変換された光のエネルギーを表す。このエネルギーＱ２は、第２の露光期間の間に蓄積された電荷の量に比例する。第２の露光期間では、反射光のうち、第１の露光期間が終了した後に到達した光が受光される。第１の露光期間の長さが光ビームのパルス幅Ｔ０に等しいことから、第２の露光期間で受光される反射光の時間幅は、飛行時間Ｔｄに等しい。

ここで、第１の露光期間の間に受光素子に蓄積される電荷の積分容量をＣｆｄ１、第２の露光期間の間に受光素子に蓄積される電荷の積分容量をＣｆｄ２、光電流をＩｐｈ、電荷転送クロック数をＮとする。第１の露光期間における受光素子の出力電圧は、以下のＶｏｕｔ１で表される。
Ｖｏｕｔ１＝Ｑ１／Ｃｆｄ１＝Ｎ×Ｉｐｈ×（Ｔ０－Ｔｄ）／Ｃｆｄ１

第２の露光期間における受光素子の出力電圧は、以下のＶｏｕｔ２で表される。
Ｖｏｕｔ２＝Ｑ２／Ｃｆｄ２＝Ｎ×Ｉｐｈ×Ｔｄ／Ｃｆｄ２

図１７Ａの例では、第１の露光期間の時間長と第２の露光期間の時間長とが等しいため、Ｃｆｄ１＝Ｃｆｄ２である。従って、Ｔｄは以下の式で表すことができる。
Ｔｄ＝｛Ｖｏｕｔ２／（Ｖｏｕｔ１＋Ｖｏｕｔ２）｝×Ｔ０

光速をＣ（≒３×１０^８ｍ／ｓ）とすると、装置と物体との距離Ｌは、以下の式で表される。
Ｌ＝１／２×Ｃ×Ｔｄ＝１／２×Ｃ×｛Ｖｏｕｔ２／（Ｖｏｕｔ１＋Ｖｏｕｔ２）｝×Ｔ０

イメージセンサは、実際には露光期間に蓄積した電荷を出力するため、時間的に連続して２回の露光を行うことができない場合がある。その場合には、例えば図１７Ｂに示す方法が用いられ得る。

図１７Ｂは、連続で２つの露光期間を設けることができない場合の投光と露光、および電荷出力のタイミングを模式的に示す図である。図１７Ｂの例では、まず、光源が投光を開始すると同時にイメージセンサは露光を開始し、光源が投光を終了すると同時にイメージセンサは露光を終了する。この露光期間は、図１７Ａにおける露光期間１に相当する。イメージセンサは、露光直後にこの露光期間で蓄積された電荷を出力する。この電荷量は、受光された光のエネルギーＱ１に相当する。次に、光源は再度投光を開始し、１回目と同一の時間Ｔ０が経過すると投光を終了する。イメージセンサは、光源が投光を終了すると同時に露光を開始し、第１の露光期間と同一の時間長が経過すると露光を終了する。この露光期間は、図１７Ａにおける露光期間２に相当する。イメージセンサは、露光直後にこの露光期間で蓄積された電荷を出力する。この電荷量は、受光された光のエネルギーＱ２に相当する。

このように、図１７Ｂの例では、上記の距離計算のための信号を取得するために、光源は投光を２回行い、イメージセンサはそれぞれの投光に対して異なるタイミングで露光する。このようにすることで、２つの露光期間を時間的に連続して設けることができない場合でも、露光期間ごとに電圧を取得できる。このように、露光期間ごとに電荷の出力を行うイメージセンサでは、予め設定された複数の露光期間の各々で蓄積される電荷の情報を得るために、同一条件の光を、設定された露光期間の数と等しい回数だけ投光することになる。

なお、実際の測距では、イメージセンサは、光源から出射されて物体で反射された光のみではなく、バックグラウンド光、すなわち太陽光または周辺の照明等の外部からの光を受光し得る。そこで、一般には、光ビームが出射されていない状態でイメージセンサに入射するバックグラウンド光による蓄積電荷を計測するための露光期間が設けられる。バックグランド用の露光期間で計測された電荷量を、光ビームの反射光を受光したときに計測される電荷量から減算することで、光ビームの反射光のみを受光した場合の電荷量を求めることができる。本実施形態では、簡便のため、バックグランド光についての動作の説明を省略する。

上記の例では、簡単のため、１つの光ビームのみに着目したが、複数の光ビームが連続で出射されてもよい。以下、２つの光ビームが連続で出射される場合の光検出動作の例を説明する。

図１８Ａは、各単位期間において、異なる方向に２つの光ビームが連続で出射される場合の光検出の第１の例を示す図である。横軸は時間を表す。この例では、単位期間内に、３回の露光が連続して行われる。

図１８Ａの（ａ）は、ビームスキャナ１１０から２つの光ビームが出射されるタイミングを示している。図１８Ａの（ｂ）は、ビームスキャナ１１０から出射された２つの光ビームが物体で拡散されることによって生じる反射光がイメージセンサ１２０に到達するタイミングを示している。この例では、実線で示される第１の光ビームの投光が終了すると、すぐに破線で示される第２の光ビームの投光が開始される。これらの光ビームの反射光は、各光ビームの投光タイミングよりも少し遅れてイメージセンサに到達する。第１の光ビームと、第２の光ビームとでは、出射方向が異なり、これらの光ビームの反射光は、イメージセンサにおける異なる２つの受光素子または２つの受光素子群に入射する。図１８Ａの（ｃ）から（ｅ）は、第１から第３の露光期間をそれぞれ示している。この例では、第１の露光期間は、第１の光ビームの投光の開始と同時に開始され、投光の終了と同時に終了する。第２の露光期間は、第２の光ビームの投光の開始と同時に開始され、投光の終了と同時に終了する。第３の露光期間は、第２の光ビームの投光の終了と同時に開始され、当該光ビームのパルスの時間幅と同じ時間が経過すると終了する。図１８Ａの（ｆ）は、イメージセンサのシャッタ開放期間を示している。図１８Ａの（ｇ）は、各受光素子の電荷出力の期間を示している。

この例では、イメージセンサの各受光素子は、３つの露光期間において、それぞれ独立に、光電変換によって生じた電荷を蓄積する。各電荷蓄積期間で蓄積された電荷は、同時に読み出される。この動作を実現するために、各受光素子には、３つ以上の電荷蓄積部が設けられる。それらの電荷蓄積部への電荷の蓄積は、例えばスイッチによって切り替えられる。各露光期間の長さは、シャッタ開放期間よりも短い時間に設定される。イメージセンサは、最初の光ビームの投光の開始時点でシャッタを開いて露光を開始する。反射光が受光される可能性のある期間にわたってシャッタは開放されている。最後の光ビームによって生じた反射光が受光され得る期間である第３の露光期間が終了すると、イメージセンサは、シャッタを閉じ、露光を終了する。シャッタ開放期間が終了すると、イメージセンサは、信号の読出しを行う。この際、第１から第３の電荷蓄積期間に蓄積されたそれぞれの電荷量に応じた信号が画素ごとに読み出される。読み出された信号は、受光データとして、信号処理回路１６０に送られる。信号処理回路１６０は、当該受光データに基づき、図１７Ａを参照して説明した方法により、反射光を受けた受光素子について、距離を計算することができる。

図１８Ａの例によれば、受光素子ごとに複数の電荷蓄積部が必要であるが、複数の電荷蓄積部に蓄積された電荷の出力を一括で行うことができる。このため、投光と露光の反復をより短時間で行うことができる。

図１８Ｂは、各単位期間において、異なる方向に２つの光ビームが連続で出射される場合の光検出の第２の例を示す図である。図１８Ｂの例では、図１７Ｂの例と同様に、露光期間が終了する度に電荷出力が行われる。１つの単位期間の間に、第１の光ビームおよび第２の光ビームの出射、露光、および電荷出力が、３セット繰り返される。第１のセットにおいて、第１の光ビームの投光開始と同時に、各受光素子の露光が開始され、第１の光ビームの投光終了と同時に露光が終了する。この露光期間Ｐ１は、図１８Ａに示す露光期間１に相当する。露光期間Ｐ１が終了すると、各受光素子に蓄積された電荷が読み出される。第２のセットにおいては、第１の光ビームの投光終了と同時に、すなわち第２の光ビームの投光開始と同時に、各受光素子の露光が開始され、第２の光ビームの投光終了と同時に露光が終了する。この露光期間Ｐ２は、図１８Ａに示す露光期間２に相当する。露光期間Ｐ２が終了すると、各受光素子に蓄積された電荷が読み出される。第３のセットにおいては、第２の光ビームの投光終了と同時に、各受光素子の露光が開始され、各光ビームのパルス幅に相当する時間長が経過すると露光が終了する。この露光期間Ｐ３は、図１８Ａに示す露光期間３に相当する。露光期間Ｐ３が終了すると、各受光素子に蓄積された電荷が読み出される。この例では、各単位期間において、複数の光ビームの連続投光、露光、および受光データの読出しの一連の動作が３回繰り返される。これにより、図１７Ｂの例と同様に、受光素子ごとに、各露光期間の電荷量に応じた受光データを取得することができる。これにより、前述の演算によって距離を計算することができる。

図１８Ｂの例によれば、各受光素子は１つの電荷蓄積部を有していればよいため、イメージセンサの構造を簡素化できる。

なお、図１８Ａおよび図１８Ｂの例では、単位期間ごとに、３つの露光期間が設定されているが、単位期間あたりの露光期間の数は２以下または４以上であってもよい。例えば、同時に複数の方向に光ビームを出射できる光源を使用する場合、単位期間あたりの露光期間は２つでもよい。その場合、図１７Ａまたは図１７Ｂを参照して説明した方法によって距離を計算できる。あるいは、後述する直接ＴｏＦによる距離計算方法を適用する場合、単位期間あたりの露光期間は１つでもよい。さらに、単位期間あたりに出射される光ビームの数は２つに限らず、３つ以上でもよい。投光および受光のタイミングは、複数の光ビームの到達距離範囲の設定等に応じて調整され得る。

［１－２ 動作］
次に、測距装置１００の動作を説明する。

図１９は、測距装置１００の動作の一例を示すフローチャートである。測距装置１００は、図１９に示すステップＳ１１１０からＳ１２９０の動作を実行することにより、１フレーム分の距離画像データおよび点群データを生成する。連続して複数フレーム分のデータを生成する場合、測距装置１００は、図１９に示すステップＳ１１００からＳ１２９０の動作を繰り返す。以下、各ステップの動作を説明する。

（ステップＳ１１１０）
制御回路１３０は、新しいフレームについて、対象シーンの測距を開始するとき、まず、信号処理回路１６０の時刻決定部１６４に、当該フレームの基準時刻を決定させる指令を送る。この指令を受けて、時刻決定部１６４は、クロック１４０から取得した時刻を基準時刻として決定する。

（ステップＳ１１２０）
時刻決定部１６４は、決定した基準時刻を記録媒体１５０に記録する。基準時刻は、例えば図６Ｃに示すように、フレームと基準時刻との対応関係を規定するテーブルの形式で記録され得る。

（ステップＳ１１３０）
制御回路１３０は、予め定められた光ビームの方向のうち、投光されていない方向があるかどうかを判断する。予め定められた全ての方向について、投光が完了している場合、すなわちステップＳ１１３０においてｙｅｓの場合、ステップＳ１２６０に進む。予め定められた方向のうち投光されていない方向がある場合、すなわちステップＳ１１３０においてｎｏの場合、ステップＳ１１４０に進む。

（ステップＳ１１４０）
制御回路１３０は、予め定められた光ビームの方向のうち投光されていない方向の１つを決定する。

(ステップＳ１１５０)
制御回路１３０は、ステップＳ１１５０で決定された光ビームの方向を示す情報を記録媒体１５０に記録する。

(ステップＳ１１６０)
制御回路１３０は、ステップＳ１１５０で決定された方向について、予め定められた２つ以上の露光期間の全てについて、イメージセンサ１２０の露光が完了したかを判断する。この判断がｙｅｓの場合、ステップＳ１２１０に進む。この判断がｎｏの場合、ステップＳ１１７０に進む。

(ステップＳ１１７０)
制御回路１３０は、予め定められた２つ以上の露光期間のうち、まだ露光が行われていない露光期間の１つを選択する。各露光期間は、例えば、ビームスキャナ１１０が出射する光パルスの時間長と同じ時間長をもつ。第１の露光期間は、例えば、投光開始と同時に開始し、投光終了と同時に終了する。第２の露光期間は、例えば、ビームスキャナ１１０の投光終了と同時に開始され、光パルスの時間長と同じ時間が経過すると終了する。第３の露光期間が設定される場合、当該第３の露光期間は、例えば、第２の露光期間の終了のタイミングで開始され、光パルスの時間長と同じ時間が経過すると終了する。

(ステップＳ１１８０)
制御回路１３０は、ステップＳ１１４０で決定された光ビームの方向について、ビームスキャナ１１０の投光が、予め定められた同一方向への投光回数を満たしたか否かを判断する。この判断がｙｅｓの場合、ステップＳ１１６０へ戻る。この判断がｎｏの場合、ステップＳ１１９０に進む。

（ステップＳ１１９０）
制御回路１３０は、ビームスキャナ１１０に、ステップＳ１１４０で決定した方向に光ビームを出射させる。出射される光ビームは、例えば矩形パルス光であり得る。パルスの時間長は、例えば１００ｎｓ程度であり得る。制御回路１３０は、出射する光ビームの方向と時刻とを記録媒体１５０に記録する。例えば図６Ｂに示すように、光ビームの出射方向と時刻とが関連付けられて記録される。ここで記録される時刻は、例えば、当該光ビームのパルスの開始時刻または終了時刻であり得る。

（ステップＳ１２００）
制御回路１３０は、イメージセンサ１２０に、ステップＳ１１７０で決定された露光期間で露光を実行させる。この露光期間は、例えば前述の第１から第３の露光期間のいずれかである。ステップＳ１２００の後、ステップＳ１１８０に戻る。

（ステップＳ１２１０）
制御回路１３０は、イメージセンサ１２０に、全画素について、露光期間ごとに蓄積された電荷の量に応じた信号を出力させる。この信号は、信号処理回路１６０の距離計測部１６１に送られる。

（ステップＳ１２２０）
距離計測部１６１は、ステップＳ１２１０でイメージセンサ１２０から電荷が読み出された画素のうち、いずれか１つ以上の露光期間に値がある画素について距離計算を行う。距離計算は、例えば図１７Ａから図１８Ｂを参照して説明した方法で実行され得る。

(ステップＳ１２３０)
距離計測部１６１は、ステップＳ１２２０で計算した各画素の距離を記録媒体１５０に記録する。例えば図６Ｄに示すような、各画素の座標と距離とが関連付けられたデータが記録され得る。

(ステップＳ１２４０)
時刻決定部１６４は、記録媒体１５０に記録された各光ビームの時刻データに基づき、各画素の時刻差分を計算する。時刻決定部１６４は、例えば、ある画素の距離を計測するために出射された光ビームの出射時刻と、基準時刻との差分を、時刻差分として決定する。本実施形態のように、当該画素の距離を計測するために複数の光ビームが連続して出射される場合、当該複数の光ビームのうち、最初の光ビーム、最後の光ビーム、または中央の順番の光ビームと、基準時刻との差分を、当該画素の時刻差分としてもよい。あるいは、上記複数の光ビームの出射時刻の平均値と、基準時刻との差を、当該画素の時刻差分としてもよい。

(ステップＳ１２５０)
時刻決定部１６４は、計算した各画素の時刻差分のデータを、記録媒体１５０に記録する。例えば、図６Ｄに示すように、画素と時刻差分の値とが対応付けられたデータが記録される。ステップＳ１２５０の後、ステップＳ１１３０に戻る。

以上のステップＳ１１３０からＳ１２５０までの動作が、予め設定された全方向への投光が完了するまで、繰り返される。全方向への投光が完了すると、ステップＳ１２６０に進む。

(ステップＳ１２６０)
距離画像生成部１６２は、記録媒体１５０に記録された画素ごとの距離に基づいて、全画素の距離分布を画像形式で表現した距離画像データを生成する。ここで、距離情報のない画素については、距離０あるいは無限大として記述され得る。

（ステップＳ１２７０)
点群データ生成部１６３は、記録媒体１５０に記録された画素ごとの距離に基づいて、予め定められた３次元空間座標における点群データを生成する。点群データ生成部１６３は、イメージセンサ１２０の位置、およびイメージセンサ１２０の向きの情報に基づいて、０または無限大以外の値をもつ画素について、座標変換を行う。これにより、距離画像データを点群データに変換する。点群データ生成部１６３は、各画素に対応付けられていた時刻差分の値を、その画素に対応する点の時刻差分とする。

（ステップＳ１２８０）
出力部１６９は、ステップＳ１１１０で決定されたフレームの基準時刻と、ステップＳ１２７０で生成された点群データと、各点に対応付けられた時刻差分とを含む出力データを生成する。出力データは、例えば図７Ａまたは図７Ｂに示すように、そのフレームの基準時刻、点数、各点の位置および時刻差分のデータを含み得る。

（ステップＳ１２９０）
出力部１６９は、ステップＳ１２８０で生成された１フレーム分のデータを出力する。出力データは、記録媒体１５０などの任意の記録媒体に記録され得る。出力データは、図示されていない他の情報処理装置にネットワークを介して送信されてもよい。

ステップＳ１１１０からＳ１２９０の動作により、測距装置１００は、１フレーム分の、詳細な時刻差分の情報を含む点群データを生成し、出力することができる。ステップＳ１１１０からＳ１２９０の動作が、例えば所定のフレームレート（例えば３０ｆｐｓ）で繰り返され得る。

本実施形態では、図７Ａまたは図７Ｂに示す点群データが出力されるが、点群データに加えて、または点群データに代えて、図７Ｃまたは図７Ｄに示す距離画像データが出力されてもよい。点群データに代えて距離画像データが出力される場合、図１９におけるステップＳ１２７０は実行されず、ステップＳ１２８０において、距離画像の各画素に時刻差分データが対応付けられた出力データが出力される。いずれの場合も、フレームごとに、基準時刻のデータと、シーン中の複数の点の距離または位置を特定するデータと、各点の時刻差分のデータとが出力データに含まれる。

［１－３．効果］
以上のように、本実施形態における測距装置１００は、光をシーンに向けて出射するビームスキャナ１１０と、当該光の出射によって生じた当該シーンからの反射光を検出するイメージセンサ１２０と、イメージセンサ１２０から出力された信号に基づいて、当該シーン中の複数の点の位置または距離を示す計測データを含む出力データを、フレームごとに生成して出力する信号処理回路１６０とを備える。出力データは、フレームごとに定められた基準時刻を示す基準時刻データと、点ごとに定められた基準時刻との差分を示す時刻差分データとを含む。あるタイミングにおいて、光ビームは、イメージセンサ１２０の画角によって規定される範囲の一部のみに出射される。逐次的に光ビームの方向を変更して逐次的に各画素での距離を計測することにより、イメージセンサ１２０全体として受光し得るシーンの全域について距離画像データまたは点群データを生成できる。距離画像データまたは点群データに関しては、同じフレームであってもビームごとに計測時刻が異なる。そこで、信号処理回路１６０は、フレームごとに基準時刻を決定し、シーン中の点ごとに、詳細な時刻差分を計算して記録する。

点ごとに例えばマイクロ秒単位の詳細な時刻を出力すると、データ量が膨大になる。本実施形態では、フレームごとに基準時刻を決定し、点ごとに基準時刻との時刻差分を出力することで、点ごとの詳細な時間情報を少ないデータ量で記録し、通信することができる。

本実施形態の測距装置１００は、例えば交通状況を管理するサーバのような情報処理装置にネットワークを介して接続され得る。当該情報処理装置は、測距装置１００から、例えば、１フレーム単位の計測時刻（例えばミリ秒単位）でなく、フレーム内での光ビームの照射タイミングに対応した詳細な計測時刻（例えばマイクロ秒単位）を、少ないデータ通信量で収集することができる。このため、例えば本実施形態の測距装置１００を備える複数の装置からの情報を、より少ない通信量で、正確に統合することが可能になる。本実施形態によれば、物体の３次元の位置情報に加えて、詳細な時刻情報を含む４次元の時空間情報を生成することができる。３次元の位置情報に対応する詳細時刻の出力により、特に移動物体の位置、移動方向、および速度を、より正確に構成することができる。具体的には、事故が生じたときの複数の移動体の位置関係などの交通状況の詳細を再現することが可能になる。詳細な時刻情報をより少ないデータ量で通信することができるため、通信の混雑を緩和することができる。

［１－４．変形例］
次に、本実施形態の変形例を説明する。

出力ファイルは、図７Ａから図７Ｄに例示される形式のファイルに限定されない。例えば、出力ファイルが、時刻同期のために用いられたプロトコル、または基準にしたサーバ情報等の、点群の統合時に必要な時刻補助情報を含んでいてもよい。

また、点群データを符号化または圧縮して出力してもよい。符号化の際には、例えば図２０Ａおよび図２０Ｂに示すようなファイルフォーマットを用いてもよい。図２０Ａおよび図２０Ｂの例では、各点の位置座標に時刻差分ＩＤが付加され、各時刻差分ＩＤに対応する実際の時刻差分の値は別領域（例えばヘッダの上位）に記述される。なお、この例では、基準時刻は、日付の情報も含み、例えば８バイトで表現される。この場合、フレームに共通の固定値のデータには日付の情報が含まれない。時刻差分ＩＤの総数は、１フレーム分の測距を行うために出射される光ビームの方向の数に一致する。つまり時刻差分ＩＤの値の範囲は、０から光ビームの方向の数－１である。このように、各点の属性情報として時刻差分ＩＤを付加することで、符号化の観点では処理が行いやすく、符号化効率を上げやすくなる。すなわち、時刻差分ＩＤを使用することで、圧縮時にはＩＤ付加による冗長部を考慮してもデータ量が削減される。例えば時刻差分がマイクロ秒の精度である場合、フレーム間の時間長に相当する時刻差分の値の範囲が０～３３３３３であり、時刻差分のデータ量は１６ｂｉｔである。同一の光ビームで測距される点が複数ある場合、すなわち複数の点に同じ時刻差分が対応付けられる場合、光ビームの本数が時刻差分の最大値を超えなければ、時刻差分そのものの代わりに時刻差分ＩＤを各点に付加することでデータ量を削減できる。時刻差分ＩＤに必要なビット数は、光ビームの本数に依存するが、例えば光ビームの本数が２５６個の場合は８ｂｉｔと、１６ｂｉｔよりも小さくてすむ。

このように、時刻差分ＩＤを使用することにより、データサイズを抑えつつ、符号化に適したファイルフォーマットを実現することができる。この例では、時刻差分ＩＤが、基準時刻との差分を示す「時刻差分データ」に該当する。

実施形態１では、フレームの測距動作の開始時に基準時刻が決定されるが、基準時刻の決定は、フレームの測距動作の開始時である必要はない。例えば、１フレーム分の距離計算が終了した後、基準時刻および時刻差分を決定してもよい。以下、そのような実施形態の動作の例を説明する。

図２１は、実施形態１の変形例による１フレーム分の測距動作の例を示すフローチャートである。図２２は、本変形例において記録媒体１５０に記録されるデータの例を示す図である。本変形例では、図６Ｄに示すデータに代えて、図２２に示すデータが記録媒体１５０に記録される。図６Ａから図６Ｃに示すデータは、本変形例でも同様に記録される。

図２１のフローチャートにおいて、ステップＳ１１３０からステップＳ１２３０、およびステップＳ１２６０からステップＳ１２９０は、図１９に示す対応するステップの動作と同じである。以下、図１９に示す動作と異なる点を説明する。

本変形例では、基準時刻が決定されることなく、ステップＳ１１３０からステップＳ１２３０の動作が実行される。その後、ステップＳ２１１０の動作が実行される。

（ステップＳ２１１０）
時刻決定部１６４は、図６Ｂに示す時刻情報に基づき、画素の距離の計測に使用された光ビームの方向に対応する１つの時刻を決定し、その時刻を図２２に示すテーブルに記録する。この時刻には、例えば、同一方向に複数回出射される光ビームのうち、最初の光ビームの出射時刻が選択され得る。あるいは、最後の光ビームの出射時刻、または全出射時刻の平均値または中央値が用いられてもよい。ステップＳ１２３０で距離が記憶された画素について、図２２に示すように、例えばμ秒単位で時刻が記録され得る。ステップＳ１１３０からステップＳ２１１０を繰り返すループは、光ビームの１つの方向に対応している。ステップＳ１１９０で記録媒体１５０に順次記録される投光ごとの時刻は、ステップＳ２１１０でその投光方向に対応する時刻が決定された後、削除される。従って、図６Ｂに示すテーブルには、光ビームの出射方向ごとに１つの時刻のみが残る。

ステップＳ１１３０からステップＳ２１１０を繰り返すことにより、図２２に示すテーブルにおいて、距離が計算された全ての画素について、時刻が記録される。ステップＳ１１３０において全方向への投光が完了すると、ステップＳ２１２０に進む。

（ステップＳ２１２０）
時刻決定部１６４は、図２２に示すテーブルに記録された時刻の中から、最も早い時刻を選択して当該フレームの基準時刻として決定する。基準時刻は、最も早い時刻以外にも、最も遅い時刻、中央の時刻、または平均の時刻であってもよい。

（ステップＳ２１３０）
時刻決定部１６４は、決定した基準時刻を記録媒体１５０に記録する。基準時刻は、図６Ｃに示すように、フレームごとに記録される。

（ステップＳ２１４０）
時刻決定部１６４は、記録媒体１５０に記録された画素ごとの測定時刻と、ステップＳ２１２０で決定されたフレームの基準時刻との差を画素ごとに計算する。時刻決定部１６４は、計算した時刻差分を、図２２に示すように、画素の位置および距離データと対応付けて記録媒体１５０に記録する。

その後のステップＳ１２６０からＳ１２９０は、図１９に示す対応するステップと同じである。ステップＳ１２６０からＳ１２９０の動作により、画素ごとまたは点群の点ごとに詳細な計測時刻が対応付けられたデータが出力される。ここで、詳細な計測時刻は、フレームごとの基準時刻と、シーン中の点ごとの時刻差分とによって表現される。

上記の実施形態およびその変形例では、フレームごとに基準時刻が決定され、距離が計測された画素ごとに、距離計測に使用された光ビームの出射時刻と基準時刻との差分が時刻差分として記録される。そのような形態に限らず、時刻差分の表現形式は任意である。

図２３は、記録媒体１５０に記録されるデータの他の例を示す図である。この例では、図６Ｂに示すデータの代わりに、複数の光ビームの出射方向ごとの順番（「投光番号」と称する。）と、各光ビームの出射時刻と、出射方向ごとに決定された１つの代表時刻および時刻差分とが記録される。ある出射方向について記録される時刻差分は、当該方向について記録された代表時刻と、直前の異なる出射方向について記録された代表時刻との差分に設定される。代表時刻は、図２３の例では、その出射方向の光ビームが最初に出射された時刻に設定されているが、他の時刻に設定されてもよい。画素ごとの時刻差分には、その画素の距離の計測に使用された光ビームに対応付けられた時刻差分が採用される。すなわち、画素ごとの時刻差分は、対応する光ビームの時刻と直前の光ビームの時刻との差分である。この例においても、図２１に示す動作と同様の動作が行われる。図２３に示すデータのうち、投光番号、出射方向、および時刻は、ステップＳ１１９０で光ビームが出射される度に記録される。出射方向ごとの代表時刻は、ステップＳ２１１０で記録される。時刻差分は、ステップＳ２１４０で記録される。基準時刻は、例えばフレーム中で最初に出射された光ビーム、すなわち図２３に示す投光番号が１の光ビームのうち、最初の光ビームが出射された時刻が使用され得るが、これに限定されない。図２３の例では、シーン中の各点についての時刻差分データは、当該点についての計測データを取得するために出射された光ビームの出射時刻と、直前に計測データが取得された他の点についての計測データを取得するために出射された光ビームの出射時刻との差分を示す。このように、時刻差分が、直前の光ビームの出射時刻との差分を表していてもよい。この場合でも、前述の例と同様、データ量削減の効果を得ることができる。

次に、図２４Ａから図２４Ｄを参照しながら、点群データおよび距離画像データの形式の他の例を説明する。

図２４Ａから図２４Ｄの例では、各フレームの測距動作中、ビームスキャナ１１０は、複数の光ビームを一定の時間間隔で出射する。各フレームにおける基準時刻は、当該フレームにおける計測データを取得するために最初に出射された光ビームの出射時刻に設定される。当該フレームにおける各点の時刻差分データは、当該点についての計測データを取得するために出射された光ビームの順番を示すデータと、複数の光ビームの時間間隔を示すデータとを含む。

図２４Ａおよび図２４Ｂは、点群データの形式の変形例を示している。図２４Ａおよび図２４Ｂの例では、光ビームの出射方向が、フレーム内においては一定の時間間隔で変化する。点群データにおけるフレームごとのデータは、この時間間隔の値を含む。さらに、時刻差分が、投光番号によって表現されている。投光番号は、光ビームの出射方向ごとの順番を表す。基準時刻をｔ０、時間間隔をΔｔ、投光番号ｋ（ｋ＝１，２，・・・）に対応する時刻差分をΔＴとすると、ΔＴ＝ｔ０＋（ｋ－１）Δｔの演算によって時刻差分を求めることができる。なお、出射された光ビームの中には、その反射光がイメージセンサ１２０で検出されない光ビームが含まれる場合がある。このため、出力データに含まれる投光番号は必ずしも連続ではなく、欠番が生じることがある。図２４Ａの例では、各フレームのデータにおいて、基準時刻、光ビームの時間間隔、および点数の値の後、点数分の位置座標の値と、点数分の投光番号の値とが続く。一方、図２４Ｂの例では、各フレームのデータにおいて、基準時刻、光ビームの時間間隔、および点数の値の後、位置座標の値と投光番号の値のペアが点数分続く。図２５は、一例として、図２４Ｂの例に対応するファイルフォーマットの例を示している。この例では、基準時刻が日付（即ち年月日）の情報を含んでいる。日付の情報は、固定値に含まれていてもよい。

図２４Ｃおよび図２４Ｄは、距離画像データの変形例を示している。図２４Ｃの例では、各フレームのデータにおいて、基準時刻および光ビームの時間間隔の値の後、画素数分の距離の値と、画素数分の投光番号の値とが続く。一方、図２４Ｄの例では、各フレームのデータにおいて、基準時刻および光ビームの時間間隔の値の後、距離の値と投光番号の値のペアが画素数分続く。距離画像においては、全画素のデータが出力されるので、各フレームのデータにおいて、投光番号は連続になる。

図２４Ａから図２４Ｄの例のように、フレーム中で光ビームの方向の変化の時間間隔が一定の場合、各点の時刻差分を当該時間間隔と投光番号とによって表現することができる。なお、「時間間隔」がフレームによらず一定値の場合、「時間間隔」がフレームに共通の固定値として記録されてもよい。

上記の実施形態では距離を計測する方法として間接ＴｏＦ法が用いられるが、直接ＴｏＦ法を用いてもよい。その場合には、イメージセンサ１２０は、タイマーカウンタを備える受光素子の２次元アレイを備えるセンサで置き換えられる。直接ＴｏＦによる距離計測では、光ビームの出射と同時にイメージセンサ１２０の露光が開始され、さらに同時にタイマーカウンタの動作が開始される。イメージセンサ１２０の受光素子が１つの光子を受光した時点で、タイマーカウンタの動作が停止される。光ビームが到達し、反射光が受光可能な最大距離に対応する時間長以上の時間長を露光時間とし、露光時間内に受光がなかった場合は距離が無限大とされる。直接ＴｏＦ法では僅かな光をとらえて時間を計測するため、実際の距離計測時には複数回の距離計測を行い、得られた時間長の平均値をとる等の方法により、計測値を決定してもよい。複数の投光によって距離を計測する場合には、最初の光ビームの投光時刻、最後の光ビームの投光時刻、または当該方向の全光ビームの投光時刻の中央値等が、計測時刻として設定され得る。

距離の計測方法は、間接ＴｏＦまたは直接ＴｏＦに限らず、他の方法であってもよい。例えば、光ビームのパルス投光ではなく、周波数変調された連続波を用いるＦＭＣＷ（Frequency Modulated Continuous Wave）法を用いてもよい。その場合、受光はイメージセンサではなく、出力した連続波と受光した反射光との周波数差によって発生する光のビートを検出する受光素子が２次元アレイ状に配置されたセンサが用いられ得る。

＜実施形態２＞
次に、実施形態２に係る測距装置を説明する。実施形態１では、シーン中の複数の点の３次元位置を示す点群データ、またはシーン中の複数の点の距離分布を示す距離画像データが、フレームごとの基準時刻データと、フレーム内の点ごとの時刻差分データとを含む。これに対し、実施形態２では、各フレームにおいて、同一の方向に出射された光ビームによって距離が計測された画素のまとまりごとに、データがブロック化され、ブロックごとに個別の時刻差分データが付与される。言い換えれば、出力データは、各々が複数の点のうちの一部の点の計測データを含む複数のブロックのデータを含む。ブロックごとに、基準時刻との差分を示す個別の時刻差分データが、ブロックの各点の時刻差分データとして記録される。

実施形態２に係る測距装置の構成は、実施形態１における測距装置の構成と同一である。実施形態１と異なる点は、信号処理回路１６０の動作にある。以下、実施形態１と異なる点を中心に説明する。

図２６は、信号処理回路１６０における距離計測部１６１の詳細な機能構成を示すブロック図である。距離計測部１６１は、データ画素抽出部１６１ａと、ブロック範囲記憶部１６１ｂと、距離計算部１６１ｃとを備える。なお、データ画素抽出部１６１ａおよび距離計算部１６１ｃは、信号処理回路１６０がコンピュータプログラムを実行することによって実現され得る。

データ画素抽出部１６１ａは、イメージセンサ１２０から、露光期間ごとに各画素に蓄積された電荷の量に応じた信号を取得する。データ画素抽出部１６１ａは、制御回路１３０から、出射された光ビームの方向を示す情報も取得する。データ画素抽出部１６１ａは、ブロック範囲記憶部１６１ｂを参照して、当該方向の光ビームの反射光を受光し得る画素の範囲を抽出する。さらに、データ画素抽出部１６１ａは、イメージセンサ１２０の画素のうち、２つ以上の露光期間で取得された２つの信号のうちの少なくとも一方の値が０でない画素であって、上記の画素の範囲と重なる画素を抽出する。抽出された画素を含む予め定められた画素数の範囲内の画素が当該光ビームに対応する画素のブロックとして決定される。予め定められた画素数は、例えば、ｘ軸方向に１０画素、ｙ軸方向に１０画素の矩形領域に含まれる１００個であり得る。

ブロック範囲記憶部１６１ｂは、メモリなどの記録媒体である。図２６の例では、記録媒体１５０とは別の要素であるが、ブロック範囲記憶部１６１ｂは記録媒体１５０に含まれていてもよい。ブロック範囲記憶部１６１ｂには、光ビームの各出射方向と、当該光ビームの反射光を受光し得る画素範囲とが関連付けられて記録されている。さらに、各出射方向について、例えば１００ｍの距離に十分大きな物体があると仮定した場合に、当該物体による反射光を受光する画素の範囲が、「標準画素範囲」として記録されている。標準画素範囲は、画素範囲に含まれる。

図２７は、ブロック範囲記憶部１６１ｂに記録される情報の一例を示している。この例において、光ビームの出射方向は、イメージセンサ１２０の受光面に平行なｘｙ平面上の単位ベクトルとｘｚ平面上の単位ベクトルとで記録される。画素範囲は、イメージセンサ１２０の画素のうち、矩形の領域に含まれる画素の範囲として指定され得る。例えば、出力される画像上で最も左上の画素位置と最も右下の画素位置によって画素範囲が表され得る。標準画素範囲も同様に、画像上の最も左上の画素位置と最も右下の画素位置によって範囲が指定され得る。

距離計算部１６１ｃは、データ画素抽出部１６１ａが決定した画素範囲についてのみ、距離を計算する。距離は、イメージセンサ１２０の受光面から物体までの距離を指す。距離計算は、例えば前述の間接ＴｏＦまたは直接ＴｏＦの方法で計算され得る。

図２８は、本実施形態において記録媒体１５０に記録される情報の例を示す図である。本実施形態では、図６Ａから図６Ｄに示すデータに加え、図２８に示すデータが、動作中に記録される。図２８に示すデータは、ビーム方向、ブロックを示す画素範囲、および時刻差分の情報を含む。本実施形態では、ビームスキャナ１１０から出射される１方向の光ビームの反射光を受光する画素群が１つのブロックとして扱われる。光ビームの方向が同一であっても物体の位置によって反射光の軌跡が変化するため、ブロックの位置および大きさは投光のたびに異なり得る。１フレームあたり１方向の光ビームによる測距の回数が１回である場合、ブロックはフレームごとに異なり得る。前述のように、実際の測距では、反射光のエネルギーが小さいため、１回の投光および露光では十分な電荷を蓄積できない場合がある。その場合には、１回の測距のために複数回の同一方向の投光を繰り返し、露光を反復することで十分な電荷を蓄積してもよい。なお、ビーム方向を示す情報に代えて、ブロックを判別するための識別子（ＩＤ）が記録されてもよい。ブロックの画素範囲は、例えばそのブロックに含まれる複数の画素のうち、最初の画素（例えば最も左上の画素）の座標と最後の画素（例えば最も右下の画素）の座標とによって指定され得る。ブロックの画素範囲の指定は座標値に限らず、画素のＩＤによって指定されてもよい。ビーム方向およびブロックの画素範囲に対応付けて、時刻差分が記録される。時刻差分は、例えばマイクロ秒またはナノ秒の単位で記録され得る。計測時刻は、光ビームの出射のタイミング、または当該光ビームの反射光を受光したタイミングによって定まる。このため、１方向の光ビームに対応するブロックでは計測時刻が共通である。

図２９は、実施形態２の測距装置の動作の例を示すフローチャートである。このフローチャートにおいて、ステップＳ１１１０からステップＳ１２１０、およびステップＳ１２９０は、図１９に示す対応するステップの動作と同じである。以下、図１９に示す動作と異なる点を主に説明する。

ステップＳ１１３０からステップＳ１２１０の動作により、図６Ｂに示す投光ごとの時刻情報が記録される。ステップＳ１２１０において、距離計測部１６１は、イメージセンサ１２０の全画素について、各露光期間に蓄積された電荷の量に応じた信号を取得する。

（ステップＳ３１１０）
信号処理回路１６０の距離計測部１６１は、イメージセンサ１２０の全画素のうち、光ビームの反射光を受光した画素のブロックを決定する。具体的には、距離計測部１６１のデータ画素抽出部１６１ａは、ブロック範囲記憶部１６１ｂを参照し、当該光ビームの方向に対応する、物体からの反射光を受光し得る画素の範囲を決定する。さらに、データ画素抽出部１６１ａは、露光期間ごとに蓄積された電荷量に基づき、物体からの反射光を受光し得る画素の範囲のうち、いずれかの露光期間での電荷量が０でない画素を検出する。検出された画素およびその周辺の画素をブロックとして決定する。ブロックは、例えば、ｘ軸方向１０画素、ｙ軸方向１０画素の矩形の領域内の画素によって構成され得る。いずれかの露光期間における電荷量の値が０でない１つ以上の画素を中心に範囲が決定される。いずれかの露光期間について値が０でない画素が複数の領域に分布する場合には、予め定められた大きさの範囲で、できるだけ多くの画素を含む範囲が決定される。当該範囲内に、いずれかの露光期間について値が０でない画素が検出されない場合は、予め出射方向ごとに定められた標準画素範囲に含まれる複数の画素がブロックとして決定される。標準画素範囲は、例えば図２７を参照して説明したように、イメージセンサ１２０の受光面から１００ｍの位置に十分な大きさの物体がある場合にその物体からの反射光を受光する画素の範囲であり得る。ステップＳ３１１０の動作の詳細については後述する。

(ステップＳ３１２０)
時刻決定部１６４は、ブロックごとに時刻差分を計算する。図６Ｂに示す光ビームごとの詳細な時刻情報に基づいて、着目している出射方向について、１つの時刻（「代表時刻」と称する。）を決定する。代表時刻は、例えば、当該方向に出射された光ビームのうち、最初の光ビームの出射時刻であり得る。あるいは、最後の光ビームの出射時刻、複数の光ビームの出射時刻の中央の値、または全ての光ビームの出射時刻の平均値であってもよい。時刻決定部１６４は、決定した代表時刻と、既に決定されている基準時刻との差分を、その方向の光ビームに対応するブロックの時刻差分とする。

（ステップＳ３１３０）
時刻決定部１６４は、決定した時刻差分を、ブロックの画素範囲の情報と関連付けて記録媒体１５０に記録する。例えば図２８に示すようなデータが記録される。ビーム方向と、そのビーム方向に対応するブロックに含まれる画素範囲の開始画素および終了画素と、そのビーム方向およびブロックに対応する時刻差分とが記録される。

(ステップＳ３１４０)
距離計算部１６１ｃは、ステップＳ３１１０で決定されたブロックに含まれる各画素について、距離を計算する。距離計算の方法は、前述のとおりである。

(ステップＳ３１５０)
距離計算部１６１ｃは、計算したブロック内の画素ごとの距離を記録媒体１５０に記録する。各画素の距離は、例えば図６Ｄに示す形式で記録され得る。なお、図６Ｄの例では、画素ごとに時刻差分の情報が記録されているが、この時刻差分の情報が省略されていてもよい。本実施形態では、図２８に示すように、ブロックごとに時刻差分が記録されるため、画素ごとの時刻差分の情報は記録されなくてもよい。ステップＳ３１５０の後、ステップＳ１１３０に戻る。

ステップＳ１１３０において、予め設定された全ての方向への投光が完了したと判断されると、ステップＳ３１６０に進む。

（ステップＳ３１６０）
距離画像生成部１６２は、記録媒体１５０に記録された画素ごとの距離に基づいて、全画素の距離分布を画像形式で表現した距離画像データを生成する。ここで、距離情報のない画素については、距離０あるいは無限大として記述され得る。

(ステップＳ３１７０)
点群データ生成部１６３は、記録媒体１５０に記録された画素ごとの距離に基づいて、予め定められた３次元空間座標における点群データを生成する。点群データ生成部１６３は、イメージセンサ１２０の位置、およびイメージセンサ１２０の向きの情報に基づいて、０または無限大以外の値をもつ画素について、座標変換を行う。これにより、距離画像データを点群データに変換する。点群データ生成部１６３は、点群データの各点の元になった画素が含まれるブロックの情報に従って点群データにおける複数の点を複数のブロックに分割する。ブロックごとにステップＳ３１４０で計算された時刻の差分が付与される。

（ステップＳ３１８０）
出力部１６９は、ステップＳ１１１０で決定されたフレームの基準時刻データと、ステップＳ３１７０で生成された点群データと、各ブロックに対応付けられた時刻差分データとを含む出力データを生成する。

図３０Ａは、本実施形態における出力データ形式の例を示す図である。この例では、フレームごとの出力データは、基準時刻と、ブロックごとのデータとを含む。ブロックごとのデータとして、当該ブロックに含まれる点の数、当該ブロックの時刻差分、および当該ブロックに含まれる複数の点のそれぞれの位置の情報を含む。ブロックに含まれる点の数は、例えば１バイトで表され得る。ブロックごとの点の数、時刻、点ごとの位置のデータセットをブロック数だけ反復することで、１フレームのデータの出力が完了する。なお、図３０Ａの例ではブロック数は既知の固定値である。

図３０Ｂは、出力データ形式の他の例を示している。この例では、点群データの各点と、点群データの変換元である距離画像における各画素とを紐づけるＩＤ番号が順に付与されている。１フレーム内の光ビームの方向の数であるブロックの数はすべてのフレームで共通の固定値として出力される。その上で、フレームごとにデータが出力される。フレームごとに、各々のブロックに含まれる複数の点のうち最初の点のＩＤ（例えば１バイト）と最後の点のＩＤ（例えば１バイト）の２バイトで各ブロックに含まれる複数の点が特定され得る。このデータが、基準時刻データに続いてブロック数分出力され、さらに、ブロックごとの時刻差分がブロック数分出力される。ここで、ブロックに対応する複数の点のデータと、時刻差分データは、同一のブロックの情報が同じ順番になるように並べられて出力される。ブロックごとのデータに続いて、点群の各点の３次元座標中の位置が出力される。このときの点群の並び順は、点群ＩＤの順である。位置は点ごとに例えば３バイトで出力され、点の個数分だけ連続で出力される。なお、フレームによってブロック数が異なる場合は、フレーム毎の情報にブロック数の情報が含まれてもよい。

本実施形態では、点群データが複数のブロックのデータを含み、各ブロックのデータは当該ブロックに対応付けられた時刻差分のデータを含む。点群データに限らず、距離画像データについても、同様にブロックごとに時刻差分が付加されたデータを出力してもよい。

図３０Ｃは、ブロックごとに時刻差分が付加された距離画像データのデータ形式の一例を示す図である。前述の例と同様、複数のフレームに共通のデータである固定値と、フレームごとに異なるデータとが出力される。図３０Ｃの例では、フレームごとの出力データは、基準時刻データと、ブロックごとに、対応する画素の範囲、時刻差分、および各画素の距離を記述したデータを含む。この例では、各画素にＩＤが付与されている。フレームごとに、各々のブロックに含まれる複数の画素の範囲、すなわち開始点と終了点の画素のＩＤが例えば２バイトで表され得る。この対応画素のデータには、画素数の情報も含まれ得る。基準時刻、およびブロックごとの対応画素、時刻差分、画素ごとの距離のデータセットをブロック数だけ反復することで、１フレームのデータの出力が完了する。なお、図３０Ｃの例ではブロック数は既知の固定値である。ブロック数は、固定値に含まれていてもよい。

図３０Ｄは、出力データ形式の他の例を示している。この例では、固定値にブロック数の情報が含まれている。ブロック数は、例えば１バイトで表され得る。フレームごとに、基準時刻と、各々のブロックに含まれる複数の画素の範囲、すなわち開始点と終了点の画素のＩＤが例えば２バイトで表され得る。続いて、各ブロックに対応する時刻差分が例えば１バイトで表され得る。最後に、各画素について計測された距離が１バイトで表され得る。

信号処理回路１６０は、点群データまたは距離画像データを符号化または圧縮して出力してもよい。符号化の際には、例えば図３１Ａおよび図３１Ｂに示すようなファイルフォーマットを用いてもよい。図３１Ａおよび図３１Ｂの例では、点群データの各点の位置座標に時刻差分ＩＤが付加され、各時刻差分ＩＤに対応する実際の時刻差分の値は別領域（例えばヘッダの上位）に記述される。この例では、基準時刻は、日付の情報も含み、例えば８バイトで表現される。この場合、フレームに共通の固定値のデータには日付の情報が含まれない。時刻差分ＩＤの総数は、ブロックの数に一致する。つまり時刻差分ＩＤの値の範囲は、０からブロック数－１である。このように、各点の属性情報として時刻差分ＩＤを付加することで、符号化の観点では処理が行いやすく、符号化効率を上げやすくなる。すなわち、時刻差分ＩＤを使用することで、圧縮時にはＩＤ付加による冗長部を考慮してもデータ量が削減される。例えば時刻差分がマイクロ秒の精度である場合、フレーム間の時間長に相当する時刻差分の値の範囲が０～３３３３３であり、時刻差分のデータ量は１６ｂｉｔである。複数の点に同じ時刻差分が対応付けられる場合、時刻差分そのものの代わりに時刻差分ＩＤを各点に付加することでデータ量を削減できる。時刻差分ＩＤに必要なビット数は、フレーム内のブロック数に依存するが、例えばブロック数が２５６個の場合は８ｂｉｔと、１６ｂｉｔよりも小さくてすむ。

このように、時刻差分ＩＤを使用することにより、データサイズを抑えつつ、符号化に適したファイルフォーマットを実現することができる。なお、同様のファイルフォーマットを距離画像データに適用してもよい。

次に、ステップＳ３１１０における動作の詳細を説明する。図３２は、ステップＳ３１１０の動作の詳細を示すフローチャートである。ステップＳ３１１０は、図３２に示すステップＳ５１１０からＳ５２００を含む。以下、各ステップの動作を説明する。

（ステップＳ５１１０）
距離計測部１６１のデータ画素抽出部１６１ａは、ブロック範囲記憶部１６１ｂを参照し、当該光ビームの方向に対応する、物体からの反射光を受光し得る画素の範囲を決定する。例えば図２７の例では、ステップＳ１１４０で決定された光ビームの方向に対応する「画素範囲」を抽出する。光ビームがイメージセンサ１２０の受光面に直交する方向以外の方向に出射される場合、物体から拡散した光を歪みのない光学レンズで集光すると、集光された光はイメージセンサ１２０の受光面の特定の位置で検出される。その位置は、光ビームの方向を受光面に投影した直線上にあり、物体とイメージセンサ１２０との距離によって当該直線上のどの位置に入射するかが変化する。

図３３は、光ビームの方向と、物体の位置と、物体による反射光のイメージセンサ１２０の受光面上への入射位置との関係を示す模式図である。図３３において、ビームスキャナ１１０から出射された光ビームは、実線の矢印Ｌ１で表されている。物体が位置１６５Ａ、１６５Ｂ、１６５Ｃのそれぞれに存在する場合に生じる反射光が、破線矢印で示されている。位置１６５Ａに存在する物体からの反射光は、受光面上の位置１６５ａに入射する。位置１６５Ｂに存在する物体からの反射光は、受光面上の位置１６５ｂに入射する。位置１６５Ｃに存在する物体からの反射光は、受光面上の位置１６５ｃに入射する。位置１６５ａ、１６５ｂ、１６５ｃは、光ビームＬ１の経路をイメージセンサ１２０の受光面を含む平面に投影した直線上にある。図２７に示す「画素範囲」は、この直線に沿って設定されており、光ビームの広がり幅に応じた画素の幅が付与されている。この画素範囲は、イメージセンサ１２０上で反射光を受光し得る範囲を表す。一方、図２７に示す「標準画素範囲」は、その光ビームによる反射光を検出し得る最大の距離（例えば１００ｍ）に物体が存在すると仮定した場合の反射光を受光し得る画素の範囲を表す。

（ステップＳ５１２０）
データ画素抽出部１６１ａは、ステップＳ５１１０で決定された反射光を受光し得る範囲の画素のうち、すでに記録媒体１５０に距離が記録されている画素がある場合は、当該画素を反射光を受光し得る範囲の画素から除外する。

（ステップＳ５１３０）
データ画素抽出部１６１ａは、ステップＳ５１１０で決定された範囲の画素であって、ステップＳ５１２０で除外されなかった画素について、いずれかの露光期間で受光した画素があるか否かを判断する。この判断がｙｅｓの場合、ステップＳ５１４０に進む。この判断がｎｏの場合、ステップＳ５１５０に進む。

（ステップＳ５１４０）
データ画素抽出部１６１ａは、ステップＳ５１３０で特定された、いずれかの露光期間で受光した画素が、予め定められたブロックのサイズよりも小さい範囲で分布しているか否かを判断する。予め定められたブロックのサイズは、例えば縦横１０画素ずつの大きさであり得る。ステップＳ５１４０の判断がｙｅｓの場合、ステップＳ５１６０に進む。ステップＳ５１４０の判断がｎｏの場合、ステップＳ５１７０に進む。

図３４Ａは、イメージセンサ１２０の受光面のうち、受光可能性のある画素範囲Ａ１と、標準画素範囲Ａ２の例を示す図である。図３４Ｂは、いずれかの露光期間で受光した画素Ｓが、受光可能性のある範囲で予め定められた大きさの範囲Ａ３の内部に分布している状態の例を示す図である。図３４Ｃおよび図３４Ｄは、いずれかの露光期間で受光した画素Ｓが、受光可能性のある範囲で予め定められた大きさの範囲Ａ３を超えて分布している状態の例を示す図である。図３４Ｂのような場合、ステップＳ５１４０において、ｙｅｓと判断される。一方、図３４Ｃまたは図３４Ｄのような場合、ステップＳ５１４０においてｎｏと判断される。

なお、特殊なケースとして、図３５Ａの例のように、受光可能性のある範囲Ａ１の中で、同一の大きさの連続した受光画素Ｓの範囲が複数検出される場合があり得る。あるいは、図３５Ｂの例のように、受光可能性のある範囲Ａ１に一様に受光画素Ｓが分布している場合があり得る。これらの例外に対して、図３５Ａの場合には、例えば、受光可能性のある範囲Ａ１の外を含めて、近傍に受光した画素が多い方の連続した受光画素Ｓの範囲をブロックとして設定してもよい。図３５Ｂの場合には、例えば、受光画素Ｓの分布範囲の中央の位置のブロックサイズの領域Ａ３をブロックとして設定してもよい。

（ステップＳ５１５０）
データ画素抽出部１６１ａは、ブロック範囲記憶部１６１ｂに記憶された標準画素範囲をブロックとして設定する。このステップは、例えば図３４Ａに示すような場合に実行される。ステップＳ５１５０を実行した後、ステップＳ３１２０に進む。

(ステップＳ５１６０)
データ画素抽出部１６１ａは、ステップＳ５１１０で抽出された、受光可能性のある範囲内で、受光した連続する画素をブロックとして設定する。このステップは、例えば図３４Ｂに示すような場合に実行される。ステップＳ５１６０を実行した後、ステップＳ３１２０に進む。

（ステップＳ５１７０）
データ画素抽出部１６１ａは、隣り合う画素がいずれも受光画素である、連続する受光画素の領域を特定する。特定された受光画素が連続する領域のうち、最も大きいもの、すなわち領域に含まれる画素数が最も大きい領域を抽出する。

（ステップＳ５１８０）
データ画素抽出部１６１ａは、ステップＳ５１７０で抽出した受光画素が連続する領域のうち最も大きい領域が、予め定められたブロックサイズ以下であるか否かを判断する。この判断がｙｅｓの場合、ステップＳ５１９０に進む。この判断がｎｏの場合、ステップＳ５２００に進む。

(ステップＳ５１９０)
データ画素抽出部１６１ａは、ステップＳ５１７０で抽出された領域をブロックとして設定する。このステップは、例えば図３４Ｃに示すような場合に実行される。ステップＳ５１９０を実行した後、ステップＳ３１２０に進む。

(ステップＳ５２００)
データ画素抽出部１６１ａは、ステップＳ５１７０で抽出された領域の中心位置、例えば当該領域に含まれる全受光画素の座標の重心位置を中心として、ブロックを設定する。ブロックの中心位置がステップＳ５１７０で抽出した領域の中心と重なるようにブロックを設定してもよい。このステップは、図３４Ｄに示すような場合に実行される。ステップＳ５２００を実行した後ステップＳ３１２０に進む。

以上のように、実施形態２における測距装置は、光ビームの方向ごとに、距離画像データおよび／または距離画像から変換した点群データにおける複数の点のデータをブロック化する。その上で、ブロックごとに時刻差分を記録する。距離画像データまたは点群データの全ての点に時刻を付与したデータを出力するのでなく、ブロックごとに時刻を付与して出力する。これにより、データ量をさらに削減することができる。

＜実施形態３＞
次に、実施形態３に係る車両制御システムを説明する。

図３６は、実施形態３に係る車両制御システム８００の構成を示すブロック図である。この車両制御システム８００は、点群データ取得システム２００と、自動運転制御システム７００とを含む。点群データ取得システム２００は、複数の測距装置１００Ａと、プロセッサ１９０とを備える。自動運転制御システム７００は、情報処理装置７１０と、記録媒体７２０と、出力インタフェース７３０とを備える。

各測距装置１００Ａは、前述のいずれかの実施形態における測距装置と同様の構成を備える。図３６では、１つの測距装置１００Ａのみ、その構成が示されている。複数の測距装置１００Ａは、いずれも同等の機能を有し、車両の異なる位置に配置されている。各測距装置１００Ａの信号処理回路１６０は、距離画像データを出力する。本実施形態において、点群データは、測距装置１００Ａの外部に配置された処理装置であるプロセッサ１９０によって生成される。プロセッサ１９０は、複数の測距装置１００Ａからそれぞれ出力される複数の距離画像データを１つの点群データに統合して出力する。プロセッサ１９０は、点群データ生成部１９１と、点群データ出力部１９２とを備える。点群データ生成部１９１および点群データ出力部１９２の各々は、専用の回路として実現されていてもよい。あるいは、プロセッサ１９０がコンピュータプログラムを実行することにより、点群データ生成部１９１および点群データ出力部１９２として機能してもよい。

各測距装置１００Ａは、前述のいずれかの実施形態における動作と同様の動作を実行することにより、フレームごとに基準時刻が付与され、フレーム内の画素ごと、またはブロックごとに時刻差分が付与された距離画像データを生成する。例えば、図７Ｃ、７Ｄ、２４Ｃ、２４Ｄ、３０Ｃ、３０Ｄのいずれかに示すような距離画像データが生成され得る。この距離画像データは、点群データ生成部１９１に送られる。なお、複数の測距装置１００Ａのそれぞれを識別するＩＤ情報が、複数フレームに共通する固定値として距離画像データに含まれていてもよい。

点群データ生成部１９１は、複数の測距装置１００Ａからそれぞれ取得した距離画像データを統合して点群データを生成する。具体的には、点群データ生成部１９１は、複数の測距装置１００Ａから、距離画像データを逐次取得し、それぞれのデータに含まれる基準時刻および時刻差分に基づき、各画素の測定時刻を計算する。そして、測定時刻が比較的近い画素の距離データから、統合された３次元点群データを生成する。ある例において、点群データ生成部１９１は、取得した複数フレームの距離画像のうち、測定時刻が一定時間の範囲内にある距離画像を、点群データにおける１つの「フレーム」として統合する。他の例において、点群データ生成部１９１は、１フレームの距離画像中において、測定時刻が一定時間の範囲内にある画素群を点群データにおける１つの「フレーム」として統合する。後者の例では、１つの距離画像中のデータが、点群データにおける複数の「フレーム」に分割され得る。上記の一定時間は、例えば３０ミリ秒程度であり得る。

点群データ生成部１９１は、各測距装置１００Ａから、それぞれのイメージセンサ１２０の位置および姿勢を示すデータも取得する。点群データ生成部１９１は、取得した当該データに基づいて、それぞれの距離画像の画素のうち、０または無限大以外の値をもつ画素について、距離データを３次元座標データに変換する。これにより、点群データ生成部１９１は、距離画像データを３次元点群データに変換することができる。３次元座標は、例えば当該車両の中心を原点とした３次元座標であり得る。点群データ生成部１９１は、点群データの変換元である距離画像データにおける画素またはブロックと時刻差分との対応を、点群データの点またはブロックと時刻差分との対応として、点群データを生成する。

点群データ生成部１９１は、点群データについて、改めて基準時刻と、点ごとまたはブロックごとの時刻差分を決定してもよい。例えば、複数の測距装置１００Ａから出力された距離画像データに付与された基準時刻のいずれか、またはその平均値を新たな基準時刻としてもよい。その新たな基準時刻に基づいて各点の時刻差分を計算し直すことにより、統合された点群データにおける各点の時刻差分を決定することができる。

点群データ出力部１９２は、生成された点群データを、例えば上記の一定時間ごとに出力データ列として出力する。この出力データ列は、自動運転制御システム７００における情報処理装置７１０に送られる。

図３７Ａは、出力データ列のデータ形式の一例を示している。この例では、点群のデータがブロック化され、ブロックごとに個別の時刻情報が付与されている。図３７Ａの例では、データ列ごとに、８バイトで基準時刻が、１バイトでブロック数がまず出力され、その後、ブロックごとに、ブロック内に含まれる点数が１バイトで、時刻差分が１バイトで、各点の３次元位置情報が３バイトで出力される。

図３７Ｂは、出力データ列のデータ形式の他の例を示している。この例では、データ列ごとに、８バイトで基準時刻が、１バイトでブロック数が、１バイトで全点数がまず出力され、続いて、ブロックの対応点が２バイトでブロック数分出力され、時刻差分が１バイトでブロック数分出力され、各点の３次元位置座標が３バイトで全点数分出力される。

なお、図３７Ａおよび図３７Ｂの例において、データ列毎の識別子（ＩＤ）が付与されてもよい。識別子はデータ列毎に１ずつ増えるものとし、所定の数で０にリセットされてもよい。また、取得されたセンサ情報をデータ列に含めてもよい。例えば、イメージセンサを含むセンサ群の数、およびそれぞれのセンサの固定値（例えば、位置、方向、画角）がデータ列に含まれていてもよい。それぞれのブロックが複数のセンサのうちのどのセンサで取得されたかを示す情報として、ブロックごとにセンサＩＤを付与してもよい。

本実施形態では、プロセッサ１９０は、複数の測距装置１００Ａからそれぞれ出力された距離画像データを統合して、基準時刻と、点ごとまたはブロックごとの時刻差分のデータを含むデータ列を生成する。このような形態に限らず、プロセッサ１９０は、基準時刻および各点または各ブロックの時刻差分のデータの代わりに、各点または各ブロックの計測時刻のデータを含むデータ列を生成してもよい。各点または各ブロックの計測時刻は、基準時刻および時刻差分のデータに基づいて計算することができる。その場合、例えば図３７Ａまたは図３７Ｂに示すデータ列から「基準時刻」のデータが除外され、「時刻差分」の代わりに、「計測時刻」のデータが含まれたデータ列が出力され得る。

自動運転制御システム７００は、点群データ取得システム２００から逐次取得した点群データに基づき、車両の自動運転制御を行う。自動運転制御システム７００は、情報処理装置７１０と記録媒体７２０とを備える。記録媒体７２０には、地図データなどの各種のデータが記録されている。各種データは通信により都度取得および更新されてもよい。情報処理装置７１０は、地図データと、点群データ取得システム２００から逐次取得した点群データに基づき、複数の操作系に適切な指令を送る。操作系には、例えば、アクセル、ブレーキ、ステアリングなどの機構が含まれる。本実施形態によれば、点群データ取得システム２００から、適切に時刻合わせされた点群データが送られるため、時刻の誤差に起因する誤認識の可能性を低減することができる。

＜他の実施形態＞
上記の各実施形態では、データ形式の一例を示したが、その他のデータ形式が用いられてもよい。例えば、それぞれのデータのバイト数は前述の値に限らず、他の固定値であってもよいし、可変であってもよい。可変の場合は、別途バイト長がデータに含まれるようにしてもよい。また、ブロック、フレーム、またはセンサ毎のデータの切れ目を示す情報として、所定のデータ形式の同期情報またはデリミタが用いられてもよい。データを解析する際に、同期情報を取得した後、データの解析が可能となる。データにデータ長またはデータ数の情報を含めることにより、データの切れ目を示してもよいし、同期情報とデータ長またはデータ数とを組み合わせることによってデータの切れ目を示してもよい。それぞれのデータをパケット形式としてもよい。パケットには、例えばパケットの種別、長さ、またはデータなどを示し、パケットヘッダにデータ共通の情報を示してもよい。

前述の各実施形態では光ビームのビーム形状およびビーム径が固定であるが、ビーム形状およびビーム径がフレームごとに調整可能であってもよい。ビーム径を小さくすることにより、同じ光のエネルギーであれば光ビームは遠くまで到達する。出射される光のエネルギーが同じで、フレームごとに到達距離を調整する場合には、フレームごとにビーム形状およびビーム径を調整することが有効である。ビームの方向ごとに距離画像の画素をブロック化し、さらに距離画像から変換した点群データの点をブロック化してもよい。

前述の各実施形態では、光ビームのビーム径は、１フレーム分の距離計測動作中は固定である。これに対し、１フレーム分の距離計測動作中にビーム径が調整可能であってもよい。投光には、イメージセンサ１２０の画角の範囲全体に一度に光を照射することができるフラッシュの投光が含まれていてもよい。光ビームのビーム形状およびビーム径を変更可能にすることで、より少ない投光回数で精度の高い測距を実現することができる。ビームの種類または方向ごとに距離画像の画素をブロック化し、さらに距離画像から変換された点群データの点をブロック化してもよい。

ビームスキャナ１１０が複数の光ビームを同時に出射するように構成されていてもよい。その場合、制御回路１３０は、ビームスキャナ１１０から出射される複数の光ビームについて、それらの光ビームの反射光が同一の画素で受光されないように、それぞれの光ビームの方向を調整してもよい。複数の光ビームを同時に出射し、同一の時刻差分データを持つ複数の画素ブロックのデータが出力されてもよい。異なる方向に複数の光ビームを同時に出射し、方向の組み合わせを変化させながら対象シーンをスキャンすることで、シーン全体のスキャンに要する時間を短縮することができる。さらに、複数のブロックに対応付けて１つの時刻情報を出力することで、出力データの量を削減することができる。

上記の各実施形態では、主に、光ビームが出射された時刻が測距が行われた詳細な時刻として記録される。他の実施形態として、測距の詳細な時刻として、イメージセンサ１２０が反射光を受光した露光期間に関連付けられた時刻が記録されてもよい。

＜補足＞
（１）上記の各実施形態では、測距装置で計測された距離データを統合する処理の一例として、複数の測距装置で計測された距離データと当該距離データに付与された時刻情報を用いて点群データを生成する例を説明した。しかしながら、出力データを用いた信号処理は、上記の距離データを統合する処理に限られない。出力データを用いた信号処理は、図２に示すサーバ５００で実施されてもよいし、移動体３００または固定体４００が備える図示されていない信号処理回路で実施されてもよい。また、測距装置１００または１００Ａが備える信号処理回路１６０で実施されてもよい。

（２）上記の各実施形態では、光ビームを出射して計測した距離データまたは３次元点群データに対して計測時刻情報を付与する場合を例に挙げて説明した。しかしながら、計測時刻情報が付与される対象である距離データまたは３次元点群データは、上記各実施形態で説明した測距装置とは異なる構成を有する測距装置で測定されたデータであってもよい。例えば、ミリ波などの無線電波を用いて測距を行う測距装置で測定されたデータであってもよいし、一または複数のカメラで取得された２次元画像を用いて測距を行う測距装置で測定されたデータであってもよい。

また、ミリ波などの無線電波を用いて測距を行う測距装置で測定されたデータに関しては、例えば、同一時刻に一または複数の送信アンテナから出射された電波ビームに基づいて、一または複数の受信アンテナで受信された信号から生成された複数の測距データまたは３次元点群データを一つのブロックとして格納してもよい。このとき、ブロックのデータごとに、電波ビームの出射時刻または反射ビームの受信時刻などの計測時刻情報が付与されてもよい。

このように、本開示の各実施形態について説明した測距データの生成方法および装置は、例えば光または電波などの電磁波を出射して測距を行う任意の能動的な測距方式に適用可能である。本構成によると、出力データにおいて、測距対象となる領域全体の測距データまたは点群データに対して一つの計測時刻情報を付与する場合と比較して、より小さなデータ単位で時刻情報が付与される。このため、当該出力データを用いて他のデータとの統合などの信号処理を行う場合に、処理が容易になる、または処理結果の品質もしくは信頼性が向上するなどの効果を得ることができる。特に、点ごとに詳細な時刻情報が付与されるのではなく、より小さいデータサイズの時刻差分情報が点ごとまたはブロックごとに付与される。これにより、出力データのサイズを小さくすることができる。

（３）以下に、本開示に含まれる複数の態様のうちの一部を例に挙げて説明する。

本開示に含まれる一態様であるデータ生成装置は、３次元データを生成するデータ生成装置であって、前記３次元データは第１の期間に計測された第１の計測データと第２の期間に計測された第２の計測データとを含み、前記第１の計測データは一または複数のビームを照射して測定された複数の点の位置または距離を示す測定データを含み、前記データ生成装置はプロセッサと前記プロセッサに接続されたメモリとを含み、前記プロセッサは、基準時刻と前記複数の点のそれぞれの時刻差分とを示す時刻データを生成し、前記時刻データを格納した前記３次元データを出力し、前記時刻データは前記複数の点の計測のために出射されたビームの出射時刻に基づいて決定されている。

本開示に含まれる一態様であるデータ処理装置は、３次元データを処理するデータ処理装置であって、前記３次元データは第１の期間に計測された第１の計測データと第２の期間に計測された第２の計測データとを含み、前記第１の計測データは一または複数のビームを照射して計測された複数の点の位置または距離を示す測定データを含み、前記データ処理装置はプロセッサと前記プロセッサに接続されたメモリとを含み、前記プロセッサは、前記メモリに格納された前記３次元データを読み出し、前記３次元データは、基準時刻と前記複数の点のそれぞれの時刻差分とを示す時刻データを含み、前記時刻データを用いて第２の３次元データを生成し、前記時刻データは前記複数の点の計測のために出射されたビームの出射時刻に基づいて決定されている。

本開示の技術は、測距を行う装置またはシステムに広く利用可能である。例えば、本開示の技術は、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）システムの構成要素として使用され得る。

１００ 測距装置
１１０ ビームスキャナ
１２０ イメージセンサ
１３０ 制御回路
１４０ クロック
１５０ 記録媒体
１６０ 信号処理回路
１６１ 距離計測部
１６２ 距離画像生成部
１６３ 点群データ生成部
１６４ 時刻決定部
１６９ 出力部
１９０ プロセッサ
２００ 点群データ取得システム
３００ 移動体
３１０ 測距センサ
３２０ 通信回路
４００ 固定体
４１０ 測距センサ
４２０ 通信回路
５００ サーバ
５２０ プロセッサ
５４０ 記録媒体
６００ ネットワーク
７００ 自動運転制御システム
７１０ 情報処理装置
７２０ 記録媒体
８００ 車両制御システム

Claims (16)

1. 複数の光ビームを異なる方向および異なるタイミングでシーンに向けて出射する発光装置と、
   少なくとも１つの受光素子を含み、前記光ビームの出射によって生じた前記シーンからの反射光を前記少なくとも１つの受光素子によって検出する受光装置と、
   前記受光装置から出力された信号に基づいて、前記シーン中の複数の点の位置または距離を示す計測データを含む出力データを、フレームごとに生成して出力する信号処理回路と、
   を備え、
   前記出力データは、
   前記フレームごとに定められた基準時刻を示す基準時刻データと、
   前記点ごとに定められた前記基準時刻との差分を示す時刻差分データと、
   を含み、
   １フレームの出力データに含まれる前記時刻差分データの個数は、前記フレームごとに異なる、
   測距装置。
2. 各点の前記時刻差分データは、前記点についての前記計測データを取得するために使用された前記光ビームが出射された時刻または前記反射光が検出された時刻と、前記基準時刻との差分を示す、請求項１に記載の測距装置。
3. 前記受光装置は、２次元的に配列された複数の受光素子のアレイを含み、各光ビームの出射によって生じた前記シーンからの反射光を前記複数の受光素子によって検出する、
   請求項１または２に記載の測距装置。
4. 前記出力データは、各々が前記複数の点のうちの一部の点の前記計測データを含む複数のブロックのデータを含み、前記ブロックごとに、前記基準時刻との差分を示す個別の時刻差分データが、前記ブロックの各点の前記時刻差分データとして記録される、請求項３に記載の測距装置。
5. 各フレームの前記基準時刻は、前記フレームにおける前記計測データを取得するために出射された前記複数の光ビームのうち、最初の光ビームが出射された時刻である、請求項３または４に記載の測距装置。
6. 各点についての前記時刻差分データは、前記点についての前記計測データを取得するために出射された光ビームの出射時刻と、直前に前記計測データが取得された他の点についての前記計測データを取得するために出射された光ビームの出射時刻との差分を示す、請求項５に記載の測距装置。
7. 各フレームの測距動作中、前記発光装置は、前記複数の光ビームを一定の時間間隔で出射し、
   各フレームにおける前記基準時刻は、前記フレームにおける前記計測データを取得するために最初に出射された光ビームの出射時刻であり、
   前記フレームにおける各点の前記時刻差分データは、前記点についての前記計測データを取得するために出射された光ビームの順番を示すデータと、前記複数の光ビームの時間間隔を示すデータとを含む、請求項３から６のいずれかに記載の測距装置。
8. 前記信号処理回路は、前記複数の点の３次元座標の情報を含む点群データを前記出力データとして生成する、請求項１から７のいずれかに記載の測距装置。
9. 前記信号処理回路は、前記複数の点の距離分布を示す距離画像データを前記出力データとして生成する、請求項１から７のいずれかに記載の測距装置。
10. 各点についての前記時刻差分データの量は、各フレームについての前記基準時刻データの量よりも小さく、
    前記時刻差分データは、マイクロ秒単位またはナノ秒単位で前記時刻差分を表現する、請求項１から９のいずれかに記載の測距装置。
11. 前記複数の点の各々は、前記複数の受光素子の少なくとも１つに対応し、
    前記出力データは、前記時刻差分データと前記複数の受光素子との対応関係を示す、請求項３に記載の測距装置。
12. １フレームの出力データを生成する期間における光ビームの出射回数は、前記フレームごとに異なる、請求項１に記載の測距装置。
13. シーン中の複数の点の位置または距離を示す第１の計測データを含む第１の出力データであって、フレームごとに定められた基準時刻を示す基準時刻データと、前記点ごとに定められた前記基準時刻との差分を示す時刻差分データとを含む第１の出力データと、前記シーン中の他の複数の点の位置または距離を示す第２の計測データを含み、且つ前記他の複数の点の各々の前記第２の計測データに時刻データが付与されている第２の出力データとを取得し、
    前記第１の出力データおよび前記第２の出力データから、所定の時刻範囲に含まれる時刻データを有する１つ以上の点の前記第１の計測データおよび１つ以上の点の前記第２の計測データをそれぞれ抽出して同一の座標系に統合することにより、３次元点群データを生成し、
    １フレームの第１の出力データに含まれる前記時刻差分データの個数は、前記フレームごとに異なる、
    情報処理方法。
14. プロセッサを備え、前記プロセッサは、
    シーン中の複数の点の位置または距離を示す第１の計測データを含む第１の出力データであって、フレームごとに定められた基準時刻を示す基準時刻データと、前記点ごとに定められた前記基準時刻との差分を示す時刻差分データとを含む第１の出力データと、前記シーン中の他の複数の点の位置または距離を示す第２の計測データを含み、且つ前記他の
    複数の点の各々の前記第２の計測データに時刻データが付与されている第２の出力データとを取得し、
    前記第１の出力データおよび前記第２の出力データから、所定の時刻範囲に含まれる時刻データを有する１つ以上の点の前記第１の計測データおよび１つ以上の点の前記第２の計測データをそれぞれ抽出して同一の座標系に統合することにより、３次元点群データを生成し、
    １フレームの第１の出力データに含まれる前記時刻差分データの個数は、前記フレームごとに異なる、
    情報処理装置。
15. プロセッサを備え、前記プロセッサは、
    少なくとも１つの受光素子を含む受光装置によって異なるタイミングで検出された受光データを取得し、
    前記受光データを基にシーン中の複数の点の位置または距離を示す計測データをフレームごとに生成し、
    前記計測データと、前記フレームごとに定められた基準時刻を示す基準時刻データと、前記点ごとに定められた前記基準時刻との差分を示す時刻差分データとを含む出力データを生成し、
    １フレームの出力データに含まれる前記時刻差分データの個数は、前記フレームごとに異なる、
    情報処理装置。
16. １フレームの出力データを生成する期間における光ビームの出射回数は、前記フレームごとに異なる、請求項１５に記載の情報処理装置。

Images