JP7433819B2 - 距離計測装置、及び距離計測方法 - Google Patents

距離計測装置、及び距離計測方法 Download PDF

Info

Publication number
JP7433819B2
JP7433819B2 JP2019170815A JP2019170815A JP7433819B2 JP 7433819 B2 JP7433819 B2 JP 7433819B2 JP 2019170815 A JP2019170815 A JP 2019170815A JP 2019170815 A JP2019170815 A JP 2019170815A JP 7433819 B2 JP7433819 B2 JP 7433819B2
Authority
JP
Japan
Prior art keywords
irradiation
circle
distance measuring
coordinates
mirror
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019170815A
Other languages
English (en)
Other versions
JP2021047126A (ja
Inventor
寛 久保田
展 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Electronic Devices and Storage Corp
Original Assignee
Toshiba Corp
Toshiba Electronic Devices and Storage Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Electronic Devices and Storage Corp filed Critical Toshiba Corp
Priority to JP2019170815A priority Critical patent/JP7433819B2/ja
Priority to US17/001,735 priority patent/US20210088660A1/en
Publication of JP2021047126A publication Critical patent/JP2021047126A/ja
Application granted granted Critical
Publication of JP7433819B2 publication Critical patent/JP7433819B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4814Constructional features, e.g. arrangements of optical elements of transmitters alone
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4816Constructional features, e.g. arrangements of optical elements of receivers alone
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4817Constructional features, e.g. arrangements of optical elements relating to scanning

Description

本発明の実施形態は、距離計測装置、及び距離計測方法に関する。
LIDAR(Light Detection and Ranging Laser Imaging Detection and Ranging)と称される距離計測装置が知られている。この距離計測装置では、レーザ光を計測対象に照射し、計測対象により反射された反射光の強度をセンサ出力に基づき時系列輝度信号に変換する。これにより、レーザ光の発光の時点と、時系列輝度信号値のピークに対応する時点との時間差に基づき、計測対象までの距離が計測される。
また、この距離計測装置では、鉛直方向のレーザ光の照射範囲を広げることが試みられている。ところが、照射範囲を広げるとセンサの受光範囲も広がり、時系列輝度信号のノイズが増加してしまうおそれがある。詳細については後述するが、特に、レーザ光の照射を1次元的に速く走査する場合に、この問題が顕著となる。
特開2019-52981号公報
本発明が解決しようとする課題は、鉛直方向のレーザ光の照射範囲を広げると共に、時系列輝度信号のノイズ(N)抑制を可能とし、合わせて信号(S)も増大させてSN比を改善し得る距離計測装置、及び距離計測方法を提供することである。
本実施形態に係る距離計測装置は、複数のセンサと、切替部と、距離計測部と、を備える。複数のセンサは、受光光学系を介して受光したレーザ光の反射光を電気信号に変換する複数のセンサであって、受光光学系に対する受光位置がそれぞれ異なる。切替部は、複数のセンサの中で測定に用いている第1のセンサからの出力信号と、複数のセンサの中で第1のセンサの測定後に測定に用いる第2のセンサからの出力信号と、を切り替えて出力する。距離計測部は、レーザ光の発光タイミングと、切替部の出力信号に基づく時系列輝度信号のピーク位置のタイミングとの時間差に基づき、計測対象物までの距離を計測する。
本実施形態に係る運転支援システムの概略的な全体構成を示す図。 本実施形態に係る距離計測装置の構成例を示す図。 センサと距離計測との詳細な構成例を示すブロック図。 スイッチを構成するスイッチ素子の構成例を示す図。 複数のレーザダイオードと複数のライン状センサとの対応関係を示す模式図。 ミラーの1周期における出射パターンを模式的に示す図。 ミラーの周期と照射タイミングを説明する図。 片側照射される場合に計計測対象物に照射される各レーザ光の照射パターンの一例を示す模式図。 計測対象物におけるレーザ光の照射範囲と、1画素あたりに対応する照射範囲を模式的に示す図。 現フレームの時系列輝度信号の一例を示す図。 平均化処理例を示す図。 飛ばしの照射パターンを説明するための模式図。 飛ばしにおける3×5の重みを付け積算の例を示す図。 飛ばしの照射パターン例を模式的に示す図。 折り返しの例を説明する図。 折り返しの照射パターン例を模式的に示す図。 2周期分の折り返しの照射パターン例を模式的に示す図。 ずらしの例を説明する図。 切り替え&入替えの例を説明する図。 各照射パターン例に対する座標変換例を示す図。 距離画像に関するデータ保存例1、2を示す図。 距離画像に関するデータ保存例3から5を示す図。 3フレームを用いた積算処理例を示す図。 前フレーム及び現フレームにおける座標の隣接領域、及び時系列輝度信号を模式的に示す図。 前フレームにおいて時系列輝度信号に基づき、隣接領域Ad内で得られた隣接距離を示す図。 信号処理部の選択処理の一例を示す図。 本実施形態による距離計測装置の処理動作を説明するフローチャート。
以下、本発明の実施形態に係る距離計測装置、及び距離計測方法について、図面を参照しながら詳細に説明する。なお、以下に示す実施形態は、本発明の実施形態の一例であって、本発明はこれらの実施形態に限定して解釈されるものではない。また、本実施形態で参照する図面において、同一部分又は同様な機能を有する部分には同一の符号又は類似の符号を付し、その繰り返しの説明は省略する場合がある。また、図面の寸法比率は説明の都合上実際の比率とは異なる場合や、構成の一部が図面から省略される場合がある。
(一実施形態)
本実施形態に係る距離計測装置は、受光光学系に対する受光位置がそれぞれ異なる複数のセンサからの出力信号を切り替えて出力することにより、鉛直方向のレーザ光の照射範囲を広げると共に、時系列輝度信号のノイズを抑制しようとしたものである。より詳しく、以下に説明する。
図1は、本実施形態に係る運転支援システムの概略的な全体構成を示す図である。まず、図1に基づき、運転支援システム1の概略的な全体構成を説明する。なお、運転支援システムの適用した一例であることに留意する。図1に示すように運転支援システム1は、距離画像に基づく運転支援を行う。運転支援システム1は、距離計測システム2と、運転支援装置500と、音声装置502と、制動装置504と、表示装置506とを、を備えて構成されている。距離計測システム2は、計測対象物10の距離画像、速度画像を生成するものであり、距離計測装置5と、計測情報処理装置400とを備える。
距離計測装置5は、走査方式及びTOF(Time Of Flight)方式を用いて、計測対象物10までの距離、相対速度を計測する。より具体的には、この距離計測装置5は、出射部100と、光学機構系200と、計測部300とを備えて構成されている。
出射部100は、レーザ光L1を間欠的に出射する。光学機構系200は、出射部100が出射するレーザ光L1を計測対象物10に照射するとともに、計測対象物10上で反射されたレーザ光L1の反射光L2を計測部300に入射させる。ここで、レーザ光とは、位相および周波数が揃った光を意味する。また、反射光L2は、レーザ光L1による散乱光のうちの所定方向の光を意味する。
計測部300は、光学機構系200を介して受光した反射光L2に基づき、計測対象物10までの距離を計測する。すなわち、この計測部300は、出射部100がレーザ光L1を計測対象物10に照射した時点と、反射光L2が計測された時点との時間差に基づき、計測対象物10までの距離を計測する。
計測情報処理装置400は、ノイズの低減処理と信号の積算処理を行い、計測対象物10上の複数の測定点までの距離に基づき距離画像データ、相対速度データを出力する。計測情報処理装置400の一部または全ては、距離計測装置5の筐体内に組み込んでもよい。
運転支援装置500は、計測情報処理装置400の出力信号に応じて車両の運転を支援する。運転支援装置500には、音声装置502、制動装置504、表示装置506などが接続されている。
音声装置502は、例えばスピーカであり、車両内の運転席から聴講可能な位置に配置されている。運転支援装置500は、計測情報処理装置400の出力信号に基づき、例えば音声装置502に「対象物まで5メートルです」などの音声を発生させる。これにより、例えば運転士の注意力が低下している場合にも、音声を聴講することで、運転士の注意を喚起させることが可能となる。
制動装置504は、例えば補助ブレーキである。運転支援装置500は、計測情報処理装置400の出力信号に基づき、例えば対象物が所定の距離、例えば3メートルまで近接した場合に、制動装置504に車両を制動させる。
表示装置506は、例えば液晶モニタである。運転支援装置500は、計測情報処理装置400の出力信号に基づき、表示装置506に画像を表示する。これにより、例えば逆光時などでも、表示装置506に表示される画像を参照することで、外部情報をより正確に把握可能となる。
次に、図2に基づき、本実施形態に係る距離計測装置5の出射部100、光学機構系200、および計測部300のより詳細な構成例を説明する。図2は、第1の実施形態に係る距離計測装置5の構成例を示す図である。図2に示すように、距離計測装置5は、出射部100と、光学機構系200と、計測部300と、計測情報処理装置400と、を備えて構成されている。ここでは、散乱光L3の内、所定の方向の散乱光を反射光L2と呼ぶこととする。図2に記載のブロック図は、信号例であり、順序、配線はこれに限定されない。
出射部100は、光源11と、発振器11aと、第1駆動回路11bと、制御部16と、第2駆動回路16aとを、有する。
光学機構系200は、照射光学系202と、受光光学系204とを有する。照射光学系202は、レンズ12と、第1光学素子13と、レンズ13a、ミラー(反射デバイス)15とを有する。
受光光学系204は、第2光学素子14と、ミラー15とを有する。すなわち、これら照射光学系202、及び受光光学系204は、ミラー15を共有している。
計測部300は、光検出器17と、センサ18と、レンズ18aと、第1増幅器19と、出力インターフェース23と、距離計測部300aとを有する。なお、光を走査する既存方法として、ここではミラー15を用いているが、ミラー15を用いる他に、距離計測装置5を回転させる方法(以下、回転方法と呼ぶ)がある。また、別の走査する既存方法として、OPA方法(Optical Phased array)がある。本実施形態は、光を走査する方法に依存しないため、回転方法やOPA方法により光を走査してもよい。また、本実施形態に係る信号処理部22が速度計測装置に対応する。
出射部100の発振器11aは、制御部16の制御に基づき、パルス信号を生成する。第1駆動回路11bは、発振器11aの生成したパルス信号に基づいて光源11を駆動する。光源11は、例えばレーザダイオード(LD:Laser Didode)などのレーザ光源であり、例えば4つのレーザダイオードにより構成される。4つのレーザダイオードの照射位置は例えば光軸L1に対して鉛直方向に異なっている。4つのレーザダイオードは、第1駆動回路11bによる駆動に応じてレーザ光L1を間欠的に発光する。なお、本実施の形態に係る光源11の4つのレーザダイオードは、順に発光するように制御するが、これに限定されない。例えば、隣り合わない2つレーザダイオードを同時に照射してもよい。また、レーザダイオードの数も4つに限定されない。また、レーザダイオードを一つで構成し、ミラー15に傾斜角の異なる複数のミラー面を有するポリゴンミラーを用いて、照射範囲を鉛直方向に変更してもよい。或いは、レーザダイオードを一つで構成し、ミラー15の光軸RA2を変更して、照射範囲を鉛直方向に変更してもよい。
照射光学系202の光軸O1上には、光源11、レンズ12、第1光学素子13、第2光学素子14、及びミラー15がこの順番に配置されている。これにより、レンズ12は、間欠的に出射されるレーザ光L1をコリメートして、第1光学素子13に導光する。
第1光学素子13は、レーザ光L1を透過させると共に、レーザ光L1の一部を光軸O3に沿って光検出器17に入射させる。第1光学素子13は、例えばビームスプリッタである。
第2光学素子14は、第1光学素子13を透過したレーザ光L1を更に透過して、レーザ光L1をミラー15に入射させる。第2光学素子14は、例えばハーフミラーである 。
ミラー15は、光源11から間欠的に出射されるレーザ光L1を反射する反射面15aを有する。第1実施形態に係るミラー15のデバイスは、例えばMEMES(Micro Electro Mechanical)により構成される。反射面15aは、例えば、互いに交差する2つの振動軸RA1、RA2を中心として振動可能となっている。これにより、ミラー15は、レーザ光L1の照射方向を周期的に変更(走査)する。ミラー15がMEMESにより構成される場合、ミラー15は、例えば共振により2つの振動軸RA1、RA2に対して往復運動を所定の周期で行う。
なお、ミラー15は、MEMESに限定されず、上述のように、例えば傾斜角の異なるポリゴンミラーを用いて、照射範囲を鉛直方向に変更してもよい。或いは、一般的な回転ミラーを用いても良い。このため、本実施形態では振動軸RA1、RA2を回転軸と呼ぶ場合がある。また、本実施形態では、振動軸RA1、RA2に対するミラー15の振動を振動軸RA1、RA2に対する回転と呼ぶ場合がある。例えば、振動軸RA1、RA2に対するミラー15の振れ角を回転角と呼ぶ場合がある。更に、レーザ光L1の走査は、ミラー15を用いず、出射部と受光部の一部を回転させることによっても可能であり、その場合は、第1光学素子13と第2光学素子14は不要となる。
制御部16は、例えばCPU(Central Processing Unit)を有し、反射面15aの傾斜角度を連続的に変更させる制御を第2駆動回路16aに対して行う。第2駆動回路16aは、制御部16から供給された駆動信号に従って、ミラー15を駆動する。すなわち、制御部16は、第2駆動回路16aを制御して、レーザ光L1の照射方向を変更させる。
受光光学系204の光軸O2上には、反射光L2が入射する順に、ミラー15の反射面15a、第2光学素子14、レンズ18a、センサ18が配置されている。ここで、光軸O1とは、レンズ12の中心位置を通過するレンズ12の焦点軸である。光軸O2とは、レンズ18aの中心位置を通過するレンズ18aの焦点軸である。
反射面15aは、計測対象物10上で散乱された散乱光L3のうち光軸O2に沿って進む反射光L2を第2光学素子14に入射させる。第2光学素子14は、反射面15aで反射された反射光L2の進行方向を変えて、光軸O2に沿って計測部300のレンズ18aに入射させる。レンズ18aは、光軸O2に沿って入射した反射光L2をセンサ18に集光させる。なお、レンズ18aにシリンドリカルレンズを用いてもよい。
一方で、散乱光L3のうちレーザ光L1と異なる方向に反射された光の進行方向は、受光光学系204の光軸O2からずれている。このため、散乱光L3のうち光軸O2と異なる方向に反射された光は、仮に受光光学系204内に入射しても、センサ18の入射面からずれた位置に入射される。これに対して、何らかの物体により散乱された太陽光などの環境光の中には、光軸O2に沿って進行する光があり、これらの光は、ランダムにセンサ18の入射面に入射して、ランダムなノイズとなる。
なお、図2においては、明確化のためにレーザ光L1と反射光L2の光路を分けて図示しているが、実際にはこれらは重なっている。また、レーザ光L1の光束の中心の光路を光軸O1として図示している。同様に、反射光L2の、光束の中心の光路を光軸O2として図示している。
このセンサ18は、例えば、受光光学系204に対する受光位置がそれぞれ異なる複数のライン状のセンサで構成される。なお、センサ18の詳細は後述する。
距離計測部300aは、レーザ光L1の反射光L2を信号化した計測信号をアナログデジタル変換した時系列輝度信号に基づき計測対象物10までの距離を計測する。この距離計測部300aは、信号生成部20と、記憶部21と、信号処理部22と、出力インターフェース23とを有する距離計測部300aの詳細な構成例は後述する。
信号生成部20は、センサ18が出力する電気信号を所定のサンプリング間隔で時系列輝度信号に変換する。この信号生成部20は、増幅器20aと、AD変換器20bと、を有する。増幅器20aは、例えば反射光L2に基づく電気信号を増幅する。より具体的には、増幅器20aとしては、センサ18の電流信号を、電圧信号に変換して増幅するトランスインピーダンスアンプ(TIA)などが用いられる。このように、反射光L2に基づく電気信号を所定のサンプリング間隔でサンプリングした信号を時系列輝度信号と呼ぶこととする。すなわち、時系列輝度信号は、反射光L2の時間的変化を所定のサンプリング間隔でサンプリングして得た値の系列である。
AD変換器20b(ADC: Analog to Digital Convertor)は、増幅器20aが増幅した計測信号を複数のサンプリングタイミングにおいてサンプリングして、レーザ光L1の照射方向に対応する時系列輝度信号に変換する。すなわち、AD変換器20bは、増幅器20aが増幅した計測信号をサンプリングする。なお、本実施の形態ではAD変換器20bを用いるが、これに限定されない。例えば、AD変換器20bの代わりに時間デジタル変換器(TDC:Time to Digital Converter)などを用いてもよい。
記憶部21は、例えば、ロジック回路におけるレジスタやSRAM、DRAM(Dynamic Random Access Memory)、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等により実現される。
信号処理部22は、例えば、MPU(Micro Processing Unit)を含んだロジック回路で構成され、光検出器17がレーザ光L1を検出するタイミングと、センサ18が反射光L2を検出するタイミングとの時間差に基づき、距離を計測する。
出力インターフェース23は、距離計測部300a内の各構成と接続され、信号を計測情報処理装置400などの外部装置に出力する。
ここで、図3Aに基づき、センサ18と距離計測部300aとの詳細な構成例を説明する。図3Aは、センサ18と距離計測部300aとの詳細な構成例を示すブロック図である。
センサ18は、例えば4つのライン状センサ180aにより構成される。図3Aでは、説明を簡単にするため、ライン状センサ180aは2つ(マル1、マル2)しか図示していない。ライン状センサ180aは、例えば32個の画素が1次元配列された、フォトマルチプライヤ(SiPM:Silicon Photomultipliers)である。すなわち、ライン状センサ180aには、32チャンネル(CH)分の画素が配置されている。なお、レーザ光L1の角度分解能として、鉛直方向の視野(FOV:Field of View)角として0.1°以下が要求され、鉛直方向の視野としては、10°以上が要求される場合がある。この場合、鉛直解像度を満たすためには、鉛直方向のセンサ画素数が100以上必要であることを意味する。
また、センサ18は、切替部190を有する。切替部190は、制御部16の制御により、複数のセンサからの出力信号を切り替えて距離計測部300aに出力する。切替部190は、例えば複数のスイッチ190aで構成され、それぞれのライン状センサ180aに対応して設けられる。なお、スイッチ190aは、ライン状センサ180a内に設けてもよいし、或いは、ライン状センサ180a外に設けてもよい。
スイッチ190aは、ライン状センサ180aが有する画素毎に対応するスイッチSm(1≦m≦j)、jは例えば32、を更に有する。すなわち、スイッチ190aは、画素毎の出力を距離計測部300aに出力したり、遮断したりできる。スイッチSm(1≦m≦j)は、“H”レベルの制御信号が入力されると、画素nの出力信号を出力ノードCh_n_Out(1≦n≦j)に出力する。一方で、“L”レベルの制御信号が入力されると、画素nの出力信号を出力ノードCh_n_Out(1≦n≦j)に出力しない。すなわち、スイッチ190aごとに“H”レベルの制御信号と、“L”レベルの制御信号とを切り替えることにより、使用されるライン状センサ180aに応じて、接続、遮断を切り替える。
このように、本実施の形態では、切替部190は、使用されるライン状センサ180aに応じて、接続、遮断を切り替える。例えばマル1で示されるライン状センサ180aが使用される場合には、マル1で示されるライン状センサ180aに対応するスイッチ190aを接続し、他のマル2~マル4で示されるライン状センサ180aに対応するスイッチ190aを遮断する。これにより、各スイッチ190aは、排他的に接続、非接続が制御される。なお、ライン状センサ180aへの電源供給をON/OFFすることは、ライン状センサ180aが安定するまで時間を要してしまう。一方で、切替部190を設けることにより、ライン状センサ180aを駆動した状態で、信号を出力したり、停止したりすることが可能である。これにより、ライン状センサ180aを安定した状態で駆動できる。
図3Bは、スイッチ190aを構成するスイッチ素子Smの構成例を示す図である。ここでは、図3Bを用いて、ライン状センサ180aの安定化駆動に関して説明する。
図3Aに示したスイッチSm(1≦m≦j)を、スイッチ素子Tm(1≦m≦j)に加えてスイッチ素子Dm(1≦m≦j)を含む構成で実現するものである。jは例えば32である。すなわち、スイッチ190aには、j個のスイッチ素子Dmが含まれる。
ライン状センサ180aの全ての画素n(1≦n≦j)の1端は、対応するスイッチ素子Tm及びDmの各々の第1端に共通接続される。スイッチ素子Dmは、例えば、p型の導電型を有するMOSトランジスタである。全てのスイッチ素子Dmの各々の第2端は、出力ノードDummy_outに共通接続される。全てのスイッチ素子Tmの各々の第2端は、出力ノードCh_n_Out(1≦n≦j)に接続される。
選択ノードSel_mには、対応するインバータINVmが設けられる。より具体的には、選択ノードSel_mに対応するインバータINVmは、選択Sel_mに接続されるスイッチ素子Tmのゲートに接続される入力端と、スイッチ素子Tmのゲートに接続される出力端と、を含む。
以上のように構成することにより、対応する2つのスイッチ素子Tm及びDmは、選択ノードSel_mに入力される論理レベル(“H”レベルか“L”レベルか)に応じて、いずれか一方をオン状態にしつつ、他方をオフ状態にするように制御される。これにより、例えば選択ノードSel_mが“H”レベルであれば、画素nの出力信号は、出力ノードCh_n_Outに出力される。一方で、選択ノードSel_mが“L”レベルであれば、画素nの出力信号は、出力ノードDummy_outに出力される。すなわち、ライン状センサ180aの出力を選択する場合に、選択ノードSel_mへの入力を“H”レベルとし、選択しない場合に選択ノードSel_mへの入力を“L”レベルとする。これにより、ライン状センサ180aが選択されない場合に、ライン状センサ180a内の画素が受光しても出力ノードDummy_outに出力するので、出力ノードCh_n_Out(1≦n≦j)への出力が影響を受けることを抑制できる。
このように、ライン状センサ180aが選択されない場合には、ライン状センサ180aの駆動を維持しつつ、出力は出力ノードDummy_outに出力される。これにより、選択されない場合にもライン状センサ180aの駆動を行うことで、ライン状センサ180aの状態が安定すると共に、出力信号も出力ノードDummy_outに出力されるので信号処理への影響も抑制される。
増幅器20aは、ライン状センサ180aが有する画素数に対応した数のトランスインピーダンスアンプ(TIA)で構成される。同様に、AD変換器20bもライン状センサ180aが有する画素数に対応した数のAD変換器(ADC)で構成される。これにより、ライン状センサ180aが有する画素ごとの出力信号をデジタル信号に変換することが可能である。また、記憶部21にも、ライン状センサ180aが有する画素に対応した記憶領域を割りふってもよい。
信号処理部22内には、例えばライン状センサ180aが有する画素数に対応した平均化プロセッサが設けられている。これにより、ライン状センサ180aが有する画素毎の距離演算をより高速により高精度に行うことが可能となる。また、距離計測部300aを共通化することにより、小型化が可能である。これにより、距離計測部300aをより小型化された計測ICとして構成可能である。このように、距離計測部300aは、レーザ光L1(図2)の発光タイミングと、切替部190の出力信号に基づく時系列輝度信号のピーク位置のタイミングとの時間差に基づき、計測対象物10(図2)までの距離を計測する。なお、平均化プロセッサで行われる平均化処理の例については後述する
なお、フォトマルチプライヤは、シングルフォトンアバランシェダイオード(SPAD)を複数集積したフォトンカウンティングデバイスである。フォトマルチプライヤは、フォトンカウンティングレベルの微弱光を検出することが可能である。すなわち、ライン状センサ180aの受光素子(画素)は、ガイガーモードのアバランシェフォトダイオード(APD:Avalanche Photo Diod)と、クエンチ抵抗とを有するSPADで構成される。
アバランシェフォトダイオードは、アバランシェ増倍と呼ばれる現象を利用して受光感度を上昇させた受光素子である。ガイガーモードで使用されるアバランシェフォトダイオードは、一般にクエンチング素子(後述)と共に使用されて単一光子アバランシェフォトダイオード(SPAD: Single-Photon Avalanche Diode)とよばれ、シリコンを材料としたものは、例えば200nm~1000nmまでの波長の光に感度を有する。
本実施形態に係るライン状センサ180aは、シリコンフォトマルチプライヤにより構成されるが、これに限定されない。例えば、ライン状センサ180aを、フォトダイオード(Photodiode)、アバランシェダイオード(ABD:avalanche breakdown diode)、化合物半導体を材料としたフォトマルチプライヤなどを複数配置して構成してもよい。フォトダイオードは、例えば光検出器として働く半導体により構成される。アバランシェダイオードは、特定の逆電圧にてアバランシェ降伏を起こすことにより、受光感度を上げたダイオードである。
ここで、図4に基づき、複数のレーザダイオード110aと複数のライン状センサ180aとの対応関係例を説明する。図4は、複数のレーザダイオード110aと複数のライン状センサ180aとの対応関係を示す模式図である。以下の説明では、図面内にマル1~マル4などの数値を振って対応関係を示す場合がある。例えば図面中のマル1とマル1とは対応関係にあり、マル2とマル2とは対応関係にあることを示す。すなわち、マル1~マル4は、対応関係にあるレーザダイオード110aとライン状センサ180aとを模式的に示している。例えば、マル2で示すレーザダイオード110aが発光すると、ミラー15を含む照射光学系202(図2)を介して、計測対象物10に照射される。そして、計測対象物10からの反射光は、ミラー15を含む受光光学系204(図2)を介して、マル2で示すライン状センサ180aに受光される。換言すると、マル2で示すレーザダイオード110aとマル2で示すライン状センサ180aとは、照射光学系202及び受光光学系204(図2)を介して対応している。同様に、例えば、マル1で示すレーザダイオード110aが発光すると、その計測対象物10(図2)からの反射光は、ミラー15を含む受光光学系204(図2)を介して、マル1で示すライン状センサ180aに受光される。このように、複数のライン状センサ180aは、受光光学系204(図2)に対する受光位置がそれぞれ異なる。なお、本実施形態では、ライン状センサ180aを単にセンサ180aと呼ぶ場合がある。
このように、レーザダイオード110aのマル1~マル4とライン状センサ180aのマル1~マル4がそれぞれ対応している。このため、例えばマル2で示すレーザダイオード110aが発光すると、切替部190は、マル2で示すライン状センサ180aの出力信号を距離計測部(計測IC)300aに出力する。同様に、マル1で示すレーザダイオード110aが発光すると、切替部190は、マル1で示すライン状センサ180aの出力信号を距離計測部300aに出力する。これから分かるように、切替部190が、レーザダイオード110aの発光に対応させて、出力信号を対応するライン状センサ180aに切り替えるので、信号を遮断した他のライン状センサ180aからの出力信号は、距離計測部300aに出力されない。これにより、他のレーザダイオード110a(マル2が発光している場合には、マル1、マル3、マル4)による散乱光によるノイズを遮断できる。
このように、切替部190は、レーザ光L1を異なる方向にそれぞれ照射する複数の光源(レーザダイオード110aのマル1~マル4)の照射タイミングに応じて、出力信号を切り替える。また、ミラー15(図2、4)は、振動軸RA1に対して所定の周期で順方向への振動、及び逆方向への振動をする。このような場合、切替部190は、例えば所定の周期に応じて、出力信号を切り替えてもよい。一方で、ミラー15にポリゴンミラーを用いる場合には、切替部190は、レーザ光L1(図2)を異なる方向にそれぞれ照射するポリゴンミラーのミラー面の切り替えタイミングに応じて、出力信号を切り替えてもよい。なお、本実施形態では順方向への振動を順方向振動と称し、逆方向への振動を逆方向振動と称する。また、上述のように、振動軸RA1、RA2に対して順方向への振動を順回転、逆方向への振動を逆回転と呼ぶ場合がある。
これに対して、例えばマル1~マル4のレーザダイオード110aを同時に発光して、マル1~マル4のライン状センサ180aで並行処理を行うと、この場合、距離計測部300aも4つ必要となり、装置が大型化してしまう。
このため、別の例として、切替部190を設けずに距離計測部300aを一つとし、マル1~マル4のレーザダイオード110aを順に発光させる例も考えられる。しかし、これだと信号を受光していないライン状センサ180aの出力信号も加算され、ノイズが4倍になってしまい、SNが低下してしまう。例えば、この例だと、測定距離が約71パーセント(~1/4の1/4乗)まで低下する。
レーザダイオード110aは、例えばレーザの安全規格を守るために、レーザダイオードのパワーが制限される。このような場合に、本実施形態に係るレーザダイオード110aのように複数(マル1~マル4)のレーザダイオード110aを用いると、ライン状センサ180aの画素当たりの光パルスのパワーを増大させることが可能となる。これにより、単位画素当たりの光パルスのパワーを増大できることにより、信号Sを増大できる。
次に、図5、図6及び図7に基づき光源11の出射パターン例を説明する。図5は、ミラー15(図2)の1周期における光源11の出射パターンを模式的に示している図である。横軸は時間を示し、レーザ光の照射があったタイミングをハイパルスの幅で示している。ミラー15(図2)の1周期は、図6で説明するように、ミラー15(図2)の一往復分の振動運動に対応する。
上側の図は、下側の図における部分拡大図である。図5で示すように、光源11は、例えばT=数マイクロ秒~数十マイクロ秒の間隔で、レーザ光L1(n)(0≦n<N)を間欠的に繰り返し発光する。ここで、n番目に発光されるレーザ光L1をL1(n)と表記する。Nは、ミラー15(図2)の1周期におけるレーザ光L1(n)の照射回数を示している。1周期分の照射が終了すると、次周期分のレーザ光L1(n)(0≦n<N)を間欠的に繰り返し発光する。
図6は、ミラー15の周期と照射タイミングを説明する図である。図6の縦軸は、ミラー15の水平方向の回転角度(例えば図2の振動軸RA1に対する振れ角に対応する)を示し、横軸は時間を示している。ミラー15は、往路の範囲で示すように、所定の角度、例えば60度から順方向に回転を開始し、さらに所定の角度、例えば120度回転して停止する。そして、復路の範囲で示すように、所定の角度、例えば-60度から逆方向に回転を開始し、さらに所定の角度、例えば-120度回転して停止する。このように、ミラー15は往路の順回転と復路の逆回転を繰り返す往復運動をする。このようにミラー15(図2)の一往復分の振動運動が1周期に対応する。
図中の丸印は、レーザ光L1(n)(0≦n<N)の照射タイミング例を示している。往路の開始時から、レーザ光L1(0)の照射が間欠的に開始され、往路の終了時にL1(N-1)が照射される例を示している。一方で、復路ではレーザ光の照射は停止される。図6中での×印はレーザ光の照射停止を意味する。
本実施形態では、往路又は復路の一方の期間だけレーザ光L1(n)(0≦n<N)を照射する場合を「片側照射」と呼び、往路及び復路の期間ともにレーザ光L1(n)(0≦n<N)を照射する場合を「両側照射」と呼ぶこととする。
図7は、片側照射される場合に計測対象物10に照射される各レーザ光の照射パターンの一例を示す模式図である。照射ラインマル1~マル4は、マル1~マル4の各レーザダイオード110a(図4)に対応している。説明を簡単にするため、マル1~マル4の各レーザダイオード110a(図4)が一周期分しか照射しない例を示すが、これに限定されない。
図7に示すように、例えば、ミラー15(図2)の最初の往路でマル1に対応するレーザダイオード110aが発光する。次の往路では、マル2に対応するレーザダイオード110aが発光する。マル1に対応するレーザダイオード110a(図4)の照射経路と、マル2に対応するレーザダイオード110(図4)aの照射経路とは、照射ラインマル1とマル2で示すようにy方向にずれている。こように、マル1~マル4のレーザダイオード110a(図4)ごとに照射ラインを変更可能である。照射ラインを変更するために、マル1~マル4のレーザダイオード110aの照射光学系202(図2)の光軸L1に対する照射方向を変えてもよいし、或いは、ミラー15(図2)の振動軸RA2をマル1~マル4のレーザダイオード110aの発光ごとに変更してもよい。
ここで、図8に基づき、各ラインセンサ180a(図4)の画素毎のレーザ照射範囲を説明する。図8は、計測対象物10におけるレーザ光の照射範囲10a、10cと、1画素あたりに対応する照射範囲10b、10dを模式的に示す図である。P1~P3は、マル1~マル3のレーザダイオード110a(図4)に順に片側照射されたラインを示す。このように、図8の例では、マル1~マル4のレーザダイオード110a(図4)が順に片側照射しつつ、照射ラインをy方向に変更する。
照射範囲10aは、マル1のレーザダイオード110a(図4)が照射するレーザのワンショットの範囲を示す。照射範囲10bは、マル1のライン状センサ180aの第1画素(1CH)に受光されるレーザ光の照射範囲を示している。このように、マル1のレーザダイオード110a(図4)の第1画素(CH1)に受光される照射範囲10b(図4)は、時間と共に移動する。図8では簡単のため、第1画素(CH1)に受光される照射範囲10bしか示していないが、実際には照射範囲10aには、例えば、マル1のラインセンサ180a(図4)の第1~32画素(CH1~CH32)それぞれに受光される照射範囲10bが縦一列に含まれる。すなわち、照射範囲10bは、距離画像の空間解像度に対応する。
同様に、照射範囲10cは、マル2のレーザダイオード110a(図4)が照射するレーザのワンショットの範囲を示す。照射範囲10dは、マル2のライン状センサ180a(図4)の第1画素(1CH)に受光されるレーザ光の照射範囲を示している。このように、マル2のレーザダイオード110aの第1画素(1CH)に受光される照射範囲10bは、時間と共に移動する。
次に、図9Aに基づき、現フレームf(m)の時系列輝度信号B(m)の一例を説明する。ここで、フレームとは、周期的に繰り返されるレーザ光L1の出射の組み合わせを意味する。例えば1フレーム分のレーザ光L1の出射の組み合わせにより、1距離画像分の距離値が取得される。
図9Aは、現フレームf(m)の時系列輝度信号B(m)の一例を示す図である。すなわち、ライン状センサ180a(図4)の1画素(CH)が出力する出力信号を、信号生成部20(図2)によりサンプリングしたサンプリング値の一例を示す図である。図9Aの横軸はサンプリングタイミングを示し、縦軸は時系列輝度信号B(m)のサンプリング値、すなわち輝度値を示している。m(0≦m<M)はフレームfの番号を示す。
例えば、サンプリングタイミングt0~t32にブランキング時間を加えたものは、レーザ光L1(n)が照射されてから次のレーザ光L1(n+1)が照射されるまでの経過時間T(図5)に対応する。図中のピークが反射光L2に基づくサンプリング値であり、このピークを示すサンプリングタイミングTL2が計測対象物10までの距離の2倍に対応する。
より具体的には、距離=光速×(サンプリングタイミングTL2-光検出器17がレーザ光L1を検出したタイミング)/2なる式で距離が求められる。ここで、サンプリングタイミングは、レーザ光L1の発光開始時刻からの経過時間である。
ここで、時系列輝度信号B(m、x、y)のm(0≦m<M)はフレームfの番号を示し、座標(x、y)は、レーザ光L1の照射方向に基づき定められる座標を示している。すなわち、座標(x、y)は、現フレームf(m)の距離画像、速度画像を生成した際の座標に対応する。例えば、図8に示すように、1画素あたりに対応する照射範囲10b、10dそれぞれの座標を座標(x、y)で示す。また、輝度信号B(m、x、y)は、近接する座標の輝度信号を積算して使用してもよい。例えば、2×2、3×3、5×5の座標範囲の輝度信号を積算してもよい。このような、2×2、3×3、5×5の座標範囲の輝度信号を積算する処理は、平均化と呼ばれる場合がある。ここで、積算とは、座標(x、y)の近辺・隣接した座標(例えば、座標x+1、y+1)の時系列輝度情報を、座標(x、y)のそれに足し合わせて最終的な時系列輝度情報を求める技術である。これによりS/Nを向上させる技術である。つまり、最終的な時系列輝度情報には、近辺・隣接した座標の時系列輝度情報も含まれ得る。更に言えば、単純化のために、本実施系値に係る時系列輝度信号B(m-1、x、y)と時系列輝度信号B(m、x、y)の座標(x、y)は同一であるとして説明するが、前者の座標はその近辺・隣接した座標であってもよい。
図9Bに基づき、平均化プロセッサ22(図3)で行われる平均化処理(時分割積算)の例をより具体的に説明する。図9Bは、平均化処理例を示す図である。(A)は、ライン状センサ180aが有する画素nが出力した時系列輝度信号である。(B)は、ライン状センサ180aが有する画素nの例えば近辺・隣接した画素が出力した時系列輝度信号である。(C)は、(A)の時系列輝度信号と(B)の時系列輝度信号とを積算した時系列信号である。それぞれの縦軸は輝度値を示し、横軸は時間を示す。
(C)で示すように、ノイズはランダムに発生するので、複数の時系列輝度信号を積算すると、信号に比べて相対的に低減される。一方、信号はほぼ同じ時間に発生するので、複数の時系列輝度信号を積算すると相対的に増加される。このように、平均化処理(時分割積算)を行うと、ランダムに発生するノイズ(N)は相対的に低減し、逆に信号(S)は相対的に増加し、平均化処理した時系列輝度信号のS/Nが改善される。
なお、平均化プロセッサで時系列輝度信号間の時系列相関に応じた重み値で重み付けして時系列輝度信号を積算してもよい。これにより、同一の測定対象物10からの時系列輝度信号の時系列相関は、測定対象物10と異なる反射物からの時系列輝度信号の時系列相関より高くなるので重み値がより大きくなる。これにより、同一の測定対象物10からの時系列輝度信号は、測定対象物10と異なる反射物からの時系列輝度信号よりも多く積算されるので、よりS/Nが改善される。
ここで、図2及び図4を参照しつつ、図10Aから図16に基づき、光学機構系200(図2)の、ここで提案する特殊な照射パターン例を説明する。この特殊な照射パターンは、後述する様に、MEMSやポリゴンミラー等、ある程度高速に走査されるデバイスにおいて、高解像の距離画像データを取得するために有用である。なお、更に高速に走査される場合は、特開2019-52981号公報に記された方法などが、有用である。先ず、図10A及び図11に基づき「飛ばし」の例を説明する。マル1~マル4の各レーザダイオード110a(図4)がそれぞれ、LD1~LD4に対応する。
図10Aは飛ばしの照射パターンを説明するための模式図である。図10Aの上図はミラー15(図2)の水平方向の回転角度(MEMSの場合、振れ角に対応する)、すなわち振動軸RA1の回転角度、とレーザダイオード110a(図4)の照射タイミングを示している。縦軸は回転角度を示し、横軸は時間を示す。マル0、マル2、マル4、マル6・・・はミラー15の第1、第3周期それぞれにおけるレーザダイオード110a(図4)の照射タイミングを示し、マル1、マル3、マル5、マル7・・・はミラー15の第2、第4周期それぞれにおけるレーザダイオード110a(図4)の照射タイミングを示している。
表は、レーザダイオード110a(図4)の照射順を示している。LD1がマル1のレーザダイオード110a(図4)に対応し、LD2がマル2のレーザダイオード110a(図4)に対応している。説明を簡単にするため、マル3、マル4のレーザダイオード110a(図4)の説明は省略する。
1周期目には、レーザダイオードLD1が、マル0、マル2、マル4、マル6・・・の位置で順にレーザ光を照射する。ここで、1~16の数字は、照射順を示している。簡単のため1~16までしか記載しないが実際には、1周期で、例えば数百以上の照射順が存在する場合がある。2周期目には、レーザダイオードLD1が、マル1、マル3、マル5、マル7・・・の位置で順にレーザ光を照射する。これにより、レーザダイオードLD1は、1周期目の照射位置マル0、マル2、マル4、マル6を補完するように、2周期目の照射位置マル1、マル3、マル5、マル7に照射される。
同様に、3周期目には、レーザダイオードLD2が、マル0、マル2、マル4、マル6・・・の位置で順にレーザ光を照射する。4周期目には、レーザダイオードLD1が、マル1、マル3、マル5、マル7・・・の位置で順にレーザ光を照射する。これにより、レーザダイオードLD2は、3周期目の照射位置マル0、マル2、マル4、マル6を補完するように、4周期目の照射位置マル1、マル3、マル5、マル7に照射される。このように、「片側照射」で同じライン上の照射位置を補うように照射するパターンを本実施形態では「飛ばし」と呼ぶこととする。なお、「飛ばし」では、同一ライン上でもよいし、或いはラインを上下方向(例えば図7のy方向)に変更してもよい。
例えば、ミラー15をMEMSで構成する場合、MEMSミラーの共振周波数は一般に高く、振動の周期が短い。一方、レーザ間隔の出射間隔(時間)は、最大測距距離の仕様から下限が存在する。その結果、1周期の照射回数が少なくなる。つまり、図5で示す時間間隔Tの照射間隔では水平方向のレーザ光L1の照射方向の分解能が粗くなってしまう場合がある。これを「飛ばし」による照射パターンを行うことにより、水平方向のレーザ光L1の照射方向の分解能をより細かくすることが可能となり、水平方向の解像度を維持可能となる。
また、図中のヒストグラムは、例えば、「1」の照射タイミングにおけるマル1のライン状センサ180a(図4)の1画素に対する時系列輝度信号の積算例を示す。例えば「1」に対応する画素を中心とする3×5の周辺の座標範囲の輝度信号を、重みを付けて積算する。同様に、「5」の照射タイミングにおけるマル1のライン状センサ180a(図4)の1画素に対する時系列輝度信号の積算例を示す。
図10Bを用いて、「飛ばし」における3×5の周辺の座標範囲の時系列輝度信号を、重みを付けて積算する例を説明する。図10Bは、「飛ばし」における3×5の重みを付け積算の例を示す図である。図10B中の数字は1ch毎の照射順を示している。例えば、照射順「3」を中心として、3×5の周辺の座標範囲の時系列輝度信号を、重みを付けて積算する。このように、「飛ばし」においては、中心画素「3」の水平方向の隣接画素には照射順の異なる画素が配置されるが、照射方向の分解能をより細かくすることが可能となり、系列輝度信号の積算値におけるS/Nが向上する。重みは、上述のように、例えば時系列輝度信号間の時系列相関を用いて演算する。
図11は、飛ばしの照射パターン例を模式的に示す図である。「Line ♯0」が画素「♯0」で得られるデータの順番とレーザ光L1の照射位置との関係を示す。マル0~マル9は、図10Aの例えば、マル0~マル9(図10Aではマル8とマル9は不図示である)に対応している。同様に「Line ♯1」が画素「♯1」で得られるデータの順番とレーザ光L1の照射位置との関係を示す。マル0~マル9は、図10Aの例えば、マル0~マル9(図10Aではマル8とマル9は不図示である)に対応している。上述したように、飛ばしの照射パターン例では、レーザダイオード110aの照射位置をy方向(図8)にずらしてもよい。この場合、例えばミラー15の振動軸RA2(図2)が変更される。
次に、図12~図14に基づき「折り返し」の例を説明する。「折り返し」は、「両側照射」の照射パターン例である。図12は、「折り返し」の例を説明する図である。各図は、図10Aと同様である。すなわち、図12では、レーザダイオードLD1、LD2の照射順が、図10Aと異なる。
より具体的には、1周期目には、レーザダイオードLD1が、マル0、マル2、マル4、マル6・・・の位置で順にレーザ光を照射する。ここで、1~16の数字は、照射順を示している。2周期目には、レーザダイオードLD1が、マル7、マル5、マル3、マル1・・・の位置で順にレーザ光を照射する。これにより、レーザダイオードLD1は、1周期目の照射位置マル0、マル2、マル4、マル6を補完するように、2周期目の照射位置マル7、マル5、マル3、マル1で照射する。
同様に、3周期目には、レーザダイオードLD2が、マル0、マル2、マル4、マル6・・・の位置で順にレーザ光を照射する。4周期目には、レーザダイオードLD2が、マル7、マル5、マル3、マル1・・・の位置で順にレーザ光を照射する。これにより、レーザダイオードLD2は、3周期目の照射位置マル0、マル2、マル4、マル6を補完するように、4周期目の照射位置マル7、マル5、マル3、マル1に照射する。
例えば、ミラー15をMemsで構成する場合、図5で示す時間間隔Tの照射間隔では水平方向のレーザ光L1の照射間隔が粗くなってしまう場合がある。これを「折り返し」による照射パターンを行うことにより、水平方向のレーザ光L1の照射間隔をより細かくすることが可能となり、水平方向の解像度を維持可能となる。さらに、「両側照射」するため、「片側照射」よりも短時間に同点数の照射を行うことが可能である。
図13は、折り返しの照射パターン例を模式的に示す図である。「Line ♯0」が画素「♯0」で得られるデータの順番とレーザ光L1の照射位置との関係を示す。マル0~マル9は、図12の例えば、マル0~マル9(図10Aではマル8とマル9は不図示である)に対応している。同様に「Line ♯1」が画素「♯1」で得られるデータの順番とレーザ光L1の照射位置との関係を示す。マル0~マル9は、図10Aの例えば、マル0~マル9(図10Aではマル8とマル9は不図示である)に対応している。なお、折り返しの照射パターン例では、レーザダイオード110aの照射位置をy方向(図8)にずらしてもよい。
図14は、2周期分の折り返しの照射パターン例を模式的に示す図である。「Line ♯0」が画素「♯0」で得られるデータの順番とレーザ光L1の照射位置との関係を示す。マル0~マル11は、図12の例えば、マル0~マル11(図12ではマル8~マル11は不図示である)に対応している。同様に「Line ♯1」が画素「♯1」で得られるデータの順番とレーザ光L1の照射位置との関係を示す。マル0~マル11は、図12の例えば、マル0~マル11(図12ではマル8~マル11は不図示である)に対応している。なお、折り返しの照射パターン例では、レーザダイオード110aの照射位置をy方向(図8)に順にずらしてもよい。
例えば、ミラー15をMEMSで構成する場合、MEMSの振動速度がより速い場合や、計測対象物10(図2)がより遠距離にある場合などに、折り返し数を増加させる。例えば、遠距離になるほど時間間隔T(図5)を長くとる必要がある。すなわち、Tが長くなるほど、水平解像度が低下する。これに対して、本実施形態に係る距離計測装置5では、折り返し数を調整出来るので、MEMSの振動速度がより速い場合や、計測対象物10(図2)がより遠距離にある場合などにも、水平解像度を増加させることが可能となる。
次に、図15に基づき「ずらし」の例を説明する。「ずらし」は、フレームごとに照射位置を変更する照射パターンである。図15は、「ずらし」の例を説明する図である。図15の上図は図10Aと同様である。
1フレーム目には、レーザダイオードLD1が、同一ラインのマル0、マル2、マル4、マル6・・・の位置で順にレーザ光を照射する。ここで、1~8の数字は、照射順を示している。2フレーム目には、レーザダイオードLD1が、1フレーム目と同一ラインのマル1、マル3、マル5、マル7・・・の位置で順にレーザ光を照射する。このように、レーザダイオードLD1は、1フレーム目の照射位置マル0、マル2、マル4、マル6に対してずらした位置に、2フレーム目の照射位置マル1、マル3、マル5、マル7を設定し、照射する。このように、ずらしの撮影では、1フレーム面と2フレーム目で照射位置をずらすことが可能であり、各フレームで距離情報を補完することが可能である。
次に、図16に基づき「切替え&入替え」の例を説明する。「切替え&入替え」は、レーザダイオードLD1~LD3の照射順を切り替え、切り替える順を入れ替える照射方法である。図16は、「切り替え&入替え」の例を説明する図である。図16の上図は図10Aと同様である。マル0の位置では、レーザダイオードLD3、LD1、LD2の順に照査される。レーザダイオードLD1、LD2、LD3の照査位置はy方向(図8)にずれている。マル1の位置では、レーザダイオードLD3、LD1、LD2の順に照査される。このように、マル0の位置では、レーザダイオードLD3、LD1、LD2の順に照射を切り替え、マル1の位置では、レーザダイオードLD3、LD1、LD2の順に照射を切り替える。また、マル0の位置では、レーザダイオードLD3、LD1、LD2の順であったのを、マル1の位置では、レーザダイオードLD3、LD1、LD2の順に入れ替える。
このように、本実施形態では、ミラー15の同一の振動位置で、レーザダイオードLD1、LD2、LD3を任意の順で切り替えて発光さえることを「切替え」と呼ぶこととする。また、ミラー15の振動位置を替えて、例えば、マル0の位置からマル1の位置にミラー15の振動位置を替えた際に、レーザダイオードLD1、LD2、LD3の発光順を変更することを「入替え」と呼ぶこととする。切り替え&入替えの撮影では、ミラー15の1周期でレーザダイオードLD1、LD2、LD3の撮影が可能であり、鉛直方向の画素の時間的な相関性をより高めることが可能である。
以上説明してきた折り返し、飛ばし、切替え&入替えといった変則的な照射を行わない場合は、当該照射の時系列輝度信号と、それ以前の高々数照射の時系列輝度信号を用いて、平均化処理をすることができる。その最小の場合は、時系列輝度信号を積算する累積器(ヒストグラムメモリ)をチャネル数分だけ用意するだけでよい。しかし、折り返し、飛ばし、切替え&入替えといった変則的な照射を行う場合は、隣接画素が連続して照射されず、はるか以前に照射されている場合がある。従って、平均化において、はるか以前に照射された時系列輝度信号、あるいはその代わりとなるデータを必要とする。一般的には、フレーム全体のデータ(フレームメモリ)を保持することが望まれる。逆に、フレームメモリを保持しているならば、現フレームだけではなく、前フレームのデータも平均化に利用すること(フレーム間平均化)、それによってSN比を改善することが可能になる。
ここで、図17に基づき、各照射パターン例に対する座標変換例とデータの保存例を説明する。図17は、各照射パターン例に対する座標変換例を示す図である。上段から順に、「折り返し」、「飛ばし」、「ずらし」、「切替え&入替え」の一例を示している。また、左側が座標変換例を示し、右側がフレームメモリ内の保存例及び平均化処理の範囲例を示す。従来のように、記憶部(フレームメモリ)21(図2)に記憶された順に、座標を割振ると、空間位置における座標とずれが生じてしまう。これだと、フレーム間の平均化処理などの空間フィルタ処理が行えなくなってしまう。そこで、信号処理部22(図2)は、取得されたデータを実際の計測方向と位置関係に合わせて並べ替えることを行う。より具体的には、信号処理部22(図2)は、レーザ光L1(図2)の照射タイミングに関する情報と、ミラー15の回転位置(例えば、振動軸RA1、RA2の角度、ミラー15の種類など)に関する情報を制御部16(図2)から取得し、これらの情報に基づき、座標を設定する。なお、本実施形態に係る信号処理部22(図2)が設定部に対応する。以下では、簡単のため、各ライン状センサ180a(図4)に1画素しかない例で説明する
「折り返し」の例では、数字は、レーザ光の照射順を示している。通常の保存方法であれば、6で示す画素の座標は左端に示され、10で示す画素の座標は右端で示される。本実施形態では、信号処理部22(図2)が、各データを実際の計測方向と位置関係に合わせて並べ替える。このため、6で示す画素の座標が右端に修正され、10で示す画素の座標は右端に修正されている。これにより、例えば画素2と周辺画素を加算して、平均化処理を行うことが可能となる。
「飛ばし」の例では、数字は、レーザ光の照射順(図10A)を示している。通常の保存方法であれば、例えば2で示す画素の座標は1の隣であり、例えば3で示す画素の座標は真中の位置となる。本実施形態では、信号処理部22(図2)が、各データを実際の計測方向と位置関係に合わせて並べ替える。このため、2で示す画素の座標が左端から3番目に修正され、3で示す画素の座標は右端に修正されている。これにより、例えば画素5と周辺画素を加算して、平均化する処理を行うことが可能となる。このように、信号処理部22(図2)は、順回転及び逆回転の一方だけレーザ光L1(図2)を照射する片側照射と、順回転及び逆回転の両方にレーザ光L1を照射する両側照射とに応じて座標の設定方法を変更する。
「ずらし」の例では、数字は、レーザ光の照射順(図15)を示している。「ずらし」の例では、1フレーム目の1と2フレーム目の5を同一の座標として記憶する。「1/5」、「2/6」などは、1と5とを同一座標として扱い、2と6とを同一座標として扱い、これにより、フレーム間平均を行う場合に、フレーム間で隣接する画素を同一の座標として扱うことが可能となる。
「切替え&入替え」の例では、数字は、レーザ光の照射順(図16)を示している。通常の保存方法であれば、例えば4で示す画素の座標は3の隣であり、例えば5で示す画素の座標は4の隣となる。本実施形態では、信号処理部22(図2)が、各データを実際の計測方向と位置関係に合わせて並べ替える。このため、4で示す画素の座標が左端から2番目に修正され、5で示す画素の座標は左端から2番目に修正されている。これにより、例えば画素4と周辺画素を加算して、平均化する処理を行うことが可能となる。
なお、「折り返し」、「飛ばし」、「ずらし」、「切替え&入替え」の例を説明したが、これらを組み合わせてもよい。例えば、前フレームでは「折り返し」で照射し、現フレームでは「飛ばし」で照射する場合がある。或いは、現フレームの三分の一は、「折り返し」で照射し、現フレームの次の三分の一は、「飛ばし」で照射し、現フレームの次の三分の一は、「ずらし」で照射する場合がある。
ここで、図18、19に基づき、距離画像に関するデータ保存例1から5、及び隣接画素として扱えない座標間の識別情報に関して説明する。これらのデータは、例えば平均化処理などに使用される。各小四角は座標に対応する。例えば1(CH1)は、1チャンネル(CH1)、すなわち第1画素の出力に基づく1番目のデータの座標を示し、1(CH2)は、2チャンネル(CH2)、すなわち第2画素の出力に基づく1番目のデータの座標を示している。
図18は、距離画像あるいは時系列輝度信号データに関するデータ保存例1、2を示す図である。ここでは、簡単のため、ライン状センサ180a(図4)のマル1~マル3のチャンネルを2チャンネル(CH1~2)とし、水平方向の照射点を3点としている。
すなわち、データ保存例1は、「飛ばし」のデータ保存例であり、データ保存例2は、「折り返し」のデータ保存例である。より詳細には、数字が照射順を示し、CH1がマル1のライン状センサ180a(図4)の1画素目の出力に基づくデータを示している。例えば1(CH1)は、1チャンネル(CH1)における1番目のデータを意味している。同様に、4(CH2)は、マル2のライン状センサ180a(図4)の2チャンネル(CH2)の出力に基づく照射順が4番目のデータを意味している。同様に、9(CH2)は、マル3のライン状センサ180a(図4)の2チャンネル(CH2)の出力に基づく照射順が9番目のデータを意味している。「D.C.」は未保存を意味する。例えば図8に示すように、各チャンネルの照射範囲10b、10dなどは空間的に関連しているので、なお、図18の例は各座標を隣接画素として扱ってもよい例である。
図19は、距離画像に関するデータ保存例3から5を示す図である。ここで、各小四角は座標に対応する。 左側の図が、Start回数と、測距の空間方向との関係を模式的に示す図である。「Start回数」は、鉛直方向に走査する走査線の識別子(番号)である。Start回数は、ポリゴンモータの場合は、例えばポリゴンミラーの各照射面に対応する。複数のレーザダイオード110aによる鉛直方向の走査(図4)の場合は各マル1~マル4のいずれかに対応する。「測距の空間方向」は、特に鉛直方向のレーザ照射方向を意味しており、縦方向の座標に対応する。「空間的に非連続」は、上下の座標に対応する測定空間での照射範囲(例えば図8の10b、d)が非連続であることを示し、「空間的に連続」は、上下の座標に対応する測定空間での照射範囲(例えば図8の10b、d)が連続であることを示している。右側の図は、データ保存例である。信号処理部22(図2)は、レーザ光L1(図2)の照射タイミングに関する情報と、ミラー15の回転位置(例えば、振動軸RA1、RA2の角度、ミラー15の種類など)に関する情報を制御部16(図2)から取得し、これらの情報に基づき、隣接画素として扱えない座標間に識別情報を付与する。
保存例3は、例えば光学機構系200(図1)にポリゴンモータを使用した場合のデータ保存例である。ここでは、簡単のため、Start回数を2とし、ライン状センサ180a(図4)のマル1~マル2のチャンネルを2チャンネル(CH1~2)とし、水平方向の照射点を3点としている。ポリゴンモータに駆動されるポリゴンミラーは、水平回転することにより照射面が非連続に変化する。この照射面は、例えば6面あり、各面の角度は異なる。走査方向は概ね水平であるが、各面に特有の歪みがあり、特に周辺近くで湾曲する。これにより、ポリゴンミラーで照射されるレーザ光の照射方向は、隣接する照射面の間で連続ではなく、空間的にずれが生じる場合があり、異なる照射面の画素(座標)について平均化を行うことは好ましくない。この場合、ポリゴンミラーの切り替えに応じて、レーザダイオード110a(図4)を各マル1~マル4で切り替えてもよいし、或いは一つのレーザダイオード110aのみを使用してもよい。例えば、保存例3のように、Start回数を2とし、一つのレーザダイオード110aのみを使用には、鉛直方向の照射角度は2×1=2種類となる。例えば、Start回数を2とし、レーザダイオード110a(図4)を各マル1~マル4で切り替える場合には、鉛直方向の照射角度は2×4=8種類となる。
データ保存例3は、このような場合の空間的な関係を左図で模式的に示し、保存例を右図で示す。右図で示すように、信号処理部22(図2)は隣接画素として扱えない座標間に識別情報を付与する。このように、信号処理部22(図2)は、連続する座標のそれぞれが異なるポリゴンミラーのミラー面により照射されレーザ光L1(図2)に対応する場合に、隣接画素として扱わない情報を付与する。これらの隣接画素として扱わない情報は、座標に関連付けられて、記憶部21(図2)に記憶される。
データ保存例4は、例えばデータ保存例2と同様に「両側照射」の例である。ここでは、簡単のため、Start回数を2とし、ライン状センサ180a(図4)のマル1~マル2のチャンネルを2チャンネル(CH1~2)とし、水平方向の照射点を3点としている。左図で示すように、空間的に連続しているので、隣接画素として扱えない座標間に対する識別情報は付与されない。
データ保存例5は、「片側照射」の例である。ここでは、簡単のため、Start回数を4とし、ライン状センサ180a(図4)のマル1~マル2のチャンネルを4チャンネル(CH1~4)とし、水平方向の照射点を3点としている。左図で示すように、ライン状センサ180a(図4)マル1、マル2で順にデータを(CH1、2)で読み出した後に、例えばミラー15の軸RA2(図2)を変更することにより鉛直方向の照射位置を変更して、ライン状センサ180a(図4)マル1、マル2で順に(CH3、4)でデータを読み出している例である。
このような場合、データ保存例5で示すように、データ保存する場合がある。この場合、座標間で測定空間において連続しない場合があるので、信号処理部22(図2)は隣接画素として扱えない座標間に対する識別情報を付与する。なお、図19では、隣接画素として扱えない座標間に対する識別情報を水平ラインで示しているが、鉛直ラインに相当する識別情報を付与してもよい。すなわち、水平方向に隣接する隣接画素の座標間に対して隣接画素として扱えないことを示す識別情報を付与してもよい。
ここで、図20に基づき、データの積算処理例を説明する。
図20は、3フレームを用いた積算処理例を示す図である。上述の図8と同様に、各画素の測定空間における照射範囲を●印で示している。これら●印からのレーザ光の反射光が時系列輝度信号として対応画素に測定される。ただし、フレームごとに「折り返し」、「飛ばし」、「ずらし」、「切替え&入替え」の様々な照射方法があるので、上述のように、信号処理部22(図2)により隣接画素として扱えない画素間の情報は、フレームごとに予め設定されている。
また、中段の左図は、前フレームの甲に対応する画素から出力された時系列輝度信号例を示し、中段の右図は、現フレームの乙に対応する画素から出力された時系列輝度信号例を示す。積算処理では、現フレームの乙に対応する画素と例えばその周辺の3×5画素の時系列輝度信号と、前フレーム、前々フレームの対応画素から出力される時系列信号が、例えば重み付け処理により積算される。下段に示す図が積算処理後の時系列輝度信号である。このような処理によりノイズが抑制され、測定精度が向上する。
これらの積算処理は、図3Aで示した信号処理部22において対応画素ごとに処理可能である。この際に、上述した識別情報により、空間的に隣接画素として扱えない画素からの出力信号は積算しないので、積算した信号のS/N比の低下が抑制される。
ここで、図21乃至23に基づき、ノイズを考慮した時系列輝度信号B(m、x、y)のピークの選択方法を説明する。図9Aで説明したように、一般に反射光L2に基づくピークに基づき距離値が演算される。ところが、ノイズの影響を受け、ピークの取得精度が低下する場合がある。そこで、ノイズの影響を抑制した距離測定方法を説明する。
本実施形態では、時系列輝度信号B(m、x、y)の各ピークの中からピークの値の大きい順に所定数選択された各ピークを第1選択ピークと呼び、第1選択ピークの他に、前フレームf(m-1)の隣接距離NDisを用いて選択されたピークを第2選択ピークと呼ぶこととする。第1選択ピークだけでは、計測対象物10に基づくピークを選択できない場合がある。
まず、図21に基づき、第1選択ピークだけでは、計測対象物10に基づくピークを選択できない例を説明する。
図21は、前フレームf(m-1)における座標(x、y)の隣接領域Ad、及び時系列輝度信号B(m-1、x、y)と、現フレームf(m)における座標(x、y)の隣接領域Ad、及び時系列輝度信号B(m、x、y)の例を模式的に示す図である。左上図が前フレームf(m-1)における座標(x、y)の隣接領域Adを示し、左下図が座標(x、y)における時系列輝度信号B(m-1、x、y)を示し、右上図が現フレームf(m)における座標(x、y)の隣接領域Adを示し、右下図が現フレームf(m)における座標(x、y)の時系列輝度信号B(m、x、y)を示している。ここで、隣接領域Adの中心座標(x、y)を太線で示す。計測対象物10は、例えば自動車であり、距離計測装置5(図2)における照射光学系202の光軸O1上の80メートル先にある。図21では、自動車がx軸に沿って左から右に移動している様に示しているが、自動車と判り易い様に横向きに描いただけの一例であり、前後に移動していてもよい。隣接領域Adは、座標(x、y)を中心とする(2*nd+1)×(2*nd+1)の座標範囲である。ndは隣接画素範囲を規定する定数であり、ここでは2である。
図21に示すように、前フレームf(m-1)の時系列輝度信号B(m-1、x、y)では、計測対象物10の位置80メートルに対応するピークが現れている。一方で、現フレームf(m)の時系列輝度信号B(m、x、y、)の例では、ノイズ光が第1~第3ピークとして支配的に現れ、計測対象物10の位置78.5メートルに対応するピークが第4ピークとして現れている。第1~第3ピーク、すなわち、所定数を3とする第1選択ピークの中には、計測対象物10の位置78.5メートルに対応する第4ピークは含まれない。このような場合、第1ピークを距離値とする一般的な計測方法では、計測対象物10の位置78.5メートルを得ることは出来ない。
次に、図22に基づき、前フレームf(m-1)における座標(x、y)の隣接領域Ad内で得られた隣接距離NDisを説明する。
図22は、図21の左上図に対応する図であり、前フレームf(m-1)において時系列輝度信号B(m-1、X、Y)(x-nd≦X≦x+nd、y-nd≦Y≦y+nd)に基づき、隣接領域Ad内で得られた隣接距離NDis(m-1、X、Y)(x-nd≦X≦x+nd、y-nd≦Y≦y+nd)を示す図である。ここで、隣接領域Adの中心座標(x、y)を太線で示す。例えば、隣接距離値NDis(m-1、X、Y)(x-nd≦X≦x+nd、y-nd≦Y≦y+nd)は、5メートル、80メートルとNULLを示している。5メートルは計測対象物10以外の物体までの距離を示し、80メートルは計測対象物10までの距離を示し、NULLは、例えば背景の空間領域や道路などであり、信頼度が低く測定値を棄却したことを示している。
次に、図23に基づき、前フレームf(m-1)における座標(x、y)の隣接領域Ad内で得られた隣接距離NDisを用いて、現フレームf(m)における時系列輝度信号B(m、x、y)の第2選択ピークを選択する方法を説明する。
図23は、信号処理部22の選択処理の一例を示す図である。図23に示すように、例えば5メートル、80メートルは、座標(x、y)の隣接領域Ad(図22)内で得られた隣接距離NDis(m-1、X、Y)(x-nd≦X≦x+nd、y-nd≦Y≦y+nd)を示している。第4ピークが計測対象物10に対応している。ただし、図21で説明した識別情報を用いて、隣接画素として扱えない画素は隣接距離内から除かれる。これにより、測定空間内で連続しない座標からの情報に影響されることが抑制される。
信号処理部22は、現フレームf(m)における時系列輝度信号B(m、x、y)(0≦x<HN、0≦y<VN)の第1選択ピークを大きい方から所定数選択(第1~第3ピーク)し、前フレームf(m-1)における隣接距離値(5メートル、80メートル)の情報を用いて、現フレームf(m)フレームにおける時系列輝度信号B(m、x、y)(0≦x<HN、0≦y<VN)の所定の第2選択ピーク(第4ピーク)を更に選択する。ここで、第1選択ピークの所定数は例えば3である。なお、時間は距離に対応するので、時間範囲は距離範囲に対応する。
より具体的には、信号処理部22は、座標(x、y)の隣接領域Ad(図22)内で得られた隣接距離NDis(m-1、X、Y)(x-nd≦X≦x+nd、y-nd≦Y≦y+nd)に対応する時間範囲の値を係数Kとし、他の範囲を例えば0とした時系列な値を有する積算フィルタ(ウィンドウ)を時系列輝度信号B(m、x、y)に乗算する。Kは例えば1である。例えば、隣接距離NDis(m-1、X、Y)(x-nd≦X≦x+nd、y-nd≦Y≦y+nd)の一つが80メートルであれば、80メートルを光速で除算し、2倍した時間を中心とした所定範囲が、隣接距離80メートルに対応する時間範囲である。この時間範囲が積算フィルタの幅に対応する。ここで、積算フィルタの開始起点は例えば図9Aのt0である。すなわち、積算フィルタの範囲は例えばt0~t32に対応する。
このように、信号処理部22は、現フレームf(m)における時系列輝度信号B(m、x、y)(0≦x<HN、0≦y<VN)ごとの第1選択ピークとしてピーク値の大きい方から所定数選択し、前フレームf(m-1)における隣接距離値NDist(m-1、X、Y)(x-nd≦X≦x+nd、y-nd≦Y≦y+nd、0≦x<HN、0≦y<VN)の情報を用いて、現フレームf(m)における時系列輝度信号B(m、x、y)(0≦x<HN、0≦y<VN)ごとの第2選択ピーク値を更に選択する。
また、信号処理部22は、輝度信号B(m)のS/N比が所定値を超える場合には、第2選択ピークを選択しないように構成する。S/N比がよい場合には、第2選択による効果は殆ど無く、かつそのデメリットのみが残る。例えばデノイズの閾値が若干増大してしまう。このため、S/N比がよい場合には、第2選択ピークを選択しないことにより、測距結果を向上できる。
これらの説明から分かるように、所定の選択ピークとして第1選択ピークに第2選択ピークを加えることが可能となる。例えば、ノイズなどが混在した際に、第1選択ピークしか選択していない場合には、計測対象物10に対応する第4ピークなどが選択されない場合がある。これに対して、隣接距離値NDis(m-1、X、Y)(x-nd≦X≦x+nd、y-nd≦Y≦y+nd)に対応する第2選択ピークを選択することにより、第4ピークなどが第1選択ピークに含まれない場合にも、計測対象物10からの反射光に基づくピークを第2選択ピークに含めることが可能となる。さらに、上述したように。図21で説明した識別情報を用いて、隣接画素として扱えない画素は隣接距離内から除かれる。これにより、測定空間内で連続しない座標からの情報に影響されることが抑制される。
ここで、信号処理部22で選択された各ピークの信頼度R1を生成する処理例を説明する。信頼度R1(p、m、x、y)(0≦p<PN、0≦x<HN、0≦y<VN)は、現フレームf(m)の情報を用いる第1信頼度R11(p、m、x、y)(0≦p<PN、0≦x<HN、0≦y<VN)と、前フレームのf(m-1)の情報も用いる第2信頼度R12(p、m、x、y)(1≦p≦PN、0≦x<HN、0≦y<VN)とで構成される。
(1)式で示す、1番目の信頼度R1(p、m、x、y)(0≦p<PN、0≦x<HN、0≦x<YN)では、記憶部21に現フレームf(m)のピークaの距離値D(a、m、x、y)(1≦a≦PN、0≦x<HN、0≦x<YN)及び対応する輝度値Lumi(a、m、x、y)(1≦a≦PN、0≦x<HN、0≦x<YN)と、前フレームf(m-1)のピークaの距離値D(a、m-1、x、y)(a=1、0≦x<HN、0≦x<YN)及び対応する距離値Lumi(a、m-1、x、y)(a=1、0≦x<HN、0≦x<YN)と、現フレームf(m)の環境光の情報E(m、x、y)(0≦x<HN、0≦x<YN)、及び前フレームf(m-1)の環境光の情報E(m-1、x、y)(0≦x<HN、0≦x<YN)、を記憶している。
ここで、pは、選択部220により選択されたピークの番号であり、ピークの大きさの順番に対応している。例えばp=1は第1ピークを示し、p=2は第2ピークを示す。PNは、選択部220により選択されたピークの数であり、隣接領域Ad(図22)内で得られた隣接距離により選択された数に基づいている。aは1である。すなわち、ピークaの距離値D(a、m-1、x、y)は距離値Dis(m-1、x、y)と同一の値である。なお、本実施形態に係る前フレームf(m-1)の距離値D(a、m-1、x、y)は、距離値Dis(m-1、x、y)を使用しているがこれに限定されず、距離値D(a、m-1、x、y)は、時系列輝度信号B(m-1、x、y)におけるピークの連結数や輝度値を考慮して選択してもよい。
(1)式で示す1番目の信頼度R1(p、m、x、y)は、例えば(2)式で示す第1信頼度R11(p、m、x、y)と、(3)式で示す第2信頼度R12(p、m、x、y)の加算値の平方根である。
第1信頼度R11(p、m、x、y)(0≦p<PN、0≦x<HN、0≦x<YN)は、現フレームf(m)のピークaの距離値D(a、m、x、y)(1≦a≦PN、0≦x<HN、0≦x<YN)を用いた信頼度である。ここで、nd1とnd2は、座標(x、y)の隣接領域の範囲を示す定数である。例えばnd1=3、nd2=3である。
(4-1)式で示す関数Q11(D1-D2)は、距離値D1と距離値D2との距離がK以内であれば1を示し、Kより大きければ0を示す。例えばKは2メートルである。別の例では、K=max(const1×sqrt(D1)、const2)としてもよい。これにより、(2)式で示す第1信頼度R11(p、m、x、y)は、ピークPの距離値D(p、m、x、y)と距離K内の距離値を有する隣接領域内のピークaの輝度値の二乗和を示している。
(2)式で示す関数Q21(L)は、Lが環境光の情報に基づく閾値TH以下であれば0を出力し、THより大きければLを出力する。関数Q21(L)により、S/Nが所定値よりも大きなピークを除くことが可能となる。
環境光E(m、x、y)(0≦x<HN、0≦x<YN)の情報は、現フレームf(m)及び前フレームf(m-1)の座標(x、y)ごとに記憶部21に記憶してもよい。この場合、(2)式では、座標(x、y)ごとに環境光E(m、x、y)(0≦x<HN、0≦x<YN)に基づく閾値TH(m、x、y)(0≦x<HN、0≦x<YN)を用いる。同様に、(3)式では環境光E(m-1、x、y)(0≦x<HN、0≦x<YN)に基づく閾値TH(m-1、x、y)(0≦x<HN、0≦x<YN)を用いる。
これらから分かるように、ピークpに対して隣接領域内に同等の距離値を有するピークaがより多く存在し、そのピークの輝度値が大きくなるに従い第1信頼度R11はより大きくなる。計測対象物10に対応するピークpは、隣接領域内に同等の距離値を有するピークaが発生するため、第1信頼度R11(p、m、x、y)はより大きくなる。これに対して、ノイズに対応するピークpは、ランダムに発生するため、ノイズに対応するピークpの第1信頼度R11は、計測対象物10に対応するピークpの第1信頼度R11よりも小さくなる。
第2信頼度R12(p、m、x、y)(1≦p≦PN、0≦x<HN、0≦x<YN)は、現フレームf(m)におけるピークPの前フレームf(m-1)のピークaの距離値D(a、m-1、x、y)(a=1、0≦x<HN、0≦x<YN)を用いた信頼度である。(3)式に示すように、ピークPの距離値D(p、m、x、y)と距離K内の距離値を有する隣接領域内のピークaの輝度値の二乗和を示している。また、a=1とすることにより、記憶部21の記憶量を抑制可能である。
Q’11は、積算フィルタ(ウィンドウ)を規定する判別関数であり、このウィンドウは前フレームの距離Dとその変化ΔDにより決まる。ここで、ΔDは、前フレームと前々フレームの距離差であり、対象の動きを意味する。このウィンドウは、速度が小さければ、それだけ狭くなり、環境光ノイズの影響が低減される。
(2)、(3)、及び後述する(6)、(7)、(9)、(10)式では(4-1)式で示すQ11の代わりに(4-2)式で示すQ’11を用いてもよい。ここで、Q’11は探索ウィンドウを規定する判別関数であり、探索ウィンドウは前フレームの距離D2とその変化ΔD2により決まる。ここで、ΔD2は、前フレームと前々フレームの距離差であり、対象の動きを意味する。また、k(D1)は、例えばD1の単調増加関数である。この探索ウィンドウは、速度が小さければ、それだけ狭くなり、環境光ノイズの影響が低減される。
これらから分かるように、前フレームf(m-1)の隣接領域内に同等の距離値を有するピークaが多く存在し、そのピークaの輝度値が大きくなるに従い第2信頼度R12(p、m、x、y)は大きくなる。計測対象物10に対応するピークpは、前フレームf(m-1)においても同等の距離を有するので、隣接領域内に同等の距離値を有するピークaがより多く発生する。このため、計測対象物10に対応するピークpの第2信頼度R12は、より大きくなる。これに対して、ノイズに対応するピークpは、ランダムに発生するため、隣接領域内に同等の距離値を有するピークaはノイズの発生確率に従い少なくなる。このため、ノイズに対応するピークpの第2信頼度R12は、計測対象物10に対応するピークpの第2信頼度R12よりも一般に小さくなる。
このように、計測対象物10に対応するピークpの信頼度R1(p、m、x、y)は、前フレームf(m-1)及び現フレームf(m)における隣接領域内に同等の距離値を有するピークaがより多く存在し、そのピークaの輝度値が大きくなるに従い信頼度R1(p、m、x、y)はより大きくなる。これに対して、ノイズに対応するピークpは、ランダムに発生するため、隣接領域内に同等の距離値を有するピークaは少なくなる。このため、ノイズに対応するピークpの信頼度R1(p、m、x、y)は、計測対象物10に対応するピークpの信頼度R1(p、m、x、y)よりも一般に小さくなる。
(5)式で示す2番目の信頼度R2(p、m、x、y)(0≦p<PN、0≦x<HN、0≦x<YN)は、環境光の情報を使用しないことで、1番目の信頼度R1(p、m、x、y)と相違する。すなわち、環境光を閾値とせず、環境光分を、輝度から削除した値を使うことにより、信頼度R2(p、m、x、y)は環境光を考慮しつつ、環境光情報を保持する必要がなくなる。以下では(1)式と相違する点を説明する。2番目の信頼度R2(p、m、x、y)は、例えば(6)式で示す第1信頼度R21(p、m、x、y)と、(7)式で示す第2信頼度R22(p、m、x、y)の加算値の平方根である。(6)式では関数Q2を用いていない点で(2)式と相違し、(7)式では関数Q2を用いていない点で(3)式と相違する。すなわち、2番目の信頼度R2(p、m、x、y)では、環境光の情報を用いずに信頼度R2(p、m、x、y)を演算する。このため、環境光の情報を記憶部21に記憶する必要が無く、記憶容量を低減可能となる。
(8)式で示す3番目の信頼度R3(p、m、x、y)(0≦p<PN、0≦x<HN、0≦x<YN)は、前フレームf(m-1)のピークaの輝度値Lumi(a、m-1、x、y)(a=1、0≦x<HN、0≦x<YN)を使用しないことで、2番目の信頼度R2(p、m、x、y)と相違する。以下では(5)式と相違する点を説明する。3番目の信頼度R3(p、m、x、y)は、例えば(6)式で示す第1信頼度R21(p、m、x、y)の平方根と、(9)式及び(10)式で示す連結数N1、N2に基づく数値の平方根との乗算により演算される。
(9)式で示すN1は、ピークPの距離値D(p、m、x、y)と距離K内の距離値D(a、m-1、x、y)を有する隣接範囲内の前フレームf(m-1)におけるピークの数を示している。(10)式で示すN2は、ピークPの距離値D(p、m、x、y)と距離K内の距離値D(a、m、x、y)を有する隣接範囲内の現フレームf(m)におけるピークの数を示している。これらから分かるように、ピークpに対して隣接範囲内に同等の距離値を有するピークが多く存在し、そのピークの輝度値が大きくなるに従い第2信頼度R21(p、m、x、y)は大きくなる。この際に、N1の数が大きくなるに従い信頼度R3(p、m、x、y)はより大きくなる。
以上が本実施形態に係る構成の説明であるが、以下に本実施形態に係る距離計測装置5の動作例を説明する。
図24は、本実施形態による距離計測装置5の処理動作を説明するフローチャートである。ここでは、現フレームの撮影制御例を説明する。
制御部16(図2)は、現フレームにおける照射方法を含む動作方法を選択する(ステップS100)。続けて、信号処理部22(図2)は、隣接画素の範囲を予め測定される画素に対応させて設定する。
次に、制御部16は、複数のライン状センサ180aを順に切り替えるとともに、切り替えに応じて切替部190の出力を切り替え、各画素の時系列輝度信号の測定を行う(ステップS102?)。続けて、信号処理部22の各平均化処理部は、設定された隣接画素の情報に基づき、積算処理可能である時系列輝度信号の積算処理を、並列処理で行う。
次に、制御部16は、1フレーム分の設定した撮影動作が終了したか否かを判定する(ステップS104)。終了していないと判定する場合(ステップS104のNO)、ステップS102からの処理を繰り返す。一方で、終了したと判定する場合(ステップS104のYES)、信号処理部22は、各種のデータの座標を測定空間内で隣接する順に並び替える(ステップS106)。
信号処理部22は、座標が並び替えられたデータに対して移動平均化処理、距離測定などの各種の処理を行い(ステップS108)、現フレームの処理を終了する。
以上のように本実施形態によれば、受光光学系204に対する受光位置がそれぞれ異なる複数のライン状センサ180aの出力信号を、切替部190が切り替えて出力し、距離計測部300aが切替部190の出力信号に基づく時系列輝度信号により、距離を計測することとした。これにより、他のライン状センサ180aのノイズを受けずに処理可能となると共に、距離計測部300aの数を低減できる。
以上、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施することが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形例は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
5:距離計測装置、10:計測対象物、15:ミラー、21:記憶部、22:信号処理部(設定部)、180a:ライン状センサ、190:切替部、202:照射光学系、204:受光光学系、300a:距離計測部、RA1:振動軸(回転軸)、RA2:振動軸(回転軸)。

Claims (10)

  1. 所定の回転軸に対して所定の周期で回転するミラーを介してレーザ光の反射光を受光する受光光学系を介して受光した前記反射光をチャンネルごとの電流信号に変換する複数の画素を有し、前記複数の画素それぞれの電流信号を複数の出力信号として出力するセンサであって、前記受光光学系に対する受光位置がそれぞれ異なる複数のセンサと、
    前記複数のセンサごとの対応した複数の出力信号の中から、測定に用いる複数の出力信号を選択して出力する出力部と、
    前記レーザ光の発光タイミングと、前記選択された複数の出力信号それぞれに基づく複数の時系列輝度信号のピーク位置のタイミングとの時間差に基づき、計測対象物までの複数の距離を計測する距離計測部と、
    前記レーザ光の照射タイミングに関する情報と、前記ミラーの回転位置に関する情報に基づき、複数の座標を設定すると共に、前記座標の中の連続する座標間に対して、隣接画素として扱わない情報を付与する、設定部と、
    を備える、距離測定装置。
  2. 前記複数の座標に、前記出力部が出力する複数の出力信号に基づくデータを記憶する記憶部と、
    を更に備える、請求項1に記載の距離測定装置。
  3. 前記回転軸に対して所定の周期で順回転と逆回転を行う前記ミラーを介して前記レーザ光を照射しており、
    前記設定部は、前記順回転及び前記逆回転の一方だけ前記レーザ光を照射する片側照射と、前記順回転及び前記逆回転の両方に前記レーザ光を照射する両側照射とに応じて前記複数の座標の設定方法を変更する、請求項2に記載の距離測定装置。
  4. 傾斜角度の異なる複数のミラー面を有するポリゴンミラーを介して前記レーザ光を照射しており、
    前記設定部は、前記連続する前記座標のそれぞれが異なる前記ミラー面により照射された前記レーザ光に対応する場合に、前記隣接画素として扱わない情報を付与する、請求項1に記載の距離測定装置。
  5. 前記記憶部は、前フレームにおける時系列輝度信号に基づいて得られた前記座標ごとの距離値を記憶し、
    前記距離計測部は、現フレームの時系列輝度信号それぞれにおいて、隣接領域内の前記距離値の情報に応じて選択したピークを含む前記現フレームの時系列輝度信号のピークに基づき、第2距離値を取得する、請求項2に記載の距離測定装置。
  6. 前記隣接領域は、隣接画素として扱わない画素間の情報に基づき設定される、請求項5に記載の距離測定装置。
  7. 前記出力部は、前記レーザ光を異なる方向にそれぞれ照射する複数の光源の照射タイミングに応じて、前記複数の出力信号を選択する、請求項1に記載の距離測定装置。
  8. 前記出力部は、前記レーザ光を異なる方向にそれぞれ照射するポリゴンミラーのミラー面の切り替えタイミングに応じて、前記複数の出力信号を選択する、請求項1に記載の距離測定装置。
  9. 前記受光光学系は、所定の軸に対して所定の周期で順回転と逆回転を行うミラーを介して前記反射光を受光しており、
    前記出力部は、前記周期に応じて、前記複数の出力信号を選択する、請求項1に記載の距離測定装置。
  10. 所定の回転軸に対して所定の周期で回転するミラーを介してレーザ光の反射光を受光する受光光学系を介して受光した前記反射光を電気信号に変換する複数の画素を有し、前記複数の画素それぞれの出力をチャンネルごとの複数の電流の出力信号として出力するセンサであって、前記受光光学系に対する受光位置がそれぞれ異なる複数のセンサを備える距離計測装置の距離計測方法であって、
    前記複数のセンサごとの対応した複数の電流の出力信号の中から、測定に用いる複数の出力信号を選択して出力する工程と、
    前記レーザ光の発光タイミングと、前記選択された複数の出力信号それぞれに基づく複数の測定時系列輝度信号のピーク位置のタイミングとの時間差に基づき、計測対象物までの複数の距離を計測する信号処理工程と、
    前記レーザ光の照射タイミングに関する情報と、前記ミラーの回転位置に関する情報に基づき、複数の座標を設定すると共に、前記座標の中の連続する座標間に対して、隣接画素として扱わない情報を付与する、設定工程と、
    を備える距離計測方法。
JP2019170815A 2019-09-19 2019-09-19 距離計測装置、及び距離計測方法 Active JP7433819B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019170815A JP7433819B2 (ja) 2019-09-19 2019-09-19 距離計測装置、及び距離計測方法
US17/001,735 US20210088660A1 (en) 2019-09-19 2020-08-25 Distance measuring device and distance measuring method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019170815A JP7433819B2 (ja) 2019-09-19 2019-09-19 距離計測装置、及び距離計測方法

Publications (2)

Publication Number Publication Date
JP2021047126A JP2021047126A (ja) 2021-03-25
JP7433819B2 true JP7433819B2 (ja) 2024-02-20

Family

ID=74878268

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019170815A Active JP7433819B2 (ja) 2019-09-19 2019-09-19 距離計測装置、及び距離計測方法

Country Status (2)

Country Link
US (1) US20210088660A1 (ja)
JP (1) JP7433819B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113124719B (zh) * 2021-04-24 2023-12-01 西安工业大学 一种激光测距扫描式精度靶及其测试方法
WO2023100666A1 (ja) * 2021-12-01 2023-06-08 ソニーグループ株式会社 移動体及び位置決め制御方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007132951A (ja) 2007-01-09 2007-05-31 Denso Corp 車両用レーダ装置
JP2014119414A (ja) 2012-12-19 2014-06-30 Fujitsu Ltd 距離測定装置、距離測定方法及びプログラム
JP2018109560A (ja) 2017-01-04 2018-07-12 オムロンオートモーティブエレクトロニクス株式会社 走査式距離測定装置
JP2019002760A (ja) 2017-06-14 2019-01-10 オムロンオートモーティブエレクトロニクス株式会社 距離計測装置
JP2019144065A (ja) 2018-02-20 2019-08-29 株式会社デンソー 光測距装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003052715A1 (de) * 2001-12-19 2003-06-26 Logobject Ag Verfahren und vorrichtung zur verfolgung von objekten, insbesondere zur verkehrsüberwachung
US10078132B2 (en) * 2013-04-11 2018-09-18 Konica Minolta, Inc. Scanning optical system and radar
CA2958204A1 (en) * 2014-08-15 2016-02-18 Aeye, Inc. Methods and systems for ladar transmission
CN111796255A (zh) * 2016-09-20 2020-10-20 创新科技有限公司 激光雷达系统和使用其检测物体的方法及车辆
WO2018176972A1 (zh) * 2017-04-01 2018-10-04 北科天绘(苏州)激光技术有限公司 一种激光雷达装置及其通道选通方法
US10663584B2 (en) * 2017-05-26 2020-05-26 Toyota Motor Engineering & Manufacturing North America, Inc. Publishing LIDAR cluster data
US10509413B2 (en) * 2017-09-07 2019-12-17 GM Global Technology Operations LLC Ground reference determination for autonomous vehicle operations
JP7120756B2 (ja) * 2017-12-05 2022-08-17 シャープ株式会社 受光素子、飛行時間測定装置及び光レーダー装置
US20210293931A1 (en) * 2018-07-26 2021-09-23 Innoviz Technologies Ltd. Lidar system having a mirror with a window

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007132951A (ja) 2007-01-09 2007-05-31 Denso Corp 車両用レーダ装置
JP2014119414A (ja) 2012-12-19 2014-06-30 Fujitsu Ltd 距離測定装置、距離測定方法及びプログラム
JP2018109560A (ja) 2017-01-04 2018-07-12 オムロンオートモーティブエレクトロニクス株式会社 走査式距離測定装置
JP2019002760A (ja) 2017-06-14 2019-01-10 オムロンオートモーティブエレクトロニクス株式会社 距離計測装置
JP2019144065A (ja) 2018-02-20 2019-08-29 株式会社デンソー 光測距装置

Also Published As

Publication number Publication date
US20210088660A1 (en) 2021-03-25
JP2021047126A (ja) 2021-03-25

Similar Documents

Publication Publication Date Title
US20210181317A1 (en) Time-of-flight-based distance measurement system and method
Jahromi et al. A 32× 128 SPAD-257 TDC receiver IC for pulsed TOF solid-state 3-D imaging
JP6644892B2 (ja) 光検出測距センサ
JP2019052978A (ja) 距離計測装置
KR20200085297A (ko) 방출기들의 어드레스가능 어레이를 사용하는 비행 시간 감지
KR20160142839A (ko) 고해상도, 고프레임률, 저전력 이미지 센서
JP7433819B2 (ja) 距離計測装置、及び距離計測方法
US20210063575A1 (en) Distance measuring device, distance measuring method, and speed measuring device
US20210181308A1 (en) Optical distance measuring device
US11693114B2 (en) Distance measuring device
US20210368123A1 (en) Distance image capturing apparatus and distance image capturing method using distance image capturing apparatus
US20220350024A1 (en) Distance image capturing device and distance image capturing method
JP7317530B2 (ja) 距離計測装置、距離計測方法、及び信号処理方法
US20210026012A1 (en) Distance measuring device, and distance measuring method
US11960004B2 (en) Light detector and distance measuring device
JP7383542B2 (ja) 光検出器及び距離計測装置
US20220091262A1 (en) Distance measuring device
JP2019197055A (ja) 構造化された光イメージングシステム及びその方法
JP4930742B2 (ja) 位置検出装置
JP7425702B2 (ja) 距離計測装置、及び距離計測方法
US20230288543A1 (en) Light receiving device and distance measuring device
CN112888963A (zh) 光学测距装置以及光学测距方法
WO2022154073A1 (ja) 距離画像撮像装置、及び距離画像撮像方法
US20240027624A1 (en) Ranging device
US20200400790A1 (en) Electronic apparatus and distance measuring method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220613

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230327

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230421

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230616

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230720

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230929

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231031

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240207

R150 Certificate of patent or registration of utility model

Ref document number: 7433819

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150