JP6236955B2 - 距離測定装置 - Google Patents

距離測定装置 Download PDF

Info

Publication number
JP6236955B2
JP6236955B2 JP2013152524A JP2013152524A JP6236955B2 JP 6236955 B2 JP6236955 B2 JP 6236955B2 JP 2013152524 A JP2013152524 A JP 2013152524A JP 2013152524 A JP2013152524 A JP 2013152524A JP 6236955 B2 JP6236955 B2 JP 6236955B2
Authority
JP
Japan
Prior art keywords
light
image
unit
distance
synchronous detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013152524A
Other languages
English (en)
Other versions
JP2015021924A (ja
Inventor
沖 孝彦
孝彦 沖
洋介 松野
洋介 松野
西内 秀和
秀和 西内
佐藤 宏
宏 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2013152524A priority Critical patent/JP6236955B2/ja
Publication of JP2015021924A publication Critical patent/JP2015021924A/ja
Application granted granted Critical
Publication of JP6236955B2 publication Critical patent/JP6236955B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、強度変調された照射光を対象物に照射して対象物までの距離を測定する距離測定装置に係り、特に、効果的にノイズを除去する技術に関する。
従来より、移動体から前方の対象物までの距離を、同期検波を用いて測定する距離測定装置が提案されている。このような距離測定装置では、同期検波に使用する搬送波の二逓倍の高調波を除去する必要がある。そこで、移動平均フィルタを用いることにより、高調波を除去し、小型化を図り、且つ位相変調の変化点で生じる雑音成分を効果的に除去する技術が提案されている(例えば、特許文献1参照)。
特開2003−65768号公報
上述したように、従来においては、二逓倍の高調波を効果的に除去するために移動平均フィルタを用いる手法が提案されている。しかしながら、カメラ等の撮像素子への入射光の強度に応じて発生するショット雑音に対しては、周波数帯域が不特定であり且つ広帯域化するため、上記の移動平均フィルタを用いた場合でも、ショット雑音を効果的に抑制することは難しいという問題点があった。
本発明は、このような従来の課題を解決するためになされたものであり、その目的とするところは、ショット雑音の振幅成分が大きくなる環境下においても、高精度に距離測定を行うことのできる距離測定装置を提供することにある。
上記目的を達成するため、本願発明は、強度変調された照射光を照射する投光手段と、投光手段が投光した照射光による対象物での反射光を含む映像を、所定の撮像領域で撮像する撮像手段と、撮像手段による撮像のタイミングに合わせて、照射光の発光強度を所定周期で変調制御する投光制御手段とを有する。更に、撮像手段により時系列的に撮像された所定周期の複数周期分の時系列画像を取得し、各時系列画像に対して、投光制御手段の変調制御による同一位相の画像データに分別して複数の記憶部に記憶し、各記憶部に記憶された同一位相の画像データに対して平化処理を行い、合成画像を生成する画像記憶演算手段と、この合成画像から、投光手段による発光の強度変調と同期して輝度変動する同期検波領域を抽出する同期検波処理手段と、同期検波領域で検出される反射光の輝度変動に基づいて、移動体から対象物までの距離を算出する距離算出手段とを備える。
本発明に係る距離測定装置では、撮像手段で撮像された画像を、投光手段から照射される照射光の強度変調信号の位相に応じて分別して記憶し、分別された画像データ毎にそれぞれ平滑化処理を行う。そして、各位相毎の平滑化した画像データに基づいて合成画像を生成し、該合成画像に基づいて同期検波処理を行うので、投光手段から照射される強度変調光には影響を与えることなく、ショット雑音等のランダムノイズを減少させることができ、高精度に距離測定を行うことが可能となる。
本発明の実施形態に係る距離測定装置の構成を示すブロック図である。 本発明の実施形態に係る距離測定装置に用いられる画像記憶演算部の詳細な構成を示すブロック図である。 一般的な同期検波処理の処理手順を示す説明図である。 一般的な同期検波処理における各信号の変化を示すタイミングチャートである。 本発明の第1実施形態に係る距離測定装置で採用される同期検波処理の処理手順を示す説明図である。 本発明の第1実施形態に係る距離測定装置における各信号の変化を示すタイミングチャートである。 本発明の第1実施形態に係る距離測定装置で用いられるPWM変調の説明図である。 本発明の実施形態に係る距離測定装置により測定対象物までの距離を測定する原理を示す説明図である。 本発明の実施形態に係る距離測定装置によるカメラの俯角0°の場合の、距離分解能を示す説明図である。 本発明の実施形態に係る距離測定装置によるカメラの俯角α°の場合の、距離分解能を示す説明図である。 本発明の第1実施形態に係る距離測定装置の処理手順を示すフローチャートである。 本発明の第1実施形態に係る距離測定装置の、同期検波処理の処理手順を示すフローチャートである。 本発明の第1実施形態の変形例に係る距離測定装置の処理手順を示すフローチャートである。 本発明の第2実施形態に係る距離測定装置で採用される同期検波処理の処理手順を示す説明図である。 本発明の第2実施形態に係る距離測定装置における各信号の変化を示すタイミングチャートである。
以下、本発明の実施形態を図面に基づいて説明する。
[第1実施形態の説明]
図1は、本発明の第1実施形態に係る距離測定装置100の構成を示すブロック図である。図1に示すように、該距離測定装置100は、移動体(本実施形態では車両)に搭載されるものであり、車両周囲の距離測定の対象となる測定対象物P(対象物)に向けて照射光を照射する投光部(投光手段)11と、照射光が照射された測定対象物Pの映像を撮像するカメラ(撮像手段)12と、投光部11による照射光の照射を制御する投光制御部13(投光制御手段)と、カメラ12で撮像された画像信号に基づいて、測定対象物Pまでの距離を算出する距離測定部17と、を備えている。
距離測定部17は、カメラ12で撮像された画像信号を、時系列の時系列画像として記憶する画像記憶演算部18(画像記憶演算手段)を備えている。更に、距離測定部17は、画像記憶演算部18より出力される画像(合成画像)に含まれる強度変調光(投光部11より照射した強度変調光)に対して、同期検波処理を加える同期検波処理部14(同期検波処理手段)と、同期検波された画像から測定対象物Pで反射した領域光の輝度エッジを検出するエッジ検出部15(輝度エッジ検出手段)と、輝度エッジ端部の撮像画像中の上下位置の情報を用いて、車両から測定対象物Pまでの距離を算出する距離算出部16と、を備えている。
なお、本実施形態では、移動体が車両である場合を例に挙げて説明するが、本発明はこれに限定されるものではなく、鉄道車両や船舶等の他の移動体についても適用することが可能である。また、本実施形態に係る投光制御部13及び距離測定部17は、例えば、演算ユニット(CPU、FPGA)や、RAM、ROM、ハードディスク等の記憶手段からなる一体型のコンピュータを用いて構成することができる。
投光部11は、例えば、プロジェクタヘッドライトやリフレクタを備えたヘッドライトであり、水平方向に発光領域を形成する配光特性を有し、強度変調された照射光を測定対象物Pに向けて照射する。そして、測定対象物Pに照射光を照射することにより、該測定対象物P上に、照射領域と非照射領域との輝度境界を鮮明に映し出すことができる。また、該投光部11の発光源として、可視光、赤外光、或いは紫外光、またはこれらの組み合わせの発光源を用いることができる。
カメラ12は、投光部11に対して鉛直方向に設けられており(後述する図8参照)、CCDやCMOS等の撮像素子を備えており、車両周囲の映像を撮像し、更にこれに加えて、投光部11により照射された照射光が測定対象物Pで反射した反射光を受光する。即ち、カメラ12は、車両に搭載されており、投光部11が投光した照射光による測定対象物Pでの反射光を含む映像を、所定の撮像領域で撮像する機能を備えている。
ここで、カメラ12のフレームレートは、1秒間に100フレーム以上(即ち、100[fps]以上)の速度で車両周囲の映像を撮像する機能を備えた高速撮影カメラを採用することが望ましい。本実施形態では、1000〜2000[fps]のフレームレートで撮影が可能なカメラを採用する。
なお、投光部11より照射する照射光の波長としては、可視光(可視光領域)、赤外光(赤外領域)、紫外光(紫外領域)等を使用することが考えられ、その場合、カメラ12は投光する波長を観測可能な素子(感度を有する素子)を使用するものとする。
投光制御部13は、カメラ12より出力される撮像タイミングのトリガ信号とシャッター時間の情報を受信し、トリガ信号と同期して投光部11を適切な輝度で発光させるため発光パルス幅を制御する所定周期のPWM信号を出力する。また、このPWM信号を生成するために使用した変調信号(搬送波)を同期検波処理部14に出力する。即ち、投光制御部13は、カメラ12による撮像のタイミングに合わせて、照射光の発光強度を変調制御する機能を備えている。
画像記憶演算部18は、図2に示すように、6個のメモリ18-1、18-2、18-3、18-4、18-5、18-6(記憶部)、及び演算器18aを備えている。そして、カメラ12にて取得される時系列的な画像データを、投光制御部13の変調制御の位相毎に分別して各メモリ18-1〜18-6に記憶する。演算器18aは、各メモリ18-1〜18-6にそれぞれ分別して記憶された同位相の画像データに対して平均化処理等の平滑化処理を行う。更に、後述する手法により、平均化された各位相の画像データに基づいて合成画像を生成し、この合成画像を同期検波処理部14に出力する。
即ち、画像記憶演算部18は、複数のメモリ(記憶部)を有し、カメラ12により時系列的に撮像された複数の時系列画像を取得し、各時系列画像に対して、投光制御部13の変調制御の位相毎の画像データに分別して各メモリに記憶し、更に、各メモリに記憶された同一位相の画像データに対して平滑化処理(例えば、平均化処理)を行い、各位相毎に平滑化された画像データに基づいて、合成画像を生成する機能を備えている。
同期検波処理部14は、画像記憶演算部18にて生成された合成画像を一時的に記憶し、記憶した画像中の全画素(或いは、画像中に処理領域を制限した場合は、画像処理領域中の全画素)において、投光制御部13より出力される照射光に含まれる変調信号を同期検波することにより、照射光強度と同期して輝度変動する同期検波領域を抽出した照射光抽出画像を出力する。そして、この照射光抽出画像をエッジ検出部15に出力する。即ち、同期検波処理部14は、画像記憶演算部18にて生成された合成画像から、投光部11による発光の強度変調と同期して輝度変動する同期検波領域を抽出する同期検波処理手段としての機能を備えている。
エッジ検出部15は、同期検波処理部14により抽出された照射光抽出画像より、照射光の輝度エッジの位置を検出し、該輝度エッジ位置の画像内での縦位置情報を出力する。
距離算出部16は、エッジ検出部15より出力される輝度エッジの縦位置情報を用いて、照射光の輝度エッジの照射方向と、カメラ12の視軸がなす角度及びレイアウトに基づき、三角測量の原理により、照射光が照射されている測定対象物Pまでの距離を算出する。即ち、距離算出部16は、同期検波処理部14により抽出された同期検波領域で検出される反射光の輝度に基づいて、車両から測定対象物Pまでの距離を算出する距離算出手段としての機能を備えている。測定対象物Pまでの距離の算出方法については、図8を参照して後述する。
[同期検波処理の基本原理について]
次に、同期検波処理の基本原理について説明する。投光部11より送信した信号のみを頑健に検出する処理として、同期検波処理が一般的に用いられる。本実施形態では、カメラ12により撮像された画像の全画素または処理領域として設定された画像領域中の全画素について、この同期検波処理を用いて、照射光の反射成分を抽出する処理を行う。なお、この説明は基本原理の説明であるため、図1に示す画像記憶演算部18を用いない場合、即ち、カメラ12で撮像された画像が同期検波処理部14に入力される場合について説明する。
以下、図3に示すブロック図、及び図4に示すタイミングチャートを参照して、一般的に用いられている同期検波処理の基本原理について説明する。図3は、距離測定装置の、照射光の送受信に関連する構成要素を信号処理に合わせて記載したブロック図である。
図3に示すように、図1の投光制御部13より出力される変調信号(搬送波)をsin(ωt)とする(図4(a)参照)。投光部11より照射する照射光の発光強度を振幅変調させる手法として、AM変調(amplitude modulation)等のアナログ変調やPWM変調(Pulse Width Modulation)等のデジタル変調がある。本実施形態では、電力消費の面で効率の良いPWM変調を採用する。従って、投光制御部13は、搬送波をPWM変調することによりPWM信号を生成する。その結果、図4(b)に示す如くのPWM信号が生成される。
ここで、PWM変調は、図7に示すように、正弦波変調信号の振幅に応じてパルス幅が決定される。即ち、図7(a)に示す正弦波変調信号が与えられた場合には、図7(b)に示す如くのパルス幅を有するPWM信号が生成される。具体的には、正弦波変調信号が最大値の場合には、パルス幅が最も大きくなり、正弦波変調信号がゼロの場合にはパルス幅はゼロとなる。
投光部11からは、PWM生成部で生成されたPWM変調信号に基づき、強度変調された領域光が照射光として照射される。この際、輝度振幅をAとするとその送信信号T(t)は、次の(1)式で示すことができる。
T(t)= A×{sin(ωt)+ 0.5} …(1)
また、カメラ12では、照射光の反射成分を受光する。同期検波処理部14では、この受信信号から外乱光成分を除去し(図3のDCカット)、送信に使用した変調信号「sin(ωt)」の情報を用いて、照射された領域光を復元抽出する。この復調処理を同期検波という。
ここで、反射観測の損失をL、背景光をSとすると、受光側での受信信号R(t)は次の(2)式で示すことができる。
R(t)= L×A×{sin(ωt)+ 0.5}+ S …(2)
(2)式において、直流成分を除去し、送信信号(搬送波)「sin(ωt)」を乗算すると、次の(3)式となる。
L×A×sin(ωt)×sin(ωt)
= L×A×{1−cos(2ωt)}/2 …(3)
その結果、図4(c)に示す如くの波形が得られる。その後、図3に示すLPF(低域通過フィルタ)を用いて高調波を除去することで、図4(d)に示すように、反射信号から送信信号の反射成分(L×A/2)を抽出することができる。
[本実施形態で採用する同期検波の原理について]
次に、本実施形態で採用する同期検波、即ち、ショット雑音の影響を低減する同期検波の原理について説明する。
反射信号を観測するCCDやCMOS等の受光素子では、入射光強度、即ち、上述した(2)式に示した背景光Sの平方根に比例した振幅で時間変動するショット雑音が発生する。通常の撮像動作においては、相対的に入射光強度が弱い場合に雑音として顕著に現れる。本実施形態では、観測する信号成分は背景光Sとは独立した反射成分、即ち、(2)式の第1項であるため、背景光強度の増加により時間変動するショット雑音の絶対値が大きくなると、反射成分の抽出に悪影響が生じる。
上記の(2)式を、ショット雑音W(t)を含んだ形で示すと、次の(4)式となる。
R(t)= L×A×(sin(ωt)+0.5)+ S + W(t) …(4)
直流成分を除去し、且つ送信信号を乗算すると、次の(5)式となる。
(L×A×sin(ωt)+ W(t))×sin(ωt)
=L×A×(1−cos(2ωt))/2 + W(t)×sin(ωt) …(5)
このため、LPF等のフィルタでは、(5)式の第2項で示されるW(t)の項の影響は除去できず、照射光抽出に誤差が生じてしまう。
そこで、本実施形態では、図2に示した複数のメモリ18-1〜18-6を有する画像記憶演算部18を搭載することにより、背景光Sの影響を低減する。以下、図5に示す説明図を参照して詳細に説明する。図5は、本実施形態に係る距離測定装置100の、照射光の送受信に関連する構成要素を、信号処理に合わせて記載したブロック図である。
図5に示すように、図1の投光制御部13より出力される変調信号(搬送波)をsin(ωt)とする。そして、投光制御部13は、搬送波をPWM変調することによりPWM信号を生成する。図1の投光部11は、PWM変調された搬送波を、照射光として測定対象物Pに向けて投光する。この測定対象物Pで反射した照射光を含む映像は図1のカメラ12で撮像され(受光され)、更に撮像された画像は図1の画像記憶演算部18に供給される。そして、搬送波sin(ωt)の各位相毎に設けられたメモリ18-1〜18-6にそれぞれ記憶される。例えば、搬送波の1周期である2π[rad]を6分割した場合には、位相がπ/3[rad]変化する毎に、メモリを切り替えて画像データを記憶する。従って、各メモリ18-1〜18-6には、時系列的に取得される画像データのうち、同一の位相となる画像データが複数記憶されることになる。
それぞれのメモリ18-1〜18-6には、所定枚数分の画像を記憶できるものとし、最新画像が取得される毎に、最も古い画像と入れ替えて記憶する。図2に示す演算器18aは、各メモリ18-1〜18-6に記憶されている各位相毎の画像データを、各メモリの画像データ毎に平均化処理を行って、合成画像を生成する。その後、図1の同期検波処理部14は、合成画像と送信信号(搬送波)との乗算を実施する。図6は、各位相毎の画像取得のタイミングと、各メモリ18-1〜18-6から合成信号を生成する際の各信号を示すタイミングチャートである。
図6(a)は、正弦波の変調波信号を示し、図6(b)〜(g)は、各メモリ18-1〜18-6に記憶される画像データを示し、図6(h)は、各メモリ18-1〜18-6に記憶された画像データに基づいて再構成される合成画像を示している。図6(b)〜(g)に示すように、各メモリ18-1〜18-6には、複数枚(この例では6枚)の画像の同一の位相の画像データが時系列的に記憶され、これらに平均化処理を加えた画像データが出力されて、図5に示した画像合成部にて合成される。この画像合成部は、図2に示した演算器18aに対応し、該演算器18aにより、複数の画像データに基づく新たな画像が生成される。
そして、この合成された画像データを用いて、同期検波を行う。つまり、図1に示した画像記憶演算部18より合成画像が出力され、同期検波処理部14はこの合成画像に基づいて同期検波処理を行う。
このように、各位相毎に画像データを記憶するメモリ18-1〜18-6を設けることで、各メモリ18-1〜18-6に記憶された画像データは、照射光成分であるsin(ωt)が固定値となるとため、平均化処理を行っても変化はない。これに対して、ショット雑音のW(t)は、送信信号の位相とは連動していないので、平均化処理によって振幅成分を低減することができる。平均化処理に使用する枚数をNとした場合、上述の(4)式は、次の(6)式で示すことができる。
R(t)=L×A×(sin(ωt)+0.5)+S+W(t)/√N …(6)
例えば、Nを6枚とした場合には、ショット雑音の振幅を約40%(≒1/√6)と、半分以下に低減することができる。こうして、ショット雑音を低減した画像を取得することができるのである。なお、本実施形態では、一例として6個のメモリ18-1〜18-6を用いる場合について説明したが、本発明はこれに限定されるものではなく、2以上の複数の位相に分割することができる。また、本実施形態では、平滑化処理の一例として平均化処理を用いる例について説明したが、本発明はこれに限定されるものではなく、例えば、複数の画像データのうちの中央値を採用することや、最大値、最小値を割愛し、残りの画像データを用いて平均化処理を行う等の、種々の平滑化処理を用いることが可能である。
[測定対象物までの距離の測定]
次に、領域光の輝度エッジである上端エッジを用いて、測定対象物Pまでの距離を測定する原理について、図8に示す模式図を参照して説明する。図8に示すように、投光部11より照射される領域光の広がり方向(横方向)とは垂直な方向(縦方向)にオフセットした位置に、カメラ12が配置される。投光部11から投光される照射光が測定対象物Pに照射され、カメラ12では、測定対象物Pの表面で反射した照射光を撮像する。ここで、投光部11の照射光上端部の照射角度(図8の例では0度)、投光部11とカメラ12との距離(高低差)Dy、カメラ12の俯角αに基づき、測定対象物Pまでの距離Zに応じて、照射光の上端部が観測される上下方位βが変化する。従って、カメラ12で観測される照射領域上端の上下位置yを用いて、三角測量の原理により測定対象物Pまでの距離Zを算出することができる。
即ち、下記の(7)式により上下方位βが求められ、更に、(8)式により、距離Zを求めることができる。
β=tan-1(y/f) …(7)
Z=Dy/tan(α+β)− Dz …(8)
[フローチャートの説明]
次に、第1本実施形態に係る距離測定装置100による距離測定の手順を、図11,図12に示すフローチャートを参照して説明する。
初めに、図11のステップS1において、図1に示す画像記憶演算部18の演算器18aは、カメラ12で撮像される画像を取得し、更に、投光制御部13の変調制御の位相毎の画像データに分別し、各位相に対応するメモリ18-1〜18-6(図2参照)に保存する。従って、図6(b)〜(g)に示したように、各メモリ18-1〜18-6には、それぞれの位相毎の画像データが複数記憶される。
次いで、ステップS2において、演算器18aは、各メモリ18-1〜18-6に記憶されている複数の画像データの平均値を求める。更に、この平均値の画像データを時系列配置することにより、合成画像を再構築する。具体的には、図6(h)に示したように、1つの画像を生成する。この際、上述したように、再構築された合成画像は、ショット雑音が低減された画像となる。
ステップS3において、同期検波処理部14は、画像記憶演算部18にて生成された合成画像に基づいて同期検波処理を実行する。同期検波処理の詳細については後述する。その後、ステップS4に移行する。ステップS4において、エッジ検出部15は、同期検波された領域の上端エッジを抽出する。
ステップS5において、距離算出部16は、ステップS4の処理で検出された上端エッジのデータに基づき、三角測量の方式を用いた距離測定処理を行う。即ち、前述の図8に示した手法に基づいて、測定対象物Pまでの距離を測定する。その後、ステップS6に移行する。
ステップS6において、距離算出部16は、ステップS5の処理で求められた距離値を下位のシステムに出力する。その後、本処理を終了する。こうして、カメラ12の取り付け位置から、測定対象物Pまでの距離を測定することができる。
次に、図11のステップS3に示した同期検波処理の手順について、図12に示すフローチャートを参照して説明する。この処理は、図1に示した同期検波処理部14により実行される。
初めに、ステップS11において、同期検波処理を開始されると、ステップS12において、変調信号の1周期に相当する時系列画像データを取得する。
ステップS13において、画素単位でDC成分を除去した時系列画像データに変換する。即ち、画像データの時系列オフセットを調整する。
ステップS14において、オフセット調整された時系列画像データと送信信号とを乗算する。その後、ステップS15において、ミキシングによって発生する2逓倍波を低域通過フィルタで除去する。
ステップS16において、上記の乗算による演算結果の正負判定に基づき、すべての画素が正(同期)であるか否かを判断する。そして、すべてが正である場合には(ステップS16でYES)、ステップS17において、画素を同期色(例として、白色:8bit階調の場合、255)で上書きする。一方、少なくとも一部の画素が正でない場合(同期していない場合、S16でNO)には、ステップS18において、画素を非同期色(例として、黒色:8bit階調の場合、0)で上書きする。
その後、ステップS19において、全画素で判定が終了したか否かを判断する。その結果、終了していなければ、ステップS12に処理を戻し、終了していない画素について同期検波判断を実行する。終了している場合には、ステップS20において、同期検波画像を出力する。こうして、図11のステップS3に示した同期検波処理が実行される。
[分解能の向上について]
次に、カメラ12の視軸が、上端エッジが照射される方向に対して所定の俯角を有するように設定することにより、分解能を向上させることができることについて説明する。
1個のカメラ12で広域を観測するためには、通常、広角レンズが用いられる。一般的な広角レンズは、射影方式として等距離射影レンズ(いわゆる、fθレンズ)を採用しており、周辺視野では中心視野に比べて分解能が劣る。このような広角レンズとの組み合わせにおいては、カメラ視軸に俯角(或いは仰角)を持たせ、分解能が高い領域を監視したい領域に向けて適切に設定することが肝要となる。
以下、fθレンズとの組み合せにおいて、簡単のために、照射光の上端エッジが路面に対して水平である場合を仮定し、カメラ視軸の俯角がある場合に、被観測対象までの距離計測値の分解能が向上することを、図9,図10を参照して説明する。カメラ視軸に俯角が無い場合を図9に示し、俯角が有る場合を図10に示す。
図9,図10で、視軸方向の画素位置をy(j)とし、y(j)の下に隣接する画素位置をy(j+1)とする。このとき、図9に示すように、俯角(仰角)が0度の場合において、画素位置y(j)とy(j+1)で決定される1画素の角度分解能は、実空間距離での距離分解能dD(0)であるとする。一方、図10に示すように、俯角(仰角)がα度の場合において、画素位置y(j)とy(j+1)で決定される1画素の角度分解能は、実空間距離での距離分解能dD(α)であるとする。この場合、dD(α)<dD(0)が成立するので、カメラ視軸に俯角(仰角)を持たせた場合、1画素の角度分解能に対する実空間分解能が高くなる。即ち、俯角αを設けることにより、上端エッジを抽出する際の実空間分解能を高くすることが可能となる。
このように、投光部11により投光される領域光の上端エッジは、カメラ12に対して横方向に領域が形成され、カメラ12は上端エッジ照射方向に対して鉛直な方向にオフセットして配置されると共に、上端エッジ照射方向と視軸が所定角度をなすようにすれば、一般的な広角レンズ(魚眼レンズ)を使用した際においても、三角測量の原理に基づき距離計測する際の計測精度が向上する。
このようにして、本実施形態に係る距離測定装置では、時系列的に取得される複数枚の画像に基づき、各画像についての同位相の画像データをそれぞれメモリ18-1〜18-6に記憶し、複数(例えば、6個)の画像データの平均値を演算する。そして、各位相の画像データの平均値に基づいて、合成画像を生成し、この合成画像に基づいて、同期検波処理を行う。従って、ショット雑音が発生した場合でも、強度変調光の観測に影響を与えることなく同期検波処理を行うことができ、このショット雑音による影響を削減することができ、外乱の影響を低減した頑健で正確な距離測定を行うこと可能となる。
また、エッジ検出部15により、同期検波領域の上端の輝度エッジを検出し、距離算出部16はこの輝度エッジの撮像位置に基づいて、測定対象物Pまでの距離を求めるので、より高精度に測定対象物Pまでの距離を求めることが可能となる。
更に、投光部11に設けられる発光源として、可視光、赤外光または紫外光を照射するものを採用し、カメラ12に特定スペクトルの光を高効率で透過するフィルタを設けることにより、照射光をより頑健に検出することが可能となる。また、可視光以外を用いた場合には、照射光照射によって他者の視認を妨げず、幻惑を防止することが可能となる。
投光部11より照射される照射光の上端エッジは、カメラ12に対して横方向に領域が形成され、カメラ12は上端エッジ照射方向に対して鉛直な方向にオフセットして配置され、更に、上端エッジ照射方向と視軸が所定角度をなすので、一般的な広角レンズ(魚眼レンズ)を使用した場合においても、三角測量の原理に基づき距離測定する際の精度を向上させることができる。
[第1実施形態の変形例の説明]
次に、上述した第1実施形態の変形例について説明する。前述した第1実施形態では、正弦波変調周期の6周期分の画像データを各メモリ18-1〜18-6に保存し、これらの平均値を求めて合成画像を生成する構成とした。
ここで、ショット雑音は、入射光強度に依存するため、入射光強度が大きい場合には平均化処理に使用する画像枚数を増加させることが効果的であり、反対に、入射光強度が小さい場合には、平均化処理に使用する画像枚数を少なくすることができる。
従って、入射光強度の大きさに応じて、平均化処理に使用する画像データの数を増減させることにより、より効果的にノイズを除去することが可能となる。具体的には、入射光強度が大きい場合には、平均化処理に使用する画像枚数を多くすることにより、ノイズの影響を低減させることができ、その一方で、入射光強度が小さい場合には、平均化に使用する画像枚数を少なくすることにより、単位時間当たりの処理能力を向上させることが可能となる。
従って、変形例では、入射光強度の大きさに応じて、平均値を求める際の画像枚数を変更する。ここで、入射光強度の大小の判断は、図6(f)に示す画像を用いることにより決めることができる。即ち、図6(f)に示すように、照射光が消灯している状態での画像情報を用いて入射光強度の大小を判断することができる。
以下、変形例に係る距離測定装置100の処理手順を、図13に示すフローチャートを参照して説明する。図13に示すフローチャートは、前述した図11と対比して、ステップS1とS2との間にステップS1a、S1bが加えられている点で相違している。以下、相違点についてのみ説明する。
初めに、ステップS1において、図1に示す画像記憶演算部18の演算器18aは、カメラ12で撮像される画像を取得し、更に、投光制御部13の変調制御の位相毎の画像データに分別し、各位相に対応するメモリ18-1〜18-6(図2参照)に記憶する処理を開始する。
その後、ステップS1aにおいて、入射光強度に基づいて、各メモリ18-1〜18-6に記憶するデータ数を決定する。具体的には、図6(f)に示したように、正弦波変調信号がゼロ(消灯)であるときの画像情報に基づいて、入射光強度を求めることができる。そして、入射光強度が大きいほど、データ数が多くなるように設定する。
次いで、ステップS1bにおいて、上記のステップS1aの処理で決定したデータ数となるように、各メモリ18-1〜18-6にそれぞれの位相毎の画像データを記憶する。その後の処理については、前述した第1実施形態と同様である。
このように、第1実施形態の変形例に係る距離測定装置では、カメラ12に入射する入射光強度、即ち、カメラ12で撮影される画像内の画素の出力強度に応じて、平均化処理を実行する際の画像データの数を変更している。従って、画素の出力強度に応じた適切な画像データ数を設定することができ、ノイズによる影響を低減することができる。
更に、カメラ12に入射する入射光の強度が大きくショット雑音の影響が大きいことが予想される場合には、平均化処理を実行する際の画像データを多くすることにより、より効果的にノイズを除去することができ、高精度な距離測定が可能となる。つまり、前述の(6)式に示した「W(t)/√N」の項で、画像の枚数Nが大きくなるほど、ショット雑音の振幅を低下させることができるので、ノイズの影響を低減できる。また、入射光強度が小さくショット雑音の影響が小さいことが予想される場合には、平均化処理を実行する際の画像データの数を少なくすることにより、演算負荷を低減し、且つ、短時間で合成画像を生成することができ、時間分解能を向上させることができる。
[第2実施形態の説明]
次に、本発明の第2実施形態に係る距離測定装置について説明する。図14は、本発明の第2実施形態に係る距離測定装置100の、照射光の送受信に関連する構成要素を、信号処理に合わせて記載したブロック図、図15は、各信号のタイミングチャートである。
図14において、投光制御部13は、時系列的に輝度レベルが変化するように、出力を変更する。具体的には、正弦波の位相φ=0、π/3、2π/3、π、4π/3、5π/3の、6通りの位相の輝度レベルを順次切り替えて出力する。この際、切替コードとして、正弦波信号が出力され、該正弦波信号の位相に応じて、輝度レベルが切り替えられる。
その結果、図15(a)に示すように、時間経過と共に輝度が変化するステップ変調信号が投光部11より出力される。投光部11は、ステップ変調信号で変調された搬送波を、照射光として測定対象物Pに向けて投光する。
この測定対象物Pで反射した照射光を含む画像は、カメラ12で撮像され(受光され)、更にこの画像は画像記憶演算部18に供給される。そして、各位相φの画像データは、各位相φに設けられたメモリ18-1〜18-6にそれぞれ記憶される。従って、各メモリ18-1〜18-6には、時系列的に取得される画像データのうち、同一の位相となる画像データが複数記憶されることになる。図2に示す演算器18aは、各メモリ18-1〜18-6に記憶されている各位相毎の画像データを、各メモリの画像データ毎に平均化処理を行って、合成画像を生成する。その後、同期検波処理部14は、合成画像と送信信号(搬送波)との乗算を実施する。
そして、このような構成においても、前述した第1実施形態と同様に、各位相の画像データに対して平均化処理が加えられるので、ショット雑音による影響を軽減することが可能となる。なお、図15では、同一の輝度レベルを連続して出力する場合の例(図15では6回)を示しているが、1回毎に順次輝度レベルを変化させても良い。この場合には、図6(b)〜(g)に示したように、各位相の画像データが時系列的に各メモリ18-1〜18-6に記憶されることになる。
以上、本発明の距離測定装置を図示の実施形態に基づいて説明したが、本発明はこれに限定されるものではなく、各部の構成は、同様の機能を有する任意の構成のものに置き換えることができる。
本発明は、移動体の前方に存在する対象物までの距離を測定する際に、ショット雑音による影響を低減することに利用することができる。
11 投光部(投光手段)
12 カメラ(撮像手段)
13 投光制御部(投光制御手段)
14 同期検波処理部(同期検波処理手段)
15 エッジ検出部(エッジ検出手段)
16 距離算出部(距離算出手段)
17 距離測定部
18-1〜18-6 メモリ(記憶部)
18 画像記憶演算部(画像記憶演算手段)
18a 演算器
100 距離測定装置
P 測定対象物(対象物)

Claims (6)

  1. 移動体に搭載され、強度変調された照射光を照射する投光手段と、
    前記移動体に搭載され、前記投光手段が投光した照射光による対象物での反射光を含む映像を、所定の撮像領域で撮像する撮像手段と、
    前記撮像手段による撮像のタイミングに合わせて、前記照射光の発光強度を所定周期で変調制御する投光制御手段と、
    複数の記憶部を有し、前記撮像手段により時系列的に撮像された前記所定周期の複数周期分の時系列画像を取得し、各時系列画像に対して、前記投光制御手段の変調制御による同一位相の画像データに分別して前記各記憶部に記憶し、更に、前記各記憶部に記憶された同一位相の画像データに対して平化処理を行い、同一位相毎に平化された画像データに基づいて、合成画像を生成する画像記憶演算手段と、
    前記画像記憶演算手段にて生成された合成画像から、前記投光手段による発光の強度変調と同期して輝度変動する同期検波領域を抽出する同期検波処理手段と、
    前記同期検波処理手段により抽出された同期検波領域で検出される反射光の輝度変動に基づいて、前記移動体から前記対象物までの距離を算出する距離算出手段と、
    を備えたことを特徴とする距離測定装置。
  2. 前記投光手段は、水平方向に発光領域を有し、前記同期検波処理手段で抽出された同期検波領域の輝度エッジを検出する輝度エッジ検出手段を更に備え、
    前記距離算出手段は、前記輝度エッジ検出手段にて検出された輝度エッジの撮像位置に基づいて、前記対象物と移動体との間の距離を算出することを特徴とする請求項1に記載の距離測定装置。
  3. 前記画像記憶演算手段は、前記投光手段の照射光が消灯している状態での、前記撮像手段で撮像された画像内の画素の出力強度を検出し、該出力強度に応じて前記平滑化処理に用いる画像データ数を増減させることを特徴とする請求項1または請求項2に記載の距離測定装置。
  4. 前記画像記憶演算手段は、前記投光手段の照射光が消灯している状態での、前記撮像手段で撮像された画像内の画素の出力強度を検出し、出力強度が大きいほど、前記平滑化処理に用いる画像データ数を多くすることを特徴とする請求項3に記載の距離測定装置。
  5. 前記投光手段は、可視光または赤外光または紫外光のいずれかまたは複数を照射する光源を具備し、前記撮像手段は、投光手段に具備された光源に応じて、可視光領域または赤外領域または紫外領域に感度を有することを特徴とする請求項1〜請求項4のいずれか1項に記載の距離測定装置。
  6. 前記撮像手段は、前記投光手段の上端エッジが照射される方向に対して鉛直方向に位置し、所定の俯角を有することを特徴とする請求項1〜請求項5のいずれか1項に記載の距離測定装置。
JP2013152524A 2013-07-23 2013-07-23 距離測定装置 Expired - Fee Related JP6236955B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013152524A JP6236955B2 (ja) 2013-07-23 2013-07-23 距離測定装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013152524A JP6236955B2 (ja) 2013-07-23 2013-07-23 距離測定装置

Publications (2)

Publication Number Publication Date
JP2015021924A JP2015021924A (ja) 2015-02-02
JP6236955B2 true JP6236955B2 (ja) 2017-11-29

Family

ID=52486481

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013152524A Expired - Fee Related JP6236955B2 (ja) 2013-07-23 2013-07-23 距離測定装置

Country Status (1)

Country Link
JP (1) JP6236955B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102019844B1 (ko) * 2017-10-13 2019-09-09 현대오트론 주식회사 라이다 신호 처리 장치 및 처리 방법
WO2022131090A1 (ja) * 2020-12-16 2022-06-23 ソニーセミコンダクタソリューションズ株式会社 光検出装置、光検出システム、電子機器および移動体

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0670604B2 (ja) * 1990-03-16 1994-09-07 真 菊川 脆性材料の破壊力学的疲労試験方法および装置
JP3032381B2 (ja) * 1992-07-06 2000-04-17 日本電子株式会社 応力画像システム
JP4828245B2 (ja) * 2006-02-02 2011-11-30 株式会社 ソキア・トプコン 光波距離計
JP5295511B2 (ja) * 2007-03-23 2013-09-18 富士フイルム株式会社 測距装置及び測距方法
JP5351492B2 (ja) * 2008-10-29 2013-11-27 富士重工業株式会社 車載レーダ装置
JP5682334B2 (ja) * 2011-01-28 2015-03-11 日産自動車株式会社 移動体の距離測定装置
JP5751416B2 (ja) * 2011-07-19 2015-07-22 日産自動車株式会社 距離測定装置
JP2014174136A (ja) * 2013-03-13 2014-09-22 Panasonic Corp 受光装置、空間情報検出装置

Also Published As

Publication number Publication date
JP2015021924A (ja) 2015-02-02

Similar Documents

Publication Publication Date Title
JP6983192B2 (ja) 撮像システムおよびそれを動作させる方法
JP7191921B2 (ja) Tofカメラシステムおよび該システムにより距離を測定するための方法
JP6827073B2 (ja) 構造化光およびタイムオブフライトを用いた深度マッピング
US10436902B2 (en) Range finding device and range finding method
US10724960B2 (en) Inspection system and inspection method
JP6168879B2 (ja) 内視鏡装置、内視鏡装置の作動方法及びプログラム
US20170108443A1 (en) Inspection system and inspection method
Liu et al. High dynamic range real-time 3D measurement based on Fourier transform profilometry
JP2016529959A5 (ja)
US10775316B2 (en) Inspection system and inspection method
KR102490335B1 (ko) 타임 오브 플라이트 데이터를 비닝하는 방법
JP2015175752A (ja) 距離画像生成装置、物体検出装置および物体検出方法
JP2013096941A (ja) 撮像装置、撮像方法、及びプログラム
JP6236955B2 (ja) 距離測定装置
JP2014070936A (ja) 誤差画素検出装置、誤差画素検出方法、および誤差画素検出プログラム
JP2017101976A (ja) 検査システム、及び検査方法
JP5978866B2 (ja) 撮影装置及び撮影装置の画像処理方法
JP2017191082A (ja) 輝点画像取得装置および輝点画像取得方法
JP6019621B2 (ja) 距離計測装置
JP5751416B2 (ja) 距離測定装置
JP2017101979A (ja) 検査システム
JP5939422B2 (ja) 距離計測装置
US20200162653A1 (en) Signal processing system, signal processing device, and signal processing method
JP2017228131A (ja) 反射物標検出方法及び反射物標検出装置
IL261443B2 (en) Methods for producing video images independent of background lighting

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160325

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170420

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171003

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171016

R151 Written notification of patent or utility model registration

Ref document number: 6236955

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees