JP5266709B2 - 距離計測装置、距離計測方法および車両 - Google Patents

距離計測装置、距離計測方法および車両 Download PDF

Info

Publication number
JP5266709B2
JP5266709B2 JP2007272772A JP2007272772A JP5266709B2 JP 5266709 B2 JP5266709 B2 JP 5266709B2 JP 2007272772 A JP2007272772 A JP 2007272772A JP 2007272772 A JP2007272772 A JP 2007272772A JP 5266709 B2 JP5266709 B2 JP 5266709B2
Authority
JP
Japan
Prior art keywords
frequency
distance measuring
detection target
image
measuring device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007272772A
Other languages
English (en)
Other versions
JP2009103464A5 (ja
JP2009103464A (ja
Inventor
尚吾 北野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2007272772A priority Critical patent/JP5266709B2/ja
Publication of JP2009103464A publication Critical patent/JP2009103464A/ja
Publication of JP2009103464A5 publication Critical patent/JP2009103464A5/ja
Application granted granted Critical
Publication of JP5266709B2 publication Critical patent/JP5266709B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement Of Optical Distance (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Description

本発明は、所定周波数で変調された光を被検物に照射して被検物の距離情報を計測する距離計測装置、およびこの距離計測装置を用いる乗用車等の車両に関するものである。
光を検出対象領域内の被検物に向けて照射し、この照射光によるその被検物からの反射光をCCDなどの撮像装置で撮像し、その撮像データを処理して被検物までの距離または被検物の形状などを計測する光学式の距離計測装置が知られている。このような距離計測装置において、被検物に照射された光の反射光が背景光に比べて弱いと、反射光は背景光の雑音に埋もれてしまい、反射光の認識は困難となる。
そこで、従来より、背景光の雑音を除去するための装置として同期検波を用いた撮像装置が知られている(例えば、特許文献1参照)。この同期検波を用いた撮像装置は、点滅光源を用いて被検物に一定周波数のパルス光を投光し、点灯時の撮像装置の出力を正の値とし、消灯時の撮像装置の出力を負の値にして、撮像装置の出力を積分することで、点滅光源からのパルス光に基づく検出信号のみを抽出するものである。
しかしながら、上記従来の撮像装置は、照射されるパルス光の周波数を一定にした状態で、同期検波によって背景光の雑音を除去するものである。このような撮像装置を用いた距離計測装置では、距離計測装置が移動することを考慮していなかった。そのため、距離計測装置が移動することで撮像画像が大きく変化するような場合に、背景光の周波数がパルス光の周波数と同じ程度になると、距離計測が正確にできなくなる恐れがあった。
本発明による距離計測装置および距離計測方法では、検出対象を含む領域(以下検出対象領域)を撮像して検出対象領域の画像(以下、検出対象画像)を表す撮像信号を出力する。検出対象領域に向けて所定の変調周波数で変調した照射光を投光装置から照射し、照射光が検出対象から反射された反射光の信号を撮像信号から抽出する同期検波処理を行、同期検波処理で抽出された検出対象からの反射光の信号に基づいて検出対象までの距離を算出する。そして、検出対象画像の画素データ列あるいは所定の画素グループの複数の画像フレームでの時系列データから検出対象画像の空間周波数を算出する。投光装置から照射する照射光を変調する所定の変調周波数空間周波数に基づいて算出される。所定の変調周波数は、検出対象画像の空間周波数よりも大きな周波数であり、変調周波数算出手段は、照射光を照射せずに撮像した検出対象領域の画像から、移動体の移動方向に延在する画素データ列を抽出し、抽出した画素データ列に基づいて空間周波数を算出し、この空間周波数に基づいて変調周波数を算出する。
本発明によれば、検出対象画像の空間周波数に基づいて算出された変調周波数で変調した照射光を検出対象領域に照射するようにしたので、移動体の移動速度にかかわらず、同期検波方式で被検物からの反射光を正確に抽出できる。
図1〜図8を参照して本発明による距離計測装置の一実施形態について説明する。本実施形態による距離計測装置は、乗用車等の車両に備えられている。図1は、本実施形態の距離計測装置を搭載した車両MBを示す。距離計測装置は、第1および第2の投光装置1L,1Rと、撮像装置2と、図4のコントロールユニットCUとを備えている。
第1および第2の投光装置1L,1Rは、車両MBのフロントバンパー3の左端部および右端部の近傍に設置されている。第1および第2の投光装置1L,1Rは、それぞれ、内部のレーザ光源からのレーザ光を、路面に垂直な方向に細長いスリット光として車両前方に左右方向に走査しながら照射する。なお、第1および第2の投光装置1L,1Rは同一であり、車両前方の斜め左方向を投光装置1Lで投光し、車両前方の斜め右方向を投光装置1Rで投光し、後述する駆動制御部32の投光コントロール信号T1の投光タイミングに同期して撮像装置2で撮像する。以下、投光装置1として説明する。
撮像装置2は、フロントガラスの上部中央付近、すなわちルーフ4の前端部中央裏側のルームミラー(不図示)の近傍に取り付けられたカメラを含む。この実施形態の距離計測装置では、投光装置1からスリット光を車両前方へ照射しながら、撮像装置2で車両前方を撮像する。撮像装置2には背景光も入射するため、背景光によるノイズを除去するために、スリット光は予め定められた車速と撮像された画像に応じた周波数でパルス発光している。
図2は、車両MBに備えられた距離計測装置によって、撮像装置2から車両前方の種々の物体までの距離計測を説明する図である。図2において、右前方を走行中の別の車両MB1までの距離d1は、車両MB1に照射されるスリット光LBの投光角度αと、車両MB1からの反射光LB1が撮像装置2に入射する際の車両MBの前方方向に対する角度である撮像角度γとを用いると、三角測量に基づく次式で計算できる。なお、投光装置1と撮像装置2との車両の前後方向の間隔をf、車両の幅寸法をeとしている。また、投光角度αは、スリット光の進行方向と車両の幅方向との角度である。なお、図2中、符号SCは投光装置1のスキャン範囲を示している。
d1=(e・sinαcosγ+f・cosαcosγ)/cos(α+γ) …(1)
図3は、投光装置1および撮像装置2の構成を示す。投光装置1は、レーザ光よりなるスリット光LBを出力するレーザ光源(ラインレーザ)7と、スリット光LBを走査するミラー8とを備えている。レーザ光源7は、投光信号T11によって制御されるレーザ駆動部6からの駆動信号DRVがハイレベルの期間に点灯し、駆動信号DRVがローレベルの期間に消灯する。距離計測時の駆動信号DRVは、ハイレベルの期間とローレベルの期間との比であるデューティ比が1:1の周期TPの信号であるため、それに応じてスリット光LBも周期TPで、デューティ比が1:1でパルス発光する。また、ミラー8は、投光信号T12によって制御される駆動部5によって不図示のモータを介して揺動される。ミラー8は、スリット光LBの投光角度αiが所定の最小値α1から最大値αI(Iは2以上の整数で、i=1〜I)まで一定の角速度で変化するように駆動される。投光信号T11,T12は図4のコントロールユニットCUから供給される。
図3において、撮像装置2は、対物レンズ11と、CCDまたはCMOSなどの多数の画素を2次元的に配列した撮像素子12とを有し、投光装置1から照射光を照射しつつ車両前方を撮像する。撮像装置2はまた、撮像素子12から出力される撮像信号をA/D変換するA/D変換器13と、A/D変換された撮像信号を記憶する画像メモリ14を含んで構成される。
撮像素子12の多数の画素は二次元的に配列されているが、図3においては、水平方向に配列された一列のJ個(Jは2以上の整数)の画素PXj(j=1〜J)のみを示している。以下の説明では、主に、一列の画素PXjの撮像信号sj(t)を処理するものとして説明するが、他の列の画素の撮像信号も同様に処理される。
図3においては、スリット光LBが投光角度αiで点P1に照射され、点P1からの反射光LB1が、対物レンズ11の光軸AXに対して角度γjで、すなわち撮像角度γjでj番目の画素PXjに入射している。同様に、スリット光LBが例えば投光角度αhで点P2に照射された場合、点P2からの反射光LB2は、撮像角度γkでk番目の画素PXkに受光される。このように、各画素PXj毎に、それぞれ画素に受光する反射光の撮像角度γjが予め分かっている。なお、撮像装置2から点P1までの距離に依存して、反射光の像の撮像素子12上での大きさが異なるが、例えば最も光量が大きい画素(ここではPXj)を特定することで、点P1からの反射光LB1の撮像角度γjを正確に求めることができる。
撮像素子12は、投光信号T11,T12と同期して図4のコントロールユニットCUから出力されるカメラコントロール信号T2により撮像を開始する。撮像装置2による撮像周期は、投光装置1から照射されるパルスの発光周期よりも短く、スリット光LBが発光している間に複数回撮像を行う。各撮像ごとに、撮像素子12の各画素PXjから読み出された撮像信号sj(t)はA/D変換器13を介して画像メモリ14に記憶される。撮像素子12の他の列の各画素からの撮像信号についても同様に処理され、画像メモリ14に複数枚の画像データが記憶される。したがって、車両前方の検出対象領域の全域をスリット光LBが走査しつつ、所定タイミングで撮像装置2が車両前方を撮像すると、各タイミングで取得される複数枚の画像データは各投光角度に対応付けられて画像メモリ14に記憶される。
画像メモリ14に記憶された複数枚の画像データは、後述する同期検波処理部32に転送され、照射光の照射周期に応じて同期検波される。同期検波された画像データに対して、投光角度αiごとに、各列毎の撮像信号(撮像信号sj(t)を一例として説明する)のうち、最も信号レベルの高い画素PXjを特定する。これにより、その投光角度αiの照射光が被検物から反射して撮像装置2に入射する撮像角度γjを求めることができる。これらの角度αiおよびγjを式(1)の投光角度αおよび撮像角度γに代入することによって、その画素PXj(撮像角度γj)で撮像される被検物までの距離d1jを求めることができる。
−コントロールユニットCU−
図4は、投光装置1および撮像装置2の動作を制御し、撮像装置2の撮像信号を処理して車両前方の被検物体を検出して出力するコントロールユニットCUを示す。コントロールユニットCUは、RAM、ROM、CPU、および周辺回路などを備えた制御回路であり、コンピュータのソフトウェアによって後述する各種処理を実行する。ASICやFPGAなどのハードウエア構成の論理回路を組合せて実現することも可能である。
コントロールユニットCUは、装置全体の動作を統括的に制御する駆動制御部31と、同期検波処理部32と、距離算出部33と、照射周波数算出部34とを備えている。
駆動制御部31は、投光信号T11、T12を投光装置1に、カメラコントロール信号T2を撮像装置2に、制御情報T4を同期検波処理部32に、投光情報T5を距離算出部33にそれぞれ送出する。投光信号T11は、投光のタイミング、投光時間を制御して、照射周波数fdを変更する。投光信号T12は、ミラー8の揺動を制御する。カメラコントロール信号T2を受信した撮像装置2は撮像を開始する。制御情報T4は照射周波数fdの情報を含み、投光情報T5は、計測用検波信号x(t)に対応するスリット光LBの投光角度αiの情報を含む。
駆動制御部31から撮像装置2にカメラコントロール信号T2が送信されると同時に、撮像装置2は車両前方の撮像を開始する。その後、駆動制御部31から投光装置1に対して、照射周波数fdとして予め設定されている初期設定周波数finitの情報が送られ、投光装置1は、初期設定周波数finitでパルス発光するスリット光LBを射出する。スリット光LBはミラー8により車両前方を走査する。このスリット光LBの走査に同期して撮像装置2で撮像された撮像信号s(t)は画像メモリ14にいったん格納され、その後、同期検波処理部32に供給される。
同期検波処理部32は、撮像装置2の画像メモリ14から供給される撮像信号s(t)(撮像情報)を同期検波して、実質的にスリット光LBが投光されているタイミングで撮像された計測用検波信号x(t)を出力する。すなわち、同期検波処理部32は、画像メモリ14から複数フレーム分の撮像信号(画素データ)を取り込み、照射光が発光されている間に撮像された検出対象領域の複数フレームの画像データを同期検波する。
なお、上述した同期検波は、同期検波処理部32で次のように信号処理して実施することもできる。投光装置1から出力されるスリット光LBの照射周波数fdと同じ周波数の参照信号r(t)を生成し、この参照信号r(t)と、撮像信号s(t)を構成する各画素信号(画素データ)とを乗算し、得られる積信号を所定のローパスフィルタ回路に通して、実質的にスリット光LBが照射している際に撮像された撮像信号を抽出し、計測用検波信号x(t)を取得する。ローパスフィルタ回路のカットオフ周波数は、一例として上記の初期設定周波数finitのほぼ1/2である。計測用検波信号x(t)は距離算出部33に供給される。また、上記同期検波処理は、デジタル処理でもアナログ処理でも実施することができる。
このようにして、画像メモリ14から読み出した撮像信号(画像データ)の各画素を参照信号に同期して抽出することが可能となる。
図4の距離算出部33は、投光情報T5および計測用検波信号x(t)を用いて、スリット光LBの投光角度αi毎に、反射光を受光する画素PXj(ひいては撮像角度γj)を特定し、投光角度αiおよび撮像角度γjの情報を用いて、式(1)から撮像装置2の各画素毎に対応する検出対象領域内の被検物までの距離d1を算出する。算出された各画素毎の距離d1の情報を含む距離情報T6は、不図示の車両の走行制御部に供給されて、車速や進路等の制御が行われる。また、不図示の警報装置にも供給され、前方障害物までの距離が乗員に提示される。
―照射周波数fdの算出方法―
次に、照射周波数算出部34は、撮像装置2から供給される撮像信号s(t)および車速センサ35から供給される車速VBの情報を用いて照射周波数fdを算出し、算出された照射周波数fdを含む周波数情報T3を駆動制御部31に供給する。以下、照射周波数fdの算出方法について説明する。
まず投光装置1からスリット光LBが照射されていない状態で、撮像装置2によって車両前方を撮像し、画像メモリ14にいったん記憶する。画像メモリ14から撮像信号s(t)を読み出し、照射周波数算出部34内のフレームメモリに記憶する。フレームメモリに記憶された撮像信号s(t)による画像の一例を図5(a)に画像2Pとして示す。画像2Pに対応する1フレームの画像データを撮像信号sj(t)で表す。tは撮像時点に対応する。
照射周波数算出部34は、図5(a)に示すように、画像2P内で車両進行方向で仮想の水平線HLと奥行き方向に平行な線とが交差する点である消失点Psを算出する。消失点Psは、例えば自車両の進行方向および撮像装置2の設置角(進行方向と撮像装置2の光軸とがなす角度)から求めることができる。なお、予め直進走行時に撮像された画像から道路のエッジ画像を求め、これらのエッジ画像が交差する点の画素の位置を消失点Psとして求め、その消失点Psの画素の位置を記憶しておいてもよい。撮像装置2を構成するカメラは、図1に示すように車両の中央に設置され、光軸は車両前方を向いているため、車両が直進走行している場合には、図5(a)に示すように、消失点Psは仮想の水平線HLの中点である。
次に、照射周波数算出部34は、そのフレームメモリ内の撮像信号sj(t)中から、画像2P内の左下の画素(ピクセル)AP1と消失点Psとを結ぶ直線9A上の一連の画素データ、すなわち画素データ列Lsj(j=1,2,…)を取得する。撮像装置2で撮像される車両前方の風景が図6(a)である場合には、画素AP1と消失点Psとを結ぶ直線9A上の一連の画素データ列Lsjは、図6(b)のように変化の激しい信号となる。図6(b)の横軸は、図6(a)の直線9A上の点の左下の画素AP1からの距離hを、撮像素子12上の距離(例えば画素の幅を単位としている)で表したものである。
照射周波数算出部34は、直線9上の画素データ列Lsjを所定区間ごとに切り出して、各区間ごとに画像の空間周波数を検出し、そのうちの最大空間周波数に基づいて照射周波数fdを決定する。上記所定区間は後述するように車速に応じて決定される。
図6(b)の画素データ列Lsjは撮像画面上(画像空間上)の複数の画素データであるため、その画素データ列Lsjを、車両センサ35で検出した車速VBを用いて時間軸上の画素データ列に変換する。車速VBで走行する車両は、所定時間Δt(ほぼ照射周波数fdを更新する周期)の間に次式(2)で表される距離dだけ走行する。
d=Δt・VB …(2)
そこで、実空間で距離dだけ離れている画像空間での一対の画素データを算出する。すなわち、図5(a)に示す直線9A上において、実空間上での車両前方方向の距離がdとなる2つの画素を特定する。図5(a)では、画像2Pの左下の画素AP1を基点として直線9a上で距離dだけ離れている画素AP2を特定する。そして、特定された2つの画素間の画素データの変化を算出する。この画素データの変化は、画像2Pを取得した時点から時間Δtが経過する間に画素AP1上で生じる画素データの時間変化を表すことになる。
実空間上で画素AP1との距離がdとなる直線9A上の画素AP2の特定方法は周知であり、詳細な説明は省略する。
図6(b)の例では、得られた画素データ列Lsjのうち、画素AP1から画素AP2までの範囲hの複数の画素データが、時間Δtが経過する間の画素データ列となる。照射周波数算出部34は、こうして取得した画素データ列に高速フーリエ変換(FFT)の処理を施し、その画素データ列の時間軸上の周波数成分(ここではパワースペクトル)を算出する。図6(c)は、そのようにして得られるパワースペクトルの一例を示し、図6(c)の横軸は周波数(Hz)、縦軸はパワースペクトルFTである。
照射周波数算出部34は、図6(c)の周波数成分のうち、パワースペクトルFTが予め決められている所定の閾値FTthを超える範囲FNを特定し、その範囲FN内で最大となる周波数fFNを求める。このようにして、照射周波数算出部34は、直線9上の画素AP1の画素データ変化量に基づいて最大周波数fFNを演算する。その後、画素AP1から所定距離離れた直線9上の複数の画素APn、APn+1、…を基点として複数の端点画素を特定し、基点画素と端点画素との間の画素データ列に対して同様な処理を行い、それぞれの最大周波数fFNを算出する。そして、複数の最大周波数fFNのうち、もっとも大きな最大周波数fFNを算出し、照射周波数fdの下限周波数fmin をその最大周波数fFNよりも高く設定し、さらに下限周波数fmin 以上の周波数域で商用周波数等との重複を避けるようにその照射周波数fdの値を例えばf2に設定し、この照射周波数f2を次回の計測に使用する照射周波数fdとして駆動制御部31に供給する。
以上のように、商用周波数である50Hz、60Hzの基本波および高調波の周波数を避けるように照射周波数fdの値を選択するが、本実施形態ではたとえば次の周波数の範囲を除外する。50Hz、60Hzの基本波および高調波の±10Hzの範囲、すなわち40〜70Hz、90〜130Hz、140〜160Hz、170〜210Hz、230〜260Hz、290〜310Hzを除外する。この結果、図6(c)の例では、下限周波数fmin 以上で商用周波数の範囲(90〜130Hz)を超える135Hz程度の周波数f2が照射周波数fdとして選択される。
このようにして投光装置1から照射されるスリット光LBの照射周波数fdは背景光の周波数成分と識別可能な周波数に設定される。従って、同期検波によって、背景光に影響されることなく、高精度に車両前方の被検物までの距離を計測できる。
次に、本実施形態の距離計測装置において、投光装置1の照射周波数fdを変更しながら車両前方の物体の距離計測を行う動作の一例について、図7(a)および(b)のフローチャートを参照して説明する。この動作は駆動制御部31によって制御される。
計測が開始されるとステップS1において、投光装置1からスリット光LBが照射されていない状態で、撮像装置2によって1フレーム分の画像を取得し、得られた撮像信号を照射周波数算出部34に供給する。照射周波数算出部34では、ステップS2〜S11までの動作によって、上述したように、スリット光LBの照射周波数fdを求めて駆動制御部31に供給する。
照射周波数fdの算出手順は説明した上で通りであるが、ステップS1〜11を概略説明する。
ステップS1では、スリット光LBを照射せずに車両前方を撮影して撮像信号を取得する。撮像信号は画像メモリ14に1フレームの画像データとして記録される。
ステップS2では、画像メモリ14に記録された画像データに基づいて、消失点を算出し、図5(a)に示した画像2Pの左下の画素AP1と消失点を結ぶ線9上の画素データ列Lsj(t)を抽出する。
ステップS3では、車速センサ35で検出した車速VBに基づいて、直線9Aの上の計算対象の基点画素毎に、所定時間Δt(ほぼ照射周波数fdの更新周期)の間に車両が移動した際の対応端点画素、たとえば、端点画素AP2を特定する。
ステップS4では、計算対象である基点画素(たとえばAP1)から特定された端点画素(たとえばAP2)までの画素データ列(例えば図6(b)の距離hの範囲内の画素データ列)を取得する。
ステップS5では、取得した画素データ列を時間軸上の画素データ列信号に変換してFFT処理を施す。FFT処理により、図6(c)に示すような基点画素のΔtの期間のデータ変化における周波数成分を求める。
ステップS6では、図6(c)の周波数成分のうち、所定の閾値FTthを超えている範囲FNの最大周波数fFNを求め、照射周波数fdの下限周波数fmin をその最大周波数fFNよりも高く設定する。
ステップS7では、画素データ列Lsj(t)から、基点画素AP1以外の他の複数の画素を基点画素としてステップS3〜6と同様の処理を行い、照射周波数fdの下限周波数fminを算出する。
ステップS8では、算出された複数の照射周波数fdの下限周波数fminのうち、最大値を選択する。
ステップS9では、選択された下限周波数fminの最大値を、上記の初期設定周波数finitと比較する。下限周波数fminの最大値が初期設定周波数finit以下の場合、照射周波数算出部34は選択された下限周波数fminの最大値を駆動制御部31に供給することなく、動作を終了する。これによって、投光装置1からはそれまでに設定されている照射周波数fdでスリット光LBがパルス発光される。なお、初期設定周波数finitは、例えば本実施形態の車両が停止しているときに、撮像装置2で得られる画像の各画素の通常の撮像信号に含まれる所定の閾値よりも大きい周波数成分の最大周波数よりも大きくなるように設定される。
ステップS10では、下限周波数fminの最大値が初期設定周波数finitを越えている場合、照射周波数算出部34は選択された下限周波数fminの最大値に対して、商用周波数の整数倍を避ける処理を施す。すなわち、選択された下限周波数fminの最大値が商用周波数の整数倍の範囲に入っている場合、その範囲から外れるように下限周波数fminの最大値を補正し、この値を照射周波数fdとする。
ステップS11では、補正した照射周波数fdを駆動制御部31に供給する。
なお、図5(a)の画像2P内の他の計測対象の画素(例えば右下の画素BP1)と消失点Psとを結ぶ直線9B上の画素データ列に基づいて、上述した処理と同様に、車速に依存しない照射周波数fdを算出してもよい。この場合、直線9A上の画素データ列について算出された下限周波数fminの最大値と比較し、いずれか大きい値を駆動制御部31に供給するように構成することができる。
ステップS11が終了すると、例えば時間Δtが経過した後、動作はステップS1に戻り、照射周波数fdの算出が繰り返される。
図7(a)のステップS2〜S11の動作と並行して、図7(b)のステップS21〜S26が実行されて、照射周波数fdを変更しながら物体までの距離計測が行われる。すなわち、図7(b)のステップS21において、駆動制御部31から投光装置1には、照射周波数fdとして初期設定周波数finitの情報が送られ、ステップS22において、投光装置1は初期設定周波数finitでパルス発光する。ミラー8が所定の周波数で揺動して車両前方の検出対象領域の全域をスリット光LBが走査する。また、このスリット光LBの照射に同期して、ステップS23において、車両前方を撮像して画像メモリ14にいったん記録した後、同期検波処理部32のメモリに画像データを転送する。
同期検波処理部32では、メモリに記録した複数枚の画像データに対して、画素毎に同期検波して計測用検波信号を生成する(ステップS24)。距離算出部33は、計測用検波信号を用いて物体までの距離計測を行う(ステップS25)。その後、ステップS26において、駆動制御部31は、照射周波数算出部34から、次回の照射周波数fdが供給されている場合には、その照射周波数fdを投光装置1に供給して照射周波数fdを変更する。その後、動作はステップS21に戻って距離計測が繰り返される。
本実施形態の距離計測装置によれば、以下の作用効果を奏する。
(1)背景光の周波数(背景画像の空間周波数)に応じて照射光の照射周波数fdを変更するようにした。その結果、車両が走行する環境下においても、撮像装置2で得られる画像から同期検波によってスリット光LBの反射光を正確に抽出できるため、距離を計測可能な範囲が広がる。
(2)照射周波数算出部34は、撮像信号中の基点となる画素点から消失点までの画素データ列および車速に基づいて、背景光に含まれる周波数成分の最大周波数を求め、その最大周波数に基づいてスリット光LBの下限周波数fminを設定するようにした。したがって、画像の空間周波数を簡易的に演算することができる。
(3)照射周波数算出部34は、スリット光LBの照射周波数fdが初期設定周波数finitよりも高いときに、その照射周波数fdを駆動制御部31に供給している。したがって、例えば車両が停止または低速で走行している場合に、照射周波数fdが背景光の周波数程度まで低くなることが避けられる。言い換えると、従来の画像中で生じていた背景光の時間変化によって発生するノイズを取り除くことが可能となる。
(4)照射周波数算出部34は、照射周波数fdとして商用電源周波数の基本波および高調波の周波数を除外している。したがって、商用電源の周波数で点灯している蛍光灯などのノイズ成分と異なる照射周波数fdとなるため、ノイズが減少して、より高精度に被検物までの距離を計測できる。
上述した実施の形態の距離計測装置を以下のような実施形態で実施することができる。
(1)他の実施の形態1
他の実施の形態1と上述した実施の形態との相違点は、照射周波数fdを算出する際のアルゴリズムにあり、装置構成や回路構成は同一であるので、相違するアルゴリズムを主に説明する。
他の実施の形態1について図8(a)を参照して説明する。上記の図5(a)および図6(a)を参照して説明した実施形態では、画像2P内の画素AP1(BP1)と消失点Psとを結ぶ直線9A(9B)上の所定区間(たとえば図6(b)の距離hの範囲)の画素データ列の信号に対してFFTにより周波数成分を算出し、算出された周波数成分の最大周波数を超えるように照射周波数fdを設定するようにした。しかしながら、次のようにして照射周波数fdを算出するようにしてもよい。
まず、スリット光LBを照射せずに取得して画像メモリ14に記録された画像データに対してエッジ抽出画像処理を施す。この画像の一例が図8(a)に示すエッジ画像2Pである。このエッジ画像2P上において、上述したと同様の直線9Aと、抽出されたエッジとが交差する画素位置をハイレベル、エッジと交差しない画素位置をローレベルとした2値データを生成する。この2値データ中から、車速VBに応じて定まる範囲(例えば図6(b)の距離hの範囲)内の2値データを抽出し、その2値データ中の最短のエッジの間隔を算出する。最短のエッジ間隔を時間に換算し、その逆数に基づいて、背景光の最大周波数fFNを推定する。そして、この最大周波数fFNより大きくなるように照射周波数fdの下限周波数fmin を設定する。
この場合には、画素データ列のエッジ密度のみを使用するため、FFTのような周波数解析を行う必要がなく、計算量が減少し、高速に照射周波数fdを算出することが可能となる。
他の実施の形態1においても、直線9Aに加えて、直線9B上の画素データ列に対して同様の処理を施して最短のエッジ間隔を抽出し、直線9A上の画素データ列から算出されたエッジ間隔と比較し、最短の値を用いて照射周波数を算出するようにしてもよい。
(2)他の実施の形態2
他の実施の形態2と上述した実施の形態との主たる相違点は、撮像装置2のカメラがカラー撮像素子を有し、画像メモリ14に記録される画像データの各画素が色情報を有している点にある。以下では、相違点を主に説明する。
他の実施の形態2においては、画像メモリ14から読み出した画像データに対して、次のような処理を行う。図8(b)に示すように、画像2P内の特定の画素(例えばAP1)と消失点Psとを結ぶ直線9A上の画素データ列について、同一の画素情報、たとえば、色情報を有する画素毎にグループG1,G2のようにグループ分けする。そして、得られたグループ(画素群)の密度に基づいて照射周波数fdの下限周波数fmin を設定する。
たとえば、グループ分けされた画素データ列中で、車速VBに応じて定まる範囲(例えば図6(b)の距離hの範囲)内のグループの数(分布)を求めることで、背景光の最大周波数fFNを推定する。そして、この最大周波数fFNより大きくなるように照射周波数fdの下限周波数fmin を設定する。
この他の実施の形態2によれば、同一の色情報を有する画素データをグループ化する簡単な処理によって、背景光の最大周波数を推定できるため、高速に照射周波数を算出することが可能となる。
他の実施の形態2においても、直線9Aに加えて、直線9B上の画素データ列に対して同様の処理を施して同一の画素情報(たとえば色情報)毎にグループ化を行ってグループの数(分布密度)を算出し、直線9A上の画素データ列から算出されたグループ数と比較し、最小のグループ数を用いて照射周波数を算出するようにしてもよい。
なお、上記の実施形態の距離算出部33は、三角測量の原理に基づいて物体までの距離を算出しているが、例えば回転走査される2つのスリット光を異なる照射パターンで物体に照射して、反射光の照射パターンからその物体が2つのスリット光のどの交点付近にあるかを判定することによって、その物体までの距離を求める方法など、他の計測原理を用いる場合にも本発明が適用できる。
なお、上記の実施形態は本発明の距離計測装置を車両に搭載したものであるが、本発明はこれに限定されない。例えば、鉄道や船舶などの他の乗り物、産業ロボット、警備ロボット、介護ロボットなどのロボット、あるいは産業機器などの可動装置の他、固定状態で物体までの距離や形状を計測する機器等にも本発明の距離計測装置を適用可能である。
さらに、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態に何ら限定されない。また、上述した実施の形態および変形例は組み合わせてもよい。
なお、特許請求の範囲の構成要素と上述の実施の形態の構成要素との対応関係は次の通りである。すなわち、投光手段は投光装置1に、撮像手段は撮像装置2に、同期検波手段は同期検波処理部32に、距離算出手段は距離算出部33に、投光制御手段は照射周波数算出部と駆動制御部31にそれぞれ対応する。
なお、以上の説明はあくまで一例であり、発明を解釈する際、上記の実施の形態の記載事項と特許請求の範囲の記載事項との対応関係になんら限定も拘束もされない。
本発明の一実施の形態である距離計測装置を搭載した車両MBを示す斜視図 本発明の一実施の形態である距離計測装置の計測原理を説明するための図 図1の距離計測装置の光学系等の構成を示す図 本発明の一実施の形態である距離計測装置を示すブロック図 カメラの消失点を含む画像の一例を示す図 (a)はカメラによる具体的な画像の例を示す図、(b)は図6(a)の画像から得られる消失点方向に向かう画素データの一例を示す図、(c)は図6(b)の画素データの一部をフーリエ変換して得られるパワースペクトルの一例を示す図 (a)は図1の照射周波数算出部34において照射周波数を算出するための処理の一例を示すフローチャート、(b)は図1の距離計測装置の距離計測動作の一例を示すフローチャート (a)はカメラの画像からエッジを抽出する例を示す図、(b)はカメラの画像を輝度レベルが近いグループに分ける例を示す図
符号の説明
1 投光装置 2 撮像装置
31 駆動制御部 32 同期検波処理部
33 距離算出部 34 照射周波数算出部
35 車速センサ CU コントロールユニット
AP1 基点画素 AP2 端点画素
Ps 消失点

Claims (13)

  1. 移動体に搭載される距離計測装置において、
    検出対象を含む領域(以下、検出対象領域)を撮像して前記検出対象領域の画像(以下、検出対象画像)を表す撮像信号を出力する撮像手段と、
    前記検出対象に向けて所定の変調周波数で変調した照射光を照射する投光手段と、
    前記投光手段から照射される前記照射光が前記検出対象から反射される反射光の信号を前記撮像信号から抽出する同期検波手段と、
    前記同期検波手段で抽出された前記検出対象の反射光の信号に基づいて、前記検出対象までの距離を算出する距離算出手段と、
    前記検出対象画像の空間周波数を算出するとともに、前記所定の変調周波数を前記空間周波数に基づいて算出する変調周波数算出手段と
    算出された前記所定の変調周波数で前記照射光が変調されるように前記投光手段を制御する投光制御手段とを備え
    前記所定の変調周波数は、前記検出対象画像の空間周波数よりも大きな周波数であり、
    前記変調周波数算出手段は、前記照射光を照射せずに撮像して得られた前記検出対象領域の画像から、前記移動体の移動方向に延在する画素データ列を抽出し、抽出した画素データ列に基づいて前記空間周波数を算出し、この空間周波数に基づいて変調周波数を算出することを特徴とする距離計測装置。
  2. 請求項に記載の距離計測装置において、
    前記移動体の速度を検出する速度検出手段をさらに備え、
    前記変調周波数算出手段は、前記抽出した画素データ列の中から、前記検出された速度に基づき計算対象となる複数の画素データを一群とする複数のデータ列を選択し、選択した複数のデータ列の空間周波数を計算し、その中から最大周波数を求めることを特徴とする距離計測装置。
  3. 請求項またはに記載の距離計測装置において、
    前記変調周波数算出手段は、前記抽出された前記画素データ列または、前記選択された複数のデータ列を時間軸上のデータ列に変換した後、FFT処理により空間周波数を算出することを特徴とする距離計測装置。
  4. 請求項1または2に記載の距離計測装置において、
    前記変調周波数算出手段は、前記検出対象画像に対してエッジ抽出処理を施してエッジ画像を取得し、取得されたエッジ画像を表す画像データの中から、前記移動体の移動方向に延在するエッジ画素データ列を抽出し、抽出したエッジ画素データ列のエッジ密度に基づいて前記空間周波数を算出することを特徴とする距離計測装置。
  5. 請求項1または2に記載の距離計測装置において、
    前記変調周波数算出手段は、前記検出対象画像を表す撮像信号の中から、車両の移動方向に延在する画素データ列を抽出し、抽出した前記画素データ列に対して、同一画素情報を有する一群のデータ毎ごとにグループ分けするグルーピング処理を施し、グループ分けされた複数のグループの分布密度に基づいて前記空間周波数を算出することを特徴とする距離計測装置。
  6. 請求項に記載の距離計測装置において、
    前記撮像手段はカラー画像を表わす撮像信号を出力し、
    前記同一画素情報は各画素の色情報であることを特徴とする距離計測装置。
  7. 請求項に記載の距離計測装置において、
    前記移動体の速度を検出する速度検出手段をさらに備え、
    前記変調周波数算出手段は、前記検出された速度が速いほど広い範囲の前記エッジ画素データ列または前記画素データ列を抽出することを特徴とする距離計測装置。
  8. 請求項5または6に記載の距離計測装置において、
    前記移動体の速度を検出する速度検出手段をさらに備え、
    前記変調周波数算出手段は、前記検出された速度と前記複数のグループの分布密度とに基づいて前記空間周波数を算出することを特徴とする距離計測装置。
  9. 請求項またはに記載の距離計測装置において、
    前記車両の移動方向に延在する画素データ列は、前記検出対象画像内の下側領域で予め特定した画素と消失点とを結ぶ直線上の画素データであることを特徴とする距離計測装置。
  10. 請求項乃至のいずれか1項に記載の距離計測装置において、
    前記変調周波数算出手段は、算出された前記変調周波数が予め設定されている最小周波数よりも高いときに、前記算出された前記変調周波数を前記所定の変調周波数として前記投光手段からの照射光を変調することを特徴とする距離計測装置。
  11. 請求項10に記載の距離計測装置において、
    前記変調周波数算出手段は、算出された前記変調周波数が商用電源周波数の基本波および高調波の周波数の帯域に含まれる場合、当該帯域より高い周波数前記所定の変調周波数として前記投光手段からの照射光を変調することを特徴とする距離計測装置。
  12. 請求項1乃至11のいずれか項に記載の距離計測装置を備えた車両において、
    前記投光手段が、前記車両の前方を前記検出対象領域として光を照射することを特徴とする車両。
  13. 移動体で用いられる距離計測方法において、
    検出対象を含む領域(以下検出対象領域)を撮像して前記検出対象領域の画像(以下、検出対象画像)を表す撮像信号を出力する撮像工程と、
    前記検出対象に向けて所定の変調周波数で変調した照射光を投光装置から照射する投光工程と、
    前記照射光が前記検出対象から反射される反射光の信号を前記撮像信号から抽出する同期検波工程と、
    前記同期検波工程で抽出された前記検出対象の反射光の信号に基づいて、前記検出対象までの距離を算出する距離算出工程と、
    前記検出対象画像の空間周波数を算出するとともに、前記所定の変調周波数を前記空間周波数に基づいて算出する変調周波数算出工程と
    算出された前記所定の変調周波数で照射光が変調されるように前記投光装置を制御する投光制御工程とを備え
    前記所定の変調周波数は、前記検出対象画像の空間周波数よりも大きな周波数であり、
    前記変調周波数算出工程は、前記照射光を照射せずに撮像して得られた前記検出対象領域の画像から、前記移動体の移動方向に延在する画素データ列を抽出し、抽出した画素データ列に基づいて前記空間周波数を算出し、この空間周波数に基づいて変調周波数を算出することを特徴とする距離計測方法。
JP2007272772A 2007-10-19 2007-10-19 距離計測装置、距離計測方法および車両 Expired - Fee Related JP5266709B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007272772A JP5266709B2 (ja) 2007-10-19 2007-10-19 距離計測装置、距離計測方法および車両

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007272772A JP5266709B2 (ja) 2007-10-19 2007-10-19 距離計測装置、距離計測方法および車両

Publications (3)

Publication Number Publication Date
JP2009103464A JP2009103464A (ja) 2009-05-14
JP2009103464A5 JP2009103464A5 (ja) 2012-12-20
JP5266709B2 true JP5266709B2 (ja) 2013-08-21

Family

ID=40705282

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007272772A Expired - Fee Related JP5266709B2 (ja) 2007-10-19 2007-10-19 距離計測装置、距離計測方法および車両

Country Status (1)

Country Link
JP (1) JP5266709B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5167755B2 (ja) * 2007-10-19 2013-03-21 日産自動車株式会社 光検出装置、光検出方法および車両
JP5266866B2 (ja) * 2008-05-14 2013-08-21 日産自動車株式会社 障害物検出装置
WO2010021090A1 (ja) * 2008-08-20 2010-02-25 パナソニック株式会社 距離推定装置、距離推定方法、プログラム、集積回路およびカメラ
JP6244984B2 (ja) * 2014-03-05 2017-12-13 日産自動車株式会社 カメラ装置
JP6244985B2 (ja) * 2014-03-05 2017-12-13 日産自動車株式会社 カメラ装置
WO2020196087A1 (ja) * 2019-03-27 2020-10-01 パナソニックIpマネジメント株式会社 距離測定装置および画像生成方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2738108B2 (ja) * 1990-02-08 1998-04-08 住友電気工業株式会社 バーコード読取装置
JP4560912B2 (ja) * 2000-08-04 2010-10-13 日産自動車株式会社 距離測定装置
JP2002206923A (ja) * 2001-01-10 2002-07-26 Olympus Optical Co Ltd 測距装置
JP4545334B2 (ja) * 2001-03-15 2010-09-15 浜松ホトニクス株式会社 ロックイン撮像装置
JP5061767B2 (ja) * 2006-08-10 2012-10-31 日産自動車株式会社 画像処理装置および画像処理方法
JP5167755B2 (ja) * 2007-10-19 2013-03-21 日産自動車株式会社 光検出装置、光検出方法および車両

Also Published As

Publication number Publication date
JP2009103464A (ja) 2009-05-14

Similar Documents

Publication Publication Date Title
KR102499586B1 (ko) 촬상 장치
US10746874B2 (en) Ranging module, ranging system, and method of controlling ranging module
JP5092613B2 (ja) 距離計測方法および装置、ならびに距離計測装置を備えた車両
JP5266709B2 (ja) 距離計測装置、距離計測方法および車両
JP6528447B2 (ja) 視差演算システム及び距離測定装置
JP4691701B2 (ja) 人数検出装置及び方法
KR20090039771A (ko) 시선처 추정 장치 및 운전 지원 장치
EP3865911B1 (en) Sensor fusion system, synchronization control device, and synchronization control method
JP6851986B2 (ja) 車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法
JP6782433B2 (ja) 画像認識装置
EP3835130A1 (en) Apparatuses and methods for backscattering elimination via spatial and temporal modulations
WO2021085128A1 (ja) 測距装置、測定方法、および、測距システム
JP5167755B2 (ja) 光検出装置、光検出方法および車両
KR101623469B1 (ko) 레이저 광원을 이용한 야간 장애물 검출 장치 및 방법
JP2023181381A (ja) 計測装置、制御方法、プログラム及び記憶媒体
JP2021051015A (ja) 測距装置、測距方法、並びにプログラム
JP5320880B2 (ja) 距離計測装置、距離計測方法および車両
JP2009041928A (ja) 距離計測方法および装置、ならびに距離計測装置を備えた車両
JP2018024374A (ja) 車両用投影装置
JP2013101432A (ja) 障害物検出装置及びプログラム
JP4645292B2 (ja) 車載物体検出装置、および物体検出方法
WO2021177045A1 (ja) 信号処理装置、信号処理方法、および、測距モジュール
WO2021193645A1 (ja) ゲーティングカメラ、センシングシステム、車両用灯具
CN111971527B (zh) 摄像装置
US20180246192A1 (en) Information processing device, control method, program, and storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100928

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121003

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121105

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121127

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130128

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130409

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130422

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5266709

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees