JPWO2016208318A1 - 距離画像処理装置、距離画像処理方法、距離画像処理プログラムおよび記録媒体 - Google Patents

距離画像処理装置、距離画像処理方法、距離画像処理プログラムおよび記録媒体 Download PDF

Info

Publication number
JPWO2016208318A1
JPWO2016208318A1 JP2017524765A JP2017524765A JPWO2016208318A1 JP WO2016208318 A1 JPWO2016208318 A1 JP WO2016208318A1 JP 2017524765 A JP2017524765 A JP 2017524765A JP 2017524765 A JP2017524765 A JP 2017524765A JP WO2016208318 A1 JPWO2016208318 A1 JP WO2016208318A1
Authority
JP
Japan
Prior art keywords
distance image
noise
region
predetermined
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017524765A
Other languages
English (en)
Inventor
泰士 渡部
泰士 渡部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Publication of JPWO2016208318A1 publication Critical patent/JPWO2016208318A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/487—Extracting wanted echo signals, e.g. pulse detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本発明にかかる距離画像処理装置、距離画像処理方法および距離画像処理プログラムは、複数の送信波および複数の反射波に基づいて、互いに異なる複数の方向それぞれに対応した複数の画素を持つ距離画像を取得し、前記距離画像における所定の領域を注目領域とした場合に、前記注目領域と前記注目領域に対する周辺領域との間における距離値の傾きが所定の範囲内であって、かつ、前記注目領域に関する前記反射波のパルス幅が前記周辺領域に関する前記反射波のパルス幅より大きい場合に、前記注目領域をノイズと判定する。そして、記録媒体は、このような距離画像処理プログラムを記録する。

Description

本発明は、距離画像を処理する距離画像処理装置、距離画像処理方法、距離画像処理プログラムおよび前記距離画像処理プログラムを記録した記録媒体に関する。
距離画像は、被写体までの距離を表す情報で表現された複数の画素で構成された画像であり、例えば、被写体までの距離に応じて異なる色を割り当てることで、形成される。このような距離画像は、例えば、ＬＩＤＡＲ（Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）技術を用いて取得される。
この３次元距離画像技術は、例えば、送信波の被写体による反射波を受信することで、前記送信波が前記被写体に当たって前記反射波として戻るまでの時間（送受信時間）を求め、前記送信波の伝播速度に前記送受信時間の半分を乗算することで、前記被写体までの距離を求めて前記距離画像を生成する技術である。
この３次元距離画像技術では、対象物体（被写体）上の１箇所のみから反射した反射波を受信していることを前提として距離が測定されていた。そのため、例えば壁から離れて立つ人の輪郭部分のように、手前の部分（この場合は人の部分）と奥の部分（この場合は壁の部分）との距離が急激に変化する箇所の距離を測定しようとすると、１個の送信波がこれら前記手前の部分および前記奥の部分それぞれで反射してしまう場合があるため、距離測定の精度が低下してしまう。このような不都合を回避するための技術が例えば特許文献１に開示されている。
この特許文献１に開示された画像処理装置は、輝度画像に基づいて、距離画像からゴースト部分を除去する前処理部と、前記ゴースト部分を除去した前記距離画像からエッジを抽出するエッジ抽出部と、前記ゴースト部分を除去した前記距離画像において、前記エッジ抽出部によって抽出されたエッジ部分の画素の距離の値を除去する除去部と、を備える。ここで、輝度とは、反射波の強度を表すものであると定義する。
ところで、前記特許文献１に開示された画像処理装置は、輝度画像に基づいて、距離画像からゴースト部分を除去するので、距離画像の他に、輝度画像を求める画像処理が必要である。また、前記特許文献１に開示された画像処理装置は、輝度画像に基づいて、距離画像からゴースト部分を除去するので、１個の表面に反射率の低い部分が存在する場合でもゴースト部分として除去されてしまう虞がある。
特許第５６２４９９８号公報
本発明は、上述の事情に鑑みて為された発明であり、その目的は、複数の物体が送信波の進行方向に沿って前後に配置されている場合でも、より高精度な距離画像を取得できる距離画像処理装置、距離画像処理方法および距離画像処理プログラムを提供することである。本発明は、この距離画像処理プログラムを記録した記録媒体を提供することである。
本発明にかかる距離画像処理装置、距離画像処理方法および距離画像処理プログラムは、複数の送信波および複数の反射波に基づいて、互いに異なる複数の方向それぞれに対応した複数の画素を持つ距離画像を取得し、前記距離画像における所定の領域を注目領域とした場合に、前記注目領域と前記注目領域に対する周辺領域との間における距離値の傾きが所定の範囲内であって、かつ、前記注目領域に関する前記反射波のパルス幅が前記周辺領域に関する前記反射波のパルス幅より大きい場合に、前記注目領域をノイズと判定する。そして、記録媒体は、このような距離画像処理プログラムを記録する。したがって、本発明にかかる距離画像処理装置、距離画像処理方法および距離画像処理プログラムは、複数の物体が送信波の進行方向に沿って前後に配置されている場合でも、より高精度な距離画像を取得できる。本発明によれば、この距離画像処理プログラムを記録した記録媒体が提供できる。
上記並びにその他の本発明の目的、特徴及び利点は、以下の詳細な記載と添付図面から明らかになるであろう。
実施形態の距離画像処理装置を用いたレーダの構成を示すブロック図である。 前記レーダの外観構成を示す斜視図である。 前記レーダにおける距離画像を生成する基本的な仕組みを説明するための図である。 前記基本的な仕組みで生成される距離画像（ノイズ除去処理前の距離画像）の一例を示す図である。 図４に示す距離画像を３次元の点群で表示した図である。 パルスレーザ光の送信方向に沿って前後に位置する手前の物体および奥の物体によってノイズが発生しない場合を説明するための図である。 パルスレーザ光の送信方向に沿って前後に位置する手前の物体および奥の物体によってノイズが発生する場合を説明するための図である。 前記レーダの動作を示すフローチャートである。 図８に示すフローチャートに示した処理によって判断されたノイズ領域を白として、ノイズではないと判断された領域を黒として示した図である。 図９において、白で表した領域を除外した図４の距離画像を３次元の点群で表示した図である。
以下、本発明にかかる実施の一形態を図面に基づいて説明する。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、適宜、その説明を省略する。本明細書において、総称する場合には添え字を省略した参照符号で示し、個別の構成を指す場合には添え字を付した参照符号で示す。
実施形態における距離画像処理装置は、互いに異なる複数の方向へパルス状の所定の送信波をそれぞれ送信し、前記複数の送信波それぞれに基づく複数の反射波を受信し、前記複数の送信波および前記複数の反射波に基づいて、前記複数の方向それぞれに対応した複数の画素を持つ距離画像を取得する距離画像取得部と、前記距離画像における所定の領域を注目領域とした場合に、前記注目領域と前記注目領域に対する所定の周辺に位置する周辺領域との間における距離値の傾きが所定の範囲内であって、かつ、前記注目領域に関する前記反射波のパルス幅が前記周辺領域に関する前記反射波のパルス幅より大きい場合に、前記注目領域をノイズと判定するノイズ判定部とを備えるものである。このような距離画像処理装置は、適宜な用途の装置に組み込まれて良く、また、単独の装置、例えば前記距離画像取得部を持つコンピュータで構成されて良い。ここでは、一例として、レーダに組み込まれた距離画像処理装置について説明する。
図１は、実施形態の距離画像処理装置を用いたレーダの構成を示すブロック図である。図２は、前記レーダの外観構成を示す斜視図である。図３は、前記レーダにおける距離画像を生成する基本的な仕組みを説明するための図である。図３Ａは、走査の様子を示し、図３Ｂは、送受信時間を説明するための図である。図４は、前記基本的な仕組みで生成される距離画像（ノイズ除去処理前の距離画像）の一例を示す図である。
実施形態の距離画像処理装置を用いたレーダＳは、図１に示すように、送受信部１と、制御処理部２と、記憶部３と、ハウジングＨＧ（図２参照）とを備える。
ハウジングＨＧは、図２に示すように、有底半円筒状の下部部材ＨＧ１と、下部部材ＨＧ１の上部に連結され有蓋中空半円錐台状の上部部材ＨＧ２とを備え、これら下部部材ＨＧ１および上部部材ＨＧ２で形成される内部空間に、少なくとも送受信部１を収容し、上部部材ＨＧ２における斜曲面状の側面に開口された開口部ＷＤに保護部材ＨＧ３が嵌め込まれて固定されている。なお、レーダＳにおける制御処理部２および記憶部３は、ハウジングＨＧに収容されて良く、また、ハウジングＨＧの外部に設けられても良い。保護部材ＨＧ３は、後述の送信波および反射波を透過する材料で形成され、送受信部１を保護するための部材であるので、ある程度の強度が要求される。また、本実施形態では、送信波がレーザ光であり、反射波がこのレーザ光の反射光であるので、保護部材ＨＧ３は、レーザ光の波長を中心波長として所定の波長範囲を透過する透光性を有する、例えばポリカーボネートやガラス等の材料で形成される。
送受信部１は、制御処理部２に接続され、制御処理部２の制御に従って、互いに異なる複数の方向へパルス状の所定の送信波をそれぞれ送信し、前記複数の送信波それぞれに基づく複数の反射波を受信する装置である。より具体的には、送受信部１は、互いに異なる複数の方向へパルス状の所定の送信波をそれぞれ送信する送信部１１と、前記複数の送信波それぞれに基づく複数の反射波を受信する受信部１２とを備える。受信部１２は、前記受信した反射波の強度に応じたデジタル信号を制御処理部２へ出力する。前記送信波は、例えば光やミリ波等の電磁波や超音波等の音波等である。本実施形態では、前記送信波は、パルス状のレーザ光である。このため、本実施形態では、送信部１１は、例えば、半導体レーザ等のレーザ光をパルス状に射出するレーザ光源と、前記レーザ光源から射出されたレーザ光を互いに異なる複数の方向へ順次に照射する走査光学系とを備える。前記走査光学系は、例えばモータ等のアクチュエータとミラー（反射鏡）とを備え、前記アクチュエータで前記ミラーを所定の軸回りに回転することで、前記レーザ光源から射出されたレーザ光の入射角を順次に変える。これによって前記走査光学系は、前記レーザ光源から射出されたパルス状のレーザ光を、例えば図３Ａに示す所定の照射範囲ＡＲ内における互いに異なる複数の方向へ順次に照射する。図３Ａに示すように、レーダＳの前方方向をＸ方向とし、これに直交するレーダＳの高さ方向をＺ方向とし、これらＸ方向およびＺ方向それぞれに直交する方向をＹ方向とするＸＹＺ直交座標系を設定し、このＸＹＺ直交座標系に対し、動径ｒおよび２個の偏角θ、φを持つ球座標系を設定した場合に、照射範囲ＡＲは、図３Ａに示す例では、偏角θが９０°±α（αは例えば５°や７°や１０°や１５°等）であり、偏角φが±９０°である範囲である。なお、偏角θは、動径ｒのＸＹ平面上の射影とＸ軸とのなす角度であり、偏角φは、動径ｒとＺ軸とのなす角度である。また、図３Ａに示す照射範囲ＡＲは、一例に過ぎず、照射範囲ＡＲは、任意であって、図３Ａに示す例に限定されるものではない。
記憶部３は、制御処理部２に接続され、制御処理部２の制御に従って、各種の所定のプログラムおよび各種の所定のデータを記憶する回路である。前記各種の所定のプログラムには、例えば、互いに異なる複数の方向へ前記送信波をそれぞれ送信し前記複数の送信波それぞれに基づく複数の反射波を受信するための送受信プログラムや、前記複数の送信波および前記複数の反射波に基づいて前記複数の方向それぞれに対応した複数の画素を持つ距離画像を生成する距離画像生成プログラム等の制御処理プログラムが含まれる。前記距離画像生成プログラムには、前記複数の画素（前記複数の方向）それぞれについて、当該画素（当該方向）に対応する送信波およびその反射波に基づいて被写体（物体）までの距離を求めることで、ノイズ除去前の距離画像を生成する距離画像前処理プログラムや、前記距離画像前処理プログラムで生成した前記距離画像における所定の領域を注目領域とした場合に、前記注目領域と前記注目領域に対する所定の周辺に位置する周辺領域との間における距離値の傾きが所定の範囲内であって、かつ、前記注目領域に関する前記反射波のパルス幅が前記周辺領域に関する前記反射波のパルス幅より大きい場合に、前記注目領域をノイズと判定するノイズ判定プログラムや、前記ノイズ判定プログラムでノイズと判定された注目領域の画素値を、ノイズを表す所定のノイズ画素値に設定するノイズ除去プログラム等が含まれる。前記各種の所定のデータには、各種プログラムの実行に必要なデータや各種プログラムの実行によって得られたデータ等の各種のデータが含まれる。記憶部３は、例えば不揮発性の記憶素子であるＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）や書き換え可能な不揮発性の記憶素子であるＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を備える。そして、記憶部３は、前記所定のプログラムの実行中に生じるデータ等を記憶するいわゆる制御処理部２のワーキングメモリとなるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を含む。
制御処理部２は、上述したように、送受信部１および記憶部３に接続され、レーダＳの各部を当該各部の機能に応じてそれぞれ制御し、前記送信波および前記反射波を送受信して距離画像を生成するための回路である。制御処理部２は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）およびその周辺回路を備えて構成される。制御処理部２は、前記制御処理プログラムの実行によって、制御部２１および距離画像生成部２２を機能的に備える。
制御部２１は、レーダＳの各部を当該各部の機能に応じてそれぞれ制御するものである。
距離画像生成部２２は、前記複数の送信波および前記複数の反射波に基づいて前記複数の方向それぞれに対応した複数の画素を持つ距離画像を生成するものである。本実施形態では、距離画像生成部２２は、距離画像前処理部２２１、ノイズ判定部２２２およびノイズ除去部２２３を機能的に備える。
距離画像前処理部２２１は、前記複数の画素（前記複数の方向）それぞれについて、当該画素（当該方向）に対応する送信波およびその反射波に基づいて被写体（物体）までの距離を求めるものである。これによって距離画像前処理部２２１は、ノイズ除去前の距離画像を生成する。より具体的には、距離画像前処理部２２１は、前記複数の画素（前記複数の方向）それぞれについて、図３Ｂに示すように、当該画素（当該方向）に対応する当該送信波の送信時刻から当該送信波に基づく当該反射波の受信時刻までの当該送受信時間τを求め、この求めた当該送受信時間τの半分を送信波の伝播速度に乗算することで当該送信波を反射した物体までの距離を求め（ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｒｉｇｈｔ）方式）、前記ノイズ除去前の距離画像を生成する。前記送信時刻や前記受信時刻は、それぞれ、例えばパルスのピーク時刻やパルスの立ち上がり時刻等である。なお、この場合に、例えば、特開昭６２−１３４５８４号公報に開示されているように、パルスの立ち上がり時刻と立ち下がり時刻との中間時刻がピーク時刻とされても良い。この距離画像前処理部２２１で生成される前記ノイズ除去前の距離画像の一例が例えば図４に示されている。この図４に示す距離画像は、白壁の前に人が立っている風景を被写体として得られたものである。図４に示す距離画像では、被写体がレーダＳに近いほど黒に近づき、前記被写体がレーダＳから離れるほど白に近づくように、画素値が設定されている。
ノイズ判定部２２２は、距離画像前処理部２２１で生成した前記ノイズ除去前の距離画像における所定の領域を注目領域とした場合に、前記注目領域と前記注目領域に対する所定の周辺に位置する周辺領域との間における距離値の傾きＧｒが所定の範囲ｔｈｇ１〜ｔｈｇ２内であって（ｔｈｇ１≦Ｇｒ≦ｔｈｇ２）、かつ、前記注目領域に関する前記反射波のパルス幅ＰＷ１が前記周辺領域に関する前記反射波のパルス幅ＰＷ２より大きい場合（ＰＷ１＞ＰＷ２）に、前記注目領域をノイズと判定する。前記注目領域と前記周辺領域との距離値の傾きＧｒは、前記注目領域の中央位置における画素値（Ｘ方向の距離、前後方向の距離）と前記周辺領域の中央位置における画素値（Ｘ方向の距離、前後方向の距離）との差を、前記Ｘ方向に直交する垂直面内における前記注目領域の中央位置と前記周辺領域の中央位置との差で、除算したものである。前記注目領域に関する前記反射波のパルス幅ＰＷ１は、前記注目領域に属する画素に関する反射波のパルス幅の平均値である。前記周辺領域に関する前記反射波のパルス幅ＰＷ２は、前記周辺領域に属する画素に関する反射波のパルス幅の平均値である。例えば、ノイズ判定部２２２は、前記ノイズ除去前の距離画像を複数の領域に分け、前記複数の領域それぞれについて、当該領域と当該領域に対する所定の周辺に位置する周辺領域との間における距離値の傾きＧｒが所定の範囲ｔｈｇ１〜ｔｈｇ２内であって（ｔｈｇ１≦Ｇｒ≦ｔｈｇ２）、かつ、当該領域に関する前記反射波のパルス幅ＰＷ１が前記周辺領域に関する前記反射波のパルス幅ＰＷ２より大きい場合（ＰＷ１＞ＰＷ２）に、当該領域をノイズと判定して良いが、本実施形態では、例えば、ノイズ判定部２２は、前記複数の画素（複数の方向）それぞれについて、当該画素（注目画素）と当該画素に対する所定の周辺に位置する周辺画素との間における距離値の傾きＧｒが所定の範囲ｔｈｇ１〜ｔｈｇ２内であって（ｔｈｇ１≦Ｇｒ≦ｔｈｇ２）、かつ、当該画素に関する前記反射波のパルス幅ＰＷ１が前記周辺画素に関する前記反射波のパルス幅ＰＷ２より大きい場合（ＰＷ１＞ＰＷ２）に、当該画素をノイズと判定する。この場合では、当該画素とその周辺画素との距離値の傾きＧｒは、当該画素の画素値（Ｘ方向の距離、前後方向の距離）と前記周辺画素の画素値（Ｘ方向の距離、前後方向の距離）との差を、前記Ｘ方向に直交する垂直面内における当該画素の位置と前記周辺画素の位置との差で、除算したものである。より具体的には、ノイズ判定部２２２は、傾き処理部２２２１、パルス幅処理部２２２２および判定部２２２３を機能的に備える。
傾き処理部２２２１は、前記複数の画素（複数の方向）それぞれについて、当該画素と当該画素に対する所定の周辺に位置する周辺画素との間における距離値の傾きＧｒを求め、この求めた距離値の傾きＧｒが所定の範囲ｔｈｇ１〜ｔｈｇ２内であるか否かを判定し、この判定結果（傾き判定結果）を判定部２２２３へ通知するものである。
パルス幅処理部２２２２は、前記複数の画素（複数の方向）それぞれについて、当該画素に関する前記反射波のパルス幅ＰＷ１が前記周辺画素に関する前記反射波のパルス幅ＰＷ２より大きいか否かを判定し、この判定結果（パルス幅判定結果）を判定部２２２３へ通知するものである。
判定部２２２３は、前記複数の画素（複数の方向）それぞれについて、傾き処理部２２２１の傾き判定結果およびパルス幅処理部２２２２のパルス幅判定結果に基づいて、当該画素がノイズであるか否かを判定するものである。
ノイズ除去部２２３は、ノイズ判定部２２２でノイズと判定された注目領域の画素値を、ノイズを表す所定のノイズ画素値に設定するものである。これによってノイズ除去後の距離画像が生成される。本実施形態では、ノイズ除去部２２３は、ノイズ判定部２２２の判定部２２２３でノイズと判定された画素の画素値を、前記ノイズ画素値に設定するものである。前記ノイズ画素値は、ノイズを表す画素値として予め設定された所定の画素値であり、例えば、距離無限大を表現する値である。
次に、実施形態の距離画像処理装置を用いたレーダの動作について説明するが、その前に、発明者の考察によるノイズ発生のメカニズムについて説明する。
まず、発明者の考察によるノイズ発生のメカニズムについて説明する。図５は、図４に示す距離画像を３次元の点群で表示した図である。図６は、パルスレーザ光の送信方向に沿って前後に位置する手前の物体および奥の物体によってノイズが発生しない場合を説明するための図である。図７は、パルスレーザ光の送信方向に沿って前後に位置する手前の物体および奥の物体によってノイズが発生する場合を説明するための図である。図６Ａおよび図７Ａは、パルスレーザ光の送信方向（Ｘ方向）に沿って前後に位置する手前の物体Ｏｂｆおよび奥の物体Ｏｂｒに照射されるビーム状の送信波（本実施形態ではパルスレーザ光）を説明するための図である。図６Ｂおよび図７Ｂは、前記送信方向に直交する横方向（Ｙ方向）での手前の物体Ｏｂｆの端からビーム径より内側において手前の物体Ｏｂｆで反射した反射波の信号波形を示す。図６Ｃおよび図７Ｃは、前記横方向（Ｙ方向）での奥の物体Ｏｂｒ側の手前の物体Ｏｂｆ端付近で反射した反射波の信号波形を示す。図６Ｄおよび図７Ｄは、前記横方向（Ｙ方向）での奥の物体Ｏｂｒの端からビーム径より内側において奥の物体Ｏｂｒで反射した反射波の信号波形を示す。
上述で、一例として示した図４に示す、距離画像前処理部２２１で生成されるノイズ除去前の距離画像を、３次元の点群で表示した場合、前記ノイズ除去前の距離画像は、図５に示す点群となる。図５に示す３次元の点群は、図４に示す距離画像の画素値（距離）、偏角θ（上下方向角度）および偏角φ（左右方向角度）から公知の手法によって求められる。この図５から分かるように、複数の物体Ｏｂｋ（図４および図５に示す例では人Ｏｂ１と白壁Ｏｂ２）が送信波の進行方向に沿って前後に配置されている場合、手前の物体Ｏｂｆ（図４および図５に示す例では人Ｏｂ１）を表す点群ＰＧｆ（図５に示す例では人Ｏｂ１に対応する点群ＰＧ１）と、奥の物体Ｏｂｒ（図４および図５に示す例では白壁Ｏｂ２）を表す点群ＰＧｒ（図５に示す例では白壁Ｏｂ２に対応する点群ＰＧ２）との間にも、点群ＰＧｎが生じている。これら点群ＰＧｆ、ＰＧｒの間に存在する前記点群ＰＧｎは、手前の物体Ｏｂｆと奥の物体Ｏｂｒとの間に物体が存在していないので、本来、生成されるべき点群ではなく、ノイズである。
例えば、図６Ａに示すように、ビーム状の送信波（本実施形態ではパルス状のレーザ光）の進行方向における手前の物体Ｏｂｆと奥の物体Ｏｂｒとの間の距離が比較的離れている場合、手前の物体Ｏｂｆにおける端からビーム径より内側では、前記送信波は、図６Ａに示すように、手前の物体Ｏｂｆでのみ反射し、その反射波の信号波形は、図６Ｂに示すように、１個のピークを持つ単峰のパルス波形となり、同様に、奥の物体Ｏｂｒにおける端からビーム径より内側では、前記送信波は、図６Ａに示すように、奥の物体Ｏｂｒでのみ反射し、その反射波の信号波形は、図６Ｄに示すように、１個のピークを持つ単峰のパルス波形となる。一方、奥の物体Ｏｂｒ側での手前の物体Ｏｂｒ端付近では、前記送信波は、図６Ａに示すように、その一部が手前の物体Ｏｂｆで反射し、その他部（残部）が奥の物体Ｏｂｒで反射する。ここで、手前の物体Ｏｂｆと奥の物体Ｏｂｒとの間の前記距離が比較的離れているので、前記送信波にかかる反射波の信号波形は、図６Ｃに示すように、２個のピークを持つ双峰のパルス波形となる。このため、手前の物体Ｏｂｆと奥の物体Ｏｂｒとの間の前記距離が比較的離れている場合では、このような双峰のパルス波形から、手前の物体Ｏｂｆと奥の物体Ｏｂｒとは、区別可能であり、ノイズは、生じ難い。
一方、図６Ａに示す態様から、手前の物体Ｏｂｆと奥の物体Ｏｂｒとの間の前記距離が小さくなって行くと（手前の物体Ｏｂｆと奥の物体Ｏｂｒとが互いに近づいて行くと）、図６Ｃに示す双峰のパルス波形における各ピークは、互いに近づいて行き、図７Ａに示すように、手前の物体Ｏｂｆと奥の物体Ｏｂｒとの間の距離が比較的近づいている場合、図７Ｃに示すように、反射波の信号波形は、単峰のパルス波形となり、この単峰のパルス波形は、送信波の一部が手前の物体Ｏｂｆで反射することで生じた反射波と前記送信波の残部が奥の物体Ｏｂｒで反射することで生じた反射波とを重畳した反射波の信号波形であるので、送信波が手前の物体Ｏｂｆのみや奥の物体Ｏｂｒのみで反射した場合における反射波の信号波形における単峰のパルス波形より、パルス幅は、広い。この結果、この図７Ｃに示すような単峰のパルス波形から、前記閾値判定では、手前の物体Ｏｂｆと奥の物体Ｏｂｒとは、区別できず、しかも、この図７Ｃに示すような単峰のパルス波形のピーク時刻は、前記送信波が図７Ａに示すように手前の物体Ｏｂｆでのみ反射した場合における反射波の信号波形（図７Ｃに破線で示す）にかかるピーク時刻と前記送信波が図７Ａに示すように奥の物体Ｏｂｒでのみ反射した場合における反射波の信号波形（図７Ｃに破線で示す）にかかるピーク時刻との間となるため、図５に点群ＰＧｎで示すようなノイズが生じてしまう。
なお、手前の物体Ｏｂｆと奥の物体Ｏｂｒとの間の距離が比較的近づいている場合でも、手前の物体Ｏｂｆにおける端からビーム径より内側で送信波が反射した場合における反射波の信号波形（図７Ｂ）、および、奥の物体Ｏｂｒにおける端からビーム径より内側で送信波が反射した場合における反射波の信号波形（図７Ｄ）は、それぞれ、図６Ｂおよび図６Ｄに示す場合と同様である。
反射波の信号波形が双峰のパルス波形から単峰のパルス波形になるか否かは、手前の物体Ｏｂｆと奥の物体Ｏｂｒとの間の距離に関係し、前記注目領域と前記注目領域に対する所定の周辺に位置する周辺領域との間における傾きＧｒ（本実施形態では当該画素と当該画素に対する所定の周辺に位置する周辺画素との間における距離値の傾きＧｒ）に基づいて判定できる。単峰のパルス波形が奥の物体Ｏｂｒ側での手前の物体Ｏｂｒ端付近で反射した反射波であるか否かは、パルス幅に関係し、前記注目領域に関する前記反射波のパルス幅ＰＷ１および前記周辺領域に関する前記反射波のパルス幅ＰＷ２（本実施形態では当該画素に関する前記反射波のパルス幅ＰＷ１および前記周辺画素に関する前記反射波のパルス幅ＰＷ２）に基づいて判定できる。そして、これら各判定結果（傾き判定結果およびパルス幅判定結果）から、距離画像における画素の画素値がノイズであるか否かが判定できる。
発明者は、ノイズ発生のメカニズムを上述のように考察しており、この考察から、本実施形態の距離画像処理装置を用いたレーダは、上述したようにノイズ判定部２２２を備え、次のように動作している。
図８は、前記レーダの動作を示すフローチャートである。図９は、図８に示すフローチャートに示した処理によって判断されたノイズ領域を白として、ノイズではないと判断された領域を黒として示した図である。図１０は、図９において、白で表した領域を除外した図４の距離画像を３次元の点群で表示した図である。
レーダＳは、起動すると、必要な各部の初期化を実行し、その稼働を始める。また、制御処理プログラムの実行によって、制御処理部２には、制御部２１および距離画像生成部２２が機能的に構成され、距離画像生成部２２には、距離画像前処理部２２１、ノイズ判定部２２２およびノイズ除去部２２３が機能的に構成され、そして、ノイズ判定部２２２には、傾き処理部２２２１、パルス幅処理部２２２２および判定部２２２３が機能的に構成される。
ノイズ除去前の距離画像を生成するために、まず、制御処理部２は、前記複数の方向それぞれについて、前記送受信時間を測定する。より具体的には、制御処理部２は、制御部２１によって、前記複数の方向における第１番目に測定すべき方向に、送信部１１に送信波を送信させ、この送信波の送信タイミング（送信時刻）を距離画像前処理部２２１へ通知する。受信部１２は、前記送信波に対する反射波を受信すると、前記反射波の強度に応じたデジタル信号を制御処理部２へ出力する。制御処理部２の距離画像前処理部２２１は、第１番目の方向に関する送信波の前記送信タイミング（送信時刻）から、受信部１２から前記デジタル信号を受信した受信タイミング（すなわち、前記第１番目の方向に関する前記送信波に基づく反射波の受信時刻）までの送受信時間τ１を求める。距離画像前処理部２２１は、この求めた送受信時間τ１の半分を前記送信波の伝播速度に乗算することで、前記複数の方向における第１番目の方向における距離を求める。また、前記反射波が予め設定された所定の閾値以上である時間が、計時され、この計時された時間がパルス幅とされる。これによって前記第１番目に対応する画素の画素値が求められる。次に、第２番目の測定点の測定を実行するために、制御処理部２は、制御部２１によって、前記複数の方向における第２番目に測定すべき方向に、送信部１１に送信波を送信させ、この送信波の送信タイミング（送信時刻）を距離画像前処理部２２１へ通知する。受信部１２は、前記送信波に対する反射波を受信すると、前記反射波の強度に応じたデジタル信号を制御処理部２へ出力する。制御処理部２の距離画像前処理部２２１は、第２番目の方向に関する送信波の前記送信タイミング（送信時刻）から、受信部１２から前記デジタル信号を受信した受信タイミング（すなわち、前記第２番目の方向に関する前記送信波に基づく反射波の受信時刻）までの送受信時間τ２を求める。距離画像前処理部２２１は、この求めた送受信時間τ２の半分を前記送信波の伝播速度に乗算することで、前記複数の方向における第２番目の方向における距離を求める。また、前記反射波が前記所定の閾値以上である時間が、計時され、この計時された時間がパルス幅とされる。これによって前記第２番目に対応する画素の画素値が求められる。以下、制御処理部２は、前記複数の方向（前記複数の測定点）における最後の順番まで、同様に測定を実行し、同様に距離画像前処理部２２１によって距離を求め、全ての方向（全ての測定点）それぞれについて、前記送受信時間τの測定およびその距離の算出を実行する。これによって例えばφ＝−９０°であってθ＝９０°−αの第１番目の方向（第１番目の画素）からφ＝９０°であってθ＝９０°＋αの最後の方向（最後の画素）まで照射範囲ＡＲが２次元的に走査される。
このような動作で距離画像前処理部２２１によってノイズ除去前の距離画像が生成されると、図８において、ノイズ判定部２２２は、まず、距離画像前処理部２２１で生成されたノイズ除去前の距離画像から所定の注目画素を選択して抽出する。例えば、前記第１番目の方向に対応する画素が注目画素として選択され抽出される（Ｓ１）。
次に、ノイズ判定部２２２は、処理Ｓ１で抽出した注目画素に対する所定の周辺に位置する周辺画素を選択して抽出する（Ｓ２）。例えば、ノイズ判定部２２２は、処理Ｓ１で抽出した注目画素から左右方向（−Ｙ方向および＋Ｙ方向）それぞれに沿って位置する１または複数の画素を周辺画素として抽出する。また例えば、ノイズ判定部２２２は、処理Ｓ１で抽出した注目画素から上下方向（＋Ｚ方向および−Ｚ方向）それぞれに沿って位置する１または複数の画素を周辺画素として抽出する。また例えば、ノイズ判定部２２２は、処理Ｓ１で抽出した注目画素から左右方向それぞれに沿って位置する１または複数の画素、および、前記注目画素から上下方向それぞれに沿って位置する１または複数の画素を周辺画素として抽出する。また例えば、ノイズ判定部２２２は、処理Ｓ１で抽出した注目画素の全周に亘って位置する複数の画素を周辺画素として抽出する。本実施形態では、ノイズ判定部２２２は、処理Ｓ１で抽出した注目画素から左方向（−Ｙ方向）に沿って位置する１画素、および、前記注目画素から右方向（＋Ｙ方向）に沿って位置する１画素を周辺画素として抽出する。
次に、ノイズ判定部２２２は、傾き処理部２２２１によって、距離による判別処理を実行し（Ｓ３−１）、パルス幅処理部２２２２によって、パルス幅による判別処理を実行する（Ｓ３−２）。これら距離による判別処理Ｓ３−１およびパルス幅による判別処理Ｓ３−２は、並列に実行されて良く、時分割で実行されて良い。時分割で実行する場合、いずれの判別処理Ｓ３−１、Ｓ３−２が先でも良い。
この距離による判別処理Ｓ３−１では、より具体的には、次の各処理が実行される。まず、傾き処理部２２２１は、処理Ｓ１で抽出した注目画素と処理Ｓ２で抽出した周辺画素との間における距離値の傾きＧｒを求める（Ｓ１１）。本実施形態では、周辺画素は、−Ｙ方向の１画素と＋Ｙ方向の１画素であるので、この−Ｙ方向の１画素と注目画素との間における距離値の傾きＧｒ１および前記＋Ｙ方向の１画素と注目画素との間における距離値の傾きＧｒ２が求められる。
なお、上述の処理Ｓ２において、ノイズ判定部２２２が前記注目画素から左方向（−Ｙ方向）に沿って位置する２個の画素、および、前記注目画素から右方向（＋Ｙ方向）に沿って位置する２個の画素を周辺画素として抽出した場合には、この処理Ｓ１１では、これら−Ｙ方向の２個の画素それぞれと注目画素との間における各距離値の傾きＧｒ１−１、Ｇｒ１−２および前記＋Ｙ方向の２個の画素それぞれと注目画素との間における各距離値の傾きＧｒ２−１、Ｇｒ２−２が求められる。この場合では、さらに、これら４個の距離値の傾きＧｒ１−１、Ｇｒ１−２、Ｇｒ２−１、Ｇｒ２−２のうちの最大の傾きおよび最小の傾きが周辺画素の距離値の傾きとされてもよい。
次に、傾き処理部２２２１は、この処理Ｓ１１で求めた距離値の傾きＧｒが所定の範囲ｔｈｇ１〜ｔｈｇ２内であるか否かを判定する（Ｓ１２）。前記所定の範囲ｔｈｇ１〜ｔｈｇ２は、上述のノイズ発生のメカニズムに基づき適宜に設定され、例えば、複数のサンプルを用いた結果から設定される。この判定の結果、前記距離値の傾きＧｒが所定の範囲内である場合（Ｙｅｓ、ｔｈｇ１≦Ｇｒ≦ｔｈｇ２）には、傾き処理部２２２１は、前記注目画素に対応付けられた、傾き判定結果を表す距離ノイズフラグに「１」を設定し（Ｓ１３）、この距離による判別処理を終了し、一方、前記判定の結果、前記距離値の傾きＧｒが所定の範囲内ではない場合（Ｎｏ、Ｇｒ＜ｔｈｇ１またはｔｈｇ２＜Ｇｒ）には、傾き処理部２２２１は、この距離による判別処理を終了する。距離ノイズフラグ「１」は、前記距離値の傾きＧｒが所定の範囲内であることを表し、距離ノイズフラグ「０」は、前記距離値の傾きＧｒが所定の範囲内ではないことを表す。なお、距離ノイズフラグは、距離画像における各画素ごとに設けられ、上述の初期化において、デフォルトの「０」に設定される。
本実施形態では、傾き処理部２２２１は、前記−Ｙ方向の１個の画素と注目画素との間における距離値の傾きＧｒ１および前記＋Ｙ方向の１個の画素と注目画素との間における距離値の傾きＧｒ２それぞれが前記所定の範囲ｔｈｇ１〜ｔｈｇ２内であるか否かを判定し、これら傾きＧｒ１、Ｇｒ２が共に前記所定の範囲ｔｈｇ１〜ｔｈｇ２内である場合（Ｙｅｓ、ｔｈｇ１≦Ｇｒ１、Ｇｒ２≦ｔｈｇ２）には、処理Ｓ１３を実行して前記距離による判別処理を終了し、これら距離値の傾きＧｒ１、Ｇｒ２のうちの少なくとも一方が前記所定の範囲ｔｈｇ１〜ｔｈｇ２内ではない場合（Ｎｏ、Ｇｒ１＜ｔｈｇ１、ｔｈｇ２＜Ｇｒ１、Ｇｒ２＜ｔｈｇ１およびｔｈｇ２＜Ｇｒ２のうちの少なくとも１つを満たす場合）には、前記距離による判別処理を終了する。
前記パルス幅による判別処理Ｓ３−２では、より具体的には、次の各処理が実行される。まず、パルス幅処理部２２２２は、処理Ｓ１で抽出した注目画素に関する反射波の信号波形におけるパルス幅ＰＷ１と処理Ｓ２で抽出した周辺画素に関する反射波の信号波形におけるパルス幅ＰＷ２を求める（Ｓ２１）。本実施形態では、周辺画素は、−Ｙ方向の１画素と＋Ｙ方向の１画素であるので、パルス幅処理部２２２２は、この−Ｙ方向の１画素に関する反射波の信号波形におけるパルス幅ＰＷ２１および前記＋Ｙ方向の１画素に関する反射波の信号波形におけるパルス幅ＰＷ２２を求め、これら求めたパルス幅ＰＷ２１、ＰＷ２２の平均値を前記パルス幅ＰＷ２として求める。
次に、パルス幅処理部２２２２は、注目画素に関する反射波のパルス幅ＰＷ１が周辺画素に関する反射波のパルス幅ＰＷ２より大きいか否かを判定する。より具体的には、パルス幅処理部２２２２は、処理Ｓ２１で求めた、注目画素にかかるパルス幅ＰＷ１と周辺画素にかかるパルス幅ＰＷ２（本実施形態ではパルス幅ＰＷ２１およびパルス幅ＰＷ２２の平均値）との差ＰＷｓを求め（Ｓ２２）、パルス幅処理部２２２２は、この処理Ｓ２２で求めた前記差ＰＷｓが所定の閾値ｔｈｐ以上であるか否かを判定する（Ｓ２３）。前記所定の閾値ｔｈｐは、上述のノイズ発生のメカニズムに基づき適宜に設定され、例えば、複数のサンプルを用いた結果から設定される。この判定の結果、前記差ＰＷｓが前記所定の閾値ｔｈｐ以上である場合（Ｙｅｓ、ｔｈｐ≦ＰＷｓ）には、パルス幅処理部２２２２は、前記注目画素に対応付けられた、パルス幅判定結果を表すパルス幅ノイズフラグに「１」を設定し（Ｓ２３）、このパルス幅による判別処理を終了し、一方、前記判定の結果、前記差ＰＷｓが所定の閾値ｔｈｐ以上ではない場合（Ｎｏ、ＰＷｓ＜ｔｈｐ）には、パルス幅処理部２２２２は、このパルス幅による判別処理を終了する。パルス幅ノイズフラグ「１」は、前記差ＰＷｓが前記閾値ｔｈｐ以上であること、すなわち、注目画素に関する反射波のパルス幅ＰＷ１が周辺画素に関する反射波のパルス幅ＰＷ２より大きいことを表し、パルス幅ノイズフラグ「０」は、前記差ＰＷｓが前記閾値ｔｈｐ以上ではないこと、すなわち、注目画素に関する反射波のパルス幅ＰＷ１が周辺画素に関する反射波のパルス幅ＰＷ２より大きくないことを表す。なお、パルス幅ノイズフラグは、距離画像における各画素ごとに設けられ、上述の初期化において、デフォルトの「０」に設定される。
これら距離による判別処理Ｓ３−１およびパルス幅による判別処理Ｓ３−２の実行後に、ノイズ判定部２２２は、判定部２２２３によって、傾き処理部２２２１の傾き判定結果およびパルス幅処理部２２２２のパルス幅判定結果に基づいて、当該画素がノイズであるか否かを判定する。より具体的には、判定部２２２３は、注目画素における、距離ノイズフラグとパルス幅ノイズフラグとのａｎｄ演算を行い（Ｓ４）、この処理Ｓ４のａｎｄ演算結果が１であるか否かを判定する（Ｓ５）。前記ａｎｄ演算では、１ａｎｄ１＝１、１ａｎｄ０＝０、および、０ａｎｄ１＝０となる。処理Ｓ５の判定の結果、ａｎｄ演算結果が１である場合（Ｙｅｓ）には、判定部２２２３は、注目画素における、ノイズであるか否かを表すノイズピクセルフラグに「１」を設定し（Ｓ６）、次の処理Ｓ７を実行し、一方、前記処理Ｓ５の判定の結果、ａｎｄ演算結果が１ではない場合（Ｎｏ）には、判定部２２２３は、次の処理Ｓ７を実行する。ノイズピクセルフラグ「１」は、ノイズであることを表し、ノイズピクセルフラグ「０」は、ノイズではないことを表す。なお、ノイズピクセルフラグは、距離画像における各画素ごとに設けられ、上述の初期化において、デフォルトの「０」に設定される。
そして、処理Ｓ７では、ノイズ判定部２２２は、ノイズ除去前の距離画像における全ての画素について、上述の処理を実行したか否かを判定する。この判定の結果、全ての画素について上述の処理を実行していない場合（Ｎｏ）には、次の注目画素、例えば第２番目の方向に対応する画素を注目画素として処理するために、ノイズ判定部２２２は、処理を処理Ｓ１に戻し、一方、前記判定の結果、全ての画素について上述の処理を実行している場合（Ｙｅｓ）には、ノイズ判定部２２２は、上述の処理を終了する。
このようにノイズ除去前の距離画像における各画素について、ノイズであるか否かの判定処理が終了すると、ノイズ除去部２２３は、ノイズ判定部２２２でノイズと判定された注目領域の画素値を、ノイズを表す所定のノイズ画素値に設定する。より具体的には、ノイズ除去部２２３は、ノイズピクセルフラグが「１」である画素の画素値を、前記ノイズ画素値に設定する。これによってノイズ除去後の距離画像が生成される。
一例では、図４に示す距離画像が上述のように処理されると、図９に示すノイズピクセルフラグを画素値とした２値画像が得られる。図９では、ノイズピクセルフラグ「１」が白の画素値とされ、ノイズピクセルフラグ「０」が黒の画素値とされている。図９から分かるように、手前の物体Ｏｂｆ、この例では、人Ｏｂ１の輪郭部分がノイズであると判定されており、上述の処理によってノイズが抽出されていることが分かる。また、図４に示す距離画像は、ノイズピクセルフラグが「１」である画素を除去して３次元の点群で表示すると、図１０に示す点群となる。この図１０と前記図５とを比較すると分かるように、ノイズの点群ＰＧｎが除去されており、上述の処理によってノイズが抽出されていることが分かる。
以上説明したように、レーダＳに組み込まれた距離画像処理装置、これに実装された距離画像処理方法および距離画像処理プログラムは、前記傾きＧｒおよび前記パルス幅ＰＷ１、ＰＷ２に基づいてノイズを判定するので、輝度画像を求める必要が無く、また、１個の表面に反射率の低い部分が存在する場合にノイズと誤判定することを低減できる。したがって、上記レーダＳに組み込まれた距離画像処理装置、距離画像処理方法および距離画像処理プログラムは、複数の物体Ｏｂｋが送信波の進行方向に沿って前後に配置されている場合でも、より高精度な距離画像を取得できる。
上記レーダＳに組み込まれた距離画像処理装置、距離画像処理方法および距離画像処理プログラムは、ノイズ除去部２２３をさらに備えるので、ノイズ判定部２２２でノイズと判定された注目領域（注目画素）のノイズを除去したノイズ除去後の距離画像を取得できる。
なお、上述の実施形態において、前記距離画像生成プログラムを含む前記制御処理プログラムは、前記制御処理プログラムを記憶した記録媒体によって提供されても良い。この場合、例えば、レーダＳは、前記記録媒体のデータを入力するためのインターフェースをさらに備え、前記制御処理プログラムは、前記記録媒体から前記インターフェースを介して記憶部３にインストールされる。
また、上述の実施形態において、レーダＳに組み込まれた距離画像処理装置は、ノイズ除去部２２３に代え、図１に破線で示すノイズ補正部２２４を備えても良い。このノイズ補正部２２４は、距離画像生成部２２に機能的に構成され、ノイズ判定部２２２でノイズと判定された注目領域（注目画素）の画素値を、前記注目領域（注目画素）に対する所定の周辺に位置する第２周辺領域（第２周辺画素）のうちのノイズと判定されなかった領域（画素）の画素値に基づいて求めたノイズ補正値に設定するものである。前記ノイズ画素値は、例えば、前記第２周辺領域（第２周辺画素）のうちのノイズと判定されなかった領域（画素）の画素値の最小値である。これによれば、ノイズ補正部２２４を備えるので、ノイズ判定部２２２でノイズと判定された注目領域（注目画素）の画素値を、前記第２周辺領域（第２周辺画素）のうちのノイズと判定されなかった領域（画素）の画素値に基づいて求めたノイズ補正値で補正した補正後の距離画像が取得できる。
また、これら上述の実施形態において、レーダＳに組み込まれた距離画像処理装置は、図１に破線で示すエッジ領域抽出部２２５をさらに備えても良い。このエッジ領域抽出部２２５は、距離画像生成部２２に機能的に構成され、ノイズ判定部２２２でノイズと判定された注目領域（注目画素）の画素値を、エッジを表すエッジ領域とするものである。これによれば、エッジ領域抽出部２２５を備えるので、ノイズ判定部２２２でノイズと判定された注目領域（注目画素）をエッジ領域として、さらに、エッジ領域が抽出できる。
なお、上述の実施形態では、前記所定の範囲ｔｈｇ１〜ｔｈｇ２は、予め設定され固定的に用いられたが、所定の条件に対応付けられて予め複数の前記範囲ｔｈｇ１〜ｔｈｇ２が用意され、前記複数の範囲ｔｈｇ１〜ｔｈｇ２の中から現状の条件に合う範囲ｔｈｇ１〜ｔｈｇ２が選択され、用いられても良い。同様に、前記閾値ｔｈｐは、予め設定され固定的に用いられたが、所定の条件に対応付けられて予め複数の前記閾値ｔｈｐが用意され、前記複数の閾値ｔｈｐの中から現状の条件に合う閾値ｔｈｐが選択され、用いられても良い。
また、前記所定の範囲ｔｈｇ１〜ｔｈｇ２は、注目画素の画素値（距離値）に応じて変更されても良い。同様に、前記閾値ｔｈｐは、注目画素の画素値（距離値）に応じて変更されても良い。一例では、注目画素がレーダＳ近くから遠方の位置に向かうに従って、前記所定の範囲ｔｈｇ１〜ｔｈｇ２は、ｔｈｇ１とｔｈｇ２との差が大きくなるように変化させ、前記閾値ｔｈｐは、大きくなるように変化させる。これは、レーダＳに対する距離が遠くなるに従って、送信したレーザーのスポットサイズが大きくなることに対応している。
本明細書は、上記のように様々な態様の技術を開示しているが、そのうち主な技術を以下に纏める。
一態様にかかる距離画像処理装置は、互いに異なる複数の方向へパルス状の所定の送信波をそれぞれ送信し、前記複数の送信波それぞれに基づく複数の反射波を受信し、前記複数の送信波および前記複数の反射波に基づいて、前記複数の方向それぞれに対応した複数の画素を持つ距離画像を取得する距離画像取得部と、前記距離画像における所定の領域を注目領域とした場合に、前記注目領域と前記注目領域に対する所定の周辺に位置する周辺領域との間における距離値の傾きが所定の範囲内であって、かつ、前記注目領域に関する前記反射波のパルス幅が前記周辺領域に関する前記反射波のパルス幅より大きい場合に、前記注目領域をノイズと判定するノイズ判定部とを備える。好ましくは、上述の距離画像処理装置において、前記ノイズ判定部は、前記距離画像を複数の領域に分け、前記複数の領域それぞれについて、当該領域と当該領域に対する所定の周辺に位置する周辺領域との間における距離値の傾きが所定の範囲内であって、かつ、当該領域に関する前記反射波のパルス幅が前記周辺領域に関する前記反射波のパルス幅より大きい場合に、当該領域をノイズと判定する。また好ましくは、上述の距離画像処理装置において、前記ノイズ判定部は、前記複数の画素それぞれについて、当該画素と当該画素に対する所定の周辺に位置する周辺画素との間における距離値の傾きが所定の範囲内であって、かつ、当該画素に関する前記反射波のパルス幅が前記周辺画素に関する前記反射波のパルス幅より大きい場合に、当該画素をノイズと判定する。
このような距離画像処理装置は、前記距離値の傾きおよび前記パルス幅に基づいてノイズを判定するので、輝度画像を求める必要が無く、また、１個の表面に反射率の低い部分が存在する場合にノイズと誤判定することを低減できる。したがって、上記距離画像処理装置は、複数の物体が送信波の進行方向に沿って前後に配置されている場合でも、より高精度な距離画像を取得できる。
他の一態様では、上述の距離画像処理装置において、前記ノイズ判定部でノイズと判定された注目領域の画素値を、ノイズを表す所定のノイズ画素値に設定するノイズ除去部をさらに備える。好ましくは、上述の距離画像処理装置において、前記ノイズ画素値は、距離無限大を表す画素値である。
このような距離画像処理装置は、前記ノイズ除去部をさらに備えるので、前記ノイズ判定部でノイズと判定された注目領域のノイズを除去したノイズ除去後の距離画像を取得できる。
他の一態様では、上述の距離画像処理装置において、前記ノイズ判定部でノイズと判定された注目領域の画素値を、前記注目領域に対する所定の周辺に位置する第２周辺領域のうちのノイズと判定されなかった領域の画素値に基づいて求めたノイズ補正値に設定するノイズ補正部をさらに備える。好ましくは、上述の距離画像処理装置において、前記ノイズ画素値は、前記第２周辺領域のうちのノイズと判定されなかった領域の画素値の最小値である。
このような距離画像処理装置は、前記ノイズ補正部をさらに備えるので、前記ノイズ判定部でノイズと判定された注目領域の画素値を、前記第２周辺領域のうちのノイズと判定されなかった領域の画素値に基づいて求めたノイズ補正値で補正した補正後の距離画像を取得できる。
他の一態様では、上述の距離画像処理装置において、前記ノイズ判定部でノイズと判定された注目領域を、エッジを表すエッジ領域とするエッジ領域抽出部をさらに備える。
このような距離画像処理装置は、前記ノイズ判定部で判定された注目領域をエッジ領域として、さらに、エッジ領域を抽出できる。
他の一態様にかかる距離画像処理方法は、互いに異なる複数の方向へパルス状の所定の送信波をそれぞれ送信し、前記複数の送信波それぞれに基づく複数の反射波を受信し、前記複数の送信波および前記複数の反射波に基づいて、前記複数の方向それぞれに対応した複数の画素を持つ距離画像を取得する距離画像取得工程と、前記距離画像における所定の領域を注目領域とした場合に、前記注目領域と前記注目領域に対する所定の周辺に位置する周辺領域との間における距離値の傾きが所定の範囲内であって、かつ、前記注目領域に関する前記反射波のパルス幅が前記周辺領域に関する前記反射波のパルス幅より大きい場合に、前記注目領域をノイズと判定するノイズ判定工程とを備える。
他の一態様にかかる距離画像処理プログラムは、互いに異なる複数の方向へパルス状の所定の送信波をそれぞれ送信し、前記複数の送信波それぞれに基づく複数の反射波を受信し、前記複数の送信波および前記複数の反射波に基づいて、前記複数の方向それぞれに対応した複数の画素を持つ距離画像を取得する距離画像取得部を持つコンピュータを、前記距離画像における所定の領域を注目領域とした場合に、前記注目領域と前記注目領域に対する所定の周辺に位置する周辺領域との間における距離値の傾きが所定の範囲内であって、かつ、前記注目領域に関する前記反射波のパルス幅が前記周辺領域に関する前記反射波のパルス幅より大きい場合に、前記注目領域をノイズと判定するノイズ判定部として機能させるための距離画像処理プログラムである。
そして、他の一態様にかかる距離画像処理プログラムを記録した記録媒体は、互いに異なる複数の方向へパルス状の所定の送信波をそれぞれ送信し、前記複数の送信波それぞれに基づく複数の反射波を受信し、前記複数の送信波および前記複数の反射波に基づいて、前記複数の方向それぞれに対応した複数の画素を持つ距離画像を取得する距離画像取得部を持つコンピュータを、前記距離画像における所定の領域を注目領域とした場合に、前記注目領域と前記注目領域に対する所定の周辺に位置する周辺領域との間における距離値の傾きが所定の範囲内であって、かつ、前記注目領域に関する前記反射波のパルス幅が前記周辺領域に関する前記反射波のパルス幅より大きい場合に、前記注目領域をノイズと判定するノイズ判定部として機能させるための距離画像処理プログラムを記録した記録媒体である。
このような距離画像処理方法および距離画像処理プログラムは、前記距離値の傾きおよび前記パルス幅に基づいてノイズを判定するので、輝度画像を求める必要が無く、また、１個の表面に反射率の低い部分が存在する場合にノイズと誤判定することを低減できる。したがって、上記距離画像処理方法および距離画像処理プログラムは、複数の物体が送信波の進行方向に沿って前後に配置されている場合でも、より高精度な距離画像を取得できる。そして、上記記録媒体は、このような距離画像処理プログラムを提供できる。
この出願は、２０１５年６月２４日に出願された日本国特許出願特願２０１５−１２６５６７を基礎とするものであり、その内容は、本願に含まれるものである。
本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および／または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。
本発明によれば、距離画像処理装置、距離画像処理方法、距離画像処理プログラムおよび記録媒体が提供できる。

Claims (7)

  1. 互いに異なる複数の方向へパルス状の所定の送信波をそれぞれ送信し、前記複数の送信波それぞれに基づく複数の反射波を受信し、前記複数の送信波および前記複数の反射波に基づいて、前記複数の方向それぞれに対応した複数の画素を持つ距離画像を取得する距離画像取得部と、
    前記距離画像における所定の領域を注目領域とした場合に、前記注目領域と前記注目領域に対する所定の周辺に位置する周辺領域との間における距離値の傾きが所定の範囲内であって、かつ、前記注目領域に関する前記反射波のパルス幅が前記周辺領域に関する前記反射波のパルス幅より大きい場合に、前記注目領域をノイズと判定するノイズ判定部とを備える、
    距離画像処理装置。
  2. 前記ノイズ判定部でノイズと判定された注目領域の画素値を、ノイズを表す所定のノイズ画素値に設定するノイズ除去部をさらに備える、
    請求項１に記載の距離画像処理装置。
  3. 前記ノイズ判定部でノイズと判定された注目領域の画素値を、前記注目領域に対する所定の周辺に位置する第２周辺領域のうちのノイズと判定されなかった領域の画素値に基づいて求めたノイズ補正値に設定するノイズ補正部をさらに備える、
    請求項１に記載の距離画像処理装置。
  4. 前記ノイズ判定部でノイズと判定された注目領域を、エッジを表すエッジ領域とするエッジ領域抽出部をさらに備える、
    請求項１ないし請求項３のいずれか１項に記載の距離画像処理装置。
  5. 互いに異なる複数の方向へパルス状の所定の送信波をそれぞれ送信し、前記複数の送信波それぞれに基づく複数の反射波を受信し、前記複数の送信波および前記複数の反射波に基づいて、前記複数の方向それぞれに対応した複数の画素を持つ距離画像を取得する距離画像取得工程と、
    前記距離画像における所定の領域を注目領域とした場合に、前記注目領域と前記注目領域に対する所定の周辺に位置する周辺領域との間における距離値の傾きが所定の範囲内であって、かつ、前記注目領域に関する前記反射波のパルス幅が前記周辺領域に関する前記反射波のパルス幅より大きい場合に、前記注目領域をノイズと判定するノイズ判定工程とを備える、
    距離画像処理方法。
  6. 互いに異なる複数の方向へパルス状の所定の送信波をそれぞれ送信し、前記複数の送信波それぞれに基づく複数の反射波を受信し、前記複数の送信波および前記複数の反射波に基づいて、前記複数の方向それぞれに対応した複数の画素を持つ距離画像を取得する距離画像取得部を持つコンピュータを、
    前記距離画像における所定の領域を注目領域とした場合に、前記注目領域と前記注目領域に対する所定の周辺に位置する周辺領域との間における距離値の傾きが所定の範囲内であって、かつ、前記注目領域に関する前記反射波のパルス幅が前記周辺領域に関する前記反射波のパルス幅より大きい場合に、前記注目領域をノイズと判定するノイズ判定部として機能させるための距離画像処理プログラム
  7. 互いに異なる複数の方向へパルス状の所定の送信波をそれぞれ送信し、前記複数の送信波それぞれに基づく複数の反射波を受信し、前記複数の送信波および前記複数の反射波に基づいて、前記複数の方向それぞれに対応した複数の画素を持つ距離画像を取得する距離画像取得部を持つコンピュータを、
    前記距離画像における所定の領域を注目領域とした場合に、前記注目領域と前記注目領域に対する所定の周辺に位置する周辺領域との間における距離値の傾きが所定の範囲内であって、かつ、前記注目領域に関する前記反射波のパルス幅が前記周辺領域に関する前記反射波のパルス幅より大きい場合に、前記注目領域をノイズと判定するノイズ判定部として機能させるための距離画像処理プログラムを記録した記録媒体。
JP2017524765A 2015-06-24 2016-05-25 距離画像処理装置、距離画像処理方法、距離画像処理プログラムおよび記録媒体 Pending JPWO2016208318A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015126567 2015-06-24
JP2015126567 2015-06-24
PCT/JP2016/065405 WO2016208318A1 (ja) 2015-06-24 2016-05-25 距離画像処理装置、距離画像処理方法、距離画像処理プログラムおよび記録媒体

Publications (1)

Publication Number Publication Date
JPWO2016208318A1 true JPWO2016208318A1 (ja) 2018-04-19

Family

ID=57586190

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017524765A Pending JPWO2016208318A1 (ja) 2015-06-24 2016-05-25 距離画像処理装置、距離画像処理方法、距離画像処理プログラムおよび記録媒体

Country Status (4)

Country Link
US (1) US20180172830A1 (ja)
EP (1) EP3315999A4 (ja)
JP (1) JPWO2016208318A1 (ja)
WO (1) WO2016208318A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6862750B2 (ja) * 2016-10-14 2021-04-21 富士通株式会社 距離測定装置、距離測定方法及びプログラム
JP6811656B2 (ja) * 2017-03-14 2021-01-13 本田技研工業株式会社 レーザ式測距装置のノイズデータの特定方法
JP7005994B2 (ja) * 2017-08-03 2022-01-24 株式会社リコー 距離測定装置及び距離測定方法
JP6933045B2 (ja) 2017-08-18 2021-09-08 株式会社リコー 物体検出装置、センシング装置、移動体装置及び物体検出方法
JP7461160B2 (ja) * 2020-02-21 2024-04-03 Ｊｒｃモビリティ株式会社 ３次元情報推定システム、３次元情報推定方法、及びコンピュータが実行可能なプログラム
US11158120B1 (en) * 2020-11-18 2021-10-26 Motional Ad Llc Ghost point filtering
CN113687429B (zh) * 2021-08-30 2023-07-04 四川启睿克科技有限公司 一种确定毫米波雷达监测区域边界的装置及方法
CN116203574B (zh) * 2023-05-04 2023-07-28 天津宜科自动化股份有限公司 一种检测物体距离的数据处理系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4561022A (en) * 1983-08-11 1985-12-24 Eastman Kodak Company Image processing method based on processing of interrelated image gradients
JP3193148B2 (ja) * 1992-09-24 2001-07-30 マツダ株式会社 距離検出装置
JP3522317B2 (ja) * 1993-12-27 2004-04-26 富士重工業株式会社 車輌用走行案内装置
JP2002311138A (ja) * 2001-04-06 2002-10-23 Mitsubishi Electric Corp 車両用測距装置
DE102005046950B3 (de) * 2005-09-30 2006-12-21 Siemens Ag Vorrichtung und Verfahren zur Aufnahme von Abstandsbildern
JP5624998B2 (ja) * 2009-12-25 2014-11-12 本田技研工業株式会社 画像処理装置、画像処理方法、コンピュータプログラム及び移動体
JP5829391B2 (ja) * 2010-09-22 2015-12-09 日本信号株式会社 光走査装置及びこれを用いた光測距装置

Also Published As

Publication number Publication date
EP3315999A1 (en) 2018-05-02
WO2016208318A1 (ja) 2016-12-29
US20180172830A1 (en) 2018-06-21
EP3315999A4 (en) 2018-06-20

Similar Documents

Publication Publication Date Title
WO2016208318A1 (ja) 距離画像処理装置、距離画像処理方法、距離画像処理プログラムおよび記録媒体
JP6969425B2 (ja) 光測距装置
US10371817B2 (en) Object detecting apparatus
JP6340851B2 (ja) 物体検出装置及びセンシング装置
KR102020037B1 (ko) 하이브리드 라이다 스캐너
US10648795B2 (en) Distance measuring apparatus and distance measuring method
EP2706377A1 (en) Object detection apparatus and method
JP6062122B2 (ja) 運転支援装置、運転支援方法及びプログラム
JP5316471B2 (ja) 物体認識装置、及びプログラム
JP5316572B2 (ja) 物体認識装置
WO2020196513A1 (ja) 物体検出装置
JP6772639B2 (ja) 視差演算システム、移動体及びプログラム
JP2021043838A (ja) 情報処理装置、制御方法、プログラム及び記憶媒体
US20210256740A1 (en) Method for increasing point cloud sampling density, point cloud processing system, and readable storage medium
JP5741833B2 (ja) レーザレーダ装置及びレーザレーダ法
JP2019007744A (ja) 物体検知装置、プログラムおよび物体検知システム
JP6838705B2 (ja) レーザレーダ装置及びそれに用いる強度画像取得方法
JP6729287B2 (ja) 位置認識装置
JP2019138666A (ja) 測距装置
CN110308460B (zh) 传感器的参数确定方法及系统
JP2009264947A (ja) 車両周辺監視装置
KR101952290B1 (ko) 다중 빔 초음파 카메라를 이용한 3차원 공간데이터 획득방법
KR101690269B1 (ko) 전자보드용 객체 위치 검출 장치
KR102400007B1 (ko) 라이다 센서를 포함하는 감시 카메라 시스템
JP4682771B2 (ja) 物体検知装置