JPWO2020054110A1 - 物体検出システム、および物体検出方法 - Google Patents
物体検出システム、および物体検出方法 Download PDFInfo
- Publication number
- JPWO2020054110A1 JPWO2020054110A1 JP2020546680A JP2020546680A JPWO2020054110A1 JP WO2020054110 A1 JPWO2020054110 A1 JP WO2020054110A1 JP 2020546680 A JP2020546680 A JP 2020546680A JP 2020546680 A JP2020546680 A JP 2020546680A JP WO2020054110 A1 JPWO2020054110 A1 JP WO2020054110A1
- Authority
- JP
- Japan
- Prior art keywords
- objects
- unit
- determination
- determination condition
- virtual plane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/42—Simultaneous measurement of distance and other co-ordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Electromagnetism (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Traffic Control Systems (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
【解決手段】物体検出システム10は、送受信部110が、送信波を送信してから、送信波の反射波を受信するまでの時間間隔に基づいて、それぞれの照射方向における対象物までの距離を算出し、測定空間60内の対象物までの距離値の分布を示す測距点群データを生成する距離算出部210と、測距点群データに基づいて、測定空間60内の物体を認識する認識部220と、認識部220が認識した複数の物体のそれぞれが、測定空間60内に予め設定した仮想平面70を通過したタイミングを算出するとともに、第1判定条件として、複数の物体のうち、2つの物体の前記タイミング間の差分時間が所定閾値以下であるか否かを判定する判定部230と、第1判定条件を満たした、前記2つ物体を関連付ける関連付け部240と、を備える。
Description
前記送受信部が、前記送信波を送信してから、該送信波の反射波を受信するまでの時間間隔に基づいて、それぞれの前記照射方向における対象物までの距離を算出し、前記測定空間内の対象物までの距離値の分布を示す測距点群データを生成する距離算出部と、
前記測距点群データに基づいて、前記測定空間内の物体を認識する認識部と、
前記認識部が認識した前記複数の物体のそれぞれが、前記測定空間内に予め設定した仮想平面を通過したタイミングを算出するとともに、第1判定条件として、前記複数の物体のうち、2つの物体の前記タイミング間の差分時間が所定閾値以下であるか否かを判定する判定部と、
前記第1判定条件を満たした、前記2つ物体を関連付ける関連付け部と、
を備える、物体検出システム。
前記関連付け部は、前記第1判定条件および前記第2判定条件を満たす前記2つの物体を関連付ける、上記(1)に記載の物体検出システム。
前記関連付け部は、少なくとも前記第1判定条件および前記第3判定条件を満たす前記2つの物体を関連付ける、上記(1)、または上記(2)に記載の物体検出システム。
前記関連付け部は、少なくとも前記第1判定条件および前記第4判定条件を満たす前記2つの物体を関連付ける、上記(1)から上記(3)のいずれかに記載の物体検出システム。
前記関連付け部は、少なくとも前記第1判定条件および前記第5判定条件を満たす前記2つの物体を関連付ける、上記(1)から上記(4)のいずれかに記載の物体検出システム。
前記仮想平面を通過した前記物体の位置の差分が、所定閾値以下であるか否かを判定する第2判定条件、
前記仮想平面を通過した時の速度の差分が、所定閾値以下であるか否かを判定する第3判定条件、
前記物体のサイズそれぞれが、所定閾値以上か否かを判定する第4判定条件、および、
前記仮想平面を通過するまでの移動軌跡を比較し、移動軌跡の差分が所定条件を満たすか否かを判定する第5判定条件について判定を行い、
前記関連付け部は、前記判定部による前記第2から第5の判定条件に関する判定結果、および、予め設定した、前記第2から第5判定条件の優先度、または重み付け係数を用いて、前記2つの物体を関連付ける、上記(1)に記載の物体検出システム。
前記送受信部が、前記送信波を送信してから、該送信波の反射波を受信するまでの時間間隔に基づいて、それぞれの前記照射方向における対象物までの距離を算出し、前記測定空間内の対象物までの距離値の分布を示す測距点群データを算出する距離算出部と、
前記測距点群データに基づいて、前記測定空間内の物体を認識する認識部と、
前記認識部が認識した前記複数の物体のそれぞれが、前記測定空間内に予め設定した仮想平面を通過したタイミングを算出するとともに、前記複数の物体のうち、2つの物体の前記タイミング間の差分時間が所定閾値以下であるか否かを判定する第1判定条件、
前記仮想平面を通過した前記物体の位置の差分が、所定閾値以下であるか否かを判定する第2判定条件、
前記仮想平面を通過した時の速度の差分が、所定閾値以下であるか否かを判定する第3判定条件、
前記物体のサイズそれぞれが、所定閾値以上か否かを判定する第4判定条件、および、
前記仮想平面を通過するまでの移動軌跡を比較し、移動軌跡の差分が所定条件を満たすか否かを判定する第5判定条件について判定を行う判定部と、
前記判定部による前記第1から第5の判定条件に関する判定結果、および、予め設定した、前記第1から第5判定条件の優先度、または重み付け係数を用いて、2つの物体を関連付ける関連付け部と、を備える物体検出システム。
前記関連付け部は、前記出力部が出力する前記画像において、関連付けた前記2つの物体に対して、1つの検知枠を付与する、上記(1)から上記(9)のいずれかに記載の物体検出システム。
前記送受信部が前記送信波を送信してから、該送信波の反射波を受信するまでの時間間隔に基づいて、それぞれの前記照射方向における対象物までの距離を算出し、前記測定空間内の対象物までの距離値の分布を示す測距点群データを算出するステップ(a)と、
前記測距点群データに基づいて、前記測定空間内の物体を認識するステップ(b)と、
前記ステップ(b)で認識した前記複数の物体のそれぞれが、前記測定空間内に予め設定した仮想平面を通過したタイミングを算出するとともに、第1判定条件として、前記複数の物体のうち、2つの物体の前記タイミング間の差分時間が所定閾値以下であるか否かを判定するステップ(c)と、
前記第1判定条件を満たした、前記2つ物体を関連付けるステップ(d)と、
を含む物体検出方法。
以下、図3を参照し、ライダー110の構成について説明する。図3は、ライダー110の概略構成を示す断面図である。ライダー110は、投受光ユニット111を有する。投受光ユニット111は、半導体レーザー51、コリメートレンズ52、ミラーユニット53、レンズ54、フォトダイオード55、およびモーター56、ならびにこれらの各構成部材を収容する筐体57を有する。筐体57内には、制御装置200の距離算出部210が配置されている。投受光ユニット111は、レーザースポット光によりライダー110の監視空間内(測定空間内)を走査することで得られた各画素の受光信号を出力する。距離算出部210は、この受光信号に基づいて、測距点群データを生成する。この測距点群データは距離画像、または距離マップとも称される。
次に、図1を参照し、制御装置200(制御部ともいう)の各構成について説明する。制御装置200は、例えば、コンピューターであり、CPU(Central Processing Unit)、メモリ(半導体メモリ、磁気記録媒体(ハードディスク等))、入出力部(ディスプレイ、キーボード、等)、通信I/F(interface)等を備える。通信I/Fは、外部機器と通信するためのインターフェースである。通信には、イーサネット(登録商標)、SATA、PCI Express、USB、IEEE1394などの規格によるネットワークインターフェースが用いてもよい。また、通信には、Bluetooth(登録商標)、IEEE802.11、4Gなどの無線通信インターフェースを用いてもよい。
距離算出部210の機能については、上述したとおりである。距離算出部210は、測定時に、ライダー110の投受光ユニット111により、複数の照射方向に向けた送信波を、測定空間60に渡って照射し、測定空間60内の物体(対象物)からの送信波の反射波に応じた受信信号を取得する。そして、この受信信号の受信タイミング(送受信の時間間隔)に応じて複数の照射方向における、それぞれの距離情報を得る。そしてこれにより、測距点群データを生成する。
認識部220は、測定空間60内の物体を認識する。本実施形態では、例えば背景差分法を採用する。この背景差分法では、予め生成し、保存しておいた背景画像(基準画像ともいう)データを用いる。具体的には、測定の前準備(前処理)として、ユーザーの指示により、車両や動物等の移動物体が存在しない状態で、ライダー110からレーザースポット光を走査する。これにより背景対象物(静止物)から得られた反射光に基づいて、背景画像を得ることができる。実際の測定時においては、背景対象物の手前に行動解析の対象者である物体として例えば車両(物体81)が現れた場合、物体81からの反射光が新たに生じる。
次に判定部230の機能について説明をする前に、図4A、図4Bを参照して、物体の分離について説明する。図4Aは、物体の向きに応じた測定点の離散状態を示す模式図である。図4Bは、離散状態による物体認識への影響を示す模式図である。
判定部230は、認識部220が認識した物体(例えば物体901〜904)のそれぞれについて、各時刻の位置情報を追跡することで、物体の移動軌跡を把握する。また、制御装置200のメモリに記憶している仮想平面70の位置情報を参照することで、この移動により、物体が仮想平面70を通過したか否かを判定する。また、判定部230は、仮想平面70を通過した時のそれぞれの物体の速度を算出する。この速度は、例えば、仮想平面70を通過する前後、または直前の数フレーム(例えば、数百msec期間)における移動距離から算出できる。なお、この速度は、進行方向を考慮しない速度であるが、仮想平面70に対する速度、すなわちZ方向成分の速度を算出し、これを用いるようにしてもよい。
関連付け部240は、複数の物体のうち、2つの物体について、第1、第2、第3、第4、および/または第5判定条件を満足するかを判定し、満足する場合には、その2つの物体の関連付けを行う。関連付けとしては、各物体同士に関連付けを示すタグを付与してもよく、あるいは、関連付けた2つの物体を、統合し、以降は、1つの物体として後続の処理を行うようにしてもよい。
(i)第1判定条件では、2つの物体それぞれの仮想平面70の通過タイミングの差分時間が、所定閾値以下か否かを判定する。
(ii)第2判定条件では、2つの物体が仮想平面70を通過したときの位置の差分が所定閾値以下であるか否かを判定する。この位置としては、仮想平面70上における距離を用いてもよく、2つ物体のうち遅い方が仮想平面70を通過した時点での3次元的な距離を用いてもよい。
(iii)第3判定条件では、2つの物体それぞれが仮想平面70を通過したときの速度を算出し、その速度の差分が所定閾値以下であるか否かを判定する。
(iv)第4判定条件では、仮想平面70を通過した物体のサイズが所定の閾値以上であるか否かを判定する。このサイズは、体積、または画素数で判定してもよい。
(v)第5判定条件では、仮想平面70を通過するまでの物体それぞれの移動軌跡を比較し、移動軌跡の差分が所定条件を満たすか否かにより判定する。所定条件としては、移動軌跡を重ねた場合の各点での差分(間隔)の振れ幅が所定閾値以下に収まるか否か、あるいは比較する移動軌跡同士の各点が同じ相対位置関係を維持しているか否かにより判定できる。
報知出力部250は、道路を移動する物体への検知枠付与、種別判定、カウント、およびアラート判定を行い、これらの結果を発報部300に送る。
発報部300は、スピーカー310、および表示部320を含む。発報部300は、報知出力部250からアラートが受信された場合に、スピーカー310により警告音等の音声を出力する。
図6〜図9を参照し、第1の実施形態に係る物体検出システム10で実行する物体検出処理について説明する。図6、図7は、第1の実施形態に係る物体検出システム10で行われる、物体検出処理を示すフローチャートである。
図6に示すように、最初に、検出部100は、ライダー110により、測定空間60内の測定(走査)を行う。距離算出部210は、ライダー110により得られた受信信号のタイミングから、多数の各照射方向における、それぞれの距離情報を得る。そしてこれらにより、各画素(方向)における距離値の分布を表す測距点群データを生成し、出力する。これを所定周期(数十msec)で繰り返す。
認識部220は、ステップS11で生成し、得られた測距点群データから物体の認識を行う。
判定部230は、ステップS12で認識した物体(動体)の追跡処理を行う。それぞれの物体の位置情報を時系列で追跡することで、物体の移動軌跡を把握する。
判定部230は、物体911、912について、仮想平面70を通過したか否か、すなわち各物体911、912の後端が仮想平面70を越えたか否かの判定を行う。図8B(b)の状態では、判定部230は判定対象となる複数の物体のうち、先頭の物体911が仮想平面70を通過した(後端が通過)と判定する。続く、図8B(c)の状態では、判定部230は先頭以外の他の物体912も仮想平面を通過した(先端が通過)と判定する。
ここでは、関連付け部240は、複数の物体のうち、2つの物体の関連付けを行う。図7は、ステップS15のサブルーチンフローチャートである。
図7に示すように、関連付け部240は、仮想平面70を通過した複数の物体のうち2つの物体を抽出する。図8B(d)の状態では、物体911、922の2つの物体を抽出する。
関連付け部240は、第1判定条件を満足するか否かを判定する。すなわち、2つの物体の仮想平面70の通過タイミングの差分時間が、所定閾値以下か否かを判定する。図8Bの例では、図8B(b)の物体911が仮想平面70を通過した通過タイミング(時刻t2)と、次の物体912が仮想平面70を通過した通過タイミング(時刻t3)の差分時間(t3−t2)が所定閾値以下か否かを判定する。
関連付け部240は、第1判定条件を満たす物体911と物体912の関連付けを行う。例えば、図8B(d)に示すように、関連付け部240は、物体911、912を関連付けすることにより統合し、以降は、1つの物体991として後続の処理を行う。このとき、物体991は、統合する前の直方体の物体911、および直方体の物体912の双方を包括するような直方体として統合する。
ここでは、関連付け部240は、第1判定条件を満たさない2つの物体を関連付けしない。このとき、判定チェック済みであることを示すフラグを各物体に付与してもよい。以降は、サブルーチンフローチャートの処理を終了し、図6のメインのフローチャートに戻る。
仮想平面70を通過した全ての物体のチェック(判定処理)が終了していなければ(NO)、処理をステップS15に戻し、チェックしていない物体の判定処理を行う。一方で全ての物体のチェックが終了したならば(YES)、処理をステップS17に進める。
報知出力部250は、出力する画像データ上において、物体に検知枠を付与する。ステップS15の処理で関連付けられた2つの物体については、1つの物体として1つの検知枠を物体の周辺、または近傍に付与する。例えば、認識した直方体の物体に外接するように検知枠を付与する。
報知出力部250は、物体に対して、各種の制御処理を行う。この制御処理は、上述のように、道路を移動する物体の種類(普通車車両、大型車両、等)を判別し、判別した種類毎のカウントを行う。また、許可されていない物体の通過を検知した場合、または、警告対象の種類の物体の通過を検知した場合には、アラート判定を行ってもよい。これらの、制御処理による結果は、要求、または設定に応じて、発報部300に送信する。
以下、図10から図14Cを参照し、第2の実施形態に係る物体検出システム10で実行する物体検出処理について説明する。図10は、第2の実施形態におけるステップS15のサブルーチンフローチャートである。図11〜図14Cは、第2〜第5判定条件それぞれにおける関連付け処理を示す模式図である。この第2の実施形態においては、図10に示すステップS15の関連付け判定処理が異なる以外は、第1の実施形態と同一であり、その他の説明は省略する。
ステップS501と同様に、関連付け部240は、仮想平面70を通過した複数の物体のうち2つの物体を抽出する。
次に、関連付け部240は、第1判定条件を満足するか否かを判定する。すなわち、2つの物体の仮想平面70の通過タイミングの差分時間が、所定閾値以下か否かを判定する。この処理も、ステップS502と同様であり、説明を省略する。
ここでは、関連付け部240は、第2〜第5の判定条件のいずれかを満足するか否かを判定する。第2〜第5判定条件については後述する。第2〜第5判定条件のいずれかを満足した場合には、処理をステップS604に進める。一方で、全てを満足しない場合には、処理をステップS605に進める。
関連付け部240は、第1判定条件、および第2〜第5判定条件の少なくとも1つを満たす2つの物体の関連付けを行う。以降は、関連付けた2つの物体は、1つの物体として後続の処理を行う。
ここでは、関連付け部240は、第1判定条件を満たさない2つの物体、または、第1判定条件を満たすが、第2〜第5判定条件の全てを満たさない2つの物体を関連付けしない。このとき、判定チェック済みであることを示すフラグを付与してもよい。以降は、サブルーチンフローチャートの処理を終了し、図6のメインのフローチャートに戻る。
ここで、第2〜第5の判定条件そのそれぞれについて図11〜図14Cを参照し、具体的に説明する。
第2判定条件では、2つの物体が仮想平面70を通過したときの位置の差分が所定閾値以下であるか否かを判定する。図11は、第2判定条件における関連付け処理を示す模式図である。同図は、並走する2つの物体81、84(トラック車両)が、仮想平面70を通過している状態を示している。物体921〜923は、ステップS12、S13で認識部220、および判定部230それぞれが、認識し、追跡している検知物体である。図11に示す状態では、判定部239は、ステップS14で、物体921〜923の全てが仮想平面70を通過したと判定している。そして、物体921〜923は全て、ほぼ、同じタイミングで仮想平面70を通過しているため、相互に第1判定条件を満足している(ステップS602:YES)。
第3判定条件では、2つの物体それぞれが仮想平面70を通過したときの速度を算出し、その速度の差分が所定閾値以下であるか否かを判定する。図12Aは、仮想平面70に向かって進む物体を示す模式図である。図12Bは、第3判定条件における関連付け処理を示す模式図であり、図12Aの状態を測定することで得られた測距点群データから、ステップS12の処理で、認識した物体を示している。同図は、物体81(トラック車両)、および物体83(歩行者)が、仮想平面70を通過する状態を示している。物体931〜934は、ステップS12、S13で認識部220、および判定部230それぞれが、認識し、追跡している検知物体である。図12B(a)に示す状態では、判定部239は、ステップS14で、物体931、932が仮想平面70を通過したと判定している。判定部239は、図12B(b)では、残りの物体933、934が仮想平面を通過したと判定している。これらの物体931〜934は全て、通過タイミングの差分が所定閾値以下の範囲内で仮想平面70を通過しているため、相互に第1判定条件を満足している(ステップS602:YES)。
第4判定条件では、仮想平面70を通過した物体のサイズが所定の閾値以上であるか否かを判定する。図13は、第4判定条件における関連付け処理を示す模式図である。同図は、物体81(トラック車両)、および物体83(歩行者)が、仮想平面70を通過する状態を示している。物体941〜944は、ステップS12、S13で認識部220、および判定部230それぞれが、認識し、追跡している検知物体である。図13(a)に示す状態では、判定部230は、ステップS14で、物体941、942が仮想平面70を通過したと判定している。判定部230は、図13(b)では、残りの物体943、944が仮想平面を通過したと判定している。これらの物体941〜944は全て、通過タイミングの差分が所定閾値以下の範囲内で仮想平面70を通過しているため、相互に第1判定条件を満足している(ステップS602:YES)。
第5判定条件では、仮想平面70を通過するまでの物体それぞれの移動軌跡を比較し、移動軌跡の差分が所定条件を満たすか否かにより判定する。図14Aは、仮想平面70に向かって進む物体を示す模式図である。図14B、図14Cは、第5判定条件における関連付け処理を示す模式図である。これらの図は、物体81、84(トラック車両)が、仮想平面70を通過する状態を示しており、同図においては、物体81は、仮想平面70を越える前に、左折を行っていた。
第2の実施形態においては、関連付け部240は、第2〜第5判定条件の全てについて判定したが、これに限られず、少なくとも1つについて判定するようにしてもよい。
以下、図15を参照し、第3の実施形態に係る物体検出システム10で実行する物体検出処理について説明する。図15は、第3の実施形態におけるステップS15のサブルーチンフローチャートである。第3の実施形態においては、図15に示すステップS15の関連付け判定処理が異なる以外は、第1、第2の実施形態と同一であり、その他の説明は省略する。
ステップS501と同様に、関連付け部240は、仮想平面70を通過した複数の物体のうち2つの物体を抽出する。
関連付け部240は、第1判定条件を満足するか否かを判定する。すなわち、2つの物体の仮想平面70の通過タイミングの差分時間が、所定閾値以下か否かを判定する。この処理も、ステップS502と同様であり、説明を省略する。
関連付け部240は、ステップS703、S705、S707、S709でそれぞれ第2〜第5判定条件について判定し、判定条件を満たす場合には、ステップS704、S706、S708、S710でそれぞれに対応する判定フラグをONにする。この第2〜第5判定条件は、第2の実施形態で説明したとおりであり、説明を省略する。
関連付け部240は、第2〜第5判定条件の判定結果により、現時点のフラグ状態が所定条件を満たすか否かを判定する。例えば、第2、第3判定条件は優先度「高」に設定し、第4、第5判定条件は優先度「低」に設定し、優先度「高」のフラグは全てONで、かつ優先度「低」はいずれかのフラグがONの場合にステップS711の所定条件を満たすと判定する。所定条件を満たす場合(YES)には、処理をステップS712に進め、満たさない場合(NO)には処理をステップS713に進める。
関連付け部240は、ステップS712、S713でそれぞれステップS604、S605と同様の処理を行う。以降は、サブルーチンフローチャートの処理を終了し、図6のメインのフローチャートに戻る。
以下、図16を参照し、第4の実施形態に係る物体検出システム10で実行する物体検出処理について説明する。図16は、第4の実施形態におけるステップS15のサブルーチンフローチャートである。第4の実施形態においては、図15に示すステップS15の関連付け判定処理が異なる以外は、第1、第2の実施形態と同一であり、その他の説明は省略する。
ステップS701と同様である。関連付け部240は、仮想平面70を通過した複数の物体のうち2つの物体を抽出する。
関連付け部240は、第1判定条件を満足するか否かを判定する。すなわち、2つの物体の仮想平面70の通過タイミングの差分時間が、所定閾値以下か否かを判定する。この処理も、ステップS502と同様であり、説明を省略する。
関連付け部240は、第1判定条件のフラグをONする。
関連付け部240は、ステップS703〜S710と同様の処理を行う。第2〜第5判定条件について判定し、それぞれの判定結果に応じて、各フラグのON/OFFを行う。
関連付け部240は、ステップS711と同様の処理を行う。ここでは第1判定条件のフラグも含め、第1〜第5判定条件の判定結果により、現時点のフラグ状態が所定条件を満たすか否かを判定する。所定条件を満たす場合(YES)には、処理をステップS812に進め、満たさない場合(NO)には処理をステップS713に進める。この判定条件は、第3の実施形態と同様であり、説明を省略する。
関連付け部240は、ステップS812、S813でそれぞれステップS712、S713と同様の処理を行う。以降は、サブルーチンフローチャートの処理を終了し、図6のメインのフローチャートに戻る。
ここで、ライダー110等の測距点群データを取得する検出部100を用いる利点について説明する。図17は、2次元カメラにより認識した物体における仮想平面70の通過判定を説明する模式図である。図17は、図2と対応し、同じ車道61上を2次元カメラ65により撮影するように配置させた状態を示しており、横方向(X’方向)から視た図である。図17において、2次元カメラ65は、車道61、および仮想平面70に向けて斜め下方向を撮影する。そして2次元カメラ65により得られた画像を画像認識することにより仮想平面70の通過判定をする場合を想定する。
100 検出部
110 ライダー
200 制御装置
210 距離算出部
220 認識部
230 判定部
240 関連付け部
250 報知出力部
300 発報部
310 スピーカー
320 表示部
60 測定空間
70 仮想平面
Claims (14)
- 複数の照射方向に向けた送信波を、測定空間に渡って照射し、該測定空間内の対象物からの前記送信波の反射波に応じた受信信号を出力する送受信部と、
前記送受信部が、前記送信波を送信してから、該送信波の反射波を受信するまでの時間間隔に基づいて、それぞれの前記照射方向における対象物までの距離を算出し、前記測定空間内の対象物までの距離値の分布を示す測距点群データを生成する距離算出部と、
前記測距点群データに基づいて、前記測定空間内の物体を認識する認識部と、
前記認識部が認識した前記複数の物体のそれぞれが、前記測定空間内に予め設定した仮想平面を通過したタイミングを算出するとともに、第1判定条件として、前記複数の物体のうち、2つの物体の前記タイミング間の差分時間が所定閾値以下であるか否かを判定する判定部と、
前記第1判定条件を満たした、前記2つ物体を関連付ける関連付け部と、
を備える、物体検出システム。 - 前記判定部は、前記第1判定条件を満たす前記2つの物体について、さらに、第2判定条件として、前記仮想平面を通過した前記物体の位置の差分が、所定閾値以下であるか否かを判定し、
前記関連付け部は、前記第1判定条件および前記第2判定条件を満たす前記2つの物体を関連付ける、請求項1に記載の物体検出システム。 - 前記判定部は、第1判定条件を満たす前記2つの物体について、さらに、第3判定条件として、前記仮想平面を通過した時の速度の差分が、所定閾値以下であるか否かを判定し、
前記関連付け部は、少なくとも前記第1判定条件および前記第3判定条件を満たす前記2つの物体を関連付ける、請求項1、または請求項2に記載の物体検出システム。 - 前記判定部は、第1判定条件を満たす前記2つの物体について、さらに、第4判定条件として、前記物体のサイズそれぞれが、所定閾値以上か否かを判定し、
前記関連付け部は、少なくとも前記第1判定条件および前記第4判定条件を満たす前記2つの物体を関連付ける、請求項1から請求項3のいずれかに記載の物体検出システム。 - 前記判定部は、第1判定条件を満たす前記2つの物体について、さらに、第5判定条件として、前記仮想平面を通過するまでの移動軌跡を比較し、移動軌跡の差分が所定条件を満たすか否かを判定し、
前記関連付け部は、少なくとも前記第1判定条件および前記第5判定条件を満たす前記2つの物体を関連付ける、請求項1から請求項4のいずれかに記載の物体検出システム。 - 前記判定部は、第1判定条件を満たす前記2つの物体について、さらに、
前記仮想平面を通過した前記物体の位置の差分が、所定閾値以下であるか否かを判定する第2判定条件、
前記仮想平面を通過した時の速度の差分が、所定閾値以下であるか否かを判定する第3判定条件、
前記物体のサイズそれぞれが、所定閾値以上か否かを判定する第4判定条件、および、
前記仮想平面を通過するまでの移動軌跡を比較し、移動軌跡の差分が所定条件を満たすか否かを判定する第5判定条件について判定を行い、
前記関連付け部は、前記判定部による前記第2から第5の判定条件に関する判定結果、および、予め設定した、前記第2から第5判定条件の優先度、または重み付け係数を用いて、前記2つの物体を関連付ける、請求項1に記載の物体検出システム。 - 複数の照射方向に向けた送信波を、測定空間に渡って照射し、該測定空間内の対象物からの前記送信波の反射波を受信する送受信部と、
前記送受信部が、前記送信波を送信してから、該送信波の反射波を受信するまでの時間間隔に基づいて、それぞれの前記照射方向における対象物までの距離を算出し、前記測定空間内の対象物までの距離値の分布を示す測距点群データを算出する距離算出部と、
前記測距点群データに基づいて、前記測定空間内の物体を認識する認識部と、
前記認識部が認識した前記複数の物体のそれぞれが、前記測定空間内に予め設定した仮想平面を通過したタイミングを算出するとともに、前記複数の物体のうち、2つの物体の前記タイミング間の差分時間が所定閾値以下であるか否かを判定する第1判定条件、
前記仮想平面を通過した前記物体の位置の差分が、所定閾値以下であるか否かを判定する第2判定条件、
前記仮想平面を通過した時の速度の差分が、所定閾値以下であるか否かを判定する第3判定条件、
前記物体のサイズそれぞれが、所定閾値以上か否かを判定する第4判定条件、および、
前記仮想平面を通過するまでの移動軌跡を比較し、移動軌跡の差分が所定条件を満たすか否かを判定する第5判定条件について判定を行う判定部と、
前記判定部による前記第1から第5の判定条件に関する判定結果、および、予め設定した、前記第1から第5判定条件の優先度、または重み付け係数を用いて、2つの物体を関連付ける関連付け部と、を備える物体検出システム。 - 前記測定空間には、車両が通行する道路が含まれ、前記仮想平面は、前記道路を通行する車両の移動方向に対向して設けられている、請求項1から請求項7のいずれかに記載の物体検出システム。
- 前記送受信部は、ライダーであり、前記送信波としてレーザー光を照射する、請求項1から請求項8のいずれかに記載の物体検出システム。
- さらに、前記測距点群データに基づいて、生成した画像を出力する、出力部を備え、
前記関連付け部は、前記出力部が出力する前記画像において、関連付けた前記2つの物体に対して、1つの検知枠を付与する、請求項1から請求項9のいずれかに記載の物体検出システム。 - 前記関連付け部は、関連付けた前記2つの物体に対して、1つの物体としてカウントを行う、請求項1から請求項10のいずれかに記載の物体検出システム。
- 前記関連付け部は、関連付けた前記2つの物体に対して、1つの物体として、物体の種類の判別を行う、請求項1から請求項11のいずれかに記載の物体検出システム。
- 前記関連付け部は、関連付けた前記2つの物体に対して、1つの物体として、発報処理を行う、請求項1から請求項12のいずれかに記載の物体検出システム。
- 複数の照射方向に向けた送信波を、測定空間に渡って照射し、該測定空間内の対象物からの前記送信波の反射波に応じた受信信号を出力する送受信部を備える物体検出システムにおける物体検出方法であって、
前記送受信部が前記送信波を送信してから、該送信波の反射波を受信するまでの時間間隔に基づいて、それぞれの前記照射方向における対象物までの距離を算出し、前記測定空間内の対象物までの距離値の分布を示す測距点群データを算出するステップ(a)と、
前記測距点群データに基づいて、前記測定空間内の物体を認識するステップ(b)と、
前記ステップ(b)で認識した前記複数の物体のそれぞれが、前記測定空間内に予め設定した仮想平面を通過したタイミングを算出するとともに、第1判定条件として、前記複数の物体のうち、2つの物体の前記タイミング間の差分時間が所定閾値以下であるか否かを判定するステップ(c)と、
前記第1判定条件を満たした、前記2つ物体を関連付けるステップ(d)と、
を含む物体検出方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018170831 | 2018-09-12 | ||
JP2018170831 | 2018-09-12 | ||
PCT/JP2019/010313 WO2020054110A1 (ja) | 2018-09-12 | 2019-03-13 | 物体検出システム、および物体検出方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020054110A1 true JPWO2020054110A1 (ja) | 2021-08-30 |
JP7184087B2 JP7184087B2 (ja) | 2022-12-06 |
Family
ID=69777691
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020546680A Active JP7184087B2 (ja) | 2018-09-12 | 2019-03-13 | 物体検出システム、および物体検出方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7184087B2 (ja) |
WO (1) | WO2020054110A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023008527A (ja) * | 2021-07-06 | 2023-01-19 | パナソニックホールディングス株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014167802A (ja) * | 2014-04-02 | 2014-09-11 | Mitsubishi Electric Corp | 車両判定システム |
WO2018159144A1 (ja) * | 2017-03-01 | 2018-09-07 | パナソニックIpマネジメント株式会社 | 3次元侵入検知システムおよび3次元侵入検知方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014092434A (ja) | 2012-11-02 | 2014-05-19 | Denso Corp | 物標検出装置、及び、当該装置を用いた接触回避システム |
-
2019
- 2019-03-13 WO PCT/JP2019/010313 patent/WO2020054110A1/ja active Application Filing
- 2019-03-13 JP JP2020546680A patent/JP7184087B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014167802A (ja) * | 2014-04-02 | 2014-09-11 | Mitsubishi Electric Corp | 車両判定システム |
WO2018159144A1 (ja) * | 2017-03-01 | 2018-09-07 | パナソニックIpマネジメント株式会社 | 3次元侵入検知システムおよび3次元侵入検知方法 |
Also Published As
Publication number | Publication date |
---|---|
JP7184087B2 (ja) | 2022-12-06 |
WO2020054110A1 (ja) | 2020-03-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10445599B1 (en) | Sensor system augmented with thermal sensor object confirmation | |
KR102614323B1 (ko) | 수동 및 능동 측정을 이용한 장면의 3차원 지도 생성 | |
EP3872688A1 (en) | Obstacle identification method and device, storage medium, and electronic device | |
JP6298128B2 (ja) | 3dセンサにより検出されたオブジェクトの分類 | |
JP6696697B2 (ja) | 情報処理装置、車両、情報処理方法およびプログラム | |
US20190387185A1 (en) | Thermal imager with enhanced processing | |
US10121082B2 (en) | System and method for providing laser camera fusion for identifying and tracking a traffic participant | |
JP5938569B2 (ja) | 方位情報を考慮する高度運転者支援システム、及びその動作方法 | |
KR20190047595A (ko) | 색 선별 거울을 이용하는 자율 주행 차량용 3d lidar 시스템 | |
US20120081542A1 (en) | Obstacle detecting system and method | |
JP2016001463A (ja) | 処理装置、処理システム、処理プログラム及び処理方法 | |
JP2016001464A (ja) | 処理装置、処理システム、処理プログラム、及び、処理方法 | |
JP2016529475A (ja) | ライダに基づいたオブジェクト移動の分類 | |
US20210223363A1 (en) | Object detection on a path of travel and obstacle detection on railway tracks using free space information | |
JP2016148547A (ja) | 検知装置 | |
JPWO2019106789A1 (ja) | 処理装置及び処理方法 | |
US20200003898A1 (en) | Information processing device, information processing method, and vehicle | |
WO2020241043A1 (ja) | 作業分析システム、作業分析装置、および作業分析プログラム | |
JP2021131902A (ja) | 車両用障害物回避方法、装置、電子機器及びコンピュータ記憶媒体 | |
JP2017162178A (ja) | 判定装置、判定方法、および判定プログラム | |
JPWO2020054110A1 (ja) | 物体検出システム、および物体検出方法 | |
JP7073949B2 (ja) | 避難誘導装置、避難誘導システム、および制御プログラム | |
CN115497282B (zh) | 信息处理装置、信息处理方法、以及存储介质 | |
US11643093B2 (en) | Method for predicting traffic light information by using lidar and server using the same | |
CN108885262A (zh) | 用于捕捉至少一个对象的方法、传感器设备的装置、传感器设备和具有至少一个传感器设备的驾驶员辅助系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210628 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220517 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220715 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221025 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221107 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7184087 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |