WO2021172535A1 - 物体検知装置 - Google Patents
物体検知装置 Download PDFInfo
- Publication number
- WO2021172535A1 WO2021172535A1 PCT/JP2021/007429 JP2021007429W WO2021172535A1 WO 2021172535 A1 WO2021172535 A1 WO 2021172535A1 JP 2021007429 W JP2021007429 W JP 2021007429W WO 2021172535 A1 WO2021172535 A1 WO 2021172535A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- grid
- vote
- votes
- map
- vehicle
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
- G01S15/06—Systems determining the position data of a target
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/87—Combinations of sonar systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/88—Sonar systems specially adapted for specific applications
- G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/88—Sonar systems specially adapted for specific applications
- G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
- G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
Abstract
第1物体認識部(31a)で、測距センサ(10)のセンシング情報に含まれる物体が検知された位置を示す検知座標と対応するグリッドである主グリッドに所定の投票数を設定することで、自車の周囲に存在する物体の位置を示した第1グリッドマップを作成する。第2物体認識部(31b)で、車載カメラ(20)のセンシング情報に含まれる物体が検知された位置を示す検知座標と対応するグリッドである主グリッドに所定の投票数を設定することで、自車の周囲に存在する物体の位置を示した第2グリッドマップを作成する。物体統合部(32)で、第1グリッドマップと第2グリッドマップとを統合した統合グリッドマップを作成する。そして、物体特定部(33)にて、統合グリッドマップ中における投票数の合計値が所定の閾値を超えるグリッドを物体の存在するグリッドとして特定する。
Description
本出願は、2020年2月27日に出願された日本特許出願番号2020-032115号に基づくもので、ここにその記載内容が参照により組み入れられる。
本開示は、自身の車両(以下、自車という)の周辺に存在する物体を検知する物体検知装置に関するものである。
従来より、ソナーなどを用いて自車の周辺に存在する物体を検知し、その検知結果を自動駐車などの車両制御に用いている。例えば、物体検知装置として、特許文献1に提案されているものがある。
この装置には、投票数算出部、クラスター設定部、グリッド判別部および移動物体判別部が備えられている。投票数算出部は、レーダセンサなどの測距センサによる検出点の検出結果に基づいて、グリッドマップのグリッド毎に、測距センサの検出点が含まれる数である投票数を算出する。クラスター設定部は、測距センサによる検出点の検出結果に基づいて、検出点のクラスタリングにより、検知対象の物体であるクラスターをグリッドマップ上に設定する。グリッド判別部は、複数回算出されたグリッド毎の投票数の合計値に基づいて、クラスターが占有するグリッドから静止グリッドと移動グリッドとを判別する。移動物体判定部は、クラスターが占有するグリッドに含まれる静止グリッドおよび移動グリッドの配置に基づいて、クラスターが移動物体であるか静止物体であるか判定する。これらを用いて、自車の周辺に存在する物体を検知すると共に、検知対象の物体であるクラスターが移動物体であるか静止物体であるかを判定できるようにしている。
しかしながら、レーダセンサなどの測距センサのみを用いた物体検知では、精度良い物体検知が行えない。具体的には、測距センサは、測距センサから物体までの直線距離(以下、単に物体までの距離という)の測定は得意であるが、物体幅の測定は不得意である。このため、物体幅を的確に測定することができず、精度良い物体検知が行えない。
本開示は、より精度良い物体検知を行うことが可能な物体検知装置を提供することを目的とする。
本開示は、より精度良い物体検知を行うことが可能な物体検知装置を提供することを目的とする。
本開示の1つの観点においては、自車の周囲を複数のグリッドに分割したグリッドマップを用いて自車の周囲に存在する物を検知する物体検知装置であって、探査波を出力すると共に該探査波が物体で反射してきた反射波を取得することで物体の位置を測定する測距センサのセンシング情報を入力し、グリッドマップを用いて、測距センサのセンシング情報に含まれる物体が検知された位置を示す検知座標と対応するグリッドである主グリッドに所定の投票数を設定することで、自車の周囲に存在する物体の位置を示した第1グリッドマップを作成する第1物体認識部と、自車の周囲を撮像する車載カメラのセンシング情報を入力し、グリッドマップを用いて、車載カメラのセンシング情報に含まれる物体が検知された位置を示す検知座標と対応するグリッドである主グリッドに所定の投票数を設定することで、自車の周囲に存在する物体の位置を示した第2グリッドマップを作成する第2物体認識部と、第1グリッドマップにおけるグリッド毎の投票数と第2グリッドマップにおけるグリッド毎の投票数とを統合した統合グリッドマップを作成する物体統合部と、統合グリッドマップ中における投票数の合計値が所定の閾値を超えるグリッドを物体の存在するグリッドとして特定する物体特定部と、を有している。
このように、第1物体認識部および第2物体認識部にて、測距センサと車載カメラのセンシング情報に基づいて第1グリッドマップおよび第2グリッドマップを作成している。そして、物体統合部にて第1グリッドマップと第2グリッドマップを統合することで統合グリッドマップを作成している。つまり、測距センサが不得意としている物体幅の測定が十分でない可能性のある第1グリッドマップと、物体幅の測定を得意とする車載カメラのセンシング情報に基づく第2グリッドマップとを組み合わせてセンサフュージョンを行っている。このように、多種類のセンサの特性を考慮した統合グリッドマップを作成することで、物体の検知精度を高めることが可能となり、1つの測距センサのみで物体検知を行う場合のような誤検知を抑制することが可能となる。
なお、各構成要素等に付された括弧付きの参照符号は、その構成要素等と後述する実施形態に記載の具体的な構成要素等との対応関係の一例を示すものである。
以下、本開示の実施形態について図に基づいて説明する。なお、以下の各実施形態相互において、互いに同一もしくは均等である部分には、同一符号を付して説明を行う。
(第1実施形態)
本実施形態にかかる物体検知装置が備えられた車両制御システムについて説明する。ここでは、車両制御として、自動駐車を行う駐車支援制御を実行するものを例に挙げて説明するが、物体検知装置での物体検知結果に基づいて車両制御を行うものであれば、他の制御を行うものであっても構わない。
本実施形態にかかる物体検知装置が備えられた車両制御システムについて説明する。ここでは、車両制御として、自動駐車を行う駐車支援制御を実行するものを例に挙げて説明するが、物体検知装置での物体検知結果に基づいて車両制御を行うものであれば、他の制御を行うものであっても構わない。
図1に示すように、車両制御システム1は、ソナー10、車載カメラ20、物体検知装置を構成する電子制御装置(以下、ECUという)30、各種アクチュエータ40および表示器50を備えた構成とされている。
ソナー10は、測距センサに相当するものである。ソナー10は、所定のサンプリング周期毎に、探査波として超音波を出力すると共にその反射波を取得することで得られた物標との相対速度や相対距離および物標が存在する方位角などの位置の測定結果をセンシング情報としてECU30へ逐次出力する。ソナー10は、物体を検知した場合には、その検知した位置の座標である検知座標をセンシング情報に含めて出力している。物体の検知座標については、移動三角測量法を用いて特定しており、自車の移動に伴って物体までの距離が変化することから、サンプリング周期毎の測定結果の変化に基づいて特定している。
ここではソナー10を1つのみ図示しているが、実際には、車両に対して複数箇所に備えられる。ソナー10としては、例えば前後のバンパーに車両左右方向に複数個並べて配置されたフロントソナーや、車両の側方位置に配置されたサイドソナーが挙げられる。ソナー10のサンプリング周期は、ソナー10の配置場所に応じて設定されており、例えばフロントソナーでは第1周期、サイドソナーでは第1周期以下の第2周期とされている。
なお、ここでは測距センサとしてソナー10を例に挙げるが、測距センサとしては、ミリ波レーダやLIDAR(Light Detectionand Ranging)なども挙げられる。ミリ波レーダは、探査波としてミリ波を用いた測定、LIDARは、探査波としてレーザ光を用いた測定を行うものであり、共に、例えば車両の前方などの所定範囲内に探査波を出力し、その出力範囲内において測定を行う。
車載カメラ20は、自車周囲の所定範囲を撮像する周辺監視カメラであり、自車の周辺画像を撮影し、その撮像データを解析し、物体を検知した場合には、その検知座標をセンシング情報に含めてECU30へ出力する。車載カメラ20としては、自車の前方を撮影する前方カメラの他、自車の後方、左右側方の画像を撮影する後方カメラ、左側方カメラ、右側方カメラなどがあるが、これらに限るものではない。車載カメラ20の画像取込みの周期であるサンプリング周期は、例えば第1周期以上の第3周期とされている。車載カメラ20においても、物体の検知座標については、移動三角測量法を用いて特定している。
ECU30は、物体の検知を行うと共に自動駐車を行うための駐車支援制御を実現するための各種制御を行うものであり、CPU、ROM、RAM、I/Oなどを備えたマイクロコンピュータによって構成されている。具体的には、ECU30は、ソナー10や車載カメラ20のセンシング情報に基づいてグリッドマップを作成することで自車の周囲に存在する物体を検知し、その物体の検知座標を選定する。さらに、本実施形態の場合には、ECU30は、物体の検知結果に基づいて駐車支援制御を行い、駐車支援制御に基づいて各種アクチュエータ40を制御して自動駐車を行わせる。具体的には、ECU30は、各種制御を実行する機能部として、第1物体認識部31a、第2物体認識部31b、物体統合部32、出力選定部33および制御部34を備えた構成とされている。
以下、ECU30を構成する各機能部の詳細について説明するが、第1物体認識部31a、第2物体認識部31b、物体統合部32については、物体が存在する状況を想定して、各部が作成するグリッドマップを参照して説明する。自車の近傍に物体が存在する場合の一例として、図2に示すように、自車Vの前方に円柱形状の物体100が存在している場合を想定する。図2中のO印はソナー10による物体100の検知の様子、図2中のX印は車載カメラ20での物体100の検知の様子を示している。図3A~図3Cは、図2に示す状況において、第1物体認識部31a、第2物体認識部31b、物体統合部32それぞれで作成されるグリッドマップの一部を示している。
第1物体認識部31aは、ソナー10から入力されるセンシング情報に基づき、図3Aに示すように、自車Vの周辺を複数のグリッドGに分割したグリッドマップMapを用いて自車Vの周辺の物体100の位置を示したグリッドマップM1を作成する。グリッドマップM1は、平面視で自車Vの周囲を格子状に区分けして複数のグリッドGに分割したマップである。図3Aでは一部のみしか示していないが、第1物体認識部31aは、例えば自車Vを中心として自車Vよりも大きな数m×数mの範囲のグリッドマップM1を作成している。第1物体認識部31aは、例えば数~十数cmの正方形を1つのグリッドG、つまり1単位領域として、自車Vの前後方向および自車Vの左右方向において格子状に区分けしたグリッドマップM1を作成している。そして、第1物体認識部31aは、ソナー10からセンシング情報が入力されると、グリッドマップMap上の各グリッドGに投票数を設定し、ソナー10のセンシング情報に含まれる検知座標を反映したグリッドマップM1を作成している。投票数は物体100の存在確率を示す指標となる値であり、ここでは投票数が大きい値であるほど物体100の存在確率が高いことを示している。なお、以下の説明では、第1物体認識部31aが作成するグリッドマップM1のことを第1グリッドマップM1という。
具体的には、図3Aに示すように、ソナー10からのセンシング情報に含まれる検知座標と対応するグリッドGを主グリッドGm、主グリッドGmに隣接して物体100の幅方向に位置するグリッドGを幅方向グリッドGwとしている。また、主グリッドGmおよび幅方向グリッドGwの後方、つまりソナー10から遠い側に位置するグリッドGを後方グリッドGb、主グリッドGmや幅方向グリッドGwおよび後方グリッドGb以外を他グリッドGoとしている。そして、主グリッドGmについては第1投票数、幅方向グリッドGwや後方グリッドGbについては第1投票数より少ない第2投票数、他グリッドGoについては第2投票数より少ない第3投票数として、各グリッドGの投票数を設定する。例えば、第1投票数については正の投票数、ここでは+1を設定している。第2投票数については0を設定している。第3投票数については負の投票数、ここでは-1を設定している。
幅方向グリッドGwに他グリッドGoよりも多い投票数を設定するのは、ソナー10が物体幅の測定が不得意のためである。ソナー10での検知座標から幅方向にずれて物体100が存在している可能性がある。これを想定して、主グリッドGmを基準とした幅方向に位置する幅方向グリッドGwを設け、幅方向グリッドGwについて、物体100の存在確率が低い他グリッドGoよりも多い投票数としている。後方グリッドGbに他グリッドGoよりも多い投票数を設定するのは、ソナー10が主グリッドGmよりも後方位置を測定できず、物体100が存在している可能性があるためである。この場合にも、後方グリッドGbに物体100が存在している可能性があることを想定し、主グリッドGmを基準とした後方に位置する後方グリッドGbについて、物体100の存在確率が低い他グリッドGoよりも多い投票数としている。
第2物体認識部31bは、車載カメラ20から入力されるセンシング情報に基づき、自車Vの周辺を複数のグリッドGに分割したグリッドマップMapを用いて自車Vの周辺の物体100の位置を示したグリッドマップM2を作成する。図3Bでは一部のみしか示していないが、グリッドマップM2の全体のサイズや各グリッドGのサイズについては、第1物体認識部31aで作成される第1グリッドマップM1と同様である。第2物体認識部31bも、車載カメラ20からセンシング情報が入力されると、グリッドマップMap上の各グリッドGに投票数を設定し、車載カメラ20のセンシング情報に含まれる検知座標を反映したグリッドマップM2を作成している。なお、以下の説明では、第2物体認識部31bが作成するグリッドマップM2のことを第2グリッドマップM2という。
具体的には、ソナー10の場合と同様、車載カメラ20のセンシング情報に含まれる検知座標と対応するグリッドGを主グリッドGm、主グリッドGmの後方、つまり車載カメラ20から遠い側に位置するグリッドGを後方グリッドGbとしている。加えて、主グリッドGmの前方、つまり車載カメラ20から近い側位置するグリッドGを前方グリッドGfとしている。また、主グリッドGmや前方グリッドGfおよび後方グリッドGb以外を他グリッドGoとしている。そして、主グリッドGmについては第4投票数、前方グリッドGfや後方グリッドGbについては第4投票数より少ない第5投票数、他グリッドGoについては第5投票数より少ない第6投票数として、各グリッドGの投票数を設定する。例えば、第4投票数については正の投票数、ここでは+1を設定している。第5投票数については、ここでは0を設定している。第6投票数については負の投票数、ここでは-1を設定している。
前方グリッドGfに他グリッドGoよりも多い投票数を設定するのは、車載カメラ20が物体100までの距離の測定が不得意のためである。車載カメラ20での検知座標から前方にずれて物体100が存在している可能性がある。これを想定して、主グリッドGmを基準とした前方に位置する前方グリッドGfを設け、前方グリッドGfについて、物体100の存在確率が低い他グリッドGoよりも多い投票数としている。後方グリッドGbに他グリッドGoよりも多い投票数を設定するのは、車載カメラ20が主グリッドGmよりも後方位置を撮影できず、物体100が存在している可能性があるためである。この場合にも、後方グリッドGbに物体100が存在している可能性があることを想定し、主グリッドGmを基準とした後方に位置する後方グリッドGbについて、物体100の存在確率が低い他グリッドGoよりも多い投票数としている。
なお、ソナー10や車載カメラ20の解像度は高く、グリッドマップMapをより細かいグリッドGで構成することも可能であるが、メモリ容量や処理負荷の低減のために、グリッドサイズを大きくとることでデータを間引いて粗くしてもよい。
物体統合部32は、図3Cに示すように、第1物体認識部31aで作成された第1グリッドマップM1と第2物体認識部31bで作成された第2グリッドマップM2を統合したグリッドマップ(以下、統合グリッドマップという)Mcを作成する。第1グリッドマップM1と第2グリッドマップM2の全体のサイズやグリッド数が同じにされているため、同じ位置のグリッドGの投票数を加算することで、1つの統合グリッドマップMcとする。統合グリッドマップMcにおける各グリッドGの投票数は、第1グリッドマップM1と第2グリッドマップM2それぞれにおける同じ位置のグリッドGの投票数の合計値となる。
出力選定部33は、物体特定部に相当し、物体統合部32で作成された統合グリッドマップMcから物体の存在するグリッドGeを特定し、そのグリッドGeに存在すると検知された物体100の検知座標を制御部34に出力する。例えば、出力選定部33は、投票数の閾値を記憶しており、統合グリッドマップMc中の各グリッドGの投票数が閾値未満であれば物体100は存在しないグリッドGnと判定し、閾値以上であれば物体100が存在するグリッドGeと判定する。ここでは、閾値を1に設定しており、投票数の合計値が1以上になったグリッドGを物体100が存在しているグリッドGeと特定し、合計値が1未満のグリッドGを物体100が存在しているグリッドGnと特定している。そして、第1グリッドマップM1もしくは第2グリッドマップM2のうち、ここで物体100が存在すると判定されたグリッドGeに含まれる物体100の検知座標を実際の物体100の検知座標として制御部34に出力する。
このとき、物体100の存在するグリッドGeの座標を制御部34に出力することもできる。しかしながら、ここではグリッドGeに存在すると検知された物体100の検知座標についてはソナー10や車載カメラ20のセンシング情報が示す検知座標をそのまま出力している。このようにすれば、物体100の存在するグリッドGeの座標を作成する必要がなくなり、ECU30のメモリ容量および処理負荷の低減を図ることができる。また、ソナー10や車載カメラ20の解像度が高く、グリッドマップMapのデータの方が粗いため、ソナー10や車載カメラ20のセンシング情報が示す検知座標をそのまま出力した方が、より詳細なデータとなる。
制御部34は、自動駐車を行うための駐車支援制御を行う。駐車支援制御では、現在位置から駐車予定位置までの駐車経路生成や、生成した駐車経路に沿って自車Vを移動させる経路追従制御、駐車支援制御に関する表示制御を実行している。駐車経路生成は、出力選定部33から伝えられる物体100の検知座標に基づいて行われる。例えば、制御部34は、物体100の検知座標を避けるように駐車経路を生成する。経路追従制御は、駐車経路生成によって生成された駐車経路に沿って自車Vを移動させるために、加減速制御や操舵制御などの車両運動制御を行う制御である。また、制御部34は、駐車支援制御中に新たに駐車経路中に物体100が検知された場合には、駐車経路を再生成したり、その物体100が移動するまで経路追従制御での自車Vの移動を停止させることで、物体100との接触が避けられるようにしている。
表示制御は、駐車支援制御に係わる表示を行うことでドライバに駐車支援制御中であることを伝えたり、駐車経路や自車Vの様子、例えば駐車経路中のどの位置を移動中であるかなどの表示を制御するものである。制御部34は、表示制御として表示器50を制御している。
なお、本実施形態では、ECU30を1つで構成し、そのECU30内に各機能部を備えた構成としているが、複数のECUを組み合わせた構成としても良い。例えば、第1物体認識部31aや第2物体認識部31bをそれぞれ個別のECUとし、第1物体認識部31aについてはソナー10とユニット化されたもの、第2物体認識部31bについては車載カメラ20とユニット化されたものとしても良い。また、制御部34だけを1つもしくは複数のECUで構成したものとしても良い。制御部34を複数のECUで構成する場合の各種ECUとしては、例えば、操舵制御を行う操舵ECU、加減速制御を行うパワーユニット制御ECUおよびブレーキECU等が挙げられる。
具体的には、制御部34は、図示しないが、自車Vに搭載されたアクセルポジションセンサ、ブレーキ踏力センサ、舵角センサ、シフトポジションセンサ等の各センサから出力される検出信号を取得している。そして、制御部34は、取得した検出信号より各部の状態を検出し、駐車経路に追従して自車Vを移動させるべく、各種アクチュエータ40に対して制御信号を出力する。
各種アクチュエータ40は、自車Vの走行や停止に係わる各種走行制御デバイスであり、電子制御スロットル41、ブレーキアクチュエータ42、EPS(Electric PowerSteering)モータ43、トランスミッション44等がある。これら各種アクチュエータ40が制御部34からの制御信号に基づいて制御され、自車Vの走行方向や舵角、制駆動トルクが制御される。それにより、駐車経路に従って自車Vを移動させて駐車予定位置に駐車させるという経路追従制御を含む駐車支援制御が実現される。
表示器50は、ナビゲーションシステムにおけるディスプレイ(以下、ナビディスプレイという)51やメータに備えられるディスプレイ(以下、メータディスプレイという)52などで構成される。ここでは、駐車支援制御中に、ナビディスプレイ51やメータディスプレイ52に駐車経路や駐車経路中のどの位置に自車Vが移動中であるかの表示を行うようにしている。
以上のようにして、本実施形態にかかる車両制御システム1が構成されている。次に、本実施形態にかる車両制御システム1の作動について説明する。なお、車両制御システム1のECU30で行われる駐車支援制御としては、駐車経路生成、経路追従制御、表示制御を行っているが、これらについては上記の通りであるため、説明を省略する。ここでは、駐車経路生成に用いるグリッドマップ作成や物体の検知座標の出力を含む物体検知について、図4を参照して説明する。図4は、ECU30が実行する物体検知処理のフローチャートである。この物体検知処理は、イグニッションスイッチなどの自車Vの起動スイッチがオンされている際に、所定の制御周期毎、例えばソナー10や車載カメラ20のサンプリング周期よりも短い周期毎に実行される。ECU30のうちの第1物体認識部31a、第2物体認識部31b、物体統合部32および出力選定部33が処理部として機能して、この物体検知処理を行っている。
まず、所定の制御周期毎にステップS100の処理とステップS105の処理が並列的に行われる。ステップS100では、ソナー認識が行われたか否か、つまりソナー10から出力されるセンシング情報に物体100が認識されたことを示す情報が含まれているか否かが判定される。そして、ソナー10のセンシング情報に物体100が認識されたことを示す情報が含まれていなければ、ステップS100の処理が繰り返され、含まれていればステップS110に進む。
一方、ステップS105では、車載カメラ認識が行われたか否か、つまり車載カメラ20から出力されるセンシング情報に物体100が認識されたことを示す情報が含まれているか否かが判定される。そして、車載カメラ20のセンシング情報に物体100が認識されたことを示す情報が含まれていればステップS125に進み、含まれていなければステップS105の処理を繰り返す。
ソナー10や車載カメラ20で物体100が検知されたら、それに基づいて第1グリッドマップM1もしくは第2グリッドマップM2を作成し、統合グリッドマップMcを更新して、物体100の検知座標を制御部34に伝える必要がある。このため、ステップS100、S105において、ソナー10と車載カメラ20のいずれかで物体100が検知されたことの判定を行っている。
そして、ソナー10で物体100が検知された場合には、ステップS110~S120の各処理を実行する。ステップS110では、ソナー10のセンシング情報に含まれる検知座標と対応するグリッドGを検索する。このグリッドGが今回の制御周期における主グリッドGmになる。ステップS115では、ステップS110で検索した主グリッドGmの投票数を加算する。つまり、先の制御周期までに作成していた第1グリッドマップM1に対して、今回の制御周期における主グリッドGmの投票数を加算する。ここでは、投票数を+1加算している。ステップS120では、主グリッドGmの前方を含む他グリッドGo、つまり第1グリッドマップ中における主グリッドGmや幅方向グリッドGwおよび後方グリッドGb以外の他グリッドGoに投票数を加算する。ここでは投票数を-1加算している。上記したように、ソナー10は物体幅の測定が不得意であるため、ステップS120では幅方向グリッドGwについては0加算、つまり変化させないようにしている。このようにして、第1グリッドマップM1が更新される。
一方、車載カメラ20で物体が検知された場合には、ステップS125~S135の各処理を実行する。ステップS125~S135では、車載カメラ20のセンシング情報に含まれる検知座標に基づいて、ステップS110~S120と同様の処理を行う。ただし、ステップS135では、主グリッドGmの側方を含む他グリッドGo、つまり第2グリッドマップM2に対して主グリッドGmや前方グリッドGfおよび後方グリッドGb以外の他グリッドGoに投票数を-1加算する。上記したように、車載カメラ20が物体100までの距離の測定が不得意であるため、ステップS135では前方グリッドGfについては0加算、つまり変化させないようにしている。このようにして、第2グリッドマップM2が更新される。
続いて、ステップS140に進み、第1グリッドマップM1と第2グリッドマップM2を統合して統合グリッドマップMcを作成する。これにより、統合グリッドマップMcが更新される。その後、ステップS145に進む。
ステップS145では、出力選定処理を行う。すなわち、ステップS140で作成した統合グリッドマップMcから物体100の存在するグリッドGeを特定し、そのグリッドGeに存在すると検知された物体100の検知座標を制御部34に出力する。具体的には、統合グリッドマップMcの中から投票数の合計値が閾値以上、ここでは1以上のグリッドGを物体100が存在しているグリッドGeと特定する。そして、ソナー10および車載カメラ20のセンシング情報に含まれていた検知座標のうち、物体100が存在しているグリッドGeと特定されたものと対応する検知座標を制御部34に出力する。
このようにして、駐車経路生成に用いるグリッドマップ作成や物体100の検知座標の出力を含む物体検知が完了し、制御部34に物体100の検知座標が伝えられる。なお、ここで説明した各処理のうち、ステップS100、S110~S120の処理は第1物体認識部31a、ステップS105、S125~S135の処理は第2物体認識部31bによって実行される。また、ステップS140の処理は物体統合部32、ステップS145の処理は出力選定部33によって実行される。
そして、制御部34に物体100の検知座標が伝えられると、制御部34において、駐車支援制御として、駐車経路生成、経路追従制御、表示制御が実行される。これにより、物体100を避けるようにして駐車経路が作成されたのち、各種アクチュエータ40が制御されて駐車経路に追従した自動駐車が行われると共に、表示器50にて駐車経路や駐車経路中のどの位置に自車Vが移動中であるかの表示が行われる。
以上説明したように、本実施形態の車両制御システム1では、第1物体認識部31aおよび第2物体認識部31bにて、ソナー10と車載カメラ20のセンシング情報に基づいて第1グリッドマップM1および第2グリッドマップM2を作成している。そして、物体統合部32にて第1グリッドマップM1と第2グリッドマップM2を統合することで統合グリッドマップMcを作成している。つまり、物体幅の測定が不得意なソナー10のセンシング情報に基づく第1グリッドマップM1と、物体幅の測定を得意とする車載カメラ20のセンシング情報に基づく第2グリッドマップM2とを組み合わせてセンサフュージョンを行っている。このように、多種類のセンサの特性を考慮した統合グリッドマップMcを作成することで、物体100の検知精度を高めることが可能となり、1つの測距センサのみで物体検知を行う場合のような誤検知を抑制することが可能となる。
具体的に、上記した図2に示す状況、つまり自車Vの前方に円柱形状の物体100が存在している場合を想定してみる。
図2中にO印で示したように、ソナー10によって円柱形状の物体100を検知した場合、ソナー10が物体幅の測定が不得意であることから、ソナー10での検知座標は物体100の実際の幅と対応しないものになり得る。図2中では、ソナー10での検知座標が物体100の幅方向においてずれ、各検知座標が物体100の実際の幅よりも広範囲に広がった場合を示してある。ただし、ソナー10の物体までの距離の検知精度は高い。このため、ソナー10での検知座標は、物体までの距離についてはほぼ正しくなる。
また、図2中にX印で示したように、車載カメラ20によって円柱形状の物体100を検知した場合、車載カメラ20が物体幅の測定が得意であることから、車載カメラ20での検知座標は物体100の実際の幅とほぼ対応したものになる。ただし、車載カメラ20は、物体100までの距離の測定は不得意である。このため、車載カメラ20での検知座標は、物体100までの距離については対応しないものになり得る。図2中では、車載カメラ20での検知座標が実際の物体100までの距離よりも短くなった場合を示してある。
したがって、第1物体認識部31aがソナー10のセンシング情報に含まれる検知座標に基づいて第1グリッドマップM1を作成すると、図3Aに示すようなマップになる。第1グリッドマップM1は、投票数が+1になっている部分を見ると、物体100までの距離は正確だが物体100の幅方向についてはあまり正確ではないマップになっている。また、第2物体認識部31bが車載カメラ20のセンシング情報に含まれる検知座標に基づいて第2グリッドマップを作成すると、図3Bに示すようなマップになる。第2グリッドマップM2は、投票数が+1になっている部分を見ると、物体100の幅方向については正確だが物体100までの距離は正確ではないマップになっている。
一方、このようにして作成される第1グリッドマップM1および第2グリッドマップM2が物体統合部32で統合されると、図3Cに示すような統合グリッドマップMcになる。統合グリッドマップMcは、投票数が+1になっている部分を見ると、物体100までの距離についても、物体100の幅方向についても、共に正確なマップになっている。つまり、ソナー10が得意としている物体100までの距離が正確な第1グリッドマップM1と車載カメラ20が得意としている物体100の幅方向が正確な第2グリッドマップM2が統合されたものとなる。
このように、多種類のセンサの特性を考慮した統合グリッドマップMcを作成することで、物体の検知精度を高めることが可能となり、1つの測距センサのみで物体検知を行う場合のような誤検知を抑制することが可能となる。
(他の実施形態)
本開示は、上記した実施形態に準拠して記述されたが、当該実施形態に限定されるものではなく、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。
本開示は、上記した実施形態に準拠して記述されたが、当該実施形態に限定されるものではなく、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。
(1)例えば、上記第1実施形態で説明した投票数や物体100と検知する際に用いる所定の閾値の数値については一例を示したに過ぎず、任意に設定可能である。例えば、第1投票数や第4投票数を+1、第2投票数や第5投票数を0、第3投票数や第6投票数を-1としたが、第1投票数や第4投票数を+5、第2投票数や第5投票数を+1、第3投票数や第6投票数を0などとしても良い。また、物体が存在しているグリッドと判定する閾値についても、投票数に対応した値にすれば良く、例えば第1投票数を+5とする場合には、閾値を+20に設定するなどとしても良い。
(2)また、第1実施形態では、ソナー10のセンシング情報に基づいて作成する第1グリッドマップM1に適用される投票数と車載カメラ20のセンシング情報に基づいて作成する第2グリッドマップM2に適用される投票数を等しくした。すなわち、第1投票数と第4投票数が同じ、第2投票数と第5投票数が同じ、第3投票数と第6投票数が同じとなるようにした。これは、ソナー10と車載カメラ20の重みづけを等しくしたという意味であり、重みづけを異ならせることもできる。つまり、第1投票数と第4投票数が異なり、第2投票数と第5投票数が異なり、第3投票数と第6投票数が異なっていても良い。その場合、例えば信頼度の高さ、つまり検知座標と実際の物体100の存在位置との誤差に応じて重みづけを変化させるようにし、信頼度が高い方の重みづけが高くなるようにすることができる。また、センシング周期に応じて重みづけを変化させるように、例えばセンシング周期が短い方の重みづけを低くしたりしても良い。その場合、少なくとも第1投票数と第4投票数を重みに応じて異ならせた値にすれば良い。
(3)また、上記第1実施形態では、主グリッドGm、幅方向グリッドGw、前方グリッドGfおよび後方グリッドGb以外を他グリッドGoとしたが、他グリッドGoとする範囲を限定しても良い。例えば、ソナー10などの測距センサや車載カメラ20の検出可能範囲が平面視で所定角度範囲であったとすると、その角度範囲の水平方向両側の所定角度ずつの範囲に限定して他グリッドGoとする。その場合、測距センサや車載カメラ20の検出可能範囲およびその両側の所定角度を超える位置と対応するグリッドGについては、投票数を0として投票数の合計値を変化させないようにすれば良い。
(3)上記第1実施形態では、自車Vの起動スイッチがオンされている際に図3に示した物体検知処理が実行されるようにしたが、起動スイッチがオンされている際に常に実行されなくても良い。例えば、駐車支援制御の実行を指示する図示しないスイッチがオンされた際に、物体検知処理が実行されるようにしても良い。つまり、物体検知処理の結果が用いられる制御の実行が指示された際に、物体検知処理も実行されるようにすれば良い。
(4)なお、本開示に記載の処理部及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリーを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の処理部及びその手法は、一つ以上の専用ハードウエア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載の処理部及びその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリーと一つ以上のハードウエア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。
Claims (5)
- 自車(V)の周囲を複数のグリッド(G)に分割したグリッドマップ(Map)を用いて前記自車の周囲に存在する物体(100)を検知する物体検知装置であって、
探査波を出力すると共に該探査波が前記物体で反射してきた反射波を取得することで前記物体の位置を測定する測距センサ(10)のセンシング情報を入力し、前記グリッドマップを用いて、前記測距センサのセンシング情報に含まれる前記物体が検知された位置を示す検知座標と対応するグリッドである主グリッド(Gm)に所定の投票数を設定することで、前記自車の周囲に存在する前記物体の位置を示した第1グリッドマップ(M1)を作成する第1物体認識部(31a)と、
前記自車の周囲を撮像する車載カメラ(20)のセンシング情報を入力し、前記グリッドマップを用いて、前記車載カメラのセンシング情報に含まれる前記物体が検知された位置を示す検知座標と対応するグリッドである主グリッドに所定の投票数を設定することで、前記自車の周囲に存在する前記物体の位置を示した第2グリッドマップ(M2)を作成する第2物体認識部(31b)と、
前記第1グリッドマップにおけるグリッド毎の投票数と前記第2グリッドマップにおけるグリッド毎の投票数とを統合した統合グリッドマップ(Mc)を作成する物体統合部(32)と、
前記統合グリッドマップ中における前記投票数の合計値が所定の閾値を超えるグリッドを前記物体の存在するグリッドとして特定する物体特定部(33)と、を有している物体検知装置。 - 前記第1物体認識部は、前記測距センサでの前記検知座標と対応する前記主グリッドに第1投票数、前記主グリッドに隣接して前記物体の幅方向に位置するグリッドを幅方向グリッド(Gw)、前記主グリッドおよび前記幅方向グリッドの後方に位置するグリッドを後方グリッド(Gb)として、前記幅方向グリッドおよび前記後方グリッドに前記第1投票数よりも少ない第2投票数、前記主グリッドと前記幅方向グリッドおよび前記後方グリッドと異なるグリッドを他グリッド(Go)として、前記他グリッドに前記第2投票数よりも少ない第3投票数、をそれぞれ設定し、
前記第2物体認識部は、前記車載カメラでの前記検知座標と対応する前記主グリッドに第4投票数、前記主グリッドに隣接して前記物体の前方に位置するグリッドを前方グリッド(Gf)、前記主グリッドおよび前記前方グリッドの後方に位置するグリッドを後方グリッドとして、前記前方グリッドおよび前記後方グリッドに前記第4投票数よりも少ない第5投票数、前記主グリッドと前記前方グリッドおよび前記後方グリッドと異なるグリッドを他グリッドとして、前記他グリッドに前記第5投票数よりも少ない第6投票数、をそれぞれ設定し、
前記物体統合部は、前記第1グリッドマップにおけるグリッド毎の投票数と前記第2グリッドマップにおけるグリッド毎の投票数とを加算することで前記統合グリッドマップを作成する、請求項1に記載の物体検知装置。 - 前記第1投票数と前記第4投票数が同じ、前記第2投票数と前記第5投票数が同じ、前記第3投票数と前記第6投票数が同じになっている、請求項2に記載の物体検知装置。
- 前記第1投票数と前記第4投票数が異なり、前記第2投票数と前記第5投票数が異なり、前記第3投票数と前記第6投票数が異なっている、請求項2に記載の物体検知装置。
- 前記第1物体認識部は、前記測距センサの検出可能範囲の水平方向両側の所定角度ずつの範囲のグリッドについて、前記主グリッドと前記幅方向グリッドおよび前記後方グリッドと異なるグリッドを前記他グリッドとし、
前記第2物体認識部は、前記車載カメラの検出可能範囲の水平方向両側の所定角度ずつの範囲のグリッドについて、前記主グリッドと前記前方グリッドおよび前記後方グリッドと異なるグリッドを前記他グリッドとする、請求項2ないし4のいずれか1つに記載の物体検知装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020-032115 | 2020-02-27 | ||
JP2020032115A JP7459560B2 (ja) | 2020-02-27 | 2020-02-27 | 物体検知装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021172535A1 true WO2021172535A1 (ja) | 2021-09-02 |
Family
ID=77491204
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2021/007429 WO2021172535A1 (ja) | 2020-02-27 | 2021-02-26 | 物体検知装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7459560B2 (ja) |
WO (1) | WO2021172535A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116255976A (zh) * | 2023-05-15 | 2023-06-13 | 长沙智能驾驶研究院有限公司 | 地图融合方法、装置、设备及介质 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7468501B2 (ja) | 2021-12-23 | 2024-04-16 | トヨタ自動車株式会社 | 走行制御装置、走行制御方法、走行制御用コンピュータプログラム、および隊列走行制御システム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000329852A (ja) * | 1999-05-17 | 2000-11-30 | Nissan Motor Co Ltd | 障害物認識装置 |
JP2005141517A (ja) * | 2003-11-07 | 2005-06-02 | Daihatsu Motor Co Ltd | 車両検出方法及び車両検出装置 |
JP2005156199A (ja) * | 2003-11-21 | 2005-06-16 | Hitachi Ltd | 車両検知方法及び車両検知装置 |
US20100019964A1 (en) * | 2008-07-24 | 2010-01-28 | Gm Global Technology Operations, Inc. | Adaptive vehicle control system with driving style recognition and road condition recognition |
JP2018506700A (ja) * | 2014-11-05 | 2018-03-08 | シエラ・ネバダ・コーポレイション | 移動体用の改良型環境表示を生成するためのシステムおよび方法 |
-
2020
- 2020-02-27 JP JP2020032115A patent/JP7459560B2/ja active Active
-
2021
- 2021-02-26 WO PCT/JP2021/007429 patent/WO2021172535A1/ja active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000329852A (ja) * | 1999-05-17 | 2000-11-30 | Nissan Motor Co Ltd | 障害物認識装置 |
JP2005141517A (ja) * | 2003-11-07 | 2005-06-02 | Daihatsu Motor Co Ltd | 車両検出方法及び車両検出装置 |
JP2005156199A (ja) * | 2003-11-21 | 2005-06-16 | Hitachi Ltd | 車両検知方法及び車両検知装置 |
US20100019964A1 (en) * | 2008-07-24 | 2010-01-28 | Gm Global Technology Operations, Inc. | Adaptive vehicle control system with driving style recognition and road condition recognition |
JP2018506700A (ja) * | 2014-11-05 | 2018-03-08 | シエラ・ネバダ・コーポレイション | 移動体用の改良型環境表示を生成するためのシステムおよび方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116255976A (zh) * | 2023-05-15 | 2023-06-13 | 长沙智能驾驶研究院有限公司 | 地图融合方法、装置、设备及介质 |
CN116255976B (zh) * | 2023-05-15 | 2023-10-31 | 长沙智能驾驶研究院有限公司 | 地图融合方法、装置、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
JP7459560B2 (ja) | 2024-04-02 |
JP2021135191A (ja) | 2021-09-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105984464B (zh) | 车辆控制装置 | |
US9707959B2 (en) | Driving assistance apparatus | |
JP2017521745A (ja) | 車両のナビゲーションモジュールに対象物の存在を知らせる車載装置 | |
US11332126B2 (en) | Parking assistance apparatus | |
US20210387616A1 (en) | In-vehicle sensor system | |
JP6365385B2 (ja) | 立体物検出装置及び立体物検出方法 | |
WO2021172535A1 (ja) | 物体検知装置 | |
JP6558214B2 (ja) | 自動運転装置 | |
CN112771591B (zh) | 用于评价运输工具的环境中的对象对运输工具的行驶机动动作的影响的方法 | |
JP2018101295A (ja) | 物体検知装置 | |
US20230182718A1 (en) | Driving assistance apparatus, driving assistance method, and recording medium storing driving assistance program and readable by computer | |
US20200292707A1 (en) | Road surface detection device | |
JP3763733B2 (ja) | 駐車支援装置及びその制御方法 | |
US11087147B2 (en) | Vehicle lane mapping | |
JP7363574B2 (ja) | 物体検知装置 | |
JP2017187839A (ja) | 車両用表示方法及び車両用表示装置 | |
JP7363575B2 (ja) | 物体検知装置 | |
JP6579144B2 (ja) | 障害物検知装置 | |
WO2021070489A1 (ja) | 車両用周辺監視装置及び車両用周辺監視方法 | |
CN115175837A (zh) | 停车辅助装置以及停车辅助方法 | |
CN115066358A (zh) | 停车辅助装置以及停车辅助方法 | |
JP7452374B2 (ja) | 物体検知装置および物体検知プログラム | |
US20230093819A1 (en) | Parking assistance device | |
JP7471927B2 (ja) | 障害物検出装置、車両、障害物検出システム、及び障害物検出方法 | |
US20220196422A1 (en) | Parking assistance device and parking assistance method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21760693 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 21760693 Country of ref document: EP Kind code of ref document: A1 |