JP7385026B2 - 特に自動車周辺における、物体を分類するための方法及び装置 - Google Patents

特に自動車周辺における、物体を分類するための方法及び装置 Download PDF

Info

Publication number
JP7385026B2
JP7385026B2 JP2022521080A JP2022521080A JP7385026B2 JP 7385026 B2 JP7385026 B2 JP 7385026B2 JP 2022521080 A JP2022521080 A JP 2022521080A JP 2022521080 A JP2022521080 A JP 2022521080A JP 7385026 B2 JP7385026 B2 JP 7385026B2
Authority
JP
Japan
Prior art keywords
pedestrian
received
distance
echo signal
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022521080A
Other languages
English (en)
Other versions
JP2022552228A (ja
Inventor
パンプス,クリスティアン
シュマン,ミヒャエル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of JP2022552228A publication Critical patent/JP2022552228A/ja
Application granted granted Critical
Publication of JP7385026B2 publication Critical patent/JP7385026B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06Systems determining the position data of a target
    • G01S15/46Indirect determination of position data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/523Details of pulse systems
    • G01S7/526Receivers
    • G01S7/53Means for transforming coordinates or for evaluating data, e.g. using computers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/523Details of pulse systems
    • G01S7/526Receivers
    • G01S7/527Extracting wanted echo signals
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06Systems determining the position data of a target
    • G01S15/08Systems for measuring distance only
    • G01S15/10Systems for measuring distance only using transmission of interrupted, pulse-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06Systems determining the position data of a target
    • G01S15/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/50Systems of measurement, based on relative movement of the target
    • G01S15/52Discriminating between fixed and moving objects or between objects moving at different speeds
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/87Combinations of sonar systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/93Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/539Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/54Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 with receivers spaced apart
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06Systems determining the position data of a target
    • G01S15/46Indirect determination of position data
    • G01S2015/465Indirect determination of position data by Trilateration, i.e. two transducers determine separately the distance to a target, whereby with the knowledge of the baseline length, i.e. the distance between the transducers, the position data of the target is determined
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/93Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2015/932Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles for parking operations
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/93Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2015/937Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles sensor installation details
    • G01S2015/938Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles sensor installation details in the bumper area

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、超音波センサシステムによる、特に自動車周辺における物体を分類するための方法及び装置であって、超音波センサシステムが、空間的に散らばって配置された複数の超音波センサを有する、方法及び装置に関する。
EP2908153A2から、超音波による自動車周辺における動的物体の検知装置が知られており、これは、送信機と受信機の両方として機能する、互いに所定の距離を空けて配置された少なくとも2つのセンサ素子を有するセンサアレイを含む。検出された移動物は、所定のモデルと比較することで、その軌跡及び速度に基づいて、例えば歩行者として分類される。
DE112016003462T5から、車両前方の障害物を検出するように設計された超音波センサと、車両前方の領域の画像を撮影するように設計された単眼カメラとを含む車両制御装置が知られている。制御装置は、車両走行中に単眼カメラで撮影される画像に基づいて車両前方の障害物の有無を判定し、超音波センサによる物体の検出又は非検出と、単眼カメラで撮影される画像に基づいて判定される障害物の有無との組み合わせにしたがって車両の駆動力を制御する。
DE102016124157A1は、自動車の周辺領域における考えられる衝突物、例えば歩行者に応じて、自動車を制動する必要性を判定するための方法を示す。
本発明の課題は、超音波センサシステムに基づき、可能な限り確実な、自動車周辺における歩行者検知を実現することに見出され得る。
この課題は、独立請求項に係る方法及び装置によって解決される。従属請求項は、本発明の好ましい実施形態を説明する。
超音波センサシステムによって、特に自動車周辺における物体を分類するための方法であって、超音波センサシステムが、空間的に散らばって配置された複数の超音波センサを有する、方法が提案される。
超音波センサシステムは、例えば、自動車に設けられる運転又は駐車支援システムの一部であってもよい。ここで、超音波センサは、例えば自動車のフロントバンパ及び/又はリアバンパに分散して配置していてもよい。
超音波センサの各々は、超音波信号を送信し、物体で反射された超音波信号を受信するように構成されていてもよい。物体で反射された受信された超音波信号の伝播時間により、物体までの距離を公知の方法で決定することができる。広がった構造化された物体は、いわゆる多重エコーを発生させ得る。この場合、発信された超音波信号は物体の様々な箇所で反射され、送信された超音波信号からそれぞれ伝播時間の異なる複数のエコー信号を超音波センサによって受信することができる。
本方法は、以下のステップを含む。すなわち、
複数の測定が、特に継続的に実行され、測定時にそれぞれ超音波センサの1つによって超音波信号が発信され、超音波センサの少なくとも1つによって、複数の反射されたエコー信号、いわゆる多重エコーを有する信号が受信され、受信されたエコー信号が物体に対応付けられる。
受信されたエコー信号から複数の特徴が決定され得る。すなわち、
- 距離dが所定の距離閾値を上回る、実行された測定数に関する頻度を表す第1の特徴であって、距離dは、多重エコーを伴う測定の時間的に最初の受信されたエコー信号と、時間的に最後の受信されたエコー信号との間の距離に対応する、第1の特徴、
- 距離dの分散値を表す第2の特徴、
- 超音波センサを介して測定ごとに受信されたエコー信号数の散らばりを表す第3の特徴、
- 超音波センサの物体についての向きを表す第4の特徴、
- 複数の測定にわたる第1の物体距離の分散値を表す第5の特徴であって、関連する第1の物体距離が、各決定された時間的に最初の受信されたエコー信号に対して計算され、分散値の決定時に特に物体の接近が考慮される、第5の特徴、
- 受信されたエコー信号の送信された超音波信号との相関を表す第6の特徴、
- エコー信号の振幅を表す第7の特徴、
- 反射点の散らばりを表す第8の特徴であって、各反射点は測定された物体位置を示す、第8の特徴。
上記の全ての特徴は、物体の分類、特に、歩行者と、縁石又は他の、例えば自動車の自動緊急ブレーキ機能もしくは補助緊急ブレーキ機能に関連しない物体とを、一定の確率で分離することを可能にする。単一の特徴は、それ単独で用いられる場合、物体が歩行者であるかどうかをさらなる特徴を追加せずに断言できるほど十分に一義的ではない。よって、本発明によれば、上記の特徴は、論理的又は統計的に互いに組み合わされる。
本発明によれば、これらの特徴のうちの少なくとも2つの組み合わせに応じて、物体が特に歩行者として分類される。ここで、組み合わせとは、例えば、特定の閾値を上回るか下回るか、又は特徴の特定の散らばり、もしくは散らばりの分散値が、例えば互いに連続した複数の測定で観測されるかどうかについて、特徴が評価されることであると理解される。そして、観察された各特徴は、例えば、物体が歩行者である確率を示すことによって、分類の決定に対して特定の貢献をすることができる。
代替的又は追加的に、特徴は、機械学習のためのデータベースを介してトレーニングされたいわゆる分類器(例えば、ニューラルネットワーク、決定木など)の入力信号として使用することができる。
特に、第1と第3の特徴を組み合わせて、以下のように物体を確実に歩行者として分類することができる。すなわち、多重エコーのうち時間的に最初の検出されたエコー信号と時間的に最後の検出されたエコー信号との間の距離dが所定の距離閾値を上回る第1の特徴に係る頻度が特に大きく、つまり頻度閾値を上回り、かつ第3の特徴に係る散らばりから、超音波センサのうちの特定のもののみ、特に超音波センサのうちの1つのみ、又は少数の、特に隣接して配置された超音波センサのみが、測定ごとに複数のエコー信号を受信したことが分かる場合、物体は歩行者として分類される。
本発明は、構造化された物体としての歩行者が、例えば足、胴体、頭部及び/又は腕など様々な部位で超音波を反射するという知見に基づく。この特色により、単一の超音波測定で通常複数のエコー信号(反射、多重エコー)が得られ、それらは時間的又は距離的に互いに重畳している。ここで、時間的に最初の受信された信号と時間的に最後の受信された信号との距離dは比較的大きいことが多く、特に、例えば縁石など低い物体に比べて大きいことが特徴的である。これは、例えば、送信された超音波信号を反射する身体の様々な部分が、超音波センサから見て、互いに大きな距離を有することに起因する場合がある。また、歩行者の動きによって、この相対距離dは、特に互いに連続した一連の測定を観察する場合、大きく変化し得る。この効果は、また、歩行者の同一箇所が全ての測定では送信された超音波信号を反射しないことに起因する。
したがって、反射する物体を分類するための第1の特徴として、物体に対応付けられる測定総数に対して多重エコーが測定される頻度、及び距離dが大きい、つまり特定の閾値よりも大きい頻度が用いられる(第1の特徴)。
また、分類のための第2の特徴として、距離dがどの程度大きく変化するか、つまりdの分散値がどの程度大きいかを決定することができる。特定の縁石構造、例えばその後ろにターフグリッドがある縁石は、歩行者と同様のエコー信号、特に多重エコーを発生させる場合がある。しかし、歩行者が受信した多重エコーの集積を有するのは、それらの主測定軸が実質的に歩行者の方向に向いているか、又はそれらの主測定軸が歩行者に対して可能な限り小さな角度を有する超音波センサの場合のみである。それらの主測定軸が歩行者に対してより大きな角度を有する超音波センサでは、信号の伝搬経路が原因で多重反射されたエコー信号が弱いことが多いため、多重反射が受信されないか、又は小さな範囲のみで受信される。この点、歩行者に関しては、特に超音波センサのうちの1つのみ、又は隣接する2つの超音波センサで、典型的な多重エコーの頻繁な発生を確認することができるが、これに対し例えば反射する物体としての縁石に関しては、そのような散らばりは観測できない。そこで、第3の特徴として、超音波センサを介して、測定ごとに受信されたエコー信号数の散らばりが検出される。つまり、超音波センサのうちの、測定ごとに複数のエコー信号を受信するものと、受信しないものとが検出される。好ましくは、第3の特徴に係る散らばりから、超音波センサのうちの特定のもののみ、特に超音波センサのうちの1つのみ、又は少数の、特に隣接して配置された超音波センサのみが、分類されるべき物体に寄与した複数のエコー信号を測定ごとに受信したことが分かる場合、反射する物体は歩行者として分類される。ここで、特に、複雑な場面では、他の超音波センサもエコー信号を検出する可能性があるが、例えば三辺測量によって決定できるそれらの空間内の位置に基づいて分類されるべき物体に対応付けられるエコー信号は検出しないことが考慮される。
第4の特徴によれば、物体に対する超音波センサの向きを決定することができる。よって、また、多重エコー信号は非常に弱いことが多く、そもそも非常に精密に調整されたセンサシステムによってのみ検知できることが考慮され得る。そのため、これらの超音波信号(多重エコー)の受信は、様々な超音波センサ間で大きく変動することがある。そのため、統計の形成のために、すなわち、特に距離dの決定のために、第1の特徴によれば距離dが特定の閾値を上回る頻度の決定のために、及び/又は第2の特徴によればdの分散値の決定のために、特に、物体の方を向いている、つまり良好な視野角を有する超音波センサの測定データのみを評価するか、又は好ましくは、物体に対して比較して最良の視野角を有する超音波センサのみを使用することが任意選択的に提案される。ここで、特に、各超音波センサの主軸と検知物体との相対的な角度を考慮することができる。
同様に、歩行者の複雑な構造に起因して、時間的に最初に受信された反射されたエコー信号(第1反射)から得られる物体距離も、特に縁石のような幾何学的に単純な安定した反射体と比較して、一連の測定において大きく変動する。つまり、時間的に最初に受信された反射されたエコー信号(第1反射)から得られる物体距離の分散値を、さらなる第5の特徴として用いることができる。特に、この分散値が第2の分散値閾値を上回る場合、その物体を歩行者と分類することができる。
歩行者は常に複数箇所で反射しているため、エコー信号は音響的に重畳する。超音波センサが、例えば特徴的な周波数推移を使用して符号化して超音波信号を発信し、受信超音波センサが相関を確定するために受信されたエコー信号の推移を評価する場合、エコー信号の重畳から相関に弊害がもたらされ、すなわち、相関が減少する。これに対し、例えば縁石では、歩行者では絶対に発生し得ない非常に高い相関が観測される場合がある。そのため、受信されたエコー信号と送信された超音波信号との相関が第6の特徴として決定される。
非常に高い相関値が受信される場合は、歩行者としての分類の除外基準とすることができる。好ましくは、特定の測定数について、相関値が特定の相関閾値より大きい場合、物体の歩行者としての分類は除外される。
第7の特徴によれば、少なくとも1つの受信されたエコー信号の振幅が評価されてもよい。通常、歩行者の衣服は音響信号を強く吸収するため、歩行者によって反射された超音波信号の反射音響エネルギーは、どちらかと言えば低~中程度である。この点では、とりわけ、特に大きい振幅が歩行者としての分類確率を低減するように、振幅を評価することができる。特に、少なくとも1つの受信された超音波信号の振幅が特定の振幅閾値より大きい場合、物体を歩行者として分類することを除外できる。
各測定では、受信された超音波信号が反射された空間内の位置を示す、いわゆる反射点をさらに決定することができる。反射点は、例えば、三辺測量による公知の方法で決定することができる。
さらに、歩行者については、ある測定から次の測定まで受信された反射点が局所的に強く跳ぶこと、すなわち、空間内の物体としての歩行者に測定時に対応付けられる座標が、特定の方法で変動することが典型的である。これは、歩行者の複雑な幾何学的構造と、歩行者が移動できることとから結果として生じる。したがって、三辺測量を介した複数の測定の局所的な対応付けを表す反射点の空間的な散らばりは、一連の測定においてさらなる第8の特徴として用いることができる。特に、第8の特徴に係る反射点の空間的な散らばりが特徴的な形状、特に、考えられる物体位置での反射点の集積と、横方向での散乱とを有する場合、物体は歩行者として分類することができる。
上記の全ての特徴は、歩行者と、縁石又は他の制動に関連しない物体とを、一定の確率で分離することができる。単一の特徴は、それ単独で用いられる場合、さらなる特徴を追加せずに断言できるほど十分に一義的ではない。よって、本発明によれば、上記の特徴は、特に論理的又は統計的に互いに組み合わされる。同様に、特徴は、機械学習のためのデータベースを介してトレーニングされた分類器(ニューラルネットワーク、決定木、…)の入力信号として使用することができる。論理的な組み合わせの種類は優先的な重要事項ではなく、むしろ歩行者を検知するために重要な特徴がそれである。
分類を可能にするために全ての特徴を使用する必要はなく、むしろ特徴を組み合わせることを介して分類の質の向上を実現できることにさらに留意されたい。
物体の分類において、説明した特徴のうちのより多くを組み合わせるほど信頼性が高まり、実際の歩行者を歩行者として検知し、その際に誤検知率、すなわち歩行者でない物体(例えば縁石)を歩行者として誤って検知すること(偽陽性)が低くなることを達成する。
本発明のさらなる一態様によれば、特に自動車の周辺における物体を分類するために構成された装置であって、
- 空間的に散らばって配置された、特に自動車の車体に配置された、複数の超音波センサを有する、超音波センサシステムと、
- 上述のように構成された方法にしたがってステップを実施するように構成されている評価装置とを含む、装置が提案される。
特に、評価装置は、超音波センサによって検出された測定データから、上述した特徴のうちの2つ以上を決定し、特徴のうちの少なくとも2つを組み合わせて、装置周辺における物体の分類を決定するように構成されている。
本装置は、自動車の運転支援システムの一部であってもよい。超音波センサは、自動車のバンパに配置され、進行方向で自動車の前方又は後方の領域を検出できるように配向していることが好ましい。
本装置は、特にブレーキアシストシステムの一部であってもよく、例えば、物体が歩行者として分類され、その物体が、例えば自動車の進行方向において特定の最小距離よりも近い距離で検出される場合に、緊急ブレーキを作動させることができる。
本発明のさらなる一態様によれば、本発明に係る装置を有する自動車が提案される。
添付の図を参照して、本発明の実施形態を詳述する。
歩行者を検出する際の本発明の考えられる一実施例による装置を示す図である。 本発明による、時間的に互いに連続した複数の測定中に検出された距離データを例示的に示す図である。 本発明による、時間的に互いに連続した複数の測定中に検出された距離データを、多重エコーを考慮に入れて例示的に示す図であって、距離dが、測定の時間的に最初に受信されたエコー信号と、時間的に最後に受信されたエコー信号との間の距離に応じて、各測定に対して決定される、図である。 本発明により構成された自動車及び歩行者を模式的に示し、複数の計測からの反射点の散らばりを重ねた図である。
以下の本発明の実施例の説明において、同じ要素には同じ参照符号を付し、これらの要素についての繰り返しの説明は場合によって省略する。図は、本発明の対象を模式的にのみ表す。
図1では、自動車1の前部が模式的に示されている。
自動車1は、自動車1の周辺における物体70を分類するための装置10を含む。装置10は、超音波センサシステムを含み、超音波センサシステムは、自動車1の前面に沿って配置された4つの超音波センサ12.1、12.2、12.3及び12.4を有する。また、装置10は、超音波センサ12.1~12.4の測定データを評価し、これに基づいて物体70を分類するように構成されている評価装置11を含む。この評価装置は、超音波センサ12.1~12.4が超音波信号を送信し、物体70で反射された超音波信号を受信し、受信された信号を物体70に対応付けるように、超音波センサ12.1~12.4のそれぞれを駆動制御するように構成されている。
図示の例では、物体70は歩行者80である。
物体70を歩行者80として分類するために、受信されたエコー信号の様々な特徴が決定される。
歩行者80の特徴的な構造及び形状により、超音波センサ12.1~12.4の少なくとも1つが、複数の反射されたエコー信号を有する信号を受信する可能性が高い。例えば、歩行者80の手82と足84は、超音波センサ12.3の送信された超音波信号を反射する。例えば、足84は、手82の距離22よりも超音波センサ12.3までの距離24が短い場合がある。したがって、超音波センサ12.3は、1つの測定で少なくとも2つのエコー信号を受信する。足84が歩行者80の全反射点のうちで超音波センサ12.3まで最も短い距離を有し、手82が歩行者80の全反射点のうちで超音波センサ12.3まで最も大きい距離を有すると仮定すると、足84で反射されたエコー信号が時間的に最初のエコー信号として受信され、手82で反射されたエコー信号が時間的に最後のエコー信号として受信される。
エコー信号から、時間的に最初の受信されたエコー信号と時間的に最後の受信されたエコー信号との間の距離dを決定することができる。このために、例えば、まず、これらのエコー信号の伝播時間差を決定し、これを用いて、超音波信号の音速が既知である場合には、空間距離dを既知の方法で計算することができる。複数の測定を介して、それぞれ決定された距離dがどのような特性を示すかを観測することができる。例えば、測定の特定の最小割合で特定の閾値を上回る距離dが決定される場合、この事実は、物体70が歩行者であることの指標となり得る。また、例えば手及び足の動きによって、並びに/又は歩行者80の超音波センサに対する向きが異なると、距離dの大きなばらつきが生じる。したがって、距離dの分散値を観察する場合、例えば、分散値が特定の閾値を上回る場合、これを物体70が歩行者であることのさらなる指標として利用することができる。
図3では、複数の測定iについて、それぞれ時間的に最初の受信されたエコー信号210と、時間的に最後の受信されたエコー信号220と、それらから決定された距離dとが図200に例示的に示されている。ここで、X軸に測定時点t、Y軸に超音波センサまでの測定距離sがプロットされている。
各測定について、距離dが所定の距離閾値を上回るかどうかを比較することができるため、距離dが所定の距離閾値を上回る、実行された測定数に関する頻度を決定することができる。
さらなる特徴として、超音波センサを介して測定ごとに受信されたエコー信号数が決定される。図1に示す状況では、中央の2つの超音波センサ12.2及び12.3は、歩行者80に対するそれらの接近及び方向性により、外側の2つの超音波センサ12.1及び12.4よりも強いエコー信号を受信する。したがって、中央の超音波センサ12.2及び12.3による多重エコーの受信がより可能性が高い。したがって、測定ごとに受信されたエコー信号数の散らばりは、互いに隣接して配置された超音波センサ12.2及び12.3に集積を有する。
同様に、歩行者80の複雑な構造に起因して、それぞれの時間的に最初の受信されたエコー信号から決定される歩行者80と超音波センサとの間の距離は、特に縁石のような幾何学的に単純で安定した反射体と比較して、一連の測定において大きく変動する可能性がある。これを図2において例示的に測定図100に示す。X軸に測定時点t、Y軸に超音波センサまでの測定距離sがプロットされている。各測定時点において、反射する物体70と測定用超音波センサとの間の距離90が、時間的に最初の受信されたエコー信号によって決定される。全体として、直線95で示されるように、測定用超音波センサと反射する物体70との間の相対的で直線的な接近が見られ得る。車両速度が分かっていて、静止している物体を想定すれば、直線95を計算することができる。物体70の運動状態が不明である場合は、測定値90から直線95を決定することができる(例えば、一般的なフィット法によって)。第5の特徴を決定するために、それぞれの物体距離を表す測定値90の分散値が、直線95について複数の測定を介して決定され、これにより、物体70の車両1又は測定用超音波センサへの接近が考慮される。このようにして決定された第5の特徴に係る分散値が第2の分散値閾値を上回る場合、反射する物体70が歩行者80であることをさらに示すと評価することができる。
図4は、本発明に係る第8の特徴を決定できる方法を可能な例で模式的に示し、第8の特徴は反射点60の散らばりを表す。図4では、4つの超音波センサ12.1、12.2、12.3及び12.4を有する超音波センサシステム12を有する車両1の前面を模式的に示す。物体70は、車両1の前方にある。超音波センサによる多数の測定によって、反射点60の座標が、例えば三辺測量によって決定され、反射点60の各々が物体70の測定位置を示す。図4の座標系によって示唆されているように、反射点の空間的な散らばりが形成される。歩行者80では、反射点60の特徴的な散らばりが生じることが判明しており、この散らばりは、一方では、考えられる物体位置での集積を有し、かつ、横方向、つまり主測定方向に対して垂直な方向での反射点60の一定の散乱を有する。

Claims (12)

  1. 超音波センサシステム(12)によって、周辺における物体(70)を分類するための方法であって、前記超音波センサシステム(12)が、空間的に散らばって配置された複数の超音波センサ(12.1,12.2,12.3,12.4)を有し、
    複数の測定を実行するステップであって、測定時に、
    前記超音波センサ(12.1,12.2,12.3,12.4)の1つによって超音波信号が送信され、
    前記超音波センサ(12.1,12.2,12.3,12.4)の少なくとも1つによって、複数の反射されたエコー信号(210、220)を有する信号が受信され、
    前記受信されたエコー信号が、物体(70)に対応付けられる、ステップを含み、
    前記受信されたエコー信号から、
    距離(d)が所定の距離閾値を上回る、実行された測定数に関する頻度を表す第1の特徴であって、前記距離(d)が、測定の時間的に最初の受信されたエコー信号(210)と、時間的に最後の受信されたエコー信号(220)との間の距離に対応する、第1の特徴と、
    前記距離(d)の分散値を表す第2の特徴と、
    前記超音波センサ(12.1,12.2,12.3,12.4)を介して測定ごとに受信されたエコー信号数の散らばりを表す第3の特徴と、
    前記超音波センサ(12.1,12.2,12.3,12.4)の前記物体(70)についての向きを表す第4の特徴と、
    複数の測定にわたる第1の物体距離の分散値を表す第5の特徴であって、関連する第1の物体距離が、各決定された時間的に最初の受信されたエコー信号(210)に対して計算され、前記分散値の決定時に前記物体(70)の接近が考慮される、第5の特徴と、
    前記受信されたエコー信号の前記送信された超音波信号との相関を表す第6の特徴と、
    前記受信されたエコー信号の振幅を表す第7の特徴と、
    反射点(60)の散らばりを表す第8の特徴であって、各反射点(60)が測定された物体位置を示す、第8の特徴と、
    が決定され、
    8つの前記特徴のうちの少なくとも2つの組み合わせに応じて、前記物体(70)が歩行者(80)として分類される、方法において、
    少なくとも前記第1の特徴に係る前記頻度が頻度閾値を上回り、かつ前記第3の特徴に係る前記散らばりから、前記超音波センサ(12.1,12.2,12.3,12.4)のうちの特定のもののみ、前記超音波センサ(12.1,12.2,12.3,12.4)のうちの1つのみ、又は少数の隣接して配置された超音波センサ(12.1,12.2,12.3,12.4)のみが、測定ごとに複数のエコー信号(210、220)を受信したことが分かり、さらに、前記第8の特徴に係る前記反射点(60)の空間的な散らばりが、考えられる物体位置での反射点(60)の集積と、横方向での散乱とを有する場合、前記物体(70)が歩行者(80)として分類される、
    方法。
  2. 自動車(1)の周辺における物体(70)を分類するための、請求項1に記載の方法。
  3. 前記第2の特徴に係る前記分散値が第1の分散値閾値を上回る場合、前記物体(70)が歩行者(80)として分類される、請求項1または2に記載の方法。
  4. 前記距離(d)の決定において、前記第4の特徴に基づいて、前記物体(70)に配向している超音波センサ(12.1,12.2,12.3,12.4)のみが考慮される、請求項1~3のいずれか一項に記載の方法。
  5. 前記物体(70)に対して最良に配向している主測定方向を有する超音波センサ(12.1,12.2,12.3,12.4)のみが考慮される、請求項4に記載の方法。
  6. 前記第5の特徴に係る前記分散値が第2の分散値閾値を上回る場合、前記物体(70)が歩行者(80)として分類される、請求項1~5のいずれか一項に記載の方法。
  7. 前記送信された超音波信号が特定の周波数推移を有し、少なくとも1つの受信されたエコー信号について周波数推移が決定され、前記第6の特徴に基づいて前記エコー信号と前記送信された超音波信号との相関値が計算される、請求項1~6のいずれか一項に記載の方法。
  8. 特定の測定数を超えて、前記相関値が特定の相関閾値より大きい場合、前記物体(70)の歩行者(80)としての分類が除外される、請求項7に記載の方法。
  9. 前記第7の特徴によって、少なくとも1つの受信されたエコー信号について振幅が決定され、少なくとも1つの受信された超音波信号の前記振幅が特定の振幅閾値より大きい場合、前記物体(70)の歩行者(80)としての分類が除外される、請求項1~8のいずれか一項に記載の方法。
  10. 物体(70)を分類するために構成された装置(10)であって、
    空間的に散らばって配置された、複数の超音波センサ(12.1,12.2,12.3,12.4)を有する、超音波センサシステム(12)と
    請求項1~9のいずれか一項に記載のステップを実施するように構成されている評価装置(11)と
    を含む、装置。
  11. 前記複数の超音波センサ(12.1,12.2,12.3,12.4)は自動車の車体に配置され、自動車(1)の周辺における物体(70)を分類するための、請求項10に記載の装置。
  12. 請求項10または11に記載の装置(10)を備えた自動車(1)。
JP2022521080A 2019-10-08 2020-08-11 特に自動車周辺における、物体を分類するための方法及び装置 Active JP7385026B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102019215393.3 2019-10-08
DE102019215393.3A DE102019215393A1 (de) 2019-10-08 2019-10-08 Verfahren und eine Vorrichtung zur Klassifizierung eines Objektes, insbesondere im Umfeld eines Kraftfahrzeugs
PCT/EP2020/072518 WO2021069130A1 (de) 2019-10-08 2020-08-11 Verfahren und eine vorrichtung zur klassifizierung eines objektes, insbesondere im umfeld eines kraftfahrzeugs

Publications (2)

Publication Number Publication Date
JP2022552228A JP2022552228A (ja) 2022-12-15
JP7385026B2 true JP7385026B2 (ja) 2023-11-21

Family

ID=72050881

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022521080A Active JP7385026B2 (ja) 2019-10-08 2020-08-11 特に自動車周辺における、物体を分類するための方法及び装置

Country Status (7)

Country Link
US (1) US20220342061A1 (ja)
JP (1) JP7385026B2 (ja)
KR (1) KR20220070320A (ja)
CN (1) CN114556146A (ja)
DE (1) DE102019215393A1 (ja)
MX (1) MX2022003941A (ja)
WO (1) WO2021069130A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021212067A1 (de) * 2021-10-26 2023-04-27 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Klassifizierung von wenigstens einem Objekt in einer Umgebung eines Fahrzeugs mittels eines Ultraschallsensorsystem sowie Steuereinrichtung, Ultraschallsensorsystem und Fahrzeug
DE102022202524B4 (de) * 2022-03-15 2024-04-18 Continental Autonomous Mobility Germany GmbH Verfahren zur Objektklassifizierung

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090213694A1 (en) 2005-05-09 2009-08-27 Christian Zott Method and device for detecting the surface character of objects in road traffic or of persons
JP2012229948A (ja) 2011-04-25 2012-11-22 Denso Corp 歩行者検出装置、歩行者検出方法およびプログラム
JP2012247215A (ja) 2011-05-25 2012-12-13 Denso Corp 物体識別装置、および物体識別プログラム
JP2013541696A (ja) 2010-08-25 2013-11-14 ファヒホークシュール フランクフルト アム マイン 人物の識別装置および識別方法
JP2016180654A (ja) 2015-03-24 2016-10-13 パナソニック株式会社 レーダ装置および走行車両検知方法
JP2017151043A (ja) 2016-02-26 2017-08-31 株式会社デンソー 物体認識装置及びプログラム
WO2018210966A1 (de) 2017-05-16 2018-11-22 Elmos Semiconductor Aktiengesellschaft Verfahren zur übertragung von daten über einen fahrzeugdatenbus von einem ultraschallsystem zu einer datenverarbeitungsvorrichtung

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6178141B1 (en) * 1996-11-20 2001-01-23 Gte Internetworking Incorporated Acoustic counter-sniper system
US6268803B1 (en) * 1998-08-06 2001-07-31 Altra Technologies Incorporated System and method of avoiding collisions
DE19856974C1 (de) * 1998-12-10 2000-09-07 Bosch Gmbh Robert Verfahren und Vorrichtung zur Erfassung eines Hindernisses
US6615138B1 (en) * 2002-05-30 2003-09-02 Delphi Technologies, Inc. Collision detection system and method of estimating miss distance employing curve fitting
US6943727B2 (en) * 2002-10-29 2005-09-13 Volkswagen Ag Length measurement with radar
DE10323144A1 (de) * 2003-05-22 2004-12-09 Robert Bosch Gmbh Verfahren und Vorrichtung zur Detektion von Objekten in der Umgebung eines Fahrzeugs
DE10344299B4 (de) * 2003-09-23 2016-08-04 Volkswagen Ag Klassifizierung der in einer Umgebung eines Kraftfahrzeugs befindlichen Objekte
DE102007042220A1 (de) * 2007-09-05 2009-03-12 Robert Bosch Gmbh Objektklassifizierungsverfahren, Einparkhilfeverfahren und Einparkhilfesystem
DE102007061235A1 (de) * 2007-12-19 2009-06-25 Robert Bosch Gmbh Verfahren zur Klassifizierung von Abstandsdaten und korrespondierende Abstandsmessvorrichtung
US8428305B2 (en) * 2008-04-24 2013-04-23 GM Global Technology Operations LLC Method for detecting a clear path through topographical variation analysis
US8384531B2 (en) * 2009-04-02 2013-02-26 GM Global Technology Operations LLC Recommended following distance on full-windshield head-up display
DE102009046158A1 (de) * 2009-10-29 2011-05-05 Robert Bosch Gmbh Verfahren zur Erkennung von Objekten mit geringer Höhe
DE102012212894A1 (de) * 2012-07-24 2014-01-30 Robert Bosch Gmbh Verfahren zum Betrieb eines Umfelderfassungssystems eines Fahrzeugs mit zumindest zwei Sende-/Empfangseinheiten und Umfelderfassungssystem
DE102014202752B4 (de) 2014-02-14 2017-06-14 Volkswagen Aktiengesellschaft Erkennung dynamischer Objekte mittels Ultraschall
DE102014114999A1 (de) * 2014-10-15 2016-04-21 Valeo Schalter Und Sensoren Gmbh Verfahren zum Erfassen zumindest eines Objekts in einem Umgebungsbereich eines Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug
JP6300181B2 (ja) 2015-08-25 2018-03-28 マツダ株式会社 車両の制御装置
DE102016113736A1 (de) * 2016-07-26 2018-02-01 Valeo Schalter Und Sensoren Gmbh Verfahren zum Erfassen eines Objekts in einer Umgebung eines Fahrzeugs mit Höhenbestimmung, Fahrerassistenzsystem sowie Fahrzeug
US20210197834A1 (en) * 2016-11-21 2021-07-01 George Shaker System and method for sensing with millimeter waves for sleep position detection, vital signs monitoring and/or driver detection
DE102016124157A1 (de) 2016-12-13 2018-06-14 Valeo Schalter Und Sensoren Gmbh Ermitteln einer Bremsnotwendigkeit zum Vermeiden einer Kollision eines Kraftfahrzeugs mit einem Fußgänger
DE102017201219A1 (de) * 2017-01-26 2018-07-26 Robert Bosch Gmbh Verfahren und System zum Erkennen von Objekten anhand von Ultraschallsignalen
US20190197497A1 (en) * 2017-12-22 2019-06-27 Lyft, Inc. Responses to detected impairments
DE102018103551B4 (de) * 2018-02-16 2022-09-22 Valeo Schalter Und Sensoren Gmbh Verfahren zum Charakterisieren eines Objekts in einem Umgebungsbereich eines Kraftfahrzeugs anhand von zuvor gelernten Kurvenparametern, Sensorvorrichtung sowie Fahrerassistenzsystem
DE102019207688A1 (de) * 2019-05-26 2020-11-26 Robert Bosch Gmbh Verfahren und Fahrerassistenzsystem zur Klassifizierung von Objekten in der Umgebung eines Fahrzeugs
US20210064030A1 (en) * 2019-08-27 2021-03-04 Yu-Sian Jiang Driver assistance for a vehicle and method for operating the same
US12039785B2 (en) * 2019-10-23 2024-07-16 Lyft, Inc. Approaches for encoding environmental information
US11816900B2 (en) * 2019-10-23 2023-11-14 Lyft, Inc. Approaches for encoding environmental information

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090213694A1 (en) 2005-05-09 2009-08-27 Christian Zott Method and device for detecting the surface character of objects in road traffic or of persons
JP2013541696A (ja) 2010-08-25 2013-11-14 ファヒホークシュール フランクフルト アム マイン 人物の識別装置および識別方法
JP2012229948A (ja) 2011-04-25 2012-11-22 Denso Corp 歩行者検出装置、歩行者検出方法およびプログラム
JP2012247215A (ja) 2011-05-25 2012-12-13 Denso Corp 物体識別装置、および物体識別プログラム
JP2016180654A (ja) 2015-03-24 2016-10-13 パナソニック株式会社 レーダ装置および走行車両検知方法
JP2017151043A (ja) 2016-02-26 2017-08-31 株式会社デンソー 物体認識装置及びプログラム
WO2018210966A1 (de) 2017-05-16 2018-11-22 Elmos Semiconductor Aktiengesellschaft Verfahren zur übertragung von daten über einen fahrzeugdatenbus von einem ultraschallsystem zu einer datenverarbeitungsvorrichtung

Also Published As

Publication number Publication date
KR20220070320A (ko) 2022-05-30
US20220342061A1 (en) 2022-10-27
MX2022003941A (es) 2022-04-25
JP2022552228A (ja) 2022-12-15
WO2021069130A1 (de) 2021-04-15
DE102019215393A1 (de) 2021-04-08
CN114556146A (zh) 2022-05-27

Similar Documents

Publication Publication Date Title
US7620518B2 (en) Distance measuring device an method for testing the operation of a distance measuring system
US6943726B2 (en) Device for searching a parking space
US10302760B2 (en) Vehicle water detection system
JP6474228B2 (ja) 物体検知装置
JP6404679B2 (ja) 物体検知装置
CN105549018B (zh) 对象检测装置
JP7385026B2 (ja) 特に自動車周辺における、物体を分類するための方法及び装置
JP7122101B2 (ja) 車両用障害物検知装置
JP6577767B2 (ja) 物体検知装置及び物体検知方法
JP2021026557A (ja) 障害物検知装置
JP2023064009A (ja) 車両制御装置、車両、車両制御方法および車両制御プログラム
CN111308475B (zh) 用于感测车辆周围环境的方法和设备及具有该设备的车辆
JP2015132511A (ja) 路面監視装置および電動カート
JP6942254B2 (ja) 障害物検知装置又は運転支援装置
CN103926580B (zh) 用于环境传感机构的系统
JPWO2020008534A1 (ja) 障害物検知装置及び運転支援装置
KR20220166704A (ko) 비가시 경로 레이더 장치
JP6918272B2 (ja) 障害物検知装置
CN116209914A (zh) 基于雷达传感器的测量并通过识别干扰探测来识别车辆环境中的道路使用者的方法以及运算设备
JP2024537467A (ja) 超音波センサシステムを使って車両の周囲内の少なくとも1つのオブジェクトを分類するための方法、ならびに制御機構、超音波センサシステム、および車両
JP2023064008A (ja) 車両制御装置、車両、車両制御方法および車両制御プログラム
KR20170112658A (ko) 물체의 이동경로감지장치, 이동경로감지방법 및 그에 포함되는 물체감지장치
CN116547558A (zh) 用于测量车辆的侧向环境区域的方法、测量装置和车辆
CN115993598A (zh) 用于车辆的目标检测系统和方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220526

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230405

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230626

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230808

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231023

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231109

R150 Certificate of patent or registration of utility model

Ref document number: 7385026

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150