JP7397191B2 - 物体の分類態様に応じて伝送信号を適合させる車両の距離センサの動作方法、演算デバイス、およびセンサデバイス - Google Patents

物体の分類態様に応じて伝送信号を適合させる車両の距離センサの動作方法、演算デバイス、およびセンサデバイス Download PDF

Info

Publication number
JP7397191B2
JP7397191B2 JP2022526811A JP2022526811A JP7397191B2 JP 7397191 B2 JP7397191 B2 JP 7397191B2 JP 2022526811 A JP2022526811 A JP 2022526811A JP 2022526811 A JP2022526811 A JP 2022526811A JP 7397191 B2 JP7397191 B2 JP 7397191B2
Authority
JP
Japan
Prior art keywords
transmission signal
signal
transmitted
sensor
transmission
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022526811A
Other languages
English (en)
Other versions
JP2023500389A (ja
Inventor
ハインリッヒ、ゴッツィヒ
モハメッド、エラミール、モハメッド
Original Assignee
ヴァレオ・シャルター・ウント・ゼンゾーレン・ゲーエムベーハー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヴァレオ・シャルター・ウント・ゼンゾーレン・ゲーエムベーハー filed Critical ヴァレオ・シャルター・ウント・ゼンゾーレン・ゲーエムベーハー
Publication of JP2023500389A publication Critical patent/JP2023500389A/ja
Application granted granted Critical
Publication of JP7397191B2 publication Critical patent/JP7397191B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/93Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52004Means for monitoring or calibrating
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06Systems determining the position data of a target
    • G01S15/08Systems for measuring distance only
    • G01S15/10Systems for measuring distance only using transmission of interrupted, pulse-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06Systems determining the position data of a target
    • G01S15/08Systems for measuring distance only
    • G01S15/32Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S15/34Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/539Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06Systems determining position data of a target
    • G01S13/08Systems for measuring distance only
    • G01S13/32Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S13/34Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal
    • G01S13/343Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal using sawtooth modulation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52004Means for monitoring or calibrating
    • G01S2007/52007Means for monitoring or calibrating involving adjustment of transmitted power
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/932Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles using own vehicle data, e.g. ground speed, steering wheel direction
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9322Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles using additional data, e.g. driver condition, road state or weather data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40Means for monitoring or calibrating
    • G01S7/4004Means for monitoring or calibrating of parts of a radar system
    • G01S7/4008Means for monitoring or calibrating of parts of a radar system of transmitters
    • G01S7/4013Means for monitoring or calibrating of parts of a radar system of transmitters involving adjustment of the transmitted power
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/411Identification of targets based on measurements of radar reflectivity
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52004Means for monitoring or calibrating
    • G01S7/52006Means for monitoring or calibrating with provision for compensating the effects of temperature
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/523Details of pulse systems
    • G01S7/524Transmitters

Description

本発明は、複数の連続する測定サイクルが動作モードで実施される、車両の距離センサの動作方法に関する。各測定サイクルにおいて、伝送信号が送信され、車両を取り囲む領域で反射した伝送信号が、受信信号を判定する根拠として採用される。さらに、物体が分類され、伝送信号が、物体の分類に基づいて、複数の所定の伝送信号から選択され、伝送信号の選択は、学習モードで決定された相関ルールに基づいて実施され、相関ルールは、複数の所定の伝送信号の物体の種類に対する相関を表す。また、本発明は、演算デバイスおよびセンサ装置に関する。最後に、本発明は、コンピュータプログラム、およびコンピュータ可読(記憶)媒体に関する。
従来技術から、種々の車両用距離センサが知られている。このような距離センサは、通常、車両を取り囲む領域内の物体または障害物を感知するために使用される。距離センサは、例えば、超音波センサ、レーダーセンサ、ライダーセンサ、またはレーザースキャナの形態を取り得る。距離センサの動作中において、通常、伝送信号が送信され、周囲領域の物体から反射した伝送信号が再び受信される。そして、伝送信号の送信と物体により反射した伝送信号の受信との間の遅れが、距離センサと物体との間の距離を判定するための根拠として採用され得る。
また、距離センサを使用して送信される伝送信号が変化することが従来技術から知られている。この点に関して、DE 10 2017 110 665 A1は、距離センサの動作モードにおいて、伝送信号が送信され、自動車を取り囲む領域内の物体により反射した伝送信号が受信信号として受信される、自動車の距離センサの動作方法を記載している。ここで、伝送信号は、複数の所定の伝送信号から選択されることが想定されている。周囲領域を表す周辺条件も、動作モードで特定される。さらに、伝送信号は、相関ルールに基づいて選択される。相関ルールは、複数の所定の伝送信号と基準周辺条件との相関を表す。相関ルールは、距離センサの学習モードで決定される。さらに、周辺条件は、周囲領域における物体、気候条件、および/または干渉信号を表すことが想定される。
本発明の目的は、変化する伝送信号を伴う距離センサをどのように動作させるかに関する解決策がより確実に実施され得ることを示すことである。
この目的は、本発明によれば、独立請求項に記載の特徴を有する方法、演算デバイス、センサ装置、コンピュータプログラム、およびコンピュータ可読(記憶)媒体により達成される。本発明の有利な展開例は、従属請求項の主題である。
本発明による方法は、車両の距離センサの動作に利用される。これは、複数の連続する測定サイクルが動作モードにおいて実施されることを伴う。各測定サイクルにおいて、伝送信号が送信され、前記車両を取り囲む領域で反射した前記伝送信号が、受信信号を判定する根拠として採用される。また、物体が分類される。さらに、前記物体の前記分類に基づいて、前記伝送信号が複数の所定の伝送信号から選択され、前記伝送信号の前記選択は、学習モードで決定された相関ルールに基づいて実施され、前記相関ルールは、前記複数の所定の伝送信号の、物体の種類に対する相関を表す。また、各測定サイクルにおいて、前記物体は、前記受信信号に基づいて分類され、前記物体の前記分類に基づいて、前記伝送信号が以降の測定サイクルについて選択されることが想定される。
本方法は、車両用の距離センサの動作に利用されることが意図されている。環境センサとも称され得るこの距離センサは、車両を取り囲む領域をモニタリングするように使用される。特に、距離センサの測定は、この周囲領域における物体または障害物を特定する根拠として採用されることが意図されている。距離センサは、例えば、レーダーセンサ、ライダーセンサ、レーザースキャナ、光学センサ等であり得る。距離センサは、好適には、超音波センサである。距離センサは、伝送信号を送信し、周囲領域または物体で反射した伝送信号を再度受信するように使用され得る。この伝送信号は、パルスとして送信され得る。これは、距離センサまたは距離センサの送信デバイスが、伝送信号を所定の期間に亘って送信するために起動されるということを意味している。この伝送信号は、Tx信号とも称され得る。反射した、すなわち受信した伝送信号は、受信信号を判定するための根拠として採用され得る。換言すれば、受信信号は、物体により反射した伝送信号を表し得る。特に、Rx信号とも称され得る伝送信号は、反射した伝送信号の時間特性、または伝送信号のエコーの時間特性を表し得る。そして、伝送信号の送信と物体により反射した伝送信号の受信との間の遅れが、距離センサと物体との間の距離を判定するための根拠として採用され得る。
距離センサを使用して送信される伝送信号を変化させることが想定される。したがって、伝送信号が、複数の所定の伝送信号から選択されることが想定される。伝送信号は、周囲領域内の少なくとも1つの物体に基づいて選択される。この目的のために、周囲領域内の物体または少なくとも1つの物体が、まず分類される。この分類は、例えば受信信号に基づいて実施され得る。この目的のために、受信信号が、物体種類を示す典型的な特徴を有するかどうかを調べることができる。次いで、分類は、複数の所定の伝送信号から伝送信号を選択するための根拠として採用される。選択は、学習モードで予め決定された相関ルールに従ってなされる。特に、相関ルールは、関連する伝送信号に対する物体のそれぞれの種類ができるだけ良好に特定され得るように決定されている。この学習モードは、特に、距離センサの動作モードの前に実施される。例えば、学習モードは、距離センサを動作させる前、または設置する前に実施され得る。相関ルールは、特に、複数の所定の伝送信号の物体種類に対する相関を表す。換言すれば、相関ルールは、好適には、いずれの伝送信号がどの物体種類のために選択されることが意図されているかを表す。
本発明の必須の態様によれば、各測定サイクルにおいて、物体は、受信信号に基づいて分類され、物体の分類に基づいて、伝送信号が以降の測定サイクルについて選択されることが想定される。距離センサは、時間的に連続した測定サイクルを実施するように使用される。各測定サイクルにおいて、伝送信号が送信され得るとともに、周囲領域で反射した伝送信号が再度受信され得る。物体の分類または特性評価が、各測定サイクルにおいても実施されることが想定される。以降の測定サイクルにおいて、伝送信号が分類に一致するように選択的に適合される。物体の分類が複数の測定サイクルにおいて変わらない場合、特に伝送信号の選択も変わらない。次の測定サイクルに対して伝送信号を決定することにより、周辺条件の変化に短時間で対応することができる。また、周囲領域、すなわち距離センサの感知領域に進入する物体も確実に検出され得る。これは、それぞれの測定サイクルが、通常、数ミリ秒しか続かないためである。したがって、全体として、周囲領域における物体の検出がより確実に実施され得る。
一例として、車両、特に乗用車、トラック、オートバイ等が、物体の種類として予め定義され得る。歩行者、自転車、または生物も、種類として予め定義され得る。また、柱、壁、傾斜、縁石が、種類として予め定義され得る。
学習モードにおいて、好適には、基準測定が基準物体に対して実施される。複数の所定の伝送信号は、基準測定において、距離センサを使用して送信され、それぞれの受信信号は、基準物体について判定される。種々の基準物体が、学習モードすなわちトレーニングにおいて使用され得る。これらの基準物体は、サイズ、形状、表面特性、および/または反射特性に関して互いに異なり得る。基準物体は、物体種類にも関連付けられ得る。少なくとも1つの基準物体が、異なる物体種類に対して使用され得る。学習モードにおいて、それぞれの伝送信号が、基準物体の各々に対して送信され得るとともに、基準物体により反射した伝送信号が再度受信され得る。これから派生したそれぞれの受信信号に、学習アルゴリズムが適用され得る。この結果、同一の物体の種類に対して異なる結果、すなわち受信信号が存在することとなり、これらは、次いで後続の学習法により、トレーニングシステムに統合され得る。学習法すなわちトレーニングの1つの結果は、伝送信号のいずれの形態が異なる物体の分類に特に適しているかについての情報である。この情報は、次いで、距離センサの動作モードで利用され得る。したがって、物体の特定が向上し得る。
一実施形態において、相関ルールは、それぞれの受信信号に基づいて、機械学習法により決定される。特に、いわゆる深層学習が利用され得る。人工ニューラルネットワークおよび/または汎用アルゴリズムも学習モードにおいて利用されることが想定され得る。個々の基準物体に対する基準測定はそれぞれの伝送信号を使用して実施されるため、異なる情報が、学習アルゴリズムにおいて、個々の基準物体各々に対して利用され得る。この結果、冗長性が増加し得る。さらに、異なる物体形状または物体の種類は、異なる形態の伝送信号に対して異なる反応を示す。これにより、検出すべき物体または物体種類の多様性が伝送信号の相違において考慮されるため、トレーニングにおいてより良好な結果が達成され得る。このようにして、より重要な入力データが、実際に使用される深層学習アルゴリズムに送達され得る。
また、基準測定が異なる周辺条件に対して実施されることが想定され得る。一例として、異なる気候条件が、学習モードにおいてシミュレーションされ得る。また、干渉信号またはノイズ成分が、基準測定で考慮され得る。また、基準測定が、距離センサとそれぞれの基準物体との間の種々の距離に対して実施されることが想定され得る。したがって、伝送信号は、物体との関係においても、周辺条件に基づいても最適化され得る。
さらなる実施形態において、基準伝送信号が、伝送信号として、動作モードの開始時に送信される。動作モードの開始時に、または第1測定サイクルにおいて、周囲領域内の少なくとも1つの物体に対する分類はまだ実施されていない。この場合、基準伝送信号が、まず送信され得る。この基準伝送信号は、これが異なる物体種類または物体タイプを特定するために使用され得るように選ばれ得る。物体により反射した基準伝送信号に基づいて判定された受信信号は、物体の分類を実施するため、かつ以降の測定サイクルについての伝送信号の選択をするための根拠として採用され得る。
さらなる構成において、物体が測定サイクルにおいて特定されない場合、基準伝送信号または基準伝送信号が、以降の測定サイクルにおいて選択される。物体の分類が実施できない、または一義的に実施できない場合、測定サイクルにおいて、基準伝送信号が以降の測定サイクルにおいて選択され得る。周囲領域内の少なくとも1つの物体が分類できなかった、または一義的に分類できなかったという情報も、相応にこの段階で記憶され得る。
さらに、振幅変調された伝送信号が基準伝送信号として選択される場合、有利である。実験により、振幅変調された伝送信号が、異なるタイプの物体または物体種類を特定するのに適していることが示されている。これは、距離センサが超音波センサの形態にある場合に、特にあてはまる。本例において、送信された超音波信号は、伝送信号として低周波信号で変調され得る。
さらなる実施形態において、物体が背の高い物体として分類された場合、振幅変調された伝送信号が、伝送信号として以降の測定サイクルにおいて選択される。現行の測定サイクルにおいて物体が背の高い物体として特定された場合、振幅優位の伝送信号が、以降の測定サイクルにおいて選択され得る。背の高い物体は、受信信号に基づいて、例えば、受信信号のエコーの数および/または振幅に基づいて特定され得る。一例として、物体は、柱や壁等であり得る。実験により、伝送信号として、振幅をモデル化した伝送信号が送信される場合、このような背の高い物体は、より確実に特定され得ることが示されている。
さらなる構成において、物体が生物として分類された場合、周波数変調された伝送信号が、伝送信号として以降の測定サイクルにおいて選択される。このような生物は、例えば歩行者や動物であり得る。ここでも、実験により、周波数変調伝送信号が選択される場合、このような生物がより確実に特定され得ることが示されている。特に、チャープ信号が、周波数変調伝送信号として選択され得る。いわゆるチャープアップ信号が特に好適に利用され得る。
さらなる実施形態において、少なくとも2つの物体が周囲領域において特定された場合、伝送信号は、距離センサから最短距離にある物体に基づいて選択される。受信信号に基づいて複数の物体が周囲領域において特定された場合、伝送信号の選択は、距離センサから、すなわち車両から最短距離にある物体に基づいて実施され得る。この最短距離にある物体は、周囲領域のモニタリングに最も高い関連性を有する。この物体が確実に特定される場合、有利である。
また、周囲領域に複数の物体が存在する場合、優先順位を付けることが想定され得る。一例として、特定の物体種類または1つの物体種類が優先され得る。優先された物体種類が特定された場合、この物体種類に対する伝送信号が選択され得る。一例として、歩行者の物体種類が優先され得る。これにより達成され得る効果は、歩行者が確実に特定されるため、安全性が向上することである。
また、複数の伝送信号が変調、周波数、および/または送信時間に関して互いに異なる場合、有利である。動作モードにおいて、距離センサは、伝送信号に対して変動性を有する。これらの伝送信号は、周波数、位相、時間等に基づいて互いに異なり得る。原理的に、物理センサに応じて、時間の関数として伝送信号の振幅特性の特別な形態が選ばれ得る。距離センサが超音波センサの形態にある場合、伝送信号は、励起周波数、周波数変化等に関して互いに異なり得る。
車両のセンサ装置用の本発明による演算デバイスは、本発明による方法およびその有利な構成例を実施するように設計される。演算デバイスは、例えば、車両の電子制御ユニットにより提供され得る。また、演算デバイスは、距離センサの電子機器、すなわちセンサ電子機器により提供され得る。本例において、演算デバイスは、特に特定用途向け集積回路(ASIC)の形態にあり得る。
車両用の本発明によるセンサ装置は、本発明による演算デバイスと、少なくとも1つの距離センサと、を備えている。距離センサは、特に超音波センサの形態にあり得る。センサ装置は、好適には、複数の距離センサを有し得る。これらは、例えば、車両に分散配置され得る。本発明のさらなる態様は、本発明によるセンサ装置を備えたドライバー支援システムに関する。ドライバー支援システムは、検出された物体に基づいて少なくとも半自律的に車両を操縦するために使用され得る。
本発明による車両は、本発明による超音波センサ装置を備える。車両は、例えば乗用車の形態にあり得る。車両が特定用途車の形態にあることも想定され得る。
本発明のさらなる態様は、コンピュータプログラムであって、前記プログラムが演算デバイスにより実行されるとき、これに本発明による方法を実施させる命令を備えるコンピュータプログラムに関する。
本発明によるコンピュータ可読(記憶)媒体は、演算デバイスにより実行されるとき、これに本発明による方法およびその有利な構成を実施させる命令を備える。
本発明による方法を参照して提示された好適な実施形態および前記実施形態の利点は、本発明による演算デバイス、本発明によるコンピュータプログラム、および本発明によるコンピュータ可読(記憶)媒体に準用される。
本発明のさらなる特徴が、特許請求の範囲、図面および図面の説明から生じる。上述の特徴および特徴の組み合わせ、ならびに以下の図面の説明で記載した特徴および特徴の組み合わせは、本発明の範囲から逸脱することなく、指定した特定の組み合わせのみならず他の組み合わせにおいても利用され得る。したがって、本発明は、図面に明示も説明もされていないが、別個の特徴の組み合わせにより明示された実施形態から生じ実施形態を含むとともに開示しているとみなされることも意図している。したがって、最初に策定された独立請求項の全ての特徴を含まない実施形態および特徴の組み合わせも開示されているとみなされるべきである。さらに、請求項の後方参照で概説する特徴の組み合わせを超える、または逸脱する特に上に概説した実施形態および特徴の組み合わせが、開示されたものとみなされるべきである。
次に、好ましい例示的な実施形態を用い、添付の図面を参照しながら、本発明をより詳細に説明する。
図1は、複数の距離センサが設けられたセンサ装置を有する車両の概略図を示す。 図2は、第1基準物体からの第1伝送信号の反射を表す第1受信信号を示す。 図3は、第2基準物体からの第1伝送信号の反射を表す第2受信信号を示す。 図4は、第3基準物体からの第1伝送信号の反射を表す第3受信信号を示す。 図5は、第4基準物体からの第1伝送信号の反射を表す第4受信信号を示す。 図6は、第3基準物体からの第2伝送信号の反射を表す第5受信信号を示す。 図7は、第4基準物体からの第2伝送信号の反射を表す第6受信信号を示す。 図8は、第1基準物体からの第2伝送信号の反射を表す第7受信信号を示す。 図9は、第2基準物体からの第2伝送信号の反射を表す第8受信信号を示す。
図面において、同一である、または同一機能を有する要素には同一の参照符号が付されている。
図1は、本例において乗用車の形態にある車両1を平面図で示す。車両1は、車両1を運転する際にドライバーを支援するように使用されるドライバー支援システム2を備えている。ドライバー支援システム2は、例えば駐車支援システムの形態であり得る。これにより、ドライバーは、車両1を駐車スペースに駐車する際および/または駐車スペースから発車する際に支援され得る。
ドライバー支援システム2または車両1は、センサ装置3も有している。このセンサ装置3は、少なくとも1つの距離センサ4を備えている。例示的な本実施形態において、センサ装置3は、12個の距離センサ4を備えており、そのうちの6個が車両1の前方領域6に配置され、6個が車両1の後方領域7に配置されている。本例において、距離センサ4は、超音波センサの形態にある。この例では、距離センサ4は、車両1のバンパーに装着されている。超音波センサは、バンパーにおいて少なくとも特定領域にある対応する凹部または貫通孔に配置され得る。また、超音波センサをバンパーの後方に目立たない態様で配置することも想定され得る。原則として、超音波センサは、車両1の他のパネル部分または部品にも配置され得る。
それぞれの距離センサ4は、車両1の周囲、すなわち車両1を取り囲む領域9内の物体8を検出するように使用され得る。本例において、周囲領域9内の物体8が概略的に示されている。また、センサ装置3は、電子制御ユニットの形態にある演算デバイス5を備えている。この演算デバイス5は、データ伝送を目的としてそれぞれの距離センサ4に接続されている。明瞭性を期して、データ回線または対応するデータバスは本例では示さない。演算デバイス5は、それぞれの距離センサ4を励起して伝送信号を送信するように使用され得る。また、超音波センサ4を使用して得られた受信信号または他のデータが、演算デバイス5に送信され得る。これらのデータは、演算デバイス5を使用して周囲領域9内の物体8を特定するための根拠として採用され得る。この情報は、ドライバー支援システム2により車両1のドライバーにアウトプットを出力するように利用され得る。検出された物体8に基づいて車両1を少なくとも半自律的に操縦するように、ドライバー支援システム2が、車両のステアリングシステム、ブレーキシステム、および/または駆動モータに介入することも想定され得る。
センサ装置3の動作中、すなわち動作モードにおいて、それぞれの距離センサ4は、時間的に連続する測定サイクルを実施するように使用される。各測定サイクルにおいて、伝送信号が送信され、周囲領域9で反射した伝送信号が受信信号を判定するための根拠として採用される。本例において、それぞれの測定サイクルにおいて、伝送信号が複数の所定の伝送信号から選択されることが想定される。伝送信号は、複数の所定の伝送信号から、物体8の分類に基づいて選択される。この目的のために、基準伝送信号が、第1測定サイクルにおいて送信され得る。この基準伝送信号は、例えば振幅変調された伝送信号であり得る。次いで、周囲領域9で反射した伝送信号に基づいて判定された受信信号は、物体8が周囲領域9内に位置しているかどうか、およびこの物体8がどのような構成にあるかを判定する根拠として採用され得る。物体8が周囲領域9内に位置していれば、これは、受信信号に基づいて分類され得る。次いで、判定された物体種類は、以降の測定サイクルで送信される関連する伝送信号を選択するための根拠として採用され得る。
以降の測定サイクルについての伝送信号は、相関ルールに基づいて選択される。この相関ルールは、適用可能な伝送信号を、種々の物体種類に関連付ける。この相関ルールは、センサ装置3または距離センサ4の学習モードすなわちトレーニングにおいて決定される。これは、種々の基準物体に対して実施される基準測定を伴い得る。この目的のために、それぞれの伝送信号または種々の伝送信号が、基準物体のうちの1つに送信され得るとともに、基準物体により反射した伝送信号が再度受信され得る。これから派生した受信信号Rx1~Rx8は、次いで、学習アルゴリズムに供給され得る。このようにして、システムをトレーニングすることができる。
図2~図9は、学習モードにおいて決定された異なる受信信号Rx1~Rx8を例示として示す。各例において、時間tすなわち距離が横軸にプロットされ、振幅Aが縦軸にプロットされている。図2は、第1基準物体からの第1伝送信号のエコーを表す第1受信信号Rx1を示す。これに対して、図3は、第2基準物体により反射した第1伝送信号を表す第2受信信号Rx2を示す。ここで、2つの基準信号Rx1およびRx2は、互いに明確に区別可能であることが分かる。さらに、2つの受信信号Rx1およびRx2を、明確に見ることができる。
図4は、第3基準物体からの第1伝送信号の反射を表す第3受信信号Rx3を示す。図5は、第4基準物体からの第1伝送信号の反射を表す第4受信信号Rx4を示す。本例において、第3受信信号Rx3および第4受信信号Rx4の振幅特性は、互いに非常に類似していることが分かる。したがって、物体8を分類すべくこれらの受信信号Rx3、Rx4を区別することは困難である。
比較として、図6は、第3基準物体により反射した第2伝送信号を表す第5受信信号Rx5を示す。図7は、第4基準物体により反射した第2伝送信号を表す第6受信信号Rx6の時間特性を示す。ここで、第5受信信号Rx5と第6受信信号Rx6とは、互いに非常に異なっていることが分かる。これにより、物体同士8、すなわち基準物体同士を互いに区別できる確率が高くなる。また、受信信号Rx5およびRx6から、物体8の性質を表す追加的な情報が得られ得る。
図8は、第1基準物体により反射した第2伝送信号を表す第7受信信号Rx7を示す。さらに、図9は、第2基準物体により反射した第2伝送信号を表す第8受信信号Rx8を示す。ここで、第2伝送信号を送信した場合、第7受信信号Rx7および第8受信信号Rx8に基づいて、第1基準物体と第2基準物体とを互いに区別することは困難であることが分かる。したがって、全体として、異なるタイプの伝送信号が、種々の態様で、物体8の分類、すなわち特性評価に適しているということを示すことができた。
こうして、学習モードすなわちトレーニングからのこれらの結果が、機械学習法、具体的には深層学習アルゴリズムに供給され得ることとなる。トレーニングの1つの結果は、伝送信号のいずれの形態が特に物体8のタイプ、すなわち物体種類を分類するのに適しているかについての情報である。次いでこの情報は、物体種類に対する適切な伝送信号を選択するために、センサ装置3の動作モードにおいて利用され得る。

Claims (13)

  1. 車両(1)の距離センサ(4)の動作方法であって、
    前記方法においては、複数の連続する測定サイクルが動作モードで実施され、
    各測定サイクルにおいて、伝送信号が送信され、
    前記車両(1)を取り囲む領域(9)内の物体(8)で反射した前記伝送信号が、受信信号(Rx1~Rx8)として受信され、
    物体(8)が分類されるとともに、前記物体(8)の前記分類に基づいて、前記伝送信号が複数の所定の伝送信号から選択され、
    前記伝送信号の前記選択は、学習モードで決定された相関ルールに基づいて実施され、
    前記相関ルールは、前記複数の所定の伝送信号の、物体(8)の種類に対する相関を表し、
    各測定サイクルにおいて、前記物体(8)は、前記受信信号(Rx1~Rx8)に基づいて分類され、前記物体(8)の前記分類に基づいて、前記伝送信号が以降の測定サイクルについて選択され
    基準伝送信号が、前記伝送信号として、前記動作モードの開始時に送信され、
    前記領域(9)に複数の物体(8)が存在する場合、優先順位付けが実行され、これにより、特定の物体種類または1つの物体種類が優先され、
    優先される物体種類が検出された場合、この物体種類に対する前記伝送信号が選択される、
    ことを特徴とする方法。
  2. 前記学習モードにおいて、基準測定が基準物体に対して実施され、前記複数の所定の伝送信号は、前記基準測定において、前記距離センサ(4)を使用して送信され、それぞれの前記受信信号(Rx1~Rx8)は、前記基準物体に対して判定される、
    ことを特徴とする請求項1に記載の方法。
  3. 前記相関ルールは、それぞれの前記受信信号(Rx1~Rx8)に基づいて、機械学習法により決定される、
    請求項2に記載の方法。
  4. 前記物体(8)が測定サイクルにおいて特定されない場合、基準伝送信号が、前記以降の測定サイクルにおいて選択される、
    請求項1~の一項に記載の方法。
  5. 振幅変調された伝送信号が、前記基準伝送信号として選択される、
    請求項1~の一項に記載の方法。
  6. 前記物体(8)が背の高い物体として分類された場合、振幅変調された伝送信号が、前記伝送信号として前記以降の測定サイクルにおいて選択される、
    請求項1~の一項に記載の方法。
  7. 前記物体(8)が生物として分類された場合、周波数変調された伝送信号が、前記伝送信号として前記以降の測定サイクルにおいて選択される、
    請求項1~の一項に記載の方法。
  8. 少なくとも2つの物体(8)が前記周囲領域(9)において特定された場合、前記伝送信号は、前記距離センサ(4)から最短距離にある前記物体(8)に基づいて選択される、
    請求項1~の一項に記載の方法。
  9. 複数の前記伝送信号は、変調、周波数、および/または送信時間に関して互いに異なる、
    ことを特徴とする請求項1~の一項に記載の方法。
  10. 車両(1)のセンサ装置(3)用の演算デバイス(5)であって、請求項1~の一項に記載の方法を実施するように設計された演算デバイス(5)。
  11. 請求項10に記載の演算デバイス(5)と、少なくとも1つの距離センサ(4)、特に超音波センサと、を備える車両(1)用のセンサ装置(3)。
  12. コンピュータプログラムであって、前記プログラムが演算デバイス(5)により実行されるとき、これに請求項1~の一項に記載の方法を実施させる命令を備えるコンピュータプログラム。
  13. 演算デバイス(5)により実行されるとき、これに請求項1~の一項に記載の方法を実施させる命令を備えるコンピュータ可読(記憶)媒体。
JP2022526811A 2019-11-11 2020-10-21 物体の分類態様に応じて伝送信号を適合させる車両の距離センサの動作方法、演算デバイス、およびセンサデバイス Active JP7397191B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102019130295.1A DE102019130295A1 (de) 2019-11-11 2019-11-11 Verfahren zum Betreiben eines Abstandssensors eines Fahrzeugs mit Anpassung eines Sendesignals in Abhängigkeit von einer Klassifizierung eines Objekts, Recheneinrichtung sowie Sensorvorrichtung
DE102019130295.1 2019-11-11
PCT/EP2020/079588 WO2021094065A1 (de) 2019-11-11 2020-10-21 Verfahren zum betreiben eines abstandssensors eines fahrzeugs mit anpassung eines sendesignals in abhängigkeit von einer klassifizierung eines objekts, recheneinrichtung sowie sensorvorrichtung

Publications (2)

Publication Number Publication Date
JP2023500389A JP2023500389A (ja) 2023-01-05
JP7397191B2 true JP7397191B2 (ja) 2023-12-12

Family

ID=73005617

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022526811A Active JP7397191B2 (ja) 2019-11-11 2020-10-21 物体の分類態様に応じて伝送信号を適合させる車両の距離センサの動作方法、演算デバイス、およびセンサデバイス

Country Status (7)

Country Link
US (1) US20220390601A1 (ja)
EP (1) EP4058822A1 (ja)
JP (1) JP7397191B2 (ja)
KR (1) KR20220093228A (ja)
CN (1) CN114846353A (ja)
DE (1) DE102019130295A1 (ja)
WO (1) WO2021094065A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019130295A1 (de) * 2019-11-11 2021-05-12 Valeo Schalter Und Sensoren Gmbh Verfahren zum Betreiben eines Abstandssensors eines Fahrzeugs mit Anpassung eines Sendesignals in Abhängigkeit von einer Klassifizierung eines Objekts, Recheneinrichtung sowie Sensorvorrichtung

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015227782A (ja) 2014-05-30 2015-12-17 トヨタ自動車株式会社 レーダ装置
DE102017110665A1 (de) 2017-05-17 2018-11-22 Valeo Schalter Und Sensoren Gmbh Verfahren zum Betreiben eines Abstandssensors eines Kraftfahrzeugs mit Anpassung des Sendesignals, Sensorvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
US20180348343A1 (en) 2017-06-05 2018-12-06 Metawave Corporation Intelligent metamaterial radar for target identification
JP2019032285A (ja) 2017-08-09 2019-02-28 株式会社デンソーテン レーダ装置および物標検知方法
US20190212438A1 (en) 2018-01-10 2019-07-11 Mando Corporation Apparatus and method for controlling radar
JP2019184283A (ja) 2018-04-03 2019-10-24 住友電気工業株式会社 電波センサおよび制御方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6862253B2 (en) * 2002-10-23 2005-03-01 Robert L. Blosser Sonic identification system and method
DE102004019651A1 (de) * 2004-04-22 2005-11-17 Siemens Ag Blindspot-Sensorsystem
DE102010033210A1 (de) * 2010-08-03 2012-02-09 Valeo Schalter Und Sensoren Gmbh Verfahren zum Betreiben eines Ultraschallsensors eines Fahrerassistenzsystems in einem Kraftfahrzeug, Fahrerassistenzsystem und Kraftfahrzeug
US11749111B2 (en) * 2018-03-19 2023-09-05 Derq Inc. Early warning and collision avoidance
DE102019130295A1 (de) * 2019-11-11 2021-05-12 Valeo Schalter Und Sensoren Gmbh Verfahren zum Betreiben eines Abstandssensors eines Fahrzeugs mit Anpassung eines Sendesignals in Abhängigkeit von einer Klassifizierung eines Objekts, Recheneinrichtung sowie Sensorvorrichtung

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015227782A (ja) 2014-05-30 2015-12-17 トヨタ自動車株式会社 レーダ装置
DE102017110665A1 (de) 2017-05-17 2018-11-22 Valeo Schalter Und Sensoren Gmbh Verfahren zum Betreiben eines Abstandssensors eines Kraftfahrzeugs mit Anpassung des Sendesignals, Sensorvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
US20180348343A1 (en) 2017-06-05 2018-12-06 Metawave Corporation Intelligent metamaterial radar for target identification
JP2019032285A (ja) 2017-08-09 2019-02-28 株式会社デンソーテン レーダ装置および物標検知方法
US20190212438A1 (en) 2018-01-10 2019-07-11 Mando Corporation Apparatus and method for controlling radar
JP2019184283A (ja) 2018-04-03 2019-10-24 住友電気工業株式会社 電波センサおよび制御方法

Also Published As

Publication number Publication date
US20220390601A1 (en) 2022-12-08
DE102019130295A1 (de) 2021-05-12
JP2023500389A (ja) 2023-01-05
KR20220093228A (ko) 2022-07-05
CN114846353A (zh) 2022-08-02
EP4058822A1 (de) 2022-09-21
WO2021094065A1 (de) 2021-05-20

Similar Documents

Publication Publication Date Title
US9581694B2 (en) Method for the improved actuation of ultrasonic sensors, driver assistance device and motor vehicle
JP6356350B2 (ja) 自動車両の周辺区域内における少なくとも1つの物体を検出するための方法、運転者支援システム、および自動車両
JP5846316B2 (ja) 車両用加速抑制装置及び車両用加速抑制方法
US10124727B2 (en) Method for warning a driver of a vehicle of the presence of an object in the surroundings, driver assistance system and motor vehicle
US10310083B2 (en) Method for detecting target echoes in a received signal of an ultrasonic sensor of a motor vehicle, ultrasonic sensor device, and motor vehicle
KR101991602B1 (ko) 자동차 도어의 개방 영역에서 물체를 검출하는 방법, 운전자 보조 시스템, 및 자동차
CN106537175B (zh) 用于运载工具的周围环境对象的声学检查的设备和方法
US10845478B2 (en) Micro-doppler apparatus and method for trailer detection and tracking
CN107209264B (zh) 通过检查测量点的空间偏差的用于检测机动车辆的周围区域中的对象的方法、控制装置、驾驶员辅助系统和机动车辆
JP2007504543A (ja) 自動車において障害物までの距離を検出する装置及び方法
EP3164860A1 (en) Vehicle cognitive radar methods and systems
CN108569279A (zh) 用于识别车位的方法和装置
US11332131B2 (en) Driver assistance system and control method thereof
CN104515985A (zh) 用于去除超声波系统的噪声的设备与方法
JP7397191B2 (ja) 物体の分類態様に応じて伝送信号を適合させる車両の距離センサの動作方法、演算デバイス、およびセンサデバイス
JP6668472B2 (ja) 物体分類を有する動力車両の周辺領域をキャプチャーする方法、制御装置、運転者支援システム、及び動力車両
JP2008529183A (ja) 自動車の前方にある障害物を検知するシステム
JP4683910B2 (ja) 衝突防止支援装置
JP2015219721A (ja) 動作支援システム及び物体認識装置
CN113573965A (zh) 用于为运输工具求取由潮湿引起的事故风险的方法
JP7192647B2 (ja) 付着検知装置および付着検知方法
CN113552575A (zh) 泊车障碍物侦测方法及装置
KR20170081665A (ko) 물체에 의한 자동차의 센서 장치의 차단을 검출하는 방법, 컴퓨팅 장치, 운전자 보조 시스템 및 자동차
US11143747B2 (en) Methods and systems for classifying received signals from radar system
JP2022142252A (ja) 人体検出装置およびブレーキ制御システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220623

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230517

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230530

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230825

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231031

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231130

R150 Certificate of patent or registration of utility model

Ref document number: 7397191

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150