JP2023550392A - ライダーの視野窓上の汚染を検出するための方法及び装置 - Google Patents

ライダーの視野窓上の汚染を検出するための方法及び装置 Download PDF

Info

Publication number
JP2023550392A
JP2023550392A JP2023530025A JP2023530025A JP2023550392A JP 2023550392 A JP2023550392 A JP 2023550392A JP 2023530025 A JP2023530025 A JP 2023530025A JP 2023530025 A JP2023530025 A JP 2023530025A JP 2023550392 A JP2023550392 A JP 2023550392A
Authority
JP
Japan
Prior art keywords
image
lidar
background light
viewing window
laser beam
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023530025A
Other languages
English (en)
Inventor
シャーフ,アンドレアス
ピーター,デヴィッド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Mercedes Benz Group AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mercedes Benz Group AG filed Critical Mercedes Benz Group AG
Publication of JP2023550392A publication Critical patent/JP2023550392A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/958Inspecting transparent materials or objects, e.g. windscreens
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/94Investigating contamination, e.g. dust
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/958Inspecting transparent materials or objects, e.g. windscreens
    • G01N2021/9586Windscreens
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating
    • G01S2007/4975Means for monitoring or calibrating of sensor obstruction by, e.g. dirt- or ice-coating, e.g. by reflection measurement on front-screen
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Biochemistry (AREA)
  • Pathology (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

【課題】ライダーの視野窓上の汚染を検出するための、従来技術に対して改善された方法及び改善された装置を提供する。【解決手段】本発明は、ライダーの視野窓における汚染を検出するための方法及び装置に関し、ライダーの送信器を用いて、レーザビームが検出領域に送信され、ライダーの受信器を用いて、検出領域に存在する光が検出される、方法及び装置において、レーザビームの送信に起因して反射されて検出された光から、レーザ反射の強度のグレー値画像としての強度画像が生成され、レーザビームを送信せずに検出された光から、背景光のグレー値画像としての背景光画像が生成され、-強度画像及び背景光画像が、共通の特徴に関して分析され、-共通の特徴が所定数を下回ると、視野窓における汚染が推定される。【選択図】図3

Description

本発明は、請求項1の文頭に記載のライダーの視野窓上の汚染を検出するための方法に関する。
更に本発明は、請求項7の文頭に記載のライダーの視野窓上の汚染を検出するための装置に関する。
ライダーの視野窓上の汚染の検出は、特に自動化車両、例えばレベル3以上の自動化車両にとっての課題である。汚染によりセンサの性能が低下し、ひいては前述のシステムの安全性及び可用性が限定される。ライダーは能動的なセンサであり、送信器、例えば1つ以上のレーザダイオードと、受信器、例えば1つ以上のアバランシェフォトダイオード、特に単一光子アバランシェダイオードと、を有する。
下記特許文献1から、ライダーシステムにおいて、汚染を検出するための方法が公知であり、この方法は以下のステップを有する。
-送信ユニットによりライダーシステムの周囲への電磁ビームの指向性の放射を行うステップであって、送信ユニットから放射された電磁ビームが、少なくとも送信ユニットの放射方向においてライダーシステムと周囲との境界を成す出射窓を介して、周囲に送信されるステップ;
-送信ユニットから放射され、出射窓の表面においてライダーシステムへと後方散乱された電磁ビームの部分を汚染センサによって検出するステップであって、汚染センサが電磁ビームを検出するための単一のダイオード、1Dアレイ検出器又は2Dアレイ面検出器である、且つ/又は、汚染センサが受信ユニットに統合されている、ステップ;
-汚染センサの検出を評価することによって、出射窓の汚染を確認するステップ。
独国特許出願公開第10 2017 222 618 A1号明細書
本発明の課題は、ライダーの視野窓上の汚染を検出するための、従来技術に対して改善された方法及び改善された装置を提供することである。
上記の課題は、本発明によれば、請求項1に記載の特徴を有する方法と、請求項7に記載の特徴を有する装置と、によって解決される。
本発明の有利な構成は、従属請求項の主題である。
本発明によれば、ライダーの視野窓、例えばフロントガラス上の汚染を検出するための方法が提案され、この方法においては、
ライダーの送信器を用いて、レーザビームが検出領域に送信され、
ライダーの受信器を用いて、検出領域内に存在する光が検出される。
本発明によれば、
レーザビームの送信に起因して反射されて検出された光から、レーザ反射の強度のグレースケール画像としての強度画像が生成され、
レーザビームを送信せずに検出された光から、背景光のグレースケール画像としての背景光画像が生成され、
強度画像及び背景光画像が、共通の特徴に関して分析され、
共通の特徴が所定数を下回る場合、視野窓上に汚染があると推定される。
センサの内部から能動的に照明することにより、背景光に対する反射の強度は、視野窓の汚染について種々の感度を示すため、汚染の評価が可能である。
一実施形態では、レーザビームは、パルス状に送信される。
一実施形態では、背景光画像は、レーザビームが送信される直前に求められる(決定される)。背景光画像及び強度画像の狭い時間間隔での一連の記録は、特に、走行中の自動車において本方法を使用する場合に有利である。何故ならば、2つのグレースケール画像において、ほぼ同じシーンが記録されるからである。
一実施形態では、強度画像及び背景光画像において、構造物及び/又は車両及び/又は窓の特徴が求められる。
一実施形態では、強度画像及び背景光画像において、エッジ検出アルゴリズムを用いてエッジが検出される。
一実施形態では、検出されたエッジに基づいて、エッジ間隔及び/又はエッジ位置が特徴として求められる。
本発明の一態様によれば、ライダーの視野窓上の汚染を検出するための装置が提案され、この装置は、ライダーに接続されており、且つ上述の方法を実施するように構成されているデータ処理ユニットを含む。
更に、その種の装置を含む自動車、特に自動化車両、例えばレベル3以上の自動化車両が提案される。
更に、上述の方法又は上述の装置の自動車における使用が提案される。ライダーをナビゲーションに使用する、トラック、バス又はロボットのような他の自律的なプラットフォームに対する使用も同様に考えられる。
以下では、本発明の実施例を、図面に基づき詳細に説明する。
視野窓が汚れていない場合のライダーを用いて取得された、反射されたレーザビームの強度のグレースケール画像の概略図である。 視野窓が汚れていない場合のライダーを用いて検出された、背景光のグレースケール画像の概略図である。 視野窓に水滴が付いている場合のライダーを用いて取得された、反射されたレーザビームの強度のグレースケール画像の概略図である。 視野窓に水滴が付いている場合のライダーを用いて取得された、背景光のグレースケール画像の概略図である。
全ての図において、相互に対応する部分には、同一の参照符号が付されている。
本発明は、ライダーの視野窓、例えばフロントガラス上の汚染を検出するための方法に関する。ライダーは能動的なセンサであり、少なくとも1つの送信器、例えば1つ以上のレーザダイオードと、少なくとも1つの受信器、例えば1つ以上のアバランシェフォトダイオード、特に単一光子アバランシェダイオードと、を有する。本発明に係る方法では、送信器が、パルス状のレーザビームを送信し、受信器が、検出領域内の物体によるレーザビームの反射を検出する。適切な受信器においては、距離情報の他に、反射の強度及びシーンの背景光のような付加的な情報も提供される。この場合、それらの付加的な情報は、視野窓の汚染に対して種々の感度を示す。例えば、送信器がレーザビームを送信することなく、例えばレーザビームを送信する直前に、受信器によってグレースケール画像が記録されることによって、背景光を求めることができる。
図1は、視野窓が汚れていない場合における、ライダーを用いて取得された、以下では強度画像と称する、反射されたレーザビームの強度のグレースケール画像の概略図である。図2は、視野窓が汚れていない場合における、ライダーを用いて取得された、以下では背景光画像と称する、背景光のグレースケール画像の概略図である。いずれの図においても、構造物B、車両V及び窓Wを目視によって識別できる。
従って、それらの付加的な情報を提供するライダーでは、画像処理方法を用いて、強度画像及び背景光画像の適切な特徴、例えばエッジ、特に道路標識又は構造物の壁における窓の枠が、分析の対象となる。分析としては、比較が採用される。画像処理の分野から公知であるエッジ検出アルゴリズムを使用することにより、背景光画像及び強度画像からエッジを抽出することができる。結果として得られた2つのエッジ画像について、例えばエッジ間隔、エッジ位置等のエッジ特徴が算出され、続いて相互に比較される。この比較により、強度画像と背景光画像との類似性についての尺度が得られる。共通する特徴の数が、所定の閾値を上回る場合、画像は類似していると解釈され、汚染はないと推定される。
図3及び図4に示すように、共通の特徴が少数しか発見されない場合、又は共通の特徴が発見されない場合、即ち、共通の特徴の数が所定の閾値を上回らない場合、画像は類似していないと解釈され、視野窓が汚染されていると推定される。
図3は、視野窓に水滴が付いている場合の、ライダーを用いて取得された、以下では強度画像と称する、反射されたレーザビームの強度のグレースケール画像の概略図である。図4は、視野窓に水滴が付いている場合の、ライダーを用いて取得された、以下では背景光画像と称する、背景光のグレースケール画像の概略図である。図4における背景光画像では、はっきりと確認できる構造物B、車両V及び窓Wが、図3における強度画像では、識別が困難であるか、又は識別できない。
閾値は、センサ固有に規定することができる。本方法は、ライダーの全体の検出領域に対して、又は局所的な汚染検出のためのあるセクションに対して使用することができる。
例えば単色の壁又は空を記録する場合等、ライダーセンサの視野内に構造体/エッジが少数しか存在しない場合又は構造体/エッジが存在しない場合、汚染検出のための上記で提案した方法は、機能が制限される可能性がある。しかしながら、道路交通において使用する場合、その種のシナリオは例外である。汚染検出のために必要とみなされる、センサ視野内の特徴、特に構造体及び/又はエッジの最小数は、センサ固有に規定することができる。
B 構造物
V 車両
W 窓

Claims (10)

  1. ライダーの視野窓上の汚染を検出するための方法であって、
    前記ライダーの送信器を用いて、レーザビームを検出領域に送信し、
    前記ライダーの受信器を用いて、前記検出領域に存在する光を検出し、
    前記レーザビームの送信に起因して反射されて検出された光から、レーザ反射の強度のグレースケール画像としての強度画像を生成し、
    レーザビームを送信せずに検出された光から、背景光のグレースケール画像としての背景光画像を生成し、
    前記強度画像及び前記背景光画像を、共通の特徴に関して分析し、
    共通の特徴が所定数を下回ると、前記視野窓上に汚染があると推定することを特徴とする、方法。
  2. 前記レーザビームを、パルス状に送信する
    ことを特徴とする請求項1記載の方法。
  3. 前記背景光画像を、前記レーザビームを送信する直前に求める
    ことを特徴とする請求項1又は請求項2記載の方法。
  4. 前記強度画像及び前記背景光画像において、構造物(B)及び/又は車両(V)及び/又は窓(W)の特徴を求める
    ことを特徴とする請求項1~請求項3のいずれか一項記載の方法。
  5. 前記強度画像及び前記背景光画像において、エッジ検出アルゴリズムを用いてエッジを検出する
    ことを特徴とする請求項1~請求項4のいずれか一項記載の方法。
  6. 検出されたエッジに基づき、エッジ間隔及び/又はエッジ位置を特徴として求める
    ことを特徴とする請求項5記載の方法。
  7. ライダーに接続されており、且つ請求項1~請求項6のいずれか一項記載の方法を実施するように構成されているデータ処理ユニットを含む、ライダーの視野窓における汚染を検出するための装置。
  8. 請求項7記載の装置を含む、自動車。
  9. 自動化車両として構成された、請求項8記載の自動車。
  10. 自動車における、請求項1~請求項6のいずれか一項記載の方法又は請求項7記載の装置の使用。
JP2023530025A 2020-11-18 2021-11-10 ライダーの視野窓上の汚染を検出するための方法及び装置 Pending JP2023550392A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102020130481.1 2020-11-18
DE102020130481.1A DE102020130481A1 (de) 2020-11-18 2020-11-18 Verfahren und Vorrichtung zur Detektion von Verunreinigungen auf einem Sichtfenster eines Lidars
PCT/EP2021/081186 WO2022106271A1 (de) 2020-11-18 2021-11-10 Verfahren und Vorrichtung zur Detektion von Verunreinigungen auf einem Sichtfenster eines Lidars

Publications (1)

Publication Number Publication Date
JP2023550392A true JP2023550392A (ja) 2023-12-01

Family

ID=78695691

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023530025A Pending JP2023550392A (ja) 2020-11-18 2021-11-10 ライダーの視野窓上の汚染を検出するための方法及び装置

Country Status (7)

Country Link
US (1) US20240012121A1 (ja)
EP (1) EP4248193A1 (ja)
JP (1) JP2023550392A (ja)
KR (1) KR20230086723A (ja)
CN (1) CN116615644A (ja)
DE (1) DE102020130481A1 (ja)
WO (1) WO2022106271A1 (ja)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2833159A1 (de) 2013-07-30 2015-02-04 HILTI Aktiengesellschaft Verfahren zum Kalibrieren eines Messgerätes
JP2017181105A (ja) 2016-03-28 2017-10-05 株式会社デンソーウェーブ レーザレーダ装置
EP3428686B1 (en) * 2017-07-14 2024-03-13 Veoneer Sweden AB A vision system and method for a vehicle
DE102017222618A1 (de) 2017-12-13 2019-06-13 Robert Bosch Gmbh LiDAR-System mit integrierter Verschmutzungserkennung und entsprechendes Verfahren zur Verschmutzungserkennung
JP7074482B2 (ja) * 2018-01-17 2022-05-24 京セラ株式会社 画像処理装置、撮像システム、移動体、および画像処理方法
JP7402160B2 (ja) * 2018-07-23 2023-12-20 ヌヴォトンテクノロジージャパン株式会社 距離測定装置および信頼性判定方法
CN111175311B (zh) * 2018-11-13 2023-01-13 株式会社小糸制作所 传感器系统
DE102019121340A1 (de) 2019-08-07 2021-02-11 Infineon Technologies Ag Verfahren und vorrichtung zum bestimmen einer fehlfunktion und sensorsystem

Also Published As

Publication number Publication date
WO2022106271A1 (de) 2022-05-27
KR20230086723A (ko) 2023-06-15
CN116615644A (zh) 2023-08-18
US20240012121A1 (en) 2024-01-11
EP4248193A1 (de) 2023-09-27
DE102020130481A1 (de) 2022-05-19

Similar Documents

Publication Publication Date Title
US10317522B2 (en) Detecting long objects by sensor fusion
EP3111165B1 (en) Distance measuring device and parallax calculation system
EP3396408B1 (en) Lidar and camera data fusion for automated vehicle
KR102122142B1 (ko) 레이저 스캐너의 기능 장애를 검출하는 방법, 레이저 스캐너 및 자동차
JP4691701B2 (ja) 人数検出装置及び方法
US10395105B2 (en) Vehicle imaging system, vehicle imaging method and device, program, and recording medium
US20060222207A1 (en) Device for a motor vehicle used for the three-dimensional detection of a scene inside or outside said motor vehicle
GB2491724A (en) Vehicle obstacle detection with additional horizontal radiation plane to discriminate between low and elevated obstacles
CN112193208A (zh) 车辆传感器增强
US7236234B2 (en) Optical sensor arrangement
US20130107049A1 (en) Accident avoiding system and method
US20210018596A1 (en) Method and device for identifying objects detected by a lidar device
KR101449288B1 (ko) 레이더를 이용한 감지 시스템
KR102654008B1 (ko) 검출 장치를 사용하여 모니터링 영역에서 적어도 입자 조성물을 캡처하는 방법 및 광학 검출 장치
JP2004271404A (ja) 車両用障害物検出装置
CN111751831A (zh) 用于光学距离测量的方法及设备
JP2023550392A (ja) ライダーの視野窓上の汚染を検出するための方法及び装置
CN110114693B (zh) 用于光学检测设备的接收装置、检测设备和驾驶员辅助系统
EP3627448A1 (en) Vision system and method for a motor vehicle
CN111164458A (zh) 确定lidar传感器的最大范围
CN108885262A (zh) 用于捕捉至少一个对象的方法、传感器设备的装置、传感器设备和具有至少一个传感器设备的驾驶员辅助系统
CN115214681A (zh) 借助人工神经网络确定地平面的方法和系统
CN115769104A (zh) 用于识别激光雷达传感器的防护屏上的污染的方法和设备
US20210278512A1 (en) Ascertainment of range limits for Lidar devices
EP2749899A2 (en) Method for differentiating between a target object and an atmospheric component in a measurement with the aid of an optoelectronic sensor device of a motor vehicle, sensor device and motor vehicle

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230626

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240123

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240419