JPWO2020039678A1 - ヘッドアップディスプレイ装置 - Google Patents

ヘッドアップディスプレイ装置 Download PDF

Info

Publication number
JPWO2020039678A1
JPWO2020039678A1 JP2020538181A JP2020538181A JPWO2020039678A1 JP WO2020039678 A1 JPWO2020039678 A1 JP WO2020039678A1 JP 2020538181 A JP2020538181 A JP 2020538181A JP 2020538181 A JP2020538181 A JP 2020538181A JP WO2020039678 A1 JPWO2020039678 A1 JP WO2020039678A1
Authority
JP
Japan
Prior art keywords
display device
vehicle
warning sound
sound
head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020538181A
Other languages
English (en)
Other versions
JP7186233B2 (ja
Inventor
秀宣 高田
秀宣 高田
望 下田
望 下田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxell Ltd
Original Assignee
Maxell Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maxell Ltd filed Critical Maxell Ltd
Publication of JPWO2020039678A1 publication Critical patent/JPWO2020039678A1/ja
Application granted granted Critical
Publication of JP7186233B2 publication Critical patent/JP7186233B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23Head-up displays [HUD]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0965Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages responding to signals from another vehicle, e.g. emergency vehicle
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/08Mouthpieces; Microphones; Attachments therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/166Navigation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/167Vehicle dynamics information
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/176Camera images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/178Warnings
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18Information management
    • B60K2360/191Highlight information
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0141Head-up displays characterised by optical features characterised by the informative content of the display
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0181Adaptation to the pilot/driver
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/10Automotive applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/4012D or 3D arrays of transducers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10General applications
    • H04R2499/13Acoustic transducers and sound field adaptation in vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Otolaryngology (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Traffic Control Systems (AREA)
  • Instrument Panels (AREA)

Abstract

ヘッドアップディスプレイ装置(HUD)1は、車両2の周囲音を集音するマイク40a〜dからの音声信号に特定の警告音が含まれているかどうかを判定する音声解析部42を備える。音声解析部42の判定により特定の警告音が検知されたとき、映像表示装置30は、検知した特定の警告音を示すアイコン91,92を表示する。特定の警告音には、緊急車両から発せられたサイレン音と一般車両から発せられたクラクション音を含み、音声解析部42は、入力した音声信号の周波数を解析することで特定の警告音であるか否かを判定する。

Description

本発明は、車両に搭載し周囲音の情報を表示するヘッドアップディスプレイ装置に関するものである。
近年、映像を現実空間に重ねて表示する技術の1つとして、車両のフロントガラスに各種情報を表示する車両用映像表示装置(いわゆるヘッドアップディスプレイ装置(以下、HUD))が実用化されている。その際、表示する映像情報として運転者向けの情報を提供することで、車両の運転操作を支援することができる。
一方、スピーカの音声を映像情報に変換して表示する技術も知られている。例えば特許文献1には、情報提供装置(カーナビゲーション装置)から出力される音声または音声信号の認識結果に対応する画像信号を生成し、生成された画像信号に対応する画像を表示する表示装置(HUD)が開示されている。
特開平11−219130号公報
運転中に窓を閉め切っていると、運転者には車外の周囲音が聞こえにくくなる。例えば、緊急車両からの警告音(サイレン音)や周辺走行車からの警告音(クラクション音)が聞こえないと、安全運転の支障になる恐れがある。特に、運転者又は同乗者が、車内スピーカで大きい音量で音楽等を聞いている場合や、運転者が難聴者である場合には周囲音が聞こえにくくなる。このように、運転中に車外の周囲音が聞こえにくい状況については、従来はあまり課題に取り上げられなかった。上記特許文献1の技術は、車内のカーナビゲーション装置で生成された音声情報を画像に変換して表示するものであり、車外の警告音を対象としたものでない。
本発明の目的は、運転中に車外の周囲音が聞こえにくい状況において、警告音などを運転者に映像で表示するヘッドアップディスプレイ装置を提供することである。
上記課題を解決するため、本発明によるヘッドアップディスプレイ装置は、車両の周囲音を集音するために車両に設置されたマイクからの音声信号を入力し、特定の警告音が含まれているかどうかを判定する音声解析部と、投射する映像を生成する映像表示装置と、音声解析部と映像表示装置を制御する制御部と、を備える。制御部は、音声解析部の判定により特定の警告音が検知されたとき、映像表示装置に対し、投射する映像に検知した特定の警告音を示すアイコンを追加して表示させる。ここに特定の警告音には、緊急車両から発せられたサイレン音と一般車両から発せられたクラクション音を含み、音声解析部は、入力した音声信号の周波数を解析することで特定の警告音であるか否かを判定する。
本発明によれば、運転中に車外の周囲音が聞こえにくい状況であっても、緊急車両の警告音などを運転者に映像として知らせることができ、安全運転に寄与する効果がある。
車両に搭載したヘッドアップディスプレイ装置(HUD)の概要を示す図。 HUDによる映像表示動作を示す図。 HUDの制御系の構成を示すブロック図。 車両に対するマイクの設置例を示す図。 各種警告音の仕様を示す図。 音声入力部と音声解析部の内部構成を示す図。 警告音の検知とアイコン表示の制御を示すフローチャート。 警告音のアイコン表示例を示す図。 警告音のアイコン表示の他の例を示す図。 警告音表示の優先度の設定例を示す図。
本発明によるヘッドアップディスプレイ装置(以下、HUD)の実施形態について、図面を用いて説明する。
図1は、車両に搭載したHUDの概要を示す図である。HUD1は車両2に搭載され、映像表示装置30で生成した映像をミラー52を介して車両2のフロントガラス3(ウィンドシールドとも呼ぶ)に投射する。ウィンドシールド3で反射した映像は運転者の目に入射し、映像を視認することができる。表示する映像には運転に関連する情報(自車、他車からの情報)が含まれ、運転操作を支援するものとなる。本実施例では、さらに、緊急車両からのサイレン音や周辺走行車からのクラクション音を検知したとき、これらの警告音を示す映像情報(アイコン)を表示する機能を有する。
HUD1の内部は、各種の車両情報4を取得する車両情報取得部10と、これをもとに表示する映像情報を生成する制御部20と、ミラー52を駆動するミラー駆動部50、車両の周囲音を集音する複数のマイク40a〜d、運転者に音声情報を出力するスピーカ60などを有する。なお、マイク40a〜dはHUD1に外付けした構成でも構わない。車両情報4には自車の運転状態を示す速度情報やギア情報などの他に、ハンドル操舵角情報、車内/車外カメラ映像情報、GPS(Global Positioning System)情報、ナビゲーション情報などが含まれる。
図2は、HUD1による映像表示動作を示す図である。車両2のダッシュボードの下部に設置された映像表示装置30から、表示用の映像が出射される。映像は、第1のミラー51と第2のミラー52で反射され、ウィンドシールド3に向けて投射される。第1のミラー51は固定されており、第2のミラー52はミラー駆動部50により回転可能となっている。
ミラー52から収束して投射された映像は、ウィンドシールド3にて反射され運転者の目5に入射して網膜上に結像することで、映像を視認することができる。そのとき運転者は、ウィンドシールド3の前方に存在する虚像9を見ていることになる。ここでミラー駆動部50は、運転者の目の高さに応じて虚像9の表示位置を調整する。すなわち、ミラー駆動部50によりミラー50を軸回転させることで虚像9の位置を上下方向に移動させ、虚像9を見やすい位置で視認することができる。
図3は、HUD1の制御系の構成を示すブロック図である。車両情報取得部10には各種の車両情報4が入力され制御部20へ送られる。制御部20内の電子制御ユニット(ECU、Electronic Control Unit)21は、入力した車両情報4に基づきHUD1が表示する映像信号(表示コンテンツ、表示アイコン)や、HUD1に対する各種制御信号を生成する。音声出力部22はスピーカ60への音声信号を生成する。不揮発性メモリ23は、ECU21が実行するプログラムを格納し、メモリ24は、映像情報や制御情報を記憶する。
映像表示装置30は、LEDやレーザなどの光源31、照明光学系(図示せず)、液晶素子などの表示素子32からなり、表示素子32で生成された映像光をミラー52に向けて出射する。
制御部20内の光源調整部25は、映像表示装置30内の光源31を制御する。歪み補正部26は、表示する映像信号の歪みを補正し、表示素子駆動部27は、補正された映像信号に基づき映像表示装置30内の表示素子32を駆動する。ミラー調整部28は、ミラー52の位置や姿勢を調整するためにミラー駆動部50に対して駆動信号を出力する。
音声入力部41は、車両に設置した複数のマイク40a〜dからの音声信号を入力し、ECU21内の音声解析部42へ送る。音声解析部42は、入力した音声信号を解析し、特定の種類の警告音であるか、またどの方向からの警告音であるかなどを判定する。そして、音声解析部42の判定結果に応じて、ECU21は警告音に対応する表示アイコンを生成し、映像表示装置30にて追加して表示させる。音声解析部42の詳細と表示アイコンの具体例については後述する。
なお、図3の構成では、音声解析部42はECU21に含めて表現したが、ECU21とは別に制御部20内に独立して構成してもよい。また、マイク40a〜dからの音声信号については、車両情報4に含まれる1つの情報として扱い、車両情報取得部10を介して入力する構成でもよい。
図4は、車両2に対するマイクの設置例を示す図である。この例では、車両2の4隅に4個のマイク40a〜dを設置している。その理由は、警告音がどの方向から発せられたかを判定するためであり、これにより前後、左右の方向を識別する。つまり、4個のマイク40a〜dに入力した警告音の入力タイミング(または音量)を比較して、前後、左右の方向を識別することが可能となる。なお、簡略な構成として、車両の前後に各1個ずつマイクを設置する構成としても、前後方向の識別が可能である。
図5は、各種警告音の仕様を示す図である。運転中には様々な周囲音が存在するが、まず、緊急車両(救急車、消防車、パトロールカー)の発する警告音(サイレン音)を取り上げ、その仕様を記載している。いずれも、緊急車両の種類により警告音の周波数と吹鳴周期が規定されている。例えば救急車のサイレン音は、960Hz(ピー)/770Hz(ポー)の周波数をそれぞれ0.65secの周期で繰り返している。また、それぞれの音量についても規定されている。本実施例では、緊急車両のサイレン音だけでなく、一般車両からのクラクション音も検知対象とする。これらの警告音は、その周波数が異なっているので、警告音の周波数を識別することで、警告音の種類を判定することが可能となる。なお、警告音の区別であるが、緊急車両については救急車、消防車およびパトロールカーのいずれであるかを区別せずに同様に扱い、一般車両と区別することにする。よって、緊急車両の識別周波数fxを例えば700−1000Hz、一般車両の識別周波数fyを例えば400−500Hzとして、これらを図6で後述するバンドパスフィルタ(BPF2)421に設定することで、警告音の種類を判定することができる。
図6は、音声入力部41と音声解析部42の内部構成を示す図である。
音声入力部41には、車両に設置した各マイク40a〜dからの音声信号が入力し、初段のバンドパスフィルタ(BPF1)411では、低周波帯域と高周波帯域をカットし、全ての警告音が含まれる中間周波数帯域(例えば、400〜1000Hz)を通過させる。AD変換器412では、アナログ音声信号をデジタル信号に変換し、音声解析部42へ出力する。
音声解析部42では、後段のバンドパスフィルタ(BPF2)421により、図5に示した警告音特有の周波数帯域の信号を通過させる。例えば緊急車両についてはfx=700〜1000Hzを、一般車両についてはfy=400〜500Hzの通過帯域を設定し、これを交互に切り替える。具体的なフィルタ設計では、LPFとHPFを組み合わせて積分することで、より図5に示した警告音の周波数帯域に近い信号のみを抽出することができる。バンドパスフィルタ(BPF2)421を通過した各マイク40a〜dからの信号をSa〜Sdとする。
入力レベル測定部422は、バンドパスフィルタ(BPF2)421からの信号Sa〜Sdの振幅レベルを測定する。入力継続時間測定部423は、バンドパスフィルタ421からの信号Sa〜Sdの入力継続時間を測定する。入力信号比較部424は、バンドパスフィルタ421からの信号Sa〜Sdの入力タイミング、または振幅レベルを比較する。
解析結果出力部425は、各処理部の結果を基に解析結果43を出力する。すなわち、バンドパスフィルタ421の設定したフィルタ周波数(fx,fy)により警告音の種類(緊急車両/一般車両)を判定する。その際、入力レベル測定部422で測定した振幅レベルが所定値以上の信号を有効とし、入力継続時間測定部423で測定した入力継続時間が所定時間以上の信号を有効とする。振幅レベルが所定値未満のもの、または入力継続時間が所定時間未満のものは、ノイズとみなして警告音とは認めない。これらの閾値は運転環境条件に応じて適宜設定する。そして、入力信号比較部424での入力タイミング、または振幅レベルの比較結果から、最も早いタイミングで検出された信号、または最も振幅の大きい信号のマイクの方向が警告音の方向であると判定する。例えば、信号Sbが最も早く検出された場合は、マイク40bの方向、すなわち車両進行に対し右側前方が警告音の方向となる。この解析結果43はECU21に送られ、ECU21は警告音の種類と方向に対応する表示アイコンを生成する。
図7は、警告音の検知とアイコン表示の制御を示すフローチャートである。以下の処理は、制御部20内のECU21が音声解析部42を制御して行う。
S101:車両に搭載した4個のマイク40a〜dから、音声入力部41を介して周囲音の信号を入力する。
S102:音声解析部42のBPF2(421)の通過周波数を警告音の識別周波数に設定する。この周波数は、例えば図5における緊急車両のfx、一般車両のfyの間で交互に切り替える。
S103:BPF2を通過した各マイクからの入力信号が有効であるか否かを判定する。判定では、入力レベル測定器422で測定した振幅レベルが所定値以上で、入力継続時間測定部423で測定した入力継続時間が所定時間以上の信号を有効とする。いずれの判定も有効でない場合はS108に進み、S102で設定したBPF2の通過周波数に対応する警告音のアイコンが既に表示中であれば、そのアイコンを消去する。そしてS102に戻り、BPF2の通過周波数を切り替える。
S104:各マイクからの入力信号が有効である場合、警告音の種類と方向を判断する。警告音の種類は、S102で設定したBPF2の通過周波数から判断する。警告音の方向は、入力信号比較部424での各入力信号の入力タイミング、または振幅レベルの比較結果から判断する。
S105:ECU21は、S104で判断した警告音の種類等が、現在表示中の警告音よりも優先するか否かを判定する。図10で後述するように、警告音の種類等に優先度が設けられている場合、これに従って表示の可否を判断する。現在表示中の警告音よりも優先度が低い場合は、表示を行わずにS102に戻る。
S106:優先する警告音の場合、または優先度が設けられておらず複数の警告音の表示が許可されている場合は、検知した警告音の種類と方向に応じて、表示するアイコンとその表示位置を決定する。その表示例は図8と図9で後述する。
S107:ECU21は、表示素子駆動部27に対し、表示アイコンの映像信号を供給することで、HUD1は検知した警告音に対応するアイコンを表示する。その際、現在表示中の優先度の低い警告音のアイコンを消去する。その後S102へ戻り、上記処理を繰り返す。
以上のフローによれば、警告音を検知した場合、その優先度に従って警告音の種類に対応するアイコンを、運転者が音源の方向を認知できるように表示し、警告音を検知しなくなったら対応するアイコンを消去することができる。
図8は、警告音のアイコン表示例を示す図である。
(a)は道路上での車両走行状態を示し、自車両80が矢印方向に走行している。このとき、対向車線の前方から緊急車両81がサイレン音81aを鳴らして接近した場合、また、後続車両82からクラクション音82aを鳴らされた場合である。自車両80に搭載したHUD1はこれらの警告音を検知すると、警告音を受けたことを映像化してアイコンで表示する。
(b)はHUD1による警告音のアイコン表示例で、ウィンドシールド3を介して運転者の見る虚像9に警告音を示すアイコンを追加して表示する。ここでは3通りの表示例を示す。
(b1)は、自車両を示すアイコン90に、緊急車両81から受けたサイレン音を示すアイコン91を追加して表示した場合である。このときアイコン91の表示位置は、自車両のアイコン90に対しサイレン音を検知した右側前方の位置に表示する。
(b2)は、自車両を示すアイコン90とともに、後続車両82から受けたクラクション音を示すアイコン92を表示した場合である。アイコン92の表示位置は、自車両のアイコン90に対しクラクション音を検出した後方の位置に表示する。なお、サイレン音を示すアイコン91とクラクション音を示すアイコン92には異なるマークを用いることで、警告音の種類を区別して運転者に知らせるようにしている。
(b3)は、緊急車両81からのサイレン音と後続車両82からのクラクション音を同時に受けたとき、2つのアイコンを同時に表示した場合である。自車両のアイコン90の前方にはサイレン音を示すアイコン91を、後方にはクラクション音を示すアイコン92を同時に表示している。
このように、自車両の周囲音に警告音が含まれているとき、警告音を受けたことがHUD1により視覚的に表示されるので、運転者が周囲音を聞きとりにくい状況においても警告音の存在を容易に知ることができる。また、警告音の音源方向を伝えるため、図8(b)では、自車両を示すアイコン90に対して警告音のアイコン91,92の表示位置を変えるようにしたので、音源の方向を直感的に認知することができる。ただし、自車両のアイコン90とともに警告音のアイコン91,92を表示するため、広い表示スペースが必要となる。そこで、次のように簡略化した表示法も可能である。
図9は、警告音のアイコン表示の他の例を示す図である。
(a)は、自車両を示すアイコン90を削除し、警告音のアイコン91,92のみを表示した場合である。HUDの表示領域全体を利用して警告音のアイコン91,92を領域の隅に表示して音源の方向を伝えることができる。
(b)は、警告音のアイコン91,92の表示位置を固定し、音源方向を文字等で表示した場合である。音源方向は、例えばF(前)、Re(後)、Ri(右)、L(左)といった文字を組み合わせて表記する。この場合、表示位置が固定されるので、表示スペースを節約できる。
(c)は、自車両のアイコン90とともに警告音のアイコン91,92を表示するが、音源方向は前後方向の表示のみとした場合である。この場合も表示位置が限定されるので、表示スペースを節約できる。
(d)は、音源方向を複数のエリアに分割したアイコン93を表示しておき、警告音を検知したとき、対応するエリア94を点滅させる方法である。この方法によれば、距離感と方向を伝えることができる。なお、警告音の種類については、点滅方法を変えることなどにより区別することができる。
さらに(a)〜(c)においては、警告音のアイコン91,92の色や大きさなどで音源までの距離感を表現することもできる。このように、簡略化したアイコン表示法によっても、運転者は警告音の種類と音源の方向を認知することが可能である。
ここで、図8(b3)や図9(a)〜(c)のように、複数の警告音のアイコンを同時に表示する場合について考察する。これらの例では、異なる警告音(サイレン音とクラクション音)が異なる方向から受けているので、それぞれのアイコンの表示位置が重なることはない。しかし、警告音の方向が同じ場合には、複数のアイコンの表示位置が重なることになり、それぞれのアイコンのマークが異なっていても運転者には判別しにくくなる。また、それら警告音の方向が異なっていても、複数のアイコンを全て表示するのは運転者には煩わしい場合がある。そこで、複数の警告音を検知した場合(種類が同じ場合も含む)には、どの警告音を優先して表示するかについてのルール(優先度)を決めて、表示するアイコンの数を1つ(または2つ以内でもよい)に制限するのが好ましい。以下、優先度の設定について説明する。
図10は、警告音表示の優先度の設定例を示す図である。
(a)は表示対象の優先度の設定例である。つまり、検知した警告音が複数存在するとき、どの警告音を優先させて表示するかを示すものである。優先させる表示数は1つ、あるいは2つ以内に制限するのが実用的である。この優先度の設定は例えば不揮発性メモリ23に記憶させておき、ECU21はこれを参照して前記図7の優先度の判定(S105)を行う。
観点として、警告音の種類については、基本的にはクラクション音の方をサイレン音よりも優先させるのがよい。その理由は、クラクション音が使用されるケースは緊急事態が目の前に迫っている、あるいはもう既に起きていることから、即応性を要求されるからである。
警告音の音量については、同一種類の警告音であれば当然ながら音量の大きい方(より近い方)を優先させる。なお、サイレン音については音量が小さくても聞こえたら早く表示して、緊急車両が接近したときの備えをするのが好ましい。そして、サイレン音表示中にクラクション音を検知したら、直ちにクラクション音表示に切替えるようにする。
警告音の発生状況については、警告音を発する他の車両(警告音車両)の走行状態を考慮し、自車両に近づいてくる場合を遠ざかる場合よりも優先させる。その際、ドップラー効果により警告音の受信周波数が変化することを利用して、警告音車両が近づいているか遠ざかっているかを判定することができる。あるいは、警告音車両の走行速度が速い場合を遅い場合よりも優先させてもよい。
(b)は警告音表示機能の他の表示機能に対する優先度の設定例である。すなわち、ECU21はHUDの各種の表示機能を行う訳であるが、本実施例の警告音表示機能の優先度を、状況に応じて変更する。
自車両の走行状態の観点では、走行中は停止中よりも優先度を高くする。なぜなら、走行中は停止中と比べて他車両との相対速度が増大し、より高いリアルタイム性が求められるからである。
警告音検出状態の観点では、警告音を一度検知したら、その音量が所定レベル以下になるまでは、警告音表示機能の優先度を高くする。そして音量が所定レベル以下になったら(遠ざかったら)、優先度を低くするといった適応制御が望ましい。
さらに、本実施例の警告音表示機能が特に有効となる条件として、運転者が難聴者である場合や、車内音声(音楽等)が大きい場合には、優先度を高く設定するのがよい。
上記実施例では、検知する警告音として緊急車両のサイレン音や一般車両のクラクション音を対象としたが、車両以外からの緊急警報(Jアラートなど)の音声をマイクで検知した場合にも、HUDの映像として表示することも可能である。また、上記実施例で述べた複数の警告音に対する表示の優先度の設定は一例であり、状況に応じて適宜優先度を変更できることは言うまでもない。
以上述べたように本実施例によれば、自車両の周囲音に警告音が含まれているとき、警告音を受けたことがHUDにより視覚的に表示されるので、運転者が周囲音を聞きとりにくい状況においても警告音の存在を容易に知ることができる。その結果、安全運転の遂行に寄与するものとなる。
1:ヘッドアップディスプレイ装置(HUD)、
2:車両、
3:ウィンドシールド、
4:車両情報、
9:虚像、
10:車両情報取得部、
20:制御部、
21:電子制御ユニット(ECU)、
30:映像表示装置、
40:マイク、
41:音声入力部、
42:音声解析部、
90:自車両を示すアイコン、
91,92,93:警告音を示すアイコン、
421:バンドパスフィルタ(BPF2)、
424:入力信号比較部。

Claims (5)

  1. 車両に搭載し、映像を投射することで運転者に対して前記車両の前方に虚像を表示するヘッドアップディスプレイ装置において、
    前記車両の周囲音を集音するために前記車両に設置されたマイクからの音声信号を入力し、特定の警告音が含まれているかどうかを判定する音声解析部と、
    投射する映像を生成する映像表示装置と、
    前記音声解析部と前記映像表示装置を制御する制御部と、を備え、
    前記制御部は、前記音声解析部の判定により前記特定の警告音が検知されたとき、前記映像表示装置に対し、投射する映像に検知した前記特定の警告音を示すアイコンを追加して表示させることを特徴とするヘッドアップディスプレイ装置。
  2. 請求項1に記載のヘッドアップディスプレイ装置において、
    前記特定の警告音には、緊急車両から発せられたサイレン音と一般車両から発せられたクラクション音を含み、
    前記音声解析部は、入力した音声信号の周波数を解析することで前記特定の警告音であるか否かを判定することを特徴とするヘッドアップディスプレイ装置。
  3. 請求項2に記載のヘッドアップディスプレイ装置において、
    前記制御部は前記映像表示装置に対し、検知した前記特定の警告音の種類に応じて異なるアイコンを表示させることを特徴とするヘッドアップディスプレイ装置。
  4. 請求項2に記載のヘッドアップディスプレイ装置において、
    前記車両には、前記マイクを複数個所に設置しておき、
    前記音声解析部は、複数の前記マイクから入力した複数の音声信号の入力タイミング、または振幅レベルを比較して、検知した前記特定の警告音の方向を判定し、
    前記制御部は前記映像表示装置に対し、検知した前記特定の警告音の方向に応じてアイコンの表示方法を変えて表示させることを特徴とするヘッドアップディスプレイ装置。
  5. 請求項2に記載のヘッドアップディスプレイ装置において、
    前記特定の警告音は、その種類や発生状況に応じて表示する優先度を設定しておき、
    前記制御部は、前記音声解析部により複数の前記特定の警告音が検知されたとき、設定された前記優先度に応じて前記映像表示装置にて表示するアイコンの数を制限することを特徴とするヘッドアップディスプレイ装置。
JP2020538181A 2018-08-24 2019-05-24 ヘッドアップディスプレイ装置 Active JP7186233B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018156871 2018-08-24
JP2018156871 2018-08-24
PCT/JP2019/020681 WO2020039678A1 (ja) 2018-08-24 2019-05-24 ヘッドアップディスプレイ装置

Publications (2)

Publication Number Publication Date
JPWO2020039678A1 true JPWO2020039678A1 (ja) 2021-08-10
JP7186233B2 JP7186233B2 (ja) 2022-12-08

Family

ID=69591982

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020538181A Active JP7186233B2 (ja) 2018-08-24 2019-05-24 ヘッドアップディスプレイ装置

Country Status (5)

Country Link
US (2) US12057091B2 (ja)
JP (1) JP7186233B2 (ja)
CN (1) CN112334354A (ja)
DE (1) DE112019003127T5 (ja)
WO (1) WO2020039678A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111508046B (zh) * 2020-03-13 2023-08-22 重庆利龙中宝智能技术有限公司 一种基于OpenGL的车辆报警图标绘制方法、系统及存储介质
JP7306333B2 (ja) * 2020-06-11 2023-07-11 株式会社デンソー 画像処理装置
JP2022148999A (ja) * 2021-03-25 2022-10-06 本田技研工業株式会社 車両用表示制御装置、車両用表示制御装置の制御方法、およびプログラム
CN115104142A (zh) * 2022-05-16 2022-09-23 广东逸动科技有限公司 一种船舶报警方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06328980A (ja) * 1993-05-25 1994-11-29 Casio Comput Co Ltd 車載用警報装置
JP2006015803A (ja) * 2004-06-30 2006-01-19 Nissan Motor Co Ltd 車両用表示装置、および車両用表示装置を搭載した車両
JP2010067165A (ja) * 2008-09-12 2010-03-25 Denso Corp 車両用緊急車両接近検出システム
JP2016139881A (ja) * 2015-01-27 2016-08-04 国立大学法人 名古屋工業大学 ヘッドマウントディスプレイ
WO2017090464A1 (ja) * 2015-11-25 2017-06-01 日本精機株式会社 ヘッドアップディスプレイ
JP2017215816A (ja) * 2016-05-31 2017-12-07 株式会社リコー 情報表示装置、情報表示システム、情報表示方法及びプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3744177B2 (ja) 1998-01-29 2006-02-08 株式会社島津製作所 表示システム
US20160187654A1 (en) * 2011-02-28 2016-06-30 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a light transmissive wedge shaped illumination system
US20140309878A1 (en) * 2013-04-15 2014-10-16 Flextronics Ap, Llc Providing gesture control of associated vehicle functions across vehicle zones
FI129137B (en) * 2016-09-22 2021-08-13 Noiseless Acoustics Oy ACOUSTIC CAMERA AND METHOD FOR DETECTING ACOUSTIC EMISSIONS FROM VARIOUS LOCATIONS AND EQUIPMENT
CN108459411A (zh) * 2017-02-20 2018-08-28 上海蔚兰动力科技有限公司 抬头显示器与运输工具

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06328980A (ja) * 1993-05-25 1994-11-29 Casio Comput Co Ltd 車載用警報装置
JP2006015803A (ja) * 2004-06-30 2006-01-19 Nissan Motor Co Ltd 車両用表示装置、および車両用表示装置を搭載した車両
JP2010067165A (ja) * 2008-09-12 2010-03-25 Denso Corp 車両用緊急車両接近検出システム
JP2016139881A (ja) * 2015-01-27 2016-08-04 国立大学法人 名古屋工業大学 ヘッドマウントディスプレイ
WO2017090464A1 (ja) * 2015-11-25 2017-06-01 日本精機株式会社 ヘッドアップディスプレイ
JP2017215816A (ja) * 2016-05-31 2017-12-07 株式会社リコー 情報表示装置、情報表示システム、情報表示方法及びプログラム

Also Published As

Publication number Publication date
JP7186233B2 (ja) 2022-12-08
US20210166659A1 (en) 2021-06-03
DE112019003127T5 (de) 2021-04-01
US12057091B2 (en) 2024-08-06
US20240347023A1 (en) 2024-10-17
CN112334354A (zh) 2021-02-05
WO2020039678A1 (ja) 2020-02-27

Similar Documents

Publication Publication Date Title
JP7186233B2 (ja) ヘッドアップディスプレイ装置
US10351148B2 (en) System and method for sound direction detection in a vehicle
WO2015162764A1 (ja) 車載情報機器および車載情報機器の機能制限方法
US8605948B2 (en) Driver assistance system for monitoring driving safety and corresponding method for detecting and evaluating a vehicle movement
JP2020091790A (ja) 自動運転システム
JP6587776B1 (ja) 情報提示制御装置、情報提示装置及び情報提示制御方法、並びにプログラム及び記録媒体
JP2013198065A (ja) 音声提示装置
JP2015022453A (ja) 緊急車両報知システム
CN105799584A (zh) 周围车辆鸣笛声音微处理器、提示装置和自动驾驶系统
JP2016007989A (ja) 車両制御装置及び車両制御方法
KR20210113070A (ko) 주의 기반 알림
CN110376589B (zh) 用于进行环境感测的方法和用于机动车的环境感测系统
GB2542846A (en) Hazard indicating system and method
JP2006190193A (ja) 車両用警報装置
KR20190133358A (ko) 청각장애인을 위한 차량의 경보시스템 및 그 제어방법
JP2015001776A (ja) 運転支援装置
KR101747818B1 (ko) 지능형 차량경보 장치 및 그 방법
US9139132B2 (en) Vehicle approach information device with indicator to the driver
JP4873255B2 (ja) 車両用報知システム
JP2008257636A (ja) 運転支援装置
WO2019093225A1 (ja) 情報提示システム、移動体、情報提示方法及びプログラム
JP7434882B2 (ja) 危険運転判定装置、危険運転判定方法、および危険運転判定プログラム
JP2008046862A (ja) 車両用警報装置及び警告音出力方法
US20210358300A1 (en) Method for identifying sirens of priority vehicles and warning a hearing-impaired driver of the presence of a priority vehicle
JP6272142B2 (ja) 車載用音響装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210831

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20211020

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20211027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220426

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220624

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221101

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221128

R150 Certificate of patent or registration of utility model

Ref document number: 7186233

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150