JP7070169B2 - 音響システム - Google Patents

音響システム Download PDF

Info

Publication number
JP7070169B2
JP7070169B2 JP2018128885A JP2018128885A JP7070169B2 JP 7070169 B2 JP7070169 B2 JP 7070169B2 JP 2018128885 A JP2018128885 A JP 2018128885A JP 2018128885 A JP2018128885 A JP 2018128885A JP 7070169 B2 JP7070169 B2 JP 7070169B2
Authority
JP
Japan
Prior art keywords
sound
vehicle
terminal device
user
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018128885A
Other languages
English (en)
Other versions
JP2020010156A (ja
Inventor
広毅 岡田
竜太 渥美
大介 廣木
晋平 浅井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2018128885A priority Critical patent/JP7070169B2/ja
Priority to US16/411,988 priority patent/US10824389B2/en
Priority to DE102019112847.1A priority patent/DE102019112847A1/de
Priority to CN202110390956.7A priority patent/CN113115156A/zh
Priority to CN201910487895.9A priority patent/CN110753281B/zh
Priority to CN202110390955.2A priority patent/CN113259798A/zh
Publication of JP2020010156A publication Critical patent/JP2020010156A/ja
Priority to US17/039,247 priority patent/US11640274B2/en
Application granted granted Critical
Publication of JP7070169B2 publication Critical patent/JP7070169B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1091Details not provided for in groups H04R1/1008 - H04R1/1083
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/165Management of the audio stream, e.g. setting of volume, audio stream path
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/12Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20Means to switch the anti-theft system on or off
    • B60R25/25Means to switch the anti-theft system on or off using biometry
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/221Physiology, e.g. weight, heartbeat, health or special needs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/60Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H04M1/6033Substation equipment, e.g. for use by subscribers including speech amplifiers for providing handsfree use or a loudspeaker mode in telephone sets
    • H04M1/6041Portable telephones adapted for handsfree use
    • H04M1/6075Portable telephones adapted for handsfree use adapted for handsfree use in a vehicle
    • H04M1/6083Portable telephones adapted for handsfree use adapted for handsfree use in a vehicle by interfacing with the vehicle audio system
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/60Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H04M1/6033Substation equipment, e.g. for use by subscribers including speech amplifiers for providing handsfree use or a loudspeaker mode in telephone sets
    • H04M1/6041Portable telephones adapted for handsfree use
    • H04M1/6075Portable telephones adapted for handsfree use adapted for handsfree use in a vehicle
    • H04M1/6083Portable telephones adapted for handsfree use adapted for handsfree use in a vehicle by interfacing with the vehicle audio system
    • H04M1/6091Portable telephones adapted for handsfree use adapted for handsfree use in a vehicle by interfacing with the vehicle audio system including a wireless interface
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72463User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions to restrict the functionality of the device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1041Mechanical or electronic switches, or control elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/10Details of earpieces, attachments therefor, earphones or monophonic headphones covered by H04R1/10 but not provided for in any of its subgroups
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00Details of connection covered by H04R, not provided for in its groups
    • H04R2420/03Connection circuits to selectively connect loudspeakers or headphones to amplifiers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/40Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]

Description

本発明は、ユーザーの耳に装着される端末装置を含む音響システムに関する。
近年では、ユーザーの耳に装着され、放音手段から耳穴に参照音を放音し、反響音を収音手段で収音し、反響音が有するユーザーに固有の特徴に基づいてユーザーを認証する、耳穴認証機能を有する端末装置が提案されている(特許文献1参照)。
また、車両におけるユーザーの利便性を向上する音響技術に関して、車両外部の音を収音するマイクが、車両外部のサイレンのような特定の装置から放音された音声を収音した場合は、車両内のスピーカーから対応する音声を放音することにより、車両内のユーザーに対して車両外の状況を分かりやすくする車両音声通知システムが提案されている(特許文献2)。
特開2010-86328号公報 特開2015-32155号公報
特許文献1の端末装置を用いたユーザー認証機能を用いて、端末装置を装着したユーザーに車両のドアロック解除等の操作の許否を制御することが考えられる。しかし、ユーザーが、例えば、端末装置で音楽を聴きながら車両に乗り込んだ際、音楽を車両のスピーカーからの出力に切り替えたい場合、ユーザー自身が切り替え操作をする必要があり、ユーザーに煩わしさを感じさせる。
本発明は、上記課題を鑑みてなされたものであり、認証機能を有する音響装置を装着したユーザーが車両に搭乗する際の利便性を向上した音響システムを提供することを目的とする。
上記課題を解決するために、本発明の一局面は、ユーザーの耳に装着可能な第1端末装置と、車載装置と、第1端末装置および車載装置のうち予め定められた送信先に音データを送信可能な第2端末装置とを備える音響システムであって、第1端末装置は、ユーザーの耳穴に、所定の周波数および音圧の認証用の音、および、第1端末装置が受信する音データに基づく音を放音可能な第1端末放音部と、認証用の音に対するユーザーの耳穴からの反響音を収音する耳穴収音部と、認証用の音を第1端末放音部に放音させ、収音部が収音した反響音に基づいて第1端末装置とユーザーとの間の認証を行う第1端末制御部とを含み、車載装置は、車載装置が受信または生成する音データに基づく音を放音可能な車載装置放音部と、第1端末装置との通信に基づいて、車載装置とユーザーとの間の認証を行う車載装置制御部を含み、第2端末装置は、車載装置制御部がユーザーを認証したことを含む所定の条件が成立したことを検知していない場合は、音データの送信先を第1端末装置とし、所定の条件が成立したことを検知すると、音データの送信先として、第1端末装置および車載装置のうち、いずれかを選択する、第2端末制御部を含む、音響システムである。
以上のように、本発明によれば、耳穴反響音による認証機能を有する装置である第1端末装置を耳に装着したユーザーが車両に搭乗する際に、ユーザーが聴きたい音を第1端末装置、車載装置等のいずれかから放音させるか、ユーザーが切り替え操作を行うことなく、予め行った設定に基づいて切り替えることができ、ユーザーの利便性を向上した音響システムを提供することができる。
本発明の一実施形態に係る音響システムの構成例を示す図 本発明の一実施形態に係る音響システムの機能ブロックを示す図 本発明の一実施形態に係る処理を示すシーケンス図 本発明の一実施形態に係る詳細処理を示すシーケンス図 本発明の一実施形態に係る追加処理を示すシーケンス図
(概要)
本発明に係る音響システムは、ユーザーの耳に装着される第1端末装置、例えばスマートフォンのような第2端末装置、および、車両を含む。ユーザーが車両から離れているときは、第2端末装置は、音楽等の音データを、第1端末装置に送信する。これにより、ユーザーは第1端末装置によって音楽等を聴くことができる。ユーザーが、車両に乗り込む際には、第2端末装置は、音データの送信先を、第1端末装置および車両のスピーカーのうち、予め指定したほうに設定する。これにより、ユーザー自身が出力設定の操作を行わなくても、第1端末装置および車両のスピーカーのうち、例えば好みのほうで音楽等を聴くことができ、利便性が高い。
(実施形態)
以下、本発明の一実施形態について、図面を参照しながら詳細に説明する。
<構成>
図1に、本実施形態に係る音響システム100の構成例を示す。音響システム100は一例としてユーザーの耳に装着される第1端末装置10と、ユーザーに所持される第2端末装置20と、車両に搭載される車載装置30とを含む。第1端末装置10は、車載装置30からの距離が一定以内である所定範囲500内にあるときは、車載装置30と無線通信が可能である。また、第2端末装置20は、例えばスマートフォンのような携帯型端末装置であり、第1端末装置10からの距離が一定以内であるときは、第1端末装置10と無線通信が可能である。
図2に、音響システム100の機能ブロックの一例を示す。第1端末装置10は、ユーザーの耳穴に放音する第1端末放音部11と、ユーザーの耳穴内の音を収音する耳穴収音部12と、ユーザーの音声を収音する音声収音部13と、第2端末装置20、車載装置30との通信を行う第1端末通信部14とを含み、さらに各種ボタンや加速度センサ等を含んでもよい。また、第1端末装置10は、これらの各部の動作を制御する第1端末制御部15を含む。
第2端末装置20は、第1端末装置10、車載装置30、後述するサーバー40との通信を行う第2端末通信部21を含み、さらに、ユーザーからの入力を受け付ける入力部やユーザーへの通知を表示する表示部等を含んでもよい。第2端末装置20は、また、これらの各部の動作を制御する第2端末制御部22を含む。
車載装置30は、車両内に備えられたスピーカーを有する車載装置放音部31と、第1端末装置10、第2端末装置20、後述のサーバー40との通信を行う車載装置通信部32と、これらの各部の動作を制御する車載装置制御部33とを含む。
第1端末制御部15、第2端末制御部22、車載装置制御部33は、それぞれ、制御処理を実行するプロセッサと、制御処理に用いる情報を適宜記憶する記憶部とを含む。また、第2端末通信部21および車載装置通信部32は、外部のサーバー40とは、例えばインターネット等のネットワークを介した無線通信を行ってもよい。
<処理>
図3は、第1端末装置10、第2端末装置20、車載装置30が行う処理を説明するシーケンス図である。図3を参照して、処理内容を説明する。本処理は、例えば、ユーザーが第1端末装置10を耳に装着した際に開始される。
(ステップS101):第1端末制御部15は、第1認証を行う。第1認証は、以下の方法で行う。第1端末制御部15は、第1端末放音部11に、所定の周波数、所定の音圧の認証用の音をユーザーの耳穴内へ放音させる。第1端末制御部15は、ユーザーの耳穴における認証用の音の反響音を耳穴収音部12に収音させる。反響音の周波数ごとの音圧特性は、耳穴ごとに異なるパターンを有する。第1端末制御部15は、収音した反響音の特性と予め第1端末装置10に登録され記憶している正規のユーザーの耳穴の反響音の特性との一致度を算出し、一致度が所定値より高い場合にユーザーが第1端末装置10の正規のユーザーであると認証する。この第1認証は、第1端末装置10とユーザーとの間の認証を行うものである。
(ステップS102):第2端末制御部22は、本ステップでは、音データの送信先を第1端末装置10としている。第2端末制御部22は、第2端末通信部21に、音データを第1端末装置10へ送信させる。音データは例えば、第2端末装置20が記憶している音楽データや、第2端末装置20が携帯電話である場合は、通話音声データを含む。第1端末装置10と第2端末装置20とは、例えば予め互いを通信相手として承認する処理(ペアリング)を行っているが、本例では、ステップS101でユーザーの認証に成功したことを受けて、実際に音データの通信を開始する。第2端末制御部22は、第1認証の成功を、例えば第1端末装置10から通知を受けることによって、検知することができる。
(ステップS103):第1端末制御部15は、第1端末通信部14が受信する音データに基づいて、第1端末放音部11に音を放音させる。電話の場合は、ステップS102、S103の処理に並行して、第1端末制御部15は、音声収音部13にユーザーの音声を収音させ、音声に基づく音データを生成し、生成した音データを第1端末通信部14から第2端末装置20へ送信させる。なお、以上のステップS102、S103の処理は、一般的に行われているスマートフォンとイヤホン等のヘッドセットとの間の無線通信経由の音楽再生や通話等の処理と同等である。このような音楽再生や通話等の処理はユーザーが所定の開始操作を行った場合に実行され、停止操作が行われるまで以降も継続するが、開始操作を行わなかった場合は実行されない。
(ステップS104):第1端末装置10を装着したユーザーが、車両に乗るため車両に近づき上述の範囲500内に入ると、第1端末装置10と車載装置30とが通信可能となる。第1端末制御部15は、第1端末通信部14が、車載装置30からの電波を受信することにより、通信可能であることを検知する。また、車載装置制御部33は、車載装置通信部32が、第1端末装置10からの電波を受信することにより、通信可能であることを検知する。第1端末制御部15は、後述する第2認証に用いる認証用データを送信する。
(ステップS105):車載装置制御部33は、第2認証を行う。第2認証は、以下の方法で行う。車載装置制御部33は、第1端末装置10と通信を行い、第1端末装置10がペアリング済みであることを検知する。第1端末装置10がペアリング済みであり、かつ、第1端末装置10から受信した認証用データが、第1認証の結果が成功であることを表していれば、車載装置制御部33は、ユーザーが、車両の正規のユーザーであると認証する。あるいは、車載装置制御部33は、第1端末装置10から、認証用データとして、第1認証の結果の代わりに耳穴収音部12が収音したユーザーの反響音を表す情報を受信してもよい。この場合、車載装置制御部33は、第1端末装置10がペアリング済みであり、かつ、認証用データが表わす反響音の特性と、予め車載装置30やサーバー40に登録した車両の正規のユーザーの耳穴の反響音の特性との一致度を算出し、一致度が所定値より高い場合にユーザーが車両の正規のユーザーであると認証する。この第2認証は、第1端末装置10を介して、車載装置30とユーザーとの間で認証を行うものであり、成功することによって、車両に搭載された各種機器は、車両のドアアンロック操作やエンジン始動操作を許可する。
(ステップS200):第2認証においてユーザー認証が成立した後、音データの出力先の切り替え処理が実行される。以下でステップS200の出力先切替処理の詳細処理の具体例を説明する。
(ステップS200の詳細処理の例:ステップS201~S207)
図4は、出力先切替処置の詳細処理の一例を示すシーケンス図である。本例では、第2端末装置20が、音データの送信先の切り替えを行う。
(ステップS201):第2端末制御部22は、第2認証に成功したことを、例えば、第2端末通信部21が車載装置30から通知を受けることによって検知することができる。このような通知は、第1端末装置10を経由して受けてもよい。第2認証に成功した場合、第2端末制御部22は、第2端末通信部21の通信により、音データの送信先を、サーバー40に問い合わせる。音データの送信先は、例えばユーザーの識別子ごと、音データの分類を示す種別ごとに予め定められており、サーバー40は、例えば以下の表1に示すようなテーブルを記憶している。もちろん、ユーザーの識別子に依存せず定めてもよい。また、音データの種別に依存せず定めてもよい。第2端末制御部22は、音データの送信先の定め方に応じて、ユーザーの識別子や種別のような、音データの送信先を参照するのに必要な情報を特定してサーバー40に問い合わせる。
Figure 0007070169000001
(ステップS202):サーバー40は、問い合わせに応じて対応する送信先を第2端末装置20に通知する。なお、表1に示すようなテーブルは、予め各ユーザーが好みに応じて設定しておくことができる。また、音データの種別は、音楽、電話以外も設けてもよいし、種別を設けなくてもよい。
(ステップS203):第2端末制御部22は、サーバー40から通知された送信先に、音データの送信先を設定する。たとえば、ユーザーの識別子が「A」で、現在送信中の音データの種別が「音楽」であれば、送信先を第1端末装置10から車載装置30に切り替えることになる。またユーザーの識別子が「A」で、現在送信中の音データの種別が「電話」であれば、送信先を第1端末装置10とし、結果的には送信先の変更はない。
(ステップS204):ステップS203で設定した送信先が車載装置30の場合、本ステップS204とS205が実行される。第2端末制御部22は、第2端末通信部21に、ステップS102で開始した音データの第1端末装置10への送信を停止させ、音データを車載装置30へ送信させる。なお、第2端末装置20と車載装置30とは、例えば予め互いを通信相手として承認する処理(ペアリング)を行っている。車載装置放音部31は、一般にイグニッションオフ時等には電力が供給されておらず放音ができない。そのため、第2端末制御部22は、車載装置30との通信により、車載装置放音部31からの放音が可能であるか否かを本ステップ実行前に確認し、可能であることを検知するまで、本ステップの実行を待機するのが好ましい。
(ステップS205):車載装置制御部33は、車載機器通信部32が受信する音データに基づいて、車載装置放音部31に音を放音させる。以上で処理は終了となる。
(ステップS206):ステップS203で設定した送信先が第1端末装置10の場合、本ステップS206とS207が実行される。第2端末制御部22は、第2端末通信部21に、ステップS102で開始した音データの第1端末装置10への送信を継続させる。
(ステップS207):第1端末制御部15は、第1端末通信部14が受信する音データに基づいて、第1端末放音部11に音を放音させる。以上で処理は終了となる。
以上の例では、第2端末装置20による音データの送信先の切り替えを行うことができる。これにより、ユーザーが車両に搭乗する場合、第1端末装置10および車載装置30のいずれから放音するかを、ユーザーが切り替え操作を行うことなく、例えば音データの種別ごとにユーザーの好みに応じて、切り替えることができ、利便性が高い。切り替えは、上述のように第2端末装置20が、第1端末装置10を装着したユーザーが車両に接近したことを表す第2認証の成功を検出したことを所定の条件として行われてもよいし、さらに、第1端末装置10を装着したユーザーが実際に車両内に乗り込んだことを検出したことを所定の条件としてもよい。例えば、車載装置制御部33が車載装置放音部31に、車両内に所定パターンの可聴音あるいは超音波や超低周波の非可聴音を放音させ、第1端末装置10がこの所定パターンの音を収音する収音部をさらに備え、第1端末制御部15が音圧や到達時間に基づく測位を行い、その結果を第2端末装置20に通知することにより、第1端末装置10が車両内にあることを検出できる。また、このような音の代わりに、第1端末通信部14と車載装置通信部32との間で、車両内部を到達範囲とする、ごく微弱な電波による通信を行い、通信ができた場合に第1端末制御部15が第2端末装置20に通知することによっても、第1端末装置10が車両内にあることを検出することができる。第1端末装置10が車両内にあることの検出は、他にも各種のセンサ等を用いることで実施でき、乗員検出方法は限定されない。
なお、ステップS102、S103が実行されず、音データの送信や放音が行われていない場合は、ステップS203の送信先の設定まで実行し、ステップS204~S207の処理は、ユーザーによる音楽再生等の操作が行われるまで、待機すればよい。
また、音データの種別が電話である場合、上述のステップS204において、さらに、第2端末制御部22は、ユーザーの通話音声の収音を、第1端末装置10の音声収音部13ではなく、車両が備えるハンズフリーマイクで行うようにしてもよい。この場合、第2端末制御部22は、ハンズフリーマイクが収音した音を送信するよう、車載装置30に要求し、車載装置制御部33は、要求に応じて、ハンズフリーマイク等が収音した音に基づく音データを生成し、生成した音データを車載装置通信部32から第2端末装置20へ送信させる。
また、音データの種別が電話である場合、車載装置30は、第1端末装置10を用いた上述の乗り込み検出機能や、車両内の各種センサによって、車両内の搭乗者の位置や数を検出し、通話中のユーザー以外の搭乗者がいる場合は、ステップS202の通知結果によらず、音データを第1端末装置10に送信してもよい。これにより、通話相手の声を通話中のユーザーのみが個人的に聞くことができる。また、サーバー40に、種別が電話である音データについて、ユーザー以外の搭乗者がいる場合の送信先をさらに設定しておき、ステップS203において、ステップS202の通知結果とユーザー以外の搭乗者の有無とに応じて、音データの送信先を設定するようにしてもよい。また、車両内での通話中は、車載装置放音部31が備えるスピーカーが放音可能な音量を小さくするか、あるいは、消音してもよい。スピーカーが複数ある場合、少なくとも通話中のユーザーに最も近いスピーカーについて、音量を小さくするか、あるいは、消音を行えばよい。これにより、通話音声にスピーカーからの音声が混ざりにくく通話がしやすくなるとともに、通話中のユーザー以外の搭乗者は、スピーカーからの音楽を聴くことができる。また、このような処理は音データの種別が電話である場合に限定されない。音データの種別として、個人的に楽しみたく他人に聴かせたくない音楽等を表す特定の種別を設け、このような種別については同様の処理を行ってもよい。また、搭乗者がいない場合であっても、同様の処理を行ってもよい。これによってスピーカーからの音によって第1端末装置10からの音が聞こえにくくなることを抑制できる。
(ステップS200の追加処理の例:ステップS211~S219)
図5は、出力先切替処置における追加処理の例を示すシーケンス図である。この追加処理においては、車載装置30が、音データの送信先の切り替えを実行する。本例は上述のステップS201~S207と並列的に実施することができる。
(ステップS211):本例では、車載装置30は、第2認証に成功したユーザーに対して音声によるガイドを行うことができる。第2認証に成功した時点ではユーザーは車両外にいるので車載装置制御部33は、ガイド用に生成した音データの送信先を、第1端末装置10に設定する。車載装置制御部33は、生成した音データがある場合は、車載装置通信部32から第1端末装置10へ送信させる。
(ステップS212):第1端末制御部15は、第1端末通信部14が受信する音データに基づいて、第1端末放音部11に音を放音させる。
(ステップS213):第1端末装置10を装着したユーザーが車両に乗り込むと、車載装置制御部33は、上述したような方法により、第1端末装置10が車両内にあることを検知する。
(ステップS214):車載装置制御部33は、第2端末通信部21の通信により、音データの送信先を、サーバー40に問い合わせる。このような車載装置が生成した音データは、例えば車載装置音声を表す種別の音データとして、例えばユーザーの識別子ごとに予め送信先が定められており、サーバー40は、例えば表1と同様の形式で、以下の表2に示すようなテーブルを記憶している。ユーザーの識別子に依存せず送信先を定めてもよい。第2端末制御部22は音データの送信先の定め方に応じて、ユーザーの識別子や種別のような、音データの送信先を参照するのに必要な情報を特定してサーバー40に問い合わせる。
Figure 0007070169000002
(ステップS215):サーバー40は、問い合わせに応じて対応する送信先を車載装置30に通知する。なお、表2に示すようなテーブルは、予め各ユーザーが好みに応じて設定しておくことができる。
(ステップS216):車載装置制御部33は、サーバー40から通知された送信先に、音データの送信先を設定する。たとえば、ユーザーの識別子が「A」であれば、送信先を第1端末装置10から車載装置30に切り替えることになる。またユーザーの識別子が「B」であれば、送信先を第1端末装置10とし、結果的には送信先の変更はない。
(ステップS217):ステップS216で設定した送信先が第1端末装置10の場合、本ステップS217とS218が実行される。車載装置制御部33は、生成した音データがある場合、音データを、車載装置通信部32から第1端末装置10へ送信させる。
(ステップS218):第1端末装置10は、第1端末通信部14が受信する音データに基づいて、第1端末放音部11に音を放音させる。以上で処理は終了となる。
(ステップS219):ステップS216で設定した送信先が車載装置30の場合、本ステップS219が実行される。車載装置制御部33は、生成した音データがある場合、音データを車載装置30内の車載装置放音部31に送信して、音データに基づく音を放音させる。以上で処理は終了となる。
以上の追加処理では、車載装置30が、第1端末装置10を装着したユーザーが車両に接近したことを表す第2認証の成功によって、第1端末装置10に対してドアアンロックのためのドアハンドルタッチ操作を促す音声や、ユーザーからの操作に応じてドアアンロックを実行したことを表す音声等を送信することができ、車外にいるユーザーに好適にガイドを行うことができる。また、第1端末装置10を装着したユーザーが実際に車両内に乗り込んだことを検出すると、エンジン始動等のガイド音声を、第1端末装置10および車載装置30のいずれから放音するかを、ユーザーが切り替え操作を行うことなく、例えばユーザーの好みに応じて、切り替えることができ、利便性が高い。
なお、第1端末制御部15は、第2認証の後、ユーザーが車両操作するための音声コマンドを受け付けてもよい。この場合、第1端末制御部15は、第2認証に成功したことを検知すると、音声収音部13が収音した音声コマンドに基づく音データの送信先を、第2端末装置20から車載装置30に変更する。この場合、車載装置制御部33は車載装置通信部32が受信した音データに基づいて、ドアアンロック等の車両の各部の動作を制御する。この場合、車載装置制御部33は、上述の音データとして音声コマンドに対する応答音声を表す音データを生成してもよい。
なお、上述のステップS102、S103で開始された、第1端末装置10と第2端末装置20とが通信することによってユーザーが音楽を聴いたり通話をしたりしている状態が、ステップS211やステップS217において継続している場合における、音楽または通話の処理と、車載装置30からの音声や車載装置30への音声コマンドの処理との、処理の優先順位は限定されず、第1端末装置10の機器構成や無線通信の仕様、あるいはユーザーからの設定に応じて適宜定めればよく、上述の各種音データの送信先の変更や放音を、例えば待機あるいはキャンセルしてもよい。例えば、音楽再生中や通話中は、車載装置30のガイド音声の音データの受信や放音を制限してもよく、あるいは音楽や通話音声にガイド音声を重畳して放音してもよい。また、通話中は、音声コマンドによる車両操作の受け付けを制限してもよい。また、上述のステップS201~S207の処理は実施せずに、ステップS211からS219の処理を実施することもできる。
以上、本発明の一実施形態を説明した。上述の実施形態では、第1端末装置10および車載装置30は、音データの送信先をサーバー40に問い合わせるものとした。これにより、ユーザーごと、音データの種別ごとの送信先の設定内容をサーバー40によって一元的に管理することができ好ましい。しかし、これに限定されず、第1端末装置10、第2端末装置20および車載装置30が個別に送信先を記憶するようにしてもよい。また、音データの送信先は、ユーザーごと、あるいは、音データの種別ごとに対応付けられていなくてもよく、対応付けの規則は限定されない。
また、第1認証、第2認証は、所定の周期で繰り返し行ってもよく、ドアアンロックやエンジン始動等のような車両操作が行われるごとに行ってもよい。また、第1認証は、第1端末装置10がユーザーの耳への装着状態を検出するセンサを備え、第1端末制御部15が、センサによって耳からの離脱を検出した場合、認証結果を無効にし、その後の装着時に再度認証を実行することが好ましい。また、第2認証は、第1端末装置10が上述の範囲500の外に出て、車載装置30との通信電波が途絶した場合、認証結果を無効にし、その後の電波再検知時に再度認証を実行することが好ましい。これらにより、ユーザーの認証機会を増やしセキュリティを向上することができる。第1端末制御部15は、第1端末放音部11から認証用の音を放音させる際、音楽や通話音声等の音データに基づく音を放音中である場合は、認証用の音として非可聴帯域の音を放音させ、音データに基づく音の放音を中断しないようにしてもよい。これにより、ユーザーにとって、聴いている音が途切れたり、認証用の音が重なって聞こえたりすることがなく、好適に音データに基づく音を聴くことができる。
なお、第1端末装置10を装着したユーザーが降車した場合、車載装置制御部33は、例えば上述した乗員検出方法による検出結果によってこれを検知して、音データの送信先を第1端末装置10にすればよい。また、第1端末装置10を装着したユーザーが降車した場合、あるいは、さらに上述した範囲500の外に出た場合、第2端末制御部22は、例えば車載装置30から検知結果を受信したり、車載装置30からの通信電波途絶を検出したりすることによって、これを検知して、音データの送信先を第1端末装置10にすればよい。
また、音データの送信先は、第2端末装置20、車載装置30だけでなく、他の端末装置や他の車載装置に設定可能であってもよい。
(効果)
以上のように、本発明によれば、第1端末装置を耳に装着したユーザーが車両に搭乗する際に、ユーザーが聴きたい音を第1端末装置、車載装置等のいずれかから放音させるか、ユーザーが切り替え操作を行うことなく、予め行った設定に基づいて切り替えることができ、ユーザーの利便性を向上した音響システムを提供することができる。
以上、本発明の一実施形態を説明したが、本発明は、音響システム、音響システムを構成する第1端末装置および車載装置、これらの装置が備える制御部が実行する放音制御方法、放音制御プログラムおよび放音制御プログラムを記憶したコンピューター読み取り可能な非一時的な記録媒体、あるいは車載装置を搭載した車両として捉えることができる。
本発明は、車両等に搭載される音響システムに有用である。
10 第1端末装置
11 第1端末放音部
12 耳穴収音部
13 音声収音部
14 第1端末通信部
15 第1端末制御部
20 第2端末装置
21 第2端末通信部
22 第2端末制御部
30 車載装置
31 車載装置放音部
32 車載装置通信部
33 車載装置制御部
40 サーバー
100 音響システム

Claims (12)

  1. ユーザーの耳に装着可能な第1端末装置と、車両に搭載される車載装置と、前記第1端末装置および前記車載装置のうち予め定められた送信先に音データを送信可能な第2端末装置とを備える音響システムであって、
    前記第1端末装置は、
    前記ユーザーの耳穴に、所定の周波数および音圧の認証用の音、および、前記第1端末装置が受信する音データに基づく音を放音可能な第1端末放音部と、
    前記認証用の音に対する前記ユーザーの前記耳穴からの反響音を収音する耳穴収音部と、
    前記認証用の音を前記第1端末放音部に放音させ、前記収音部が収音した前記反響音に基づいて前記第1端末装置と前記ユーザーとの間の認証を行う第1端末制御部とを含み、
    前記車載装置は、
    前記車載装置が受信または生成する音データに基づく音を放音可能な車載装置放音部と、
    前記第1端末装置との通信に基づいて、前記車載装置と前記ユーザーとの間の認証を行う車載装置制御部とを含み、
    前記第2端末装置は、
    前記車載装置制御部が前記ユーザーを認証したことを含む所定の条件が成立したことを検知していない場合は、前記音データの送信先を前記第1端末装置とし、前記所定の条件が成立したことを検知すると、前記音データの送信先として、前記第1端末装置および前記車載装置のうち、いずれかを選択する、第2端末制御部を含む、音響システム。
  2. 前記所定の条件は、前記第1端末装置が前記車両内にあることをさらに含む、請求項1に記載の音響システム。
  3. 前記音データの送信先は、少なくとも前記ユーザーに対応付けて予め定められている、請求項1または2に記載の音響システム。
  4. 前記音データの送信先は、少なくとも前記音データの分類を示す種別に対応付けて予め定められている、請求項1~3のいずれかに記載の音響システム。
  5. 前記音データのうち所定の種別の音データの送信先に関しては、前記所定の条件は、前記車両に前記ユーザー以外の搭乗者がいないことをさらに含む、請求項4に記載の音響システム。
  6. 前記車載装置放音部は、複数のスピーカーを有し、
    前記車載装置制御部は、さらに、前記ユーザーの前記車両内の位置を検知可能であり、前記第2端末装置が所定の種別の音データを前記第1端末装置に送信していることを検知すると、少なくとも前記ユーザーに最も近い位置にある前記スピーカーが放音可能な音量を小さくするか、または消音する、請求項1~5のいずれかに記載の音響システム。
  7. 前記第2端末制御部は、前記音データの送信先の選択を、サーバーから取得する情報に基づいて実行する、請求項1~6のいずれかに記載の音響システム。
  8. 前記車載装置制御部は、
    さらに、音データを生成可能であり、
    前記ユーザーを認証すると、前記車載装置制御部が生成した前記音データの送信先を前記第1端末装置とする、請求項1に記載の音響システム。
  9. 前記車載装置制御部は、
    前記ユーザーの認証後、さらに前記第1端末装置が前記車両内にあることを検知すると、前記車載装置制御部が生成した前記音データの送信先として、前記第1端末装置および前記車載装置放音部のうち、いずれかを選択する、請求項8に記載の音響システム。
  10. 前記車載装置制御部は、前記車載装置制御部が生成した前記音データの送信先の選択を、サーバーから取得する情報に基づいて実行する、請求項9に記載の音響システム。
  11. 前記第1端末装置は、前記ユーザーの音声を収音可能な音声収音部をさらに有し、
    前記第1端末制御部は、さらに、前記音声収音部が収音した音に基づいて音データを生成可能であり、
    前記車載装置制御部が前記ユーザーを認証したことを検知していない場合、前記第1端末制御部が生成した前記音データの送信先を前記第2端末装置とし、前記車載装置制御部が前記ユーザーを認証したことを検知すると、前記第1端末制御部が生成した前記音データの送信先を前記車載装置とする、請求項1に記載の音響システム。
  12. 前記第1端末装置が受信する前記音データに基づく音を、前記第1端末放音部が放音しているあいだに、前記認証用の音を放音させる場合は、前記第1端末制御部は、前記音データに基づく音の放音に重ねて、前記認証用の音として非可聴帯域の音を放音させる、請求項1~11のいずれかに記載の音響システム。
JP2018128885A 2018-07-06 2018-07-06 音響システム Active JP7070169B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2018128885A JP7070169B2 (ja) 2018-07-06 2018-07-06 音響システム
US16/411,988 US10824389B2 (en) 2018-07-06 2019-05-14 Acoustic system
DE102019112847.1A DE102019112847A1 (de) 2018-07-06 2019-05-16 Akustisches System
CN201910487895.9A CN110753281B (zh) 2018-07-06 2019-06-05 声学系统
CN202110390956.7A CN113115156A (zh) 2018-07-06 2019-06-05 终端装置
CN202110390955.2A CN113259798A (zh) 2018-07-06 2019-06-05 智能电话
US17/039,247 US11640274B2 (en) 2018-07-06 2020-09-30 Smartphone that communicates with an earpiece and a vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018128885A JP7070169B2 (ja) 2018-07-06 2018-07-06 音響システム

Publications (2)

Publication Number Publication Date
JP2020010156A JP2020010156A (ja) 2020-01-16
JP7070169B2 true JP7070169B2 (ja) 2022-05-18

Family

ID=68943952

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018128885A Active JP7070169B2 (ja) 2018-07-06 2018-07-06 音響システム

Country Status (4)

Country Link
US (2) US10824389B2 (ja)
JP (1) JP7070169B2 (ja)
CN (3) CN113259798A (ja)
DE (1) DE102019112847A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10730514B2 (en) * 2018-09-12 2020-08-04 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for extending detachable automobile sensor capabilities for collision avoidance
US11758360B2 (en) * 2020-02-28 2023-09-12 Comcast Cable Communications, Llc Methods, systems, and apparatuses for presence detection
CN112104675B (zh) * 2020-11-19 2021-02-05 深圳市房多多网络科技有限公司 身份验证方法和系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004065363A (ja) 2002-08-02 2004-03-04 Sony Corp 個人認証装置と個人認証方法、及び信号伝送装置

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6937732B2 (en) * 2000-04-07 2005-08-30 Mazda Motor Corporation Audio system and its contents reproduction method, audio apparatus for a vehicle and its contents reproduction method, portable audio apparatus, computer program product and computer-readable storage medium
US7251507B2 (en) * 2000-09-12 2007-07-31 Matsushita Electric Industrial Co., Ltd. On-vehicle handsfree system and mobile terminal thereof
US7805169B2 (en) * 2004-09-08 2010-09-28 At&T Intellectual Property I, L.P. Methods, systems, and key fob apparatuses for facilitating hands free mobile communications from within an automotive vehicle
US7529379B2 (en) * 2005-01-04 2009-05-05 Motorola, Inc. System and method for determining an in-ear acoustic response for confirming the identity of a user
US9161189B2 (en) * 2005-10-18 2015-10-13 Telecommunication Systems, Inc. Automatic call forwarding to in-vehicle telematics system
JP4687594B2 (ja) * 2006-07-14 2011-05-25 カシオ計算機株式会社 携帯端末装置及びプログラム
US20080146206A1 (en) * 2006-12-13 2008-06-19 Pichardo Luis A Method and apparatus for routing content between mobile communication devices
US8233648B2 (en) * 2008-08-06 2012-07-31 Samsung Electronics Co., Ltd. Ad-hoc adaptive wireless mobile sound system
JP2010086328A (ja) 2008-09-30 2010-04-15 Yamaha Corp 認証装置および携帯電話機
JP2011160104A (ja) * 2010-01-29 2011-08-18 Alpine Electronics Inc ハンズフリー用音声出力システム
CN102781728B (zh) * 2010-03-09 2016-02-24 本田技研工业株式会社 能与便携设备配合工作的车载设备
JP5672822B2 (ja) * 2010-07-29 2015-02-18 トヨタ自動車株式会社 車両制御システム
US9131370B2 (en) * 2011-12-29 2015-09-08 Mcafee, Inc. Simplified mobile communication device
WO2013098262A1 (en) * 2011-12-30 2013-07-04 Gn Netcom A/S Transferring of audio routing in a premises distribution network
US8751065B1 (en) * 2012-12-14 2014-06-10 Denso Corporation Smartphone controller of vehicle settings
US9235422B2 (en) * 2013-03-13 2016-01-12 Google Technology Holdings LLC Electronic device mode detection
US10212534B2 (en) * 2013-03-14 2019-02-19 Michael Edward Smith Luna Intelligent device connection for wireless media ecosystem
US20160077789A1 (en) * 2013-04-17 2016-03-17 Harman International Industries, Incorporated Vehicle to vehicle data communication system
US9053516B2 (en) * 2013-07-15 2015-06-09 Jeffrey Stempora Risk assessment using portable devices
JP2015032155A (ja) 2013-08-02 2015-02-16 株式会社デンソー 音声通知システム
US9307429B2 (en) * 2014-03-27 2016-04-05 Google Technology Holdings LLC Selective user notification for link termination events in wireless personal area network
US9955331B2 (en) * 2014-06-09 2018-04-24 GM Global Technology Operations LLC Methods for prioritizing and routing audio signals between consumer electronic devices
CA2952084C (en) * 2014-06-11 2022-09-13 Veridium Ip Limited System and method for facilitating user access to vehicles based on biometric information
US9386381B2 (en) * 2014-06-11 2016-07-05 GM Global Technology Operations LLC Vehicle communication with a hearing aid device
KR101588190B1 (ko) * 2014-10-22 2016-01-25 현대자동차주식회사 차량, 그 제어 방법 및 차량에 포함되는 멀티미디어 장치
US9591396B2 (en) * 2015-01-21 2017-03-07 Lg Electronics Inc. Ear set device
US9544412B2 (en) * 2015-03-09 2017-01-10 Ford Global Technologies, Llc Voice profile-based in-vehicle infotainment identity identification
CN105701386A (zh) * 2016-02-18 2016-06-22 宇龙计算机通信科技(深圳)有限公司 一种安全认证方法及装置
US11537695B2 (en) * 2016-08-19 2022-12-27 Nec Corporation Detection of attachment problem of apparatus being worn by user
CN206224162U (zh) * 2016-11-14 2017-06-06 周剑涛 一种车载蓝牙语音控制系统
JP6720925B2 (ja) * 2017-06-13 2020-07-08 株式会社デンソー 車載認証装置、携帯機認証方法
GB201801532D0 (en) * 2017-07-07 2018-03-14 Cirrus Logic Int Semiconductor Ltd Methods, apparatus and systems for audio playback

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004065363A (ja) 2002-08-02 2004-03-04 Sony Corp 個人認証装置と個人認証方法、及び信号伝送装置

Also Published As

Publication number Publication date
DE102019112847A1 (de) 2020-01-09
CN113259798A (zh) 2021-08-13
US11640274B2 (en) 2023-05-02
US10824389B2 (en) 2020-11-03
CN110753281B (zh) 2021-04-27
CN113115156A (zh) 2021-07-13
US20210019112A1 (en) 2021-01-21
US20200012474A1 (en) 2020-01-09
JP2020010156A (ja) 2020-01-16
CN110753281A (zh) 2020-02-04

Similar Documents

Publication Publication Date Title
JP7070169B2 (ja) 音響システム
US8600088B2 (en) Hearing device, hearing device system and method of controlling the hearing device system
CN108710486B (zh) 音频播放方法、装置、耳机及计算机可读存储介质
US20130157573A1 (en) Mobile bluetooth device
JP2010086328A (ja) 認証装置および携帯電話機
JP6915481B2 (ja) 車両制御システム
CN106416299A (zh) 具有用于控制至少一个助听器的操作的应用软件的个人通信设备
CN109348334B (zh) 一种无线耳机及其环境监听方法和装置
CN109040446A (zh) 通话处理方法及相关产品
JP3722094B2 (ja) 音量制御装置、及びプログラム
US11425510B2 (en) Method of coupling hearing devices to one another, and hearing device
CN113727318A (zh) 耳机通信方法、耳机设备及计算机可读存储介质
US11166113B2 (en) Method for operating a hearing system and hearing system comprising two hearing devices
CN108781338B (zh) 具有自动安全控制的听力辅助设备和方法
US8666082B2 (en) Utilizing information from a number of sensors to suppress acoustic noise through an audio processing system
JPWO2008026529A1 (ja) ハンズフリー通話装置および音質調整装置
JP4047683B2 (ja) ハンズフリー装置
CN108541370A (zh) 输出音频的方法、电子设备以及存储介质
US11558688B2 (en) Information processing device, sound emission control method, sound emission control program, and acoustic system
CN113329290B (zh) 耳机控制方法、装置、无线耳机及存储介质
CN114745624A (zh) 无线耳机寻找方法、装置、耳机及存储介质
CN113573195A (zh) 蓝牙耳机的模式控制方法、设备及计算机可读存储介质
EP2608497B1 (en) Electronic device including modifiable output parameter
KR101861357B1 (ko) 소음 감지 기능을 갖는 블루투스 장치
CN113660572A (zh) 耳机通话控制方法、装置、耳机设备及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201222

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211013

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220405

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220418

R151 Written notification of patent or utility model registration

Ref document number: 7070169

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151