JPWO2020145122A1 - ヘッドホン、および音響信号処理方法、並びにプログラム - Google Patents
ヘッドホン、および音響信号処理方法、並びにプログラム Download PDFInfo
- Publication number
- JPWO2020145122A1 JPWO2020145122A1 JP2020565685A JP2020565685A JPWO2020145122A1 JP WO2020145122 A1 JPWO2020145122 A1 JP WO2020145122A1 JP 2020565685 A JP2020565685 A JP 2020565685A JP 2020565685 A JP2020565685 A JP 2020565685A JP WO2020145122 A1 JPWO2020145122 A1 JP WO2020145122A1
- Authority
- JP
- Japan
- Prior art keywords
- mode
- microphone
- headphones
- sound
- control unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims description 12
- 238000004458 analytical method Methods 0.000 claims abstract description 34
- 238000000034 method Methods 0.000 claims description 71
- 230000008569 process Effects 0.000 claims description 71
- 230000005236 sound signal Effects 0.000 claims description 6
- 230000007704 transition Effects 0.000 description 115
- 238000001514 detection method Methods 0.000 description 36
- 238000004891 communication Methods 0.000 description 13
- 230000008859 change Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000010365 information processing Effects 0.000 description 2
- 230000002730 additional effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/1008—Earpieces of the supra-aural or circum-aural type
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/1041—Mechanical or electronic switches, or control elements
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/08—Mouthpieces; Microphones; Attachments therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Circuit For Audible Band Transducer (AREA)
- Headphones And Earphones (AREA)
- Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
Abstract
Description
しかし、上記特許文献1に記載の構成は、外音取り込みモードに切り替える際、ユーザがスイッチの位置を探してスイッチ操作を行わなければならず、煩わしいという問題がある。
ヘッドホンの周囲音である外音を取り込むマイクと、
前記ヘッドホンのスピーカの出力音をモードに応じて制御するモード制御部を有し、
前記モード制御部は、
前記マイクの入力音の解析により、前記ヘッドホンを装着したユーザの発話を検出した場合、前記マイクによって取得された外音を前記スピーカから出力する会話モードに移行するモード制御を実行するヘッドホンにある。
ヘッドホンにおけるスピーカ出力音の制御を実行する音響信号処理方法であり、
前記ヘッドホンは、
ヘッドホンの周囲音である外音を取り込むマイクと、
前記ヘッドホンのスピーカの出力音をモードに応じて制御するモード制御部を有し、
前記モード制御部が、
前記マイクの入力音の解析により、前記ヘッドホンを装着したユーザの発話を検出した場合、前記マイクによって取得された外音を前記スピーカから出力する会話モードに移行するモード制御を実行する音響信号処理方法にある。
ヘッドホンにおけるスピーカ出力音の制御を実行させるプログラムであり、
前記ヘッドホンは、
ヘッドホンの周囲音である外音を取り込むマイクと、
前記ヘッドホンのスピーカの出力音をモードに応じて制御するモード制御部を有し、
前記プログラムは、前記モード制御部に、
前記マイクの入力音の解析により、前記ヘッドホンを装着したユーザの発話を検出した場合、前記マイクによって取得された外音を前記スピーカから出力する会話モードに移行するモード制御を実行させるプログラムにある。
具体的には、例えば、ヘッドホンの周囲音である外音を取り込むマイクと、ヘッドホンのスピーカの出力音をモードに応じて制御するモード制御部を有する。モード制御部は、マイク入力音解析により、ヘッドホン装着ユーザの発話を検出した場合、外音をスピーカから出力する会話モードに移行する。さらに、ヘッドホン外面に対するタッチ操作の種類を判別可能なタッチセンサアレイの出力解析により、予め規定したタッチ種類のタッチ操作を検出した場合にも会話モードに移行する。
本構成により、煩わしいユーザ操作を行うことなく、外音をスピーカから出力する会話モードに移行するモード制御を可能としたヘッドホンが実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
1.本開示のヘッドホンの概要について
2.本開示のヘッドホンにおいて実行されるモード遷移について
2−1.(a)通常モードと(c)緊急モード間のモード遷移について
2−2.(a)通常モードと(b)会話モード間のモード遷移について
2−3.(b)会話モードと(c)緊急モード間のモード遷移について
3.ヘッドホンの構成例について
4.ヘッドホンのモード制御部が実行する処理シーケンスについて
4−1.(処理例1)通常モードにおいてユーザ発話を検出して会話モードに遷移する処理例
4−2.(処理例2)通常モードにおいて、タッチセンサアレイからのセンサ検出情報を入力してモード遷移を行う場合の処理例
5.モード制御部の実行するモード遷移のまとめ
5−1.現在モードが通常モードの場合のモード遷移について
5−2.現在モードが緊急モードの場合のモード遷移について
5−3.現在モードが第1会話モード(低周囲音レベル対応)の場合のモード遷移について
5−4.現在モードが第2会話モード(高周囲音レベル対応)の場合のモード遷移について
6.ヘッドホンのハードウェア構成例について
7.本開示の構成のまとめ
まず、図1以下を参照して、本開示のヘッドホンの概要について説明する。図1にはヘッドホン10を装着したユーザ1とユーザ1の所有する再生装置(ユーザ端末)20を示している。
再生装置(ユーザ端末)20において再生される再生音、例えば音楽データが、ワイヤレス通信によりヘッドホン10に送信され、ヘッドホンの左右(LR)スピーカから音楽再生音が出力される。
(a)外面図は、ユーザ1の耳に当たらない外側の面である。図2(a)に示すように、ヘッドホン外面には、外面マイク11と、口元マイク12が備えられている。外面マイク11は外音(周囲音)の取り込みを行うマイクである。
口元マイク12は、主としてユーザ1の発話音を取得する目的で備えられている。口元マイク12はユーザ1の口に近い位置に設置される。なお、口元マイク12からも外音(周囲音)の取り込みは行われる。
この操作部13は、例えば再生音楽の開始、停止、スキップ、ボリューム調整、ミュート等の様々な操作を行う場合に利用される。
また(b)側面図に示すように、口元マイク12は、ヘッドホン外面から側面にかけて設定され、ユーザ1の発話を効率よく取り込む設定となっている。なお、口元マイク12は、ヘッドホン外面のみに設置してもよい。
図2(c)に示すようにヘッドホン内面にも内面マイク15が設けられている。内面マイク15も外音取り込み用のマイクである。
タッチセンサアレイ15は、小さなタッチセンサを多数、配列した構成であり、各タッチセンサが個別に検出値を出力する。すなわち、ヘッドホンの外面にユーザが触れたことを検出する。さらに、タッチセンサアレイ15を構成する多数のタッチセンサの出力を解析することでヘッドホンの外面に対するユーザの手の触れ方、すなわちタッチの種類についても判別することができる。
また、図3(b)に示すようにユーザの指がヘッドホン10の外面の一部に触れた場合には、点タッチとして検出する。
また、図3(b1),(b2)に示すようにユーザの1本の指がヘッドホン10の外面の1点に触れた場合には、1点タッチとして検出し、ユーザの2本の指が離間する2点に触れた場合には、2点タッチとして検出する。
次に、本開示のヘッドホンにおいて実行されるモード遷移について説明する。
(a)通常モード
(b)会話モード
(c)緊急モード
また、先に図3(b1)を参照して説明した1点タッチによる再生開始、停止、スキップ等の処理も行うことができる。
ヘッドホン10内部のモード制御部は、ヘッドホン10に備えられた複数のマイク(外面マイク11、口元マイク12、内面マイク15)の取得音声の解析により、ヘッドホン10を装着したユーザ1が発話を行ったと判定した際、(a)通常モードから(b)会話モードに移行する。
(b1)第1会話モード(低周囲音レベル対応)
(b2)第2会話モード(高周囲音レベル対応)
これらの2つのモードである。
ASMノーマルモードは、ヘッドホン10に装着された複数のマイク(外面マイク11、口元マイク12、内面マイク15)の取得音声を、そのままスピーカ14を介して出力するモードである。
ボイスモードは、マイク(外面マイク11、口元マイク12、内面マイク15)の取得音声から人の声の周波数付近の音声信号を抽出して強調する信号処理を実行して処理後の信号を、スピーカ14を介して出力するモードである。
これら、いずれのモードで外音を出力するかについては予めユーザが設定可能であり、また随時、変更することも可能である。
ビームフォーミングモードは、ヘッドホン10を装着したユーザ1の前方からの音を選択して強調する信号処理を実行して処理後の信号を、スピーカ14を介して出力するモードである。
ボイス+ビームフォーミングモードは、ボイスモードの信号処理とビームフォーミングの信号処理の双方を実行して処理後の信号を、スピーカ14を介して出力するモードである。
(c)緊急モードは、(b)通常モードにおいてユーザ1がヘッドホン10の外面を面タッチすることで移行することができる。
(a)通常モード
(b)会話モード
(c)緊急モード
これら3つのモードを有する。さらに(b)会話モードには以下の2種類の会話モードがある。
(b1)第1会話モード(低周囲音レベル対応)
(b2)第2会話モード(高周囲音レベル対応)
これらの2つのモードである。
以下、これらのモード切り替え条件について説明する。
まず、(a)通常モードと(c)緊急モード間のモード遷移について説明する。
(a)通常モードから(c)緊急モードへの移行は、ユーザによる面タッチを検出した場合に実行される。図3(a)を参照して説明したように、ユーザがヘッドホン外面のほぼ全体を触れたことがタッチセンサアレイ15の出力解析に基づいて検出された場合、モード制御部は、(a)通常モードから(c)緊急モードへ移行する。
一方、(c)緊急モードから(a)通常モードへの移行は、ユーザによる面タッチの解除を検出した場合に実行される。ユーザがヘッドホン外面のほぼ全体を触れる面タッチを解除したことがタッチセンサアレイ15の出力解析に基づいて検出された場合、モード制御部は、(c)緊急モードから(a)通常モードへ移行する。
次に、(a)通常モードと(b)会話モード間のモード遷移について説明する。
(a)通常モードから(b)会話モードへの移行は、以下のいずれかの事象を検出した場合に実行される。
(1)自己発話検出
(2)2点タッチ
ヘッドホン10のモード制御部は、ヘッドホン10に備えられた複数のマイク(外面マイク11、口元マイク12、内面マイク15)の取得音声を解析して、ヘッドホン10を装着したユーザ1による発話がなされたか否かを判定する。
図3(b2)を参照して説明したように、ユーザがヘッドホン外面の2つの離間した一部領域を触れたことがタッチセンサアレイ15の出力解析に基づいて検出された場合、モード制御部は、(a)通常モードから(b)会話モードへの移行処理を実行する。
一方、(b)会話モードから(a)通常モードへの移行は、以下のいずれかの事象を検出した場合に実行される。
(1)自己発話終了検出
(2)2点タッチ
(3)再生開始等のユーザ操作
前述したように、ヘッドホン10のモード制御部は、ヘッドホン10に備えられた複数のマイク(外面マイク11、口元マイク12、内面マイク15)の取得音声を解析して、ヘッドホン10を装着したユーザ1による発話がなされたか否かを判定する。
予め規定したしきい値時間以上の間、ユーザ発話が検出されなかった場合に限り、(b)会話モードから(a)通常モードへの移行処理が実行される。
(b)会話モード設定状態において、ユーザがヘッドホン外面の2つの離間した一部領域を触れたことがタッチセンサアレイ15の出力解析に基づいて検出した場合、モード制御部は、(b)会話モードから(a)通常モードへの移行処理を実行する。
モード制御部は、ヘッドホン10の操作部13に対するユーザ操作、例えば再生開始等の操作が検出された場合に(b)会話モードから(a)通常モードへの移行処理を実行する。
次に、(b)会話モードと(c)緊急モード間のモード遷移について説明する。
(c)緊急モードから(b)会話モードへの移行は、以下のいずれかの事象を検出した場合に実行される。
(1)自己発話検出
(2)2点タッチ
前述したように、ヘッドホン10のモード制御部は、ヘッドホン10に備えられた複数のマイク(外面マイク11、口元マイク12、内面マイク15)の取得音声を解析して、ヘッドホン10を装着したユーザ1による発話がなされたか否かを判定する。
図3(b2)を参照して説明したように、ユーザがヘッドホン外面の2つの離間した一部領域を触れたことがタッチセンサアレイ15の出力解析に基づいて検出された場合、モード制御部は、(c)緊急モードから(b)会話モードへの移行処理を実行する。
一方、(b)会話モードから(c)緊急モードへの移行は、ユーザによる面タッチを検出した場合に実行される。
次に図5を参照して、本開示のヘッドホン10の構成例について説明する。
図5に示すように、ヘッドホン10は、タッチセンサアレイ101、外面マイク102a、内面マイク102b、口元マイク102c、操作部103、通信部104、モード制御部105、スピーカ106を有する。
先に図3を参照して説明したように、タッチセンサアレイ101は、小さなタッチセンサを多数、配列した構成であり、各タッチセンサが個別に検出値を出力する。すなわち、ヘッドホンの外面にユーザが触れたことを検出するとともに、タッチセンサアレイ101を構成する多数のタッチセンサの出力を解析することでヘッドホンの外面に対するユーザの手の触れ方、すなわちタッチの種類についても判別することができる。
さらに、通信部104は、再生装置20に対するユーザ操作情報も受信し、モード制御部105に出力する。
モード制御部105には、以下の各情報が入力される。
(1)タッチセンサアレイ101からのセンサ検出情報
(2)マイク(外面マイク102a,内面マイク102b,口元マイク102c)からのマイク取得音声情報、
(3)操作部103からのユーザ操作情報
(4)通信部104を介する再生音情報、さらに、再生装置20に対するユーザ操作情報
(1)再生装置20において再生される再生音、
(2)上記再生音と、マイク(外面マイク102a,内面マイク102b,口元マイク102cによって取得された外音(周囲音)との混合音、
(3)マイク(外面マイク102a,内面マイク102b,口元マイク102cによって取得された外音(周囲音)
上記(1)〜(3)のいずれかとなる。
次にヘッドホンのモード制御部105が実行する処理シーケンスについて説明する。
以下では、これらのモード遷移中、以下の代表的な2つの処理例についてフローチャートを参照して説明する。
(処理例1)通常モードにおいてユーザ発話を検出して会話モードに遷移する処理例
(処理例2)通常モードにおいて、タッチセンサアレイからのセンサ検出情報を入力してモード遷移を行う場合の処理例
まず、図6に示すフローチャートを参照して(処理例1)通常モードにおいてユーザ発話を検出して会話モードに遷移する処理シーケンスについて説明する。
なお、以下において説明するフローに従った処理は、例えば、ヘッドホン10の記憶部に格納されたプログラムに従って実行することが可能であり、例えばCPU等のプログラム実行機能を持つ制御部の制御の下で実行される。以下、図6に示すフローの各ステップの処理について順次、説明する。
まず、ヘッドホンのモード制御部105は、ステップS101においてマイク(外面マイク、口元マイク、内面マイク)の取得した音声情報を入力する。
次に、ヘッドホンのモード制御部105は、ステップS102において、入力音声に基づく自己発話検出処理を実行する。
次に、ヘッドホンのモード制御部105は、ステップS103において、ヘッドホン装着ユーザのユーザ発話の有無を判定し、ユーザ発話があったと判定した場合は、ステップS104に進む。
ユーザ発話が無いと判定した場合は、スタートに戻り、通常モードを継続する。
ステップS103において、ヘッドホン装着ユーザのユーザ発話があったと判定した場合、ステップS104〜S105の処理を実行する。
ステップS105において、外音(周囲音)レベルが予め設定したしきい値音量(例えば80dbA)以下であると判定した場合は、ステップS106の処理を実行する。
ボイスモードは、マイク(外面マイク、口元マイク、内面マイク)の取得音声から人の声の周波数付近の音声信号を抽出して強調する信号処理を実行して処理後の信号を、スピーカ介して出力するモードである。
これら、いずれのモードで外音を出力するかについては予めユーザが設定可能であり、また随時、変更することも可能である。
一方、ステップS105において、外音(周囲音)レベルが予め設定したしきい値音量(例えば80dbA)を超えると判定した場合は、ステップS107の処理を実行する。
ビームフォーミングモードは、ヘッドホンを装着したユーザの前方からくる音を選択して強調する信号処理を実行して処理後の信号を、スピーカを介して出力するモードである。
ボイス+ビームフォーミングモードは、ボイスモードの信号処理とビームフォーミングの信号処理の双方を実行して処理後の信号を、スピーカを介して出力するモードである。
これら、いずれのモードで外音を出力するかについては予めユーザが設定可能であり、また随時、変更することも可能である。
ステップS106、またはステップS107において、第1会話モード(低周囲音レベル対応)、または第2会話モード(高周囲音レベル対応)に移行した後、モード制御部105は、ステップS108の処理を実行する。
また、ステップS108において、現在モードである会話モードから緊急モード移行条件を満たす事象の発生を検出したと判定した場合は、ステップS109に進み、緊急モードに移行する。
(1)自己発話終了検出
(2)2点タッチ
(3)再生開始等のユーザ操作
(1)ユーザによる面タッチ検出
以下、図7に示すフローの各ステップの処理について順次、説明する。
まず、ヘッドホンのモード制御部105は、ステップS201においてタッチセンサアレイ101から、センサ検出情報を入力する。
例えば、図3(a),(b1),(b2)を参照して説明したように面タッチ、1点タッチ、2点タッチ等を判別可能なセンサ出力値がモード制御部105に入力される。
次に、モード制御部105は、ステップS202において、センサ検出情報に基づいて、タッチなし、面タッチ、1点タッチ、2点タッチのどの事象が発生したかを識別する。
まず、モード制御部105は、ステップS203において、センサ検出情報に基づいて、タッチなしとタッチあり(面タッチ、または1点タッチ、または2点タッチ)の識別を行う。
一方、タッチありの識別結果が得られた場合は、ステップS204に進む。
ステップS203において、タッチありの識別結果が得られた場合、モード制御部105は、ステップS204において、タッチの種類が面タッチであるか否かを判定する。
一方、タッチの種類が面タッチ以外であると判定した場合は、ステップS205に進む。
ステップS204で、タッチの種類が面タッチ以外であると判定した場合は、ステップS205に進む。
モード制御部105は、ステップS205において、タッチの種類が1点タッチであるか2点タッチであるかを判定する。
一方、タッチの種類が2点タッチであると判定した場合は、ステップS207に進む。
タッチの種類が1点タッチであると判定した場合は、ステップS206に進み、
1点タッチに予め対応付けられた再生制御を実行する。
先に図4を参照して説明したように、通常モードでは、1点タッチが再生開始やスキップの処理指示として利用可能であり、ステップS106では、1点タッチに対応付けられた再生制御処理が実行される。
一方、ステップS205において、タッチの種類が2点タッチであると判定した場合は、ステップS207に進む。
先に図4を参照して説明したように、2点タッチは、会話モードへ移行条件を満足する事象である。
具体的には、外音(周囲音)レベルが予め設定したしきい値音量(例えば80dbA)を超えるか以下であるかを判別する。
ステップS208は分岐処理ステップであり、ステップS207で解析した外音(周囲音)レベルが予め設定したしきい値音量(例えば80dbA)を超える場合は、ステップS210に進み、外音(周囲音)レベルが予め設定したしきい値音量(例えば80dbA)以下である場合は、ステップS209に進む。
ステップS208において、外音(周囲音)レベルが予め設定したしきい値音量(例えば80dbA)以下であると判定した場合は、ステップS209の処理を実行する。
ボイスモードは、マイク(外面マイク、口元マイク、内面マイク)の取得音声から人の声の周波数付近の音声信号を抽出して強調する信号処理を実行して処理後の信号を、スピーカ介して出力するモードである。
これら、いずれのモードで外音を出力するかについては予めユーザが設定可能であり、また随時、変更することも可能である。
一方、ステップS208において、外音(周囲音)レベルが予め設定したしきい値音量(例えば80dbA)を超えると判定した場合は、ステップS210の処理を実行する。
ビームフォーミングモードは、ヘッドホンを装着したユーザの前方からくる音を選択して強調する信号処理を実行して処理後の信号を、スピーカを介して出力するモードである。
ボイス+ビームフォーミングモードは、ボイスモードの信号処理とビームフォーミングの信号処理の双方を実行して処理後の信号を、スピーカを介して出力するモードである。
これら、いずれのモードで外音を出力するかについては予めユーザが設定可能であり、また随時、変更することも可能である。
ステップS209、またはステップS210において、第1会話モード(低周囲音レベル対応)、または第2会話モード(高周囲音レベル対応)に移行した後、モード制御部105は、ステップS211の処理を実行する。
また、ステップS211において、現在モードである会話モードから緊急モード移行条件を満たす事象の発生を検出したと判定した場合は、緊急モードに移行する。緊急モードはフロー中のステップS204の判定において面タッチが検出された場合に移行するステップS221に示す緊急モードと同じモードであり、緊急モード移行後にステップS222の処理が実行される。
(1)自己発話終了検出
(2)2点タッチ
(3)再生開始等のユーザ操作
(1)ユーザによる面タッチ検出
最後に緊急モード移行後の処理であるステップS221〜S222の処理について説明する。
また、ステップS211において、会話モードから緊急モードへの移行条件を満たす事象、すなわち、
(1)ユーザによる面タッチ検出
上記事象を検出した場合、モード制御部105は、ステップS211において、会話モードから緊急モードへのモード遷移処理を実行する。
ステップS222では、現在のモードである緊急モードから他のモード(通常モード、会話モード)への移行条件を満たす事象が発生したか否かを判定する。
また、ステップS222において、緊急モードから会話モード移行条件を満たす事象の発生を検出したと判定した場合は、ステップS207に進む。
また、ステップS222において、現在のモードである緊急モードから他のモード(通常モード、会話モード)への移行条件を満たす事象が発生していないと判定した場合は、ステップS221に戻り、緊急モードを継続する。
(1)ユーザによる面タッチ解除検出
(1)自己発話検出
(2)2点タッチ
次に図8を参照して、本開示のヘッドホン10のモード制御部105が実行するモード遷移処理についてまとめて説明する。
(A)現在モード、
(B)マイク入力情報に基づくモード遷移
(C)タッチセンサ検出情報に基づくモード遷移
これらの対応データを一覧として示している。
(1)通常モード
(2)緊急モード
(3)第1会話モード(低周囲音レベル対応)
(4)第2会話モード(高周囲音レベル対応)
(B)マイク入力情報に基づくモード遷移
(C)タッチセンサ検出情報に基づくモード遷移
これらのモード遷移について説明する。
まず、現在モードが通常モードの場合のモード遷移について説明する。
(p1)自己発話検出なしの場合=処理なし(通常モード継続)。
(p2)自己発話が検出され、周囲音レベルがしきい値(例えば80dBA)以下の場合=第1会話モード(低周囲音レベル対応)に移行する。
(p3)自己発話が検出され、周囲音レベルがしきい値(例えば80dBA)を超える場合=第2会話モード(高周囲音レベル対応)に移行する。
(q1)面タッチを検出した場合=緊急モードに移行する。
(q2)面タッチ解除を検出した場合=処理なし(通常モード継続)。
(q3)1点タッチを検出した場合=規定の再生制御(再生開始等)を実行する(通常モードを継続)。
(q4)2点タッチを検出した場合=会話モードに移行する。
次に、現在モードが緊急モードの場合のモード遷移について説明する。
(p1)自己発話検出なしの場合=処理なし(緊急モード継続)。
(p2)自己発話が検出され、周囲音レベルがしきい値(例えば80dBA)以下の場合=第1会話モード(低周囲音レベル対応)に移行する。
(p3)自己発話が検出され、周囲音レベルがしきい値(例えば80dBA)を超える場合=第2会話モード(高周囲音レベル対応)に移行する。
(q1)面タッチを検出した場合=処理なし(緊急モード継続)。
(q2)面タッチ解除を検出した場合=通常モードに移行する。
(q3)1点タッチを検出した場合=処理なし(緊急モード継続)。
(q4)2点タッチを検出した場合=会話モードに移行する。
次に、現在モードが第1会話モード(低周囲音レベル対応)の場合のモード遷移について説明する。
(p1)自己発話検出なしの場合=予め規定したしきい値時間(例えば30秒)以上の間、ユーザ発話が検出されなかった場合、通常モードへ移行する。
(p2)自己発話が検出され、周囲音レベルがしきい値(例えば80dBA)以下の場合=処理なし(第1会話モード(低周囲音レベル対応)継続)。
(p3)自己発話が検出され、周囲音レベルがしきい値(例えば80dBA)を超える場合=第2会話モード(高周囲音レベル対応)に移行する。
(q1)面タッチを検出した場合=緊急モードに移行する。
(q2)面タッチ解除を検出した場合=処理なし(第1会話モード(低周囲音レベル対応)継続)。
(q3)1点タッチを検出した場合=既定の再生制御を実行する(通常モードに移行する)。
(q4)2点タッチを検出した場合=通常モードに移行する。
次に、現在モードが第2会話モード(高周囲音レベル対応)の場合のモード遷移について説明する。
(p1)自己発話検出なしの場合=予め規定したしきい値時間(例えば30秒)以上の間、ユーザ発話が検出されなかった場合、通常モードへ移行する。
(p2)自己発話が検出され、周囲音レベルがしきい値(例えば80dBA)以下の場合=第1会話モード(低周囲音レベル対応)に移行する。
(p3)自己発話が検出され、周囲音レベルがしきい値(例えば80dBA)を超える場合=処理なし(第2会話モード(高周囲音レベル対応)継続)。
(q1)面タッチを検出した場合=緊急モードに移行する。
(q2)面タッチ解除を検出した場合=処理なし(第2会話モード(高周囲音レベル対応)継続)。
(q3)1点タッチを検出した場合=既定の再生制御を実行する(通常モードに移行する)。
(q4)2点タッチを検出した場合=通常モードに移行する。
例えば、図8に示すモード遷移処理例では、タッチセンサアレイ101からのセンサ検出値として、1点タッチと2点タッチを区別して、1点タッチは、通常モードでの再生制御に利用する構成としたが、このような再生制御構成を設けず、1点タッチでも2点タッチでも区別せず面タッチ以外の部分的なタッチを検出した場合は、会話モードへの移行、または会話モードから通常モードへの移行を行う構成としてもよい。
この設定としたモード遷移例を図9に示す。
このように、1点タッチの場合も2点タッチと同様のモード遷移を実行する構成としてもよい。
あるいは1点タッチ、2点タッチ、3点タッチ等の各タッチを識別して、それぞれのタッチに応じた異なるモード遷移を実行する構成としてもよい。
次に、上述した実施例において説明したヘッドホンのハードウェアの構成例について説明する。
図10に示すハードウェアは、上述した実施例において説明したヘッドホンのハードウェア構成の一例である。
具体的には、上述したモード制御部105の処理等を実行する。
RAM(Random Access Memory)303には、CPU301が実行するプログラムやデータなどが記憶される。これらのCPU301、ROM302、およびRAM303は、バス304により相互に接続されている。
具体的には、モード遷移に応じた出力音をスピーカに出力する。
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
(1) ヘッドホンの周囲音である外音を取り込むマイクと、
前記ヘッドホンのスピーカの出力音をモードに応じて制御するモード制御部を有し、
前記モード制御部は、
前記マイクの入力音の解析により、前記ヘッドホンを装着したユーザの発話を検出した場合、前記マイクによって取得された外音を前記スピーカから出力する会話モードに移行するモード制御を実行するヘッドホン。
前記ヘッドホンの外面に対するタッチ操作の種類を判別可能としたタッチセンサアレイを有し、
前記モード制御部は、
前記タッチセンサアレイの出力解析により、予め規定したタッチ種類のタッチ操作を検出した場合、前記会話モードに移行するモード制御を実行する(1)に記載のヘッドホン。
前記マイクの入力音の解析により、外音のレベルが規定レベルを超えているか否かを判定し、判定結果に応じて異なる制御を実行する(1)〜(3)いずれかに記載のヘッドホン。
前記マイクの入力音の解析により、外音のレベルが規定レベル以下であると判定した場合、
(a)前記マイクの取得音声をスピーカに出力するASMノーマル(Ambient Sound Mode−Normal)モード、または、
(b)前記マイクの取得音声から人の声の周波数付近の音声信号を抽出して強調した処理信号をスピーカに出力するボイスモード、
上記(a),(b)いずれかのモードに設定するモード制御を実行する(4)に記載のヘッドホン。
前記マイクの入力音の解析により、外音のレベルが規定レベルを超えると判定した場合、
(a)前記マイクの取得音声から人の声の周波数付近の音声信号を抽出して強調した処理信号をスピーカに出力するボイスモード、
(b)前記ヘッドホンを装着したユーザの前方からの音を選択して強調した処理信号をスピーカに出力するビームフォーミングモード、
上記(a),(b)いずれかのモード、または上記(a),(b)の混在モードに設定するモード制御を実行する(4)または(5)に記載のヘッドホン。
前記マイクによって取得された外音を前記スピーカから出力する前記会話モードと、
前記マイクによって取得された外音を前記スピーカから出力しない、または低レベルの外音出力を実行する通常モードとのモード切り替え処理を実行する構成であり、
前記モード制御部は、
前記通常モードの設定状態において、
前記マイクの入力音の解析により、前記ヘッドホンを装着したユーザの発話を検出した場合に前記会話モードに移行するモード制御を実行する(1)〜(8)いずれかに記載のヘッドホン。
前記会話モードの設定状態において、
予め規定した時間、前記ヘッドホンを装着したユーザの発話が検出されなかった場合、前記通常モードに移行するモード制御を実行する(9)に記載のヘッドホン。
前記ヘッドホンの外面に対するタッチ操作の種類を判別可能としたタッチセンサアレイを有し、
前記モード制御部は、
前記タッチセンサアレイの出力解析により、予め規定したタッチ種類のタッチ操作を検出した場合、前記マイクによって取得された外音を前記スピーカから出力する緊急モードに移行するモード制御を実行する(1)〜(10)いずれかに記載のヘッドホン。
前記緊急モードの設定状態において、
前記マイクの入力音の解析により、前記ヘッドホンを装着したユーザの発話を検出した場合、前記会話モードに移行するモード制御を実行する(11)または(12)に記載のヘッドホン。
前記ヘッドホンは、
ヘッドホンの周囲音である外音を取り込むマイクと、
前記ヘッドホンのスピーカの出力音をモードに応じて制御するモード制御部を有し、
前記モード制御部が、
前記マイクの入力音の解析により、前記ヘッドホンを装着したユーザの発話を検出した場合、前記マイクによって取得された外音を前記スピーカから出力する会話モードに移行するモード制御を実行する音響信号処理方法。
前記ヘッドホンは、
ヘッドホンの周囲音である外音を取り込むマイクと、
前記ヘッドホンのスピーカの出力音をモードに応じて制御するモード制御部を有し、
前記プログラムは、前記モード制御部に、
前記マイクの入力音の解析により、前記ヘッドホンを装着したユーザの発話を検出した場合、前記マイクによって取得された外音を前記スピーカから出力する会話モードに移行するモード制御を実行させるプログラム。
具体的には、例えば、ヘッドホンの周囲音である外音を取り込むマイクと、ヘッドホンのスピーカの出力音をモードに応じて制御するモード制御部を有する。モード制御部は、マイク入力音解析により、ヘッドホン装着ユーザの発話を検出した場合、外音をスピーカから出力する会話モードに移行する。さらに、ヘッドホン外面に対するタッチ操作の種類を判別可能なタッチセンサアレイの出力解析により、予め規定したタッチ種類のタッチ操作を検出した場合にも会話モードに移行する。
本構成により、煩わしいユーザ操作を行うことなく、外音をスピーカから出力する会話モードに移行するモード制御を可能としたヘッドホンが実現される。
10 ヘッドホン
11 外面マイク
12 口元マイク
13 操作部
14 スピーカ
15 内面マイク
20 再生装置(ユーザ端末)
101 タッチセンサアレイ
102a 外面マイク
102b 内面マイク
102c 口元マイク
103 操作部
104 通信部
105 モード制御部
106 スピーカ
301 CPU
302 ROM
303 RAM
304 バス
305 入出力インタフェース
306 入力部
307 出力部
308 記憶部
309 通信部
Claims (15)
- ヘッドホンの周囲音である外音を取り込むマイクと、
前記ヘッドホンのスピーカの出力音をモードに応じて制御するモード制御部を有し、
前記モード制御部は、
前記マイクの入力音の解析により、前記ヘッドホンを装着したユーザの発話を検出した場合、前記マイクによって取得された外音を前記スピーカから出力する会話モードに移行するモード制御を実行するヘッドホン。 - 前記ヘッドホンは、さらに、
前記ヘッドホンの外面に対するタッチ操作の種類を判別可能としたタッチセンサアレイを有し、
前記モード制御部は、
前記タッチセンサアレイの出力解析により、予め規定したタッチ種類のタッチ操作を検出した場合、前記会話モードに移行するモード制御を実行する請求項1に記載のヘッドホン。 - 前記予め規定したタッチ種類のタッチ操作は、前記ヘッドホンの外面に対する2点タッチまたは1点タッチである請求項2に記載のヘッドホン。
- 前記モード制御部は、
前記マイクの入力音の解析により、外音のレベルが規定レベルを超えているか否かを判定し、判定結果に応じて異なる制御を実行する請求項1に記載のヘッドホン。 - 前記モード制御部は、
前記マイクの入力音の解析により、外音のレベルが規定レベル以下であると判定した場合、
(a)前記マイクの取得音声をスピーカに出力するASMノーマル(Ambient Sound Mode−Normal)モード、または、
(b)前記マイクの取得音声から人の声の周波数付近の音声信号を抽出して強調した処理信号をスピーカに出力するボイスモード、
上記(a),(b)いずれかのモードに設定するモード制御を実行する請求項4に記載のヘッドホン。 - 前記モード制御部は、
前記マイクの入力音の解析により、外音のレベルが規定レベルを超えると判定した場合、
(a)前記マイクの取得音声から人の声の周波数付近の音声信号を抽出して強調した処理信号をスピーカに出力するボイスモード、
(b)前記ヘッドホンを装着したユーザの前方からの音を選択して強調した処理信号をスピーカに出力するビームフォーミングモード、
上記(a),(b)いずれかのモード、または上記(a),(b)の混在モードに設定するモード制御を実行する請求項4に記載のヘッドホン。 - 前記マイクは、前記ヘッドホンの異なる位置に設定された複数のマイクによって構成されている請求項1に記載のヘッドホン。
- 前記複数のマイクには、前記ヘッドホンの装着ユーザの口元に近い位置の口元マイクが含まれる請求項7に記載のヘッドホン。
- 前記モード制御部は、
前記マイクによって取得された外音を前記スピーカから出力する前記会話モードと、
前記マイクによって取得された外音を前記スピーカから出力しない、または低レベルの外音出力を実行する通常モードとのモード切り替え処理を実行する構成であり、
前記モード制御部は、
前記通常モードの設定状態において、
前記マイクの入力音の解析により、前記ヘッドホンを装着したユーザの発話を検出した場合に前記会話モードに移行するモード制御を実行する請求項1に記載のヘッドホン。 - 前記モード制御部は、
前記会話モードの設定状態において、
予め規定した時間、前記ヘッドホンを装着したユーザの発話が検出されなかった場合、前記通常モードに移行するモード制御を実行する請求項9に記載のヘッドホン。 - 前記ヘッドホンは、さらに、
前記ヘッドホンの外面に対するタッチ操作の種類を判別可能としたタッチセンサアレイを有し、
前記モード制御部は、
前記タッチセンサアレイの出力解析により、予め規定したタッチ種類のタッチ操作を検出した場合、前記マイクによって取得された外音を前記スピーカから出力する緊急モードに移行するモード制御を実行する請求項1に記載のヘッドホン。 - 前記予め規定したタッチ種類のタッチ操作は、前記ヘッドホンの外面に対する面タッチである請求項11に記載のヘッドホン。
- 前記モード制御部は、
前記緊急モードの設定状態において、
前記マイクの入力音の解析により、前記ヘッドホンを装着したユーザの発話を検出した場合、前記会話モードに移行するモード制御を実行する請求項11に記載のヘッドホン。 - ヘッドホンにおけるスピーカ出力音の制御を実行する音響信号処理方法であり、
前記ヘッドホンは、
ヘッドホンの周囲音である外音を取り込むマイクと、
前記ヘッドホンのスピーカの出力音をモードに応じて制御するモード制御部を有し、
前記モード制御部が、
前記マイクの入力音の解析により、前記ヘッドホンを装着したユーザの発話を検出した場合、前記マイクによって取得された外音を前記スピーカから出力する会話モードに移行するモード制御を実行する音響信号処理方法。 - ヘッドホンにおけるスピーカ出力音の制御を実行させるプログラムであり、
前記ヘッドホンは、
ヘッドホンの周囲音である外音を取り込むマイクと、
前記ヘッドホンのスピーカの出力音をモードに応じて制御するモード制御部を有し、
前記プログラムは、前記モード制御部に、
前記マイクの入力音の解析により、前記ヘッドホンを装着したユーザの発話を検出した場合、前記マイクによって取得された外音を前記スピーカから出力する会話モードに移行するモード制御を実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023188838A JP2024001353A (ja) | 2019-01-10 | 2023-11-02 | ヘッドホン、および音響信号処理方法、並びにプログラム |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019002439 | 2019-01-10 | ||
JP2019002439 | 2019-01-10 | ||
PCT/JP2019/050493 WO2020145122A1 (ja) | 2019-01-10 | 2019-12-24 | ヘッドホン、および音響信号処理方法、並びにプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023188838A Division JP2024001353A (ja) | 2019-01-10 | 2023-11-02 | ヘッドホン、および音響信号処理方法、並びにプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020145122A1 true JPWO2020145122A1 (ja) | 2021-11-18 |
JP7380597B2 JP7380597B2 (ja) | 2023-11-15 |
Family
ID=71521280
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020565685A Active JP7380597B2 (ja) | 2019-01-10 | 2019-12-24 | ヘッドホン、および音響信号処理方法、並びにプログラム |
JP2023188838A Pending JP2024001353A (ja) | 2019-01-10 | 2023-11-02 | ヘッドホン、および音響信号処理方法、並びにプログラム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023188838A Pending JP2024001353A (ja) | 2019-01-10 | 2023-11-02 | ヘッドホン、および音響信号処理方法、並びにプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220095039A1 (ja) |
EP (1) | EP3910963A4 (ja) |
JP (2) | JP7380597B2 (ja) |
CN (1) | CN113261305A (ja) |
WO (1) | WO2020145122A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113573195B (zh) * | 2021-07-27 | 2023-03-17 | 歌尔科技有限公司 | 蓝牙耳机的模式控制方法、设备及计算机可读存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011097268A (ja) * | 2009-10-28 | 2011-05-12 | Sony Corp | 再生装置、ヘッドホン及び再生方法 |
JP2014174430A (ja) * | 2013-03-12 | 2014-09-22 | Yamaha Corp | 密閉型ヘッドフォン用信号処理装置および密閉型ヘッドフォン |
JP2015537465A (ja) * | 2012-11-02 | 2015-12-24 | ボーズ・コーポレーションBosecorporation | Anrヘッドホンで周囲の自然さを提供すること |
WO2017179409A1 (ja) * | 2016-04-11 | 2017-10-19 | ソニー株式会社 | ヘッドホン、再生制御方法、並びにプログラム |
WO2017218621A1 (en) * | 2016-06-14 | 2017-12-21 | Dolby Laboratories Licensing Corporation | Media-compensated pass-through and mode-switching |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5034730B2 (ja) | 2007-07-12 | 2012-09-26 | ソニー株式会社 | 信号処理装置、信号処理方法、プログラム、ノイズキャンセリングシステム |
US9313572B2 (en) * | 2012-09-28 | 2016-04-12 | Apple Inc. | System and method of detecting a user's voice activity using an accelerometer |
US20140126733A1 (en) * | 2012-11-02 | 2014-05-08 | Daniel M. Gauger, Jr. | User Interface for ANR Headphones with Active Hear-Through |
US20140378083A1 (en) * | 2013-06-25 | 2014-12-25 | Plantronics, Inc. | Device Sensor Mode to Identify a User State |
US10720153B2 (en) * | 2013-12-13 | 2020-07-21 | Harman International Industries, Incorporated | Name-sensitive listening device |
US10425717B2 (en) * | 2014-02-06 | 2019-09-24 | Sr Homedics, Llc | Awareness intelligence headphone |
JP2015173369A (ja) | 2014-03-12 | 2015-10-01 | ソニー株式会社 | 信号処理装置、信号処理方法、およびプログラム |
EP3188495B1 (en) * | 2015-12-30 | 2020-11-18 | GN Audio A/S | A headset with hear-through mode |
US9877100B1 (en) * | 2016-08-29 | 2018-01-23 | Motorola Mobility Llc | Audio sensing to alert device user |
US10284939B2 (en) * | 2017-08-30 | 2019-05-07 | Harman International Industries, Incorporated | Headphones system |
-
2019
- 2019-12-24 CN CN201980087674.0A patent/CN113261305A/zh active Pending
- 2019-12-24 WO PCT/JP2019/050493 patent/WO2020145122A1/ja unknown
- 2019-12-24 EP EP19909235.4A patent/EP3910963A4/en active Pending
- 2019-12-24 US US17/420,446 patent/US20220095039A1/en active Pending
- 2019-12-24 JP JP2020565685A patent/JP7380597B2/ja active Active
-
2023
- 2023-11-02 JP JP2023188838A patent/JP2024001353A/ja active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011097268A (ja) * | 2009-10-28 | 2011-05-12 | Sony Corp | 再生装置、ヘッドホン及び再生方法 |
JP2015537465A (ja) * | 2012-11-02 | 2015-12-24 | ボーズ・コーポレーションBosecorporation | Anrヘッドホンで周囲の自然さを提供すること |
JP2014174430A (ja) * | 2013-03-12 | 2014-09-22 | Yamaha Corp | 密閉型ヘッドフォン用信号処理装置および密閉型ヘッドフォン |
WO2017179409A1 (ja) * | 2016-04-11 | 2017-10-19 | ソニー株式会社 | ヘッドホン、再生制御方法、並びにプログラム |
WO2017218621A1 (en) * | 2016-06-14 | 2017-12-21 | Dolby Laboratories Licensing Corporation | Media-compensated pass-through and mode-switching |
Also Published As
Publication number | Publication date |
---|---|
WO2020145122A1 (ja) | 2020-07-16 |
EP3910963A1 (en) | 2021-11-17 |
CN113261305A (zh) | 2021-08-13 |
JP2024001353A (ja) | 2024-01-09 |
JP7380597B2 (ja) | 2023-11-15 |
EP3910963A4 (en) | 2022-02-23 |
US20220095039A1 (en) | 2022-03-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6822586B2 (ja) | ヘッドホン、再生制御方法、並びにプログラム | |
EP2587481B1 (en) | Controlling an apparatus based on speech | |
CN110493678B (zh) | 耳机的控制方法、装置、耳机和存储介质 | |
JP6931819B2 (ja) | 音声処理装置、音声処理方法及び音声処理プログラム | |
US20140079239A1 (en) | System and apparatus for controlling a user interface with a bone conduction transducer | |
JP2024001353A (ja) | ヘッドホン、および音響信号処理方法、並びにプログラム | |
WO2003107327A1 (en) | Controlling an apparatus based on speech | |
WO2021043414A1 (en) | Microphone blocking detection control | |
CN115623372A (zh) | 耳机及耳机音效的调节方法 | |
CN112585993B (zh) | 声音信号处理系统和声音信号处理装置 | |
JP2004235979A (ja) | 音入出力装置および音入出力方法 | |
CN117750266A (zh) | 耳机的触控方法、装置、耳机及存储介质 | |
CN113891212A (zh) | 耳机、耳机运行控制方法及计算机可读存储介质 | |
JPH06175676A (ja) | 音声検出器 | |
JP2010009649A (ja) | 録音装置、方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221027 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20230622 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230704 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230731 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230822 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230919 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231003 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231016 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7380597 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |