JP2024001353A - ヘッドホン、および音響信号処理方法、並びにプログラム - Google Patents

Abstract

【課題】煩わしいユーザ操作を行うことなく、外音をスピーカから出力する会話モードに移行するモード制御を可能としたヘッドホンを実現する。【解決手段】ヘッドホンの周囲音である外音を取り込むマイクと、ヘッドホンのスピーカの出力音をモードに応じて制御するモード制御部を有する。モード制御部は、マイク入力音解析により、ヘッドホン装着ユーザの発話を検出した場合、外音をスピーカから出力する会話モードに移行する。さらに、ヘッドホン外面に対するタッチ操作の種類を判別可能なタッチセンサアレイの出力解析により、予め規定したタッチ種類のタッチ操作を検出した場合にも会話モードに移行する。【選択図】図４

Description

本開示は、ヘッドホン、および音響信号処理方法、並びにプログラムに関する。さらに詳細には、ユーザ発話に応じて外音をヘッドホンのスピーカから出力するモード変更を可能としたヘッドホン、および音響信号処理方法、並びにプログラムに関する。

昨今、外音取込機能を装備したヘッドホンが多く利用されている。すなわち、ヘッドホンを装着して音楽を聞く場合、外音（周囲音）を完全に遮断することなく、マイクで取り込んだ外音を音楽に併せてヘッドホンスピーカに出力する機能を持つヘッドホンである。例えば、特許文献１（特開２００９－０２１８２６号公報）に外音取り込み機能を持つヘッドホンについての記載がある。

上記特許文献１には、外音を取り込むモードと取り込まないモードをユーザによるスイッチ操作で切り替える構成を開示している。
しかし、上記特許文献１に記載の構成は、外音取り込みモードに切り替える際、ユーザがスイッチの位置を探してスイッチ操作を行わなければならず、煩わしいという問題がある。

特開２００９－０２１８２６号公報

本開示は、例えば上記問題に鑑みてなされたものであり、スイッチの位置を探すといったユーザ負担を発生させることなく、最適タイミングで外音取り込みモードへ切り替え可能としたヘッドホン、および音響信号処理方法、並びにプログラムを提供するものである。

本開示の一実施例は、ユーザ発話に応じて即座に外音取り込みモードへの切り替えを行うヘッドホン、および音響信号処理方法、並びにプログラムを提供するものである。

本開示の第１の側面は、
ヘッドホンの周囲音である外音を取り込むマイクと、
前記ヘッドホンのスピーカの出力音をモードに応じて制御するモード制御部を有し、
前記モード制御部は、
前記マイクの入力音の解析により、前記ヘッドホンを装着したユーザの発話を検出した場合、前記マイクによって取得された外音を前記スピーカから出力する会話モードに移行するモード制御を実行するヘッドホンにある。

さらに、本開示の第２の側面は、
ヘッドホンにおけるスピーカ出力音の制御を実行する音響信号処理方法であり、
前記ヘッドホンは、
ヘッドホンの周囲音である外音を取り込むマイクと、
前記ヘッドホンのスピーカの出力音をモードに応じて制御するモード制御部を有し、
前記モード制御部が、
前記マイクの入力音の解析により、前記ヘッドホンを装着したユーザの発話を検出した場合、前記マイクによって取得された外音を前記スピーカから出力する会話モードに移行するモード制御を実行する音響信号処理方法にある。

さらに、本開示の第３の側面は、
ヘッドホンにおけるスピーカ出力音の制御を実行させるプログラムであり、
前記ヘッドホンは、
ヘッドホンの周囲音である外音を取り込むマイクと、
前記ヘッドホンのスピーカの出力音をモードに応じて制御するモード制御部を有し、
前記プログラムは、前記モード制御部に、
前記マイクの入力音の解析により、前記ヘッドホンを装着したユーザの発話を検出した場合、前記マイクによって取得された外音を前記スピーカから出力する会話モードに移行するモード制御を実行させるプログラムにある。

なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本開示の一実施例の構成によれば、煩わしいユーザ操作を行うことなく、外音をスピーカから出力する会話モードに移行するモード制御を可能としたヘッドホンが実現される。
具体的には、例えば、ヘッドホンの周囲音である外音を取り込むマイクと、ヘッドホンのスピーカの出力音をモードに応じて制御するモード制御部を有する。モード制御部は、マイク入力音解析により、ヘッドホン装着ユーザの発話を検出した場合、外音をスピーカから出力する会話モードに移行する。さらに、ヘッドホン外面に対するタッチ操作の種類を判別可能なタッチセンサアレイの出力解析により、予め規定したタッチ種類のタッチ操作を検出した場合にも会話モードに移行する。
本構成により、煩わしいユーザ操作を行うことなく、外音をスピーカから出力する会話モードに移行するモード制御を可能としたヘッドホンが実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

本開示のヘッドホンの構成例について説明する図である。 ヘッドホンの詳細構成例について説明する図である。 ヘッドホンに備えられたタッチセンサアレイについて説明する図である。 本開示のヘッドホンにおいて実行されるモード遷移について説明する図である。 本開示のヘッドホンの構成例について説明する図である。 ヘッドホンのモード制御部が実行する処理シーケンスについて説明するフローチャートを示す図である。 ヘッドホンのモード制御部が実行する処理シーケンスについて説明するフローチャートを示す図である。 ヘッドホンのモード制御部が実行するモード遷移について説明する図である。 ヘッドホンのモード制御部が実行するモード遷移について説明する図である。 本開示のヘッドホンのハードウェア構成例について説明する図である。

以下、図面を参照しながら本開示のヘッドホン、および音響信号処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
１．本開示のヘッドホンの概要について
２．本開示のヘッドホンにおいて実行されるモード遷移について
２－１．（ａ）通常モードと（ｃ）緊急モード間のモード遷移について
２－２．（ａ）通常モードと（ｂ）会話モード間のモード遷移について
２－３．（ｂ）会話モードと（ｃ）緊急モード間のモード遷移について
３．ヘッドホンの構成例について
４．ヘッドホンのモード制御部が実行する処理シーケンスについて
４－１．（処理例１）通常モードにおいてユーザ発話を検出して会話モードに遷移する処理例
４－２．（処理例２）通常モードにおいて、タッチセンサアレイからのセンサ検出情報を入力してモード遷移を行う場合の処理例
５．モード制御部の実行するモード遷移のまとめ
５－１．現在モードが通常モードの場合のモード遷移について
５－２．現在モードが緊急モードの場合のモード遷移について
５－３．現在モードが第１会話モード（低周囲音レベル対応）の場合のモード遷移について
５－４．現在モードが第２会話モード（高周囲音レベル対応）の場合のモード遷移について
６．ヘッドホンのハードウェア構成例について
７．本開示の構成のまとめ

［１．本開示のヘッドホンの概要について］
まず、図１以下を参照して、本開示のヘッドホンの概要について説明する。図１にはヘッドホン１０を装着したユーザ１とユーザ１の所有する再生装置（ユーザ端末）２０を示している。
再生装置（ユーザ端末）２０において再生される再生音、例えば音楽データが、ワイヤレス通信によりヘッドホン１０に送信され、ヘッドホンの左右（ＬＲ）スピーカから音楽再生音が出力される。

図２にヘッドホン１０の詳細構成例を示す。図２には、ヘッドホン１０の（ａ）外面図、（ｂ）側面図、（ｃ）内面図を示している。
（ａ）外面図は、ユーザ１の耳に当たらない外側の面である。図２（ａ）に示すように、ヘッドホン外面には、外面マイク１１と、口元マイク１２が備えられている。外面マイク１１は外音（周囲音）の取り込みを行うマイクである。
口元マイク１２は、主としてユーザ１の発話音を取得する目的で備えられている。口元マイク１２はユーザ１の口に近い位置に設置される。なお、口元マイク１２からも外音（周囲音）の取り込みは行われる。

また（ｂ）側面図に示すように、ヘッドホン側面にはユーザによる操作可能なスイッチや、ボタン等によって構成される操作部１３が設けられている。
この操作部１３は、例えば再生音楽の開始、停止、スキップ、ボリューム調整、ミュート等の様々な操作を行う場合に利用される。
また（ｂ）側面図に示すように、口元マイク１２は、ヘッドホン外面から側面にかけて設定され、ユーザ１の発話を効率よく取り込む設定となっている。なお、口元マイク１２は、ヘッドホン外面のみに設置してもよい。

図２（ｃ）内面図は、ユーザ１の耳に当接する部分である。図２（ｃ）に示すようにヘッドホン内面には、スピーカ１４が設けられている。スピーカ１４は再生音の出力の他、マイクで取得した音声の出力にも利用される。
図２（ｃ）に示すようにヘッドホン内面にも内面マイク１５が設けられている。内面マイク１５も外音取り込み用のマイクである。

次に図３を参照して、ヘッドホン１０に備えられたタッチセンサアレイ１５について説明する。図３に示すように、ヘッドホン１０にはタッチセンサアレイ１５が内蔵されている。
タッチセンサアレイ１５は、小さなタッチセンサを多数、配列した構成であり、各タッチセンサが個別に検出値を出力する。すなわち、ヘッドホンの外面にユーザが触れたことを検出する。さらに、タッチセンサアレイ１５を構成する多数のタッチセンサの出力を解析することでヘッドホンの外面に対するユーザの手の触れ方、すなわちタッチの種類についても判別することができる。

例えば、図３（ａ）に示すようにユーザの手がヘッドホン１０の外面全体を覆うように触った場合には、面タッチとして検出する。
また、図３（ｂ）に示すようにユーザの指がヘッドホン１０の外面の一部に触れた場合には、点タッチとして検出する。
また、図３（ｂ１），（ｂ２）に示すようにユーザの１本の指がヘッドホン１０の外面の１点に触れた場合には、１点タッチとして検出し、ユーザの２本の指が離間する２点に触れた場合には、２点タッチとして検出する。

これらのタッチ種類の判別は、タッチセンサアレイ１５を構成する多数のタッチセンサの出力を解析することで実現できる。

［２．本開示のヘッドホンにおいて実行されるモード遷移について］
次に、本開示のヘッドホンにおいて実行されるモード遷移について説明する。

図４は、本開示のヘッドホン１０において実行されるモード遷移について説明する図である。

図４に示すように、本開示のヘッドホン１０は、以下の３つのモードを有する。
（ａ）通常モード
（ｂ）会話モード
（ｃ）緊急モード

（ａ）通常モードは、再生装置によって再生される音楽を聞くモードである。この通常モードでは、マイクによる外音取り込みと、スピーカからの外音出力は停止される。あるいは、マイクによる外音取り込みは行うが、スピーカからの外音出力は一定レベル以下に制限される。なお、通常モードにおける外音の出力レベルはユーザによって設定可能である。

また、（ａ）通常モードでは、ユーザは操作部１４の操作により、音楽再生の再生制御、例えば再生開始、停止、スキップ、ボリューム調整、ミュート等、様々な処理が可能である。
また、先に図３（ｂ１）を参照して説明した１点タッチによる再生開始、停止、スキップ等の処理も行うことができる。

（ｂ）会話モードはヘッドホン１０を装着したユーザが発話を行った場合等に（ａ）通常モードから移行するモードである。
ヘッドホン１０内部のモード制御部は、ヘッドホン１０に備えられた複数のマイク（外面マイク１１、口元マイク１２、内面マイク１５）の取得音声の解析により、ヘッドホン１０を装着したユーザ１が発話を行ったと判定した際、（ａ）通常モードから（ｂ）会話モードに移行する。

（ｂ）会話モードでは、再生装置によって再生される音楽に併せて、マイクによる外音取り込みと、スピーカからの外音出力を実行する。スピーカからの外音出力レベルはユーザ１が外音を十分認識できるレベルに上げられる。すなわち通常の会話が可能なレベルに設定される。なお、会話モードでは、会話に特化する為、再生音楽をミュート、もしくは停止させた状態で、マイクによる外音取込と、スピーカからの外音出力を実行してもよい。

なお、（ｂ）会話モードには２種類の会話モードがある。図に示す、
（ｂ１）第１会話モード（低周囲音レベル対応）
（ｂ２）第２会話モード（高周囲音レベル対応）
これらの２つのモードである。

（ｂ１）第１会話モード（低周囲音レベル対応）は、周囲音レベルがしきい値（例えば８０ｄＢＡ）以下であり、比較的、静かな環境の場合に設定されるモードである。第１会話モード（低周囲音レベル対応）では、再生音楽に併せて、もしくは、再生音楽をミュート、もしくは、停止させて外音（周囲音）をスピーカから出力する。

なお、（ｂ１）第１会話モード（低周囲音レベル対応）における外音の出力態様として、ＡＳＭノーマル（Ａｍｂｉｅｎｔ Ｓｏｕｎｄ Ｍｏｄｅ－Ｎｏｒｍａｌ）モードと、ボイス（Ｖｏｉｃｅ）モードの２種類がある。
ＡＳＭノーマルモードは、ヘッドホン１０に装着された複数のマイク（外面マイク１１、口元マイク１２、内面マイク１５）の取得音声を、そのままスピーカ１４を介して出力するモードである。
ボイスモードは、マイク（外面マイク１１、口元マイク１２、内面マイク１５）の取得音声から人の声の周波数付近の音声信号を抽出して強調する信号処理を実行して処理後の信号を、スピーカ１４を介して出力するモードである。
これら、いずれのモードで外音を出力するかについては予めユーザが設定可能であり、また随時、変更することも可能である。

一方、（ｂ２）第２会話モード（高周囲音レベル対応）は、周囲音レベルがしきい値（例えば８０ｄＢＡ）を超え、比較的、うるさい環境の場合に設定されるモードである。第２会話モードにおいても第１会話モードと同様、再生音楽に併せて、もしくは、再生音楽をミュート、もしくは、停止させて外音（周囲音）をスピーカから出力する。

なお、（ｂ２）第２会話モード（高周囲音レベル対応）における外音の出力態様として、ボイス（Ｖｏｉｃｅ）モードと、ビームフォーミング（Ｂｅａｍｆｏｒｍｉｎｇ）モードと、ボイス＋ビームフォーミングモードの３種類がある。

ボイスモードは、マイク（外面マイク１１、口元マイク１２、内面マイク１５）の取得音声から人の声の周波数付近の音声信号を抽出して強調する信号処理を実行して処理後の信号を、スピーカ１４を介して出力するモードである。
ビームフォーミングモードは、ヘッドホン１０を装着したユーザ１の前方からの音を選択して強調する信号処理を実行して処理後の信号を、スピーカ１４を介して出力するモードである。
ボイス＋ビームフォーミングモードは、ボイスモードの信号処理とビームフォーミングの信号処理の双方を実行して処理後の信号を、スピーカ１４を介して出力するモードである。

これら、いずれのモードで外音を出力するかについては予めユーザが設定可能であり、また随時、変更することも可能である。

これら、（ｂ１）第１会話モード（低周囲音レベル対応）と、（ｂ２）第２会話モード（高周囲音レベル対応）とのモード遷移は、ヘッドホン１０内部のモード制御部がマイク取得音に基づいて外音（周囲音）のレベルを判定して実行する。具体的な処理シーケンスについては、後段でフローチャートを参照して説明する。

（ｃ）緊急モードは、ユーザ発話の有無とは無関係に、ヘッドホン１０を装着したユーザ１が外音を聞きたい場合に移行可能なモードである。
（ｃ）緊急モードは、（ｂ）通常モードにおいてユーザ１がヘッドホン１０の外面を面タッチすることで移行することができる。

（ｃ）緊急モードでは、再生装置によって再生される音楽等の再生音に併せて、マイクによる外音取り込みと、スピーカからの外音出力を実行する。スピーカからの外音出力レベルはユーザ１が外音を十分認識できるレベルに上げられる。

このように、本開示のヘッドホンは、以下の３つのモードを有する。
（ａ）通常モード
（ｂ）会話モード
（ｃ）緊急モード
これら３つのモードを有する。さらに（ｂ）会話モードには以下の２種類の会話モードがある。
（ｂ１）第１会話モード（低周囲音レベル対応）
（ｂ２）第２会話モード（高周囲音レベル対応）
これらの２つのモードである。

これら各モードは、操作部１３に対するユーザ操作、またはヘッドホン外面に対するユーザタッチ（面タッチ、１点タッチ、２点タッチ等）、またはユーザ発話の有無等に応じて、ヘッドホン１０内部のモード制御部によって切り替えられる。

図４のモード遷移図には、各モードの切り替え条件を複数の点線枠で示している。
以下、これらのモード切り替え条件について説明する。

［２－１．（ａ）通常モードと（ｃ）緊急モード間のモード遷移について］
まず、（ａ）通常モードと（ｃ）緊急モード間のモード遷移について説明する。

（Ｓ１１）
（ａ）通常モードから（ｃ）緊急モードへの移行は、ユーザによる面タッチを検出した場合に実行される。図３（ａ）を参照して説明したように、ユーザがヘッドホン外面のほぼ全体を触れたことがタッチセンサアレイ１５の出力解析に基づいて検出された場合、モード制御部は、（ａ）通常モードから（ｃ）緊急モードへ移行する。

（Ｓ１２）
一方、（ｃ）緊急モードから（ａ）通常モードへの移行は、ユーザによる面タッチの解除を検出した場合に実行される。ユーザがヘッドホン外面のほぼ全体を触れる面タッチを解除したことがタッチセンサアレイ１５の出力解析に基づいて検出された場合、モード制御部は、（ｃ）緊急モードから（ａ）通常モードへ移行する。

［２－２．（ａ）通常モードと（ｂ）会話モード間のモード遷移について］
次に、（ａ）通常モードと（ｂ）会話モード間のモード遷移について説明する。

（Ｓ２１）
（ａ）通常モードから（ｂ）会話モードへの移行は、以下のいずれかの事象を検出した場合に実行される。
（１）自己発話検出
（２）２点タッチ

（１）自己発話検出によるモード遷移は、ヘッドホン１０を装着したユーザ１による発話が検出された場合に（ａ）通常モードから（ｂ）会話モードへ移行する処理である。
ヘッドホン１０のモード制御部は、ヘッドホン１０に備えられた複数のマイク（外面マイク１１、口元マイク１２、内面マイク１５）の取得音声を解析して、ヘッドホン１０を装着したユーザ１による発話がなされたか否かを判定する。

例えば、複数のマイク（外面マイク１１、口元マイク１２、内面マイク１５）の取得音声を解析して音源位置を特定し、音源位置がヘッドホン装着ユーザの口元である場合、ユーザ発話があったと判定し、（ａ）通常モードから（ｂ）会話モードへ移行する。

（２）２点タッチによるモード遷移は、ヘッドホン１０の外面に対する２点タッチが検出された場合に（ａ）通常モードから（ｂ）会話モードへ移行する処理である。
図３（ｂ２）を参照して説明したように、ユーザがヘッドホン外面の２つの離間した一部領域を触れたことがタッチセンサアレイ１５の出力解析に基づいて検出された場合、モード制御部は、（ａ）通常モードから（ｂ）会話モードへの移行処理を実行する。

（Ｓ２２）
一方、（ｂ）会話モードから（ａ）通常モードへの移行は、以下のいずれかの事象を検出した場合に実行される。
（１）自己発話終了検出
（２）２点タッチ
（３）再生開始等のユーザ操作

（１）自己発話終了検出によるモード遷移は、ヘッドホン１０を装着したユーザ１による発話が一定時間検出されなかった場合に（ｂ）会話モードから（ａ）通常モードへ移行する処理である。
前述したように、ヘッドホン１０のモード制御部は、ヘッドホン１０に備えられた複数のマイク（外面マイク１１、口元マイク１２、内面マイク１５）の取得音声を解析して、ヘッドホン１０を装着したユーザ１による発話がなされたか否かを判定する。

ヘッドホン１０のモード制御部は、（ｂ）会話モードへ移行後、予め規定したしきい値時間（例えば３０秒）以上の間、ユーザ発話が検出されなかった場合、（ｂ）会話モードから（ａ）通常モードへ移行する。しきい値時間は、ユーザが様々な時間に変更することが可能である。

なお、図４の（Ｓ２３）に示すように、（ｂ）会話モードへ移行後において、ヘッドホン１０を装着したユーザ１による発話が、しきい値時間未満の間隔で検出されている場合は、会話モードは継続される。
予め規定したしきい値時間以上の間、ユーザ発話が検出されなかった場合に限り、（ｂ）会話モードから（ａ）通常モードへの移行処理が実行される。

（２）２点タッチによるモード遷移は、ヘッドホン１０の外面に対する２点タッチが検出された場合に（ｂ）会話モードから（ａ）通常モードへ移行する処理である。
（ｂ）会話モード設定状態において、ユーザがヘッドホン外面の２つの離間した一部領域を触れたことがタッチセンサアレイ１５の出力解析に基づいて検出した場合、モード制御部は、（ｂ）会話モードから（ａ）通常モードへの移行処理を実行する。

（３）再生開始等のユーザ操作によるモード遷移は、ヘッドホン１０の操作部１３に対するユーザ操作、例えば再生開始等の操作が検出された場合に（ｂ）会話モードから（ａ）通常モードへ移行する処理である。
モード制御部は、ヘッドホン１０の操作部１３に対するユーザ操作、例えば再生開始等の操作が検出された場合に（ｂ）会話モードから（ａ）通常モードへの移行処理を実行する。

［２－３．（ｂ）会話モードと（ｃ）緊急モード間のモード遷移について］
次に、（ｂ）会話モードと（ｃ）緊急モード間のモード遷移について説明する。

（Ｓ３１）
（ｃ）緊急モードから（ｂ）会話モードへの移行は、以下のいずれかの事象を検出した場合に実行される。
（１）自己発話検出
（２）２点タッチ

（１）自己発話検出によるモード遷移は、緊急モード設定状態において、ヘッドホン１０を装着したユーザ１による発話が検出された場合に（ｃ）緊急モードから（ｂ）会話モードへ移行する処理である。
前述したように、ヘッドホン１０のモード制御部は、ヘッドホン１０に備えられた複数のマイク（外面マイク１１、口元マイク１２、内面マイク１５）の取得音声を解析して、ヘッドホン１０を装着したユーザ１による発話がなされたか否かを判定する。

例えば、複数のマイク（外面マイク１１、口元マイク１２、内面マイク１５）の取得音声を解析して音源位置を特定し、音源位置がヘッドホン装着ユーザの口元である場合、ユーザ発話があったと判定し、（ｃ）緊急モードから（ｂ）会話モードへ移行する。

（２）２点タッチによるモード遷移は、緊急モード設定状態において、ヘッドホン１０の外面に対する２点タッチが検出された場合に（ｃ）緊急モードから（ｂ）会話モードへ移行する処理である。
図３（ｂ２）を参照して説明したように、ユーザがヘッドホン外面の２つの離間した一部領域を触れたことがタッチセンサアレイ１５の出力解析に基づいて検出された場合、モード制御部は、（ｃ）緊急モードから（ｂ）会話モードへの移行処理を実行する。

（Ｓ３２）
一方、（ｂ）会話モードから（ｃ）緊急モードへの移行は、ユーザによる面タッチを検出した場合に実行される。

（ｂ）会話モード設定状態において、図３（ａ）を参照して説明したように、ユーザがヘッドホン外面のほぼ全体を触れたことがタッチセンサアレイ１５の出力解析に基づいて検出された場合、モード制御部は、（ｂ）会話モードから（ｃ）緊急モードへ移行する処理を実行する。

［３．ヘッドホンの構成例について］
次に図５を参照して、本開示のヘッドホン１０の構成例について説明する。

図５は、本開示のヘッドホン１０の構成例を示すブロック図である。
図５に示すように、ヘッドホン１０は、タッチセンサアレイ１０１、外面マイク１０２ａ、内面マイク１０２ｂ、口元マイク１０２ｃ、操作部１０３、通信部１０４、モード制御部１０５、スピーカ１０６を有する。

タッチセンサアレイ１０１は、先に図３を参照して説明したタッチセンサアレイ１５に相当する。
先に図３を参照して説明したように、タッチセンサアレイ１０１は、小さなタッチセンサを多数、配列した構成であり、各タッチセンサが個別に検出値を出力する。すなわち、ヘッドホンの外面にユーザが触れたことを検出するとともに、タッチセンサアレイ１０１を構成する多数のタッチセンサの出力を解析することでヘッドホンの外面に対するユーザの手の触れ方、すなわちタッチの種類についても判別することができる。

タッチセンサアレイ１０１は、例えば、図３（ａ），（ｂ１），（ｂ２）を参照して説明したように面タッチ、１点タッチ、２点タッチ等を判別可能なセンサ出力値をモード制御部１０５に出力する。

外面マイク１０２ａは、先に図２（ａ）外面図を参照して説明した外面マイク１１に相当する。外面マイク１０２ａはヘッドホン１０の左右のＬＲスピーカの外面に各々、備えられている。すなわち、左スピーカ側の外面には外面マイク（Ｌ）、右スピーカ側の外面には外面マイク（Ｒ）が装着されている。

内面マイク１０２ｂは、先に図２（ｃ）内面図を参照して説明した内面マイク１５に相当する。内面マイク１０２ｂはヘッドホン１０の左右のＬＲスピーカの内面に各々、備えられている。すなわち、左スピーカ側の内面には内面マイク（Ｌ）、右スピーカ側の内面には内面マイク（Ｒ）が装着されている。

口元マイク１０２ｃは、先に図２（ａ）外面図、（ｂ）側面図を参照して説明した口元マイク１２に相当する。口元マイク１２は、ヘッドホン１０の左右のＬＲスピーカのいずれか一方に設けた構成であればよい。あるいはヘッドホン１０の左右のＬＲスピーカの両方に装着した構成としてもよい。

操作部１０３は、先に図２（ｂ）側面図を参照して説明した操作部１３に相当する。操作部１０３は、例えば再生音楽の開始、停止、スキップ、ボリューム調整、ミュート等の様々な操作を行う場合に利用される。

通信部１０４は、例えば再生装置２０との通信を実行し、再生装置２０による再生データを受信し、受信データを、モード制御部１０５を介してスピーカ１０６に出力する。
さらに、通信部１０４は、再生装置２０に対するユーザ操作情報も受信し、モード制御部１０５に出力する。

モード制御部１０５は、各構成部から様々な情報を入力してモードの設定、遷移を実行してスピーカ１０６に対する出力の制御を実行する。
モード制御部１０５には、以下の各情報が入力される。
（１）タッチセンサアレイ１０１からのセンサ検出情報
（２）マイク（外面マイク１０２ａ，内面マイク１０２ｂ，口元マイク１０２ｃ）からのマイク取得音声情報、
（３）操作部１０３からのユーザ操作情報
（４）通信部１０４を介する再生音情報、さらに、再生装置２０に対するユーザ操作情報

モード制御部１０５は、上記のように、各構成部から様々な情報を入力してモードの設定、遷移を実行してスピーカ１０６に対する出力の制御を実行する。

スピーカ１０６は、モード制御部１０５によって設定されたモードに応じた音声出力を実行する。出力音は、例えば、以下のいずれかの設定である。
（１）再生装置２０において再生される再生音、
（２）上記再生音と、マイク（外面マイク１０２ａ，内面マイク１０２ｂ，口元マイク１０２ｃによって取得された外音（周囲音）との混合音、
（３）マイク（外面マイク１０２ａ，内面マイク１０２ｂ，口元マイク１０２ｃによって取得された外音（周囲音）
上記（１）～（３）のいずれかとなる。

［４．ヘッドホンのモード制御部が実行する処理シーケンスについて］
次にヘッドホンのモード制御部１０５が実行する処理シーケンスについて説明する。

本開始時のヘッドホン１０のモード制御部１０５は、先に図４を参照して説明した各ステップ（Ｓ１１～Ｓ３２）のモード遷移の制御を実行する。
以下では、これらのモード遷移中、以下の代表的な２つの処理例についてフローチャートを参照して説明する。
（処理例１）通常モードにおいてユーザ発話を検出して会話モードに遷移する処理例
（処理例２）通常モードにおいて、タッチセンサアレイからのセンサ検出情報を入力してモード遷移を行う場合の処理例

［４－１．（処理例１）通常モードにおいてユーザ発話を検出して会話モードに遷移する処理例］
まず、図６に示すフローチャートを参照して（処理例１）通常モードにおいてユーザ発話を検出して会話モードに遷移する処理シーケンスについて説明する。

図６は、ヘッドホンのモード制御部１０５が実行する処理シーケンスについて説明するフローチャートを示す図である。
なお、以下において説明するフローに従った処理は、例えば、ヘッドホン１０の記憶部に格納されたプログラムに従って実行することが可能であり、例えばＣＰＵ等のプログラム実行機能を持つ制御部の制御の下で実行される。以下、図６に示すフローの各ステップの処理について順次、説明する。

（ステップＳ１０１）
まず、ヘッドホンのモード制御部１０５は、ステップＳ１０１においてマイク（外面マイク、口元マイク、内面マイク）の取得した音声情報を入力する。

（ステップＳ１０２）
次に、ヘッドホンのモード制御部１０５は、ステップＳ１０２において、入力音声に基づく自己発話検出処理を実行する。

先に説明したように、ヘッドホンのモード制御部１０５は、複数のマイク（外面マイク、口元マイク、内面マイク）の取得音声を解析して音源位置を特定する。音源位置がヘッドホン装着ユーザの口元である場合、ユーザ発話があったと判定する。

（ステップＳ１０３）
次に、ヘッドホンのモード制御部１０５は、ステップＳ１０３において、ヘッドホン装着ユーザのユーザ発話の有無を判定し、ユーザ発話があったと判定した場合は、ステップＳ１０４に進む。
ユーザ発話が無いと判定した場合は、スタートに戻り、通常モードを継続する。

（ステップＳ１０４～Ｓ１０５）
ステップＳ１０３において、ヘッドホン装着ユーザのユーザ発話があったと判定した場合、ステップＳ１０４～Ｓ１０５の処理を実行する。

ステップＳ１０４～Ｓ１０５において、ヘッドホンのモード制御部１０５は、複数のマイク（外面マイク、口元マイク、内面マイク）の取得音声を解析して外音（周囲音）レベルを判定する。

具体的には、外音（周囲音）レベルが予め設定したしきい値音量（例えば８０ｄｂＡ）を超えるか以下であるかを判別する。

外音（周囲音）レベルが予め設定したしきい値音量（例えば８０ｄｂＡ）を超える場合は、ステップＳ１０７に進み、外音（周囲音）レベルが予め設定したしきい値音量（例えば８０ｄｂＡ）以下である場合は、ステップＳ１０６に進む。

（ステップＳ１０６）
ステップＳ１０５において、外音（周囲音）レベルが予め設定したしきい値音量（例えば８０ｄｂＡ）以下であると判定した場合は、ステップＳ１０６の処理を実行する。

ステップＳ１０６において、ヘッドホンのモード制御部１０５は、第１会話モード（低周囲音レベル対応）に移行する処理を実行する。

先に説明したように、第１会話モード（低周囲音レベル対応）は、周囲音レベルがしきい値（例えば８０ｄＢＡ）以下であり、比較的、静かな環境の場合に設定されるモードである。

第１会話モード（低周囲音レベル対応）において、ヘッドホンのモード制御部１０５は、再生装置２０において再生される音声と、外音（周囲音）を併せてスピーカを介して出力する。

前述したように、「第１会話モード（低周囲音レベル対応）」における外音の出力態様には、ＡＳＭノーマル（Ａｍｂｉｅｎｔ Ｓｏｕｎｄ Ｍｏｄｅ－Ｎｏｒｍａｌ）モードと、ボイス（Ｖｏｉｃｅ）モードの２種類がある。

ＡＳＭノーマルモードは、ヘッドホン１０に装着された複数のマイク（外面マイク、口元マイク、内面マイク）の取得音声を、そのままスピーカを介して出力するモードである。
ボイスモードは、マイク（外面マイク、口元マイク、内面マイク）の取得音声から人の声の周波数付近の音声信号を抽出して強調する信号処理を実行して処理後の信号を、スピーカ介して出力するモードである。
これら、いずれのモードで外音を出力するかについては予めユーザが設定可能であり、また随時、変更することも可能である。

（ステップＳ１０７）
一方、ステップＳ１０５において、外音（周囲音）レベルが予め設定したしきい値音量（例えば８０ｄｂＡ）を超えると判定した場合は、ステップＳ１０７の処理を実行する。

ステップＳ１０７において、ヘッドホンのモード制御部１０５は、第２会話モード（高周囲音レベル対応）に移行する処理を実行する。

先に説明したように、第２会話モード（高周囲音レベル対応）は、周囲音レベルがしきい値（例えば８０ｄＢＡ）を超える場合のモードであり、比較的、うるさい環境の場合に設定されるモードである。

第２会話モード（高周囲音レベル対応）において、ヘッドホンのモード制御部１０５は、再生装置２０において再生される音声と、外音（周囲音）を併せてスピーカを介して出力する。

前述したように、「第２会話モード（高周囲音レベル対応）」における外音の出力態様には、ボイス（Ｖｏｉｃｅ）モードと、ビームフォーミング（Ｂｅａｍｆｏｒｍｉｎｇ）モードと、ボイス＋ビームフォーミングモードの３種類がある。

ボイスモードは、マイク（外面マイク、口元マイク、内面マイク）の取得音声から人の声の周波数付近の音声信号を抽出して強調する信号処理を実行して処理後の信号を、スピーカを介して出力するモードである。
ビームフォーミングモードは、ヘッドホンを装着したユーザの前方からくる音を選択して強調する信号処理を実行して処理後の信号を、スピーカを介して出力するモードである。
ボイス＋ビームフォーミングモードは、ボイスモードの信号処理とビームフォーミングの信号処理の双方を実行して処理後の信号を、スピーカを介して出力するモードである。
これら、いずれのモードで外音を出力するかについては予めユーザが設定可能であり、また随時、変更することも可能である。

（ステップＳ１０８）
ステップＳ１０６、またはステップＳ１０７において、第１会話モード（低周囲音レベル対応）、または第２会話モード（高周囲音レベル対応）に移行した後、モード制御部１０５は、ステップＳ１０８の処理を実行する。

モード制御部１０５は、ステップＳ１０８において、現在モードである会話モードから通常モードへの移行条件、または現在モードである会話モードから緊急モードへの移行条件を満たす事象の発生を検出したか否かを判定する。

ステップＳ１０８において、現在モードである会話モードから通常モード移行条件を満たす事象の発生を検出したと判定した場合は、初期状態、すなわち、スタート時点の通常モードに移行する。
また、ステップＳ１０８において、現在モードである会話モードから緊急モード移行条件を満たす事象の発生を検出したと判定した場合は、ステップＳ１０９に進み、緊急モードに移行する。

一方、ステップＳ１０８において、通常モード移行条件、または緊急モード移行条件を満たす事象の発生を検出しなかった場合は、ステップＳ１０４に戻り、ステップＳ１０４以下の処理を繰り返す。

なお、会話モードから通常モードへの移行条件を満たす事象とは、先に図４を参照して説明したステップＳ２２の事象であり、以下の事象である。
（１）自己発話終了検出
（２）２点タッチ
（３）再生開始等のユーザ操作

モード制御部１０５は、上記（１）～（３）のいずれかの事象を検出した場合は、初期状態、すなわち、スタート時点の通常モードに移行する。

また、会話モードから緊急モードへの移行条件を満たす事象とは、先に図４を参照して説明したステップＳ３２の事象であり、以下の事象である。
（１）ユーザによる面タッチ検出

モード制御部１０５は、会話モード設定状態でユーザがヘッドホン外面のほぼ全体を触れたことをタッチセンサアレイ１０１の出力解析に基づいて検出した場合、（ｂ）会話モードから（ｃ）緊急モードへ移行する処理を実行する。

［４－２．（処理例２）通常モードにおいて、タッチセンサアレイからのセンサ検出情報を入力してモード遷移を行う場合の処理例］

次に、図７に示すフローチャートを参照して（処理例２）通常モードにおいて、タッチセンサアレイからのセンサ検出情報を入力してモード遷移を行う場合の処理例について説明する。
以下、図７に示すフローの各ステップの処理について順次、説明する。

（ステップＳ２０１）
まず、ヘッドホンのモード制御部１０５は、ステップＳ２０１においてタッチセンサアレイ１０１から、センサ検出情報を入力する。

先に図３を参照して説明したように、タッチセンサアレイ１０１は、小さなタッチセンサを多数、配列した構成であり、各タッチセンサが個別に検出値を出力する。すなわち、ヘッドホンの外面にユーザが触れたことを検出するとともに、タッチセンサアレイ１０１を構成する多数のタッチセンサの出力を解析することでヘッドホンの外面に対するユーザの手の触れ態様についても判別することができる。
例えば、図３（ａ），（ｂ１），（ｂ２）を参照して説明したように面タッチ、１点タッチ、２点タッチ等を判別可能なセンサ出力値がモード制御部１０５に入力される。

（ステップＳ２０２）
次に、モード制御部１０５は、ステップＳ２０２において、センサ検出情報に基づいて、タッチなし、面タッチ、１点タッチ、２点タッチのどの事象が発生したかを識別する。

（ステップＳ２０３）
まず、モード制御部１０５は、ステップＳ２０３において、センサ検出情報に基づいて、タッチなしとタッチあり（面タッチ、または１点タッチ、または２点タッチ）の識別を行う。

タッチなしの識別結果が得られた場合は、ステップＳ２０１に戻り、センサ検出情報の入力を継続する。
一方、タッチありの識別結果が得られた場合は、ステップＳ２０４に進む。

（ステップＳ２０４）
ステップＳ２０３において、タッチありの識別結果が得られた場合、モード制御部１０５は、ステップＳ２０４において、タッチの種類が面タッチであるか否かを判定する。

タッチの種類が面タッチであると判定した場合は、ステップＳ２２１に進む。
一方、タッチの種類が面タッチ以外であると判定した場合は、ステップＳ２０５に進む。

（ステップＳ２０５）
ステップＳ２０４で、タッチの種類が面タッチ以外であると判定した場合は、ステップＳ２０５に進む。
モード制御部１０５は、ステップＳ２０５において、タッチの種類が１点タッチであるか２点タッチであるかを判定する。

タッチの種類が１点タッチであると判定した場合は、ステップＳ２０６に進む。
一方、タッチの種類が２点タッチであると判定した場合は、ステップＳ２０７に進む。

（ステップＳ２０６）
タッチの種類が１点タッチであると判定した場合は、ステップＳ２０６に進み、
１点タッチに予め対応付けられた再生制御を実行する。
先に図４を参照して説明したように、通常モードでは、１点タッチが再生開始やスキップの処理指示として利用可能であり、ステップＳ１０６では、１点タッチに対応付けられた再生制御処理が実行される。

（ステップＳ２０７）
一方、ステップＳ２０５において、タッチの種類が２点タッチであると判定した場合は、ステップＳ２０７に進む。
先に図４を参照して説明したように、２点タッチは、会話モードへ移行条件を満足する事象である。

この場合、ヘッドホンのモード制御部１０５は、複数のマイク（外面マイク、口元マイク、内面マイク）の取得音声を解析して外音（周囲音）レベルを判定する。
具体的には、外音（周囲音）レベルが予め設定したしきい値音量（例えば８０ｄｂＡ）を超えるか以下であるかを判別する。

（ステップＳ２０８）
ステップＳ２０８は分岐処理ステップであり、ステップＳ２０７で解析した外音（周囲音）レベルが予め設定したしきい値音量（例えば８０ｄｂＡ）を超える場合は、ステップＳ２１０に進み、外音（周囲音）レベルが予め設定したしきい値音量（例えば８０ｄｂＡ）以下である場合は、ステップＳ２０９に進む。

（ステップＳ２０９）
ステップＳ２０８において、外音（周囲音）レベルが予め設定したしきい値音量（例えば８０ｄｂＡ）以下であると判定した場合は、ステップＳ２０９の処理を実行する。

ステップＳ２０９において、ヘッドホンのモード制御部１０５は、第１会話モード（低周囲音レベル対応）に移行する処理を実行する。

先に説明したように、第１会話モード（低周囲音レベル対応）は、周囲音レベルがしきい値（例えば８０ｄＢＡ）以下であり、比較的、静かな環境の場合に設定されるモードである。

第１会話モード（低周囲音レベル対応）において、ヘッドホンのモード制御部１０５は、再生装置２０において再生される音声と、外音（周囲音）を併せてスピーカを介して出力する。

前述したように、「第１会話モード（低周囲音レベル対応）」における外音の出力態様には、ＡＳＭノーマル（Ａｍｂｉｅｎｔ Ｓｏｕｎｄ Ｍｏｄｅ－Ｎｏｒｍａｌ）モードと、ボイス（Ｖｏｉｃｅ）モードの２種類がある。

ＡＳＭノーマルモードは、ヘッドホン１０に装着された複数のマイク（外面マイク、口元マイク、内面マイク）の取得音声を、そのままスピーカを介して出力するモードである。
ボイスモードは、マイク（外面マイク、口元マイク、内面マイク）の取得音声から人の声の周波数付近の音声信号を抽出して強調する信号処理を実行して処理後の信号を、スピーカ介して出力するモードである。
これら、いずれのモードで外音を出力するかについては予めユーザが設定可能であり、また随時、変更することも可能である。

（ステップＳ２１０）
一方、ステップＳ２０８において、外音（周囲音）レベルが予め設定したしきい値音量（例えば８０ｄｂＡ）を超えると判定した場合は、ステップＳ２１０の処理を実行する。

ステップＳ２１０において、ヘッドホンのモード制御部１０５は、第２会話モード（高周囲音レベル対応）に移行する処理を実行する。

先に説明したように、第２会話モード（高周囲音レベル対応）は、周囲音レベルがしきい値（例えば８０ｄＢＡ）を超える場合のモードであり、比較的、うるさい環境の場合に設定されるモードである。

第２会話モード（高周囲音レベル対応）において、ヘッドホンのモード制御部１０５は、再生装置２０において再生される音声と、外音（周囲音）を併せてスピーカを介して出力する。

前述したように、「第２会話モード（高周囲音レベル対応）」における外音の出力態様には、ボイス（Ｖｏｉｃｅ）モードと、ビームフォーミング（Ｂｅａｍｆｏｒｍｉｎｇ）モードと、ボイス＋ビームフォーミングモードの３種類がある。

ボイスモードは、マイク（外面マイク、口元マイク、内面マイク）の取得音声から人の声の周波数付近の音声信号を抽出して強調する信号処理を実行して処理後の信号を、スピーカを介して出力するモードである。
ビームフォーミングモードは、ヘッドホンを装着したユーザの前方からくる音を選択して強調する信号処理を実行して処理後の信号を、スピーカを介して出力するモードである。
ボイス＋ビームフォーミングモードは、ボイスモードの信号処理とビームフォーミングの信号処理の双方を実行して処理後の信号を、スピーカを介して出力するモードである。
これら、いずれのモードで外音を出力するかについては予めユーザが設定可能であり、また随時、変更することも可能である。

（ステップＳ２１１）
ステップＳ２０９、またはステップＳ２１０において、第１会話モード（低周囲音レベル対応）、または第２会話モード（高周囲音レベル対応）に移行した後、モード制御部１０５は、ステップＳ２１１の処理を実行する。

モード制御部１０５は、ステップＳ２１１において、現在モードである会話モードから通常モードへの移行条件、または現在モードである会話モードから緊急モードへの移行条件を満たす事象の発生を検出したか否かを判定する。

ステップＳ２１１において、現在モードである会話モードから通常モード移行条件を満たす事象の発生を検出したと判定した場合は、初期状態、すなわち、スタート時点の通常モードに移行する。
また、ステップＳ２１１において、現在モードである会話モードから緊急モード移行条件を満たす事象の発生を検出したと判定した場合は、緊急モードに移行する。緊急モードはフロー中のステップＳ２０４の判定において面タッチが検出された場合に移行するステップＳ２２１に示す緊急モードと同じモードであり、緊急モード移行後にステップＳ２２２の処理が実行される。

なお、ステップＳ２１１において、通常モード移行条件、または緊急モード移行条件を満たす事象の発生を検出しなかった場合は、ステップＳ２０７に戻り、ステップＳ２０７以下の処理を繰り返す。

なお、会話モードから通常モードへの移行条件を満たす事象とは、先に図４を参照して説明したステップＳ２２の事象であり、以下の事象である。
（１）自己発話終了検出
（２）２点タッチ
（３）再生開始等のユーザ操作

モード制御部１０５は、上記（１）～（３）のいずれかの事象を検出した場合は、初期状態、すなわち、スタート時点の通常モードに移行する。

また、会話モードから緊急モードへの移行条件を満たす事象とは、先に図４を参照して説明したステップＳ３２の事象であり、以下の事象である。
（１）ユーザによる面タッチ検出

モード制御部１０５は、会話モード設定状態でユーザがヘッドホン外面のほぼ全体を触れたことをタッチセンサアレイ１０１の出力解析に基づいて検出した場合、（ｂ）会話モードから（ｃ）緊急モードへ移行する処理を実行する。

（ステップＳ２２１～Ｓ２２２）
最後に緊急モード移行後の処理であるステップＳ２２１～Ｓ２２２の処理について説明する。

ステップＳ２０４において、タッチの種類が面タッチであると判定した場合、モード制御部１０５は、ステップＳ２０５において、通常モードから緊急モードへのモード遷移処理を実行する。
また、ステップＳ２１１において、会話モードから緊急モードへの移行条件を満たす事象、すなわち、
（１）ユーザによる面タッチ検出
上記事象を検出した場合、モード制御部１０５は、ステップＳ２１１において、会話モードから緊急モードへのモード遷移処理を実行する。

ステップＳ２２１の緊急モードへのモード移行後は、ステップＳ２２２の処理を実行する。
ステップＳ２２２では、現在のモードである緊急モードから他のモード（通常モード、会話モード）への移行条件を満たす事象が発生したか否かを判定する。

ステップＳ２２２において、緊急モードから通常モード移行条件を満たす事象の発生を検出したと判定した場合は、初期状態、すなわち、スタート時点の通常モードに移行する。
また、ステップＳ２２２において、緊急モードから会話モード移行条件を満たす事象の発生を検出したと判定した場合は、ステップＳ２０７に進む。
また、ステップＳ２２２において、現在のモードである緊急モードから他のモード（通常モード、会話モード）への移行条件を満たす事象が発生していないと判定した場合は、ステップＳ２２１に戻り、緊急モードを継続する。

なお、緊急モードから通常モードへの移行条件を満たす事象とは、先に図４を参照して説明したステップＳ１２の事象であり、以下の事象である。
（１）ユーザによる面タッチ解除検出

モード制御部１０５は、緊急モード設定状態でユーザがヘッドホン外面の面タッチを解除したことをタッチセンサアレイ１０１の出力解析に基づいて検出した場合、（ｃ）緊急モードから（ａ）通常モードへ移行する処理を実行する。

また、緊急モードから会話モードへの移行条件を満たす事象とは、先に図４を参照して説明したステップＳ３１の事象であり、以下の事象である。
（１）自己発話検出
（２）２点タッチ

モード制御部１０５は、上記（１）～（２）のいずれかの事象を検出した場合は、ステップＳ２０７に進む。すなわち、会話モードに移行する。

［５．モード制御部の実行するモード遷移のまとめ］
次に図８を参照して、本開示のヘッドホン１０のモード制御部１０５が実行するモード遷移処理についてまとめて説明する。

図８は、本開示のヘッドホン１０の（Ａ）現在モードと、各現在モードにおける発生事象に基づくモード遷移についてまとめた表を示す図である。具体的には、
（Ａ）現在モード、
（Ｂ）マイク入力情報に基づくモード遷移
（Ｃ）タッチセンサ検出情報に基づくモード遷移
これらの対応データを一覧として示している。

（Ａ）現在モードには、以下の４つのモードを示している。
（１）通常モード
（２）緊急モード
（３）第１会話モード（低周囲音レベル対応）
（４）第２会話モード（高周囲音レベル対応）

以下、現在モードが上記（１）～（４）の場合の、
（Ｂ）マイク入力情報に基づくモード遷移
（Ｃ）タッチセンサ検出情報に基づくモード遷移
これらのモード遷移について説明する。

［５－１．現在モードが通常モードの場合のモード遷移について］
まず、現在モードが通常モードの場合のモード遷移について説明する。

現在モードが通常モードである場合、モード制御部１０５は、「（Ｂ）マイク入力情報に基づくモード遷移」を以下のように実行する。
（ｐ１）自己発話検出なしの場合＝処理なし（通常モード継続）。
（ｐ２）自己発話が検出され、周囲音レベルがしきい値（例えば８０ｄＢＡ）以下の場合＝第１会話モード（低周囲音レベル対応）に移行する。
（ｐ３）自己発話が検出され、周囲音レベルがしきい値（例えば８０ｄＢＡ）を超える場合＝第２会話モード（高周囲音レベル対応）に移行する。

また、現在モードが通常モードである場合、モード制御部１０５は、「（Ｃ）タッチセンサ検出情報に基づくモード遷移」を以下のように実行する。
（ｑ１）面タッチを検出した場合＝緊急モードに移行する。
（ｑ２）面タッチ解除を検出した場合＝処理なし（通常モード継続）。
（ｑ３）１点タッチを検出した場合＝規定の再生制御（再生開始等）を実行する（通常モードを継続）。
（ｑ４）２点タッチを検出した場合＝会話モードに移行する。

なお、上記（ｑ４）の会話モードへの移行に際しては、周囲音レベルに応じて異なる会話モードへの移行処理を行う。周囲音レベルがしきい値（例えば８０ｄＢＡ）以下の場合は、第１会話モード（低周囲音レベル対応）に移行し、周囲音レベルがしきい値（例えば８０ｄＢＡ）を超える場合は、第２会話モード（高周囲音レベル対応）に移行する。

［５－２．現在モードが緊急モードの場合のモード遷移について］
次に、現在モードが緊急モードの場合のモード遷移について説明する。

現在モードが緊急モードである場合、モード制御部１０５は、「（Ｂ）マイク入力情報に基づくモード遷移」を以下のように実行する。
（ｐ１）自己発話検出なしの場合＝処理なし（緊急モード継続）。
（ｐ２）自己発話が検出され、周囲音レベルがしきい値（例えば８０ｄＢＡ）以下の場合＝第１会話モード（低周囲音レベル対応）に移行する。
（ｐ３）自己発話が検出され、周囲音レベルがしきい値（例えば８０ｄＢＡ）を超える場合＝第２会話モード（高周囲音レベル対応）に移行する。

また、現在モードが緊急モードである場合、モード制御部１０５は、「（Ｃ）タッチセンサ検出情報に基づくモード遷移」を以下のように実行する。
（ｑ１）面タッチを検出した場合＝処理なし（緊急モード継続）。
（ｑ２）面タッチ解除を検出した場合＝通常モードに移行する。
（ｑ３）１点タッチを検出した場合＝処理なし（緊急モード継続）。
（ｑ４）２点タッチを検出した場合＝会話モードに移行する。

なお、上記（ｑ４）の会話モードへの移行に際しては、周囲音レベルに応じて異なる会話モードへの移行処理を行う。周囲音レベルがしきい値（例えば８０ｄＢＡ）以下の場合は、第１会話モード（低周囲音レベル対応）に移行し、周囲音レベルがしきい値（例えば８０ｄＢＡ）を超える場合は、第２会話モード（高周囲音レベル対応）に移行する。

［５－３．現在モードが第１会話モード（低周囲音レベル対応）の場合のモード遷移について］
次に、現在モードが第１会話モード（低周囲音レベル対応）の場合のモード遷移について説明する。

現在モードが第１会話モード（低周囲音レベル対応）である場合、モード制御部１０５は、「（Ｂ）マイク入力情報に基づくモード遷移」を以下のように実行する。
（ｐ１）自己発話検出なしの場合＝予め規定したしきい値時間（例えば３０秒）以上の間、ユーザ発話が検出されなかった場合、通常モードへ移行する。
（ｐ２）自己発話が検出され、周囲音レベルがしきい値（例えば８０ｄＢＡ）以下の場合＝処理なし（第１会話モード（低周囲音レベル対応）継続）。
（ｐ３）自己発話が検出され、周囲音レベルがしきい値（例えば８０ｄＢＡ）を超える場合＝第２会話モード（高周囲音レベル対応）に移行する。

また、現在モードが第１会話モード（低周囲音レベル対応）である場合、モード制御部１０５は、「（Ｃ）タッチセンサ検出情報に基づくモード遷移」を以下のように実行する。
（ｑ１）面タッチを検出した場合＝緊急モードに移行する。
（ｑ２）面タッチ解除を検出した場合＝処理なし（第１会話モード（低周囲音レベル対応）継続）。
（ｑ３）１点タッチを検出した場合＝既定の再生制御を実行する（通常モードに移行する）。
（ｑ４）２点タッチを検出した場合＝通常モードに移行する。

［５－４．現在モードが第２会話モード（高周囲音レベル対応）の場合のモード遷移について］
次に、現在モードが第２会話モード（高周囲音レベル対応）の場合のモード遷移について説明する。

現在モードが第２会話モード（高周囲音レベル対応）である場合、モード制御部１０５は、「（Ｂ）マイク入力情報に基づくモード遷移」を以下のように実行する。
（ｐ１）自己発話検出なしの場合＝予め規定したしきい値時間（例えば３０秒）以上の間、ユーザ発話が検出されなかった場合、通常モードへ移行する。
（ｐ２）自己発話が検出され、周囲音レベルがしきい値（例えば８０ｄＢＡ）以下の場合＝第１会話モード（低周囲音レベル対応）に移行する。
（ｐ３）自己発話が検出され、周囲音レベルがしきい値（例えば８０ｄＢＡ）を超える場合＝処理なし（第２会話モード（高周囲音レベル対応）継続）。

また、現在モードが第２会話モード（高周囲音レベル対応）である場合、モード制御部１０５は、「（Ｃ）タッチセンサ検出情報に基づくモード遷移」を以下のように実行する。
（ｑ１）面タッチを検出した場合＝緊急モードに移行する。
（ｑ２）面タッチ解除を検出した場合＝処理なし（第２会話モード（高周囲音レベル対応）継続）。
（ｑ３）１点タッチを検出した場合＝既定の再生制御を実行する（通常モードに移行する）。
（ｑ４）２点タッチを検出した場合＝通常モードに移行する。

本開示のヘッドホン１０のモード制御部１０５が実行するモード遷移処理についてまとめると、この図８に示す処理となる。

なお、このモード遷移処理例は一例であり、その他の設定とすることも可能である。
例えば、図８に示すモード遷移処理例では、タッチセンサアレイ１０１からのセンサ検出値として、１点タッチと２点タッチを区別して、１点タッチは、通常モードでの再生制御に利用する構成としたが、このような再生制御構成を設けず、１点タッチでも２点タッチでも区別せず面タッチ以外の部分的なタッチを検出した場合は、会話モードへの移行、または会話モードから通常モードへの移行を行う構成としてもよい。
この設定としたモード遷移例を図９に示す。

図９に示すモード遷移データは、（ｑ３）１点タッチを検出した際のモード遷移が、（ｑ４）２点タッチを検出した際のモード遷移と同じ設定である。
このように、１点タッチの場合も２点タッチと同様のモード遷移を実行する構成としてもよい。

さらに、３点タッチ等、２点以上のタッチについても２点タッチと同様の処理を行う構成としてもよい。
あるいは１点タッチ、２点タッチ、３点タッチ等の各タッチを識別して、それぞれのタッチに応じた異なるモード遷移を実行する構成としてもよい。

［６．ヘッドホンのハードウェア構成例について］
次に、上述した実施例において説明したヘッドホンのハードウェアの構成例について説明する。
図１０に示すハードウェアは、上述した実施例において説明したヘッドホンのハードウェア構成の一例である。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３０１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３０２、または記憶部３０８に記憶されているプログラムに従って各種の処理を実行する制御部やデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。
具体的には、上述したモード制御部１０５の処理等を実行する。
ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３０３には、ＣＰＵ３０１が実行するプログラムやデータなどが記憶される。これらのＣＰＵ３０１、ＲＯＭ３０２、およびＲＡＭ３０３は、バス３０４により相互に接続されている。

ＣＰＵ３０１はバス３０４を介して入出力インタフェース３０５に接続され、入出力インタフェース３０５には、マイク、センサ、操作部などからなる入力部３０６、スピーカなどからなる出力部３０７が接続されている。ＣＰＵ３０１は、入力部３０６からの入力情報に応じて各種の処理を実行し、処理結果を出力部３０７に出力する。
具体的には、モード遷移に応じた出力音をスピーカに出力する。

入出力インタフェース３０５に接続されている記憶部３０８は、ＣＰＵ３０１が実行するプログラムや各種のデータを記憶する。通信部３０９は、Ｗｉ－Ｆｉ通信、ブルートゥース（登録商標）（ＢＴ）通信、その他インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。

［７．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１） ヘッドホンの周囲音である外音を取り込むマイクと、
前記ヘッドホンのスピーカの出力音をモードに応じて制御するモード制御部を有し、
前記モード制御部は、
前記マイクの入力音の解析により、前記ヘッドホンを装着したユーザの発話を検出した場合、前記マイクによって取得された外音を前記スピーカから出力する会話モードに移行するモード制御を実行するヘッドホン。

（２） 前記ヘッドホンは、さらに、
前記ヘッドホンの外面に対するタッチ操作の種類を判別可能としたタッチセンサアレイを有し、
前記モード制御部は、
前記タッチセンサアレイの出力解析により、予め規定したタッチ種類のタッチ操作を検出した場合、前記会話モードに移行するモード制御を実行する（１）に記載のヘッドホン。

（３） 前記予め規定したタッチ種類のタッチ操作は、前記ヘッドホンの外面に対する２点タッチまたは１点タッチである（２）に記載のヘッドホン。

（４） 前記モード制御部は、
前記マイクの入力音の解析により、外音のレベルが規定レベルを超えているか否かを判定し、判定結果に応じて異なる制御を実行する（１）～（３）いずれかに記載のヘッドホン。

（５） 前記モード制御部は、
前記マイクの入力音の解析により、外音のレベルが規定レベル以下であると判定した場合、
（ａ）前記マイクの取得音声をスピーカに出力するＡＳＭノーマル（Ａｍｂｉｅｎｔ Ｓｏｕｎｄ Ｍｏｄｅ－Ｎｏｒｍａｌ）モード、または、
（ｂ）前記マイクの取得音声から人の声の周波数付近の音声信号を抽出して強調した処理信号をスピーカに出力するボイスモード、
上記（ａ），（ｂ）いずれかのモードに設定するモード制御を実行する（４）に記載のヘッドホン。

（６） 前記モード制御部は、
前記マイクの入力音の解析により、外音のレベルが規定レベルを超えると判定した場合、
（ａ）前記マイクの取得音声から人の声の周波数付近の音声信号を抽出して強調した処理信号をスピーカに出力するボイスモード、
（ｂ）前記ヘッドホンを装着したユーザの前方からの音を選択して強調した処理信号をスピーカに出力するビームフォーミングモード、
上記（ａ），（ｂ）いずれかのモード、または上記（ａ），（ｂ）の混在モードに設定するモード制御を実行する（４）または（５）に記載のヘッドホン。

（７） 前記マイクは、前記ヘッドホンの異なる位置に設定された複数のマイクによって構成されている（１）～（６）いずれかに記載のヘッドホン。

（８） 前記複数のマイクには、前記ヘッドホンの装着ユーザの口元に近い位置の口元マイクが含まれる（７）に記載のヘッドホン。

（９） 前記モード制御部は、
前記マイクによって取得された外音を前記スピーカから出力する前記会話モードと、
前記マイクによって取得された外音を前記スピーカから出力しない、または低レベルの外音出力を実行する通常モードとのモード切り替え処理を実行する構成であり、
前記モード制御部は、
前記通常モードの設定状態において、
前記マイクの入力音の解析により、前記ヘッドホンを装着したユーザの発話を検出した場合に前記会話モードに移行するモード制御を実行する（１）～（８）いずれかに記載のヘッドホン。

（１０） 前記モード制御部は、
前記会話モードの設定状態において、
予め規定した時間、前記ヘッドホンを装着したユーザの発話が検出されなかった場合、前記通常モードに移行するモード制御を実行する（９）に記載のヘッドホン。

（１１） 前記ヘッドホンは、さらに、
前記ヘッドホンの外面に対するタッチ操作の種類を判別可能としたタッチセンサアレイを有し、
前記モード制御部は、
前記タッチセンサアレイの出力解析により、予め規定したタッチ種類のタッチ操作を検出した場合、前記マイクによって取得された外音を前記スピーカから出力する緊急モードに移行するモード制御を実行する（１）～（１０）いずれかに記載のヘッドホン。

（１２） 前記予め規定したタッチ種類のタッチ操作は、前記ヘッドホンの外面に対する面タッチである（１１）に記載のヘッドホン。

（１３） 前記モード制御部は、
前記緊急モードの設定状態において、
前記マイクの入力音の解析により、前記ヘッドホンを装着したユーザの発話を検出した場合、前記会話モードに移行するモード制御を実行する（１１）または（１２）に記載のヘッドホン。

（１４） ヘッドホンにおけるスピーカ出力音の制御を実行する音響信号処理方法であり、
前記ヘッドホンは、
ヘッドホンの周囲音である外音を取り込むマイクと、
前記ヘッドホンのスピーカの出力音をモードに応じて制御するモード制御部を有し、
前記モード制御部が、
前記マイクの入力音の解析により、前記ヘッドホンを装着したユーザの発話を検出した場合、前記マイクによって取得された外音を前記スピーカから出力する会話モードに移行するモード制御を実行する音響信号処理方法。

（１５） ヘッドホンにおけるスピーカ出力音の制御を実行させるプログラムであり、
前記ヘッドホンは、
ヘッドホンの周囲音である外音を取り込むマイクと、
前記ヘッドホンのスピーカの出力音をモードに応じて制御するモード制御部を有し、
前記プログラムは、前記モード制御部に、
前記マイクの入力音の解析により、前記ヘッドホンを装着したユーザの発話を検出した場合、前記マイクによって取得された外音を前記スピーカから出力する会話モードに移行するモード制御を実行させるプログラム。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本開示の一実施例の構成によれば、煩わしいユーザ操作を行うことなく、外音をスピーカから出力する会話モードに移行するモード制御を可能としたヘッドホンが実現される。
具体的には、例えば、ヘッドホンの周囲音である外音を取り込むマイクと、ヘッドホンのスピーカの出力音をモードに応じて制御するモード制御部を有する。モード制御部は、マイク入力音解析により、ヘッドホン装着ユーザの発話を検出した場合、外音をスピーカから出力する会話モードに移行する。さらに、ヘッドホン外面に対するタッチ操作の種類を判別可能なタッチセンサアレイの出力解析により、予め規定したタッチ種類のタッチ操作を検出した場合にも会話モードに移行する。
本構成により、煩わしいユーザ操作を行うことなく、外音をスピーカから出力する会話モードに移行するモード制御を可能としたヘッドホンが実現される。

１ ユーザ
１０ ヘッドホン
１１ 外面マイク
１２ 口元マイク
１３ 操作部
１４ スピーカ
１５ 内面マイク
２０ 再生装置（ユーザ端末）
１０１ タッチセンサアレイ
１０２ａ 外面マイク
１０２ｂ 内面マイク
１０２ｃ 口元マイク
１０３ 操作部
１０４ 通信部
１０５ モード制御部
１０６ スピーカ
３０１ ＣＰＵ
３０２ ＲＯＭ
３０３ ＲＡＭ
３０４ バス
３０５ 入出力インタフェース
３０６ 入力部
３０７ 出力部
３０８ 記憶部
３０９ 通信部

Claims (15)

1. ヘッドホンの周囲音である外音を取り込むマイクと、
   前記ヘッドホンのスピーカの出力音をモードに応じて制御するモード制御部を有し、
   前記モード制御部は、
   前記マイクの入力音の解析により、前記ヘッドホンを装着したユーザの発話を検出した場合、前記マイクによって取得された外音を前記スピーカから出力する会話モードに移行するモード制御を実行するヘッドホン。
2. 前記ヘッドホンは、さらに、
   前記ヘッドホンの外面に対するタッチ操作の種類を判別可能としたタッチセンサアレイを有し、
   前記モード制御部は、
   前記タッチセンサアレイの出力解析により、予め規定したタッチ種類のタッチ操作を検出した場合、前記会話モードに移行するモード制御を実行する請求項１に記載のヘッドホン。
3. 前記予め規定したタッチ種類のタッチ操作は、前記ヘッドホンの外面に対する２点タッチまたは１点タッチである請求項２に記載のヘッドホン。
4. 前記モード制御部は、
   前記マイクの入力音の解析により、外音のレベルが規定レベルを超えているか否かを判定し、判定結果に応じて異なる制御を実行する請求項１に記載のヘッドホン。
5. 前記モード制御部は、
   前記マイクの入力音の解析により、外音のレベルが規定レベル以下であると判定した場合、
   （ａ）前記マイクの取得音声をスピーカに出力するＡＳＭノーマル（Ａｍｂｉｅｎｔ Ｓｏｕｎｄ Ｍｏｄｅ－Ｎｏｒｍａｌ）モード、または、
   （ｂ）前記マイクの取得音声から人の声の周波数付近の音声信号を抽出して強調した処理信号をスピーカに出力するボイスモード、
   上記（ａ），（ｂ）いずれかのモードに設定するモード制御を実行する請求項４に記載のヘッドホン。
6. 前記モード制御部は、
   前記マイクの入力音の解析により、外音のレベルが規定レベルを超えると判定した場合、
   （ａ）前記マイクの取得音声から人の声の周波数付近の音声信号を抽出して強調した処理信号をスピーカに出力するボイスモード、
   （ｂ）前記ヘッドホンを装着したユーザの前方からの音を選択して強調した処理信号をスピーカに出力するビームフォーミングモード、
   上記（ａ），（ｂ）いずれかのモード、または上記（ａ），（ｂ）の混在モードに設定するモード制御を実行する請求項４に記載のヘッドホン。
7. 前記マイクは、前記ヘッドホンの異なる位置に設定された複数のマイクによって構成されている請求項１に記載のヘッドホン。
8. 前記複数のマイクには、前記ヘッドホンの装着ユーザの口元に近い位置の口元マイクが含まれる請求項７に記載のヘッドホン。
9. 前記モード制御部は、
   前記マイクによって取得された外音を前記スピーカから出力する前記会話モードと、
   前記マイクによって取得された外音を前記スピーカから出力しない、または低レベルの外音出力を実行する通常モードとのモード切り替え処理を実行する構成であり、
   前記モード制御部は、
   前記通常モードの設定状態において、
   前記マイクの入力音の解析により、前記ヘッドホンを装着したユーザの発話を検出した場合に前記会話モードに移行するモード制御を実行する請求項１に記載のヘッドホン。
10. 前記モード制御部は、
    前記会話モードの設定状態において、
    予め規定した時間、前記ヘッドホンを装着したユーザの発話が検出されなかった場合、前記通常モードに移行するモード制御を実行する請求項９に記載のヘッドホン。
11. 前記ヘッドホンは、さらに、
    前記ヘッドホンの外面に対するタッチ操作の種類を判別可能としたタッチセンサアレイを有し、
    前記モード制御部は、
    前記タッチセンサアレイの出力解析により、予め規定したタッチ種類のタッチ操作を検出した場合、前記マイクによって取得された外音を前記スピーカから出力する緊急モードに移行するモード制御を実行する請求項１に記載のヘッドホン。
12. 前記予め規定したタッチ種類のタッチ操作は、前記ヘッドホンの外面に対する面タッチである請求項１１に記載のヘッドホン。
13. 前記モード制御部は、
    前記緊急モードの設定状態において、
    前記マイクの入力音の解析により、前記ヘッドホンを装着したユーザの発話を検出した場合、前記会話モードに移行するモード制御を実行する請求項１１に記載のヘッドホン。
14. ヘッドホンにおけるスピーカ出力音の制御を実行する音響信号処理方法であり、
    前記ヘッドホンは、
    ヘッドホンの周囲音である外音を取り込むマイクと、
    前記ヘッドホンのスピーカの出力音をモードに応じて制御するモード制御部を有し、
    前記モード制御部が、
    前記マイクの入力音の解析により、前記ヘッドホンを装着したユーザの発話を検出した場合、前記マイクによって取得された外音を前記スピーカから出力する会話モードに移行するモード制御を実行する音響信号処理方法。
15. ヘッドホンにおけるスピーカ出力音の制御を実行させるプログラムであり、
    前記ヘッドホンは、
    ヘッドホンの周囲音である外音を取り込むマイクと、
    前記ヘッドホンのスピーカの出力音をモードに応じて制御するモード制御部を有し、
    前記プログラムは、前記モード制御部に、
    前記マイクの入力音の解析により、前記ヘッドホンを装着したユーザの発話を検出した場合、前記マイクによって取得された外音を前記スピーカから出力する会話モードに移行するモード制御を実行させるプログラム。

Images