JP6268033B2

JP6268033B2 - 携帯端末

Info

Publication number: JP6268033B2
Application number: JP2014090366A
Authority: JP
Inventors: 裕二朗福井
Original assignee: Kyocera Corp
Current assignee: Kyocera Corp
Priority date: 2014-04-24
Filing date: 2014-04-24
Publication date: 2018-01-24
Anticipated expiration: 2034-04-24
Also published as: US20150312674A1; US9826303B2; JP2015211267A

Description

本発明は、携帯端末および携帯端末システムに関し、特にイヤホンに音声を出力する機能を有する携帯端末および携帯端末システムに関する。

従来から、携帯端末にイヤホンが接続されたときに、ユーザが周囲音を聴くことができる技術が知られている。

たとえば、特許文献１（特表２００９−５２９２７５号公報）に記載のヘッドセットは、電子機器から音声信号を受信する入力部と、電気信号を可聴音に変換するための電気音響スピーカを有する少なくとも１つのイヤホンと、周囲音を受信し、この周囲音を周囲音信号に変換する少なくとも１つのマイクを備える。さらに、ヘッドセットは入力部と少なくとも１つのイヤホンとを備えた一体型ユニットとして形成される処理回路を含む。この処理回路は、電子機器から出される音声信号を少なくとも１つのマイクから得られる周囲音信号と合成し、少なくとも１つのイヤホンへこの合成信号を出力する回路を含み、それによって電気音響スピーカは、音声信号から得られる可聴音と組み合わされた周囲音を再生する。

特表２００９−５２９２７５号公報

ところで、周囲音には、ユーザにとって必要なもの（たとえば、他者からの呼びかけ、車両のクラクション、緊急車両のサイレンなど）と、ユーザにとって不要なもの（ノイズや、他者間の会話など）がある。

しかしながら、特許文献１（特表２００９−５２９２７５号公報）に記載の装置では、ヘッドセットが電子機器に接続されたときには、ユーザにとって必要か否かに係らず、周囲音が必ず、イヤホンに出力されてしまう。

それゆえに、本発明の目的は、イヤホンを耳に装着した状態で、ユーザにとって必要性の高い周囲音をユーザが聴くことができる携帯端末および携帯端末システムを提供することである。

本発明の携帯端末は、１または複数のマイクと、１または複数のマイクのうち、少なくとも１つのマイクから入力される音声信号に基づいて、周囲音をイヤホンに出力すべきか否かを判定する判定部と、周囲音をイヤホンに出力すべきと判定された場合に、少なくとも１つのマイクから入力される音声信号をイヤホンに出力する音声出力制御部とを備える。

本発明によれば、イヤホンを耳に装着した状態で、ユーザにとって必要性の高い周囲音をユーザが聴くことができる。

本発明の実施形態の携帯端末の構成を表わす図である。携帯端末の外観を表わす図である。携帯端末の外観を表わす図である。第１の実施形態の携帯端末によるイヤホンへの周囲音の出力制御手順を表わすフローチャートである。第１の実施形態における周囲音を出力するときの音声信号の例を表わす図である。第２の実施形態の携帯端末によるイヤホンへの周囲音の出力制御手順を表わすフローチャートである。第２の実施形態における周囲音を出力するときの音声信号の例を表わす図である。第３の実施形態の携帯端末によるイヤホンへの周囲音の出力制御手順を表わすフローチャートである。第３の実施形態における周囲音を出力するときの音声信号の例を表わす図である。第４の実施形態のイヤホンの外観を表わす図である。第５の実施形態のイヤホンの外観を表わす図である。

以下、本発明の実施の形態について図面を用いて説明する。
［第１の実施形態］
図１は、本発明の実施形態の携帯端末の構成を表わす図である。図２および図３は、携帯端末の外観を表わす図である。

図１に示すように、この携帯端末１は、アンテナ４と、タッチパネル５と、ディスプレイ６と、第１マイク２と、第２マイク３と、イヤホンジャック１０と、スピーカ９とを備える。

制御部１２は、ＣＰＵおよび記憶部などを備え、携帯端末１の他の構成要素を制御することによって、携帯端末１の動作を統括的に管理する。制御部１２は、マイク制御部１４と、音声出力制御部１３を含む。

アンテナ４は、無線基地局との間の無線通信に用いられる。
タッチパネル５は、ユーザからの操作入力を受け付ける。

ディスプレイ６は、文字、記号、図形などの各種情報を表示する。
第１マイク２および第２マイク３は、周囲音を音声信号に変換する。

第１マイク２は、図２および図３に示すように、携帯端末１の下面に設けられる。
第２マイク３は、図３に示すように、携帯端末１の背面に設けられる。

イヤホンジャック１０は、イヤホン１１と接続されたときに、音声出力制御部１３から音声信号をイヤホン１１へ出力する。

スピーカ９は、音声出力制御部１３から出力される音声信号に基づいて音圧を発生する。

マイク制御部１４は、イヤホン１１がイヤホンジャック１０に接続されたときには、第１マイク２および第２マイク３の音声入力をオンにして、第１マイク２からの音声信号および第２マイク３からの音声信号を受信する。

周囲音出力判定部１５は、第１マイク２および第２マイク３のうち、少なくとも１つのマイクから入力される音声信号に基づいて、周囲音をイヤホン１１に出力すべきか否かを判定する。

第１の実施形態では、周囲音出力判定部１５は、第１マイク２および第２マイク３から入力される音声信号のパワーを検出し、検出された音声信号のパワーの和が閾値以上のときに、周囲音をイヤホン１１に出力すべきと判定する。

音声出力制御部１３は、イヤホン１１がイヤホンジャック１０に接続されていないときには、アプリケーションプログラムなどによって携帯端末１の内部で再生した音声信号をスピーカ９に出力する。

音声出力制御部１３は、イヤホン１１がイヤホンジャック１０に接続されているときには、周囲音出力判定部１５によって、周囲音をイヤホン１１に出力すべきと判定されず、かつアプリケーションプログラムなどによって音声信号が再生されている場合には、アプリケーションプログラムなどによって携帯端末１の内部で再生した音声信号をイヤホンジャック１０からイヤホン１１へ出力する。

たとえば、ユーザが通話中に、通話相手が発声しており、かつユーザが発声していない場合には、通話アプリケーションで再生された通話相手の音声が、イヤホン１１へ出力される。

音声出力制御部１３は、イヤホン１１がイヤホンジャック１０に接続されているときに、周囲音出力判定部１５によって周囲音をイヤホン１１に出力すべきと判定され、かつアプリケーションプログラムなどによって音声信号が再生されていない場合には、第１マイク２から入力される音声信号をイヤホンジャック１０からイヤホン１１へ出力する。

たとえば、ユーザが通話中に、通話相手が発声しておらず、かつユーザが発声している場合には、ユーザの音声を含む周囲音がイヤホン１１へ出力される。

音声出力制御部１３は、イヤホン１１がイヤホンジャック１０に接続されているときに、周囲音出力判定部１５によって、周囲音をイヤホン１１に出力すべきと判定され、かつアプリケーションプログラムなどによって音声信号が再生されている場合には、第１マイク２から入力される音声信号と、アプリケーションプログラムなどによって再生された音声信号とを合成して、イヤホンジャック１０からイヤホン１１へ出力する。

たとえば、ユーザが通話中に、通話相手が発声し、かつユーザが発声している場合には、通話アプリケーションで再生された通話相手の音声と、ユーザの音声を含む周囲音とが合成されて、イヤホン１１へ出力される。

図４は、第１の実施形態の携帯端末によるイヤホンへの周囲音の出力制御手順を表わすフローチャートである。

ステップＳ１０１において、イヤホン１１がイヤホンジャック１０に接続された場合に、（ステップＳ１０１：ＹＥＳ）、処理がステップＳ１０２に進む。

ステップＳ１０２において、マイク制御部１４は、第１マイク２および第２マイク３の音声入力をオンに設定する。

ステップＳ１０３において、第１マイク２から入力された音声信号のパワーと第２マイクから入力された音声信号のパワーの合計値が閾値ＴＨ１以上の場合には（ステップＳ１０３：ＹＥＳ）、処理がステップＳ１０４に進む。

ステップＳ１０４において、周囲音出力判定部１５が、周囲音をイヤホン１１に出力すべきと判定する。音声出力制御部１３は、第１マイク２から入力された音声信号をイヤホン１１へ出力する。なお、アプリケーションプログラムなどによって音声信号が再生されている場合には、第１マイク２から入力された音声信号と再生された音声信号とが合成されてイヤホンへ出力される。

図５に示すように、音声信号のパワーの合計値が閾値ＴＨ１以上となる期間には、第１マイクから入力された音声信号がイヤホン１１へ出力されるので、ユーザは、ユーザに対する他者の話し声、パトカーのサイレン音、車両のクラクション音などのような、ユーザの周囲の大きな音量の音声を、イヤホン１１を通じて聴くことができる。

ステップＳ１０５において、イヤホン１１がイヤホンジャック１０から切断されるまで（ステップＳ１０５：ＹＥＳ）、ステップＳ１０３およびＳ１０４の処理が繰り返される。

なお、本実施の形態では、第１マイク２から入力された音声信号のパワーと第２マイクから入力された音声信号のパワーの合計値が閾値ＴＨ１以上の場合に、周囲音出力判定部１５が、周囲音をイヤホン１１に出力すべきと判定したが、これに限定するものではない。周囲音出力判定部１５は、第１マイク２から入力された音声信号のパワーが閾値以上の場合、第２マイク３から入力された音声信号のパワーが閾値以上の場合、または第１マイク２から入力された音声信号のパワーと第２マイクから入力された音声信号のパワーの平均値が閾値以上の場合、周囲音をイヤホン１１に出力すべきと判定するものとしてもよい。

また、本実施の形態では、周囲音をイヤホン１１に出力すべきと判定された場合に、第１マイク２から入力される音声信号をイヤホン１１に出力するものとしたが、第１マイク２の代わりに第２マイク３から入力される音声信号をイヤホン１１に出力するものとしてもよい。あるいは、第１マイク２から入力される音声信号と第２マイク３から入力される音声信号を合成した信号をイヤホン１１に出力するものとしてもよい。後述の実施形態でも同様である。

以上のように、本実施の形態によれば、ユーザに対する他者の話し声、パトカーのサイレン音、または車両のクラクション音などのような音量の大きい周囲音は、ユーザにとって必要性が高く、ユーザは、このようなユーザにとって必要性の高い周囲音をイヤホンを通じて聴くことができる。

［第２の実施形態］
本実施の形態の携帯端末１の周囲音出力判定部１５は、第１の実施形態と相違する。

本実施の形態の周囲音出力判定部１５は、第１マイク２から入力される音声信号と第２マイク３から入力される音声信号の位相差を検出し、検出された位相差が閾値以上のときに、周囲音をイヤホン１１に出力すべきと判定する。

図６は、第２の実施形態の携帯端末によるイヤホンへの周囲音の出力制御手順を表わすフローチャートである。

ステップＳ２０１において、イヤホン１１がイヤホンジャック１０に接続された場合に、（ステップＳ２０１：ＹＥＳ）、処理がステップＳ２０２に進む。

ステップＳ２０２において、マイク制御部１４は、第１マイク２および第２マイク３の音声入力をオンに設定する。

ステップＳ１０３において、第１マイク２から入力された音声信号と第２マイク３から入力された音声信号の位相差が閾値ＴＨ２以上の場合には（ステップＳ２０３：ＹＥＳ）、処理がステップＳ２０４に進む。

ステップＳ２０４において、周囲音出力判定部１５が、周囲音をイヤホン１１に出力すべきと判定する。音声出力制御部１３は、第１マイク２から入力された音声信号をイヤホン１１へ出力する。なお、アプリケーションプログラムなどによって音声信号が再生されている場合には、第１マイク２から入力された音声信号と再生された音声信号とが合成されてイヤホンへ出力される。

図７に示すように、第１マイク２から入力された音声信号と第２マイク３から入力された音声信号の位相差が検出される。この位相差は、たとえば、第１マイク２から入力された音声信号のピークの時刻と、第２マイク３から入力された音声信号のピークの時刻の差Δｔとして検出可能である。Δｔが大きい場合には、周囲の音源の移動速度が速いといえる。Δｔが閾値ＴＨ２以上となる期間には、第１マイクから入力された音声信号がイヤホン１１へ出力されるので、ユーザは、パトカーのサイレン音、車両のクラクション音などのような、ユーザの周囲の高速に移動する音源の音声をイヤホン１１を通じて聴くことができる。

ステップＳ２０５において、イヤホン１１がイヤホンジャック１０から切断されるまで（ステップＳ２０５：ＹＥＳ）、ステップＳ２０３およびＳ２０４の処理が繰り返される。

以上のように、本実施の形態によれば、パトカーのサイレン音、車両のクラクション音などのような、ユーザの周囲の高速に移動する音源の音声は、ユーザにとって必要性が高く、ユーザは、このようなユーザにとって必要性の高い周囲音をイヤホンを通じて聴くことができる。

［第３の実施形態］
本実施の形態の携帯端末１の周囲音出力判定部１５は、第１および第２の実施形態と相違する。

本実施の形態の周囲音出力判定部１５は、第１マイク２から入力された音声信号の瞬時周波数が時間とともに減少する特性を示すときに、周囲音をイヤホン１１に出力すべきと判定する。

図８は、第３の実施形態の携帯端末によるイヤホンへの周囲音の出力制御手順を表わすフローチャートである。

ステップＳ３０１において、イヤホン１１がイヤホンジャック１０に接続された場合に、（ステップＳ３０１：ＹＥＳ）、処理がステップＳ３０２に進む。

ステップＳ３０２において、マイク制御部１４は、第１マイク２および第２マイク３の音声入力をオンに設定する。

ステップＳ３０３において、第１マイク２から入力された音声信号の瞬時周波数が時間とともに減少する特性を示すときには（ステップＳ３０３：ＹＥＳ）、処理がステップＳ３０４に進む。たとえば、周囲音出力判定部１５は、連続する３期間において、瞬時周波数が連続して減少したときに、音声信号の瞬時周波数が減少する特性にあると判断する。瞬時周波数が減少する場合は、周囲の音源がユーザに接近している状態である。

ステップＳ３０４において、周囲音出力判定部１５が、周囲音をイヤホン１１に出力すべきと判定する。音声出力制御部１３は、第１マイク２から入力された音声信号をイヤホン１１へ出力する。なお、アプリケーションプログラムなどによって音声信号が再生されている場合には、第１マイク２から入力された音声信号と再生された音声信号とが合成されてイヤホンへ出力される。

図９に示すように、第１期間、第２期間、第３期間、第４期間では、第１マイク２から入力された音声信号の瞬時周波数は、それぞれｆ１、ｆ２、ｆ３、ｆ４である。ここで、ｆ１＞ｆ２＞ｆ３＞ｆ４である。連続する３期間において、瞬時周波数が連続して減少しているので、第１マイクから入力された音声信号がイヤホン１１へ出力される。これにより、ユーザは、パトカーのサイレン音、車両のクラクション音などのような、ユーザに接近してくる音源の音声をイヤホン１１を通じて聴くことができる。

ステップＳ３０５において、イヤホン１１がイヤホンジャック１０から切断されるまで（ステップＳ３０５：ＹＥＳ）、ステップＳ３０３およびＳ３０４の処理が繰り返される。

以上のように、本実施の形態によれば、パトカーのサイレン音、車両のクラクション音などのような、ユーザに接近してくる音源の音声は、ユーザにとって必要性が高く、ユーザは、このようなユーザにとって必要性の高い周囲音をイヤホンを通じて聴くことができる。

なお、本実施の形態では、周囲音出力判定部は、第１マイクからの音声信号の瞬時周波数を検出し、検出された瞬時周波数が時間ともに減少する特性を有する場合に、周囲音をイヤホン１１に出力すべきと判定したが、これに限定されるものではない。たとえば、第１マイクからの音声信号の代わりに、第２マイクからの音声信号を用いてもよい。あるいは、周囲音出力判定部は、第１マイクからの音声信号の瞬時周波数が時間ともに減少する特性を示し、かつ第２マイクからの音声信号の瞬時周波数が時間ともに減少する特性を示す場合に、周囲音をイヤホン１１に出力すべきと判定してもよい。

［第４の実施形態］
図１０は、第４の実施形態のイヤホンの外観を表わす図である。

このイヤホン９０は、イヤホンキャップ２２を備える。イヤホンキャップ２２には、圧電素子２３ａ，２３ｂが組み込まれている。

イヤホンキャップ２２内の圧電素子２３ａ，２３ｂは、外耳道の皮膚に接触するように耳に装着される。外耳道２４の入口の近くの部分は、周りを軟骨で囲まれている。外耳道２４の鼓膜の近い方の部分は、骨に囲まれている。

第１〜第３の実施形態のいずれかの携帯端末１の音声出力制御部１３が圧電素子２３に音声信号を出力する。

圧電素子２３ａ，２３ｂが、音声出力制御部１３から出力される音声信号に基づいて、振動することによって、外耳道２４を通じて気導音を鼓膜２５に与えられるともに、外耳道２４の周りの骨部または軟骨部を通じて振動音を鼓膜２５に与える。

［第５の実施形態］
図１１は、第５の実施形態のイヤホンの外観を表わす図である。

このイヤホン９２は、ハウジング２１、ハウジング２１に収容される圧電素子６３ａ，６３ｂ，６４を備える。

圧電素子６３ａ，６３ｂは、イヤホンキャップ７３ａ，７３ｂに組み込まれ、外耳道２４の皮膚に接触するように耳に装着される。

第１〜第３の実施形態のいずれかの携帯端末１の音声出力制御部１３は、携帯端末１のアプリケーションなどで再生した音声信号を圧電素子６４に出力する。圧電素子６４が、入力される音声信号に基づいて振動することによって、外耳道２４を通じて気導音を鼓膜２５に与えられる。

また、音声出力制御部１３は、周囲音出力判定部１５によって、周囲音をイヤホンに出力すべきと判定された場合に、第１マイク２から入力される音声信号を圧電素子６３ａ，６３ｂに出力する。圧電素子６３ａ，６３ｂが、入力される音声信号に基づいて振動することによって、外耳道２４の周りの骨部または軟骨部を通じて振動音が鼓膜２５に与えられる。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１携帯端末、２第１マイク、３第２マイク、４アンテナ、５タッチパネル、６ディスプレイ、９スピーカ、１０イヤホンジャック、１１，９０，９１，９２イヤホン、１２制御部、１３音声出力制御部、１４マイク制御部、１５周囲音出力判定部、２２，７３ａ，７３ｂイヤホンキャップ、２３ａ，２３ｂ，６３ａ，６３ｂ，６４圧電素子、２４外耳道、２５鼓膜。

Claims

複数のマイクと、
前記複数のマイクから入力される音声信号のパワーを検出し、前記検出された音声信号のパワーの和またはパワーの平均値が閾値以上のときに、周囲音をイヤホンに出力すべきと判定する判定部と、
前記周囲音を前記イヤホンに出力すべきと判定された場合に、前記複数のマイクのうち少なくとも１つのマイクから入力される音声信号を前記イヤホンに出力する音声出力制御部とを備えた、携帯端末。