WO2014057921A1

WO2014057921A1 - 電子機器、及び音響再生方法

Info

Publication number: WO2014057921A1
Application number: PCT/JP2013/077301
Authority: WO
Inventors: 岸波　雄一郎; 康晴大西; 潤有吉
Original assignee: Ｎｅｃカシオモバイルコミュニケーションズ株式会社
Priority date: 2012-10-09
Filing date: 2013-10-08
Publication date: 2014-04-17

Abstract

　以下の電子機器を提供する。該電子機器は、内蔵マイクを備えたイヤホンに音響を再生する音響再生部と、音響再生部を制御する制御部と、イヤホンを装着したユーザの耳内の心拍音を内蔵マイクで集音し、心拍音に基づいてユーザの心拍数を測定する心拍数測定部と、を備える。上記制御部は、心拍数測定部で測定された心拍数に基づいて、ユーザが睡眠状態であるか否かを判定する睡眠判定部を含む。そして、上記制御部は、睡眠判定部によりユーザが睡眠状態であると判定された場合には、ユーザに所定の警告を発する。

Description

電子機器、及び音響再生方法

　［関連出願についての記載］
　本発明は、日本国特許出願：特願２０１２－２２４４２４号（２０１２年１０月　９日出願）に基づくものであり、同出願の全記載内容は引用をもって本書に組み込み記載されているものとする。
　本発明は、電子機器、及び音響再生方法に関する。特に、本発明は、ユーザが覚醒、睡眠のいずれの状態であるかに応じて音響再生を制御する技術に関する。

　近年、イヤホン（以降、本明細書で「イヤホン」と言った場合、ヘッドホンも含んでいるものとする）で過大な音量の音を長時間聴くことによって生ずる難聴が問題となっており、聴感保護の観点から、イヤホンの最大音量についての規制が強まっている。また、イヤホンによる視聴時間の削減が課題となっている。

　上記した聴感保護のためには、ユーザが覚醒、睡眠のいずれの状態であるかに応じてイヤホンによる音楽再生を最適化することが有効である。例えば、ユーザが睡眠状態である場合には音楽再生を停止すればよい。

　ユーザの睡眠状態を判定する技術としては、例えば、特許文献１には睡眠状態を検出する脈拍センサを備えた睡眠制御装置が開示されている。この睡眠制御装置によれば、ユーザが不本意に寝てしまっていることを自動的に判別し警告手段で覚醒を促したり、あるいはユーザが眠ろうとしていることを自動的に判別し睡眠誘発手段で睡眠を促したりすることができる。

　また、特許文献２には、マイクを内蔵したヘッドセットを用いて、該マイクで集音した信号により心拍数を測定することが可能な心拍数測定装置が開示されている。該心拍数測定装置によれば、被験者はヘッドセットを装着するだけでよいので、被験者に大きな違和感を与えずに心拍数を測定することが可能である。

特開２００９－２８４９９８号公報特開２０１０－１８７８４２号公報

　なお、上記特許文献の全開示内容はその引用をもって本書に繰込み記載する。以下の分析は、本発明の観点から与えられる。

　しかしながら、特許文献１に記載された睡眠制御装置を携帯端末に組み込む場合、携帯端末は脈拍センサを備える必要があり、携帯端末がコスト高になるという問題がある。また、特許文献１では、睡眠状態の判別結果を睡眠防止又は睡眠誘発に使用しているだけであり、音響再生の最適化に関しては何ら考慮されていない。

　また、特許文献２の心拍数測定装置では、ヘッドセットの内蔵マイクを使用することで被験者に大きな違和感を与えずに心拍数を測定することを実現しているが、ヘッドセットによる音響再生の最適化に関しては何ら考慮されていない。

　そこで、本発明は、心拍数を測定するためのセンサを新たに設けることなく、イヤホンに内蔵されたマイクを用いて心拍数の測定を行い、測定した心拍数に基づいてイヤホンによる音響再生を最適化することができる電子機器を提供することを課題とする。

　本発明の第１の視点によれば、内蔵マイクを備えたイヤホンに音響を再生する音響再生部と、前記音響再生部を制御する制御部と、前記イヤホンを装着したユーザの耳内の心拍音を前記内蔵マイクで集音し、前記心拍音に基づいて前記ユーザの心拍数を測定する心拍数測定部と、を備えた電子機器が提供される。ここで、前記制御部は、前記心拍数測定部で測定された前記心拍数に基づいて、前記ユーザが睡眠状態であるか否かを判定する睡眠判定部を含み、前記睡眠判定部により前記ユーザが睡眠状態であると判定された場合には、前記ユーザに所定の警告を発する。

　本発明の第２の視点によれば、内蔵マイクを備えたイヤホンに音響を再生する音響再生方法であって、以下の音響再生方法が提供される。即ち、該音響再生方法は、前記イヤホンを装着したユーザの耳内の心拍音を前記内蔵マイクで集音し、前記心拍音に基づいて前記ユーザの心拍数を測定するステップを含む。また、該音響再生方法は、前記測定された前記ユーザの心拍数に基づいて、前記ユーザが睡眠状態であるか否かを判定するステップを含む。さらに、該音響再生方法は、前記ユーザが睡眠状態であると判定された場合には、前記ユーザに所定の警告を発するステップを含む。

　本発明の第３の視点によれば、内蔵マイクを備えたイヤホンの音響再生を制御するプログラムであって、以下のプログラムが提供される。即ち、該プログラムは、前記イヤホンを装着したユーザの耳内の心拍音を前記内蔵マイクで集音し、前記心拍音に基づいて前記ユーザの心拍数を測定する処理をコンピュータに実行させる。また、該プログラムは、前記測定された前記ユーザの心拍数に基づいて、前記ユーザが睡眠状態であるか否かを判定する処理をコンピュータに実行させる。さらに、該プログラムは、前記ユーザが睡眠状態であると判定された場合には、前記ユーザに所定の警告を発する処理をコンピュータに実行させる。

　本発明の第１の視点によれば、心拍数を測定するためのセンサを新たに設けることなく、イヤホンに内蔵されたマイクを用いて心拍数の測定を行い、測定した心拍数に基づいてイヤホンによる音響再生を最適化することができる電子機器を提供することが可能になる。

第１の実施形態に係る電子機器の構成を示すブロック図である。図１の電子機器をユーザが装着した状態を示す図である。第１の実施形態に係る音響再生方法を示すフローチャートである。第１の実施形態を説明するための図である。第２の実施形態に係る電子機器の構成を示すブロック図である。第２の実施形態に係る音響再生方法を示すフローチャートである。第２の実施形態におけるユーザ睡眠データベースの一例である。第３の実施形態に係る電子機器の構成を示すブロック図である。

　まず、本発明の一実施形態の概要について説明する。なお、実施形態の概要の説明において付記した図面参照符号は専ら理解を助けるための例示であり、図示の態様に限定することを意図するものではない。

　一実施形態における電子機器１は、図１、図２のいずれかに示すように、内蔵マイク４を備えたイヤホン２に音響を再生する音響再生部１６と、音響再生部１６を制御する制御部１０と、イヤホン２を装着したユーザ５の耳内の心拍音を内蔵マイク４で集音し、心拍音に基づいてユーザ５の心拍数Ｃ２を測定する心拍数測定部１４と、を備える。制御部１０は、心拍数測定部１４で測定された心拍数Ｃ２に基づいて、ユーザ５が睡眠状態であるか否かを判定する睡眠判定部２２を含み、睡眠判定部２２によりユーザ５が睡眠状態であると判定された場合には、ユーザ５に所定の警告を発する。

　上記の構成により、心拍数測定部１４は、イヤホン２を装着したユーザ５の心拍数Ｃ２を内蔵マイク４で集音した耳内の心拍音に基づいて測定することができる。そして、制御部１０の睡眠判定部２２は測定された心拍数Ｃ２に基づいてユーザ５が睡眠状態か否かを判別し、ユーザ５が睡眠状態と判定された場合には、ユーザ５に所定の警告を発することができる。

　上記制御部１０は、図１、図２のいずれかに示すように、所定の警告を発した後、所定の時間が経過する間に、ユーザ５からの所定の応答がなかった場合には、音響再生部１６による音響の再生を停止するように制御するようにしてもよい（図１では、制御部１０の警告処理部２３が、音響停止制御信号Ｃ１を音響再生部１６に送り、音響再生部１６による音響の再生を停止するように制御している）。

　電子機器（図５の８）は、図２、図５のいずれかに示すように、記憶部１２をさらに備え、上記制御部１０は、所定の警告に対するユーザ５からの所定の応答がなかった場合に測定された心拍数Ｃ２を睡眠時心拍数として記憶部１２のユーザ睡眠データベース２８に記録するようにしてもよい。そして、制御部１０の睡眠判定部５２は、心拍数測定部１４で測定された心拍数Ｃ２及びユーザ睡眠データベース２８に基づいて、ユーザ５が睡眠状態であるか否かを判定するようにしてもよい。

　上記制御部１０は、所定の警告に対するユーザ５からの所定の応答があった場合に測定された心拍数Ｃ２を覚醒時心拍数として記憶部１２のユーザ睡眠データベース２８に記録するようにしてもよい。そして、制御部１０の睡眠判定部５２は、心拍数測定部１４で測定された心拍数Ｃ２及びユーザ睡眠データベース２８に基づいて、ユーザ５が睡眠状態であるか否かを判定するようにしてもよい。

　上記制御部１０は、所定の警告に対するユーザ５からの所定の応答がなかった場合に測定された心拍数Ｃ２を睡眠時心拍数として記憶部１２のユーザ睡眠データベース２８に記録し、所定の警告に対するユーザ５からの所定の応答があった場合に測定された心拍数Ｃ２を覚醒時心拍数として記憶部１２のユーザ睡眠データベース２８に記録するようにしてもよい。そして、制御部１０の睡眠判定部５２は、心拍数測定部１４で測定された心拍数Ｃ２と、ユーザ睡眠データベース２８に基づいて、ユーザ５が睡眠状態であるか否かを判定するようにしてもよい。

　電子機器（図８の９）は、図８に示すように、ユーザ認証部４０と、複数のユーザ毎のユーザ睡眠データベース（２８ａ～ｂ）と、をさらに備え、制御部１０は、ユーザ認証部４０が認証したユーザに対応するユーザ睡眠データベース（２８ａ～ｂのいずれか）をアクセスするように制御してもよい。

　上記制御部１０による所定の警告は、画面表示、バイブレーション、又は音声ガイダンスのいずれかを含むことが好ましい。

　上記ユーザ（図２の５）からの所定の応答は、画面タッチ、音量調整、又は内蔵マイク４による音声入力のいずれかを含むことが好ましい。

　一実施形態における音響再生方法は、図１～３のいずれかに示すように、内蔵マイク４を備えたイヤホン２に音響を再生する音響再生方法であって、以下のステップを含む。即ち、該音響再生方法は、イヤホン２を装着したユーザ５の耳内の心拍音を内蔵マイク４で集音し、心拍音に基づいてユーザ５の心拍数Ｃ２を測定するステップＳ１０を含む。また、該音響再生方法は、測定されたユーザ５の心拍数Ｃ２に基づいて、ユーザ５が睡眠状態であるか否かを判定するステップＳ１２を含む。さらに、該音響再生方法は、ユーザ５が睡眠状態であると判定された場合には、ユーザ５に所定の警告を発するステップＳ１３を含む。

　上記音響再生方法は、図１～３のいずれかに示すように、所定の警告を発した後、所定の時間が経過する間にユーザ５からの所定の応答がなかった場合（ステップＳ１４でＮｏ、且つＳ１６でＹｅｓの場合）には、イヤホン２に音響の再生を停止するステップＳ１８をさらに含むようにしてもよい。

　本発明において、下記の形態が可能である。
［形態１］第１の視点に既述のとおり。
［形態２］前記制御部は、前記所定の警告を発した後、所定の時間が経過する間に、前記ユーザからの所定の応答がなかった場合には、前記音響再生部による音響の再生を停止するように制御するようにしてもよい。
［形態３］記憶部をさらに備え、前記制御部は、前記所定の警告に対する前記ユーザからの所定の応答がなかった場合に前記測定された心拍数を睡眠時心拍数として前記記憶部のユーザ睡眠データベースに記録し、前記制御部の前記睡眠判定部は、前記心拍数測定部で測定された前記心拍数及び前記ユーザ睡眠データベースに基づいて、前記ユーザが睡眠状態であるか否かを判定するようにしてもよい。
［形態４］記憶部をさらに備え、前記制御部は、前記所定の警告に対する前記ユーザからの所定の応答があった場合に前記測定された心拍数を覚醒時心拍数として前記記憶部のユーザ睡眠データベースに記録し、前記制御部の前記睡眠判定部は、前記心拍数測定部で測定された前記心拍数及び前記ユーザ睡眠データベースに基づいて、前記ユーザが睡眠状態であるか否かを判定するようにしてもよい。
［形態５］記憶部をさらに備え、前記制御部は、前記所定の警告に対する前記ユーザからの所定の応答がなかった場合に前記測定された心拍数を睡眠時心拍数として前記記憶部のユーザ睡眠データベースに記録し、前記所定の警告に対する前記ユーザからの所定の応答があった場合に前記測定された心拍数を覚醒時心拍数として前記記憶部の前記ユーザ睡眠データベースに記録し、前記制御部の前記睡眠判定部は、前記心拍数測定部で測定された前記心拍数と、前記ユーザ睡眠データベースに基づいて、前記ユーザが睡眠状態であるか否かを判定するようにしてもよい。
［形態６］ユーザ認証部と、複数のユーザ毎の前記ユーザ睡眠データベースと、をさらに備え、前記制御部は、前記ユーザ認証部が認証したユーザに対応する前記ユーザ睡眠データベースをアクセスするように制御するようにしてもよい。

［形態７］前記制御部による前記所定の警告は、画面表示、バイブレーション、又は音声ガイダンスのいずれかを含むことが好ましい。
［形態８］前記ユーザからの所定の応答は、画面タッチ、音量調整、又は前記内蔵マイクによる音声入力のいずれかを含むことが好ましい。
［形態９］第２の視点に既述のとおり。
［形態１０］前記所定の警告を発した後、所定の時間が経過する間に前記ユーザからの所定の応答がなかった場合には、前記イヤホンに音響の再生を停止するステップをさらに含むようにしてもよい。
［形態１１］第３の視点に既述のとおり。

　以下、本発明の各実施形態について、図面を参照して詳しく説明する。

［第１の実施形態］
（第１の実施形態の構成）
　第１の実施形態の構成について、図１～２を参照しながら詳細に説明する。図１は第１の実施形態に係る携帯端末（電子機器）１の構成を示すブロック図である。また、図１は、イヤホン２が携帯端末１のイヤホンジャック１９に接続された状態を示している。イヤホン２は、スピーカ３と内蔵マイク４とを有している。

　次に、図２は、ユーザ５が携帯端末１のイヤホンジャック１９にイヤホン２を接続し、耳６に装着した状態を示している。この状態で、ユーザ５は、通話中に相手の音声をイヤホン２で聞きながら、内蔵マイク４を介して自分の音声を相手に送ることが可能である。また、ユーザ５は、携帯端末１で再生した音楽をイヤホン２のスピーカ３により聴くこともできる。

　次に図１に戻って、携帯端末１の構成について詳細に説明する。図１は、携帯端末１が有する様々な機能のうち、主として音響再生に関連した部分を示している。図１に示すように、携帯端末１は、制御部１０、記憶部１２、表示部１７、操作部１８、心拍数測定部１４、音響再生部１６、スイッチ２０、スピーカ２１、及びイヤホンジャック１９を含んで構成される。

　まず、制御部１０は、不図示のＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）により携帯端末１全体の動作を制御している。制御部１０で動作するプログラムは、予め記憶部１２に格納され、制御部１０のＣＰＵにより呼び出されて実行される。図１に示された制御部１０の警告処理部２３、及び睡眠判定部２２は、それぞれ制御部１０のＣＰＵで動作するプログラムである。警告処理部２３及び睡眠判定部２２の処理内容の詳細については後述する。

　記憶部１２は、プログラムを格納するＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）と、上記プログラムの動作に必要なデータを格納するＲＡＭを備えている。また、記憶部１２には、ユーザ５が視聴する音楽ファイル２７、ユーザ５に警告を発する際の音声ガイダンスデータ２６が格納されている。ここで、音楽ファイル２７には、予め携帯端末１に書き込まれているもの、ユーザ５がインターネットを介してダウンロードしたもの、記録メディアを介して書き込んだもの、等が含まれる。また、音だけの音楽ファイル２７以外に、音声データを含む動画ファイル（不図示）も含まれる。

　また、携帯端末１は図２に示すようにスマートフォンであり、図１において表示部１７は液晶パネル方式で構成され、操作部１８はタッチパネル方式で構成される。

　次に、心拍測定部１４は、心拍数算出部３２を含んで構成される。イヤホン２の内蔵マイク４で集音した心拍音はアンプ３０で増幅され、その後、Ａ／Ｄ変換器３１でディジタル信号に変換される。心拍測定部１４の心拍数算出部３２は、Ａ／Ｄ変換器３１で変換されたディジタル信号を入力し心拍数Ｃ２を算出する。ここで、心拍数算出部３２はＣＰＵにより動作するプログラムで構成される。図１では、心拍数算出部３２は心拍数測定部１４が有するＣＰＵ（不図示）で動作する構成を想定しているが、制御部１０が有するＣＰＵで動作するように構成してもよい。

　前述したように、携帯端末１はイヤホン２装着時に内蔵マイク４で集音した通話中の音声を相手に送る機能を有しているため、図１のアンプ３０及びＡ／Ｄ変換器３１は、元々携帯端末１に備わっている通話用のアンプ及びＡ／Ｄ変換器で共用することができる。即ち、携帯端末１で心拍数測定の機能追加を行う際に、新たに心拍音測定用のセンサや回路（アンプ及びＡ／Ｄ変換器等）を設ける必要はない。

　次に音響再生部１６は、デコーダ３５とＤ／Ａ変換器３４とアンプ３３を含んで構成される。デコーダ３５は、記憶部１２から供給される音楽ファイル２７をデコードし、Ｄ／Ａ変換器３４に出力する。Ｄ／Ａ変換器３４の出力は、アンプ３３で増幅される。ここで、アンプ３３はゲイン可変型の増幅器であり、ユーザ５が調整した音量設定ＶＯＬに応じてアンプ３３のゲインが制御される。ここで、ユーザ５による音量設定ＶＯＬは、ユーザ５が好ましいと感じる音量が得られるように、ユーザ５が操作部１８で調整することができるようになっている。

　また、図１では、記憶部１２の音楽ファイル２７から音響再生する場合について示しているが、それに限定されず、例えば、インターネットを介して受信したストリーミングデータを音響再生部１６で再生することもできる。

　また、図１において、イヤホンジャック１９にイヤホン２が挿入されている場合には、イヤホン２が挿入されていることが検知され、スイッチ２０の入力端子は第１出力端子４１と接続するように制御される。それにより、音響再生部１６が出力する音響信号はイヤホン２のスピーカ３に出力される。一方、イヤホンジャック１９に何も挿入されていない場合には、何も挿入されていないことが検知され、スイッチ２０の入力端子は第２出力端子４２と接続するように制御される。それにより、音響再生部１６が出力する音響信号は携帯端末１に内蔵されるスピーカ２１のほうに出力される。

（第１の実施形態の動作）
　次に第１の実施形態の動作について、図３を参照しながら詳細に説明する。図３は第１の実施形態に係る音響再生方法の動作を示すフローチャートである。また、図３の各ステップを説明する際に、図１を適宜、参照する。

　以下の図３の説明において、図２に示すようにユーザ５が内蔵マイク４を備えたイヤホン２を耳６に装着して、ある音楽ファイル（図１の２７）を再生させている状態を想定している。

　図３において、内蔵マイク４で集音した耳６からの心拍音を心拍数測定部１４の心拍数算出部３２が取得し、取得した心拍音に基づいて、心拍数Ｃ２を測定する（Ｓ１０）。ここで、音響再生部１６が音響信号を出力している時には内蔵マイク４はスピーカ３の音を拾ってしまうので、心拍音の取得は、音響再生部１６による音響信号が途切れる期間に行うようにする。

　心拍数算出部３２による心拍数Ｃ２を算出する方法としては、特許文献２等に開示された公知の方法が適用可能である。図４は心拍数算出部３２が算出したユーザ５の心拍数Ｃ２の測定データの一例を示している。図４に示すように、「就寝準備」の状態から「睡眠」の状態に移行すると、心拍数が低くなることが分かる。一般に、覚醒時心拍数に対して、睡眠時心拍数は１０以上の差があると言われている。但し、後述するようにユーザごとに覚醒時心拍数、睡眠時心拍数、及び覚醒時心拍数と睡眠時心拍数の差は、異なっている。

　次に、図３に戻って、ステップＳ１０で測定した心拍数Ｃ２に基づいて、睡眠判定部２２はユーザ５が睡眠状態か否かを判別する（Ｓ１２）。睡眠判定部２２のアルゴリズムは、前述した図４に示した心拍数の変化の特性を考慮して、ある心拍数よりも所定値（例えば、１０程度に設定する）以上低い心拍数が所定期間以上継続した場合を睡眠状態であると判断している。

　次に、図３において、ステップＳ１２でユーザ５が覚醒状態（即ち、睡眠状態でない）と判定された場合（Ｓ１２でＮｏの場合）には、ステップＳ１０に戻って心拍数測定部１４による心拍数Ｃ２の測定を続ける。

　一方、ステップＳ１２でユーザ５が睡眠状態と判定された場合（Ｓ１２でＹｅｓの場合）には、警告処理部２３がユーザ５に警告を発する（Ｓ１３）。このステップは、ユーザ５が睡眠状態の場合には、音楽再生部１６において無駄な音楽再生が行われている可能性があり、ユーザ５に警告を出してユーザ５が本当に睡眠状態にあるか否かを確認するために行われる。

　警告の手段としては、例えば、以下の３つの方法が好ましい。１つ目は、表示部１７の画面表示で警告を行う方法で、所定の警告メッセージを目立つ色で表示する。２つ目は、バイブレーションにより警告を行う方法である。３つ目は、イヤホン２により音声ガイダンスを流して警告する方法である。図１には、３つ目の音声ガイダンスによる警告方法が示されている。記憶部１２に、予め警告として流す音声ガイダンスデータ２６を格納しておく。音声ガイダンスデータ２６は、例えば、「音楽を流したまま、居眠りしていませんか？もし、応答がない場合は音楽再生を停止します」といった音声データである。図１に示すように、警告処理部２３は記憶部１２内の音声ガイダンスデータ２６が音響再生部１６によりイヤホン２に出力されるように制御する（図１中の破線矢印を参照）。但し、警告の方法は上記の３つの方法に限定されず、覚醒状態のユーザが気付くものであれば、任意の方法を適用することができる。

　次に、図３において、所定の警告を発した後、所定の時間が経過する間にユーザ５からの所定の応答が有るか否かを判定する（Ｓ１４及びＳ１６）。上記の所定の時間は、ユーザ５が警告に気付いて応答するのに要する時間程度に設定しておく。また、ユーザ５による所定の応答としては、例えば、以下の３つの方法が好ましい。１つ目は操作部１８で画面タッチを行うことで応答する方法である。２つ目はユーザ５が音量調整することで応答する方法である。３つ目はイヤホン２の内蔵マイク４に対して音声入力することで応答する方法である。但し、警告に対する応答の方法は、上記の３つの方法に限定されず、覚醒状態のユーザが応答することができるものであれば、任意の方法を適用することができる。

　次に、図３において、ステップＳ１４、Ｓ１６において、所定の警告を発した後、所定の時間が経過する間にユーザ５からの所定の応答があった場合（ステップＳ１４でＹｅｓの場合）、ユーザ５が覚醒状態であると分かるので、音響再生部１６による音響再生をそのまま継続して行うようにする。そして、ステップＳ１０に戻り、心拍数測定部１４による心拍数Ｃ２の測定を続ける。

　一方、所定の警告を発した後、所定の時間が経過する間にユーザ５からの所定の応答がなかった場合（ステップＳ１６でＹｅｓの場合）、制御部１０は、音響再生部１６に対して音響停止制御信号Ｃ１を出力することにより、音響再生部１６よる音響再生を停止するように制御する。また、音響再生が停止された場合、心拍数測定部１４による心拍数Ｃ２の測定も不要になるので、制御部１０は心拍数測定部１４の動作を停止するように制御する。以上により、ユーザ５の聴感が保護される。また、無駄な音楽再生が停止されるので携帯端末１を省電力化することができる。

　また、警告処理部２３が警告を発する動作（Ｓ１３）を、音響再生部１６のボリューム設定ＶＯＬが所定の値以上の場合に限定するようにしてもよい。それにより、ユーザ５の聴感が損なわれる虞のある大きな音量の場合に限り、警告を発するようにすることができる。

　以上説明したように、第１の実施形態に係る携帯端末１によれば、心拍数を測定するためのセンサ及び回路を新たに設けることなく、イヤホン２が備える内蔵マイク４を用いて心拍数Ｃ２の測定を行うことで、測定した心拍数Ｃ２に基づいてイヤホン２による音響再生を最適化することができる携帯端末（電子機器）１を提供することが可能になる。

　また、測定した心拍数Ｃ２に基づいてユーザ５が睡眠状態であると判定された場合にはユーザ５に警告を発して、ユーザ５が本当に睡眠状態であるか否かを確認することができると共に、ユーザ５が睡眠状態であると確認された場合には音楽再生を停止することにより、ユーザ５の聴感を保護することができる。

　また、ユーザ５が睡眠状態であると確認された場合には、音響再生部１６における音響再生及び心拍数測定部の動作を停止することで携帯端末１を省電力化することができる。

［第２の実施形態］
　次に、第２の実施形態について、図５～６を参照しながら詳細に説明する。図５は、第２の実施形態に係る携帯端末（電子機器）８の構成を示すブロック図である。また、図６は、第２の実施形態に係る音響再生方法の動作を示すフローチャートである。

　まず、図５を図１と比較すると分かるように、第２の実施形態に係る携帯端末８は、第１の実施形態に係る携帯端末１に対して、記憶部１２のユーザ睡眠データベース２８と、制御部１０のユーザ睡眠データベース処理部２４と、を新たに追加している。また、第２の実施形態の睡眠判定部５２は、後述するように第１の実施形態の睡眠判定部２２と方式が異なっている。その他の点については同様であるため、同じ参照符号を付し重複する説明は省略する。

　ユーザ睡眠データ処理部２４は、警告処理部２３によって発せられた所定の警告に対してユーザ５からの応答があった場合に測定された心拍数Ｃ２を覚醒時心拍数として、ユーザ睡眠データベース２８に記録する機能を有している。具体的には、上記の覚醒時心拍数は、警告を発した時点の心拍数としてもよいし、警告を発した時点を含む所定期間の心拍数の平均値としてもよい。

　また、ユーザ睡眠データ処理部２４は、警告処理部２３によって発せられた所定の警告に対してユーザ５からの応答がなかった場合に測定された心拍数Ｃ２を睡眠時心拍数として、ユーザ睡眠データベース２８に記録する機能を有している。具体的には、睡眠時心拍数は、警告を発した時点の心拍数としてもよいし、警告を発した時点を含む所定期間の心拍数の平均値としてもよい。

　図７は、このようにして記録されたユーザ睡眠データベース２８の一例を示している。このように、ユーザ睡眠データベース２８にはユーザ５の多くの覚醒時心拍数及び睡眠時心拍数を蓄積して格納することができる。

　次に、第２の実施形態の睡眠判定部５２が第１の実施形態の睡眠判定部２２と相違している点について説明する。睡眠判定部５２は、心拍数測定部１４が測定した心拍数Ｃ２だけでなく、その時点でユーザ睡眠データベース２８に記録されている覚醒時心拍数及び睡眠時心拍数のデータに基づいて、ユーザ５の睡眠状態の判定を行う。

　具体的には、睡眠判定部５２において、例えば、以下の第１の方法、第２の方法が適用可能である。

　まず、第１の方法では、ユーザ睡眠データベース２８に記録されている覚醒時心拍数の平均により覚醒時心拍数平均値を算出し、ユーザ睡眠データベース２８に記録されている睡眠時心拍数の平均により睡眠時心拍数平均値を算出する。そして、覚醒時心拍数平均値と睡眠時心拍数平均値の差に基づいて、睡眠判定に使用する閾値を設定する。そして、測定された心拍数が、ある心拍数から上記の閾値以上低下した状態が所定時間以上続いた場合に、ユーザ５は睡眠状態であると判定とする。

　第１の実施形態における睡眠判定では、測定された心拍数が、ある心拍数から所定値以上低下した状態が所定時間以上続いた場合を睡眠状態と判定しているが、上記の所定値は、ユーザの特性によらずに固定値を使用している。そのため、覚醒状態と睡眠状態の心拍数の差にユーザ毎のばらつきがあると、睡眠判定結果の信頼性は低くなる虞がある。一方、上記した第１の方法ではユーザ毎に上記の閾値を最適化することで、ユーザ毎のばらつきによらずに安定して、睡眠判定を行うことができる。

　次に、第２の方法では、ユーザ睡眠データベース２８に記録されている覚醒時心拍数の平均により覚醒時心拍数平均値を算出し、ユーザ睡眠データベース２８に記録されている睡眠時心拍数の平均により睡眠時心拍数平均値を算出する。そして、心拍数測定部１４が測定した心拍数Ｃ２が、覚醒時心拍数平均値、睡眠時心拍数平均値のどちらに近いかを判定し、覚醒時心拍数平均値に近い場合にはユーザ５は覚醒状態にあると判定し、睡眠時心拍数平均値に近い場合にはユーザ５は睡眠状態にあると判定する。

　第２の方法においても、ユーザ５の覚醒時心拍数平均値、睡眠時心拍数平均値に基づいて判定しているため、ユーザ毎のばらつきによらずに安定して、睡眠判定を行うことができる。

　尚、ユーザ睡眠データベース２８に記録するデータは、図７では覚醒時心拍数及び睡眠時心拍数の両方を記録するようにしているが、いずれか一方のみを記録するようにしてもよい。例えば、覚醒時心拍数のみを記録するようにした場合には、睡眠判定部５２では、測定された心拍数Ｃ２と覚醒時心拍数平均値との差分を計算し、その差分が所定値よりも小さい場合は覚醒状態であると判定し、それ以外の場合を睡眠状態と判定すればよい。また、睡眠時心拍数のみを記録するようにした場合には、睡眠判定部５２では、測定された心拍数Ｃ２と睡眠時心拍数平均値との差分を計算し、その差分が所定値よりも小さい場合は睡眠状態であると判定し、それ以外の場合を覚醒状態と判定すればよい。

　次に、図６のフローチャートを参照しながら、上記したユーザ睡眠データベース２８に関連した箇所の動作について説明する。図６を図３（第１の実施形態）と比較すると分かるように、図６では、ステップＳ１１、Ｓ１５、Ｓ１７が新たに追加されている。図６の他のステップは図３と同様であるため、重複する説明は省略する。まず、ステップＳ１１では、ステップＳ１２の睡眠判定で使用するユーザ睡眠データベース２８を読み出す。次に、ステップＳ１５では、ステップＳ１４でユーザ５からの応答があった場合（Ｓ１４でＹｅｓの場合）に、測定した心拍数Ｃ２を覚醒時心拍数としてユーザ睡眠データベース２８に記録する処理を行っている。次に、ステップＳ１７では、所定の時間経過の間にユーザ５からの応答が無かった場合（Ｓ１６でＹｅｓの場合）に、測定した心拍数Ｃ２を睡眠時心拍数としてユーザ睡眠データベース２８に記録する処理を行っている。

　以上説明したように、第２の実施形態に係る携帯端末（電子機器）８によれば、第１の実施形態で得られた効果に加えて、ユーザ５の覚醒時心拍数及び／または睡眠時心拍数のデータをユーザ睡眠データベース２８に記録して睡眠判定部５２で使用するようにしたから、ユーザ５に最適化した睡眠判定を行うことができ、睡眠判定の精度が向上するという効果が得られる。

［第３の実施形態］
　次に、第３の実施形態について、図８を参照しながら詳細に説明する。図８は、第３の実施形態に係る携帯端末（電子機器）９の構成を示すブロック図である。第３の実施形態に係る携帯端末９は、複数のユーザが使用することを想定している。携帯端末９は、操作部１８にユーザ認証部４０と、複数のユーザに対するユーザ睡眠データベース２８ａ～ｂと、を備えている。その他の点は第２の実施形態と同様であるため、同じ参照符号を付し、重複する説明は省略する。

　操作部１８のユーザ認証部４０は、ユーザに対してユーザＩＤ及びパスワードの入力を要求する。ユーザによる入力が、予め登録してある複数のユーザのユーザＩＤ及びパスワードのいずれかに一致した場合に、携帯端末９は使用可能になり、ユーザは音楽再生をすることができる。また、記憶部１２には登録されたユーザ毎にユーザ睡眠データベース２８ａ～ｂが設けられ、ログインしたユーザに対応したユーザ睡眠データベースがアクセスされる。図８はユーザＢがログインした状態を示しており、複数のユーザ睡眠データベース２８ａ～ｂのうち、ユーザＢに対応したユーザ睡眠データベース２８ｂのほうが、睡眠判定部５２及びユーザ睡眠データベース処理部２４からアクセスされている。

　以上説明したように、第３の実施形態に係る携帯端末（電子機器）９によれば、第２の実施形態で得られた効果に加えて、複数のユーザに対して、それぞれ最適化した睡眠判定を行うことができるという効果が得られる。また、ユーザ毎に警告の方法や、警告に対する応答の方法を、ユーザの好みに応じて設定することも可能である。

　尚、各実施形態における制御部１０の睡眠判定部（２２、又は５２）、警告処理部２３、ユーザ睡眠データベース処理部２４、及び心拍数測定部１４の心拍数算出部３２が実行する各々の処理（図３のＳ１０、Ｓ１２～Ｓ１４、Ｓ１６、Ｓ１８；図６のＳ１０～Ｓ１８等）は、記憶部１２にプログラムとして格納され、携帯端末が備えたコンピュータによって呼び出されて実行される。また、そのプログラムは、ネットワークを介してダウンロードするか、或いは、プログラムを記憶した（non-transitoryな）記憶媒体を用いて、更新することができる。

　尚、各実施形態では携帯端末で音響再生を行う場合について例示したが、それに限定されず、各実施形態の開示内容は、内蔵マイクを備えたイヤホンにより音響再生を行う電子機器全般に適用することができる。

　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）内蔵マイクを備えたイヤホンに音響を再生する音響再生部と、
　前記音響再生部を制御する制御部と、
　前記イヤホンを装着したユーザの耳内の心拍音を前記内蔵マイクで集音し、前記心拍音に基づいて前記ユーザの心拍数を測定する心拍数測定部と、を備え、
　前記制御部は、
　　前記心拍数測定部で測定された前記心拍数に基づいて、前記ユーザが睡眠状態であるか否かを判定する睡眠判定部を含み、
　　前記睡眠判定部により前記ユーザが睡眠状態であると判定された場合には、前記ユーザに所定の警告を発する、ことを特徴とする電子機器。

（付記２）前記制御部は、
　前記所定の警告を発した後、所定の時間が経過する間に、前記ユーザからの所定の応答がなかった場合には、前記音響再生部による音響の再生を停止するように制御する、ことを特徴とする付記１に記載の電子機器。

（付記３）記憶部をさらに備え、
　前記制御部は、前記所定の警告に対する前記ユーザからの所定の応答がなかった場合に前記測定された心拍数を睡眠時心拍数として前記記憶部のユーザ睡眠データベースに記録し、
　前記制御部の前記睡眠判定部は、前記心拍数測定部で測定された前記心拍数及び前記ユーザ睡眠データベースに基づいて、前記ユーザが睡眠状態であるか否かを判定する、ことを特徴とする付記１または２に記載の電子機器。

（付記４）記憶部をさらに備え、
　前記制御部は、前記所定の警告に対する前記ユーザからの所定の応答があった場合に前記測定された心拍数を覚醒時心拍数として前記記憶部のユーザ睡眠データベースに記録し、
　前記制御部の前記睡眠判定部は、前記心拍数測定部で測定された前記心拍数及び前記ユーザ睡眠データベースに基づいて、前記ユーザが睡眠状態であるか否かを判定する、ことを特徴とする付記１または２に記載の電子機器。

（付記５）記憶部をさらに備え、
　前記制御部は、前記所定の警告に対する前記ユーザからの所定の応答がなかった場合に前記測定された心拍数を睡眠時心拍数として前記記憶部のユーザ睡眠データベースに記録し、前記所定の警告に対する前記ユーザからの所定の応答があった場合に前記測定された心拍数を覚醒時心拍数として前記記憶部の前記ユーザ睡眠データベースに記録し、
　前記制御部の前記睡眠判定部は、前記心拍数測定部で測定された前記心拍数と、前記ユーザ睡眠データベースに基づいて、前記ユーザが睡眠状態であるか否かを判定する、ことを特徴とする付記１または２に記載の電子機器。

（付記６）ユーザ認証部と、複数のユーザ毎の前記ユーザ睡眠データベースと、をさらに備え、
　前記制御部は、前記ユーザ認証部が認証したユーザに対応する前記ユーザ睡眠データベースをアクセスするように制御することを特徴とする付記３乃至５のいずれか一に記載の電子機器。

（付記７）前記制御部による前記所定の警告は、画面表示、バイブレーション、又は音声ガイダンスのいずれかを含むことを特徴とする付記１乃至６のいずれか一に記載の電子機器。

（付記８）前記ユーザからの所定の応答は、画面タッチ、音量調整、又は前記内蔵マイクによる音声入力のいずれかを含むことを特徴とする付記２乃至７のいずれか一に記載の電子機器。

（付記９）内蔵マイクを備えたイヤホンに音響を再生する音響再生方法であって、
　前記イヤホンを装着したユーザの耳内の心拍音を前記内蔵マイクで集音し、前記心拍音に基づいて前記ユーザの心拍数を測定するステップと、
　前記測定された前記ユーザの心拍数に基づいて、前記ユーザが睡眠状態であるか否かを判定するステップと、
　前記ユーザが睡眠状態であると判定された場合には、前記ユーザに所定の警告を発するステップと、
　を含むことを特徴とする音響再生方法。

（付記１０）前記所定の警告を発した後、所定の時間が経過する間に前記ユーザからの所定の応答がなかった場合には、前記イヤホンに音響の再生を停止するステップをさらに含むことを特徴とする付記９に記載の音響再生方法。

（付記１１）内蔵マイクを備えたイヤホンの音響再生を制御するプログラムであって、
　前記イヤホンを装着したユーザの耳内の心拍音を前記内蔵マイクで集音し、前記心拍音に基づいて前記ユーザの心拍数を測定する処理と、
　前記測定された前記ユーザの心拍数に基づいて、前記ユーザが睡眠状態であるか否かを判定する処理と、
　前記ユーザが睡眠状態であると判定された場合には、前記ユーザに所定の警告を発する処理と、
　をコンピュータに実行させるプログラム。

　本発明は、内蔵マイクを備えたイヤホンを装着して音響再生する電子機器全般に適用することができる。上記電子機器としては、例えば、携帯電話、スマートフォン、携帯音楽プレーヤなどの携帯型の電子機器や、ディスクトップコンピュータ、テレビなどの携帯型でない電子機器が含まれる。内蔵マイクを備えたイヤホンとしては、コードレスタイプ（ワイヤレスタイプ）、コードタイプの両方が含まれる。

　なお、上記の特許文献の各開示を、本書に引用をもって繰り込むものとする。本発明の全開示（請求の範囲及び図面を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態の変更・調整が可能である。また、本発明の請求の範囲の枠内において種々の開示要素（各請求項の各要素、各実施形態の各要素、各図面の各要素等を含む）の多様な組み合わせないし選択が可能である。すなわち、本発明は、請求の範囲及び図面を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。

１、８、９：携帯端末（電子機器）
２：イヤホン
３、２１：スピーカ
４：内蔵マイク
５：ユーザ
６：耳
１０：制御部
１２：記憶部
１４：心拍数測定部
１６：音響再生部
１７：表示部
１８：操作部
１９：イヤホンジャック
２０：スイッチ
２２、５２：睡眠判定部
２３：警告処理部
２４：ユーザ睡眠データ処理部
２６：音声ガイダンスデータ
２７：音楽ファイル
２８、２８ａ～ｂ：ユーザ睡眠データベース
３０、３３：アンプ
３１：Ａ／Ｄ変換器
３２：心拍数算出部
３４：Ｄ／Ａ変換器
３５：デコーダ
４０：ユーザ認証部
４１：第１出力端子
４２：第２出力端子
Ｃ１：音響停止制御信号
Ｃ２：心拍数
ＶＯＬ：音量設定

Claims

　内蔵マイクを備えたイヤホンに音響を再生する音響再生部と、
　前記音響再生部を制御する制御部と、
　前記イヤホンを装着したユーザの耳内の心拍音を前記内蔵マイクで集音し、前記心拍音に基づいて前記ユーザの心拍数を測定する心拍数測定部と、を備え、
　前記制御部は、
　　前記心拍数測定部で測定された前記心拍数に基づいて、前記ユーザが睡眠状態であるか否かを判定する睡眠判定部を含み、
　　前記睡眠判定部により前記ユーザが睡眠状態であると判定された場合には、前記ユーザに所定の警告を発する、ことを特徴とする電子機器。
　前記制御部は、
　前記所定の警告を発した後、所定の時間が経過する間に、前記ユーザからの所定の応答がなかった場合には、前記音響再生部による音響の再生を停止するように制御する、ことを特徴とする請求項１に記載の電子機器。
　記憶部をさらに備え、
　前記制御部は、前記所定の警告に対する前記ユーザからの所定の応答がなかった場合に前記測定された心拍数を睡眠時心拍数として前記記憶部のユーザ睡眠データベースに記録し、
　前記制御部の前記睡眠判定部は、前記心拍数測定部で測定された前記心拍数及び前記ユーザ睡眠データベースに基づいて、前記ユーザが睡眠状態であるか否かを判定する、ことを特徴とする請求項１または２に記載の電子機器。
　記憶部をさらに備え、
　前記制御部は、前記所定の警告に対する前記ユーザからの所定の応答があった場合に前記測定された心拍数を覚醒時心拍数として前記記憶部のユーザ睡眠データベースに記録し、
　前記制御部の前記睡眠判定部は、前記心拍数測定部で測定された前記心拍数及び前記ユーザ睡眠データベースに基づいて、前記ユーザが睡眠状態であるか否かを判定する、ことを特徴とする請求項１または２に記載の電子機器。
　記憶部をさらに備え、
　前記制御部は、前記所定の警告に対する前記ユーザからの所定の応答がなかった場合に前記測定された心拍数を睡眠時心拍数として前記記憶部のユーザ睡眠データベースに記録し、前記所定の警告に対する前記ユーザからの所定の応答があった場合に前記測定された心拍数を覚醒時心拍数として前記記憶部の前記ユーザ睡眠データベースに記録し、
　前記制御部の前記睡眠判定部は、前記心拍数測定部で測定された前記心拍数と、前記ユーザ睡眠データベースに基づいて、前記ユーザが睡眠状態であるか否かを判定する、ことを特徴とする請求項１または２に記載の電子機器。
　ユーザ認証部と、複数のユーザ毎の前記ユーザ睡眠データベースと、をさらに備え、
　前記制御部は、前記ユーザ認証部が認証したユーザに対応する前記ユーザ睡眠データベースをアクセスするように制御することを特徴とする請求項３乃至５のいずれか一に記載の電子機器。
　前記制御部による前記所定の警告は、画面表示、バイブレーション、又は音声ガイダンスのいずれかを含むことを特徴とする請求項１乃至６のいずれか一に記載の電子機器。
　内蔵マイクを備えたイヤホンに音響を再生する音響再生方法であって、
　前記イヤホンを装着したユーザの耳内の心拍音を前記内蔵マイクで集音し、前記心拍音に基づいて前記ユーザの心拍数を測定するステップと、
　前記測定された前記ユーザの心拍数に基づいて、前記ユーザが睡眠状態であるか否かを判定するステップと、
　前記ユーザが睡眠状態であると判定された場合には、前記ユーザに所定の警告を発するステップと、
　を含むことを特徴とする音響再生方法。
　前記所定の警告を発した後、所定の時間が経過する間に前記ユーザからの所定の応答がなかった場合には、前記イヤホンに音響の再生を停止するステップをさらに含むことを特徴とする請求項８に記載の音響再生方法。
　内蔵マイクを備えたイヤホンの音響再生を制御するプログラムであって、
　前記イヤホンを装着したユーザの耳内の心拍音を前記内蔵マイクで集音し、前記心拍音に基づいて前記ユーザの心拍数を測定する処理と、
　前記測定された前記ユーザの心拍数に基づいて、前記ユーザが睡眠状態であるか否かを判定する処理と、
　前記ユーザが睡眠状態であると判定された場合には、前記ユーザに所定の警告を発する処理と、
　をコンピュータに実行させるプログラム。