JP5726446B2 - 携帯電子機器 - Google Patents

Description

本発明は、音声を出力する携帯電子機器に関する。

携帯電話機、携帯テレビ等の携帯電子機器は、音声を出力する。ここで、携帯電子機器のユーザの中には、加齢等によって、聴力が低下し、出力される音声が聞こえにくいユーザがいる。

これに対して、例えば、特許文献１には、レシーバ等から出力される音声の周波数特性及びレベルを年齢による聴覚変化に合わせて補正する音声補正機能付き移動機が記載されている。

特開２０００−２０９６９８号公報

ここで、聴力低下の要因は、加齢、病気、騒音曝露等様々であり、聴力低下の程度も千差万別である。そのため、特許文献１に記載されているように、レシーバ等から出力される音声の周波数特性及びレベルを年齢に合わせて補正するだけでは、ユーザにとって十分満足できる音声の補正をすることができない。

本発明は、出力する音声を適正に補正することができ、ユーザにより聞こえやすい音声を出力することができる携帯電子機器を提供することを目的とする。

本発明に係る携帯電子機器は、筐体と、前記筐体に設けられて、音声信号に基づいて音を発生する音発生部と、前記筐体に設けられて、入力を受け付ける入力部と、前記音発生部により音を発生させ、発生させた音に対する応答を前記入力部により受け付けたら、前記応答に基づいて、音声周波数毎に音の大きさを調整する補正パラメータを設定する処理部と、前記補正パラメータに基づいて、音声信号を補正し、補正した音声信号を前記音発生部に供給する補正部と、を備えることを特徴とする。

また、前記筐体に設けられて、画像を表示する画像表示部を更に備え、前記入力部は、操作入力を受け付ける操作部を備え、前記処理部は、前記音発生部により発生された音に対して入力されると想定される応答を前記画像表示部に一覧表示させ、前記操作部が操作され一覧表示させた応答の中のから応答が選択されたら、選択された応答に対応して前記補正パラメータを設定することが好ましい。

また、前記入力部は、音声入力を受け付ける音声入力部を備え、前記処理部は、前記音声入力部に入力された応答の音声を解析し、解析した内容に基づいて、前記応答に対応して前記補正パラメータを設定することが好ましい。

また、前記補正パラメータは、前記音発生部から発生させる音声が不快閾値と可聴閾値との間の大きさになるように補正するパラメータであることが好ましい。

また、前記処理部は、不快閾値より小さい音及び可聴閾値より大きい音のいずれか一方又は双方を前記音発生部により発生させることが好ましい。

また、外部機器と通信する送受信部及び前記送受信部で受信した通話の受話音声を解析する解析部を備え、前記処理部は、受話音声に対する応答を検出したら、前記解析部の解析結果及び検出した応答に対応して前記補正パラメータを設定することが好ましい。

また、前記処理部は、通話中に受話音声を調整する入力を検出したら、当該受話音声を調整する入力があったことを記憶するとともに、前記受話音声を調整する入力に対応して前記補正パラメータを設定することが好ましい。

また、前記解析部は、通話の受話音声をスペクトル分析し、前記処理部は、スペクトル分析の結果に基づいて、応答の選択肢を提示し、提示した選択肢から選択された応答を入力された応答とすることが好ましい。

また、前記処理部は、前記入力部で受け付けた応答の入力があったことを記憶し、ユーザからの指示に応じて前記応答の入力の内容をユーザに提示することが好ましい。

本発明の携帯電子機器は、個々のユーザの聴力に合わせて、出力する音声を適正に補正することができ、ユーザにより聞こえやすい音声を出力することができるという効果を奏する。

図１は、携帯電子機器の一実施形態の概略構成を示す正面図である。 図２は、図１に示す携帯電子機器の側面図である。 図３は、図１、図２に示す携帯電子機器の機能の概略構成を示すブロック図である。 図４は、人間の聴力の特性を示す図である。 図５は、難聴者の聴力の特性の例を示す図である。 図６は、難聴者の可聴閾値及び不快閾値の例を示す図である。 図７は、図６に、母音、有声子音及び無声子音の大きさ及び周波数を重ねて示した図である。 図８は、図７の高音（子音）を単純に増幅した図である。 図９は、図８の大きい音に対して圧縮処理を行った図である。 図１０は、携帯電子機器の動作の一例を説明するためのフロー図である。 図１１−１は、不快閾値よりわずかに小さい音の音声信号を示す図である。 図１１−２は、図１１−１の音声信号のスペクトル成分を示す図である。 図１１−３は、可聴閾値よりわずかに大きい音の音声信号を示す図である。 図１１−４は、図１１−３の音声信号のスペクトル成分を示す図である。 図１２−１は、提示音として大きい音を再生した場合にディスプレイに一覧表示される音に関する不満を示す図である。 図１２−２は、提示音として小さい音を再生した場合にディスプレイに一覧表示される音に関する不満を示す図である。 図１３は、携帯電子機器の動作の一例を説明するためのフロー図である。 図１４は、携帯電子機器が音に関する不満をユーザに質問する音声を再生したときの様子を示す図である。 図１５は、携帯電子機器の動作の一例を説明するためのフロー図である。 図１６−１は、携帯電子機器が受話音声をユーザに向けて発している様子を示す図である。 図１６−２は、受話音声の音声信号を示す図である。 図１６−３は、図１６−２の音声信号のスペクトル成分を示す図である。 図１６−４は、ユーザが音に関する不満を発声している様子を示す図である。 図１７は、携帯電子機器の動作の一例を説明するためのフロー図である。 図１８は、携帯電子機器の動作の一例を示すフロー図である。 図１９−１は、ディスプレイに一覧表示される音に関する不満を示す図である。 図１９−２は、高い音と低い音のどちらに不満があるかを選択入力するための画像をディスプレイに表示した様子を示す図である。

以下、本発明につき図面を参照しつつ詳細に説明する。なお、以下の説明により本発明が限定されるものではない。また、以下の説明における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。以下においては、携帯電子機器の一例として携帯電話機を取り上げるが、本発明の適用対象は携帯電話機に限定されるものではなく、例えば、ＰＨＳ（Personal Handy-phone System）、ＰＤＡ、ポータブルナビゲーション装置、ノートパソコン、ゲーム機等に対しても本発明は適用できる。

図１は、実施形態に係る携帯電子機器の一実施形態の概略構成を示す正面図であり、図２は、図１に示す携帯電子機器の側面図である。図１、図２に示す携帯電子機器１は、無線通信機能と、出力手段と、音声取得手段とを有する携帯電話機である。携帯電子機器１は、筐体１Ｃが複数の筐体で構成される。具体的には、筐体１Ｃは、第１筐体１ＣＡと第２筐体１ＣＢとで開閉可能に構成される。すなわち、携帯電子機器１は、折り畳み式の筐体を有する。なお、携帯電子機器１の筐体は、このような構造に限定されるものではない。例えば、携帯電子機器１の筐体は、両方の筐体を重ね合わせた状態から一方の筐体と他方の筐体とを互いにスライドできるようにしたスライド式の筐体であってもよいし、重ね合わせ方向に沿う軸線を中心に、一方の筐体を回転させるようにした回転式や、２軸ヒンジを介して両方の筐体を連結したものでもよい。

第１筐体１ＣＡと第２筐体１ＣＢとは、連結部であるヒンジ機構８で連結されている。ヒンジ機構８で第１筐体１ＣＡと第２筐体１ＣＢとを連結することにより、第１筐体１ＣＡ及び第２筐体１ＣＢは、ヒンジ機構８を中心としてともに回動して、互いに遠ざかる方向及び互いに接近する方向（図２の矢印Ｒで示す方向）に回動できるように構成される。第１筐体１ＣＡと第２筐体１ＣＢとが互いに遠ざかる方向に回動すると携帯電子機器１が開き、第１筐体１ＣＡと第２筐体１ＣＢとが互いに接近する方向に回動すると携帯電子機器１が閉じて、折り畳まれた状態となる（図２の点線で示す状態）。

第１筐体１ＣＡには、表示部として、図１に示すディスプレイ２が設けられる。ディスプレイ２は、携帯電子機器１が受信を待機している状態のときに待ち受け画像を表示したり、携帯電子機器１の操作を補助するために用いられるメニュー画像を表示したりする。また、第１筐体１ＣＡには、携帯電子機器１の通話時に音声を出力する出力手段であるレシーバ１６が設けられる。

第２筐体１ＣＢには、通話相手の電話番号や、メール作成時等に文字を入力するための操作キー１３Ａが複数設けられ、また、ディスプレイ２に表示されるメニューの選択及び決定や画面のスクロール等を容易に実行するための方向及び決定キー１３Ｂが設けられる。操作キー１３Ａ及び方向及び決定キー１３Ｂは、携帯電子機器１の操作部１３を構成する。また、第２筐体１ＣＢには、携帯電子機器１の通話時に音声を受け取る音声取得手段であるマイク１５が設けられる。操作部１３は、図２に示す、第２筐体１ＣＢの操作面１ＰＣに設けられる。操作面１ＰＣとは反対側の面が、携帯電子機器１の背面１ＰＢである。

第２筐体１ＣＢの内部には、アンテナが設けられている。アンテナは、無線通信に用いる送受信アンテナであり、携帯電子機器１と基地局との間で通話や電子メール等に係る電波（電磁波）の送受信に用いられる。また、第２筐体１ＣＢには、マイク１５が設けられる。マイク１５は、図２に示す、携帯電子機器１の操作面１ＰＣ側に配置される。

図３は、図１、図２に示す携帯電子機器の機能の概略構成を示すブロック図である。図３に示すように、携帯電子機器１は、処理部２２と、記憶部２４と、送受信部２６と、操作部１３と、音声処理部３０と、表示部３２と、出力音補正部３４と、を有する。処理部２２は、携帯電子機器１の全体的な動作を統括的に制御する機能を有する。すなわち、処理部２２は、携帯電子機器１の各種の処理が、操作部１３の操作や携帯電子機器１の記憶部２４に記憶されるソフトウェアに応じて適切な手順で実行されるように、送受信部２６や、音声処理部３０や、表示部３２等の動作を制御する。

携帯電子機器１の各種の処理としては、例えば、回線交換網を介して行われる音声通話、電子メールの作成及び送受信、インターネットのＷｅｂ（World Wide Web）サイトの閲覧等がある。また、送受信部２６、音声処理部３０、表示部３２等の動作としては、例えば、送受信部２６による信号の送受信、音声処理部３０による音声の入出力、表示部３２による画像の表示等がある。

処理部２２は、記憶部２４に記憶されているプログラム（例えば、オペレーティングシステムプログラム、アプリケーションプログラム等）に基づいて処理を実行する。処理部２２は、例えば、マイクロプロセッサユニット（ＭＰＵ：Micro Processing Unit）で構成され、前記ソフトウェアで指示された手順にしたがって上述した携帯電子機器１の各種の処理を実行する。すなわち、処理部２２は、記憶部２４に記憶されるオペレーティングシステムプログラムやアプリケーションプログラム等から命令コードを順次読み込んで処理を実行する。

処理部２２は、複数のアプリケーションプログラムを実行する機能を有する。処理部２２が実行するアプリケーションプログラムとしては、例えば、各種の画像ファイル（画像情報）を記憶部２４から読み出してデコードするアプリケーションプログラム、及びデコードして得られる画像を表示部３２に表示させるアプリケーションプログラム等の複数のアプリケーションプログラムがある。

本実施形態において、処理部２２は、出力音補正部３４の補正パラメータを設定する補正パラメータ設定部２２ａ、音声認識処理を行う音声解析部２２ｂ、音声のスペクトル分析を行うスペクトル分析部２２ｃ、所定の提示音（テスト音）を生成する提示音生成部２２ｄを有する。補正パラメータ設定部２２ａ、音声解析部２２ｂ、スペクトル分析部２２ｃ、提示音生成部２２ｄがそれぞれ有する機能は、処理部２２及び記憶部２４で構成されるハードウェア資源が、処理部２２の制御部が割り当てるタスクを実行することにより実現される。ここで、タスクとは、アプリケーションソフトウェアが行っている処理全体、又は同じアプリケーションソフトウェアが行っている処理のうち、同時に実行できない処理単位である。なお、補正パラメータ設定部２２ａ、音声解析部２２ｂ、スペクトル分析部２２ｃ及び提示音生成部２２ｄの機能を、送受信部２６を介して携帯電子機器１と通信可能なサーバで実行し、サーバが実行結果を携帯電子機器１に送信するようにしても良い。

記憶部２４には、処理部２２での処理に利用されるソフトウェアやデータが記憶されており、上述した、画像処理用プログラムを作動させるタスクが記憶されている。また、記憶部２４には、これらのタスク以外にも、例えば、通信、ダウンロードされた音声データ、あるいは記憶部２４に対する制御に処理部２２が用いるソフトウェア、通信相手の電話番号やメールアドレス等が記述されて管理するアドレス帳、発信音や着信音等の音声ファイル、ソフトウェアの処理過程で用いられる一時的なデータ等が記憶されている。

なお、ソフトウェアの処理過程で用いられるコンピュータプログラムや一時的なデータは、処理部２２によって記憶部２４に割り当てられた作業領域へ一時的に記憶される。記憶部２４は、例えば、不揮発性の記憶デバイス（ＲＯＭ：Read Only Memory等の不揮発性半導体メモリ、ハードディスク装置等）や、読み書き可能な記憶デバイス（例えば、ＳＲＡＭ：Static Random Access Memory、ＤＲＡＭ：Dynamic Random Access Memory）等で構成される。

送受信部２６は、アンテナ２６ａを有し、基地局によって割り当てられるチャネルを介し、基地局との間でＣＤＭＡ（Code Division Multiple Access）方式などによる無線信号回線を確立し、基地局との間で電話通信及び情報通信を行う。操作部１３は、例えば、電源キー、通話キー、数字キー、文字キー、方向キー、決定キー、発信キー等、各種の機能が割り当てられた操作キー１３Ａと、方向及び決定キー１３Ｂとで構成される。そして、これらのキーがユーザの操作により入力されると、その操作内容に対応する信号を発生させる。発生した信号は、ユーザの指示として処理部２２へ入力される。

音声処理部３０は、マイク１５に入力される音声信号やレシーバ１６やスピーカ１７から出力される音声信号の処理を実行する。すなわち、音声処理部３０は、マイク１５から入力される音声を増幅し、ＡＤ変換（Analog Digital変換）を実行した後、さらに符号化等の信号処理を施して、ディジタルの音声データに変換して処理部２２へ出力する。また、処理部２２から出力音補正部３４を介して送られる音声データに対して復号化、ＤＡ変換（Digital Analog変換）、増幅等の処理を施してアナログの音声信号に変換してから、レシーバ１６やスピーカ１７へ出力する。ここで、スピーカ１７は、携帯電子機器１の筐体１Ｃ内に配置されており、着信音やメールの送信音等を出力する。

表示部３２は、上述したディスプレイ２を有しており、処理部２２から供給される映像データに応じた映像や画像データに応じた画像を表示パネルに表示させる。ディスプレイ２は、例えば、液晶ディスプレイ（ＬＣＤ、Liquid Crystal Display）や、有機ＥＬ（Organic Electro−Luminescence）パネルなどで構成された表示パネルで構成される。なお、表示部３２は、ディスプレイ２に加え、サブディスプレイを有していてもよい。

出力音補正部３４は、処理部２２により設定される補正パラメータに基づいて、処理部２２から送られる音声データに対して補正を行って音声処理部３０に出力する。なお、出力音補正部３４が行う補正は、入力される音声データに対して、補正パラメータに基づいて、音の大きさ及び周波数に応じて異なるゲインで増幅する補正である。また、出力音補正部３４は、ハードウェア回路で実現しても良いし、ＣＰＵとプログラムで実現しても良い。出力音補正部３４をＣＰＵとプログラムで実現する場合、出力音補正部３４を処理部２２内で実現するようにしても良い。また、出力音補正部３４の機能を、通信部２６を介して通信可能なサーバで実行し、サーバが補正処理後の音声データを携帯電子機器１に送信するようにしても良い。

ここで、人間の聴覚について図４〜図９を参照して説明する。図４は、人間の耳に入る音の大きさと人間が聴こえる（感じる）音の大きさとの関係を示すグラフである。健聴者の場合、耳に入る音の大きさと聴こえる音の大きさとは比例関係にある。一方、難聴者（高齢者、耳の病気を有する者等）の場合、一般的なイメージとしては、耳に入る音の大きさが或る値になるまでは殆ど聴こえず、耳に入る音の大きさが或る値以上になると耳に入る音に比例して音が聴こえるようになる。つまり、一般的なイメージの人は、耳に入る音を単純に増幅してやれば良いと考えられている。しかし、実際には、難聴者は、耳に入る音の大きさが或る値になるまでは殆ど聴こえず、耳に入る音の大きさが或る値以上になると急激に大きな音として聴こえるようになる。これにより、難聴者は、例えば、１０ｄＢの変化を２０ｄＢの変化に聴きとってしまう。そのため、大きい音に対して圧縮処理（大きい音に対するゲインを小さい音に対するゲインよりも小さくする処理）を行う必要がある。また、図５は、難聴者の聴力の周波数特性を示すグラフである。図５に示すように、難聴者は、低い音は良く聴こえるが、高い音ほど聴こえ難いことがわかる。なお、図５に示す特性は、一例であり、利用者によって聞こえる周波数特性は異なる。

図６は、健聴者、難聴者の出力される音の大きさと可聴閾値及び不快閾値との関係の一例を示す図である。なお、可聴閾値とは、適正に音が聴こえる下限の音の大きさであり、例えば、４０ｄＢで聴こえる音である。可聴閾値よりも小さい大きさの音は、小さくて聴こえにくい音になる。また、不快閾値とは、適正に音が聴こえる上限の音の大きさであり、例えば、９０ｄＢで聴こえる音である。不快閾値よりも大きい音は、音が大きくて不快に感じる音である。図６に示すように、難聴者は、可聴閾値４２と不快閾値４４とが共に、周波数が高くなるほど大きくなっている。なお、これに対して、健聴者は、可聴閾値４６及び不快閾値４８がともに、出力される音の大きさに対して一定となる。

次に、図７は、難聴者の出力される音の大きさと可聴閾値及び不快閾値との関係に、調整しないで出力される母音、有声子音及び無声子音の大きさ及び周波数を重ねて示した図である。図７に示すように、難聴者は、出力する音声を調整しないと、つまり、健常者の使用状態と同じ状態で音を出力させると、母音は聴こえるが、子音（有声子音、無声子音）は殆ど聴こえないことがわかる。具体的には、有声子音は、一部聞こえるが、無声子音は、ほとんど聞こえなくなる。

図８は、図７の高音（子音）を単純に増幅した図である。図８に示すように、聞こえにくい周波数領域の音声を単純に増幅すると、高音が不快閾値を超えてしまい、高音が耳にキンキン響いてしまう。即ち、音がひずんで聞こえてしまい、言葉が明りょうに聞こえなくなる。これに対して、図９は、本実施形態の携帯電子機器１の出力音補正部３４により、音声を補正、具体的には、図８の大きい音に対して圧縮処理（大きい音に対するゲインを小さい音に対するゲインより小さくする処理）を行った図である。図９に示すように、小さい音は大きなゲインで増幅し、大きい音は小さいゲインで増幅することで、母音、有声子音及び無声子音を快適な音の大きさ（可聴閾値と不快閾値との間の大きさ）にすることができる。携帯電子機器１は、以上の事柄を考慮して、入力される音声データに対する補正パラメータを決定する。なお、補正パラメータは、入力される音声が、可聴閾値と不快閾値との間の大きさの音声としてユーザに聞こえるように補正を行うパラメータである。携帯電子機器１は、出力音補正部３４により、決定した補正パラメータを用いて音の大きさ及び周波数に応じたゲインで増幅する補正を行い、音声処理部３０に出力する。これにより、携帯電子機器１は、耳が聞こえにくいユーザでも、好適に音声を聞くことが可能となる。

次に、図１０を用いて携帯電子機器の補正パラメータ設定動作の一例を説明する。ここで、図１０は、携帯電子機器の動作の一例を示すフロー図である。なお、図１０に示す動作は、記憶部２４に記憶されたアプリケーションを実行することで処理してもよい。またプログラムは、外部からダウンロードして取得することができる。また、図１０に示す動作を、送受信部２６を介して携帯電子機器１と通信可能なサーバで実行し、サーバが音声、画像等を携帯電子機器１に送信し、携帯電子機器１がサーバから受信した音声の出力、画像の表示等をし、携帯電子機器１がユーザから入力があった場合に入力データをサーバに送信するようにしても良い。

まず、携帯電子機器１の処理部２２は、ステップＳ１２として、提示音（テスト音）を再生する。つまり、携帯電子機器１の処理部２２は、提示音生成部２２ｄにより提示音（テスト音）を生成し、音声処理部３０を介してレシーバ１６またはスピーカ１７から出力する。なお、提示音としては、不快閾値近傍及び可聴閾値近傍の音が聴こえに大きく影響するので、当初は健聴者用に設定された不快閾値ぎりぎりの音（例えば、不快閾値よりわずかに小さい音）や設定された可聴閾値ぎりぎりの音（例えば、可聴閾値よりわずかに大きい音）を用いることが好ましい。また、２回目以降は各ユーザの不快閾値、可聴閾値に対しぎりぎりの音を用いることが好ましい。図１１−１は、設定された不快閾値よりわずかに小さい音の音声信号を示す図である。図１１−２は、図１１−１に示す音声信号を累計したスペクトル成分を示す図である。図１１−３は、設定された可聴閾値よりわずかに大きい音の音声信号を示す図である。図１１−４は、図１１−３に示す音声信号を累計したスペクトル成分を示す図である。

再び図１０を参照すると、次に、処理部２２は、ステップＳ１４として、ユーザが持つことが想定される音に関する不満（要望）をディスプレイ２に一覧表示する。図１２−１は、提示音として大きい音（不快閾値よりわずかに小さい音）を再生した場合にディスプレイ２に一覧表示される音に関する不満を示す図である。また、図１２−２は、提示音として小さい音（可聴閾値よりわずかに大きい音）を再生した場合にディスプレイ２に一覧表示される音に関する不満を示す図である。図１２−１を参照すると、提示音として大きい音（不快閾値よりわずかに小さい音）を再生した場合には、「ひびく／うるさい」という項目５１ａ、「キンキンする」という項目５１ｂ、「こもる」という項目５１ｃ、「つまって聴こえる」という項目５１ｄ、「不満はない」という項目５１ｅがディスプレイ２に一覧表示される。また、図１２−２を参照すると、提示音として小さい音（可聴閾値よりわずかに大きい音）を再生した場合には、「ほぼ聴こえない」という項目５２ａ、「音がシャリシャリする」という項目５２ｂ、「音がはっきりしない」という項目５２ｃ、「不満はない」という項目５２ｄがディスプレイ２に一覧表示される。

再び図１０を参照すると、次に、処理部２２は、ステップＳ１６として、ディスプレイ２に一覧表示された項目のいずれかが選択されたか否かを判定する。処理部２２は、ディスプレイ２に一覧表示された項目のいずれかが選択されていないと判定したら（ステップＳ１６でＮｏ）、処理をステップＳ１６で待機させる。

また、処理部２２は、ディスプレイ２に一覧表示された項目のいずれかが選択されたと判定したら（ステップＳ１６でＹｅｓ）、ステップＳ１８として、補正パラメータ設定部２２ａにより、選択された不満を緩和する（要望を満たす）補正パラメータを出力音補正部３４に設定する。例えば、処理部２２は、図１１−１に示す提示音（不快閾値よりわずかに小さい音）を再生し、図１２−１に示すように「キンキンする」という項目５１ｂが選択されたら、大きく高い音がユーザにとって不快閾値を超えていることがわかるので、補正パラメータ設定部２２ａにより、大きく高い音のゲインを下げる補正パラメータを出力音補正部３４に設定する。また、例えば、処理部２２は、図１１−２に示す提示音（可聴閾値よりわずかに大きい音）を再生し、図１２−２に示すように「ほぼ聴こえない」という項目５２ａが選択されたら、音が全体的に（全周波数帯域にわたって）ユーザにとって可聴閾値に達していないことがわかるので、補正パラメータ設定部２２ａにより、全周波数帯域にわたって小さい音のゲインを上げる補正パラメータを出力音補正部３４に設定する。なお、補正パラメータは、ゲインそのものであっても良いし、所望のゲインで増幅するように出力音補正部３４を制御する制御値であっても良い。処理部２２の補正パラメータ設定部２２ａは、以上のような出力した提示音と、その音に対してユーザによって入力された応答との関係から周波数毎の補正パラメータを設定（調整）する動作を繰り返す。

これにより、補正パラメータをユーザの聴こえ（音声の聞こえ方、聴覚の特性）に合わせて設定することができ、ユーザにより聞こえやすい音声を出力することができる。

なお、処理部２２は、様々な提示音を用いて図１０に示すフローを繰り返し実行することで、補正パラメータをユーザに適した値に収束させ、ユーザにより聞こえやすい音声を出力することができる。また、処理部２２は、図１０に示すフローを定期的（例えば、３ヶ月毎、６ヶ月毎等）に実行することで、ユーザの聴力に変化があった場合であっても、ユーザにより聞こえやすい音声を出力することができる。

また、処理部２２は、ステップＳ１６でディスプレイ２に一覧表示された項目のいずれかが選択されたと判定したら（ステップＳ１６でＹｅｓ）、選択された項目をログとして記憶部２４に記憶し、ユーザからの指示入力に応じてログの内容を表示部３２に表示させるようにしても良い。これにより、ユーザはログを参照することで、過去に選択した項目を把握し、補正パラメータの調整の過程を把握することができる。これにより、ユーザが補正パラメータの調整をすることをより容易にすることができる。

次に、図１３を用いて携帯電子機器の補正パラメータ設定動作の一例を説明する。ここで、図１３は、携帯電子機器の動作の一例を示すフロー図である。なお、図１３に示す動作は、記憶部２４に記憶されたアプリケーションを実行することで処理してもよい。また、プログラムは、外部からダウンロードして取得することができる。また、図１３に示す動作を、送受信部２６を介して携帯電子機器１と通信可能なサーバで実行し、サーバが音声、画像等を携帯電子機器１に送信し、携帯電子機器１がサーバから受信した音声の出力、画像の表示等をし、携帯電子機器１がユーザから入力があった場合に入力データをサーバに送信するようにしても良い。

まず、携帯電子機器１の処理部２２は、ステップＳ２２として、提示音（テスト音）を再生する。なお、提示音としては、不快閾値近傍及び可聴閾値近傍の音が聴こえに大きく影響するので、不快閾値ぎりぎりの音（不快閾値よりわずかに小さい音）や可聴閾値ぎりぎりの音（可聴閾値よりわずかに大きい音）が好ましい。

次に、処理部２２は、ステップＳ２４として、音に関する不満（要望）をユーザに質問する音声をレシーバ１６又はスピーカ１７により再生する。図１４は、携帯電子機器１が音に関する不満をユーザに質問する音声を再生したときの様子を示す図である。処理部２２は、例えば、図１４に示すように、「聴こえでどんな不満がありますか？」という質問の音声をレシーバ１６又はスピーカ１７により再生する。

次に、処理部２２は、ステップＳ２６として、質問に対する回答（音に関する不満）の音声がマイク１５により入力されたか否かを判定する。処理部２２は、音に関する不満の音声が入力されていないと判定したら（ステップＳ２６でＮｏ）、処理をステップＳ２６で待機させる。

また、処理部２２は、音に関する不満の音声がマイク１５により入力されたと判定したら（ステップＳ２６でＹｅｓ）、ステップＳ２８として、音声解析部２２ｂにより入力された音声を解析し、補正パラメータ設定部２２ａによりユーザの不満を緩和する（要望を満たす）補正パラメータを出力音補正部３４に設定する。例えば、処理部２２は、図１４に示すように、「音がうるさくて耳に響くんだよね」という音声が入力されたら、音声解析部２２ｂにより「うるさい」、「響く」というキーワードを検出し、補正パラメータ設定部２２ａにより大きい音全体のゲインを下げる補正パラメータを出力音補正部３４に設定する。

これにより、操作部１３による操作に不慣れなユーザであっても、音に関する不満をしゃべるだけで補正パラメータをユーザに合わせて設定することができ、ユーザにより聞こえやすい音声を出力することができる。

また、処理部２２は、ステップＳ２６で音に関する不満の音声がマイク１５により入力されたと判定したら（ステップＳ２６でＹｅｓ）、入力された音声又はキーワードをログとして記憶部２４に記憶し、ユーザからの指示入力に応じてログの内容をレシーバ１６又はスピーカ１７により出力したり、表示部３２に表示させたりしても良い。これにより、ユーザはログを参照することで、過去に入力した音声又はキーワードを把握し、補正パラメータの調整の過程を把握することができる。これにより、ユーザが補正パラメータの調整をすることをより容易にすることができる。

次に、図１５を用いて携帯電子機器の補正パラメータ設定動作の一例を説明する。ここで、図１５は、携帯電子機器の動作の一例を示すフロー図である。なお、図１５に示す動作は、通話が開始されたら実行される。また、図１５に示す動作は、記憶部２４に記憶されたアプリケーションを実行することで処理してもよい。また、プログラムは、外部からダウンロードして取得することができる。また、図１５に示す動作を、送受信部２６を介して携帯電子機器１と通信可能なサーバで実行し、サーバが音声、画像等を携帯電子機器１に送信し、携帯電子機器１がサーバから受信した音声の出力、画像の表示等をし、携帯電子機器１がユーザから入力があった場合に入力データをサーバに送信するようにしても良い。

まず、携帯電子機器１の処理部２２は、ステップＳ４２として、スペクトル分析部２２ｃにより受話音声をスペクトル分析し、その結果を記憶部２４に記憶する。図１６−１は、携帯電子機器１が受話音声をユーザに向けて発している様子を示す図である。また、図１６−２は、受話音声の音声信号の例を示す図である。図１６−３は、図１６−２に示す音声信号を累計したスペクトル成分を示す図である。

なお、携帯電話通信においては、ＣＥＬＰ（符号励振線形予測符号化）、ＥＶＲＣ（可変レート音声コーデック）、ＡＭＲ（適応型マルチレート）等の音声符号化が行われるので、受話音声の音質は肉声の音質とは異なる場合がある。

次に、処理部２２は、ステップＳ４４として、通話が終了したか否かを判定する。処理部２２は、通話が終了していないと判定したら（ステップＳ４４でＮｏ）、処理をステップＳ４２に進める。

また、処理部２２は、通話が終了したと判定したら（ステップＳ４４でＹｅｓ）、ステップＳ４６として、音に関する不満（要望）をユーザに質問する音声をレシーバ１６又はスピーカ１７により再生する。処理部２２は、例えば、「聴こえでどんな不満がありますか？」という質問の音声をレシーバ１６又はスピーカ１７により再生する。

次に、処理部２２は、ステップＳ４８として、質問に対する回答（音に関する不満）の音声がマイク１５により入力されたか否かを判定する。処理部２２は、音に関する不満の音声が入力されていないと判定したら（ステップＳ４８でＮｏ）、処理をステップＳ４８で待機させる。

また、処理部２２は、音に関する不満の音声がマイク１５により入力されたと判定したら（ステップＳ４８でＹｅｓ）、ステップＳ５０として、音声解析部２２ｂにより入力された音声を解析し、受話音声のスペクトル分析結果を用いて、補正パラメータ設定部２２ａによりユーザの不満を緩和する補正パラメータを出力音補正部３４に設定する。図１６−４は、ユーザが音に関する不満を発している様子を示す図である。例えば、処理部２２は、図１６−４に示すように、「言葉が良く聴き取れなかった」という音声が入力されたら、補正パラメータ設定部２２ａによりスペクトル成分の大きさが小さかった周波数帯域のゲインを上げる補正パラメータを出力音補正部３４に設定する。

これにより、実際の受話音声に基づいた補正パラメータを設定することができ、ユーザにより聞こえやすい音声を出力することができる。また、受話音声がＣＥＬＰ、ＥＶＲＣ、ＡＭＲ等の音声符号化されている場合であっても、実際の受話音声に基づいた補正パラメータを設定することができるので、ユーザにより聞こえやすい音声を出力することができる。

なお、処理部２２は、ステップＳ４２での受話音声のスペクトル分析結果をログとして記憶部２４内に残しても良い。また、処理部２２は、ステップＳ４８でのユーザからの音声入力の際に、受話音声のスペクトル分析結果を表示部３２に表示させるようにしてもよい。これにより、ユーザが補正パラメータの調整をすることをより容易にすることができる。

また、処理部２２は、ステップＳ４８で音に関する不満の音声がマイク１５により入力されたと判定したら（ステップＳ４８でＹｅｓ）、入力された音声又はキーワードをログとして記憶部２４に記憶し、ユーザからの指示入力に応じてログの内容をレシーバ１６又はスピーカ１７により出力したり、表示部３２に表示させたりしても良い。これにより、ユーザはログを参照することで、過去の受話音声のスペクトル分析結果、過去に入力した音声又はキーワードを把握し、補正パラメータの調整の過程を把握することができる。これにより、ユーザが補正パラメータの調整をすることをより容易にすることができる。

また、図１５に示す処理をサーバで実行する場合には、受話音声のスペクトル分析結果及び補正パラメータ調整結果をログとしてサーバ内に記憶しておくようにしても良い。また、サーバが、テスト音として適切な会話の音声データ（例えば、高音域が強い音声データ、低音域が強い音声データ、低音域から高音域までの音を有する音声データ等）を記憶しておき、後で提示音として携帯電子機器１に送信し再生させるようにしても良い。このようにサーバ側で会話の音声データを記憶しておくことで、ユーザが携帯電子機器１を買い換えた（機種変更した）場合に、サーバ側で記憶されている音声データを提示音として補正パラメータの調整を容易に行うことができる。

また、ここでは、ユーザが音に関する不満を音声で入力することとしたが、ユーザが持つことが想定される音に関する不満を一覧表示し、ユーザが一覧表示された項目のいずれかを選択することとしても良い。

次に、図１７を用いて携帯電子機器の補正パラメータ設定動作の一例を説明する。ここで、図１７は、携帯電子機器の動作の一例を示すフロー図である。なお、図１７に示す動作は、通話が開始されたら実行される。また、図１７に示す動作は、記憶部２４に記憶されたアプリケーションを実行することで処理してもよい。また、プログラムは、外部からダウンロードして取得することができる。また、図１７に示す動作を、送受信部２６を介して携帯電子機器１と通信可能なサーバで実行し、サーバが音声、画像等を携帯電子機器１に送信し、携帯電子機器１がサーバから受信した音声の出力、画像の表示等をし、携帯電子機器１がユーザから入力があった場合に入力データをサーバに送信するようにしても良い。

まず、携帯電子機器１の処理部２２は、ステップＳ５２として、スペクトル分析部２２ｃにより受話音声をスペクトル分析し、その結果を記憶部２４に記憶する。次に、処理部２２は、ステップＳ５４として、音に関する操作入力（例えば、ボリューム調整、音質調整等）があるか否かを判定する。処理部２２は、音に関する操作があると判定したら（ステップＳ５４でＹｅｓ）、ステップＳ５６として、操作入力をスペクトル分析の結果と対応づけてログとして記憶部２４に記憶する。

処理部２２は、音に関する操作入力がないと判定したら（ステップＳ５４でＮｏ）又はステップＳ５６を実行したら、ステップＳ５８として、通話が終了したか否かを判定する。処理部２２は、通話が終了していないと判定したら（ステップＳ５８でＮｏ）、処理をステップＳ５２に進める。

また、処理部２２は、通話が終了したと判定したら（ステップＳ５８でＹｅｓ）、ステップＳ６０として、操作入力とスペクトル分析の結果とから補正パラメータを出力音補正部３４に設定する。例えば、処理部２２は、通話中にボリュームを上げる操作入力がされたら、音全体のゲインを上げる補正パラメータを出力音補正部３４に設定する。また、例えば、処理部２２は、通話中に高音を強くする音質調整の操作入力がされたら、高音のゲインを上げる補正パラメータを出力音補正部３４に設定する。

これにより、通話中の操作入力に基づいて補正パラメータを設定することができ、実際の受話音声に応じた補正パラメータを設定することができ、ユーザにより聞こえやすい音声を出力することができる。

なお、処理部２２は、ステップＳ５２での受話音声のスペクトル分析結果をログとして記憶部２４内に残しても良い。また、処理部２２は、ステップＳ５４で音に関する操作入力がありと判定したら（ステップＳ５４でＹｅｓ）、入力された操作内容をログとして記憶部２４に記憶し、ユーザからの指示入力に応じてログの内容を表示部３２に表示させるようにしても良い。これにより、ユーザはログを参照することで、過去の受話音声のスペクトル分析結果、過去に入力した操作入力を把握し、補正パラメータの調整の過程を把握することができる。

次に、図１８を用いて携帯電子機器の補正パラメータ設定動作の一例を説明する。ここで、図１８は、携帯電子機器の動作の一例を示すフロー図である。また、図１８に示す動作は、記憶部２４に記憶されたアプリケーションを実行することで処理してもよい。また、プログラムは、外部からダウンロードして取得することができる。また、図１８に示す動作を、送受信部２６を介して携帯電子機器１と通信可能なサーバで実行し、サーバが音声、画像等を携帯電子機器１に送信し、携帯電子機器１がサーバから受信した音声の出力、画像の表示等をし、携帯電子機器１がユーザから入力があった場合に入力データをサーバに送信するようにしても良い。

まず、携帯電子機器１の処理部２２は、ステップＳ７２として、提示音生成部２２ｄにより提示音（テスト音）を再生する。なお、提示音としては、不快閾値近傍及び可聴閾値近傍の音が聴こえに大きく影響するので、設定された不快閾値ぎりぎりの音（不快閾値よりわずかに小さい音）や設定された可聴閾値ぎりぎりの音（可聴閾値よりわずかに大きい音）が好ましい。

次に、処理部２２は、ステップＳ７４として、ユーザが持つことが想定される音に関する不満（要望）をディスプレイ２に一覧表示する。図１９−１は、ディスプレイ２に一覧表示される音に関する不満の例を示す図である。図１９−１を参照すると、「ひびく／うるさい」という項目５３ａ、「つまって聴こえる」という項目５３ｂ、「よく聴こえない」という項目５３ｃ、「キンキンする」という項目５３ｄ、「こもる」という項目５３ｅ、「不満はない」という項目５３ｆがディスプレイ２に一覧表示される。

再び図１８を参照すると、次に、処理部２２は、ステップＳ７６として、ディスプレイ２に一覧表示された項目のいずれかが選択されたか否かを判定する。処理部２２は、ディスプレイ２に一覧表示された項目のいずれかが選択されていないと判定したら（ステップＳ７６でＮｏ）、処理をステップＳ７６で待機させる。

また、処理部２２は、ディスプレイ２に一覧表示された項目のいずれかが選択されたと判定したら（ステップＳ７６でＹｅｓ）、ステップＳ７８として、「不満はない」という項目５３ｆが選択されたか否かを判定する。処理部２２は、「不満はない」という項目５３ｆが選択されたと判定したら（ステップＳ７８でＹｅｓ）、処理を終了する。

また、処理部２２は、「不満はない」という項目５３ｆが選択されていないと判定したら（ステップＳ７８でＮｏ）、ステップＳ８０として、補正パラメータ設定部２２ａにより、選択された不満を緩和する（要望を満たす）補正パラメータを出力音補正部３４に設定する。例えば、処理部２２は、図１９−１に示すように「つまって聴こえる」という項目５３ｂが選択されたら、高い音の大きさがユーザにとって小さいことがわかるので、補正パラメータ設定部２２ａにより、高い音のゲインを上げる補正パラメータを出力音補正部３４に設定する。

次に、処理部２２は、ステップＳ８２として、高い音と低い音のどちらに不満があるかを選択入力するための画像をディスプレイ２に表示する。図１９−２は、高い音と低い音のどちらに不満があるかを選択入力するための画像をディスプレイ２に表示した様子の例を示す図である。図１９−２に示すように、「高い音」という項目５４ａ、「低い音」という項目５４ｂ、「両方」という項目５４ｃがディスプレイ２に表示される。

次に、処理部２２は、ステップＳ８４として、ディスプレイ２に表示された項目のいずれかが選択されたか否かを判定する。処理部２２は、ディスプレイ２に表示された項目のいずれかが選択されていないと判定したら（ステップＳ８４でＮｏ）、処理をステップＳ８４で待機させる。

また、処理部２２は、ディスプレイ２に表示された項目のいずれかが選択されたと判定したら（ステップＳ８４でＹｅｓ）、ステップＳ８６として、補正パラメータ設定部２２ａにより、選択された音の不満を緩和する補正パラメータを出力音補正部３４に設定する。例えば、処理部２２は、図１９−２に示すように「低い音」という項目５４ｂが選択されたら、補正パラメータ設定部２２ａにより、低い音のゲインを上げる補正パラメータを出力音補正部３４に設定する。処理部２２は、その後、処理をステップＳ７２に進める。

これにより、補正パラメータをユーザの聴こえに合わせて設定することができ、ユーザにより聞こえやすい音声を出力することができる。

また、処理部２２は、ステップＳ７２〜ステップＳ８６のループを実行することで、補正パラメータをユーザに適した値に収束させ、ユーザにより聞こえやすい音声を出力することができる。

なお、本実施形態では、補正パラメータの設定処理を、処理部２２で行ったが、本発明はこれに限定されない。携帯電子機器１は、各種演算処理を、送受信部２６を介して通信可能なサーバで実行してもよい。つまり、演算処理自体は、外部で行っても良い。この場合、携帯電子機器１は、サーバから送信された音声の出力、画像の表示等を行い、ユーザから入力された操作をデータとしてサーバに送信する。このように、サーバで演算を行ったり、補正パラメータを設定したりすることで、携帯電子機器にかかる負荷を少なくすることができる。また、通信を行うサーバで予め補正パラメータを設定し、サーバが補正パラメータに基づいて音声信号を補正するようにしてもよい。つまり、サーバと携帯電子機器とを１つのシステムとして、上述した処理を行うようにしてもよい。これにより、携帯電子機器１は、予め補正された音声信号を受け取ることができるため、補正処理自体を実行しないようにすることもできる。

以上のように、本発明に係る携帯電子機器は、音声を出力するものに有用である。

１ 携帯電子機器
１Ｃ 筐体
２ ディスプレイ
１３ 操作部
１３Ａ 操作キー
１３Ｂ 方向及び決定キー
２２ 処理部
２２ａ 補正パラメータ設定部
２２ｂ 音声解析部
２２ｃ スペクトル分析部
２２ｄ 提示音生成部
２４ 記憶部
３０ 音声処理部
３２ 表示部
３４ 出力音補正部

Claims (9)

1. 筐体と、
   前記筐体に設けられて、音声信号に基づいて音を発生する音発生部と、
   前記筐体に設けられて、入力を受け付ける入力部と、
   前記音発生部により音を発生させ、発生させた音に対するユーザの応答を前記入力部により受け付けたら、前記ユーザの応答に基づいて、音声周波数毎に音の大きさを調整する補正パラメータを設定する処理部と、
   前記補正パラメータに基づいて、音声信号を補正し、補正した音声信号を前記音発生部に供給する補正部と、
   を備え、
   前記ユーザの応答が、母音及び子音のうち、子音に対応する周波数の音量が大きいことを示す応答であった場合、母音に対応する音声周波数の補正パラメータを変化させず、且つ、前記子音に対応する音声周波数の補正パラメータを下げて、前記子音の音量幅を圧縮する補正を行うことを特徴とする携帯電子機器。
2. 前記筐体に設けられて、画像を表示する画像表示部を更に備え、
   前記入力部は、操作入力を受け付ける操作部を備え、
   前記処理部は、前記音発生部により発生された音に対して入力されると想定される応答を前記画像表示部に一覧表示させ、前記操作部が操作され一覧表示させた応答の中からユーザの応答が選択されたら、選択されたユーザの応答に対応して前記補正パラメータを設定することを特徴とする請求項１に記載の携帯電子機器。
3. 前記入力部は、音声入力を受け付ける音声入力部を備え、
   前記処理部は、前記音声入力部に入力されたユーザの応答の音声を解析し、解析した内容に基づいて、前記ユーザの応答に対応して前記補正パラメータを設定することを特徴とする請求項１に記載の携帯電子機器。
4. 前記補正パラメータは、前記音発生部から発生させる音声が不快閾値と可聴閾値との間の大きさになるように補正するパラメータであることを特徴とする請求項１から３のいずれか１項に記載の携帯電子機器。
5. 前記処理部は、不快閾値より小さい音及び可聴閾値より大きい音のいずれか一方又は双方を前記音発生部により発生させることを特徴とする請求項１から４のいずれか１項に記載の携帯電子機器。
6. 外部機器と通信する送受信部及び前記送受信部で受信した通話の受話音声を解析する解析部を備え、
   前記処理部は、受話音声に対するユーザの応答を検出したら、前記解析部の解析結果及び検出したユーザの応答に対応して前記補正パラメータを設定することを特徴とする請求項１から５のいずれか１項に記載の携帯電子機器。
7. 前記処理部は、通話中に受話音声を調整する入力を検出したら、当該受話音声を調整する入力があったことを記憶するとともに、前記受話音声を調整する入力に対応して前記補正パラメータを設定することを特徴とする請求項６に記載の携帯電子機器。
8. 前記解析部は、通話の受話音声をスペクトル分析し、前記処理部は、スペクトル分析の結果に基づいて、応答の選択肢を提示し、提示した選択肢から選択されたユーザの応答を入力されたユーザの応答とすることを特徴とする請求項６または７に記載の携帯電子機器。
9. 前記処理部は、前記入力部で受け付けた応答の入力があったことを記憶し、ユーザからの指示に応じて前記ユーザの応答の入力の内容をユーザに提示することを特徴とする請求項１から８のいずれか１項に記載の携帯電子機器。

Images