以下、本発明につき図面を参照しつつ詳細に説明する。なお、以下の説明により本発明が限定されるものではない。また、以下の説明における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。以下においては、携帯電子機器の一例として携帯電話機を取り上げるが、本発明の適用対象は携帯電話機に限定されるものではなく、例えば、PHS(Personal Handy-phone System)、PDA、ポータブルナビゲーション装置、ノートパソコン、ゲーム機等に対しても本発明は適用できる。また、携帯電子機器を含むシステムにおいても適用することができる。
図1は、実施形態に係る携帯電子機器の一実施形態の概略構成を示す正面図であり、図2は、図1に示す携帯電子機器の側面図である。図1、図2に示す携帯電子機器1は、無線通信機能と、出力手段と、音声取得手段とを有する携帯電話機である。携帯電子機器1は、筐体1Cが複数の筐体で構成される。具体的には、筐体1Cは、第1筐体1CAと第2筐体1CBとで開閉可能に構成される。すなわち、携帯電子機器1は、折り畳み式の筐体を有する。なお、携帯電子機器1の筐体は、このような構造に限定されるものではない。例えば、携帯電子機器1の筐体は、両方の筐体を重ね合わせた状態から一方の筐体と他方の筐体とを互いにスライドできるようにしたスライド式の筐体であってもよいし、重ね合わせ方向に沿う軸線を中心に、一方の筐体を回転させるようにした回転式や、2軸ヒンジを介して両方の筐体を連結したものでもよい。
第1筐体1CAと第2筐体1CBとは、連結部であるヒンジ機構8で連結されている。ヒンジ機構8で第1筐体1CAと第2筐体1CBとを連結することにより、第1筐体1CA及び第2筐体1CBは、ヒンジ機構8を中心としてともに回動して、互いに遠ざかる方向及び互いに接近する方向(図2の矢印Rで示す方向)に回動できるように構成される。第1筐体1CAと第2筐体1CBとが互いに遠ざかる方向に回動すると携帯電子機器1が開き、第1筐体1CAと第2筐体1CBとが互いに接近する方向に回動すると携帯電子機器1が閉じて、折り畳まれた状態となる(図2の点線で示す状態)。
第1筐体1CAには、表示部として、図1に示すディスプレイ2が設けられる。ディスプレイ2は、携帯電子機器1が受信を待機している状態のときに待ち受け画像を表示したり、携帯電子機器1の操作を補助するために用いられるメニュー画像を表示したりする。また、第1筐体1CAには、携帯電子機器1の通話時に音声を出力する出力手段であるレシーバ16が設けられる。
第2筐体1CBには、通話相手の電話番号や、メール作成時等に文字を入力するための操作キー13Aが複数設けられ、また、ディスプレイ2に表示されるメニューの選択及び決定や画面のスクロール等を容易に実行するための方向及び決定キー13Bが設けられる。操作キー13A及び方向及び決定キー13Bは、携帯電子機器1の操作部13を構成する。また、第2筐体1CBには、携帯電子機器1の通話時に音声を受け取る音声取得手段であるマイク15が設けられる。操作部13は、図2に示す、第2筐体1CBの操作面1PCに設けられる。操作面1PCとは反対側の面が、携帯電子機器1の背面1PBである。
第2筐体1CBの内部には、アンテナが設けられている。アンテナは、無線通信に用いる送受信アンテナであり、携帯電子機器1と基地局との間で通話や電子メール等に係る電波(電磁波)の送受信に用いられる。また、第2筐体1CBには、マイク15が設けられる。マイク15は、図2に示す、携帯電子機器1の操作面1PC側に配置される。
図3は、図1、図2に示す携帯電子機器の機能の概略構成を示すブロック図である。図3に示すように、携帯電子機器1は、処理部22と、記憶部24と、送受信部26と、操作部13と、音声処理部30と、表示部32と、出力音補正部34と、加速度センサ35とを有する。処理部22は、携帯電子機器1の全体的な動作を統括的に制御する機能を有する。すなわち、処理部22は、携帯電子機器1の各種の処理が、操作部13の操作や携帯電子機器1の記憶部24に記憶されるソフトウェアに応じて適切な手順で実行されるように、送受信部26や、音声処理部30や、表示部32等の動作を制御する。
携帯電子機器1の各種の処理としては、例えば、回線交換網を介して行われる音声通話、電子メールの作成及び送受信、インターネットのWeb(World Wide Web)サイトの閲覧等がある。また、送受信部26、音声処理部30、表示部32等の動作としては、例えば、送受信部26による信号の送受信、音声処理部30による音声の入出力、表示部32による画像の表示等がある。
処理部22は、記憶部24に記憶されているプログラム(例えば、オペレーティングシステムプログラム、アプリケーションプログラム等)に基づいて処理を実行する。処理部22は、例えば、マイクロプロセッサユニット(MPU:Micro Processing Unit)で構成され、前記ソフトウェアで指示された手順にしたがって上述した携帯電子機器1の各種の処理を実行する。すなわち、処理部22は、記憶部24に記憶されるオペレーティングシステムプログラムやアプリケーションプログラム等から命令コードを順次読み込んで処理を実行する。
処理部22は、複数のアプリケーションプログラムを実行する機能を有する。処理部22が実行するアプリケーションプログラムとしては、例えば、各種の画像ファイル(画像情報)を記憶部24から読み出してデコードするアプリケーションプログラム、及びデコードして得られる画像を表示部32に表示させるアプリケーションプログラム等の複数のアプリケーションプログラムがある。
本実施形態において、処理部22は、音切れ検出部22aと、音切れ頻度判定部22bと、電波品質判定部22cと、ピッチ周波数判定部22dと、補正機能制御部22eと、音声区間検出部22fとを有する。音切れ検出部22aは、送受信部26を介して受信された音声である受信音声の音切れを検出する。音切れ検出部22aは、例えば、音声処理部30によってアナログ化された受信音声の音量信号のレベルが閾値よりも低い場合に音切れを検出する。
音切れ頻度判定部22bは、音切れの頻度に基づいて受信音声の品質を判定する。電波品質判定部22cは、受信電波の品質に基づいて受信音声の品質を判定する。ピッチ周波数判定部22dは、ピッチ周波数に基づいて受信音声の品質を判定する。補正機能制御部22eは、出力音補正部34による出力音補正機能を制御する。音声区間検出部22fは、公知の音声区間検出(Voice Activity Detection)技術に基づいて、受信音声信号の音声区間を検出する。
音切れ検出部22a、音切れ頻度判定部22b、電波品質判定部22c、ピッチ周波数判定部22d、補正機能制御部22e、音声区間検出部22fがそれぞれ有する機能は、処理部22及び記憶部24で構成されるハードウェア資源が、処理部22の制御部が割り当てるタスクを実行することにより実現される。ここで、タスクとは、アプリケーションソフトウェアが行っている処理全体、又は同じアプリケーションソフトウェアが行っている処理のうち、同時に実行できない処理単位である。なお、音切れ検出部22a、音切れ頻度判定部22b、電波品質判定部22c、ピッチ周波数判定部22d、音声区間検出部22fの機能を、送受信部26を介して携帯電子機器1と通信可能なサーバで実行し、サーバが実行結果を携帯電子機器1に送信するようにしても良い。
記憶部24には、処理部22での処理に利用されるソフトウェアやデータが記憶されており、上述した、画像処理用プログラムを作動させるタスクが記憶されている。また、記憶部24には、これらのタスク以外にも、例えば、通信、ダウンロードされた音声データ、あるいは記憶部24に対する制御に処理部22が用いるソフトウェア、通信相手の電話番号やメールアドレス等が記述されて管理するアドレス帳、発信音や着信音等の音声ファイル、ソフトウェアの処理過程で用いられる一時的なデータ等が記憶されている。
なお、ソフトウェアの処理過程で用いられるコンピュータプログラムや一時的なデータは、処理部22によって記憶部24に割り当てられた作業領域へ一時的に記憶される。記憶部24は、例えば、不揮発性の記憶デバイス(ROM:Read Only Memory等の不揮発性半導体メモリ、ハードディスク装置等)や、読み書き可能な記憶デバイス(例えば、SRAM:Static Random Access Memory、DRAM:Dynamic Random Access Memory)等で構成される。
送受信部26は、アンテナ26aを有し、基地局によって割り当てられるチャネルを介し、基地局との間でCDMA(Code Division Multiple Access)方式などによる無線信号回線を確立し、基地局との間で電話通信及び情報通信を行う。操作部13は、例えば、電源キー、通話キー、数字キー、文字キー、方向キー、決定キー、発信キー等、各種の機能が割り当てられた操作キー13Aと、方向及び決定キー13Bとで構成される。そして、これらのキーがユーザの操作により入力されると、その操作内容に対応する信号を発生させる。発生した信号は、ユーザの指示として処理部22へ入力される。
音声処理部30は、マイク15に入力される音声信号やレシーバ16やスピーカ17から出力される音声信号の処理を実行する。すなわち、音声処理部30は、マイク15から入力される音声を増幅し、AD変換(Analog Digital変換)を実行した後、さらに符号化等の信号処理を施して、ディジタルの音声データに変換して処理部22へ出力する。また、処理部22から出力音補正部34を介して送られる音声データに対して復号化、DA変換(Digital Analog変換)、増幅等の処理を施してアナログの音声信号に変換してから、レシーバ16やスピーカ17へ出力する。ここで、スピーカ17は、携帯電子機器1の筐体1C内に配置されており、着信音やメールの送信音等を出力する。
表示部32は、上述したディスプレイ2を有しており、処理部22から供給される映像データに応じた映像や画像データに応じた画像を表示パネルに表示させる。ディスプレイ2は、例えば、液晶ディスプレイ(LCD、Liquid Crystal Display)や、有機EL(Organic Electro−Luminescence)パネルなどで構成された表示パネルで構成される。なお、表示部32は、ディスプレイ2に加え、サブディスプレイを有していてもよい。
出力音補正部34は、処理部22により設定される補正パラメータに基づいて、処理部22から送られる音声データに対して聞き取り易さを改善するための補正を行って音声処理部30に出力する。出力音補正部34が行う出力音補正は、例えば、電話では送れない高音域を復元する補正、高音域を強調する補正、話速を遅くする補正等を含む。なお、出力音補正部34は、必ずしもこれらの補正を全て行う必要はなく、また、他の補正を行ってもよい。
出力音補正部34は、ハードウェア回路で実現しても良いし、CPUとプログラムで実現しても良い。出力音補正部34をCPUとプログラムで実現する場合、出力音補正部34を処理部22内で実現するようにしても良い。また、出力音補正部34の機能を、送受信部26を介して通信可能なサーバで実行し、サーバが補正処理後の音声データを携帯電子機器1に送信するようにしても良い。また、出力音補正部34が、音声処理部30の前段でなく、後段に配置され、音声処理部30が出力するアナログ信号を出力音補正部34が補正することとしてもよい。
加速度センサ35は、筐体1Cに加わる加速度を検出する検出器である。加速度センサ35として、種々の方法で加速度を検出する検出器を用いることができ、例えば、静電容量の変化や、ピエゾ抵抗の変化、相対位置の変化等で加速度を検出する検出器を用いることができる。加速度センサ35は、操作者が筐体1Cを振ったり、移動させたりする際に、筐体1Cに作用する加速度を検出する。
次に、図4を用いて、携帯電子機器1の音声出力時の処理の一例について説明する。ここで、図4は、携帯電子機器の動作の一例を説明するためのフロー図である。なお、図4に示す処理は、通話の開始時に開始される。
携帯電子機器1の処理部22は、まず、ステップS10として、一定時間が経過したかを判定する。ここでは、通話開始時刻、または、通話開始後に出力補正機能のON(開始)、OFF(停止)の設定を最後に行った時刻のうち、遅い方の時刻からの経過時間が判定対象である。処理部22は、一定時間が経過していない(No)と判定したら、ステップS10の判定を再実行する。
処理部22は、一定時間が経過している(Yes)と判定したら、ステップS11として、音切れ検出部22aが、受信音声が音切れの状態にあると判定しているか、すなわち、受信音声の無音区間であるかを判定する。処理部22は、無音区間でない(No)と判定したら、ステップS10に戻る。
処理部22は、受信音声の無音区間である(Yes)と判定したら、ステップS12として、音切れ頻度判定部22b、電波品質判定部22cおよびピッチ周波数判定部22dの最新の判定結果を取得する。ここで取得される判定結果は、受信音声の品質の良し悪しを示す。
そして、処理部22は、ステップS13として、音切れ頻度判定部22b、電波品質判定部22cおよびピッチ周波数判定部22dの判定結果に、受信音声の品質を「悪」とするものが1つでも含まれているかを判定する。処理部22は、受信音声の品質を「悪」とする判定結果が1つでも含まれている(Yes)と判定した場合、ステップS14として、出力補正をOFFに設定する。また、処理部22は、受信音声の品質を「悪」とする判定結果がない(No)と判定した場合、ステップS15として、出力補正をONに設定する。
その後、処理部22は、ステップS16として、通話終了であるかを判定する。処理部22は、ステップS16で通話終了ではない(No)と判定したら、ステップS10に戻って、上記処理を繰り返す。また、処理部22は、ステップS16で通話終了である(Yes)と判定したら、本処理を終了する。
このように、携帯電子機器1では、一定時間が経過するまでは、出力補正機能のON、OFFの設定が変更されない。このため、出力補正機能のON、OFFが高頻度で変更されて、使用者に不快感を与えてしまうことを抑止できる。
また、携帯電子機器1では、出力補正機能のON、OFFの変更が、受信音声の音切れが検出されている間に実行される。このため、音声を聞き取っている途中で音調が変化して、使用者に不快感を与えてしまうことを抑止できる。
次に、図5、図6−1、図6−2および図6−3を用いて、音切れ頻度判定部22bの処理の一例について説明する。ここで、図5は、音切れ頻度判定部22bの動作の一例を説明するためのフロー図である。図6−1は、通話相手が発声する音声の波形の一例を示す図である。図6−2は、電波状態が良好な状態で図6−1の音声が受信された場合の有音区間と無音区間の一例を示す図である。図6−3は、電波状態が不良な状態で図6−1の音声が受信された場合の有音区間と無音区間の一例を示す図である。なお、図5に示す処理は、通話の開始時に開始される。
音切れ頻度判定部22bは、まず、ステップS20として、所定の計測期間内での音切れ回数を計数する。音切れ回数とは、受信音声において有音区間から無音区間への変化が発生した回数、または、受信音声において無音区間から有音区間への変化が発生した回数である。
図6−2および図6−3に示す例では、信号がHighである区間が有音区間であり、信号がLowである区間が無音区間である。図6−1、図6−2および図6−3から明らかなように、電波状態が良好な場合、音切れ回数は比較的少ない。一方、電波状態が不良な場合、ノイズ等の影響で短い音切れが頻発し、音切れ回数が多くなる。このように音切れ回数の多い受信音声に対して出力音補正部34による補正を加えると、ノイズ等が強調されて、却って聞き取り易さを悪化させてしまうおそれがある。
そこで、音切れ頻度判定部22bは、ステップS21として、計測期間内での音切れ回数が閾値よりも多いかを判定する。処理部22は、計測期間内での音切れ回数が閾値よりも多い(Yes)と判定した場合、ステップS22として、受信音声の品質の判定結果を「悪」とする。また、処理部22は、計測期間内での音切れ回数が閾値よりも多くない(No)と判定した場合、ステップS23として、受信音声の品質の判定結果を「良」とする。
その後、音切れ頻度判定部22bは、ステップS24として、通話終了であるかを判定する。音切れ頻度判定部22bは、ステップS24で通話終了ではない(No)と判定したら、ステップS20に戻って、上記処理を繰り返す。また、音切れ頻度判定部22bは、ステップS24で通話終了である(Yes)と判定したら、本処理を終了する。
なお、音切れ頻度判定部22bは、例えば、音切れ検出部22aの検出結果に基づいて、受信音声の有音区間と無音区間を判別する。
次に、図7を用いて、電波品質判定部22cの処理の一例について説明する。ここで、図7は、電波品質判定部22cの動作の一例を説明するためのフロー図である。なお、図7に示す処理は、通話の開始時に開始される。
電波品質判定部22cは、まず、ステップS30として、送受信部26で受信される電波の品質である電波品質を取得する。電波品質が悪いときに受信された受信音声に対して出力音補正部34による補正を加えると、ノイズ等が強調されて、却って聞き取り易さを悪化させてしまうおそれがある。
そこで、電波品質判定部22cは、ステップS31として、電波品質が閾値よりも低いかを判定する。処理部22は、電波品質が閾値よりも低い(Yes)と判定した場合、ステップS32として、受信音声の品質の判定結果を「悪」とする。また、処理部22は、電波品質が閾値よりも低くない(No)と判定した場合、ステップS33として、受信音声の品質の判定結果を「良」とする。
その後、電波品質判定部22cは、ステップS34として、通話終了であるかを判定する。電波品質判定部22cは、ステップS34で通話終了ではない(No)と判定したら、ステップS30に戻って、上記処理を繰り返す。また、電波品質判定部22cは、ステップS34で通話終了である(Yes)と判定したら、本処理を終了する。
なお、電波品質判定部22cは、例えば、電波品質として、送受信部26で受信される電波の電波レベル(受信強度)を取得することとしてよい。また、送受信部26で受信される電波に含まれる高周波成分の量や、音声処理部30での復号処理において誤り補正が発生した頻度等に基づいて評価した値を電波品質として取得してもよい。また、音声の受信のための通信に適応変調が用いられている場合、現在選択されている変調方式に基づいて評価した値を電波品質として取得してもよい。
次に、図8および図9を用いて、ピッチ周波数判定部22dの処理の一例について説明する。ここで、図8は、ピッチ周波数判定部22dの動作の一例を説明するためのフロー図である。図9は、受信音声のピッチ周波数の一例を示す図である。なお、図8に示す処理は、通話の開始時に開始される。
ピッチ周波数判定部22dは、まず、ステップS40として、所定の計測期間内での不正なピッチ周波数の検出回数を計数する。図9に示すように、音声は、「き(KI)」、「い(I)」、「よ(YO)」、「し(SHI)」等の音ごとに特有のピッチ周波数のパターンをもっている。不正なピッチ周波数とは、どの音のピッチ周波数のパターンともマッチしないピッチ周波数のことであり、受信音声に不正なピッチ周波数が検出されるということは、何らかのノイズ成分が含まれていることを示す。したがって、不正なピッチ周波数が多く含まれる受信音声に対して出力音補正部34による補正を加えると、ノイズ等が強調されて、却って聞き取り易さを悪化させてしまうおそれがある。
そこで、ピッチ周波数判定部22dは、ステップS41として、計測期間内での不正なピッチ周波数の検出回数が閾値よりも多いかを判定する。処理部22は、計測期間内での不正なピッチ周波数の検出回数が閾値よりも多い(Yes)と判定した場合、ステップS42として、受信音声の品質の判定結果を「悪」とする。また、処理部22は、計測期間内での不正なピッチ周波数の検出回数が閾値よりも多くない(No)と判定した場合、ステップS43として、受信音声の品質の判定結果を「良」とする。
その後、ピッチ周波数判定部22dは、ステップS44として、通話終了であるかを判定する。ピッチ周波数判定部22dは、ステップS44で通話終了ではない(No)と判定したら、ステップS40に戻って、上記処理を繰り返す。また、ピッチ周波数判定部22dは、ステップS44で通話終了である(Yes)と判定したら、本処理を終了する。
なお、上記の実施形態で示した本発明の態様は、本発明の要旨を逸脱しない範囲で任意に変更することができる。例えば、図5、図7および図8で示した受信音声の品質の判定処理と、図4で示した出力補正機能のON、OFFの設定処理は、音声区間検出部22fで検出された音声区間においてだけ実行することとしてよい。この場合、無音区間では、出力補正機能は、常にOFFに設定される。このような構成とすることで、携帯電子機器1の処理量を減らし、省電力等を実現できる。
また、上記の実施形態では、受信音声の品質の判定処理と、出力補正機能のON、OFFの設定処理とを、処理部22で行ったが、本発明はこれに限定されない。携帯電子機器1は、各種演算処理を、送受信部26を介して通信可能なサーバで実行してもよい。つまり、受信音声の品質の判定処理および出力補正機能のON、OFFの設定処理における演算処理の一部または全体を、外部で行ってもよい。この場合、携帯電子機器1は、サーバへの識別情報の送信、サーバからの判定結果の受信等を行う。
このように、サーバで演算を行うことで、携帯電子機器1にかかる負荷を少なくすることができる。また、サーバが、演算結果に基づいて音声信号を補正するようにしてもよい。つまり、サーバと携帯電子機器とを1つのシステムとして、上述した処理を行うようにしてもよい。これにより、携帯電子機器1は、予め補正された音声信号を受け取ることができるため、携帯電子機器1で補正処理自体を実行しないようにすることもできる。
ここで、図10は、携帯電子機器を備える通信システムの概略構成を示す模式図である。図10に示す通信システム(音声制御システム)201は、携帯電子機器1、1a、サーバ202、202aと、通信網203と、データベース204と、を有する。なお、通信システム201を構成する各部の数は、特に限定されず、各部ともに複数の装置を備えていてもよい。例えば、携帯電子機器1、1aは、1つのサーバ202、202aに対して複数設けられていてもよい。
サーバ202は、各通信装置を特定する情報(電話番号、アドレス)等の種々のデータを有し、通信網を介して携帯電子機器1と通信し、種々の情報を供給する。なお、サーバ202と携帯電子機器1は、基地局、中継局で形成され、無線で通信波を送受信する通信網により、通信を行う。また、通信網は、サーバ202と携帯電子機器1との間で通信を行うことができれば、種々の通信方法を用いることができる。例えば、衛星回線を利用して通信を行ってもよい。
また、サーバ202、202aは、携帯電子機器1から情報を受信し、その情報に基づいて、通信網203を介して、他の通信装置に情報を通信する、情報の中継も行う。つまり、サーバ202は、各通信装置から送られてくる情報を集約して記憶し、集約した情報を必要に応じて通信装置に供給(提供)する。なお、サーバ202aは、集約した情報を加工(処理)して通信装置に供給することもできる。
通信網203は、交換機や、有線・無線の通信回線で構成されている。通信網203は、有線、無線の通信回線を用いて通信装置と他の通信装置との間での情報通信を行う。具体的には、通信網203は、サーバ202とサーバ202aとの間での情報通信や、サーバ202、202aとデータベース204との間での情報通信を行う。なお、通信網203は、サーバ202と携帯電子機器1とを接続する通信網と同様の通信網でも、別の通信網でもよい。また、通信網203としてはインターネット通信網を用いることもできる。
データベース204は、記憶装置であり、受信音声の品質の判定のための情報等、携帯電子機器1での処理に必要な種々のデータを記憶している。データベース204は、通信網203を介して、記憶している各種情報をサーバ202またはサーバ202aに供給する。
通信システム201は、以上のようなシステムにおいて、携帯電子機器1が受信音声に関して検出した情報をサーバ202に送り、サーバ202が、携帯電子機器1から送られた情報とデータベース204から取得した情報とを用いて演算処理を行って、演算結果を携帯電子機器1に送り、携帯電子機器1が、演算結果を使用して、出力補正機能のON、OFFの設定等を行うようにしてもよい。これにより、携帯電子機器1は、検出した情報をサーバ202に出力し、サーバ202から供給された情報を使用することで、上記と同様の出力音の補正を行うことができる。これにより、携帯電子機器1での処理量、記憶量を低減することができる。また、サーバ202として共通するサーバを用いることで、他の通信機器で通信を行う場合でも、同様の補正処理を行うことができる。