JP5221404B2 - 携帯電子機器及び音声調整方法 - Google Patents

Description

本発明は、画像を撮影する撮像手段と音声を発する出力手段とを備える携帯電子機器及び音声調整方法に関する。

携帯電話機は、通話時に音声を出力するレシーバを備える。例えば、特許文献１には、レシーバから出力される受話音量の調節手段として、キー操作によりボリューム調節を実施することが開示されている。

特開２００８−５０２５号公報［０００３］

しかし、特許文献１に開示された技術は、通話中にレシーバの音量調整をする場合、キーを操作する必要があり、操作が煩わしいという問題があった。本発明は、上記に鑑みてなされたものであって、通話中に音声出力を調整する際の利便性を向上させることを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る携帯電子機器は、筐体に取り付けられて、入光部が前記筐体の外部に露出している撮像手段と、音声を出力する出力手段と、前記撮像手段が撮像した、前記撮像手段の入光部と対向する位置の被写体の画像に基づき、前記出力手段の音声出力を調整する制御手段と、を備え、前記制御手段は、前記撮像手段が撮像した画像中において前記被写体が占める程度、及び前記被写体の移動方向に応じて前記音声出力を調整することを特徴とする。

本発明の望ましい態様としては、前記携帯電子機器において、前記制御手段は、前記撮像手段が前記被写体の画像を撮像した時間が、予め定めた所定の時間継続した場合に、前記被写体の画像に基づいて、前記出力手段の音声出力を調整することが好ましい。

本発明の望ましい態様としては、前記携帯電子機器において、音声を取得する音声取得手段と、当該音声取得手段が取得した音声を外部の機器に送出する通話手段とを有し、前記制御手段は、前記撮像手段が撮像した被写体の画像に基づき、前記通話手段による音声の送出を調整することが好ましい。

本発明の望ましい態様としては、前記携帯電子機器において、前記制御手段は、前記撮像手段が前記被写体を撮像しない場合には、送話をミュートすることが好ましい。

上述した課題を解決し、目的を達成するために、本発明に係る音声調整方法は、筐体に取り付けられて、画像を取得する部分が前記筐体の外部に露出している撮像手段と、音声を出力する出力手段とを有する携帯電子機器において前記出力手段の音声出力を調整するにあたり、前記撮像手段から前記撮像手段の入光部と対向する位置の被写体の画像を取得する手順と、取得された前記画像中において前記被写体が占める程度、及び前記被写体の移動方向に基づき、前記出力手段の音声出力を調整する手順と、を含むことを特徴とする。

本発明は、通話中に音声出力を調整する際の利便性を向上させることができる。

図１は、本実施形態に係る携帯電子機器の正面図である。 図２は、本実施形態に係る携帯電子機器の側面図である。 図３は、本実施形態に係る携帯電子機器の背面図である。 図４は、本実施形態に係る携帯電子機器の機能を説明するためのブロック図である。 図５は、本実施形態に係る音声調整方法の手順を示すフローチャートである。 図６は、メニュー画面の一例を示す図である。 図７は、カメラによって撮像された画像の画像情報を構成する画素と、それぞれの画素の色情報との関係を示す図である。 図８は、カメラによって撮像され、画像処理された画像情報を示す模式図である。 図９は、画像情報とこの画像情報に含まれる単色画像の面積率と音量との関係を示す模式図である。 図１０は、画像情報とこの画像情報に含まれる単色画像の面積率と音量との関係を示す模式図である。 図１１は、連続する単色画像の変化の方向によって音量を変更する例を説明する図である。 図１２は、連続する単色画像の変化の方向によって音量及び音声の速度を変更する例を説明する図である。

以下、この発明につき図面を参照しつつ詳細に説明する。なお、この発明を実施するための形態（以下実施形態という）により本発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が容易に想定できるものあるいは実質的に同一のもの、いわゆる均等の範囲内のものが含まれる。以下においては、携帯電話機を携帯電子機器の一例として取り上げるが、本発明の適用対象は携帯電話機に限定されるものではなく、画像を撮影する撮像手段及び音声を出力する出力手段を有していれば、例えば、ＰＨＳ（Personal Handy phone System）、ＰＤＡ（Personal Data Assistant）、ポータブルナビゲーション装置、ノートパソコン、ゲーム機等に対しても本発明は適用できる。

図１は、本実施形態に係る携帯電子機器の正面図である。図２は、本実施形態に係る携帯電子機器の側面図である。図３は、本実施形態に係る携帯電子機器の背面図である。本実施形態は、画像を撮影する撮像手段と、音声を出力する出力手段とを有する携帯電子機器において、撮像手段が撮像した、撮像手段の入光部と対向する位置の被写体の画像（被写体の撮像状態）に基づき、出力手段が出力する音声出力（音量、速度、周波数等）を調整する点に特徴がある。以下においては、撮像手段の入光部と対向する位置の被写体の画像として、撮像手段の入光部を覆う被写体の画像を用いる例を説明する。被写体は、撮像手段の入光部に接した状態で前記入光部を覆ってもよく、前記入光部に対向する（すなわち、互いに向き合う）とともに、前記入光部から離れた位置で撮像手段に撮像されるものであってもよい。本実施形態では、撮像手段が撮像した被写体の画像を用いて音声出力を調整するので、撮像手段の入光部と被写体との距離は、本実施形態に係る音声出力の調整を実現できる範囲となる。

本実施形態において、図１〜図３に示す携帯電子機器１は、無線通信機能と、出力手段と、音声取得手段と、撮像手段とを有する携帯電話機である。携帯電子機器１は、筐体１Ｃが複数の筐体で構成される。具体的には、筐体１Ｃは、第１筐体１ＣＡと第２筐体１ＣＢとで開閉可能に構成される。すなわち、携帯電子機器１は、折り畳み式の筐体を有する。なお、携帯電子機器１の筐体は、このような構造に限定されるものではない。例えば、携帯電子機器１の筐体は、両方の筐体を重ね合わせた状態から一方の筐体と他方の筐体とを互いにスライドできるようにしたスライド式の筐体であってもよいし、重ね合わせ方向に沿う軸線を中心に、一方の筐体を回転させるようにした回転式や、２軸ヒンジを介して両方の筐体を連結したものでもよい。

第１筐体１ＣＡと第２筐体１ＣＢとは、連結部であるヒンジ機構８で連結されている。ヒンジ機構８は、第１筐体１ＣＡ側の第１ヒンジ部８Ａと第２筐体１ＣＢ側の第２ヒンジ部８Ｂとで構成される。ヒンジ機構８で第１筐体１ＣＡと第２筐体１ＣＢとを連結することにより、第１筐体１ＣＡ及び第２筐体１ＣＢは、ヒンジ機構８を中心としてともに回動して、互いに遠ざかる方向及び互いに接近する方向（図２の矢印Ｒで示す方向）に回動できるように構成される。第１筐体１ＣＡと第２筐体１ＣＢとが互いに遠ざかる方向に回動すると携帯電子機器１が開き、第１筐体１ＣＡと第２筐体１ＣＢとが互いに接近する方向に回動すると携帯電子機器１が閉じて、折り畳まれた状態となる（図２の点線で示す状態）。

第１筐体１ＣＡには、表示部として、図１に示すディスプレイ２が設けられる。ディスプレイ２は、携帯電子機器１が受信を待機している状態のときに待ち受け画像を表示したり、携帯電子機器１の操作を補助するために用いられるメニュー画像を表示したりする。また、第１筐体１ＣＡには、携帯電子機器１の通話時に音声を出力する出力手段であるレシーバ６が設けられる。

第２筐体１ＣＢには、通話相手の電話番号や、メール作成時等に文字を入力するための操作キー３Ａが複数設けられ、また、ディスプレイ２に表示されるメニューの選択及び決定や画面のスクロール等を容易に実行するための方向及び決定キー３Ｂが設けられる。操作キー３Ａ及び方向及び決定キー３Ｂは、携帯電子機器１の操作部３を構成する。また、第２筐体１ＣＢには、携帯電子機器１の通話時に音声を受け取る音声取得手段であるマイク５が設けられる。操作部３は、図２に示す、第２筐体１ＣＢの操作面１ＰＣに設けられる。操作面１ＰＣとは反対側の面が、携帯電子機器１の背面１ＰＢである。

第２筐体１ＣＢの内部には、アンテナ７が設けられている。アンテナ７は、無線通信に用いる送受信アンテナであり、携帯電子機器１と基地局との間で通話や電子メール等に係る電波（電磁波）の送受信に用いられる。アンテナ７は、第２筐体１ＣＢの第２ヒンジ部８Ｂとは反対側に配置される。また、第２筐体１ＣＢには、マイク５が設けられる。マイク５は、図２に示す、携帯電子機器１の操作面１ＰＣ側に配置される。

図２、図３に示すように、携帯電子機器１の背面１ＰＢには、撮像手段であるカメラ４Ｃが設けられる。すなわち、カメラ４Ｃは、マイク５とは反対側に設けられる。カメラ４Ｃは、入光部（画像を撮像素子に取り入れる部分）が第２筐体１ＣＢの外部に露出している。後述するように、本実施形態では、レシーバ６が出力する音声の音量や速度等を調整する場合、携帯電子機器１の使用者の指等でカメラ４Ｃの入光部が覆われるが、カメラ４Ｃを、マイク５が設けられる操作面１ＰＣとは反対側に設けることにより、使用者の指でカメラ４Ｃを覆いやすくなる。これによって、音量や音声の速度を調整する際の利便性が向上する。

本実施形態において、カメラ４Ｃには、例えば、ＣＣＤ（Charge Coupled Device Image Sensor）のような撮像素子が用いられる。カメラ４Ｃは、撮像素子の制御回路とともにカメラモジュール４に組み込まれる。ここで、カメラ４Ｃの入光部は、カメラ４Ｃの最も被写体側に設けられて、撮像素子が撮像する画像が最初に入射する部分である。本実施形態において、第２筐体１ＣＢの背面１ＰＢには、カメラ４Ｃの周囲の明るさを検出する明るさ検出手段として、明度センサ９が設けられる。明度センサ９は、例えば、フォトダイオードが用いられる。

図４は、本実施形態に係る携帯電子機器の機能を説明するためのブロック図である。携帯電子機器１の動作は、制御装置１０により制御される。制御装置１０は制御手段であり、主処理部１１と、記憶部１２と、画像処理部１３と、音声処理部１４と、通信処理部１５とを有する。主処理部１１は、記憶部１２、画像処理部１３、音声処理部１４、通信処理部１５、ディスプレイ２、操作部３、明度センサ９が接続される。そして、主処理部１１は、携帯電子機器１の全体的な動作を統括的に制御する。すなわち、主処理部１１は、携帯電子機器１の各種の処理が、操作部３の操作や携帯電子機器１の記憶部１２に保存されるソフトウェアに応じて適切な手順で実行されるように、通信処理部１５や音声処理部１４、あるいは画像処理部１３等の動作を制御する。

携帯電子機器１の各種の処理としては、例えば、回線交換網を介して行われる音声通話、電子メールの作成及び送受信等がある。また、通信処理部１５や音声処理部１４等の動作としては、例えば、通信処理部１５における信号の送受信、音声処理部１４における音声の制御や入出力、カメラ４Ｃが撮像した画像の画像処理部１３による処理等がある。

主処理部１１は、記憶部１２に保存されているプログラム（例えば、オペレーティングシステムプログラム、アプリケーションプログラム等）に基づいて処理を実行する。主処理部１１は、例えば、マイクロプロセッサユニット（ＭＰＵ：Micro Processor Unit）で構成され、前記ソフトウェアで指示された手順に従って上述した携帯電子機器１の各種の処理を実行する。すなわち、主処理部１１は、記憶部１２に保存されるオペレーティングシステムプログラムやアプリケーションプログラム等から命令コードを順次読み込んで処理を実行する。

また、主処理部１１は、音声処理部１４に出力する音声データのレベル（音量）や速度等を調整する。これによって、音声処理部１４に接続されるレシーバ６から出力される音声の音量や速度等が変更される。また、主処理部１１は、マイク５が取得し、音声処理部１４から入力される音声データを通信処理部１５に出力しない処理も可能である。これによって、携帯電子機器１からの送話をミュートすることができる。

記憶部１２は、主処理部１１での処理に利用されるソフトウェアやデータを保存する。例えば、記憶部１２は、ダウンロードされた画像データや音声データ、あるいは主処理部１１が記憶部１２に対する制御に用いるソフトウェア、通信相手の電話番号やメールアドレス等を保存し管理するアドレス帳、発信音や着信音等の音声ファイル、ソフトウェアの処理過程で用いられる一時的なデータ等を保存する。記憶部１２は、例えば、不揮発性の記憶デバイス（ＲＯＭ：Read Only Memory等の不揮発性半導体メモリ、ハードディスク装置等）や、読み書き可能な記憶デバイス（例えば、ＳＲＡＭ：Static Random Access Memory、ＤＲＡＭ：Dynamic Random Access Memory）等で構成される。

本実施形態において、画像処理部１３、音声処理部１４、通信処理部１５は、それぞれの機能を実現するための専用のＩＣ（Integral Circuit：集積回路）で構成される。画像処理部１３は、画像処理手段である。画像処理部１３は、カメラモジュール４が接続されており、これに組み込まれるカメラ４Ｃが撮像し、カメラモジュール４から送られる被写体の画像信号を取得する。そして、画像処理部１３は、取得した画像信号に対して各種の処理を施して画像情報を生成し、主処理部１１へ出力する。各種の処理としては、例えば、ＡＤ変換（Analog Digital変換）処理や、さらに符号化等の処理がある。

音声処理部１４は、音声制御手段であり、マイク（ＭＩＣ）５、レシーバ（ＲＣＶ）６、スピーカ１７が接続される。音声処理部１４は、レシーバ６から出力される音声やマイク５に入力される音声の信号処理を実行する。すなわち、音声処理部１４は、マイク５から入力される音声を増幅し、ＡＤ変換（Analog Digital変換）を実行した後さらに符号化等の信号処理を施して、ディジタルの音声データに変換して主処理部１１へ出力する。また、音声処理部１４は、主処理部１１から送られる音声データに対して復号化、ＤＡ変換（Digital Analog変換）、増幅等の処理を施してアナログの音声信号に変換してから、レシーバ６へ出力する。さらに、音声処理部１４は、着信音や電子メールの送信音等をスピーカ１７から出力させる。

通信手段である通信処理部１５は、アンテナ７が接続されており、基地局のいずれかによって割り当てられるチャンネルを介して、前記基地局との間で無線通信を行う。この無線通信において、通信処理部１５は、前記基地局を介して取得した通信対象の携帯電子機器の音声データを主処理部１１へ出力する。また、前記無線通信において、通信処理部１５は、携帯電子機器１のマイク５が取得し、音声処理部１４によって信号処理された音声データを、前記基地局を介して通信対象の携帯電子機器へ出力する。

携帯電子機器１が他の携帯電子機器と通信（基地局を介した無線通信）している場合、通信相手からの音声はレシーバ６から出力されるが、その音量や速度を調整したい場合がある。また、携帯電子機器１からの送話をミュートする、すなわち、携帯電子機器１のマイク５が取得した音声を通信相手には送信しないことが必要になる場合もある。なお、送話のミュート時には、通信相手からの音声はレシーバ６から出力される。このような場合、携帯電子機器１は、カメラ４Ｃを利用して、音量や音声の速度を調整する際の利便性を向上させる。次に、この手法を説明する。

図５は、本実施形態に係る音声調整方法の手順を示すフローチャートである。本実施形態に係る音声調整方法は、携帯電子機器１によって実行され、より具体的には携帯電子機器１の制御装置１０が実行する。本実施形態に係る音声調整方法は、携帯電子機器１の通話中に実行される。ステップＳ１０１において、図４に示す制御装置１０の主処理部１１は、携帯電子機器１が通話中であるか否かを判定する。ステップＳ１０１でＮｏと判定された場合、すなわち、主処理部１１が携帯電子機器１は通話中でないと判定した場合、ＳＴＡＲＴに戻り、主処理部１１は、携帯電子機器１の状態の監視を継続する。

ステップＳ１０１でＹｅｓと判定された場合、ステップＳ１０２へ進む。ステップＳ１０２において、主処理部１１は、カメラ４Ｃによる音声調整機能が有効であるか否かを判定する。カメラ４Ｃによる音声調整機能（以下、カメラ音声調整機能という）とは、携帯電子機器１の通話中にカメラ４Ｃを使用者の指等で覆い、カメラ４Ｃが覆われる程度（面積）を変更することで、レシーバ６からの音声の音量を調整したり、レシーバ６からの音声の速度を調整したりする機能である。カメラ音声調整機能は、携帯電子機器１の使用者によって使用するか否か、何を調整するのか等を設定できる。

図６は、メニュー画面の一例を示す図である。例えば、カメラ音声調整機能は、ディスプレイ２に表示されるメニュー画面によって設定できる。携帯電子機器１の使用者は、操作キー３Ａや方向及び決定キー３Ｂを用いて図６に示すメニュー画面を読み出し、カメラ音量調整機能を設定する。この例では、カメラ４Ｃを利用して、レシーバ６から出力される音声の音量及び速度を調整できるように設定できる。例えば、図６のメニュー画面の音量をＯＮにすると、カメラ４Ｃの入光部を覆う面積を変更することによりレシーバ６から出力される音声の音量を調整できる。また、図６のメニュー画面の速度をＯＮにすると、カメラ４Ｃの入光部を覆う面積を変更することによりレシーバ６から出力される音声の速度を調整できる。それぞれの項目をＯＦＦにすると、音声の音量及び速度はカメラ４Ｃによっては変更できず、通常の音声調整機能で音声の音量や速度が調整されることになる。ここで、通常の音声調整機能とは、操作キー３Ａや方向及び決定キー３Ｂを操作することによりレシーバ６から出力される音声を調整する機能である。

ステップＳ１０２でＮｏと判定された場合、すなわち、主処理部１１が、カメラ音声調整機能は有効でないと判定した場合、ステップＳ１０３へ進み、上述した通常の音声調整により、レシーバ６から出力される音声の音量や速度が調整される。ステップＳ１０２でＹｅｓと判定された場合、すなわち、主処理部１１が、カメラ音声調整機能は有効であると判定した場合、ステップＳ１０４へ進む。ステップＳ１０４で、主処理部１１は、携帯電子機器１のカメラ４Ｃが起動中であるか否かを判定する。

ステップＳ１０４でＮｏと判定された場合、すなわち、主処理部１１は、携帯電子機器１のカメラ４Ｃが起動していないと判定した場合、ステップＳ１０５に進み、主処理部１１は、携帯電子機器１のカメラ４Ｃを起動する。カメラ音声調整機能は、携帯電子機器１の通話中にカメラ４Ｃを用いるため、カメラ４Ｃが起動していないとカメラ音声調整機能は実行できないからである。ステップＳ１０５でカメラを起動した後、あるいはステップＳ１０４でＹｅｓと判定された場合（主処理部１１が携帯電子機器１のカメラ４Ｃは起動中であると判定した場合）、ステップＳ１０６へ進む。

ステップＳ１０６において、主処理部１１は、携帯電子機器１の使用環境、より具体的にはカメラ４Ｃの使用環境の明るさが所定値以上であるか否かを判定する。本実施形態では、カメラ４Ｃを使用者の指等で覆い、カメラ４Ｃが覆われる程度（面積）に応じてレシーバ６の音声出力を調整する。このため、カメラ４Ｃは、被写体である使用者の指等を認識できることが必要である。したがって、本実施形態に係る音声調整方法では、カメラ４Ｃの使用環境はカメラ４Ｃが被写体を認識できる程度の明るさが必要となる。このため、ステップＳ１０６で、カメラ４Ｃの使用環境の明るさが所定値以上であるか否かが判定される。

本実施形態では、カメラ４Ｃの使用環境の明るさを、図３、図４に示す明度センサ９で検出する。ステップＳ１０６での明るさの所定値、すなわち、ステップＳ１０６の判断における明るさの閾値は、カメラ４Ｃの仕様等から予め定めておき、記憶部１２へ格納しておく。ステップＳ１０６において主処理部１１は、明度センサ９からカメラ４Ｃの使用環境における実際の明るさと記憶部１２へ格納された明るさの閾値とを取得し、両者を比較する。その結果、カメラ４Ｃの使用環境における実際の明るさが明るさの閾値よりも小さい場合（ステップＳ１０６：Ｎｏ）、カメラ４Ｃの使用環境の明るさではカメラ４Ｃが被写体を認識できないと判断できる。この場合、ステップＳ１０３へ進み、上述した通常の音声調整により、レシーバ６から出力される音声の音量や速度が調整される。

ここで、ステップＳ１０６の判断において、主処理部１１は、制御装置１０に内蔵された時計を用いて、現在の時刻から、カメラ４Ｃの使用環境は、カメラ４Ｃが被写体を認識できる程度の明るさであるか否かを判定してもよい。このようにすれば、明度センサ９は不要なので、携帯電子機器１の装置構成を簡単にできるとともに、製造コストを低減できる。しかし、季節によっては同じ時刻であってもカメラ４Ｃの使用環境の明るさは異なることや、照明の有無によってもカメラ４Ｃの使用環境の明るさは異なる。したがって、時刻による判定は明度センサ９による判定の精度を高めるための補助として用いることが好ましい。

カメラ４Ｃの使用環境における実際の明るさが明るさの閾値以上である場合（ステップＳ１０６：Ｙｅｓ）、カメラ４Ｃの使用環境の明るさは、カメラ４Ｃが被写体を認識できる程度である判断できる。この場合、ステップＳ１０７へ進む。ステップＳ１０７で、主処理部１１は、カメラ４Ｃからの画像情報を取得する。カメラ４Ｃからの画像情報は、カメラ４Ｃが撮像した画像信号に画像処理部１３が所定の画像処理を施すことにより生成される。主処理部１１は、画像処理部１３を介して、カメラ４Ｃからの画像情報を取得する。次にステップＳ１０８へ進み、主処理部１１は、カメラ４Ｃが撮像し、画像処理部１３で画像処理された画像情報から、単色画像（画素）を連続して検出したか否かを判定する。

図７は、カメラによって撮像された画像の画像情報を構成する画素と、それぞれの画素の色情報との関係を示す図である。図８は、カメラによって撮像され、画像処理された画像情報を示す模式図である。図８は、カメラ４Ｃによって撮像され、画像処理部１３で画像処理されることにより生成された画像情報２０であり、複数の画素Ｐ０、Ｐ１、Ｐ２・・・Ｐｎから構成される（ｎは画素の識別番号）。画像情報２０は、ＸＹ座標上に表され、Ｙ軸は携帯電子機器１の長手方向（レシーバ６からマイク５に向かう方向）と平行な軸であり、Ｘ軸はＹ軸と直交する軸である。

例えば、携帯電子機器１の使用者がレシーバ６の音量を調整するためにカメラ４Ｃを指で覆った場合、カメラ４Ｃは、その指を被写体として撮像する。すると、撮像された被写体の部分は、例えば、図８に示す画像情報２０に単色となって現れる。したがって、主処理部１１が、カメラ４Ｃによって撮像され、画像処理部１３で画像処理された画像情報２０から連続する単色画像を検出した場合には、携帯電子機器１の使用者の指でカメラ４Ｃの一部又は全部が覆われていると判断できる。図７に示す例では、画素Ｐ１〜Ｐｎ−１までの色情報は連続していないが、画素Ｐｎ以降の色情報はすべて００（１６進）で連続している。このような画素を有する画像情報は、連続する単色画像が検出されることになる。

なお、指の色は必ずしも単色で検出されるとは限らないので、予め携帯電子機器１の使用者の指をカメラ４Ｃで撮像し、その色をカメラ音声調整機能に用いる判定色として設定し、記憶部１２へ格納してもよい。この場合、ステップＳ１０８では、単色画像の代わりに設定した判定色を用いる。このようにすれば、カメラ音声調整機能を実行するためにカメラ４Ｃの入光部を覆う被写体を精度よく、より確実に検出できる。

ステップＳ１０８で連続する単色画像が検出されない場合（ステップＳ１０８：Ｎｏ）、ＳＴＡＲＴに戻り、主処理部１１は、携帯電子機器１の状態の監視を継続する。ステップＳ１０８で連続する単色画像が検出されたら（ステップＳ１０８：Ｙｅｓ）、ステップＳ１０９へ進む。ステップＳ１０９において、主処理部１１は、携帯電子機器１の使用者の指等でカメラ４Ｃが覆われた時間（カメラ４Ｃが使用者の指等を撮像した時間）が、予め定めた所定の時間Ｔｗ継続したか否かを判定する。これは、連続する単色画像が検出された状態が所定の待機時間Ｔｗ継続したか否かで判定される。

ステップＳ１０９でＮｏと判定された場合、すなわち、主処理部１１が、連続する単色画像の検出された状態が所定の待機時間Ｔｗ継続しなかったと判定した場合、ＳＴＡＲＴに戻り、主処理部１１は、携帯電子機器１の状態の監視を継続する。ステップＳ１０９でＹｅｓと判定された場合、すなわち、主処理部１１が、連続する単色画像が検出された状態が所定の待機時間Ｔｗ継続したと判定した場合、ステップＳ１１０に進む。このように、カメラ４Ｃが覆われた時間が、予め定めた所定の時間Ｔｗ継続してから、本実施形態に係る音声調整方法の次のステップへ移行することにより、カメラ音声調整機能を利用して音声を調整しようとする携帯電子機器１の使用者の意思を確認できる。これによって、前記使用者の意思を反映させた制御が可能になる。ステップＳ１０９でＹｅｓと判定されたらステップＳ１１０へ進み、主処理部１１は、基準値を設定する。

図９、図１０は、画像情報とこの画像情報に含まれる単色画像の面積率と音量との関係を示す模式図である。図９、図１０のＸ、Ｙは、図８のＸ軸、Ｙ軸に対応する（以下同様）。また、面積率ρは、画像情報中に存在する連続する単色画像の割合であり、より具体的には、画像情報の全画素数に占める連続する単色画像の画素数の割合である。本実施形態では、カメラ音声調整機能を実行するためにカメラ４Ｃが指等の被写体で覆われたときにカメラ４Ｃが撮像した画像の画像情報のときの音声出力（例えば音量）を、調整する対象の基準値とする。そして、例えば、指等の被写体によってカメラ４Ｃの覆われる程度（面積）が変化した場合には、カメラ４Ｃによって得られた画像情報における単色画像の面積率が変化するので、これに応じて前記基準値から音声出力を変更する。

図９に示す例では、主処理部１１は、携帯電子機器１の使用者の指がカメラ４Ｃを完全に覆ったとき、すなわち、カメラ４Ｃが撮像した画像の画像情報に含まれる連続する単色画像の面積率が１００％であるときの音量を基準値Ｖｄとして設定し、記憶部１２へ格納する。また、図１０に示す例では、主処理部１１は、携帯電子機器１の使用者の指がカメラ４Ｃを７割程度覆ったとき、すなわち、カメラ４Ｃが撮像した画像の画像情報に含まれる連続する単色画像の面積率が７０％程度であるときの音量を基準値Ｖｄとして設定し、記憶部１２へ格納する。

図９に示す例では、連続する単色画像の面積率ρに応じて音量を設定する。例えば、面積率ρが１００％のときは基準値Ｖｄであり、面積率ρが７５％のときの音量は０．７５×Ｖｄである。また、本実施形態では、面積率ρが０％のとき、すなわち、カメラ４Ｃが覆われない状態では、後述するように送話をミュートする関係から、面積率ρが０％のときでもレシーバ６から音声が出力されるようにしてある。本実施形態では、送話のミュート時における音量は、基準値Ｖｄに０．１を乗じた値としてあるが、これに限定されるものではない。また、図９に示す例では、説明の便宜上、面積率ρを断続的に表しているが、図９にない面積率ρに対する音量は、図９に存在する面積率ρに対応する音量から補間して求める（以下の例でも同様）。なお、面積率ρと音量との関係は、記憶部１２に保存されている。

ステップＳ１１０で基準値が設定されたらステップＳ１１１へ進む。ステップＳ１１１において、主処理部１１は、画像処理部１３から出力されるカメラ４Ｃからの画像情報に含まれる連続する単色画像の変化を検出したか否かを判断する。例えば、主処理部１１は、異なる時間Ｔ１、Ｔ２において画像情報に含まれる連続する単色画像の画線率ρ１とρ２との差の絶対値｜ρ１−ρ２｜を求め、この値が所定の閾値ρｃ以上であれば、連続する単色画像の変化を検出したと判断する。ここで、連続する単色画像の変化は、例えば、図９に示す例において、連続する単色画像の面積率ρが１００％から５０％に変化した場合や、７５％から５０％に変化した場合等である。連続する単色画像の変化は、携帯電子機器１の使用者の指等を動かして、使用者の指等がカメラ４Ｃの入光部を覆う面積が変化することにより、カメラ４Ｃが撮像した画像に含まれる前記指等に相当する部分の面積が変化して発生する。

ステップＳ１１１でＮｏと判定された場合、すなわち、主処理部１１が、連続する単色画像の変化を検出していない場合、カメラ４Ｃを覆った指の位置は変化していないと判断できる。この場合、ＳＴＡＲＴに戻り、主処理部１１は、携帯電子機器１の状態の監視を継続する。ステップＳ１１１でＹｅｓと判定された場合、すなわち、主処理部１１が、画像処理部１３から出力されるカメラ４Ｃからの画像情報中に含まれる連続する単色画像の変化を検出した場合、カメラ４Ｃを覆った指の位置は変化していると判断できる。この場合、携帯電子機器１の使用者は、レシーバ６からの音声出力（この例では音量）を変更する意思があると判断できる。

この場合、ステップＳ１１２に進み、主処理部１１は、カメラ４Ｃが被写体（この例では、携帯電子機器１の使用者の指）に覆われる程度に応じて、より具体的には検出された連続する単色画像の面積率ρに応じて、レシーバ６から出力される音声の音量を調整する。例えば、主処理部１１は、連続する単色画像が変化した後における連続する単色画像の面積率ρに対応する音量とする。この場合、主処理部１１は、カメラ４Ｃが撮像し画像処理部１３によって画像処理された画像情報から連続する単色画像の面積率ρを求め、記憶部１２に格納される面積率ρと音量との関係から、求めた面積率ρに対応する音量を設定する。そして、主処理部１１は、設定した音量となるように音声信号を生成し、音声処理部１４へ出力する。音声処理部１４は、主処理部１１から出力された音声信号に基づき、レシーバ６の駆動信号を生成してレシーバ６を駆動する。これによって、携帯電子機器１の通話中にレシーバ６から出力される音声を変更できる。

このように、本実施形態では、カメラ４Ｃが撮像したカメラ４Ｃの入光部を覆う被写体（本実施形態では、携帯電子機器１の使用者の指等）の画像に基づき、レシーバ６の音声出力（音量、速度等）を調整する。すなわち、カメラ４Ｃの入光部と対向する被写体、より具体的にはカメラ４Ｃの入光部を覆う被写体の状態に基づき、レシーバ６から出力される音声出力を調整する。これによって、携帯電子機器１の通話中にレシーバ６から出力される音声出力を調整する場合には、簡単な操作で調整できるので、通話中に音声出力を調整する際の利便性が向上する。

また、本実施形態では、カメラ４Ｃが撮像した画像中において被写体が占める程度、すなわち、カメラ４Ｃの入光部が被写体に覆われる程度（面積）に応じて音声出力が調整される。そして、本実施形態では、音量を調整する場合、被写体にカメラ４Ｃが覆われる程度（面積）が小さくなるにしたがって、音量が小さくなる。これによって、音量の大きさを変更しやすくなる。

図９に示す例では、カメラ４Ｃの入光部を覆う使用者の指をＹ軸のマイナス（−）方向、すなわち、レシーバ６からマイク５に向かって動かすことにより、レシーバ６から出力される音声の音量を小さくできる。携帯電子機器１の通話中、レシーバ６は使用者の耳の付近に位置し、マイク５は使用者の口の付近に位置する。一般に、人間は頭が上で足が下という認識がある。そして、一般には、上方向が音量や速度の増加、下方向が音量や速度の減少という認識がある。

したがって、本実施形態のように、レシーバ６（頭側、すなわち上側）からマイク５（足側、すなわち下側）に向かって使用者の指を動かした場合に、レシーバ６から出力される音声の音量が小さくなるようにすると、操作の方向と操作結果（音量の変化等）とが人間の認識と一致する。その結果、操作の間違いを低減できるので好ましい。なお、カメラ４Ｃの入光部を覆う指等を動かす方向（移動方向）と操作結果との対応は、上述した関係に限定されるものではない。

ステップＳ１１２で音量が変更されたら、ステップＳ１１３へ進む。ステップＳ１１３において、主処理部１１は、カメラ４Ｃが撮像し画像処理部１３によって画像処理された画像情報から連続する単色情報が検出されるか否かを判定する。ステップＳ１１３でＮｏと判定された場合、すなわち、主処理部１１が、カメラ４Ｃからの画像に基づいて得られる画像情報から連続する単色情報を検出した場合、ＳＴＡＲＴに戻り、主処理部１１は、携帯電子機器１の状態の監視を継続する。

ステップＳ１１３でＹｅｓと判定された場合、すなわち、主処理部１１が、カメラ４Ｃからの画像に基づいて得られる画像情報から連続する単色情報を検出しない場合、ステップＳ１１４へ進む。この場合、携帯電子機器１の使用者の指はカメラ４Ｃから外されて、カメラ４Ｃの入光部を覆うものは何も存在しない状態であり、カメラ４Ｃは被写体（前記指等）を撮像しない状態である。すなわち、カメラ４Ｃからの画像に基づいて得られる画像情報に含まれる、連続する単色画像の面積率ρは０％である。このような状態になった場合、本実施形態では、送話をミュートする。すなわち、携帯電子機器１のマイク５が取得した音声を通信相手には送信しない。このため、主処理部１１は、マイク５が取得し、音声処理部１４から入力される音声データを通信処理部１５に出力しない処理を実行する。これによって、携帯電子機器１からの送話はミュートされるが、上述したように、レシーバ６からは音声が出力される。すなわち、ミュート時には、携帯電子機器１から通話相手への送話はされないが、通話相手から携帯電子機器１への送話は可能であり、送話された音声は、携帯電子機器１のレシーバ６から出力される。このように、本実施形態では、カメラ４Ｃが撮像した被写体の画像に基づき、制御装置１０を構成する通信処理部１４による音声の送出が調整され、ミュート時には、通信処理部１４による音声の送出は実行されない。

このように、本実施形態では、携帯電子機器１の通話中にレシーバ６から音声出力を調整する場合、指等でカメラ４Ｃを覆い、カメラ４Ｃ上でその指等を動かすだけでよい。これによって、操作部３のキー操作やディスプレイ２を確認しながらのキー操作が不要になるので、携帯電子機器１の通話中における音声出力の調整が簡易かつ容易に実現できる。また、通話中にレシーバ６から耳を離さずに音声出力を調整でき、さらに、カメラ４Ｃから指等を離すだけの簡単な操作で通話中における送話のミュートも実現できる。このように、本実施形態によれば、通話中に音声出力を調整する際の利便性を向上させることができる。さらに、携帯電子機器１にカメラ４Ｃが搭載されている場合、これを利用してソフトウェアを変更するのみで本実施形態に係る音声調整方法を実現できるので、新たなスイッチ等を設ける必要はない。これによって、携帯電子機器１の製造コストの上昇を抑制できる。

図１０に示す例は、上述したように、ステップＳ１０９で設定する基準値Ｖｄを、カメラ４Ｃが撮像した画像の画像情報に含まれる連続する単色画像の面積率が７０％程度であるときの音量とする。この場合、携帯電子機器１の使用者の指等がカメラ４Ｃの入光部を覆う面積は、基準値Ｖｄにおける面積に対して増減させることができる。したがって、この場合、主処理部１１は、前記面積が基準値Ｖｄにおける面積よりも減少した場合にはレシーバ６から出力される音声の音量を小さくし、前記面積が基準値Ｖｄにおける面積よりも増加した場合にはレシーバ６から出力される音声の音量を増加させる。

例えば、カメラ４Ｃからの画像に基づき得られる画像情報に含まれる、連続する単色画像の面積率ρが９０％の場合、音量は１．２×Ｖｄに設定し、面積率が１００％（完全に指等でカメラ４Ｃを覆ったとき）の場合、音量は１．５×Ｖｄ（最大音量）に設定する。また、面積率ρが７０％よりも減少すると、音量はそれに応じて減少するように設定される。このように、携帯電子機器１の使用者の指等がカメラ４Ｃを完全に覆わない状態においてカメラ４Ｃが取得した画像の画像情報を用いて音量等の基準値を設定すると、音量等の増加、減少の両方を実現できる。

図１１は、連続する単色画像の変化の方向によって音量を変更する例を説明する図である。図１１に示す例では、携帯電子機器１の使用者の指等がカメラ４Ｃを完全に覆った状態（面積率ρ＝１００％）から、指等をＹ軸のマイナス（−）方向に向かって動かすと、レシーバ６から出力される音声の音量は減少する。また、携帯電子機器１の使用者の指等がカメラ４Ｃを完全に覆った状態（面積率ρ＝１００％）から、指等をＸ軸のマイナス（−）方向に向かって動かすと、レシーバ６から出力される音声の音量は増加する。そして、指等をＸ軸のマイナス（−）方向に向かって動かした結果、カメラ４Ｃが指等に覆われなくなった状態（面積率ρ＝０％）で音量は最大値の２×Ｖｄとなる。

図８に示すように、画像情報２０には、それぞれの画素の座標（Ｐ１（Ｘ１、Ｙ１）、Ｐ２（Ｘ２、Ｙ２）等）も含まれるので、主処理部１１は、連続する単色画像を構成するそれぞれの画素の座標を特定できる。したがって、画像情報２０を構成する画素の色情報及び座標から、連続する単色画像の変化の方向も判別できる。これによって、連続する単色画像の異なる変化の方向を用いて、音量の増加、減少の両方を調整できる。なお、図１１に示す例において、音量を増加させる際には、変化の方向をＸ軸のプラス（＋）方向としてもよい。

図１２は、連続する単色画像の変化の方向によって音量及び音声の速度を変更する例を説明する図である。図１２に示す例では、携帯電子機器１の使用者の指等がカメラ４Ｃを完全に覆った状態（面積率ρ＝１００％）から、指等をＹ軸のマイナス（−）方向に向かって動かすと、レシーバ６から出力される音声の速度はＳｄで一定のまま、音量は減少する。また、携帯電子機器１の使用者の指等がカメラ４Ｃを完全に覆った状態（面積率ρ＝１００％）から、指等をＸ軸のマイナス（−）方向に向かって動かすと、レシーバ６から出力される音声の音量はＶｄで一定のまま速度は減少する。指等をＸ軸のマイナス（−）方向に向かって動かした結果、カメラ４Ｃが指等に覆われなくなった状態（面積率ρ＝０％）で、音声の速度は最小値の０．５×Ｖｄとなる。このように、連続する単色画像の異なる変化の方向を用いて、複数の音声出力（この例では音量及び速度）を調整することができる。

このように、カメラ４Ｃが被写体に覆われる程度及びカメラ４Ｃの入光部を覆う被写体の動作方向に応じて音声出力を調整することによって、音声出力を２方向（例えば、音量であれば増加方向及び減少方向）に調整できる。さらに、カメラ４Ｃが被写体に覆われる程度及びカメラ４Ｃの入光部を覆う被写体の動作方向に応じて音声出力を調整することによって、２種類の音声出力（例えば、音量及び速度）を調整できる。なお、本実施形態では、カメラ４Ｃの入光部と対向する位置の被写体の画像に基づきレシーバ６の音声出力を調整する例を説明したが、カメラ４Ｃの入光部と対向する位置の被写体の画像に基づきスピーカ１７の音声出力を調整してもよい。

以上のように、本発明に係る携帯電子機器及び音声調整方法は、通話中に通話相手の音声の音量や速度等を調整したり、送信側の音量等を調整したりすることに有用である。

１ 携帯電子機器
１Ｃ 筐体
１ＣＡ 第１筐体
１ＣＢ 第２筐体
１ＰＢ 背面
１ＰＣ 操作面
２ ディスプレイ
３ 操作部
３Ａ 操作キー
３Ｂ 方向及び決定キー
４ カメラモジュール
４Ｃ カメラ
５ マイク
６ レシーバ
７ アンテナ
８ ヒンジ機構
８Ａ ヒンジ部
８Ｂ ヒンジ部
９ 明度センサ
１０ 制御装置
１１ 主処理部
１２ 記憶部
１３ 画像処理部
１４ 音声処理部
１５ 通信処理部
２０ 画像情報

Claims (5)

1. 筐体に取り付けられて、入光部が前記筐体の外部に露出している撮像手段と、
   音声を出力する出力手段と、
   前記撮像手段が撮像した、前記撮像手段の入光部と対向する位置の被写体の画像に基づき、前記出力手段の音声出力を調整する制御手段と、
   を備え、
   前記制御手段は、前記撮像手段が撮像した画像中において前記被写体が占める程度、及び前記被写体の移動方向に応じて前記音声出力を調整することを特徴とする携帯電子機器。
2. 前記制御手段は、前記撮像手段が前記被写体の画像を撮像した時間が、予め定めた所定の時間継続した場合に、前記被写体の画像に基づいて、前記出力手段の音声出力を調整する請求項１に記載の携帯電子機器。
3. 前記携帯電子機器は、音声を取得する音声取得手段と、当該音声取得手段が取得した音声を外部の機器に送出する通信手段とを有し、
   前記制御手段は、前記撮像手段が撮像した被写体の画像に基づき、前記通信手段による音声の送出を調整する請求項１又は２に記載の携帯電子機器。
4. 前記制御手段は、前記撮像手段が前記被写体を撮像しない場合には、送話をミュートする請求項３に記載の携帯電子機器。
5. 筐体に取り付けられて、画像を取得する部分が前記筐体の外部に露出している撮像手段と、音声を出力する出力手段とを有する携帯電子機器において前記出力手段の音声出力を調整するにあたり、
   前記撮像手段から前記撮像手段の入光部と対向する位置の被写体の画像を取得する手順と、
   取得された前記画像中において前記被写体が占める程度、及び前記被写体の移動方向に基づき、前記出力手段の音声出力を調整する手順と、
   を含むことを特徴とする音声調整方法。

Images