JP4440079B2

JP4440079B2 - 通信端末

Info

Publication number: JP4440079B2
Application number: JP2004326454A
Authority: JP
Inventors: 誉湯山; 祐一種谷
Original assignee: Kyocera Corp
Current assignee: Kyocera Corp
Priority date: 2004-11-10
Filing date: 2004-11-10
Publication date: 2010-03-24
Anticipated expiration: 2024-11-10
Also published as: JP2006140596A

Description

この発明は、通信端末に関し、特にたとえば、ＴＶ電話機能を有する、通信端末に関する。

従来のこの種の通信端末の一例が、特許文献１に開示されている。この従来技術は、通信状態の悪化によって低速のデータ通信速度しか得られない場合に、画像通信を停止して音声通信のみを行おうとするものである。
特開２００４−１８０１０７号公報［H04N 5/225, H04M 1/02, 1/21］

しかし、従来技術では、話者を撮影するカメラは１つしか設けられていない。このため、３人以上で通話を行う場合に、１つのカメラを複数人の話者で共有する必要があり、快適な通話を妨げる可能性がある。

それゆえに、この発明の主たる目的は、ＴＶ電話機能を利用して３人以上の話者で快適に通話を行うことができる、通信端末を提供することである。

請求項１の発明に従う通信端末は、被写界像を撮影し、それぞれが異なる解像度を有する複数のカメラ、音声が入力され、複数のカメラにそれぞれ対応する複数のマイク、複数のカメラの中から高解像度のカメラにより撮影された被写界像の解像度を、複数のカメラの中から低解像度のカメラの解像度まで落とすことで、複数のカメラの各々によって撮影される各被写界像の解像度のずれを抑制する抑制手段、複数のマイクの各々に入力される音声に基づいて、カメラを選択する選択手段、および選択手段によって選択されたカメラによって撮影された被写界像を相手方に送信する送信手段を備える。

複数のカメラは、被写界像を撮影し、それぞれが異なる解像度を有する。複数のマイクは、音声が入力され、複数のカメラにそれぞれ対応する。抑制手段は、複数のカメラの中から高解像度のカメラにより撮影された被写界像の解像度を、複数のカメラの中から低解像度のカメラの解像度まで落とすことで、複数のカメラの各々によって撮影される各被写界像の解像度のずれを抑制する。選択手段は、複数のマイクの各々に入力される音声に基づいて、カメラを選択する。送信手段は、選択手段によって選択されたカメラによって撮影された被写界像を相手方に送信する。

これによって、複数の話者のうち今回声を発した発話者の映像が、通話相手に送信される。したがって、３人以上の話者で快適に通話を行うことができる。

請求項２の発明に従う通信端末は、請求項１に従属し、筐体の一方主面に設けられる第１のカメラ、および筐体の他方主面に設けられる第２のカメラを含み、複数のマイクは、筐体の一方主面に設けられる第１のマイク、および筐体の他方主面に設けられる第２のマイクを含む。これによって、判別の精度が向上し、容易に対話者を捉えることができる。

請求項３の発明に従う通信端末は、請求項１または２に従属し、通話相手の画像を表示
するべく筐体の一方主面に設けられる第１の表示手段、および通話相手の画像を表示するべく筐体の他方主面に設けられる第２の表示手段をさらに備える。これによって、通信端末の一方主面と異なる方角に位置する話者にも、映像を表示することができる。この結果、携帯端末の利便性が向上する。

請求項４の発明に従う通信端末は、請求項１ないし３に従属し、抑制手段は、複数のカメラの中から高解像度のカメラにより撮影された被写界像の画像データに対して間引き処理を行うことにより、複数のカメラの中から低解像度のカメラの解像度まで落とす。つまり、各被写界像の解像度のずれを抑制するために、間引き処理を利用することができる。
請求項５の発明に従う通信端末は、請求項１ないし４に従属し、複数のカメラは、複数の被写界像を同時に撮影する。これにより、複数の被写界像を同時に表示させることができるようになる。

この発明によれば、複数の話者のうち今回声を発した発話者の映像が、通話相手に送信される。したがって、３人以上の話者で快適に通話を行うことができる。

この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

図１（Ａ）および図１（Ｂ）を参照して、この発明の一実施例である通信端末１０は、上部筐体１２および下部筐体１４を含む。上部筐体１２および下部筐体１４はヒンジ機構１６によって互いに連結され、開閉動作が可能である。なお、図１（Ａ）および図（Ｂ）は開状態を示し、図２（Ａ）および図２（Ｂ）は閉状態を示す。

通信端末１０を開いたときに露出する面つまり内面に注目すると、上部筐体１２にスピーカ２０ａ，サブカメラ２４ａおよびメインＬＣＤ２６ａが設けられ、下部筐体１４にマイク２２ａおよびキー操作部２８が設けられる。通信端末１０の開閉にかかわらず露出する面つまり外面に注目すると、上部筐体１２にマイク２２ｂ，メインカメラ２４ｂおよびサブＬＣＤ２６ｂが設けられ、下部筐体１４にスピーカ２０ｂが設けられる。

通信端末１０の内部構成を図３に示す。操作キー２８によってＴＶ電話のための発呼操作が行われると、ＣＰＵ３２は、信号処理回路４０，無線回路３８およびアンテナ１８を通して発呼信号を相手方の通信端末に送信する。これに対して、相手が着呼操作を行うと、ＴＶ電話可能状態になる。ＴＶ電話可能状態になると、ＣＰＵ３２は、スピーカ２０ｂ，マイク２２ｂ，メインカメラ２４ｂ，サブカメラ２４ａおよびサブＬＣＤ２６ｂを起動させる。なお、相手方の通信端末もＴＶ電話機能を有する。

ＴＶ電話可能状態となった後にマイク２２ａに音声が入力されると、この音声は、マイク２２ａによってアナログ信号である音声信号に変換される。変換された音声信号は、アンプ４６によって増幅され、ＡＤ／ＤＡ変換回路４２によってディジタル信号である音声データに変換される。変換された音声データは、信号処理回路４０によって符号化処理を施され、さらに無線回路３８によって変調処理を施される。無線回路３８によって生成された変調音声データは、アンテナ１８から発信される。また、マイク２２ｂに音声が入力されると、この音声は、マイク２２ｂによってアナログ信号である音声信号に変換される。変換された音声信号は、アンプ４４によって増幅され、ＡＤ／ＤＡ変換回路４２によってディジタル信号である音声データに変換される。変換された音声データは、信号処理回路４０によって符号化処理を施され、さらに無線回路３８によって変調処理を施される。無線回路３８によって生成された変調音声データは、アンテナ１８から発信される。

一方、相手方の通信端末から送られてきた変調音声データは、アンテナ１８によって受信され、無線回路３８によって復調処理を施されるとともに、信号処理４０によって復号処理を施される。信号処理回路４０によって復号された音声データは、ＡＤ／ＤＡ変換回路４２によってアナログ信号である音声信号に変換され、変換された音声信号は、アンプ４６を介して、スピーカ２０ａおよびスピーカ２０ｂから出力される。

ＣＰＵ３２によって起動されたサブカメラ２４ａは、図４（Ａ）に示す被写界像Ｘを撮影する。被写界像Ｘは、カメラ処理回路３４ａによってディジタル信号である動画像データに変換される。変換された動画像データは、ＣＰＵ３２を介してＬＣＤドライバ３６ａおよび無線回路３８に送られる。無線回路３８は、送られてきた動画像データに変調処理を施し、変調動画像データをアンテナ１８を介して相手方の通信端末に送信する。ＬＣＤドライバ３６ａは、送られてきた動画像データをＮＴＳＣ方式に従うコンポジットビデオ信号に変換する。変換されたコンポジット信号はメインＬＣＤ２６ａに与えられ、この結果、被写界のリアルタイム動画像（スルー画像）が子画面に表示される。

また、ＣＰＵ３２によって起動されたメインカメラ２４ｂは、図４（Ｂ）に示す被写界像Ｙを撮影する。被写界像Ｙは、カメラ処理回路３４ｂによってディジタル信号である動画像データに変換される。変換された動画像データは、ＣＰＵ３２を介してＬＣＤドライバ３６ｂおよび無線回路３８にそれぞれ送られる。無線回路３８は、送られてきた動画像データに変調処理を施し、変調動画像データをアンテナ１８を介して相手方の通信端末に送信する。ＬＣＤドライバ３６ｂは、送られてきた動画像データをＮＴＳＣ方式に従うコンポジットビデオ信号に変換する。変換されたコンポジット信号はサブＬＣＤ２６ｂに与えられ、この結果、被写界のリアルタイム動画像（スルー画像）が子画面に表示される。

一方、相手方の通信端末から送られてきた動画像データは、アンテナ１８によって受信され、無線回路３８によって復調処理を施される。復調処理を施された動画像データは、ＬＣＤドライバ３６ａおよびＬＣＤドライバ３６ｂの各々によってＮＴＳＣ方式に従うコンポジットビデオ信号に変換される。ＬＣＤドライバ３６ａによって変換されたコンポジット信号はメインＬＣＤ２６ａに与えられ、この結果、図４（Ａ）に示す被写界像ＺがメインＬＣＤ２６ａの親画面に表示される。また、ＬＣＤドライバ３６ｂによって変換されたコンポジット信号はサブＬＣＤ２６ｂに与えられ、この結果、図４（Ｂ）に示す被写界像ＺがサブＬＣＤ２６ｂの親画面に表示される。

なお、高解像度のメインカメラ２４ｂによって撮像された被写界の動画像データは、カメラ処理回路３４ｂによって間引き処理される。カメラ処理回路３４ｂは、間引き処理によってサブカメラ２４ａの解像度まで落とすことができる。この結果、メインＬＣＤ２６ａに表示される親画面および子画面とサブＬＣＤ２６ｂに表示される親画面と子画面とは、映像を均一に表示することができる。さらに、相手方に送られる映像の各々も、均一に表示することができる。これによって、話者の切り換わりに伴って変わる相手方の通信端末は、相手方に負担をかけない映像を表示することができる。

図６は、話者Ｐ１および話者Ｐ２が通信端末１０を利用して、通信端末を持つ話者Ｐ３とＴＶ電話をしている状態を示している。通信端末１０の外面から話者Ｐ２が通信端末１０に向かって話しかけると、話者Ｐ３の通信端末から出力される映像は、内側のサブカメラ２４ａから外側のメインカメラ２４ｂに切り換わる。また、通信端末１０の内面から話者Ｐ１側が通信端末１０に向かって話しかけると、話者Ｐ３の通信端末から出力される映像は、外側のメインカメラ２４ｂから内側のサブカメラ２４ａに切り換わる。なお、このようなカメラ切り換え動作は、後述するＣＰＵ３２のＴＶ電話タスクで詳しく説明する。

図４（Ａ）は、メインＬＣＤ２６ａに表示される映像を示している。メインＬＣＤ２６ａは、画面全体に表示される親画面と右下手前に表示される子画面とを有する。親画面には、相手方の通信端末によって撮像された被写界像Ｚが表示され、子画面には、サブカメラ２４ａによって撮像された被写界像Ｘが表示される。なお、発話者が話者Ｐ１から話者Ｐ２に切り換わっても、メインＬＣＤ２６ａは、相手方の通信端末のカメラおよびサブカメラ２４ａによって撮影された映像を表示する。つまり、これまで撮像していた映像の対象は、話者の切り換わりによって切り換わることはない。

また、図４（Ｂ）は、サブＬＣＤ２６ｂに表示される映像を示している。サブＬＣＤ２６ｂもまた、画面全体に表示される親画面と右下手前に表示される子画面とを有する。親画面には、相手方の通信端末によって撮像された被写界像Ｚが表示され、子画面には、サブカメラ２４ａによって撮像された被写界像Ｙが表示される。なお、発話者が話者Ｐ２から話者Ｐ１に切り換わっても、サブＬＣＤ２６ｂは、相手方の通信端末のカメラおよびサブカメラ２４ａによって撮影された映像をそれぞれ表示する。つまり、これまで撮像していた映像の対象は、話者の切り換わりによって切り換わることはない。

一方、図５（Ａ）は、発話者が話者Ｐ１のとき、相手方の通信端末の液晶モニタに表示される映像を示している。相手方の通信端末の液晶モニタもまた、画面全体に表示される親画面と右下手前に表示される子画面とを有する。親画面には、携帯端末１０のサブカメラ２４ａによって撮像された被写界像Ｘが表示され、子画面には、相手方の通信端末のカメラによって撮像された被写界像Ｚが表示される。なお、発話者が話者Ｐ１から話者Ｐ２に切り換わった場合、親画面は、図５（Ａ）に示す被写界像Ｘから図５（Ｂ）に示す被写界像Ｙに切り換わる。

また、図５（Ｂ）は、発話者が話者Ｐ２のとき、相手方の通信端末の液晶モニタに表示される映像を示している。親画面には、携帯端末１０のメインカメラ２４ｂによって撮像された被写界像Ｙが表示され、子画面には、相手方の通信端末のカメラによって撮像された被写界像Ｚが表示される。なお、発話者が話者Ｐ２から話者Ｐ１に切り換わった場合、親画面は、図５（Ａ）に示す被写界像Ｘから図５（Ｂ）に示す被写界像Ｙに切り換わる。

このようにして相手方との間でＴＶ電話が行われている最中に、操作キー２８によってＴＶ電話終了操作が行われると、ＣＰＵ３２はＴＶ電話処理を終了する。先に相手方からＴＶ電話終了信号を受信した場合も、ＣＰＵ３２はＴＶ電話処理を終了する。

ＣＰＵ３２は、図７に示すＴＶ電話タスクを実行する。ＣＰＵ３２はμＩＴＲＯＮのようなマルチタスクＯＳの制御の下で、図示しない複数のタスクと並列してＴＶ電話タスクを実行する。なお、このようなタスクに対応する制御プログラムは、フラッシュメモリ３０に記憶される。

図７を参照して、ステップＳ１ではマイク２２ａに取り込まれる音声信号のレベルとマイク２２ｂに取り込まれる音声信号のレベルとを比較する。マイク２２ａの音声信号のレベルがマイク２２ｂの音声信号のレベル以上のき、ステップＳ３に進む。ステップＳ３では、相手方に送る被写界像を撮影するカメラとしてサブカメラ２４ａを選択する。ステップＳ３でサブカメラ２４ａへの切り換えが終了すると、ステップＳ７に進む。一方、マイク２２ｂの音声信号のレベルがマイク２２ａの音声信号のレベルより大きいとき、ステップＳ５に進む。ステップＳ５では、相手方に送る被写界像を撮影するカメラとしてメインカメラ２４ｂを選択する。ステップＳ５でメインカメラ２４ｂへの切り換えが終了すると、ステップＳ７に進む。

ステップＳ７では、ステップＳ３およびステップＳ５で選択されたカメラの映像を相手方にそれぞれ送信する。ステップＳ９では、操作キー２８によって、終了操作が選択されたか否か判断する。終了操作が行わなければ、ステップＳ１に戻る。終了操作が実行されると、ＴＶ電話処理を終了させる。

以上の説明から分かるように、サブカメラ２４ａおよびメインカメラ２４ｂは、話者Ｐ１および話者Ｐ２にそれぞれ割り当てられる。スピーカ２０ａおよびスピーカ２０ｂもまた、話者Ｐ１および話者Ｐ２にそれぞれ割り当てられる。ＣＰＵ３２は、マイク２２ａおよびマイク２２ｂの各々によって捉えられた音声に基づいて、話者Ｐ１および話者Ｐ２の中から発話者を特定する。無線回路３８は、特定された発話者に割り当てられたカメラによって撮影された画像信号を、話者Ｐ３に送信する。

これによって、話者Ｐ１および話者Ｐ２のうち今回声を発した発話者の映像が、話者Ｐ３に送信される。したがって、３人の話者で快適に通話を行うことができる。

なお、この実施例では、相手方の通信端末の液晶モニタが発信者側の画像を切り換えて親画面に表示し、相手方を常に子画面に表示する方法を示しているが、親画面および子画面に発信者側の話者Ｐ１および発信者側の話者Ｐ２をそれぞれ表示する方法に切り換えることも可能である。

また、この実施例では、話者Ｐ１と話者Ｐ２がそれぞれ交互に通信端末１０に話しかけることとしているが、両者が同時に話しかけた場合、ＣＰＵ３２は声量の大きい方を採用する方法を採ることも可能である。また、声量のみならず外音なども判断基準に用いることができる。

さらに、この実施例では、通信端末に構成される複数のカメラは、内面と外面とに位置しているが、内面に複数個もしくは外面に複数個設ける形体を採用してもよい。

また、この実施例では、通信端末にカメラ，スピーカ，ＬＣＤおよびマイクがそれぞれ構成されているが、通信端末に外部接続可能なそれぞれの機能を保持するサブカメラ，スピーカ，サブＬＣＤおよびサブマイクなどを設ける方法を採用してもよい。

さらに、この実施例では、メインＬＣＤ２６ａおよびサブＬＣＤ２６ｂに映像を映し続ける仕組みであるが、キー操作２８によるモード選択によって、内面のみ映像を表示する方法もしくは外面のみ映像を表示する方法を選択することも可能である。

また、この実施例では、ＴＶ電話機能を備える通信端末を想定しているが、通信機能の有するゲーム機，パーソナルコンピュータ，ＰＤＡ（Personal Digital Assistant）などもこの発明の通信端末の概念に含まれると言える。

さらに、この実施例では、それぞれの話者に向けて複数のマイクを設けているが、それぞれの話者が話しやすい通信端末の位置にマイクを設置する方法を採用してもよい。

また、この実施例では、通信端末１０の筐体を上部筐体１２および下部筐体１４と明記しているが、これに限らず、通信端末は１ないし２以上の筐体からなる構造を採用してもよい。

さらに、この実施例では、相手方に送信する映像をスピーカから聞こえる音声信号のレベルが大きい側に切り換える方法を採用しているが、これにかかわらず、相手方に送信する映像を固定する手段も有する。

（Ａ）はこの発明の一実施例の開状態を示す正面図であり、（Ｂ）はこの発明の一実施例の開状態を示す背面図である。（Ａ）はこの発明の一実施例の閉状態を示す斜視図であり、（Ｂ）はこの発明の一実施例の閉状態を示す他の斜視図である。図１実施例の内部構成の一例を示すブロック図である。（Ａ）はこの発明の一実施例の動作の一部を示す図解図であり、（Ｂ）はこの発明の一実施例の動作の他の一部を示す図解図である。図１実施例の使用状態の一例を示す図解図である。（Ａ）はこの発明の一実施例の動作のその他の一部を示す図解図であり、（Ｂ）はこの発明の一実施例の動作のさらにその他の一部を示す図解図である。図１実施例の動作の一部を示すフロー図である。

符号の説明

１０ …通信端末
１８ …アンテナ
２０ａ，２０ｂ …スピーカ
２２ａ，２２ｂ …マイク
２４ａ …サブカメラ
２４ｂ …メインカメラ
２６ａ …メインＬＣＤ
２６ｂ …サブＬＣＤ
３０ …フラッシュメモリ
３２ …ＣＰＵ
３４ａ，３４ｂ …カメラ処理回路
３６ａ，３６ｂ …ＬＣＤドライバ
３８ …無線回路
４０ …信号処理回路

Claims

被写界像を撮影し、それぞれが異なる解像度を有する複数のカメラ、
音声が入力され、前記複数のカメラにそれぞれ対応する複数のマイク、
前記複数のカメラの中から高解像度のカメラにより撮影された被写界像の解像度を、前記複数のカメラの中から低解像度のカメラの解像度まで落とすことで、前記複数のカメラの各々によって撮影される各被写界像の解像度のずれを抑制する抑制手段、
前記複数のマイクの各々に入力される音声に基づいて、カメラを選択する選択手段、および
前記選択手段によって選択されたカメラによって撮影された被写界像を前記相手方に送信する送信手段を備える、通信端末。
筐体をさらに備え、
前記複数のカメラは前記筐体の一方主面に設けられる第１のカメラ、および前記筐体の他方主面に設けられる第２のカメラを含み、
前記複数のマイクは、前記筐体の一方主面に設けられる第１のマイク、および前記筐体の他方主面に設けられる第２のマイクを含む、請求項１記載の通信端末。
前記通話相手の画像を表示するべく前記筐体の一方主面に設けられる第１の表示手段、および
前記通話相手の画像を表示するべく前記筐体の他方主面に設けられる第２の表示手段をさらに備える、請求項１または２記載の通信端末。
前記抑制手段は、前記複数のカメラの中から高解像度のカメラにより撮影された被写界像の画像データに対して間引き処理を行うことにより、前記複数のカメラの中から低解像度のカメラの解像度まで落とす、請求項１ないし３のいずれかに記載の通信端末。
前記複数のカメラは、複数の被写界像を同時に撮影する、請求項１ないし４のいずれかに記載の通信端末。