JP4296976B2 - 通信端末装置 - Google Patents

Description

本発明は、通信端末装置に関し、とくに、通信相手先からの着信においてライブ画像、キャラクタ画像および静止画像のいずれか一つを通信相手に対応して送信するテレビ電話機および携帯端末装置等に関するものである。

顔画像を基にキャラクタ画像を生成して、生成した画像を通信するシステムが提案されている。さらにこの提案について説明すると、このシステムは、第１に、顔画像から顔の動きや表情を表すFAP（Facial Animation Parameter）を抽出する。第２に、抽出したFAPは利用者が選択したキャラクタモデルに適用して、キャラクタモデルに様々な表情を持たせる。さらに、表情を有するキャラクタモデルにはコンピュータグラフィック処理が施される。コンピュータグラフィック処理は、現実に相対して会話するような臨場感を提供するため、たとえば３次元表示のキャラクタ画像を生成する。

このようにして生成した画像は、システムからネットワークを介して通信相手に供給され、通信相手も同様に選択したキャラクタ画像を相手先に送信して通信することにより、互いのコミュニケーション力を向上させることができる。これらのシステムは、非特許文献１の総説において詳細に記載されている。

このようなシステムを使うと、コミュニケーション力を向上させるだけでなく、利用者は、相手に対する秘匿情報を保護しながら通信することも可能になる。このような秘匿情報としては、利用者のプライバシーに関する情報であり、とくに、通信する利用者の居場所および顔画像の通信における化粧の有無等が挙げられる。

また、上述したように、このシステムは、様々なキャラクタを通信に利用することから、高いエンターテイメント性も有している。このシステムにおける端末装置が顔を撮影して、得られた顔画像に対応した表情をキャラクタに持たせ、コンピュータグラフィック処理して、キャラクタ画像を合成し、送信する。このとき、相手の端末装置は、少なくとも、この画像を受信して、表示する機能だけ有していれば、通信システムを選ぶことなく、手軽に通信することができる。このように送信側で画像生成を完了させて通信する機能を有する端末装置を用いる利用者は、上述したプライバシー保護等のメリットを甘受することができる。このようなシステムによる通信画像をコンピュータグラフィックス画像と呼ぶ。これに対して、カメラで撮影した顔画像はライブ画像という。

このシステムにおいてコンピュータグラフィックス画像通信を行うか否かは、通信相手からの画像がコンピュータグラフィックス画像またはライブ画像とは関係なく、決めることができる。すなわち、このシステムの通信端末装置は、一般のテレビ電話として掛かってきた電話に対してコンピュータグラフィックス画像通信を行うことも、コンピュータグラフィックス画像通信で掛かってきた電話を一般のテレビ電話機として受けることも可能である。

一方、一般のテレビ電話機には、テレビ電話で受けたくない場合、特定のボタンを操作することにより、あらかじめ設定した静止画を代替画像として送信し、音声だけの通話機能もある。

エリック ペタジャン（Eric Petajen）, "Very Low Bitrate Face Animation Coding in MPEG（Moving Picture Experts Group）-4", face2face Animation, Inc., 2000, pp. 1-33.

たとえば、コンピュータグラフィックス画像通信が可能な携帯型テレビ電話機を用いて、相手からの通信を受信する場合、利用者は、コンピュータグラフィックス画像通信と一般のテレビ電話のいずれとして使うかを最初に選択する。一般のテレビ電話として使う場合、利用者は、ライブ画像および音声だけのいずれか一方を選択する。また、コンピュータグラフィックス画像通信を行う場合、利用するキャラクタを選択する。ここで、このキャラクタの選択に際して利用者がどれを選択するかによって時間を要してしまうと、着信し、通信開始まで相手を待たせてしまうことになる。

ところで、コンピュータグラフィックス画像通信のキャラクタでの応対は、相手の地位等を鑑みた場合に失礼になってしまうことがある。また、相手に何も画像を送らないと、この応対は、電話機の故障と勘違いされる虞とともに、マナー的に失礼になる場合がある。ライブ画像の送信は、顔画像だけでなく、周囲の画像も送られてしまい兼ねない。プライバシーを保護したい場所等でのライブ画像の送信は、周囲の人に迷惑をかけたり自分の顔が送られたりして、プライバシーを守ることができない。

しかしながら、携帯電話機は、時刻や場所を選ばずに一方的に掛かってくる。携帯電話機の利用において、常に、かつ即座に上述した観点に対して適切な判断を下すことは非常に困難であり、問題であった。また、この問題は、掛けてきた相手に送る画像に関することである。したがって、電話の着信者は、掛けてきた送信者、時刻、場所および状況等に応じて適切に判断することが要求され、この判断を誤ると、通信相手や周囲の人に迷惑をかけることになってしまうことから重大な問題であった。

さらに、上述した判断材料は、実際に電話が掛かってきたときに、はじめて決まるものであって、事前に予測し得ないものである。受信者は、電話を受ける度に適切な判断を要求される問題である。

本発明はこのような従来技術の欠点を解消し、常に適切な通信接続結果をもたらす送信画像の選択を可能にする通信端末装置を提供することを目的とする。

本発明は上述の課題を解決するために、情報を外部から取り込み、通信相手からの情報を出力する入出力手段、この情報のうち、画像情報を解析し、この画像情報に含まれる顔の表情を表すパラメータを抽出する解析手段、画像生成にて使用する基本的な画像形状のモデルデータを格納するモデル記憶手段、パラメータおよび使用するモデルデータを基にキャラクタ画像データおよび静止画像データを生成する画像生成手段、通信相手に供給する送信画像データと表示に用いる表示画像データとを、それぞれ選択する選択手段、送信画像データと通信相手からの着信画像データの送受信を制御する通信制御手段、および少なくとも、画像生成手段および選択手段を制御する端末制御手段を具備し、入出力手段は、被写界からの入射光を電気信号に変換する撮像手段と、表示画像データを表示する表示手段と、利用者の操作を入力する操作手段とを含み、この操作手段は、さらに、撮像手段からの画像データ、キャラクタ画像データおよび静止画像データのいずれか一つを送信させるモードを選択し、この選択信号を端末制御手段に出力するモード選択手段を含み、選択手段は、画像生成手段からの出力と撮像手段からの出力を選択し、端末制御手段は、選択信号に応じて送信画像データおよび表示画像データの出力を切替制御することを特徴とする。

本発明の通信端末装置は、画像生成手段におけるキャラクタ画像データおよび静止画像データの生成を兼用し、かつキャラクタ画像データおよび静止画像データのいずれか一方だけを選択的に生成することで集約した出力を選択手段に供給し、また、撮像手段からの画像データを選択手段に供給して、モード選択手段の選択に応じて端末制御手段により画像生成手段および選択手段を同時制御することで、３種類の画像データの選択において生じていた２段階の決定を一つに集約して、送信画像における選択操作を単純化することができる。

次に添付図面を参照して本発明による通信端末装置の実施例を詳細に説明する。

本実施例は、本発明の通信端末装置をテレビ電話機10に適用した場合である。本発明と直接関係のない部分について図示および説明を省略する。以下の説明で、信号はその現れる接続線の参照番号で指示する。

テレビ電話機10は、図１に示すように、入出力部12、解析部14、モデル記憶部16、画像生成部18、画像選択部20、端末制御部22、アドレス帳管理部24、モードメニュー設定部26、圧伸部28および通信制御部30を含む。

入出力部12は、操作部32、撮像部34およびモニタ36を含む。とくに、操作部32はモード選択部38を備えている。操作部32は、利用者の操作に応じた指示を端末制御部22に供給する機能を有している。モード選択部38は、利用者が選択した送信画像モードを選択信号40として端末制御部22に出力する機能を備えている。撮像部34は、被写界からの入射光を光量の強さに応じて電気信号に変換し、撮像信号にして、さらにこの撮像信号をディジタル化して、画像データ42を出力する機能を有している。画像データ42は、前述したライブ画像であり、解析部14および画像選択部20にそれぞれ供給される。

モニタ36は、画像選択部20から供給される画像データ44を表示する機能を有する。モニタ36には、たとえば液晶表示器が用いられる。

解析部14は、撮像部34が入力した顔画像の画像データ42に基づいて解析し、FAP 46を抽出する機能を有する。解析部14は、抽出したFAP 46を画像生成部18に出力する。モデル記憶部16は、キャラクタ画像の生成においてキャラクタの基本形状であるモデルデータを記憶するメモリである。モデル記憶部16は、図示しない端末制御部22からの読出し制御に応じて利用者が所望するモデルデータ48を画像生成部18に出力する。

なお、テレビ電話機10は、FAP 46をそのまま使わず、たとえば口の動きを表すFAPだけを使ってコンピュータグラフィックス画像を生成してもよいし、FAPの値に演算を加え、加工したFAPを適用してコンピュータグラフィックス画像を生成するようにしてもよい。これにより、とくに、表情を通常の表情に比べて強調させて表示させ、通信相手の感情を動かすように作用させることもできる。

画像生成部18は、それぞれ供給されるFAP 46およびモデルデータ48に基づいて表情を持つ、たとえば３次元表示のキャラクタ画像を生成し、かつ条件によって静止画像も生成する機能を有する。画像生成部18は、生成したキャラクタ画像および静止画像データのいずれかによる画像データ50を画像選択部20に出力する。画像生成部18は、逐次画像を生成すると、キャラクタ画像が表情を持って動くアニメーションとして通信相手のモニタに表示される。

また、画像生成部18は、図示しないが、FAP 120の情報だけに限定されるものでなく、たとえば、利用者からのキー入力に応じて特定の動作をさせるようにコンピュータグラフィックス画像を生成させるようにしてもよい。

画像選択部20は、送信切替部52および受信切替部54を含む。送信切替部52は、端末制御部22の制御信号56に応じて画像データ（ライブ画像）42と画像データ（キャラクタ画像）50のいずれかを選択して出力する機能を有する。送信切替部52は、選択した画像データ58を圧伸部28に出力する。また、受信切替部54は、端末制御部22の制御信号56に応じて端末制御部22から供給される操作メニュー画面の画像データ60および通信相手から供給される画像データ62のいずれかを選択して出力する機能を有している。受信切替部54は、選択した画像データ44をモニタ36に出力する。

端末制御部22は、テレビ電話機10を端末として全体のデータの流れを制御するように画像生成部18、送信切替部52および受信切替部54の動作を制御する。送信切替部52は、ライブ画像42と画像データ50の一方の選択および生成される画像データ50の選択制御が端末制御部22により行われる。また、受信切替部54への操作メニュー画面の画像データ60と通信相手からの画像データ62の一方を選択制御して出力させる機能も有する。また、端末制御部22は、通信制御部30を介して通信相手のテレビ電話機から供給されるデータ64に応じて動作を中継する機能も備えている。端末制御部22は、アドレス帳管理部24およびモードメニュー設定部26の動作も制御している。

アドレス帳管理部24は、電話番号と名前とに基づくアドレスデータを複数管理する機能を有する。アドレス帳管理部24は、たとえば図２に示すような内容のアドレスデータ66を記憶し、管理している。アドレス帳管理部24は、端末制御部22の制御によりアドレスデータ66の書込み/読出しが行われる。

モードメニュー設定部26は、モニタ36に表示する操作モードのメニューを設定する機能を有する。この設定は、利用者によって独自に行う機能も有している。モードメニュー設定部26は、メニューの設定/設定した操作メニュー画像の読出し68を端末制御部22の制御により行う。前述したモード選択部38は、表示される操作モードのメニュー画面から所望の送信画像のモードを選択する。モードメニュー設定部26には、図３に示すような項目（送信画像のモード）がメニューとして設定されている。

圧伸部28は、符号化部70および復号部72を含む。符号化部70は、送信する画像データ58を符号化して、圧縮することにより効率的な伝送を行う機能を有する。符号化部70は、符号化した画像データ74を通信制御部30に出力する。また、復号部72は、通信制御部30を介して供給される符号化された画像データ76を復号し、元の画像データ62を復元し、出力する機能を備えている。

通信制御部30は、テレビ電話として受信するデータ64および画像データ76ならびに送信する画像データ76の通信を制御する機能を有する。通信制御部30は、このように図示しない、通信相手のテレビ電話機とのデータ78を送受信するとともに、掛けてきた通信相手の電話番号を通知する機能も有している。

次にテレビ電話機10の着信処理について図４および図５を参照しながら、説明する。テレビ電話機10は、通信制御部30からデータ64を介して端末制御部22に相手の電話番号を受信する（ステップS10）。この電話番号通知は、非通知のこともある。図示しないが、非通知の場合、テレビ電話機10には、あらかじめ、どのような送信画像のモードを送信するかを決めておくとよい。ここでは、電話番号が通知されたとして以降の手順を説明する。

端末制御部22は、通知された電話番号とアドレス帳管理部24に記憶されている電話番号とを比較し、通知された電話番号に一致する電話番号があった場合、通知された電話番号を名前に変換する（ステップS12）。また、アドレス帳管理部24に通知された電話番号がなかった場合、単に電話番号だけを表示する。

名前に変換後、端末制御部22は、着信の表示を制御してモニタ36にメニュー画面80を表示させる（ステップS14）。さらに説明すると、端末制御部22は、モードメニュー設定部26にアクセスして、設定されているメニューの所定の位置に名前を割り付けた画像データ60を生成する。端末制御部22は、生成した画像データ60を受信切替部54に供給し、制御信号56により受信切替部54が画像データ60を選択するように制御する。この制御により、モニタ36には、図６に示すように、テレビ電話が着信中で、通信相手が遠藤豆太郎であることが表示される。また、メニュー画面80には、選択ボタン82が表示されている。画面80の選択ボタン82には“送信画像モード選択”と表示されている。

“送信画像モード選択”の選択は、操作部32のモード選択部38に対する操作の有無に応じて次の動作に進むか否かを判断する（ステップS16）。すなわち、モード選択の入力があった場合（YES）、次のメニュー表示に進む（ステップS18へ）。またモード選択の入力がなかった場合（NO）、入力されるまでこの判断を繰り返して、待機状態とする。

“送信画像モード選択”が入力されると、次のメニュー画面84を表示する（ステップS18）。端末制御部22は、モードメニュー選択部26にアクセスして、設定されている次のメニューを読み出して、モニタ36にメニュー画面84を表示する。メニュー画面84は、たとえば図７に示すように、６つの送信画像モードが表示され、この送信画像のモードを上下に移動するカーソル86で選択可能状態にあることを表示する。また、メニュー画面84には、この選択可能状態にあるモードの選択を決定する決定キー88とこの選択の取り消しを示す取り消しキー90が表示されている。カーソル86、キー88および90は、テレビ電話機10の十字キーやこのキーに類するキーと連動させることで選択可能状態にして、選ぶことができる。このような選択を支援する処理を駆使して、迅速なモード選択を促している。端末制御部22は、利用者が決定キー88を操作して指示するまで支援処理を続ける（ステップS20）。

選択が終了したか否か判断する（ステップS22）。まだ選択が終了していない場合（NO）、選択支援処理を続ける（ステップS20へ）。また、選択が終了した場合（YES）、接続子Aを介して図５の判断処理に進む（ステップS24へ）。

選択したモードがキャラクタ名でないか否かを判断する（ステップS24）。モードがキャラクタ名の場合（NO）、端末制御部22は、該当のキャラクタを指示する制御を行う（ステップS26）。すなわち、端末制御部22は、モデル記憶部16から該当キャラクタのモデルデータ48を読み出すように制御して、画像生成部18に供給する。次に画像生成部18は、解析部14からのFAP 46と選択したモデルデータ48とを用いてキャラクタ画像を画像データ50として生成し、送信切替部52に出力し、画像選択処理に進む（ステップS30へ）。

また、選択したモードがキャラクタ名でない場合（YES）、さらに次の判断処理に進む（ステップS32へ）。この判断処理は、選択したモードがライブか否かを判断する（ステップS32）。ライブモードを選択しなかった場合（NO）、“音声のみ”のモードを選択したことになる。端末制御部22は、この選択を受けて、画像生成部18に静止画を生成するように制御する（ステップS34）。画像生成部18は、静止画を生成する（ステップS36）。画像生成部18は、生成した静止画を画像データ50として送信切替部52に出力し、画像選択処理に進む（ステップS30へ）。ここでの画像選択処理（ステップS30）は、送信切替部52で画像生成部18からの画像データ50を選択し、出力する。

また、選択したモードがライブモードの場合（YES）、直ちにライブ画像を選択する（ステップS38）。端末制御部22は、送信切替部52でライブ画像の画像データ42を選択するように制御する。

これらの処理の後に通話を開始する（ステップS40）。この通話開始にともない、端末制御部22は、通信相手からの画像をモニタ36に表示させるように受信切替部54を制御する（ステップS42）。すなわち、受信切替部54は、復号部72から供給される画像データ62を出力するように切り替えられる。この切替え指示の後に、この一連の処理を終了する。

このように動作することにより、送信画像のモードを“ライブ”および“音声のみ”を選択した場合、コンピュータグラフィックス画像通信を利用せず、一般のテレビ電話として使う場合と見かけ上同じにできるから、扱いを統合することができ、操作をわかり易くすることができる。また、メニューに表示する順序や表示有無をモードメニュー設定部26で設定することにより、自分の好みに設定を合わせることができる。

次に本発明の通信端末装置を適用したテレビ電話機10における他の実施例を説明する。以後、共通する構成要素に対して同じ参照番号を付し、説明の煩雑さを避けるために説明を省略する。本実施例において、図８に示すように、先の実施例で説明した構成に対して操作部32に複数のモードボタンおよびボタン設定部92を設けている。

操作部32は、ｎ個のモードボタン38a〜38nを設けている。より具体的に説明すると、操作部32は、モード選択部38a〜38nの内、たとえば数字の“1”に“ピンクのゾウ”、数字の“3”に“音声のみ”等を割り付ける設定をする。この配設に応じて、操作部32は、端末制御部22に選択信号40a〜40nを供給している。

ボタン設定部92は、モードボタン38a〜38nそれぞれのボタンと選択される送信画像モードとの対応関係を記憶するメモリである。

端末制御部22には、複数のボタン設定に対応した指示を受けて制御するとともに、各指示に対応するボタン設定を参照する機能が追加されている。

次に本実施例におけるテレビ電話機10の着信処理の手順を説明する。テレビ電話機10は、図９に示すように、通知電話番号の受信（ステップS10）〜着信の表示（ステップS14）まで先の実施例と同じ手順である。着信表示後、利用者は、テレビ電話機10の操作部32にあらかじめ割り付けているいずれかのモードボタンが押圧操作されたか否かを判断する（ステップS44）。押圧操作、すなわち入力がなければ（NO）、入力待ちを続ける（ステップS44へ）。また、入力があれば（YES）、次の判断処理に進む（ステップS46へ）。

次の判断処理は、操作されたボタン番号が“1”であるか否かを判断する（ステップS46）。ボタン番号“1”の場合（YES）、設定の取得に進む（ステップS48へ）。また、ボタン番号“1”でない場合（NO）、本実施例では、ボタン番号“1”と“3”の２つだけに設定が割り付けられているから、ボタン番号“3”と判断して、設定の取得に進む（ステップS50へ）。

設定の取得において端末制御部22は、それぞれ、ボタン番号“1”と“3”に対応して該当するモード設定情報94をボタン設定部92から取得する（ステップS48, S50）。これ以降、接続子Aを介して図５に示した動作手順を実行する。

このように動作させることにより、ワンタッチで、電話に出る操作とコンピュータグラフィックス画像通信に用いるキャラクタの選択ができることから、操作量が少なく、操作をより一層簡便にすることができる。また、利用者がどのボタンでどの送信画像モードになるのかを覚えておけば、素早く対応できる。

さらに本発明の通信端末装置を適用したテレビ電話機10における他の実施例を説明する。本実施例は、最初の実施例の構成に前回モードボタン96および通話履歴管理部98を設けている。

前回モードボタン96は、操作部32に新たな指定ボタンを専用ボタンとして設けて、前回の通話で使用した送信画像モードの選択を伝える機能を有する。前回モードボタン96は、この選択信号100を伝えるように端末制御部22に接続されている。

通話履歴管理部98は、これまでに着信した通話に関して通話した相手の電話番号および使用した送信画像モードとともに、日時等の情報を記録し、管理する機能を有している。具体的には、図11に示すようなデータ構造に基づいて記録管理されている。通話履歴管理部98は、供給される通話した相手の電話番号を比較基準に用い、記録されている電話番号を検索し、かつ現在の日時に最も近い履歴を選び、前回の通話と判断し、その際に用いていた送信画像モードの設定データ102を端末制御部22に読み出す。端末制御部22には、最初の実施例で説明した機能に、さらに、通話履歴管理部98へのデータ書込み/読出しを制御する機能が追加されている。

次に本実施例におけるテレビ電話機10の着信処理の手順を説明する。テレビ電話機10は、図12に示すように、通知された電話番号を受信する（ステップS10）。次にこの受信して通知された電話番号を基に前回の使用モードを検索する（ステップS52）。端末制御部22は、受信した通知電話番号102を通話履歴管理部98に供給する。通話履歴管理部98は、端末制御部22の制御を受けて、実際に管理する通知電話番号の内、前回に該当する履歴を基に使用された送信画像モードを求める。通信履歴管理部98は、得られた前回の送信画像モードを端末制御部22に読み出して、出力する。該当する電話番号がない場合、対応する送信画像モードがないことを端末制御部22に通知する。

次に名前への変換を行う（ステップS12）。この後、着信の表示を行う（ステップS14）。ここで、端末制御部98は、通知された通信履歴情報である送信画像モードをモードメニュー設定部26からのメニュー画面に挿入して、たとえば図13に示すメニュー画面104の画像データ60を生成する。生成した画像データ60が受信切替部54に供給される。受信切替部54は、画像データ60を選択し、モニタ36に出力する。モニタ36には、送信者が遠藤豆太郎、前回の使用モードが“ピンクのゾウ”であることが表示される。また、メニュー画面104には、“送信画像選択モード”と“前回と同じ”モードで通話するか選択できるように操作キー106および108が表示されている。

次に利用者がテレビ電話機10の操作部32におけるボタンを押圧操作したか否かを判断する（ステップS44）。押圧操作、すなわち入力がなければ（NO）、入力待ちを続ける（ステップS44へ）。また、何等かの入力があれば（YES）、次の判断処理に進む（ステップS54へ）。

次の判断処理は、押圧操作されたボタンが前回モードボタン96であるか否かを判断する（ステップS54）。前回モードボタン96が押圧操作されたと判断した場合（YES）、操作部32は、選択信号100を端末制御部22に出力する。端末制御部22は、これを受けて、通信履歴情報として読み出した前回の使用モードを選択して、設定する。また、前回モードボタン96以外のボタンが押圧操作されたと判断した場合（NO）、端末制御部22は、モードメニュー設定部26を制御してモード選択メニューを表示させる（ステップS18）。端末制御部22は、このメニュー表示に応じて選択の支援処理を行う（ステップS20）。選択の支援処理に応じてモードの選択が終了したか否かを判断する（ステップS22）。選択が未終了の場合（NO）、選択の支援処理に戻る。また、選択が終了の場合（YES）、選択された送信画像モードの記録処理に進む（ステップS58へ）。

記録処理で端末制御部22は、前回モードの選択やメニュー表示によるモード選択に拘わらず、通話履歴管理部98を書込み制御して、通話履歴情報102を通話履歴管理部98に記録させる。これにより、図11に示したように、日時、着信した電話番号および選択した送信画像モードが記録される。これ以降、接続子Aを介して図５に示した動作手順を実行する。

なお、本実施例では、前回掛かってきたときに使用していたキャラクタを設定するように説明したが、前回に自分から掛けたときに使用したキャラクタをあらかじめ設定するようにしてもよい。また、相手に掛けたときと相手から掛かってきたときとを合わせて、一番最近に使ったキャラクタを設定するようにしてもよい。

このように動作させることにより、操作量が少ない、ワンタッチ操作で、電話に出る操作とコンピュータグラフィックス画像通信で使うキャラクタの選択を容易にするとともに、すでに操作したことのある送信画像モードが表示されることから、利用者の使用を援助し、前回のモードを踏襲することにより、一つのボタン押圧操作だけでマナー違反の可能性や失礼のない対応が簡単に、かつ正確に行うことができる。また、通話履歴を通信相手毎に送信画像モードを記憶しているので、一つのボタンで複数の送信画像モードを扱うことができる。

また、表示された送信画像モード以外の利用には、図４に示した手順で送信画像モードを選択することができる。

最後に本発明の通信端末装置を適用したテレビ電話機10における他の実施例を説明する。本実施例は、最初の実施例の構成に自動指定ボタン110、明るさ検出部112、自動指定設定部114、時計116および位置情報取得部118が追加されている。

自動指定ボタン110は、テレビ電話機10の操作部32内に配設されている。自動指定ボタン110は、押圧操作されると、自動指定した送信画像モードで通話する選択信号120を端末制御部22に出力する機能を有する。

明るさ検出部112は、撮像部34から得られた画像データ42に基づきテレビ電話機10の周囲の明るさを数値化する機能を有する。

自動指定設定部114は、条件設定を格納し、かつ各設定に対する送信画像モードを対応付けて指定して格納し、利用者の指示に応じて指定された送信画像モードを自動的に出力する機能を有する。自動指定設定部114は、複数の指定設定を格納している。自動指定設定部114には、格納されている複数の制定設定の内、あらかじめ一つの送信画像モードが設定されている。自動指定設定部114は、端末制御部22の制御に応じて上述した条件122が満足した場合に指定されている送信画像のモードの情報122を端末制御部22に出力する。

自動指定設定部114に格納する複数の情報内容を図15に示す。自動指定設定部114は、番号、電話番号、時刻、場所、明るさおよび送信画像モードを情報として有する。これらの情報に内、時刻および明るさは、それぞれ２つの値で範囲を指定する。場所は、中心となる緯度および経度の値、ならびに経度および緯度のそれぞれが有する誤差範囲を正負符号付の数字で表している。

時計116は、現在時刻を提供する機能を有する。また、位置情報取得部118は、GPS（Global Positioning System：全地球測位システム）等で使用されている複数の人工衛星から提供される情報を基に現在位置の緯度および経度を計算して、取得する機能を有する。

端末制御部22は、最初の実施例の機能に、さらに、明るさ検出部112、時計116および位置情報取得部118から値を取得する機能および自動指定設定部114を制御する機能、ならびに自動指定設定部114の内容に基づいて送信画像モードを決定する機能を有している。

なお、本実施例には図示していないが、入出力部12は、会話や周囲音を集音し、電気信号に変換するマイクロフォンも備えている。マイクロフォンで得られる周囲の雑音等も条件として適用するようにしてもよい。

このようにテレビ電話が掛かってきたときの状況として、掛けてきた送信元の相手、時刻、場所およびカメラが捕らえた明るさ等の条件から使用する送信画像モードを決定するようにあらかじめ条件の集まりとして規定されるルールを作成しておく。テレビ電話機10は、作成しておいたルールに従って毎回最適な送信画像モードを選択できるようになる。

次に本実施例におけるテレビ電話機10の着信処理の手順を説明する。テレビ電話機10は、図16に示すように、通知電話番号の受信（ステップS10）および名前への変換（ステップS12）の後、各条件の取得に進む（ステップS60）。

各条件とは、明るさ、現在時刻、現在位置および通知電話番号である。明るさは明るさ検出部112、現在時刻は時計116および現在位置は位置情報取得部118からそれぞれ、データ124, 126および128として端末制御部22に供給されている。端末制御部22は、取得したデータ124, 126および128を条件122として自動指定設定部114に送る。通知電話番号は、すでに通知されている。このようにして各条件を取得する（ステップS62）。

図17に示すように、取得した条件には、通信相手から通知された電話番号、時刻、緯度および経度で示す場所、ならびに明るさがあり、これらがパラメータとして提供される。端末制御部22は、図15に示した自動指定設定部114の内容を管理番号順に参照して、最初に上述した条件を満たすルールを探す。このルールにより指定される条件に一致している送信画像モードを自動指定して、使用するモードとして取得する。

さらに具体的に説明すると、自動指定設定部114は、図15に示したパラメータと送信画像モードとを対応させているとき、図17の取得条件に合う送信画像モードを検索する。ここで、取得した条件に最も合うパラメータを調べると、管理番号３番が電話番号および時刻という２つのルールを満たしていることがわかる。したがって、本実施例において、この条件で自動指定する送信画像モードは、“イワトビペンギン”が指定される。

端末制御部22は、自動指定に応じて提供される送信画像モード122である“イワトビペンギン”をモードメニュー設定部26からのメニュー画面68に挿入して、たとえば図18に示すメニュー画面130の画像データ60を生成する。生成した画像データ60が受信切替部54に供給される。受信切替部54は、画像データ60を選択し、モニタ36に出力する。モニタ36には、送信者が遠藤豆太郎、自動指定モードが“イワトビペンギン”であることが表示される。また、メニュー画面130には、“送信画像選択モード”と“指定モードを使う”という２つの操作キー132および134が選択できるように表示されている。

次に利用者がテレビ電話機10の操作部32におけるボタンを押圧操作したか否か判断する（ステップS44）。押圧操作による入力がなければ（NO）、入力待ちを続ける（ステップS44へ）。また、何等かの入力があれば（YES）、次の判断処理に進む（ステップS64へ）。

次の判断処理は、押圧操作されたボタンが自動指定ボタン110であるか否かを判断する（ステップS64）。自動指定ボタン110が押圧操作されたと判断した場合（YES）、操作部32は、選択信号120を端末制御部22に出力する。端末制御部22は、これを受けて、自動指定設定部114にて設定されている送信画像モード122を読み込み、接続子Aを介して図５に示した手順に進む。また、自動指定設定ボタン110以外のボタン、とくにモード選択部38のボタンが押圧操作されたと判断した場合（NO）、端末制御部22は、モードメニュー設定部26を制御してモード選択メニューを表示させる（ステップS18）。端末制御部22は、このメニュー表示に応じて選択の支援処理を行う（ステップS20）。選択の支援処理に応じてモードの選択が終了したか否かを判断する（ステップS22）。選択が未終了の場合（NO）、選択の支援処理に戻る。また、選択が終了の場合（YES）、接続子Aを介して図５に示した手順に進む。本実施例における着信処理は、送信画像モードが何であるかに応じて動作するように実行する。

このように動作することにより、操作量の少ないワンタッチ操作で、電話に出る操作とコンピュータグラフィックス画像通信で使うキャラクタを簡便に選択ができ、得られた送信画像モードがメニュー画面130に表示されることから、わかり易く、表示された送信画像モード以外の利用においては、モード選択部38を操作することによって送信画像モード選択132を選択することができる。

また、自動指定設定部114にてルールを記述し、このルールに対応した送信画像モードを出力することにより、テレビ電話器10の置かれた状況に合わせて、着信毎に的確な送信画像モードを自動的に指定することが可能になる。この選択により、一つのボタンで複数の送信画像モードを扱うことができるようになる。

なお、前述した実施例は、音声について何等記載していないが、図示しないマイクロフォンで集音した周囲の騒音量を条件に用いてもよい。この他、条件は、これらに限定されるものでなく、携帯電話の電波状況等を利用してもよい。

本発明を適用したテレビ電話機10は、前述した実施例だけに限定されるものでなく、各実施例を組み合わせて構成してもよい。

以上のように構成することにより、画像生成部18におけるキャラクタ画像データおよび静止画像データの生成を兼用し、かつキャラクタ画像データおよび静止画像データのいずれか一方だけを選択的に生成することで集約した画像データ50を画像選択部20の送信切替部52に供給し、また、撮像部34からの画像データを送信切替部52に供給して、モード選択部38の選択信号40に応じて端末制御部22により画像生成部18および画像選択部20の送信切替部52を同時制御することで３種類の画像データの選択において生じていた２段階の決定を一つに集約して、送信画像における選択操作を単純化することができる。この選択操作により、使い勝手がよく、マナーおよびプライバシーの保護の判断も容易にすることができる。

テレビ電話機10は、モードメニュー設定部26から画像データ68をモニタ36に送って、送信させるモードの種類を表示させ、モードの選択を支援するメニュー画面に基づいてモード選択することにより、より一層、操作性を向上させることができる。

アドレス帳管理部24は、通信相手の電話番号と名前を対応付けて記憶し、端末制御部22の制御によりこの電話番号に該当する電話番号を検索し、端末制御部22は、該当する検索結果に基づいてこの通信相手の名前を得て、モニタ36に表示させることにより、どの送信画像のモードが送信可能か知ることができ、迅速な着信処理により通信を開始することができる。

操作部32は、モードボタン38a〜38nに操作の選択とともに、送信画像のモードを割り付けて、ボタン設定部92にてモードボタン38a〜38nのそれぞれに対して格納した送信画像のモードを着信処理におけるモードボタン38a〜38nの操作に応じて対応するモードを読み出すことで、送信画像のモード決定操作とテレビ電話に出る操作を兼ねて、操作の簡便化を図ることができる。このボタンとモードとの対応を覚えていると、より素早い対応が可能になる。

テレビ電話器10は、通話履歴管理部98にて通話毎の日時、電話番号および使用した送信画像のモードを履歴情報として記録しておき、端末制御部22は、通信相手からの着信で得られる通信相手の電話番号を基に通信履歴管理部98が管理する履歴情報から前回の通話を求め、該当する通話における送信画像のモードを読み出して、モニタ36に表示させることにより、可能性の高い情報として前回の送信画像のモードを参照することができ、利用者の的確な判断を促すことができる。

操作部32は、前回選択した送信画像のモードの選択を指示する前回モードボタン96を含むことにより、表示された前回選択操作とテレビ電話に出る操作を兼ねて、ワンタッチで行うことができる。

テレビ電話器10は、通信相手の電話番号とともに、この通信が着信した時点の条件を各種の検出器等で取得し、自動指定設定部114で着信時の条件に対して設定する条件の集まりがルールとして管理され、かつこの設定したルールの条件を満足する送信画像のモードを指定して、着信毎に送信画像のモードを自動出力することにより、あらかじめ通信相手を想定して条件を基にルールを設定していることから、あれこれと複雑な条件を考慮することなく、マナー違反やプライバシーを保護して着信対応を的確に行うことができる。

条件取得手段としては、明るさ検出部112、時計116および位置情報取得部118の少なくとも一つを含むことが好ましい。

端末制御部22は、取得した条件とルールとを比較判断させ、この条件の最も合ったルールに対応する送信画像のモードを読み出して、モニタ36に表示させることにより、想定したルールの中で、現状に好ましい送信画像のモードを確認しながら、自動指定することができる。

操作部32は、取得した条件と設定されているルールとを比較して、満足するルールに対応して指示されている送信画像のモードを選択する自動指定ボタン110を含むことにより、表示された自動指定の選択操作とテレビ電話に出る操作を兼ねて、ワンタッチで行うことができる。

本発明の通信端末装置を適用したテレビ電話機の実施例における概略的な構成を示すブロック図である。 図１のアドレス帳管理部が管理するアドレス帳の内容を説明する図である。 図１のモニタに表示される送信画像モードのメニュー画面を説明する図である。 図１のテレビ電話機における着信処理の動作手順を説明するフローチャートである。 図４に続く動作手順を説明するフローチャートである。 図４の着信処理において最初に表示される着信のメニュー画面を説明する図である。 図４の着信処理において表示されるモード選択メニューの画面を説明する図である。 本発明の通信端末装置を適用したテレビ電話機の他の実施例における概略的な構成を示すブロック図である。 図８のテレビ電話機における着信処理の動作手順を説明するフローチャートである。 本発明の通信端末装置を適用したテレビ電話機の他の実施例における概略的な構成を示すブロック図である。 図10の通話履歴管理部が格納する通話履歴の内容を説明する図である。 図10のテレビ電話機における着信処理の動作手順を説明するフローチャートである。 図12の着信処理において表示されるメニュー画面を説明する図である。 本発明の通信端末装置を適用したテレビ電話機の他の実施例における概略的な構成を示すブロック図である。 図14の自動指定設定部が格納する情報を説明する図である。 図14のテレビ電話機における着信処理の動作手順を説明するフローチャートである。 図14のテレビ電話機において取得した各種の条件およびその値の一例を説明する図である。 図16の着信処理において表示されるメニュー画面を説明する図である。

符号の説明

10 テレビ電話機
12 入出力部
14 解析部
16 モデル記憶部
18 画像生成部
20 画像選択部
22 端末制御部
24 アドレス帳管理部
26 モードメニュー設定部
28 圧伸部
30 通信制御部
32 操作部
38 モード選択部
52 送信切替部
54 受信切替部

Claims (10)

1. 情報を外部から取り込み、通信相手からの情報を出力する入出力手段、
   該情報のうち、画像情報を解析し、該画像情報に含まれる顔の表情を表すパラメータを抽出する解析手段、
   画像生成にて使用する基本的な画像形状のモデルデータを格納するモデル記憶手段、
   前記パラメータおよび使用するモデルデータを基にキャラクタ画像データおよび静止画像データを生成する画像生成手段、
   前記通信相手に供給する送信画像データと表示に用いる表示画像データとを、それぞれ選択する選択手段、
   前記送信画像データと前記通信相手からの着信画像データの送受信を制御する通信制御手段、および
   少なくとも、前記画像生成手段および前記選択手段を制御する端末制御手段を具備し、
   前記入出力手段は、被写界からの入射光を電気信号に変換する撮像手段と、
   前記表示画像データを表示する表示手段と、
   利用者の操作を入力する操作手段とを含み、
   該操作手段は、さらに、前記撮像手段からの画像データ、前記キャラクタ画像データおよび前記静止画像データのいずれか一つを送信させるモードを選択し、該選択信号を前記端末制御手段に出力するモード選択手段を含み、
   前記選択手段は、前記画像生成手段からの出力と前記撮像手段からの出力を選択し、
   前記端末制御手段は、前記選択信号に応じて前記送信画像データおよび前記表示画像データの出力を切替制御することを特徴とする通信端末装置。
2. 請求項１に記載の装置において、該装置は、前記送信させるモードの種類を表示させ、前記モードの選択を支援するメニュー画面の画像データを提供するメニュー設定手段を含むことを特徴とする通信端末装置。
3. 請求項１または２に記載の装置において、該装置は、前記通信相手の電話番号と名前を対応付けて記憶する第１の管理手段を含み、
   前記端末制御手段は、前記通信制御手段を介して前記端末制御手段に供給される通信相手の電話番号に該当する電話番号を第１の管理手段で検索し、該当する検索結果に基づいて該通信相手の名前を得て、前記表示手段に表示させることを特徴とする通信端末装置。
4. 請求項１、２または３に記載の装置において、前記操作手段は、操作の選択とともに、前記送信画像のモードを割り付けた画像選択手段を複数設けて、
   該画像選択手段のそれぞれに対して設定された送信画像のモードを格納し、着信処理における該画像選択手段の操作に応じて対応するモードを読み出すモード設定手段を含むことを特徴とする通信端末装置。
5. 請求項１ないし４のいずれか一項に記載の装置において、該装置は、通話毎の日時、電話番号および使用した送信画像のモードを履歴情報として記録する第２の管理手段を備え、
   前記端末制御手段は、前記通信相手からの着信で得られる通信相手の電話番号を基に第２の管理手段が管理する履歴情報から前回の通話を求め、該当する通話における送信画像のモードを読み出して、前記表示手段に表示させることを特徴とする通信端末装置。
6. 請求項５に記載の装置において、前記操作手段は、前回選択した送信画像のモードの選択を指示する前回指示手段を含むことを特徴とする通信端末装置。
7. 請求項１ないし６のいずれか一項に記載の装置において、該装置は、前記通信相手の電話番号とともに、該通信が着信した時点の条件を取得する条件取得手段と、
   前記着信時の条件に対して設定する条件の集まりがルールとして管理され、かつ該設定したルールの条件を満足する送信画像のモードを指定して、着信毎に送信画像のモードを自動出力する自動設定手段とを含むことを特徴とする通信端末装置。
8. 請求項７に記載の装置において、前記条件取得手段は、現在時刻を計測する時計手段と、
   該装置の現在位置を計測する位置計測手段と、
   前記撮像手段からの画像データを基に画像の明るさを検出する明るさ検出手段と、
   周囲の音を捉える音検出手段と、
   該装置の電波状況を検出する電波状況検出手段とのうち、少なくとも一つを含むことを特徴とする通信端末装置。
9. 請求項７または８に記載の装置において、前記端末制御手段は、前記取得した条件と前記ルールとを比較判断させ、該条件の最も合ったルールに対応する送信画像のモードを読み出して、前記表示手段に表示させることを特徴とする通信端末装置。
10. 請求項９に記載の装置において、前記操作手段は、取得した条件と前記設定されているルールとを比較して、満足するルールに対応して指示されている送信画像のモードを選択する自動選択手段を含むことを特徴とする通信端末装置。

Images