JP4116056B2

JP4116056B2 - 携帯端末

Info

Publication number: JP4116056B2
Application number: JP2006332695A
Authority: JP
Inventors: 義徳結城
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2006-12-09
Filing date: 2006-12-09
Publication date: 2008-07-09
Anticipated expiration: 2026-09-21
Also published as: JP2008079271A

Description

本発明は携帯端末に係り、特に、テレビ電話を行うことができるようにした携帯端末に関する。

近年、移動体通信方式の発展により、移動体通信を行う端末から基地局への上り方向と、基地局から端末への下り方向のいずれの方向においても通信速度が向上している。具体的には、ＣＤＭＡ２００１ｘＥＶ−ＤＯＲｅｖｅｒｓｉｏｎＡ（ＩＳ−８５６−Ａ）方式では、上り方向において最大で１．８Ｍｂｐｓ、下り方向で最大で３．１Ｍｂｐｓの通信を行うことが可能である。これにより、様々な通信サービスにおいて、より大容量のデータを送受信することが可能となる。

例えば携帯電話機においてテレビ電話を行う場合、ビットレート４８ｋｂｐｓ、フレームレート１５ｆｐｓ（フレーム数／秒）で所定の符号化方式（例えば、ＭＰＥＧ（Moving Picture Experts Group）４やＨ．２６３など）によりエンコードされた画像と、ビットレート１２．２ｋｂｐｓで所定の符号化方式（例えばＡＭＲ−ＮＢ（Adaptive multi-rate Narrowband）など）によりエンコードされた音声を送受信することが可能である。

また、ＱｏＳ（Quality of Service）対応により、通信状況などに応じてテレビ電話の提供品質を切り替えることが可能となる。例えばインフラの使用頻度が高く通信状況などが良くない場合、ビットレート２４ｋｂｐｓ、フレームレート７．５ｆｐｓでエンコードするようにして、低ビットレートの画像を送受信することが可能となる。

なお、最近では、携帯電話機においてテレビ電話を行う場合における技術として、テレビ電話の通話相手である受信側ユーザの携帯電話機の表示部に表示される送信側ユーザの送信画像を、送信側ユーザが送信する前に確認することができる技術が提案されている（例えば特許文献１参照）。

特許文献１に提案されている技術によれば、表示部に表示された画像の送信開始を指示するための送信開始指示信号を出力し、出力される送信開始指示信号に従い、通話相手とのテレビ電話通信の開始を制御するようにしたので、送信画像の送信を開始するに当たり送信画像を事前に確認して、受信側ユーザに見られたくない画像を誤って送信することを防止することができる。
特開２００６−５５７０号公報

一般に、携帯電話機においてテレビ電話を行う場合、テレビ電話の通話相手の画像と、ユーザ自身の画像、および通話時間などを表示部に表示するが、これら３つの表示の更新については、画像や通話時間などがそれぞれ取得されるごとに、各々の更新のタイミングで（非同期で）順次行っていた。

具体的には、例えばフレームレート１５ｆｐｓで画像を送受信する場合、原則として約６６ミリ秒間隔（１／１５秒間隔）で通話相手の画像とユーザ自身の画像の表示がそれぞれ別々に更新され、さらに通話時間は１秒間隔で表示が更新される。そのため、テレビ電話を行う際には、表示部における表示を１秒間に何回も更新しなければならなかった。

なお、通信状況によっては、フレームレート１５ｆｐｓで画像を送受信する場合であっても、送受信が遅延してしまい、通話相手の画像などの表示の更新が約６６ミリ秒間隔（１／１５秒間隔）よりも遅くなってしまうこともある。このような場合、局所的に通話相手の画像などの表示の更新が集中してしまうこともあり、表示部における表示を局所的に頻繁に更新しなければならない。

ところが、テレビ電話を行う際に表示部に表示される表示を１秒間に何回も更新すると、表示処理にＣＰＵ（Central Processing Unit）の資源が占有されてしまい、画像の送受信処理にＣＰＵの資源を割り当てることができなくなってしまう。その結果、生成されたＲＴＰ（Real time Transport Protocol）パケットを破棄しなければならなくなり、画像と音声を通信規定に従って送信することができず、画像・音声が劣化し（例えば画像が乱れたり、音声が途切れたりし）通信品質が低下してしまうという課題があった。

このような課題は、特許文献１に提案されている技術よっては解決することはできない。

本発明は、このような状況に鑑みてなされたものであり、テレビ電話を行う際に表示部に複数の表示内容を表示する場合に、複数の表示内容を同期させて表示を更新することができる携帯端末を提供することを目的とする。

本発明に係る携帯端末は、上述した課題を解決するために、テレビ電話を行う際に外部に送信する送信画像情報を順次取得するカメラと、テレビ電話を行う際に外部から受信画像情報を順次受信する受信手段と、テレビ電話を行う際にカメラによって取得された送信画像情報に基づく送信画像を送信画像表示領域に表示するとともに、テレビ電話を行う際に受信手段によって外部より受信された受信画像情報に基づく受信画像を受信画像表示領域に表示する表示手段と、テレビ電話を行う際に外部に送信する送信画像情報をカメラによって新たに取得した後に、取得された送信画像情報を符号化し、送信画像情報に基づく送信画像を表示手段に表示するための要求を供給する第１の供給手段と、テレビ電話を行う際に、受信手段により受信画像情報を外部より新たに受信した後に、取得された受信画像情報を復号化し、受信画像情報に基づく受信画像を表示手段に表示するための要求を供給する第２の供給手段と、カメラによって送信画像情報を新たに取得した後に、第１の供給手段から供給された、送信画像情報に基づく送信画像を表示手段に表示するための要求を受けつけ、受信手段によって受信画像情報を新たに受信した後に、第２の供給手段から供給された、受信画像情報に基づく受信画像を表示手段に表示するための要求を受けつけ、表示更新タイマを用いて予め設定された所定時間ごとに送信画像情報に基づく送信画像を表示するための要求を受け付けたか、受信画像情報に基づく受信画像を表示するための要求を受け付けたかを判断し、少なくともいずれかの表示要求があったと判断された場合、表示の要求があった送信画像表示領域と受信画像表示領域との少なくともいずれか一方における表示を更新し、いずれの表示要求もなければ、表示手段の送信画像表示領域と受信画像表示領域における表示を更新しないように制御する表示制御手段とを有することを特徴とする。

本発明に係る携帯端末は、上述した課題を解決するために、テレビ電話を行う際に外部に送信する送信画像情報を順次取得するカメラと、テレビ電話を行う際に外部から受信画像情報を順次受信する受信手段と、テレビ電話を行う際にカメラによって取得された送信画像情報に基づく送信画像を送信画像表示領域に表示するとともに、テレビ電話を行う際に受信手段によって外部より受信された受信画像情報に基づく受信画像を受信画像表示領域に表示し、テレビ電話の通話時間を通話時間表示領域に表示する表示手段と、テレビ電話を行う際に外部に送信する送信画像情報をカメラによって新たに取得した後に、取得された送信画像情報を符号化し、送信画像情報に基づく送信画像を表示手段に表示するための要求を供給する第１の供給手段と、テレビ電話を行う際に、受信手段により受信画像情報を外部より新たに受信した後に、取得された受信画像情報を復号化し、受信画像情報に基づく受信画像を表示手段に表示するための要求を供給する第２の供給手段と、テレビ電話の通話時間を表示手段に表示するための要求を供給する第３の供給手段と、カメラによって送信画像情報を新たに取得した後に、第１の供給手段から供給された、送信画像情報に基づく送信画像を表示手段に表示するための要求を受けつけ、受信手段によって受信画像情報を新たに受信した後に、第２の供給手段から供給された、受信画像情報に基づく受信画像を表示手段に表示するための要求を受けつけ、通話時間の表示を更新するタイミングで第３の供給手段から供給された、通話時間を表示手段に表示するための要求を受けつけ、表示更新タイマを用いて予め設定された所定時間ごとに送信画像情報に基づく送信画像を表示するための要求を受け付けたか、受信画像情報に基づく受信画像を表示するための要求を受け付けたか、通話時間を表示するための要求を受け付けたかを判断し、少なくともいずれかの表示要求があったと判断された場合、表示の要求があった送信画像表示領域、受信画像表示領域、および通話時間表示領域の少なくともいずれか１つ以上における表示を更新し、いずれの表示要求もなければ、表示手段の送信画像表示領域、受信画像表示領域、および通話時間表示領域における表示を更新しないように制御する表示制御手段とを有することを特徴とする。

本発明に係る携帯端末は、上述した課題を解決するために、テレビ電話を行う際に外部に送信する送信画像情報を順次取得するカメラと、テレビ電話を行う際に外部から受信画像情報を順次受信する受信手段と、テレビ電話を行う際にカメラによって取得された送信画像情報に基づく送信画像を送信画像表示領域に表示するとともに、テレビ電話を行う際に受信手段によって外部より受信された受信画像情報に基づく受信画像を受信画像表示領域に表示し、テレビ電話の通話時間を通話時間表示領域に表示する表示手段と、テレビ電話を行う際に外部に送信する送信画像情報をカメラによって新たに取得した後に、取得された送信画像情報を符号化し、送信画像情報に基づく送信画像を表示手段に表示するための要求を供給する第１の供給手段と、テレビ電話を行う際に、受信手段により受信画像情報を外部より新たに受信した後に、取得された受信画像情報を復号化し、受信画像情報に基づく受信画像を表示手段に表示するための要求を供給する第２の供給手段と、テレビ電話の通話時間を表示手段に表示するための要求を供給する第３の供給手段と、カメラによって送信画像情報を新たに取得した後に、第１の供給手段から供給された、送信画像情報に基づく送信画像を表示手段に表示するための要求を受けつけ、受信手段によって受信画像情報を新たに受信した後に、第２の供給手段から供給された、受信画像情報に基づく受信画像を表示手段に表示するための要求を受けつけ、
通話時間の表示を更新するタイミングで第３の供給手段から供給された、通話時間を表示手段に表示するための要求を受けつけ、表示更新タイマを用いて予め設定された所定時間ごとのタイミングで送信画像情報に基づく送信画像を表示するための要求を受け付けたか、受信画像情報に基づく受信画像を表示するための要求を受け付けたか、通話時間を表示するための要求を受け付けたかを判断し、少なくともいずれかの表示要求があったと判断された場合、表示の要求があった送信画像表示領域、受信画像表示領域、および通話時間表示領域の少なくともいずれか１つ以上における表示を更新し、いずれの表示要求もなければ、そのタイミングにおいて表示手段の送信画像表示領域、受信画像表示領域、および通話時間表示領域における表示を更新しないように制御し、所定時間ごと以外のタイミングでは表示手段の表示を更新しないように制御する表示制御手段とを有することを特徴とする。

本発明に係る携帯端末は、上述した課題を解決するために、テレビ電話を行う際に外部に送信する送信画像情報を順次取得するカメラと、テレビ電話を行う際に外部から受信画像情報を順次受信する受信手段と、テレビ電話を行う際にカメラによって取得された送信画像情報に基づく送信画像を送信画像表示領域に表示するとともに、テレビ電話を行う際に受信手段によって外部より受信された受信画像情報に基づく受信画像を受信画像表示領域に表示し、テレビ電話の通話時間を通話時間表示領域に表示する表示手段と、テレビ電話を行う際に外部に送信する送信画像情報をカメラによって新たに取得した後に、取得された送信画像情報を符号化し、送信画像情報に基づく送信画像を表示手段に表示するための要求を供給する第１の供給手段と、テレビ電話を行う際に、受信手段により受信画像情報を外部より新たに受信した後に、取得された受信画像情報を復号化し、受信画像情報に基づく受信画像を表示手段に表示するための要求を供給する第２の供給手段と、テレビ電話の通話時間を表示手段に表示するための要求を供給する第３の供給手段と、カメラによって送信画像情報を新たに取得した後に、第１の供給手段から供給された、送信画像情報に基づく送信画像を表示手段に表示するための要求を受けつけ、受信手段によって受信画像情報を新たに受信した後に、第２の供給手段から供給された、受信画像情報に基づく受信画像を表示手段に表示するための要求を受けつけ、通話時間の表示を更新するタイミングで第３の供給手段から供給された、通話時間を表示手段に表示するための要求を受けつけ、表示更新タイマを用いて予め設定された所定時間ごとのタイミングで送信画像情報に基づく送信画像を表示するための要求を受け付けたか、受信画像情報に基づく受信画像を表示するための要求を受け付けたか、通話時間を表示するための要求を受け付けたかを判断し、少なくともいずれかの表示要求があったと判断された場合、表示の要求があった送信画像表示領域、受信画像表示領域、および通話時間表示領域の少なくともいずれか１つ以上における表示を更新し、いずれの表示要求もなければ、そのタイミングにおいて表示手段の送信画像表示領域、受信画像表示領域、および通話時間表示領域における表示を更新しないように制御し、所定時間ごと以外のタイミングでは表示手段による送信画像情報に基づく送信画像、受信画像情報に基づく受信画像、および通話時間の表示を更新しないように制御する表示制御手段とを有することを特徴とする。

本発明に係る携帯端末は、上述した課題を解決するために、テレビ電話を行う際に外部に送信する送信画像情報を順次取得するカメラと、テレビ電話を行う際に外部から受信画像情報を順次受信する受信手段と、テレビ電話を行う際にカメラによって取得された送信画像情報に基づく送信画像を送信画像表示領域に表示するとともに、テレビ電話を行う際に受信手段によって外部より受信された受信画像情報に基づく受信画像を受信画像表示領域に表示する表示手段と、テレビ電話を行う際に外部に送信する送信画像情報をカメラによって新たに取得した後に、取得された送信画像情報を符号化し、送信画像情報に基づく送信画像を表示手段に表示するための要求を供給する第１の供給手段と、テレビ電話を行う際に、受信手段により受信画像情報を外部より新たに受信した後に、取得された受信画像情報を復号化し、受信画像情報に基づく受信画像を表示手段に表示するための要求を供給する第２の供給手段と、カメラによって送信画像情報を新たに取得した後に、第１の供給手段から供給された、送信画像情報に基づく送信画像を表示手段に表示するための要求を受けつけ、受信手段によって受信画像情報を新たに受信した後に、第２の供給手段から供給された、受信画像情報に基づく受信画像を表示手段に表示するための要求を受けつけ、表示更新タイマを用いて予め設定された所定時間ごとのタイミングで送信画像情報に基づく送信画像を表示するための要求を受け付けたか、受信画像情報に基づく受信画像を表示するための要求を受け付けたかを判断し、少なくともいずれかの表示要求があったと判断された場合、表示の要求があった送信画像表示領域と受信画像表示領域との少なくともいずれか一方における表示を更新し、いずれの表示要求もなければ、そのタイミングにおいて表示手段の送信画像表示領域と受信画像表示領域とにおける表示を更新しないように制御し、所定時間ごと以外のタイミングでは表示手段による送信画像情報に基づく送信画像および受信画像情報に基づく受信画像の表示を更新しないように制御する表示制御手段とを有することを特徴とする。

本発明に係る携帯端末は、上述した課題を解決するために、テレビ電話を行う際に用いられる送信画像情報を順次取得するカメラと、テレビ電話を行う際に用いられる受信画像情報を外部より順次受信する受信手段と、テレビ電話機能において、送信画像情報に基づく送信画像と、受信画像情報に基づく受信画像とを表示する表示手段と、カメラによって送信画像情報を新たに取得した後、送信画像情報を符号化したことに基づいて送信画像フラグを設定する第１設定手段と、受信手段によって受信画像情報を新たに受信した後、受信画像情報を復号化したことに基づいて受信画像フラグを設定する第２設定手段と、表示更新タイマを用いて予め設定された所定のタイミングで送信画像フラグ、受信画像フラグの少なくとも１つが設定されているかを確認し、少なくとも１つの画像フラグが設定されている場合にその設定された画像フラグに基づく表示の更新を行い、いずれの画像フラグも設定されていない場合には表示手段の表示を更新せず、その所定のタイミング以外は送信画像及び受信画像の表示を更新しないように制御する表示制御手段とを有することを特徴とする。

本発明に係る携帯端末は、上述した課題を解決するために、テレビ電話を行う際に用いられる送信画像情報を順次取得するカメラと、テレビ電話を行う際に用いられる受信画像情報を外部より順次受信する受信手段と、テレビ電話機能において、送信画像情報に基づく送信画像と、受信画像情報に基づく受信画像と、通話時間画像情報に基づく通話時間を表示する表示手段と、カメラによって送信画像情報を新たに取得した後、送信画像情報を符号化したことに基づいて送信画像フラグを設定する第１設定手段と、受信手段によって受信画像情報を新たに受信した後、受信画像情報を復号化したことに基づいて受信画像フラグを設定する第２設定手段と、通話時間の表示を更新する要求に基づいて、通話時間画像フラグを設定する第３設定手段と、表示更新タイマを用いて予め設定された所定のタイミングで送信画像フラグ、受信画像フラグ、通話時間画像フラグの少なくとも１つが設定されているかを確認し、少なくとも１つの画像フラグが設定されている場合にその設定された画像フラグに基づく表示の更新を行い、いずれの画像フラグも設定されていない場合には表示手段の表示を更新せず、その所定のタイミング以外は送信画像、受信画像、および通話時間の表示を更新しないように制御する表示制御手段とを有することを特徴とする。

本発明によれば、テレビ電話を行う際に、表示部のカメラから入力された画像と受信された画像などを含む複数の表示内容を表示する場合に、複数の表示内容を所定のタイミングで更新を行うようにしたため、別々に表示の更新を行う場合と比較してＣＰＵなどの負荷を下げることができる。特に、通信網の品質劣化などで受信画像が送られるタイミングがばらつく場合に効果的である。

以下、本発明の実施の形態について、図面を参照しながら説明する。

図１は、本発明を適用したネットワークシステム１の概略的な構成を表している。

ネットワークシステム１には、通信サービスの提供エリアを所望の大きさに分割したセル内にそれぞれ固定無線局である基地局２−１乃至２−４が設置されている。これらの基地局２−１乃至２−４には、移動無線局であるカメラ付ディジタル携帯電話機３−１乃至３−４が例えばＷ−ＣＤＭＡ（Wideband-Code Division Multiple Access）と呼ばれる符号分割多元接続方式によって無線接続されており、例えば２［ＧＨｚ］の周波数帯域を使用して最大２［Ｍｂｐｓ］のデータ転送速度で大容量データを高速にデータ通信することができる。

このようにカメラ付ディジタル携帯電話機３−１乃至３−４は、Ｗ−ＣＤＭＡ方式によって大容量データを高速にデータ通信できることにより、音声通話だけでなく電子メールの送受信、簡易ホームページの閲覧、画像の送受信等の多種に及ぶデータ通信を実行できる。

また、基地局２−１乃至２−４は、有線回線を介して公衆回線網４に接続されており、公衆回線網４には、インターネットサービスプロバイダのアクセスサーバ（図示せず）が接続されている。アクセスサーバには、図示せぬネットワーク（例えば、インターネット、LAN（Local Area Network）、WAN（Wide Area Network）、その他の各種のネットワークを含む）を介してコンテンツサーバ（図示せず）などが接続される。

なお、基地局２−１乃至２−４は、以下において、それぞれを個々に区別する必要がない場合、基地局２と総称する。カメラ付ディジタル携帯電話機３−１乃至３−４は、以下において、それぞれを個々に区別する必要がない場合、カメラ付ディジタル携帯電話機３と総称する。

図２は、本発明に係る情報処理装置として適用可能なカメラ付ディジタル携帯電話機３の外観の構成を表している。なお、図２［Ａ］は、カメラ付ディジタル携帯電話機３を約１８０度に見開いたときの正面から見た外観の構成を表しており、図２［Ｂ］は、カメラ付ディジタル携帯電話機３を見開いたときの側面から見た外観の構成を表している。

図２［Ａ］および［Ｂ］に示されるように、カメラ付ディジタル携帯電話機３は、中央のヒンジ部１１を境に第１の筐体１２と第２の筐体１３とがヒンジ結合されており、ヒンジ部１１を介して矢印Ｘ方向に折り畳み可能に形成される。カメラ付ディジタル携帯電話機３の内部の所定の位置には、送受信用のアンテナ（後述する図４のアンテナ４４）が設けられており、内蔵されたアンテナを介して基地局２との間で電波を送受信する。

第１の筐体１２には、その表面に「０」乃至「９」の数字キー、発呼キー、リダイヤルキー、終話・電源キー、クリアキー、および電子メールキーなどの操作キー１４が設けられており、操作キー１４を用いて各種指示を入力することができる。

第１の筐体１２には、操作キー１４として上部に十字キーと確定キーが設けられており、ユーザが十字キーを上下左右方向に操作することにより当てられたカーソルを上下左右方向に移動させることができる。具体的には、第２の筐体１３に設けられた液晶ディスプレイ１７に表示されている電話帳リストや電子メールのスクロール動作、簡易ホームページのページ捲り動作および画像の送り動作などの種々の動作を実行する。

また、確定キーを押下することにより、種々の機能を確定することができる。例えば第１の筐体１２は、ユーザによる十字キーの操作に応じて液晶ディスプレイ１７に表示された電話帳リストの複数の電話番号の中から所望の電話番号が選択され、確定キーが第１の筐体１２の内部方向に押圧されると、選択された電話番号を確定して電話番号に対して発呼処理を行う。

さらに、第１の筐体１２には、十字キーと確定キーの左隣に電子メールキーが設けられており、電子メールキーが第１の筐体１２の内部方向に押圧されると、メールの送受信機能を呼び出すことができる。十字キーと確定キーの右隣には、ブラウザキーが設けられており、ブラウザキーが第１の筐体１２の内部方向に押圧されると、Ｗｅｂページのデータを閲覧することが可能となる。なお、十字キーと確定キーの左右隣に設けられた電子メールキーおよびブラウザキーは、液晶ディスプレイ１７に表示される画面により例えば「Yes」や「No」などの種々の機能をもつことが可能であるため、それぞれ、soft１キーおよびsoft２キーと呼ばれる。

また、第１の筐体１２には、操作キー１４の下部にマイクロフォン１５が設けられており、マイクロフォン１５によって通話時のユーザの音声を集音する。また、第１の筐体１２には、カメラ付ディジタル携帯電話機３の操作を行うサイドキー１６が設けられている。

なお、第１の筐体１２は、背面側に図示しないバッテリパックが挿着されており、終話・電源キーがオン状態になると、バッテリパックから各回路部に対して電力が供給されて動作可能な状態に起動する。

ところで、第１の筐体１２には、第１の筐体１２の下部の所定の位置に抜差自在なメモリカード（後述する図４のメモリカード４６）を挿着するためのメモリカードスロット（図示せず）が設けられており、メモボタン（図示せず）が押下されるとメモリカードに通話中の相手の音声を記録したり、ユーザの操作に応じて電子メール、簡易ホームページ、ＣＣＤカメラで撮像した画像を記録することができる。

ここで、メモリカードは、ＮＡＮＤ型フラッシュメモリカードやＮＯＲ型フラッシュメモリカードなどに代表されるフラッシュメモリカードの一種であり、小型薄型形状のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるフラッシュメモリ素子を格納したものであり、１０ピン端子を介して画像や音声、音楽等の各種データの書き込み及び読み出しが可能となっている。

また、メモリカードは、大容量化等による内蔵フラッシュメモリの仕様変更に対しても、使用する機器で互換性を確保することができる独自のシリアルプロトコルを採用し、高速性能を実現しているとともに、誤消去防止スイッチを設けて高い信頼性を確保している。

従って、カメラ付ディジタル携帯電話機３は、このようなメモリカードを挿着可能に構成されているために、メモリカードを介して他の電子機器との間でデータの共有化を図ることができる。

また、所定の機能を拡張するためのモジュール（チップ）をメモリカードに組み込み、メモリカードスロット（図示せず）にそれを装着させることにより、カメラ付ディジタル携帯電話機３の機能をさらに拡張させることができる。

例えば、非接触ＩＣ（Integrated Circuit）チップが組み込まれたメモリカードをカメラ付ディジタル携帯電話機３に装着することにより、非接触ＩＣチップがカメラ付ディジタル携帯電話機３に内蔵されていない場合であっても、非接触ＩＣチップが内蔵された場合と同様の電子決済機能などを有するように機能を拡張させることもできる。

一方、第２の筐体１３には、その正面に液晶ディスプレイ１７（メインディスプレイ）が設けられており、電波の受信状態、電池残量、電話帳として登録されている相手先名や電話番号及び送信履歴等の他、電子メールの内容、簡易ホームページ、ＣＣＤ（Charge Coupled Device）カメラ（後述する図３のＣＣＤカメラ２０）で撮像した画像、外部のコンテンツサーバ（図示せず）より受信したコンテンツ、メモリカード（後述する図２のメモリカード４６）に記憶されているコンテンツを表示することができる。また、液晶ディスプレイ１７の上部の所定の位置にはスピーカ１８が設けられており、これにより、ユーザは音声通話することが可能である。

また、第１の筐体１２と第２の筐体１３の内部の所定の位置には、カメラ付ディジタル携帯電話機３の状態を検知するための磁気センサ１９a、１９b、１９c、および１９dが設けられる。

図３は、本発明に係る情報処理装置として適用可能なカメラ付ディジタル携帯電話機３の他の外観の構成を表している。図３のカメラ付ディジタル携帯電話機３の状態は、図２のカメラ付ディジタル携帯電話機３の状態から矢印Ｘ方向に回動させた状態である。なお、図３［Ａ］は、カメラ付ディジタル携帯電話機３を閉じたときの正面から見た外観の構成を表しており、図３［Ｂ］は、カメラ付ディジタル携帯電話機３を閉じたときの側面から見た外観の構成を表している。

第２の筐体１３の上部には、ＣＣＤカメラ２０が設けられており、これにより、所望の撮影対象を撮像することができる。ＣＣＤカメラ２０の下部には、サブディスプレイ２１が設けられており、現在のアンテナの感度のレベルを示すアンテナピクト、カメラ付ディジタル携帯電話機３の現在の電池残量を示す電池ピクト、現在の時刻などが表示される。

サブディスプレイ２１の下部には、さらに、静電タッチパッド２２が設けられる。静電タッチパッド２２は、見かけ上一枚のタッチパッドになっているが、図示せぬセンサが複数個所に設けられており、ユーザがセンサの付近をタッチすると、センサがそれを検知し、巻戻し機能、早送り機能、音量ダウン動作、音量アップ動作、再生動作、および一時停止動作などが実行される。

図４は、本発明に係る情報処理装置として適用可能なカメラ付ディジタル携帯電話機３の内部の構成を表している。

図４に示されるように、カメラ付ディジタル携帯電話機３は、第１の筐体１２及び第２の筐体１３の各部を統括的に制御する主制御部３１に対して、電源回路部３２、操作入力制御部３３、画像エンコーダ３４、カメラインタフェース部３５、ＬＣＤ（Liquid Crystal Display）制御部３６、多重分離部３８、変復調回路部３９、音声コーデック４０、記憶部４７、音楽制御部４８、および通話時間処理部４９がメインバス４１を介して互いに接続されるとともに、画像エンコーダ３４、画像デコーダ３７、多重分離部３８、変復調回路部３９、音声コーデック４０、および記録再生部４５が同期バス４２を介して互いに接続されて構成される。

電源回路部３２は、ユーザの操作により終話・電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話機３を動作可能な状態に起動する。

主制御部３１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、およびＲＡＭ（Random Access Memory）などからなり、ＣＰＵは、ＲＯＭに記憶されているプログラムまたは記憶部４７からＲＡＭにロードされた各種のアプリケーションプログラムに従って各種の処理を実行するとともに、種々の制御信号を生成し、各部に供給することによりカメラ付ディジタル携帯電話機３を統括的に制御する。ＲＡＭは、ＣＰＵが各種の処理を実行する上において必要なデータなどを適宜記憶する。

なお、主制御部３１には、現在の日付と時刻を正確に計測するタイマが内蔵されている。

ここで、ＣＰＵが実行する種々のアプリケーションプログラムは、ＲＯＭや記憶部４７に予めインストールしておくことができる。また、ＣＰＵが実行する種々のアプリケーションプログラムは、基地局２を介して通信によってカメラ付ディジタル携帯電話機３にダウンロードすることにより、記憶部４７にインストールすることができる。さらに、ＣＰＵが実行する種々のアプリケーションプログラムは、メモリカード４６に記録しておき、記録再生部４５によって読み出して、記憶部４７にインストールすることも可能である。

カメラ付ディジタル携帯電話機３は、主制御部３１の制御に基づいて、音声通話モード時にマイクロフォン１５で集音した音声信号を音声コーデック４０によってディジタル音声信号に変換、圧縮し、これを変復調回路部３９でスペクトラム拡散処理し、送受信回路部４３でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナ４４を介して送信する。

また、カメラ付ディジタル携帯電話機３は、音声通話モード時にアンテナ４４で受信した受信信号を増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部３９でスペクトラム逆拡散処理し、音声コーデック４０によって伸張し、アナログ音声信号に変換した後、変換されたアナログ音声信号をスピーカ１８を介して出力する。

さらに、カメラ付ディジタル携帯電話機３は、データ通信モード時に電子メールを送信する場合、操作キー１４の操作によって入力された電子メールのテキストデータを操作入力制御部３３を介して主制御部３１に送出する。主制御部３１は、テキストデータを変復調回路部３９でスペクトラム拡散処理し、送受信回路部４３でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナ４４を介して基地局２へ送信する。

これに対してカメラ付ディジタル携帯電話機３は、データ通信モード時に電子メールを受信する場合、アンテナ４４を介して基地局２から受信した受信信号を変復調回路部３９でスペクトラム逆拡散処理して元のテキストデータを復元した後、ＬＣＤ制御部３６を介して液晶ディスプレイ１７に電子メールとして表示する。

その後カメラ付ディジタル携帯電話機３は、ユーザの操作に応じて受信した電子メールを記録再生部４５を介してメモリカード４６に記録することも可能である。

カメラ付ディジタル携帯電話機３は、画像信号を送信しない場合には、ＣＣＤカメラ２０で撮像した画像信号をカメラインタフェース部４５及びＬＣＤ制御部４６を介して液晶ディスプレイ１７に直接表示する。

カメラ付ディジタル携帯電話機３は、データ通信モード時に画像信号を送信する場合、ＣＣＤカメラ２０で撮像された画像信号をカメラインタフェース部３５を介して画像エンコーダ３４に供給する。

画像エンコーダ３４は、ＣＣＤカメラ２０から供給された画像信号を、例えばＭＰＥＧ（Moving Picture Experts Group）４などの所定の符号化方式によって圧縮符号化することにより符号化画像信号に変換し、変換された符号化画像信号を多重分離部３８に送出する。このとき同時にカメラ付ディジタル携帯電話機３は、ＣＣＤカメラ２０で撮像中にマイクロフォン１５で集音した音声を音声コーデック４０を介してディジタルの音声信号として多重分離部３８に送出する。

多重分離部３８は、画像エンコーダ３４から供給された符号化画像信号と音声コーデック４０から供給された音声信号とを所定の方式で多重化し、その結果得られる多重化信号を変復調回路部３９でスペクトラム拡散処理し、送受信回路部４３でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナ４４を介して送信する。

これに対して、カメラ付ディジタル携帯電話機３では、データ通信モード時に、Ｗｅｂページのデータを受信することができる。

すなわち、カメラ付ディジタル携帯電話機３において、データ通信モードに、例えばＷｅｂページを要求するデータを送信すると、その要求に応じて、Ｗｅｂページのデータが基地局２を介して送信される。このＷｅｂページのデータは、アンテナ４４を介して送受信回路部４３および変復調回路部３９で受信される。送受信回路部４３および変復調回路部３９は、受信したＷｅｂページのデータを主制御部３１に送出する。

主制御部３１は、Ｗｅｂページのデータを解釈し、その解釈に基づく画面（画像）を作成する。作成された画面は、主制御部３１からＬＣＤ制御部３６を介して液晶ディスプレイ１７に供給されて表示される。すなわち、主制御部３１のＲＯＭまたは記憶部４７には、少なくともＷｅｂブラウザのアプリケーションプログラムがインストールされており、主制御部３１のＣＰＵは、ＲＡＭ上でＷｅｂブラウザのアプリケーションプログラムを実行することで、Ｗｅｂブラウザとして機能し、Ｗｅｂページのデータの解釈などを行う。

また、カメラ付ディジタル携帯電話機３は、データ通信モード時に例えばＷｅｂページなどにリンクされた動画像ファイルのデータを受信する場合、アンテナ４４を介して基地局２から受信した受信信号を変復調回路部３９でスペクトラム逆拡散処理し、その結果得られる多重化信号を多重分離部３８に送出する。

多重分離部３８は、多重化信号を分離することにより符号化画像信号と音声信号とに分け、同期バス４２を介して符号化画像信号を画像デコーダ３７に供給すると共に音声信号を音声コーデック４０に供給する。画像デコーダ３７は、符号化画像信号をＭＰＥＧ４などの所定の符号化方式に対応した復号化方式でデコードすることにより再生動画像信号を生成し、生成された再生動画像信号をＬＣＤ制御部３６を介して液晶ディスプレイ１７に供給する。これにより、例えば、Ｗｅｂページなどにリンクされた動画像ファイルに含まれる動画像データが表示される。

このとき同時に音声コーデック４０は、音声信号をアナログ音声信号に変換した後、これをスピーカ１８に供給し、これにより、例えば、Ｗｅｂページなどにリンクされた動画像ファイルに含まる音声信号が再生される。この場合も電子メールの場合と同様にカメラ付ディジタル携帯電話機３は、受信したＷｅｂページなどにリンクされたデータをユーザの操作により記録再生部４５を介してメモリカード４６に記録することが可能である。

記憶部４７は、例えば、電気的に書換えや消去が可能な不揮発性メモリであるフラッシュメモリ素子などからなり、主制御部３１のＣＰＵにより実行される種々のアプリケーションプログラムや種々のデータ群を格納している。また、記憶部４７は、必要に応じて、ユーザの操作に応じて受信した電子メールや、受信したＷｅｂページなどにリンクされた動画像ファイルに含まれる動画像データなどを記憶する。

音楽制御部４８は、記憶部４７に記憶されているオーディオデータの再生動作および一時停止動作や、巻戻し機能、早送り機能、音量ダウン動作、音量アップ動作などの実行を制御する。

通話時間処理部４９は、図示せぬ表示更新タイマなどからなり、複数のカメラ付ディジタル携帯電話機３との間で行われるテレビ電話の際の通話時間を管理する。

まず、図５フローチャートを参照して、図４のカメラ付ディジタル携帯電話機３におけるテレビ電話処理について説明する。このテレビ電話処理は、ユーザにより操作キー１４が操作されることによりテレビ電話処理を開始するとの指示がなされることにより、開始される。なお、カメラ付ディジタル携帯電話機３のＬＣＤ制御部３６による液晶ディスプレイ１７への表示制御処理（描画処理）は、図７のフローチャートを参照して後述する。

ステップＳ１において、主制御部３１は、ユーザにより操作キー１４が操作されることによりテレビ電話処理を開始するとの指示がなされたか否かを判定し、ユーザにより操作キー１４が操作されることによりテレビ電話処理を開始するとの指示がなされたと判定するまで待機する。

ステップＳ１においてユーザにより操作キー１４が操作されることによりテレビ電話処理を開始するとの指示がなされたと判定された場合、主制御部３１はステップＳ２で、他のユーザが所有する他のカメラ付ディジタル携帯電話機３との間でテレビ電話処理を開始する。

ステップＳ３において、送受信回路部４３は、主制御部３１の制御に従い、アンテナ４４を介して基地局２を経由して他のカメラ付ディジタル携帯電話機３から受信信号を受信し、受信された受信信号にディジタルアナログ変換処理および周波数変換処理を施すとともに、これらの処理後の受信信号を変復調回路部３９に供給する。

ステップＳ４において、変復調回路部３９は、主制御部３１の制御に従い、送受信回路部４３から供給されたディジタルアナログ変換処理および周波数変換処理後の受信信号にスペクトラム逆拡散処理を施し、その結果、多重化信号を取得し、取得された多重化信号を多重分離部３８に供給する。

ステップＳ５において、多重分離部３８は、主制御部３１の制御に従い、変復調回路部３９から供給された多重化信号を分離することにより、他のユーザ（通話相手）に関する符号化画像信号と音声信号とに分け、同期バス４２を介して他のユーザ（通話相手）に関する符号化画像信号を画像デコーダ３７に供給するとともに、他のユーザ（通話相手）に関する音声信号を音声コーデック４０に供給する。

ステップＳ６において、画像デコーダ３７は、主制御部３１の制御に従い、他のユーザ（通話相手）に関する符号化画像信号を例えばＭＰＥＧ４やＨ．２６３などの所定の符号化方式に対応した復号化方式でデコードすることにより、他のユーザ（通話相手）に関する再生動画像信号を生成し、生成された再生動画像信号を保持する。

なお、画像デコーダ３７に保持された再生動画像信号は、後述する図７のステップＳ３０においてＬＣＤ制御部３６に供給される（すなわち、ＬＣＤ制御部３６が、保持された再生動画像信号を取得する）が、ステップＳ３０において保持された再生動画像信号がＬＣＤ制御部３６に供給される前に、次に表示するべき符号化画像信号がデコードされ、新たな再生動画像信号が生成された場合、現在保持されている再生動画像信号は破棄され、新たに生成された再生動画像信号が保持される。

このとき同時に、音声コーデック４０は、主制御部３１の制御に従い、他のユーザ（通話相手）に関する音声信号（ディジタル音声信号）をアナログ音声信号に変換した後、変換後のアナログ音声信号をスピーカ１８に供給する。

ステップＳ７において、画像デコーダ３７は、ステップＳ６のデコード処理において他のユーザ（通話相手）に関する再生動画像信号へのデコードが完了すると、他のユーザ（通話相手）の画像である相手画像が更新されたことを示す相手画像更新通知をＬＣＤ制御部３６に供給する。

ステップＳ８において、ＣＣＤカメラ２０は、主制御部３１の制御に従い、所定の時間ごとに被写体であるユーザを撮像し、撮像されたユーザ（被写体）に関する動画像信号（再生動画像信号）をカメラインタフェース部３５を介して画像エンコーダ３４に供給する。なお、カメラ付ディジタル携帯電話機３の所有者であるユーザを「被写体」と定義する。また、画像エンコーダ３４に供給された再生動画像信号は、画像エンコーダ３４を経由して、後述する図７のステップＳ３２でＬＣＤ制御部３６に供給される（すなわち、ＬＣＤ制御部３６が、画像エンコーダ３４を経由して、ＣＣＤカメラ２０で撮像されたユーザ（被写体）に関する再生動画像信号を取得する）。

ステップＳ９において、画像エンコーダ３４は、主制御部３１の制御に従い、ＣＣＤカメラ２０から供給されたユーザ（被写体）に関する動画像信号を、液晶ディスプレイ１７に表示するために保持する（勿論、一度エンコードしてから保持するようにしてもよい）とともに、例えばＭＰＥＧ（Moving Picture Experts Group）４などの所定の符号化方式によって圧縮符号化することにより符号化画像信号に変換し、変換されたユーザ（被写体）に関する符号化画像信号を多重分離部３８に送出する。このとき同時にカメラ付ディジタル携帯電話機３は、ＣＣＤカメラ２０で撮像中にマイクロフォン１５で集音した音声を音声コーデック４０を介してディジタルの音声信号として多重分離部３８に送出する。

ステップＳ１０において、画像エンコーダ３４は、ステップＳ９のエンコード処理においてユーザ（被写体）に関する符号化画像信号へのエンコードが完了すると、ユーザ自身の画像である自分画像が更新されたことを示す自分画像更新通知をＬＣＤ制御部３６に供給する。

ステップＳ１１において、通話時間処理部４９は、主制御部３１の制御に従い、図示せぬ表示更新タイマなどを用いて、テレビ電話の通話時間が予め設定された所定の時間（例えば１秒間など）さらに経過したか否かを判定する。

ステップＳ１１においてテレビ電話の通話時間が予め設定された所定の時間（例えば１秒間など）さらに経過したと判定された場合、通話時間処理部４９はステップＳ１２で、主制御部３１の制御に従い、テレビ電話の通話時間が更新されたことを示す通話時間更新通知をＬＣＤ制御部３６に供給する。なお、更新される通話時間に関するデータは、後述する図７のステップＳ３４においてＬＣＤ制御部３６に供給される。

ステップＳ１３において、多重分離部３８は、主制御部３１の制御に従い、画像エンコーダ３４から供給されたユーザ（被写体）に関する符号化画像信号と音声コーデック４０から供給されたユーザに関する音声信号とを所定の方式で多重化する。

ステップＳ１４において、主制御部３１は、その結果得られる多重化信号を所定の大きさに分割し、分割された多重化信号を格納するＲＴＰ（Real time Transport Protocol）パケットを生成する。ステップＳ１５において、主制御部３１は、生成されたＲＴＰパケットを図示せぬ送信バッファに逐次バッファリングする。

ステップＳ１６において、主制御部３１は、図示せぬ送信バッファにバッファリングされているＲＴＰパケットを逐次読み出して変復調回路部３９に供給する。変復調回路部３９は、主制御部３１の制御に従い、逐次供給されるＲＴＰパケットをスペクトラム拡散処理し、スペクトラム拡散処理後のＲＴＰパケットを送受信回路部４３に供給する。送受信回路部４３は、主制御部３１の制御に従い、変復調回路部３９から供給されたスペクトラム拡散処理後のＲＴＰパケットにディジタルアナログ変換処理及び周波数変換処理を施した後、これらをアンテナ４４を介して基地局２に送信する。

ステップＳ１７において、主制御部３１は、ユーザにより操作キー１４が操作されることによりテレビ電話処理を終了するとの指示がなされたか否かを判定する。

ステップＳ１７においてテレビ電話処理を終了するとの指示がなされていないと判定された場合、処理はステップＳ３に戻り、ステップＳ３以降の処理が繰り返される。これにより、ユーザによりテレビ電話処理を終了するとの指示がなされるまで、ユーザが所望する他のユーザ（テレビ電話の通話相手）とテレビ電話処理を実行することができる。

一方、ステップＳ１７においてテレビ電話処理を終了するとの指示がなされたと判定された場合、テレビ電話処理は終了する。

なお、図５のステップＳ７、ステップＳ１０、およびステップＳ１２において、更新通知（相手画像更新通知、自分画像更新通知、および通話時間更新通知）は、順次、ＬＣＤ制御部３６に供給される。ＬＣＤ制御部３６は、これらの更新通知に従い、ステップＳ６でデコードした再生動画像信号（デコードした再生動画像信号を保持したもの）、ステップＳ９で保持された後に画像エンコーダ３４から供給されたユーザ（被写体）に関する動画像信号、およびステップＳ１２で保持した通話時間に関するデータに基づいて、テレビ電話通話時の液晶ディスプレイ１７に表示される画面の表示制御処理（後述する図７の表示制御処理）を行う。

すなわち、液晶ディスプレイ１７は、ＬＣＤ制御部３６の制御に従い、取得された２つの動画像信号に基づく画像をテレビ電話通話時画面に表示するとともに、テレビ電話の通話時間をテレビ電話通話時画面に表示する。

例えば図６のテレビ電話通話時画面に示されるように、表示領域Ａに他のカメラ付ディジタル携帯電話機３から基地局２を介して受信された他のユーザ（通話相手）の画像である相手画像が表示され、表示領域Ｂにユーザ自身の画像である自分画像が表示され、表示領域Ｃにテレビ電話の通話時間が表示される。

次に、図７のフローチャートを参照して、図５のフローチャートを参照して説明したテレビ電話処理に並行して実行される、図４のカメラ付ディジタル携帯電話機のＬＣＤ制御部３６におけるテレビ電話時での表示制御処理について説明する。

ステップＳ２１において、主制御部３１は、ＬＣＤ制御部３６を制御し、初期設定をさせる。すなわち、主制御部３１は、ＬＣＤ制御部３６を制御し、相手画像の表示を更新するか否かを示す相手画像表示更新フラグ、自分画像の表示を更新するか否かを示す自分画像表示更新フラグ、および通話時間の表示を更新するか否かを示す通話時間表示更新フラグをＯＦＦに設定させる。ＬＣＤ制御部３６は、主制御部３１の制御に従い、相手画像の表示を更新するか否かを示す相手画像表示更新フラグ、自分画像の表示を更新するか否かを示す自分画像表示更新フラグ、および通話時間の表示を更新するか否かを示す通話時間表示更新フラグをＯＦＦに設定する。

ステップＳ２２において、ＬＣＤ制御部３６は、画像デコーダ３７から供給される相手画像更新通知（他のユーザ（通話相手）の画像である相手画像が更新されたことを示す相手画像更新通知）を取得したか否かを判定する。

ステップＳ２２において画像デコーダ３７から供給される相手画像更新通知を取得したと判定された場合、ＬＣＤ制御部３６はステップＳ２３で、主制御部３１の制御に従い、相手画像（通話相手である他のユーザの画像）の表示を更新するか否かを示す相手画像表示更新フラグをＯＮに設定する。

ステップＳ２２において画像デコーダ３７から供給される相手画像更新通知を取得していないと判定された場合、ステップＳ２３の処理はスキップされる。すなわち、相手画像（通話相手である他のユーザの画像）の表示を更新するか否かを示す相手画像表示更新フラグは、ＯＦＦに設定されたまま維持される。

ステップＳ２４において、ＬＣＤ制御部３６、画像エンコーダ３４から供給される自分画像更新通知（ユーザ自身の画像である自分画像が更新されたことを示す自分画像更新通知）を取得したか否かを判定する。

ステップＳ２４において画像エンコーダ３４から供給される自分画像更新通知を取得したと判定された場合、ＬＣＤ制御部３６はステップＳ２５で、主制御部３１の制御に従い、自分画像（ユーザ自身の画像）の表示を更新するか否かを示す相手画像表示更新フラグをＯＮに設定する。

ステップＳ２４において画像エンコーダ３４から供給される自分画像更新通知を取得していないと判定された場合、ステップＳ２５の処理はスキップされる。すなわち、自分画像（ユーザ自身の画像）の表示を更新するか否かを示す自分画像表示更新フラグは、ＯＦＦに設定されたまま維持される。

ステップＳ２６において、ＬＣＤ制御部３６、通話時間処理部４９から供給される通話時間更新通知（テレビ電話の通話時間が更新されたことを示す通話時間更新通知）を取得したか否かを判定する。

ステップＳ２６において通話時間処理部４９から供給される通話時間更新通知を取得したと判定された場合、ＬＣＤ制御部３６はステップＳ２７で、主制御部３１の制御に従い、テレビ電話の通話時間の表示を更新するか否かを示す通話時間表示更新フラグをＯＮに設定する。

ステップＳ２６において通話時間処理部４９から供給される通話時間更新通知を取得していないと判定された場合、ステップＳ２７の処理はスキップされる。すなわち、テレビ電話の通話時間の表示を更新するか否かを示す通話時間表示更新フラグは、ＯＦＦに設定されたまま維持される。

ステップＳ２８において、主制御部３１は、内蔵された表示更新タイマを用いて、直前に行われた表示の更新から予め設定された所定の時間（例えば１／１５秒間（約６６ミリ秒間）など）が経過したか否かを判定する。

ステップＳ２８において直前に行われた表示の更新から予め設定された所定の時間（１／１５秒間（約６６ミリ秒間）など）が経過していないと判定された場合、処理はステップ２２に戻り、ステップＳ２２以降の処理が繰り返し実行される。これにより、直前に行われた表示の更新から予め設定された所定の時間（１／１５秒間（約６６ミリ秒間）など）が経過するまで、相手画像更新通知、自分画像更新通知、および通話時間更新通知を逐次取得し、適宜、それぞれの表示更新フラグをＯＮに設定することができる。

ステップＳ２８において直前に行われた表示の更新から予め設定された所定の時間（１／１５秒間（約６６ミリ秒間）など）が経過したと判定された場合、ＬＣＤ制御部３６はステップＳ２９で、主制御部３１の制御に従い、ＬＣＤ制御部３６において相手画像表示更新フラグの設定状態がＯＮであるか否かを判定する。

ステップＳ２９においてＬＣＤ制御部３６において相手画像表示更新フラグの設定状態がＯＮであると判定された場合、ＬＣＤ制御部３６はステップＳ３０で、主制御部３１の制御に従い、画像デコーダ３７から供給された他のユーザ（通話相手）に関する再生動画像信号を取得する。

ステップＳ２９においてＬＣＤ制御部３６において相手画像表示更新フラグの設定状態がＯＮではないと判定された場合（すなわち、ＬＣＤ制御部３６において相手画像表示更新フラグの設定状態がＯＦＦであると判定された場合）、ステップＳ３０の処理はスキップされる。

ステップＳ３１において、ＬＣＤ制御部３６、ＬＣＤ制御部３６において自分画像表示更新フラグの設定状態がＯＮであるか否かを判定する。

ステップＳ３１においてＬＣＤ制御部３６において自分画像表示更新フラグの設定状態がＯＮであると判定された場合、ＬＣＤ制御部３６はステップＳ３２で、主制御部３１の制御に従い、画像エンコーダ３４から供給されたユーザ（被写体）に関する再生動画像信号を取得する。

ステップＳ３１においてＬＣＤ制御部３６において自分画像表示更新フラグの設定状態がＯＮではないと判定された場合（すなわち、ＬＣＤ制御部３６において自分画像表示更新フラグの設定状態がＯＦＦであると判定された場合）、ステップＳ３２の処理はスキップされる。

ステップＳ３３において、ＬＣＤ制御部３６、ＬＣＤ制御部３６において通話時間表示更新フラグの設定状態がＯＮであるか否かを判定する。

ステップＳ３３においてＬＣＤ制御部３６において通話時間表示更新フラグの設定状態がＯＮであると判定された場合、ＬＣＤ制御部３６はステップＳ３４で、主制御部３１の制御に従い、通話時間処理部４９から供給された更新される通話時間に関するデータを取得する。

ステップＳ３３においてＬＣＤ制御部３６において通話時間表示更新フラグの設定状態がＯＮではないと判定された場合（すなわち、ＬＣＤ制御部３６において通話時間表示更新フラグの設定状態がＯＦＦであると判定された場合、）、ステップＳ３４の処理はスキップされる。

ステップＳ３５において、ＬＣＤ制御部３６、ＬＣＤ制御部３６において相手画像表示更新フラグ、自分画像表示更新フラグ、および通話時間表示更新フラグのうちのいずれかの表示更新フラグの設定状態がＯＮであるか否かを判定する。

ステップＳ３５においていずれかの表示更新フラグの設定状態がＯＮであると判定された場合、ＬＣＤ制御部３６はステップＳ３６で、表示更新フラグの設定状態がＯＮであると判定されることでステップＳ２９乃至Ｓ３４の処理により取得された他のユーザ（通話相手）に関する再生動画像信号、ユーザ（被写体）に関する再生動画像信号、および更新される通話時間に関するデータのうちの少なくとも１つ以上に基づいて、液晶ディスプレイ１７に表示されるテレビ電話通話時画面の表示を更新させる。

液晶ディスプレイ１７は、ＬＣＤ制御部３６の制御に従い、取得された他のユーザ（通話相手）に関する再生動画像信号、ユーザ（被写体）に関する再生動画像信号、および更新される通話時間に関するデータの少なくとも１つ以上に基づいて、テレビ電話通話時画面の表示を更新する。すなわち、他のユーザ（通話相手）に関する再生動画像信号、ユーザ（被写体）に関する再生動画像信号、および更新される通話時間に関するデータのうち、例えば他のユーザ（通話相手）に関する再生動画像信号およびユーザ（被写体）に関する再生動画像信号が取得された場合、他のユーザ（通話相手）に関する再生動画像信号およびユーザ（被写体）に関する再生動画像信号に基づいて、テレビ電話通話時画面の表示が更新される。

その後、処理はステップＳ２１に進み、ステップＳ２１以降の処理が実行される。

これにより、ステップＳ２１の処理により相手画像表示更新フラグ、自分画像表示更新フラグ、および通話時間表示更新フラグが再び初期設定され（ＯＦＦに設定され）、逐次取得される更新通知に基づいてそれぞれの表示更新フラグがＯＮに設定され、表示更新処理が実行される。

ステップＳ３５においていずれの表示更新フラグの設定状態もＯＮではないと判定された場合、処理はステップＳ２１に戻り、その後、ステップＳ２１以降の処理が繰り返される。

図８［Ａ］および［Ｂ］は、図７のフローチャートを参照して説明した表示制御処理を実行しない場合と実行した場合における、自分画像、相手画像、および通話時間の更新時と、それらの表示処理のタイミングチャートを表している。

図８［Ａ］に示されるように、図７のフローチャートを参照して説明した表示制御処理を実行しない場合には、自分画像、相手画像、および通話時間が更新されるごとに表示処理が実行され、逐次、液晶ディスプレイ１７に自分画像、相手画像、および通話時間の表示が更新される。

一方、図８［Ｂ］に示されるように、図７のフローチャートを参照して説明した表示制御処理を実行した場合、自分画像、相手画像、および通話時間が更新されるごとには表示処理が実行されず、表示更新タイマを用いて予め設定された所定の時間ごとに、自分画像、相手画像、および通話時間のうち、予め設定された所定の時間内に更新されたものについて、まとめて同時に表示が更新される（すなわち、同期されて表示が更新される）。

具体的には、表示更新タイマ時刻Ｔ_０からＴ_１の間においては、自分画像、相手画像、および通話時間のうち、自分画像および相手画像が予め設定された所定の時間内に更新されており、表示更新タイマ時刻Ｔ_１に、自分画像、相手画像、および通話時間のうち、自分画像および相手画像の表示がまとめて同時に更新される（すなわち、同期されて表示が更新される）。

また、表示更新タイマ時刻Ｔ_１からＴ_２の間においては、自分画像、相手画像、および通話時間のうち、いずれについても予め設定された所定の時間内に更新されていないことから、表示更新タイマ時刻Ｔ_２には、いずれの表示も更新されない。

これにより、図７のフローチャートを参照して説明した表示制御処理を実行することで、例えば図８［Ａ］および［Ｂ］に示されるように、表示更新タイマ時刻Ｔ_０乃至Ｔ_６の間において、表示処理（表示更新処理）の回数を９回から５回に削減することができる。

次に、図９［Ａ］および［Ｂ］のグラフは、図７のフローチャートを参照して説明した表示制御処理を実行しない場合と実行した場合における主制御部３１内のＣＰＵの使用率の実験結果を表している。なお、図９［Ａ］および［Ｂ］のグラフの横軸は時間、縦軸は表示処理に要したＣＰＵ使用率を示している。

図９［Ａ］に示されるように、図７のフローチャートを参照して説明した表示制御処理を実行しない場合、ＣＰＵ使用率が１０％乃至３５％の間を遷移しているのに対して、図９［Ｂ］に示されるように、図７のフローチャートを参照して説明した表示制御処理を実行した場合、ＣＰＵ使用率が１０％乃至１８％の間を遷移している。

このことは、図７のフローチャートを参照して説明した表示制御処理を実行しない場合に比べて、図７のフローチャートを参照して説明した表示制御処理を実行した場合では、ＣＰＵ使用率のピークが約１７％下がり、単位時間当たりのＣＰＵ使用率も低下していることを示している。

本発明の実施形態においては、相手画像更新通知、自分画像更新通知、および通話時間更新通知が取得される度に、それぞれ、相手画像表示更新フラグ、自分画像表示更新フラグ、および通話時間表示更新フラグをＯＮに設定し、設定された手画像表示更新フラグ、自分画像表示更新フラグ、および通話時間表示更新フラグの設定状態に基づいて、予め設定された所定の時間ごとに相手画像、自分画像、および通話時間の表示を更新するようにしたので、テレビ電話を行う際に表示部に複数の表示内容を表示する場合に、複数の表示内容を同期させて表示を更新することができる。これにより、テレビ電話を行う際に、表示部（液晶ディスプレイ１７）における表示内容の更新回数を削減することができる。その結果、表示処理に伴うＣＰＵ使用率を低下させることができ、通信品質の低下を抑制することができる。また、本発明に係る情報処理装置に適用可能なカメラ付ディジタル携帯電話機３における電力消費を抑制することができる。

従って、テレビ電話を利用する際の利便性を向上させることができる。

ところで、図７のフローチャートを用いて説明した表示制御処理においては、それぞれの更新通知が取得される度に、表示更新フラグをＯＮに設定するようにしたが、例えば図示せぬ送信バッファの使用数（使用状況）が高い場合、送受信処理に比較的多くのＣＰＵ資源を割り当てる必要があるため、更新通知を取得したからといってその都度表示更新フラグをＯＮに設定し、表示更新処理を実行してしまうと、表示処理にＣＰＵの資源が占有されてしまい、結局、画像の送受信処理にＣＰＵの資源を割り当てることができなくなってしまう。その結果、生成されたＲＴＰパケットを破棄しなければならなくなり、画像と音声を通信規定に従って送信することができず、通信品質を低下させてしまう。

そこで、図示せぬ送信バッファの使用数（使用状況）が高いときには、それぞれの更新通知が取得されたとしても、その更新通知を破棄し、表示更新フラグをＯＮに設定せず、表示の更新をしないようにしてもよい。以下、この方法を用いた表示制御処理について説明する。

図１０のフローチャートを参照して、図４のカメラ付ディジタル携帯電話機３のＬＣＤ制御部３６における他の表示制御処理について説明する。なお、図１０のステップＳ４１乃至Ｓ４２、ステップＳ４４、およびステップＳ４６乃至Ｓ５６の処理は、図７のステップＳ２１乃至Ｓ２２、ステップＳ２４、およびステップＳ２６乃至Ｓ３６の処理と同様であり、その説明は繰り返しになるので省略する。

ステップＳ４２において画像デコーダ３７から供給される相手画像更新通知を取得したと判定された場合、カメラ付ディジタル携帯電話機３は、相手画像表示更新フラグ設定処理を実行する。この相手画像表示更新フラグ設定処理の詳細については、図１１のフローチャートに示されている。

図１１のフローチャートを参照して、図４のカメラ付ディジタル携帯電話機３における相手画像表示更新フラグ設定処理の詳細について説明する。

ステップＳ６１において、主制御部３１は、図示せぬ送信バッファの使用数が予め設定された所定の基準値（例えば送信バッファの最大値ｑmaxが４０の場合、３０など）よりも大きいか否かを判定する。

ステップＳ６１において図示せぬ送信バッファの使用数が予め設定された所定の基準値よりも大きいと判定された場合、主制御部３１は、図示せぬ送信バッファの使用数に基づいて、更新通知を取得したとしてもその更新通知を破棄する時間である更新通知破棄時間を算出する。

より具体的には、例えば図１２［Ａ］のグラフに示される曲線ａなどになるように予め決められた［数１］を用いて、図示せぬ送信バッファの使用数に基づいて、更新通知を取得したとしてもその更新通知を破棄する時間である更新通知破棄時間を算出する。

ここで、記号ｔ、ｑ、ｆmax、およびｑmaxは、それぞれ、更新通知破棄時間、図示せぬ送信バッファの使用数、フレームレートの最大値、および送信バッファの最大値を示している。

図１２［Ａ］および［Ｂ］の場合、ｆmaxが１５で、かつ、ｑmaxが４０であり、図示せぬ送信バッファの使用数ｑが３０であるとき、更新通知破棄時間は０．２１となり、また、図示せぬ送信バッファの使用数ｑが３８であるとき、更新通知破棄時間は０．５７となる。すなわち、図示せぬ送信バッファの使用数が高ければ高いほど、送受信処理により多くのＣＰＵ資源を割り当てる必要があることから、更新通知を取得したとしてもその更新通知を破棄する時間である更新通知破棄時間は長くなる。勿論、フレームレートが高い場合についても更新通知破棄時間が長くなるように、［数式１］を予め決定するようにしてもよい。

ステップＳ６３において、主制御部３１は、前回の相手画像更新通知を取得した取得時刻と、今回の相手画像更新通知を取得した取得時刻との差分を算出する。

ステップＳ６４において、主制御部３１は、算出された相手画像更新通知の取得時刻の差分が、算出された更新通知破棄時間以上であるか否かを判定する。

すなわち、例えば図１２［Ａ］および［Ｂ］に示されるようにｆmaxが１５、ｑmaxが４０、かつ、図示せぬ送信バッファの使用数ｑが３８であり、更新通知破棄時間が０．５７である場合、算出された相手画像更新通知の取得時刻の差分が０．７０であるときには、相手画像更新通知の取得時刻の差分が更新通知破棄時間以上であると判定される。

ステップＳ６４において算出された相手画像更新通知の取得時刻の差分が算出された更新通知破棄時間以上であると判定された場合、ＬＣＤ制御部３６はステップＳ６５で、主制御部３１の制御に従い、相手画像（通話相手である他のユーザの画像）の表示を更新するか否かを示す相手画像表示更新フラグをＯＮに設定する。

その後、処理は図１０のステップＳ４４に戻る。

ステップＳ６４において算出された相手画像更新通知の取得時刻の差分が算出された更新通知破棄時間以上ではないと判定された場合（すなわち、算出された相手画像更新通知の取得時刻の差分が算出された更新通知破棄時間よりも小さいと判定された場合）、ステップＳ６５の処理はスキップされる。すなわち、相手画像（通話相手である他のユーザの画像）の表示を更新するか否かを示す相手画像表示更新フラグは、ＯＦＦに設定されたまま維持される。

その後、処理は図１０のステップＳ４４に戻る。

一方、ステップＳ６１において図示せぬ送信バッファの使用数が予め設定された所定の基準値（例えば送信バッファの最大値ｑmaxが４０の場合、３０など）よりも小さいと判定された場合、処理はステップＳ６５に進み、ステップＳ６５において相手画像表示更新フラグがＯＮに設定される。

これにより、図示せぬ送信バッファの使用数が予め設定された所定の基準値（例えば送信バッファの最大値ｑmaxが４０の場合、３０など）より小さいと判定された場合、図示せぬ送信バッファの使用状況は低いことから、ステップＳ６５において相手画像表示更新フラグをＯＮに設定し、表示を更新するようにすることができる。

その後、処理は図１０のステップＳ４４に戻る。

以上のように、テレビ電話の際に図示せぬ送信バッファの使用数（使用状況）が予め設定された所定の基準値よりも小さい場合、相手画像更新通知が取得される度に相手画像表示更新フラグをＯＮに設定することができる一方、図示せぬ送信バッファの使用数（使用状況）が予め設定された所定の基準値よりも高い場合、送信バッファの使用数などに基づいて更新通知破棄時間を算出し、相手画像更新通知の取得時刻の差分が算出された更新通知破棄時間以上であると判定されたとき、相手画像更新通知が取得される度に相手画像表示更新フラグをＯＮに設定し、相手画像更新通知の取得時刻の差分が算出された更新通知破棄時間よりも小さいと判定されたとき、その更新通知を破棄し、相手画像表示更新フラグをＯＮに設定しないようにすることができる。

図１０に戻り、ステップＳ４４において画像エンコーダ３４から供給される自分画像更新通知を取得したと判定された場合、カメラ付ディジタル携帯電話機３は、自分画像表示更新フラグ設定処理を実行する。この自分画像表示更新フラグ設定処理の詳細については、図１３のフローチャートに示されている。

図１３のフローチャートを参照して、図４のカメラ付ディジタル携帯電話機３における自分画像表示更新フラグ設定処理の詳細について説明する。

ステップＳ７１において、主制御部３１は、図示せぬ送信バッファの使用数が予め設定された所定の基準値（例えば送信バッファの最大値ｑmaxが４０の場合、３０など）よりも大きいか否かを判定する。

ステップＳ７１において図示せぬ送信バッファの使用数が予め設定された所定の基準値よりも大きいと判定された場合、主制御部３１はステップＳ７２で、図示せぬ送信バッファの使用数に基づいて、更新通知を取得したとしてもその更新通知を破棄する時間である更新通知破棄時間を算出する。なお、更新通知破棄時間の算出方法については、図１１のステップＳ６２において説明した算出方法と同様であり、その説明は繰り返しになるので省略する。

ステップＳ７３において、主制御部３１は、前回の自分画像更新通知を取得した取得時刻と、今回の自分画像更新通知を取得した取得時刻との差分を算出する。

ステップＳ７４において、主制御部３１は、算出された自分画像更新通知の取得時刻の差分が、算出された更新通知破棄時間以上であるか否かを判定する。

すなわち、例えば図１２［Ａ］および［Ｂ］に示されるようにｆmaxが１５、ｑmaxが４０、かつ、図示せぬ送信バッファの使用数ｑが３８であり、更新通知破棄時間が０．５７である場合、算出された自分画像更新通知の取得時刻の差分が０．５０であるとき、自分画像更新通知の取得時刻の差分が更新通知破棄時間以上ではないと判定される（すなわち、自分画像更新通知の取得時刻の差分が更新通知破棄時間よりも小さいと判定される）。

ステップＳ７４において算出された自分画像更新通知の取得時刻の差分が算出された更新通知破棄時間以上であると判定された場合、ＬＣＤ制御部３６はステップＳ７５で、主制御部３１の制御に従い、自分画像（ユーザ自身の画像）の表示を更新するか否かを示す自分画像表示更新フラグをＯＮに設定する。

その後、処理は図１０のステップＳ４６に戻る。

ステップＳ７４において算出された自分画像更新通知の取得時刻の差分が算出された更新通知破棄時間以上ではないと判定された場合（すなわち、算出された自分画像更新通知の取得時刻の差分が算出された更新通知破棄時間よりも小さいと判定された場合）、ステップＳ７５の処理はスキップされる。すなわち、自分画像（ユーザ自身の画像）の表示を更新するか否かを示す自分画像表示更新フラグは、ＯＦＦに設定されたまま維持される。

その後、処理は図１０のステップＳ４６に戻る。

一方、ステップＳ７１において図示せぬ送信バッファの使用数が予め設定された所定の基準値（例えば送信バッファの最大値ｑmaxが４０の場合、３０など）よりも小さいと判定された場合、処理はステップＳ７５に進み、ステップＳ７５において自分画像表示更新フラグがＯＮに設定される。

これにより、図示せぬ送信バッファの使用数が予め設定された所定の基準値（例えば送信バッファの最大値ｑmaxが４０の場合、３０など）より小さいと判定された場合、図示せぬ送信バッファの使用状況は低いことから、ステップＳ７５において自分画像表示更新フラグをＯＮに設定し、表示を更新するようにすることができる。

その後、処理は図１０のステップＳ４７に戻る。

以上のように、テレビ電話の際に図示せぬ送信バッファの使用数（使用状況）が予め設定された所定の基準値よりも小さい場合、自分画像更新通知が取得される度に自分画像表示更新フラグをＯＮに設定することができる一方、図示せぬ送信バッファの使用数（使用状況）が予め設定された所定の基準値よりも高い場合、送信バッファの使用数などに基づいて更新通知破棄時間を算出し、自分画像更新通知の取得時刻の差分が算出された更新通知破棄時間以上であると判定されたとき、自分画像更新通知が取得される度に自分画像表示更新フラグをＯＮに設定し、自分画像更新通知の取得時刻の差分が算出された更新通知破棄時間よりも小さいと判定されたとき、その更新通知を破棄し、自分画像表示更新フラグをＯＮに設定しないようにすることができる。

本発明の実施形態においては、テレビ電話の際に図示せぬ送信バッファの使用数（使用状況）が低い場合、相手画像更新通知、自分画像更新通知、および通話時間更新通知が取得される度に、それぞれ、相手画像表示更新フラグ、自分画像表示更新フラグ、および通話時間表示更新フラグをＯＮに設定し、一方、図示せぬ送信バッファの使用数（使用状況）が高い場合、送信バッファの使用数（使用状況）に応じてそれらの更新通知（相手画像更新通知と自分画像更新通知）を破棄し、設定された相手画像表示更新フラグ、自分画像表示更新フラグ、および通話時間表示更新フラグの設定状態に基づいて、予め設定された所定の時間ごとに相手画像、自分画像、および通話時間の表示を更新するようにしたので、テレビ電話を行う際に表示部（液晶ディスプレイ１７）に複数の表示内容（例えば相手画像、自分画像、および通話時間など）を表示する場合に、複数の表示内容を同期させて表示を更新することができる。これにより、テレビ電話を行う際に、表示部における表示内容の更新回数をより削減することができる。その結果、表示処理に伴うＣＰＵ使用率をより低下させることができ、通信品質の低下をより抑制することができる。また、本発明に係る情報処理装置に適用可能なカメラ付ディジタル携帯電話機３における電力消費をさらに抑制することができる。

従って、テレビ電話を利用する際の利便性をより向上させることができる。

なお、本発明の実施形態においては、図示せぬ送信バッファの使用数が高い場合に更新通知（相手画像更新通知と自分画像更新通知）を破棄して表示更新を行わないようにしたが、このような場合に限定されず、ＣＣＤカメラ２０から供給されたユーザ（被写体）に関する動画像信号を破棄するようにしてもよい。これにより、多重化信号を格納するＲＴＰパケットを生成する際のＲＴＰパケットの量を削減し、図示せぬ送信バッファの使用数自体を低く抑えることができる。

また、本発明の実施形態においては、ＣＣＤカメラ２０で撮像されたユーザ（被写体）に関する動画像信号（再生動画像信号）を一旦画像エンコーダ３４に供給して保持してから、エンコードが完了した後に所定のタイミングで、画像エンコーダ３４から動画像信号をＬＣＤ制御部３６に供給するようにしたが、このような場合に限られず、いずれの場所で生成された動画像信号を保持するようにしてもよく、例えば、ＣＣＤカメラ２０で撮像されたユーザ（被写体）に関する動画像信号（再生動画像信号）を画像エンコーダ３４を経由してＬＣＤ制御部３６に逐次供給して保持してから、画像エンコーダ３４におけるエンコード完了後の所定のタイミングで保持された動画像信号を読み出して表示制御処理を実行するようにしてもよい。また、ユーザ（被写体）に関する動画像信号（再生動画像信号）をＣＣＤカメラ２０から直接、画像エンコーダ３４を介さずにＬＣＤ制御部３６に供給して保持させるようにしてもよい。

なお、本発明の実施形態においては、内蔵された表示更新タイマを用いて、予め設定された所定の時間として例えば１／１５秒間（約６６ミリ秒間）に設定するようにしたが、このような場合に限られず、テレビ電話を行う際のフレームレートの最大値に基づいて表示更新する所定の時間を設定するようにしてもよい。すなわち、通信状況に応じて、フレームレートを７．５ｆｐｓにするのに伴い、予め設定された所定の時間として例えば１／７．５秒間（約１３０ミリ秒間）に設定するようにしてもよい。これにより、表示の更新の間隔を長くすることができ、その結果、カメラ付ディジタル携帯電話機３における電力消費を抑制することができる。なお、ユーザの好みや通信状況に応じて、適宜、予め設定された所定の時間を変更するようにしてもよい。

また、本発明の実施形態においては、２地点間におけるテレビ電話に適用するようにしたが、このような場合に限られず、３地点以上の間におけるテレビ電話にも適用することができる。この場合、液晶ディスプレイ１７に表示される表示内容には、複数のユーザの画像が含まれることになる。そのため、本発明を適用することで、テレビ電話を行い際に、表示部における表示内容の更新回数をより削減することができる。その結果、表示処理に伴うＣＰＵ使用率をより低下させることができ、通信品質の低下をより抑制することができる。また、本発明に係る情報処理装置に適用可能なカメラ付ディジタル携帯電話機３における電力消費をさらに抑制することができる。

さらに、本発明は、テレビ電話を行う際に画像信号と音声信号だけでなく、テキストデータを送受信し、液晶ディスプレイ１７に表示内容として相手画像や自分画像、通話時間に加えてテキストデータを表示する場合にも適用することができる。

なお、本発明は、カメラ付ディジタル携帯電話機３以外にも、ＰＤＡ（Personal Digital Assistant）、パーソナルコンピュータ、携帯型音楽再生機、その他の情報処理装置にも適用することができる。

また、本発明の実施形態において説明した一連の処理は、ソフトウェアにより実行させることもできるが、ハードウェアにより実行させることもできる。

さらに、本発明の実施形態では、フローチャートのステップは、記載された順序に沿って時系列的に行われる処理の例を示したが、必ずしも時系列的に処理されなくとも、並列的あるいは個別実行される処理をも含むものである。

本発明に係るネットワークシステムの概略的な構成を示す図。本発明に係る情報処理装置に適用可能なカメラ付ディジタル携帯電話機の外観の構成を示す外観図。本発明に係る情報処理装置に適用可能なカメラ付ディジタル携帯電話機の他の外観の構成を示す外観図。本発明に係る情報処理装置に適用可能なカメラ付ディジタル携帯電話機の内部の構成を示すブロック図。図４のカメラ付ディジタル携帯電話機におけるテレビ電話処理を説明するフローチャート。図４の液晶ディスプレイに表示されるテレビ電話通話時画面の表示例を示す図。図４のカメラ付ディジタル携帯電話機における表示制御処理を説明するフローチャート。［Ａ］および［Ｂ］は、図７のフローチャートを参照して説明した表示制御処理を実行しない場合と実行した場合における、自分画像、相手画像、および通話時間の更新時とそれらの表示処理のタイミングチャートを示す図。図７のフローチャートを参照して説明した表示制御処理を実行しない場合と実行した場合におけるＣＰＵの使用率の実験結果を示す図。図４のカメラ付ディジタル携帯電話機における他の表示制御処理を説明するフローチャート。図１０のステップＳ４３の相手画像更新表示フラグ設定処理の詳細を説明するフローチャート。［Ａ］および［Ｂ］は、送信バッファの使用数と更新通知破棄時間との関係を示す図。図１０のステップＳ４５の相手画像更新表示フラグ設定処理の詳細を説明するフローチャート。

符号の説明

１…ネットワークシステム、２（２−１乃至２−４）…基地局、３（３−１乃至３−４）…情報処理装置、１１…ヒンジ、１２…第１の筐体、１３…第２の筐体、１４…操作キー、１５…マイクロフォン、１６…サイドキー、１７…液晶ディスプレイ、１８…スピーカ、１９a乃至１９d…磁気センサ、２０…ＣＣＤカメラ、２１…サブディスプレイ、２２…静電タッチパッド、３１…主制御部、３２…電源回路、３３…操作入力制御部、３４…画像エンコーダ、３５…カメラI/F部、３６…ＬＣＤ制御部、３７…画像デコーダ、３８…多重分離部、３９…変復調回路部、４０…音声コーデック、４１…メインバス、４２…同期バス、４３…送受信回路部、４４…アンテナ、４５…記録再生部、４６…メモリカード、４７…記憶部、４８…音楽制御部、４９…通話時間処理部。

Claims

テレビ電話を行う際に外部に送信する送信画像情報を順次取得するカメラと、
テレビ電話を行う際に外部から受信画像情報を順次受信する受信手段と、
テレビ電話を行う際に前記カメラによって取得された送信画像情報に基づく送信画像を送信画像表示領域に表示するとともに、テレビ電話を行う際に前記受信手段によって外部より受信された受信画像情報に基づく受信画像を受信画像表示領域に表示する表示手段と、
テレビ電話を行う際に外部に送信する前記送信画像情報を前記カメラによって新たに取得した後に、取得された前記送信画像情報を符号化し、前記送信画像情報に基づく送信画像を前記表示手段に表示するための要求を供給する第１の供給手段と、
テレビ電話を行う際に、前記受信手段により前記受信画像情報を外部より新たに受信した後に、取得された前記受信画像情報を復号化し、前記受信画像情報に基づく受信画像を前記表示手段に表示するための要求を供給する第２の供給手段と、
前記カメラによって前記送信画像情報を新たに取得した後に、前記第１の供給手段から供給された、前記送信画像情報に基づく送信画像を前記表示手段に表示するための要求を受けつけ、
前記受信手段によって前記受信画像情報を新たに受信した後に、前記第２の供給手段から供給された、前記受信画像情報に基づく受信画像を前記表示手段に表示するための要求を受けつけ、
表示更新タイマを用いて予め設定された所定時間ごとに前記送信画像情報に基づく送信画像を表示するための要求を受け付けたか、前記受信画像情報に基づく受信画像を表示するための要求を受け付けたかを判断し、少なくともいずれかの表示要求があったと判断された場合、表示の要求があった前記送信画像表示領域と前記受信画像表示領域との少なくともいずれか一方における表示を更新し、いずれの表示要求もなければ、前記表示手段の前記送信画像表示領域と前記受信画像表示領域における表示を更新しないように制御する表示制御手段と
を有することを特徴とする携帯端末。
テレビ電話を行う際に外部に送信する送信画像情報を順次取得するカメラと、
テレビ電話を行う際に外部から受信画像情報を順次受信する受信手段と、
テレビ電話を行う際に前記カメラによって取得された送信画像情報に基づく送信画像を送信画像表示領域に表示するとともに、テレビ電話を行う際に前記受信手段によって外部より受信された受信画像情報に基づく受信画像を受信画像表示領域に表示し、テレビ電話の通話時間を通話時間表示領域に表示する表示手段と、
テレビ電話を行う際に外部に送信する前記送信画像情報を前記カメラによって新たに取得した後に、取得された前記送信画像情報を符号化し、前記送信画像情報に基づく送信画像を前記表示手段に表示するための要求を供給する第１の供給手段と、
テレビ電話を行う際に、前記受信手段により前記受信画像情報を外部より新たに受信した後に、取得された前記受信画像情報を復号化し、前記受信画像情報に基づく受信画像を前記表示手段に表示するための要求を供給する第２の供給手段と、
テレビ電話の通話時間を前記表示手段に表示するための要求を供給する第３の供給手段と、
前記カメラによって前記送信画像情報を新たに取得した後に、前記第１の供給手段から供給された、前記送信画像情報に基づく送信画像を前記表示手段に表示するための要求を受けつけ、
前記受信手段によって前記受信画像情報を新たに受信した後に、前記第２の供給手段から供給された、前記受信画像情報に基づく受信画像を前記表示手段に表示するための要求を受けつけ、
通話時間の表示を更新するタイミングで前記第３の供給手段から供給された、通話時間を前記表示手段に表示するための要求を受けつけ、
表示更新タイマを用いて予め設定された所定時間ごとに前記送信画像情報に基づく送信画像を表示するための要求を受け付けたか、前記受信画像情報に基づく受信画像を表示するための要求を受け付けたか、通話時間を表示するための要求を受け付けたかを判断し、少なくともいずれかの表示要求があったと判断された場合、表示の要求があった前記送信画像表示領域、前記受信画像表示領域、および前記通話時間表示領域の少なくともいずれか１つ以上における表示を更新し、いずれの表示要求もなければ、前記表示手段の前記送信画像表示領域、前記受信画像表示領域、および通話時間表示領域における表示を更新しないように制御する表示制御手段と
を有することを特徴とする携帯端末。
テレビ電話を行う際に外部に送信する送信画像情報を順次取得するカメラと、
テレビ電話を行う際に外部から受信画像情報を順次受信する受信手段と、
テレビ電話を行う際に前記カメラによって取得された送信画像情報に基づく送信画像を送信画像表示領域に表示するとともに、テレビ電話を行う際に前記受信手段によって外部より受信された受信画像情報に基づく受信画像を受信画像表示領域に表示し、テレビ電話の通話時間を通話時間表示領域に表示する表示手段と、
テレビ電話を行う際に外部に送信する前記送信画像情報を前記カメラによって新たに取得した後に、取得された前記送信画像情報を符号化し、前記送信画像情報に基づく送信画像を前記表示手段に表示するための要求を供給する第１の供給手段と、
テレビ電話を行う際に、前記受信手段により前記受信画像情報を外部より新たに受信した後に、取得された前記受信画像情報を復号化し、前記受信画像情報に基づく受信画像を前記表示手段に表示するための要求を供給する第２の供給手段と、
テレビ電話の通話時間を前記表示手段に表示するための要求を供給する第３の供給手段と、
前記カメラによって前記送信画像情報を新たに取得した後に、前記第１の供給手段から供給された、前記送信画像情報に基づく送信画像を前記表示手段に表示するための要求を受けつけ、
前記受信手段によって前記受信画像情報を新たに受信した後に、前記第２の供給手段から供給された、前記受信画像情報に基づく受信画像を前記表示手段に表示するための要求を受けつけ、
通話時間の表示を更新するタイミングで前記第３の供給手段から供給された、通話時間を前記表示手段に表示するための要求を受けつけ、
表示更新タイマを用いて予め設定された所定時間ごとのタイミングで前記送信画像情報に基づく送信画像を表示するための要求を受け付けたか、前記受信画像情報に基づく受信画像を表示するための要求を受け付けたか、通話時間を表示するための要求を受け付けたかを判断し、少なくともいずれかの表示要求があったと判断された場合、表示の要求があった前記送信画像表示領域、前記受信画像表示領域、および前記通話時間表示領域の少なくともいずれか１つ以上における表示を更新し、いずれの表示要求もなければ、そのタイミングにおいて前記表示手段の前記送信画像表示領域、前記受信画像表示領域、および前記通話時間表示領域における表示を更新しないように制御し、前記所定時間ごと以外のタイミングでは前記表示手段の表示を更新しないように制御する表示制御手段と
を有することを特徴とする携帯端末。
テレビ電話を行う際に外部に送信する送信画像情報を順次取得するカメラと、
テレビ電話を行う際に外部から受信画像情報を順次受信する受信手段と、
テレビ電話を行う際に前記カメラによって取得された送信画像情報に基づく送信画像を送信画像表示領域に表示するとともに、テレビ電話を行う際に前記受信手段によって外部より受信された受信画像情報に基づく受信画像を受信画像表示領域に表示し、テレビ電話の通話時間を通話時間表示領域に表示する表示手段と、
テレビ電話を行う際に外部に送信する前記送信画像情報を前記カメラによって新たに取得した後に、取得された前記送信画像情報を符号化し、前記送信画像情報に基づく送信画像を前記表示手段に表示するための要求を供給する第１の供給手段と、
テレビ電話を行う際に、前記受信手段により前記受信画像情報を外部より新たに受信した後に、取得された前記受信画像情報を復号化し、前記受信画像情報に基づく受信画像を前記表示手段に表示するための要求を供給する第２の供給手段と、
テレビ電話の通話時間を前記表示手段に表示するための要求を供給する第３の供給手段と、
前記カメラによって前記送信画像情報を新たに取得した後に、前記第１の供給手段から供給された、前記送信画像情報に基づく送信画像を前記表示手段に表示するための要求を受けつけ、
前記受信手段によって前記受信画像情報を新たに受信した後に、前記第２の供給手段から供給された、前記受信画像情報に基づく受信画像を前記表示手段に表示するための要求を受けつけ、
通話時間の表示を更新するタイミングで前記第３の供給手段から供給された、通話時間を前記表示手段に表示するための要求を受けつけ、
表示更新タイマを用いて予め設定された所定時間ごとのタイミングで前記送信画像情報に基づく送信画像を表示するための要求を受け付けたか、前記受信画像情報に基づく受信画像を表示するための要求を受け付けたか、通話時間を表示するための要求を受け付けたかを判断し、少なくともいずれかの表示要求があったと判断された場合、表示の要求があった前記送信画像表示領域、前記受信画像表示領域、および前記通話時間表示領域の少なくともいずれか１つ以上における表示を更新し、いずれの表示要求もなければ、そのタイミングにおいて前記表示手段の前記送信画像表示領域、前記受信画像表示領域、および前記通話時間表示領域における表示を更新しないように制御し、前記所定時間ごと以外のタイミングでは前記表示手段による前記送信画像情報に基づく送信画像、前記受信画像情報に基づく受信画像、および通話時間の表示を更新しないように制御する表示制御手段と
を有することを特徴とする携帯端末。
テレビ電話を行う際に外部に送信する送信画像情報を順次取得するカメラと、
テレビ電話を行う際に外部から受信画像情報を順次受信する受信手段と、
テレビ電話を行う際に前記カメラによって取得された送信画像情報に基づく送信画像を送信画像表示領域に表示するとともに、テレビ電話を行う際に前記受信手段によって外部より受信された受信画像情報に基づく受信画像を受信画像表示領域に表示する表示手段と、
テレビ電話を行う際に外部に送信する前記送信画像情報を前記カメラによって新たに取得した後に、取得された前記送信画像情報を符号化し、前記送信画像情報に基づく送信画像を前記表示手段に表示するための要求を供給する第１の供給手段と、
テレビ電話を行う際に、前記受信手段により前記受信画像情報を外部より新たに受信した後に、取得された前記受信画像情報を復号化し、前記受信画像情報に基づく受信画像を前記表示手段に表示するための要求を供給する第２の供給手段と、
前記カメラによって前記送信画像情報を新たに取得した後に、前記第１の供給手段から供給された、前記送信画像情報に基づく送信画像を前記表示手段に表示するための要求を受けつけ、
前記受信手段によって前記受信画像情報を新たに受信した後に、前記第２の供給手段から供給された、前記受信画像情報に基づく受信画像を前記表示手段に表示するための要求を受けつけ、
表示更新タイマを用いて予め設定された所定時間ごとのタイミングで前記送信画像情報に基づく送信画像を表示するための要求を受け付けたか、前記受信画像情報に基づく受信画像を表示するための要求を受け付けたかを判断し、少なくともいずれかの表示要求があったと判断された場合、表示の要求があった前記送信画像表示領域と前記受信画像表示領域との少なくともいずれか一方における表示を更新し、いずれの表示要求もなければ、そのタイミングにおいて前記表示手段の前記送信画像表示領域と前記受信画像表示領域とにおける表示を更新しないように制御し、前記所定時間ごと以外のタイミングでは前記表示手段による前記送信画像情報に基づく送信画像および前記受信画像情報に基づく受信画像の表示を更新しないように制御する表示制御手段と
を有することを特徴とする携帯端末。
テレビ電話を行う際に用いられる送信画像情報を順次取得するカメラと、
テレビ電話を行う際に用いられる受信画像情報を外部より順次受信する受信手段と、
テレビ電話機能において、前記送信画像情報に基づく送信画像と、前記受信画像情報に基づく受信画像とを表示する表示手段と、
前記カメラによって前記送信画像情報を新たに取得した後、前記送信画像情報を符号化したことに基づいて送信画像フラグを設定する第１設定手段と、
前記受信手段によって前記受信画像情報を新たに受信した後、前記受信画像情報を復号化したことに基づいて受信画像フラグを設定する第２設定手段と、
表示更新タイマを用いて予め設定された所定のタイミングで送信画像フラグ、受信画像フラグの少なくとも１つが設定されているかを確認し、少なくとも１つの画像フラグが設定されている場合にその設定された画像フラグに基づく表示の更新を行い、いずれの画像フラグも設定されていない場合には前記表示手段の表示を更新せず、その所定のタイミング以外は送信画像及び受信画像の表示を更新しないように制御する表示制御手段と
を有することを特徴とする携帯端末。
テレビ電話を行う際に用いられる送信画像情報を順次取得するカメラと、
テレビ電話を行う際に用いられる受信画像情報を外部より順次受信する受信手段と、
テレビ電話機能において、前記送信画像情報に基づく送信画像と、前記受信画像情報に基づく受信画像と、通話時間画像情報に基づく通話時間を表示する表示手段と、
前記カメラによって前記送信画像情報を新たに取得した後、前記送信画像情報を符号化したことに基づいて送信画像フラグを設定する第１設定手段と、
前記受信手段によって前記受信画像情報を新たに受信した後、前記受信画像情報を復号化したことに基づいて受信画像フラグを設定する第２設定手段と、
通話時間の表示を更新する要求に基づいて、通話時間画像フラグを設定する第３設定手段と、
表示更新タイマを用いて予め設定された所定のタイミングで送信画像フラグ、受信画像フラグ、通話時間画像フラグの少なくとも１つが設定されているかを確認し、少なくとも１つの画像フラグが設定されている場合にその設定された画像フラグに基づく表示の更新を行い、いずれの画像フラグも設定されていない場合には前記表示手段の表示を更新せず、その所定のタイミング以外は送信画像、受信画像、および通話時間の表示を更新しないように制御する表示制御手段と
を有することを特徴とする携帯端末。