WO2003077553A1

WO2003077553A1 - Dispositif de communication mobile, procede de commande d'affichage pour un dispositif de communication mobile et programme correspondant

Info

Publication number: WO2003077553A1
Application number: PCT/JP2002/002198
Authority: WO
Inventors: Tsuyoshi Senpuku; Hirohiko Higuchi; Tomoaki Tsukada; Daisuke Iizawa
Original assignee: Mitsubishi Denki Kabushiki Kaisha
Priority date: 2002-03-08
Filing date: 2002-03-08
Publication date: 2003-09-18
Also published as: JP4289153B2; JPWO2003077553A1

Description

明細書移動体通信装置、移動体通信装置の表示制御方法、並びに、そのプログラム技術分野

この発明は、携帯電話、無線通信機能を有する携帯情報端末等の移動体通信装置、その表示制御方法並びにプログラムに関するものであり、特に複数の表示装置を持つものに関する。背景技術

従来、様々なタイプの携帯電話が開発され利用されている。しかし、その多くは 1つの表示装置を持つものであった。また、複数の表示装置を持つものとして特開平 9一 2 4 7 2 5 0号公報に記載された携帯電話がある。この携帯電話では、折りたたみ可能な 2つの表示装置を 1つのスクリーンとして使用することにより、メール及び無線呼び出しによる文字メヅセージ、ファクシミリ或いはパーソナルコンビュ一夕等からの情報量の多いデ一夕等を表示することができる。

しかし、上述のような従来の携帯電話では、複数の表示装置を有する移動体通信装置を設け多くの情報を表示するのみで、複数の表示装置の操作に関しユーザィンターフェ一スを向上させる具体的な技術が開示されておらず、複数の表示装置を切り替え表示する場合など、ユーザの操作性の向上が図られていないという課題があった。発明の.開示

この発明は、以上説明した課題を解決するためになされたものであり複数の表示装置を有する移動体通信装置のュ一ザィン夕一フェースを向上することを目的とする。この発明による移動体通信装置においては、音声及び画像データを送受信する送受信手段と、文字又は画像を表示する第 1の表示手段及び第 2 の表示手段と、画像を撮影するカメラと、ユーザ操作を受け付ける入力デバイスと、第 1及び第 2の表示手段を制御し、送受信手段が受信した第 1の画像デ一夕を第 1の表示手段上に表示し、カメラが撮影した第 2の画像デ一夕を第 2の表示手段上に表示する 2画面ビデオ通話表示を実行するとともに、 2画面ビデオ通話表示を実行中に入力デバイスに入力があった場合、第 1及び第 2の画像データの合成画像を第 1及び第 2 の表示手段の一方に表示するとともに、入力に基づく処理を実行し処理結果を他方の表示手段に表示する制御手段と、を備えたものである。

また、制御手段は、入力デバイスに入力があった場合に、他方の表示手段に、複数の選択肢のそれぞれに対応する機能が割り付けられたメニユーを表示することを特徴とするものである。

また、動画像を記憶する記憶手段を備え、制御手段は、入力デバイスに入力があった場合に、メモリに記憶された動画像を送受信手段を介して送信するとともに、動画像を他の表示手段に表示することを特徴とするものである。

また、制御手段は、入力デバイスに入力があった場合に、動画像の記憶されたアドレスを送受信手段を介して送信するとともに、アドレスを用いてネットワークにアクセスし、動画像デ一夕をダウンロードして他の表示手段に表示することを特徴とするものである。

また、制御手段は、送受信手段がアドレスを受信した場合に、受信したアドレスにアクセスし、動画像データをダウン口一ドして他の表示手段に表示することを特徴とするものである。

また、制御手段は、動画像デ一夕再生の進渉に合わせて同期データを生成し、送受信手段を介して同期デ一夕を送信することを特徴とするものである。

また、制御手段は、送受信手段を介して同期デ一夕を受信したとき、同期デ一夕に基づいて動画像の再生速度を調整することを特徴とするものである。

また、制御手段は、 2画面ビデオ通話表示を実行中に送受信手段が表示要求を受信した場合、第 1及び第 2の画像デ一夕の合成画像を第 1及び第 2の表示手段の一方に表示するとともに、入力に基づく処理を実行し処理結果を他方の表示手段に表示することを特徴とするものである。また、制御装置は、表示要求の実行可否の問い合わせを第 1又は第 2 の表示装置上に表示し、ユーザが表示要求の実行を許容した場合に、表示要求に基づく処理を実行し、ユーザが表示要求の実行を許容しなかつた場合に、表示要求に基づく処理を実行しないことを特徴とするものである。この発明による移動体通信装置の表示制御方法では、移動体通信装置に設けられた複数の表示装置のそれぞれに映像を表示し、通話相手から受信した音声を再生する 2画面ビデオ通話ステップと、移動体通信装置に対する操作命令を受け付ける入力ステップと、移動体通信装置が操作命令を受けたとき、複数の表示装置で表示されていた映像の合成映像を生成し、複数の表示装置の一方に合成映像を表示するとともに、操作命令の実行結果を他の表示装置に表示する 1画面ビデオ通話ステップと、を備えたことを特徴とするものである。

また、 1画面ビデオ通話ステップは、他の表示装置に複数の選択肢のそれぞれに対応する機能が割り付けられたメニューを表示することを特徴とするものである。

また、移動体通信装置の送受信回路を介して、動画像を送信するステップを備え、 1画面ビデオ通話ステップは、他の表示装置に動画像を表示することを特徴とするものである。

また、 1画面ビデオ通話ステップは、送受信回路が受信した同期信号に基づいて動画の再生速度を調整することを特徴とするものである。また、 1画面表示ステップは、移動体通信装置の送受信回路が通信相手から命令信号を受信した場合、記憶装置に記憶された命令信号に対応する処理を実行し、実行結果を他の表示装置に表示することを特徴とする請求項 9に記載の移動体通信装置の表示制御方法。また、この発明のプログラムは、上述の表示制御方法のいずれか ¾コンピュー夕に実行させるものである。図面の簡単な説明

図 1は、この発明の移動体通信装置の構成を示すプロック図である。図 2は、この発明の移動体通信装置の正面図である。

図 3は、この発明の移動体通信装置の正面図である。 ' 図 4は、この発明の移動体通信装置の側面図である。

図 5は、この発明の移動体通信装置の側面図である。

図 6は、この発明の表示モード切替時のスクリーンを示す図である。図 7は、この発明の表示制御方法を示すフローチヤ一トである。図 8は、この発明のメニュー及びアプリケーション実行処理を示すフローチャートである。

図 9は、この発明の一画面モード時のスクリーンを示す図である。図 1 0は、この発明の動画像表示処理を示すフローチヤ一トである。図 1 1は、この発明の動画像表示時の通信シーケンスを示すシ一ケンス図である。

図 1 2は、この発明のネットワーク装置及びメディアサ一バ示すブロヅク図である。

図 1 3は、この発明の移動体通信装置の正面図である。

図 1 4は、この発明の移動体通信装置の側面図である。発明を実施するための最良の形態

図 1は、この発明の移動体通信装置の詳細を示すプロック図である。 MPUl (Micro Processing Unit)は、各デバイスの動作を制御する機能を持ち、バスを介してビデオ回路 2、ビデオデコーダ /エンコーダ、 I/O (Input and Output)コントロ一ラ 6、メモリ 9、送受信回路 1 0、音声デコーダ/エンコーダ 1 2に接続されている。ビデオ回路 2は、図示しないビデオメモリを備え、液晶表示装置 3 a、 3 bを電気的に駆動する。以下の説明において、液晶表示装置 3 aを主表示装置と呼び、液晶表示装置 3 bを副表示装置と呼ぶ。ビデオ回路 2は主表示装置 3 a (第 1の表示装置）及び副表示装置 3 b (第 2の表示装置）をそれぞれ独立に制御することができる。主表示装置 3 a及び副表示装置 3 bは、ビデォ回路 2からの制御信号に従って文字、静止画像、動画などの映像を表示する。ビデオデコーダ /エンコーダ 4は、カメラ 5で撮像された映像を MPEG4(Moving Picture Experts Group 4)等のェンコ一ド方式に従つて圧縮デ一夕にエンコードするエンコーダと、アンテナ 1 1及び送受信回路 1 0を介して受信したエンコードされたデータをデコードし、元の映像に復元するデコードとを有する回路である。このビデオデコーダ /エンコーダ 4として、例えば、市販されている MPEGデコーダ/ェンコーダ用 ICを使用できる。 I/Oコントローラ 6は、各種デバイスから入力信号を MPU1へ送信し、また MPU 1から各種デバイスへの出力信号を送信する入出力処理を行うコントローラである。開閉センサ 7は、移動可能に設けられた副表示装置 3 bの位置を検出するセンサである。例えば、副表示装置 3 bが閉じた位置に移動した場合に、スィッチが副表示装置 3 b又はその筐体によって押されるような位置にスィツチを設けてもよい。複数の操作ボタン 8は、それぞれ対応する機能や文字が割り付けられており、それぞれ入力デバイスとして使用される。メモリ 9は各種プログラム及びデ一夕を記憶する。メモリの種類（揮発性メモリ、不揮発性メモリ等）は、デ一夕の種類に応じて適切なものを使用する。送受信回路 1 0は、アンテナ 1 1を介した音声ゃデ一夕の通信を行う回路である。送受信回路 1 0は様々な種類の回路が知られており、既に広く普及している PDC(Personal Degital Cellular), GSM(Global System for Mobile Communications)^ CDMA(Code Division Multiple Access) 方式、或いは、これから広く普及するであろう次世代の通信方式、 W- CDMA(Wide-band Code Division Multiple Access)、 cdma2000方式等の通信方式用の送受信回路を使用することができる。音声デコーダ/ェンコーダ 1 2は、マイク 1 4により取得された音声信号を符号化するェンコーダと、送受信回路 1 0で受信した符号化されたデータを音声信号にデコードするデコーダとを有する回路である。音声の符号化方式としては、 CELP(Code Exited Linear Prediction)方式の符号化方式が広く知られている。音声デコーダ /エンコーダ 1 2でデコードされた音声信号は、スピーカ 1 3を介して再生される。なお、スピーカ 1 3は、音声信号に限らず、図示しないシンセサイザ回路で生成された電気信号によつて音楽、効果音を再生する。図 2及び 3は、移動体通信装置の正面図であり、図 1と同一の符号は同一又は相当の部分を表している。ここで、図 2は副表示装置 3 bを主表示装置 3 aの背面側に隠した状態を示している。副表示装置 3 bは図 3に示すように、本体筐体 2 0に対してスライドする構造を有しており、ユーザは、主表示装置 3 a及び 3 bを同時に使用することができる。また、ボタン 8 a〜8 cは操作ボタン 8として機能する入力デバイスである。セレクタ 8 aは、周縁部を押すことにより方向示す信号を生成する方向キーの機能と、ボタンの中心部を押下することにより指定した選択肢を確定し次の動作を指示する決定ボタンの機能を有する。例えば、ュ一ザがメニュー上の選択肢を指定する場合にスクリーンに表示された力一ソル又は強調表示の移動を指示し、ボタンを押下することにより、

MPU 1はその選択肢に割り当てられた処理を実行する。ソフトキ一 8 b は、主表示装置 3 a若しくは 3 bに表示された選択肢に対応して設けられ、表示された機能の実行を指示する場合に、使用される入力デバイスである。数字ボタン 8 cは、数字又は文字を入力するために使用される入力デバイスである。

図 4及び 5は、図 2及び 3に示した移動体通信装置の側面図であり、これらの図において図 1と同一の符号は同一又は相当の部分を表している。ここで、図 4は図 2と同様に、副表示装置 3 bが隠れており、使用できない状態を示している。一方、図 5は図 3に対応し、主表示装置 3 aが本体筐体 2 0に対してスライドし、引き出された状態を示している。図 5を見て分かるように、本体筐体 2 0と副表示装置 3 bを支持する副筐体 2 1とは、スライド面が曲面上に構成されている。そのため、副筐体 2 1を引き出すと、副筐体 2 1並びにカメラ 5、副表示装置 3 bが正面側に角度を変えながらせり出してくるため、カメラ 5及び副表示装置 3 bがユーザにとって使用しやすい角度に調整される。 (1) 2画面表示モードから 1画面表示モ一ドへの自動切替次に、上述の移動体通信装置の表示モ一ドの自動切替について説明す o 図 6は、画面表示モードの切り替え動作について示している。まず、図 6 ( a ) に示す 2画面表示モード（2画面ビデオ通話表示）では、ビデォ通話時において主表示装置 3 aがカメラ 5によって撮影された動画像（ユーザの画像）を表示し、副表示装置 3 bが通話相手の動画像を表示する。動画像は逐次更新され、また、相手方の音声もスピーカ 1 3から再生される。

次に、通話中オプション機能を実行したいと思ったとき、'ユーザはメニュ一ボタン 8 dを押す。すると、図 6 ( b ) に示すように、移動体通信装置は自動的に表示モードを切り替えて 1画面表示モ一ド（ 1画面ビデォ通話表示）に移行する。すなわち、副表示装置 3 bが通話相手及びュ一ザの合成画像を表示し、主表示装置 3 aはメニュ一を表示する。以降、ユーザは図 6 ( ό ) に示すように、セレクタ 8 aやソフトキ一 8 bを使用して、メニューに繋がる機能を次々と選択し、実行することができる。

以上のように、通常のビデオ通話中は、 2画面表示モードで複数の表示装置を有効に活用し、通話相手からの動画像、カメラ 5の画像を大きく表示することができる。また、ユーザが他の操作を同時に実行する場合には、メニューを押すことで 1画面表示モードに切り替わり、移動体通信装置は自動的に画面のレイァゥトを変更し、ビデオ通話に必要な合成画像とメニューとを同時に表示する。そのため、 2画面表示モードでビデオ通話中は他の操作をできないということもなく、また、他の操作の実行を可能にするために、初めからビデオ通話を 1つの表示装置のみで実行する必要もない。ュ一ザは、ビデオ通話中に自由に 2画面表示モ —ドと 1画面表示モードを動的に切り替えることができるため、この移動体通信装置は、ユーザにとって非常に使いやすいィン夕一フェースを提供することができる。次に、この切替処理を図 7のフローチャートを参照して説明する。まず、移動体信装置がビデオ通話を開始すると（ステップ S 1 ) 、カメラ 5が動画像の撮影を開始する。一方、送受信回路 1 0'は、通話相手から送信される音声デ一夕、画像デ一夕、及び Z又は他のデータを受信する（ステップ S 2 ) o

M P U 1は、メモリ 9にアクセスし、現在の表示モードをチェックす

Ό o

* 2画面表示モ一ド

表示モードが 2画面表示モードである場合には、 M P U 1は主表示装置 3 aに受信された動画像を表示し、副表示装置 3 bにカメラ 5によつて撮影された動画像を表示する（ステップ S 4 ) 。この際、ビデオデコ —ダ 4は、受信デ一夕を主表示装置 3 aで表示可能な形式にデコードし、また、ビデオエンコーダ 4は、カメラ 5で撮影された動画像をェンコ一ドし、送受信回路 1 0がエンコードされたデータを送信する。

表示が終わると、 M P U 1は操作ボタン 8の入力を受け付け (ステヅプ S 5 ) 、入力に対応した処理を行う (ステップ S 6 ) o 次に、 M P U 1は操作ボタン 8が押されたか、又は、送受信回路 1 0が通信相手からの命令を受け付けたか否かを調べる（ステップ S 7 ) 。 NOの場合には、 M P U 1はステップ S 2からの処理を再実行する。一方、 YESの場合には、 MPU 1はさらに操作ボタン 8の入力信号が通話終了を指示するものか調べる（ステップ S8) 。終了指示の場合には、 MPU1は通話終了処理を実行し、終了指示でない場合には、 MPU1はメモリ 9に 1画面表示モ一ドに変更されたことを記録して、ステップ S 2からの処理を再実行する（ステップ S9) 。ネ 1画面表示モード

一方、ステップ S 3で 1画面表示モードであると判断した場合には、 MP U1はカメラ 5で撮影した動画像を縮小する（ステップ S 10)。この縮小処理は、公知の画像処理技術で容易に実現できる。次に、 MPU1は、送受信回路 10で受信した動画像と縮小した動画像を合成し、 1つの合成映像を生成する（ステップ S 11)。動画像の合成については、スーパ一インポ一ズ機能など多くの公知技術を適用することができる。そして、 MPU1は合成映像を主表示装置 3 aに表示する（ステップ S 12) 。

表示が終わると、 MP U 1は操作ボタン 8の入力を受け付け（ステヅプ S 13) 、入力に対応した処理を行う (ステップ S 14) 。例えば、メニューの操作、ムービーの再生、メールの閲覧、機能設定等である。また、通話相手からムービの再生命令、送信されたテキストの表示命令等、表示画面の更新にかかわる命令を受信していた場合には、 MPU 1 は受信した命令に対応する処理を実行する。入力に対応した処理の説明は図 8を用いて後述する。

次に、 MPU 1はステヅプ S 14の処理結果を主表示装置 3 aに表示する（ステップ S 15) 。表示が終了すると、 MPU 1は操作ボタン 8 の入力に 1画面表示モ一ドの終了を指示する終了指示が無かったかについて調べる（ステップ S 16) 。終了指示は、例えば、メニューを表示しているときに、ソフトキ一 8 bの「戻る」ボタンが押された場合や、副表示装置 3 bを用いて実行していたアプリケーションが終了した場合に出力される。なお、アプリケーション実行中にも、 2画面表示モードに戻せるように、ソフトキー 8わに「2画面表示」というボタンを設けてもよい。

ここで、 NOの場合には、 MP U 1はステップ S 2からの処理を再実行する。一方、 YES の場合には、 MPU1はメモリ 9に 2画面表示モードに変更されたことを記録する（ステップ S17) 。 MPU1はさらに操作ボタン 8の入力信号が通話終了を指示するものか調べる（ステップ S 18) 。終了指示の場合には、 MPU1は通話終了処理を実行し、終了指示でない場合には、ステップ S 2からの処理を再実行する。

*各種アプリケ一ションの実行

次に、図 7のステツプ S 14等で実行される各種アプリケ一ションの処理について図 8を参照しながら説明する。

図 7の MP U 1がステップ S 13等の処理に続きステップ S 2 1の処理の実行を開始する。まず、 MPU 1がメニュー表示を行う必要があるかについて調べる（ステップ S 21) 。メニュー表示を行う場合は、例えば、メニューボタンが押された場合などである。 YESの場合、 MP U 1は、メモリ 9にアクセスしメニューとしてリストアップされている文字列と対応する処理のリストを読み出し、メニューを生成する（ステヅプ S 22) 。 NOの場合若しくはステップ S 22を終了すると、 MP U 1は、送受信回路 10が命令を受信したかを調べる（ステップ S 23)。なお、ステップ S 22において、通話相手からの命令を受信していた場合には、 MPU1 はさらに、命令を実行するかについてユーザに問い合わせる問い合わせ表示を液晶表示装置 3 a又は 3 b上に表示することができる（ステップ S 23 a) 。ュ一ザが実行を許容した場合、 MPU1 はステップ S 24以降の処理を行い、命令を実行するようにする。また、ユーザが命令の実行をしなかった場合には、 MPU1 は命令を実行せずにその旨の回答を送受信回路 10を介して通話相手に通知し、図 8の処理を終了し次の処理を実行する。このとき、ユーザの回答は操作ボタン 8が受け付けるが、予めユーザが設定した設定を参照し、命令を実行するかしないか決定することもできる。このステップ S 23 aはォプションの機能である。

ステップ S 24で YE Sの場合、 MP U 1は命令の種類に応じて、命令に対応する処理を実行する。受信した命令が動画の再生命令であった場合には、 MP U 1は動画像の再生処理を実行する（ステップ S 25) 。命令が電子メールの受信である場合は、 MP U 1は電子メール閲覧用のプログラムを呼び出し実行する（ステップ S 26) 。命令がイン夕一ネヅトのコンテンヅを表示する命令であった場合には、 MPU 1はメモリ 9からインタ一ネットブラウザを起動し、ブラウジング処理を実行する。ここで、 MP U1が実行するアプリケーションの種類は、上述 3つのものに限らず、スケジュール閲覧機能等、様々なアプリケーションを実行することができる。

一方、ステップ S 23で NOの場合には、 MP U1はどの操作ボタン 8が押されたかを調べる（ステップ S 28) 。例えば、セレクタ 8 aの上ボタン又は下ボタンが押された場合には、 MP U 1はメニュー上に表示されているフォーカスの位置を上下に移動する（ステップ S 29) 。なお、フォーカスとは、複数の選択肢のうち 1つを指示するものである。フォーカスの位置は、 MPU 1のレジズ夕ゃメモリ 9上に数値として記録される。 MPU 1は、フォーカスがあたっている選択肢の文字色、 Λ ックグランドカラ一、文字の形体の変化等、他の選択肢とは異なる特徴を付加して表示する。これにより、フォーカスの当たっている選択肢と他の選択肢を区別することができる。一方、操作ボタン 8の操作が"決定"であった場合、 MPU1はフォ一カスの位置を調べる（ステップ S 30) 。例えば、位置が" 4"であった場合、動画像再生が指示されたことが分かるため、 MP U 1は動画像の再生処理を実行する（ステップ S 25) 。位置が" 3"であった場合は、 MPU 1は、メモリ 9からインターネットブラウザを起動し、ブラウジング処理を実行する。 "5"の場合には、 MPU 1は電子メール閲覧用のプログラムを呼び出し実行する。なお、いずれの処理もビデオ通話と並列に実行する必要がある。そのため、 MPU 1を終了まで独占せずに、適宜ビデオ通話処理とタイムシェアリングで実行される。 MPU 1は、ステップ S 25〜S 29のいずれかの処理から戻ってくると、他の処理 (例えば、図 7のステップ S 15) を実行する。なお、ステヅプ S 25 〜S 27の各処理において、通信相手に各種アプリケーションの起動を通知する。もし、決定ボタンが押された場合には、自装置かちアプリケ —シヨンの命令を相手装置へ送信する必要があるため、 MPU1は、フォ一カスの位置に対応する命令を、送受信回路 10を介して送信する。以上の処理により、ユーザ操作又は通信相手からの命令に従って、自動的に各種アプリケーションを実行することができる。また、実行結果は 1画面表示モードで、主表示装置 3 aに表示されるため、ビデオ通話も同時に実行することができる。特に、相手装置から各種アプリケ一シヨンの起動要求があった場合に、自動的に 1画面表示モードに切り替えることができるため、非常に利便性が高い。なお、ユーザの好みにより 1画面表示モードに切り替える際は、 MPU 1は切替の可否をユーザに問い合わせ、確認後、表示モードを切り替えるようにしてもよい。 (2)共有アプリケ一ションの実行

次に、通話相手と表示するデータを共有し、通話しながら参照できる動作を説明する。なお、この共有アプリケーションの実行は、上述のように、 2画面表示モード中に割り込みで実行することができるもので、図 7のステップ S 14の処理の一例である。

図 9は、移動体通信装置が副表示装置 3bでビデオ通話を実行し、動じに主表示装置 3aで共有アプリケーションを実行している状態を示している。

図 9 (a) は、主表示装置 3aがムービ一を再生している様子を示しており、図 9 (b) は、主表示装置 3aがテキスト情報を表示している様子を示している。主表示装置 3aに表示されているこれらの情報は、通話相手にも送信され、ユーザと通話相手とがそれぞれ同じ表示を参照することができる。そして、主表示装置 3aに表示された情報が一方のユーザによって操作されたり、更新された場合にはその更新結果が他のユーザ（通話相手）の表示にも反映される。さらに、この移動体通信装置は、ムービーを再生する際に、必要に応じて移動体通信装置間の再生の同期を行うこともでき、同期したムービを見ながら会話をすることができるため、違和感が少なく意思の疎通が容易な情報表示を行うこともできる。以下に、図 10を参照しながら、ム一ビの再生を例として共有アプリケ一シヨンの動作を説明する。

まず、 MPU1 はム一ビがイン夕一ネット上のデ一夕かについて調べる（ステップ S 31 ) 。ム一ビの再生をする場合には、移動体通信装置のメモリ 9に記憶されているデ一夕を再生する場合と、ィン夕一ネット上のデータをダウンロードして再生する場合の 2通りがあるため、 MP Ul はそのどちらであるかを判断する。 YESの場合には、 MPU1は新たにムービの再生を開始する場合か否かについて調べる（ステップ S 32) 。ここで、 YE Sの場合には、 MPU1 は再生するム一ビのァドレスを取得する（ステップ S 33) 。まず、自装置から相手装置にムービの再生を指示する場合には、 MPU1 は、アドレスを送受信回路 10 を介して相手装置へ送信する。一方、相手装置からムービの再生を要求する命令を受信した場合には、命令に含まれたアドレスを読み出す。ここで、アドレスはデ一夕の記憶先を特定する情報で、一般的には、 URL(Uniform Resource Locator)が広く使用されている。また、 IP (Internet Protocol)アドレスだけで、必要なデ一夕が特定できるのであればそれでもかまわない。

ステヅプ S 31で NOと判断された場合、及び、ステップ S 33が終了した場合には、 MPU1 は送受信回路 10を介し、指定されたァドレスのム一ビデ一夕をダウンロードする。ダウンロードされたデ一夕は、メモリ 9に記憶される。次に、 MPU1は動画像がどこまで既に再生されたかを調べる（ステップ S 35) 。ム一ビの再生アプリケーションは、ム一ビのデ一夕に含まれる時間情報を参照することによって、再生済みの時間を計測することができる。

次に、 MPU1は送受信回路 10を介して、再生済み時間を同期信号として送信する（ステップ S 36) 。なお、同期信号は、ム一ビが何％表示されたかという割合の情報でもよいし、再生予定時間から実際の再生がどの位遅れているかという差分時間の情報であってもよい。

MPU 1は通話相手の同期信号も受け取る（ステップ S 37) 、そして、再生済み時間と受信した同期信号を比較し、差が予め定められた値よりも大きいかどうかについて調べる（ステップ S 38 ) 。 YE Sの場合には、 MPU 1は相手側の再生が遅れていると判断し再生を一定時間止める。一方、 NOの場合には動画像の再生を行う（ステップ S 40) 。上述の処理は、ビデオ通話と並行して実行され、ステップ S 30〜S 4 1までの処理は、繰り返し何度も実行されることにより、継続的に 1 つのムービが再生される。

ム一ビの再生は、ストリ一ミング技術を使った公知のム一ビプレイヤを使用することができる。また、同期信号の送受信は行わなくともよい。通信の遅れにより再生も遅れた場合には、所定の時間の再生をスキップして時間の遅れを取り戻すこともできる。しかし、上述のような同期信号を使った場合には、画像がスキップされ表示されないことを抑制できるため、通信条件の異なるユーザ間でム一ビを適切に再生することができるという効果を得ることができる。図 1 1は、複数の移動体通信装置及びネットワーク装置間のデータ送受信を示したシーケンス図である。

T1: 移動体通信装置 Aは、移動体通信装置 Bにアドレスを指定して再生命令を送信する。

T2: ネットワーク装置は受信した再生命令及びアドレスを移動体通信装置 Bへ送信する。

T3,T4: 移動通信装置 Βば、ネットワーク装置を介して肯定応答 (ACK) 信号を送信する。

Τ5,6: 移動体通信装置 Α及び Βは、ネットワーク装置へ配信要求及びァドレスを送信する。そして、ネットワーク装置は、受信したアドレスにム一ビデ一夕の配信要求を送信する。

T7:ネットワーク装置は、メディアサ一パ等のムービを記録している装置からムービデ一夕を受け取り、移動体通信装置 A、 Bへ送信する。

T8，9: 移動体通信装置 Α、 Βは、再生の進渉状況に合わせて同期信号を T ikする。

ΤΙΟ, ΙΙ: ネットワーク装置は、受信した同期信号を移動体通信装置 Α、 Bへ送信する。この際、 IMT-2000 のような異なる特性を持つ複数のチエネルを使用可能な通信方式においては、遅延の少ないチャネルで同期信号を送信するとよい。ただし、動画像デ一夕を送信するチャネルと同一又は同様のチャネルで送信してもかまわない。

T12: ネットワーク装置は、ネットワークから送信されたム一ビデ一夕を移動体通信装置 A、 Bへ送信する。

T13: 移動体通信装置 A、 Bは受け取ったデ一夕を再生するとともに、同期信号に従って再生速度を調整する。図 1 2は、ネットワーク装置側の構成を説明する図である。

2 9は、移動体通信装置との間で電波を送受信する機能を持ち、無線受信回路 3 0、及び無線送信回路 3 1に接続されている。無線受信回路 3 0、及び無線送信回路 3 1は制御装置 3 2によって制御される。制御装置 3 2はネットヮ一クイン夕フェース 3 3を介してィンタネヅトなどのネットワークに接続されており、ネットワークへのデ一夕配信要求、デ一夕送信及び受信を行う。

メディアサーバ 3 4は、各種文書、音声、ムービなどを配信するコンピュー夕であり、各種文書、音声、ム一ビなどを記憶する記憶装置 3 5 からデ一夕を読み出す。以上のように、ユーザィン夕ーフェースの優れた移動体通信装置について、説明したが、この発明は上述の説明に限定されない。

例えば、制御装置として MP U 1を例示したが、上述のような制御ができるのであれば他の制御手段を使用することができる。例えば、図 1に記載の各回路を統合して、 1つ又は複数の IC([nt_egrated Circuit)で構成することもできる。また、汎用プロセッサを使わずに、専用回路を用いて実現することもでき 02 02198

1 8 る。

また、各種デコーダは、専用ハ一ドウエアでなく、ソフトウェアで実現することも可能である。

上述 (1)及び (2)で説明した動作及び構成は、 1つの移動体通信装置上で動作するものであるが、すべてが必須ではなく、必要な機能に応じて選択することができる。

送受信回路 1 0は、携帯電話のような広域の無線通信に限らず、無線 LAN(Local Aria Network), ブルートゥ一ス (TM)のような比較的小さいェリァで使用される無線通信、或いはより広域の衛生通信用の回路でもよい。さらに、ソフトウエア無線のように、適宜、通信方式が変更できるものでもよい。操作ボタン 8は、入力デバイスの一例として説明したが、入力デバイスはボタン形状のものに限られず、トラックボール、棒を動かすことにより、座標を入力するもの、或いは、音声認識によるコマンド入力を行うものでもよい。音声認識については、多くの研究がされ或いは製品が出荷されている。例えば、力一ナビゲ一シヨン装置に搭載されているような音声認識回路又はソフトウエアを使用することができる。また、カメラ 5等の光学デバイスも入力デバィスとして使用できる。さらに、入力デバイスは、通信回路も使用できる。すなわち、短距離無線により他の機器から移動体通信装置を制御するとき、他の機器が命令或いはメニューの指示信号を送信し、この指示信号に従って M P U 1 がメニューの更新をすることもできる。他の例としては、筐体の移動や傾きを検出するためにカメラ 5の画像を使用したり傾斜センサを使用したりすることもできる。

表示装置は、液晶表示装置に限らず、文字又は映像を表示する他の表示デバイスを使用することができる。例えば、 LED(Light Emitting Diode)を複数の配列して 1つの表示装置を構成することもでき、さらに EL(Electeo Luminescence)デイスプレイ、 PDP(Plasma Display Panel)を使用することもできる。

また、移動可能な表示装置は、図 3に示すようにスライドするものに限らない。例えば、二つ折り形に構成された筐体に設けられた表示装置で、ヒンジを中心に回転するものでもよい。図 1 3及び図 1 4にこの例を示す。図 1 3は移動体通信装置の正面図、図 1 4は側面図である。この図 1 3及び図 1 4において、図 2と同一の符号は同一又は相当の部分を表している。副表示装置 3bを指示する副筐体 2 1は、ヒンジ 3 0を介して本体筐体 2 0に開閉自在に接続されている。図 1 3 (a)及び図 1 4 (a)は、開いた状態を表し、図 1 3 (b)及び図 1 4 (b)は閉じた状態を表している。主表示装置 3 aは、図 1 3 (b)に示すように、筐体を閉じた状態でも、副筐体 2 1に隠れずに使用することができる。副筐体 2 1は、図 1 3に示すように正面方向に回転するだけでなく、側面方向に回転し、副筐体 2 1収納時は、本体筐体 2 0の背面側に隠れるように構成してもよい。

さらに、副表示装置 3bは必ずしも移動可能に設けられる必要はない。例えば、 1つの表示装置の表示領域を複数に分割し、第 1の表示領域を第 1の表示手段として、第 2の表情領域を第 2の表示手段とすることもできる。

また、主表示装置 3 aと副表示装置 3bの大きさは、どちらが大きくともかまわない。上述の説明において、主表示装置 3 aと副表示装置 3bと呼んだが、これらは単に 2つの表示装置であって、主と副に特別の意味は無い。

また、複数の映像を合成する場合には、縮小処理は必須ではない。画面の大きさ及び合成する映像の大きさに従って適宜実行するかしないか決めることができる。なお、通信相手の映像及びカメラの映像の両方を縮小処理することもできる。

また、 1画面表示モ一ドでは合成画像を表示せずに、通信相手からの映像をそのまま表示するようにしてもよい。

各アプリケーションプログラムは、複数のルーチンによって構成される。各アプリケーションプログラムは、同一のコンピュータプログラムに統合されていてもよいし、全く別個のプログラムとして構成されていてもよい。アプリケ —シヨンプログラムは、常にメモリ 9に記憶されている必要はなく、送受信回路を介し、ネットワーク経由で他の機器からダウンロードすることができる。上述の処理は、コンピュー夕で実行可能なプログラムによつて実現することができる。コンビュ一夕プログラムは、コンピュータで読み取り可能な記録媒体に記録することができ、また、無線通信によって移動体通信装置にダウン口ードすることができる。産業上の利用可能性

以上のように、本発明にかかる移動体通信装置、その表示制御方法並びにプログラムは、例えば、複数の表示装置を有する携帯電話、携帯情報端末等の移動体通信装置に用いるのに適している。

Claims

請求の範囲

1 . 音声及び画像データを送受信する送受信手段と、

文字又は画像を表示する第 1の表示手段及び第 2の表示手段と、画像を撮影するカメラと、

ユーザ操作を受け付ける入力デバイスと、

前記第及び第 2の表示手段を制御し、前記送受信手段が受信した第 1の画像デ一夕を第 1の表示手段上に表示し、前記カメラが撮影した第 2の画像データを第 2の表示手段上に表示する 2画面ビデオ通話表示を実行するとともに、前記 2画面ビデオ通話表示を実行中に入力デバィスに入力があった場合、前記第 1及び第 2の画像デ一夕の合成画像を前記第 1及び第 2の表示手段の一方に表示するとともに、前記入力に基づく処理を実行し処理結果を他方の表示手段に表示する制御手段と、を備えたことを特徴とする移動体通信装置。

2 . 前記制御手段は、前記入力デバイスに入力があった場合に、前記他方の表示手段に、複数の選択肢のそれぞれに対応する機能が割り付けられたメニューを表示することを特徴とする請求項 1に記載の移動体

3 . 動画像を記憶する記憶手段を備え、

前記制御手段は、前記入力デバイスに入力があった場合に、前記メモリに記憶された動画像を前記送受信手段を介して送信するとともに、前記動画像を前記他の表示手段に表示することを特徴とする請求項 1に記載の移動体通信装置。

4 . 前記制御手段は、前記入力デバイスに入力があった場合に、動画像の記憶されたァドレスを送受信手段を介して送信するとともに、前記ァドレスを用いてネットワークにアクセスし、動画像デ一夕をダウンロードして前記他の表示手段に表示することを特徴とする請求項 1に記載の移動体通信装置。

,

5 . 前記制御手段は、前記送受信手段がアドレスを受信した場合に、受信したァドレスにアクセスし、動画像データをダウンロードして前記他の表示手段に表示することを特徴とする請求項 4に記載の移動体通信

6 . 前記制御手段は、前記動画像デ一夕再生の進渉に合わせて同期デ一夕を生成し、前記送受信手段を介して前記同期デ一夕を送信することを特徴とする請求項 5に記載の移動体通信装置。

7 . 前記制御手段は、前記送受信手段を介して前記同期データを受信したとき、同期デ一夕に基づいて動画像の再生速度を調整することを特徴とする請求項 5に記載の移動体通信装置。

8 . 前記制御手段は、前記 2画面ビデオ通話表示を実行中に前記送受信手段が表示要求を受信した場合、前記第 1及び第 2の画像デ一夕の合成画像を前記第 1及び第 2の表示手段の一方に表示するとともに、前記表示要求に基づく処理を実行し処理結果を他方の表示手段に表示することを特徴とする請求項 1に記載の移動体通信装置。

9 . 前記制御装置は、前記表示要求の実行可否の問い合わせを前記第 1又は第 2の表示装置上に表示し、ユーザが前記表示要求の実行を許容した場合に、前記表示要求に基づく処理を実行し、前記ユーザが前記表示要求の実行を許容しなかった場合に、前記表示要求に基づく処理を実行しないことを特徴とする請求項 8に記載の移動体通信装置。

1 0 . 移動体通信装置に設けられた複数の表示装置のそれぞれに映像を表示し、通話相手から受信した音声を再生する 2画面ビデオ通話ステヅプと、

前記移動体通信装置に対する操作命令を受け付ける入力ステップと、移動体通信装置が前記操作命令を受けたとき、前記複数の表示装置で表示されていた映像の合成映像を生成し、前記複数の表示装置の一方に前記合成映像を表示するとともに、前記操作命令の実行結果を他の表示装置に表示する 1画面ビデオ通話ステップと、

を備えたことを特徴とする移動体通信装置の表示制御方法。

1 1 . 前記 1画面ビデオ通話ステップは、前記他の表示装置に複数の選択肢のそれぞれに対応する機能が割り付けられたメニューを表示することを特徴とする請求項 1 0に記載の移動体通信装置の表示制御方法。

1 2 . 前記移動体通信装置の送受信回路を介して、動画像を送信するステップを備え、

前記 1画面ビデオ通話ステツプは、前記他の表示装置に前記動画像を表示することを特徴とする請求項 1 0に記載の移動体通信装置の表示制御方法。

1 3 . 前記 1画面ビデオ通話ステップは、前記'送受信回路が受信した同期信号に基づいて動画の再生速度を調整することを特徴とする請求項 1 2に記載の移動体通信装置の表示制御方法。

1 4 . 前記 1画面表示ステップは、前記移動体通信装置の送受信回路が通信相手から命令信号を受信した場合、記憶装置に記憶された前記命令信号に対応する処理を実行し、実行結果を前記他の表示装置に表示することを特徴とする請求項 1 0に記載の移動体通信装置の表示制御方法。

1 5 . 請求項 1 0〜 1 4のいずれかに記載の表示制御方法をコンビュ一夕に実行させるプログラム。