JPWO2003077553A1 - 移動体通信装置、移動体通信装置の表示制御方法、並びに、そのプログラム - Google Patents

Abstract

移動体通信装置は第１の表示手段３ａと第２の表示手段３ｂとを備え、ビデオ通話実行時に、複数の表示手段を使用して通話相手と自装置側で撮影した画像とを同時に表示する２画面表示を実行することができる。また、移動体通信装置は制御手段１を備え、２画面表示時にユーザによる新たな操作又は通信相手からの命令により、ビデオ通話の画像を合成し、第２の表示手段へ表示することにより自動的に１画面表示に切り替えることができる。一方、ユーザ操作基づくメニュー操作や、通話相手からの命令の実行結果は第１の表示手段に表示される。従って、この移動体通信装置は、ビデオ通話時に使用しやすい優れたユーザインターフェースを提供することができる。

Description

技術分野
この発明は、携帯電話、無線通信機能を有する携帯情報端末等の移動体通信装置、その表示制御方法並びにプログラムに関するものであり、特に複数の表示装置を持つものに関する。
背景技術
従来、様々なタイプの携帯電話が開発され利用されている。しかし、その多くは１つの表示装置を持つものであった。また、複数の表示装置を持つものとして特開平９−２４７２５０号公報に記載された携帯電話がある。この携帯電話では、折りたたみ可能な２つの表示装置を１つのスクリーンとして使用することにより、メール及び無線呼び出しによる文字メッセージ、ファクシミリ或いはパーソナルコンピュータ等からの情報量の多いデータ等を表示することができる。
しかし、上述のような従来の携帯電話では、複数の表示装置を有する移動体通信装置を設け多くの情報を表示するのみで、複数の表示装置の操作に関しユーザインターフェースを向上させる具体的な技術が開示されておらず、複数の表示装置を切り替え表示する場合など、ユーザの操作性の向上が図られていないという課題があった。
発明の開示
この発明は、以上説明した課題を解決するためになされたものであり、複数の表示装置を有する移動体通信装置のユーザインターフェースを向上することを目的とする。
この発明による移動体通信装置においては、音声及び画像データを送受信する送受信手段と、文字又は画像を表示する第１の表示手段及び第２の表示手段と、画像を撮影するカメラと、ユーザ操作を受け付ける入力デバイスと、第１及び第２の表示手段を制御し、送受信手段が受信した第１の画像データを第１の表示手段上に表示し、カメラが撮影した第２の画像データを第２の表示手段上に表示する２画面ビデオ通話表示を実行するとともに、２画面ビデオ通話表示を実行中に入力デバイスに入力があった場合、第１及び第２の画像データの合成画像を第１及び第２の表示手段の一方に表示するとともに、入力に基づく処理を実行し処理結果を他方の表示手段に表示する制御手段と、を備えたものである。
また、制御手段は、入力デバイスに入力があった場合に、他方の表示手段に、複数の選択肢のそれぞれに対応する機能が割り付けられたメニューを表示することを特徴とするものである。
また、動画像を記憶する記憶手段を備え、制御手段は、入力デバイスに入力があった場合に、メモリに記憶された動画像を送受信手段を介して送信するとともに、動画像を他の表示手段に表示することを特徴とするものである。
また、制御手段は、入力デバイスに入力があった場合に、動画像の記憶されたアドレスを送受信手段を介して送信するとともに、アドレスを用いてネットワークにアクセスし、動画像データをダウンロードして他の表示手段に表示することを特徴とするものである。
また、制御手段は、送受信手段がアドレスを受信した場合に、受信したアドレスにアクセスし、動画像データをダウンロードして他の表示手段に表示することを特徴とするものである。
また、制御手段は、動画像データ再生の進捗に合わせて同期データを生成し、送受信手段を介して同期データを送信することを特徴とするものである。
また、制御手段は、送受信手段を介して同期データを受信したとき、同期データに基づいて動画像の再生速度を調整することを特徴とするものである。
また、制御手段は、２画面ビデオ通話表示を実行中に送受信手段が表示要求を受信した場合、第１及び第２の画像データの合成画像を第１及び第２の表示手段の一方に表示するとともに、入力に基づく処理を実行し処理結果を他方の表示手段に表示することを特徴とするものである。
また、制御装置は、表示要求の実行可否の問い合わせを第１又は第２の表示装置上に表示し、ユーザが表示要求の実行を許容した場合に、表示要求に基づく処理を実行し、ユーザが表示要求の実行を許容しなかった場合に、表示要求に基づく処理を実行しないことを特徴とするものである。
この発明による移動体通信装置の表示制御方法では、移動体通信装置に設けられた複数の表示装置のそれぞれに映像を表示し、通話相手から受信した音声を再生する２画面ビデオ通話ステップと、移動体通信装置に対する操作命令を受け付ける入力ステップと、移動体通信装置が操作命令を受けたとき、複数の表示装置で表示されていた映像の合成映像を生成し、複数の表示装置の一方に合成映像を表示するとともに、操作命令の実行結果を他の表示装置に表示する１画面ビデオ通話ステップと、を備えたことを特徴とするものである。
また、１画面ビデオ通話ステップは、他の表示装置に複数の選択肢のそれぞれに対応する機能が割り付けられたメニューを表示することを特徴とするものである。
また、移動体通信装置の送受信回路を介して、動画像を送信するステップを備え、１画面ビデオ通話ステップは、他の表示装置に動画像を表示することを特徴とするものである。
また、１画面ビデオ通話ステップは、送受信回路が受信した同期信号に基づいて動画の再生速度を調整することを特徴とするものである。
また、１画面表示ステップは、移動体通信装置の送受信回路が通信相手から命令信号を受信した場合、記憶装置に記憶された命令信号に対応する処理を実行し、実行結果を他の表示装置に表示することを特徴とする請求項９に記載の移動体通信装置の表示制御方法。
また、この発明のプログラムは、上述の表示制御方法のいずれかをコンピュータに実行させるものである。
発明を実施するための最良の形態
図１は、この発明の移動体通信装置の詳細を示すブロック図である。ＭＰＵ１（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）は、各デバイスの動作を制御する機能を持ち、バスを介してビデオ回路２、ビデオデコーダ／エンコーダ、Ｉ／Ｏ（Ｉｎｐｕｔ ａｎｄ Ｏｕｔｐｕｔ）コントローラ６、メモリ９、送受信回路１０、音声デコーダ／エンコーダ１２に接続されている。ビデオ回路２は、図示しないビデオメモリを備え、液晶表示装置３ａ、３ｂを電気的に駆動する。以下の説明において、液晶表示装置３ａを主表示装置と呼び、液晶表示装置３ｂを副表示装置と呼ぶ。ビデオ回路２は主表示装置３ａ（第１の表示装置）及び副表示装置３ｂ（第２の表示装置）をそれぞれ独立に制御することができる。主表示装置３ａ及び副表示装置３ｂは、ビデオ回路２からの制御信号に従って文字、静止画像、動画などの映像を表示する。ビデオデコーダ／エンコーダ４は、カメラ５で撮像された映像をＭＰＥＧ４（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ４）等のエンコード方式に従って圧縮データにエンコードするエンコーダと、アンテナ１１及び送受信回路１０を介して受信したエンコードされたデータをデコードし、元の映像に復元するデコードとを有する回路である。このビデオデコーダ／エンコーダ４として、例えば、市販されているＭＰＥＧデコーダ／エンコーダ用ＩＣを使用できる。Ｉ／Ｏコントローラ６は、各種デバイスから入力信号をＭＰＵ１へ送信し、またＭＰＵ１から各種デバイスへの出力信号を送信する入出力処理を行うコントローラである。開閉センサ７は、移動可能に設けられた副表示装置３ｂの位置を検出するセンサである。例えば、副表示装置３ｂが閉じた位置に移動した場合に、スイッチが副表示装置３ｂ又はその筐体によって押されるような位置にスイッチを設けてもよい。複数の操作ボタン８は、それぞれ対応する機能や文字が割り付けられており、それぞれ入力デバイスとして使用される。メモリ９は各種プログラム及びデータを記憶する。メモリの種類（揮発性メモリ、不揮発性メモリ等）は、データの種類に応じて適切なものを使用する。送受信回路１０は、アンテナ１１を介した音声やデータの通信を行う回路である。送受信回路１０は様々な種類の回路が知られており、既に広く普及しているＰＤＣ（Ｐｅｒｓｏｎａｌ Ｄｅｇｉｔａｌ Ｃｅｌｌｕｌａｒ）、ＧＳＭ（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、或いは、これから広く普及するであろう次世代の通信方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅ−ｂａｎｄ Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）、ｃｄｍａ２０００方式等の通信方式用の送受信回路を使用することができる。音声デコーダ／エンコーダ１２は、マイク１４により取得された音声信号を符号化するエンコーダと、送受信回路１０で受信した符号化されたデータを音声信号にデコードするデコーダとを有する回路である。音声の符号化方式としては、ＣＥＬＰ（Ｃｏｄｅ Ｅｘｉｔｅｄ Ｌｉｎｅａｒ Ｐｒｅｄｉｃｔｉｏｎ）方式の符号化方式が広く知られている。音声デコーダ／エンコーダ１２でデコードされた音声信号は、スピーカ１３を介して再生される。なお、スピーカ１３は、音声信号に限らず、図示しないシンセサイザ回路で生成された電気信号によって音楽、効果音を再生する。
図２及び３は、移動体通信装置の正面図であり、図１と同一の符号は同一又は相当の部分を表している。ここで、図２は副表示装置３ｂを主表示装置３ａの背面側に隠した状態を示している。副表示装置３ｂは図３に示すように、本体筐体２０に対してスライドする構造を有しており、ユーザは、主表示装置３ａ及び３ｂを同時に使用することができる。また、ボタン８ａ〜８ｃは操作ボタン８として機能する入力デバイスである。セレクタ８ａは、周縁部を押すことにより方向示す信号を生成する方向キーの機能と、ボタンの中心部を押下することにより指定した選択肢を確定し次の動作を指示する決定ボタンの機能を有する。例えば、ユーザがメニュー上の選択肢を指定する場合にスクリーンに表示されたカーソル又は強調表示の移動を指示し、ボタンを押下することにより、ＭＰＵ１はその選択肢に割り当てられた処理を実行する。ソフトキー８ｂは、主表示装置３ａ若しくは３ｂに表示された選択肢に対応して設けられ、表示された機能の実行を指示する場合に、使用される入力デバイスである。数字ボタン８ｃは、数字又は文字を入力するために使用される入力デバイスである。
図４及び５は、図２及び３に示した移動体通信装置の側面図であり、これらの図において図１と同一の符号は同一又は相当の部分を表している。ここで、図４は図２と同様に、副表示装置３ｂが隠れており、使用できない状態を示している。一方、図５は図３に対応し、主表示装置３ａが本体筐体２０に対してスライドし、引き出された状態を示している。図５を見て分かるように、本体筐体２０と副表示装置３ｂを支持する副筐体２１とは、スライド面が曲面上に構成されている。そのため、副筐体２１を引き出すと、副筐体２１並びにカメラ５、副表示装置３ｂが正面側に角度を変えながらせり出してくるため、カメラ５及び副表示装置３ｂがユーザにとって使用しやすい角度に調整される。
（１）２画面表示モードから１画面表示モードへの自動切替
次に、上述の移動体通信装置の表示モードの自動切替について説明する。
図６は、画面表示モードの切り替え動作について示している。まず、図６（ａ）に示す２画面表示モード（２画面ビデオ通話表示）では、ビデオ通話時において主表示装置３ａがカメラ５によって撮影された動画像（ユーザの画像）を表示し、副表示装置３ｂが通話相手の動画像を表示する。動画像は逐次更新され、また、相手方の音声もスピーカ１３から再生される。
次に、通話中オプション機能を実行したいと思ったとき、ユーザはメニューボタン８ｄを押す。すると、図６（ｂ）に示すように、移動体通信装置は自動的に表示モードを切り替えて１画面表示モード（１画面ビデオ通話表示）に移行する。すなわち、副表示装置３ｂが通話相手及びユーザの合成画像を表示し、主表示装置３ａはメニューを表示する。
以降、ユーザは図６（ｃ）に示すように、セレクタ８ａやソフトキー８ｂを使用して、メニューに繋がる機能を次々と選択し、実行することができる。
以上のように、通常のビデオ通話中は、２画面表示モードで複数の表示装置を有効に活用し、通話相手からの動画像、カメラ５の画像を大きく表示することができる。また、ユーザが他の操作を同時に実行する場合には、メニューを押すことで１画面表示モードに切り替わり、移動体通信装置は自動的に画面のレイアウトを変更し、ビデオ通話に必要な合成画像とメニューとを同時に表示する。そのため、２画面表示モードでビデオ通話中は他の操作をできないということもなく、また、他の操作の実行を可能にするために、初めからビデオ通話を１つの表示装置のみで実行する必要もない。ユーザは、ビデオ通話中に自由に２画面表示モードと１画面表示モードを動的に切り替えることができるため、この移動体通信装置は、ユーザにとって非常に使いやすいインターフェースを提供することができる。
次に、この切替処理を図７のフローチャートを参照して説明する。まず、移動体通信装置がビデオ通話を開始すると（ステップＳ１）、カメラ５が動画像の撮影を開始する。一方、送受信回路１０は、通話相手から送信される音声データ、画像データ、及び／又は他のデータを受信する（ステップＳ２）。
ＭＰＵ１は、メモリ９にアクセスし、現在の表示モードをチェックする。
＊２画面表示モード
表示モードが２画面表示モードである場合には、ＭＰＵ１は主表示装置３ａに受信された動画像を表示し、副表示装置３ｂにカメラ５によって撮影された動画像を表示する（ステップＳ４）。この際、ビデオデコーダ４は、受信データを主表示装置３ａで表示可能な形式にデコードし、また、ビデオエンコーダ４は、カメラ５で撮影された動画像をエンコードし、送受信回路１０がエンコードされたデータを送信する。
表示が終わると、ＭＰＵ１は操作ボタン８の入力を受け付け（ステップＳ５）、入力に対応した処理を行う（ステップＳ６）。次に、ＭＰＵ１は操作ボタン８が押されたか、又は、送受信回路１０が通信相手からの命令を受け付けたか否かを調べる（ステップＳ７）。ＮＯの場合には、ＭＰＵ１はステップＳ２からの処理を再実行する。一方、ＹＥＳの場合には、ＭＰＵ１はさらに操作ボタン８の入力信号が通話終了を指示するものか調べる（ステップＳ８）。終了指示の場合には、ＭＰＵ１は通話終了処理を実行し、終了指示でない場合には、ＭＰＵ１はメモリ９に１画面表示モードに変更されたことを記録して、ステップＳ２からの処理を再実行する（ステップＳ９）。
＊１画面表示モード
一方、ステップＳ３で１画面表示モードであると判断した場合には、ＭＰＵ１はカメラ５で撮影した動画像を縮小する（ステップＳ１０）。この縮小処理は、公知の画像処理技術で容易に実現できる。次に、ＭＰＵ１は、送受信回路１０で受信した動画像と縮小した動画像を合成し、１つの合成映像を生成する（ステップＳ１１）。動画像の合成については、スーパーインポーズ機能など多くの公知技術を適用することができる。そして、ＭＰＵ１は合成映像を主表示装置３ａに表示する（ステップＳ１２）。
表示が終わると、ＭＰＵ１は操作ボタン８の入力を受け付け（ステップＳ１３）、入力に対応した処理を行う（ステップＳ１４）。例えば、メニューの操作、ムービーの再生、メールの閲覧、機能設定等である。また、通話相手からムービの再生命令、送信されたテキストの表示命令等、表示画面の更新にかかわる命令を受信していた場合には、ＭＰＵ１は受信した命令に対応する処理を実行する。入力に対応した処理の説明は図８を用いて後述する。
次に、ＭＰＵ１はステップＳ１４の処理結果を主表示装置３ａに表示する（ステップＳ１５）。表示が終了すると、ＭＰＵ１は操作ボタン８の入力に１画面表示モードの終了を指示する終了指示が無かったかについて調べる（ステップＳ１６）。終了指示は、例えば、メニューを表示しているときに、ソフトキー８ｂの「戻る」ボタンが押された場合や、副表示装置３ｂを用いて実行していたアプリケーションが終了した場合に出力される。なお、アプリケーション実行中にも、２画面表示モードに戻せるように、ソフトキー８ｂに「２画面表示」というボタンを設けてもよい。
ここで、ＮＯの場合には、ＭＰＵ１はステップＳ２からの処理を再実行する。一方、ＹＥＳの場合には、ＭＰＵ１はメモリ９に２画面表示モードに変更されたことを記録する（ステップＳ１７）。ＭＰＵ１はさらに操作ボタン８の入力信号が通話終了を指示するものか調べる（ステップＳ１８）。終了指示の場合には、ＭＰＵ１は通話終了処理を実行し、終了指示でない場合には、ステップＳ２からの処理を再実行する。
＊各種アプリケーションの実行
次に、図７のステップＳ１４等で実行される各種アプリケーションの処理について図８を参照しながら説明する。
図７のＭＰＵ１がステップＳ１３等の処理に続きステップＳ２１の処理の実行を開始する。まず、ＭＰＵ１がメニュー表示を行う必要があるかについて調べる（ステップＳ２１）。メニュー表示を行う場合は、例えば、メニューボタンが押された場合などである。ＹＥＳの場合、ＭＰＵ１は、メモリ９にアクセスしメニューとしてリストアップされている文字列と対応する処理のリストを読み出し、メニューを生成する（ステップＳ２２）。ＮＯの場合若しくはステップＳ２２を終了すると、ＭＰＵ１は、送受信回路１０が命令を受信したかを調べる（ステップＳ２３）。なお、ステップＳ２２において、通話相手からの命令を受信していた場合には、ＭＰＵ１はさらに、命令を実行するかについてユーザに問い合わせる問い合わせ表示を液晶表示装置３ａ又は３ｂ上に表示することができる（ステップＳ２３ａ）。ユーザが実行を許容した場合、ＭＰＵ１はステップＳ２４以降の処理を行い、命令を実行するようにする。また、ユーザが命令の実行をしなかった場合には、ＭＰＵ１は命令を実行せずにその旨の回答を送受信回路１０を介して通話相手に通知し、図８の処理を終了し次の処理を実行する。このとき、ユーザの回答は操作ボタン８が受け付けるが、予めユーザが設定した設定を参照し、命令を実行するかしないか決定することもできる。このステップＳ２３ａはオプションの機能である。
ステップＳ２４でＹＥＳの場合、ＭＰＵ１は命令の種類に応じて、命令に対応する処理を実行する。受信した命令が動画の再生命令であった場合には、ＭＰＵ１は動画像の再生処理を実行する（ステップＳ２５）。命令が電子メールの受信である場合は、ＭＰＵ１は電子メール閲覧用のプログラムを呼び出し実行する（ステップＳ２６）。命令がインターネットのコンテンツを表示する命令であった場合には、ＭＰＵ１はメモリ９からインターネットブラウザを起動し、ブラウジング処理を実行する。ここで、ＭＰＵ１が実行するアプリケーションの種類は、上述３つのものに限らず、スケジュール閲覧機能等、様々なアプリケーションを実行することができる。
一方、ステップＳ２３でＮＯの場合には、ＭＰＵ１はどの操作ボタン８が押されたかを調べる（ステップＳ２８）。例えば、セレクタ８ａの上ボタン又は下ボタンが押された場合には、ＭＰＵ１はメニュー上に表示されているフォーカスの位置を上下に移動する（ステップＳ２９）。なお、フォーカスとは、複数の選択肢のうち１つを指示するものである。フォーカスの位置は、ＭＰＵ１のレジスタやメモリ９上に数値として記録される。ＭＰＵ１は、フォーカスがあたっている選択肢の文字色、バックグランドカラー、文字の形体の変化等、他の選択肢とは異なる特徴を付加して表示する。これにより、フォーカスの当たっている選択肢と他の選択肢を区別することができる。
一方、操作ボタン８の操作が“決定”であった場合、ＭＰＵ１はフォーカスの位置を調べる（ステップＳ３０）。例えば、位置が“４”であった場合、動画像再生が指示されたことが分かるため、ＭＰＵ１は動画像の再生処理を実行する（ステップＳ２５）。位置が“３”であった場合は、ＭＰＵ１は、メモリ９からインターネットブラウザを起動し、ブラウジング処理を実行する。“５”の場合には、ＭＰＵ１は電子メール閲覧用のプログラムを呼び出し実行する。なお、いずれの処理もビデオ通話と並列に実行する必要がある。そのため、ＭＰＵ１を終了まで独占せずに、適宜ビデオ通話処理とタイムシェアリングで実行される。ＭＰＵ１は、ステップＳ２５〜Ｓ２９のいずれかの処理から戻ってくると、他の処理（例えば、図７のステップＳ１５）を実行する。なお、ステップＳ２５〜Ｓ２７の各処理において、通信相手に各種アプリケーションの起動を通知する。もし、決定ボタンが押された場合には、自装置からアプリケーションの命令を相手装置へ送信する必要があるため、ＭＰＵ１は、フォーカスの位置に対応する命令を、送受信回路１０を介して送信する。
以上の処理により、ユーザ操作又は通信相手からの命令に従って、自動的に各種アプリケーションを実行することができる。また、実行結果は１画面表示モードで、主表示装置３ａに表示されるため、ビデオ通話も同時に実行することができる。特に、相手装置から各種アプリケーションの起動要求があった場合に、自動的に１画面表示モードに切り替えることができるため、非常に利便性が高い。なお、ユーザの好みにより１画面表示モードに切り替える際は、ＭＰＵ１は切替の可否をユーザに問い合わせ、確認後、表示モードを切り替えるようにしてもよい。
（２）共有アプリケーションの実行
次に、通話相手と表示するデータを共有し、通話しながら参照できる動作を説明する。なお、この共有アプリケーションの実行は、上述のように、２画面表示モード中に割り込みで実行することができるもので、図７のステップＳ１４の処理の一例である。
図９は、移動体通信装置が副表示装置３ｂでビデオ通話を実行し、動じに主表示装置３ａで共有アプリケーションを実行している状態を示している。
図９（ａ）は、主表示装置３ａがムービーを再生している様子を示しており、図９（ｂ）は、主表示装置３ａがテキスト情報を表示している様子を示している。主表示装置３ａに表示されているこれらの情報は、通話相手にも送信され、ユーザと通話相手とがそれぞれ同じ表示を参照することができる。そして、主表示装置３ａに表示された情報が一方のユーザによって操作されたり、更新された場合にはその更新結果が他のユーザ（通話相手）の表示にも反映される。さらに、この移動体通信装置は、ムービーを再生する際に、必要に応じて移動体通信装置間の再生の同期を行うこともでき、同期したムービを見ながら会話をすることができるため、違和感が少なく意思の疎通が容易な情報表示を行うこともできる。
以下に、図１０を参照しながら、ムービの再生を例として共有アプリケーションの動作を説明する。
まず、ＭＰＵ１はムービがインターネット上のデータかについて調べる（ステップＳ３１）。ムービの再生をする場合には、移動体通信装置のメモリ９に記憶されているデータを再生する場合と、インターネット上のデータをダウンロードして再生する場合の２通りがあるため、ＭＰＵ１はそのどちらであるかを判断する。ＹＥＳの場合には、ＭＰＵ１は新たにムービの再生を開始する場合か否かについて調べる（ステップＳ３２）。ここで、ＹＥＳの場合には、ＭＰＵ１は再生するムービのアドレスを取得する（ステップＳ３３）。まず、自装置から相手装置にムービの再生を指示する場合には、ＭＰＵ１は、アドレスを送受信回路１０を介して相手装置へ送信する。一方、相手装置からムービの再生を要求する命令を受信した場合には、命令に含まれたアドレスを読み出す。ここで、アドレスはデータの記憶先を特定する情報で、一般的には、ＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）が広く使用されている。また、ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）アドレスだけで、必要なデータが特定できるのであればそれでもかまわない。
ステップＳ３１でＮＯと判断された場合、及び、ステップＳ３３が終了した場合には、ＭＰＵ１は送受信回路１０を介し、指定されたアドレスのムービデータをダウンロードする。ダウンロードされたデータは、メモリ９に記憶される。次に、ＭＰＵ１は動画像がどこまで既に再生されたかを調べる（ステップＳ３５）。ムービの再生アプリケーションは、ムービのデータに含まれる時間情報を参照することによって、再生済みの時間を計測することができる。
次に、ＭＰＵ１は送受信回路１０を介して、再生済み時間を同期信号として送信する（ステップＳ３６）。なお、同期信号は、ムービが何％表示されたかという割合の情報でもよいし、再生予定時間から実際の再生がどの位遅れているかという差分時間の情報であってもよい。
ＭＰＵ１は通話相手の同期信号も受け取る（ステップＳ３７）、そして、再生済み時間と受信した同期信号を比較し、差が予め定められた値よりも大きいかどうかについて調べる（ステップＳ３８）。ＹＥＳの場合には、ＭＰＵ１は相手側の再生が遅れていると判断し再生を一定時間止める。一方、ＮＯの場合には動画像の再生を行う（ステップＳ４０）。
上述の処理は、ビデオ通話と並行して実行され、ステップＳ３０〜Ｓ４１までの処理は、繰り返し何度も実行されることにより、継続的に１つのムービが再生される。
ムービの再生は、ストリーミング技術を使った公知のムービプレイヤを使用することができる。また、同期信号の送受信は行わなくともよい。通信の遅れにより再生も遅れた場合には、所定の時間の再生をスキップして時間の遅れを取り戻すこともできる。しかし、上述のような同期信号を使った場合には、画像がスキップされ表示されないことを抑制できるため、通信条件の異なるユーザ間でムービを適切に再生することができるという効果を得ることができる。
図１１は、複数の移動体通信装置及びネットワーク装置間のデータ送受信を示したシーケンス図である。
Ｔ１：移動体通信装置Ａは、移動体通信装置Ｂにアドレスを指定して再生命令を送信する。
Ｔ２：ネットワーク装置は受信した再生命令及びアドレスを移動体通信装置Ｂへ送信する。
Ｔ３，Ｔ４：移動通信装置Ｂは、ネットワーク装置を介して肯定応答（ＡＣＫ）信号を送信する。
Ｔ５，６：移動体通信装置Ａ及びＢは、ネットワーク装置へ配信要求及びアドレスを送信する。そして、ネットワーク装置は、受信したアドレスにムービデータの配信要求を送信する。
Ｔ７：ネットワーク装置は、メディアサーバ等のムービを記録している装置からムービデータを受け取り、移動体通信装置Ａ、Ｂへ送信する。
Ｔ８，９：移動体通信装置Ａ、Ｂは、再生の進捗状況に合わせて同期信号を送信する。
Ｔ１０，１１：ネットワーク装置は、受信した同期信号を移動体通信装置Ａ、Ｂへ送信する。この際、ＩＭＴ−２０００のような異なる特性を持つ複数のチェネルを使用可能な通信方式においては、遅延の少ないチャネルで同期信号を送信するとよい。ただし、動画像データを送信するチャネルと同一又は同様のチャネルで送信してもかまわない。
Ｔ１２：ネットワーク装置は、ネットワークから送信されたムービデータを移動体通信装置Ａ、Ｂへ送信する。
Ｔ１３：移動体通信装置Ａ、Ｂは受け取ったデータを再生するとともに、同期信号に従って再生速度を調整する。
図１２は、ネットワーク装置側の構成を説明する図である。アンテナ２９は、移動体通信装置との間で電波を送受信する機能を持ち、無線受信回路３０、及び無線送信回路３１に接続されている。無線受信回路３０、及び無線送信回路３１は制御装置３２によって制御される。制御装置３２はネットワークインタフェース３３を介してインタネットなどのネットワークに接続されており、ネットワークへのデータ配信要求、データ送信及び受信を行う。
メディアサーバ３４は、各種文書、音声、ムービなどを配信するコンピュータであり、各種文書、音声、ムービなどを記憶する記憶装置３５からデータを読み出す。
以上のように、ユーザインターフェースの優れた移動体通信装置について、説明したが、この発明は上述の説明に限定されない。
例えば、制御装置としてＭＰＵ１を例示したが、上述のような制御ができるのであれば他の制御手段を使用することができる。例えば、図１に記載の各回路を統合して、１つ又は複数のＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）で構成することもできる。また、汎用プロセッサを使わずに、専用回路を用いて実現することもできる。
また、各種デコーダは、専用ハードウェアでなく、ソフトウェアで実現することも可能である。
上述（１）及び（２）で説明した動作及び構成は、１つの移動体通信装置上で動作するものであるが、すべてが必須ではなく、必要な機能に応じて選択することができる。
送受信回路１０は、携帯電話のような広域の無線通信に限らず、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｉａ Ｎｅｔｗｏｒｋ）、ブルートゥース（ＴＭ）のような比較的小さいエリアで使用される無線通信、或いはより広域の衛生通信用の回路でもよい。さらに、ソフトウェア無線のように、適宜、通信方式が変更できるものでもよい。
操作ボタン８は、入力デバイスの一例として説明したが、入力デバイスはボタン形状のものに限られず、トラックボール、棒を動かすことにより、座標を入力するもの、或いは、音声認識によるコマンド入力を行うものでもよい。音声認識については、多くの研究がされ或いは製品が出荷されている。例えば、カーナビゲーション装置に搭載されているような音声認識回路又はソフトウェアを使用することができる。また、カメラ５等の光学デバイスも入力デバイスとして使用できる。さらに、入力デバイスは、通信回路も使用できる。すなわち、短距離無線により他の機器から移動体通信装置を制御するとき、他の機器が命令或いはメニューの指示信号を送信し、この指示信号に従ってＭＰＵ１がメニューの更新をすることもできる。他の例としては、筐体の移動や傾きを検出するためにカメラ５の画像を使用したり傾斜センサを使用したりすることもできる。
表示装置は、液晶表示装置に限らず、文字又は映像を表示する他の表示デバイスを使用することができる。例えば、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）を複数の配列して１つの表示装置を構成することもでき、さらにＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、ＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）を使用することもできる。
また、移動可能な表示装置は、図３に示すようにスライドするものに限らない。例えば、二つ折り形に構成された筐体に設けられた表示装置で、ヒンジを中心に回転するものでもよい。図１３及び図１４にこの例を示す。図１３は移動体通信装置の正面図、図１４は側面図である。この図１３及び図１４において、図２と同一の符号は同一又は相当の部分を表している。副表示装置３ｂを指示する副筐体２１は、ヒンジ３０を介して本体筐体２０に開閉自在に接続されている。図１３（ａ）及び図１４（ａ）は、開いた状態を表し、図１３（ｂ）及び図１４（ｂ）は閉じた状態を表している。主表示装置３ａは、図１３（ｂ）に示すように、筐体を閉じた状態でも、副筐体２１に隠れずに使用することができる。副筐体２１は、図１３に示すように正面方向に回転するだけでなく、側面方向に回転し、副筐体２１収納時は、本体筐体２０の背面側に隠れるように構成してもよい。
さらに、副表示装置３ｂは必ずしも移動可能に設けられる必要はない。例えば、１つの表示装置の表示領域を複数に分割し、第１の表示領域を第１の表示手段として、第２の表情領域を第２の表示手段とすることもできる。
また、主表示装置３ａと副表示装置３ｂの大きさは、どちらが大きくともかまわない。上述の説明において、主表示装置３ａと副表示装置３ｂと呼んだが、これらは単に２つの表示装置であって、主と副に特別の意味は無い。
また、複数の映像を合成する場合には、縮小処理は必須ではない。画面の大きさ及び合成する映像の大きさに従って適宜実行するかしないか決めることができる。なお、通信相手の映像及びカメラの映像の両方を縮小処理することもできる。
また、１画面表示モードでは合成画像を表示せずに、通信相手からの映像をそのまま表示するようにしてもよい。
各アプリケーションプログラムは、複数のルーチンによって構成される。各アプリケーションプログラムは、同一のコンピュータプログラムに統合されていてもよいし、全く別個のプログラムとして構成されていてもよい。アプリケーションプログラムは、常にメモリ９に記憶されている必要はなく、送受信回路を介し、ネットワーク経由で他の機器からダウンロードすることができる。
上述の処理は、コンピュータで実行可能なプログラムによって実現することができる。コンピュータプログラムは、コンピュータで読み取り可能な記録媒体に記録することができ、また、無線通信によって移動体通信装置にダウンロードすることができる。
産業上の利用可能性
以上のように、本発明にかかる移動体通信装置、その表示制御方法並びにプログラムは、例えば、複数の表示装置を有する携帯電話、携帯情報端末等の移動体通信装置に用いるのに適している。
【図面の簡単な説明】
図１は、この発明の移動体通信装置の構成を示すブロック図である。
図２は、この発明の移動体通信装置の正面図である。
図３は、この発明の移動体通信装置の正面図である。
図４は、この発明の移動体通信装置の側面図である。
図５は、この発明の移動体通信装置の側面図である。
図６は、この発明の表示モード切替時のスクリーンを示す図である。
図７は、この発明の表示制御方法を示すフローチャートである。
図８は、この発明のメニュー及びアプリケーション実行処理を示すフローチャートである。
図９は、この発明の一画面モード時のスクリーンを示す図である。
図１０は、この発明の動画像表示処理を示すフローチャートである。
図１１は、この発明の動画像表示時の通信シーケンスを示すシーケンス図である。
図１２は、この発明のネットワーク装置及びメディアサーバ示すブロック図である。
図１３は、この発明の移動体通信装置の正面図である。
図１４は、この発明の移動体通信装置の側面図である。

Claims (15)

1. 音声及び画像データを送受信する送受信手段と、
   文字又は画像を表示する第１の表示手段及び第２の表示手段と、
   画像を撮影するカメラと、
   ユーザ操作を受け付ける入力デバイスと、
   前記第１及び第２の表示手段を制御し、前記送受信手段が受信した第１の画像データを第１の表示手段上に表示し、前記カメラが撮影した第２の画像データを第２の表示手段上に表示する２画面ビデオ通話表示を実行するとともに、前記２画面ビデオ通話表示を実行中に入力デバイスに入力があった場合、前記第１及び第２の画像データの合成画像を前記第１及び第２の表示手段の一方に表示するとともに、前記入力に基づく処理を実行し処理結果を他方の表示手段に表示する制御手段と、
   を備えたことを特徴とする移動体通信装置。
2. 前記制御手段は、前記入力デバイスに入力があった場合に、前記他方の表示手段に、複数の選択肢のそれぞれに対応する機能が割り付けられたメニューを表示することを特徴とする請求項１に記載の移動体通信装置。
3. 動画像を記憶する記憶手段を備え、
   前記制御手段は、前記入力デバイスに入力があった場合に、前記メモリに記憶された動画像を前記送受信手段を介して送信するとともに、前記動画像を前記他の表示手段に表示することを特徴とする請求項１に記載の移動体通信装置。
4. 前記制御手段は、前記入力デバイスに入力があった場合に、動画像の記憶されたアドレスを送受信手段を介して送信するとともに、前記アドレスを用いてネットワークにアクセスし、動画像データをダウンロードして前記他の表示手段に表示することを特徴とする請求項１に記載の移動体通信装置。
5. 前記制御手段は、前記送受信手段がアドレスを受信した場合に、受信したアドレスにアクセスし、動画像データをダウンロードして前記他の表示手段に表示することを特徴とする請求項４に記載の移動体通信装置。
6. 前記制御手段は、前記動画像データ再生の進捗に合わせて同期データを生成し、前記送受信手段を介して前記同期データを送信することを特徴とする請求項５に記載の移動体通信装置。
7. 前記制御手段は、前記送受信手段を介して前記同期データを受信したとき、同期データに基づいて動画像の再生速度を調整することを特徴とする請求項５に記載の移動体通信装置。
8. 前記制御手段は、前記２画面ビデオ通話表示を実行中に前記送受信手段が表示要求を受信した場合、前記第１及び第２の画像データの合成画像を前記第１及び第２の表示手段の一方に表示するとともに、前記表示要求に基づく処理を実行し処理結果を他方の表示手段に表示することを特徴とする請求項１に記載の移動体通信装置。
9. 前記制御装置は、前記表示要求の実行可否の問い合わせを前記第１又は第２の表示装置上に表示し、ユーザが前記表示要求の実行を許容した場合に、前記表示要求に基づく処理を実行し、前記ユーザが前記表示要求の実行を許容しなかった場合に、前記表示要求に基づく処理を実行しないことを特徴とする請求項８に記載の移動体通信装置。
10. 移動体通信装置に設けられた複数の表示装置のそれぞれに映像を表示し、通話相手から受信した音声を再生する２画面ビデオ通話ステップと、
    前記移動体通信装置に対する操作命令を受け付ける入力ステップと、
    移動体通信装置が前記操作命令を受けたとき、前記複数の表示装置で表示されていた映像の合成映像を生成し、前記複数の表示装置の一方に前記合成映像を表示するとともに、前記操作命令の実行結果を他の表示装置に表示する１画面ビデオ通話ステップと、
    を備えたことを特徴とする移動体通信装置の表示制御方法。
11. 前記１画面ビデオ通話ステップは、前記他の表示装置に複数の選択肢のそれぞれに対応する機能が割り付けられたメニューを表示することを特徴とする請求項１０に記載の移動体通信装置の表示制御方法。
12. 前記移動体通信装置の送受信回路を介して、動画像を送信するステップを備え、
    前記１画面ビデオ通話ステップは、前記他の表示装置に前記動画像を表示することを特徴とする請求項１０に記載の移動体通信装置の表示制御方法。
13. 前記１画面ビデオ通話ステップは、前記送受信回路が受信した同期信号に基づいて動画の再生速度を調整することを特徴とする請求項１２に記載の移動体通信装置の表示制御方法。
14. 前記１画面表示ステップは、前記移動体通信装置の送受信回路が通信相手から命令信号を受信した場合、記憶装置に記憶された前記命令信号に対応する処理を実行し、実行結果を前記他の表示装置に表示することを特徴とする請求項１０に記載の移動体通信装置の表示制御方法。
15. 請求項１０〜１４のいずれかに記載の表示制御方法をコンピュータに実行させるプログラム。

Images