〔実施形態1〕
本発明の情報通信端末および端末制御方法、端末制御プログラム並びにこれを記録した記録媒体に関する一実施形態について、図1〜図14(d)に基づいて説明すれば、以下のとおりである。
本実施形態の携帯型電話機(情報通信端末)10は、図2に示すように、有効表示領域4aを有する表示部4、ダイヤルボタン5aを有する入力部5、受話部6aおよび送話部6bからなる外観を有している。
また、携帯型電話機10は、図1に示すように、内部に、制御部1、ROM(Read Only Memory)2、RAM(Random Access Memory)3、表示部4、入力部(キー入力受付手段)5、音声処理部6および通信部7を備えている。
制御部1は、マイクロコンピュータを内蔵し、ROM2から読み出したコンピュータプログラムに従って、入力部5からの入力操作、および通信部7からの制御信号により動作し、表示部4、通信部7、音声処理部6を制御する。なお、この制御部1が内部に備えている各機能ブロックについては、後段にて詳述する。
ROM2は、例えば、フラッシュROMのような不揮発性メモリで構成されており、制御部1が実行する本発明の端末制御プログラムであるコンピュータプログラムや、制御部1が利用する各種データが記憶される。また、受信側の携帯型電話機10と共有する写真画像データ等の表示コンテンツについても、ROM2に格納されている。
なお、ROM2に記憶されるコンピュータプログラムは、予め製造・出荷段階でROM2に記憶されたものに限定されるものではなく、記憶媒体読取部(図示せず)にメモリカード等の記憶媒体を挿入して、記憶媒体内のプログラムをROM2に書き込んでもよいし、記憶媒体自体が読み取り可能なプログラムメディアであってもよい。また、本実施形態の携帯型電話機10は、インターネットを含む通信ネットワークと接続可能な通信部7を備えていることから、通信ネットワークからプログラムをダウンロードして、ROM2に記憶してもよい。
RAM3は、例えば、SRAMやDRAMのような揮発性メモリで構成されており、制御部1がROM2から読み出したコンピュータプログラムを実行する際に、ワークメモリとして使用される。
表示部4は、液晶ディスプレイや有機ELディスプレイ等のFPD(フラットパネルディスプレイ)等で構成され、制御部1に表示制御されることにより、利用者に対して文字や画像等の表示情報を提供する。
入力部5は、電話番号や文字等を入力するためのダイヤルボタン(キー入力操作子)5aを含む、携帯型電話機を操作するための複数の入力ボタンで構成される。
音声処理部6は、受話部6aや送話部6bに接続され、制御部1から入力された音声信号を受話部6aから出力したり、送話部6bから入力された音声信号を制御部1に出力したりする処理を行う。
通信部7は、アンテナ7aと接続され、通信回線を介する通信処理を制御部1に制御されることにより行う回路であって、音声信号やデータ、制御信号等を高周波によって変調して、アンテナ7aから送信したり、アンテナ7aから受信した音声信号やデータ、制御信号等を復調して制御部1に出力したりする。
また、通信部7は、受信側の携帯型電話機10との間において、後述する目印情報を送受信する際に、目印情報の伝送形態が、文字等のデジタルデータやPB信号(DTMF)である場合には、通話用の音声データと並存可能な方法で送受信する。
具体的には、通話用の音声データと、デジタルデータまたはPB信号(DTMF)とを多重化して送受信を行う。また、目印情報の伝送形態が、音声データの場合には、通話用の音声データと目印情報の音声データとを合わせて送受信を行う。
このように、目印情報としてデジタルデータを用いた場合には、画像表示が可能な携帯型電話機等を用いて、音声データとともに、目印情報の送受信を行うことができるため、利用者は、通話しながら、表示画面に表示された目印で指し示された対象物について、会話することができる。
また、目印情報としてDTMF信号を用いた場合には、特に、固定電話機等では一般的に搭載されているプッシュボタン信号(PB信号)の出力機能を利用して、送信側は、通話しながらDTMF信号を送信することができる。
また、目印情報としてDTMF信号を用いた場合には、通信回線をデータ通信モードではなく、通話モードで利用している場合でも、目印情報の送受信を行うことができる。
さらに、目印情報として音声からなるデータを用いた場合には、データ通信と、音声通話を同時に利用できない通信回線や情報通信端末や、DTMF信号の送受信ができない情報通信端末間でも、通話しながら、目印情報の送受信を行うことができる。
この場合、送信側の携帯型電話機10は、利用者により入力ボタンが押されたら、音声データ(例えば、1が入力された場合には「いち」、2が入力された場合には「に」等)を合成し、受信側の携帯型電話機10に送信してもよい。あるいは、送信側の携帯型電話機10は、ROM等の記憶部に予め音声データを記憶さえておき、利用者により入力ボタンが押されたら、対応する音声データを読み出し、受信側の携帯型電話機10に送信してもよい。または、利用者「いち」、「に」と言った声をそのまま、音声からなるデータとして受信側の携帯型電話機10に送信してもよい。
なお、ここで通話用の音声データと目印情報とを並存可能としているのは、相手と通話しながら、表示画面にポインティングするためであり、通話の必要が無ければ、当然、目印情報だけを送受信してもよい。
また、携帯型電話機10は、図2に示すように、表示部4と入力部5とが、操作する利用者の側に配置されている外観を有する。
表示部4の上端側には、電池残量や電波状態を表示する固定の表示領域が表示され、表示部4の下端側には、特定のボタン操作で利用できる機能を示す操作ガイダンスを表示する固定の表示領域が表示されている。なお、これらの固定の表示領域を除いた通常使用される表示領域を、有効表示エリア4aとして定義する。ただし、固定の表示領域を表示せずに、全表示領域を利用する場合には、有効表示エリア4aは、表示部4の全表示領域となる。
本実施形態の携帯型電話機10においては、有効表示エリア4aは、9個の分割エリア(縦3×横3)として管理され、ダイヤルボタン5aの1から9までの9個のボタン(縦3×横3)の配置と対応している。
これにより、ダイヤルボタン5aの1から9までの何れかのボタンが押下されると、その位置に対応する有効表示エリア4aの9つの分割エリアのうち1つのエリアの中央位置が絶対位置としてポインティングされる。本実施形態では、この絶対位置が含まれる領域を示す情報が、目印を表示する領域を示す領域指定情報である。
例えば、有効表示エリア4aの分割エリアのうち、左下の領域をポインティングする場合には、ダイヤルボタン5aの1から9までのボタンのうち、同じく左下に配置されている“7”のボタンを入力することで、所望の分割エリアにポインティングすることができる。
また、本実施形態の携帯型電話機10が備えている制御部1は、図1に示すように、図示しないCPUが、ROM2に格納された各種の端末制御プログラム(アプリケーションプログラム)を実行し、表示部4、入力部5、通信部7、音声処理部6等のハードウェアを制御することにより、各種の機能を実現する機能ブロックとして、目印情報作成部(目印情報作成手段)11、表示制御部(表示制御手段)12、通信制御部(通信制御手段)13および目印情報移動制御部(目印情報移動制御手段)14を機能ブロックとして形成している。
目印情報作成部11は、ダイヤルボタン5aが利用者によって押下されると、ROM2に格納された端末制御プログラムに従って、目印情報を作成する。なお、本実施形態では、目印情報作成部11は、目印情報として、目印の表示態様である目印態様情報と目印を表示する領域を示す領域指定情報を作成するものとするが、これに限定はされず、領域指定情報だけ作成してもよい。
表示制御部12は、上記端末制御プログラムに従って表示部4を制御し、目印情報作成部11で作成された目印情報を、利用者によって押下されたダイヤルボタン5aに対応する表示画面上の分割エリアに表示させる。なお、表示制御部12は、目印情報によらなくても、予め定められた目印を、利用者によって押下されたダイヤルボタン5aに対応する表示画面上の分割エリアに、表示できるようになっていてもかまわない。
通信制御部13は、上記端末制御プログラムに従って、通信部7を制御し、上記目印情報、画像情報等を、通信相手である他の情報通信端末に対して送信させる。
目印情報移動制御部14は、ダイヤルボタン5aを押下することで、表示画面上に表示した目印の表示位置を移動させて、微調整する。本実施形態では、この目印の表示位置の移動を示す情報が、目印移動情報である。
本実施形態の携帯型電話機10では、以上のような構成により、他の携帯型電話機10との間において、目印情報として、領域指定情報である入力操作情報または有効表示エリア上の座標情報と、目印情報を構成する要素である種類・形状・サイズ・線種・色等の目印の表示態様に関する情報である入力操作情報または目印属性情報と、さらに、その他必要なコマンド情報等とを通信することにより、お互いの表示画面に表示された画像上にポインティング、つまり、目印を表示することができる。
また、本実施形態の携帯型電話機10では、有効表示エリア4aの分割エリアの配置とダイヤルボタン5aの配置とが一致しているため、利用者は、所望の分割エリアに目印を容易に表示させることができる。
また、マウス等のポインティングデバイス等を追加することなく、従来の携帯型電話機が備えているダイヤルボタン5aを表示部4の分割エリアに割り当てているため、従来の構成のままで、ほぼ所望の位置に直接的にポインティングを行うことができる。
なお、目印を画面に表示する際の表現の書式である目印情報は、例えば、目印位置を点で指定するか領域で指定するか等の位置指定の種類、形状が矢印か+形か等の目印の形状、目印の表示のサイズおよび目印を形成する実線、破線等の線種、色等で示される表示態様で表される。
また、目印情報は、表示画面上の特定部分を指し示すための図形情報であり、1点(ピンポイント)を指し示す“矢印”や“十字”、およびある範囲(エリア)を指し示す“○”や“□”等の形状の図形を、写真画像等の表示コンテンツ上に重畳して表示するものである。
次に、本発明を適用した複数の携帯型電話機10が、入力部5への入力操作によって形成された目印情報を、他の携帯型電話機10に送信して、該他の携帯型電話機10の表示画面上に表示するまでの処理の流れについて、図3(a)、図3(b)を用いて説明すれば以下のとおりである。
なお、受信側の携帯型電話機10は、1台だけに限らず、複数台が存在する場合には、送信側の携帯型電話機10は、複数台の受信側の携帯型電話機10に対して同様の処理を行う。
まず、送信側の携帯型電話機10における処理について、図3(a)を用いて説明する。
S1001では、受信側の携帯型電話機(受信側)10と共有する話題の対象となる写真画像データ等の表示コンテンツ(画像情報)を、表示部4の有効表示エリア4aに表示する。表示コンテンツは、予め受信側に送信、または受信側から受信してあるものを、入力部5からの操作でROM2から読み出して表示してもよいし、ポインティングを開始する時点で、受信側の携帯型電話機10と送受信してもよい。
また、このステップは、受信側の携帯型電話機10とは無関係に、単独操作で行ってもよいし、通信部7を介して、受信側の携帯型電話機10と通信することにより同調して行ってもよい。
ただし、送信側の携帯型電話機10の有効表示エリア4aに対する目印情報を受信側に送信して、お互いの有効表示エリア4aに表示された表示コンテンツの同一部分をポインティングする必要がある。
よって、本実施形態の携帯型電話機10では、お互いの有効表示エリア4aの縦横比と、表示コンテンツの表示範囲が同一になるように表示している。また、必要があれば通信部7を介して、受信側と通信することにより、有効表示エリア4aの縦横比と、表示コンテンツの表示範囲とが同一になるように表示制御を行う、あるいは、例えば、「○○の写真全体を、縦向きに画面いっぱいに表示して」等、音声通話等を用いて利用者同士が確認を取り合って適切なポインティングが行えるようにしてもよい。
次に、S1002では、入力部5からの操作により、ポインティング開始状態(送信側)に設定する。また、必要に応じて、受信側の携帯型電話機10へ、通信部7を介してポインティング開始を指示する情報を送信してもよいし、音声通話等でポインティング操作を開始する旨を、受信側に伝えてもよい。
S1003では、入力部5からの操作により、ポインティング操作を行い、目印情報を受信側の携帯型電話機10に送信する。なお、このS1003の処理内容については、後段にて詳述する。
ポインティングが終了したら本ステップは終了となるが、本ステップを必要に応じて繰り返し実行し、ポインティング操作を連続的に行ってもよい。
続いて、受信側の処理について、図3(b)を用いて説明する。
S1004では、送信側の携帯型電話機(送信側)10と共有する、話題の対象となる写真画像データ等の表示コンテンツを、表示部4の有効表示エリア4aに表示する。
表示コンテンツは、予め送信側と送受信してある共有画像情報を、入力部5からの操作でROM2から読み出して表示してもよいし、ポインティングを開始する時点で、送信側の携帯型電話機10と送受信してもよい。
また、このステップの処理は、送信側とは無関係に、単独操作で行ってもよいし、通信部7を介して、送信側と通信することにより同調して行ってもよい。
ただし、受信側の携帯型電話機10では、送信側の携帯型電話機10の有効表示エリア4aにおいて表示された目印情報を受信して、お互いの有効表示エリア4aに表示された表示コンテンツの同一部分をポインティングする必要がある。
よって、本実施形態の携帯型電話機10では、お互いの有効表示エリア4aの縦横比と、表示コンテンツの表示範囲が同一になるように表示している。また、必要があれば通信部7を介して、送信側と通信することにより、有効表示エリア4aの縦横比と、表示コンテンツの表示範囲とが同一になるように表示制御を行う、あるいは、例えば、「○○の写真全体を、縦向きに画面いっぱいに表示して」等、音声通話等を用いて利用者同士が確認を取り合って適切なポインティングが行えるようにしてもよい。
S1005では、入力部5からの操作、または通信部7を介して、送信側から受信したポインティング開始を指示する情報により、ポインティング開始状態に設定される。
ここでも、必要に応じて、送信側の携帯型電話機(送信側)10に対して、音声通話等でポインティング動作を開始できる旨を伝えてもよい。
S1006では、通信部7を介して、送信側から受信した目印情報に基づいて、ポインティング動作を行う。なお、受信した目印情報に目印態様情報が含まれていなければ、予め定められた形状の目印を、表示画面上に表示させてもかまわない。なお、このステップにおける処理内容については後段にて後述する。
ポインティングが終了したら本ステップは終了となるが、本ステップを必要に応じて繰り返し実行し、ポインティング動作を連続的に行ってもよい。
以上が、本実施形態の携帯型電話機10による全体的な処理の概要である。
次に、携帯型電話機10間で送受信される目印情報として、送信側の入力部5の入力操作情報を利用する場合について、図4および図5に示すフローチャートを用いて説明する。
なお、入力操作情報とは、入力されたボタンの種類を示す情報であり、ダイヤルボタン5aのうち、1ボタンが入力されたら“1”、*ボタンが入力されたら“*”等を、文字等で表現されるデジタルデータや、入力されたボタンに対応したPB信号(DTMF)や、音声データ(日本語なら「いち」、「に」、「アステリスク」等)等で生成するものである。
まず、S1では、ポインティング制御を開始するための設定を行う。
具体的には、絶対位置を指定するための、有効表示エリア4aの分割エリアの構成、分割エリアを指定するダイヤルボタン5aの対応、目印情報として送信する入力操作情報の伝送形態や、送信モードの設定等、ポインティング操作に必要な設定を行う。
なお、本実施形態の携帯型電話機10は、上記送信モードとして、入力操作情報を認識する毎、つまり、ダイヤルボタン5aが押下される度に、入力操作情報を目印情報として送信相手である携帯型電話機10に送信する「逐次送信モード」、目印情報を確定させてから入力操作情報を送信する「確定情報送信モード」を有している。
ここで、携帯型電話機10が、「確定情報送信モード」に設定されている場合には、入力操作情報を蓄積するためのRAM3のバッファ領域(図示せず)をすべてクリアする。
なお、「逐次送信モード」は、利用者の好みに応じて任意に設定できるようになっており、ポインティング開始毎にモード設定画面を有効表示エリア4aに表示して、利用者に設定させてもよいし、予めROM2に設定データとして利用者の好みのモードを記憶しておき、これをデフォルトの設定としてもよい。
本実施形態の携帯型電話機10では、上述したように、図2に示す9個の分割エリア(縦3×横3)から構成される有効表示エリア4aを備え、分割エリアを指定するダイヤルボタン5aの入力に対して、1から9までの9個のボタン(縦3×横3)が対応する。
また、送信側の携帯型電話機10と受信側の携帯型電話機10とが、種類や仕様の異なる情報通信端末である場合等、送信側の携帯型電話機10と受信側の携帯型電話機10との間において、ポインティング操作に必要な情報が明らかでない場合には、通信部7を介して、受信側の携帯型電話機10に、ポインティング操作に必要な情報を送信する。
なお、送信側の携帯型電話機10および受信側の携帯型電話機10の機種や仕様が同一である場合等、ポインティング操作に必要な情報が明らかである場合には、ポインティング操作に必要な情報を、受信側の携帯型電話機10に送信しなくてもよい。
ここで、ポインティング操作に必要な情報の一例について説明する。
送信側の携帯型電話機10において設定された有効表示エリア4aの定義情報として、図6(a)に示すように、有効表示エリア4aの縦横の分割数が設定されている。
ポインティング操作に使用するボタンと、各ボタンに割り当てられた機能の定義は、図6(b)に示すような形式で設定されている。
ポインティング操作によりポインティングされる目印の種類と形状を識別するコード、そのコードに適用される目印、サイズの変化ステップの定義は、図6(c)に示すような形式で設定されている。
相対位置指定モードでの相対移動量の変化ステップの定義は、図6(d)に示すような形式で設定されている。
目印情報として送信する入力操作情報の伝送形態の定義は、図6(e)に示すような形式で設定されており、定義されている伝送形態のうちの何れか1つを選択する。
続いて、S2では、ポインティングモードを絶対位置指定モードに設定し、分割グリッド線と、目印情報作成部11が作成した目印情報をデフォルトの目印として表示する。
なお、分割グリッド線やデフォルト目印情報に基づいて表示された目印は、必ずしも表示する必要があるわけではなく、必要が無ければ表示しなくてもよい。
ここで、分割グリッド線、デフォルトの目印情報について説明する。
送信側の携帯型電話機10の表示部4には、図7(a)に示すように、有効表示エリア70aに、有効表示エリア70aの分割エリアを示すための分割グリッド線72aと、デフォルトの目印71aとが表示されている。
ここでは、目印情報作成部11で作成されたデフォルトの目印情報は、識別コード“種類=1、形状=1”で定義される矢印を表示する。また、絶対位置指定モードであることを示すために、目印の表示態様は、線種が二重線で、かつ表示濃度が薄く表示されている。
このように、グリッド線を用いて分割領域を示すことで、利用者は、ポインティングしたい対象物がどのエリアに含まれているかを容易に認識できる。
なお、絶対位置指定モードであることを示すための表現方法は、その他の方法でもよく、例えば、絶対位置指定モードであることを示すために、目印の表示色を特定の色にしてもよい。
S3では、ポインティング操作に使用するダイヤルボタン5aの入力を検出し、ボタンの入力を検出したら、S4に進む。
S4では、S3で入力を検出したボタンに基づいて、入力操作情報を生成する。
入力操作情報は、入力されたボタンの種類を示すだけでよいので、1ボタンが入力されたら“1”、*ボタンが入力されたら“*”を示す文字等で表現されるデジタルデータを生成する。
S5では、S4で生成された入力操作情報が、絶対位置の入力を示すボタン入力であるか否かを判定する。絶対位置の入力を示すボタンは、図6(b)に示すように、1から9までの9個のダイヤルボタンである。
ここで、判定がYESの場合にはS6に進み、NOの場合にはS10に進む。
S6では、絶対位置の入力を示すボタンが押下されているため、入力操作情報に基づいて、送信側の携帯型電話機10の有効表示エリア4aに目印を表示する。具体的には、利用者に押下されたダイヤルボタン5aに対応する有効表示エリア4aの分割エリアに、絶対位置として目印を表示する。ここでは、現時点で選択されている種類・形状・サイズの表示態様を示す目印情報に基づいて、目印を表示する。
目印の種類が、1点(ピンポイント)を指し示す場合には、“矢印”や“十字”を目印として用いて、指定された分割エリアの中央を指し示すように配置し、目印の種類が、ある範囲(エリア)を指し示したい場合には、“○(丸)”や“□(四角)”等を示す目印情報を用いて、指定された分割エリアの中心を中心位置として、分割エリアの縦または横のどちらか小さい方のサイズを輪郭サイズとして配置する。
また、絶対位置の指定が終了すると、次に相対位置指定モードに切り換えられたことを示すために、例えば、線種が破線で、かつ表示濃度は通常という状態で目印を表示する。
S7では、入力操作情報を認識する毎に、入力操作情報を目印情報として受信側の携帯型電話機10に送信する「逐次送信モード」に設定されているか否かを判定する。
ここで、判定が、YESの場合にはS8に進み、NOの場合にはS9に進む。
S8では、逐次送信モードに設定されているため、利用者に入力された領域指定情報である入力操作情報を目印情報として、通信部7から受信側の携帯型電話機10に対して送信する。なお、受信側の携帯型電話機10が複数台存在する場合には、上記と同様に、各携帯型電話機10に対して目印情報が送信される。
続いて、目印の表示位置を微調整するための相対位置指定モードに移行するため、図5に示すフローチャートのS20へと進む。
一方、S9では、入力操作情報を、RAM3のバッファ領域(図示せず)に記憶し、同じく図5のフローチャートに示すS20へと進む。
S10では、S4で生成された入力操作情報が、目印の種類変更を示すボタン入力であるか否かを判定する。ここでは、目印の種類変更を示すボタン入力は、図6(b)に示すように、目印の種類を変更するキー入力操作子として定義された*ボタンである。
ここで、判定がYESの場合にはS11に進み、NOの場合にはS15に進む。
S11では、目印の種類変更が入力されているため、入力操作情報に基づいて、送信側の携帯型電話機10の有効表示エリア4aに表示されている目印の種類を変更する。
具体的には、目印の種類は、図10に示すように、1点(ピンポイント)を指し示す“矢印31”や“十字32”である種類=1のグループから、ある範囲(エリア)を指し示す“○(丸)33”や“□(四角)34”である種類=2のグループへ、あるいは種類=2のグループから種類=1のグループへ変更される。
なお、本実施形態では、目印の種類が変更されると、形状も変更後の種類の形状=1に変更される。
S12では、入力操作情報を認識する毎に、入力操作情報を目印情報として受信側の携帯型電話機10に送信する「逐次送信モード」に設定されているか否かを判定する。
ここで、判定がYESの場合にはS13に進み、NOの場合にはS14に進む。
S13では、逐次送信モードに設定されているため、目印態様情報である入力操作情報を目印情報として、通信部7から受信側の携帯型電話機10に対して送信する。なお、受信側の携帯型電話機10が複数台存在する場合には、上記と同様に、各携帯型電話機10に対して目印情報が送信される。続いてS3に戻る。
S14では、逐次送信モードに設定されていないため、入力操作情報を、RAM3のバッファ領域(図示せず)に記憶した後、S3に戻る。
S15では、S4で生成された入力操作情報が、目印の形状変更を示すボタン入力であるか否かを判定する。ここでは、目印の形状変更を示すボタン入力は、図6(b)に示すように、0ボタンである。
ここで、判定がYESの場合にはS16に進み、NOの場合にはS17に進む。
S16では、目印の形状変更が入力されているため、入力操作情報に基づいて、送信側の携帯型電話機10の有効表示エリア4aに表示されている目印の形状を変更する。
具体的には、目印の形状は、図10に示すように、それぞれの種類グループ内で形状=1から形状=2へ、あるいは形状=2から形状=1へ変更される。
S17では、S4で生成された入力操作情報が、目印情報の確定を示すボタン入力であるか否かを判定する。ここでは、目印情報の確定を示すボタン入力は、図6(b)に示すように、#ボタンである。
なお、本ステップでは、まだ絶対位置の指定が行われていない場合には、デフォルトの目印情報に基づいて目印が表示されている有効表示エリア4aの、中央の分割エリアの中心位置が、目印のポインティング位置として認識される。
ここで、判定がYESの場合には、図5のフローチャートのS37に進み、NOの場合にはS3に戻る。
続いて、図5に示すフローチャートに従って、S20では、ポインティングモードを、相対位置指定モードに設定する。
ここでは、相対移動する際の相対移動量を、デフォルトの“1/2”に設定する。
S21では、ポインティング操作に使用するダイヤルボタン5aの入力操作を検出し、ボタンの入力を検出したら、S22に進む。
S22では、S21で入力を検出したボタンに基づいて、入力操作情報を生成する。
入力操作情報は、入力されたボタンの種類を示すだけでよいので、1ボタンが入力されたら“1”、*ボタンが入力されたら“*”を示す文字等で表現されるデジタルデータを生成する。
続いて、S23では、S22で生成された入力操作情報が、相対位置の入力を示すボタン入力であるか否かを判定する。本実施形態では、相対位置の入力を示すボタン入力は、図6(b)に示すように、5を除く1から9までの8個のダイヤルボタン5aである。
ここで、判定がYESの場合には、S24に進み、NOの場合には、S25に進む。
S24では、相対位置の入力が行われているため、目印移動情報である入力操作情報に基づいて、送信側の携帯型電話機10の有効表示エリア4aに表示されている目印を、現在設定されている相対移動量に基づいて、入力された方向に相対移動させる。
S29では、入力操作情報を認識する毎に、入力操作情報を目印情報として、受信側の携帯型電話機10に送信する「逐次送信モード」に設定されているか否かを判定する。
ここで、判定がYESの場合にはS30に進み、NOの場合にはS31へ進む。
S30では、逐次送信モードに設定されているため、入力操作情報を目印情報として、通信部7から受信側の携帯型電話機10に対して送信する。なお、受信側の携帯型電話機10が複数台存在する場合には、上記と同様に、各携帯型電話機10に対して目印情報が送信される。続いてS21に戻る。
S31では、逐次送信モードに設定されていないため、入力操作情報を、目印情報が確定するまで、RAM3のバッファ領域(図示せず)に格納し、S21に戻る。
S25では、S22で生成された入力操作情報が、目印のサイズ変更を示すボタン入力であるか否かを判定する。ここでは、目印のサイズ変更を示すボタン入力は、図6(b)に示すように0ボタンである。
ここで、判定がYESの場合にはS26に進み、NOの場合にはS27に進む。
S26では、目印のサイズ変更が入力されているため、目印態様情報である入力操作情報に基づいて、送信側の携帯型電話機10の有効表示エリア4aに表示されている目印のサイズを変更する。
ここでは、目印のサイズは、図6(c)に示すように、各種類・形状の目印とも、デフォルトのサイズを“中”とし、サイズ変更が入力される毎に、“小”、“大”、“中”のステップで順次、繰り返してサイズ変更される。
続いて、S29に進む。S29以降の処理は上述したとおりである。
S27では、S22で生成された入力操作情報が、相対移動量の変更を示すボタン入力であるか否かを判定する。ここでは、相対移動量の変更を示すボタン入力は、図6(b)に示すように、*ボタンである。
ここで、判定がYESの場合にはS28に進み、NOの場合にはS32に進む。
S28では、相対移動量の変更が入力されているため、入力操作情報に基づいて、相対移動量を変更する。
ここでは、相対移動量は、図6(d)に示すように、デフォルトの相対移動量を、縦方向・横方向ともに、分割エリアのサイズの“1/2”とし、相対移動量の変更が入力される毎に、“1/4”、“最小”、“1/2”のステップで順次、繰り返して変更される。
なお、“最小”については、例えば、縦方向・横方向ともに“1/10”等、有効表示エリア4aの解像度や、分割エリアのサイズに応じて適切な値を適用すればよい。
続いて、S29に進み、S29以降の処理は上述した通りである。
S32では、S22で生成された入力操作情報が、ポインティングを最初から“やり直し”することを指示するボタン入力であるか否かを判定する。本実施形態では、“やり直し”を示すボタン入力は、図6(b)に示すように、5ボタンである。
ここで、判定がYESの場合にはS33に進み、NOの場合にはS36に進む。
S33では、“やり直し”が入力されているため、入力操作情報を認識する毎に、入力操作情報を目印情報として受信側の携帯型電話機10に送信する「逐次送信モード」に設定されているか否かを判定する。
ここで、判定がYESの場合にはS34に進み、NOの場合にはS35に進む。
S34では、逐次送信モードに設定されているため、入力操作情報を目印情報として、通信部7から受信側の携帯型電話機10に対して送信する。なお、受信側の携帯型電話機10が複数台存在する場合には、上記と同様に、各携帯型電話機10に対して目印情報が送信される。
S35では、RAM3のバッファ領域(図示せず)に記憶されている入力操作情報を、すべてクリアする。続いて、図4に示すフローチャートのS2に戻る。
S36では、S22で生成された入力操作情報が、目印情報の確定を示すボタン入力であるか否かを判定する。本実施形態では、目印情報の確定を示すボタン入力は、図6(b)に示すように、#ボタンである。
ここで、判定がYESの場合にはS37に進み、NOの場合にはS21に戻る。
S37では、目印情報の確定が入力されているため、入力操作情報に基づいて、送信側の携帯型電話機10の有効表示エリア4aに表示されている目印情報を現在の状態で確定する。
また、目印情報が確定したことを示すために、目印の表示態様を、例えば、線種を破線から実線に変更して表示する。
さらに、有効表示エリア4aに表示していた分割グリッド線も消去する。なお、分割グリッド線の消去は、ここでは確定時点で実施しているが、例えば、絶対位置が指定された時点で消去してもよい。
S38では、RAM3のバッファ領域(図示せず)に、入力操作情報が記憶されておらず、バッファが空の状態であるか否かを判定する。
ここで、判定がYESの場合にはS41に進み、NOの場合にはS39に進む。
S39では、入力操作情報がRAM3に格納されているため、格納されている入力操作情報を、記憶した順番に1つずつ読み出し、読み出した入力操作情報を目印情報として、通信部7から受信側の携帯型電話機10に対して順次送信する。なお、受信側の携帯型電話機10が複数台存在する場合には、上記と同様に、各携帯型電話機10に対して目印情報が送信される。このステップは、RAM3のバッファ領域(図示せず)に記憶されている入力操作情報をすべて送信するまで繰り返し行われる。
S40では、受信側の携帯型電話機10に全ての目印情報を送信したため、RAM3のバッファ領域に格納されている入力操作情報を、すべてクリアする。
S41では、S22で生成された確定を示す入力操作情報を目印情報として、通信部7から受信側の携帯型電話機10に対して送信する。なお、受信側の携帯型電話機10が複数台存在する場合には、上記と同様に、各携帯型電話機10に対して目印情報が送信される。
以上で、送信側のポインティング処理を終了する。
本実施形態の携帯型電話機10では、以上のように、表示制御部12が表示部4を制御して、表示画面に表示された画像に対して、携帯型電話機10が有するダイヤルボタン5aを押下することで、目印情報作成部11が作成した目印情報に基づいて、容易に所望の位置に目印を表示することができる。
また、表示画面にポインティングされた目印について、同じくダイヤルボタン5aを押下することで、目印情報移動制御部14が容易に目印の表示位置を微調整して、表示制御部12によって表示部4を制御することで、利用者所望に位置に目印を表示させることができる。
さらに、ダイヤルボタン5aの特定のボタンを押下することで、目印情報作成部11が目印の表示態様を変更したり、目印情報を確定させたりすることができる。
続いて、本実施形態の携帯型電話機10における、受信側の処理について、図11および図12に示すフローチャートを用いて説明すれば、以下のとおりである。なお、受信側の携帯型電話機10における処理についての基本的な条件については、送信側の携帯型電話機10における処理と同様である。
まず、受信側の携帯型電話機10では、図11に示すフローチャートに従って、ポインティング処理が行なわれる。
まず、S50では、ポインティング制御を開始するための設定を行う。
具体的には、絶対位置を指定するための有効表示エリア4aの分割エリアの構成、分割エリアを指定するための入力操作情報で示されるダイヤルボタン5aの対応、目印情報として受信する入力操作情報の伝送形態等の、ポインティング操作に必要な設定を行う。
ポインティング操作に必要な情報については、上述した図6(a)〜図6(e)に示した例と同様である。
S51では、ポインティングモードを、絶対位置指定モードに設定し、デフォルトの目印を表示する。なお、デフォルト目印情報は必ず表示する必要があるわけではなく、表示しなくてもよい。
図7(a)に示す表示画面において、受信側の有効表示エリア70bに、デフォルトの目印情報に基づいて矢印71bが表示されている。ここでは、デフォルトの目印情報は、識別コード“種類=1、形状=1”で定義される矢印である。また、絶対位置指定モードであることを示すために、目印の表示態様は、線種が二重線でかつ表示濃度が薄く表示されている。
S52では、通信部7により、送信側で入力されたボタンの種類を示す入力操作情報の受信待ちを行う。入力操作情報は、入力操作情報の伝送形態で選択されている形態で受信する。
ここで、入力操作情報を受信したら、S53に進む。
S53では、S52で受信した入力操作情報が、目印の種類変更を示すボタン入力であるか否かを判定する。
ここで、判定がYESの場合には、S58に進み、NOの場合には、S54に進む。
S58では、目印の種類変更が入力されているため、入力操作情報に基づいて、有効表示エリア4aに表示されている目印の種類を変更する。この目印の種類が変更されると、種類=1のグループから種類=2のグループへ、または、種類=2のグループから種類=1のグループへ変更する。
なお、本実施形態では、種類が変更されると形状も変更後の種類グループの形状=1に変更されるようになっている。続いて、S52に戻る。
S54では、S52で受信した入力操作情報が、目印の形状変更を示すボタン入力であるか否かを判定する。
ここで、判定がYESの場合にはS59に進み、NOの場合にはS55に進む。
S59では、目印の形状変更が入力されているため、入力操作情報に基づいて、有効表示エリア4aに表示されている目印の形状を変更する。この目印の形状が変更されると、それぞれの種類のグループ内で、形状=1から形状=2へ、または、形状=2から形状=1へ変更する。続いて、S52に戻る。
S55では、S52で受信した入力操作情報が、目印情報の確定を示すボタン入力であるか否かを判定する。
なお、本ステップでは、まだ絶対位置の指定が行われていないが、デフォルトの目印情報に基づいてポインティングされている有効表示エリア4aの中央の分割エリアの中心位置が、ポインティング位置として認識される。
ここで、判定がYESの場合には、図12に示すフローチャートのS67に進み、NOの場合にはS56に進む。
S56では、S52で受信した入力操作情報が、絶対位置の入力を示すボタン入力であるか否かを判定する。
ここで、判定がYESの場合にはS57に進み、NOの場合にはS52に戻る。
S57では、絶対位置の入力が行なわれているため、入力操作情報に基づいて、有効表示エリア4aに、現時点で選択されている種類・形状・サイズの表示態様を示す目印情報にて、目印を表示する。
目印の種類が、1点(ピンポイント)を指し示す“矢印”や“十字”の場合には、指定された分割エリアの中央を指し示すように目印を表示する。一方、目印の種類が、ある範囲(エリア)を指し示す“○”や“□”の場合には、指定された分割エリアの中心を中心位置として、分割エリアの縦または横のどちらか小さい方のサイズを輪郭サイズとして目印を表示する。
また、絶対位置の指定が終了し、次に相対位置指定モードであることを示すために、目印の表示態様は、例えば、線種が破線で、かつ表示濃度は通常である。
続いて、目印の表示位置を微調整するための相対位置指定モードに移行するため、図12に示すフローチャートのS60に進む。
S60では、ポインティングモードを、相対位置指定モードに設定するとともに、相対移動する際の相対移動量を、デフォルトの“1/2”に設定する。
S61では、通信部7において、送信側の携帯型電話機10で入力されたボタンの種類を示す入力操作情報の受信待ちを行う。入力操作情報は、入力操作情報の伝送形態で選択されている形態で受信する。入力操作情報を受信すると、S62に進む。
S62では、S61で受信した入力操作情報が、目印のサイズ変更を示すボタン入力であるか否かを判定する。
ここで、判定がYESの場合にはS68に進み、NOの場合にはS63に進む。
S68では、目印のサイズ変更が入力されているため、入力操作情報に基づいて、有効表示エリア4aに表示されている目印のサイズを変更する。続いて、S61に戻る。
S63では、S61で受信した入力操作情報が、目印の相対移動量の変更を示すボタン入力であるか否かを判定する。
ここで、判定がYESの場合にはS69に進み、NOの場合にはS64に進む。
S69では、目印の相対移動量の変更が入力されているため、入力操作情報に基づいて、相対移動量を変更する。続いて、S61に戻る。
S64では、S61で受信した入力操作情報が、ポインティングを最初から“やり直し”することを指示するボタン入力であるか否かを判定する。
ここで、判定がYESの場合にはS51に戻り、NOの場合にはS65に進む。
S65では、S61で受信した入力操作情報が、相対位置の入力を示すボタン入力であるか否かを判定する。
ここで、判定がYESの場合にはS70に進み、NOの場合にはS66に進む。
S70では、入力操作情報に基づいて、受信側の携帯型電話機10の有効表示エリア4aに表示されている目印を指定された方向に、現在設定されている相対移動量に基づいて相対移動する。続いて、S61に戻る。
S66では、S61で受信した入力操作情報が、目印情報の確定を示すボタン入力であるか否かを判定する。
ここで、判定がYESの場合には、S67に進み、NOの場合には、S61に戻る。
S67では、入力操作情報に基づいて、受信側の携帯型電話機10の有効表示エリア4aに表示されている目印情報を現在の状態で確定する。
また、目印情報が確定したことを示すために、目印の表示態様を、例えば、線種を実線に変更して表示する。
以上で、受信側のポインティング処理を終了する。
本実施形態の携帯型電話機10では、以上のように、受信側の携帯型電話機10としても、送信側から受信した目印情報に基づいて、表示制御部12が、表示部4を制御することで、送信側の携帯型電話機10において表示された状態と同様の表示を行うことができる。
これにより、送受信を行う複数の携帯型電話機10において、互いに共通する画像に目印を付加した状態で、表示画面上に表示することができる。よって、利用者は、その目印で指し示された対象物についての情報交換を、通話あるいは文字情報を用いて行うことができる。
さらに、本実施形態の携帯型電話機10において、逐次送信モードに設定されている場合の、送信側および受信側の携帯型電話機10における具体的な表示状態について説明する。
図7(a)〜図7(d)および図8(a)〜図8(d)は、2台の携帯型電話機10が、「デスクトップパソコンを示す画像」を共有してお互いの画面に表示し、1台の携帯型電話機10からのポインティング操作により、お互いの画面に目印を重畳表示している表示例である。
通信開始時点では、図7(a)に示すように、送信側の携帯型電話機10の有効表示エリア70a、および受信側の携帯型電話機10の有効表示エリア70bには、共有している「デスクトップパソコンを示す画像」が表示されている。
また、送信側の携帯型電話機10の有効表示エリア70aには、図7(a)に示すように、有効表示エリア70aの分割エリアを示すための分割グリッド線72aと、デフォルトの目印情報に基づく目印71aとが表示されている。ここでは、デフォルトの目印71aは、識別コード“種類=1、形状=1”で定義される矢印であり、絶対位置指定モードであることを示すために、目印71aの表示態様は、二重線でかつ表示濃度が薄く表示されている(以下、絶対位置指定モードでは同様に表示されるものとする)。
また、受信側の携帯型電話機10の有効表示エリア70bには、デフォルトの目印71bが、送信側の携帯型電話機10と同じ表示態様で表示されている。
次に、絶対位置指定モードで、目印の形状が変更された場合には、図7(b)に示すように、目印情報が十字に変化する。
すなわち、送信側の携帯型電話機10において、図7(b)に示すように、ダイヤルボタン5aの0ボタンを押下することにより、送信側の携帯型電話機10に表示されている目印71aの形状を、“形状=1”で定義される矢印から、“形状=2”で定義される十字に変更する。
さらに、送信側の携帯型電話機10は、目印情報として、入力されたボタンの種類を示す入力操作情報“0”を受信側の携帯型電話機10へ送信する。受信側の携帯型電話機10は、受信した入力操作情報に基づいて、受信側の有効表示エリア70bに表示されている目印71bの形状を、“形状=1”で定義される矢印から、“形状=2”で定義される十字に変更する。
次に、絶対位置が指定された場合には、図7(c)に示すように、ダイヤルボタン5aに対応する表示画面の分割エリアに、目印が表示される。
すなわち、送信側の携帯型電話機10において、ダイヤルボタン5aの1ボタンが入力されると、図7(c)に示すように、送信側の携帯型電話機10の有効表示エリア70aに示された9つの分割エリアのうち、1ボタンに対応する絶対位置である左上の分割エリアに、現時点で選択されている種類・形状・サイズの目印71aが表示される。なお、目印71aの表示態様は、目印の絶対位置が設定された後、相対位置指定モードに切り換わったことを示すため、破線で、かつ表示濃度が通常で表示されている(以下、相対位置指定モードでは同様に表示されるものとする)。
さらに、送信側の携帯型電話機10は、目印情報として、入力されたボタンの種類を示す入力操作情報“1”を受信側の携帯型電話機10に送信する。受信側の携帯型電話機10は、受信した入力操作情報に基づいて、受信側の携帯型電話機10に示される9つの分割エリアのうち、1ボタンに対応する絶対位置である左上の分割エリアに、現時点で選択されている種類・形状・サイズの目印71bを表示する。
次に、目印のサイズが変更された場合には、図7(d)に示すように、目印の大きさが変更される。
すなわち、送信側の携帯型電話機10において、ダイヤルボタン5aの0ボタンが入力された場合には、図7(d)に示すように、送信側の携帯型電話機10に表示されている目印71aのサイズが、デフォルトの“中”から“小”に変更される。
さらに、送信側の携帯型電話機10は、目印情報として、入力されたボタンの種類を示す入力操作情報“0”を受信側の携帯型電話機10へ送信する。受信側の携帯型電話機10は、受信した入力操作情報に基づいて、受信側の有効表示エリア70bに表示されている目印71bのサイズを、デフォルトの“中”から“小”に変更する。
次に、相対位置指定モードで相対位置が指定された場合には、図8(a)に示すように、目印の位置が変更される。
すなわち、送信側の携帯型電話機10において、ダイヤルボタン5aの6ボタンが入力された場合には、図8(a)に示すように、送信側の携帯型電話機10に表示されている目印71aが、6ボタンに対応する相対方向である右方向に、現時点で選択されている相対移動量分だけ相対移動する。なお、この場合の相対移動量は、デフォルトの“1/2”であるため、分割エリアの横方向のサイズの1/2となっている。
さらに、送信側の携帯型電話機10は、目印情報として、入力されたボタンの種類を示す入力操作情報“6”を受信側の携帯型電話機10へ送信する。受信側の携帯型電話機10は、受信した入力操作情報に基づいて、受信側の有効表示エリア70bに表示されている目印71bを、6ボタンに対応する相対方向である右方向に、現時点で選択されている相対移動量分だけ相対移動させる。相対移動量については、上記と同様である。
次に、相対位置指定における相対移動量が変更する場合には、図8(b)に示すように、*ボタンが押下される。
すなわち、送信側の携帯型電話機10において、ダイヤルボタン5aの*ボタンが押下された場合には、図8(b)に示すように、送信側の目印71aを相対移動するときの相対移動量が、デフォルトの“1/2”から、“1/4”に変更される。
さらに、送信側の携帯型電話機10は、目印情報として、入力されたボタンの種類を示す入力操作情報“*”を受信側の携帯型電話機10へ送信する。受信側の携帯型電話機10は、受信した入力操作情報に基づいて、受信側の目印71bを相対移動するときの相対移動量を、デフォルトの“1/2”から、“1/4”に変更する。
次に、相対位置指定モードで、さらに相対位置が変更された場合には、図8(c)示すように、目印が移動する。
すなわち、送信側の携帯型電話機10において、ダイヤルボタン5aの2ボタンが入力された場合には、図8(c)に示すように、送信側の携帯型電話機10に表示されている目印71aが、2ボタンに対応する相対方向である上方向に、現時点で選択されている相対移動量分だけ相対移動する。なお、相対移動量は“1/4”であるため、分割エリアの縦方向のサイズの1/4となっている。
さらに、送信側の携帯型電話機10は、目印情報として、入力されたボタンの種類を示す入力操作情報“2”を受信側の携帯型電話機10へ送信する。受信側の携帯型電話機10は、受信した入力操作情報に基づいて、受信側の有効表示エリア70bに表示されている目印71bを、2ボタンに対応する相対方向である上方向に、現時点で選択されている相対移動量分だけ相対移動させる。なお、相対移動量については、上記と同様である。
次に、目印情報が確定されると、図8(d)に示すように、目印の表示態様が変わる。
すなわち、送信側の携帯型電話機10において、ダイヤルボタン5aの#ボタンが入力された場合には、図8(d)に示すように、送信側の携帯型電話機10に表示されている目印71aが、現在の状態で確定され、目印71aの表示態様が確定されたことを示すため、実線で、かつ表示濃度が通常という状態で表示される。
さらに、送信側の携帯型電話機10は、目印情報として、入力されたボタンの種類を示す入力操作情報“#”を受信側の携帯型電話機10へ送信する。受信側の携帯型電話機10は、受信した入力操作情報に基づいて、受信側の携帯型電話機10の有効表示エリア70bに表示されている、目印71bを、現在の状態で確定し、目印71bの表示態様を、確定されたことを示すため、実線で、かつ表示濃度が通常という状態で表示する。
本実施形態の携帯型電話機10が、逐次送信モードに設定されている場合には、以上のように、送信側でダイヤルボタン5aを介して入力すると、通信制御部13が通信部7を制御して、その入力毎にその入力情報を受信側の携帯型電話機10へ送信する。
一方、受信側の携帯型電話機10では、表示制御部12が表示部4を制御して、受信した目印情報に基づいて、表示画面に目印を表示することで、送信側の携帯型電話機10と同様の画面を表示することができる。
また、逐次送信モードでは、送信側の携帯型電話機10の入力操作毎に、入力操作情報を送信し、受信側の携帯型電話機10は、入力操作情報を受信してポインティング処理を行う。このため、送信側の携帯型電話機10で目印情報を確定するまでの操作内容を、受信側の携帯型電話機10でも画面上で確認できる。よって、表示画面上の何処かに一瞬で目印が表示される場合と比較して、目印のポインティング位置への受信側の利用者の追従性をよくすることができる。さらに、送信側の携帯型電話機10の利用者と一緒にポインティングしているような感覚が得られることも期待できる。
一方、本実施形態の携帯型電話機10において、逐次送信モードではなく、確定情報送信モードに設定されている場合の具体的な表示例について、図13(a)〜図13(d)および図14(a)〜図14(d)を用いて説明すれば、以下のとおりである。
ここでは、2台の携帯型電話機10において、上記と同様に、“デスクトップパソコンの画像”を共有してお互いの画面に表示し、1台の携帯型電話機10からのポインティング操作により、お互いの画面に目印を重畳表示する動作について説明する。
なお、図7(a)〜図7(d)および図8(a)〜図8(d)を用いた説明と、同様の条件については、ここでは省略する。
通信開始した時点では、図13(a)に示すように、送信側の携帯型電話機10の有効表示エリア80a、および受信側の携帯型電話機10の有効表示エリア80bには、共有している“デスクトップパソコンの画像”が表示されている。
次に、目印の種類が変更された場合には、図13(b)に示すように、目印の表示態様が矢印から○へ変化する。
すなわち、送信側の携帯型電話機10において、ダイヤルボタン5aの*ボタンが入力されると、図13(b)に示すように、送信側の携帯型電話機10の有効表示エリア80aに表示されている目印81aの種類を、1点(ピンポイント)を指し示す“種類=1”のグループから、ある範囲(エリア)を指し示す“種類=2”のグループの“形状=1”で定義される○に変更する。
さらに、送信側の携帯型電話機10は、目印情報として、入力されたボタンの種類を示す入力操作情報“*”を、RAM3のバッファ領域に記憶する。
次に、絶対位置が指定された場合には、図13(c)に示すように、目印が利用者指定の領域に表示される。
すなわち、送信側の携帯型電話機10において、ダイヤルボタン5aの6ボタンが入力されると、図13(c)に示すように、送信側の携帯型電話機10の有効表示エリア80aにおいて9つの分割エリアのうち、6ボタンに対応する絶対位置である右中央の分割エリアに、現時点で選択されている種類・形状・サイズの目印81aが表示される。
さらに、送信側の携帯型電話機10では、目印情報として、入力されたボタンの種類を示す入力操作情報“6”を、RAM3のバッファ領域に記憶させる。
次に、目印のポインティングを、最初から“やり直し”することを指示されると、図13(d)に示すように、図13(a)に示す状態に戻る。
すなわち、送信側の携帯型電話機10において、ダイヤルボタン5aの5ボタンが入力されると、図13(d)に示すように、送信側の携帯型電話機10は、RAM3のバッファ領域に記憶していた入力操作情報をすべてクリアして、絶対位置指定モードの開始状態に戻す。
次に、再度、目印の種類が変更された場合には、図14(a)に示すように、目印の表示態様が矢印から○へ変化する。
すなわち、送信側の携帯型電話機10において、ダイヤルボタン5aの*ボタンが入力されると、図14(a)に示すように、送信側の携帯型電話機10の有効表示エリア80aに表示される目印81aの種類を、1点(ピンポイント)を指し示す“種類=1”のグループから、ある範囲(エリア)を指し示す“種類=2”のグループの“形状=1”で定義される○に変更する。
さらに、送信側の携帯型電話機10は、目印情報として、入力されたボタンの種類を示す入力操作情報“*”を、RAM3のバッファ領域に記憶させる。
次に、再度、絶対位置が指定された場合には、図14(b)に示すように、目印が利用者指定の領域に表示される。
すなわち、送信側の携帯型電話機10において、ダイヤルボタン5aの9ボタンが入力されると、図14(b)に示すように、送信側の携帯型電話機10の有効表示エリア80aにおける9つの分割エリアのうち、9ボタンに対応する絶対位置である右下の分割エリアに、現時点で選択されている種類・形状・サイズの目印81aが表示される。
さらに、送信側の携帯型電話機10は、目印情報として、入力されたボタンの種類を示す入力操作情報“9”を、RAM3のバッファ領域に記憶する。
次に、目印の絶対位置が確定後、相対位置指定モードへ移行し、相対位置が指定された場合には、図14(c)に示すように、目印の表示位置が移動する。
すなわち、送信側の携帯型電話機10において、ダイヤルボタン5aの「1」ボタンが入力されると、図14(c)に示すように、送信側の携帯型電話機10の有効表示エリア80aに表示される目印81aが、「1」ボタンに対応する相対方向である左上方向に、現時点で選択されている相対移動量分だけ相対移動される。なお、相対移動量は、デフォルトの“1/2”であるため、分割エリアの縦方向と横方向のサイズの各1/2となっている。
さらに、送信側は目印情報として、入力されたボタンの種類を示す入力操作情報“1”を、RAM3のバッファ領域に記憶させる。
次に、目印情報が確定された場合には、図14(d)に示すように、目印の表示態様が変化する。
すなわち、送信側の携帯型電話機10において、ダイヤルボタン5aの#ボタンが入力されたことにより、図14(d)に示すように、送信側の携帯型電話機10の有効表示エリア80aに表示されている目印81aが、現在の状態で確定され、目印81aの表示態様が、確定されたことを示すため、実線で、かつ表示濃度が通常で表示される。
さらに、送信側の携帯型電話機10は、目印情報として、RAM3のバッファ領域に記憶している入力操作情報“*”、“9”、“1”を、順次送信し、最後に、確定を示す入力操作情報“#”を送信する。
受信側の携帯型電話機10では、受信した入力操作情報に基づいて、順次、受信側の有効表示エリア80bに表示されている目印81bのポインティング処理を行う。
すなわち、受信側の携帯型電話機10は、入力操作情報として“*”、“9”、“1”、“#”を受信することにより、目印81bの種類を、1点(ピンポイント)を指し示す“種類=1”のグループから、ある範囲(エリア)を指し示す“種類=2”のグループの、“形状=1”で定義される○に変更して、目印81bの表示態様を、絶対位置指定モードであることを示すため、二重線で、かつ表示濃度を薄く表示する。
次に、受信側の携帯型電話機10は、有効表示エリア80bにおける9つの分割エリアのうち、9ボタンに対応する絶対位置である右下の分割エリアに、現時点で選択されている種類・形状・サイズの目印81bを表示する。なお、目印81bの表示態様は、次の相対位置指定モードであることを示すため、破線で、かつ表示濃度が通常という状態で表示される。
次に、受信側の携帯型電話機10では、有効表示エリア80bに表示されている目印81bを、1ボタンに対応する相対方向である左上方向に、現時点で選択されている相対移動量分だけ相対移動させる。なお、相対移動量については、上記と同様に、デフォルトの“1/2”であるため、分割エリアの縦方向と横方向のサイズの各1/2となっている。
次に、受信側の携帯型電話機10では、有効表示エリア80bに表示されている、目印81bを現在の状態で確定し、目印81bの表示態様を、確定されたことを示すため、実線で、かつ表示濃度が通常で表示する。
本実施形態の携帯型電話機10が、逐次送信モードではなく、確定情報送信モードに設定されている場合には、以上のように、目印情報の設定入力が確定された後、通信制御部13が通信部7を制御して、順次受信側の携帯型電話機10へ確定した目印情報を送信することで、受信側の携帯型電話機10において、送信側の携帯型電話機10と同様の位置に表示された目印を表示することができる。
また、確定した状態を示すために、必要最小限の情報を送信するだけで済むので、逐次送信モードに設定されている場合と比較して、データ通信量の削減を図ることができる。
さらに、表示制御部12によって表示部4を制御し、1つの入力操作情報に対する受信側の携帯型電話機10における処理を、人間の目で確認できる数百ms程度の時間で処理して表示してもよい。これにより、目印情報を確定するまでの操作ステップを、受信側の携帯型電話機10でも確認することが可能になり、逐次送信モードと同様の効果が得られる。勿論、1つの入力操作情報に対する受信側の処理時間を極力早くして、すばやくポインティングすることを重視してもよい。
なお、受信側の携帯型電話機10は、確定を示す入力操作情報を受信するまでは、受信した入力操作情報を受信側のRAM3のバッファに蓄積し、確定を示す入力操作情報を受信した時点で、RAM3のバッファ内の入力操作情報によるポインティング処理を、表示画面には表示せずに順次処理し、確定までの処理が済んでから、表示画面に目印を表示するようにしてもよい。
これにより、受信側の携帯型電話機10は、確定するまでの余計な操作ステップを見たくない場合には、この表示を削除することもできる。
ここでさらに、本実施形態の携帯型電話機10において、通信を行う携帯型電話機10同士の表示条件が異なる場合の処理について説明すれば以下のとおりである。
すなわち、送信側および受信側の携帯型電話機10において、表示画面の解像度が異なる場合には、以下のような処理が行われる。
例えば、送信側の携帯型電話機10の表示部20aの有効表示エリア21aは、図9に示すように、縦128×横120ピクセルであり、9個のエリア(縦3×横3)に分割されており、受信側の携帯型電話機10の表示部20bの有効表示エリア21bは、縦256×横240ピクセルであり、送信側の携帯型電話機10と同様に、9個のエリア(縦3×横3)に分割されているものとする。
画面に表示されている画像は、元の画像が縦128×横120ピクセルであれば、送信側の携帯型電話機10は、有効表示エリア21aのピクセル数と同じであるため、そのままのサイズで表示する。
一方、受信側の携帯型電話機10は、有効表示エリア21bのピクセル数と、縦方向および横方向とも2倍の差があるので、画像を縦方向および横方向とも2倍のサイズで表示する。
このため、送信側および受信側の携帯型電話機10の表示画面の解像度が異なる場合でも、同じエリアを示すボタンの入力操作情報だけでポインティングできる。
すなわち、送信側の携帯型電話機10のダイヤルボタン22の3ボタンが入力されたら、送信側および受信側の携帯型電話機10においては、ともに右上のエリアに目印23a,23bがポインティングされる。
また、相対位置の指定も、分割エリアのサイズの“1/n”を基準にしていることから、同様に、方向ボタンの入力操作情報だけでポインティングできる。
以上のように、本実施形態の携帯型電話機10では、送信側および受信側の携帯型電話機10の表示画面の解像度が異なる場合でも、表示制御部12が表示部4を制御し、受信した入力操作情報に基づいて表示することで、お互いの表示画面上における同じ位置へポインティングできる。
なお、本実施形態では、入力部5は、電話機としての入力機能を前提としているが、例えば、本発明を通信機能を搭載したテレビに適用する場合には、1〜0(または12等)までの数字が記されたチャンネルボタン等の複数の入力ボタンを備えたリモコンを、入力部5として利用してもよい。
また、本実施形態では、通信部7は、携帯型電話機としての無線通信機能を備えていることを前提としているが、本発明はこれに限定されるものではない。例えば、有線式のアナログ電話回線やデジタル電話回線の通信機能や、有線または無線LAN、Bluetooth(登録商標)、UWB(Ultra Wide Band)等、音声やデータの通信が可能なものであれば、適用可能である。
また、本実施形態では、表示部4を9個の分割エリア(縦3×横3)としているが、例えば、12個の分割エリア(縦4×横3)としたり、4個の分割エリア(縦2×横2)としたりする等、有効表示エリアのサイズや、ボタンの配置とボタン数に応じて、適切な分割数を設定すればよい。
なお、本実施形態では、目印のサイズ変更および相対移動量の変更は、3ステップとして説明したが、本発明はこれに限定されるものではなく、2ステップ以上であれば何ステップでもよく、また、サイズ変更、相対移動量の変更が不要であれば変更できなくてもよい。
また、本実施形態では、絶対位置指定モードであることを示すための表現方法として、線種を二重線でかつ表示濃度を薄く表示する例、相対位置指定モードであることを示すための表現方法として、線種を破線でかつ表示濃度を通常で表示する例、目印が確定されたことを示すための表現方法として、線種を実線でかつ表示濃度が通常で表示する例を挙げて説明したが、本発明はこれに限定されるものではない。例えば、目印の表示色を特定の色に変える等の方法を採用した場合でも、上記と同様の効果を得ることができる。
本実施形態では、入力操作情報としてデジタルデータを生成した例を挙げて説明したが、本発明はこれに限定されるものではなく、PB信号(DTMF)や、音声データとして生成してもよい。
さらに、この音声データは、音声合成により生成してもよいし、予め、各ボタンに対応した音声データをROM2に記憶しておき、これを読み出して利用してもよい。
〔実施形態2〕
本発明の情報通信端末および端末制御方法、端末制御プログラム並びにこれを記録した記録媒体に関する他の実施形態について、図15〜図23に基づいて説明すれば、以下のとおりである。
なお、説明の便宜上、上記実施形態1にて説明した構成と同じ機能を有する構成については、同じ符号を付記し、その説明を省略する。さらに、本実施形態におけるフローチャートに基づく説明についても、実施形態1で説明した処理内容と基本的に同様であるため、実施形態1と重複する条件については、その説明を省略する。
本実施形態では、目印情報として、有効表示エリア上の座標情報、目印の状態(種類、形状、サイズ、線種、色等)を示す目印属性情報等を利用する。
つまり、本実施形態の携帯型電話機10では、図1に示す目印情報作成部11が、利用者からの入力に応じて、目印情報に関する座標情報と目印属性情報とを作成する点で、実施形態1とは異なっている。
また、表示制御部12は表示部4を制御して、該座標情報および目印属性情報に基づいて、表示部4の所望の位置に、利用者指定の表示態様で示される目印を表示させる。
さらに、通信制御部13は、該座標情報と目印属性情報とを、受信側の携帯型電話機10へ送信することで、受信側の携帯型電話機10では、受信した座標情報と目印属性情報とに基づいて、送信側の携帯型電話機10の表示と同様の表示を行うことができる。
本実施形態において、送信側の携帯型電話機10による処理は、図15および図16に示すフローチャートに従って行われる。
すなわち、図15に示すように、S80では、ポインティング制御を開始するための設定を行う。
具体的には、設定内容については、上記実施形態1で説明した図4に示すフローチャートにおけるものと同様である。
本実施形態でも、実施形態1で説明した図2に示す携帯型電話機10と同様に、有効表示エリア4aは、9個の分割エリア(縦3×横3)とし構成し、分割エリアを指定するダイヤルボタン5aの対応は、1から9までの9個のボタン(縦3×横3)で対応し、目印情報の伝送形態は、デジタルデータ(文字等)とする。
ポインティング操作に必要な情報については、図17(a)〜図17(d)に示す4つが、受信側の携帯型電話機10も認識しておく必要がある情報であり、必要に応じて受信側の携帯型電話機10に送信する。
送信側の携帯型電話機10の有効表示エリア4aは、図17(a)に示すように、有効表示エリア4aの縦横のピクセル数(解像度)で定義される。
有効表示エリア4a上の座標情報のコマンドは、図17(b)に示すように、“コマンドコード=01”で識別され、X座標、Y座標で定義される。
目印属性情報のコマンドは、図17(c)に示すように、“コマンドコード=02”で識別され、種類と形状を識別するコード、目印情報のピクセルサイズで定義される。
その他のコマンドは、図17(d)に示すように、“コマンドコード=03”で識別される“やり直し”と、“コマンドコード=04”で識別される“確定”とで定義される。
さらに、使用ボタンの機能は、図17(e)に示すように、ポインティング操作に使用するボタンと、各ボタンに割り当てられた機能とで定義される。
目印情報は、図17(f)に示すように、ポインティング操作によりポインティングされる目印の種類と形状を識別するコード、そのコードに適用される目印、サイズの変化ステップで定義される。
相対移動量は、図17(g)に示すように、相対位置指定モードでの相対移動量の変化ステップで定義される。
続いて、S81〜S84では、実施形態1のS2〜S5と同様の処理が行われる。
s84において、判定がYESの場合にはS85に進み、NOの場合にはS89に進む。
S85では、入力操作情報に基づいて、送信側の携帯型電話機10の有効表示エリア4aにおける座標情報を生成する。
具体的には、ダイヤルボタン5aに対応した有効表示エリア4aの絶対位置を示す座標を算出して、算出した座標を有効表示エリア4a上の座標情報とする。
本実施形態では、実施形態1と同様に、ダイヤルボタン5aの1から9までの9個のダイヤルボタンへの入力により、それぞれのダイヤルボタンに対応する有効表示エリア4aの絶対位置が指定される。よって、本実施形態では、指定された分割エリアの中心位置を示す座標を、座標情報としている。
続いて、S86では、S85で生成された有効表示エリア4aにおける座標情報に基づいて、送信側の携帯型電話機10の有効表示エリア4aに目印を表示する。
具体的には、有効表示エリア4a上の座標情報で示される位置を中心として、現時点で選択されている種類・形状・サイズの表示態様を示す目印情報に基づいて、目印を表示する。
また、目印を表示する絶対位置の指定が終了し、次に相対位置指定モードであることを示すために、目印の表示態様は、線種が破線で、かつ表示濃度は通常という状態で表示される。
S87では、入力操作情報を認識する毎に、入力操作情報を目印情報として受信側の携帯型電話機10に送信する「逐次送信モード」に設定されているか否かを判定する。
ここで、判定がYESの場合にはS88に進み、NOの場合には相対位置指定モードに移行するため、図16に示すフローチャートのS100に進む。
S88では、逐次送信モードに設定されているため、領域指定情報である目印情報として、有効表示エリア4a上の座標情報を、図17(b)で定義される有効表示エリア上の座標情報コマンドの形式で、通信部7により、受信側の携帯型電話機10に送信する。
続いて、相対位置指定モードに移行するため、図16に示すフローチャートのS100に進む。
S89では、S83で生成された入力操作情報が、目印の種類変更を示すボタン入力であるか否かを判定する。
ここで、判定がYESの場合にはS90に進み、NOの場合にはS93に進む。
S90では、目印の種類変更が入力されているため、入力操作情報に基づいて、送信側の携帯型電話機10の有効表示エリア4aに表示されている目印の種類を変更する。
S91では、入力操作情報を認識する毎に、入力操作情報を目印情報として受信側の携帯型電話機10に送信する「逐次送信モード」に設定されているか否かを判定する。
ここで、判定がYESの場合にはS92に進み、NOの場合にはS82に戻る。
S92では、逐次送信モードに設定されているため、目印態様情報である目印情報として、目印の種類・形状・サイズを示す情報を、図17(c)で定義される目印属性情報コマンドの形式で、通信部7により、受信側の携帯型電話機10に送信する。続いてS82に戻る。
S93では、S83で生成された入力操作情報が、目印の形状変更を示すボタン入力であるか否かを判定する。
ここで、判定がYESの場合にはS94に進み、NOの場合にはS95に進む。
S94では、目印の形状変更が入力されているため、入力操作情報に基づいて、送信側の携帯型電話機10の有効表示エリア4aに表示されている目印の形状を変更する。
続いて、S91に進む。S91以降の処理は前述のとおりである。
S95では、S83で生成された入力操作情報が、目印情報の確定を示すボタン入力であるか否かを判定する。
ここで、判定がYESの場合には図16に示すフローチャートのS118に進み、NOの場合にはS82に戻る。
S100〜S103における処理は、実施形態1の図5に示すフローチャートのS20〜S23と同様である。
S104では、入力操作情報に基づいて、送信側の携帯型電話機10の有効表示エリア4a上の座標情報を生成する。
具体的には、送信側の携帯型電話機10の有効表示エリア4aに表示されている目印を、指定された方向に、相対移動量に基づいて相対移動した位置を示す座標を算出して、算出した座標を有効表示エリア4a上の座標情報とする。
S105では、S104で生成された有効表示エリア4a上の座標情報に基づいて、送信側の携帯型電話機10の有効表示エリア4aに表示されている目印を相対移動させる。
S106では、「逐次送信モード」に設定されているか否かを判定する。
ここで、判定がYESの場合にはS107に進み、NOの場合にはS101に戻る。
S107では、逐次送信モードに設定されているため、目印移動情報である目印情報として、有効表示エリア4a上の座標情報を、図17(b)で定義される有効表示エリア上の座標情報コマンドの形式で、通信部7により、受信側の携帯型電話機10に送信する。続いて、S101に戻る。
S108では、S102で生成された入力操作情報が、目印のサイズ変更を示すボタン入力であるか否かを判定する。
ここで、判定がYESの場合にはS109に進み、NOの場合にはS112に進む。
S109では、目印のサイズ変更が入力されているため、入力操作情報に基づいて、送信側の携帯型電話機10の有効表示エリア4aに表示されている目印のサイズを変更する。
S110では、「逐次送信モード」に設定されているか否かを判定する。
ここで、判定がYESの場合にはS111に進み、NOの場合にはS101に戻る。
S111では、逐次送信モードに設定されているため、目印態様情報である目印情報として、目印の種類・形状・サイズを示す情報を、図17(c)で定義される目印属性情報コマンドの形式で、通信部7により、受信側の携帯型電話機10に送信する。続いて、S101に戻る。
S112では、S102で生成された入力操作情報が、相対移動量の変更を示すボタン入力であるか否かを判定する。
ここで、判定がYESの場合にはS113に進み、NOの場合にはS114に進む。
S113では、相対移動量の変更が入力されているため、入力操作情報に基づいて、相対移動量を変更する。続いて、S101に戻る。
S114では、S102で生成された入力操作情報が、目印のポインティングを、最初から“やり直し”することを指示するボタン入力であるか否かを判定する。
ここで、判定がYESの場合にはS115に進み、NOの場合にはS117に進む。
S115では、やり直し指示が入力されているため、「逐次送信モード」に設定されているか否かを判定する。
ここで、判定がYESの場合にはS116に進み、NOの場合にはS81に戻る。
S116では、逐次送信モードに設定されているため、図17(d)で定義されるやり直しコマンドを、目印情報として、通信部7から受信側の携帯型電話機10に送信する。続いて、図15のS81に戻る。
S117では、S102で生成された入力操作情報が、目印情報の確定を示すボタン入力であるか否かを判定する。
ここで、判定がYESの場合にはS118に進み、NOの場合にはS101に戻る。
S118では、目印情報の確定が入力されているため、入力操作情報に基づいて、送信側の携帯型電話機10の有効表示エリア4aに表示されている目印情報を現在の状態で確定する。
また、目印情報が確定したことを示すために、目印の表示態様を、例えば、線種を実線に変更して表示する。
さらに、有効表示エリア4aに表示していた分割グリッド線も消去する。
S119では、「逐次送信モード」に設定されているか否かを判定する。
ここで、判定がYESの場合にはS122に進み、NOの場合にはS120に進む。
S120では、逐次送信モードに設定されていないため、目印情報として、確定した有効表示エリア4a上の座標情報を、図17(b)で定義される有効表示エリア上の座標情報コマンドの形式で、通信部7から受信側の携帯型電話機10に送信する。続いて、S121に進む。
S121では、目印情報として、確定した目印の種類・形状・サイズを示す情報を、図17(c)で定義される目印属性情報コマンドの形式で、通信部7により、受信側の携帯型電話機10に送信する。
S122では、目印情報として、図17(d)で定義される確定コマンドを、通信部7から受信側の携帯型電話機10に送信する。
以上で、送信側のポインティング処理を終了する。
本実施形態の携帯型電話機10では、以上のように、表示制御部12が表示部4を制御して、表示画面に表示された画像に対して、携帯型電話機10が有するダイヤルボタン5aを押下して入力された目印属性情報および座標情報に基づいて、容易に所望の位置に目印を表示することができる。
また、表示画面にポインティングされた目印について、目印情報移動制御部14により、ダイヤルボタン5aを押下することで、目印属性情報および座標情報を変更して、容易に目印の表示態様および表示位置を変更することができる。
一方、受信側の携帯型電話機10における処理は、図20に示すフローチャートに従って行われる。
まず、S130では、ポインティング制御を開始するための設定を行う。
具体的には、送信側の携帯型電話機10の有効表示エリア4aの解像度と自端末の有効表示エリア4aの解像度との差を吸収するための乗数の算出や、受信する目印情報のコマンド定義、目印情報として受信する各コマンドの伝送形態等、ポインティング操作に必要な設定を行う。
解像度の差を吸収するための乗数は、縦方向と横方向のそれぞれについて、以下の関係式(1)から算出して、受信した座標や目印情報との乗算を行う際に利用する。
送信側ピクセル数/受信側ピクセル数=乗数・・・・・・(1)
なお、目印情報の伝送形態は、送信側の携帯型電話機10と同じく、デジタルデータ(文字等)とする。
ポインティング操作に必要な情報は、上述した図17(a)〜図17(g)に示す各情報と同様である。
続いて、S131では、デフォルトの目印を表示する。
なお、デフォルトの目印情報に基づく目印は、図18(a)に示すように、矢印として示される表示態様であってもよい。
S132では、通信部7により、目印情報の受信待ちを行い、目印情報を受信したら、S133に進む。
S133では、S132で受信した目印情報が、有効表示エリア上の座標情報コマンドであるか否かを判定する。
ここで、判定がYESの場合にはS138に進み、NOの場合にはS134に進む。
S138では、受信した目印情報が有効表示エリアにおける座標情報コマンドであるため、受信した座標情報コマンドに基づいて、受信側の携帯型電話機10の有効表示エリア4aに目印を表示する。
具体的には、受信した有効表示エリア上の座標情報コマンドで示される送信側の携帯型電話機10のX座標であるPx、およびY座標であるPyのそれぞれに、上記S130において式(1)で算出した乗数を乗算して、受信側の携帯型電話機10の有効表示エリア4a上の座標を算出し、算出した位置を中心として、現時点で選択されている種類・形状・サイズの目印を表示する。
目印の種類が、1点(ピンポイント)を指し示す“矢印”や“十字”の場合には、指定された有効表示エリア4a上の座標を指し示すように目印を表示し、目印の種類が、ある範囲(エリア)を指し示す“○”や“□”の場合には、指定された有効表示エリア4a上の座標を中心位置として、分割エリアの縦または横のどちらか小さい方のサイズを輪郭サイズとして目印を表示する。
また、座標指定中であることを示すために、目印の表示態様は、例えば、線種が破線で、かつ表示濃度は通常で表示する。なお、座標指定中であることを示すための表現方法は、その他の方法を用いてもよく、例えば、座標指定中であることを示すために、目印の表示色を特定の色にしてもよい。
S134では、S132で受信した目印情報が、目印属性情報コマンドであるか否かを判定する。
ここで、判定がYESの場合にはS139に進み、NOの場合にはS135に進む。
S139では、受信した目印情報が目印属性情報コマンドであるため、目印属性情報に基づいて、有効表示エリア4aに表示されている目印の種類・形状・サイズを変更する。
例えば、サイズについては、受信した目印属性情報コマンドで示される送信側のX方向サイズであるMx、及びY方向サイズであるMyのそれぞれに、上記S130において式(1)で算出した乗数を乗算して、受信側の携帯型電話機10におけるサイズを算出して、算出したサイズで目印を表示した後、S132に戻る。
S135では、S132で受信した目印情報が、やり直しコマンドであるか否かを判定する。
ここで、判定がYESの場合にはS131に戻り、NOの場合にはS136に進む。
S136では、やり直しコマンドではないため、S132で受信した目印情報が、確定コマンドであるか否かを判定する。
ここで、判定がYESの場合にはS137に進み、NOの場合にはS132に戻る。
S137では、確定コマンドを受信しているため、確定コマンドに基づいて、受信側の携帯型電話機10の有効表示エリア4aに表示されている目印情報を現在の状態で確定する。
また、目印情報が確定したことを示すために、目印の表示態様を、例えば、線種を実線に変更して表示する。なお、確定したことを示すための表現方法は、その他の方法でもよく、例えば、確定したことを示すために、目印の表示色を特定の色にしてもよい。
以上で、受信側の携帯型電話機10におけるポインティング処理を終了する。
本実施形態の携帯型電話機10では、以上のように、受信側の携帯型電話機10においても、表示制御部12が表示部4を制御して、受信した目印属性情報と座標情報に基づいて、送信側の携帯型電話機10において表示された状態と同様の表示を行うことができる。
これにより、送受信を行う複数の携帯型電話機10において、互いに共通する画像に目印を付加した状態で表示画面上に表示することができるため、利用者は、その目印で指し示された対象物についての情報交換を、通話あるいは文字情報を通じて、行うことができる。
次に、本実施形態の携帯型電話機10において、逐次送信モードに設定された場合の表示例について説明する。
通信開始時点では、図18(a)に示すように、送信側の携帯型電話機10、および受信側の携帯型電話機10には、共有している画像情報に基づいて、“カメラの画像”が表示されている。
ここで、送信側の携帯型電話機10には、有効表示エリア120aの分割エリアを示すための分割グリッド線122aと、デフォルトの目印121aが表示されている。
なお、デフォルトの目印121aは、識別コード“種類=1、形状=1”で定義される矢印であり、絶対位置指定モードであることを示すために、目印121aの表示態様は、二重線で、かつ表示濃度が薄く表示されている。また、受信側の携帯型電話機10の有効表示エリア120bには、デフォルトの目印121bが、座標指定前状態を示すため、送信側の携帯型電話機10と同じ表示態様で表示されている。
次に、絶対位置指定モードで、目印の形状が変更された場合には、図18(b)に示すように、十字の目印に変更される。
すなわち、送信側の携帯型電話機10において、ダイヤルボタン5aの0ボタンが入力されると、図18(b)に示すように、送信側の携帯型電話機10の有効表示エリア120aに表示されている目印121aの形状が、“形状=1”で定義される矢印から、“形状=2”で定義される十字に変更される。さらに、送信側の携帯型電話機10は、目印情報として、目印属性情報コマンドを送信する。
受信側の携帯型電話機10は、受信した目印属性情報コマンドに基づいて、受信側の有効表示エリア120bに表示されている目印121bの形状を、“形状=1”で定義される矢印から“形状=2”で定義される十字に変更する。
なお、目印121bの表示態様は、座標指定前であることを示すため、二重線で、かつ表示濃度が薄く表示されている。
次に、絶対位置指定モードで、絶対位置が指定された場合には、図18(c)に示すように、目印が利用者指定の領域に表示される。
すなわち、送信側の携帯型電話機10において、ダイヤルボタン5aの1ボタンが入力されると、図18(c)に示すように、送信側の携帯型電話機10の有効表示エリア120aにおける9つの分割エリアのうち、1ボタンに対応する絶対位置である左上の分割エリアに、現時点で選択されている種類・形状・サイズの目印121aが表示される。さらに、送信側の携帯型電話機10は、目印情報として、有効表示エリア上の座標情報コマンドを送信する。
受信側の携帯型電話機10は、受信した有効表示エリア上の座標情報コマンドに基づいて、受信側の携帯型電話機10の有効表示エリア120bにおける現時点で選択されている種類・形状・サイズの目印121bを表示する。なお、目印121bの表示態様は、座標指定中あることを示すため、破線で、かつ表示濃度が通常という状態で表示されている。
次に、目印のポインティングを、最初から“やり直し”することを指示された場合には、図18(d)に示すように、目印が矢印に戻る。
すなわち、送信側の携帯型電話機10において、ダイヤルボタン5aの5ボタンが入力されると、図18(d)において、送信側の携帯型電話機10は、絶対位置指定モードの開始状態に戻る。さらに、送信側は目印情報として、やり直しコマンドを送信する。
受信側の携帯型電話機10は、受信したやり直しコマンドに基づいて、座標指定前状態に戻る。
次に、再度、絶対位置指定モードで、絶対位置が指定された場合には、図19(a)に示すように、目印が利用者指定の領域に表示される。
すなわち、送信側の携帯型電話機10において、ダイヤルボタン5aの1ボタンが入力されると、図19(a)に示すように、送信側の携帯型電話機10の有効表示エリア120aにおける9つの分割エリアのうち、1ボタンに対応する絶対位置である左上の分割エリアに、現時点で選択されている種類・形状・サイズの目印121aが表示される。さらに、送信側の携帯型電話機10は、目印情報として、有効表示エリア上の座標情報コマンドを送信する。
受信側の携帯型電話機10は、受信した有効表示エリア上の座標情報コマンドに基づいて、受信側の携帯型電話機10の有効表示エリア120b上に、現時点で選択されている種類・形状・サイズの目印121bを表示する。
次に、相対位置指定モードで、目印のサイズが変更された場合には、図19(b)に示すように、目印の大きさが変更される。
すなわち、送信側の携帯型電話機10において、ダイヤルボタン5aの0ボタンが入力されると、図19(b)に示すように、送信側の携帯型電話機10の有効表示エリア120aに表示されている目印121aのサイズが、デフォルトの“中”から“小”に変更される。さらに、送信側の携帯型電話機10は、目印情報として、目印属性情報コマンドを送信する。
受信側の携帯型電話機10は、受信した目印属性情報コマンドに基づいて、受信側の有効表示エリア120bに表示されている目印121bのサイズを変更する。
次に、相対位置指定モードへ以降した後、相対位置が指定された場合には、図19(c)に示すように、目印の表示位置が微調整される。
すなわち、送信側の携帯型電話機10において、ダイヤルボタン5aの8ボタンが入力されると、図19(c)に示すように、送信側の携帯型電話機10の有効表示エリア120aに表示されている目印121aは、8ボタンに対応する相対方向である下方向に、現時点で選択されている相対移動量分だけ相対移動される。なお、相対移動量は、デフォルトの“1/2”であるため、分割エリアの縦方向のサイズの1/2となっている。さらに、送信側の携帯型電話機10は、目印情報として、有効表示エリア上の座標情報コマンドを送信する。
受信側の携帯型電話機10は、受信した有効表示エリア上の座標情報コマンドに基づいて、受信側の携帯型電話機10の有効表示エリア120bにおいて、現時点で選択されている種類・形状・サイズの目印121bを表示する。
次に、目印情報が確定された場合には、図19(d)に示すように、グリッド線が消去されて、目印情報が確定される。
すなわち、送信側の携帯型電話機10において、ダイヤルボタン5aの#ボタンが入力されると、図19(d)に示すように、送信側の携帯型電話機10の有効表示エリア120aに表示されている目印121aが、現在の状態で確定される。なお、ここでは、目印121aの表示態様が、確定されたことを示すため、実線で、かつ表示濃度が通常で表示される。さらに、送信側の携帯型電話機10は、目印情報として、確定コマンドを送信する。
受信側の携帯型電話機10は、受信した確定コマンドに基づいて、受信側の有効表示エリア120bに表示されている目印121bを現在の状態で確定する。
このように、本実施形態において逐次送信モードに設定した場合でも、目印情報として、目印属性情報と座標情報とに基づいて、表示制御部12が表示部4を制御することで、上述した実施形態1と同様の効果を得ることができる。
一方、本実施形態の携帯型電話機10において、逐次送信モードではなく、確定情報送信モードに設定されている場合の表示例について説明する。
2台の携帯型電話機10が、“カメラの画像”を共有してお互いの画面に表示し、1台の携帯型電話機10からのポインティング操作により、お互いの画面に目印を重畳表示した場合には、図21(a)〜図21(d)および図22(a)〜図22(c)に示すような表示がなされる。
すなわち、絶対位置指定モードを開始した時点では、図21(a)に示すように、送信側の携帯型電話機10の有効表示エリア130a、および受信側の携帯型電話機10の有効表示エリア130bには、共有している“カメラの画像”が表示されている。
ここで、送信側の携帯型電話機10の有効表示エリア130aには、有効表示エリア130aの分割エリアを示すための、分割グリッド線132aと、デフォルトの目印131aとが表示されている。
また、受信側の携帯型電話機10の有効表示エリア130bには、デフォルトの目印131bが、送信側の携帯型電話機10と同じ表示態様で表示されている。
次に、目印の種類が変更された場合には、図21(b)に示すように、目印の表示態様が矢印から○へ変更する。
すなわち、送信側の携帯型電話機10において、ダイヤルボタン5aの*ボタンが入力されると、図21(b)に示すように、送信側の携帯型電話機10の有効表示エリア130aに表示されている目印131aの種類が、1点(ピンポイント)を指し示す“種類=1”のグループから、ある範囲(エリア)を指し示す“種類=2”のグループの“形状=1”で定義される○に変更される。
次に、絶対位置指定モードで、目印の形状が変更された場合には、図21(c)に示すように、目印が○から□に変更される。
すなわち、送信側の携帯型電話機10において、ダイヤルボタン5aの0ボタンが入力されると、図21(c)に示すように、送信側の携帯型電話機10の有効表示エリア130aに表示されている目印131aの形状が、“形状=1”で定義される○から、“形状=2”で定義される□に変更される。なお、目印131aの表示態様は、絶対位置指定モードであることを示すため、二重線で、かつ表示濃度が薄く表示されている。
次に、目印を表示する絶対位置が指定された場合には、図21(d)に示すように、目印が利用者指定の領域に表示される。
すなわち、送信側の携帯型電話機10において、ダイヤルボタン5aの1ボタンが入力されると、図21(d)に示すように、送信側の携帯型電話機10の有効表示エリア130aにおける9つの分割エリアのうち、1ボタンに対応する絶対位置である左上の分割エリアに、現時点で選択されている種類・形状・サイズの目印131aが表示される。
次に、目印の相対位置が指定された場合には、図22(a)に示すように、目印の表示位置が微調整される。
すなわち、送信側の携帯型電話機10において、ダイヤルボタン5aの8ボタンが入力されると、図22(a)に示すように、送信側の携帯型電話機10の有効表示エリア130aに表示されている目印131aは、8ボタンに対応する相対方向である下方向に、現時点で選択されている相対移動量分だけ相対移動する。
次に、相対位置指定モードで、目印のサイズが変更された場合には、図22(b)に示すように、目印の大きさが変更される。
すなわち、送信側の携帯型電話機10において、ダイヤルボタン5aの0ボタンが入力されると、図22(b)に示すように、送信側の携帯型電話機10の有効表示エリア130aに表示されている目印131aのサイズが、デフォルトの“中”から“小”に変更される。
次に、目印情報が確定された場合には、図22(c)に示すように、グリッド線が消去されて、目印情報が確定される。
すなわち、送信側の携帯型電話機10において、ダイヤルボタン5aの#ボタンが入力されると、図22(c)に示すように、送信側の携帯型電話機10の有効表示エリア130aに表示されている目印131aが、現在の状態で確定される。なお、ここでは、目印131aの表示態様が確定されたことを示すため、実線で、かつ表示濃度が通常で表示される。
ここで、目印情報が確定したため、送信側の携帯型電話機10は、目印情報として、有効表示エリア上の座標情報コマンド、目印属性情報コマンド、確定コマンドを順次送信する。
受信側の携帯型電話機10は、受信した目印情報に基づいてポインティング処理を行う。
具体的には、受信側の携帯型電話機10は、有効表示エリア上の座標情報コマンドに基づいた有効表示エリア120b上の位置に、目印属性情報コマンドに基づいた種類・形状・サイズの目印121bを、確定コマンドに基づいて、実線で、かつ表示濃度が通常という表示態様で表示する。
このように、本実施形態において確定情報送信モードに設定した場合でも、目印情報として、目印属性情報と座標情報とに基づいて、表示制御部12が表示部4を制御することで、上述した実施形態1と同様の効果を得ることができる。
さらに、図23に示すように、送信側の携帯型電話機10と受信側の携帯型電話機10とで解像度が異なる場合の処理について説明する。
この場合、必要であれば、予め送信側の有効表示エリアの解像度を示す情報である縦方向と横方向とのそれぞれのピクセル数(120×128)を、受信側の携帯型電話機10に送信する。
一方、受信側の携帯型電話機10では、上述した図20のフローチャートに示すS130の関係式(1)に基づいて、解像度の差を吸収するための乗数を算出し、目印情報として受信する有効表示エリア上の座標や、目印のサイズに、算出した乗数を乗算して、解像度の差を吸収すればよい。
このため、送信側の携帯型電話機10と受信側の携帯型電話機10とで、表示画面の解像度が異なる場合でも、送信側の携帯型電話機10の有効表示エリアにおける座標や、目印のサイズを利用して、受信側の携帯型電話機10の画像の同じ位置をポインティングできる。
すなわち、送信側の携帯型電話機10のダイヤルボタン22の3ボタンが入力されると、送信側および受信側の携帯型電話機10では、ともに右上のエリアに目印23a,23bがポインティングされる。
また、相対位置の指定も、送信側の携帯型電話機10の有効表示エリアにおける座標を基準に、受信側の携帯型電話機10で解像度の差を吸収するための乗数を乗算して、解像度の差を吸収するので、やはり、送信側の携帯型電話機10の有効表示エリアにおける相対位置指定後の座標情報でポインティングできる。
以上のように、本実施形態の携帯型電話機10では、送信側と受信側とで表示画面の解像度が異なる場合でも、送信側の携帯型電話機10における解像度での有効表示エリアにおける座標情報を受信することで、受信側の携帯型電話機10においても、表示制御部12が表示部4を制御して、画面上の同じ位置へポインティングできる。
なお、以上の例では、情報通信端末として携帯電話機10を用いているが、これに限定されるものではない。すなわち、送信側と受信側とで表示画面の解像度が異なる場合に画面上の同じ位置にポインティングする技術は、情報通信端末が携帯電話機10でない場合にも有効である。例えば、情報通信端末として、通信機能を搭載したテレビジョン受像機(以降、単にテレビと称する)であってもよい。
テレビは、その表示画面の形状に応じて、画面の横方向と縦方向の比率が4:3となるスタンダードテレビと、比率が16:9となるワイドテレビとに分類される。すなわち、送信側のテレビと受信側のテレビとで、表示画面の縦横比率が異なっている場合も考えられる。
これに対して、上記実施形態2で示した技術を適用することにより、スタンダードテレビでの表示画面とワイドテレビでの表示画面とで画面上の同じ位置にポインティングすることが可能となる。また、通信機能を搭載したテレビと携帯電話機10とが通信するような場合でも、上記した実施形態2で示した技術を適用することにより、テレビの大きな表示画面と携帯電話機10の小さな表示画面とで画面上の同じ位置にポインティングすることができる。
また、受信側の携帯型電話機10で解像度の差を吸収するための乗数を乗算して、解像度の差を吸収しているため、例えば通信機能を搭載したテレビの親画面で表示していた情報を子画面で表示し直したような場合にも、親画面で表示していた目印と同じ位置に、子画面でも目印を表示することができる。
〔実施形態3〕
本発明の情報通信端末および端末制御方法、端末制御プログラム並びにこれを記録した記録媒体に関する実施形態について、以下に説明する。
なお、説明の便宜上、上記実施形態1・2にて説明した構成と同じ機能を有する構成については、同じ符号を付記し、その説明を省略する。さらに、本実施形態におけるフローチャートに基づく説明についても、実施形態1で説明した処理内容と基本的に同様であるため、実施形態1・2と重複する条件については、その説明を省略する。
本実施形態では、情報通信端末として通信機能を搭載した多機能テレビ10Tを想定する。図24は、本実施形態に係る多機能テレビ10Tの概略構成を示すブロック図である。同図に示すように、多機能テレビ10Tは、制御部1、ROM2、RAM3、表示部4、入力部5、音声処理部6、通信部7、テレビ放送受信部201、およびカメラ202を備えている。なお、制御部1、ROM2、RAM3、表示部4、入力部5、音声処理部6、および通信部7には、実施形態1において説明したものと同様であるので、ここではその説明を省略する。
テレビ放送受信部201は、図示しないテレビアンテナによって受信されたテレビ放送信号としてのRF信号を受信するチューナである。テレビ放送としては、地上波アナログ放送、地上波デジタル放送、アナログ衛星放送、デジタル衛星放送などが挙げられる。また、ケーブルテレビから放送信号を受信する形態であってもよい。
カメラ202は、当該多機能テレビ10Tをテレビ電話として用いる際に、多機能テレビ10Tの利用者側を撮影するための撮影手段である。このカメラ202は、例えばCCDカメラなどによって実現される。
なお、通信部7は、実施形態1においては、アンテナ7aを介して通信を行うようになっているが、本実施形態においては、有線接続により通信を行うようになっていてもよい。有線接続としては、例えばISDN(integrated services digital network)通信網、ADSL(asymmetric digital subscriber line)通信網、光ファイバー通信網などが挙げられる。また、入力部5は、本実施形態においては、赤外線などの無線で指示入力が行われるリモコンとして実装されている。
また、制御部1は、目印情報作成部11、表示制御部12、通信制御部13、目印情報移動制御部14、チャンネル設定部(チャンネル設定手段)203、ネットワークコンテンツ受信部(ネットワークコンテンツ受信手段)204、画像情報保持部205、および画像情報蓄積部206を機能ブロックとして形成している。なお、目印情報作成部11、表示制御部12、通信制御部13、および目印情報移動制御部14実施形態1において説明したものと同様であるので、ここではその説明を省略する。
チャンネル設定部203は、テレビ放送受信部201において受信すべきテレビ放送のチャンネルを設定するものである。ネットワークコンテンツ受信部204は、ネットワークから通信部7を介して、ネットワーク上のコンテンツを取得する処理を行うものである。ネットワーク上のコンテンツとしては、例えば画像データなどを含むWebページのデータ、動画データ、音声データなどが挙げられるが、特に限定されるものではない。
画像情報保持部205は、例えば通信先の多機能テレビ10Tから、共有すべきコンテンツ、例えば動画データなどのネットワークアドレスについての情報を受信した際に、その情報を記憶するものである。画像情報蓄積部206は、共有すべきコンテンツ、例えば動画データ自体を蓄積、記憶するものである。なお、画像情報保持部205は、例えばRAMなどの一時記憶手段によって構成され、画像情報蓄積部206は、例えばハードディスクドライブなどの不揮発性記憶手段によって構成されるようになっていてもよいが、特にこれらに限定されるものではない。
図25(a)は、多機能テレビ10Tの外観を示している。同図に示すように、多機能テレビ10Tは、基本的には通常のテレビと同様の外観となっており、テレビ画面表示手段としての表示部4が前面に設けられている。そして、テレビ電話機能を利用する際に用いられる送話部6bは、マイクとして多機能テレビ10Tの上部に設けられている。
また、テレビ電話機能を利用する際に用いられる受話部6aは、スピーカとして多機能テレビ10Tの前面に設けられている。なお、受話部6aとしてのスピーカは、多機能テレビ10Tから出力される種々の音声、例えば、テレビ放送を受信している際のテレビ音声などが出力されるようになっている。
また、テレビ電話機能を利用する際に用いられるカメラ202は、多機能テレビ10Tの上部に設けられている。なお、図25(a)に示す構成は、あくまで一例であり、送話部6b、受話部6a、およびカメラ202などの配置位置はこれに限定されるものではない。
図25(b)は、多機能テレビ10Tのリモコンとしての入力部5の外観を示している。同図に示すように、入力部5には、表示内容切り替えボタン211、コンテンツ共有ボタン212、目印移動ボタン213、発話ボタン214、終話ボタン215、キャンセルボタン216、数字入力ボタン217、動画再生制御ボタン218、および目印決定ボタン219が設けられている。
表示内容切り替えボタン211は、表示部4に表示させる信号の入力を切り替えるボタンである。例えば、表示内容切り替えボタン211が押される毎に、表示部4に表示させる信号が、テレビ放送信号、テレビ電話信号、ビデオ信号などに切り替えられることになる。
コンテンツ共有ボタン212は、テレビ電話機能を利用している際に、通話先の端末装置との間で、何らかの情報(コンテンツ)を共有を開始する、あるいは共有を終了することを指示する際に用いられるボタンである。コンテンツとしては、例えば、テレビ番組、Webページ、ネットワーク上の動画データ、送信側あるいは受信側の情報通信端末に記憶されている動画データなどが挙げられる。
発話ボタン214は、テレビ電話機能が利用されている際に、通話開始の指示入力を行うためのボタンである。また、終話ボタン215は、テレビ電話機能が利用されている際に、通話終了の指示入力を行うためのボタンである。また、キャンセルボタン216は、何らかの操作に対するキャンセル指示を行うためのボタンである。
数字入力ボタン217は、何らかの数字入力が行われる際に用いられるボタンである。例えば、テレビの視聴が行われている際には、数字入力ボタン217はチャンネル選択ボタンとして用いられる一方、テレビ電話機能が利用されている際には、数字入力ボタン217は電話番号入力ボタンとして用いられる。
動画再生制御ボタン218は、動画データの再生を行う際に、動画データの再生・一時停止、停止、巻き戻し、早送りなどの再生制御を行うためのボタンである。この動画再生制御ボタン218によって制御される動画データとしては、例えば画像情報蓄積部206に記憶されている動画データなどが挙げられる。
目印移動ボタン213は、表示部4に表示される目印を移動させる際に用いられるボタンであり、図25(b)ではドーナツ形状のボタンとして表現している。この目印移動ボタン213は、上下左右斜めなどの全方向に対して傾けることが可能となっており、目印移動ボタン213が傾いた方向に目印が移動するようになっている。また、目印決定ボタン219は目印の位置を決めるために用いられる。
なお、前記した実施形態におけるダイヤルボタン5aと同様に、目印の移動は、数字入力ボタン217における1〜9のボタンを用いて行うことが可能であるが、目印移動ボタン213によっても目印を移動させることが可能となっている。なお、目印移動ボタン213によって目印を移動させることのメリットとしては、詳細は後述するが、動画を表示している際に、ポインティングしたい対象物の移動に伴って目印を徐々に移動させる、というようなポインティング動作に好適である点である。
なお、本実施形態では、上記のように、情報通信端末として多機能テレビ10Tを用いる例を挙げているが、情報通信端末としてはこれに限定されるものではなく、例えば同等の機能を有する携帯型通信端末(携帯電話機などを含む)などであっても構わない。
(ポインティング操作例)
前記した実施形態1および2では、携帯電話機10の比較的小さい表示画面におけるポインティングを想定していた。これに対して、本実施形態のように、比較的大きい表示画面を有する多機能テレビ10Tを用いる場合、ポインティング処理をより工夫する必要が生じる。すなわち、絶対位置モードを用いて目印を指定する場合に、図2に示したような9個の分割エリアのうち、1つの分割エリアを指定するだけでは、分割エリアの領域が大きいため、対象物を的確に指し示すことはできない。また、対象物をより的確に指し示すために、相対位置モードを用いて目印を移動させる場合においても、表示画面が大きいため、目印の移動のためにダイヤルボタン5aの操作を何度もしなければならない。
このような問題を解決するために、本実施形態では、以下に示すように、2段階に分けて絶対位置指定を行うようになっている。図26(a)〜図26(c)は、本実施形態におけるポインティング処理を説明する表示画面図である。
まず、通信開始時点では、図26(a)に示すように、送信側の多機能テレビ10Tの有効表示エリア4Taには、受信側の情報通信端末と共有している画像情報が表示されている。また、有効表示エリア4Taには、該有効表示エリア4Taを9個の分割エリア(縦3×横3)に分割する分割グリッド線が表示されている。
絶対位置モードにおいて絶対位置が指定されると、図26(b)に示すように、入力された数字入力ボタン217に対応する表示画面の分割エリアに目印221aが表示される。すなわち、多機能テレビ10Tにおいて、数字入力ボタン217の“1”のボタンが入力されると、図26(b)に示すように、有効表示エリア4Taに示された9つの分割エリアのうち、“1”のボタンに対応する絶対位置である左上の分割エリアに目印221aが表示される。この目印221aの形状としては、例えば選択された分割エリアに内接する円形状とすればよいが、形状は特に限定されるものではない。
その後さらに、1回目に絶対位置指定された分割エリアが、さらに複数の小分割エリアに分割される。すなわち、1回目に絶対位置指定された分割エリアには、該分割エリアを9個の小分割エリア(縦3×横3)に分割する分割グリッド線が表示される。
図26(b)の状態で、さらに、多機能テレビ10Tにおいて、数字入力ボタン217の“9”のボタンが入力されると、図26(c)に示すように、左上の分割エリアに示された9つの小分割エリアのうち、“9”のボタンに対応する絶対位置である右下の小分割エリアに目印221bが表示される。この目印221bの形状としては、例えば選択された小分割エリアに内接する円形状とすればよいが、形状は特に限定されるものではない。
これにより、ダイヤルボタン5aに対して2回入力動作が行われることによって、表示画面を81個に分割した小分割エリアの1つを特定することが可能となる。
なお、図26(c)に示す状態から、小分割エリアをさらに9つに分割して、そのうちの1つが絶対位置で指定・選択できるようにしてもよい。すなわち、絶対位置指定を複数回繰り返すことによって、表示画面上の比較的小さい位置に対しても的確にポインティング処理をすることが可能となる。以上のようにして設定された目印情報は、前記した逐次送信モードまたは確定情報送信モードにて、受信側の多機能テレビ10Tに送信される。
なお、分割エリア、および、小分割エリアのうちの1つを選択する処理に関しては、数字入力ボタン217における1〜9のボタンを使用する方法に限定されるものではなく、種々の方法が考えられる。例えば、入力部5に選択切り替えボタンを設けておき、この選択切り替えボタンを押す毎に目印221aまたは目印221bが順次分割エリア(小分割エリア)を移動するようにしておき、所望の分割エリア(小分割エリア)に移動した後に目印決定ボタン219が押されることによって位置が決定されるようにしてもよい。また、入力部5に4方向移動ボタンを設けておき、この4方向移動ボタンを用いることによって所望の分割エリア(小分割エリア)に目印221aまたは目印221bを移動させ、目印決定ボタン219が押されることによって位置が決定されるようにしてもよい。
また、目印移動ボタン213を用いて所望の分割エリア(小分割エリア)に目印221aまたは目印221bを移動させ、目印決定ボタン219が押されることによって位置が決定されるようにしてもよい。また、キャンセルボタン216を用いることによって、一旦決定した分割エリア(小分割エリア)をキャンセルし、指定をし直すことが可能となっていてもよい。すなわち、分割エリア内の小分割エリアの1つを指定し直したり、小分割エリアの指定を中止し、指定対象を親にあたる分割エリアにしたり、分割エリアおよび小分割エリアの指定を中止する、などの処理が可能となっていてもよい。
(テレビ番組の共有)
次に、本実施形態において、送信側および受信側の両方の情報通信端末が多機能テレビ10Tであり、送信側および受信側で共有される画像が、テレビ放送の画像である実施例を示す。この実施例では、送信側と受信側とで同じテレビ番組を表示した状態で、ポインティング動作を行いながらテレビ電話によって会話をするというような利用形態が想定される。このような利用形態によれば、例えば、図27に示すように、あるテレビ番組に出演している歌手グループのうち、あるメンバーに対して目印221をつけて相手に指し示し、「このメンバーが一番好き」といった会話を楽しむことができる。
このとき問題になるのは、送信側の多機能テレビ10Tにおいて選択されているチャンネルと、受信側の多機能テレビ10Tにおいて選択されているチャンネルとが異なる場合である。この場合には、目印情報の送受信が行われたとしても、送信側と受信側とで目印によって指し示されているものが異なることになるので、目印情報の送受信は無意味なものとなる。
このような状況を防ぐために、送信側の多機能テレビ10Tは、目印情報の送信に先立って、現在選択されているチャンネル情報を受信側の多機能テレビ10Tに送信する。受信側の多機能テレビ10Tでは、目印情報の受信に先立って送信側の多機能テレビ10Tからチャンネル情報を受信し、受信したチャンネル情報に応じてチャンネルを設定する。
ここで、送信側の多機能テレビ10Tおよび受信側の多機能テレビ10Tにおける処理の流れについて、図28(a)および図28(b)を参照しながら以下に説明する。同図(a)は、送信側の多機能テレビ10Tにおける処理の流れ、同図(b)は、受信側の多機能テレビ10Tにおける処理の流れを示している。
まず、送信側の多機能テレビ10Tにおける処理について、図28(a)を参照しながら説明する。なお、以下の処理に先立って、送信側の多機能テレビ10Tと受信側の多機能テレビ10Tとの間で、テレビ電話機能または音声電話機能によって通信が確立している状態であるものとする。
S2001では、利用者によって入力部5におけるコンテンツ共有ボタン212が押されることにより、コンテンツ共有の開始指示が受信側の多機能テレビ10Tに送信される。詳しく説明すると、コンテンツ共有ボタン212が押されると、コンテンツ共有指示信号が制御部1における通信制御部13に伝送され、通信制御部13の制御に基づいて通信部7からコンテンツ共有指示信号が受信側の多機能テレビ10Tに送信される。これにより、受信側の多機能テレビ10Tは、コンテンツ共有の待機状態に移行する。
次にS2002において、自装置において、現時点でテレビ放送を受信しているテレビ番組のチャンネル設定がチャンネル設定部203によって取得される。なお、ここでは、テレビ電話機能を利用しながら、同時にテレビの視聴を行っていることを想定している。この場合、テレビ電話による映像とテレビの映像とを、マルチ画面形式で表示部4に表示してもよいし、表示内容切り替えボタン211によって切り替えながら表示してもよい。
次にS2003において、チャンネル設定部203によって取得されたチャンネル情報が通信制御部13に伝送され、通信制御部13の制御に基づいて通信部7からチャンネル情報信号が受信側の多機能テレビ10Tに送信される。これにより、受信側の多機能テレビ10Tは、どのチャンネルのテレビ番組を表示すべきかを認識することが可能となる。
その後、表示部4に目印が表示され、入力部4からの入力動作に応じて、目印情報移動制御部14によって、前記したような目印の位置指定動作、種類指定動作、形状指定動作などが行われる。そして、これらの動作に基づいて、目印情報作成部11によって目印情報が生成される(S2004)。なお、目印情報の生成の方法は、前記した実施の形態で示した方法と同様であるので、ここではその説明を省略する。
なお、テレビ電話による映像とテレビの映像とを、マルチ画面形式で表示部4に表示している場合には、目印の位置情報は、テレビの映像が表示される領域内での相対位置情報として、受信側の多機能テレビ10Tに送信されることになる。
次にS2005において、目印情報作成部11によって作成された目印情報が、通信制御部13の制御に基づいて通信部7から受信側の多機能テレビ10Tに送信される。これにより、受信側の多機能テレビ10Tは、受信した目印情報に基づいてポインティング動作を行うことが可能となる。
次にS2006において、コンテンツの共有を終了するか否かが確認される。具体的には、入力部5におけるコンテンツ共有ボタン212が押されたことを検出したか否かが判断され、コンテンツ共有ボタン212が押されていない限りは(S2006においてNO)、S2004およびS2005の処理が繰り返されることになる。
一方、S2006においてYES、すなわち、コンテンツ共有ボタン212が押されたことが検出されると、通信制御部13の制御に基づいて通信部7からコンテンツ共有終了信号が受信側の多機能テレビ10Tに送信される(S2007)。これにより、受信側の多機能テレビ10Tは、コンテンツ共有の終了を認識することが可能となる。
次に、受信側の多機能テレビ10Tにおける処理について、図28(b)を参照しながら説明する。なお、上記した送信側の処理と同様に、以下の処理に先立って、送信側の多機能テレビ10Tと受信側の多機能テレビ10Tとの間で、テレビ電話機能または音声電話機能によって通信が確立している状態であるものとする。
S2008では、送信側の多機能テレビ10Tから送信されたコンテンツ共有指示信号が通信部7を介して受信される。コンテンツ共有指示信号が受信されたことが通信制御部13に伝えられることによって、通信制御部13は、コンテンツ共有の待機状態に移行する。
次にS2009において、送信側の多機能テレビ10Tから送信されたチャンネル情報信号が通信部7を介して受信される。受信したチャンネル情報信号は、通信制御部13からチャンネル設定部203に伝送される。そして、チャンネル設定部203は、受信したチャンネル情報信号に対応するチャンネルのテレビ番組の受信を開始するとともに、表示制御部12に対して、該当チャンネルのテレビ番組を表示させるように指示を行う(S2010)。なお、ここでは、テレビ電話機能を利用しながら、同時にテレビの視聴を行っていることを想定している。この場合、テレビ電話による映像とテレビの映像とを、マルチ画面形式で表示部4に表示してもよいし、表示内容切り替えボタン211によって切り替えながら表示してもよい。
次にS2011において、送信側の多機能テレビ10Tから送信された目印情報が通信部7を介して受信されると、この目印情報が通信制御部13から目印情報移動制御部14に伝送される。そして、目印情報移動制御部14は、受信した目印情報に基づいて、表示制御部12に対して目印の表示指示を行い、これによって表示部4に目印が表示される(S2012)。
なお、テレビ電話による映像とテレビの映像とを、マルチ画面形式で表示部4に表示している場合には、受信した目印情報に含まれる目印の位置情報は、テレビの映像が表示される領域内での相対位置として表示部4に表示されることになる。
次にS2013において、コンテンツ共有の終了指示を示すコンテンツ共有終了信号を送信側の多機能テレビ10Tから受信したか否かが通信制御部13によって確認される。S2013においてNO、すなわち、コンテンツ共有終了信号を受信していない限りは、S2011およびS2012の処理が繰り返されることになる。
一方、S2013においてYES、すなわち、コンテンツ共有終了信号を受信した場合には、コンテンツの共有が終了することになる。
なお、受信側の多機能テレビ10Tにおいて、送信側の多機能テレビ10Tからチャンネル情報を受信した際に、現在視聴しているチャンネルがいきなり変更されるのではなく、相手からチャンネル情報を受信したことが表示されるとともに、利用者によってチャンネル変更が承認される、といった確認処理が行われるようになっていてもよい。
(Webページの共有)
次に、本実施形態において、送信側および受信側の両方の多機能テレビ10Tが、インターネット接続が可能となっているとともに、Web(World Wide Web)ブラウザの機能を有しており、送信側および受信側で共有される画像が、Webページの画像である実施例を示す。この実施例では、送信側と受信側とで同じWebページを表示した状態で、ポインティング動作を行いながらテレビ電話によって会話をするというような利用形態が想定される。このような利用形態によれば、例えば、図29に示すように、ネットワーク上にあるおもちゃ屋さんのサイトのWebページを表示し、表示されているおもちゃの画像のうちあるおもちゃに対して目印221をつけて相手に指し示し、「このぬいぐるみが欲しい」といった会話を楽しむことができる。
このとき問題になるのは、送信側の多機能テレビ10Tにおいて表示されているWebページと、受信側の多機能テレビ10Tにおいて選択されている表示されているWebページとが異なる場合である。この場合には、目印情報の送受信が行われたとしても、送信側と受信側とで目印によって指し示されているものが異なることになるので、目印情報の送受信は無意味なものとなる。
このような状況を防ぐために、送信側の多機能テレビ10Tは、目印情報の送信に先立って、現在表示しているWebページを指定するアドレス情報を受信側の多機能テレビ10Tに送信する。受信側の多機能テレビ10Tでは、目印情報の受信に先立って送信側の多機能テレビ10Tからアドレス情報を受信し、受信したアドレスによってネットワークにアクセスし、取得したWebページを表示する。
ここで、送信側の多機能テレビ10Tおよび受信側の多機能テレビ10Tにおける処理の流れについて、図30(a)および図30(b)を参照しながら以下に説明する。同図(a)は、送信側の多機能テレビ10Tにおける処理の流れ、同図(b)は、受信側の多機能テレビ10Tにおける処理の流れを示している。
まず、送信側の多機能テレビ10Tにおける処理について、図30(a)を参照しながら説明する。なお、以下の処理に先立って、送信側の多機能テレビ10Tと受信側の多機能テレビ10Tとの間で、テレビ電話機能または音声電話機能によって通信が確立している状態であるものとする。
S2021では、利用者によって入力部5におけるコンテンツ共有ボタン212が押されることにより、コンテンツ共有の開始指示が受信側の多機能テレビ10Tに送信される。これにより、受信側の多機能テレビ10Tは、コンテンツ共有の待機状態に移行する。
次にS2022において、自装置において、現時点でネットワークコンテンツ受信部204のWebブラウジング機能によって表示しているWebページのアドレス(URL(Uniform Resource Locator))がネットワークコンテンツ受信部204によって取得される。なお、ここでは、テレビ電話機能を利用しながら、同時にWebページの閲覧を行っていることを想定している。この場合、テレビ電話による映像とWebページの映像とを、マルチ画面形式で表示部4に表示してもよいし、表示内容切り替えボタン211によって切り替えながら表示してもよい。
次にS2023において、ネットワークコンテンツ受信部204によって取得されたURL情報が通信制御部13に伝送され、通信制御部13の制御に基づいて通信部7からURL情報が受信側の多機能テレビ10Tに送信される。これにより、受信側の多機能テレビ10Tは、表示すべきWebページのアドレスを認識することが可能となる。
その後、表示部4に目印が表示され、入力部4からの入力動作に応じて、目印情報移動制御部14によって、前記したような目印の位置指定動作、種類指定動作、形状指定動作などが行われる。そして、これらの動作に基づいて、目印情報作成部11によって目印情報が生成される(S2024)。なお、目印情報の生成の方法は、前記した実施の形態で示した方法と同様であるので、ここではその説明を省略する。
なお、テレビ電話による映像とWebページの映像とを、マルチ画面形式で表示部4に表示している場合には、目印の位置情報は、Webページの映像が表示される領域内での相対位置情報として、受信側の多機能テレビ10Tに送信されることになる。
次にS2025において、目印情報作成部11によって作成された目印情報が、通信制御部13の制御に基づいて通信部7から受信側の多機能テレビ10Tに送信される。これにより、受信側の多機能テレビ10Tは、受信した目印情報に基づいてポインティング動作を行うことが可能となる。
また、Webページを表示している際に、利用者によってスクロール動作が行われた場合に、そのスクロール量を示す操作情報が受信側の多機能テレビ10Tに送信されるようになっていてもよい。このようにすれば、送信側および受信側の双方の多機能テレビ10TにおけるWebページの表示領域のサイズ(画素数)が同じであれば、スクロールの状態も同期させることが可能となり、ポインティング対象を完全に一致させることが可能となる。
さらに、送信側の多機能テレビ10Tにおける、Webページの表示領域のサイズ(画素数)に関する表示サイズ情報が受信側の多機能テレビ10Tに送信されるようになっていてもよい。このようにすれば、受信側の多機能テレビ10Tにおいて、送信側におけるWebページの表示領域のサイズと同じサイズにWebページの表示領域を設定することによって、Webページの表示状態を送信側と受信側とで完全に一致させることが可能となる。
あるいは、送信側と受信側とで、Webページの表示領域のサイズが異なっていても、受信側において、送信側のWebページの表示領域のサイズおよび目印の位置情報を解析することによって、受信側のWebページの表示領域のうち、どの位置に目印を表示させたらよいかを算出することも可能である。これにより、送信側と受信側とでWebページの表示状態(文字や画像の配置位置)が異なっていたとしても、ポインティング対象を送信側と受信側とで一致させることが可能となる。
次にS2026において、コンテンツの共有を終了するか否かが確認される。具体的には、入力部5におけるコンテンツ共有ボタン212が押されたことを検出したか否かが判断され、コンテンツ共有ボタン212が押されていない限りは(S2026においてNO)、S2024およびS2025の処理が繰り返されることになる。
一方、S2026においてYES、すなわち、コンテンツ共有ボタン212が押されたことが検出されると、通信制御部13の制御に基づいて通信部7からコンテンツ共有終了信号が受信側の多機能テレビ10Tに送信される(S2027)。これにより、受信側の多機能テレビ10Tは、コンテンツ共有の終了を認識することが可能となる。
次に、受信側の多機能テレビ10Tにおける処理について、図30(b)を参照しながら説明する。なお、上記した送信側の処理と同様に、以下の処理に先立って、送信側の多機能テレビ10Tと受信側の多機能テレビ10Tとの間で、テレビ電話機能または音声電話機能によって通信が確立している状態であるものとする。
S2028では、送信側の多機能テレビ10Tから送信されたコンテンツ共有指示信号が通信部7を介して受信される。コンテンツ共有指示信号が受信されたことが通信制御部13に伝えられることによって、通信制御部13は、コンテンツ共有の待機状態に移行する。
次にS2029において、送信側の多機能テレビ10Tから送信されたURL情報が通信部7を介して受信される。受信したURL情報は、通信制御部13からネットワークコンテンツ受信部204に伝送される。そして、ネットワークコンテンツ受信部204は、受信したURL情報に対応するアドレスのWebページをネットワークから取得し、表示制御部12に対して、該当Webページを表示させるように指示を行う(S2030)。なお、ここでは、テレビ電話機能を利用しながら、同時にWebページの閲覧を行っていることを想定している。この場合、テレビ電話による映像とWebページの映像とを、マルチ画面形式で表示部4に表示してもよいし、表示内容切り替えボタン211によって切り替えながら表示してもよい。
次にS2031において、送信側の多機能テレビ10Tから送信された目印情報が通信部7を介して受信されると、この目印情報が通信制御部13から目印情報移動制御部14に伝送される。そして、目印情報移動制御部14は、受信した目印情報に基づいて、表示制御部12に対して目印の表示指示を行い、これによって表示部4に目印が表示される(S2032)。
なお、テレビ電話による映像とWebページの映像とを、マルチ画面形式で表示部4に表示している場合には、受信した目印情報に含まれる目印の位置情報は、Webページの映像が表示される領域内での相対位置として表示部4に表示されることになる。
次にS2033において、コンテンツ共有の終了指示を示すコンテンツ共有終了信号を送信側の多機能テレビ10Tから受信したか否かが通信制御部13によって確認される。S2033においてNO、すなわち、コンテンツ共有終了信号を受信していない限りは、S2031およびS2032の処理が繰り返されることになる。
一方、S2033においてYES、すなわち、コンテンツ共有終了信号を受信した場合には、コンテンツの共有が終了することになる。
なお、受信側の多機能テレビ10Tにおいて、送信側の多機能テレビ10TからURL情報を受信した際に、現在閲覧しているWebページがいきなり変更されるのではなく、相手からURL情報を受信したことが表示されるとともに、利用者によってWebページの変更が承認される、といった確認処理が行われるようになっていてもよい。
(動画の共有)
次に、本実施形態において、送信側および受信側で共有される画像が、ネットワーク上にある動画データ、あるいは送信側の情報通信端末に蓄積されている動画データである実施例を示す。この実施例では、送信側と受信側とで同じ動画を表示した状態で、ポインティング動作を行いながらテレビ電話によって会話をするというような利用形態が想定される。このような利用形態によれば、例えば、図31に示すように、運動会の様子を撮影した動画を、送信側および受信側の双方の多機能テレビ10Tにおいて再生し、その動画に映っている人物に対して目印をつけて相手に指し示し、「これが私の子供よ」といった会話を楽しむことができる。
このとき問題になるのは、送信側の多機能テレビ10Tにおける動画再生のタイミングと、受信側の多機能テレビ10Tにおける動画再生のタイミングとがずれてしまうことである。表示されているタイミングが異なっていると、送信側で指し示している対象物と、受信側で指し示されている対象物が異なるものとなってしまい、目印情報の送受信は無意味なものとなる。
このような状況を防ぐために、送信側の多機能テレビ10Tは、目印情報の送信に先立って、動画の再生開始命令を受信側の多機能テレビ10Tに送信するとともに、表示画面において当該動画の再生を開始する。受信側の多機能テレビ10Tでは、目印情報の受信に先立って送信側の多機能テレビ10Tから動画再生命令を受信し、動画の再生を開始する。すなわち、動画の再生開始タイミングを、送信側と受信側とで一致させた状態で、目印情報の送受信を行うことにより、上記のような問題を解消することが可能となる。
以下に、送信側の多機能テレビ10Tと受信側の多機能テレビ10Tとで同じ動画を再生する方法として2つの動画共有方法を述べる。
第1の動画共有方法は、図30(a)および図30(b)を用いて説明したような、ネットワーク上の動画データを使用する方法である。この場合、送信側の多機能テレビ10Tでは、動画の再生開始命令を受信側の多機能テレビ10Tに送信した後、ネットワークアドレスを用いてWeb上の動画データにアクセスし、動画データの再生を行う。受信側の多機能テレビ10Tでは、動画の再生開始命令を受信後、指定されたネットワークアドレスを用いてWeb上の動画データにアクセスし、動画データの再生を行う。
第2の動画共有方法は、送信側の多機能テレビ10Tが有している動画データを受信側の多機能テレビ10Tが受信して再生する方法である。この場合、送信側の多機能テレビ10Tから受信側の多機能テレビ10Tへ、まず共有すべき動画データ送信された後、送信側の多機能テレビ10Tから再生開始命令が受信側の多機能テレビ10Tへ送信されることによって、送信側および受信側の多機能テレビ10Tが同時に動画データを再生することになる。
まず、上記第1の動画共有方法における、送信側の多機能テレビ10Tおよび受信側の多機能テレビ10Tにおける処理の流れについて、図32(a)および図32(b)を参照しながら以下に説明する。同図(a)は、送信側の多機能テレビ10Tにおける処理の流れ、同図(b)は、受信側の多機能テレビ10Tにおける処理の流れを示している。
まず、送信側の多機能テレビ10Tにおける処理について、図32(a)を参照しながら説明する。なお、以下の処理に先立って、送信側の多機能テレビ10Tと受信側の多機能テレビ10Tとの間で、テレビ電話機能または音声電話機能によって通信が確立している状態であるものとする。
S2041では、ネットワークコンテンツ受信部204が、共有しようとする動画データが置かれているインターネット上のアドレス(URL情報)を取得する。ここでは、例えば利用者が、Webブラウザにおいて、該当動画データを示すハイパーリンクを選択するとともに、選択したハイパーリンクを共有する動画データとして設定する指示入力を行うことになる。この場合、入力部5から利用者によって入力された指示入力が、ネットワークコンテンツ受信部204に認識されることによって、ネットワークコンテンツ受信部204が、該当動画データのURL情報を取得することになる。
次にS2042において、ネットワークコンテンツ受信部204によって取得されたURL情報が通信制御部13に伝送され、通信制御部13の制御に基づいて通信部7からURL情報が受信側の多機能テレビ10Tに送信される。これにより、受信側の多機能テレビ10Tは、表示すべき動画データのインターネット上のアドレスを認識することが可能となる。
次にS2043において、利用者によって入力部5におけるコンテンツ共有ボタン212が押されることにより、通信制御部13の制御に基づいて、通信部7からコンテンツ共有の開始指示が受信側の多機能テレビ10Tに送信される。また、このコンテンツ共有の開始指示を送信する際に、S2042で送信したURL情報に対応する動画データの再生命令も同時に送信される。この処理は、例えばコンテンツ共有ボタン212が押された際に、選択肢として動画再生開始指示という項目を表示させ、これが利用者によって選択されることによって実現することができる。これにより、受信側の多機能テレビ10Tは、コンテンツ共有の待機状態に移行するとともに、既に通知されているURL情報に対応する動画データの再生を開始することになる。
S2043において共有する動画データの再生命令が送信されると同時に、S2044において、ネットワークコンテンツ受信部204によって、該当URL情報に対応する動画データにアクセスし、取得した動画データの再生が行われる。ネットワークコンテンツ受信部204によって再生された動画映像は、表示制御部13の制御に基づいて表示部4に表示される。なお、ここでは、テレビ電話機能を利用しながら、同時に動画の表示を行っていることを想定している。この場合、テレビ電話による映像と動画の映像とを、マルチ画面形式で表示部4に表示してもよいし、表示内容切り替えボタン211によって切り替えながら表示してもよい。
その後、表示部4に目印が表示され、入力部4からの入力動作に応じて、目印情報移動制御部14によって、前記したような目印の位置指定動作、種類指定動作、形状指定動作などが行われる。そして、これらの動作に基づいて、目印情報作成部11によって目印情報が生成される(S2045)。なお、目印情報の生成の方法は、前記した実施の形態で示した方法と同様であるので、ここではその説明を省略する。
なお、テレビ電話による映像と動画の映像とを、マルチ画面形式で表示部4に表示している場合には、目印の位置情報は、動画の映像が表示される領域内での相対位置情報として、受信側の多機能テレビ10Tに送信されることになる。
次にS2046において、目印情報作成部11によって作成された目印情報が、通信制御部13の制御に基づいて通信部7から受信側の多機能テレビ10Tに送信される。これにより、受信側の多機能テレビ10Tは、受信した目印情報に基づいてポインティング動作を行うことが可能となる。
次にS2047において、コンテンツの共有を終了するか否かが確認される。具体的には、入力部5におけるコンテンツ共有ボタン212が押されたことを検出したか否かが判断され、コンテンツ共有ボタン212が押されていない限りは(S2047においてNO)、S2045およびS2046の処理が繰り返されることになる。
一方、S2047においてYES、すなわち、コンテンツ共有ボタン212が押されたことが検出されると、通信制御部13の制御に基づいて通信部7からコンテンツ共有終了信号が受信側の多機能テレビ10Tに送信される(S2048)。これにより、受信側の多機能テレビ10Tは、コンテンツ共有の終了を認識することが可能となる。
次に、受信側の多機能テレビ10Tにおける処理について、図32(b)を参照しながら説明する。なお、上記した送信側の処理と同様に、以下の処理に先立って、送信側の多機能テレビ10Tと受信側の多機能テレビ10Tとの間で、テレビ電話機能または音声電話機能によって通信が確立している状態であるものとする。
S2049では、送信側の多機能テレビ10Tから送信されたURL情報が通信部7を介して受信される。この受信したURL情報は、後に再生指示が行われた際に呼び出すことができるように、画像情報保持部205に一時記憶される。
次にS2050において、コンテンツ共有の開始指示および動画データの再生命令が通信部7を介して受信される。コンテンツ共有指示信号が受信されたことが通信制御部13に伝えられることによって、通信制御部13は、コンテンツ共有の待機状態に移行する。また、動画データの再生命令が通信制御部13に伝えられることによって、これがネットワークコンテンツ受信部204に伝えられる。そして、ネットワークコンテンツ受信部204は、画像情報保持部205に一時記憶されているURL情報を読み出し、該当URL情報に対応する動画データにアクセスし、取得した動画データの再生が行われる(S2051)。
なお、ここでは、テレビ電話機能を利用しながら、同時に動画データの再生を行っていることを想定している。この場合、テレビ電話による映像と動画データの映像とを、マルチ画面形式で表示部4に表示してもよいし、表示内容切り替えボタン211によって切り替えながら表示してもよい。
次にS2052において、送信側の多機能テレビ10Tから送信された目印情報が通信部7を介して受信されると、この目印情報が通信制御部13から目印情報移動制御部14に伝送される。そして、目印情報移動制御部14は、受信した目印情報に基づいて、表示制御部12に対して目印の表示指示を行い、これによって表示部4に目印が表示される(S2053)。
なお、テレビ電話による映像と動画データの映像とを、マルチ画面形式で表示部4に表示している場合には、受信した目印情報に含まれる目印の位置情報は、動画データの映像が表示される領域内での相対位置として表示部4に表示されることになる。
次にS2054において、コンテンツ共有の終了指示を示すコンテンツ共有終了信号を送信側の多機能テレビ10Tから受信したか否かが通信制御部13によって確認される。S2054においてNO、すなわち、コンテンツ共有終了信号を受信していない限りは、S2052およびS2053の処理が繰り返されることになる。
一方、S2054においてYES、すなわち、コンテンツ共有終了信号を受信した場合には、コンテンツの共有が終了することになる。
なお、受信側の多機能テレビ10Tにおいて、送信側の多機能テレビ10Tから動画データの再生命令を受信した際に、いきなり動画データの再生が行われるのではなく、相手から動画データの再生命令を受信したことが表示されるとともに、利用者によって動画データの再生が承認される、といった確認処理が行われるようになっていてもよい。
次に、上記第2の動画共有方法における、送信側の多機能テレビ10Tおよび受信側の多機能テレビ10Tにおける処理の流れについて、図33(a)および図33(b)を参照しながら以下に説明する。同図(a)は、送信側の多機能テレビ10Tにおける処理の流れ、同図(b)は、受信側の多機能テレビ10Tにおける処理の流れを示している。
まず、送信側の多機能テレビ10Tにおける処理について、図33(a)を参照しながら説明する。なお、以下の処理に先立って、送信側の多機能テレビ10Tと受信側の多機能テレビ10Tとの間で、テレビ電話機能または音声電話機能によって通信が確立している状態であるものとする。
S2061では、通信制御部13が、共有しようとする動画データを画像情報蓄積部206から読み出して、受信側の多機能テレビ10Tに向けて通信部7を介して送信する。ここでは、例えば利用者が、画像情報蓄積部206に蓄積されている動画データを通信先に送信する指示入力を行うことになる。動画データの送信が完了したらS2062に進む。なお、受信側の多機能テレビ10Tが動画データ受信完了通知を送信するような実装である場合には、動画データ受信完了通知を受信した後にS2062に進む。
次にS2062において、利用者によって入力部5におけるコンテンツ共有ボタン212が押されることにより、通信制御部13の制御に基づいて、通信部7からコンテンツ共有の開始指示が受信側の多機能テレビ10Tに送信される。また、このコンテンツ共有の開始指示を送信する際に、S2061で送信した動画データの再生命令も同時に送信される。この処理は、例えばコンテンツ共有ボタン212が押された際に、選択肢として動画再生開始指示という項目を表示させ、これが利用者によって選択されることによって実現することができる。これにより、受信側の多機能テレビ10Tは、コンテンツ共有の待機状態に移行するとともに、既に受信している動画データの再生を開始することになる。
S2062において共有する動画データの再生命令が送信されると同時に、S2063において、画像情報蓄積部206に記憶されている該当動画データの再生が行われる。この動画データの映像は、表示制御部13の制御に基づいて表示部4に表示される。なお、ここでは、テレビ電話機能を利用しながら、同時に動画の表示を行っていることを想定している。この場合、テレビ電話による映像と動画の映像とを、マルチ画面形式で表示部4に表示してもよいし、表示内容切り替えボタン211によって切り替えながら表示してもよい。
その後、表示部4に目印が表示され、入力部4からの入力動作に応じて、目印情報移動制御部14によって、前記したような目印の位置指定動作、種類指定動作、形状指定動作などが行われる。そして、これらの動作に基づいて、目印情報作成部11によって目印情報が生成される(S2064)。なお、目印情報の生成の方法は、前記した実施の形態で示した方法と同様であるので、ここではその説明を省略する。
なお、テレビ電話による映像と動画の映像とを、マルチ画面形式で表示部4に表示している場合には、目印の位置情報は、動画の映像が表示される領域内での相対位置情報として、受信側の多機能テレビ10Tに送信されることになる。
次にS2065において、目印情報作成部11によって作成された目印情報が、通信制御部13の制御に基づいて通信部7から受信側の多機能テレビ10Tに送信される。これにより、受信側の多機能テレビ10Tは、受信した目印情報に基づいてポインティング動作を行うことが可能となる。
次にS2066において、コンテンツの共有を終了するか否かが確認される。具体的には、入力部5におけるコンテンツ共有ボタン212が押されたことを検出したか否かが判断され、コンテンツ共有ボタン212が押されていない限りは(S2066においてNO)、S2064およびS2065の処理が繰り返されることになる。
一方、S2066においてYES、すなわち、コンテンツ共有ボタン212が押されたことが検出されると、通信制御部13の制御に基づいて通信部7からコンテンツ共有終了信号が受信側の多機能テレビ10Tに送信される(S2067)。これにより、受信側の多機能テレビ10Tは、コンテンツ共有の終了を認識することが可能となる。
次に、受信側の多機能テレビ10Tにおける処理について、図33(b)を参照しながら説明する。なお、上記した送信側の処理と同様に、以下の処理に先立って、送信側の多機能テレビ10Tと受信側の多機能テレビ10Tとの間で、テレビ電話機能または音声電話機能によって通信が確立している状態であるものとする。
S2068では、送信側の多機能テレビ10Tから送信された動画データが通信部7を介して受信される。この受信した動画データは、後に再生指示が行われた際に呼び出すことができるように、画像情報蓄積部206に記憶される(S2069)。動画データの受信が完了したらS2070に進む。なお、送信側の多機能テレビ10Tに対して動画データ受信完了通知を送信するように実装してもよい。送信側の多機能テレビ10Tが動画データ受信完了通知を受信した後にコンテンツ共有の開始指示および動画データの再生命令を送信するような実装であれば、動画データの再生命令は動画データの受信が完了した後にしか受信することはない。
次にS2070において、コンテンツ共有の開始指示および動画データの再生命令が通信部7を介して受信される。コンテンツ共有指示信号が受信されたことが通信制御部13に伝えられることによって、通信制御部13は、コンテンツ共有の待機状態に移行する。また、動画データの再生命令が通信制御部13に伝えられることによって、画像情報蓄積部206に記憶されている該当動画データの再生が行われる。この動画データの映像は、表示制御部13の制御に基づいて表示部4に表示される。(S2071)。
なお、ここでは、テレビ電話機能を利用しながら、同時に動画データの再生を行っていることを想定している。この場合、テレビ電話による映像と動画データの映像とを、マルチ画面形式で表示部4に表示してもよいし、表示内容切り替えボタン211によって切り替えながら表示してもよい。
次にS2072において、送信側の多機能テレビ10Tから送信された目印情報が通信部7を介して受信されると、この目印情報が通信制御部13から目印情報移動制御部14に伝送される。そして、目印情報移動制御部14は、受信した目印情報に基づいて、表示制御部12に対して目印の表示指示を行い、これによって表示部4に目印が表示される(S2073)。
なお、テレビ電話による映像と動画データの映像とを、マルチ画面形式で表示部4に表示している場合には、受信した目印情報に含まれる目印の位置情報は、動画データの映像が表示される領域内での相対位置として表示部4に表示されることになる。
次にS2074において、コンテンツ共有の終了指示を示すコンテンツ共有終了信号を送信側の多機能テレビ10Tから受信したか否かが通信制御部13によって確認される。S2074においてNO、すなわち、コンテンツ共有終了信号を受信していない限りは、S2072およびS2073の処理が繰り返されることになる。
一方、S2074においてYES、すなわち、コンテンツ共有終了信号を受信した場合には、コンテンツの共有が終了することになる。
なお、受信側の多機能テレビ10Tにおいて、送信側の多機能テレビ10Tから動画データの再生命令を受信した際に、いきなり動画データの再生が行われるのではなく、相手から動画データの再生命令を受信したことが表示されるとともに、利用者によって動画データの再生が承認される、といった確認処理が行われるようになっていてもよい。
なお、上記第2の動画共有方法では、受信側の多機能テレビ10Tが、送信側の多機能テレビ10Tから動画データをすべて受信し、これを画像情報蓄積部206に記憶した後に再生が開始されるようになっているが、この場合、動画データの受信が完了しない間は、動画データの再生ができないことになる。これに対して、動画データの再生を送信側の多機能テレビ10Tで行うとともに、再生された動画情報をストリームデータとして受信側の多機能テレビ10Tに送信する方法としてもよい。このような方法によれば、動画データの送受信に必要とされる時間を待機する必要をなくすことができる。
また、このような方法によれば、送信側の多機能テレビ10Tにおける再生タイミングと受信側の多機能テレビ10Tにおける再生タイミングとがほとんど同じになるので、送信側と受信側とにおける動画再生タイミングと目印情報との表示タイミングのずれはそれほど大きな問題にはならない。
しかしながら、ネットワークの混雑などによって、受信側の多機能テレビ10Tにおける動画データの再生品位が低下することも考えられる。このような問題に対しては、上記した第2の動画共有方法のように、送信側の多機能テレビ10Tが有している動画データを前もって受信側の多機能テレビ10Tに送信しておく方法が好ましいことになる。
また、上記のストリーミング再生を行う方法において、ネットワークの混雑などによって、受信側の多機能テレビ10Tにおいてストリーミング再生を行う際のバッファ量が多くなっている場合には、送信側と受信側とにおける動画再生タイミングと目印情報との表示タイミングのずれが大きくなることが考えられる。これに対応するためには、次のような目印送信方法を行ってもよい。
第1の目印送信方法としては、目印情報を逐次送信モードによって送信する方法において、送信側の多機能テレビ10Tが、送信する動画データの各パケットのヘッダに、目印情報を含めて送信する方法が挙げられる。この方法によれば、受信側の多機能テレビ10Tにおいて、受信したストリーミング動画データのパケットのヘッダに含まれる目印情報を、該パケットに含まれるデータの表示タイミングに同期して表示することによって、動画再生タイミングと目印情報との表示タイミングのずれをなくすことができる。例えば、映像や音声の伝送プロトコルであるRTP(Real-time Transport Protocol)では、RTPパケットのヘッダの先頭から4バイト目は拡張ビット(extension bit)になっており、拡張ビットを立てることにより、ヘッダを拡張することができる。この拡張したヘッダ領域を利用して、目印の座標位置を送信することができる。
第2の目印送信方法としては、送信側の多機能テレビ10Tから送信される目印情報に、対応する動画データのどのタイミングで、該目印情報に含まれる各目印を表示すべきかの情報を含める方法が挙げられる。なお、この方法は、上記第1の動画共有方法に対しても適用可能である。上記第1の動画共有方法では、送信側と受信側とで、ネットワーク上の動画データを取得して再生するようになっているが、ここでもストリーミング再生が行われることが考えられる。この場合にも、送信側の多機能テレビ10Tから送信される目印情報に、対応する動画データのどのタイミングで、該目印情報に含まれる各目印を表示すべきかの情報を含めることによって、動画再生タイミングと目印情報との表示タイミングのずれをなくすことができる。
第3の方法としては、受信側の多機能テレビ10Tにおいて、送信側から最初に指示された目印情報で示されている対象物を画像認識し、その後は、画像認識結果に基づいて目印を追従させる、という方法が挙げられる。この受信側の多機能テレビ10Tの処理を、図41を用いて説明する。なお、以下の処理に先立って、送信側の多機能テレビ10Tと受信側の多機能テレビ10Tとの間で、テレビ電話機能または音声電話機能によって通信が確立している状態であるものとする。また、送信側および受信側の多機能テレビ10Tにおいて、動画データなどのコンテンツの共有がなされているものとする。
S2121では、共有がなされているコンテンツが表示部4の画面に表示される。そして、S2122において、送信側の多機能テレビ10Tから送信された目印情報が通信部7を介して受信されると、この目印情報が通信制御部13から目印情報移動制御部14に伝送される。そして、目印情報移動制御部14は、受信した目印情報に基づいて、表示制御部12に対して目印の表示指示を行い、これによって表示部4に目印が表示される(S2123)。そして、目印情報の表示位置と表示位置近辺のパターンとを一時的に記憶する。記憶するパターンは、画像認識によって人や自動車などを識別してもよいし、単なるカラーパターンの記憶であってもよい。
S2125で一定時間(例えば1秒間)経過した後、S2124で記憶した表示位置近辺で、同じくS2124で記憶したパターンと類似のパターンが見つかるかを調べる(S2126)。すなわち、S2124で記憶した表示位置から一定距離内で、S2124で記憶したパターンを同一、または一定範囲での大きさの変化、あるいは、一定範囲での回転や変形が施されたとみなしうるパターンが見つかるかどうかを調べる。
類似のパターンが見つかればS2127に進み、見つかった類似のパターンの位置に目印を移動して表示し、さらにS2124の処理に戻る。類似のパターンが見つからなければS2128に進み、目印を消去して処理を終了する。
(目印移動制御例)
上記のように、共有コンテンツとして動画データを用いる場合、動画に追随して目印情報を移動させることが重要になる。例えば、図34(a)〜図34(e)、または、図43(a)〜図43(e)に示すように、運動会の動画を送信側および受信側の多機能テレビ10Tにおいて再生し、その動画に映っている人物に対して目印をつけて相手に指し示す場合、動画の再生に合わせて人物が動くため、人物の動きに合わせて目印も移動させなければならない。このような目印移動の技術として、既に説明した逐次送信モードが利用できる。なお、図34(a)〜図34(e)では目印情報の態様として○印を使用しており、図43(a)〜図43(e)では目印情報の態様として吹き出しを使用し、補足情報として「花子ちゃん」という文字が吹き出しの中に表示されている。
すなわち、図32(a)または図33(a)にて説明したように、送信側の多機能テレビ10Tで動画データの再生を開始した後、動画に映っている人物に対して目印をつけ、目印情報を受信側の多機能テレビ10Tに送信する。表示画面上の人物が移動した場合には、送信側の多機能テレビ10Tで動画に映っている人物に対する目印をつけ直し、目印の移動に関する情報を受信側の多機能テレビ10Tに送信する。
一方、図32(b)または図33(b)にて説明したように、受信側の多機能テレビ10Tでは動画の再生を開始した後、目印情報を受信するたびに、表示画面上の目印を移動させて表示する。送信側の多機能テレビ10Tでの動画情報の再生開始のタイミングと受信側の多機能テレビ10Tでの動画情報の再生開始のタイミングとが一致しているため、受信側の多機能テレビ10Tで対象となる人物と目印がずれることはない。
(目印消去制御例)
上記のように、共有コンテンツとして動画データを用いる場合、目印情報を消すということが重要になる。例えば、運動会の動画を送信側および受信側の多機能テレビ10Tにおいて再生し、その動画に映っている人物に対して目印をつけて相手に指し示す場合、対象となる人物が表示画面上から消えてしまった後に目印の表示が残ると、対象となる人物を相手が知る際に混乱してしまうことが考えられる。このような事態にならないためには、必要でなくなった目印は消去するべきである。
送信側の多機能テレビ10Tにて表示画面から目印を消去するには2つの方法が考えられる。1つの目印消去方法は、特定のキー入力操作子に目印の消去を対応づける方法である。利用者が当該キー入力操作子を操作すると、送信側の多機能テレビ10Tにて表示画面から目印が消える。もう1つの目印消去方法は、目印の表示に関連するキー入力操作子の操作が一定時間なされない場合に目印の消去を行う方法である。利用者が一定時間目印の表示に関係する操作を行わないと、送信側の多機能テレビ10Tにて表示画面から目印が消える。なお、消去の指示を可能とする方法として、入力部5に消去指示に対応するキーを設けてもよいし、何らかのキーを押すことによってメニューが表示され、このメニューの中に含まれる消去指示が選択されるようになっていてもよい。
いずれの場合にも、送信側の多機能テレビ10Tにて表示画面から目印が消えると、送信側の多機能テレビ10Tから目印の消去命令が受信側の多機能テレビ10Tに対して送られる。受信側の多機能テレビ10Tでは、目印の消去命令を受信すると、表示画面から目印を消去する。
ここで、上記の目印消去方法における、送信側の多機能テレビ10Tおよび受信側の多機能テレビ10Tにおける処理の流れについて、図35(a)および図35(b)を参照しながら以下に説明する。同図(a)は、送信側の多機能テレビ10Tにおける処理の流れ、同図(b)は、受信側の多機能テレビ10Tにおける処理の流れを示している。
まず、送信側の多機能テレビ10Tにおける処理について、図35(a)を参照しながら説明する。なお、以下の処理に先立って、送信側の多機能テレビ10Tと受信側の多機能テレビ10Tとの間で、テレビ電話機能または音声電話機能によって通信が確立している状態であるものとする。また、送信側および受信側の多機能テレビ10Tにおいて、動画データなどのコンテンツの共有がなされているものとする。
S2081では、共有がなされているコンテンツが表示部4の画面に表示される。その後、表示部4に目印が表示され、入力部4からの入力動作に応じて、目印情報移動制御部14によって、前記したような目印の位置指定動作、種類指定動作、形状指定動作などが行われる。そして、これらの動作に基づいて、目印情報作成部11によって目印情報が生成される(S2082)。なお、目印情報の生成の方法は、前記した実施の形態で示した方法と同様であるので、ここではその説明を省略する。
次にS2083において、目印情報作成部11によって作成された目印情報が、通信制御部13の制御に基づいて通信部7から受信側の多機能テレビ10Tに送信される。これにより、受信側の多機能テレビ10Tは、受信した目印情報に基づいてポインティング動作を行うことが可能となる。
次にS2084において、目印情報移動制御部204が、入力部5によるキー入力によって目印の消去が指示されたか否かを判定する。S2084においてNO、すなわち、目印の消去が指示されていない場合には、S2085において、目印情報移動制御部204によって、目印の表示に関係するキー入力が一定時間なされていないかが判定される。S2085においてNO、すなわち、一定時間内に目印の表示に関係するキー入力がなされた場合には、S2082からの処理に戻る。
一方、S2085においてYES、すなわち、目印の表示に関係するキー入力が一定時間なされていない場合には、S2086において、通信制御部13によって、通信部7を介して受信側の多機能テレビ10Tに対して目印の消去命令が送信される。また、S2087において、表示制御部13によって、表示部4に表示されている目印の消去が行われる。なお、図示していないが、S2087における目印の消去後に再び入力操作情報を待ち、入力操作情報によって目印の表示が指示されたらS2082へ戻る構成であってもよい。
次に、受信側の多機能テレビ10Tにおける処理について、図35(b)を参照しながら説明する。なお、上記した送信側の処理と同様に、以下の処理に先立って、送信側の多機能テレビ10Tと受信側の多機能テレビ10Tとの間で、テレビ電話機能または音声電話機能によって通信が確立している状態であるものとする。また、送信側および受信側の多機能テレビ10Tにおいて、動画データなどのコンテンツの共有がなされているものとする。
S2088では、共有がなされているコンテンツが表示部4の画面に表示される。そして、S2089において、送信側の多機能テレビ10Tから送信された目印情報が通信部7を介して受信されると、この目印情報が通信制御部13から目印情報移動制御部14に伝送される。そして、目印情報移動制御部14は、受信した目印情報に基づいて、表示制御部12に対して目印の表示指示を行い、これによって表示部4に目印が表示される(S2090)。
次にS2091において、送信側の多機能テレビ10Tから目印の消去命令が通信部7を介して受信されたか否かが通信制御部13によって判定される。S2091においてNO、すなわち、目印の消去命令が受信されていない場合には、S2089およびS2090における処理が繰り返される。
一方、S2091においてYES、すなわち、目印の消去命令が受信された場合には、S2092において、表示制御部13によって、表示部4に表示されている目印の消去が行われる。なお、図示していないが、S2092における目印の消去後にS2089へ戻って再び目印情報の受信を待ち、目印情報を受信したら再度目印を表示する構成であってもよい。
(目印消去制御例その2)
上記の目印消去制御例の変形例として、目印の消去命令を通信せずに、送信側の多機能テレビ10Tと受信側の多機能テレビ10Tとの双方で表示画面から目印を消去する方法について説明する。
送信側の多機能テレビ10Tでは、先に説明したように、目印の表示に関連するキー入力操作子の操作が一定時間なされない場合に目印の消去を行う方法を用いて目印を消去するが、受信側の多機能テレビ10Tへの目印の消去命令の送信は行わない。その代わりに、受信側の多機能テレビ10Tでは、送信側の多機能テレビ10Tから目印の表示に関連する通信が一定時間なされない場合に目印の消去を行う。送信側の多機能テレビ10Tから一定時間、目印の移動その他の目印の表示に関連する通信を受信しないと、受信側の多機能テレビ10Tにて表示画面から目印が消える。
送信側の多機能テレビ10Tにおいて目印を消去するか否かを判定するためのキー入力操作子の操作がなされないことを検出する一定時間と、受信側の多機能テレビ10Tにおいて目印を消去するか否かを判定するための表示に関連する通信を受信しないことを検出する一定時間とが同じ間隔であれば、送信側の多機能テレビ10Tにおいて目印が消去されるのとほぼ同時に、受信側の多機能テレビ10Tにおいて目印が消去される。
図36(a)は、この目印消去制御例における、送信側の多機能テレビ10Tにおける処理の流れ、図36(b)は、受信側の多機能テレビ10Tにおける処理の流れを示している。
まず、送信側の多機能テレビ10Tにおける処理の流れについて説明する。図36(a)において、S2101〜S2105の処理は、前記した図35(a)におけるS2081〜S2083、S2085、およびS2087の処理と同様である。すなわち、図36(a)による処理は、S35(a)のS2084における目印の消去指示検出処理、および、S2086における目印の消去命令の送信処理がないものとなっている点のみ異なり、その他の処理は同様となっている。なお、図示していないが、S2105における目印の消去後に再び入力操作情報を待ち、入力操作情報によって目印の表示が指示されたらS2102へ戻る構成であってもよい。
次に、受信側の多機能テレビ10Tにおける処理の流れについて説明する。図36(b)において、S2106〜S2108、およびS2110における処理は、前記した図35(b)におけるS2088〜S2090、およびS2092における処理と同様である。図36(b)による処理では、図35(b)におけるS2091における目印の消去命令の受信確認処理の代わりに、S2109において、送信側の多機能テレビ10Tから目印情報を一定時間受信していないか否かの判断が通信制御部13によって行われる。S2109においてNO、すなわち、一定時間内に目印情報の受信が行われている場合には、S2107からの処理に戻る。一方、S2109においてYES、すなわち、目印情報の受信が一定時間なされていない場合には、S2110の処理に移行する。なお、図示していないが、S2110における目印の消去後にS2107へ戻って再び目印情報の受信を待ち、目印情報を受信したら再度目印を表示する構成であってもよい。
(目印の表示処理の他の例)
次に、目印の表示処理の他の例について説明する。目印の座標情報を単一に利用するだけでなく、目印の座標情報の組を利用して移動の軌跡を相手の情報通信端末に送る形態も考えられる。例えば、送信側の多機能テレビ10Tと受信側の多機能テレビ10Tとで共有する表示コンテンツが地図であり、送信側の多機能テレビ10Tの利用者が、受信側の多機能テレビ10Tの利用者に対して、道案内をすることが考えられる。このような道案内をする際には、目印の移動の軌跡を相手側に認識させることが重要となる。なお、本実施形態では、送信側および受信側ともに、情報通信端末として多機能テレビ10Tを用いた例を示しているが、道案内を行う例としては、送信側および/または受信側の情報通信端末が携帯型電話機10であってもよく、情報通信端末の形態は特に限定されるものではない。
(折れ線矢印による表示態様例)
図37は、目印の移動の軌跡を折れ線矢印の形式で表示させた表示画面例を示している。同図に示すように、折れ線矢印は、地図上において、開始点A、中継点BおよびC、到達点Dを順に直線でつなぐとともに、到達点Dに矢印が示された図形となっている。このような折れ線矢印が受信側の多機能テレビ10Tにおいて表示されれば、受信側の利用者は、どのような経路をたどって目的地まで行けばよいかを明確に把握することができる。
このような折れ線矢印からなる目印を送受信するには、次のようにすればよい。送信側の多機能テレビ10Tでは、次のような処理が行われる。まず、目印の種類および形状が、折れ線矢印となるように設定される。その後、開始点、中継点、および到達点の位置指定が行われるとともに、指定された位置がバッファに格納される。利用者によって到達点まで位置指定が行われ、確定指示が行われると、バッファに格納された入力操作情報が受信側の多機能テレビ10Tに送信される。
なお、これらの処理の詳細については、基本的には前記した実施の形態と同様である。異なる点としては、入力操作情報に含まれる目印の位置情報は、開始点、中継点、および到達点についての位置情報であり、絶対位置指定や相対位置指定の途中の位置については含まれない点である。
一方、受信側の多機能テレビ10Tでは、入力操作情報を受信すると、まず折れ線矢印であることが認識される。そして、開始点、中継点、および到達点の位置情報を認識することによって、折れ線矢印が表示される。
なお、上記の処理では、開始点、中継点、および到達点の位置指定は、一旦バッファに格納され、確定した時点で入力操作情報が送信側の多機能テレビ10Tから受信側の多機能テレビ10Tに送信されるようになっている。これに対して、前記した逐次送信モードによって入力操作情報が送信されるようになっていてもよい。この場合、最初に折れ線矢印であることが送信側の多機能テレビ10Tから受信側の多機能テレビ10Tへ伝えられ、受信側の多機能テレビ10Tは、入力操作情報が逐次送られてくると、折れ線矢印を受信した順に延ばしていくようにすることによって実現することができる。
(逐次送信モードによる表示態様例)
上記のように目印の表示態様を折れ線矢印に設定すれば道案内は簡単にできるが、図6(c)に示したように事前に適用目印の表示態様の候補をとりきめておき、適用目印の表示態様の候補を1つ選択し所望の座標に表示するといった単純なやり方では、折れ線矢印の目印情報を通信することはできない。そこで、図38に示すように、逐次送信モードを用いて、目印を順に移動して道案内を行うようにしてもよい。
図38に示す例について説明する。まず、送信側の多機能テレビ10Tにおいて、開始点として座標(100,400)が指定されると、これが逐次送信モードによって受信側の多機能テレビ10Tに送信され、該当位置に目印が表示される。その後、中継点として座標(100,300)、(300,300)、(500,300)が、到達点として座標(500,150)が送信側の多機能テレビ10Tにおいて順に指定され、これが逐次送信モードによって受信側の多機能テレビ10Tに送信され、該当位置に目印が順に表示される。
以上のような処理が行われれば、受信側の多機能テレビ10Tでは目印がアニメーション的に移動することになるので、道案内が実現される。また、前記した実施の形態における逐次送信モードを用いればよいだけなので、実装も簡単である。
(軌跡情報送信による表示態様例)
上記の逐次送信モードによる表示態様例の場合、目印が移動するたびに入力操作情報が送信側の多機能テレビ10Tから受信側の多機能テレビ10Tへ送信されることになる。すなわち、目印の移動のたびに通信処理が発生してしまうという問題がある。そこで、目印の移動のたびに通信処理が発生しない実施例として、目印の座標情報の組を利用して、移動の軌跡を軌跡情報としてまとめて送信側の多機能テレビ10Tから受信側の多機能テレビ10Tへ送る方法について説明する。図39は、軌跡情報を送受信する際の送信側の多機能テレビ10Tおよび受信側の多機能テレビ10Tにおける表示例を示している。
入力操作情報の送信モードとしては、確定情報送信モードを用いるものとする。まず、送信側の多機能テレビ10Tにおいて、開始点として座標(100,400)が指定される。この時点では、この位置情報は受信側に送信されず、送信側の多機能テレビ10Tにおけるバッファに蓄えられることになる。その後、中継点として座標(100,300)、(300,300)、(500,300)が、到達点として座標(500,150)が送信側の多機能テレビ10Tにおいて順に指定され、この情報がバッファに蓄えられる。
そして、これらの開始点、中継点、および到達点が確定されると、これらの点の位置情報がバッファから読み出され、軌跡情報が目印情報作成部11によって生成される。そして、この軌跡情報を含む入力操作情報が送信側の多機能テレビ10Tから受信側の多機能テレビ10Tへ向けて送信される。受信側の多機能テレビ10Tは、軌跡情報を含む入力操作情報を受信すると、開始点から到達点までを順に所定の時間間隔(例えば1秒)で目印を移動させて表示する。この受信側の多機能テレビ10Tの処理を、図42を用いて説明する。なお、以下の処理に先立って、送信側の多機能テレビ10Tと受信側の多機能テレビ10Tとの間で、テレビ電話機能または音声電話機能によって通信が確立している状態であるものとする。また、送信側および受信側の多機能テレビ10Tにおいて、動画データなどのコンテンツの共有がなされているものとする。
S2131では、共有がなされているコンテンツが表示部4の画面に表示される。そして、S2132において、送信側の多機能テレビ10Tから送信された軌跡情報を含む入力操作情報が通信部7を介して受信されると、この軌跡情報を含む入力操作情報が通信制御部13から目印情報移動制御部14に伝送される。そして、目印情報移動制御部14は、受信した軌跡情報から最初の座標の目印情報を読み出し(S2133)、表示制御部12に対して目印の表示指示を行い、これによって表示部4に目印が表示される(S2134)。そして、目印情報の表示位置と表示位置近辺のパターンとを一時的に記憶する。表示した目印情報が軌跡情報に含まれる最後の座標の目印情報である場合には、処理を終了する(S2135)。
表示した目印情報が軌跡情報に含まれる最後の座標の目印情報でない場合には、S2136で一定時間(例えば1秒間)経過した後、受信した軌跡情報から次の座標の目印情報を読み出し(S2137)、表示制御部12に対して目印を移動して表示するように表示指示を行い、これによって表示部4に目印が表示される(S2138)。その後、S2135に戻り、表示した目印情報が軌跡情報に含まれる最後の座標の目印情報かどうかを判別する。
S2138における表示制御部12に対して目印を移動して表示する表示指示は、既に表示している目印を消去して新しい座標位置に目印を表示することであるが、既に表示している目印を消去せずに新しい座標位置に目印を表示してもかまわない。また、目印の態様は、受信した軌跡情報を含む入力操作情報に含まれる目印の態様に従って変更してもよいし、受信側の多機能テレビ10Tにあらかじめ固定的に設定された方法で目印の態様に従って変更してもよいし、直前に目印を表示した座標位置からの移動方向や移動距離に応じて目印の態様を変更してもよいし、もちろん目印の態様を変更しなくてもよい。なお、直前に目印を表示した座標位置からの移動方向や移動距離に応じて目印の態様を変更する実施例については、詳細に後述する。
以上のような処理が行われれば、受信側の多機能テレビ10Tでは目印がアニメーション的に移動することになるので、道案内が実現される。また、入力操作情報の送受信は、開始点から到達点までが確定した後に行われることになるので、通信処理の回数を低く抑えることが可能となる。
(目印の表示態様の他の例)
図40(a)〜図40(e)は、目印を移動させて表示させる際に、目印の表示態様を変更する場合の表示画面例を示している。この例では、目印の表示態様を、目印の移動方向および移動距離に応じて変更するようになっており、一例として、目印の表示態様として擬人化キャラクタを用いている。
受信側の多機能テレビ10Tは、送信側の多機能テレビ10Tから軌跡情報を含む入力操作情報を受信する。そして、受信側の多機能テレビ10Tにおいて、目印情報移動制御部14は、表示制御部12に対して、受信した軌跡情報に従い、図40(a)に示すとおり、まず最初の座標情報に目印を表示するように指示を行う。このとき、目印の表示態様として、擬人化キャラクタが立ち止っている絵を用いる。以下、目印の移動表示は、目印情報移動制御部14による表示制御部12に対する指示によって行われる。次に、図40(b)では、図40(a)の座標位置に対して上方向に短距離移動した座標に目印を表示する。このとき、目印の表示態様として、擬人化キャラクタが上方向に向かって歩いている絵を用いる。これは、移動方向が上方向であるため上方向に向かっている絵を選択し、移動距離が短距離なので歩いている絵を選択している。
次に、図40(c)では、図40(b)の座標位置に対して右方向に長距離移動した座標に目印を表示する。このとき、目印の表示態様として、擬人化キャラクタが右方向に向かって走っている絵を用いる。これは、移動方向が右方向であるため右方向に向かっている絵を選択し、移動距離が長距離なので走っている絵を選択している。以下、図40(d)、図40(e)でも、目印軌跡情報に応じて、直前の座標からの移動方向と移動距離に応じて、目印の表示態様としての擬人化キャラクタの絵を選択する。これにより、道案内のための目印の移動が、より利用者にわかりやすく表示される。
なお、本発明の目的は、上述した実施形態1・2・3における携帯型電話機10または通信機能を搭載した多機能テレビ10Tによって達成する以外にも、制御部1が備えている各機能ブロックを実現するソフトウェアである端末制御プログラムとしても達成可能である。
また、本発明の目的は、上述した機能を実現するソフトウェアであるプログラムのプログラムコードをコンピュータで読み取り可能に記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPU,MPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても達成可能である。この場合、記録媒体から読み出されたプログラムコード自体が上述した機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成する。
なお、上記記録媒体は、磁気テープやカセットテープ、フロッピー(登録商標)ディスク、ハードディスク等の磁気ディスクや、CD−ROM/MO/MD/DVD/CD−R等の光ディスク、ICカード(メモリカードを含む)、あるいはマスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ等を用いることができる。
なお、上記各実施形態の携帯型電話機10または多機能テレビ10Tでは、絶対位置指定モードにおいて目印の種類と形状を、相対位置指定モードにおいて目印のサイズを変更するようにしているが、本発明はこれに限定されるものではない。例えば、どちらのモードでも、目印の種類と形状とサイズを変更するようにしてもよいし、目印の線種や色も変更できるようにしてもよい。さらに、各操作にダイヤルボタン以外のボタンを使用してもよい。
また、上記各実施形態では、絶対位置指定モード、相対位置指定モード、確定、または座標指定前や座標指定中であることを示すために、目印の線種や濃度等の表示態様を変化させているが、本発明はこれに限定されるものではなく、目印の色や、種類や、形状や、サイズを変化させてもよい。
また、上記各実施形態では、本発明を携帯型電話機または多機能テレビ10Tに適用した場合について説明したが、本発明は特にこれらに限定されるものではなく、例えば、ディスプレイ付きの電話機や、ディスプレイ付きのFAX、ディスプレイ付きのコードレス子機等にも適用可能である。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
また、本発明は、複数のネットワーク情報通信端末において、自入力の入力操作により発生する、ポインティング表示と連動させた表示を、他の情報通信端末に行わせしめる情報を通信する情報通信端末であって、表示画面上の領域を、キーの配置位置と同じに対応させ、キーを押下することで表示領域を指定する手段と、指定した領域の位置を示す、目印を表示する手段と、他の情報通信端末に、上記指定された表示領域を指定する領域指定情報、または目印情報を構成する要素のうち、少なくともひとつの送信情報を送信する手段を有することを特徴とする情報通信端末であってもよい。
また、本発明は、表示画面上の領域を、少なくとも一つ以上に分割指定できる機能を有する情報通信端末であって、受信された領域を指定する情報、または領域を示す目印に関する情報の、少なくともにいずれかに基づいて、上記領域の位置を示す目印を、上記領域内に表示することを特徴とする情報通信端末と表現することもできる。
本発明は、複数のネットワーク情報通信端末において、自入力の入力操作により発生する、ポインティング表示と連動させた表示を、他の情報通信端末に行わせしめる情報を通信する情報通信端末を制御するコンピュータに実行させるプログラムを記憶した記憶媒体であって、表示画面上の領域を、キーの配置位置と同じに対応させ、キーを押下することで表示領域を指定する機能と、指定した領域の位置を示す、目印を表示する機能と、他の情報通信端末に、上記指定された表示領域を指定する領域指定情報、または目印情報を構成する要素のうち、少なくともひとつの送信情報を送信することを特徴とするコンピュータに実行させる端末制御プログラムを記録した記録媒体であってもよい。
また、本発明は、表示画面上の領域を、少なくとも一つ以上に分割指定できる機能を有する情報通信端末を制御するコンピュータに実行させるプログラムを記憶した記憶媒体であって、受信された領域を指定する情報、または領域を示す目印に関する情報の、少なくともにいずれかに基づいて、上記領域の位置を示す目印を、上記領域内に表示することを特徴とするコンピュータに実行させる端末制御プログラムを記憶した記憶媒体であってもよい。