JP6361764B2 - 端末装置、端末制御方法及びプログラム - Google Patents

Description

本発明は、端末装置、端末制御方法及びプログラムに関する。

従来、外部機器としての表示装置に対する操作デバイスとして使用可能な携帯端末装置としては、携帯電話機を外部表示装置に対するポインティングデバイス（マウス）として使用できるようにした技術が存在している（特許文献１〜４参照）。また、上述の特許文献１や特許文献４の技術では、携帯端末を構成する筐体の表面側、つまり、キー操作部及び表示部が配設されている表面側の反対側である背面側にマウス検出部（筐体移動検出用の発光部や受光部）を設け、そのマウス検出部を机面などの平面に向けて筐体を平面上で移動させる移動操作に応答してその移動信号を生成するようにしているが、筐体の背面側を掌で挟持しながら操作すると、表面側のキー操作部や表示部に手が触れることになり、表示面に手の脂を付けてしまったり、誤ったキー操作をしてしまったりする可能性があった。
そこで、上述した特許文献２や特許文献３の技術にあっては、マウスとして使用する際に、キー操作部や表示部に手が触れないようにするために、筐体を折り畳み形状とするようにしている。

特開２００７‐１２３９６２号公報 特開２００８‐２６３４５４号公報 特開２００７‐１５０６９５号公報 特開２０１０‐１６５２８９号公報

しかしながら、上述の特許文献２や特許文献３の技術にあっては、筐体を折り畳み形状にすることを条件にしているため、最近の主流であるスマートフォンタイプ、すなわち、筐体の表面側全体をタッチパネル付きのタッチ表示部とし、その背面側には特に主要なデバイスを設けないようにしたスタイルでは、その技術を採用することはできない。更に、上述した各先行技術にあっては、携帯電話機を外部表示装置に対するポインティングデバイス（マウス）として使用する場合に限られてしまうため、汎用性という点でも問題が残る。

本発明の課題は、外部機器に対する操作デバイスとして利用する場合に、使い勝手良く利用できるようにすることである。

本発明に係る端末装置は、所定の外部機器と近距離無線通信が可能な端末装置であって、外部機器との近距離無線通信を指示する特定操作を検出した際は、当該端末装置に送信対象となる表示情報が存在するか否かを判別し、存在すれば当該端末装置を前記外部機器とペアリングするモードへ移行させると共に、前記表示情報を前記外部機器へ送信するよう制御する第１制御手段と、前記モードへの移行後にあって前記特定操作を検出した際は、前記表示情報の内容を元にした所定処理を実行し、その処理結果で更新された新たな表示情報を前記外部機器へ送信するよう制御する第２制御手段と、を具備したことを特徴とする。
また、本発明に係る端末制御方法は、近隣の外部機器との間で近距離無線通信を行う端末装置における端末制御方法であって、外部機器との近距離無線通信を指示する特定操作を検出した際は、当該端末装置に送信対象となる表示情報が存在するか否かを判別し、存在すれば当該端末装置を前記外部機器とペアリングするモードへ移行させると共に、前記表示情報を前記外部機器へ送信するよう制御する第１制御ステップと、前記モードへの移行後にあって前記特定操作を検出した際は、前記表示情報の内容を元にした所定処理を実行し、その処理結果で更新された新たな表示情報を前記外部機器へ送信するよう制御する第２制御ステップと、を有したことを特徴とする。
また、本発明に係るプログラムは、端末装置のコンピュータを制御するためのプログラムであって、前記コンピュータを、外部機器との近距離無線通信を指示する特定操作を検出した際は、当該端末装置に送信対象となる表示情報が存在するか否かを判別し、存在すれば当該端末装置を前記外部機器とペアリングするモードへ移行させると共に、前記表示情報を前記外部機器へ送信するよう制御する第１制御手段、前記モードへの移行後にあって前記特定操作を検出した際は、前記表示情報の内容を元にした所定処理を実行し、その処理結果で更新された新たな表示情報を前記外部機器へ送信するよう制御する第２制御手段、として機能させることを特徴とする。

本発明の課題は、外部機器に対する操作デバイスとして利用する場合に、使い勝手良く利用できるようにすることである。

携帯電話機１００との間で近距離通信が可能な外部機器としての各種の表示装置２００を示した図。 携帯電話機１００を表示装置２００に対するポインティングデバイス（マウス）として使用している場合の様子を示した図。 携帯電話機１００を表示装置２００に対するタッチ入力デバイスとして使用している場合の様子を示した図。 携帯電話機１００の基本的な構成要素を示したブロック図。 表示位置管理テーブルＤＴを説明するための図。 表示装置２００（テレビ受信機２００Ａ）の基本的な構成要素を示したブロック図。 携帯電話機１００の概略外観図で、（１）は、携帯電話機１００を表面の方向から見た図、（２）は、背面の方向から見た図。 （１）、（２）は、携帯電話機１００の一側面の方向から見た概略外観図で、（２）は、更に、携帯電話機１００を表示装置２００に対する操作デバイス（マウス）として機能している状態での一部拡大概略断面図を含めた図。 モニタリンク・ボタン操作（ペアリング操作）により実行開始される携帯電話機１００の動作を示したフローチャート。 図９に続く動作を示したフローチャート。 図９に続く動作を示したフローチャート。 表示装置２００の動作として、携帯電話機１００からモニタ探索信号を受信したときに実行開始される割込処理を示したフローチャート。 携帯電話機１００を表示装置２００のポインティングデバイス（マウス）として利用する場合において、携帯電話機１００側の画面と表示装置２００側の画面とがリンクしている状態の表示例を示した図。 携帯電話機１００を表示装置２００のタッチ入力デバイスとして利用する場合において、携帯電話機１００側の画面と表示装置２００側の画面とがリンクしている状態の他の表示例を示した図。

以下、本発明の実施の形態について、図１〜図１４を参照して詳細に説明する。
本実施形態は、携帯端末装置として携帯電話機に適用したもので、図１は、携帯電話機１との間で近距離通信が可能な外部機器としての各種の表示装置２００を示した図である。
携帯電話機１００は、音声通話機能、電子メール機能、インターネット接続機能（Ｗｅｂアクセス機能）、近距離通信機能、タッチ表示機能などを備え、外部機器（表示部を備えた電子機器）としての表示装置２００との間でデータ通信が可能となっている。表示装置２００は、家庭内に設置された各種の電子機器で、例えば、テレビ受信機２００Ａ、プロジェクタ２００Ｂ、デジタルフォトフレーム２００Ｃ、パーソナルコンピュータ（ＰＣ）２００Ｄ、車載端末２００Ｅなどであり、携帯電話機１００と表示装置２００とは、近距離通信、例えば、ブルートゥース（Bluetooth：登録商標）を介して直接的に通信接続されるようになっている。

ここで、携帯電話機１００と表示装置２００とが近距離通信により接続されるのは、表示装置２００に対する操作デバイスとして自身を機能させる場合で、表示装置２００に対するポインティングデバイス（マウス）として自身を機能させたり、表示装置２００に対するタッチ入力デバイスとして自身を機能させたりする。図２は、携帯電話機１００を表示装置２００（図示の例ではテレビ受信機２００Ａ）に対するポインティングデバイス（マウス）として使用している場合、図３は、携帯電話機１００を表示装置２００に対するタッチ入力デバイスとして使用している場合の様子を示した図で、指の置き方や押さえ方、操作の仕方などは、図示の例に限らず、任意である。

携帯電話機１００は、処理対象のオブジェクトに対してアクセス操作が行われた際に、つまり、携帯電話機１００と表示装置２００とを近距離通信を介してリンクさせるために後述するモニタリンク・ボタンが操作された際に、携帯電話機１００の近隣（例えば、半径５ｍ以内）に通信接続（近距離通信）が可能な表示装置２００が存在しているか否かを探索し、近隣に表示装置２００が存在していれば、その表示装置２００を当該携帯電話機１００の出力モニタとして特定するようにしている。

このように表示装置２００を携帯電話機１００に対する出力モニタとし、また、携帯電話機１００をその出力モニタに対する操作デバイスとして、携帯電話機１００と表示装置２００とをリンクさせることを希望する場合に、上述のモニタリンク・ボタンを操作するようにしている。ここで、処理対象のオブジェクトとは、携帯電話機１００側で保持されているアイコン、ファイル、画像データ、テキストデータなどである。そして、携帯電話機１００は、処理対象のオブジェクトに対してアクセス操作が行われた際（モニタリンク・ボタンが操作された際）に、そのオブジェクト又はその処理結果を、出力モニタとして特定した表示装置２００に表示させるための制御を行うようにしている。

すなわち、上述の処理対象のオブジェクト、つまり、携帯電話機１００側でアクセス可能なオブジェクト（携帯電話機１００側が保持するオブジェクト）を端末オブジェクトと称し、出力モニタとして特定した表示装置２００に表示させる当該オブジェクト又はその処理結果を、モニタリンク・オブジェクトと称すると、携帯電話機１００は、端末オブジェクトへのアクセス操作に応じて表示装置２００にモニタリンク・オブジェクトを表示させるための制御を行うようにしている。例えば、端末オブジェクトがアイコンであれば、その端末オブジェクト（アイコン）をモニタリンク・オブジェクトとして表示装置２００に表示させるために、その表示装置２００に近距離通信を介して送信する直接通信を行うようにしている。

このようにして携帯電話機１００は、出力モニタとして特定した表示装置２００にモニタリンク・オブジェクトを表示させる制御を行った後、表示装置２００に対して携帯電話機１００を操作デバイスとして機能させる場合に、携帯電話機１００の現在のスタイルを判別し、そのスタイルに応じてデバイスの種類を選択すると共に、選択したデバイス種に応じた種類の操作信号を、出力モニタとして特定した表示装置２００に近距離通信を介して送信するようにしている。

すなわち、デバイス種としてポインティングデバイス（マウス）を選択した場合には、携帯電話機１００の移動操作に応じて表示装置２００上のカーソルを移動表示させたり、モニタリンク・ボタンの押下操作に応じて、表示装置２００上のモニタリンク・オブジェクトに関する処理、つまり、そのモニタリンク・オブジェクト対応の端末オブジェクトに対する処理（後述する）を実行したりする。また、デバイス種としてタッチ入力デバイスを選択した場合には、タッチ表示機能によりソフトキー（タッチキー）に対するキー操作を検出したり、タッチアクション操作を検出したりする。ここで、タッチアクション操作とは、タップ操作、ダブルタップ操作のほか、ホールド（保持）操作、ピッチイン・ピッチアウト（拡大縮小）操作、フリック（払い＝スクロール）操作、ドラッグ（移動）操作などであり、そのタッチ操作信号に応じて表示画面上のオブジェクトを制御したり、表示装置２００上のモニタリンク・オブジェクトを制御したりする。

図４は、携帯電話機１００の基本的な構成要素を示したブロック図である。
携帯電話機１００は、音声通話機能、電子メール機能、インターネット接続機能（Ｗｅｂアクセス機能）、近距離通信機能などを備え、ＣＰＵ１０１を中核とし、電源部１０２、記憶部１０３、メモリ１０４、無線通信部１０５、音声信号処理部１０６、操作部１０７、タッチ表示部１０８、マウスセンサ１０９、近距離通信部１１０、筐体向き検出部１１１、引出検出部１１２を有する構成となっている。

ＣＰＵ１０１は、二次電池（図示省略）を備えた電源部１０２からの電力供給によって動作し、記憶部１０３内の各種のプログラムに応じてこの携帯電話機１００の全体動作を制御する中央演算処理装置である。記憶部１０３には、図９〜図１１に示した動作手順に応じて本実施形態を実現するためのプログラムや各種のアプリケーションなどが格納されているほか、それに必要とする情報などが記憶されている。なお、記憶部１０３は、例えば、ＳＤカードなど、着脱自在な可搬型メモリ（記録メディア）を含む構成であってもよく、図示しない所定の外部サーバ上の記憶領域を含む構成であってもよい。メモリ１０４は、フラグ情報など、携帯電話機１００が動作するために必要な各種の情報を一時的に記憶するワーク領域で、後述する表示位置管理テーブルＤＴが設けられている。

無線通信部１０５は、通話機能の動作時に受信信号を受信ベースバンド信号に復調した後、音声信号処理部１０６を介して通話用スピーカＳＰから音声出力させ、また、通話用マイクＭＣからの入力音声データを音声信号処理部１０６から取り込み、送信ベースバンド信号に符号化した後、アンテナ（図示省略）から発信出力させる。操作部１０７は、押しボタン式の電源キー、メニューキーなどのサイドキーＳＫのほか、上述したモニタリンク・ボタンＭＢなどを有し、ＣＰＵ１０１は、この操作部１０７からの入力操作信号に応じて所定の処理を実行する。モニタリンク・ボタンＭＢは、携帯電話機１００を表示装置２００に対する操作デバイス（マウス）として機能させる際に使用したり、表示装置２００に表示されているモニタリンク・オブジェクトを操作する際に使用したりするキーである。

タッチ表示部１０８は、携帯電話機１００を構成する筐体の表面側に配設され、例えば、高精細液晶ディスプレイや有機ＥＬディスプレイで、文字データ、待受画像、各種のオブジェクトなどを表示したり、ソフトキーボードなどのタッチキー群を表示したりするもので、縦横比の異なる画面を有し、その画面上の全域に透明タッチセンサ（図示省略）を積層配設することにより、指などによるタッチ操作を感知して、そのタッチ操作に応じたデータを入力するタッチスクリーンを構成する。なお、タッチセンサとしては、軽量化、光透過性、耐久性などに優れた静電容量方式を採用し、ソフトキー（タッチキー）に対するキー操作を検出したり、タッチ操作アクション（例えば、スクロール、ビッチイン、ビッチアウトなど）を検出したりする。

マウスセンサ１０９は、赤外線又はレーザ光による光学式マウスの発光部及び受光部を構成するもので、マウスモードにおいて携帯電話機１００の移動方向や移動量などを光学的に検出する。近距離通信部１１０は、ブルートゥース通信を行うもので、その通信可能エリアは、例えば、略半径５ｍとなっており、ブルートゥース通信されるデータに対してシリアル／パラレル変換などを行う。筐体向き検出部１１１は、筐体の向き（姿勢）を検出する加速度センサである。引出検出部１１２は、携帯電話機１００内に引き出し可能に収納されているマウスセンサ１０９が引き出された状態にあるかを磁気的、機械的、電気的のいずれかより検出するようにしているが、その検出方法は任意である。

図５は、表示位置管理テーブルＤＴを説明するための図である。
表示位置管理テーブルＤＴは、携帯電話機１００側に表示されているオブジェクトの表示位置と表示装置２００側に表示されているオブジェクトの表示位置とを対応付けて管理するテーブルで、「オブジェクト」、「端末オブジェクトの表示位置」、「モニタリンク・オブジェクトの表示位置」の項目を有している。すなわち、表示位置管理テーブルＤＴは、「オブジェクト」“ａ”、”ｂ”、…に対応して、その表示装置２００上での「モニタリンク・オブジェクトの表示位置」と、携帯電話機１００上での「端末オブジェクトの表示位置」とを対応付けて記憶管理するテーブルである。

図６は、表示装置２００であるテレビ受信機２００Ａの基本的な構成要素を示したブロック図である。
テレビ受信機２００Ａは、ＣＰＵ２０１を中核として、電源部２０２、記憶部２０３、テレビ放送受信部２０４、操作部２０５、表示部２０６、スピーカ２０７の基本的な各構成要素のほか、本実施形態においては、赤外線通信部２０８、近距離通信部２０９を有する構成となっている。記憶部２０３には、図１２に示した動作手順に応じて本実施形態を実現するためのプログラムや各種のアプリケーションなどが格納されているほか、それに必要とする情報などが記憶されている。テレビ受信機２００Ａは、その赤外線通信部２０８を介してテレビリモコン（図示省略）との間で赤外線通信が可能となり、また、近距離通信部２０８を介して携帯電話機１００との間で近距離通信（ブルートゥース通信）を行うことが可能となっている。

携帯電話機１００とテレビ受信機２００Ａとは、ブルートゥース通信による通信リンクが確立（通信接続が設定）されることで、携帯電話機１００側の近距離通信部１１０とテレビ受信機２００Ａ側の近距離通信部２０８を介して携帯電話機１００とテレビ受信機２００Ａとの相互でデータ通信が可能となる。この場合、携帯電話機１００から接続相手を特定するためのモニタ探索操作（リンク操作：ペアリング操作）が行われると、携帯電話機１００は、近隣に通信接続が可能な表示装置２００が存在しているか否かを探索するためのモニタ探索信号を発信した後、それに対するテレビ受信機２００Ａからの応答信号を受信することにより、携帯電話機１００とテレビ受信機２００Ａとの通信リンクが確立される。

図７及び図８は、携帯電話機１００の概略外観図で、図７（１）は、携帯電話機１００を表面（正面）の方向から見た図である。図７（２）は、背面（裏面）の方向から見た図である。図８（１）及び（２）は、携帯電話機１００の一側面の方向から見た図である。
携帯電話機１００は、その筐体全体が長方体を成し、図８（１）に示すように筐体の背面は、弧状にやや盛り上がった曲線形を成している。この携帯電話機１００の表面には、図５（１）に示すように縦横比の異なるタッチ表示部１０８が配設されている。図７（１）は、タッチ表示部１０８が縦画面となるように筐体を縦向きにした状態を示した携帯電話機１００の表面図で、この縦画面の長手方向一端側（図中、上側）には通話用スピーカＳＰが配設され、縦画面の長手方向他端側（図中、下側）には通話用マイクＭＣが配設されている。更に、縦画面の長手方向他端側（図中、下側）には、引出部１１３が引き出し可能に収納されている。また、筐体の背面略中心部には、上述した押しボタン式のモニタリンク・ボタンＭＢが配設されている。

引出部１１３は、筐体内に引き出し可能（スライド可能）に収納されたもので、携帯電話機１００をポインティングデバイス（マウス）として使用する際に、図８（２）に示すように、携帯電話機１００を構成する筐体の一端部内から引出部１１３を引き出すようにしている。図８（１）は、筐体内に引出部１１３を収納した状態を示し、図８（２）は、筐体内から引出部１１３を引き出した状態を示している。そして、図８（１）、（２）は、筐体の表面側を図中、下側にして、平面（例えば、机面）などに載置した状態を示している。引出部１１３内には、マウスセンサ１０９収納されており、その発光面及び受光面が引出部１１３の内面開口部から露出するようになっている。

このように筺体の表面側を平面上に向けたマウス・スタイルにおいて、筐体内から引出部１１３を引き出すと、引出部１１３の先端面とタッチ表示部１０８の表示面との間の段差ｇｐにより空間が形成されるように引出部１１３が筺体に取り付けられている。この場合、引出部１１３は、筺体の表面側の一端部付近から斜め方向（図示の例では、斜め略６０°方向）に引き出される。これによって引出部１１３の先端部と筺体の表面側の他端部とが平面（例えば、机面）上に接触した状態（２点接触の状態）で平面上に載置されることになる。

引出部１１３が筐体の表面一端部付近から斜め方向に引き出されることにより、筐体の一端側が立ち上がった状態となり、つまり、筐体全体が斜めに立ち上がって上方向に曲線的にせり出したような形状となり、筐体を机面などの平面に載置して筺体の背面側を掌で包むように筺体を挟持する際に、その形状は、マウスとして持ち易い（使い易い）フォーム（マウス・スタイル）となる。なお、上述のように筐体の背面は弧状にやや盛り上がった曲線形を成しているが、引出部１１３の全体もやや弧状の流線型とすることで、引出部１１３を引き出した際に、引出部１１３の外表面と筐体端部の外表面とが曲線的に連続するようになっている。

引出部１１３には、図示省略したが、係止機構及びストッパ機構が付属されている。この係止機構は、筐体内から引出部１１３を引き出し終わった状態と、筐体内に完全に収納し終わった状態で引出部１１３を弾性的に係止することにより、その状態を保持するようにしたもので、その弾性力に抗して引出部１１３が引き出されると、その係止が外れる構成となっている。また、ストッパ機構は、図８（２）に示した最長の引き出し量以上の引き出しを抑制するために、引出部１１３の引き出しをその最長の位置で規制するストッパを有する構成となっている。なお、係止機構及びストッパ機構については、一般に使用されている機構を使用するようにしているため、その図示や詳細な説明は省略するものとする。

また、図８（２）で示した部分拡大図に示すように、引出部１１３内には、携帯電話機１００の移動を検出する移動センサとしてマウスセンサ１０９が搭載されている。このマウスセンサ（移動センサ）１０９は、赤外線又はレーザ光による光学式のセンサで、発光部及び受光部を有し、筐体を載置した机面などを照射してその反射光を受光するようにしている。なお、上述した引出検出部１１２は、引出部１１３（マウスセンサ１０９）が引き出されたか否かを検出する際に、引出部１１３がその最長の引き出し位置まで引き出された状態であるか否かを検出するようにしている。なお、引出部１１３内には電源部１０２の電源電池（例えば、ボタン電池）１０２ａが出し入れ自由（交換可能）に収納されている。

次に、本実施形態における携帯電話機１００及び表示装置２００（テレビ受信機２００Ａ）の動作概念を図９〜図１２に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。すなわち、記録媒体のほかに、伝送媒体を介して外部供給されたプログラム／データを利用して本実施形態特有の動作を実行することもできる。
なお、図９〜図１１は、携帯電話機１００の全体動作のうち、本実施形態の特徴部分の動作概要を示したフローチャートであり、この図９〜図１１のフローから抜けた際には、全体動作のメインフロー（図示省略）に戻る。

図９〜図１１は、モニタリンク・ボタン操作（ペアリング操作）により実行開始される携帯電話機１００の動作を示したフローチャートである。また、図１２は、表示装置２００（テレビ受信機２００Ａ）側の動作を示したフローチャートである。図１３は、携帯電話機１００を表示装置２００のポインティングデバイス（マウス）として利用する場合において、携帯電話機１００側の画面と表示装置２００側の画面とがリンクしている状態の表示例を示し、図１４は、携帯電話機１００を表示装置２００のタッチ入力デバイスとして利用する場合において、携帯電話機１００側の画面と表示装置２００側の画面とがリンクしている状態の他の表示例を示した図である。以下、図９〜図１２のフローを図１３及び図１４を参照して具体的に説明するものとする。

先ず、携帯電話機１００においてそのＣＰＵ１０１は、タッチ表示部１０８に処理対象の端末オブジェクトが表示されている表示中の状態であるかを調べる（図９のステップＡ１）。いま、端末オブジェクトが表示中でなければ（ステップＡ１でＮＯ）、今回のモニタリンク・ボタンの操作を無効とするために、図９〜図１１のフローから抜けるが、携帯電話機１００側で端末オブジェクトが表示されている状態であれば（ステップＡ１でＹＥＳ）、近隣に存在している表示装置２００を探索するために近距離通信部１１０からモニタ探索信号を発信させた後（ステップＡ２）、周囲の表示装置２００からその応答を近距離通信により受信したかを調べる（ステップＡ３）。

そして、携帯電話機１００は、いずれの表示装置２００からも応答が無ければ（ステップＡ３でＮＯ）、図９〜図１１のフローから抜けるが、周囲の表示装置２００からその応答を受信したときには（ステップＡ３でＹＥＳ）、その表示装置２００を出力モニタとして特定して、その応答時に表示装置２００から受信したＩＤ（モニタＩＤ）をメモリ１４内に一時記憶させる（ステップＡ４）。なお、出力モニタとして特定した表示装置２００を、単に出力モニタと呼称するものとする。そして、端末画面内に表示されている端末オブジェクトをモニタリンク・オブジェクトとして、出力モニタに対して送信する（ステップＡ５）。これによって出力モニタから送信されるモニタリンク・オブジェクトの表示位置及びカーソルの表示位置を受信すると（ステップＡ６）、このモニタリンク・オブジェクトに対応する端末オブジェクトの表示位置を検出し、この端末オブジェクトの表示位置とモニタリンク・オブジェクトの表示位置とを対応付けて表示位置管理テーブルＤＴに記憶させる（ステップＡ７）。

図１２は、表示装置２００（テレビ受信機２００Ａ）の動作として、携帯電話機１００からモニタ探索信号を受信したときに実行開始されるフローチャートである。
先ず、携帯電話機１００からモニタ探索信号を受信すると、予め設定されている自己の識別情報（モニタＩＤ）を読み出して、このモニタＩＤを携帯電話機１００に送信してモニタ探索信号に対する応答を行う（ステップＢ１）。そして、携帯電話機１００からモニタリンク・オブジェクトを近距離通信により受信したかを調べ（ステップＢ２）、モニタリンク・オブジェクトを受信しなければ（ステップＢ２でＮＯ）、上述の応答から所定時間（例えば、３秒）が経過してタイムアウトになったかを調べ（ステップＢ３）、タイムアウトになるまで上述のステップＢ２に戻り、受信待ちの状態となる。また、タイムアウトになったときには（ステップＢ３でＹＥＳ）、図１２の割込処理のフローから抜ける。

また、モニタリンク・オブジェクトを受信したときには（ステップＢ２でＹＥＳ）、そのモニタ画面にモニタリンク・オブジェクトを表示させると共に、その近傍にカーソルを一時表示させる（ステップＢ４）。なお、“カーソルの一時表示”とは、モニタリンク・オブジェクトと共にカーソルを表示させた後、携帯電話機１００で操作が行われなければ、そのカーソル表示位置を退避してからカーソル表示を消去し、その後の操作開始のタイミングで退避しておいた表示位置にカーソルを表示させることを意味している（以下、同様）。そして、モニタリンク・オブジェクト及びカーソルの表示位置を検出して携帯電話機１００に対して送信した後（ステップ５）、携帯電話機１００からカーソル移動信号を受信したかを調べたり（ステップ６）、新たなモニタリンク・オブジェクトを受信したかを調べたり（ステップＢ８）、携帯電話機１からリンク終了の指示を受信したかを調べたりする（ステップＢ９）。

一方、携帯電話機１００は、上述のようにモニタリンク・オブジェクトの表示位置の受信に応じて（図９のステップＡ６）、そのモニタリンク・オブジェクトの表示位置を表示位置管理テーブルＤＴに記憶させた後は（ステップＡ７）、筐体向き検出部１１１の検出結果を取得すると共に（ステップＡ８）、引出検出部１１２の検出結果を取得し（ステップＡ９）、この筐体向き検出部１１１及び引出検出部１１２の検出結果に基づいて、マウス・スタイルであるか、つまり、図８（２）に示すように筐体から引出部１１３が引き出されることにより筐体の背面部側がせり上がった状態（マウス・スタイル）であるかを調べる（ステップＡ１０）。

いま、筺体の背面側を掌で包むように筺体を挟持した状態、例えば、筐体の表面（タッチ表示部１０８やマウスセンサ１０９）が下向きとなる姿勢であることが筐体向き検出部１１１により検出され、かつ、筐体から引出部１１３が引き出されていることが引出検出部１１２により検出されている状態（マウス・スタイル）であれば（ステップＡ１０でＹＥＳ）、ポインティングデバイス（マウス）モードに移行させて（ステップＡ１１）、図１０のフローに移り、モニタリンク・オブジェクトに関する処理（モニタリンク・オブジェクト対応の端末オブジェクトに対する処理）を実行する。また、マウス・スタイルでなければ（ステップＡ１０でＮＯ）、タッチ入力デバイスモードに移行させて（ステップＡ１２）、図１１のフローに移り、モニタリンク・オブジェクトに関する処理（モニタリンク・オブジェクト対応の端末オブジェクトに対する処理）を実行する。

このようにポインティングデバイス（マウス）モードに移行した場合には、携帯電話機１００は、次のような動作を行う。先ず、ユーザが所望する方向に筐体を移動する移動操作が行われたときには（図１０のステップＡ１３でＹＥＳ）、マウスセンサ１０９により検出された筐体の移動方向及び移動速度などをカーソル移動信号として、出力モニタに送信すると共に（ステップＡ１４）、この出力モニタ側でのカーソル移動処理に応じて更新された新たなカーソル表示位置を、その出力モニタから受信取得した後（ステップＡ１５）、上述のステップＡ１３に戻る。

また、モニタリンク・ボタンＭＢが操作されたときには（ステップＡ１６でＹＥＳ）、表示位置管理テーブルＤＴを参照し、現在のカーソルの表示位置はモニタリンク・オブジェクトの表示位置に一致するかを調べる（ステップＡ１７）。その結果、両者が一致しなければ（ステップＡ１７でＮＯ）、マウス・スタイルが解除されたか、つまり、図８（２）に示すように筐体から引出部１１３が引き出されてマウスセンサ１０９が下向きとなっているかを調べる（ステップＡ１８）。ここで、マウス・スタイルが解除されたときには（ステップＡ１８でＮＯ）、ポインティングデバイスモード（マウスモード）を解除するために、リンク終了信号を出力モニタに対して送信した後（ステップＡ１９）、図９〜図１１のフローから抜ける。

モニタリンク・ボタンＭＢの操作時において、カーソル位置がモニタリンク・オブジェクト位置に一致していれば（ステップＡ１７でＹＥＳ）、つまり、そのモニタリンク・オブジェクトがカーソル移動により選択されたときには、以下、モニタリンク・オブジェクトに関する処理（モニタリンク・オブジェクト対応の端末オブジェクトに対する処理）を行う。先ず、表示位置管理テーブルＤＴを参照して、モニタリンク・オブジェクトに対応する端末オブジェクトを選択し（ステップＡ２０）、その端末オブジェクトに対する処理（例えば、アイコンに応じた処理など）を実行する（ステップＡ２１）。そして、その処理結果を新たなモニタリンク・オブジェクトとして取得して（ステップＡ２２）、出力モニタに対して送信する（ステップＡ２３）。

そして、出力モニタでのモニタリンク・オブジェクトの表示位置及びカーソルの表示位置を出力モニタから受信した後（ステップＡ２４）、当該端末オブジェクトの表示位置とモニタリンク・オブジェクトの表示位置とを対応付けて表示位置管理テーブルＤＴに記憶させる（ステップＡ２５）。そして、上述のステップＡ１８に移り、マウス・スタイルが解除されているかを調べる。一方、マウス・スタイルが解除されたときには（ステップＡ１８でＹＥＳ）、リンク終了信号を出力モニタに送信した後（ステップＡ１９）、図９〜図１１のフローから抜ける。

他方、タッチ入力デバイスモードに移行した場合には、携帯電話機１００は、次のような動作を行う。先ず、タッチ表示部１０８に対するタッチ操作の有無を調べたり（図１１のステップＡ２６）、リンク終了の指示を受信したかを調べたりする（ステップＡ３７）。なお、タッチ入力デバイスモードにおいてリンク解除を指示する操作が行われたときには（ステップＡ３７でＹＥＳ）、リンク終了信号を出力モニタに送信した後（ステップＡ３８）、図９〜図１１のフローから抜ける。いま、タッチアクション操作として、タップ操作、ダブルタップ操作、ホールド操作、ピッチイン・ピッチアウト操作、フリック操作、ドラッグ操作などのいずれかが行われたときには（ステップＡ２６でＹＥＳ）、そのタッチ位置及びアクション内容を検出取得して（ステップＡ２７）、そのタッチ位置は、端末オブジェクトの表示位置であるかを調べる（ステップＡ２８）。

いま、タッチ位置が端末オブジェクトの表示位置であれば（ステップＡ２８でＹＥＳ）、そのアクション内容に対応したコマンドを生成する（ステップＡ２９）。例えば、アクション内容がタップ、ダブルタップ、ホールド、ピッチイン・ピッチアウト、フリック、ドラッグのいずれかであれば、それに応じたコマンドを生成する。そして、端末オブジェクトに対して上述の生成コマンドに応じた処理を行う（ステップＡ３０）。例えば、オブジェクト選択処理、オブジェクト移動処理、オブジェクト拡大・縮小処理などを実行する。そして、その処理結果を新たな端末オブジェクトとして出力モニタに送信した後（ステップＡ３１）、上述の新たな端末オブジェクトの表示位置を出力モニタから受信取得すると（ステップＡ３２）、このモニタリンク・オブジェクトの表示位置と端末オブジェクトの表示位置とを対応付けて表示位置管理テーブルＤＴに記憶させる（ステップＡ３３）。その後、上述のステップＡ２６に戻る。

図１３は、端末画面に端末オブジェクトとして複数（三つ）のアイコンが表示され、出力モニタにもこの複数のアイコンがモニタリンク・オブジェクトとして表示（図示の例では端末画面の内容が全面表示）されている状態において、端末画面上でのタッチアクションとして所望するアイコン位置がタッチされた場合の表示例を示した図である。ここで、図示の例では、アイコン“ａ”の位置がタッチされることにより、携帯電話機１００は、アクション内容（タップ）対応のアイコン処理を実行し、その処理結果を端末画面に表示すると共に、出力モニタに新たなモニタリンク・オブジェクトとして送信するため、モニタ画面には、新たなモニタリンク・オブジェクトが表示される。

一方、タッチ位置が端末オブジェクトの表示位置に一致していなければ（ステップＡ２８でＮＯ）、そのアクション内容に対応したコマンドを生成した後（ステップＡ３４）、この生成コマンドに応じて端末画面の全体を制御する処理として、例えば、スクロール処理、拡大・縮小処理などを実行する（ステップＡ３５）。そして、この画面制御の処理結果に応じて更新された端末画面の内容を、新たなモニタリンク・オブジェクトとして出力モニタに送信する（ステップＡ３６）。そして、上述の新たなモニタリンク・オブジェクトの表示位置を出力モニタから受信取得した後（ステップＡ３２）、このモニタリンク・オブジェクトの表示位置と端末オブジェクトの表示位置とを対応付けて表示位置管理テーブルＤＴに記憶させる（ステップＡ３３）。その後、上述のステップＡ２６に戻る。

図１４は、端末画面に端末オブジェクトとして画像が表示され、出力モニタにもこの画像がモニタリンク・オブジェクトとして表示されている状態において、端末画面上でのタッチアクションとして、画像の拡大を指示するピッチアウトのタッチ操作が行われた場合の表示例を示した図である。ここで、図示の例では、ピッチアウトのタッチ操作が行われることにより、携帯電話機１は、アクション内容（ピッチアウト）対応の拡大処理を実行し、その処理結果を端末画面に表示すると共に、出力モニタに新たなモニタリンク・オブジェクトとして送信するため、モニタ画面には、新たなモニタリンク・オブジェクトが表示される。

以上のように、本実施形態において携帯電話機１００は、筺体の表面側に設けられたタッチパネル付きのタッチ表示部１０８と、筺体内に引き出し可能に収納されている引出部１１３と、この引出部１１３に搭載されていてマウスセンサ１０９とを備え、引出部１１３が筺体内から引き出された状態で筺体の背面側を掌で包むように挟持されるマウス・スタイルで筺体の表面側を平面上に向けられた場合に、引出部１１３の先端面とタッチ表示部１０８の表示面との間の段差により空間が形成されるように引出部１１３を筺体に取り付けたので、表示装置２００に対する操作デバイスとして携帯電話機１００を利用する場合、使い勝手の良く利用することができ、操作性と利便性を兼ね備えることが可能となる。

すなわち、筺体の表面側を平面上に向けた状態で筺体の背面側を掌で包むように挟持されるマウス・スタイルではタッチ表示部１０８が平面側に隠れることから、携帯電話機１００の移動操作時にユーザの指がそのタッチ表示面に触れること無く操作を行うことができ、また、引出部１１３の引き出により筐体の一端側が立ち上がった状態となり、つまり、筐体全体が斜めに立ち上がって筐体の背面部側がせり上がった状態のような形状となり、マウスとして持ち易い（使い易い）フォームとなる。

筺体の表面側を平面上に向けたマウス・スタイルで引出部１１３は、筺体の表面側の一端部付近から斜め方向に引き出されることにより、その引出部１１３の先端部と筺体の表面側の他端部とが平面上に接触する構造とするので、机などの平面との接触が少なくなり、円滑な移動操作を行うことが可能となる。

引出検出部１１２の検出結果に基づいて、マウス・スタイルであるかを判別するようにしたので、マウスモードへの切替を指示する操作ボタンを別途に設けなくても、引出部１１３の引き出し操作をマウスモードへの切替操作に代替えすることができる。

筐体向き検出部１１１及び引出検出部１１２の検出結果に基づいて、マウス・スタイルであるかを判別するようにしたので、マウス・スタイルであることを更に的確に判別することが可能となる。

モニタリンク・ボタン操作に応じて、マウス・スタイルであるかを判別する動作を開始するようにしたので、ユーザの意思を反映することができる。

携帯電話機１００は、近隣に通信接続が可能な表示装置２００が存在していれば、その表示装置２００を出力モニタとして特定するようにしたので、携帯電話機１００を所持するユーザが何処に居たとしても、その近隣に通信接続が可能な表示装置２００があれば、その表示装置２００との通信接続や操作デバイスモードへの切り替えを意識しなくてもよくなる。

携帯電話機１００は、近隣に通信接続が可能な表示装置２００を出力モニタとして特定すると共に、現在のスタイルに応じて、操作デバイスの種類を選択し、表示装置２００の表示内容を選択デバイス種に応じて制御するようにしたので、特別な操作を行うことなく、操作デバイスの種類を選択することができ、スタイルに合ったデバイスとして機能することができ、使い勝手が良くなって操作性と利便性を兼ね備えることが可能となる。

携帯電話機１００は、表示装置２００に対するポインティングデバイス（マウス）として機能するデバイス種を選択したり、タッチ表示部１０８を利用するタッチ入力デバイスとして機能するデバイス種を選択したりするようにしたので、この２種類のデバイス機能により、多彩な操作を実現することができる。

ポインティングデバイスとして機能するデバイス種が選択されている場合には、筐体を移動するたけで表示装置２００に表示されているカーソルを移動させることができる。

タッチ入力デバイスとして機能するデバイス種が選択されている場合には、タッチ表示部１０８に対するタッチアクションに応じて、表示装置２００の表示内容を変更させることができる。

筐体に備えられている操作デバイス用のセンサ部（マウスセンサ１０９）の位置関係に応じて筐体のスタイルを判別するようにしたので、的確な判別が可能となる。

なお、上述した実施形態においては、タッチ入力デバイスモードでは、タッチアクション操作に応じて、例えば、オブジェクト選択処理、オブジェクト移動処理、オブジェクト拡大・縮小処理などを実行した処理結果を新たな端末オブジェクトとして出力モニタに送信するようにしたが、タッチ位置と共にタッチアクション内容を出力モニタに送信するようにしてもよい。

また、上述した実施形態においては、携帯電話機１００と表示装置２００との間での近距離通信として、ブルートゥース通信を使用するようにしたが、赤外線通信などであってもよい。また、インターネット４を介して情報配信装置５に接続するようにしたが、構内通信網を介して接続するようにしてもよい。

上述した実施形態においては、携帯電話機１００をポインティングデバイス（マウス）として使用する際に、図８（２）に示すように、筐体の表面側を下向き、つまりタッチ表示部１０８を平面（例えば、机面）に向けて載置する使用する場合を示したが、その平面は、水平面に限らず、垂直面（例えば、壁面）などであってもよい。また、上述した実施形態においては、携帯電話機１００をマウス機能として使用するようにしたが、モーションセンサ機能（空間移動操作デバイス）として使用したりしてもよい。

また、上述した実施形態においては、携帯電話機に適用した場合を例示したが、これに限らず、ＰＤＡ、デジタルカメラ、音楽プレイヤーなどであってもよい。

また、上述した実施形態において示した“機”や“部”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。

以上、この発明の実施形態について説明したが、この発明は、これに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下、本願出願の特許請求の範囲に記載された発明を付記する。
（付記）
（請求項１）
請求項１に記載の発明は、
外部機器としての表示装置との間で直接的又は間接的にデータ通信を行う通信手段を介して前記表示装置に対するポインティングデバイスとして機能する携帯端末装置であって、
当該端末装置を構成する筺体の表面側に設けられたタッチパネル付きのタッチ表示部と、
前記筺体内に引き出し可能に収納されている引出部と、
前記引出部に搭載されていて当該端末装置の移動を検出する移動センサと、
を備え、
前記引出部が筺体内から引き出された状態で前記筺体の背面側を掌で包むように挟持されるスタイルを前記表示装置に対するポインティングデバイスとして機能するスタイルとし、このポインティングデバイスのスタイルで前記筺体の表面側を平面上に向けられた場合に、前記引出部の先端面と前記タッチ表示部の表示面との間の段差により空間が形成されるように前記引出部を前記筺体に取り付ける、
ようにしたことを特徴とする携帯端末装置である。
（請求項２）
請求項２に記載の発明は、請求項１に記載の携帯端末装置において、
前記ポインティングデバイスのスタイルで前記筺体の表面側を平面上に向けられた場合に、前記引出部は、前記筺体の表面側の一端部付近から斜め方向に引き出されることにより、その引出部の先端部と前記筺体の表面側の他端部とが前記平面上に接触する構造とする、
ようにしたことを特徴とする携帯端末装置である。
（請求項３）
請求項３に記載の発明は、請求項１あるいは請求項２に記載の携帯端末装置において、
前記筺体内に収納されている前記引出部が引き出されたかを検出する引出検出手段と、
前記引出検出手段の検出結果に応じて当該端末装置を前記表示装置に対するポインティングデバイスとして機能するスタイルであるか否かを判別するスタイル判別手段と、
前記スタイル判別手段によりポインティングデバイスとして機能するスタイルであると判別された場合に、当該端末装置を前記表示装置に対するポインティングデバイスとして機能するように制御する機能制御手段と、
更に備える、
ようにしたことを特徴とする携帯端末装置である。
（請求項４）
請求項４に記載の発明は、請求項３に記載の携帯端末装置において、
当該端末装置の姿勢を検出する姿勢検出手段を更に備え、
前記スタイル判別手段は、前記引出検出手段及び姿勢検出手段の検出結果に応じて当該端末装置を前記表示装置に対するポインティングデバイスとして機能するスタイルであるか否かを判別する、
ようにしたことを特徴とする携帯端末装置である。
（請求項５）
請求項５に記載の発明は、請求項３あるいは請求項４に記載の携帯端末装置において、
前記スタイル判別手段は、所定のユーザ操作に応じて、前記表示装置に対するポインティングデバイスとして機能するスタイルであるか否かの判別動作を開始する、
ようにしたことを特徴とする携帯端末装置。
である。
（請求項６）
請求項６に記載の発明は、請求項１〜請求項５のいずれかに記載の携帯端末装置において、
当該端末装置の近隣に通信接続が可能な前記表示装置が存在しているか否かを判別する接続判別手段と、
前記判別手段により表示装置が存在していることが判別された場合に、その表示装置を出力モニタとして特定する特定手段と、
前記特定手段により出力モニタとして特定した表示装置の表示内容を制御する表示制御手段と、
を更に備える、
ようにしたことを特徴とする携帯端末装置である。
（請求項７）
請求項７に記載の発明は、
外部機器としての表示装置との間で直接的又は間接的にデータ通信を行う通信手段を介して前記表示装置に対する操作デバイスとして機能する携帯端末装置であって、
所定のユーザ操作に応じて、当該端末装置の近隣に通信接続が可能な前記表示装置が存在しているか否かを判別する接続判別手段と、
前記接続判別手段により近隣に表示装置が存在していることが判別された場合に、その表示装置を当該端末装置の出力モニタとして特定する特定手段と、
当該端末装置のスタイルを判別するスタイル判別手段と、
前記スタイル判別手段により判別されたスタイルに応じて、操作デバイスの種類を選択するデバイス種選択手段と、
前記表示装置の表示内容を前記デバイス種選択手段により選択されたデバイス種に応じて制御する表示制御手段と、
を備えたことを特徴とする携帯端末装置である。
（請求項８）
請求項８に記載の発明は、請求項７に記載の携帯端末装置において、
タッチパネル付きのタッチ表示部を更に備え、
前記デバイス種選択手段は、当該端末装置を前記表示装置に対するポインティングデバイスとして機能するデバイス種を選択するか、前記タッチ表示部を利用するタッチ入力デバイスとして機能するデバイス種を選択する、
ようにしたことを特徴とする携帯端末装置である。
（請求項９）
請求項９に記載の発明は、請求項７あるいは請求項８に記載の携帯端末装置において、
前記表示制御手段は、前記デバイス種選択手段によりポインティングデバイスとして機能するデバイス種が選択されている状態において当該端末装置が移動された際に、前記移動センサにより検出された移動操作信号又はその操作信号に応じた処理結果を、前記通信手段を介して前記表示部に送信することにより、前記表示装置に表示されているカーソルを移動させる制御を行う、
ようにしたことを特徴とする携帯端末装置である。
（請求項１０）
請求項１０に記載の発明は、請求項８に記載の携帯端末装置において、
前記表示制御手段は、前記デバイス種選択手段によりタッチ入力デバイスとして機能するデバイス種が選択されている状態において、前記タッチ表示部に対するタッチアクションが行われた際に、そのタッチ操作信号又はその操作信号に応じた処理の実行結果を、前記出力モニタとして特定された表示装置に前記通信手段を介して対して送信することにより、前記表示装置の表示内容をタッチアクションに応じた内容に変更させる制御を行う、
ようにしたことを特徴とする請求項８に記載の携帯端末装置である。
（請求項１１）
請求項１１に記載の発明は、請求項７〜請求項１０のいずれかに記載の携帯端末装置において、
前記スタイル判別手段は、筐体に備えられている操作デバイス用のセンサ部の位置関係に応じて筐体のスタイルを判別する、
ようにしたことを特徴とする携帯端末装置である。

１００ 携帯電話機
２００ 表示装置
２００Ａ テレビ受信機
１０１ ＣＰＵ
１０３ 記憶部
１０７ 操作部
１０８ タッチ表示部
１０９ マウスセンサ
１１１ 筐体向き検出部
１１２ 引出検出部
ＤＴ 表示位置管理テーブル

Claims (6)

1. 所定の外部機器と近距離無線通信が可能な端末装置であって、
   外部機器との近距離無線通信を指示する特定操作を検出した際は、当該端末装置に送信対象となる表示情報が存在するか否かを判別し、存在すれば当該端末装置を前記外部機器とペアリングするモードへ移行させると共に、前記表示情報を前記外部機器へ送信するよう制御する第１制御手段と、
   前記モードへの移行後にあって前記特定操作を検出した際は、前記表示情報の内容を元にした所定処理を実行し、その処理結果で更新された新たな表示情報を前記外部機器へ送信するよう制御する第２制御手段と、
   を具備したことを特徴とする端末装置。
2. 前記第１制御手段は、前記特定操作を検出した際は、当該端末装置に表示情報が表示されていれば、その表示情報を前記外部機器への送信対象となる表示情報として特定し、その特定された表示情報を送信するよう制御する、
   ことを特徴とする請求項１に記載の端末装置。
3. 前記第１制御手段は、前記特定操作を検出した際は、近隣の外部機器に対する探索信号を送信し、応答のあった外部機器があれば、その応答のあった外部機器を当該端末装置とペアリングするモードの移行させる、
   ことを特徴とする請求項１又は２に記載の端末装置。
4. 前記モードの移行後にあって、当該端末装置の状態を変更した場合に、前記外部機器とのペアリングを解除する解除手段と、
   を更に具備したことを特徴とする請求項１〜３の何れかに記載の端末装置。
5. 近隣の外部機器との間で近距離無線通信を行う端末装置における端末制御方法であって、
   外部機器との近距離無線通信を指示する特定操作を検出した際は、当該端末装置に送信対象となる表示情報が存在するか否かを判別し、存在すれば当該端末装置を前記外部機器とペアリングするモードへ移行させると共に、前記表示情報を前記外部機器へ送信するよう制御する第１制御ステップと、
   前記モードへの移行後にあって前記特定操作を検出した際は、前記表示情報の内容を元にした所定処理を実行し、その処理結果で更新された新たな表示情報を前記外部機器へ送信するよう制御する第２制御ステップと、
   を有したことを特徴とする端末制御方法。
6. 端末装置のコンピュータを制御するためのプログラムであって、
   前記コンピュータを、
   外部機器との近距離無線通信を指示する特定操作を検出した際は、当該端末装置に送信対象となる表示情報が存在するか否かを判別し、存在すれば当該端末装置を前記外部機器とペアリングするモードへ移行させると共に、前記表示情報を前記外部機器へ送信するよう制御する第１制御手段、
   前記モードへの移行後にあって前記特定操作を検出した際は、前記表示情報の内容を元にした所定処理を実行し、その処理結果で更新された新たな表示情報を前記外部機器へ送信するよう制御する第２制御手段、
   として機能させることを特徴とするプログラム。

Images