JP5201599B2 - 端末装置、および、プログラム - Google Patents

Description

本発明は、端末装置、および、プログラムに関し、特に、外部装置を接続可能な端末装置に好適な端末装置、および、プログラムに関する。

携帯電話などの移動体通信端末では、多機能化が進み種々のアプリケーションなどが搭載されている。また、パーソナルコンピュータなどで採用されているＯＳ（Operating System）を実装する移動体通信端末も実現されつつあり、これまでパーソナルコンピュータなどでおこなっていたような処理が移動体通信端末でも実行可能になってきている。

しかしながら、移動体通信端末は携行できるサイズである必要があるため、移動体通信端末に搭載されている表示装置や入力装置も必然的に小型となってしまう。このため、情報処理にかかる能力が向上しても、ユーザとのインタフェースの部分で物理的な制約が残ってしまい、利便性を損ねてしまう問題がある。

一方で、例えば、MicroUSB（USB3.0）などのような、移動体通信端末でも採用可能な汎用インタフェースが普及しつつあり、移動体通信端末においても高速なデータ転送で外部装置と接続できる環境が整いつつある。このため、汎用装置として提供されている表示装置や入力装置（例えば、フルサイズのキーボードやポインティングデバイスなど）を移動体通信端末に接続することができ、拡張性の向上を図ることができる。これにより、上述したユーザインタフェース上の制約が解消されることが期待される。

しかしながら、移動体通信端末が搭載するアプリケーション等のすべてを種々の外部装置にも対応できるものにすることは、移動体通信端末の開発・製造過程で多大なコスト増を強いるものであり、現実的ではないという側面もある。この結果、外部装置に対応するアプリケーションと対応していないアプリケーションが移動体通信端末内に混在することが考えられる。この場合、アプリケーションによっては外部装置を利用することができないので、拡張性が向上してもそれを十分に活用することができない。

なお、パーソナルコンピュータに接続した端末装置で実行しているアプリケーションの表示内容をキャプチャして表示させてリモート操作する技術や、携帯端末で実行しているアプリケーションの表示をビデオ信号に変換してテレビ受像機の画面に表示させる技術（例えば、特許文献１）などが知られている。

特開２００１−３５２３７３号公報

しかしながら、移動体通信端末などの端末装置を外部表示装置に接続した場合に、当該端末装置が有している表示装置に対応した画面の表示を外部表示装置にも適切におこなうことのできる技術は特許文献１などに開示されておらず、移動体通信端末などの拡張性を活用して利便性の向上をもたらす技術の確立が望まれている。

本発明は、上記実状に鑑みてなされたものであり、端末装置に外部装置を接続した際の利便性の向上を、低コストで実現することを目的とする。

上記目的を達成するため、本発明の第１の観点にかかる端末装置は、
生成した画像データに基づく表示出力をおこなう表示手段を備えた端末装置において、
前記表示手段の表示サイズに対応する第１のメモリ領域に前記表示手段で出力する前記画像データを展開して前記表示手段への表示出力をおこなう第１の表示制御手段と、
外部装置を接続する接続手段と、
前記接続手段に接続された外部装置の種類を判別する接続判別手段と、
前記接続判別手段によって外部表示装置が接続されたと判別された場合に、前記表示手段への表示出力が該接続された外部表示装置に対応しているか否かを判別し、対応していない場合、前記第１のメモリ領域に展開されている前記画像データを、前記外部表示装置の表示サイズに対応する第２のメモリ領域に転送して展開する第２の表示制御手段と、
前記第２のメモリ領域に展開された前記画像データを、前記接続手段に接続された前記外部表示装置に出力する外部表示手段と、
指定されたアプリケーションがいずれであるかを示す設定情報を記憶する記憶手段と、を備え、
前記外部表示手段は、前記第２のメモリ領域に転送された前記設定情報が示すアプリケーションについての画像データを、当該画像データが示す画面が前記外部表示装置の表示画面における最前面に表示されるよう、当該画像データを該外部表示装置に出力する、
ことを特徴とする。

上記端末装置において、
前記第２の表示制御手段は、前記第１の表示制御手段と前記第２の表示制御手段との間のＡＰＩ（Application Programming Interface）により、前記第１のメモリ領域に展開されている画像データを前記第２のメモリ領域に転送することが望ましい。

上記端末装置において、
前記第２の表示制御手段は、前記端末装置でのアプリケーションの実行に伴うイベントシンクについての追加イベントシンクにより前記第１のメモリ領域に展開されている画像データを前記第２のメモリ領域に転送してもよい。

上記端末装置において、
前記第１の表示制御手段は、実行されているアプリケーションの数に応じた複数の前記第１のメモリ領域に、実行中の各アプリケーションについての画像データを展開し、
前記第２の表示制御手段は、前記複数の第１のメモリ領域に展開されている画像データを、前記第２のメモリ領域に転送することが望ましい。

上記端末装置において、
前記第１の表示制御手段は、前記接続判別手段により前記接続手段に外部入力装置が接続されたと判別された場合、該外部入力装置からの入力を示す画像データを前記第１のメモリ領域に展開することが望ましい。

上記端末装置は、音声通話機能を含む端末装置であることが望ましく、この場合、
前記接続判別手段により前記外部装置が接続されたことが判別された場合に、前記音声通話機能にかかる音声入出力をハンズフリーモードに切り替える音声制御手段をさらに備えていることが望ましい。

上記目的を達成するため、本発明の第２の観点にかかるプログラムは、
生成した画像データに基づく表示出力をおこなう表示手段と、外部装置を接続する接続手段と、指定されたアプリケーションがいずれであるかを示す設定情報を記憶する記憶手段と、を備えた端末装置を制御するコンピュータに、
前記表示手段の表示サイズに対応する第１のメモリ領域に前記表示手段で出力する前記画像データを展開して前記表示手段への表示出力をおこなう第１の表示制御機能と、
前記接続手段に接続された外部装置の種類を判別する接続判別機能と、
外部表示装置が接続されたと判別された場合に、前記表示手段への表示出力が該接続された外部表示装置に対応しているか否かを判別し、対応していない場合、前記第１のメモリ領域に展開されている前記画像データを、前記外部表示装置の表示サイズに対応する第２のメモリ領域に転送して展開する第２の表示制御機能と、
前記第２のメモリ領域に展開された前記画像データを、前記接続手段に接続された前記外部表示装置に出力する外部表示機能と、を実現させ、
前記外部表示機能は、前記第２のメモリ領域に転送された前記設定情報が示すアプリケーションについての画像データを、当該画像データが示す画面が前記外部表示装置の表示画面における最前面に表示されるよう、当該画像データを該外部表示装置に出力する、
ことを特徴とする。

本発明によれば、端末装置に外部装置を接続した際の利便性の向上を、低コストで実現することができる。

本発明の実施形態にかかる移動体通信端末と、移動体通信端末に接続されるクレードル、外部表示装置、外部入力装置を模式的に示す図である。 図１に示す移動体通信端末の構成を示すブロック図である。 図２に示す制御部によって実現される機能構成を示す機能ブロック図である。 本発明の実施形態にかかる「出力制御処理」を説明するためのフローチャートである。 図４に示す「出力制御処理」において実行される「外部表示処理」を説明するためのフローチャートである。 図５に示す「外部表示処理」の動作にかかるＡＰＩの構成例を示す図である。 図５に示す「外部表示処理」での表示例を模式的に示す図であり、（ａ）は非対応アプリの画面を外部表示装置に表示した場合の表示例を示し、（ｂ）は対応アプリの画面を外部表示装置に表示した場合の表示例を示す。 図５に示す「外部表示処理」での表示例を模式的に示す図であり、（ａ）は対応アプリと非対応アプリの画面を外部表示装置に表示した場合の表示例を示し、（ｂ）は複数の非対応アプリの画面を外部表示装置に表示した場合の表示例を示す。 図５に示す「外部表示処理」の動作にかかるＡＰＩの構成例を示す図である。 図９に示すＡＰＩの構成例における動作を説明するための図である。 移動体通信端末に接続される他の外部入力装置の例と表示例とを模式的に示す図である。

以下、図面を参照して、本発明にかかる実施形態を説明する。本実施形態では、携帯電話やＰＨＳ（Personal Handyphone System）に用いられる移動体通信端末に本発明を適用した場合を説明する。

本実施形態にかかる移動体通信端末１００は、例えば、図１に示すような、表示部１３２を有する移動体通信端末であるものとする。また、移動体通信端末１００の動作電源となるバッテリへ充電する場合や、商用電源によって移動体通信端末１００を駆動させる場合などのために、所定の充電台（クレードル、スタンド、など。以下、「クレードル２００」とする）が用いられるものとする。本実施形態では、図１に示すようなクレードル２００に移動体通信端末１００を載置して充電等をおこなう。

本実施形態にかかる移動体通信端末１００は、例えば、２軸ヒンジなどを用いた折り畳み型であるものとし、クレードル２００に載置される際には、図１に示すように、表示画面（表示部１３２）が露出するように移動体通信端末１００が折りたたまれるとともに、表示画面（表示部１３２）がクレードル２００の正面側を向くよう載置されるものとする。

この場合、移動体通信端末１００とクレードル２００とを接続するコネクタは、移動体通信端末１００側では移動体通信端末１００の側面部に配置される。そして、クレードル２００側では、クレードル２００の載置面上にコネクタが配置され、移動体通信端末１００をクレードル２００上に載置した際にそれぞれのコネクタが係合されることとなる。

このような移動体通信端末１００の内部構成を、図２を参照して説明する。図２は移動体通信端末１００の構成を示すブロック図である。図示するように、移動体通信端末１００は、制御部１１０、通信制御部１２０、入力部１４０、出力部１３０、表示メモリ部１３５、コネクタ部１５０、電源部１６０、記憶部１７０、などから構成される。

制御部１１０は、例えば、ＣＰＵ（Central Processing Unit：中央演算処理装置）やワークエリアとなる所定の記憶装置（ＲＡＭ（Random Access Memory）など）から構成され、移動体通信端末１００の各部を制御するとともに、記憶部１７０に格納されている所定の動作プログラムに基づいて後述する各処理を実行する。なお、後述する移動体通信端末１００の各構成はそれぞれ制御部１１０と接続されており、各構成間でのデータ授受などは制御部１１０を介しておこなわれるものとする。

通信制御部１２０は、例えば、セルラ通信用の無線通信回路などから構成され、アンテナ部１２４を介した無線通信をおこなう。通信制御部１２０はさらに、音声通信部１２１、データ通信部１２２、などを有する。

音声通信部１２１は、移動体通信端末１００の音声通話機能にかかる通信を制御する。ここでは、例えば、アンテナ部１２３を制御して、移動体通信網などの電話回線網を介した音声通話のための無線通信をおこなうとともに、音声の符号化処理や復号処理などをおこなう。

データ通信部１２２は、移動体通信端末１００のデータ通信機能にかかる通信を制御する。本実施形態では、例えば、インターネットなどのＩＰ網を介したデータ通信を介しておこなうものとし、データ通信部１２２がアンテナ部１２３を制御することで、データ通信網への無線接続やデータ送受信がおこなわれる。

なお、音声通信部１２１およびデータ通信部１２２は、移動体通信端末１００に移動体通信サービスを提供する事業体（いわゆる、キャリア）が提供する基地局との間の無線通信をおこなう。

出力部１３０は、音声出力部１３１、表示部１３２、などから構成され、移動体通信端末１００による種々の情報出力動作をおこなう。

音声出力部１３１は、例えば、スピーカなどから構成され、音声通話時の着信音や受話音声などを出力する。

表示部１３２は、例えば、液晶表示装置などから構成され、移動体通信端末１００の機能にかかる種々の画面を表示する。

表示メモリ部１３５は、いわゆるＶＲＡＭ（Video RAM）などのような、表示部１３２に表示される画像データが展開されるメモリである。

入力部１４０は、操作部１４１や音声入力部１４２などから構成され、移動体通信端末１００に対するユーザ入力のためのインタフェースとして機能する。

操作部１４１は、ユーザによって操作されるキーパッド（文字キー（テンキー）、十字キーなど）や機能ボタンなどから構成され、ユーザ操作に応じた入力信号を生成して制御部１１０に入力する。

音声入力部１４２は、例えば、マイクロフォンなどから構成され、音声通話時のユーザ発話音声を入力する。

コネクタ部１５０は、クレードル２００との接続用のコネクタであり、クレードル２００に接続されている商用電源を受電する他、クレードル２００を介して接続される外部装置との信号送受をおこなう。この場合、コネクタ部１５０は、例えば、MicroUSB（USB3.0）に準拠したコネクタなどによって構成されるものとする。

この場合、MicroUSB（USB3.0）などの外部インタフェース手段により、図１に示すような外部表示装置３００や外部入力装置４００などの外部装置が、クレードル２００を介して移動体通信端末１００に接続されるものとする。本実施形態では、クレードル２００に接続ポートが備えられ、この接続ポートに接続された外部装置との信号授受がコネクタ部１５０を介しておこなわれるものとする。

クレードル２００を介して接続される外部装置として、本実施形態では、図１に示すような外部表示装置３００と外部入力装置４００を想定する。

外部表示装置３００は、例えば、液晶表示装置などであり、コネクタ部１５０が採用している外部インタフェース規格（例えば、MicroUSB（USB3.0）など）によって伝送される画像信号を表示可能な表示装置であるものとする。また、外部表示装置３００は、少なくとも、移動体通信端末１００の表示部１３２の画面サイズよりも大きい画面サイズであるものとする。

外部入力装置４００は、例えば、キーボードなどの文字入力装置であるものとし、コネクタ部１５０が採用している外部インタフェース規格（例えば、MicroUSB（USB3.0）など）によって入力信号を出力可能な入力装置であるものとする。

電源部１６０（図２）は、所定の電源回路や充電式バッテリなどから構成され、クレードル２００と接続されたコネクタ部１５０を介して供給された商用電源をバッテリに充電する他、クレードル２００から供給される電力やバッテリに蓄積された電力を移動体通信端末１００の各部に供給する。

記憶部１７０は、例えば、ＲＯＭ（Read Only Memory）やフラッシュメモリなどといった所定の記憶装置から構成され、制御部１１０が実行する動作プログラムの他、各処理の実行に必要なデータや各処理の実行によって生成されたデータなどを格納する。

記憶部１７０に格納される動作プログラムは、移動体通信端末１００の基本動作を司る任意の基本プログラムなどの他に、後述する各処理を実現するための動作プログラムが格納されている。後述する移動体通信端末１００による処理は、制御部１１０がこれらの動作プログラムを実行することで実現される。

すなわち、記憶部１７０に格納されている動作プログラムを実行することで、制御部１１０は、図３に示すような構成として機能する。図示するように、制御部１１０は、アプリケーション実行部１１１、接続検出部１１２、出力制御部１１３、入力制御部１１４、などとして機能する。

アプリケーション実行部１１１は、記憶部１７０に格納されている種々のアプリケーションプログラムを実行する。

接続検出部１１２は、コネクタ部１５０での受電を検出することなどにより、移動体通信端末１００がクレードル２００と接続されたことを検出するとともに、クレードル２００を介して外部装置が接続されたか否かを検出する。接続検出部１１２はまた、外部装置が接続された場合、例えば、既知のプラグアンドプレイ技術などに基づいて、接続された外部装置（外部表示装置３００、外部入力装置４００、など）の種類や仕様などを判別する。

出力制御部１１３は、移動体通信端末１００の出力動作を制御する。通常の使用状態の場合、出力制御部１１３は、表示部１３２に表示出力する動作をおこなうが、本実施形態では、クレードル２００を介して外部表示装置３００が接続された場合には、外部表示装置３００に表示出力する動作をおこなう。外部表示装置３００に表示出力する場合、出力制御部１１３は、表示メモリ部１３５に展開された画像データをキャプチャ（スニッフィング）し、コネクタ部１５０を介して外部表示装置３００に出力する。

また、移動体通信端末１００がクレードル２００に載置された場合、出力制御部１１３は、移動体通信端末１００でハンズフリーによる音声入出力が可能となるよう音声入力部１４２と音声出力部１３１を制御する。

すなわち、移動体通信端末１００で実行されているアプリケーションなどの動作で生成された画像データをキャプチャして外部表示装置３００に出力する。ここで、上述したように、移動体通信端末１００の表示部１３２よりも大きな画面サイズの外部表示装置３００が接続されるので、キャプチャした画像データを外部表示装置３００で表示する場合、少なくとも外部表示装置３００の画面サイズよりも小さいウィンドウとして表示されることになる。

入力制御部１１４は、移動体通信端末１００の入力動作を制御する。通常の使用状態の場合、入力制御部１１４は、操作部１４１からの入力信号に応じた入力動作をおこなうが、本実施形態では、クレードル２００を介して外部表示装置３００が接続され、かつ、外部入力装置４００が接続された場合、外部入力装置４００からの入力信号に応じた入力動作をおこなう。

制御部１１０によって実現される上記の各機能は、例えば、ＡＰＩ（Application Programming Interface）などのような既知の技術を用いることで、移動体通信端末１００に搭載されているアプリケーションの実行時に必要となるファイル制御、ウィンドウ制御、画像処理、文字制御などを、ＯＳ（Operating System）やミドルウェア、ドライバなどといった移動体通信端末１００に構成されている共有モジュールとの協働によって実現する。

なお、本実施形態にかかる移動体通信端末１００は、例えば、パーソナルコンピュータなどにも搭載可能なＯＳ（例えば、Linux（商標）など）が搭載されているものとする。この場合、移動体通信端末１００においては、外部表示装置３００が接続された際にその画面サイズに合わせた表示とすることで、パーソナルコンピュータなどと同様の表示環境とすることができるアプリケーションと、移動体通信端末１００の表示部１３２の画面サイズに合わせた表示出力となるアプリケーション（例えば、音声通話にかかるアプリケーションや、移動体通信端末１００に固有のアドレス情報を用いた電子メールやＳＭＳ（Short Messaging Service）にかかるアプリケーション、など）が、混在して搭載されているものとする。

本実施形態では、制御部１１０によって上記機能構成が論理的に実現されるが、例えば、ＡＳＩＣ（Application Specific Integrated Circuit：特定用途向け集積回路）などの専用回路によって構成することで、これらの機能を物理的な構成によって実現してもよい。

以上説明した移動体通信端末１００の各構成は、本発明を実現するために必要な構成であり、移動体通信端末としての基本機能に必要なその他の構成や、種々の付加機能に必要な構成などは、必要に応じて備えられているものとする。

次に、クレードル２００について説明する。上述したように、クレードル２００は移動体通信端末１００が載置されることで充電等をおこなうものであり、図１に示すような移動体通信端末１００を載置可能な筐体を有するとともに、商用電源用のコードや変圧回路などを備え、移動体通信端末１００への供給に適した電力（商用電源）を取得する。

また、移動体通信端末１００が載置される面には、移動体通信端末１００が載置された際のコネクタ部１５０と係合するコネクタが配置される。ここでは、コネクタ部１５０が採用している規格（例えば、MicroUSB（USB3.0）など）と適合するコネクタが配置される。

このコネクタは、移動体通信端末１００への給電だけでなく、クレードル２００に接続された外部装置と移動体通信端末１００とのデータ送受をおこなう。この場合、クレードル２００の外面に備えられている、例えば、MicroUSB（USB3.0）などの外部インタフェース規格による接続ポートと、コネクタ部１５０と係合するコネクタとがクレードル２００の内部で接続されている。

これにより、接続ポートに外部装置（外部表示装置３００や外部入力装置４００）が接続されることで、クレードル２００のコネクタと移動体通信端末１００のコネクタ部１５０とを介して、移動体通信端末１００と外部装置とが接続され、画像データや入力信号などが移動体通信端末１００と外部装置との間で送受可能となる。

以上のような構成を有する移動体通信端末１００等による動作を以下に説明する。

移動体通信端末１００によって実行される「出力制御処理」を、図４に示すフローチャートを参照して説明する。この「出力制御処理」は、移動体通信端末１００がクレードル２００に接続されたことを契機に開始される。すなわち、移動体通信端末１００のコネクタ部１５０がクレードル２００のコネクタと接続されたことを接続検出部１１２が検出すると処理が開始される。

接続検出部１１２は、クレードル２００との接続を検出すると、その旨を出力制御部１１３と入力制御部１１４に通知する。出力制御部１１３と入力制御部１１４は、接続検出部１１２からの通知に応じて、それぞれ出力部１３０と入力部１４０を制御することでハンズフリーモードに設定する（ステップＳ１０１）。ここでは、例えば、スピーカやマイクロフォンの音声レベルを高めるような設定変更をおこなうことによりハンズフリーモードにする。

この状態でクレードル２００に外部表示装置３００が接続されると、接続検出部１１２によって検出される（ステップＳ１０２：Ｙｅｓ）。この場合、接続検出部１１２は、アプリケーション実行部１１１、出力制御部１１３、入力制御部１１４にその旨を通知する。接続検出部１１２からの通知に応じたアプリケーション実行部１１１、出力制御部１１３、入力制御部１１４の協働により、「外部表示処理」が実行される（ステップＳ２００）。この「外部表示処理」を、図５に示すフローチャートを参照して説明する。

処理が開始されると、アプリケーション実行部１１１により、アプリケーションを実行しているか否かが判別される（ステップＳ２０１）。ここで、アプリケーションを実行している場合（ステップＳ２０１：Ｙｅｓ）、アプリケーション実行部１１１は、当該アプリケーションが、接続された外部表示装置３００の画面サイズに対応しているアプリケーション（以下、「対応アプリ」とする）であるか否かを判別する（ステップＳ２０２）。

上述したように、本実施形態にかかる移動体通信端末１００は、パーソナルコンピュータなどでも採用可能なＯＳによって動作しているので、移動体通信端末としての機能にかかるアプリケーション（例えば、移動体通信端末１００に固有のアドレスを用いた通話機能や電子メール機能にかかるアプリケーションなど）の他、パーソナルコンピュータなどでも実行されるようなアプリケーションが混在している。

このような場合、移動体通信端末としての機能にかかるアプリケーションについては、移動体通信端末１００の表示部１３２の画面サイズに適合した画面表示のみおこなえるものとする。一方、パーソナルコンピュータなどでも実行可能なアプリケーションは、外部表示装置３００の画面サイズ（すなわち、表示部１３２の画面サイズよりも大きい画面サイズ）にも適合できる画面表示をおこなえるものとする。

ここで、実行しているアプリケーションが、移動体通信端末としての機能にかかるアプリケーションである場合、アプリケーション実行部１１１は、外部表示装置３００の画面サイズに対応したアプリケーションではない（以下、「非対応アプリ」とする）と判別する（ステップＳ２０２：Ｎｏ）。

この場合、移動体通信端末１００においては、上述したようなＡＰＩ技術などにより、表示部１３２の画面サイズに適合している画面を外部表示装置３００で表示するための動作をおこなう。ここではまず、生成された画面の画像データを、移動体通信端末１００が備える表示部１３２で表示させる（以下、「自表示」とする）場合と同様に、自表示用のバッファ領域（以下、「自表示バッファ」とする）に展開する（ステップＳ２０３）。この自表示バッファは、例えば、表示メモリ部１３５内に用意されているものとする。

自表示バッファに展開された画像データは、出力制御部１１３が出力部１３０を制御することにより、表示部１３２（自表示装置）に表示出力される（ステップＳ２０４）。

これと同時に、出力制御部１１３は、自表示バッファに展開された画像データをキャプチャする（ステップＳ２０５）。このような動作は、自表示用のＡＰＩなどによって実現される。本実施形態にかかるＡＰＩの動作例を、図６を参照して説明する。図６は、本実施形態にかかる移動体通信端末１００に実装されているＡＰＩの概念と機能を模式的に示した図である。

図示するように、移動体通信端末１００では、図３に示した制御部１１０の各機能構成が、制御部１１０を構成しているハードウェア要素や表示メモリ部１３５などを利用した動作をおこなうことにより、自表示ＡＰＩ、ウィンドウ作成部、外部表示ＡＰＩなどが実現されている。

自表示ＡＰＩは、非対応アプリなどの表示画面を表示部１３２に表示させる動作や、外部表示装置３００が接続されていない場合に対応アプリの表示画面を表示部１３２に表示させる動作にかかるコマンドの実行などをおこなうＡＰＩであり、例えば、移動体通信端末１００のソフトウェアアーキテクチャを構成するドライバレイヤで動作する。

この自表示ＡＰＩには、例えば、表示部１３２に表示する画面を形成するために、自表示バッファ上で描画動作や文字表示をおこなうコマンドや、展開されている画像データを転送させるコールバックコマンドなどのコマンド群が実装されている。

移動体通信端末１００の表示動作では、自表示ＡＰＩの描画コマンドや文字表示コマンドが用いられることで、表示される画像が自表示バッファに展開される。例えば、文字表示コマンドが用いられると、図６に示すように、自表示バッファに文字パターン（図６における「ＡＢＣ」）が書き込まれる。自表示バッファに展開されたデータは、表示部１３２を駆動するＬＳＩなどのハードウェアに転送される。これにより、自表示バッファに展開された内容が表示部１３２に表示出力される。

ここで、自表示バッファに展開されている表示データが非対応アプリにかかるものであり、かつ、移動体通信端末１００に外部表示装置３００が接続されている場合、当該表示データの内容を外部表示装置３００でも表示出力するよう動作する。この場合、自表示ＡＰＩが実行するコールバックコマンドの実行フラグ（コールバック実行フラグ）に基づいて当該動作がおこなわれる。すなわち、外部表示装置３００が接続されている状態でアプリケーション実行部１１１によって実行されているアプリケーションが非対応アプリである場合、コールバック実行フラグのレジスタ値がコールバックの実行を示す値に設定される（フラグがオン）。

コールバック実行フラグがオンとなっている場合、自表示ＡＰＩのコールバックコマンドが実行される。これにより、自表示バッファに展開されている表示データが、ウィンドウ作成部が用いるバッファ領域であるウィンドウバッファに転送される。

ウィンドウ作成部は、非対応アプリの画面表示を外部表示装置３００でおこなう場合に、表示部１３２の表示サイズに相当するウィンドウを作成する機能構成であり、例えば、移動体通信端末１００のソフトウェアアーキテクチャを構成しているミドルウェアレイヤで動作する。

このウィンドウ作成部は、記憶部１７０などに予め格納されている既定のウィンドウ画像と、自表示ＡＰＩから転送された表示データとを、例えば、表示メモリ部１３５上に設定されているバッファ領域（ウィンドウバッファ）に展開する。すなわち、自表示バッファに展開されている表示データがウィンドウバッファに転送されることで、ステップＳ２０５（図５）における表示画像のキャプチャが実現される。

このキャプチャ動作では、表示データとウィンドウ画像とが合成されるようにウィンドウバッファ上で展開する（ステップＳ２０６）。図６の例では、自表示バッファに書き込まれた文字パターン（「ＡＢＣ」）がウィンドウバッファに転送され、ウィンドウ画像内に当該文字パターンが配置されるようウィンドウバッファ上でデータが展開される。

ここで、ウィンドウバッファに展開されているウィンドウ画像は、表示部１３２の表示画面サイズに対応しているものとする。この場合、ウィンドウバッファの領域サイズは、少なくとも、表示部１３２における１画面分の表示データとウィンドウ画像とを展開できる分が確保されているものとする。また、ウィンドウ画像は、例えば、表示部１３２の周囲で枠状に視認される移動体通信端末１００の筐体部分を模したデザインとしてもよい。この場合、枠内の領域が表示部１３２の表示画面サイズに対応することになる。この枠内領域の座標系を表示部１３２の座標系に対応させることで、自表示バッファに展開されている表示データが、ウィンドウ画像の枠内領域に収まるよう合成される。

このようにしてウィンドウバッファ上に表示データが展開されると、外部表示ＡＰＩにより、展開された表示データが外部表示装置３００に表示出力される（ステップＳ２０７）。

外部表示ＡＰＩは、自表示ＡＰＩと同様に各種コマンド群が実装され、表示メモリ部１３５に用意するバッファ領域（外部表示バッファ）を用いて表示動作をおこなうものであるが、外部表示装置３００での表示動作をおこなうため、外部表示バッファの領域サイズは、外部表示装置３００の画面サイズに対応したものとなっている。また、自表示ＡＰＩと同様、外部表示ＡＰＩは、例えば、移動体通信端末１００のソフトウェアアーキテクチャを構成しているドライバレイヤで動作する。

ここで、接続検出部１１２が外部表示装置３００の接続を検出した際に、プラグアンドプレイ技術などによって外部表示装置３００の表示画面サイズを認識し、認識した表示画面サイズに応じて、外部表示バッファの領域サイズが動的に設定されてもよい。

外部表示装置３００に表示出力する場合、ウィンドウバッファ上でウィンドウ画像と表示データを合成したことを契機に、ウィンドウ作成部が外部表示ＡＰＩに実装されているコマンド群からパターン転送コマンドを呼びだす。パターン転送コマンドの実行により、ウィンドウバッファに展開されている表示データが、外部表示バッファに転送される。

上述したように、ウィンドウ画像の領域サイズは表示部１３２の画面サイズに対応し、外部表示バッファの領域サイズが外部表示装置３００の表示画面サイズに対応しているので、外部表示バッファでは、表示部１３２よりも大きな表示画面内に表示部１３２の画面サイズに相当するウィンドウ画像が表示された状態のメモリパターンが形成される。

外部表示ＡＰＩは、外部表示バッファに形成したメモリパターンを、コネクタ部１５０やクレードル２００を介して外部表示装置３００に転送する。これにより、非対応アプリの表示画面が、図７（ａ）に示すように、表示部１３２の表示サイズに相当する大きさで外部表示装置３００の表示画面上に表示される（ステップＳ２０７、図５）。

一方、対応アプリなどのような、外部表示装置３００の表示画面サイズに対応するアプリケーションが実行された場合（ステップＳ２０２：Ｙｅｓ）、外部表示ＡＰＩにより外部表示バッファに表示データが展開され（ステップＳ２０８）、外部表示装置３００に表示出力される（ステップＳ２０７）。この場合は、図７（ｂ）に示すように、外部表示装置３００の表示画面サイズに合った表示がおこなわれる。

そして、当該アプリケーションが終了しなければ（ステップＳ２０９：Ｎｏ）、ステップＳ２０１以降の処理をおこなうことで、当該実行中のアプリケーションについての表示動作が継続される。

ここで、現在実行中のアプリケーションとは別のアプリケーションが実行された場合（ステップＳ２０１：Ｙｅｓ）、当該アプリケーションについてもステップＳ２０２以降の処理がおこなわれることになる。この場合において、例えば、対応アプリの実行中に非対応アプリが実行されると、図８（ａ）に示すように、ＯＳのデスクトップ画面の前面に非対応アプリケーションのウィンドウ画面が表示される。

この動作により、移動体通信端末１００に外部表示装置３００を接続し、対応アプリを利用している最中に、例えば、移動体通信端末１００のアドレス情報を用いる音声通話や電子メールの着信が発生した場合、当該非対応アプリの画面がウィンドウ画面として外部表示装置３００の表示画面上に表示されることになる。すなわち、ユーザの注意を引く必要のある着信などが生じた場合に、該当するアプリケーションの画面が最前面にポップアップ表示されるので、ユーザの迅速な応答を補助することができる。

このような動作は、上述したようなＡＰＩを利用することで実現できる他、例えば、イベントシンクなどを用いることでも実現することができる。この場合、着信などの動作を制御するミドルウェアによって着信データの判別をおこない、判別内容に応じたイベント（例えば、電子メール受信イベント）を、ＯＳやアプリケーションフレームワークのイベントキューメモリにセットする。そして、イベントシンクと呼ばれるミドルウェアタスクがイベントキューメモリの中身を解釈し、対応するアプリケーションを起動させる。このとき、本来のイベントシンクによるイベントキューの参照に先立って、追加イベントシンクのタスクがイベントキューを探索するように動作させる。

この追加イベントシンクは、例えば、アプリケーションの動作（例えば、電子メールの受信）と、ウィンドウを作成して外部表示装置３００に表示させる動作とが予め対応づけられたものであり、記憶部１７０に格納されている。この追加イベントシンクが参照されることで、起動したアプリケーションの画面を示す画像データが自表示バッファからウィンドウバッファ、外部表示バッファへと順次転送され、当該アプリケーションのウィンドウ画面を外部表示装置３００の表示画面上に表示させることができる。

このように、例えば、音声通話の着信や電子メールの受信などのようなイベントの発生に応じて該当する画面を表示させる場合、対象となるイベントやアプリケーションを予め登録しておき、移動体通信端末１００に外部装置が接続されている際に、登録されているイベントやアプリケーションについての表示動作が発生したら、当該画面を最前面に表示させることで、ポップアップ表示とすることができる。

ここで、最前面に表示させる画面のイベントやアプリケーションは、移動体通信端末１００のユーザによって任意に設定できるようにすることが望ましい。このような設定内容を示す情報は、例えば、記憶部１７０に格納されているものとし、上述した「外部表示処理」（図５）において随時参照されるようにする。そして、参照された設定に応じて、外部表示装置３００に表示させるウィンドウ画面の表示レイヤを制御することで、所望するイベントやアプリケーションの画面が最前面にポップアップ表示される。

また、複数の非対応アプリが実行された場合には、例えば、図８（ｂ）に示すように、非対応アプリの実行数に応じたウィンドウ画面が、外部表示装置３００の表示画面上に表示されることになる。この場合のＡＰＩの構成例を図９に示す。図示するように、ウィンドウ作成部をオブジェクト指向プログラミングでクラス実装するとともに、自表示バッファの領域が複数用意された構成とすることで、複数のウィンドウ画面を動的に生成させることができる。

この動作の詳細を、図１０を参照して説明する。ここでは、一例として、６つのウィンドウ画面を同時に表示できる場合の構成を説明する。この場合、表示可能な画面数分（ここでは「６」）の自表示バッファが用意され、これらの自表示バッファのそれぞれを指定するオブジェクトポインタアレイ（ウィンドウオブジェクトアドレスポインタアレイ）が、自表示ＡＰＩのレジスタに実装（以下、「ポインタレジスタ」とする）されている（図９参照）。

ここで、外部表示装置３００が接続されていない場合においては、最前面に表示するアプリケーション以外は背面のレイヤに描画されるようになる。すなわち、複数のアプリケーションが実行されている場合でも、表示部１３２に表示出力できるのは１つのアプリケーションに限られている。

一方、外部表示装置３００が接続された状態では、非対応アプリが起動される際、描画オブジェクトのレイヤに応じたポインタレジスタにオブジェクトのアドレスを格納する。この場合、自表示ＡＰＩは、コマンド実行後にポインタレジスタを調べ、アドレスが登録されている（ＮＵＬＬではない）状態であれば、当該ポインタが指定している自表示バッファのコールバック処理をおこなうことで、表示データをウィンドウ作成部に転送する。

図１０は、このような動作にかかるポインタレジスタの詳細を示しているが、図１０の例では、ポインタレジスタの１番〜３番にオブジェクトアドレスが登録され、４〜６番についてはＮＵＬＬとなった状態を示している。この場合、１番のポインタレジスタに対応する自表示バッファ１に描画されたデータ（図１０の例では、文字パターン「ＡＢＣ」）と、２番のポインタレジスタに対応する自表示バッファ２に描画されたデータ（図１０の例では、文字パターン「ＤＥＦ」）と、３番のポインタレジスタに対応する自表示バッファ３に描画されたデータ（図１０の例では、文字パターン「ＧＨＩ」）がコールバック処理によりウィンドウ作成部にバッファ転送され、ウィンドウ画像と合成後、外部表示ＡＰＩの外部表示バッファに転送される。この結果、外部表示装置３００の表示画面上に、図８（ｂ）に示すように、複数の非対応アプリの画面を示すウィンドウ画面が同時に表示される。

図５の「外部表示処理」では、このような動作がアプリケーションの実行に応じて繰り返しおこなわれ、実行を終了したアプリケーションについては、当該アプリケーションの表示動作を順次終了させる（ステップＳ２０９：Ｙｅｓ、ステップＳ２１０）。

以上の処理は、外部表示装置３００の接続が解除されるまで繰り返しおこなわれ（ステップＳ２１１：Ｎｏ）、接続検出部１１２により外部表示装置３００の接続解除が検出されると（ステップＳ２１１：Ｙｅｓ）、本処理を終了し「出力制御処理」（図４）のフローに戻る。

ここで、接続検出部１１２の検出動作によりクレードル２００との接続が解除されるまでは（ステップＳ１０３：Ｎｏ、図４）、移動体通信端末１００のハンズフリーモードが維持される。このとき、外部表示装置３００の接続が再度検出されれば（ステップＳ１０２：Ｙｅｓ）、接続された外部表示装置３００に応じた「外部表示処理」が実行されることになる（ステップＳ２００、図５）。

そして、移動体通信端末１００とクレードル２００との接続が解除されたことを検出すると（ステップＳ１０３：Ｙｅｓ）、接続検出部１１２は、その旨を出力制御部１１３と入力制御部１１４に通知する。出力制御部１１３と入力制御部１１４は、接続検出部１１２からの通知に応じて、それぞれ出力部１３０と入力部１４０を制御することでハンズフリーモードの設定を解除し（ステップＳ１０４）、処理を終了する。

なお、図９に示したような、複数画面分の自表示バッファを用意できる場合、外部表示装置３００に表示させる際の表示レイヤを、例えば、自表示バッファの番号などによって規定することもできる。例えば、１〜ｎの自表示バッファが用意されている場合に、１番目の自表示バッファをレイヤ１（最前面）に対応づけておき、ポップアップ表示させるよう予め指定されたイベントやアプリケーションについての画面を自表示バッファに展開させる際には、１番目の自表示バッファを用いるようにする。これにより、指定されたイベントやアプリケーションの画面が最前面に表示されるポップアップ表示とすることができる。

以上説明したように、本発明を上記実施形態の如く適用することにより、表示手段を備えている装置に外部表示装置を接続した際の利便性の向上を、低コストで実現することができる。すなわち、ＡＰＩやイベントシンクなどを利用することで、外部表示装置に対応していないアプリケーションが存在していても適切に表示することができる。つまり、すべてのアプリケーションを外部表示装置に対応したものにしなくてもよいため、開発・製造時のコスト増を回避することができるとともに、利便性の向上を図ることができる。

また、外部装置を接続している際に特定のイベントやアプリケーションについての画面をポップアップ表示させることができるので、移動体通信端末１００をパーソナルコンピュータとして使用している際にも、音声通話の着信や電子メールの受信を知ることができる。さらに、自動的にハンズフリーモードへ移行することで、音声通話の着信などが発生しても、外部表示装置３００や外部入力装置４００を接続したまま音声通話をおこなうことができる。

なお、上記実施形態では、接続された外部装置（外部表示装置３００）での表示動作について説明したが、外部入力装置４００が接続されている場合、例えば、入力動作にかかるＡＰＩと、上述した自表示ＡＰＩや外部表示ＡＰＩが協働することで、外部入力装置４００によって入力された文字列などが自表示バッファ上に描画されることで、外部表示装置３００に表示されている非対応アプリのウィンドウ画面内に反映させることができる。

ここで、操作部１４１を構成するキーパットと外部入力装置４００とで、例えば、文字入力方式が異なる場合、外部入力装置４００が接続されたことを契機に、外部入力装置４００に対応したＦＥＰ（Front End Processor）などをアプリケーション実行部１１１が実行することで、上述したような表示画面に入力内容を反映させる動作を実現することができる。この場合、外部入力装置４００からの入力に応じた文字列などが自表示バッファ上で描画され、この画像データが外部表示バッファに転送されることで、外部入力装置４００を使った入力が反映された画面が外部表示装置３００に表示される。

また、上記実施形態では、外部入力装置４００として文字入力のためのキーボードが接続された場合を例示したが、例えば、マウスなどのポインティングデバイスが外部入力装置４００として接続されてもよい。この場合、キーボードとポインティングデバイスの双方が外部入力装置４００として接続されてもよいが、例えば、ポインティングデバイスのみが接続された場合、図１１に示すように、当該ポインティングデバイス（外部入力装置４００）の操作に対応したソフトウェアキーを外部表示装置３００に表示するように動作してもよい。

上記実施形態は一例であり、本発明の適用範囲はこれに限られない。すなわち、種々の応用が可能であり、あらゆる実施の形態が本発明の範囲に含まれる。

例えば、上記実施形態では、外部表示装置３００や外部入力装置４００がクレードル２００を介して移動体通信端末１００に接続されるものとしたが、移動体通信端末１００に直接接続される構成としてもよい。この場合、移動体通信端末１００に外部表示装置３００や外部入力装置４００が接続されたことを契機にハンズフリーモードに設定するよう動作してもよい。ハンズフリーモードへの移行は、上述した例に限られず、例えば、移動体通信端末１００の動作（例えば、音声通話の着信）と予め対応づけておくことで、該当する動作が発生した場合にハンズフリーモードとなるよう動作してもよい。

なお、クレードル２００との接続や、外部装置（外部表示装置３００や外部入力装置４００）が接続された際に実施される動作は、ハンズフリーモードへの移行に限られるものではない。例えば、着信音の鳴動や、着信音の代替となるバイブレータ機能をオフにするよう動作してもよい。

例えば、上記実施形態では、本発明にかかる端末装置を移動体通信端末によって実現した場合を例示したが、表示装置を有するとともに、外部表示装置などの外部装置を接続可能なものであれば、移動体通信端末に限られず、種々の端末装置に本発明を適用することができる。

また、本発明にかかる構成を予め備えた端末装置だけでなく、既存の端末装置にプログラムを適用することで、本発明にかかる端末装置として機能させることができる。すなわち、上記実施形態で例示した制御部１１０が実行するプログラムと同様のプログラムを既存の端末装置に適用し、当該端末装置のコンピュータがプログラムを実行することで、上記制御部１１０と同様の機能が実現され、本発明にかかる端末装置として機能させることができる。

このようなプログラムの適用方法は任意であり、例えば、ＣＤ−ＲＯＭやメモリカードなどの記憶媒体に格納して適用できる他、例えば、インターネットなどの通信媒体を介して適用することもできる。

１００…移動体通信端末、１１０…制御部、１１１…アプリケーション実行部、１１２…接続検出部、１１３…出力制御部、１１４…入力制御部、１２０…通信制御部、１２１…音声通信部、１２２…データ通信部、１２３…アンテナ部、１３０…出力部、１３１…音声出力部、１３２…表示部、１３５…表示メモリ部、１４０…入力部、１４１…操作部、１４２…音声入力部、１５０…コネクタ部、１６０…電源部、１７０…記憶部、２００…クレードル、３００…外部表示装置、４００…外部入力装置

Claims (7)

1. 生成した画像データに基づく表示出力をおこなう表示手段を備えた端末装置において、
   前記表示手段の表示サイズに対応する第１のメモリ領域に前記表示手段で出力する前記画像データを展開して前記表示手段への表示出力をおこなう第１の表示制御手段と、
   外部装置を接続する接続手段と、
   前記接続手段に接続された外部装置の種類を判別する接続判別手段と、
   前記接続判別手段によって外部表示装置が接続されたと判別された場合に、前記表示手段への表示出力が該接続された外部表示装置に対応しているか否かを判別し、対応していない場合、前記第１のメモリ領域に展開されている前記画像データを、前記外部表示装置の表示サイズに対応する第２のメモリ領域に転送して展開する第２の表示制御手段と、
   前記第２のメモリ領域に展開された前記画像データを、前記接続手段に接続された前記外部表示装置に出力する外部表示手段と、
   指定されたアプリケーションがいずれであるかを示す設定情報を記憶する記憶手段と、を備え、
   前記外部表示手段は、前記第２のメモリ領域に転送された前記設定情報が示すアプリケーションについての画像データを、当該画像データが示す画面が前記外部表示装置の表示画面における最前面に表示されるよう、当該画像データを該外部表示装置に出力する、
   ことを特徴とする端末装置。
2. 前記第２の表示制御手段は、前記第１の表示制御手段と前記第２の表示制御手段との間のＡＰＩ（Application Programming Interface）により、前記第１のメモリ領域に展開されている画像データを前記第２のメモリ領域に転送する、
   ことを特徴とする請求項１に記載の端末装置。
3. 前記第２の表示制御手段は、前記端末装置でのアプリケーションの実行に伴うイベントシンクについての追加イベントシンクにより前記第１のメモリ領域に展開されている画像データを前記第２のメモリ領域に転送する、
   ことを特徴とする請求項１に記載の端末装置。
4. 前記第１の表示制御手段は、実行されているアプリケーションの数に応じた複数の前記第１のメモリ領域に、実行中の各アプリケーションについての画像データを展開し、
   前記第２の表示制御手段は、前記複数の第１のメモリ領域に展開されている画像データを、前記第２のメモリ領域に転送する、
   ことを特徴とする請求項１乃至３のいずれか１項に記載の端末装置。
5. 前記第１の表示制御手段は、前記接続判別手段により前記接続手段に外部入力装置が接続されたと判別された場合、該外部入力装置からの入力を示す画像データを前記第１のメモリ領域に展開する、
   ことを特徴とする請求項１乃至４のいずれか１項に記載の端末装置。
6. 前記端末装置は、音声通話機能を含む端末装置であり、
   前記接続判別手段により前記外部装置が接続されたことが判別された場合に、前記音声通話機能にかかる音声入出力をハンズフリーモードに切り替える音声制御手段をさらに備える、
   ことを特徴とする請求項１乃至５のいずれか１項に記載の端末装置。
7. 生成した画像データに基づく表示出力をおこなう表示手段と、外部装置を接続する接続手段と、指定されたアプリケーションがいずれであるかを示す設定情報を記憶する記憶手段と、を備えた端末装置を制御するコンピュータに、
   前記表示手段の表示サイズに対応する第１のメモリ領域に前記表示手段で出力する前記画像データを展開して前記表示手段への表示出力をおこなう第１の表示制御機能と、
   前記接続手段に接続された外部装置の種類を判別する接続判別機能と、
   外部表示装置が接続されたと判別された場合に、前記表示手段への表示出力が該接続された外部表示装置に対応しているか否かを判別し、対応していない場合、前記第１のメモリ領域に展開されている前記画像データを、前記外部表示装置の表示サイズに対応する第２のメモリ領域に転送して展開する第２の表示制御機能と、
   前記第２のメモリ領域に展開された前記画像データを、前記接続手段に接続された前記外部表示装置に出力する外部表示機能と、を実現させ、
   前記外部表示機能は、前記第２のメモリ領域に転送された前記設定情報が示すアプリケーションについての画像データを、当該画像データが示す画面が前記外部表示装置の表示画面における最前面に表示されるよう、当該画像データを該外部表示装置に出力する、
   ことを特徴とするプログラム。

Images