JP4991859B2 - 遠隔地コンピュータ制御のための制御方法 - Google Patents

Description

本発明は入出力装置とメモリー容量の限られた遠隔通信端末を用いて、データ伝送速度が限られ、且つ、伝送コストが高い通信網環境においても遠隔地にあるコンピュータを効率よく制御することのできる制御方法に関する。

遠隔地コンピュータとユーザーの端末との間における使用環境の同期化は、有線または無線の通信網を介して達成することができる。従来の遠隔制御においては、両者間の元の形態そのままの、正確で且つ迅速な同期化が重要視される。これにより、遠隔地コンピュータの画面が元の形態そのままでリアルタイムにてユーザーの端末に表示され、ユーザーの端末において入力した事項がそのまま遠隔地コンピュータに適用される。

これが可能なのは、通信網のデータ伝送速度が十分に高く、データ伝送コストが低い他、遠隔地コンピュータとユーザーの端末の形態と性能が類似しているためである。通信網を介して送られるデータ量を減らす試みはあるが、あくまでも両者間の元の形態そのままの正確な同期化という条件を満足する範囲内において画面色相数の減少、データ圧縮などの単純な方法を用いたものである。入力の場合には、両者の入力装置がほとんど類似していると想定されており、それにより、入力装置の違いによる変換は考慮されていない。

このため、移動通信網の場合のようにデータ伝送速度が十分に高くなく、データ伝送コストが高い他、遠隔地コンピュータとユーザーの端末の性能と入出力装置の形態の違いが大きな場合には従来の技術を適用するには問題がある。例えば、従来の遠隔制御においては遠隔地コンピュータの画面をユーザー端末において見るために遠隔地コンピュータの画面の内容が変更される度に変更されたデータを直ちにユーザー端末に送る。

しかしながら、移動通信網の場合には、伝送速度が変更されたデータをリアルタイムにて送るほど十分ではないためリアルタイム制御が困難であり、膨大なデータ量により高いコストが消耗され、画面データが送られるとしても、それを元の形態にて表示するにはユーザー端末画面のサイズがあまりにも小さなため、情報の無駄遣いが発生してしまう。入力の場合にも、移動通信網のユーザー端末のほとんどを占める携帯電話は数字ボタンといくつかの特殊ボタンのみから構成されているため、一般のコンピュータキーボードの１００余個のキーとマウスをそのままエミュレートすることは実質的に不可能である。

そこで、本発明の目的は、入出力装置とメモリー容量の限られたユーザー端末を用いて、データ伝送速度が限られ、且つ、伝送コストが高い通信網環境においても遠隔地にあるコンピュータを効率よく制御することのできる制御方法を提供するところにある。

前記目的を達成するために、本発明による制御方法は、通信網に接続されて互いに通信可能なユーザー端末と遠隔地コンピュータを備えるシステムにおいて、前記遠隔地コンピュータに表示された画面に対応する画面データを取り出して前記ユーザー端末の仕様に合うように変換し、前記遠隔地コンピュータにおいて実行中の応用プログラムの画面制御関連情報を取り出すステップと、前記変換された画面データと取り出された前記画面制御関連情報を前記ユーザー端末において受信するステップと、受信された前記変換された画面データと前記画面制御関連情報に基づいて、前記ユーザー端末の画面を表示し、表示された画面を基にユーザー入力情報を入力されて前記遠隔地コンピュータに送るステップと、前記遠隔地コンピュータにおいて送られた前記ユーザー入力情報を前記遠隔地コンピュータの規格に合うように変換して、前記遠隔地コンピュータにおいて対応する動作を駆動するステップと、を含む。

本発明は、ユーザー端末に合う入力方式を提示し、遠隔地コンピュータとユーザー端末との間の形態と仕様の違いにより画面データと入力データを適切に変換し、ユーザーの画面認知を適切に保証するレベルにおいてデータ伝送量を減らし、適切な伝送遅延を導入することにより、入出力装置とメモリー容量の限られた遠隔通信端末、及びデータ伝送速度が限られ、且つ、伝送コストが高い通信網において効率よく動作する遠隔制御環境を提供する。

本発明によれば、入出力装置とメモリー容量の限られた端末を用いて、データ伝送速度が限られ、且つ、伝送コストが高い通信網環境においても遠隔地にあるコンピュータを効率よく制御することができるので、ユーザーはどこでも通信網接続さえ支援されるならば、ＰＤＡまたは携帯電話などの端末を用いて社内コンピュータまたは家庭のコンピュータにアクセスして所要作業を効率よく行うことができる。

本発明による制御方法が適用されるモバイル機器用のコンピューティング環境提供システムの構成の一例を示す図。 図１に示すモバイル機器用のコンピューティング環境提供システムの動作方法の説明に供されるメッセージシーケンスチャート。 図１に示すモバイル機器用のコンピューティング環境提供システムの動作方法の説明に供されるメッセージシーケンスチャート。 図１に示すモバイル機器用のコンピューティング環境提供システムの動作方法を説明するために参照される図。 図１に示すモバイル機器用のコンピューティング環境提供システムの動作方法を説明するために参照される図。 図１に示すモバイル機器用のコンピューティング環境提供システムの動作方法を説明するために参照される図。 本発明による制御方法において用いられるユーザー端末に適した入力方法を説明するための図。 文字列の入力と入力対象個体検索を行う方法を説明するための図。 本発明による制御方法において用いられる画面データキャッシュの構成を説明するための図。

以下、添付図面に基づき、本発明を詳述する。

図１は、本発明による制御方法が適用されるモバイル機器用のコンピューティング環境提供システム構成の一例を示す図である。図１を参照すると、ユーザー端末１２０と遠隔地コンピュータ１１０が移動通信網３０及びインターネット４０を介して通信可能に接続されている。遠隔地コンピュータ１１０は、通常のコンピュータや、所定のサービスを提供するプロバイダーに設けられたサーバーを備える。

遠隔地コンピュータ１１０は、制御部１１１と、管理データベース１１３と、モバイル画面変換部１１５及び応用プログラム１１７を備えていてもよい。制御部１１１は、管理データベース１１３を用いてユーザー認証を行い、ユーザー別にコンピューティング環境を生成して管理し、ユーザー端末１２０から動作指示を受け取って応用プログラム１１７の動作を制御し、モバイル画面変換部１１５から現在の状態に適切なモバイル画面を受け取ってユーザー端末１２０に受け渡す。管理データベース１１３にはユーザー認証のための情報と個別ユーザーのコンピューティング環境情報がデータベース化されて貯蔵される。応用プログラム１１７は、通常の個人向けコンピュータにおいて行われるプログラムであり、本発明のために別途に制作または修正しなかった既存の通常のプログラムである。
コンピューティング環境は、その環境内において行われる応用プログラム１１７と、応用プログラム１１７が貯蔵するドキュメントや環境設定情報などのコンピューティング環境情報、応用プログラム１１７を表示する画面などから構成される。コンピューティング環境は、遠隔地コンピュータ１１０に同時に複数存在してもよく、同時に存在する各コンピューティング環境は互いに対して独立して構成される。

コンピューティング環境は、オペレーティングシステムが提供するユーザー別アカウントやターミナル機能とは無関係であってもよい。すなわち、遠隔地コンピュータ１１０は、オペレーティングシステムが提供する機能の代わりに、オペレーティングシステム上のユーザーアカウント一つと当該アカウントがログオンしたときに提供されるデスクトップ画面１枚を用いて、複数のコンピューティング環境を提供することができる。この場合、制御部１１１は、応用プログラム１１７がドキュメントを貯蔵する位置や環境設定情報を貯蔵する位置を変更してユーザー固有の管理データベース１１３空間に貯蔵するようにすることにより、オペレーティングシステム上のユーザーアカウント一つのみを用いて複数のコンピューティング環境情報が共存するようにできる。このときに用いられる位置変更方法の例としては、ウィンドウズ（登録商標）環境のユーザープログラミングインターフェースフーキングなどがある。

また、制御部１１１は、デスクトップ画面１枚を用いて複数のコンピューティング環境画面を提供するためにデスクトップ画面を論理的に分割する方式を使用することができる。通常、ユーザー端末１２０の画面解像度は遠隔地コンピュータ１１０の画面解像度に比べて低いため、遠隔地コンピュータ１１０のデスクトップ画面をユーザー端末１２０の画面解像度に合わせて論理的に分割して、コンピューティング環境別に当該論理分割部分のみを用いて当該ユーザー端末１２０に表示される画面を構成する。例えば、遠隔地コンピュータ１１０のデスクトップ画面解像度が１６００ｘ１２００であり、ユーザー端末１２０の画面解像度が３２０ｘ２４０である場合、遠隔地コンピュータ１１０のデスクトップ画面はユーザー端末１２０画面の２５枚分のサイズに相当するため、２５個の論理分割が可能になり、少なくとも２５個のコンピューティング環境が可能になる。

各ユーザーが行う応用プログラム１１７は、遠隔地コンピュータ１１０画面のうち当該論理分割の位置に配置され、論理分割に見合う分のユーザーインターフェースサイズを有するように調整される。モバイル画面変換部１１５は、各コンピューティング環境に割り当てられた論理分割部分のみを用いて当該ユーザーに受け渡すユーザー端末１２０用の画面を構成する。このため、実際に遠隔地コンピュータ１１０のデスクトップ画面には複数のユーザーのコンピューティング環境において遂行中の応用プログラム１１７がタイル状に配置されているが、実際にユーザーは自分に提供されるコンピューティング環境用のタイル一つ、すなわち、論理分割一つのみを見ることになる。ここで、可能な論理分割数以上のコンピューティング環境を提供しなければならない場合、最も長時間未使用のコンピューティング環境の論理分割を、現在論理分割を割り当てられるべきコンピューティング環境に割り当て直すような方式を使用する。このとき、既存のコンピューティング環境の応用プログラム１１７はユーザーインターフェースが最小化されて画面から消え、新たなコンピューティング環境の応用プログラム１１７のユーザーインターフェースが当該論理分割に配置される。

ユーザー端末１２０は、インターネット４０及び移動通信網３０を介して遠隔地コンピュータ１２０と通信可能であり、ユーザー端末１２０には携帯電話、ＰＤＡなどが含まれる。ユーザー端末１２０は、コンピュータ環境の制御のためのユーザーインターフェース１２１を備える。ユーザー端末１２０は、ユーザーインターフェース１２１をユーザーに見せ、所望の動作が選択されると、その動作を遠隔地コンピュータ１１０に受け渡して動作を行うようにする。また、動作結果に応じて変更された状態や遠隔地コンピュータ１１０のコンピューティング環境において自動的に変更された状態を伝送されてユーザーインターフェース１２１に反映する。

図２及び図３は、図１に示すモバイル機器用のコンピューティング環境提供システムの動作方法の説明に供されるメッセージシーケンスチャートである。

先ず、図２は、モバイル機器用のコンピューティング環境提供システムの動作方法のうち初期化に関連する事項を説明するためのメッセージシーケンスチャートである。図２を参照すると、インターネット可能な情報機器を介して遠隔地コンピュータ１１０にサービス利用のための登録を申請し（Ｓ２００）、これにより、登録過程を経た後（Ｓ２０５）、遠隔地コンピュータ１１０から登録確認を受ける（Ｓ２１０）。初期状態において、ユーザーはユーザー端末１２０にユーザーインターフェース１２１を提供するプログラムをダウンロードされる。

この後、ユーザー端末１２０においてコンピューティング環境を使用するためにログインを要請し（Ｓ２１５）、遠隔地コンピュータ１２０は、これに対する認証手続きを経た後（Ｓ２２０）、当該ユーザー用のコンピューティング環境を生成し（Ｓ２２５）、生成されたコンピューティング環境の初期状態を送る(Ｓ２３０)。ユーザー端末１２０は、送られたコンピューティング環境初期状態をメニューと一緒にユーザーインターフェースに表示する（Ｓ２３５）。

図３は、モバイル機器用のコンピューティング環境提供システムの動作方法のうちユーザー端末の動作選択から実際の応用プログラムの動作及び結果転送に関連する事項を説明するためのメッセージシーケンスチャートである。図３を参照すると、ユーザー端末１２０においては、画面に表示されたユーザーインターフェース１２１を照会して（Ｓ３００）、必要な機能を選択して当該動作を遠隔地コンピュータ１１０に受け渡す（Ｓ３０５）。

遠隔地コンピュータ１１０の制御部１１１は、ユーザー端末１２０から要請された動作を応用プログラム１１７に受け渡す（Ｓ３１０）。このとき、動作転送方法はウィンドウズ（登録商標）環境の場合、オブジェクトの連結と埋め込み（ＯＬＥ：object linking and embedding）の自動化、ウィンドウメッセージ伝送、キーボードとマウスのシミュレーション、応用プログラム１４が提供するアプリケーション・プログラミング・インターフェース（ＡＰＩ：Application Programming Interface）を使用する方法などが採用可能である。応用プログラム１１７は、受け渡された動作を行う（Ｓ３１５）。このとき、応用プログラム１１７の動作は既存の個人向けコンピュータにおける動作と同様である。モバイル画面変換部１１５は、応用プログラム１１７の状態を監視し続けていて、応用プログラム１１７の状態が変更されると、制御部１１１にその旨を報知する（Ｓ３２０）と共に、変更されたモバイル画面情報とその他変更事項を制御部１１１に受け渡す（Ｓ３２５）。制御部１１１は、受け渡された情報をユーザー端末１２０に受け渡す。

情報を受け取ったユーザー端末１２０は、ユーザーインターフェース１２１に情報を適用して表示する（Ｓ３３５）。ここでは、ユーザー端末１２０の動作選択による状態変更を例示しているが、ユーザー端末１２０の動作選択なしでも応用プログラム１１７の状態は変更可能であり、その場合、モバイル画面変換部１１５は、前記動作選択による結果の場合と同様に、当該状態変更を感知して制御部１１１に報知する。

図４から図６は、図１に示すモバイル機器用のコンピューティング環境提供システムの動作方法を説明するために参照される図である。
先ず、図４は、ユーザー端末１２０においてユーザーがコンピューティング環境を利用するために遠隔地コンピュータ１１０に接続する状況を説明するための図である。図４の（ａ）を参照すると、ユーザーは、ユーザー端末１２０において所定のキーを押下して、遠隔地コンピュータ１１０に接続する。遠隔地コンピュータ１１０は、ユーザー端末１２０が携帯電話である場合に電話番号を利用するか、あるいは、パスワードを入力されるなどの認証手続きを経て、当該ユーザー用に生成したコンピューティング環境の初期状態をユーザー端末１２０に送る。ユーザー端末１２０は、送られた情報に基づいて適切な画面とメニューを表示する。図４の（ｂ）においては、ユーザーが利用可能なメニューを表示しているが、既存の遠隔制御ツールの場合のようにコンピューティング環境の画面を表示することもできる。

図５は、メール応用プログラムを使用する場合を例にとって説明するための図である。図５においては、メール機能のうち特定のメールフォルダーを選択した後、そのフォルダー内のメールを閲覧する場合を説明する。個人向けコンピュータのメール応用プログラムは、ユーザー端末１２０において直接的に使用し難い複雑なユーザーインターフェースを有しているが、ここでは、前記ユーザーインターフェースをモバイル画面変換部１１５とユーザー端末１２０のユーザーインターフェース１２１との間の相互作用によりモバイル機器に最適化したユーザーインターフェースを提供することが分かる。ユーザーは、受信箱を選択することにより、新たなメールを確認することができ、任意のメールフォルダーを選択することにより、既存に貯蔵されたメールを閲覧することができる。

図５において、（ａ）はフォルダー一覧を選択する過程、（ｂ）は選択されたフォルダーにおいて「メール一覧を見る」を選択する過程、（ｃ）は選択されたメール一覧がディスプレイされたことを示す。また、（ｄ）は「メールを見る」を選択する過程、（ｅ）はメールの内容がディスプレイされたことを示す。

このようにフォルダーやメールを選択する過程には、一覧形式のメニュー項目とポップアップ形式のメニュー項目などが用いられる。フォルダーやメールが選択されると、モバイル機器２０は、当該動作情報を遠隔地コンピュータ１１０に受け渡し、メール応用プログラムが実際の動作を行った後、その結果をユーザー端末１２０に再送する。メール応用プログラムが行った結果はユーザー端末１２０のユーザーインターフェース１２１に表示されて次の動作を行うようにする。
メールの内容はテキスト形式にて受け取って表示するか、あるいは、メール応用プログラムがコンピューティング環境の画面に表示したものをキャプチャーしたイメージを受け取って表示するか、あるいは、モバイル機器においてメール内容そのものを受け取って画面にオリジナルと類似する形態にて表示することができる。図５において、（ｆ）はメール受信者一覧を選択する過程、（ｇ）は「オリジナル形式で見る」を選択した場合、（ｈ）はこれにより「オリジナル形式で見る」が実行された画面を示す。このようにコンピューティング環境サーバー１０とモバイル機器２０においてメール応用プログラムを認知し、特化して処理することにより、単に全体の画面キャプチャーを用いて画面を表示して入力される既存の遠隔制御ツールに比べて使い勝手と効率を高めることができる。

図６は、ウェブブラウザーを使用する場合を説明するための図である。同図を参照すると、ウェブブラウザー画面はメール応用プログラムの画面に比べて個人向けコンピュータにおいて動作するオリジナル画面に近い結果をユーザー端末２０の画面に表示することが分かる。これは、オリジナルに近い画面を見なければ、情報閲覧及び画面制御が容易であるウェブブラウザーの特性によるものであり、応用プログラム１１７の種類によって相異なるように特化して処理する例である。

図６において、（ａ）はウェブ選択過程、（ｂ）は開始ウェブページの一例、（ｃ）はテキスト入力過程、（ｄ）はボタンクリック過程を示す。これらの過程により新たなウェブページに移動し、（ｅ）は新たなウェブページを示す。

図６を参照すると、テキストの入力とボタンを押下する動作を個人向けコンピュータとは異なるように処理することが分かるが、これは、マウスがなく、しかも、キーボード入力が制限的なモバイル機器の特性によるものである。
このように、応用プログラムの画面とは別個の特化されたユーザーインターフェースを用いて制御できるように提供する場合と、オリジナル画面に近い画面を表示しながら制御できるように提供する場合がある。これらのうち後者の場合には、ユーザー端末の制限を克服し、個人向けコンピュータのレベルで画面を制御可能なユーザーインターフェースを提供する必要がある。以下、その提供方法を述べる。この提供方法は前者の場合にも一部流用可能である。

図７は、代表的な低速通信網である無線通信網において汎用される端末である携帯電話の入力装置であって、本発明による制御方法において用いられるユーザー端末に適した入力方法を説明するためのものである。通常のコンピュータの入力装置は、１００余個のキーを有するキーボードとマウスから構成されているが、最近のオペレーティングシステムにおいては、文章入力を除くと、ほとんどの操作をマウスで行うことになる。このため、本発明においては、マウス操作を効率よく支援できるように携帯電話のキーを配列する。

先ず、数字キーパッド領域をマウスカーソルの移動を行う機能に割り当てる。「２」、「４」、「６」、「８」のキーはそれぞれマウスカーソルを上、左、右、下に移動させ、「１」、「３」、「７」、「９」のキーはそれぞれマウスカーソルを左上、右上、左下、右下に移動させる。各キーを押下すると、マウスカーソルが移動され始め、離すと、マウスカーソル移動が止まる。また、各キーを押下したとき、最初にはマウスカーソルが徐々に移動していて、時間が経過するに伴い次第に速くなる方式を支援して、細かい操作と長距離を速く移動する操作を同時に可能にする。

また、ユーザー端末１２０においてコンピュータ画面を縮小して表示したり、ユーザー端末１２０の仕様の限界により単位時間当たりの画面更新回数が限られるとき、マウスの位置がある位置から他の位置に遠くスキップすることがある。この場合、コンピュータ側においては移動前地点と移動後地点との間の中間地点を適切に計算して指定してマウスにその地点を経由させることにより、マウスが遠くスキップして発生する副作用、例えば、マウスが上を通過しなければ活性化されないボタンが反応をしない現象などをなくす。

方向キー領域は、数字キーパッド領域を補助する役割に割り当てる。数字キーパッド領域が対角線移動まで支援するためより便利であるが、番号を用いたメニュー選択や文字入力などを行う状況においては使用することができないため、方向キー領域が追加的に必要となる。方向キーは、「２」、「４」、「６」、「８」のキーと同じ機能をする。中央の「ＯＫ」キーは、押下したときに現在画面に選択された個体が提供する機能の一覧をメニューとして表示する。これは、コンピュータの入力装置のうちマウスの右ボタンの役割とほとんど同様である。この機能の一覧のうちユーザーが最も頻繁に使用する機能は数字キーパッド領域の５キーに割り当てる。

このため、５キーは、マウスの左ボタンの役割とほとんど同様である。その他にメニューキーは現在画面に選択された個体とは無関係な、全体的なメニューを表示するのに割り当て、取消はキーボードのＥｓｃキーと同じ役割を果たすように割り当て、確認キーは状況によって方向キー領域中央のＯＫキーや数字キーパッド領域の５キーと同じ役割を果たすように割り当てる。シフト−クリックなど特殊な形態にてマウスボタンを押下する機能は中央のＯＫキーを押下すれば表示されるメニューの一部として提供するようにする。

このようにキーとメニューを割り当て、当該入力を遠隔地コンピュータに送り、適切なシステムイベントに変換して入力することにより、携帯電話においてコンピュータのマウスを効率よく操作することが可能になる。

一方、コンピュータ画面のうち一部の区域がユーザー端末画面に所定の倍率にて拡大されて表示されるようにする場合、マウスカーソル移動に加えて、他の区域を見るために画面を移動させる機能が必要となるが、この機能を別途に割り当てるキーが不足するため、数字キーパッド領域や方向キー領域のモードを切り換えて最初のモードにおいてはマウスカーソル移動を、２番目のモードにおいては画面移動を支援するようにする。このとき、モード切換え機能は数字キーパッド領域下の「＊」キーや「＃」キーなどの特殊キーに割り当てるか、あるいは、別途のメニューとして表示する。これにより、ユーザーは、コンピュータ画面のうち自分が希望する一部を拡大した後、見える区域を自由に移動しながら見ることが可能になる。

マウスカーソル移動機能と画面移動機能の場合、マウスカーソルや現在見ている一部の区域が実際の画面の周縁に達したとき、追加的に移動指令が送られると、現在見ている画面のウィンドウがスクロール可能なものである場合、自動的にスクロールして他の部分を追加的に表示する機能を追加することが好ましい。
また、現在見ている画面のウィンドウがスクロール可能なものである場合、マウスカーソル移動機能とクリック機能のみを用いて、直接的にスクロールバーを制御してスクロールをすることは困難であるため、マウス位置にあるウィンドウを直ちにスクロール可能なマウスホイールのような機能が必要となるが、この機能を別途に割り当てるキーが不足するため、画面移動のような方式により数字キーパッド領域や方向キー領域のモードを切り換えてマウスホイールのような機能を支援するようにする。

モード切換え機能は、画面移動機能と同じ方式により提供する。また、実際にマウスホイールは上下にしか動作しないが、ここでは上下左右をいずれも支援することにより、水平にも容易にスクロールできるようにする。スクロールする方式は、一般ウィンドウズ（登録商標）のウィンドウの場合、ウィンドウのスクロール位置を調整することであり、ウェブページの場合、現在のマウス位置の個体から個体階層構造の最上位まで検査してスクロール可能な個体に対してスクロール指令を受け渡すことである。

画面の拡大と縮小はボリューム増加キーとボリューム減少キーを使用することが直観的であるが、携帯電話によって当該キーが存在しない場合があり、メニューにも追加することが好ましい。

現在の画面がウェブページである場合、現在のマウス位置のテキストのみを取り出してユーザー端末に表示することにより、実際のウェブページの表示方式とは無関係にテキストのみを容易に見ることができる。これは、ウェブページ全体をテキスト形式で見ることに比べて効率的であるが、その理由は、ウェブページ全体のテキストにはユーザーが実際に希望するテキスト情報以外の飾りやメニューテキストが大量に含まれている場合が多いためである。この機能を提供するために、先ず、現在のマウス位置のウェブ個体をＤＯＭ（Document Object Model）を通じて見つけた後、適切なレベルで当該個体の階層構造のうち１個体を選択し、その個体が含んでいるテキストをもＤＯＭを介して取り出す。

例えば、現在位置の個体が＜Ｐ＞個体である場合、当該個体のテキストのみを取り出すと、１パラグラフのみを取り出すことになり、記事ページの場合ごく一部のみを見るという不都合があるため、当該個体の親個体のテキストを取り出すのである。このように当該個体ではなく、その親個体のテキストを取り出さなければならないものとしては、＜Ａ＞、＜ＤＩＶ＞、＜ＦＯＮＴ＞、＜ＩＭＧ＞、＜ＯＬ＞、＜Ｐ＞、＜ＳＰＡＮ＞、＜ＴＲ＞、＜ＵＬ＞などがあり、ユーザーの好みによって対象個体を追加若しくは削除することができる。ここで、＜ＤＩＶ＞はウェブページによって＜ＴＤ＞の代わりに使用する場合があり、親のテキストを取り出すと、あまりにも大きな領域が取り出されるが、このために、＜ＤＩＶ＞の親が＜ＤＩＶ＞である場合にはそうように使用すると見なし、現在＜ＤＩＶ＞個体のテキストを取り出すようにすることが好ましい。

図８は、ユーザー端末を介して文字列の入力と入力対象個体検索を行う方法を説明するための図である。

文字列の入力は別途の入力ウィンドウを介して行う。前記メニュー項目の一つとして文字列入力メニュー項目が提供され、ユーザーがこのメニュー項目を選択すると、別途の入力ウィンドウが画面に表示され、ユーザーは方向キー領域を方向キーとして、数字キーパッド領域は文字入力キーとして用いて携帯電話において一般的に入力する方法により所望の文字列を入力する。別途の入力ウィンドウが表示されているため、ユーザーは数字キーパッド領域を混同することなく文字列入力に使用することができる。

入力された文字列は方向キー領域中央のＯＫキーや確認キーを押下してコンピュータに送ることができるが、このとき、文字列のみを送ってもよく、文字列の最後にＥｎｔｅｒキーを追加して送ってもよい。Ｅｎｔｅｒキーは、コンピュータにおいて表示されるほとんどの１行入力ウィンドウにおいて入力結果を実行する機能をするため、ユーザーはＥｎｔｅｒキー追加機能を使用することにより、マウスを操作してコンピュータ画面に表示された別途の実行ボタンを押下する手間を省くことができる。これにより、ユーザーは、ユーザー端末の限られた入力装置を介してコンピュータのキーボードを効率よく制御することが可能になる。

文字列を入力するには、文字列を入力可能な個体をコンピュータ画面において探索して選択しなければならない。コンピュータにおいて直接的に作業する場合には当該個体をマウスで選択してキーボードで入力すれば簡単であるが、ユーザー端末において解像度が十分ではないため、コンピュータ画面のうち一部のみを拡大して見ている場合には当該個体を探索して選択する作業に長時間がかかる。この不都合を解消するために、数字キーパッド領域下の「＊」キーや「＃」キーなどの特殊キーやメニューにおいて次の入力個体探索機能を提供して当該機能を行うと、次の入力個体をコンピュータ全体画面や現在選択された応用プログラムウィンドウにおいて探索してその個体が個人向け端末画面の適切な位置に表示されるようにし、当該個体にフォーカスを指定する。ここで、キーやメニューの他にも、前記マウスカーソル移動モードと画面移動モードに加えて、入力個体間移動モードを追加的に提供する方法を使用することもできる。これにより、ユーザーは、上述した文字列入力機能を直ちに使用することが可能になる。

このような機能はコンピュータのタップキーが有する機能と類似しているといえるが、ウェブページの場合、タップキーは入力個体だけではなく、ハイパーリンクまで含んで選択するため、ハイパーリンクが多いページの場合、タップキーをそのまま支援する方式ではユーザーが入力個体を早い時間内に探索することができない。このため、この機能においては、現在制御する対象がウェブページである場合に、ウェブページのＤＯＭを解析、入力個体のみを選別して選択するようにする。一般のウィンドウズ（登録商標）画面においてもウィンドウコントロール解析によりユーザーが重要視する個体のみを選別することが好ましい。

このため、本発明による制御方法においては、単なる画面キャプチャーと入力装置エミュレーションだけではなく、現在ユーザーが使用しているプログラムやウェブページを感知、解析して画面制御関連情報を取り出すことにより、現在の状況に合うようにユーザーインターフェースを提供することが可能になる。

本発明による制御方法において遠隔地コンピュータの画面データをユーザー端末で効率よく伝送・表示する方法には、「画面の一部のみを送る」、「画面データをキャッシュする」、「画面伝送を遅延する」という方法がある。

これらのうち画面の一部のみを送る方法は、一般のユーザー端末の画面解像度が遠隔地コンピュータの画面解像度よりも低い場合に有用である。この場合、ユーザー端末において遠隔地コンピュータ画面を元のサイズ通りに見るには画面の一部のみを見るしかない。この場合、ユーザーが見る区域の画面データのみをユーザー端末に送ってアップデートし、見る区域が変更される場合、当該区域の画面データを再びユーザー端末に送ってアップデートすることにより、全体の画面データの一部だけで遠隔制御を行うようにする。

画面データキャッシュはデータの伝送量を最小化させ、遠隔地コンピュータとユーザー端末のメモリー使用を節約できるようにする。従来の遠隔制御システムは、ユーザー端末が遠隔地コンピュータの画面全体をメモリーに有している場合があるという想定下で動作するが、本発明による制御方法においては、ユーザー端末のメモリーに制約がありうるということを考慮する。

図９は、本発明による制御方法において用いられる画面データキャッシュの構成図である。ユーザー端末２２０は、ユーザーの要請に応じて、遠隔地コンピュータの画面を種々の倍率にて表示することができる。遠隔地コンピュータ２１０においては、画面をユーザー端末２２０が要求する倍率別にキャプチャーしておき、現在ユーザー端末が見ている区域に対するデータが変更される場合、変更された部分を現在ユーザー端末２２０において指定した倍率にてセル単位で分割してユーザー端末に送る。このとき、変更有無は、倍率別画面キャッシュと現在画面をセル単位で分割して比較することにより判断する。

もし、ユーザー端末２２０が要求する倍率の種類が多くて遠隔地コンピュータ２１０において全ての倍率に対する画面キャッシュを同時にメモリーに有していることが不可能になれば、最も長時間未使用の倍率に対する画面キャッシュを削除してメモリー空間を確保する。今後ユーザー端末２２０が当該倍率に対する画面データを要求する場合、新たに画面キャッシュを生成した後、全ての領域が変更されたかのように動作する。ユーザー端末２２０においては、各倍率別にセル単位でキャッシュを行う。セルのサイズは画面全体のサイズよりも遥かに小さくて、遠隔地コンピュータ２１０の画面データ全体を有していない場合であっても、遠隔地コンピュータ２１０画面の一部をユーザー端末２２０に表示することができる。ユーザー端末２２０も、前記遠隔地コンピュータ２１０の場合と同様に、新たなセルデータを収容するのにメモリーが不足する場合、最も長時間未使用のセルをメモリーから削除してメモリー空間を確保し、今後画面表示のために当該セルが要求される場合、遠隔地コンピュータに要求して再受信する。

このため、遠隔地コンピュータ２１０にとっては、ユーザー端末２２０に送った後に変更されなかったセルに対する要求を受信することができ、その場合、ユーザー端末に当該セルを再送しなければならない。逆に、遠隔地コンピュータ２１０からキャッシュを削除した場合、ユーザー端末２２０は既に受信したセルを再受信することもできる。しかしながら、遠隔地コンピュータ２１０は相対的にメモリーが十分であるため、このような事態が発生する場合は稀である。

上記のように遠隔地コンピュータ２１０とユーザー端末２２０が別途にキャッシュを管理することにより、メモリー限界を考慮しながらも、データ伝送量を最小化させる遠隔制御システムを提供することができる。しかしながら、遠隔地コンピュータ２１０において画面の内容が頻繁に変更される場合には、依然としてデータ伝送量が多いという問題がある。

本発明による制御方法においては、画面データの伝送を遅延させ、遅延される期間中にユーザー端末において既に有しているデータを用いて適切に画面を表示する方法により画面内容変更量によるデータ伝送量の増加を極力抑える。すなわち、遠隔地コンピュータにおいては、ユーザー端末からの見る区域変更要請と画面データ要請を、これらの要請に直接的に応答することなく内部的に記録しておき、所定の周期ごとに画面変更の有無を検査して、その結果として選択された画面部分と一緒に要請されたデータを送る。このとき、画面が大幅に変更されたため伝送すべき画面データがあまりにも多い場合には、その一部のみを送り、残りは次の周期に検査し直して送るようにできる。ユーザー端末２２０は、遠隔地コンピュータ２１０から画面データが送られてくるまでキャッシュなどの既に有しているデータを用いて画面を表示し、後ほどに画面データが送られてきたときに残りの画面を表示する。

こうしても、通信網速度とユーザー端末２２０の処理速度の限界のために単位時間当たりにユーザー端末２２０が送られて処理可能な量を超える画面データを遠隔地コンピュータ２１０が送ることができるため、所定の周期ごとに遠隔地コンピュータがユーザー端末から画面データを受信して処理完了したという旨を受信した後、次の周期に移行するようにする。ここで、伝送周期と周期当たりの伝送量はユーザーオプション入力により処理するか、あるいは、駆動中にデータ伝送速度によって自動的に調節することができる。

このように画面データの伝送を遅延させる場合、ユーザー端末２２０の画面がリアルタイムにてアップデートされないため不便であるかもしれないが、過度な伝送量によるコストアップと通信網速度の限界による遅延を緩和することができるという利点により不便さを相殺することができる。

画面データ伝送の他に、ユーザー入力情報もリアルタイムにて送ることなく所定の周期ごとに送る方法を使用することができる。マウスカーソル位置移動のように単時間に多量の入力データが生成される場合、この方法を使用すると、データ伝送量をかなり低減することができる。この場合、実際の入力データの伝送は遅延されるとしても、入力データによる画面変化はユーザー端末において予め表示することにより、遅延によるユーザーの不便さを極力抑えることができる。

また、以上においては、本発明の好適な実施形態について図示して説明したが、本発明は上述した特定の実施形態に限定されるものではなく、請求範囲において請求する本発明の要旨を逸脱することなく当該発明が属する技術分野において通常の知識を持った者によって種々の変形実施が可能であることはもちろんであり、これらの変形実施は本発明の技術的思想や展望から個別的に理解されてはならないであろう。

本発明は、入出力装置とメモリー容量の限られた遠隔通信端末に用いられて、データ伝送速度が限られ、且つ、伝送コストが高い通信網環境においても遠隔地にあるコンピュータを効率よく制御することができる。

Claims (27)

1. 通信網に接続されて互いに通信可能なユーザー端末と遠隔地コンピュータを備えるシステムの制御方法において、
   前記遠隔地コンピュータに表示された画面に対応する画面データを取り出して前記ユーザー端末の仕様に合うように変換し、前記遠隔地コンピュータにおいて実行中の応用プログラムの画面制御関連情報を取り出すステップと、
   前記変換された画面データと取り出された前記画面制御関連情報を前記ユーザー端末において受信するステップと、
   受信された前記変換された画面データと前記画面制御関連情報に基づいて、前記ユーザー端末の画面を表示し、表示された画面を基にユーザー入力情報を入力されて前記遠隔地コンピュータに送るステップと、
   前記遠隔地コンピュータにおいて前記ユーザー入力情報を伝送されて前記遠隔地コンピュータの規格に合うように変換して、前記遠隔地コンピュータにおいて対応する動作を駆動するステップと、
   を含み、
   前記遠隔地コンピュータは、画面を前記ユーザー端末が要求する倍率別にキャプチャーしておき、前記ユーザー端末が現在見ている区域のデータが変更される場合、変更された部分を、前記ユーザー端末において現在指定した倍率にてセル単位で分割して前記ユーザー端末に送り、前記変更の有無は、倍率別の画面キャッシュと現在の画面をセル単位で分割して比較して判断し、要求される全ての倍率に対する画面キャッシュがいずれも貯蔵できなくなった場合に、最も長時間未使用の倍率に対する画面キャッシュを削除して貯蔵空間を確保し、前記ユーザー端末が削除された倍率に対する画面データを要求する場合に新たに画面キャッシュを生成し、
   前記ユーザ端末は、該ユーザー端末において要求する各倍率別のセル単位でキャッシングを行い、前記セル単位のサイズは画面全体のサイズよりも小さくして、前記画面全体データを有していない場合であっても前記遠隔地コンピュータ画面の一部を前記ユーザー端末に表示できるようにし、新たなセルデータを収容するのに貯蔵空間が不足する場合、最も長時間未使用のセルを削除して貯蔵空間を確保し、今後画面表示のために削除されたセルが要求される場合、前記遠隔地コンピュータに要求して再受信する、
   ことを特徴とする制御方法。
2. 前記ユーザー端末は、移動通信網を介して前記遠隔地コンピュータに接続可能な移動通信端末であることを特徴とする請求項１に記載の制御方法。
3. 前記ユーザー端末において、数字キーパッド領域に含まれているキーをマウスカーソルの移動に対応する機能に割り当て、方向キー領域のキーを前記数字キーパッド領域を補助する機能に割り当て、前記方向キー領域の中央キーを現在表示された画面において選択された個体が提供する機能の一覧をメニューとして表示する機能に割り当て、前記メニューのうち最も頻繁に用いられる機能を前記数字キーパッド領域の「５」キーに割り当てることを特徴とする請求項２に記載の制御方法。
4. 前記ユーザー端末において、メニューキーを全体的なメニューを表示する機能に割り当て、取消しキーをキーボードのＥｓｃキーに対応する機能に割り当て、確認キーを状況によって方向キー領域中央のキーや前記数字キーパッド領域の「５」キーに対応する機能を行うようにさらに割り当てることを特徴とする請求項３に記載の制御方法。
5. 前記ユーザー端末において前記遠隔地コンピュータの画面を縮小して表示したり、単位時間当たりの画面更新回数が限られて、前記マウスカーソルの位置がある位置から他の位置に所定の距離以上移動される場合、移動前後の地点間における中間地点を指定して前記マウスカーソルがその地点を経て通過するように制御することを特徴とする請求項３に記載の制御方法。
6. 前記遠隔地コンピュータの画面のうち一部の領域が前記ユーザー端末の画面に所定の倍率にて拡大表示されるようにする場合、前記マウスカーソル移動の他に現在表示された画面領域を移動させる機能のために、「＊」キーや「＃」キー若しくは別途のメニューを用いて前記数字キーパッド領域と前記方向キー領域の機能を前記マウスカーソル移動と表示された画面領域移動機能との間に切り換えることを特徴とする請求項３に記載の制御方法。
7. 前記マウスカーソル移動機能と画面移動機能の場合、前記マウスカーソルや現在表示された一部の領域が実際の画面の境界領域に達したとき、追加的に移動指令が入力されると、現在表示された画面のウィンドウがスクロール可能な場合に自動的にスクロールして他の部分を追加的に表示するステップをさらに含むことを特徴とする請求項６に記載の制御方法。
8. 現在表示された画面のウィンドウがスクロール可能なものである場合、前記マウスカーソルの位置にあるウィンドウをスクロール可能なマウスホイールに対応する機能のために、「＊」キーや「＃」キー若しくは別途のメニューを用いて前記数字キーパッド領域と前記方向キー領域の機能を前記マウスカーソル移動、画面区域移動機能及びマウスホイール機能の間に切り換えて提供することを特徴とする請求項６に記載の制御方法。
9. 前記ユーザー端末において文字列を入力する対象を選択するように、入力個体間移動機能を切換え可能な状態で提供して次の入力個体探索機能を提供するステップをさらに含むことを特徴とする請求項８に記載の制御方法。
10. 前記マウスホイール機能は、上下左右を含む全方向の移動を支援し、一般のウィンドウズ（登録商標）画面においてウィンドウのスクロール位置を調整し、ウェブページの場合、現在のマウスカーソル位置の個体から個体階層構造の最上位まで検査してスクロール可能な個体に対してスクロール指令を受け渡してスクロールを実現することを特徴とする請求項８に記載の制御方法。
11. 前記遠隔地コンピュータの画面のうち一部の領域が前記ユーザー端末の画面に所定の倍率にて拡大表示されるようにする場合、画面の拡大と縮小をボリューム増加キーとボリューム減少キーにそれぞれ割り当てることを特徴とする請求項２に記載の制御方法。
12. 前記遠隔地コンピュータの画面がウェブページである場合、現在のマウスカーソル位置のテキストをドキュメント・オブジェクト・モジュール（ＤＯＭ）を介して取り出して前記ユーザー端末に表示するステップをさらに含むことを特徴とする請求項２に記載の制御方法。
13. 前記テキストを前記ドキュメント・オブジェクト・モジュール（ＤＯＭ）を介して取り出す場合、＜Ａ＞、＜ＤＩＶ＞、＜ＦＯＮＴ＞、＜ＩＭＧ＞、＜ＯＬ＞、＜Ｐ＞、＜ＳＰＡＮ＞、＜ＴＲ＞、＜ＵＬ＞を含む個体の場合にはその個体の親個体を選択するが、前記＜ＤＩＶ＞の個体の親が＜ＤＩＶ＞である場合には前記＜ＤＩＶ＞個体そのもののテキストを取り出すことを特徴とする請求項１２に記載の制御方法。
14. 前記ユーザー端末において文字列を入力するとき、文字列入力ウィンドウを画面に表示し、前記文字列入力ウィンドウが表示された状態において数字キーパッド領域のキーを文字入力に使用するようにし、文字列の入力を終了して伝送を選択した場合、「入力した文字列のみ伝送」及び「文字列の最後にＥｎｔｅｒキーを自動的に追加して伝送」のうちどちらか一方を選択できるようにするステップをさらに含むことを特徴とする請求項２に記載の制御方法。
15. 前記遠隔地コンピュータの画面のうち一部の領域が前記ユーザー端末の画面に所定の倍率にて拡大表示される場合、前記ユーザー端末の画面に表示される領域に対応する画面データのみを前記ユーザー端末に送って更新するようにし、
    見る区域が変更される場合、当該区域の画面データを再度前記ユーザー端末に伝送及び更新することにより、全体の画面データの一部のみを送って作業を行うようにすることを特徴とする請求項１に記載の制御方法。
16. 前記遠隔地コンピュータは、前記ユーザー端末から受け渡される見る領域の変更要請と画面データ要請に直接的に応答することなく内部的に記録しておき、所定の周期ごとに画面変更の有無を検査して、その結果として選択された画面部分と一緒に要請されたデータを送り、
    前記要請された画面データが所定量以上であれば、その一部のみを送り、残りは次の周期に再検査して送り、必要に応じて、所定の周期ごとに前記ユーザー端末から画面データを伝送されて処理完了したという旨の応答を受信した上で次の周期に移行するようにして、前記ユーザー端末が単位時間当たりに処理可能なデータを超える量を送らないように制御することを特徴とする請求項１に記載の制御方法。
17. 前記ユーザー端末は、短時間に多量の入力データが生成される場合、データ伝送量の減少のために、前記ユーザー入力情報をリアルタイムにて送ることなく所定の周期ごとに送ることを特徴とする請求項１に記載の制御方法。
18. 前記ユーザー端末は、前記ユーザー入力情報が未だ前記遠隔地コンピュータに送られなかったり、ユーザー入力情報が未だ遠隔地コンピュータにおいて処理されなかったり、ユーザー入力情報や画面変更データが未だユーザー端末に完全に送られなかったときにも、既に有しているユーザー入力情報と画面データを用いて近接した結果を表示することを特徴とする請求項１に記載の制御方法。
19. 前記ユーザー端末に前記遠隔地コンピュータに生成されたコンピューティング環境を制御するためのユーザーインターフェースを表示するステップと、
    前記遠隔地コンピュータにおいて、前記ユーザーインターフェースを介して要請した動作が前記遠隔地コンピュータのコンピューティング環境内において行われるように制御するステップと、
    をさらに含むことを特徴とする請求項１に記載の制御方法。
20. 前記遠隔地コンピュータが前記要請した動作の結果を前記ユーザー端末に通知するステップをさらに含むことを特徴とする請求項１９に記載のモバイル機器用のコンピューティング環境提供システムの制御方法。
21. 前記遠隔地コンピュータが前記ユーザー端末からのログイン要請に応じて、これに対するユーザー認証を行った後、前記ユーザー認証に対応する前記コンピューティング環境を生成するステップをさらに含むことを特徴とする請求項１９に記載の制御方法。
22. 前記ユーザーインターフェースは、前記遠隔地コンピュータが提供する画面、前記コンピューティング環境全般を制御するための共通メニュー及び前記コンピューティング環境内において動作する応用プログラムを制御するための個別メニューのうち少なくとも一つを含むことを特徴とする請求項１９に記載の制御方法。
23. 前記表示するステップにおいて、オペレーティングシステム上の一つのユーザーアカウントと前記ユーザーアカウントによりログオン時に提供されるデスクトップ画面をそれぞれ用いて複数のコンピュータ環境を生成することを特徴とする請求項１９に記載の制御方法。
24. 前記遠隔地コンピュータは、前記応用プログラムのドキュメントと環境設定情報をユーザー別の固有の空間に貯蔵して、オペレーティングシステム上の一つのユーザーアカウントを用いて複数のコンピューティング環境が共存するように管理することを特徴とする請求項２３に記載の制御方法。
25. 前記遠隔地コンピュータの画面を前記ユーザー端末の画面解像度に合わせて論理的に分割して、各論理分割部分に対応するコンピューティング環境の応用プログラムに対するユーザーインターフェースを配置して各コンピューティング環境の画面に提供するステップをさらに含むことを特徴とする請求項２４に記載の制御方法。
26. 前記遠隔地コンピュータは、可能な論理分割数以上のコンピューティング環境を提供するために、最も長時間未使用のコンピューティング環境の論理分割を、現在論理分割を割り当てられるべきコンピューティング環境に割り当て直すことを特徴とする請求項２５に記載の制御方法。
27. 前記ユーザー端末において前記要請した動作の結果に応じて変更された状態及び前記コンピューティング環境において自動的に変更された状態を伝送されて前記ユーザーインターフェースを再構成するステップをさらに含むことを特徴とする請求項１９に記載の制御方法。

Images