JP6205568B2 - リモートアクセス制御システム、方法、およびプログラム - Google Patents

Description

本発明は、リモートアクセス制御システム、方法、およびプログラムに関し、特に、タッチパネル式のスマートデバイスを利用したリモートデスクトップにおいて文字入力の際の使い勝手を向上させるシステム、方法、およびプログラムに関する。

近年、手元のコンピュータからネットワークで接続された他のコンピュータのＧＵＩやデスクトップ環境を操作するリモートデスクトップ技術が利用されている。例えばユーザは、外出先などでタッチパネル式のスマートフォンやタブレットＰＣ等のモバイル端末（携帯型端末）を用いて職場のパーソナルコンピュータのデスクトップ画面と同期させることで、職場のコンピュータのリソースを手元の端末でそのまま利用することができる。

このような技術の応用として、リモート接続先の端末（ローカルクライアント端末）とは別に、画面転送サーバおよびユーザデータファイル用サーバを設けることによりローカルクライアント側の負担を減らすことが提案されている（例えば特許文献１）。

特開２００７−３１０５０８号公報

しかしながら、上記特許文献１の技術によっても、操作する側のリモート接続元端末（リモートクライアント端末）からの操作指示をサーバ（画面転送サーバおよびユーザデータファイル用サーバ）で受け取って、サーバが各種のアプリケーションのコマンドを実行する際に、サーバ側で処理を肩代わりしてリモート接続先の端末（ローカルクライアント端末）の負担が軽減されるだけであって、一定の処理時間がかかることには代わりがなく、リモートデスクトップを用いて通常のパーソナルコンピュータの画面をスマートフォンやタブレットＰＣのようなスマートデバイス（モバイル端末）で利用しようとすると、モバイル端末とリモート接続先の端末との間で画面情報や操作情報の転送が発生することによる、以下のような課題が依然として残ることになる。

図１８は、従来のリモートデスクトップにおける課題を説明するためのイメージ図である。リモート接続先のコンピュータ１０の画面がインターネットを介してモバイル端末２０に表示される。一般にモバイル端末２０の画面はコンピュータ１０の画面より数分の一程度と大幅に小さいため、画面はかなり縮小されてモバイル端末２０に表示される。また、例えば日本語入力と英数字入力を切り替えるための入力変換インジケータ３１は画面下のタスクトレイ３２右側に表示されている。図１８（ａ）ではこのインジケータ部分の概略を拡大して示している。ここでユーザが開いている文書の一部（例えば点線で囲った部分３３）を編集したい場合、編集したい部分をタッチすることによりカーソルが移動するとともに図１８（ｂ）に示すように仮想キーボード３５が表示される。ここで、仮想キーボードとは、物理的なキーボードを備えていないモバイル端末において、タッチパネル上に表示させたキーボード画面を意味する。この場合、本来はタッチパネルのタッチ操作であるにも拘わらず、あたかもキーボードを押下する操作をして、それを受け付けているかのような処理をバックグラウンドで行うことで、仮想的にキーボードをエミュレートする。図１８（ｂ）に示すように、モバイル端末２０の画面は小さいため画面の下半部分を占める形で仮想キーボード３５が表示され、またモバイル端末２０の設定にもよるが、最初に例えばローマ字変換用のアルファベット文字等が標記されたキーボードが現れる。このとき、ユーザが数字やアルファベットを入力したい場合、図１８（ａ）に示すデスクトップ右下の入力変換インジケータ３１をタップして変更する必要があるが、図１８（ｂ）に示すように画面の下半分が仮想キーボードで覆われているため、直ちに英数字に切り替えることができないという不都合がある（不都合その１）。

また、モバイル端末やリモート制御アプリケーションの仕様によっては、図１８（ｃ）に示すように、仮想キーボードを表示させる場合にキーボードの分だけ画面を上にスクロールさせることが考えられる。これにより常にＰＣ画面のタスクバー３２がモバイル端末２０にも表示され、入力変換インジケータ３１にアクセスすることができる。しかしながら、この場合には編集したい部分３３も上にスクロールされモバイル端末２０の画面から上に消えてしまう事態が生じる。このように、リモート接続元のスマートフォンやタブレットＰＣ等のモバイル端末の画面は、一般的に接続先コンピュータの画面より小さいために、同じ画面表示を行おうとした際に生じる不都合が存在する（不都合その２）。

さらに、以下に詳述するように、従来の方式では文字変換等の処理をすべてリモート接続先端末が行っているため、日本語をローマ字入力する際にレスポンスが悪いという問題もある。図１９は、従来のローマ字入力の方式を概略的に示すフロー図である。本図において、左側がリモート接続先端末（例えば職場のパーソナルコンピュータ１０）の処理を示し、右側が接続元端末（例えば外出先などで使用中のモバイル端末２０）の処理を示す。例えば「さくら」という平仮名を入力したい場合、キーボードで「Ｓ」「Ａ」「Ｋ」「Ｕ」「Ｒ」「Ａ」の順に入力することとなる。このとき、図１９に示すようにキーボードを表示させ（Ｓ１）、「Ｓ」領域にタッチするとその情報が接続先端末に送信される（Ｓ２−Ｓ３）。接続先端末では入力情報を受け付けて画面に「Ｓ」の文字を表示し、その画面情報が接続元端末に送信される（Ｓ４−Ｓ５）。次に接続元端末から「Ａ」が入力・送信されると（Ｓ６−Ｓ７）、接続先端末で受け付けて、端末のプロセッサが「Ｓ」「Ａ」という文字列を認識して変換処理を実行して初めて「さ」という日本語変換がなされ、変換後の「さ」の画面情報が接続元端末に送信され（ステップＳ９−Ｓ１３）、接続元端末に「さ」が表示される。このように接続元端末は仮想キーボードのどのキーが押下されたかの情報を送信するだけであり、日本語変換処理はすべて接続先端末で行われるため、遠隔の接続先端末に一文字ずつキー情報を送って日本語変換処理されるのを待って次のキー入力受付が行われることとなり、レスポンスが悪いという問題があった。同様に、接続元端末側からは「Ｋ」入力−送信−「Ｕ」入力−送信−日本語変換待ち−「く」受信−表示といった手順を踏まなければならず（Ｓ１５−Ｓ１６）、ここにリモートデスクトップのボトルネックが生じている問題がある（不都合その３）。同様の問題は仮名から漢字に変換する場合にも生じてしまう。なお、この場合において、転送する情報量を減らすために画面の差分情報のみを転送する方式もとりうるが、差分情報を抽出する際の処理に時間がかかるためオーバーヘッドが生じることに変わりはない。

本発明は上述のような課題を解決すべくなされたものであり、操作アプリケーションまたはその入力領域の情報を用いて当初から適切なキーボードをリモート接続先端末で表示させることにより、入力切り替えに必要な手間を省略できるようにした制御システムを提供することを目的とする。また、前記の不都合その１および不都合その２を解消し、さらに接続元端末が有する日本語変換機能を積極的に利用することにより日本語変換の際に生じる上記不都合その３のようなボトルネックを解消する制御システムを提供することを目的とする。

本発明は、ユーザが手元で操作するためのタッチパネル式の入出力部を有する接続元端末と、当該接続元端末から通信ネットワークを介してアクセスされる接続先端末とを具え、前記接続先端末が画面情報を前記接続元端末に送信して表示させるとともに、前記接続元端末が前記タッチパネルへの入力情報を前記接続先端末に送信して遠隔操作を実行させるリモートアクセス制御システムにおいて、
前記接続先端末が、前記遠隔操作によりフォーカスされたアプリケーションの種別または項目あるいは入力モードを検知して、前記接続元端末に通知するアプリケーション監視部を具えるとともに、
前記接続元端末が、アプリケーションの種別またはその入力欄の項目と、当該アプリケーションまたは項目に対応するキーボード種別または入力モードとが関連付けられたテーブルが格納された記憶手段と、前記接続先端末からの通知に基づいて前記テーブルを参照して対応するキーボード種別または入力モードを判定し、適切な仮想キーボードをタッチパネルに表示させる仮想キーボード表示部を具えることを最も主要な特徴とする。

また本発明では、前記接続元端末がさらに、前記仮想キーボードへの入力内容を取得してから前記接続先端末に送出する処理を保留し、文字変換を行ってから前記接続先端末に送出する変換処理部を具えることが好ましい。
なお、詳細には後述するが、図１や図３等に示すように、接続先端末は実体としての端末の他、サーバの内部に仮想的に構築された仮想端末（一般的には仮想ＰＣなどと呼ばれる）であってもよい。

本発明のリモートアクセス制御システム、方法およびプログラムによると、接続先端末がフォーカスされたアプリケーションまたはその入力欄の項目に応じたキーボード種別を接続元端末に通知し、接続元端末が対応する仮想キーボードを当初からタッチパネルに表示するように構成したため、従来のように文字入力の際にデフォルトのキーボードが表示され、それから必要に応じてキーボード種別を切り替える場合に比べてユーザの手間を省くことができ、入力が早くなるとともに使い勝手が向上する。

さらに、従来のようにリモートデスクトップにおいて仮想キーボードの入力内容をそのまま接続先端末に送信するのではなく、仮想キーボードへの入力内容を保留し、接続元端末の文字変換機能を用いて日本語文字変換を行ってから変換後の文字コードを送出するようにしたため、一文字ずつ接続先端末に送出して接続先端末で日本語変換を行ってから画面情報を接続元端末に返信する場合に比べてレスポンス速度を向上させることができる。

図１は、本発明のリモートアクセス制御システムの全体構成を示す概略図である。 図２は、図１における主要な装置の構成を説明するための概略図である。 図３は、接続先端末１０と接続元端末２０の構成や機能をより詳細に説明するための図である。 図４は、リモート接続先端末１０が記憶部１２３に有する入力情報の変換テーブルの一例を示す。 図５は、本発明の一実施形態において、アプリ監視部１０９が参照するセレクティブキーボード種別テーブルの一例を示す図である。 接続元端末２０のタッチパネル２１に表示される仮想キーボードの実施例と、タッチパネル入力があった場合に抽出されるキーコードの関連性を説明する図である。 接続元端末２０のタッチパネル２１に表示される仮想キーボードの実施例と、タッチパネル入力があった場合に抽出されるキーコードの関連性を説明する図である。 接続元端末２０のタッチパネル２１に表示される仮想キーボードの実施例と、タッチパネル入力があった場合に抽出されるキーコードの関連性を説明する図である。 図９は、アプリケーションの特定の項目にフォーカスされた場合のアプリ監視部１０９の処理を説明するための図である。 図１０は、使用しているアプリケーションに応じて適切な仮想キーボードを表示させる実施例である。 図１１は、図１０の処理による画面イメージを示す図である。 図１２は、フォーカスされた入力欄の項目に応じて適切な仮想キーボードを表示する実施例を説明するフロー図である。 図１３は、図１２の処理による画面イメージを示す図である。 図１４は、本発明の第３の実施例の処理を説明する図である。 図１５は、本発明の第３の実施例の処理を説明する図である。 図１６は、図１４−１５の処理を端末毎に分けて説明する図である。 リモートアクセス制御システムの全体処理を説明するためのフロー図である。 図１８は、従来のリモートデスクトップにおける課題を説明するためのイメージ図である。 図１９は、従来のローマ字入力の方式を概略的に示すフロー図である。

本発明を実施するための形態について、添付の図面を参照しながら以下に詳細に説明する。図１は、本発明のリモートアクセス制御システムの全体構成を示す概略図である。図１（ａ）の実施例は、リモートデスクトップの認証・接続を専用サーバ３０が管理する運用体系であり、図１（ｂ）の実施例はＶＰＮ（Virtual Private Network）技術を用いて安全な接続を確保したリモートデスクトップの運用体系である。リモート接続先４０は、サーバ１１の配下に実体的なコンピュータ端末１０を有し、ファイアウォール１３を介してインターネットに接続されている。接続元端末２０は携帯型のスマートフォンやタブレットＰＣなどのモバイル端末であり、タッチパネル式ディスプレイに仮想キーボードを表示させて入力を受け付ける情報通信端末である。認証・接続管理サーバ３０はリモートデスクトップの相互接続認証や情報のやりとりを管理するサーバーであり、リモート接続先４０と接続元端末２０のやりとりを絶えず仲介するよう構成されてもよいし、最初の接続認証だけを仲介するものであってもよい。また、図１に示すリモート接続先４０は、個別にサーバ１１やファイアウォール１３を含んでいるが、接続先端末１０自身が認証機能やファイアウォール機能を有すれば、接続先端末１０がダイレクトにインターネットに接続するようにしても良い（スタンドアローン構成）。

リモートデスクトップ技術はシンクライアント方式で画面情報を接続元端末に送信して表示させ、接続元端末から入力情報を受け付けて実際の処理は接続先システムが行うことにより遠隔操作を達成するものであり、それ自体は公知技術であるため詳細な説明は省略する。

また、リモート接続先端末としては、実体的なコンピュータ端末１０であってもよいし、例えばサーバ１１の一部機能で実現されるような仮想端末であってもよい。より具体的には、仮想端末は、サーバ内のＨＤＤないしＳＳＤの一部にＯＳやアプリケーションソフトを格納し、これらのソフトウェアをメモリ上に展開して、プロセッサ処理により実現されたもので、独立した実体のある端末とは異なるが実体の端末と同等の処理を実行可能な仮想的な端末を意味する。仮想端末は表示画面や入力手段を必ずしも持たなくてもよく、接続元端末２０からのアクセスを受けてコンピュータ演算処理を実行し出力画面の情報を接続元端末２０に送出する。接続先端末１０の画面情報は接続元端末２０に送出されるが、初期画面を送出した以降は差分情報のみを送出してネットワークトラフィックの混雑を回避するように構成されていてもよい。

図２は、図１における主要な装置の構成を説明するための概略図である。図２（ａ）はリモート接続先端末１０、図２（ｂ）はサーバ１１、図２（ｃ）は接続元端末２０の概略構成を示す。リモート接続先端末１０は一般的なデスクトップ型またはノート型のコンピュータであり、キーボードやマウス等の入力部１２１と、ディスプレイやスピーカ等の出力部１２２と、ハードディスクやメモリ等の記憶部１２３と、ＣＰＵ等でなる制御部１２４と、インターネットに接続するための通信部１２５とを具える。サーバ１１は、記憶部１１１と、制御部１１２と、通信部１１３とを具え、必ずしも入出力部は必須の構成ではない。接続元端末２０は、液晶ディスプレイなどの出力部（表示部）とタッチ式の入力部を具えたタッチパネル式の入出力部２１と、記憶部２２と、制御部２３と、通信部２４とを具える。タッチパネルの方式としては、圧力感応方式、静電方式など様々なタイプを選択することができる。

図３は、接続先端末１０と接続元端末２０の構成や機能をより詳細に説明するための図である。以降の説明では、接続先端末１０は実体的なコンピュータ端末１０であるものとして説明するが、上述のように接続先端末はサーバ１１等の機能の一部である仮想端末であってもよい。遠隔操作される接続先端末１０は、キーボードやマウス等の入力部１２１と、端末全体の動作を司るＯＳ（オペレーティングシステム）部１０２と、ＯＳと個々のアプリケーションとのインタフェースを担うアプリインタフェース制御部１０３と、個々のアプリケーションを実行するアプリ実行部１０４と、リモートデスクトップを制御する被操作側リモート制御部１０５とを具える。被操作側リモート制御部１０５は、この接続先端末１０をリモートデスクトップの被操作側として動作させるためのエージェントであり、画面データ（または差分データ）を抽出して接続元端末２０に送出する画面データ抽出部１０７と、接続元端末２０からの入力情報をあたかも接続先端末１０の入力部１２１からの入力情報となるように、入力部１２１に代わってＯＳ部１０２に渡す入力エミュレート部１０８と、本発明の特徴の一つであるアプリ監視部１０９とを具える。

アプリ監視部１０９は、アプリ実行部１０４を監視してフォーカスされた（すなわち操作対象の）アプリケーションまたはカーソルがある入力欄の項目を検出し、予め用意されたテーブルを参照して当該アプリケーションまたは項目に適切なキーボード種別または入力モードを接続元端末２０に通知する。ここで、フォーカス判定の具体的な方法について補足すると、前記の「アプリ監視部１０９が、アプリ実行部１０４を監視して」とあるのは、リモート接続先の端末（ないし仮想端末）上の常駐型エージェントプログラム（デーモン等）がカーソル操作等を監視してアプリケーションプログラムの画面構成情報を取得したうえで、画面構成情報とカーソル操作の位置情報とを照らし合わせて、特定の項目やアプリのウィンドウにフォーカスされたかどうかを判定する方法をとることができる。これはエージェントプログラムの実行部（アプリ監視部１０９）が主体的に監視する方法である。あるいは、アプリケーションプログラムが特定の項目が選択されるとイベントを発生させ、イベント発生の情報をアプリ監視部１０９に通知するようにしてもよい。これはアプリ実行部１０４が主体となってアプリ監視部１０９に通知する方法である。

遠隔操作を行うための接続元端末２０は、入力部であるタッチパネル２１と、ＯＳ部２６と、アプリインタフェース制御部２７と、接続先端末１０から画面情報を受け取って画面合成を行ってからタッチパネル式ディスプレイ２１に表示する画面エミュレート部２８と、リモートデスクトップを実現するためのエージェントである遠隔操作側リモート制御部２９とを具える。この遠隔操作側リモート制御部２９は、接続先端末１０からの通知に応じて適切な仮想キーボードおよび／または入力モードを決定する入力方法決定部２９１と、決定された仮想キーボードをタッチパネル２１に表示させる仮想Ｋ／Ｂ表示部２９２と、仮想キーボードの動作を監視するほか、入力モードを監視して文字変換が必要であれば入力内容の送出を保留する操作監視部２９３と、必要に応じて入力文字の変換を行って変換後の文字コードを接続先端末１０に送出する変換処理部２９４とを具える。

図４は、携帯型接続元端末２０が記憶部２２（あるいはリモート接続先端末１０が記憶部１２３）に有する入力情報の変換テーブルの一例を示す。この変換テーブルは、携帯型接続元端末２０の操作監視部２９３がタッチパネルの操作状況を監視し、仮に接続先端末のシステム上の入力処理としてどのように解釈すべきかを判定する際に参照されるものであるが、接続先端末１０の入力エミュレート部１０８が、接続元端末２０からタッチパネルの操作情報を受けた場合に参照するようにしてもよい。本図に示すように、例えば接続元端末２０のタッチパネルにジェスチャーによる上下左右のスクロール動作の入力があった場合に、接続先端末１０側でマウスによる上下左右のスクロール動作の入力があったものとして、ＯＳ部１０２が処理できるようにするものである。この変換テーブルにはスクロール動作のみならず、タッチパネルへのタップをマウスクリックへと変換する等の必要な対応付けが登録されている。

図５は、本発明の一実施形態において、携帯型接続元端末２０の入力方法決定部２９１（あるいは接続先端末１０のアプリ監視部１０９）が参照するセレクティブキーボード種別テーブルの一例を示す図である。図５（ａ）のテーブルでは、個々のアプリケーションに１以上のキーボード種別が関連付けられており、図５（ｂ）のテーブルではアプリケーションおよびその入力項目毎に適したキーボード種別が関連付けられている。例えば日本語ワードプロセッサアプリケーションを用いる場合、最も多く用いられるのは日本語文字であり、次に英文字や数字が入力されることが考えられる。また、財務会計アプリケーションを用いる場合、摘要欄には日本語文字が入り、金額欄には半角数字が入力されることが考えられる。このようにアプリケーションや項目毎に適切なキーボードまたは入力モードの関連付けが図５のテーブルに予め登録される。アプリ監視部１０９はアプリ実行部１０４から現在どのアプリケーションが利用されているか（複数のアプリケーションが起動されている場合には、どのアプリケーションにフォーカスされているか）、あるいはどの入力項目がフォーカスされているかを検出して接続元端末２０に通知し、接続元端末２０の入力方法決定部２９１が図５のテーブルを参照して、現在、利用ないしフォーカスされているアプリケーションまたは項目に適したキーボード種別を抽出する。
なお、これ以降、単独のアプリケーションを起動して利用している場合における「利用されているアプリケーション」と、複数のアプリケーションが起動されている状態において、その中の一つのアプリケーションがフォーカスされた場合における「フォーカスされているアプリケーション」とは特に区別せずに、「フォーカスされているアプリケーション」と呼ぶことにする。

あるいは、接続先端末１０のアプリ監視部１０９がアプリ実行部１０４から現在どのアプリケーションが利用されているか、ないし、どの入力項目がフォーカスされているかを検出し、図５のテーブルを参照して、現在フォーカスされているアプリケーションまたは項目に適したキーボード種別を抽出して接続元端末２０に通知し、接続元端末２０が通知されたキーボードを表示させるようにしてもよい。

図６−８は、接続元端末２０のタッチパネル２１に表示される仮想キーボードの実施例と、タッチパネル入力があった場合に抽出されるキーコードの関連性を説明する図である。図６は例えばキーボードタイプＡとして特に会計ソフト等に適した数字入力キーボード（会計入力用テンキー）、図７はタイプＢとして一般的なテンキー型、図８はタイプＣとして一般的な文字入力キーボード（例えばＩＢＭ ＰＣ配列）のキーボードを示す。図６に示すように、本例のキーボードタイプＡは「０」、「００」、「０００」を含むキー配列を有しており、タッチパネル２１のキーボード領域への入力があった場合、仮想Ｋ／Ｂ表示部２９は、タッチされた相対座標位置から割り当てキーを抽出し、これをリモート接続先端末１０におけるエミュレート動作を行って対応するキーコードを接続先端末１０に送出する。例えば図６左側に示すキー配列において仮想キーボード上で「０」の左下に相対的な原点を設定すると、相対座標（０，０）から（０，４０）の領域内でタッチ検出した場合は割り当てキーとして数字「０」が抽出される（図６中央のテーブル参照）。これを接続先端末１０にいて「０」が押下されたかのようにエミュレートすべく、「０」のキーコードを抽出して（図６右側のテーブル参照）、これが接続先端末１０に送出される。同様に、「００」のキー表示部分にタッチした場合には、「００」のキーが押下されたかのようにエミュレートすべく、「００」のキーコードを送出する（実際には、「０」のキーが２回押されたのと同様の取り扱いをして、「０」のキーコードを２回送出する）。

図７の一般的な電卓キー配列の場合も同様に、タッチ入力があった場所の早退位置から割り当てキーが抽出され、エミュレートしたキーコードが接続先端末１０に送出される。図８の文字入力キーボードの場合も同様に、タッチ領域の相対座標から対応するキーコードが入力文字として抽出される。図８においてキーコードを抽出するための参照テーブルは図６−７と類似するため本図においては省略する。この他、例えばキーボードタイプは、例えばローマ字仮名変換キーボードなどとすることが考えられる。

図９は、アプリケーションの特定の項目にフォーカスされた場合のアプリ監視部１０９の処理を説明するための図である。例えば図９（ａ）に示すようなアプリケーション画面を有する税務会計ソフトがある場合、図９（ｂ）に示すような、アプリケーション画面のどの項目がどの相対位置にあるかを対応付けた項目領域テーブルが予め用意されている。項目領域テーブルの各数値については、デフォルト値で想定した画面サイズに対し、適用される画面サイズが異なる場合には、適宜、画面サイズの際に応じた按分比率を乗じた数値に変換して用いられる。この税務会計ソフトのアプリケーション画面において、借方金額欄にフォーカスされた場合、アプリ監視部１０９は図９（ｂ）の項目領域テーブルを参照して、フォーカスされた位置座標からどの項目が選択されたかを抽出する。この選択項目の情報を接続先端末２０に送出し、接続先端末２０が図５（ｂ）のキーボード種別テーブルを参照して、当該項目に適切なキーボード種別を抽出する。あるいは、図５（ｂ）のキーボード種別テーブルが接続先端末１０にある場合はこれを参照して適切なキーボードを抽出して接続元端末２０に送出し、接続元端末２０が通知されたキーボードを表示させるようにしてもよい。

以下に本発明のリモートアクセス制御方法の実施例について、実施例ごとに詳細に説明する。図１０は、複数のアプリケーションが起動されている状態において、使用しているアプリケーション（フォーカスされているアプリケーション）に応じて適切な仮想キーボードを表示させる実施例である。この実施例では、接続元端末２０の画面には通常状態では仮想キーボードは表示されておらず、ユーザが画面下側に設けられたキーボード表示ボタンをタッチするとキーボードが現れるよう構成される。キーボード表示ボタンがタッチされると（Ｓ２）、接続先端末１０のアプリ監視部１０９はフォーカスされたアプリケーション種別を取得し（Ｓ３）、接続元端末２０に通知して、接続元端末２０の入力方法決定部２９１が図５（ａ）のキーボード種別テーブルを参照して対応するキーボードを抽出する（Ｓ４）。
あるいは、接続先端末１０のアプリ監視部１０９はアプリ実行部１０４から現在どのアプリケーションが利用されているか（どのアプリケーションにフォーカスされているか）を検出し、図５（ａ）のテーブルを記憶した上で、これを参照して現在フォーカスされているアプリケーションに適したキーボード種別を抽出してから、接続先端末２０に通知するようにしてもよい。

なお、このキーボードの判定処理（および図５（ａ））において、該当するアプリケーションに複数のキーボードが関連付けられている場合は優先順位が登録されており、入力方法決定部２９１またはアプリ監視部１０９は順位の高いキーボード種別を抽出する。取得したキーボード種別情報に基づき、仮想Ｋ／Ｂ表示部２９が、キーボードタイプＡ（図６参照）のキーコード出力テーブルを読み込み（Ｓ５）、対応する適切な仮想キーボードをタッチパネル２１に表示する（Ｓ６）。このキーボードにユーザによるタッチ操作があると（Ｓ７）、仮想Ｋ／Ｂ表示部２９２が相対座標から押下キーを判定し（Ｓ８）、接続先端末１０用にエミュレートして（Ｓ９）、キーコードを送出する（Ｓ１０）。

図１１は、上記の処理による画面イメージを示す図である。リモート接続先端末１０の画面が接続元端末２０の画面に表示されており、画面下側に入力インジケータ２９６が表示される。これは接続元端末２０のリモート制御部２９がリモートデスクトップの利用時にユーザ操作のために表示するものであり、キーボード表示ボタン２９７と、マウスボタン２９８と、スクロールボタン２９９を具える。キーボード表示ボタン２９７をタップすると、キーボード表示ボタン２９７の外形イメージから想定されるキーボード種別（図１１ではローマ字変換用のアルファベット文字等が表示されたキーボード）に依拠せずに、フォーカスされているアプリケーションに好適なキーボードタイプＡ（図１１では会計入力用テンキー）が表示される。

図１２は、アプリケーション種別のみならずフォーカスされた入力欄の項目に応じて適切な仮想キーボードを表示する実施例を説明するフロー図である。本実施例では、特定の項目にフォーカスが当たると自動的に適切な仮想キーボードを表示するよう構成される。接続先端末１０のアプリ監視部１０９は端末上で動作しているアプリケーション種別をアプリ実行部１０４から取得する（Ｓ２）。例えば税務会計アプリケーションの画面上の借方金額欄といった特定の項目にフォーカスがあると（Ｓ３）、アプリ監視部１０９は図９（ｂ）の項目領域テーブルを参照してフォーカス項目を判定し（Ｓ４）、接続元端末２０に通知して、接続元端末２０の入力方法決定部２９１が図５（ｂ）のキーボード種別テーブルを参照して対応するキーボード種別を抽出する（Ｓ５）。あるいは、接続先端末１０のアプリ監視部１０９が図９（ｂ）の項目領域テーブルを参照してフォーカス項目を判定し（Ｓ４）、図５（ｂ）のキーボード種別テーブルを参照して対応するキーボード種別を抽出して、接続元端末２０に通知（Ｓ５）するようにしてもよい。

接続元端末２０の入力方法決定部２９１は抽出あるいは通知されたキーボードに関するキーコード出力テーブルを読み込み（Ｓ６）、対応する仮想キーボードを表示する（Ｓ７）。ここで、各アプリ種別ないし各フォーカス項目に対応して選定されるキーボード種別は、図５に示すように、そのアプリないし項目への入力を行うのに適したものであり、図５（ｂ）のようにアプリや項目に対し一意にキーボード種別が対応づけられている場合は最適な１のキーボード種別として位置づけられるが、図５（ａ）の「アプリＡ」の欄のように対応するキーボードが複数存在して順位づけされている場合がある。この仮想キーボードは、例えば図１１に示すようなキーボード表示ボタンをタッチしなくても自動的に表示される。表示された仮想キーボードにタッチ操作があると、相対座標位置から押下キーが判定され、あたかも実体としてのキーボードのキー押下があったようにエミュレートして接続先端末１０にキーコードが出力される（Ｓ８−Ｓ１０）。

図１３は、上記の処理による画面イメージを示す図である。リモート接続先端末１０の画面が接続元端末２０の画面に表示されており、特定の項目にタッチパネル上でタッチすると、入力デバイスを選択するメニュー画面やキーボード表示ボタンを操作することなく自動的に適切な仮想キーボードが表示される（図１３の右側）。

図１４−１５を参照して、本発明の第３の実施例の処理を説明する。本実施例では、図１４（ａ）に示すように、接続先端末１０側にアプリケーションおよびその項目ごとに対応する入力モードが関連付けた対応テーブル（アプリ種別・フォーカス項目別のキー入力モード対応テーブル）が用意されており、これを参照して項目毎に適切な入力モード（例えば英数モードや日本語変換モード等。その他の外国文字の入力モード等であってもよい）が判定される。また、日本語変換モードが設定される場合、接続元端末２０の変換処理部２９４がキー入力から図１４（ｂ）に示す日本語変換処理テーブルを参照して、入力キーまたはその組み合わせに応じて日本語変換処理を行い、変換後の文字コードが接続先端末１０に送出される。この変換処理は本発明で新たに組み込まれる変換処理部２９４が実行してもよいが、接続元端末２０が本来具える日本語変換機能に変換処理部２９４が入力キーを橋渡しして日本語変換処理が行われてもよい。

図１５を参照すると、接続先端末１０のアプリ監視部１０９はフォーカスされたアプリケーションの種別をアプリ実行部１０４から取得し（Ｓ２）、フォーカスされた項目に対応するキー入力モード対応テーブルを参照して対応する入力モードを判定する（Ｓ３）。対応する入力モード（日本語変換モード、英数モードなど）は接続元端末２０に通知され、ステップＳ５で日本語変換モードかどうかの判定に用いられる。次に、取得したアプリ種別、入力項目に応じて、図５のセレクティブキーボード種別テーブルを利用して、図１０、図１２の処理フローにより適切な仮想キーボードが表示される（Ｓ４）。なお、ステップＳ３とステップＳ４の順序はいずれが先後しても構わない。仮想キーボードの表示は、取得したアプリ種別、入力項目に応じて行うものであり、ステップＳ２以降であればいつでも構わないからである。日本語入力モードではない場合すなわち英数モードである場合（Ｓ５：Ｎ）、仮想キーボードへの入力があると（Ｓ７：Ｙ）、対応するキーコードが接続先端末１０に送出される（Ｓ１０）。日本語変換モードの場合（Ｓ５：Ｙ）、仮想キーボードへの入力があると日本語変換処理が行われ（Ｓ８）、変換された文字コード（例えばＵＮＩコード）が接続先端末１０に送出される（Ｓ９）。このステップＳ９の変換処理については後に詳細に説明する。

図１６を参照して、上記の処理を端末毎に分けて説明する。本実施例では、図５のステップＳ４で、図５（ｂ）のテーブルを用いた処理によりアプリＡの摘要欄がフォーカスされ、文字入力に適したキーボードタイプＣ（図８参照）が表示されている前提で、「さくら」という日本語を入力しようとする場合を説明する。接続元端末２０において日本語入力モード（ローマ字仮名変換モード）の仮想キーボードが表示され（Ｓ１）、文字「Ｓ」の領域へのタッチ操作を受け付ける（Ｓ２）。このとき接続元端末２０は直ちに「Ｓ」の文字コードを接続先端末１０に送出することなく、入力情報を保留する。次に「Ａ」の領域へのタッチ操作を受け付けると（Ｓ３）、変換処理部２９４は図１４（ｂ）の変換テーブルを参照して「ＳＡ」を「さ」という日本語に変換して（Ｓ４）、「さ」に対応する文字コードを接続先端末１０に送出する。接続先端末１０では「さ」の文字コードを受け取ると（Ｓ６）画面上に「さ」を表示し、画面データ抽出部１０７が画面情報を抽出・送信する（Ｓ８−Ｓ９）。同様に接続元端末２０は「Ｋ」「Ｕ」の入力を「く」に変換して送出し、「Ｒ」「Ａ」の入力を「ら」に変換して送出する（Ｓ１０−Ｓ１１）。これが接続先端末１０で受け取られ、「さくら」の入力が完了する（Ｓ１２）。このように、接続元端末２０側で日本語変換まで済ませた文字コードを出力することにより、「Ｓ」、「Ａ」といった変換前の文字毎に送出して接続先端末１０側で変換して画面情報を返信する従来処理よりもレスポンスが早くなるとともにトラフィックも減少させることができる。これを発展させて変換キー等を介在させて仮名漢字変換や、連続文字による全角アルファベット変換、半角アルファベット等の文字変換を行ってから接続先端末１０に送信するよう構成することができる。

上記の実施例３では、アプリ種別やフォーカス項目に応じて、図１４（ａ）の入力モード対応テーブルを利用した日本語入力モードの自動設定について説明したが、日本語入力モードを利用する際のレスポンス悪化に関する不都合は、このような場面に限られる問題ではなく、上記のレスポンスを向上させるための処理は、オペレータが日本語入力モードを自ら選択して入力する場合にも同様に用いることができる。

その際、オペレータによって入力モードが設定されたかどうか（日本語変換モードが選択されたかどうか）を判定する処理は、接続元端末ないし接続先端末上の日本語変換プログラム実行部（図示せず）が、図４で説明したジェスチャー操作やタッチ操作、あるいは接続元端末上の仮想マウス（仮想キーボードと同様に接続元端末上に仮想的に表示され、マウス動作をエミュレートするためのＧＵＩ）の操作入力を受け付け、例えば、図１８の入力変換インジケータ３１中の日本語変換アイコンをクリックしたり、仮想キーボード上に設けられたキー（例えば、ＡＬＴ＋漢字）を押下したことを判定することにより行われる。

この場合、オペレータがアプリ毎（あるいはフォーカス項目毎）に一度設定した入力モードを、図１４（ｃ）のアプリ種別・フォーカス項目毎のキー入力モード設定テーブルのようなテーブル構成で、アプリ毎（あるいはフォーカス項目毎）に記録しておき、そのテーブルを利用することで、実施例３と同様に図１５〜図１６などの処理フローによって、日本語変換処理を伴う場合における入力操作のレスポンスを向上させることができる。ここで、前記のキー入力モード設定テーブルは、接続先端末１０側の記憶部に格納しても良いし、接続元端末２０の記憶部に格納しても良い。なお、接続先端末側１０に記憶した場合、リモート接続方式ではなく、オペレータが直に接続先端末１０の入力デバイスを使って端末のアプリケーションソフトを操作している場合に記録されるテーブルと同じテーブルを活用することができるというメリットがある。

なお、アプリ種別・フォーカス項目毎のキー入力モード設定テーブルとして記録する処理は、一または複数のアプリのウィンドウが起動されている状態において、このような起動中のアプリだけを取り扱うテーブルとして、ＲＡＭ（ランダムアクセスメモリ）に一時的に記録しておいても良いし、あるいは、そのアプリないし項目で恒常的に用いられるテーブルとして、ハードディスクに長期的に記録しておいて用いるようにしてもよい。後者の場合には、図１４（ａ）のテーブルと、図１４（ｃ）のテーブルの違いは、システムが予め最適なキーボード種別を登録しておくか、ユーザが個別に登録しておくかの相違となる。また、図１４（ｃ）のテーブルは、フォーカス項目の欄を省略し、動作中のアプリ種別（アプリ名）とオペレータが設定した入力モードとの対応関係のみを記載したテーブルとしてもよい。

なお、図１４（ｃ）のテーブルを利用した具体的な処理フローについては、図１５の処理フローにおいて、図１４（ａ）のアプリ種別・フォーカス項目別のキー入力モード対応テーブルの参照に代えて、図１４（ｃ）のアプリ種別・フォーカス項目毎のキー入力モード設定テーブルを参照するというように、ステップＳ３のテーブル参照処理が実施例３と異なるだけで、その他の処理は同様であるため詳細は省略する。

図１７は、上述した複数の実施例を組み合わせたリモートアクセス制御システムの全体処理を説明するためのフロー図である。左側にリモート接続先端末１０の構成要素毎の処理を示し、右側に接続元端末２０の構成要素毎の処理を示す。Ｓ１−Ｓ５は起動からリモートデスクトップ機能の確立までの処理を示し、Ｓ６−Ｓ２３が上記第１実施例で説明した機能の処理を示し、Ｓ２４−Ｓ３７が上記第３実施例で説明した機能の処理を示す。個々の処理内容は上記に詳述しているため、その詳細な説明は本図に関しては省略する。ここで、本実施形態では上述した実施形態とは異なり、Ｓ１４、Ｓ３１においてフォーカスされたアプリケーションまたは項目に適切なキーボードの判定を接続先端末１０のアプリ監視部１０９ではなく、接続元端末２０側の処理で行っている。これは、接続先端末１０側でアプリケーション種別または項目種別の特定のみを行って接続元端末２０に通知し、接続元端末２０側で図５や図１４に示すキーボード種別テーブルを具えてこれを参照することにより実現することができる。このように、本発明において処理に必要な各テーブルや、キーボード種別および入力モードの判定処理は接続先と接続元のいずれの端末が具備し実行するようにしてもよい。

さらなる別の実施例では、どのアプリケーション種別または項目にフォーカスされているかの判定を、モバイルの接続元端末側で実行するようにしてもよい。これは、例えば接続元端末側にアプリケーション毎の画面デザインを画面構成情報と対応づけて予め登録しておき、イメージ認識処理によりタッチした箇所が含まれるアプリケーションウィンドウと登録された画面デザインを照合してアプリケーション種別を判別したり、タッチした箇所から画面上方向のイメージ認識を行って、フォーカス項目の最上段または任意の項目の文字認識を行って、「金額」の文字や数字が認識された場合は金額欄であると判断し、「摘要」等の文字が認識された場合は文字入力が必要な摘要欄等であると判断したりすることが考えられる。

以上、本発明の数々の実施形態および実施例について詳細に説明したが、本発明の技術的範囲は上記の実施形態ないし実施例に限定されるものではなく、本発明は添付の特許請求の範囲を逸脱することなく様々な変形例、変更例として実現することができ、このような変形例、変更例はすべて本発明の技術的範囲に属すると解されるべきである。

本発明は、タッチパネル式の携帯型端末（モバイル端末）を用いてネットワークで接続された他のコンピュータを遠隔操作するコンピュータシステムに利用することができる。

１０ リモート接続先端末
１０５ リモート制御部
１０７ 画面データ抽出部
１０８ 入力エミュレート部
１０９ アプリ監視部
２０ リモート接続元端末
２１ タッチパネル式入力部
２８ 画面エミュレート部
２９ リモート制御部
２９１ 入力方法決定部
２９２ 仮想Ｋ／Ｂ表示部
２９３ 操作監視部
２９４ 変換処理部

Claims (10)

1. ユーザが手元で操作するためのタッチパネル式の入出力部を有する携帯型の接続元端末と、当該接続元端末から通信ネットワークを介してアクセスされる接続先端末とを具え、前記接続先端末が画面情報を前記接続元端末に送信して表示させるとともに、前記接続元端末が前記タッチパネルへの入力情報を前記接続先端末に送信して遠隔操作を実行させるリモートアクセス制御システムにおいて、前記接続元端末が、
   直接入力モードと日本語ローマ字入力モードとで切替可能な仮想キーボードをタッチパネルに表示させる仮想キーボード表示部と、前記仮想キーボードへの入力内容を前記接続先端末に送出するリモート制御部とを具え、
   前記リモート制御部は、前記仮想キーボードのモードが、直接入力モードか日本語ローマ字入力モードかを判定する手段を具え、前記直接入力モードの場合には前記仮想キーボードへの入力内容をキー入力毎に前記接続先端末に送出し、前記日本語ローマ字入力モードの場合には、前記仮想キーボードへの入力内容を取得してから前記接続先端末に送出する処理を保留し、ローマ字から仮名文字への文字変換を行ってから前記接続先端末に送出することを特徴とするリモートアクセス制御システム。
2. 請求項１に記載のリモートアクセス制御システムにおいて、
   前記接続先端末が、前記遠隔操作によりフォーカスされたアプリケーション種別またはその入力欄の項目を検知して、前記接続元端末に通知するアプリケーション監視部を具えるとともに、
   前記接続元端末が、アプリケーションの種別またはその入力欄の項目と、当該アプリケーションまたは項目に対応するキーボード種別または入力モードとが関連付けられたテーブルが格納された記憶手段を具え、前記仮想キーボード表示部は、前記接続先端末からの通知に基づいて前記テーブルを参照して対応するキーボード種別または入力モードを判定し、対応する仮想キーボードをタッチパネルに表示させることを特徴とするリモートアクセス制御システム。
3. 請求項１に記載のリモートアクセス制御システムにおいて、
   前記接続先端末が、アプリケーションの種別またはその入力欄の項目と当該アプリケーションまたは項目に対応するキーボード種別または入力モードとが関連付けられたテーブルが格納された記憶手段と、前記遠隔操作によりフォーカスされたアプリケーション種別または項目を検知して前記テーブルを参照し、対応するキーボード種別または入力モードを前記接続元端末に通知するアプリケーション監視部と、を具えるとともに、
   前記接続元端末が、前記接続先端末から通知されたキーボード種別にかかる仮想キーボードをタッチパネルに表示させるキーボード表示部を具えることを特徴とするリモートアクセス制御システム。
4. 通信ネットワークを介して接続先端末にアクセスするためのタッチパネル式の入出力部を有する携帯型の接続元端末装置において、前記接続先端末から画面情報を受信して表示させるとともに、前記タッチパネルへの入力情報を前記接続先端末に送信して遠隔操作を実現するリモートアクセス制御部と、直接入力モードと日本語ローマ字入力モードとで切替可能な仮想キーボードをタッチパネルに表示させる仮想キーボード表示部とを具え、
   前記リモートアクセス制御部は、前記仮想キーボードのモードが、直接入力モードか日本語ローマ字入力モードかを判定する手段を具え、前記直接入力モードの場合には前記仮想キーボードへの入力内容をキー入力毎に前記接続先端末に送出し、前記日本語ローマ字入力モードの場合には、前記仮想キーボードへの入力内容を取得してから前記接続先端末に送出する処理を保留し、ローマ字から仮名文字への文字変換を行ってから前記接続先端末に送出することを特徴とする端末装置。
5. 請求項４に記載の接続元端末装置において、さらに、アプリケーションの種別またはその入力欄の項目と当該アプリケーションまたは項目に対応したキーボード種別または入力モードとが関連付けられたテーブルが記憶手段に格納されており、
   前記仮想キーボード表示手段は、前記接続先端末から通知されるアプリケーションの種別またはその入力欄の項目に基づいて前記テーブルを参照し、対応するキーボード種別を判定して、対応する仮想キーボードをタッチパネルに表示させることを特徴とする端末装置。
6. ユーザが手元で操作するためのタッチパネル式の携帯型の接続元端末と、当該接続元端末から通信ネットワークを介してアクセスされる接続先端末とを具えるコンピュータシステムのリモートアクセス制御方法において、
   前記接続先端末が画面情報を前記接続元端末に送信するステップと、
   前記接続元端末が前記画面情報をタッチパネル式ディスプレイに表示するステップと、
   前記接続元端末が、直接入力モードと日本語ローマ字入力モードとで切替可能な仮想キーボードをタッチパネルに表示させるステップと、
   前記仮想キーボードのモードが、直接入力モードか日本語ローマ字入力モードかを判定するステップと、
   前記接続元端末が、前記直接入力モードの場合には前記仮想キーボードへの入力内容をキー入力毎に前記接続先端末に送出し、前記日本語ローマ字入力モードの場合には、前記仮想キーボードへの入力内容を取得してから前記接続先端末に送出する処理を保留し、ローマ字から仮名文字への文字変換を行ってから前記接続先端末に送出するステップと、
   前記接続先端末が当該入力情報を受け付けて、当該接続先端末の入力手段からの入力情報として処理するステップと、
   を具えることを特徴とするリモートアクセス制御方法。
7. 請求項６に記載のリモートアクセス制御方法において、前記接続元端末が、アプリケーションまたはその入力欄の項目と当該アプリケーションまたは項目に最も適したキーボード種別または入力モードが関連付けられたテーブルが格納された記憶手段を具え、前記接続元端末が前記仮想キーボードをタッチパネルに表示させるステップが、
   前記接続先端末がフォーカスされたアプリケーションまたは項目を検知して前記接続元端末に通知するステップと、
   前記接続元端末が、前記接続先端末からの通知に基づいて前記テーブルを参照し、対応するキーボード種別にかかる仮想キーボードをタッチパネルに表示させるステップと、
   を具えることを特徴とするリモートアクセス制御方法。
8. 通信ネットワークを介して接続先端末にアクセスし、前記接続先端末から画面情報を受信して表示するとともに、タッチパネルへの入力情報を前記接続先端末に送信して遠隔操作を実現するためのタッチパネル式の携帯型の接続元端末で動作するリモートアクセス制御プログラムにおいて、
   前記接続先端末の画面情報を受け取りタッチパネル式ディスプレイに表示するステップと、
   直接入力モードと日本語ローマ字入力モードとで切替可能な仮想キーボードをタッチパネルに表示させるステップと、
   前記仮想キーボードのモードが、直接入力モードか日本語ローマ字入力モードかを判定するステップと、
   前記直接入力モードの場合には前記仮想キーボードへの入力内容をキー入力毎に前記接続先端末に送出し、前記日本語ローマ字入力モードの場合には、前記仮想キーボードへの入力内容を取得してから前記接続先端末に送出する処理を保留し、ローマ字から仮名文字への文字変換を行ってから前記接続先端末に送出するステップと、
   を前記接続元端末に実行させることを特徴とするリモートアクセス制御プログラム。
9. 請求項８に記載のリモートアクセス制御プログラムにおいて、前記接続元端末が、アプリケーション種別またはその入力欄の項目と当該アプリケーションまたは項目に最も適したキーボード種別または入力モードが関連付けられたテーブルが格納された記憶手段を具え、前記リモートアクセス制御プログラムが、
   前記接続先端末からの通知に基づいて前記テーブルを参照し、対応するキーボード種別にかかる仮想キーボードをタッチパネルに表示するステップを前記接続元端末に実行させることを特徴とするリモートアクセス制御プログラム。
10. ユーザが手元で操作するためのタッチパネル式の入出力部を有する携帯型の接続元端末と、当該接続元端末から通信ネットワークを介してアクセスされる接続先端末とを具え、前記接続先端末が画面情報を前記接続元端末に送信して表示させるとともに、前記接続元端末が前記タッチパネルへの入力情報を前記接続先端末に送信して遠隔操作を実行させるリモートアクセス制御システムにおいて、
    前記接続先端末が、前記遠隔操作によりフォーカスされたアプリケーションの種別または項目を検知して、前記接続元端末に通知するアプリケーション監視部を具えるとともに、
    前記接続元端末が、アプリケーションの種別またはその入力欄の項目と当該アプリケーションまたは項目に対応するキーボード種別および入力モードとが関連付けられたテーブルが格納された記憶手段と、前記接続先端末からの通知に基づいて前記テーブルを参照して対応するキーボード種別を判定し、対応する仮想キーボードをタッチパネルに表示させる仮想キーボード表示部と、前記テーブルを参照して、アプリケーションの種別またはその入力欄の項目に対応するキーボード種別および入力モードを判定し、前記仮想キーボードのモードが日本語ローマ字入力モードの場合には、前記仮想キーボードへの入力内容を取得してから前記接続先端末に送出する処理を保留し、ローマ字から仮名文字への文字変換を行ってから前記接続先端末に送出する変換処理部とを具えることを特徴とするリモートアクセス制御システム。

Images