JP6062085B1 - 入力インターフェース制御システム、方法およびプログラム - Google Patents

Abstract

【課題】デバイス上での簡便なジェスチャー操作によりテンキー部や所望のファンクションキーをすべて表示させたり非表示にさせたりできるインターフェースを提供する。【解決手段】会計、税務処理システムないしアプリケーションプログラムをリモートで利用する場合に、文字入力キー、テンキー、ファンクションキーを備えた仮想キーボードを構成した上で、第１に、デバイスのタッチパネル画面より大きな幅の仮想キーボードを画面上に部分表示し、ユーザが仮想キーボードを所定量以上左右にスライドさせるジェスチャー操作によって隠れている部分が端まで表示されるようにする。第２に、キーボード上部に実装される複数のファンクションキーを、ユーザの上下スライドのジェスチャー操作によって出し入れする等の表示／非表示処理を行ない、必要がないときに画面を広く見えるようにする。第３に、仮想マウスを表示させて細かいポインタ操作や左右クリックなどをやり易くする。【選択図】図６

Description

本発明は、タッチパネル式のスマートデバイスにおいて文字入力やポインタ操作の使い勝手を向上させる入力インターフェース制御システム、方法およびプログラムに関し、特に、会計、税務処理のシステムやアプリケーションプログラムをリモートで利用する際に好適なユーザーインタフェースを提供するシステム、方法およびプログラムに関する。

近年、スマートフォンやタブレットＰＣなどのスマートデバイスが多く利用されている。このようなスマートデバイスは物理的なキーボードがなく、タッチパネルにソフトウェアキーボードないし仮想キーボード（以後、両者を総称して「仮想キーボード」と呼ぶ。）を表示させて文字や数字を入力できるように構成されている。一般にスマートデバイスは携帯に便利なように小型化され、そのためタッチパネル画面に表示される仮想キーボードも通常の物理的キーボードより小さくなる。このため一般に、仮想キーボードではテンキーを廃止するなど通常のキーボードを簡略化したキー配列が用いられている。

小型端末に表示される仮想キーボードの視認性を向上すべく、表示画面より大きな仮想キーボードの一部領域のみを画面表示し、スクロール操作によって所望の領域が表示されて入力したいキー領域を選択できるようにした端末装置が提案されている（特許文献１）。この装置の画面はタッチパネルではなく、加速度センサを有する端末装置を上下左右に動かすと仮想キーボードがスクロールされ、入力したい文字のキー領域にハイライト表示が移ったところで物理的なＯＫボタンを押すと、当該キーの値が取り込まれるように構成されている。

また、このようなスマートデバイスからネットワークで接続された他のコンピュータのＧＵＩやデスクトップ環境を操作するリモートデスクトップ技術が利用されている。例えばユーザは、スマートデバイスを用いて職場のパーソナルコンピュータのデスクトップ画面と同期させることで、職場のコンピュータのリソースを手元の端末でそのまま利用することができる。この技術を利用して、例えば会計事務所や税理士事務所（以下、単に会計事務所という。）の職員がスマートデバイスを持って顧問先企業に出向き、そこで会計事務所のコンピュータシステムにリモート接続して各種伝票データの取り込みを行うような作業形態が可能となった。

特開２００３−３１６５０２号公報

例えば会計処理を行う目的で端末が用いられる場合には、通常のキー配列の他にテンキーを利用できることが望ましく、さらに、定型仕訳、自動摘要、元帳表示、集計、仕訳計、貸方固定、借方固定などの機能を実行するために会計処理に特化した複数のファンクションキーが利用できることが望ましい。しかしながら、仮想キーボードにこれらのキー配列を含めようとするとスマートデバイスの画面に収まりきらず、および／または、画面の多くを占領してしまい元の画面が見えなくなってしまうという問題が生じる。特に、会計、税務処理システムやアプリケーションプログラムを利用する際には、摘要などの文字入力に加え、年月日や金額の入力に際してテンキーを用いることが有効であり、さらにファンクションキーに各種機能（例えば「集計」や「定型仕訳」など）を割り当てて、様々な機能を用いながら入力を行なうことが便宜となる。このような場合に、仮想キーボードとして、文字入力キー、テンキー、ファンクションキーの全てを同時並行で利用可能とするキーボード（以下、「財務キーボード」と呼ぶ。）を利用できるようにするのが好ましいが、キーボードの構成がかなり大きくなり、そのまま携帯用のスマートデバイスの比較的小さな表示画面に表示することが困難となる。この場合、文字入力キー、テンキー、ファンクションキーがボタン操作で切り替わるようにすることが考えられるが、逐一切り換えて入力するのは無駄な操作が増える等して使い勝手が悪い。

本発明はこのような課題を解決すべくなされたものであり、特にリモート環境下で会計、税務処理システムやアプリケーションプログラムを利用する場合において、財務キーボードを構成した上で、スマートデバイス上での簡便なジェスチャー操作によりテンキー部分に移動させたり、所望のファンクションキーの表示／非表示を切り換えられるインターフェースを提供することを目的とする。

この目的を達成すべく、本願発明は、タッチパネル画面を有するデバイスのインターフェース制御システムにおいて、前記タッチパネル画面上に所定のキー配列を含む仮想キーボードを構成し、当該仮想キーボードの表示領域内で予め定められた量以上のスライドジェスチャーを検知した場合に、当該スライドジェスチャーの方向に対応する所定のキー配列部分が全部表示されるように前記仮想キーボードを移動させ、又は所定のキー配列部分全体の表示／非表示を行うことを特徴とする。

本発明の第１実施例にかかるインターフェース制御システムは、前記仮想キーボードが前記タッチパネル画面に収まるサイズの汎用キーボード部分と、前記汎用キーボード部分を表示させた場合に右または左の画面外となるテンキー部分とを具え、前記仮想キーボード上で所定量以上の左右のスライド操作を検知した場合に、前記画面内で前記仮想キーボードを前記ユーザの操作に対応する方向の端までスライド表示させる。

本発明の第２実施例にかかるインターフェース制御システムは、前記仮想キーボードが上部に複数のファンクションキーを具え、前記仮想キーボード上で所定量以上の上下のスライド操作を検知した場合に、前記複数のファンクションキーの表示／非表示を行なう。

第３実施例にかかるインターフェース制御システムは、マウス本体と、当該マウス本体に対して所定の位置を保持するカーソルポインタとを具える仮想マウスツールを前記タッチパネル画面上に表示させ、前記マウス本体は１以上の仮想クリックボタンと仮想ホイールを具え、前記マウス本体のドラッグ操作を検知した場合に前記仮想マウスツール全体を移動させ、前記仮想クリックボタンのタップ操作を検知した場合に前記カーソルポインタの尖端におけるクリック処理を行い、前記仮想ホイール上でのスライド操作を検知した場合にスクロール処理を行う。

この場合において、前記マウス本体とカーソルポインタの相対位置により前記カーソルポインタの尖端が移動できない画面領域の端への前記マウス本体のドラッグ操作を検知した場合に、前記タッチパネル画面の表示内容を反対側へ相対移動させることにより、前記画面領域の選択操作を可能とすることが有効である。

本発明の第４実施例にかかるインターフェース制御システムは、前記仮想キーボードが前記タッチパネル画面に収まるサイズの汎用キーボード部分と、前記汎用キーボード部分を表示させた場合に右または左の画面外となるテンキー部分とを具え、所定のアプリケーションにおいて数字の入力が求められる入力欄にカーソルが移動されるか選択された場合に、前記画面内に前記テンキー部が全部表示されるように前記仮想キーボードをスライドさせる。

本発明の第５実施例にかかるインターフェース制御システムは、前記仮想キーボードが上部に通常時は非表示である複数のファンクションキーを具え、所定のアプリケーションの所定の入力欄にカーソルが移動されるか選択された場合に、前記複数のファンクションキーを表示させる。なお、アプリケーションの項目欄の種別については、アプリ毎に用意された画面構成情報（画面構成の位置情報など）と対応づけてテーブルの形式等で登録されて管理され、マウス等のカーソルの位置が所定の項目欄の範囲内に入ったかどうかを検出することで取得する。

本発明の第１実施例では、スマートデバイスの画面外にテンキー部を具える仮想キーボードを構成し、所定量以上ないし所定の速度以上の左右スライド操作があったらユーザはテンキーの使用を希望していると判定して、テンキー部の端まで全部表示されるように仮想キーボードをスライドさせる。仮想キーボードの端までスライドジェスチャーを行わなくとも、あるいは、極端に速いスライド操作を行なわなくても、所定量以上あるいは所定の速度以上のジェスチャーでテンキー部が端までスライドするようにしたため、ユーザは簡単にテンキー部と通常のキーボード本体部を使い分けることができる。 特に、所定量以上ないし所定の速度以上の左右スライド操作の閾値を小さめに設定すると、テンキー部分に素早く自動スクロールできるので、使い勝手が向上する。

本発明の第２実施例によると、キーボード上部に実装される複数のファンクションキーを、所定量以上の上下スライド操作によって表示／非表示を切り替えることにより、上記のような簡便な操作でファンクションキーを利用できるようにするとともに、ファンクションキーの必要がないときに画面を広く見えるようにすることができる。

本発明の第３実施例によると、細かい単位で位置指定が可能な（例えば矢印形の）ポインタと連動する仮想マウスツールを表示させて操作できるようにしたことにより、タッチパネル画面を指で操作するよりも細かいポインタ操作や、左右クリック、スクロール操作がやり易くなる。このときマウス本体とカーソルポインタの位置関係により画面の端までカーソルポインタを移動できない画面領域については、マウスツールをこの画面領域の端まで移動すると画面内容が反対側に動いて当該画面領域のすべての範囲を選択できるようにする。これにより、タッチパネル画面の全領域について、指を宛てて操作している場所と連動する異なる位置にあるポインタでドット単位の指定が可能となり、スマートデバイスの使い勝手が向上する。

本発明の第４実施例では、スマートデバイスの画面外にテンキー部を具える仮想キーボードを構成し、所定のアプリケーションにおいて日付や金額の入力欄が選択されるか当該入力欄内にカーソルが移動したらユーザはテンキーの使用を希望していると判定して、テンキー部の端まで全部表示されるように仮想キーボードをスライドさせる。仮想キーボードの端までスライドジェスチャーを行わなくとも、自動でテンキー部が端までスライド表示されるようにしたため、ユーザは簡単にテンキー部と通常のキーボード本体部を使い分けることができる。

本発明の第５実施例によると、キーボード上部に実装される複数のファンクションキーを、アプリケーションの所定欄上のカーソルの有無によって表示／非表示を切り替えることにより、上記のような簡便な操作でファンクションキーを利用できるようにするとともに、ファンクションキーの必要がないときに画面を広く見えるようにすることができる。

図１は、本発明のインターフェース制御システムを用いる実施形態の全体構成を示す概略図である。 図２は、図１における主要な装置の構成を説明するための概略図である。 図３は、接続先端末１０と接続元端末（スマートデバイス）２０の構成や機能をより詳細に説明するための図である。 図４は、接続元端末２０のアプリケーション起動後の画面構成の実施例を示す図である。 図５は、接続元端末２０で利用可能なキーボード種類の例を示す図である。 図６は、第１実施形態の入力インターフェース制御方法を説明するためのフローチャートである。 図７は、本発明の第１実施例の操作インターフェースを示す概略図である。 図８は、本発明の第２実施例の操作インターフェースを示す概略図である。 図９は、本発明の第２実施形態の操作インターフェースを示す概略図である。 図１０は、図９の実施形態において、画面右下領域をポイント指示する場合の制御を説明する図である。

本発明を実施するための形態について、添付の図面を参照しながら以下に詳細に説明する。図１は、本発明のインターフェース制御システムを用いた会計処理システムの全体構成を示す概略図である。本実施形態は、例として、タッチパネル式のスマートデバイス２０を用いて会計事務所や企業の財務・会計ないし税務処理用コンピュータであるリモート接続先コンピュータシステムにリモート接続し、そのリソースを利用する会計処理システムに関する。図１（ａ）の実施例は、リモートデスクトップの認証・接続を専用サーバー３０が管理する運用体系であり、図１（ｂ）の実施例はＶＰＮ（Virtual Private Network）技術を用いて安全な接続を確保したリモートデスクトップの運用体系である。リモート接続先は、サーバー１１の配下に実体的なコンピュータ端末１０を有し、ファイアウォール１３を介してインターネットに接続されている。接続元端末２０は携帯型のスマートフォンやタブレットＰＣなどのスマートデバイスであり、タッチパネル式ディスプレイを介して入力を受け付ける情報通信端末である。認証・接続管理サーバー３０はリモートデスクトップの相互接続認証や情報のやりとりを管理するサーバーであり、リモート接続先と接続元端末２０のやりとりを絶えず仲介するよう構成されてもよいし、最初の接続認証だけを仲介するものであってもよい。また、図１に示すリモート接続先は、個別にサーバー１１やファイアウォール１３を含んでいるが、接続先端末１０自身が認証機能やファイアウォール機能を有すれば、接続先端末１０がダイレクトにインターネットに接続するようにしても良い（スタンドアローン構成）。

リモートデスクトップ技術はシンクライアント方式で画面情報を接続元端末に送信して表示させ、接続元端末から入力情報を受け付けて実際の処理は接続先システムが行うことにより遠隔操作を達成するものであり、それ自体は公知技術であるため詳細な説明は省略する。

また、リモート接続先端末は、実体的なコンピュータ端末１０であってもよいし、例えばサーバー１１の一部機能で実現されるような仮想端末であってもよい。より具体的には、仮想端末は、サーバー内のＨＤＤないしＳＳＤの一部にＯＳやアプリケーションソフトを格納し、これらのソフトウェアをメモリ上に展開して、プロセッサ処理により実現されたもので、独立した実体のある端末とは異なるが実体の端末と同等の処理を実行可能な仮想的な端末を意味する。仮想端末は表示画面や入力手段を必ずしも持たなくてもよく、接続元端末２０からのアクセスを受けてコンピュータ演算処理を実行し出力画面の情報を接続元端末２０に送出する。接続先端末１０の画面情報は接続元端末２０に送出されるが、初期画面を送出した以降は差分情報のみを送出してネットワークトラフィックの混雑を回避するように構成されていてもよい。なお、本発明の入力インターフェースは、上記のようなネットワーク構成におけるリモートアクセスで利用する場合に限られず、スマートデバイスに搭載されたアプリケーションプログラムを利用する場合にも適用することができる。

図２は、図１における主要な装置の構成を説明するための概略図である。図２（ａ）はリモート接続先端末１０、図２（ｂ）はサーバー１１、図２（ｃ）は接続元端末２０の概略構成を示す。リモート接続先端末１０は一般的なデスクトップ型またはノート型のコンピュータであり、キーボードやマウス等の入力部１２１と、ディスプレイやスピーカ等の出力部１２２と、ハードディスクやメモリ等の記憶部１２３と、ＣＰＵ等でなる制御部１２４と、インターネットに接続するための通信部１２５とを具える。サーバー１１は、記憶部１１１と、制御部１１２と、通信部１１３とを具え、必ずしも入出力部は必須の構成ではない。接続元端末２０は、液晶ディスプレイなどの出力部（表示部）とタッチ式の入力部を具えたタッチパネル式の入出力部２１と、記憶部２２と、制御部２３と、通信部２４とを具える。タッチパネルの方式としては、圧力感応方式、静電方式など様々なタイプを選択することができる。

図３は、接続先端末１０と接続元端末２０の構成や機能をより詳細に説明するための図である。以降の説明では、接続先端末１０は実体的なコンピュータ端末１０であるものとして説明するが、上述のように接続先端末はサーバー１１等の機能の一部である仮想端末であってもよい。遠隔操作される接続先端末１０は、キーボードやマウス等の入力部１２１と、端末全体の動作を司るＯＳ（オペレーティングシステム）部１０２と、ＯＳと個々のアプリケーションとのインターフェースを担うアプリインタフェース制御部１０３と、個々のアプリケーションを実行するアプリ実行部１０４と、リモートデスクトップを制御する被操作側リモート制御部１０５とを具える。被操作側リモート制御部１０５は、この接続先端末１０をリモートデスクトップの被操作側として動作させるためのエージェントであり、画面データ（または差分データ）を抽出して接続元端末２０に送出する画面データ抽出部１０７と、接続元端末２０からの入力情報をあたかも接続先端末１０の入力部１２１からの入力情報となるように、入力部１２１に代わってＯＳ部１０２に渡す入力エミュレート部１０８とを具える。

遠隔操作を行うための接続元端末（スマートデバイス）２０は、入力部であるタッチパネル２１と、ＯＳ部２６と、アプリインタフェース制御部２７と、接続先端末１０から画面情報を受け取って画面合成を行ってからタッチパネル式ディスプレイ２１に表示する画面エミュレート部２８と、リモートデスクトップを実現するためのエージェントである遠隔操作側リモート制御部２９と、入力部２１と連携するインターフェース制御部２５とを具える。本実施形態では、会計事務所や企業にある接続先端末１０とリモート接続するための専用のアプリケーション（以下専用アプリケーションとする）がインストールされており、ユーザがこの専用アプリケーションを起動すると接続先端末１０の選択／確認、ＩＤ・パスワード認証を経てリモートデスクトップ環境が構築され、接続先端末１０上で動作する各種の税務・会計用アプリケーションが利用可能となる。

図４は、接続元端末２０の上記専用アプリケーション起動後の画面構成の実施例を示す図である。図示するように、本実施例では画面上部にツールバー３１が表示され、その中にキーボードアイコン３２と、マウスアイコン３３とが含まれている。このツールバー３１は常時表示されていてもよいが、普段は隠れておりユーザの画面上部のタップ操作またはスライド操作により現れるようにしてもよい。ユーザがキーボードアイコン３２をタップすると、例えば画面下部に仮想キーボードが現れてキーボード入力が可能となる。なお、操作しているアプリケーションやリモート接続先１０で実行されているアプリケーションの入力欄がタップされた場合やカーソルを入力欄においた場合に、アプリケーションまたはリモート制御部２９がこれを自動で検知して、キーボードアイコン３２のタップを待たずにキーボードを表示させたり、テンキー部４２やファンクションキー４３を利用させたりできる構成としてもよい。

図５は、接続元端末２０で利用可能なキーボード種類の例を示す図である。リモート接続でなく、スマートデバイスのアプリケーションプログラムを利用する場合のキーボードについても同様である。本実施例では接続元端末２０で３種類の仮想キーボードが利用可能であり、キーボード切替ボタン（図示せず）で指定することによりどの仮想キーボードを利用するかを指定することができる。図５（ａ）はメール作成等に便利な文字入力に重きを置いた標準キーボード、図５（ｂ）は一般的なデスクトップコンピュータで用いられているキー配列を有するＰＣキーボード、図５（ｃ）は特に財務・会計ないし税務処理に特化させた財務キーボード４０である。図５（ｃ）に示すように、財務キーボード４０は文字入力を行うための一般的なキーボード本体部４１と、特に金額や日付の入力が容易になるよう設計されたテンキー部４２と、財務・会計ないし税務処理に特化させた複数のファンクションキー４３とを具える。図示するようにこの会計処理用に設計された財務キーボードは多くの入力キーを有し、小型のスマートデバイス端末２０の画面に全部表示しようとすると個々のキーが小さくなり入力間違い等の問題が多発してしまう。そこで本発明は、デフォルトではキーボード本体部４１のみを表示するようにして、簡単なスライドジェスチャー操作でテンキー部４２やファンクションキー４３を利用できるようにする。この内容をフローチャートと画面例を用いて以下に説明する。

なお、テンキーには、０〜９の数字の他、特に金額入力に便利な００や０００のように０が複数個セットになった数字キーや、小数点を示す「．」やエンターキー、ＴＡＢ、マイナスを示す「−」キー、位取りキーなどが含まれるがこれらに限定されない。また、テンキーの中に、あるいはテンキーとは別に、前後左右に移動するための矢印キーや、前頁や次頁に移動するためのキーなどを構成しても良い。あるいは、これらのキーの他に、電卓のキーセットを、テンキーに代えて、あるいはテンキーに含めて用意するようにしても良い。あるいは、これらのキーの他に、日付入力用にカレンダーのＧＵＩ（グラフィカルユーザインタフェース）を、テンキーに代えて、あるいはテンキーと共に用意するようにしても良い。

図６は、本発明の実施形態にかかる入力インターフェース制御方法を説明するためのフローチャートである。例えば図４のキーボードアイコン３２がタップされ、さらに上記のような方法で財務キーボードが指定されている場合（図６ステップＳ１）、端末２０は図５（ｃ）に示す財務キーボード４０のキーボード本体部４１の部分を端末２０の画面幅いっぱいに表示する。この画面例を図７（ａ）に示す。図７（ａ）に示すように、端末２０の左右の画面幅いっぱいにキーボード本体部４１が表示され、テンキー部４２は概念的に画面の右側にはみ出た状態となっている。この状態で、仮想キーボード上にタップ（キー押下）操作があれば（Ｓ３）、システムはタップされた領域に対応するキー内容の入力を受け付ける（Ｓ４）。すなわち、タップされた場所の座標から画面表示しているキーボードの対応するキーを特定し、その内容が入力されたものとして処理を行う。一方、仮想キーボード上で、タップ操作ではなく所定量以上のスライドジェスチャーがあった場合（Ｓ５）、システムはそのスライドジェスチャーが左右方向か上下方向かを判定し（Ｓ６）、左右方向であれば仮想キーボードをジェスチャー方向の端までスライド表示させる（Ｓ７）。すなわち、図７（ａ）に示す状態からキーボード領域上で左にスライドさせるジェスチャー操作を検知したら、図７（ｂ）に示すように仮想キーボード４０を左にスライドさせてテンキー部４２が端まで全部表示されるようにする。ユーザはこの状態でテンキー部４２の所望のキー入力を行うことができる（Ｓ３−Ｓ４）。なお、テンキー部の利用を終えて、通常のキー配列（文字列部分など）を利用したい場合には、前記と逆方向のジェスチャー操作により、テンキー部を隠れさせ、通常のキー配列（文字列部分など）部分が表示されるようにスクロールを行なう。

さらに、ステップＳ６でジェスチャー方向が上下方向であると判定されたら（Ｓ６：Ｎ）、ジェスチャー方向に応じてキーボード上部のファンクションキー４３の表示／非表示を切り換える（Ｓ８）。この画面例を図８に示す。図８（ａ）はファンクションキー４３がキーボード本体部４１とともに表示されたデフォルトの状態であり、相対的にキーボード以外の画面内容は小さく表示されている。この状態から仮想キーボード上で所定量以上下方向にスライドさせるジェスチャー操作を行うと、システムはファンクションキーの表示がいらないものと判定して、図８（ｂ）に示すようにファンクションキー４３を非表示とする。この状態ではファンクションキーは使用できないが、その分キーボード以外の画面領域を多くして見易くすることができる。さらに、この状態から仮想キーボード上で上方向のスライドジェスチャーを行うと、再びファンクションキー４３が現れて（図８（ａ）の状態）ユーザは所望のファンクションキーを用いて会計処理を進めることができる。

ここで、「所定量以上」のスライドジェスチャーとしたのは、例えばテンキー部４２を表示させるためにユーザがテンキー部４２の幅を全部スライド操作するのではなく、それよりも小さい所定量のスライド操作があったら、ユーザがテンキー部４２を使いたいのだとシステムが判断して、仮想キーボードを端までスライドさせて次の瞬間からテンキー部４２を利用できるようにするためである。これによりユーザは迅速にテンキー部４２やファンクションキー４３を利用することができる。また、スライドジェスチャーは仮想キーボード４０上であればどの部分でも受け付けるようにすると、例えば所定の場所にあるボタンを押下することによりテンキー部やファンクションキーの表示／非表示を切り換えるシステムに比べて楽に操作することができる。スライドジェスチャーの「所定量」は距離であってもよいし、単位時間にスライドさせた量、すなわちスライド速度であってもよい。さらに、画面タッチの強弱度合いを取得できるタッチパネルでは、ユーザが画面に触れている強さとスライドさせた距離および／または速さを組み合わせた値が所定量以上であれば仮想キーボードを端までスライドさせるようにしてもよい。この切り換え処理の閾値となるスライド距離は、タップ操作と区別できるレベルであればよく、例えば物理的な距離で２ｍｍ、５ｍｍ、１０ｍｍ、２０ｍｍなどを設定することができる。さらに、ユーザがこの距離を任意に設定できるようにしてもよい。また、スライド方向が上下方向か左右方向かを判断する場合（Ｓ６）、例えば画面の垂直軸から前後４５°以下であれば上下方向、４５°以上であれば左右方向と判定するよう構成することができる。ただし、画面の垂直軸や水平軸から例えば前後３０°など所定範囲のみに限定して、その他の方向のスライドジェスチャーは無視するように構成してもよい。

なお、テンキー部やファンクションキーの表示／非表示を切り換えるためのスライドジェスチャーの「所定の」量または速度としては、従来スマートデバイスのウィンドウや仮想キーボードのスクロール制御に採用されていたよりもかなり小さめの閾値を設定して、例えば、スライド量で２ないし１０ｍｍ、スライド速度で毎秒１ないし３ｃｍといった値を超えた場合に、テンキー部分を使いたいと判断することが考えられる。ただし、このように閾値を小さめに設定すると、会計や税務アプリケーションプログラム以外のアプリケーションプログラム（ワープロソフト等）を使う場合に、不用意にテンキー部分に自動スクロールしてしまうといった支障が考えられるため、会計や税務アプリケーションなどの特定のアプリケーションプログラムの利用中に限定してテンキーを端まで表示させるスライドジェスチャーの閾値を小さめに設定するように構成してもよい。以上のように、本発明の入力インターフェースは、通常のアプリケーションプログラムを利用する際にも用いることができるが、特に財務・会計ないし税務アプリ（システム）を利用する際に、ユーザの使い勝手を向上させることができる。

このようにしてキーボード入力が終了したら、あるいは入力途中でもユーザがキーボードを非表示とさせたい場合には、図４に示すキーボードアイコンを再びタップしたり、タッチパネル画面の仮想キーボード領域以外の部分をタップするなど所定の操作を行うと、システムはキーボード入力モードを終了すると判断して（Ｓ９）、タッチパネル画面に表示している仮想キーボード全体を非表示とする（Ｓ１０）。

上記の実施例では、図５に示すうちの財務キーボード４０（図５（ｃ））を例に説明しているが、図５（ｂ）に示すＰＣキーボードも同様に制御することができる。すなわち、ＰＣキーボードにおいてキーボード右側のテンキー部と矢印キー等の部分が画面外となるようデフォルト表示させ、スライドジェスチャーにより仮想キーボードを左へスライドしてこれらの部分が表示されるようにする。また、図５では主に右利きのユーザに便宜となるようテンキー部４２を右側に配置しているが、これは左利きのユーザのためにテンキー部４２をキーボード本体部４１の左側に配置してもよく、さらにユーザの設定によりテンキー部の配置を左右に切り換えられるようにしてもよい。また、テンキーについて本実施例では仮想キーボードとテンキーが同時に表示されているが、テンキーを単独で表示するように切り替えてもよい。なお、スクロール操作の中で、テンキー部分が表示される場合には、その部分が全体表示（テンキー全体が欠けの無いよう拡大または縮小表示）となるようにしてもよい。

別の実施例では、上記の構成に加えて、例えば財務・会計用アプリケーションなど所定のアプリケーションの操作時に、日付や金額の入力欄がタップ操作されたり当該入力欄上にカーソルが移動したら、ユーザがテンキーの使用を希望していると判定して、テンキー部４２が全部表示されるようにしてもよい。この場合、画面上に既に仮想キーボード４０が表示されている場合にはテンキー部４２がすべて表示されるように仮想キーボードをスライドさせ、画面上に仮想キーボード４０が表示されていない場合にはテンキー部４２が全部表示されるように仮想キーボード４０を画面上に出現させる。

さらなる別の実施例では、例えば財務・会計用アプリケーションにおいて、摘要や科目の入力欄などファンクションキーを使用すると入力勝手がよくなるような所定の入力欄にタップ操作があったりカーソルが移動したりした場合に、ファンクションキーを（表示されていなければ）表示されるようにしてもよい。このような処理は、予めアプリケーション毎に画面構成情報（入力欄の位置とそこに記入されるべき内容種別（例えば数字なのか摘要等なのか））と、入力欄毎に選択された場合の処理（テンキー部４２を表示するのか、ファンクションキー４３を表示するのか）をテーブル形式で登録しておき、オペレーションシステムまたは個別のアプリケーションがカーソル位置やタップ操作に応じてテーブルを参照して実現することができる。

次に、本発明の第２実施形態について説明する。本実施形態は、スマートデバイスのタッチパネルを指で操作した場合に細かいタッチ制御が難しいことに鑑み、指で隠れない部分に点で指定するポインタを表示させて細かい制御を実現する仮想マウスツールに関する。例えば図４に示す接続元端末２０の画面上で、ユーザがマウスアイコン３３をタップすると、図９に示すような仮想マウスツール５０が画面表示される。この仮想マウスツール５０は、マウス本体５１と、当該マウス本体５１に対して所定の位置を保持するポインタ５２とを具え、さらにマウス本体５１は、左右のクリックボタン５３とホイール５４を有する。ユーザが端末２０のタッチパネル画面上でマウス本体５１をドラッグ（スライド操作）するとマウス本体５１とカーソルポインタ５２が相対位置を保持したまま動き、さらに左右のクリックボタン５３をタップしたりホイール５４をスライド操作すると、ポインタ５２の位置座標において、物理的なマウスのクリックボタンやスクロールホイールと同じ制御が行われる。マウス本体５１、ひいては左右のクリックボタン５３とホイールボタン５４は、それぞれユーザの指で誤ったところをタッチすることによる誤作動を回避できるように、確実に操作できる程度の大きさを有する。また、マウス本体５１とポインタ５２の位置関係は、マウス本体５１に指を宛てたときにポインタ５２の尖端が隠れないように設定される。このように入力インターフェースを制御すると、ユーザの指による直接的なタッチ操作では細かいポイント操作が困難であったところ、ポインタ５２を移動させて細かいポイント動作、左右のクリック操作、さらにホイール操作が容易となる。なお、ポインタ５２は矢印型である必要はなく、一点を指定できる限りにおいて×印やマウス本体の尖らせた角など別の構成を採用してもよい。

図９に示す実施例では、ポインタ５２の尖端がマウス本体５１の左上に位置決めされているため、タッチパネル画面の右端部および下端部の領域をポインタ５２で指定できなくなる不都合がある。このため、本実施例の仮想マウスツールでは、図１０（ａ）に示すように仮想マウスツール５０が画面の右端部および／または下端部の予め定められた領域にドラッグされたことを検知すると、図１０（ｂ）に示すようにドラッグ方向と反対方向に画面の表示内容を相対移動させて、ポインタ５２の尖端で画面の右端部および／または下端部をポイント操作できるようにする。このように仮想入力インターフェースを制御すると、画面の全領域を高い精度で指定、選択することができる。本実施例では仮想マウスで説明しているが、仮想ペンや他の形状の仮想ポインティングデバイスであってもよい。さらに、仮想マウスツール５０は画面上に表示された矢印キーや他の仮想ポインティングデバイスで移動操作できるように構成してもよい。

以上、本発明の数々の実施形態および実施例について詳細に説明したが、本発明の技術的範囲は上記の実施形態ないし実施例に限定されるものではなく、本発明は添付の特許請求の範囲を逸脱することなく様々な変形例、変更例として実現することができ、このような変形例、変更例はすべて本発明の技術的範囲に属すると解されるべきである。

例えば上述した実施形態では、スマートデバイス（接続元端末）２０の専用のアプリケーションで接続先端末１０への接続と入力インターフェース制御を行っているが、本発明の適用範囲は専用のアプリケーションで他の端末にリモート接続するシステムに限らず、リモート接続用でなくても、例えばスマートデバイス上のメールソフトやウェブブラウザなどキーボード入力を用いる多くのアプリケーションに本発明のインターフェース制御を適用することが可能である。この場合、電子メールやウェブブラウザなど個別のアプリケーションが上述した制御を実施してもよいし、スマートデバイスのオペレーティングシステムが本発明の制御を行ってもよい。また、上記の説明では、スマートデバイスを中心に説明したが、本発明は、ＦＡＸ、コピー機、およびプリンタ、あるいはそれらを統合した複合機など、画面表示が比較的小さな機器やデバイスにも適用しても良い。

本発明は、キーボード入力を用いるタッチパネル式の携帯型スマートデバイスや複合機等のデバイスに利用することができる。

１０ リモート接続先端末
１０５ リモート制御部
２０ リモート接続元端末（スマートデバイス）
２９ リモート制御部
２５ インターフェース制御部
３０ 認証・接続管理サーバー
３１ ツールバー
３２ キーボードアイコン
３３ マウスアイコン
４０ 財務キーボード
４１ キーボード本体部
４２ テンキー部
４３ ファンクションキー
５０ 仮想マウスツール
５１ マウス本体
５２ ポインタ
５３ クリックボタン
５４ スクロールホイール

Claims (18)

1. タッチパネル画面を有するデバイスのインターフェース制御システムであって、前記タッチパネル画面上に所定のキー配列を含む仮想キーボードを構成し、当該仮想キーボードの表示領域内で予め定められた量以上のスライドジェスチャーを検知した場合に、当該スライドジェスチャーの方向に対応する所定のキー配列部分が全部表示されるように前記仮想キーボードを移動させ、又は所定のキー配列部分全体の表示／非表示を行うことを特徴とするシステム。
2. 請求項１のインターフェース制御システムにおいて、前記仮想キーボードは前記タッチパネル画面に収まるサイズの汎用キーボード部分と、前記汎用キーボード部分を表示させた場合に右または左の画面外となるテンキー部分とを具え、前記仮想キーボード上で所定量以上の左右のスライド操作を検知した場合に、前記画面内で前記仮想キーボードを前記操作に対応する方向の端までスライド表示させることを特徴とするシステム。
3. 請求項１または２のインターフェース制御システムにおいて、前記仮想キーボードが上部に複数のファンクションキーを具え、前記仮想キーボード上で所定量以上の上下のスライド操作を検知した場合に、前記複数のファンクションキーの表示／非表示を行なうことを特徴とするシステム。
4. 請求項１乃至３のいずれかに記載のインターフェース制御システムにおいて、所定のアプリケーションの画面上の所定の入力欄を選択あるいはカーソルで指す操作を検知した場合に、前記仮想キーボードのテンキー部分および／またはファンクションキーを表示させることを特徴とするシステム。
5. 請求項１乃至４のいずれかに記載のインターフェース制御システムにおいて、マウス本体と、当該マウス本体に対して所定の位置を保持するカーソルポインタとを具える仮想マウスツールを前記タッチパネル画面上に表示させ、前記マウス本体は１以上の仮想クリックボタンと仮想ホイールを具え、前記マウス本体のドラッグ操作を検知した場合に前記仮想マウスツール全体を移動させ、前記仮想クリックボタンのタップ操作を検知した場合に前記カーソルポインタの尖端におけるクリック処理を行い、前記仮想ホイール上でのスライド操作を検知した場合にスクロール処理を行うことを特徴とするシステム。
6. 請求項５に記載のインターフェース制御システムにおいて、前記マウス本体とカーソルポインタの相対位置により前記カーソルポインタの尖端が移動できない画面領域の端への前記マウス本体のドラッグ操作を検知した場合に、前記タッチパネル画面の表示内容を反対側へ相対移動させることにより、前記画面領域の選択操作を可能とすることを特徴とするシステム。
7. タッチパネル画面を有するデバイスのインターフェース制御方法であって、前記デバイスに、前記タッチパネル画面上に所定のキー配列を含む仮想キーボードを構成し、当該仮想キーボードの表示領域内で予め定められた量以上のスライドジェスチャーを検知した場合に、当該スライドジェスチャーの方向に対応するキー配列部分が全部表示されるように前記仮想キーボードを移動させ、又は所定のキー配列部分全体の表示／非表示処理を実行させることを特徴とする方法。
8. 請求項７のインターフェース制御方法において、前記仮想キーボードは前記タッチパネル画面に収まるサイズの汎用キーボード部分と、前記汎用キーボード部分を表示させた場合に右または左の画面外となるテンキー部分とを具え、前記デバイスに、前記仮想キーボード上で所定量以上の左右のスライド操作を検知した場合に、前記画面内で前記仮想キーボードを前記操作に対応する方向の端までスライド表示させることを特徴とする方法。
9. 請求項７または８のインターフェース制御方法において、前記仮想キーボードが上部に複数のファンクションキーを具え、前記デバイスに、前記仮想キーボード上で所定量以上の上下のスライド操作を検知した場合に、前記複数のファンクションキーの表示／非表示処理を実行させることを特徴とする方法。
10. 請求項７乃至９のいずれかに記載のインターフェース制御方法において、所定のアプリケーションの画面上の所定の入力欄を選択あるいはカーソルで指す操作を検知した場合に、前記仮想キーボードのテンキー部分および／またはファンクションキーを表示させることを特徴とする方法。
11. 請求項７乃至１０のいずれかに記載のインターフェース制御方法において、前記デバイスに、マウス本体と、当該マウス本体に対して所定の位置を保持するカーソルポインタとを具える仮想マウスツールを前記タッチパネル画面上に表示させ、前記マウス本体は１以上の仮想クリックボタンと仮想ホイールを具え、前記マウス本体のドラッグ操作を検知した場合に前記仮想マウスツール全体を移動させ、前記仮想クリックボタンのタップ操作を検知した場合に前記カーソルポインタの尖端におけるクリック処理を行い、前記仮想ホイール上でのスライド操作を検知した場合にスクロール処理を実行させることを特徴とする方法。
12. 請求項１１に記載のインターフェース制御方法において、前記デバイスに、前記マウス本体とカーソルポインタの相対位置により前記カーソルポインタの尖端が移動できない画面領域の端への前記マウス本体のドラッグ操作を検知した場合に、前記タッチパネル画面の表示内容を反対側へ相対移動させることにより、前記画面領域の選択操作を可能とすることを特徴とする方法。
13. タッチパネル画面を有するデバイスのインターフェース制御プログラムであって、前記デバイスに、前記タッチパネル画面上に所定のキー配列を含む仮想キーボードを構成し、当該仮想キーボードの表示領域内で予め定められた量以上のスライドジェスチャーを検知した場合に、当該スライドジェスチャーの方向に対応するキー配列部分が全部表示されるように移動させ、又は所定のキー配列部分全体の表示／非表示処理を実行させることを特徴とするプログラム。
14. 請求項１３のインターフェース制御プログラムにおいて、前記仮想キーボードは前記タッチパネル画面に収まるサイズの汎用キーボード部分と、前記汎用キーボード部分を表示させた場合に右または左の画面外となるテンキー部分とを具え、前記デバイスに、前記仮想キーボード上で所定量以上の左右のスライド操作を検知した場合に、前記画面内で前記仮想キーボードを前記操作に対応する方向の端までスライド表示させることを特徴とするプログラム。
15. 請求項１３または１４のインターフェース制御プログラムにおいて、前記仮想キーボードが上部に複数のファンクションキーを具え、前記デバイスに、前記仮想キーボード上で所定量以上の上下のスライド操作を検知した場合に、前記複数のファンクションキーの表示／非表示処理を実行させることを特徴とするプログラム。
16. 請求項１３乃至１５のいずれかに記載のインターフェース制御プログラムにおいて、所定のアプリケーションの画面上の所定の入力欄を選択あるいはカーソルで指す操作を検知した場合に、前記仮想キーボードのテンキー部分および／またはファンクションキーを表示させることを特徴とするプログラム。
17. 請求項１３乃至１６のいずれかに記載のインターフェース制御プログラムにおいて、前記デバイスに、マウス本体と、当該マウス本体に対して所定の位置を保持するカーソルポインタとを具える仮想マウスツールを前記タッチパネル画面上に表示させ、前記マウス本体は１以上の仮想クリックボタンと仮想ホイールを具え、前記マウス本体のドラッグ操作を検知した場合に前記仮想マウスツール全体を移動させ、前記仮想クリックボタンのタップ操作を検知した場合に前記カーソルポインタの尖端におけるクリック処理を行い、前記仮想ホイール上でのスライド操作を検知した場合にスクロール処理を実行させることを特徴とするプログラム。
18. 請求項１７に記載のインターフェース制御プログラムにおいて、前記デバイスに、前記マウス本体とカーソルポインタの相対位置により前記カーソルポインタの尖端が移動できない画面領域の端への前記マウス本体のドラッグ操作を検知した場合に、前記タッチパネル画面の表示内容を反対側へ相対移動させることにより、前記画面領域の選択操作を可能とすることを特徴とするプログラム。

Images