JP6488903B2 - 画面転送制御システム、画面転送制御プログラム及び画面転送制御方法 - Google Patents

画面転送制御システム、画面転送制御プログラム及び画面転送制御方法 Download PDF

Info

Publication number
JP6488903B2
JP6488903B2 JP2015121203A JP2015121203A JP6488903B2 JP 6488903 B2 JP6488903 B2 JP 6488903B2 JP 2015121203 A JP2015121203 A JP 2015121203A JP 2015121203 A JP2015121203 A JP 2015121203A JP 6488903 B2 JP6488903 B2 JP 6488903B2
Authority
JP
Japan
Prior art keywords
screen
business
cursor
image data
change
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015121203A
Other languages
English (en)
Other versions
JP2017004473A (ja
Inventor
松井 一樹
一樹 松井
智大 今井
智大 今井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2015121203A priority Critical patent/JP6488903B2/ja
Priority to US15/131,701 priority patent/US9939986B2/en
Publication of JP2017004473A publication Critical patent/JP2017004473A/ja
Application granted granted Critical
Publication of JP6488903B2 publication Critical patent/JP6488903B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/08Cursor circuits

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、画面転送制御システム、画面転送制御プログラム及び画面転送制御方法に関する。
スマートフォン、タブレット等のモバイル端末の普及とモバイル通信網の高速化により、モバイル端末の業務利用が加速している。例えば、営業活動をモバイル端末で支援することが行われている。また、個人所有のスマートフォンを業務に活用するBYOD(Bring Your Own Device)の事例も増加している。
モバイル端末を業務に利用する場合、端末にデータを残さない画面転送方式によるモバイルソリューションが注目されている。端末にデータを残さない画面転送方式では、端末に画像データが送信され、端末は画像データを受信して表示するだけの機能を備えればよい。このため、端末にデータを残さない画面転送方式は、シンクライアント(Thin Client)方式とも呼ばれる。
図11は、シンクライアント方式の画面転送制御システムを説明するための図である。図11に示すように、シンクライアント方式の画面転送制御システム90では、業務装置1は、PC(Personal Computer)向けに開発された業務画面11の情報を描画コマンドとして画面転送装置9へ送信する。なお、業務画面11の情報は例えばHTML(HyperText Markup Language)で記述される。
画面転送装置9は、描画コマンドに基づいて業務画面11を画像データに変換し、画像データを圧縮してモバイル端末8へ送信する。モバイル端末8は、画像データによる業務画面41を表示する。そして、ユーザが業務画面41上で操作を行うと、操作情報が画面転送装置9を経由して業務装置1に送信され、操作情報に基づいて業務装置1が業務画面11を更新する。
このように、シンクライアント方式の画面転送制御システム90は、PC向けに開発された業務システムを変更することなくモバイル端末8からPCと同様の操作で利用することを可能とする。また、シンクライアント方式の画面転送制御システム90は、モバイル端末8にデータを送信しないため、モバイル端末8の紛失等による情報漏えいを防ぐことができる。
なお、端末装置からの入力に関して、操作部の操作により表示部の表示画面においてキー入力フィールドにフォーカスが到達した場合、制御部は、表示画面のソフトキーボードを表示する従来技術がある。
特開2005−10894号公報
しかしながら、シンクライアント方式の画面転送制御システム90には、モバイル端末8において文字入力欄が選択されるとソフトキーボードが起動されることに慣れたユーザにとって文字入力が不便であるという課題がある。図12は、シンクライアント方式の画面転送制御システム90の文字入力の課題を説明するための図である。図12は、業務画面41の一例としてモバイル端末8に文字入力画面82が表示された場合を示す。
モバイル端末8は、画像データしか持たないので、ユーザが文字入力欄83をタッチしても、タッチされた場所が文字入力欄83か判別できない。したがって、ソフトキーボード2が起動されないので、ユーザが手動でソフトキーボード2を起動する必要がある。ユーザは手動によるソフトキーボード2の起動を文字入力欄83を選択するたびに行う必要があり、文字入力欄83が多い場合には、特にユーザの負担が大きい。
本発明は、1つの側面では、シンクライアント方式の画面転送制御システムにおいて、文字入力欄が選択されるとモバイル端末がソフトキーボードを起動することで、ユーザの負担を軽減することを目的とする。
1つの態様では、画面転送制御システムは、業務処理を行う業務装置と、ユーザが業務装置の入出力装置として使用する端末装置と、業務装置が出力した業務画面を画像データに変換して端末装置に送信する画面転送制御装置とを有する。前記画面転送制御装置は、受信部と、画像データ送信部と、検出部と、変化情報送信部とを有する。前記受信部は、前記業務装置が前記端末装置に業務画面を表示するために出力する描画情報を受信する。前記画像データ送信部は、前記受信部が受信した描画情報に基づいて業務画面を画像データに変換して前記端末装置に送信する。前記検出部は、前記受信部が受信した描画情報に含まれるカーソル情報に基づいてカーソル形状の変化を検出する。前記変化情報送信部は、前記検出部によりカーソル形状の変化が検出された場合に、該変化に関する変化情報を前記端末装置に送信する。前記端末装置は、表示部と、形状判定部と、継続判定部と、起動部とを有する。前記表示部は、前記画像データ送信部により送信された画像データを受信して表示する。前記形状判定部は、前記変化情報に基づいてカーソル形状が文字入力用に変化したか否かを判定する。前記継続判定部は、前記形状判定部によりカーソル形状が文字入力用に変化したと判定された場合に、カーソル形状の変化を起こした画面タッチが所定時間継続したか否かを判定する。前記起動部は、前記継続判定部により前記画面タッチが所定時間継続したと判定された場合に、ソフトウェアキーボードを起動する。
1つの側面として、ユーザの負担を軽減することができる。
図1は、実施例に係る画面転送制御システムによるソフトキーボードの起動を説明するための図である。 図2は、実施例に係る画面転送制御システムの構成を示す図である。 図3Aは、画像データコマンドのデータ構造の一例を示す図である。 図3Bは、カーソル画像データコマンドのデータ構造の一例を示す図である。 図3Cは、カーソル変更コマンドのデータ構造の一例を示す図である。 図4は、カーソル形状の変化を説明するための図である。 図5は、画面変更処理のシーケンスを示す図である。 図6は、業務装置による画面更新処理のフローを示すフローチャートである。 図7は、画面転送装置による画面転送処理のフローを示すフローチャートである。 図8は、モバイル端末による画面処理のフローを示すフローチャートである。 図9は、実施例に係る画面転送制御プログラムを実行するコンピュータのハードウェア構成を示す図である。 図10は、実施例に係る画面処理プログラムを実行するコンピュータのハードウェア構成を示す図である。 図11は、シンクライアント方式の画面転送制御システムを説明するための図である。 図12は、シンクライアント方式の画面転送制御システムの文字入力の課題を説明するための図である。
以下に、本願の開示する画面転送制御システム、画面転送制御プログラム及び画面転送制御方法の実施例を図面に基づいて詳細に説明する。なお、この実施例は開示の技術を限定するものではない。
まず、実施例に係る画面転送制御システムによるソフトキーボードの起動について説明する。図1は、実施例に係る画面転送制御システムによるソフトキーボードの起動を説明するための図である。実施例に係る画面転送制御システムは、シンクライアント方式により画面転送を行う。図1は、モバイル端末の液晶表示装置に表示された業務画面41の文字入力欄42をユーザがタッチした場合を示す。
図1に示すように、ユーザが文字入力を意図して文字入力欄42をタッチすると、カーソル43の形状が文字入力時の形状に変化する。そこで、実施例に係る画面転送制御システムは、カーソル43の形状が通常の形状から文字入力時の形状へ変化したことを検出することで、ユーザによる文字入力を察知する。
ただし、ユーザが文字入力を意図しなくても、カーソル43が文字入力欄42を通過するだけで、カーソル43の形状は変化する。このため、実施例に係る画面転送制御システムは、カーソル43の形状変化に加えて、所定時間タッチ状態が維持された場合に、ユーザが文字入力の意思ありと判断して、画面余白にソフトキーボード2を起動する。所定時間は、例えば、500msec(ミリ秒)以上1500msec未満である。
このように、実施例に係る画面転送制御システムは、カーソル43の形状が文字入力時の形状に変化し、かつ、所定時間タッチ状態が維持された場合に、ユーザが文字入力の意思ありと判断して、画面余白にソフトキーボード2を起動する。したがって、ユーザは手動でソフトキーボード2を起動する必要がなく、ユーザの負担を軽減することができる。
次に、実施例に係る画面転送制御システムの構成について説明する。図2は、実施例に係る画面転送制御システムの構成を示す図である。図2に示すように、実施例に係る画面転送制御システム10は、業務装置1と、モバイル端末3と、画面転送装置5とを有する。
業務装置1は、業務処理を行う装置であり、具体的には、業務サーバ等のコンピュータである。モバイル端末3は、ユーザがLTE(Long Term Evolution)、WiMAX(Worldwide Interoperability for Microwave Access)等の無線通信を用いて業務装置1にアクセスするときに使用する端末であり、例えば、タブレット、スマートフォンである。モバイル端末3は、画像データに変換された業務画面を表示する。
画面転送装置5は、モバイル端末3と業務装置1との間に配置され、業務装置1が出力する描画コマンドに基づいて業務画面を画像データに変換してモバイル端末3に送信する。描画コマンドには、例えばRDP(Remote Desktop Protocol)や、X−Windowプロトコル、OpenGLプロトコルなどが利用できる。また、画面転送装置5は、モバイル端末3でユーザが行った操作に関する情報を操作情報としてモバイル端末3から受信し、業務装置1に転送する。
画面転送装置5は、操作情報転送部51と、描画コマンド受信部52と、変換部53と、圧縮部54と、画像送信部55と、抽出部56と、検知部57と、変更コマンド送信部58と、通信部59とを有する。
操作情報転送部51は、モバイル端末3から操作情報を受信し、受信した操作情報を業務装置1へ転送する。操作情報転送部51は、通信部59を介して操作情報の送受信を行う。描画コマンド受信部52は、業務装置1から通信部59を介して描画コマンドを受信し、受信した描画コマンドを変換部53及び抽出部56に渡す。
変換部53は、描画コマンドに基づいて業務画面を画像データに変換し、画像データを圧縮部54に渡す。圧縮部54は、画像データを圧縮し、圧縮した画像データを画像送信部55に渡す。
画像送信部55は、圧縮部54により圧縮された画像データを通信部59を介してモバイル端末3に送信する。図3Aは、画像データを送信する場合に使用される画像データコマンドのデータ構造の一例を示す図である。図3Aに示すように、画像データコマンドには、コマンドID、画像サイズ、更新座標位置、画像データが含まれる。
コマンドIDは、コマンドを識別する識別子である。ここでは、コマンドIDは、画像データコマンドの識別子である。画像サイズは送信する画像データの大きさであり、単位はバイトである。更新座標位置は、更新矩形画像の左上の座標(x,y)である。
また、画像送信部55は、描画コマンドに含まれるカーソル画像データを通信部59を介してモバイル端末3に送信する。図3Bは、カーソル画像データを送信するカーソル画像データコマンドのデータ構造の一例を示す図である。図3Bに示すように、カーソル画像データコマンドには、コマンドID、カーソル位置、カーソル画像サイズ、カーソル画像データが含まれる。
コマンドIDは、コマンドを識別する識別子である。ここでは、コマンドIDは、カーソル画像データコマンドの識別子である。カーソル位置は、カーソルを表示する位置である。カーソル画像サイズは送信するカーソル画像データの大きさであり、単位はバイトである。
抽出部56は、描画コマンドからカーソル情報を抽出し、抽出したカーソル情報を検知部57に渡す。検知部57は、カーソル情報に基づいてカーソル43の形状の変化を検知し、変更コマンド送信部58にカーソル43の形状の変化を通知する。
図4は、カーソル形状の変化を説明するための図である。図4は、通常のカーソル形状と文字入力時のカーソル形状を示す。通常のカーソル形状に対応するコードは0x01であり、文字入力時のカーソル形状に対応するコードは0x02である。ここで、「0x」は16進数であることを表す。検知部57は、コードを用いてカーソルの形状変化を検知する。
変更コマンド送信部58は、カーソル43の形状が変化したことを通知されると、カーソル変更コマンドを通信部59を介してモバイル端末3に送信する。図3Cは、カーソル変更コマンドのデータ構造の一例を示す図である。図3Cに示すように、カーソル変更コマンドには、コマンドID、カーソル位置、カーソル画像データが含まれる。
コマンドIDは、コマンドを識別する識別子である。ここでは、コマンドIDは、カーソル変更コマンドの識別子であり、例えば0x01であると、カーソル形状が文字入力時の形状に変化したことを示す。カーソル位置は、カーソルを表示する位置である。通信部59は、業務装置1及びモバイル端末3との通信を制御する。
モバイル端末3は、入力部31と、画像データ受信部32と、表示制御部33と、変更コマンド受信部34と、タッチ時間判定部35と、起動判定部36と、起動部37と、通信部38とを有する。
入力部31は、ユーザによる画面のタッチを受け付け、受け付けたタッチに関する情報を操作情報として通信部38を介して画面転送装置5に送信する。また、入力部31は、タッチの時間をタッチ時間判定部35に渡す。
画像データ受信部32は、通信部38を介して画面転送装置5から画像データコマンドを受信し、受信した画像データコマンドに含まれる画像データを伸長して更新位置座標とともに表示制御部33に渡す。また、画像データ受信部32は、通信部38を介して画面転送装置5からカーソル画像データコマンドを受信し、カーソル位置とともにカーソル画像データを表示制御部33に渡す。表示制御部33は、画像データ受信部32から受け取った画像データ及びカーソル画像データを液晶表示装置へ表示する。
変更コマンド受信部34は、通信部38を介して画面転送装置5からカーソル変更コマンドを受信し、カーソル変更コマンドに含まれるカーソル画像データとカーソル位置を表示制御部33に渡す。また、変更コマンド受信部34は、カーソル変更コマンドに基づいてカーソル形状の変更通知を起動判定部36に渡す。タッチ時間判定部35は、入力部31から受け取ったタッチ時間が所定時間であるか否かを判定し、判定結果を起動判定部36に渡す。
起動判定部36は、変更コマンド受信部34から受け取ったカーソル形状の変更通知に基づいてカーソル形状が文字入力時の形状に変化したか否かを判定する。そして、カーソル形状が文字入力時の形状に変化した場合には、起動判定部36は、タッチ時間判定部35から受け取った判定結果が肯定である場合すなわちタッチ時間が所定時間である場合に、起動部37にソフトキーボード2の起動を指示する。
起動部37は、起動判定部36からソフトキーボード2の起動を指示されると、液晶画面の余白にソフトキーボード2を表示する。通信部38は、画面転送装置5との通信を制御する。
次に、画面変更処理のシーケンスについて説明する。図5は、画面変更処理のシーケンスを示す図である。図5に示すように、モバイル端末3は、操作情報を画面転送装置5に送信し、画面転送装置5は、操作情報を業務装置1に送信する。なお、操作には、カーソル移動、タッチ等がある。そして、業務装置1は、業務画面を更新し(ステップt1)、更新した業務画面の情報を描画コマンドにより画面転送装置5に送信する。なお、ここでは、カーソルの形状変更はないものとする。
画面転送装置5は、描画コマンドを受信すると、業務画面を画像に変換し(ステップt2)、画像データを圧縮してモバイル端末3に送信する。また、画面転送装置5は、カーソル画像データをモバイル端末3に送信する。モバイル端末3は、画面転送装置5から送信された画像データ及びカーソル画像データを液晶表示装置に表示する。
モバイル端末3、画面転送装置5及び業務装置1は、カーソル形状が変化するまで、モバイル端末3による操作情報の送信からカーソル画像データの表示までの処理を繰り返す。なお、カーソルの位置は頻繁に変更される場合があり、カーソル位置の情報だけが画面転送装置5からモバイル端末3に送られることもある。カーソル位置の情報だけを受け取ったモバイル端末3は、カーソル画像データの位置だけを更新する。
そして、モバイル端末3が送信した操作情報によりカーソル形状が変化する場合には、業務装置1は、業務画面を変更し(ステップt3)、カーソルを変更する(ステップt4)。そして、業務装置1は、更新した業務画面及びカーソル形状の情報を描画コマンドにより画面転送装置5に送信する。
描画コマンドを受信すると、画面転送装置5は、業務画面を画像に変換し(ステップt5)、カーソル変更を検出する(ステップt6)。そして、画面転送装置5は、画像データを圧縮してモバイル端末3に送信する。また、画面転送装置5は、カーソル変更コマンドをモバイル端末3に送信する。モバイル端末3は、カーソル形状が文字入力用の形状に変化し、タッチ時間が所定時間維持されたと判定すると、ユーザの意図を文字入力と判定し(ステップt7)、ソフトキーボード2を起動する(ステップt8)。
このように、画面転送装置5がカーソル変更を検出してカーソル変更コマンドをモバイル端末3に送信することによって、モバイル端末3はカーソル変更コマンド及びユーザのタッチ時間に基づいてソフトキーボード2を起動することができる。
次に、業務装置1による画面更新処理のフローについて説明する。図6は、業務装置1による画面更新処理のフローを示すフローチャートである。図6に示すように、業務装置1は、画面転送装置5を経由して、モバイル端末3から操作情報を受信したか否かを判定し(ステップS1)、受信していない場合には、受信するまで判定を繰り返す。
そして、モバイル端末3から操作情報を受信すると、業務装置1は、操作情報に基づいて業務画面を更新し(ステップS2)、更新した業務画面を表示するための描画コマンドを画面転送装置5に送信する(ステップS3)。そして、業務装置1は、ステップS1に戻る。
このように、業務装置1は、更新した業務画面を表示するための描画コマンドを画面転送装置5に送信することで、モバイル端末3の業務画面を更新することができる。
次に、画面転送装置5による画面転送処理のフローについて説明する。図7は、画面転送装置5による画面転送処理のフローを示すフローチャートである。図7に示すように、画面転送装置5は、モバイル端末3から操作情報を受信したか否かを判定し(ステップS11)、受信していない場合には、受信するまで判定を繰り返す。
そして、モバイル端末3から操作情報を受信すると、画面転送装置5は、業務装置1に操作情報を送信する(ステップS12)。その後、画面転送装置5は、業務装置1から描画コマンドを受信したか否かを判定し(ステップS13)、受信していない場合には、受信するまで判定を繰り返す。
そして、業務装置1から描画コマンドを受信すると、画面転送装置5は、描画コマンドに基づいて業務画面をメモリに描画して画像データに変換する(ステップS14)。また、画面転送装置5は、描画コマンドからカーソル情報を抽出する(ステップS15)。ここで、カーソル情報には、カーソル形状情報及びカーソル画像データが含まれる。
そして、画面転送装置5は、業務画面の画像データを圧縮し、モバイル端末3へ送信する(ステップS16)。そして、画面転送装置5は、抽出したカーソル情報に基づいてカーソル形状に変更があるか否かを判定し(ステップS17)、変更がある場合には、カーソル変更コマンドをモバイル端末3に送信し(ステップS18)、ステップS11に戻る。一方、変更がない場合には、画面転送装置5は、カーソル画像コマンドをモバイル端末3に送信し(ステップS19)、ステップS11に戻る。
このように、画面転送装置5がカーソル形状に変更がある場合にカーソル変更コマンドをモバイル端末3に送信することで、モバイル端末3はカーソル形状の変化を検知することができる。
次に、モバイル端末3による画面処理のフローについて説明する。図8は、モバイル端末3による画面処理のフローを示すフローチャートである。図8に示すように、モバイル端末3は、ユーザ操作があるか否かを判定し(ステップS21)、ユーザ操作がない場合には、ユーザ操作があるまで判定を繰り返す。
そして、ユーザ操作があると、モバイル端末3は、操作情報を画面転送装置5に送信する(ステップS22)。その後、モバイル端末3は、画面転送装置5から画像データを受信したか否かを判定し(ステップS23)、受信していない場合には、受信するまで判定を繰り返す。
そして、画面転送装置5から画像データを受信すると、モバイル端末3は、画像データを液晶表示装置に表示する(ステップS24)。その後、モバイル端末3は、カーソル画像データコマンド又はカーソル変更コマンドを受信してカーソルを液晶表示装置に表示する(ステップS25)。そして、モバイル端末3は、カーソル変更コマンドに基づいてカーソルを表示したか否かを判定し(ステップS26)、カーソル変更コマンドではなくカーソル画像データコマンドに基づいてカーソルを表示した場合には、ステップS21に戻る。
一方、カーソル変更コマンドに基づいてカーソルを表示した場合には、モバイル端末3は、カーソル形状が文字入力時の形状であるか否かをカーソル変更コマンドに基づいて判定する(ステップS27)。その結果、カーソル形状が文字入力時の形状でない場合には、モバイル端末3は、ステップS21に戻る。
一方、カーソル形状が文字入力時の形状である場合には、モバイル端末3は、タッチ状態が所定時間維持されたか否かを判定し(ステップS28)、維持されなかった場合には、ステップS21に戻る。
一方、タッチ状態が所定時間維持された場合には、モバイル端末3は、画面余白にソフトキーボード2を起動し(ステップS29)、ユーザによる文字入力を受け付ける(ステップS30)。そして、モバイル端末3は、ステップS21に戻る。
このように、モバイル端末3は、変更されたカーソル形状が文字入力時の形状であり、タッチ状態が所定時間維持された場合に、ソフトキーボード2を起動するので、ユーザは手動でソフトキーボード2を起動する必要がなく、ユーザの負担を軽減できる。
上述してきたように、実施例では、画面転送装置5の抽出部56が描画コマンドからカーソル情報を抽出し、検知部57がカーソル情報に基づいてカーソル形状の変化を検知する。そして、カーソル形状が変化した場合に、変更コマンド送信部58がカーソル変更コマンドをモバイル端末3に送信する。そして、モバイル端末3の起動判定部36はカーソル形状の変化とタッチ状態が維持された時間に基づいてソフトキーボード2を起動するか否かを判定し、起動する場合には、起動部37にソフトキーボード2の起動を指示する。
したがって、ユーザは、文字入力を行う場合に、文字入力欄42を所定時間タッチするだけで、ソフトキーボード2を手動で起動する必要がなく、ユーザの負担を軽減することができる。
なお、実施例では、画面転送装置5について説明したが、画面転送装置5が有する構成をソフトウェアによって実現することで、同様の機能を有する画面転送制御プログラムを得ることができる。そこで、画面転送制御プログラムを実行するコンピュータについて説明する。
図9は、実施例に係る画面転送制御プログラムを実行するコンピュータのハードウェア構成を示す図である。図9に示すように、コンピュータ60は、メインメモリ61と、CPU62と、LAN(Local Area Network)インタフェース63と、HDD64とを有する。また、コンピュータ60は、スーパーIO(Input Output)65と、DVI(Digital Visual Interface)66と、ODD(Optical Disk Drive)67とを有する。
メインメモリ61は、プログラムやプログラムの実行途中結果などを記憶するメモリである。CPU62は、メインメモリ61からプログラムを読出して実行する中央処理装置である。CPU62は、メモリコントローラを有するチップセットを含む。
LANインタフェース63は、コンピュータ60をLAN経由で他のコンピュータに接続するためのインタフェースである。HDD64は、プログラムやデータを格納するディスク装置であり、スーパーIO65は、マウスやキーボードなどの入力装置を接続するためのインタフェースである。DVI66は、液晶表示装置を接続するインタフェースであり、ODD67は、DVDの読み書きを行う装置である。
LANインタフェース63は、PCIエクスプレス(PCIe)によりCPU62に接続され、HDD64及びODD67は、SATA(Serial Advanced Technology Attachment)によりCPU62に接続される。スーパーIO65は、LPC(Low Pin Count)によりCPU62に接続される。
そして、コンピュータ60において実行される画面転送制御プログラムは、DVDに記憶され、ODD67によってDVDから読出されてコンピュータ60にインストールされる。あるいは、画面転送制御プログラムは、LANインタフェース63を介して接続された他のコンピュータシステムのデータベースなどに記憶され、これらのデータベースから読出されてコンピュータ60にインストールされる。そして、インストールされたデータ処理プログラムは、HDD64に記憶され、メインメモリ61に読み出されてCPU62によって実行される。
また、モバイル端末3が有する構成をソフトウェアによって実現することで、同様の機能を有する画面処理プログラムを得ることができる。そこで、画面処理プログラムを実行するコンピュータについて説明する。
図10は、実施例に係る画面処理プログラムを実行するコンピュータのハードウェア構成を示す図である。図10に示すように、コンピュータ70は、無線通信部71と、表示部72と、プロセッサ73と、記憶部74とを有する。無線通信部71、表示部72、及び記憶部74は、それぞれプロセッサ73と接続されている。
無線通信部71は、LTE、WiMAX等の無線通信を用いて無線通信を行う。表示部72は、画面を表示し、ユーザのタッチ操作を受け付ける液晶表示装置である。
記憶部74は、プログラム記憶部75と、RAM(Random Access Memory)76とを有する。プログラム記憶部75には、画面処理プログラム等のプログラムが記憶される。RAM76には、プログラムの実行により生成されるデータ等が記憶される。
プロセッサ73は、例えば、ASIC(Application Specific Integrated Circuit)やCPU(Central Processing Unit)やMPU(Micro Processing Unit)などの電子回路である。そして、プロセッサ73が画面処理プログラム等のプログラムをプログラム記憶部75から読み出してRAM76にロードすることにより、画面処理プログラム等のプログラムは、図2に示したモバイル端末3として機能するようになる。
1 業務装置
2 ソフトキーボード
3,8 モバイル端末
5,9 画面転送装置
10,90 画面転送制御システム
11 業務画面
31 入力部
32 画像データ受信部
33 表示制御部
34 変更コマンド受信部
35 タッチ時間判定部
36 起動判定部
37 起動部
38 通信部
41 業務画面
42 文字入力欄
43 カーソル
51 操作情報転送部
52 描画コマンド受信部
53 変換部
54 圧縮部
55 画像送信部
56 抽出部
57 検知部
58 変更コマンド送信部
59 通信部
60 コンピュータ
61 メインメモリ
62 CPU
63 LANインタフェース
64 HDD
65 スーパーIO
66 DVI
67 ODD
70 コンピュータ
71 無線通信部
72 表示部
73 プロセッサ
74 記憶部
75 プログラム記憶部
76 RAM

Claims (5)

  1. 業務処理を行う業務装置と、ユーザが前記業務装置の入出力装置として使用する端末装置と、前記業務装置が出力した業務画面を画像データに変換して前記端末装置に送信する画面転送制御装置とを有する画面転送制御システムであって、
    前記画面転送制御装置は、
    前記業務装置が前記端末装置に業務画面を表示するために出力する描画情報を受信する受信部と、
    前記受信部が受信した描画情報に基づいて業務画面を画像データに変換して前記端末装置に送信する画像データ送信部と、
    前記受信部が受信した描画情報に含まれるカーソル情報に基づいてカーソル形状の変化を検出する検出部と、
    前記検出部によりカーソル形状の変化が検出された場合に、該変化に関する変化情報を前記端末装置に送信する変化情報送信部とを有し、
    前記端末装置は、
    前記画像データ送信部により送信された画像データを受信して表示する表示部と、
    前記変化情報に基づいてカーソル形状が文字入力用に変化したか否かを判定する形状判定部と、
    前記形状判定部によりカーソル形状が文字入力用に変化したと判定された場合に、カーソル形状の変化を起こした画面タッチが所定時間継続したか否かを判定する継続判定部と、
    前記継続判定部により前記画面タッチが所定時間継続したと判定された場合に、ソフトウェアキーボードを起動する起動部と
    を有することを特徴とする画面転送制御システム。
  2. 前記所定時間は、第1の閾値以上であって、かつ、第2の閾値未満であることを特徴とする請求項1に記載の画面転送制御システム。
  3. 前記第1の閾値は500ミリ秒であり、前記第2の閾値は1500ミリ秒であることを特徴とする請求項2に記載の画面転送制御システム。
  4. 業務処理を行う業務装置が出力した業務画面を画像データに変換してユーザが前記業務装置の入出力装置として使用する端末装置に送信する画面転送制御プログラムにおいて、
    コンピュータに、
    前記業務装置が前記端末装置に業務画面を表示するために出力する描画情報を受信し、
    受信した描画情報に基づいて業務画面を画像データに変換して前記端末装置に送信し、
    受信した描画情報に含まれるカーソル情報に基づいてカーソル形状の変化を検出し、
    カーソル形状の変化を検出した場合に、該変化に関する変化情報を前記端末装置に送信することで、前記端末装置に、前記変化情報に基づいてカーソル形状が文字入力用に変化したか否かを判定させ、カーソル形状が文字入力用に変化したと判定した場合に、カーソル形状の変化を起こした画面タッチが所定時間継続したか否かを判定させ、前記画面タッチが所定時間継続したと判定した場合に、ソフトウェアキーボードを起動させる
    処理を実行させることを特徴とする画面転送制御プログラム。
  5. 業務処理を行う業務装置と、ユーザが前記業務装置の入出力装置として使用する端末装置と、前記業務装置が出力した業務画面を画像データに変換して前記端末装置に送信する画面転送制御装置とを有する画面転送制御システムによる画面転送制御方法において、
    前記画面転送制御装置が、
    前記業務装置が前記端末装置に業務画面を表示するために出力する描画情報を受信し、
    受信した描画情報に基づいて業務画面を画像データに変換して前記端末装置に送信し、
    受信した描画情報に含まれるカーソル情報に基づいてカーソル形状の変化を検出し、
    カーソル形状の変化を検出した場合に、該変化に関する変化情報を前記端末装置に送信し、
    前記端末装置が、
    前記画像データを受信して表示し、
    前記変化情報に基づいてカーソル形状が文字入力用に変化したか否かを判定し、
    カーソル形状が文字入力用に変化したと判定した場合に、カーソル形状の変化を起こしたユーザの画面タッチが所定時間継続したか否かを判定し、
    前記画面タッチが所定時間継続したと判定した場合に、ソフトウェアキーボードを起動する
    ことを特徴とする画面転送制御方法。
JP2015121203A 2015-06-16 2015-06-16 画面転送制御システム、画面転送制御プログラム及び画面転送制御方法 Expired - Fee Related JP6488903B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015121203A JP6488903B2 (ja) 2015-06-16 2015-06-16 画面転送制御システム、画面転送制御プログラム及び画面転送制御方法
US15/131,701 US9939986B2 (en) 2015-06-16 2016-04-18 Screen transfer control system, computer-readable recording medium, and screen transfer control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015121203A JP6488903B2 (ja) 2015-06-16 2015-06-16 画面転送制御システム、画面転送制御プログラム及び画面転送制御方法

Publications (2)

Publication Number Publication Date
JP2017004473A JP2017004473A (ja) 2017-01-05
JP6488903B2 true JP6488903B2 (ja) 2019-03-27

Family

ID=57588072

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015121203A Expired - Fee Related JP6488903B2 (ja) 2015-06-16 2015-06-16 画面転送制御システム、画面転送制御プログラム及び画面転送制御方法

Country Status (2)

Country Link
US (1) US9939986B2 (ja)
JP (1) JP6488903B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9667676B1 (en) * 2016-01-29 2017-05-30 Dropbox, Inc. Real time collaboration and document editing by multiple participants in a content management system
JP6816487B2 (ja) * 2016-12-08 2021-01-20 富士ゼロックス株式会社 遠隔操作装置、遠隔操作システム及びプログラム
CN110297850B (zh) * 2019-05-28 2021-10-15 北京奇艺世纪科技有限公司 特征作业集发布方法、装置、电子设备及存储介质
CN111026346B (zh) * 2019-12-10 2024-01-12 西安易朴通讯技术有限公司 一种表盘显示内容低功耗更新方法、设备及存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3855696B2 (ja) * 2001-07-26 2006-12-13 富士通株式会社 手書き文字入力装置及びそれを実現するプログラム
JP2005010894A (ja) 2003-06-17 2005-01-13 Oki Electric Ind Co Ltd 情報処理装置、ソフトキーボード表示プログラム及びその方法
JP2005018222A (ja) * 2003-06-24 2005-01-20 Fujitsu Ltd 操作入力自動確定プログラム
US20060095867A1 (en) * 2004-11-04 2006-05-04 International Business Machines Corporation Cursor locator on a display device
JP5280294B2 (ja) * 2009-05-01 2013-09-04 株式会社デジタル システムおよびクライアントプログラム
JP5737082B2 (ja) * 2011-08-31 2015-06-17 富士通株式会社 ポインタ位置補正方法、ポインタ位置補正プログラムおよびサーバ装置
KR20130101864A (ko) * 2012-03-06 2013-09-16 삼성전자주식회사 클라이언트 장치, 클라이언트의 제어 방법, 서버 및 서버의 영상 제공 방법
JP5522755B2 (ja) * 2012-09-14 2014-06-18 Necシステムテクノロジー株式会社 入力表示制御装置、シンクライアントシステム、入力表示制御方法およびプログラム
JP5954146B2 (ja) * 2012-12-04 2016-07-20 富士通株式会社 補正方法、システム、情報処理装置、および補正プログラム
JP6205568B2 (ja) * 2013-01-16 2017-10-04 株式会社日本デジタル研究所 リモートアクセス制御システム、方法、およびプログラム

Also Published As

Publication number Publication date
US9939986B2 (en) 2018-04-10
JP2017004473A (ja) 2017-01-05
US20160370969A1 (en) 2016-12-22

Similar Documents

Publication Publication Date Title
US10802613B2 (en) Cross application digital ink repository
KR102105636B1 (ko) 원격으로 애플리케이션들을 설치
JP6169590B2 (ja) 適応的な入力言語切り換え
US11644938B2 (en) Standardizing user interface elements
US9389884B2 (en) Method and apparatus for providing adaptive wallpaper display for a device having multiple operating system environments
JP6488903B2 (ja) 画面転送制御システム、画面転送制御プログラム及び画面転送制御方法
US20160334988A1 (en) Display device and method for providing recommended characters from same
US20150378599A1 (en) Method and electronic device for displaying virtual keyboard
JP2013198162A (ja) 仮想キーパッドを利用するモバイル端末の遠隔制御方法及び装置
US10191618B2 (en) Hand-held electronic apparatus having function of activating application program of electronic apparatus, and method thereof
US10942622B2 (en) Splitting and merging files via a motion input on a graphical user interface
US10542103B2 (en) Location based multi-device communication
US20150325254A1 (en) Method and apparatus for displaying speech recognition information
KR20170042953A (ko) 디스플레이 장치 및 이의 제어 방법
US10565368B2 (en) Electronic device and method of controlling same
US12001915B2 (en) System and method for integrating barcode scanners with a wedge application
JP5703352B2 (ja) アプリケーションシステム、携帯端末、サーバコンピュータおよびコンピュータプログラム
JPWO2014170973A1 (ja) 表示制御装置、情報処理装置、表示制御方法、表示制御プログラム及び情報処理システム
JP2017102847A (ja) 情報処理システム、中継装置、方法およびプログラム
JP2017033397A (ja) 操作情報共有装置、アプリ実行装置、操作情報共有システム、情報処理装置、およびプログラム
JP2016038619A (ja) 携帯端末装置及びその操作方法
JP6221869B2 (ja) 画面遷移制御方法、画面遷移制御プログラムおよび画面遷移制御装置
WO2016185806A1 (ja) 表示装置および表示制御方法
JP6266925B2 (ja) 制御装置、制御方法、およびプログラム
JP6330179B2 (ja) マルチウィンドウ表示装置、中継装置、マルチウィンドウ表示装置の制御方法、中継装置の制御方法、及び、情報処理装置の制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180306

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181024

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190129

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190211

R150 Certificate of patent or registration of utility model

Ref document number: 6488903

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees