JP6766541B2 - 操作制御プログラム、操作制御方法および情報処理装置 - Google Patents

操作制御プログラム、操作制御方法および情報処理装置 Download PDF

Info

Publication number
JP6766541B2
JP6766541B2 JP2016178514A JP2016178514A JP6766541B2 JP 6766541 B2 JP6766541 B2 JP 6766541B2 JP 2016178514 A JP2016178514 A JP 2016178514A JP 2016178514 A JP2016178514 A JP 2016178514A JP 6766541 B2 JP6766541 B2 JP 6766541B2
Authority
JP
Japan
Prior art keywords
processing device
information processing
terminal
information
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016178514A
Other languages
English (en)
Other versions
JP2018045362A (ja
Inventor
奨 古賀
奨 古賀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2016178514A priority Critical patent/JP6766541B2/ja
Priority to US15/700,515 priority patent/US10601893B2/en
Publication of JP2018045362A publication Critical patent/JP2018045362A/ja
Application granted granted Critical
Publication of JP6766541B2 publication Critical patent/JP6766541B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1822—Conducting the conference, e.g. admission, detection, selection or grouping of participants, correlating users to one or more conference sessions, prioritising transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/189—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast in combination with wireless systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H04L51/046—Interoperability with other network applications or services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/611—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for multicast or broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices
    • H04W88/04—Terminal devices adapted for relaying to or from another terminal or user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W92/00—Interfaces specially adapted for wireless communication networks
    • H04W92/16—Interfaces between hierarchically similar devices
    • H04W92/18—Interfaces between hierarchically similar devices between terminal devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephonic Communication Services (AREA)

Description

本発明は、操作制御プログラム、操作制御方法および情報処理装置に関する。
支援者端末と被支援者端末とを接続して、支援者端末のユーザが被支援者端末のユーザを遠隔支援することが行われている。遠隔支援では、支援者端末のユーザが被支援者端末の画面を操作する遠隔操作が行われることがある。また、近年、複数の被支援者端末に対して、複数の支援者端末から遠隔支援を行うことが提案されている。この場合、１つの被支援者端末に対して、複数の支援者端末から遠隔支援のための接続が行われる場合がある。
国際公開第２０１３／０４７５０５号 特開２００６−１３９６７９号公報 特開２００８−１０３８２８号公報
しかしながら、１つの被支援者端末に対して、複数の支援者端末から同時に遠隔操作が行われると、異なる機能が同時に利用される場合があり、遠隔操作による被支援者端末の操作が誤操作となってしまう場合がある。このため、遠隔操作のやり直しが発生して、支援者端末のユーザの操作負担が増加することがある。
一つの側面では、本発明は、遠隔操作における支援者の操作負担を軽減できる操作制御プログラム、操作制御方法および情報処理装置を提供することにある。
一つの態様では、情報処理装置が実行する操作制御プログラムにおいて、操作制御プログラムは、受信した操作情報に応じた処理を実行する特定の情報処理装置の表示画面の画像情報を取得する処理をコンピュータに実行させる。操作制御プログラムは、取得した前記画像情報に基づき、前記表示画面に応じた画面を表示部に表示する処理をコンピュータに実行させる。操作制御プログラムは、表示した前記画面の範囲内に前記情報処理装置のカーソルの位置が含まれるか否かの判定を行う処理をコンピュータに実行させる。操作制御プログラムは、前記特定の情報処理装置の操作権限を有する他の情報処理装置が存在することを示す情報が記憶部に記憶されていないか否かの判定を行う処理をコンピュータに実行させる。操作制御プログラムは、いずれの判定も肯定的である場合、前記特定の情報処理装置を宛先として、前記カーソルの位置と、前記カーソルによる操作内容とを含む操作情報を送信する処理をコンピュータに実行させる。
遠隔操作における支援者の操作負担を軽減できる。
図１は、実施例の遠隔支援システムの構成の一例を示す図である。 図２は、実施例の遠隔支援システムの構成の一例を示すブロック図である。 図３は、操作権限記憶部の一例を示す図である。 図４は、支援者側の表示画面の一例を示す図である。 図５は、被支援者側の表示画面の一例を示す図である。 図６は、被支援者側の表示画面の他の一例を示す図である。 図７は、被支援者側の表示画面の他の一例を示す図である。 図８は、被支援者側の表示画面を共有している状態の支援者側の表示画面の一例を示す図である。 図９は、排他状態の一例を示す図である。 図１０は、実施例の操作制御処理の一例を示すフローチャートである。 図１１は、実施例の通知処理の一例を示すフローチャートである。 図１２は、操作制御プログラムを実行するコンピュータの一例を示す図である。
以下、図面に基づいて、本願の開示する操作制御プログラム、操作制御方法および情報処理装置の実施例を詳細に説明する。なお、本実施例により、開示技術が限定されるものではない。また、以下の実施例は、矛盾しない範囲で適宜組みあわせてもよい。
図１は、実施例の遠隔支援システムの構成の一例を示す図である。図１に示す遠隔支援システム１は、支援者端末と被支援者端末とを多対多で接続する遠隔支援システムであり、被支援者端末１０ａ〜１０ｅと、支援者端末１００ｆ〜１００ｈと、サーバ２００とを有する。被支援者端末１０ａ〜１０ｅと、支援者端末１００ｆ〜１００ｈと、サーバ２００との間は、図示しないネットワークを介して、相互に通信可能に接続される。
なお、以下の説明では、被支援者端末１０ａ〜１０ｅを区別しない場合には、被支援者端末１０と表現する場合がある。また、支援者端末１００ｆ〜１００ｈを区別しない場合には、支援者端末１００と表現する場合がある。
被支援者端末１０ａ〜１０ｅは、例えば、作業現場の作業者が用いる端末である。被支援者端末１０ａ〜１０ｅは、作業者が装着して操作する情報処理装置であり、例えば、タブレット端末やスマートフォン等の移動体通信端末等を用いることができる。また、被支援者端末１０ａ〜１０ｅは、ＨＭＤ（Head Mounted Display）を接続するようにしてもよい。なお、被支援者端末１０ａ〜１０ｅは、それぞれ、作業者である被支援者ａ〜ｅが用いるものとする。また、被支援者端末１０ａ〜１０ｅは、特定の情報処理装置の一例である。つまり、特定の被支援者端末１０は、特定の情報処理装置の一例である。
支援者端末１００ｆ〜１００ｈは、例えば、作業現場の作業者に対して指示を出したり、被支援者端末１０ａ〜１０ｅを遠隔操作したりする支援者が用いる端末である。支援者端末１００ｆ〜１００ｈの一例としては、据置型のパーソナルコンピュータを採用できる。支援者端末１００ｆ〜１００ｈは、上記の据置型のパーソナルコンピュータの他にも、例えば、可搬型のパーソナルコンピュータや、スマートフォン、携帯電話機等の移動体通信端末等を採用することもできる。なお、支援者端末１００ｆ〜１００ｈは、それぞれ、支援者ｆ〜ｈが用いるものとする。また、支援者端末１００は、情報処理装置の一例である。
支援者端末１００は、受信した操作情報に応じた処理を実行する特定の被支援者端末１０の表示画面の画像情報を取得する。支援者端末１００は、取得した画像情報に基づき、表示画面に応じた画面を表示部に表示する。支援者端末１００は、表示した画面の範囲内に支援者端末１００のカーソルの位置が含まれるか否かの判定と、特定の被支援者端末１０の操作権限を有する他の支援者端末１００が存在することを示す情報が記憶部に記憶されていないか否かの判定とを行う。支援者端末１００は、いずれの判定も肯定的である場合、特定の被支援者端末１０を宛先として、カーソルの位置と、カーソルによる操作内容とを含む操作情報を送信する。これにより、支援者端末１００は、遠隔操作における支援者の操作負担を軽減できる。
サーバ２００は、被支援者端末１０ａ〜１０ｅと、支援者端末１００ｆ〜１００ｈとの間の通信を中継する。サーバ２００は、接続要求元の被支援者端末１０または支援者端末１００からの接続要求に基づいて、接続要求元の被支援者端末１０または支援者端末１００と、接続要求先の支援者端末１００または被支援者端末１０との間の通信を中継する。また、サーバ２００は、支援者端末１００から受信した排他制御開始情報に基づいて、他の支援者端末１００に対して排他開始を通知する。さらに、サーバ２００は、支援者端末１００から受信した排他制御終了情報に基づいて、他の支援者端末１００に対して排他終了を通知する。
次に、図２を用いて支援者端末１００の構成について説明する。図２は、実施例の遠隔支援システムの構成の一例を示すブロック図である。図２に示すように、支援者端末１００は、通信部１１０と、表示部１１１と、操作部１１２と、記憶部１２０と、制御部１３０とを有する。なお、支援者端末１００は、図２に示す機能部以外にも既知のコンピュータが有する各種の機能部、例えば各種の入力デバイスや音声出力デバイス等の機能部を有することとしてもかまわない。
通信部１１０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。通信部１１０は、ネットワークＮを介して被支援者端末１０およびサーバ２００と有線または無線で接続され、被支援者端末１０およびサーバ２００との間で情報の通信を司る通信インタフェースである。通信部１１０は、サーバ２００を経由して被支援者端末１０と接続し、被支援者端末１０との間で通信を確立する。また、通信部１１０は、サーバ２００から、排他制御の開始イベントまたは終了イベントを受信する。通信部１１０は、受信した排他制御の開始イベントまたは終了イベントを制御部１３０に出力する。また、通信部１１０は、制御部１３０から入力された排他制御開始情報または排他制御終了情報をサーバ２００に送信する。さらに、通信部１１０は、制御部１３０から入力された操作情報をサーバ２００を介して、特定の被支援者端末１０に送信する。
表示部１１１は、各種情報を表示するための表示デバイスである。表示部１１１は、例えば、表示デバイスとして液晶ディスプレイ等によって実現される。表示部１１１は、制御部１３０から入力された表示画面等の各種画面を表示する。
操作部１１２は、支援者端末１００のユーザである支援者から各種操作を受け付ける入力デバイスである。操作部１１２は、例えば、入力デバイスとして、キーボードやマウス等によって実現される。操作部１１２は、支援者によって入力された操作を操作の情報として制御部１３０に出力する。なお、操作部１１２は、入力デバイスとして、タッチパネル等によって実現されるようにしてもよく、表示部１１１の表示デバイスと、操作部１１２の入力デバイスとは、一体化されるようにしてもよい。
記憶部１２０は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、ハードディスクや光ディスク等の記憶装置によって実現される。記憶部１２０は、操作権限記憶部１２１を有する。また、記憶部１２０は、制御部１３０での処理に用いる情報を記憶する。
操作権限記憶部１２１は、サーバ２００から受信した排他制御の開始イベントまたは終了イベントに応じた、被支援者端末１０それぞれの操作権限を記憶する。図３は、操作権限記憶部の一例を示す図である。図３に示すように、操作権限記憶部１２１は、「端末ＩＤ（IDentifier）」、「操作権限」といった項目を有する。操作権限記憶部１２１は、例えば、端末ＩＤごとに１レコードとして記憶する。
「端末ＩＤ」は、被支援者端末１０を識別する識別子である。「操作権限」は、対応する被支援者端末１０に対して操作権限を有する支援者端末１００を示す情報である。図３の１行目の例では、端末ＩＤ「１０ａ」の被支援者端末１０ａに対して、操作権限欄が空欄であるので、どの支援者端末１００も操作権限を有しない状態、すなわち、遠隔操作を行っていない状態を示す。また、２行目の例では、端末ＩＤ「１０ｂ」の被支援者端末１０ｂに対して、端末ＩＤが１００ｆである支援者端末１００ｆが操作権限を有する状態、すなわち、遠隔操作を行っている状態を示す。
図２の説明に戻って、制御部１３０は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、内部の記憶装置に記憶されているプログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されるようにしてもよい。制御部１３０は、取得部１３１と、表示制御部１３２と、判定部１３３と、送信制御部１３４とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１３０の内部構成は、図２に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
取得部１３１は、支援先である特定の被支援者端末１０と支援者端末１００との間で接続が確立されると、特定の被支援者端末１０の表示画面の画像情報を取得する。取得部１３１は、特定の被支援者端末１０の表示画面において変化があると、当該変化を反映する画像情報を取得して、特定の被支援者端末１０の表示画面の画像情報を更新する。取得部１３１は、取得した画像情報を表示制御部１３２に出力する。
また、取得部１３１は、ネットワークＮおよび通信部１１０を介して、サーバ２００から排他制御の開始イベントまたは終了イベントを受信すると、受信した排他制御の開始イベントまたは終了イベントに基づいて、対応する被支援者端末１０の操作権限を操作権限記憶部１２１に設定する。
表示制御部１３２は、取得部１３１から画像情報が入力されると、入力された画像情報に基づいて、特定の被支援者端末１０の表示画面を共有するための表示画面を生成する。表示制御部１３２は、生成した表示画面を表示部１１１に出力して表示させる。また、表示制御部１３２は、生成した表示画面の情報を判定部１３３に出力する。
ここで、図４から図８を用いて各種画面について説明する。図４は、支援者側の表示画面の一例を示す図である。図４に示す表示画面２０は、支援者端末１００に表示される初期画面の一例である。表示画面２０は、被支援者端末１０と支援者端末１００とを含む端末グループを選択する領域２１と、被支援者端末１０と接続した際に、接続した特定の被支援者端末１０の表示画面を表示する領域２２とを有する。
図５は、被支援者側の表示画面の一例を示す図である。図５に示す表示画面３０は、被支援者端末１０に表示される初期画面の一例である。表示画面３０は、遠隔操作を行うための操作を行うことができる画面である。
図６は、被支援者側の表示画面の他の一例を示す図である。図６に示す表示画面３１は、被支援者端末１０に表示される設定画面の一例である。表示画面３１は、遠隔操作における各種設定を行うことができる画面である。
図７は、被支援者側の表示画面の他の一例を示す図である。図７に示す表示画面３２は、被支援者端末１０に表示される当該被支援者端末１０のカメラで撮像された撮像画像の表示画面の一例である。表示画面３２は、例えば、撮像画像がリアルタイムで表示され、静止画像を撮像するアイコン３３、拡大縮小操作を行うアイコン３４、リアルタイム表示を一時停止するアイコン３５、および、カメラで撮像された撮像画像の表示を終了するアイコン３６を有する。
図８は、被支援者側の表示画面を共有している状態の支援者側の表示画面の一例を示す図である。図８に示す表示画面４０は、図４の表示画面２０の状態から、特定の被支援者端末１０と接続し、特定の被支援者端末１０の表示画面５０を共有している状態の表示画面の一例である。表示画面４０は、接続中の被支援者を示す作業者欄４１と、接続中の支援者を示す支援者欄４２と、表示画面２０の領域２２に対応する特定の被支援者端末１０の表示画面５０を表示する領域４３とを有する。また、表示画面４０は、作業者欄４１に表示される作業者が用いる被支援者端末１０と画面共有を開始するボタン４４と、接続状態から抜けるためのボタン４５と、接続中である特定の被支援者端末１０の作業者と通話を開始するボタン４６とを有する。
また、表示画面４０は、領域４３に表示される表示画面５０に対して手書き指示を書き込むためのアイコン４７と、マウスカーソル５２を用いて遠隔操作を行うためのアイコン４８と、支援者端末１００のマイクをミュートするためのアイコン４９とを有する。また、表示画面４０は、領域４３に表示される表示画面５０を明示的に表すための枠５１を有する。なお、以下の説明では、枠５１の内部を被支援者画面領域という。また、枠５１は、拡縮可能であり、枠５１の拡縮に応じて表示画面５０も同様に拡縮する。表示画面４０では、例えば、領域４３に図７に示す表示画面３２の様な撮像画像を含む表示画面が表示されている場合であって、手書き指示を書き込みたい場合、支援者は、アイコン４７をクリックすることで手書きモードに切り替える。
また、表示画面４０では、例えば、領域４３に表示画面５０に示す様な設定画面、つまり操作可能な画面が表示されている場合であって、遠隔操作を行いたい場合、支援者は、アイコン４８をクリックすることで遠隔操作モードに切り替える。なお、アイコン４７とアイコン４８とは、トグル式に切り替えを行うユーザインタフェースとすることができる。また、表示画面４０では、遠隔操作モードである場合に、支援者は、支援者端末１００のマウスカーソル５２を操作することで、特定の被支援者端末１０の操作可能な画面を操作する。
図２の説明に戻って、判定部１３３は、表示制御部１３２から表示画面の情報が入力されると、遠隔操作モードがＯＮであるか否かを判定する。判定部１３３は、遠隔操作モードがＯＮでない場合には、遠隔支援システム１を終了するか否かの判定に進む。判定部１３３は、遠隔操作モードがＯＮである場合には、マウスカーソルが被支援者画面領域にあるか否かを判定する。判定部１３３は、マウスカーソルが被支援者画面領域にない場合には、遠隔支援システム１を終了するか否かの判定に進む。
判定部１３３は、マウスカーソルが被支援者画面領域にある場合には、操作権限記憶部１２１を参照し、特定の被支援者端末１０が他の支援者端末１００によって遠隔操作が排他中であるか否かを判定する。判定部１３３は、遠隔操作が排他中である場合には、特定の被支援者端末１０に対する遠隔操作は排他されて行うことができず、遠隔支援システム１を終了するか否かの判定に進む。すなわち、判定部１３３は、表示した画面の範囲内に支援者端末１００のマウスカーソルの位置が含まれるか否かの第１の判定を行う。また、判定部１３３は、特定の被支援者端末１０の操作権限を有する他の支援者端末１００が存在することを示す情報が操作権限記憶部１２１に記憶されていないか否かの第２の判定を行う。判定部１３３は、第１の判定と第２の判定とのうち、いずれの判定も肯定的である場合、支援者端末１００が他の支援者端末１００を排他して、被支援者端末１０の遠隔操作を行う。
判定部１３３は、遠隔操作が排他中でない場合には、遠隔操作の排他制御を開始する操作を受け付けたか否かを判定する。なお、遠隔操作の排他制御を開始する操作は、例えば、予め定義したマウス操作、例えばマウスの左右のボタンの同時押し等とすることができる。また、遠隔操作の排他制御を開始する操作は、マウスカーソルが被支援者画面領域にあることで、遠隔操作の排他制御を開始する操作がなされたと見做すようにしてもよい。判定部１３３は、遠隔操作の排他制御を開始する操作を受け付けていない場合には、遠隔支援システム１を終了するか否かの判定に進む。
判定部１３３は、遠隔操作の排他制御を開始する操作を受け付けた場合には、排他制御開始情報を生成して送信制御部１３４に出力する。判定部１３３は、排他制御開始情報を送信制御部１３４に出力すると、被支援者画面領域中のマウスカーソルの座標値およびマウスイベントを含む操作情報を送信制御部１３４に出力する。
また、判定部１３３は、遠隔支援システム１を終了するか否かを判定する。判定部１３３は、遠隔支援システム１を終了しない場合には、引き続き、被支援者端末１０と支援者端末１００との間における遠隔支援を行う。判定部１３３は、遠隔支援システム１を終了する場合には、被支援者端末１０およびサーバ２００に対して終了を通知し、支援者端末１００における操作制御処理を終了する。
また、判定部１３３は、他の支援者端末１００によって遠隔操作が排他中である場合に、強制的に他の支援者端末１００の遠隔操作の排他制御を終了させて、自らの支援者端末１００の排他制御開始情報をサーバ２００に送信するようにしてもよい。すなわち、判定部１３３は、特定の被支援者端末１０の操作権限を有する他の支援者端末１００が存在することを示す情報が操作権限記憶部１２１に記憶されている場合であって、特定の操作が入力されると、強制的に排他権を取得する。つまり、判定部１３３は、特定の被支援者端末１０の操作権限を有する他の支援者端末１００が存在することを示す情報が操作権限記憶部１２１に記憶されていない場合と同じ判定を行う。なお、特定の操作は、例えば、緊急用アイコンのクリックや、緊急用と定義したマウス操作等が挙げられる。
送信制御部１３４は、判定部１３３から排他制御開始情報が入力されると、入力された排他制御開始情報を、通信部１１０およびネットワークＮを介して、サーバ２００に送信する。また、送信制御部１３４は、判定部１３３から操作情報が入力されると、入力された操作情報を、通信部１１０、ネットワークＮおよびサーバ２００を介して、特定の被支援者端末１０を宛先として送信する。
すなわち、送信制御部１３４は、判定部１３３における第１の判定と第２の判定とのうち、いずれの判定も肯定的である場合、特定の被支援者端末１０を宛先として、マウスカーソルの位置と、マウスカーソルによる操作内容とを含む操作情報を送信する。
送信制御部１３４は、操作情報を特定の被支援者端末１０に送信すると、遠隔操作の排他制御を終了する操作を受け付けたか否かを判定する。送信制御部１３４は、遠隔操作の排他制御を終了する操作を受け付けていない場合には、引き続き、操作情報を特定の被支援者端末１０を宛先として送信する。
送信制御部１３４は、遠隔操作の排他制御を終了する操作を受け付けた場合には、排他制御終了情報を生成し、生成した排他制御終了情報を通信部１１０およびネットワークＮを介して、サーバ２００に送信する。なお、排他制御終了情報は、特定の被支援者端末１０の操作権限を解放する解放情報のことである。
また、遠隔操作の排他制御を終了する操作は、例えば、マウスの操作により、マウスカーソルの位置が画面の範囲内、つまり被支援者画面領域に含まれなくなった場合が挙げられる。また、遠隔操作の排他制御を終了する操作は、例えば、被支援者画面領域とともに表示部１１１に表示されるアイコンが押下された場合が挙げられる。
また、遠隔操作の排他制御を終了する操作は、他にも、例えば、操作情報を送信した後に所定時間が経過した場合に、遠隔操作の排他制御を終了する操作がなされたと見做してもよい。なお、所定時間は、例えば、３０秒や１分とすることができる。また、遠隔操作の排他制御を終了する操作は、支援者端末１００の表示画面が、被支援者画面領域を含む表示画面から他の表示画面に遷移した場合に、遠隔操作の排他制御を終了する操作がなされたと見做してもよい。他の表示画面は、例えば設定画面等が挙げられる。また、遠隔操作の排他制御を終了する操作は、予め定義したマウス操作が入力された、または、支援者端末１００の表示画面が最小化された場合が挙げられる。なお、予め定義したマウス操作は、例えば、右クリックやマルチクリック等が挙げられる。
ここで、図９を用いて支援者端末１００と他の支援者端末１００とにおける遠隔操作の排他状態について説明する。図９は、排他状態の一例を示す図である。図９に示すように、被支援者端末１０ｂと、支援者端末１００ｆ〜１００ｈとは、接続中である。また、図９は、支援者端末１００ｆが被支援者端末１０ｂの遠隔操作を開始した状態である。このとき、被支援者端末１０ｂの表示画面６０には、支援者端末１００ｆのマウスカーソル６４に対応するマウスカーソル６１が表示されている。支援者端末１００ｆの表示画面６２には、被支援者画面領域６３に被支援者端末１０ｂの表示画面６０が表示され、マウスカーソル６４が被支援者画面領域６３内に位置している。すなわち、支援者端末１００ｆが被支援者端末１０ｂの表示画面６０を遠隔操作している。
これに対し、他の支援者端末１００である支援者端末１００ｇの表示画面６５では、被支援者画面領域６６に被支援者端末１０ｂの表示画面６０が表示されている。また、被支援者画面領域６６には、さらに、遠隔操作モードが排他状態であることを知らせるために、例えばハッチングが重畳表示される。この場合、支援者端末１００ｇのマウスカーソル６７は、被支援者画面領域６６内に位置していても、被支援者端末１０ｂの表示画面６０を遠隔操作することはできない。すなわち、被支援者端末１０ｂの表示画面６０には、支援者端末１００ｇのマウスカーソル６７に対応するマウスカーソルは表示されない。
同様に、他の支援者端末１００である支援者端末１００ｈの表示画面６８では、被支援者画面領域６９に被支援者端末１０ｂの表示画面６０が表示されている。また、被支援者画面領域６９には、さらに、遠隔操作モードが排他状態であることを知らせるために、例えばハッチングが重畳表示される。この場合、支援者端末１００ｈのマウスカーソル７０は、被支援者画面領域６９内に位置していても、被支援者端末１０ｂの表示画面６０を遠隔操作することはできない。すなわち、被支援者端末１０ｂの表示画面６０には、支援者端末１００ｈのマウスカーソル７０に対応するマウスカーソルは表示されない。このように、遠隔支援システム１では、１つの支援者端末１００が特定の被支援者端末１０を遠隔操作している場合に、他の支援者端末１００からの遠隔操作を排他する。
続いて、サーバ２００の構成について説明する。図２に示すように、サーバ２００は、通信部２１０と、記憶部２２０と、制御部２３０とを有する。なお、サーバ２００は、図２に示す機能部以外にも既知のコンピュータが有する各種の機能部、例えば各種の入力デバイスや音声出力デバイス等の機能部を有することとしてもかまわない。
通信部２１０は、例えば、ＮＩＣ等によって実現される。通信部２１０は、ネットワークＮを介して被支援者端末１０および支援者端末１００と有線または無線で接続され、被支援者端末１０および支援者端末１００との間で情報の通信を司る通信インタフェースである。通信部２１０は、接続要求元の被支援者端末１０または支援者端末１００から接続要求を受信すると、受信した接続要求を制御部２３０に出力する。通信部２１０は、支援者端末１００から特定の被支援者端末１０を宛先として送信された操作情報を受信すると、受信した操作情報を制御部２３０に出力する。
通信部２１０は、支援者端末１００から排他制御開始情報または排他制御終了情報を受信すると、受信した排他制御開始情報または排他制御終了情報を制御部２３０に出力する。また、通信部２１０は、制御部２３０から排他制御の開始イベントまたは終了イベントが入力されると、入力された排他制御の開始イベントまたは終了イベントを支援者端末１００に送信する。
記憶部２２０は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、ハードディスクや光ディスク等の記憶装置によって実現される。記憶部２２０は、操作権限記憶部２２１を有する。また、記憶部２２０は、制御部２３０での処理に用いる情報を記憶する。なお、操作権限記憶部２２１は、支援者端末１００の操作権限記憶部１２１と同様であるので、その説明を省略する。
制御部２３０は、例えば、ＣＰＵやＭＰＵ等によって、内部の記憶装置に記憶されているプログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部２３０は、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現されるようにしてもよい。制御部２３０は、中継部２３１と、通知部２３２とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部２３０の内部構成は、図２に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
中継部２３１は、ネットワークＮおよび通信部２１０を介して、接続要求元の被支援者端末１０または支援者端末１００から接続要求を受信する。中継部２３１は、受信した接続要求に基づいて、接続要求元の被支援者端末１０または支援者端末１００と、接続要求先の支援者端末１００または被支援者端末１０との間で通信を中継する。
通知部２３２は、ネットワークＮおよび通信部２１０を介して、支援者端末１００から排他制御開始情報を受信したか否かを判定する。通知部２３２は、排他制御開始情報を受信していない場合には、排他制御終了情報を受信したか否かの判定に進む。通知部２３２は、排他制御開始情報を受信した場合には、特定の被支援者端末１０に対する排他制御の開始イベントが通知済みか否かを判定する。また、通知部２３２は、受信した排他制御開始情報に基づいて、対応する特定の被支援者端末１０の操作権限を操作権限記憶部２２１に記憶する。
通知部２３２は、排他制御の開始イベントを通知済みである場合には、排他制御終了情報を受信したか否かの判定に進む。通知部２３２は、排他制御の開始イベントを通知済みでない場合には、排他制御開始情報を送信した支援者端末１００以外の他の支援者端末１００に排他制御の開始イベントを送信して排他開始を通知する。
通知部２３２は、ネットワークＮおよび通信部２１０を介して、支援者端末１００から排他制御終了情報を受信したか否かを判定する。通知部２３２は、排他制御終了情報を受信していない場合には、遠隔支援システム１を終了するか否かの判定に進む。通知部２３２は、排他制御終了情報を受信した場合には、排他制御終了情報を送信した支援者端末１００以外の他の支援者端末１００に排他制御の終了イベントを送信して排他終了を通知する。
また、通知部２３２は、遠隔支援システム１を終了するか否かを判定する。通知部２３２は、遠隔支援システム１を終了しない場合には、引き続き、被支援者端末１０と支援者端末１００との間の通信の中継および通知処理を行う。通知部２３２は、遠隔支援システム１を終了する場合には、被支援者端末１０および支援者端末１００に対して終了を通知し、サーバ２００における中継および通知処理を終了する。
次に、実施例の遠隔支援システム１の動作について説明する。まず、支援者端末１００における操作制御処理について説明する。図１０は、実施例の操作制御処理の一例を示すフローチャートである。
遠隔支援システム１の管理者によってサーバ２００が起動され、支援者端末１００は、被支援者端末１０とともに遠隔支援システム１の動作を開始する（ステップＳ１）。
支援者端末１００の取得部１３１は、支援先である特定の被支援者端末１０と支援者端末１００との間で接続が確立されると、特定の被支援者端末１０の表示画面の画像情報を取得する。取得部１３１は、取得した画像情報を表示制御部１３２に出力する。表示制御部１３２は、入力された画像情報に基づいて、特定の被支援者端末１０の表示画面を共有するための表示画面を生成して表示部１１１に出力して表示させる。また、表示制御部１３２は、生成した表示画面の情報を判定部１３３に出力する。
判定部１３３は、表示制御部１３２から表示画面の情報が入力されると、遠隔操作モードがＯＮであるか否かを判定する（ステップＳ２）。判定部１３３は、遠隔操作モードがＯＮでない場合には（ステップＳ２：否定）、ステップＳ１０に進む。判定部１３３は、遠隔操作モードがＯＮである場合には（ステップＳ２：肯定）、マウスカーソルが被支援者画面領域にあるか否かを判定する（ステップＳ３）。判定部１３３は、マウスカーソルが被支援者画面領域にない場合には（ステップＳ３：否定）、ステップＳ１０に進む。
判定部１３３は、マウスカーソルが被支援者画面領域にある場合には（ステップＳ３：肯定）、操作権限記憶部１２１を参照し、特定の被支援者端末１０が他の支援者端末１００によって遠隔操作が排他中であるか否かを判定する（ステップＳ４）。判定部１３３は、遠隔操作が排他中である場合には（ステップＳ４：肯定）、ステップＳ１０に進む。
判定部１３３は、遠隔操作が排他中でない場合には（ステップＳ４：否定）、遠隔操作の排他制御を開始する操作を受け付けたか否かを判定する（ステップＳ５）。判定部１３３は、遠隔操作の排他制御を開始する操作を受け付けていない場合には（ステップＳ５：否定）、ステップＳ１０に進む。
判定部１３３は、遠隔操作の排他制御を開始する操作を受け付けた場合には（ステップＳ５：肯定）、排他制御開始情報を生成して送信制御部１３４に出力する。送信制御部１３４は、判定部１３３から排他制御開始情報が入力されると、入力された排他制御開始情報をサーバ２００に送信する（ステップＳ６）。
判定部１３３は、排他制御開始情報を送信制御部１３４に出力すると、被支援者画面領域中のマウスカーソルの座標値およびマウスイベントを含む操作情報を送信制御部１３４に出力する。送信制御部１３４は、判定部１３３から操作情報が入力されると、入力された操作情報をサーバ２００に送信する（ステップＳ７）。すなわち、送信制御部１３４は、サーバ２００を介して操作情報を特定の被支援者端末１０を宛先として送信する。
送信制御部１３４は、操作情報を特定の被支援者端末１０に送信すると、遠隔操作の排他制御を終了する操作を受け付けたか否かを判定する（ステップＳ８）。送信制御部１３４は、遠隔操作の排他制御を終了する操作を受け付けていない場合には（ステップＳ８：否定）、ステップＳ７に戻る。送信制御部１３４は、遠隔操作の排他制御を終了する操作を受け付けた場合には（ステップＳ８：肯定）、排他制御終了情報を生成する。送信制御部１３４は、生成した排他制御終了情報をサーバ２００に送信し（ステップＳ９）、ステップＳ１０に進む。
判定部１３３は、遠隔支援システム１を終了するか否かを判定する（ステップＳ１０）。判定部１３３は、遠隔支援システム１を終了しない場合には（ステップＳ１０：否定）、ステップＳ２に戻る。判定部１３３は、遠隔支援システム１を終了する場合には（ステップＳ１０：肯定）、被支援者端末１０およびサーバ２００に対して終了を通知し、支援者端末１００における操作制御処理を終了する。これにより、支援者端末１００は、遠隔操作における支援者の操作負担を軽減できる。
次に、サーバ２００における通知処理について説明する。図１１は、実施例の通知処理の一例を示すフローチャートである。
遠隔支援システム１の管理者によってサーバ２００が起動され、サーバ２００は、被支援者端末１０および支援者端末１００とともに遠隔支援システム１の動作を開始する（ステップＳ２１）。サーバ２００の中継部２３１は、接続要求元の被支援者端末１０または支援者端末１００から接続要求を受信する。中継部２３１は、受信した接続要求に基づいて、接続要求元の被支援者端末１０または支援者端末１００と、接続要求先の支援者端末１００または被支援者端末１０との間で通信を中継する。
通知部２３２は、支援者端末１００から排他制御開始情報を受信したか否かを判定する（ステップＳ２２）。通知部２３２は、排他制御開始情報を受信していない場合には（ステップＳ２２：否定）、ステップＳ２５に進む。通知部２３２は、排他制御開始情報を受信した場合には（ステップＳ２２：肯定）、特定の被支援者端末１０に対する排他制御の開始イベントが通知済みか否かを判定する（ステップＳ２３）。
通知部２３２は、排他制御の開始イベントを通知済みである場合には（ステップＳ２３：肯定）、ステップＳ２５に進む。通知部２３２は、排他制御の開始イベントを通知済みでない場合には（ステップＳ２３：否定）、排他制御開始情報を送信した支援者端末１００以外の他の支援者端末１００に排他制御の開始イベントを送信して排他開始を通知する（ステップＳ２４）。通知部２３２は、排他開始を通知すると、ステップＳ２５に進む。
通知部２３２は、支援者端末１００から排他制御終了情報を受信したか否かを判定する（ステップＳ２５）。通知部２３２は、排他制御終了情報を受信していない場合には（ステップＳ２５：否定）、ステップＳ２７に進む。通知部２３２は、排他制御終了情報を受信した場合には（ステップＳ２５：肯定）、排他制御終了情報を送信した支援者端末１００以外の他の支援者端末１００に排他制御の終了イベントを送信して排他終了を通知する（ステップＳ２６）。通知部２３２は、排他終了を通知すると、ステップＳ２７に進む。
通知部２３２は、遠隔支援システム１を終了するか否かを判定する（ステップＳ２７）。通知部２３２は、遠隔支援システム１を終了しない場合には（ステップＳ２７：否定）、ステップＳ２２に戻る。通知部２３２は、遠隔支援システム１を終了する場合には（ステップＳ２７：肯定）、被支援者端末１０および支援者端末１００に対して終了を通知し、サーバ２００における中継および通知処理を終了する。これにより、サーバ２００は、被支援者端末１０に対する遠隔操作を行う支援者端末１００の排他制御を行うことができる。
なお、上記実施例では、サーバ２００が通知処理を行ったが、これに限定されない。例えば、サーバ２００は、被支援者端末１０と支援者端末１００との間の通信の確立を行い、排他制御に関する通知処理は、被支援者端末１０で行ってもよい。
このように、支援者端末１００は、受信した操作情報に応じた処理を実行する特定の被支援者端末１０の表示画面の画像情報を取得する。また、支援者端末１００は、取得した画像情報に基づき、表示画面に応じた画面を表示部１１１に表示する。また、支援者端末１００は、表示した画面の範囲内に支援者端末１００のカーソルの位置が含まれるか否かの判定を行う。また、支援者端末１００は、特定の被支援者端末１０の操作権限を有する他の支援者端末１００が存在することを示す情報が操作権限記憶部１２１に記憶されていないか否かの判定を行う。また、支援者端末１００は、いずれの判定も肯定的である場合、特定の被支援者端末１０を宛先として、カーソルの位置と、カーソルによる操作内容とを含む操作情報を送信する。その結果、遠隔操作における支援者の操作負担を軽減できる。
また、支援者端末１００は、さらに、カーソルの位置が画面の範囲内に含まれなくなった場合に、特定の被支援者端末１０の操作権限を解放する解放情報を、特定の被支援者端末１０を宛先として送信する。その結果、遠隔操作における支援者の操作負担を軽減できる。
また、支援者端末１００は、さらに、画面とともに表示部１１１に表示されるアイコンが押下された場合に、特定の被支援者端末１０の操作権限を解放する解放情報を、特定の被支援者端末１０を宛先として送信する。その結果、操作権限の解放を支援者が明示的に操作できる。
また、支援者端末１００は、さらに、操作情報を送信した後に所定時間が経過した場合に、特定の被支援者端末１０の操作権限を解放する解放情報を、特定の被支援者端末１０を宛先として送信する。その結果、操作権限を有する状態で放置されても他の支援者端末１００が操作権限を得ることができる。
また、支援者端末１００は、さらに、支援者端末１００の表示画面が、被支援者端末１０の画面を含む表示画面から他の表示画面に遷移した場合に、特定の被支援者端末１０の操作権限を解放する解放情報を、特定の被支援者端末１０を宛先として送信する。その結果、支援者が支援者端末１００の表示画面を切り替えるだけで、他の支援者端末１００が操作権限を得ることができる。
また、支援者端末１００は、さらに、予め定義したマウス操作が入力された、または、支援者端末１００の表示画面が最小化された場合に、特定の被支援者端末１０の操作権限を解放する解放情報を、特定の被支援者端末１０を宛先として送信する。その結果、支援者の定義されたマウス操作、または、表示画面の最小化の操作に応じて、他の支援者端末１００が操作権限を得ることができる。
また、支援者端末１００は、特定の被支援者端末１０の操作権限を有する他の支援者端末１００が存在することを示す情報が操作権限記憶部１２１に記憶されている場合であって、特定の操作が入力されると、強制的に排他権を取得する。つまり、支援者端末１００は、特定の被支援者端末１０の操作権限を有する他の支援者端末１００が存在することを示す情報が操作権限記憶部１２１に記憶されていない場合と同じ判定を行う。その結果、緊急性が高い遠隔操作を行いたい場合に、他の支援者端末１００の遠隔操作に割り込んで緊急性が高い遠隔操作を行うことができる。
なお、上記実施例では、支援者端末１００に表示される被支援者端末１０の画面と、他の支援者端末１００の遠隔操作を排他するマウスカーソルが位置する領域とを同じとしたが、これに限定されない。例えば、被支援者端末１０の画面よりも遠隔操作を排他する領域を大きくしてもよいし、操作に関する画面の領域に限定するようにしてもよい。
また、上記実施例では、支援者端末１００が遠隔操作モードである場合に、他の支援者端末１００の遠隔操作を排他したが、手書きモードである場合には、カメラを使用している場合が多いので、排他してもよいし、排他しなくてもよい。
また、図示した各部の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各部の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、判定部１３３と送信制御部１３４とを統合してもよい。また、図示した各処理は、上記の順番に限定されるものではなく、処理内容を矛盾させない範囲において、同時に実施してもよく、順序を入れ替えて実施してもよい。
さらに、各装置で行われる各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ（Micro Controller Unit）等のマイクロ・コンピュータ）上で、その全部または任意の一部を実行するようにしてもよい。また、各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ等のマイクロ・コンピュータ）で解析実行されるプログラム上、またはワイヤードロジックによるハードウェア上で、その全部または任意の一部を実行するようにしてもよいことは言うまでもない。
ところで、上記の実施例で説明した各種の処理は、予め用意されたプログラムをコンピュータで実行することで実現できる。そこで、以下では、上記の実施例と同様の機能を有するプログラムを実行するコンピュータの一例を説明する。図１２は、操作制御プログラムを実行するコンピュータの一例を示す図である。
図１２に示すように、コンピュータ３００は、各種演算処理を実行するＣＰＵ３０１と、データ入力を受け付ける入力装置３０２と、モニタ３０３とを有する。また、コンピュータ３００は、記憶媒体からプログラム等を読み取る媒体読取装置３０４と、各種装置と接続するためのインタフェース装置３０５と、他の情報処理装置等と有線または無線により接続するための通信装置３０６とを有する。また、コンピュータ３００は、各種情報を一時記憶するＲＡＭ３０７と、ハードディスク装置３０８とを有する。また、各装置３０１〜３０８は、バス３０９に接続される。
ハードディスク装置３０８には、図２に示した取得部１３１、表示制御部１３２、判定部１３３および送信制御部１３４の各処理部と同様の機能を有する操作制御プログラムが記憶される。また、ハードディスク装置３０８には、操作権限記憶部１２１、および、操作制御プログラムを実現するための各種データが記憶される。入力装置３０２は、例えば、図２に示した操作部１１２と同様の機能を有し、コンピュータ３００のユーザである支援者から操作情報等の各種情報の入力を受け付ける。モニタ３０３は、例えば、コンピュータ３００のユーザである支援者に対して表示画面等の各種画面を表示する。インタフェース装置３０５は、例えば印刷装置等が接続される。通信装置３０６は、例えば、図２に示した通信部１１０と同様の機能を有し被支援者端末１０およびサーバ２００と接続され、被支援者端末１０およびサーバ２００と各種情報をやりとりする。
ＣＰＵ３０１は、ハードディスク装置３０８に記憶された各プログラムを読み出して、ＲＡＭ３０７に展開して実行することで、各種の処理を行う。また、これらのプログラムは、コンピュータ３００を図２に示した取得部１３１、表示制御部１３２、判定部１３３および送信制御部１３４として機能させることができる。
なお、上記の操作制御プログラムは、必ずしもハードディスク装置３０８に記憶されている必要はない。例えば、コンピュータ３００が読み取り可能な記憶媒体に記憶されたプログラムを、コンピュータ３００が読み出して実行するようにしてもよい。コンピュータ３００が読み取り可能な記憶媒体は、例えば、ＣＤ−ＲＯＭやＤＶＤディスク、ＵＳＢ（Universal Serial Bus）メモリ等の可搬型記録媒体、フラッシュメモリ等の半導体メモリ、ハードディスクドライブ等が対応する。また、公衆回線、インターネット、ＬＡＮ等に接続された装置にこの操作制御プログラムを記憶させておき、コンピュータ３００がこれらから操作制御プログラムを読み出して実行するようにしてもよい。
１ 遠隔支援システム
１０ 被支援者端末
１００ 支援者端末
１１０ 通信部
１１１ 表示部
１１２ 操作部
１２０ 記憶部
１２１ 操作権限記憶部
１３０ 制御部
１３１ 取得部
１３２ 表示制御部
１３３ 判定部
１３４ 送信制御部
２００ サーバ
２１０ 通信部
２２０ 記憶部
２２１ 操作権限記憶部
２３０ 制御部
２３１ 中継部
２３２ 通知部
Ｎ ネットワーク

Claims (9)

  1. 情報処理装置が実行する操作制御プログラムにおいて、
    受信した操作情報に応じた処理を実行する特定の情報処理装置の表示画面の画像情報を取得し、
    取得した前記画像情報に基づき、前記表示画面に応じた画面を表示部に表示し、
    表示した前記画面の範囲内に前記情報処理装置のカーソルの位置が含まれるか否かの判定と、前記特定の情報処理装置の操作権限を有する他の情報処理装置が存在することを示す情報が記憶部に記憶されていないか否かの判定とを行い、
    いずれの判定も肯定的である場合、前記特定の情報処理装置を宛先として、前記カーソルの位置と、前記カーソルによる操作内容とを含む操作情報を送信し、
    前記他の情報処理装置が存在することを示す情報が前記記憶部に記憶されていると判定された場合であって、手書きモードでない場合、前記表示画面に応じた画面に、前記特定の情報処理装置に対する操作が排他状態であることを示す表示を重畳表示し、
    前記他の情報処理装置が存在することを示す情報が前記記憶部に記憶されていると判定された場合であって、前記手書きモードである場合、前記特定の情報処理装置に対する操作を排他せず、前記特定の情報処理装置を宛先として、手書き指示を含む操作情報を送信する、
    処理をコンピュータに実行させることを特徴とする操作制御プログラム。
  2. 前記送信する処理は、さらに、前記カーソルの位置が前記画面の範囲内に含まれなくなった場合に、前記特定の情報処理装置の操作権限を解放する解放情報を、前記特定の情報処理装置を宛先として送信する、
    ことを特徴とする請求項１に記載の操作制御プログラム。
  3. 前記送信する処理は、さらに、前記画面とともに前記表示部に表示されるアイコンが押下された場合に、前記特定の情報処理装置の操作権限を解放する解放情報を、前記特定の情報処理装置を宛先として送信する、
    ことを特徴とする請求項１に記載の操作制御プログラム。
  4. 前記送信する処理は、さらに、前記操作情報を送信した後に所定時間が経過した場合に、前記特定の情報処理装置の操作権限を解放する解放情報を、前記特定の情報処理装置を宛先として送信する、
    ことを特徴とする請求項１に記載の操作制御プログラム。
  5. 前記送信する処理は、さらに、前記情報処理装置の表示画面が、前記画面を含む表示画面から他の表示画面に遷移した場合に、前記特定の情報処理装置の操作権限を解放する解放情報を、前記特定の情報処理装置を宛先として送信する、
    ことを特徴とする請求項１に記載の操作制御プログラム。
  6. 前記送信する処理は、さらに、予め定義したマウス操作が入力された、または、前記情報処理装置の表示画面が最小化された場合に、前記特定の情報処理装置の操作権限を解放する解放情報を、前記特定の情報処理装置を宛先として送信する、
    ことを特徴とする請求項１に記載の操作制御プログラム。
  7. 前記判定を行う処理は、前記特定の情報処理装置の操作権限を有する他の情報処理装置が存在することを示す情報が記憶部に記憶されている場合であって、特定の操作が入力されると、前記特定の情報処理装置の操作権限を有する他の情報処理装置が存在することを示す情報が記憶部に記憶されていない場合と同じ判定を行う、
    ことを特徴とする請求項１〜６のいずれか１つに記載の操作制御プログラム。
  8. 情報処理装置が実行する操作制御方法において、
    受信した操作情報に応じた処理を実行する特定の情報処理装置の表示画面の画像情報を取得し、
    取得した前記画像情報に基づき、前記表示画面に応じた画面を表示部に表示し、
    表示した前記画面の範囲内に前記情報処理装置のカーソルの位置が含まれるか否かの判定と、前記特定の情報処理装置の操作権限を有する他の情報処理装置が存在することを示す情報が記憶部に記憶されていないか否かの判定とを行い、
    いずれの判定も肯定的である場合、前記特定の情報処理装置を宛先として、前記カーソルの位置と、前記カーソルによる操作内容とを含む操作情報を送信し、
    前記他の情報処理装置が存在することを示す情報が前記記憶部に記憶されていると判定された場合であって、手書きモードでない場合、前記表示画面に応じた画面に、前記特定の情報処理装置に対する操作が排他状態であることを示す表示を重畳表示し、
    前記他の情報処理装置が存在することを示す情報が前記記憶部に記憶されていると判定された場合であって、前記手書きモードである場合、前記特定の情報処理装置に対する操作を排他せず、前記特定の情報処理装置を宛先として、手書き指示を含む操作情報を送信する、
    処理をコンピュータが実行することを特徴とする操作制御方法。
  9. 情報処理装置において、
    受信した操作情報に応じた処理を実行する特定の情報処理装置の表示画面の画像情報を取得する取得部と、
    取得された前記画像情報に基づき、前記表示画面に応じた画面を表示部に表示する表示制御部と、
    表示された前記画面の範囲内に前記情報処理装置のカーソルの位置が含まれるか否かの判定と、前記特定の情報処理装置の操作権限を有する他の情報処理装置が存在することを示す情報が記憶部に記憶されていないか否かの判定とを行う判定部と、
    いずれの判定も肯定的である場合、前記特定の情報処理装置を宛先として、前記カーソルの位置と、前記カーソルによる操作内容とを含む操作情報を送信する送信制御部と、
    を有し、
    前記表示制御部は、前記他の情報処理装置が存在することを示す情報が前記記憶部に記憶されていると判定された場合であって、手書きモードでない場合、前記表示画面に応じた画面に、前記特定の情報処理装置に対する操作が排他状態であることを示す表示を重畳表示し、
    前記送信制御部は、前記他の情報処理装置が存在することを示す情報が前記記憶部に記憶されていると判定された場合であって、前記手書きモードである場合、前記特定の情報処理装置に対する操作を排他せず、前記特定の情報処理装置を宛先として、手書き指示を含む操作情報を送信する、
    ことを特徴とする情報処理装置。
JP2016178514A 2016-09-13 2016-09-13 操作制御プログラム、操作制御方法および情報処理装置 Active JP6766541B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016178514A JP6766541B2 (ja) 2016-09-13 2016-09-13 操作制御プログラム、操作制御方法および情報処理装置
US15/700,515 US10601893B2 (en) 2016-09-13 2017-09-11 Remote operation method and remote operation device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016178514A JP6766541B2 (ja) 2016-09-13 2016-09-13 操作制御プログラム、操作制御方法および情報処理装置

Publications (2)

Publication Number Publication Date
JP2018045362A JP2018045362A (ja) 2018-03-22
JP6766541B2 true JP6766541B2 (ja) 2020-10-14

Family

ID=61561109

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016178514A Active JP6766541B2 (ja) 2016-09-13 2016-09-13 操作制御プログラム、操作制御方法および情報処理装置

Country Status (2)

Country Link
US (1) US10601893B2 (ja)
JP (1) JP6766541B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7054548B2 (ja) * 2020-09-23 2022-04-14 ドクターズモバイル株式会社 遠隔操作支援システム、遠隔操作端末、遠隔操作支援方法、及びコンピュータプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4171123B2 (ja) * 1998-12-15 2008-10-22 富士通株式会社 端末操作装置
JP2006139679A (ja) * 2004-11-15 2006-06-01 Canon Inc 端末操作装置及び方法、記憶媒体、並びプログラム
JP4894449B2 (ja) 2006-10-17 2012-03-14 日本電気株式会社 携帯端末の遠隔操作方法、携帯端末及びプログラム
JP2010181978A (ja) * 2009-02-03 2010-08-19 Seiko Epson Corp 共同作業装置及び共同作業の制御方法
US9706012B2 (en) * 2011-09-26 2017-07-11 Murata Machinery, Ltd. Relay communication system and relay server
EP2770449A4 (en) * 2011-10-20 2015-10-21 Zuken Inc MULTI-TYPE DESIGN DEVICE, MULTIKART DESIGN PROCESS, PROGRAM AND COMPUTER READABLE RECORDING MEDIUM
JP2016006630A (ja) * 2014-05-26 2016-01-14 株式会社リコー 情報処理システム、情報処理装置及びプログラム

Also Published As

Publication number Publication date
JP2018045362A (ja) 2018-03-22
US10601893B2 (en) 2020-03-24
US20180077218A1 (en) 2018-03-15

Similar Documents

Publication Publication Date Title
JP6379103B2 (ja) ジェスチャを介したマルチデバイスのペアリングおよび共有
JP6459972B2 (ja) 表示制御装置、表示制御方法、およびプログラム
WO2011120419A1 (zh) 一种电子设备和输入方法
US20220166685A1 (en) Communication apparatus and control method for the same
CN111245854A (zh) 一种媒体传输方法、媒体控制方法及装置
JP3680059B2 (ja) 情報処理装置および画面イメージデータ送信方法
JP6766541B2 (ja) 操作制御プログラム、操作制御方法および情報処理装置
JP5032046B2 (ja) 管理装置、出力装置、方法およびプログラム
JP6635106B2 (ja) プログラム、情報処理装置、画像処理システム
EP2985981B1 (en) Communication terminal and communication method
JP6568007B2 (ja) ウェアラブル端末、その通信方法およびプログラム
JP2019062326A (ja) 通信装置、投影装置、通信接続方法、及びプログラム
JP6405809B2 (ja) 電子会議システム、電子会議システムにおける表示制御方法及びプログラム
JP6691201B2 (ja) 映像通話サービスを提供する端末及びそのサーバ
JP6034709B2 (ja) 端末装置、外部表示装置及び端末装置と外部表示装置とからなる情報システム
JP6333434B1 (ja) 画面データ中継サーバ、画面データ中継プログラム、及び画面データ中継方法
JP6911595B2 (ja) 通信端末、通信システム、出力方法、及びプログラム
JP6668980B2 (ja) 送信制御プログラム、送信制御方法および情報処理装置
JP6471434B2 (ja) 電子会議システム
JP2007004656A (ja) サーバ装置、方法およびプログラム
JP2018041990A (ja) 通信端末、通信システム、表示制御方法、及びプログラム
JPWO2015151548A1 (ja) 電子機器および記録媒体
JP2020086630A (ja) 作業補助システム、及びプログラム
US20160080466A1 (en) Information processing apparatus and method of remote operation control
JP5962700B2 (ja) 携帯端末装置及び、そのプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190611

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200325

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200407

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200609

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200713

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200818

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200831

R150 Certificate of patent or registration of utility model

Ref document number: 6766541

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150