JP6413911B2 - Operation instruction system, operation instruction program, and operation instruction method - Google Patents
Operation instruction system, operation instruction program, and operation instruction method Download PDFInfo
- Publication number
- JP6413911B2 JP6413911B2 JP2015091715A JP2015091715A JP6413911B2 JP 6413911 B2 JP6413911 B2 JP 6413911B2 JP 2015091715 A JP2015091715 A JP 2015091715A JP 2015091715 A JP2015091715 A JP 2015091715A JP 6413911 B2 JP6413911 B2 JP 6413911B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- side system
- display unit
- response
- operation display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Accessory Devices And Overall Control Thereof (AREA)
- Control Or Security For Electrophotography (AREA)
- Facsimiles In General (AREA)
- User Interface Of Digital Computer (AREA)
Description
本発明は、プリンター等の端末装置を操作するユーザーに対して、オペレーターが遠隔から操作指示する操作指示システム、操作指示プログラム、及び操作指示方法に関する。 The present invention relates to an operation instruction system, an operation instruction program, and an operation instruction method in which an operator remotely instructs a user who operates a terminal device such as a printer.
例えばプリンター等の画像形成装置を操作するユーザーは、操作方法が分からない場合に、電話等によってオペレーターに問い合せることがあるが、電話等では、オペレーターがユーザーに適切な操作指示を行うことが困難な場合がある。 For example, a user who operates an image forming apparatus such as a printer may contact the operator by telephone or the like when the operation method is unknown, but it is difficult for the operator to give an appropriate operation instruction to the user by telephone or the like. There is a case.
これに対し、特許文献1には、オペレーター側の情報処理装置とユーザー側の画像形成装置とをネットワークにより接続し、オペレーター側の情報処理装置上にユーザー側の画像形成装置の操作画面を表示する技術が開示されている。 On the other hand, in Patent Document 1, an information processing apparatus on the operator side and an image forming apparatus on the user side are connected via a network, and an operation screen of the image forming apparatus on the user side is displayed on the information processing apparatus on the operator side. Technology is disclosed.
オペレーター側の操作画面では、ユーザーが操作すべき位置を操作指示として指定することを可能とする。一方、ユーザー側の操作画面では、オペレーターが指定した位置にポインタが表示され、操作指示を把握することが可能となる。 On the operation screen on the operator side, a position to be operated by the user can be specified as an operation instruction. On the other hand, on the operation screen on the user side, a pointer is displayed at a position designated by the operator, and the operation instruction can be grasped.
しかし、特許文献1では、オペレーター側の情報処理装置でユーザー側の画像形成装置の操作画面を表示して操作指示を入力するため、操作指示の入力操作が面倒である。 However, in Patent Document 1, an operation instruction input operation is troublesome because an operation screen of the image forming apparatus on the user side is displayed on the information processing apparatus on the operator side to input an operation instruction.
また、特許文献1では、ユーザー側の操作画面上に操作指示としてのポインタが示されるだけであるため、オペレーターの操作指示をユーザーに確実に認識させることができないおそれがある。 Further, in Patent Document 1, since only a pointer as an operation instruction is shown on the operation screen on the user side, there is a possibility that the operator's operation instruction cannot be surely recognized by the user.
さらに、オペレーターは、操作指示後のユーザーの操作内容を把握することが困難であるという問題もある。 Furthermore, there is a problem that it is difficult for the operator to grasp the user's operation content after the operation instruction.
本発明が解決しようとする問題点は、簡易且つ確実にオペレーターがユーザーに操作指示を行うことができず、且つユーザーの操作内容を確認することができなかった点である。 The problem to be solved by the present invention is that the operator cannot easily and reliably give an operation instruction to the user, and the user's operation content cannot be confirmed.
本発明は、ユーザーが操作する第1の端末装置を有するユーザー側システム部と、オペ
レーターが操作する第2の端末装置を有し、前記ユーザー側システム部にネットワークに
より接続されたオペレーター側システム部とを備え、前記ユーザー側システム部及びオペ
レーター側システム部は、相互に相手方システムとして、接続を確立し、前記オペレータ
ー側システム部は、前記第1の端末装置に対する第1の操作を受け付けると共に第1の操
作画面を表示する第1の操作表示部と、前記第1の操作表示部での前記第1の操作の開始
に応じて前記第1の操作表示部を撮像する第1の撮像部と、前記第1の操作表示部での前
記第1の操作の開始に応じて前記第1の撮像部による前記第1の操作表示部の第1の撮像
画像を前記ユーザー側システム部に送信する第1の画像送信部と、前記ユーザー側システ
ム部から送信された第2の撮像画像を受信して前記第1の操作表示部に前記受信した第2
の撮像画像を表示し、前記第1の操作表示部での前記第1の操作の開始に応じて前記表示
中の第2の撮像画像を非表示とする第2の表示制御部とを備え、前記ユーザー側システム
部は、前記第2の端末装置に対する第2の操作を受け付けると共に第2の操作画面を表示
する第2の操作表示部と、前記オペレーター側システム部から送信された第1の撮像画像
を受信して前記第2の操作表示部に前記受信した第1の撮像画像を表示し、前記第2の操
作表示部での前記第2の操作の開始に応じて前記表示中の第1の撮像画像を非表示とする
第2の表示制御部と、前記第2の操作表示部での前記第2の操作の開始に応じて前記第2
の操作表示部を撮像する第2の撮像部と、前記第2の操作表示部での前記第2の操作の開
始に応じて前記第2の撮像部による前記第2の操作表示部の第2の撮像画像を前記オペレーター側システム部に送信する第2の画像送信部とを備える操作指示システムを最も主な特徴とする。
The present invention includes a user-side system unit having a first terminal device operated by a user, an operator-side system unit having a second terminal device operated by an operator, and connected to the user-side system unit by a network; The user-side system unit and the operator-side system unit establish a connection as a counterpart system, and the operator-side system unit receives a first operation on the first terminal device and receives a first operation A first operation display unit that displays an operation screen; a first imaging unit that images the first operation display unit in response to the start of the first operation on the first operation display unit; In response to the start of the first operation on the first operation display unit, the first captured image of the first operation display unit by the first imaging unit is displayed on the user side system. A first image transmission unit that transmits to the second, which receives the second captured image transmitted from the user side system unit said received to the first operation display section
A second display control unit that displays the captured image and displays the second captured image that is being displayed in response to the start of the first operation on the first operation display unit, The user-side system unit receives a second operation on the second terminal device and displays a second operation screen, and a first imaging transmitted from the operator-side system unit An image is received, the received first captured image is displayed on the second operation display unit, and the first displayed image is displayed in response to the start of the second operation on the second operation display unit. A second display control unit that does not display the captured image, and the second operation in response to the start of the second operation on the second operation display unit.
A second imaging unit that captures the operation display unit, a second of said second operation display unit according to the second imaging unit in accordance with the start of the second operation in the second operation display section The main feature is an operation instruction system including a second image transmission unit that transmits the captured image to the operator system unit.
本発明によれば、ユーザー側システム部及びオペレーター側システム部の端末装置での操作の開始をトリガーに、自システム部の端末装置に対する実際の操作を相手方システム部で表示してユーザー又はオペレーターに確認させることができる。 According to the present invention, the start of the operation on the terminal device of the user side system unit and the operator side system unit is used as a trigger, and the actual operation on the terminal device of the own system unit is displayed on the counterpart system unit and confirmed with the user or the operator. Can be made.
従って、簡易且つ確実にオペレーターによるユーザーへの操作指示を行うことができ、且つユーザーによる操作内容をオペレーターが確認することができる。 Therefore, it is possible to simply and reliably give an operation instruction to the user by the operator, and the operator can confirm the operation content by the user.
簡易且つ確実にオペレーターによるユーザーへの操作指示を行い、且つユーザーによる操作内容をオペレーターが確認するために、ユーザー及びオペレーターの一方が端末装置に対して操作表示部の操作を開始したときに、操作中の操作表示部を撮像した撮像画像をユーザー及びオペレーターの他方側の操作表示部で表示することにより実現した。 When a user or one of the operators starts the operation of the operation display unit on the terminal device in order to simply and surely instruct the user to perform an operation instruction and to confirm the user's operation content, the operation is performed. This was realized by displaying a captured image obtained by imaging the operation display unit in the operation display unit on the other side of the user and the operator.
[操作指示システムの構成]
図1は、本発明の一実施例に係る操作指示システムを示す概念図である。
[Configuration of operation instruction system]
FIG. 1 is a conceptual diagram showing an operation instruction system according to an embodiment of the present invention.
操作指示システム1は、ユーザー側システム部3aとオペレーター側システム部3bとを、ネットワーク5によって接続して構成されている。なお、ユーザー側システム部3aは、単一のユーザーに対してのみ示しているが、複数のユーザー毎に備えることが可能である。 The operation instruction system 1 is configured by connecting a user-side system unit 3 a and an operator-side system unit 3 b via a network 5. The user side system unit 3a is shown only for a single user, but can be provided for each of a plurality of users.
ユーザー側システム部3aは、ユーザーが操作する端末装置7a(以下、「ユーザー端末装置」と称することがある)を有する機器の集合であり、オフィス等のユーザー端末装置7aの設置場所に構築される。 The user-side system unit 3a is a set of devices having a terminal device 7a (hereinafter, also referred to as “user terminal device”) operated by a user, and is constructed at a place where the user terminal device 7a such as an office is installed. .
オペレーター側システム部3bは、オペレーターが操作する端末装置7b(以下、「オペレーター端末装置」と称することがある)を有する機器の集合であり、サービスセンター等の遠隔地に構築される。 The operator-side system unit 3b is a set of devices having a terminal device 7b (hereinafter sometimes referred to as “operator terminal device”) operated by an operator, and is constructed in a remote place such as a service center.
本実施例では、ユーザー端末装置7a及びオペレーター端末装置7b自体が、それぞれ必要な機器を備えてユーザー側システム部3a及びオペレーター側システム部3bを構成する。ユーザー端末装置7a及びオペレーター端末装置7bは、相互に相手方端末装置(相手方システム部)となる、同一構成のプリンターやデジタル複合機等の画像形成装置である。 In the present embodiment, the user terminal device 7a and the operator terminal device 7b themselves each include necessary devices to constitute the user side system unit 3a and the operator side system unit 3b. The user terminal device 7a and the operator terminal device 7b are image forming apparatuses such as printers and digital multi-function peripherals having the same configuration that are mutually partner terminal devices (partner system units).
図2は、図1の操作指示システム1の端末装置の詳細を示すブロック図である。なお、図2では、同一構成のユーザー端末装置7a及びオペレーター端末装置7bの一方について端末装置7として主に説明する。 FIG. 2 is a block diagram showing details of the terminal device of the operation instruction system 1 of FIG. In FIG. 2, one of the user terminal device 7 a and the operator terminal device 7 b having the same configuration will be mainly described as the terminal device 7.
端末装置7は、ネットワーク通信部9、操作表示部11、撮像部13、音声入力部15、音声出力部17、記憶部19、制御部21等を備える。 The terminal device 7 includes a network communication unit 9, an operation display unit 11, an imaging unit 13, a voice input unit 15, a voice output unit 17, a storage unit 19, a control unit 21, and the like.
ネットワーク通信部9は、ネットワーク5によってデータの送受信を行うデバイスである。 The network communication unit 9 is a device that transmits and receives data via the network 5.
操作表示部11は、画面部11a及びハードキー11bを備える。画面部11aは、タッチパネル式の画面であり、操作者による操作入力や操作状態の表示を行う。本実施例の画面部11aは、操作画面23(図1のユーザー端末装置7a参照)を表示して、ソフトキー24の選択による操作者(ユーザー又はオペレーター)の操作入力を受け付ける。また、画面部11aは、後述する撮像画像25(図1のユーザー端末装置7a参照)を表示可能とする。 The operation display unit 11 includes a screen unit 11a and hard keys 11b. The screen unit 11a is a touch panel screen, and displays an operation input by an operator and an operation state. The screen unit 11a of the present embodiment displays an operation screen 23 (see the user terminal device 7a in FIG. 1) and accepts an operation input from an operator (user or operator) by selecting the soft key 24. In addition, the screen unit 11a can display a captured image 25 described later (see the user terminal device 7a in FIG. 1).
ハードキー11bは、例えば画面部11aの周囲に配置されたボタン群等であり、押下によって操作者の操作入力を受け付ける。 The hard key 11b is, for example, a group of buttons arranged around the screen unit 11a, and accepts an operator's operation input when pressed.
撮像部13は、CCDカメラやCMOSカメラ等の撮像装置であり、操作者によって操作される操作表示部11を撮像して画像データを生成する。撮像部13の撮像範囲は、画面部11a及びハードキー11bの双方が含まれる範囲となっているが、適宜変更することが可能である。 The imaging unit 13 is an imaging device such as a CCD camera or a CMOS camera, and generates an image data by imaging the operation display unit 11 operated by an operator. The imaging range of the imaging unit 13 is a range including both the screen unit 11a and the hard key 11b, but can be changed as appropriate.
音声入力部15は、マイクを備え、音声入力によって音声データを生成する。 The voice input unit 15 includes a microphone and generates voice data by voice input.
音声出力部17は、スピーカーを備え、音声データに基づいて音声出力する。 The audio output unit 17 includes a speaker and outputs audio based on audio data.
記憶部19は、処理に必要なデータやプログラムを記憶するROM(Read Only Memory)、作業領域としてのRAM(Random Access Memory)、補助記憶装置としてのHDD(Hard Disk Drive)等を含む記憶装置である。 The storage unit 19 is a storage device including a ROM (Read Only Memory) that stores data and programs necessary for processing, a RAM (Random Access Memory) as a work area, an HDD (Hard Disk Drive) as an auxiliary storage device, and the like. is there.
制御部21は、CPU(Central Processing Unit)等の演算処理装置であり、プログラムを実行して端末装置7の各部を制御する。本実施例の制御部21は、記憶部19内のプログラムを実行することにより、リモート接続部27、操作開始監視部29、撮像制御部31、画像送信部33、表示制御部35として機能する。 The control unit 21 is an arithmetic processing device such as a CPU (Central Processing Unit), and controls each unit of the terminal device 7 by executing a program. The control unit 21 of the present embodiment functions as a remote connection unit 27, an operation start monitoring unit 29, an imaging control unit 31, an image transmission unit 33, and a display control unit 35 by executing a program in the storage unit 19.
リモート接続部27は、リモート接続機能を実現し、操作表示部11上でリモート接続要求を受け付けて、端末装置7と相手方端末装置とのリモート接続、つまりユーザー端末装置7aとオペレーター端末装置7bとのリモート接続を確立する。このリモート接続により、各端末装置7では、操作開始監視部29、撮像制御部31、画像送信部33、及び表示制御部35が機能可能となる。 The remote connection unit 27 realizes a remote connection function, accepts a remote connection request on the operation display unit 11, and performs remote connection between the terminal device 7 and the counterpart terminal device, that is, between the user terminal device 7a and the operator terminal device 7b. Establish a remote connection. By this remote connection, the operation start monitoring unit 29, the imaging control unit 31, the image transmission unit 33, and the display control unit 35 can function in each terminal device 7.
操作開始監視部29は、操作開始監視機能を実現し、操作表示部11での操作者による操作の開始を監視する。操作の開始を検出した場合は、操作開始監視部29が操作開始通知を相手方システム部である相手方端末装置に送信する。 The operation start monitoring unit 29 implements an operation start monitoring function, and monitors the start of an operation by the operator on the operation display unit 11. When the operation start is detected, the operation start monitoring unit 29 transmits an operation start notification to the counterpart terminal device which is the counterpart system unit.
操作の開始は、操作表示部11の画面部11a上へのタッチ操作やハードキー11bの押下等のように、操作表示部11での特定の操作入力によって判断することが可能である。 The start of the operation can be determined by a specific operation input on the operation display unit 11, such as a touch operation on the screen unit 11a of the operation display unit 11 or a depression of the hard key 11b.
後述するように撮像画像25を表示している場合は、撮像画像25を含むガイド画面37上に表示されたソフトキーである「操作」ボタン(以下、「操作ボタン37a」と称する)の選択により、操作開始監視部29が操作の開始を判断する。なお、操作ボタン37aは、撮像画像25の表示を終了し、操作表示部11での操作を開始することを入力するためのものである。 When the captured image 25 is displayed as will be described later, an “operation” button (hereinafter referred to as an “operation button 37 a”), which is a soft key displayed on the guide screen 37 including the captured image 25, is selected. The operation start monitoring unit 29 determines the start of the operation. The operation button 37a is used to input that the display of the captured image 25 is ended and the operation on the operation display unit 11 is started.
また、リモート接続の確立後の最初の操作の開始は、相手方端末装置で後述するガイドボタン24aが選択されたことの通知を受けて、操作開始監視部29が操作の開始を判断することも可能である。 In addition, the start of the first operation after the establishment of the remote connection can be notified by the operation start monitoring unit 29 upon receiving a notification that a guide button 24a (to be described later) has been selected on the counterpart terminal device. It is.
撮像制御部31は、撮像制御機能を実現し、撮像部13による撮像を制御することにより撮像部13と共に撮像機能を実現する。撮像制御部31は、操作表示部11での操作者による操作の開始に応じ、撮像部13に動画の撮像を開始させる。本実施例の撮像制御部31は、撮像部13での撮像と共に音声入力部15による音声入力を併せて開始する。 The imaging control unit 31 realizes an imaging control function, and realizes an imaging function together with the imaging unit 13 by controlling imaging by the imaging unit 13. The imaging control unit 31 causes the imaging unit 13 to start capturing a moving image in response to the start of an operation by the operator on the operation display unit 11. The imaging control unit 31 according to the present exemplary embodiment starts the voice input by the voice input unit 15 together with the imaging by the imaging unit 13.
また、撮像制御部31は、操作表示部11での操作者による操作が終了した場合に、撮像部13での撮像及び音声入力部15による音声入力を停止させる。これは、例えば、相手方端末装置から送信された操作開始通知に応じて行うことができる。 Further, the imaging control unit 31 stops the imaging in the imaging unit 13 and the voice input by the voice input unit 15 when the operation on the operation display unit 11 is finished. This can be performed, for example, according to the operation start notification transmitted from the counterpart terminal device.
画像送信部33は、画像送信機能を実現し、操作表示部11での操作の開始に応じて、撮像部13による操作表示部11の撮像画像25を相手方端末装置に送信する。撮像画像25の送信は、相手方端末装置に継続的に行われる。 The image transmission unit 33 realizes an image transmission function, and transmits the captured image 25 of the operation display unit 11 by the imaging unit 13 to the counterpart terminal device in response to the start of the operation on the operation display unit 11. Transmission of the captured image 25 is continuously performed by the counterpart terminal device.
撮像画像25の送信においては、画像送信部33が撮像画像25の画像データと共に音声データを送信される。ただし、音声データは省略することも可能である。 In transmitting the captured image 25, the image transmission unit 33 transmits audio data together with the image data of the captured image 25. However, the audio data can be omitted.
表示制御部35は、表示制御機能を実現し、相手方端末装置から送信された撮像画像25を受信して、図1のユーザー端末装置7aのように、操作表示部11の操作画面23上に受信した撮像画像25を表示する。また、表示制御部35は、撮像画像25と共に受信した音声を音声出力部17によって出力する。撮像画像25の表示及び音声出力は、相手方端末装置から送信される操作開始通知に応じて開始される。 The display control unit 35 realizes a display control function, receives the captured image 25 transmitted from the counterpart terminal device, and receives it on the operation screen 23 of the operation display unit 11 like the user terminal device 7a of FIG. The captured image 25 is displayed. In addition, the display control unit 35 outputs the sound received together with the captured image 25 by the sound output unit 17. Display of the captured image 25 and audio output are started in response to an operation start notification transmitted from the counterpart terminal device.
なお、図1の例では、ユーザー端末装置7aの操作表示部11の画面部11a全体に操作画面23を表示し、操作画面23上の一部に撮像画像25を重ねて表示している。また、撮像画像25は、図1の例においてガイド画面37内に配置されている。 In the example of FIG. 1, the operation screen 23 is displayed on the entire screen unit 11 a of the operation display unit 11 of the user terminal device 7 a, and the captured image 25 is displayed over a part of the operation screen 23. Further, the captured image 25 is arranged in the guide screen 37 in the example of FIG.
ガイド画面37は、操作画面23上でのソフトキー24の1つである「ガイド」ボタン(以下、「ガイドボタン24a」と称する)を選択することで、ポップアップ表示されるものとなっている。この場合、表示制御部35は、ガイドボタン24aが選択されたことの通知を相手方端末に送信してもよい。なお、ガイド画面37は、相手方端末装置からの操作開始通知や撮像画像25の受信に応じて自動的に表示することも可能である。 The guide screen 37 is displayed in a pop-up by selecting a “guide” button (hereinafter referred to as “guide button 24 a”), which is one of the soft keys 24 on the operation screen 23. In this case, the display control unit 35 may transmit a notification that the guide button 24a has been selected to the counterpart terminal. The guide screen 37 can be automatically displayed in response to an operation start notification from the counterpart terminal device or the reception of the captured image 25.
ガイド画面37は、操作画面23に代えて、画面部11aの全体に表示することも可能である。また、撮像画像25は、ガイド画面37内に表示するのではなく、操作画面23上に又は操作画面23に代えて直接表示してもよい。 The guide screen 37 can be displayed on the entire screen unit 11a instead of the operation screen 23. The captured image 25 may be displayed directly on the operation screen 23 or instead of the operation screen 23 instead of being displayed in the guide screen 37.
表示制御部35は、操作表示部11での操作者による操作の開始に応じて、表示中の撮像画像25を非表示とする。 The display control unit 35 hides the displayed captured image 25 in response to the start of the operation by the operator on the operation display unit 11.
[操作指示処理]
図3は、図1の操作指示システム1による操作指示処理の流れを示すフローチャートである。
[Operation instruction processing]
FIG. 3 is a flowchart showing a flow of operation instruction processing by the operation instruction system 1 of FIG.
操作指示処理の開始前には、操作方法が分からないユーザーが電話等によってオペレーターに問合せを行う。この問い合わせを通じ、オペレーターは、ユーザーにユーザー端末装置7aからオペレーター端末装置7bへのリモート接続を行わせ、或はオペレーター端末装置7bからユーザー端末装置7aへリモート接続を行う。 Before starting the operation instruction process, a user who does not know the operation method makes an inquiry to the operator by telephone or the like. Through this inquiry, the operator makes the user make a remote connection from the user terminal device 7a to the operator terminal device 7b, or makes a remote connection from the operator terminal device 7b to the user terminal device 7a.
こうしてユーザー端末装置7aとオペレーター端末装置7bとのリモート接続が確立されると、操作指示処理が開始される。 When the remote connection between the user terminal device 7a and the operator terminal device 7b is thus established, the operation instruction process is started.
開始された操作指示処理では、本実施例において、最初にオペレーターがオペレーター端末装置7bで手本となる操作を行い、その手本となる操作の動画を操作指示としてユーザー端末装置7aでユーザーに閲覧させる。 In the operation instruction processing that has been started, in this embodiment, the operator first performs a model operation on the operator terminal device 7b, and the user terminal device 7a views a video of the model operation as the operation instruction. Let
次に、ユーザーとオペレーターが入れ替わり、操作指示を閲覧したユーザーがユーザー端末装置7aで操作を行い、操作の動画をオペレーターがオペレーター端末装置7bで閲覧し確認する。 Next, the user and the operator are switched, and the user who has browsed the operation instruction operates on the user terminal device 7a, and the operator browses and confirms the operation video on the operator terminal device 7b.
その後は、必要に応じてユーザーとオペレーターとが交互に入れ替わることにより、オペレーターが手本を見せてユーザーの操作を確認することを可能とする。 After that, the user and the operator are alternately switched as necessary, so that the operator can show the model and confirm the user's operation.
ステップS1では、「オペレーター端末装置での操作が開始されたか?」の判断が実行される。すなわち、オペレーター端末装置7bでは、オペレーターが操作表示部11での操作を開始したか否かを操作開始監視部29が判断する。 In step S <b> 1, a determination is made of “has an operation on the operator terminal device started?”. That is, in the operator terminal device 7b, the operation start monitoring unit 29 determines whether or not the operator has started an operation on the operation display unit 11.
この判断は、例えば、オペレーター端末装置7bの操作表示部11での特定の操作入力やユーザー端末装置7aでガイドボタン24aが選択されたことの通知等に基づいて行うことができる。 This determination can be made based on, for example, a specific operation input on the operation display unit 11 of the operator terminal device 7b or a notification that the guide button 24a is selected on the user terminal device 7a.
オペレーター端末装置7bでの操作が開始された場合は、操作開始監視部29が操作開始通知をユーザー端末装置7aに送信してステップS2へ移行し(YES)、操作が開始されていない場合は、ステップS1の処理を繰り返す(NO)。 When the operation on the operator terminal device 7b is started, the operation start monitoring unit 29 transmits an operation start notification to the user terminal device 7a and proceeds to step S2 (YES), and when the operation is not started, The process of step S1 is repeated (NO).
ステップS2では、「オペレーター端末装置の操作表示部の撮像開始」が実行される。すなわち、オペレーター端末装置7bは、撮像制御部31が撮像部13に操作表示部11の動画撮像を開始させる。本実施例では、オペレーター端末装置7bの撮像制御部31が音声入力部15に音声入力(音声取得)を併せて開始させる。これにより、手本となるオペレーターによる操作の音声付き動画を撮像することができる。 In step S2, “start imaging of the operation display unit of the operator terminal device” is executed. That is, in the operator terminal device 7b, the imaging control unit 31 causes the imaging unit 13 to start moving image imaging of the operation display unit 11. In the present embodiment, the imaging control unit 31 of the operator terminal device 7b causes the voice input unit 15 to start voice input (voice acquisition). As a result, it is possible to capture a moving image with sound of an operation by an operator as a model.
次いで、ステップS3では、「ユーザー端末装置への撮像画像の送信」が実行される。すなわち、オペレーター端末装置7bは、ステップS2で開始された動画撮像及び音声入力に応じ、生成された画像データ及び音声データを画像送信部33がユーザー端末装置7aに継続的に送信する。 Next, in step S3, “transmission of captured image to user terminal device” is executed. That is, in the operator terminal device 7b, the image transmission unit 33 continuously transmits the generated image data and audio data to the user terminal device 7a in response to the moving image capturing and audio input started in step S2.
ステップS4では、「ユーザー端末装置での画像表示」が実行される。すなわち、ユーザー端末装置7aでは、表示制御部35がオペレーター端末装置7bから送信された操作開始通知、画像データ及び音声データを受信する。これに応じ、ユーザー端末装置7aは、表示制御部35が図1のように操作表示部11の操作画面23上のガイド画面37内に受信した撮像画像25を表示させると共に音声出力部17から音声を出力させる。 In step S4, “image display on user terminal device” is executed. That is, in the user terminal device 7a, the display control unit 35 receives an operation start notification, image data, and audio data transmitted from the operator terminal device 7b. In response to this, the user terminal device 7a displays the received captured image 25 in the guide screen 37 on the operation screen 23 of the operation display unit 11 as shown in FIG. Is output.
これにより、ユーザーは、手本となるオペレーターによる操作の音声付き動画をユーザー端末装置7aで閲覧し、オペレーターの操作指示を容易且つ確実に把握することができる。従って、ユーザーは、オペレーターの手本による操作指示に従って、ユーザー端末装置7aを操作することが可能となる。 Thereby, the user can browse the moving image with sound of the operation by the operator as a model on the user terminal device 7a, and can easily and reliably grasp the operation instruction of the operator. Therefore, the user can operate the user terminal device 7a in accordance with an operation instruction according to the operator's model.
なお、本実施例の撮像画像25の表示は、ガイド画面37内で行われるため、ユーザー端末装置7aでは、事前に操作画面23上でガイドボタン24aがユーザーに選択されることや操作開始通知の受信等に応じて、ガイド画面37を表示する必要がある。事前にガイドボタン24aが選択された場合は、その通知をオペレーター端末装置7bに送信しておけば、ステップS1でのオペレーター端末装置7bでの操作開始の判断に利用できる。 Since the captured image 25 is displayed in the guide screen 37 according to the present embodiment, the user terminal device 7a indicates that the user selects the guide button 24a on the operation screen 23 in advance or notifies the start of operation. It is necessary to display the guide screen 37 according to reception or the like. When the guide button 24a is selected in advance, if the notification is transmitted to the operator terminal device 7b, it can be used to determine the operation start on the operator terminal device 7b in step S1.
こうしてステップS4が完了した後は、ステップS5〜S8において、ユーザー(ユーザー端末装置7a)とオペレーター(オペレーター端末装置7b)とが入れ替わってステップS1〜S4と同様の処理を行うことになる。 After step S4 is completed in this way, in steps S5 to S8, the user (user terminal device 7a) and the operator (operator terminal device 7b) are switched, and the same processing as in steps S1 to S4 is performed.
ステップS5では、「ユーザー端末装置での操作が開始されたか?」の判断が実行される。すなわち、ユーザー端末装置7aでは、ユーザーが操作表示部11での操作を開始したか否かを操作開始監視部29が判断する。 In step S <b> 5, a determination is made as to “has an operation on the user terminal device started”? That is, in the user terminal device 7a, the operation start monitoring unit 29 determines whether or not the user has started an operation on the operation display unit 11.
この判断は、例えば、撮像画像25を含むガイド画面37上に表示された操作ボタン37aが選択されたか否かによって行うことができる。 This determination can be made, for example, based on whether or not the operation button 37a displayed on the guide screen 37 including the captured image 25 is selected.
ユーザー端末装置7aでの操作が開始された場合は、操作開始監視部29が操作開始通知をオペレーター端末装置7bに送信してステップS6へ移行し(YES)、操作が開始されていない場合は、ステップS5の処理を繰り返す(NO)。 When the operation on the user terminal device 7a is started, the operation start monitoring unit 29 transmits an operation start notification to the operator terminal device 7b and proceeds to step S6 (YES), and when the operation is not started, The process of step S5 is repeated (NO).
ステップS6では、「ユーザー端末装置の操作表示部の撮像開始」が実行される。ここでは、ユーザー端末装置7aの表示制御部35が、操作開始に応じて操作表示部11上の撮像画像25を含むガイド画面37を非表示とする。そして、ユーザー端末装置7aは、撮像制御部31が、撮像部13及び音声入力部15にそれぞれ動画撮像及び音声入力を開始させる。 In step S <b> 6, “start imaging of the operation display unit of the user terminal device” is executed. Here, the display control unit 35 of the user terminal device 7a hides the guide screen 37 including the captured image 25 on the operation display unit 11 in response to the start of the operation. In the user terminal device 7a, the imaging control unit 31 causes the imaging unit 13 and the audio input unit 15 to start moving image imaging and audio input, respectively.
なお、オペレーター端末装置7bでは、オペレーターによる操作が終了しているため、撮像部13及び音声入力部15による動画撮像及び音声入力を撮像制御部31が停止させる。これらの停止は、ユーザー端末装置7aからの操作開始通知に応じて行わせることができる。 Note that in the operator terminal device 7b, since the operation by the operator has been completed, the imaging control unit 31 stops moving image imaging and audio input by the imaging unit 13 and the audio input unit 15. These stops can be performed in response to an operation start notification from the user terminal device 7a.
次いで、ステップS7では、「オペレーター端末装置への撮像画像の送信」が実行される。すなわち、ユーザー端末装置7aは、動画撮像及び音声入力に応じて生成された撮像画像25の画像データ及び音声データを、画像送信部33がオペレーター端末装置7bに継続的に送信する。 Next, in step S7, “transmission of the captured image to the operator terminal device” is executed. That is, in the user terminal device 7a, the image transmission unit 33 continuously transmits the image data and sound data of the captured image 25 generated in response to moving image capturing and sound input to the operator terminal device 7b.
ステップS8では、「オペレーター端末装置での画像表示」が実行される。すなわち、オペレーター端末装置7bでは、操作開始通知、画像データ及び音声データの受信に応じて、表示制御部35が撮像画像25を操作表示部11のガイド画面37内に表示させると共に音声出力部17から音声を出力させる。 In step S8, “image display on the operator terminal device” is executed. That is, in the operator terminal device 7b, the display control unit 35 displays the captured image 25 in the guide screen 37 of the operation display unit 11 and from the audio output unit 17 in response to reception of the operation start notification, image data, and audio data. Output audio.
これにより、オペレーターは、手本を閲覧したユーザーによる操作の音声付き動画をオペレーター端末装置7bで閲覧し、ユーザーの操作内容を容易且つ確実に把握することができる。従って、オペレーターは、ユーザーの操作に誤りがないか否か等を確認することが可能となる。 Thereby, the operator can browse the moving image with sound of the operation by the user who has browsed the model on the operator terminal device 7b, and can easily and reliably grasp the operation content of the user. Therefore, the operator can confirm whether or not there is an error in the user's operation.
こうしてステップS8が完了することにより、本実施例の操作指示処理が終了する。 When step S8 is completed in this way, the operation instruction process of this embodiment is completed.
なお、再度オペレーターが手本を見せる場合は、ステップS5〜S8において、ユーザー(ユーザー端末装置7a)とオペレーター(オペレーター端末装置7b)とを単純に入れ替えて処理を行えばよい。 In addition, when an operator shows an example again, in step S5-S8, a user (user terminal device 7a) and an operator (operator terminal device 7b) may be simply replaced and processed.
また、本実施例では、最初にオペレーターが手本を見せ、その後にユーザーが手本に従って操作を行う場合について説明したが、最初にユーザーが操作を行い、その後にオペレーターが手本を見せてもよい。この場合は、ステップS1〜S8において、ユーザー(ユーザー端末装置7a)とオペレーター(オペレーター端末装置7b)とを単純に入れ替えて処理を行えばよい。 Also, in this embodiment, the explanation is given for the case where the operator first shows an example and then the user performs an operation according to the example. However, even if the user performs the operation first and then the operator shows the example after that. Good. In this case, in steps S1 to S8, the user (user terminal device 7a) and the operator (operator terminal device 7b) may be simply switched to perform the processing.
[実施例1の効果]
以上説明したように、本実施例の操作指示システム1は、ユーザーが操作するユーザー端末装置7a(ユーザー側システム部3a)と、ユーザー端末装置7aにネットワーク5により接続されてオペレーターが操作するオペレーター端末装置7b(オペレーター側システム部3b)とを備える。
[Effect of Example 1]
As described above, the operation instruction system 1 according to the present embodiment includes the user terminal device 7a (user side system unit 3a) operated by the user and the operator terminal connected to the user terminal device 7a by the network 5 and operated by the operator. And a device 7b (operator side system unit 3b).
ユーザー端末装置7a及びオペレーター端末装置7bは、相互に相手方端末装置(相手方システム部)となる同一構成であり、自端末装置に対する操作を受け付けると共に操作画面23を表示する操作表示部11と、操作表示部11を撮像する撮像部13と、操作表示部11での操作の開始に応じて撮像部13による操作表示部11の撮像画像25を相手方端末装置に送信する画像送信部33と、相手方端末装置から送信された撮像画像25を受信して操作表示部11に受信した撮像画像25を表示する表示制御部35とをそれぞれ備える。 The user terminal device 7a and the operator terminal device 7b have the same configuration as a partner terminal device (partner system unit), an operation display unit 11 that receives an operation on the terminal device and displays the operation screen 23, and an operation display An image capturing unit 13 that captures an image of the unit 11, an image transmission unit 33 that transmits a captured image 25 of the operation display unit 11 by the image capturing unit 13 to the counterpart terminal device in response to the start of an operation on the operation display unit 11, and a counterpart terminal device A display control unit 35 that receives the captured image 25 transmitted from the control unit 11 and displays the received captured image 25 on the operation display unit 11.
従って、本実施例では、例えばオペレーターがオペレーター端末装置7bの操作表示部11で操作を開始したときに、その操作表示部11でのオペレーターによる実際の操作をユーザー端末装置7aの操作表示部11で表示してユーザーに閲覧させることができる。 Therefore, in this embodiment, for example, when an operator starts an operation on the operation display unit 11 of the operator terminal device 7b, an actual operation by the operator on the operation display unit 11 is performed on the operation display unit 11 of the user terminal device 7a. Can be displayed and viewed by the user.
また、ユーザーがユーザー端末装置7aの操作表示部11で操作を開始した時には、ユーザー端末装置7aの操作表示部11でのユーザーによる実際の操作をオペレーター端末装置7bの操作表示部11で表示してオペレーターに閲覧させることができる。 When the user starts an operation on the operation display unit 11 of the user terminal device 7a, an actual operation by the user on the operation display unit 11 of the user terminal device 7a is displayed on the operation display unit 11 of the operator terminal device 7b. Can be viewed by the operator.
このように、本実施例では、ユーザー端末装置7a及びオペレーター端末装置7bが、自端末装置での操作の開始をトリガーに、自端末装置における実際の操作を相手方端末装置で表示して確認させることができる。 As described above, in this embodiment, the user terminal device 7a and the operator terminal device 7b are caused to display and confirm the actual operation in the own terminal device on the counterpart terminal device, triggered by the start of the operation in the own terminal device. Can do.
従って、本実施例では、追加的な表示装置等を用いなくても、簡易且つ確実にオペレーターによるユーザーへの操作指示を行うことができ、且つユーザーによる操作内容をオペレーターが確認することができる。 Therefore, in this embodiment, it is possible to simply and reliably give an operation instruction to the user without using an additional display device or the like, and the operator can confirm the operation content by the user.
また、本実施例では、撮像画像25が操作表示部11の操作画面23上又は操作画面23に代えて表示されるから、ユーザーは、オペレーターによる操作指示としての撮像画像25を閲覧した後に、目線を変えることなく直ちに操作指示に従った操作を実行することができる。このため、ユーザーの操作ミスを低減することができる。 In this embodiment, since the captured image 25 is displayed on the operation screen 23 of the operation display unit 11 or instead of the operation screen 23, the user looks at the captured image 25 as an operation instruction by the operator, The operation according to the operation instruction can be executed immediately without changing the setting. For this reason, a user's operation mistake can be reduced.
また、撮像画像25には、操作表示部11の画面部11a及びハードキー11bの双方が含まれるため、より確実にオペレーターによるユーザーへの操作指示を行うことができ、且つユーザーによる操作内容をオペレーターが確認することができる。 In addition, since the captured image 25 includes both the screen unit 11a and the hard key 11b of the operation display unit 11, the operator can instruct the operation to the user more reliably, and the details of the operation by the user can be displayed. Can be confirmed.
本実施例の操作指示システム1は、ユーザー端末装置7a(ユーザー側システム部3a)及びオペレーター端末装置7b(オペレーター側システム部3b)が、操作表示部11での操作の開始に応じて、撮像部13に撮像を開始させる撮像制御部31を備え、画像送信部33が、開始された撮像による撮像画像25を相手方端末装置(相手方システム部)に送信する。従って、本実施例では、制御を容易且つ確実に行うことができる。 The operation instruction system 1 according to the present embodiment includes an imaging unit in which the user terminal device 7a (user-side system unit 3a) and the operator terminal device 7b (operator-side system unit 3b) are operated in response to the start of an operation on the operation display unit 11. 13 includes an imaging control unit 31 that starts imaging, and an image transmission unit 33 transmits a captured image 25 by the started imaging to a counterpart terminal device (a counterpart system unit). Therefore, in this embodiment, control can be performed easily and reliably.
本実施例の操作指示プログラムは、ユーザー端末装置7a(ユーザー側システム部3a)及びオペレーター端末装置7b(オペレーター側システム部3b)のコンピューターに、ユーザー端末装置7a及びオペレーター端末装置7bの撮像機能、画像送信機能、表示制御機能等を実現させることができる。 The operation instruction program according to the present embodiment is applied to the computer of the user terminal device 7a (user side system unit 3a) and the operator terminal device 7b (operator side system unit 3b). A transmission function, a display control function, and the like can be realized.
本実施例の操作指示方法は、ユーザー端末装置7a(ユーザー側システム部3a)及びオペレーター端末装置7b(オペレーター側システム部3b)のそれぞれで、撮像部13を撮像手段として用い、画像送信部33を画像送信手段として用い、表示制御部35を表示制御手段とし用いた操作指示システム1の動作方法である。 The operation instruction method according to the present embodiment uses the imaging unit 13 as an imaging unit and the image transmission unit 33 in each of the user terminal device 7a (user-side system unit 3a) and the operator terminal device 7b (operator-side system unit 3b). This is an operation method of the operation instruction system 1 that is used as an image transmission unit and the display control unit 35 is used as a display control unit.
従って、操作指示方法は、操作指示システム1と同様の作用効果を奏することができる。 Therefore, the operation instruction method can achieve the same effects as the operation instruction system 1.
なお、上記実施例の操作指示システム1では、ユーザー端末装置7a自体が撮像部13や操作表示部11等の必要な機器を備えてユーザー側システム部3aを構成し、且つオペレーター端末装置7b自体が必要な機器を備えてオペレーター側システム部3bを構成している。 In the operation instruction system 1 of the above-described embodiment, the user terminal device 7a itself includes necessary devices such as the imaging unit 13 and the operation display unit 11 to configure the user side system unit 3a, and the operator terminal device 7b itself The operator side system unit 3b is configured with necessary equipment.
ただし、ユーザー側システム部3a及びオペレーター側システム部3bは、撮像部13や操作表示部11等の必要な機器を、ユーザー端末装置7a及びオペレーター端末装置7bに対して別構成とすると共に周辺機器として接続することで構成してもよい。 However, the user-side system unit 3a and the operator-side system unit 3b are different from the user terminal device 7a and the operator terminal device 7b in the necessary devices such as the imaging unit 13 and the operation display unit 11 and are used as peripheral devices. You may comprise by connecting.
1 操作指示システム
3a ユーザー側システム部
3b オペレーター側システム部
5 ネットワーク
7 端末装置
7a ユーザー端末装置
7b オペレーター端末装置
11 操作表示部
13 撮像部
23 操作画面
25 撮像画像
27 リモート接続部
29 操作開始監視部
31 撮像制御部
33 画像送信部
35 表示制御部
DESCRIPTION OF SYMBOLS 1 Operation instruction | indication system 3a User side system part 3b Operator side system part 5 Network 7 Terminal device 7a User terminal device 7b Operator terminal device 11 Operation display part 13 Imaging part 23 Operation screen 25 Captured image 27 Remote connection part 29 Operation start monitoring part 31 Imaging control unit 33 Image transmission unit 35 Display control unit
Claims (9)
オペレーターが操作する第2の端末装置を有し、前記ユーザー側システム部にネットワ
ークにより接続されたオペレーター側システム部とを備え、
前記ユーザー側システム部及びオペレーター側システム部は、相互に相手方システムと
して、接続を確立し、
前記オペレーター側システム部は、
前記第1の端末装置に対する第1の操作を受け付けると共に第1の操作画面を表示する
第1の操作表示部と、
前記第1の操作表示部での前記第1の操作の開始に応じて前記第1の操作表示部を撮像
する第1の撮像部と、
前記第1の操作表示部での前記第1の操作の開始に応じて前記第1の撮像部による前記
第1の操作表示部の第1の撮像画像を前記ユーザー側システム部に送信する第1の画像送
信部と、
前記ユーザー側システム部から送信された第2の撮像画像を受信して前記第1の操作表
示部に前記受信した第2の撮像画像を表示し、前記第1の操作表示部での前記第1の操作
の開始に応じて前記表示中の第2の撮像画像を非表示とする第2の表示制御部と、
を備え、
前記ユーザー側システム部は、
前記第2の端末装置に対する第2の操作を受け付けると共に第2の操作画面を表示する
第2の操作表示部と、
前記オペレーター側システム部から送信された第1の撮像画像を受信して前記第2の操
作表示部に前記受信した第1の撮像画像を表示し、前記第2の操作表示部での前記第2の
操作の開始に応じて前記表示中の第1の撮像画像を非表示とする第2の表示制御部と、
前記第2の操作表示部での前記第2の操作の開始に応じて前記第2の操作表示部を撮像
する第2の撮像部と、
前記第2の操作表示部での前記第2の操作の開始に応じて前記第2の撮像部による前記第2の操作表示部の第2の撮像画像を前記オペレーター側システム部に送信する第2の画像送信部と、
を備えたことを特徴とする操作指示システム。 A user side system unit having a first terminal device operated by a user;
An operator-side system unit connected to the user-side system unit via a network, having a second terminal device operated by an operator;
The user side system unit and the operator side system unit establish a connection with each other as a counterpart system,
The operator side system unit is
A first operation display unit that receives a first operation on the first terminal device and displays a first operation screen;
A first imaging unit that images the first operation display unit in response to the start of the first operation on the first operation display unit;
A first image of the first operation display unit by the first imaging unit is transmitted to the user-side system unit in response to the start of the first operation on the first operation display unit. An image transmission unit of
The second captured image transmitted from the user side system unit is received, the received second captured image is displayed on the first operation display unit, and the first operation display unit performs the first operation. A second display control unit that hides the second captured image being displayed in response to the start of the operation;
With
The user side system unit is:
A second operation display unit that accepts a second operation on the second terminal device and displays a second operation screen;
The first captured image transmitted from the operator side system unit is received, the received first captured image is displayed on the second operation display unit, and the second operation display unit performs the second operation. A second display control unit that hides the first captured image being displayed in response to the start of the operation;
A second imaging unit that images the second operation display unit in response to the start of the second operation on the second operation display unit;
Second transmitting a second captured image of the second operation display unit according to the second imaging unit in accordance with the start of the second operation in the second operation display section in the operator-side system part An image transmission unit of
An operation instruction system comprising:
前記第1の撮像画像は、前記第1の操作画面上に又は第1の操作画面に代えて表示され、
前記第2の撮像画像は、前記第2の操作画面上に又は第2の操作画面に代えて表示される、
ことを特徴とする操作表示システム。 The operation instruction system according to claim 1,
The first captured image is displayed on the first operation screen or instead of the first operation screen,
The second captured image is displayed on the second operation screen or instead of the second operation screen.
An operation display system characterized by that.
前記ユーザー側システム部及びオペレーター側システム部は、前記第1の操作表示部で
の前記操作の開始に応じて前記第1の撮像部に前記撮像を開始させる第1の撮像制御部を備え、
前記第1の画像送信部は、前記開始された撮像による第1の撮像画像を前記ユーザー側システム部及びオペレーター側システム部の相手方に送信し、
前記ユーザー側システム部及びオペレーター側システム部は、前記第2の操作表示部で
の前記操作の開始に応じて前記第2の撮像部に前記撮像を開始させる第2の撮像制御部を
備え、
前記第2の画像送信部は、前記開始された撮像による第2の撮像画像を前記ユーザー側
システム部及びオペレーター側システム部の相手方に送信する、
ことを特徴とする操作指示システム。 The operation display system according to claim 1 or 2,
The user-side system unit and the operator-side system unit include a first imaging control unit that causes the first imaging unit to start the imaging in response to the start of the operation on the first operation display unit,
The first image transmission unit transmits the first captured image by the started imaging to the other side of the user side system unit and the operator side system unit,
The user-side system unit and the operator-side system unit include a second imaging control unit that causes the second imaging unit to start the imaging in response to the start of the operation on the second operation display unit,
The second image transmission unit transmits a second captured image by the started imaging to the other side of the user side system unit and the operator side system unit,
An operation instruction system characterized by that.
前記第1の画像送信部は、前記第1の撮像画像を前記オペレーター側システム部に継続
的に送信し、
前記第2の画像送信部は、前記第2の撮像画像を前記ユーザー側システム部に継続的に
送信する、
ことを特徴とする操作指示システム。 The operation display system according to any one of claims 1 to 3,
The first image transmission unit continuously transmits the first captured image to the operator side system unit,
The second image transmission unit continuously transmits the second captured image to the user-side system unit;
An operation instruction system characterized by that.
前記オペレーター側システム部は、前記第1の操作の開始に応じて、第1の操作開始通
知を前記ユーザー側システム部に送信する第1の操作開始監視部を備え、
前記ユーザー側システム部は、前記第2の操作の開始に応じて、第2の操作開始通知を
前記オペレーター側システムに送信する第2の操作開始監視部を備え、
前記第1の操作表示部は、前記第2の操作開始通知に応じて、前記受信した第2の撮像
画像の表示を開始し、
前記第1の撮像部は、前記第2の操作開始通知に応じて、前記第1の操作表示部の撮像
を停止し、
前記第2の操作表示部は、前記第1の操作開始通知に応じて、前記受信した第1の撮像
画像の表示を開始し、
前記第2の撮像部は、前記第1の操作開始通知に応じて、前記第2の操作表示部の撮像
を停止する、
ことを特徴とする操作指示システム。 The operation display system according to any one of claims 1 to 4,
The operator side system unit includes a first operation start monitoring unit that transmits a first operation start notification to the user side system unit in response to the start of the first operation.
The user side system unit includes a second operation start monitoring unit that transmits a second operation start notification to the operator side system in response to the start of the second operation,
The first operation display unit starts displaying the received second captured image in response to the second operation start notification,
The first imaging unit stops imaging of the first operation display unit in response to the second operation start notification,
The second operation display unit starts displaying the received first captured image in response to the first operation start notification,
The second imaging unit stops imaging of the second operation display unit in response to the first operation start notification.
An operation instruction system characterized by that.
オペレーターが操作する第2の端末装置を有し、前記ユーザー側システム部にネットワ
ークにより接続されたオペレーター側システム部とを備えた操作支持システムの操作支持
プログラムであって、
前記ユーザー側システム部及びオペレーター側システム部は、相互に相手方システムと
して、接続を確立し、
前記オペレーター側システム部は、
前記第1の端末装置に対する第1の操作を受け付けると共に第1の操作画面を表示する
第1の操作表示部を備え、
前記オペレーター側システム部のコンピューターに、
前記第1の操作表示部での前記第1の操作の開始に応じて前記第1の操作表示部を撮像
する第1の撮像機能と、
前記第1の操作表示部での前記第1の操作の開始に応じて前記第1の撮像機能による前
記第1の操作表示部の第1の撮像画像を前記ユーザー側システム部に送信する第1の画像
送信部と、
前記ユーザー側システム部から送信された第2の撮像画像を受信して前記第1の操作表
示部に前記受信した第2の撮像画像を表示し、前記第1の操作表示部での前記第1の操作
の開始に応じて前記表示中の第2の撮像画像を非表示とする第2の表示制御機能と、
を実現させ、
前記ユーザー側システム部は、
前記第2の端末装置に対する第2の操作を受け付けると共に第2の操作画面を表示する
第2の操作表示部を備え、
前記ユーザー側システム部のコンピューターに、
前記オペレーター側システム部から送信された第1の撮像画像を受信して前記第2の操
作表示部に前記受信した第1の撮像画像を表示し、前記第2の操作表示部での前記第2の
操作の開始に応じて前記表示中の第1の撮像画像を非表示とする第2の表示制御機能と、
前記第2の操作表示部での前記第2の操作の開始に応じて前記第2の操作表示部を撮像
する第2の撮像機能と、
前記第2の操作表示部での前記第2の操作の開始に応じて前記第2の撮像機能による前記第2の操作表示部の第2の撮像画像を前記オペレーター側システム部に送信する第2の画像送信機能と、
をそれぞれ実現させる、
ことを特徴とする操作指示プログラム。 A user side system unit having a first terminal device operated by a user;
An operation support program for an operation support system having a second terminal device operated by an operator and comprising an operator side system unit connected to the user side system unit via a network,
The user side system unit and the operator side system unit establish a connection with each other as a counterpart system,
The operator side system unit is
A first operation display unit that receives a first operation on the first terminal device and displays a first operation screen;
In the computer of the operator side system unit,
A first imaging function for imaging the first operation display unit in response to the start of the first operation on the first operation display unit;
A first image transmitted from the first operation display unit by the first imaging function to the user-side system unit in response to the start of the first operation on the first operation display unit. An image transmission unit of
The second captured image transmitted from the user side system unit is received, the received second captured image is displayed on the first operation display unit, and the first operation display unit performs the first operation. A second display control function for hiding the second captured image being displayed in response to the start of the operation;
Realized,
The user side system unit is:
A second operation display unit that accepts a second operation on the second terminal device and displays a second operation screen;
In the computer of the user side system unit,
The first captured image transmitted from the operator side system unit is received, the received first captured image is displayed on the second operation display unit, and the second operation display unit performs the second operation. A second display control function for hiding the first captured image being displayed in response to the start of the operation;
A second imaging function for imaging the second operation display unit in response to the start of the second operation on the second operation display unit;
A second transmission image of the second operation display unit by the second imaging function is transmitted to the operator-side system unit in response to the start of the second operation on the second operation display unit. Image transmission function,
Realizing each
An operation instruction program characterized by that.
前記オペレーター側システム部は、前記第1の操作の開始に応じて、第1の操作開始通
知を前記ユーザー側システム部に送信する第1の操作開始監視部を備え、
前記ユーザー側システム部は、前記第2の操作の開始に応じて、第2の操作開始通知を
前記オペレーター側システムに送信する第2の操作開始監視部を備え、
前記第1の操作表示部は、前記第2の操作開始通知に応じて、前記受信した第2の撮像
画像の表示を開始し、
前記第1の撮像機能は、前記第2の操作開始通知に応じて、前記第1の操作表示部の撮
像を停止し、
前記第2の操作表示部は、前記第1の操作開始通知に応じて、前記受信した第1の撮像
画像の表示を開始し、
前記第2の撮像機能は、前記第1の操作開始通知に応じて、前記第2の操作表示部の撮
像を停止する、
ことを特徴とする操作指示プログラム。 An operation instruction program according to claim 6,
The operator side system unit includes a first operation start monitoring unit that transmits a first operation start notification to the user side system unit in response to the start of the first operation.
The user side system unit includes a second operation start monitoring unit that transmits a second operation start notification to the operator side system in response to the start of the second operation,
The first operation display unit starts displaying the received second captured image in response to the second operation start notification,
The first imaging function stops imaging of the first operation display unit in response to the second operation start notification,
The second operation display unit starts displaying the received first captured image in response to the first operation start notification,
The second imaging function stops imaging of the second operation display unit in response to the first operation start notification.
An operation instruction program characterized by that.
オペレーターが操作する第2の端末装置を有し、前記ユーザー側システム部にネットワ
ークにより接続されたオペレーター側システム部とを備え、
前記ユーザー側システム部及びオペレーター側システム部は、相互に相手方システムと
して、接続を確立し、
前記オペレーター側システム部は、
前記第1の端末装置に対する第1の操作を受け付けると共に第1の操作画面を表示する
第1の操作表示部を備え、
第1の撮像部が、前記第1の操作表示部での前記第1の操作の開始に応じて前記第1の
操作表示部を撮像し、
第1の画像送信部が、前記第1の操作表示部での前記第1の操作の開始に応じて前記第
1の撮像部による前記第1の操作表示部の第1の撮像画像を前記ユーザー側システム部に送信し、
第2の表示制御部が、前記ユーザー側システム部から送信された第2の撮像画像を受信
して前記第1の操作表示部に前記受信した第2の撮像画像を表示し、前記第1の操作表示
部での前記第1の操作の開始に応じて前記表示中の第2の撮像画像を非表示とし、
前記ユーザー側システム部は、
前記第2の端末装置に対する第2の操作を受け付けると共に第2の操作画面を表示する
第2の操作表示部を備え、
第2の表示制御部が、前記オペレーター側システム部から送信された第1の撮像画像を
受信して前記第2の操作表示部に前記受信した第1の撮像画像を表示し、前記第2の操作
表示部での前記第2の操作の開始に応じて前記表示中の第1の撮像画像を非表示とし、
第2の撮像部が、前記第2の操作表示部での前記第2の操作の開始に応じて前記第2の操作表示部を撮像し、
第2の画像送信部が、前記第2の操作表示部での前記第2の操作の開始に応じて前記第2の撮像部による前記第2の操作表示部の第2の撮像画像を前記オペレーター側システム部に送信する、
ことを特徴とする操作指示方法。 A user side system unit having a first terminal device operated by a user;
An operator-side system unit connected to the user-side system unit via a network, having a second terminal device operated by an operator;
The user side system unit and the operator side system unit establish a connection with each other as a counterpart system,
The operator side system unit is
A first operation display unit that receives a first operation on the first terminal device and displays a first operation screen;
A first imaging unit that images the first operation display unit in response to the start of the first operation on the first operation display unit;
The first image transmission unit responds to the start of the first operation on the first operation display unit .
Transmitting a first captured image of the first operation display unit by one imaging unit to the user-side system unit;
A second display control unit that receives the second captured image transmitted from the user-side system unit, displays the received second captured image on the first operation display unit; and In response to the start of the first operation on the operation display unit, the second captured image being displayed is hidden,
The user side system unit is:
A second operation display unit that accepts a second operation on the second terminal device and displays a second operation screen;
The second display control unit receives the first captured image transmitted from the operator side system unit, displays the received first captured image on the second operation display unit, and In response to the start of the second operation on the operation display unit, the first captured image being displayed is hidden,
A second imaging unit that images the second operation display unit in response to the start of the second operation on the second operation display unit;
The second image transmission unit outputs the second captured image of the second operation display unit by the second imaging unit in response to the start of the second operation on the second operation display unit. To the side system part,
An operation instruction method characterized by the above.
前記オペレーター側システム部は、前記第1の操作の開始に応じて、第1の操作開始通
知を前記ユーザー側システム部に送信する第1の操作開始監視部を備え、
前記ユーザー側システム部は、前記第2の操作の開始に応じて、第2の操作開始通知を
前記オペレーター側システムに送信する第2の操作開始監視部を備え、
前記第1の操作表示部は、前記第2の操作開始通知に応じて、前記受信した第2の撮像
画像の表示を開始し、
前記第1の撮像部は、前記第2の操作開始通知に応じて、前記第1の操作表示部の撮像
を停止し、
前記第2の操作表示部は、前記第1の操作開始通知に応じて、前記受信した第1の撮像
画像の表示を開始し、
前記第2の撮像部は、前記第1の操作開始通知に応じて、前記第2の操作表示部の撮像
を停止する、
ことを特徴とする操作指示方法。 An operation instruction method according to claim 8, wherein
The operator side system unit includes a first operation start monitoring unit that transmits a first operation start notification to the user side system unit in response to the start of the first operation.
The user side system unit includes a second operation start monitoring unit that transmits a second operation start notification to the operator side system in response to the start of the second operation,
The first operation display unit starts displaying the received second captured image in response to the second operation start notification,
The first imaging unit stops imaging of the first operation display unit in response to the second operation start notification,
The second operation display unit starts displaying the received first captured image in response to the first operation start notification,
The second imaging unit stops imaging of the second operation display unit in response to the first operation start notification.
An operation instruction method characterized by the above.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015091715A JP6413911B2 (en) | 2015-04-28 | 2015-04-28 | Operation instruction system, operation instruction program, and operation instruction method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015091715A JP6413911B2 (en) | 2015-04-28 | 2015-04-28 | Operation instruction system, operation instruction program, and operation instruction method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016208457A JP2016208457A (en) | 2016-12-08 |
JP6413911B2 true JP6413911B2 (en) | 2018-10-31 |
Family
ID=57490775
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015091715A Expired - Fee Related JP6413911B2 (en) | 2015-04-28 | 2015-04-28 | Operation instruction system, operation instruction program, and operation instruction method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6413911B2 (en) |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6288988B2 (en) * | 2013-08-21 | 2018-03-07 | キヤノン株式会社 | Remote support device, electronic device, remote support method, and computer program |
-
2015
- 2015-04-28 JP JP2015091715A patent/JP6413911B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2016208457A (en) | 2016-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5586925B2 (en) | Imaging apparatus, control method thereof, and program | |
JP6414223B2 (en) | Operation system, communication terminal, communication system, operation method, and program | |
KR20130008824A (en) | Mobile device, image forming apparatus, notification server and control method thereof | |
JP2013153346A (en) | Remote control system | |
EP2475169B1 (en) | Network capturing apparatus, displaying method, computer-readable recording medium, and network system | |
JP6451194B2 (en) | Terminal device, remote operation system, control method, and control program | |
JP7204569B2 (en) | IMAGING DEVICE, SYSTEM, CONTROL METHOD OF IMAGING DEVICE, AND PROGRAM | |
JP6405809B2 (en) | Electronic conference system, display control method and program in electronic conference system | |
JP2008288962A (en) | Television receiver | |
JP6413911B2 (en) | Operation instruction system, operation instruction program, and operation instruction method | |
JP2010056966A (en) | Server for transmitting image content, image display device, method of transmitting image content, and method of displaying image | |
JP4628305B2 (en) | Display device selection method, display device selection system, and display device selection program | |
KR101642997B1 (en) | Method for event sharing in image display system | |
JP2006332772A (en) | Control apparatus, method and program | |
JP2018136828A (en) | Terminal device, program, and data display method | |
JP6471434B2 (en) | Electronic conference system | |
JP2022077483A (en) | Program, method, and information processing device | |
US20120300126A1 (en) | Electronic apparatus and tv phone method | |
JP2019036088A (en) | Information processing device and control method thereof, and program | |
JP4324134B2 (en) | Communication system and communication terminal device | |
JP5611123B2 (en) | VIDEO / AUDIO OUTPUT DEVICE AND VIDEO / AUDIO OUTPUT METHOD | |
KR101702628B1 (en) | Apparatus and method for setting network equipment | |
JP6439325B2 (en) | Usage management system, fee provision method, and program | |
JP6405793B2 (en) | Information processing terminal, display method, and program | |
JP2022077402A (en) | Program, method, and information processing device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170322 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171116 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171205 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180202 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180626 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180820 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180904 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180917 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6413911 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |