JP6992303B2 - 操作装置、被操作装置および操作システム - Google Patents

Description

本発明は、操作装置、被操作装置、操作システムに関する。

操作装置から被操作装置を操作し、操作を指示する情報である操作情報を操作装置に伝える操作システムが存在する。これは、例えば、操作装置の表示部に被操作装置の表示部の表示内容を表示する。そして操作装置からリモートで被操作装置を操作するとともに操作情報を操作装置に伝え、操作の内容を被操作装置側の表示部に表示させるものである。

特許文献１には、タッチパネルは、操作者によるタッチ操作を入力する。視線センサは、操作者の視線を検出する。設定部は、視線センサで検出された視線の先にあるタッチパネル上の領域を設定する。生成部は、設定部で設定された領域に、タッチパネルで検出された接触点が含まれる場合、検出された接触点に係るタッチ操作に対応するイベント情報を生成することが開示されている。
また特許文献２には、ユーザの視線が、画像処理装置のタッチパネル上に存在するか否かを判定し、存在すると判定した場合、ユーザが画像処理装置に対してログインしているユーザであるか否かを判定し、ログインしているユーザであれば、ユーザが押下しているボタンを押下可能とする画像処理装置が開示されている。
さらに特許文献３には、操作部を操作する操作者の視線を検出する視線検出部を有し、操作者から操作を受けた操作釦が視線要に設定された操作釦（たとえば、スタート釦）の場合は、操作釦に対する操作を受けたときに操作釦に対して操作者の視線がある場合にのみ操作釦に対する操作を有効とし、操作者から操作を受けた操作釦が視線不要に設定された操作釦（たとえば、テンキー）の場合は、操作釦に対する操作を受けたときに操作釦に対して操作者の視線があるか否かに係らず操作釦に対する操作を有効にする操作装置が開示されている。

特開２０１２－２０３６７１号公報 特開２０１６－３１５５６号公報 特開２０１５－２８７３３号公報

しかしながら操作装置から被操作装置へ操作情報を伝える際に、被操作装置側のユーザが、被操作装置の表示部を見ていないと、操作の内容がこのユーザに対し伝わらないことがある。
本発明は、被操作装置側のユーザが画面を見ていないときに予め定められた操作を行なうことで、操作装置側から操作をやり直しユーザに再度伝える必要が生じにくい操作装置等を提供することを目的とする。

請求項１に記載の発明は、ユーザ側の装置である被操作装置に備えられ当該被操作装置を操作するための情報を表示する第１の表示部の表示内容を表示する第２の表示部を制御する表示制御部と、前記被操作装置を操作するとともに操作の内容を前記第１の表示部に表示させる操作部と、前記第１の表示部をユーザが見ているか否かを表す視認情報を取得する視認情報取得部と、前記第１の表示部をユーザが見ていないときに、ユーザに金銭的な損失を与える操作および／または前記被操作装置の設定の変更を行なう操作に対し操作を停止する処理部と、を備えることを特徴とする操作装置である。
請求項２に記載の発明は、前記ユーザに金銭的な損失を与える操作は、ユーザに課金が生じる操作であることを特徴とする請求項１に記載の操作装置である。
請求項３に記載の発明は、自装置に備えられ、自装置を操作するための情報を表示する第１の表示部と、外部装置である操作装置から自装置への操作を受け付ける操作受付部と、前記第１の表示部をユーザが見ているか否かを検知する検知部と、前記第１の表示部をユーザが見ていないときに、ユーザに金銭的な損失を与える操作および／または自装置の設定の変更を行なう操作に対し操作を停止する処理を行なう処理部と、を備える被操作装置である。
請求項４に記載の発明は、自装置を操作するための情報を表示する第１の表示部と、当該第１の表示部をユーザが見ているか否かを検知する検知部と、を備える被操作装置と、前記第１の表示部の表示内容を表示する第２の表示部を制御する表示制御部と、前記被操作装置を操作するとともに操作の内容を当該第１の表示部に表示させる操作部と、を備える操作装置と、を備え、前記被操作装置および／または前記操作装置は、前記第１の表示部をユーザが見ていないときに、ユーザに金銭的な損失を与える操作および／または前記被操作装置の設定の変更を行なう操作に対し操作を停止する処理を行なう処理部をさらに備える操作システムである。

請求項１の発明によれば、被操作装置側のユーザが画面を見ていないときに金銭的な損失を与えることや被操作装置の設定の変更を行うことに起因してユーザの不利益が生じることを抑制可能な操作装置を提供できる。
請求項２の発明によれば、ユーザが画面を見ていないときに金銭的な損失を与えることに起因してユーザの不利益が生じることを抑制できる。
請求項３の発明によれば、被操作装置側のユーザが画面を見ていないときに金銭的な損失を与えることや被操作装置の設定の変更を行うことに起因してユーザの不利益が生じることを抑制可能な被操作装置を提供できる。
請求項４の発明によれば、被操作装置側のユーザが画面を見ていないときに金銭的な損失を与えることや被操作装置の設定の変更を行うことに起因してユーザの不利益が生じることを抑制可能な操作システムが提供できる。

本実施の形態における操作システムの構成例を示す図である。 画像形成装置のハードウェア構成例を示した図である。 （ａ）は、画像形成装置の操作パネルで表示される画面の一例を示している。（ｂ）は、管理サーバからリモートサポートの受付番号が送られ、表示した場合を示している。 （ａ）～（ｄ）は、操作システムの概略動作について示した図である。 第１の実施形態における画像形成装置および制御機構の機能構成例を表すブロック図である。 端末装置の表示機構に警告通知を行なった例を示した図である。 第２の実施形態における画像形成装置および制御機構の機能構成例を表すブロック図である。 第１の実施形態および第２の実施形態における制御機構および画像形成装置の各機能構成部の動作について説明したフローチャートである。

以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。

＜操作システム全体の説明＞
図１は、本実施の形態における操作システム１の構成例を示す図である。
図示するように本実施の形態の操作システム１は、画像形成装置１０と、端末装置２０と、管理サーバ３０とが、ネットワーク７０およびネットワーク９０に接続されることにより構成されている。
なお図１では、１つの画像形成装置１０しか示していないが、複数の画像形成装置１０を設けてもよい。また図では、１つの端末装置２０しか示していないが、複数の端末装置２０を設けてもよい。

画像形成装置１０は、被操作装置の一例である。画像形成装置１０は、紙等の記録媒体に画像を形成し、印刷媒体として出力する装置である。画像形成装置１０は、プリンタ機能を備えるが、これに加えて例えば、スキャナ機能、ファクシミリ機能等の他の画像処理機能を備えている。なお「被操作装置」とは、自装置の操作を他の装置から受け付ける装置のことであり、この場合、自装置である画像形成装置１０が他の装置である端末装置２０からの操作を受け付ける。
図２は、画像形成装置１０のハードウェア構成例を示した図である。
図示するように、画像形成装置１０は、ＣＰＵ１１と、ＲＡＭ（Random Access Memory）１２と、ＲＯＭ（Read Only Memory）１３と、ＨＤＤ（Hard Disk Drive）１４と、操作パネル１５と、画像読み取り部１６と、画像形成部１７と、通信Ｉ／Ｆ１８と、視線検知部１９とを備える。そしてこれらがバスＢを介して必要なデータのやりとりを行なう。

ＣＰＵ１１は、ＲＯＭ１３等に記憶された各種プログラムをＲＡＭ１２にロードして実行することにより、後述する各機能を実現する。

ＲＡＭ１２は、ＣＰＵ１１の作業用メモリ等として用いられるメモリである。
ＲＯＭ１３は、ＣＰＵ１１が実行する各種プログラム等を記憶するメモリである。
ＨＤＤ１４は、画像読み取り部１６が読み取った画像情報や画像形成部１７における画像形成にて用いる画像情報等を記憶する例えば磁気ディスク装置である。
操作パネル１５は、各種情報の表示やユーザからの操作入力の受付を行なう例えばタッチパネルである。そのため表示機構は、予め定められた領域でコンテンツ（情報内容）を画像として表示する液晶パネル等の表示部を備えるとともに、液晶パネルに人の指、スタイラスペンに代表される接触物が接触したときに、接触物が液晶パネルに接触した位置を検知する機能を備えている。本実施の形態においてタッチパネルは、特に限定されるものではなく、抵抗膜方式や静電容量方式など種々の方式のものを使用することができる。本実施の形態において、操作パネル１５は、ユーザ側の装置である画像形成装置１０に備えられ、画像形成装置１０を操作するための情報を表示する第１の表示部として機能する。つまり「第１の表示部」は、被操作装置に設けられた表示装置である。

画像読み取り部１６は、原稿に記録された画像を読み取る。ここで、画像読み取り部１６は、例えばスキャナであり、光源から原稿に照射した光に対する反射光をレンズで縮小してＣＣＤ（Charge Coupled Devices）で受光するＣＣＤ方式や、ＬＥＤ光源から原稿に順に照射した光に対する反射光をＣＩＳ（Contact Image Sensor）で受光するＣＩＳ方式のものを用いるとよい。

画像形成部１７は、記録媒体に画像を形成する印刷機構の一例である。ここで、画像形成部１７は、例えばプリンタであり、感光体に付着させたトナーを用紙等の記録媒体に転写して像を形成する電子写真方式や、インクを記録媒体上に吐出して像を形成するインクジェット方式のものを用いるとよい。
通信Ｉ／Ｆ１８は、ネットワークを介して他の装置との間で各種情報の送受信を行なう。

視線検知部１９は、カメラを備え、カメラが撮影したユーザの画像を基に、ユーザの視線の位置を検知する。そして操作パネル１５をユーザが見ているか否かを表す視認情報を作成する。具体的には、視線検知部１９は、例えば、ユーザの目における目頭および虹彩の位置関係が、ユーザの視線の位置が変化することを利用して、ユーザの視線の位置を求める。そしてこの視線の位置から視認情報を作成する。

また本実施の形態では、ＣＰＵ１１、ＲＡＭ１２、およびＲＯＭ１３で、自装置である画像形成装置１０の各機構部の制御を行なう制御部１００を構成する。

端末装置２０は、詳しくは後述するが、画像形成装置１０をリモート操作するコンピュータ装置である。端末装置２０としては、ＰＣ（Personal Computer）やタブレット端末等の携帯端末を用いることができる。なおここで「リモート操作」とは、装置の操作を他の操作から行なうことである。ただしこの場合、装置間の実際の距離は問わない。

端末装置２０は、演算手段であるＣＰＵ（Central Processing Unit）と、記憶手段であるメインメモリ及びＨＤＤ（Hard Disk Drive）とを備える。ここで、ＣＰＵは、ＯＳ（Operating System、基本ソフトウェア）やアプリケーションプログラム（応用ソフトウェア）等の各種ソフトウェアを実行する。また、メインメモリは、各種ソフトウェアやその実行に用いるデータ等を記憶する記憶領域であり、ＨＤＤは、各種ソフトウェアに対する入力データや各種ソフトウェアからの出力データ等を記憶する記憶領域である。
さらに、端末装置２０は、外部との通信を行うための通信インタフェース（以下、「通信Ｉ／Ｆ」と表記する）と、ビデオメモリやディスプレイ等からなる表示機構と、キーボドやマウス等の入力デバイスとを備える。
このうち表示機構は、詳しくは後述するが、操作パネル１５の表示内容を表示する第２の表示部として機能する。つまり「第２の表示部」は、操作装置に設けられた表示装置である。

また本実施の形態では、ＣＰＵおよびインメモリで、自装置である端末装置２０の各機構部の制御を行なう制御機構２００を構成する。制御機構２００は、本実施の形態では、操作装置の一例である。なお「操作装置」とは、他の装置を操作する装置のことであり、この場合、操作装置である端末装置２０は、他の装置である画像形成装置１０を操作する。

管理サーバ３０は、操作システム１の全体の管理をするサーバコンピュータである。管理サーバ３０は、例えば、画像形成装置１０の認証を行ない、後述するリモートサポートの受付番号の発行等を行なう。また端末装置２０から画像形成装置１０をリモート操作したときの履歴を記録する。

ネットワーク７０は、画像形成装置１０、端末装置２０および管理サーバ３０の間の情報通信に用いられる通信手段であり、例えば、インターネットである。
ネットワーク９０も、ネットワーク７０と同様に、画像形成装置１０、端末装置２０および管理サーバ３０の間の情報通信に用いられる通信手段であり、例えば、ＬＡＮ（Local Area Network）である。

＜操作システム１の動作の概略説明＞
図３（ａ）～（ｂ）および図４（ａ）～（ｄ）は、操作システム１の概略動作について示した図である。以下、図１、図３、図４を主に使用して操作システム１の概略動作について説明を行なう。
このうち図３（ａ）は、画像形成装置１０の操作パネル１５で表示される画面の一例を示している。図示するように操作パネル１５には、画像形成装置１０が備える機能を実行するためのアイコンＩが表示されている。この画像は、いわゆるホーム画面Ｈｍである。このとき表示されるアイコンＩは、予め定められた処理に関連付けられており、ユーザがこのアイコンＩをタッチするとこの処理が実行される。

図示する例では、操作パネル１５には、コピー、ファクス／インターネットファクス、スキャナ（メール送信）、らくらくコピー、らくらくファクス、スキャナ（ＰＣ保存）、スキャナ（ボックス保存）、ボックス操作、リモートサポートのアイコンＩが表示されている。

そしてここでは前提として、画像形成装置１０のユーザは、自装置の操作方法についての不明点があり、不明点を解決するため端末装置２０のオペレータに問い合わせる場合を考える。

このときまず画像形成装置１０側のユーザは、端末装置２０側のオペレータに対し電話をし、不明点がある旨を伝える。そしてユーザは、オペレータの指示に従い、図３（ａ）に示すように操作パネル１５に表示されているリモートサポートのアイコンＩをタッチする。その結果、管理サーバ３０からリモートサポートの受付番号が送られ、図３（ｂ）で示すように、操作パネル１５にウィンドウＷ１が重畳して表示される。このウィンドウＷ１には、送られた受付番号が表示されており、ユーザは、この受付番号を図示しないテンキー等を使用して入力する。その結果、操作モードがユーザモードからオペレータモードに変更される。

ユーザモードの場合、ユーザは、画像形成装置１０を操作することができるが、オペレータは、操作することができない。これは、画像形成装置１０からは画像形成装置１０の操作ができるが、端末装置２０からは画像形成装置１０の操作ができない状態であると言うこともできる。即ち、ユーザモードは、ユーザが画像形成装置１０を操作する通常の状態である。対してオペレータモードの場合、端末装置２０は画像形成装置１０にリモート接続する。この場合、ユーザは、画像形成装置１０を操作することができないが、オペレータは操作することができるようになる。これは、画像形成装置１０からは画像形成装置１０の操作ができず、端末装置２０からは画像形成装置１０の操作ができる状態であると言うこともできる。

図４（ａ）は、オペレータモードにおいて、画像形成装置１０の操作パネル１５で表示されるホーム画面Ｈｍを示している。また図４（ｂ）は、このとき端末装置２０の表示機構２５で表示される画面を示している。この両者を比較すると、端末装置２０の表示機構２５には、画像形成装置１０の操作パネル１５で表示されるホーム画面Ｈｍがそのまま表示されることがわかる。つまり画像形成装置１０から端末装置２０に操作パネル１５で表示される画像が転送され、表示機構２５に同じ画面が表示される。これによりユーザとオペレータとは同じ画面情報を共有する状態になる。

そしてオペレータモードでは、オペレータは、図４（ｂ）の画面に対し、入力デバイスを使用して操作する。この操作は、そのまま画像形成装置１０に対する操作として反映される。即ち、オペレータは画像形成装置１０をリモート操作することができ、画像形成装置１０の操作パネル１５にもオペレータが行なった操作がそのまま表示される。

具体的には、例えば、オペレータが図４（ｂ）の画面上で、コピーのアイコンＩを入力デバイスを使用しクリック等を行なうことで選択すると、画像形成装置１０の操作パネル１５においてコピーのアイコンＩをタッチした場合と同じ処理が画像形成装置１０で開始される。そしてその結果、画面の遷移が生じる場合は、遷移後の遷移画面Ｓｎが、画像形成装置１０の操作パネル１５および端末装置２０の表示機構２５の双方に表示される。この場合、図４（ｃ）に示すように、画像形成装置１０の操作パネル１５には、遷移画面Ｓｎとして、コピーの設定画面が表示される。また端末装置２０の表示機構２５にも同様の遷移画面Ｓｎが表示される。そしてオペレータは、この画面からユーザからの問い合わせの内容に応じて、例えば、カラーモードや用紙選択について電話により説明を行なうことができる。

つまり画像形成装置１０側のユーザは、電話で説明を聞きながら操作パネル１５を見ることで、実際にどのような操作を行なえばよいのかがわかり、不明点を解決することができる。

しかしユーザが操作パネル１５を見ていないときにオペレータが操作を行なうと、ユーザはその操作を理解することができない。そのためオペレータは、端末装置２０を再度操作してユーザに再度操作の内容を伝える必要が生じる。またユーザが操作パネル１５を見ていないときに、オペレータがユーザの不利益になる操作を行なっても、ユーザが気付かない場合がある。

そこで本実施の形態では、オペレータモードにおいて、ユーザが操作パネル１５を見ていないときに、予め定められた処理を行なうことで上記問題の抑制を図っている。

＜画像形成装置１０および制御機構２００の機能構成の説明＞
[第１の実施形態]
まず本実施の形態の第１の実施形態について説明する。第１の実施形態では、ユーザが画像形成装置１０の操作パネル１５を見ていないときに、上述した予め定められた処理を端末装置２０の制御機構２００で行なう。

図５は、第１の実施形態における画像形成装置１０および制御機構２００の機能構成例を表すブロック図である。なお図５では画像形成装置１０および制御機構２００が有する種々の機能のうち本実施の形態に関係するものを選択して図示している。

図示するように第１の実施形態における画像形成装置１０は、画面の表示を行なう第１の表示部１１０と、ユーザ操作や制御機構２００からの操作を受け付ける操作受付部１２０と、第１の表示部１１０を制御する第１の表示制御部１３０と、ユーザの視線を検知する検知部１４０とを備える。

第１の表示部１１０は、この場合、例えば、操作パネル１５であり、自装置である画像形成装置１０を操作するための情報を表示する。即ち、上述した図４（ａ）のホーム画面Ｈｍや、図４（ｃ）の遷移画面Ｓｎ等を表示する。

操作受付部１２０は、ユーザモードでは、ユーザ操作を受け付ける。この場合、操作受付部１２０は、例えば、操作パネル１５である。またオペレータモードでは、外部装置である端末装置２０から自装置である画像形成装置１０への操作を受け付ける。つまり操作受付部１２０は、制御機構２００からオペレータの操作を受け付け、制御機構２００から画像形成装置１０をリモート操作させる。この場合、操作受付部１２０は、例えば、通信Ｉ／Ｆ１８である。

第１の表示制御部１３０は、第１の表示部１１０で表示される画面の制御を行なう。第１の表示制御部１３０は、ユーザモードでは、ユーザの操作を受け付け、これに基づき、第１の表示部１１０を制御し、ホーム画面Ｈｍや遷移画面Ｓｎ等を表示させる。一方、第１の表示制御部１３０は、オペレータモードでは、オペレータの操作を受け付け、これに基づき、第１の表示部１１０を制御し、図４（ａ）、（ｃ）に示すような表示内容を第１の表示部１１０に表示する。

検知部１４０は、この場合、例えば、視線検知部１９であり、第１の表示部１１０（操作パネル１５）をユーザが見ているか否かを検知し、第１の表示部１１０の視認情報を作成する。つまり「視認情報」とは、特定の箇所を見ているか否かを表す情報である。この場合、「視認情報」は、ユーザが第１の表示部１１０を見ているか否かを表す情報である。例えば、ユーザが第１の表示部１１０を見ている場合は「ＯＮ」、見ていない場合は、「ＯＦＦ」を意味する情報である。

また第１の実施形態における制御機構２００は、表示機構２５を制御する第２の表示制御部２１０と、画像形成装置１０をリモート操作する操作部２２０と、視認情報を取得する視認情報取得部２３０と、予め定められた処理を行なう処理部２４０とを備える。

第２の表示制御部２１０は、表示制御部の一例であり、表示機構２５で表示される画面の制御を行なう。つまり本実施の形態では、第２の表示制御部２１０は、オペレータモードにおいて、画像形成装置１０の第１の表示制御部１３０から第１の表示部１１０で表示される画像を取得する。そして第２の表示制御部２１０は、表示機構２５を制御し、図４（ｂ）、（ｄ）に示すように、第１の表示部１１０と同様の表示内容を表示機構２５に表示する。

操作部２２０は、オペレータモードにおいて、オペレータの操作に従い、操作情報を画像形成装置１０に伝えることで、画像形成装置１０をリモート操作する。そしてこの操作の内容を第１の表示部１１０に表示させる。

視認情報取得部２３０は、第１の表示部１１０をユーザが見ているか否かを表す視認情報を取得する。視認情報取得部２３０は、検知部１４０から視認情報を取得することができる。

処理部２４０は、第１の表示部１１０をユーザが見ていないときに、予め定められた処理を行なう。なおこの処理を端末装置２０で実行する場合は、処理部２４０が直接行なう。またこの処理を画像形成装置１０で実行する場合は、処理の内容を操作部２２０から操作情報として画像形成装置１０に送り、処理部２４０は、操作部２２０を介してリモート操作でこの処理を行なう。
この処理の内容について、以下、説明を行なう。

＜処理の内容の説明＞
（警告）
処理部２４０は、予め定められた処理として、操作パネル１５をユーザが見ていないことを示す警告を行なう。ここで「警告」は、注意を告げ知らせることである。本実施の形態では、警告は、ユーザに対し行なわれる警告と、オペレータに対し行なわれる警告の２種類がある。警告は、例えば、視覚的、聴覚的にユーザやオペレータが認識できる手段によりなされる。

この警告は、例えば、端末装置２０の表示機構２５に表示される警告通知である。
図６は、端末装置２０の表示機構２５に警告通知を行なった例を示した図である。
図示する例では、図４（ｂ）に示した画面に警告通知Ｋｔを行なった例を示している。ここでは、図４（ｂ）に示した画面に、「ユーザがＵＩ画面を見ていません。」のメッセージを重畳して表示することで、警告通知Ｋｔを行なった場合を示している。
これによりオペレータは、ユーザが操作パネル１５を見ていないことを把握することができ、操作を行なうタイミングを図ることができる。

またこの警告は、例えば、画像形成装置１０から出力される警告音である。警告音は、例えば、ビープ音などでもよく、「画面を見てください。」等の音声によるものであってもよい。これによりユーザに対し操作パネル１５を見るように促すことができる。
また警告音は、端末装置２０から出力されるようにしてもよい。この場合、警告音は、上述したのと同様にビープ音などでもよく、「ユーザがＵＩ画面を見ていません。」等の音声によるものであってもよい。これによりオペレータは、ユーザが操作パネル１５を見ていないことを把握することがでる。

このとき処理部２４０は、オペレータが画像形成装置１０へのリモート操作を開始したときに、操作パネル１５をユーザが見ていない場合に警告を行なうようにしてもよい。つまりオペレータが画像形成装置１０のリモート操作を開始する前は、操作パネル１５をユーザが見ていなくても問題はない。対してオペレータが画像形成装置１０のリモート操作を開始した後は、操作パネル１５をユーザが見ている必要がある。よって警告を行なうのは、オペレータが画像形成装置１０のリモート操作を開始した後とし、開始する前は、行なわないようにする。

（録画）
処理部２４０は、予め定められた処理として、画像形成装置１０への操作の内容の録画を行なう。この場合、「録画」は、表示される画面の移り変わりを動画として記録することである。この場合、処理部２４０は、操作パネル１５で表示される操作の内容を録画する。なお録画したデータは、端末装置２０内のＨＤＤ等で保存してもよく、ＮＡＳ（Network Attached Storage）等の外部装置に保存してもよい。
この場合、処理部２４０は、ユーザが操作パネル１５を見ている状態から見ていない状態になったときに、その時点からのオペレータによる操作の内容を録画する。また処理部２４０は、操作パネル１５をユーザが見ていない状態から見ている状態になったときに、録画した操作の内容を再生する。

これによりユーザが操作パネル１５を見ていなくても、録画した内容を再生することでオペレータの操作の内容をユーザに提示することができる。その結果、オペレータが再度同じ操作を繰り返して行なう必要がなくなる。

また処理部２４０は、オペレータによる操作が予め定められた時間以上なかったときに録画を停止する。つまりオペレータによる操作が予め定められた時間以上なかったときは、オペレータによる操作が終了していると考えられるため、この場合、処理部２４０は、録画を停止する。

（操作の停止）
処理部２４０は、予め定められた処理として、画像形成装置１０への操作を停止する。即ち、オペレータが画像形成装置１０をリモート操作しようとしても処理部２４０がその操作を停止し、画像形成装置１０に操作の結果が反映されないようにする。ここで「操作の停止」とは、オペレータが画像形成装置１０を操作しようとしても操作できなくなる状態のことである。

これによりユーザが操作パネル１５を見ていないときに、オペレータがユーザの不利益になる操作を行なっても、画像形成装置１０に操作の結果が反映されないため、ユーザに不利益が生じることを抑制できる。なお「ユーザの不利益になる操作」とは、ユーザに損となる事象が発生する操作であり、例えば、金銭的な損失を与える操作や、機器の使用に悪影響を与える操作が挙げられる。金銭的な損失を与える操作は、例えば、課金が生じる操作であり、オペレータがユーザの承諾なしに課金が生じる操作を行なうような場合が該当する。また機器の使用に悪影響を与える操作とは、例えば、ネットワークの設定を変更する操作などが挙げられる。

また処理部２４０は、ユーザに不利益が生じうる一部に限定して操作を停止するようにしてもよい。つまりユーザに不利益が生じない操作については操作を停止する必要がないため、この場合は、操作を停止しない。

[第２の実施形態]
次に本実施の形態の第２の実施形態について説明する。第２の実施形態では、ユーザが画像形成装置１０の操作パネル１５を見ていないときに、上述した予め定められた処理を画像形成装置１０で行なう。

図７は、第２の実施形態における画像形成装置１０および制御機構２００の機能構成例を表すブロック図である。なお図７では画像形成装置１０および制御機構２００が有する種々の機能のうち本実施の形態に関係するものを選択して図示している。
図示するように第２の実施形態における画像形成装置１０は、第１の表示部１１０と、操作受付部１２０と、第１の表示制御部１３０と、検知部１４０と、処理部１５０とを備える。
つまり第２の実施形態における画像形成装置１０は、第１の実施形態に対し、処理部１５０が新たに加わる点で異なり、他は同様である。また第１の表示部１１０、操作受付部１２０、第１の表示制御部１３０、および検知部１４０の動作は、第１の実施形態と同様である。

処理部１５０は、上述した処理部２４０と同様の機能を有し、操作パネル１５をユーザが見ていないときに、予め定められた処理を行なう。なおこの処理を画像形成装置１０で実行する場合は、処理部１５０が直接行なう。またこの処理を制御機構２００で実行する場合は、処理部１５０から処理情報として制御機構２００に送られ、処理部１５０は、間接的にこの処理を行なう。この処理の内容については、上述した処理部２４０が行なう処理と同様のものとなる。

また第２の実施形態における制御機構２００は、第２の表示制御部２１０と、操作部２２０と、処理情報取得部２５０とを備える。
つまり第２の実施形態における制御機構２００は、第１の実施形態に対し、視認情報取得部２３０と、処理部２４０がなく、処理情報取得部２５０が加わる点で異なる。第２の表示制御部２１０および操作部２２０の動作は、第１の実施形態と同様である。

処理情報取得部２５０は、処理部１５０から処理情報を取得し、この処理を実行する。

＜制御機構２００および画像形成装置１０の動作の説明＞
次に制御機構２００および画像形成装置１０の各機能構成部の動作の説明を行なう。
図８は、第１の実施形態および第２の実施形態における制御機構２００および画像形成装置１０の各機能構成部の動作について説明したフローチャートである。

ここでは、まず第１の実施形態における制御機構２００および画像形成装置１０の動作の説明を行なう。
まず図３で説明したように、ユーザは画像形成装置１０の第１の表示部１１０を操作し、ユーザモードからオペレータモードへ切り換えを行なう（ステップ１０１）。

次に端末装置２０の第２の表示制御部２１０が、画像形成装置１０の第１の表示制御部１３０から第１の表示部１１０で表示される画像を取得する（ステップ１０２）。そして第２の表示制御部２１０は、表示機構２５を制御し、図４（ａ）～（ｂ）に示すホーム画面Ｈｍのように、第１の表示部１１０と同様の表示内容を表示機構２５に表示する（ステップ１０３）。

そして操作部２２０が、ユーザからの問い合わせ内容に対するオペレータの操作に応じて、表示機構２５の画面を操作し、画像形成装置１０をリモート操作する（ステップ１０４）。

一方、画像形成装置１０の検知部１４０は、ユーザの視線を検知し、第１の表示部１１０をユーザが見ているか否かを表す視認情報を作成する（ステップ１０５）。

そして制御機構２００の視認情報取得部２３０は、検知部１４０から視認情報を取得し、第１の表示部１１０をユーザが見ているか否かを判断する（ステップ１０６）。
その結果、第１の表示部１１０をユーザが見ていた場合（ステップ１０６でＹｅｓ）、画像形成装置１０の操作受付部１２０は、ステップ１０３において行ったオペレータの操作を操作部２２０から受け付ける（ステップ１０７）。
そして第１の表示制御部１３０が、第１の表示部１１０を制御し、この操作結果を反映したオペレータの操作の内容を画面に表示する（ステップ１０８）。その結果、例えば、図４（ｃ）～（ｄ）のような遷移画面Ｓｎが表示される。

対して第１の表示部１１０をユーザが見ていなかった場合（ステップ１０６でＮｏ）、処理部２４０が、上述した警告、録画、操作の停止などの予め定められた処理を行なう（ステップ１０９）。

具体的には、処理部２４０は、第２の表示制御部２１０を介して表示機構２５に警告通知を表示することができる。また処理部２４０は、画像形成装置１０への操作の内容の録画を行なうことができる。さらに処理部２４０は、操作部２２０の処理を停止させ、画像形成装置１０への操作を停止することができる。なおこの処理が、画像形成装置１０から警告音を出力するなど画像形成装置１０で行なわれるものである場合は、処理部２４０は、操作部２２０を介し、処理の内容を操作情報として画像形成装置１０に対し送る。

次に視認情報取得部２３０は、第１の表示部１１０をユーザが見ていない状態から見ている状態になったか否かを判断する（ステップ１１０）。
その結果、第１の表示部１１０をユーザが見る状態になった場合（ステップ１１０でＹｅｓ）、ステップ１０７に移行する。またこのとき予め定められた処理として録画を行なっていた場合、録画した操作の内容を再生するようにしてもよい。
対して第１の表示部１１０をユーザが見ていない状態のままである場合（ステップ１１０でＮｏ）、ステップ１０９に戻る。

次に第２の実施形態における制御機構２００および画像形成装置１０の動作の説明を行なう。
この場合、ステップ１０１～ステップ１０５の処理は、第１の実施形態と同様であるので説明を省略する。

ステップ１０６以降は、処理部１５０は、検知部１４０から視認情報を取得し、第１の表示部１１０をユーザが見ているか否かを判断する（ステップ１０６）。
ステップ１０７～ステップ１０８の処理は、第１の実施形態と同様である。

ステップ１０９以降は、第１の表示部１１０をユーザが見ていなかった場合（ステップ１０６でＮｏ）、処理部１５０が、上述した警告、録画、操作の停止などの予め定められた処理を行なう（ステップ１０９）。

具体的には、処理部１５０は、画像形成装置１０から警告音を出力することができる。また処理部１５０は、画像形成装置１０への操作の内容の録画を行なうことができる。さらに処理部２４０は、操作受付部１２０の処理を停止させ、画像形成装置１０への操作を停止することができる。なおこの処理が表示機構２５に警告通知を表示するなど制御機構２００で行なわれるものである場合は、処理部１５０は、処理情報を制御機構２００に対し送る。

次に処理部１５０は、第１の表示部１１０をユーザが見ていない状態から見ている状態になったか否かを判断する（ステップ１１０）。
以後の処理は、第１の実施形態と同様である。

以上説明した形態によれば、被操作装置側のユーザが画面を見ていないときに、上述した予め定められた操作を行なうことで、操作装置側から操作をやり直してユーザに再度伝える必要が生じにくくなる。

なお以上説明した例では、ユーザモードからオペレータモードにモードの切り換えを行ない、オペレータは、端末装置２０から画像形成装置１０をリモート操作したが、これに限られるものではない。例えば、リモート操作ができれば、オペレータモードにする必要はなく、オペレータとともにユーザが画像形成装置１０を操作できるようにしてもよい。

また以上説明した例では、処理部は、第１の実施形態では、処理部２４０として端末装置２０に設けられ、第２の実施形態では、処理部１５０として画像形成装置１０に設けられていたが、端末装置２０および画像形成装置１０の双方に設けてもよい。この場合、それぞれの処理部２４０および処理部１５０は、例えば、自装置で予め定められた処理が行われる場合に、動作するなど役割分担を行なう。

また以上説明した例では、操作装置が端末装置２０であり、被操作装置が画像形成装置１０であり、端末装置２０から画像形成装置１０へ操作情報を送り、操作の内容を画面に表示していたが、これに限られるものではなく、適用される装置や送られる情報に特に制限はない。例えば、操作装置および被操作装置で同じ画面を表示しつつゲームの検討をしており、操作装置でゲームを進行させると、被操作装置で同じ画面が表示されるような場合が該当する。例えば、ゲームが囲碁であり、操作装置および被操作装置の双方で囲碁盤が表示され、操作装置で盤上に石を置くと、被操作装置で盤上の同じ箇所に石が置かれる画面が表示されるような場合が該当する。

以上、本実施の形態について説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、種々の変更または改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。

１…操作システム、１０…画像形成装置、１５…操作パネル、２０…端末装置、２５…表示機構、１１０…第１の表示部、１２０…操作受付部、１３０…第１の表示制御部、１４０…検知部、１５０…処理部、２１０…第２の表示制御部、２２０…操作部、２３０…視認情報取得部、２４０…処理部、２５０…処理情報取得部

Claims (4)

1. ユーザ側の装置である被操作装置に備えられ当該被操作装置を操作するための情報を表示する第１の表示部の、表示内容を表示する第２の表示部を制御する表示制御部と、
   前記被操作装置を操作するとともに操作の内容を前記第１の表示部に表示させる操作部と、
   前記第１の表示部をユーザが見ているか否かを表す視認情報を取得する視認情報取得部と、
   前記第１の表示部をユーザが見ていないときに、ユーザに金銭的な損失を与える操作および／または前記被操作装置の設定の変更を行なう操作に対し操作を停止する処理を行なう処理部と、
   を備えることを特徴とする操作装置。
2. 前記ユーザに金銭的な損失を与える操作は、ユーザに課金が生じる操作であることを特徴とする請求項１に記載の操作装置。
3. 自装置に備えられ、自装置を操作するための情報を表示する第１の表示部と、
   外部装置である操作装置から自装置への操作を受け付ける操作受付部と、
   前記第１の表示部をユーザが見ているか否かを検知する検知部と、
   前記第１の表示部をユーザが見ていないときに、ユーザに金銭的な損失を与える操作および／または自装置の設定の変更を行なう操作に対し操作を停止する処理を行なう処理部と、
   を備える被操作装置。
4. 自装置を操作するための情報を表示する第１の表示部と、当該第１の表示部をユーザが見ているか否かを検知する検知部と、を備える被操作装置と、
   前記第１の表示部の表示内容を表示する第２の表示部を制御する表示制御部と、前記被操作装置を操作するとともに操作の内容を当該第１の表示部に表示させる操作部と、を備える操作装置と、
   を備え、
   前記被操作装置および／または前記操作装置は、
   前記第１の表示部をユーザが見ていないときに、ユーザに金銭的な損失を与える操作および／または前記被操作装置の設定の変更を行なう操作に対し操作を停止する処理を行なう処理部をさらに備える操作システム。

Images