JP7484377B2 - 情報処理装置およびプログラム - Google Patents

情報処理装置およびプログラム Download PDF

Info

Publication number
JP7484377B2
JP7484377B2 JP2020076043A JP2020076043A JP7484377B2 JP 7484377 B2 JP7484377 B2 JP 7484377B2 JP 2020076043 A JP2020076043 A JP 2020076043A JP 2020076043 A JP2020076043 A JP 2020076043A JP 7484377 B2 JP7484377 B2 JP 7484377B2
Authority
JP
Japan
Prior art keywords
information
user
mobile terminal
image forming
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020076043A
Other languages
English (en)
Other versions
JP2021174139A (ja
Inventor
章 角田
浩一朗 三野
明日香 黒沢
智 河村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2020076043A priority Critical patent/JP7484377B2/ja
Publication of JP2021174139A publication Critical patent/JP2021174139A/ja
Application granted granted Critical
Publication of JP7484377B2 publication Critical patent/JP7484377B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)

Description

本発明は、情報処理装置およびプログラムに関する。
特許文献1には、表示中の画面に関する識別情報を機器から情報処理端末に送信し、識別情報を機器から受信した情報処理端末において受信した識別情報に対応するデータを取得して表示するようにした情報処理システムが開示されている。
特開2017-167700号公報
本発明の目的は、ある対象装置に関する情報を周囲の情報処理装置に表示する際に、その情報を閲覧する意思の無い使用者の情報処理装置に情報が表示されてしまうことを防ぐことである。
[情報処理装置]
請求項1に係る本発明は、メモリと、プロセッサと、表示部と、使用者の視線を検出する視線検出手段を備え、
前記プロセッサは、
外部の対象装置から送信されてきた情報を受信した際に、前記視線検出手段からのセンサ情報により検出された使用者の視線が、前記表示部の表示画面の上下左右のいずれかの方向から移動してきて、その方向から当該表示画面の外に移動するような態様で変化する場合、受信した前記情報に対応する画像を前記表示部に表示する情報処理装置である。
請求項に係る本発明は、前記対象装置からの情報が、受信側の装置を特定せずに情報を送信する通信プロトコルにより送信される請求項記載の情報処理装置である。
請求項に係る本発明は、前記情報が、前記外部の対象装置の操作方法を説明する説明情報である請求項1又は2に記載の情報処理装置である。
[プログラム]
請求項に係る本発明は、外部の対象装置から送信されてきた情報を受信した際に、使用者の視線を検出する視線検出手段からのセンサ情報により使用者の視線を検出する検出ステップと、
前記検出ステップにおいて検出された使用者の視線が、表示部の表示画面の上下左右のいずれかの方向から移動してきて、その方向から当該表示画面の外に移動するような態様で変化する場合、受信した前記情報に対応する画像を前記表示部に表示する表示ステップと、をコンピュータに実行させるためのプログラムである。
請求項1に係る本発明によれば、ある対象装置に関する情報を周囲の情報処理装置に表示する際に、その情報を閲覧する意思の無い使用者の情報処理装置に情報が表示されてしまうことを防ぐことができる。
また、請求項に係る本発明によれば、使用者の視線により使用者が情報を閲覧する意思の有無を判定することができる。
請求項に係る本発明によれば、対象装置が周囲に存在する情報処理装置を特定する処理を不要とすることができる。
請求項に係る本発明によれば、ある対象装置に関する説明情報を周囲の情報処理装置に表示する際に、その説明情報を閲覧する意思の無い使用者の情報処理装置に説明情報が表示されてしまうことを防ぐことができる。
請求項に係る本発明によれば、ある対象装置に関する情報を周囲の情報処理装置に表示する際に、その情報を閲覧する意思の無い使用者の情報処理装置に情報が表示されてしまうことを防ぐことができる。
また、請求項に係る本発明によれば、使用者の視線により使用者が情報を閲覧する意思の有無を判定することができる。
本発明の一実施形態の情報処理システムのシステム構成を示す図である。 ユーザは操作パネル60を操作することにより画像形成装置10の各種機能を利用する様子を説明するための図である。 操作パネル60上に表示した操作画面と、携帯端末20の表示画面上に表示した操作説明情報とが同期して切り替わる様子を説明するための図である。 画像形成装置10、携帯端末装置20および外部サーバ50間でのデータの送受信の様子を説明するためのシーケンスチャートである。 画像形成装置10からマルチキャスト送信されたヘルプ情報に基づく操作説明情報が携帯端末20だけでなく携帯端末21、22の表示画面上にも表示されてしまう様子を説明するための図である。 本発明の一実施形態における携帯端末20のハードウェア構成を示す図である。 本発明の一実施形態における携帯端末20の機能構成を示す図である。 携帯端末20が、画像形成装置10からヘルプ情報を受信して操作説明情報を表示画面上に表示する際の全体動作を説明するためのフローチャートである。 図8のフローチャートのステップS202において示した、ヘルプ情報を閲覧するユーザの意思の確認処理の詳細を説明するためのフローチャートである。 携帯端末20の傾きによるユーザの閲覧意思の有無の判定方法を説明するための図である。 ユーザの視線の出入りを検出して、ユーザの閲覧意思の有無を判定する判定方法を説明するための図である。 スマートグラス70を装着したユーザの外観図である。 スマートグラス70を用いてユーザが操作パネル60上のどの部分を見ているのかを検出する様子を説明するための図である。 操作説明情報をスマートグラス70上に表示した場合の一例を示す図である。 スマートグラス70上に操作説明情報の表示が行われた際の、ユーザの視界例を示す図である。
次に、本発明の実施の形態について図面を参照して詳細に説明する。
図1は本発明の一実施形態の情報処理システムのシステム構成を示す図である。
本発明の一実施形態の情報処理システムは、図1に示されるように、画像形成装置10、スマートフォン等の携帯端末20、および携帯端末20と無線LANターミナル30、インターネット40を介して接続可能な外部サーバ50とから構成されている。
画像形成装置10は、パーソナルコンピュータ等の端末装置から送信された印刷データを受け付けて、受け付けた印刷データに応じた画像を用紙上に出力したり、原稿画像を読み取ってコピーを行ったりする。なお、画像形成装置10は、印刷機能、スキャン機能、コピー機能、ファクシミリ機能等の複数の機能を有するいわゆる複合機と呼ばれる装置である。
画像形成装置10には、図2に示すように、タッチパネルにより構成された操作パネル60が設けられており、使用者であるユーザはこの操作パネル60を操作することにより画像形成装置10の各種機能を利用するような構成となっている。
そして、携帯端末20には、画像形成装置10の各種操作についての取り扱い説明情報を表示するためのオンライン取説アプリケーションプログラム(以下、単にオンライン取説アプリと略す。)がインストールされている。
このオンライン取説アプリを携帯端末20において起動しておくことにより、画像形成装置10の操作状況に応じた操作説明情報が携帯端末20の表示画面上に表示されるようになっている。
つまり、本実施形態の情報処理システムでは、画像形成装置10を対象装置として、周囲の情報処理装置である携帯端末20に、対象装置である画像形成装置10に関する操作説明情報を表示する。
そして、画像形成装置10において表示される表示画面と携帯装置20にいて表示される操作説明情報の表示画面とは同期して切り替わるようになっている。つまり、ユーザが画像形成装置10の操作パネル60を操作して表示される画面内容が切り替わると、携帯端末20に表示されている操作説明情報も同期して切り替わる。
例えば、図3に示すように、ユーザが操作パネル60上にホーム画面を表示して操作を行うとしている間は、携帯端末20の表示画面には、このホーム画面に対する操作説明を行うための画面が表示される。そして、ユーザがホーム画面上のコピーアイコンを選択して、コピーの各種設定を行うための画面を操作パネル60に表示させると、携帯端末20の表示画面に表示される画像も、コピーの各種設定を行うための画面に対する操作説明を行うための画像に切り替わる。
なお、本実施形態における画像形成装置10は、操作説明を行うための画像を表示するための画像データを携帯端末20に直接送信しているのではなく、表示すべき画像を特定するための画像ID等の識別情報を送信する。そして、携帯端末20は、この識別情報を画像形成装置10から受信すると、外部サーバ50にアクセスして受信した識別情報と対応付けられた画像データを取得して表示画面上に表示する。
なお、外部サーバ50を設けることなく、画像形成装置10から携帯端末20に対して、操作説明を行うための画像を表示するための画像データを直接送信して、携帯端末20は、画像形成装置10から受信した画像データを表示画面上に表示するような構成とすることも可能である。
そして、以下においては上記で説明した操作説明情報として表示すべき画像を特定するための識別情報、および操作説明情報として表示すべき画像の画像情報をともにヘルプ情報として表現する。
次に、上記で説明した画像形成装置10、携帯端末装置20および外部サーバ50間でのデータの送受信の様子について図4のシーケンスチャートを参照して説明する。
まず、画像形成装置10では、ステップS101において、ユーザ操作に応じた画面表示が操作パネル60上において行われる。すると、画像形成装置10は、ステップS102において、周囲に対して現在の画面状態に応じたヘルプ情報を一斉送信する。
ここで、画像形成装置10は、近距離無線通信規格であるBluetooth(登録商標)の通信回線を介して、周囲の端末装置に対してヘルプ情報をマルチキャスト送信する。このマルチキャスト送信とは、受信側の装置を特定せずに情報を送信する通信プロトコルにより情報を送信する通信方法である。
つまり、画像形成装置10は、自装置の周囲に現在どのような端末装置が存在するのかを把握せずにヘルプ情報を送信する。
そして、ステップS103において、画像形成装置10から送信されたヘルプ情報が携帯端末20に送信されると、携帯端末20では、ステップS104において、このヘルプ情報を受信する。
次に、携帯端末20は、ステップS105において、受信したヘルプ情報に含まれる画像ID等の識別情報を外部サーバ50に送信して、表示内容を要求する。
すると、外部サーバ50は、ステップS106において、携帯端末20から送信されてきた要求に含まれる識別情報に基づいて、表示すべき画面内容の情報を抽出する。そして、外部サーバ50は、ステップS107において、抽出した表示すべき画面内容の情報を携帯端末20に対して返信する。
すると、携帯端末20は、ステップS108において、外部サーバ50から受信した画面内容の情報を、受信したヘルプ情報に対応した表示内容として表示画面上に表示する。
このようにして画像形成装置10の現在の表示画面の画面様態に応じた操作説明情報が携帯端末20の表示画面上に表示されることになる。
そして、画像形成装置10は、ステップS109において、ユーザ操作が行われて画面状態が切り替わると、ステップS110において、切り替わった画面情報に応じたヘルプ情報を一斉送信する。
すると、このヘルプ情報は、ステップS111において、携帯端末20に送信され、ステップS104~S108における処理が繰り返されて携帯端末20の表示画面に表示される操作説明情報も切り替わる。
上記のような処理が行われることにより、画像形成装置10対して操作を行おうとするユーザは、保持している携帯端末20においてオンライン取説アプリを起動しておくだけで画像形成装置10からのヘルプ情報を自動的に受信して携帯端末20に表示させることが可能となる。
しかし、画像形成装置10の周囲に携帯端末20を保持したユーザ以外のユーザがいる場合にこのような操作説明情報の表示を行った場合、問題が発生する場合がある。例えば、図5に示すように画像形成装置10の周囲にオンライン取説アプリを起動した状態の携帯端末21、22を保持している他のユーザが存在している場合、画像形成装置10からマルチキャスト送信されたヘルプ情報に基づく操作説明情報が表示画面上に表示されてしまうことになる。
そして、携帯端末21、22を保持しているユーザにとっては、操作中でもない画像形成装置10の操作説明情報が表示画面上に表示されてしまうため携帯端末21、22の操作が阻害されることにもなる。また、このような不必要な操作説明情報を取得するために外部サーバ50との間でデータ送受信が行われることは無駄な通信が発生していることにもなる。
そこで、本実施形態における情報処理システムでは、画像形成装置10を対象装置とし、その対象装置に関する情報を周囲の携帯端末20等の情報処理装置に表示する際に、その情報を閲覧する意思の無いユーザの情報処理装置に情報が表示されてしまうことを防ぐようにしている。
次に、本実施形態の情報処理システムにおける携帯端末20のハードウェア構成を図6に示す。
携帯端末20は、図6に示されるように、CPU11、メモリ12、フラッシュメモリ等の記憶装置13、近距離無線通信部14、タッチパネル又は液晶ディスプレイを含むユーザインタフェース(UIと略す。)装置15、撮像部であるカメラ16、各種センサ17を有する。これらの構成要素は、制御バス18を介して互いに接続されている。
CPU11は、メモリ12または記憶装置13に格納された制御プログラムに基づいて所定の処理を実行して、携帯端末20の動作を制御するプロセッサである。なお、本実施形態では、CPU11は、メモリ12または記憶装置13内に格納された制御プログラムを読み出して実行するものとして説明するが、当該プログラムを外部の記憶媒体に格納してCPU11に提供することも可能である。
図7は、上記の制御プログラムが実行されることにより実現される携帯端末20の機能構成を示すブロック図である。
本実施形態の携帯端末20は、図7に示されるように、表示部31と、操作入力部32と、制御部33と、近距離無線通信部14と、カメラ16と、重力センサ34と、加速度センサ35と、ジャイロセンサ36とを備えている。
表示部31は、制御部33により制御され、ユーザに各種情報を表示する。操作入力部32は、ユーザにより行われた各種操作情報を入力する。
制御部33は、携帯端末20の動作全体を制御している。近距離無線通信部14は、近距離無線通信規格であるBluetooth(登録商標)の通信回線を介して周囲に存在する他の装置との間でデータの送受信を行っている。
カメラ16は、携帯端末20の裏面側や表示画面であるディスプレイ側に設けられている。そして、ディスプレイ側に設けられているカメラ16を起動することにより、ユーザの顔画像を撮像することが可能な構成となっている。
重力センサ34は、重力加速度を検出するセンサである。制御部33は、重力センサ34からのセンサ情報に基づいて、自装置の鉛直方向を判定して、携帯端末20の傾きを検出する。
加速度センサ35は、搭載されている装置の加速度を検出するセンサである。また、ジャイロセンサ36は、搭載されている装置の角加速度を検出するセンサである。この加速度センサ35およびジャイロセンサ36からのセンサ情報に基づいて、制御部33は、携帯端末20の動きを検出する。
そして、制御部33は、外部の対象装置である画像形成装置10から送信されてきたヘルプ情報を受信した際に、重力センサ34、加速度センサ35、ジャイロセンサ36等の各種センサからのセンサ情報に基づいて画像形成装置10からのヘルプ情報を閲覧するユーザの意思が検出された場合、受信したヘルプ情報に対応する画像を表示部31に表示する。
例えば、制御部33は、重力センサ34からのセンサ情報により検出された自装置の傾きが予め設定された角度範囲に入っている場合、例えば、傾きが30°~90°の範囲に入っている場合、画像形成装置10からのヘルプ情報を閲覧する意思があると判定する。
また、制御部33は、加速度センサ35やジャイロセンサ36からのセンサ情報により検出された自装置の動作が予め設定された動作に合致した場合、画像形成装置10からのヘルプ情報を閲覧する意思があると判定する。
具体的には、制御部33は、加速度センサ35やジャイロセンサ36からのセンサ情報により検出された自装置の動作が、表示画面を閲覧するために自装置を取り出す動作に合致した場合、画像形成装置10からのヘルプ情報を閲覧する意思があると判定する。
さらに、カメラ16により撮像されたユーザの顔画像に対して画像処理を行うことにより、ユーザの視線方向を検出してユーザが見ている箇所を特定することが可能である。つまり、カメラ16は、使用者であるユーザの視線を検出する視線検出手段として機能する。
そして、制御部33は、カメラ16により撮像されたユーザの顔画像に基づいて検出されたユーザの視線が自装置の表示画面を閲覧していると判定した場合、画像形成装置10からのヘルプ情報を閲覧する意思があると判定する。
また、制御部33は、単にユーザが自装置を見ているというだけでなく、カメラ16により撮像されたユーザの顔画像に基づいて検出されたユーザの視線が、予め設定された態様で変化する場合、画像形成装置10からのヘルプ情報を閲覧する意思があると判定するようにしても良い。
具体的には、携帯端末20の表示画面上に操作説明情報を表示させて画像形成装置10の操作パネル60に対する操作を行うとする場合、ユーザの視線は、携帯端末20の表示画面と画像形成装置10の操作パネル60との間で移動を繰り返すことになると考えらえる。
そのため、制御部33は、カメラ16により撮像されたユーザの顔画像に基づいて検出されたユーザの視線が、表示画面のある方向から移動してきて、その方向から表示画面の外に移動するような態様で変化する場合、画像形成装置10からのヘルプ情報を閲覧する意思があると判定する。
なお、本実施形態においては、携帯端末20のディスプレイに操作説明情報を表示させる場合について説明したが、本発明はこのような場合に限定されるものではなく、操作説明情報以外の情報、例えば画像形成装置10の動作状態に関する情報、消耗品の状態に関する情報等の様々な情報を携帯端末20のディスプレイに表示させるような場合でも同様に適用することが可能である。
次に、本実施形態における携帯端末20の動作について図面を参照して詳細に説明する。
まず、携帯端末20が、画像形成装置10からヘルプ情報を受信して操作説明情報を表示画面上に表示する際の全体動作を図8のフローチャートを参照して説明する。
制御部33は、ステップS201において、近距離無線通信部14が画像形成装置10からの電波が検出した場合、ステップS202において、画像形成装置10からのヘルプ情報を閲覧するユーザの意思の有無を確認する。
そして、ユーザにヘルプ情報を閲覧する意思がないと判定した場合、制御部33は、ステップS201の処理に戻る。
そして、ユーザにヘルプ情報を閲覧する意思があると判定した場合、制御部33は、ステップS204において、近距離無線通信部14を介して画像形成装置10から送信されているヘルプ情報、具体的には表示すべき画面内容を特定するための識別情報を受信する。
その後、制御部33は、ステップS205において、外部サーバ50にアクセスして受信した識別情報と対応する表示内容を取得する。そして、制御部33は、ステップS206において、取得した表示内容をディスプレイ上に表示する。このようにして、携帯端末20のディスプレイ上には、画像形成装置10の操作パネル60の表示内容に対応した説明情報が表示されることになる。
そして、制御部33は、ステップS207において、ユーザの画像形成装置10に対する操作が終了するか又はヘルプ情報を閲覧する意思がなくなったことが検出されるまで、ステップS204~S206の処理を繰り返す。
次に、図8のフローチャートのステップS202において示した、ヘルプ情報を閲覧するユーザの意思の確認処理の詳細について図9のフローチャートを参照して説明する。
まず、制御部33は、ステップS301において、加速度センサ35やジャイロセンサ36からのセンサ情報に基づいて、携帯端末20の動きを検出する。
また、制御部33は、ステップS302において、カメラ16により撮影されたユーザの顔画像からユーザの視線方向を検出する。
さらに、制御部33は、ステップS303において、重力センサ34からのセンサ情報に基づいて、携帯端末20の傾きを検出する。
そして、制御部33は、ステップS304において、上記のような処理により検出された様々な情報に基づいて、ヘルプ情報を閲覧するユーザの意思の有無を判定する。
具体的には、制御部33は、加速度センサ35やジャイロセンサ36からのセンサ情報に基づいて検出された携帯端末20の動きが、例えば、ユーザのポケットから携帯端末20を取り出してディスプレイを見ようとするような動きである場合、そのユーザにはヘルプ情報を閲覧する意思があると判定する。
このような判定を行う場合には、予めユーザが携帯端末20を取り出してディスプレイを見ようとする場合にセンサ情報がどのように変化するのかを予め取得して記憶しておき、制御部33は、加速度センサ35やジャイロセンサ36からのセンサ情報が記憶されている変化態様で変化した場合に、ユーザが携帯端末20を取り出したものと判定する。
また、制御部33は、重力センサ34からのセンサ情報に基づいて検出された携帯端末20の傾きがある角度範囲の場合に、ユーザが携帯端末20のディスプレイを見ようとしていると判定する。
このような傾きによるユーザの閲覧意思の有無の判定方法について図10を参照して説明する。
ユーザが携帯端末20をポケット等に入れて持ち歩いている場合、携帯端末20の傾きは0°に近い値となると考えられる。そのため、このような状態であった携帯端末20の傾きが、例えば30°~90°というような角度範囲に傾けられた場合、ユーザは携帯端末20のディスプレイを視認しようとしていると考えられる。そのため、制御部33は、携帯端末20の傾きがある範囲で変化した場合、ユーザにヘルプ情報を閲覧する意思があると判定する。
さらに、制御部33は、カメラ16により撮影されたユーザの顔画像に基づく視線が携帯端末20のディスプレイを見ていると判定された場合に、ユーザにヘルプ情報を閲覧する意思があると判定するようにしても良い。
または、制御部33は、図11に示すように、ユーザの視線がディスプレイを連続して見ているのではなく、ディスプレイのある方向から入ってきて、その後に入ってきた方向から出て行くような態様で変化した場合に、ユーザにヘルプ情報を閲覧する意思があると判定するようにしても良い。
なお、図11では、携帯端末20の左側から視線が入ってきて左側から出て行く場合が示されているが、携帯端末20をユーザが保持する位置に応じてこの方向は変化する。例えば、ユーザが携帯端末20を操作パネル60の左側に保持した場合には、携帯端末20の右側から視線が入ってきて右側から出て行くことになる。また、ユーザが携帯端末20を操作パネル60の下側に保持した場合には、携帯端末20の上側から視線が入ってきて上側から出て行くことになる。
なお、制御部33は、上述したようなユーザの閲覧意思の有無の判定を、いずれか1つの判定方法に基づいて決定するのではなく、複数の判定方法を組み合わせて総合的に判定するようにしても良い。
例えば、制御部33は、ユーザが携帯端末20を取り出して、ある角度以上傾け、かつ、ディスプレイを視認しようとするユーザの視線が検出された場合に、ユーザにヘルプ情報を閲覧する意思があると判定するというようにすることができる。
なお、制御部33は、ユーザがヘルプ情報の閲覧意思をやめた場合を検出する際には、上記説明した検出方法とは逆の状態を検出すればよい。具体的には、制御部33は、携帯端末20の傾きが30°未満になった場合、ユーザが携帯端末20をポケットにしまうような動きをした場合、ユーザの視線を検出することができなくなった場合等に、ユーザがヘルプ情報を閲覧する意思がなくなったと判定するようにすれば良い。
さらに、本実施形態においては説明していないが、携帯端末20に温度センサを備えるようにして、ユーザが携帯端末20を保持している状態か否かを温度センサにより検出することにより、ユーザのヘルプ情報の閲覧意思の有無を判定するようなことも可能である。
[他の実施形態]
なお、上記の実施形態では、携帯端末20のディスプレイ上に画像形成装置10の操作説明情報を表示させる場合であったが、いわゆるスマートグラス上に画像形成装置10の操作説明情報を表示させる場合の実施形態について以下に説明する。
このようなスマートグラス70を装着したユーザの外観図を図12に示す。図12を参照するとユーザがスマートグラス70を装着する様子が示されている。
そのスマートグラス70は、装着したユーザの視線方向を検出するとともに、実際に見える景色に重ねて文字や図形等の各種情報を重ねてユーザに見せることができるような機能を備えている。
このようなスマートグラス70を用いることにより、例えば図13に示すように、ユーザが操作パネル60上のどの部分を見ているのかを検出することが可能となる。
図13に示した図では、ユーザの視線位置80が操作パネル上に表示された設定項目をスクロールして見ている様子が検出される様子が示されている。
そして、このようにユーザが画像形成装置10の操作パネル60を視認していることが検出された場合に、そのユーザに対してのみ画像形成装置10からのヘルプ情報に基づく操作説明情報を表示することが可能となる。
また、単にユーザが操作パネル60を視認している場合に操作説明情報を表示するのでなく、ユーザが操作説明情報を必要としている場合にのみ表示するようにしても良い。
例えば、ユーザが操作パネル60を視認している状態が一定時間以上継続して変化しない場合や、ユーザが画面操作は行っているが設定値を変更する操作が行われておらず、図13に示したようにスクロール操作を行ってはいるが設定値を変える画面に操作している場合、ユーザは操作に迷っていると判定することができる。
そして、このようにユーザが操作に迷っていると判定した場合のみ、ユーザが現在操作している画面内容に応じた操作説明情報をスマートグラス70上に表示させるようにしても良い。
このように操作説明情報をスマートグラス70上に表示した場合の一例を図14に示す。図14に示した例では、「コピー濃度」と「出力用紙サイズ」の設定項目に関する操作説明情報が表示された場合が示されている。
そして、このような操作説明情報の表示が行われることにより、ユーザの視界は、図15に示すように、操作パネル60上に操作説明情報が重畳されたような状態となる。
上記各実施形態において、プロセッサとは広義的なプロセッサを指し、汎用的なプロセッサ(例えばCPU:Central Processing Unit、等)や、専用のプロセッサ(例えばGPU:Graphics Processing Unit、ASIC:Application Specific Integrated Circuit、FPGA:Field Programmable Gate Array、プログラマブル論理デバイス等)を含むものである。
また上記各実施形態におけるプロセッサの動作は、1つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は上記各実施形態において記載した順序のみに限定されるものではなく、適宜変更してもよい。
[変形例]
上記実施形態では、スマートフォン等の携帯端末20のディスプレイ上やスマートグラス70に説明情報を表示する場合を用いて説明したが、本発明はこれに限定されるものではなく、ディスプレイを備えた情報処理装置に説明情報を表示させる場合でも同様に本発明を適用することができるものである。
また、ディスプレイ上に表示させる情報も説明情報に限定される場合ではなく、広告情報、装置の稼働情報、装置の故障情報、消耗品の残量に対する警告情報、一般的な通知情報等の様々な情報をディスプレイ上に表示する場合にも本発明は同様に適用可能である。
10 画像形成装置
11 CPU
12 メモリ
13 記憶装置
14 近距離無線通信部
15 ユーザインタフェース装置
16 カメラ
17 各種センサ
18 制御バス
20~22 携帯端末
30 無線LANターミナル
31 表示部
32 操作入力部
33 制御部
34 重力センサ
35 加速度センサ
36 ジャイロセンサ
40 インターネット
50 外部サーバ
60 操作パネル
70 スマートグラス
80 視線位置

Claims (4)

  1. メモリと、プロセッサと、表示部と、使用者の視線を検出する視線検出手段を備え、
    前記プロセッサは、
    外部の対象装置から送信されてきた情報を受信した際に、前記視線検出手段からのセンサ情報により検出された使用者の視線が、前記表示部の表示画面の上下左右のいずれかの方向から移動してきて、その方向から当該表示画面の外に移動するような態様で変化する場合、受信した前記情報に対応する画像を前記表示部に表示する
    情報処理装置。
  2. 前記対象装置からの情報が、受信側の装置を特定せずに情報を送信する通信プロトコルにより送信される請求項記載の情報処理装置。
  3. 前記情報は、前記外部の対象装置の操作方法を説明する説明情報である請求項1又は2に記載の情報処理装置。
  4. 外部の対象装置から送信されてきた情報を受信した際に、使用者の視線を検出する視線検出手段からのセンサ情報により使用者の視線を検出する検出ステップと、
    前記検出ステップにおいて検出された使用者の視線が、表示部の表示画面の上下左右のいずれかの方向から移動してきて、その方向から当該表示画面の外に移動するような態様で変化する場合、受信した前記情報に対応する画像を前記表示部に表示する表示ステップと、
    をコンピュータに実行させるためのプログラム。
JP2020076043A 2020-04-22 2020-04-22 情報処理装置およびプログラム Active JP7484377B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020076043A JP7484377B2 (ja) 2020-04-22 2020-04-22 情報処理装置およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020076043A JP7484377B2 (ja) 2020-04-22 2020-04-22 情報処理装置およびプログラム

Publications (2)

Publication Number Publication Date
JP2021174139A JP2021174139A (ja) 2021-11-01
JP7484377B2 true JP7484377B2 (ja) 2024-05-16

Family

ID=78279616

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020076043A Active JP7484377B2 (ja) 2020-04-22 2020-04-22 情報処理装置およびプログラム

Country Status (1)

Country Link
JP (1) JP7484377B2 (ja)

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000010722A (ja) 1998-06-18 2000-01-14 Mr System Kenkyusho:Kk 視線ユーザ・インタフェース装置、そのインタフェース方法、コンピュータ装置、その制御方法、およびプログラム記憶媒体
JP2002099386A (ja) 2000-09-25 2002-04-05 Sanyo Electric Co Ltd 画面表示制御システム
JP2002312470A (ja) 2001-04-18 2002-10-25 Canon Inc 機器操作説明システム、サーバー、携帯端末、機器操作説明方法、機器操作説明プログラム及び機器操作説明プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2011232270A (ja) 2010-04-30 2011-11-17 Clarion Co Ltd ナビゲーション装置およびそのヘルプ提示方法
JP2013190463A (ja) 2012-03-12 2013-09-26 Nikon Corp 電子機器、およびプログラム
JP2014135064A (ja) 2014-02-12 2014-07-24 Canon Marketing Japan Inc コンテンツ閲覧装置、コンテンツ閲覧システム、コンテンツ閲覧装置の制御方法、コンテンツ閲覧システムの制御方法、およびプログラム
JP2014233035A (ja) 2013-05-30 2014-12-11 ソニー株式会社 情報処理装置、表示制御方法及びプログラム
US20150319280A1 (en) 2012-02-24 2015-11-05 Blackberry Limited Handheld Device With Notification Message Viewing
JP2015232811A (ja) 2014-06-10 2015-12-24 株式会社ニコン 表示装置及びデジタルカメラ
WO2016052501A1 (ja) 2014-09-29 2016-04-07 株式会社Nttドコモ ユーザインタフェース装置、プログラム及びコンテンツの通知方法
US20160116978A1 (en) 2013-10-28 2016-04-28 Chian Chiu Li Systems And Methods For Presenting Location Related Information
JP2017117276A (ja) 2015-12-25 2017-06-29 2.5次元ファクトリー株式会社 電子機器の操作方法および画像の表示方法
JP2017177768A (ja) 2016-03-31 2017-10-05 キヤノン株式会社 情報処理装置、制御方法およびプログラム
WO2018155026A1 (ja) 2017-02-27 2018-08-30 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2019164780A (ja) 2018-03-07 2019-09-26 綾子 高橋 電子機器
JP2020043534A (ja) 2018-09-13 2020-03-19 Zホールディングス株式会社 情報表示プログラム、情報表示装置、情報表示方法および配信装置
JP2020052573A (ja) 2018-09-25 2020-04-02 富士ゼロックス株式会社 表示装置、及び制御プログラム

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000010722A (ja) 1998-06-18 2000-01-14 Mr System Kenkyusho:Kk 視線ユーザ・インタフェース装置、そのインタフェース方法、コンピュータ装置、その制御方法、およびプログラム記憶媒体
JP2002099386A (ja) 2000-09-25 2002-04-05 Sanyo Electric Co Ltd 画面表示制御システム
JP2002312470A (ja) 2001-04-18 2002-10-25 Canon Inc 機器操作説明システム、サーバー、携帯端末、機器操作説明方法、機器操作説明プログラム及び機器操作説明プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2011232270A (ja) 2010-04-30 2011-11-17 Clarion Co Ltd ナビゲーション装置およびそのヘルプ提示方法
US20150319280A1 (en) 2012-02-24 2015-11-05 Blackberry Limited Handheld Device With Notification Message Viewing
JP2013190463A (ja) 2012-03-12 2013-09-26 Nikon Corp 電子機器、およびプログラム
JP2014233035A (ja) 2013-05-30 2014-12-11 ソニー株式会社 情報処理装置、表示制御方法及びプログラム
US20160116978A1 (en) 2013-10-28 2016-04-28 Chian Chiu Li Systems And Methods For Presenting Location Related Information
JP2014135064A (ja) 2014-02-12 2014-07-24 Canon Marketing Japan Inc コンテンツ閲覧装置、コンテンツ閲覧システム、コンテンツ閲覧装置の制御方法、コンテンツ閲覧システムの制御方法、およびプログラム
JP2015232811A (ja) 2014-06-10 2015-12-24 株式会社ニコン 表示装置及びデジタルカメラ
WO2016052501A1 (ja) 2014-09-29 2016-04-07 株式会社Nttドコモ ユーザインタフェース装置、プログラム及びコンテンツの通知方法
JP2017117276A (ja) 2015-12-25 2017-06-29 2.5次元ファクトリー株式会社 電子機器の操作方法および画像の表示方法
JP2017177768A (ja) 2016-03-31 2017-10-05 キヤノン株式会社 情報処理装置、制御方法およびプログラム
WO2018155026A1 (ja) 2017-02-27 2018-08-30 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2019164780A (ja) 2018-03-07 2019-09-26 綾子 高橋 電子機器
JP2020043534A (ja) 2018-09-13 2020-03-19 Zホールディングス株式会社 情報表示プログラム、情報表示装置、情報表示方法および配信装置
JP2020052573A (ja) 2018-09-25 2020-04-02 富士ゼロックス株式会社 表示装置、及び制御プログラム

Also Published As

Publication number Publication date
JP2021174139A (ja) 2021-11-01

Similar Documents

Publication Publication Date Title
JP7379734B2 (ja) ヘッドマウントディスプレイ
US10530998B2 (en) Image processing device, imaging device, image processing method, and program
CN107357540B (zh) 一种显示方向的调整方法及移动终端
JP2004264769A (ja) 情報処理装置およびプログラム
JP5885714B2 (ja) 画像形成システムおよび出力指示プログラム
EP3144775B1 (en) Information processing system and information processing method
US20090117849A1 (en) Cell phone terminal, method for starting data processing, method for transferring data
CN104079748A (zh) 作业信息显示装置
US11947757B2 (en) Personal digital assistant
JP6295995B2 (ja) 情報処理装置、画像処理装置へのジョブ指示方法
US11354031B2 (en) Electronic apparatus, computer-readable non-transitory recording medium, and display control method for controlling a scroll speed of a display screen
JP2009245095A (ja) 情報処理装置、プログラム、及び、遠隔操作システム
CN108632484B (zh) 图像形成系统和图像形成装置
CN108664300B (zh) 一种画中画模式下的应用界面显示方法及装置
JP2006343419A (ja) 表示装置、プログラムおよび記録媒体
JP7484377B2 (ja) 情報処理装置およびプログラム
JP6149684B2 (ja) 携帯端末、画像処理装置、及びプログラム
CN111010528A (zh) 视频通话方法、移动终端及计算机可读存储介质
JP5241635B2 (ja) 表示制御装置、表示制御システム及びコンピュータプログラム
JP2019015812A (ja) 端末装置、表示システム、及び端末装置の制御方法
JP2018124708A (ja) 画像形成システム
US20200033959A1 (en) Electronic apparatus, computer-readable non-transitory recording medium, and display control method
JP2012084040A (ja) 携帯端末装置、拡大表示方法、及びプログラム
JP2023105686A (ja) 画像形成装置、画像形成システム、及び画像形成プログラム
JP6094338B2 (ja) 画像処理システム、画像形成装置、表示装置、表示方法、および制御プログラム

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20201102

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230228

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230816

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230926

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240314

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240415

R150 Certificate of patent or registration of utility model

Ref document number: 7484377

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150