JP5932858B2 - 電子機器及び操作画面表示プログラム - Google Patents
電子機器及び操作画面表示プログラム Download PDFInfo
- Publication number
- JP5932858B2 JP5932858B2 JP2014015440A JP2014015440A JP5932858B2 JP 5932858 B2 JP5932858 B2 JP 5932858B2 JP 2014015440 A JP2014015440 A JP 2014015440A JP 2014015440 A JP2014015440 A JP 2014015440A JP 5932858 B2 JP5932858 B2 JP 5932858B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- user
- screen
- selection
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/0035—User-machine interface; Control console
- H04N1/00352—Input means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Position Input By Displaying (AREA)
- Facsimiles In General (AREA)
Description
本発明は、電子機器及び操作画面表示プログラムに係り、特に画面上に表示されるオブジェクトを選択する電子機器及び操作画面表示プログラムに関する。
従来から、文書や画像を印刷可能な複合機（Multifunctional Peripheral, MFP）等の画像形成装置が存在する。
これらの画像形成装置は、多くの機能を備えている。ユーザーは、ＧＵＩ（Graphical User Interface）により、各機能に対応して表示部に表示されたアイコン等のオブジェクトを、操作パネル部のボタン等を用いて選択することで、これらの機能を選択することができる。
ユーザーは、よく利用する機能であれば、操作パネル部の画面上に表示されるオブジェクトの画像から当該機能について思い出し、容易に当該機能のオブジェクトを選択することが可能である。
ユーザーは、よく利用する機能であれば、操作パネル部の画面上に表示されるオブジェクトの画像から当該機能について思い出し、容易に当該機能のオブジェクトを選択することが可能である。
ここで、特許文献１を参照すると、電子文書と、当該電子文書に対する操作内容を示すアイコンとを表示する表示部と、表示部に向けられたユーザーの視線位置を特定する視線位置特定部と、ユーザーの視線位置が、視線位置特定部により表示部内の特定の領域に向けられたことを検出された場合に、表示部にユーザーの視線位置を示すカーソルを表示させる表示制御部と、カーソルがアイコンを選択している状態において、ユーザーの表情を認識し、当該認識したユーザーの表情に基づいてアイコンの操作を実行させる表情認識部とを備える電子ブック装置が開示されている。
特許文献１の技術を画像形成装置に適用した場合、視線により機能を選択することも可能と考えられる。
特許文献１の技術を画像形成装置に適用した場合、視線により機能を選択することも可能と考えられる。
しかしながら、画像形成装置は多数の機能を備えているため、ユーザーが特定の機能等に対応するオブジェクトを画面上で探すのが困難なことがあった。
特許文献１の技術では、単に視線検索を使用して機能を選択することしかできないため、このような事態に対応できなかった。
特許文献１の技術では、単に視線検索を使用して機能を選択することしかできないため、このような事態に対応できなかった。
本発明は、このような状況に鑑みてなされたものであって、上述の問題点を解消することを課題とする。
本発明の電子機器は、ユーザーにより選択される複数のオブジェクトが一画面に表示される表示手段と、前記ユーザーの視線が向けられた前記表示手段上の視認座標を検出する視線検出手段と、該視線検出手段により検出された前記視認座標が前記オブジェクトの範囲内であった時間を算出するオブジェクト視認時間算出手段と、該オブジェクト視認時間算出手段により算出された時間が時間閾値より長く、且つ、当該オブジェクトが選択された頻度が頻度閾値より多かった場合、当該オブジェクトをユーザーの選択の候補から除外する選択除外手段とを備えることを特徴とする。
本発明の電子機器は、前記複数のオブジェクトが一画面上で表示される組み合わせを示す画面表示情報を複数記憶する記憶手段と、前記選択除外手段は、前記画面表示情報が変更され、その後、前記画面表示情報が戻された際に、前記ユーザーの選択の候補から除外された前記オブジェクトを、除外されない前記オブジェクトと区別して前記表示手段に表示することを特徴とする。
本発明の操作画面表示プログラムは、情報処理装置により実行される操作画面表示プログラムにおいて、ユーザーにより選択される複数のオブジェクトを一画面に表示し、前記ユーザーの視線が向けられた視認座標を検出し、検出された前記視認座標が前記オブジェクトの範囲内であった時間を算出し、算出された時間が時間閾値より長く、且つ、当該オブジェクトが選択された頻度が頻度閾値より多かった場合、当該オブジェクトをユーザーの選択の候補から除外することを特徴とする。
本発明の電子機器は、前記複数のオブジェクトが一画面上で表示される組み合わせを示す画面表示情報を複数記憶する記憶手段と、前記選択除外手段は、前記画面表示情報が変更され、その後、前記画面表示情報が戻された際に、前記ユーザーの選択の候補から除外された前記オブジェクトを、除外されない前記オブジェクトと区別して前記表示手段に表示することを特徴とする。
本発明の操作画面表示プログラムは、情報処理装置により実行される操作画面表示プログラムにおいて、ユーザーにより選択される複数のオブジェクトを一画面に表示し、前記ユーザーの視線が向けられた視認座標を検出し、検出された前記視認座標が前記オブジェクトの範囲内であった時間を算出し、算出された時間が時間閾値より長く、且つ、当該オブジェクトが選択された頻度が頻度閾値より多かった場合、当該オブジェクトをユーザーの選択の候補から除外することを特徴とする。
本発明によれば、オブジェクトが視認された時間が時間閾値より長く、且つ、当該オブジェクトが選択された頻度が頻度閾値より多かった場合、選択したい機能等とは異なるものであるとユーザーが既に認識したものとして、当該オブジェクトを選択対象から除外することで、ユーザーが容易に特定のオブジェクトを検索可能とする電子機器を提供することができる。
＜実施の形態＞
〔画像形成装置１の全体構成〕
まず、図１を参照して、画像形成装置１（情報処理装置）の全体の構成について説明する。
〔画像形成装置１の全体構成〕
まず、図１を参照して、画像形成装置１（情報処理装置）の全体の構成について説明する。
画像形成装置１は、画像処理部１１、原稿読取部１２、原稿給送部１３、搬送部１４、ネットワーク送受信部１５、操作パネル部１６、画像形成部１７（画像形成手段）、タイマー部１８、記憶部１９（記憶手段）、及び視線検出部２０（視線検出手段）が、制御部１０に接続されている。各部は、制御部１０によって動作制御される。
制御部１０は、ＧＰＰ（General Purpose Processor）、ＣＰＵ（Central Processing Unit、中央処理装置）、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＧＰＵ（Graphics Processing Unit）、ＡＳＩＣ（Application Specific Processor、特定用途向けプロセッサー）等の情報処理手段である。
制御部１０は、記憶部１９のＲＯＭやＨＤＤに記憶されている制御プログラムを読み出して、この制御プログラムをＲＡＭに展開させて実行することで、後述する機能ブロックの各手段として動作させられる。また、制御部１０は、図示しない外部の端末や操作パネル部１６から入力された指示情報に応じて、装置全体を制御する。
制御部１０は、記憶部１９のＲＯＭやＨＤＤに記憶されている制御プログラムを読み出して、この制御プログラムをＲＡＭに展開させて実行することで、後述する機能ブロックの各手段として動作させられる。また、制御部１０は、図示しない外部の端末や操作パネル部１６から入力された指示情報に応じて、装置全体を制御する。
画像処理部１１は、ＤＳＰ（Digital Signal Processor）やＧＰＵ（Graphics Processing Unit）等の制御演算手段である。画像処理部１１は、画像データに対して画像処理を行う手段であり、例えば、拡大縮小、濃度調整、階調調整、画像改善等の各種画像処理を行う。
画像処理部１１は、原稿読取部１２で読み取られた画像を、記憶部１９に印刷データとして記憶する。この際、画像処理部１１は、印刷データをＰＤＦやＴＩＦＦ等のフォーマットのファイル単位に変換することも可能である。
画像処理部１１は、原稿読取部１２で読み取られた画像を、記憶部１９に印刷データとして記憶する。この際、画像処理部１１は、印刷データをＰＤＦやＴＩＦＦ等のフォーマットのファイル単位に変換することも可能である。
原稿読取部１２は、セットされた原稿を読み取る（スキャン）手段である。
原稿給送部１３は、原稿読取部１２で読み取られる原稿を搬送する手段である。
搬送部１４は、給紙カセットから記録紙を搬送し、画像形成部１７で画像形成させ、その後にスタックトレイへ搬送する。
原稿給送部１３は、原稿読取部１２で読み取られる原稿を搬送する手段である。
搬送部１４は、給紙カセットから記録紙を搬送し、画像形成部１７で画像形成させ、その後にスタックトレイへ搬送する。
ネットワーク送受信部１５は、ＬＡＮ、無線ＬＡＮ、ＷＡＮ、携帯電話網等の外部ネットワークに接続するためのＬＡＮボードや無線送受信機等を含むネットワーク接続手段である。
ネットワーク送受信部１５は、データ通信用の回線ではデータを送受信し、音声電話回線では音声信号を送受信する。
ネットワーク送受信部１５は、データ通信用の回線ではデータを送受信し、音声電話回線では音声信号を送受信する。
操作パネル部１６は、入力部６１（入力手段）及び表示部６２（表示手段）とを備えている。
入力部６１は、ユーザーによる各種指示を取得するためのタッチパネルやボタン等である。
入力部６１のタッチパネルは、静電容量方式、抵抗膜方式、超音波検出方式等により、ユーザーが押下した表示部６２上の座標や押圧等を検出する。なお、入力部６１のタッチパネルがマルチタッチ対応の場合には、複数の座標や押圧等を検出してもよい。また、入力部６１のタッチパネルは、表示部６２と一体的に構成されていてもよい。
入力部６１のボタン部は、スタートキー、テンキー、コピーやスキャナーやファクシミリ送受信等の動作モードの切り換え、選択された文書の印刷／送信／受信等に係る指示を取得するためのボタン等を含んでいる。
入力部６１のタッチパネルは、静電容量方式、抵抗膜方式、超音波検出方式等により、ユーザーが押下した表示部６２上の座標や押圧等を検出する。なお、入力部６１のタッチパネルがマルチタッチ対応の場合には、複数の座標や押圧等を検出してもよい。また、入力部６１のタッチパネルは、表示部６２と一体的に構成されていてもよい。
入力部６１のボタン部は、スタートキー、テンキー、コピーやスキャナーやファクシミリ送受信等の動作モードの切り換え、選択された文書の印刷／送信／受信等に係る指示を取得するためのボタン等を含んでいる。
表示部６２は、ＬＣＤ（Liquid Crystal Display）、ＯＥＬ（Organic Electro-Luminescence）、ＦＥＤ（Field Emission Display）等の平面ディスプレイパネル、プロジェクタ、ステータス表示用ＬＥＤ等の表示手段である。表示部６２は、各種操作画面を表示する。表示部６２は、ユーザーにより選択される複数のオブジェクト２００（図３）が一画面に表示される。
表示部６２は、ＧＵＩの各種画像を表示させることが可能である。ここで、各種画像としては、ユーザーに選択を行わせるためのオブジェクト２００（図３）のデータが含まれる。また、表示部６２は、プレビュー（preview）の画像等も表示可能である。
表示部６２は、ＧＵＩの各種画像を表示させることが可能である。ここで、各種画像としては、ユーザーに選択を行わせるためのオブジェクト２００（図３）のデータが含まれる。また、表示部６２は、プレビュー（preview）の画像等も表示可能である。
画像形成部１７は、ユーザーの出力指示により、記憶部１９に記憶され、原稿読取部１２で読み取られ、又は外部の端末から取得されたデータから記録紙への画像形成を行わせる。
タイマー部１８は、ＣＰＵ内蔵クロック、リアルタイムクロック、ＧＰＳ（Global Positioning System）受信機、ＮＴＰクライアント等の時刻取得手段である。タイマー部１８は、誤差の少ない実時間の時刻情報を取得することが可能である。
また、タイマー部１８は、設定された時間の経過後、割り込み等を発生させるタイマーを設定可能である。
また、タイマー部１８は、設定された時間の経過後、割り込み等を発生させるタイマーを設定可能である。
記憶部１９は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の半導体メモリーやＨＤＤ（Hard Disk Drive）等の記録媒体を用いた記憶手段である。
記憶部１９は、複数のオブジェクト２００が一画面上で表示される組み合わせを示す画面選択情報３００（図３）を複数記憶する。
また、記憶部１９のＲＯＭやＨＤＤには画像形成装置１の動作制御を行うための制御プログラムが記憶されている。これに加えて、記憶部１９は、ユーザーのアカウント設定も記憶している。また、記憶部１９には、ユーザー毎の文書ボックス等の領域が含まれていてもよい。
記憶部１９は、複数のオブジェクト２００が一画面上で表示される組み合わせを示す画面選択情報３００（図３）を複数記憶する。
また、記憶部１９のＲＯＭやＨＤＤには画像形成装置１の動作制御を行うための制御プログラムが記憶されている。これに加えて、記憶部１９は、ユーザーのアカウント設定も記憶している。また、記憶部１９には、ユーザー毎の文書ボックス等の領域が含まれていてもよい。
視線検出部２０は、例えば、複数のカメラとＤＳＰとを備えた視線検出手段である。図２に、画像形成装置１の操作パネル部１６と視線検出部２０の外観の例を示す。
視線検出部２０は、ユーザーの視線が向けられた表示部６２上の視認座標４００（図３）を検出する。視線検出部２０は、例えば、撮像した画像データから、ユーザーの顔と目とを検出し、更に視線を三次元のベクトル形式等で算出し、この視線と表示部６２との交点の座標である視線座標を算出する。
また、視線検出部２０は、操作パネル部１６に設置することができる。図２に示す例では、視線検出部２０が操作パネル部１６の端部に設置されているが、操作パネル部１６の面上に設置されていてもよく、操作パネル部１６に内蔵されていてもよい。また、視線検出部２０は、操作パネル部１６から離れた位置に設置されていてもよい。また、視線検出部２０は、ユーザーを照らす照明部等も備えていてもよい。
視線検出部２０は、ユーザーの視線が向けられた表示部６２上の視認座標４００（図３）を検出する。視線検出部２０は、例えば、撮像した画像データから、ユーザーの顔と目とを検出し、更に視線を三次元のベクトル形式等で算出し、この視線と表示部６２との交点の座標である視線座標を算出する。
また、視線検出部２０は、操作パネル部１６に設置することができる。図２に示す例では、視線検出部２０が操作パネル部１６の端部に設置されているが、操作パネル部１６の面上に設置されていてもよく、操作パネル部１６に内蔵されていてもよい。また、視線検出部２０は、操作パネル部１６から離れた位置に設置されていてもよい。また、視線検出部２０は、ユーザーを照らす照明部等も備えていてもよい。
なお、図１に示す画像形成装置１において、制御部１０及び画像処理部１１は、ＧＰＵ内蔵ＣＰＵ等やチップ・オン・モジュールパッケージのように、一体的に形成されていてもよい。
また、制御部１０及び画像処理部１１は、ＲＡＭやＲＯＭやフラッシュメモリー等を内蔵していてもよい。
また、画像形成装置１は、ファクシミリの送受信を行うＦＡＸ送受信部を備えていてもよい。
また、制御部１０及び画像処理部１１は、ＲＡＭやＲＯＭやフラッシュメモリー等を内蔵していてもよい。
また、画像形成装置１は、ファクシミリの送受信を行うＦＡＸ送受信部を備えていてもよい。
〔画像形成装置１の制御構成〕
ここで、図３により、画像形成装置１の制御構成について説明する。
画像形成装置１の制御部１０は、オブジェクト選択頻度算出部１００（オブジェクト選択頻度算出手段）、オブジェクト視認時間算出部１１０（オブジェクト視認時間算出手段）、及び選択除外部１２０（選択除外手段）を備えている。
記憶部１９は、画面選択情報３００（画面表示情報）、時間閾値３１０、及び頻度閾値３２０を記憶している。
ここで、図３により、画像形成装置１の制御構成について説明する。
画像形成装置１の制御部１０は、オブジェクト選択頻度算出部１００（オブジェクト選択頻度算出手段）、オブジェクト視認時間算出部１１０（オブジェクト視認時間算出手段）、及び選択除外部１２０（選択除外手段）を備えている。
記憶部１９は、画面選択情報３００（画面表示情報）、時間閾値３１０、及び頻度閾値３２０を記憶している。
オブジェクト選択頻度算出部１００は、各オブジェクト２００が選択された頻度を算出する。オブジェクト選択頻度算出部１００は、ユーザーが表示部６２に表示された画面上のオブジェクト２００−１〜２００−ｎ（以下、これらのオブジェクト２００−１〜２００−ｎのいずれか示す場合、単に「オブジェクト２００」という。）を、入力部６１のタッチパネルやボタンで選択した際のオブジェクト選択完了指示を取得する。オブジェクト選択頻度算出部１００は、このオブジェクト選択完了指示を取得した場合、表示された画面に対応する画面選択情報３００毎に、特定の期間中に各オブジェクト２００が選択された頻度を算出する。オブジェクト選択頻度算出部１００は、各オブジェクト２００の算出された頻度を選択頻度データ２０２（図４）に記憶する。
なお、オブジェクト選択頻度算出部１００は、ユーザーの操作履歴から、よく利用する機能を抽出して、各オブジェクト２００の選択頻度データ２０２を算出してもよい。この場合、オブジェクト選択頻度算出部１００は、ユーザーが迷いなく特定の機能に到達した回数を測定し、一定以上の回数の利用が確認できた時点で、当該機能に対応するオブジェクト２００について、よく利用する機能であると判断して、選択頻度データ２０２に設定して記憶部１９に記憶してもよい。
なお、オブジェクト選択頻度算出部１００は、ユーザーの操作履歴から、よく利用する機能を抽出して、各オブジェクト２００の選択頻度データ２０２を算出してもよい。この場合、オブジェクト選択頻度算出部１００は、ユーザーが迷いなく特定の機能に到達した回数を測定し、一定以上の回数の利用が確認できた時点で、当該機能に対応するオブジェクト２００について、よく利用する機能であると判断して、選択頻度データ２０２に設定して記憶部１９に記憶してもよい。
オブジェクト視認時間算出部１１０は、視線検出部２０により検出された視認座標４００が各オブジェクト２００の範囲内であった時間を算出する。つまり、オブジェクト視認時間算出部１１０は、画面上で表示されるどのアイコン等のオブジェクト２００を、ユーザーがどれくらいの長さだけ見たかについての視認時間を算出する。この視認時間が、後述する時間閾値３１０以上であった場合、ユーザーが当該オブジェクトと対応する機能について認識している可能性が高くなる。
具体的には、オブジェクト視認時間算出部１１０は、視認座標４００と、各オブジェクト２００の座標データ２０１（図４）とを比較し、視認座標４００が当該オブジェクト２００の範囲内であるかどうかを判断し、範囲内であった時間をカウントして算出する。この上で、オブジェクト視認時間算出部１１０は、算出した時間を当該オブジェクト２００の視認時間データ２０３に記憶する。
具体的には、オブジェクト視認時間算出部１１０は、視認座標４００と、各オブジェクト２００の座標データ２０１（図４）とを比較し、視認座標４００が当該オブジェクト２００の範囲内であるかどうかを判断し、範囲内であった時間をカウントして算出する。この上で、オブジェクト視認時間算出部１１０は、算出した時間を当該オブジェクト２００の視認時間データ２０３に記憶する。
選択除外部１２０は、オブジェクト視認時間算出部１１０により算出された時間が時間閾値３１０より長く、且つ、当該オブジェクト２００が選択された頻度が頻度閾値３２０より多かった場合、ユーザーが選択する機能等とは異なるものと既に認識したと判断し、当該オブジェクト２００を、ユーザーが選択する候補から除外（以下、「選択除外」という。）する。選択除外部１２０は、このように選択除外した場合、当該オブジェクト２００の選択除外データ２０４（図４）に設定して記憶する。
また、選択除外部１２０は、ユーザーにより、別の画面の表示が指定された場合、画面選択情報３００を変更して、表示部６２上に変更された画面選択情報３００に含まれる各オブジェクト２００を描画する。この際、選択除外部１２０は、画面選択情報３００が変更され、その後、画面選択情報３００が戻された場合、当該画面選択情報３００に含まれる各オブジェクト２００の選択除外データ２０４を読み出す。選択除外部１２０は、読み出した選択除外データ２０４の各オブジェクト２００について、選択除外データ２０４によりユーザーの選択の候補から除外されていた場合、除外されない他のオブジェクト２００と区別して表示部６２に表示する。選択除外部１２０は、この区別として、例えば、オブジェクト２００をグレーアウトや、そもそも表示を行わない等の表示を行う。
また、選択除外部１２０は、ユーザーにより、別の画面の表示が指定された場合、画面選択情報３００を変更して、表示部６２上に変更された画面選択情報３００に含まれる各オブジェクト２００を描画する。この際、選択除外部１２０は、画面選択情報３００が変更され、その後、画面選択情報３００が戻された場合、当該画面選択情報３００に含まれる各オブジェクト２００の選択除外データ２０４を読み出す。選択除外部１２０は、読み出した選択除外データ２０４の各オブジェクト２００について、選択除外データ２０４によりユーザーの選択の候補から除外されていた場合、除外されない他のオブジェクト２００と区別して表示部６２に表示する。選択除外部１２０は、この区別として、例えば、オブジェクト２００をグレーアウトや、そもそも表示を行わない等の表示を行う。
画面選択情報３００は、表示部６２上に表示される複数の選択可能なオブジェクト２００の画面上の組み合わせを示すデータである（以下、画面選択情報３００−１〜３００−ｎのいずれかを示す場合、単に「画面選択情報３００」という。）。画面選択情報３００は、表示される画面を選択するユーザーの指示に対応して選択される。また、画面選択情報３００は、同一又は異なるオブジェクト２００−１〜２００−ｎを複数含んでいてもよい。
なお、画面選択情報３００には、ユーザーにより選択されないプレビュー画像やメニュー表示等のオブジェクト２００の情報が含まれていてもよい。
なお、画面選択情報３００には、ユーザーにより選択されないプレビュー画像やメニュー表示等のオブジェクト２００の情報が含まれていてもよい。
時間閾値３１０は、視線検出部２０により算出された視認座標４００が各オブジェクト２００の範囲内であった時間についての閾値である。時間閾値３１０は、選択除外部１２０により、各オブジェクト２００が選択除外される際に用いられる。時間閾値３１０は、ユーザーが画面上でオブジェクト２００に対応する機能等を認識可能な時間として、数百ｍ秒〜数秒程度の時間が設定されていてもよい。また、時間閾値３１０は、操作パネル部１６の入力部６１によるユーザーの指示により設定されてもよい。
頻度閾値３２０は、ユーザーにより、特定の期間で各オブジェクト２００が選択された頻度についての閾値である。頻度閾値３２０も、選択除外部１２０により、各オブジェクト２００が選択除外される際に用いられる。頻度閾値３２０は、ユーザーが機能を使用する頻度で設定されてもよい。また、頻度閾値３２０も、操作パネル部１６の入力部６１によるユーザーの指示により設定されてもよい。また、頻度閾値３２０を算出するための特定の期間についても、数日〜数ヶ月程度の期間で変更されてもよい。なお、時間閾値３１０及び頻度閾値３２０は、ユーザー毎に設定されていてもよい。
視認座標４００は、視線検出部２０により算出された、ユーザーの視線が向けられた表示部６２上の座標のデータである。なお、視認座標４００は、一時的に記憶部１９に記憶されてもよい。
次に、図４により、オブジェクト２００のデータの詳細な構成について説明する。オブジェクト２００は、座標データ２０１、選択頻度データ２０２、視認時間データ２０３、選択除外データ２０４を含んでいる。
座標データ２０１は、表示部６２の画面上で当該オブジェクト２００が表示される範囲を示す座標のデータである。座標データ２０１は、例えば、ポリゴン（多角形）や円形や楕円形等の形状で指定されていてもよい。
選択頻度データ２０２は、当該オブジェクト２００が、特定の期間中にユーザーにより選択された頻度を示すデータである。
視認時間データ２０３は、当該オブジェクト２００を含む画面選択情報３００が表示されてから、ユーザーにより視認された時間の合計等を示すデータである。
選択除外データ２０４は、当該オブジェクト２００が選択除外の状態された状態か、選択除外されていない通常状態か等を示すデータである。
なお、オブジェクト２００には、表示されるアイコンの画像データや説明の文字データ等が含まれていてもよい。また、オブジェクト２００は、画面選択情報３００毎に、異なる座標データ２０１、選択頻度データ２０２、視認時間データ２０３、選択除外データ２０４等を含んでいてもよい。
座標データ２０１は、表示部６２の画面上で当該オブジェクト２００が表示される範囲を示す座標のデータである。座標データ２０１は、例えば、ポリゴン（多角形）や円形や楕円形等の形状で指定されていてもよい。
選択頻度データ２０２は、当該オブジェクト２００が、特定の期間中にユーザーにより選択された頻度を示すデータである。
視認時間データ２０３は、当該オブジェクト２００を含む画面選択情報３００が表示されてから、ユーザーにより視認された時間の合計等を示すデータである。
選択除外データ２０４は、当該オブジェクト２００が選択除外の状態された状態か、選択除外されていない通常状態か等を示すデータである。
なお、オブジェクト２００には、表示されるアイコンの画像データや説明の文字データ等が含まれていてもよい。また、オブジェクト２００は、画面選択情報３００毎に、異なる座標データ２０１、選択頻度データ２０２、視認時間データ２０３、選択除外データ２０４等を含んでいてもよい。
ここで、画像形成装置１の制御部１０は、記憶部１９に記憶された制御プログラムを実行することで、オブジェクト選択頻度算出部１００、オブジェクト視認時間算出部１１０、及び選択除外部１２０として機能させられる。
また、上述の画像形成装置１の各部は、本発明の画像形成方法を実行するハードウェア資源となる。
また、上述の画像形成装置１の各部は、本発明の画像形成方法を実行するハードウェア資源となる。
〔画像形成装置１による視線選択補助処理〕
次に、図５〜図６を参照して、本発明の実施の形態に係る画像形成装置１による視線選択補助処理の説明を行う。
本実施形態の視線選択補助処理では、ユーザーが普段利用しない機能等のオブジェクト２００を選択している際に、視線検索による補助を行う。具体的には、ユーザーの視線検索を行い、タブ等で選択され表示される画面上で、ユーザーが視認した時間が時間閾値３１０より長く、且つ、頻度閾値３２０より選択された頻度が多いオブジェクト２００について、ユーザーが探している機能ではないと認識したものと判断する。このようなオブジェクト２００については、ユーザーが選択しなくてもよいよう選択除外の設定をして、変更された画面から当該画面に戻された際に、グレーアウト等で区別して表示することで、二回目以降のユーザーの検索の手間を少なくさせる。
本実施形態の視線選択補助処理は、主に制御部１０が、記憶部１９に記憶されたプログラムを、各部と協働し、ハードウェア資源を用いて実行する。
以下で、図５のフローチャートを参照して、視線選択補助処理の詳細をステップ毎に説明する。
次に、図５〜図６を参照して、本発明の実施の形態に係る画像形成装置１による視線選択補助処理の説明を行う。
本実施形態の視線選択補助処理では、ユーザーが普段利用しない機能等のオブジェクト２００を選択している際に、視線検索による補助を行う。具体的には、ユーザーの視線検索を行い、タブ等で選択され表示される画面上で、ユーザーが視認した時間が時間閾値３１０より長く、且つ、頻度閾値３２０より選択された頻度が多いオブジェクト２００について、ユーザーが探している機能ではないと認識したものと判断する。このようなオブジェクト２００については、ユーザーが選択しなくてもよいよう選択除外の設定をして、変更された画面から当該画面に戻された際に、グレーアウト等で区別して表示することで、二回目以降のユーザーの検索の手間を少なくさせる。
本実施形態の視線選択補助処理は、主に制御部１０が、記憶部１９に記憶されたプログラムを、各部と協働し、ハードウェア資源を用いて実行する。
以下で、図５のフローチャートを参照して、視線選択補助処理の詳細をステップ毎に説明する。
（ステップＳ１００）
まず、制御部１０が、オブジェクト視認時間算出部１１０として、視認時間初期設定処理を行う。
制御部１０は、ユーザーが、入力部６１等により、複数の画面からオブジェクト２００を選択するメニュー等を表示する指示を行った場合に、これを取得する。制御部１０は、このメニュー等で選択可能なすべての画面に対応した画面選択情報３００を特定し、これらに含まれるオブジェクト２００の視認時間データ２０３を初期化する。
また、制御部１０は、メニューで最初に表示される初期画面の画面選択情報３００を選択して、これに含まれるオブジェクト２００をＧＵＩのプログラムにより表示部６２上に描画する。
図６（ａ）の画面例５００では、初期画面として「タブα」の画面が表示された表示欄６００に「機能Ａ」〜「機能Ｆ」のオブジェクト２００が表示された例を示している。
また、制御部１０は、ユーザーの認証、視線検出部２０の起動、及びその他の各種初期化処理も行ってもよい。
まず、制御部１０が、オブジェクト視認時間算出部１１０として、視認時間初期設定処理を行う。
制御部１０は、ユーザーが、入力部６１等により、複数の画面からオブジェクト２００を選択するメニュー等を表示する指示を行った場合に、これを取得する。制御部１０は、このメニュー等で選択可能なすべての画面に対応した画面選択情報３００を特定し、これらに含まれるオブジェクト２００の視認時間データ２０３を初期化する。
また、制御部１０は、メニューで最初に表示される初期画面の画面選択情報３００を選択して、これに含まれるオブジェクト２００をＧＵＩのプログラムにより表示部６２上に描画する。
図６（ａ）の画面例５００では、初期画面として「タブα」の画面が表示された表示欄６００に「機能Ａ」〜「機能Ｆ」のオブジェクト２００が表示された例を示している。
また、制御部１０は、ユーザーの認証、視線検出部２０の起動、及びその他の各種初期化処理も行ってもよい。
（ステップＳ１０１）
次に、視線検出部２０が、視認座標検出処理を行う。
視線検出部２０は、ユーザーの視線を視認座標４００して検出する。視線座標４００は、制御部１０で読み出し可能に記憶される。
次に、視線検出部２０が、視認座標検出処理を行う。
視線検出部２０は、ユーザーの視線を視認座標４００して検出する。視線座標４００は、制御部１０で読み出し可能に記憶される。
（ステップＳ１０２）
次に、制御部１０は、オブジェクト視認時間算出部１１０として、視認時間算出処理を行う。
制御部１０は、視線検出部２０により検出された視線座標が、表示部６２に表示された画面の画面選択情報３００に含まれる各オブジェクト２００について、範囲内であるかどうかを座標データ２０１により判断する。制御部１０は、視線座標が範囲内であったオブジェクト２００について、範囲内であった時間をタイマー部１８により計測して、当該オブジェクト２００の視認時間データ２０３に追加し、記憶部１９に記憶する。
次に、制御部１０は、オブジェクト視認時間算出部１１０として、視認時間算出処理を行う。
制御部１０は、視線検出部２０により検出された視線座標が、表示部６２に表示された画面の画面選択情報３００に含まれる各オブジェクト２００について、範囲内であるかどうかを座標データ２０１により判断する。制御部１０は、視線座標が範囲内であったオブジェクト２００について、範囲内であった時間をタイマー部１８により計測して、当該オブジェクト２００の視認時間データ２０３に追加し、記憶部１９に記憶する。
（ステップＳ１０３）
次に、制御部１０が、オブジェクト視認時間算出部１１０として、ユーザーが画面を変更する指示を行ったか否かを判断する。制御部１０は、ユーザーが表示部６２に表示される画面の選択を変更する指示を入力部６１で入力した場合、Ｙｅｓと判断する。制御部１０は、それ以外の場合、つまり、ユーザーが画面上のオブジェクト２００を閲覧中である場合、又はオブジェクト２００を選択した場合等には、Ｎｏと判断する。
図６（ａ）〜（ｃ）の画面例５００〜画面例５０２によると、制御部１０は、「タブα」の画面が表示された表示欄６００から「タブβ」の画面が表示された表示欄６１０が選択された場合、又は、「タブβ」の表示欄６１０から「タブα」の表示欄が選択された場合に、画面表示の変更の指示があったものとして、Ｙｅｓと判断する。具体的には、制御部１０は、例えば、表示欄６００又は表示欄６１０の「機能Ａ」〜「機能Ｌ」と記載された各オブジェクト２００以外の箇所が、入力部６１のタッチパネルで押下された場合又はボタン等で「進む」「戻る」等のボタンが押下された等の場合に、画面表示の変更の指示があったと判断する。
Ｙｅｓの場合、制御部１０は、処理をステップＳ１０４に進める。
Ｎｏの場合、制御部１０は、処理をステップＳ１０９に進める。
次に、制御部１０が、オブジェクト視認時間算出部１１０として、ユーザーが画面を変更する指示を行ったか否かを判断する。制御部１０は、ユーザーが表示部６２に表示される画面の選択を変更する指示を入力部６１で入力した場合、Ｙｅｓと判断する。制御部１０は、それ以外の場合、つまり、ユーザーが画面上のオブジェクト２００を閲覧中である場合、又はオブジェクト２００を選択した場合等には、Ｎｏと判断する。
図６（ａ）〜（ｃ）の画面例５００〜画面例５０２によると、制御部１０は、「タブα」の画面が表示された表示欄６００から「タブβ」の画面が表示された表示欄６１０が選択された場合、又は、「タブβ」の表示欄６１０から「タブα」の表示欄が選択された場合に、画面表示の変更の指示があったものとして、Ｙｅｓと判断する。具体的には、制御部１０は、例えば、表示欄６００又は表示欄６１０の「機能Ａ」〜「機能Ｌ」と記載された各オブジェクト２００以外の箇所が、入力部６１のタッチパネルで押下された場合又はボタン等で「進む」「戻る」等のボタンが押下された等の場合に、画面表示の変更の指示があったと判断する。
Ｙｅｓの場合、制御部１０は、処理をステップＳ１０４に進める。
Ｎｏの場合、制御部１０は、処理をステップＳ１０９に進める。
（ステップＳ１０４）
画面が変更された場合、制御部１０が、選択除外部１２０として、視認時間データ２０３の値が時間閾値３１０以上、且つ、選択頻度データ２０２の値が頻度閾値３２０以上のオブジェクト２００について判断する。制御部１０は、選択された画面の画面選択情報３００に含まれる各オブジェクト２００のうち、視認時間データ２０３の値が時間閾値３１０以上、且つ、選択頻度データ２０２の値が頻度閾値３２０以上のオブジェクト２００について、Ｙｅｓと判断する。制御部１０は、それ以外のオブジェクト２００については、Ｎｏと判断する。
Ｙｅｓの場合、制御部１０は、処理をステップＳ１０５に進める。
Ｎｏの場合、制御部１０は、処理をステップＳ１０６に進める。
画面が変更された場合、制御部１０が、選択除外部１２０として、視認時間データ２０３の値が時間閾値３１０以上、且つ、選択頻度データ２０２の値が頻度閾値３２０以上のオブジェクト２００について判断する。制御部１０は、選択された画面の画面選択情報３００に含まれる各オブジェクト２００のうち、視認時間データ２０３の値が時間閾値３１０以上、且つ、選択頻度データ２０２の値が頻度閾値３２０以上のオブジェクト２００について、Ｙｅｓと判断する。制御部１０は、それ以外のオブジェクト２００については、Ｎｏと判断する。
Ｙｅｓの場合、制御部１０は、処理をステップＳ１０５に進める。
Ｎｏの場合、制御部１０は、処理をステップＳ１０６に進める。
（ステップＳ１０５）
時間閾値３１０以上、且つ、頻度閾値３２０以上の各オブジェクト２００について、制御部１０は、選択除外部１２０として、選択除外設定処理を行う。
制御部１０は、これらのオブジェクト２００の選択除外データ２０４に、選択除外されたことを設定して記憶部１９に記憶する。
図６（ａ）の画面例５００では、表示欄６００の「機能Ａ」、「機能Ｃ」、「機能Ｅ」の各オブジェクト２００について、選択除外が設定された例を示す。しかし、下記で説明するように、すぐ変更された画面が描画されるため、後で、表示欄６００の画面に戻された際に、この選択除外が反映される。
時間閾値３１０以上、且つ、頻度閾値３２０以上の各オブジェクト２００について、制御部１０は、選択除外部１２０として、選択除外設定処理を行う。
制御部１０は、これらのオブジェクト２００の選択除外データ２０４に、選択除外されたことを設定して記憶部１９に記憶する。
図６（ａ）の画面例５００では、表示欄６００の「機能Ａ」、「機能Ｃ」、「機能Ｅ」の各オブジェクト２００について、選択除外が設定された例を示す。しかし、下記で説明するように、すぐ変更された画面が描画されるため、後で、表示欄６００の画面に戻された際に、この選択除外が反映される。
（ステップＳ１０６）
ここで、制御部１０が、選択除外部１２０として、画面表示が戻されたか否かを判断する。制御部１０は、ユーザーにより選択された画面が、既に表示部６２に表示されたものであった場合に、Ｙｅｓと判断する。制御部１０は、それ以外の場合には、Ｎｏと判断する。
図６（ｂ）の画面例５０１では、制御部１０は、「タブβ」の表示欄６１０が表示されている場合に、ユーザーが「タブα」の表示欄６００を表示するよう指示した場合に、Ｙｅｓと判断する。
Ｙｅｓの場合、制御部１０は、処理をステップＳ１０７に進める。
Ｎｏの場合、制御部１０は、処理をステップＳ１０８に進める。
ここで、制御部１０が、選択除外部１２０として、画面表示が戻されたか否かを判断する。制御部１０は、ユーザーにより選択された画面が、既に表示部６２に表示されたものであった場合に、Ｙｅｓと判断する。制御部１０は、それ以外の場合には、Ｎｏと判断する。
図６（ｂ）の画面例５０１では、制御部１０は、「タブβ」の表示欄６１０が表示されている場合に、ユーザーが「タブα」の表示欄６００を表示するよう指示した場合に、Ｙｅｓと判断する。
Ｙｅｓの場合、制御部１０は、処理をステップＳ１０７に進める。
Ｎｏの場合、制御部１０は、処理をステップＳ１０８に進める。
（ステップＳ１０７）
画面表示が戻された場合、制御部１０は、選択除外部１２０として、選択除外区別表示処理を行う。
制御部１０は、選択除外データ２０４に選択除外が設定されたオブジェクト２００を、選択除外データ２０４に選択除外が設定されていないオブジェクト２００と区別して表示部６２に表示する。これにより、画面選択情報３００が変更され、その後、画面選択情報３００が戻された際、ユーザーが選択除外されたオブジェクト２００をそれ以外のオブジェクト２００と区別して認識することが可能となる。
図６（ｃ）の画面例５０２の表示欄６００では、選択除外された「機能Ａ」、「機能Ｃ」、「機能Ｅ」の各オブジェクト２００がグレーアウトにより区別して表示された例を示す。制御部１０は、この状態の各オブジェクト２００について、ユーザーが選択できないように設定してもよい。また、この例では、表示欄６００では、選択除外されていない通常状態の「機能Ｂ」、「機能Ｄ」、「機能Ｆ」のオブジェクト２００については、グレーアウトさせず表示させる。
その後、制御部１０は、処理をステップＳ１０９に進める。
なお、制御部１０は、オブジェクト２００がグレーアウトしている状態でも、ユーザーが複数回、押下した場合には、また通常の状態に表示して、選択することができるようにしてもよい。この場合、制御部１０は、当該オブジェクト２００の選択除外データ２０４の選択除外から通常状態に設定しなおして、記憶部１９に記憶してもよい。また、この際に、制御部１０は、時間閾値３１０及び頻度閾値３２０を設定しなおしてもよい。
画面表示が戻された場合、制御部１０は、選択除外部１２０として、選択除外区別表示処理を行う。
制御部１０は、選択除外データ２０４に選択除外が設定されたオブジェクト２００を、選択除外データ２０４に選択除外が設定されていないオブジェクト２００と区別して表示部６２に表示する。これにより、画面選択情報３００が変更され、その後、画面選択情報３００が戻された際、ユーザーが選択除外されたオブジェクト２００をそれ以外のオブジェクト２００と区別して認識することが可能となる。
図６（ｃ）の画面例５０２の表示欄６００では、選択除外された「機能Ａ」、「機能Ｃ」、「機能Ｅ」の各オブジェクト２００がグレーアウトにより区別して表示された例を示す。制御部１０は、この状態の各オブジェクト２００について、ユーザーが選択できないように設定してもよい。また、この例では、表示欄６００では、選択除外されていない通常状態の「機能Ｂ」、「機能Ｄ」、「機能Ｆ」のオブジェクト２００については、グレーアウトさせず表示させる。
その後、制御部１０は、処理をステップＳ１０９に進める。
なお、制御部１０は、オブジェクト２００がグレーアウトしている状態でも、ユーザーが複数回、押下した場合には、また通常の状態に表示して、選択することができるようにしてもよい。この場合、制御部１０は、当該オブジェクト２００の選択除外データ２０４の選択除外から通常状態に設定しなおして、記憶部１９に記憶してもよい。また、この際に、制御部１０は、時間閾値３１０及び頻度閾値３２０を設定しなおしてもよい。
（ステップＳ１０８）
画面表示が異なる画面の表示であった場合、制御部１０は、選択除外部１２０として、通常表示処理を行う。
制御部１０は、ユーザーにより選択された画面に対応した画面選択情報３００に含まれるオブジェクト２００を、表示部６２上に表示する。
図６（ｂ）では、「タブα」の表示欄６００から、「タブβ」の表示欄６１０に画面が変更されて表示された例を示している。なお、制御部１０は、このように表示される画面を変化させても、プレビューの表示欄６２０のように、変化しないオブジェクト２００を表示することも可能である。
画面表示が異なる画面の表示であった場合、制御部１０は、選択除外部１２０として、通常表示処理を行う。
制御部１０は、ユーザーにより選択された画面に対応した画面選択情報３００に含まれるオブジェクト２００を、表示部６２上に表示する。
図６（ｂ）では、「タブα」の表示欄６００から、「タブβ」の表示欄６１０に画面が変更されて表示された例を示している。なお、制御部１０は、このように表示される画面を変化させても、プレビューの表示欄６２０のように、変化しないオブジェクト２００を表示することも可能である。
（ステップＳ１０９）
ここで、制御部１０が、オブジェクト選択頻度算出部１００として、オブジェクト選択完了指示があったか否かを判断する。制御部１０は、表示部６２に表示されたオブジェクト２００のいずれかについて、ユーザーが入力部６１のタッチパネルやボタン等を押下して選択を完了した場合、このオブジェクト選択完了指示を取得して、Ｙｅｓと判断する。制御部１０は、それ以外の場合には、Ｎｏと判断する。
Ｙｅｓの場合、制御部１０は、処理をステップＳ１１０に進める。
Ｎｏの場合、制御部１０は、処理をステップＳ１０１に戻して、視線検出部２０に視線の検出を続けさせる。
ここで、制御部１０が、オブジェクト選択頻度算出部１００として、オブジェクト選択完了指示があったか否かを判断する。制御部１０は、表示部６２に表示されたオブジェクト２００のいずれかについて、ユーザーが入力部６１のタッチパネルやボタン等を押下して選択を完了した場合、このオブジェクト選択完了指示を取得して、Ｙｅｓと判断する。制御部１０は、それ以外の場合には、Ｎｏと判断する。
Ｙｅｓの場合、制御部１０は、処理をステップＳ１１０に進める。
Ｎｏの場合、制御部１０は、処理をステップＳ１０１に戻して、視線検出部２０に視線の検出を続けさせる。
（ステップＳ１１０）
オブジェクト選択完了指示を取得した場合、制御部１０は、オブジェクト選択頻度算出部１００として、選択頻度更新処理を行う。
制御部１０は、選択された画面選択情報３００のオブジェクト２００の選択頻度データ２０２を加算して、頻度を算出し直し、記憶部１９に記憶する。また、制御部１０は、特定の期間を超えて選択されていないオブジェクト２００の選択頻度データ２０２の頻度を減少させ、記憶部１９に記憶する。
以上により、本発明の実施の形態に係る視線選択補助処理を終了する。
オブジェクト選択完了指示を取得した場合、制御部１０は、オブジェクト選択頻度算出部１００として、選択頻度更新処理を行う。
制御部１０は、選択された画面選択情報３００のオブジェクト２００の選択頻度データ２０２を加算して、頻度を算出し直し、記憶部１９に記憶する。また、制御部１０は、特定の期間を超えて選択されていないオブジェクト２００の選択頻度データ２０２の頻度を減少させ、記憶部１９に記憶する。
以上により、本発明の実施の形態に係る視線選択補助処理を終了する。
以上のように構成することで、以下のような効果を得ることができる。
従来、特許文献１のような視線検索を使っても、ユーザーが多数の機能から特定の機能を検索するのは困難であることがあった。具体的に説明すると、従来の画像形成装置において、ユーザーは、よく利用する機能であれば、操作パネル部の画面上のアイコンから機能について思い出し、容易に当該機能を選択して利用することが可能であった。しかしながら、ほとんど利用しない機能の場合は、複数の画面を切り換えて、一つ一つ機能のアイコンと名前から機能を想像し、実際にアイコンを選択し、その設定内容等を確認した上で、その機能が要求したものかどうかを確認する作業が必要になっていた。ここで、一通り確認しても特定の機能が見つからない場合、画面を戻し、再度先頭から見直す必要があった。その場合、どのアイコンの設定内容を確認したかをユーザーが記憶しておらず、一度確認したはずの機能を再度確認するといった事態が生じることがあった。
これに対して、本発明の実施の形態に係る画像形成装置１は、ユーザーにより選択される複数のオブジェクト２００が一画面に表示される表示部６２と、ユーザーの視線が向けられた表示部６２上の視認座標４００を検出する視線検出部２０と、視線検出部２０により検出された視認座標４００がオブジェクト２００の範囲内であった時間を算出するオブジェクト視認時間算出部１１０と、オブジェクト視認時間算出部１１０により算出された時間が特定の時間閾値３１０より長く、且つ、当該オブジェクト２００が選択された頻度が特定の頻度閾値３２０より多かった場合、当該オブジェクト２００をユーザーの選択の候補から除外する選択除外部１２０とを備えることを特徴とする。
このように構成することで、ユーザーが視線検索とこれまでのオブジェクト２００の選択頻度とから、一度検索し、異なると判断した機能等に対応するオブジェクト２００を選択対象外とすることができる。これにより、ユーザーが検索する対象のオブジェクト２００を絞り込み、検索をスムーズに行わせることが可能になる。よって、ユーザーの使い勝手をよくすることができる。
従来、特許文献１のような視線検索を使っても、ユーザーが多数の機能から特定の機能を検索するのは困難であることがあった。具体的に説明すると、従来の画像形成装置において、ユーザーは、よく利用する機能であれば、操作パネル部の画面上のアイコンから機能について思い出し、容易に当該機能を選択して利用することが可能であった。しかしながら、ほとんど利用しない機能の場合は、複数の画面を切り換えて、一つ一つ機能のアイコンと名前から機能を想像し、実際にアイコンを選択し、その設定内容等を確認した上で、その機能が要求したものかどうかを確認する作業が必要になっていた。ここで、一通り確認しても特定の機能が見つからない場合、画面を戻し、再度先頭から見直す必要があった。その場合、どのアイコンの設定内容を確認したかをユーザーが記憶しておらず、一度確認したはずの機能を再度確認するといった事態が生じることがあった。
これに対して、本発明の実施の形態に係る画像形成装置１は、ユーザーにより選択される複数のオブジェクト２００が一画面に表示される表示部６２と、ユーザーの視線が向けられた表示部６２上の視認座標４００を検出する視線検出部２０と、視線検出部２０により検出された視認座標４００がオブジェクト２００の範囲内であった時間を算出するオブジェクト視認時間算出部１１０と、オブジェクト視認時間算出部１１０により算出された時間が特定の時間閾値３１０より長く、且つ、当該オブジェクト２００が選択された頻度が特定の頻度閾値３２０より多かった場合、当該オブジェクト２００をユーザーの選択の候補から除外する選択除外部１２０とを備えることを特徴とする。
このように構成することで、ユーザーが視線検索とこれまでのオブジェクト２００の選択頻度とから、一度検索し、異なると判断した機能等に対応するオブジェクト２００を選択対象外とすることができる。これにより、ユーザーが検索する対象のオブジェクト２００を絞り込み、検索をスムーズに行わせることが可能になる。よって、ユーザーの使い勝手をよくすることができる。
また、本発明の実施の形態に係る画像形成装置１は、複数のオブジェクト２００が一画面上で表示される組み合わせを示す画面選択情報３００を複数記憶する記憶部１９と、選択除外部１２０は、画面選択情報３００が変更され、その後、画面選択情報３００が戻された際に、ユーザーの選択の候補から除外されたオブジェクト２００を、除外されないオブジェクト２００と区別して表示部６２に表示することを特徴とする。
このように構成することで、ユーザーが普段利用しない機能を探している際に、探している機能ではないと判断したオブジェクト２００をグレーアウトさせて表示したり、画面表示から消したりして、区別して表示することができる。結果として、ユーザーに、区別して表示させた機能がある状態を意識させつつ、二回目以降の検索量を少なくさせることができる。よって、ユーザーが二重で検索する手間を防止させ、効率的に検索させることが可能となる。
このように構成することで、ユーザーが普段利用しない機能を探している際に、探している機能ではないと判断したオブジェクト２００をグレーアウトさせて表示したり、画面表示から消したりして、区別して表示することができる。結果として、ユーザーに、区別して表示させた機能がある状態を意識させつつ、二回目以降の検索量を少なくさせることができる。よって、ユーザーが二重で検索する手間を防止させ、効率的に検索させることが可能となる。
以上の効果をまとめると、本実施形態の画像形成装置１は、ユーザーが一度確認した機能を再度確認させる必要がなくなり、ユーザーの使い勝手をよくすることができる。
図６を再び参照して説明すると、従来、ユーザーが画像形成装置１の機能を利用する際には、図６（ａ）のようにタブαの「機能Ａ」から「機能Ｆ」まで一通り利用したい機能を検索し、見つからなければ、図６（ｂ）のようにタブβに切り替え、タブαの時と同様に機能を探していく必要があった。ここで、利用したい機能が見つからなければ、再度、タブαに戻し、機能Ａから順に探していた。
これに対して、本実施形態においては、すでに検索し終え、ユーザーが求める機能ではないと判断されたオブジェクト２００については、選択除外され、図６（ｃ）のようにグレーアウト等して表示される。このようにすることで、ユーザーがタブαについて二度目の検索を行う場合、機能Ｂ、機能Ｄ、機能Ｆのみを検索すればよいことになる。
このため、ユーザーは、どの機能がどの位置に配置されているかを注意深く意識して操作する必要なく、一度検索した機能が求めているものと異なると判断した場合、再度、確認する必要がなくなる。よって、使い勝手をよくすることができる。
図６を再び参照して説明すると、従来、ユーザーが画像形成装置１の機能を利用する際には、図６（ａ）のようにタブαの「機能Ａ」から「機能Ｆ」まで一通り利用したい機能を検索し、見つからなければ、図６（ｂ）のようにタブβに切り替え、タブαの時と同様に機能を探していく必要があった。ここで、利用したい機能が見つからなければ、再度、タブαに戻し、機能Ａから順に探していた。
これに対して、本実施形態においては、すでに検索し終え、ユーザーが求める機能ではないと判断されたオブジェクト２００については、選択除外され、図６（ｃ）のようにグレーアウト等して表示される。このようにすることで、ユーザーがタブαについて二度目の検索を行う場合、機能Ｂ、機能Ｄ、機能Ｆのみを検索すればよいことになる。
このため、ユーザーは、どの機能がどの位置に配置されているかを注意深く意識して操作する必要なく、一度検索した機能が求めているものと異なると判断した場合、再度、確認する必要がなくなる。よって、使い勝手をよくすることができる。
なお、本実施形態においては、機能を選択する際に視線検出を利用する例について説明した。しかしながら、本実施形態の視線機能選択処理は、これ以外にも、入力部６１にて画像を選択するような処理に全て適用可能である。つまり、制御部１０は、例えば、プレビュー画像やサムネイル画像の選択、ファイルの選択等、多数のオブジェクト２００から必要なものを選択する処理に用いることができる。
このような構成により、ユーザーの使い勝手をよくすることができる。
このような構成により、ユーザーの使い勝手をよくすることができる。
また、本実施形態においては、画像形成装置１の操作パネル部１６によるオブジェクト２００の選択の例について説明した。
しかしながら、本発明は、画像形成装置以外の情報処理装置にも適用できる。たとえばタッチパネルを備えるスマートフォン、携帯電話、ＰＣ（Personal Computer）、ＰＤＡ（Personal Data Assistant）、テレビジョン等にも適法可能である。
しかしながら、本発明は、画像形成装置以外の情報処理装置にも適用できる。たとえばタッチパネルを備えるスマートフォン、携帯電話、ＰＣ（Personal Computer）、ＰＤＡ（Personal Data Assistant）、テレビジョン等にも適法可能である。
また、上記実施の形態の構成及び動作は例であって、本発明の趣旨を逸脱しない範囲で適宜変更して実行することができることは言うまでもない。
１ 画像形成装置
１０ 制御部
１１ 画像処理部
１２ 原稿読取部
１３ 原稿給送部
１４ 搬送部
１５ ネットワーク送受信部
１６ 操作パネル部
１７ 画像形成部
１８ タイマー部
１９ 記憶部
２０ 視線検出部
６１ 入力部
６２ 表示部
１００ オブジェクト選択頻度算出部
１１０ オブジェクト視認時間算出部
１２０ 選択除外部
２００、２００−１〜２００−ｎ オブジェクト
２０１ 座標データ
２０２ 選択頻度データ
２０３ 視認時間データ
２０４ 選択除外データ
３００、３００−１〜３００−ｎ 画面選択情報
３１０ 時間閾値
３２０ 頻度閾値
４００ 視認座標
５００、５０１、５０２ 画面例
６００、６１０、６２０ 表示欄
１０ 制御部
１１ 画像処理部
１２ 原稿読取部
１３ 原稿給送部
１４ 搬送部
１５ ネットワーク送受信部
１６ 操作パネル部
１７ 画像形成部
１８ タイマー部
１９ 記憶部
２０ 視線検出部
６１ 入力部
６２ 表示部
１００ オブジェクト選択頻度算出部
１１０ オブジェクト視認時間算出部
１２０ 選択除外部
２００、２００−１〜２００−ｎ オブジェクト
２０１ 座標データ
２０２ 選択頻度データ
２０３ 視認時間データ
２０４ 選択除外データ
３００、３００−１〜３００−ｎ 画面選択情報
３１０ 時間閾値
３２０ 頻度閾値
４００ 視認座標
５００、５０１、５０２ 画面例
６００、６１０、６２０ 表示欄
Claims (3)
- ユーザーにより選択される複数のオブジェクトが一画面に表示される表示手段と、
前記ユーザーの視線が向けられた前記表示手段上の視認座標を検出する視線検出手段と、
該視線検出手段により検出された前記視認座標が前記オブジェクトの範囲内であった時間を算出するオブジェクト視認時間算出手段と、
該オブジェクト視認時間算出手段により算出された時間が時間閾値より長く、且つ、当該オブジェクトが選択された頻度が頻度閾値より多かった場合、当該オブジェクトをユーザーの選択の候補から除外する選択除外手段とを備える
ことを特徴とする電子機器。 - 前記複数のオブジェクトが一画面上で表示される組み合わせを示す画面表示情報を複数記憶する記憶手段と、
前記選択除外手段は、前記画面表示情報が変更され、その後、前記画面表示情報が戻された際に、前記ユーザーの選択の候補から除外された前記オブジェクトを、除外されない前記オブジェクトと区別して前記表示手段に表示する
ことを特徴とする請求項１に記載の電子機器。 - 情報処理装置により実行される操作画面表示プログラムにおいて、
ユーザーにより選択される複数のオブジェクトを一画面に表示し、
前記ユーザーの視線が向けられた視認座標を検出し、
検出された前記視認座標が前記オブジェクトの範囲内であった時間を算出し、
算出された時間が時間閾値より長く、且つ、当該オブジェクトが選択された頻度が頻度閾値より多かった場合、当該オブジェクトをユーザーの選択の候補から除外する
ことを特徴とする操作画面表示プログラム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014015440A JP5932858B2 (ja) | 2014-01-30 | 2014-01-30 | 電子機器及び操作画面表示プログラム |
| US14/601,424 US9696889B2 (en) | 2014-01-30 | 2015-01-21 | Electronic device that displays an operation screen including an object |
| CN201510029459.9A CN104822005B (zh) | 2014-01-30 | 2015-01-21 | 电子设备以及操作画面显示方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014015440A JP5932858B2 (ja) | 2014-01-30 | 2014-01-30 | 電子機器及び操作画面表示プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015141668A JP2015141668A (ja) | 2015-08-03 |
| JP5932858B2 true JP5932858B2 (ja) | 2016-06-08 |
Family
ID=53679067
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014015440A Expired - Fee Related JP5932858B2 (ja) | 2014-01-30 | 2014-01-30 | 電子機器及び操作画面表示プログラム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US9696889B2 (ja) |
| JP (1) | JP5932858B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017146941A (ja) * | 2016-02-19 | 2017-08-24 | 富士通株式会社 | 画像表示装置、表示制御方法および表示制御プログラム |
| JP6583043B2 (ja) * | 2016-02-19 | 2019-10-02 | 富士通株式会社 | 画像表示装置、表示制御方法および表示制御プログラム |
| JP6729054B2 (ja) * | 2016-06-23 | 2020-07-22 | 富士ゼロックス株式会社 | 情報処理装置、情報処理システムおよび画像形成装置 |
| JP6557183B2 (ja) * | 2016-06-28 | 2019-08-07 | ファナック株式会社 | 切削加工工具の寿命判定装置、寿命判定方法及びプログラム |
| JP6740774B2 (ja) * | 2016-07-25 | 2020-08-19 | 富士ゼロックス株式会社 | 画像読み取り装置およびプログラム |
| US10719703B2 (en) * | 2017-05-30 | 2020-07-21 | Fujitsu Limited | Non-transitory computer-readable storage medium for storing line-of-sight analysis program, line-of-sight analysis method, and line-of-sight analysis apparatus |
| JP6819466B2 (ja) * | 2017-05-30 | 2021-01-27 | 京セラドキュメントソリューションズ株式会社 | 電子システム |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007069489A1 (ja) * | 2005-12-12 | 2007-06-21 | Matsushita Electric Industrial Co., Ltd. | 安全走行支援装置 |
| JP4884417B2 (ja) * | 2008-04-01 | 2012-02-29 | 富士フイルム株式会社 | 携帯型電子装置及びその制御方法 |
| JP5051258B2 (ja) * | 2010-03-16 | 2012-10-17 | コニカミノルタビジネステクノロジーズ株式会社 | 画像処理装置及び同装置の表示制御方法並びに表示制御プログラム |
| JP2011243108A (ja) | 2010-05-20 | 2011-12-01 | Nec Corp | 電子ブック装置及び電子ブック操作方法 |
| JP2012022632A (ja) * | 2010-07-16 | 2012-02-02 | Canon Inc | 情報処理装置およびその制御方法 |
| JP6028351B2 (ja) * | 2012-03-16 | 2016-11-16 | ソニー株式会社 | 制御装置、電子機器、制御方法、及びプログラム |
| US9335547B2 (en) * | 2013-03-25 | 2016-05-10 | Seiko Epson Corporation | Head-mounted display device and method of controlling head-mounted display device |
-
2014
- 2014-01-30 JP JP2014015440A patent/JP5932858B2/ja not_active Expired - Fee Related
-
2015
- 2015-01-21 US US14/601,424 patent/US9696889B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US20150212720A1 (en) | 2015-07-30 |
| CN104822005A (zh) | 2015-08-05 |
| JP2015141668A (ja) | 2015-08-03 |
| US9696889B2 (en) | 2017-07-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5932858B2 (ja) | 電子機器及び操作画面表示プログラム | |
| US10778863B2 (en) | Operation input system, electronic device and mobile terminal | |
| JP6544976B2 (ja) | 通信システム、画像処理装置とその制御方法、及びプログラム | |
| US9223531B2 (en) | Image processing apparatus that generates remote screen display data, portable terminal apparatus that receives remote screen display data, and recording medium storing a program for generating or receiving remote screen display data | |
| US20160217617A1 (en) | Augmented reality device interfacing | |
| US10009489B2 (en) | Display and input device that receives image forming instruction through touch panel | |
| US10686927B2 (en) | Non-transitory computer-readable medium and portable device | |
| CN108513029B (zh) | 图像处理装置和图像处理装置的控制方法 | |
| US10075599B2 (en) | Image processing device | |
| US9667831B2 (en) | Information processing apparatus, printing method, and non-transitory computer-readable recording medium for generating print data corresponding to a display image | |
| US10645246B2 (en) | Non-transitory computer-readable medium and portable device | |
| JP2018160120A (ja) | 表示装置および表示システム | |
| US9323350B2 (en) | Display control device, display control method, and recording medium | |
| US9467589B2 (en) | Display input apparatus and computer-readable non-transitory recording medium with display input control program recorded thereon | |
| JP7275511B2 (ja) | 情報処理装置およびプログラム | |
| JP5968926B2 (ja) | 情報処理装置及び情報処理プログラム | |
| JP5976708B2 (ja) | 電子機器及び操作支援プログラム | |
| JP2015011647A (ja) | 操作装置およびその操作装置を含む画像形成装置、操作装置の制御方法 | |
| JP7107341B2 (ja) | プログラム及び携帯端末 | |
| JP6975414B2 (ja) | プログラム及び携帯端末 | |
| JP7009893B2 (ja) | 画面作成プログラム、情報処理装置及び画面作成方法 | |
| US10547754B2 (en) | Information processing apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20151120 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20160225 |
|
| TRDD | Decision of grant or rejection written | ||
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20160325 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160405 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160428 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5932858 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |