JP5932858B2 - 電子機器及び操作画面表示プログラム - Google Patents

電子機器及び操作画面表示プログラム Download PDF

Info

Publication number
JP5932858B2
JP5932858B2 JP2014015440A JP2014015440A JP5932858B2 JP 5932858 B2 JP5932858 B2 JP 5932858B2 JP 2014015440 A JP2014015440 A JP 2014015440A JP 2014015440 A JP2014015440 A JP 2014015440A JP 5932858 B2 JP5932858 B2 JP 5932858B2
Authority
JP
Japan
Prior art keywords
unit
user
screen
selection
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014015440A
Other languages
English (en)
Other versions
JP2015141668A (ja
Inventor
良輔 大岸
良輔 大岸
剛 新田
剛 新田
稔 ▲高▼橋
稔 ▲高▼橋
正登 丹波
正登 丹波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Document Solutions Inc
Original Assignee
Kyocera Document Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Document Solutions Inc filed Critical Kyocera Document Solutions Inc
Priority to JP2014015440A priority Critical patent/JP5932858B2/ja
Priority to US14/601,424 priority patent/US9696889B2/en
Priority to CN201510029459.9A priority patent/CN104822005B/zh
Publication of JP2015141668A publication Critical patent/JP2015141668A/ja
Application granted granted Critical
Publication of JP5932858B2 publication Critical patent/JP5932858B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00352Input means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483Interaction with page-structured environments, e.g. book metaphor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Position Input By Displaying (AREA)
  • Facsimiles In General (AREA)

Description

本発明は、電子機器及び操作画面表示プログラムに係り、特に画面上に表示されるオブジェクトを選択する電子機器及び操作画面表示プログラムに関する。
従来から、文書や画像を印刷可能な複合機(Multifunctional Peripheral, MFP)等の画像形成装置が存在する。
これらの画像形成装置は、多くの機能を備えている。ユーザーは、GUI(Graphical User Interface)により、各機能に対応して表示部に表示されたアイコン等のオブジェクトを、操作パネル部のボタン等を用いて選択することで、これらの機能を選択することができる。
ユーザーは、よく利用する機能であれば、操作パネル部の画面上に表示されるオブジェクトの画像から当該機能について思い出し、容易に当該機能のオブジェクトを選択することが可能である。
ここで、特許文献1を参照すると、電子文書と、当該電子文書に対する操作内容を示すアイコンとを表示する表示部と、表示部に向けられたユーザーの視線位置を特定する視線位置特定部と、ユーザーの視線位置が、視線位置特定部により表示部内の特定の領域に向けられたことを検出された場合に、表示部にユーザーの視線位置を示すカーソルを表示させる表示制御部と、カーソルがアイコンを選択している状態において、ユーザーの表情を認識し、当該認識したユーザーの表情に基づいてアイコンの操作を実行させる表情認識部とを備える電子ブック装置が開示されている。
特許文献1の技術を画像形成装置に適用した場合、視線により機能を選択することも可能と考えられる。
特開2011−243108号公報
しかしながら、画像形成装置は多数の機能を備えているため、ユーザーが特定の機能等に対応するオブジェクトを画面上で探すのが困難なことがあった。
特許文献1の技術では、単に視線検索を使用して機能を選択することしかできないため、このような事態に対応できなかった。
本発明は、このような状況に鑑みてなされたものであって、上述の問題点を解消することを課題とする。
本発明の電子機器は、ユーザーにより選択される複数のオブジェクトが一画面に表示される表示手段と、前記ユーザーの視線が向けられた前記表示手段上の視認座標を検出する視線検出手段と、該視線検出手段により検出された前記視認座標が前記オブジェクトの範囲内であった時間を算出するオブジェクト視認時間算出手段と、該オブジェクト視認時間算出手段により算出された時間が時間閾値より長く、且つ、当該オブジェクトが選択された頻度が頻度閾値より多かった場合、当該オブジェクトをユーザーの選択の候補から除外する選択除外手段とを備えることを特徴とする。
本発明の電子機器は、前記複数のオブジェクトが一画面上で表示される組み合わせを示す画面表示情報を複数記憶する記憶手段と、前記選択除外手段は、前記画面表示情報が変更され、その後、前記画面表示情報が戻された際に、前記ユーザーの選択の候補から除外された前記オブジェクトを、除外されない前記オブジェクトと区別して前記表示手段に表示することを特徴とする。
本発明の操作画面表示プログラムは、情報処理装置により実行される操作画面表示プログラムにおいて、ユーザーにより選択される複数のオブジェクトを一画面に表示し、前記ユーザーの視線が向けられた視認座標を検出し、検出された前記視認座標が前記オブジェクトの範囲内であった時間を算出し、算出された時間が時間閾値より長く、且つ、当該オブジェクトが選択された頻度が頻度閾値より多かった場合、当該オブジェクトをユーザーの選択の候補から除外することを特徴とする。
本発明によれば、オブジェクトが視認された時間が時間閾値より長く、且つ、当該オブジェクトが選択された頻度が頻度閾値より多かった場合、選択したい機能等とは異なるものであるとユーザーが既に認識したものとして、当該オブジェクトを選択対象から除外することで、ユーザーが容易に特定のオブジェクトを検索可能とする電子機器を提供することができる。
本発明の実施の形態に係る画像形成装置の全体構成を示すブロック図である。 図1に示す操作パネル部と視線検出部の概略図である。 図1に示す画像形成装置の制御構成を示すブロック図である。 図3に示すオブジェクトの概念図である。 本発明の実施の形態に係る視線選択補助処理のフローチャートである。 図5に示す視線選択補助処理の概念図である。
<実施の形態>
〔画像形成装置1の全体構成〕
まず、図1を参照して、画像形成装置1(情報処理装置)の全体の構成について説明する。
画像形成装置1は、画像処理部11、原稿読取部12、原稿給送部13、搬送部14、ネットワーク送受信部15、操作パネル部16、画像形成部17(画像形成手段)、タイマー部18、記憶部19(記憶手段)、及び視線検出部20(視線検出手段)が、制御部10に接続されている。各部は、制御部10によって動作制御される。
制御部10は、GPP(General Purpose Processor)、CPU(Central Processing Unit、中央処理装置)、MPU(Micro Processing Unit)、DSP(Digital Signal Processor)、GPU(Graphics Processing Unit)、ASIC(Application Specific Processor、特定用途向けプロセッサー)等の情報処理手段である。
制御部10は、記憶部19のROMやHDDに記憶されている制御プログラムを読み出して、この制御プログラムをRAMに展開させて実行することで、後述する機能ブロックの各手段として動作させられる。また、制御部10は、図示しない外部の端末や操作パネル部16から入力された指示情報に応じて、装置全体を制御する。
画像処理部11は、DSP(Digital Signal Processor)やGPU(Graphics Processing Unit)等の制御演算手段である。画像処理部11は、画像データに対して画像処理を行う手段であり、例えば、拡大縮小、濃度調整、階調調整、画像改善等の各種画像処理を行う。
画像処理部11は、原稿読取部12で読み取られた画像を、記憶部19に印刷データとして記憶する。この際、画像処理部11は、印刷データをPDFやTIFF等のフォーマットのファイル単位に変換することも可能である。
原稿読取部12は、セットされた原稿を読み取る(スキャン)手段である。
原稿給送部13は、原稿読取部12で読み取られる原稿を搬送する手段である。
搬送部14は、給紙カセットから記録紙を搬送し、画像形成部17で画像形成させ、その後にスタックトレイへ搬送する。
ネットワーク送受信部15は、LAN、無線LAN、WAN、携帯電話網等の外部ネットワークに接続するためのLANボードや無線送受信機等を含むネットワーク接続手段である。
ネットワーク送受信部15は、データ通信用の回線ではデータを送受信し、音声電話回線では音声信号を送受信する。
操作パネル部16は、入力部61(入力手段)及び表示部62(表示手段)とを備えている。
入力部61は、ユーザーによる各種指示を取得するためのタッチパネルやボタン等である。
入力部61のタッチパネルは、静電容量方式、抵抗膜方式、超音波検出方式等により、ユーザーが押下した表示部62上の座標や押圧等を検出する。なお、入力部61のタッチパネルがマルチタッチ対応の場合には、複数の座標や押圧等を検出してもよい。また、入力部61のタッチパネルは、表示部62と一体的に構成されていてもよい。
入力部61のボタン部は、スタートキー、テンキー、コピーやスキャナーやファクシミリ送受信等の動作モードの切り換え、選択された文書の印刷/送信/受信等に係る指示を取得するためのボタン等を含んでいる。
表示部62は、LCD(Liquid Crystal Display)、OEL(Organic Electro-Luminescence)、FED(Field Emission Display)等の平面ディスプレイパネル、プロジェクタ、ステータス表示用LED等の表示手段である。表示部62は、各種操作画面を表示する。表示部62は、ユーザーにより選択される複数のオブジェクト200(図3)が一画面に表示される。
表示部62は、GUIの各種画像を表示させることが可能である。ここで、各種画像としては、ユーザーに選択を行わせるためのオブジェクト200(図3)のデータが含まれる。また、表示部62は、プレビュー(preview)の画像等も表示可能である。
画像形成部17は、ユーザーの出力指示により、記憶部19に記憶され、原稿読取部12で読み取られ、又は外部の端末から取得されたデータから記録紙への画像形成を行わせる。
タイマー部18は、CPU内蔵クロック、リアルタイムクロック、GPS(Global Positioning System)受信機、NTPクライアント等の時刻取得手段である。タイマー部18は、誤差の少ない実時間の時刻情報を取得することが可能である。
また、タイマー部18は、設定された時間の経過後、割り込み等を発生させるタイマーを設定可能である。
記憶部19は、ROM(Read Only Memory)、RAM(Random Access Memory)等の半導体メモリーやHDD(Hard Disk Drive)等の記録媒体を用いた記憶手段である。
記憶部19は、複数のオブジェクト200が一画面上で表示される組み合わせを示す画面選択情報300(図3)を複数記憶する。
また、記憶部19のROMやHDDには画像形成装置1の動作制御を行うための制御プログラムが記憶されている。これに加えて、記憶部19は、ユーザーのアカウント設定も記憶している。また、記憶部19には、ユーザー毎の文書ボックス等の領域が含まれていてもよい。
視線検出部20は、例えば、複数のカメラとDSPとを備えた視線検出手段である。図2に、画像形成装置1の操作パネル部16と視線検出部20の外観の例を示す。
視線検出部20は、ユーザーの視線が向けられた表示部62上の視認座標400(図3)を検出する。視線検出部20は、例えば、撮像した画像データから、ユーザーの顔と目とを検出し、更に視線を三次元のベクトル形式等で算出し、この視線と表示部62との交点の座標である視線座標を算出する。
また、視線検出部20は、操作パネル部16に設置することができる。図2に示す例では、視線検出部20が操作パネル部16の端部に設置されているが、操作パネル部16の面上に設置されていてもよく、操作パネル部16に内蔵されていてもよい。また、視線検出部20は、操作パネル部16から離れた位置に設置されていてもよい。また、視線検出部20は、ユーザーを照らす照明部等も備えていてもよい。
なお、図1に示す画像形成装置1において、制御部10及び画像処理部11は、GPU内蔵CPU等やチップ・オン・モジュールパッケージのように、一体的に形成されていてもよい。
また、制御部10及び画像処理部11は、RAMやROMやフラッシュメモリー等を内蔵していてもよい。
また、画像形成装置1は、ファクシミリの送受信を行うFAX送受信部を備えていてもよい。
〔画像形成装置1の制御構成〕
ここで、図3により、画像形成装置1の制御構成について説明する。
画像形成装置1の制御部10は、オブジェクト選択頻度算出部100(オブジェクト選択頻度算出手段)、オブジェクト視認時間算出部110(オブジェクト視認時間算出手段)、及び選択除外部120(選択除外手段)を備えている。
記憶部19は、画面選択情報300(画面表示情報)、時間閾値310、及び頻度閾値320を記憶している。
オブジェクト選択頻度算出部100は、各オブジェクト200が選択された頻度を算出する。オブジェクト選択頻度算出部100は、ユーザーが表示部62に表示された画面上のオブジェクト200−1〜200−n(以下、これらのオブジェクト200−1〜200−nのいずれか示す場合、単に「オブジェクト200」という。)を、入力部61のタッチパネルやボタンで選択した際のオブジェクト選択完了指示を取得する。オブジェクト選択頻度算出部100は、このオブジェクト選択完了指示を取得した場合、表示された画面に対応する画面選択情報300毎に、特定の期間中に各オブジェクト200が選択された頻度を算出する。オブジェクト選択頻度算出部100は、各オブジェクト200の算出された頻度を選択頻度データ202(図4)に記憶する。
なお、オブジェクト選択頻度算出部100は、ユーザーの操作履歴から、よく利用する機能を抽出して、各オブジェクト200の選択頻度データ202を算出してもよい。この場合、オブジェクト選択頻度算出部100は、ユーザーが迷いなく特定の機能に到達した回数を測定し、一定以上の回数の利用が確認できた時点で、当該機能に対応するオブジェクト200について、よく利用する機能であると判断して、選択頻度データ202に設定して記憶部19に記憶してもよい。
オブジェクト視認時間算出部110は、視線検出部20により検出された視認座標400が各オブジェクト200の範囲内であった時間を算出する。つまり、オブジェクト視認時間算出部110は、画面上で表示されるどのアイコン等のオブジェクト200を、ユーザーがどれくらいの長さだけ見たかについての視認時間を算出する。この視認時間が、後述する時間閾値310以上であった場合、ユーザーが当該オブジェクトと対応する機能について認識している可能性が高くなる。
具体的には、オブジェクト視認時間算出部110は、視認座標400と、各オブジェクト200の座標データ201(図4)とを比較し、視認座標400が当該オブジェクト200の範囲内であるかどうかを判断し、範囲内であった時間をカウントして算出する。この上で、オブジェクト視認時間算出部110は、算出した時間を当該オブジェクト200の視認時間データ203に記憶する。
選択除外部120は、オブジェクト視認時間算出部110により算出された時間が時間閾値310より長く、且つ、当該オブジェクト200が選択された頻度が頻度閾値320より多かった場合、ユーザーが選択する機能等とは異なるものと既に認識したと判断し、当該オブジェクト200を、ユーザーが選択する候補から除外(以下、「選択除外」という。)する。選択除外部120は、このように選択除外した場合、当該オブジェクト200の選択除外データ204(図4)に設定して記憶する。
また、選択除外部120は、ユーザーにより、別の画面の表示が指定された場合、画面選択情報300を変更して、表示部62上に変更された画面選択情報300に含まれる各オブジェクト200を描画する。この際、選択除外部120は、画面選択情報300が変更され、その後、画面選択情報300が戻された場合、当該画面選択情報300に含まれる各オブジェクト200の選択除外データ204を読み出す。選択除外部120は、読み出した選択除外データ204の各オブジェクト200について、選択除外データ204によりユーザーの選択の候補から除外されていた場合、除外されない他のオブジェクト200と区別して表示部62に表示する。選択除外部120は、この区別として、例えば、オブジェクト200をグレーアウトや、そもそも表示を行わない等の表示を行う。
画面選択情報300は、表示部62上に表示される複数の選択可能なオブジェクト200の画面上の組み合わせを示すデータである(以下、画面選択情報300−1〜300−nのいずれかを示す場合、単に「画面選択情報300」という。)。画面選択情報300は、表示される画面を選択するユーザーの指示に対応して選択される。また、画面選択情報300は、同一又は異なるオブジェクト200−1〜200−nを複数含んでいてもよい。
なお、画面選択情報300には、ユーザーにより選択されないプレビュー画像やメニュー表示等のオブジェクト200の情報が含まれていてもよい。
時間閾値310は、視線検出部20により算出された視認座標400が各オブジェクト200の範囲内であった時間についての閾値である。時間閾値310は、選択除外部120により、各オブジェクト200が選択除外される際に用いられる。時間閾値310は、ユーザーが画面上でオブジェクト200に対応する機能等を認識可能な時間として、数百m秒〜数秒程度の時間が設定されていてもよい。また、時間閾値310は、操作パネル部16の入力部61によるユーザーの指示により設定されてもよい。
頻度閾値320は、ユーザーにより、特定の期間で各オブジェクト200が選択された頻度についての閾値である。頻度閾値320も、選択除外部120により、各オブジェクト200が選択除外される際に用いられる。頻度閾値320は、ユーザーが機能を使用する頻度で設定されてもよい。また、頻度閾値320も、操作パネル部16の入力部61によるユーザーの指示により設定されてもよい。また、頻度閾値320を算出するための特定の期間についても、数日〜数ヶ月程度の期間で変更されてもよい。なお、時間閾値310及び頻度閾値320は、ユーザー毎に設定されていてもよい。
視認座標400は、視線検出部20により算出された、ユーザーの視線が向けられた表示部62上の座標のデータである。なお、視認座標400は、一時的に記憶部19に記憶されてもよい。
次に、図4により、オブジェクト200のデータの詳細な構成について説明する。オブジェクト200は、座標データ201、選択頻度データ202、視認時間データ203、選択除外データ204を含んでいる。
座標データ201は、表示部62の画面上で当該オブジェクト200が表示される範囲を示す座標のデータである。座標データ201は、例えば、ポリゴン(多角形)や円形や楕円形等の形状で指定されていてもよい。
選択頻度データ202は、当該オブジェクト200が、特定の期間中にユーザーにより選択された頻度を示すデータである。
視認時間データ203は、当該オブジェクト200を含む画面選択情報300が表示されてから、ユーザーにより視認された時間の合計等を示すデータである。
選択除外データ204は、当該オブジェクト200が選択除外の状態された状態か、選択除外されていない通常状態か等を示すデータである。
なお、オブジェクト200には、表示されるアイコンの画像データや説明の文字データ等が含まれていてもよい。また、オブジェクト200は、画面選択情報300毎に、異なる座標データ201、選択頻度データ202、視認時間データ203、選択除外データ204等を含んでいてもよい。
ここで、画像形成装置1の制御部10は、記憶部19に記憶された制御プログラムを実行することで、オブジェクト選択頻度算出部100、オブジェクト視認時間算出部110、及び選択除外部120として機能させられる。
また、上述の画像形成装置1の各部は、本発明の画像形成方法を実行するハードウェア資源となる。
〔画像形成装置1による視線選択補助処理〕
次に、図5〜図6を参照して、本発明の実施の形態に係る画像形成装置1による視線選択補助処理の説明を行う。
本実施形態の視線選択補助処理では、ユーザーが普段利用しない機能等のオブジェクト200を選択している際に、視線検索による補助を行う。具体的には、ユーザーの視線検索を行い、タブ等で選択され表示される画面上で、ユーザーが視認した時間が時間閾値310より長く、且つ、頻度閾値320より選択された頻度が多いオブジェクト200について、ユーザーが探している機能ではないと認識したものと判断する。このようなオブジェクト200については、ユーザーが選択しなくてもよいよう選択除外の設定をして、変更された画面から当該画面に戻された際に、グレーアウト等で区別して表示することで、二回目以降のユーザーの検索の手間を少なくさせる。
本実施形態の視線選択補助処理は、主に制御部10が、記憶部19に記憶されたプログラムを、各部と協働し、ハードウェア資源を用いて実行する。
以下で、図5のフローチャートを参照して、視線選択補助処理の詳細をステップ毎に説明する。
(ステップS100)
まず、制御部10が、オブジェクト視認時間算出部110として、視認時間初期設定処理を行う。
制御部10は、ユーザーが、入力部61等により、複数の画面からオブジェクト200を選択するメニュー等を表示する指示を行った場合に、これを取得する。制御部10は、このメニュー等で選択可能なすべての画面に対応した画面選択情報300を特定し、これらに含まれるオブジェクト200の視認時間データ203を初期化する。
また、制御部10は、メニューで最初に表示される初期画面の画面選択情報300を選択して、これに含まれるオブジェクト200をGUIのプログラムにより表示部62上に描画する。
図6(a)の画面例500では、初期画面として「タブα」の画面が表示された表示欄600に「機能A」〜「機能F」のオブジェクト200が表示された例を示している。
また、制御部10は、ユーザーの認証、視線検出部20の起動、及びその他の各種初期化処理も行ってもよい。
(ステップS101)
次に、視線検出部20が、視認座標検出処理を行う。
視線検出部20は、ユーザーの視線を視認座標400して検出する。視線座標400は、制御部10で読み出し可能に記憶される。
(ステップS102)
次に、制御部10は、オブジェクト視認時間算出部110として、視認時間算出処理を行う。
制御部10は、視線検出部20により検出された視線座標が、表示部62に表示された画面の画面選択情報300に含まれる各オブジェクト200について、範囲内であるかどうかを座標データ201により判断する。制御部10は、視線座標が範囲内であったオブジェクト200について、範囲内であった時間をタイマー部18により計測して、当該オブジェクト200の視認時間データ203に追加し、記憶部19に記憶する。
(ステップS103)
次に、制御部10が、オブジェクト視認時間算出部110として、ユーザーが画面を変更する指示を行ったか否かを判断する。制御部10は、ユーザーが表示部62に表示される画面の選択を変更する指示を入力部61で入力した場合、Yesと判断する。制御部10は、それ以外の場合、つまり、ユーザーが画面上のオブジェクト200を閲覧中である場合、又はオブジェクト200を選択した場合等には、Noと判断する。
図6(a)〜(c)の画面例500〜画面例502によると、制御部10は、「タブα」の画面が表示された表示欄600から「タブβ」の画面が表示された表示欄610が選択された場合、又は、「タブβ」の表示欄610から「タブα」の表示欄が選択された場合に、画面表示の変更の指示があったものとして、Yesと判断する。具体的には、制御部10は、例えば、表示欄600又は表示欄610の「機能A」〜「機能L」と記載された各オブジェクト200以外の箇所が、入力部61のタッチパネルで押下された場合又はボタン等で「進む」「戻る」等のボタンが押下された等の場合に、画面表示の変更の指示があったと判断する。
Yesの場合、制御部10は、処理をステップS104に進める。
Noの場合、制御部10は、処理をステップS109に進める。
(ステップS104)
画面が変更された場合、制御部10が、選択除外部120として、視認時間データ203の値が時間閾値310以上、且つ、選択頻度データ202の値が頻度閾値320以上のオブジェクト200について判断する。制御部10は、選択された画面の画面選択情報300に含まれる各オブジェクト200のうち、視認時間データ203の値が時間閾値310以上、且つ、選択頻度データ202の値が頻度閾値320以上のオブジェクト200について、Yesと判断する。制御部10は、それ以外のオブジェクト200については、Noと判断する。
Yesの場合、制御部10は、処理をステップS105に進める。
Noの場合、制御部10は、処理をステップS106に進める。
(ステップS105)
時間閾値310以上、且つ、頻度閾値320以上の各オブジェクト200について、制御部10は、選択除外部120として、選択除外設定処理を行う。
制御部10は、これらのオブジェクト200の選択除外データ204に、選択除外されたことを設定して記憶部19に記憶する。
図6(a)の画面例500では、表示欄600の「機能A」、「機能C」、「機能E」の各オブジェクト200について、選択除外が設定された例を示す。しかし、下記で説明するように、すぐ変更された画面が描画されるため、後で、表示欄600の画面に戻された際に、この選択除外が反映される。
(ステップS106)
ここで、制御部10が、選択除外部120として、画面表示が戻されたか否かを判断する。制御部10は、ユーザーにより選択された画面が、既に表示部62に表示されたものであった場合に、Yesと判断する。制御部10は、それ以外の場合には、Noと判断する。
図6(b)の画面例501では、制御部10は、「タブβ」の表示欄610が表示されている場合に、ユーザーが「タブα」の表示欄600を表示するよう指示した場合に、Yesと判断する。
Yesの場合、制御部10は、処理をステップS107に進める。
Noの場合、制御部10は、処理をステップS108に進める。
(ステップS107)
画面表示が戻された場合、制御部10は、選択除外部120として、選択除外区別表示処理を行う。
制御部10は、選択除外データ204に選択除外が設定されたオブジェクト200を、選択除外データ204に選択除外が設定されていないオブジェクト200と区別して表示部62に表示する。これにより、画面選択情報300が変更され、その後、画面選択情報300が戻された際、ユーザーが選択除外されたオブジェクト200をそれ以外のオブジェクト200と区別して認識することが可能となる。
図6(c)の画面例502の表示欄600では、選択除外された「機能A」、「機能C」、「機能E」の各オブジェクト200がグレーアウトにより区別して表示された例を示す。制御部10は、この状態の各オブジェクト200について、ユーザーが選択できないように設定してもよい。また、この例では、表示欄600では、選択除外されていない通常状態の「機能B」、「機能D」、「機能F」のオブジェクト200については、グレーアウトさせず表示させる。
その後、制御部10は、処理をステップS109に進める。
なお、制御部10は、オブジェクト200がグレーアウトしている状態でも、ユーザーが複数回、押下した場合には、また通常の状態に表示して、選択することができるようにしてもよい。この場合、制御部10は、当該オブジェクト200の選択除外データ204の選択除外から通常状態に設定しなおして、記憶部19に記憶してもよい。また、この際に、制御部10は、時間閾値310及び頻度閾値320を設定しなおしてもよい。
(ステップS108)
画面表示が異なる画面の表示であった場合、制御部10は、選択除外部120として、通常表示処理を行う。
制御部10は、ユーザーにより選択された画面に対応した画面選択情報300に含まれるオブジェクト200を、表示部62上に表示する。
図6(b)では、「タブα」の表示欄600から、「タブβ」の表示欄610に画面が変更されて表示された例を示している。なお、制御部10は、このように表示される画面を変化させても、プレビューの表示欄620のように、変化しないオブジェクト200を表示することも可能である。
(ステップS109)
ここで、制御部10が、オブジェクト選択頻度算出部100として、オブジェクト選択完了指示があったか否かを判断する。制御部10は、表示部62に表示されたオブジェクト200のいずれかについて、ユーザーが入力部61のタッチパネルやボタン等を押下して選択を完了した場合、このオブジェクト選択完了指示を取得して、Yesと判断する。制御部10は、それ以外の場合には、Noと判断する。
Yesの場合、制御部10は、処理をステップS110に進める。
Noの場合、制御部10は、処理をステップS101に戻して、視線検出部20に視線の検出を続けさせる。
(ステップS110)
オブジェクト選択完了指示を取得した場合、制御部10は、オブジェクト選択頻度算出部100として、選択頻度更新処理を行う。
制御部10は、選択された画面選択情報300のオブジェクト200の選択頻度データ202を加算して、頻度を算出し直し、記憶部19に記憶する。また、制御部10は、特定の期間を超えて選択されていないオブジェクト200の選択頻度データ202の頻度を減少させ、記憶部19に記憶する。
以上により、本発明の実施の形態に係る視線選択補助処理を終了する。
以上のように構成することで、以下のような効果を得ることができる。
従来、特許文献1のような視線検索を使っても、ユーザーが多数の機能から特定の機能を検索するのは困難であることがあった。具体的に説明すると、従来の画像形成装置において、ユーザーは、よく利用する機能であれば、操作パネル部の画面上のアイコンから機能について思い出し、容易に当該機能を選択して利用することが可能であった。しかしながら、ほとんど利用しない機能の場合は、複数の画面を切り換えて、一つ一つ機能のアイコンと名前から機能を想像し、実際にアイコンを選択し、その設定内容等を確認した上で、その機能が要求したものかどうかを確認する作業が必要になっていた。ここで、一通り確認しても特定の機能が見つからない場合、画面を戻し、再度先頭から見直す必要があった。その場合、どのアイコンの設定内容を確認したかをユーザーが記憶しておらず、一度確認したはずの機能を再度確認するといった事態が生じることがあった。
これに対して、本発明の実施の形態に係る画像形成装置1は、ユーザーにより選択される複数のオブジェクト200が一画面に表示される表示部62と、ユーザーの視線が向けられた表示部62上の視認座標400を検出する視線検出部20と、視線検出部20により検出された視認座標400がオブジェクト200の範囲内であった時間を算出するオブジェクト視認時間算出部110と、オブジェクト視認時間算出部110により算出された時間が特定の時間閾値310より長く、且つ、当該オブジェクト200が選択された頻度が特定の頻度閾値320より多かった場合、当該オブジェクト200をユーザーの選択の候補から除外する選択除外部120とを備えることを特徴とする。
このように構成することで、ユーザーが視線検索とこれまでのオブジェクト200の選択頻度とから、一度検索し、異なると判断した機能等に対応するオブジェクト200を選択対象外とすることができる。これにより、ユーザーが検索する対象のオブジェクト200を絞り込み、検索をスムーズに行わせることが可能になる。よって、ユーザーの使い勝手をよくすることができる。
また、本発明の実施の形態に係る画像形成装置1は、複数のオブジェクト200が一画面上で表示される組み合わせを示す画面選択情報300を複数記憶する記憶部19と、選択除外部120は、画面選択情報300が変更され、その後、画面選択情報300が戻された際に、ユーザーの選択の候補から除外されたオブジェクト200を、除外されないオブジェクト200と区別して表示部62に表示することを特徴とする。
このように構成することで、ユーザーが普段利用しない機能を探している際に、探している機能ではないと判断したオブジェクト200をグレーアウトさせて表示したり、画面表示から消したりして、区別して表示することができる。結果として、ユーザーに、区別して表示させた機能がある状態を意識させつつ、二回目以降の検索量を少なくさせることができる。よって、ユーザーが二重で検索する手間を防止させ、効率的に検索させることが可能となる。
以上の効果をまとめると、本実施形態の画像形成装置1は、ユーザーが一度確認した機能を再度確認させる必要がなくなり、ユーザーの使い勝手をよくすることができる。
図6を再び参照して説明すると、従来、ユーザーが画像形成装置1の機能を利用する際には、図6(a)のようにタブαの「機能A」から「機能F」まで一通り利用したい機能を検索し、見つからなければ、図6(b)のようにタブβに切り替え、タブαの時と同様に機能を探していく必要があった。ここで、利用したい機能が見つからなければ、再度、タブαに戻し、機能Aから順に探していた。
これに対して、本実施形態においては、すでに検索し終え、ユーザーが求める機能ではないと判断されたオブジェクト200については、選択除外され、図6(c)のようにグレーアウト等して表示される。このようにすることで、ユーザーがタブαについて二度目の検索を行う場合、機能B、機能D、機能Fのみを検索すればよいことになる。
このため、ユーザーは、どの機能がどの位置に配置されているかを注意深く意識して操作する必要なく、一度検索した機能が求めているものと異なると判断した場合、再度、確認する必要がなくなる。よって、使い勝手をよくすることができる。
なお、本実施形態においては、機能を選択する際に視線検出を利用する例について説明した。しかしながら、本実施形態の視線機能選択処理は、これ以外にも、入力部61にて画像を選択するような処理に全て適用可能である。つまり、制御部10は、例えば、プレビュー画像やサムネイル画像の選択、ファイルの選択等、多数のオブジェクト200から必要なものを選択する処理に用いることができる。
このような構成により、ユーザーの使い勝手をよくすることができる。
また、本実施形態においては、画像形成装置1の操作パネル部16によるオブジェクト200の選択の例について説明した。
しかしながら、本発明は、画像形成装置以外の情報処理装置にも適用できる。たとえばタッチパネルを備えるスマートフォン、携帯電話、PC(Personal Computer)、PDA(Personal Data Assistant)、テレビジョン等にも適法可能である。
また、上記実施の形態の構成及び動作は例であって、本発明の趣旨を逸脱しない範囲で適宜変更して実行することができることは言うまでもない。
1 画像形成装置
10 制御部
11 画像処理部
12 原稿読取部
13 原稿給送部
14 搬送部
15 ネットワーク送受信部
16 操作パネル部
17 画像形成部
18 タイマー部
19 記憶部
20 視線検出部
61 入力部
62 表示部
100 オブジェクト選択頻度算出部
110 オブジェクト視認時間算出部
120 選択除外部
200、200−1〜200−n オブジェクト
201 座標データ
202 選択頻度データ
203 視認時間データ
204 選択除外データ
300、300−1〜300−n 画面選択情報
310 時間閾値
320 頻度閾値
400 視認座標
500、501、502 画面例
600、610、620 表示欄

Claims (3)

  1. ユーザーにより選択される複数のオブジェクトが一画面に表示される表示手段と、
    前記ユーザーの視線が向けられた前記表示手段上の視認座標を検出する視線検出手段と、
    該視線検出手段により検出された前記視認座標が前記オブジェクトの範囲内であった時間を算出するオブジェクト視認時間算出手段と、
    該オブジェクト視認時間算出手段により算出された時間が時間閾値より長く、且つ、当該オブジェクトが選択された頻度が頻度閾値より多かった場合、当該オブジェクトをユーザーの選択の候補から除外する選択除外手段とを備える
    ことを特徴とする電子機器。
  2. 前記複数のオブジェクトが一画面上で表示される組み合わせを示す画面表示情報を複数記憶する記憶手段と、
    前記選択除外手段は、前記画面表示情報が変更され、その後、前記画面表示情報が戻された際に、前記ユーザーの選択の候補から除外された前記オブジェクトを、除外されない前記オブジェクトと区別して前記表示手段に表示する
    ことを特徴とする請求項1に記載の電子機器。
  3. 情報処理装置により実行される操作画面表示プログラムにおいて、
    ユーザーにより選択される複数のオブジェクトを一画面に表示し、
    前記ユーザーの視線が向けられた視認座標を検出し、
    検出された前記視認座標が前記オブジェクトの範囲内であった時間を算出し、
    算出された時間が時間閾値より長く、且つ、当該オブジェクトが選択された頻度が頻度閾値より多かった場合、当該オブジェクトをユーザーの選択の候補から除外する
    ことを特徴とする操作画面表示プログラム。
JP2014015440A 2014-01-30 2014-01-30 電子機器及び操作画面表示プログラム Expired - Fee Related JP5932858B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014015440A JP5932858B2 (ja) 2014-01-30 2014-01-30 電子機器及び操作画面表示プログラム
US14/601,424 US9696889B2 (en) 2014-01-30 2015-01-21 Electronic device that displays an operation screen including an object
CN201510029459.9A CN104822005B (zh) 2014-01-30 2015-01-21 电子设备以及操作画面显示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014015440A JP5932858B2 (ja) 2014-01-30 2014-01-30 電子機器及び操作画面表示プログラム

Publications (2)

Publication Number Publication Date
JP2015141668A JP2015141668A (ja) 2015-08-03
JP5932858B2 true JP5932858B2 (ja) 2016-06-08

Family

ID=53679067

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014015440A Expired - Fee Related JP5932858B2 (ja) 2014-01-30 2014-01-30 電子機器及び操作画面表示プログラム

Country Status (2)

Country Link
US (1) US9696889B2 (ja)
JP (1) JP5932858B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017146941A (ja) * 2016-02-19 2017-08-24 富士通株式会社 画像表示装置、表示制御方法および表示制御プログラム
JP6583043B2 (ja) * 2016-02-19 2019-10-02 富士通株式会社 画像表示装置、表示制御方法および表示制御プログラム
JP6729054B2 (ja) * 2016-06-23 2020-07-22 富士ゼロックス株式会社 情報処理装置、情報処理システムおよび画像形成装置
JP6557183B2 (ja) * 2016-06-28 2019-08-07 ファナック株式会社 切削加工工具の寿命判定装置、寿命判定方法及びプログラム
JP6740774B2 (ja) * 2016-07-25 2020-08-19 富士ゼロックス株式会社 画像読み取り装置およびプログラム
US10719703B2 (en) * 2017-05-30 2020-07-21 Fujitsu Limited Non-transitory computer-readable storage medium for storing line-of-sight analysis program, line-of-sight analysis method, and line-of-sight analysis apparatus
JP6819466B2 (ja) * 2017-05-30 2021-01-27 京セラドキュメントソリューションズ株式会社 電子システム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007069489A1 (ja) * 2005-12-12 2007-06-21 Matsushita Electric Industrial Co., Ltd. 安全走行支援装置
JP4884417B2 (ja) * 2008-04-01 2012-02-29 富士フイルム株式会社 携帯型電子装置及びその制御方法
JP5051258B2 (ja) * 2010-03-16 2012-10-17 コニカミノルタビジネステクノロジーズ株式会社 画像処理装置及び同装置の表示制御方法並びに表示制御プログラム
JP2011243108A (ja) 2010-05-20 2011-12-01 Nec Corp 電子ブック装置及び電子ブック操作方法
JP2012022632A (ja) * 2010-07-16 2012-02-02 Canon Inc 情報処理装置およびその制御方法
JP6028351B2 (ja) * 2012-03-16 2016-11-16 ソニー株式会社 制御装置、電子機器、制御方法、及びプログラム
US9335547B2 (en) * 2013-03-25 2016-05-10 Seiko Epson Corporation Head-mounted display device and method of controlling head-mounted display device

Also Published As

Publication number Publication date
US20150212720A1 (en) 2015-07-30
CN104822005A (zh) 2015-08-05
JP2015141668A (ja) 2015-08-03
US9696889B2 (en) 2017-07-04

Similar Documents

Publication Publication Date Title
JP5932858B2 (ja) 電子機器及び操作画面表示プログラム
US10778863B2 (en) Operation input system, electronic device and mobile terminal
JP6544976B2 (ja) 通信システム、画像処理装置とその制御方法、及びプログラム
US9223531B2 (en) Image processing apparatus that generates remote screen display data, portable terminal apparatus that receives remote screen display data, and recording medium storing a program for generating or receiving remote screen display data
US20160217617A1 (en) Augmented reality device interfacing
US10009489B2 (en) Display and input device that receives image forming instruction through touch panel
US10686927B2 (en) Non-transitory computer-readable medium and portable device
CN108513029B (zh) 图像处理装置和图像处理装置的控制方法
US10075599B2 (en) Image processing device
US9667831B2 (en) Information processing apparatus, printing method, and non-transitory computer-readable recording medium for generating print data corresponding to a display image
US10645246B2 (en) Non-transitory computer-readable medium and portable device
JP2018160120A (ja) 表示装置および表示システム
US9323350B2 (en) Display control device, display control method, and recording medium
US9467589B2 (en) Display input apparatus and computer-readable non-transitory recording medium with display input control program recorded thereon
JP7275511B2 (ja) 情報処理装置およびプログラム
JP5968926B2 (ja) 情報処理装置及び情報処理プログラム
JP5976708B2 (ja) 電子機器及び操作支援プログラム
JP2015011647A (ja) 操作装置およびその操作装置を含む画像形成装置、操作装置の制御方法
JP7107341B2 (ja) プログラム及び携帯端末
JP6975414B2 (ja) プログラム及び携帯端末
JP7009893B2 (ja) 画面作成プログラム、情報処理装置及び画面作成方法
US10547754B2 (en) Information processing apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151120

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20160225

TRDD Decision of grant or rejection written
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20160325

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160405

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160428

R150 Certificate of patent or registration of utility model

Ref document number: 5932858

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees