JP7070003B2

JP7070003B2 - 表示装置及び画像形成装置

Info

Publication number: JP7070003B2
Application number: JP2018077508A
Authority: JP
Inventors: 勝佐藤
Original assignee: Kyocera Document Solutions Inc
Current assignee: Kyocera Document Solutions Inc
Priority date: 2018-04-13
Filing date: 2018-04-13
Publication date: 2022-05-18
Anticipated expiration: 2038-04-13
Also published as: US20190317596A1; JP2019185525A; US10649525B2

Description

本発明は、ユーザーの視線に基づいて画面の表示制御を行う表示装置及び画像形成装置に関する。

従来、画面を操作するユーザーの顔を撮影して、顔画像に基づいてユーザーの年齢や画面までの距離を推測し、画面内の文字の表示サイズを見やすく変更する技術が知られている（例えば、特許文献１を参照）。

特開２００６－２３９５３号公報

しかしながら、従来技術では、ユーザーが画面の視認性が悪くて困っているのか、画面の操作に迷っているのか判断できなかったため、適切な画面表示を行うことができなかったという問題があった。

本発明は上記課題に鑑みてなされたものであり、画面の視認性が悪かったり、画面の操作に迷ったりしているユーザーの操作性を向上させることができる技術を提供することを目的とする。

本発明の表示装置は、画面を表示する表示部と、前記画面に対するユーザーの視線を検出する視線検出部と、前記視線検出部により検出された前記視線の前記画面上の移動軌跡に基づいて、前記画面内の視線集中エリアを検出する視線集中エリア検出部と、前記視線集中エリアが検出された場合に、前記視線集中エリアに含まれる表示オブジェクト数を数える計数部と、前記視線集中エリアに含まれる前記表示オブジェクト数が１つの場合に、拡大表示モードに移行して、前記表示オブジェクトを拡大表示させ、前記視線集中エリアが検出されなかった場合又は前記視線集中エリアに含まれる前記表示オブジェクト数が複数の場合に、ヘルプ表示モードに移行して、ヘルプ情報を表示させる表示制御部とを備えたことを特徴とする。
また、前記視線集中エリア検出部は、前記画面を複数エリアに分割したときに、前記移動軌跡を最も多く含むエリアを前記視線集中エリアとして検出してもよい。
また、前記表示制御部は、前記視線集中エリアが検出されなかった場合に、前記画面の操作に関するヘルプ情報を表示してもよい。
また、前記表示制御部は、前記視線集中エリアに含まれる前記表示オブジェクト数が複数の場合に、前記複数の表示オブジェクトそれぞれの機能に関するヘルプ情報を表示してもよい。
また、前記表示制御部は、前記拡大表示モードにおいて、前記視線検出部により検出された前記視線が移動する毎に、拡大表示の対象とする前記表示オブジェクトを前記視線の位置の前記表示オブジェクトに変更してもよい。
また、前記表示制御部は、前記ヘルプ表示モードにおいて、前記視線検出部により検出された前記視線が移動する毎に、前記ヘルプ情報の表示対象とする前記表示オブジェクトを前記視線の位置の前記表示オブジェクトに変更してもよい。
また、前記表示部は、前記ユーザーの年齢に基づいて、前記拡大表示モードをオン及びオフのいずれかに制御してもよい。
本発明の画像形成装置は、上記に記載の表示装置を備え、前記ヘルプ情報を印刷する印刷部を備えたことを特徴とする。

本発明によれば、画面の視認性が悪かったり、画面の操作に迷ったりしているユーザーの操作性を向上させることができる。

本発明に係る実施の形態の画像形成装置の概略構成図である。画面に対する視線の動きを示した図である。図１に示す画像形成装置の視線に基づく表示制御処理の流れを示すフローチャートである。視線の移動軌跡に基づいて視線集中エリアが検出される例を示した図である。視線集中エリアに含まれる表示オブジェクトの数を示した図である。拡大表示モードの拡大表示例である。他の拡大表示例である。ヘルプ表示モードのヘルプ表示例である。

以下、図を参照して本発明の実施の形態を詳細に説明する。なお、以下の実施の形態において、同様の機能を示す構成には、同一の符号を付してある。

図１を参照して、本実施の形態の表示装置の一例として、画像形成装置１を例に説明する。画像形成装置１は、操作部１１と、視線検出部１２と、通信部１３と、原稿読取部１４と、記憶部１５と、画像処理部１６と、印刷部１７と、制御部１８とを備えている。

操作部１１は、表示部１１１と操作ボタン１１２とを備えている。表示部１１１は、各種操作キーや画像形成状況を画面に表示する。表示部１１１は、表面に透明の感圧センサーが設けられ、表示手段及び入力手段として機能するタッチパネルであってもよい。操作ボタン１１２は、印刷枚数等の数値を入力するためのテンキー、設定情報を初期化させる指示を入力するためのリセットキー、複写動作を停止させるためのストップキー、印刷動作を開始させる出力指示を入力するためのスタートキー等の各種操作キーを備えている。

視線検出部１２は、表示部１１１を操作するユーザーの顔を撮影可能な位置にカメラが設けられており、カメラの画像データに基づいて表示部１１１の画面に対するユーザーの視線を検出する機能を有する。

通信部１３は、ＬＡＮ（Local Area Network）等のネットワークを介して、外部端末と各種データを送受信する機能を有する。

原稿読取部１４は、図示しない原稿給紙装置により給紙されてきた原稿や、ユーザーによってプラテンガラスに載置された原稿に対して光を照射し、その反射光等を受光して原稿画像を読み取って画像データを出力するスキャナーである。

記憶部１５は、半導体メモリーやＨＤＤ（Hard Disk Drive）等の記憶手段であり、原稿読取部１４によって読み取られた画像データや、通信部１３を介して受信された画像データが蓄積される記憶手段である。

画像処理部１６は、画像データに対して画像処理を行う手段である。画像処理部１６は、例えば、拡大縮小処理や、濃度調整、階調調整等の画像処理を行う。

印刷部１７は、画像データを印刷する印刷手段である。印刷部１７は、例えば、記憶部１５から読み出した画像データに基づき感光体ドラムの表面に潜像を形成し、トナーによってその潜像をトナー像とする画像形成を行い、図示しない給紙部から搬送されてきた記録紙に感光体ドラムのトナー像を転写させ、そのトナー像を記録紙に定着させて排紙する。

制御部１８は、操作部１１、視線検出部１２、通信部１３、原稿読取部１４、記憶部１５、画像処理部１６及び印刷部１７にそれぞれ接続され、操作部１１から入力された指示情報に応じて画像形成装置１全体の動作制御を実行する。制御部１８は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を備えたマイクロコンピューター等の情報処理部である。ＲＯＭには画像形成装置１の動作制御を行うための制御プログラムが記憶されている。制御部１８のＣＰＵは、ＲＯＭに記憶されている制御プログラムを読み出し、制御プログラムをＲＡＭに展開させて実行することで、操作部１１から入力された指示情報に応じて装置全体の制御を行う。なお、制御プログラムは、不図示のネットワーク又は不図示のコンピューター読取可能な記録媒体を介してＲＯＭに記憶されてもよい。

また、制御部１８は、視線集中エリア検出部１８１と、計数部１８２と、表示制御部１８３として機能する。

視線集中エリア検出部１８１は、図２に示すように、視線検出部１２により検出された視線４０の画面Ｇ２０上の移動軌跡４２に基づいて、画面Ｇ２０上で視線４０が集中した視線集中エリア４３を検出する機能を有する。

例えば、視線集中エリア検出部１８１は、視線検出部１２により画面Ｇ２０に対する視線４０が検出されると、特定時間の間（例えば、５秒間等）、視線４０と画面Ｇ２０の交点である視線位置４１の移動軌跡４２を監視する。そして、視線集中エリア検出部１８１は、画面Ｇ２０に対する特定時間内の視線位置４１の移動軌跡４２の密度分布を算出し、特定閾値（例えば平均値）より高いエリアがあった場合に、そのエリアを視線集中エリア４３として検出しても良い。例えば、視線集中エリア検出部１８１は、画面Ｇ２０を複数エリアに分割したときに、移動軌跡４２を特定時間間隔でサンプリングした点を最も多く含むエリアを視線集中エリア４３として検出してもよい。なお、移動軌跡４２をサンプリングした点を最も多く含むエリアが複数あった場合には、この複数のエリアを視線集中エリア４３としてもよい。また、移動軌跡４２をサンプリングした点が特定閾値以上含まれるエリアを、移動軌跡４２を最も多く含むエリア、つまり、視線集中エリア４３として検出するようにしてもよい。

計数部１８２は、視線集中エリア検出部１８１により視線集中エリア４３が検出された場合に、視線集中エリア４３に含まれる表示オブジェクト４４の数を数える機能を有する。表示オブジェクト４４は、視線集中エリア４３内に表示領域の一部が含まれていれば、計数部１８２の計数対象としてもよいし、表示領域の半分以上が含まれる場合に計数対象としてもよい。なお、表示オブジェクト４４は、画面Ｇ２０に表示されている文字情報やアイコン等である。

表示制御部１８３は、視線集中エリア検出部１８１により視線集中エリア４３が検出された場合であって、視線集中エリア４３内の表示オブジェクト４４が１つである場合に、表示オブジェクト４４を拡大表示する拡大表示モードに移行する機能を有する。また、表示制御部１８３は、視線集中エリア４３が検出されなかった場合や、視線集中エリア４３に複数の表示オブジェクト４４が含まれる場合に、ヘルプ情報を表示するヘルプ表示モードに移行する機能を有する。なお、表示制御部１８３は、検出された視線集中エリア４３内に表示オブジェクト４４が含まれなかった場合、拡大表示もヘルプ表示も行わなくても良い。

次に、図３を参照して、ユーザーの視線４０に基づく表示制御処理の流れを説明する。

表示部１１１に画面Ｇ２０が表示されると（ｓ１１）、視線検出部１２は、画面Ｇ２０に対するユーザーの視線４０を検出するまで待機する（ｓ１２、ｓ１２：Ｎｏ）。

視線検出部１２が画面Ｇ２０に対する視線４０を検出すると（ｓ１２：Ｙｅｓ）、視線集中エリア検出部１８１は、視線検出部１２を介して視線４０の動きを特定時間監視する（ｓ１３）。

つづいて、視線集中エリア検出部１８１は、視線４０の特定時間内の移動軌跡４２に基づいて、画面Ｇ２０上で視線４０が集中した視線集中エリア４３を検出したか否かを判断する（ｓ１４）。

例えば、図４は、画面Ｇ２０上の特定時間における移動軌跡４２を示した図である。ここでは、移動軌跡４２を分かりやすく説明するため、画面Ｇ２０内の表示オブジェクト４４を省略して示している。図４（ａ）に示す移動軌跡４２では、画面Ｇ２０に対する移動軌跡４２の密度分布が下部エリアで高くなるため、視線集中エリア４３が検出される。一方、図４（ｂ）に示す移動軌跡４２では、画面Ｇ２０に対する移動軌跡４２の密度分布が略均一となるため、視線集中エリア４３は検出されない。このように、視線集中エリア検出部１８１が、特定時間内における視線４０の移動軌跡４２の密度分布に基づいて、視線集中エリア４３を検出することで、ユーザーの視線４０が一瞬外れたり動いたりしても、視線集中エリア４３を精度良く検出することができる。

視線集中エリア４３が検出された場合（ｓ１４：Ｙｅｓ）、計数部１８２は、視線集中エリア４３に含まれる表示オブジェクト４４の数を数え、視線集中エリア４３に複数の表示オブジェクト４４が含まれるか否かを判断する（ｓ１５）。例えば、図５（ａ）は、視線集中エリア４３に表示オブジェクト４４として、アイコンが１つ含まれている場合を示し、図５（ｂ）は、視線集中エリア４３に表示オブジェクト４４として、３つのアイコンが含まれている場合を示している。

視線集中エリア４３に複数の表示オブジェクト４４が含まれていない場合（ｓ１５：Ｎｏ）、つまり、視線集中エリア４３内の表示オブジェクト４４が１つの場合、表示制御部１８３は、拡大表示モードに移行する（ｓ１６）。つづいて、拡大表示モードにおいて、表示制御部１８３は、画面Ｇ２０内の表示オブジェクト４４を拡大表示する（ｓ１７）。

このように、視線集中エリア４３に含まれる表示オブジェクト４４が１つである場合、ユーザーにとって表示オブジェクト４４の視認性が悪く、表示オブジェクト４４をよく見ようとして凝視している可能性が高い。そこで、表示制御部１８３が拡大表示モードに移行して、視線集中エリア４３に含まれる表示オブジェクト４４を拡大表示することで、表示オブジェクト４４の視認性を高め、操作性を向上させることができる。

例えば、図６（ａ）は、図５（ａ）に示す視線集中エリア４３の表示オブジェクト４４を拡大表示した例であり、図６（ｂ）は、図２に示す視線集中エリア４３の表示オブジェクト４４を拡大表示した例である。図６（ａ）、（ｂ）に示すように、表示制御部１８３は、視線集中エリア４３に含まれていた表示オブジェクト４４だけを特定倍率で拡大表示して、他の表示オブジェクト４４、つまり、視線集中エリア４３に含まれていなかった表示オブジェクト４４の表示倍率を変更しないようにしてもよい。

また、図７は、図５（ａ）に示す視線集中エリア４３の表示オブジェクト４４を拡大表示した他の例である。図７（ａ）に示すように、表示制御部１８３は、視線集中エリア４３に含まれていた表示オブジェクト４４がアイコンであって、周囲に複数のアイコンが配置されている場合、視線集中エリア４３に含まれていたアイコンと共に、周囲に配置されている各アイコンそれぞれを隣接するアイコン同士が重ならない倍率で拡大表示しても良い。一般的に、隣接するアイコン同士の間には、圧迫感を避けるためにスペース（余白）が設けられている。表示制御部１８３は、このスペースを利用して、各アイコンを拡大表示することができる。

さらに、図７（ｂ）に示すように、表示制御部１８３は、各アイコンを拡大表示したときに、視線集中エリア４３に含まれていたアイコンの拡大倍率が特定倍率未満となる場合、視線集中エリア４３に含まれていたアイコンを特定倍率に拡大表示して、隣接するアイコンの上に重ねて表示しても良い。

また、表示制御部１８３は、画面Ｇ２０全体、つまり、画面Ｇ２０内の各表示オブジェクト４４全てを拡大表示しても良い。また、表示制御部１８３は、画面Ｇ２０全体を拡大表示した場合、次の画面Ｇ２０全体も拡大表示してもよい。

一方、視線集中エリア４３が検出されなかった場合や（ｓ１４：Ｎｏ）、検出された視線集中エリア４３に複数の表示オブジェクト４４が含まれていた場合には（ｓ１５：Ｙｅｓ）、表示制御部１８３は、ヘルプ表示モードに移行する（ｓ１８）。ヘルプ表示モードに移行すると、表示制御部１８３は、表示オブジェクト４４に関するヘルプ表示を行う（ｓ１９）。

このように、視線集中エリア４３が検出されなかったり、検出されても視線集中エリア４３に複数の表示オブジェクト４４が含まれたりする場合、画面Ｇ２０上でユーザーの視線４０が定まっていないため、操作に迷っている可能性がある。そこで、表示制御部１８３がヘルプ表示モードに移行して、ヘルプ表示を行うことで、ユーザーの操作を補助することができ、操作性を向上することができる。

例えば、図８（ａ）は、図４（ｂ）に示す視線集中エリア４３が検出されなかった場合のヘルプ表示例である。視線集中エリア４３が検出されなかった場合、ユーザーは画面Ｇ２０に表示された表示オブジェクト４４の操作方法が分からない可能性がある。そのため、表示制御部１８３は、例えば、「所望の機能をタッチしてください。」のように、表示オブジェクト４４の操作方法に関するヘルプ情報４５を画面Ｇ２０に表示する。

また、図８（ｂ）は、図５（ｂ）に示す視線集中エリア４３に複数の表示オブジェクト４４が含まれる場合のヘルプ表示例である。検出された視線集中エリア４３内に複数の表示オブジェクト４４が含まれる場合、ユーザーは表示オブジェクト４４の機能が分からなくて操作に迷っている可能性がある。そのため、表示制御部１８３は、視線集中エリア４３に含まれていた各表示オブジェクト４４の機能を説明するヘルプ情報４５を画面Ｇ２０に表示する。

このとき、表示制御部１８３は、視線集中エリア４３に含まれている表示オブジェクト４４に重ならない位置に、ヘルプ情報４５を表示するとよい。視線集中エリア４３が画面Ｇ２０の中央寄りのため、ヘルプ情報４５を表示するエリアが狭い場合、表示制御部１８３は、視線集中エリア４３に含まれる表示オブジェクト４４の表示位置を画面Ｇ２０上の上下左右のいずれかに移動させて、ヘルプ情報４５の表示エリアを拡大してもよい。

なお、表示制御部１８３は、表示したヘルプ情報４５について、一定時間経過後やユーザーの操作に応じて、画面Ｇ２０から消去してもよい。

表示制御部１８３による拡大表示処理（ｓ１７）又はヘルプ表示処理（ｓ１９）が終了すると、本処理は終了する。

なお、表示制御部１８３は、表示オブジェクト４４を拡大表示した後に、視線検出部１２により検出された視線４０の動きに応じて、視線位置４１の表示オブジェクト４４が替わる毎に、視線位置４１の表示オブジェクト４４を拡大表示対象として逐次変更してもよい。これによれば、表示制御部１８３が拡大表示モードに移行後は、ユーザーの視線４０の先に位置する表示オブジェクト４４が次々に拡大表示することができる。

また、表示制御部１８３は、ヘルプ情報４５を表示した後に、視線検出部１２により検出された視線４０の動きに応じて、視線位置４１の表示オブジェクト４４が替わる毎に、視線位置４１の表示オブジェクト４４をヘルプ表示対象として逐次変更してもよい。これによれば、表示制御部１８３がヘルプ表示モードに移行後は、ユーザーの視線４０の先に位置する表示オブジェクト４４に関するヘルプ情報４５を次々に表示することができる。

このように、本実施の形態の表示装置は、画面Ｇ２０を表示する表示部１１１と、画面Ｇ２０に対するユーザーの視線４０を検出する視線検出部１２と、視線検出部１２により検出された視線４０の画面Ｇ２０上の移動軌跡４２に基づいて、画面Ｇ２０内の視線集中エリア４３を検出する視線集中エリア検出部１８１と、視線集中エリア４３が検出された場合に、視線集中エリア４３に含まれる表示オブジェクト数を数える計数部１８２と、視線集中エリア４３に含まれる表示オブジェクト数が１つの場合に、拡大表示モードに移行して、表示オブジェクト４４を拡大表示させ、視線集中エリア４３が検出されなかった場合又は視線集中エリア４３に含まれる表示オブジェクト数が複数の場合に、ヘルプ表示モードに移行して、ヘルプ情報４５を表示させる表示制御部１８３とを備えたことを特徴とする。

これにより、表示装置は、ユーザーの視線４０に基づいて、ユーザーが画面Ｇ２０の視認性が悪くて困っているのか、操作に迷っているのかを判断し、視認性が悪いと判断した場合には、画面Ｇ２０の表示オブジェクト４４を拡大表示し、操作に迷っていると判断した場合には、画面Ｇ２０の表示オブジェクト４４に関するヘルプ情報４５を表示することができる。したがって、ユーザーに合わせて適切な画面Ｇ２０を表示することができ、ユーザーの操作性を向上させることができる。

なお、予めユーザーＩＤとユーザーの年齢を含むユーザー情報を記憶部１５に登録しておき、制御部１８は、入力されたユーザーＩＤと記憶部１５に記憶されたユーザーＩＤとを照合することでユーザー認証を行ってもよい。そして、表示制御部１８３は、ユーザーの年齢に基づいて、拡大表示モードのオン／オフを制御しても良い。例えば、表示制御部１８３は、４０歳未満のユーザーの場合、拡大表示モードに移行しなくてもよい。なお、ユーザーの年齢は、予め登録されていなくてもよく、拡大表示モードの移行前に、操作部１１を介してユーザーによって入力されても良い。

また、表示制御部１８３は、拡大表示モードに移行する直前に視線検出部１２により撮影された画像データに基づいて、画面からユーザーの顔までの距離を推測し、推測した距離に基づいて拡大表示モードのオン／オフを制御しても良い。例えば、表示制御部１８３は、画像データ内に占めるユーザーの顔の割合に基づいて、画面からユーザーの顔までの距離を推測しても良い。推測した距離が特定距離未満である場合に、ユーザーの顔が画面に近いため、表示制御部１８３は、拡大表示モードをオフに制御し、特定距離以上の場合に、拡大表示モードをオンに制御しても良い。

また、表示制御部１８３は、表示させたヘルプ情報４５を印刷部１７により印刷させても良い。これによれば、ユーザーは、画面Ｇ２０のヘルプ情報４５が印刷された紙を見ながら、画面Ｇ２０を操作することができる。

本発明は上述した実施の形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々様々に変更が可能であることは言うまでもない。

１画像形成装置
１１操作部
１２視線検出部
１３通信部
１４原稿読取部
１５記憶部
１６画像処理部
１７印刷部
１８制御部
４０視線
４１視線位置
４２移動軌跡
４３視線集中エリア
４４表示オブジェクト
４５ヘルプ情報
１１１表示部
１１２操作ボタン
１８１視線集中エリア検出部
１８２計数部
１８３表示制御部
Ｇ２０画面

Claims

画面を表示する表示部と、
前記画面に対するユーザーの視線を検出する視線検出部と、
前記視線検出部により検出された前記視線の前記画面上の移動軌跡に基づいて、前記画面内の視線集中エリアを検出する視線集中エリア検出部と、
前記視線集中エリアが検出された場合に、前記視線集中エリアに含まれる表示オブジェクト数を数える計数部と、
前記視線集中エリアに含まれる前記表示オブジェクト数が１つの場合に、拡大表示モードに移行して、前記表示オブジェクトを拡大表示させ、前記視線集中エリアが検出されなかった場合又は前記視線集中エリアに含まれる前記表示オブジェクト数が複数の場合に、ヘルプ表示モードに移行して、ヘルプ情報を表示させる表示制御部とを備えた
ことを特徴とする表示装置。
前記視線集中エリア検出部は、
前記画面を複数エリアに分割したときに、前記移動軌跡を最も多く含むエリアを前記視線集中エリアとして検出する
ことを特徴とする請求項１に記載の表示装置。
前記表示制御部は、
前記視線集中エリアが検出されなかった場合に、前記画面の操作に関するヘルプ情報を表示する
ことを特徴とする請求項１又は２に記載の表示装置。
前記表示制御部は、
前記視線集中エリアに含まれる前記表示オブジェクト数が複数の場合に、前記複数の表示オブジェクトそれぞれの機能に関するヘルプ情報を表示する
ことを特徴とする請求項１から３までのいずれか１項に記載の表示装置。
前記表示制御部は、
前記拡大表示モードにおいて、前記視線検出部により検出された前記視線が移動する毎に、拡大表示の対象とする前記表示オブジェクトを前記視線の位置の前記表示オブジェクトに変更する
ことを特徴とする請求項１から４までのいずれか１項に記載の表示装置。
前記表示制御部は、
前記ヘルプ表示モードにおいて、前記視線検出部により検出された前記視線が移動する毎に、前記ヘルプ情報の表示対象とする前記表示オブジェクトを前記視線の位置の前記表示オブジェクトに変更する
ことを特徴とする請求項１から５までのいずれか１項に記載の表示装置。
前記表示部は、
前記ユーザーの年齢に基づいて、前記拡大表示モードをオン及びオフのいずれかに制御する
ことを特徴とする請求項１から６までのいずれか１項に記載の表示装置。
請求項１から６までのいずれか１項に記載の表示装置を備え、
前記ヘルプ情報を印刷する印刷部を備えた
ことを特徴とする画像形成装置。