JP7277151B2 - image forming device - Google Patents
image forming device Download PDFInfo
- Publication number
- JP7277151B2 JP7277151B2 JP2019007929A JP2019007929A JP7277151B2 JP 7277151 B2 JP7277151 B2 JP 7277151B2 JP 2019007929 A JP2019007929 A JP 2019007929A JP 2019007929 A JP2019007929 A JP 2019007929A JP 7277151 B2 JP7277151 B2 JP 7277151B2
- Authority
- JP
- Japan
- Prior art keywords
- line
- sight
- operator
- image forming
- control unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明は、視線検出技術を採用したプリンタ、複写機、ファクシミリあるいは複合機などの画像形成装置に関する。 The present invention relates to an image forming apparatus such as a printer, a copying machine, a facsimile machine, or a multi-function machine that employs line-of-sight detection technology.
最近では操作者（ユーザ）の利便性を向上すべく、操作者の視線を検出する視線検出技術を採用した画像形成装置が提案されている（特許文献１）。従来の装置では、表示装置に向けられた操作者の視線を検出することに応じて、表示装置に表示された表示を変更する制御が行われている（所謂、視線入力）。 Recently, in order to improve the convenience of an operator (user), there has been proposed an image forming apparatus that employs a line-of-sight detection technique for detecting the line of sight of an operator (Patent Document 1). In a conventional device, control is performed to change the display displayed on the display device according to detection of the operator's line of sight directed toward the display device (so-called line-of-sight input).
しかしながら、従来では視線検出技術を採用しているにも関わらず、画像形成装置としての使い勝手が良くなかった。即ち、上記したような視線入力を可能とするためには、操作者の視線を検出する必要がある。上記の特許文献１に記載の装置の場合、操作者の瞳孔や角膜反射点などの基準点を求めることで操作者の視線を検出している。それ故、操作者毎に基準点を計測し終わるまでは視線を検出することが難しいために、操作者は視線による入力操作を正しく行うことができない。しかしながら、従来では、基準点の計測が終わり視線入力可能であるか否かを操作者が知るべきすべがなかったために、操作者は視線入力を開始してよいかがわからずユーザの利便性が損なわれていた。そこで、画像形成装置において視線検出技術を採用した構成であって、操作者にとってより使い勝手のよい、つまりユーザの利便性のより高いものが望まれていたが、未だそのようなものは提案されていない。
However, although the conventional image forming apparatus employs the line-of-sight detection technology, it is not convenient for use as an image forming apparatus. That is, in order to enable the line-of-sight input as described above, it is necessary to detect the operator's line of sight. In the case of the apparatus described in
本発明は上記問題に鑑みてなされ、視線検出技術を採用した画像形成装置において、ユーザの利便性を向上させた画像形成装置の提供を目的とする。 SUMMARY OF THE INVENTION It is an object of the present invention to provide an image forming apparatus that employs line-of-sight detection technology and that improves user convenience.
本発明の一実施形態に係る画像形成装置は、記録材に画像を形成可能な画像形成部と、ユーザの視線による入力が可能なソフトウェアキーを表示可能な表示部と、物理的に設けられたハードウェアキーとを有する操作部と、ユーザの顔を撮像する撮像部と、前記撮像部に撮像されたユーザの顔の画像によって得られる撮像結果に基づいてユーザの視線を検出可能な状態に設定する設定モードと、前記設定モードの設定に基づいて検出されるユーザの視線による前記ソフトウェアキーに対する視線入力操作に従って前記ソフトウェアキーに対応する入力を受け付ける入力モードとを実行可能な制御部と、を備え、前記制御部は、前記入力モードにおいて、ユーザの視線が前記ソフトウェアキーに向いている場合に前記ソフトウェアキーに予め割り当てられた機能を前記表示部に表示させ、ユーザの視線が前記ハードウェアキーに向いている場合に前記ハードウェアキーに予め割り当てられた機能を前記表示部に表示させる、ことを特徴とする。 An image forming apparatus according to an embodiment of the present invention includes an image forming unit capable of forming an image on a recording material, a display unit capable of displaying software keys that can be input by a user's line of sight, and an image forming apparatus. an operation unit having hardware keys; an imaging unit for capturing an image of a user's face; and an input mode for receiving an input corresponding to the software key according to a line-of-sight input operation for the software key by a user's line of sight detected based on the setting of the setting mode. The control unit causes the display unit to display a function assigned in advance to the software key when the user's line of sight is directed toward the software key in the input mode, and the display unit displays the function assigned in advance to the software key when the user's line of sight is directed toward the hardware key. A function assigned in advance to the hardware key is displayed on the display unit when the user is oriented .
本発明によれば、視線検出技術を採用した画像形成装置において、ユーザの利便性を向上させることができる。 According to the present invention, user convenience can be improved in an image forming apparatus that employs line-of-sight detection technology.
＜画像形成装置＞
まず、本実施形態の画像形成装置について、図１を用いて説明する。図１に示す画像形成装置５０は、電子写真方式のタンデム型のフルカラープリンタである。画像形成装置５０は、装置本体５０ａに接続された原稿読取装置６０１あるいは装置本体５０ａに接続されたコンピュータ等の外部端末（不図示）から送られる画像データに基づいて、トナー像を記録材Ｐ（用紙、ＯＨＰシートなどのシート材など）に形成する。
<Image forming apparatus>
First, the image forming apparatus of this embodiment will be described with reference to FIG. The
原稿読取装置６０１は、原稿を載置可能な原稿台を有し、原稿台に載置された原稿を読み取り可能な読取装置６１０と、原稿を読取装置６１０へ搬送する原稿搬送装置６１１（Ａｕｔｏ Ｄｏｃｕｍｅｎｔ Ｆｅｅｄｅｒ）とを有する。読取装置６１０には、主に不図示の第１読取部、原稿台ガラス、流し読みガラスとが設けられている。原稿搬送装置６１１は、読取装置６１０の原稿台ガラスに対して開閉可能になっている。原稿台ガラスに載置された原稿は、原稿台ガラスと対向して原稿搬送装置６１１に設けられる圧板部により押さえられ、原稿のコピーやスキャンの開始に応じて動作する第１読取部により画像が読み取られる。他方、原稿搬送装置６１１には、主に不図示の第２読取部や原稿搬送部とが設けられている。不図示のトレイ上に載置された原稿は、コピーやスキャンの開始に応じて動作する原稿搬送部によって読取装置６１０の流し読みガラス上へ送られて第１読取部により第１面の画像が読み取られ、第２読取部により第１面と反対の第２面の画像が読み取られる。そして、第１読取部や第２読取部により読み取られた画像は、画像データとして後述するレーザスキャナ６による感光ドラムａ～ｄ上への静電潜像の形成に用いられる。
The
画像形成装置５０は、イエロー、マゼンタ、シアン、ブラックの画像を形成可能な画像形成部１０を備えている。画像形成部１０は、中間転写ベルト５８の周方向に沿って配列された画像形成ユニット１ａ、１ｂ、１ｃ、１ｄを有している。画像形成ユニット１ａ～１ｄはそれぞれ、回転可能な感光ドラムａ～ｄと、帯電器６０と、現像器５９とを有している。感光ドラムａ～ｄは対応する帯電器６０で帯電された後に、レーザスキャナ６から発せられる画像データに対応したレーザ光により走査露光される。これにより、感光ドラムａ～ｄの表面に画像データに応じた静電潜像が形成される。そして、感光ドラムａ～ｄに形成された静電潜像は、現像器５９により現像剤を用いてトナー像に現像される。感光ドラムａ～ｄに形成された各トナー像は、中間転写ベルト５８の内周側にて各感光ドラムａ～ｄに対向して配置された一次転写ローラ２ａ～２ｄに一次転写バイアスが印加されることにより、一次転写ニップ部Ｎ１で中間転写ベルト５８に一次転写される。
The
無端ベルト状の中間転写ベルト５８は、二次転写内ローラ５１と張架ローラ５２、５３とによって張架されている。二次転写内ローラ５１と中間転写ベルト５８を挟んで対向する位置には二次転写外ローラ３ａが配置され、中間転写ベルト５８上のトナー像を記録材Ｐに二次転写するための二次転写ニップ部Ｎ２を形成している。
An endless
画像形成装置５０の下部には、記録材Ｐが載置された給紙カセット４が配置されている。記録材Ｐは、給送ローラ８により給紙カセット４から１枚ずつ搬送路４５に供給される。給紙カセット４から供給された記録材Ｐは、搬送路４５を通って一対のレジストローラ９に送られる。レジストローラ９は、記録材Ｐを一旦受け止めて記録材Ｐの斜行を補正したうえで、各画像形成ユニット１ａ～１ｄにおける中間転写ベルト５８へのトナー像の形成タイミングにあわせて、記録材Ｐを二次転写ニップ部Ｎ２に搬送する。そして、二次転写外ローラ３ａに二次転写バイアスが印加されることにより、中間転写ベルト５８上のトナー像が二次転写ニップ部Ｎ２で記録材Ｐに二次転写される。その後、記録材Ｐは定着前搬送路３０を介して定着装置４０に向けて搬送される。定着装置４０では、記録材Ｐが定着ニップ部を形成するローラ対により挟持搬送されることに伴い、トナー像が加熱、加圧されて記録材Ｐに定着される。
A
記録材Ｐの片面だけにトナー像を形成する場合、定着装置４０を通過した記録材Ｐは、正回転する排紙ローラ対１１により排紙トレイ１２上に排出される。他方、記録材Ｐの両面にトナー像を形成する場合、定着装置４０を通過した記録材Ｐは正回転する排紙ローラ対１１により搬送されるが、その搬送方向後端が反転ポイント４２に達すると、両面搬送路４７に向けスイッチバック搬送される。即ち、記録材Ｐの搬送方向後端が反転ポイント４２に達すると、切り換えフラッパ４６が切り換えられると共に、排紙ローラ対１１の回転が正回転から逆回転に変わり、記録材Ｐは排紙トレイ１２上に排出されることなく、両面搬送路４７に送られる。両面搬送路４７に送られた記録材Ｐは、搬送ローラ対１３により搬送路４５に戻され、片面へのトナー像形成時と同様の過程を経て、他方の面にもトナー像が形成される。そして、両面にトナー像が定着された記録材Ｐは、正回転する排紙ローラ対１１により排紙トレイ１２上に排出される。
When a toner image is formed on only one side of the recording material P, the recording material P that has passed through the
図１に示すように、本実施形態の画像形成装置５０は、人感センサ４５０を備えている。人感センサ４５０は、例えば画像形成装置５０の周囲の温度変化を検出可能な赤外線を用いた温度変化検出方式のセンサである。即ち、操作者が画像形成装置５０に近付いて人感センサ４５０により発せられる赤外線を横切るなどして周囲温度が変化した場合に、人感センサ４５０は操作者の所在を検出し得る。本実施形態の場合、操作者が画像形成装置５０の前面側、詳しくは操作者が操作パネル７００の前面に相対する位置にいるときにその所在を検出できるように、人感センサ４５０は操作パネル７００に配置されている。本実施形態では人感センサ４５０の検出可能範囲を、例えば人感センサ４５０を頂点とし、人感センサ４５０の前方において略５００ｍｍ程度で半径略３００ｍｍになる円錐状の範囲内とした。なお、人感センサ４５０は赤外線を用いた温度変化検出方式の熱センサに限らず、人の所在を検出できるセンサであればどのような方式のセンサを用いてもよい。
As shown in FIG. 1, the
＜操作パネル＞
また、本実施形態の画像形成装置５０は操作パネル７００を備えている。操作パネル７００は、操作者が操作可能な操作子を有するもので、操作者が操作しやすいように装置本体５０ａの前面側に配置されている。操作パネル７００は、例えばチルト機構やバリアングル機構などによって上下左右に角度調整可能に装置本体５０ａに設けられている。そのため、操作者は自身の顔と操作パネル７００の前面とが相対するように、操作パネル７００の向きを調整可能となっている。図２に、操作部としての操作パネル７００の一例を示す。図２に示すように、操作パネル７００は物理的に設けられたハードキー４０１を有するハード部４００と、各種情報や後述のソフトキー４０３を含む各種画面を表示可能な表示部４１０と、内部に設けられた不図示の基板等を覆うパネルカバー７１０とを有する。パネルカバー７１０は、ハード部４００と表示部４１０とを表面に露出させるように設けられている。本実施形態の場合、後述するように、操作パネル７００のハード部４００と表示部４１０とは、ユーザの視線による入力操作が可能なユーザインターフェースとして機能する。
<Operation panel>
Further, the
＜ハード部＞
ハード部４００には、例えばプリントキー、コピーキー、テンキー、ストップキー、スタートキー、パワー（オンオフ）スイッチなどの、各種機能が割り当てられた物理的な操作子であるハードキー４０１が設けられている。本実施形態の場合、ハードキー４０１は例えば透過性のキーやボタンの裏側に発光用ＬＥＤ４０２（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）が配置されたバックライト付きの操作子である。即ち、ハードキー４０１を個別に光らせるために、発光用ＬＥＤ４０２が各ハードキー４０１に配置されている。なお、操作者が一見して各ハードキー４０１を区別できれば、発光用ＬＥＤ４０２の代わりに、ランプなどの発光素子が各ハードキー４０１の近傍に配設されていてもよい。
<Hardware>
The
上記したハードキー４０１にはそれぞれ、操作者による操作に応じて実行する各種機能が予め割り当てられていてもよい。一例として、プリントキーには、通常印刷に関する各種データの入力機能が割り当てられている。コピーキーには、画像形成装置５０を複写機として使用する場合（複写モードと呼ぶ）における、複写印刷に関する各種データの入力機能が割り当てられている。具体的には、プリントキーやコピーキーが操作された場合、各種データの入力機能として例えば表示部４１０に各種データの入力を行うための入力画面を表示する機能が実行される。テンキーには、例えば印刷枚数などの数値を入力する入力機能が割り当てられている。ストップキーには、例えば実行中の画像形成ジョブを強制的に停止させる機能が割り当てられている。スタートキーには、複写モード時の原稿画像の読み取り動作を含め、画像形成ジョブの実行開始を指示する機能が割り当てられている。パワースイッチには、画像形成装置５０の電源をオンオフする機能が割り当てられている。
Various functions to be executed according to operations by the operator may be assigned in advance to the
＜表示部＞
表示部４１０は、例えばハードキー４０１の操作に応じて入力された各種データや、装置の動作状況（ステータスなどと呼ばれる）といった各種情報、各種データを入力する入力画面などの各種画面を適宜に表示し得る。また、本実施形態の場合、表示部４１０はハードキー４０１などを模した仮想の操作子としてソフトキー４０３が表示可能である。図２ではソフトキー４０３として、例えば複写用のコピーボタン（ＣＯＰＹ）、原稿読み取り開始用のスキャンボタン（ＳＣＡＮ）、ＦＡＸ送信用のボタン（ＦＡＸ）、これら以外の機能に関する設定画面などを表示させる設定ボタン（設定）等を例に示した。ソフトキー４０３が表示されている場合、操作者によるソフトキー４０３に対する表示部４１０へのタッチ操作に応じて、ソフトキー４０３に予め割り当てられている各種機能が実行される。つまり、表示部４１０は操作者によるタッチ操作可能なタッチパネル方式のディスプレイである。
<Display part>
The
詳しくは後述するように、本実施形態の場合、操作者は実際にハードキー４０１に触れて操作せずとも、ハードキー４０１に視線を向けることで、実際に触れて操作した場合と同様にハードキー４０１を操作可能としている（所謂、視線入力）。また、表示部４１０にソフトキー４０３が表示されている場合に、操作者はソフトキー４０３へのタッチ操作を行わずとも、操作したいソフトキー４０３に視線を向けることで、タッチ操作した場合と同様に操作可能、つまり視線入力可能としている。そうするために、本実施形態の画像形成装置５０には、操作者の視線を検出するために用いる視線検出装置５００が操作パネル７００の一部であるパネルカバー７１０に設けられている。視線検出装置５００が操作パネル７００に設けられることで、操作パネル７００の角度調整にあわせて操作者の視線をより正しく検出可能な位置に調整され得る。
As will be described later in detail, in the case of the present embodiment, even if the operator does not actually touch the
＜視線検出装置＞
図２に示すように、視線検出装置５００は、カメラ５１０と近赤外線光源５２０とを有する。撮像部としてのカメラ５１０は、例えば赤外光による撮影が可能なオートフォーカス（ＡＦ）デジタルカメラであり、ＣＭＯＳセンサやＣＣＤセンサなどの撮像素子を有している。照射部としての近赤外線光源５２０は、例えば不可視光の近赤外線光を照射可能な照明装置であり、複数の近赤外線ＬＥＤなどの発光素子を有している。近赤外線光源５２０は画像形成装置５０の前面で操作パネル７００を操作する操作者に向け近赤外線光を照射可能に配置され、カメラ５１０は近赤外線光源５２０から照射される近赤外線光を受けた操作者の顔（より詳くは目）を撮影可能に配置されている。
<Gaze detection device>
As shown in FIG. 2 , line-of-
また、操作パネル７００には、表示ランプ４２０、カメラ位置表示部４２１、スピーカ４３０、振動発生装置４４０が設けられている。カメラ位置表示部４２１は、カメラ５１０の撮影中に点灯することでカメラ５１０を操作者に見させるために所定位置に配置された、例えば単色（例えば赤色）のＬＥＤ等である。表示ランプ４２０は、例えば装置の動作状況を光で操作者に知らせるための複数色のＬＥＤ等である。表示ランプ４２０は、例えば装置が使用可能な状態であるときに緑色に点灯され、紙詰まりや故障などにより装置が使用不可の状態であるときに赤色に点灯される。スピーカ４３０は、例えば音声ガイドによる操作の案内や警告音などを発生可能な音発生手段である。表示ランプ４２０やスピーカ４３０が位置調整可能な操作パネル７００に設けられると、操作者に対する報知が視覚や音により適切に行われやすくなるので、好ましい。さらに、操作パネル７００には振動発生装置４４０が設けられており、振動発生装置４４０はハードキー４０１を個別に振動させ得る。
Further, the
＜視線検出について＞
ここで、上記した視線検出装置５００を用いた操作者の視線検出について、図３及び図４を用いて簡単に説明する。視線検出装置５００を用いた操作者の視線検出を可能とするためには、カメラ５１０により撮影された操作者のデータ（詳しくは目のデータ）を解析する必要がある。そこで、このデータの解析を行うために、後述する制御部３００（詳しくは視線検出部３３０、図５参照）が設けられている。即ち、本実施形態では、視線検出装置５００と後述する制御部３００（詳しくは視線検出部３３０）とにより、操作者の視線を検出可能な視線検出手段が構成されている。
<About line-of-sight detection>
Here, detection of an operator's line of sight using the line of
視線検出は、角膜反射法や強膜反射法などの一般的に知られている視線検出法を採用してよく、本実施形態では角膜反射法を採用した。角膜反射法は、近赤外線光が照射された操作者の目の角膜Ｋｍ表面の反射光の反射点７６１（プルキニエ像）の反射点中心７６１ｐと、眼球７５０の瞳孔７６０の瞳孔中心７６０ｐとを特定して、操作者の視線を検出する方式である。つまり、反射点中心７６１ｐの位置を基準点に、瞳孔中心７６０ｐの位置が捉えられることにより、操作者の視線の向きが検出され得る。瞳孔中心７６０ｐの位置を捉える方法には明瞳孔法と暗瞳孔法の二つがあり、明瞳孔法は瞳孔を明るくして位置を捉える方法であり、暗瞳孔法は瞳孔を暗くして位置を捉える方法である。本実施形態では、暗瞳孔法を採用した。
A commonly known line-of-sight detection method such as a corneal reflection method or a scleral reflection method may be used for line-of-sight detection, and the corneal reflection method is used in this embodiment. In the corneal reflection method, the
反射点中心７６１ｐの位置と瞳孔中心７６０ｐの位置の特定は、まず近赤外線光を照射した目の瞳孔７６０と虹彩７６２と反射点７６１とに、カメラ５１０により撮影されたデータをピクセル単位で分割し、各ピクセルでの輝度を比較する。各ピクセルでの輝度は、瞳孔＜虹彩＜反射点の順で検出される。この検出結果に従って、瞳孔７６０と虹彩７６２と反射点７６１の輝度の違いにより各々の境界を捉えた画像の白黒二値化が行われ、瞳孔７６０と反射点７６１の輪郭から中心を求め、瞳孔中心７６０ｐと反射点中心７６１ｐの位置を特定する。
The position of the
反射点中心７６１ｐと瞳孔中心７６０ｐの位置が特定されると、これらに基づき視線ベクトルＧｂが求められる。視線ベクトルＧｂは、予め登録済みの眼球モデル情報に基づく角膜曲率半径Ｒｋ、瞳孔半径Ｒｄ、角膜曲率中心Ｋｃから瞳孔中心７６０ｐまでの距離Ｄｋｄに基づき求められる（図４参照）。角膜曲率中心Ｋｃと瞳孔中心７６０ｐは、瞳孔中心７６０ｐ及び反射点中心７６１ｐの二点、角膜曲率半径Ｒｋ、瞳孔半径Ｒｄ、角膜曲率中心Ｋｃから瞳孔中心７６０ｐまでの距離Ｄｋｄから求められる。角膜曲率中心Ｋｃと瞳孔中心７６０ｐとがわかれば、これらを結ぶ視線ベクトルＧｂを得ることができる。視線ベクトルＧｂが得られることで、以降、カメラ５１０を介して瞳孔７６０の動きを捉えることができ、もって操作者の視線を検出可能となる。ここで、視線とは操作者が目で見ている方向であり、その視線が注がれるところが視点である。本実施形態では、この視線を検出することで、操作者が操作パネル７００上のいずれの領域を見ているかを検出している。つまり、本実施形態では、視線を検出することで視点を検出していることになる。このように、操作者の視点を検出することにより、操作者が操作パネル７００上の領域のうちいずれの領域を見ているかを検出することができる。なお、本実施形態の場合、角膜曲率半径Ｒｋ、瞳孔半径Ｒｄ、距離Ｄｋｄは一般的な平均値を用いてよい。
When the positions of the
なお、瞳孔中心７６０ｐと反射点中心７６１ｐの位置を特定した後に、視線補正（キャリブレーションなどと呼ばれる）を行うのが好ましい。視線補正は、より小さい誤差で操作者の視線検出を行うために行われる。
Note that it is preferable to perform line-of-sight correction (called calibration or the like) after specifying the positions of the
＜制御部＞
図１に示すように、本実施形態の画像形成装置５０は制御部３００を有している。制御部３００について、図１や図２を参照しながら図５を用いて説明する。なお、制御部３００には、図示した以外にも例えば上述した画像形成ユニット１ａ～１ｄ、各種ローラを駆動するモータ、一次転写バイアスや二次転写バイアスを印加する電源、定着装置４０などの各種機器が接続され、制御部３００によって制御されている。しかし、ここでは発明の本旨でないので、それらの図示及び説明を省略する。
<Control unit>
As shown in FIG. 1, the
図５に示すように、制御部３００は、ＣＰＵ３１０（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などのメモリ３２０を有する。記憶手段としてのメモリ３２０には、例えば視線入力プログラム（後述する図６及び図７参照）や画像形成ジョブなどの各種プログラム、後述する視線プロファイル情報やソフトキー表示用の画像データなどの各種データが記憶され得る。ＣＰＵ３１０は、メモリ３２０に記憶されている各種プログラムを実行可能である。なお、メモリ３２０は、各種プログラムの実行に伴う演算処理結果などを一時的に記憶することもできる。
As shown in FIG. 5, the
本実施形態の場合、ＣＰＵ３１０は視線入力プログラムを実行することにより、操作者の視線入力に関する画像形成装置５０の各種動作を制御し得る。なお、視線入力プログラムはソフトウェアプログラムの形態に限られず、例えばＤＳＰ（ディジタル・シグナル・プロセッサ）によって処理されるマイクロプログラムの形態などでも実施可能である。即ち、ＣＰＵ３１０は画像形成ジョブなどの制御プログラムを実行して画像形成動作などの各種制御を行うものを併用してよいが、これに限らず、視線入力プログラムを実行するのに専用に用意されたものを用いてもよい。
In the case of this embodiment, the
このＣＰＵ３１０に対し、例えばデータバス及びアドレスバス等を介し、ハードキー４０１、発光用ＬＥＤ４０２、表示部４１０、表示ランプ４２０、スピーカ４３０、振動発生装置４４０、人感センサ４５０、視線検出装置５００が接続されている。ＣＰＵ３１０は、例えば操作者によるハードキー４０１の操作や表示部４１０へのタッチ操作により入力された各種データを取得して、メモリ３２０に記憶し得る。
A
本実施形態の場合、ＣＰＵ３１０は、上述した人感センサ４５０による操作者の所在を検出した場合に、視線入力プログラム（図６及び図７参照）をメモリ３２０から読み出して実行する。制御部３００は、視線入力プログラムの実行時、視線検出部３３０、報知制御部３４０、表示制御部３４１、機能実行部３５０、情報作成部３６０などとして機能し得る。
In the case of this embodiment, the
視線検出部３３０は、視線検出装置５００からカメラ５１０により撮影されたデータを取得し、取得したデータを解析する。これにより、視線検出装置５００を用いた操作者の視線検出が可能となる。また、視線検出部３３０は、視線補正を実行し得る。これにより、より正確な視線検出を行うことが可能となる。こうして、本実施形態では、視線検出部３３０により視線検出装置５００を用いた操作者の視線検出が実現される。報知制御部３４０は、操作者の視線を検出したことを、報知手段としての表示ランプ４２０、スピーカ４３０、振動発生装置４４０、さらには発光用ＬＥＤ４０２などにより、操作者に報知する制御を実行する。表示制御部３４１は、報知手段（表示手段）として表示部４１０を制御し得る。表示制御部３４１は、上記したソフトキー４０３やステータスや各種画面を表示部４１０に表示させる。本実施形態の場合、表示制御部３４１は操作者の視線を検出したことをステータスとして報知したり、あるいは検出した操作者の視線に基づいて視線が向いているソフトキー４０３の表示を変更するなどして報知したりし得る。
The line-of-
機能実行部３５０は、操作者によるハードキー４０１やソフトキー４０３の操作により、これら操作子に予め割り当てられている各種機能を実行する。これらハードキー４０１やソフトキー４０３に対する操作者の操作は、直接的な操作に限らず、上記した操作者の視線検出に基づく視線入力による間接的な操作であってもよい。情報作成手段としての情報作成部３６０は、後述するように、操作者毎（ユーザ毎）の視線に関する情報である視線プロファイル情報を作成し、作成した視線プロファイル情報をメモリ３２０に記憶する。
The
＜視線入力プログラム＞
次に、本実施形態の視線入力プログラムについて、図３乃至図５を参照しながら図６及び図７を用いて説明する。ここに示す視線入力処理は制御部３００により、人感センサ４５０によって操作者の所在が検出された場合に開始され、人感センサ４５０によって操作者の所在が検出されなくなった場合に終了される。なお、ここでは図示の都合上、視線入力処理の前半処理を図６に示し、前半処理に後続する後半処理を図７に示した。
<Gaze input program>
Next, the line-of-sight input program of the present embodiment will be described using FIGS. 6 and 7 while referring to FIGS. 3 to 5. FIG. The line-of-sight input processing shown here is started by the
本実施形態では、まずカメラ５１０により撮影された撮像結果である操作者のデータを解析することで、操作者の視線を検出可能とするための視線検出部３３０を設定したうえで、撮像結果に基づいて操作者の視線を検出する設定モードを実行する。図６に示すように、制御部３００は、カメラ５１０による操作者の撮影を開始する（Ｓ１）。制御部３００は撮影の開始に応じて、表示部４１０に「撮影開始」を表示する（Ｓ２）。また、制御部３００はカメラ位置表示部４２１を点灯して（Ｓ３）、表示部４１０にステータスとして「パネル上の赤色部を見てください。」を表示させる（Ｓ４）。これにより、カメラ５１０を操作者に見させることで、カメラ５１０が操作者の顔を適切に撮影できるようにしている。そして、制御部３００は、カメラ５１０によって撮影され得られたデータに基づいて顔の検出を開始する（Ｓ５）。制御部３００は顔の検出が完了するまで装置を待機させ（Ｓ６のＮＯ）、顔の検出が完了することにより次のステップＳ７の処理に進む（Ｓ６のＹＥＳ）。この顔の検出では、操作者の視線検出を適正に行うことができるようにするために、操作者ごとに異なる目の位置が特定される。なお、操作者は顔が操作パネル７００の正面を向くように、操作パネル７００を位置調整することで、カメラ５１０が顔の検出に好適な位置で操作者の顔を撮影できるようにしている。
In the present embodiment, first, by analyzing the data of the operator, which is the result of imaging taken by the
上記の顔検出は、一般的なデジタルカメラで採用されている公知の顔認識機能を用いてよい。即ち、カメラ５１０によって撮影され得られたデータに、水平方向バンドパスフィルタ及び垂直方向バンドパスフィルタを作用させて、データからエッジ成分を検出する。そして、検出されたエッジ成分に基づく顔パターンと、メモリ３２０に記憶済みの多様な顔パターンとのパターンマッチングによって、目、鼻、口等の候補群を抽出することで、データが顔であることが認識される。
For the face detection described above, a known face recognition function employed in general digital cameras may be used. That is, a horizontal band-pass filter and a vertical band-pass filter are applied to data captured by the
顔検出が完了すると、制御部３００は近赤外線光源５２０により近赤外線光を照射開始し（Ｓ７）、上述した暗瞳孔法の角膜反射法を用いた視線検出を開始する（Ｓ８）。その際に、制御部３００は、カメラ位置表示部４２１を引き続き点灯した状態に維持し、表示部４１０に「視線検出を開始します。パネル上の赤色部を見てください。」とステータスを表示させる（Ｓ９）。こうして、光が照射された状態で操作者にカメラ５１０を見させて操作者の撮影を行うことで、近赤外線光源５２０により照射される近赤外線光による角膜表面における反射光の像（プルキニエ像）が操作者の目に鮮明に映るようにしている。
When the face detection is completed, the
そして、制御部３００は視線検出が完了するまで装置を待機させ（Ｓ１０のＮＯ）、視線検出が完了することにより次のステップＳ１１の処理に進む（Ｓ１０のＹＥＳ）。本実施形態の場合、制御部３００は視線検出を完了したことを操作者に伝え、次の視線補正処理に進むための準備として、表示部４１０に「視線検出完了しました。次に視線補正を行います。」とステータスを表示させる（Ｓ１１）。
Then, the
なお、本実施形態では、表示部４１０に上記したようなステータスを表示することで、操作者の視線検出が可能となったことを操作者に報知するようにしたが、操作者への報知方法はこれに限らない。例えば、表示ランプ４２０を用いてもよい。その場合、設定モードを開始した場合に表示ランプ４２０を「点滅」させ、設定モードを終了し操作者の視線による入力操作が可能となったら表示ランプ４２０を「点灯」させてもよい。あるいは、操作者の視線による入力操作が可能となったことを、スピーカ４３０からの音声により操作者に報知してもよいし、操作パネル７００に設けた振動発生装置４４０を連続あるいは簡潔に振動させて操作者に報知してもよい。
In the present embodiment, the operator is notified that the line of sight of the operator can be detected by displaying the above-described status on the
本実施形態では、視線検出の完了後、引き続き視線補正（キャリブレーション）を行って視線プロファイル情報を作成する情報取得モードを実行し得る。即ち、図７に示すように、制御部３００は視線検出の完了後、視線補正（キャリブレーション）を開始する（Ｓ１２）。本実施形態では視線補正の一例として、操作者に複数点を停留視させる方法を用いた。即ち、操作者が操作パネル７００の三つ以上の複数の箇所を見るように順次に誘導し、各箇所を所定時間以上に亘り見るように視線を停留させた状態で、各箇所における瞳孔中心７６０ｐおよび反射点中心７６１ｐの位置関係（図４参照）を得る。そして、得られた瞳孔中心７６０ｐおよび反射点中心７６１ｐの位置関係と、操作パネル７００の各地点の位置関係とに基づき、視線検出結果（Ｓ１０参照）を補正する。こうして視線補正された視線検出結果は、操作者毎に視線プロファイル情報としてメモリ３２０に記憶される。
In the present embodiment, after completion of line-of-sight detection, an information acquisition mode in which line-of-sight correction (calibration) is subsequently performed to create line-of-sight profile information can be executed. That is, as shown in FIG. 7, the
ここで、視線補正に必要な条件について、図５を参照しながら図８を用いて説明する。操作パネル７００には、視線検出部３３０が操作パネル７００の各箇所を特定できるように、網の目状に分割されたアドレスが予め付されている。本実施形態では、図８に示すように、行方向を「ＡＡ」から「ＫＫ」で示す１０行に振り分け、列方向を「０１」から「１３」で示す１３列に振り分け、「１０行×１３列＝１３０箇所」のアドレスを有している。このアドレスには、三次元空間の絶対座標としてＸ方向、Ｙ方向、Ｚ方向の絶対座標が付されており、視線検出部３３０による計算の基礎データとしてメモリ３２０に記憶されている。
Here, conditions necessary for line-of-sight correction will be described using FIG. 8 while referring to FIG. The
また、操作パネル７００の四隅のうちの３カ所には、視線補正のために操作者に視認させるためのターゲット部としてのマーカ７５１、７５２、７５３が設けられている。ここでは、マーカ７５１が操作パネル７００の左上角部に、マーカ７５２が操作パネル７００の右上角部に、マーカ７５３が操作パネル７００の右下角部にそれぞれ設けられている。これらマーカ７５１～７５３は、いずれか２つのマーカを結ぶ直線上に他のマーカが位置しないように設けられている。なお、マーカは操作パネル７００上の少なくとも２カ所以上に設けられていればよい。ただし、マーカのうち少なくとも２つは操作パネル７００の角部に設けられているのが好ましい。
ターゲット部は操作者が視認しやすいように、例えば５ｍｍ×５ｍｍの四角形状に形成され、マーカ７５１～７５３のように目立つ色（例えば黄色や青色など、パネルカバー７１０の色と異なる色）で塗装されていてもよい。あるいは、ＬＥＤなどで発光可能に形成されていてもよい。また、パネルカバー７１０にシール部材が貼り付けられることで形成されていてもよい。なお、ターゲット部それぞれの大きさは、操作者が視認しやすい大きさであって、かつ視線補正が可能な大きさであれば上述した大きさに限らなくてもよい。これらターゲット部としてのマーカ７５１～７５３には、三次元空間の絶対座標としてＸ方向、Ｙ方向、Ｚ方向の絶対座標が付される。例えば、マーカ７５１（アドレスＡＡ０１）の中心位置座標は、「Ｘ＝ＡＡ０１ｘ、Ｙ＝ＡＡ０１ｙ、Ｚ＝ＡＡ０１ｚ」である。マーカ７５２（アドレスＡＡ１３）の中心位置座標は、「Ｘ＝ＡＡ１３ｘ、Ｙ＝ＡＡ１３ｙ、Ｚ＝ＡＡ１３ｚ」である。マーカ７５３（アドレスＫＫ１３）の中心位置座標は、「Ｘ＝ＫＫ１３ｘ、Ｙ＝ＫＫ１３ｙ、Ｚ＝ＫＫ１３ｚ」である。これらマーカ７５１～７５３の中心位置座標は、操作パネル７００の角度によって変わり得る。
The target portion is formed in a rectangular shape of, for example, 5 mm×5 mm so that the operator can easily visually recognize it, and is painted in a conspicuous color like the
図７の説明に戻り、制御部３００は、視線補正を行うことを操作者に報知するために、表示部４１０に「視線補正を開始します。操作部左上のマーカを見てください。」とステータスを表示させる（Ｓ１３）。そして、制御部３００は、カメラ５１０に撮影されたマーカ７５１を停留視する操作者のデータに基づいて、マーカ７５１の停留視により視線補正に必要な情報収集が完了したか否かを判定する（Ｓ１４）。制御部３００は、視線補正に必要な情報収集が完了するまで、操作者にマーカ７５１を停留視させて、それをカメラ５１０に撮影させる（Ｓ１４のＮＯ）。こうすることで、カメラ５１０に撮影された操作者のデータから、操作者がマーカ７５１（マーカＡ）を停留視した時の目視点２点の位置及び視線情報を得る。具体的には、マーカＡ反射点中心７６１ｐＡ、マーカＡ瞳孔中心７６０ｐＡ、マーカＡ算術角膜曲率中心ＫｃＡｓ、マーカＡ算術視線ベクトルＧｓＡが得られる。
Returning to the description of FIG. 7, the
マーカ７５１の停留視により視線補正に必要な情報収集が完了した場合（Ｓ１４のＹＥＳ）、制御部３００は同様にして、操作者に別のマーカ７５２を停留視させて、それをカメラ５１０に撮影させる。そうするため、制御部３００は、表示部４１０に「視線補正中です。操作部右上のマーカを見てください。」とステータスを表示させる（Ｓ１５）。制御部３００は、マーカ７５２（マーカＢ）を停留視する操作者のデータに基づいて、マーカ７５２の停留視により視線補正に必要な情報収集が完了するまで、操作者にマーカ７５２を停留視させて、それをカメラ５１０に撮影させる（Ｓ１６のＮＯ）。こうすることで、カメラ５１０に撮影された操作者のデータから、マーカＢ反射点中心７６１ｐＢ、マーカＢ瞳孔中心７６０ｐＢ、マーカＢ算術角膜曲率中心ＫｃＢｓ、マーカＢ算術視線ベクトルＧｓＢが得られる。
When the collection of information necessary for line-of-sight correction is completed by fixating the marker 751 (YES in S14), the
さらに、制御部３００は、操作者に別のマーカ７５３を停留視させて、それをカメラ５１０に撮影させる。そうするため、制御部３００は、表示部４１０に「視線補正中です。操作部右下のマーカを見てください。」とステータスを表示させる（Ｓ１７）。制御部３００は、マーカ７５３（マーカＣ）を停留視する操作者のデータに基づいて、マーカ７５３の停留視により視線補正に必要な情報収集が完了するまで、操作者にマーカ７５３を停留視させて、それをカメラ５１０に撮影させる（Ｓ１８のＮＯ）。こうすることで、カメラ５１０に撮影された操作者のデータから、マーカＣ反射点中心７６１ｐＣ、マーカＣ瞳孔中心７６０ｐＣ、マーカＣ算術角膜曲率中心ＫｃＣｓ、マーカＣ算術視線ベクトルＧｓＣが得られる。制御部３００は、こうして得た視線補正に必要な情報に基づき視線補正値を算出すると共に、表示部４１０に「視線補正計算中です。お待ちください。」とステータスを表示させる（Ｓ１９）。また、制御部３００は、カメラ位置表示部４２１を消灯する（Ｓ２０）。制御部３００は、情報作成部３６０による操作者毎の視線プロファイル情報の算出（視線補正値の算出）が完了するまで、言い換えれば当該操作者の適正な視線検出が可能となるまで、処理の進行を待機させる（Ｓ２１のＮＯ）。この視線補正値の算出が完了すると、制御部３００（詳しくは視線検出部３３０）は視線ベクトル（図４参照）と操作パネル７００のアドレス（図８参照）とを略一致させることが可能となる。なお、以上の説明では、各マーカ７５１～７５３を見るように促す表示を、各マーカ７５１～７５３毎に順に表示したが、これに限らない。例えば、マーカ７５１～７５３の代わりにターゲット部としてＬＥＤを設ける場合は、「点灯するＬＥＤを順に見てください。」といった表示を行うものであってもよい。
Furthermore, the
視線補正値の算出について、マーカ７５１のＹＺ方向の視線補正値を例に説明する。視線補正値の算出には、マーカ７５１の中心位置座標「Ｘ＝ＡＡ０１ｘ、Ｙ＝ＡＡ０１ｙ、Ｚ＝ＡＡ０１ｚ」、マーカＡ反射点中心７６１ｐＡ、マーカＡ瞳孔中心７６０ｐＡ、マーカＡ算術角膜曲率中心ＫｃＡｓ、マーカＡ算術視線ベクトルＧｓＡが用いられる。マーカ７５１の算術視線ベクトルＧｓＡと操作パネル７００のマーカ７５１のＹ座標「ＡＡ０１ｙ」とＺ座標「ＡＡ０１ｚ」から、マーカＡ角膜曲率中心ＫｃＡが得られる。このマーカＡ角膜曲率中心ＫｃＡとマーカＡ算術角膜曲率中心ＫｃＡｓの座標ずれが、操作者個々と算術式を用いた平均値との誤差であり、この誤差を補正値として視線検出部３３０の視線計測計算式（不図示）に用いる。これをＸＺ方向の算術、またマーカ７５２やマーカ７５３を停留視させることにより得られた視線情報でも同様に算術することで、より高い視線検出精度が得られる。
Calculation of the line-of-sight correction value will be described using the line-of-sight correction value of the
図７の説明に戻り、制御部３００は、上述のように情報取得モードの実行によりマーカ７５１～７５３を設けた所定位置毎に検出される操作者の視線に基づいて、操作者毎の視線プロファイル情報を作成する。そして、制御部３００は、作成した視線プロファイル情報に基づき正確な視線検出が可能となると（Ｓ２１のＹＥＳ）、操作者の視線により各種機能を実行する視線入力モードに移行する。視線入力モードは、設定モードにおいて検出したユーザの視線による視線入力操作に従って画像形成に関する入力を受け付けるモードである。設定モードから視線入力モードへの移行に伴い、制御部３００は表示部４１０にステータスとして「視線補正を完了し、視線検出を開始します。」と表示し（Ｓ２２）、操作者の視線検出を開始する（Ｓ２３）。このように、本実施形態では、設定モードにおいてユーザの視線を検出可能な状態に設定され、視線入力モードにおいて設定モードの設定に基づいて検出されたユーザの視線による視線入力操作が可能となったことを操作者に報知する。言い換えれば、設定モードにおいてユーザの視線を検出可能な状態への設定が完了したことをユーザに報知する、あるいは設定モードから視線入力モードに移行したことをユーザに報知する。この際に、制御部３００（詳しくは表示制御部３４１）は視線検出の開始にあわせ、操作者の視線が向いている表示部４１０上の位置を操作者に報知するため、表示部４１０に操作者の視線を示す印として視線ポインタ８１０（図２参照）を表示させる（Ｓ２４）。そして、制御部３００は視線入力を開始する（Ｓ２５）。即ち、表示部４１０に表示される視線ポインタ８１０は、操作者の視線移動にあわせて表示部４１０上を移動するように表示されることから、操作者は視線ポインタ８１０により自身の視線がどこに向いているのかを認識できる。また、操作者は視線をハード部のハードキー４０１に向ける、あるいは視線により視線ポインタ８１０を表示部４１０に表示されたソフトキー４０３にあわせることで、これらの操作つまりは各種機能を実行させることができる（視線入力）。
Returning to the description of FIG. 7, the
視線検出が可能となると、視線検出部３３０はカメラ５１０により撮影された操作者のデータに基づき、位置算出を連続的に行っていく。これにより、表示部４１０に表示される視線ポインタ８１０は、操作者の視線移動にあわせて表示制御部３４１により表示部４１０上を移動するように表示される。そして、操作者の視線が表示部４１０からはずれてハード部４００に移動すると、表示制御部３４１は視線ポインタ８１０を非表示とする。また、操作者の視線がハード部４００のいずれかのハードキー４０１に向いていれば、表示制御部３４１は視線先のハードキー４０１に関する情報（例えば名称や機能など）を表示部４１０に表示する。表示制御部３４１による視線先の特定は、操作パネル７００のアドレス「ＡＡ０１」から「ＫＫ１３」の各領域の座標と（図８参照）、視線検出部３３０により特定される視線の座標とが略一致するかによって行われる。例えば、ハード部４００の低電力モードボタンのアドレスは「ＢＢ１２」であることから、視線の座標がアドレス「ＢＢ１２」の座標と略一致した場合に、表示部４１０にステータスとして「低電力ボタンを見ています」などの表示が行われる。
When line-of-sight detection becomes possible, the line-of-
そして、制御部３００は、人感センサ４５０によって操作者の所在を検出している状態であるか否かを判定し（Ｓ２６）、操作者の所在を検出している状態である限り（Ｓ２６のＹＥＳ）、Ｓ２５の処理に戻って視線入力を続行する。他方、操作者の所在を検出している状態から操作者の所在を検出していない状態に移行した場合には（Ｓ２６のＮＯ）、制御部３００は本視線入力処理を終了する。なお、上述したように、操作者の視線検出に非常に高い精度が求められないような場合には、視線補正が行われなくてもよい。この場合は、図６のＳ１０で視線検出が完了した場合に、Ｓ１１にて表示部に「視線検出完了。視線による入力操作が可能です。」等の表示を行う。つまり、視線補正を行わない場合は、Ｓ１０で設定モードが完了したことになる。そして、図６のＳ１１の処理を実行した後、図７のＳ２３以降の処理を実行する。つまり、視線補正を行わない場合は、Ｓ１０で検出した視線に基づいて、視線による入力操作が可能となる。また、視線補正を実行するか否かについては、操作者によって設定される構成としてもよい。
Then, the
＜視線入力操作の一例＞
上記の視線入力操作について、図９及び図１０を用いて具体的に説明する。図９では、表示部４１０に表示されたソフトキー４０３である「コピーボタン（ＣＯＰＹ）」を、操作者が視線により操作する場合を例に説明する。操作者は表示部４１０に表示された視線ポインタ８１０を確認することで、視線をコピーボタン上に動かし得る。コピーボタンのアドレスは、「ＣＣ０２、ＣＣ０３，ＤＤ０２、ＤＤ０３」である（図８参照）。操作者がこの四ヶ所の領域内に第一時間以上（例えば２秒以上）に亘り視線ポインタ８１０がある状態を続けることで、視線検出部３３０は操作者がコピーボタンを見ていると確定できる。表示制御部３４１は、視線検出部３３０による操作者の視線の位置が確定されると、図９に示すように、表示部４１０にステータスとして「コピーボタンを選択しています」などと表示させる。また、表示制御部３４１は、視線ポインタ８１０に重なっているソフトキー（ここではコピーボタン）の表示色を、視線ポインタ８１０に重なっていない他のソフトキーの表示色と異なる色に変更する。これにより、操作者は、自身の視線の位置と、画像形成装置が検出している視線の位置とが一致するか否かを確認することができる。
<Example of line-of-sight input operation>
The above line-of-sight input operation will be specifically described with reference to FIGS. 9 and 10. FIG. FIG. 9 illustrates an example in which the operator operates the "copy button (COPY)", which is the
その後、上記四ヶ所の領域内に視線ポインタ８１０がある状態がさらに第二時間以上（例えば１秒以上）に亘り続けられると、表示制御部３４１は表示部４１０の表示を切り替える。例えば、図１０に示すように、表示制御部３４１は「コピーボタン」の代わりのソフトキー４０３として、「はい」ボタンと「いいえ」ボタンとを有する選択画面を表示部４１０に表示させる。それと同時に、表示部４１０のステータスを「コピーボタンを選択しています」から「コピーボタンに決定しますか」に切り替える。そして、操作者が「はい」ボタンに視線を向けた場合、機能実行部３５０は「コピーボタン」に割り当てられたコピー機能を実行するよう装置を動作させる。他方、操作者が「いいえ」ボタンに視線を向けた場合、表示制御部３４１は上記の選択画面から、「コピーボタン」選択前の画面（図９参照）に戻る制御を行う。なお、視線ポインタ８１０が所定の領域内に所定時間位置している状態を判定できる時間であれば、第一時間や第二時間は同じ時間（例えばどちらも１秒以上等）としてもよい。
After that, when the line-of-
なお、本実施形態では例えば操作方法がわからない場合に、操作者が表示部４１０に表示された「ヘルプ」ボタンを視線入力により操作して、マニュアルを呼び出したり、サポートセンターへの問合せを行う等、画像形成以外の動作を行うことができてもよい。
In this embodiment, for example, when the operator does not know how to operate, the operator operates the "help" button displayed on the
また、上述した実施形態では、視線によるハードキー４０１やソフトキー４０３の選択の際に、表示部４１０に選択されているハードキー４０１やソフトキー４０３に関する情報を表示して、操作者に報知するようにしたが、これに限らない。例えば、ハードキー４０１を点滅させる、ソフトキー４０３の表示色やサイズを変えるなど、操作者に視線の向いている先のハードキー４０１やソフトキー４０３、つまりは視線入力により操作されるハードキー４０１やソフトキー４０３を報知できればよい。さらには、スピーカ４３０を用いた音（音声ガイド）により、また振動発生装置４４０を用いた振動により報知してもよい。
Further, in the above-described embodiment, when the
なお、作成された操作者毎の視線プロファイル情報はメモリ３２０（図５参照）に記憶しておき、次に画像形成装置５０を使用する際に呼び出して使用できるようにするのが好ましい。こうすることで、同じ操作者が次に画像形成装置５０を使用する際に、情報取得モード（図７のＳ１２～Ｓ２１）の実行を省略できる。例えば、画像形成装置５０に特定手段としての認証装置８００（図１参照）を設け、個人情報が書き込まれたＩＤカードで認証を行うことによって、該当する視線プロファイル情報をメモリ３２０から読み出すことができるようにしてよい。即ち、認証装置８００により特定された操作者がメモリ３２０に視線プロファイル情報の記憶されている操作者である場合、上述の情報取得モードとして、メモリ３２０から該当する視線プロファイル情報を読み出すだけでよい。言い換えれば、認証装置８００により特定された操作者がメモリ３２０に視線プロファイル情報の記憶されていない操作者である場合に、上述の情報取得モードを実行して、視線プロファイル情報を作成してメモリ３２０に記憶する。
It is preferable to store the created line-of-sight profile information for each operator in the memory 320 (see FIG. 5) so that it can be called up and used the next time the
以上のように、本実施形態では、視線検出装置５００を用いての操作者の視線検出が可能となったことを、表示、音声、振動などによって操作者に対し報知するようにした。操作者は、報知により視線検出が可能であることがわかるので、すぐに視線入力による操作を行うことができ、ユーザ利便性が向上する。これに対し、従来のように視線検出が可能であることが報知されていない場合、操作者は視線入力による操作が可能であるかがわからず、視線入力による操作に手間取る。特に、始めて視線入力を行う操作者は、そのための準備として視線検出を行う必要があり、視線検出が可能であることが報知されないと、スムースに視線入力を行うことが難しい。本実施形態では、操作者の視線検出が可能となったことを操作者に報知することで、操作者は準備としての視線検出から視線入力のための視線検出への移行をスムースに行うことができるので、ユーザ利便性が向上する。このように、画像形成装置５０において視線検出技術を採用した構成であって、操作者にとってより使い勝手のよいつまりユーザ利便性のより高いものが実現できる。
As described above, in the present embodiment, the fact that the line-of-
なお、上述した実施形態では、操作パネル７００上にハード部４００と表示部４１０とを有するものを例に説明したが、これに限らない。例えば、操作パネル７００はハード部４００のみを有するもの、あるいは表示部４１０のみの全面液晶パネルを有するものであってもよい。つまりは、ハードキー４０１のみ、あるいは表示部４１０に表示されたソフトキー４０３のみが、操作者の視線により操作可能であってよい。また、上述した実施形態では、操作パネル７００に視線検出装置５００を設ける構成としたがこれに限らない。例えば、視線検出装置５００は、操作パネル７００周辺の位置であって、操作パネル７００に対する操作者の視線を検出することが可能な位置であれば、装置本体５０ａや原稿読取装置６０１などに設けられていてもよい。
In the above-described embodiment, the
５０…画像形成装置、３００…制御部、３２０…記憶手段（メモリ）、３３０…視線検出手段（視線検出部）、３４１…表示制御手段（表示制御部）、３５０…実行手段（機能実行部）、３６０…情報作成手段（情報作成部）、４０１…操作子（ハードキー）、４０２…報知手段（発光手段、発光用ＬＥＤ）、４０３…操作子（ソフトキー）、４１０…報知手段（表示手段、表示部）、４２０…報知手段（発光手段、表示ランプ）、４３０…報知手段（音発生手段、スピーカ）、４４０…報知手段（振動発生手段、振動発生装置）、５００…視線検出手段（視線検出装置）、５１０…撮像部(カメラ)、７００…操作部（操作パネル）、７１０…パネルカバー、７５１、７５２、７５３…ターゲット部（マーカ）、８００…特定手段（認証装置）
50...
Claims (4)
ユーザの視線による入力が可能なソフトウェアキーを表示可能な表示部と、物理的に設けられたハードウェアキーとを有する操作部と、
ユーザの顔を撮像する撮像部と、
前記撮像部に撮像されたユーザの顔の画像によって得られる撮像結果に基づいてユーザの視線を検出可能な状態に設定する設定モードと、前記設定モードの設定に基づいて検出されるユーザの視線による前記ソフトウェアキーに対する視線入力操作に従って前記ソフトウェアキーに対応する入力を受け付ける入力モードとを実行可能な制御部と、を備え、
前記制御部は、前記入力モードにおいて、ユーザの視線が前記ソフトウェアキーに向いている場合に前記ソフトウェアキーに予め割り当てられた機能を前記表示部に表示させ、ユーザの視線が前記ハードウェアキーに向いている場合に前記ハードウェアキーに予め割り当てられた機能を前記表示部に表示させる、
ことを特徴とする画像形成装置。 an image forming unit capable of forming an image on a recording material;
an operation unit having a display unit capable of displaying software keys that can be input by the user's line of sight; and hardware keys that are physically provided;
an imaging unit that captures an image of a user's face;
A setting mode for setting a state in which the user's line of sight can be detected based on the imaging result obtained from the image of the user's face captured by the imaging unit; a control unit capable of executing an input mode for receiving an input corresponding to the software key in accordance with a line-of-sight input operation for the software key;
In the input mode, the control unit causes the display unit to display a function assigned in advance to the software key when the user's line of sight is directed toward the software key, and the user's line of sight is directed toward the hardware key. displaying a function pre-assigned to the hardware key on the display unit when the
An image forming apparatus characterized by:
ことを特徴とする請求項１に記載の画像形成装置。 In the input mode, when the user's line of sight is directed toward the software key, the control unit causes the image forming unit to form an image on the recording material based on a line-of-sight input operation on the software key. to run
2. The image forming apparatus according to claim 1 , wherein:
前記制御部は、前記入力モードにおいて、ユーザの視線の移動に連動して移動可能なマークを前記表示部に表示し、前記複数のソフトウェアキーのうち、前記マークと重なるソフトウェアキーの色を前記マークと重ならないソフトウェアキーの色と異なる色に変更する、
ことを特徴とする請求項１又は２に記載の画像形成装置。 The display unit can display a plurality of software keys,
In the input mode, the control unit displays a mark on the display unit that can be moved in conjunction with movement of a user's line of sight, and, among the plurality of software keys, displays a color of a software key that overlaps the mark. change to a different color than the software key color that does not overlap with
3. The image forming apparatus according to claim 1 , wherein:
ことを特徴とする請求項３に記載の画像形成装置。 The control unit executes a function pre-assigned to the predetermined software key when the user's line of sight is directed to a predetermined software key among the plurality of software keys for a predetermined time or longer.
4. The image forming apparatus according to claim 3 , wherein:
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019007929A JP7277151B2 (en) | 2019-01-21 | 2019-01-21 | image forming device |
| US16/748,136 US11196881B2 (en) | 2019-01-21 | 2020-01-21 | Image forming apparatus employs a line-of-sight detection technique to execute user operations in plural modes |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019007929A JP7277151B2 (en) | 2019-01-21 | 2019-01-21 | image forming device |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2020116778A JP2020116778A (en) | 2020-08-06 |
| JP2020116778A5 JP2020116778A5 (en) | 2022-01-27 |
| JP7277151B2 true JP7277151B2 (en) | 2023-05-18 |
Family
ID=71889672
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019007929A Active JP7277151B2 (en) | 2019-01-21 | 2019-01-21 | image forming device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7277151B2 (en) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005293061A (en) | 2004-03-31 | 2005-10-20 | Advanced Telecommunication Research Institute International | User interface device and user interface program |
| JP2006136450A (en) | 2004-11-11 | 2006-06-01 | Matsushita Electric Ind Co Ltd | Iris certification device |
| JP2007195892A (en) | 2006-01-30 | 2007-08-09 | Toshiba Corp | Ultrasonic diagnostic equipment and image processing program thereof |
| JP2015118556A (en) | 2013-12-18 | 2015-06-25 | マイクロソフト コーポレーション | Augmented reality overlay for control devices |
| JP2016170528A (en) | 2015-03-11 | 2016-09-23 | 株式会社リコー | Head mounted display and method for connecting with external device at head mounted display |
| JP2017215928A (en) | 2016-05-31 | 2017-12-07 | フォーブ インコーポレーテッド | Gaze detection system |
| JP2018049528A (en) | 2016-09-23 | 2018-03-29 | 富士ゼロックス株式会社 | Information processing apparatus, image forming apparatus, and program |
| JP2018049527A (en) | 2016-09-23 | 2018-03-29 | 富士ゼロックス株式会社 | Information processing apparatus, image forming apparatus, and program |
| JP2018183249A (en) | 2017-04-24 | 2018-11-22 | アルパイン株式会社 | Visual line detection device, visual line detection program, and visual line detection method |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07248872A (en) * | 1994-03-11 | 1995-09-26 | Matsushita Electric Ind Co Ltd | Input device and arithmetic input/output device |
| JPH0844488A (en) * | 1994-07-29 | 1996-02-16 | Toshiba Corp | Voting terminal option device |
-
2019
- 2019-01-21 JP JP2019007929A patent/JP7277151B2/en active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005293061A (en) | 2004-03-31 | 2005-10-20 | Advanced Telecommunication Research Institute International | User interface device and user interface program |
| JP2006136450A (en) | 2004-11-11 | 2006-06-01 | Matsushita Electric Ind Co Ltd | Iris certification device |
| JP2007195892A (en) | 2006-01-30 | 2007-08-09 | Toshiba Corp | Ultrasonic diagnostic equipment and image processing program thereof |
| JP2015118556A (en) | 2013-12-18 | 2015-06-25 | マイクロソフト コーポレーション | Augmented reality overlay for control devices |
| JP2016170528A (en) | 2015-03-11 | 2016-09-23 | 株式会社リコー | Head mounted display and method for connecting with external device at head mounted display |
| JP2017215928A (en) | 2016-05-31 | 2017-12-07 | フォーブ インコーポレーテッド | Gaze detection system |
| JP2018049528A (en) | 2016-09-23 | 2018-03-29 | 富士ゼロックス株式会社 | Information processing apparatus, image forming apparatus, and program |
| JP2018049527A (en) | 2016-09-23 | 2018-03-29 | 富士ゼロックス株式会社 | Information processing apparatus, image forming apparatus, and program |
| JP2018183249A (en) | 2017-04-24 | 2018-11-22 | アルパイン株式会社 | Visual line detection device, visual line detection program, and visual line detection method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020116778A (en) | 2020-08-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9260259B2 (en) | Image forming apparatus, sheet feed control method, and storage medium | |
| US10498916B2 (en) | Image scanning device, multifunction peripheral, image scanning method, and non-transitory computer-readable medium | |
| US11196881B2 (en) | Image forming apparatus employs a line-of-sight detection technique to execute user operations in plural modes | |
| US8610982B2 (en) | Image forming apparatus | |
| US9025217B2 (en) | Document, image forming apparatus, cover plate, image reading apparatus, image forming method, and image reading method | |
| US9894226B2 (en) | Information processing apparatus, setting condition specification method for image forming apparatus | |
| US8953215B2 (en) | Image forming apparatus, image forming method, non-transitory computer-readable medium, and test data | |
| US20160212278A1 (en) | Image reading device and image forming apparatus | |
| CN107231500B (en) | Information processing apparatus and image processing apparatus | |
| JP5854970B2 (en) | Electronic apparatus and image forming apparatus | |
| JP7277151B2 (en) | image forming device | |
| JP2020119092A (en) | Image forming apparatus | |
| JP2020119093A (en) | Image forming apparatus | |
| JP2020116779A (en) | Image formation apparatus | |
| US11375074B2 (en) | Image forming apparatus for forming an image for measuring a relative position with respect to a paper | |
| CN107533361B (en) | Image forming apparatus with a toner supply device | |
| US20230156133A1 (en) | Image forming apparatus, post-processing position adjusting method and non-transitory computer-readable medium encoded with post-processing position adjusting program | |
| JP5726131B2 (en) | Display input device | |
| US20220094798A1 (en) | Image formation apparatus, recording medium, and control method | |
| JP6780603B2 (en) | Image reader and image forming device | |
| JP6895109B2 (en) | Image reader and image forming device | |
| JP2018180776A (en) | Display input device | |
| JP2014092763A (en) | Electronic equipment and image forming apparatus | |
| JP2021069034A (en) | Image reading device and image forming apparatus | |
| JP2020032690A (en) | Electronic equipment and image formation apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20200206 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20200207 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220117 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220117 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221012 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221018 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221125 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230110 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230127 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230404 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230508 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7277151 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |