JP6784116B2 - 情報処理装置、画像形成装置およびプログラム - Google Patents

Description

本発明は、情報処理装置、画像形成装置、プログラムに関する。

情報処理装置の表示部において自装置に関する機能の一覧を画像として表示するときがある。そしてユーザはこの一覧の中から目的の機能を選択する方法が一般的に用いられている。このときユーザに対しそれぞれの機能を説明するためのポップアップを表示する技術が従来から存在する。

特許文献１には、接触点検出手段と、方向検出手段と、表示制御手段とを備え、接触点検出手段は、表示器上に設置されたタッチパネルに接触した指先の接触点を検出し、方向検出手段は、指先が指す方向を検出し、表示制御手段は、指先の接触点上を通過し指先が指す方向に平行な直線と直交する、少なくとも１本の直線上であって、指先が指す方向に平行な直線と少なくとも１本の直線とが交差する点から所定の距離だけ離間した位置に対応する表示器上の位置にポップアップ表示を行う情報処理装置が開示されている。

特開２０１２−１４４５７号公報

タッチパネル等に対しユーザが操作を行なう場合、ユーザの指先や手が画面上に接近するため、ポップアップの表示を行なった際に、ユーザの指先や手で覆われ、ポップアップが隠れてしまうことがある。
本発明は、ユーザの見やすい位置にポップアップを表示することができる情報処理装置等を提供することを目的とする。

請求項１に記載の発明は、画像を表示する表示部上のユーザの視線の位置を検知する視線検知手段と、前記表示部に表示する項目についてのポップアップを表示するとともに、当該ポップアップの表示位置を前記視線検知手段が検知した視線の位置に応じて制御する表示制御手段と、を備え、前記表示制御手段は、前記表示部上の視線の位置の移動に応じて前記ポップアップの表示位置を移動する情報処理装置である。
請求項２に記載の発明は、前記表示制御手段は、前記表示部上の視線の位置または当該視線の位置から予め定められた範囲内を前記ポップアップの表示位置とすることを特徴とする請求項１に記載の情報処理装置である。
請求項３に記載の発明は、画像を表示する表示部上のユーザの視線の位置を検知する視線検知手段と、前記表示部に表示する項目についてのポップアップを表示するとともに、当該ポップアップの表示位置を前記視線検知手段が検知した視線の位置に応じて制御する表示制御手段と、を備え、前記表示制御手段は、前記表示部上の視線の位置が前記ポップアップの表示位置として適さないときは、他の表示位置に変更する制御を行なう情報処理装置である。
請求項４に記載の発明は、画像を表示する表示部上のユーザの視線の位置を検知する視線検知手段と、前記表示部に表示する項目についてのポップアップを表示するとともに、当該ポップアップの表示位置を前記視線検知手段が検知した視線の位置に応じて制御する表示制御手段と、を備え、前記表示部は、複数存在し、前記表示制御手段は、複数の前記表示部のうちユーザの視線の位置にあるものに前記ポップアップを表示する情報処理装置である。
請求項５に記載の発明は、画像を表示する表示部上のユーザの視線の位置を検知する視線検知手段と、前記表示部に表示する項目についてのポップアップを表示するとともに、当該ポップアップの表示位置を前記視線検知手段が検知した視線の位置に応じて制御する表示制御手段と、を備え、前記表示制御手段は、視線の位置が前記表示部の範囲外にあったときは、外部装置に前記ポップアップを表示する情報処理装置である。
請求項６に記載の発明は、前記表示部に接触物が接触したときに、当該接触物が当該表示部に接触した位置を検知する接触位置取得手段をさらに備え、前記表示制御手段は、前記接触物が前記表示部に接触した位置に表示されている項目についてのポップアップを表示することを特徴とする請求項１乃至５の何れかに記載の情報処理装置である。
請求項７に記載の発明は、記録材に画像を形成する画像形成部と、自装置に関する情報を画像として表示する表示部と、前記表示部に表示する画像の表示を制御する表示制御部と、を備え、前記表示制御部は、前記表示部上のユーザの視線の位置を検知する視線検知手段と、前記表示部に表示する項目についてのポップアップを表示するとともに、当該ポップアップの表示位置を前記視線検知手段が検知した視線の位置に応じて制御する表示制御手段と、を備える画像形成装置である。
請求項８に記載の発明は、コンピュータに、画像を表示する表示部上のユーザの視線の位置を検知する視線検知機能と、前記表示部に表示する項目についてのポップアップを表示するとともに、当該ポップアップの表示位置を検知した視線の位置に応じて制御する表示制御機能と、を実現させ、前記表示制御機能は、前記表示部上の視線の位置の移動に応じて前記ポップアップの表示位置を移動する、プログラムである。
請求項９に記載の発明は、コンピュータに、画像を表示する表示部上のユーザの視線の位置を検知する視線検知機能と、前記表示部に表示する項目についてのポップアップを表示するとともに、当該ポップアップの表示位置を検知した視線の位置に応じて制御する表示制御機能と、を実現させ、前記表示制御機能は、前記表示部上の視線の位置が前記ポップアップの表示位置として適さないときは、他の表示位置に変更する制御を行なう、プログラムである。
請求項１０に記載の発明は、コンピュータに、画像を表示する表示部上のユーザの視線の位置を検知する視線検知機能と、前記表示部に表示する項目についてのポップアップを表示するとともに、当該ポップアップの表示位置を検知した視線の位置に応じて制御する表示制御機能と、を実現させ、前記表示部は、複数存在し、前記表示制御機能は、複数の前記表示部のうちユーザの視線の位置にあるものに前記ポップアップを表示する、プログラムである。
請求項１１に記載の発明は、コンピュータに、画像を表示する表示部上のユーザの視線の位置を検知する視線検知機能と、前記表示部に表示する項目についてのポップアップを表示するとともに、当該ポップアップの表示位置を検知した視線の位置に応じて制御する表示制御機能と、を実現させ、前記表示制御手段は、視線の位置が前記表示部の範囲外にあったときは、外部装置に前記ポップアップを表示する、プログラムである。
請求項１２に記載の発明は、記録材に画像を形成する画像形成部と、自装置に関する情報を画像として表示する表示部と、当該表示部に表示する画像の表示を制御する表示制御部と、を備える画像形成装置が有するコンピュータに、画像を表示する表示部上のユーザの視線の位置を検知する視線検知機能と、前記表示部に表示する項目についてのポップアップを表示するとともに、当該ポップアップの表示位置を検知した視線の位置に応じて制御する表示制御機能と、を実現させるプログラムである。

請求項１の発明によれば、ユーザがより見やすい位置に視線の位置を移動させたときでも、それに追従させてポップアップを表示することができる情報処理装置が提供できる。
請求項２の発明によれば、ユーザの視線の位置またはユーザの視線の位置の近くにポップアップを表示することができる。
請求項３の発明によれば、ユーザの利便性がより向上する。
請求項４の発明によれば、複数の表示部をそれぞれ活用してポップアップを表示することができる。
請求項５の発明によれば、ユーザの所持する外部装置にポップアップを表示することができる。
請求項６の発明によれば、ユーザがより直観的に操作を行なうことができる。
請求項７の発明によれば、よりユーザフレンドリとなる画像形成装置が提供できる。
請求項８の発明によれば、ユーザがより見やすい位置に視線の位置を移動させたときでも、それに追従させてポップアップを表示することができる。
請求項９の発明によれば、ユーザの利便性がより向上する。
請求項１０の発明によれば、複数の表示部をそれぞれ活用してポップアップを表示することができる。
請求項１１の発明によれば、ユーザの所持する外部装置にポップアップを表示することができる。
請求項１２の発明によれば、ユーザがより見やすい位置に視線の位置を移動させたときでも、それに追従させてポップアップを表示することができる。

本実施の形態に係る画像形成装置の外観図である。 本実施の形態に係る画像形成装置の内部構造を示す図である。 ユーザインタフェースに表示される画像の一例を示した図である。 （ａ）〜（ｄ）は、カメラにより撮影されたユーザの目の画像からユーザの視線の位置を検知する方法について示した図である。 制御装置の機能構成例を示したブロック図である。 第１の実施形態において、ユーザインタフェースでポップアップを表示した画面の第１の例を示した図である。 第１の実施形態において、ユーザインタフェースでポップアップを表示した画面の第２の例を示した図である。 第１の実施形態において、ユーザインタフェースでポップアップを表示した画面の第３の例を示した図である。 第２の実施形態が適用される画像形成装置について示した図である。 （ａ）〜（ｂ）は、第２の実施形態において、ポップアップを表示した画面を示した図である。 第３の実施形態が適用される画像形成装置について示した図である。 （ａ）〜（ｂ）は、第３の実施形態において、ポップアップを表示した画面を示した図である。 制御装置の動作について説明したフローチャートである。

以下、添付図面を参照して、実施の形態について詳細に説明する。

＜画像形成装置１の全体構成の説明＞
図１は、本実施の形態に係る画像形成装置１の外観図である。図２は、本実施の形態に係る画像形成装置１の内部構造を示す図である。
画像形成装置１は、原稿の画像を読み取る画像読取装置１００と、記録材（以下、代表して「用紙」と記す場合もある。）上に画像を記録する画像記録装置２００と、を備えている。また画像形成装置１は、ユーザからの操作入力の受付やユーザに対する各種情報の表示を行なうユーザインタフェース（ＵＩ）３００を備えている。そして画像形成装置１は、ユーザの視線の位置を検知するためのカメラ４００を備えている。さらに画像形成装置１は、画像形成装置１全体の動作を制御する制御装置５００を備える。

画像読取装置１００は、画像形成装置１の上部に配置され、画像記録装置２００は、画像読取装置１００の下側に配置され、制御装置５００を内蔵している。ユーザインタフェース３００は、画像形成装置１の上部の手前側、つまり画像読取装置１００の後述する画像読取部１１０の手前側に配置されている。またカメラ４００は、ユーザインタフェース３００の左側下端に配置されている。

まずは、画像読取装置１００について説明する。
画像読取装置１００は、原稿の画像を読み取る画像読取部１１０と、この画像読取部１１０に原稿を搬送する原稿搬送部１２０と、を備えている。原稿搬送部１２０は、画像読取装置１００の上部に配置され、画像読取部１１０は、画像読取装置１００の下部に配置されている。
原稿搬送部１２０は、原稿を収容する原稿収容部１２１と、この原稿収容部１２１から搬送された原稿が排出される原稿排出部１２２とを有し、原稿収容部１２１から原稿排出部１２２へ原稿を搬送する。原稿搬送部１２０は、原稿自動送り装置（ＡＤＦ：Auto Document Feeder）とも呼ばれる。

画像読取部１１０は、プラテンガラス１１１と、光を原稿の被読取面（画像面）へ照射する光照射ユニット１１２と、光照射ユニット１１２から原稿の被読取面へ光Ｌが照射されて原稿の被読取面で反射した光Ｌを導く導光ユニット１１３と、導光ユニット１１３によって導かれた光Ｌの光学像を結像する結像レンズ１１４と、を備えている。また、画像読取部１１０は、結像レンズ１１４によって結像された光Ｌを光電変換するＣＣＤ（Charge Coupled Device）イメージセンサ等の光電変換素子で構成され、結像された光学像を検出する検出部１１５と、検出部１１５と電気的に接続されて、検出部１１５によって得られた画像情報としての電気信号が送られる画像処理部１１６と、を備えている。
画像読取部１１０は、原稿搬送部１２０によって搬送される原稿の画像、及びプラテンガラス１１１に載せられた原稿の画像を読み取る。

次に、画像記録装置２００について説明する。
画像記録装置２００は、用紙Ｐに画像を形成する画像形成部２０と、画像形成部２０に対して用紙Ｐを供給する用紙供給部６０と、画像形成部２０にて画像が形成された用紙Ｐを排出する用紙排出部７０と、画像形成部２０にて一方の面に画像が形成された用紙Ｐの表裏を反転させて再度画像形成部２０に向けて搬送する反転搬送部８０と、を備えている。

画像形成部２０は、一定の間隔を置いて並列的に配置されるイエロー(Ｙ）、マゼンタ(Ｍ）、シアン(Ｃ）、黒(Ｋ）の４つの画像形成ユニット２１Ｙ、２１Ｍ、２１Ｃ、２１Ｋを備えている。各画像形成ユニット２１Ｙ、２１Ｍ、２１Ｃ、２１Ｋは、感光体ドラム２２と、感光体ドラム２２の表面を一様に帯電する帯電器２３と、後述する光学系ユニット５０によるレーザ照射によって形成された静電潜像を予め定められた色成分トナーで現像し可視化する現像器２４とを備えている。また、画像形成部２０には、画像形成ユニット２１Ｙ、２１Ｍ、２１Ｃ、２１Ｋの現像器２４に対して各色のトナーを供給するためのトナーカートリッジ２９Ｙ、２９Ｍ、２９Ｃ、２９Ｋが設けられている。

画像形成部２０は、画像形成ユニット２１Ｙ、２１Ｍ、２１Ｃ、２１Ｋの下方に、画像形成ユニット２１Ｙ、２１Ｍ、２１Ｃ、２１Ｋの感光体ドラム２２に対してレーザ光を照射する光学系ユニット５０を備えている。光学系ユニット５０は、図示しない半導体レーザ、変調器の他、半導体レーザから出射されたレーザ光を偏向走査するポリゴンミラー（不図示）と、レーザ光を通過するガラス製のウィンドウ（不図示）と、各構成部材を密閉するためのフレーム（不図示）とを備えている。

また、画像形成部２０は、画像形成ユニット２１Ｙ、２１Ｍ、２１Ｃ、２１Ｋの感光体ドラム２２に形成された各色のトナー像を中間転写ベルト３１上に多重転写させる中間転写ユニット３０と、中間転写ユニット３０上に重畳されて形成されたトナー像を用紙Ｐに転写する二次転写ユニット４０と、用紙Ｐ上に形成されたトナー像を加熱および加圧して定着する定着装置４５と、を備えている。

中間転写ユニット３０は、中間転写ベルト３１と、この中間転写ベルト３１を駆動するドライブローラ３２と、中間転写ベルト３１に一定のテンションを付与するテンションローラ３３と、を備えている。また、中間転写ユニット３０は、各感光体ドラム２２と中間転写ベルト３１を挟んで対向して感光体ドラム２２上に形成されたトナー像を中間転写ベルト３１上に転写するための複数（本実施の形態においては４つ）の一次転写ローラ３４と、中間転写ベルト３１を介して後述する二次転写ローラ４１と対向するバックアップローラ３５とを備えている。

中間転写ベルト３１は、ドライブローラ３２、テンションローラ３３、複数の一次転写ローラ３４、バックアップローラ３５および従動ローラ３６などの複数の回転部材に張りかけられている。そして、中間転写ベルト３１は、駆動モータ（不図示）によって回転駆動されるドライブローラ３２により、矢印方向に予め定められた速度で循環駆動される。この中間転写ベルト３１は、例えば、ゴムまたは樹脂にて成形されたものが使用される。
また、中間転写ユニット３０は、中間転写ベルト３１上に存在する残留トナー等を除去するクリーニング装置３７を備えている。クリーニング装置３７は、トナー像の転写工程が終了した後の中間転写ベルト３１の表面から残留トナーや紙粉等を除去する。

二次転写ユニット４０は、二次転写位置に設けられ中間転写ベルト３１を介してバックアップローラ３５を押圧し、用紙Ｐ上に画像を二次転写する二次転写ローラ４１を備えている。二次転写ローラ４１と、中間転写ベルト３１を介して二次転写ローラ４１と対向するバックアップローラ３５とで、中間転写ベルト３１に転写されたトナー画像が用紙Ｐに転写される二次転写位置が構成される。
定着装置４５は、中間転写ユニット３０によって二次転写された用紙Ｐ上の画像(トナー像）を、加熱定着ローラ４６と加圧ローラ４７とにより、熱および圧力を用いて用紙Ｐに定着させる。

用紙供給部６０は、画像が形成される用紙を収容する用紙収容部６１と、用紙収容部６１の各々に収容された用紙Ｐを送り出す送出ロール６２と、送出ロール６２にて送り出された用紙Ｐが搬送される搬送路６３と、搬送路６３に沿って配置され送出ロール６２によって送り出された用紙Ｐを二次転写位置へ搬送する搬送ロール６４、６５、６６と、を備えている。また用紙供給部６０は、手差しにより用紙Ｐを供給することができる手差しトレイ６７をさらに備えている。手差しトレイ６７は、折りたたみが可能であり、使用しない状態では折りたたんでおき、使用するときには開いて用紙Ｐをセットすることができる。図１および図２では、手差しトレイ６７は、折りたたんだ状態を図示している。

用紙排出部７０は、画像形成部２０の上方に設けられて、画像形成部２０にて画像が形成された用紙Ｐを積載する第１の積載トレイ７１と、この第１の積載トレイ７１と画像読取装置１００との間に設けられて、画像形成部２０にて画像が形成された用紙Ｐを積載する第２の積載トレイ７２と、を備えている。
用紙排出部７０は、定着装置４５よりも搬送方向下流側に設けられて、トナー画像が定着された用紙Ｐを搬送する搬送ロール７５と、この搬送ロール７５の搬送方向下流側に設けられて、用紙Ｐの搬送方向を切り替える切替ゲート７６と、を備えている。また、用紙排出部７０は、切替ゲート７６の搬送方向下流側に、切替ゲート７６によって切り替えられた搬送方向の一方側（図２における右側）に搬送される用紙Ｐを第１の積載トレイ７１に排出する第１の排出ロール７７を備えている。また、用紙排出部７０は、切替ゲート７６の搬送方向下流側に、切替ゲート７６によって切り替えられた搬送方向の他方側（図２における上側）に搬送される用紙Ｐを搬送する搬送ロール７８と、搬送ロール７８によって搬送される用紙Ｐを第２の積載トレイ７２に排出する第２の排出ロール７９と、を備えている。

反転搬送部８０は、定着装置４５の側方に、搬送ロール７８を第２の積載トレイ７２に用紙Ｐを排出する方向とは反対の方向に回転させることで反転された用紙Ｐが搬送される反転搬送路８１を備えている。この反転搬送路８１には、反転搬送路８１に沿って複数の搬送ロール８２が設けられている。これらの搬送ロール８２によって搬送された用紙Ｐは、搬送ロール８２によって、再度二次転写位置へ送り込まれる。

また、画像記録装置２００は、画像形成部２０、用紙供給部６０、用紙排出部７０、反転搬送部８０および制御装置５００を、直接的または間接的に支持する装置本体フレーム１１と、この装置本体フレーム１１に取り付けられて画像形成装置１の外面を形成する装置筐体１２と、を備えている。
装置本体フレーム１１は、画像形成装置１における横方向の一方の端部側で、内部に、切替ゲート７６、第１の排出ロール７７、搬送ロール７８および第２の排出ロール７９などを備えるとともに上下方向に伸びて、画像読取装置１００を支持する読取装置支持部１３を備えている。読取装置支持部１３は、装置本体フレーム１１における奥側の部位と協働して画像読取装置１００を支持する。

また、画像記録装置２００は、装置筐体１２の一部として、画像形成部２０の手前側に設けられるとともに、装置本体フレーム１１に対して開閉可能に装着されるフロントカバー１５を備えている。
ユーザは、フロントカバー１５を開くことで、画像形成部２０の中間転写ユニット３０やトナーカートリッジ２９Ｙ、２９Ｍ、２９Ｃ、２９Ｋを新しい物と取り替えることが可能となっている。

ユーザインタフェース３００は、例えばタッチパネルである。そのためユーザインタフェース３００は、画像を表示する液晶パネル（図示せず）を備えるとともに、液晶パネルに人の指に代表される接触物が接触したときに、接触物が液晶パネルに接触した位置を検知する位置検知部（図示せず）を備えている。本実施の形態においてタッチパネルは、特に限定されるものではなく、抵抗膜方式や静電容量方式など種々の方式のものを使用することができる。

ユーザインタフェース３００をタッチパネルにすることで、画像形成装置１の画像形成条件などの各種情報はタッチパネルに表示される。そしてユーザは、タッチパネルをタッチすることで画像形成条件などの入力操作を行なう。即ちユーザインタフェース３００は、自装置である画像形成装置１に関する情報を画像として表示する表示部として機能するとともに、表示された画像の中からユーザが目的の機能を選択する選択操作を受け付ける操作部として機能する。

カメラ４００は、ユーザインタフェース３００を操作するユーザの目を撮影する。
カメラ４００は、例えば、ユーザの目の像を収束する光学系と、光学系により収束された像を検出するイメージセンサとを備える。光学系は、単一のレンズまたは複数のレンズを組み合わせて構成される。イメージセンサは、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を配列して構成される。イメージセンサは、検出した像を画素単位で光電変換し、画像信号として出力する。

＜画像形成装置１の動作の説明＞
以上のように構成された画像形成装置１は、以下のように動作する。
例えば、ユーザは、画像形成装置１を使用して原稿のコピーを行なうことができる。即ち、画像読取装置１００によって読み取られた原稿の画像データを基に、画像記録装置２００により画像を用紙Ｐ上に形成することで原稿をコピーすることができる。またユーザは、通信回線に接続する図示しないパーソナルコンピュータ（ＰＣ）等から印刷のジョブを画像形成装置１に送信することでプリントを行なうことができる。即ち、通信回線を介して印刷のジョブを受信し、印刷のジョブに含まれる画像データを基に、画像記録装置２００により画像を用紙Ｐ上に形成することでプリントすることができる。さらにユーザは、ファクシミリの送受信を行なうことができる。即ち、画像読取装置１００によって読み取られた原稿の画像データを通信回線を介して送信できる。あるいはユーザは、原稿の画像データを保存することができる。即ち、原稿の画像データを画像形成装置１内部や通信回線に接続したＰＣに保存できる。

ここでは、ユーザが原稿のコピーやプリントを行なう場合を例に取り、画像形成装置１の動作について詳しく説明を行なう。
画像読取装置１００によって読み取られた原稿の画像や、ＰＣ等から受信した画像データは、予め定められた画像処理が施され、画像処理が施された画像データは、イエロー（Ｙ）、マゼンタ（Ｍ）、シアン（Ｃ）、黒（Ｋ）の４色の色材階調データに変換され、光学系ユニット５０に出力される。

光学系ユニット５０は、入力された色材階調データに応じて、半導体レーザ（図示せず）から出射されたレーザ光を、ｆ−θレンズ（不図示）を介してポリゴンミラーに出射する。ポリゴンミラーでは、入射されたレーザ光を各色の階調データに応じて変調し、偏向走査して、図示しない結像レンズおよび複数枚のミラーを介して画像形成ユニット２１Ｙ、２１Ｍ、２１Ｃ、２１Ｋの感光体ドラム２２に照射する。

画像形成ユニット２１Ｙ、２１Ｍ、２１Ｃ、２１Ｋの感光体ドラム２２では、帯電器２３で帯電された表面が走査露光され、静電潜像が形成される。形成された静電潜像は、各々の画像形成ユニット２１Ｙ、２１Ｍ、２１Ｃ、２１Ｋにて、イエロー（Ｙ）、マゼンタ（Ｍ）、シアン（Ｃ）、黒（Ｋ）の各色のトナー像として現像される。画像形成ユニット２１Ｙ、２１Ｍ、２１Ｃ、２１Ｋの感光体ドラム２２上に形成されたトナー像は、中間転写体である中間転写ベルト３１上に多重転写される。

一方、用紙供給部６０では、画像形成のタイミングに合わせて送出ロール６２が回転して用紙収容部６１に収容されている用紙Ｐを取り上げ、搬送路６３を介して搬送ロール６４、６５にて搬送される。その後、トナー像が形成された中間転写ベルト３１の移動タイミングに合わせて搬送ロール６６が回転し、用紙Ｐは、バックアップローラ３５および二次転写ローラ４１によって形成される二次転写位置に搬送される。二次転写位置にて、下方から上方に向けて搬送される用紙Ｐには、圧接力および予め定められた電界を用いて、４色が多重されているトナー像が副走査方向に順次、転写される。そして、各色のトナー像が転写された用紙Ｐは、定着装置４５によって熱および圧力で定着処理を受けた後に排出され、第１の積載トレイ７１あるいは第２の積載トレイ７２に積載される。

両面印刷の要求があった場合には、一方の面に画像が形成された用紙Ｐは、反転搬送部８０にて表裏が反転するように搬送され、再度二次転写位置に送られる。そして、二次転写位置にて、用紙Ｐの他方の面にトナー像が転写され、定着装置４５にて転写された画像が定着される。その後、両面に画像が形成された用紙Ｐは、排出され、第１の積載トレイ７１あるいは第２の積載トレイ７２に積載される。

またユーザインタフェース３００は、以下のように動作する。
図３は、ユーザインタフェース３００に表示される画像の一例を示した図である。
この場合、ユーザインタフェース３００には、画像形成装置１が備える機能を実行するためのアイコンの一覧が画像として表示されている。

図示する例では、ユーザインタフェース３００は、コピー、ファクス／インターネットファクス、スキャナ（メール送信）、ジョブフロー、どこでもプリント、らくらくファクス、スキャナ（ＰＣ保存）、外部アクセス、スキャナ（ボックス保存）、ボックス操作、ジョブメモリ、デジカメプリントのそれぞれの機能を表すアイコンを表示し、これを一覧としている。
また図示する例では、ユーザインタフェース３００は、画面遷移のためのボタンとして「戻る」のボタンを表示している。

そしてユーザは、目的の機能を利用するためには、何れかのアイコンまたはボタンを選択する選択操作を行なう。
選択操作は、具体的には、ユーザインタフェース３００がタッチパネルであった場合は、ユーザがアイコンまたはボタンをタッチする操作である。ユーザがアイコンをタッチするとアイコンに関連付けられた機能に対応する設定画面が表示される。例えば、「コピー」のアイコンをタッチすると、原稿のコピーを行なうための設定画面として、コピーを行なう枚数、使用する用紙の選択、白黒／カラーの選択、拡大／縮小の設定を行なう画面が表示される。そして設定後、ユーザが、図示しないスタートボタン等を押下すると、実際のコピー動作が開始される。また「戻る」のボタンをタッチすると、ホーム画面等の元の画面に戻ることができる。

また予め定められた条件を満たしたときに、ユーザインタフェース３００では、ユーザインタフェース３００に表示する項目についてのポップアップを表示する。この場合、項目は、例えば、アイコンである。そして例えば、ユーザがアイコンをタッチし、そのまま予め定められた以上タッチしたままである（長押し）とき、ユーザインタフェース３００にそのアイコンに関する情報をポップアップとして表示する。ポップアップの表示については、後で詳述する。

また画像形成装置１は、カメラ４００により撮影された画像を制御装置５００で解析することによりユーザインタフェース３００上におけるユーザの視線の位置を検知する。これにより例えば、検知したユーザの視線の位置により、ユーザが、ユーザインタフェース３００の何れの箇所を見ているかを判断する。

図４（ａ）〜（ｄ）は、カメラ４００により撮影されたユーザの目の画像からユーザの視線の位置を検知する方法について示した図である。
このうち図４（ａ）〜（ｂ）は、可視光により視線の位置を検知する方法について示している。
図示する例では、まずユーザの目Ｍにおける目頭Ｇおよび虹彩Ｋの位置を求める。この場合、ユーザの視線の位置が変化すると、図４（ａ）および図４（ｂ）に示すように目頭Ｇと虹彩Ｋとの位置関係が変化する。その結果、目頭Ｇと虹彩Ｋとの位置関係により視線の位置を求めることができる。
また図４（ｃ）〜（ｄ）は、赤外線により視線の位置を検知する方法について示している。
図示する例では、まずユーザの目Ｍにおける瞳孔Ｄと角膜反射Ｈの位置を求める。この場合、ユーザの視線の位置が変化すると、図４（ｃ）および図４（ｄ）に示すように瞳孔Ｄと角膜反射Ｈとの位置関係が変化する。その結果、瞳孔Ｄと角膜反射Ｈとの位置関係により視線の位置を求めることができる。

上述したポップアップの表示を行なうときは、従来は、ユーザがタッチした箇所に隣接する予め設定された固定位置に表示するのが一般的である。そのためポップアップの上に指や手が位置することがある。その場合、指や手にポップアップが隠れ、ユーザは、ポップアップを視認することが困難となる。またユーザの目線の高さによっては視認しにくい位置にポップアップが表示されてしまう場合もある。さらにポップアップとともに表示したい項目の位置にポップアップが表示されてしまうことがあり、この場合必要な項目をユーザは視認することができない。つまりユーザの利用条件（指の位置、手の位置、ユーザの姿勢、指の角度、ユーザの目線の高さ、ユーザが欲する情報）は、その時々により異なるため、ユーザがポップアップを視認しやすい位置は、必ずしも一定ではない。

そこで本実施の形態では、ユーザの視線の位置によりポップアップを表示する位置を変更し、ユーザがポップアップを視認しやすいようにし、上記問題の抑制を図っている。以下、これを実現する制御装置５００の構成について説明を行なう。

＜制御装置５００の説明＞
［第１の実施形態］
次に制御装置５００の第１の実施形態について説明を行なう。
第１の実施形態では、ユーザインタフェース３００が１つの画面よりなり、その中でポップアップを表示する位置を変更する場合について説明する。

図５は、制御装置５００の機能構成例を示したブロック図である。なお図５では、制御装置５００が有する種々の機能のうち本実施の形態に関係するものを選択して図示している。
制御装置５００は、情報処理装置の一例であるとともに、ユーザインタフェース３００に表示する画像の表示を制御する表示制御部の一例である。
図示するように本実施の形態の制御装置５００は、接触位置取得手段５１０と、ポップアップ表示判断手段５２０と、画像取得手段５３０と、視線検知手段５４０と、表示制御手段５５０と、記憶手段５６０とを備える。

接触位置取得手段５１０は、ユーザインタフェース３００に人の指等の接触物が接触したときに、接触物がユーザインタフェース３００に接触した位置を取得する。即ち、上述したようにユーザインタフェース３００は、タッチパネルであり、接触物がユーザインタフェース３００に接触した位置を検知する位置検知部が備えられている。そのため接触位置取得手段５１０は、接触物がユーザインタフェース３００に接触した位置を位置検知部から接触位置情報として取得することができる。

ポップアップ表示判断手段５２０は、ポップアップを表示するか否かを判断する。ポップアップ表示判断手段５２０は、上述したように例えば、ユーザがアイコンを長押ししたときにポップアップを表示することを決定する。そしてこの場合、ポップアップは、人の指等の接触物がユーザインタフェース３００に接触した位置に表示されている項目（例えば、アイコン）についてのポップアップを表示するものとなる。具体的には、ポップアップの表示内容は、例えば、アイコンとして表示されている機能（コピーなど）の設定の内容である。ユーザは、これにより設定を確認することができる。またポップアップの表示内容は、例えば、アイコンとして表示されている機能の設定を変更するメニューである。ユーザは、これにより設定を変更することができる。またポップアップの内容は、例えば、アイコンとして表示されている機能に対するヘルプ画面である。ユーザは、これによりこの機能により実行できること具体的な内容や操作方法等を知ることができる。

画像取得手段５３０は、カメラ４００が撮影したユーザの画像の画像信号を取得する。

視線検知手段５４０は、カメラ４００が撮影したユーザの画像を基に、図４で説明したような位置関係を求める。そして視線検知手段５４０は、この位置関係からユーザインタフェース３００上のユーザの視線の位置を検知する。

表示制御手段５５０は、ユーザインタフェース３００に表示する項目（例えば、アイコン）についてのポップアップを表示する。さらに表示制御手段５５０は、ポップアップの表示位置を視線検知手段５４０が検知した視線の位置に応じて制御する。より具体的には、表示制御手段５５０は、ポップアップ表示判断手段５２０がポップアップを表示すると決定したときに、ユーザインタフェース３００上のユーザの視線の位置に応じて、ユーザインタフェース３００上でポップアップを表示する位置を決定する。そして表示制御手段５５０は、記憶手段５６０から表示するポップアップの内容を取得し、ユーザインタフェース３００にポップアップを表示する制御を行なう。そのために表示制御手段５５０は、アイコンやポップアップを表示する表示データをユーザインタフェース３００に送信する。

図６は、第１の実施形態において、ユーザインタフェース３００でポップアップを表示した画面の第１の例を示した図である。
図示する例では、ユーザが「スキャナ（ＰＣ保存）」のアイコンを例えば、長押しし、これによりこの「スキャナ（ＰＣ保存）」の設定を変更しようとしている。そしてその際に、「スキャン機能に関するメニューが設定できます。」のポップアップが表示された例を示している。
このときユーザのユーザインタフェース３００上での視線の位置を矢印で示している。そしてこの場合、ユーザインタフェース３００上の視線の位置をポップアップの表示位置としている。ユーザは視線の位置を自分にとって見やすい位置とすることで、ポップアップの表示も見やすい位置に表示されることになる。その結果、ユーザの指先や手の位置にかかわらず、ユーザの見やすい位置にポップアップを表示することができる。なお図示する例では、ユーザインタフェース３００上の視線の位置をポップアップの表示位置としていたが、視線の位置から予め定められた範囲内をポップアップの表示位置としてもよい。この予め定められた範囲は、例えば、視線の位置を中心とした半径５ｃｍの円の範囲内である。

また図７は、第１の実施形態において、ユーザインタフェース３００でポップアップを表示した画面の第２の例を示した図である。
図７では、図６に比較して、ポップアップが表示された後にユーザの視線が移動した場合を示している点で異なる。
この場合、表示制御手段５５０は、ユーザインタフェース３００上の視線の位置の移動に応じてポップアップの表示位置を移動させる。このとき視線の位置の移動に対し、直ちにポップアップの表示位置を追従させてもよく、視線の位置が移動した後、移動後の箇所で予め定められた時間以上ユーザがその箇所を凝視していた場合に、ポップアップの表示位置を移動させてもよい。
このようにすることで、ユーザは視線の位置を自分にとって見やすい位置に移動することができ、ユーザの見やすい位置にポップアップを表示することができる。

さらに図８は、第１の実施形態において、ユーザインタフェース３００でポップアップを表示した画面の第３の例を示した図である。
図８では、図６に比較して、ユーザが「デジカメプリント」のアイコンを例えば、長押しし、これによりこの「デジカメプリント」の設定を変更しようとしている点で異なる。
この場合、視線の位置をポップアップの表示位置とすると、「戻る」のアイコンを隠してポップアップを表示することになる。しかしその結果、「戻る」のアイコンが表示されなくなるため、ユーザの利便性が低下する。そのため本実施の形態では、表示制御手段５５０は、ユーザインタフェース３００上の視線の位置がポップアップの表示位置として適さないときは、他の表示位置に変更する制御を行なう。図８では、本来ポップアップが表示される位置であった「戻る」ボタンの位置より上側に表示位置を変更し、ポップアップが「戻る」のアイコンを隠さないようにしている。

このようにポップアップの表示位置として適さない位置としては、この「戻る」を含む「ｈｏｍｅ」、「ｓｔａｒｔ」等の画面遷移に関わるボタンが表示される位置が挙げられる。また他にも、「キャンセル」など設定操作に関わるボタンが表示される位置や、表示されるポップアップと関連するボタンが表示される位置が挙げられる。さらに今までの設定が表示される位置なども含まれる。

またポップアップの表示位置として適さない位置としては、視線の位置がユーザインタフェース３００の画面の端部であった場合なども含まれる。この場合、ポップアップを表示するために必要な面積を確保できないことが多い。これは例えば、ユーザインタフェース３００の端に位置するアイコンをタッチしたときや、ユーザインタフェース３００の画面が非常に小さい場合などである。この場合、ポップアップの表示位置を他に変更することの他に、ユーザインタフェース３００で表示されている画像をスクロールさせてポップアップを表示するために必要な面積を確保したり、音声で報知や警告をすることが考えられる。また後述する第２の実施形態や第３の実施形態のように別画面にポップアップを表示することも考えられる。

［第２の実施形態］
次に制御装置５００の第２の実施形態について説明を行なう。
第２の実施形態では、ユーザインタフェース３００が複数の画面よりなり、複数のユーザインタフェース３００間でポップアップを表示する位置を変更する場合について説明する。

図９は、第２の実施形態が適用される画像形成装置１について示した図である。
図示する画像形成装置１は、図１に示した画像形成装置１に比較して、ユーザインタフェース３００が２つになっている。なお他の部分は、双方とも同じである。また図９では、これらのユーザインタフェース３００をそれぞれ区別するため、ユーザインタフェース３００Ａおよびユーザインタフェース３００Ｂとして図示している。

図１０（ａ）〜（ｂ）は、第２の実施形態において、ポップアップを表示した画面を示した図である。
このうち図１０（ａ）は、ユーザインタフェース３００Ａで表示される画面を示している。また図１０（ｂ）は、ユーザインタフェース３００Ｂで表示される画面を示している。
図示する例では、図６の場合と同様に、ユーザが「スキャナ（ＰＣ保存）」のアイコンを例えば、長押しし、これによりこの「スキャナ（ＰＣ保存）」の設定を変更しようとしている。そしてこのときユーザの視線がユーザインタフェース３００Ｂ上にあることを示している。

この場合、本実施の形態では、ユーザインタフェース３００Ａ上ではなく、ユーザインタフェース３００Ｂ上に「スキャン機能に関するメニューが設定できます。」のポップアップを表示する。つまりここでは、ユーザインタフェース３００は、複数存在し、表示制御手段５５０は、複数のユーザインタフェース３００のうちユーザの視線の位置にあるものにポップアップを表示する。
これによりユーザの見やすい位置にポップアップを表示することができる。

［第３の実施形態］
次に制御装置５００の第３の実施形態について説明を行なう。
第３の実施形態では、ユーザインタフェース３００の他に、ユーザが端末装置を所持しており、この端末装置にポップアップを表示する位置を変更する場合について説明する。

図１１は、第３の実施形態が適用される画像形成装置１について示した図である。
図１１では、画像形成装置１の他に、ユーザが所持する端末装置２を図示している。この端末装置２は、外部装置の一例であり、例えば、携帯電話、スマートフォン、タブレット、パーソナルコンピュータ（ＰＣ）等の携帯端末である。端末装置２は、ユーザインタフェース３００と同様に表示部を有し、画像を表示する機能を有する。

図１２（ａ）〜（ｂ）は、第３の実施形態において、ポップアップを表示した画面を示した図である。
このうち図１２（ａ）は、ユーザインタフェース３００で表示される画面を示している。また図１２（ｂ）は、端末装置２で表示される画面を示している。
図示する例では、図６の場合と同様に、ユーザが「スキャナ（ＰＣ保存）」のアイコンを例えば、長押しし、これによりこの「スキャナ（ＰＣ保存）」の設定を変更しようとしている。そしてこのときユーザの視線が端末装置２上にあることを示している。

この場合、本実施の形態では、ユーザインタフェース３００上ではなく、端末装置２上に「スキャン機能に関するメニューが設定できます。」のポップアップを表示する。なおユーザの視線が端末装置２上にある場合に限られるものではなく、ユーザの視線がユーザインタフェース３００上から外れた場合に、端末装置２にポップアップを表示するようにしてもよい。つまり表示制御手段５５０は、視線の位置がユーザインタフェース３００の範囲外にあったときは、外部装置（端末装置２）にポップアップを表示する。
この場合もユーザの見やすい位置にポップアップを表示することができる。

＜制御装置５００の動作の説明＞
次に制御装置５００の動作の説明を行なう。
図１３は、制御装置５００の動作について説明したフローチャートである。
まず接触位置取得手段５１０が、ユーザインタフェース３００に人の指が接触したときに、指がユーザインタフェース３００に接触した位置を取得する（ステップ１０１）。

次にポップアップ表示判断手段５２０が、ポップアップを表示するか否かを判断する（ステップ１０２）。これは上述したように例えば、ユーザがアイコンを長押ししたか否かで判断できる。

そしてポップアップ表示判断手段５２０が、ポップアップを表示しないと判断した場合（ステップ１０２でＮｏ）、ステップ１０１に戻る。
対してポップアップ表示判断手段５２０が、ポップアップを表示すると判断した場合（ステップ１０２でＹｅｓ）、画像取得手段５３０が、カメラ４００が撮影したユーザの画像を取得する（ステップ１０３）。

次に視線検知手段５４０は、カメラ４００が撮影したユーザの画像を基に、ユーザインタフェース３００上のユーザの視線の位置を検知する（ステップ１０４）。

そして表示制御手段５５０が、ユーザインタフェース３００上でポップアップを表示する位置を決定する（ステップ１０５）。さらに表示制御手段５５０が、記憶手段５６０から表示するポップアップの内容を取得し、ユーザインタフェース３００にポップアップを表示する（ステップ１０６）。このとき第１の実施形態では、ユーザインタフェース３００上の視線の位置にポップアップを表示する。また第２の実施形態では、ユーザインタフェース３００Ｂ上の視線の位置にポップアップを表示する。さらに第３の実施形態では、端末装置２の表示部にポップアップを表示する。

またポップアップ表示判断手段５２０は、ユーザがアイコンから指を離したか否かを判断する（ステップ１０７）。

そしてポップアップ表示判断手段５２０が、ユーザがアイコンから指を離していないと判断した場合（ステップ１０７でＮｏ）、ステップ１０７に戻る。
対してポップアップ表示判断手段５２０が、ユーザがアイコンから指を離したと判断した場合（ステップ１０７でＹｅｓ）、表示制御手段５５０は、ポップアップをユーザインタフェース３００から消去する（ステップ１０８）。

なお上述した例では、ポップアップ表示判断手段５２０が、ポップアップを表示すると判断した後に、ユーザの視線の位置を検知していたが、これに限られるものではなく、最初からユーザの視線の位置を検知していてもよい。
また上述した例では、ユーザがアイコンを長押しする等をトリガとして、ポップアップを表示していたが、これに限られるものではない。例えば、ユーザが予め定められた時間何も操作しないなど、ユーザの「迷い」を検知し、これをトリガとして、ポップアップを表示してもよい。
さらに上述した例では、ユーザがアイコンから指を離したことをトリガとして、表示制御手段５５０が、ポップアップをユーザインタフェース３００から消去したが、これに限られるものではない。例えば、ユーザの視線の位置がユーザインタフェース３００上から離れ、ユーザインタフェース３００以外を見ているときにポップアップをユーザインタフェース３００から消去してもよい。またユーザの「迷い」を検知し、これをトリガとして、ポップアップを表示したときは、ユーザが何らかの操作を行なうなどの「迷いの解消」をトリガとしてポップアップをユーザインタフェース３００から消去してもよい。さらにポップアップ中にキャンセルボタンを設け、このキャンセルボタンをユーザがタッチしたときにポップアップをユーザインタフェース３００から消去してもよい。

なお上述した例では、情報処理装置として画像形成装置１を例に取り説明を行なったがこれに限られるものではない。即ち、表示部をタッチすることで入力等を行ない、そして表示部にポップアップを表示する機能を有する装置であれば、本実施の形態の適用が可能である。例えば、アプリケーションソフトウェアのアイコンを並べて表示する携帯電話、スマートフォン、タブレットのような機器に対しても適用できる。

＜プログラムの説明＞
なお制御装置５００が行う処理は、ソフトウェアとハードウェア資源とが協働することにより実現される。

よって制御装置５００が行う処理は、コンピュータに、画像を表示するユーザインタフェース３００上のユーザの視線の位置を検知する視線検知機能と、ユーザインタフェース３００に表示する項目についてのポップアップを表示するとともに、ポップアップの表示位置を視線の位置に応じて制御する表示制御機能と、を実現させるプログラムとして捉えることもできる。

１…画像形成装置、２…端末装置、２０…画像形成部、３０…中間転写ユニット、４０…二次転写ユニット、４５…定着装置、１００…画像読取装置、２００…画像記録装置、３００…ユーザインタフェース、４００…カメラ、５００…制御装置、５１０…接触位置取得手段、５２０…ポップアップ表示判断手段、５３０…画像取得手段、５４０…視線検知手段、５５０…表示制御手段、５６０…記憶手段

Claims (12)

1. 画像を表示する表示部上のユーザの視線の位置を検知する視線検知手段と、
   前記表示部に表示する項目についてのポップアップを表示するとともに、当該ポップアップの表示位置を前記視線検知手段が検知した視線の位置に応じて制御する表示制御手段と、
   を備え、
   前記表示制御手段は、前記表示部上の視線の位置の移動に応じて前記ポップアップの表示位置を移動する情報処理装置。
2. 前記表示制御手段は、前記表示部上の視線の位置または当該視線の位置から予め定められた範囲内を前記ポップアップの表示位置とすることを特徴とする請求項１に記載の情報処理装置。
3. 画像を表示する表示部上のユーザの視線の位置を検知する視線検知手段と、
   前記表示部に表示する項目についてのポップアップを表示するとともに、当該ポップアップの表示位置を前記視線検知手段が検知した視線の位置に応じて制御する表示制御手段と、
   を備え、
   前記表示制御手段は、前記表示部上の視線の位置が前記ポップアップの表示位置として適さないときは、他の表示位置に変更する制御を行なう情報処理装置。
4. 画像を表示する表示部上のユーザの視線の位置を検知する視線検知手段と、
   前記表示部に表示する項目についてのポップアップを表示するとともに、当該ポップアップの表示位置を前記視線検知手段が検知した視線の位置に応じて制御する表示制御手段と、
   を備え、
   前記表示部は、複数存在し、
   前記表示制御手段は、複数の前記表示部のうちユーザの視線の位置にあるものに前記ポップアップを表示する情報処理装置。
5. 画像を表示する表示部上のユーザの視線の位置を検知する視線検知手段と、
   前記表示部に表示する項目についてのポップアップを表示するとともに、当該ポップアップの表示位置を前記視線検知手段が検知した視線の位置に応じて制御する表示制御手段と、
   を備え、
   前記表示制御手段は、視線の位置が前記表示部の範囲外にあったときは、外部装置に前記ポップアップを表示する情報処理装置。
6. 前記表示部に接触物が接触したときに、当該接触物が当該表示部に接触した位置を検知する接触位置取得手段をさらに備え、
   前記表示制御手段は、前記接触物が前記表示部に接触した位置に表示されている項目についてのポップアップを表示することを特徴とする請求項１乃至５の何れかに記載の情報処理装置。
7. 記録材に画像を形成する画像形成部と、
   自装置に関する情報を画像として表示する表示部と、
   前記表示部に表示する画像の表示を制御する表示制御部と、
   を備え、
   前記表示制御部は、
   前記表示部上のユーザの視線の位置を検知する視線検知手段と、
   前記表示部に表示する項目についてのポップアップを表示するとともに、当該ポップアップの表示位置を前記視線検知手段が検知した視線の位置に応じて制御する表示制御手段と、
   を備える画像形成装置。
8. コンピュータに、
   画像を表示する表示部上のユーザの視線の位置を検知する視線検知機能と、
   前記表示部に表示する項目についてのポップアップを表示するとともに、当該ポップアップの表示位置を検知した視線の位置に応じて制御する表示制御機能と、
   を実現させ、
   前記表示制御機能は、前記表示部上の視線の位置の移動に応じて前記ポップアップの表示位置を移動する、プログラム。
9. コンピュータに、
   画像を表示する表示部上のユーザの視線の位置を検知する視線検知機能と、
   前記表示部に表示する項目についてのポップアップを表示するとともに、当該ポップアップの表示位置を検知した視線の位置に応じて制御する表示制御機能と、
   を実現させ、
   前記表示制御機能は、前記表示部上の視線の位置が前記ポップアップの表示位置として適さないときは、他の表示位置に変更する制御を行なう、プログラム。
10. コンピュータに、
    画像を表示する表示部上のユーザの視線の位置を検知する視線検知機能と、
    前記表示部に表示する項目についてのポップアップを表示するとともに、当該ポップアップの表示位置を検知した視線の位置に応じて制御する表示制御機能と、
    を実現させ、
    前記表示部は、複数存在し、
    前記表示制御機能は、複数の前記表示部のうちユーザの視線の位置にあるものに前記ポップアップを表示する、プログラム。
11. コンピュータに、
    画像を表示する表示部上のユーザの視線の位置を検知する視線検知機能と、
    前記表示部に表示する項目についてのポップアップを表示するとともに、当該ポップアップの表示位置を検知した視線の位置に応じて制御する表示制御機能と、
    を実現させ、
    前記表示制御手段は、視線の位置が前記表示部の範囲外にあったときは、外部装置に前記ポップアップを表示する、プログラム。
12. 記録材に画像を形成する画像形成部と、自装置に関する情報を画像として表示する表示部と、当該表示部に表示する画像の表示を制御する表示制御部と、を備える画像形成装置が有するコンピュータに、
    画像を表示する表示部上のユーザの視線の位置を検知する視線検知機能と、
    前記表示部に表示する項目についてのポップアップを表示するとともに、当該ポップアップの表示位置を検知した視線の位置に応じて制御する表示制御機能と、
    を実現させるプログラム。

Images