JP7430981B2 - 画像処理装置、画像形成システム、画像形成装置、制御方法及びコンピュータープログラム - Google Patents

Description

本発明は、画像処理装置において画像上の位置を選択する技術に関する。

従来、利用者の視線により操作面上の位置を選択して、入力操作を実現する方法が知られている。

特許文献１には、視線入力及び音声入力を用いて、マウスなどの入力装置において用いられるクリック操作、長押し操作、ドラッグ操作等と同様の操作をさせる情報処理装置が開示されている。この情報処理装置では、常時、視線入力を有効としている。

例えば、クリック操作を行う場合、利用者は、視線を操作面上のクリックしたい位置に向け、その視線を固定したまま、時間閾値以下の短い間マイクに息を吹きかける。また、長押し操作を行う場合、利用者は、視線を操作面上の長押ししたい位置に向けて、その視線を固定したまま、時間閾値以上の間マイクに息を吹きかける。さらに、ドラッグ操作を行う場合、利用者は、視線を操作面上のドラッグ操作を開始したい位置に向け、時間閾値以上の間マイクに息を吹きかけながら、視線をドラッグしたい方向に移動させ、ドラッグ操作を終了したい位置に視線を向けたところで息を吹きかけることを止める。

特開２０１４－２１８９３号公報

しかし、画像形成装置の操作においては、接触入力が適している操作と、視線入力が適している操作があり、接触入力及び視線入力のいずれか一方のみを採用すると、操作性が低下するという問題がある。

本発明は、この問題を解決し、操作の場面に応じて、適切な入力方法を選択でき、特に、画像上における位置の選択を行う場合に、適切な入力方法を選択できる画像処理装置、画像形成システム、画像形成装置、制御方法及びコンピュータープログラムを提供することを目的とする。

上記目的を達成するため、本発明は、表示面を有する表示手段と、利用者の接触操作により入力を受け付ける入力手段と、前記表示面上における利用者の視点を検出する視点検出手段と、前記入力手段により受け付けた入力が、前記表示面に表示されるプレビュー画像上における位置を選択する動作に切り換える切換指示であるか否かを判断し、前記入力手段により受け付けた入力が、日付、時刻、ページ番号、ステープル、パンチ穴及び綴じ代のいずれかを選択する第一の選択肢であるか、又は、スタンプ及びウォーターマークのいずれかを選択する第二の選択肢であるかを判断する判断手段と、前記切換指示であると判断され、第一の選択肢であると判断される場合、前記視点検出手段による視点の検出を有効とし、第一の選択肢に対してプレビュー画面上で予め定めたマーク指定領域内に視点が存在するとき、マーク指定領域内で第一の選択肢に対して予め定めた位置に、第一の選択肢を示すマークを表示するように制御し、前記切換指示であると判断され、第二の選択肢であると判断される場合、前記視点検出手段による視点の検出を有効とし、視点の位置に、第二の選択肢を示すマークを表示するように制御する制御手段とを備えることを特徴とする。

ここで、前記制御手段は、前記プレビュー画像上における前記位置として、前記視点検出手段により検出された視点の位置を選択してもよい。

ここで、さらに、データを取得する取得手段を備え、前記表示手段は、取得したデータにより表される画像を縮小した前記プレビュー画像を表示してもよい。

ここで、前記判断手段により前記切換指示であると判断された後に、前記表示手段は、前記プレビュー画像を表示してもよい。

ここで、前記判断手段による判断の前に、前記表示手段は、前記プレビュー画像を表示してもよい。

ここで、前記判断手段により、前記切換指示であると判断される場合、前記表示手段は、さらに、視点による入力が有効である旨を表示してもよい。

ここで、前記表示手段は、前記表示面における利用者の視点の位置を強調表示することにより、視点による入力が有効である旨の表示を行う、としてもよい。

ここで、さらに、前記判断手段により、前記切換指示であると判断される場合、視点による入力が有効である旨を利用者に通知する通知手段を備える、としてもよい。

ここで、前記通知手段は、光により、又は、音により、前記通知を行う、としてもよい。

ここで、前記制御手段は、さらに、前記視点検出手段による視点の検出を有効とした後、前記入力手段による入力が受け付けられた場合、前記視点検出手段による視点の検出を無効としてもよい。

ここで、さらに、データを取得する取得手段と、前記制御手段により選択された前記プレビュー画像上の位置を、取得した前記データにより表される画像上の位置に変換する変換手段と、前記画像上において、変換により生成された前記位置に、オプションとしての付加画像又は綴じ代である余白を配置する画像処理を施す画像処理手段とを備える、としてもよい。

ここで、前記表示手段は、プレビュー画像上において選択された前記位置に、前記付加画像又は綴じ代を示すマークを表示してもよい。

ここで、前記マークは、オプションとしてのスタンプ、ウォーターマーク、ページ番号、日付又は時刻を表し、前記画像処理手段は、前記付加画像として、スタンプ、ウォーターマーク、ページ番号、日付又は時刻を表す画像を配置してもよい。

また、本発明は、電子写真方式によりシート上に画像を形成する画像形成装置と、画像が形成された前記シートに対して、後処理を施す後処理装置とから構成される画像形成システムであって、前記画像形成装置は、上記の画像処理装置を備え、前記画像処理装置は、さらに、前記制御手段により選択された前記プレビュー画像上の位置を、前記シート上の位置に変換する変換手段を備え、前記後処理装置は、変換により生成されたシート上の前記位置において、後処理を施す後処理手段を備えることを特徴とする。

ここで、前記表示面は、プレビュー画像上において、選択された前記位置に、ステープル又はパンチ穴を表すマークを表示し、前記後処理手段は、シート上の前記位置において、ステープル綴じをし、又は、パンチ穴を穿孔してもよい。

また、本発明は、電子写真方式によりシート上に画像を形成する画像形成装置であって、上記の画像処理装置を備えることを特徴とする。

また、本発明は、表示面を有する表示手段を備える画像処理装置において用いられる制御方法であって、利用者の接触操作により入力を受け付ける入力ステップと、前記表示面上における利用者の視点を検出する視点検出ステップと、前記入力ステップにより受け付けた入力が、前記表示面に表示されるプレビュー画像上における位置を選択する動作に切り換える切換指示であるか否かを判断し、前記入力ステップにより受け付けた入力が、日付、時刻、ページ番号、ステープル、パンチ穴及び綴じ代のいずれかを選択する第一の選択肢であるか、又は、スタンプ及びウォーターマークのいずれかを選択する第二の選択肢であるかを判断する判断ステップと、前記切換指示であると判断され、第一の選択肢であると判断される場合、前記視点検出ステップによる視点の検出を有効とし、第一の選択肢に対してプレビュー画面上で予め定めたマーク指定領域内に視点が存在するとき、マーク指定領域内で第一の選択肢に対して予め定めた位置に、第一の選択肢を示すマークを表示するように制御し、前記切換指示であると判断され、第二の選択肢であると判断される場合、前記視点検出ステップによる視点の検出を有効とし、視点の位置に、第二の選択肢を示すマークを表示するように制御する制御ステップとを含むことを特徴とする。

また、本発明は、表示面を有する表示手段と、利用者の接触操作により入力を受け付ける入力手段と、前記表示面上における利用者の視点を検出する視点検出手段とを備える画像処理装置において用いられる制御用のコンピュータープログラムであって、コンピューターである画像処理装置に、前記入力手段により受け付けた入力が、前記表示面に表示されるプレビュー画像上における位置を選択する動作に切り換える切換指示であるか否かを判断し、前記入力手段により受け付けた入力が、日付、時刻、ページ番号、ステープル、パンチ穴及び綴じ代のいずれかを選択する第一の選択肢であるか、又は、スタンプ及びウォーターマークのいずれかを選択する第二の選択肢であるかを判断する判断ステップと、前記切換指示であると判断され、第一の選択肢であると判断される場合、前記視点検出手段による視点の検出を有効とし、第一の選択肢に対してプレビュー画面上で予め定めたマーク指定領域内に視点が存在するとき、マーク指定領域内で第一の選択肢に対して予め定めた位置に、第一の選択肢を示すマークを表示するように制御し、前記切換指示であると判断され、第二の選択肢であると判断される場合、前記視点検出手段による視点の検出を有効とし、視点の位置に、第二の選択肢を示すマークを表示するように制御する制御ステップとを実行させるためのコンピュータープログラムであることを特徴とする。

上記の構成によると、操作の場面に応じて、適切な入力方法を選択でき、特に、画像上における位置の選択を行う場合に、視点入力を選択できるという優れた効果を奏する。

（ａ）画像形成システム１の概略構成を示す図である。（ｂ）操作パネル１９の外観斜視図である。 主制御部１００の構成を示すブロック図である。 画像データ１５１により表される画像を示す図である。 オブジェクト範囲情報１６１の一例を示す。 オブジェクトデータ１５２により表される画像を示す図である。 パーツ情報テーブル１７１のデータ構造を示す一例である。 （ａ）～（ｆ）パーツデータ１５３ａ～１５３ｆにより表される画像を示す図である。 利用者位置情報１８１を示す一例である。 水平方向テーブル１８５のデータ構造を示す一例である。 視線情報１９１のデータ構造を示す一例である。 視点位置情報１９５を示す一例である。 メニュー遷移テーブル２１１のデータ構造を示す一例である。 （ａ）～（ｃ）画像上のオブジェクトのＸ軸方向の位置と、Ｘ－Ｙ－Ｚ座標系における利用者のＺ軸方向の立ち位置との関係を示す。（ｄ）～（ｆ）画像上のオブジェクトの大きさと、Ｘ－Ｙ－Ｚ座標系における利用者のＹ軸方向の立ち位置との関係を示す。 （ａ）三方向に向いた利用者の頭部の概略図を示す。（ｂ）利用者の頭部の水平方向の向きを示す。（ｃ）鉛直方向に対して三つの傾きを有する利用者の頭部の概略図を示す。（ｄ）利用者の頭部の鉛直方向からの傾きを示す。（ｅ）利用者の両目の瞳が正面を向く場合を示す。（ｆ）利用者の両目の瞳が左側を向く場合を示す。（ｇ）利用者の両目の瞳が右側を向く場合を示す。 （ａ）利用者の視点の軌跡の一例を示す。（ｂ）時間の経過に伴う視点の軌跡の一次元表示の一例を示す。（ｃ）～（ｆ）プレビュー画面上のマーク指定領域の例を示す。（ｇ）プレビュー画面上の視点領域の例を示す。 操作パネル１９に表示されるメニュー画面の遷移を示す。 ページ番号を表示する位置を視線により選択する場合の画面例を示す。 秘密を示すマークを表示する位置を視線により選択する場合の画面例を示す。 ステープルの位置を視線により選択する場合の画面例を示す。 パンチ穴の位置を視線により選択する場合の画面例を示す。 綴じ代量を視線により指定する場合の画面例を示す。 メニュー画面を表示後、プリント又はスキャンを実行するまでの、処理概要を示すフローチャートである。 スタンプ等のマークの位置を視線により選択する動作（１）を示すフローチャートである。 ページ番号等のマークの位置を視線により選択する動作（２）を示すフローチャートである。 利用者の視点の位置を取得する動作を示すフローチャートである。 変形例（１）において、操作パネル１９に表示されるメニュー画面の遷移を示す。 変形例（１）において、ページ番号を表示する位置、秘密を示すマークを表示する位置及びステープルの位置を視線により選択する場合の画面例を示す。 変形例（１）において、視線入力の動作を示すフローチャートである。 変形例（２）において、操作パネル１９に表示されるメニュー画面の遷移を示す。ここでは、プレビュー画面が表示された後に、視線入力モードとなる。 変形例（２）において、メニュー画面を表示後、プリント又はスキャンを実行するまでの、処理概要を示すフローチャートである。

１ 実施の形態
本発明に係る一の実施の形態について図面を参照しながら説明する。

図１（ａ）は、画像形成システム１の概略構成を示す図である。

この図に示すように、画像形成システム１は、電子写真方式によりシート上に画像を形成する画像形成装置１０と、オプション装置として、後処理を施す後処理装置１６とから構成されている。

画像形成装置１０（画像処理装置）は、プレビュー画像上で一又は複数の位置を選択し、選択した位置において、オプションとして、現在の日付、時刻、ページ番号、各種のスタンプ、ウォーターマーク（電子透かし）等を表した付加画像を上書きする機能を備え、選択した位置により示される綴じ代量に応じて、シート上に形成される画像をシート内で移動又は縮小して、綴じ代である余白を生成する機能を備えている。また、後処理装置１６は、画像形成装置１０から出力される画像形成済みのシートの束に対して、選択した位置において、ステープル綴じ又はパンチ穴の穿孔などの後処理を施す機能を備えている。

画像形成装置１０は、プレビュー画像上において、上述した付加画像を配置する位置、シートの綴じ代量、ステープルの位置及びパンチ穴の穿孔位置等の入力を、利用者の視線により、受け付ける。このように、後述する操作パネル１９に対する接触（接触操作）に加えて、利用者の視線により、位置の選択を受け付ける状態を、視線入力モードと呼ぶ。

本実施の形態においては、位置の選択を受け付ける場合、操作パネル１９に対する接触入力である通常の入力モードから視線入力モードに変更される。

画像形成システム１においては、スキャンジョブ、コピージョブ又はプリントジョブ等が実行される。ここで、スキャンジョブは、原稿面を読み取って画像データを生成し、生成した画像データを、画像形成装置１０の内部に蓄積し、又は、ネットワークを介して、画像形成装置１０に接続された外部端末装置に対して、送信するジョブである。また、コピージョブは、原稿面を読み取って画像データを生成し、生成した画像データにより、シート上に画像を形成するジョブである。さらに、プリントジョブは、ネットワークを介して、画像形成装置１０に接続された外部端末装置から、データを受信して、受信したデータにより、シート上に画像を形成するジョブである。なお、本実施の形態において、プリントジョブは、利用者により、実行条件の設定がされ、画像形成の実行が指示されるまで、画像形成装置１０の内部に記憶されて待機するものとする。これは、利用者による実行条件の設定を待つためである。

上述した付加画像を配置する位置、シートの綴じ代量、ステープルの位置及びパンチ穴の穿孔位置等は、それぞれ、スキャンジョブ、コピージョブ又はプリントジョブ等における実行条件の一つである。より詳細には、付加画像を配置する位置及びシートの綴じ代量は、画像形成装置１０における実行条件であり、ステープルの位置及びパンチ穴の穿孔位置は、後処理装置１６における実行条件である。

１．１ 画像形成装置１０
画像形成装置１０は、スキャナー、プリンター及びコピー機の機能を有するタンデム型のカラー複合機（ＭＦＰ：ＭｕｌｔｉＦｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）である。

画像形成装置１０は、図１（ａ）に示すように、筐体底部に、シートを収容し、給送する給紙部１３が設けられている。給紙部１３の上方には、電子写真方式により画像を形成するプリンター部１２（画像形成手段）が設けられている。プリンター部１２のさらに上方に、原稿を読み取って画像データを生成するイメージリーダー部１１（取得手段）及び操作用の画面を表示し、利用者から入力操作を受け付ける操作パネル１９が設けられている。

イメージリーダー部１１は、原稿面を読み取り、レッド（Ｒ）、グリーン（Ｇ）、ブルー（Ｂ）の多値デジタル信号からなる画像データを得る。

イメージリーダー部１１で得られた各色成分の画像データは、後述する主制御部１００において各種のデータ処理を受け、更にイエロー（Ｙ）、マゼンタ（Ｍ）、シアン（Ｃ）、ブラック（Ｋ）の各再現色の画像データに変換される。

プリンター部１２は、中間転写ベルト、中間転写ベルトを張架する駆動ローラー、従動ローラー、バックアップローラー、中間転写ベルトに対向して中間転写ベルトの走行方向Ｘに沿って所定間隔で配置された４個の作像部、定着部、主制御部１００等からなる。

各作像部は、像担持体である感光体ドラム、感光体ドラム表面を露光走査するためのＬＥＤアレイ、帯電チャージャー、現像器、クリーナー及び１次転写ローラーなどからなる。

給紙部１３は、サイズの異なるシートを収容する複数の給紙カセットと、このシートを各給紙カセットから搬送路に繰り出すためのピックアップローラーとから構成されている。

各作像部において、各感光体ドラムは、帯電チャージャーにより一様に帯電され、ＬＥＤアレイにより露光を受け、感光体ドラムの表面に静電潜像が形成される。各静電潜像は、それぞれ各色の現像器により現像され、各感光体ドラムの表面にＹ～Ｋ色のトナー像が形成され、トナー像は、中間転写ベルトの裏面側に配設された各１次転写ローラーの静電作用により、中間転写ベルトの表面上に順次転写される。

一方、給紙部１３のいずれかの給紙カセットから、作像部による作像動作に合わせて、シートが給送され、２次転写ローラーとバックアップローラーとが中間転写ベルトを挟んで対向する位置（２次転写位置）へと搬送路上を搬送され、２次転写位置で、２次転写ローラーの静電的作用により、中間転写ベルト上のＹ～Ｋ色のトナー像がシートへ２次転写される。Ｙ～Ｋ色のトナー像が２次転写されたシートは、さらに定着部まで搬送される。

シートの表面のトナー像は、定着部の加熱ローラーとこれに圧接された加圧ローラーとの間に形成される定着ニップを通過する際に、加熱及び加圧により、シートの表面に融着して定着され、シートは、定着部を通過した後、搬送ユニット１５へと送出される。

搬送ユニット１５では、水平方向に搬送路が形成されており、当該搬送路に沿って列設された複数の搬送ローラー対によって、画像形成済みのシートが後処理装置１６へと出力される。

ここで、例えば、画像形成装置１０のＫ色の作像部が有する感光体ドラムの軸の中心点に原点を設定する。感光体ドラムの軸方向が主走査方向に相当し、Ｙ軸方向とする。Ｙ軸に直交し、水平面に沿った方向をＺ軸方向とする。また、Ｙ軸方向とＺ軸方向の双方に直交する方向をＸ軸方向とする。つまり、画像形成システム１が存在する空間を、Ｘ－Ｙ－Ｚ座標系により示す。

１．２ 操作パネル１９
操作パネル１９は、図１（ｂ）に示すように、矩形状の平板から構成され、平板の天面２１が、主走査方向４０に対して角度θを成して、画像形成装置１０の正面、斜め前方を向くように、支持部材４１、４２により支持されている。

操作パネル１９においては、天面２１から露出するように、液晶表示板等からなる矩形で平板状の表示面２０、複数のボタン３１、３４、３５、カメラ３２、ＬＥＤ３３等が配置されている。

表示面２０は、液晶表示板（表示手段）等の上面に、利用者の操作体（指等）の接触入力を受け付けるタッチパッド部（入力手段）が積層されて、構成されている。タッチパッド部は、例えば、静電容量の変化を検出することにより、接触位置を検知する。操作パネル１９は、表示面２０に、スキャンジョブ、コピージョブ又はプリントジョブ等を実行する際の実行条件、各種のメッセージ等を表示する。また、操作パネル１９は、表示面２０において、利用者の接触により、画像形成装置１０における実行条件の設定、後処理装置１６における実行条件の設定等を受け付け、受け付けた設定の内容を、主制御部１００に通知する。

操作パネル１９は、利用者によるボタン３１、３４、３５の押下により、電源のオン、オフ、ジョブ開始の指示等を受け付け、受け付けた内容を主制御部１００に通知する。

操作パネル１９は、視線入力モードの場合に、ＬＥＤ３３（通知手段）を点灯させ、通常の入力モードの場合に、ＬＥＤ３３を消灯させる。ＬＥＤ３３を点灯させることにより、視点による入力が有効である旨を利用者に通知している。なお、ＬＥＤ３３の点灯とともに、又は、ＬＥＤ３３の点灯に代えて、操作パネル１９は、視点入力モードにおいて、音を発生するスピーカー（通知手段）を備える、としてもよい。このように、音により、視点による入力が有効である旨を利用者に通知してもよい。

カメラ３２については、後述する。

ここで、操作パネル１９の表示面２０において、矩形の表示面２０の４つの頂点のうち、一つの頂点１９ａに原点を設定し、表示面２０の長尺方向の一辺の方向及びこの辺に垂直に交差する短尺方向の一辺の方向を、それぞれ、Ｘ’軸及びＹ’軸により示す。つまり、表示面２０上における位置をＸ’－Ｙ’座標系により示す。

１．３ 後処理装置１６
後処理装置１６は、後処理として、複数枚のシートの束（シート束）を整合する整合処理機能、シート束にステープル綴じを行うステープル綴じ処理機能及びシート束（又はシート）にパンチ穴を穿孔するパンチ機能を有し、画像形成装置１０からの指示に基づき各処理機能を実行する。

特に、後処理装置１６は、画像形成装置１０の後述する後処理装置制御部１１５から、ステープルの位置又はパンチ穴の位置を受け取り、それぞれの位置において、ステープル綴じ又はパンチ穴の穿孔を行う。

後処理装置１６は、図１（ａ）に示すように、筐体内部において、後処理ユニット１８（後処理手段）が設けられ、後処理ユニット１８の上方に、搬送ユニット１５に対向して、搬送路１７が設けられている。

後処理装置１６は、搬送ユニット１５から出力されるシートに対して、シート束の整合及びステープル綴じ等の後処理を実行しない場合は、そのシートを、搬送路１７を搬送させて、第１排出トレイ３５に排出させる。

一方、後処理を実行する場合には、搬送ユニット１５から出力されるシートは、搬送路１７の途中から分岐して後処理ユニット１８に搬送される。後処理ユニット１８は、シート束を整合し、シート束にステープル綴じ又はパンチ穴の穿孔を行い、整合、ステープル綴じ又はパンチ穴の穿孔が行われたシート束を第２排出トレイ３６に排出させる。

１．４ カメラ３２
カメラ３２は、その光軸が、操作パネル１９の表示面２０に対して垂直方向、前方に向くように、操作パネル１９の天面２１上に設置されており、その撮影方向は、固定されている。

カメラ３２は、操作パネル１９の表面に対して垂直方向、前方に向けられているので、カメラ３２により、操作パネル１９の前方に立って、画像形成装置１０に対して操作を行う利用者（被写体）、特に、その利用者の顔を撮影することができる。

カメラ３２は、被写体からの光を集め、撮像素子に像を結ぶレンズと、レンズを通じて、照射された光を電気信号に変換するＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などの撮像素子と、生成された電気信号をデジタルの画像データに変換する画像処理エンジンとから構成されている。カメラ３２は、画像処理エンジンにより生成した画像データを、後述する入力部１１２に対して出力する。

カメラ３２の水平画角は、例えば、略９０度であり、垂直画角は、例えば、略４５度である。

１．５ 主制御部１００
主制御部１００は、図２に示すように、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、画像メモリ１０４、記憶部１０５、画像処理部１０６（画像処理手段）、ネットワーク通信部１０７（取得手段）、プリンター制御部１０８、スキャナー制御部１０９、入出力部１１０、表示制御部１１１（判断手段、制御手段）、入力部１１２、視点検出部１１３、視点入力制御部１１４及び後処理装置制御部１１５等から構成されている。

主制御部１００は、スキャンジョブ、コピージョブ又はプリントジョブ等に従って、画像メモリ１０４、記憶部１０５、画像処理部１０６、ネットワーク通信部１０７、プリンター制御部１０８、スキャナー制御部１０９、入出力部１１０、表示制御部１１１、入力部１１２、視点検出部１１３、視点入力制御部１１４及び後処理装置制御部１１５等を統一的に制御する。

（１）ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３及び画像メモリ１０４
ＲＡＭ１０３は、半導体メモリから構成され、各種の制御変数などを一時記憶すると共に、ＣＰＵ１０１によるプログラム実行時のワークエリアを提供する。

ＲＯＭ１０２は、半導体メモリから構成され、予め、プリント動作などの各種ジョブを実行させるための制御プログラムなどを記憶している。

ＣＰＵ１０１は、ＲＯＭ１０２に記憶されている制御プログラムに従って動作することにより、画像処理部１０６、ネットワーク通信部１０７、プリンター制御部１０８、スキャナー制御部１０９、入出力部１１０、表示制御部１１１、入力部１１２、視点検出部１１３、視点入力制御部１１４及び後処理装置制御部１１５等を制御する。

例えば、ＣＰＵ１０１は、制御プログラムに従って動作することにより、ネットワーク通信部１０７によりプリントジョブを受信すると、プリンター制御部１０８に指示して、そのプリントジョブに基づき、画像形成動作を実行させる。

画像メモリ１０４は、半導体メモリから構成され、プリントジョブ等の画像データを一時的に記憶する。

（２）画像処理部１０６
（色変換）
画像処理部１０６は、例えば、外部端末装置から受信したプリントジョブに含まれ、又は、イメージリーダー部１１による読取りにより生成した、Ｒ、Ｇ、Ｂの多値デジタル信号からなる画像データに対して、各種のデータ処理をして、Ｙ、Ｍ、Ｃ、Ｋの各再現色の画像データに変換する。

（プレビュー画像の生成）
また、画像処理部１０６は、表示制御部１１１の制御により、外部端末装置から受信したプリントジョブに含まれる画像データにより表される画像の解像度を低くし、画像を縮小して生成したプレビュー用の低解像度のプレビュー画像を生成する。ここで、プレビュー画像の解像度は、例えば、縦方向５０ｄｐｉ、横方向５０ｄｐｉである。画像処理部１０６は、生成したプレビュー画像を、入出力部１１０を介して、操作パネル１９に対して出力する。

（付加画像の上書き）
画像処理部１０６は、以下に示すようにして、画像上において設定された位置に基づいて、画像処理を行う。

画像処理部１０６は、表示制御部１１１から、データにより表される画像上に、付加画像を上書きする指示を受け取る。ここで、データには、外部端末装置から受信したプリントジョブに含まれるデータ及びイメージリーダー部１１により、原稿面を読み取ることにより、得られた画像データが含まれる。

また、画像処理部１０６は、付加画像を上書きする指示とともに、付加画像、画像データにより表される画像上において、付加画像を上書きする位置を受け取る。付加画像を上書きする指示、付加画像及び付加画像を上書きする位置を受け取ると、画像データにより表される画像上において、受け取った位置に、受け取った付加画像を上書きし、付加画像が上書きされた画像データを、画像メモリ１０４に書き込む。

（余白の配置）
画像処理部１０６は、表示制御部１１１から、綴じ代量を受け取る。綴じ代量を受け取ると、画像処理部１０６は、画像メモリ１０４に記憶されている画像データにより表される画像上で、綴じ代量の分だけ、画像上に余白を配置できるように、画像データにより表される画像を移動又は縮小する画像処理を行って、画像処理が施された画像データを画像メモリ１０４に上書きする。

（３）スキャナー制御部１０９
スキャナー制御部１０９は、イメージリーダー部１１による原稿面の読み取りを制御する。スキャナー制御部１０９は、イメージリーダー部１１による原稿面の読み取りの際に、解像度を指定する。プレビュー画像の生成の際には、解像度は、例えば、縦方向５０ｄｐｉ、横方向５０ｄｐｉである。プレビュー画像の生成以外の場合、つまり、通常のスキャンの場合には、利用者の設定に従って定めた解像度である。このように、プレビュー画像は、通常のスキャン時の解像度より低い解像度を用いて、生成されるので、通常のスキャン時の解像度の場合と比較すると、縮小された画像となっている。

プレビュー画像の生成の際には、スキャナー制御部１０９は、イメージリーダー部１１から受け取った画像データを、プレビュー画像として、表示制御部１１１の制御により、入出力部１１０に対して出力する。

プレビュー画像の生成以外の場合、つまり、通常のスキャンの場合には、スキャナー制御部１０９は、イメージリーダー部１１から受け取った画像データを、画像メモリ１０４に書き込む。

（４）ネットワーク通信部１０７及びプリンター制御部１０８
ネットワーク通信部１０７は、ＬＡＮなどのネットワークを介して、外部端末装置からプリントジョブを受信する。また、ネットワーク通信部１０７は、必要に応じて、外部端末装置に対して、メッセージ等を出力する。

プリンター制御部１０８は、給紙部１３からの給送動作やプリンター部１２の再現色毎の作像部の作像動作などを統一的に制御し、画像形成動作を実行させる。

（５）入力部１１２及び入出力部１１０
入力部１１２は、カメラ３２から、画像データを受け取り、受け取った画像データを記憶部１０５に、画像データ１５１として書き込む。

入出力部１１０は、表示制御部１１１と操作パネル１９との間で、データを中継する。

例えば、入出力部１１０は、表示制御部１１１から、メニュー画面、プレビュー画面、プレビュー画像、メッセージ等を受け取り、受け取ったメニュー画面、プレビュー画面、プレビュー画像、メッセージ等を操作パネル１９に対して出力する。

また、入出力部１１０は、操作パネル１９から、画像形成装置１０及び後処理装置１６における実行条件を受け取り、受け取った実行条件を表示制御部１１１に対して、出力する。

なお、記憶部１０５、表示制御部１１１、視点検出部１１３、視点入力制御部１１４及び後処理装置制御部１１５については、後述する。

１．６ 記憶部１０５
記憶部１０５は、例えば、半導体メモリから構成されている。

記憶部１０５は、図２に示すように、画像データ１５１、オブジェクトデータ１５２、パーツデータ１５３ａ、１５３ｂ、１５３ｃ、・・・、オブジェクト範囲情報１６１、パーツ情報テーブル１７１、利用者位置情報１８１、水平方向テーブル１８５、視線情報１９１、視点位置情報１９５等を記憶するための領域を備え、メニュー画面２０１ａ、２０１ｂ、２０１ｃ、・・・、メニュー遷移テーブル２１１、最初のメニュー画面ＩＤ、マークを表す画像及びマーク指定領域情報等を予め記憶している。

（最初のメニュー画面ＩＤ）
最初のメニュー画面ＩＤは、画像形成装置１０の電源がオンとされた直後に、操作パネル１９に最初に表示すべきメニュー画面を識別するメニュー画面ＩＤである。

（画像データ１５１）
画像データ１５１は、カメラ３２による撮影により、生成された多階調の画像データである。画像データには、複数の画素が行列状に配されている。画像データ１５１には、一例として、図３に示すように、被写体である利用者の画像が含まれている。

なお、画像データ１５１により表される画像には、水平方向にＸ軸、垂直方向にＹ軸が設定されている。従って、Ｘ－Ｙ座標系により、その画像内の画素の位置が示される。なお、Ｘ－Ｙ座標系は、Ｘ－Ｙ－Ｚ座標系とは、異なるので、注意が必要である。

（オブジェクトデータ１５２）
オブジェクトデータ１５２は、図５に示すように、画像データ１５１から、利用者の顔部分の画像データが、矩形状に、切り出されて生成されたものである。

オブジェクトデータ１５２は、利用者の立ち位置及び利用者の視線を検出するために用いられる。ここで、利用者の立ち位置は、画像形成システム１の周囲に立つ当該利用者の顔の中心部分の位置を、Ｘ－Ｙ－Ｚ座標系により、示す。

（オブジェクト範囲情報１６１）
オブジェクト範囲情報１６１は、図４に示すように、画像データ１５１内において、矩形状のオブジェクトデータ１５２の左下点と右上点が存在する座標を示す。

（パーツ情報テーブル１７１）
パーツ情報テーブル１７１は、図６に示すように、複数のパーツ情報１７２を記憶するための領域を備えている。

ここで、オブジェクト（顔）を構成する部分（左目、右目、口、鼻、左耳、右耳等）をパーツと呼び、画像データ内の利用者の顔部分であるオブジェクトデータから、左目、右目、口、鼻、左耳、右耳等の部分画像であるパーツデータが切り出される。ここで、パーツデータの形状は、矩形である。

一つのパーツ情報は、一つのパーツデータに対応している。各パーツ情報１７２は、パーツＩＤ１７４、パーツ範囲１７５及びパーツタイプ１７６を含んでいる。

パーツＩＤ１７４は、当該パーツデータを識別する識別子である。パーツ範囲１７５は、当該パーツデータが含まれるオブジェクトデータ内において、矩形状の当該パーツデータの左下点と右上点が存在する座標を示す。パーツタイプ１７６は、当該パーツデータの種類を示す。つまり、パーツタイプ１７６は、当該パーツデータが左目、右目、口、鼻、左耳、右耳のいずれであるかを示す。

（パーツデータ１５３ａ、１５３ｂ、・・・、１５３ｆ）
パーツデータ１５３ａ、１５３ｂ、・・・、１５３ｆは、図７（ａ）～（ｆ）に示すように、利用者の顔部分のオブジェクトデータ１５２から、その各パーツの画像データが切り出されたものである。

図７（ａ）～（ｆ）に示すパーツデータ１５３ａ、１５３ｂ、・・・、１５３ｆは、それぞれ、図６のパーツ情報テーブル１７１内のパーツＩＤ「ＰＴ０００１」、「ＰＴ０００２」、・・・、「ＰＴ０００６」に対応している。

パーツデータは、利用者の視線を検出するために用いられる。

（利用者位置情報１８１）
利用者位置情報１８１は、図８に示すように、画像形成装置１０の前に立つ利用者の顔の中心部分の位置（つまり、利用者の立ち位置）を、Ｘ－Ｙ－Ｚ座標系の座標（Ｘ、Ｙ、Ｚ）で示す。

（水平方向テーブル１８５）
水平方向テーブル１８５は、利用者の顔の水平方向の向きを算出するために用いるデータテーブルである。

水平方向テーブル１８５について、説明する前に、利用者の顔の水平方向の向きを判定するための方法について、説明する。

図１４（ａ）に、三方向に向く利用者の頭部の概略図を示す。つまり、左側を向く利用者の頭部３６３ａ、正面を向く利用者の頭部３６３ｂ、及び、右側を向く利用者の頭部３６３ｃを示している。ここで、頭部３６３ａ、頭部３６３ｂ、及び、頭部３６３ｃは、それぞれ、利用者の顔が水平方向にのみ向きを変えている場合を示している。

左側を向く頭部３６３ａにおいて、左目と右目との中間点を頭部３６３ａの上下方向に貫く直線である中央線３６４ａを設定し、頭部３６３ａの左側の輪郭を示す左側輪郭線３６６ａを設定し、頭部３６３ａの右側の輪郭を示す右側輪郭線３６５ａを設定すると、中央線３６４ａは、右側輪郭線３６５ａよりも、左側輪郭線３６６ａに近い位置に存在する。

また、正面を向く頭部３６３ｂにおいて、頭部３６３ａと同様に、中央線３６４ｂ、左側輪郭線３６６ｂ、及び、右側輪郭線３６５ｂを設定すると、中央線３６４ｂは、右側輪郭線３６５ｂと左側輪郭線３６６ｂの略中央の位置に存在する。

さらに、右側を向く頭部３６３ｃにおいて、頭部３６３ａと同様に、中央線３６４ｃ、左側輪郭線３６６ｃ、及び、右側輪郭線３６５ｃを設定すると、中央線３６４ｃは、左側輪郭線３６６ｃよりも、右側輪郭線３６５ｃに近い位置に存在する。

このように、頭部の中央線が、左側輪郭線に近い側に存在するか、又は、右側輪郭線に近い側に存在するかを判断することにより、ユーザーの顔の水平方向の向きを推定することができる。

ここで、図１４（ａ）の左側を向く頭部３６３ａにおいて、両目を結ぶ線３６９と左側輪郭線３６６ａが交差する位置を左側交差位置３６７により示し、両目を結ぶ線３６９と右側輪郭線３６５ａが交差する位置を右側交差位置３６８により示す。さらに、中央線３６４ａと左側交差位置３６７との距離を左距離と呼び、中央線３６４ａと右側交差位置３６８との距離を右距離と呼ぶ。図１４（ａ）の正面を向く頭部３６３ｂ及び右側を向く頭部３６３ｃにおいても同様である。

水平方向テーブル１８５は、図９に示すように、予め、複数の水平方向情報１８６を記憶している。一つの水平方向情報は、利用者の顔の一つの水平方向の向きに対応している。

各水平方向情報１８６は、比率１８７及び水平方向角度１８８を含む。

比率１８７は、左側交差位置と右側交差位置との間における中央線の位置を比率（％）で示す。具体的には、比率「左０」は、中央線が左側交差位置に一致することを示す。比率「左２５」は、左側交差位置と右側交差位置との間において、中央線が左側交差位置から２５％の位置に存在することを示す。比率「５０」は、中央線が、左側交差位置と右側交差位置との中央の位置に存在することを示す。比率「右２５」は、左側交差位置と右側交差位置との間において、中央線が右側交差位置から２５％の位置に存在することを示す。比率「右０」は、中央線が右側交差位置に一致することを示す。

水平方向角度１８８は、利用者の顔の水平方向の向きを角度（度）で示す。

例えば、図９に示す水平方向テーブル１８５において、比率「左０」と水平方向角度「左９０」とが対応し、一つの水平方向情報に含まれている。比率「左０」の場合、利用者の顔は、正面から、９０度だけ、左側を向いていることを示す。

また、比率「左２５」と水平方向角度「左４５」とが対応し、一つの水平方向情報に含まれている。ここで、比率「左２５」の場合、利用者の顔は、正面から、４５度だけ、左側を向いていることを示す。

さらに、比率「５０」と水平方向角度「０」とが対応し、一つの水平方向情報に含まれている。ここで、比率「５０」の場合、利用者の顔は、正面を向いていることを示す。

その他の場合についても、同様である。

（視線情報１９１）
視線情報１９１は、利用者の視線を特定するためのデータである。

視線情報１９１は、図１０に示すように、利用者位置１９２及び方向情報１９３を含む。

利用者位置１９２は、画像形成装置１０の前に立つ利用者の顔の中心部分の位置を、Ｘ－Ｙ－Ｚ座標系の座標（Ｘ、Ｙ、Ｚ）で示す。方向情報１９３は、利用者の視線の向く方向を、利用者位置１９２からのベクトル（Ｘ、Ｙ、Ｚ）により、示す。

（視点位置情報１９５）
視点位置情報１９５は、図１１に示すように、操作パネル１９の表示面２０上における、利用者の視点の位置を、操作パネル１９の表示面２０上のＸ’－Ｙ’座標系の座標（Ｘ’、Ｙ’）で示す。

操作パネル１９の表示面２０は、画像形成装置１０の主走査方向であるＹ軸に対して、角度θだけ傾いているので、画像形成システム１が存在する位置を示すＸ－Ｙ－Ｚ座標系とは異なるＸ’－Ｙ’座標系を用いる。

（メニュー遷移テーブル２１１）
メニュー遷移テーブル２１１は、操作パネル１９に表示されるメニュー画面の遷移を示すためのデータテーブルである。

メニュー遷移テーブル２１１は、図１２に示すように、複数のメニュー遷移情報を、予め、記憶している。各メニュー遷移情報は、一つのメニュー画面に対応している。

各メニュー遷移情報は、一つのメニュー画像ＩＤ及び一つ又は複数の選択肢情報を含む。

メニュー画面ＩＤは、メニュー画像を一意に識別するための識別子である。

一つの選択肢情報は、対応する一つのメニュー画面に表示される一つの選択肢に対応している。

従って、一つのメニュー遷移情報内に複数の選択肢情報が含まれる場合には、メニュー画面には、選択肢情報と同じ数の選択肢が表示され、一つのメニュー遷移情報内の複数の選択肢情報は、それぞれ、一つのメニュー画面に含まれる複数の選択肢に対応している。

選択肢情報は、選択肢ＩＤ、遷移先ＩＤ及び機能を含む場合と、遷移先ＩＤを含まず、選択肢ＩＤ及び機能を含む場合とがある。

選択肢ＩＤは、対応する選択肢を一意に識別する識別子である。

遷移先ＩＤは、選択肢ＩＤにより識別子される選択肢が利用者により選択された場合、次に、表示すべきメニュー画面を示すメニュー画面ＩＤである。

遷移先ＩＤが存在しない場合には、次に、表示すべきメニュー画面は、存在しない。

機能は、選択肢ＩＤにより識別される選択肢が利用者により選択された場合、実行されるべき機能を示す。「遷移」は、次の表示すべきメニュー画面への遷移を示す。また、「パラメーター設定」は、実行条件等のパラメーターの設定を利用者から受け付けることを示す。さらに、「位置選択」は、視線を用いた入力により、位置の選択を利用者から受け付けることを示す。

（マークを表す画像）
プレビュー画面上において、画像データにより表される画像上で付加画像を上書きする位置、シートの綴じ代量を示す位置、ステープルの位置、パンチ穴を穿孔する位置等を、選択するとき、これらの位置を表すために、プレビュー画面に表示する位置識別画像をマークと呼ぶ。

これらの複数の種類のマークを識別するため、種類毎に、マークを表す画像が設定されている。

付加画像が日付、時刻又はページ番号である場合、それぞれ、マークを表す画像は、「日付」、「時刻」又は「ページ番号」（図１７のマーク４４３）が表記された画像である。

また、付加画像がスタンプである場合、マークを表す画像は、例えば、「秘密」、「社外秘」、「複製禁止」、まる秘の記号（図１８のマーク４７２）、「極秘」、「ドラフト」、「Confidential」等が表記された画像である。

また、付加画像がウォーターマークである場合、マークを表す画像は、付加画像がスタンプである場合と同様に、例えば、「秘密」、「社外秘」、「複製禁止」、まる秘の記号、「極秘」、「ドラフト」、「Confidential」等が表記された画像である。

ここで、ウォーターマークは、画像の内容を完全に隠さないように、画像の上に、可視的に付加画像を上書きするものであり、例えば、付加画像がスタンプである場合のマークを表す画像と比較して、淡い色で彩色され、又は、低い密度のドットで構成される。

また、シートの綴じ代量については、マークを表す画像は、破線（図２１のマーク５７４）、一点鎖線、二点鎖線等の線画である。

また、ステープルについては、マークを表す画像は、ステープルの形状を模した、短尺の太線等の線画（図１９のマーク５１３、５２２、５２３）である。

また、パンチ穴については、マークを表す画像は、パンチ穴の形状を模した、２個の小円からなる画像（図２０のマーク５４３、５４４、５５３、５５４）である。

（マーク指定領域情報）
マーク指定領域情報は、マークの種類毎、及び、そのマークが表示される位置毎に、プレビュー画面上におけるマーク指定領域を示す。マーク指定領域内に利用者の視点が存在するときに、そのマーク指定領域内の所定の位置にマークが表示される。なお、マーク指定領域について、後述する。

１．７ 視点検出部１１３及び視点入力制御部１１４
視点検出部１１３（視点検出手段）及び視点入力制御部１１４（図２に示す）は、ＣＰＵ、ＲＯＭ、ＲＡＭ等（図示していない）から構成される。ＲＯＭ又はＲＡＭには、制御用のコンピュータープログラムが記憶されている。また、ＲＡＭは、視点検出部１１３及び視点入力制御部１１４において必要な制御変数などを一時記憶すると共に、ＣＰＵによるプログラム実行時のワークエリアを提供する。

視点検出部１１３は、機能的に、図２に示すように、顔認識処理部１１３ａ、位置算出部１１３ｂ及び視線視点算出部１１３ｃから構成され、表示面２０上における利用者の視点を検出する。

ＲＯＭ又はＲＡＭに記憶されている制御用のコンピュータープログラムに従って、ＣＰＵが動作することにより、顔認識処理部１１３ａ、位置算出部１１３ｂ、視線視点算出部１１３ｃ及び視点入力制御部１１４は、これらの機能を果たす。

（１）顔認識処理部１１３ａ
顔認識処理部１１３ａは、記憶部１０５から、画像データ１５１（図２、図３）を読み出す。次に、顔認識処理部１１３ａは、読み出した画像データ１５１において、目、鼻、口、耳をそれぞれ表す画像部分のセットを認識する。次に、顔認識処理部１１３ａは、認識結果を用いて、読み出した画像データ１５１において、利用者の顔部分に相当するオブジェクトデータの範囲を特定し、特定したオブジェクトデータを、画像データ１５１から切り出す。

また、顔認識処理部１１３ａは、読み出した画像データ１５１から、目、鼻、口、耳をそれぞれ表す画像部分を、パーツデータとして、切り出す。顔認識処理部１１３ａは、上記において、目、鼻、口、耳をそれぞれ表す画像部分のセットを認識した際に、パーツデータ毎に、その画像部分が目、鼻、口、耳のいずれであるかを示すパーツタイプを生成する。

顔認識処理部１１３ａは、切り出したオブジェクトデータを、オブジェクトデータ１５２（図２、図５）として、記憶部１０５に書き込む。また、切り出した複数のパーツデータを、パーツデータ１５３ａ、１５３ｂ、１５３ｃ、・・・（図２、図７）として、記憶部１０５に書き込む。

また、顔認識処理部１１３ａは、読み出した画像データ１５１により表される画像内において、切り出したオブジェクトデータ１５２により表される画像が存在する範囲を示すオブジェクト範囲情報を生成する。ここで、オブジェクト範囲情報は、読み出した画像データにより表される画像上のＸ－Ｙ座標系により、その位置が示される。次に、顔認識処理部１１３ａは、生成したオブジェクト範囲情報を、オブジェクト範囲情報１６１（図４）として、記憶部１０５に書き込む。

また、顔認識処理部１１３ａは、読み出した画像データ１５１から切り出したパーツデータ毎に、パーツデータを識別するパーツＩＤを生成する。また、顔認識処理部１１３ａは、パーツデータ毎に、読み出した画像データ１５１により表される画像内において、切り出したパーツデータにより表される画像が存在する範囲を示すパーツ範囲を生成する。ここで、パーツ範囲は、オブジェクト範囲情報と同様に、読み出した画像データ１５１により表される画像上のＸ－Ｙ座標系により、その位置が示される。

次に、顔認識処理部１１３ａは、パーツデータ毎に、パーツＩＤ、パーツ範囲及びパーツタイプからなるパーツ情報を、パーツ情報テーブル１７１に書き込む（図２、図６）。

また、顔認識処理部１１３ａは、視線視点算出部１１３ｃから、左目のパーツＩＤ及び右目のパーツＩＤを受け取る。左目のパーツＩＤ及び右目のパーツＩＤを受け取ると、顔認識処理部１１３ａは、受け取った左目のパーツＩＤ及び右目のパーツＩＤにより識別されるパーツデータを記憶部１０５から読み出す。次に、顔認識処理部１１３ａは、読み出した左目及び右目のパーツデータを用いて、それぞれの目の画像における瞳の位置を検出する。次に、顔認識処理部１１３ａは、左目と右目の瞳の位置を、視線視点算出部１１３ｃに対して、出力する。

（２）位置算出部１１３ｂ
位置算出部１１３ｂは、以下に示すようにして、利用者の立ち位置を推定的に算出する。

（Ｘ－Ｙ－Ｚ座標系における利用者の立ち位置のＺ軸方向の位置Ｕｚの推定）
位置算出部１１３ｂは、記憶部１０５からオブジェクト範囲情報１６１を読み出し、読み出したオブジェクト範囲情報１６１のＸ軸方向の中央の位置Ｐｏを算出する。また、画像データ１５１で表される画像のうち、Ｘ軸方向の中央の位置Ｐｄを算出する。ここで、上述した通り、カメラ３２は、操作パネル１９の天面２１の一端の位置に設置され、その撮影方向は、固定され、カメラ３２の水平画角及び垂直画角は、それぞれ、固定であるので、画像データで表される画像の大きさは、固定であり、画像データで表される画像のＸ軸方向の幅は、既知である。

図１３（ｂ）に示すように、位置Ｐｄと位置Ｐｏとが一致する場合（つまり、オブジェクト１５２ｂが画像データ１５１により表された画像の中央に存在する場合）、利用者９０ｂは、カメラ３２の正面に立っていると分かる。また、図１３（ａ）に示すように、位置Ｐｏ＜位置Ｐｄである場合（つまり、オブジェクト１５２ａが画像データ１５１により表された画像の中央から左よりに存在する場合）、利用者９０ａは、カメラ３２から見て、左よりに立っていると分かる。さらに、図１３（ｃ）に示すように、位置Ｐｄ＜位置Ｐｏである場合（つまり、オブジェクト１５２ｃが画像データ１５１により表された画像の中央から右よりに存在する場合）、利用者９０ｃは、カメラ３２から見て、右よりに立っていると分かる。

位置Ｐｄと位置Ｐｏとの間には、上記のような関係が存在するので、位置算出部１１３ｂは、次の式により、利用者の立ち位置のうち、Ｘ－Ｙ－Ｚ座標系のＺ軸方向の位置Ｕｚを推定的に算出する。

Ｕｚ＝Ａ＋（Ｐｏ － Ｏｄ）×Ｂ
ここで、Ａ及びＢは、画像データで表される画像の大きさ、カメラ３２と画像形成装置１０の本体部との間の位置関係等により定まる係数である。

（Ｘ－Ｙ－Ｚ座標系における利用者の立ち位置のＹ軸方向の位置Ｕｙの推定）
また、位置算出部１１３ｂは、読み出したオブジェクト範囲情報１６１のＸ軸方向の幅Ｗｏを算出する。また、画像データ１５１で表される画像のうち、Ｘ軸方向の幅Ｗｄを取得する。

次に、位置算出部１１３ｂは、幅Ｗｄに対する幅Ｗｏの比率ｒを算出する。

比率ｒ＝幅Ｗｏ／幅Ｗｄ
図１３（ｅ）に示すように、比率ｒと閾値とが一致する場合（つまり、オブジェクトのＸ軸方向の幅が所定の長さである場合）、利用者９０ｅは、カメラ３２から所定の距離の位置に立っているとする。

ここで、図１３（ｄ）に示すように、比率ｒ＜閾値である場合（つまり、オブジェクトのＸ軸方向の幅が所定の長さより短い場合）、利用者９０ｄは、図１３（ｅ）に示す位置と比較して、カメラ３２から離れた側に立っていると分かる。

さらに、図１３（ｆ）に示すように、比率ｒ＞閾値である場合（つまり、オブジェクトのＸ軸方向の幅が所定の長さより長い場合）、利用者９０ｄは、図１３（ｅ）に示す位置と比較して、カメラ３２に近い側に立っていると分かる。

上記のような関係を用いて、位置算出部１１３ｂは、次の式により、利用者の立ち位置のうち、Ｘ－Ｙ－Ｚ座標系のＹ軸方向の位置Ｕｙを推定的に算出する。

Ｕｙ＝Ｃ＋比率ｒ／閾値×Ｄ
ここで、Ｃ及びＤは、画像データで表される画像の大きさ、カメラ３２と画像形成装置１０の本体部との間の位置関係等により定まる係数である。

（Ｘ－Ｙ－Ｚ座標系のＸ軸方向の位置Ｕｘの推定）
位置算出部１１３ｂは、読み出したオブジェクト範囲情報１６１の中央の位置のＹ座標Ｃｏを算出する。

オブジェクト範囲情報１６１の中央の位置のＹ座標Ｃｏは、利用者の背の高さを反映しており、利用者の立ち位置のうち、Ｘ－Ｙ－Ｚ座標系のＸ軸方向の位置Ｕｘに関係している。

上記の関係を用いると、位置算出部１１３ｂは、次の式により、利用者の立ち位置のうち、Ｘ－Ｙ－Ｚ座標系のＸ軸方向の位置Ｕｘを推定的に算出する。

Ｕｘ＝Ｅ＋Ｃｏ×Ｆ
ここで、Ｅ及びＦは、画像データで表される画像の大きさ、カメラ３２と画像形成装置１０の本体部との間の位置関係等により定まる係数である。

（利用者位置情報の書込み）
位置算出部１１３ｂは、算出した利用者の立ち位置を示す利用者位置情報（Ｕｘ、Ｕｙ、Ｕｚ）を、利用者位置情報１８１として、記憶部１０５に書き込む。

（３）視線視点算出部１１３ｃ
視線視点算出部１１３ｃは、以下に示すようにして、利用者の視線の方向が変わる都度、利用者の顔の水平方向の向き、利用者の顔の鉛直方向からの傾き及び利用者の瞳の向きを算出し、利用者の視線が向く方向を算出し、操作パネル１９の表示面２０上の視点の位置を算出する。

（利用者の顔の水平方向の向きの算出）
視線視点算出部１１３ｃは、次のようにして、利用者の顔の水平方向の向きを算出する。

上述したように、図１４（ａ）には、三方向に向いた利用者の頭部の概略図を示す。

左側を向く頭部３６３ａにおいて、上述したように、中央線３６４ａは、右側輪郭線３６５ａよりも、左側輪郭線３６６ａに近い位置に存在する。また、正面を向く頭部３６３ｂにおいて、上述したように、中央線３６４ｂは、右側輪郭線３６５ｂと左側輪郭線３６６ｂの略中央の位置に存在する。さらに、右側を向く頭部３６３ｃにおいて、上述したように、中央線３６４ｃは、左側輪郭線３６６ｃよりも、右側輪郭線３６５ｃに近い位置に存在する。

このように、視線視点算出部１１３ｃは、頭部の中央線が、左側輪郭線に近い側に存在するか、又は、右側輪郭線に近い側に存在するかを判断することにより、具体的には、水平方向テーブル１８５を用いて、利用者の顔の水平方向の向きを推定することができる。

その結果、図１４（ｂ）に示すように、ユーザーの頭部３６１ａ、３６１ｂ、３６１ｃが向いている水平方向の向き３６２ａ、３６２ｂ、３６２ｃを推定することができる。

視線視点算出部１１３ｃは、記憶部１０５から、オブジェクトデータ１５２を読み出す。また、視線視点算出部１１３ｃは、パーツ情報テーブル１７１から、左目のパーツ情報内のパーツＩＤ及びパーツ範囲、並びに、右目のパーツ情報内のパーツＩＤ及びパーツ範囲を読み出し、読み出した左目のパーツＩＤ及び右目のパーツＩＤによりそれぞれ識別されるパーツデータを記憶部１０５から読み出す。

次に、視線視点算出部１１３ｃは、左目のパーツデータ及びパーツ範囲、右目のパーツデータ及びパーツ範囲、並びに、オブジェクトデータ１５２を用いて、中央線を算出する。また、視線視点算出部１１３ｃは、オブジェクトデータ１５２を用いて、左側輪郭線及び右側輪郭線を算出する。次に、視線視点算出部１１３ｃは、オブジェクトデータを用いて、中央線と左側輪郭線の左距離と、中央線と右側輪郭線との右距離との比率を算出する。例えば、中央線が、左側輪郭線と右側輪郭線との中央に存在する場合には、比率は、５０％である。中央線が、左側輪郭線と一致する場合には、比率は、左０％である。中央線が、右側輪郭線と一致する場合には、比率は、右０％である。中央線と左側輪郭線の左距離と、中央線と右側輪郭線との右距離との比率が１：３である場合、比率は、左２５％である。中央線と左側輪郭線の左距離と、中央線と右側輪郭線との右距離との比率が３：１である場合、比率は、右２５％である。

次に、視線視点算出部１１３ｃは、水平方向テーブル１８５から、算出した比率に対応する水平方向角度を抽出する。算出した比率に対応する水平方向角度が水平方向テーブル１８５に存在しない場合には、直線補間法を用いる。

このようにして、利用者の顔が向いている水平方向の向きを算出する。

（利用者の顔の鉛直方向からの傾きの算出）
視線視点算出部１１３ｃは、次のようにして、利用者の顔（頭部）の鉛直方向からの傾きを算出する。

図１４（ｃ）には、鉛直方向に対して傾きのない利用者の顔３７５ａ、鉛直方向に対してやや傾いた利用者の顔３７５ｂ、及び、鉛直方向に対してさらに傾いた利用者の顔３７５ｃを示す。

鉛直方向に対して傾きのない利用者の顔３７５ａでは、中央線３７４ａは、ほぼ鉛直方向を維持している。また、鉛直方向に対してやや傾いた利用者の顔３７５ｂでは、中央線３７４ｂは、鉛直方向からやや傾いている。また、鉛直方向に対してさらに傾いた利用者の顔３７５ｃでは、中央線３７４ｃは、鉛直方向からさらに傾いている。

従って、利用者の頭部の中央線を用いれば、利用者の顔の鉛直方向からの傾きを知ることができる。つまり、図１４（ｄ）に示すように、利用者の顔３７１ｂの中央線３７２ｂの鉛直方向からの傾きから、視線方向３７３ｂを知ることができる。

利用者の顔の水平方向の向きを算出する場合と同様に、視線視点算出部１１３ｃは、左目のパーツデータ及びパーツ範囲、右目のパーツデータ及びパーツ範囲、並びに、オブジェクトデータ１５２を用いて、中央線を算出する。

次に、視線視点算出部１１３ｃは、算出した中央線の鉛直方向の傾きを算出し、これを利用者の顔の鉛直方向からの傾きとする。

（利用者の瞳の向きの算出）
視線視点算出部１１３ｃは、次のようにして、利用者の瞳の向きを算出する。

視線視点算出部１１３ｃは、記憶部１０５に記憶されているパーツ情報テーブル１７１から、左目のパーツ情報内のパーツＩＤ、及び、右目のパーツ情報内のパーツＩＤを読み出し、読み出した左目のパーツＩＤ及び右目のパーツＩＤを、それぞれ、顔認識処理部１１３ａに対して、出力して、顔認識処理部１１３ａに利用者の目を表すパーツデータ内の瞳の位置を検出させる。

次に、視線視点算出部１１３ｃは、顔認識処理部１１３ａから、両方の目の瞳の位置を受け取る。

図１４（ｅ）に示すように、受け取った両方の瞳３５１ａ、３５２ａの位置が、それぞれの目のパーツデータ３５５ａ、３５６ａの中央に存在することを示す場合、視線視点算出部１１３ｃは、両方の瞳が顔の正面側を向いているので、利用者３５３ａの視線３５４ａも正面を向いていると判断する。

また、図１４（ｆ）に示すように、受け取った両方の瞳３５１ｂ、３５２ｂの位置が、それぞれの目のパーツデータ３５５ｂ、３５６ｂの左側に存在することを示す場合、視線視点算出部１１３ｃは、両方の瞳が顔の左側を向いているので、利用者３５３ｂの視線３５４ｂも左側を向いていると判断する。

さらに、図１４（ｇ）に示すように、受け取った両方の瞳３５１ｃ、３５２ｃの位置が、それぞれの目のパーツデータ３５５ｃ、３５６ｃの右側に存在することを示す場合、視線視点算出部１１３ｃは、両方の瞳が顔の右側を向いているので、利用者３５３ｃの視線３５４ｃも左側を向いていると判断する。

視線視点算出部１１３ｃは、以上のようにして、利用者の瞳の向きを算出する。

（視線情報の生成）
視線視点算出部１１３ｃは、算出した利用者の顔の水平方向の向き、利用者の顔の鉛直方向からの傾き及び利用者の瞳の向きを合成して、利用者の視線が向く方向情報（Ｘ、Ｙ、Ｚ）を算出する。

次に、視線視点算出部１１３ｃは、利用者位置情報１８１及び利用者の視線が向く方向情報を、利用者位置１９２及び方向情報１９３からなる視線情報１９１として、記憶部１０５に書き込む。

（視点情報の生成）
視線視点算出部１１３ｃは、記憶部１０５から、視線情報１９１を読み出す。視線視点算出部１１３ｃは、読み出した視線情報に含まれる利用者位置を起点として、読み出した視線情報に含まれる方向情報が示す方向に、直線を延長し、延長した直線が操作パネル１９の表示面２０と交差する点を、利用者の視点の位置を示す視点位置情報として算出する。ここで、視点位置は、操作パネル１９の表示面２０上のＸ’－Ｙ’座標系により表される座標値（Ｘ’、Ｙ’）により示される。視線視点算出部１１３ｃは、算出した視点位置情報を、視点位置情報１９５として、記憶部１０５に書き込む。

視線視点算出部１１３ｃは、利用者の視線の方向が変わり、操作パネル１９の表示面２０上の視点位置が変わる都度、算出した視点位置情報を、視点位置情報１９５として、記憶部１０５に書き込む。

（４）視点入力制御部１１４
（視点の変動）
利用者が意図して、操作パネル１９の表示面２０上の一点を見つめている場合であっても、図１５（ａ）に示すように、利用者の視点は、一点に固定されず、利用者が見つめようとする先を中心として、一定の範囲内において、不規則に変動する、と考えられる。

（視線が視点範囲内に入っているかの判定）
視点入力制御部１１４は、視点が表示面２０内のある範囲内に入った時点から時間のカウントを開始して、例えば、１秒間のうち、８０％以上の時間、視点がその範囲内に入っていれば（検出条件１と呼ぶ）、視点は、その範囲に入っているとみなす。検出条件１を満たさない場合、視点は、その範囲外であるとみなす。

視点入力制御部１１４は、検出条件１を満たす範囲の中心点を算出し、算出した中心点を表示制御部１１１に対して、出力して、中心点を中心として、所定の半径を有する円形（又は、長円形）からなる視点領域を表示するように、指示する。視点領域を表示することにより、視点の位置を強調して表示している。これにより、視点による入力が有効である旨を利用者に通知している。利用者は、自身の視点の位置を容易に知ることができ、視線による入力が有効であって、視線入力モードであると知ることもできる。

図１５（ｂ）においては、時間の経過に伴って視点が変化する様子が容易に理解できるように、表示面２０上の二次元の範囲を、縦軸の一次元で表現し、横軸に時間の経過を示している。曲線７６０は、時間の経過に伴う視点の変化を示している。

曲線７６０は、時刻７７１において、初めて、範囲７６２の内側に入る。時刻７７１から時間の経過を計測する。続いて、曲線７６０は、時刻７７２において、範囲７６２の外に出ている。その後、曲線７６０は、時刻７７３において、再び、範囲７６２の内側に入る。このように、曲線７６０は、時刻７７２と時刻７７３との間において、範囲７６３に入り、範囲７６３の外側に出ている。続いて、曲線７６０は、時刻７７３と、時刻７７４との間において、おおむね、範囲７６２内に入っている。時刻７７１から時刻７７４までの時間７６１が１秒間であるとすると、曲線７６０は、時間７６１のうち、８０％以上、範囲７６２内に入っている。

従って、この場合、利用者の視線は、範囲７６２に入っているとみなす。

（仮確定の判定）
視点入力制御部１１４は、視点がある範囲内に入った状態（検出条件１）が、例えば、３秒間、継続していれば（検出条件２と呼ぶ）、仮確定と判定する。ここで、仮確定とは、視線入力により、視点の位置が仮に確定した状態を示す。つまり、視点入力制御部１１４は、視点がある範囲内に入った時点から時間のカウントを開始して、３秒間のうち、８０％以上の時間、視点がその範囲内に入っていれば、仮確定と判定する。仮確定と判定した後、視点がその範囲から外に出た場合であっても、その範囲について、仮確定の状態は継続する。

視点入力制御部１１４は、仮確定と判定した場合、その視点の位置を表示制御部１１１に対して、通知する。

仮確定は、以下に示すように、解除することができる。また、仮確定に対して、確定とは、後述するように、位置確定ボタンが操作された状態である。

（仮確定の解除）
視点入力制御部１１４は、仮確定と判定された状態で、つまり、視点がある範囲内に入った状態が、例えば、３秒間、継続している状態で、続いて、例えば、０．５秒以内に、３回、利用者のまばたきを検出する（検出条件３と呼ぶ）と、仮確定が解除されたものとみなす。

（マークの種類とマーク指定領域）
視点入力制御部１１４は、記憶部１０５から、マークの種類毎に、プレビュー画面上におけるマーク指定領域を示すマーク指定領域情報を読み出す。

マーク指定領域は、図１５（ｃ）～（ｆ）に示すように、マークの種類及びマークの位置毎に、プレビュー画面上において、その領域が設定されている。

マークがページ番号の場合、図１５（ｃ）に示すように、プレビュー画面７１１の上辺側の、左上のマーク指定領域７１２、中央のマーク指定領域７１３、右上のマーク指定領域７１４、及び、プレビュー画面７１１の下辺側の、左下のマーク指定領域７１５、中央のマーク指定領域７１６、右下のマーク指定領域７１７が定められている。

また、マーク指定領域７１２、７１３、・・・、７１７内のそれぞれにおいて、マークが表示されるべき所定位置が定められている。例えば、マーク指定領域７１２、７１３、・・・、７１７内の中央の位置が所定位置として定められている。このため、視点がマーク指定領域７１２、７１３、・・・、７１７の何れかの内部に入ると、それぞれのマーク指定領域の所定位置にマークが表示される。日付、時刻についても、同様である。

また、マーク指定領域７１２、７１３、・・・、７１７の何れかの領域内の所定位置に相当する画像（例えば、スキャンジョブ、コピージョブ又はプリントジョブにより得られる画像）上の位置において、ページ番号が上書きされる。日付、時刻についても、同様である。

マークがステープルの場合、図１５（ｄ）に示すように、プレビュー画面７２１の左上のマーク指定領域７２２及び左側辺の中央のマーク指定領域７２３が定められている。

また、マーク指定領域７２２及び７２３内のそれぞれにおいて、マークが表示されるべき所定位置が定められている。例えば、マーク指定領域７２２内の左上の位置が所定位置として定められている。また、マーク指定領域７２３内の左側辺に沿って、間隔を開けて離れた２箇所の位置が所定位置として定められている。視点がマーク指定領域７２２及び７２３の何れかの内部に入ると、それぞれのマーク指定領域の所定位置にマークが表示される。つまり、マーク指定領域７２２においては、一箇所でマークが表示され（図１９のマーク５１３を参照）、マーク指定領域７２３においては、二箇所でマークが表示される（図１９のマーク５２２、５２３を参照）。

また、マーク指定領域７２２内の所定位置に相当するシート上の位置において、一箇所でステープル綴じがされる。また、マーク指定領域７２３の内の二箇所の所定位置に相当するシート上の二箇所の位置において、それぞれステープル綴じがされる。

マークがパンチ穴の場合、図１５（ｅ）に示すように、プレビュー画面７３１の上辺の中央のマーク指定領域７３２及び左側辺の中央のマーク指定領域７３３が定められている。

また、マーク指定領域７３２及び７３３内のそれぞれにおいて、マークが表示されるべき所定位置が定められている。例えば、マーク指定領域７３２内の上側辺に沿って、間隔を開けて離れた２箇所の位置が所定位置として定められている。また、マーク指定領域７３３内の左側辺に沿って、間隔を開けて離れた２箇所の位置が所定位置として定められている。視点がマーク指定領域７３２及び７３３の何れかの内部に入ると、それぞれのマーク指定領域の所定位置にマークが表示される。つまり、マーク指定領域７３２においては、二箇所でマークが表示され（図２０のマーク５４３、５４４を参照）、マーク指定領域７３３においても、二箇所でマークが表示される（図２０のマーク５５３、５５４を参照）。

また、マーク指定領域７３２内の二箇所の所定位置に相当するシート上の位置において、二箇所でパンチ穴が穿孔される。また、マーク指定領域７３３の内の二箇所の所定位置に相当するシート上の位置において、二箇所でパンチ穴が穿孔される。

マークが綴じ代量の場合、図１５（ｆ）に示すように、プレビュー画面７４１の左辺のマーク指定領域７４２が定められている。

また、マーク指定領域７４１においては、マークが表示されるべき所定位置として、視点の位置が定められている。このため、視点がマーク指定領域７４１の内部に入ると、マーク指定領域の視点の位置にマークが表示される。

なお、マーク指定領域７４２には、限定されない。プレビュー画面７４１の右辺、上辺、下辺にマーク指定領域を定めてもよい。

マーク指定領域７４２内において、綴じ代量が設定される。

なお、マークが、スタンプ又はウォーターマークである場合、これらのマークについては、プレビュー画面上の所定の位置にマーク指定領域は存在せず、図１５（ｇ）に示すように、プレビュー画面７５１において、視点の位置を中心として、所定の大きさの円形の視点領域７５２が表示される。

視点入力制御部１１４は、マークがスタンプ及びウォーターマーク以外の場合、マークの種類毎に定めた１個又は複数個のマーク指定領域のいずれかの中に利用者の視点が入る（検出条件１を満たす）か否かを判断する。視点入力制御部１１４は、１個又は複数個のマーク指定領域のいずれかの中に利用者の視点が入る（検出条件１を満たす）と、このマーク指定領域に対応する所定位置に、当該種類のマークを表示するように、表示制御部１１１に対して、マークの種類及びその所定位置を出力する。

視点入力制御部１１４は、マークの種類毎に定めた１個又は複数個のマーク指定領域のいずれかの中に利用者の視点が入り（検出条件１を満たす）、かつ、仮確定と判定されると（検出条件２を満たす）と、このマーク指定領域に対応する位置と、仮確定を示す仮確定情報を表示制御部１１１に対して出力する。

視点入力制御部１１４は、仮確定が解除された場合、その位置と仮確定が解除されたことを示す解除情報を表示制御部１１１に対して出力する。

１．８ 表示制御部１１１
（画面の遷移の制御）
表示制御部１１１は、以下に示すように、記憶部１０５に記憶されているメニュー遷移テーブル２１１に従って、操作パネル１９の表示面２０に表示されるべき画面の遷移を制御する。

画像形成装置１０の電源がオンとされたときには、表示制御部１１１は、記憶部１０５から最初のメニュー画面ＩＤを読み出す。最初のメニュー画面ＩＤにより識別されるメニュー画面が表示された後においては、表示制御部１１１は、メニュー遷移テーブル２１１から、次に、表示すべきメニュー画面を識別する遷移先ＩＤ（メニュー画面ＩＤ）を読み出す。

表示制御部１１１は、読み出したメニュー画面ＩＤにより識別されるメニュー画面を記憶部１０５から読み出し、読み出したメニュー画面を、入出力部１１０を介して、操作パネル１９に対して出力して、読み出したメニュー画面を操作パネル１９に表示させる。

表示制御部１１１は、メニュー遷移テーブル２１１から、読み出したメニュー画面ＩＤを含むメニュー遷移情報を読み出す。

表示中のメニュー画面に対する利用者の操作がなされたとき、表示制御部１１１は、読み出したメニュー遷移情報に含まれる選択肢情報内の機能の内容を判断する。具体的には、表示制御部１１１は、機能の内容が、実行条件の設定に係る「パラメーター設定」であるか、次の画面への「遷移」であるか、画像上における一の位置を選択する指示である「位置選択」であるか、を判断する。次に、表示制御部１１１は、選択肢情報内の機能に従って、動作する。

選択肢情報内の機能が「遷移」であれば、表示制御部１１１は、対応する遷移先ＩＤ（メニュー画面ＩＤ）を抽出し、抽出した遷移先ＩＤに対応するメニュー画面ＩＤを含むメニュー遷移情報を、メニュー遷移テーブル２１５から読み出す。また、表示制御部１１１は、遷移先ＩＤに対応するメニュー画面を記憶部１０５から読み出し、読み出したメニュー画面を、入出力部１１０を介して、操作パネル１９に対して出力して、読み出したメニュー画面を操作パネル１９に表示させる。

例えば、表示制御部１１１は、図１６に示すように、メニュー画面４０１、４１１、４２１を操作パネル１９の表示面２０に表示させる。これらのメニュー画面については、後述する。

選択肢情報内の機能が「位置選択」であれば、表示制御部１１１は、位置選択を行うための画面（例えば、プレビュー画面）を生成し、生成した画面を、入出力部１１０を介して、操作パネル１９に対して出力して、生成した画面を操作パネル１９の表示面２０に表示させる。

例えば、表示制御部１１１は、図１７、図１８、図１９、図２０、図２１に、それぞれ、示すように、プレビュー画面４３１、４７４、５０１、５３１、５６１を操作パネル１９に表示させる。これらのプレビュー画面については、後述する。

また、選択肢情報内の機能が「位置選択」であれば、表示制御部１１１は、視点検出部１１３による視点の検出（視線入力）を有効にする。つまり、表示制御部１１１は、通常の入力モードから、視線入力モードに変更するため、視点検出部１１３に対して、視点を取得するように、つまり、プレビュー画像上における位置として、視点検出部１１３により検出された視点の位置を選択するように、制御する。

また、視線入力モード中に、操作パネル１９から、入出力部１１０を介して、表示面２０に対する接触入力を受け取った場合、表示制御部１１１は、視線入力モードを無効にするため、視点検出部１１３に対して、視点の検出を無効にして、視点の取得及び視点の出力を停止するように、制御する。

選択肢情報内の機能が「パラメーター設定」であれば、表示制御部１１１は、操作パネル１９から、利用者により設定された実行条件を受け付け、受け付けた実行条件を記憶部１０５に書き込む。

例えば、表示制御部１１１は、図１６のメニュー画面４２１に示すように、スタンプの内容を示す選択肢のうちの一つが選択されると、選択された選択肢に対応するスタンプの内容を（又は、その内容を識別する識別子）を、スタンプの内容を示す実行条件として、記憶部１０５に書き込む。

このとき、その選択肢が選択されたことを利用者が明確に知ることができるように、必要に応じて、受け付けた設定項目を反転表示した画面を生成し、生成した画面を入出力部１１０を介して、操作パネル１９に対して出力して、画面を操作パネル１９に表示させてもよい。

（プレビュー画像の生成の制御）
上記の通り、選択肢情報内の機能が「位置選択」であり、位置選択を行うためのプレビュー画面を生成する場合、以下に示すようにして、表示制御部１１１は、プレビュー画像を生成する。

プリントジョブの場合、表示制御部１１１は、外部の端末装置から受信したプリントジョブに含まれるデータを用いて、プレビュー画像を生成するように、画像処理部１０６に対して、指示する。画像処理部１０６からプレビュー画像を受け取ると、受け取ったプレビュー画像を、入出力部１１０を介して、操作パネル１９に対して出力して、表示させる。

スキャンジョブ又はプリントジョブの場合、表示制御部１１１は、スキャナー制御部１０９に対して、イメージリーダー部１１により、プレビュー画像用の低解像度で、原稿面を読み取って、原稿画像を縮小して生成したプレビュー画像を生成するように指示する。スキャナー制御部１０９からプレビュー画像を受け取ると、受け取ったプレビュー画像を、入出力部１１０を介して、操作パネル１９に対して出力して、表示させる。

視点入力制御部１１４から、仮確定の通知を受けた場合、つまり、視点が仮確定している場合、表示制御部１１１は、操作パネル１９に位置確定ボタンを出力して、表示させる（図１７のボタン４５５、図１８のボタン４８４、図１９のボタン５２５、図２０のボタン５５６、図２１のボタン５８５等を参照）。

（仮確定の場合の処理）
視点入力制御部１１４から、仮確定の通知を受けた場合、表示制御部１１１は、さらに、その視点のプレビュー画像上の位置も受け取る。表示制御部１１１は、付加画像の場合、日付、時刻、ページ番号、スタンプ又はウォーターマークについて、受け取った視点の位置及びその付加画像を、内部に記憶する。また、表示制御部１１１は、綴じ代量の場合、受け取った視点の位置を、内部に記憶する。さらに、ステープル又はパンチ穴の場合、それらの区別と、ステープルの位置又はパンチ穴の位置として、受け取った視点の位置を、内部に記憶する。

（位置の確定）
表示制御部１１１は、変換手段を備える。

表示制御部１１１は、操作パネル１９から、入出力部１１０を介して、位置確定ボタンに対する利用者による接触の検知の通知を受け取る。この検知を受け取ると、表示制御部１１１は、プレビュー画面上において、仮確定していた位置が確定したと判断する。表示制御部１１１の変換手段は、仮確定の際に、内部に記憶していたプレビュー画像上の位置を、イメージリーダー部１１により、原稿面を読み取って生成した画像データ、又は、ネットワーク通信部１０７により受信したプリントジョブに含まれるデータにより表される画像上の位置に変換する。表示制御部１１１の変換手段は、変換して生成した新たな位置を内部に記憶する。

なお、ステープルの位置又はパンチ穴の位置の場合、表示制御部１１１の変換手段は、仮確定の際に、内部に記憶していたプレビュー画像上の位置を、シート上の位置に変換する。表示制御部１１１の変換手段は、変換して生成した新たな位置を内部に記憶する。

（付加画像の上書きの制御）
付加画像の場合、上記の変換が終了すると、表示制御部１１１は、内部に記憶している変換により生成した位置及びその内容を画像処理部１０６に対して出力して、画像メモリ１０４に記憶されている画像データにより表させる画像上で、変換により生成した位置に、付加画像を上書きするように、指示する。

（綴じ代量の処理の制御）
綴じ代量の場合、上記の変換が終了すると、表示制御部１１１は、内部に記憶している変換により生成した位置から、シートの左端辺までの距離として、綴じ代量を算出する。綴じ代量を算出すると、表示制御部１１１は、綴じ代量を画像処理部１０６に対して出力して、画像メモリ１０４に記憶されている画像データにより表させる画像上で、綴じ代量の分だけ、シート上に余白を配置できるように、画像データにより表される画像を移動又は縮小するように、指示する。

（ステープル又はパンチ穴の処理の制御）
ステープル又はパンチ穴の場合、上記の変換が終了すると、表示制御部１１１は、内部に記憶しているそれらの区別と、変換により生成されたシート上の位置とを後処理装置制御部１１５に対して、出力する。

１．９ 後処理装置制御部１１５
後処理装置制御部１１５は、表示制御部１１１から、ステープル及びパンチの区別と、シート上におけるステープルの位置又はパンチ穴の位置を受け取る。区別及び位置を受け取ると、後処理装置制御部１１５は、後処理装置１６に対して、ステープルの位置又はパンチ穴の位置を出力し、それぞれの位置において、ステープル綴じ又はパンチ穴の穿孔を行うように、後処理装置１６に対して、指示する。

１．１０ 画面の遷移
操作パネル１９の表示面２０に表示される画面の遷移について、以下に説明する。

（１）操作パネル１９に表示されるメニュー画面の遷移
操作パネル１９は、表示面２０に、表示制御部１１１の制御により、例えば、画像形成システム１の起動直後に、図１６に示すメニュー画面４０１を表示する。

メニュー画面４０１は、コピージョブを実行する場合に、利用者によりジョブの実行条件を設定するために用いられる。メニュー画面４０１には、この図に示すように、設定領域４０２、４０３、４０４、４０５及びボタン４０６が含まれる。

設定領域４０２、４０３、４０４、４０５は、それぞれ、印刷の濃度、印刷に用いる用紙、印刷の際の画像データの拡大や縮小の倍率、印刷の際のページの集約の設定を行うための選択肢を含んでいる。また、ボタン４０６は、図１６に示すメニュー画面４１１に遷移するために、利用者により接触による操作がされる領域を示す。

表示面２０にメニュー画面４０１が表示されている状態では、ＬＥＤ３３は、点灯していない。

利用者によりボタン４０６に対して、接触の操作がされると、操作パネル１９は、表示面２０に、表示制御部１１１の制御により、一例として、メニュー画面４１１を表示する。

メニュー画面４１１は、ジョブの実行条件として、様々なオプションの設定をするため、具体的には、日付、時刻、ページ番号、スタンプ、ウォーターマークを印刷するシート上の位置を選択し、ステープル閉じを行うシート上の位置及びパンチ穴を穿孔するシート上の位置を選択し、シート束の綴じ代量を指定するために用いられる。

メニュー画面４１１には、図１６に示すように、ボタン４１２、４１３、・・・、４１８が含まれる。ボタン４１２、４１３、・・・、４１８は、それぞれ、メニュー画面４１１から、それぞれの画面（日付及び時刻の位置、ページ番号の位置、スタンプの種類の選択、ウォーターマークの選択、ステープル閉じの位置、パンチ穴の位置を選択及び綴じ代量を指定するために用いられるそれぞれの画面）に遷移するために、利用者により接触による操作がされる領域を示す。なお、ボタン４１２、４１３、４１６、４１７及び４１８に対する利用者による接触により、表示面２０に表示されるプレビュー画像上における位置を選択する動作に切り換える切換指示が受け付けられる。

ここで、ボタン４１３、４１６、４１７及び４１８に対して、利用者により接触による操作がされると、操作パネル１９は、表示面２０に、表示制御部１１１の制御により、一例として、それぞれ、図１７に示すプレビュー画面４３１、図１９に示すプレビュー画面５０１、図２０に示すプレビュー画面５３１及び図２１に示すプレビュー画面５６１を表示する。

なお、ボタン４１２に対して、利用者により接触による操作がされると、操作パネル１９は、表示面２０に、表示制御部１１１の制御により、一例として、それぞれ、図１７に示すプレビュー画面４３１と同様の画面を表示するので、詳細の説明を省略する。

また、ボタン４１４に対して、利用者により接触による操作がされると、操作パネル１９は、表示面２０に、表示制御部１１１の制御により、一例として、図１６に示すメニュー画面４２１を表示する。なお、ボタン４１５についても、ボタン４１４と同様である。

メニュー画面４２１は、スタンプとして、シート上に印刷する内容を選択するための画面である。メニュー画面４２１には、ボタン４２２、４２３、４２４、４２５、・・・及びボタン４２６が含まれている。

ボタン４２２、４２３、４２４、４２５、・・・の表示領域内には、それぞれ、「秘密」、「社外秘」、「複製禁止」、まる秘を示す記号、・・・が表されている。ボタン４２２、４２３、４２４、４２５、・・・のいずれか一つが利用者により、選択（接触による操作）がされる。選択された表示内容は、例えば、ボタン４２５に示すように、反転表示される。

また、ボタン４２６は、次の画面に遷移するために、利用者により接触による操作がされる領域を示す。なお、ボタン４２６に対する利用者による接触により、表示面２０に表示されるプレビュー画像上における位置を選択する動作に切り換える切換指示が受け付けられる。

利用者によりボタン４２６に対して、接触の操作がされると、操作パネル１９は、表示面２０に、表示制御部１１１の制御により、一例として、図１８に示すプレビュー画面４７４を表示する。

上記の通り、ボタン４１２、４１３、４１６、４１７、４１８、４２６は、それぞれ、位置の選択を指示するための操作ボタンである。

（２）ページ番号を表示する位置を視線により選択する場合のプレビュー画面の例
図１６に示すメニュー画面４１１において、ボタン４１３に対して、利用者により接触による操作がされると、表示制御部１１１は、スキャナー制御部１０９から取得したプレビュー画像４３２を中央に配したプレビュー画面４３１を生成し、図１７に示すように、操作パネル１９は、表示面２０にプレビュー画面４３１を表示する。このとき、操作パネル１９は、ＬＥＤ３３を点灯させる。ＬＥＤ３３が点灯している場合には、視線入力モードであることを、利用者に通知している。

視点検出部１１３により、表示面２０上に利用者の視点が検出された場合、操作パネル１９は、表示面２０に視点領域４３３を表示する。視点領域４３３は、この図に示すように、表示面２０上の利用者の視点の位置を中心とする所定の半径の円により形成され、視点領域４３３内に、画面上の他の領域と区別するために、所定の色、例えば、黄色が塗布されている。このように、視点領域４３３が表示されるので、利用者は、自身の視点の位置を容易に知ることができる。

利用者が表示面２０上において、視点を移動させると、視点検出部１１３により、表示面２０上の利用者の新たな視点が検出される。操作パネル１９は、視点領域を、新たな視点を中心とした位置に移動させ、その位置において表示する。利用者が視点を移動させる都度、新たな視点が検出され、視点領域も、新たな視点を中心とする位置に移動して表示される。

図１５（ｃ）に示すように、プレビュー画面７１１において、マーク指定領域７１２～７１７が定められている。例えば、利用者の視点がマーク指定領域７１６の内部に入ると、操作パネル１９は、図１７のプレビュー画面４４１に示すように、プレビュー画像４４２の下部に、ページ番号を示すマーク４４３を表示する。また、操作パネル１９は、利用者の視線４４０の先の視点を中心とする視点領域４４４を表示する。この場合にも、操作パネル１９は、ＬＥＤ３３を点灯させる。

次に、利用者の視点が移動し、例えば、利用者の視点が図１５（ｃ）に示すマーク指定領域７１４の内部に入ると、図１７のプレビュー画面４５１に示すように、操作パネル１９は、プレビュー画像４５２の右上部に、ページ番号を示すマーク４５３を表示する。また、操作パネル１９は、利用者の視線４５０の先の視点を中心とする視点領域４５４を表示する。ここで、利用者の視点が仮確定すると、プレビュー画面４４１の視点領域４４４の表示色は、プレビュー画面４５１の視点領域４５４に示すように、仮確定を示す緑色に変わる。操作パネル１９は、さらに、ボタン４５５を表示する。ボタン４５５は、利用者の接触により操作される。この場合にも、操作パネル１９は、ＬＥＤ３３を点灯させる。

ボタン４５５が利用者により操作されると、シートの右上にページ番号を印刷する形式により、コピージョブが実行される。この後、ＬＥＤ３３は、消灯する。次に、操作パネル１９は、表示面２０に次の画面（例えば、図１６に示すメニュー画面４０１）を表示する。

（３）スタンプを表示する位置を視線により選択する場合の画面例
図１６に示すメニュー画面４２１において、ボタン４２６に対して、利用者により接触による操作がされると、表示制御部１１１は、スキャナー制御部１０９から取得したプレビュー画像４７１を中央に配したプレビュー画面４７４を生成し、図１８に示すように、操作パネル１９は、表示面２０にプレビュー画面４７４を表示する。このとき、操作パネル１９は、ＬＥＤ３３を点灯させる。

視点検出部１１３により、表示面２０上に利用者の視点が検出された場合、操作パネル１９は、表示面２０において、利用者の視線４７０の先の視点の位置に、スタンプを示すマーク４７２を表示する。また、操作パネル１９は、利用者の視点を中心とする視点領域４７３も表示する。この場合にも、操作パネル１９は、ＬＥＤ３３を点灯させる。

次に、利用者の視点が移動すると、操作パネル１９は、プレビュー画面４８５に示すように、移動先の視点の位置に、スタンプを示すマーク４８２を表示する。また、操作パネル１９は、プレビュー画面４７４の視点領域４７３を移動させ、プレビュー画面４８５に示すように、利用者の視点を中心とする視点領域４８３を表示する。ここで、利用者の視点が仮確定すると、視点領域４８３の表示色は、仮確定を示す緑色に変わる。操作パネル１９は、さらに、ボタン４８４を表示する。ボタン４８４は、利用者の接触により操作される。この場合にも、操作パネル１９は、ＬＥＤ３３を点灯させる。

ボタン４８４が利用者により操作されると、シートの右上にスタンプを印刷する形式により、コピージョブが実行される。この後、操作パネル１９は、ＬＥＤ３３を消灯させる。次に、操作パネル１９は、表示面２０に次の画面（例えば、図１６に示すメニュー画面４０１）を表示する。

（４）ステープルの位置を視線により選択する場合の画面例
図１６に示すメニュー画面４１１において、ボタン４１６に対して、利用者により接触による操作がされると、表示制御部１１１は、スキャナー制御部１０９から取得したプレビュー画像５０３を中央に配したプレビュー画面５０１を生成し、図１９に示すように、操作パネル１９は、表示面２０にプレビュー画面５０１を表示する。このとき、操作パネル１９は、ＬＥＤ３３を点灯させる。

視点検出部１１３により、表示面２０上に利用者の視点が検出された場合、操作パネル１９は、図１９のプレビュー画面５０１に示すように、表示面２０に視点領域５０２を表示する。

図１５（ｄ）に示すように、プレビュー画面７２１において、マーク指定領域７２２、７２３が定められている。例えば、利用者の視点がマーク指定領域７２２の内部に入ると、操作パネル１９は、図１９のプレビュー画面５１１に示すように、プレビュー画像５１２の左上部に、ステープルを示すマーク５１３を表示する。また、操作パネル１９は、利用者の視線５１０の先の視点を中心とする視点領域５１４を表示する。この場合にも、操作パネル１９は、ＬＥＤ３３を点灯させる。

次に、利用者の視点が移動し、例えば、利用者の視点が図１５（ｄ）に示すマーク指定領域７２３の内部に入ると、図１９のプレビュー画面５２１に示すように、操作パネル１９は、プレビュー画像５２６の左側部に、ステープルを示すマーク５２２、５２３を表示する。また、操作パネル１９は、利用者の視線５２０の先の視点を中心とする視点領域５２４を表示する。ここで、利用者の視点が仮確定すると、視点領域５２４の表示色は、仮確定を示す緑色に変わる。操作パネル１９は、さらに、ボタン５２５を表示する。ボタン５２５は、利用者の接触により操作される。この場合にも、操作パネル１９は、ＬＥＤ３３を点灯させる。

ボタン５２５が利用者により操作されると、シートの左側にステープル綴じを行うように後処理の設定がされて、コピージョブが実行される。この後、ＬＥＤ３３は、消灯する。次に、操作パネル１９は、表示面２０に次の画面（例えば、図１６に示すメニュー画面４０１）を表示する。

（５）パンチ穴の位置を視線により選択する場合の画面例
図１６に示すメニュー画面４１１において、ボタン４１７に対して、利用者により接触による操作がされると、表示制御部１１１は、スキャナー制御部１０９から取得したプレビュー画像５３２を中央に配したプレビュー画面５３１を生成し、図２０に示すように、操作パネル１９は、表示面２０にプレビュー画面５３１を表示する。このとき、操作パネル１９は、ＬＥＤ３３を点灯させる。

視点検出部１１３により、表示面２０上に利用者の視点が検出された場合、操作パネル１９は、図２０のプレビュー画面５３１に示すように、表示面２０に視点領域５３３を表示する。

図１５（ｅ）に示すように、プレビュー画面７３１において、マーク指定領域７３２、７３３が定められている。例えば、利用者の視点がマーク指定領域７３２の内部に入ると、操作パネル１９は、図２０のプレビュー画面５４１に示すように、プレビュー画像５４２の上部に、パンチ穴を示すマーク５４３、５４４を表示する。また、操作パネル１９は、利用者の視線５４０の先の視点を中心とする視点領域５４５を表示する。この場合にも、操作パネル１９は、ＬＥＤ３３を点灯させる。

次に、利用者の視点が移動し、例えば、利用者の視点が図１５（ｅ）に示すマーク指定領域７３３の内部に入ると、図２０のプレビュー画面５５１に示すように、操作パネル１９は、プレビュー画像５５２の左側部に、パンチ穴を示すマーク５５３、５５４を表示する。また、操作パネル１９は、利用者の視線５５０の先の視点を中心とする視点領域５５５を表示する。ここで、利用者の視点が仮確定すると、視点領域５５５の表示色は、仮確定を示す緑色に変わる。操作パネル１９は、さらに、ボタン５５６を表示する。ボタン５５６は、利用者の接触により操作される。この場合にも、操作パネル１９は、ＬＥＤ３３を点灯させる。

ボタン５５６が利用者により操作されると、シートの左側において、パンチ穴を穿孔する後処理設定がされて、コピージョブが実行される。この後、ＬＥＤ３３は、消灯する。次に、操作パネル１９は、表示面２０に次の画面（例えば、図１６に示すメニュー画面４０１）を表示する。

（６）綴じ代量を視線により指定する場合の画面例
図１６に示すメニュー画面４１１において、ボタン４１８に対して、利用者により接触による操作がされると、表示制御部１１１は、スキャナー制御部１０９から取得したプレビュー画像５６２を中央に配したプレビュー画面５６１を生成し、図２１に示すように、操作パネル１９は、表示面２０にプレビュー画面５６１を表示する。このとき、操作パネル１９は、ＬＥＤ３３を点灯させる。

視点検出部１１３により、表示面２０上に利用者の視点が検出された場合、操作パネル１９は、図２１のプレビュー画面５６１に示すように、表示面２０に視点領域５６３を表示する。

図１５（ｆ）に示すように、プレビュー画面７４１において、マーク指定領域７４２が定められている。例えば、利用者の視点がマーク指定領域７４２の内部に入ると、操作パネル１９は、図２１のプレビュー画面５７１に示すように、プレビュー画像５７２の左側部において、利用者の視線５７０の先の視点の位置において、綴じ位置を示すマーク５７４を表示する。また、操作パネル１９は、利用者の視線５７０の先の視点を中心とする視点領域５７３を表示する。この場合にも、操作パネル１９は、ＬＥＤ３３を点灯させる。

次に、利用者の視点が、例えば、利用者の視点が図１５（ｆ）に示すマーク指定領域７４２の内部で移動すると、図２１のプレビュー画面５８１に示すように、操作パネル１９は、プレビュー画像５８２の左側部において、利用者の視線５８０の先の視点の位置において、綴じ位置を示すマーク５８４を表示する。また、操作パネル１９は、利用者の視線５８０の先の視点を中心とする視点領域５８３を表示する。ここで、利用者の視点が仮確定すると、視点領域５８３の表示色は、仮確定を示す緑色に変わる。操作パネル１９は、さらに、ボタン５８５を表示する。ボタン５８５は、利用者の接触により操作される。この場合にも、操作パネル１９は、ＬＥＤ３３を点灯させる。

ボタン５８５が利用者により操作されると、シートの左側に、指定された綴じ代量だけ余白を開けて、画像を移動又は縮小した形式により、コピージョブが実行される。この後、ＬＥＤ３３は、消灯する。次に、操作パネル１９は、表示面２０に次の画面（例えば、図１６に示すメニュー画面４０１）を表示する。

１．１１ 動作
（１）概要の動作
メニュー画面を表示後、プリント又はスキャンを実行するまでの、概要の動作について、図２２に示すフローチャートを用いて説明する。

表示制御部１１１は、初期のメニュー画面を生成し（ステップＳ１０１）、操作パネル１９は、メニュー画面を表示する（ステップＳ１０２）。操作パネル１９は、利用者の操作による選択肢の選択を受け付ける（ステップＳ１０３）。

表示制御部１１１は、受け付けた選択肢の内容を判断する（ステップＳ１０４）。選択肢の内容が次のメニュー画面の表示である場合（ステップＳ１０４で「次のメニュー画面の表示」）、表示制御部１１１は、次のメニュー画面を生成する（ステップＳ１０５）。次に、主制御部１００は、制御をステップＳ１０２に移す。

選択肢の内容がパラメーターの設定である場合（ステップＳ１０４で「パラメーターの設定」）、表示制御部１１１は、操作パネル１９から設定されたパラメーターを受け取り、記憶し（ステップＳ１１０）、設定された実行条件について反転表示するように、操作パネル１９に対して出力する（ステップＳ１１１）。次に、主制御部１００は、制御をステップＳ１０２に移す。

選択肢の内容が位置選択を伴う選択肢である場合（ステップＳ１０４で「位置選択を伴う選択肢」）、表示制御部１１１は、スタンプ又はウォーターマークかその他かを判断する（ステップＳ１０６）。スタンプ又はウォーターマークであると判断される場合（ステップＳ１０６で「スタンプ等」）、視線入力の処理（１）が実行される（ステップＳ１０７）。一方、スタンプ及びウォーターマークでないと判断される場合（ステップＳ１０６で「その他」）、視線入力の処理（２）が実行される（ステップＳ１０８）。続いて、確定した位置により、プリントジョブ、スキャンジョブ又はコピージョブが実行される（ステップＳ１０９）。次に、主制御部１００は、制御をステップＳ１０１に移す。

選択肢の内容がその他である場合（ステップＳ１０４で「その他」）、その他の処理がされ（ステップＳ１１２）、次に、主制御部１００は、制御をステップＳ１０１に移す。

以上により、概要の動作の説明を終了する。

（２）視線入力の処理（１）の動作
プレビュー画像上の任意の位置に、スタンプ又はウォーターマークを示すマークを配する指示がされた場合における、視線入力の処理（１）の動作について、図２３に示すフローチャートを用いて説明する。なお、視線入力の処理（１）の動作は、図２２に示すフローチャートにおけるステップＳ１０７の詳細である。

視線入力の処理（１）の動作を開始すると、操作パネル１９は、ＬＥＤ３３を点灯させる（ステップＳ２１３）。次に、視点検出部１１３は、視点の取得処理を実行する（ステップＳ２１５）。視点検出部１１３は、表示制御部１１１に対して、視点を出力する（ステップＳ２１５ａ）。視点入力制御部１１４は、視点が仮確定しているか否かを判断する（ステップＳ２１８）。視点が仮確定していない場合（ステップＳ２１８で「ＮＯ」）、主制御部１００は、ステップＳ２１５に制御を移し、処理を繰り返す。

視点が仮確定している場合（ステップＳ２１８で「ＹＥＳ」）、視点入力制御部１１４は、表示制御部１１１に対して仮確定情報を出力する（ステップＳ２１８ａ）。また、表示制御部１１１は、操作パネル１９に位置確定ボタンを出力して、表示させる（ステップＳ２１９）。

表示制御部１１１は、利用者が位置確定ボタンに接触したか否かを判断する（ステップＳ２２０）。利用者が位置確定ボタンに接触した場合（ステップＳ２２０で「ＹＥＳ」）、表示制御部１１１は、画像処理部１０６に対して、確定した位置を出力し、又は、後処理装置制御部１１５は、後処理装置１６に対して、確定した位置を出力する（ステップＳ２２３）。次に、操作パネル１９は、ＬＥＤ３３を消灯させる（ステップＳ２２４）。

これにより、視線入力の処理（１）の動作が終了する。

また、視線入力の処理（１）の動作を開始すると、表示制御部１１１は、画像処理部１０６から、又は、スキャナー制御部１０９から、プレビュー画像を取得する（ステップＳ２４１）。次に、表示制御部１１１は、操作パネル１９に対して、プレビュー画像を含むプレビュー画面を出力し、操作パネル１９は、プレビュー画面を表示する（ステップＳ２４２）。

表示制御部１１１は、マークを記憶部１０５から読み出し（ステップＳ２４３）、視点検出部１１３から視点を受け取る（ステップＳ２１５ａ）。表示制御部１１１は、操作パネル１９に、受け取った視点の位置において視点領域を表示させる（ステップＳ２５０）。次に、視点入力制御部１１４から仮確定情報を受信した場合（ステップＳ２６１で「ＹＥＳ」）、表示制御部１１１は、操作パネル１９に対して、仮確定の位置にマークを表示させ（ステップＳ２６２）、操作パネル１９に対して、仮確定の表示をさせる（ステップＳ２６３）。次に、主制御部１００は、ステップＳ２５０に制御を移す。

一方、視点入力制御部１１４から仮確定情報を受信しない場合（ステップＳ２６１で「ＮＯ」）、表示制御部１１１は、操作パネル１９に対して、視点位置にマークを表示させる（ステップＳ２６４）。次に、主制御部１００は、ステップＳ２５０に制御を移す。

以上により、視線入力の処理（１）の動作の説明を終了する。

（３）視線入力の処理（２）の動作
プレビュー画像上のマーク指定領域内に、日付、時刻、ページ番号、ステープル、パンチ穴又は綴じ代を示すマークを配する指示がされた場合における、視線入力の処理（２）の動作について、図２４に示すフローチャートを用いて説明する。なお、視線入力の処理（２）の動作は、図２２に示すフローチャートにおけるステップＳ１０８の詳細である。

視線入力の処理（２）の動作を開始すると、視点入力制御部１１４は、記憶部１０５から、一つのマークの種類に対応する１又は複数のマーク指定領域を示すマーク指定領域情報を読み出すことにより、取得する（ステップＳ２１１）。次に、操作パネル１９は、ＬＥＤ３３を点灯させる（ステップＳ２１３）。次に、視点検出部１１３により、視点の取得処理が実行される（ステップＳ２１５）。視点検出部１１３は、表示制御部１１１に対して、視点を出力する（ステップＳ２１５ａ）。視点入力制御部１１４は、視点がマーク指定領域内に存在するか否かを判断する（ステップＳ２１６）。視点がマーク指定領域内に存在しない場合（ステップＳ２１６で「ＮＯ」）、主制御部１００は、制御をステップＳ２１５に移す。視点がマーク指定領域内に存在する場合（ステップＳ２１６で「ＹＥＳ」）、視点入力制御部１１４は、視点が仮確定しているか否かを判断する（ステップＳ２１８）。視点が仮確定していない場合（ステップＳ２１８で「ＮＯ」）、主制御部１００は、ステップＳ２１５に制御を移し、処理を繰り返す。

視点が仮確定している場合（ステップＳ２１８で「ＹＥＳ」）、視点入力制御部１１４は、表示制御部１１１に対して仮確定情報を出力する（ステップＳ２１８ａ）。また、表示制御部１１１は、操作パネル１９に位置確定ボタンを出力して、表示させる（ステップＳ２１９）。

利用者が位置確定ボタンに接触した場合（ステップＳ２２０で「ＹＥＳ」）、表示制御部１１１は、画像処理部１０６に対して、確定した位置を出力し、又は、後処理装置制御部１１５は、後処理装置１６に対して、確定した位置を出力する（ステップＳ２２３）。次に、操作パネル１９は、ＬＥＤ３３を消灯させる（ステップＳ２２４）。

これにより、視線入力の処理（２）の動作が終了する。

また、視線入力の処理（２）の動作を開始すると、表示制御部１１１は、画像処理部１０６から、又は、スキャナー制御部１０９から、プレビュー画像を取得する（ステップＳ２４１）。次に、表示制御部１１１は、操作パネル１９に対して、プレビュー画像を含むプレビュー画面を出力し、操作パネル１９は、プレビュー画面を表示する（ステップＳ２４２）。

表示制御部１１１は、マークを記憶部１０５から読み出し（ステップＳ２４３）、視点検出部１１３から視点を受け取る（ステップＳ２１５ａ）。表示制御部１１１は、操作パネル１９に、受け取った視点の位置において視点領域を表示させる（ステップＳ２５０）。

次に、視点入力制御部１１４から仮確定情報を受信した場合（ステップＳ２６１で「ＹＥＳ」）、表示制御部１１１は、操作パネル１９に対して、仮確定の位置にマークを表示させ（ステップＳ２６２）、操作パネル１９に対して、仮確定の表示をさせる（ステップＳ２６３）。次に、主制御部１００は、ステップＳ２５０に制御を移す。

一方、視点入力制御部１１４から仮確定情報を受信しない場合で（ステップＳ２６１で「ＮＯ」）、視点がマーク指定領域内に存在する場合（ステップＳ２６６で「ＹＥＳ」）、表示制御部１１１は、操作パネル１９に対して、マーク指定領域内の所定位置にマークを表示させる（ステップＳ２６７）。次に、主制御部１００は、ステップＳ２５０に制御を移す。

一方、視点がマーク指定領域内に存在しない場合（ステップＳ２６６で「ＮＯ」）、主制御部１００は、ステップＳ２５０に制御を移す。

以上により、視線入力の処理（２）の動作の説明を終了する。

（４）視線の取得の動作
視線の取得の動作について、図２５に示すフローチャートを用いて説明する。なお、視線の取得の動作は、図２３及び図２４に示すフローチャートにおけるステップＳ２１５の詳細である。

顔認識処理部１１３ａは、記憶部１０５から、被写体である利用者を撮影して得られた画像を表した画像データを取得する（ステップＳ３０１）。

次に、顔認識処理部１１３ａは、取得した画像データから利用者の顔を検出する（ステップＳ３０２）。次に、位置算出部１１３ｂは、取得した画像データから利用者の立ち位置を検出する（ステップＳ３０３）。

次に、視線視点算出部１１３ｃは、利用者の顔の水平方向の向きを算出し（ステップＳ３０４）、利用者の顔の鉛直方向からの傾きを算出し（ステップＳ３０５）、利用者の瞳の向きを算出する（ステップＳ３０６）。続いて、視線視点算出部１１３ｃは、利用者の顔の水平方向の向き、利用者の顔の鉛直方向からの傾き、及び、瞳の向きを用いて、利用者の視線を算出し（ステップＳ３０７）、続いて、操作パネル１９の表示面２０における利用者の視点を算出する（ステップＳ３０８）。

１．１２ まとめ
以上説明したように、本実施の形態によると、スタンプ等の位置を選択する場合に、プレビュー画面に切り替わると共に、視線入力を有効にし、視線によりスタンプ等の位置の入力が可能となる。このため、画像形成装置１０に対して利用者が操作する場面に応じて、適切な入力方法を選択できる。特に、画面上において位置選択を行う場合に、視線入力を選択できるという優れた効果を奏する。

２ 変形例（１）
実施の形態の変形例（１）について、実施の形態との相違点を中心として、以下に説明する。

実施の形態においては、一つのプレビュー画面において、一つの実行条件について、利用者から位置選択を受ける。これに対して、変形例（１）においては、一つのプレビュー画面において、利用者により選択された複数の実行条件について、位置選択を受ける。

利用者により複数の実行条件が選択された後に表示されるプレビュー画像において、複数の実行条件に対応する各マークが、予め既定位置に表示される。利用者は、各マークの位置を、視線入力により、他の位置に移動させる。

２．１ 記憶部１０５
記憶部１０５は、マーク毎に、既定位置である仮確定位置を記憶している。

ここで、マーク毎の仮確定位置は、例えば、次の通りである。

マークが日付及び時刻の場合、その仮確定位置は、プレビュー画像の下辺部、左側である。マークがページ番号の場合、その仮確定位置は、プレビュー画像の下辺部、中央である。マークがスタンプの場合、その仮確定位置は、プレビュー画像の上辺部、右側である。マークがウォーターマークの場合、その仮確定位置は、プレビュー画像の中央である。マークがステープルの場合、その仮確定位置は、プレビュー画像の上辺部、左側である。マークがパンチ穴の場合、その仮確定位置は、プレビュー画像の左辺部である。マークが綴じ代量の場合、その仮確定位置は、プレビュー画像の左辺から、シートのサイズ上、２０ｍｍだけ離れた位置である。なお、マーク毎の仮確定位置は、上記には限定されない。上記とは別の位置であるとしてもよい。

２．２ 画面の遷移
変形例（１）において、操作パネル１９の表示面２０に表示される画面の遷移について、以下に説明する。

（１）操作パネル１９に表示されるメニュー画面の遷移
操作パネル１９は、表示面２０に、表示制御部１１１の制御により、例えば、画像形成システム１の起動直後に、図２６に示すメニュー画面４０１を表示する。ここで、メニュー画面４０１は、図１６に示すメニュー画面４０１と同一である。従って、メニュー画面４０１の詳細の説明を省略する。

利用者によりボタン４０６ａに対して、接触の操作がされると、操作パネル１９は、表示面２０に、表示制御部１１１の制御により、一例として、図２６に示すメニュー画面６０１を表示する。

メニュー画面６０１は、図１６に示すメニュー画面４１１と同様に、ジョブの実行条件として、様々なオプションの設定をするため、具体的には、日付、時刻、ページ番号、スタンプ、ウォーターマークを印刷する画像上の位置を選択し、ステープル閉じを行うシート上の位置及びパンチ穴を穿孔するシート上の位置を選択し、シート束の綴じ代量を指定するために用いられる。

メニュー画面６０１には、図２６に示すように、ボタン６０２、６０３、・・・、６０８が含まれる。ボタン６０２、６０３、・・・、６０８は、それぞれ、メニュー画面６０１において、それぞれの位置の設定（日付及び時刻の位置、ページ番号の位置、スタンプの位置、ウォーターマークの位置、ステープル閉じの位置、パンチ穴の位置及び綴じ代量の設定）をするか否かを選択するために、利用者により接触による操作がされる領域を示す。ボタン６０２、６０３、・・・、６０８のうち、複数の設定を選択することが可能である。

ここで、ボタン６０２、６０３、６０６、６０７及び６０８に対して、利用者により接触による操作がされると、各ボタン上に表示されている文字が反転表示される。反転表示された文字がその上に表示されているボタンは、それぞれの設定が選択されたことを示す。

また、ボタン６０４に対して、利用者により接触による操作がされると、操作パネル１９は、表示面２０に、表示制御部１１１の制御により、一例として、図２６に示すメニュー画面６１１を表示する。

メニュー画面６１１は、スタンプとして、シート上に印刷する内容を選択するための画面である。メニュー画面６１１には、ボタン６２１、６２２、６２３、６２４、・・・及びボタン６２５が含まれている。

ボタン６２１、６２２、６２３、６２４、・・・の表示領域内には、それぞれ、「秘密」、「社外秘」、「複製禁止」、まる秘を示す記号、・・・が表されている。ボタン６２１、６２２、６２３、６２４、・・・による表示内容のいずれか一つが利用者により、選択（接触による操作）がされる。選択された表示内容は、例えば、ボタン６２４に示すように、反転表示される。

また、ボタン６２５は、メニュー画面６０１に戻るために、利用者により接触による操作がされる領域を示す。

なお、ボタン６０５に対して、利用者により接触による操作がされると、操作パネル１９は、表示面２０に、表示制御部１１１の制御により、一例として、図２６に示すメニュー画面６１１と同様のメニュー画面を表示する。

また、メニュー画面６０１において、利用者によりボタン６０９に対して、接触の操作がされると、操作パネル１９は、表示面２０に、表示制御部１１１の制御により、一例として、図２７に示すプレビュー画面６３１を表示する。

（２）ページ番号等を表示する位置を視線により選択する場合のプレビュー画面の例
図２６に示すメニュー画面６０１において、ボタン６０９に対して、利用者により接触による操作がされると、表示制御部１１１は、例えば、スキャナー制御部１０９から取得したプレビュー画像６３２を中央に配したプレビュー画面６３１を生成し、図２７に示すように、操作パネル１９は、表示面２０にプレビュー画面６３１を表示する。このとき、操作パネル１９は、ＬＥＤ３３を点灯させる。ＬＥＤ３３が点灯している場合には、視線入力モードであることを、利用者に通知している。

プレビュー画面６３１には、既に、プレビュー画像６３２の左上にマーク６３３、プレビュー画像６３２の右上にマーク６３４、及び、プレビュー画像６３２の下部中央にマーク６３５が表示されている。また、既に、プレビュー画面６３１には、マーク６３３、マーク６３４及びマーク６３５に重ねて、仮確定したことを示すために緑色に塗布された視点領域６３６、６３７、６３８が表示されている。

ここで、プレビュー画面６３１における、マーク６３３、マーク６３４及びマーク６３５の表示位置は、既定位置である。

また、操作パネル１９は、利用者の接触により操作されるボタン６４０を表示する。

視点検出部１１３により、表示面２０上に利用者の視点が検出された場合、操作パネル１９は、表示面２０に視点領域６３９を表示する。視点領域６３９は、上述したように、表示面２０上の利用者の視点の位置を中心とする所定の半径の円により形成され、視点領域６３９内に、黄色が塗布されている。黄色に塗布された視点領域４３３により、利用者は、自身の視点の位置を容易に知ることができる。

図２７のプレビュー画面６５１に示すように、利用者が表示面２０上において、視点を移動させ、利用者の視点が視点領域６５６内に入り、利用者の視点が視点領域６５６内に入っている状態で、利用者が０．５秒以内に、３回、まばたきをする（検出条件３）と、視点領域６５６における仮確定が解除され、視点領域６５６の表示色は、緑色から、黄色に変わる。

続いて、利用者が表示面２０上において、プレビュー画面６５１に示す視点領域６５６から、プレビュー画像６５２の左側辺に視点を移動させ、利用者の視点が図１５（ｄ）に示すマーク指定領域７２３の内部に入ると、操作パネル１９は、図２７のプレビュー画面６７１に示すように、プレビュー画像６７２の左側辺に、黄色に塗布された視点領域６７７を表示する。さらに、操作パネル１９は、図２７のプレビュー画面６７１に示すように、プレビュー画像６７２の左側辺に、ステープルを示すマーク６７３及び６７４を表示する。このとき、プレビュー画面６５１の左上に表示されていたステープルを示すマーク６５３は、消去される。利用者の視線が視点領域６７７内に存在する状態で、利用者の視点が仮確定すると、視点領域６７７の表示色は、仮確定を示す緑色に変わる。

操作パネル１９は、利用者の接触により操作されるボタン６８０を表示している。

ボタン６８０が利用者により操作されると、画像の右上にスタンプ（まる秘）、画像の下部中央にページ番号を印刷し、シートの左側をステープル綴じする形式により、コピージョブが実行される。この後、ＬＥＤ３３は、消灯する。次に、操作パネル１９は、表示面２０に次の画面（例えば、図２６に示すメニュー画面４０１）を表示する。

２．３ 変形例（１）における動作
（１）概要の動作
メニュー画面を表示後、プリント又はスキャンを実行するまでの、概要の動作は、図２２に示すフローチャートの手順とほぼ同様である。ここでは、その相違点について、説明する。

実施の形態では、図２２のフローチャートに示すように、選択肢の内容がスタンプ等か、その他かを判別し（ステップＳ１０６）、スタンプ等である場合（ステップＳ１０６で「スタンプ等」）、視線入力の処理（１）を実行し（ステップＳ１０７）、その他である場合（ステップＳ１０６で「その他」）、視線入力の処理（２）を実行する（ステップＳ１０８）。

これに対して、変形例（１）においては、選択肢の内容がスタンプ等か、その他かを判別することなく、図２２に示すフローチャートのステップＳ１０６、Ｓ１０７及びＳ１０８に代えて、利用者により選択された複数の実行条件について、視線入力の処理を行う。この視線入力の処理については、以下に説明する。

（２）視線入力の処理の動作
視線入力の処理の動作について、図２８に示すフローチャートを用いて説明する。

視線入力の処理の動作を開始すると、視点入力制御部１１４は、記憶部１０５から、メニュー画面６０１において利用者により選択された複数のマークの種類に対応する複数のマーク指定領域情報を読み出すことにより、取得する（ステップＳ２１１ａ）。次に、操作パネル１９は、ＬＥＤ３３を点灯させる（ステップＳ２１３）。次に、視点検出部１１３は、視点の取得処理を実行する（ステップＳ２１５）。視点検出部１１３は、表示制御部１１１に対して、視点を出力する（ステップＳ２１５ａ）。

視点入力制御部１１４は、視点が、読み出したマーク指定領域情報により示されるいずれかのマーク指定領域内に存在するか否かを判断する（ステップＳ２１６）。視点がいずれのマーク指定領域内にも存在しない場合（ステップＳ２１６で「ＮＯ」）、主制御部１００は、制御をステップＳ２１５に移す。視点がいずれかのマーク指定領域内に存在する場合（ステップＳ２１６で「ＹＥＳ」）、視点入力制御部１１４は、仮確定が解除されたか否かを判断する（ステップＳ２３１）。仮確定が解除されたと判断する場合（ステップＳ２３１で「ＹＥＳ」）、視点入力制御部１１４は、仮確定が解除したことを示す解除情報を表示制御部１１１に対して、出力し（ステップＳ２３１ａ）、仮確定の解除を記憶することにより、内部に設定する（ステップＳ２３２）。仮確定が解除されていないと判断する場合（ステップＳ２３１で「ＮＯ」）、視点入力制御部１１４は、解除情報の出力及び仮確定の解除の記憶を行わない。

次に、視点入力制御部１１４は、視点が仮確定しているか否かを判断する（ステップＳ２１８）。視点が仮確定していない場合（ステップＳ２１８で「ＮＯ」）、主制御部１００は、ステップＳ２１５に制御を移し、処理を繰り返す。

視点が仮確定している場合（ステップＳ２１８で「ＹＥＳ」）、視点入力制御部１１４は、表示制御部１１１に対して仮確定情報を出力する（ステップＳ２１８ａ）。

表示制御部１１１は、利用者が位置確定ボタンに接触したか否かを判断する（ステップＳ２２０）。利用者が位置確定ボタンに接触した場合（ステップＳ２２０で「ＹＥＳ」）、表示制御部１１１は、画像処理部１０６に対して、確定した１又は複数の位置を出力し、又は、後処理装置制御部１１５は、後処理装置１６に対して、確定した１又は複数の位置を出力する（ステップＳ２２３）。次に、操作パネル１９は、ＬＥＤ３３を消灯させる（ステップＳ２２４）。

これにより、視線入力の処理の動作が終了する。

また、視線入力の処理の動作を開始すると、表示制御部１１１は、画像処理部１０６から、又は、スキャナー制御部１０９から、プレビュー画像を取得する（ステップＳ２４１）。次に、表示制御部１１１は、操作パネル１９に対して、プレビュー画像を含むプレビュー画面を出力し、操作パネル１９は、プレビュー画面を表示する（ステップＳ２４２）。

表示制御部１１１は、メニュー画面６０１において利用者により選択された複数のマークを表す画像を記憶部１０５から読み出し（ステップＳ２４３ａ）、複数の仮確定位置を、記憶部１０５から読み出すことにより、取得する（ステップＳ２４３ｂ）。表示制御部１１１は、操作パネル１９に、読み出した各仮確定位置において、読み出したマークの画像を表示させ（ステップＳ２４４）、各マークの画像に重ねて、仮確定を示し、緑色に塗布された視点領域を表示させる（ステップＳ２４５）。次に、表示制御部１１１は、操作パネル１９に、位置確定ボタンを表す画像を出力して、表示させる（ステップＳ２４６）。

表示制御部１１１は、視点検出部１１３から視点を受け取る（ステップＳ２１５ａ）。表示制御部１１１は、操作パネル１９に、受け取った視点の位置において視点領域を表示させる（ステップＳ２５０）。

次に、視点入力制御部１１４から仮確定が解除されたことを示す解除情報を受信した場合（ステップＳ２８１で「ＹＥＳ」）、表示制御部１１１は、操作パネル１９に対して、仮確定の表示を消去させる（ステップＳ２８２）。解除情報を受信しない場合（ステップＳ２８１で「ＮＯ」）、仮確定の表示は消去されることなく、維持される。

次に、視点入力制御部１１４から仮確定情報を受信した場合（ステップＳ２６１で「ＹＥＳ」）、表示制御部１１１は、操作パネル１９に対して、仮確定の位置にマークを表示させ（ステップＳ２６２）、操作パネル１９に対して、仮確定の表示をさせる（ステップＳ２６３）。

一方、視点入力制御部１１４から仮確定情報を受信しない場合（ステップＳ２６１で「ＮＯ」）、表示制御部１１１は、仮確定の位置にマークを表示させず、また、仮確定の表示もさせない。

次に、視点がいずれかのマーク指定領域内に存在する場合（ステップＳ２６６で「ＹＥＳ」）、表示制御部１１１は、操作パネル１９に対して、マーク指定領域内の所定位置視点位置にマークを表示させる（ステップＳ２６７）。次に、主制御部１００は、ステップＳ２５０に制御を移す。

一方、視点がいずれのマーク指定領域内にも存在しない場合（ステップＳ２６６で「ＮＯ」）、主制御部１００は、ステップＳ２５０に制御を移す。

以上により、視線入力の処理の動作の説明を終了する。

２．４ まとめ
以上説明したように、変形例（１）によると、利用者により複数の実行条件が選択された後に表示されるプレビュー画面において、複数の実行条件に対応する各マークが、既定位置に表示される。利用者は、各マークの位置を、視線入力により、他の位置に移動させる。このように、一つのプレビュー画面において、複数の実行条件に対応する各マークの位置を変更することができるので、実施の形態と比較して、操作性が向上する。

３ 変形例（２）
実施の形態の変形例（２）について、実施の形態との相違点を中心として、以下に説明する。

実施の形態においては、メニュー画面において、利用者から、例えば、ページ番号について、位置を選択する指示を受け付けた後（つまり、位置を選択する指示がされたと判断された後）、プレビュー画面にプレビュー画像を表示し、プレビュー画面において、ページ番号を表示する位置の選択を受け付ける。

これに対して、変形例（２）では、位置を選択する指示を受け付ける前に（つまり、位置を選択する指示の判断がされる前に）、プレビュー画面にプレビュー画像を表示し、プレビュー画面において、ページ番号について、位置を選択する指示を受け付け、その後に、プレビュー画面において、ページ番号を表示する位置の選択を受け付ける。

３．１ 変形例（２）における画面の遷移
変形例（２）において、操作パネル１９の表示面２０に表示される画面の遷移について、以下に説明する。

操作パネル１９は、表示面２０に、表示制御部１１１の制御により、例えば、画像形成システム１の起動直後に、図２９に示すメニュー画面８０１を表示する。

メニュー画面８０１は、利用者により、コピージョブ又はスキャンジョブの実行を選択するために用いられる。メニュー画面８０１には、この図に示すように、ボタン８０２、８０３、８０４、８０５及び８０６が含まれる。

ボタン８０２、８０３、８０４、８０５及び８０６は、それぞれ、コピージョブの実行、スキャンジョブの実行、ガイドの表示、利用者の識別子の入力、コピージョブ又はスキャンジョブを実行する前のプレビュー表示を選択するためのボタンである。

ここで、利用者がボタン８０６に接触すると、図２９のメニュー画面８１１に示すように、ボタン８０６ａの表面に、「プレビュー」の文字を反転した表示がされる。これは、プレビューの表示が選択されたことを示す。

次に、利用者がボタン８０２に接触すると、プレビュー画像８２２、複数のボタン８３１、８３２、・・・、８３７及びボタン８２３を含むプレビュー画面８２１が表示される（図２９）。

プレビュー画像８２２は、コピージョブの対象である原稿面を、プレビュー用に、読み取って生成した画像である。

また、複数のボタン８３１、８３２、・・・、８３７は、それぞれ、日付時刻、ページ番号、スタンプ、ウォーターマーク、ステープル、パンチ穴、綴じ代量について、位置の選択を指示するためのボタンである。利用者により、ボタン８３１、８３２、・・・、８３７のそれぞれが選択されると、日付時刻の位置の選択、ページ番号の位置の選択、スタンプの位置の選択、ウォーターマークの位置の選択、ステープル綴じの位置の選択、パンチ穴の穿孔位置の選択、綴じ代量の指定を行うためのプレビュー画面に遷移する。

ここで、例えば、利用者により、ボタン８３２が操作されると、図１７に示すプレビュー画面４３１に遷移し、以降、実施の形態において説明したように、利用者の視線入力により、ページ番号の位置の選択が行われる。

その他、日付時刻の位置の選択、スタンプの位置の選択、ウォーターマークの位置の選択、ステープル綴じの位置の選択、パンチ穴の穿孔位置の選択、綴じ代量の指定についても、同様である。

ボタン８２３は、利用者により操作され、コピージョブの実行を開始するための、ボタンである。ボタン８２３が利用者により操作されると、これまでに、利用者により指定又は選択された各実行条件により、コピージョブが実行される。

３．２ 変形例（２）における概要の動作
メニュー画面を表示後、プリント又はスキャンを実行するまでの、概要の動作について、図３０に示すフローチャートを用いて説明する。

表示制御部１１１は、初期のメニュー画面を生成し（ステップＳ１０１）、操作パネル１９は、メニュー画面を表示する（ステップＳ１０２）。操作パネル１９は、利用者の操作による選択肢の選択を受け付ける（ステップＳ１０３）。

表示制御部１１１は、受け付けた選択肢の内容を判断する（ステップＳ１０４）。選択肢の内容が次のメニュー画面の表示である場合（ステップＳ１０４で「次のメニュー画面の表示」）、表示制御部１１１は、次のメニュー画面を生成する（ステップＳ１０５）。次に、主制御部１００は、制御をステップＳ１０２に移す。

選択肢の内容がパラメーターの設定である場合（ステップＳ１０４で「パラメーターの設定」）、表示制御部１１１は、操作パネル１９から設定されたパラメーターを受け取り、記憶し（ステップＳ１１０）、設定された項目について反転表示するように、操作パネル１９に対して出力する（ステップＳ１１１）。次に、主制御部１００は、制御をステップＳ１０２に移す。

選択肢の内容が位置選択を伴う選択肢である場合（ステップＳ１０４で「位置選択を伴う選択肢」）、表示制御部１１１は、スタンプ又はウォーターマークかその他かを判断する（ステップＳ１０６）。スタンプ又はウォーターマークであると判断される場合（ステップＳ１０６で「スタンプ等」）、視線入力の処理（Ａ）が実行される（ステップＳ１０７ａ）。一方、スタンプ及びウォーターマークでないと判断される場合（ステップＳ１０６で「その他」）、視線入力の処理（Ｂ）が実行される（ステップＳ１０８ａ）。次に、主制御部１００は、制御をステップＳ１０３に移す。ここで、視線入力の処理（Ａ）及び視線入力の処理（Ｂ）は、それぞれ、実施の形態の視線入力の処理（１）及び視線入力の処理（２）に対応している。

選択肢の内容がコピー又はスキャンである場合（ステップＳ１０４で「コピー又はスキャン」）、表示制御部１１１は、プレビュー用のスキャンを実行させてプレビュー画像を取得し（ステップＳ１２１）。メニュー付きのプレビュー画面を表示する（ステップＳ１２２）。次に、主制御部１００は、制御をステップＳ１０３に移す。

選択肢の内容が実行である場合（ステップＳ１０４で「実行」）、確定した位置により、プリントジョブ、スキャンジョブ又はコピージョブが実行される（ステップＳ１０９ａ）。

以上により、変形例（２）における概要の動作の説明を終了する。

３．３ まとめ
以上説明したように、変形例（２）においては、最初にプレビュー画面にプレビュー画像を表示し、プレビュー画面において、各実行条件について、例えば、ページ番号について、位置を選択する指示を受け付け、その後に、プレビュー画面において、視線入力が有効になり、ページ番号等の位置の選択を視線で行うことが出来る。このように、プレビュー画像を表示したのちに、各実行条件について、位置選択をするので、利用者は、表示されたプレビュー画像を見ながら、その内容に応じて、位置選択の必要な実行条件を取捨選択することができる。

４ その他の変形例
本発明について、上記の実施の形態に基づいて説明しているが、上記の実施の形態に限定されない。以下に示すようにしてもよい。

（１）実施の形態において、画像形成システム１は、画像形成装置１０と後処理装置１６とから構成されている。しかし、この構成には、限定されない。

画像形成装置１０には、後処理装置１６が接続されていない、としてもよい。

また、画像形成装置１０は、給紙部１３とプリンター部１２とイメージリーダー部１１と操作パネル１９とから構成されている。しかし、この構成には、限定されない。

給紙部とプリンター部とを備えておらず、イメージリーダー部と操作パネルとから構成される画像読取装置であるとしてもよい。

（２）上記の実施の形態では、日付、時刻、ページ番号、ステープル、パンチ穴及び綴じ代量について、マーク設定領域を定め、スタンプ及びウォーターマークについて、マーク設定領域を定めていない。しかし、これには、限定されない。

日付、時刻及びページ番号について、マーク設定領域を定めることなく、利用者は、任意に、日付、時刻及びページ番号の位置を選択してもよい。

（３）上記の実施の形態及び各変形例において、ページ番号を示すマークは、「ページ番号」と表記された画像である、としている。しかし、これには、限定されない。「－ページ番号－」、「ページ／総ページ数」のように表記された画像を用いてもよい。ここで、「－ページ番号－」は、ページ番号の前後に、ハイフン（－）を付して、印刷する形式を示す。また、「ページ／総ページ数」は、総ページ数とともに、ページ番号を印刷する形式を示す。

また、上記の実施の形態及び各変形例において、日付及び時刻を示すマークについて、詳細には記載していない。ここで、日付を示すマークは、「日付」と表記された画像である、としてもよい。また、日付を示すマークは、「年月日」、「年／月／日」、「年、月、日」と表記された画像であるとしてもよい。それぞれのマークに表記された形式に合わせて、日付が印刷される。

また、時刻を示すマークは、「時刻」と表記された画像である、としてもよい。また、時刻を示すマークは、「時分」、「時分秒」、「時／分」、「時／分／秒」、「時、分」、「時、分、秒」と表記された画像であるとしてもよい。それぞれのマークに表記された形式に合わせて、時刻が印刷される。

また、日付、時刻、ページ番号、スタンプ、ウォーターマーク、ステープル、パンチ穴及び綴じ代を示すマークは、それぞれ、カラー画像である、としてもよい。また、日付、時刻、ページ番号、スタンプ、ウォーターマークについては、マークに表された色により、印刷される、としてもよい。

変形例（１）において、プレビュー画像の左辺に表示されるステープルを示すマークと、パンチ穴を示すマークとが、同じ位置に表示されることが想定される。この場合、例えば、ステープルを示すマークの表示色と、パンチ穴を示すマークの表示色とを変えることにより、それぞれのマークを区別して認識できる。

（４）上記実施の形態及び各変形例において、操作パネル１９が備える表示面２０は、液晶表示板等の上面に、利用者の操作体の接触入力を受け付けるタッチパッド部が積層されて、構成されている、としている。しかし、これには、限定されない。

操作パネルが備える表示面は、液晶表示板（表示手段）等から構成され、操作パネルは、表示面上の位置を指定するポインティングデバイス（入力手段）を備えている、としてもよい。表示面には、その上の位置を指し示す矢印画像が表示される。利用者は、ポインティングデバイスを用いて、表示面上に表示される矢印画像の位置を変更し、表示面上の位置を選択する。

ポインティングデバイスは、例えば、表示面の上、下、左、右方向に対応する４個の移動ボタンと位置の確定を示す決定ボタンである。利用者がそれぞれの移動ボタンを、１回、押下することにより、矢印画像は、利用者が押下した移動ボタンに対応する方向に、定められた量だけ、移動する。利用者が決定ボタンを押下することにより、矢印画像が存在する位置において、その位置が確定し、その位置に対応する処理が実行される。

（５）上述したように、画像形成装置及び後処理装置は、マイクロプロセッサとメモリとを備えたコンピューターシステムである。メモリは、コンピュータープログラムを記憶しており、マイクロプロセッサは、コンピュータープログラムに従って動作するとしてもよい。

ここで、コンピュータープログラムは、所定の機能を達成するために、コンピューターに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

また、コンピュータープログラムは、コンピューター読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、光ディスク、半導体メモリなどに記録されているとしてもよい。

また、コンピュータープログラムを、有線又は無線の電気通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送してもよい。

（６）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。

本発明にかかる画像処理装置は、操作の場面に応じて、適切な入力方法を選択でき、特に、画像上における位置の選択を行う場合に、視点入力を選択できるという優れた効果を奏し、画像上の位置を選択する技術として有用である。

１ 画像形成システム
１０ 画像形成装置
１１ イメージリーダー部
１２ プリンター部
１３ 給紙部
１５ 搬送ユニット
１６ 後処理装置
１７ 搬送路
１８ 後処理ユニット
１９ 操作パネル
３２ カメラ
３３ ＬＥＤ
３５ 排出トレイ
３６ 排出トレイ
１００ 主制御部
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ 画像メモリ
１０５ 記憶部
１０６ 画像処理部
１０７ ネットワーク通信部
１０８ プリンター制御部
１０９ スキャナー制御部
１１０ 入出力部
１１１ 表示制御部
１１２ 入力部
１１３ 視点検出部
１１３ａ 顔認識処理部
１１３ｂ 位置算出部
１１３ｃ 視線視点算出部
１１４ 視点入力制御部
１１５ 後処理装置制御部

Claims (18)

1. 表示面を有する表示手段と、
   利用者の接触操作により入力を受け付ける入力手段と、
   前記表示面上における利用者の視点を検出する視点検出手段と、
   前記入力手段により受け付けた入力が、前記表示面に表示されるプレビュー画像上における位置を選択する動作に切り換える切換指示であるか否かを判断し、前記入力手段により受け付けた入力が、日付、時刻、ページ番号、ステープル、パンチ穴及び綴じ代のいずれかを選択する第一の選択肢であるか、又は、スタンプ及びウォーターマークのいずれかを選択する第二の選択肢であるかを判断する判断手段と、
   前記切換指示であると判断され、第一の選択肢であると判断される場合、前記視点検出手段による視点の検出を有効とし、第一の選択肢に対してプレビュー画面上で予め定めたマーク指定領域内に視点が存在するとき、マーク指定領域内で第一の選択肢に対して予め定めた位置に、第一の選択肢を示すマークを表示するように制御し、前記切換指示であると判断され、第二の選択肢であると判断される場合、前記視点検出手段による視点の検出を有効とし、視点の位置に、第二の選択肢を示すマークを表示するように制御する制御手段と
   を備えることを特徴とする画像処理装置。
2. 前記制御手段は、前記プレビュー画像上における前記位置として、前記視点検出手段により検出された視点の位置を選択する
   ことを特徴とする請求項１に記載の画像処理装置。
3. さらに、データを取得する取得手段を備え、
   前記表示手段は、取得したデータにより表される画像を縮小した前記プレビュー画像を表示する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記判断手段により前記切換指示であると判断された後に、前記表示手段は、前記プレビュー画像を表示する
   ことを特徴とする請求項２に記載の画像処理装置。
5. 前記判断手段による判断の前に、前記表示手段は、前記プレビュー画像を表示する
   ことを特徴とする請求項２に記載の画像処理装置。
6. 前記判断手段により、前記切換指示であると判断される場合、前記表示手段は、さらに、視点による入力が有効である旨を表示する
   ことを特徴とする請求項２に記載の画像処理装置。
7. 前記表示手段は、前記表示面における利用者の視点の位置を強調表示することにより、視点による入力が有効である旨の表示を行う
   ことを特徴とする請求項６に記載の画像処理装置。
8. さらに、前記判断手段により、前記切換指示であると判断される場合、視点による入力が有効である旨を利用者に通知する通知手段を備える
   ことを特徴とする請求項２に記載の画像処理装置。
9. 前記通知手段は、光により、又は、音により、前記通知を行う
   ことを特徴とする請求項８に記載の画像処理装置。
10. 前記制御手段は、さらに、前記視点検出手段による視点の検出を有効とした後、前記入力手段による入力が受け付けられた場合、前記視点検出手段による視点の検出を無効とする
    ことを特徴とする請求項２に記載の画像処理装置。
11. さらに、データを取得する取得手段と、
    前記制御手段により選択された前記プレビュー画像上の位置を、取得した前記データにより表される画像上の位置に変換する変換手段と、
    前記画像上において、変換により生成された前記位置に、オプションとしての付加画像又は綴じ代である余白を配置する画像処理を施す画像処理手段と
    を備えることを特徴とする請求項２に記載の画像処理装置。
12. 前記表示手段は、プレビュー画像上において選択された前記位置に、前記付加画像又は綴じ代を示すマークを表示する
    ことを特徴とする請求項１１に記載の画像処理装置。
13. 前記マークは、オプションとしてのスタンプ、ウォーターマーク、ページ番号、日付又は時刻を表し、
    前記画像処理手段は、前記付加画像として、スタンプ、ウォーターマーク、ページ番号、日付又は時刻を表す画像を配置する
    ことを特徴とする請求項１２に記載の画像処理装置。
14. 電子写真方式によりシート上に画像を形成する画像形成装置と、画像が形成された前記シートに対して、後処理を施す後処理装置とから構成される画像形成システムであって、
    前記画像形成装置は、請求項２に記載の画像処理装置を備え、
    前記画像処理装置は、さらに、前記制御手段により選択された前記プレビュー画像上の位置を、前記シート上の位置に変換する変換手段を備え、
    前記後処理装置は、変換により生成されたシート上の前記位置において、後処理を施す後処理手段を備える
    ことを特徴とする画像形成システム。
15. 前記表示面は、プレビュー画像上において、選択された前記位置に、ステープル又はパンチ穴を表すマークを表示し、
    前記後処理手段は、シート上の前記位置において、ステープル綴じをし、又は、パンチ穴を穿孔する
    ことを特徴とする請求項１４に記載の画像形成システム。
16. 電子写真方式によりシート上に画像を形成する画像形成装置であって、
    請求項１～１３の何れか１項に記載の画像処理装置
    を備えることを特徴とする画像形成装置。
17. 表示面を有する表示手段を備える画像処理装置において用いられる制御方法であって、
    利用者の接触操作により入力を受け付ける入力ステップと、
    前記表示面上における利用者の視点を検出する視点検出ステップと、
    前記入力ステップにより受け付けた入力が、前記表示面に表示されるプレビュー画像上における位置を選択する動作に切り換える切換指示であるか否かを判断し、前記入力ステップにより受け付けた入力が、日付、時刻、ページ番号、ステープル、パンチ穴及び綴じ代のいずれかを選択する第一の選択肢であるか、又は、スタンプ及びウォーターマークのいずれかを選択する第二の選択肢であるかを判断する判断ステップと、
    前記切換指示であると判断され、第一の選択肢であると判断される場合、前記視点検出ステップによる視点の検出を有効とし、第一の選択肢に対してプレビュー画面上で予め定めたマーク指定領域内に視点が存在するとき、マーク指定領域内で第一の選択肢に対して予め定めた位置に、第一の選択肢を示すマークを表示するように制御し、前記切換指示であると判断され、第二の選択肢であると判断される場合、前記視点検出ステップによる視点の検出を有効とし、視点の位置に、第二の選択肢を示すマークを表示するように制御する制御ステップと
    を含むことを特徴とする制御方法。
18. 表示面を有する表示手段と、利用者の接触操作により入力を受け付ける入力手段と、前記表示面上における利用者の視点を検出する視点検出手段とを備える画像処理装置において用いられる制御用のコンピュータープログラムであって、
    コンピューターである画像処理装置に、
    前記入力手段により受け付けた入力が、前記表示面に表示されるプレビュー画像上における位置を選択する動作に切り換える切換指示であるか否かを判断し、前記入力手段により受け付けた入力が、日付、時刻、ページ番号、ステープル、パンチ穴及び綴じ代のいずれかを選択する第一の選択肢であるか、又は、スタンプ及びウォーターマークのいずれかを選択する第二の選択肢であるかを判断する判断ステップと、
    前記切換指示であると判断され、第一の選択肢であると判断される場合、前記視点検出手段による視点の検出を有効とし、第一の選択肢に対してプレビュー画面上で予め定めたマーク指定領域内に視点が存在するとき、マーク指定領域内で第一の選択肢に対して予め定めた位置に、第一の選択肢を示すマークを表示するように制御し、前記切換指示であると判断され、第二の選択肢であると判断される場合、前記視点検出手段による視点の検出を有効とし、視点の位置に、第二の選択肢を示すマークを表示するように制御する制御ステップと
    を実行させるためのコンピュータープログラム。

Images