JP7405720B2 - 画像形成装置、制御プログラムおよび制御方法 - Google Patents

Description

この発明は、画像形成装置、制御プログラムおよび制御方法に関し、特にたとえば、ジェスチャにより動作条件の設定および動作の実行を指示する、画像形成装置、制御プログラムおよび制御方法に関する。

この種の画像形成装置の一例が、特許文献１に開示されている。この特許文献１に開示された画像形成システムでは、メガネ型端末は、操作指示とジェスチャを対応付けて記憶し、撮像されたユーザの前方視界の画像に基づいてジェスチャを認識して、操作指示を受け付ける。また、メガネ型端末は、受け付けられた操作指示がドキュメントの読取指示である場合に、画像から印刷物を検出してドキュメント画像として切り出し、切り出したドキュメント画像を画像形成装置に送信する。

特開２０１８－６７８７５号公報

この背景技術では、ユーザのジェスチャを認識して、ドキュメント画像の印刷等が可能であるが、ジェスチャを認識するための撮像装置が必要であり、また、ジェスチャ認識処理を実行する必要があり、装置および処理にかかるコストが高い。

また、ユーザはジェスチャで操作指示を行えるが、ユーザは操作指示に応じたジェスチャを覚えておくか、操作指示に対応するジェスチャが記載された説明書などを見ながらジェスチャを行うため、操作指示が面倒である。

それゆえに、この発明の主たる目的は、新規な、画像形成装置、制御プログラムおよび制御方法を提供することである。

また、この発明の他の目的は、安価で容易にジェスチャで指示することができる、画像形成装置、制御プログラムおよび制御方法を提供することである。

第１の発明は、複数の赤外線センサ、複数の赤外線センサの周囲に複数のＬＥＤが配置されたディスプレイ、および複数のＬＥＤの一部を点灯させることにより、指示可能な内容および当該指示可能な内容を指示するためのジェスチャを報知する報知部を備え、複数の赤外線センサは、ディスプレイの上下または／および左右に配置される、画像形成装置である。

第２の発明は、第１の発明に従属し、複数のＬＥＤの一部は、上下または／および左右に直線状に並べて配置される複数の赤外線センサに沿って直線状に並べて配置される。

第３の発明は、第１または第２の発明に従属し、ジェスチャは、ユーザが、ディスプレイに対して、上下方向または／および左右方向に手を動かすことを含む。

第４の発明は、第３の発明に従属し、複数のＬＥＤは、ジェスチャに応じた発光パターンに従って発光する。

第５の発明は、第４の発明に従属し、発光パターンは、ユーザが手を動かす方向を報知するように複数のＬＥＤを点灯させるパターンである。

第６の発明は、第４の発明に従属し、発光パターンは、ユーザが手を動かす方向を報知するように複数のＬＥＤを所定の時間間隔で所定の順番に追加的に点灯させるパターンである。

第７の発明は、第１から第６の発明までのいずれかに従属し、ジェスチャによる指示は、画像形成装置が備える複数の機能のうちのいずれか１つを選択するための指示、当該複数の機能の各々における動作条件を選択するための指示、および当該複数の機能を実行またはキャンセルするための指示を含む。

第８の発明は、複数の赤外線センサ、および複数の赤外線センサの周囲に複数のＬＥＤが配置されたディスプレイを備え、複数の赤外線センサは、ディスプレイの上下または／および左右に配置される、画像形成装置の制御プログラムであって、画像形成装置のプロセッサに、複数のＬＥＤの一部を点灯させることにより、指示可能な内容および当該指示可能な内容を指示するためのジェスチャを報知する報知ステップを実行させる、制御プログラムである。

第９の発明は、複数の赤外線センサ、および複数の赤外線センサの周囲に複数のＬＥＤが配置されたディスプレイを備え、複数の赤外線センサは、ディスプレイの上下または／および左右に配置される、画像形成装置の制御方法であって、複数のＬＥＤの一部を点灯させることにより、指示可能な内容および当該指示可能な内容を指示するためのジェスチャを報知するステップを含む、制御方法である。

この発明によれば、安価で容易にジェスチャで指示することができる。

この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

図１は、この実施例の画像形成装置の外観構成の一例を示す斜視図である。 図２は、この実施例の画像形成装置の電気的な構成の一例を示すブロック図である。 図３は、図１および図２に示すディスプレイのパネルの一例を示す図である。 図４は、図１および図２に示すディスプレイの電子部品の構成の一例を示す図である。 図５は、図１および図２に示すディスプレイに表示されるホーム画面の第１の例を示す図である。 図６は、図１および図２に示すディスプレイに表示されるホーム画面の第２の例を示す図である。 図７は、図１および図２に示すディスプレイに表示されるホーム画面の第３の例を示す図である。 図８は、図１および図２に示すディスプレイに表示されるホーム画面の第４の例を示す図である。 図９は、図１および図２に示すディスプレイにおいて右方向に手を動かすジェスチャを報知する場合のＬＥＤの点灯の仕方を説明するための図である。 図１０は、図１および図２に示すディスプレイにおいて下方向に手を動かすジェスチャを報知する場合のＬＥＤの点灯の仕方を説明するための図である。 図１１は、図２に示すジェスチャ検出部において右方向に手を動かすジェスチャを検出する方法を説明するための図である。 図１２は、図２に示すジェスチャ検出部において下方向に手を動かすジェスチャを検出する方法を説明するための図である。 図１３は、図１および図２に示すディスプレイに表示される確認画面の第１の例を示す図である。 図１４は、図１および図２に示すディスプレイに表示される確認画面の第２の例を示す図である。 図１５は、図１および図２に示すディスプレイに表示されるカラーモード選択画面の第１の例を示す図である。 図１６は、図１および図２に示すディスプレイに表示されるカラーモード選択画面の第２の例を示す図である。 図１７は、図１および図２に示すディスプレイに表示される部数選択画面の第１の例を示す図である。 図１８は、図１および図２に示すディスプレイに表示される部数選択画面の第２の例を示す図である。 図１９は、図１および図２に示すディスプレイに表示される実行画面の第１の例を示す図である。 図２０は、図１および図２に示すディスプレイに表示される実行画面の第２の例を示す図である。 図２１は、図２に示すＲＡＭのメモリマップの一例を示す図である。 図２２は、図２に示すＣＰＵの全体処理の一例の第１の一部を示すフロー図である。 図２３は、図２に示すＣＰＵの全体処理の第２の一部であって、図２２に後続するフロー図である。 図２４は、図２に示すＣＰＵの全体処理の第３の一部であって、図２３に後続するフロー図である。 図２５は、図２に示すＣＰＵの全体処理の第４の一部であって、図２３および図２４に後続するフロー図である。 図２６は、図２に示すＣＰＵのジェスチャ判別処理の一例の第１の一部を示すフロー図である。 図２７は、図２に示すＣＰＵのジェスチャ判別処理の第２の一部であって、図２６に後続するフロー図である。

図１はこの発明の一実施例である画像形成装置１０の外観構成を示す斜視図である。図１を参照して、この実施例では、画像形成装置１０は、複写機能（つまり、コピー機能）、プリンタ機能、スキャナ機能およびファクシミリ機能などを有する複合機（ＭＦＰ：Multifunction Peripheral）である。

なお、この発明は複合機だけでなく、コピー機能、スキャナ機能およびファクシミリ機能の少なくとも１つを備える他の画像形成装置に適用可能である。

また、この明細書では、画像形成装置１０の構成についての説明において方向を用いる場合には、画像形成装置１０を操作するユーザに対向する面、つまり後述する操作パネル２６が設けられる側の面を前面（正面）として、画像形成装置１０およびその構成部材の前後方向（奥行方向）を規定し、画像形成装置１０およびその構成部材の左右方向（横方向）は、ユーザから画像形成装置１０を見た状態を基準として規定する。

画像形成装置１０は、画像読取部３０、画像形成部３２、手差し用紙給紙部３４、給紙装置３８および排紙トレイ４０を含む装置本体３６を備える。

画像読取部３０は、透明材（たとえば、コンタクトガラスまたはプラテンガラス）によって形成される原稿載置台を備え、装置本体３６に内蔵される。原稿載置台の上方には、ヒンジ等を介して原稿押えカバー３０ａが開閉自在に取り付けられる。

なお、この実施例では、原稿押えカバー３０ａには、手差し原稿給紙部が設けられていないが、手差し原稿給紙部を設けるようにしてもよい。この場合には、原稿押えカバー３０ａには、手差し原稿給紙部に載置された原稿を自動的に給紙するＡＤＦ（自動原稿送り装置）が設けられる。

また、画像読取部３０は、光源、複数のミラー、結像レンズおよびラインセンサ等を備える。この画像読取部３０は、原稿表面を光源によって露光し、原稿表面から反射した反射光を複数のミラーによって結像レンズに導く。そして、結像レンズによって反射光をラインセンサの受光素子に結像させる。ラインセンサでは、受光素子に結像した反射光の輝度または色度が検出され、原稿表面の画像に基づく読取画像データが生成される。ラインセンサとしては、ＣＣＤ（Charge Coupled Device）またはＣＩＳ（Contact Image Sensor）等が用いられる。

画像形成部３２は、装置本体３６に内蔵され、画像読取部３０の下方に設けられる。この画像形成部３２は、感光体ドラム、帯電装置、露光装置、現像装置、転写装置および定着装置などを備える。画像形成部３２は、手差し用紙給紙部（または、給紙トレイ）３４または給紙装置３８（または、給紙カセット３８ａ）等から搬送される画像記録媒体（たとえば、用紙）上に電子写真方式によって画像を形成し、画像形成済みの用紙を排紙トレイ４０に排出する。

ただし、用紙上に画像を形成するための出力画像データとしては、画像読取部３０で読み取った読取画像データ、または外部コンピュータから送信された画像データ等が利用される。

なお、読取画像データから各種の設定が反映された白黒またはカラーの出力画像データを生成する処理、および、出力画像データに従う白黒またはカラーの画像形成処理は既に周知であり、本願発明の本質的な内容とは異なるため、これらの詳細な説明については省略することにする。

また、詳細な説明は省略するが、画像形成装置１０は、カラーのプリント機能を備えており、画像形成部３２は、Ｙ（イエロー）、Ｍ（マゼンタ）、Ｃ（シアン）、Ｋ（ブラック）の各色について、４つの感光体ドラムと、４つの帯電装置と、４つの現像装置と、４つの中間転写ローラと、４つのクリーニング装置などを備える。また、色毎に、感光体ドラムと、帯電装置と、現像装置と、転写ローラと、クリーニング装置を含む画像形成ステーションが構成される。画像形成装置１０は、タンデム式の画像形成装置であって、画像形成部３２において、色毎の画像形成ステーションが一列に並んで配置される。

手差し用紙給紙部３４は、給紙手段の一例である。詳しい図示は省略するが、手差し用紙給紙部３４は、適宜のサイズの用紙がセットされる。この実施例では、１つの手差し用紙給紙部３４を示すが、手差し用紙給紙部３４は複数設けられていてもよい。給紙装置３８は、手差し用紙給紙部３４と同様に、給紙手段の一例である。詳しい図示は省略するが、給紙装置３８は、１以上の給紙カセット３８ａを有する。それぞれの給紙カセット３８ａには、適宜のサイズの用紙がセット（または、収容）される。給紙装置３８は、いずれかの給紙カセット３８ａから画像形成部３２へ用紙を供給する。上述したように、画像形成部３２に供給された用紙に対して、画像形成部３２による画像形成処理が施される。

ただし、手差し用紙給紙部３４から画像記録媒体を供給する場合には、手差し用紙給紙部３４は、装置本体３６に対して開いた状態で使用され、開いた状態の手差し用紙給紙部３４上に画像記録媒体がセットされる。

なお、画像記録媒体としては、用紙に限定されず、クリアファイル、ＯＨＰフィルムなどの紙以外のシートも用いられる。

排紙トレイ４０は、画像読取部３０および画像形成部３２の間に設けられる。排紙トレイ４０の底面は、画像形成部３２によって区画される。また、排紙トレイ４０の天面は、画像読取部３０によって区画される。さらに、排紙トレイ４０の左側面（正面から見た左側面）は、連結筐体４２の右側面で規定される。つまり、排紙トレイ４０の前面側、背面側および左側面側は、開口する。排紙トレイ４０の底面は、連結筐体４２側に向かって下り勾配となる傾斜面を有する。

また、画像読取部３０の前面側には、操作パネル２６が設けられる。操作パネル２６は、ＬＣＤ２２およびジェスチャ検出部２４を備えるディスプレイ２０および複数の操作ボタン２６ａを備える。

ディスプレイ２０は、機能の選択、動作条件の選択、および機能の実行またはキャンセルなどの指示の内容を含む各種の画面を表示する。一例として、ディスプレイ２０には、画像形成装置１０が実行可能な各種のまた機能から所望の機能を選択するための画面であるホーム画面３００（または、メインメニュー画面）、各機能の動作条件を選択するための画面（たとえば、カラーモード選択画面４００および部数選択画面４５０）、各機能を実行またはキャンセルするための実行画面５００およびユーザの選択および設定を確認するための確認画面（３５０など）などが表示される（図５～図８、図１３～図２０参照）。ただし、この実施例では、機能は、コピー（原稿のスキャンを含む）、スキャン、ファックスの送信およびユーザによってプリセットされた動作（以下、「ユーザプリセット」ということがある）を意味する。

ＬＣＤ２２は、汎用のモノクロのＬＣＤであり、数行程度の表示領域を有している。詳細な説明は省略するが、この実施例では、ＬＣＤ２２は、画像形成装置１０のステータス、プリント中のデータのファイル名、エラーコードなどを表示する。

ジェスチャ検出部２４は、ユーザのジェスチャ、この実施例では、ユーザの手の動き（手の動きを止めている状態も含む）を検出するための検出部である。ジェスチャ検出部２４の構成については、後述する。

操作ボタン２６ａは、ハードウェアキーであって、たとえば、ホームキー、クリアキー、省電力キー、主電源キー、モード選択キーおよびテンキーなどが含まれる。ホームキーは、後述するホーム画面３００をディスプレイ２０に表示させるためのキーである。クリアキーは、ユーザが設定した動作条件をクリアし、デフォルトの状態に戻すためのキーである。省電力キーは、消費電力が制限される省電力状態と、消費電力が制限されない通常状態とを切り替えるためのキーである。モード選択キーは、コピー、スキャンおよびＦＡＸなどの機能（または、動作モード）を選択するためのキーである。テンキーは、０～９までの数字キーであり、この実施例では、＃および＊のキーも含む。

なお、ハードウェアキーとは、物理的な装置として設けられたキーまたは押しボタンのことを言う。

図２は図１に示す画像形成装置１０の電気的な構成を示すブロック図である。図２を参照して、画像形成装置１０はＣＰＵ１２を含む。ＣＰＵ１２は、バス６０を介して、ＲＡＭ１４、ＨＤＤ１６、通信回路１８、画像読取部３０、画像形成部３２、ＬＥＤ駆動回路６２、ＬＣＤ駆動回路６４、センサ駆動回路６６および操作ボタン検出回路６８に接続される。

また、ＬＥＤ駆動回路６２はディスプレイ２０に接続され、ＬＣＤ駆動回路６４はＬＣＤ２２に接続され、センサ駆動回路６６はジェスチャ検出部２４に接続され、操作ボタン検出回路６８は操作ボタン２６ａに接続される。

ＣＰＵ１２は、画像形成装置１０の全体的な制御を司る。ＲＡＭ１４は、画像形成装置１０の主記憶装置であって、ＣＰＵ１２のワーク領域およびバッファ領域として用いられる。

ＨＤＤ１６は、画像形成装置１０の補助記憶装置であって、ＣＰＵ１２が画像形成装置１０の各部位の動作を制御するための制御プログラム、各種の画面についての表示データ、画像形成装置１０に予め設定（すなわち、デフォルト設定）された動作条件についてのデータおよび画像形成装置１０のコピー機能で印刷された原稿のデータ等を適宜記憶する。ただし、ＨＤＤ１６に代えて、または、ＨＤＤ１６とともに、ＳＳＤ、フラッシュメモリ、ＥＥＰＲＯＭなどの他の不揮発性メモリが設けられてもよい。

通信回路１８は、モデムおよびＮＩＣ（Network Interface Card）を含む。モデムは、ファクシミリの送受信を行うための通信回路であり、公衆電話回線に接続される。ＮＩＣは、ネットワーク（ＬＡＮまたは／およびインターネット）を介してサーバなどの外部のコンピュータまたは他の電子機器と有線または無線で通信するための通信回路であり、たとえばＬＡＮに接続される。

画像読取部３０および画像形成部３２は、上述したとおりであるため、重複する説明は省略する。

ＬＥＤ駆動回路６２は、ＣＰＵ１２の指示の下、ディスプレイ２０を構成する複数のＬＥＤの点灯および消灯を制御する。この実施例の複数のＬＥＤは、カラーＬＥＤであり、点灯する色も制御される。

ＬＣＤ駆動回路６４は、ＣＰＵ１２の指示の下、上述したＬＣＤ２２の表示を制御する。ただし、ＬＣＤ２２は省略することもできる。この場合、ＬＣＤ駆動回路６４も省略される。

センサ駆動回路６６は、ジェスチャ検出部２４を構成する複数の赤外線センサ２３０－２３６を駆動するための回路である。具体的には、センサ駆動回路６６は、ＣＰＵ１２の指示に従って、赤外線センサ２３０－２３６の各々の発光部を発光させるとともに、赤外線せんさ２３０－２３６の各々の受光部で赤外光を受光したことの検出結果をＣＰＵ１２に出力する。

この実施例では、複数の赤外線センサ２３０－２３６は、それぞれ、汎用の焦電型赤外線センサである。また、各赤外線センサ２３０－２３６の検出可能な距離は、数ｃｍから１０ｃｍ程度に設定される。これは、ユーザの手のみを検出し、ユーザの顔または胴体を検出しないようにするためである。

ディスプレイ２０、ＬＣＤ２２およびジェスチャ検出部２４は、図３に示すパネル２０ａおよび図４に示す電子部品２０ｂで構成される。図４からも分かるように、ＬＣＤ２２およびジェスチャ検出部２４は、ディスプレイ２０に内蔵される。

図３に示すように、パネル２０ａは、透明のアクリル板の裏面において、記号２００、文字（この実施例では、文字列）２０２、数字２０４および図形２０６を示す部分を除いて、赤外光を透過可能な暗色または黒色の塗料が塗布される。また、一例として、パネル２０ａ（ディスプレイ２０）は、パスポートと同じまたは同程度の大きさを有している。

図３に示す例では、パネル２０ａの中央に上下方向および左右方向を示す矢印の記号２００が表される。また、パネル２０ａの左端部には、コピー、スキャン、ＦＡＸ、モノクロおよびプリセットの文字列２０２および－の記号２００が上下に並んで表され、パネル２０ａの右端部には、＋の記号２００およびカラーの文字列２０２が上下に並んで表される。さらに、パネル２０ａの上端部には、１～９までおよび０の数字２０４が左右に並んで表される。さらにまた、上下方向を示す矢印の記号２００の上側の矢先の右方にキャンセルの文字列２０２が表され、上下方向を示す矢印の記号２００の下側の矢先の右方にＯＫの文字列２０２が表される。そして、上下方向の矢印の記号２００の左方であり、左右方向の矢印の記号２００の上方に、四角形の図形２０６が表される。

上記の記号２００、文字列２０２および数字２０４は、それぞれ、後述する電子部品２０ｂに含まれる複数のＬＥＤ２２０ａ－２２０ｊ、２２２ａ－２２２ｇ、２２４ａ－２２４ｈおよび２２６ａ－２２６ｊによって表示および非表示が制御される。また、上記の図形２０６の部分は、ＬＣＤ２２の表示パネル（または、カバー）として機能する。

図４に示すように、電子部品２０ｂは、電子基板２０００を含み、電子基板２０００には、複数のＬＥＤ２２０ａ－２２０ｊ、２２２ａ－２２２ｇ、２２４ａ－２２４ｈおよび２２６ａ－２２６ｊ、複数の赤外線センサ２３０－２３６およびＬＣＤ２２がそれぞれ所定の位置に実装される。

図３も参照して分かるように、具体的には、ＬＥＤ２２０ａはコピーの文字列２０２に対応する位置に配置され、ＬＥＤ２２０ｂはスキャンの文字列２０２に対応する位置に配置され、ＬＥＤ２２０ｃはＦＡＸの文字列２０２に対応する位置に配置され、ＬＥＤ２２０ｄは－の記号２００に対応する位置に配置され、ＬＥＤ２２０ｅはモノクロの文字列２０２に対応する位置に配置され、そして、ＬＥＤ２２０ｆはプリセットの文字列２０２に対応する位置に配置される。

ただし、「対応する位置」とは、パネル２０ａを電子部品２０ｂに重ねた場合に、一致するまたは重なる位置を意味する。以下、同様である。

また、ＬＥＤ２２２ａ、２２２ｂ、２２２ｃ、２２２ｄ、２２２ｅ、２２２ｆおよび２２２ｇは、上下方向の矢印の記号２００に対応する位置に、上下方向（縦方向）に並んで配置される。

さらに、ＬＥＤ２２４ａ、２２４ｂ、２２４ｃ、２２４ｄ、２２４ｅ、２２４ｆ、２２４ｇおよび２２４ｈは、左右方向の矢印の記号２００に対応する位置に、左右方向（横方向）に並んで配置される。

ただし、上下方向の矢印の記号２００は、左右方向の矢印の記号２００と交わっているため、その交わっている部分に配置されるＬＥＤ２２２ｄは両方の矢印の記号２００を点灯および消灯するのに共通で使用される。

また、ＬＥＤ２２６ａは１の数字２０４に対応する位置に配置され、ＬＥＤ２２６ｂは２の数字２０４に対応する位置に配置され、ＬＥＤ２２６ｃは３の数字２０４に対応する位置に配置され、ＬＥＤ２２６ｄは４の数字２０４に対応する位置に配置され、ＬＥＤ２２６ｅは５の数字２０４に対応する位置に配置され、ＬＥＤ２２６ｆは６の数字２０４に対応する位置に配置され、ＬＥＤ２２６ｇは７の数字２０４に対応する位置に配置され、ＬＥＤ２２６ｈは８の数字２０４に対応する位置に配置され、ＬＥＤ２２６ｉは９の数字２０４に対応する位置に配置され、そして、ＬＥＤ２２６ｊは０の数字２０４に対応する位置に配置される。

また、この実施例では、赤外線センサ２３０はＬＥＤ２２２ａとＬＥＤ２２２ｂの間に配置され、赤外線センサ２３２はＬＥＤ２２０ｃ（２２０ｄ）とＬＥＤ２２４ａの間に配置され、赤外線センサ２３４はＬＥＤ２２２ｆとＬＥＤ２２２ｇの間に配置され、そして、赤外線センサ２３６はＬＥＤ２２０ｉとＬＥＤ２２４ｈの間に配置される。

さらに、この実施例では、ＬＣＤ２２が、ＬＥＤ２２２ｂおよび２２２ｃの左方であり、かつ、ＬＥＤ２２４ａ－２２４ｄの上方に配置される。

図２に戻って、操作ボタン検出回路６８は、上述した操作ボタン２６ａの操作に応じた操作信号ないし操作データをＣＰＵ１２に出力する。

なお、図２に示す画像形成装置１０の電気的な構成は単なる一例であり、これに限定される必要はない。たとえば、ＳＤカードまたはＵＳＢメモリなどの各種の記憶装置を装着可能なメモリスロットなどの接続部を備えても良い。

このような画像形成装置１０では、ユーザは、自身の手でジェスチャによって指示（または、操作または入力）することができる。この実施例では、画像形成装置１０は、ユーザが選択可能（または、実行可能）な機能または動作に対応づけてジェスチャが割り当てられるのみならず、ユーザがジェスチャによって指示する場面において、指示可能な内容についてのジェスチャを、ＬＥＤ２２０ａ－２２０ｊ、２２２ａ－２２２ｇ、２２４ａ－２２４ｈおよび２２６ａ－２２６ｊの発光によって事前に報知する。つまり、画像形成装置１０は、ジェスチャによる指示を補助する。

以下、この明細書において、ディスプレイ２０に表示内容およびジェスチャについて、方向を用いて説明する場合には、ユーザがディスプレイ２０を正面から見た場合の上下左右の方向を用いることにする。

また、この明細書においては、ユーザがジェスチャにより指示する場合についてのみ説明するが、ユーザが操作ボタン２６ａにより指示する場合にも同様の処理が実行される。

図５～図８は、それぞれ、ユーザがジェスチャによる指示を行うのを待ち受けている場合のホーム画面３００の例を示す。ただし、ホーム画面３００は、ディスプレイ２０のパネル２０ａに表示される内容（すなわち、画面）である。また、図５～図８に示すホーム画面３００では、パネル２０ａの外枠と表示（または、点灯）されている記号２００および文字列２０２を黒色で示し、他を白色で示してある。以下、他の画面についても同様である。ただし、表示される数字２０４についても、記号２００および文字列２０２と同じである。

ホーム画面３００は、上述したように、画像形成装置１０における機能を選択するための画面であり、この実施例では、コピー、スキャン、ＦＡＸおよびユーザプリセットを選択可能である。

図５は、コピーを選択するためのジェスチャをユーザに報知しているホーム画面３００の一例である。図６は、スキャンを選択するためのジェスチャをユーザに報知しているホーム画面３００の一例である。図７は、ＦＡＸを選択するためのジェスチャをユーザに報知しているホーム画面３００の一例である。図８は、ユーザプリセットを選択するためのジェスチャーをユーザに報知しているホーム画面３００の一例である。

なお、ユーザプリセットは、ユーザが予め設定した動作を実行する機能であり、たとえば、原稿を所定の倍率でコピーしたり、原稿をスキャンしてＰＤＦのような所定のフォーマットで出力したりすることが該当する。

図５に示すホーム画面３００では、コピーの文字列２０２が表示されるとともに、右向きの矢印の記号２００が表示される。この実施例では、コピーの文字列２０２と右向きの矢印の記号２００は、同じ色（たとえば、黄色）で表示される。つまり、コピーを選択するためには、右向きに手を動かすことが報知される。

図６に示すホーム画面３００では、スキャンの文字列２０２が表示されるとともに、下向きの矢印の記号２００が表示される。この実施例では、スキャンの文字列２０２と下向きの矢印の記号２００は、同じ色（たとえば、緑色）で表示される。つまり、スキャンを選択するためには、下向きに手を動かすことが報知される。

図７に示すホーム画面３００では、ＦＡＸの文字列２０２が表示されるとともに、左向きの矢印の記号２００が表示される。この実施例では、ＦＡＸの文字列２０２と左向きの矢印の記号２００は、同じ色（たとえば、青色）で表示される。つまり、ＦＡＸを選択するためには、左向きに手を動かすことが報知される。

図８に示すホーム画面３００では、プリセットの文字列２０２が表示されるとともに、上向きの矢印の記号２００が表示される。この実施例では、プリセットの文字列２０２と上向きの矢印の記号２００は、同じ色（たとえば、赤色）で表示される。つまり、ユーザプリセットを選択するためには、上向きに手を動かすことが報知される。

上記のように、図５～図８に示すホーム画面３００では、右向きの矢印、下向きの矢印、左向きの矢印および上向きの矢印が表示されるが、この実施例では、各矢印は矢尻から矢先に向けて次第に伸びるように変化される。また、矢印の全体が表示されると、再度、矢尻から矢先に向けて次第に伸びるように変化される。このような変化が、各ホーム画面３００において数回（たとえば、３回）繰り返される。

また、この実施例では、各機能に異なる色が割り当てられ、機能の違いを表示する色によっても表現してある。一例として、上記のように、黄色がコピーに割り当てられ、緑色がスキャンに割り当てられ、青色がＦＡＸに割り当てられ、赤色がユーザプリセットに割り当てられる。

また、ユーザがいずれかの機能を選択することをジェスチャで指示するまでは、図５～図８に示すホーム画面３００はその順番で表示され、図８に示すホーム画面３００が表示されると、再び、図５に示すホーム画面３００から順番に表示される。ただし、上記のように、矢印の表示が数回繰り返された後に、次のホーム画面３００に表示が変化される。

ここで、矢印の表示方法について説明するとともに、ユーザのジェスチャの検出方法について説明する。

図９は右向きの矢印の記号の表示方法を説明するための図であり、図１０は下向きの矢印の記号の表示方法を説明するための図である。

図９は、右向きの矢印の記号２００が時間の変化に従って伸びる様子を示す。また、図９では、左右方向の矢印の記号２００に対応する位置に配置されるＬＥＤ２２４ａ、２２４ｂ、２２４ｃ、２２４ｄ、２２２ｄ、２２４ｅ、２２４ｆおよび２２４ｈを左右方向の矢印の記号２００の上方に示してある。ここでは、点灯されるＬＥＤのみについて説明し、点灯されていないＬＥＤについての説明は省略する。このことは、後述する下向きの矢印の記号２００の表示方法を説明する場合について同じである。

右向きの矢印の記号２００が表示される場合には、時間ｔ０から時間ｔ７までの第１所定時間において、第１所定時間を８等分した時間毎に、ＬＥＤ２２４ｂ、２２４ｃ、２２４ｄ、２２２ｄ、２２４ｅ、２２４ｆ、２２４ｇおよび２２４ｈがその順番で追加的に点灯される。この実施例では、第１所定時間は１秒に設定される。この第１所定時間は、ユーザが右向きに手を動かす動作すなわちジェスチャを行った場合に、ジェスチャ検出部２４を構成する赤外線センサ２３０－２３６でその動作すなわちジェスチャを検出可能な時間であり、実験によって決定される。第１所定時間は一例であり、使用する赤外線センサの能力などに応じて適宜変更される。

ただし、時間ｔ０は、ホーム画面３００（他の画面も同様である）において右向きの矢印の記号２００が最初に表示されるときと、右向きの矢印の記号２００が矢先まで表示されて、再度右向きの矢印の記号２００が矢尻側から表示されるときの時間である。

具体的には、時間ｔ０で、ＬＥＤ２２４ｂが点灯され、時間ｔ１で、ＬＥＤ２２４ｂおよび２２４ｃが点灯され、時間ｔ２で、ＬＥＤ２２４ｂ、２２４ｃおよび２２４ｄが点灯され、時間ｔ３で、ＬＥＤ２２４ｂ、２２４ｃ、２２４ｄおよび２２２ｄが点灯され、時間ｔ４で、ＬＥＤ２２４ｂ、２２４ｃ、２２４ｄ、２２２ｄおよび２２４ｅが点灯され、時間ｔ５で、ＬＥＤ２２４ｂ、２２４ｃ、２２４ｄ、２２２ｄ、２２４ｅおよび２２４ｆが点灯され、時間ｔ６で、ＬＥＤ２２４ｂ、２２４ｃ、２２４ｄ、２２２ｄ、２２４ｅ、２２４ｆおよび２２４ｇが点灯され、時間ｔ７で、ＬＥＤ２２４ｂ、２２４ｃ、２２４ｄ、２２２ｄ、２２４ｅ、２２４ｆ、２２４ｇおよび２２４ｈが点灯される。

したがって、右向きの矢印の記号２００が次第に伸びるように表示される。ＬＥＤ２２４ａは、左向きの矢印の記号２００の矢先を表示する場合に点灯されるため、右向きの矢印の記号２００が表示される場合には、点灯されない。

図示は省略するが、左向きの矢印の記号２００を表示する場合には、右向きの矢印２００を表示する場合とは逆向きに矢印が伸びるように、ＬＥＤ２２４ａ、２２４ｂ、２２４ｃ、２２４ｄ、２２２ｄ、２２４ｅ、２２４ｆおよび２２４ｇの点灯が制御される。この場合、ＬＥＤ２２４ｈは点灯されない。

また、図１０は、下向きの矢印の記号２００が時間の変化に従って伸びる様子を示す。また、図１０では、上下方向の矢印の記号２００に対応する位置に配置されるＬＥＤ２２２ａ、２２２ｂ、２２２ｃ、２２２ｄ、２２２ｅ、２２２ｆおよび２２４ｇを上下方向の矢印の記号２００の左方に示してある。

下向きの矢印の記号２００が表示される場合には、時間ｔ０から時間ｔ５までの第１所定時間において、第１所定時間を６等分した時間毎に、ＬＥＤ２２２ｂ、２２２ｃ、２２２ｄ、２２２ｅ、２２２ｆ、２２２ｇおよび２２２ｈがその順番で追加的に点灯される。

ただし、時間ｔ０は、ホーム画面３００（他の画面も同様である）において、下向きの矢印の記号２００が最初に表示されるときと、下向きの矢印の記号２００が矢先まで表示されて、再度下向きの矢印の記号２００が矢尻側から表示されるときの時間である。

具体的には、時間ｔ０で、ＬＥＤ２２２ｂが点灯され、時間ｔ１で、ＬＥＤ２２２ｂおよび２２２ｃが点灯され、時間ｔ２で、ＬＥＤ２２２ｂ、２２２ｃおよび２２２ｄが点灯され、時間ｔ３で、ＬＥＤ２２２ｂ、２２２ｃ、２２２ｄおよび２２２ｅが点灯され、時間ｔ４で、ＬＥＤ２２２ｂ、２２２ｃ、２２２ｄ、２２２ｅおよび２２２ｆが点灯され、時間ｔ５で、ＬＥＤ２２２ｂ、２２２ｃ、２２２ｄ、２２２ｅ、２２２ｆおよび２２２ｇが点灯される。

したがって、下向きの矢印の記号２００が次第に伸びるように表示される。ＬＥＤ２２２ａは、上向きの矢印の記号２００の矢先を表示する場合に点灯されるため、下向きの矢印の記号２００が表示される場合には、点灯されない。

図示は省略するが、上向きの矢印の記号２００を表示する場合には、下向きの矢印の記号２００を表示する場合とは逆向きに矢印が伸びるように、ＬＥＤ２２２ａ、２２２ｂ、２２２ｃ、２２２ｄ、２２２ｅ、２２２ｆおよび２２２ｇの点灯が制御される。この場合、ＬＥＤ２２２ｇは点灯されない。

上述したように、図５～図８に示す各ホーム画面３００が順番に表示されるとともに、各々のホーム画面３００では、機能を示す文字列２０２が所定の色で表示されるとともに、ジェスチャを報知するための矢印の記号２００が所定の色で所定回数表示される。このようにホーム画面３００が表示されるように、ＬＥＤ２２０ａ－２２０ｊ、２２２ａ－２２２ｇ、２２４ａ－２２４ｈおよび２２６ａ－２２６ｊの点灯および消灯するタイミングと、点灯する色の情報を含む点灯パターンについて表示データが予め用意され、ＨＤＤ１６に記憶されている。このことは、後述する他の画面についても同様である。

図１１はユーザが手を右向きに移動させるジェスチャ（すなわち、「右向きの動作」）の検出方法を説明するための図であり、図１２はユーザが手を下向きに移動させるジェスチャ（すなわち、「下向きの動作」）の検出方法を説明するための図である。ただし、図１１および図１２では、ジェスチャを開始した直後のユーザの手を破線で示し、ジェスチャを終了した直後のユーザの手を実線で示してある。また、図１１および図１２では、赤外線センサ２３０－２３６のみを記載し、ＬＥＤＬＥＤ２２０ａ－２２０ｊ、２２２ａ－２２２ｇ、２２４ａ－２２４ｈおよび２２６ａ－２２６ｊは省略してある。ただし、この実施例では、ディスプレイ２０は、その表示面が画像形成装置１０において上方を向くように設けられるため、ユーザが手を動かすのは、ディスプレイ２０の上方である。

図１１に示すように、ユーザが、ディスプレイ２０の上方で手を左から右向きに移動させると、最初に、赤外線センサ２３２で物体（すなわち、ユーザの手）が検出され、次に、赤外線センサ２３０または／および赤外線センサ２３４でユーザの手が検出され、最後に、赤外線センサ２３６でユーザの手が検出される。

ユーザがジェスチャによる指示を実行可能なタイミングにおいて、赤外線センサ２３０－２３６の出力が時間の変化とともに記憶される。この実施例では、ジェスチャによる指示が、ジェスチャの開始から終了までの時間が第１所定時間以上で実行された場合に、ジェスチャの種類（この実施例では、右向きの動作、左向きの動作、下向きの動作または上向きの動作）が判別される。

ただし、この実施例では、ジェスチャの開始は、赤外線センサ２３０－２３６のすべてが物体を検出していない状態から、赤外線センサ２３０－２３６のうちのいずれか１つ以上が物体を検出した状態に変化ときであり、ジェスチャの終了は、赤外線センサ２３０－２３６のうちのいずれか１つ以上が物体を検出している状態から、赤外線センサ２３０－２３６のすべてが物体を検出していない状態に変化したときである。

なお、ジェスチャの開始から終了までの時間が第１所定時間未満である場合には、ジェスチャによる指示であるか、ユーザの手がたまたまディスプレイ２０の上方を横切ったのかを区別できないため、ジェスチャによる指示の検出にエラーが発生した判断し、エラーをユーザに報知して、再度ジェスチャによる指示を検出するようにしてある。

エラーを報知する方法は、ビープ音を出力したり、ＬＥＤ２２０ａ－２２０ｊ、２２２ａ－２２２ｇ、２２４ａ－２２４ｈおよび２２６ａ－２２６ｊの全部（または一部）を所定の色（たとえば、赤色）で点滅（点灯および消灯の繰り返し）させたり、それらの両方を実行することが考えられる。他の実施例では、パネル２０ａにエラーの文字列を表し、その文字列に対応する電子基板２０００の位置にＬＥＤをさらに設けて、エラーの文字列を表示（発光）するようにしてもよい。

図示は省略するが、図１１に示す場合と逆向きに、すなわち、実線の手の位置から破線の手の位置に向けて、ユーザが手を動かすと、ユーザが手を左向きに移動させるジェスチャ（すなわち、「左向きの動作」）が検出される。

また、図１２に示すように、ユーザが、ディスプレイ２０の上方で手を上から下向きに移動させると、最初に、赤外線センサ２３０でユーザの手が検出され、次に、赤外線センサ２３２または／および赤外線センサ２３６でユーザの手が検出され、最後に、赤外線センサ２３４でユーザの手が検出される。

図示は省略するが、図１２に示す場合と逆向きに、すなわち、実線の手の位置から破線の手の位置に向けて、ユーザが手を動かすと、ユーザが手を上向きに移動させるジェスチャ（すなわち、「上向きの動作」）が検出される。

上述したように、この実施例では、ディスプレイ２０はパスポートと同程度の大きさであるため、ユーザが左向き、右向き、上向きおよび下向きに正しく手を動かす場合には、ジェスチャの開始から終了まで、赤外線センサ２３０－２３６の少なくとも１つでユーザの手が検出される。

したがって、ユーザのジェスチャの種類は、ジェスチャの開始時に、ユーザの手を検出していた赤外線センサ（２３０－２３６のいずれか）から、ジェスチャの終了時に、ユーザの手を検出していた赤外線センサ（２３０－２３６のいずれか）に向かう方向によって判別される。

なお、ユーザのジェスチャの種類を判別する方法は一例であり、限定される必要はない。赤外線センサの数を増やすことにより、ユーザの手の動きを細かく追跡することもできる。

また、この実施例では、第２所定時間（たとえば、３秒）以上継続して、ユーザが手を移動させずにディスプレイ２０上にかざしている場合には、つまり、手を動かさないジェスチャの場合には、特定の操作が実行されていることが判別される。一例として、赤外線センサ２３０－２３６のうちの少なくとも１つでユーザの手が検出され、その状態が第２所定時間以上継続した場合に、特定の操作が実行されていることが判断される。

以下の説明において、矢印の記号２００を表示する場合には、上記のように、ＬＥＤ２２２ａ-２２２ｇおよび２２４ａ-２２４ｈの点灯が制御され、ユーザのジェスチャを検出する場合には、上記のように、赤外線センサ２３０-２３６の検出結果に基づいてジェスチャの種類が判別される。このため、以下においては、重複する説明は省略することにする。

上記のホーム画面３００が表示されている場合に、ユーザが、ディスプレイ２０の上方で手を左から右向きに移動させると、ジェスチャとして右向きの動作が検出され、機能としてコピーが選択される。以下では、コピーが選択され、ジェスチャにより、各種の動作条件が設定され、さらに、コピーが実行される場合について説明する。

ただし、ユーザは、ホーム画面３００が表示されている場合には、コピー、スキャン、ＦＡＸおよびユーザプリセットのうち、いずれの機能を選択するためのジェスチャが報知されているかに関係無く、所望の機能を選択するためのジェスチャを行うことにより、所望の機能を選択することができる。

また、この実施例では、コピーについては、黄色が割り当てられるため、コピーについての動作条件が設定される場合に表示される画面（この実施例では、カラーモード選択画面４００および部数選択画面４５０）においては、記号２００および文字列２０２は黄色で表示される。したがって、図示は省略するが、他の機能が選択された場合には、動作条件が設定される場合においては、記号２００および文字列２０２は当該他の機能に割り当てられた色で表示される。

コピーが選択されると、選択した内容で良いかどうかを確認するための画面（以下、「確認画面」という）３５０がディスプレイ２０に表示される。

図１３は、コピー選択時において、選択した機能がコピーで良い（ＯＫする）ことを選択するためのジェスチャを報知するための確認画面３５０である。図１４は、コピー選択時において、選択した機能（ここでは、コピー）をキャンセルすることを選択するためのジェスチャを報知するための確認画面３５０である。

図１３および図１４に示す確認画面３５０では、コピーの文字列２０２が赤色で表示される。赤色で表示するのは、コピーが選択されたことを示すためである。後述するように、動作条件が選択された場合も同様である。また、図１３に示す確認画面３５０では、ＯＫすることを選択するジェスチャとして下向きの動作を報知するために、ＯＫの文字列２０２と下向きの矢印の記号２００が緑色で表示される。一方、図１４に示す確認画面３５０では、キャンセルすることを選択するジェスチャとして上向きの動作を報知するために、キャンセルの文字列２０２と上向きの矢印の記号２００が赤色で表示される。

図１３および図１４に示す確認画面３５０は、ＯＫまたはキャンセルが選択されるまで、すなわち、下向きの動作または上向きの動作が検出されるまで、交互にディスプレイ２０に表示される。ただし、図１３に示す確認画面３５０が表示されている間に、下向きの矢印の記号２００が３回表示され、図１４に示す確認画面３５０が表示されている間に、上向きの矢印の記号２００が３回表示される。

確認画面３５０がディスプレイ２０に表示されている場合に、キャンセルが選択された場合には、ホーム画面３００に戻って、再度機能が選択される。一方、確認画面３５０がディスプレイ２０に表示されている場合に、ＯＫが選択された場合には、次に、カラーモードを選択するための画面（以下、「カラーモード選択画面」という）４００がディスプレイ２０に表示される。

図１５は、カラーを選択するためのジェスチャを報知するカラーモード選択画面４００である。図１６は、モノクロを選択するためのジェスチャを報知するカラーモード選択画面４００である。

図１５に示すカラーモード選択画面４００では、カラーモードとしてカラーを選択するジェスチャとして右向きの動作を報知するために、カラーの文字列２０２と右向きの矢印の記号２００が黄色で表示される。一方、図１６に示すカラーモード選択画面４００では、カラーモードとしてモノクロを選択するジェスチャとして左向きの動作を報知するために、モノクロの文字列２０２と左向きの矢印の記号２００が黄色で表示される。

図１５および図１６に示すカラーモード選択画面４００は、カラーまたはモノクロが選択されるまで、つまり、右向きの動作または左向きの動作が検出されるまで、交互にディスプレイ２０に表示される。ただし、図１５に示すカラーモード選択画面４００が表示されている間に、右向きの矢印の記号２００が３回表示され、図１６に示すカラーモード選択画面４００が表示されている間に、左向きの矢印の記号２００が３回表示される。

ただし、カラーモード選択画面４００が表示されている場合に、特定の操作が検出されると、デフォルト設定で、コピーが強制的に実行される。以下、実行画面５００が表示されている場合に、コピーの実行が指示されるまでの間に、特定の操作が検出された場合も、同様に、デフォルト設定で、コピーが強制的に実行される。

カラーモードが選択されると、次に、選択されたカラーモードで良いかどうかを確認するための確認画面（以下、「カラーモードの確認画面」という）が表示される。このカラーモードの確認画面は、上記の確認画面３５０と同様であるが、ここでは、カラーモードがＯＫかキャンセルかを確認するため、選択されたカラーモードすなわちカラーまたはモノクロの文字列２０２が赤色で表示される。ＯＫの場合とキャンセルの場合の矢印の記号２００の表示については、確認画面３５０と同じである。

カラーモードがキャンセルされた場合には、カラーモード選択画面４００に戻って、再度カラーモードが選択される。一方、カラーモードがＯＫされた場合には、コピーの部数を選択するための画面（以下、「部数選択画面」という）４５０がディスプレイ２０に表示される。

図１７および図１８に示す部数選択画面４５０では、部数を示す数字（ここでは、２）２０４が黄色で表示される。ただし、部数選択画面４５０が表示された当初では、部数として１の数字２０４が表示される。図１７に示す部数選択画面４５０では、部数を増やすジェスチャとして右向きの動作を報知するために、右向きの矢印の記号２００が黄色で表示される。一方、図１８に示す部数選択画面４５０では、部数を減らすジェスチャとして左向きの動作を報知するために、左向きの矢印の記号２００が黄色に表示される。

図１７および図１８に示す部数選択画面４５０は、部数の選択が終了するまで、交互にディスプレイ２０に表示される。この実施例では、部数を選択するジェスチャによる指示が第３所定時間（この実施例では、３秒）以上検出されない場合に、部数の選択が終了したことが判断される。

部数の選択が終了すると、選択した部数がＯＫであるかキャンセルであるかを確認するための確認画面（以下、「部数の確認画面」という）がディスプレイ２０に表示される。この部数の確認画面は、上記の確認画面３５０と同様であるが、ここでは、選択された部数がＯＫかキャンセルかを確認するため、選択された部数を示す数字２０４が赤色で表示される。ＯＫの場合とキャンセルの場合の矢印の記号２００については、確認画面３５０と同じである。

部数がキャンセルされた場合には、部数選択画面４５０に戻って、再度部数が選択される。一方、部数がＯＫされた場合には、機能（ここでは、コピー）を実行するための画面（以下、実行画面」という）５００がディスプレイ２０に表示される。

図１９に示す実行画面５００では、コピーの実行（ＯＫ）を指示するジェスチャとして下向きの動作を報知するために、下向きの矢印の記号２００が緑色で表示される。一方、図２０に示す実行画面５００では、コピーのキャンセルを指示するジェスチャとして上向きの動作に移動させるジェスチャを示すために、上向きの矢印の記号２００が表示される。

図１９および図２０に示す実行画面５００は、コピーの実行またはキャンセルが指示されるまで、つまり、下向きの動作または上向きの動作が検出されるまで、交互にディスプレイ２０に表示される。ただし、図１９に示す実行画面５００が表示されている間に、下向きの矢印の記号２００が３回表示され、図２０に示す実行画面５００が表示されている間に、上向きの矢印の記号２００が３回表示される。

コピーのキャンセルが指示された場合には、選択された機能および動作条件がリセットされ、ホーム画面３００に戻る。一方、コピーの実行が指示された場合には、コピーが実行または開始される。したがって、原稿が画像読取部３０によって読み取られ、画像形成部３２によって、部数の数だけ原稿に対応する出力画像が用紙などの記録媒体に印刷される。

図示は省略するが、他の機能すなわちスキャン、ＦＡＸおよびユーザプリセットが選択された場合にも、同様に、指示可能な内容についてのジェスチャがユーザに報知され、ユーザのジェスチャを検出して、検出したジェスチャに応じた処理が実行される。

図２１は、図２に示したＲＡＭ１４のメモリマップ６００の一例を示す。図２１に示すように、ＲＡＭ１４は、プログラム記憶領域６１０およびデータ記憶領域６５０を有する。このうちのプログラム記憶領域６１０には、画像形成装置１０の制御プログラムが記憶される。具体的には、制御プログラムは、表示制御プログラム６１２、操作検出プログラム６１４、ジェスチャ判別プログラム６１６、画像読取プログラム６１８、画像処理プログラム６２０、画像形成プログラム６２２、および、通信プログラム６２４などを含む。

表示制御プログラム６１２は、ディスプレイ２０に、ホーム画面３００、確認画面３５０、カラーモード選択画面４００、部数選択画面４５０および実行画面５００などの各種の画面を表示するとともにエラーを報知するための表示データ６５２に従ってＬＥＤ駆動回路６２を制御するためのプログラムである。

操作検出プログラム６１４は、操作ボタン２６ａの操作状態およびユーザのジェスチャすなわち赤外線センサ２３０－２３６の検出状態（オン／オフ）を検出するためのプログラムである。ジェスチャ判別プログラム６１６は、赤外線センサ２３０－２３６の検出状態に基づいてジェスチャを検出し、検出したジェスチャの種類を判別するためのプログラムである。

画像読取プログラム６１８は、画像読取部３０を制御するためのプログラムである。画像処理プログラム６２０は、画像読取部３０によって生成された読取画像データなどの各種の画像データに適宜の画像処理を施すためのプログラムである。

画像形成プログラム６２２は、画像形成部３２を制御するためのプログラムである。通信プログラム６２４は、他のコンピュータとの間で、有線または無線で通信（データの送信または／および受信）するためのプログラムである。

図示は省略するが、プログラム記憶領域６１０には、音を出力するためのお出力プログラムおよび画像処理が施された画像データをＨＤＤ１６などに保存するための保存プログラムなどの他のプログラムも記憶される。

データ記憶領域６５０には、各種のデータが記憶される。この各種のデータとしては、表示データ６５２、操作データ６５４、検出データ６５６、判別データ６５８、機能選択データ６６０、カラーモードデータ６６２、および、部数データ６６４などがある。

表示データ６５２は、時系列に従って、複数のＬＥＤ２２０ａ－２２０ｊ、２２２ａ－２２２ｇ、２２４ａ－２２４ｈおよび２２６ａ－２２６ｊの点灯および消灯のタイミングと、点灯する色を制御するための発光パターンについてのデータであり、表示する画面の種類および報知するエラーに対応して、それぞれ予め用意されており、必要に応じて、ＨＤＤ１６から読み込まれる。

操作データ６５４は、操作ボタン２６ａの操作状態を表すデータである。操作ボタン２６ａの操作状態を表すデータは、当該操作ボタン２６ａに対するユーザの押下を示すデータであり、時系列に従って記憶される。操作データ６５４は、ＣＰＵ１２の処理に使用されると、消去される。

検出データ６５６は、赤外線センサ２３０－２３６の検出状態を表すデータである。赤外線センサ２３０－２３６の検出状態を表すデータは、各赤外線センサ２３０のオン（検出）／オフ（非検出）を示すデータであり、時系列に従って記憶される。検出データ６５６は、ジェスチャの種類が判別されると、消去される。

判別データ６５８は、赤外線センサ２３０－２３６の検出状態を表すデータに基づいて判別したジェスチャの種類を示すデータである。この実施例では、ジェスチャの種類は、左向きの動作、右向きの動作、上向きの動作、下向きの動作または特定の操作の５種類である。判別データ６５８は、ＣＰＵ１２の処理に使用されると、消去される。

機能選択データ６６０は、ホーム画面３００が表示されている場合に、ユーザによって選択された機能を示すデータである。この実施例では、機能選択データ６６０は、コピー、スキャン、ＦＡＸまたはユーザプリセットの種類を示す。ただし、ユーザが機能を選択する前においては、機能選択データ６６０はＮｕｌｌデータである。この機能選択データ６６０を参照して、それぞれの機能に応じた動作条件を選択するための画面および各種の確認画面の表示が制御されるとともに、ユーザのジェスチャによって指示された内容についての処理が実行される。

カラーモードデータ６６２は、カラーモード選択画面４００が表示されている場合に、ユーザによって選択されたカラーモードすなわちカラーまたはモノクロを示すデータである。ただし、ユーザがカラーモードを選択する前においては、カラーモードデータ６６２はデフォルトで設定されたカラーまたはモノクロを示すデータである。

部数データ６６４は、部数選択画面４５０が表示されている場合に、ユーザによって選択された部数を示すデータである。ただし、ユーザが部数を選択する前においては、部数データ６６４はデフォルトで設定された初期値（たとえば、１）を示すデータである。

図示は省略するが、データ記憶領域６５０には、制御プログラムの実行に必要な他のデータが記憶されるとともに、制御プログラムの実行に必要なカウンタ（または、タイマ）または／およびフラグも記憶される。

図２２～図２５は図２に示すＣＰＵ１２の全体的な制御処理の一例を示すフロー図である。以下、制御処理について説明するが、同じ処理内容について説明する場合には、簡単に説明することにする。

図２２に示すように、ＣＰＵ１２は、制御処理を開始すると、ステップＳ１で、図５～図８に示したようなホーム画面１００をディスプレイ２０に表示する。この制御処理においては、ホーム画面１００をディスプレイ２０に表示すると記載してあるが、上述したように、図５～図８に示したホーム画面１００が順次表示されるとともに、図５～図８に示した各ホーム画面１００においては、機能を示す文字列２０２が当該機能に割り当てられた所定の色で表示されるとともに、機能を示す文字列２０２と同じ所定の色で矢印の記号２００が伸びるように表示されることが数回（この実施例では、３回）繰り返される。したがって、ユーザは、ホーム画面１００を見て、所望の機能を選択するためのジェスチャを知ることができる。これらのことは、表示される記号２００および文字列２０２の色を除いて、後述する確認画面３５０、カラーモード選択画面４００、カラーモードの確認画面、部数選択画面４５０、部数の確認画面および実行画面５００についても同様である。なお、確認画面３５０、カラーモード選択画面４００、カラーモードの確認画面、部数選択画面４５０、部数の確認画面および実行画面５００において、表示される記号２００および文字列２０２の色については、上述した通りである。

次のステップＳ３では、ジェスチャが有るかどうかを判断する。ここでは、ＣＰＵ１２は、制御処理と並行して実行するジェスチャ判別処理（図２６および図２７参照）において判別したジェスチャの種類についての判別データ６５８がＲＡＭ１４に記憶されているかどうかを判断する。以下、ジェスチャが有るかどうかを判断する場合について同じ。

ステップＳ３で“ＮＯ”であれば、つまり、ジェスチャが無ければ、ステップＳ１に戻る。一方、ステップＳ３で“ＹＥＳ”であれば、つまり、ジェスチャが有れば、ステップＳ５で、ジェスチャが右向きの動作であるかどうかを判断する。

ステップＳ５で“ＮＯ”であれば、つまり、ジェスチャが右向きの動作でなければ、ステップＳ７で、選択された他の機能すなわちスキャン、ＦＡＸまたはユーザプリセットについての処理を実行して、ステップＳ１に戻る。

一方、ステップＳ５で“ＹＥＳ”であれば、つまり、ジェスチャが右向きの動作であれば、ステップＳ９で、コピーを選択して、すなわち、機能がコピーである機能選択データ６６０を記憶して、ステップＳ１１で、図１３および図１４に示したような確認画面３５０をディスプレイ２０に表示する。

続くステップＳ１３では、ジェスチャが有るかどうかを判断する。ステップＳ１３で“ＮＯ”であれば、ステップＳ１１に戻る。一方、ステップＳ１３で“ＹＥＳ”であれば、ステップＳ１５で、ジェスチャが下向きの動作であるかを判断する。

ステップＳ１５で“ＮＯ”であれば、つまり、ジェスチャが上向きの動作であれば、キャンセルと判断し、機能選択データ６６０をＮｕｌｌデータに更新して、ステップＳ１に戻る。一方、ステップＳ１５で“ＹＥＳ”であれば、つまり、ジェスチャが下向きの動作であれば、ＯＫと判断し、図２３に示すステップＳ１７で、図１５および図１６に示したようなカラーモード選択画面４００をディスプレイ２０に表示する。

続くステップＳ１９では、ジェスチャが有るかどうかを判断する。ステップＳ１９で“ＮＯ”であれば、ステップＳ１７に戻る。一方、ステップＳ１７で“ＹＥＳ”であれば、ステップＳ２１で、特定の操作であるかどうかを判断する。

ステップＳ２１で“ＹＥＳ”であれば、つまり、特定の操作であれば、ステップＳ２３で、デフォルト設定でコピーを開始し、図２５に示すステップＳ６９に進む。一方、ステップＳ２１で“ＮＯ”であれば、つまり、特定の操作でなければ、ステップＳ２５で、右向きの動作であるかどうかを判断する。

ステップＳ２５で“ＹＥＳ”であれば、ステップＳ２７で、カラーを選択して、すなわち、カラーを示すカラーモードデータ６６２をＲＡＭ１４に記憶して、ステップＳ３１に進む。一方、ステップＳ２５で“ＮＯ”であれば、ステップＳ２９で、モノクロを選択し、すなわち、モノクロを示すカラーモードデータ６６２をＲＡＭ１４に記憶して、ステップＳ３１に進む。

ステップＳ３１では、カラーモードの確認画面を表示する。次のステップＳ３３では、ジェスチャが有るかどうかを判断する。ステップＳ３３で“ＮＯ”であれば、ステップＳ３１に戻る。一方、ステップＳ３３で“ＹＥＳ”であれば、ステップＳ３５で、下向きの動作であるかどうかを判断する。

ステップＳ３５で“ＮＯ”であれば、カラーモードデータ６６２をデフォルト設定に戻して、ステップＳ１７に戻る。一方、ステップＳ３５で“ＹＥＳ”であれば、図２４に示すステップＳ３７で、図１７および図１８に示したような部数選択画面４５０をディスプレイ２０に表示する。

次のステップＳ３９では、ジェスチャが有るかどうかを判断する。ステップＳ３９で“ＮＯ”であれば、ステップＳ４１で、ジェスチャの無い時間が第３所定時間（この実施例では、３秒）を経過したかどうかを判断する。なお、図示は省略するが、ジェスチャの無い時間をカウントするためのタイマ（説明の都合上、「第１タイマ｝という）はＲＡＭ１４に設けられ、ステップＳ３９でジェスチャが無いことが最初に判断されたときに第１タイマがスタートされ、ジェスチャの無い時間がカウントされる。

ステップＳ４１で“ＮＯ”であれば、つまり、ジェスチャの無い時間が第３所定時間を経過していなければ、ステップＳ３７に戻る。一方、ステップＳ４１で“ＹＥＳ”であれば、ステップＳ４３で、部数を決定して、図２５に示すステップＳ５５に進む。

また、ステップＳ３９で“ＹＥＳ”であれば、つまり、ジェスチャの無い時間が第３所定時間を経過していれば、ステップＳ４５で、特定の操作かどうかを判断する。ステップＳ４５で“ＹＥＳ”であれば、ステップＳ４７で、デフォルト設定でコピーを開始して、ステップＳ６９に進む。一方、ステップＳ４５で“ＮＯ”であれば、ステップＳ４９で、右向きの動作であるかどうかを判断する。

ステップＳ４９で“ＹＥＳ”であれば、ステップＳ５１で、部数を１加算して、ステップＳ３７に戻る。一方、ステップＳ４９で“ＮＯ”であれば、ステップＳ５３で、部数を１減算して、ステップＳ３７に戻る。ステップＳ５１またはＳ５３の処理を実行することにより、部数データ６６４が更新され、その後に表示される部数選択画面４５０の部数も変化される。ただし、部数データ６６４が示す部数が１である場合には、ジェスチャが左向きの動作を示したとしても、部数データ６６４は更新されない。

図２５に示すように、ステップＳ５５では、部数の確認画面をディスプレイ２０に表示する。次のステップＳ５７では、ジェスチャが有るかどうかを判断する。ステップＳ５７で“ＮＯ”であれば、ステップＳ５５に戻る。一方、ステップＳ５７で“ＹＥＳ”であれば、ステップＳ５９で、下向きの動作であるかどうかを判断する。

ステップＳ５９で“ＮＯ”であれば、図２４に示したステップＳ３７に戻る。一方、ステップＳ５９で“ＹＥＳ”であれば、ステップＳ６１でえ、図１９および図２０に示したような実行画面５００をディスプレイ２０に表示する。

次のステップＳ６３では、ジェスチャが有るかどうかを判断する。ステップＳ６３で“ＮＯ”であれば、ステップＳ６１に戻る。一方、ステップＳ６３で“ＹＥＳ”であれば、ステップＳ６５で、下向きの動作であるかどうかを判断する。

ステップＳ６５で“ＮＯ”であれば、機能選択データ６６０、カラーモードデータ６６２および部数データ６６４を初期の状態に戻して、ステップＳ１に戻る。一方、ステップＳ６５で“ＹＥＳ”であれば、ステップＳ６７で、カラーモードデータ６６２が示すカラーモードでコピーを開始する。コピーは、部数データ６６４が示す部数だけ実行される。

次のステップＳ６９では、コピーの終了かどうかを判断する。ステップＳ６９で“ＮＯ”であれば、つまり、コピーの終了でなければ、ステップＳ６９に戻る。一方、ステップＳ６９で“ＹＥＳ”であれば、つまり、コピーの終了であれば、機能選択データ６６０、カラーモードデータ６６２および部数データ６６４を初期の状態に戻して、ステップＳ１に戻る。

図２６および図２７は、図２に示したＣＰＵ１２のジェスチャ判別処理の一例を示すフロー図である。上述したように、このジェスチャ判別処理は、上記の制御処理と並行して実行され、具体的には、確認画面３５０、カラーモード選択画面４００、カラーモードの確認画面、部数選択画面４５０、部数の確認画面および実行画面５００の各画面が表示されたときに、開始される。

図２６に示すように、ＣＰＵ１２は、ジェスチャ判別処理を開始すると、ステップＳ８１で、赤外線センサ２３０－２３６が物体を検出しているかどうかを判断する。ここでは、ＣＰＵ１２は、赤外線センサ２３０－２３６のうちのいずれか１つでも物体を検出している場合に、“ＹＥＳ”と判断し、赤外線センサ２３０－２３６のいずれも物体を検出していない場合に、“ＮＯ”と判断する。

ステップＳ８１で“ＮＯ”であれば、ステップＳ８１に戻る。一方、ステップＳ８１で“ＹＥＳ”であれば、ステップＳ８３で、検出データ６５６をＲＡＭ１４に記憶する。ステップＳ８３では、物体を検出している赤外線センサ２３０－２３６の識別情報を記載した検出データ６５６が記憶される。

次のステップＳ８５では、タイマ（説明の都合上、「第２タイマ」という）をリセットおよびスタートする。図示は省略したが、第２タイマはＲＡＭ１４に設けられ、同一の赤外線センサ２３０－２３６が物体を継続して検出している時間をカウントする。なお、第２タイマは第１タイマと異なるタイマである。

続くステップＳ８７では、物体を検出している赤外線センサ２３０－２３６が変化したかどうかを判断する。ここでは、ＣＰＵ１２は、赤外線センサ２３０－２３６のいずれか１つ以上において、検出状態（オン／オフ）が変化したかどうかを判断する。

ステップＳ８７で“ＹＥＳ”であれば、つまり、物体を検出している赤外線センサ２３０－２３６が変化すれば、図２７に示すステップＳ９３に進む。一方、ステップＳ８７で“ＮＯ”であれば、つまり、物体を検出している赤外線センサ２３０－２３６が変化しなければ、ステップＳ８９で、タイマのカウント値が第２所定時間（この実施例では、３秒）を経過したかどうかを判断する。

ステップＳ８９で“ＮＯ”であれば、つまり、タイマのカウント値が第２所定時間を経過していなければ、ステップＳ８７に戻る。一方、ステップＳ８９で“ＹＥＳ”であれば、つまり、タイマのカウント値が第２所定時間を経過していれば、ステップＳ９１で、特定の操作を判別して、つまり、特定の操作を示す判別データ６５８をＲＡＭ１４に記憶して、図２７に示すステップＳ１０５に進む。

図２７に示すように、ステップＳ９３では、検出データを更新する。ここでは、ＣＰＵ１２は、ステップＳ８３で記憶した識別情報に、ステップＳ８７で“ＹＥＳ”と判断したときに物体を検出している赤外線センサ２３０－２３６の識別情報を、時系列に従って追加した検出データ６５６をＲＡＭ１４に記憶する。

続くステップＳ９５では、赤外線センサ２３０－２３６が物体を検出しているかどうかを判断する。この判断は、ステップＳ８１と同じである。ステップＳ９５で“ＹＥＳ”であれば、図２６に示したステップＳ８７に戻る。一方、ステップＳ９５で“ＮＯ”であれば、ステップＳ９７で、タイマのカウント値が第１所定時間（この実施例では、１秒）を経過したかどうかを判断する。

ステップＳ９７で“ＮＯ”であれば、つまり、タイマのカウント値が第１所定時間を経過していなければ、ステップＳ９９で、エラーを報知し、ステップＳ１０１で、検出データ６５６を消去して、ステップＳ８１に戻る。ステップＳ９９では、ＣＰＵ１２は、エラーを報知する場合の表示データ６５２に基づいてＬＥＤ駆動回路６２を制御し、ＬＥＤ２２０ａ－２２０ｊ、２２２ａ－２２２ｇ、２２４ａ－２２４ｈおよび２２６ａ－２２６ｊの全部を、赤色で数秒間点滅させる。

一方、ステップＳ９７で“ＹＥＳ”であれば、つまり、タイマのカウント値が第１所定時間を経過していれば、ステップＳ１０３で、ジェスチャの種類を判別し、ステップＳ１０５で、検出データを消去して、ジェスチャ判別処理を終了する。ステップＳ１０３では、ＣＰＵ１２は、上述したように、検出データ６５６に含まれる識別情報のうち、最初に記載された識別情報に対応する赤外線センサ２３０－２３６から最後に記載された識別情報に対応する赤外線センサ２３０－２３６に向かう方向を算出し、算出した方向の動作を示す判別データ６５８をＲＡＭ１４に記憶する。

この実施例によれば、ユーザが複数のＬＥＤを点灯および消灯させることにより、操作可能なジェスチャを報知するので、安価で容易にジェスチャによって指示することができる。

なお、この実施例では、左向きの動作、右向きの動作、上向きの動作および下向きの動作の４つの方向についてのジェスチャで、機能の選択、動作条件の選択（上述の実施例では、カラーモードの選択および部数の選択）、および、機能の実行またはキャンセルを指示するようにしたが、機能の数が２つである場合には、左右または上下の２つの方向についてのジェスチャで指示することができる。

また、この実施例では、左向きの動作、右向きの動作、上向きの動作および下向きの動作の４つの方向についてのジェスチャを報知するために、矢印の記号が伸びるように表示するようにしたが、これに限定される必要はない。他の例では、矢印の記号の全体を第１所定時間間隔で数回点滅させるようにしてもよい。このようにしても、矢印によって手を動かす方向を知ることができ、点滅の時間間隔によって手を動かす速さを直感的に知ることができる。

さらに、この実施例では、カラーＬＥＤを用いることにより、機能毎に、矢印および文字列を異なる色で表示するようにしたが、これに限定される必要はない。単色のＬＥＤを用いて、矢印および文字列を単に表示するようにしてもよい。また、２色のＬＥＤを用いて、２つの設定項目のうちの１つを選択したり、機能の実行またはキャンセルを指示したりする場合には、矢印および文字列を色分けして表示するようにしてもよい。

さらにまた、この実施例では、プリンタ、コピー、ＦＡＸおよびスキャンの４つの機能を備える画像形成装置について説明したが、画像形成装置が、コピー機、ＦＡＸまたはスキャナの専用機である場合には、ホーム画面は省略される。

また、図２２～図２７に示したフロー図において、同じ結果を得られる場合には、適宜処理の順番を変更可能である。また、図２２～図２７に示したフロー図に従って、ＣＰＵ１２が制御処理およびジェスチャ判別処理を実行する場合について説明したが、処理の一部を画像形成装置１０と通信可能に接続された他のコンピュータが実行することもできる。

また、本発明は、画像形成装置という装置の形態に限らず、当該画像形成装置の制御プログラムというプログラム（ソフトウェア）の形態、および、当該画像形成装置の制御方法という方法の形態によっても、提供することができる。

プログラムをコンピュータ読み取り可能な記録媒体に記録して提供し、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行うようにしてもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

１０ …画像形成装置
１２ …ＣＰＵ
１４ …ＲＡＭ
１６ …ＨＤＤ
２０ …ディスプレイ
２２ …ＬＣＤ
２４ …ジェスチャ検出部
３０ …画像読取部
３２ …画像形成部

Claims (9)

1. 複数の赤外線センサ、
   前記複数の赤外線センサの周囲に複数のＬＥＤが配置されたディスプレイ、および
   前記複数のＬＥＤの一部を点灯させることにより、指示可能な内容および当該指示可能な内容を指示するためのジェスチャを報知する報知部を備え、
   前記複数の赤外線センサは、前記ディスプレイの上下または／および左右に配置される、画像形成装置。
2. 前記複数のＬＥＤの一部は、前記上下または／および左右に直線状に並べて配置される前記複数の赤外線センサに沿って直線状に並べて配置される、請求項１記載の画像形成装置。
3. 前記ジェスチャは、ユーザが、前記ディスプレイに対して、上下方向または／および左右方向に手を動かすことを含む、請求項１または２記載の画像形成装置。
4. 前記複数のＬＥＤは、前記ジェスチャに応じた発光パターンに従って発光する、請求項３記載の画像形成装置。
5. 前記発光パターンは、前記ユーザが手を動かす方向を報知するように前記複数のＬＥＤを点灯させるパターンである、請求項４記載の画像形成装置。
6. 前記発光パターンは、前記ユーザが手を動かす方向を報知するように前記複数のＬＥＤを所定の時間間隔で所定の順番に追加的に点灯させるパターンである、請求項４記載の画像形成装置。
7. 前記ジェスチャによる指示は、前記画像形成装置が備える複数の機能のうちのいずれか１つを選択するための指示、当該複数の機能の各々における動作条件を選択するための指示、および当該複数の機能を実行またはキャンセルするための指示を含む、請求項１から６までのいずれかに記載の画像形成装置。
8. 複数の赤外線センサ、および
   前記複数の赤外線センサの周囲に複数のＬＥＤが配置されたディスプレイを備え、
   前記複数の赤外線センサは、前記ディスプレイの上下または／および左右に配置される、画像形成装置の制御プログラムであって、
   前記画像形成装置のプロセッサに、
   前記複数のＬＥＤの一部を点灯させることにより、指示可能な内容および当該指示可能な内容を指示するためのジェスチャを報知する報知ステップを実行させる、制御プログラム。
9. 複数の赤外線センサ、および
   前記複数の赤外線センサの周囲に複数のＬＥＤが配置されたディスプレイを備え、
   前記複数の赤外線センサは、前記ディスプレイの上下または／および左右に配置される、画像形成装置の制御方法であって、
   前記複数のＬＥＤの一部を点灯させることにより、指示可能な内容および当該指示可能な内容を指示するためのジェスチャを報知するステップを含む、制御方法。

Images