JP2024042522A - 情報処理装置及び情報処理プログラム - Google Patents

Abstract

【課題】画面内のオブジェクトに対する選択、実行の操作を非接触で行う際に、画面の遠方から近傍に向けて対象物を操作してオブジェクトを選択する場合と比較して、オブジェクトの誤選択を抑制する。【解決手段】画像処理装置１０は、ＣＰＵ４１を備える。ＣＰＵ４１は、画面内のオブジェクトに対する選択、実行の操作を対象物による非接触の操作で行う場合に、画面の直上となる空間に、オブジェクトを選択するための第１領域を割り当て、第１領域よりも画面から離れた空間に、選択されたオブジェクトを実行するための第２領域を割り当てる。【選択図】図８

Description

本発明は、情報処理装置及び情報処理プログラムに関する。

例えば、特許文献１には、ポインティング位置の移動によって所定の機能を実行する際に、誤動作の可能性を低減可能な情報処理装置が記載されている。この情報処理装置は、操作画面に対する操作体の位置を検出する検出部と、検出部の検出結果に基づいて選択されるオブジェクト、および当該選択されたオブジェクトに関連するオブジェクトが順次展開して操作画面に表示されるように表示部を制御する制御部と、を備える。このオブジェクトは、所定の機能と関連づけられた機能オブジェクト、及び、所定の機能の実行処理と関連付けられた実行オブジェクトを含む。この制御部は、検出部により検出される操作体の位置が機能オブジェクトに対応する位置から実行オブジェクトに対応する位置へ遷移することに応じて、機能の実行処理を実行させ、検出部の検出結果に基づいてオブジェクトの選択がキャンセルされることに応じて、オブジェクトが展開時と逆の順番で畳まれるように操作画面の表示を制御する。

特許第５６２５５９９号公報

ところで、指等の対象物による非接触操作で画面内のオブジェクトを選択、実行する際に、対象物を画面の遠方から近傍に向けて操作することで、画面から離れた位置でオブジェクトを選択し、画面に近い位置で選択したオブジェクトを実行する技術がある。

しかしながら、対象物を画面の遠方から近傍に向けて操作してオブジェクトを選択する場合、画面の遠方では、対象物の位置を定めることが難しく、誤ったオブジェクトを選択してしまう場合がある。

本開示は、画面内のオブジェクトに対する選択、実行の操作を非接触で行う際に、画面の遠方から近傍に向けて対象物を操作してオブジェクトを選択する場合と比較して、オブジェクトの誤選択を抑制することができる情報処理装置及び情報処理プログラムを提供することを目的とする。

上記目的を達成するために、第１態様に係る情報処理装置は、プロセッサを備え、前記プロセッサが、画面内のオブジェクトに対する選択、実行の操作を対象物による非接触の操作で行う場合に、前記画面の直上となる空間に、前記オブジェクトを選択するための第１領域を割り当て、前記第１領域よりも前記画面から離れた空間に、前記選択されたオブジェクトを実行するための第２領域を割り当てる。

また、第２態様に係る情報処理装置は、第１態様に係る情報処理装置において、前記プロセッサが、前記第１領域で前記対象物が検知された場合に、前記対象物に対応するオブジェクトを選択し、前記第２領域で前記対象物が検知された場合に、前記選択されたオブジェクトを実行する。

また、第３態様に係る情報処理装置は、第１態様に係る情報処理装置において、前記プロセッサが、前記第１領域と前記第２領域との間に、前記選択されたオブジェクトの選択を確定するための第３領域を更に割り当てる。

また、第４態様に係る情報処理装置は、第３態様に係る情報処理装置において、前記プロセッサが、前記第１領域で前記対象物が検知された場合に、前記対象物に対応するオブジェクトを選択し、前記第３領域で前記対象物が検知された場合に、前記選択されたオブジェクトの選択を確定し、前記第２領域で前記対象物が検知された場合に、前記選択が確定されたオブジェクトを実行する。

また、第５態様に係る情報処理装置は、第３態様に係る情報処理装置において、前記第３領域の前記画面に対して直交する方向における範囲が、前記第１領域の前記画面に対して直交する方向における範囲よりも長い。

また、第６態様に係る情報処理装置は、第３態様に係る情報処理装置において、前記プロセッサが、前記対象物が前記第１領域から前記第３領域に移動した後に、前記第１領域に戻った場合、又は、前記対象物が前記第１領域から前記第３領域に移動した後に、前記第１領域、前記第２領域、及び前記第３領域の外に移動した場合、前記選択されたオブジェクトの選択をキャンセルする。

また、第７態様に係る情報処理装置は、第１態様に係る情報処理装置において、前記プロセッサが、前記対象物が前記第１領域にある場合に前記オブジェクトに関連付けて、第１マーカを表示させ、前記対象物が前記第２領域にある場合に前記オブジェクトに関連付けて、前記第１マーカとは表示形態が異なる第２マーカを表示させる制御を行う。

また、第８態様に係る情報処理装置は、第７態様に係る情報処理装置において、前記プロセッサが、前記オブジェクトの種類に応じて前記第１マーカ及び前記第２マーカの各々のサイズ又は形状を変更する。

また、第９態様に係る情報処理装置は、第７態様に係る情報処理装置において、前記プロセッサが、前記オブジェクト及び前記第１マーカを含む第１サブウインドウを、前記オブジェクトとは異なる画面領域に表示させ、前記オブジェクト及び前記第２マーカを含む第２サブウインドウを、前記画面領域に表示させる制御を行う。

更に、上記目的を達成するために、第１０態様に係る情報処理プログラムは、画面内のオブジェクトに対する選択、実行の操作を対象物による非接触の操作で行う場合に、前記画面の直上となる空間に、前記オブジェクトを選択するための第１領域を割り当て、前記第１領域よりも前記画面から離れた空間に、前記選択されたオブジェクトを実行するための第２領域を割り当てることを、コンピュータに実行させる。

第１態様及び第１０態様によれば、画面内のオブジェクトに対する選択、実行の操作を非接触で行う際に、画面の遠方から近傍に向けて対象物を操作してオブジェクトを選択する場合と比較して、オブジェクトの誤選択を抑制することができる、という効果を有する。

第２態様によれば、対象物を画面から離す操作によって、第１領域で選択したオブジェクトを実行することができる、という効果を有する。

第３態様によれば、第１領域で選択したオブジェクトが即座に実行されることを防止することができる、という効果を有する。

第４態様によれば、対象物を画面から離す操作によって、第１領域で選択したオブジェクトの選択を確定し、実行することができる、という効果を有する。

第５態様によれば、第３領域で選択を確定したオブジェクトが実行されるまでの移動距離を長くすることができる、という効果を有する。

第６態様によれば、第３領域で選択を確定したオブジェクトをキャンセルすることができる、という効果を有する。

第７態様によれば、対象物の位置、及び位置に対応する操作の内容を把握することができる、という効果を有する。

第８態様によれば、オブジェクトがマーカで隠れないようにすることができる、という効果を有する。

第９態様によれば、オブジェクトが対象物で隠れて見えない場合であっても、オブジェクト及びマーカを視認することができる、という効果を有する。

ユーザが非接触で操作を行う非接触ユーザインタフェースを備えた情報処理装置を含む情報処理システムの構成例を示す図である。 実施形態に係る画像処理装置の要部を示す斜視図である。 （Ａ）は操作パネルの断面図であり、（Ｂ）は操作パネルの表示面と対向する位置から操作パネルを眺めた場合の平面図である。 実施形態に係る画像処理装置の機能構成例を示す図である。 ユーザによる操作パネルの操作によって、操作パネルに表示される画面がどのように遷移するのかについて示した画面の遷移例を表す図である。 ユーザがホーム画面においてオブジェクトの一例であるコピーボタンを選択する選択例を示す図である。 実施形態に係る画像処理装置の電気系統の要部構成例を示すブロック図である。 実施形態に係る画像処理装置の機能的な構成の一例を示すブロック図である。 実施形態に係る操作パネルを側面から見たときの空間上の領域の一例を模式的に示す図である。 実施形態に係る操作パネルを側面から見たときの空間上の領域の別の例を模式的に示す図である。 ユーザの指によるオブジェクトの実行方法の説明に供する図である。 ユーザの指が移動する軌跡を模式的に示す図である。 ユーザの指によるオブジェクトのキャンセル方法の説明に供する図である。 実施形態に係るユーザの指の位置に対応するホーム画面の一例を示す図である。 実施形態に係るユーザの指の位置に対応するキーボード画面の一例を示す図である。 実施形態に係るユーザの指の位置に対応するキーボード画面の別の例を示す図である。 実施形態に係るユーザの指の位置に対応するキーボード画面の更に別の例を示す図である。 実施形態に係るユーザの指の位置に対応するホーム画面の更に別の例を示す図である。 実施形態に係る情報処理プログラムによる領域割当処理の流れの一例を示すフローチャートである。 実施形態に係る情報処理プログラムによるオブジェクト選択、実行処理の流れの一例を示すフローチャートである。

以下、図面を参照して、本開示の技術を実施するための形態の一例について詳細に説明する。なお、動作、作用、機能が同じ働きを担う構成要素及び処理には、全図面を通して同じ符号を付与し、重複する説明を適宜省略する場合がある。各図面は、本開示の技術を十分に理解できる程度に、概略的に示してあるに過ぎない。よって、本開示の技術は、図示例のみに限定されるものではない。また、本実施形態では、本発明と直接的に関連しない構成や周知な構成については、説明を省略する場合がある。

図１は、ユーザが非接触で操作を行う非接触ユーザインタフェースを備えた情報処理装置を含む情報処理システム１の構成例を示す図である。

情報処理システム１における情報処理装置は、非接触ユーザインタフェースを備えていれば、何れの分野に適用される装置であってもよい。情報処理装置の一例として、画像処理装置、ＡＴＭ（Ａｕｔｏｍａｔｉｃ Ｔｅｌｌｅｒ Ｍａｃｈｉｎｅ）、自動販売機、及び発券機等が含まれる。情報処理装置は、個人専用の装置であっても、不特定多数のユーザが使用する装置であってもよい。

図１及び図２を参照して、情報処理装置の一例として、職場等に設置された画像処理装置１０について説明を行う。

図２は、本実施形態に係る画像処理装置１０の要部を示す斜視図である。

画像処理装置１０は、後ほど説明するように、ユーザの指示に従って画像に関する機能を実行する装置である。画像処理装置１０は、例えば、各々のユーザが使用する複数の端末４と通信回線２で接続されている。

ユーザは、端末４で生成した画像データを、通信回線２を通じて画像処理装置１０へ送信することで、画像処理装置１０に所望の画像処理を実行させる。又は、ユーザは、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ若しくはメモリカード等の可搬型記憶媒体に画像データを記憶して画像処理装置１０まで移動し、可搬型記憶媒体を画像処理装置１０に接続することで、画像処理装置１０に所望の画像処理を実行させてもよい。更に、ユーザは、文字及び画像の少なくとも一方が記載された原稿１１を持って画像処理装置１０まで移動し、原稿１１を画像処理装置１０に読み取らせることで、画像処理装置１０に所望の画像処理を実行させてもよい。

画像処理装置１０と端末４を接続する通信回線２の接続形態に制約はなく、有線、無線、又は有線と無線が混在した形態の何れであってもよい。また、画像処理装置１０に接続される端末４の数にも制限はなく、例えば、端末４が画像処理装置１０に一台も接続されていなくてもよい。

なお、端末４とは、ユーザが使用する情報機器のことである。端末４は、データ記憶機能及びデータ通信機能を備えていればどのような種類の情報機器であってもよい。端末４には、例えば、持ち運んで使用することを前提としていないコンピュータの他、スマートフォン及びウェアラブル装置のように持ち運んで使用することを前提とする携帯端末が含まれる。

図２に示すように、画像処理装置１０は一例として、用紙等の記録媒体に記載された画像を画像データとして読み込むスキャン機能、画像データによって表される画像を記録媒体に形成するプリント機能、及び記録媒体に形成された画像と同一の画像を他の記録媒体に形成するコピー機能を有する。コピー機能、プリント機能、及びスキャン機能は、画像処理装置１０における画像処理の一例である。

図２に示す画像処理装置１０の上部には、例えば、原稿読み取りユニット１２が設けられ、原稿読み取りユニット１２の下方に画像形成ユニット１４が配置されている。

原稿読み取りユニット１２は、図示しない光学読み取り装置と原稿カバー１６内の原稿搬送装置１８を含んで構成される。原稿搬送装置１８は、原稿カバー１６に設けられている原稿台１６Ａ上に載せられた原稿１１を順に引き込んで、図示しない搬送原稿読み取りガラス上に搬送する。原稿読み取りユニット１２は、この搬送原稿読み取りガラス上に搬送された原稿１１の内容を、光学読み取り装置で画像データとして読み取る。その後、原稿搬送装置１８は、記載内容の読み込みが終了した原稿１１を原稿カバー１６に設けられている排出台１６Ｂ上に排出する。

一方、画像形成ユニット１４は、記録媒体の種別やサイズ毎に分類された収容棚１９に収容される記録媒体上に、画像データによって表された画像を形成する。なお、画像形成ユニット１４が記録媒体に形成する画像の色に制限はなく、カラー画像であってもモノクロ画像であってもよい。

画像処理装置１０の正面には、コピー機能、プリント機能、及びスキャン機能といった各種機能を実行するための操作をユーザから受け付ける操作表示ユニット１３が設けられている。

具体的には、操作表示ユニット１３には、操作を行うユーザの情報を取得するリーダー装置１７、及びユーザの操作を受け付ける操作パネル１５が含まれる。

リーダー装置１７は、例えば、ユーザが所有する社員証が近づけられると、社員証に内蔵されているＩＣチップから、ユーザを一意に識別する識別情報（「ユーザＩＤ」という）を非接触で読み取る装置である。

操作パネル１５は、タッチパネルが重畳されたディスプレイであり、操作パネル１５には、ユーザが所望する機能を実行するために操作対象となるオブジェクトがアイコン画像として表示される。ユーザの操作対象となるものであればオブジェクトの種類に制約はなく、オブジェクトには、例えば、ボタン、スクロールバー、チェックボックス、及びラジオボタン等が含まれる。オブジェクトに対してユーザの操作が行われると、操作内容に対して予め対応付けた処理が画像処理装置１０で実行され、操作に対する応答が操作パネル１５に表示される。

図３は、ユーザの操作位置６を非接触で検知する操作パネル１５の一例を示す図である。図３（Ａ）は、操作パネル１５の断面図であり、図３（Ｂ）は、操作パネル１５の表示面と対向する位置から操作パネル１５を眺めた場合の平面図である。

操作パネル１５は、ユーザの指の位置、すなわち、操作位置６を非接触で検知する。「操作位置６を非接触で検知する」とは、ユーザが操作パネル１５の表示面に指を押し当てなくても、操作パネル１５の表示面の範囲内における操作パネル１５の表示面上の空間内で、操作パネル１５の表示面から離れた場所に指をかざすだけで、ユーザの指の位置を検知することをいう。以降では、操作パネル１５の表示面の範囲内における操作パネル１５の表示面上の空間のことを、「操作パネル１５上」という。また、ユーザが操作パネル１５上に「指をかざす」とは、操作パネル１５の表示面に触れることなく、ユーザが操作パネル１５上を指差すことをいう。

操作パネル１５は、ユーザが操作パネル１５上に指をかざすことによって生じる静電容量の変化から操作位置６を検知する、所謂、静電容量方式のタッチパネルを備えている。こうしたタッチパネルを備える操作パネル１５では、ユーザの指から最も近い位置にある箇所の静電容量の変化が、他の箇所の静電容量の変化よりも大きくなる。したがって、操作パネル１５は、操作パネル１５の範囲内において、静電容量の変化が最も大きい箇所をユーザの操作位置６として出力する。

操作パネル１５におけるユーザの操作位置６を特定するため、操作パネル１５には、ユーザの指の位置を非接触で検知する検知領域を規定するための操作座標系が定義付けられている。操作座標系は、操作パネル１５の何れかの箇所を原点Ｐとする３次元座標系として表される。図３（Ａ）及び図３（Ｂ）に示す操作パネル１５の例では、矩形状の操作パネル１５の輪郭上にある頂点の１つに原点Ｐが設定されている。更に、図３（Ａ）及び図３（Ｂ）に示す操作パネル１５の例では、原点Ｐに対して、操作パネル１５の横方向に沿ってＸ軸が設定され、操作パネル１５の縦方向に沿ってＹ軸が設定され、Ｘ軸及びＹ軸とそれぞれ直交するようにＺ軸が設定されている。Ｚ軸方向を操作パネル１５の高さ方向という。

操作パネル１５におけるユーザの操作位置６は、操作パネル１５の範囲内のうち、最も静電容量の変化が大きい箇所におけるＸ座標の座標値ｘと、Ｙ座標の座標値ｙとの組み合わせである座標点（ｘ，ｙ）によって表される。

操作パネル１５にオブジェクトが表示されている場合、ユーザの操作位置６を含むように表示されているオブジェクトが、ユーザが操作を行っているオブジェクトとして認識される。図３（Ｂ）に示す操作パネル１５の例では、操作パネル１５に表示されている画面３０内に配置されたボタン８の領域内にユーザの操作位置６が含まれるため、ユーザはボタン８を操作していると認識される。以降では、ユーザの操作位置６を含むように表示されているオブジェクトのことを、「操作位置６に対応したオブジェクト」ということがある。また、操作位置６は、本実施形態に係る「ユーザによる操作が検知された検知位置」の一例である。

図３（Ａ）に示すように、操作パネル１５上にかざされたユーザの指３から操作パネル１５の表示面に下した垂線の長さ、すなわち、ユーザの指３から操作パネル１５までの操作パネル１５の高さ方向の距離を「操作距離Ｄ」とする。ユーザの指３は、ユーザが持つ対象物の一例である。この対象物は、ユーザの手、指以外の部位でもよく、あるいは、ユーザが所有するタッチペン等であってもよい。操作パネル１５では、操作距離Ｄが短くなるにつれて、ユーザの操作位置６における静電容量の変化が大きくなる。反対に、操作パネル１５では、操作距離Ｄが長くなるにつれて、ユーザの操作位置６における静電容量の変化が小さくなる。したがって、操作距離Ｄと静電容量の変化量の関係を予め対応付けておくことによって、操作パネル１５における静電容量の変化量から操作距離Ｄが得られる。

操作距離Ｄと静電容量の変化量の対応関係を用いることで、操作パネル１５は、ユーザの操作位置６を、操作パネル１５の表示面に沿った２次元的な操作位置６としてだけでなく、操作距離Ｄを考慮した３次元的な操作位置６として認識することもできる。すなわち、ユーザの操作位置６を３次元で表す場合、ユーザの操作位置６は、操作パネル１５の高さ方向の操作位置６を表す座標値ｚを座標点（ｘ，ｙ）に組み合わせた座標点（ｘ，ｙ，ｚ）によって表される。座標値ｚは、原点ＰからＺ軸に沿って操作距離Ｄだけ離れた位置におけるＺ軸の座標値である。

なお、座標値ｚ＝０の場合は、ユーザが操作パネル１５の表示面に指を接触して操作していることを意味する。したがって、画像処理装置１０は、ユーザが操作パネル１５を非接触で操作しているのか、それとも、操作パネル１５に指を接触させて操作しているのかといった、ユーザの操作形態の違いについて認識することもできる。このように、操作パネル１５は、ユーザが操作パネル１５の表示面に指を接触して操作する接触操作、及びユーザが操作パネル１５上に指をかざして操作する非接触操作の両方の操作に対応している。

上述したように、操作パネル１５では、操作距離Ｄが長くなるにつれて、ユーザの操作位置６における静電容量の変化が小さくなることから、操作距離Ｄには上限が存在する。ユーザが操作距離Ｄの上限を超える位置で操作パネル１５上に指をかざしても、ユーザの操作位置６における静電容量は変化しなくなるため、操作パネル１５はユーザの操作に反応しない。

オブジェクトに対応する検知領域は、操作パネル１５から例えば３ｃｍ程度離れた空間上の領域とされる。つまり、ユーザの指３を操作パネル１５から３ｃｍ程度に近接させると、オブジェクト側の静電容量が変化し、非接触の入力が検知される。このとき、ユーザの指３の検知領域でのＸＹＺ座標が操作位置６として取得される。そして、ユーザの指３を３ｃｍより更に近接させると、その位置でのＸＹＺ座標が取得される。

図４は、本実施形態に係る画像処理装置１０の機能構成例を示す図である。画像処理装置１０は、制御部２０、受付部２１、表示部２２、原稿読み取り部２３、及び画像形成部２４の各機能部を含む。

受付部２１は、操作表示ユニット１３のリーダー装置１７から、画像処理装置１０を操作するユーザのユーザＩＤを受け付けると共に、操作表示ユニット１３の操作パネル１５から、操作パネル１５におけるユーザの操作位置６を受け付ける。また、受付部２１は、端末４又は画像処理装置１０に接続された可搬型記憶媒体から画像データを受け付ける。受付部２１は、受け付けたユーザＩＤ、ユーザの操作位置６、及び画像データを制御部２０に通知する。

制御部２０は、受付部２１からユーザＩＤが通知された場合、ユーザＩＤによって表されるユーザが、画像処理装置１０の利用を許可されたユーザ（「登録ユーザ」という）であるか否かを判定する認証処理を行う。制御部２０は、受付部２１から操作パネル１５におけるユーザの操作位置６が通知された場合、操作パネル１５に表示される画面３０内において、ユーザの操作位置６に表示されているオブジェクトが選択されたか否かを判定し、選択されたオブジェクトに予め対応付けられた処理を実行する。例えば、オブジェクトがプリント機能を開始するボタン８であれば、制御部２０は、受付部２１で受け付けた画像データによって表される画像を記録媒体に形成するプリント機能を開始する。

画像処理装置１０はコピー機能、プリント機能、及びスキャン機能を備えるため、制御部２０には、スキャン機能を制御するスキャン制御部２０Ａ、プリント機能を制御するプリント制御部２０Ｂ、及びコピー機能を制御するコピー制御部２０Ｃがそれぞれ含まれる。ユーザによって操作されたオブジェクトと対応付けられている処理の内容に応じて、スキャン制御部２０Ａ、プリント制御部２０Ｂ、及びコピー制御部２０Ｃの何れかによる制御が行われる。なお、図示は省略するが、画像処理装置１０はファクシミリ機能を備えていてもよく、この場合、制御部２０にはファクシミリ機能を制御するファクシミリ制御部が含まれる。

オブジェクトを介したユーザの操作内容がスキャン機能に関する操作の場合、スキャン制御部２０Ａは、原稿読み取り部２３を制御することによりスキャン機能を実行する。オブジェクトを介したユーザの操作内容がプリント機能に関する操作の場合、プリント制御部２０Ｂは、画像形成部２４を制御することによりプリント機能を実行する。オブジェクトを介したユーザの操作内容がコピー機能に関する操作の場合、コピー制御部２０Ｃは、原稿読み取り部２３を制御することにより、原稿１１の画像データを生成する。その後、コピー制御部２０Ｃは、画像形成部２４を制御することにより、生成した画像データによって表される画像を記録媒体に形成する。

原稿読み取り部２３は、スキャン制御部２０Ａ及びコピー制御部２０Ｃの制御に従って原稿読み取りユニット１２を駆動し、例えば、原稿台１６Ａ上に載せられた原稿１１の搬送、及び搬送した原稿１１の画像データの生成を行う。

画像形成部２４は、プリント制御部２０Ｂ及びコピー制御部２０Ｃの制御に従って画像形成ユニット１４を駆動し、例えば、収容棚１９に収容された記録媒体の搬送、及び搬送した記録媒体への画像データによって表される画像の形成を行う。

表示部２２は、制御部２０の指示に従い、例えば、ユーザに対する認証処理の結果、及びオブジェクトを介したユーザの操作に対して制御部２０が実行した処理の結果を、操作表示ユニット１３内の操作パネル１５に表示する。

図５は、ユーザによる操作パネル１５の操作によって、操作パネル１５に表示される画面３０がどのように遷移するのかについて示した画面３０の遷移例を表す図である。

なお、操作パネル１５への画面３０の表示は表示部２２が行うが、表示部２２は制御部２０の指示に従って画面３０を表示することから、制御部２０が操作パネル１５に画面３０を表示するとも言える。また、操作パネル１５に表示された画面３０の表示範囲を底面とするＺ軸に沿った空間のことを「画面３０上」と表し、画面３０内に表示されたオブジェクトの表示範囲を底面とするＺ軸に沿った空間のことを「オブジェクト上」と表す。「画面３０上」及び「オブジェクト上」という表記も「操作パネル１５上」の表記と同じく、実空間における上下左右に基づいた上側という意味ではなく、それぞれ画面３０と相対する方向の空間、及びオブジェクトと相対する方向の空間のことを指す。

説明の便宜上、画面３０の種類を区別して説明する場合、画面３０の種類毎に対応付けたアルファベットの符号を「画面３０」の後ろに付加する。画面３０の種類を区別して説明する必要がない場合には、各々の種類の画面３０を総称して「画面３０」と表す。また、オブジェクトの一例であるボタン８の種類を区別して説明する場合、ボタン８の種類毎に対応付けたアルファベットの符号を「ボタン８」の後ろに付加する。ボタン８の種類を区別して説明する必要がない場合には、各々の種類のボタン８を総称して「ボタン８」と表す。

制御部２０は、認証処理によって、操作を行うユーザが登録ユーザであると判定した場合、操作パネル１５にスタート画面３０Ａを表示する。スタート画面３０Ａには、例えば、「画面の上に手をかざしてください Ｔｏｕｃｈ Ｌｅｓｓをはじめよう！」といったユーザへの指示が表示される。

ユーザがスタート画面３０Ａ上に指をかざすと、スタート画面３０Ａにおけるユーザの操作位置６にカーソルが表示される。図５に示すスタート画面３０Ａの例では、手の形をしたカーソルが表示されているが、カーソルの形状は一例であり、例えば、円形のカーソルを表示してもよい。ユーザがスタート画面３０Ａ上に指をかざすことで、ホーム画面３０Ｂが表示される。なお、スタート画面３０Ａにおけるユーザへの指示は、ユーザに操作パネル１５での操作方法を教える意味合いも兼ねる。

ホーム画面３０Ｂには、例えば、画像処理装置１０が有する各種機能を選択するためのボタン８と、ユーザが操作を行う上で有益な情報を表示するナビゲーションバー９が表示される。画像処理装置１０は、コピー機能、プリント機能、及びスキャン機能を有するため、ホーム画面３０Ｂにはコピー機能を選択するコピーボタン８Ａ、プリント機能を選択するプリントボタン８Ｂ、及びスキャン機能を選択するスキャンボタン８Ｃが表示される。ナビゲーションバー９には、例えば、「ユーザＡ」のように認証を行ったユーザの名前、「ホーム」のように操作パネル１５に表示している画面名、及び「Ｔｏｕｃｈ Ｌｅｓｓ」のように、操作パネル１５が非接触での操作モードとなっていることをユーザに知らせる情報等が表示される。

ユーザがコピーボタン８Ａ上に指をかざすと、コピーボタン８Ａが選択される。コピーボタン８Ａが選択されると、操作パネル１５にコピー画面３０Ｄが表示される。コピー画面３０Ｄには、コピー条件を設定するボタン８Ｄ～８Ｇと、設定されたコピー条件でコピーを開始するコピー開始ボタン８Ｈが表示される。

図５に示すコピー画面３０Ｄには、コピー条件を設定するボタン８の例として、例えば、コピーの色を選択するカラーモードボタン８Ｄ、コピー面を選択する両面／片面選択ボタン８Ｅ、記録媒体への画像の割り付け方法を選択するＮアップボタン８Ｆ、及びコピーする部数を選択する部数ボタン８Ｇが表示されている。

コピー条件を設定するボタン８Ｄ～８Ｇのうち、ユーザが何れかのボタン８上に指をかざすと、ユーザの操作位置６に対応したボタン８が選択され、選択されたボタン８に対応したコピー条件を設定する画面３０が表示される。コピー画面３０Ｄで両面／片面選択ボタン８Ｅが選択された場合、コピー画面３０Ｄにコピー面を選択する両面／片面選択画面３０Ｇが重畳された形態で操作パネル１５に表示される。

図５に示す両面／片面選択画面３０Ｇには、例えば、原稿１１の両面の内容を、記録媒体の両面に順次コピーする両面→両面選択ボタン８Ｓ、片面だけに文章等が記載されている原稿１１の内容を、記録媒体の両面に順次コピーする片面→両面選択ボタン８Ｔ、及び片面だけに文章等が記載されている原稿１１の内容を、記録媒体の片面に順次コピーする片面→片面選択ボタン８Ｕが表示される。

両面／片面選択画面３０Ｇにおけるボタン８Ｓ～８Ｕのうち、ユーザが何れかのボタン８Ｓ～８Ｕ上に指をかざすと、ユーザの操作位置６に対応したボタン８が選択され、選択されたボタン８に対応したコピー面が設定される。図５に示す両面／片面選択画面３０Ｇの例は、ユーザによって両面→両面選択ボタン８Ｓが選択された状態を示している。

両面／片面選択画面３０Ｇでコピー面が設定されると、コピー画面３０Ｄが操作パネル１５に表示される。コピー面設定後におけるコピー画面３０Ｄの両面／片面選択ボタン８Ｅ内には、両面／片面選択画面３０Ｇで選択したコピー面が表示される。

上記では、ユーザがコピー画面３０Ｄにおいて両面／片面選択ボタン８Ｅを選択した例について説明した。ユーザがコピー画面３０Ｄにおいてカラーモードボタン８Ｄ、Ｎアップボタン８Ｆ、及び部数ボタン８Ｇの何れかを選択した場合にも、両面／片面選択画面３０Ｇのような各ボタン８に対応したコピー条件を選択する選択画面が操作パネル１５に表示される。

コピー画面３０Ｄにおいてユーザがコピー開始ボタン８Ｈ上に指をかざすと、コピー開始ボタン８Ｈが選択される。コピー開始ボタン８Ｈが選択されると、設定されたコピー条件に従って、原稿１１の記載内容を記録媒体にコピーするコピー処理が実行される。なお、コピー条件を設定する前のコピー画面３０Ｄにおけるボタン８Ｄ～８Ｇには、予め設定されたコピー条件の初期設定が表示される。

一方、ホーム画面３０Ｂにおいて、ユーザがプリントボタン８Ｂ上に指をかざすと、プリントボタン８Ｂが選択される。プリントボタン８Ｂが選択されると、操作パネル１５にプリント画面３０Ｅが表示される。

プリント画面３０Ｅには、プリント対象となる画像データの情報を表示したプリント情報ボタン８Ｊと、各々のプリント情報ボタン８Ｊに対応したすべての画像データのプリントを開始する全プリント開始ボタン８Ｍが表示される。図５に示すプリント画面３０Ｅの例は、プリント対象となる画像データを２つ受け付けた場合のプリント画面３０Ｅを表している。すなわち、プリント画面３０Ｅには、プリント対象としてユーザから受け付けた画像データの数だけ、各々の画像データに対応したプリント情報ボタン８Ｊが表示される。

対応するプリント情報ボタン８Ｊを一度にプリント画面３０Ｅ内に表示しきれない数の画像データが存在する場合には、ユーザがプリント情報ボタン８Ｊの上下方向に指を移動させるジェスチャを行うと、操作パネル１５が操作位置６の移動を検知して、プリント情報ボタン８Ｊをスクロールさせる。これにより、プリント画面３０Ｅ内に表示しきれていないプリント情報ボタン８Ｊもプリント画面３０Ｅ内に表示される。

各々のプリント情報ボタン８Ｊには、プリント対象となる画像データのファイル名と、画像データに対してユーザが予め設定したプリント条件が表示される。例えば、ユーザが端末４から画像処理装置１０に画像データを送信した場合には、ユーザが端末４から設定したプリント条件がプリント情報ボタン８Ｊに表示される。

ユーザが全プリント開始ボタン８Ｍ上に指をかざすと、全プリント開始ボタン８Ｍが選択される。全プリント開始ボタン８Ｍが選択されると、設定されたプリント条件に従って、画像データによって表される画像を記録媒体にプリントするプリント処理が実行される。

また、ユーザが何れかのプリント情報ボタン８Ｊ上に指をかざすと、指をかざしたプリント情報ボタン８Ｊが選択される。プリント情報ボタン８Ｊが選択されると、操作パネル１５にプリント編集画面３０Ｈが表示される。図５に示すプリント編集画面３０Ｈは、ユーザが「資料Ｂ．ｐｄｆ」の画像データに対応したプリント情報ボタン８Ｊを選択した場合の表示例を表している。

プリント編集画面３０Ｈには、例えば、選択されたプリント情報ボタン８Ｊに対応する画像データを削除する削除ボタン８Ｖ、選択されたプリント情報ボタン８Ｊに対応する画像データのプリント条件を変更する変更ボタン８Ｗ、及び、選択されたプリント情報ボタン８Ｊに対応する画像データのみをプリントする個別プリント開始ボタン８Ｘが表示されている。図５に示すプリント編集画面３０Ｈでは、変更ボタン８Ｗの例として、プリントする部数の変更を行う変更ボタン８Ｗが表示されている。なお、例えば、プリントする画像の色といった他のプリント条件を変更する変更ボタン８Ｗもプリント編集画面３０Ｈに表示されるが、図示を省略している。

一方、ホーム画面３０Ｂにおいて、ユーザがスキャンボタン８Ｃ上に指をかざすと、スキャンボタン８Ｃが選択される。スキャンボタン８Ｃが選択されると、操作パネル１５にスキャン画面３０Ｆが表示される。

スキャン画面３０Ｆには、スキャン条件を設定するスキャン設定ボタン８Ｎと、設定されたスキャン条件で原稿１１の読み取りを開始するスキャン開始ボタン８Ｒが表示される。

ユーザがスキャン設定ボタン８Ｎ上に指をかざすと、ユーザの操作位置６に対応したスキャン設定ボタン８Ｎが選択され、選択されたスキャン設定ボタン８Ｎに対応したスキャン条件の選択を行う選択画面（図示省略）が表示される。すなわち、ユーザは、コピー画面３０Ｄからコピー条件を設定する操作と同じ要領で、スキャン設定ボタン８Ｎと対応付けられたスキャン条件の設定を行う。ユーザがスキャン開始ボタン８Ｒ上に指をかざすと、スキャン開始ボタン８Ｒが選択される。スキャン開始ボタン８Ｒが選択されると、設定されたスキャン条件に従って、原稿１１の記載内容を画像データに変換するスキャン処理が実行される。

一方、ホーム画面３０Ｂにおいて、ユーザがナビゲーションバー９上に指をかざすと、ナビゲーションバー９が選択される。ナビゲーションバー９が選択されると、認証されたユーザのログアウト処理が行われ、画面３０Ｃに示すように、ナビゲーションバー９にログアウトが完了したことを示す表示が行われる。

ここまで、ユーザがボタン８上に指をかざすことでボタン８が選択される例について説明してきた。非接触操作の場合、指が操作パネル１５に接しないため、指がふらつくことがある。したがって、領域内に操作位置６が含まれるからと言って、領域内に操作位置６が含まれるオブジェクトを単純にユーザが選択したオブジェクトとしてしまうと、指のふらつきに伴い、操作しようとしているオブジェクトの隣にある他のオブジェクトが誤って選択されることがある。また、操作しようとしているオブジェクト上まで指を移動させる過程において、指が操作対象ではない他のオブジェクト上を通過することがあるため、この場合においても他のオブジェクトが誤って選択されることがある。

したがって、例えば、オブジェクト上で予め定めた時間（一定時間）に亘り継続して指がかざされた場合に、指がかざされたオブジェクトをユーザが意図的に選択したオブジェクトとして判定してもよい。換言すれば、操作パネル１５において、ユーザの操作位置６が特定のオブジェクトの領域内に予め定めた時間（一定時間）に亘って留まり続けている場合に、ユーザが当該オブジェクトを選択したと判定される。なお、本実施形態では、上記予め定めた時間として３秒を適用している。しかし、この例に限られない。例えば、上記予め定めた時間として３秒以外の時間を適用してもよい。なお、操作位置６を検知する方法は、静電容量方式のタッチパネルである操作パネル１５により検知する方法に限られない。例えば、操作位置６を検知する方法として、ＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）カメラ等を用いた方法を適用してもよい。

図６は、ユーザがホーム画面３０Ｂにおいてオブジェクトの一例であるコピーボタン８Ａを選択する選択例を示す図である。

例えば、ユーザがコピーボタン８Ａ上に指をかざすと、コピーボタン８Ａの領域内で操作位置６が検知され、コピーボタン８Ａが選択される。

さらに、ユーザによる所定の操作にしたがって、図６に示すように、選択されたコピーボタン８Ａが実行され、操作パネル１５にコピー画面３０Ｄが表示される。

なお、コピー開始ボタン８Ｈが選択されるとコピー処理が実行されるように、画面３０内のオブジェクトの各々には、オブジェクトが選択された場合に実行される処理が予め対応付けられている。オブジェクトには、どのような処理を実行するオブジェクトであるかをユーザに知らせるため、例えば、コピー開始ボタン８Ｈに「コピー」というような、オブジェクトを選択することで実行される処理の内容を示唆する情報が表示される。ユーザは、オブジェクトが選択された場合に実行される処理の内容を表す情報、すなわち、オブジェクトに対応付けられた項目を見ることで、オブジェクトがどのような処理を実行するオブジェクトであるかを把握する。このように、オブジェクトは、処理する内容を表す項目と対応付けられて画面３０に表示される。したがって、各々のオブジェクトは、本実施形態に係る「画面に表示される項目」の一例である。

次に、図７を参照しながら、画像処理装置１０の電気系統の要部構成について説明する。画像処理装置１０は、例えば、コンピュータ４０を用いて構成される。

コンピュータ４０では、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４１、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）４２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）４３、不揮発性メモリ４４、及び入出力インタフェース（Ｉ／Ｏ）４５がバス４６を介して各々接続される。

ＣＰＵ４１は、図４に示した画像処理装置１０の各機能部の処理を担うプロセッサの一例である。ＲＡＭ４２は、ＣＰＵ４１の一時的な作業領域として使用される記憶媒体の一例である。ＲＯＭ４３は、ＣＰＵ４１で実行される情報処理プログラムを記憶する記憶媒体の一例である。不揮発性メモリ４４は、不揮発性メモリ４４に供給される電力が遮断されても、記憶した情報が維持される記憶媒体の一例であり、例えば半導体メモリが用いられるがハードディスクを用いてもよい。不揮発性メモリ４４は、必ずしもコンピュータ４０に内蔵されている必要はなく、例えばメモリカードのようにコンピュータ４０に着脱される記憶媒体であってもよい。

Ｉ／Ｏ４５には、例えば、原稿読み取りユニット１２、画像形成ユニット１４、入力ユニット３１、表示ユニット３２、及び通信ユニット３３が接続される。

原稿読み取りユニット１２及び画像形成ユニット１４は、既に説明した通りの動作を行う装置である。入力ユニット３１は、ユーザの指示及びユーザＩＤを受け付けてＣＰＵ２１に通知する装置であり、操作パネル１５を構成するタッチパネル及びリーダー装置１７は入力ユニット３１の一例である。表示ユニット３２は、ＣＰＵ４１によって処理された情報を視覚的に表示する装置であり、操作パネル１５を構成するディスプレイは表示ユニット３２の一例である。通信ユニット３３は通信回線２に接続され、端末４と通信を行う通信プロトコルを備える。なお、Ｉ／Ｏ４５に接続されるユニットは図７に例示したユニットに限定されない。Ｉ／Ｏ４５には、画像処理装置１０が有する機能に応じて、機能の実現に必要となるユニットが接続される。

ところで、上述したように、対象物の一例であるユーザの指３を画面３０の遠方から近傍に向けて操作してオブジェクトを選択する場合、画面３０の遠方では、ユーザの指３の位置を定めることが難しく、誤ったオブジェクトを選択してしまう場合がある。

このため、本実施形態に係る画像処理装置１０では、画面３０内のオブジェクトに対する選択、実行の操作を対象物による非接触の操作で行う場合に、画面３０の直上となる空間に、オブジェクトを選択するための第１領域を割り当て、第１領域よりも画面３０から離れた空間に、選択されたオブジェクトを実行するための第２領域を割り当てる。このように、画面３０の直上となる空間に、オブジェクトを選択するための第１領域を割り当てることにより、ユーザの指３の位置を定めることが容易となり、誤ったオブジェクトを選択してしまうことが抑制される。

具体的に、本実施形態に係る画像処理装置１０のＣＰＵ４１は、ＲＯＭ４３に記憶されている情報処理プログラムをＲＡＭ４２に書き込んで実行することにより、図８に示す各部として機能する。

図８は、本実施形態に係る画像処理装置１０の機能的な構成の一例を示すブロック図である。

図８に示すように、本実施形態に係る画像処理装置１０のＣＰＵ４１は、割当部４１Ａ、検知部４１Ｂ、距離判定部４１Ｃ、操作処理部４１Ｄ、及び表示制御部４１Ｅとして機能する。

割当部４１Ａは、画面３０の直上となる空間に、オブジェクトを選択するための第１領域を割り当て、第１領域よりも画面３０から離れた空間に、選択されたオブジェクトを実行するための第２領域を割り当てる。

不揮発性メモリ４４には、割当部４１Ａにより割り当てられた領域に関する領域割当情報４４Ａが記憶される。領域割当情報４４Ａは、分割する領域数及び各領域に割り当てる操作内容等が含まれる。

図９は、本実施形態に係る操作パネル１５を側面から見たときの空間上の領域の一例を模式的に示す図である。

図９の例では、空間上の領域が第１領域Ｒ１、第２領域Ｒ２の２つの領域に分割され、第１領域Ｒ１には「オブジェクトを選択する操作」が割り当てられ、第２領域Ｒ２には「選択されたオブジェクトを実行する操作」が割り当てられる。つまり、上記の領域割当情報４４Ａとは、これらの領域分割数及び各領域に割り当てられた操作内容等が含まれる。「オブジェクトを選択する操作」は、画面３０のあるオブジェクトを選択する操作であり、「選択されたオブジェクトを実行する操作」は、画面３０の選択されたオブジェクトを実行する操作である。なお、領域分割数は、２つに限らず、後述するように、３つでもよい。

また、第１領域Ｒ１と第２領域Ｒ２とは第１閾値Ｔｈ１によって区切られる。第１閾値Ｔｈ１は、画面３０からユーザの指３までの距離（つまり、操作距離Ｄ）に対する閾値であり、ユーザの指３を検知可能な距離を超えない範囲で、適切な値が設定される。なお、この閾値についても領域割当情報４４Ａとして保持される。つまり、第１領域Ｒ１及び第２領域Ｒ２は、画面３０からの距離に応じて区切られ、非接触の操作に対して異なる操作内容（つまり、選択及び実行）が予め割り当てられている。

検知部４１Ｂは、画面３０上でユーザの指３を検知し、検知した位置を特定する。なお、検知位置は、上述したように、座標点（ｘ，ｙ，ｚ）として特定される。

距離判定部４１Ｃは、画面３０から検知部４１Ｂで検知されたユーザの指３までの距離（操作距離Ｄ）を判定する。画面３０からユーザの指３までの距離（操作距離Ｄ）は、上述したように、例えば、静電容量の変化により判定される。

操作処理部４１Ｄは、距離判定部４１Ｃにより判定された距離から、ユーザの指３が位置する空間上の領域を特定し、特定した空間上の領域に割り当てられた操作内容を、領域割当情報４４Ａから特定する。操作処理部４１Ｄは、特定した操作内容に応じた操作を実行する。具体的に、図９の例では、第１領域Ｒ１内の位置Ｐ１でユーザの指３が検知された場合に、ユーザの指３に対応するオブジェクトを選択し、第２領域Ｒ２内の位置Ｐ２でユーザの指３が検知された場合に、選択されたオブジェクトを実行する。

なお、画面３０の直上に設けられた第１領域Ｒ１において、ユーザの指３がオブジェクトの上で一定時間かざされた場合に、当該オブジェクトを選択するようにしてもよい。また、ユーザの指３が第１領域Ｒ１から第２領域Ｒ２に移動すると、選択されたオブジェクトが実行される。このとき、ユーザの指３が第２領域Ｒ２に一定時間留まった後に、選択されたオブジェクトを実行するようにしてもよい。つまり、ユーザの指３が第２領域Ｒ２で検知された時点で、選択されたオブジェクトを即座に実行してもよいが、ユーザの指３が第２領域Ｒ２に一定時間留まったことを検知してから、選択されたオブジェクトを実行するようにしてもよい。第２領域Ｒ２では、一定時間、選択されたオブジェクトの選択が確定した状態とされ、選択確定状態では、選択されたオブジェクトが変更されることはない。

また、図１０に示すように、割当部４１Ａは、第１領域Ｒ１と第２領域Ｒ２との間に、選択されたオブジェクトの選択を確定するための第３領域Ｒ３を更に割り当てるようにしてもよい。

図１０は、本実施形態に係る操作パネル１５を側面から見たときの空間上の領域の別の例を模式的に示す図である。

図１０の例では、空間上の領域が第１領域Ｒ１、第２領域Ｒ２、及び第３領域Ｒ３の３つの領域に分割され、第１領域Ｒ１には「オブジェクトを選択する操作」が割り当てられ、第３領域Ｒ３には、「選択されたオブジェクトの選択を確定する操作」が割り当てられ、第２領域Ｒ２には「選択が確定されたオブジェクトを実行する操作」が割り当てられる。つまり、上記の領域割当情報４４Ａとは、これらの領域分割数及び各領域に割り当てられた操作内容等が含まれる。「選択されたオブジェクトの選択を確定する操作」は、画面３０の選択されたオブジェクトの選択を確定する操作であり、「選択が確定されたオブジェクトを実行する操作」は、画面３０の選択が確定されたオブジェクトを実行する操作である。

また、第１領域Ｒ１と第３領域Ｒ３とは第１閾値Ｔｈ１によって区切られ、第３領域Ｒ３と第２領域Ｒ２とは第２閾値Ｔｈ２によって区切られる。第１閾値Ｔｈ１及び第２閾値Ｔｈ２の各々は、画面３０からユーザの指３までの距離（つまり、操作距離Ｄ）に対する閾値であり、ユーザの指３を検知可能な距離を超えない範囲で、適切な値が設定される。なお、これらの閾値についても領域割当情報４４Ａとして保持される。つまり、第１領域Ｒ１、第３領域Ｒ３、及び第２領域Ｒ２は、画面３０からの距離に応じて区切られ、非接触の操作に対して異なる操作内容（つまり、選択、選択確定、及び実行）が予め割り当てられている。これらの第１領域Ｒ１、第３領域Ｒ３、及び第２領域Ｒ２の各々を特に区別して説明する必要がない場合には、各々の領域を総称して「領域Ｒ」という。

図１０の例では、第１領域Ｒ１の位置Ｐ１でユーザの指３が検知された場合に、ユーザの指３に対応するオブジェクトを選択し、第３領域Ｒ３の位置Ｐ３でユーザの指３が検知された場合に、選択されたオブジェクトの選択を確定し、第２領域Ｒ２の位置Ｐ２でユーザの指３が検知された場合に、選択が確定されたオブジェクトを実行する。つまり、オブジェクトの選択、選択確定、及び実行は、ユーザの指３を位置Ｐ１、Ｐ３、Ｐ２の順で移動させることで行われる。

ここで、第３領域Ｒ３の画面３０に対して直交する方向（Ｚ軸方向）における範囲は、第１領域Ｒ１の画面３０に対して直交する方向（Ｚ軸方向）における範囲よりも長いことが望ましい。第３領域Ｒ３では、オブジェクトの選択は確定されているが、実行は保留されている状態である。第３領域Ｒ３内においてユーザの指３が移動しても、選択が確定したオブジェクトが変更されることはない。第３領域Ｒ３の範囲を第１領域Ｒ１の範囲と比較して長くすることで、選択が確定されたオブジェクトが実行されるまである程度の距離が確保される。ユーザの指３が第３領域Ｒ３に留まっている限り、オブジェクトが実行されることはないため、ユーザはオブジェクトの実行を中止する、あるいは、オブジェクトの選択をやり直す等の判断をすることが可能となる。

図９及び図１０の例によれば、空間上では操作の開始位置（つまり、選択位置）が分かり難いが、画面３０に最も近い位置が操作の開始位置となるため、分かり易い。また、画面３０に最も近い位置でオブジェクトの選択が行えるため、オブジェクトの誤選択が抑制される。

図１１は、ユーザの指３によるオブジェクトの実行方法の説明に供する図である。

図１１に示すように、本実施形態では、オブジェクトの選択、選択確定、及び実行に至るまでに、ユーザの指３を位置Ｐ１、Ｐ３、Ｐ２の順に移動させる形態に限らない。例えば、ユーザの指３を位置Ｐ１、Ｐ２、Ｐ４の順に移動させるようにしてもよい。

図１２は、ユーザの指３が移動する軌跡を模式的に示す図である。

図１２に示すように、画面３０に対してユーザの指３を対象物とした場合、指の付け根を支点として、指を上方向に移動させると、移動の軌跡が弧を描くため、上に移動するほど、画面３０内の選択対象のオブジェクトからずれていく。手首を支点とした場合も同様である。

これに対して、本実施形態によれば、図１１に示すように、ユーザの指３が第１領域Ｒ１から第３領域Ｒ３へ移動する際に、オブジェクトに対して垂直に移動させる必要がないため、誤操作が抑制される。

図１３は、ユーザの指３によるオブジェクトのキャンセル方法の説明に供する図である。

図１３に示すように、操作処理部４１Ｄは、ユーザの指３が第１領域Ｒ１の位置Ｐ１から第３領域Ｒ３の位置Ｐ３に移動した後に、第１領域Ｒ１の位置Ｐ５に戻った場合、又は、ユーザの指３が第１領域Ｒ１の位置Ｐ１から第３領域Ｒ３の位置Ｐ３に移動した後に、第１領域Ｒ１、第２領域Ｒ２、及び第３領域Ｒ３の外である位置Ｐ６に移動した場合、選択されたオブジェクトの選択をキャンセルする。なお、位置Ｐ５に移動した場合、選択していたオブジェクトは一旦キャンセルされ、オブジェクトの再選択が可能とされる。一方、位置Ｐ６に移動した場合、選択していたオブジェクトはキャンセルされる。

図８に戻り、表示制御部４１Ｅは、操作処理部４１Ｄにより実行される操作に応じて画面３０の表示を制御する。以下、図１４～図１８を参照して、ユーザの指３がどの領域（例えば、第１領域Ｒ１、第２領域Ｒ２、及び第３領域Ｒ３）にあり、どの状態（例えば、選択、選択確定、及び実行）であるかを視覚的に表示する表示形態について説明する。

図１４は、本実施形態に係るユーザの指３の位置に対応するホーム画面５０の一例を示す図である。なお、ホーム画面５０は、画面３０の一例である。図１４の例では、第１領域Ｒ１、第２領域Ｒ２、及び第３領域Ｒ３が割り当てられた形態（図１０）について説明するが、第１領域Ｒ１及び第２領域Ｒ２が割り当てられた形態（図９）についても同様である。

図１４において、（Ａ）に示すように、表示制御部４１Ｅは、ユーザの指３が第１領域Ｒ１の位置Ｐ１にある場合にオブジェクトＢ１に関連付けて、第１マーカ５１をホーム画面５０に表示させる制御を行う。また、（Ｂ）に示すように、表示制御部４１Ｅは、ユーザの指３が第３領域Ｒ３の位置Ｐ３にある場合にオブジェクトＢ１に関連付けて、第３マーカ５３をホーム画面５０に表示させる制御を行う。また、（Ｃ）に示すように、表示制御部４１Ｅは、ユーザの指３が第２領域Ｒ２の位置Ｐ２にある場合にオブジェクトＢ１に関連付けて、第２マーカ５２をホーム画面５０に表示させる制御を行う。

これらの第１マーカ５１、第２マーカ５２、及び第３マーカ５３は、互いに表示形態が異なっている。図１４の例では、表示形態の違いを線の太さの違いで表しているが、これに限定されない。例えば、マーカの形状、色、線種、サイズ等の違いで表してもよく、各マーカを識別可能な表示形態であれば特に限定されない。また、第２領域Ｒ２の少し手前で第３マーカ５３を点滅させて実行が近いことを通知するようにしてもよい。

図１４の例によれば、ユーザは第１マーカ５１、第２マーカ５２、及び第３マーカ５３を見ることで、自身の指がどの領域（例えば、第１領域Ｒ１、第２領域Ｒ２、及び第３領域Ｒ３）にあり、どの状態（例えば、選択、選択確定、及び実行）にあるかを把握することができる。

ここで、オブジェクトの種類（例えば、キーボード等）によっては、選択中のオブジェクトの文字がマーカで隠れて見えない場合がある。このため、表示制御部４１Ｅは、オブジェクトの種類に応じて第１マーカ５１、第２マーカ５２、及び第３マーカ５３の各々のサイズ又は形状を変更するようにしてもよい。

図１５は、本実施形態に係るユーザの指３の位置に対応するキーボード画面６０の一例を示す図である。なお、キーボード画面６０は、画面３０の一例である。

図１５において、（Ａ）に示すように、キーボード画面６０の文字「ｔ」を選択対象とした場合、ユーザの指３の位置に対応するマーカ６１が文字「ｔ」の上に表示されると、文字「ｔ」がマーカ６１で隠れて見えなくなってしまう。このため、例えば、（Ｂ）に示すように、文字「ｔ」が見えるように、マーカ６１のサイズを小さく変更したマーカ６２を表示する。あるいは、（Ｃ）に示すように、文字「ｔ」が見えるように、マーカ６１の形状を変更したマーカ６３を表示するようにしてもよい。マーカ６３は、例えば、文字「ｔ」の周囲を囲む矩形状の枠とされる。なお、マーカ６２及びマーカ６３は、一例であり、文字「ｔ」が見える状態であればいかなる形態であってもよい。

また、選択対象とするオブジェクトがユーザの指３で隠れて見えない場合がある。この場合、表示制御部４１Ｅは、オブジェクト及び第１マーカ５１を含む第１サブウインドウを、オブジェクトとは異なる画面領域に表示させる制御を行う。また、表示制御部４１Ｅは、オブジェクト及び第３マーカ５３を含む第３サブウインドウを、画面領域に表示させる制御を行う。また、表示制御部４１Ｅは、オブジェクト及び第２マーカ５２を含む第２サブウインドウを、画面領域に表示させる制御を行う。

図１６は、本実施形態に係るユーザの指３の位置に対応するキーボード画面６０の別の例を示す図である。

図１６において、（Ａ）に示すように、キーボード画面６０の文字「ｅ」を選択対象とした場合、ユーザの指３の位置に対応する文字「ｅ」がユーザの指３で隠れて見えない場合がある。このため、例えば、（Ｂ）に示すように、文字「ｅ」及びマーカ６５を含むサブウインドウ６４を、文字「ｅ」とは異なる画面領域に表示させる。また、同様に、キーボード画面６０の文字「ｉ」を選択対象とした場合、ユーザの指３の位置に対応する文字「ｉ」がユーザの指３で隠れて見えないため、例えば、（Ｃ）に示すように、文字「ｉ」及びマーカ６５を含むサブウインドウ６４を、文字「ｉ」とは異なる画面領域に表示させる。サブウインドウ６４では、ユーザの指３が選択しているオブジェクト（例えば、文字「ｅ」又は文字「ｉ」）が拡大表示されるため、ユーザは選択中のオブジェクトを視認し易くなる。

図１７は、本実施形態に係るユーザの指３の位置に対応するキーボード画面６０の更に別の例を示す図である。

図１７において、（Ａ）に示すように、キーボード画面６０の文字「ｅ」を選択対象とした場合、ユーザの指３が第１領域Ｒ１の位置Ｐ１にある場合に文字「ｅ」に関連付けて、マーカ６６をキーボード画面６０に表示させるようにしてもよい。マーカ６６は、選択対象の文字「ｅ」が視認可能なように、文字「ｅ」の背景色が例えば「青色」として表示される。そして、ユーザの指３が第２領域Ｒ２の位置Ｐ２に移動した場合に文字「ｅ」に関連付けて、マーカ６７をキーボード画面６０に表示させる。マーカ６７は、実行対象の文字「ｅ」が視認可能なように、文字「ｅ」の背景色が例えば「赤色」として表示される。このように、ユーザの指３の位置に応じて、マーカの背景色を変化させることで、ユーザの指３がどの領域にあるかを把握することができる。

図１７の例では、キーボード画面６０の表示について示したが、上述の図１４に示すホーム画面５０についても同様の表示が可能である。

図１８は、本実施形態に係るユーザの指３の位置に対応するホーム画面５０の更に別の例を示す図である。

図１８において、（Ａ）に示すように、ホーム画面５０のオブジェクトＢ１を選択対象とした場合、ユーザの指３が第１領域Ｒ１の位置Ｐ１にある場合にオブジェクトＢ１に関連付けて、マーカ５４をホーム画面５０に表示させるようにしてもよい。マーカ５４は、選択対象のオブジェクトＢ１が視認可能なように、オブジェクトＢ１の背景色が例えば「青色」として表示される。そして、ユーザの指３が第２領域Ｒ２の位置Ｐ２に移動した場合にオブジェクトＢ１に関連付けて、マーカ５５をホーム画面５０に表示させる。マーカ５５は、実行対象のオブジェクトＢ１が視認可能なように、オブジェクトＢ１の背景色が例えば「赤色」として表示される。このように、図１７の例と同様に、ユーザの指３の位置に応じて、マーカの背景色を変化させることで、ユーザの指３がどの領域にあるかを把握することができる。

次に、図１９及び図２０を参照して、本実施形態に係る画像処理装置１０の作用を説明する。

図１９は、本実施形態に係る情報処理プログラムによる領域割当処理の流れの一例を示すフローチャートである。なお、図１９の例では、３つの領域を割り当てる場合について説明するが、２つの領域を割り当てる場合も同様である。

まず、操作パネル１５における領域割当処理の実行が指示されると、ＣＰＵ４１により情報処理プログラムが起動され、以下の各ステップを実行する。

図１９のステップＳ１０１では、ＣＰＵ４１が、一例として、上述の図１０に示すように、操作パネル１５の画面３０の直上空間に、オブジェクトを選択するための第１領域Ｒ１を割り当てる。

ステップＳ１０２では、ＣＰＵ４１が、ステップＳ１０１で割り当てた第１領域Ｒ１よりも、画面３０から離れた空間に、選択したオブジェクトを実行するための第２領域Ｒ２を割り当てる。

ステップＳ１０３では、ＣＰＵ４１が、第１領域Ｒ１と第２領域Ｒ２との間に、選択したオブジェクトの選択を確定するための第３領域Ｒ３を割り当てる。

ステップＳ１０４では、ＣＰＵ４１が、上記ステップＳ１０１～ステップＳ１０３で割り当てた情報を領域割当情報４４Ａとして不揮発性メモリ４４に記憶し、本情報処理プログラムによる領域割当処理を終了する。

図２０は、本実施形態に係る情報処理プログラムによるオブジェクト選択、実行処理の流れの一例を示すフローチャートである。なお、図２０の例では、図１９に示す領域割当処理により割り当てられた３つ領域を用いて、オブジェクトの選択、実行を行う場合について説明する。

まず、操作パネル１５におけるオブジェクト選択、実行処理の実行が指示されると、ＣＰＵ４１により情報処理プログラムが起動され、以下の各ステップを実行する。

図２０のステップＳ１１１では、ＣＰＵ４１が、不揮発性メモリ４４から領域割当情報４４Ａを読み込む。

ステップＳ１１２では、ＣＰＵ４１が、ユーザからの非接触の入力を検知したか否かを判定する。ユーザからの非接触の入力を検知したと判定した場合（肯定判定の場合）、ステップＳ１１３に移行し、ユーザからの非接触の入力を検知しないと判定した場合（否定判定の場合）、ステップＳ１１２で待機となる。

ステップＳ１１３では、ＣＰＵ４１が、ユーザからの非接触の入力を第１領域Ｒ１で検知したか否かを判定する。第１領域Ｒ１で検知したと判定した場合（肯定判定の場合）、ステップＳ１１４に移行し、第１領域Ｒ１で検知していないと判定した場合（否定判定の場合）、ステップＳ１１３で待機となる。

ステップＳ１１４では、ＣＰＵ４１が、第１領域Ｒ１に対して、ユーザからの非接触の入力に対応するオブジェクトを選択する。

ステップＳ１１５では、ＣＰＵ４１が、ユーザからの非接触の入力を第３領域Ｒ３で検知したか否かを判定する。第３領域Ｒ３で検知したと判定した場合（肯定判定の場合）、ステップＳ１１６に移行し、第３領域Ｒ３で検知していないと判定した場合（否定判定の場合）、ステップＳ１１５で待機となる。

ステップＳ１１６では、ＣＰＵ４１が、第３領域Ｒ３に対して、ステップＳ１１４で選択したオブジェクトの選択を確定する。

ステップＳ１１７では、ＣＰＵ４１が、ユーザからの非接触の入力を第２領域Ｒ２で検知したか否かを判定する。第２領域Ｒ２で検知したと判定した場合（肯定判定の場合）、ステップＳ１１８に移行し、第２領域Ｒ２で検知していないと判定した場合（否定判定の場合）、ステップＳ１１７で待機となる。

ステップＳ１１８では、ＣＰＵ４１が、第２領域Ｒ２に対して、ステップＳ１１６で選択を確定したオブジェクトを実行する。

ステップＳ１１９では、ＣＰＵ４１が、終了タイミングが到来したか否かを判定する。終了タイミングが到来していないと判定した場合（否定判定の場合）、ステップＳ１１２に戻り処理を繰り返し、終了タイミングが到来したと判定した場合（肯定判定の場合）、本情報処理プログラムによるオブジェクト選択、実行処理を終了する。なお、ここでいう終了タイミングとは、例えば、電源がオフされた場合、スリープモードに移行した場合等が想定される。

このように本実施形態によれば、画面の直上空間に、オブジェクトを選択するための第１領域が割り当てられ、画面から離れた空間に、選択したオブジェクトを実行するための第２領域が割り当てられる。このため、オブジェクトの誤選択が抑制され、選択したオブジェクトを確実に実行させることが可能となる。

なお、上記各実施形態において、プロセッサとは広義的なプロセッサを指し、汎用的なプロセッサ（例えば、ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、等）や、専用のプロセッサ（例えば、ＧＰＵ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＡＳＩＣ： Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、プログラマブル論理デバイス、等）を含むものである。

また、上記各実施形態におけるプロセッサの動作は、１つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は、上記各実施形態において記載した順序のみに限定されるものではなく、適宜変更してもよい。

以上、実施形態に係る情報処理装置として画像処理装置を例示して説明した。実施形態は、情報処理装置の機能をコンピュータに実行させるためのプログラムの形態としてもよい。実施形態は、これらのプログラムを記憶したコンピュータが読み取り可能な非一時的記憶媒体の形態としてもよい。

その他、上記実施形態で説明した情報処理装置の構成は、一例であり、主旨を逸脱しない範囲内において状況に応じて変更してもよい。

また、上記実施形態で説明したプログラムの処理の流れも、一例であり、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。

また、上記実施形態では、プログラムを実行することにより、実施形態に係る処理がコンピュータを利用してソフトウェア構成により実現される場合について説明したが、これに限らない。実施形態は、例えば、ハードウェア構成や、ハードウェア構成とソフトウェア構成との組み合わせによって実現してもよい。

以上の実施形態に関し、更に以下を開示する。

（（（１）））に係る情報処理装置は、プロセッサを備え、前記プロセッサが、前記プロセッサが、画面内のオブジェクトに対する選択、実行の操作を対象物による非接触の操作で行う場合に、前記画面の直上となる空間に、前記オブジェクトを選択するための第１領域を割り当て、前記第１領域よりも前記画面から離れた空間に、前記選択されたオブジェクトを実行するための第２領域を割り当てる。

（（（２）））に係る情報処理装置は、（（（１）））に係る情報処理装置において、前記プロセッサが、前記第１領域で前記対象物が検知された場合に、前記対象物に対応するオブジェクトを選択し、前記第２領域で前記対象物が検知された場合に、前記選択されたオブジェクトを実行する。

（（（３）））に係る情報処理装置は、（（（１）））又は（（（２）））に係る情報処理装置において、前記プロセッサが、前記第１領域と前記第２領域との間に、前記選択されたオブジェクトの選択を確定するための第３領域を更に割り当てる。

（（（４）））に係る情報処理装置は、（（（３）））に係る情報処理装置において、前記プロセッサが、前記第１領域で前記対象物が検知された場合に、前記対象物に対応するオブジェクトを選択し、前記第３領域で前記対象物が検知された場合に、前記選択されたオブジェクトの選択を確定し、前記第２領域で前記対象物が検知された場合に、前記選択が確定されたオブジェクトを実行する。

（（（５）））に係る情報処理装置は、（（（３）））又は（（（４）））に係る情報処理装置において、前記第３領域の前記画面に対して直交する方向における範囲が、前記第１領域の前記画面に対して直交する方向における範囲よりも長い。

（（（６）））に係る情報処理装置は、（（（３）））～（（（５）））の何れか１に係る情報処理装置において、前記プロセッサが、前記対象物が前記第１領域から前記第３領域に移動した後に、前記第１領域に戻った場合、又は、前記対象物が前記第１領域から前記第３領域に移動した後に、前記第１領域、前記第２領域、及び前記第３領域の外に移動した場合、前記選択されたオブジェクトの選択をキャンセルする。

（（（７）））に係る情報処理装置は、（（（１）））又は（（（２）））に係る情報処理装置において、前記プロセッサが、前記対象物が前記第１領域にある場合に前記オブジェクトに関連付けて、第１マーカを表示させ、前記対象物が前記第２領域にある場合に前記オブジェクトに関連付けて、前記第１マーカとは表示形態が異なる第２マーカを表示させる制御を行う。

（（（８）））に係る情報処理装置は、（（（７）））に係る情報処理装置において、前記プロセッサが、前記オブジェクトの種類に応じて前記第１マーカ及び前記第２マーカの各々のサイズ又は形状を変更する。

（（（９）））に係る情報処理装置は、（（（７）））に係る情報処理装置において、前記プロセッサが、前記オブジェクト及び前記第１マーカを含む第１サブウインドウを、前記オブジェクトとは異なる画面領域に表示させ、前記オブジェクト及び前記第２マーカを含む第２サブウインドウを、前記画面領域に表示させる制御を行う。

（（（１０）））に係る情報処理プログラムは、画面内のオブジェクトに対する選択、実行の操作を対象物による非接触の操作で行う場合に、前記画面の直上となる空間に、前記オブジェクトを選択するための第１領域を割り当て、前記第１領域よりも前記画面から離れた空間に、前記選択されたオブジェクトを実行するための第２領域を割り当てることを、コンピュータに実行させる。

（（（１）））及び（（（１０）））によれば、画面内のオブジェクトに対する選択、実行の操作を非接触で行う際に、画面の遠方から近傍に向けて対象物を操作してオブジェクトを選択する場合と比較して、オブジェクトの誤選択を抑制することができる、という効果を有する。

（（（２）））によれば、対象物を画面から離す操作によって、第１領域で選択したオブジェクトを実行することができる、という効果を有する。

（（（３）））によれば、第１領域で選択したオブジェクトが即座に実行されることを防止することができる、という効果を有する。

（（（４）））によれば、対象物を画面から離す操作によって、第１領域で選択したオブジェクトの選択を確定し、実行することができる、という効果を有する。

（（（５）））によれば、第３領域で選択を確定したオブジェクトが実行されるまでの移動距離を長くすることができる、という効果を有する。

（（（６）））によれば、第３領域で選択を確定したオブジェクトをキャンセルすることができる、という効果を有する。

（（（７）））によれば、対象物の位置、及び位置に対応する操作の内容を把握することができる、という効果を有する。

（（（８）））によれば、オブジェクトがマーカで隠れないようにすることができる、という効果を有する。

（（（９）））によれば、オブジェクトが対象物で隠れて見えない場合であっても、オブジェクト及びマーカを視認することができる、という効果を有する。

１ 情報処理システム
２ 通信回線
３ ユーザの指
４ 端末
６ 操作位置
８ ボタン
８Ａ コピーボタン
８Ｂ プリントボタン
８Ｃ スキャンボタン
９ ナビゲーションバー
１０ 画像処理装置
１１ 原稿
１２ 原稿読み取りユニット
１３ 操作表示ユニット
１４ 画像形成ユニット
１５ 操作パネル
２０ 制御部
２１ 受付部
２２ 表示部
２３ 原稿読み取り部
２４ 画像形成部
３０ 画面
３０Ｂ ホーム画面
３１ 入力ユニット
３２ 表示ユニット
３３ 通信ユニット
４０ コンピュータ
４１ ＣＰＵ
４１Ａ 割当部
４１Ｂ 検知部
４１Ｃ 距離判定部
４１Ｄ 操作処理部
４１Ｅ 表示制御部
４２ ＲＡＭ
４３ ＲＯＭ
４４ 不揮発性メモリ
４４Ａ 領域割当情報
４５ Ｉ／Ｏ

Claims (10)

1. プロセッサを備え、
   前記プロセッサは、
   画面内のオブジェクトに対する選択、実行の操作を対象物による非接触の操作で行う場合に、前記画面の直上となる空間に、前記オブジェクトを選択するための第１領域を割り当て、
   前記第１領域よりも前記画面から離れた空間に、前記選択されたオブジェクトを実行するための第２領域を割り当てる
   情報処理装置。
2. 前記プロセッサは、前記第１領域で前記対象物が検知された場合に、前記対象物に対応するオブジェクトを選択し、前記第２領域で前記対象物が検知された場合に、前記選択されたオブジェクトを実行する
   請求項１に記載の情報処理装置。
3. 前記プロセッサは、前記第１領域と前記第２領域との間に、前記選択されたオブジェクトの選択を確定するための第３領域を更に割り当てる
   請求項１に記載の情報処理装置。
4. 前記プロセッサは、前記第１領域で前記対象物が検知された場合に、前記対象物に対応するオブジェクトを選択し、前記第３領域で前記対象物が検知された場合に、前記選択されたオブジェクトの選択を確定し、前記第２領域で前記対象物が検知された場合に、前記選択が確定されたオブジェクトを実行する
   請求項３に記載の情報処理装置。
5. 前記第３領域の前記画面に対して直交する方向における範囲は、前記第１領域の前記画面に対して直交する方向における範囲よりも長い
   請求項３に記載の情報処理装置。
6. 前記プロセッサは、前記対象物が前記第１領域から前記第３領域に移動した後に、前記第１領域に戻った場合、又は、前記対象物が前記第１領域から前記第３領域に移動した後に、前記第１領域、前記第２領域、及び前記第３領域の外に移動した場合、前記選択されたオブジェクトの選択をキャンセルする
   請求項３に記載の情報処理装置。
7. 前記プロセッサは、前記対象物が前記第１領域にある場合に前記オブジェクトに関連付けて、第１マーカを表示させ、
   前記対象物が前記第２領域にある場合に前記オブジェクトに関連付けて、前記第１マーカとは表示形態が異なる第２マーカを表示させる制御を行う
   請求項１に記載の情報処理装置。
8. 前記プロセッサは、前記オブジェクトの種類に応じて前記第１マーカ及び前記第２マーカの各々のサイズ又は形状を変更する
   請求項７に記載の情報処理装置。
9. 前記プロセッサは、前記オブジェクト及び前記第１マーカを含む第１サブウインドウを、前記オブジェクトとは異なる画面領域に表示させ、
   前記オブジェクト及び前記第２マーカを含む第２サブウインドウを、前記画面領域に表示させる制御を行う
   請求項７に記載の情報処理装置。
10. 画面内のオブジェクトに対する選択、実行の操作を対象物による非接触の操作で行う場合に、前記画面の直上となる空間に、前記オブジェクトを選択するための第１領域を割り当て、
    前記第１領域よりも前記画面から離れた空間に、前記選択されたオブジェクトを実行するための第２領域を割り当てることを、
    コンピュータに実行させるための情報処理プログラム。