以下、本発明の一実施形態に係る操作指示受付プログラム及び表示操作装置について図面を参照して説明する。図1は、本発明の第1実施形態に係る操作指示受付プログラムがインストールされた表示操作装置の主要内部構成を概略的に示した機能ブロック図である。本発明の第1実施形態に係る表示操作装置2は、制御ユニット21、操作部22、HDD(Hard Disk Drive)24、及び通信部25を含んで構成されている。
制御ユニット21は、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)、及び専用のハードウェア回路等から構成される。制御ユニット21は、制御部200と操作指示受付部211とを備える。
操作部22は、表示操作装置2が実行可能な各種動作及び処理について操作者から各種指示を受け付ける。操作部22は、操作者への操作案内等を表示する表示部23を備えている。表示部23は、制御ユニット21からの応答やデータ結果等を表示するとともに、タッチパネル機能が設けられている。操作者は表示部23に画面表示される画像等に触れる操作を行うことで、タッチパネル機能により、表示操作装置2に対する各種の操作指示を入力することが可能とされている。
HDD24は、表示操作装置2の動作に必要なプログラムやデータを記憶し、例えば、本発明の一実施形態に係る操作指示受付プログラム210を記憶する。通信部25は、LANボード等の通信モジュールを含んで構成され、通信部25に接続されたLAN等を介して、ローカルエリア内、又はインターネット上のパーソナルコンピューター等の外部装置(例えば、複合機等の画像形成装置1)と種々のデータの送受信を行うものである。
制御ユニット21は、HDD24に記憶されている制御プログラムに従った動作により、制御部200として機能する。但し、制御部200は、制御ユニット21による制御プログラムに従った動作によらず、それぞれハードウェア回路により構成することも可能である。
制御部200は、表示操作装置2の全体的な動作制御を司るものであり、操作部22、HDD24、及び通信部25と接続され、これら各部の制御を行う。
また、制御ユニット21は、HDD24に記憶されている操作指示受付プログラム210に従って動作することにより、操作指示受付部211として機能する。
操作指示受付部211は、表示制御部212と、操作受付部213と、フリック方向検出部214と、フリック量検出部215と、処理記憶部216と、指示受付部217とを備える。
表示制御部212は、表示部23による表示動作を制御する。表示制御部212は、例えば、図2に示すように、文書ファイルや画像ファイルなど、処理(展開や印刷、メール送信等)の対象となる対象ファイル(ドキュメント等)を示すアイコン画像51,52を表示部23に表示させる。
操作受付部213は、表示部23に表示されているアイコン画像51,52に対するタッチ操作(例えば、タップ操作やフリック操作)を、表示部23に設けられたタッチパネル機能により受け付ける。
フリック方向検出部214は、操作受付部213により受け付けられたフリック操作の方向を検出する。
フリック量検出部215は、操作受付部213により受け付けられたフリック操作のフリック量を検出する。
処理記憶部216は、フリック方向検出部214によって検出されたフリック方向と、フリック量検出部215によって検出されたフリック量の組み合わせが示す内容に応じた各処理(例えば、展開、印刷、メール送信)をアイコン画像51,52に対応付けて記憶する。
指示受付部217は、フリック方向及びフリック量の組み合わせが示す内容に対応付けられた処理を処理記憶部216から読み出し、当該読み出した処理に対する実行指示を受け付ける。また、指示受付部217は、フリック方向及びフリック量の組み合わせが示す内容に対応付けられた処理が処理記憶部216に記憶されていない場合には、実行指示を受け付けない。
また、表示制御部212は、表示部23に、操作受付部213にアイコン画像51,52に対するフリック操作が受け付けられたとき、当該フリック操作されたアイコン画像51,52に対応付けて処理記憶部216に記憶されている各処理を示す処理内容画像を、表示部23の表示画面においてアイコン画像51,52とは離れた位置に表示させる。
例えば、図3(A)に示すように、アイコン画像51に対するフリック操作が行われ、操作受付部213が、アイコン画像51に対するフリック操作を受け付けると、表示制御部212は、図3(B)に示すように、当該フリック操作されたアイコン画像51に対応付けて処理記憶部216に記憶されている各処理を示す処理内容画像61A〜61Cを、表示部23の表示画面端部に表示させる。
この例では、処理内容画像61Aは処理「展開」を示し、処理内容画像61Bは処理「印刷」を示し、処理内容画像61Cは処理「メール送信」を示している。これら処理内容画像61A〜61Cは、表示制御部212により、それぞれ表示部23の表示画面上端部、右端部、下端部に表示される。
また、図4に示すように、アイコン画像51から処理内容画像61A〜61Cへの方向は方向dA〜dCで表され、アイコン画像51から方向dAの方向には処理内容画像61Aが表示され、方向dBの方向には処理内容画像61Bが表示され、方向dCの方向には処理内容画像61Cが表示される。一方、アイコン画像51から方向dDの方向には処理内容画像61A〜61Cのいずれも表示されていない。方向dA〜dCは、それぞれに予め定められた角度の範囲内となる方向を示す。
処理記憶部216は、上記したように、フリック方向及びフリック量の組み合わせが示す内容に応じた各処理をアイコン画像51,52に対応付けて記憶している。例えば、処理記憶部216は、アイコン画像51に対応付けて、フリック方向dA及びフリック量P1が示す内容に応じた処理として処理「展開」を記憶し、フリック方向dB及びフリック量P2が示す内容に応じた処理として処理「印刷」を記憶し、フリック方向dC及びフリック量P3が示す内容に応じた処理として処理「メール送信」を記憶する。フリック量P1〜P3としては、例えば、表示部23に表示している画像における60ピクセル分の距離として設定される。例えば、60ピクセルは、一般的な表示部23の表示画面において2cm程度であるものとする。
次に、操作指示受付プログラム210の処理動作について説明する。図5は、第1実施形態に係る操作指示受付プログラム210を、表示操作装置2の制御ユニット21に実行させた場合における表示操作装置2における操作指示受付処理の流れを示すフローチャートである。この処理動作が実行されるのは、操作受付部213が表示部23に表示されているアイコン画像51,52に対するフリック操作を受け付けた場合である。なお、ここでは説明を容易にするために、図3(A)に示したように、アイコン画像51に対してフリック操作が行われた場合を例に挙げて説明する。
表示部23の表示画面においてアイコン画像51が表示されている位置で操作者によりフリック操作が行われたことが、タッチパネル機能を介して操作受付部213により受け付けられると(S1)、フリック方向検出部214が、操作受付部213により受け付けられた当該フリック操作の方向を検出し(S2)、フリック量検出部215が、操作受付部213により受け付けられた当該フリック量を検出する(S3)。そして、表示制御部212は、当該フリック操作されたアイコン画像51に対応付けて処理記憶部216に記憶されている各処理を示す処理内容画像61A〜61Cを、図3(B)に示したように、表示部23の表示画面端部に表示させる(S4)。
続いて、指示受付部217が、フリック方向検出部214により検出されたフリック方向及びフリック量検出部215により検出されたフリック量の組み合わせが示す内容に対応付けられた処理を処理記憶部216から読み出し可能か否かを判断する(S5)。
例えば、図7(A)に示すように、アイコン画像51に対して矢印81の方向(図4に示す方向dBの範囲内)にフリック操作され、なおかつフリック操作されたフリック量がP2(60ピクセル)以上である場合、処理記憶部216には、当該アイコン画像51についてフリック方向dB及びフリック量P2に対して「印刷」の処理が記憶されているため、指示受付部217は、処理記憶部216から当該処理の読み出しが可能と判断する。
一方、アイコン画像51に対して矢印81の方向にフリック操作されたとしても、フリック操作されたフリック量がP2未満である場合、処理記憶部216には、当該アイコン画像51についてフリック方向dB及びフリック量P2未満に対して記憶されている処理がないため、指示受付部217は、処理記憶部216から処理の読み出しは不可能と判断する。また、操作者によるフリック操作によるフリック方向が、例えば、図4に示す方向dDである場合、処理記憶部216には、当該アイコン画像51についてフリック方向dDに対して記憶されている処理がないため、指示受付部217は、処理記憶部216から処理の読み出しが不可能と判断する。
指示受付部217は、フリック方向及びフリック量の組み合わせが示す内容に対応付けられた処理(ここでは「印刷」)を処理記憶部216から読み出し可能と判断した場合は(S5でYES)、処理「印刷」を処理記憶部216から読み出す(S6)。表示制御部212は、指示受付部217が読み出した処理「印刷」を示す処理内容画像61Bに向けて、フリック操作されたアイコン画像51を、処理内容画像61Bに接触する位置まで、フリック操作されたフリック方向に移動させて表示させる制御を行う(S7)。
例えば、表示制御部212は、図7(B)に示すように、アイコン画像51を矢印81の方向に移動させて表示させ、図8(A)に示すように、アイコン画像51を処理「印刷」を示す処理内容画像61Bに接触する位置まで移動するように表示させる。なお、図中51Aは、当該移動表示前のアイコン画像51の元位置を示している。
一方、S5において、指示受付部217が、フリック方向及びフリック量の組み合わせが示す内容に対応付けられた処理を処理記憶部216から読み出し不可能と判断した場合は(S5でNO)、表示制御部212は、フリック操作されたアイコン画像51を、フリック操作されたフリック方向に移動するように表示しつつ、処理内容画像61Bの位置に到達しない位置で表示を停止させる制御を行う(S8)。例えば、表示制御部212は、図7(B)に示すように、アイコン画像51を矢印81の方向に移動させて表示させ、図8(B)に示すように、アイコン画像51を、処理内容画像61Bの位置に達しない位置で表示を停止させる。
また、図9(A)に示すように、操作者によりアイコン画像51に対して矢印82の方向(図4に示す方向dDの範囲)にフリック操作がされた場合、表示制御部212は、アイコン画像51を矢印82の方向に移動させて表示させると共に、図9(B)に示すように、アイコン画像51を処理内容画像61A〜61Cのいずれの位置にも達しない位置で表示を停止させる。
S7の後、指示受付部217は、表示制御部212によりアイコン画像51を処理内容画像61Bに接触する位置まで移動させる表示処理が完了した場合には(S9でYES)、上記S6で読み出した処理(ここでは「印刷」)についての実行指示を受け付ける(S10)。表示制御部212は、アイコン画像51がフリック操作された元の場所51Aへ戻ったように見せるために、アイコン画像51を消去させてから、フリック操作された元の場所51Aにアイコン画像51を表示させる(S11)。このように、指示受付部217が上記実行指示を受け付けると、制御部200が、当該実行指示が示す処理(この例では「印刷」)を実行する。
また、表示制御部212によるアイコン画像51を処理内容画像61Bに接触する位置まで移動させる表示が完了していないうちに(S9でNO)、操作者による移動表示中のアイコン画像51へのタップ操作が操作受付部213により受け付けられた場合には、図6に示す「追加操作対応処理」に移行する(S12)。この「追加操作対応処理」は後述する。
一方、S8の後、表示制御部212は、アイコン画像51を処理内容画像61A〜61Cのいずれの位置にも達しない位置で表示を停止させることを完了した場合には(S13でYES)、アイコン画像51を消去させ、フリック操作された元の場所51Aにアイコン画像51を表示させる(S15)。
また、S13において、表示制御部212によるアイコン画像51を処理内容画像61A〜61Cのいずれの位置にも達しない位置で表示を停止させることが完了していないうちに(S13でNO)、操作者による移動表示中のアイコン画像51へのタップ操作が操作受付部213により受け付けられた場合も、図6に示す「追加操作対応処理」に移行する(S12)。
次に、上記「追加操作対応処理」について説明する。図6は追加操作対応処理の流れを示すフローチャートである。
S9又はS13においてアイコン画像51の移動表示処理が完了するまでの間に、フリック操作されたアイコン画像51の表示位置に対する予め定められたタッチ操作(タップ操作や長押し操作が挙げられるが、ここではタップ操作を例に挙げる)が操作受付部213により受け付けられた場合(S21でYES)、表示制御部212は、アイコン画像51を消去させてから、フリック操作された元の場所51Aにアイコン画像51を表示させる(S22)。すなわち、この場合、指示受付部217は、アイコン画像51に対応付けて処理記憶部216に記憶されているいずれの処理の実行指示も受け付けない。
例えば、図10(A)に示すように、フリック操作されてフリック方向に移動表示中のアイコン画像51の表示位置に対して、操作者によりタップ操作が行われると、表示制御部212は、図10(B)に示すように、アイコン画像51を消去させてから、アイコン画像51をフリック操作された元の場所51Aにアイコン画像51を表示させる。
一方、フリック操作されたアイコン画像51の表示位置に対するタップ操作を操作受付部213が受け付けていない場合であって(S21でNO)、操作受付部213が、フリック操作されたアイコン画像51の表示位置に対する更なるフリック操作を受け付けた場合には(S23でYES)、フリック方向検出部214が、操作受付部213により受け付けられたフリック操作の方向を検出し(S24)、フリック量検出部215が、操作受付部213により受け付けられたフリック量を検出する(S25)。
続いて、指示受付部217が、最初にS2及びS3で受け付けたフリック操作が示すベクトルと、更にS24及びS25で受け付けたフリック操作が示すベクトルとの合力である合力ベクトルを算出する(S26)。フリック方向検出部214は、当該算出された合力ベクトルの方向をフリック方向として検出する。フリック量検出部215は、当該算出された合力ベクトルの長さをフリック量として検出する。指示受付部217は、このように検出されたフリック方向及びフリック量の組み合わせが示す内容に対応付けられたアイコン画像51に対応付けられた処理を、処理記憶部216から読み出し可能か否かを判断する(S27)。
例えば、図11(A)に示すように、移動表示中のアイコン画像51に対して矢印83の方向に、操作者によりフリック操作がされた場合、図11(B)に示すように、最初に受け付けたフリック操作により示されるベクトルB1と、更なるフリック操作により示されるベクトルB3との合力である合力ベクトルB2の示すフリック方向が、矢印84の方向(図4に示す方向dAの範囲)であり、当該合力ベクトルB2の長さが上記P1以上である場合、処理記憶部216には、当該アイコン画像51についてフリック方向dA及びフリック量P1に対して「展開」の処理が記憶されているため、指示受付部217は、処理記憶部216から、合力ベクトルB2の示すフリック方向及びフリック量に対応する処理の読み出しが可能と判断する。
指示受付部217は、合力ベクトルB2が示すフリック方向及びフリック量の組み合わせが示す内容に対応付けられた処理を処理記憶部216から読み出し可能であれば(S27でYES)、当該対応付けられた処理(ここでは「展開」)を処理記憶部216から読み出す(S28)。表示制御部212は、当該読み出された処理「展開」を示す処理内容画像61Aに向けて、フリック操作されたアイコン画像51を、処理内容画像61Aに接触する位置まで移動するように表示させる制御を行う(S29)。この後、処理は、図5に示すS9へ戻る。
例えば、表示制御部212は、図12(A)に示すように、アイコン画像51を、フリック操作された方向である矢印85の方向に移動させて表示させ、図12(B)に示すように、アイコン画像51を処理「展開」を示す処理内容画像61Aに接触する位置まで移動するように表示させる。なお、図中51Bは、アイコン画像51が更なるフリック操作(S23)が行われた時点の位置を示している。
一方、S27において、指示受付部217による、合力ベクトルB3が示すフリック方向及びフリック量の組み合わせに対応付けられた処理を処理記憶部216から読み出しが不可能な場合には(S27でNO)、表示制御部212が、フリック操作されたアイコン画像51を、更なるフリック操作(S23)されたフリック方向に移動させて表示させるが、処理内容画像61Aの位置に達しない位置でアイコン画像51の移動表示を停止させる(S30)。この後、処理は、図5に示すS13へ戻る。
また、S23において、操作受付部213により、フリック操作されたアイコン画像51の表示位置に対する更なるフリック操作が受け付けられていない場合は(S23でNO)、処理は、S21に移行する前の処理であったS9,S13,S14のいずれか(図5)に戻る。
上記第1実施形態によれば、タッチパネル機能を備えた表示部23の表示画面に対するフリック操作のフリック方向及びフリック量の違いに応じて、指示の入力又は未入力や、入力する指示の内容を変えることができるため、更に操作性が向上し、フリック操作時における操作者が体感する楽しさを向上させることができる。
また、操作者は、アイコン画像51に対するフリック操作を行った後であっても、移動表示中のアイコン画像51に対してタップ操作を行うことで、指示入力を取り消すことが可能である。また、操作者は、アイコン画像51に対するフリック操作を行った後であっても、移動表示中のアイコン画像51に対してフリック操作を行うことで、指示入力を変更することが可能である。
これにより、本発明によれば、従来よりも更に操作性が向上し、フリック操作時における操作者が体感する楽しさを向上させることができる。
また、操作者は、表示制御部212によるアイコン画像51の移動表示が完了するまでは、上記タップ操作による指示入力の取消や、上記フリック操作による指示入力の変更が可能なので、当該取消や変更が可能な猶予時間がアイコン画像51の移動表示によって示されることになり、当該猶予時間を操作者に簡単に理解させることができる。
また、上記第1実施形態では、処理内容画像61A〜61Cを表示部23の表示画面上端部、右端部、下端部にそれぞれ表示させる場合について説明しているが、処理内容画像61A〜61Cの配置場所はこれに限定されるものではなく、表示制御部212は、例えば、図13に示すように、処理内容画像65〜67を表示部23の表示画面端部以外の場所に配置して表示させても良い。
また、処理内容画像65〜67については、操作者がそれぞれの処理を連想しやすい画像にするのが好ましい。例えば、処理「展開」を示す処理内容画像65については、本を開いたような画像にし、処理「印刷」を示す処理内容画像66については、プリンターをイメージした画像にし、処理「メール送信」を示す処理内容画像67については、封筒をイメージした画像にする。これにより、さらなる楽しさを演出できるとともに、操作者が処理の内容を直感的に理解することができる。
図14は、本発明の第2実施形態に係る操作指示受付プログラムがインストールされた表示操作装置の主要内部構成を概略的に示した機能ブロック図である。なお、図1に示した第1実施形態に係る表示操作装置2と同様の構成部分については同符号を付し、ここではその詳しい説明を省略する。また、第1実施形態とは、第2実施形態に係る表示操作装置2の操作指示受付部211が判別部218を備える点で異なる。また、第2実施形態に係る表示操作装置2では、表示制御部212、処理記憶部216、及び指示受付部217は、第1実施形態に係る表示操作装置2の場合とは異なる機能を有している。
判別部218は、各操作者の指紋を示す指紋データを指種類(親指、人指し指、くすり指等の指種類)毎に記憶している。表示部23に設けられたタッチパネル機能がフリック操作を行った指の指紋を読み取り、判別部218は、当該指の指紋を示す指紋読取データを当該タッチパネルから取得する。判別部218は、記憶している上記指紋データと、当該取得した指紋読取データとを比較し、当該指紋読取データに一致する指紋データに対応付けて記憶している指種類を、フリック操作を行った指の指種類として判別する。
処理記憶部216は、フリック方向検出部214によって検出されたフリック方向と、フリック量検出部215によって検出されたフリック量の組み合わせが示す内容に応じた各処理を、アイコン画像(例えば、アイコン画像51,52)に対応付けて、判別部218が判別した指の種類毎に記憶する。
例えば、処理記憶部216は、アイコン画像51に対応付けて、アイコン画像51に対して行われたフリック操作がフリック方向dE及びフリック量P4の組み合わせであるときの処理として、判別部218により判別された指種類が親指の場合は処理「印刷(1in1)」、人差し指の場合は処理「展開」、中指の場合は処理「メール送信」、薬指の場合は処理「印刷(2in1)」と記憶する。
例えば、図15に示すように、フリック方向dEがアイコン画像51から表示部23の表示画面右端部の方向に設定され、フリック量P4が60ピクセルに設定されている場合に、アイコン画像51の表示位置に対して、人差し指でフリック方向dEの範囲内となる方向にフリック量P4以上で操作者によりフリック操作がされると、指示受付部217は、アイコン画像51が示す対象ファイルに対する処理「展開」の実行指示を受け付ける。
上記実施形態では、判別部218が指種類を判別し、処理記憶部216が、フリック方向検出部214によって検出されたフリック方向と、フリック量検出部215によって検出されたフリック量の組み合わせが示す内容に応じた各処理を、上記アイコン画像に対応付けて、判別された上記指の種類毎に記憶する例を示しているが、本発明はこれに限られない。本発明は、これに代えて、例えば、判別部218が、指による押圧力、又は指による押圧面積の値を上記タッチパネル機能から取得する情報に基づいて判別するものとし、処理記憶部216が、フリック方向検出部214によって検出されたフリック方向と、フリック量検出部215によって検出されたフリック量の組み合わせが示す内容に応じた各処理を、上記アイコン画像に対応付けて、判別された上記指の押圧力又は押圧面積の値毎に記憶するものであってもよい。この場合、操作者によりアイコン画像にフリック操作がされたとき、指示受付部217は、処理記憶部216から、上記検出されたフリック方向、フリック量、及び上記判別された押圧力又は押圧面積の値に対応付けられた処理を読み出して、当該処理の実行指示を受け付ける。
次に、第2実施形態に係る操作指示受付プログラム210の処理動作について説明する。図16は、第2実施形態に係る操作指示受付プログラム210を、表示操作装置2の制御ユニット21に実行させた場合における表示操作装置2における操作指示受付処理の流れを示すフローチャートである。
この処理動作が実行されるのは、操作受付部213が表示部23に表示されているアイコン画像51,52に対するフリック操作を受け付けた場合である。なお、ここでは説明を容易にするために、図18(A)に示すように、アイコン画像51に対してフリック操作が行われた場合を例に挙げて説明する。
表示部23の表示画面においてアイコン画像51が表示されている位置で操作者によりフリック操作が行われたことが、タッチパネル機能を介して操作受付部213により受け付けられると(S41)、フリック方向検出部214が、操作受付部213により受け付けられた当該フリック操作の方向を検出し(S42)、フリック量検出部215が、操作受付部213により受け付けられた当該フリック量を検出する(S43)。そして、判別部218が、当該フリック操作を行った指の指紋を示す指紋読取データをタッチパネルから取得し(S44)、当該指紋読取データに一致する指紋データに対応付けて記憶している指種類を、フリック操作を行った指の指種類として判別する(S45)。
そして、指示受付部217は、フリック方向検出部214により検出されたフリック方向及びフリック量検出部215により検出されたフリック量の組み合わせが示す内容に対応付けられた処理であって、判別部218が判別した指の種類に対応付けられた処理を処理記憶部216から読み出し可能か否かを判断する(S46)。
例えば、図18(A)に示すように、アイコン画像51に対して矢印86の方向(図15に示す方向dEの範囲内)にフリック操作され、なおかつフリック操作されたフリック量がP4(60ピクセル)以上であって、フリック操作を行った指の種類が人差し指である場合、処理記憶部216には、当該アイコン画像51についてフリック方向dE及びフリック量P4に対して「展開」の処理が記憶されているため、指示受付部217は、処理記憶部216から当該処理の読み出しが可能と判断する。
一方、アイコン画像51に対して矢印86の方向にフリック操作されたとしても、フリック操作されたフリック量がP4未満である場合や、フリック操作を行った指の種類が登録されていない種類である場合、指示受付部217は、処理記憶部216から処理の読み出しは不可能と判断する。また、フリック方向が図15に示す方向dEの範囲外である場合、指示受付部217は、処理記憶部216から処理の読み出しは不可能と判断する。
指示受付部217は、フリック方向及びフリック量の組み合わせが示す内容に対応付けられた処理であって、フリック操作を行った指の種類に対応付けられた処理(ここでは「展開」)を処理記憶部216から読み出し可能と判断した場合は(S46でYES)、処理「展開」を処理記憶部216から読み出す(S47)。表示制御部212は、表示部23の表示画面右端部に向けて、フリック操作されたアイコン画像51を、表示部23の表示画面において上記フリック操作がされた方向に、当該表示画面の端部に接触する位置まで移動させて表示させる制御を行う(S48)。
例えば、表示制御部212は、図18(B)に示すように、アイコン画像51を矢印86の方向に移動させて表示させ、図19(A)に示すように、アイコン画像51を表示部23の表示画面右端部に接触する位置まで移動させて表示させる。なお、図中51Aは、当該移動表示前のアイコン画像51の元位置を示している。
一方、S46において、指示受付部217が、フリック方向及びフリック量の組み合わせが示す内容に対応付けられた処理であって、フリック操作を行った指の種類に対応付けられた処理を処理記憶部216から読み出し不可能と判断すれば(S46でNO)、表示制御部212は、フリック操作されたアイコン画像51を、フリック操作されたフリック方向に移動させて表示しつつ、表示部23の表示画面端部に接触しない位置で表示を停止させる制御を行う(S49)。
例えば、表示制御部212は、図18(B)に示すように、アイコン画像51を矢印86の方向に移動させる表示を開始するが、図19(B)に示すように、アイコン画像51を表示部23の表示画面端部に接触しない位置で表示を停止させる。
S48の後、指示受付部217は、表示制御部212によるアイコン画像51を表示部23の表示画面右端部に接触する位置まで移動させる表示が完了した場合には(S50でYES)、上記S47で読み出した処理(ここでは「展開」)に対する実行指示を受け付ける(S51)。表示制御部212は、アイコン画像51がフリック操作された元の場所51Aへ戻ったように見せるために、アイコン画像51を消去させてから、フリック操作された元の場所51Aにアイコン画像51を表示させる(S52)。
また、表示制御部212によるアイコン画像51を表示部23の表示画面端部に接触する位置まで移動させる表示が完了していないうちに(S50でNO)、操作者による移動表示中のアイコン画像51へのタップ操作が操作受付部213により受け付けられた場合には、図17に示す「追加操作対応処理」に移行する(S53)。この「追加操作対応処理」は後述する。
一方、S49の後、表示制御部212は、アイコン画像51を表示部23の表示画面端部に接触しない位置で表示を停止させることが完了したか否かを判断する(S54)。
指示受付部217が、表示制御部212によるアイコン画像51を表示部23の表示画面右端部に接触しない位置で表示を停止させることを完了した場合には(S54でYES)、アイコン画像51を消去させ、フリック操作された元の場所51Aにアイコン画像51を表示させる(S56)。
また、S54において、表示制御部212によるアイコン画像51を表示部23の表示画面端部に接触しない位置で表示を停止させることが完了していないうちに(S54でNO)、操作者による移動表示中のアイコン画像51へのタップ操作が操作受付部213により受け付けられた場合も、図17に示す「追加操作対応処理」に移行する(S53)。
次に、図17に示す「追加操作対応処理」について説明する。図17は追加操作対応処理の流れを示すフローチャートである。
S50又はS54においてアイコン画像51の移動表示処理が完了するまでの間に、フリック操作されたアイコン画像51の表示位置に対する予め定められたタッチ操作(タップ操作や長押し操作が挙げられるが、ここではタップ操作を例に挙げる)が操作受付部213により受け付けられた場合(S61でYES)、表示制御部212は、アイコン画像51を消去させてから、フリック操作された元の場所51Aにアイコン画像51を表示させる(S62)。すなわち、この場合、指示受付部217は、アイコン画像51に対応付けて処理記憶部216に記憶されているいずれの処理の実行指示も受け付けない。
例えば、図20(A)に示すように、フリック操作されたアイコン画像51の表示位置に対して、操作者によりタップ操作が行われると、表示制御部212は、図20(B)に示すように、アイコン画像51を消去させてから、アイコン画像51をフリック操作された元の場所51Aにアイコン画像51を表示させる。
一方、フリック操作されたアイコン画像51の表示位置に対するタップ操作を操作受付部213が受け付けていない場合であって(S61でNO)、操作受付部213が、フリック操作されたアイコン画像51の表示位置に対する更なるフリック操作を受け付けた場合には(S63でYES)、フリック方向検出部214が、操作受付部213により受け付けられたフリック操作の方向を検出し(S64)、フリック量検出部215が、操作受付部213により受け付けられたフリック量を検出する(S65)。
続いて、指示受付部217が、最初にS42及びS43で受け付けたフリック操作が示すベクトルと、更にS64及びS65で受け付けたフリック操作が示すベクトルとの合力である合力ベクトルを算出する(S66)。フリック方向検出部214は、当該算出された合力ベクトルの方向をフリック方向として検出する。フリック量検出部215は、当該算出された合力ベクトルの長さをフリック量として検出する。
そして、判別部218は、フリック操作を行った指の指紋を示す指紋読取データをタッチパネルから取得し(S67)、指紋読取データに一致する指紋データに対応する指種類を、フリック操作を行った指の指種類として判別する(S68)。
そして、指示受付部217が、算出した合力ベクトルが示すフリック方向及びフリック量の組み合わせが示す内容に対応付けられたアイコン画像51に対応付けられた処理であって、判別部218が判別した指の種類に対応付けられた処理を、処理記憶部216から読み出し可能か否かを判断する(S69)。
例えば、図21(A)に示すように移動表示中のアイコン画像51に対して矢印87の方向に、操作者によりフリック操作がされた場合、図21(B)に示すように、最初に受け付けたフリック操作により示されるベクトルB1と、更なるフリック操作により示されるベクトルB2との合力である合力ベクトルB3の示すフリック方向が矢印88の方向である場合、当該矢印88の方向は、図15に示す方向dEの範囲外であるため、当該合力ベクトルB3が示すフリック量がP4以上であっても、指示受付部217は、処理記憶部216から処理の読み出しは不可能と判断する。
また、例えば、図22(A)に示すように、移動表示中のアイコン画像51に対して矢印89の方向に、操作者によりフリック操作がされた場合、図22(B)に示すように、最初に受け付けたフリック操作により示されるベクトルB1’と、更なるフリック操作により示されるベクトルB2’との合力である合力ベクトルB3’の示すフリック方向が、矢印90の方向(図15に示す方向dEの範囲内)であって、なおかつフリック操作されたフリック量がP4(60ピクセル)以上であり、フリック操作を行った指の種類が処理記憶部216に記憶されている種類(ここでは薬指)であれば、処理記憶部216には、当該アイコン画像51についてフリック方向dE及びフリック量P4であって薬指に対して「印刷(2in1)」の処理が記憶されているため、指示受付部217は、処理記憶部216から処理(ここでは「印刷(2in1)」)の読み出しが可能と判断する。
指示受付部217は、算出したベクトルが示すフリック方向及びフリック量の組み合わせが示す内容に対応付けられた処理であって、フリック操作を行った指の種類に対応付けられた処理(ここでは「印刷(2in1)」)を処理記憶部216から読み出し可能であれば(S69でYES)、当該処理「印刷(2in1)」を処理記憶部216から読み出す(S70)。表示制御部212は、表示部23の表示画面端部に向けて、フリック操作された当該アイコン画像51を、表示部23の表示画面端部に接触する位置まで移動するように表示させる制御を行う(S71)。この後、処理は、図16に示すS50へ戻る。
一方、S69において、指示受付部217が、算出したベクトルが示すフリック方向及びフリック量の組み合わせが示す内容に対応付けられた処理であって、フリック操作を行った指の種類に対応付けられた処理を処理記憶部216から読み出し不可能である場合には(S69でNO)、表示制御部212が、アイコン画像51を、更なるフリック操作(S63)されたフリック方向に移動させて表示させるが、表示部23の表示画面端部に接触しない位置でアイコン画像51の移動表示を停止させる(S72)。この後、処理は、図16に示すS54へ戻る。
また、S63において、操作受付部213により、フリック操作されたアイコン画像51の表示位置に対する更なるフリック操作が受け付けられていない場合は(S63でNO)、処理は、S61に移行する前の処理であったS50,S54のいずれか(図16)に戻る。
この第2実施形態によれば、フリック操作が行われた指の種類に応じて、入力する指示の内容を変えることができるため、更に操作性が向上し、フリック操作時における操作者が体感する楽しさを向上させることができる。
また、操作者は、アイコン画像51に対するフリック操作を行った後であっても、移動表示中のアイコン画像51に対してタップ操作を行うことで、指示入力を取り消すことが可能である。
また、アイコン画像51に対するフリック操作を行った後であっても、更なるフリック操作を行う場合に、フリック操作を行う指の種類を変えることで、指示入力を変更することが可能である。これにより、本発明によれば、従来よりも更に操作性が向上し、フリック操作時における操作者が体感する楽しさを向上させることができる。
また、表示制御部212が、図23に示すように、アイコン画像51に対して行われたフリック操作の方向の延長上となる表示画面上の位置に目標画像68を表示させ、指示受付部217は、表示制御部212によるアイコン画像51の目標画像68まで移動させる表示が完了した時点で、S47で読み出した処理に対する実行指示を受け付けるようにしてもよい。また、目標画像68については、目標を連想しやすい画像にするのが好ましく、例えば、サッカーのゴールをイメージした画像にしてもよい。
また、判別部218は、アイコン画像に対して記憶している指種類を2種類としておき、図24に示すように、表示部23の表示画面に指が2本以上同時に触れられたときに、タッチパネル機能からの指紋データに基づいて当該2本以上の指の種類を判別し、指示受付部217が、当該判別された2本以上の指の種類のそれぞれに対応付けられた処理を、処理記憶部216から読み出すものとしてもよい。
例えば、人差し指と中指を使ってアイコン画像51に対して矢印91の方向(図16に示す方向dEの範囲)へフリック量P4以上で操作者によりフリック操作が行われた場合、指示受付部217が、人差し指に対応する処理「展開」及び中指に対応する処理「印刷」の2つの実行指示を受け付ける。
また、上記第1実施形態及び第2実施形態では、フリック操作されたアイコン画像51そのものを移動させて表示させる場合について説明しているが、更なる別の実施形態としては、表示制御部212が、フリック操作されたアイコン画像51はフリック操作された位置でそのまま固定表示させ、アイコン画像51とは異なる別の新たな画像を、フリック操作された方向に移動させて表示させるようにしてもよい。
例えば、図25(A)に示すように、表示制御部212が、アイコン画像51がフリック操作されたときに、当該フリック操作がされた方向に時間の経過を表す棒状のアイコン画像53を表示部23に表示させ、図25(B)に示すように、時間の経過とともにアイコン画像53の色を、アイコン画像51側から処理内容画像61Bへ向かって徐々に変化していくように表示させてもよい。例えば、アイコン画像53を最初「青色」で表示させるが、時間の経過とともにアイコン画像53の左側(アイコン画像51側)から「赤色」の表示に変化させ、予め定められた時間の経過後に、当該「赤色」の表示が処理内容画像61Bまで到達するように表示する。
また、更なる別の実施形態として、表示制御部212が、アイコン画像51がドキュメントを示す場合、当該ドキュメントのデータ量を検出し、検出したデータ量が大きいほど、アイコン画像51を移動させて表示させる際の移動速度を遅くして、表示部23に表示させるようにしてもよい。これにより、データ量の大きい(すなわち、処理の失敗による時間損失が大きい)対象ファイルに対して、処理の実行指示が受け付けられるまでの猶予時間(上述した取消及び変更が可能な時間)を長くすることができる。
この場合、表示制御部212が、検出したデータ量をアイコン画像51,52と共に表示部23に表示させるようにしてもよい。データ量を表示部23に表示させる方法としては、例えば、アイコン画像51,52の近くにそれぞれのデータ量の大きさを数値で表示させる方法や、データ量の少ないものは青色などの寒色系にし、データ量の多いものは赤色などの暖色系に、アイコン画像51,52の色を変えて表示させるという方法が挙げられる。
また、更なる別の実施形態として、表示制御部212が、アイコン画像51に対して行われたフリック操作の操作速度をアイコン画像51の移動速度の初速に設定し、1未満の係数(例えば、0.9)を利用して、移動速度を一定の減衰率で減速させるようにしてアイコン画像51を表示部23に表示させるようにしても良い。これにより、フリック操作の操作速度が遅ければ、処理の実行指示が受け付けられるまでの猶予時間を長くすることができる。
また、更なる別の実施形態として、表示制御部212が、最初はアイコン画像51の移動速度が遅くなるように表示させて、途中からアイコン画像51の移動速度が速くなるように表示させてもよい。これにより、指示取消や指示変更のための猶予期間を操作者に確実に認識させることが可能になる。
また、更なる別の実施形態として、指示受付部217が、フリック操作されたアイコン画像51が示すドキュメントに予め定められた秘匿文字が含まれているか否かを判定し、当該ドキュメントに当該秘匿文字が含まれていると判定した場合、実行指示を受け付けないようにしてもよい。
この場合は、更に、表示制御部212が、表示部23に、指示受付部217によりドキュメントに秘匿文字が含まれていると判定された場合、アイコン画像51を処理内容画像61Bの位置まで移動させて表示させ、更に、処理内容画像61Bによりアイコン画像51が弾き飛ばされたように見せて表示させるようにしてもよい。
これにより、秘匿文字が含まれているアイコン画像51については、実行指示の受付が拒否されることを、視覚的に分かりやすく操作者に認識させることができる。
また、更なる実施形態としては、例えば図3に示したアイコン画像51に対してフリック操作が行われたとき、このフリック操作についてのフリック量が、処理記憶部216に記憶されているいずれかの処理に対応付けられたフリック方向及びフリック量の組み合わせが示すフリック方向と同一であって、そのフリック量よりは大きい予め定められた値のフリック量以上である場合、指示受付部217は、当該処理の実行指示を受け付けると共に、表示部23の表示画面において当該フリック方向が傾斜する側の方向に隣接する位置に表示されている処理についての実行指示も受け付ける。
この場合、例えば、図26(A)に示すように、表示制御部212は、操作者により行われたフリック操作のフリック方向F1にアイコン画像51が移動するように表示部23による表示を開始させ、このフリック方向の先にある処理内容画像61Bの位置までアイコン画像51が移動するように表示させた後(図26(B))、当該フリック方向F1が傾斜する側の方向に隣接して表示されている処理内容画像61Cに向かう方向F2にアイコン画像51が移動するように表示させ(図27(A))、処理内容画像61Cの位置までアイコン画像51が移動するように表示させた後に(図27(B))、アイコン画像51を元の位置に再び表示させる。この例では、指示受付部217は、「印刷」の実行指示と、「メール送信」の実行指示とを受け付ける。
本発明は上記実施の形態の構成に限られず種々の変形が可能である。また、上記実施形態では、本発明に係る装置を表示操作装置として説明しているが、これは一例に過ぎず、他の電子機器、例えば、複合機等の画像形成装置であってもよい。
また、上記実施形態では、図1乃至図27を用いて上記実施形態により示した構成及び処理は、本発明の一実施形態に過ぎず、本発明を当該構成及び処理に限定する趣旨ではない。