JP6394572B2

JP6394572B2 - ユーザーインターフェイス装置、画像処理装置、報知方法

Info

Publication number: JP6394572B2
Application number: JP2015225334A
Authority: JP
Inventors: 国晃大山
Original assignee: Kyocera Document Solutions Inc
Current assignee: Kyocera Document Solutions Inc
Priority date: 2015-11-18
Filing date: 2015-11-18
Publication date: 2018-09-26
Anticipated expiration: 2035-11-18
Also published as: JP2017097394A

Description

本発明は、ユーザーインターフェイス装置、ユーザーインターフェイス装置を備える画像処理装置、及びユーザーインターフェイス装置で実行される報知方法に関する。

複写機または複合機などの画像処理装置は、タッチパネルを備えることがある。例えば、前記タッチパネルには、複数の操作アイコンが並ぶ操作画面が表示される。この種の画像処理装置では、前記操作画面に表示された複数の前記操作アイコンのいずれかに対する操作が行われた場合に、操作された前記操作アイコンに対応する処理が実行される。

ここで、前記タッチパネルに対する操作に応じて前記タッチパネルに振動を出力させることが可能な画像処理装置が知られている（例えば、特許文献１参照）。また、前記タッチパネルの操作において、キーボードのキースイッチを押下する感覚が得られるように、前記タッチパネルの振動パターンを制御することが可能な画像処理装置が知られている（例えば、特許文献２参照）。

特開２０１２−１５０７９４号公報特開２００６−７９１３５号公報

ところで、前記タッチパネルにおいて、複数の前記操作アイコンが操作されることがある。例えば、前記タッチパネルを操作するユーザーの指がユーザーの意図した位置からずれた位置で前記タッチパネルに接触して、複数の前記操作アイコンが操作されることがある。この場合に、操作された複数の前記操作アイコンのいずれかに対応する処理が実行されると、ユーザーの意図した処理とは異なる処理が実行されるおそれがある。

そこで、この場合に、操作された複数の前記操作アイコンのいずれかに対応する処理の実行に替えて、一つの前記操作アイコンが操作された場合とは異なる振動パターンの振動を前記タッチパネルに出力させる構成が考えられる。これにより、複数の前記操作アイコンが操作されたことがユーザーに報知されて、ユーザーによる再操作が促される。

しかしながら、上記構成では、ユーザーは前記タッチパネルと接触した指が意図した位置からどの方向にずれていたのかを認識することはできない。

本発明の目的は、ユーザーによる操作の位置ずれの方向を報知可能なユーザーインターフェイス装置、画像処理装置、及び報知方法を提供することにある。

本発明の一の局面に係るユーザーインターフェイス装置は、表示部と、接触検知部と、エネルギー出力部と、表示処理部と、判断処理部と、第１出力制御部と、第２出力制御部とを備える。前記表示部は表示面を有する。前記接触検知部は、前記表示面と物体との接触を検知する。前記エネルギー出力部は、前記表示面における予め定められた分割領域各々に対応して設けられ、前記分割領域に接触する前記物体に触覚の刺激を与える刺激エネルギーを出力する。前記表示処理部は、複数の操作アイコンが並ぶ操作画面を前記表示部に表示させる。前記判断処理部は、前記接触検知部による検知結果に基づいて前記操作画面における前記操作アイコンへの操作の有無を判断する。前記第１出力制御部は、前記判断処理部により一つの前記操作アイコンへの操作があったと判断された場合に、前記物体と接触する前記分割領域に対応する前記エネルギー出力部各々に前記刺激エネルギーを出力させる。前記第２出力制御部は、前記判断処理部により複数の前記操作アイコンへの操作があったと判断された場合に、前記物体と接触する前記分割領域のうち前記判断処理部により最初に操作があったと判断された前記操作アイコンと重なる前記分割領域に対応する前記エネルギー出力部各々に前記刺激エネルギーを出力させる。

本発明の他の局面に係る画像処理装置は、ユーザーインターフェイス装置と、画像読取部及び画像形成部のいずれか一方又は両方と、を備える。前記ユーザーインターフェイス装置は、表示部と、接触検知部と、エネルギー出力部と、表示処理部と、判断処理部と、第１出力制御部と、第２出力制御部とを備える。前記表示部は表示面を有する。前記接触検知部は、前記表示面と物体との接触を検知する。前記エネルギー出力部は、前記表示面における予め定められた分割領域各々に対応して設けられ、前記分割領域に接触する前記物体に触覚の刺激を与える刺激エネルギーを出力する。前記表示処理部は、複数の操作アイコンが並ぶ操作画面を前記表示部に表示させる。前記判断処理部は、前記接触検知部による検知結果に基づいて前記操作画面における前記操作アイコンへの操作の有無を判断する。前記第１出力制御部は、前記判断処理部により一つの前記操作アイコンへの操作があったと判断された場合に、前記物体と接触する前記分割領域に対応する前記エネルギー出力部各々に前記刺激エネルギーを出力させる。前記第２出力制御部は、前記判断処理部により複数の前記操作アイコンへの操作があったと判断された場合に、前記物体と接触する前記分割領域のうち前記判断処理部により最初に操作があったと判断された前記操作アイコンと重なる前記分割領域に対応する前記エネルギー出力部各々に前記刺激エネルギーを出力させる。一方、前記画像読取部は、原稿から画像データを読取可能である。前記画像形成部は、画像データに基づく画像を形成可能である。

本発明の他の局面に係る報知方法は、表示面を有する表示部と、前記表示面と物体との接触を検知する接触検知部と、前記表示面における予め定められた分割領域各々に対応して設けられ、前記分割領域に接触する前記物体に触覚の刺激を与える刺激エネルギーを出力するエネルギー出力部と、を備えるユーザーインターフェイス装置で実行され、以下の第１ステップ、第２ステップ、第３ステップ、及び第４ステップを含む。前記第１ステップでは、複数の操作アイコンが並ぶ操作画面が前記表示部に表示される。前記第２ステップでは、前記接触検知部による検知結果に基づいて前記操作画面における前記操作アイコンへの操作の有無が判断される。前記第３ステップでは、前記第２ステップで一つの前記操作アイコンへの操作があったと判断された場合に、前記物体と接触する前記分割領域に対応する前記エネルギー出力部各々から前記刺激エネルギーが出力される。前記第４ステップでは、前記第２ステップで複数の前記操作アイコンへの操作があったと判断された場合に、前記物体と接触する前記分割領域のうち前記第２ステップで最初に操作があったと判断された前記操作アイコンと重なる前記分割領域に対応する前記エネルギー出力部各々から前記刺激エネルギーが出力される。

本発明によれば、ユーザーによる操作の位置ずれの方向を報知可能なユーザーインターフェイス装置、画像処理装置、及び報知方法が実現される。

図１は、本発明の実施形態に係る画像処理装置の構成を示す図である。図２は、本発明の実施形態に係る画像処理装置のシステム構成を示すブロック図である。図３は、本発明の実施形態に係る画像処理装置の操作表示部の構成を示す図である。図４は、本発明の実施形態に係る画像処理装置の表示面の構成を示す図である。図５は、本発明の実施形態に係る画像処理装置の操作画面へのユーザーの操作の一例を示す図である。図６は、本発明の実施形態に係る画像処理装置の操作画面へのユーザーの操作の他の一例を示す図である。図７は、本発明の実施形態に係る画像処理装置の操作画面を操作するユーザーの視点を示す図である。図８は、本発明の実施形態に係る画像処理装置の表示面における振動範囲の一例を示す図である。図９は、本発明の実施形態に係る画像処理装置の表示面における振動範囲の他の一例を示す図である。図１０は、本発明の実施形態に係る画像処理装置で実行される出力制御処理の一例を示すフローチャートである。

以下、添付図面を参照しながら、本発明の実施形態について説明し、本発明の理解に供する。なお、以下の実施形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定するものではない。

［画像処理装置１０の概略構成］
まず、図１及び図２を参照しつつ、本発明の実施形態に係る画像処理装置１０の概略構成について説明する。ここで、図１は画像処理装置１０の構成を示す断面模式図である。

図１及び図２に示すように、画像処理装置１０は、ＡＤＦ１、画像読取部２、画像形成部３、給紙部４、制御部５、及び操作表示部６を備える。画像処理装置１０は、原稿から画像データを読み取るスキャン機能、及び画像データに基づいて画像を形成するプリント機能と共に、ファクシミリ機能、及びコピー機能などの複数の機能を有する複合機である。また、本発明は、スキャナー装置、プリンター装置、ファクシミリ装置、及びコピー機などの画像処理装置に適用可能である。

ＡＤＦ１は、原稿セット部、複数の搬送ローラー、原稿押さえ、及び排紙部を備え、画像読取部２によって読み取られる原稿を搬送する自動原稿搬送装置である。画像読取部２は、原稿台、光源、複数のミラー、光学レンズ、及びＣＣＤ（Charge Coupled Device）を備え、原稿から画像データを読み取ることが可能である。

画像形成部３は、画像読取部２で読み取られた画像データ又は外部のパーソナルコンピューター等の情報処理装置から入力された画像データに基づいて、電子写真方式でカラー又はモノクロの画像を形成する画像形成処理（印刷処理）を実行可能である。具体的に、画像形成部３は、Ｃ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）、及びＫ（ブラック）に対応する複数の画像形成ユニット、光走査装置（ＬＳＵ）、中間転写ベルト、二次転写ローラー、定着装置、及び排紙トレイを備える。そして、画像形成部３では、給紙部４から供給されるシートにカラー又はモノクロの画像が形成されて、画像形成後の前記シートが前記排紙トレイに排出される。なお、前記シートは、紙、コート紙、ハガキ、封筒、及びＯＨＰシートなどのシート材料である。

制御部５は、不図示のＣＰＵ、ＲＯＭ、ＲＡＭ、及びＥＥＰＲＯＭ（登録商標）などの制御機器を備える。前記ＣＰＵは、各種の演算処理を実行するプロセッサーである。前記ＲＯＭは、前記ＣＰＵに各種の処理を実行させるための制御プログラムなどの情報が予め記憶される不揮発性の記憶部である。前記ＲＡＭは揮発性の記憶部であり、前記ＥＥＰＲＯＭは不揮発性の記憶部である。前記ＲＡＭ及び前記ＥＥＰＲＯＭは、前記ＣＰＵが実行する各種の処理の一時記憶メモリー（作業領域）として使用される。制御部５では、前記ＣＰＵにより前記ＲＯＭに予め記憶された各種の制御プログラムが実行される。これにより、画像処理装置１０が制御部５により統括的に制御される。なお、制御部５は、集積回路（ＡＳＩＣ）などの電子回路で構成されたものであってもよく、画像処理装置１０を統括的に制御するメイン制御部とは別に設けられた制御部であってもよい。

次に、図２〜図４を参照しつつ、操作表示部６について説明する。ここで、図３は操作表示部６の構成を示す平面模式図である。また、図４は図３における二点鎖線で囲まれた領域Ａ１の拡大図である。

操作表示部６は、画像処理装置１０におけるユーザーインターフェイスである。図２〜図４に示すように、操作表示部６は、ハードキー６１、表示部６２、エネルギー出力部６３、及び接触検知部６４を備える。

ハードキー６１は、ユーザーの操作に応じて制御部５に各種の情報を入力する。例えば、図３に示すように、ハードキー６１は、電源キー６１１、スタートキー６１２、及びテンキー６１３等を含む。電源キー６１１は、画像処理装置１０の電源の投入又は遮断に用いられる。スタートキー６１２は、制御部５への前記印刷処理等の実行指示の入力に用いられる。テンキー６１３は、制御部５への数字情報等の入力に用いられる。

表示部６２は、制御部５からの制御指示に応じて各種の情報を表示する。例えば、表示部６２は液晶ディスプレーである。図３に示すように、表示部６２は、画面が表示される表示面６２１を有する。

図４に示すように、表示面６２１は、複数の分割領域Ａ２によって区分されている。分割領域Ａ２は、表示面６２１と接触するユーザーの指のサイズに対して、十分に小さいサイズの領域として定められる。例えば、分割領域Ａ２は矩形状の領域である。複数の分割領域Ａ２各々の裏面には、エネルギー出力部６３が設けられている。

エネルギー出力部６３は、複数の分割領域Ａ２各々に対応して設けられ、分割領域Ａ２に接触する物体に触覚の刺激を与える刺激エネルギーを出力する。例えば、前記物体は、画像処理装置１０を操作するユーザーの指などの操作体Ｆ（図５参照）である。

例えば、エネルギー出力部６３は、分割領域Ａ２に接触する操作体Ｆに振動の刺激を与える振動エネルギーを出力する圧電素子である。なお、エネルギー出力部６３は、分割領域Ａ２に接触する操作体Ｆに電気的な刺激を与える電気信号又は超音波信号等を出力する装置であってもよい。

ここで、画像処理装置１０では、エネルギー出力部６３が、操作体Ｆと分割領域Ａ２との接触を検知可能である。例えば、画像処理装置１０では、分割領域Ａ２における操作体Ｆの接触の有無に応じた電気信号を出力可能な前記圧電素子が、エネルギー出力部６３として用いられている。なお、操作体Ｆと分割領域Ａ２との接触の検知機能を備えていない前記圧電素子が、エネルギー出力部６３として用いられていてもよい。

接触検知部６４は、表示面６２１と操作体Ｆとの接触を検知する。画像処理装置１０では、表示部６２及び接触検知部６４が所謂タッチパネルとして機能する。

例えば、接触検知部６４は、複数のエネルギー出力部６３を用いて表示面６２１と操作体Ｆとの接触を検知する。具体的に、接触検知部６４は、エネルギー出力部６３から入力される電気信号に基づいて、表示面６２１における操作体Ｆの接触の有無、及び操作体Ｆと接触する接触領域Ａ３（図５参照）を検知することが可能である。なお、接触検知部６４は、従来周知の抵抗膜方式、又は静電容量方式等により、表示面６２１における操作体Ｆと接触する接触点Ｐ（座標位置）を検出可能であってもよい。

図５に示すように、画像処理装置１０では、表示部６２の表示面６２１に複数の操作アイコンＧ１１が並ぶ操作画面Ｇ１０が表示される。そして、接触検知部６４により操作画面Ｇ１０に表示された複数の操作アイコンＧ１１のいずれかに対する操作が検知された場合に、操作が検知された操作アイコンＧ１１に対応する処理が実行される。なお、図５に示される操作画面Ｇ１０及び操作アイコンＧ１１は、本発明における操作画面及び操作アイコンの一例にすぎない。

具体的に、操作画面Ｇ１０を操作する操作体Ｆが表示面６２１と接触すると、接触検知部６４により、表示面６２１における操作体Ｆの接触、及び操作体Ｆと接触する接触領域Ａ３が検知される。画像処理装置１０では、接触検知部６４により検知された接触領域Ａ３が操作画面Ｇ１０に表示された操作アイコンＧ１１と重なる場合に、操作アイコンＧ１１に対する操作が検知される。そして、操作が検知された操作アイコンＧ１１に対応する処理が実行される。また、エネルギー出力部６３から振動エネルギーが出力されて、接触領域Ａ３のうち操作が検知された操作アイコンＧ１１と重なる領域が振動する。

ところで、図６に示すように、複数の操作アイコンＧ１１の縁部Ｇ１１１各々を跨ぐ位置で操作体Ｆが表示面６２１に接触して、操作画面Ｇ１０において複数の操作アイコンＧ１１が操作されることがある。例えば、操作体Ｆがユーザーの意図した位置からずれた位置で表示面６２１に接触して、複数の操作アイコンＧ１１が操作されることがある。

例えば、図７に示すように、ユーザーは、操作画面Ｇ１０を表示面６２１の手前側の斜め上方から視認しつつ操作する場合、意図する位置よりも手前側の位置を触ってしまう傾向がある。そのため、複数の操作アイコンＧ１１が比較的近くに並んで表示されている場合には、複数の操作アイコンＧ１１が操作されやすい。

ここで、複数の操作アイコンＧ１１が操作された場合に、操作された複数の操作アイコンＧ１１のいずれかに対応する処理が実行されると、ユーザーの意図した処理とは異なる処理が実行されるおそれがある。

そこで、この場合に、操作された複数の操作アイコンＧ１１のいずれかに対応する処理の実行に替えて、一つの操作アイコンＧ１１が操作された場合とは異なる振動パターンの振動をエネルギー出力部６３に出力させる構成が考えられる。これにより、複数の操作アイコンＧ１１が操作されたことがユーザーに報知されて、ユーザーによる再操作が促される。

しかしながら、上記構成では、ユーザーは表示面６２１と接触した操作体Ｆが意図した位置からどの方向にずれていたのかを認識することはできない。これに対し、本発明の実施形態に係る画像処理装置１０は、以下に説明するように、ユーザーによる操作の位置ずれの方向を報知することが可能である。

具体的に、制御部５の前記ＲＯＭには、前記ＣＰＵに後述の出力制御処理（図１０のフローチャート参照）を実行させるための出力制御プログラムが予め記憶されている。なお、前記出力制御プログラムは、ＣＤ、ＤＶＤ、フラッシュメモリーなどのコンピューター読み取り可能な記録媒体に記録されており、前記記録媒体から読み取られて制御部５の前記ＥＥＰＲＯＭ等の記憶部にインストールされるものであってもよい。

そして、制御部５は、図２に示すように、表示処理部５１、判断処理部５２、処理実行部５３、第１出力制御部５４、第２出力制御部５５、及び表示制御部５６を含む。具体的に、制御部５は、前記ＣＰＵを用いて前記ＲＯＭに記憶されている前記出力制御プログラムを実行する。これにより、制御部５は、表示処理部５１、判断処理部５２、処理実行部５３、第１出力制御部５４、第２出力制御部５５、及び表示制御部５６として機能する。ここに、操作表示部６及び制御部５を備える装置が、本発明におけるユーザーインターフェイス装置の一例である。

表示処理部５１は、複数の操作アイコンＧ１１が並ぶ操作画面Ｇ１０を表示部６２に表示させる。例えば、表示処理部５１は、画像処理装置１０の電源投入時又は省エネモードからの復帰時等の予め定められたタイミングで操作画面Ｇ１０を表示させる。

判断処理部５２は、接触検知部６４による検知結果に基づいて、操作画面Ｇ１０における操作アイコンＧ１１への操作の有無を判断する。

具体的に、判断処理部５２は、接触検知部６４により表示面６２１と操作体Ｆとの接触が検知された場合に、操作体Ｆによる操作が一つの操作アイコンＧ１１への操作であるのか、又は複数の操作アイコンＧ１１への操作であるのかを判断する。なお、判断処理部５２は、操作体Ｆによる操作が操作アイコンＧ１１への操作ではない場合に、操作体Ｆによる操作がスワイプ操作などの他の操作であるか否かを判断してもよい。

例えば、判断処理部５２は、接触検知部６４により表示面６２１と操作体Ｆとの接触が検知された場合に、接触検知部６４を用いて表示面６２１と操作体Ｆとの接触箇所が接触点Ｐから接触領域Ａ３へと拡張する過程を監視する。即ち、判断処理部５２は、ユーザーが表示面６２１に向けて指を押し切るまでの前記接触箇所の拡張を監視する。例えば、判断処理部５２は、接触検知部６４により表示面６２１と操作体Ｆとの接触が検知された場合に、予め定められた監視期間の間、前記接触箇所の拡張を監視する。例えば、前記監視期間は０．１秒〜０．５秒までの間の任意の時間である

そして、判断処理部５２は、前記監視期間の間に拡張する前記接触箇所が一つの操作アイコンＧ１１のみと重なり合った場合に、一つの操作アイコンＧ１１への操作があったと判断する。なお、判断処理部５２は、前記監視期間の経過後に接触検知部６４により検知される前記接触箇所（接触領域Ａ３）と一つの操作アイコンＧ１１との重なり合いの面積が予め定められた閾値を超える場合に、一つの操作アイコンＧ１１への操作があったと判断してもよい。

また、判断処理部５２は、前記監視期間の間に拡張する前記接触箇所が複数の操作アイコンＧ１１と重なり合った場合に、複数の操作アイコンＧ１１への操作があったと判断する。

ここで、判断処理部５２は、複数の操作アイコンＧ１１への操作があったと判断した場合には、更に、操作された複数の操作アイコンＧ１１のうち最初に操作された操作アイコンＧ１１を判断する。例えば、判断処理部５２は、前記監視期間の間に最初に前記接触箇所と重なり合った操作アイコンＧ１１を、最初に操作された操作アイコンＧ１１であると判断する。例えば、図６において、判断処理部５２は、図６における上側の操作アイコンＧ１１が最初に操作された前記操作アイコンであると判断する。

なお、接触検知部６４により表示面６２１における操作体Ｆと接触する接触点Ｐ（座標位置）が検知される場合、判断処理部５２は、接触検知部６４による検知結果に基づいて表示面６２１における操作体Ｆと接触する接触領域Ａ３を特定する。例えば、判断処理部５２が、接触検知部６４により検知された接触点Ｐ、及び予め登録されたユーザーの指のサイズに基づいて、接触領域Ａ３を特定することが考えられる。

この場合、判断処理部５２は、特定された接触領域Ａ３に基づいて、操作画面Ｇ１０における操作アイコンＧ１１への操作の有無を判断する。具体的に、判断処理部５２は、特定された接触領域Ａ３が一つの操作アイコンＧ１１のみと重なり合う場合に、一つの操作アイコンＧ１１への操作があったと判断する。また、判断処理部５２は、特定された接触領域Ａ３が複数の操作アイコンＧ１１と重なり合う場合に、複数の操作アイコンＧ１１への操作があったと判断する。また、判断処理部５２は、複数の操作アイコンＧ１１への操作があったと判断した場合には、接触検知部６４により検知された接触点Ｐと複数の操作アイコンＧ１１各々との位置関係に基づいて、最初に操作された操作アイコンＧ１１を判断する。具体的に、判断処理部５２は、接触検知部６４により検知された接触点Ｐと縁部との間の距離が最も短い操作アイコンＧ１１を、最初に操作された操作アイコンＧ１１であると判断する。

処理実行部５３は、判断処理部５２により一つの操作アイコンＧ１１への操作があったと判断された場合に、操作があったと判断された操作アイコンＧ１１に対応する処理を実行する。

第１出力制御部５４は、判断処理部５２により一つの操作アイコンＧ１１への操作があったと判断された場合に、操作体Ｆと接触する分割領域Ａ２に対応するエネルギー出力部６３各々に前記刺激エネルギーを出力させる。

例えば、第１出力制御部５４は、図５に示すユーザーの操作が行われた場合に、接触検知部６４により検知された接触領域Ａ３のうち、判断処理部５２により操作があったと判断された操作アイコンＧ１１と重なる領域に含まれる分割領域Ａ２に対応するエネルギー出力部６３各々に振動エネルギーを出力させる。即ち、第１出力制御部５４は、図５に示すユーザーの操作が行われた場合に、判断処理部５２により操作があったと判断された操作アイコンＧ１１の表示領域の一部を振動させる。

図８に、図５に示すユーザーの操作が行われた場合に振動エネルギーを出力する複数のエネルギー出力部６３に対応する分割領域Ａ２各々を示す。なお、図８では、振動エネルギーを出力するエネルギー出力部６３に対応する分割領域Ａ２にハッチングが施されている。

なお、第１出力制御部５４は、図５に示すユーザーの操作が行われた場合に、接触検知部６４により検知された接触領域Ａ３の全部を振動させてもよい。また、第１出力制御部５４は、図５に示すユーザーの操作が行われた場合に、判断処理部５２により操作があったと判断された操作アイコンＧ１１の表示領域の全部を振動させてもよい。

第２出力制御部５５は、判断処理部５２により複数の操作アイコンＧ１１への操作があったと判断された場合に、操作体Ｆと接触する分割領域Ａ２のうち、判断処理部５２により最初に操作があったと判断された操作アイコンＧ１１と重なる分割領域Ａ２に対応するエネルギー出力部６３各々に前記刺激エネルギーを出力させる。

例えば、第２出力制御部５５は、操作体Ｆと接触する分割領域Ａ２のうち、判断処理部５２により最初に操作があったと判断された操作アイコンＧ１１、及び表示面６２１における操作体Ｆの接触領域Ａ３の縁部と重なる分割領域Ａ２に対応するエネルギー出力部６３各々に前記刺激エネルギーを出力させる。

また、第２出力制御部５５は、第１出力制御部５４より強い前記刺激エネルギーをエネルギー出力部６３に出力させる。なお、第２出力制御部５５は、第１出力制御部５４と同じ強さの前記刺激エネルギーをエネルギー出力部６３に出力させてもよい。

例えば、第２出力制御部５５は、図６に示すユーザーの操作が行われた場合に、接触検知部６４により検知された接触領域Ａ３のうち、判断処理部５２により最初に操作があったと判断された操作アイコンＧ１１及び接触領域Ａ３の縁部と重なる領域に含まれる分割領域Ａ２に対応するエネルギー出力部６３各々に振動エネルギーを出力させる。即ち、第２出力制御部５５は、図６に示すユーザーの操作が行われた場合に、判断処理部５２により最初に操作があったと判断された操作アイコンＧ１１の表示領域のうち、ユーザーの指と接触する領域の縁部のみを振動させる。

図９に、図６に示すユーザーの操作が行われた場合に振動エネルギーを出力する複数のエネルギー出力部６３に対応する分割領域Ａ２各々を示す。なお、図９では、振動エネルギーを出力するエネルギー出力部６３に対応する分割領域Ａ２にハッチングが施されている。

なお、第２出力制御部５５は、図６に示すユーザーの操作が行われた場合に、判断処理部５２により最初に操作があったと判断された操作アイコンＧ１１の表示領域の全部を振動させてもよい。また、第２出力制御部５５は、図６に示すユーザーの操作が行われた場合に、判断処理部５２により最初に操作があったと判断された操作アイコンＧ１１の表示領域のうち、ユーザーの指と接触する領域の縁部を含むユーザーの指と接触する領域の一部又は全部を振動させてもよい。

表示制御部５６は、判断処理部５２により複数の操作アイコンＧ１１への操作があったと判断された場合に、判断処理部５２により最初に操作があったと判断された操作アイコンＧ１１の表示態様を変化させる。

例えば、表示制御部５６は、判断処理部５２により一つの操作アイコンＧ１１への操作があったと判断された場合に、操作があったと判断された操作アイコンＧ１１の表示色を予め定められた第１の色に変化させる。また、表示制御部５６は、判断処理部５２により複数の操作アイコンＧ１１への操作があったと判断された場合に、判断処理部５２により最初に操作があったと判断された操作アイコンＧ１１の表示色を前記第１の色とは異なる予め定められた第２の色に変化させる。

なお、表示制御部５６は、判断処理部５２により複数の操作アイコンＧ１１への操作があったと判断された場合に、判断処理部５２により最初に操作があったと判断された操作アイコンＧ１１の表示の明るさを変化させてもよい。

［出力制御処理］
以下、図１０を参照しつつ、画像処理装置１０において制御部５により実行される出力制御処理の手順の一例について説明する。ここで、ステップＳ１、Ｓ２・・・は、制御部５により実行される処理手順（ステップ）の番号を表している。

＜ステップＳ１＞
まず、ステップＳ１において、制御部５は、操作画面Ｇ１０を表示部６２に表示させる前記タイミングが到来したか否かを判断する。

ここで、制御部５は、前記タイミングが到来したと判断すると（Ｓ１のＹｅｓ側）、処理をステップＳ２に移行させる。また、前記タイミングが到来していなければ（Ｓ１のＮｏ側）、制御部５は、ステップＳ１で前記タイミングの到来を待ち受ける。

＜ステップＳ２＞
ステップＳ２において、制御部５は、操作画面Ｇ１０を表示部６２に表示させる。ここに、ステップＳ２の処理が、本発明における第１ステップの一例であって、制御部５の表示処理部５１により実行される。

＜ステップＳ３＞
ステップＳ３において、制御部５は、接触検知部６４により表示面６２１と操作体Ｆとの接触が検知されたか否かを判断する。

ここで、制御部５は、接触検知部６４により表示面６２１と操作体Ｆとの接触が検知されたと判断すると（Ｓ３のＹｅｓ側）、処理をステップＳ４に移行させる。また、接触検知部６４により表示面６２１と操作体Ｆとの接触が検知されていなければ（Ｓ３のＮｏ側）、制御部５は、ステップＳ３で接触検知部６４による表示面６２１と操作体Ｆとの接触の検知を待ち受ける。

＜ステップＳ４＞
ステップＳ４において、制御部５は、接触検知部６４を用いて表示面６２１と操作体Ｆとの前記接触箇所が接触点Ｐから接触領域Ａ３へと拡張する過程を監視する。例えば、制御部５は、前記監視期間の間、前記接触箇所の拡張を監視する。

なお、接触検知部６４により表示面６２１における操作体Ｆと接触する接触点Ｐ（座標位置）が検知される場合、制御部５は、ステップＳ４の処理に替えて、接触検知部６４による検知結果に基づいて表示面６２１における操作体Ｆと接触する接触領域Ａ３を特定する処理を実行することが考えられる。例えば、制御部５が、接触検知部６４により検知された接触点Ｐ、及び予め登録されたユーザーの指のサイズに基づいて、接触領域Ａ３を特定する処理を実行することが考えられる。

＜ステップＳ５＞
ステップＳ５において、制御部５は、操作体Ｆによる操作が一つの操作アイコンＧ１１への操作であるか否かを判断する。例えば、制御部５は、前記監視期間の間に拡張する前記接触箇所が一つの操作アイコンＧ１１のみと重なり合った場合に、一つの操作アイコンＧ１１への操作があったと判断する。

ここで、制御部５は、操作体Ｆによる操作が一つの操作アイコンＧ１１への操作であると判断すると（Ｓ５のＹｅｓ側）、処理をステップＳ１０に移行させる。また、操作体Ｆによる操作が一つの操作アイコンＧ１１への操作でなければ（Ｓ５のＮｏ側）、制御部５は、処理をステップＳ６に移行させる。

＜ステップＳ６＞
ステップＳ６において、制御部５は、操作体Ｆによる操作が複数の操作アイコンＧ１１への操作であるか否かを判断する。例えば、制御部５は、前記監視期間の間に拡張する前記接触箇所が複数の操作アイコンＧ１１と重なり合った場合に、複数の操作アイコンＧ１１への操作があったと判断する。ここに、ステップＳ３からステップＳ６までの処理が、本発明における第２ステップの一例であって、制御部５の判断処理部５２により実行される。

ここで、制御部５は、操作体Ｆによる操作が複数の操作アイコンＧ１１への操作であると判断すると（Ｓ６のＹｅｓ側）、処理をステップＳ７に移行させる。また、操作体Ｆによる操作が複数の操作アイコンＧ１１への操作でなければ（Ｓ６のＮｏ側）、制御部５は、処理をステップＳ３に移行させて、接触検知部６４による次の表示面６２１と操作体Ｆとの接触の検知を待ち受ける。

なお、制御部５は、操作体Ｆによる操作が複数の操作アイコンＧ１１への操作ではないと判断された場合に、操作体Ｆによる操作が前記スワイプ操作などの他の操作であるか否かを判断してもよい。この場合、制御部５は、検知された操作の種類に対応する処理を実行することが考えられる。例えば、制御部５は、前記スワイプ操作が検知された場合に、表示部６２に表示されている操作画面Ｇ１０の表示内容を切り替える処理を実行することが考えられる。

ステップＳ５において、操作体Ｆによる操作が一つの操作アイコンＧ１１への操作であると判断された場合、制御部５は、ステップＳ１０からステップＳ１２までの処理を実行する。

＜ステップＳ１０＞
ステップＳ１０において、制御部５は、操作体Ｆと接触する分割領域Ａ２に対応するエネルギー出力部６３各々に前記刺激エネルギーを出力させる第１出力制御を実行する。ここに、ステップＳ１０の処理が、本発明における第３ステップの一例であって、制御部５の第１出力処理部５４により実行される。

これにより、ユーザーの触覚を介して、ユーザーに操作アイコンＧ１１への操作が適正に受け付けられたことが報知される。

例えば、制御部５は、エネルギー出力部６３に振動エネルギーを出力させて、表示面６２１における操作体Ｆと接触する接触領域Ａ３のうち、ステップＳ５で操作があったと判断された操作アイコンＧ１１の表示領域と重なる領域を振動させる。

＜ステップＳ１１＞
ステップＳ１１において、制御部５は、ステップＳ５で操作があったと判断された操作アイコンＧ１１の表示色を前記第１の色に変化させる。ここで、ステップＳ１１の処理は、制御部５の表示制御部５６により実行される。これにより、ユーザーの視覚を介して、ユーザーに操作アイコンＧ１１への操作が適正に受け付けられたことが報知される。なお、ステップＳ１１の処理は省略されてもよい。

＜ステップＳ１２＞
ステップＳ１２において、制御部５は、ステップＳ５で操作があったと判断された操作アイコンＧ１１に対応する処理を実行する。そして、制御部５は、処理をステップＳ１に移行させる。ここで、ステップＳ１２の処理は、制御部５の処理実行部５３により実行される。

一方、ステップＳ６において、操作体Ｆによる操作が複数の操作アイコンＧ１１への操作であると判断された場合、制御部５は、ステップＳ７からステップＳ９までの処理を実行する。

＜ステップＳ７＞
ステップＳ７において、制御部５は、ステップＳ６で操作があったと判断された複数の操作アイコンＧ１１のうち、最初に操作された操作アイコンＧ１１を判断する。例えば、制御部５は、前記監視期間の間に最初に前記接触箇所と重なり合った操作アイコンＧ１１を、最初に操作された操作アイコンＧ１１であると判断する。

＜ステップＳ８＞
ステップＳ８において、制御部５は、操作体Ｆと接触する分割領域Ａ２のうち、ステップＳ７で最初に操作があったと判断された操作アイコンＧ１１と重なる分割領域Ａ２に対応するエネルギー出力部６３各々に前記刺激エネルギーを出力させる第２出力制御を実行する。ここに、ステップＳ８の処理が、本発明における第４ステップの一例であって、制御部５の第２出力処理部５５により実行される。

これにより、第１出力制御が実行される場合より狭い範囲が振動する。従って、ユーザーの触覚を介して、ユーザーに複数の操作アイコンＧ１１への操作が検出されたことが報知される。

また、ユーザーにより複数の操作アイコンＧ１１が操作される場合、操作体Ｆはユーザーの意図する操作アイコンＧ１１の表示領域に接触した後に、他の操作アイコンＧ１１に接触することが多い。従って、操作体Ｆと接触する接触領域Ａ３のうち、最初に操作があったと判断された操作アイコンＧ１１と重なる領域を振動させることで、ユーザーに意図した位置がどの方向にあるのか、即ち意図した位置からのずれの方向を報知することが可能である。

例えば、制御部５は、エネルギー出力部６３に振動エネルギーを出力させて、表示面６２１における操作体Ｆと接触する接触領域Ａ３の縁部のうち、最初に操作された操作アイコンＧ１１の表示領域と重なる領域を振動させる。これにより、意図した位置がどの方向にあるのかをより明確にユーザーに報知することが可能である。

また、制御部５は、ステップＳ１０より強い振動エネルギーをエネルギー出力部６３に出力させる。これにより、振動がユーザーに感知されない事態の発生を回避することが可能である。

＜ステップＳ９＞
ステップＳ９において、制御部５は、ステップＳ７で最初に操作があったと判断された操作アイコンＧ１１の表示色を前記第２の色に変化させる。ここで、ステップＳ９の処理は、制御部５の表示制御部５６により実行される。これにより、ユーザーの視覚を介して、複数の操作アイコンＧ１１への操作が検出されたことが報知されると共に、意図した位置からのずれの方向が報知される。なお、ステップＳ９の処理は省略されてもよい。

このように、画像処理装置１０では、一つの操作アイコンＧ１１への操作が検知された場合に、操作体Ｆと接触する接触領域Ａ３が振動する。また、複数の操作アイコンＧ１１への操作が検知された場合に、操作体Ｆと接触する接触領域Ａ３のうち最初に操作が検知された操作アイコンＧ１１と重なる領域が振動する。これにより、ユーザーによる操作の位置ずれの方向を報知することが可能である。

１ＡＤＦ
２画像読取部
３画像形成部
４給紙部
５制御部
５１表示処理部
５２判断処理部
５３処理実行部
５４第１出力制御部
５５第２出力制御部
５６表示制御部
６操作表示部
６１ハードキー
６２表示部
６２１表示面
６３エネルギー出力部
６４接触検知部
１０画像処理装置

Claims

表示面を有する表示部と、
前記表示面と物体との接触を検知する接触検知部と、
前記表示面における予め定められた分割領域各々に対応して設けられ、前記分割領域に接触する前記物体に触覚の刺激を与える刺激エネルギーを出力するエネルギー出力部と、
複数の操作アイコンが並ぶ操作画面を前記表示部に表示させる表示処理部と、
前記接触検知部による検知結果に基づいて前記操作画面における前記操作アイコンへの操作の有無を判断する判断処理部と、
前記判断処理部により一つの前記操作アイコンへの操作があったと判断された場合に、前記物体と接触する前記分割領域に対応する前記エネルギー出力部各々に前記刺激エネルギーを出力させる第１出力制御部と、
前記判断処理部により複数の前記操作アイコンへの操作があったと判断された場合に、前記物体と接触する前記分割領域のうち前記判断処理部により最初に操作があったと判断された前記操作アイコンと重なる前記分割領域に対応する前記エネルギー出力部各々に前記刺激エネルギーを出力させる第２出力制御部と、
を備え、
前記第２出力制御部が、前記物体と接触する前記分割領域のうち前記判断処理部により最初に操作があったと判断された前記操作アイコン及び前記表示面における前記物体の接触領域の縁部と重なる前記分割領域に対応する前記エネルギー出力部各々に前記刺激エネルギーを出力させるユーザーインターフェイス装置。
前記第２出力制御部が、前記第１出力制御部より強い前記刺激エネルギーを前記エネルギー出力部に出力させる請求項１に記載のユーザーインターフェイス装置。
前記エネルギー出力部が、前記物体と前記分割領域との接触を検知可能であると共に、前記分割領域に接触する前記物体に振動の刺激を与える振動エネルギーを出力する圧電素子であって、
前記接触検知部が、複数の前記圧電素子を用いて前記表示面と前記物体との接触を検知する請求項１又は２に記載のユーザーインターフェイス装置。
前記判断処理部により複数の前記操作アイコンへの操作があったと判断された場合に、前記判断処理部により最初に操作があったと判断された前記操作アイコンの表示態様を変化させる表示制御部を更に備える請求項１〜３のいずれかに記載のユーザーインターフェイス装置。
請求項１〜４のいずれかに記載のユーザーインターフェイス装置と、原稿から画像データを読取可能な画像読取部、及び画像データに基づく画像を形成可能な画像形成部のいずれか一方又は両方とを備える画像処理装置。
表示面を有する表示部と、前記表示面と物体との接触を検知する接触検知部と、前記表示面における予め定められた分割領域各々に対応して設けられ、前記分割領域に接触する前記物体に触覚の刺激を与える刺激エネルギーを出力するエネルギー出力部と、を備えるユーザーインターフェイス装置で実行される報知方法であって、
複数の操作アイコンが並ぶ操作画面を前記表示部に表示させる第１ステップと、
前記接触検知部による検知結果に基づいて前記操作画面における前記操作アイコンへの操作の有無を判断する第２ステップと、
前記第２ステップにより一つの前記操作アイコンへの操作があったと判断された場合に、前記物体と接触する前記分割領域に対応する前記エネルギー出力部各々に前記刺激エネルギーを出力させる第３ステップと、
前記第２ステップにより複数の前記操作アイコンへの操作があったと判断された場合に、前記物体と接触する前記分割領域のうち前記第２ステップにより最初に操作があったと判断された前記操作アイコンと重なる前記分割領域に対応する前記エネルギー出力部各々に前記刺激エネルギーを出力させる第４ステップと、
を含み、
前記第４ステップでは、前記物体と接触する前記分割領域のうち前記第２ステップにより最初に操作があったと判断された前記操作アイコン及び前記表示面における前記物体の接触領域の縁部と重なる前記分割領域に対応する前記エネルギー出力部各々により前記刺激エネルギーが出力される報知方法。