JP6552342B2 - 入力装置、統合入力システム、入力装置の制御方法およびプログラム - Google Patents

Description

開示の実施形態は、入力装置、統合入力システム、入力装置の制御方法およびプログラムに関する。

従来、ユーザに触覚を与えることで入力を受け付けたことを知らせる入力装置が知られている。かかる入力装置では、例えばユーザによる押圧力に応じて振動を発生させることで、ユーザに対して入力を受け付けたことを知らせている（例えば、特許文献１参照）。

特開２０１３−２３５６１４号公報

しかしながら、従来の入力装置では、接触位置におけるユーザの押圧力に応じて振動を発生させているに過ぎず、例えばユーザが操作面に対して接触位置を移動させる操作を行った場合に、どのように触覚をフィードバックするか考慮されていなかった。このように、従来の入力装置では、ユーザの操作性を向上させるうえで更なる改善の余地がある。

また、例えば多様な機器が搭載され、これら機器や各機器の有するモード等をユーザが制御対象とする必要のある車載システム等においては、これら多様な制御対象をより操作性高くユーザに操作させたいというニーズがある。

実施形態の一態様は、上記に鑑みてなされたものであって、多様な制御対象を操作性高く操作することができる入力装置、統合入力システム、入力装置の制御方法およびプログラムを提供することを目的とする。

実施形態の一態様に係る入力装置は、一つの操作面と、検出部と、少なくとも一つの振動素子と、設定部と、判定部と、振動制御部とを備える。前記検出部は、前記操作面に対するユーザの接触操作を検出する。前記振動素子は、前記操作面を振動させる。前記設定部は、前記操作面を領域分割して領域ごとで異なる制御対象を割り当てる。前記判定部は、前記検出部によって検出された前記接触操作が前記領域間を移動する領域間移動であるか否かを判定する。前記振動制御部は、前記判定部によって前記接触操作が前記領域間移動であると判定された場合に、前記領域間移動を示す振動状態となるように前記振動素子を制御する。また、前記振動制御部は、前記領域間移動を示す振動状態が、前記接触操作の代表位置が一つの前記領域内を移動する領域内移動時の振動状態と識別できる振動形態となるように前記振動素子を制御する。また、前記判定部は、前記代表位置が前記領域の境界を飛び越して他の前記領域へ着地する場合に、前記接触操作を前記領域間移動であると判定する。

実施形態の一態様によれば、多様な制御対象を操作性高く操作することができる。

図１Ａは、実施形態に係る入力装置の制御方法の概要を示す図（その１）である。 図１Ｂは、実施形態に係る入力装置の制御方法の概要を示す図（その２）である。 図１Ｃは、実施形態に係る入力装置の制御方法の概要を示す図（その３）である。 図２は、実施形態に係る統合入力システムのブロック図である。 図３Ａは、領域間移動を示す触覚のフィードバックの具体例を示す図（その１）である。 図３Ｂは、領域間移動を示す触覚のフィードバックの具体例を示す図（その２）である。 図３Ｃは、領域間移動を示す触覚のフィードバックの具体例を示す図（その３）である。 図４Ａは、ジェスチャ操作の具体例を示す図（その１）である。 図４Ｂは、ジェスチャ操作の具体例を示す図（その２）である。 図４Ｃは、ジェスチャ操作の具体例を示す図（その３）である。 図４Ｄは、ジェスチャ操作の具体例を示す図（その４）である。 図４Ｅは、ジェスチャ操作の具体例を示す図（その５）である。 図５は、ジェスチャ操作への制御対象の割り当ての具体例を示す図である。 図６は、領域設定情報の具体例を示す図である。 図７Ａは、ジェスチャ操作ごとの触覚のフィードバックの具体例を示す図（その１）である。 図７Ｂは、ジェスチャ操作ごとの触覚のフィードバックの具体例を示す図（その２）である。 図８は、実施形態に係る入力装置が実行する処理手順を示すフローチャートである。 図９は、実施形態に係る統合入力システムの機能を実現するコンピュータの一例を示すハードウェア構成図である。

以下、添付図面を参照して、本願の開示する入力装置、統合入力システム、入力装置の制御方法およびプログラムの実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。

また、以下では、本実施形態に係る入力装置１０の制御方法の概要について図１Ａ〜図１Ｃを用いて説明した後に、入力装置１０およびこれを含む統合入力システム１について、図２〜図９を用いて説明することとする。なお、本実施形態では、統合入力システム１が車載用のシステムとして構成される例を挙げる。

また、以下では、ユーザＤが触覚フィードバックによって得る触感を「つるつる」や「ざらざら」のように表現する場合がある。「つるつる」は、摩擦力が小さく滑らかな触感を表すものであり、「ざらざら」は、「つるつる」に対し相対的に摩擦力が大きく、「つるつる」よりも滑らかでない触感を表すものである。

まず、本実施形態に係る入力装置１０の制御方法の概要について、図１Ａ〜図１Ｃを用いて説明する。図１Ａ〜図１Ｃは、実施形態に係る入力装置１０の制御方法の概要を示す図（その１）〜（その３）である。

図１Ａに示すように、統合入力システム１は、入力装置１０を備える。入力装置１０は、操作面Ｐを有する。操作面Ｐは、例えば静電容量方式の情報入力機能を有するタッチパッドを用いて構成され、ユーザＤの制御対象となる各種機器６０（図２にて後述）を制御するための接触操作をユーザＤから受け付ける。

入力装置１０は、かかる操作面Ｐが、運転中のユーザＤから届く位置に配置されるように例えば運転席のシフトレバーの近傍等に設けられる。

より具体的に、入力装置１０は、図１Ｂの（ａ）に示すように、操作面Ｐを振動させる振動素子１３ａを少なくとも一つ備える。なお、ここでは、振動素子１３ａを二つ備えた例を図示している。

振動素子１３ａは、例えば圧電素子であり、操作面Ｐを高周波振動させることができる。例えばユーザＤの指Ｕ１が操作面Ｐを押下した状態で振動素子１３ａを振動させると、指Ｕ１と操作面Ｐとの間の摩擦力を変化させることができる。

かかる状態で指Ｕ１を動かすと、変化した摩擦力に応じた触覚を指Ｕ１にフィードバックすることができる。また、振動素子１３ａの振動状態を変化させることで、指Ｕ１と操作面Ｐとの間の摩擦力の大きさを変化させることができ、指Ｕ１にフィードバックする触覚を変化させることができる。

例えば、図１Ｂの（ａ）および（ｂ）に示すように、Ｘ軸方向に沿って指Ｕ１を左右にスライドさせる場合に、区間Ｄ１において摩擦力をその他の区間よりも大きくなるように変化させることによって、ユーザＤへ、操作面Ｐに例えば「つるつる」な触感の周囲に対し「ざらざら」な触感のボタンＢ１があるような触覚をフィードバックすることができる。

また、例えばボタンＢ１の上に指Ｕ１がある場合に振動素子１３ａの振動強度を上げることによって、例えばユーザＤがボタンＢ１を押下してボタンＢ１に対応する処理を確定させたような触覚をフィードバックすることができる。このような触覚フィードバックは、例えばユーザＤにブラインドタッチ操作を行わせるのに非常に有効となる。

また、図１Ａに示すように、統合入力システム１は、マイク２０と、撮像部３０とを備える。マイク２０および撮像部３０は、例えばステアリングコラムの上部に配置される。マイク２０は、ユーザＤが発話する音声を集音し、入力する。撮像部３０は、運転席に着座したユーザＤの例えば顔画像を撮像する。

また、統合入力システム１は、表示部４０（図２にて後述）として、例えばセンターディスプレイ４１と、ＨＵＤ（ヘッドアップディスプレイ）４２とを備える。

センターディスプレイ４１は、例えば各種機器６０の一つとして搭載されるＡＶ一体型のナビ装置の表示部として用いられ、ナビモードやオーディオモードといった選択中のモードごとにおける視覚的な各種情報出力を行う。ＨＵＤ４２は、運転中のユーザＤの視野内において、例えば車速やエンジンの回転数といった運転状況に関する視覚的な各種情報出力を行う。

また、統合入力システム１は、その他の各種機器６０の一つとして、エアコン６１を備える。なお、図示していないが、各種機器６０には例えば電話等も含まれる。また、統合入力システム１は、スピーカ７０を備える。

このように多様な各種機器６０を搭載するシステムにおいては、各種機器６０やその各モードへ向けた操作の態様もまた多様となり、例えば制御対象とする各種機器６０やその各モードを切り替える操作一つをとっても煩雑になりがちである。このため、これら多様な制御対象を操作性高く操作できることが、ユーザＤに対する利便性の向上や安全性の確保の観点から望まれていた。

そこで、本実施形態に係る統合入力システム１では、基本的に一つの操作面Ｐに対する接触操作によって、多様な各種機器６０やその各モード等を集中的に操作可能とするようにした。また、このとき、操作面Ｐには複数の領域に複数の制御対象を割り当て、ユーザＤには所望の制御対象に対応する領域で所望の操作を行わせることとした。

また、ユーザＤには、操作面Ｐの領域ごとで異なる触覚がフィードバックされ、ユーザＤが視認しなくとも各領域の区別を行えるようにした。また、ユーザＤの例えば指Ｕ１が所望の領域を越えて他の領域に侵入してしまうような場合に、これをユーザＤが知覚し得る触覚のフィードバックを行うこととした。

これにより、ユーザＤが、例えば視認することなくブラインドタッチ操作のみで、所望の制御対象を制御することが可能となる。具体的には、図１Ｃのまず（ａ）に示すように、実施形態に係る入力装置１０は、１つの操作面Ｐを領域分割する（図中のステップＳ１参照）。なお、本実施形態では基本的に、領域Ｒ１〜領域Ｒ４の４分割がなされるものとする。また、以下、操作面Ｐの各領域を総称する場合は、単に「領域Ｒ」と言う。

そして、入力装置１０は、領域ごとで異なる制御対象を割り当てる（図中のステップＳ２参照）。なお、本実施形態では、領域Ｒ１にはナビ装置のナビモードが、領域Ｒ２にはナビ装置のオーディオモードが、領域Ｒ３にはエアコン６１が、領域Ｒ４には電話が、それぞれ割り当てられるものとする。

また、入力装置１０は、振動素子１３ａにつき、領域間移動を示す振動状態の設定を行う（図中のステップＳ３参照）。ここで、「領域間移動」は、例えば領域Ｒのいずれかから他の領域Ｒのいずれかへ指Ｕ１の代表位置が移動することを言う。「代表位置」は、接触操作において指Ｕ１が領域Ｒに対し接触中の位置である。

かかる「領域間移動」は、指Ｕ１が、操作面Ｐへ接触しつつ境界Ｂを越える場合を含む。また、指Ｕ１が、境界Ｂを含む所定の境界領域Ｒ５（図３Ｂにて後述）へ侵入する場合を含む。また、指Ｕ１が、境界Ｂを飛び越す場合を含む。なお、ここに言う「飛び越す場合」とは、指Ｕ１が一旦領域Ｒを離れて所定時間内に違う領域Ｒへ再び接触する場合を指す。以下では、かかる「飛び越す場合」において指Ｕ１が違う領域Ｒへ再び接触したことを「着地」と言う場合がある。また、「領域間移動」に対し、一つの領域Ｒ内で指Ｕ１が移動することを「領域内移動」と言う場合がある。領域間移動を示す振動状態は、領域内移動時の振動状態と識別できる振動形態である。

そして、図１Ｃの（ｂ）に示すように、入力装置１０は、領域間移動の検出を行う（図中のステップＳ４参照）。その結果、領域間移動が検出されたならば、入力装置１０は、ステップＳ３において設定された振動状態となるように振動素子１３ａを制御することによって、領域間移動を示す触覚をフィードバックする（図中のステップＳ５参照）。なお、領域間移動が検出されないならば、入力装置１０は、ユーザＤの接触操作に応じて、領域Ｒごとで異なる通常の触覚をフィードバックする。

これにより、一つの操作面Ｐによって多様な制御対象を操作性高く、例えばブラインドタッチ操作にて操作することが可能となる。なお、ここで、ユーザＤの行う接触操作は、平易な数個のジェスチャ操作であって、領域Ｒの間で共通に、すなわち各領域Ｒに対応する異なる制御対象の間で共通に用いることできる。

これにより、ユーザＤは、数個の平易なジェスチャ操作を覚えるだけで、多様な制御対象を同様のブラインドタッチ操作で操作することが可能となる。すなわち、操作性高く多様な制御対象を操作することができる。また、領域間移動を示す触覚のフィードバックによりユーザＤに領域間移動を知覚させることで、ユーザＤによる操作ミス等を抑制することができる。

なお、各ジェスチャ操作およびこれに割り当てられる制御対象ごとの機能の具体例については、図４Ａ〜図５を用いて後述する。

このように、本実施形態では、一つの操作面Ｐを領域分割し、分割された各領域Ｒで異なる制御対象を割り当て、領域間移動を示す振動素子１３ａの振動状態を設定し、領域間移動が検出されたならば、設定された振動状態となるように振動素子１３ａを制御することによって領域間移動を示す触覚をフィードバックすることとした。したがって、本実施形態によれば、多様な制御対象を操作性高く操作することができる。

なお、ここでは、入力装置１０の操作面Ｐが例えばタッチパッドである場合について説明したが、これに限られない。例えばセンターディスプレイ４１と一体になったタッチパネル等であってもよい。以下、上述した制御方法によって制御される入力装置１０を含む統合入力システム１についてさらに具体的に説明する。

図２は、実施形態に係る統合入力システム１のブロック図である。なお、図２では、本実施形態の特徴を説明するために必要な構成要素のみを機能ブロックで表しており、一般的な構成要素についての記載を省略している。

換言すれば、図２に図示される各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。例えば、各機能ブロックの分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することが可能である。

図２に示すように、統合入力システム１は、入力装置１０と、表示部４０と、表示制御部５０と、各種機器６０と、スピーカ７０と、記憶部８０とを備える。

まず入力装置１０以外の構成要素から説明する。表示部４０は、例えば上述したセンターディスプレイ４１やＨＵＤ４２等であって、表示制御部５０が出力する視覚情報としての画像をユーザＤへ提示する。

表示制御部５０は、例えば入力装置１０がユーザＤから受け付けた入力操作の操作内容に基づき、表示部４０に表示させる画像を生成し、表示部４０へ出力する。また、表示制御部５０は、表示部４０を制御して、ユーザＤに画像を提示させる。

各種機器６０は、例えば上述したナビ装置やエアコン６１、図示略の電話等であって、入力装置１０を介したユーザＤの制御対象となる。スピーカ７０は、例えば入力装置１０がユーザＤから受け付けた入力操作の操作内容に基づき、聴覚情報としての音声をユーザＤへ提示する。

記憶部８０は、ハードディスクドライブや不揮発性メモリ、レジスタといった記憶デバイスであって、領域設定情報８０ａを記憶する。

つづいて入力装置１０について説明する。入力装置１０は、既に述べたように例えばタッチパッドやタッチパネル等を含む情報入力デバイスであって、ユーザＤからの入力操作を受け付け、その操作内容に応じた信号を表示制御部５０や各種機器６０、スピーカ７０へ出力する。

入力装置１０は、操作部１１と、制御部１２と、振動部１３とを備える。まず操作部１１と振動部１３について説明する。操作部１１は、例えば上述のタッチパッドやタッチパネル等の平板状のセンサであり、ユーザＤによる入力操作を受け付ける操作面Ｐ（例えば図１Ａ参照）を備える。ユーザＤが、操作面Ｐに対し指Ｕ１等を接触させた接触操作を行うと、操作部１１はかかる接触操作に応じたセンサ値を制御部１２へ出力する。

振動部１３は、少なくとも一つの振動素子１３ａ（例えば図１Ｂの（ａ）参照）を備える。振動素子１３ａは、例えば圧電素子（ピエゾ素子）等の圧電アクチュエータであって、制御部１２から与えられた電圧信号に応じて伸縮することで操作部１１を振動させる。振動素子１３ａは、例えば操作部１１の端部など、ユーザＤが視認できない位置に、操作部１１と接するように配置される。

なお、既に図１Ｂの（ａ）に示した例では、振動素子１３ａは、操作面Ｐの左右外側の領域であって、操作面Ｐと対向する面に配置される場合を示したが、かかる配置は一例であり、これに限られるものではない。

例えば一つの振動素子１３ａのみで操作面Ｐを振動させてもよい。このように、振動素子１３ａの個数や配置は任意であるが、操作面Ｐの全体を均一に振動させるような個数および配置とすることが好ましい。また、振動素子１３ａは圧電素子に限られず、例えば操作面Ｐを超音波周波数帯で振動させることが可能な素子であればよい。

つづいて制御部１２について説明する。図２に示すように、制御部１２は、領域設定部１２ａと、検出部１２ｂと、領域間移動判定部１２ｃと、振動制御部１２ｄと、操作処理部１２ｅとを備える。

制御部１２は、入力装置１０の各部を制御する。領域設定部１２ａは、操作面Ｐを領域分割して、分割された領域Ｒごとで異なる制御対象を割り当てる。また、領域設定部１２ａは、各領域ＲでユーザＤの接触操作が検出された場合に操作面Ｐから指Ｕ１へフィードバックされる触覚が、領域Ｒごとで異なるように振動素子１３ａの振動状態を設定する。

また、領域設定部１２ａは、領域間移動判定部１２ｃによって領域間移動が検出された場合における、かかる領域間移動を示す振動素子１３ａの振動状態を設定する。領域間移動を示す振動素子１３ａの振動状態の具体例については図３Ａ〜図３Ｃを用いて後述する。

また、領域設定部１２ａは、設定された設定内容を領域設定情報８０ａとして記憶部８０へ記憶させる。例えば、領域設定情報８０ａは、領域Ｒごとに割り当てられた制御対象や、領域Ｒごとの振動素子１３ａの制御値等を含む情報である。領域設定情報８０ａの一例については図５Ｂを用いて後述する。

検出部１２ｂは、操作部１１が出力するセンサ値に基づき、操作面Ｐに対するユーザＤの接触操作を検出し、検出結果を領域間移動判定部１２ｃへ渡す。

領域間移動判定部１２ｃは、検出部１２ｂの検出結果に基づき、検出された接触操作が領域間移動にあたるか否かを判定し、判定結果を振動制御部１２ｄおよび操作処理部１２ｅへ渡す。

振動制御部１２ｄは、領域間移動判定部１２ｃによって接触操作が領域間移動にあたると判定された場合に、領域間移動を示す振動状態となるように、領域設定情報８０ａに基づいて振動部１３の振動素子１３ａを制御する。

また、振動制御部１２ｄは、領域間移動判定部１２ｃによって接触操作が領域間移動にあたらないと判定された場合、すなわち接触操作が所定のジェスチャ操作にあたると判定された場合に、領域Ｒにおける通常の、領域間移動を示すものでない振動状態となるように、領域設定情報８０ａに基づいて振動部１３の振動素子１３ａを制御する。

操作処理部１２ｅは、領域間移動判定部１２ｃによって接触操作が領域間移動にあたると判定された場合に、例えば領域間移動を示す画像を表示制御部５０に視覚的に表示部４０へフィードバックさせる。

また、操作処理部１２ｅは、領域間移動判定部１２ｃによって接触操作が領域間移動にあたらないと判定された場合、すなわち接触操作が所定のジェスチャ操作にあたると判定された場合に、接触操作に対応する操作内容を、表示制御部５０に視覚的に表示部４０へフィードバックさせる。また、操作処理部１２ｅは、かかるジェスチャ操作に対応する操作内容を各種機器６０へ反映させる処理を行う。

また、操作処理部１２ｅは、領域間移動判定部１２ｃによって接触操作が領域間移動にあたると判定された場合に、かかる旨を示す例えばガイダンス音声をスピーカ７０から出力させる。また、操作処理部１２ｅは、領域間移動判定部１２ｃによって接触操作が領域間移動にあたらないと判定された場合、すなわち接触操作が所定のジェスチャ操作にあたると判定された場合に、ジェスチャ操作に対応する操作内容に関するガイダンス音声をスピーカ７０から出力させる。

すなわち、ユーザＤへ操作面Ｐから触覚をフィードバックする場合に、このようにスピーカ７０からのガイダンス音声を併用することによって、ユーザＤの例えばブラインドタッチ操作を聴覚的に支援し、操作性を高めることができる。

次に、操作面Ｐにおける領域間移動を示す振動素子１３ａの振動状態の具体例、すなわち領域間移動を示す触覚のフィードバックの具体例について、図３Ａ〜図３Ｃを用いて説明する。図３Ａ〜図３Ｃは、領域間移動を示す触覚のフィードバックの具体例を示す図（その１）〜（その３）である。

まず、ユーザＤへ領域間移動を知覚させるにあたっては、例えばユーザＤの接触操作が検出された場合に、各領域Ｒで異なる振動状態となるように振動素子１３ａを制御することで足りる。

図３Ａの（ａ）に示すように、操作面Ｐにおいて領域間移動を示すものでない通常時の振動素子１３ａの振動状態が、領域Ｒ１においては「つるつる＃１」の触覚がフィードバックされるように設定されているものとする。

同様に、領域Ｒ２においては「ざらざら＃１」の触覚が、領域Ｒ３においては「つるつる＃２」の触覚が、領域Ｒ４においては「ざらざら＃２」の触覚が、それぞれフィードバックされるように設定されているものとする。

なお、「つるつる＃１」および「つるつる＃２」は同じ「つるつる」でも生じる摩擦力が異なっている。「ざらざら＃１」および「ざらざら＃２」も同様である。

この場合において、指Ｕ１を矢印３０１に沿って動かすと、指Ｕ１と操作面Ｐとの間の摩擦力は、例えば図３Ａの（ｂ）に示すように変化することとなる。すなわち、ユーザＤは、領域Ｒ１と領域Ｒ２との間の境界Ｂ、領域Ｒ２と領域Ｒ３との間の境界Ｂ、領域Ｒ３と領域Ｒ４との間の境界Ｂのそれぞれにおいて、フィードバックされる触覚の摩擦力の変化により領域間移動を知覚することができる。これにより、ユーザＤは、例えばブラインドタッチ操作の途中において指Ｕ１が領域間移動するのを知覚できるので、例えばユーザＤによる操作ミスを防止することができる。

また、ユーザＤへ領域間移動を知覚させる別の例としては、図３Ｂの（ａ）に示すように例えば、境界Ｂを含み、かつ、境界Ｂに沿って設けられた境界領域Ｒ５に接触操作の代表位置である指Ｕ１が侵入する場合に（図中の矢印３０２参照）、境界Ｂに近づくに連れ、ユーザＤが触覚から得る抵抗感を徐々に強くしてゆくように、触覚をフィードバックしてもよい。

すなわち、この場合、図３Ｂの（ｂ）に示すように、境界領域Ｒ５へ侵入し、境界Ｂへ接近するに連れて、指Ｕ１と操作面Ｐとの間の摩擦力が次第に大きくなるような振動状態が領域間移動を示すものとなるように振動素子１３ａを制御すればよい。また、同様に、境界領域Ｒ５へ侵入し、境界Ｂへ接近するに連れて振動強度が徐々に大きくなるような振動状態となるように振動素子１３ａを制御してもよい。

これにより、ユーザＤは、例えばブラインドタッチ操作の途中において指Ｕ１がたまたま領域間移動しようとしても、次第に強くなる抵抗感を知覚して指Ｕ１を進めにくくなるので、例えばユーザＤによる操作ミスを防止することができる。

また、ユーザＤへ領域間移動を知覚させるさらに別の例としては、例えば図３Ｃの（ａ）に示すように、指Ｕ１が境界Ｂを「飛び越す」ような接触操作をユーザＤが行った場合に（図中の矢印３０３参照）、操作中の領域Ｒが他の領域Ｒへ移動したことを示す触覚をフィードバックしてもよい。

なお、この場合は、ユーザＤが次なる操作のためにあえて操作する領域Ｒを変えたことが考えられるので、領域内移動時の振動と識別できる振動形態であることが好ましい。その一例として、例えば図３Ｃの（ｂ）に示すように、指Ｕ１の「着地」（新たに別の領域Ｒに接触した時点）から所定回数（ここでは３回）間断的に振動するように振動素子１３ａを制御してもよい。また、かかる領域内移動時の振動と識別できる振動形態は、図３Ｃに示す指Ｕ１が境界Ｂを「飛び越す」場合に限らず、指Ｕ１の代表位置が違う領域Ｒへ移動する場合のいずれにも用いることができる。

また、このとき、スピーカ７０からは、例えば「操作エリアが変わりました」のようなガイダンス音声を出力させてもよい。これにより、ユーザＤがあえて操作する領域Ｒを変えた場合であってもそうでない場合であっても、ブラインドタッチ操作等においてユーザＤの操作ミスを防ぐのに資することができる。

次に、ジェスチャ操作について、図４Ａ〜図４Ｅを用いて説明する。図４Ａ〜図４Ｅは、ジェスチャ操作の具体例を示す図（その１）〜（その５）である。ジェスチャ操作は、上述したように、ユーザＤの覚えやすい平易な態様であることが操作性を高めるうえで好ましい。

その一つとして、例えば図４Ａに示すように、指Ｕ１を操作面Ｐの領域Ｒにおいて、上下方向にスライドさせるジェスチャ操作を挙げることができる。これは直線状の軌跡を描くだけのごくシンプルな態様であるので、ユーザＤにとっても覚えやすく、操作しやすいと言うことができる。

これと同様の他の一つとして、例えば図４Ｂに示すように、指Ｕ１を領域Ｒにおいて、左右方向にスライドさせるジェスチャ操作を挙げることができる。

また、他の一つとして、例えば図４Ｃに示すように、指Ｕ１を領域Ｒにおいて、円形の軌跡を描くようにスライドさせるジェスチャ操作を挙げることができる。これは誰もが知る単純な図形の軌跡を描くだけの態様であるので、やはりユーザＤにとっても覚えやすく、操作しやすいと言うことができる。

これと同様の他の一つとして、例えば図４Ｄに示すように、指Ｕ１を領域Ｒにおいて、三角形の軌跡を描くようにスライドさせるジェスチャ操作を挙げることができる。

同様の他の一つとしてさらに、例えば図４Ｅに示すように、指Ｕ１を領域Ｒにおいて、×印の軌跡を描くようにスライドさせるジェスチャ操作を挙げることができる。

本実施形態では、これら平易で覚えやすいジェスチャ操作のセットを共通に用いてすべての領域Ｒにおける操作を行うこととしている。したがって、ユーザＤは、このセットを覚えていれば、領域Ｒへ割り当てられたすべての制御対象を同様の操作で操作することができるので、操作ミスを起こしにくい。すなわち、多様な制御対象を操作性高く操作するのに資することができる。

なお、本実施形態では、上記セットの中のジェスチャ操作のそれぞれには異なる制御対象が割り当てられる。次に、かかる割り当ての具体例について図５を用いて説明する。図５は、ジェスチャ操作への制御対象の割り当ての具体例を示す図である。

図５に示すように、例えばナビ装置は、ナビモード、オーディオモードといった複数のモードを有している。ジェスチャ操作のセットは、例えばかかるモードごとに対応付けられ、各ジェスチャ操作は各モードの各機能に割り当てられる。

例えば、ナビ装置のナビモードにおいては、例えば「上下」のジェスチャ操作に地図スクロール（上下）の機能が割り当てられる。また、同モードの例えば「左右」のジェスチャ操作には地図スクロール（左右）の機能が割り当てられる。

一方、ナビ装置のオーディオモードにおいては、例えば「上下」のジェスチャ操作にトラック切替の機能が割り当てられる。また、同モードの例えば「左右」のジェスチャ操作にはアルバム切替の機能が割り当てられる。

このように、各ジェスチャ操作への割り当ては、制御対象が変わっても、ジェスチャ操作の態様からユーザＤが直感的に操作内容を知覚しやすいものであることが好ましい。

したがって、例えば、ナビ装置のナビモードにおいては、「円形」のジェスチャ操作に地図拡大／縮小の機能が割り当てられる。また、同モードの例えば「三角形」のジェスチャ操作には、「戻ってくる」とのニュアンスから自宅への経路設定の機能が割り当てられる。また、同モードの例えば「×印」のジェスチャ操作には、地点登録の機能が割り当てられる。

同様に、例えば、ナビ装置のオーディオモードにおいては、「円形」のジェスチャ操作にボリュームＵＰ／ＤＯＷＮの機能が割り当てられる。また、同モードの例えば「三角形」のジェスチャ操作には、音響設定切替（サイクリック）の機能が割り当てられる。また、同モードの例えば「×印」のジェスチャ操作には、ミュートの機能が割り当てられる。

エアコン６１については、例えば「上下」のジェスチャ操作に対し設定温度ＵＰ／ＤＯＷＮの機能が割り当てられる。

次に、領域設定情報８０ａの具体例について図６を用いて説明する。図６は、領域設定情報８０ａの具体例を示す図である。上述したように、領域設定情報８０ａは、領域Ｒごとに割り当てられた制御対象や、領域Ｒごとの振動素子１３ａの制御値等を含む情報である。

具体的には、図６に示すように、領域設定情報８０ａは、例えば領域項目と、制御対象項目と、開始位置座標項目と、終了位置座標項目と、振動状態項目とを含む。振動状態項目はさらに、例えば接触位置座標項目と、振動周波数項目と、振動強度項目を含んでいる。

領域項目は、各領域Ｒを識別する情報であり、本実施形態の場合には、例えば境界領域までを含めた領域Ｒ１〜Ｒ５のそれぞれに関する情報が設定されている。

制御対象項目は、各領域Ｒへ割り当てられた各制御対象を識別する情報である。開始位置座標項目および終了位置座標項目は、各領域Ｒを規定する座標位置に関する情報である。

振動状態項目は、各領域Ｒにおける各振動状態を識別する情報であり、各振動状態には、操作面Ｐにおける指Ｕ１の接触位置座標が定義されている。そして、各接触位置座標には、例えば振動素子１３ａを振動させる振動周波数や振動強度が対応付けられる。

なお、振動状態項目における接触位置座標や振動周波数、振動強度等の制御値は、例えば設定されないことで、振動素子１３ａを振動させないという制御に用いることができる。

振動制御部１２ｄは、このような領域設定情報８０ａを参照し、接触操作あるいは領域間移動が検出された領域Ｒにおける接触位置座標、振動周波数および振動強度といった制御値を用いることによって、振動素子１３ａを制御することとなる。なお、図６に示した領域設定情報８０ａはあくまで一例であって、その構成を限定するものではない。

ところで、これまでは、例えば図３Ａの（ａ）に示すように、領域Ｒごとで異なるものの、各領域Ｒの中は均一に同じ振動状態となる場合について説明したが、ジェスチャ操作それぞれの操作性を高めるために、ジェスチャ操作の態様ごとに各領域Ｒ内の振動状態を異ならせてもよい。

このような場合のジェスチャ操作ごとの触覚のフィードバックの具体例について、図７Ａおよび図７Ｂを用いて説明する。図７Ａおよび図７Ｂは、ジェスチャ操作ごとの触覚のフィードバックの具体例を示す図（その１）および（その２）である。

なお、図７Ａでは、「上下」のジェスチャ操作の具体例を、図７Ｂでは、「円形」のジェスチャ操作の具体例を、それぞれ示すこととする。

まず、図７Ａに示すように、「上下」のジェスチャ操作の場合、領域Ｒには、例えば中央部で上下方向に直線状に延びる案内領域ＲＸ１が設定される。そして、案内領域ＲＸ１は、摩擦力の小さい領域として設定される。一方、領域Ｒのうち案内領域ＲＸ１を除く部分は、相対的に摩擦力の大きい領域として設定される。

摩擦力の大小は、振動制御部１２ｄによる振動素子１３ａの振動状態の制御によって実現される。すなわち、振動制御部１２ｄは、指Ｕ１の接触位置が案内領域ＲＸ１内である場合においては、例えば振動素子１３ａが高周波（例えば超音波周波数帯）で振動する電圧信号を生成し、かかる電圧信号によって振動素子１３ａを振動させる。

また、これに対し、振動制御部１２ｄは、指Ｕ１の接触位置が案内領域ＲＸ１外である場合においては、案内領域ＲＸ１の場合よりも低い周波数帯で振動する電圧信号を生成し、かかる電圧信号によって振動素子１３ａを振動させる。

これにより、案内領域ＲＸ１においては、指Ｕ１が滑りやすい触覚をユーザＤへフィードバックすることができる（図中の矢印７０１参照）。また、案内領域ＲＸ１から逸れた接触位置においては、指Ｕ１が案内領域ＲＸ１内よりも滑りにくい触覚をユーザＤへフィードバックすることができる（図中の矢印７０２参照）。

したがって、ユーザＤは、滑りやすい触覚のフィードバックによって案内領域ＲＸ１に沿って案内されつつ、指Ｕ１で操作面Ｐの領域Ｒに直線状に上下に延びる軌跡を正確に描くことができる。すなわち、ブラインドタッチ操作等においても操作性高くユーザＤに「上下」のジェスチャ操作を行わせることができる。

また、図７Ｂに示すように、「円形」のジェスチャ操作の場合も同様に、領域Ｒには、例えば中央で円形の軌跡を描くような案内領域ＲＸ２が設定される。そして、案内領域ＲＸ２は、摩擦力の小さい領域として設定される。一方、領域Ｒのうち案内領域ＲＸ２を除く部分は、相対的に摩擦力の大きい領域として設定される。

後は図７Ａに示したのと同様に、振動制御部１２ｄにより、案内領域ＲＸ２においては、指Ｕ１が滑りやすい触覚をユーザＤへフィードバックすることができる（図中の矢印７０３参照）。また、案内領域ＲＸ２から逸れた接触位置においては、指Ｕ１が案内領域ＲＸ２内よりも滑りにくい触覚をユーザＤへフィードバックすることができる。

したがって、ユーザＤは、滑りやすい触覚のフィードバックによって案内領域ＲＸ２に沿って案内されつつ、指Ｕ１で操作面Ｐの領域Ｒに円形の軌跡を正確に描くことができる。すなわち、ブラインドタッチ操作等においても操作性高くユーザＤに「円形」のジェスチャ操作を行わせることができる。

なお、このような各ジェスチャ操作に応じた振動状態とするためには、ユーザＤが操作を所望する領域Ｒへさらに行いたいジェスチャ操作を対応付ける必要があるが、例えばマイク２０（図１Ａ参照）を用いた音声認識によって実現することができる。

具体的には、次のような手順を踏むこととなる。まずユーザＤが、操作面Ｐのうち操作したい領域Ｒに指Ｕ１で触れたうえで例えば「上下」と発話すると、例えば領域設定部１２ａが、マイク２０を介してユーザＤの発話内容を入力して受け付け、所望の領域Ｒにおいて「上下」のジェスチャ操作に対応する上述の案内領域ＲＸ１が形成される振動状態となるように領域設定情報８０ａを設定する。

そして、その設定結果に基づき、振動制御部１２ｄが、ユーザＤの所望の領域Ｒにおいて上述の案内領域ＲＸ１が形成される振動状態となるように振動部１３の振動素子１３ａを制御する。後はユーザＤは、案内領域ＲＸ１に沿って案内されつつ、指Ｕ１を動かして「上下」のジェスチャ操作を行えばよい。

次に、実施形態に係る入力装置１０が実行する処理手順について、図８を用いて説明する。図８は、実施形態に係る入力装置１０が実行する処理手順を示すフローチャートである。

図８に示すように、入力装置１０は、まず領域設定部１２ａが、操作面Ｐを領域分割する（ステップＳ１０１）。そして、領域設定部１２ａは、分割された領域Ｒごとで異なる制御対象を割り当てる（ステップＳ１０２）。

そして、領域設定部１２ａは、領域間移動を示す振動素子１３ａの振動状態を設定する（ステップＳ１０３）。

つづいて、領域間移動判定部１２ｃが、検出部１２ｂによって検出された接触操作が領域間移動にあたるか否かを判定する（ステップＳ１０４）。

ここで、領域間移動にあたると判定された場合（ステップＳ１０４，Ｙｅｓ）、振動制御部１２ｄが、ステップＳ１０３で設定された振動状態となるように振動素子１３ａを振動させることによって、領域間移動を示す触覚をフィードバックし（ステップＳ１０５）、処理を終了する。

一方、振動制御部１２ｄは、検出部１２ｂによって検出された接触操作が領域間移動にあたらないと判定された場合（ステップＳ１０４，Ｎｏ）、各領域Ｒにおける通常の振動状態となるように振動素子１３ａを振動させることによって、通常の触覚をフィードバックし（ステップＳ１０６）、処理を終了する。

本実施形態に係る統合入力システム１は、図９に一例として示す構成のコンピュータ６００で実現することができる。図９は、実施形態に係る統合入力システム１の機能を実現するコンピュータの一例を示すハードウェア構成図である。

コンピュータ６００は、ＣＰＵ（Central Processing Unit）６１０と、ＲＯＭ（Read Only Memory）６２０と、ＲＡＭ（Random Access Memory）６３０と、ＨＤＤ（Hard Disk Drive）６４０とを備える。また、コンピュータ６００は、メディアインターフェイス（Ｉ／Ｆ）６５０と、通信インターフェイス（Ｉ／Ｆ）６６０と、入出力インターフェイス（Ｉ／Ｆ）６７０とを備える。

なお、コンピュータ６００は、ＳＳＤ（Solid State Drive）を備え、かかるＳＳＤがＨＤＤ６４０の一部または全ての機能を実行するようにしてもよい。また、ＨＤＤ６４０に代えてＳＳＤを設けることとしてもよい。

ＣＰＵ６１０は、ＲＯＭ６２０およびＨＤＤ６４０の少なくとも一方に格納されるプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ６２０は、コンピュータ６００の起動時にＣＰＵ６１０によって実行されるブートプログラムや、コンピュータ６００のハードウェアに依存するプログラムなどを格納する。ＨＤＤ６４０は、ＣＰＵ６１０によって実行されるプログラムおよびかかるプログラムによって使用されるデータ等を格納する。

メディアＩ／Ｆ６５０は、記憶媒体６８０に格納されたプログラムやデータを読み取り、ＲＡＭ６３０を介してＣＰＵ６１０に提供する。ＣＰＵ６１０は、かかるプログラムを、メディアＩ／Ｆ６５０を介して記憶媒体６８０からＲＡＭ６３０上にロードし、ロードしたプログラムを実行する。あるいは、ＣＰＵ６１０は、かかるデータを用いてプログラムを実行する。記憶媒体６８０は、例えばＤＶＤ（Digital Versatile Disc）などの光磁気記録媒体やＳＤカード、ＵＳＢメモリなどである。

通信Ｉ／Ｆ６６０は、ネットワーク６９０を介して他の機器からデータを受信してＣＰＵ６１０に送り、ＣＰＵ６１０が生成したデータを、ネットワーク６９０を介して他の機器へ送信する。あるいは、通信Ｉ／Ｆ６６０は、ネットワーク６９０を介して他の機器からプログラムを受信してＣＰＵ６１０に送り、ＣＰＵ６１０がかかるプログラムを実行する。

ＣＰＵ６１０は、入出力Ｉ／Ｆ６７０を介して、ディスプレイ等の表示部４０、スピーカ７０等の出力部、キーボードやマウス、ボタン、操作部１１等の入力部を制御する。ＣＰＵ６１０は、入出力Ｉ／Ｆ６７０を介して、入力部からデータを取得する。また、ＣＰＵ６１０は、生成したデータを入出力Ｉ／Ｆ６７０を介して表示部４０や出力部に出力する。

例えば、コンピュータ６００が統合入力システム１として機能する場合、コンピュータ６００のＣＰＵ６１０は、ＲＡＭ６３０上にロードされたプログラムを実行することにより、領域設定部１２ａと、検出部１２ｂと、領域間移動判定部１２ｃと、振動制御部１２ｄと、操作処理部１２ｅとを含む入力装置１０の制御部１２および表示制御部５０の各機能を実現する。

コンピュータ６００のＣＰＵ６１０は、例えばこれらのプログラムを記憶媒体６８０から読み取って実行するが、他の例として、他の装置からネットワーク６９０を介してこれらのプログラムを取得してもよい。また、ＨＤＤ６４０は、記憶部８０が記憶する情報を記憶することができる。

上述してきたように、実施形態に係る入力装置は、一つの操作面と、検出部と、少なくとも一つの振動素子と、領域設定部（「設定部」の一例に相当）と、領域間移動判定部（「判定部」の一例に相当）と、振動制御部とを備える。

検出部は、操作面に対するユーザの接触操作を検出する。振動素子は、操作面を振動させる。領域設定部は、操作面を領域分割して領域ごとで異なる制御対象を割り当てる。

領域間移動判定部は、検出部によって検出された接触操作が領域間を移動する領域間移動であるか否かを判定する。振動制御部は、領域間移動判定部によって接触操作が領域間移動であると判定された場合に、領域間移動を示す振動状態となるように振動素子を制御する。

したがって、実施形態に係る入力装置によれば、多様な制御対象を操作性高く操作することができる。

なお、上述した実施形態では、各領域Ｒごとで異なる振動状態とする場合を例に挙げたが、例えば図３Ｂに示したように境界Ｂを含む境界領域Ｒ５が設けられている場合、かかる境界領域Ｒ５によって少なくとも各領域Ｒを区別する触覚のフィードバックは可能となるので、必ずしも各領域Ｒごとで異なる振動状態としなくともよい。

また、上述した実施形態では、領域分割数が基本的に４個である場合を例に挙げたが、無論、領域分割数を限定するものではない。また、各領域の大きさも均一でなくともよい。

また、上述した実施形態に示したジェスチャ操作の態様はあくまで一例であって、かかる態様を限定するものでは無論ない。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

１ 統合入力システム
１０ 入力装置
１１ 操作部
１２ 制御部
１２ａ 領域設定部
１２ｂ 検出部
１２ｃ 領域間移動判定部
１２ｄ 振動制御部
１２ｅ 操作処理部
１３ 振動部
１３ａ 振動素子
２０ マイク
３０ 撮像部
４０ 表示部
５０ 表示制御部
６０ 各種機器
６１ エアコン
７０ スピーカ
８０ 記憶部
Ｂ 境界
Ｄ ユーザ
Ｐ 操作面
Ｒ、Ｒ１〜Ｒ４ 領域
Ｒ５ 境界領域
ＲＸ１、ＲＸ２ 案内領域
Ｕ１ 指

Claims (11)

1. 一つの操作面と、
   前記操作面に対するユーザの接触操作を検出する検出部と、
   前記操作面を振動させる少なくとも一つの振動素子と、
   前記操作面を領域分割して領域ごとで異なる制御対象を割り当てる設定部と、
   前記検出部によって検出された前記接触操作が前記領域間を移動する領域間移動であるか否かを判定する判定部と、
   前記判定部によって前記接触操作が前記領域間移動であると判定された場合に、前記領域間移動を示す振動状態となるように前記振動素子を制御する振動制御部と
   を備え、
   前記振動制御部は、
   前記領域間移動を示す振動状態が、前記接触操作の代表位置が一つの前記領域内を移動する領域内移動時の振動状態と識別できる振動形態となるように前記振動素子を制御し、
   前記判定部は、
   前記代表位置が前記領域の境界を飛び越して他の前記領域へ着地する場合に、前記接触操作を前記領域間移動であると判定すること
   を特徴とする入力装置。
2. 前記振動制御部は、
   前記領域ごとで異なる振動状態となるように前記振動素子を制御すること
   を特徴とする請求項１に記載の入力装置。
3. 前記判定部は、
   前記領域の境界を含み、かつ、該境界に沿って設けられた境界領域へ前記代表位置が侵入する場合に、該接触操作を前記領域間移動であると判定し、
   前記振動制御部は、
   前記代表位置が前記境界領域へ侵入し前記境界へ近づくに連れて、前記代表位置と前記操作面との間の摩擦力、または、前記振動素子の振動強度が徐々に大きくなる振動状態となるように前記振動素子を制御すること
   を特徴とする請求項１または２に記載の入力装置。
4. 前記振動制御部は、
   前記判定部によって前記代表位置が前記境界を飛び越した前記領域間移動であることが判定された場合に、前記振動素子を間断的に所定回数振動させること
   を特徴とする請求項１、２または３に記載の入力装置。
5. 前記振動制御部は、
   前記判定部によって前記接触操作が前記領域間移動でないと判定された場合に、前記接触操作に応じて、前記領域ごとで異なる振動状態となるように前記振動素子を制御すること
   を特徴とする請求項１〜４のいずれか一つに記載の入力装置。
6. 前記制御対象は、複数の機器のうちの一つであること
   を特徴とする請求項１〜５のいずれか一つに記載の入力装置。
7. 前記制御対象は、一つの機器が有する複数のモードのうちの一つであること
   を特徴とする請求項１〜６のいずれか一つに記載の入力装置。
8. 前記振動素子が前記操作面を振動させることによって前記ユーザへ前記操作面から触覚をフィードバックする場合に、音声出力部によって出力されるガイダンス音声を併用すること
   を特徴とする請求項１〜７のいずれか一つに記載の入力装置。
9. 請求項１〜８のいずれか一つに記載の入力装置と、
   前記操作面に対する前記ユーザの前記接触操作の操作内容に応じた画像を表示する表示部と
   を備えることを特徴とする統合入力システム。
10. 一つの操作面を備える入力装置の制御方法であって、
    前記操作面に対するユーザの接触操作を検出する検出工程と、
    少なくとも一つの振動素子によって前記操作面を振動させる振動工程と、
    前記操作面を領域分割して領域ごとで異なる制御対象を割り当てる設定工程と、
    前記検出工程で検出された前記接触操作が前記領域間を移動する領域間移動であるか否かを判定する判定工程と、
    前記判定工程で前記接触操作が前記領域間移動であると判定された場合に、前記領域間移動を示す振動状態となるように前記振動素子を制御する振動制御工程と
    を含み、
    前記振動制御工程は、
    前記領域間移動を示す振動状態が、前記接触操作の代表位置が一つの前記領域内を移動する領域内移動時の振動状態と識別できる振動形態となるように前記振動素子を制御し、
    前記判定工程は、
    前記代表位置が前記領域の境界を飛び越して他の前記領域へ着地する場合に、前記接触操作を前記領域間移動であると判定すること
    を特徴とする入力装置の制御方法。
11. 一つの操作面に対するユーザの接触操作を検出する検出ステップと、
    少なくとも一つの振動素子によって前記操作面を振動させる振動ステップと、
    前記操作面を領域分割して領域ごとで異なる制御対象を割り当てる設定ステップと、
    前記検出ステップで検出された前記接触操作が前記領域間を移動する領域間移動であるか否かを判定する判定ステップと、
    前記判定ステップで前記接触操作が前記領域間移動であると判定された場合に、前記領域間移動を示す振動状態となるように前記振動素子を制御する振動制御ステップと
    をコンピュータに実行させ、
    前記振動制御ステップは、
    前記領域間移動を示す振動状態が、前記接触操作の代表位置が一つの前記領域内を移動する領域内移動時の振動状態と識別できる振動形態となるように前記振動素子を制御し、
    前記判定ステップは、
    前記代表位置が前記領域の境界を飛び越して他の前記領域へ着地する場合に、前記接触操作を前記領域間移動であると判定すること
    を特徴とするプログラム。

Images