JP6473610B2 - 操作装置、及び、操作システム - Google Patents

Description

本発明は、操作装置及び操作システムに関する。

従来のタッチパネルは、ユーザの操作によってタッチパネル自体が物理的に変位しないため、操作に対するフィードバックがなく、ユーザは操作感を得ることができなかった。このため、ユーザの操作があった際にタッチパネルを振動させて、操作に対するフィードバックをユーザに与える技術が知られている。なお、本発明と関連する技術としては、例えば特許文献１がある。

特開2012-027765号公報

しかしながら、従来の技術では、ユーザがタッチパネルを操作した際に単にタッチパネルを振動させるだけであるため、ユーザは、操作したことに対するフィードバックを得ることはできるものの、どのような操作をしたかについてはわからない。タッチパネルの操作には様々な種類の操作があるため、ユーザの操作性を向上させるためには、ユーザに対して何を操作しているのかを把握させることが望ましい。

本発明は、上記課題に鑑みてなされたものであり、ユーザがタッチセンサを操作した際に何の操作をしているのかをフィードバックすることが可能な技術を提供することを目的とする。

上記課題を解決するため、請求項１の発明は、複数の操作モードで操作可能な操作装置であって、タッチセンサと、前記タッチセンサへの操作内容を判別する判別手段と、前記操作モードを選択するモード選択手段と、操作者に対して触感を付与する触感付与手段と、を備え、前記モード選択手段は、前記判別手段が判別した操作内容に対応する操作モードを選択し、前記触感付与手段は、前記判別手段が判別した操作内容に対応する触感を付与し、前記操作内容は、操作者がタッチセンサへ接触させた接触部分の移動軌跡が描く図形であり、前記操作モードは、自装置と接続された他の電子機器の調整操作を可能にするモードであり、前記操作モードを選択するための操作内容と、前記選択された操作モードに対応する他の電子機器を調整するための操作内容とが同じであることを特徴とする操作装置である。

また、請求項２の発明は、請求項１に記載の操作装置において、前記触感付与手段は、前記操作者がタッチセンサの操作可能領域を操作した場合には、それ以外の領域を操作した場合とは異なる触感を付与する。

また、請求項３の発明は、複数の操作モードで操作可能な操作装置と、該操作装置を制御する制御装置とを備えた操作システムであって、前記操作装置は、タッチセンサと、操作者に対して触感を付与する触感付与手段と、を備え、前記制御装置は、前記操作装置のタッチセンサへの操作内容を判別する判別手段と、前記操作モードを選択するモード選択手段と、を備え、前記モード選択手段は、前記判別手段が判別した操作内容に対応する操作モードを選択し、前記触感付与手段は、前記判別手段が判別した操作内容に対応する触感を付与し、前記操作内容は、操作者がタッチセンサへ接触させた接触部分の移動軌跡が描く図形であり、前記操作モードは、制御装置と接続された他の電子機器の調整操作を可能にするモードであり、前記操作モードを選択するための操作内容と、前記選択された操作モードに対応する他の電子機器を調整するための操作内容とが同じであることを特徴とする操作システムである。

また、請求項４の発明は、請求項３に記載の操作システムにおいて、前記触感付与手段は、前記操作者がタッチセンサの操作可能領域を操作した場合には、それ以外の領域を操作した場合とは異なる触感を付与する。

請求項１ないし４の発明によれば、操作内容に対応した操作モードを選択し、操作内容に対応した触感を付与するため、操作者に対して操作したことをフィードバックできるのみならず、何を操作しているのかをフィードバックすることが可能になる。

図１は、操作システムの概要を示す図である。 図２は、操作システムの概要を示す図である。 図３は、制御装置の概要を示す図である。 図４は、遠隔操作装置の概要を示す図である。 図５は、タッチセンサの概要を示す図である。 図６は、ＨＵＤ装置の概要を示す図である。 図７は、タッチセンサの操作を説明する図である。 図８は、エアコン操作モードの表示画面を示す図である。 図９（ａ）〜（ｃ）は、温度調整操作を説明する図である。 図１０（ａ）〜（ｃ）は、風量調整操作を説明する図である。 図１１（ａ）〜（ｃ）は、風向調整操作を説明する図である。 図１２は、タッチセンサの操作を説明する図である。 図１３は、オーディオ操作モードの表示画面を示す図である。 図１４（ａ）〜（ｃ）は、音量調整操作を説明する図である。 図１５は、操作システムの処理を示すフローチャートである。 図１６は、操作可能領域を説明する図である。

以下、図面を参照しつつ本発明の実施の形態について説明する。

＜１．実施の形態＞
＜１−１．システムの概要＞
図１及び図２は、操作システム１の概要を示す図である。本実施の形態では、自動車などの車両に搭載された操作システム１を例に用いて説明する。図１は、操作システム１が搭載される車両の車室内の様子を示す図である。図２は、操作システム１の概略構成を示す図である。

図１及び図２に示すように、操作システム１は、制御装置１０と、遠隔操作装置２０と、ヘッドアップディスプレイ装置（以下「ＨＵＤ装置」と記載する）３０と、音声出力装置４０とを備えている。制御装置１０は、遠隔操作装置２０、ＨＵＤ装置３０及び音声出力装置４０の各々と電気的に接続されており、各装置との間で信号の送受信が可能である。

制御装置１０は、車両に設けられた他の装置（例えば遠隔操作装置２０や音声出力装置４０等）を制御する。本実施の形態では、ユーザ（代表的にはドライバ）が遠隔操作装置２０を用いて特定の操作（ジェスチャー）をするとユーザに対して操作内容をフィードバックしたり、音声出力装置４０から操作内容に対応する効果音を出力するようになっており、車両用制御装置はこのような制御を行う。

遠隔操作装置２０は、タッチセンサを備えた操作装置であり、車両のセンターコンソールのユーザの手の届く範囲に設けられている。そして、この遠隔操作装置２０を用いた際の操作内容を示す画像は、ＨＵＤ装置３０にて表示されるようになっている。操作システム１では、ユーザはＨＵＤ装置３０が表示した画面を見ながら手元の遠隔操作装置２０を操作するようになっている。つまり、操作システム１は、操作する手元を見ることなく遠隔での操作（所謂、ブラインド操作）が可能なシステムである。

さらに、ユーザが遠隔操作装置２０のタッチセンサに特定の操作をするとタッチセンサが振動するようになっている。操作システム１は、この特定の操作の種類に応じて振動の種類を変えており、これによりユーザは操作内容に応じた触感を得ることができる。つまり、ユーザは操作内容のフィードバックを得ることができるようになっている。

ＨＵＤ装置３０は、ユーザの略正面のフロントガラス部分に画像を投影する装置である。ユーザは、このＨＵＤ装置３０が投影した画像を見ながら遠隔操作装置２０のタッチセンサを操作する。

また、音声出力装置４０は、音声データを外部に出力するスピーカである。音声出力装置４０は、ユーザが遠隔操作装置２０を用いて特定の操作をした際に、対応する効果音の音声データを出力する。また、オーディオ装置やナビゲーション装置などが別途設けられているような場合には、音声出力装置４０からオーディオ用又はナビゲーション用の音声データが出力される。

このように、操作システム１は、タッチセンサと表示画面とが異なる位置にあり、遠隔で操作するようなシステムであって、操作内容に対応したフィードバックを与えることができるシステムである。換言すると、操作システム１は、ユーザに対して何を操作しているのかをフィードバックすることができ、また、ユーザが手元を見なくても操作可能なシステムである。以下、各構成の具体的な内容について説明する。

＜１−２．システムの構成＞
操作システム１の具体的な構成について図３ないし図６を用いて説明する。まず、制御装置１０の構成について説明する。図３は、制御装置１０の概略構成を示す図である。図３に示すように、制御装置１０は、通信部１１、記憶部１２、及び、制御部１３を備えている。

通信部１１は、Ｗｉ−Ｆｉ（ワイファイ：登録商標）等による無線通信により遠隔操作装置２０と通信可能に接続され、遠隔操作装置２０との間で各種データの送受信を行う。また、通信部１１は、ＣＡＮ（Controller Area Network）等の車載ＬＡＮ（Local Area Network）を介してＨＵＤ装置３０及び音声出力装置４０の各装置と通信可能に接続されており、ＨＵＤ装置３０及び音声出力装置４０の各装置と各種データの送受信を行う。なお、これらの接続は一例であり、有線及び無線のいずれであってもよい。

記憶部１２は、電気的にデータの読み書きが可能であって、電源を遮断されていてもデータが消去されない不揮発性の半導体メモリである。記憶部１２としては、例えば、ＥＥＰＲＯＭ（Electrical Erasable Programmable Read-Only memory）やフラッシュメモリを用いることができる。ただし、他の記憶媒体を用いてもよく、磁気ディスクを備えたハードディスクドライブで構成することもできる。記憶部１２には、プログラム１２ａやモード情報１２ｂ、音声データ１２ｃなどが記憶されている。プログラム１２ａは、制御部１３により読みだされ、制御部１３が制御装置１０を制御するために実行される、いわゆるシステムソフトウェアである。

モード情報１２ｂとは、ユーザの操作内容（ジェスチャー）とそのジェスチャーがあったときに起動する操作モードとを対応付けた情報である。ユーザのジェスチャーとは、ユーザが遠隔操作装置２０のタッチセンサを操作した際の動きであり、例えば、円を描くジェスチャーや、直線を描くジェスチャーなどがある。

また、本実施の形態では、操作モードとして、エアコン操作モードとオーディオ操作モードがある。エアコン操作モードは、エアコンの温度や風量などの調整操作を可能にするモードである。オーディオ操作モードは、オーディオの音量や選曲などの調整操作を可能にするモードである。

つまり、例えば、ユーザがタッチセンサ上で上下方向に直線を描くジェスチャーをしたときにエアコン操作モードを起動するように設定されている場合には、この上下方向に直線を描くというジェスチャーとエアコン操作モードとを対応付けた情報がモード情報１２ｂになる。また、このモード情報１２ｂには、操作モードを起動した際に表示する画面情報を併せて対応付けていてもよい。この例の場合には、モード情報１２ｂには、エアコンの設定画面のデータも含まれることになる。

また、音声データ１２ｃとは、操作モードに対応付けられた効果音を含むデータである。例えば、エアコン操作モードを起動した際に特定の効果音（例えば「ピッ」という音）を出力するようになっている場合には、そのエアコン操作モードと「ピッ」という音のデータとを対応付けた情報が音声データ１２ｃとなる。

制御部１３は、例えば、ＣＰＵ、ＲＡＭ、及びＲＯＭなどを備えるマイクロコンピュータであり、主として制御装置１０や遠隔操作装置２０などを制御する。制御部１３のＣＰＵが記憶部１２に記憶されたプログラム１２ａを実行する（プログラム１２ａに従った演算処理を行う）ことにより、制御部１３として必要な各種の機能が実現される。

図３に示す操作判別部１３ａ、モード選択部１３ｂ、画像生成部１３ｃ、音声制御部１３ｄ及び振動制御部１３ｅは、プログラム１２ａの実行により実現される制御部１３の機能のうちの一部である。

操作判別部１３ａは、ユーザの操作内容を判別する。具体的には、操作判別部１３ａは、遠隔操作装置２０からユーザがタッチした位置の情報を取得して、ユーザが操作したことを判別する。また、操作判別部１３ａは、取得した位置情報に基づいてユーザが操作したジェスチャーを判別する。例えば、操作判別部１３ａは、遠隔操作装置２０から取得した時間的に連続する位置情報をつないだ結果が上下方向の直線であると判別すると、ユーザが上下方向の直線を描くジェスチャーをしたと判別する。同様に、遠隔操作装置２０から取得した時間的に連続する位置情報をつないだ結果が円状である場合には、操作判別部１３ａは、ユーザは円を描くジェスチャーをしたと判別する。すなわち、操作判別部１３ａは、ユーザがタッチした位置の移動軌跡を判別する。

モード選択部１３ｂは、操作判別部１３ａが判別したジェスチャーが何らかの操作モードを起動するジェスチャーであるか否かを判別する。なお、以下において、操作モードに対応するジェスチャーを「特定操作」や「特定のジェスチャー」という場合がある。そして、モード選択部１３ｂは、ジェスチャーが特定操作である場合には、記憶部１２に記憶されているモード情報に基づいてそのジェスチャーに対応する操作モードを選択して起動する。

画像生成部１３ｃは、ＨＵＤ装置３０が投影する画像データを生成し、通信部１１を介してＨＵＤ装置３０に送信する。ユーザが遠隔操作装置２０を操作して何らかの操作モードが起動すると、画像生成部１３ｃは、起動した操作モードに対応する画像データを生成してＨＵＤ装置３０に送信する。これにより、ＨＵＤ装置３０は、操作モードに対応する画像を投影して表示することになる。

音声制御部１３ｄは、音声データを音声出力装置４０から出力させる制御を行う。本実施の形態では、操作モードを起動した際に、その操作モードに対応する効果音を出力するようにしている。例えば、ユーザが上下方向に直線を描くジェスチャーをしたことによってエアコン操作モードが起動した場合には、音声制御部１３ｄは、それに対応する「ピッ」という音声データを記憶部１２から読みだして音声出力装置４０から出力させる制御を行う。

振動制御部１３ｅは、操作判別部１３ａが判別したユーザの操作内容（ジェスチャー）に応じて遠隔操作装置２０のタッチセンサの振動を制御する。具体的には、振動制御部１３ｅは、起動した操作モードに応じて、後述する遠隔操作装置２０の振動素子を振動させる。例えば、ユーザが上下方向に直線を描くジェスチャーをすると（つまり、エアコン操作モードが起動すると）、振動制御部１３ｅは、振動素子を一定の強度で振動させる制御を行う。また、ユーザが円を描くジェスチャーをすると（つまり、オーディオ操作モードが起動すると）、振動制御部１３ｅは、振動素子を一定の周期で強弱を変化させながら振動させる制御を行う。これにより、ユーザの操作内容に応じてタッチセンサの振動を異ならせることができるため、ユーザに対して与える触感を操作内容毎に変化させることが可能になる。すなわち、ユーザは異なる操作内容毎に異なるフィードバックを得ることができる。

次に、遠隔操作装置２０の構成について説明する。図４は、遠隔操作装置２０の概略構成を示す図である。図４に示すように、遠隔操作装置２０は、タッチセンサ２１、タッチセンサコントローラ２２、通信部２３、及び、振動素子２４を備えている。

タッチセンサ２１は、ユーザが入力操作を行う平板状のセンサーである。なお、遠隔操作装置２０自身は表示機能を有しておらず、タッチセンサ２１はいわゆるタッチパッドとして機能する。本実施の形態では、遠隔操作装置２０のタッチセンサ２１の位置と、ＨＵＤ装置３０による投影画面の位置とが対応付けられており、ユーザはＨＵＤ装置３０によって投影された画面を見ながらタッチセンサ２１を操作することができるようになっている。

すなわち、ＨＵＤ装置３０の投影画面に表示されたコマンドボタンに対応するタッチセンサ２１上の領域を指でタッチすると、コマンドボタンに関連付けられた指示を行うことができる。また、上述したように、ユーザがタッチセンサ２１の操作面上で特定のジェスチャーをすることで、そのジェスチャーに対応する操作モードが起動される。

タッチセンサ２１の方式としては、例えば、静電容量の変化を捉えて位置を検出する静電容量方式を採用することができる。ユーザは、タッチセンサ２１の操作面に対して、一点でタッチする操作のみならず、複数点でタッチする操作であるマルチタッチを行うことも可能になっている。

タッチセンサコントローラ２２は、例えば、ハードウェア回路であり、タッチセンサ２１の動作を制御する。タッチセンサコントローラ２２は、タッチセンサ２１で生じた信号に基づいて、タッチセンサ２１の操作面中のユーザがタッチした位置を検出するタッチ検出部２２ａを備えている。

タッチ検出部２２ａは、例えば、駆動電極及び受信電極の２電極間の静電容量の変化を測定する相互容量方式で、ユーザがタッチした位置（例えばＸＹ座標）を検出する。タッチ検出部２２ａは、ユーザの指での電界の遮断によって受信電極が受信する電荷が減少することに基づいて、ユーザがタッチしたか否かを検出する。

タッチ検出部２２ａは、タッチセンサ２１の操作面に、ユーザが一点及び複数点のいずれでタッチしたかを判別することができる。そして、タッチ検出部２２ａは、タッチセンサ２１の操作面にユーザが一点でタッチした場合にはその一点の位置を検出し、ユーザが複数点でタッチした場合にはその複数点のそれぞれの位置を検出する。

通信部２３は、Ｗｉ−Ｆｉ（ワイファイ：登録商標）等による無線通信により制御装置１０と通信可能に接続され、制御装置１０との間で各種データの送受信を行う。例えば、通信部２３は、タッチ検出部２２ａで検出したユーザがタッチした位置情報（例えばＸＹ座標）を制御装置１０に送信し、制御装置１０から振動素子２４を振動させる制御信号（以下「振動制御信号」という）を受信する。

振動素子２４は、タッチセンサ２１の操作面を振動させる部材である。振動素子２４は、図５に示すように、タッチセンサ２１の操作面の周囲に複数配置されている。そして、この振動素子２４自身が振動することでタッチセンサ２１の操作面を振動させる。振動素子２４は、制御装置１０からの振動制御信号に基づいて振動する。この振動素子２４としては、例えば、ピエゾ素子などの圧電素子を用いることができる。

このように、振動素子２４が振動してタッチセンサ２１を振動させることでタッチセンサ２１を操作しているユーザに対して触感を与えることができる。この触感を操作内容に応じて変えることで、ユーザに対して操作内容に応じた異なるフィードバックを与えることができるようになっている。

次に、ＨＵＤ装置３０の構成について説明する。図６は、ＨＵＤ装置３０の概略構成を示す図である。図６に示すように、ＨＵＤ装置３０は、信号受信部３１、画像処理部３２、プロジェクタ３３、及び、制御部３４を備えている。

信号受信部３１は、制御装置１０から画像データを受信する。ユーザが遠隔操作装置２０のタッチセンサ２１を特定のジェスチャーで操作すると、対応する操作モードが起動する。すると、制御装置１０は、起動した操作モードに対応する画像データを生成してＨＵＤ装置３０に送信し、ＨＵＤ装置３０の信号受信部３１が受信する。

画像処理部３２は、信号受信部３１が受信した画像データに対して表示に必要な処理を行い、処理後の画像データをプロジェクタ３３に出力する。

プロジェクタ３３は、例えば、ＤＬＰ（登録商標）やＬＣＯＳなどの方式を用いて、画像データの画像を示す投影光をレンズから照射し、フロントガラスや専用のスクリーンに画像を投影して画像を表示させる。

制御部３４は、例えば、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えるマイクロコンピュータであり、ＨＵＤ装置３０全体を統括的に制御する。

音声出力装置４０は、ユーザが特定のジェスチャーをして対応する操作モードが起動すると、その操作モードに対応する効果音の音声データを制御装置１０から受信して外部に出力する。

＜１−３．触感の発生方法と種類＞
次に、本実施の形態において、タッチセンサ２１を振動させることによって触感を発生させる方法と、触感の種類について説明する。

図５は、タッチセンサ２１を模式的に表した図である。上述したように、タッチセンサ２１の周囲には、複数の振動素子２４が配置されている。なお、本実施の形態では、対向する２辺に並べて配置しているが、これに限定されるものではなく、任意の辺に任意の数の振動素子２４を配置すればよい。

上記のとおり、ユーザが特定のジェスチャーで操作すると対応する操作モードが起動し、併せて触感が起動する。これは、ユーザに対して操作内容をフィードバックするためである。なお、本発明においては、「操作モードが起動する」とは、何らかの操作モードに移行することを示し、「触感が起動する」とは、タッチセンサを振動させてユーザに触感を与えることを示す。

触感を発生させるためには、まず制御装置１０からの振動制御信号に基づいて振動素子２４を高速で振動させる。この高速での振動とは例えば超音波振動である。振動素子２４を超音波振動させることでタッチセンサ２１の表面を超音波振動させることができる。図５に示すような対向する２辺に配置した振動素子２４を振動させることで、タッチセンサ２１全面を略均一に振動させることができる。

タッチセンサ２１表面が超音波振動した状態でタッチセンサ２１表面を指で操作すると、指と高速で振動しているタッチセンサ２１表面との間に高圧の空気膜が発生して摩擦抵抗が減少する。これにより、ユーザは、振動していない状態に比べてツルツルと滑らかにすべる触感（以下「ツルツル感」という）を得ることができる。

また、タッチセンサ２１表面を超音波振動させた状態のときに振動素子２４の振動を停止させると、タッチセンサ２１表面の超音波振動も停止する。すると、タッチセンサ２１表面の摩擦抵抗は、減少していた状態から本来の状態（振動していない状態）に戻る。すなわち、低摩擦の状態から高摩擦の状態に変化する。この場合、ツルツル感のあった触感からひっかかりの感じる触感に変化する。ユーザは、このツルツル感からひっかかりの感じる触感に変化する際にカチッとした触感を得ることができる。このカチッとした触感を以下においては「クリック感」という。

また、振動素子２４の振動強度に変化をつけてタッチセンサ２１表面を超音波振動させると、タッチセンサ２１表面を相対的に大振幅で振動させたり小振幅で振動させたりすることが可能になる。これにより、タッチセンサ２１表面を高摩擦状態と低摩擦状態とが繰り返された状態にすることができる。つまり、ユーザは、ツルツル感とクリック感とを交互に触感として感じることになり、この場合凸凹した触感やザラザラした触感（以下「ザラザラ感」という）を得ることができる。

また、振動の強弱の大きさを変えたり、強弱を変化させる周期を変えることでザラザラ度合いを変化させることができる。これにより、ザラザラ度合いの強いザラザラ感や弱いザラザラ感、またザラザラ感の疎密度感など、段階的に複数種類のザラザラ感を実現することが可能になる。

このように、本実施の形態では、振動素子２４を超音波振動させてタッチセンサ２１表面を超音波振動させることで、ユーザに対して触感を与えることができる。また、超音波振動の開始や停止のタイミング、強弱などを適宜制御すれば、その表面の摩擦抵抗を変化させることができ、それを利用することで種々の触感を与えることが可能になっている。

＜１−４．操作モードの起動及び触感の起動＞
次に、操作モードを起動させる処理と、対応する触感を起動させる処理について説明する。本実施の形態では、上述したように、操作システム１に用いられる操作モードとして、エアコン操作モードとオーディオ操作モードがある。そして、エアコン操作モードが起動するとツルツル感の触感が起動し、オーディオ操作モードが起動するとザラザラ感の触感が起動するようになっている。以下、具体的に説明する。

ユーザが遠隔操作装置２０のタッチセンサ２１上を上下方向にさする操作をすると、制御装置１０は上下方向に直線を描くジェスチャー操作があったと判断してエアコン操作モードを起動する。エアコン操作モードが起動すると、制御装置１０は、対応する触感であるツルツル感の触感を起動する。

具体的には、エアコン操作モードが起動すると、制御装置１０は、一定の強さで超音波振動させる振動制御信号に基づいて振動素子２４を制御する。これにより、振動素子２４が超音波振動し、その結果、タッチセンサ２１表面が超音波振動する。タッチセンサ２１表面が超音波振動することで、タッチセンサ２１とタッチ操作しているユーザの指との間の摩擦抵抗が減少して、ユーザはツルツル感の触感を得ることができる。

また、ユーザが遠隔操作装置２０のタッチセンサ２１上で円をなぞる操作をすると、制御装置１０は円を描くジェスチャー操作があったと判断して、オーディオ操作モードを起動する。オーディオ操作モードが起動すると、制御装置１０は、対応する触感であるザラザラ感の触感を起動する。

具体的には、オーディオ操作モードが起動すると、制御装置１０は、一定の周期で強度を変化させながら超音波振動させる振動制御信号に基づいて振動素子２４を制御する。これにより、振動素子２４が振動の強さを変化させながら超音波振動し、その結果、タッチセンサ２１表面が振動の強さを変化させながら超音波振動する。タッチセンサ２１表面が振動の強さを変えながら超音波振動することで、タッチセンサ２１とタッチ操作しているユーザの指との間の摩擦抵抗が変化し、ユーザはザラザラ感の触感を得ることができる。

このように、特定のジェスチャー操作をすると、それに対応する操作モードの起動と共に触感が起動する。このため、ユーザは、手元の遠隔操作装置２０を見なくても何の操作モードが起動したかを触感から把握することが可能になる。

さらに、制御装置１０は、操作モードが起動した際に、触感を起動させることに加えて効果音を出力する。具体的には、制御装置１０は、いずれかの操作モードが起動すると、それに対応する効果音の音声データを記憶部１２から読みだして音声出力装置４０から出力する。このように、各操作モードに対応する効果音を出力すれば、ユーザは聴覚によっても何の操作モードが起動したかを把握することができる。

＜１−５．各操作モードでの調整操作＞
次に、各操作モードが起動した後の調整操作について図を用いて説明する。図７は、遠隔操作装置２０のタッチセンサ２１をユーザが操作しているところを説明する図である。タッチセンサ２１には、ユーザの操作を受け付ける第１領域２１ａと、操作モードを初期状態に移行させる第２領域２１ｂとを有している。ユーザが第１領域２１ａでタッチ操作すると、操作内容に応じた制御が行われるが、第２領域２１ｂをタッチすると操作モードが処理状態に戻る。すなわち、何らかの操作モードが起動している際に第２領域２１ｂをタッチすると操作モードは解除される。

図７に示すように、ユーザがタッチセンサ２１の第１領域２１ａを上下方向に直線を描くように操作すると、エアコン操作モードが起動する。エアコン操作モードが起動すると、上述したツルツル感の触感が起動すると共に、エアコンの調整操作を可能とするためのエアコン調整画面が表示される。このエアコン調整画面は、ＨＵＤ装置３０が制御装置１０から取得した画像データを投影することで表示される。すなわち、触感の起動によりエアコン操作モードの起動を把握でき、ユーザの前方にエアコン調整画面が表示されることにより手元を見なくても操作が可能になる。

図８は、ＨＵＤ装置３０によって投影表示されたエアコン調整画面３５ａを示す図である。図８に示すように、エアコン調整画面３５ａには、画面の左側から順に温度調整画像、風量調整画像及び風向（風吹き出し口）調整画像が表示されている。これら各画像は、設定の変更が可能な項目を示す画像であり、現在の設定状態が表示されている。ユーザは、各調整項目のうちのいずれかの設定を変更したいとき（調整したいとき）には、前方のエアコン調整画面３５ａを見ながら手元のタッチセンサ２１を操作することで希望する調整画像を選択することができる。つまり、希望する調整項目を選択することができる。

具体的には、エアコン調整画面３５ａが表示されている状態で、ユーザが第１領域２１ａを左右方向に３分割した左側部分（以下単に「左側部分」という）をタッチすると温度調整が選択された状態になる。同様に、ユーザが第１領域２１ａを左右方向に３分割した中央部分（以下単に「中央部分」という）をタッチすると風量調整が選択された状態になり、ユーザが第１領域２１ａを左右方向に３分割した右側部分（以下単に「右側部分」という）をタッチすると風向調整が選択された状態になる。

各調整項目を選択する際には、選択状態の調整項目の画像を非選択時とは異なる大きさで表示したり、非選択時とは異なる色で表示したりすることが好ましい。すなわち、選択されている調整画像が他の調整画像よりも浮き出ているように表示したり、他の調整画像とは異なる色にライトアップして表示したりする。非選択時と異なる表示をすることで、他の調整画像と区別することが可能となり、現在選択状態の調整項目であることを明確にすることができる。

ユーザが希望する調整項目が選択された状態で第１領域２１ａをタップすると、その選択された調整項目の設定変更が決定する。この場合、エアコン調整画面３５ａから、選択された調整項目の設定を変更することができる画面に遷移する。例えば、温度設定の変更（温度調整）が決定した場合には、図９に示すようなエアコン調整画面３５ａとなる。

図９は、温度設定を変更する画面であり、図９（ａ）では、中央部分に現在の温度設定値が表示されている。また、現在の温度設定値の周囲には、前後の温度設定値と変更操作状態を示すマークとが表示されている。温度設定値は、ユーザがタッチセンサ２１上で円を描く操作をするとその操作量及び操作方向に対応して変化する。また、変更操作状態を示すマークは、ユーザが温度調整の操作をしていることを把握できるものであり、ユーザが円を描く操作をした場合には、その操作量及び操作方向に対応して移動する。

例えば、図９（ａ）のような状態のときに、ユーザがタッチセンサ２１上で右回りに１周程度の円を描く操作をすると、図９（ｂ）のようにマークは右回りに約８分の１周程度移動すると共に、設定値が現在の２３．０℃から次に大きい設定値である２３．５℃になるように移動する。なお、ユーザが逆方向に円を描く操作をすると、設定値が現在の２３．０℃から次に小さい設定値である２２．５℃になるように移動する。このように、ユーザのタッチ操作量及び操作方向に応じてマークが移動すると共に、温度設定値がスクロールする。

そして、さらにユーザがタッチセンサ２１上で１周程度の円を描く操作をすると、図９（ｃ）のように、マークがさらに約８分の１周程度移動すると共に、設定値の２３．５℃が中央部分に表示される。この状態で、ユーザがタッチセンサ２１の第１領域２１ａをタップすると、温度設定値を２３．５℃に調整することが確定する。このように、ユーザがタッチセンサ２１上で所定の操作をすることで、その操作量に応じてエアコン調整画面３５の設定値が変化していき、希望する位置で確定させればその設定値に変更することが可能になる。

そして、調整を確定させる操作をした後には、ＨＵＤ装置３０が投影表示する画面は、図８に示すエアコン調整画面３５ａとなる。つまり、１つ上の階層の画面に遷移して、ユーザによるエアコン調整の操作が可能な状態になる。この状態のまま、一定時間何の操作もないまま経過すると、さらに１つ上の階層の画面に遷移し、最終的には最上位の階層や非入力状態の画面が表示される。

なお、確定操作後の画面遷移はこれに限定されるものではなく、確定操作した際の画面（例えば図９（ｃ）の画面）がそのまま表示され、一定時間何の操作もないまま経過する毎に１つ上の階層の画面に遷移する構成としてもよい。また、確定操作をした後にすぐに最上位の階層の画面を表示してもよいし、すぐに非入力状態の画面を表示してもよい。また、以下に説明する各調整操作の確定後の画面遷移も同様である。

図１０は、風量設定の変更画面である。図８に示すエアコン調整画面が表示されているときに、風量調整画像が選択された状態（すなわち、ユーザが第１領域２１ａの中央部分をタッチ操作した状態）で第１領域２１ａをタップすると、図１０（ａ）に示す画面に遷移する。図１０（ａ）では、現在の設定値が表示されている。

温度調整の場合と同様に、ユーザがタッチセンサ２１上で円を描く操作をすると、その操作量及び操作方向に応じて風量の設定値を変更することができる。また、描く円の方向を逆にすれば設定値の増加と減少を逆にすることができる。例えば、右回りに円を描く操作をしたときは設定値が大きくなるように変化し、左回りに円を描く操作をしたときは設定値が小さくなるように変化する等である。

すなわち、図１０（ｂ）に示すように、ユーザが左回りに円を描く操作をすると、その操作量に応じて風量の設定値を小さくすることができる。また、図１０（ｃ）に示すように、ユーザが右回りに円を描く操作をすると、その操作量に応じて風量の設定値を大きくすることができる。そして、希望する位置で第１領域２１ａをタップすると、その設定値に変更することが確定する。

また、図１１は、風向（風吹き出し口）設定の変更画面である。図８に示すエアコン調整画面が表示されているときに、風向調整画像が選択された状態（すなわち、ユーザが第１領域２１ａの右側部分をタッチした状態）で第１領域２１ａをタップすると、図１１（ａ）に示す画面に遷移する。図１１（ａ）では、現在の設定値が表示されている。

温度調整の場合と同様に、ユーザがタッチセンサ２１上で円を描く操作をすると、その操作量及び操作方向に応じて風向の設定値を変更することができる。すなわち、図１１（ｂ）及び（ｃ）に示すように、ユーザが操作した量に応じて風向の設定値がスクロールして変化する。そして、希望する位置で確定させればその設定値に変更することが可能になる。また、円を描く方向を逆にすればスクロールする方向を逆にすることができる。

次に、オーディオ操作モードでの操作について説明する。図１２に示すように、いずれの操作モードも起動していない初期状態で、ユーザがタッチセンサ２１の第１領域２１ａで円を描く操作をすると、オーディオ操作モードが起動する。オーディオ操作モードが起動すると、上述したザラザラ感の触感が起動すると共に、オーディオの調整操作を可能とするためのオーディオ調整画面が表示される。このオーディオ調整画面は、ＨＵＤ装置３０が制御装置１０から取得した画像データを投影することで表示される。すなわち、触感の起動によりオーディオ操作モードの起動を把握でき、ユーザの前方にオーディオ調整画面が表示されることにより手元を見なくても操作が可能になる。

図１３は、ＨＵＤ装置３０によって投影表示されたオーディオ調整画面３５ｂを示す図である。図１３に示すように、オーディオ調整画面３５ｂには、画面の左側から順に音量調整画像、選曲画像及びアルバム選択画像が表示されている。これら各画像は、設定の変更が可能な項目を示す画像であり、現在の設定状態を表示している。ユーザは、各調整項目のうちのいずれかの設定を変更したいとき（調整したいとき）には、前方のオーディオ調整画面３５ｂを見ながら手元のタッチセンサ２１を操作することで希望する調整画像を選択することができる。つまり、希望する調整項目を選択することができる。

具体的には、上記と同様に、オーディオ調整画面３５ｂが表示されている状態で、ユーザが左側部分をタッチすると音量調整画像が選択された状態になる。また、ユーザが中央部分をタッチすると選曲画像が選択された状態になり、ユーザが右側部分をタッチするとアルバム選択画像が選択された状態になる。

上記と同様に、選択状態の調整項目の画像を非選択時と異なる表示にすることで、現在選択されている調整画像と他の調整画像とを明確に区別することができる。また、希望する調整項目が選択された状態で第１領域２１ａをタップすると、その選択された調整項目の設定変更が確定する。つまり、オーディオ調整画面３５ｂから、選択された調整項目の設定を変更することができる画面に遷移する。例えば、音量設定の変更（音量調整）が確定した場合には、図１４に示すようなオーディオ調整画面３５ｂとなる。

図１４は、音量設定を変更する画面であり、図１４（ａ）では、中央部分に現在の音量設定値が表示されている。また、現在の音量設定値の周囲には、前後の音量設定値と変更操作状態を示すマークが表示されている。上記と同様に、音量設定値は、ユーザがタッチセンサ２１上で円を描く操作をするとその操作量及び操作方向に応じて変化する。また、変更操作状態を示すマークも、ユーザの円を描く操作量及び操作方向に応じて移動する。

例えば、図１４（ａ）の状態のときに、ユーザが右回りの円を描く操作をすると、図１４（ｂ）及び（ｃ）に示すように、徐々にマーク及び音量設定値が移動する。すなわち、ユーザの操作量及び操作方向に応じてマークが移動すると共に、音量設定値がスクロールする。

そして、希望する音量設定値が表示されている状態のときに、ユーザがタッチセンサ２１の第１領域２１ａをタップすると、その表示されている音量設定値に調整することが確定する。このように、ユーザがタッチセンサ２１上で所定の操作をすることで、その操作量及び操作方向に応じてオーディオ調整画面３５の設定値が変化していき、希望する位置で確定させればその設定値に変更することができる。

なお、上記各調整操作において、円を描く操作をすることで設定値の変更を行っていたが、変更のための操作はこれに限定されるものではない。直線を描く操作であっても適用可能である。この場合には、円を描いた場合における操作量と操作方向を、直線を描く場合における操作量と操作方向（上方向若しくは下方向、又は、右方向若しくは左方向）にすればよい。さらに、正確な円や直線でなくてもよく、湾曲した線であったり、波線であってもよい。

また、本実施の形態では、ユーザがタッチセンサ２１で円を１周描く毎にマークが８分の１周移動する例について説明したがこれに限定されるものではない。ユーザの操作量とマークの移動量の比率は、例えば、４：１、３：１、２：１、１：１など任意に設定可能である。

＜１−６．システムの処理＞
次に、操作システム１の処理について説明する。図１５は、操作システム１の処理を示すフローチャートである。操作システム１は、電源が投入されて起動することにより処理を開始する。操作システム１は、ユーザの操作があるまでは待機状態にあり、特定の操作があるか否かを監視している（ステップＳ１０）。具体的には、制御装置１０は、いずれかの操作モードを起動するための特定のジェスチャーがあったか否かを監視している。

制御装置１０は、ユーザが遠隔操作装置２０を操作した際の位置情報（例えばＸ座標とＹ座標）を取得して、時間的に連続する位置情報に基づいて特定のジェスチャーがあったか否かを判断する。例えば、制御装置１０は、Ｘ座標とＹ座標の変化から変化角度を導出し、起点から３６０°回転したと判定した場合には、ユーザが円を描く操作をしたと判断する。

特定操作がない場合には（ステップＳ１０でＮｏ）、制御装置１０は、再度特定操作の有無を監視する。一方、特定操作があった場合には（ステップＳ１０でＹｅｓ）、制御装置１０は、対応する操作モードを起動する（ステップＳ１１）。すなわち、制御装置１０は、上下方向に直線を描く操作があったと判断した場合にはエアコン操作モードを起動し、円を描く操作があったと判断した場合にはオーディオ操作モードを起動する。

そして、制御装置１０は、いずれかの操作モードを起動すると、対応する触感を起動する（ステップＳ１２）。すなわち、制御装置１０は、エアコン操作モードを起動するとツルツル感の触感を起動し、オーディオ操作モードを起動するとザラザラ感の触感を起動する。具体的には、制御装置１０は、振動素子２４を一定の強度で超音波振動させることでツルツル感の触感を与え、強度を変化させながら超音波振動させることでザラザラ感の触感を与える。

さらに、制御装置１０は、起動した操作モードに対応する効果音を出力する（ステップＳ１３）。例えば、制御装置１０は、エアコン操作モードを起動した場合には、それに対応する「ピッ」という効果音を音声出力装置４０から出力する。

次に、調整操作が行われる（ステップＳ１４）。つまり、起動した操作モードの種々の調整項目のうち、ユーザが希望して選択した項目の調整操作が上記のように実行される。

そして、制御装置１０は、起動した操作モードが終了したか否かを判断する（ステップＳ１５）。操作モードは、一定時間何も操作がない場合や、ユーザがタッチセンサ２１の第２領域２１ｂをタッチした場合などに終了する。制御装置１０は、これらの条件が成立するか否かを判断し、成立しない場合には（ステップＳ１５でＮｏ）、再度ユーザの操作を受け付け可能な状態にし、成立した場合には（ステップＳ１５でＹｅｓ）、操作モードを解除して終了する。

このように、特定の操作（ジェスチャー）と、起動する操作モードと、ユーザに与える触感とを対応付けることで、ユーザは得られた触感だけで何の操作モードで操作しているかを把握することが可能になる。

＜２．変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記各実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。

＜２−１．変形例１＞
上記実施の形態では、操作モードとしてエアコン操作モードとオーディオ操作モードを例に挙げて説明した。そして、対応する操作モードに移行した後に、調整する項目（温度調整や音量調整等）を確定して調整操作を実行していた。ただし、本発明はこれに限定されるものではなく、温度調整や音量調整などを直接的に操作モードとしてもよい。

すなわち、エアコン操作モードやオーディオ操作モードといった操作モードではなく、温度調整操作モードや風量調整操作モード、音量調整操作モードなどのように各調整項目自身が操作モードとなる。そして、この場合、特定のジェスチャーがあったときに各操作モードを起動することで、これら各調整項目を直接調整することが可能になる。

具体的に例を挙げて説明する。例えば、円を描く操作と音量調整操作モードとが対応しているとすると、ユーザが円を描く操作をすれば音量調整操作モードが起動する。すると、図１３に示すような調整項目を選択する画面は表示されずに、図１４（ａ）に示すような画面が最初に表示され、ユーザはそのまま音量調整の操作が可能になる。つまり、ユーザは、操作モードの起動後に円を描く操作をすることで、その変化量及び変化方向に応じた音量調整が可能になる。

ところで、本変形例においては、音量調整操作モードを起動させるジェスチャー（特定操作）と、音量を調整するジェスチャー（調整操作）とが共に円を描く操作となっており同じである。このように、特定操作と調整操作とが同じである場合には、操作モードを起動させる操作をしたまま起動後も同じ操作を継続することで調整操作も可能になる。つまり、操作モードを起動する特定操作と、設定値を調整する調整操作とを連続的に行うことができ、操作を途中で変えることなくスムーズな操作が可能になる。

また、操作モードが起動すると対応する触感も起動するようになっているので、同じジェスチャーを連続的に行う場合であっても、操作モードが起動したことは把握できる。すなわち、特定操作から調整操作に変化する際に触感が起動するので、ユーザは特定操作と調整操作との境界を認識することができる。このため、同じ操作であってもいずれの操作であるかを認識した状態で操作することが可能になる。

＜２−２．変形例２＞
また、上記実施の形態では、操作モードが起動すると、まず複数の調整項目を有する画面を表示して、その中から調整項目を確定させ、その確定した調整項目だけの画面を表示してから調整操作を行っていた。ただし、本発明はこれに限定されることはなく、例えば、操作モードを起動した際に表示される複数の調整項目を有する画面から直接調整操作を実行するようにしてもよい。

具体的には、ユーザがタッチセンサ２１を上下方向に直線を描く操作をすると、エアコン操作モードが起動する。すると、図８に示すような３種類の調整項目（温度調整、風量調整、風向調整）を有する画面が表示される。そして、本変形例では、この画面が表示された状態でタッチセンサ２１を操作すれば各項目の調整が可能になる。つまり、図８に示す画像がＨＵＤ装置３０から投影表示されている状態で、ユーザは表示された画像を見ながら手元のタッチセンサ２１を操作すれば各項目の設定を調整することができる。

また、本変形例においては、温度は円を描く操作で調整し、風量は左右方向に直線を描く操作で調整し、風向は上下方向に直線を描く操作で調整することとする。この場合、温度調整の画像が表示されている領域（左側部分）で円を描く操作をすると、温度の調整操作を行うことができる。同様に、風量調整の画像が表示されている領域（中央部分）で左右方向に直線を描く操作をすると、風量の調整操作を行うことができる。さらに、風向調整の画像が表示されている領域（右側部分）で上下方向に直線を描く操作をすると、風向の調整操作を行うことができる。

このように、操作モードが起動した際に表示する画面上での調整操作を可能にすることで、画面遷移を少なくすることができ、希望する項目の調整を早く実行することが可能になる。

また、これら調整項目毎に調整操作が可能な領域（以下「操作可能領域」という）２１ｃを予め設定していてもよい。例えば、図１６に示すように、タッチセンサ２１の左側部分には、円を描くことができる領域（円状の領域）を温度調整用の操作可能領域２１ｄとして設定する。また、タッチセンサ２１の中央部分には、左右方向に直線を描くことができる領域（横長の長方形の領域）を操作可能領域２１ｅとして設定し、タッチセンサ２１の右側部分には、上下方向に直線を描くことができる領域（縦長の長方形の領域）を操作可能領域２１ｆとして設定する。

これら操作可能領域内でのユーザによる操作は有効となるが、それ以外の領域（以下「操作不可領域」という）２１ｇでタッチ等をしてもその操作は無効となる。したがって、例えば、ユーザが中央部分で円を描くジェスチャーをしたとしても、操作可能領域２１ｅの範囲外での操作となり、その操作は受け付けられないため、誤操作を防止することも可能になる。

また、操作可能領域２１ｃと操作不可領域２１ｇとの触感を変えてもよい。例えば、操作可能領域２１ｃにはツルツル感の触感を与え、操作不可領域２１ｇには触感を与えない等である。操作可能領域２１ｃと操作不可領域２１ｇとの触感を変えることで、ユーザはタッチセンサ２１を見なくても操作可能な領域を把握することができる。

さらに、各調整項目の操作可能領域毎に触感を変えてもよい。例えば、左側部分の温度調整の操作可能領域２１ｄをツルツル感の触感とし、中央部分の風量調整の操作可能領域２１ｅを強いザラザラ感の触感とし、右側部分の風向調整の操作可能領域２１ｆを弱いザラザラ感の触感とする等である。

このように各調整項目の操作可能領域毎に触感を変えることで、ユーザはタッチセンサ２１を見なくても操作可能領域であることが把握できることに加え、どの調整項目の操作可能領域であるかを把握することも可能になる。

＜２−３．変形例３＞
また、上記実施の形態では、いずれかの操作モードが起動した際に対応する触感を起動する構成について説明したが、さらに、ユーザが調整操作をしている際に、一定の操作量毎に触感を起動する構成としてもよい。

具体的には、エアコン操作モードが起動して、図９に示すような温度調整操作をする際に、ユーザの操作量が一定量になる毎に所定の触感を与える構成である。例えば、ユーザが円を１周描く毎にクリック感を与える設定とすれば、ユーザは円を描く毎にカチッという触感を得ることができるため、操作量を把握することが可能になる。

このように、操作モードが起動した際のみならず、操作中においても所定の操作量毎に触感を起動させることで、どの操作モードをどの程度の量だけ操作したのかを把握することができる。なお、触感を与える操作量は１周であることに限定されるものではなく、適宜設定可能である。また、与える触感も適宜設定可能である。

＜２−４．変形例４＞
また、上記実施の形態では、ユーザがＨＵＤ装置３０から投影された画像を見ながら遠隔操作装置２０を操作する構成について説明したがこれに限定されるものではない。例えば、車両にカーナビゲーション等のタッチセンサを備えた表示装置が搭載されている場合にも同様の構成を適用することができる。

具体的には、表示装置のタッチセンサに、タッチセンサを振動させる振動素子を設けておく。そして、ユーザが特定の操作をすると、それに対応する操作モードを起動すると共に、振動素子を振動させて対応する触感を起動する。これにより、ユーザは何の操作モードが起動したかを把握することができる。

なお、表示装置のようにユーザが視認しながら使用する電子機器に対しては、触感を与えなくても何の操作モードが起動したかを把握することは可能とも思われる。しかしながら、カーナビゲーションのように使用状況によっては直視し続けることができない電子機器の場合には、表示装置を見ずに操作せざるを得ない場合も考えられる。このため、そのような場合に触感を与えれば操作内容を把握することができ、利便性も向上する。

また、上記実施の形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されると説明したが、これら機能のうちの一部は電気的なハードウェア回路により実現されてもよい。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されてもよい。

１ 操作システム
１０ 制御装置
２０ 遠隔操作装置
３０ ＨＵＤ装置
４０ 音声出力装置

Claims (4)

1. 複数の操作モードで操作可能な操作装置であって、
   タッチセンサと、
   前記タッチセンサへの操作内容を判別する判別手段と、
   前記操作モードを選択するモード選択手段と、
   操作者に対して触感を付与する触感付与手段と、を備え、
   前記モード選択手段は、前記判別手段が判別した操作内容に対応する操作モードを選択し、
   前記触感付与手段は、前記判別手段が判別した操作内容に対応する触感を付与し、
   前記操作内容は、操作者がタッチセンサへ接触させた接触部分の移動軌跡が描く図形であり、
   前記操作モードは、自装置と接続された他の電子機器の調整操作を可能にするモードであり、
   前記操作モードを選択するための操作内容と、前記選択された操作モードに対応する他の電子機器を調整するための操作内容とが同じであることを特徴とする操作装置。
2. 請求項１に記載の操作装置において、
   前記触感付与手段は、前記操作者がタッチセンサの操作可能領域を操作した場合には、それ以外の領域を操作した場合とは異なる触感を付与することを特徴とする操作装置。
3. 複数の操作モードで操作可能な操作装置と、該操作装置を制御する制御装置とを備えた操作システムであって、
   前記操作装置は、
   タッチセンサと、
   操作者に対して触感を付与する触感付与手段と、を備え、
   前記制御装置は、
   前記操作装置のタッチセンサへの操作内容を判別する判別手段と、
   前記操作モードを選択するモード選択手段と、を備え、
   前記モード選択手段は、前記判別手段が判別した操作内容に対応する操作モードを選択し、
   前記触感付与手段は、前記判別手段が判別した操作内容に対応する触感を付与し、
   前記操作内容は、操作者がタッチセンサへ接触させた接触部分の移動軌跡が描く図形であり、
   前記操作モードは、制御装置と接続された他の電子機器の調整操作を可能にするモードであり、
   前記操作モードを選択するための操作内容と、前記選択された操作モードに対応する他の電子機器を調整するための操作内容とが同じであることを特徴とする操作システム。
4. 請求項３に記載の操作システムにおいて、
   前記触感付与手段は、前記操作者がタッチセンサの操作可能領域を操作した場合には、それ以外の領域を操作した場合とは異なる触感を付与することを特徴とする操作システム。

Images