JP5957739B2 - 電子機器 - Google Patents

Description

本開示は、ユーザによる操作が可能な電子機器に関する。

タッチパネルを備えた電子機器が普及してきている。このような電子機器は、ユーザがタッチパネルを指でなぞることにより操作される。

特許文献１は、現金自動預け払い機等において点字を用いた操作を行うための点字ディスプレイを開示している。特許文献１の点字ディスプレイでは、画面上に多数の発熱体がマトリクス状に設けられており、いくつかの発熱体を発熱させて点字を形作り、ユーザは点字の形に加熱された高温部分に触れることにより点字を読み取ることができる。

特開平５−１５８６０７号公報

本開示は、画面上に表示された情報に対応する触感をユーザに提示する電子機器を提供する。

本開示における電子機器は、表示情報を表示する表示部と、ユーザが触れるパネル部材と、表示情報の表示を制御する表示制御部と、パネル部材を冷却または加熱する熱電素子と、表示部に表示された表示情報に応じてパネル部材の温度を制御する温度制御部とを備える。

本開示における電子機器によれば、表示された情報に対応した触感をユーザに提示することができる。

実施の形態における電子機器の全体構成を示す斜視図である。 実施の形態における電子機器の分解斜視図である。 実施の形態における電子機器の断面図である。 実施の形態における熱電素子部と温度検出素子部の配置図である。 実施の形態における電子機器のブロック図である。 実施の形態における第１の振動部の斜視図である。 実施の形態における第２の振動部の斜視図である。 （ａ）および（ｂ）は実施の形態における第１の振動部の振動パターンの一例を示す概略図である。 （ａ）は実施の形態における第２の振動部の駆動電圧の一例を示す概略図であり、（ｂ）は実施の形態における第２の振動部の振動パターンの一例を示す概略図であり、（ｃ）は実施の形態における第２の振動部の駆動電圧の一例を示す概略図であり、（ｄ）は実施の形態における第２の振動部の振動パターンの一例を示す概略図である。 実施の形態における電子機器の操作画面表示の一例を示す図である。 （ａ）から（ｃ）は実施の形態における電子機器の第１のなぞり操作を示す模式図である。 実施の形態における電子機器の第１のなぞり操作時のタイムチャートを示す図である。 実施の形態における電子機器の第１のなぞり操作時の動作を示すフローチャートである。 （ａ）から（ｃ）は実施の形態における電子機器の第２のなぞり操作を示す模式図である。 実施の形態における電子機器の第２のなぞり操作時のタイムチャートを示す図である。 実施の形態における電子機器の第２のなぞり操作時の動作を示すフローチャートである。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

（実施の形態）
＜電子機器の全体構成＞
図１から図４を用いて電子機器の全体構成を説明する。図１は、本実施の形態における電子機器１００の全体構成を示す斜視図である。図２は、本実施の形態における電子機器１００の分解斜視図である。図３は、本実施の形態における電子機器１００の断面図である。図４は、本実施の形態における電子機器１００に配置された熱電素子部１９０の配置図である。図５は、本実施の形態における電子機器１００のブロック図である。

図１から図４に示すように、電子機器１００は、表示装置１６０と、表示装置１６０の表示面側に配置されて表示装置１６０を覆うように配置されたタッチパネル１３０と、タッチパネル１３０の表面温度を制御する熱電素子部１９０と、タッチパネル１３０を振動させる第１の振動部１４０と、下部筐体１２０を振動させる第２の振動部１５０とを備える。

ユーザは、表示装置１６０に表示された内容に対して、指やペンなどによりタッチパネル１３０をタッチすることで、電子機器１００を操作する。

上部筐体１１０および下部筐体１２０は、ねじ等で一体に連結されることにより電子機器１００の筐体１０５を構成する。上部筐体１１０には表示窓１１５が形成され、表示窓１１５を通してタッチパネル１３０を操作することができる。

タッチパネル１３０の裏面（表示装置１６０側の面）には、複数の熱電素子部１９０（１９０ａ〜１９０ｅ）が取り付けられている。熱電素子部１９０は例えばペルチェ素子を含む。ペルチェ素子は、２種類の金属の接合部に電流を流すと、一方の金属から他方の金属へ熱が移動するというペルチェ効果を利用した板状の半導体素子である。よって、熱電素子部１９０に対して所定の一方向に直流電流を流すと、タッチパネル１３０側の面が吸熱し、ユーザにとって冷却効果のある吸熱用熱電モジュールとなる。一方、反対方向に電流を流すと、タッチパネル１３０側の面が発熱し、加熱用熱電モジュールとなる。なお、熱電素子部１９０は、ペルチェ素子に限定されず、他の素子であってもよい。

また、タッチパネル１３０の裏面には、複数の温度検出部１９１（１９１ａ〜１９１ｂ）が取り付けられている。温度検出部１９１は、例えば熱電対またはサーミスタ等を含む。タッチパネル１３０は熱電素子部１９０により冷却または加熱され、温度検出部１９１によりタッチパネル１３０の表面の温度を測定し、その結果を後述する温度制御部１９５にフィードバックすることにより、タッチパネル１３０の表面は、所定の温度に高精度に制御される。

タッチパネル１３０の裏面には、第１の振動部１４０が取り付けられており、第１の振動部１４０を駆動することにより、タッチパネル１３０を振動させ、ユーザに触覚を与えることができる。

また、このタッチパネル１３０の振動が上部筐体１１０に直接伝わらないように、上部筐体１１０とタッチパネル１３０表面の間には、クッション材１３５が設けられている。タッチパネル１３０の上部筐体１１０側の面とは反対側の面には、表示装置１６０が配置され、前述と同様に、タッチパネル１３０の振動が表示装置１６０に直接伝わらないように、クッション材１６５が設けられている。クッション材１３５、１６５は、例えば、シリコンゴムやウレタンゴム等の緩衝部材である。

また、表示装置１６０に表示された画像は、タッチパネル１３０を介して表示窓１１５側から目視することができる。

表示装置１６０は、下部筐体１２０に固定されたフレーム１７０に取り付けられ、電子機器１００内部に固定される。

下部筐体１２０には、第２の振動部１５０が取り付けられている。第２の振動部１５０を駆動することにより、下部筐体１２０が振動する。下部筐体１２０が振動することで、ユーザに触覚を与えることができる。

また、下部筐体１２０には、回路基板１８０が取り付けられ、タッチパネル１３０、表示装置１６０、第１および第２の振動部１４０、１５０が、電気的に接続されている。タッチパネル１３０、表示装置１６０、第１および第２の振動部１４０、１５０は、回路基板１８０に設けられたマイクロコンピュータ２０によって制御される。

なお、タッチパネル１３０は、静電式、抵抗膜式、光学式、超音波式、電磁式などのタッチパネルである。タッチパネル１３０は、ユーザのタッチ位置を検知できるものである。また、タッチパネル１３０は、その構成上、ガラス板に貼り付けられていることが多く、その場合はガラス板も含めてタッチパネルと定義する。タッチパネル１３０はタッチパネル制御部３１により制御される。マイクロコンピュータ２０は、タッチパネル制御部３１を介してユーザのタッチ位置の情報を得ることができる。

表示装置１６０は、液晶方式、有機ＥＬ方式、電子ペーパー方式、プラズマ方式などの表示装置である。表示装置１６０は、表示情報制御部３２により制御される。マイクロコンピュータ２０は、表示情報制御部３２を介して表示装置１６０に任意の表示をユーザに提示できる。

なお、本実施の形態においては、タッチパネル１３０と表示装置１６０とを分離した構成としたが、タッチパネル１３０と表示装置１６０とは一体に形成されていてもよい。例えば、タッチパネル機能を液晶パネルの内部に一体化するインセル型タッチパネルや、タッチパネル機能を液晶パネルの表面に一体化するオンセル型タッチパネル等の方式であってもよく、それらの方式を用いることにより、より薄型化・軽量化を図ることができる。

図５に示すように、本実施の形態の電子機器１００は、マイクロコンピュータ２０と、各種プログラムを格納するＲＯＭ３８と、各種データを記憶するＲＡＭ３９と、表示装置１６０と、表示装置１６０を制御する表示情報制御部３２と、タッチパネル１３０と、タッチパネル１３０を制御するタッチパネル制御部３１と、熱電素子部１９０と、温度検出部１９１と、表示情報に応じて熱電素子部１９０および温度検出部１９１を制御する温度制御部１９５と、第１の振動部１４０と、第２の振動部１５０と、表示情報に応じて第１の振動部１４０および第２の振動部１５０を制御する振動制御部３３と、画像を撮影するカメラ１５と、カメラ１５を制御するカメラ制御部３５と、電子機器１００の加速度や衝撃を測定する加速度センサ１６と、音声を発生するスピーカ部１７と、外部との通信を行う外部通信部３６と、表示情報を記録する表示情報記録部４３と、各種入出力を行う各種Ｉ／Ｏ部３７とを備える。

外部通信部３６は、例えばＷｉ−Ｆｉ（登録商標）などの無線ＬＡＮを用い、複数の電子機器間の相互接続性を認証された状態で接続される。電子機器間の接続については、アクセスポイントなど外部通信機器を経由して接続する方法、あるいは外部の通信機器を経由せずに直接接続する方法であるＰ２Ｐ（ワイヤレス・アドホック・ネットワーク）接続などでもよい。

また、表示情報を記録する表示画像記録部４３には、表示情報と共に、表示情報が表す物体の触感（温度感覚や手触り等の皮膚感覚）に関連付けされた温度情報および振動パターン情報の少なくとも一方が記録されている。マイクロコンピュータ２０は、温度情報および振動パターン情報が保有されているか否かを判別する判別部として機能する。温度情報が保有されている場合、温度制御部１９５は、温度情報に応じてタッチパネル１３０の温度を制御する。また、振動パターン情報が保有されている場合、振動制御部３３は、振動パターン情報に応じて、第１の振動部１４０および／または第２の振動部１５０の振動を制御する。

表示情報と関連付けられた温度情報および振動パターン情報は、外部通信部３６により、ユーザが無償あるいは有償で自由にダウンロード可能である。また、温度情報および振動パターン情報は、表示情報に対してユーザが設定した温度および振動パターンを示す情報であってもよい。例えば、ユーザが被写体を撮影したときに、被写体の温度や手触りを表現する情報として、画像情報に対して温度および振動パターンを設定してもよい。

＜振動部の構成＞
次に、図６および図７を用いて第１および第２の振動部１４０、１５０の構成を説明する。図６は、本実施の形態の第１の振動部１４０の斜視図である。図７は、本実施の形態の第２の振動部１５０の斜視図である。

図６に示すように、第１の振動部１４０は、圧電素子２１と、シム板２２と、ベース２３とを備える。シム板２２の両側には、圧電素子２１が接着されている。圧電素子２１は、例えば、チタン酸ジルコン酸鉛等の圧電セラミックやニオブ酸リチウム等の圧電単結晶である。シム板２２の両端がベース２３に取り付けられており、いわゆる両持ち構成になっている。ベース２３は、タッチパネル１３０に取り付けられる。圧電素子２１は、振動制御部３３からの電圧により、伸縮する。例えば、シム板２２の両側に貼り付けられた圧電素子２１の片方が延びて、片方が縮むように制御することで、シム板２２がたわみ、これを連続的に繰り返すことで振動を発生することができる。

シム板２２は、例えば、リン青銅等のバネ部材である。シム板２２の振動は、ベース２３を介して、タッチパネル１３０を振動させる。タッチパネル１３０を操作しているユーザは、タッチパネル１３０をタッチ操作することでタッチパネル１３０の振動を感知することができる。

ベース２３は、例えば、アルミや真鍮等の金属や、ＰＥＴやＰＰ等のプラスチックである。

振動の周波数、振幅、期間は振動制御部３３によって制御される。振動の周波数としては、１００〜４００Ｈｚ程度の周波数が望ましい。

なお、本実施の形態では、圧電素子２１をシム板２２に貼り付けているが、圧電素子２１をタッチパネル１３０に直接貼り付けてもよい。また、表示装置１６０、筐体１１０など、電子機器１００を構成するいずれかの部材に圧電素子２１を直接貼り付けてもよい。また、スパッタリング等の方法によりタッチパネル１３０に薄膜の透明圧電部材を形成して第１の振動部１４０として用いてもよい。また、タッチパネル１３０の上にカバー部材等がある場合は、圧電素子２１をカバー部材に貼り付けてもよい。

また、本実施の形態では、シム板２２の両端がベース２３に支持される両持ち構成としているが、シム板２２の片側だけをベース２３で支持する片持ち構成としてもよい。

図７に示すように、第２の振動部１５０は、ＤＣモータ１５１と、偏心錘１５２と、支持部１５３とを備えている。ＤＣモータ１５１は、支持部１５３に取り付けられ、支持部１５３は下部筐体１２０に取り付けられている。

偏心錘１５２は、ＤＣモータ１５１の回転軸１５４の先端に取り付けられている。ＤＣモータ１５１に対して駆動電圧が印加されると、回転軸１５４に取り付けられた偏心錘１５２が回転する。この偏心錘１５２の回転運動により振動を発生することができる。

ＤＣモータ１５１の振動は、支持部１５３を介して、下部筐体１２０を振動させる。電子機器１００を操作しているユーザは、例えば、ユーザが電子機器１００を片方の手で保持している場合に、電子機器１００の筐体１０５の振動を感知することができる。

支持部１５３は、例えば、ＰＥＴやＰＰ等のプラスチックや、シリコンゴムやウレタンゴム等の緩衝部材である。

＜振動パターンの説明＞
図８は、第１の振動部１４０の振動パターンの一例を示す概略図である。

マイクロコンピュータ２０の命令により、振動制御部３３が、第１の振動部１４０へ電圧を印加し、図８（ａ）の振幅でタッチパネル１３０を振動させることで、ユーザに振動Ａ１を与える。振動Ａ１を与えるための電圧は正弦波で、例えば、１５０Ｈｚ、７０Ｖｒｍｓ、２周期である。このときのタッチパネル１３０上の振幅は、約５μｍである。また、振動制御部３３が、第１の振動部１４０へ電圧を印加し、図８（ｂ）の振幅でタッチパネル１３０を振動させることで、ユーザに振動Ａ２を与える。振動Ａ２を与えるための電圧は正弦波で、例えば、３００Ｈｚ、１００Ｖｒｍｓ、４周期である。このときのタッチパネル１３０上の振幅は、約１５μｍである。なお、周波数、電圧、周期数に関しては一例であり、矩形波、のこぎり波などの別の波形や、間欠的な波形や、連続的に周波数や振幅が変化する波形などでもよい。なお、タッチパネル１３０上の振幅が約５〜５０μｍとなるように周波数および電圧を設定すると、人間の指に心地良い触覚（振動）を提示することができる。

図９は、第２の振動部１５０の振動パターンの一例を示す概略図である。

マイクロコンピュータ２０の命令により、振動制御部３３は、第２の振動部１５０へ図９（ａ）に示すような電圧Ｖ１を印加する。これにより、ＤＣモータ１５１が回転する。回転を停止させる時は、電圧Ｖ１を反転させた電圧を印加することで、回転にブレーキをかけるように駆動することができる。図７に示す偏心錘１５２が回転軸１５４を中心に回転することで、振動が発生し、図９（ｂ）に示すような振動Ｂ１をユーザに与える。

また、振動制御部３３が、第２の振動部１５０へ図９（ｃ）に示すような、電圧Ｖ１より大きな電圧Ｖ２を印加する。これにより、ＤＣモータ１５１が回転する。回転を停止させる時は、電圧Ｖ２を反転させた電圧を印加することで、回転にブレーキをかけるように駆動することができる。図７に示す偏心錘１５２が回転軸１５４を中心に回転することで、振動が発生し、図９（ｄ）に示すような振動Ｂ２をユーザに与える。振動Ｂ２のときは振動Ｂ１のときと比べてＤＣモータ１５１の回転数が高いので、振動Ｂ２は振動Ｂ１よりも周波数の高い振動をユーザに与える。

なお、ＤＣモータ１５１への印加電圧波形に関しては一例で、正弦波、のこぎり波などの別の波形や、間欠的な波形や、連続的に周波数や振幅が変化する波形などでもよい。

また、圧電素子２１を備える第１の振動部１４０では、圧電素子に印加する電圧の値を変化させることにより、振動の振幅を変化させることは容易である。また、圧電素子に印加する電圧の周波数を変化させることにより、振動の周波数を変化させることも容易である。このため、圧電素子２１を備える第１の振動部１４０は、様々なパターンの振動を発生させることが可能であり、タッチパネル上に表示された情報に連動した種々の触感をユーザに提供することができる。

＜なぞり操作の説明＞
ユーザが電子機器１００を操作する際のなぞり操作について、図１０を用いて説明する。表示装置１６０は表示情報が表す物体を表示する。例えば、表示情報は、撮影された被写体の画像情報や、コンピュータグラフィックスの画像情報である。

図１０は、電子機器１００の操作画面表示の一例で、グラスなどのように、表示画像の表面の温度を直感的に連想できるものを表示している。なお、ユーザのタッチパネル上での操作については、指で操作するとして以下の説明を行うが、入力手段は指のみでなくペンなどの別の部材であってもよい。タッチパネル１３０を指で操作する方法は、画面を指で「コン」と一回叩く操作、画面を指で「コン、コン」と２回叩く操作、画面上で指をはじくようにして動かす動作、画面から指を離さずに動かす動作、開いている２本の指を閉じ合わせる動作、２本の指を開く動作などに大別される。ここで、ユーザの指で、表示画面上に表示した物体の実物の触感を仮想的に感じる操作をする際には、上記の操作方法のうち、画面から指を離さずに動かす動作が向いているので、本実施の形態においては、この動作の特徴が活かせるような処理を行う。なお、この画面から指を離さずに動かす動作については、今後、なぞり操作と呼ぶ。

ユーザのなぞり操作は、タッチパネル１３０に指でタッチ入力した後、指をタッチパネル１３０上で上下左右方向に素早く滑らせて、任意の場所で指をタッチパネル１３０から離す操作である。例えば、なぞり操作は、図１０に示すように、表示装置１６０に表示されたグラスの画像２４０の表面状態を確かめる場合に用いる。表示装置１６０には、グラスの画像２４０とその名前を示す文字情報２４１とが表示されている。ここで、ユーザが指でなぞり操作する方向について、次のように定義する。タッチパネル１３０に対し、右から左に操作する方向を１００Ａ、左から右に操作する方向を１００Ｂ、下から上に操作する方向を１００Ｃ、上から下に操作する方向を１００Ｄとする。

＜第１のなぞり操作時の触感の提示例＞
次に、図１１、図１２を用いて、本実施の形態の第１のなぞり操作時にユーザに触感を提示する動作を説明する。

温度制御部１９５は、表示情報が表す物体の温度をユーザに疑似体験させる温度にタッチパネル１３０の温度を設定する。例えば、写真画像の被写体やコンピュータグラフィックで表された物体の温度をユーザに疑似体験させる。図１１および図１２に示す例では、氷の入ったグラスが表示部１６０に表示されており、現実に存在する氷の入ったグラスに触れたときの「冷たい！」という温度感覚をユーザに疑似体験させる。

図１１は、タッチパネル１３０のなぞり操作を示す模式図である。図１２は、なぞり操作時のタイムチャートであり、上から順に、画像表示、タッチ入力、なぞり操作距離、冷却温度制御、第２の振動部制御を示している。

図１１（ａ）は、グラスの画像２４０が表示画面の上側に表示されている状態を示している。図１１（ｂ）は、ユーザが、グラスの画像２４０の上に指を置いたときの様子を示している。図１１（ｃ）は、ユーザが、グラスの画像２４０の上を矢印１００Ｂの方向になぞり操作を行うことにより、表示されたグラスの触感を確かめている状態を示している。

図１２において、画像表示のタイミングチャート３００は、グラスの画像２４０が表示された時をＯＮ、表示されていない時をＯＦＦと示している。タッチ入力の動作タイミングチャート３０１は、ユーザがタッチパネル１３０を触った時をＯＮ、触っていない時をＯＦＦと示している。タッチ位置移動距離の動作タイミングチャート３０２では、図１１（ｂ）に示すように、ユーザがタッチパネル１３０を最初に触った場所を基点（０）として、矢印１００Ｂの方向に動いた距離をＸとし、ユーザがタッチパネル１３０から指を離した位置をＸ１として示している。冷却温度制御の動作タイミングチャート３０３は、初期の温度状態が０であり、熱電素子部１９０により冷却され、所定の温度になった状態がＴ１であることを示している。第２の振動部制御の動作タイミングチャート３０４は、第２の振動部１５０が振動して電子機器１００が振動しているかどうかを示している。

図１２に示すなぞり操作時の触感の提示では、ユーザがタッチパネル１３０を指でタッチしたときに、以下のような動作を行う。

時間３１０において、グラスの画像２４０が表示されると共に、冷却温度制御が開始される。時間３１１において、ユーザはタッチパネル１３０を触る。時間３１２までは、ユーザが、タッチパネル１３０のグラスの画像２４０の上の位置に指を置いたままである。その状態にて、タッチパネル１３０の温度が冷却され、グラスの画像２４０に関連付けされた所定の温度（目標温度）Ｔ１に達した時間３１２にて、第２の振動部１５０が振動して電子機器１００に振動２４２が発生し、温度Ｔ１に達したことをユーザに伝える。これにより現実に存在する氷の入ったグラスに触れたときの「冷たい！」という温度感覚をユーザに疑似体験させることができる。なお、グラスの画像２４０に関連付けられた所定の温度Ｔ１とは、例えば５℃程度にすればよい。温度Ｔ１は、表示された物体の実物の温度と一致していてもよいし一致していなくてもよい。実物の温度と一致していなくても、温度感覚をユーザに疑似体験させることは可能である。温度Ｔ１に達したことをユーザに伝えた後、第２の振動部１５０の振動が停止し、冷却温度制御により、一定の温度Ｔ１に保たれる。

ここで、タッチパネル１３０上の温度がＴ１になった時点で、第２の振動部１５０を振動させる役目としては、以下の通りである。一般的に、熱電素子部１９０の温度変化のレスポンスは悪く、タッチパネル１３０に表示されたグラスの画像２４０に関連付けされた温度Ｔ１に到達するまでは時間がかかる。よって、グラスの画像２４０の基になる実物のグラスの温度感覚を疑似体験させる温度Ｔ１に達しているかどうかは、ユーザにはわからないので、温度Ｔ１に到達したら第２の振動部１５０を振動させることにより、新たな表示をすることなく、温度Ｔ１に達したことをユーザに容易に知らせることができる。よって、冷却温度制御のレスポンスの遅れを、振動部によりお知らせすることにより、ユーザの使い勝手を良くすることができる。

次に、時間３１３までユーザが矢印１００Ｂの方向に指でなぞり操作を行った後で、タッチパネル１３０から指を離す。時間３１４にて、グラスの画像２４０の表示が終了すると、冷却温度制御が停止し、時間３１５にて初期の温度に戻る。

なお、本実施の形態においては、タッチパネル１３０の温度がＴ１となった時、第２の振動部１５０を振動させたが、第１の振動部１４０を振動させてもよい。

上述したように、目標温度への到達前と到達時とで、タッチパネル１３０の振動を異ならせることにより、目標温度に達したことをユーザに容易に知らせることができる。また、タッチパネル１３０の振動を異ならせる方法としては、振動が無い状態と振動が有る状態との間で変化させることであってもよいし、ある振動から別の振動へ変化させることであってもよい。例えば、ある振動の状態から、周波数および振幅を変更してもよいし、振動を発生させる周期を変更してもよい。

＜第１のなぞり操作時の処理の流れの説明＞
図１３は、本実施の形態における第１のなぞり操作時の処理を示すフローチャートである。なお、ステップはＳと略する。

入力動作がスタートした後、Ｓ１にて、図１１（ａ）にて示すように、グラスの画像２４０が表示される。Ｓ２で熱電素子部１９０の電源が入れられる。Ｓ３では、グラスの画像２４０に関連付けられた温度情報に基づいて、温度制御部１９５により、所定の温度Ｔ１まで冷却制御される。なお、グラスが画面上側に表示されている場合は、図４に示す熱電素子部１９０のうち１９０ａ、１９０ｂ、１９０ｃと、温度検出部１９１のうち１９１ａが用いられる。その理由としては、グラスの画像２４０は、タッチパネル１３０の上側にて表示されているため、その近くに配置された熱電素子部１９０と温度検出部１９１を用いることにより、冷却制御の効率化と、低消費電力化を図るためである。なお、ユーザの操作等によりグラスの表示位置が画面下側に移動した場合は、温度制御部１９５は、熱電素子部１９０ｄ、１９０ｅ、１９０ｆと、温度検出部１９１ｂを用いてタッチパネル１３０の温度制御を行なう。グラスの表示位置の移動に応じて、タッチパネル１３０の温度制御を行なう位置を変化させることにより、表示状態に連動したよりリアルな触感をユーザに提示することができる。

Ｓ４でタッチパネル制御部３１からの情報に基づいて、タッチパネル１３０へのユーザのタッチ入力の有無が、マイクロコンピュータ２０により判断される。タッチされていない場合には、再度タッチが行われるまで待機する。Ｓ５で、温度制御部１９５により、グラスの画像２４０に関連付けられた温度情報に基づいて、所定の温度Ｔ１まで冷却されたかどうかが判断される。所定の温度Ｔ１に達していない場合には、所定の温度Ｔ１に達するまで冷却する。Ｓ５にて、所定の温度Ｔ１に達したと判断された場合には、処理は次のＳ６に進む。Ｓ６では、振動制御部３３が第２の振動部１５０を制御することで、ユーザに振動Ｂ１が与えられる。ユーザは、振動Ｂ１を感じることにより、グラスの画像２４０の基になる実物のグラスの温度感覚を疑似体験させる温度に、タッチパネル１３０の温度が冷却されたことを認識することができる。Ｓ７では、タッチパネル制御部３１からの情報に基づいて、タッチパネル１３０上で指の移動が有るか、無いかがマイクロコンピュータ２０により判断される。マイクロコンピュータ２０がタッチパネル１３０上での指の移動が無いと判断した場合は、指の移動があるまで待機する。次にＳ８では、図１１（ｃ）に示すように、ユーザが矢印１００Ｂの方向にグラスの画像２４０上をなぞり操作した場合、振動制御部３３は第２の振動部１５０の振動を停止する。Ｓ９にて、なぞり操作が継続している場合は、温度制御部１９５は冷却制御を維持する。逆に、なぞり操作が終了し、Ｓ１０にて、タッチ入力が無く、グラスの画像２４０の表示がなくなったと判断した場合には、Ｓ１１にて、温度制御部１９５は、冷却制御を停止する。

このように本実施の形態では、表示画像のなぞり操作を行う際、表示画像に関連付けられた温度情報に基づき、タッチパネルの温度を制御することにより、ユーザは、表示画像が示す実物に、実際に触っているかのような触感を得ることができる。そのため、操作性に優れた電子機器を提供することができる。さらには、表示画像に関連付けられた所定の温度に達すると、振動によりお知らせするので、設定された温度になっているかどうかの判断を行うことができる。つまり、ユーザの日常生活において、表示画像の基になる実物を触っている時の温度感覚と、実際にタッチパネルを触った時の温度感覚とに大きな差がないので、違和感が少ないという効果がある。

なお、第１のなぞり操作時の表示画像については、グラスの画像について説明したが、それに限定されるものではなく、例えば、表示画像が示す実物が温かいものであり、冷却制御をする代わりに加熱制御をするものであってもよい。

＜第２のなぞり操作時の触感の提示例＞
次に、図１４、図１５を用いて、本実施の形態の第２のなぞり操作時にユーザに触感を提示する動作を説明する。

図１４は、タッチパネル１３０のなぞり操作を示す模式図である。図１５は、なぞり操作時のタイムチャートであり、上から順に、画像表示、タッチ入力、なぞり操作距離、加熱温度制御、第２の振動部制御、第１の振動部制御を示している。

図１４（ａ）は、コーヒーカップの画像２５０が表示画面の上側に表示されている状態を示している。図１４（ｂ）は、ユーザが、コーヒーカップの画像２５０の上に指を置いたときの様子を示している。図１４（ｃ）は、ユーザが、コーヒーカップの画像２５０の上を矢印１００Ｂの方向になぞり操作を行うことにより、表示されたコーヒーカップの触感を確かめている状態を示している。

図１５において、画像表示のタイミングチャート４００は、コーヒーカップの画像２５０が表示された時をＯＮ、表示されていない時をＯＦＦと示している。タッチ入力の動作タイミングチャート４０１は、ユーザがタッチパネル１３０を触った時をＯＮ、触っていない時をＯＦＦと示している。タッチ位置移動距離の動作タイミングチャート４０２では、図１４（ｂ）に示すように、ユーザがタッチパネル１３０を最初に触った場所を基点（０）として、矢印１００Ｂの方向に動いた距離をＸとし、ユーザがタッチパネル１３０から指を離した位置をＸ２として示している。加熱温度制御の動作タイミングチャート４０３は、初期の温度状態が０であり、熱電素子部１９０により加熱され、所定の温度になった状態がＴ２であることを示している。第２の振動部制御の動作タイミングチャート４０４は、第２の振動部１５０が振動して電子機器１００が振動しているかどうかを示している。第１の振動制御の動作タイミングチャート４０５は、第１の振動部１４０が振動してタッチパネル１３０が振動しているかどうかを示している。

図１５に示すなぞり操作時の触感の提示では、ユーザがタッチパネル１３０を指でタッチしたときに、以下のような動作を行う。

時間４１０において、コーヒーカップの画像２５０が表示されると共に、加熱温度制御が開始される。時間４１１において、ユーザはタッチパネル１３０を触る。時間４１２までは、ユーザが、タッチパネル１３０のコーヒーカップの画像２５０の上の位置に指を置いたままである。その状態にて、タッチパネル１３０の温度が加熱され、コーヒーカップの画像２５０に関連付けされた所定の温度Ｔ２に達した時間４１２にて、第２の振動部１５０が振動して電子機器１００に振動２５２が発生し、温度Ｔ２に達したことをユーザの指に伝える。これにより現実に存在するコーヒーカップに触れたときの「熱い！」という温度感覚をユーザに疑似体験させることができる。なお、コーヒーカップの画像２５０に関連付けられた所定の温度Ｔ２とは、例えば３５℃程度にすればよい。その後、時間４１３において、第２の振動部１５０の振動が停止し、加熱温度制御により、一定の温度Ｔ２に保たれる。

ここで、タッチパネル１３０上の温度がＴ２になった時点で、第２の振動部１５０を振動させる役目としては、以下の通りである。一般的に、熱電素子部１９０の温度変化のレスポンスは悪く、タッチパネル１３０に表示されたコーヒーカップの画像２５０に関連付けされた温度Ｔ２に到達するまでは時間がかかる。よって、コーヒーカップの画像２５０の基になる実物のコーヒーカップの温度感覚を疑似体験させる温度Ｔ２に達しているかどうかは、ユーザにわからないので、温度Ｔ２に到達したら第２の振動部１５０を振動させることにより、新たな表示をすることなく、温度Ｔ２に到達したことをユーザに容易に知らせることができる。よって、加熱温度制御のレスポンスの遅れを、振動部によりお知らせすることにより、ユーザの使い勝手を良くすることができる。

次に、時間４１３から時間４１４までユーザが矢印１００Ｂの方向に指でなぞり操作を行った場合、第１の振動部１４０が振動してタッチパネル１３０が振動し、ユーザの指に伝える。振動制御部３３が第１の振動部１４０を制御することで、ユーザに振動Ａ１を与え、コーヒーカップの画像２５０の実物の手触りと関連付けされた振動パターン２５３を振動させる。この振動パターン２５３は、例えば、周波数が３００Ｈｚ程度の正弦波であり、実際のコーヒーカップの表面形状のでこぼこ感（凹凸感）に合わせて、振幅を決めている。また、ユーザの指のなぞり操作の速度が速い場合には、比較的周波数を高くし、なぞり操作の速度が遅い場合には、比較的周波数を低くしてもよい。

時間４１４までユーザがなぞり操作を行った後で、タッチパネル１３０から指を離すと振動も停止する。時間４１５にて、コーヒーカップの画像２５０の表示が終了すると、加熱温度制御が停止し、時間４１６にて初期の温度に戻る。

なお、本実施の形態においては、タッチパネル１３０の温度がＴ２となった時、第２の振動部１５０を振動させたが、第１の振動部１４０を振動させてもよい。

＜第２のなぞり操作時の処理の流れの説明＞
図１６は、本実施の形態における第２のなぞり操作時の処理を示すフローチャートである。なお、ステップはＳと略する。

入力動作がスタートした後、Ｓ２１にて、図１４（ａ）にて示すように、コーヒーカップの画像２５０が表示される。Ｓ２２で熱電素子部１９０の電源が入れられる。Ｓ２３では、コーヒーカップの画像２５０に関連付けられた温度情報に基づいて、温度制御部１９５により、所定の温度Ｔ２まで加熱制御される。なお、コーヒーカップが画面上側に表示されている場合には、図４に示す熱電素子部１９０のうち１９０ａ、１９０ｂ、１９０ｃと、温度検出部１９１のうち１９１ａが用いられる。その理由としては、コーヒーカップの画像２５０は、タッチパネル１３０の上側にて表示されている場合、その近くに配置された熱電素子部１９０と温度検出部１９１を用いることにより、加熱制御の効率化と、低消費電力化を図るためである。なお、ユーザの操作等によりコーヒーカップの表示位置が画面下側に移動した場合は、温度制御部１９５は、熱電素子部１９０ｄ、１９０ｅ、１９０ｆと、温度検出部１９１ｂを用いてタッチパネル１３０の温度制御を行なってもよい。

Ｓ２４でタッチパネル制御部３１からの情報に基づいて、タッチパネル１３０へのユーザのタッチ入力の有無が、マイクロコンピュータ２０により判断される。タッチされていない場合には、再度タッチが行われるまで待機する。Ｓ２５で、温度制御部１９５により、コーヒーカップの画像２５０に関連付けられた温度情報に基づいて、所定の温度Ｔ２まで加熱されたかどうかが判断される。所定の温度Ｔ２に達していない場合には、所定の温度Ｔ２に達するまで加熱する。Ｓ２５にて、所定の温度Ｔ２に達したと判断された場合には、処理は次のＳ２６に進む。Ｓ２６では、振動制御部３３が第２の振動部１５０を制御することで、ユーザに振動Ｂ１が与えられる。ユーザは、振動Ｂ１を感じることにより、コーヒーカップの画像２５０の基になる実物のコーヒーカップの温度感覚を疑似体験させる温度に、タッチパネル１３０の温度が加熱されたことを認識することができる。Ｓ２７では、タッチパネル制御部３１からの情報に基づいて、タッチパネル１３０上で指の移動が有るか無いかがマイクロコンピュータ２０により判断される。マイクロコンピュータ２０がタッチパネル１３０上での指の移動が無いと判断した場合は、指の移動があるまで待機する。次に、Ｓ２８では、図１４（ｃ）に示すように、ユーザが矢印１００Ｂの方向にコーヒーカップの画像２５０上をなぞり操作した場合、振動制御部３３は第２の振動部１５０の振動を停止する。引き続きＳ２９において、第１の振動部１４０が振動してタッチパネル１３０が振動し、ユーザの指に伝える。振動制御部３３がこの第１の振動部１４０を制御することで、ユーザに振動Ａ１を与え、コーヒーカップの画像２５０の手触りと関連付けされた振動パターン２５３を振動させる。次に、Ｓ３０にて、なぞり操作が継続している場合は、温度制御部１９５は加熱制御を維持し、振動制御部３３が第１の振動部１４０の制御を維持する。逆に、なぞり操作が終了した場合には、Ｓ３１にて、第１の振動部１４０の制御を停止する。次に、Ｓ３２にて、タッチ入力が無く、コーヒーカップの画像２５０の表示がなくなったと判断した場合には、Ｓ３３にて、温度制御部１９５は、加熱制御を停止する。

このように本実施の形態では、表示画像のなぞり操作を行う際、表示画像に関連付けられた温度情報に基づき、タッチパネルの温度を制御することにより、ユーザは、表示画像が示す実物に、実際に触っているかのような触感を得ることができる。さらには、なぞり操作時に、表示画像が示す実物の手触りに合わせて、タッチパネルを振動させることにより、ユーザは、実物に実際に触っているかのような触感をよりリアルに感じながら操作することができる。そのため、操作性に優れた電子機器を提供することができる。

なお、第２のなぞり操作時の表示画像については、コーヒーカップの画像について説明したが、それに限定されるものではなく、例えば、表示画像が示す実物が冷たいものであり、加熱制御をする代わりに、冷却制御をするものであってもよい。

また、表示された物体の複数の位置に互いに異なる温度が設定されている場合、温度制御部１９５は、その物体の複数の位置に対応するタッチパネル１３０の複数の位置の温度が互いに異なる温度になるように制御してもよい。例えば、コーヒーカップの上側が熱く下側が冷たい場合、タッチパネル１３０の上側は加熱を行い、タッチパネル１３０の下側は冷却を行ってもよい。

また、設定温度が互いに異なる複数の物体が同時に表示装置１６０に表示された場合、温度制御部１９５は、それら複数の物体に対応するタッチパネル１３０の複数の位置の温度が互いに異なる温度になるように制御してもよい。例えば、画面の上側に氷の入ったグラスが表示され、画面の下側にコーヒーカップが表示されている場合、タッチパネル１３０の上側は冷却を行い、タッチパネル１３０の下側は加熱を行ってもよい。

以上のように、本実施の形態の電子機器１００は、表示情報を表示する表示装置１６０と、ユーザが触れるタッチパネル１３０と、表示情報の表示を制御する表示情報制御部３２と、タッチパネル１３０を冷却または加熱する熱電素子部１９０と、表示装置１６０に表示された表示情報に応じてタッチパネルの温度を制御する温度制御部１９５とを備える。これにより、表示された情報に対応した触感を温度で表現してユーザに提示することができる。

また、表示情報のなぞり操作を行う際、表示画像に関連付けられた温度情報および／または振動パターン情報に基づき、ユーザの指に温度感覚および／または手触りを伝えることができる。

以上のように、本出願において開示する技術の例示として、実施の形態を説明した。しかしながら、本開示における技術はこれらに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態も可能である。

以下、他の実施の形態を例示する。

上述の実施の形態の説明では、表示情報としてグラスおよびコーヒーカップなどの画像情報を例示したが、表示情報はこれらに限定されない。例えば、表示情報は、外部通信部３６を介してインターネットブラウザを使用して表示したＷｅｂページ、電子メール、ＳＮＳ（Ｓｏｃｉａｌ Ｎｅｔｗｏｒｋｉｎｇ Ｓｅｒｖｉｃｅ）の画像情報であってもよい。また、表示情報は、カメラ１５を用いて撮影した画像情報であってもよい。

また、表示情報は、Ｗｅｂショッピングやメーカーのホームページの画像情報であってもよく、この場合は商品の触感をユーザに疑似体験させることができる。

また、電子機器は、スマートフォン、タブレット型情報端末機器、携帯電話、ＰＤＡ、ゲーム機、カーナビゲーション、パソコン、テレビなどであってもよい。また、電子機器は、電子黒板やテーブル型のタッチパネル装置などであってもよい。

また、操作デバイスとしてタッチパネル１３０を例示したが、操作デバイスはこれに限定されない。例えば、マウスのようなポインティングデバイスでもよい。この場合、ポインティングデバイスの温度および振動を制御してもよい。

また、熱電素子は、画面上に設けられていてもよい。例えば、各画素に熱電素子が設けられていてもよいし、いくつかの画素を１つのグループとして、グループ毎に熱電素子が設けられていてもよい。

また、温度や振動以外にも、例えば、静電気による摩擦の変化や、電流による皮膚の刺激、液体による画面形状の変化など、他の方法で触感を提示してもよい。また、触感の提示だけでなく、画面表示、音、光などを適宜組み合わせてもよい。

なお、上述した電子機器の動作は、ハードウエアによって実現されてもよいしソフトウエアによって実現されてもよい。そのような動作を実行させるコンピュータプログラムは、例えばマイクロコンピュータ２０の内蔵メモリーやＲＯＭ３８に記憶される。また、そのようなコンピュータプログラムは、それが記録された記録媒体（光ディスク、半導体メモリー等）から電子機器へインストールしてもよいし、インターネット等の電気通信回線を介してダウンロードしてもよい。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示は、例えばユーザによる操作が可能な電子機器に適用可能である。

１５ カメラ
２０ マイクロコンピュータ
２１ 圧電素子
２２ シム板
３１ タッチパネル制御部
３２ 表示情報制御部
３３ 振動制御部
３６ 外部通信部
４３ 表示情報記録部
１００ 電子機器
１００Ａ、１００Ｂ、１００Ｃ、１００Ｄ なぞり操作方向
１０５ 筐体
１１０ 上部筐体
１２０ 下部筐体
１３０ タッチパネル
１４０ 第１の振動部
１５０ 第２の振動部
１６０ 表示装置
１９０ 熱電素子部
１９１ 温度検出部
１９５ 温度制御部
２４０ 第１の表示画像（グラス）
２５０ 第２の表示画像（コーヒーカップ）
２５３ 第２の表示画像の振動パターン

Claims (10)

1. 表示情報を表示する表示部と、
   ユーザが触れるパネル部材と、
   前記表示情報の表示を制御する表示制御部と、
   前記パネル部材を冷却または加熱する熱電素子と、
   前記表示部に表示された表示情報に応じて前記パネル部材の温度を制御する温度制御部と、
   前記パネル部材を振動させる振動部と、
   前記振動部の振動パターンを制御する振動制御部と、
   を備え、
   前記振動制御部は、前記表示部に表示された表示情報に応じて前記振動部の振動パターンを制御し、
   前記振動制御部は、前記パネル部材の温度が目標温度に達したときに前記振動部の振動を変化させる、電子機器。
2. 前記表示情報に対応付けられた温度情報の有無を判別する判別部をさらに備え、
   前記温度情報が有る場合、前記温度制御部は、前記温度情報に応じて前記パネル部材の温度を制御する、請求項１に記載の電子機器。
3. 前記温度情報は、前記表示情報に対してユーザが設定した温度を示す、請求項２に記載の電子機器。
4. 前記温度制御部は、前記表示情報が表す物体の温度を前記ユーザに疑似体験させる温度に前記パネル部材の温度を設定する、請求項１から３のいずれかに記載の電子機器。
5. 前記表示情報は撮影された被写体の画像を表し、
   前記温度制御部は、前記被写体の温度を前記ユーザに疑似体験させる温度に前記パネル部材の温度を設定する、請求項４に記載の電子機器。
6. 前記表示情報の表示位置が移動した場合、前記温度制御部は、前記表示位置の移動に応じて、温度制御を行う前記パネル部材の位置を変化させる、請求項１から５のいずれかに記載の電子機器。
7. 前記表示情報が表す物体の複数の位置に互いに異なる温度が設定されている場合、前記温度制御部は、前記物体の複数の位置に対応する前記パネル部材の複数の位置の温度を互いに異なる温度に設定する、請求項１から６のいずれかに記載の電子機器。
8. 設定温度が互いに異なる複数の物体が同時に前記表示部に表示された場合、前記温度制御部は、前記複数の物体に対応する前記パネル部材の複数の位置の温度を互いに異なる温度に設定する、請求項１から７のいずれかに記載の電子機器。
9. 前記表示情報に対応付けられた振動パターン情報の有無を判別する判別部をさらに備え、
   前記振動パターン情報が有る場合、前記振動制御部は、前記振動パターン情報に応じて前記振動部の振動パターンを制御する、請求項１に記載の電子機器。
10. 表示情報に応じた温度制御を電子機器に実行させるコンピュータプログラムであって、
    前記プログラムは、
    前記表示情報の表示を制御するステップと、
    ユーザが触れるパネル部材を冷却または加熱するステップと、
    前記表示情報に応じて前記パネル部材の温度を制御するステップと、
    前記表示情報に応じて前記パネル部材の振動を制御するステップと、
    前記パネル部材の温度が目標温度に達したときに前記パネル部材の振動を変化させるステップと、
    を前記電子機器に実行させるコンピュータプログラム。

Images