JP5767148B2 - 触覚対象画像の奥行き・高低に応じた触覚振動を付与可能なユーザインタフェース装置、触覚振動付与方法及びプログラム - Google Patents

Description

本発明は、表示対象を画面に表示するディスプレイと、指による操作を可能とするタッチパネルとを備えたユーザインタフェース装置に関する。

従来、指の接触による操作を受け入れるタッチパネルを搭載したユーザインタフェース装置が広く普及している。特に、近年、スマートフォン、タブレット型コンピュータ、電子書籍、ＰＤＡ(Personal Digital Assistant)のようなユーザインタフェース装置、いわゆる携帯型情報機器では、入力手段としてタッチパネルが積極的に採用されている。

タッチパネルを採用すると、機器の多機能化に対応した様々な入力操作が可能となる。しかしながらその一方で、誤った入力操作が生じやすい傾向にある。具体的には、ユーザが意図せずにタッチパネルに触れた場合でも入力操作が発生したり、ユーザが入力操作を行っても所望の機能が発動せずやり直しの操作が必要となったりする。

この誤操作の問題に対処する方策として、操作を行った指に対して振動等による触覚応答を付与する技術が存在する。ユーザは、自ら行う操作に対する応答（フィードバック）を得ることを目安として操作を行うことができ、また、この応答を指で得て、操作の完了を確認することができる。

例えば、特許文献１には、同時に生じる複数の接触を検出可能なマルチタッチパネルを振動させ、タッチ確認のフィードバックを行うタッチパネル装置が開示されている。この装置では、１本目の指がタッチした際、第１の振動が指に付与され、１本目の指がタッチ継続中に２本目の指がタッチした際、第１の振動よりも振動レベルの大きい第２の振動を付与する。

また、特許文献２には、タッチパネルの検出面上に割り当てられた複数のボタン領域の１つに触れた際に、このボタン領域に設定された報知形態で報知を行う入力装置が開示されている。ここで、この報知形態は、振動、音、色及び明るさのいずれか１つ又はこれらの組合せとされている。

さらに、特許文献３には、圧電アクチュエータを、アクリルパネルの部品収納部内に組み入れた上で、タッチパネル及び液晶表示装置と組み合わせた入出力装置が開示されている。ここでも、情報入力操作時に、操作者の指に触覚フィードバックが提供される。この触覚フィードバック例として、ボタンアイコンが押し込まれた際、第１の振動パターンＰａにより触覚Ａが与えられ、ボタンアイコンが放された際、第２の振動パターンＰｂにより触覚Ｂが与えられる。

特開２０１０−５５２８２号公報 特開２０１０−９３２１号公報 特開２００６−２１５７３８号公報

現在、携帯型情報機器では、インターネットを介して、種々のゲーム、オンライン・ショッピング、仮想美術館・博物館等の、立体物イメージを取り扱うサービスが提供可能である。これらのサービスでは、現実の立体物に関する３Ｄ（３次元）イメージが画面に表示される場合が少なくない。また、アイコン等の操作対象画像を並べた待ち受け画面や、写真及び映像ファイル等のサムネイルを並べた一覧画面が、３Ｄイメージとして表示される場合も存在する。

このような３Ｄイメージに対して、指の接触による操作を行うことを考える。この際、特許文献１〜３に記載されたような従来のフィードバック技術だけでは、ユーザが、操作を行う指を通して、３Ｄイメージの奥行き感といった３次元情報を得ることは困難である。例えば、指の接触している３Ｄイメージの部分が画面奥行き方向でどの程度の位置にあるのか、さらには、その部分に凹凸又は段差が存在するのか否かといった情報を、操作を行う指を通して得ることは、非常に困難である。

従って、折角、入力・表示対象に３Ｄ技術を採用しても、入力・表示対象に含まれる３次元情報を、視覚を通してしか取得できない。

そこで、本発明は、操作を行う指に対して、画面に表示された画像に含まれる３次元情報を付与可能なユーザインタフェース装置、触覚振動付与方法及びプログラムを提供することを目的とする。

本発明によれば、表示対象を画面に表示する画像表示部と、指の接触位置を逐次検出するタッチパネルとを備えたユーザインタフェース装置であって、
タッチパネルに接触した指に対して、触覚をもたらす触覚振動を付与する触覚振動機構部と、
画面内に設定される仮想空間に設置された表示対象であるオブジェクトであって、触覚の対象となる触覚対象画像が貼付されたオブジェクト上の各位置に、仮想空間における基準点から当該各位置までの距離である奥行き量を割り当てる奥行き量割当手段と、
触覚対象画像上の各位置に、この触覚対象画像に対応する高低量を割り当てる高低量割当手段と、
指の接触位置に対応するオブジェクト上の位置である接触対応位置が、触覚対象画像の表示位置範囲と重畳する際、この接触対応位置に割り当てられた奥行き量と、この接触対応位置に相当する触覚対象画像上の位置に割り当てられた高低量とを取得する奥行き・高低取得手段と、
取得された奥行き量と、指の接触位置の移動に伴う、取得された高低量の変化分とに応じた触覚振動を、指に対してタッチパネルを介して付与すべく触覚振動機構部に指示する触覚振動制御手段と
を有するユーザインタフェース装置が提供される。

この本発明によるユーザインタフェース装置の一実施形態として、
第１のオブジェクト及び第２のオブジェクトが基準点側から見て少なくとも一部重畳していて、第１のオブジェクトがより手前に位置する場合であって、第１のオブジェクトと第２のオブジェクトとの重畳領域内にある接触対応位置が、第１のオブジェクトに貼付された第１の触覚対象画像の表示位置範囲と重畳せず、且つ第２のオブジェクトに貼付された第２の触覚対象画像の表示位置範囲と重畳する際、
奥行き・高低取得手段は、
第２のオブジェクトの接触対応位置に割り当てられた奥行き量と、この接触対応位置に相当する第２の触覚対象画像上の位置に割り当てられた高低量とを取得する
ことも好ましい。

また、本発明によるユーザインタフェース装置によれば、触覚振動制御手段は、触覚振動の強度を、取得された奥行き量について単調減少関数となり、取得された高低量の変化分について単調増加関数となるように決定することも好ましい。

さらに、本発明によるユーザインタフェース装置の他の実施形態として、
指によりタッチパネルに与えられた押圧力を検出する押圧力検出部を更に備えており、
触覚振動制御手段は、取得された奥行き量、高低量の変化分、及び押圧力値に応じた触覚振動を当該指に対して付与させる
ことも好ましい。この場合、さらに、触覚振動制御手段は、触覚振動の強度を、押圧力値について単調増加関数となるように決定することも好ましい。

また、本発明によるユーザインタフェース装置によれば、ユーザの操作から見て、指が、接触したまま移動して、画像表示部の画面に表示されたオブジェクト上に貼付された触覚対象画像を横切るようになぞった際、この指は、触覚対象画像が仮想空間内においてより奥側に位置しているほど、より小さい強度の触覚振動を付与される
ことも好ましい。

本発明によれば、さらに、表示対象を画面に表示する画像表示部と、指の接触位置を逐次検出するタッチパネルとを備えたユーザインタフェース装置に搭載されたプログラムであって、このユーザインタフェース装置が、
タッチパネルに接触した指に対して、触覚をもたらす触覚振動を付与する触覚振動機構部を備えており、上記プログラムが、
画面内に設定される仮想空間に設置された表示対象であるオブジェクトであって、触覚の対象となる触覚対象画像が貼付されたオブジェクト上の各位置に、仮想空間における基準点から当該各位置までの距離である奥行き量を割り当てる奥行き量割当手段と、
触覚対象画像上の各位置に、この触覚対象画像に対応する高低量を割り当てる高低量割当手段と、
指の接触位置に対応するオブジェクト上の位置である接触対応位置が、触覚対象画像の表示位置範囲と重畳する際、この接触対応位置に割り当てられた奥行き量と、この接触対応位置に相当する触覚対象画像上の位置に割り当てられた高低量とを取得する奥行き・高低取得手段と、
取得された奥行き量と、指の接触位置の移動に伴う、取得された高低量の変化分とに応じた触覚振動を、指に対してタッチパネルを介して付与すべく触覚振動機構部に指示する触覚振動制御手段と
してコンピュータを機能させるユーザインタフェース装置用のプログラムが提供される。

本発明によれば、さらにまた、表示対象を画面に表示する画像表示部と、指の接触位置を逐次検出するタッチパネルとを備えたユーザインタフェース装置における触覚振動付与方法であって、ユーザインタフェース装置が、
タッチパネルに接触した指に対して、触覚をもたらす触覚振動を付与する触覚振動機構部を備えており、上記触覚振動付与方法が、
画面内に設定される仮想空間に設置された表示対象であるオブジェクトであって、触覚の対象となる触覚対象画像が貼付されたオブジェクト上の各位置に、仮想空間における基準点から当該各位置までの距離である奥行き量を割り当てる第１のステップと、
触覚対象画像上の各位置に、この触覚対象画像に対応する高低量を割り当てる第２のステップと、
指の接触位置に対応するオブジェクト上の位置である接触対応位置が、触覚対象画像の表示位置範囲と重畳する際、この接触対応位置に割り当てられた奥行き量と、この接触対応位置に相当する触覚対象画像上の位置に割り当てられた高低量とを取得する第３のステップと、
取得された奥行き量と、指の接触位置の移動に伴う、取得された高低量の変化分とに応じた触覚振動を、指に対してタッチパネルを介して付与すべく触覚振動機構部に指示する第４のステップと
を有する触覚振動付与方法が提供される。

本発明のユーザインタフェース装置、触覚振動付与方法及びプログラムによれば、操作を行う指に対して、画面に表示された画像に含まれる３次元情報を付与することができる。

本発明による携帯型情報機器の一実施形態を示す前面図、表示されたオブジェクトの奥行き量を説明する概略図、及びオブジェクト上に貼付された触覚対象画像の高低量を説明するグラフである。 指の接触位置に対応する奥行き量Ｓ及び高低量Ｍを取得し、指に付与する触覚振動の振動強度Ｉを決定する手順を説明する概略図及びグラフである。 振動強度Ｉの決定についての他の実施形態を説明する概略図及びグラフである。 複数のオブジェクトが画面に表示される実施形態を示す前面図、並びに複数のオブジェクトが表示された場合の奥行き量及び高低量を説明する概略図である。 画面に表示されたオブジェクトの他の実施形態を示す前面図である。 本発明による携帯型情報機器の構成を概略的に示す斜視図及び機能構成図である。 本発明による触覚振動付与方法の一実施形態を示すフローチャートである。 本発明による触覚振動付与方法の他の実施形態を示すフローチャートである。

以下、本発明の実施形態について、図面を用いて詳細に説明する。

本発明によるユーザインタフェース装置では、
（ａ）画面に表示されたオブジェクト上の各位置に奥行き量を割り当て、
（ｂ）このオブジェクトに貼付された触覚対象画像上の各位置に高低量を割り当て、
（ｃ）指の接触位置に対応する奥行き量及び高低量を取得し、
（ｄ）奥行き量と、指の接触位置の移動に伴う高低量の変化分とに応じた振動強度を有する触覚振動を、指に付与させる
点に特徴を有する。ここで、触覚振動とは、指に触覚をもたらす振動又は振動パターンである。

この本発明によるユーザインタフェース装置の多くは、通常携帯して使用され、指で操作可能な、スマートフォンやタブレット型コンピュータといった携帯型情報機器である。従って、以下、本発明の実施形態として、携帯型情報機器を説明する。

図１は、本発明による携帯型情報機器の一実施形態を示す前面図、表示されたオブジェクトの奥行き量を説明する概略図、及びオブジェクト上に貼付された触覚対象画像の高低量を説明するグラフである。

図１（Ａ）によれば、携帯型情報機器１は、オブジェクトを画面に表示するディスプレイ１０１と、ディスプレイ１０１の画面上に配置され、指の接触位置１０６を時間経過に応じて逐次検出するタッチパネル１００と、タッチパネル１００（ディスプレイ１０１の画面）に接触したユーザの指に対して触覚振動ｖを与える触覚振動機構部１０２とを備えている。

この携帯型情報機器１には、オブジェクトとして、メニュープレート１０４が表示されている。メニュープレート１０４は、ディスプレイ１０１の画面内に設定された仮想空間において、画面に対して斜めに配置されており、メニュープレート１０４の右端が画面から見てより奥側に後退している。

このメニュープレート１０４上には、触覚対象画像としてのアイコン１０５ａ、１０５ｂ及び１０５ｃが貼付されている。ここで、アイコン１０５ａ、１０５ｂ及び１０５ｃは、画面から見て、順次より奥側に位置している。尚、これらのアイコンは、例えば所定の指による操作（例えば所定時間以上指を接触させた後にドラッグする手順）によって位置を変えることができる。

アイコン１０５ａ〜１０５ｃは、例えば、指によるタップ操作、押し込み操作又は長押し操作等によって、予め付与されたアプリケーション等の機能が発動する仮想スイッチであってよい。または、単に、メニュープレート１０４上に触覚的なアクセントを付与する領域とすることもできる。

ユーザは、指をタッチパネル１００（ディスプレイ１０１の画面）に接触させ、メニュープレート１０４をなぞるように指をスライドさせる。ここで、指がアイコン１０５ａ〜１０５ｃのいずれかをなぞった際、即ち指の接触位置１０６がアイコン１０５ａ〜１０５ｃの表示位置範囲のいずれかと重畳した際、このアイコンが選択されたとして、触覚振動機構部１０２が指に触覚振動ｖを付与する。

この触覚振動ｖは、メニュープレート１０４及びアイコン１０５ａ〜１０５ｃに含まれる３次元情報である奥行き量及び高低量に応じた振動強度Ｉを有する。これにより、ユーザは、操作を行う自身の指を介して、これら３次元情報を取得することができる。

以下、メニュープレート１０４及びアイコン１０５ａ〜１０５ｃへの、奥行き量及び高低量の割り当てを説明する。

図１（Ｂ）によれば、表示されたメニュープレート１０４上の各位置に、奥行き量Ｓが割り当てられている。ここで、画面内に設定された仮想空間において、想定カメラ位置Ｏ_ｃと、このメニュープレート１０４上の位置とを通る直線を想定する。この際、奥行き量Ｓは、この直線とタッチパネル面１００ａとの交点（基準点）から、このメニュープレート１０４上の位置までの長さ（距離）として定義される。

また、指の接触位置１０６に対応するメニュープレート１０４上の位置である接触対応位置１０７は、想定カメラ位置Ｏ_ｃ及び接触位置１０６を通る直線と、メニュープレート１０４との交点と定義される。従って、接触対応位置１０７に割り当てられた奥行き量Ｓは、接触位置１０６と接触対応位置１０７とを結ぶ線分の長さとなる。

尚、奥行き量Ｓは、図１（Ｂ）に示したものに限定されない。例えば、想定カメラ位置Ｏ_ｃを無限遠とし、メニュープレート１０４上の１つの位置からタッチパネル面１００ａに下ろした垂線の足を基準点として、この垂線の長さを、この１つの位置に割り当てられる奥行き量とすることも可能である。

さらに、奥行き量として、想定カメラ位置Ｏ_ｃを基準点として、想定カメラ位置Ｏ_ｃとメニュープレート１０４上の１つの位置との間の距離（図１（Ｂ）のＳ’）を採用することも可能である。

次いで、図１（Ｃ）によれば、各アイコン１０５ａ〜１０５ｃ上の各位置に、高低量Ｍが割り当てられている。高低量Ｍは、例えば、各アイコン１０５ａ〜１０５ｃが有すると想定される厚み（高さ、段差、凹凸）に対応した値とすることができる。本実施形態では、アイコン１０５ｃは、アイコン１０５ａ及び１０５ｂよりも厚みがあり、これに対応して、アイコン１０５ｃの各位置には、より大きな高低量Ｍが割り当てられている。

また、アイコン１０５ａ〜１０５ｃは、メニュープレート１０４に貼付されている。その結果、高低量Ｍは、メニュープレート１０４上におけるアイコン１０５ａ〜１０５ｃが存在する位置に割り当てられることになる。ここで、図１（Ｃ）のグラフは、メニュープレート１０４内のＸ_ｏｂ軸上の位置における高低量Ｍを示している。

図２は、指の接触位置１０６に対応する奥行き量Ｓ及び高低量Ｍを取得し、指に付与する触覚振動の振動強度Ｉを決定する手順を説明する概略図及びグラフである。

最初に、図２（Ａ）に、指の接触位置１０６に対応する奥行き量Ｓ及び高低量Ｍを示す。ユーザは指をタッチパネル１００に接触させながら移動（スライド）させる。これに伴い、接触位置１０６に対応する接触対応位置１０７は、メニュープレート１０４内のＸ_ｏｂ軸上を移動する。ここで、接触対応位置１０７は、アイコン１０５ａ〜１０５ｃの表示位置範囲を順次通過する。

次いで、図２（Ｂ）に、サンプリング時間間隔Δｔ毎に取得される奥行き量Ｓ_ｉ及び高低量Ｍ_ｉと、これらの値により算出される高低量変化分ΔＭ_ｉ及び振動強度Ｉ_ｉとを示す。

奥行き量Ｓ_ｉは、時刻ｔ＝Δｔ×ｉ（ｉ＝０,１,２,・・・）での接触位置１０６と接触対応位置１０７との距離である。奥行き量Ｓ_ｉは、ユーザの操作から見てメニュープレート１０４のより奥側を指でなぞるにつれて、増加する。

また、高低量Ｍ_ｉは、時刻ｔ＝Δｔ×ｉ（ｉ＝０,１,２,・・・）での接触対応位置１０７に割り当てられた高低量である。対応する接触対応位置１０７がアイコン１０５ａ〜１０５ｃにおけるいずれの表示位置範囲にも重畳していない場合、Ｍ_ｉ＝０と設定される。この結果、図２（Ｂ）の高低量Ｍ_ｉは、各アイコン１０５ａ〜１０５ｃに対応する領域でのみ有限値をとっている。

さらに、時刻ｔ＝Δｔ×ｉにおける高低量変化分ΔＭ_ｉは、次式を用いて算出される。
ΔＭ_ｉ＝Ｍ_ｉ−Ｍ_ｉ−１ （ｉ＝０,１,２,・・・）
従って、本実施形態（図２（Ｂ））では、高低量変化分ΔＭ_ｉは、接触対応位置１０７が触覚対象画像（アイコン１０５ａ〜１０５ｃ）の表示位置範囲に差し掛かった際に正値をとる。また、接触対応位置１０７が触覚対象画像（アイコン１０５ａ〜１０５ｃ）の表示位置範囲から離脱する際に負値をとる。

ここで、高低量変化分ΔＭ_ｉの絶対値｜ΔＭ_ｉ｜が次式
｜ΔＭ_ｉ｜≧Ｍ_ｔｈ
を満たす場合にのみ、以降説明する振動強度Ｉ_ｉを決定して、指に触覚振動を付与するとすることも好ましい。ここで、Ｍ_ｔｈは所定の高低変化閾値である。これにより、ある程度はっきりした高低（厚み、段差、凹凸）であって初めて、触覚として捉えられるという実感覚に合った操作感が得られる。

以上述べたように取得・算出された奥行き量Ｓ_ｉ及び高低量変化分ΔＭ_ｉから、時刻ｔ＝Δｔ×ｉにおける触覚振動の振動強度Ｉ_ｉが、次式を用いて決定される。
（１） Ｉ_ｉ＝Ｃ・｜ΔＭ_ｉ｜／Ｓ_ｉ
ここで、Ｃは比例定数である。尚、実際の振動付与においては、時刻ｔから時間Δｔ_Ｉ経過までの間、振動強度Ｉ_ｉの触覚振動が指に付与されることも好ましい。

上式（１）で決定される振動強度Ｉ_ｉは、｜ΔＭ_ｉ｜に比例した値をとる。その結果、指の接触位置が触覚対象画像（アイコン１０５ａ〜１０５ｃ）に出入りする際、この触覚対象画像がより高い（厚い）ほど、より大きな振動強度Ｉ_ｉが指に付与される。これにより、ユーザは、触覚対象画像の高低（３次元情報）に応じた触覚を得ることができる。

さらに、上式（１）によれば、振動強度Ｉ_ｉは、奥行き量Ｓ_ｉが大きくなるほど、より小さな値をとる。その結果、指で横切るようになぞられた触覚対象画像（アイコン１０５ａ〜１０５ｃ）が画面内でより奥側にあるほど、より小さい強度の触覚振動が指に付与される。これにより、ユーザは、触覚対象画像の画面奥行き方向の位置に応じた奥行き感（３次元情報）を得ることができる。尚、画面奥行き方向とは、画面に概ね垂直な方向、又は画面に垂直な成分を含む方向となる。

ここで、振動強度Ｉ_ｉの触覚振動における振動数ｆを、以下の通りに決定することも好ましい。
ΔＭ_ｉ＞０の場合、ｆ＝ｆ_１
ΔＭ_ｉ＜０の場合、ｆ＝ｆ_２（＜ｆ_１）
この場合、接触対応位置１０７が触覚対象画像（アイコン１０５ａ〜１０５ｃ）の表示位置範囲に差し掛かった際に、振動数ｆ_１の触覚振動が付与される。一方、接触対応位置１０７が触覚対象画像（アイコン１０５ａ〜１０５ｃ）の表示位置範囲から離脱する際に、振動数ｆ_１とは異なる（振動数ｆ_１よりも低い）振動数ｆ_２の触覚振動が付与される。

これにより、ユーザは、触覚対象画像をなぞった指に付与される振動によって、触覚対象画像に入る際と出る際とを区別することができ、よりリアルな高低（厚み、段差、凹凸）の感覚を得ることができる。

また、高低量Ｓは、触覚対象画像（アイコン１０５ａ〜１０５ｃ）に直接割り当てられている。その結果、この触覚対象画像が移動した際にも、さらには、想定カメラ位置Ｏ_ｃ（図１（Ｂ））が変更された際にも、ユーザは、指を接触させた時点で常に、触覚対象画像に割り当てられた高低量Ｓを取得する。これにより、触覚対象画像の移動や想定カメラ位置Ｏ_ｃの変更に左右されずに、触覚対象画像に想定された高低（厚み、段差、凹凸）の触覚を得ることが可能となる。

尚、振動強度Ｉ_ｉは、上式（１）に限定されるものではない。例えば、振動強度Ｉ_ｉを、奥行き量Ｓ_ｉについて単調減少関数となり、高低量変化分ΔＭ_ｉ（の絶対値）について単調増加関数となるように決定することが可能である。

以上、携帯型情報機器１は、操作を行う指に対して、触覚対象画像に含まれる奥行きや高低（厚み、段差、凹凸）といった３次元情報を、触覚振動として付与可能であることが理解される。

図３は、振動強度Ｉの決定についての他の実施形態を説明する概略図及びグラフである。

図３に示した実施形態では、メニュープレート１０４及び触覚対象画像（アイコン１０５ａ〜１０５ｃ）の設定、並びに指の接触位置１０６に対応する奥行き量Ｓ及び高低量Ｍの取得は、図２の実施形態と同様である。しかしながら、本実施形態では、指によるタッチパネル１００に対する押圧力ｐ_ｃを考慮し、指を押し込んで触覚対象画像をなぞった際の感触を実現している。以下、図２の実施形態とは異なる点を中心に、本実施形態の説明を行う。

図３（Ａ）に示すように、ユーザは、指を、接触したままスライドさせつつアイコン１０５ａとアイコン１０５ｂとの間でタッチパネル１００に押し込む。この指による押圧力ｐ_ｃは、図３（Ｂ）の押圧力ｐ_ｃのグラフに示すように、押し込んだ位置で増大している。尚、この指による押圧力ｐ_ｃの大きさは、後述する押圧力検出部１０３で検出・測定される。

ここで、本実施形態では、振動強度Ｉ_ｉを決定する際、図２の実施形態で用いられた｜ΔＭ_ｉ｜／Ｓ_ｉ値と共に、測定された押圧力ｐ_ｃ値が用いられる。即ち、振動強度Ｉ_ｉが、図３（Ｂ）に示した｜ΔＭ_ｉ｜／Ｓ_ｉと時刻ｔ（＝Δｔ×ｉ）での押圧力ｐ_ｃ値とによって、次式のように決定される。
（２） Ｉ_ｉ＝Ｃ’・ｐ_ｃ・｜ΔＭ_ｉ｜／Ｓ_ｉ
ここで、Ｃ’は比例定数である。尚、実際の振動付与においては、図２の実施形態と同じく、時刻ｔから時間Δｔ_Ｉ経過までの間、振動強度Ｉ_ｉの触覚振動が指に付与されることも好ましい。

上式（２）で決定される振動強度Ｉ_ｉは、押圧力ｐ_ｃ値が大きくなるほど、より大きな値をとる。例えば、図３（Ｂ）の振動強度Ｉ_ｉのグラフにおいて、アイコン１０５ｂは、アイコン１０５ａよりも奥側に位置しているので、指がアイコン１０５ｂに接触した際の振動強度Ｉ_ｉは、アイコン１０５ａの場合よりも小さくなるはずである。ところが、指は、アイコン１０５ｂを、より強く押し込みながらスライドしているので、本実施形態では、アイコン１０５ｂに接触した際の振動強度Ｉ_ｉは、むしろ、アイコン１０５ａの場合よりも大きい。

このように、本実施形態によれば、奥側に位置する触覚対象画像であっても指をより強く押し込んでなぞれば、指により強い触覚振動が付与される。従って、実際の空間で立体物をなぞる際に指の押し込む程度によって触覚が変化するリアル感を実現することができる。また、押し込んだ際の触覚の変化から、触覚対象画像の奥行き感（３次元情報）を取得することができる。

尚、本実施形態においても、振動強度Ｉ_ｉは上式（２）に限定されるものではない。例えば、振動強度Ｉ_ｉを、押圧力ｐ_ｃについて単調増加関数となるように決定することが可能である。

図４は、複数のオブジェクトが画面に表示される実施形態を示す前面図、並びに複数のオブジェクトが表示された場合の奥行き量及び高低量を説明する概略図である。

図４（Ａ）に示された携帯型情報機器１は、図１（Ａ）に示したものと同様の構成を有するが、ディスプレイ１０１の画面に、オブジェクトとして、第１のメニュープレート１０４ａ及び第２のメニュープレート１０４ｂを表示している。

これら第１のメニュープレート１０４ａ及び第２のメニュープレート１０４ｂは、画面側（タッチパネル１００側）から見て少なくとも一部重畳している。また、第１のメニュープレート１０４ａは、第２のメニュープレート１０４ｂよりも手前に位置している。さらに、第１のメニュープレート１０４ａ及び第２のメニュープレート１０４ｂは、半透明画像となっている。その結果、第２のメニュープレート１０４ｂのアイコン１０５ｇは、画面側から見て、第１のメニュープレート１０４ａによって覆われているにもかかわらず、第１のメニュープレート１０４ａに透けて視認される。

ここで、ユーザが、接触した指をスライドさせ、指の接触位置１０６を、透けて見えるアイコン１０５ｇに重畳させて、アイコン１０５ｇを選択した場合を説明する。

図４（Ｂ）に示すように、指の接触位置１０６に対応する第１のメニュープレート１０４ａ上の接触対応位置１０７ａは、第１のメニュープレート１０４ａに貼付された触覚対象画像（アイコン１０５ｄ〜１０５ｆ）の表示位置範囲とは重畳していない。一方で、指の接触位置１０６に対応する第２のメニュープレート１０４ｂ上の接触対応位置１０７ｂは、第２のメニュープレート１０４ｂに貼付された触覚対象画像、即ちアイコン１０５ｇの表示位置範囲と重畳している。

この場合、ユーザが指で選択したアイコン１０５ｇ相当の奥行き量Ｓ_２及び高低量Ｍ_２が取得され、これらの値が、振動強度Ｉ_ｉの算出に使用される。取得される奥行き量Ｓ_２及び高低量Ｍ_２は、図４（Ｃ）に示すように、以下の通りとなる。
（ａ）奥行き量Ｓ_２：タッチパネル面１００ａ上の接触位置１０６と、第２のメニュープレート１０４ｂ上の接触対応位置１０７ｂとの距離。即ち、第２のメニュープレート１０４ｂの接触対応位置１０７ｂに割り当てられた奥行き量。
（ｂ）高低量Ｍ_２：接触対応位置１０７ｂ上の、アイコン１０５ｇに割り当てられた高低量。

この結果、ユーザは、第１のメニュープレート１０４ａの奥側に位置するアイコン１０５ｇに接触し、同アイコンを選択することも可能となる。これにより、複数のオブジェクト（メニュープレート等）を用意して、多数の触覚対象画像（アイコン等）をそれぞれのオブジェクトに立体的に配置した上で、ユーザがそのうちの所望のアイコンを選択することも可能となる。その際、アイコンの画面奥行き方向の位置に応じた触覚振動が指に付与されるので、ユーザは、立体的に配置されたアイコンのうち所望のアイコンを確実に選択したかどうかを確認することができ、操作性が向上する。

図５は、画面に表示されたオブジェクトの他の実施形態を示す前面図である。

図５によれば、携帯型情報機器１のディスプレイ１０１の画面には、階段状の立体物イメージである階段オブジェクト２が表示されている。この階段オブジェクト２は、多数のポリゴンで構成され、ポリゴン２００、２０１、２１０及び２１１にはテクスチャとして触覚対象画像が貼付（マッピング）されている。

これらのポリゴンに貼付された触覚対象画像には、奥行き量Ｓ及び高低量Ｍが割り当てられている。具体的には、例えば、以下の通りである。
触覚対象画像（ポリゴン２００）：奥行き量Ｓ１、高低量Ｍ１
触覚対象画像（ポリゴン２０１）：奥行き量Ｓ１、高低量Ｍ２
触覚対象画像（ポリゴン２１０）：奥行き量Ｓ２、高低量Ｍ１
触覚対象画像（ポリゴン２１１）：奥行き量Ｓ２、高低量Ｍ２

ここで、奥行き量Ｓ１＞奥行き量Ｓ２である。これは、ポリゴン２００及び２０１が、ポリゴン２１０及び２１１よりもより上方の（画面から見てより手前側の）階段ステップに貼付されていることに対応する。また、高低量Ｍ２＞高低量Ｍ１である。これにより、ポリゴン２００及び２０１（ポリゴン２１０及び２１１）が位置する階段ステップ上に、出っ張りが表現される。

このように設定された階段オブジェクト２を指でなぞると、指の接触位置１０６がポリゴン２００、２０１、２１０及び２１１の表示位置範囲に重畳し更にこれら表示位置範囲から離脱する毎に、指に触覚振動が付与される。この際の振動強度Ｉは、ポリゴン２００、２０１、２１０及び２１１に割り当てられた奥行き量Ｓ１又はＳ２と、高低量Ｓ１又はＳ２の変化分とから決定される。

その結果、接触した指に対して、「階段オブジェクト２の各階段ステップに設けられた中央の突出した菱形の出っ張り」といった、画面に表示された対象に含まれる３次元情報を付与することが可能となる。

尚、オブジェクトは、当然に、階段オブジェクトに限定されない。例えば、種々のアプリケーション、検索・待ち受け画面等で表示される立体イメージや、配信ゲーム、オンライン・ショッピング、仮想美術館・博物館等のサービスにおいて取り扱われる立体物イメージを、オブジェクトとして採用することができる。

図６は、本発明による携帯型情報機器１の構成を概略的に示す斜視図及び機能構成図である。

図６によれば、携帯型情報機器１は、タッチパネル１００と、ディスプレイ１０１と、触覚振動機構部１０２と、機能構成部としてのプロセッサ・メモリを備えている。ここで、機能構成部（プロセッサ・メモリ）は、携帯型情報機器１に搭載されたコンピュータを機能させるプログラムを実行することによって、その機能を実現する。また、図６に示すように、携帯型情報機器１は、押圧力検出部１０３を更に備えていることも好ましい。

ディスプレイ１０１は、画面に表示対象である（メニュープレート等の）オブジェクトを表示する。また、タッチパネル１００は、ディスプレイ１０１の画面上に配置されており、ユーザの指の接触位置を時間経過に応じて逐次検出し、接触位置情報を、後述する接触位置判定部１２２に出力する。このタッチパネル１００として、例えば、投影型静電容量方式タッチパネル、表面型静電容量方式タッチパネル、抵抗膜方式タッチパネル、超音波表面弾性波方式タッチパネル、又は赤外線走査方式タッチパネル等を採用することができる。

触覚振動機構部１０２は、タッチパネル１００に接触した指に対して、タッチパネル１００を振動させることにより触覚振動を与える。触覚振動機構部１０２は、例えば、ＰＺＴ（チタン酸ジルコン酸鉛）等の圧電材料を用いて形成された圧電アクチュエータとすることができる。

押圧力検出部１０３は、指によってタッチパネル１００に与えられる押圧力ｐ_ｃを検出する。押圧力検出部１０３は、例えば、タッチパネル１００の四隅下に設置されており、指を押し付けられて撓んだタッチパネル１００が自身に及ぼす押圧の合計を、押圧力ｐ_ｃとして検出する。この押圧力検出部１０３が出力する押圧力信号は、後述する押圧力測定部１２３に入力される。押圧力検出部１０３は、例えば、ＰＺＴ等の圧電材料を用いて形成された圧電センサとすることができる。また、圧電アクチュエータで構成された触覚振動機構部１０２を設ける代わりに又は設けると共に、この押圧力検出部１０３を触覚振動機構部として利用することも可能である。

同じく図６によれば、機能構成部（プロセッサ・メモリ）は、奥行き量割当部１２０と、高低量割当部１２１と、接触位置判定部１２２と、奥行き・段差取得部１２４と、触覚振動制御部１２５と、表示制御部１１０と、アプリケーション処理部１１１とを有する。また、図６に示すように、機能構成部（プロセッサ・メモリ）は、押圧力測定部１２３を更に有することも好ましい。

奥行き量割当部１２０は、（アイコン等の）触覚対象画像が貼付された（メニュープレート等の）オブジェクト上の各位置に、画面内に設定される仮想空間における基準点から当該各位置までの画面奥行き方向での距離である奥行き量Ｓを割り当てる。また、この割り当て情報を、奥行き・段差取得部１２４に逐次出力する。

高低量割当部１２１は、（アイコン等の）触覚対象画像上の各位置に、当該触覚対象画像に対応する高低量を割り当てる。また、この割り当て情報を、奥行き・段差取得部１２４に逐次出力する。

接触位置判定部１２２は、タッチパネル１００からの接触位置信号を入力する。また、アプリケーション処理部１１１から触覚対象画像及びオブジェクトの情報を入力する。次いで、接触位置判定部１２２は、これら信号及び情報に基づいて、指の接触位置１０６から接触対応位置１０７を算出する。さらに、この接触対応位置１０７が触覚対象画像の表示位置範囲と重畳しているか否かを判定する。次いで、この判定結果及び指の接触位置１０６（接触対応位置１０７）の情報を、奥行き・段差取得部１２４に逐次出力する。

押圧力測定部１２３は、押圧力検出部１０３からの押圧力信号を入力する。次いで、この信号から指による押圧力ｐ_ｃの大きさを算出し、押圧力ｐ_ｃ値情報を奥行き・段差取得部１２４に逐次出力する。

奥行き・段差取得部１２４は、奥行き量割当部１２０、高低量割当部１２１、接触位置判定部１２２、及び押圧力測定部１２３からの情報信号を入力する。次いで、これら情報に基づいて、接触対応位置１０７が触覚対象画像の表示位置範囲と重畳する際の、この接触対応位置１０７に割り当てられた奥行き量Ｓと、この接触対応位置１０７に相当する当該触覚対象画像上の位置に割り当てられた高低量Ｍとを取得する。次いで、これら取得された奥行き量Ｓ及び高低量Ｍを逐次、触覚振動制御部１２５に出力する。

ここで、図４（Ａ）〜（Ｃ）に示すような第１のオブジェクト（第１のメニュープレート１０４ａ）及び第２のオブジェクト（第２のメニュープレート１０４ｂ）が表示され、接触対応位置が、第１のオブジェクトの触覚対象画像の表示位置範囲と重畳せず、且つ第２のオブジェクトの触覚対象画像（アイコン１０５ｇ）の表示位置範囲と重畳する場合を考察する。この際、奥行き・段差取得部１２４は、第２のオブジェクトの接触対応位置１０７ｂに割り当てられた奥行き量Ｓ_２と、接触対応位置１０７ｂに相当する触覚対象画像（アイコン１０５ｇ）上の位置に割り当てられた高低量Ｍ_２とを取得する。

触覚振動制御部１２５は、高低量変化分算出部１２５ａ及び振動強度決定部１２５ｂを有する。高低量変化分算出部１２５ａは、取得された高低量Ｍにおける指の接触位置１０６の移動に伴う変化分ΔＭを逐次算出する。また、振動強度決定部１２５ｂは、取得された奥行き量Ｓと、算出された高低量変化分ΔＭとに応じた振動強度Ｉを決定する。

触覚振動制御部１２５は、次いで、決定された振動強度Ｉを有する触覚振動を、指に対してタッチパネル１００を介して付与すべく触覚振動機構部１０２に指示する。また、他の実施形態として、触覚振動制御部１２５は、取得された奥行き量Ｓ及び高低量変化分ΔＭに加えて、取得された押圧力ｐ_ｃ値に応じた触覚振動を指に対して付与させることも好ましい。

表示制御部１１０は、アプリケーション処理部１１１からのアプリケーション処理情報を入力して、アプリケーションの実行に応じた画像をディスプレイ１０１に表示させる。アプリケーション処理部１１１は、さらに、表示制御部１１０に、（アイコン等の）触覚対象画像が貼付された（メニュープレート等の）オブジェクトを表示させる。

図７は、本発明による触覚振動付与方法の一実施形態を示すフローチャートである。

（Ｓ７００）（アイコン等の）触覚対象画像を含む（メニュープレート等の）オブジェクトが表示される。
（Ｓ７０１）（触覚対象画像上を含む）オブジェクト上の各位置に奥行き量Ｓを割り当てる。
（Ｓ７０２）触覚対象画像の各位置に高低量Ｍを割り当てる。

（Ｓ７１０）触覚振動付与ループ（ステップＳ７１０〜Ｓ７２２）が開始される。ここで、開始時刻ｔをゼロとし、指の接触位置１０６のサンプリング時間間隔をΔｔとし、サンプリング回数（時間経過）のパラメータｉの初期値をゼロとする。また、時刻ｔ＝０での高低量Ｍ_０はゼロに設定される。さらに、高低変化閾値Ｍ_ｔｈが所定値に設定される。

（Ｓ７１１）パラメータｉを１だけ増分する。
（Ｓ７１２）時刻ｔがΔｔ×ｉとなるまでウエイトする。
（Ｓ７１３）指の接触位置１０６を測定する。
（Ｓ７１４）測定された接触位置１０６に対応する接触対応位置１０７を算出する。

（Ｓ７１５）接触対応位置１０７が（アイコン等の）触覚対象画像と重畳しているか否かを判定する。ここで、偽の判定を行った際、現時点で指は触覚対象画像に接触しておらず、触覚振動を発動しないとして、ステップＳ７２２に移行する。
（Ｓ７１６、Ｓ７１７）一方、ステップＳ７１５で真の判定を行った際、指が触覚対象画像に接触しているとして、接触対応位置１０７に割り当てられた奥行き量Ｓ_ｉ及び高低量Ｍ_ｉを取得する。

（Ｓ７１８）取得した高低量Ｍ_ｉ及びＭ_ｉ−１から、高低量変化分ΔＭ_ｉ（＝Ｍ_ｉ−Ｍ_ｉ−１）を算出する。
（Ｓ７１９）算出された高低量変化分ΔＭ_ｉが所定の高低変化閾値Ｍ_ｔｈ以上であるか否か（ΔＭ_ｉ≧Ｍ_ｔｈ）を判定する。ここで、偽の判定を行った際、触覚として捉えられる程度の高低（厚み、段差、凹凸）ではなく、触覚振動を発動しないとして、ステップＳ７２２に移行する。

（Ｓ７２０）一方、ステップＳ７１９で真の判定を行った際、取得・算出された奥行き量Ｓ_ｉ及び高低量変化分ΔＭ_ｉから振動強度Ｉ_ｉを算出する。この算出の際、上述した式（１）Ｉ_ｉ＝Ｃ・｜ΔＭ_ｉ｜／Ｓ_ｉを用いることも好ましい。
（Ｓ７２１）算出された振動強度Ｉ_ｉを有する触覚振動を指に付与する。

（Ｓ７２２）触覚振動付与ループの１ループ分を終了し、ステップＳ７１０に移行して、指がタッチパネル１００に接触していれば、触覚振動付与ループ（ステップＳ７１０〜Ｓ７２２）を繰り返す。一方、指がタッチパネル１００から離隔していれば、指による操作が終了したとして、本触覚振動付与方法を完了する。

図８は、本発明による触覚振動付与方法の他の実施形態を示すフローチャートである。

図８に示した実施形態は、図７に示したフローチャートのうち、ステップＳ７１９とステップＳ７２０との間に、押圧力ｐ_ｃ測定ステップＳ７２０ａ’を挿入し、さらに、ステップＳ７２０を、押圧力ｐ_ｃも考慮したステップＳ７２０ｂ’に変更したものである。

（Ｓ７２０ａ’）指による押圧力ｐ_ｃを測定する。
（Ｓ７２０ｂ’）ステップＳ７１９で真の判定を行った際、取得・算出された奥行き量Ｓ_ｉ及び高低量変化分ΔＭ_ｉ、並びに測定された押圧力ｐ_ｃ値から振動強度Ｉ_ｉを算出する。この算出の際、上述した式（２）Ｉ_ｉ＝Ｃ’・ｐ_ｃ・｜ΔＭ_ｉ｜／Ｓ_ｉを用いることも好ましい。

このように、指による押圧力ｐ_ｃを考慮した振動強度を有する触覚振動を付与することによって、実際の空間で立体物をなぞる際に指の押し込む程度によって触覚が変化するリアル感を実現することができる。

以上、詳細に説明したように、本発明のユーザインタフェース装置、触覚振動付与方法及びプログラムによれば、画面に表示されたオブジェクト及び触覚対象画像に割り当てられた奥行き量Ｓ及び高低量Ｍに応じた振動強度Ｉを決定する。その結果、操作を行う指に対して、オブジェクト及び触覚対象画像に含まれる、奥行き及び高低といった３次元情報を付与することができる。

尚、以上に述べた実施形態は全て、本発明を例示的に示すものであって限定的に示すものではなく、本発明は、他の種々の変形態様及び変更態様で実施することができる。従って、本発明の範囲は、特許請求の範囲及びその均等範囲によってのみ規定されるものである。

１ 携帯型情報機器（ユーザインタフェース装置）
１００ タッチパネル
１００ａ タッチパネル面
１０１ ディスプレイ
１０２ 触覚振動機構部
１０３ 押圧力検出部
１０４、１０４ａ、１０４ｂ メニュープレート（オブジェクト）
１０５ａ、１０５ｂ、１０５ｃ、１０５ｄ、１０５ｅ、１０５ｆ、１０５ｇ アイコン（触覚対象画像）
１０６ 接触位置
１０７ 接触対応位置
１１０ 表示制御部
１１１ アプリケーション処理部
１２０ 奥行き量割当部
１２１ 高低量割当部
１２２ 接触位置判定部
１２３ 押圧力測定部
１２４ 奥行き・段差取得部
１２５ 触覚振動制御部
２ 階段オブジェクト
２００、２０１、２１０、２１１ ポリゴン

Claims (8)

1. 表示対象を画面に表示する画像表示部と、指の接触位置を逐次検出するタッチパネルとを備えたユーザインタフェース装置であって、
   前記タッチパネルに接触した当該指に対して、触覚をもたらす触覚振動を付与する触覚振動機構部と、
   前記画面内に設定される仮想空間に設置された表示対象であるオブジェクトであって、触覚の対象となる触覚対象画像が貼付されたオブジェクト上の各位置に、該仮想空間における基準点から当該各位置までの距離である奥行き量を割り当てる奥行き量割当手段と、
   当該触覚対象画像上の各位置に、当該触覚対象画像に対応する高低量を割り当てる高低量割当手段と、
   当該指の接触位置に対応するオブジェクト上の位置である接触対応位置が、当該触覚対象画像の表示位置範囲と重畳する際、該接触対応位置に割り当てられた奥行き量と、該接触対応位置に相当する該触覚対象画像上の位置に割り当てられた高低量とを取得する奥行き・高低取得手段と、
   取得された当該奥行き量と、当該指の接触位置の移動に伴う、取得された当該高低量の変化分とに応じた触覚振動を、当該指に対して前記タッチパネルを介して付与すべく前記触覚振動機構部に指示する触覚振動制御手段と
   を有することを特徴とするユーザインタフェース装置。
2. 第１のオブジェクト及び第２のオブジェクトが前記基準点側から見て少なくとも一部重畳していて、該第１のオブジェクトがより手前に位置する場合であって、該第１のオブジェクトと該第２のオブジェクトとの重畳領域内にある当該接触対応位置が、該第１のオブジェクトに貼付された第１の触覚対象画像の表示位置範囲と重畳せず、且つ該第２のオブジェクトに貼付された第２の触覚対象画像の表示位置範囲と重畳する際、
   前記奥行き・高低取得手段は、
   前記第２のオブジェクトの接触対応位置に割り当てられた奥行き量と、該接触対応位置に相当する前記第２の触覚対象画像上の位置に割り当てられた高低量とを取得する
   ことを特徴とする請求項１に記載のユーザインタフェース装置。
3. 前記触覚振動制御手段は、触覚振動の強度を、取得された当該奥行き量について単調減少関数となり、取得された当該高低量の変化分について単調増加関数となるように決定することを特徴とする請求項１又は２に記載のユーザインタフェース装置。
4. 当該指により前記タッチパネルに与えられた押圧力を検出する押圧力検出部を更に備えており、
   前記触覚振動制御手段は、取得された当該奥行き量、当該高低量の変化分、及び当該押圧力値に応じた触覚振動を当該指に対して付与させる
   ことを特徴とする請求項１から３のいずれか１項に記載のユーザインタフェース装置。
5. 前記触覚振動制御手段は、触覚振動の強度を、当該押圧力値について単調増加関数となるように決定することを特徴とする請求項４に記載のユーザインタフェース装置。
6. ユーザの操作から見て、当該指が、接触したまま移動して、前記画像表示部の画面に表示された前記オブジェクト上に貼付された当該触覚対象画像を横切るようになぞった際、当該指は、該触覚対象画像が前記仮想空間内においてより奥側に位置しているほど、より小さい強度の触覚振動を付与される
   ことを特徴とする請求項１から５のいずれか１項に記載のユーザインタフェース装置。
7. 表示対象を画面に表示する画像表示部と、指の接触位置を逐次検出するタッチパネルとを備えたユーザインタフェース装置に搭載されたプログラムであって、前記ユーザインタフェース装置が、
   前記タッチパネルに接触した当該指に対して、触覚をもたらす触覚振動を付与する触覚振動機構部を備えており、前記プログラムが、
   前記画面内に設定される仮想空間に設置された表示対象であるオブジェクトであって、触覚の対象となる触覚対象画像が貼付されたオブジェクト上の各位置に、該仮想空間における基準点から当該各位置までの距離である奥行き量を割り当てる奥行き量割当手段と、
   当該触覚対象画像上の各位置に、当該触覚対象画像に対応する高低量を割り当てる高低量割当手段と、
   当該指の接触位置に対応するオブジェクト上の位置である接触対応位置が、当該触覚対象画像の表示位置範囲と重畳する際、該接触対応位置に割り当てられた奥行き量と、該接触対応位置に相当する該触覚対象画像上の位置に割り当てられた高低量とを取得する奥行き・高低取得手段と、
   取得された当該奥行き量と、当該指の接触位置の移動に伴う、取得された当該高低量の変化分とに応じた触覚振動を、当該指に対して前記タッチパネルを介して付与すべく前記触覚振動機構部に指示する触覚振動制御手段と
   してコンピュータを機能させることを特徴とするユーザインタフェース装置用のプログラム。
8. 表示対象を画面に表示する画像表示部と、指の接触位置を逐次検出するタッチパネルとを備えたユーザインタフェース装置における触覚振動付与方法であって、前記ユーザインタフェース装置が、
   前記タッチパネルに接触した当該指に対して、触覚をもたらす触覚振動を付与する触覚振動機構部を備えており、前記触覚振動付与方法が、
   前記画面内に設定される仮想空間に設置された表示対象であるオブジェクトであって、触覚の対象となる触覚対象画像が貼付されたオブジェクト上の各位置に、該仮想空間における基準点から当該各位置までの距離である奥行き量を割り当てる第１のステップと、
   当該触覚対象画像上の各位置に、当該触覚対象画像に対応する高低量を割り当てる第２のステップと、
   当該指の接触位置に対応するオブジェクト上の位置である接触対応位置が、当該触覚対象画像の表示位置範囲と重畳する際、該接触対応位置に割り当てられた奥行き量と、該接触対応位置に相当する該触覚対象画像上の位置に割り当てられた高低量とを取得する第３のステップと、
   取得された当該奥行き量と、当該指の接触位置の移動に伴う、取得された当該高低量の変化分とに応じた触覚振動を、当該指に対して前記タッチパネルを介して付与すべく前記触覚振動機構部に指示する第４のステップと
   を有することを特徴とする触覚振動付与方法。

Images