JP6289100B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。

近年、カメラによって撮像された画像をタッチパネルと一体化されたディスプレイによって表示可能な電子機器が広く普及している。一方、タッチ操作時に筺体が振動する等して、ユーザに対して触感を与えることにより、より直観的な操作感をユーザに与えることを可能とした電子機器も現れている（例えば、特許文献１参照）。

特開２０１２−０５３６８７号公報

しかしながら、電子機器に表示された撮影画像にユーザがタッチした場合に被写体の触感を得ることができない。

本発明はこのような問題点に鑑みなされたもので、ユーザが画像をタッチした場合に、操作子に与える触感を設定することのできる仕組みを提供することを目的とする。

そこで、本発明は、情報処理装置であって、表示画面に画像を表示する表示制御手段と、触感設定モードにおいて、表示色に対応付けられた複数のボタンの中からいずれかを選択する選択手段と、前記表示画面に表示されている画像上に、前記選択手段で選択されたボタンに対応づけられている表示色で描画する描画手段と、前記描画手段により描画された領域を触感領域と設定するとともに、選択された前記ボタンに予め対応付けられている触感の種別を前記触感領域に設定する設定手段と、前記設定手段で設定した前記触感領域に関する情報を前記画像に関連付けて記録する記録手段とを有し、さらに、前記選択手段において、消しゴムボタンが選択されている場合に前記触感領域を指定したことに応じて、指定された領域に設定されている触感を削除することを特徴とする。

本発明によれば、ユーザが画像をタッチした場合に、操作子に与える触感を設定することができる。

電子機器１００を示す図である。 パレットテーブルのデータ構成の一例を示す図である。 触感設定モードにおける処理を示すフローチャートである。 触感設定モードにおける処理を示すフローチャートである。 触感マップのデータ構成の一例を示す図である。 触感再生モードにおける処理を示すフローチャートである。 触感設定モードにおける処理を示すフローチャートである。 触感設定モードにおける処理を示すフローチャートである。

以下、本発明の実施形態について図面に基づいて説明する。
図１は、情報処理装置としての電子機器１００を示す図である。電子機器１００は、携帯電話等により構成することができる。図１に示すように、内部バス１５０に対して、ＣＰＵ１０１、メモリ１０２、不揮発性メモリ１０３、画像処理部１０４、ディスプレイ１０５、操作部１０６、記録媒体Ｉ／Ｆ１０７、外部Ｉ／Ｆ１０９及び通信Ｉ／Ｆ１１０が接続されている。また、内部バス１５０に対して、撮像部１１２、荷重検出部１２１、触感生成部１２２及び触感生成部１２３が接続されている。内部バス１５０に接続される各部は、内部バス１５０を介して互いにデータのやりとりを行うことができる。
メモリ１０２は、例えばＲＡＭ（半導体素子を利用した揮発性のメモリ等）を有している。ＣＰＵ１０１は、例えば不揮発性メモリ１０３に格納されるプログラムに従い、メモリ１０２をワークメモリとして用いて、電子機器１００の各部を制御する。不揮発性メモリ１０３には、画像データや音声データ、その他のデータ、ＣＰＵ１０１が動作するための各種プログラム等が格納されている。不揮発性メモリ１０３は、例えばハードディスク（ＨＤ）やＲＯＭ等を有している。

画像処理部１０４は、ＣＰＵ１０１の制御に基づいて、画像データに対して各種画像処理を施す。画像処理が施される画像データとしては、不揮発性メモリ１０３や記録媒体１０８に格納された画像データ、外部Ｉ／Ｆ１０９を介して取得した映像信号、通信Ｉ／Ｆ１１０を介して取得した画像データ、撮像部１１２で撮像された画像データ等がある。
画像処理部１０４が行う画像処理には、Ａ／Ｄ変換処理、Ｄ／Ａ変換処理、画像データの符号化処理、圧縮処理、デコード処理、拡大／縮小処理（リサイズ）、ノイズ低減処理、色変換処理等が含まれる。画像処理部１０４は、例えば、特定の画像処理を施すための専用の回路ブロックである。また、画像処理の種別によっては、画像処理部１０４ではなく、ＣＰＵ１０１がプログラムに従って画像処理を実行することもできる。

ディスプレイ１０５は、ＣＰＵ１０１の制御に基づいて、画像やＧＵＩ（Graphical User Interface）を構成するＧＵＩ画面等を表示する。ＣＰＵ１０１は、プログラムに従い表示制御信号を生成し、ディスプレイ１０５に表示するための映像信号を生成し、これをディスプレイ１０５に出力するように、電子機器１００の各部を制御する。そして、ディスプレイ１０５は、映像信号に基づいて映像を表示する。
なお、他の例としては、電子機器１００は、ディスプレイ１０５を有さず、ディスプレイ１０５に表示させるための映像信号を出力するためのインターフェースを有することとしてもよい。この場合には、電子機器１００は、外付けのモニタ（テレビ等）に対し画像等を表示するものとする。

操作部１０６は、キーボード等の文字情報入力デバイスや、マウスやタッチパネル１２０等ポインティングデバイス、ボタン、ダイヤル、ジョイスティック、タッチセンサ、タッチパッド等、ユーザ操作を受け付けるための入力デバイスである。タッチパネル１２０は、ディスプレイ１０５に重ね合わせて平面的に構成され、接触された位置に応じた座標情報を出力する入力デバイスである。すなわち、タッチパネル１２０は、ディスプレイ１０５に対応する位置に設けられている。タッチパネル１２０は、入力面の一例である。また、ディスプレイ１０５は、表示画面の一例である。
記憶媒体Ｉ／Ｆ１０７には、メモリーカードやＣＤ、ＤＶＤ等の記録媒体１０８が装着可能である。記憶媒体Ｉ／Ｆ１０７は、ＣＰＵ１０１の制御に基づき、装着された記録媒体１０８からのデータの読み出しや、装着された記録媒体１０８へのデータの書き込みを行う。

外部Ｉ／Ｆ１０９は、外部機器と有線ケーブルや無線によって接続し、映像信号や音声信号の入出力を行うためのインターフェースである。通信Ｉ／Ｆ１１０は、外部機器やインターネット１１１等と通信（電話通信を含む）して、ファイルやコマンド等の各種データの送受信を行うためのインターフェースである。
撮像部１１２は、ＣＣＤセンサやＣＭＯＳセンサ等の撮像素子、ズームレンズ、フォーカスレンズ、シャッター、絞り、測距部、Ａ／Ｄ変換器等を有するカメラユニットである。撮像部１１２は、静止画及び動画を撮像することができる。撮像部１１２により撮像された画像の画像データは、画像処理部１０４に送信され、画像処理部１０４において、各種処理を施された後、静止画ファイル又は動画ファイルとして記録媒体１０８に記録される。

ＣＰＵ１０１は、タッチパネル１２０から出力されたタッチ位置の座標情報を、内部バス１５０を介して受信する。そして、ＣＰＵ１０１は、座標情報に基づいて、以下の操作や状態を検出する。
・タッチパネル１２０を指やペンで触れる操作（以下、タッチダウンと称する）。
・タッチパネル１２０を指やペンで触れている状態（以下、タッチオンと称する）。
・タッチパネル１２０を指やペンで触れたまま移動する操作（以下、ムーブと称する）。
・タッチパネル１２０へ触れていた指やペンを離す操作（以下、タッチアップと称する）。
・タッチパネル１２０に何も触れていない状態（以下、タッチオフと称する）。
ＣＰＵ１０１はさらに、ムーブを検出した場合には、タッチ位置の座標変化に基づいて、指やペンの移動方向を判定する。具体的には、ＣＰＵ１０１は、タッチパネル１２０上における移動方向の垂直成分及び水平成分それぞれを判定する。

ＣＰＵ１０１はまた、ストローク、フリック及びドラッグの各操作を検出する。ＣＰＵ１０１は、タッチダウンから一定のムーブを経てタッチアップが行われた場合に、ストロークを検出する。ＣＰＵ１０１は、所定距離以上且つ所定速度以上のムーブが検出され、続けてタッチアップが検出された場合に、フリックを検出する。ＣＰＵ１０１はまた、所定距離以上且つ所定速度未満のムーブが検出された場合に、ドラッグを検出する。
なお、フリックは、タッチパネル１２０上に指を触れたまま、ある程度の距離だけ素早く動かし、そのまま指をタッチパネル１２０から離す操作である。すなわち、フリックは、タッチパネル１２０上を指ではじくように素早くなぞる操作である。

タッチパネル１２０は、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサ方式等、様々な方式のタッチパネルのうちいずれの方式のものを用いても良い。
荷重検出部１２１は、接着等によりタッチパネル１２０と一体に設けられている。荷重検出部１２１は、歪みゲージセンサであり、タッチ操作の押圧力に応じてタッチパネル１２０が微少量撓む（歪む）ことを利用して、タッチパネル１２０に加わる荷重（押圧力）を検出する。他の例としては、荷重検出部１２１は、ディスプレイ１０５と一体に設けられてもよい。この場合、荷重検出部１２１は、ディスプレイ１０５を介して、タッチパネル１２０に加わる荷重を検出する。

触感生成部１２２は、タッチパネル１２０を操作する指やペン等の操作子に与える触感を生成する。触感生成部１２２は、接着等によりタッチパネル１２０と一体に設けられている。触感生成部１２２は、圧電（ピエゾ）素子、より具体的には圧電振動子であり、ＣＰＵ１０１の制御の下、任意の振幅及び周波数で振動する。これにより、タッチパネル１２０が湾曲振動し、タッチパネル１２０の振動が操作子に触感として伝わる。すなわち、触感生成部１２２は、自身が振動することにより、操作子に触感を与えるものである。
他の例としては、触感生成部１２２は、ディスプレイ１０５と一体に設けられていてもよい。この場合、触感生成部１２２は、ディスプレイ１０５を介して、タッチパネル１２０を湾曲振動させる。

なお、ＣＰＵ１０１は、触感生成部１２２の振幅及び周波数を変更し、様々なパターンで触感生成部１２２を振動させることにより、様々なパターンの触感を生成させることができる。

また、ＣＰＵ１０１は、タッチパネル１２０おいて検出されたタッチ位置と、荷重検出部１２１により検出された押圧力に基づいて、触感を制御することができる。例えば、操作子のタッチ操作に対応し、ＣＰＵ１０１が、ディスプレイ１０５に表示されたボタンアイコンに対応するタッチ位置を検出し、荷重検出部１２１が、所定値以上の押圧力を検出したとする。この場合、ＣＰＵ１０１は、１周期前後の振動を生成する。これにより、ユーザは、あたかも機械的なボタンを押しこんだ際のクリック感のような触感を知覚することができる。
さらにＣＰＵ１０１は、ボタンアイコンの位置へのタッチを検出している状態で所定値以上の押圧力を検出した場合にのみ、ボタンアイコンの機能を実行するものとする。すなわち、ＣＰＵ１０１は、単にボタンアイコンに触れた場合のように弱い押圧力を検知した場合には、ボタンアイコンの機能を実行しない。これにより、ユーザは、機械的なボタンを押しこんだ際と同じような感覚で操作を行うことができる。
なお、荷重検出部１２１は、歪みゲージセンサに限定されるものではない。他の例としては、荷重検出部１２１は、圧電素子を有してもよい。この場合、荷重検出部１２１は、押圧力に応じて圧電素子から出力される電圧に基づいて、荷重を検出する。さらに、この場合の荷重検出部１２１としての圧力素子は、触感生成部１２２としての圧力素子と共通であってもよい。

また、触感生成部１２２は、圧力素子による振動を生成するものに限定されるものではない。他の例としては、触感生成部１２２は、電気的な触感を生成するものであってもよい。例えば、触感生成部１２２は、導電層パネルと絶縁体パネルを有する。ここで、導電層パネルと絶縁体パネルは、タッチパネル１２０と同様に、ディスプレイ１０５に重ね合わされ、平面的に設けられている。そして、ユーザが絶縁体パネルに触れると、導電層パネルに正電荷がチャージされる。すなわち、触感生成部１２２は、導電層パネルに正電荷をチャージすることにより、電気刺激としての触感を生成することができる。また、触感生成部１２２は、ユーザに、クーロン力により皮膚が引っ張られるような感覚（触感）を与えるものであってもよい。
また他の例としては、触感生成部１２２は、正電荷をチャージするか否かを、パネル上の位置毎に選択可能な導電層パネルを有してもよい。そして、ＣＰＵ１０１は、正電荷のチャージ位置を制御する。これにより、触感生成部１２２は、ユーザに「ゴツゴツ感」、「ザラザラ感」、「さらさら感」等、様々な触感を与えることができる。

触感生成部１２３は、電子機器１００の全体を振動させることにより、触感を生成する。触感生成部１２３は、例えば偏心モーター等を有し、公知のバイブレーション機能等を実現する。これにより、電子機器１００は、触感生成部１２３が生成する振動により、電子機器１００を持つユーザの手等に触感を与えることができる。

本実施形態にかかる電子機器１００は、動作モードとして、触感設定モードと、触感再生モードとを有している。ここで、触感設定モードとは、ディスプレイ１０５に表示中の画像へのタッチダウンが検出された場合に、画像中のタッチダウンに対応する領域に対し、触感の設定を行うモードである。触感再生モードとは、触感設定モードにおいて触感が設定された画像へのタッチダウンが検出された場合に、タッチダウンがなされた領域に対して設定された触感を生成することにより、ユーザに触感を与えるモードである。
触感設定モードにおいては、ディスプレイ１０５には、触感パレットが表示される。触感パレットは、ユーザが、触感の種別及び強度を選択するためのユーザインタフェースであり、複数の触感ボタンを含んでいる。ここで、複数の触感ボタンそれぞれは、種別及び強度のうち少なくとも一方が異なる複数の触感に対応している。触感パレットはまた、消しゴムボタンを含んでいる。消しゴムボタンは、既に設定された触感を削除する際に利用される。

図２は、触感パレットに対応するパレットテーブルのデータ構成の一例を示す図である。パレットテーブル２００は、触感ボタン名と、触感情報とを対応付ける情報である。パレットテーブル２００は、例えば、不揮発性メモリ１０３等に予め格納されているものとする。
触感ボタン名は、触感ボタンの名称である。触感情報は、触感表示色と、触感種別と、触感強度とを含んでいる。ここで、触感種別は、「ゴツゴツ感」、「ザラザラ感」等触感の種別を示す情報である。触感強度は、触感の強さを示す情報である。触感強度が強い程、操作子に対し、より強い触感を与えることができる。触感表示色は、画像中の領域に触感情報に示される触感が設定された場合に、設定された領域を描画する色である。詳細については後述するが、触感が設定された場合には、設定された領域は、触感表示色で表示される。これにより、ユーザは、いずれの領域に触感が設定されたのかを視覚的に把握することができる。
図２に示すパレットテーブル２００においては、触感ボタン１には、触感表示色（２５５，１２８，０）、触感種別「触感Ａ」、触感強度「３」の触感情報が対応付けられている。触感ボタン３には、触感表示色（０，６４，６４）、触感種別「触感Ｃ」、触感強度「２」の触感情報が対応付けられている。

図３及び図４は、電子機器１００による、触感設定モードにおける処理を示すフローチャートである。なお、後述する電子機器１００の機能や処理は、ＣＰＵ１０１が不揮発性メモリ１０３等に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。
Ｓ３００において、ＣＰＵ１０１は、ディスプレイ１０５に処理対象の画像を表示し（表示処理）。次に、Ｓ３０１において、ＣＰＵ１０１は、タッチパネル１２０へのタッチダウンの有無を確認する。ＣＰＵ１０１は、タッチダウンが検出された場合には（Ｓ３０１でＹｅｓ）、処理をＳ３０２へ進める。ＣＰＵ１０１は、タッチダウンが検出されない場合には（Ｓ３０１でＮｏ）、処理を終了する。ここで、Ｓ３０１の処理は、ダッチダウン（タッチ入力）を検出する検出処理の一例である。

Ｓ３０２において、ＣＰＵ１０１は、タッチダウンがなされたタッチパネル１２０上の位置、すなわちタッチ位置が触感ボタン領域内か否かを確認する。ここで、触感ボタン領域とは、ディスプレイ１０５において触感ボタンが表示されている領域に対応するタッチパネル１２０上の領域である。なお、ＣＰＵ１０１は、タッチダウン検出後は、定期的に、タッチ位置を特定するものとする。ＣＰＵ１０１は、タッチ位置が触感ボタン領域内である場合には（Ｓ３０２でＹｅｓ）、処理をＳ３０３へ進める。ＣＰＵ１０１は、タッチ位置が触感ボタン領域外である場合には（Ｓ３０２でＮｏ）、処理をＳ３１０へ進める。
Ｓ３０３において、ＣＰＵ１０１は、タッチ位置に対応する触感ボタンの選択を受け付け、タッチ位置に対応する触感ボタンの操作状態を触感ボタン選択中に設定する。ここで、前述の通り、触感ボタンは、パレットテーブル２００において、触感情報に対応付けられている。すなわち、Ｓ３０３において、触感ボタンの選択を受け付ける処理は、触感種別の指定を受け付ける種別受付処理及び触感強度の指定を受け付ける強度受付処理の一例である。

次に、Ｓ３０４において、ＣＰＵ１０１は、触感ボタンにおいて、タッチ位置に対応する位置に配置されている触感ボタンの状態を「非選択」から「選択中」に変更する。なお、触感パレットに含まれる触感ボタンの状態は、メモリ１０２等に記憶されているものとする。また、各触感ボタンには、初期状態として「非選択」が設定されているものとする。
次に、Ｓ３０５において、ＣＰＵ１０１は、パレットテーブル２００を参照し、選択中の触感ボタンに対応する触感情報を特定する。そして、ＣＰＵ１０１は、特定した触感情報に示される種別及び強度の触感の生成を触感生成部１２２に指示する。これに対し、触感生成部１２２は、ＣＰＵ１０１からの指示に従い、触感を生成する。
なお、他の例としては、Ｓ３０５において、ＣＰＵ１０１は、触感の生成を触感生成部１２２に替えて、触感生成部１２３に指示してもよい。この場合、触感生成部１２３は、ＣＰＵ１０１からの指示に従い、触感を生成する。

次に、Ｓ３０６において、ＣＰＵ１０１は、タッチアップの有無を確認する。ＣＰＵ１０１は、タッチアップが検出された場合には（Ｓ３０６でＹｅｓ）、処理をＳ３０１へ進める。ＣＰＵ１０１は、タッチアップが検出されなかった場合には（Ｓ３０６でＮｏ）、処理をＳ３０５へ進める。すなわち、タッチオン状態が継続されている場合には、ＣＰＵ１０１は、Ｓ３０５において、触感の生成を継続する。
一方、Ｓ３１０において、ＣＰＵ１０１は、タッチ位置が消しゴム領域か否かを確認する。ここで、消しゴム領域とは、ディスプレイにおいて、消しゴムボタンが表示されている領域に対応するタッチパネル１２０上の領域である。ＣＰＵ１０１は、タッチ位置が消しゴム領域である場合には（Ｓ３１０でＹｅｓ）、処理をＳ３１１へ進める。ＣＰＵ１０１は、タッチ位置が消しゴム領域でない場合、すなわち表示中の画像上の位置である場合には（Ｓ３１１でＮｏ）、処理をＳ４００（図４）へ進める。Ｓ３１１において、ＣＰＵ１０１は、操作状態を消しゴム選択中に設定し、処理をＳ３００へ進める。

図４に示すＳ４００において、ＣＰＵ１０１は、触感ボタン選択中であるか否かを確認する。ＣＰＵ１０１は、触感ボタン選択中である場合には（Ｓ４００でＹｅｓ）、処理をＳ４０１へ進める。ＣＰＵ１０１は、触感ボタン選択中でない場合には（Ｓ４００でＮｏ）、処理をＳ４１０へ進める。なお、触感ボタン選択中でない場合とは、消しゴムボタン選択中の場合である。Ｓ４０１において、ＣＰＵ１０１は、パレットテーブル２００を参照し、触感ボタンに対応する触感情報を特定する。
次に、Ｓ４０２において、ＣＰＵ１０１は、タッチ位置に対応するディスプレイ１０５上の位置（表示画面上の位置）に表示された画像の領域を、触感領域として設定する（設定処理）。具体的には、ＣＰＵ１０１は、Ｓ４０１において特定した触感情報を、触感マップ中の、タッチ位置に対応するセルに設定することにより、タッチ位置に対応する画像の領域を触感領域として設定する。

図５は、触感マップのデータ構成の一例を示す図である。触感マップ５００は、複数のセルを有している。図５に示す５０１は、１つのセルを示している。触感マップ５００は、画像全体に対応し、１つのセルは画像中の１ピクセルに対応している。すなわち、触感マップ５００は、処理対象とする画像のピクセル数分のセルを有している。
図４のＳ４０２において、ＣＰＵ１０１は、具体的には、触感マップ５００において、タッチ位置に対応するセルを特定する。そして、ＣＰＵ１０１は、特定したセルに、Ｓ４０１において特定した触感情報（触感表示色、触感種別及び触感強度）を設定する。

次に、Ｓ４０３において、ＣＰＵ１０１は、Ｓ４０１において特定した触感情報（Ｓ４０２においてセルに設定された触感情報）に含まれる触感表示色の点を、タッチ位置に対応するディスプレイ１０５上の位置に描画する。これにより、ユーザは、表示中の画像のうち、触感が設定された位置を視覚的に把握することができる。ここで、触感表示色は、パレットテーブル２００において、予め設定されており、Ｒ，Ｇ，Ｂの３色の合成として表され、各色０〜２５５の範囲で色の強さが指定されている。
なお、パレットテーブル２００において触感ボタン毎に定められている触感表示色は、ディスプレイ１０５に表示される触感ボタンの表示色とは無関係であるが、これを同一の色としてもよい。触感表示色と触感ボタンの表示色を同一色とした場合には、ユーザは、触感表示色から、触感が設定された位置だけでなく、設定された触感種別を視覚的に把握することができる。

ここで、Ｓ４０３の処理は、ディスプレイに表示される画像のうち、タッチ位置に対応する領域、すなわち触感領域を、他の領域の表示態様と異なる表示態様で表示する表示処理の一例である。なお、Ｓ４０３における処理は、画像に重畳して、触感表示色の点を描画してディスプレイ１０５に表示する処理であり、表示中の画像そのものに変更を加える処理ではない。
Ｓ４０３において、ＣＰＵ１０１は、触感領域の表示態様を、他の領域の表示態様と異なる表示態様で表示すればよく、そのための具体的な処理は、実施形態に限定されるものではない。
なお、ＣＰＵ１０１は、後述の触感再生モードにおいては、触感領域に点を重畳して描画する処理は行わない。すなわち、触感再生モードにおいては、触感領域は、他の領域と同じ表示態様で表示される。

次に、Ｓ４０４において、ＣＰＵ１０１は、タッチアップの有無を確認する。ＣＰＵ１０１は、タッチアップが検出された場合には（Ｓ４０４でＹｅｓ）、処理を終了する。ＣＰＵ１０１は、タッチアップが検出されなかった場合には（Ｓ４０４でＮｏ）、処理をＳ４０５へ進める。Ｓ４０５において、ＣＰＵ１０１は、ムーブの有無を確認する。ＣＰＵ１０１は、ムーブが検出された場合には（Ｓ４０５でＹｅｓ）、処理をＳ４０１へ進める。ＣＰＵ１０１は、ムーブが検出されなかった場合には（Ｓ４０５でＮｏ）、処理をＳ４０４へ進める。
一方、Ｓ４１０において、ＣＰＵ１０１は、触感マップ５００においてタッチ位置に対応するセルに設定されている触感情報（触感表示色、触感種別及び触感強度）をクリア（削除）する。ここで、Ｓ４１０の処理は、タッチ位置の触感領域の設定を解除する解除処理の一例である。次に、Ｓ４１１において、ＣＰＵ１０１は、Ｓ４１１において、ＣＰＵ１０１は、タッチ位置に対応する触感領域の表示を、元の表示態様に戻す。具体的には、ＣＰＵ１０１は、Ｓ４０３において描画された点を削除する。

次に、Ｓ４１２において、ＣＰＵ１０１は、タッチアップの有無を確認する。ＣＰＵ１０１は、タッチアップが検出された場合には（Ｓ４１２でＹｅｓ）、処理を終了する。ＣＰＵ１０１は、タッチアップが検出されなかった場合には（Ｓ４１２でＮｏ）、処理をＳ４１３へ進める。Ｓ４１３において、ＣＰＵ１０１は、ムーブの有無を確認する。ＣＰＵ１０１は、ムーブが検出された場合には（４１３でＹｅｓ）、処理をＳ４１０へ進める。ＣＰＵ１０１は、ムーブが検出されなかった場合には（Ｓ４１３でＮｏ）、処理をＳ４１２へ進める。なお、ＣＰＵ１０１は、触感設定モードの終了時に、触感マップ５００に設定された触感情報を表示中の画像のヘッダ部分に記録することにより、画像と触感情報とを関連付ける。
以上のように、触感設定モードにおいて、ＣＰＵ１０１は、ユーザ操作に応じて触感の選択を受け付け、その後のタッチ操作に従い、表示中の画像の任意の位置に触感を設定することができる。さらに、ＣＰＵ１０１は、消しゴムの選択を受け付け、その後のタッチ操作に従い、既に設定された触感をクリアすることができる。

図６は、触感再生モードにおける処理を示すフローチャートである。Ｓ６００において、ＣＰＵ１０１は、タッチダウンの有無を確認する。ＣＰＵ１０１は、タッチダウンが検出された場合には（Ｓ６００でＹｅｓ）、処理をＳ６０１へ進める。ＣＰＵ１０１は、タッチダウンが検出されなかった場合には（Ｓ６００でＮｏ）、処理を終了する。
Ｓ６０１において、ＣＰＵ１０１は、触感マップ５００を参照し、タッチ位置に対応するセルに設定されている触感種別及び触感強度を特定する。次に、Ｓ６０２において、ＣＰＵ１０１は、Ｓ６０１において特定した触感種別及び触感強度の触感生成を触感生成部１２２に指示する。これに対し、触感生成部１２２は、ＣＰＵ１０１からの指示に従い、触感を生成する。なお、他の例としては、Ｓ６２０において、ＣＰＵ１０１は、触感の生成を触感生成部１２２に替えて、触感生成部１２３に指示してもよい。この場合、触感生成部１２３は、ＣＰＵ１０１からの指示に従い、触感を生成する。

次に、Ｓ６０３において、ＣＰＵ１０１は、タッチアップの有無を確認する。ＣＰＵ１０１は、タッチアップが検出された場合には（Ｓ６０３でＹｅｓ）、処理を終了する。ＣＰＵ１０１は、タッチアップが検出されなかった場合には（Ｓ６０３でＮｏ）、処理をＳ６０４へ進める。Ｓ６０４において、ＣＰＵ１０１は、ムーブの有無を確認する。ＣＰＵ１０１は、ムーブが検出された場合には（Ｓ６０４でＹｅｓ）、処理をＳ６０１へ進める。ＣＰＵ１０１は、ムーブが検出されなかった場合には（Ｓ６０４でＮｏ）、処理をＳ６０３へ進める。
以上のように、触感再生モードにおいて、ＣＰＵ１０１は、ユーザによる画像へのタッチ入力を検出した場合に、タッチ箇所の設定された触感を生成し、ユーザに触感を与えることができる。
以上のように、本実施形態にかかる電子機器１００は、ユーザが画像をタッチした場合に、操作子に与える触感を設定することができる。さらに、電子機器１００は、設定された触感を生成することができる。

（第２の実施形態）
次に、第２の実施形態にかかる電子機器１００について説明する。第２の実施形態にかかる電子機器１００は、ユーザから触感マップの複数のセルに対応する設定範囲の指定を受け付ける。そして、設定範囲に対応する画像の領域を、触感領域として設定する。ここでは、第２の実施形態にかかる電子機器１００について、第１の実施形態にかかる電子機器１００と異なる点について説明する。
図７は、第２の実施形態にかかる電子機器１００による、触感設定モードにおける処理を示すフローチャートである。なお、第２の実施形態にかかる電子機器１００は、第１の実施形態にかかる電子機器１００と同様にＳ３００〜Ｓ３１１（図３）の処理を行う。そして、タッチ位置が触感ボタン領域でなく、かつ消しゴム領域でない場合（Ｓ３０２でＮｏ、Ｓ３１０でＮｏ）、すなわち表示中の画像上の位置である場合には、処理を図７に示すＳ７００へ進める。

Ｓ７００において、ＣＰＵ１０１は、触感ボタン選択中であるか否かを確認する。ＣＰＵ１０１は、触感ボタン選択中である場合には（Ｓ７００でＹｅｓ）、処理をＳ７０１へ進める。ＣＰＵ１０１は、触感ボタン選択中でない場合には（Ｓ７００でＮｏ）、処理をＳ７１０へ進める。
Ｓ７０１において、ＣＰＵ１０１は、タッチ位置を選択範囲の始点に設定する。次に、Ｓ７０２において、タッチアップの有無を確認する。ＣＰＵ１０１は、タッチアップが検出された場合には（Ｓ７０２でＹｅｓ）、処理を終了する。ＣＰＵ１０１は、タッチアップが検出されなかった場合には（Ｓ７０２でＮｏ）、処理をＳ７０３へ進める。Ｓ７０３において、ＣＰＵ１０１は、ムーブの有無を確認する。ＣＰＵ１０１は、ムーブが検出された場合には（Ｓ７０３でＹｅｓ）、処理をＳ７０４へ進める。ＣＰＵ１０１は、ムーブが検出されなかった場合には（Ｓ７０３でＮｏ）、Ｓ７０２へ進める。

Ｓ７０４において、ＣＰＵ１０１は、タッチアップの有無を確認する。ＣＰＵ１０１は、タッチアップが検出された場合には（Ｓ７０４でＹｅｓ）、処理をＳ７０５へ進める。ＣＰＵ１０１は、タッチアップが検出されなかった場合には（Ｓ７０４でＮｏ）、Ｓ７０４に戻り、タッチアップが検出されるまで待機する。
Ｓ７０５において、ＣＰＵ１０１は、タッチアップが検出されたタッチ位置を設定範囲の終点に設定する。そして、ＣＰＵ１０１は、Ｓ７０１において設定された始点と、終点とを対角とする矩形領域を設定範囲として設定する。ここで、Ｓ７０１〜Ｓ７０５の処理は、ＣＰＵ１０１が設定範囲の指定を受け付ける範囲受付処理の一例である。

次に、Ｓ７０６において、ＣＰＵ１０１は、パレットテーブル２００を参照し、選択中の触感ボタンに対応する触感情報を特定する。次に、Ｓ７０７において、ＣＰＵ１０１は、設定範囲に対応する画像の領域を触感領域として特定し、特定した触感領域に対応する触感マップ中のセルに、Ｓ７０６において特定した触感情報を設定する。次に、Ｓ７０８において、ＣＰＵ１０１は、Ｓ７０６において特定した触感情報（Ｓ７０７においてセルに設定された触感情報）に含まれる触感表示色の点を、設定範囲に対応するディスプレイ１０５上の位置に描画する。
一方、Ｓ７１０において、ＣＰＵ１０１は、タッチ位置を設定範囲の始点に設定する。次に、Ｓ７１１において、タッチアップの有無を確認する。ＣＰＵ１０１は、タッチアップが検出された場合には（Ｓ７１１でＹｅｓ）、処理を終了する。ＣＰＵ１０１は、タッチアップが検出されなかった場合には（Ｓ７１１でＮｏ）、処理をＳ７１２へ進める。Ｓ７１２において、ＣＰＵ１０１は、ムーブの有無を確認する。ＣＰＵ１０１は、ムーブが検出された場合には（Ｓ７１２でＹｅｓ）、処理をＳ７１３へ進める。ＣＰＵ１０１は、ムーブが検出されなかった場合には（Ｓ７１２でＮｏ）、Ｓ７１１へ進める。

Ｓ７１３において、ＣＰＵ１０１は、タッチアップの有無を確認する。ＣＰＵ１０１は、タッチアップが検出された場合には（Ｓ７１３でＹｅｓ）、処理をＳ７１４へ進める。ＣＰＵ１０１は、タッチアップが検出されなかった場合には（Ｓ７１３でＮｏ）、Ｓ７１３に戻り、タッチアップが検出されるまで待機する。
Ｓ７１４において、ＣＰＵ１０１は、タッチアップが検出されたタッチ位置を設定範囲の終点に設定する。そして、ＣＰＵ１０１は、Ｓ７１０において設定された始点と、終点とを対角とする矩形領域を設定範囲として設定する。次に、Ｓ７１５において、ＣＰＵ１０１は、触感マップ５００において、設定範囲に対応するセルに設定されている触感情報（触感表示色、触感種別及び触感強度）をクリア（削除）する。次に、Ｓ７１６において、ＣＰＵ１０１は、設定範囲に対応する触感領域の表示を、元の表示態様に戻す。具体的には、ＣＰＵ１０１は、Ｓ７０８において描画された点を削除する。

以上のように、第２の実施形態にかかる電子機器１００は、ユーザにより指定された設定範囲を単位として、触感の設定及び削除を行うことができる。これにより、ユーザは、一度の操作で、広範囲に対する設定及び削除を指示することができる。
なお、第２の実施形態にかかる電子機器１００のこれ以外の構成及び処理は、第１の実施形態にかかる電子機器１００の構成及び処理と同様である。

（第３の実施形態）
次に、第３の実施形態にかかる電子機器１００について説明する。第３の実施形態にかかる電子機器１００は、ユーザ指示に従い、タッチ位置に対し、触感領域を設定するのと同時に、タッチ位置に対応する画像中の画素の色を変更する。ここでは、第３の実施形態にかかる電子機器１００について、第１の実施形態にかかる電子機器１００と異なる点について説明する。
図８は、第３の実施形態にかかる電子機器１００による、触感設定モードにおける処理を示すフローチャートである。なお、第２の実施形態にかかる電子機器１００は、第１の実施形態にかかる電子機器１００と同様にＳ３００〜Ｓ３１１（図３）の処理を行う。また、Ｓ４００以降の処理(図４)も、第１の実施形態にかかる電子機器１００の処理とほぼ同様である。図８において、図４に示す各処理と同じ処理には、同一番号を付している。

図８に示すように、第３の実施形態にかかる電子機器１００のＣＰＵ１０１は、Ｓ４０３において、触感領域に触感表示色の点を描画した後、処理をＳ８００へ進める。Ｓ８００において、ＣＰＵ１０１は、画像中のタッチ位置に対応する位置の画素の色を触感表示色に変更し、その後、処理をＳ４０４へ進める。すなわち、Ｓ８００において、ＣＰＵ１０１は、画像データ自体の書き替えを行う。ここで、Ｓ８００の処理は、画像集処理の一例である。なお、Ｓ８００の処理は、Ｓ４０１の処理後であって、Ｓ４０４の処理前に実行されればよく、処理順番は、実施形態に限定されるものではない。
一方、ＣＰＵ１０１は、Ｓ４１１において、触感領域の表示を、元の表示態様に戻した後、処理をＳ８１０へ進める。Ｓ８１０において、ＣＰＵ１０１は、画像中のタッチ位置に対応する位置の画素の色を触感表示色から、元の画素の色に戻し、その後、処理をＳ４１２へ進める。ここで、Ｓ８１０の処理は、Ｓ４００の処理の後であって、Ｓ４１２の処理前に実行されればよく、処理順番は、実施形態に限定されるものではない。

以上のように、第３の実施形態にかかる電子機器１００は、ユーザにより指定された位置に触感を設定するのと同時に、表示色を変更するように画像を編集することができる。さらに、電子機器１００は、ユーザにより指定された位置の触感をクリアするのと同時に、表示色を元の画像の色に戻すように編集することができる。
なお、第３の実施形態にかかる電子機器１００のこれ以外の構成及び処理は、他の実施形態にかかる電子機器１００の構成及び処理と同様である。

第３の実施形態にかかる電子機器１００の変更例としては、ＣＰＵ１０１は、ユーザから、触感パレットにおいて、触感情報の指定を受け付けるのと別に、表示色の指定を受け付けてもよい（色受付処理）。この場合には、Ｓ８００において、ＣＰＵ１０１は、画像中のタッチ位置に対応する位置の画素の色を、指定された指定色に変更するような画像編集を行えばよい。

＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

以上、上述した各実施形態によれば、ユーザが画像をタッチした場合に、操作子に与える触感を設定することができる。

本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。

プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。
また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。

１００ 電子機器、１０１ ＣＰＵ、１０２ メモリ、１０３ 不揮発性メモリ、１０５ ディスプレイ、１２０ タッチパネル、１２１ 荷重検出部、１２２，１２３ 触感生成部

Claims (24)

1. 表示画面に画像を表示する表示制御手段と、
   触感設定モードにおいて、表示色に対応付けられた複数のボタンの中からいずれかを選択する選択手段と、
   前記表示画面に表示されている画像上に、前記選択手段で選択されたボタンに対応づけられている表示色で描画する描画手段と、
   前記描画手段により描画された領域を触感領域と設定するとともに、選択された前記ボタンに予め対応付けられている触感の種別を前記触感領域に設定する設定手段と、
   前記設定手段で設定した前記触感領域に関する情報を前記画像に関連付けて記録する記録手段と
   を有し、
   さらに、前記選択手段において、消しゴムボタンが選択されている場合に前記触感領域を指定したことに応じて、指定された領域に設定されている触感を削除することを特徴とする情報処理装置。
2. 触感の種別を指定する指定手段をさらに有し、
   前記設定手段は、前記触感領域毎に指定された触感の種別をさらに設定し、
   前記記録手段は、前記画像に関連付けて、前記触感領域毎に指定された触感の種別を記録することを特徴とする請求項１に記載の情報処理装置。
3. 前記表示制御手段は、前記触感領域を、前記選択手段で選択されたボタンによって異なる表示色で表示することを特徴とする請求項１又は２に記載の情報処理装置。
4. 触感の強度の指定を受け付ける強度受付手段をさらに有し、
   前記設定手段は、前記触感領域毎に指定された強度をさらに設定し、
   前記記録手段は、前記画像に関連付けて、前記触感領域毎に指定された触感の強度を記録する請求項２又は３に記載の情報処理装置。
5. ユーザによる操作子を用いた表示画面へのタッチ入力を検出する検出手段をさらに有し、
   前記設定手段は、前記検出手段が検出したタッチ入力により前記表示画面内での範囲の指定を受け付けて、受け付けた当該範囲を前記触感領域として設定することを特徴とする請求項１乃至４の何れか１項に記載の情報処理装置。
6. 前記表示画面を介して操作子に与える触感を生成する触感生成手段をさらに有し、
   前記検出手段が、前記触感領域へのタッチ入力を検出した場合に、前記触感生成手段は、前記触感領域に設定されている触感を生成することを特徴とする請求項５に記載の情報処理装置。
7. 前記触感領域の色を指定する色指定手段をさらに有し、
   前記表示制御手段は、前記触感領域の色を、前記色指定手段で指定された色で表示することを特徴とする請求項１乃至６の何れか１項に記載の情報処理装置。
8. さらに、前記ユーザによりタッチされた領域が、前記設定手段により設定された前記触感領域である場合に、当該領域に設定されている触感の種別での触感を提供する触感再生モードを有することを特徴とする請求項５又は６に記載の情報処理装置。
9. 情報処理装置が実行する情報処理方法であって、
   表示画面に画像を表示する表示制御ステップと、
   触感設定モードにおいて、表示色に対応付けられた複数のボタンの中からいずれかを選択する選択ステップと、
   前記表示画面に表示されている画像上に、前記選択ステップにおいて選択されたボタンに対応づけられている表示色で描画する描画ステップと、
   前記描画ステップにおいて描画された領域を触感領域と設定するとともに、選択された前記ボタンに予め対応付けられている触感の種別を前記触感領域に設定する設定ステップと、
   前記設定ステップにおいて設定した前記触感領域に関する情報を前記画像に関連付けて記録する記録ステップと
   を含み、
   さらに、前記選択ステップにおいて、消しゴムボタンが選択されている場合に前記触感領域を指定したことに応じて、指定された領域に設定されている触感を削除することを特徴とする情報処理方法。
10. 触感の種別を指定する指定ステップをさらに含み、
    前記設定ステップでは、前記触感領域毎に指定された触感の種別をさらに設定し、
    前記記録ステップでは、前記画像に関連付けて、前記触感領域毎に指定された触感の種別を記録することを特徴とする請求項９に記載の情報処理方法。
11. 前記表示制御ステップでは、前記触感領域を、前記選択ステップにおいて選択されたボタンによって異なる表示色で表示することを特徴とする請求項９又は１０に記載の情報処理方法。
12. 触感の強度の指定を受け付ける強度受付ステップをさらに含み、
    前記設定ステップでは、前記触感領域毎に指定された強度をさらに設定し、
    前記記録ステップでは、前記画像に関連付けて、前記触感領域毎に指定された触感の強度を記録する請求項１０又は１１に記載の情報処理方法。
13. ユーザによる操作子を用いた表示画面へのタッチ入力を検出する検出ステップをさらに含み、
    前記設定ステップでは、前記検出ステップにおいて検出したタッチ入力により前記表示画面内での範囲の指定を受け付けて、受け付けた当該範囲を前記触感領域として設定することを特徴とする請求項９乃至１２の何れか１項に記載の情報処理方法。
14. 前記表示画面を介して操作子に与える触感を生成する触感生成ステップをさらに含み、
    前記検出ステップにおいて前記触感領域へのタッチ入力を検出した場合に、前記触感生成ステップでは、前記触感領域に設定されている触感を生成することを特徴とする請求項１３に記載の情報処理方法。
15. 前記触感領域の色を指定する色指定ステップをさらに含み、
    前記表示制御ステップでは、前記触感領域の色を、前記色指定ステップで指定された色で表示することを特徴とする請求項９乃至１４の何れか１項に記載の情報処理方法。
16. さらに、前記ユーザによりタッチされた領域が、前記設定ステップにおいて設定された前記触感領域である場合に、当該領域に設定されている触感の種別での触感を提供する触感再生モードを有することを特徴とする請求項１３又は１４に記載の情報処理方法。
17. コンピュータを、
    表示画面に画像を表示する表示制御手段と、
    触感設定モードにおいて、表示色に対応付けられた複数のボタンの中からいずれかを選択する選択手段と、
    前記表示画面に表示されている画像上に、前記選択手段で選択されたボタンに対応づけられている表示色で描画する描画手段と、
    前記描画手段により描画された領域を触感領域と設定するとともに、選択された前記ボタンに予め対応付けられている触感の種別を前記触感領域に設定する設定手段と、
    前記設定手段で設定した前記触感領域に関する情報を前記画像に関連付けて記録する記録手段と
    して機能させるためのプログラムで、
    さらに、前記選択手段において、消しゴムボタンが選択されている場合に前記触感領域を指定したことに応じて、指定された領域に設定されている触感を削除することを特徴とすることを特徴とするプログラム。
18. 触感の種別を指定する指定手段としてさらに機能させ、
    前記設定手段は、前記触感領域毎に指定された触感の種別をさらに設定し、
    前記記録手段は、前記画像に関連付けて、前記触感領域毎に指定された触感の種別を記録することを特徴とする請求項１７に記載のプログラム。
19. 前記表示制御手段は、前記触感領域を、前記選択手段で選択されたボタンによって異なる表示色で表示することを特徴とする請求項１７又は１８に記載のプログラム。
20. 触感の強度の指定を受け付ける強度受付手段としてさらに機能させ、
    前記設定手段は、前記触感領域毎に指定された強度をさらに設定し、
    前記記録手段は、前記画像に関連付けて、前記触感領域毎に指定された触感の強度を記録する請求項１８又は１９に記載のプログラム。
21. ユーザによる操作子を用いた表示画面へのタッチ入力を検出する検出手段としてさらに機能し、
    前記設定手段は、前記検出手段が検出したタッチ入力により前記表示画面内での範囲の指定を受け付けて、受け付けた当該範囲を前記触感領域として設定する請求項１７乃至２０の何れか１項に記載のプログラム。
22. 前記表示画面を介して操作子に与える触感を生成する触感生成手段としてさらに機能させ、
    前記検出手段が、前記触感領域へのタッチ入力を検出した場合に、前記触感生成手段は、前記触感領域に設定されている触感を生成することを特徴とする請求項２１に記載のプログラム。
23. 前記触感領域の色を指定する色指定手段としてさらに機能させ、
    前記表示制御手段は、前記触感領域の色を、前記色指定手段で指定された色で表示することを特徴とする請求項１７乃至２２の何れか１項に記載のプログラム。
24. さらに、前記ユーザによりタッチされた領域が、前記設定手段により設定された前記触感領域である場合に、当該領域に設定されている触感の種別での触感を提供する触感再生モードを有することを特徴とする請求項２１又は２２に記載のプログラム。

Images