JP6948971B2 - 触感情報システム、触感情報処理装置およびプログラム - Google Patents

Description

本発明は、触感情報システム、触感情報処理装置およびプログラムに関する。

例えば特許文献１には、物体と、該物体は、実物体又は仮想物体であり、物体により及び又は物体への位置、速度、加速度、形状、変位、変形、振幅、回転、振動、力、トルク、圧力、湿度、温度、粘性、弾性の少なくとも１つを備える刺激を検知するセンサと、前記物体に操作者の感覚特性及び又は錯覚を適用して、該操作者に実際の該物体を操作したかのような触力覚を提示する触力覚提示装置と、該触力覚提示装置をセンサからの刺激を基に制御する触力覚提示制御装置と、前記触力覚提示制御装置は、人の身体に印加される刺激量と感覚量との関係を示す感覚特性が、非線形及び又は錯覚であることを利用して刺激を制御して触力覚情報を提示し、前記感覚特性は、前記操作者に与えられる刺激量及び操作者の操作によってもたらされる刺激量の少なくとも１つの刺激量と操作者に提示される感覚量とを備え、該感覚量は物理的に存在し得ない感覚量であり、前記触力覚提示装置は、前記物体により及び又は物体への刺激を提示し、そして操作者の操作に合わせて物体に印加される刺激を制御して触力覚を生成してなる触力覚情報提供システムが記載されている。

特開２０１７−７３１０１号公報

ところで、例えばユーザ（購入者）が通信販売や店舗販売等において商品を購入しようとする際に、商品等の触感を再現するデバイスを利用してユーザが触感を体感することができれば、購入前に商品等の触感を確認したり、購入後における商品等の経時変化を事前に確認したりすることができる。ただし、存在する商品は膨大な数に及ぶため、触感を再現するために用いられる触感情報を収集するには非常に手間がかかる。
本発明は、触感を再現するために用いられる触感情報を効率よく収集することを目的とする。

かかる目的のもと、本発明は、対象物の触感に関する触感情報を検出する触感検出手段と、前記触感検出手段が前記触感情報を検出する前記対象物を少なくとも含む画像を検出する画像検出手段と、前記画像と前記触感情報とを関連付ける関連手段と、前記対象物に対して前記触感情報の検出とは異なる処理を行う処理手段と、を備え、前記触感検出手段は、前記処理手段による前記処理が行われる際に前記対象物の前記触感情報を検出する触感情報システムである。
ここで、前記画像検出手段は、少なくとも前記触感検出手段および前記対象物が含まれる画像を検出することを特徴とすることができる。
また、前記関連手段は、前記触感検出手段によって前記触感情報が検出されたときの前記画像を当該触感情報に関連付けることを特徴とすることができる。
さらに、前記触感情報が検出されたときの前記触感検出手段の位置を特定する位置特定手段を備え、前記関連手段は、前記画像における前記触感検出手段の位置に対応する画像要素に前記触感情報を関連付けることを特徴とすることができる。
また、前記画像検出手段は、前記処理手段に設けられることを特徴とすることができる。
そして、前記触感検出手段は、ユーザの身体の少なくとも一部に装着されることを特徴とすることができる。
ここで、前記対象物の画像から当該対象物の名称を特定する特定手段を備え、前記関連手段は、前記特定手段が特定した前記対象物の名称と、当該対象物の前記触感情報とを関連付けることを特徴とすることができる。
また、かかる目的のもと、本発明は、対象物の触感に関する触感情報を取得する触感情報取得手段と、前記触感情報取得手段が前記触感情報を取得する前記対象物を少なくとも含む画像を取得する画像取得手段と、前記画像と前記触感情報とを関連付ける関連手段と、前記対象物に対して前記触感情報の取得とは異なる処理を行う処理手段と、を備え、前記触感情報取得手段は、前記処理手段による前記処理が行われる際に前記対象物の前記触感情報を取得する触感情報処理装置である。
また、かかる目的のもと、本発明は、触感に関する情報を処理する情報処理装置として機能するコンピュータに、対象物の触感に関する触感情報を取得する機能と、前記触感情報が取得された前記対象物を少なくとも含む画像を取得する機能と、前記画像と前記触感情報とを関連付ける機能と、前記対象物に対して前記触感情報の取得とは異なる処理を行う機能と、前記触感情報の取得とは異なる処理が行われる際に前記対象物の前記触感情報を取得する機能と、を実現させるプログラムである。

本発明によれば、触感を再現するために用いられる触感情報を効率よく収集することができる。

本実施形態の触感情報システムの一例の全体図である。 本実施形態のサーバ装置の構成を示す一例のブロック図である。 本実施形態の触感情報管理部が管理する触感情報の管理データの一例である。 本実施形態の触感再現装置の全体図の一例である。 本実施形態の触感情報システムにおける触感情報の取得の際のフロー図である。 触感情報システムにおける触感情報の取得の適用例１の説明図である。 触感情報システムにおける触感情報の取得の適用例２の説明図である。 触感情報システムにおける触感情報の取得の適用例３の説明図である。

以下、添付図面を参照して、本発明を実施するための形態について説明する。
図１は、本実施形態の触感情報システム１の一例の全体図である。

［触感情報システム１］
図１に示すように、本実施形態の触感情報システム１は、複数の機器と通信接続するサーバ装置１０（関連手段の一例）と、人や商品（以下、対象物と呼ぶ）の触感を検出する触感センサ２０（触感検出手段の一例）と、対象物を撮影するカメラ３０（画像検出手段の一例）と、対象物の触感を再現する触感再現装置４０とを備える。なお、サーバ装置１０、触感センサ２０、カメラ３０および触感再現装置４０は、ネットワークを介して相互に情報通信が可能になっている。

なお、ネットワークは、各装置の間のデータ通信に用いられる通信ネットワークであれば特に限定されず、例えばＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、インターネット等として良い。データ通信に用いられる通信回線は、有線か無線かを問わず、これらを併用しても良い。また、各装置は、ゲートウェイ装置やルータ等の中継装置を用い、複数のネットワークや通信回線を介して接続されても良い。

また、図１に示す例では、一つのサーバ装置１０が示されているが、サーバ装置１０は、単体のサーバマシンに限定されない。サーバ装置１０は、ネットワーク上に設けられた複数のサーバマシンに分散させてサーバ装置１０の機能を実現しても良い（いわゆるクラウド環境等）。

さらに、触感センサ２０およびカメラ３０などの各装置は、例えばBluetooth（登録商標）などの近距離通信技術等を用いて、サーバ装置１０等を介さずに、相互に情報通信を行うように構成されていても構わない。

本実施形態の触感情報システム１では、触感センサ２０によって対象物から触感情報を検出する。また、触感情報システム１では、カメラ３０によって触感センサ２０が触感情報を検出する対象物の画像情報を取得する。
そして、本実施形態の触感情報システム１は、画像情報に基づいて対象物の名称を特定する。そして、触感情報システム１では、対象物の名称と、その対象物の触感情報とを関連付けて記憶する。

その後、触感情報システム１では、所定の名称の対象物について触感の再現をユーザから要求された場合、触感再現装置４０にて、所定の名称に関連付けられた触感情報に基づいて触感を再現する。これにより、本実施形態の触感情報システム１では、所定の名称の対象物が手元にない状態であっても、所定の名称の対象物の触感をユーザに体感させることができるようになっている。

なお、本実施形態の触感情報システム１において、対象物の触感情報の収集は、対象物の製造時、出荷時、流通時、販売時、購入後など様々な場面で行うことが可能である。

〔サーバ装置１０〕
図２は、本実施形態のサーバ装置１０の構成を示す一例のブロック図である。
サーバ装置１０は、触感検出データを取得する触感検出データ取得部１１と、カメラ３０が撮影した画像データを取得する画像データ取得部１２と、画像データに基づいて対象物の名称を特定する対象物特定部１３と、対象物の名称および触感検出データを関連づけて管理する触感情報管理部１４と、を備える。

（触感検出データ取得部１１）
触感検出データ取得部１１は、触感センサ２０から触感検出データを取得する。そして、触感検出データ取得部１１は、触感検出データに、触感検出データが検出されたときの時間情報を紐づけて記憶する。
なお、本実施形態の説明において、触感情報には、触感センサ２０が生成した生データである触感検出データが含まれる。また、触感情報には、触感検出データに基づいて作成された情報や、触感検出データを加工した情報が含まれる。具体的には、触感情報には、触感検出データに基づいて、触感をテキスト情報化（ツルツル、ザラザラ等）したものが含まれる。

本実施形態において、触感検出データの検出対象となる対象物には、ユーザが触れることが可能であって、触感自体に意義がある商品や人の身体の部位が含まれる。例えば、対象物には、衣服類やアクセサリ類などの服飾品、ぬいぐるみやおもちゃなどの娯楽品、ソファーやカーペットなどの家具や、仕事や勉強で用いる事務用品、スポーツで用いるスポーツ用品、趣味などで用いるアウトドア用品、ユーザが食する食品などが含まれる。また、対象物には、人の肌、髪、筋肉など身体の部位が含まれる。

（画像データ取得部１２）
画像データ取得部１２は、カメラ３０から画像データを取得する。具体的には、画像データ取得部１２は、触感検出データ取得部１１から触感検出データが検出されたときの時間情報を取得する。そして、画像データ取得部１２は、時間情報に対応するときの画像データ（フレーム画像）をカメラ３０から取得する。そして、画像データ取得部１２は、画像データに、画像データが撮影されたときの時間情報を紐づけて記憶する。

なお、画像データ取得部１２は、後述するように、触感検出データが検出されたときと全く同じ時間の画像データをカメラ３０から取得することのみならず、触感検出データが検出されたときから予め定められた時間だけ遡った時点での画像データをカメラ３０から取得する場合がある。

（対象物特定部１３）
対象物特定部１３は、画像データ取得部１２が取得した画像データに基づいて触感センサ２０が接触している対象物の名称を特定する。そして、対象物特定部１３は、特定した対象物の名称に検出時間情報を紐付けて、対象物の名称を触感情報管理部１４に渡す。

具体的には、対象物特定部１３は、対象物の全体が撮影された画像データに基づいて、その対象物の名称を特定する。そして、対象物特定部１３は、画像データにおいて画像認識の対象となる対象物画像と対象物画像以外の背景や隣接する物などの画像とを区別する。さらに、対象物特定部１３は、予め記憶されている多数の画像の中から対象物画像に最も類似する類似画像を検索する。そして、対象物特定部１３は、対象物に対して検索した類似画像の名称を付与する。

なお、対象物特定部１３は、対象物にテキスト情報（例えば、メーカ名、商品名等）が付されている場合、取得した画像データにおける対象物のテキスト情報をテキスト認識によって読み取っても良い。

さらに、本実施形態の対象物特定部１３は、カメラ３０から取得した画像データに基づいて、対象物の名称のみならず各種の情報を特定する。具体的には、対象物特定部１３は、対象物を含む画像データに基づいて、対象物の名称の他に、対象物の色や柄、対象物のサイズ、対象物の材料（原料）、内容量などの各種情報を特定しても良い。そして、特定された各種の情報が、その対象物の触感情報に関連付けられるようにしても良い。

（触感情報管理部１４）
図３は、本実施形態の触感情報管理部１４が管理する触感情報の管理データの一例である。
触感情報管理部１４は、対象物特定部１３が特定した対象物と、触感検出データ取得部１１が取得した触感検出データを関連付ける。具体的には、触感情報管理部１４は、時間情報に基づいて、対象物と触感検出データとを関連付ける。触感情報管理部１４は、特定の日時（例えば、２０１８年１月１日１２時３４分５６秒）に検出された触感検出データに対して、同じ特定の日時（例えば、２０１８年１月１日１２時３４分５６秒）に撮影された画像データにより特定される対象物を関連付ける。

そして、図３に示すように、触感情報管理部１４は、管理データ１４０の管理を行う。本実施形態の管理データ１４０は、「管理番号１４１」、「触感検出データ１４２」、「取得日時１４３」、「画像データ１４４」、「名称１４５」および「関連商品１４６」の項目を備えている。そして、各々の項目は、相互に関連付けられて管理される。
なお、管理データ１４０のおける項目は一例であり、上述したように、画像データから得られる各種の情報を管理データ１４０に含めることができる。

管理番号１４１は、触感検出データごとに付される個別の番号である。管理データ１４０として触感検出データが登録されると、その後は、管理番号１４１に基づいて管理することができる。
触感検出データ１４２は、触感センサ２０から取得した触感検出データに関する情報である。
取得日時１４３は、触感検出データが検出されたときの時間情報である。ここでは、取得日時１４３は、年月日時分秒で特定されている。
画像データ１４４は、カメラ３０から取得した画像データに関する情報である。
名称１４５は、対象物特定部１３によって特定された対象物に関する情報である。

関連商品１４６は、対象物の触感に影響する商品の名称に関する情報である。本実施形態において、対象物の触感に影響を及ぼす商品が存在する。例えば、人の肌や髪が対象物となる場合には、化粧品やシャンプーなどの美容品が関連商品に相当する。また、例えば、人の筋肉が対象物となる場合には、トレーニング器具やサプリメントが関連商品に相当する。また、自動車のボディーが対象物となる場合には、ワックスなどが関連商品に相当する。なお、関連商品に関する情報は、商品名称に関連付けてサーバ装置１０に予め記憶されている。

〔触感センサ２０〕
触感センサ２０は、触感再現装置４０で用いる触感検出データを検出する。触感検出データは、対象物の圧覚、触覚、力覚のうち少なくとも一つを検出する。なお、触感センサ２０は、これらの感覚に加えて、温度感覚をさらに検出しても良い。

本実施形態の触感センサ２０は、力、振動および温度変化を検出可能な検出部を収めたユニットと、そのユニットの周囲を伸縮性のある被覆材と導電性の液体で覆ったカバーとを有している。
触感センサ２０は、外圧が加わることで、被覆材の変形によって内部の液体分布が変化する。そして、触感センサ２０は、内部の液体分布をユニット表面に並べられた複数の電極のインピーダンスの変位に基づいて検出する。これによって、本実施形態の触感情報システム１では、触感センサ２０を搭載した装置（例えば、後述する手袋２１等）が対象物に接触した際に、力の強さ、力の方向、接触点、および対象物の形状に関する情報を取得可能になっている。また、触感センサ２０は、対象物に対して相対的に表面がなぞられることで、滑り摩擦によって生じる振動が液体中を伝搬する。そして、触感センサ２０は、液体の伝搬を高感度圧力センサで捉えることで振動を検出する。さらに、触感センサ２０は、対象物に接触した際に生じる温度勾配をサーミスタによって検出することで温度変化を検出する。

なお、本実施形態においては、触感再現装置４０をユーザに対して触感を与える出力装置として用いているが、触感再現装置４０を入力装置として用いても良い。つまり、触感再現装置４０の後述するタッチパッド４１に対象物を接触させ、タッチパッド４１に設けられるアクチュエータの挙動を把握することで、触感検出データとして触感を検出するようにしても良い。

〔カメラ３０〕
カメラ３０は、対象物を含む所定の範囲を撮影する。さらに、カメラ３０は、撮影した画像を一定時間記憶することが可能になっている。そして、本実施形態においては、カメラ３０は、触感センサ２０とは別体に設けられたり、触感センサ２０と一体に設けられたりする。また、本実施形態において、カメラ３０は、対象物の特定精度を高めるために、カラー画像を撮影する。なお、カメラ３０は、動画像を撮影するものであるが、静止画像を撮影するものであっても構わない。

そして、カメラ３０は、撮影した画像をサーバ装置１０に送信する。ここで、本実施形態のカメラ３０は、触感センサ２０に連動するようになっている。すなわち、カメラ３０は、触感センサ２０が搭載された装置（例えば、後述する手袋２１）が稼動している際に撮影を行うようになっている。さらには、カメラ３０は、撮影した画像のうち触感検出データが取得されたとき、あるいは前後の予め定められた時間の画像データだけをサーバ装置１０に送信するようにしている。

また、カメラ３０は、触感センサ２０とセットで用いられる。本実施形態において、同じユーザによってセットで用いられるカメラ３０と触感センサ２０とは紐付けられている。そして、これらの装置からそれぞれ得られる画像データおよび触感検出データは紐付けられる。

〔触感再現装置４０〕
図４は、本実施形態の触感再現装置４０の全体図の一例である。
図４に示すように、触感再現装置４０は、タッチパッド４１と、タッチパッド４１に生じた圧力等を検出するセンサ（不図示）と、タッチパッド４１を変位させるアクチュエータ（不図示）とを備えている。そして、触感再現装置４０は、触感情報に基づいて、アクチュエータにてタッチパッド４１を変位させることで、ユーザに、様々な触感を体感させる機能を有する。

例えば、本実施形態の触感再現装置４０は、アクチュエータにてタッチパッド４１の沈み込みを制御することによって、物体の硬さの感覚をユーザに感じさせることが可能である。
また、触感再現装置４０は、アクチュエータにてタッチパッド４１を、ユーザの指の動きと反対方向に変位させて抗力を与えることによって、ユーザに抵抗感や粘性感を知覚させることが可能となる。つまり、触感再現装置４０は、タッチパッド４１の変位速度や変位加速度を変えることで、ユーザに、様々な抵抗感や粘性感を与えることが可能である。
逆に、触感再現装置４０は、アクチュエータにてタッチパッド４１を、ユーザの指の動きと同じ方向に変位させて負の抗力を与えることによって、ユーザに、氷上を滑るような滑らか感や加速感を知覚させることが可能となる。つまり、触感再現装置４０は、タッチパッド４１の変位速度や変位加速度を変えることで、ユーザに、様々な滑らか感や加速感を与えることが可能である。
また、触感再現装置４０は、抗力を振動的に変化させることにより、表面粗さの感覚を知覚させることが可能である。

上述したように、触感再現装置４０は、アクチュエータにてタッチパッド４１を変位させることで、様々な触感を体感させることが可能である。つまり、触感再現装置４０は、硬い、柔らかいなどの圧覚、ツルツル、ザラザラなど触覚、弾性、もちもち感などの力覚を体感させることが可能である。

なお、タッチパッド４１を変位させるアクチュエータの構造は、タッチパッド４１を変位させることが可能であるならばいかなる構造であっても良い。例えば、アクチュエータは、筐体内に設けられたモータと、当該モータの回転力をタッチパッド４１の直線の動きに変換するラック・アンド・ピニオンとを有して構成されることを例示することができる。
また、センサは、押し込み圧力を検出する圧力センサと、押し込み圧力が生じた位置を検出する位置センサとを有することができる。

さらにまた、触感再現装置４０は、触感を体感させる機能に加えて、温感を体感させる機能を備えていても良い。例えば、触感再現装置４０は、ペルチェ素子等の熱電素子を備え、触感を体感させる機能に加えて、温感を体感させることで、ユーザに対して、圧覚、力覚、触覚等に加えて、温度感覚を体感させても良い。

続いて、本実施形態の触感情報システム１における触感情報の取得動作について説明する。
図５は、本実施形態の触感情報システム１における触感情報の取得の際のフロー図である。
図５に示すように、触感情報システム１では、触感センサ２０が設けられた装置（例えば、後述する手袋２１）の電源がオンになっているか否かを確認する（ステップ（以下、Ｓと表示）１０１）。そして、触感センサ２０が設けられた装置の電源がオフであれば（Ｓ１０１にてＮｏ）、処理を終了する。
一方、触感センサ２０が設けられた装置の電源がオンであれば（Ｓ１０１にてＹｅｓ）、装置に設けられたカメラ３０の撮影を開始する（Ｓ１０２）。さらに、触感センサ２０にて触感検出データが検出されたか否かを判断する（Ｓ１０３）。そして、触感検出データが検出されていなければ（Ｓ１０３にてＮｏ）、再び、Ｓ１０１に戻る。
そして、触感センサ２０にて触感検出データが検出された場合には（Ｓ１０３にてＹｅｓ）、触感検出データが検出された時間情報とともに触感検出データをサーバ装置１０に送信する（Ｓ１０４）。さらに、カメラ３０は、触感検出データが検出された時間情報に対応する日時に撮影された画像データ（フレーム画像）をサーバ装置１０に送信する（Ｓ１０５）。

その後、サーバ装置１０の対象物特定部１３は、取得した画像データに基づいて対象物の名称を特定する（Ｓ１０６）。そして、サーバ装置１０の触感情報管理部１４は、対象物の名称と触感検出データ（触感情報）とを関連付けて記憶する（Ｓ１０７）。
Ｓ１０６の後は、再び、Ｓ１０１に戻る。その後、更にＳ１０３にて触感検出データが検出されると、Ｓ１０４〜Ｓ１０７が繰り返され、触感検出データと特定された対象物の関連付けが行われる。一方で、触感センサ２０が設けられた装置の電源がオフされたことが確認されると（Ｓ１０１にてＮｏ）、一連の処理が終了する。

なお、本実施形態の触感情報システム１において、サーバ装置１０は、例えば画像データに基づいて特定された対象物が同一のものである場合には、情報が重複して蓄積されることを避けるという観点で、同じ対象物に関する触感検出データを記憶せずに破棄するようにしても良い。
ただし、触感情報システム１では、同じ特定情報であっても、例えば前回に取得された触感検出データ（触感情報）が不十分であったり、同じ対象物が異なる複数の材質（素材）で構成されていたりする場合など、同じ特定情報に関する触感検出データを複数回、検出しても良い。

また、触感情報システム１では、取得した画像データに基づいて対象物の名称を特定できない場合がある。このような場合には、対象物の特定が出来なかったという情報とともに、画像データだけを触感検出データに記憶するようにしている。この場合、例えば図３に示す管理データ１４０の管理番号１４１の「００６」に例示するように、名称１４５の項目は「不明」とする。

続いて、本実施形態の触感情報システム１における触感情報の取得について具体的に説明する。
ところで、本実施形態の触感情報システム１は、対象物の触感情報をユーザから広く収集することにある。そのため、例えばユーザが触感情報を提供することによって、そのユーザに対して、利益となる特典を付与するようにしても良い。例えば本実施形態の触感情報システム１を通信販売における購入時に商品の触感を確認できるシステムに適用する場合には、ユーザからの触感情報の提供の見返りとして、通信販売で利用可能なクーポンやポイントなどを特典としてユーザに付与するようにしても良い。

「適用例１」
図６は、触感情報システム１における触感情報の取得の適用例１の説明図である。
適用例１において、触感センサ２０は、人の手に着用される手袋２１の表面に設けられている。より具体的には、触感センサ２０は、手袋２１における手の平の部分や指の内側の部分に面状に設けられている。そして、ユーザが手袋２１を装着した状態で、対象物に接触することで、対象物の触感検出データが検出されるようになっている。また、手袋２１には、カメラ３０によって撮影された画像データにおける手袋２１を認識し易くするために、識別マーク２１Ｍが設けられている。

また、カメラ３０は、ユーザが生活を行うリビングなどの室内に設けられている。そして、カメラ３０は、室内のほぼ全てを撮影可能になっている。なお、本実施形態においては、カメラ３０は、複数台設けられており、可能な限り死角が生じないようになっている。そして、カメラ３０は、手袋２１および手袋２１が接触する対象物の画像を撮影可能になっている。

まず、ユーザによって触感センサ２０が設けられた手袋２１の電源がオンされる。そして、ユーザは、手袋２１を装着しながら日常の生活を行う。また、本実施形態では、手袋２１の電源がオンされたタイミングで、カメラ３０による居室内の撮影が開始される。ただし、カメラ３０は、プライバシーの観点から、撮影した画像データは全てサーバ装置１０に送信されない。

そして、例えば、ユーザの手袋２１がぬいぐるみに接触すると、手袋２１の触感センサ２０によって触感検出データが検出される。この触感検出データは、検出したときの時間情報とともにサーバ装置１０に送信される。そして、触感検出データは、触感検出データ取得部１１によって取得される。
また、カメラ３０は、触感検出データが検出されたときの時間情報を取得し、その時間情報に基づいて特定される時間に撮影された画像データをサーバ装置１０に送信する。そして、画像データは、画像データ取得部１２により取得される。

サーバ装置１０の対象物特定部１３は、画像データ取得部１２が取得した画像データ１００に基づいて手袋２１が接触している対象物の名称を特定する。具体的には、図６（Ａ）に示すように、対象物特定部１３は、画像データ１００における識別マーク２１Ｍに基づいて手袋２１を検出する。さらに、図６（Ｂ）に示すように、対象物特定部１３は、画像データ１００において手袋２１と重なっている物の画像と他の画像との境界を特定し、画像認識の対象とする対象物の画像（以下、対象物画像１１０）を抽出する。そして、対象物特定部１３は、対象物画像１１０に対して画像認識を行うことで、対象物画像１１０が「ぬいぐるみ」であると認識する。

なお、例えば手袋２１に対して対象物が小さい場合など、手袋２１によって対象物が隠されてしまう場合がある。その結果、対象物画像１１０に対する画像認識が困難になる場合がある。このような場合、触感検出データが検出されたときの前後の時間に取得された画像データに基づいて、対象物の特定を行っても良い。
具体的には、手袋２１によって対象物が隠れてしまうなど画像データにおいて対象物そのものが認識できない場合、対象物特定部１３は、触感検出データが検出されたときから予め定められた時間遡った時点（例えば、数秒前などの直前）で撮影された画像データ（フレーム画像）を用いる。ここで、図６（Ｃ）に示すように、直前の画像データ１００においては、対象物（この例では、ぬいぐるみ）に対して、手袋２１が隣接するか、手袋２１による重なりの程度が小さい画像が撮影されていることが想定される。そして、対象物特定部１３は、この直前の画像データ１００から対象物画像１１０を特定し、その対象物画像１１０に対して画像認識を行う。

上述したとおり、対象物特定部１３は、手袋２１が接触していた対象物の名称は、ぬいぐるみであると特定する。そして、対象物特定部１３は、特定した対象物の名称に関する情報を触感情報管理部１４に送る。
触感情報管理部１４は、時間情報に基づいて、対象物特定部１３にて特定された対象物の名称と、触感検出データ取得部１１が取得した触感データ（触感情報）とを関連付けて記憶する。具体的には、図３に示す管理データ１４０における管理番号１４１の「００１」のように、触感検出データ１４２は「ＴＤ−１２３」であり、名称１４５は「ぬいぐるみ」であると記憶される。

以上説明したとおり、本実施形態の触感情報システム１の触感情報の取得において、ユーザは、手袋２１を装着して手袋２１の電源をオンするという動作までは意識的に行う。ただし、その後は、手袋２１を用いて何かの対象物の触感検出データを積極的に収集しよう意識する必要はない。そして、本実施形態の触感情報システム１は、例えばユーザが普段通りの生活行動を行うだけで、手袋２１とカメラ３０とが連動し、対象物の画像に関連付けられた触感情報が自動的にサーバ装置１０に収集されるようになっている。

「適用例２」
図７は、触感情報システム１における触感情報の取得の適用例２の説明図である。
適用例２では、適用例１と同様に、触感センサ２０は、人の手に着用される手袋２１に設けられている。
ユーザの手袋２１がユーザの顔になどに接触すると、手袋２１の触感センサ２０によって触感検出データが検出される。この触感検出データは、検出したときの時間情報とともにサーバ装置１０に送信される。そして、触感検出データは、触感検出データ取得部１１によって取得される。
また、カメラ３０は、触感検出データが検出されたときの時間情報を取得し、その時間情報に基づいて特定される時間に撮影された画像データ２００をサーバ装置１０（画像データ取得部１２）に送信する。

サーバ装置１０の対象物特定部１３は、画像データ取得部１２が取得した画像データ２００に基づいて手袋２１が接触している対象物の名称を特定する。具体的には、図７（Ａ）に示すように、対象物特定部１３は、画像における識別マーク２１Ｍに基づいて手袋２１を検出する。さらに、図７（Ｂ）に示すように、対象物特定部１３は、画像データ２００において手袋２１と重なっている人の顔の画像と他の画像との境界を特定し、画像認識の対象とする対象物の画像（以下、対象物画像２１０）を抽出する。そして、対象物特定部１３は、対象物画像２１０に対して画像認識を行うことで、対象物画像２１０が「人の顔」であると認識する。

さらに、適用例２において、対象物特定部１３は、対象物が人の顔であることを特定した場合に、対象物の触感に影響する関連商品の特定を行う。本実施形態では、図７（Ｃ）に示すように、対象物特定部１３は、取得した画像データ２００に基づいて、ユーザの手袋２１の周囲に置かれている関連商品の特定を行う。適用例２において、対象物特定部１３は、画像データ２００において手袋２１の近くに置かれている物の画像と他の画像との境界を特定し、画像認識の対象とする関連商品の画像（以下、関連商品画像２２０）を抽出する。そして、対象物特定部１３は、関連商品画像２２０に対して画像認識を行うことで、関連商品画像２２０が「〇〇クリーム」であると認識する。そして、対象物特定部１３は、特定した関連商品の名称に関する情報を触感情報管理部１４に送る。

なお、適用例２においては、対象物が人の顔である場合に、ユーザの手袋２１の周囲に置かれている商品を検出するようにしているが、これに限定されない。例えば、対象物が人の顔である場合に、対象物である人の顔に接触する直前（予め定められた時間を遡って）の画像データ２００を用いて手袋２１が接触していた物（画面において手袋２１に重なる物）に関連付けても良い。上記の例では、手袋２１が接触する対象が人の顔であると認識された場合、手袋２１が人の顔に接触する直前の画像データ２００に基づいて手袋２１が接触していたものの画像認識を行い、関連商品が〇〇クリームであると特定しても良い。

そして、触感情報管理部１４は、時間情報に基づいて、対象物特定部１３にて特定された対象物および関連商品と、触感検出データ取得部１１が取得した触感検出データ（触感情報）とを関連付けて記憶する。具体的には、図３に示す管理データ１４０における管理番号１４１の「００２」のように、触感検出データ１４２は「ＴＤ−２３４」であり、名称１４５は「人の顔」であり、関連商品１４６が「〇〇クリーム」であると記憶される。

「適用例３」
図８は、触感情報システム１における触感情報の取得の適用例３の説明図である。
適用例３において、触感センサ２０は、清掃処理を行う掃除機２２（処理手段の一例）のノズル２２Ｎ（ヘッド）に設けられている。すなわち、予め定められた処理を行う装置に一体的に設けられ、所定の処理を行う装置が移動する場合には、その装置とともに移動するようになっている。
そして、ユーザが掃除機２２を用いて清掃を行う際、ノズル２２Ｎが対象物に接触することで、清掃の対象となる対象物の触感検出データが検出されるようになっている。
また、適用例３では、カメラ３０は、触感センサ２０が搭載される掃除機２２のノズル２２Ｎに設けられている。そして、カメラ３０は、ノズル２２Ｎに対向（接触）する対象物の画像を撮影可能になっている。

まず、ユーザによって掃除機２２の電源がオンされる。そして、ユーザは、ノズル２２Ｎを操作しながら清掃を行う。なお、本実施形態では、掃除機２２の電源がオンされたタイミングで、ノズル２２Ｎに設けられたカメラ３０による撮影が開始される。ただし、カメラ３０は、プライバシーの観点から、撮影した画像の全てをサーバ装置１０に送信しない。

そして、例えば、ノズル２２Ｎがカーペットなどに接触することで、ノズル２２Ｎに設けられた触感センサ２０によって触感検出データが検出される。この触感検出データは、検出したときの時間情報とともにサーバ装置１０に送信される。そして、触感検出データは、触感検出データ取得部１１によって取得される。
また、カメラ３０は、触感センサ２０によって触感検出データが検出されると、その時間情報に基づいて特定される時間に撮影された画像データをサーバ装置１０に送信する。そして、画像データは、画像データ取得部１２により取得される。

サーバ装置１０の対象物特定部１３は、画像データ取得部１２が取得した画像データに基づいて掃除機２２のノズル２２Ｎが接触している対象物の名称を特定する。この場合には、ノズル２２Ｎが接触する対象物の名称は、「カーペット」であると認識される。

触感情報管理部１４は、時間情報に基づいて、対象物特定部１３にて特定された対象物と、触感検出データ取得部１１が取得した触感データ（触感情報）とを関連付けて記憶する。より具体的には、図３に示す管理データ１４０における管理番号１４１の「００３」のように、触感検出データ１４２は「ＴＤ−３４５」であり、名称１４５は「カーペット」であると記憶される。

例えば上述した適用例３では、ユーザが掃除機２２を用いて掃除を行うことで、ノズル２２Ｎが接触することが可能な対象物であれば、それらの対象物の触感検出データを収集できる。このように、適用例３では、ユーザが触感情報を収集することを目的とした行動ではなく、ユーザが掃除を行うという行動に付随して触感情報を収集することができる。

また、適用例３において、カメラ３０は、適用例１のように室内全体を撮影可能に固定されていても良い。この場合には、適用例１と同様に、掃除機２２（ノズル２２Ｎ）の位置をカメラ３０で検出することで、対象物と、対象物の触感情報とを関連付けても良い。

なお、触感センサ２０は、室内において各種の対象物に接触するものであって、予め定められた処理を行う装置や用具に設けることができる。例えば、触感センサ２０は、自動で移動しながら清掃を行う掃除機（処理手段の一例）や、モップや雑巾など人が用いる清掃用具（処理手段の一例）に設けることができる。

（変形例）
上述した実施形態における適用例１においてはカメラ３０が居室にて固定され、適用例３においてはカメラ３０と触感センサ２０とが単一の装置に一体的に搭載された例を用いて説明したが、これらに限定されない。例えば、カメラ３０がユーザの身体の一部に設けられ、触感センサ２０がユーザの身体の一部に装着されていても良い。

例えば、処置を行う医者等のゴーグル（眼鏡）にカメラ３０を搭載する。また、その医者の手袋には触感センサ２０を取り付ける。このようにすることで、例えば、患者の幹部の触感検出データを取得するとともに、カメラ３０にて撮影した患部の画像から患部を特定することができる。そして、患部の項目と、その患部の触感検出データとを関連付けた情報を収集することができる。

さらに、上述した実施形態における適用例１においては、手袋２１が触感検出データを検出した時間情報に基づいて、画像データから対象物の名称を特定しているが、これに限定されない。例えば、サーバ装置１０（触感情報管理部１４）は、位置情報に基づいて、触感検出データ（触感情報）と対象物とを関連付けても良い。

例えば、室内において、手袋２１自体の位置情報を特定するようにする。手袋２１の位置の特定には、無線ＬＡＮ測位やＧＰＳ電波を屋内にて再送信するＧＰＳリピータなどの室内においても位置を特定可能な方法を用いることができる。
一方で、室内を撮影した画像データからは、画像解析に基づいて室内における物体の位置を特定する。
そして、サーバ装置１０は、手袋２１の触感センサ２０にて触感検出データを取得した際に、触感検出データとともに手袋２１の位置情報を取得する。さらに、サーバ装置１０は、取得した位置情報に基づいて、画像データにおいてその位置情報に対応する対象物画像（画像要素の一例）を抽出する。そして、その対象物画像について画像認識を行い、対象物の名称を特定する。最終的には、特定した対象物の名称と、その対象物の触感検出データとを関連付ける。

なお、本実施形態では、ユーザの手に装着する手袋２１に触感センサ２０を設ける例を用いて説明したが、この態様に限定されない。触感センサ２０は、ユーザの身体において対象物に接触する箇所であれば手以外の箇所に設けられるようにしても良い。例えば、触感センサ２０は、ユーザの足に装着される履物や、ユーザの脚に装着されるズボンや、胴体または全身に装着されるスーツに設けられていても良い。

さらに、例えば触感センサ２０が搭載される装置（例えば、手袋２１）等に、画像を表示するディスプレイを設け、カメラ３０が特定した対象物の名称（特定情報）をユーザが確認できるようにしても良い。そして、ディスプレイに表示される特定情報に対して、ユーザから内容の修正や情報の追加を受け付けても良い。また、このような修正や情報の追加は、触感センサ２０やカメラ３０とは別に、ユーザが利用する端末装置（携帯型端末装置や固定型端末装置）にて行っても良い。

続いて、本実施形態のサーバ装置１０、触感センサ２０（触感センサ２０が搭載された装置を含む）、カメラ３０および触感再現装置４０のハードウェア構成について説明する。

本実施形態のサーバ装置１０、触感センサ２０、カメラ３０および触感再現装置４０は、それぞれ、演算手段であるＣＰＵ（Central Processing Unit）、主記憶手段であるメモリ、磁気ディスク装置（ＨＤＤ：Hard Disk Drive）、ネットワークインターフェイス、ディスプレイ装置を含む表示機構、音声機構、および、キーボードやマウス等の入力デバイス等を備える。
そして、磁気ディスク装置には、ＯＳのプログラムやアプリケーション・プログラムが格納されている。そして、これらのプログラムがメモリに読み込まれてＣＰＵに実行されることにより、本実施形態のサーバ装置１０、触感センサ２０、カメラ３０および触感再現装置４０の各々における各機能部の機能が実現される。
さらに、本実施形態の触感情報システム１における一連の動作をサーバ装置１０、触感センサ２０、カメラ３０および触感再現装置４０にてそれぞれ実現させるプログラムは、例えば通信手段により提供することはもちろん、各種の記録媒体に格納して提供しても良い。

なお、本実施形態では、ユーザのリビングに設けられたカメラ３０を用いる例を説明したが、この態様に限定されない。カメラ３０によって撮影することができれば、商品の製造工場、販売店、建築現場などあらゆる場所で触感センサ２０およびカメラ３０を用いた触感情報の収集を行うことができる。また、屋外に設けられたカメラ３０を用いても構わない。

また、本実施形態の触感情報システム１では、取得した画像データに基づいて対象物の名称を特定したうえで、対象物の名称と、その対象物の触感検出データと関連付けるようにしているが、この態様に限定されない。例えば、触感情報システム１において、対象物は特定せずに、触感検出データと画像データとを単に関連付けてデータを蓄積するようにしても良い。この場合、触感検出データを利用する側の構成において、その触感検出データに関連付けられた画像データを用いて画像認識を行ったり、画像データに基づいて触感検出データにアクセスしたりすれば良い。

さらに、本実施形態の触感情報システム１において行われる一連の機能を実現するための構成は、上述した例に限定されない。例えば、上述した実施形態においてサーバ装置１０が実現する機能は、全てサーバ装置１０によって実現される必要はなく、例えば触感センサ２０（触感センサ２０を搭載した装置）やカメラ３０が実現しても良い。

さらに、本実施形態においては、触感センサ２０、カメラ３０および触感再現装置４０が別々の装置構成である例を用いて説明しているが、この態様に限定されない。触感情報システム１において、触感センサ２０、カメラ３０および触感再現装置４０は、いずれか２つが一体（単一の装置）に構成されたり、または、３つ全てが一体に構成されていたりしても構わない。

１０…サーバ装置、１１…触感検出データ取得部、１２…画像データ取得部、１３…対象物特定部、１４…触感情報管理部、２０…触感センサ、３０…カメラ

Claims (9)

1. 対象物の触感に関する触感情報を検出する触感検出手段と、
   前記触感検出手段が前記触感情報を検出する前記対象物を少なくとも含む画像を検出する画像検出手段と、
   前記画像と前記触感情報とを関連付ける関連手段と、
   前記対象物に対して前記触感情報の検出とは異なる処理を行う処理手段と、
   を備え、
   前記触感検出手段は、前記処理手段による前記処理が行われる際に前記対象物の前記触感情報を検出する触感情報システム。
2. 前記画像検出手段は、少なくとも前記触感検出手段および前記対象物が含まれる画像を検出する請求項１に記載の触感情報システム。
3. 前記関連手段は、前記触感検出手段によって前記触感情報が検出されたときの前記画像を当該触感情報に関連付ける請求項２に記載の触感情報システム。
4. 前記触感情報が検出されたときの前記触感検出手段の位置を特定する位置特定手段を備え、
   前記関連手段は、前記画像における前記触感検出手段の位置に対応する画像要素に前記触感情報を関連付ける請求項２に記載の触感情報システム。
5. 前記画像検出手段は、前記処理手段に設けられる請求項１に記載の触感情報システム。
6. 前記触感検出手段は、ユーザの身体の少なくとも一部に装着される請求項１に記載の触感情報システム。
7. 前記対象物の画像から当該対象物の名称を特定する特定手段を備え、
   前記関連手段は、前記特定手段が特定した前記対象物の名称と、当該対象物の前記触感情報とを関連付ける請求項１に記載の触感情報システム。
8. 対象物の触感に関する触感情報を取得する触感情報取得手段と、
   前記触感情報取得手段が前記触感情報を取得する前記対象物を少なくとも含む画像を取得する画像取得手段と、
   前記画像と前記触感情報とを関連付ける関連手段と、
   前記対象物に対して前記触感情報の取得とは異なる処理を行う処理手段と、
   を備え、
   前記触感情報取得手段は、前記処理手段による前記処理が行われる際に前記対象物の前記触感情報を取得する触感情報処理装置。
9. 触感に関する情報を処理する情報処理装置として機能するコンピュータに、
   対象物の触感に関する触感情報を取得する機能と、
   前記触感情報が取得された前記対象物を少なくとも含む画像を取得する機能と、
   前記画像と前記触感情報とを関連付ける機能と、
   前記対象物に対して前記触感情報の取得とは異なる処理を行う機能と、
   前記触感情報の取得とは異なる処理が行われる際に前記対象物の前記触感情報を取得する機能と、
   を実現させるプログラム。

Images