JP7252916B2 - 触感提示方法、システムおよびプログラム - Google Patents

Description

本発明は、触感提示方法、システムおよびプログラムに係り、特に、ユーザがタッチしたディスプレイ上の位置に表示されている物体の触感を当該ユーザに視覚的、直感的に提示できる触感提示方法、システムおよびプログラムに関する。

非特許文献１には、マウス等のポインティングデバイスによる位置入力を矢印カーソルとしてディスプレイ上に表示し、そのカーソルの動きや大きさを制御することでユーザに触感を提示するシステムが開示されている。例えば、ディスプレイに表示されたガタガタした面の上で矢印カーソルを移動させようとすると、マウスカーソルが上下に揺れるように表示される。また、ガムテープの接着面が表示された部分で矢印カーソルを動かそうとすると、カーソルがつっかかりながら移動する。非特許文献１では、このようなカーソルの動きの変化によって、ユーザはディスプレイに表示された物体の触感を擬似的に得られる。

特許文献１には、主にオンラインショッピングへの利用を想定し、商品の各種情報を提供するウェブページをHTML文書の形式で生成するサーバ装置と、タッチパネルからのタッチ入力に基づいてアクチュエータを駆動することで物体の触感を提示する触感提示装置が開示されている。

特許文献１では、サーバ装置が生成するウェブページに「触感体感」と記載されたアイコンが表示されており、ユーザはスマートフォンのような消費者端末からアイコンをクリックすることで、サーバ装置から触感提示装置の制御パラメータをダウンロードできる。消費者端末と触感提示装置とは有線あるいは無線で接続され、ダウンロードした制御パラメータを触感提示装置に適用し、触感提示装置のタッチパネルに指先で触れることでユーザは所望の商品の触感を体感できる。

特開2019-128738号公報

Keita Watanabe Michiaki Yasumura, VisualHaptics: Generating Haptic Sensation Using Only Visual Cues,ACE '08: Proceedings of the 2008 International Conference on Advances in Computer Entertainment Technology

非特許文献１のように、カーソル位置の触感を当該カーソルの表示形態により表現する方式ではマウス等のポインティングデバイスが必要となる。このため、スマートフォンやタブレットなどへの適用が困難であった。また、非特許文献１では触感を表現するカーソルを矢印の形状に限定しており、多種多様な触感を表現するのに適していなかった。

特許文献１の装置は、オンラインショッピングにおいて触感をユーザに提供する用途に最適化されている。非特許文献１も、予め用意した物体の触感を提示するシステムである。このため、任意の場面において、任意の物体の触感をユーザに視覚的、直感的に提供する装置を構成する際、以下の点が技術的な課題となる。

第１に、物体に紐づく触感パラメータを事前に準備する必要があるため、触感を体感させる対象物体の点数の増大に伴い、触感パラメータのセッティング回数が増大し、時間的コストが生じる。

第２に、一つの物品に対して一つの触感パラメータを設定しているため、同一場面において複数の物体の触感を同時に再現できない。例えば、キッチンの場面ではコップやフライパンといった様々な物体が存在する。そのような場面において、コップの触感やフライパンの触感を同時に視覚的、直感的に表現することができない。

本発明の目的は、上記の技術課題を解決し、ディスプレイに表示されている物体について、ユーザが要求した物体の様々な触感を、マウス等のポインティングデバイスを用いることなく視覚的、直感的に提示できる触感提示方法、システムおよびプログラムを提供することにある。

上記の目的を達成するために、本発明は、タッチ操作されたディスプレイに表示される物体の触感を視覚的に提示する触感提示システムにおいて、以下の構成を具備した点に特徴がある。

(1) 物体の種別ごとに触感パラメータを保持する触感記憶手段と、タッチ操作されたディスプレイの触感要求位置に対応した物品の触感パラメータを触感記憶手段から取得する手段と、取得した触感パラメータに基づいて前記物品の触感を視覚的に表現する触感インジケータを表示する手段とを具備した。

(2) 触感インジケータが物体の背景領域の全域に複数表示されるようにした。

(3) ディスプレイに表示される物体の種別および位置を識別する手段と、物体の種別および位置の識別結果ならびに前記触感記憶手段に基づいて、前記ディスプレイ上の各位置と触感パラメータとを対応付ける触感情報を生成する手段と、触感要求位置に対応した触感パラメータを前記触感情報に基づいて取得する手段とを更に具備した。

(4) 触感要求位置がスライドすると各スライド位置の触感に応じて触感インジケータが変化するようにした。

(5) 触感要求位置のスライドに応じて触感インジケータの表示位置が移動するようにした。

(6) 今回のフレーム画像に基づいて生成した触感情報を、前回以前の各フレーム画像に基づいて生成した各触感情報に基づいて修正する手段を具備した。

(7) 今回フレームの全てのピクセルまたは触感要求位置の種別を、当該各ピクセルまたは触感要求位置と前回以前の各フレーム画像の各ピクセルとの距離およびその種別に基づく重み付き線形和で修正する手段を具備した。

(8) フレームごとに種別ヒストグラムを作成し、種別ヒストグラムの変化が所定の閾値を超えるフレーム間には前記修正する手段を適用しないようにした。

(1) ディスプレイに表示される物体にタッチすると、当該タッチ位置に表示されている物品の触感パラメータが取得されて触感がインジケータで表現されるので、ユーザはマウス等のポインティングデバイスを用いることなく、ディスプレイに表示される任意の物体の触感を視覚的、直感的に得られるようになる。

(2) 触感インジケータが物体の背景領域の全域に表示されるので、触感を得たい物品の表示を妨げることなく、当該物品の様々な触感を余すことなく表現できるようになる。

(3) ディスプレイに表示される物体の種別および位置が識別され、ユーザが触感を体感したい物体の表示位置にタッチすると、当該タッチ位置に表示されている物品の識別結果に基づいてその触感パラメータが取得されて触感がインジケータで表現されるので、ディスプレイに表示される任意の物体の触感を視覚的、直感的に提示できるようになる。

その結果、触感を伴った映画や、画像中に含まれる商品のそれぞれの触感を視覚的に経験しながら商品選択できるオンラインショッピングなどを実現できるようになる。また、リアルタイムに処理を行うことができるため、触感を伴ったテレコミュニケーションシステムを実現できる。更に、架空のキャラクターを識別して触感を付与することで、登場キャラクターに触ることができる漫画書籍やアニメーション等の製作等、より臨場感のあるアプリケーションを製作できるようになる。

(4) 触感要求位置がスライドすると各スライド位置の触感に応じて触感インジケータが変化するので、触感が位置に応じて変化する物品の触感も漏れなく視覚的に表現できるようになる。

(5) 触感要求位置のスライドに応じて触感インジケータの表示位置が移動するので、異なる物品間の質感の違いを視覚的にダイナミックに表現できるようになる。

(6) 今回のフレーム画像に基づいて生成した触感情報を前回以前の各フレーム画像に基づいて生成した各触感情報に基づいて修正することができるので、物体の種別を正しく識別できなかった場合でも当該物体の正しい触感をユーザに提示できるようになる。

(7) 今回フレームの各ピクセルまたは触感要求位置の種別を、当該各ピクセルまたは触感要求位置と前回以前の各フレーム画像の各ピクセルとの距離およびその種別に基づく重み付き線形和で修正するので、種別の推定結果を時間的、空間的に抽象化できる。したがって、種別の推定において一時的あるいは部分的な誤認識が生じたとしても、触感表現への影響を軽減できるようになる。

(8) フレームごとに種別ヒストグラムを作成し、種別ヒストグラムの変化が所定の閾値を超えるフレーム間には前記修正を適用しないようにしたので、映像が大きく変化する前の触感情報が、大きく変化した後の触感情報に基づいて修正されてしまうような、誤った修正を防止できるようになる。

本発明を適用した触感提示システムの機能ブロック図である。 触感情報の例を示した図である。 触覚の要求方法を説明した図である。 本発明の第１実施形態に係る触覚インジケータの表示方法を示した図である。 本発明の第２実施形態に係る触覚インジケータの表示方法を示した図である。 触感インジケータの形状で触感を表現する例を示した図である。 針鼠の触覚を触感インジケータの形状で表現する例を示した図である。 触感インジケータの大きさで触感を表現する例を示した図である。 人顔の頬部分の触感を触感インジケータの大きさで表現した図である。 温度を触感インジケータの色で表現する例を示した図である。 滑らかさを触感インジケータの動きで表現する例を示した図である。 タッチ操作のスライド位置の触感をインジケータの動きで表現する例を示した図である。 タッチ操作を直線的にスライドされたときの触感をインジケータがスライド方向の左右に変位することで表現する例を示した図である。 タッチ操作のスライドに同期して背景領域の触感インジケータを移動させ、更にその形状等をスライド位置の触感に応じて変化させる例を示した図である。 タッチ操作の位置がスライドされたときに触感が変化する過程で触感インジケータの表示を部分的に切り替える例を示した図である。 タッチ位置が触覚の異なる物品間でスライドされる場合の触感インジケーの表示切替方法を模式的に示した図である。 本発明を適用した触感提示方法のフローチャートである。 触感提示システムをローカル端末及びサーバ装置で構成した実施形態の機能ブロック図である。 図１８に示した触感提示システムのシーケンスフローである。 触感提示システムをローカル端末及びサーバ装置で構成した実施形態の機能ブロック図である。 図２０に示した触感提示システムのシーケンスフローである。 触感提示システムをローカル端末で構成した実施形態の機能ブロック図である。 マップ修正部を備えた触感提示システムの機能ブロック図である。 マップ修正部の機能を説明した図である。 マップ修正部をローカル端末に備えた触感提示システムの機能ブロック図である。 今回フレームの触感要求位置の種別を修正する方法を模式的に示した図である。 カメラの切替わりや物体の入替わりを検知する方法を模式的に示した図である。 マップ修正部をサーバ装置に備えた触感提示システムの機能ブロック図である。

以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明を適用した触感提示システム１０の機能ブロック図である。本発明の触感提示システム１０は、複数の物体を表示するディスプレイ上でユーザが指定した物体の触感情報を当該ディスプレイ上に視覚的に表現することでユーザへの触感提示を実現する。なお、以下の実施形態は本発明を具体化した一例であって、本発明の技術的範囲を限定するものではない。

映像取得部１００は、被写体として物体を含む静止画像または動画映像（以下、映像またはフレーム画像で代表する）をネットワーク経由またはローカルに取得し、タッチ操作を検知できるタッチパネル１０２ａを備えたディスプレイ１０２に表示する。触感情報管理部２００は、ディスプレイ１０２に表示される物体の触感パラメータを保持する。

本実施形態では、前記触感情報管理部２００が物体識別部１０１、触感データベース(DB)１０３および触感情報生成部１０４を含むが、触感情報管理部２００の構成はこれのみに限定されない。

前記物体識別部１０１は、種別識別部１０１ａおよび位置識別部１０１ｂを含み、タッチパネルディスプレイ１０２に表示される物体の種別および位置座標をそれぞれ識別する。位置座標は、平面的な2D位置座標であっても良いし、奥行き情報（ｚ軸方向）を加えた立体的な３D位置座標であっても良い。

前記種別識別部１０１ａとしては、矩形領域として二次元の位置座標を推定するYOLO、あるいは自由形状の領域として二次元の位置座標を推定するDeepLabなどのアルゴリズムを使用できる。奥行き情報を推定するアルゴリズムとしてはPlaneNetなどを使用できる。また、TOF (Time of Flight) センサ等により物体の奥行き情報を取得している場合はその値を用いてもよい。

触感データベース(DB)１０３には、物体の種別ごとに、後に詳述する触感パラメータが保持されている。触感パラメータには、物体ごとに固有の「ヤング率」、「表面粗さ」あるいは「熱伝導率」といった物質特性に対応するパラメータ、および／または「硬さ感」、「粗さ感」あるいは「ひんやり感」といった触感の知覚強度に対応するパラメータが含まれる。

触感情報生成部１０４は、物体識別部１０１から取得した各物体の種別に対応した触感パラメータを前記触感データベース１０３から取得し、図２に一例を示したように、認識物体マップd1と触感データサブセットd2とから構成される触感情報Dを生成する。認識物体マップd1は、タッチパネルディスプレイ１０２における各物体の位置座標を定義する。触感データサブセットd2は、各物体の種別と触感パラメータとを対応付ける。

触感要求検知部１０５は、位置検知部１０５ａおよび触り方検知部１０５ｂを含む。位置検知部１０５ａは、物体を表示しているタッチパネルディスプレイ１０２のタッチパネル１０２ａに対するユーザのタッチ操作に基づいて、当該ユーザが触感を要求している物体の位置を触感要求位置Pとして検知する。触り方検知部１０５ｂは、前記タッチ操作に基づいて、タッチ速度やタッチ圧の時系列変化を"触り方Q"として検知する。

触感パラメータ取得部１０６は、触感情報管理部２００から触感要求位置Pに基づいて当該ユーザが触感を要求した物体の触感パラメータを取得する。触感インジケータ生成部１０７は、前記触感要求位置P，触り方Qおよび触感パラメータを、予め学習した所定のモデル式に適用して触感インジケータを生成する。触感インジケータ表示部１０８は、触感インジケータを前記フレーム画像に重畳表示する。

図３，４，５は、本発明による触覚インジケータInの表示方法を示した図であり、図３に示したように、車、人および犬が表示されている画面においてオペレータが人顔の頬部分にタッチ操作等して触感要求を行うと、当該触覚要求位置Pの触覚パラメータが取得される。

図４は、本発明の第１実施形態に係る触覚インジケータInの表示方法を示した図である。本実施形態では、触覚要求位置Pを中心に、当該触覚要求位置Pの触感を視覚的に表現する所定形状の触感インジケータInが重畳表示される。

図５は、本発明の第２実施形態に係る触覚インジケータの表示方法を示した図である。本実施形態では、触覚要求位置Pの物品以外の背景領域（車領域および犬領域を含む）に、触覚要求位置Pの触覚を視覚的に表現する多数の触感インジケータInが離散的かつ規則的な配列で重畳表示される。このとき、触感インジケータInを見易くするために、触感を要求されていない物品の表示色を薄くし、あるいは淡くするようにしても良い。

前記インジケータInは、その形状、色、大きさ、動き等で触覚要求位置Pの触感を視覚的に表現できる。図６は触感インジケータInの形状で触感を表現する例を示した図であり、触感インジケータInは触感が十分に滑らかであれば、その滑らかさを直感的に表現する円形状であるが、触感が粗くなるにつれてその円周上に突起物が出現し、さらに突起物の形状が先鋭化して表面の粗さを直感的に表現する形状となる。

図７は、第２実施形態において、針鼠の体表部分に対して触覚要求した場合の触覚の視覚化例を示した図であり、背景領域に表示された触感インジケータInの外周部に先鋭化した多数の突起が出現している。

図８は、触覚要求位置Pの硬さを触感インジケータInの大きさで表現する例を示している。タッチパネルセンサ１０２ａが接触圧を検知できるよう構成されている場合、本実施形態では、タッチ操作時の押し込み圧力が大きいほど、また触感が柔らかいほど、触感インジケータInのサイズが大きくなる。図９は、人顔の頬部分の硬さを触感インジケータInの大きさで表現した図であり、図５に比べて触感インジケータInが大きく表示され、触感がより柔らかいことを表現している。

図１０は、触覚要求位置Pの温度を触感インジケータInで表現する例を示した図であり、触感情報が温度情報を有する場合、温度の違いが触感インジケータInの色で視覚化される。本実施形態では、最も冷たい触感を紫色で表現し、温度が高くなるにつれて色が藍、青、緑、黄、橙、赤へと変化する。

図１１は、触覚要求位置Pの滑らかさを触感インジケータInの動きで表現する例を示した図であり、触覚要求位置Pの滑らかさが触感インジケータInの振幅および／または振動数で表現される。本実施形態では、触覚要求位置Pの触感が粗いほど、触感インジケータInを大きな振幅／低い振動数で動かすようにしている。なお、触感インジケータInの振幅および／または振動数が触感要求位置Pからの距離に応じて変化するようにしても良い。例えば、触感要求位置Pから離れた触感インジケータInほど、その振幅および／または振動数が抑制されるようにすることができる。また、触感要求位置Pまでの距離に応じて振動に時間遅れをもたせることでゴムのような弾性や軟性を表現する事もできる。

なお、上記の実施形態では触感インジケータInが触感に応じて形状、色、大きさおよび動きのいずれか一つで表現されるものとして説明したが、本発明はこれのみに限定されるものではなく、例えば触覚要求位置Pの滑らかさ、温度および柔らかさを、触感インジケータInの形状、色および大きさの組み合わせで表現するようにしても良い。

さらに、上記の実施形態では物品の一か所が固定的にタッチ操作された場合を例にして触感の視覚的な表現方法を説明したが、タッチ操作の位置がタッチ状態を維持したままスライドされると、各スライド位置の触感に応じてのインジケータInの形状等を連続的に変化させるようにしても良い。

図１２は、タッチ操作の位置がスライドされたときに、スライド位置の触感に応じてインジケータInの動きをスライド操作に同期させなくすることで触感を表現する例を示した図である。本実施形態では、スライド位置の触感が十分に滑らかであると、同図(a)に示したように、タッチ位置のスライド動作とインジケータInの動きとが同期する。これに対して、スライド位置の触感が滑らかでないと、同図(b)に示したように、インジケータInの動きに引っ掛かりが発生してタッチ位置のスライド動作とインジケータInの動きとが同期しなくなる。

図１３は、タッチ操作の位置が直線的にスライドされたときに、スライド位置の触感に応じてインジケータInがスライド方向の左右に変位しながら移動する例を示した図である。本実施形態では、スライド位置の触感が粗いほど左右への変位量が大きくなる。

図１４は、タッチ操作の位置がスライドされたときに、その動きに同期して背景領域の触感インジケータInをスライド方向と同一方向または逆方向に移動させ、さらには移動する触感インジケータInの形状、大きさ、色等をスライド位置の触感に応じて変化させる例を示した図である。

図１５は、タッチ操作の位置がスライドされたときに、触感が変化する過程で触感インジケータInの表示を部分的に切り替える例を示した図であり、ここでは、人物の髪の毛から犬の体表面へスライド操作する場合を例にして説明する。

初めに人物の髪の毛部分に対するタッチ操作が検知されると、同図(a)に示したように、滑らかな触感を視覚化した丸形状の触感インジケータInが背景領域の全面に表示される。次いで、タッチ位置が正面右方向へスライドし、同図(b)に示したように、髪の毛および犬の体表面に跨る位置に達すると、髪の毛部分に対応する画面左側の背景には"滑らか"を視覚化した触感インジケータInが表示される一方、犬の体表部分に対応する画面右側の背景には"粗さ"を視覚化した触感インジケータInが表示される。

タッチ位置が更に右側方向へ進んで犬の体表部に達すると、同図(c)に示したように、犬以外の背景領域に表示される全ての触感インジケータInの形状や色が犬の体表部の触感に対応した形状および色に変化する。

図１６は、タッチ位置が触覚の異なる物品間でスライドされる場合の触感インジケーInの表示切替方法を模式的に示した図である。

本実施形態では、触感要求位置近傍の触感情報Dについて、各触感インジケータInの位置に対応した微小な矩形領域に分割し、各矩形領域の触感に応じて各触感インジケータInの形状や色が決定される。本実施形態では、左３列の各矩形領域の触感は「髪の毛」であり、右３列の各矩形領域の触感は「犬」なので、それぞれ「髪の毛」および「犬」に対応した触感インジケータInが表示される。

これに対して、中央の１列ついては「髪の毛」および「犬」が混在しているが、「犬」の面積が「髪の毛」の面積よりも大きいので「犬」に対応した触感インジケータInが表示される。

図１７は、前記触感提示システムの動作を示したフローチャートであり、ステップＳ１では、物体を被写体とする映像が前記映像取得部１００によりネットワーク経由または内蔵メモリ等からフレーム単位で取得される。

ステップＳ２では、前記映像がディスプレイ１０２に表示され、これと並行または前後して、ステップＳ３では前記識別部１０１がフレーム画像から抽出した各物体の種別を種別識別部１０１ａが識別し、ステップＳ４では、位置識別部１０１ｂが各物体のディスプレイ１０２上での位置座標を識別し、ステップＳ５では、前記触感情報生成部１０４が物体の種別および位置の識別結果ならびに触感データベース１０３に基づいて触感情報Dを生成する。

ステップＳ６では、前記触感要求検知部１０５により、ユーザがディスプレイ１０２にタッチ操作したか否かが判断される。タッチ操作が検知されると、触感要求検知部１０５がその位置を触感要求位置Pと認識し、さらに触り方Qを検知してステップＳ７へ進む。ステップＳ７では前記触感情報Dを参照し、認識物体マップd1上での触感要求位置Pと対応付けられた触感パラメータが触感データサブセットd2から取得される。

ステップＳ８では、前記触感要求位置P、触り方Qおよび触感パラメータがモデル式に適用されて触感インジケータInが生成される。ステップＳ９では、前記触感インジケータInがフレーム画像に重畳表示されてユーザに提示される。したがって、ユーザはディスプレイに表示される任意の物体の触感を視覚的、直感的に体感できるようになる。

本実施形態によれば、ユーザはタッチパネルディスプレイに表示される任意の物体の触感を視覚的に体感できるので、触感を伴った映画や、画像中に含まれる商品のそれぞれの触感を体験しながら商品選択できるオンラインショッピングなどを実現できるようになる。また、リアルタイムに処理を行うことができるため、触感を伴ったテレコミュニケーションシステムを実現できる。更に、架空のキャラクターを識別して触感を付与することで、登場キャラクターに触ることができる漫画書籍やアニメーション等の製作等、より臨場感のあるアプリケーションを製作できるようになる。

図１８は、触感提示システムを構成する各機能の第１の分散例を示した機能ブロック図であり、前記と同一の符号は同一または同等部分を表しているので、その説明は省略する。本実施形態では、触感提示システム１０の各機能が、スマートフォンに代表されるローカル端末１とネットワーク上のサーバ装置２とに分散配置され、各機能が連携動作することで触感提示が実現される点に特徴がある。

ローカル端末１において、触感情報取得部１０４ａは、映像取得部１００が取得した映像の情報をサーバ装置２へ送信し、前記物体識別マップd1および触感データセットd2から構成される触感情報Dを当該サーバ装置２から取得する。

図１９は、第１の分散例の動作を示したシーケンスフローであり、時刻t1では、ローカル端末１の映像取得部１００が物体のフレーム画像を取得する。時刻t2では、触感情報取得部１０４ａがフレーム画像の情報を含む触感情報要求をネットワーク経由でサーバ装置２へ送信する。時刻t3では、前記フレーム画像がタッチパネルディスプレイ１０２に表示される。

サーバ装置２は、前記触感情報要求を受信すると、時刻t4において、識別部１０１がフレーム画像から物体を抽出し、更に各物体の種別および位置座標を識別する。時刻t5では、サーバ装置２から触感DB１０３へ、前記物体の種別を記述したパラメータ要求が送信される。触感DB１０３は、時刻t6において前記物体種別に対応した触感パラメータをサーバ装置２へ応答する。

サーバ装置２は、時刻t7において、取得した各物体の触感パラメータおよび位置座標に基づいて、前記図２を参照して説明した触感情報Dを生成し、時刻t８において当該触感情報Dをローカル端末１へ応答する。

これと並行して、時刻t9では、ローカル端末１の触感要求検知部１０５が、タッチパネル部１０２ｂに対するユーザのタッチ操作に基づいて、当該ユーザが触感を要求している物体の位置を触感要求位置Pとして検知し、さらにタッチ速度やタッチ圧の時系列変化を触り方Qとして検知する。

ローカル端末１では、時刻t10において、触感パラメータ取得部１０６が前記触感情報Dから触感要求位置Pに基づいて前記ユーザが要求した物体の触感パラメータを取得する。時刻t11では、前記触感インジケータ生成部１０７が前記触感要求位置P、触り方Qおよび触感パラメータをモデル式に適用して触感インジケータInを生成する。時刻t12では、前記触感インジケータ表示部１０８が前記触感インジケータInを現在のフレーム画像に重畳表示する。

本実施形態によれば、触感提示に要する複数の機能をローカル端末１およびサーバ装置２に分散できるので、処理能力の低いローカル端末にも視覚的な触感提示機能を付与できるようになる。

図２０は、触感提示システムを構成する各機能の第２の分散例を示した機能ブロック図であり、前記と同一の符号は同一または同等部分を表しているので、その説明は省略する。本実施形態は第１の分散例と比較して、識別部１０１がローカル端末１に実装された点に特徴がある。

図２１は、第２の分散例の動作を示したシーケンスフローであり、時刻t21では、ローカル端末１の映像取得部１００がフレーム画像を取得し、時刻t22においてタッチパネルディスプレイ１０２に表示する。時刻t23では、識別部１０１が前記フレーム画像から物体を抽出し、各物体の種別およびディスプレイ１０２上での位置座標を識別する。

時刻t24では前記物体の種別が記述された触感情報要求がローカル端末１からサーバ装置２へ送信される。時刻t25では、前記触感情報要求に記述されている物体種別を含むパラメータ要求がサーバ装置２から触感DB１０３へ送信される。時刻t26では、前記パラメータ要求に対して前記物体種別に対応した触感パラメータが触感DB３からサーバ装置２へ応答される。時刻t27では、サーバ装置２の触感情報生成部１０４により、取得した触感パラメータおよび物体の位置座標に基づいて、前記物体識別マップd1および触感データセットd2から構成される触感情報Dが生成される。

これと並行して、時刻t29では、ローカル端末１の前記触感要求検知部１０５が、タッチパネル部１０２ｂに対するユーザのタッチ操作に基づいて触感要求位置Pおよび触り方Qを検知する。時刻t30では、前記触感パラメータ取得部１０６が、前記触感情報Dから触感要求位置Pに基づいて触感パラメータを取得する。

時刻t31では、前記触感インジケータ生成部１０７が前記触感要求位置P、触り方Qおよび触感パラメータをモデル式に適用して触感提示信号を生成する。時刻t32では、前記触感インジケータInがフレーム画像に重畳表示される。

本実施形態によれば、第１の分散例との比較で、触感提示に係るローカル端末１の処理負荷は増えるが、ローカル端末１とサーバ装置２との間のトラヒック量を低減できるようになる。

図２２は、触感提示システムを構成する各機能の第３の分散例を示した機能ブロック図であり、前記と同一の符号は同一または同等部分を表しているのでその説明は省略する。本実施形態は、触感提示システム１０の全ての機能をローカル端末１に実装した点に特徴がある。

図２３は、触感提示システム１０の他の構成を示した機能ブロック図であり、触感情報生成部１０４が生成した認識物体マップd1を修正するマップ修正部１０９を具備した点に特徴がある。

触感情報生成部１０４は、映像が動画であれば識別部１０１による識別結果に基づいてフレーム単位で認識物体マップd1を生成する。このとき識別部１０１ａの識別精度、画像中の光陰、映像ノイズ等の影響により、図２４に示したように、フレーム間で一時的かつ部分的に物体の種別が誤認識され、認識物体マップd1の一部に誤りが生じることがある。このような誤認識は、特に自由形状に基づいて物体の種別を推定する識別アルゴリズムにおいて顕著に発生する。

誤認識された領域が触感要求位置Pとして指定されると、誤った触感パラメータに基づいて誤った触感が提示され、さらに次フレームで正しい触感パラメータに基づいて正しい触感が提示されると、短時間での触感変化がノイズの要因となり、提示触感のクオリティが著しく低下する。

マップ修正部１０９は、物体の種別が誤認識されて認識物体マップd1の一部に誤りが生じることに起因した提示触感のクオリティ低下を防止するために、今回フレームの認識物体マップd1を過去の複数フレーム分の認識物体マップd1に基づいて修正する。これにより、物体の種別を正しく識別できなかった場合でも当該物体の正しい触感をユーザに提示できるようになる。

図２５は、前記マップ修正部１０９の機能を備えた触感提示システムにおける各機能の分散例を示した機能ブロック図であり、ローカル端末１０２にマップ修正部１０９ａが実装された点に特徴がある。

マップ修正部１０９ａは、今回フレームの認識物体マップd1に加えて、過去nフレーム分（本実施形態では、過去４フレーム分）の認識物体マップd1を保持し、図２６に示したように、触感要求位置Pが検知されると、当該触感要求位置Pの座標を中心に、例えば５ピクセル四方、併せて１２５ピクセル分の識別結果を各認識物体マップd1から抽出する。そして、触感要求位置Pの座標を起点に過去フレームのピクセルごとに時間的あるいはピクセル間距離に基づくタグIDの重み付き線形和を計算する。ここで、タグIDは各物体の識別結果に固有の識別子である。

本実施形態では、今回フレームの認識物体マップd1における触感要求位置Pの位置座標を(xt, yt)とし、fフレーム前の認識物体マップd1における各ピクセルの位置座標(x, y)に対応したタグIDをvxyfとし、過去kフレームに遡って、(2N+1)ピクセル×(2M+1)ピクセルの矩形領域を対象にタグIDを抽出して線形和を求める。タグID (T)についての線形和E (T)は次式(1)で表すことができる。ただし、wxyfは今回フレームにおける触感要求位置P(xt, yt)からfフレーム前の認識物体マップj1における各ピクセル座標(x, y)までの線形和重みであり、f=0は現在のフレームを表す。

そして、各タグIDについて求められた線形和のうち、最も値が大きい線形和、およびそれに対応するタグIDを選出し、その線形和が一定の閾値より大きければ、触感要求位置Pの位置座標(xt, yt)を、選出されたタグIDの領域と判断する。これに対して、線形和が閾値より小さければ、その位置座標(xt, yt)を背景領域と判断する。

本実施形態によれば、推定結果を時間的、空間的に抽象化するため、触感情報生成部１０４において一時的あるいは部分的な誤認識が生じたとしても、視覚的な触感提示への影響を軽減できる。

ただし、映像中にカメラ視点の切り替えや、映像中の物体の入れ替わりが発生した場合、マップ修正部１０９が過去のフレームに遡って重み付き線形和を算出すると、正しい推定結果が得られない可能性がある。

ここで、図２７に示したように、認識物体マップj1において物体の識別結果（タグID）を画素データとしてヒストグラムを作成すると、このヒストグラムは、そのフレーム画像においてどの物体がどの程度の領域を占めているかを示す。そのため、「人」，「犬」，「車」が映っていたフレーム画像が、「人」のみが映ったフレーム画像に切り替わると、図示の通りヒストグラムが大きく変化する。

そこで、本実施形態ではタグIDについてのヒストグラムの値を過去数フレーム分保持して起き、今回フレームのヒストグラムと過去の各フレーム画像のヒストグラムとを比較することでカメラの切り替わりや物体の入れ替わりを検出する。

例えば、タグIDごとに過去フレームと今回フレームとの間の変動率を算出し、さらにタグID間の変動率の平均値を算出する。算出した平均値が閾値を超えていた場合は、カメラの切り替えや物体の入れ替えが起こったと判断できる。

ただし、ヒストグラムの対象領域をフレーム全体にしていた場合はフレームの部分的な変動に対応できない。このため、実際には1つのフレーム画像を部分区画に区切り、区画ごとにヒストグラムを算出することで各区画におけるカメラの切り替わりや物体の入れ替わりを検出することが望ましい。

上記手法により、ある領域においてカメラの切り替わりや物体の入れ替わりを検出したとき、ユーザがその領域の部分にタッチしていた場合には、検出以前のフレームを線形和の重みを再度設定しなおして、タッチ位置における物体の種別を再度判断する。これにより、カメラの切り替わりや物体の入れ替わりが起こるような映像においても、物体の誤認識の影響を軽減した視覚的な触感提示が可能になる。

本実施形態によれば、映像が大きく変化する前の触感情報が、大きく変化した後の触感情報に基づいて修正されてしまうような、誤った修正を防止できるようになる。また、本実施形態によれば、感触感要求位置Pに対応したピクセルのタグIDのみを過去フレームの触感情報マップMに基づいて修正するので計算量を減じることができる。したがって、一般的に計算能力の低いローカル端末１への実装を実現できる。

図２８は、前記マップ修正部１０９の機能を備えた触感提示システムにおける各機能の他の分散例を示した機能ブロック図であり、前記マップ修正部１０９の機能をサーバ装置２において実現するマップ修正部１０９ｂが実装された点に特徴がある。

本実施形態では、触感要求位置Pが検知されると、当該触感要求位置Pに対応したピクセルのタグIDのみを過去フレームの触感情報マップMに基づいて修正したが、サーバ装置２にとって触感要求位置Pは未知である。そこで、マップ修正部１０９ｂが今回フレームに関して生成した認識物体マップの全てのピクセルに関して、予め上記と同様の手順を繰り返すことで認識物体マップd1を修正する。

本実施形態によれば、一般的に処理負荷の高い認識物体マップd1の修正処理をサーバ装置に負担させることができるので、ローカル端末１の処理負荷を軽減できるようになる。

１…ローカル端末，２…サーバ装置，１０…触感提示システム，１００…映像取得部，１０１…物体識別部，１０１ａ…種別識別部，１０１ｂ…位置識別部，１０２…タッチパネルディスプレイ，１０３…触感データベース(DB)，１０４…触感情報生成部，１０５…触感要求検知部，１０６…触感パラメータ取得部，１０７…触感インジケータ生成部，１０８…触感インジケータ表示部，１０９，１０９ａ，１０９ｂ…マップ修正部，２００…触感情報管理部

Claims (16)

1. タッチ操作を検知できるディスプレイが表示する映像に含まれる物体の触感を視覚的に提示する触感提示システムにおいて、
   物体の種別ごとに触感パラメータを保持する触感記憶手段と、
   タッチ操作されたディスプレイの触感要求位置に対応した物品の触感パラメータを触感記憶手段から取得する手段と、
   取得した触感パラメータに基づいて前記物品の触感を視覚的に表現する触感インジケータを表示する手段とを具備し、
   前記触感インジケータが前記物体の背景領域の全域に複数表示されることを特徴とする触感提示システム。
2. ディスプレイに表示される物体の種別および位置を識別する手段と、
   前記物体の種別および位置の識別結果ならびに前記触感記憶手段に基づいて、前記ディスプレイ上の各位置と触感パラメータとを対応付ける触感情報を生成する手段と、
   前記触感要求位置に対応した触感パラメータを前記触感情報に基づいて取得する手段とを更に具備したことを特徴とする請求項１に記載の触感提示システム。
3. 触感要求位置がスライドすると各スライド位置の触感に応じて触感インジケータが変化することを特徴とする請求項１または２に記載の触感提示システム。
4. 前記触感要求位置のスライドに応じて触感インジケータの表示位置が移動することを特徴とする請求項３に記載の触感提示システム。
5. 触感インジケータの表示位置が各スライド位置の触感に応じて、前記触感要求位置のスライドと非同期に移動することを特徴とする請求項４に記載の触感提示システム。
6. 前記触感インジケータの形状が触感に応じて変化することを特徴とする請求項１ないし５のいずれかに記載の触感提示システム。
7. 前記触感インジケータの表示色が触感に応じて変化することを特徴とする請求項１ないし６のいずれかに記載の触感提示システム。
8. 前記触感インジケータが触感に応じた振幅および／または振動数で振動することを特徴とする請求項１ないし７のいずれかに記載の触感提示システム。
9. 前記振幅および／または振動数が、前記触感要求位置から触感インジケータまでの距離に応じて変化することを特徴とする請求項８に記載の触感提示システム。
10. 前記触感インジケータの大きさが触感およびタッチ操作の押し込み圧力に応じて変化することを特徴とする請求項１ないし９のいずれかに記載の触感提示システム。
11. 前記映像が動画の各フレーム画像であり、
    今回のフレーム画像に基づいて生成した触感情報を前回以前の各フレーム画像に基づいて生成した各触感情報に基づいて修正する手段を更に具備したことを特徴とする請求項１ないし１０のいずれかに記載の触感提示システム。
12. ディスプレイに表示される物体の種別をピクセル位置毎に識別する手段と、
    前記物体の種別およびそのピクセル位置の識別結果ならびに前記触感記憶手段に基づいて、前記ディスプレイ上の各ピクセル位置と触感パラメータとを対応付ける触感情報を生成する手段と、
    前記触感要求位置に対応した触感パラメータを前記触感情報に基づいて取得する手段とを更に具備し、
    前記映像が動画の各フレーム画像であり、
    今回のフレーム画像に基づいて生成した触感情報を前回以前の各フレーム画像に基づいて生成した各触感情報に基づいて修正する手段を更に具備し、
    前記修正する手段は、今回フレームの触感要求位置の種別を、当該触感要求位置と前回以前の各フレーム画像の前記今回フレームの触感要求位置に対応する位置を中心とする所定範囲内の各ピクセル位置との距離およびその種別に基づく重み付き線形和で修正することを特徴とする請求項１に記載の触感提示システム。
13. 前記修正する手段は、フレームごとに種別ヒストグラムを作成し、種別ヒストグラムの変化が所定の閾値を超えるフレーム間には前記修正を適用しないことを特徴とする請求項１２に記載の触感提示システム。
14. 前記タッチ操作に基づいて前記ディスプレイへの触り方を検知する手段を更に具備し、
    前記触感インジケータを表示する手段は、前記取得した触感パラメータおよび触り方に基づいて触感インジケータを表示することを特徴とする請求項１ないし１３のいずれかに記載の触感提示システム。
15. コンピュータが、タッチ操作を検知できるディスプレイに表示される物体の触感を視覚的に提示する触感提示方法において、
    タッチ操作されたディスプレイの触感要求位置に対応した物品の触感パラメータを、物体の種別ごとに触感パラメータを保持する触感記憶手段から取得し、
    取得した触感パラメータに基づいて前記物品の触感を視覚的に表現する触感インジケータを表示し、
    前記触感インジケータを前記物体の背景領域の全域に複数表示することを特徴とする触感提示方法。
16. タッチ操作を検知できるディスプレイに表示される物体の触感を視覚的に提示する触感提示プログラムにおいて、
    タッチ操作されたディスプレイの触感要求位置に対応した物品の触感パラメータを、物体の種別ごとに触感パラメータを保持する触感記憶手段から取得する手順と、
    取得した触感パラメータに基づいて前記物品の触感を視覚的に表現する触感インジケータを表示する手順と、
    をコンピュータに実行させ、
    前記触感インジケータを前記物体の背景領域の全域に複数表示することを特徴とする触感提示プログラム。

Images