JP6031429B2 - 粘性感覚呈示装置、その方法、およびプログラム - Google Patents

Description

本発明は、液体等の流体の粘性の触感を擬似的に人に知覚させる粘性感覚呈示技術に関する。

従来、液体等の流体の抵抗感を擬似的に人に伝える方法として、ディスプレイに表示されたマウスカーソルを遅延させる方法が知られている（非特許文献１）。非特許文献１では、流体を表現した映像の上でカーソルを操作するときに、カーソルの動きをユーザの入力に対して遅延させることで、ユーザが感じる映像の中の流体の抵抗を変化させることを実現している。

渡邊恵太，安村通晃，"RUI: Realizable User Interface カーソルを用いた情報リアライゼーション"，第27回ヒューマンインタフェース学会研究会「VRの心理と生理」，ヒューマンインタフェース学会研究報告集，pp. 35-38, (2004)．

非特許文献１の技術は、画面上のカーソルを遅延させることでユーザが推定する映像中の流体の抵抗感を変化させる技術であるが、ユーザの手がカーソルを操作するために触れているマウスもしくはタッチパネル等の操作入力部は固いままで、ユーザが触れているものそのものの粘性が変わったように知覚させることはできない。そのため、物理世界に存在する流体の粘性の触感を変化させることはできなかった。

本発明の目的は、触れている流体自体の粘性が変わったように知覚させる、すなわち、流体の粘性の触感を擬似的に呈示する技術を提供することにある。

上記の課題を解決するために、人が自身の身体もしくは身体に接触した対象で流体に触れて運動している映像、を撮影し、所望の粘性に対応する指標値に対応した遅延時間を取得し、撮影した映像を遅延時間にしたがって遅らせた映像を表示する。

上記により、流体の粘性の触感を擬似的に呈示することができる。

実施形態の粘性感覚呈示装置を例示するための図。 実施形態の撮影部と表示部との位置関係を例示するための図。 流体が入れられた容器を例示するための図。 実施形態の撮影部と表示部との位置関係を例示するための図。

以下、図面を参照して本発明の実施形態を説明する。
［第１実施形態］
図１に例示するように、本形態の粘性感覚呈示装置１は、入力部１１、遅延時間取得部１２、撮影部１３、映像遅延部１４、および表示部１５を有する。

撮影部１３はカメラ等の撮影装置であり、ユーザ（人）の自身の身体やユーザの身体に接触した対象（以下、「ユーザの自身の身体」および「ユーザの身体に接触した対象」を総称して「ユーザの自身の身体等」という）が流体に触れて運動しているときの映像を撮影する。撮影した映像は映像遅延部１４に送られる。なお、「ユーザの自身の身体」はユーザのどのような部位であってもよいが、ユーザ自身の肉眼で直接見ることのできる部位であることが望ましい。このような「ユーザの自身の身体」の例は、手、腕、脚等である。また「ユーザの身体に接触した対象」はどのようなものであってもよいが、ユーザ自身の肉眼で直接見ることのできるユーザ自身の部位（例えば、手、腕、脚等）に接触した対象であることが望ましい。また、この「ユーザの身体に接触した対象」の形状に限定はなく、円柱や角柱や円筒や角筒等の棒形状、板形状、球形状、流線形状、立方体形状、直方体形状、角錐形状、円錐形状、錐台形状等どのようなものであってもよい。ただし、本形態では、この「ユーザの自身の身体等」が実際に触れている流体の粘性よりも高い粘性を擬似的に呈示することはできるが、この「ユーザの自身の身体等」が実際に触れている流体の粘性よりも低い粘性を擬似的に呈示することは困難である。そのため、より様々な粘性を擬似的に呈示できるようにするためには、ユーザの自身の身体等に実際に触れる流体は粘性の低いもの（例えば水などの液体）であることが望ましい。また、大きな粘性を知覚しやすくするためには、この「対象」の流体に対する抗力が大きいほうが望ましいため、この「対象」の形状が、板形状、立方体形状、直方体形状、角錐形状、錐台形状等の流体に対する抗力が大きな形状であることが望ましい。さらに、呈示する擬似的な粘性の強さを対称にするためには、この「対象」の形状がその流体内での移動方向と垂直な中心線に対して線対称であることが望ましい。一方、呈示する擬似的な粘性の強さを非対称にするためには、この「対象」の形状がその流体内での移動方向と垂直な中心線に対して線対称でないことが望ましい。また、「ユーザの身体に接触した対象」は、ユーザの身体に直接触れている対象であってもよいし、ユーザの身体に間接的に触れている対象であってもよい。ユーザの自身の身体が流体に触れて運動している状況の例は、ユーザの手が直接流体に触れて運動している状況であり、ユーザの身体に接触した対象が流体に触れて運動している状況の例は、ユーザの手で持たれた棒が流体に触れて運動している状況である。また、ユーザの自身の身体等が触れる流体に限定はない。

入力部１１はマウス、キーボード、テンキー等の入力デバイスであり、ユーザに知覚させたい流体の粘性の高さを表す指標値（所望の粘性に対応する指標値）が入力される。指標値は、知覚させたい流体の粘性そのものであっても良いし、実際にユーザの自身の身体等が触れている流体よりも知覚させる流体の粘性をどのくらい高くするかを表す値であっても良い。また、指標値が大きいほど知覚させたい流体の粘性が大きくてもよいし、指標値が大きいほど知覚させたい流体の粘性が小さくてもよい。指標値の一例は、絶対粘度である。入力部１１に入力された指標値は、遅延時間取得部１２に送られる。

遅延時間取得部１２は、ＣＰＵ（central processing unit）やＲＡＭ（random-access memory）等を備えるコンピュータに所定のプログラムが読み込まれて構成される処理部であり、入力部１１に入力された指標値にしたがって、映像の遅延時間（入力部１１に入力された指標値に対応した遅延時間）を決定する。本形態の方法では、遅延時間が小さすぎると、ユーザに知覚される擬似的な粘性が小さくなる。逆に遅延時間が大きすぎると、ユーザの自身の身体等の実際の動きと遅延後の動きとの乖離が大きくなり、これらの間の相関関係が希薄となり、この場合もユーザに知覚される擬似的な粘性が小さくなる。そのため、ユーザに大きな粘性を擬似的に知覚させるためには、遅延時間が150msecから1000msecの間であることが好ましく、入力された指標値が表す粘性が高いほど、遅延時間が600msecまたはその近傍に近くなるように設定されることがより好ましい。「600msecの近傍」とは、600−αmsec以上かつ600＋βmsec以下の範囲に属するいずれかの値である（ただしα，βは正定数）。言い換えると、入力された指標値が第１値のときに遅延時間取得部１２が取得する遅延時間は、当該指標値が当該第１値よりも小さい第２値のときに遅延時間取得部１２が取得する遅延時間よりも600msecに近いことがより好ましい。ただし、第２値の指標値が表す粘性は、第１値の指標値が表す粘性よりも小さい（低い）。すなわち、第２値は指標値が第１値よりも粘性が小さいことに対応する。また、ユーザの自身の身体等が流体に触れて周期運動する場合、遅延時間は最大でも運動周期の75％程度（例えば、運動周期の75％以下または未満）であることが望ましい。遅延時間取得部１２で決定された遅延時間は映像遅延部１４に送られる。

映像遅延部１４は、コンピュータに所定のプログラムが読み込まれて構成される処理部であり、撮影部１３から入力された映像を、遅延時間取得部１２から入力された遅延時間分だけ遅らせた遅延画像を、表示部１５に出力する。つまり、撮影部１３から入力されたフレームごとの映像を、遅延時間取得部１２から入力された遅延時間分だけ遅らせて表示部１５に出力する。

表示部１５はディスプレイ等であり、撮影部１３で撮影した映像を、遅延時間取得部１２で取得した遅延時間にしたがって遅らせた遅延映像を表示する。本形態の表示部１５は、撮影部１３で撮影した映像の各フレームを、遅延時間取得部１２で取得した遅延時間分だけ遅延させた遅延映像を表示する。ユーザは、当該ユーザの自身の身体等が流体に触れて運動する際の抗力を触覚で感じつつ、表示部１５から表示される遅延映像を視覚で感知する。これによって当該ユーザの自身の身体等が触れている流体の実際の粘性とは異なる擬似的な粘性を当該ユーザに知覚させることができる。言い換えると、ユーザの自身の身体等が触れている液体の粘性が変わったようにユーザに知覚（錯覚）させることができる。

なお、ユーザが当該ユーザの自身の身体等を流体に触れた状態で運動させつつ、それに対応する遅延時間取得部１２で取得した遅延映像を閲覧できるのであれば、撮影部１３と表示部１５との位置関係に限定はなく、これらがどのような位置関係にあっても、上記の作用効果が得られる。ただし、撮影部１３と表示部１５との位置関係を工夫することで、液体の粘性がより現実的に変化したように錯覚させることができる。例えば、撮影部１３で撮影される「ユーザの自身の身体等」が実在する位置と当該ユーザの目との間に表示部１５の表示面（当該ユーザの目側に向けた表示面）が配置され、この表示面に上述の遅延映像が表示された場合、このユーザは当該ユーザの自身の身体等が実在する位置またはその近傍に遅延時間取得部１２で取得した遅延映像の物体が存在するように知覚する。これにより、液体の粘性がより現実的に変化したように錯覚させることができる。このような構成は、表示部１５の表示面の裏面側外方（表示部１５の表示面の裏面側の領域）を撮影できる位置に撮影部１３を設ければ実現できる。

図２は、このような撮影部１３と表示部１５との位置関係を例示している。なお、簡略化のため、図２では、入力部１１、遅延時間取得部１２、および映像遅延部１４を省略している。図２の例の撮影部１３はカメラ１３ａおよびミラー１３ｂを有し、表示部１５は液晶モニター等のモニター１５ａおよびミラー１５ｂ（表示面）を有する。ミラー１３ｂおよびミラー１５ｂは、モニター１５ａとカメラ１３ａとの間に配置された板状の両面ミラーのミラー面である。モニター１５ａの画面１５ａａはミラー１５ｂに対向し、カメラ１３ａのレンズ１３ａａはミラー１３ｂに対向する。図２の例では、板状のベース１７ａに支柱部１７ｂの一端が固定され、支柱部１７ｂの他端に顎置き１８が固定されている。ミラー１３ｂおよびミラー１５ｂは、顎置き１８よりもベース１７ａ側に近い位置に配置され、ベース１７ａと略並行に固定されている。カメラ１３ａはミラー１３ｂよりもベース１７ａ側に近い位置に配置され、支柱部１７ｂに固定されている。モニター１５ａの画面１５ａａはカメラ１３ａのレンズ１３ａａ方向に向けられ、カメラ１３ａのレンズ１３ａａはモニター１５ａの画面１５ａａ方向に向けられている。ベース１７ａのミラー１３ｂの対向面には流体１６ａが入れられた容器１６が配置されている（図３）。ユーザ１００は、顎を顎置き１８におき、容器１６内の流体１６ａに直接触れた手１０１（ユーザの自身の身体等）をＸ方向および／またはＹ方向に動かす。容器１６、流体１６ａおよび手１０１の像はミラー１３ｂで反射され、カメラ１３ａで撮影される。その映像から遅延時間取得部１２で得られた遅延映像はモニター１５ａの画面１５ａａから表示され、ミラー１５ｂで反射してユーザ１００に閲覧される。これにより、ユーザ１００は、容器１６、流体１６ａおよび手１０１が実在する位置またはその近傍に遅延映像の物体が存在するように知覚する。

図４は他の撮影部１３と表示部１５との位置関係を例示している。なお、簡略化のため、図４でも、入力部１１、遅延時間取得部１２、および映像遅延部１４を省略している。この例では、液晶画面等の表示部１５の裏面にカメラ等の撮影部１３が取り付けられたスマートフォン端末装置、タブレット端末装置、携帯電話端末装置等のような電子機器を用いる。この例の撮影部１３のレンズは、表示部１５の裏面側外方を向き、表示部１５の裏面側外方を撮影する。図４の例では、ユーザ１００は、容器１６内の流体１６ａに触れた手１０１をＸ方向および／またはＹ方向に動かし、その映像を撮影部１３で撮影する。その映像から遅延時間取得部１２で得られた遅延映像は表示部１５で表示される。これにより、ユーザ１００は、容器１６、流体１６ａおよび手１０１が実在する位置またはその近傍に遅延映像の物体が存在するように知覚する。

［第２実施形態］
第２実施形態は第１実施形態の変形例であり、上述の指標値だけではなく、ユーザの自身の身体等の運動情報をも用いて遅延時間を決定する。以下では、これまで説明した事項との相違点のみを説明し、すでに説明した部分については同じ参照番号を付して説明を省略する。

図１に例示するように、本形態の粘性感覚呈示装置２は、入力部１１、遅延時間取得部２２、運動情報取得部２３、撮影部１３、映像遅延部１４、および表示部１５を有する。

運動情報取得部２３は、流体に触れて運動するユーザの自身の身体等の運動情報を取得する。運動情報の例は、運動周期、角速度、速度、加速度等である。例えば、図２の例では、ベース１７ａ上にモーションセンサーデバイス等の運動情報取得部２３を設置し、手１０１のＸ方向および／またはＹ方向の運動情報を取得する。取得された運動情報は遅延時間取得部２２に入力される。

遅延時間取得部２２は、入力部１１から入力された指標値と運動情報取得部２３から入力された運動情報とを考慮し、遅延時間を決定する。例えば、遅延時間取得部２２は、運動情報が示すユーザの自身の身体等の運動周期の75％近傍を超えないように（例えば、運動周期の75％以下または未満）、遅延時間を決定する。また、遅延時間取得部２２は、ユーザの自身の身体等の速度が速いほど（運動周期が短いほど）遅延時間の上限が小さくなるように、遅延時間を決定してもよい。遅延時間取得部２２で得られた遅延時間は映像遅延部１４に入力される。その他は、第１実施形態と同じである。

［第３実施形態］
第３実施形態は第１，２実施形態の変形例であり、映像のフレーム毎に遅延時間を設定する。

図１に例示するように、本形態の粘性感覚呈示装置３は、入力部１１、遅延時間取得部３２、撮影部１３、映像遅延部３４、および表示部１５を有する。第１，２実施形態の映像遅延部１４では、撮影部１３で撮影した映像のすべてのフレームで同一の遅延時間だけ遅延させていた。本形態では、遅延時間取得部３２が撮影部１３で撮影した映像のフレーム毎の遅延時間を取得し、映像遅延部３４が撮影部１３で撮影した映像の各フレームを、遅延時間取得部３２で取得したフレーム毎の遅延時間だけ遅延させ、それによって得られる各フレームの遅延映像を表示部１５が表示する。遅延時間取得部３２は、遅延時間取得部１２と同様、入力部１１に入力された指標値にしたがってフレーム毎の遅延時間を決定する。ただし、指標値だけではなくフレームに対応する情報にしたがって遅延時間を決定する。これにより、表示する映像の遅延時間を動的に変化させることができる。例えば、遅延時間取得部３２が取得するフレームごとの遅延時間が、時間的に後ろのフレームほど遅延時間が大きく、かつ、最大の遅延時間が指標値に対応した遅延時間（例えば、第１，２実施形態に例示した遅延時間、またはそれらの関数値）を超えないように制御する。このように映像の遅延時間が徐々に大きくしていくと、表示部１５で表示される遅延映像がスローモーション映像のようになり、ユーザの自身の身体等に触れている流体の粘性がより高くなったように知覚される。その他、第２実施形態で説明した運動情報取得部２３を設け、遅延時間取得部３２が運動情報取得部２３で得られた各フレームの運動情報をさらに用い、フレーム毎の遅延時間を決定してもよい。その他は、第１または２実施形態と同じである。

［第４実施形態］
第４実施形態は、第１〜３実施形態の変形例である。第４実施形態では、予め複数の流体の粘性とそれぞれの知覚を引き起こす遅延時間とが対応付けられており、遅延時間取得部はその対応付けにしたがい、指標値に対応する遅延時間を決定する。

図１に例示するように、本形態の粘性感覚呈示装置４は、入力部４１、遅延時間取得部４２、撮影部１３、映像遅延部１４、表示部１５、および記憶部４３を有する。記憶部４３には、複数の流体の粘性とそれぞれの知覚を引き起こす遅延時間とを対応付けたデータベースが格納されている。入力部４１には、記憶部４３に記憶された複数の流体の候補のうち、所望の流体（知覚したい流体）に対応する指標値（粘性に対応する指標値）が入力される。この際、表示部１５で記憶部４３に記憶されたデータベースが示す複数の流体のリストを表示し、ユーザが表示された候補の中から１つを選択し、選択した流体に対応する指標値を入力部４１に入力してもよい。入力部４１に入力された指標値は遅延時間取得部４２に入力される。遅延時間取得部４２は、記憶部４３のデータベースを参照し、入力部４１から入力された指標値に対応する遅延時間を取得する。その後の遅延時間取得部４２の処理は、第１〜３実施形態の遅延時間取得部１２〜３２の何れかと同じである。遅延時間取得部４２が遅延時間を取得するために運動情報が必要な場合には、粘性感覚呈示装置４がさらに運動情報取得部２３を備え、遅延時間取得部４２が運動情報取得部２３から入力されたさらに運動情報を用いて遅延時間を決定してもよい。その他は第１〜３実施形態と同じである。

［その他の変形例等］
なお、本発明は上述の実施形態に限定されるものではない。例えば、ユーザの自身の身体等の運動方向に応じて遅延時間が設定されたり、当該運動方向によって異なる遅延時間が設定されたりしてもよい。また、ユーザの自身の身体等が特定方向（例えば、図２のＸの正方向（右方向））に運動する場合の遅延時間が、ユーザの自身の身体等がその反対方向（例えば、図２のＸの負方向（左方向））に運動する場合の遅延時間よりも特定の値（例えば600msec）に近くなるように設定されてもよい。或いは、ユーザの自身の身体等が特定の第１軸に沿って（例えば、図２のＸ方向（左右方向））に運動する場合の遅延時間が、ユーザの自身の身体等が第１軸に垂直な第２軸に沿って（例えば、図２のＹ方向（上下方向））に運動する場合の遅延時間よりも特定の値（例えば600msec）に近くなるように設定されてもよい。或いは、ユーザの自身の身体等が特定方向または特定の軸に沿って移動する場合には、フレームごとの遅延時間が、時間的に後ろのフレームほど遅延時間が大きく、かつ、最大の遅延時間が指標値に対応した遅延時間を超えないように制御し（第３実施形態等）、それ以外の方向または軸に沿って移動する場合には、各フレームの遅延時間が互いに同一となるように制御してもよい（第１，２実施形態等）。このように遅延時間を制御することにより、ユーザに流体が流動しているように（すなわち、流体の流れを）知覚（錯覚）させることができる。

上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。

上述の構成は、カメラ、入力デバイス、モニター、ＣＰＵ、ＲＡＭ等を備えるコンピュータ（例えば、パーソナルコンピュータ、スマートフォン端末装置、タブレット端末装置、携帯電話端末装置等）によって実現できる。上述の構成をコンピュータによって実現する場合、遅延時間取得部や映像遅延部の処理機能が有すべき機能の処理内容はプログラムによって記述される。このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体の例は、非一時的な（non-transitory）記録媒体である。このような記録媒体の例は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等である。

このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。処理の実行時、このコンピュータは、自己の記録装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。

また、上述の処理機能の少なくとも一部が集積回路等のハードウェアで実現されてもよい。

このように、人が直接的もしくは間接的に流体に触れて運動している映像を遅延させて見せることにより、その流体の粘性が高くなったように人に知覚（錯覚）させることができる。知覚させたい粘性に合わせて、映像の遅延時間もしくは遅延時間の時間変化を操作することもできる。この技術を用いることにより、ユーザは、例えば、化粧品や接着剤などの流体商品の粘性感覚を、その商品に実際に触れることなく擬似的に体感することができる。インターネットショッピングなど、実際に商品に触れることができない場合であっても、ユーザは、その商品がさらさらした触感なのか、とろりとした触感なのか、などの感触を知ることができる。ユーザの手元に用意する液体は水などの無害、かつ、簡単に入手できるもので良いので、接着剤などのように実際に触れたくはないが粘性の感覚は知りたい場合等にも便利である。

１〜４ 粘性感覚呈示装置
１１，４１ 入力部
１２，２２，３２，４２ 遅延時間取得部
１３ 撮影部
２３ 運動情報取得部
１４，３４ 映像遅延部
１５ 表示部
４３ 記憶部

Claims (7)

1. 人が自身の身体もしくは身体に接触した対象で流体に触れて運動している映像、を撮影する撮影部と、
   所望の粘性に対応する指標値が入力される入力部と、
   前記入力部に入力された前記指標値に対応した遅延時間を取得する遅延時間取得部と、
   前記撮影部で撮影した映像を、前記遅延時間取得部で取得した遅延時間にしたがって遅らせた映像を表示する表示部と、
   を有する粘性感覚呈示装置。
2. 請求項１記載の粘性感覚呈示装置であって、
   前記指標値が第１値のときに前記遅延時間取得部が取得する遅延時間は、前記指標値が前記第１値よりも粘性が小さいことに対応する第２値のときに前記遅延時間取得部が取得する遅延時間よりも600msecに近い
   ことを特徴とする粘性感覚呈示装置。
3. 請求項１または２記載の粘性感覚呈示装置であって、
   前記流体に触れて運動している前記身体もしくは身体に接触した対象の運動の周期を取得する運動情報取得部を更に有し、
   前記遅延時間取得部は、前記運動情報取得部で取得した運動周期の75％近傍を超えないように、遅延時間を決定する
   ことを特徴とする粘性感覚呈示装置。
4. 請求項１乃至３のいずれかに記載の粘性感覚呈示装置であって、
   前記遅延時間取得部は、前記撮影部で撮影した映像のフレーム毎の遅延時間を取得するものであり、
   前記表示部は、前記撮影部で撮影した映像の各フレームを、前記遅延時間取得部で取得したフレーム毎の遅延時間だけ遅らせた映像を表示するものである
   ことを特徴とする粘性感覚呈示装置。
5. 請求項４記載の粘性感覚呈示装置であって、
   前記遅延時間取得部が取得するフレームごとの遅延時間は、時間的に後ろのフレームほど遅延時間が大きく、かつ、最大の遅延時間が前記指標値に対応した遅延時間を超えない
   ことを特徴とする粘性感覚呈示装置。
6. 人が自身の身体もしくは身体に接触した対象で流体に触れて運動している映像、を撮影する撮影ステップと、
   所望の粘性に対応する指標値が入力される入力ステップと、
   前記入力ステップで入力された前記指標値に対応した遅延時間を取得する遅延時間取得ステップと、
   前記撮影部で撮影した映像を、前記遅延時間取得ステップで取得した遅延時間にしたがって遅らせた映像を表示する表示ステップと、
   を有する粘性感覚呈示方法。
7. 請求項１から５の何れかの粘性感覚呈示装置としてコンピュータを機能させるためのプログラム。

Images