JPWO2008111245A1 - 仮想感覚提示装置 - Google Patents

Abstract

仮想の皮膚感覚・力感覚や仮想の平衡感覚を、確実に提示することができる仮想感覚提示装置を提供する。関係継続期間検出手段９が、スクロール画像用画像データＤ１とポインタ画像用画像データＤ２とに基づいて、スクロール画像中の特定領域画像に対して、ポインタ画像が予め定めた位置関係になった後、特定領域画像に対してポインタ画像が予め定めた位置関係ではなくなるまでの関係継続期間を検出する。画像表示装置３は、関係継続期間においてスクロール変更指令発生手段１１からスクロール変更指令Ｃが入力指令として入力されているときには、スクロール変更指令Ｃに応じて、スクロール画像のスクロール速度及び／またはスクロール方向を変更する。

Description

本発明は、視覚情報に基づいて、実際には発生していない現象を、あたかも実際に発生しているかのごとくに感じることを可能にする仮想感覚提示装置を提供することにある。

A. Lecuyer, J. Burkhardt, 及びL. Etenne,著の “Feeling bumps and holes without a haptic interface: the perception of pseudo-haptics textures”, SIGCHI, 2004.（非特許文献１）には、ユーザの操作で移動するポインタの移動速度を変化させることで、凹凸感をユーザに感じさせる触覚提示手法が提案されている。またA. Lecuyer, S. Coquillart, A. Kheddar, P. Richard 及びP. Coiffet,著の "Pseudo-Haptic Feedback: Can Isometric Input Devices Simulate Force Feedback?", IEEE International Conference on Virtual Reality (IEEE VR), pages 83-90, 2000.（非特許文献２）には、ユーザの操作によって変化する画像の、変化の割合を変化させることで、ユーザに力覚（重い、軽いの感覚）を感じさせる手法が提案されている。しかしながらこれらの公知技術では、マウスのような操作用コントローラでポインタ画像（カーソル）の動きを制御する場合のように、コントローラを使用する場合にしか適用することができない。なお画像上の特定の位置に対してカーソルの動作速度を遅くする技術は、特開２０００-１４８３５０号公報（特許文献１）、特開２００６−２６８６６２号公報（特許文献２）等にも記載されているように、操作者の意図に応じてカーソルの移動量を制御できるようにする目的でも採用されている技術である。
"Feeling bumps and holes without a haptic interface: the perception of pseudo-haptics textures", SIGCHI, 2004. "Pseudo-Haptic Feedback: Can Isometric Input Devices Simulate Force Feedback?", IEEE International Conference on Virtual Reality (IEEE VR), pages 83-90, 2000. 特開２０００-１４８３５０号公報 特開２００６−２６８６６２号公報

しかしながら従来は、視覚情報に基づいて、操作用のコントローラを使用する人に、仮想の皮膚感覚・力感覚を確実に与えることができず、またコントローラを使用しない人（操作者および観察者等）に仮想の平衡感覚を、確実に提示することができる仮想感覚提示装置はなかった。

本発明の目的は、仮想の皮膚感覚・力感覚または仮想の平衡感覚を、確実に提示することができる仮想感覚提示装置を提供することにある。

人間は視触覚を深く結びつけて環境を認識している。環境に対して行動を行った結果、視覚的にも触覚的にも一貫したフィードバックが行われることで、環境に存在する物体を認識している。そして、その際、視触覚はお互いに影響を与え合う。例えば、ペンで線を描くとき、紙の上に描く場合と、他の材質に描く場合では、その見えも触覚的反力も異なる。このように、視覚的変化と触覚的変化は、通常、同時に起こり、それらは関係付けられている。ということは、視触覚が関係付けられた状態で、なんらかの視覚的変化が起こると、それにつられて、触覚的変化も起きたともの人間は錯覚する。そこで、適宜の視覚情報を提示することで、触覚提示装置は一切存在しなくても、視覚的変化だけで、触覚的感覚を提示することが可能となる。本発明はこのようなことを背景にして、ユーザに擬似的な（仮想の）触感覚（皮膚感覚＋力感覚）や擬似的な仮想の平衡感覚を生成させる。すなわち本発明は、人間の知覚における視覚と触感覚・平衡感覚の関係性を利用したものである。本発明によれば、大掛かりなデバイスを使用する代わりに、人間の錯覚を利用するため、どこでも、安価に触感覚を提示することが可能である。

具体的には、まず本発明の第１のタイプの仮想感覚提示装置は、画像表示装置と、スクロール画像用画像データ提供手段と、ポインタ画像用画像データ提供手段と、関係継続期間検出手段と、スクロール変更指令発生手段とを備えている。画像表示装置は、画像データと入力指令とに基づいて画面に画像を表示する。例えば、パーソナルコンピュータをハードウエアとして使用する場合であれば、ディスプレイ装置と、このディスプレイ装置の画面上に画像を表示するためのドライブ回路とがこの画像表示装置に該当する。

スクロール画像用画像データ提供手段は、画面に、スクロールするスクロール画像を表示するために必要なスクロール画像用画像データを画像データとして画像表示装置に提供する。スクロール画像用画像データ提供手段は、パーソナルコンピュータをハードウエアとして使用する場合であれば、プログラムによって実現される手段である。

ポインタ画像用画像データ提供手段は、スクロール画像を見ている操作者が操作するコントローラの動き、この操作者が操作面上を移動させるスタイラスの動き、またはこの操作者が操作面上を移動させる指の動きに応じて、スクロール画像上をコントロール可能に移動するポインタ画像をスクロール画像上に表示するために必要なポインタ画像用画像データを画像データとして画像表示装置に提供するものである。ここで「スクロール画像」とは、移動する背景画像であって、スクロール画像の移動方向は、左右方向、上下方向、斜め方向のいずれであってもよい。パーソナルコンピュータをハードウエアとして使用する場合には、操作するコントローラとは、典型的にはマウスである。またスタイラスとは、接触式（タッチパネル式）の入力装置で操作面上に先端を接触させて入力をする場合に用いるペン型の器具である。また操作画面上を移動する指の動きは、スタイラスの代わりに人の指を使用する接触式の入力装置により検出される。この種の接触式の入力装置では、操作面をスタイラスや指で押す際の押圧力を検出できるものを利用してもよい。そして「ポインタ画像」とは、カーソル（キャラクタの画像等のように特定の画像等でもよい）や、スタイラスや指の接触点の軌跡を示す画像等のように、スクロール画像上に表示される画像である。なおポインタ画像用画像データ提供手段は、パーソナルコンピュータをハードウエアとして使用する場合であれば、プログラムによって実現される手段である。

また関係継続期間検出手段は、スクロール画像用画像データとポインタ画像用画像データとに基づいて、スクロール画像中の特定領域画像に対して、ポインタ画像が予め定めた位置関係になった後、特定領域画像に対してポインタ画像が予め定めた位置関係ではなくなるまでの関係継続期間を検出する。ここで特定領域画像とは、スクロール画像中に任意に定められる領域であり、その形状は特に限定されるものではない。例えば、帯状の画像でもよく、キャラクタや建物の画像でもよい。また特定領域画像に対してポインタ画像が予め定めた位置関係とは、典型的には、特定領域画像にポインタ画像が入っている関係である。しかしながら特定領域画像にポインタ画像が入る直前において、この位置関係が成立するものと定めてもよく、さらに特定領域画像からポインタ画像が出た直後でも、まだこの位置関係が成立しているものと定めてもよい。関係継続期間検出手段は、パーソナルコンピュータをハードウエアとして使用する場合であれば、プログラムによって実現される手段である。

またスクロール変更指令発生手段は、関係継続期間検出手段が関係継続期間を検出しているときに、スクロール画像のスクロール速度及び／またはスクロール方向を変更するスクロール変更指令を発生する。すなわちスクロール速度だけを変更する場合、スクロール方向を変更する場合、スクロール速度及びスクロール方向の両方を変更する場合の３タイプの変更のいずれかが実行可能である。この手段もパーソナルコンピュータをハードウエアとして使用する場合であれば、プログラムによって実現される手段である。

上記の装置及び手段を用いる場合において、画像表示装置は、スクロール変更指令が入力指令として入力されているときには、スクロール変更指令に応じて、スクロール画像のスクロール速度及び／またはスクロール方向を変更する。ポインタ画像の変化速度は操作者によって決定される。ポインタ画像の移動方向によらず、スクロール変更指令が入力されたときにスクロール速度を遅くすると、ポインタ画像の速度が遅くなったような感じを受ける。この感覚の変化は、スタイラスを使用している場合であれば、スタイラスが重くなった感じ、またはスタイラスを動かす操作面の材質が変わった感じを操作者に与える。これは、スクロール速度が一定速度でポインタ画像の速度に対して十分速い状態においては、ポインタ画像を注視している操作者にとって、ポインタ画像の移動はスクロール画像との相対的な移動、つまり、スクロール画像の移動と逆側にスクロール速度と同程度の速さで移動するように知覚されている。そしてこの状態で、スクロール速度が遅くなると、ポインタの移動速度が遅くなったように感じられるためである。逆に、スクロール速度を速くすると、ポインタの移動速度が速くなったような感じを受けるのである。この感覚の変化は、スタイラスを使用している場合であれば、スタイラスが軽くなった感じ、またはスタイラスを動かす操作面の材質が変わった感じを操作者に与える。重くなった感じは、ゴムの上で書いている感じ、手ごたえがある感じを受ける等、軽くなった感じは、抵抗がなくなる、なめらかな面を移動している等、人によって感じ方は変わる。

ポインタ画像の移動方向によらず、スクロール変更指令が入力されたときにスクロール方向が変わると（例えば、スクロール方向がそれまでのスクロール方向と直交する方向に変わると）、変わったスクロール方向とは逆の方向にポインタ画像が移動するような感じを受ける。この感覚の変化は、スタイラスを使用している場合であれば、スタイラスが操作面上を滑った感じを操作者に与える。

このように本発明によれば、コントローラや、スタイラスや、指の移動速度を変えていない場合でも、スクロール速度及び／またはスクロール方向を変更することにより、ポインタ画像及び特定領域画像の両画像についての視覚情報からは、コントローラや、スタイラスや、指が、重くなったり、軽くなったり、滑ったりする感覚の変化を仮想で提示する（感じさせる）ことができる。

本発明の第２のタイプの仮想感覚提示装置は、操作するものがなく、画像表示装置が画像を表示している状態で、その画像の観察者に仮想の感覚の変化を提示する。そこでこの第２のタイプの仮想感覚提示装置では、画像表示装置と、スクロール画像用画像データ提供手段と、位置関係検出手段と、関係継続期間検出手段と、スクロール変更指令発生手段とを備えている。位置関係検出手段は、スクロール画像を見ている観察者とスクロール画像中の特定領域画像との位置関係を検出する。位置関係検出手段は、画像表示装置側に固定した複数台のカメラを使用して得た画像データから、観察者の位置の変化を検出し、その結果に基づいて観察者と特定領域画像との位置関係を検出するようにしてもよい。いずれにしても位置関係検出手段の構成は任意である。そして関係継続期間検出手段は、位置関係検出手段が検出する位置関係が、予め定めた位置関係になった後、予め定めた位置関係がなくなるまでの関係継続期間を検出する。その他の装置及び各手段は、第１のタイプの仮想感覚提示装置で用いる装置及び手段と同様の機能を有する。

第２のタイプの仮想感覚提示装置では、特定領域画像に対する観察者の移動速度と移動方向と、スクロール画像のスクロール方向及びスクロール速度との関係を変えることにより、観察者に感覚の変化を感じさせることができる。例えば、スクロール変更指令が入力されたときにスクロール速度を遅くすると、観察者の実際の移動速度、移動方向とは関係なく、観察者は自分自身の移動速度も遅くなったと感じる。この視覚情報に基づく感覚の変化は、観察者に、体が重くなったような感覚を与える。これは、スクロール速度が一定速度であり、観察者の移動速度に対して速ければ、観察者は、スクロール画像に対する相対移動を主に知覚する。そしてこの状態から、スクロール速度が遅くなると、自身の移動速度が遅くなったと感じる。またこの状況において、スクロール速度をさらに速くすると、観察者は自分自身の移動速度が速くなったと感じ、その結果として体が軽くなったような感覚を得る。なおスクロール速度と観察者の移動速度との差が大きいほど、観察者が受ける感覚の変化は大きくなる。

第２のタイプの仮想感覚提示装置では、特定領域画像に対する観察者の移動速度と移動方向と、スクロール画像のスクロール方向及びスクロール速度との関係を変えることにより、観察者に感覚の変化を感じさせることができる。例えば、観察者の移動方向とスクロール画像のスクロール方向が一致している場合（スクロール方向が左右方向で、観察者がスクロール方向と同じ左右方向に画像を見ながら移動している場合）に、スクロール変更指令が入力されたときにスクロール速度を遅くすると、観察者の実際の移動速度とは関係なく、特定領域画像の速度が遅くなったと感じる。その結果、観察者は自分自身の移動速度も遅くなったと感じることになる。この視覚情報に基づく感覚の変化は、観察者に、体が重くなったような感覚を与える。またこの状況において、スクロール速度を速くすると、特定領域画像についての視覚情報からは、観察者は特定領域画像の速度が速くなった感じを受ける。この視覚情報に基づく感覚の変化は、観察者に、自分自身の移動速度も速くなった感覚を与え、その結果として体が軽くなったような感覚を与える。

さらにスクロール画像が観察者の前方のスクリーンに映されている状態で、スクロール方向が、例えば、左右方向であったときに、観察者が画像を見ながら左右方向に移動しているとする。このときに、スクロール方向が上下方向に変化した場合には、観察者は、斜め上方に移動している、または斜め下方に移動している感覚を受けることになる。またスクロール画像のスクロール方向が、例えば、上下方向であったときに、観察者が画像に向かって移動しているとする。このときに、スクロール方向が左右方向に変化した場合には、観察者は、自分自身が横方向に引っ張られている感覚を受ける。

また第３のタイプの仮想感覚提示装置においては、ポインタ画像用画像データ提供手段が、スクロール画像を見ている操作者が操作面上を移動させるスタイラスの動きと押圧力または操作者が操作面上に移動させる指の動きと押圧力とを検出する操作検出手段を含んで構成されており、操作検出手段の出力に基づいて、ポインタ画像用画像データを画像データとして画像表示装置に提供する。この場合には、次のように、スクロール変更指令発生手段を構成してもよい。すなわちスクロール変更指令発生手段を、関係継続期間検出手段が関係継続期間を検出しているときに、操作検出手段が検出する押圧力に応じてスクロール画像のスクロール速度を変更するスクロール変更指令を発生するように構成する。そして画像表示装置は、スクロール変更指令が入力指令として入力されているときには、スクロール変更指令に応じて、スクロール画像のスクロール速度を変更するように構成する。ポインタ画像の移動方向によらず、関係継続期間中に押圧力が大きくなったことを示すスクロール変更指令が入力されたときに、スクロール速度を遅くすると、ポインタ画像及び特定領域画像の両画像についての視覚情報から、ポインタ画像の速度が遅くなったような感じを受ける。この感覚の変化は、スタイラスを使用している場合であれば、押圧力の増加にもかかわらず、ポインタ移動が遅くなる、つまり、スタイラスが重く、もしくはスタイラスを動かす操作面の抵抗が大きくなった感じを受ける。逆に、関係継続期間中に押圧力が大きくなったことを示すスクロール変更指令が入力されたときに、スクロール速度を速くすると、ポインタ画像及び特定領域画像の両画像についての視覚情報からは、ポインタ画像の速度が速くなったような感じを受ける。この感覚の変化は、スタイラスを使用している場合であれば、押圧力の増加によって、スタイラスが軽くなったもしくは、スタイラスを動かす操作面の抵抗が小さく、滑らかになった感じを受ける。

なお第１乃至第３のいずれのタイプの仮想感覚提示装置においても、スクロール変更指令発生手段に、スクロール変更指令と一緒に特定領域画像またはスクロール画像全体を振動させる画像振動指令を発生する機能を付加してもよい。そして画像表示装置は、画像振動指令が前記入力指令として入力されているときには、特定領域画像またはスクロール画像全体を振動させるように構成する。このようにすると操作者は、移動させているコントローラ等が凹凸の上を移動しているかのような感覚を受ける。また観察者は、移動中の床面に凹凸があるかのような感覚を受ける。

また、スクロール変更指令発生手段に、スクロール変更指令と一緒に特定領域画像の視覚的特徴を変更させる視覚的特徴変更指令を発生する機能を付加してもよい。そして画像表示装置は、視覚的特徴変更指令が入力指令として入力されているときには、特定領域画像の視覚的特徴を変更するように構成する。例えば、特定領域画像を振動させる場合等に、視覚的特徴変更指令を発生する。

またスクロール変更指令によるスクロール速度の変更には、特定領域画像を予め定めた時間停留（一時的な停止状態の発生）させることを含めてもよいのは勿論である。このようにすると、それまでとは明らかに異なる領域に入ったとの感覚を操作者や観察者に与えることができる。なお予め定めた時間を３００〜４００ｍｓとすると、停止した感覚ではなく、異なる領域に入ったという感覚だけを与えることができる。なおこの時間が短すぎると、この感覚は得られず、この時間が長すぎると、停止したという感覚が強く現れてしまう。

また前記画像表示装置は、スクロール画像を画面に表示しているときに、スクロール速度に応じてテンポが変わる音響を出力する音響発生装置をさらに備えていてもよい。このような音響発生装置を設けると、例えばコントローラ等が重いと感じているときに音響のテンポを長くすると、聴覚からも重さが重くなっていることを感じることになり、仮想の感覚の提示効果を増大させることができる。同様に、記画像表示装置が、スクロール画像を画面に表示しているときに、スクロール速度に応じて音強（振幅の大きさ）が変わる音響を出力する音響発生装置をさらに備えていてもよい。この場合には、例えば、軽いと感じているときに、音強が弱くなると、聴覚からも重さが軽くなっていることを感じさせることになり、仮想の感覚の提示効果を増大させることができる。

本発明の第１のタイプの仮想感覚提示装置の実施の形態の一例の構成を示すブロック図である。 （Ａ）乃至（Ｄ）は、入力装置としてマウスを利用した場合における、ディスプレイ装置の画面に表示される画像の変化の一例を説明するための図である。 スクロール速度を変えた場合の状況を説明するために用いる図である。 スタイラスを用いて入力する場合の状況を説明するために用いる図である。 図１の実施の形態の主たる部分をコンピュータを利用して実現する場合に用いるプログラムの一例のアルゴリズムを示すフローチャートである。 スクロール画像とポインタ画像（スタイラスの先端の軌跡）との関係を概念的に示す図である。 指を操作面を兼ねる画面上で移動させて、指の動きを検出する場合の状態の一例を示す図である。 本発明の第２のタイプの仮想感覚提示装置の実施の形態の一例の構成を示すブロック図である。 第２のタイプの仮想感覚提示装置を実用化した場合の一例の状況を説明するために用いる図である。 図９の構成の主要部をコンピュータを利用して実現する場合に用いるプログラムのアルゴリズムの一例を示すフローチャートである。 第１のタイプの仮想感覚提示装置を発展させた第３のタイプの仮想感覚提示装置の構成を示すブロック図である。 図１２の構成の主要部をコンピュータを利用して実現する場合に用いるプログラムのアルゴリズムの一例を示すフローチャートである。

以下、図面を参照して、本発明の仮想感覚提示装置の実施の形態を詳細に説明する。図１は本発明の第１のタイプの仮想感覚提示装置の実施の形態の一例の構成を示すブロック図である。この仮想感覚提示装置１は、画像表示装置３と、スクロール画像用画像データ提供手段５と、ポインタ画像用画像データ提供手段７と、関係継続期間検出手段９と、スクロール変更指令発生手段１１と、音響発生装置１３とを備えている。画像表示装置３は、ディスプレイ装置３１と、このディスプレイ装置３１の画面上に画像を表示するためのドライブ回路３２とから構成されている。またスクロール画像用画像データ提供手段５は、ディスプレイ装置３１の画面に、スクロールするスクロール画像を表示するために必要なスクロール画像用画像データを画像データとして画像表示装置３のドライブ回路３２に提供する。

ポインタ画像用画像データ提供手段７は、スクロール画像を見ている操作者が操作する入力装置８の動きに応じて、スクロール画像上をコントロール可能に移動するポインタ画像をスクロール画像上に表示するために必要なポインタ画像用画像データを画像データとして画像表示装置３のドライブ回路３２に提供する。ここで入力装置８としては、マウスなどのコントローラや、スタイラスまたは操作者の指そのものの動きを検出する接触式操作面を備えた接触式の入力装置である。したがってポインタ画像用画像データ提供手段７には、入力装置８からコントローラの動き、操作者が操作面上を移動させるスタイラスの動き、または操作者が操作面上を移動させる指の動きが入力される。なお本願明細書では、「スクロール画像」とは、移動する背景画像であって、スクロール画像の移動方向は、左右方向、上下方向、斜め方向のいずれであってもよい。

図２（Ａ）乃至（Ｄ）は、入力装置８としてマウスを利用した場合における、ディスプレイ装置３１の画面ＤＳに表示される画像の変化の一例を説明するための図である。図２から判るように、この例では、スクロール画像は画面の右から左にスクロールする（背景画像が移動する）。

パーソナルコンピュータをハードウエアとして使用する場合には、操作するコントローラとは典型的にはマウスである。スタイラスは、接触式（タッチパネル式）の入力装置で操作面上に先端を接触させて入力をする場合に用いるペン型の器具である。接触式の入力装置は、ディスプレイモニタとマトリクス・スイッチ等を組み合わせて構成されているものが多い。またディスプレイモニタが、前述の画像表示装置３のディスプレイ装置３１（画像表示部）と兼用される場合も多い。この例では、図２（Ａ）に示す矢印がポインタ画像Ｐである。

また関係継続期間検出手段９は、スクロール画像用画像データＤ１とポインタ画像用画像データＤ２とに基づいて、スクロール画像中の特定領域画像Ｓ（図２参照）に対して、ポインタ画像Ｐが予め定めた位置関係になった後、特定領域画像Ｓに対してポインタ画像Ｐが予め定めた位置関係ではなくなるまでの間の関係継続期間Ｔを検出する。ここで特定領域画像Ｓとは、スクロール画像中に任意に定められる領域であり、その形状は特に限定されるものではない。図２の例では、特定領域画像Ｓが、帯状の画像として示されている。ここで特定領域画像Ｓに対してポインタ画像Ｐが予め定めた位置関係とは、典型的には、特定領域画像Ｓにポインタ画像Ｐが入っている関係である。なお特定領域画像Ｓにポインタ画像Ｐが入る直前において、この位置関係が成立するものと定めてもよく、さらに特定領域画像Ｓからポインタ画像Ｐが出た直後でも、まだこの位置関係が成立しているものと定めてもよいのは勿論である。

スクロール変更指令発生手段１１は、関係継続期間検出手段９が関係継続期間Ｔを検出しているときに、スクロール画像のスクロール速度及び／またはスクロール方向を変更するスクロール変更指令Ｃを発生する。なお本実施の形態では、スクロール変更指令発生手段１１は、音響発生装置にもスクロール変更指令Ｃを入力するように構成されている。本例では、後述するプログラムの設定により、スクロール速度だけを変更すること、スクロール方向を変更すること、スクロール速度及びスクロール方向の両方を変更することの３タイプの変更のいずれかが実行可能である。

音響発生装置１３は、スクロール画像のスクロール速度に比例してテンポまたは音強（振幅の大きさ）が変わる音響を、スクロール画像と同期して出力する。

図１の装置において、画像表示装置３は、スクロール変更指令Ｃが入力指令として入力されているときには、スクロール変更指令Ｃに応じて、スクロール画像のスクロール速度及び／またはスクロール方向を変更する。図２の例では、スクロール速度だけが変更される。ポインタ画像の変化速度は操作者によって決定される。図２の例では、ポインタ画像Ｐの移動方向とスクロール画像のスクロール方向が一致している。この例では、ポインタ画像Ｐが特定領域画像Ｓ内に入っている期間において、スクロール変更指令Ｃが画像表示装置３に入力されて、スクロール速度は遅くなる。図２においては、画面Ｄの上に表示した矢印（ポインタ画像Ｐ）の長さは、スクロール表示の速度に比例した大きさを有している。ポインタ画像Ｐが特定領域画像Ｓ内に入っている期間においては、ポインタ画像Ｐ及び特定領域画像Ｓの両画像についての視覚情報から、ポインタ画像Ｐの速度が遅くなったような感じを操作者は受ける。この感覚の変化は、コントローラとしてマウスを使用している場合であれば、マウスが重くなった感じを操作者に与える。またこの状況において、逆に、スクロール速度を速くすると、ポインタ画像Ｐ及び特定領域画像Ｓの両画像についての視覚情報からは、ポインタ画像の速度が速くなったような感じを受ける。この感覚の変化は、マウスを使用している場合であれば、マウスが軽くなった感じを操作者に与える。なお図２の例では、関係継続期間Ｔ中、特定領域画像Ｓを左右に振動させている。そのため操作者には、あたかもマウスが振動しているかの感覚を与えることができる。この関係は、図３に示すように整理することができる。

また図２の例とは異なって、ポインタ画像Ｐの移動方向とスクロール画像のスクロール方向が逆の関係にある場合でも、スクロール変更指令Ｃが入力されたときにスクロール速度を遅くすると、ポインタ画像Ｐ及び特定領域画像Ｓの両画像についての視覚情報からは、ポインタ画像Ｐの速度が遅くなったような感じを受ける。この感覚の変化は、図４に示すようにスタイラスＳＴを使用している場合であれば、スタイラスＳＴが重くなった感じまたはスタイラスＳＴを動かす操作面の材質が変わった感じを操作者に与える。またこの状況において、スクロール速度を速くすると、ポインタ画像Ｐ及び特定領域画像Ｓの両画像についての視覚情報からは、ポインタ画像Ｐの速度が速くなったような感じを受ける。この感覚の変化は、スタイラスＳＴを使用している場合であれば、スタイラスＳＴが軽くなった感じまたはスタイラスＳＴを動かす操作面の材質が変わった感じを操作者に与える。

さらにポインタ画像Ｐの移動方向とスクロール画像のスクロール方向が一致している場合に、スクロール変更指令Ｃが入力されたときにスクロール方向がそれまでのスクロール方向と直交する方向に変わると、ポインタ画像Ｐ及び特定領域画像Ｓの両画像についての視覚情報からは、ポインタ画像Ｐが変わったスクロール方向に移動するような感じを受ける。この感覚の変化は、スタイラスＳＴを使用している場合であれば、スタイラスＳＴが操作面上を滑った（勝手にスタイラスが上下、左右または斜め方向に移動した）感じを操作者に与える。

このように本実施の形態の装置によれば、コントローラや、スタイラスや、指の移動速度を変えていない場合でも、スクロール速度及び／またはスクロール方向を変更することにより、ポインタ画像及び特定領域画像の両画像についての視覚情報からは、コントローラや、スタイラスや、指が、重くなったり、軽くなったり、滑ったりする感覚の変化を操作者に仮想で提示することができる。

また本実施の形態のように、スクロール画像を画面に表示しているときに、スクロール速度に応じてテンポが変わる音響を音響発生装置１３から出力するようにすると、仮想の感覚の提示効果を増大させることが可能になる。例えばコントローラ等が重いと感じているときに音響のテンポを長くすると、聴覚からも重さが重くなっていることを感じることになり、仮想の感覚の提示効果を増大させることができる。また仮想の感覚でコントローラ等が軽いと感じているときに、音強が弱くなると、聴覚からも重さが軽くなっていることを感じさせることになり、仮想の感覚の提示効果を増大させることができる。

図５は、図１の実施の形態の画像表示装置３、入力装置８及び音響発生装置１３を除いた主たる部分をコンピュータを利用して実現する場合に用いるプログラムの一例のアルゴリズムを示すフローチャートである。なおこのプログラムがコンピュータにインストールされて動作することにより、コンピュータ内に図１の各手段が実現されることになる。なお各種のデータは、コンピュータに付随するメモリに記憶されているのは当然である。ステップＳＴ１で、スクロール画像を表示するために利用されるスクロール画像用画像データＤ１が入力される。そしてステップＳＴ２でポインタ画像を表示するために利用されるポインタ画像用画像データＤ２が入力される。さらにステップＳＴ３で音響発生装置１３で再生される音響データが入力される。これらのデータが入力されると、ステップＳＴ４で、画像表示装置３ではスクロール画像の表示が開始され、また入力装置８が操作されるとポインタ画像の表示が開始される。さらにスクロール画像の表示と同期して音響が出力される。ステップＳＴ５では、特定領域画像Ｓとポインタ画像Ｐとが特定の位置関係になったか否かの判定が行われる。そしてステップＳＴ５で、特定領域画像Ｓとポインタ画像Ｐとが特定の位置関係になった（成立した）ことが判定されると、ステップＳＴ６へと進み、特定の位置関係が成立しないと判定された場合は、ステップＳＴ４へと戻り、画像表示と音響出力が行われる。ステップＳＴ６では、スクロール速度及び／またはスクロール方向を変更し、特定領域画像を振動させ、音響のテンポまたは音強さを変更する。そしてステップＳＴ７で、特定領域画像とポインタ画像とが特定の位置関係からはずれた（関係が解消された）か否かの判定が行われる。特定の位置関係が解消されたことをステップＳＴ７で判定すると、ステップＳＴ４へと戻って同じ動作が繰り返され、特定の位置関係が解消されていないとステップＳＴ７で判定された場合は再度ステップＳＴ７の動作が行われる。

図６は、このプログラムが実行されているときのスクロール画像とポインタ画像（スタイラスの先端の軌跡）との関係を概念的に示している。このような環境は、円環状のキャンバスＣＣを回転させながら絵を描くドローイング環境と同じである。操作者は、円環状のキャンバスＣＣを回転させながら絵を描くことになるため、引いている線にキャンバスＣＣの影響が出て、予期しない線が得られることがある。これをパーソナルコンピュータを利用して実現する場合には、画面ＤがキャンバスＣＣになり、スタイラスＳＴがペンとなる。そして画面上に視覚的に手がかりとなる画像（特定領域画像）を表示する。この画像としては、平面的に凸凹を表現する陰影をつけた画像でもよい。この場合には、凸面を明るくし、凹面を影に見せるように表現する。そして凸面にさしかかかると、スタイラスＳＴで描いている線の明るさを暗くして、スクロール画像（背景画像）のスクロール速度を遅くする。また凸面の終わりには、線の明るさを明るくするとともにスクロール速度を速くする（元の速さに戻す）。このようにすると凸凹の触覚要素を描画環境でも得ることができる。

また図７は、指Ｆを操作面を兼ねる画面Ｄ上で移動させて、指Ｆの動きを検出する場合の状態の一例を示している。図７に示すように、スクロール画像中に形状の異なる複数の特定領域画像Ｓ１及びＳ２を表示するようにしてもよいのは勿論である。また指Ｆの移動方向も任意であり、スクロール画像のスクロール方向も任意である。

また上記実施の形態において、スクロール変更指令Ｃによるスクロール速度の変更には、特定領域画像Ｓを予め定めた時間停留（一時的な停止状態の発生）させることを含めてもよい。このようにすると、それまでの領域から異なる領域に入ったことを確実に感じさせることができる。なおこの予め定めた時間を３００〜４００ｍｓとすると、この感覚を確実に提供できる。

図８は、本発明の第２のタイプの仮想感覚提示装置の実施の形態の一例の構成を示すブロック図である。図２では、図１のブロック図で用いている構成要素と同じブロックに、図１で示した符号の数に１００の数を加えた符号を付して説明を省略する。この仮想感覚提示装置１０１では、操作するものがなく、画像表示装置１０３が画像を表示している状態で、その画像を観察する観察者Ｍに仮想の感覚の変化を提示する。そこでこの第２のタイプの仮想感覚提示装置の実施の形態では、画像表示装置１０３と、スクロール画像用画像データ提供手段１０５と、位置関係検出手段１０８と、関係継続期間検出手段１０９と、スクロール変更指令発生手段１１１と、音響発生装置１１３とを備えている。この実施の形態では、図９に示すように、画像表示装置１０３のディスプレイ装置１３１は観察者Ｍが歩く床面に設置される。そして位置関係検出手段１０８は、ディスプレイ装置１３１の画面Ｄに表示されるスクロール画像を見ている観察者Ｍとスクロール画像中の特定領域画像Ｓとの位置関係を検出する。図９に示すように位置関係検出手段１０８は、画像表示装置１０３側に固定した２台のカメラＣＭ１及びＣＭ２を使用して得た画像データから、観察者の位置の変化を検出し、その結果に基づいて観察者Ｍと特定領域画像Ｓとの位置関係を検出する。なお位置関係検出手段１０８の検出構造の構成は任意であり、複数の赤外線センサを利用して位置関係を検出するようにしてもよい。関係継続期間検出手段１０９は、位置関係検出手段１０８が検出する位置関係が、予め定めた位置関係になった後、予め定めた位置関係がなくなるまでの関係継続期間Ｔを検出する。その他の装置１０３及び１１３及び各手段１０５及び１１１は、図１に示した第１のタイプの仮想感覚提示装置１で用いる対応する装置及び手段と同様の機能を有する。

なお第２のタイプの仮想感覚提示装置１０１では、特定領域画像Ｓに対する観察者Ｍの移動速度及び移動方向と、スクロール画像のスクロール方向及びスクロール速度との関係を変えることにより、観察者Ｍに感覚の変化を感じさせることができる。例えば、図９に示すように、観察者Ｍの移動方向とスクロール画像のスクロール方向が一致している場合に、スクロール変更指令Ｃが入力されたときにスクロール速度を速くすると、特定領域画像Ｓについての視覚情報からは、特定領域画像Ｓの速度が速くなったような感じを受ける。この視覚情報に基づく感覚の変化は、観察者Ｍに、自分自身の速度が速くなって、体が軽くなったような感覚を与える。また逆に、スクロール速度を遅くすると、観察者の速度も遅くなった感覚になって、観察者の体が重くなった仮想の感じを観察者Ｍに与えることができる。

また観察者Ｍの移動方向とスクロール画像のスクロール方向が逆の関係にある場合でも、スクロール変更指令Ｃが入力されたときにスクロール速度を遅くすると、視覚情報からは、特定領域画像Ｓの速度が遅くなったような感じを受ける。この感覚の変化は、観察者Ｍに、自分自身の移動速度が遅くなったような感覚、または体が重くなったような感覚を与える。またこの状態でも、スクロール変更指令Ｃが入力されたときにスクロール速度を速くすると、視覚情報からは、特定領域画像Ｓの速度が速くなったような感じを受ける。この感覚の変化は、観察者Ｍに、自分自身の移動速度が速くなったような感覚、または体が軽くなったような感覚を与える。

図１０は、図８の構成の主要部をコンピュータを利用して実現する場合に用いるプログラムのアルゴリズムの一例を示すフローチャートである。なおステップＳＴ２１乃至２７のうち、ステップＳＴ２５及び２７において、特定領域画像Ｓと観察者Ｍとの位置関係を判断している点を除いては、図５に示したフローチャートの各ステップと実質的に変わるところはないので、各ステップの説明は省略する。

なおスクロール画像が観察者Ｍの前方にある長い壁に表示されて、そのスクロール方向が、例えば、左右方向であったときに、観察者Ｍが画像を見ながら左右方向に移動しているとする。このときに、スクロール方向が上下方向に変化した場合には、観察者Ｍは、斜め上方に移動している、または斜め下方に移動している感覚を受けることになる。またスクロール画像のスクロール方向が、例えば、上下方向であったときに、観察者Ｍが画像Ｄに向かって移動しているとする。このときに、スクロール方向が左右方向に変化した場合には、観察者Ｍは、自分自身が横に引っ張られているような感覚を受ける。

図１１は、第１のタイプの仮想感覚提示装置を発展させた第３のタイプの仮想感覚提示装置の構成を示すブロック図である。図１１では、図１のブロック図で用いている構成要素と同じブロックに、図１に示した符号の数に２００の数を加えた符号を付して説明を省略する。この実施の形態では、ポインタ画像用画像データ提供手段２０７が、スクロール画像を見ている操作者が操作面上を移動させるスタイラスＳＴの動きと押圧力、または操作者が操作面上に移動させる指Ｆの動きと押圧力とを検出する操作検出手段２０７ａを含んで構成されている点で、図１の構成とは異なる。押圧力を検出できる操作検出手段２０７ａとしては、例えば、操作面の四隅に力センサを配置して、力センサの出力から押圧力を検出するものを用いることができる。またスクロール変更指令発生手段２１１を、関係継続期間検出手段２０９が関係継続期間Ｔを検出しているときに、操作検出手段２０７ａが検出する押圧力に応じてスクロール画像のスクロール速度を変更するスクロール変更指令Ｃを発生するように構成してある。そして画像表示装置２０３は、スクロール変更指令Ｃが入力指令として入力されているときには、スクロール変更指令Ｃに応じて、スクロール画像のスクロール速度を変更するように構成されている。このようにすると、操作者の意思の変化に応じて押圧力が変化することになる。

この例では、ポインタ画像Ｐの移動方向によらず、関係継続期間Ｔ中に押圧力が大きくなったことを示すスクロール変更指令Ｃが入力されたときに、スクロール速度を遅くすると、ポインタ画像Ｐ及び特定領域画像Ｓの両画像についての視覚情報から、ポインタ画像Ｐの速度が遅くなったような感じを受ける。この感覚の変化は、スタイラスＳＴを使用している場合であれば、押圧力の増加にもかかわらず、ポインタ移動が遅くなる、つまり、スタイラスＳＴが重く、もしくはスタイラスＳＴを動かす操作面の抵抗が大きくなった感じを受ける。逆に、関係継続期間Ｔ中に押圧力が大きくなったことを示すスクロール変更指令Ｃが入力されたときに、スクロール速度を速くすると、ポインタ画像Ｐ及び特定領域画像Ｓの両画像についての視覚情報からは、ポインタ画像Ｐの速度が速くなったような感じを受ける。この感覚の変化は、スタイラスＳＴを使用している場合であれば、押圧力の増加によって、スタイラスＳＴが軽くなったもしくは、スタイラスＳＴを動かす操作面の抵抗が小さく、滑らかになった感じを受ける。

図１２は、図１１の構成の主要部をコンピュータを利用して実現する場合に用いるプログラムのアルゴリズムの一例を示すフローチャートである。なおステップＳＴ３１乃至３８のうち、ステップＳＴ３６で押圧力を検出する点、ステップＳＴ３７で押圧力に応じてスクロール速度を変更する点を除いて、図５に示したフローチャートの各ステップと実質的に変わるところはないので、各ステップの説明は省略する。

なお第２及び第３のいずれのタイプの仮想感覚提示装置においても、スクロール変更指令発生手段１１１及び２１１に、スクロール変更指令Ｃと一緒に特定領域画像Ｓまたはスクロール画像全体を振動させる画像振動指令（視覚的特徴変更指令）を発生する機能を付加してもよい。そして画像表示装置１０３及び２０３は、画像振動指令（視覚的特徴変更指令）が前記入力指令として入力されているときには、特定領域画像Ｓまたはスクロール画像全体を振動させるように構成する。このようにすると操作者Ｍは、移動させているコントローラ等が凹凸の上を移動しているかのような感覚を受ける。また観察者Ｍは、移動中の床面に凹凸があるかのような感覚を受ける。

なお、視覚的特徴変更指令による特定領域画像の視覚的特徴の変更は、前述の振動だけでなく、色の変更や、点滅等種々の変更を含むものである。

本発明の仮想感覚提示装置によれば、コントローラや、スタイラスや、指の移動速度を変えていない場合でも、スクロール速度及び／またはスクロール方向を変更することにより、ポインタ画像及び特定領域画像の両画像についての視覚情報からは、コントローラや、スタイラスや、指が、重くなったり、軽くなったり、滑ったりする感覚の変化を仮想で提示する（感じさせる）ことができる。

また本発明の別の仮想感覚提示装置によれば、特定領域画像に対する観察者の移動速度と移動方向と、スクロール画像のスクロール方向及びスクロール速度との関係を変えることにより、観察者に感覚の変化を感じさせることができる。

本発明は、視覚情報に基づいて、実際には発生していない現象を、あたかも実際に発生しているかのごとくに感じることを可能にする仮想感覚提示装置を提供することにある。

A. Lecuyer, J. Burkhardt, 及びL. Etenne,著の “Feeling bumps and holes without a haptic interface: the perception of pseudo-haptics textures”, SIGCHI, 2004.（非特許文献１）には、ユーザの操作で移動するポインタの移動速度を変化させることで、凹凸感をユーザに感じさせる触覚提示手法が提案されている。またA. Lecuyer, S. Coquillart, A. Kheddar, P. Richard 及びP. Coiffet,著の "Pseudo-Haptic Feedback: Can Isometric Input Devices Simulate Force Feedback?", IEEE International Conference on Virtual Reality (IEEE VR), pages 83-90, 2000.（非特許文献２）には、ユーザの操作によって変化する画像の、変化の割合を変化させることで、ユーザに力覚（重い、軽いの感覚）を感じさせる手法が提案されている。しかしながらこれらの公知技術では、マウスのような操作用コントローラでポインタ画像（カーソル）の動きを制御する場合のように、コントローラを使用する場合にしか適用することができない。なお画像上の特定の位置に対してカーソルの動作速度を遅くする技術は、特開２０００-１４８３５０号公報（特許文献１）、特開２００６−２６８６６２号公報（特許文献２）等にも記載されているように、操作者の意図に応じてカーソルの移動量を制御できるようにする目的でも採用されている技術である。
"Feeling bumps and holes without a haptic interface: the perception of pseudo-haptics textures", SIGCHI, 2004. "Pseudo-Haptic Feedback: Can Isometric Input Devices Simulate Force Feedback?", IEEE International Conference on Virtual Reality (IEEE VR), pages 83-90, 2000. 特開２０００-１４８３５０号公報 特開２００６−２６８６６２号公報

しかしながら従来は、視覚情報に基づいて、操作用のコントローラを使用する人に、仮想の皮膚感覚・力感覚を確実に与えることができず、またコントローラを使用しない人（操作者および観察者等）に仮想の平衡感覚を、確実に提示することができる仮想感覚提示装置はなかった。

本発明の目的は、仮想の皮膚感覚・力感覚または仮想の平衡感覚を、確実に提示することができる仮想感覚提示装置を提供することにある。

人間は視触覚を深く結びつけて環境を認識している。環境に対して行動を行った結果、視覚的にも触覚的にも一貫したフィードバックが行われることで、環境に存在する物体を認識している。そして、その際、視触覚はお互いに影響を与え合う。例えば、ペンで線を描くとき、紙の上に描く場合と、他の材質に描く場合では、その見えも触覚的反力も異なる。このように、視覚的変化と触覚的変化は、通常、同時に起こり、それらは関係付けられている。ということは、視触覚が関係付けられた状態で、なんらかの視覚的変化が起こると、それにつられて、触覚的変化も起きたものと人間は錯覚する。そこで、適宜の視覚情報を提示することで、触覚提示装置は一切存在しなくても、視覚的変化だけで、触覚的感覚を提示することが可能となる。本発明はこのようなことを背景にして、ユーザに擬似的な（仮想の）触感覚（皮膚感覚＋力感覚）や擬似的な仮想の平衡感覚を生成させる。すなわち本発明は、人間の知覚における視覚と触感覚・平衡感覚の関係性を利用したものである。本発明によれば、大掛かりなデバイスを使用する代わりに、人間の錯覚を利用するため、どこでも、安価に触感覚を提示することが可能である。

具体的には、まず本発明の第１のタイプの仮想感覚提示装置は、画像表示装置と、スクロール画像用画像データ提供手段と、ポインタ画像用画像データ提供手段と、関係継続期間検出手段と、スクロール変更指令発生手段とを備えている。画像表示装置は、画像データと入力指令とに基づいて画面に画像を表示する。例えば、パーソナルコンピュータをハードウエアとして使用する場合であれば、ディスプレイ装置と、このディスプレイ装置の画面上に画像を表示するためのドライブ回路とがこの画像表示装置に該当する。

スクロール画像用画像データ提供手段は、画面に、スクロールするスクロール画像を表示するために必要なスクロール画像用画像データを画像データとして画像表示装置に提供する。スクロール画像用画像データ提供手段は、パーソナルコンピュータをハードウエアとして使用する場合であれば、プログラムによって実現される手段である。

ポインタ画像用画像データ提供手段は、スクロール画像を見ている操作者が操作するコントローラの動き、この操作者が操作面上を移動させるスタイラスの動き、またはこの操作者が操作面上を移動させる指の動きに応じて、スクロール画像上をコントロール可能に移動するポインタ画像をスクロール画像上に表示するために必要なポインタ画像用画像データを画像データとして画像表示装置に提供するものである。ここで「スクロール画像」とは、移動する背景画像であって、スクロール画像の移動方向は、左右方向、上下方向、斜め方向のいずれであってもよい。パーソナルコンピュータをハードウエアとして使用する場合には、操作するコントローラとは、典型的にはマウスである。またスタイラスとは、接触式（タッチパネル式）の入力装置で操作面上に先端を接触させて入力をする場合に用いるペン型の器具である。また操作画面上を移動する指の動きは、スタイラスの代わりに人の指を使用する接触式の入力装置により検出される。この種の接触式の入力装置では、操作面をスタイラスや指で押す際の押圧力を検出できるものを利用してもよい。そして「ポインタ画像」とは、カーソル（キャラクタの画像等のように特定の画像等でもよい）や、スタイラスや指の接触点の軌跡を示す画像等のように、スクロール画像上に表示される画像である。なおポインタ画像用画像データ提供手段は、パーソナルコンピュータをハードウエアとして使用する場合であれば、プログラムによって実現される手段である。

また関係継続期間検出手段は、スクロール画像用画像データとポインタ画像用画像データとに基づいて、スクロール画像中の特定領域画像に対して、ポインタ画像が予め定めた位置関係になった後、特定領域画像に対してポインタ画像が予め定めた位置関係ではなくなるまでの関係継続期間を検出する。ここで特定領域画像とは、スクロール画像中に任意に定められる領域であり、その形状は特に限定されるものではない。例えば、帯状の画像でもよく、キャラクタや建物の画像でもよい。また特定領域画像に対してポインタ画像が予め定めた位置関係とは、典型的には、特定領域画像にポインタ画像が入っている関係である。しかしながら特定領域画像にポインタ画像が入る直前において、この位置関係が成立するものと定めてもよく、さらに特定領域画像からポインタ画像が出た直後でも、まだこの位置関係が成立しているものと定めてもよい。関係継続期間検出手段は、パーソナルコンピュータをハードウエアとして使用する場合であれば、プログラムによって実現される手段である。

またスクロール変更指令発生手段は、関係継続期間検出手段が関係継続期間を検出しているときに、スクロール画像のスクロール速度及び／またはスクロール方向を変更するスクロール変更指令を発生する。すなわちスクロール速度だけを変更する場合、スクロール方向を変更する場合、スクロール速度及びスクロール方向の両方を変更する場合の３タイプの変更のいずれかが実行可能である。この手段もパーソナルコンピュータをハードウエアとして使用する場合であれば、プログラムによって実現される手段である。

上記の装置及び手段を用いる場合において、画像表示装置は、スクロール変更指令が入力指令として入力されているときには、スクロール変更指令に応じて、スクロール画像のスクロール速度及び／またはスクロール方向を変更する。ポインタ画像の変化速度は操作者によって決定される。ポインタ画像の移動方向によらず、スクロール変更指令が入力されたときにスクロール速度を遅くすると、ポインタ画像の速度が遅くなったような感じを受ける。この感覚の変化は、スタイラスを使用している場合であれば、スタイラスが重くなった感じ、またはスタイラスを動かす操作面の材質が変わった感じを操作者に与える。これは、スクロール速度が一定速度でポインタ画像の速度に対して十分速い状態においては、ポインタ画像を注視している操作者にとって、ポインタ画像の移動はスクロール画像との相対的な移動、つまり、スクロール画像の移動と逆側にスクロール速度と同程度の速さで移動するように知覚されている。そしてこの状態で、スクロール速度が遅くなると、ポインタの移動速度が遅くなったように感じられるためである。逆に、スクロール速度を速くすると、ポインタの移動速度が速くなったような感じを受けるのである。この感覚の変化は、スタイラスを使用している場合であれば、スタイラスが軽くなった感じ、またはスタイラスを動かす操作面の材質が変わった感じを操作者に与える。重くなった感じは、ゴムの上で書いている感じ、手ごたえがある感じを受ける等、軽くなった感じは、抵抗がなくなる、なめらかな面を移動している等、人によって感じ方は変わる。

ポインタ画像の移動方向によらず、スクロール変更指令が入力されたときにスクロール方向が変わると（例えば、スクロール方向がそれまでのスクロール方向と直交する方向に変わると）、変わったスクロール方向とは逆の方向にポインタ画像が移動するような感じを受ける。この感覚の変化は、スタイラスを使用している場合であれば、スタイラスが操作面上を滑った感じを操作者に与える。

このように本発明によれば、コントローラや、スタイラスや、指の移動速度を変えていない場合でも、スクロール速度及び／またはスクロール方向を変更することにより、ポインタ画像及び特定領域画像の両画像についての視覚情報からは、コントローラや、スタイラスや、指が、重くなったり、軽くなったり、滑ったりする感覚の変化を仮想で提示する（感じさせる）ことができる。

本発明の第２のタイプの仮想感覚提示装置は、操作するものがなく、画像表示装置が画像を表示している状態で、その画像の観察者に仮想の感覚の変化を提示する。そこでこの第２のタイプの仮想感覚提示装置では、画像表示装置と、スクロール画像用画像データ提供手段と、位置関係検出手段と、関係継続期間検出手段と、スクロール変更指令発生手段とを備えている。位置関係検出手段は、スクロール画像を見ている観察者とスクロール画像中の特定領域画像との位置関係を検出する。位置関係検出手段は、画像表示装置側に固定した複数台のカメラを使用して得た画像データから、観察者の位置の変化を検出し、その結果に基づいて観察者と特定領域画像との位置関係を検出するようにしてもよい。いずれにしても位置関係検出手段の構成は任意である。そして関係継続期間検出手段は、位置関係検出手段が検出する位置関係が、予め定めた位置関係になった後、予め定めた位置関係がなくなるまでの関係継続期間を検出する。その他の装置及び各手段は、第１のタイプの仮想感覚提示装置で用いる装置及び手段と同様の機能を有する。

第２のタイプの仮想感覚提示装置では、特定領域画像に対する観察者の移動速度と移動方向と、スクロール画像のスクロール方向及びスクロール速度との関係を変えることにより、観察者に感覚の変化を感じさせることができる。例えば、スクロール変更指令が入力されたときにスクロール速度を遅くすると、観察者の実際の移動速度、移動方向とは関係なく、観察者は自分自身の移動速度も遅くなったと感じる。この視覚情報に基づく感覚の変化は、観察者に、体が重くなったような感覚を与える。これは、スクロール速度が一定速度であり、観察者の移動速度に対して速ければ、観察者は、スクロール画像に対する相対移動を主に知覚する。そしてこの状態から、スクロール速度が遅くなると、自身の移動速度が遅くなったと感じる。またこの状況において、スクロール速度をさらに速くすると、観察者は自分自身の移動速度が速くなったと感じ、その結果として体が軽くなったような感覚を得る。なおスクロール速度と観察者の移動速度との差が大きいほど、観察者が受ける感覚の変化は大きくなる。

第２のタイプの仮想感覚提示装置では、特定領域画像に対する観察者の移動速度と移動方向と、スクロール画像のスクロール方向及びスクロール速度との関係を変えることにより、観察者に感覚の変化を感じさせることができる。例えば、観察者の移動方向とスクロール画像のスクロール方向が一致している場合（スクロール方向が左右方向で、観察者がスクロール方向と同じ左右方向に画像を見ながら移動している場合）に、スクロール変更指令が入力されたときにスクロール速度を遅くすると、観察者の実際の移動速度とは関係なく、特定領域画像の速度が遅くなったと感じる。その結果、観察者は自分自身の移動速度も遅くなったと感じることになる。この視覚情報に基づく感覚の変化は、観察者に、体が重くなったような感覚を与える。またこの状況において、スクロール速度を速くすると、特定領域画像についての視覚情報からは、観察者は特定領域画像の速度が速くなった感じを受ける。この視覚情報に基づく感覚の変化は、観察者に、自分自身の移動速度も速くなった感覚を与え、その結果として体が軽くなったような感覚を与える。

さらにスクロール画像が観察者の前方のスクリーンに映されている状態で、スクロール方向が、例えば、左右方向であったときに、観察者が画像を見ながら左右方向に移動しているとする。このときに、スクロール方向が上下方向に変化した場合には、観察者は、斜め上方に移動している、または斜め下方に移動している感覚を受けることになる。またスクロール画像のスクロール方向が、例えば、上下方向であったときに、観察者が画像に向かって移動しているとする。このときに、スクロール方向が左右方向に変化した場合には、観察者は、自分自身が横方向に引っ張られている感覚を受ける。

また第３のタイプの仮想感覚提示装置においては、ポインタ画像用画像データ提供手段が、スクロール画像を見ている操作者が操作面上を移動させるスタイラスの動きと押圧力または操作者が操作面上に移動させる指の動きと押圧力とを検出する操作検出手段を含んで構成されており、操作検出手段の出力に基づいて、ポインタ画像用画像データを画像データとして画像表示装置に提供する。この場合には、次のように、スクロール変更指令発生手段を構成してもよい。すなわちスクロール変更指令発生手段を、関係継続期間検出手段が関係継続期間を検出しているときに、操作検出手段が検出する押圧力に応じてスクロール画像のスクロール速度を変更するスクロール変更指令を発生するように構成する。そして画像表示装置は、スクロール変更指令が入力指令として入力されているときには、スクロール変更指令に応じて、スクロール画像のスクロール速度を変更するように構成する。ポインタ画像の移動方向によらず、関係継続期間中に押圧力が大きくなったことを示すスクロール変更指令が入力されたときに、スクロール速度を遅くすると、ポインタ画像及び特定領域画像の両画像についての視覚情報から、ポインタ画像の速度が遅くなったような感じを受ける。この感覚の変化は、スタイラスを使用している場合であれば、押圧力の増加にもかかわらず、ポインタ移動が遅くなる、つまり、スタイラスが重く、もしくはスタイラスを動かす操作面の抵抗が大きくなった感じを受ける。逆に、関係継続期間中に押圧力が大きくなったことを示すスクロール変更指令が入力されたときに、スクロール速度を速くすると、ポインタ画像及び特定領域画像の両画像についての視覚情報からは、ポインタ画像の速度が速くなったような感じを受ける。この感覚の変化は、スタイラスを使用している場合であれば、押圧力の増加によって、スタイラスが軽くなったもしくは、スタイラスを動かす操作面の抵抗が小さく、滑らかになった感じを受ける。

なお第１乃至第３のいずれのタイプの仮想感覚提示装置においても、スクロール変更指令発生手段に、スクロール変更指令と一緒に特定領域画像またはスクロール画像全体を振動させる画像振動指令を発生する機能を付加してもよい。そして画像表示装置は、画像振動指令が前記入力指令として入力されているときには、特定領域画像またはスクロール画像全体を振動させるように構成する。このようにすると操作者は、移動させているコントローラ等が凹凸の上を移動しているかのような感覚を受ける。また観察者は、移動中の床面に凹凸があるかのような感覚を受ける。

また、スクロール変更指令発生手段に、スクロール変更指令と一緒に特定領域画像の視覚的特徴を変更させる視覚的特徴変更指令を発生する機能を付加してもよい。そして画像表示装置は、視覚的特徴変更指令が入力指令として入力されているときには、特定領域画像の視覚的特徴を変更するように構成する。例えば、特定領域画像を振動させる場合等に、視覚的特徴変更指令を発生する。

またスクロール変更指令によるスクロール速度の変更には、特定領域画像を予め定めた時間停留（一時的な停止状態の発生）させることを含めてもよいのは勿論である。このようにすると、それまでとは明らかに異なる領域に入ったとの感覚を操作者や観察者に与えることができる。なお予め定めた時間を３００〜４００ｍｓとすると、停止した感覚ではなく、異なる領域に入ったという感覚だけを与えることができる。なおこの時間が短すぎると、この感覚は得られず、この時間が長すぎると、停止したという感覚が強く現れてしまう。

また前記画像表示装置は、スクロール画像を画面に表示しているときに、スクロール速度に応じてテンポが変わる音響を出力する音響発生装置をさらに備えていてもよい。このような音響発生装置を設けると、例えばコントローラ等が重いと感じているときに音響のテンポを長くすると、聴覚からも重さが重くなっていることを感じることになり、仮想の感覚の提示効果を増大させることができる。同様に、記画像表示装置が、スクロール画像を画面に表示しているときに、スクロール速度に応じて音強（振幅の大きさ）が変わる音響を出力する音響発生装置をさらに備えていてもよい。この場合には、例えば、軽いと感じているときに、音強が弱くなると、聴覚からも重さが軽くなっていることを感じさせることになり、仮想の感覚の提示効果を増大させることができる。

本発明の第１のタイプの仮想感覚提示装置の実施の形態の一例の構成を示すブロック図である。 （Ａ）乃至（Ｄ）は、入力装置としてマウスを利用した場合における、ディスプレイ装置の画面に表示される画像の変化の一例を説明するための図である。 スクロール速度を変えた場合の状況を説明するために用いる図である。 スタイラスを用いて入力する場合の状況を説明するために用いる図である。 図１の実施の形態の主たる部分をコンピュータを利用して実現する場合に用いるプログラムの一例のアルゴリズムを示すフローチャートである。 スクロール画像とポインタ画像（スタイラスの先端の軌跡）との関係を概念的に示す図である。 指を操作面を兼ねる画面上で移動させて、指の動きを検出する場合の状態の一例を示す図である。 本発明の第２のタイプの仮想感覚提示装置の実施の形態の一例の構成を示すブロック図である。 第２のタイプの仮想感覚提示装置を実用化した場合の一例の状況を説明するために用いる図である。 図９の構成の主要部をコンピュータを利用して実現する場合に用いるプログラムのアルゴリズムの一例を示すフローチャートである。 第１のタイプの仮想感覚提示装置を発展させた第３のタイプの仮想感覚提示装置の構成を示すブロック図である。 図１２の構成の主要部をコンピュータを利用して実現する場合に用いるプログラムのアルゴリズムの一例を示すフローチャートである。

以下、図面を参照して、本発明の仮想感覚提示装置の実施の形態を詳細に説明する。図１は本発明の第１のタイプの仮想感覚提示装置の実施の形態の一例の構成を示すブロック図である。この仮想感覚提示装置１は、画像表示装置３と、スクロール画像用画像データ提供手段５と、ポインタ画像用画像データ提供手段７と、関係継続期間検出手段９と、スクロール変更指令発生手段１１と、音響発生装置１３とを備えている。画像表示装置３は、ディスプレイ装置３１と、このディスプレイ装置３１の画面上に画像を表示するためのドライブ回路３２とから構成されている。またスクロール画像用画像データ提供手段５は、ディスプレイ装置３１の画面に、スクロールするスクロール画像を表示するために必要なスクロール画像用画像データを画像データとして画像表示装置３のドライブ回路３２に提供する。

ポインタ画像用画像データ提供手段７は、スクロール画像を見ている操作者が操作する入力装置８の動きに応じて、スクロール画像上をコントロール可能に移動するポインタ画像をスクロール画像上に表示するために必要なポインタ画像用画像データを画像データとして画像表示装置３のドライブ回路３２に提供する。ここで入力装置８としては、マウスなどのコントローラや、スタイラスまたは操作者の指そのものの動きを検出する接触式操作面を備えた接触式の入力装置である。したがってポインタ画像用画像データ提供手段７には、入力装置８からコントローラの動き、操作者が操作面上を移動させるスタイラスの動き、または操作者が操作面上を移動させる指の動きが入力される。なお本願明細書では、「スクロール画像」とは、移動する背景画像であって、スクロール画像の移動方向は、左右方向、上下方向、斜め方向のいずれであってもよい。

図２（Ａ）乃至（Ｄ）は、入力装置８としてマウスを利用した場合における、ディスプレイ装置３１の画面ＤＳに表示される画像の変化の一例を説明するための図である。図２から判るように、この例では、スクロール画像は画面の右から左にスクロールする（背景画像が移動する）。

パーソナルコンピュータをハードウエアとして使用する場合には、操作するコントローラとは典型的にはマウスである。スタイラスは、接触式（タッチパネル式）の入力装置で操作面上に先端を接触させて入力をする場合に用いるペン型の器具である。接触式の入力装置は、ディスプレイモニタとマトリクス・スイッチ等を組み合わせて構成されているものが多い。またディスプレイモニタが、前述の画像表示装置３のディスプレイ装置３１（画像表示部）と兼用される場合も多い。この例では、図２（Ａ）に示す矢印がポインタ画像Ｐである。

また関係継続期間検出手段９は、スクロール画像用画像データＤ１とポインタ画像用画像データＤ２とに基づいて、スクロール画像中の特定領域画像Ｓ（図２参照）に対して、ポインタ画像Ｐが予め定めた位置関係になった後、特定領域画像Ｓに対してポインタ画像Ｐが予め定めた位置関係ではなくなるまでの間の関係継続期間Ｔを検出する。ここで特定領域画像Ｓとは、スクロール画像中に任意に定められる領域であり、その形状は特に限定されるものではない。図２の例では、特定領域画像Ｓが、帯状の画像として示されている。ここで特定領域画像Ｓに対してポインタ画像Ｐが予め定めた位置関係とは、典型的には、特定領域画像Ｓにポインタ画像Ｐが入っている関係である。なお特定領域画像Ｓにポインタ画像Ｐが入る直前において、この位置関係が成立するものと定めてもよく、さらに特定領域画像Ｓからポインタ画像Ｐが出た直後でも、まだこの位置関係が成立しているものと定めてもよいのは勿論である。

スクロール変更指令発生手段１１は、関係継続期間検出手段９が関係継続期間Ｔを検出しているときに、スクロール画像のスクロール速度及び／またはスクロール方向を変更するスクロール変更指令Ｃを発生する。なお本実施の形態では、スクロール変更指令発生手段１１は、音響発生装置にもスクロール変更指令Ｃを入力するように構成されている。本例では、後述するプログラムの設定により、スクロール速度だけを変更すること、スクロール方向を変更すること、スクロール速度及びスクロール方向の両方を変更することの３タイプの変更のいずれかが実行可能である。

音響発生装置１３は、スクロール画像のスクロール速度に比例してテンポまたは音強（振幅の大きさ）が変わる音響を、スクロール画像と同期して出力する。

図１の装置において、画像表示装置３は、スクロール変更指令Ｃが入力指令として入力されているときには、スクロール変更指令Ｃに応じて、スクロール画像のスクロール速度及び／またはスクロール方向を変更する。図２の例では、スクロール速度だけが変更される。ポインタ画像の変化速度は操作者によって決定される。図２の例では、ポインタ画像Ｐの移動方向とスクロール画像のスクロール方向が一致している。この例では、ポインタ画像Ｐが特定領域画像Ｓ内に入っている期間において、スクロール変更指令Ｃが画像表示装置３に入力されて、スクロール速度は遅くなる。図２においては、画面Ｄの上に表示した矢印（ポインタ画像Ｐ）の長さは、スクロール表示の速度に比例した大きさを有している。ポインタ画像Ｐが特定領域画像Ｓ内に入っている期間においては、ポインタ画像Ｐ及び特定領域画像Ｓの両画像についての視覚情報から、ポインタ画像Ｐの速度が遅くなったような感じを操作者は受ける。この感覚の変化は、コントローラとしてマウスを使用している場合であれば、マウスが重くなった感じを操作者に与える。またこの状況において、逆に、スクロール速度を速くすると、ポインタ画像Ｐ及び特定領域画像Ｓの両画像についての視覚情報からは、ポインタ画像の速度が速くなったような感じを受ける。この感覚の変化は、マウスを使用している場合であれば、マウスが軽くなった感じを操作者に与える。なお図２の例では、関係継続期間Ｔ中、特定領域画像Ｓを左右に振動させている。そのため操作者には、あたかもマウスが振動しているかの感覚を与えることができる。この関係は、図３に示すように整理することができる。

また図２の例とは異なって、ポインタ画像Ｐの移動方向とスクロール画像のスクロール方向が逆の関係にある場合でも、スクロール変更指令Ｃが入力されたときにスクロール速度を遅くすると、ポインタ画像Ｐ及び特定領域画像Ｓの両画像についての視覚情報からは、ポインタ画像Ｐの速度が遅くなったような感じを受ける。この感覚の変化は、図４に示すようにスタイラスＳＴを使用している場合であれば、スタイラスＳＴが重くなった感じまたはスタイラスＳＴを動かす操作面の材質が変わった感じを操作者に与える。またこの状況において、スクロール速度を速くすると、ポインタ画像Ｐ及び特定領域画像Ｓの両画像についての視覚情報からは、ポインタ画像Ｐの速度が速くなったような感じを受ける。この感覚の変化は、スタイラスＳＴを使用している場合であれば、スタイラスＳＴが軽くなった感じまたはスタイラスＳＴを動かす操作面の材質が変わった感じを操作者に与える。

さらにポインタ画像Ｐの移動方向とスクロール画像のスクロール方向が一致している場合に、スクロール変更指令Ｃが入力されたときにスクロール方向がそれまでのスクロール方向と直交する方向に変わると、ポインタ画像Ｐ及び特定領域画像Ｓの両画像についての視覚情報からは、ポインタ画像Ｐが変わったスクロール方向に移動するような感じを受ける。この感覚の変化は、スタイラスＳＴを使用している場合であれば、スタイラスＳＴが操作面上を滑った（勝手にスタイラスが上下、左右または斜め方向に移動した）感じを操作者に与える。

このように本実施の形態の装置によれば、コントローラや、スタイラスや、指の移動速度を変えていない場合でも、スクロール速度及び／またはスクロール方向を変更することにより、ポインタ画像及び特定領域画像の両画像についての視覚情報からは、コントローラや、スタイラスや、指が、重くなったり、軽くなったり、滑ったりする感覚の変化を操作者に仮想で提示することができる。

また本実施の形態のように、スクロール画像を画面に表示しているときに、スクロール速度に応じてテンポが変わる音響を音響発生装置１３から出力するようにすると、仮想の感覚の提示効果を増大させることが可能になる。例えばコントローラ等が重いと感じているときに音響のテンポを長くすると、聴覚からも重さが重くなっていることを感じることになり、仮想の感覚の提示効果を増大させることができる。また仮想の感覚でコントローラ等が軽いと感じているときに、音強が弱くなると、聴覚からも重さが軽くなっていることを感じさせることになり、仮想の感覚の提示効果を増大させることができる。

図５は、図１の実施の形態の画像表示装置３、入力装置８及び音響発生装置１３を除いた主たる部分をコンピュータを利用して実現する場合に用いるプログラムの一例のアルゴリズムを示すフローチャートである。なおこのプログラムがコンピュータにインストールされて動作することにより、コンピュータ内に図１の各手段が実現されることになる。なお各種のデータは、コンピュータに付随するメモリに記憶されているのは当然である。ステップＳＴ１で、スクロール画像を表示するために利用されるスクロール画像用画像データＤ１が入力される。そしてステップＳＴ２でポインタ画像を表示するために利用されるポインタ画像用画像データＤ２が入力される。さらにステップＳＴ３で音響発生装置１３で再生される音響データが入力される。これらのデータが入力されると、ステップＳＴ４で、画像表示装置３ではスクロール画像の表示が開始され、また入力装置８が操作されるとポインタ画像の表示が開始される。さらにスクロール画像の表示と同期して音響が出力される。ステップＳＴ５では、特定領域画像Ｓとポインタ画像Ｐとが特定の位置関係になったか否かの判定が行われる。そしてステップＳＴ５で、特定領域画像Ｓとポインタ画像Ｐとが特定の位置関係になった（成立した）ことが判定されると、ステップＳＴ６へと進み、特定の位置関係が成立しないと判定された場合は、ステップＳＴ４へと戻り、画像表示と音響出力が行われる。ステップＳＴ６では、スクロール速度及び／またはスクロール方向を変更し、特定領域画像を振動させ、音響のテンポまたは音強を変更する。そしてステップＳＴ７で、特定領域画像とポインタ画像とが特定の位置関係からはずれた（関係が解消された）か否かの判定が行われる。特定の位置関係が解消されたことをステップＳＴ７で判定すると、ステップＳＴ４へと戻って同じ動作が繰り返され、特定の位置関係が解消されていないとステップＳＴ７で判定された場合は再度ステップＳＴ７の動作が行われる。

図６は、このプログラムが実行されているときのスクロール画像とポインタ画像（スタイラスの先端の軌跡）との関係を概念的に示している。このような環境は、円環状のキャンバスＣＣを回転させながら絵を描くドローイング環境と同じである。操作者は、円環状のキャンバスＣＣを回転させながら絵を描くことになるため、引いている線にキャンバスＣＣの影響が出て、予期しない線が得られることがある。これをパーソナルコンピュータを利用して実現する場合には、画面ＤがキャンバスＣＣになり、スタイラスＳＴがペンとなる。そして画面上に視覚的に手がかりとなる画像（特定領域画像）を表示する。この画像としては、平面的に凸凹を表現する陰影をつけた画像でもよい。この場合には、凸面を明るくし、凹面を影に見せるように表現する。そして凸面にさしかかかると、スタイラスＳＴで描いている線の明るさを暗くして、スクロール画像（背景画像）のスクロール速度を遅くする。また凸面の終わりには、線の明るさを明るくするとともにスクロール速度を速くする（元の速さに戻す）。このようにすると凸凹の触覚要素を描画環境でも得ることができる。

また図７は、指Ｆを操作面を兼ねる画面Ｄ上で移動させて、指Ｆの動きを検出する場合の状態の一例を示している。図７に示すように、スクロール画像中に形状の異なる複数の特定領域画像Ｓ１及びＳ２を表示するようにしてもよいのは勿論である。また指Ｆの移動方向も任意であり、スクロール画像のスクロール方向も任意である。

また上記実施の形態において、スクロール変更指令Ｃによるスクロール速度の変更には、特定領域画像Ｓを予め定めた時間停留（一時的な停止状態の発生）させることを含めてもよい。このようにすると、それまでの領域から異なる領域に入ったことを確実に感じさせることができる。なおこの予め定めた時間を３００〜４００ｍｓとすると、この感覚を確実に提供できる。

図８は、本発明の第２のタイプの仮想感覚提示装置の実施の形態の一例の構成を示すブロック図である。図２では、図１のブロック図で用いている構成要素と同じブロックに、図１で示した符号の数に１００の数を加えた符号を付して説明を省略する。この仮想感覚提示装置１０１では、操作するものがなく、画像表示装置１０３が画像を表示している状態で、その画像を観察する観察者Ｍに仮想の感覚の変化を提示する。そこでこの第２のタイプの仮想感覚提示装置の実施の形態では、画像表示装置１０３と、スクロール画像用画像データ提供手段１０５と、位置関係検出手段１０８と、関係継続期間検出手段１０９と、スクロール変更指令発生手段１１１と、音響発生装置１１３とを備えている。この実施の形態では、図９に示すように、画像表示装置１０３のディスプレイ装置１３１は観察者Ｍが歩く床面に設置される。そして位置関係検出手段１０８は、ディスプレイ装置１３１の画面Ｄに表示されるスクロール画像を見ている観察者Ｍとスクロール画像中の特定領域画像Ｓとの位置関係を検出する。図９に示すように位置関係検出手段１０８は、画像表示装置１０３側に固定した２台のカメラＣＭ１及びＣＭ２を使用して得た画像データから、観察者の位置の変化を検出し、その結果に基づいて観察者Ｍと特定領域画像Ｓとの位置関係を検出する。なお位置関係検出手段１０８の検出構造の構成は任意であり、複数の赤外線センサを利用して位置関係を検出するようにしてもよい。関係継続期間検出手段１０９は、位置関係検出手段１０８が検出する位置関係が、予め定めた位置関係になった後、予め定めた位置関係がなくなるまでの関係継続期間Ｔを検出する。その他の装置１０３及び１１３及び各手段１０５及び１１１は、図１に示した第１のタイプの仮想感覚提示装置１で用いる対応する装置及び手段と同様の機能を有する。

なお第２のタイプの仮想感覚提示装置１０１では、特定領域画像Ｓに対する観察者Ｍの移動速度及び移動方向と、スクロール画像のスクロール方向及びスクロール速度との関係を変えることにより、観察者Ｍに感覚の変化を感じさせることができる。例えば、図９に示すように、観察者Ｍの移動方向とスクロール画像のスクロール方向が一致している場合に、スクロール変更指令Ｃが入力されたときにスクロール速度を速くすると、特定領域画像Ｓについての視覚情報からは、特定領域画像Ｓの速度が速くなったような感じを受ける。この視覚情報に基づく感覚の変化は、観察者Ｍに、自分自身の速度が速くなって、体が軽くなったような感覚を与える。また逆に、スクロール速度を遅くすると、観察者の速度も遅くなった感覚になって、観察者の体が重くなった仮想の感じを観察者Ｍに与えることができる。

また観察者Ｍの移動方向とスクロール画像のスクロール方向が逆の関係にある場合でも、スクロール変更指令Ｃが入力されたときにスクロール速度を遅くすると、視覚情報からは、特定領域画像Ｓの速度が遅くなったような感じを受ける。この感覚の変化は、観察者Ｍに、自分自身の移動速度が遅くなったような感覚、または体が重くなったような感覚を与える。またこの状態でも、スクロール変更指令Ｃが入力されたときにスクロール速度を速くすると、視覚情報からは、特定領域画像Ｓの速度が速くなったような感じを受ける。この感覚の変化は、観察者Ｍに、自分自身の移動速度が速くなったような感覚、または体が軽くなったような感覚を与える。

図１０は、図８の構成の主要部をコンピュータを利用して実現する場合に用いるプログラムのアルゴリズムの一例を示すフローチャートである。なおステップＳＴ２１乃至２７のうち、ステップＳＴ２５及び２７において、特定領域画像Ｓと観察者Ｍとの位置関係を判断している点を除いては、図５に示したフローチャートの各ステップと実質的に変わるところはないので、各ステップの説明は省略する。

なおスクロール画像が観察者Ｍの前方にある長い壁に表示されて、そのスクロール方向が、例えば、左右方向であったときに、観察者Ｍが画像を見ながら左右方向に移動しているとする。このときに、スクロール方向が上下方向に変化した場合には、観察者Ｍは、斜め上方に移動している、または斜め下方に移動している感覚を受けることになる。またスクロール画像のスクロール方向が、例えば、上下方向であったときに、観察者Ｍが画像Ｄに向かって移動しているとする。このときに、スクロール方向が左右方向に変化した場合には、観察者Ｍは、自分自身が横に引っ張られているような感覚を受ける。

図１１は、第１のタイプの仮想感覚提示装置を発展させた第３のタイプの仮想感覚提示装置の構成を示すブロック図である。図１１では、図１のブロック図で用いている構成要素と同じブロックに、図１に示した符号の数に２００の数を加えた符号を付して説明を省略する。この実施の形態では、ポインタ画像用画像データ提供手段２０７が、スクロール画像を見ている操作者が操作面上を移動させるスタイラスＳＴの動きと押圧力、または操作者が操作面上に移動させる指Ｆの動きと押圧力とを検出する操作検出手段２０７ａを含んで構成されている点で、図１の構成とは異なる。押圧力を検出できる操作検出手段２０７ａとしては、例えば、操作面の四隅に力センサを配置して、力センサの出力から押圧力を検出するものを用いることができる。またスクロール変更指令発生手段２１１を、関係継続期間検出手段２０９が関係継続期間Ｔを検出しているときに、操作検出手段２０７ａが検出する押圧力に応じてスクロール画像のスクロール速度を変更するスクロール変更指令Ｃを発生するように構成してある。そして画像表示装置２０３は、スクロール変更指令Ｃが入力指令として入力されているときには、スクロール変更指令Ｃに応じて、スクロール画像のスクロール速度を変更するように構成されている。このようにすると、操作者の意思の変化に応じて押圧力が変化することになる。

この例では、ポインタ画像Ｐの移動方向によらず、関係継続期間Ｔ中に押圧力が大きくなったことを示すスクロール変更指令Ｃが入力されたときに、スクロール速度を遅くすると、ポインタ画像Ｐ及び特定領域画像Ｓの両画像についての視覚情報から、ポインタ画像Ｐの速度が遅くなったような感じを受ける。この感覚の変化は、スタイラスＳＴを使用している場合であれば、押圧力の増加にもかかわらず、ポインタ移動が遅くなる、つまり、スタイラスＳＴが重く、もしくはスタイラスＳＴを動かす操作面の抵抗が大きくなった感じを受ける。逆に、関係継続期間Ｔ中に押圧力が大きくなったことを示すスクロール変更指令Ｃが入力されたときに、スクロール速度を速くすると、ポインタ画像Ｐ及び特定領域画像Ｓの両画像についての視覚情報からは、ポインタ画像Ｐの速度が速くなったような感じを受ける。この感覚の変化は、スタイラスＳＴを使用している場合であれば、押圧力の増加によって、スタイラスＳＴが軽くなったもしくは、スタイラスＳＴを動かす操作面の抵抗が小さく、滑らかになった感じを受ける。

図１２は、図１１の構成の主要部をコンピュータを利用して実現する場合に用いるプログラムのアルゴリズムの一例を示すフローチャートである。なおステップＳＴ３１乃至３８のうち、ステップＳＴ３６で押圧力を検出する点、ステップＳＴ３７で押圧力に応じてスクロール速度を変更する点を除いて、図５に示したフローチャートの各ステップと実質的に変わるところはないので、各ステップの説明は省略する。

なお第２及び第３のいずれのタイプの仮想感覚提示装置においても、スクロール変更指令発生手段１１１及び２１１に、スクロール変更指令Ｃと一緒に特定領域画像Ｓまたはスクロール画像全体を振動させる画像振動指令（視覚的特徴変更指令）を発生する機能を付加してもよい。そして画像表示装置１０３及び２０３は、画像振動指令（視覚的特徴変更指令）が前記入力指令として入力されているときには、特定領域画像Ｓまたはスクロール画像全体を振動させるように構成する。このようにすると操作者Ｍは、移動させているコントローラ等が凹凸の上を移動しているかのような感覚を受ける。また観察者Ｍは、移動中の床面に凹凸があるかのような感覚を受ける。

なお、視覚的特徴変更指令による特定領域画像の視覚的特徴の変更は、前述の振動だけでなく、色の変更や、点滅等種々の変更を含むものである。

本発明の仮想感覚提示装置によれば、コントローラや、スタイラスや、指の移動速度を変えていない場合でも、スクロール速度及び／またはスクロール方向を変更することにより、ポインタ画像及び特定領域画像の両画像についての視覚情報からは、コントローラや、スタイラスや、指が、重くなったり、軽くなったり、滑ったりする感覚の変化を仮想で提示する（感じさせる）ことができる。

また本発明の別の仮想感覚提示装置によれば、特定領域画像に対する観察者の移動速度と移動方向と、スクロール画像のスクロール方向及びスクロール速度との関係を変えることにより、観察者に感覚の変化を感じさせることができる。

Claims (14)

1. 画像データと入力指令とに基づいて画面に画像を表示する画像表示装置と、
   前記画面に、スクロールするスクロール画像を表示するために必要なスクロール画像用画像データを前記画像データとして前記画像表示装置に提供するスクロール画像用画像データ提供手段と、
   前記スクロール画像を見ている操作者が操作するコントローラの動き、前記操作者が操作面上を移動させるスタイラスの動き、または前記操作者が操作面上を移動させる指の動きに応じて、前記スクロール画像上をコントロール可能に移動するポインタ画像を前記スクロール画像上に表示するために必要なポインタ画像用画像データを前記画像データとして前記画像表示装置に提供するポインタ画像用画像データ提供手段と、
   前記スクロール画像用画像データと前記ポインタ画像用画像データとに基づいて、前記スクロール画像中の特定領域画像に対して、前記ポインタ画像が予め定めた位置関係になった後、前記特定領域画像に対して前記ポインタ画像が前記予め定めた位置関係ではなくなるまでの関係継続期間を検出する関係継続期間検出手段と、
   前記関係継続期間検出手段が前記関係継続期間を検出しているときに、前記スクロール画像のスクロール速度及び／またはスクロール方向を変更するスクロール変更指令を発生するスクロール変更指令発生手段とを備え、
   前記画像表示装置は、前記スクロール変更指令が前記入力指令として入力されているときには、前記スクロール変更指令に応じて、前記スクロール画像の前記スクロール速度及び／またはスクロール方向を変更することを特徴とする仮想感覚提示装置。
2. 前記スクロール変更指令発生手段は、前記スクロール変更指令と一緒に前記特定領域画像または前記スクロール画像全体を振動させる画像振動指令を発生する機能を有し、
   前記画像表示装置は、前記画像振動指令が前記入力指令として入力されているときには、前記特定領域画像または前記スクロール画像全体を振動させることを特徴とする請求項１に記載の仮想感覚提示装置。
3. 前記スクロール変更指令発生手段は、前記スクロール変更指令と一緒に前記特定領域画像の視覚的特徴を変更させる視覚的特徴変更指令を発生する機能を有し、
   前記画像表示装置は、前記視覚的特徴変更指令が前記入力指令として入力されているときには、前記特定領域画像の前記視覚的特徴を変更することを特徴とする請求項１に記載の仮想感覚提示装置。
4. 前記スクロール変更指令による前記スクロール速度の変更は、前記特定領域画像を予め定めた時間停留させることを含む請求項１に記載の仮想感覚提示装置。
5. 前記予め定めた時間が３００〜４００ｍｓである請求項４に記載の仮想感覚提示装置。
6. 前記画像表示装置が、前記スクロール画像を前記画面に表示しているときに、前記スクロール速度に応じてテンポが変わる音響を出力する音響発生装置をさらに備えている請求項１に記載の仮想感覚提示装置。
7. 前記画像表示装置が、前記スクロール画像を前記画面に表示しているときに、前記スクロール速度に応じて音強が変わる音響を出力する音響発生装置をさらに備えている請求項１に記載の仮想感覚提示装置。
8. 画像データと入力指令とに基づいて画面に画像を表示する画像表示装置と、
   前記画面に、スクロールするスクロール画像を表示するために必要なスクロール画像用画像データを前記画像データとして前記画像表示装置に提供するスクロール画像用画像データ提供手段と、
   前記スクロール画像を見ている観察者と前記スクロール画像中の特定領域画像との位置関係を検出する位置関係検出手段と、
   前記位置関係検出手段が検出する前記位置関係が、予め定めた位置関係になった後、前記予め定めた位置関係がなくなるまでの関係継続期間を検出する関係継続期間検出手段と、
   前記関係継続期間検出手段が前記関係継続期間を検出しているときに、前記スクロール画像のスクロール速度及び／またはスクロール方向を変更するスクロール変更指令を発生するスクロール変更指令発生手段とを備え、
   前記画像表示装置は、前記スクロール変更指令が前記入力指令として入力されているときには、前記スクロール変更指令に応じて、前記スクロール画像の前記スクロール速度及び／またはスクロール方向を変更することを特徴とする仮想感覚提示装置。
9. 画像データと入力指令とに基づいて画面に画像を表示する画像表示装置と、
   前記画面に、スクロールするスクロール画像を表示するために必要なスクロール画像用画像データを前記画像データとして前記画像表示装置に提供するスクロール画像用画像データ提供手段と、
   前記スクロール画像を見ている操作者が操作面上を移動させるスタイラスの動きと押圧力または前記操作者が操作面上を移動させる指の動きと押圧力とを検出する操作検出手段を含んで構成されて、前記操作検出手段の出力に基づいて、前記スクロール画像上をコントロール可能に移動するポインタ画像を前記スクロール画像上に表示するために必要なポインタ画像用画像データを前記画像データとして前記画像表示装置に提供するポインタ画像用画像データ提供手段と、
   前記スクロール画像用画像データと前記ポインタ画像用画像データとに基づいて、前記スクロール画像中の特定領域画像に対して、前記ポインタ画像が予め定めた位置関係になった後、前記特定領域画像に対して前記ポインタ画像が前記予め定めた位置関係ではなくなるまでの関係継続期間を検出する関係継続期間検出手段と、
   前記関係継続期間検出手段が前記関係継続期間を検出しているときに、前記操作検出手段が検出する前記押圧力に応じて前記スクロール画像のスクロール速度を変更するスクロール変更指令を発生するスクロール変更指令発生手段とを備え、
   前記画像表示装置は、前記スクロール変更指令が前記入力指令として入力されているときには、前記スクロール変更指令に応じて、前記スクロール画像の前記スクロール速度を変更することを特徴とする仮想感覚提示装置。
10. 前記スクロール変更指令発生手段は、前記スクロール変更指令と一緒に前記特定領域画像または前記スクロール画像全体を振動させる画像振動指令を発生する機能を有し、
    前記画像表示装置は、前記画像振動指令が前記入力指令として入力されているときには、前記特定領域画像または前記スクロール画像全体を振動させることを特徴とする請求項８または９に記載の仮想感覚提示装置。
11. 前記スクロール変更指令発生手段は、前記スクロール変更指令と一緒に前記特定領域画像の視覚的特徴を変更させる視覚的特徴変更指令を発生する機能を有し、
    前記画像表示装置は、前記視覚的特徴変更指令が前記入力指令として入力されているときには、前記特定領域画像の前記視覚的特徴を変更することを特徴とする請求項８または９に記載の仮想感覚提示装置。
12. 前記スクロール変更指令による前記スクロール速度の変更は、前記特定領域画像を予め定めた時間停留させることを含む請求項８または９に記載の仮想感覚提示装置。
13. 前記画像表示装置が、前記スクロール画像を前記画面に表示しているときに、前記スクロール速度に応じてテンポが変わる音響を出力する音響発生装置をさらに備えている請求項８または９に記載の仮想感覚提示装置。
14. 前記画像表示装置が、前記スクロール画像を前記画面に表示しているときに、前記スクロール速度に応じて音強が変わる音響を出力する音響発生装置をさらに備えている請求項８または９に記載の仮想感覚提示装置。

Images