JP5989592B2 - 操作違和感軽減装置とその方法とプログラム - Google Patents

Description

本発明は、視聴覚表示を伴う例えばテレビゲーム等の操作端末において、行為者が操作する時の違和感を軽減させる操作違和感軽減装置とその方法とプログラムに関する。

行為者の行為に伴って音響情報と映像情報とが提示されるようなアプリケーションにおいては、行為に対応する映像と音とが同時に提示されるのが理想である。しかし、映像情報を再生するための処理と音響情報を再生するための処理は異なるので、その処理を行うソフトウェアやハードウェア（ビデオチャプチャカード等）によっては、行為に対応する映像情報の遅延時間と音響情報の遅延時間とが異なり、本来、同期して提示されるべき映像情報と音響情報とが、行為者にずれて提示される場合がある。

この映像情報と音響情報との間のずれが大きくなると、違和感や抵抗感が増長し、ゲームやバーチャルリアリティへの行為者（利用者）の臨場感が失われる問題が発生する。例えばゲームのように、行為者のボタン押し操作に応じてゲームのキャラクタがジャンプする映像と効果音が同時に提示されるべき状況で、操作に対応する映像（行為映像）や操作に対応する音情報（フィードバック音）が遅れて、しかも、行為映像とフィードバック音とがバラバラに提示されると、臨場感が大きく阻害される。そして、行為者は違和感や抵抗感を感じるようになる。この問題を解消する目的で、人間側への知覚情報の操作によって遅延に伴う違和感や抵抗感を低減させる方法が検討されて来ている。

例えば、視覚運動情報を提示することで遅延に伴って生じる抵抗感を軽減させる操作抵抗感制御装置９００（図１２）が特許文献１に開示されている。図１２を参照してその動作を簡単に説明する。

操作抵抗感制御装置９００は、肢運動方向検出部１、肢運動マーカ画像生成部２、視覚運動刺激生成部３、画像合成部４、画像表示部５、から構成される。肢運動方向検出部１は、画像表示部５によって表示される画像を見ながら操作を行う操作者１０の操作に関与する体の部位及びその部位の運動方向をカメラやセンサによって検出する。肢運動マーカ画像生成部２は、肢運動方向検出部１で検出された体の部位の位置を示すマーカ画像を生成する。

視覚運動刺激生成部３は、所定の大きさの視覚運動刺激エリアを設定して白黒の縞模様を表示する。そして、視覚運動刺激生成部３は、肢運動方向検出部１で検出された手の運動方向と同じ方向に縞模様を動かし、手を止めた時は縞模様を消す、あるいはその動きを止めるように制御した視覚運動刺激画像を生成し、画像合成部４を介して画像表示部５に表示させる。この視覚運動刺激画像を、操作抵抗感を改善するのに適した空間周波数、時間周波数、サイズを有するものとすることで、操作抵抗感を改善させることができる。

また、視覚情報と音響情報とのずれを、人間の知覚特性を用いて補償する技術が特許文献２に開示されている。なお、特許文献２についての図面を参照した説明は省略する。特許文献２に開示された技術は、通常時の音響情報と視覚情報とのずれ時間よりも大きなずれを持たせた情報を訓練時に提示し、その後に、通常時のずれ時間で音響情報と視覚情報とを再生することで、音響情報と視覚情報とが同時に提示されているように錯覚する効果を用いる方法である。

特開２０１２−３３１４６号公報 特開２００５−３５４３０３号公報

特許文献１に開示された方法は、視覚情報のみが提示される状況における視覚遅延の低減には有効であるが、視覚情報と音響情報とが提示される状況における、視覚情報と音響情報のそれぞれの遅延によって生ずる違和感を低減させるものではない。

また、特許文献２に開示された方法は、予め通常のずれ時間よりも大きなずれを持った訓練情報により順応させておく必要があるため、毎回「順応」するための事前訓練が必要となる。また、順応効果は時間と共に薄れてしまうので、長時間にわたって効果を維持することが難しい課題がある。

本発明は、これらの課題に鑑みてなされたものであり、事前の訓練を必要とすることなく、自身の行為に対応して提示される音響情報（フィードバック音）が行為のタイミングに対して遅延してしまう場合に利用者（行為者）が感じる違和感を、視覚情報（行為映像）の操作により軽減させることができる操作違和感軽減装置とその方法とプログラムを提供することを目的とする。

本願発明の操作違和感軽減装置は、入力部と、映像情報生成部と、音響情報生成部と、遅延処理部と、を具備する。入力部は、行為者の操作を入力として、当該操作に対応した信号である入力情報を生成する。映像情報生成部は、入力情報を入力として、当該入力情報に対応する映像情報を生成する。音響情報生成部は、入力情報を入力として、当該入力情報に対応する音響情報を生成する。遅延処理部は、入力情報と映像情報を入力として、映像情報が所定の第一の時間範囲内に出力されるように調整された遅延調整後映像情報を出力する。

本発明の操作違和感軽減装置によれば、行為者の操作入力に対応してフィードバック音が遅延した場合、行為映像が遅延するように調整されて出力される。具体的には、行為映像が自己の行為だと認識可能な時間限界まで行為映像を遅延させる。それにより、行為者自身の行為タイミングに対する認識を遅延させ、結果的に行為タイミングとフィードバック音との遅延の知覚を低減させる。その結果、遅延したフィードバック音に対する違和感を行為者に与えないようにすることができる。又は、軽減させることができる。

映像遅延時間と操作感の評定値との関係を、音遅延時間をパラメータとして評価した結果を示す図。 本発明の操作違和感軽減装置１００，１００′の機能構成例を示す図。 操作違和感軽減装置１００の動作フローを示す図。 遅延処理部１４０,１４０′の機能構成例を示す図。 遅延処理部１４０の動作フローを示す図。 遅延処理部１４０′の動作フローを示す図。 本発明の操作違和感軽減装置２００の機能構成例を示す図。 操作違和感軽減装置２００の動作フローを示す図。 遅延処理部２４０の機能構成例を示す図。 遅延処理部２４０の動作フローを示す図。 遅延処理部２４０′の動作フローを示す図。 従来の操作抵抗感制御装置９００の機能構成を示す図。

以下、この発明の実施の形態を図面を参照して説明する。複数の図面中同一のものには同じ参照符号を付し、説明は繰り返さない。また、以下の説明では、行為者の行為に伴う音響情報をフィードバック音、行為者の行為に伴う映像情報を行為映像と称する。

〔発明の原理〕
この発明は、行為者の行為に伴ってフィードバック音と行為映像とが提示されるようなアプリケーションを対象とし、フィードバック音及び又は行為映像が提示されるタイミングを調整することにより、行為者の行為に対してフィードバック音及び又は行為映像が遅延することによって行為者に知覚される違和感を軽減する操作違和感軽減装置を実現する。そこで、フィードバック音と行為映像の遅延時間が、音に対する操作感にどのように影響するかを評価した。ここで、音に対する操作感とは、自身がその音の提示を、操作したという感覚、すなわち、その音が自身の行為により生成された音に感じられる度合いである。行為映像については、操作感を評価していない。図１に、その評価結果を示す。

図１の横軸は、行為者の操作を起点とした行為映像の遅延時間（秒）、縦軸は操作感の評定値を主観値で示す。主観値の５は「あきらかに操作感がある」、４は「やや操作感がある」、３は「判断が難しい」、２は「あまり操作感がない」、１は「明らかに操作感がない」、である。異なるデータポイント形状は、異なるフィードバック音の遅延時間（音遅延時間）でのデータを示している。音遅延時間の値と横軸の映像情報の遅延時間の値が等しいとき（例えば、音遅延が０.２（■破線）の特性では横軸が０.２のとき）が、映像と音とが同時に提示されている場合に対応し、それ以外の範囲は行為映像とフィードバック音がずれて提示されている場合に対応する。

図１から、行為からの音遅延時間が０．２（○実線及び■破線）（秒）以内であれば、行為映像の遅延時間を変化させてもフィードバック音に対する操作感がほとんど変わらないことが分かる（フィードバック音の遅延が０.２（秒）で映像情報の遅延が０.２（秒）の時にやや改善が見られるが、その改善は統計的に有意ではない）。つまり、フィードバック音の遅延が０.２（秒）以内の場合、行為映像の遅延時間の大きさは音に対する操作性の評定に寄与しないと言える。また、音響遅延時間が０.４（●一点鎖線）（秒）、０.６（▲破線）（秒）、０.８（△二点鎖線）（秒）の操作感の評定値は、一定の範囲において向上が見られ、ガウス分布で近似可能な特性を示すことが分かる。ガウス分布で近似可能な各特性から、平均値、つまり近似関数の評価値が最大となる映像遅延時間と、その標準偏差を計算して求めた結果を表１に示す。

表１からは、行為者の行為を起点とした映像の遅延時間が０．４１（秒）の近傍の範囲（例えば、０.４１±０．１９（秒）の範囲）内にあれば、遅延して提示されるフィードバック音に対する操作感の向上が期待できる。図１において、行為からの音遅延時間が０.２（秒）以内（○実線及び■破線）の場合、行為映像の遅延時間が更に大きくても評定値は悪化せず、且つ、音遅延時間が大きい場合と比較して評定値が高いことを考慮すれば、フィードバック音の遅延が小さい場合であっても、０.４１（秒）の近傍の範囲で行為映像の遅延時間を調整することは、音に対する操作感を低下させることにつながらないといえる。

つまり、図１から、行為者の行為を起点とした行為映像の遅延時間が０.４１±０.１９（秒）の範囲内では、フィードバック音の操作感の評定値に映像が有意に寄与し、行為映像の遅延時間をその範囲内とすることで、フィードバック音の遅延時間に関わらず音に対する操作感を向上させる効果が期待できることが分かる。特に、行為を起点とするフィードバック音の遅延時間が０.４（秒）より大きい場合に、顕著な効果が見られる。

このように、自分の行為に対してフィードバック音が遅延している場合に、行為映像の遅延時間を調整することにより、フィードバック音に対する操作感が向上する特性（錯覚）を確認できた。この発明は、この人間の知覚特性に関する新たな知見に基づいて、操作者の操作性を向上させる操作違和感軽減装置を提供するものである。

図２に、この発明の操作違和感軽減装置１００の機能構成例を示す。その動作フローを図３に示す。操作違和感軽減装置１００は、入力部１１０と、映像情報生成部１２０と、音響情報生成部１３０と、遅延処理部１４０と、制御部１５０と、を具備する。操作違和感軽減装置１００は、例えばＲＯＭ、ＲＡＭ、ＣＰＵ等で構成されるコンピュータに所定のプログラムが読み込まれて、ＣＰＵがそのプログラムを実行することで実現されるものである。

入力部１１０は、行為者の操作を入力として、当該操作に対応した信号である入力情報Ｉ_ｔを生成する（ステップＳ１１０）。入力部１１０は、例えばマウス、キーボード、ボタンコントローラなどであり、行為者の操作を電気信号（入力情報Ｉ_ｔ）に変更する。この実施例の効果を最大限に引き出すためには、操作時に入力部１１０自体で発生する音を極力小さくなるように調整しておく。

映像情報生成部１２０は、入力部１１０で生成された入力情報Ｉ_ｔを入力として、当該入力情報Ｉ_ｔに対応する映像情報Ｖ_ｔ（行為映像）を生成する（ステップＳ１２０）。映像情報Ｖ_ｔは、通常の映像生成技術によって生成される。映像情報Ｖ_ｔは、例えば、ボタンを指で押下するような映像である（図２）。映像情報Ｖ_ｔは、行為者が操作を知覚できる映像であれば、その装置の仕様に合わせたどのような映像であっても良い。

音響情報生成部１３０は、入力部１１０で生成された入力情報Ｉ_ｔを入力として、当該入力情報Ｉ_ｔに対応する音響情報Ａ_ｔ（フィードバック音）を生成し（ステップＳ１３０）、外部に出力する。音響情報Ａ_ｔは、スピーカ等の変換装置を介して音響信号に変換される。音響情報Ａ_ｔは、映像情報Ｖ_ｔに対応するフィードバック音であり、例えば映像情報Ｖ_ｔのボタンが押下されたことを表す映像の効果音である。

遅延処理部１４０は、映像情報Ｖ_ｔと映像情報の遅延時間ΔＴ_Ｖとを入力として、入力情報Ｉ_ｔが生成された時刻ｔを起点として映像情報Ｖ_ｔが所定の時間範囲内に出力されるように、映像情報Ｖ_Ｔを調整した遅延調整後映像情報を外部に出力する（ステップＳ１４０）。遅延調整後映像情報は、例えば液晶パネル等で映像として出力（表示）される。

ここで、所定の時間範囲を、〔発明の原理〕に記載した例えば０．４１（秒）の近傍の範囲（例えば、０.４１±０.１９（秒）の範囲）とすることで、行為者は、遅延調整後映像情報によりフィードバック音に対する操作性を向上させる効果が得られる。すなわち、実施例１は、図１から得られる知見に基づいて、操作性を向上させる構成である。

以上説明した入力情報生成過程（ステプＳ１１０）〜遅延処理過程（ステップＳ１４０）は、行為者の操作の度にその操作に対応して繰り返される。この繰り返しの動作は、制御部１５０が制御する（ステップＳ１５０）。

なお、元の映像の遅延時間ΔＴ_Ｖが、所定の時間範囲の上限値より大きい場合は、遅延時間を短くすることはできないので、遅延処理部１４０における映像情報の遅延時間の調整は行わず、そのまま映像情報Ｖ_ｔを遅延調整後映像情報として出力する。

以上のように動作する操作違和感軽減装置１００よれば、事前の訓練を必要とすることなく、自身の行為に対応する音響情報（フィードバック音）と視覚情報（行為映像）との遅延に基づく違和感を、行為者に与えないようにすることができる。又は、軽減させることができる。

なお、映像情報の遅延時間ΔＴ_Ｖは、予め測定しておいて遅延処理部１４０に固定値として記憶させておいても良いし、上記したように外部から与えるようにしても良い。例えば、ネットワークを介して映像情報と音響情報が行為者に提供されるようなアプリケーションで、ネットワーク環境が安定していれば映像情報と音響情報が提供される遅延時間は所定の誤差範囲内であることが多い。その遅延時間を、例えば参考文献１（安田浩編著「マルチメディア符号化の国際標準」丸善 pp. 221-232,1991）に記載されているようなタイムスタンプ方式や、参考文献２（特許第４２５１９７９号）に記載された方法で測定することができる。このように測定した遅延時間を、映像情報の遅延時間ΔＴ_Ｖとする。

〔遅延処理部〕
図４に、遅延処理部１４０の機能構成例を示す。その動作フローを図６に示す。遅延処理部１４０は、遅延時間判定手段１４００と、映像情報バッファ手段１４１０と、出力手段１４３０と、を具備する。

遅延時間判定手段１４００は、入力情報Ｉ_ｔが生成された時刻ｔを起点とする映像情報の遅延時間ΔＴ_Ｖを入力として、制御信号を、映像情報バッファ手段１４１０と出力手段１４３０に出力する。

映像情報バッファ手段１４１０は、遅延時間判定手段１４００から出力された制御信号を受け取ると、映像情報生成部１２０が生成した映像情報Ｖ_ｔを入力として、映像情報Ｖ_ｔを保管（bufferring）する。

出力手段１４３０は、遅延時間判定手段１４００から出力された制御信号と、映像情報生成部１２０が生成した映像情報Ｖ_ｔと、映像情報バッファ手段１４１０で保管された保管映像情報Ｖ_ｔ′と、を入力として、遅延調整後映像情報を外部に出力する。

映像情報Ｖ_ｔが入力されると遅延時間判定手段１４００は、映像情報の遅延時間ΔＴ_Ｖが所定の第一の時間範囲の上限値より小さいか否かを判定する（ステップＳ１４００）。例えば、所定の第一の時間範囲（以下、「第一の」は省略する）を０.４１±０.１９（秒）とした場合、遅延時間判定手段１４００は、映像情報の遅延時間ΔＴ_Ｖが０.６（秒）より小さいか否かを判定する。所定の時間範囲の上限値より小さい場合（ステップＳ１４００のＹｅｓ）、遅延時間判定手段１４００は、映像情報のバッファリングを開始することを示す制御信号を映像情報バッファ手段１４１０に出力すると共に、入力情報Ｉ_ｔが入力された時刻ｔを起点として所定時間経過後に、出力手段１４３０に対して映像情報バッファ手段１４１０に保管されている保管映像情報Ｖ_ｔ′を遅延調整後映像信号として出力させる出力制御信号を出力する。ここでの所定時間とは、映像の出力される時刻が入力情報Ｉ_ｔが入力された時刻ｔを起点とする０.４１（秒）の近傍の時刻となるような時間である。例えば、映像の出力される時刻が入力情報Ｉ_ｔが入力された時刻ｔを起点とする０.４１（秒）後に提示したい場合は、（０.４１−ΔＴ_Ｖ）（秒）経過後に、映像情報バッファ手段１４１０に保管されている保管映像情報Ｖ_ｔ′を遅延調整後映像信号として出力させる出力制御信号を出力する。

映像情報バッファ手段１４１０は、映像情報のバッファリングを開始することを示す制御信号が入力されると、映像情報生成部１２０が生成した映像情報Ｖ_ｔを入力として、映像情報Ｖ_ｔを保管（bufferring）する（ステップＳ１４１０）。

出力手段１４３０は、出力制御信号が入力されると、出力制御信号に従って所定時刻経過後に映像情報Ｖ_ｔ′を遅延調整後映像情報として外部に出力する（ステップＳ１４２０）。これにより、映像情報の遅延時間ΔＴ_Ｖが所定の時間範囲の上限値以下の場合は、映像情報の遅延時間が調整され、映像情報Ｖ_ｔが、行為の時刻ｔを起点とする０.４１（秒）の近傍の範囲で出力されることになる。

遅延時間判定手段１４００は、所定の時間範囲の上限値より小さい場合（ステップＳ１４００のＮｏ）、出力手段１４３０に対して映像情報生成部１２０から入力される映像情報Ｖ_ｔを直ちに遅延調整後映像信号として出力させる出力制御信号を、出力手段１４３０に出力する。

出力手段１４３０は、その出力制御信号が入力されると、映像情報Ｖ_ｔを遅延調整後映像情報として外部に出力する（ステップＳ１４３０）。つまり、映像情報の遅延時間ΔＴ_Ｖが所定の時間範囲の上限値以上の場合、行為の時刻ｔを起点とする映像の遅延時間を０.４１（秒）の近傍の範囲にするために遅延時間を短くすることはできないので、遅延の調整は行わず、そのまま出力されることになる。

図２に、この発明の操作違和感軽減装置１００′の機能構成例を示す。操作違和感軽減装置１００′は、遅延処理部１４０′の処理が上記した操作違和感軽減装置１００と異なる。

以下、実施例１と異なる部分についての具体的な処理を説明する。遅延処理部１４０′は、映像情報Ｖ_ｔと入力情報Ｉ_ｔが入力された時刻ｔを起点とする映像情報の遅延時間ΔＴ_Ｖと入力情報Ｉ_ｔが入力された時刻ｔを起点とする音響情報の遅延時間ΔＴ_Ａとを入力として、ΔＴ_Ａが所定の閾値θ以上の場合に、映像情報Ｖ_ｔが所定の時間範囲内に出力されるように調整された遅延調整後映像情報を外部に出力する。それ以外の場合には、映像情報Ｖ_ｔの遅延時間を調整せずに、そのまま外部に出力する。なお、音響情報Ａ_ｔについては、実施例１と同様に遅延させる処理は行わずにそのままスピーカ等に出力され、音響信号に変換される。遅延調整後映像情報は、例えば液晶パネル等により映像として出力（表示）される。

ここで、所定の閾値θは、例えば０.４（秒）とすれば良い。これは、図１において、音の遅延が０.４（秒）以上の場合に、映像情報の遅延時間を所定の時間範囲内とすることで、音の操作感に対する評定値を向上させる効果があることに基づく。なお、図１の結果において、０.４（秒）丁度でなくとも、ある程度の数値誤差が許容されることは言うまでもない。閾値θを０.４（秒）の近傍の０.４±ε（秒）とすれば効果が得られるといえる。

なお、音響遅延時間ΔＴ_Ａは、実施例１と同様の方法によって測定した音響信号の遅延時間を、行為者の行為情報Ｉ_ｔが生成された時刻ｔを起点とする音響情報の遅延時間ΔＴ_Ａとして、遅延処理部１４０に予め固定値として与えておけば良い。又は、外部から遅延処理部１４０に入力するようにしても良い。

〔遅延処理部〕
図４に、遅延処理部１４０′の機能構成例を示す。その動作フローを図６に示す。遅延処理部１４０′は、実施例１の遅延処理部１４０と処理が異なる。
以下、実施例１と異なる点についてのみ説明する。遅延時間判定手段１４００′は、入力情報Ｉ_ｔが生成された時刻ｔを起点とする映像情報の遅延時間ΔＴ_Ｖと、入力情報Ｉ_ｔが生成された時刻ｔを起点とする音響情報の遅延時間ΔＴ_Ａと、を入力として、制御信号を、映像情報バッファ手段１４１０と出力手段１４３０に出力する。

遅延時間判定手段１４００は、音響情報の遅延時間ΔＴ_Ａが所定の閾値θ以下であるか否かを判定する（ステップＳ１４００′）。所定の閾値θ以下であれば（ステップＳ１４００′のＹｅｓ）、映像情報の遅延時間ΔＴ_Ｖが所定の時間範囲の上限値より小さいか否かを判定する（ステップＳ１４００）。以降の処理は実施例１と同じである。

所定の閾値θ以上の場合は（ステップＳ１４００′のＮｏ）、出力手段１４３０に対して映像情報生成部１２０から入力される映像情報Ｖ_ｔを直ちに遅延調整後映像情報として出力させる出力制御信号を、出力手段１４３０に出力する。出力手段１４３０は、その出力制御信号が入力されると、映像情報Ｖ_ｔを遅延調整後映像情報として外部に出力する（ステップＳ１４３０）。

〔発明の原理〕で説明した考えを実現する構成は他にも考えられる。図７に操作違和感軽減装置２００の機能構成例を示してその動作を説明する。図８にその動作フローを示す。

操作違和感軽減装置２００は、上記した操作違和感軽減装置１００，１００′に対して遅延計測部２６０を備える点で異なる。遅延計測部２６０の構成が増えたことで、遅延処理部２４０，２４０′の処理が変更されている。その他の機能構成部は、操作違和感軽減装置１００，１００′と同じである。

遅延計測部２６０は、入力部１１０が出力する入力情報Ｉ_ｔが入力された時刻ｔと、映像情報生成部１２０が出力する映像情報Ｖ_ｔとを入力として、入力情報Ｉ_ｔが入力された時刻ｔを起点とした時の映像情報Ｖ_ｔの遅延時間である映像遅延時間ΔＴ_Ｖ，ｔを計測する。（ステップＳ２６０）。遅延計測部２６０は、従来技術で容易に実現できる。

遅延計測部２６０′は、遅延計測部２６０の処理に加えて、音響情報生成部１３０が出力する音響情報Ａ_ｔを入力として、入力情報Ｉ_ｔが入力された時刻ｔを起点とした時の音響情報Ａ_ｔの遅延時間である音響遅延時間Ｔ_Ａ，ｔを計測する。

遅延処理部２４０は、映像情報Ｖ_ｔと映像遅延時間ΔＴ_Ｖ，ｔとを入力として、映像情報Ｖ_ｔが所定の時間範囲内に出力されるように、映像遅延時間ΔＴ_Ｖ，ｔの遅延時間を遅らせて出力する（ステップＳ２４０）。図９に、遅延処理部２４０の機能構成例を示す。その動作フローを図１０に示す。遅延処理部２４０の動作フローはΔＴ_ＶがΔＴ_Ｖ，ｔに置き換わる点を除いて、実施例１と同じであるため説明を省略する。

遅延処理部２４０′は、映像情報Ｖ_ｔと映像遅延時間ΔＴ_Ｖ，ｔに加えて音響遅延時間ΔＴ_Ａ，ｔが入力され、音響遅延時間ΔＴ_Ａ，ｔが所定の閾値θ以下の場合に映像情報Ｖ_ｔが所定の時間範囲内に出力されるように、映像遅延情報Ｖ_ｔの遅延時間を調整した遅延調整後映像情報を出力する。図９に、遅延処理部２４０′の機能構成例を示す。その動作フローを図１１に示す。遅延処理部２４０′の動作フローは、ΔＴ_ＶがΔＴ_Ｖ，ｔに、ΔＴ_ＡがΔＴ_Ａ，ｔに、置き換わる点を除いて、実施例２と同じであるため説明を省略する。

以上説明したように、本発明の操作違和感軽減装置は、行為者の行為に基づくフィードバック音が行為のタイミングから遅延する場合に、映像情報を遅延させることで、遅延したフィードバック音に対する違和感を行為者に感じさせないようにすることができる。

上記装置における処理手段をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、各装置における処理手段がコンピュータ上で実現される。

また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記録装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

また、各手段は、コンピュータ上で所定のプログラムを実行させることにより構成することにしてもよいし、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims (16)

1. 行為者の操作を入力する入力部と、
   上記行為者の操作に対応する映像情報を提示する映像情報生成部と、
   上記行為者の操作に対応する音響情報を出力する音響情報生成部と、
   上記映像情報が上記行為者の操作が入力された時刻を起点とする所定の第一の時間範囲内に出力されるように、映像情報の遅延時間を調整する遅延処理部と、
   を具備する操作違和感軽減装置であって、
   上記第一の時間範囲内とは、０．４１秒の近傍の範囲内であることを特徴とする操作違和感軽減装置。
2. 行為者の操作を入力する入力部と、
   上記行為者の操作に対応する映像情報を提示する映像情報生成部と、
   上記行為者の操作に対応する音響情報を出力する音響情報生成部と、
   上記映像情報が上記行為者の操作が入力された時刻を起点とする所定の第一の時間範囲内に出力されるように、映像情報の遅延時間を調整する遅延処理部と、
   を具備する操作違和感軽減装置であって、
   所定の閾値を０.４秒の近傍としたとき、
   上記遅延処理部は、上記音響情報の遅延時間が上記所定の閾値以下の場合には、上記映像情報の遅延時間を調整する処理を行わないことを特徴とする操作違和感軽減装置。
3. 行為者の操作を入力として、当該操作に対応した信号である入力情報を生成する入力部と、
   上記入力情報を入力として、当該入力情報に対応する映像情報を生成する映像情報生成部と、
   上記入力情報を入力として、当該入力情報に対応する音響情報を生成する音響情報生成部と、
   上記入力情報と上記映像情報とを入力として、上記入力情報が入力された時刻を起点として所定の第一の時間範囲内に上記映像情報が出力されるように調整された遅延調整後映像情報を出力する遅延処理部と、
   を具備する操作違和感軽減装置であって、
   上記第一の時間範囲内とは、０．４１秒の近傍の範囲内であることを特徴とする操作違和感軽減装置。
4. 行為者の操作を入力として、当該操作に対応した信号である入力情報を生成する入力部と、
   上記入力情報を入力として、当該入力情報に対応する映像情報を生成する映像情報生成部と、
   上記入力情報を入力として、当該入力情報に対応する音響情報を生成する音響情報生成部と、
   上記入力情報と上記映像情報と上記音響情報を入力として、上記入力情報が入力された時刻を起点としたときの上記映像情報の遅延時間である映像遅延時間と上記音響情報の遅延時間である音響遅延時間を計測する遅延計測部と、
   上記映像情報と上記映像遅延時間とを入力として、上記入力情報が入力された時刻を起点として所定の遅延を示す第一の時間範囲内に出力されるように、上記映像情報を遅らせて出力する遅延処理部と、
   を具備する操作違和感軽減装置であって、
   上記遅延処理部が、上記音響遅延時間が所定の閾値θ以上の場合、上記映像情報が上記第一の時間範囲内に出力されるように構成されたものであり、
   上記所定の閾値θとは、０.４秒であることを特徴とする操作違和感軽減装置。
5. 行為者の操作に伴って映像と音の両方が提示される際の、上記提示される音の上記行為者の操作に対する遅延が上記行為者に与える違和感を軽減するために、上記行為者の操作に伴って提示される音である音響情報と、上記行為者の操作に伴って提示される映像である遅延調整後映像情報を出力する操作違和感軽減装置であって、
   上記行為者の操作を入力として、当該操作に対応した信号である入力情報を生成する入力部と、
   上記入力情報を入力として、上記行為者の操作に伴って提示される映像である映像情報を生成する映像情報生成部と、
   上記入力情報を入力として、上記行為者の操作に伴って提示される音である音響情報を生成して出力する音響情報生成部と、
   上記入力情報と上記映像情報とを入力として、上記入力情報が入力された時刻を起点として所定の遅延を示す第一の時間範囲内に上記映像情報が出力されるように、上記映像情報の遅延時間を調整した遅延調整後映像情報を出力する遅延処理部と、
   を具備する操作違和感軽減装置。
6. 行為者の操作に伴って映像と音の両方が提示される際の、上記提示される音の上記行為者の操作に対する遅延が上記行為者に与える違和感を軽減するために、上記行為者の操作に伴って提示される音である音響情報と、上記行為者の操作に伴って提示される映像である遅延調整後映像情報を出力する操作違和感軽減装置であって、
   上記行為者の操作を入力として、当該操作に対応した信号である入力情報を生成する入力部と、
   上記入力情報を入力として、上記行為者の操作に伴って提示される映像である映像情報を生成する映像情報生成部と、
   上記入力情報を入力として、上記行為者の操作に伴って提示される音である音響情報を生成して出力する音響情報生成部と、
   上記入力情報と上記映像情報と上記音響情報を入力として、上記入力情報が入力された時刻を起点としたときの上記映像情報の遅延時間である映像遅延時間と上記音響情報の遅延時間である音響遅延時間を計測する遅延計測部と、
   上記映像情報と上記映像遅延時間と上記音響遅延時間とを入力として、上記音響遅延時間が所定の閾値θ以上の場合、上記入力情報が入力された時刻を起点として所定の遅延を示す第一の時間範囲内に上記映像情報が出力されるように、上記映像情報の遅延時間を調整した遅延調整後映像情報を出力する遅延処理部と、
   を具備する操作違和感軽減装置。
7. 請求項５または６に記載した操作違和感軽減装置であって、
   上記第一の時間範囲内とは、０.４１秒の近傍の範囲内であることを特徴とする操作違和感軽減装置。
8. 行為者の操作に伴って映像と音の両方が提示される際の、上記提示される音の上記行為者の操作に対する遅延が上記行為者に与える違和感を軽減するために、上記行為者の操作に伴って提示される音である音響情報と、上記行為者の操作に伴って提示される映像である遅延調整後映像情報を出力する操作違和感軽減装置であって、
   上記行為者の操作を入力として、当該操作に対応した信号である入力情報を生成する入力部と、
   上記入力情報を入力として、上記行為者の操作に伴って提示される映像である映像情報を生成する映像情報生成部と、
   上記入力情報を入力として、上記行為者の操作に伴って提示される音である音響情報を生成して出力する音響情報生成部と、
   上記入力情報と上記映像情報とを入力として、上記入力情報が入力された時刻を起点とし、上記行為者が、上記映像情報が自己の操作に対応する映像情報であると認識可能な時間限界まで遅延させて上記映像情報が出力されるように、上記映像情報の遅延時間を調整した遅延調整後映像情報を出力する遅延処理部と、
   を具備する操作違和感軽減装置。
9. 行為者の操作を入力する入力過程と、
   上記行為者の操作に対応する映像情報を提示する映像情報生成過程と、
   上記行為者の操作に対応する音響情報を出力する音響情報生成過程と、
   上記映像情報が上記行為者の操作が入力された時刻を起点とする所定の第一の時間範囲内に出力されるように、映像情報の遅延時間を調整する遅延処理過程と、
   を備える操作違和感軽減方法であって、
   上記第一の時間範囲内とは、０．４１秒の近傍の範囲内であることを特徴とする操作違和感軽減方法。
10. 行為者の操作を入力する入力過程と、
    上記行為者の操作に対応する映像情報を提示する映像情報生成過程と、
    上記行為者の操作に対応する音響情報を出力する音響情報生成過程と、
    上記映像情報が上記行為者の操作が入力された時刻を起点とする所定の第一の時間範囲内に出力されるように、映像情報の遅延時間を調整する遅延処理過程と、
    を備える操作違和感軽減方法であって、
    所定の閾値を０.４秒の近傍としたとき、
    上記遅延処理過程は、上記音響情報の遅延時間が上記所定の閾値以下の場合には、上記映像情報の遅延時間を調整する処理を行わないことを特徴とする操作違和感軽減方法。
11. 行為者の操作を入力として、当該操作に対応した信号である入力情報を生成する入力過程と、
    上記入力情報を入力として、当該入力情報に対応する映像情報を生成する映像情報生成過程と、
    上記入力情報を入力として、当該入力情報に対応する音響情報を生成する音響情報生成過程と、
    上記入力情報と上記映像情報とを入力として、上記入力情報が入力された時刻を起点として所定の第一の時間範囲内に上記映像情報が出力されるように調整された遅延調整後映像情報を出力する遅延処理過程と、
    を備える操作違和感軽減方法であって、
    上記第一の時間範囲内とは、０．４１秒の近傍の範囲内であることを特徴とする操作違和感軽減方法。
12. 行為者の操作を入力として、当該操作に対応した信号である入力情報を生成する入力過程と、
    上記入力情報を入力として、当該入力情報に対応する映像情報を生成する映像情報生成過程と、
    上記入力情報を入力として、当該入力情報に対応する音響情報を生成する音響情報生成過程と、
    上記入力情報と上記映像情報と上記音響情報を入力として、上記入力情報が入力された時刻を起点としたときの上記映像情報の遅延時間である映像遅延時間と上記音響情報の遅延時間である音響遅延時間を計測する遅延計測過程と、
    上記映像情報と上記映像遅延時間とを入力として、上記入力情報が入力された時刻を起点として所定の遅延を示す第一の時間範囲内に出力されるように、上記映像情報を遅らせて出力する遅延処理過程と、
    を備える操作違和感軽減方法であって、
    上記遅延処理過程が、上記音響遅延時間が所定の閾値θ以上の場合、上記映像情報が上記第一の時間範囲内に出力されるように構成されたものであり、
    上記所定の閾値θとは、０.４秒であることを特徴とする操作違和感軽減方法。
13. 行為者の操作に伴って映像と音の両方が提示される際の、上記提示される音の上記行為者の操作に対する遅延が上記行為者に与える違和感を軽減するために、上記行為者の操作に伴って提示される音である音響情報と、上記行為者の操作に伴って提示される映像である遅延調整後映像情報を出力する操作違和感軽減方法であって、
    上記行為者の操作を入力として、当該操作に対応した信号である入力情報を生成する入力過程と、
    上記入力情報を入力として、上記行為者の操作に伴って提示される映像である映像情報を生成する映像情報生成過程と、
    上記入力情報を入力として、上記行為者の操作に伴って提示される音である音響情報を生成して出力する音響情報生成過程と、
    上記入力情報と上記映像情報とを入力として、上記入力情報が入力された時刻を起点として所定の遅延を示す第一の時間範囲内に上記映像情報が出力されるように、上記映像情報の遅延時間を調整した遅延調整後映像情報を出力する遅延処理過程と、
    を備える操作違和感軽減方法。
14. 行為者の操作に伴って映像と音の両方が提示される際の、上記提示される音の上記行為者の操作に対する遅延が上記行為者に与える違和感を軽減するために、上記行為者の操作に伴って提示される音である音響情報と、上記行為者の操作に伴って提示される映像である遅延調整後映像情報を出力する操作違和感軽減方法であって、
    上記行為者の操作を入力として、当該操作に対応した信号である入力情報を生成する入力過程と、
    上記入力情報を入力として、上記行為者の操作に伴って提示される映像である映像情報を生成する映像情報生成過程と、
    上記入力情報を入力として、上記行為者の操作に伴って提示される音である音響情報を生成して出力する音響情報生成過程と、
    上記入力情報と上記映像情報と上記音響情報を入力として、上記入力情報が入力された時刻を起点としたときの上記映像情報の遅延時間である映像遅延時間と上記音響情報の遅延時間である音響遅延時間を計測する遅延計測過程と、
    上記映像情報と上記映像遅延時間と上記音響遅延時間とを入力として、上記音響遅延時間が所定の閾値θ以上の場合、上記入力情報が入力された時刻を起点として所定の遅延を示す第一の時間範囲内に上記映像情報が出力されるように、上記映像情報の遅延時間を調整した遅延調整後映像情報を出力する遅延処理過程と、
    を備える操作違和感軽減方法。
15. 行為者の操作に伴って映像と音の両方が提示される際の、上記提示される音の上記行為者の操作に対する遅延が上記行為者に与える違和感を軽減するために、上記行為者の操作に伴って提示される音である音響情報と、上記行為者の操作に伴って提示される映像である遅延調整後映像情報を出力する操作違和感軽減方法であって、
    上記行為者の操作を入力として、当該操作に対応した信号である入力情報を生成する入力過程と、
    上記入力情報を入力として、上記行為者の操作に伴って提示される映像である映像情報を生成する映像情報生成過程と、
    上記入力情報を入力として、上記行為者の操作に伴って提示される音である音響情報を生成して出力する音響情報生成過程と、
    上記入力情報と上記映像情報とを入力として、上記入力情報が入力された時刻を起点とし、上記行為者が、上記映像情報が自己の操作に対応する映像情報であると認識可能な時間限界まで遅延させて上記映像情報が出力されるように、上記映像情報の遅延時間を調整した遅延調整後映像情報を出力する遅延処理過程と、
    を備える操作違和感軽減方法。
16. 請求項９乃至１５の何れかに記載した操作違和感軽減方法の各過程を、コンピュータに実行させるためのプログラム。

Images