JP5497229B1 - 操作抵抗感軽減装置、方法、プログラム及び記録媒体 - Google Patents

Abstract

【課題】従来よりも負担が小さい実装でカーソル等の操作対象物の操作抵抗感を軽減する技術を提供する。
【解決手段】運動情報計算部２が、操作者の操作に基づいて生成された操作対象物を操作するための操作信号に基づいて、操作者の操作に対して遅れて表示される操作対象物の速度及び加速度を含む運動情報を計算する。抵抗感計算部３が、操作対象物の抵抗感を、その操作対象物の進行方向に向かう加速度が大きいほど大きな絶対値を持つ指標として、運動情報に基づいて、操作対象物の抵抗感を計算する。映像調整部４が、抵抗感が大きくなるときに操作対象物を目立たなくする。
【選択図】図１

Description

この発明は、カーソル等の操作対象物の映像をマウス等の入力手段を用いて移動させるシステムにおいて、操作対象物の映像が操作に対して遅れる際に生じる抵抗感を軽減する技術に関する。

視覚フィードバックの遅延を補償する手段として、遅延していない映像を予測的に生成してＣＧ映像として提示する予測ディスプレイの技術が提案されている（例えば、非特許文献１参照。）。

Thomas B.Sheridan, "Space Teleoperation Through Time Delay: Review and Prognosis", IEEE TRANSACTIONS ON ROBOTICS AND AUTOMATION, VOL.9, NO.5, OCTORBER 1993, P.592-606

非特許文献１に記載された予測ディスプレイ装置は操作時の抵抗感を軽減するが、システムの挙動を予測する予測モデルとＣＧ映像を生成する映像生成部を実装せねばならず、実装時の負担が大きい。

この発明の目的は、従来よりも負担が小さい実装で抵抗感を軽減する操作抵抗感軽減装置、方法、プログラム及び記録媒体を提供することである。

上記の課題を解決するために、この発明の一態様による操作抵抗感軽減装置は、操作者の操作に基づいて生成された操作対象物を操作するための操作信号に基づいて、上記操作者の操作に対して遅れて表示される操作対象物の速度及び加速度を含む運動情報を計算する運動情報計算部と、操作対象物の抵抗感を、その操作対象物の進行方向に向かう加速度が大きいほど大きな絶対値を持つ指標として、上記運動情報に基づいて、上記操作対象物の抵抗感を計算する抵抗感計算部と、上記抵抗感が大きくなるときに上記操作対象物を目立たなくする映像調整部と、を備えている。

従来よりも負担が小さい実装で抵抗感を軽減することができる。

操作抵抗感軽減装置の例を示す機能ブロック図。 操作抵抗感軽減方法の例を示す流れ図。 操作対象物の位置y^(t),x^(t)を説明するための図。 δ(t),a^(t),A^(t),v^(t+ΔT),V^(t+Δt),F^(t)の関係の例を説明するための図。 具体例を説明するための図。 具体例を説明するための図。 実験例を説明するための図。 実験例を説明するための図。 実験結果を説明するための図。 実験結果を説明するための図。 実験結果を説明するための図。

以下、図面を参照してこの発明の実施形態を説明する。

操作抵抗感軽減装置は、操作部１、運動情報計算部２、抵抗感計算部３、映像調整部４、表示部５及び表示信号生成部７を例えば備えている。操作抵抗感軽減方法は、操作抵抗感軽減装置が、図２に例示するステップＳ１からステップＳ５の処理を行うものである。

＜ステップＳ１＞
操作部１には、操作者の操作に基づいて、操作対象物を操作するための操作信号を生成する（ステップＳ１）。生成された操作信号は、運動情報計算部２に提供される。時刻tにおける操作信号をs(t)と表記する。

操作部１は、マウス、トラックボール、タッチパネル、ジョイスティック、スタイラスペン、ポインティングスティック等の入力装置である。

操作信号は、操作対象物の位置を特定するための情報である。操作信号は、操作対象物の位置情報そのものでもあってもよいし、操作部１がポインティングスティック等の圧力センサーである場合には入力された圧力についての情報であってもよい。

操作対象物は、例えば、その操作者によって操作されるカーソルである。もちろん、操作対象物は、操作者によって操作され画面に表示されるものであればどのようなものであってもよい。例えば、操作対象物は、遠隔操作の対象となるロボットであってもよい。

＜ステップＳ２＞
運動情報計算部２は、操作信号に基づいて、操作に対して遅れて表示される操作対象物の速度及び加速度を含む運動情報を計算する（ステップＳ２）。計算された運動情報は、抵抗感計算部３に提供される。運動情報は、速度及び加速度を少なくとも含んでいればよいが、この例では操作対象物の位置を更に含んでいるとする。

まず、運動情報計算部２は、時刻tの操作信号s(t)及びシステム関数M^(s)を用いて、時刻tの操作対象物の位置x^(t)=M^(s(t))を計算し、その計算された値x^(t)を時刻t+ΔTにおける操作対象物の位置y^(t+ΔT)=x^(t)とする。x^(t)は遅延がなかった場合に時刻tにおいて操作対象物が位置すべき位置である。これに対して、y^(t)は時刻tにおける操作対象物の表示位置である。

システム関数M^(s)は、操作信号に基づいて操作対象物の位置を計算するための関数である。時刻tは、操作信号s(t)が生成された時刻である。ΔTは、システム遅延である。システム遅延がΔTである場合には、操作対象物は、図３に示すように、時刻tにおいてy^(t)=x^(t-ΔT)の位置に表示されており、時刻t+ΔTにおいてy^(t+ΔT)=x^(t)の位置に表示される。

y^(t+ΔT)=x^(t)の計算は、各時刻tの操作信号s(t)が入力される毎に行われる。単位処理時間をΔtとし、単位処理時間Δt毎に操作信号s(t)が入力されるとすると、図３に示すように、y^の系列y^(t+kΔt)が計算されることになる。kは、整数である。

つぎに、運動情報計算部２は、このように計算されたy^の系列y^(t+kΔt)を用いて、操作対象物の速度v^(t)及び加速度a^(t)を計算する。運動情報計算部２は、例えば以下の式により定義される、時刻tの速度v^(t)及び加速度a^(t)を計算する。

v^(t)=(y^(t+Δt)-y^(t-Δt))/(2Δt)
a^(t)= (v^(t+Δt)-y^(v-Δt))/(2Δt)
Δtは前述のように単位処理時間である。y^(t+Δt)は時刻t+Δtにおける操作対象物の位置であり、y^(t-Δt)は時刻t-Δtにおける操作対象物の位置である。v^(t+Δt)は時刻t+Δtにおける操作対象物の速度であり、v^(t-Δt)は時刻t-Δtにおける操作対象物の速度である。

このようにv^(t)及び加速度a^(t)を定義すると、運動情報計算部２は、y^(t+ΔT)が更新されたタイミングで、速度v^(t)については時刻t+ΔT-Δtまでの各時刻tの速度v^(t)を、加速度a^(t)については時刻t+ΔT-2Δtまでの各時刻tの加速度a^（t）を得ることができる。

例えば、運動情報計算部２は、このようにy^(t),v^(t),a^(t)の系列を計算し、運動情報として抵抗感計算部３に提供する。

＜ステップＳ３＞
抵抗感計算部３は、運動情報に基づいて、操作対象物の抵抗感を計算する（ステップＳ３）。計算された抵抗感は、映像調整部４に提供される。

ここで、操作対象物の抵抗感は、その操作対象物の進行方向に向かう加速度が大きいほど大きな絶対値を持つ指標である。

抵抗感計算部３は、例えば以下の式（１）により定義される、各時刻tの抵抗感F^(t)を計算する。

F^(t)=A^(t)sgn{V^(t+ΔT)} …（１）
A^(t)={a^(t)・δ(t)}/|δ(t)|
V^(t+Δt)={v^(t+ΔT)・δ(t)}/|δ(t)|
δ(t)=y^(t+ΔT)-y^(t)

ここで、・はベクトルの内積を表し、aを実数として|a|はaの絶対値を表すとする。sgnは引数の符号を+,-,0の何れかで返す符号関数である。δ(t)=y^(t+ΔT)-y^(t)を変位と呼ぶことにすると、A^(t)は加速度a^(t)の変位方向の成分であり、V^(t+Δt)は速度v^(t+ΔT)の変位方向の成分である。なお、v^(t+ΔT)が得られていない場合には、最も近い時刻のv^、例えばv^(t+ΔT-Δt)をv^(t+ΔT)の代わりに用いる。

操作対象物が２次元運動をしている場合のδ(t),a^(t),A^(t),v^(t+ΔT),V^(t+Δt),F^(t)の関係の例を図４に示す。なお、図４においては、F^(t)のベクトルについてのみ変位δ(t)の逆方向を正として描いており、他のベクトルについては変位δ(t)の方向を正として描いている。

また、抵抗感計算部３は、例えば以下の式により定義される、各時刻tの抵抗感F^(t)を計算してもよい。この式は、速度方向が急激に変わらないという仮定のもとで式（１）のF^(t)を近似的に計算するものである。

F^(t)= {a^(t)・v^(t)}/|v^(t)|
変位δ(t)及び時刻tにおける操作対象物v^(t)の速度はいずれも、操作対象物の進行方向である。したがって、例えばこのようにして定義される抵抗感はいずれも、操作対象物の進行方向（δ(t),v^(t)）に向かう加速度が大きいほど大きな絶対値を持つ指標といえる。

また、デバイスのリフレッシュレートなどの問題で操作映像の加速度や速度を精密に計測することが困難な場合には、運動情報より、操作映像が静止状態から移動し始めたタイミングや、移動方向を急な角度で転換したタイミングを検出し、そのタイミングでのみ抵抗感F^(t)が正の値を持つという仮定をしてもよい。

例えば、抵抗感計算部３は、このように抵抗感F^(t)の系列を計算し、映像調整部４に提供する。

＜ステップＳ４＞
映像調整部４は、抵抗感が大きくなるときに操作対象物を目立たなくするように映像に調整を加える（ステップＳ４）。調整された映像についての情報は表示部５に提供される。

映像調整部４は、例えば抵抗感が所定の閾値F_limよりも大きい場合に操作対象物を目立たなくする。所定の閾値は、好ましい結果が得られるように静的又は動的に適宜決定される。

また、映像調整部４は、抵抗感の極大値を含む所定の時間区間において操作対象物を目立たなくしてもよい。所定の時間区間は、好ましい結果が得られるように静的又は動的に適宜決定される。所定の時間区間は、例えば50msから300msの時間区間である。

また、映像調整部４は、抵抗感が大きいほど、操作対象物を目立たなくしてもよい。この場合、ある抵抗感に対して、その操作対象物を後述する方法によってどの程度目立たなくするかという加減は好ましい結果が得られるように静的又は動的に適宜決定される。

また、操作映像が静止状態から移動し始めたタイミングや、移動方向を急な角度で転換したタイミングを検出し、そのタイミングでのみ抵抗感が正の値を持つと仮定した場合には、その検出したタイミングを含む所定の時間区間において操作対象物を目立たなくする。所定の時間区間は、好ましい結果が得られるように静的又は動的に適宜決定される。所定の時間区間は、例えば50msから300msの時間区間である。

映像調整部４は、操作対象物を目立たなくするために、例えば操作対象物の透過度を上げる。また、映像調整部４は、背景に対する操作対象物のコントラストを下げることにより、操作対象物を目立たなくしてもよい。操作対象物のみの透過度及び／又はコントラストを調整することにより、操作への悪影響を小さくしつつ抵抗感を軽減することができる。

さらに、映像調整部４は、操作対象物を含む映像の一部又は全部を消す又は薄くすることにより、操作対象物を目立たなくしてもよい。操作対象物が遠隔操作の対象となるロボットであり、このロボットである操作対象物のみの透過度やコントラストを調整することは難しい場合には、この方法が有効である。また、この方法は、先の述べた方法と比較すると、得られる抵抗感の軽減の効果は大きい。

これらは、操作対象物を目立たなくする一例であり、他の方法により操作対象物を目立たなくしてもよい。

＜ステップＳ５＞
表示部５は、調整された映像についての情報に基づく映像を表示する（ステップＳ５）。表示部５は、ディスプレイ、プロジェクタースクリーン等の表示装置である。

このように、抵抗感が大きいほど操作対象物を目立たなくすることにより、抵抗感を軽減することができる。また、抵抗感が大きいほど操作対象物を目立たなくする処理は、既にあるソフトウェアに対して最小限の改良を加えるだけで比較的容易に実装できる。このため、従来よりも負担が小さい実装で、抵抗感を軽減することができる。

なお、表示信号生成部７は、操作信号s(t)に基づいて操作対象物の表示信号を生成する処理を行う。生成された表示信号は、映像調整部４を介して表示部５に提供される。遅延が生じていない通常時は、映像調整部４による調整は行われずに、表示信号生成部７により生成された表示信号がそのまま表示部５に提供される。遅延が生じている場合には、上記のように映像調整部４により調整された表示信号が表示部５に提供される。

［理論的背景］
発明者は、第一に、操作対象物の抵抗感は、その操作対象物が進行方向に向かって動かないときに強いのではなく、その操作対象物の進行方向に向かう加速度が大きいほど強いことを見出した。

そのような抵抗感が生じる理由は、以下に記載する遅延感覚のバネ-マス-ダンパ仮説によって説明することができる。この仮説では、人の脳が、遅延して動作する操作対象を、バネとダンパで手先につながっている重り（このような系をバネ-マス-ダンパ系と呼ぶ）として解釈していると仮定する。このような解釈の下では、操作対象物の加速度は、ニュートンの運動方程式によると、重りである操作対象物にかかっている力と相関し、その力は、作用反作用の法則によると、重りが操作者の手先に加えている力と等しいことになる。人の脳が、この仮想的なバネ-マス-ダンパ系の手先に加える力を操作対象の動きから計算し、それを映像遅延時の抵抗感として感じていると考えると、その感覚の強度が加速度に相関することが説明できる。

このような理論的背景の下で、この発明は、操作対象物の抵抗感の強度を、この仮想的なバネ-マス-ダンパ系が手先に加える力の大きさとして、例えば式（１）)により定義し、このように定義される抵抗感が大きくなると予測されるタイミングで、その抵抗感の要因となっている操作対象の映像を目立たなくすることにより、抵抗感を軽減するのである。

［具体例］
図５に示すように、タブレットデバイスにおいて、スタイラスペンを用いて画面上のカーソルを静止状態から一定距離右へ移動させる状況を想定する。このとき、カーソルの動作が液晶の遅れなどにより遅延していると、抵抗感が生じる。そこで、図５に示すように、カーソルを瞬間的に半透明にすることで抵抗感を軽減することができる。

図６に、この抵抗感を軽減するための本発明による処理の具体例を示す。この具体例では、まず、スタイラスペンの位置情報から、（１）カーソルの軌道y^(t)を予測する。続いて、その軌道を微分して、（２）カーソルの速度v^(t)を予測する。さらにはその速度v^(t)を微分して、（３）カーソルの加速度a^(t)を予測する。（１）から（３）の処理は、運動情報計算部２により行われる。

そして、このカーソルの速度v^(t)と加速度a^(t)の予測値に基づいて、式（１）に従って，ΔＴだけ先の時刻までの（４）操作抵抗感F^(t)の予測値を導出する。（４）の処理は、抵抗感計算部３により行われる。

この予測された範囲で操作抵抗感が予め設定した閾値F_limを超える時間帯があれば、（５）その時間区間を映像調節する時間として決定する。あとは、（６）この決定した時間にカーソルの映像を透明化する。（５）及び（６）の処理は、映像調整部４により行われる。

［実験例］
ペンタブレットを操作部１とし、プロジェクタースクリーンを表示部５とする図６の実験装置を利用して、本発明の例の有効性を確認する実験を行った。

被験者は椅子に座り、正面のテーブルに置かれたペンタブレットを操作して、スクリーン上のカーソルを左から右へ一定距離移動させる運動を行った。ただし、スクリーンはタブレットデバイスの上に水平に設置しているので、被験者は自分の手やペンをみることができず、ペン先の位置に表示されたカーソルだけをみることができた。また、運動時間のばらつきをおさえるため、運動の開始と終了のビープ音を提示した。

ここで、カーソルの動作を手の運動に対して150ms遅延させると、強い抵抗感が生じた。そこで、カーソルの映像を様々なタイミングで100msだけ非表示とし、その際の抵抗感を調べることで、どのタイミングのカーソル動作が強い抵抗感を生じているのかを調べた。実験では、カーソルの消えるタイミングが異なる下記の５条件を用意し、各条件が基準条件（条件３）と比較してより大きな操作抵抗感を生ずる確率を計測した。ただし、条件３との比較は、各条件16回、ランダムな順序で行った。

条件１：運動開始時刻を基準として17〜117msの期間だけカーソルが非表示になる。
条件２：運動開始時刻を基準として100〜200msの期間だけカーソルが非表示になる。
条件３：運動開始時刻を基準として200〜300msの期間だけカーソルが非表示になる。
条件４：運動開始時刻を基準として300〜400msの期間だけカーソルが非表示になる。
条件５：運動開始時刻を基準として400〜500msの期間だけカーソルが非表示になる。

図８に、各条件におけるカーソルの位置と加速度の時間変化を示す。データがとぎれている部分はカーソルが非表示になっていることを示している。

また、実験結果を図９から図１１に示す。図９は、各条件における基準条件と比較して抵抗感がより大きいと回答した確率を示す。図１０は、各条件について、カーソルの加速度を運動開始後0-700msの区間で平均した値を示す。ただし、加速度の計算にあたって、カーソルが隠れている期間の値は除外した。図１１は、抵抗感の回答率とカーソルの加速度の時間平均との関係をプロットしたものである。抵抗感の回答率とカーソルの加速度の時間平均との間には有意な相関があった(p<0.02)。この結果は、遅延したカーソル動作が生じる抵抗感がカーソルの進行方向への加速度に比例することを意味しており、式（１）の妥当性を示している。

［変形例等］
操作抵抗感軽減装置は、運動情報の計算に必要なシステム関数M^(s)及びシステム遅延ΔTが設計の時点で決定できない場合には、これらを動的に推定するシステム推定部６を備えていてもよい。

システム推定部６は、運動情報の計算に必要なシステム関数M^(s)及びシステム遅延ΔTが設計の時点で決定できない場合に、これらを動的に推定する。M^(s),ΔTの両方が未知の場合は、M^(s)のパラメータとΔTを未知数とするモデルを仮定し、s(t),y(t)の系列を最もよく近似する値をそれぞれの推定値とする。M^(s),ΔTの一方の変数のみが未知である場合は、その変数を未知数としてモデルを仮定し、同様にs(t),y(t)の系列を最もよく近似する値を推定値とする。システム推定部６はこのようにして計算したシステム関数M^(s)及びシステム遅延ΔTを運動情報計算部２に提供する。

上記の例では、運動情報計算部２は、システム関数M^(s)を用いて、操作対象物の位置y^(t)を計算したが、操作信号s(t)が位置情報x^(t)そのものである場合には、システム関数M^(s)を用いずに、位置情報x^(t)であるs(t)をそのままy^(t+ΔT)とすればよい。

操作抵抗感軽減装置は、操作部１、表示部５及び表示信号生成部７を備えていなくてもよい。言い換えれば、操作抵抗感軽減装置は、運動情報計算部２、抵抗感計算部３及び映像調整部４を備えていればよい。

多くの場合、既存のＰＣ等のコンピュータは、操作部１、表示部５及び表示信号生成部７を備えている。この場合、このような既存のＰＣ等のコンピュータに、運動情報計算部２、抵抗感計算部３及び映像調整部４を備えた操作抵抗感軽減装置を設けるという比較的容易な手段により、抵抗感を軽減することができる。

操作抵抗感軽減装置は、コンピュータによって実現することができる。この場合、この装置の各部の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、この装置における各部がコンピュータ上で実現される。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、これらの装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

この発明は、上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。

１ 操作部
２ 運動情報計算部
３ 抵抗感計算部
４ 映像調整部
５ 表示部
６ システム推定部
７ 表示信号生成部

Claims (10)

1. 操作対象物を操作するための信号であって、操作者の操作に基づいて生成された操作信号に基づいて、上記操作者の操作に対して遅れて表示される操作対象物の速度及び加速度を含む運動情報を計算する運動情報計算部と、
   操作対象物の抵抗感を、その操作対象物の進行方向に向かう加速度が大きいほど大きな絶対値を持つ指標として、上記運動情報に基づいて、上記操作対象物の抵抗感を計算する抵抗感計算部と、
   上記抵抗感が大きくなるときに上記操作対象物を目立たなくする映像調整部と、
   を含む操作抵抗感軽減装置。
2. 請求項１の操作抵抗感軽減装置であって、
   上記映像調整部は、上記抵抗感が所定の閾値よりも大きい場合に上記操作対象物を目立たなくする、
   操作抵抗感軽減装置。
3. 請求項１の操作抵抗感軽減装置であって、
   上記映像調整部は、上記抵抗感の極大値を含む所定の時間区間において上記操作対象物を目立たなくする、
   操作抵抗感軽減装置。
4. 請求項１の操作抵抗感軽減装置であって、
   上記映像調整部は、上記抵抗感が大きいほど上記操作対象物を目立たなくする、
   操作抵抗感軽減装置。
5. 請求項１から４の何れかの操作抵抗感軽減装置であって、
   上記映像調整部は、上記操作対象物の透過度を上げることにより上記操作対象物を目立たなくする、
   操作抵抗感軽減装置。
6. 請求項１から４の何れかの操作抵抗感軽減装置であって、
   上記映像調整部は、上記操作対象物の映像の背景映像に対するコントラストを下げることにより上記操作対象物を目立たなくする、
   操作抵抗感軽減装置。
7. 操作者の操作に対応して画面上を移動する操作対象物の映像を表示する表示部と、
   上記操作者の操作に対して遅れて上記表示部に表示される操作対象物の加速度が大きくなるときに、上記表示部に表示される操作対象物を目立たなくする映像調整部と、
   を含む操作抵抗感軽減装置。
8. 運動情報計算部が、操作者の操作に基づいて生成された操作対象物を操作するための操作信号に基づいて、上記操作者の操作に対して遅れて表示される操作対象物の速度及び加速度を含む運動情報を計算する運動情報計算ステップと、
   抵抗感計算部が、操作対象物の抵抗感を、その操作対象物の進行方向に向かう加速度が大きいほど大きな絶対値を持つ指標として、上記運動情報に基づいて、上記操作対象物の抵抗感を計算する抵抗感計算ステップと、
   映像調整部が、上記抵抗感が大きくなるときに上記操作対象物を目立たなくする映像調整ステップと、
   を含む操作抵抗感軽減方法。
9. 請求項１から７の何れかに記載された操作抵抗感軽減装置の各部としてコンピュータを機能させるための操作抵抗感軽減プログラム。
10. 請求項１から７の何れかに記載された操作抵抗感軽減装置の各部としてコンピュータを機能させるための操作抵抗感軽減プログラムを記録したコンピュータ読み取り可能な記録媒体。