JPWO2013161662A1 - 動きガイド提示方法、そのシステム及び動きガイド提示装置 - Google Patents

Abstract

動きガイド表示装置は、頭部に装着可能な、画像を表示する画像表示デバイス（１１）と、一人称視点で自己の画像を撮像するカメラ（１３）と、追従対象となる一人称視点の参照画像と自己の画像とを、融合感を生起する条件で交互に前記表示部に時分割表示する画像表示処理部（２１２）と、融合感を生起する条件としての周期（周波数）と自他比率の範囲内で画像表示処理部（２１２）を動作させる表示態様設定部（２１３）とを備える。これにより、参照画像との間で融合感を生起させて、自発的な運動追従の継続を支援する。

Description

本発明は、提示部材に追従対象となる参照画像と自己の像とを共に一人称視点で提示し、自己に追従対象に追従する動きをガイドする技術に関する。

身体運動の視覚的なガイダンスを実現する装置としてビデオシースルーヘッドマウンテッドディスプレイ（VST-HMD）が知られている。VST-HMDは、典型的には一人称視点の映像を頭部に装着した表示面に表示するもので、表示画面内で視野を共有する二者間において、互いに協調的な身体運動を行うような場合、身体運動の学習や強調のために、手本となる他者と自己の一人称視点映像を同時に合成して提示する手法が利用されてきた（非特許文献１）。また、非特許文献２は、熟練者側のガイダンス映像としてボーンアニメーションを利用するもので、このボーンアニメーションを一人称視点映像に置換して自己の視点画像と共有化して合成表示させる画像処理技術が開示されている。

前田太郎：第７章、身体性情報応用技術、電子情報通信学会（編）、ブレインコミュニケーション−脳と社会の通信手段、電子情報通信学会、2011 西野友康ら：熟練者と学習者の視点を統合するスキル動作提示手法の提案、情報処理学会シンポジウム論文集 P.303−306、2011

身体運動を他者の動きに追従させるためには、視野内に提示される他者と自己の２つの身体部位の各対応点間の位置誤差を認識して、この位置誤差を小さくする方向に運動を継続すること、すなわち追従動作を行うことが必要である。しかしながら、殆ど重なり合った状態での、例えば十指の動きに対する追従の場合のように対応点が複雑に入り込んでいる状態では、自己と他者の２つの視点映像の間で注意を行き来させながら追従作業をしなければならないが、前記の各対応点間の位置誤差を認識すること自体の負荷が高くなりすぎて、追従作業が困難になり、協調して作業を行っている没入感が欠落する場合が多いという問題があった。

本発明は、互いに一人称視点の自己の像と参照画像とを所定の周期、比率で交互に時分割提示することで追従精度の高いガイダンスを実現する技術を提案するものである。

本発明に係る動きガイド提示方法は、提示部材に追従対象となる参照画像を提示すると共に自己の像を提示して前記参照画像の動きへの追従をガイドする動きガイド提示方法において、前記参照画像と前記自己の像とを共に一人称視点で、かつ提示部材に所定の条件で交互に時分割提示し、前記所定の条件として前記時分割提示の周波数及び前記自己の像と前記参照画像との提示時間の比率が設定されていることを特徴とするものである。

また、本発明に係る動きガイド提示装置は、追従対象となる参照画像と前記自己の像とを共に一人称視点で提示する共通の提示部材と、前記提示部材に前記参照画像と前記自己の像とを所定の条件で交互に時分割提示する提示処理手段と、前記所定の条件としての前記時分割提示の周波数及び前記自己の像と前記参照画像との提示時間の比率にて前記提示処理手段を動作させる提示態様設定手段とを備えたものである。

これらの発明によれば、自己の一人称視点の像と追従対象である一人称視点の参照画像とが共通する提示部材に交互に時分割提示される。時分割提示は、所定の周期かつ所定の比率の元で行われ、これによって、視野合成法や視野交換法に比して、追従性においてより高い精度が得られることになる。なお、追従性には、追従位置誤差、追従速度誤差を低減することが含まれる。そして、参照画像である他者（録画画像の場合、他者の他、自己のものを含む）と自己の二者間において互いに協調的な身体運動を行うような場合に、参照画像と自己の像とを前記所定の条件で切り替えることによって自己の運動の随意性が失われず、かつ自然と他者と運動が揃ってしまうという、すなわち視野中に逐次的に提示される二者の身体部位が融合して一つの自分の身体部位であると錯覚させられること（融合感の生起）が可能となる。その結果、意図的に行うことが困難であった多数対応点の同時マッチングを、意図せずとも実行させることとなり、行動者の認知負荷を低減しつつ自発的な運動追従を継続することができる。また、参照画像が指示者等の動きであるような場合、例えば高いスキルを持ったベテランや指示者等の動きを、例えば現場の作業者に伝送し、高い精度で追従させることが容易となる。なお、双方が参照画像となりながら、かつ追従するといった協調関係を持った態様にも適用可能となる。

また、本発明に係る動きガイド提示システムは、前記動きガイド提示装置として第１、第２の動きガイド提示装置を備え、前記第１、第２の動きガイド提示装置間で、互いに撮像した画像の送受信を行う通信部を備えてなるものである。この構成によれば、リアルタイムで融合感が生起され、自然な追従への誘導が容易となる、高い有用性を持つ遠隔協調支援システムが提供できる。また、双方の撮像画像を参照画像として、双方が追従するといった協調関係を持った態様にも適用可能となる。

本発明によれば、参照画像との間で融合感が生起されて、自発的な運動追従の継続を支援することができる。

動きガイド表示装置の表示部の一実施形態の概略構成を説明する図である。 動きガイド表示システムの一実施形態の概略構成を説明する図である。 動きガイド表示装置における機能ブロックの一実施形態を示す構成図である。 表示モードの種類を説明するための図で、（Ａ）は視野合成法、（Ｂ）は視野交換法を示す画面図である。 指を繰り返し開閉する動きに対する追従性を、表示モード間において評価する実験の結果を説明する図表で、（Ａ）〜（Ｃ）は、位置に対する追従性を評価した図表で、（Ｄ）〜（Ｆ）は、速度に対する追従性を評価した図表である。 手を繰り返し左右に往復動する動きに対する追従性を評価す実験の内容を説明する図である。 時分割法における画像の切替を説明する図である。 実験した設定パラメータを示す図である。 制御部によって実行される実験時表示処理の一例を説明するフローチャートである。 制御部によって実行される時分割切替表示処理の一例を説明するフローチャートである。 解析部によって実行される解析処理の一例を説明するフローチャートである。 実験から得られた融合感の生起の有無を示す一部拡大図である。 周期をパラメータとした場合の実験の解析結果を説明する図表で、（Ａ）、（Ｃ）は、追従位置誤差についての親指と中指のデータを示す図表であり、（Ｂ）、（Ｄ）は、追従速度誤差についての親指と中指のデータを示す図表である。 比率をパラメータとした場合の実験の解析結果を説明する図表で、（Ａ）、（Ｃ）は、追従位置誤差についての親指と中指のデータを示す図表であり、（Ｂ）、（Ｄ）は、追従位置誤差についての親指と中指のデータを示す図表である。 上肢を左右に振る実験における各種の視野提示条件を説明する図で、（Ａ）は自己視野法、（Ｂ）は視野交換法、（Ｃ）は視野合成法、（Ｄ）は視野時分割法の表示モードである。 各視野提示条件下での自他融合感の生起の有無に関する評価を示した図表である。 実験ＩＶの内容及び結果を説明する図で、（Ａ）は、ある被験者の実験結果を示す図、（Ｂ）は、ＨＭＤ１の画面の表示内容を示す図である。 実験ＩＶにおける到達運動の推定された開始位置のヒストグラムを示す図表で、（Ａ），（Ｂ）は、いずれも（ｄ）視野時分割提示を含み、他の表示モードとの関係を判りやすくするべく、振り分けて示したものである。 推定された到達運動開始位置を表示モード別に平均した図で、（Ａ）は、ＨＭＤ１の画面上への各表示モードの平均位置と標準偏差の状態を示し、（Ｂ）は、横軸に表示モードを、縦軸に視覚指標（Ｔ）からのｘ方向偏位を示している。 実験ＩＶにおける視覚情報の４秒間表示を各表示モードで行わせたときの、推定到達運動開始位置の視覚指標（Ｔ）からのｘ方向のずれを示すヒートチャート図である。 各視野提示条件の到達運動開始点と到達点とのずれデータをもとに、MATLABのgriddata 関数を用い、二次元のキュービック補間を施したヒートチャート図、及び所定の測定位置で得られた到達運動開始点のヒストグラムを示す図である。 内観報告による融合感と到達運動開始位置の偏位との関連を説明する図で、（Ａ）は内観報告による融合感の生起範囲（α）を示しており、図１２に相当する図、（Ｂ）は到達運動開始位置の偏位を示しており、図２１のヒートチャート図に相当する図である。 時間パラメータによる仮現運動知覚の知覚割合[％]を示すヒートチャート図で、横軸は自己視野提示時間、縦軸は他者視野提示時間を示している。 視野時分割提示の３条件と解析の結果得られた追従ゲインとの関係を示す図で、（Ａ）は、周期４００ミリ秒かつ自他視野提示時間比率１：２の場合、（Ｂ）は、周期４００ミリ秒かつ自他視野提示時間比率１：１の場合、（Ｃ）は、周期４００ミリ秒かつ自他視野提示時間比率２：１の場合である。 視野時分割提示における自他融合感生起の特性、及び他者追従精度特性を示す図である。 各表示モードにおいて、他者運動追従実験における躊躇（運動の停止）の持続時間と生起頻度との関係を示す図である。 各表示モードにおける五本指のランダム屈伸運動の追従誤差を示す図表で、（Ａ）は位置ＲＭＳＥを示し、（Ｂ）は速度ＲＭＳＥを示している。 時間パラメータによる追従位置誤差を示すヒートマップ図である。 時間パラメータによる追従速度誤差を示すヒートマップ図である。

図１は、動きガイド表示装置の表示部の一実施形態の概略構成を説明する図、図２は、動きガイド表示システムの一実施形態の概略構成を説明する図、図３は、動きガイド表示装置における機能ブロックの一実施形態を示す構成図である。

動きガイド表示装置は、表示部としての、典型的には頭部に装着され、眼の前に画像を提示するビデオシースルーヘッドマウンテッドディスプレイ（以下、ＶＳＴ−ＨＭＤという）１と、ＶＳＴ−ＨＭＤ１との間で授受する情報の処理を行う処理装置２とを備えている。ＶＳＴ−ＨＭＤ１は、左右の眼前に配置される枠体１０（図２参照）を備え、この枠体１０に、図１に示すような、画像を表示する画像表示デバイス１１、光学系である例えばミラー１２及び撮像手段としてのカメラ１３とが設けられている。また、枠体１０の適所には、ＶＳＴ−ＨＭＤ１を装着した者の視線の動きを等価的にカメラ１３の動きとして検出する動き検出部１４を備えている。なお、図１，２では省略しているが、枠体１０には、装着者の頭部に当該枠体１０を固定的乃至は安定的に装着する締結部材、例えばベルトが取り付けられている。

画像表示デバイス１１は、枠体１０を頭部に装着した状態で左右それぞれの眼に対向して表示面が位置するように枠体１０に取り付けられている。画像表示デバイス１１の前面側にはミラー１２及びカメラ１３が取り付けられている。画像表示デバイス１１は、液晶表示パネル、有機ＥＬ表示パネル又はプラズマディスプレイ等が採用可能である。図１に示す軸Ｌは、画像表示デバイス１１の表示面の法線方向を示している。画像表示デバイス１１には、後述するように、カメラ１３で撮像した自己側の画像が表示され、あるいは外部装置から受信した他の画像が表示される。

ミラー１２は、図１に示すように、軸Ｌに対して傾斜して配置され、前面側（図１の左方）が鏡面１２０とされている。カメラ１３はミラー１２の鏡面１２０に視野が向けられた姿勢で枠体１０に固定されている。カメラ１３は、カメラの光軸がミラー１２の鏡面１２０によって屈折させられて前方に向けられることで画像表示デバイス１１の表示面の法線である軸Ｌと一致するようにしている。このように、画像表示デバイス１１の表示面の軸Ｌとカメラ１３の光軸とを一致させることで、画像表示デバイス１１に一人称視点からの撮像画像を表示することを可能にしている。なお、一人称視点とは、概ね自己の眼から観察できた景色と同じ様な画像を撮像できるカメラ位置をいう。また、カメラ１３はミラー１２との距離を調整することで、好ましくは画像表示デバイス１１の表示面と光学的に共役となる位置に配置されている。これにより、ＶＳＴ−ＨＭＤ１を装着した者の眼から見えるであろう景色と同一の画像が画像表示デバイス１１に表示されることとなる。なお、ミラー１２はプリズムやレンズ等の光学系であってもよい。

また、本実施形態では、動きガイド表示装置の表示部として、画像表示デバイス１１、ミラー１２及びカメラ１３を備え、自己の身体部位（例えば手首）をカメラ１３で撮像し、撮像した画像を画像表示デバイス１１に表示する態様としているが、表示部の構造は、図１の態様に限定されず、後述するような種々の構造が採用可能であり、例えば自己の身体部位を光学的な像として提示する態様（同様に後述する光学シースルーＨＭＤ）を含めてもよい。従って、本発明における提示部材とは、カメラで撮像された画像を表示する態様と光学的な像を提示する態様とを包括したものをいい、一方、図１の実施形態は、カメラ１３付きＶＳＴ−ＨＭＤ１を表示部として採用している。

図３において、動き検出部１４は、カメラ１３の位置姿勢を継続的に検出するものである。なお、位置姿勢とは、装着者のいる空間上の座標と向き（カメラ１３の視点と視線）をいう。なお、カメラ１３で撮像された画像のみを画像表示デバイス１１に表示する場合にはカメラ１３の位置姿勢データは特に必要ではないが、撮像された画像内に他者の画像も表示する場合などには、検出されたカメラ１３の位置姿勢データが利用され、これによって自己と他者の視線を合わせることなどが可能となる。動き検出部１４は、公知のものが採用可能であり、適所に配置された図略の磁気発生器からの３軸の軸毎に対応して発生される磁気信号をそれぞれ検出することで、３次元位置と向きとを検出する。あるいは、３次元の加速度センサを採用してもよいし、さらに装着者を鳥瞰する高所等に監視カメラを配置し、この監視カメラの画像からカメラ１３の位置と向きとを検出するようにしてもよい。

処理装置２は、ＣＰＵ（Central Processing Unit）で構成される制御部２１を備えている。制御部２１には、ＲＯＭ（Read Only Memory）２２、ＲＡＭ（Random Access Memory）２３、操作部２４及び通信部２５が接続されている。ＲＯＭ２２には、ＶＳＴ−ＨＭＤ１の動作を制御するプログラム、ＶＳＴ−ＨＭＤ１との間で授受する情報の処理を行うプログラム（以上、併せて制御プログラムという）、及び所与の各種のデータ類が記憶されている。ＲＡＭ２３は、処理途中のデータが一時的に記憶されるもので、また、後述する参照画像が記憶される参照画像記憶部２３１を有する。

操作部２４は、各種の指示を行うもので、例えば、処理装置２がパーソナルコンピュータで構成されている態様では、画面上のアイコンやボタン、またキーボードやマウス等が採用可能である。通信部２５は有線の他、無線式であってもよい。通信部２５は、図２に示すように、他者（Ｂ）が使用中の他の装着型画像表示装置のＶＳＴ−ＨＭＤ１（Ｂ）との間で、互いのカメラで撮像した画像情報の送受信を行うためのものである。

制御部２１は、ＲＯＭ２２に格納されている前記制御プログラムであって、動作時にＲＡＭ２３に読み出された制御プログラムがＣＰＵによって実行されることによって、カメラ１３（左カメラ１３Ｌ、右カメラ１３Ｒ）で撮像された画像を継続して（動画像として）取り込む画像取込処理部２１１、画像表示デバイス１１（左表示部１１Ｌ、右表示部１１Ｒ）に表示する画像データを作成する画像表示処理部２１２、画像表示処理部２１２に対して、設定された表示態様に従った態様で画像の作成を指示する表示態様設定部２１３、及び通信部２５を介して外部装置とデータの授受を行わせる通信処理部２１４として機能する。なお、左右用の表示ＲＡＭ１１１は、画像表示処理部２１２で作成された画像が書き込まれるもので、所定のフレーム周期（例えば６０Ｈｚ）で繰り返し読み出しを行うものである。

ところで、ＶＳＴ−ＨＭＤ１の適用例は、種々想定できる。一適用例として、図２に示すように、２台のＶＳＴ−ＨＭＤ１を互いに通信部２５を介して接続し、一方のＶＳＴ−ＨＭＤ１（Ａ）を自己（Ａ）である作業者側とし、他方のＶＳＴ−ＨＭＤ１（Ｂ）を他者（Ｂ）である指示者側として、他者（Ｂ）のカメラ１３で撮像された画像を自己（Ａ）の画像表示デバイス１１に表示して、指示者の動きに追従する（真似たり、習得したりする）ものが考えられる。この場合に、自己（Ａ）側のＶＳＴ−ＨＭＤ１（Ａ）に自己（Ａ）のカメラ１３で撮像された画像と、他者（Ｂ）のカメラ１３で撮像された画像とをどのような態様で表示するかを工夫することで、より追従性の高いガイダンス方法を見いだすことが考えられる。そこで、表示態様について種々の比較検証実験を行った。表示態様は、表示モードの違いによる表示態様と、所定の１つの表示モードにおける表示周期（周波数）及び自他視野画像の表示時間比率（周期、比率のパラメータという）の違いによる表示態様とを含み、それぞれについて実験を試みた。

＜実験Ｉ＞
まず、表示モードについて説明する。

図４は、表示モードの種類を説明するための図で、図４（Ａ）は被験者である自己のカメラで撮像した画像と他者のカメラで撮像した画像とを合成する視野合成法を示した図、図４（Ｂ）は他者のカメラで撮像された画像のみを表示する視野交換法を示した図である。なお、実験では、さらに自己のカメラで撮像した画像と他者のカメラで撮像した画像とを時分割で交互に切り替えて表示する視野時分割法（図７参照）も含めている。すなわち、ここでは、視野合成法、視野交換法及び視野時分割法を実験対象の表示モードの種類として選定した。

実験は、他者（Ｂ）による指の開閉動作の繰り返し画像を、視野合成法、視野交換法、視野時分割法の各表示モードで、それぞれ自己（Ａ）のＶＳＴ−ＨＭＤ１（Ａ）の画像表示デバイス１１に表示し、自己（Ａ）が、この画像表示デバイス１１に表示された画像を見ながら、その動作を真似るようにしたものである。なお、他者（Ｂ）の画像は予め録画され、参照画像記憶部２３１に記憶された画像を用いている。また、表示態様設定部２１３は、この表示モードに対する実験に際しては、表示モードの切替を設定するものとして機能する。なお、視野時分割法では、所定の周期及び自他比率の下で、二者の画像の切替が行われるもので、実験は、周期が３００ｍｓ（３．３Ｈｚ）、自他比率が１対３の条件で行われた。

図３において、解析装置３は解析部３１と結果出力部３２とを備えている。解析部３１は、種々の方法で解析が可能である。本実施形態では、解析部３１は、自己（Ａ）の指の開閉の動作をカメラ１３で撮像した画像と参照画像の指の開閉の動きとを解析し、解析結果から両者の指の開閉の動きの比較、すなわち追従性を評価（図５（Ａ）〜（Ｆ）参照）するようにしている。

まず、解析部３１による動きの解析方法の一例について説明する。カメラ１３で撮像された画像中から、背景領域の画像を削除するべく輝度方向に所定の閾値を設定して指画像のみを抽出する。例えば指部位に光を当てるなどすれば所要の照度差が得られる。次いで、抽出された指画像のピクセル数を算出し、そのピクセル数と実空間距離との対応をとって、画像内の移動分から実空間での（実際の）移動量を算定する。なお、実空間距離の算出方法として、長さが既知の物差しをカメラ１３で撮像される背景画像内に配置し、物差し画像の長さ方向のピクセル数との対応で換算する方法を採用してもよい。

自己画像及び参照画像に対して、指の移動量を所定時間毎に、例えば１６．７ｍｓ（１／６０Ｈｚ）毎に又はそれ以下で算出し、さらに速度を算出する。なお、ここでは移動量は、所定の位置を基準点としたときの位置の情報として算出される。なお、移動量及び速度の算出は自動的である必要はない。そして、算出された移動量及び速度について、参照動作に対する自己動作の追従性を評価する要素を求めた。評価要素は、ここでは、追従の時間遅れ、追従の振幅比、追従誤差を採用している。

図５は、指を繰り返し開閉する動きに対する追従性を、表示モード間において評価する実験の結果を説明した図表である。図５（Ａ）〜（Ｃ）は、位置に対する追従性を評価したもので、図５（Ｄ）〜（Ｆ）は、速度に対する追従性を評価したもので、いずれも上から順に、追従の時間遅れ、追従の振幅比、追従誤差である。なお、各図の横軸は、いずれも左側から、視野合成法、視野交換法、視野時分割法である。また、図５（Ａ）、（Ｄ）の縦軸はスケールの最大値が０．５秒であり、図５（Ｂ）、（Ｅ）の縦軸はスケールの最大値が０．８であり、図５（Ｃ）の縦軸はスケールの最大値が４．５ｃｍであり、図５（Ｆ）の縦軸はスケールの最大値が秒速１２ｃｍである。なお、図５（Ｃ）（Ｆ）の縦軸の「ＲＭＳＥ」はRoot Mean Square Errorであり、誤差の意味である。後述の図１３、図１４の縦軸も全て同様である。

図５より、位置及び速度に対する追従の時間遅れ（図５（Ａ）、（Ｄ））については視野交換法が優れている。しかしながら、追従動作で最も重要な要素である、位置に対する追従誤差（図５（Ｃ））については、視野時分割法が最小となる良好な特性を示している。また、視野時分割法は、その他の特性である、速度に対する追従誤差（図５（Ｆ））、位置及び速度に対する追従振幅比（図５（Ｂ）、（Ｅ））については、視野交換法にほぼ匹敵する特性を示している。これは、指の形状画像のマッチングを意識的に行う作業が、視野合成法の追従特性を大きく妨げていることと、一方で、そのマッチングが取れないことで視野交換法の位置精度が上がりきらないことを裏付けている。これに対し、視野時分割法は、かかる問題点を回避することに成功していると評価することができる。

すなわち、視野時分割法では、互いに協調的な身体運動を行う場合に、二者（他者（録画含む）と自己）の各一人称視点の画像を、自己の画像表示デバイス１１上で交互に切り替えることによって、自己運動の随意性が失われず、かつ自然と相手と運動が揃ってしまうような、運動の誘発がある。他者の運動の追従を行う場合に、視野中に逐次的に表示される二者の運動部位が融合して一つの自己の運動部位であると錯覚させる、いわゆる融合感をもたらす（生起させる）ことが可能となる。ここに、融合感とは、自分側の運動部位なのに勝手に動いているような、思った通りにも動くような、随意と不随意とが融合した印象をいう。すなわち、他人の運動部位には見えず、自分の運動部位以外のものには思えないという主観的な感覚をもたらすことである。この結果として、自己側では、追従誤差を明確に認識しない乃至はできないままの状態で追従できてしまうという意識下で多点対応付け及び追従の実行を達成するものと考えられる。これに対し、視野合成法では、二者の視野画像が同時に見えてしまい、多数の対応点のチェックを要するため、その分の負担が大きく、また運動の誘導というものはない。視野交換法も同様に運動の誘導というものはない。

＜実験ＩＩ＞
続いて、視野時分割法（以下、単に時分割法という）について、前記融合性及び追従精度の変化、その傾向を調べるため自他画像の時分割切替の周期（周波数）及び比率（パラメータ）を変えながら実験を行った。表示態様設定部２１３は、操作部２４からの指示を受けて、これらのパラメータ（周期（周波数）、比率）を設定するものである。

本実験では、参照画像は他者（Ｂ）が手首を左右に繰り返し往復させる動作の画像であり、参照画像記憶部２３１に記憶されている。参照画像における手首の左右への往復動の寸法、周期は適宜設定可能である。本例では往復動の寸法は約６．５ｃｍ×２であり、また、往復動の周期は約２Ｈｚとした。

図６は、手を繰り返し左右に往復させる動きに対する追従性を評価す実験の内容を説明する図である。被験者である自己（Ａ）は、ＶＳＴ−ＨＭＤ１を装着して背景となるテーブル上で、図中矢印で示すように手首を左右に振るという追従動作を行う。ＶＳＴ−ＨＭＤ１の画像表示デバイス１１には参照画像と自己（Ａ）の視野画像とが所定周期かつ比率で時分割表示されている。自己（Ａ）の運動部位の適所、図６では親指と中指にセンサが、ここでは磁気センサ１４１，１４２が装着されている。磁気センサ１４１，１４２は、動き検出部１４が検出媒体として磁気を利用する態様である場合に用いられる。磁気センサ１４１，１４２は、動き検出部１４によって３次元上の各軸に対応して順次生成された磁界によって誘起される電圧のレベルから、３次元空間上の位置と向きとを検出するものである。かかる動き検出部１４及び磁気センサ１４１，１４２によって、自己（Ａ）の親指と中指の位置と（本実験では必要に応じて）向きとが継続的に検出される。

実験は、本実施形態では６０Ｈｚのフレーム周期を有する画像表示デバイス１１であるため、周期も比率も、１６．７ｍｓ（１／６０Ｈｚ）の整数倍毎に設定されるが、表示デバイス１１のフレーム周期の仕様に応じて、適宜の周期、比率が設定可能である。なお、本実験では、周期をフレーム数で表現することも可能である。例えば、時間１６．７ｍｓ（１／６０Ｈｚ）は、１フレームと等価である。

図７は、時分割法における画像の切替を説明する図である。図７では、自己（Ａ）の画像（Ａ）の表示時間をＡフレーム数として表し、参照画像（Ｂ）の表示時間をＢフレーム数として表し、周期を（Ａ＋Ｂ）フレーム数として表している。

図８は、実験した設定パラメータを示す図である。本実験では、周期は、図８に（１）〜（５）で示すように、略１６０ｍｓ（１０フレーム）、略３３０ｍｓ（２０フレーム）、５００ｍｓ（３０フレーム）、略６６０ｍｓ（４０フレーム）、略８３０ｍｓ（５０フレーム）とし、１０フレーム毎に設定した。かつ、１０フレーム毎の線上（すなわち比率の方向）に複数の実験ポイントをプロットで示している。

また、比率は、図８に（６）〜（１０）で示すように、自他比率として、１対３、１対２、１対１、２対１、３対１とあり、さらに、１０フレーム毎の線上以外の何点かについて実験ポイントを加えた。上記において、（６）が１対３を示し、（７）が１対２を示し、（８）が１対１を示し、（９）が２対１を示し、（１０）が３対１を示す。

図９は、制御部２１によって実行される実験時表示処理の一例を説明するフローチャートである。被験者がＶＳＴ−ＨＭＤ１を装着した後、操作部２４を介して、周期と比率の組合せの内の最初のパラメータ設定が行われる（ステップＳ１）。次いで、参照画像が画像表示デバイス１１に読み出され（ステップＳ３）、設定された周期及び比率のパラメータに従って、被験者視野画像との間で時分割切替表示処理が行われる（ステップＳ５）。さらに、磁気センサ１４１，１４２による位動きデータ（位置情報）が検出され、記録される（ステップＳ７）。そして、所定の時間が経過し、あるいは被験者その他の指示を受けて終了が判断されると（ステップＳ９でＹｅｓ）、１つの組の設定パラメータについての実験が終了し、そうでなければ、リターンして実験が継続される。リターン処理は、少なくとも１フレームと同一周期かそれ以下のより早い周期で行われ、周期、比率の設定パラメータのタイミングで画面の切替処理が行われる。

また、他のパラメータが設定される毎に、図９のフローチャートが実行され、全ての組合せのパラメータに対して実験を行うことができる。

図１０は、制御部２１によって実行される時分割切替表示処理の一例を説明するフローチャートである。図１０は、他者の画像Ｂである参照画像が参照画像記憶部２３１に記憶された録画画像である場合には、他者の画像表示デバイスへの処理は不要となる。また、制御部２１が各頭部装着型画像表示装置に設けられ、個別に処理する態様でも同様に、他者の画像表示デバイスへの処理は不要となる。なお、両頭部装着型画像表示装置に対して統括的に１個の制御部で処理が行われるシステム態様でもよく、この場合には、図１０に示すように、自己、他者側に対する画像の表示切替処理が同期して行われることとなり、これにより二者間の協調性向上が期待できる。

この実施例では、パラメータ設定は、フレームの個数で行われている。まず、自己の画像Ａが自己の画像表示デバイス１１に読み出される（ステップＳ２１）。次いで、画像Ａの読み出しフレーム数のカウントが行われ、カウント値が設定フレーム数Ｎａに達したか否かが判断される（ステップＳ２３）。カウント値が設定フレーム数Ｎａに達していなければ、ステップＳ２１に戻る。逆に、カウント値が設定フレーム数Ｎａに達すると、自己の画像表示デバイス１１に空白の画像が読み出される（ステップＳ２５）。

次いで、空白画像の読み出しフレーム数のカウントが行われ、カウント値が設定フレーム数Ｎｉに達したか否かが判断される（ステップＳ２７）。カウント値が設定フレーム数Ｎｉに達していなければ、ステップＳ２５に戻る。逆に、カウント値が設定フレーム数Ｎｉに達すると、他者の画像Ｂが自己の画像表示デバイス１１に読み出される（ステップＳ２９）。次いで、画像Ｂの読み出しフレーム数のカウントが行われ、カウント値が設定フレーム数Ｎｂに達したか否かが判断される（ステップＳ３１）。カウント値が設定フレーム数Ｎｂに達していなければ、ステップＳ２９に戻る。逆に、カウント値が設定フレーム数Ｎｂに達すると、自己の画像表示デバイス１１に空白の画像が読み出される（ステップＳ３３）。そして、空白画像の読み出しフレーム数のカウントが行われ、カウント値が設定フレーム数Ｎｊに達したか否かが判断される（ステップＳ３５）。カウント値が設定フレーム数Ｎｊに達していなければ、ステップＳ３３に戻る。逆に、カウント値が設定フレーム数Ｎｊに達すると、ステップＳ２１にリターンする。なお、この表示終了は、例えば外部からの割込によって行われる。

なお、空白期間を設定するための値Ｎｉ、Ｎｊは通常、０に設定されるが、実験中においては、値Ｎｉ、Ｎｊを適宜設定することで、容易に周期、比率を微調整することもできる。

図１１は、解析部３１によって実行される解析処理の一例を説明するフローチャートである。全てのパラメータの組についての図９に示す実験の終了後、解析処理が実行される。解析処理は、親指と中指について、パラメータ毎に追従位置誤差と追従速度誤差とを算出する。すなわち、まず、パラメータの各組合せに対して、画像Ａ，Ｂが読み出されて、所定時間毎の位置情報が算出される（ステップＳ４１）。次いで、算出した所定時間毎の位置情報を用いて、画像Ａの画像Ｂに対する、所定時間毎の追従位置誤差と追従速度誤差とが算出される（ステップＳ４３）。算出情報は、図略の記憶部に、あるいは結果出力部３２に出力される（ステップＳ４５）。なお、実験はパラメータの各組合せについて４回ずつ行われており、それぞれ４回分の平均値が算出される。

パラメータの各組合せについて、被験者（自己Ａ）に対して融合性の生起の有無をアンケート形式で求め、定性的乃至は生理的な評価とした。図１２は、アンケート結果を受けたもので、実験から得られた融合感の生起の有無を示す一部拡大図である。図１２に示す複数の円マークは、それぞれのパラメータの設定位置を示している。符号Ｇ１が付された円マークは、融合感が生起されたと感じられたものである。また、符号Ｇ２が付された円マークは、融合感の有無で判断すれば、その境界辺りに有ると感じられたものである。なお、図１２には表されていないが、比率１対１の線上における、周波数が３．３Ｈｚと２Ｈｚとの間の複数の実験点についても融合感有無の境界に有ると感じられた結果が得られている。それ以外の円マークは、融合感の生起が感じられないとの回答によるものである。従って、図１２から、少なくとも融合感を感じられるとする範囲は、周波数（周期）が略５００ｍｓ〜略２５０ｍｓ（略２Ｈｚ〜略４Ｈｚ）であり、自他比率は１対１〜１対３であると認められる。

図１３、図１４は、実験から得られた追従性についての評価を示す図表で、図１３は、代表的な比率、例えば比率１対２において周期をパラメータとした場合の実験の解析結果を説明する図表、図１４は、代表的な周期、例えば周期４００ｍｓにおいて比率をパラメータとした場合の実験の解析結果を説明する図表である。

図１３（Ａ）、（Ｃ）は、追従位置誤差についての親指と中指のデータであり、縦軸は誤差分（ｃｍ）を示し、横軸は周期（ｍｓｅｃ）を示している。なお、図１３（Ａ）の縦軸はスケールの最大値が６ｃｍであり、図１３（Ｃ）の縦軸はスケールの最大値が８ｃｍである。図１３（Ｂ）、（Ｄ）は、追従速度誤差についての親指と中指のデータであり、縦軸は秒速の誤差分（ｃｍ）を示し、横軸は周期（ｍｓｅｃ）を示している。なお、図１３（Ｂ）の縦軸はスケールの最大値が秒速１５ｃｍであり、図１３（Ｄ）の縦軸はスケールの最大値が秒速１２ｃｍである。

図１４（Ａ）、（Ｃ）は、追従位置誤差についての親指と中指のデータであり、縦軸は誤差分（ｃｍ）を示し、横軸は比率を示している。なお、図１４（Ａ）の縦軸はスケールの最大値が１０ｃｍであり、図１４（Ｃ）の縦軸はスケールの最大値が５ｃｍである。図１４（Ｂ）、（Ｄ）は、追従速度誤差についての親指と中指のデータであり、縦軸は秒速の誤差分（ｃｍ）を示し、横軸は自他比率を示している。図１４（Ｂ）の縦軸はスケールの最大値が秒速２０ｃｍであり、図１４（Ｄ）の縦軸はスケールの最大値が秒速１２ｃｍである。

続いて、図１３（Ａ）、（Ｃ）の実験結果によれば、親指及び中指を総合的に観察すると、追従位置精度としては、周期が略３００ｍｓ（３．３Ｈｚ）〜４００ｍｓ（２．５Ｈｚ）の範囲で好ましく、さらに略４００ｍｓ（２．５Ｈｚ）がより好ましい。また、図１３（Ｂ）、（Ｄ）によれば、追従速度精度に関しては、周期依存性が低いことが判る。

さらに、図１４（Ａ）、（Ｃ）の実験結果によれば、親指及び中指を総合的に観察すると、追従位置精度としては、比率が略１対１〜１対２の範囲で好ましく、さらに略１対２がより好ましい。また、追従速度精度に関しては、図１４（Ｂ）、（Ｄ）は図１４（Ａ）（Ｃ）の特性と大きな変わりはなく、比率が略１対１〜１対２の範囲で好ましく、さらに略１対２でより好ましい。

図３において、表示態様設定部２１３は、自己と他者との視野画像が、＜実験ＩＩ＞によって得られた周期（周波数）の範囲内、かつ比率の範囲内で、画像表示デバイス１１に交互に時分割表示されるよう所定のパラメータに設定されている。なお、設定パラメータの態様は、フレーム数を基準に設定する方法に代えて、処理装置２の内蔵タイマからの計時情報を用いるなどして時間で切り替える態様でもよい。

二者の動きの位置誤差及び速度誤差を可及的に低減することで、例えば遠隔作業場面において指示者と作業者との間で時分割表示を行う遠隔強調支援システム等に適用することができる。遠隔作業場面としては、救急医療、手術等の専門的な動作スキルをより自然に伝達し得る場面が想定できる。そして、動作スキルの自然な伝達を実現し得ることから、より複雑な運動スキルを伝送することも可能となる。このように、従来手法とコスト面でさほど変わりがないにも関わらず、有用性の高い新規な方法を提供できる。

以上、適当な切り替え時間パラメタで設計された時分割提示時において、自己と他者の上肢（腕や手など）運動がより融合し、自己のものになったように感じる自他融合感を生ずる実験結果を示した。この現象は、他者上肢に対して連続時間中の感覚−運動間の時間整合性が厳密には保持されていないにも関わらず、達成できているかのような錯覚を生じていることを示唆するものである。この現象を生起させる要因を調べることで、没入感を保持させるインタフェースの設計における実時間性の要件を緩和する可能性を高め、産業利用性を向上させる。

後述するように仮現運動知覚によって二者の運動が群化される、すなわち１つに見える運動の知覚的連続性、意識下での追従運動制御系を駆動することによる運動の物理的同期のどちらか一方、若しくは両方が、自他融合感を生ずる要因であると考えられる。そこで、この点を検証するべく、以下に提示する各実験（実験ＩＩＩ、…）を行い、自他融合感現象を定量化し、その生起要因として運動の知覚的連続性と物理的同期の寄与についての検証を試みた。

なお、仮現運動知覚とは、ある程度の距離を隔てた二つの光点刺激を適当な時間間隔をおいて経時的に提示すると、あたかも一つの対象が二つの刺激提示位置の間を滑らかに運動するように見えるというものである（大山正、今井省吾、和気典二編／新編、感覚・知覚心理学ハンドブック、誠信書房、1994）。これは、Primary auditory stream segregation（音脈分凝；以下PASS）と類似している。すなわち、この現象は、Visual stream segregation（以下、VISSという）と呼ばれるように、視覚においても同様の現象が知られている（Albert S. Bregman and Andre Achim,\Visual stream segregation," Perception and Psychophysics, Vol.13,No.3, pp.451-454, 1973）。

＜実験ＩＩＩ＞
図１５は、上肢を左右に振る実験における各種の視野提示条件を説明する図で、図１６は、各視野提示条件下での自他融合感の生起の有無に関する評価を示した図表である。図１５において、（Ａ）は自己視野法、（Ｂ）は視野交換法、（Ｃ）は視野合成法、（Ｄ）は視野時分割法の表示モードである。本実験ＩＩＩの視野時分割法（Ｄ）では、自己画像の表示時間が１３３ｍｓに、他者画像の表示時間が２６７ｍｓに、周期が４００ｍｓに設定されている。また、本実験ＩＩＩは、図６に示す実験環境と同様である。ただし、磁気センサ１４１を被験者の上肢のいずれかに１個装着すればよい。

図１６は、実験後に被験者からの２つの報告を各マス目として図表にまとめたものである。マス目は、縦方向に上肢が「１本」に見えるか、「２本」に見えるかであり、横方向に「自分が動かしている感覚がある」か、「自分が動かしている感覚がない」かである。それぞれに被験者からの報告の集計結果が記載されている。

本実験は、チャンスレベル２５％（４種類の表示モードに無作為で選択を行った場合の％）以上の６名の被験者の集計データである。各実験は、ここでは、１人当たり各表示モードにつき３０回行った。各マス目の縦軸[％]は、全報告に対する比率であり、解析は、多群の比較に使用する検定法である分散解析（ANOVA：Analysis Of Variance）を用いて、確率的に偶然とは考えにくいか否か、すなわち有意性の有無を調べた。

自他融合感は、上肢が「１本」に見え、かつ「自分が動かしている感覚がある」ことであるから、図１６から、視野時分割法が、１％水準で他の表示モードと有意に異なることが判った。これは、実験Ｉ、実験ＩＩとも整合している。

＜実験ＩＶ＞
次に、自己と他者の上肢運動が融合し、自己のものになったように感じる自他融合感現象を定量化する実験を行った。自他融合感が従来の自己に関する錯覚現象と異なるのは、自己のものであるという感覚が自己身体から他者身体へと転移するのではなく、自己身体も他者身体も包括したものに対して自己のものであるという感覚を生起することであると考えられる。そこで、視野時分割提示において、自己の上肢位置を回答させたとき、自他の融合が起きているならば自己上肢と他者上肢とを包括した位置を回答し、従来の現象のような転移が起こっていれば他者上肢位置を回答し、融合も転移も起こっていなければ正しい自己上肢位置を回答すると考えられる。本実験ＩＶでは、視覚指標への上肢到達課題を用いて自己上肢位置を回答させる。

図１７は、実験ＩＶの内容及び結果を説明する図で、（Ａ）は、ある被験者の実験結果を示す図、（Ｂ）は、ＨＭＤ１の画面の表示内容を示す図である。本実験ＩＶは、図６に示す装置を用いており、さらに好ましくは、ＨＭＤ１を机に固定具等で固定して、被験者が実験するようにしている。被験者は、上肢、例えば人差し指に磁気センサ１４１を装着する。ＨＭＤ１の画面には、図１７（Ｂ）に示すように、自己上肢画像、他者上肢画像、及び視覚指標（Target；以下、（Ｔ）で表す。）が表示可能にされている。ここでは、自己上肢画像と他者上肢画像とは３０ｍｍ離れて表示され、白色正方形をなす小形の視覚指標（Ｔ）は、自己上肢画像と他者上肢画像の中間位置から、上方５０ｍｍの位置に表示される。

また、本実験ＩＶは、（ａ）自己視野提示、（ｂ）他者視野提示（視野交換）、（ｃ）自他視野の輝度重畳提示（視野合成）、（ｄ）視野時分割提示（周期４００ミリ秒，自他視野提示時間比率１：２）の各表示モードで行われた。被験者は１０名で、各表示モード毎に１０回ずつ行われている。なお、本実験ＩＶでは、後述するように、（ｄ）視野時分割提示（周期４００ミリ秒，自他視野提示時間比率１：２）の他に、（ｄ２）視野時分割提示（周期４００ミリ秒，自他視野提示時間比率２：１）、（ｄ３）視野時分割提示（周期４００ミリ秒，自他視野提示時間比率１：１）の表示モードでも実験を行っている。

いずれの表示モードにおいても、所定期間毎に、視覚指標（Ｔ）が点灯され、その点灯に反応する形で、自己上肢（ここでは人差し指）を視覚指標（Ｔ）の位置に、速く正確に到達運動を行う。人差し指の移動は、磁気センサ１４１の位置として計測されている。

実験の進め方は、以下のとおりであった。まず、視覚情報が遮断された状態で、４秒間往復運動を行わせた。次に、４秒間、前記の各表示モードでの視覚情報が表示され、往復運動を継続させた。次いで、視覚情報を遮断して被験者に運動を止めさせ、２秒間、画面中央で待機させた。その後、５００ｍｓだけ視覚指標（Ｔ）が所定位置に表示されと、被験者は、視覚指標（Ｔ）が提示されると同時に、自己の人差し指を視覚指標（Ｔ）の位置へ速く正確に到達運動することを求められた。到達運動における被験者への教示は「自己の人差し指があると思う位置を視角指標（Ｔ）へなるべく速く正確に到達運動させること」であった。

図１７（Ａ）は、ある被験者における人差し指の到達運動の終了点を揃えて開始位置を推定したときの軌跡（方向）の履歴を示している。なお、（ｄ）視野時分割提示については、自己上肢画像と他者上肢画像の中間位置を推定した位置として扱った。

これによれば、（ａ）自己視野提示と（ｃ）視野合成提示の表示モードでは、概ね人差し指を自己上肢画像から視覚指標（Ｔ）に向けて移動し、（ｂ）視野交換の表示モードでは、概ね人差し指を他者上肢画像から視覚指標（Ｔ）に向けて移動し、（ｄ）視野時分割提示では、概ね人差し指を上方に向けて移動していることが判った。

図１８は、実験ＩＶにおける到達運動の推定された開始位置のヒストグラムを示す図表で、図１８（Ａ），（Ｂ）は、いずれも（ｄ）視野時分割提示を含み、他の表示モードとの関係を判りやすくするべく、振り分けて示したものである。図１８において、横軸は、自己上肢画像と他者上肢画像の中間位置を基準として左右方向（ｘ方向）の距離を示し、縦軸は、Frequency（周波数）、すなわち到達運動の回数を示している。

図１９は、推定された到達運動開始位置を表示モード別に平均した図である。なお、ここでは、表示モードとして、前述した（ｄ２）視野時分割提示（周期４００ミリ秒，自他視野提示時間比率２：１）、及び（ｄ３）視野時分割提示（周期４００ミリ秒，自他視野提示時間比率１：１）も含まれている。図１９（Ａ）は、ＨＭＤ１の画面上への各表示モードの平均位置と標準偏差の状態を示し、図１９（Ｂ）は、横軸に表示モードを、縦軸に視覚指標（Ｔ）からのｘ方向偏位を示している。

図１９（Ｂ）に示すように、自他視野提示時間比率が１：２である（ｄ）視野時分割提示は、有意に視覚指標（Ｔ）からのずれが小さく、自己上肢と他者上肢の中間から到達運動を行なっていることが判る。

また、図１８、図１９によれば、（ａ）自己視野提示、若しくは（ｃ）視野合成提示の条件においては、自己上肢位置から視覚指標（Ｔ）に向かって到達運動を行うことが判った。特に（ａ）自己視野提示条件では運動距離が大きくなる傾向があるが、これは視覚中の上肢が明確に自己のものであると判断でき、確度を持って到達運動を行ったためであると考えられる。また、（ｃ）視野合成提示条件においては分散が大きくなる傾向がある。これは二つの上肢がともに同じ運動をしているため、稀に他者上肢を自己上肢であると誤って判断することがあることに起因する。一方で、（ｂ）他者視野提示条件では、他者上肢位置から視覚指標（Ｔ）へ到達運動を行うことが判った。他者上肢運動は実際の自己上肢位置とずれがあるものの、往復運動の振幅や速度が自己運動に似通っているため、自己の体性感覚情報や運動指令情報と統合することができ、自己上肢位置の転移錯覚が起きたと考えられる。そして、（ｄ）視野時分割提示条件においては、他者視野の割合が大きくなるほど、自己上肢と他者上肢の中間に自己上肢位置がシフトすることが判る。特に、切り替え周期が４００ｍｓ、自他視野提示時間比率が１：２のときの（ｄ）視野時分割提示条件においては、推定到達運動開始点が自他上肢の中間とほぼ一致した。これは、自他上肢が一つに融合し、それらを自己上肢と錯覚したと説明できる。また、自他融合感現象が生起する視野切り替えの時間パラメータと一致することから、自他融合感を定量化できたものと考えられる。

なお、自他視野提示時間が１：２のときに、最も自己上肢と他者上肢の中間位置に自己上肢を定位する原因を考える。すなわち、視野の切り替え周期が４００ｍｓ秒かつ自他視野提示時間比率が１：２であるときの（ｄ）視野時分割提示条件では、自己視野と他者視野の提示時間はそれぞれ１３３ｍｓと２６７ｍｓであった。これは、自己運動と異なる運動が提示されている他者視野よりも、整合性の高い運動が提示される自己視野の方が、短時間の観察で自己との同期判断が容易であるためと考えられる。自己視野体性感覚や運動指令といった自己運動情報と視覚情報の整合性判断において要求される自己視野の提示時間は、１３３ｍｓよりも大きいのではないかと推察される。自己視野を１３３ｍｓ以上提示すると自己運動の体性感覚情報や運動指令情報と統合され、自己視野中の運動のみに整合性判断を行ってしまうと考えられる。厳密には、自他視野提示時間比率が１：１のとき、自他融合感が生じ始めているため、２００ｍｓ以上の提示が好ましいと考えられる。

実験ＩＶより、自他視野切り替えの時間パラメータによって自己上肢位置が自他上肢の間にシフトすることが明らかになった。そこで、自他上肢の中間に自己上肢位置を定位したとき自他融合感が生じていると定義し、次いで、自他視野切り替えの時間パラメータが変化することで自他融合感の生起にどのように影響を与えるのかを調べる。

図２０は、実験ＩＶにおける視覚情報の４秒間表示を各表示モードで行わせたときの、推定到達運動開始位置の視覚指標（Ｔ）からのｘ方向のずれを示すヒートチャート図である。横軸は自己視野提示時間を示し、縦軸は他者視野提示時間を示している。実験は、被験者１名で、自体上肢位置を左右で入れ替えてそれぞれ１０回ずつ行った。図中の黒点は測定を行った時間パラメータに該当し、その他は公知の補間処理（MATLABのgriddata 関数を用い、１０ｍｓ刻みによる二次元のキュービック補間）が施されている。なお、図面では白黒で示されており、右側の縦軸のバー（ＢＡＲ）にずれ量が示されている。実験した表示モードは、
自他視野の時分割提示（周期１００ミリ秒，自他視野提示時間比率１：１）
自他視野の時分割提示（周期２００ミリ秒，自他視野提示時間比率１：１）
自他視野の時分割提示（周期３００ミリ秒，自他視野提示時間比率１：１）
自他視野の時分割提示（周期３００ミリ秒，自他視野提示時間比率１：２）
自他視野の時分割提示（周期３００ミリ秒，自他視野提示時間比率１：３）
自他視野の時分割提示（周期３００ミリ秒，自他視野提示時間比率２：１）
自他視野の時分割提示（周期４００ミリ秒，自他視野提示時間比率１：３）
自他視野の時分割提示（周期４００ミリ秒，自他視野提示時間比率３：１）
自他視野の時分割提示（周期５００ミリ秒，自他視野提示時間比率１：１）
自他視野の時分割提示（周期５００ミリ秒，自他視野提示時間比率１：２）
自他視野の時分割提示（周期５００ミリ秒，自他視野提示時間比率１：３）
自他視野の時分割提示（周期６００ミリ秒，自他視野提示時間比率１：１）
自他視野の時分割提示（周期６００ミリ秒，自他視野提示時間比率１：２）
自他視野の時分割提示（周期６００ミリ秒，自他視野提示時間比率１：３）
自他視野の時分割提示（周期６００ミリ秒，自他視野提示時間比率２：１）
自他視野の時分割提示（周期８００ミリ秒，自他視野提示時間比率１：１）
自他視野の時分割提示（周期８００ミリ秒，自他視野提示時間比率１：２）
自他視野の時分割提示（周期８００ミリ秒，自他視野提示時間比率１：３）
自他視野の時分割提示（周期９００ミリ秒，自他視野提示時間比率１：２）
自他視野の時分割提示（周期９００ミリ秒，自他視野提示時間比率２：１）
自他視野の時分割提示（周期１０００ミリ秒，自他視野提示時間比率１：１）
である。

ＢＡＲ上の各値に対応する図中の位置には、参考のために引き出し線（１），（２），（３）で示している。図２０から、ずれ量＋３０〜＋４０ｍｍは引き出し線（１）に示すようにヒートチャートの左端域に相当し、逆に、ずれ量−４０ｍｍ辺りは引き出し線（３）に示すようにヒートチャートの下部域に相当し、その間は引き出し線（２）に示すように、ずれ量０ｍｍ辺りが対応している。引き出し線（３）が示す領域では自己上肢位置から視覚指標（Ｔ）へ向けて到達運動を行っており、引き出し線（１）が示す領域では他者上肢位置から視覚指標（Ｔ）へ向けて到達運動を行っていると解釈される。そして、引き出し線（２）が示す領域は、平均して自己上肢位置と他者上肢位置の中間から視覚指標（Ｔ）へ向けて到達運動を行っていると解釈される。これによれば、自己視野の提示時間割合が大きいほど正しく自己上肢位置から到達運動を行っていることが判る。また他者視野の提示時間割合が大きいほど、自己上肢位置の他者上肢位置への転移が起こり、他者上肢位置から到達運動を行っているようである。その中間においては、自己上肢と他者上肢の中間から到達運動を行っているようにみえる。

ところで、図２０では、融合感が生起しているために自己上肢位置を自他者上肢の中間に定位した上で到達運動を行っているのか、自己上肢位置から到達運動を行っているケースと他者上肢位置から到達運動を行っているケースが混在するために見かけ上平均が０になっているのかが区別できない。このことを調べるために、例えば、自己視野と他者視野の提示時間が、それぞれ２００ｍｓと４００ｍｓの条件（視野切り替え周期６００ｍｓ、自他視野提示時間比率１：２）における到達運動開始点のヒストグラムを作成し、観察するに、そのヒストグラムは０を中心とする二峰性を示し、確かに自己上肢位置から到達運動を行うケースと他者上肢位置から到達運動を行うケースが混在していると認められる。そこで、このようなケースと自他上肢の中間位置からの到達運動のケースとを区別するため、推定されたすべての到達運動開始点の到達点（ｘ＝０）からの偏位に対して絶対値を取り、平均した。もし自己上肢位置から到達運動を行っているケースと他者上肢位置から到達運動を行っているケースが混在するために見かけ上平均が０になっているのであれば、この解析方法によって平均は０よりも大きくなる。

図２１は、このようにして求めた各視野提示条件の到達運動開始点と到達点とのずれデータをもとに、MATLABのgriddata 関数を用い、二次元のキュービック補間を施したヒートチャート図、及び所定の測定位置で得られた到達運動開始点のヒストグラムを示す図である。図２１において、白丸は被験者９名であり、黒丸は被験者１名である。また、図中の時間パラメータの計測位置（１），（２），（３），（４），（５）の計測結果であるずれ量（絶対値）は、対応するＢＡＲの値の位置に計測位置の番号を併記することで知ることができるようにしている。図２１では、計測位置（５）辺りは、ずれ量が大きく、その他の計測位置（１），（２），（３），（４）は比較的ずれ量は小さい。特に、計測位置（２）は小さいことが判る。

図２２は、内観報告による融合感と到達運動開始位置の偏位との関連を説明する図で、（Ａ）は内観報告による融合感の生起範囲（α）を示しており、図１２に相当する図である。（Ｂ）は到達運動開始位置の偏位を示しており、図２１のヒートチャート図に相当する図である。図２２（Ｂ）に示すように、（β）で示す領域に視野指標（Ｔ）からの偏位の小さい領域があることが判る。

これらの図より、自己上肢と他者上肢の中間位置から到達運動を行っている領域は、自己視野、他者視野の提示時間がそれぞれ１００〜２００ｍｓ，２００〜３００ｍｓのとき（すなわち領域（α））である。図２２（Ａ），（Ｂ）を比較すると、自己上肢と他者上肢の中間位置から到達運動を行なっている領域は、自他融合感生起範囲とよく整合していることが判る。よって、本実験において運動による自他融合感の定量化に成功していると考えられる。また、自己視野の提示時間比率が大きいとき自己上肢位置から、他者視野の提示時間比率が大きいとき他者上肢位置から到達運動を行うことが判る。これは、長時間提示されている視野の中の上肢の方が、自己の体性感覚情報・運動指令情報と統合しやすいことを示すものである。更に、自他視野の提示時間比率が一方に偏りすぎず、切り替え周期がある程度大きくなると、自己上肢位置から到達運動を行っているケースと他者上肢位置から到達運動を行っているケースが混在することが判った。その原因として、各視野の提示時間が運動の観察を行い、自己上肢位置を帰属させるにあたり充分に長いことが挙げられる。

＜実験Ｖ＞
実験ＩＩの視野時分割状態において、相互追従運動を行ったとき、自己運動と他者運動の間に仮現運動を知覚することで自他上肢運動が連結され、連続な一つの運動として知覚された。この運動の知覚的連続性が、他者上肢に対しても感覚−運動間の整合性を拡張し、自他融合感を生じている可能性がある。そこで、実験的に自己運動と他者運動の間に仮現運動を知覚していること、また、この仮現運動を知覚する範囲が自他融合感を生じる範囲と一致するかを調べた。

実験環境は、以下のように構築された。被験者は、机に固定されたＨＭＤ１を通して、自己の上肢運動を観察するようにした。被検車は４人である。ＨＭＤ１に提示される視覚刺激条件として、自己のリアルタイムの手映像を提示する条件と、ＣＧ（Computer Graphics）で作成された楕円映像を提示する条件を用意した。楕円映像は手映像とサイズや色が同等になるように調整した。どちらの条件においても被験者の実際の右手は、画面中心から、２．５°右側の位置に設定された。自己映像として被験者の実際の右手の位置に自己の手、若しくは楕円を、他者映像として被験者の実際の右手の位置から左側に５°離れた位置に自己の手のコピー映像若しくは楕円映像を提示した。

実験Ｖは、自己視野映像の提示時間をＸ、他者視野映像の提示時間をＹとし、固定の周期（＝Ｘ＋Ｙ）、提示時間比率（＝Ｘ：Ｙ）で交互に切り替えて提示した。自他視野切り替え周期を固定し、自他視野の提示時間比率を変えながら提示（図８の（１）〜（５）参照）、若しくは自他視野の提示時間比率を固定し、自他視野の切り替え周期を変えながら提示（図８の（６）〜（１０）参照）し、これらを４回行った。なお、そのうちの２回は自己視野提示時間が長い方から他者視野提示時間が長い方へ変化させ、残りの２回は他者視野提示時間が長い方から自己視野提示時間が長い方へ変化させた。１人の実験回数は、映像切替１０条件×視覚刺激２条件（手映像と楕円映像）×繰り返し４回である。被験者は、提示された自他視野切り替え周期と自他提示時間比率条件で、視覚中の二つの視覚対象が切り替わる瞬間に仮現運動が知覚されたか否かを強制二択で回答した。この実験において、視覚刺激は、楕円映像よりも自己の手の映像の方が仮現運動を知覚しやすくなることが判った。そこで、視覚対象が自己の手の映像であるときの仮現運動知覚の割合のヒートマップを作成し、図２２（Ｂ）に示す自他融合感のヒートマップと比較する。

図２３は、時間パラメータによる仮現運動知覚の知覚割合[％]を示すヒートチャート図で、横軸は自己視野提示時間、縦軸は他者視野提示時間を示している。図中の黒点が計測位置であり、他の領域は補間処理が施されている。図２３において、領域（１）は知覚割合の高い（概ね８０％乃至は９０％以上）域であり、領域（３）は知覚割合の低い（概ね３０％以下）域であり、その間の狭い領域（２）はその中間の知覚割合の域である。

図２３と図２２（Ｂ）とから、以下、仮現運動の知覚割合と自他融合感の関係を考察する。図２２（Ｂ）において、到達運動開始点は視覚指標（Ｔ）に対してｘ軸方向に３０ｍｍ離れている。自他視野の提示比率が自他のいずれかに大きく偏っているときには、３０ｍｍよりも大きな到達運動を行っていることが判る。これは、自己視野の提示比率が大きいときには自己上肢位置から、他者視野の提示比率が大きいときには他者上肢位置から、確度の大きい運動を行っていると考えられる。すなわち、正誤の如何に関わらず、充分に自他弁別が行われる状況においては、視覚指標（Ｔ）に対しオーバーシュート気味である。図２２（Ｂ）における、この確度の大きい到達運動が行われる視野提示条件と、図２３で仮現運動の知覚割合が低い視野提示条件との両領域はほぼ一致している。仮現運動が知覚されることで確度の大きい到達運動が抑制されると解釈できる。このことは、前記VISSによって説明できる。すなわち、仮現運動が知覚されない条件においては、あたかも視野合成条件のように、自己上肢運動と他者上肢運動とが同時に提示されているように感じる（自他運動の分凝）。また、極端に一方の視野提示時間が短くなると、長く提示されている方の視野のみが提示されているように感じ、この場合も確度の大きい運動を行うことができる。一方で、自他上肢間に仮現運動が知覚される視野提示条件においては、自己上肢運動と他者上肢運動が連続した一つの運動として知覚され、自他を分離することが困難になる。このため、自他上肢間に仮現運動を知覚する領域では、確度の小さい到達運動を行う領域、自己上肢位置と他者上肢位置のどちらからも到達運動を行うことがある領域、そして自他融合感すなわち自己上肢と他者上肢との中間位置に自己上肢を定位する領域が含まれる。以上のことから自他融合感の知覚には、自他上肢の間の仮現運動知覚によって、自他分離が困難になることが必要であると考えられる。整合性の高い自己上肢運動が仮現運動によって連結されることにより、他者運動にまで体性感覚情報や運動指令情報との整合性が拡張されると考えられる。

＜実験ＶＩ＞
自他融合感を生じる視野の時分割提示下での追従運動において、自他の手の区別が困難であるにも関わらず、他者運動を追従できるという現象が生じている。視野時分割手法において、自他区別が困難であるにも関わらず追従が達成できることは意識上での自他区別によらない意識下の追従運動制御系の存在を示唆する。この追従運動制御系を駆動することで、二者運動を物理的に一致させ、その結果、自他上肢に対して時間連続的な感覚−運動間の整合性、すなわち自他融合感を得ている可能性がある。追従運動精度とその戦略を調べることで物理的に二者運動が同期していること、また追従精度が保たれている時間パラメタ領域と自他融合感を生じる時間パラメータ領域比較することで物理的な二者運動の同期が自他融合感に与える影響を考察する。

実験ＶＩの前に行われる「事前の実験」の環境は、以下のように構築されたものである。すなわち、被験者は机に固定されたＨＭＤ１を通して、自己の上肢運動を、ここでは４０秒間観察するようにした。事前の実験における表示モードは、
他者視野のみの提示（視野交換）
自他視野の輝度重畳提示（視野合成）
自他視野の時分割提示（周期４００ミリ秒，自他視野提示時間比率２：１）
自他視野の時分割提示（周期４００ミリ秒，自他視野提示時間比率１：１）
自他視野の時分割提示（周期４００ミリ秒，自他視野提示時間比率１：２）
であり、各５回ずつ行った。被験者への教示は「上肢運動によって、自己の人差し指位置を他者の人差し指位置に正確に合わせ続けること」であった。観察された上肢運動、すなわち上肢の位置は、所定の時間間隔、例えば１０ｍｓ毎に解析された。その結果、視野時分割提示時において、意識下の追従運動制御系を駆動していることが示唆された。しかし、自他分離が困難な視覚提示条件において、この意識下の追従運動制御系がどのような情報をもとに追従運動を達成しているかは不明であった。

そこで、本実験ＶＩで、意識下の追従運動制御系を駆動する視覚情報について観測することとした。具体的には視野時分割提示条件での追従運動データに対して、位置追従ゲインと速度追従ゲインの各々の時間推移を求めた。これにより、どの時点で与えられた情報に対して、各追従ゲインを変化させるかを観察することができる。視野時分割提示による特定の時点が意識下の追従運動制御系を駆動しているならば、その時点における追従ゲインを集めて加算平均することで、ゲインの特徴的な変動が観察されると考える。例えば、自己視野から他者視野に切り替わる瞬間や、他者視野から自己視野に切り替わる瞬間には、二上肢（自己、他者の上肢）の位置誤差が得られるため位置追従ゲインが大きくなると考えられる。これまでの結果から、視野切り替えの周期が一定でも、自他視野提示比率が自己の割合が大きくなると位置追従精度、速度追従精度が低下することが明らかになっている。実験環境は、前記事前の実験と同じで、視野時分割提示の３条件での追従運動データについて解析した。

図２４は、視野時分割提示の３条件と解析の結果得られた追従ゲインとの関係を示す図で、（Ａ）は、周期４００ミリ秒かつ自他視野提示時間比率１：２の場合、（Ｂ）は、周期４００ミリ秒かつ自他視野提示時間比率１：１の場合、（Ｃ）は、周期４００ミリ秒かつ自他視野提示時間比率２：１の場合である。なお、ゲインは、計測データを周波数解析し、その式を微分方程式に書き替えて実時間応答としたときの近似から得られた値である。

図２４には、そのとき提示されていた視野状態（自己視野期間か他者視野期間）も重ねて表示している。図２４（Ａ），（Ｂ）において特徴的なのは、他者視野から自己視野に切り替わる瞬間に大きな位置追従ゲインの減少が観測されたことである。図２４（Ｃ）においては、他者視野から自己視野に切り替わる瞬間における位置追従ゲインの減少は観測されていない。また、自己視野から他者視野に切り替わる瞬間（４００ｍｓから０ｍｓに戻ってくる瞬間）において特徴的な波形は見られていない。一方で、速度追従ゲインについては、３条件間で波形が酷似している。なお、この３条件間での速度追従ゲイン波形は、他者視野の提示開始時点を０ｍｓとした場合に酷似しており、自己視野の提示開始時点を０ｍｓに取ると、この相似性は失われている。また、他者視野の提示時間が短くなればなるほど速度追従ゲインの振幅は減少している。

まず、位置追従ゲインについて述べると、他者視野から自己視野に切り替わる瞬間における位置追従ゲインの減少は、自他視野提示比率が１：２，１：１の条件において観測されるが、２：１である条件では観測されていない。ここで、前記事前の実験の結果を参考にすると、自他視野時分割提示の２：１条件は、１：２条件や１：１ 条件に比べて有意に位置追従精度が悪化している。そして、自他視野時分割提示比率が１：２のとき、位置追従性が最も高いことが判る。このことから、他者視野から自己視野に切り替わる瞬間における位置追従ゲインの減少は、位置追従精度を保持するために必要な戦略であると考えられる。この場合、他者視野から自己視野に切り替わる瞬間に与えられる情報は、追従運動に対して妨害因子になることを意味する。一方で、自己視野から他者視野に切り替わる瞬間には位置追従ゲインの減少は確認できていない。

なお、先に示した図２２（Ｂ）のように、もし自己上肢と他者上肢とが分離できないのであれば、自己視野から他者視野に切り替わる瞬間に得られる情報と、他者視野から自己視野に切り替わる瞬間に得られる情報とは同等であると考えられる。これらの瞬間に得られるのは、自己上肢と他者上肢の間の網膜上での位置偏位であると考えられる。それにも関わらず、ここでは対称性が破れている。意識の上では自己と他者の分離ができていないが、意識下の位置追従運動を行う制御系においては自己と他者が区別できている可能性がある。そして、二上肢の間の極性、すなわち自己上肢から他者上肢の方向と、他者上肢から自己上肢の方向を追従に用いていることを示すものである。本実験ＶＩの結果から、他者上肢から自己上肢の方向、すなわち他者上肢から離れていく方向を避けているようにみえる。これは、前記仮現運動知覚と密接な関係があると考えられる。二上肢の間に仮現運動を知覚することで二上肢間における方向が生まれる。仮にこの仮現運動を追従に用いているのであれば、自己視野から他者視野に切り替わる瞬間の仮現運動を用いることで、自己上肢を他者上肢の方へ運動させることができるが、他者視野から自己視野に切り替わる瞬間の仮現運動は、他者上肢から離れていく方向であるため、追従に用いると誤差を縮めることができなくなってしまう。以上のことから、視野時分割提示条件では仮現運動情報を追従運動に用いていることが示唆されたと考える。

図２５は、視野時分割提示における自他融合感生起の特性、及び他者追従精度特性を示す図である。図２５は、視野時分割提示の周期を変更し、各周期における自他融合感生起特性（ａ）と他者追従精度特性（ｂ）とを計測したデータを示したものである。自他融合感生起は、自他上肢中間からの偏位（自己上肢位置が０に近いほど高い）であり、他者追従精度は、速度ＲＭＳＥである。これによれば、周期４００ｍｓ辺りで、他者追従性が高く、かつ自他融合感も高いことが判る。

図２６は、各表示モードにおいて、他者運動追従実験における躊躇（運動の停止）の持続時間と生起頻度との関係を示す図である。図２６の計測データは、実験ＶＩの結果を用いて作成した。なお、他者運動の平均移動速度は、７２．９mm/secであることから、ここでは、０．１〜１．０秒の間の平均運動速度が２０mm/sec以下であるとき運動が停止していると判断した。図２６によれば、視野合成状態では、ほぼ１００ｍｓとほぼ４００ｍｓとで躊躇が多い。一方、視野交換状態と視野時分割状態では躊躇の生起頻度はほぼ同じレベルであり、かつ低い。すなわち、視野交換状態や視野時分割状態では、視野合成状態よりも滑らかに手を動かしているように感じられる。この現象を定量的に表したものが今回の躊躇のヒストグラムである。

＜実験ＶＩＩ＞
先の実験ＶＩでは、仮現運動情報を追従運動に用いていると考えた。仮現運動では、複数の特徴点が存在するとき、どの特徴点とどの特徴点とを対応付けるかを決定しなければならないが、通常この過程は意識に上ることがないため、意識下での処理であると考えられる。視野合成提示条件では、合わせるべき特徴点が多いとき、煩雑な二上肢間の注意遷移を必要とするが、視野時分割提示条件において仮現運動情報を追従運動に用いていれば、意識下での特徴点対応付けにより注意負荷の小さい追従ができると考えられる。

実験ＶＩＩでは、多数の特徴点合わせが要求される追従運動課題において、追従精度を確認する。実験ＶＩＩは、実験ＩＶと同様の実験環境を用いた。ただし、磁気センサ１４１は右手の五指全ての先端に装着し、五指それぞれの屈伸運動中の位置データを計測した。実験では、右手五指の追従運動を行った。他者運動として、手の甲をテーブルにつけて動かさず、五指をそれぞれランダムに屈伸運動させた１５秒間の録画映像を用意した。被験者は提示視覚条件において、前記事前の実験と同様の手続きで、五指それぞれを他者の五指運動と同期させることを求めた。そして、５本それぞれの指に対して、個別に他者運動との位置ＲＭＳＥ、速度ＲＭＳＥを算出した。そして、５本の指で位置ＲＭＳＥ、速度ＲＭＳＥをそれぞれ平均した。更に、位置ＲＭＳＥと速度ＲＭＳＥの各々の平均を１０回分で平均した。

図２７は、各表示モードにおける五本指のランダム屈伸運動の追従誤差を示す図表で、（Ａ）は位置ＲＭＳＥを示し、（Ｂ）は速度ＲＭＳＥを示している。視野時分割提示条件には、自他視野提示比率が、１：２，１：１，２：１の３条件を含む。図２７（Ａ）の位置ＲＭＳＲは、視野時分割提示条件、視野合成提示条件及び視野交換条件において大きな差が見られなかったが、図２７（Ｂ）の速度ＲＭＳＥは、視野時分割提示の３条件共、ほぼ等しく、かつ視野合成提示や視野交換に比べて小さいことが判った。

＜実験ＶＩＩＩ＞
実験ＶＩＩＩは、視野時分割提示における時間パラメータが追従精度に与える影響を調べ、図２２（Ｂ）に示す自他融合感のヒートマップと比較するためである。実験ＶＩＩＩは、実験ＩＶと同様の実験環境を用いた。また、実験の進め方は、実験ＶＩの事前の実験と同様、１５秒間、ｘ−ｙ平面上でランダムに上肢運動をさせた録画映像を他者運動として用意した。

実験は、自己視野提示、視野交換提示及び視野合成提示の他、以下の自他視野時分割提示で、各１０回をランダムに行った。

自他視野の時分割提示（周期１００ミリ秒，自他視野提示時間比率１：１）
自他視野の時分割提示（周期２００リ秒，自他視野提示時間比率１：１）
自他視野の時分割提示（周期３００ミリ秒，自他視野提示時間比率１：２）
自他視野の時分割提示（周期３００ミリ秒，自他視野提示時間比率１：１）
自他視野の時分割提示（周期３００ミリ秒，自他視野提示時間比率２：１）
自他視野の時分割提示（周期４００ミリ秒，自他視野提示時間比率１：５）
自他視野の時分割提示（周期４００ミリ秒，自他視野提示時間比率１：２）
自他視野の時分割提示（周期４００ミリ秒，自他視野提示時間比率１：１）
自他視野の時分割提示（周期４００ミリ秒，自他視野提示時間比率２：１）
自他視野の時分割提示（周期５００ミリ秒，自他視野提示時間比率１：３）
自他視野の時分割提示（周期５００ミリ秒，自他視野提示時間比率１：２）
自他視野の時分割提示（周期５００ミリ秒，自他視野提示時間比率１：１）
自他視野の時分割提示（周期５００ミリ秒，自他視野提示時間比率２：１）
自他視野の時分割提示（周期５００ミリ秒，自他視野提示時間比率３：１）
自他視野の時分割提示（周期６００ミリ秒，自他視野提示時間比率１：３）
自他視野の時分割提示（周期６００ミリ秒，自他視野提示時間比率１：１）
自他視野の時分割提示（周期７００ミリ秒，自他視野提示時間比率３：１）
自他視野の時分割提示（周期８００ミリ秒，自他視野提示時間比率１：２）
自他視野の時分割提示（周期８００ミリ秒，自他視野提示時間比率１：１）
自他視野の時分割提示（周期８００ミリ秒，自他視野提示時間比率２：１）
自他視野の時分割提示（周期１０００ミリ秒，自他視野提示時間比率１：１）
図２８は、時間パラメータによる追従位置誤差を示すヒートマップ表で、図２９は、時間パラメータによる追従速度誤差を示すヒートマップ図である。測定点以外は、補間処理が施されている。なお、自己視野提示条件を除外して追従精度の変化を読み取りやすくした。これらの図において、位置ＲＭＳＥ（同様に、速度ＲＭＳＥ）は、領域（１）で小さく、領域（２）で中間レベルであり、領域（３）で大きいことが判る。位置ＲＭＳＥ、速度ＲＭＳＥの小さい領域（１）は、概ね周期で２００〜５００ｍｓ、自他視野提示比率が１：３〜１：１の範囲であることが判る。

図２８から、視野合成条件（自己視野と他者視野の提示時間はともに０ｍｓ）の他に、自己視野提示時間が１００〜２００ｍｓかつ他者視野提示時間が２００〜４００ｍｓの領域でも位置追従ＲＭＳＥが小さくなっていることが判る。同様に、図２９においても、自己視野提示時間が１００〜２００ｍｓかつ他者視野提示時間が２００〜４００ｍｓの領域でも位置追従ＲＭＳＥが最も小さくなっていることが判る。

ここで、自他融合感との比較のため、図２２（Ｂ）と図２９との比較を考える。両者は、自己視野提示時間が１００〜２００ｍｓで、かつ他者視野提示時間が２００〜３００ｍｓの領域において、ともに小レベルである点で共通していることが判る。

まず、視野時分割の提示時間パラメータと追従精度の関係について考察する。自己視野の提示時間比率が大きくなると、位置ＲＭＳＥ、速度ＲＭＳＥともに増加する。これは、追従運動を行うために必要な他者運動情報が得られる時間が少なく、充分な追従精度を保つことができないと考えられる。そして、他者視野の提示時間比率が大きくなることで、位置ＲＭＳＥ、速度ＲＭＳＥともに小さくなっていく。視野合成条件のように、同時に二者の手が提示されているように感じる領域（自己視野提示時間が０〜１５０ｍｓかつ他者視野提示時間が０〜１５０ｍｓ）においては、位置ＲＭＳＥは小さく、速度ＲＭＳＥは大きくなる傾向がある。物理的にも二者運動の追従精度が上がることにより、自己運動と他者運動の間の類似度が大きくなる。その結果、自己運動に対しても他者運動に対しても連続時間に亘って、感覚−運動整合が得られやすくなると考えられる。

なお、本発明は、以下の態様を採用してもよい。

（１）実験ＩＩで得られた周期及び比率が設定された装置で追従動作を行う場合、追従対象となる参照画像は他の装置から通信部２５を経由して得てもよいし、参照画像記憶部２３１に録画画像として予め記憶しておき、必要に応じて読み出す態様としてもよい。

（２）本発明は、自己と他者の各カメラで撮像された画像の時分割表示に限定されず、身体部位の所要箇所に所要数のマーカー等を取り付け、これらのマーカーを身体部位の運動中に撮像手段で撮像して、マーカーを輝点として、あるいはボーンアニメーションのようにして表示部に表示する態様であってもよい。

（３）本発明は、実験ＩＩによって設定された範囲内のパラメータを表示態様設定部２１３に固定的に設定する態様でもよいが、融合性を生起する範囲、運動を誘導する範囲、さらには追従精度が高い範囲において微調整可能な態様として、より汎用性を有するものとしてもよい。

（４）また、以下の表示部を採用することが可能である。例えば、カメラ（撮像部）と表示部とを切り離す態様である。すなわち、カメラは一人称視野の画像を得るべく人体等に装着し、一方、表示部は、人体から離して配置可能なパネル状のディスプレイや、液晶プロジェクタ等の画像投影機とスクリーンとからなる構成でもよい。また、カメラを頭部（首より上側）に装着せず、人体の視点を通る視線上であって、頭部の前方か後方側に離して配置する構成でもよい。これによっても一人称視点の画像を得ることができ、かつ自己の身体のうち、撮像したい部位の画像をより効果的に得ることが可能となる。

（５）２台の動きガイド表示装置を用いる動きガイド表示システムの場合、時分割表示は協調型として、すなわち双方に対して追従態様としての参照画像を導いて、両者に追従作業を行わせる態様でもよいし、作業者側の一方のみであってもよい。また、選択設定可能な態様としてもよい。

（６）本実施例では、ＶＳＴ−ＨＭＤで説明したが、これに代えて光学シースルー（Optical See-Through）型ＨＭＤを採用してもよい。光学シースルー型ＨＭＤとしては、例えば以下の構成を備えたものが採用可能である。図１と比較しつつ説明すると、光学シースルー型ＨＭＤは、図１に示すような枠体１０を装着した装着者に対して、その前方に光学的に（実際の）景色を見せるようにする必要がある。そこで、画像表示デバイス１１は、枠体１０の前側から回避した横位置に配置される。そして、枠体１０の前方には、画像表示デバイス１１に代えてハーフミラーが配置され、さらにその前方に液晶パネル等によるシャッタが配置される。さらに、ハーフミラーは傾斜して配置されており、ハーフミラーで分離された、すなわち曲げられた光軸の上に画像表示デバイス１１が配置される。この結果、シャッタがオフ（開）の状態（画像表示デバイスはオフの状態）で、ハーフミラーを経由した、前方の自然の景色（例えば、自分の手首等の動き）を提示し、シャッタがオン（閉）状態で、画像表示デバイス１１を駆動させてハーフミラーで反射した参照画像を提示する。そして、かかる表示動作、すなわちシャッタのオンオフ切替動作及び画像表示デバイス１１の間欠駆動動作を同期させて、前記した周期及び比率の範囲内で繰り返し実行することで、ＶＳＴ−ＨＭＤ１の場合と同様の時分割表示が可能となり、融合感の生起を実現することができる。なお、前記（５）の、２台の動きガイド表示装置を用いる動きガイド表示システムにおいて、一方をＶＳＴ−ＨＭＤ１とし、他方をこの光学シースルー型ＨＭＤとすることもできる。この場合、ＶＳＴ−ＨＭＤ１側を参照画像とし、光学シースルー型ＨＭＤ側が追従者側となる。

（７）また、本発明に係る提示部材の一例としてのＶＳＴ−ＨＭＤは、頭部装着型に限定されず、顔部や耳部、鼻部を利用して顔面に装着する、いわゆるメガネ型でもよい。

以上説明したように、本動きガイド提示方法は、提示部材に追従対象となる参照画像を提示すると共に自己の像を提示して前記参照画像の動きへの追従をガイドする動きガイド提示方法において、前記参照画像と前記自己の像とを共に一人称視点で、かつ提示部材に所定の条件で交互に時分割提示し、前記所定の条件として前記時分割提示の周波数及び前記自己の像と前記参照画像との提示時間の比率が設定されていることが好ましい。

また、本動きガイド提示装置は、追従対象となる参照画像と前記自己の像とを共に一人称視点で提示する共通の提示部材と、前記提示部材に前記参照画像と前記自己の像とを所定の条件で交互に時分割提示する提示処理手段と、前記所定の条件としての前記時分割提示の周波数及び前記自己の像と前記参照画像との提示時間の比率にて前記提示処理手段を動作させる提示態様設定手段とを備えたものであることが好ましい。

これらによれば、自己の一人称視点の像と追従対象である一人称視点の参照画像とが共通する提示部材に交互に時分割提示される。時分割提示は、所定の周期かつ所定の比率の元で行われ、これによって、視野合成法や視野交換法に比して、追従性においてより高い精度が得られることになる。なお、追従性には、追従位置誤差、追従速度誤差を低減することが含まれる。そして、参照画像である他者（録画画像の場合、他者の他、自己のものを含む）と自己の二者間において互いに協調的な身体運動を行うような場合に、参照画像と自己の像とを前記所定の条件で切り替えることによって自己の運動の随意性が失われず、かつ自然と他者と運動が揃ってしまうという、すなわち視野中に逐次的に提示される二者の身体部位が融合して一つの自分の身体部位であると錯覚させられること（融合感の生起）が可能となる。その結果、意図的に行うことが困難であった多数対応点の同時マッチングを、意図せずとも実行させることとなり、行動者の認知負荷を低減しつつ自発的な運動追従を継続することができる。

また、前記所定の条件は、前記自己の像の提示時間に対する前記参照画像の提示時間の比率が少なくとも１以上であることが好ましい。これにより、時分割提示において、提示時間が短い方の画像から長い方の画像への運動方向印象が生じ、運動誘導が可能であることから、参照画像の方を同じか、好ましくは相対的に長くする（１を超える）ことで参照画像の運動に誘導、すなわち自然に追従し易くなる。

また、本発明の前記所定の条件は、前記時分割提示の周波数が略２Ｈｚ〜４Ｈｚであり、前記自己の像と前記参照画像との提示時間の比率が１対１〜１対３であることが好ましい。これによれば、融合感の生起によって、さらに高い追従精度を得ることが可能となる。

また、前記所定の条件は、前記自己の像と前記参照画像との提示時間の比率が略１対２であることが好ましい。これによれば、追従精度がほぼ最大となる。

また、前記所定の条件は、前記時分割提示の周波数が略２．５Ｈｚであることが好ましい。これによれば、融合感の生起によって、さらに高い追従精度がほぼ最大となる。

また、前記自己の像は、撮像部材で撮像された一人称視点の画像であることが好ましい。この場合に、前記自己の像を一人称視点で撮像する撮像部を備え、前記提示処理手段は、撮像された自己の画像を前記提示部材に導くものとすることが好ましい。これらによれば、一人称視点で撮像された自己の画像が参照画像との間で交互に時分割提示される。また、自己の像が撮像した画像であることから、自己画像を他者側に送信することも可能となり、適用性が高まる。

また、動きガイド提示システムは、前記動きガイド提示装置として第１、第２の動きガイド提示装置を備え、前記第１、第２の動きガイド提示装置間で、互いに撮像した画像の送受信を行う通信部を備えてなるものであることが好ましい。これによれば、リアルタイムで融合感が生起され、自然な追従への誘導が容易となる、高い有用性を持つ遠隔協調支援システムが提供できる。また、双方の撮像画像を参照画像として、双方が追従するといった協調関係を持った態様にも適用可能となる。

１ ＶＳＴ−ＨＭＤ（提示部材）
２ 処理装置
１１ 画像表示デバイス
１３ カメラ（撮像部）
２１ 処理部
２１２ 画像表示処理部（提示処理手段）
２１３ 表示態様設定部（提示態様設定手段）
２１４ 通信処理部
２５ 通信部
２３１ 参照画像記憶部
２４ 操作部（調整部）
３ 解析装置

Claims (13)

1. 提示部材に追従対象となる参照画像を提示すると共に自己の像を提示して前記参照画像の動きへの追従をガイドする動きガイド提示方法において、前記参照画像と前記自己の像とを共に一人称視点で、かつ前記提示部材に所定の条件で交互に時分割提示し、前記所定の条件として前記時分割提示の周波数及び前記自己の像と前記参照画像との提示時間の比率が設定されていることを特徴とする動きガイド提示方法。
2. 前記所定の条件は、前記自己の像の提示時間に対する前記参照画像の提示時間の比率が少なくとも１以上であることを特徴とする請求項１に記載の動きガイド提示方法。
3. 前記所定の条件は、前記時分割提示の周波数が略２Ｈｚ〜４Ｈｚであり、前記自己の像と前記参照画像との提示時間の比率が１対１〜１対３であることを特徴とする請求項１又は２に記載の動きガイド提示方法。
4. 前記所定の条件は、前記自己の像と前記参照画像との提示時間の比率が略１対２であることを特徴とする請求項２又は３に記載の動きガイド提示方法。
5. 前記所定の条件は、前記時分割提示の周波数が略２．５Ｈｚであることを特徴とする請求項２〜４のいずれかに記載の動きガイド提示方法。
6. 前記自己の像は、撮像部材で撮像された一人称視点の画像であることを特徴とする請求項１〜５のいずれかに記載の動きガイド提示方法。
7. 追従対象となる参照画像と前記自己の像とを共に一人称視点で提示する共通の提示部材と、
   前記提示部材に前記参照画像と前記自己の像とを所定の条件で交互に時分割提示する提示処理手段と、
   前記所定の条件としての前記時分割提示の周波数及び前記自己の像と前記参照画像との提示時間の比率にて前記提示処理手段を動作させる提示態様設定手段とを備えた動きガイド提示装置。
8. 前記所定の条件は、前記自己の像の提示時間に対する前記参照画像の提示時間の比率が少なくとも１以上であることを特徴とする請求項７に記載の動きガイド提示装置。
9. 前記提示態様設定手段は、前記所定の条件として、前記時分割提示の周波数を略２Ｈｚ〜４Ｈｚに、前記自己の像と前記参照画像との提示時間の比率を１対１〜１対３に設定していることを特徴とする請求項７又は８に記載の動きガイド提示装置。
10. 前記提示態様設定手段は、前記自己の像と前記参照画像との提示時間の比率を略１対２に設定していることを特徴とする請求項８又は９に記載の動きガイド提示装置。
11. 前記所定の条件は、前記時分割提示の周波数が略２．５Ｈｚであることを特徴とする請求項８〜１０いずれかに記載の動きガイド提示装置。
12. 前記自己の像を一人称視点で撮像する撮像部を備え、前記提示処理手段は、撮像された自己の画像を前記提示部材に導くものであることを特徴とする請求項７〜１１のいずれかに記載の動きガイド提示装置。
13. 請求項１２に記載の動きガイド提示装置として第１、第２の動きガイド提示装置を備え、前記第１、第２の動きガイド提示装置間で、互いに撮像した画像の送受信を行う通信部を備えてなる動きガイド提示システム。