JP5897382B2 - 行為支援方法および行為支援装置 - Google Patents

Description

本発明は、ユーザの行為を支援する行為支援方法および行為支援装置に関する。

目的を持った行為を上手に行ってその目的を達成することができるようにするために、手本となる行為を映像で提示することが行われている。手本となる行為の提示方法として、例えば、特許文献１には鍵盤楽器の演奏における運指映像の提示技術が、特許文献２には電子式装置の操作説明映像の提示技術が、それぞれ開示されている。

このほか、ＷＥＢサイト上でも、例えば、女性が望むヘアスタイルを作る行為を上手に行いたいという要望に対して、美容専門家による実演の様子を動画で提示することなどが行われている。非特許文献１および非特許文献２に関しては実施例にて後述する。

特開平１０−０３９７３９号公報 特開平１１−０２４８７７号公報

L. Koski, M. Iacoboni, M. C. Dubeau, et al., "Modulation of Cortical Activity During Different Imitative Behaviors" Journal of Neurophysiology 89(2003): pp. 460-471 マルコ・イアコボーニ著、ハヤカワ新書「ミラーニューロンの発見」、早川書房出版、２００９年５月

各種の美容行為など、鏡を見ながら行う行為においては、正像の動画として提示された手本となる行為を覚えたうえで、実際には鏡に映った自身を対象にしてその行為を再現する必要がある。このとき、正像の動画とは左右反転した鏡像を見ながら行為を行うことになるため、手本通りの行為を再現することが難しい。鏡を見ながら行う行為としては、例えば、髪を染める、髪を整える（ヘアスタイリング）、化粧を施すなどの各種美容行為や、ネクタイを結ぶ、帯を結ぶ等の着付けに係わる行為等が挙げられる。

ここで、手本の行為者（行為提示者）の利き手と被支援者（ユーザ）の利き手とが一致している場合と不一致の場合とで、正像と鏡像のいずれに従って行為を再現すればよいかが左右反転する場合がある。しかしながら、行為の種類によっては、たとえば楽器の鍵盤など配列の決められた器具を用いる場合のように左右反転した像を再現することができないものと、美容行為など利き手に応じて左右反転した像を再現することが好ましいものとがある。

このように、行為提示者とユーザ自身との利き手の一致または不一致までを考慮して動画を参照した場合には、のちに鏡に映った自身を対象にしてその行為を再現する際に更に混乱をきたすという課題がある。

本発明は上述の課題に鑑みてなされたものであり、鏡を見ながら行う行為を上手に行うことを可能にする行為支援方法および行為支援装置を提供するものである。

本発明の第１態様に係る行為支援方法は、行為提示者の動作を表す動画像と、前記行為提示者の鏡像を目視している当該行為提示者の視点の推移を示す視線追跡データと、が互いに対応づけられて重畳された提示動画像を、反転選択情報に基づいて正像または左右反転画像で表示出力させることを特徴とする。

また本発明の第２態様に係る行為支援装置は、行為提示者の動作を表す動画像と、前記行為提示者の鏡像を目視している当該行為提示者の視点の推移を示す視線追跡データと、が互いに対応づけられて重畳された提示動画像を記憶する動画像記憶手段と、反転選択情報を受信する受信手段と、受信した前記反転選択情報に基づいて前記提示動画像の正像または左右反転画像を取得する画像取得手段と、取得した前記正像または前記左右反転画像の前記提示動画像を送信する送信手段と、を含む。

上記各態様によれば、提示動画像が正像と左右反転画像（鏡像）とに任意に反転して表示される。このため、提示動画像を参照するユーザは、行為の種類と自身の利き手に応じて正像または左右反転画像を選択して提示動画像を表示出力させることができる。そして、かかる提示動画像は、行為提示者による手本となる動画像と、当該行為提示者の視点の推移を示す視線追跡データとが重畳されている。ここで、利き手と視点の推移との相対関係は、正像と左右反転画像とで変化しない。すなわち、提示動画像の正像を左右反転させたとしても、動作中のある瞬間に利き手側または非利き手側のいずれに視線を置いて動作すべきか、という関係性は失われない。したがって、本発明のように行為提示者の視線追跡データを動画像に重畳した提示動画像を用いることにより、その正像または左右反転画像のいずれを参照する場合であってもユーザにとって有効な支援となる。

本発明の第３態様に係る行為支援方法は、行為提示者の動作を表す動画像を取得する画像取得工程と、当該動作における行為提示者の手とユーザの手との間の対応関係を示す関係情報を取得する手情報取得工程と、当該関係情報に基づいて行為提示者とユーザとの間で対応付けられる手同士が鏡像位置となるように動画像の正像又は左右反転画像を表示出力させる出力工程と、を含む。

本発明の第４態様に係る行為支援装置は、行為提示者の動作を表す動画像を取得する画像取得手段と、当該動作における行為提示者の手とユーザの手との間の関係情報を取得する手情報取得手段と、当該関係情報に基づいて行為提示者とユーザとの間で対応付けられる手同士が鏡像位置となるように動画像の正像又は左右反転画像を表示出力させる出力処理手段と、を備える。

なお、本発明の各種の構成要素は、個々に独立した存在である必要はなく、複数の構成要素が一個の部材として形成されていること、一つの構成要素が複数の部材で形成されていること、ある構成要素が他の構成要素の一部であること、ある構成要素の一部と他の構成要素の一部とが重複していること、等を許容する。

上述の第１態様及び第２態様によれば、手本の行為者が鏡像のどこに視点を置いて行為を行っているかを示す視線追跡データが動画像に重畳された提示動画像がユーザに示されることで、手本通りの行為を再現する上で高い効果が得られる。そして、行為の種類と自身の利き手に応じて、かかる提示動画像を正像と左右反転画像とに選択して表示出力することができるため、鏡を見ながら行う行為を上手に行うことを可能にする行為支援方法および行為支援装置が提供される。また、上述の第３態様及び第４態様によれば、鏡を見ながら行う行為のみならずユーザの行為全般を好適に支援する技術を提供することができる。

第１実施形態にかかる行為支援装置の構成図である。 第１実施形態にかかる行為支援システムのブロック図である。 動画像と視線追跡データを取得する状態を示す説明図である。 第１実施形態にかかる行為支援方法のフローチャートである。 実施例にかかる提示動画像のステップ（１）を示す画像である。 実施例にかかる提示動画像のステップ（２）を示す画像である。 実施例にかかる提示動画像のステップ（２）を示す画像である。 実施例にかかる提示動画像のステップ（３−１）を示す画像である。 実施例にかかる提示動画像のステップ（３−２）を示す画像である。 実施例にかかる提示動画像のステップ（３−４）を示す画像である。 実施例にかかる提示動画像のステップ（３−５）を示す画像である。 実施例にかかる提示動画像のステップ（３−６）を示す画像である。 実施例にかかる提示動画像のステップ（３−７）を示す画像である。 実施例にかかる提示動画像のステップ（３−７）を示す画像である。 実施例にかかる提示動画像のステップ（４）を示す画像である。 実施例にかかる提示動画像のステップ（５）を示す画像である。 実施例にかかる提示動画像のステップ（５）を示す画像である。 ステップ（３−２）の変形例を示す画像である。 ステップ（３−６）の変形例を示す画像である。 第２実施形態における行為支援システムのブロック図である。 第２実施形態における行為支援方法を示すフローチャートである。 第２実施形態の変形例としての行為支援システムのブロック図である。 実験１−１で刺激として用いられた３つの動画像を概念的に示す図である。 実験１−２で刺激として用いられた２つの動画像を概念的に示す図である。 実施例２における官能評価結果を示す図である。 実験２で刺激として用いられたアイメイクを表す動画像を概念的に示す図である。 実験２で刺激として用いられたファンデーション及びヘアカラーを表す動画像を概念的に示す図である。 実験３−１で刺激として用いられた動画像を概念的に示す図である。 実験３−２で刺激として用いられた２つの動画像を概念的に示す図である。

以下、本発明の各実施形態を図面に基づいてそれぞれ説明する。なお、各実施形態の各種の構成要素は、その機能を実現するように、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、Ｉ／Ｆ（Interface）ユニット、等の汎用デバイスで構築されたハードウェア、所定の処理動作を実行するように構築された専用の論理回路、またはこれらの組み合わせ等として実現される。

また、各実施形態における行為支援方法を説明するにあたり複数の工程が順番に記載される場合があるが、その記載の順番は複数の工程を実行する順番やタイミングを限定するものではない。各実施形態における行為支援方法を実施するときには、その複数の工程の順番は支障のない範囲で変更することができ、また複数の工程の実行タイミングの一部または全部が互いに重複していてもよい。

［第１実施形態］
図１は、第１実施形態にかかる行為支援装置１００の構成図である。図２は、第１実施形態の行為支援装置１００を含む行為支援システム１０００のブロック図である。行為支援システム１０００は、行為支援装置１００、ユーザ端末１２０およびこれらが接続されたネットワーク１１０から構成される。

はじめに、本実施形態の行為支援装置１００の概要について説明する。行為支援装置１００は、行為の被提示者であるユーザに対して手本となる提示動画像６４を配信するサーバ装置である。

本実施形態の行為支援装置１００は、動画像記憶部３３、受信部７８、画像取得部７７および送信部７９を含む。
動画像記憶部３３は、行為提示者Ｓの動作を表す動画像５２と、この行為提示者Ｓの鏡像５０を目視している当該行為提示者Ｓの視点ＶＰの推移を示す視線追跡データ６２と、が互いに対応づけられて重畳された提示動画像６４を記憶する手段である。
受信部７８は、反転選択情報ＣＭを受信する。画像取得部７７は、受信部７８が受信した反転選択情報ＣＭに基づいて提示動画像６４の正像または左右反転画像を取得する。
そして、送信部７９は、画像取得部７７が取得した正像または左右反転画像の提示動画像６４を送信する。送信部７９は、ネットワーク１１０を介して提示動画像６４をユーザ端末１２０に送信する。

次に、本実施形態の行為支援装置１００および行為支援システム１０００について詳細に説明する。

図１に示すように、行為支援装置１００は、光束分離部１２、撮像部１４、視線取得部２０および生成部７６を含んでいる。また、図３は行為支援装置１００を用いて行為提示者Ｓの動画像５２と視線追跡データ６２を取得する状態を示す説明図である。

光束分離部１２は、入射光の一部を透過して他の一部を反射する光学要素であり、本実施形態では半透過鏡（ビームスプリッター）を用いる。光束分離部１２の光透過率は特に限定されず、例えば５％以上９５％以下とすることができる。また、光束分離部１２の光透過率を５％以上５０％未満、特に８％以上４０％以下として、透過光よりも反射光の強度を強くすることで、行為提示者Ｓによる鏡像５０の自然な目視を妨げることなく、撮像部１４による動画像５２の撮像を行うことができる。

撮像部１４は、光束分離部１２を透過した行為提示者Ｓの動画像５２を撮像する手段である。図３に示すように、本実施形態の撮像部１４は、光束分離部１２を介して行為提示者Ｓの反対側（対向側）に設置されて、行為提示者Ｓの頭部６０を少なくとも含む静止画像または動画像を撮影する。本実施形態では、光束分離部１２の法線（面直）方向を光軸方向として設置されて行為提示者Ｓの静止画像を撮影するデジタルビデオカメラを例示する。このほか、撮像部１４にデジタルスチルカメラを用いて、所定の時間間隔で多数枚の静止画像を撮影し、これらを連続的に切り替えて表示してもよい。本明細書では、切り替え表示される静止画像の集合も含めて動画像と称する。

撮像部１４は、信号線１６を介してバス８０と電気的に接続されている。撮像部１４は、撮像した行為提示者Ｓの動画像５２を、信号線１６およびバス８０を介して画像蓄積部３１に格納する。なお、本実施形態に代えて、可搬性の記憶媒体を用いて動画像５２の電子データを撮像部１４から画像蓄積部３１に移送してもよい。

本実施形態の動画像５２の一例として、行為提示者Ｓが、美容行為を実演する美容専門家である場合を例示する。より具体的には、行為提示者Ｓが自分自身の頭髪を所望のヘアスタイルにセットする動作を動画像５２の対象とする。したがって、本実施形態の動画像５２は、行為提示者Ｓの頭部６０の少なくとも一部を含む。動画像５２には、髪部および顔部のそれぞれ少なくとも一部に加えて、行為提示者Ｓの上半身や下半身、衣服や装飾品などが含まれていてもよい。また、動画像５２における頭部位置情報とは、動画像５２に含まれる頭部６０の位置を示す情報である。本実施形態では、動画像５２における、頭部６０のうち両眼の瞳の中央位置などの特徴点が存在する位置をもって、動画像５２における頭部位置情報を規定することができる。正確に頭部位置情報を規定する観点から、特徴点は２箇所以上あることが好ましい。

視線取得部２０は、光束分離部１２で反射された行為提示者Ｓの鏡像５０を目視する当該行為提示者Ｓの視点ＶＰの推移を示す視線追跡データ６２を取得する眼検知装置（アイカメラ）である。一例として、Ｔｏｂｉｉ社製の注視点追跡システム（アイトラッカー）を用いることができる。

図３に示すように、視線取得部２０は、光束分離部１２に正対する行為提示者Ｓに対向して、かつ光束分離部１２に映り込む自身の鏡像５０を目視する行為提示者Ｓの視野範囲外に配置されている。これにより、鏡像５０を目視する行為提示者Ｓの視線を視線取得部２０が遮ることはない。視線取得部２０は、行為提示者Ｓの頭部６０に向かって赤外線などの光ビーム２４を照射するとともに、その反射光を受光する。視線取得部２０は、受光光を画像化し、画素のコントラストに基づいて行為提示者Ｓの瞳孔位置を算出することで、行為提示者Ｓの目の位置を検出してその視点位置（視線方向）を数値データまたは画像データとして取得する。
本実施形態の視線取得部２０は、赤外線ダイオードを用いて行為提示者Ｓに赤外線波長域の光ビーム２４を照射する。光ビーム２４の強度は、行為提示者Ｓによる鏡像５０の自然な目視を妨げない程度に抑制されている。

なお、図１および図３において、視線取得部２０は光束分離部１２の前面下部に配置されているが、本発明はこれに限られない。行為提示者Ｓの頭部６０に向かって赤外線などの光ビーム２４を照射でき、その反射光を受光できる位置であるかぎり、視線取得部２０は別の位置に配置されてもよい。視線取得部２０は、その発光部（図示せず）から行為提示者Ｓの頭部６０に向かって直接に光ビーム２４を照射してもよく、または光束分離部１２もしくは他の鏡面で光ビーム２４を一回以上反射させた反射光を行為提示者Ｓの頭部６０に照射してもよい。また、行為提示者Ｓは、自らの姿をよく見ようとする際に、光束分離部１２（半透過鏡）に近づきがちとなる。一方、視線取得部２０の性能上、行為提示者Ｓとの距離を適正範囲に保つ必要がある（一例として、上記のアイトラッカーの場合には４５〜７５ｃｍ）。かかる場合には、視線取得部２０を図３に示す位置よりさらに下げるか、筐体１０の下に配置すればよい。また、行為提示者Ｓが自らの姿の全身を見ようとする際には、光束分離部１２（半透過鏡）から遠ざかる必要が生じる場合がある。かかる場合には、視線取得部２０と、行為提示者Ｓとの距離を適正範囲に保つ為に、視線取得部２０を光束分離部１２前方に配置してもよい。

筐体１０の形状は特に限定されないが、本実施形態では直方体形状をなし、光束分離部１２を除く各面は遮光されている。撮像部１４は筐体１０の内部に収容され、視線取得部２０は光束分離部１２の前面（被験者側の面）に設置されている。
このように、遮光性の筐体１０の内部に撮像部１４を収容することで、光束分離部１２を行為提示者Ｓが目視した際に、筐体１０の内部（撮像部１４）を行為提示者Ｓは見ることができない。これにより、撮像部１４は、光束分離部１２に映る鏡像５０を目視する行為提示者Ｓの視線ＬＯＳを遮ることなく、行為提示者Ｓの頭部６０に正対して静止画像（動画像５２）を撮像することができる。

本実施形態では、図３に示すように、行為提示者Ｓは、光束分離部１２の反射面Ｃに対して距離Ｌで正対している。行為提示者Ｓは、光束分離部１２に映る鏡像５０が、光束分離部１２から奥行方向に距離Ｌの位置に存在するものと認識する。したがって、鏡像５０を目視する行為提示者Ｓの目の焦点距離は２Ｌとなる。
そして、視線取得部２０は、光束分離部１２に鏡像５０として映る自身を目視しながらヘアスタイルをセットする行為提示者Ｓの視線ＬＯＳを、視線追跡データ６２として取得する。行為提示者Ｓの視線ＬＯＳは、鏡像５０の頭部６０の一部または全部に対して連続的に向けられる。

視線取得部２０が取得する具体的な視線追跡データ６２の形式は特に限定されるものではない。たとえば、鏡像５０に対する行為提示者Ｓの視点ＶＰの時系列データのほか、鏡像５０に対してどの位置に行為提示者Ｓの視線ＬＯＳが集中したかを示す、視点ＶＰの頻度データを取得してもよい。視点ＶＰの頻度データは、たとえば、鏡像５０を複数の領域に分割して、各領域を視線ＬＯＳが通過した回数をカウントして求めることができる。

本実施形態の視線取得部２０は、光ビーム２４の照射および受光と、画像処理による視線追跡データ６２の取得を所定時間に亘って連続的におこなう。そして、視線取得部２０は、視線追跡データ６２として、鏡像５０に対する行為提示者Ｓの視点ＶＰの推移を示す時刻歴データを取得する。視線取得部２０とバス８０とは信号線２２によって電気的に接続されており、視線取得部２０で取得した視線追跡データ６２は視線データ蓄積部３２に保存される。このように、行為提示者Ｓの目線を視線取得部２０で追跡して視線追跡データ６２を時刻歴データとして取得することで、行為提示者Ｓの視線ＬＯＳの初期位置データや、視点ＶＰの頻度データなど、多様なデータを取得することができる。

本実施形態の視線追跡データ６２は、視点ＶＰの座標情報と時刻情報とを含む時系列データであり、また動画像５２と重畳して表示可能な画像データである。視線追跡データ６２は、視点ＶＰを経時的に線分で結ぶことで視点ＶＰの軌跡を示す、折れ線状、または曲線状のプロット図をなしている。より具体的には、図１に示すように、本実施形態の視線追跡データ６２は、視線が停止した位置を示す円形などのスポット部と、経時的に連続する二つのスポット部どうしを結ぶ細線部とからなる。

記憶部３０（画像蓄積部３１、視線データ蓄積部３２）に記憶された動画像５２と視線追跡データ６２とは、生成部７６（図２を参照）により互いに対応づけられる。生成部７６は、ＣＰＵ７０の情報処理によって実現される。

生成部７６は、動画像５２における行為提示者Ｓの動作と、視線追跡データ６２が示す視点ＶＰの推移と、の位置およびタイミングを対応づけて提示動画像６４を生成する動画像生成手段である。

本実施形態の撮像部１４は、光束分離部１２を真っ直ぐ通過した行為提示者Ｓの正像を動画像５２として撮像する。これにより、行為提示者Ｓの動画像５２を正確に撮像することができる。しかしながら、光束分離部１２に映る行為提示者Ｓの鏡像５０と、撮像部１４が撮像した動画像５２とは左右が反転することとなる。このため、本実施形態の生成部７６は、動画像５２を左右反転させて鏡像５０としたうえで、視線追跡データ６２の視点ＶＰと位置合わせする。なお、本実施形態に代えて、撮像部１４で行為提示者Ｓの鏡像の動画を撮影してもよい。この場合、光束分離部１２に代えて通常の鏡を使用し、当該鏡に映る行為提示者Ｓの鏡像５０を、行為提示者Ｓの後方に設置した撮像部１４で撮影してもよい。

ここで、視線追跡データ６２は、行為提示者Ｓの視点ＶＰと視線取得部２０との相対位置として視線データ蓄積部３２に記憶されている。視線取得部２０は光束分離部１２に対して既知の位置に固定配置されている。また、撮像部１４もまた光束分離部１２に対して既知の位置に固定配置されている。このため、視線追跡データ６２に含まれる視点ＶＰの座標位置を示す視点位置情報を生成部７６で演算処理することで、視点ＶＰを、撮像部１４で撮像される行為提示者Ｓの動画像５２に対して位置合わせすることができる。また、動画像５２と視線追跡データ６２は、ともに時刻情報を含んでいる。したがって、動画像５２と視線追跡データ６２の基準時刻を一致させた状態で位置合わせをすることにより、動画像５２における行為提示者Ｓの動作の流れと、行為提示者Ｓの各瞬間の視点ＶＰの位置とが対応づけられる。

本実施形態の生成部７６は、動画像５２と視線追跡データ６２とを重畳して提示動画像６４を生成する。ここで、動画像５２と視線追跡データ６２とが重畳されているとは、動画像５２と視線追跡データ６２とが一の電子ファイルとして画像合成されている状態のほか、動画像５２と視線追跡データ６２とが異なる電子ファイルとしてユーザ端末１２０に提供されて表示出力部１２８（図２を参照）で同時に目視可能に表示される状態を含む。表示出力部１２８は、動画像５２に位置合わせされた視線追跡データ６２を、動画像５２に重畳して出力する表示装置である。具体的には、液晶表示装置などのディスプレイ装置を表示出力部１２８として用いることができる。

画像取得部７７は、ユーザ端末１２０の入力部１２２を操作して選択した提示動画像６４を動画像記憶部３３から取得して、送信部７９を通じてユーザ端末１２０の送受信部１２６に配信する手段である。

ここで、動画像記憶部３３に記憶されるオリジナルの提示動画像６４は、鏡像５０と同じ左右反転画像であって、かつ視線追跡データ６２が画像合成されたものである。よって、かかる視線追跡データ６２をそのまま表示出力部１２８に表示出力する場合、行為提示者Ｓの鏡像５０に対して、行為提示者Ｓの視線追跡データ６２を重畳された動画像がユーザに目視されることとなる。これに対し、本実施形態の画像取得部７７は、ユーザの利き手を考慮して、行為提示者Ｓの利き手がユーザの利き手の鏡像位置となるように提示動画像６４を適宜左右反転して表示出力部１２８に配信する。

反転選択情報ＣＭに基づいて提示動画像６４を左右反転するか否かを判断するための具体的な手法は特に限定されない。本発明では大別して、（方法１）ユーザによる反転指示の入力を反転選択情報ＣＭとして受信し、その内容に基づいて提示動画像６４を反転させて（すなわち正像として）配信する方法と、（方法２）ユーザの利き手を示す情報（利き手情報ＩＵＨ）を反転選択情報ＣＭとして受信し、その内容に基づいて画像取得部７７がユーザと行為提示者Ｓとの利き手の一致または不一致を判定したうえで提示動画像６４を必要に応じて反転させて配信する方法と、を例示する。

図１および図２に示すように、行為支援装置１００は提示動画像６４を記憶する動画像記憶部３３を備えている。動画像記憶部３３は、提示動画像６４と行為提示者Ｓの利き手を示す提示者情報とを対応づけて記憶する。すなわち、動画像記憶部３３は、多数の提示動画像６４を、当該提示動画像６４にかかる行為提示者Ｓの利き手を示す提示者情報（提示者利き手情報ＩＰＨ）と対応づけて記憶している。提示者情報は、提示者利き手情報ＩＰＨのほか、当該行為提示者Ｓを固有に識別する氏名または識別番号を含んでもよい。これにより、ユーザは希望する行為提示者Ｓの提示動画像６４を動画像記憶部３３より検索することができる。

（方法１）
本方法は、行為提示者Ｓの動作を表す動画像５２と、行為提示者Ｓの鏡像５０を目視している当該行為提示者Ｓの視点ＶＰの推移を示す視線追跡データ６２と、が互いに対応づけられて重畳された提示動画像６４を、反転選択情報ＣＭに基づいて正像または左右反転画像で表示出力させる行為支援方法である。

反転選択情報ＣＭは、ユーザ端末１２０の入力部１２２を用いてユーザが入力するコマンドであり、表示出力部１２８で表示出力される提示動画像６４の向きを左右反転させることを示す情報である。

ユーザは、ＷＥＢブラウザなどのアプリケーションソフトを通じて行為支援装置１００にアクセスし、配信を希望する提示動画像６４を選択する。かかる選択命令は受信部７８を通じて画像取得部７７に送信される。画像取得部７７は動画像記憶部３３を参照して、ユーザに選択された提示動画像６４のオリジナルデータを呼び出し、送信部７９を通じてこれをユーザ端末１２０の送受信部１２６に向けてストリーミング配信する。ユーザは、配信された提示動画像６４を表示出力部１２８で表示出力させる。

このとき、画像取得部７７は、提示動画像６４と対応づけられて動画像記憶部３３に記憶された提示者利き手情報ＩＰＨをユーザ端末１２０に送信する。提示者利き手情報ＩＰＨを如何なる態様でユーザ端末１２０に送信するかは任意である。一例として、メッセージ（たとえば、「行為提示者の利き手は右手（左手）です」など）を表示出力部１２８に出力してもよく、または提示動画像６４における行為提示者Ｓの利き手をハイライト表示するなど、提示動画像６４の電子ファイル自体に提示者利き手情報ＩＰＨを含めて配信してもよい。

表示出力部１２８で表示出力されている提示動画像６４を目視するユーザは、提示者利き手情報ＩＰＨが示す行為提示者Ｓの利き手（たとえば右手）がユーザの利き手（たとえば左手）と一致していない場合、すなわち鏡像として配信されるオリジナルの提示動画像６４における行為提示者Ｓの利き手がユーザの利き手に対して交差位置にあると判断した場合には、入力部１２２を操作して反転選択情報ＣＭを入力することができる。

ネットワーク１１０を通じて受信部７８が反転選択情報ＣＭを受信すると、画像取得部７７は提示動画像６４の表示出力の向きを左右反転させたうえで、送信部７９を通じて送受信部１２６にストリーミング配信を継続する。これにより、表示出力部１２８が汎用のＷＥＢブラウザであっても、提示動画像６４を任意で左右反転させてユーザ端末１２０で表示出力することができる。

（方法２）
本方法は、行為支援装置１００が、反転選択情報ＣＭとして利き手情報ＩＵＨを取得して、動画像記憶部３３に記憶された提示者利き手情報ＩＰＨとの一致または不一致を画像取得部７７が判定する方法である。図４は、第１実施形態にかかる行為支援方法のフローチャートである。

まず、行為支援装置１００の受信部７８は、ユーザのアカウント（識別子）とともに、ユーザが希望する提示動画像６４の選択命令を受け付ける。このとき、画像取得部７７はユーザの利き手を示す利き手情報ＩＵＨを取得する（ステップＳ１０）。

ここで、画像取得部７７が利き手情報ＩＵＨを取得する方法は種々をとりうる。具体的には、（方法２−１）利き手情報ＩＵＨの入力をユーザに求める方法、（方法２−２）ユーザの利き手との関連性の高い情報を利き手情報ＩＵＨとして受け付ける方法、および（方法２−３）行為支援装置１００のユーザ情報記憶部３５に利き手情報ＩＵＨを予め記憶しておく方法、を例示することができる。

方法２−１および方法２−２では、受信部７８は、ユーザの利き手を示す利き手情報ＩＵＨを反転選択情報ＣＭとして受信する。画像取得部７７は、動画像記憶部３３を参照し、受信した利き手情報ＩＵＨに基づいて行為提示者Ｓの利き手がユーザの利き手の鏡像位置となる正像または左右反転画像を取得する。

より具体的には、方法２−１では、ユーザ自身が入力部１２２を操作して利き手（右手または左手）を示す利き手情報ＩＵＨを入力し、行為支援装置１００の受信部７８がこれを受信する。

方法２−２では、たとえば、マウスなどの補助入力装置に関する設定データを、受信部７８は利き手情報ＩＵＨとして受信する。すなわち、ユーザ端末１２０の入力部１２２として補助入力装置が用いられている場合、ユーザ端末１２０にはその設定データが保持されている。行為支援装置１００の画像取得部７７は、ユーザ端末１２０の制御部１２４に対して、補助入力装置の設定に関するリクエストを送信する。制御部１２４は設定データを参照して、補助入力装置に関するユーザの利き手の設定が左手になっているか否かを示す情報を受信部７８に送信する。これにより、画像取得部７７は、ユーザの利き手情報ＩＵＨを取得することができる。
このほか、画像取得部７７は、ユーザの利き手に関連する選択式の質問メッセージを表示出力部１２８に表示出力してもよい。本実施形態の場合、たとえば、「ドライヤーやアイロンカーラーをどちらの手で持ちますか」など美容行為に関連する設問が好ましい。かかる設問に対してユーザが入力部１２２を通じて回答すると、この回答メッセージが利き手情報ＩＵＨとして受信部７８に送信される。これにより、画像取得部７７は、ユーザの利き手情報ＩＵＨを取得することができる。

画像取得部７７は利き手情報ＩＵＨを受信すると、これと同時または相前後するタイミングで、動画像記憶部３３を参照して提示者利き手情報ＩＰＨを取得する（ステップＳ２０）。そして、画像取得部７７は、これらの利き手どうしの一致または不一致を判定することにより、オリジナルの提示動画像６４を左右反転させて表示させるか否かを示す反転選択情報ＣＭを取得する（ステップＳ３０）。

さらに、画像取得部７７は、これらの利き手どうしが鏡像位置となるよう提示動画像６４を必要に応じて反転させて、オリジナルの提示動画像６４に関する正像または左右反転画像を取得する（ステップＳ４０）。画像取得部７７は、送信部７９およびネットワーク１１０を通じて、かかる正像または左右反転画像をユーザ端末１２０の送受信部１２６にストリーミング配信する（ステップＳ５０）。

本実施形態にいうオリジナルの提示動画像６４に関する正像とは、行為提示者Ｓの動画像５２に対する鏡像５０を意味している。そして、オリジナルの提示動画像６４に関する左右反転画像とは、行為提示者Ｓの動画像５２に対する正像を意味している。すなわち、ユーザがたとえば左利きの場合には、右利きの行為提示者Ｓの正像、または左利きの行為提示者Ｓの鏡像が表示出力部１２８に表示出力される。これにより、ユーザと行為提示者Ｓとの利き手の一致・不一致によらず、ユーザ自身の鏡像と利き手が一致した提示動画像６４が表示出力されることとなる。

また、オリジナルの提示動画像６４に関する正像または左右反転画像を画像取得部７７が取得するとは、提示動画像６４と異なる動画像の電子ファイルを新たに作成する場合のほか、オリジナルの提示動画像６４の座標を左右反転させて送受信部１２６にストリーミング配信することを含む。

方法２−３を行う場合、行為支援装置１００は、ユーザの利き手を示す利き手情報ＩＵＨを含むユーザ情報を、当該ユーザを識別する識別子と対応づけて記憶するユーザ情報記憶部３５を備えていることが好ましい。この方法もまた、ユーザの利き手を示す利き手情報ＩＵＨが反転選択情報ＣＭにあたる。そして、受信部７８は、ネットワーク１１０を通じてユーザ（ユーザ端末１２０）から識別子を受信し（ステップＳ１０）、画像取得部７７は、ユーザ情報記憶部３５および動画像記憶部３３を参照して、行為提示者Ｓの利き手とユーザの利き手との一致または不一致を判定して反転選択情報ＣＭを取得する。さらに、画像取得部７７は、これらの利き手どうしが鏡像位置となるよう提示動画像６４を必要に応じて反転させて、オリジナルの提示動画像６４に関する正像または左右反転画像を取得し（ステップＳ４０）、これをストリーミング配信する（ステップＳ５０）。

以上説明したように、本実施形態の行為支援装置１００でユーザに提示される提示動画像６４は行為提示者Ｓの視線追跡データ６２が重畳された動画像であるため、行為提示者Ｓが動作中にどのように視点を推移させているかが目視的に観察される。かかる提示動画像６４がユーザの鏡像に一致する向きで表示されるため、ユーザが鏡を見ながら当該動作を実践する際に、視点ＶＰを利き手に対してどちらに遷移させればよいかを容易に理解することが可能である。

そして、本実施形態の行為支援装置１００は、ユーザの利き手を示す利き手情報ＩＵＨを反転選択情報ＣＭとして取得し（ステップＳ１０）、行為提示者Ｓの利き手がユーザの利き手の鏡像位置となるよう正像または左右反転画像を選択して提示動画像６４をユーザ端末１２０に表示出力させる。

これにより、ユーザは、行為提示者Ｓの利き手を対角線上ではなく自分の利き手の正面に捉えて提示動画像６４を目視することができる。このため、行為提示者Ｓの動作が単純な直線的な動きのみならず、頭髪を巻き付けるような回転動作を伴う場合でも、ユーザは適切な動作の方向を直観的に把握することができる。これは、ヘアスタイルのセットに例示される美容行為は一般に鏡を見ながら行われるため、美容行為の動作を鏡像で目視することにユーザが慣れ親しんでいることが理由の一つである。他の理由として、「鏡式の模倣をしているときのミラーニューロンは、解剖学的に正しい（正像の）模倣をしているときに比べ四倍も活性化する」という知見（非特許文献１および非特許文献２を参照）に基づき、行為提示者Ｓの正像ではなく鏡像をユーザに模倣させることによりユーザの行為が好適に支援されることが挙げられる。すなわち、ユーザが美容専門家でない場合でも、自分（ユーザ）の鏡像と行為提示者Ｓの利き手の向きが一致した提示動画像６４を目視することで、ミラーニューロンの特性が活用されて動作の模倣が容易となる。

［第２実施形態］
したがって、上記第１実施形態に代えて、視線追跡データ６２が重畳されていない動画像５２の正像又は左右反転画像を表示出力する形態においても、これを目視するユーザのミラーニューロンの特性が活用されて行為提示者Ｓの動作を模倣することが容易となる。以下、視線追跡データ６２が重畳されていない動画像５２を表示出力する形態を第２実施形態として説明する。以下、第２実施形態について、第１実施形態と異なる内容を中心に説明し、第１実施形態と同様の内容については適宜省略する。

第２実施形態にかかる行為支援装置１００では、図１に示される第１実施形態における視線追跡データ６２を得るための構成は省かれてもよい。第２実施形態にかかる行為支援装置１００は、いわゆるコンピュータであればよく、例えば、バス８０で相互に接続される、ＣＰＵ７０、メモリ、入出力インタフェース（Ｉ／Ｆ）７２等を有していればよい。入出力Ｉ／Ｆ７２は、入力部、出力部、ネットワーク（図示せず）を介して他のコンピュータと通信を行う通信装置等と接続される。入力部は、キーボード、マウス等のようなユーザ操作の入力を受け付ける装置である。出力部は、ディスプレイ装置やプリンタ等のようなユーザに情報を提供する装置である。

図２０は、第２実施形態における行為支援装置１００を含む行為支援システム１０００のブロック図である。第２実施形態における行為支援装置１００では、第１実施形態の構成のうち、視線取得部２０、画像蓄積部３１、視線データ蓄積部３２、生成部７６が省かれている。また、第２実施形態では、画像取得部７７が、手情報取得部９１と出力処理部９２とを有することが明記された。なお、図２０は、第２実施形態にかかる行為支援装置１００が、動画像５２を自身で生成するために、動画像５２を生成するための構成（光束分離部１２及び撮像部１４）を有する例を示すが、動画像５２が外部から取得される場合には、動画像５２を生成するための当該構成は省かれてもよい。なお、第２実施形態における行為支援装置１００のハードウェア構成は制限されない。

動画像記憶部３３は、視線追跡データ６２が重畳されていない行為提示者の動作を表す動画像５２を格納する。行為支援装置１００が撮像部１４を有していない場合には、動画像記憶部３３には、可搬型記録媒体、他のコンピュータ等から入出力Ｉ／Ｆ７２を経由して取得された動画像５２が格納される。

画像取得部７７は、動画像記憶部３３から、視線追跡データ６２が重畳されていない行為提示者の動作を表す動画像５２を取得する。取得されるべき動画像５２は、ユーザ端末１２０の入力部１２２が操作されて選択されてもよい。

手情報取得部９１は、動画像５２の当該動作における行為提示者の手とユーザの手との間の対応関係を示す関係情報を取得する。例えば、当該関係情報は、行為提示者の右手とユーザの右手との対応関係を示す。当該関係情報は、行為提示者の利き手とユーザの利き手とを示す情報であってもよい。ここで、ユーザの利き手を示す情報には、第１実施形態で説明されたように、マウスなどの補助入力装置に関する設定データが利用されるようにしてもよい。また、当該関係情報は、動画像５２に写る当該動作で１つの器具が用いられている場合には、その器具を扱う行為提示者の手（右手又は左手）と、ユーザがその器具を扱うことを望む方の手（右手又は左手）とを示す情報であってもよい。当該動作で２つの器具が用いられている場合には、当該関係情報は、各器具について、その器具を扱う行為提示者の手とユーザの手との関係をそれぞれ示す情報であってもよい。なお、本実施形態では、当該器具の種類を何ら制限しない。

手情報取得部９１は、ユーザ端末１２０の入力部１２２の操作により入力された当該関係情報を取得する。この場合、画像取得部７７は、関係情報をユーザに入力させるための画面データをユーザ端末１２０に送るようにしてもよい。より具体的には、画像取得部７７は、利用される器具毎に、その器具を扱いたい手（右手か左手）を入力可能な画面データをユーザ端末１２０に送るようにしてもよい。また、手情報取得部９１は、ユーザの利き手情報をユーザ端末１２０の入力部１２２の操作により取得し、更に、行為提示者の利き手情報を動画像記憶部３３から動画像５２と共に取得するようにしてもよい。この場合、動画像記憶部３３は、各動画像５２について行為提示者の利き手情報をそれぞれ対応付けて格納する。

出力処理部９２は、手情報取得部９１により取得された関係情報に基づいて、行為提示者とユーザとの間で対応付けられる手同士が鏡像位置となるように、画像取得部７７により取得された動画像５２の正像又は左右反転画像を表示出力させる。表示出力先は、ユーザ端末１２０の表示出力部１２８であってもよいし、行為支援装置１００の表示出力部であってもよい。

具体的には、関係情報により行為提示者の右手とユーザの右手とが対応付けられる場合、出力処理部９２は、行為提示者の右手がユーザの右手の鏡像位置となるように動画像５２の正像又は左右反転画像を表示出力させる。また、関係情報として、行為提示者の利き手が右手であり、ユーザの利き手が左手であることを示す情報を取得した場合には、出力処理部９２は、行為提示者の右手（利き手）がユーザの左手（利き手）の鏡像位置となるように動画像５２の正像又は左右反転画像を表示出力させる。また、動画像５２において行為提示者が右手で化粧具を扱っており、ユーザがその化粧具を右手で扱いたいと望んでいることを示す関係情報を取得した場合には、出力処理部９２は、行為提示者の右手がユーザの右手の鏡像位置となるように動画像５２の正像又は左右反転画像を表示出力させる。

動画像５２内の行為提示者の右手及び左手の認識は、例えば、動画像記憶部３３から動画像５２と共に取得される行為提示者情報により行われる。例えば、行為提示者情報では、動画像５２の左右両端と、行為提示者の左右の手との関係が示される。よって、例えば、当該行為提示者情報が、動画像５２の左端が行為提示者の右手側であり、動画像５２の右端が行為提示者の左手側であることを示す場合で、関係情報により行為提示者の右手とユーザの右手とが対応付けられる場合には、出力処理部９２は、動画像５２の左右反転画像を表示出力させる。

ユーザ情報記憶部３５は、各ユーザについて、上記関係情報とユーザ識別子とを対応付けてそれぞれ格納する。ユーザ情報記憶部３５は、手情報取得部９１により外部から取得された当該関係情報を逐次蓄積するようにしてもよい。これにより、手情報取得部９１は、ユーザ識別子を取得し、この取得されたユーザ識別子に対応する関係情報をユーザ情報記憶部３５から抽出するようにしてもよい。このようにすれば、同じ動画像５２を視聴したい場合、ユーザは、一度、関係情報を入力すれば、次回以降、当該関係情報の入力操作をしないで済む。

図２１は、第２実施形態における行為支援方法を示すフローチャートである。
まず、行為支援装置１００は、ユーザが希望する動画像５２の選択命令を受け付ける（Ｓ２１１）。

続いて、行為支援装置１００は、その選択命令で指定された動画像５２及びその動画像５２に関する行為提示者情報を動画像記憶部３３から取得する（Ｓ２１２）。

更に、行為支援装置１００は、動画像５２に写る動作における行為提示者の手とユーザの手との間の対応関係を示す関係情報を取得する（Ｓ２１３）。この関係情報は、例えば、ユーザ端末１２０の入力部１２２の操作により入力される。また、関係情報は、ユーザ情報記憶部３５から取得されてもよい。この場合、行為支援装置１００は、上記選択命令と共に、ユーザ識別子を受け付けるようにすればよい。

行為支援装置１００は、行為提示者情報と関係情報とを参照して、動画像５２の正像又は左右反転画像を表示出力させる（Ｓ２１４）。

このように、第２実施形態によれば、視線追跡データ６２は重畳されないものの、ユーザは、自身の各手と対応付けられる行為提示者の各手を対角線上ではなく、自身の各手の正面に捉えて動画像５２を目視することができる。このため、ユーザは、動画像５２に写る行為提示者の動作を見ることにより、適切な動作の方向を直観的に把握することができる。これは、上述したとおり、美容行為の動作を鏡像で目視することにユーザが慣れ親しんでいること、ミラーニューロンの特性が活用されること等を理由とする。従って、第２実施形態によれば、ユーザの行為を好適に支援することができる。

更に、第２実施形態によれば、視線追跡データ６２が動画像５２に重畳されていないことで、行為提示者Ｓの動作全体に対する視認性も良好となる。

［第２実施形態の変形例］
上述の第２実施形態では、動画像５２とそれに写る行為提示者の手との関係が動画像５２と共に動画像記憶部３３に格納される行為提示者情報により取得される例が示されたが、当該行為提示者情報は、動画像５２を画像解析することにより自動で取得されるようにしてもよい。

図２２は、第２実施形態の変形例としての行為支援装置１００を含む行為支援システム１０００のブロック図である。本変形例では、行為支援装置１００の画像取得部７７が方向判定部９５を更に含むことが明記される。

方向判定部９５は、動画像５２における行為提示者の撮像方向を判定する。言い換えれば、方向判定部９５は、動画像５２が、行為提示者をどの方向から撮像することで生成されたものであるかを判定する。この判定では、方向判定部９５は、例えば、動画像５２に写る行為提示者の目の検出を試行し、検出に成功した場合、前方からの撮像であると判定し、検出に失敗した場合、後方からの撮像であると判定する。動画像における目の検出方法については、以下の参考文献に開示される方法が利用されればよいため、ここでは説明を省略する。
参考文献：特開２０１０−１５４６３号公報

方向判定部９５により判定された撮像方向によれば、その動画像５２とそれに写る行為提示者の手との関係を自動で認識することができる。例えば、前方からの撮像と判定された動画像５２においては、行為提示者の右手は、動画像５２に向かって左側に位置し、行為提示者の左手は、動画像５２に向かって右側に位置する。逆に、後方からの撮像と判定された動画像５２においては、行為提示者の右手は、動画像５２に向かって右側に位置し、行為提示者の左手は、動画像５２に向かって左側に位置する。これにより、出力処理部９２は、手情報取得部９１により取得された関係情報と方向判定部９５により判定された撮像方向とに基づいて、行為提示者とユーザとの間で対応付けられる手同士が鏡像位置となるように、画像取得部７７により取得された動画像５２の正像又は左右反転画像を表示出力させればよい。

本変形例によれば、行為提示者情報を動画像５２と共に格納しなくても済むため、管理情報を減らすことができる。

［全体の変形例］
さらに、上述の第１実施形態及び第２実施形態の変形例として、視線追跡データ６２が重畳された提示動画像６４と、視線追跡データ６２が重畳されていない提示動画像６４（すなわち動画像５２）と、をユーザが選択して表示出力できるようにしてもよい。具体的には、行為支援装置１００の画像取得部７７が、動画像５２に対して視線追跡データ６２を重畳して表示するか否かを選択する命令の入力をユーザ端末１２０の入力部１２２より受け付けてもよい。これにより、視線追跡データ６２が重畳された提示動画像６４をユーザ端末１２０でまず表示させてユーザは行為提示者Ｓの視点ＶＰの推移を学び、その後に、視線追跡データ６２が重畳されていない動画像５２を表示させて行為提示者Ｓの動作の細部を改めて確認することもできる。

以下に実施例を挙げ、上述の各実施形態を更に詳細に説明する。本発明は以下の実施例から何ら限定を受けない。

図５から図１７は、実施例１にかかる提示動画像の各ステップを順に示すキャプチャー画像である。この提示動画像は、図１から図３に示した行為支援装置１００を用いて作成されたものである。なお、行為提示者Ｓの目線にあたる領域は個人情報保護の観点から目隠し加工してある。

本実施例の行為提示者Ｓは美容専門家であり、その動作は美容行為である。具体的には、本実施例の提示動画像６４は、ウェーブスタイルのヘアスタイルを行為提示者Ｓが作成する動作を含むものである。

［ステップ（１）・・・スタイリング剤（スプレー）の塗布］
図５に示すステップ（１）では、頭髪の全体にスタイリング剤をスプレー塗布する。同図で、行為提示者Ｓの視線が停止した位置が黒丸のスポットＳＰで示され、連続するスポットＳＰが細線ＬＮで示されている。細線ＬＮは行為提示者Ｓの視点の移動方向を示し、スポットＳＰは行為提示者Ｓが視点を置いている部位を示す。したがって、スポットＳＰが集中している領域は行為提示者Ｓが強く着目している部位を示す。図６から図１７においては、同様の符号は適宜省略する。

ステップ（１）では、スプレーする対象となる頭髪の位置（ターゲット）を決めたうえでスタイリング剤をスプレー塗布する。ただし、スプレーの広がりを予測して、剤が当たると予測される位置を、点ではなく範囲として目視確認していることが分かる。すなわち、最初のみスプレーを目視している視点（ＳＰ１）が頭髪にシフトし、その後は剤が当たっている点ではなく、それを囲む広い範囲に視点（ＳＰ２）を分散させていることが分かる。

［ステップ（２）・・・髪止め（ダッカールまたはピン）］
図６および図７に示すステップ（２）では、髪止めＢＲを任意で頭髪に挿入する。ステップ（２）は、後記のステップ（３）で毛束を分け取るための準備工程である。具体的には、コメカミより上の髪が垂れないように髪止めＢＲで止める。髪止めＢＲにより略コメカミ位置で頭髪を上下に分け、先ずコメカミよりも下から生えている頭髪に対してウェーブをつける。

図６は、髪止めをする前の状態を表している。止める必要のある髪の位置を広い範囲として視点を分散させて確認している。

図７は、髪止めＢＲを頭髪に挿入している状態を表している。髪止めをする範囲（コメカミ下方）と、しない範囲（コメカミ上方）との境界が、ダッカールまたはピンの先端で境界線を引くように分けられている。このときは、髪止めＢＲに視点を集中させている。

［ステップ（３）・・・アイロンカーラー］
図８から図１４に示すステップ（３）では、アイロンカーラー（カーラー）を用いて頭髪にウェーブを形成する。

・図８に示すステップ（３−１）では、カーラーＣＲ（図９を参照）に巻きつけるための毛束を分け取る。手で分け取った毛束の表面がきれいに揃っているかを目視確認し、毛束の量は手と頭皮の感触で判断している。毛束の表面の揃いが悪いと、カーラーＣＲへの巻きつけが均一にならず、きれいなウェーブにならないためである。このとき、カーラーＣＲの全体に視点を配るとともに、毛先の移動先にあたる遠位まで視点（ＳＰ３）を分散させている。

・図９に示すステップ（３−２）では、分け取った毛束をカーラーＣＲに巻きつける。このとき、巻きつけた毛束の表面がきれいに揃っているか、かつ毛先の方まで巻きつけられているかを目視確認している。カーラーＣＲによる巻きつけ方向は毛束の上方から下方に向かうため、この巻き付け位置の降下に合わせて視点を移動させる。

・ステップ（３−３）では、カーラーＣＲに巻きつけた保持状態の頭髪を解くタイミングを判断する（図示せず）。特に目視で確認することはなく、視点を毛束の全体に分散させている。巻きつけた毛束の表面を指で触り、カーラーＣＲの熱が全体に伝わった時点で頭髪の保持を解いている。

・図１０に示すステップ（３−４）では、保持を解いた毛束のウェーブ状態の良否を見る。カーラーＣＲに巻いた範囲全体のウェーブの強さを目視で確認している。このとき、毛先にあたる遠位まで視点を広く分散させている。

・図１１に示すステップ（３−５）では、次にカーラーＣＲに巻きつける毛束を分け取る。ステップ（３−３）までで既にウェーブが形成された毛束を再び混ぜて分け取らないように、巻いたところと巻いていないところの境界線に視点（ＳＰ４）を集めている。

・図１２に示すステップ（３−６）では、髪止めＢＲを解いて、コメカミよりも上方の毛束を分け取っている。このとき、コメカミよりも下方（既に巻いたところ）と上方（未だ巻いていないところ）との境界線に視点（ＳＰ５）を集めている。

ここで、図中左側の頭髪に関するウェーブ状態の仕上がりの良否を確認する（後記のステップ（３−７）を参照）。その後、図中右側の頭髪に対して、上記のステップ（２）から（３−６）を行う。

・図１３および図１４に示すステップ（３−７）では、頭髪の仕上がりのウェーブ状態の良否を目視的に確認する。このとき、カーラーＣＲに巻いた範囲全体のウェーブの強さのみならず、毛束ごとのウェーブの形を交互に目視確認している。図１３は、範囲全体を確認しており、図１４は毛束ごとに局所的に確認している。

［ステップ（４）・・・仕上げ剤（スプレー）の塗布］
図１５に示すステップ（４）では、仕上げ剤を頭髪の全体にスプレー塗布する。頭髪の数カ所に対して、仕上げ剤をスプレーする位置（ターゲット）を決めたうえで塗布していく。このとき、スプレーの広がりを予測して、剤が当たると予想される位置を含む広い範囲に視点（ＳＰ６）を分散させるとともに、更に、ステップ（１）のスタイリング剤の場合とは異なり、実際に剤が当たった部位に関しても、狭い範囲に視点（ＳＰ７）を集めて目視確認していることが分かる。

［ステップ（５）・・・仕上がり確認］
図１６および図１７に示すステップ（５）では、最後の仕上がりのウェーブスタイルの良否を目視確認する。具体的には、図１６に示すように、ウェーブスタイル全体としてウェーブ範囲の自然な広がりを確認し、また、図１７に示すように、毛束ごとのウェーブ方向の自然なバラツキを確認する。このように、全体的な確認と局所的な確認とを交互に行うとよいことが分かる。

以上のステップ（１）からステップ（５）まで、美容専門家が自分の頭髪をウェーブスタイルとする動作と、その鏡像を目視する際の視点の推移がユーザに把握される。

上記のように各ステップにおいて頭髪における所定の広い範囲に視点を分散させていることが理解される。本実施例の提示動画像６４によれば、行為提示者Ｓの視点の推移をユーザが確認することができる。このとき、ユーザの利き手と行為提示者Ｓの利き手とが鏡像位置にあるように提示動画像６４を適宜反転させて表示出力することにより、視点の推移と美容行為の動作とを対応づけて理解することがユーザにとって容易である。

かかる本実施例の有効性を更に高めるため、上記各ステップにおいて視点の推移を強調表示する付加情報を提示動画像６４に併せて出力するとよい。本変形例にいう付加情報とは、視線追跡データの表示態様を一部領域または一部時間において変化させるための情報である。言い換えると、付加情報は、視線追跡データに追加されることで当該視線追跡データの画像の一部が強調表示され、これによりユーザの視線を誘導するデータである。

図１８は、ステップ（３−２）の変形例を示す画像である。図９に示したキャプチャー画像とは、矢印で表される方向表示ＩＤＲが付加情報として視線追跡データに追加されている点で相違する。この付加情報は、方向表示ＩＤＲが指し示す方向に向かって視線を移動させることが特に有効であることをユーザに知得させるために視線追跡データ６２に付与される情報である。本変形例では方向表示ＩＤＲとして矢印を例示する。この矢印は、指示方向に向かって長さが伸張するように変動表示されてもよい。この矢印の表示は、行為提示者Ｓの視点が移動するよりも０．１秒乃至数秒早いタイミングで行われるとよい。本変形例によれば、この矢印の向きによって、行為提示者Ｓの視点がその直後に推移していく推移先や推移方向を先回りして表示することができる。

また、図１９は、ステップ（３−６）の変形例を示す画像である。図１２に示したキャプチャー画像とは、複数の指のアイコンで表される注目点表示ＩＡＴが付加情報として視線追跡データに追加されている点で相違する。この付加情報は、注目点表示ＩＡＴが指し示す部位に視点を留めることが特に有効であることをユーザに知得させるために視線追跡データ６２に付与される情報である。この注目点表示ＩＡＴは、行為提示者Ｓの視点が実際にその部位に移動する前に、予め強調表示が開始する。これにより、ユーザは、次に視点が移動する先の部位を先回りして知得することができるため、行為提示者Ｓの注目すべき動作と視点移動との関係を見落とすことがない。

すなわち、これらの変形例の視線追跡データは、視点の推移を連続的に表示する画像データであり、提示動画像は、視点の推移先の位置または推移方向を予め表示するための付加情報を含んでいる。そして、視線追跡データの少なくとも一部は、動画像における動作の推移を先導しているといえる。

以上、本変形例の提示動画像６４は、視線追跡データ６２の一部を強調して表示するための付加情報を含んでいる。これにより、ユーザが美容の素人であったとしても、行為提示者Ｓの動作を後追いするのではなく、むしろ先回りして確認することができるため、ユーザの行為の支援が好適に行われる。

実施例２では、上述の第２実施形態において表示出力される動画像による行為支援の効果を検証するための官能評価結果について説明する。実施例２では、動画像により支援される行為が、細かい注意が不要なものと（実験１と表記）、細かい注意が必要なものと（実験２と表記）、通常鏡を介さずに直視しながら行われるものと（実験３と表記）の３タイプに分けられ、３タイプの行為を対象に３つの実験が行われた。

各実験では、同じ動画像の正像（Ａ）と左右反転画像（Ｂ）とを刺激として用い、右利きの女性被験者５名、左利きの女性被験者３名に対して、次のようなアンケート調査が行われた。当然、スコアは、被験者には秘匿された。
『自分が同じ動作をすることを思ってＡとＢの動画を比較して見てください。その動作をしやすいと感じたのはどちらですか？以下の選択肢から結果を選んでください。』
（選択肢） スコア
・Ａの方がＢより動作がし易い ＋２
・Ａの方がＢよりやや動作がし易い ＋１
・どちらも同じ ０
・Ｂの方がＡよりやや動作がし易い −１
・Ｂの方がＡより動作がし易い −２

〔実験１〕
実験１では、細かい注意が不要な行為として、ヘアカラー、ドライヤー、ファンデーションの３つの行為について、行為提示者の前方から撮像された３つの動画像が刺激に用いられたアンケート調査（実験１−１と表記）と、ヘアカラー、ドライヤーの２つの行為について、行為提示者の後方から撮像された２つの動画像が刺激に用いられたアンケート調査（実験１−２と表記）とが行われた。なお、実験１の刺激とされたヘアカラー及びファンデーションは、広いエリア（頭髪全体、頬）を対象とした行為である。

図２３は、実験１−１で刺激として用いられた３つの動画像を概念的に示す図であり、図２４は、実験１−２で刺激として用いられた２つの動画像を概念的に示す図である。結果として、実験１−１及び１−２において各動画像を用いたアンケート調査で得られたスコアの平均値がそれぞれ算出された。図２５は、実施例２における官能評価結果を示す図である。

実験１−１では、動画Ａ（正像）の行為提示者は、右手を主たる行為の主体として用いているため、右利きの被験者は、動画Ａの行為提示者の右手の鏡像位置にある、利き手でない左手での動作をイメージしてしまい、不自然さを感じてしまう。一方で、動画Ｂ（左右反転画像）の行為提示者は、左手を主たる行為の主体として用いているため、右利きの被験者は、行為提示者の左手の鏡像位置にある、利き手（右手）での動作を即座にイメージでき、不自然さが解消され、動作をやり易く感じる。よって、図２５に示されるように、右利きの被験者については、ヘアカラー、ドライヤー、ファンデーションの全ての行為に関し、マイナスのポイントが得られ、左利きの被験者については、逆に、全行為について、プラスのポイントが得られた。

実験１−２では、行為提示者の後方から撮像された動画像が利用されたため、被験者の各手と動画像内の行為提示者の各手とはそれぞれ鏡像位置関係にある。従って、図２５に示されるように、実験１−２の結果は、実験１−１とは逆の結果を示した。即ち、右利きの被験者については、全行為に関し、プラスのポイントが得られ、左利きの被験者については、全行為について、マイナスのポイントが得られた。

〔実験２〕
実験２では、細かい注意が必要な行為として、アイメイク、ファンデーション、ヘアカラーの３つの行為について、行為提示者の前方から撮像された３つの動画像が刺激に用いられたアンケート調査が行われた。なお、実験２の刺激とされたファンデーション及びヘアカラーは、実験１よりも狭いエリアを対象とする行為である。図２６Ａは、実験２で刺激として用いられたアイメイクを表す動画像を概念的に示す図であり、図２６Ｂは、実験２で刺激として用いられたファンデーション及びヘアカラーを表す動画像を概念的に示す図である。

実験２では、動画Ａ（正像）を見た右利きの被験者は、利き手でない左手での動作が困難であるため、利き手である右手で当該行為をイメージするが、動画Ａ内の行為提示者の右手（主たる行為の主体）と自身の右手とが対角線上に位置することになるため、行為イメージを反転させなければならず、容易に行為をすることができない。これにより、行為自体が遅くなり、作業が粗くなってしまう。一方で、動画Ｂ（左右反転画像）を見た右利きの被験者は、自身の利き手（右手）の鏡像位置に、動画Ｂ内の行為提示者の主たる行為の主体（左手）がくるため、緻密な動きを直感的に短時間で再現でき、動作をやり易く感じた。よって、図２５に示されるように、右利きの被験者については、全行為に関し、マイナスのポイントが得られ、左利きの被験者については、逆に、全行為について、プラスのポイントが得られた。

〔実験３〕
実験３では、通常鏡を介さずに直視しながら行われる行為として、手のひらへの泡出しの行為について、行為提示者の視線方向（前方向）に撮像された１つの動画像が刺激に用いられたアンケート調査が行われ（実験３−１と表記）、当該行為として、腕へのクリーム出し及びクリーム取りの２つの行為について、行為提示者の前方から（視線方向とは逆方向に）撮像された２つの動画像が刺激に用いられたアンケート調査が行われた（実験３−２と表記）。図２７は、実験３−１で刺激として用いられた動画像を概念的に示す図であり、図２８は、実験３−２で刺激として用いられた２つの動画像を概念的に示す図である。

実験３−１では、動画Ａ（正像）を見た右利きの被験者は、動画Ａの行為提示者の右手の鏡像位置にある利き手（右手）で泡出し動作をすることを即座にイメージすることができ、動作をやり易く感じる。一方で、動画Ｂ（左右反転画像）を見た右利きの被験者は、動画Ｂの行為提示者の左手の鏡像位置にある利き手でない左手で泡出し動作をすることをイメージしてしまい、不自然さを感じてしまう。よって、図２５に示されるように、右利きの被験者については、当該行為に関し、プラスのポイントが得られ、左利きの被験者については、逆に、当該行為について、マイナスのポイントが得られた。

実験３−２では、行為提示者の前方から撮像された動画が利用されているため、被験者の手と動画像内の行為提示者の手とは対角線上に位置する関係となる。従って、図２５に示されるように、実験３−２の結果は、実験３−１の逆の結果を示した。即ち、右利きの被験者については、全行為に関し、マイナスのポイントが得られ、左利きの被験者については、全行為について、プラスのポイントが得られた。

このように実施例２によれば、鏡を見ながら行う様々な行為に関して、上述の第２実施形態において表示出力される動画像の正像又は左右反対画像により、ユーザが、行為を直感的にイメージすることができ、行為を好適に支援し得ることが証明された。更に、実施例２によれば、このような効果は、鏡を見ながら行う行為のみならず、鏡を介さず直視しながら行う行為についても発揮されることが証明された。特に、実験１に対して、実験２における細かい注意が必要な行為のほうが、ポイントの絶対値（数値）が大きくなっており、本発明の効果が顕著であることがわかる。

〔補足実験〕
補足実験として、更に、手グシで髪にドライヤーをかける場合に、どちらの手でドライヤーを持つかというアンケート調査が８名に対して行われた。この結果、８名全員が利き手で持つと回答した。結果、行為提示者が本補足実験の対象の上記行為をする場合、器具を扱う行為提示者の手とユーザの手との間の関係情報を用いず、利き手情報のみを用いて、行為提示者の利き手がユーザの利き手の鏡像位置となるように動画像の正像又は左右反転画像を表示出力させることにより、ドライヤーを持つ手同士、クシの役割を担う手同士をそれぞれ鏡像位置とすることができる。

上記実施形態、実施例およびその変形例は、以下の技術思想を包含するものである。
（１）行為提示者の動作を表す動画像と、前記行為提示者の鏡像を目視している当該行為提示者の視点の推移を示す視線追跡データと、が互いに対応づけられて重畳された提示動画像を、反転選択情報に基づいて正像または左右反転画像で表示出力させることを特徴とする行為支援方法；
（２）ユーザの利き手を示す利き手情報を前記反転選択情報として取得し、前記行為提示者の利き手が前記ユーザの利き手の鏡像位置となるよう前記正像または前記左右反転画像を選択して前記提示動画像を表示出力させる上記（１）に記載の行為支援方法；
（３）前記提示動画像が、前記視線追跡データの一部を強調して表示するための付加情報を含む上記（１）または（２）に記載の行為支援方法；
（４）前記視線追跡データは前記視点の推移を連続的に表示する画像データであり、前記提示動画像が前記視点の推移先の位置または推移方向を予め表示するための付加情報を含む上記（１）から（３）のいずれかに記載の行為支援方法；
（５）前記視線追跡データは前記視点の推移を連続的に表示する画像データであり、前記視線追跡データの少なくとも一部が前記動画像における前記動作の推移を先導していることを特徴とする上記（１）から（４）のいずれかに記載の行為支援方法；
（６）前記行為提示者が美容専門家であり、前記動作が美容行為である上記（１）から（５）のいずれかに記載の行為支援方法；
（７）行為提示者の動作を表す動画像と、前記行為提示者の鏡像を目視している当該行為提示者の視点の推移を示す視線追跡データと、が互いに対応づけられて重畳された提示動画像を記憶する動画像記憶手段と、反転選択情報を受信する受信手段と、受信した前記反転選択情報に基づいて前記提示動画像の正像または左右反転画像を取得する画像取得手段と、取得した前記正像または前記左右反転画像の前記提示動画像を送信する送信手段と、を含む行為支援装置；
（８）前記動画像記憶手段は、前記提示動画像と前記行為提示者の利き手を示す提示者情報とを対応づけて記憶する上記（７）に記載の行為支援装置；
（９）前記受信手段は、ユーザの利き手を示す利き手情報を前記反転選択情報として受信し、前記画像取得手段は、前記動画像記憶手段を参照し、受信した前記利き手情報に基づいて前記行為提示者の利き手が前記ユーザの利き手の鏡像位置となる前記正像または前記左右反転画像を取得する上記（８）に記載の行為支援装置；
（１０）前記受信手段は、補助入力装置に関する設定データを前記利き手情報として受信する上記（９）に記載の行為支援装置；
（１１）ユーザの利き手を示す利き手情報を前記反転選択情報として含むユーザ情報を、当該ユーザを識別する識別子と対応づけて記憶するユーザ情報記憶手段をさらに備え、前記受信手段は、ネットワークを通じてユーザから前記識別子を受信し、前記画像取得手段は、前記ユーザ情報記憶手段および前記動画像記憶手段を参照して、前記行為提示者の利き手と前記ユーザの利き手との一致または不一致を判定し、これらの利き手どうしが鏡像位置となる前記正像または前記左右反転画像を取得する上記（８）に記載の行為支援装置；
（１２）入射光の一部を透過して他の一部を反射する光束分離手段と、前記光束分離手段を透過した前記行為提示者の動画像を撮像する撮像手段と、前記光束分離手段で反射された前記行為提示者の鏡像を目視する当該行為提示者の視点の推移を示す視線追跡データを取得する視線取得手段と、前記動画像における前記行為提示者の動作と、前記視線追跡データが示す前記視点の推移と、の位置およびタイミングを対応づけて前記提示動画像を生成する動画像生成手段と、をさらに含む上記（７）から（１１）のいずれかに記載の行為支援装置。

１０ 筐体
１２ 光束分離部
１４ 撮像部
１６ 信号線
２０ 視線取得部
２２ 信号線
２４ 光ビーム
３０ 記憶部
３１ 画像蓄積部
３２ 視線データ蓄積部
３３ 動画像記憶部
３５ ユーザ情報記憶部
５０ 鏡像
５２ 動画像
６０ 頭部
６２ 視線追跡データ
６４ 提示動画像
７０ ＣＰＵ
７６ 生成部
７７ 画像取得部
７８ 受信部
７９ 送信部
８０ バス
９１ 手情報取得部
９２ 出力処理部
９５ 方向判定部
１００ 行為支援装置
１１０ ネットワーク
１２０ ユーザ端末
１２２ 入力部
１２４ 制御部
１２６ 送受信部
１２８ 表示出力部
１０００ 行為支援システム
ＢＲ 髪止め
Ｃ 反射面
ＣＭ 反転選択情報
ＣＲ カーラー
ＩＡＴ 注目点表示
ＩＤＲ 方向表示
ＩＰＨ 提示者利き手情報
ＩＵＨ 利き手情報
Ｌ 距離
ＬＮ 細線
ＬＯＳ 視線
Ｓ 行為提示者
ＳＰ スポット
ＶＰ 視点

Claims (22)

1. 行為提示者の動作を表す動画像と、前記行為提示者の鏡像を目視している当該行為提示者の視点の推移を示す視線追跡データと、が互いに対応づけられて重畳された提示動画像を、反転選択情報に基づいて正像または左右反転画像で表示出力させることを特徴とする行為支援方法。
2. ユーザの利き手を示す利き手情報を前記反転選択情報として取得し、前記行為提示者の利き手が前記ユーザの利き手の鏡像位置となるよう前記正像または前記左右反転画像を選択して前記提示動画像を表示出力させる請求項１に記載の行為支援方法。
3. 前記提示動画像が、前記視線追跡データの一部を強調して表示するための付加情報を含む請求項１または２に記載の行為支援方法。
4. 前記視線追跡データは前記視点の推移を連続的に表示する画像データであり、前記提示動画像が前記視点の推移先の位置または推移方向を予め表示するための付加情報を含む請求項１から３のいずれか一項に記載の行為支援方法。
5. 前記視線追跡データは前記視点の推移を連続的に表示する画像データであり、前記視線追跡データの少なくとも一部が前記動画像における前記動作の推移を先導していることを特徴とする請求項１から４のいずれか一項に記載の行為支援方法。
6. 前記行為提示者が美容専門家であり、前記動作が美容行為である請求項１から５のいずれか一項に記載の行為支援方法。
7. 行為提示者の動作を表す動画像と、前記行為提示者の鏡像を目視している当該行為提示者の視点の推移を示す視線追跡データと、が互いに対応づけられて重畳された提示動画像を記憶する動画像記憶手段と、
   反転選択情報を受信する受信手段と、
   受信した前記反転選択情報に基づいて前記提示動画像の正像または左右反転画像を取得する画像取得手段と、
   取得した前記正像または前記左右反転画像の前記提示動画像を送信する送信手段と、
   を含む行為支援装置。
8. 前記動画像記憶手段は、前記提示動画像と前記行為提示者の利き手を示す提示者情報とを対応づけて記憶する請求項７に記載の行為支援装置。
9. 前記受信手段は、ユーザの利き手を示す利き手情報を前記反転選択情報として受信し、
   前記画像取得手段は、前記動画像記憶手段を参照し、受信した前記利き手情報に基づいて前記行為提示者の利き手が前記ユーザの利き手の鏡像位置となる前記正像または前記左右反転画像を取得する請求項８に記載の行為支援装置。
10. 前記受信手段は、補助入力装置に関する設定データを前記利き手情報として受信する請求項９に記載の行為支援装置。
11. ユーザの利き手を示す利き手情報を前記反転選択情報として含むユーザ情報を、当該ユーザを識別する識別子と対応づけて記憶するユーザ情報記憶手段をさらに備え、
    前記受信手段は、ネットワークを通じてユーザから前記識別子を受信し、
    前記画像取得手段は、前記ユーザ情報記憶手段および前記動画像記憶手段を参照して、前記行為提示者の利き手と前記ユーザの利き手との一致または不一致を判定し、これらの利き手どうしが鏡像位置となる前記正像または前記左右反転画像を取得する請求項８に記載の行為支援装置。
12. 入射光の一部を透過して他の一部を反射する光束分離手段と、
    前記光束分離手段を透過した前記行為提示者の動画像を撮像する撮像手段と、
    前記光束分離手段で反射された前記行為提示者の鏡像を目視する当該行為提示者の視点の推移を示す視線追跡データを取得する視線取得手段と、
    前記動画像における前記行為提示者の動作と、前記視線追跡データが示す前記視点の推移と、の位置およびタイミングを対応づけて前記提示動画像を生成する動画像生成手段と、をさらに含む請求項７から１１のいずれか一項に記載の行為支援装置。
13. 行為提示者の動作を表す動画像を取得する画像取得工程と、
    前記動作における前記行為提示者の手とユーザの手との間の対応関係を示す関係情報を取得する手情報取得工程と、
    前記関係情報に基づいて前記行為提示者と前記ユーザとの間で対応付けられる手同士が鏡像位置となるように前記動画像の正像又は左右反転画像を表示出力させる出力工程と、
    前記動画像における前記行為提示者の撮像方向を判定する方向判定工程と、
    を含み、
    前記出力工程は、前記判定された撮像方向及び前記関係情報に基づいて、前記正像を表示出力させるか又は前記左右反転画像を表示出力させるかを決定する、
    行為支援方法。
14. 前記手情報取得工程は、前記関係情報として、前記行為提示者の利き手の情報と前記ユーザの利き手の情報とを取得し、
    前記出力工程は、前記関係情報に基づいて、前記行為提示者の利き手が前記ユーザの利き手の鏡像位置となるように前記動画像の正像又は左右反転画像を表示出力させる、
    請求項１３に記載の行為支援方法。
15. 前記手情報取得工程は、前記関係情報として、前記動作で用いられる器具と、該器具を扱う前記行為提示者の手と前記ユーザの手との間の関係情報とを取得し、
    前記出力工程は、前記関係情報に基づいて、前記行為提示者及び前記ユーザにおける同じ器具を扱う手どうしが鏡像位置となるように前記動画像の正像又は左右反転画像を表示出力させる、
    請求項１３に記載の行為支援方法。
16. 前記出力工程はユーザ端末の表示手段に前記正像又は前記左右反転画像を表示出力させ、
    前記手情報取得工程は、前記ユーザ端末の補助入力装置に関する設定データを前記ユーザの利き手の情報として取得する請求項１４に記載の行為支援方法。
17. 各ユーザについて、前記関係情報とユーザ識別子とを対応づけて記憶手段にそれぞれ蓄積する蓄積工程を更に含み、
    前記手情報取得工程は、ユーザ識別子を取得し、取得されたユーザ識別子に対応する前記関係情報を前記記憶手段から抽出する、
    請求項１３から１５のいずれか１項に記載の行為支援方法。
18. 行為提示者の動作を表す動画像を取得する画像取得手段と、
    前記動作における前記行為提示者の手とユーザの手との間の関係情報を取得する手情報取得手段と、
    前記関係情報に基づいて前記行為提示者と前記ユーザとの間で対応付けられる手同士が鏡像位置となるように前記動画像の正像又は左右反転画像を表示出力させる出力処理手段と、
    前記動画像における前記行為提示者の撮像方向を判定する方向判定手段と、
    を備え、
    前記出力処理手段は、前記判定された撮像方向及び前記関係情報に基づいて、前記正像を表示出力させるか又は前記左右反転画像を表示出力させるかを決定する、
    行為支援装置。
19. 前記手情報取得手段は、前記関係情報として、前記行為提示者の利き手の情報と前記ユーザの利き手の情報とを取得し、
    前記出力処理手段は、前記関係情報に基づいて、前記行為提示者の利き手が前記ユーザの利き手の鏡像位置となるように前記動画像の正像又は左右反転画像を表示出力させる、
    請求項１８に記載の行為支援装置。
20. 前記手情報取得手段は、前記関係情報として、前記動作で用いられる器具と、該器具を扱う前記行為提示者の手と前記ユーザの手との間の関係情報とを取得し、
    前記出力処理手段は、前記関係情報に基づいて、前記行為提示者及び前記ユーザにおける同じ器具を扱う手どうしが鏡像位置となるように前記動画像の正像又は左右反転画像を表示出力させる、
    請求項１８に記載の行為支援装置。
21. 前記出力処理手段はユーザ端末の表示手段に前記正像又は前記左右反転画像を表示出力させ、
    前記手情報取得手段は、前記ユーザ端末の補助入力装置に関する設定データを前記ユーザの利き手の情報として取得する請求項１９に記載の行為支援装置。
22. 各ユーザについて、前記関係情報とユーザ識別子とを対応づけてそれぞれ格納するユーザ情報格納手段を更に含み、
    前記手情報取得手段は、ユーザ識別子を取得し、取得されたユーザ識別子に対応する前記関係情報を前記ユーザ情報格納手段から抽出する、
    請求項１８から２０のいずれか１項に記載の行為支援装置。