JP6710095B2 - 技術支援装置、方法、プログラムおよびシステム - Google Patents

Description

この発明は、技術支援装置、方法、プログラムおよびシステムに関する。

一般に、その分野のプロ（専門家）が行った実際の作業および技術をユーザがその作業および技術を参考として行うことがある。例えば、ユーザがメイクを行う場合は、ファッション誌やインターネットにアップロードされた動画を参考にすることが多い。ファッション誌やインターネットの動画では、モデルの顔を用いて参考とするメイクの方法が示されている。しかしながら、顔のパーツの位置や形、大きさなど個人差があるため、参考とするメイクにすることは難しい。
従来技術として、ユーザの撮影映像に対して、メイクすべき領域を表示する技術が存在する。（例えば、非特許文献１および非特許文献２参照）。

"まるで魔法の鏡！パナソニックの仮想メイクアップシステム「Smart Mirror」"、［Online］、SAKIDORI|未来をサキドリするＷｅｂマガジン、［平成２８年１月１４日検索］、インターネット<URL:http://sakidori.co/article/7107> "オプティムがコスメマーケットに参入、コスメ×ＩＴにおいて、Remote Experience Sharingを実現"、［Online］、ＯＰＴｉＭ、［平成２８年１月１４日検索］、インターネット<URL: http://www.optim.co.jp/newsdetail/17814>

しかしながら、従来技術では、ユーザの顔の撮影映像に対して作業すべき領域を重畳することで、作業対象となる領域を明確にしているが、実際にユーザが作業に必要な道具をいかに使い、その使い方が正しいかどうかを判断することができず、参考とする作業結果にならない可能性がある。つまりメイクの場合では、実際にメイクするときに、自身のメイク道具の使い方が正しいか、一筆一筆描いたメイクが正しいかどうか判断することができないため、参考とするメイクにならない可能性がある。
例えば、眉頭をメイクするときは、アイブローを顔に対して垂直に持つと色の斑が多くなってしまう。また、二筆目にメイクすべき位置を間違えて、一筆目にメイクした位置に重ねてメイクすると、色味が濃くなってしまう。

この発明は上記事情に着目してなされたもので、その目的とするところは、ユーザが参考とする作業結果を効率的かつ容易に実現することができる技術支援装置、方法、プログラムおよびシステムを提供することにある。

上記目的を達成するために、この発明の一つの観点に係る技術支援装置は、画像取得手段、センサ情報取得手段、参考使用方法格納手段および使用方法評価手段を含む。画像取得手段は、処理対象に関する画像である対象画像を取得し、前処理を行い、センサ情報取得手段は、前記処理対象に対してユーザが作業する処理領域における、当該ユーザの作業および当該ユーザにより使用される道具の使用方法の少なくともいずれか一方に関する速度および角度を表すセンサ情報を取得し、参考使用方法格納手段は、前記処理領域において前記ユーザが参考とする作業方法および参考とする前記道具の使用方法に関する速度および角度を表す参考方法情報を格納し、使用方法評価手段は、前記センサ情報と前記参考方法情報との速度および角度それぞれの差分に応じて、前記作業方法および前記使用方法の少なくともいずれか一方を当該参考方法情報に近づけるための使用方法ガイド情報を含むフィードバック内容を生成することを特徴とする。

さらに、一つの観点に係る技術支援装置は、単位作業ガイド情報格納手段と単位作業ガイド重畳手段とをさらに含む。単位作業ガイド情報格納手段は、前記処理領域における前記ユーザの単位作業ごとのガイド内容を格納し、単位作業ガイド重畳手段は、前記センサ情報を参照して、前記ガイド内容を表す単位作業ガイド内容を前記対象画像に重畳させることを特徴とする。

さらに、一つの観点に係る技術支援装置は、実施情報生成手段と、参考状態格納手段と、状態評価手段とをさらに含む。実施情報生成手段は、前記対象画像を参照して、前記処理領域と当該処理領域における前記ユーザの作業結果とに関する実施情報を生成し、参考状態格納手段は、前記処理領域において前記ユーザが参考とする状態に関する参考状態情報を格納し、状態評価手段は、前記作業結果と前記参考状態情報との差分に応じて、前記処理領域の状態を前記参考とする状態に近づけるための状態ガイド情報を含むフィードバック内容を生成することを特徴とする。

さらに、一つの観点に係る技術支援装置は、参考状態重畳手段をさらに含み、参考状態重畳手段は、前記処理領域以外の領域のうち、未処理の領域である未処理領域と当該未処理領域に対応する参考状態情報とを用いて、当該未処理領域を示す内容と、当該未処理領域に対応する参考状態情報の内容との少なくともいずれか一方を生成することを特徴とする。

さらに、一つの観点に係る技術支援装置は、前記参考状態重畳手段は、前記センサ情報に応じて、前記参考状態情報に基づく内容を前記対象画像に合わせたフィードバック内容を生成することを特徴とする。

さらに、一つの観点に係る技術支援装置は、参考状態画像と当該参考状態画像の特徴点情報とに基づいて、前記参考状態情報を算出する参考状態算出手段をさらに含むことを特徴とする。

さらに、一つの観点に係る技術支援装置は、前記対象画像は、前記ユーザの顔画像であり、前記道具は、メイク道具であり、前記参考値は、テーマに応じた見本メイク画像における色調であって、前記技術支援装置は、選択手段をさらに含み、前記選択手段は、前記ユーザに前記テーマを選択させることを特徴とする。

すなわちこの発明によれば、ユーザが参考とする作業結果を効率的かつ容易に実現することができる。

第１の実施形態における技術支援装置を示すブロック図。 状態評価部の詳細を示すブロック図。 使用方法評価部の詳細を示すブロック図。 センサ情報取得部が取得するセンサ情報の一例を示す図。 特徴点検出部が取得する特徴点情報の一例を示す図。 実施情報一時格納部に格納される実施情報の一例を示す図。 参考状態格納部に格納されるデータの一例を示す図。 参考使用方法格納部に格納されるデータの一例を示す図。 参考使用方法格納部に格納されるデータの一例を示す図。 使用方法評価部の作業を示すフローチャート。 使用方法ガイド情報の一例を示す図。 表示出力部から出力されるフィードバック画像の一例を示す図。 表示出力部から出力されるフィードバック画像の別例を示す図。 第２の実施形態に係る技術支援装置を示すブロック図。 単位作業ガイド情報格納部に格納される単位情報ガイド情報の一例を示す図。 重畳される単位作業ガイド画像を示す矢印の一例を示す図。 第２の実施形態に係るフィードバック画像を示す図。 第３の実施形態に係る技術支援装置を示すブロック図。 第３の実施形態に係る枠線画像の一例を示す図。 第３の実施形態に係るフィードバック画像を示す図。 第４の実施形態に係る作業例を示す図。 図１に示す技術支援装置の変形例を示す図。 図１３に示す技術支援装置の変形例を示す図。 図１７に示す技術支援装置の変形例を示す図。

以下、図面を参照しながら本開示の一実施形態に係る技術支援装置、方法、プログラムおよびシステムについて詳細に説明する。なお、以下の実施形態では、同一の番号を付した部分については同様の動作を行うものとして、重ねての説明を省略する。

（第１の実施形態）
第１の実施形態における技術支援装置について図１のブロック図を参照して説明する。
第１の実施形態に係る技術支援装置１００は、画像取得部１０１、特徴点検出部１０２、テーマ選択部１０３、実施情報生成部１０４、実施情報一時格納部１０５、参考状態格納部１０６、状態評価部１０７、センサ情報取得部１０８、参考使用方法格納部１０９、使用方法評価部１１０および表示出力部１１１を含む。

画像取得部１０１は、カメラ１６０から処理対象に関する画像（対象画像ともいう）を取得する。カメラ１６０は、外部に存在してもよいし、技術支援装置１００に内蔵されていてもよい。なお、取得した対象画像については、補正処理などの前処理を行うことが望ましい。前処理の例としては、具体的には、解像度の大きさを調整する処理、影を除去する処理、画像中の対象領域に他の物体が重なってしまったときに物体の除去を行う処理、背景抽出などで検出の対象となる領域を限定する処理、左右を反転する処理などが挙げられる。ここでは、カメラ１６０により処理対象への作業経過を撮像し続けることを想定し、画像取得部１０１が、一定の間隔で画像を取得すると想定する。

特徴点検出部１０２は、画像取得部１０１から対象画像（または前処理された対象画像）を受け取り、パターンマッチングなどの特徴点の検出方法を用いて、対象画像から特徴点情報を生成する。特徴点情報とは、対象画像と、対象画像における処理領域（部位またはパーツともいう）の位置関係とに関する情報を含む。処理領域は、処理対象に対してユーザが作業する部分である。

テーマ選択部１０３は、外部の操作装置１４０（キーボード、マウス、タッチパネルまたはマイクなど）から、ユーザが入力した所望のテーマに関するテーマ選択情報を受け取る。テーマとは、ユーザが参考とする技術および作業に関するカテゴリを示す。テーマのカテゴリは、設定値により変更できるようにしてもよく、インターネット上から得た情報をもとに設定されてもよい。

実施情報生成部１０４は、特徴点検出部１０２から対象画像および特徴点情報を、テーマ選択部１０３からテーマ選択情報をそれぞれ受け取り、画像１フレームごとに、対象画像と特徴点情報とを用いて、画像の色情報を含む実施情報を生成する。実施情報生成部１０４は、実施情報一時格納部１０５に以前に格納した前のフレームに関する実施情報（前実施情報）と、処理している現在のフレームの実施情報とを比較して比較値を算出する。比較値が閾値よりも大きければ、ユーザの作業の単位作業が開始されたと判定して開始信号を生成する。単位作業は、ユーザが対象領域に対して行う作業の１単位を示す。
実施情報一時格納部１０５は、いわゆるバッファであり、実施情報生成部１０４から実施情報を受け取り、実施情報を一時的に格納する。

参考状態格納部１０６は、テーマごとに、ユーザが参考とする状態とユーザに提示するガイド内容とを含む参考状態情報を事前に格納する。ガイド内容は、ユーザの作業結果とユーザが参考とする状態との差分に応じて、提示される内容が決定されていることを想定するが、設定により差分の値や内容を変更可能としてもよい。

状態評価部１０７は、実施情報生成部１０４から対象画像、最新の実施情報およびテーマ選択情報を、実施情報一時格納部１０５から前実施情報をそれぞれ受け取る。状態評価部１０７は、最新の実施情報と参考状態格納部に格納される参考状態情報との差分に応じて、処理領域の状態を参考とする状態に近づけるための状態ガイド情報を含むフィードバック内容を生成する。フィードバック内容は、例えば、画像、テキスト、および音声またはこれらの組み合わせであり、ユーザがフィードバック内容を理解できる指示であれば何でもよい。また、状態評価部１０７は、差分が閾値よりも小さければ、ユーザの作業の単位作業が終了したと判定して終了信号を生成する。
なお、状態評価部１０７は、最新の実施情報と前実施情報の比較だけでなくてもよい。例えば、最新の実施情報と複数の前実施情報の平均値とを比較してもよい。また、最新のフレームをｎ（ｎ：自然数）枚目とするとき，ｎ枚目のフレームの実施情報とｎ−１枚目のフレームの実施情報とを比較し、ｎ−２枚目のフレームの実施情報とｎ−３枚目のフレームの実施情報を比較し、・・・といったように複数回の比較をし、その内の数回の比較においてある閾値を超えた際、最新の実施情報を参考状態格納部１０６に格納される参考状態情報と比較してもよい。状態評価部１０７は、複数回の比較により実施情報一時格納部１０５に格納された実施情報と最新の実施情報とを比較すればよい。

センサ情報取得部１０８は、センサ１２０からのセンサ情報を取得する。本実施形態では、センサ１２０がユーザにより使用される道具に取り付けられる場合、ユーザの身体に取り付けられる場合、または環境に設置される場合を想定する。道具に取り付けられるセンサ１２０からのセンサ情報は、道具に関する識別子とセンサの実測値とを含む。ユーザの身体に取り付けられるセンサ１２０および環境に設置されるセンサ１２０のセンサ情報は、センサ自体に関する識別子とセンサの実測値とをそれぞれ含む。センサ１２０としては、加速度センサ、磁気センサ、温度センサなどが想定されるが、ユーザの作業および道具の使用方法（使用状態）が測定できるようなセンサであれば、どのようなセンサでもよい。また、センサ情報取得部１０８は、これらのセンサ１２０から値を読み取るが、ノイズ処理や間引き処理などを行うことが望ましい。
なお、ここでは、センサ情報取得部１０８が、一定の間隔でセンサ情報を取得することを想定しているが、センサ情報の取得間隔は、例えば、メイクする位置やメイク道具等に応じて、設定値により変更できるようにしてもよい。

参考使用方法格納部１０９は、処理領域においてユーザが参考する技術や作業方法、および参考とする道具の使用方法に関する参考方法情報を事前に格納する。参考方法情報は、センサ情報の参考値（理論値）、差分、および差分に応じたガイド内容を含む。
使用方法評価部１１０は、参考使用方法格納部１０９から参考方法情報を、テーマ選択部１０３からテーマ選択情報を、実施情報生成部１０４から実施情報および開始信号を、センサ情報取得部１０８からセンサ情報をそれぞれ受け取る。使用方法評価部１１０は、実施情報生成部１０４から開始信号を受け取ってから状態評価部１０７から終了信号を受け取るまで、センサ情報と参考方法情報との差分を算出し、差分に応じて、ユーザの作業方法および道具の使用方法の少なくともいずれか一方を参考方法情報に近づけるための使用方法ガイド情報を含むフィードバック内容を生成する。状態評価部１０７の場合と同様に、フィードバック内容は、例えば、画像、テキスト、および音声またはこれらの組み合わせであり、ユーザがフィードバック内容を理解できる指示であれば何でもよい。

表示出力部１１１は、状態評価部１０７および使用方法評価部１１０からそれぞれフィードバック内容を受け取り、フィードバック内容を外部の表示装置１８０に出力する。なお、表示出力部１１１は、状態評価部１０７のフィードバック内容または使用方法評価部１１０のフィードバック内容のいずれか一方を出力するようにしてもよい。また、表示出力部１１１は、受け取ったフィードバック内容が画像であれば、画像を１枚または数枚の画像にまとめて、表示装置１８０に出力してもよい。また、フィードバック内容が音声であれば、スピーカーなどにより音声を出力すればよい。
表示出力部１１１は、センサ情報取得部１０８からのセンサ情報と実施情報生成部１０４からの開始信号とに基づいて、フィードバック内容を表示装置１８０に出力するタイミングを決定してもよい。また、状態評価部１０７からの終了信号に基づいて出力の変更、終了のタイミングを決定してもよい。

表示装置１８０が鏡型ディスプレイの場合、対象画像とフィードバック内容とを表示するのでなく、鏡に映った処理対象と照らし合わせてフィードバック内容を鏡面に表示してもよい。また、表示装置１８０がプロジェクションマッピングの場合、フィードバック内容を処理対象そのものに直接重畳してもよい。また、表示装置１８０がＡＲ（Augmented Reality）装置であれば、ユーザがカメラを通して見ている視界にフィードバック内容が重畳されればよい。

次に、状態評価部１０７の詳細について図２のブロック図を参照して説明する。
状態評価部１０７は、差分算出部２０１および状態ガイド生成部２０２を含む。

差分算出部２０１は、実施情報生成部１０４から受け取った対象画像および実施情報と、参考状態格納部１０６に格納される参考状態情報との差分を算出する。差分算出部２０１は、参考状態格納部１０６から、差分に応じたガイド内容を取得する。
状態ガイド生成部２０２は、差分算出部２０１から対象画像およびガイド内容を受け取り、ガイド内容に基づいて、ユーザへのフィードバックとして対象画像に対して設定値により定められた位置に重畳させるための状態ガイド情報を生成する。さらに、状態ガイド生成部２０２は、対象画像と状態ガイド情報とを含むフィードバック内容を生成する。

次に、使用方法評価部１１０の詳細について図３のブロック図を参照して説明する。
使用方法評価部１１０は、差分算出部３０１および使用方法ガイド生成部３０２を含む。

差分算出部３０１は、上述のように、対象画像、テーマ選択情報、開始信号、終了信号およびセンサ情報を受け取る。差分算出部３０１は、終了信号を受け取った場合に、参考使用方法格納部１０９から理論値を取得して、センサ情報の実測値と理論値とを比較して差分を算出する。差分算出部３０１は、参考使用方法格納部１０９から差分に応じたガイド内容を取得する。

使用方法ガイド生成部３０２は、差分算出部３０１から対象画像およびガイド内容を受け取り、ガイド内容に基づいて、ユーザへのフィードバックとして対象画像に対して設定値により定められた位置に重畳させるための使用方法ガイド情報を生成する。さらに、使用方法ガイド生成部３０２は、対象画像と使用方法ガイド情報とを含むフィードバック内容を生成する。

以下、具体例として、ユーザがメイクをする場合の技術支援装置１００の処理について説明する。ここでは、メイク道具に加速度センサおよび磁気センサといったセンサ１２０が取り付けられ、カメラ１６０によりユーザの顔を対象画像として、顔のパーツごとにメイクをしていく様子が撮影されることを想定する。

画像取得部１０１は、取得した画像において、補正処理や前処理を行う。具体的には、解像度の大きさを調整する処理や横顔を撮影した画像の場合に正面の顔画像にする処理、影の除去処理、画像の顔の領域に物体（手やメイク道具等）が重なってしまったときに物体の除去を行う処理、背景抽出等で顔検出対象となる領域を限定する処理等である。

次に、センサ情報取得部１０８が取得するセンサ情報Ｓの一例について図４に示す。
図４に示すテーブル４００には、道具ＩＤ４０１、速度４０２および角度４０３がそれぞれ対応付けられて、センサ情報として格納される。なお、図示しないが、これらの情報を取得した時刻を対応付けてさらに格納してもよい。

道具ＩＤ４０１は、ユーザが使用する道具を一意に識別するための識別子である。ここでは、メイク道具のメーカ、カラー、色味、商品番号などから構成される識別子である。
速度４０２（速度ｓ）は、ユーザが道具を使用する際の、道具の速度の実測値である。ここでは、メイク道具を使用する速度である。
角度４０３（角度ａ）は、ユーザが道具を使用する際の、処理対象に対する道具の角度の実測値である。ここでは、フェイスラインや眉などメイクの対象パーツに対するメイク道具の角度である。

次に、特徴点検出部１０２が取得する特徴点情報の一例について図５に示す。
図５に示すテーブル５００には、パーツＩＤ５０１、パーツ詳細ＩＤ５０２、特徴点座標５０３および領域５０４がそれぞれ対応付けられて、特徴点情報ｆとして格納される。パーツＩＤは、処理対象となるパーツを一意に識別するための識別子であり、ここでは、左眉毛、右眉毛、左目、右目、鼻、口、左頬、右頬など顔を印象付けるパーツの識別子である。パーツ詳細ＩＤ５０２は、パーツ内をさらに分類した領域を一意に識別するための識別子であり、ここでは、眉尻、眉頭、目尻、目頭などの詳細部についての識別子である。特徴点座標５０３は、処理対象に対してパーツが占める領域を表す座標であり、ここでは１次元座標から３次元座標までのいずれかを想定しているが、さらに高次元の座標も同様に用いることができる。領域５０４は、パーツに対して処理される領域を示し、ここではメイク塗装領域を示す。なお、領域５０４は、パーツまたはパーツ詳細の特徴点を結んだ領域でもよく、設定値により変更可能としてもよい。

次に、テーマ選択部１０３は、テーマ選択情報として、ユーザから指定されたメイクのテーマを取得する。メイクのテーマとは、可愛い系や大人っぽい系など、ユーザが参考とするメイクのカテゴリのことを示す。メイクのテーマのカテゴリは設定値により変更できてもよく、テーマを識別するための識別子をテーマＩＤとする。なお、メイクテーマのカテゴリは、インターネット上から得た情報をもとに設定してもよい。

実施情報生成部１０４は、図５に示すような特徴点情報ｆに基づいて、画像取得部１０１から得た対象画像に対して、特徴点情報の領域５０４ごとに、領域５０４内の色を測定して実測値を取得する。色は、１ピクセルごとのＲＧＢ値やＲＧＢＡ値、ＨＳＶ値、または、領域内の全ピクセルにおけるＲＧＢ値やＲＧＢＡ値、ＨＳＶ値の平均値が考えられるが、色が指定できる値であればどのような値でもよい。実施情報生成部１０４は、画像１フレームごとに、特徴点情報ｆと領域５０４内の色とテーマ選択情報に含まれるテーマＩＤとをまとめて、前実施情報として、実施情報一時格納部１０５に格納する。

実施情報生成部１０４は、実施情報一時格納部１０５に格納した最新のフレームに関する領域５０４内の色と、最新のフレームのよりも前のフレームに関する領域５０４内の色とを比較し、２値の差や最小二乗法等を用いて差分を算出する。差分の値が閾値よりも大きい場合、メイクが始まったと判定され、開始信号を使用方法評価部１１０に送る。なお、差分の値の閾値は、変更可能としてもよい。

次に、実施情報一時格納部１０５に格納される実施情報の一例について図６に示す。
図６に示すテーブル６００には、テーマＩＤ６０１、パーツＩＤ５０１、パーツ詳細ＩＤ５０２、特徴点座標５０３、領域５０４および色６０２ｃがそれぞれ対応付けられて、前実施情報として格納される。テーマＩＤ６０１は、上述したテーマ選択情報に含まれる識別子である。色６０２ｃは、領域５０４内の色の実測値である。色６０２ｃは、単位作業の矢印領域７０３ごとに格納されてもよい。

次に、参考状態格納部１０６に格納されるデータの一例について図７に示す。
図７に示すテーブル７００には、テーマＩＤ６０１、パーツＩＤ５０１、パーツ詳細ＩＤ５０２、道具ＩＤ４０１、領域５０４、単位作業ＩＤ７０１、起点および終点７０２、矢印領域７０３、色７０４ｃ’、色差分７０５およびガイド内容７０６がそれぞれ対応付けられて格納される。

単位作業ＩＤ７０１は、作業の１単位を識別する識別子であり、ここでは、眉などを描く際の一筆の運びを示す。起点および終点７０２は、矢印の起点の座標および終点の座標を示し、複数の矢印がつながって構成されたものが単位作業となる。なお、矢印の起点および終点７０２の座標は、パーツまたはパーツ詳細の特徴点座標との相対座標である。矢印領域７０３は、対象画像に重畳する矢印の領域に対応する座標であり、起点および終点７０２の座標、矢印の太さで決まる。色７０４ｃ’は、矢印領域７０３内の見本メイク画像の色調の理論値である。色７０４ｃ’は、対象となる領域５０４や矢印領域７０３の外周近辺等の色（ユーザの肌色）と比較し、設定により変更することも可能とする。色差分７０５は、色７０４ｃ’からの差分値を示す。ガイド内容７０６は、ユーザに対象画像の状態を通知する内容を示し、テキスト、イラスト、画像、ＣＧ、および音声などの組み合わせの情報である。すなわち、ユーザに提示される内容として、音声のガイド内容のみ、テキストのガイド内容のみ、音声とテキストとの組み合わせのガイド内容など様々な組み合わせパターンが考えられる。

状態評価部１０７の差分算出部２０１は、取得した実施情報に含まれるテーマＩＤ６０１、パーツＩＤ５０１、パーツ詳細ＩＤ５０２および道具ＩＤ４０１のそれぞれと一致する項目を参考状態格納部１０６の中から選択する。差分算出部２０１は、取得した実施情報の領域内の色６０２ｃと、参考状態格納部１０６において選択した項目に対応する矢印領域７０３内の色７０４ｃ’とを比較することで、色６０２ｃと色７０４ｃ’との差分ｄ＿ｃを算出する。なお、図示しないが、道具ＩＤ４０１は、センサ情報取得部１０８のセンサ情報Ｓから受け取ってもよい。差分ｄ＿ｃの算出方法は、２値の差や最小二乗法が考えられる。差分算出部２０１は、算出した差分ｄ＿ｃと参考状態格納部１０６に格納される差分７０５ｄ’＿ｃを比較して値が等しいときに、対応する文章や音声によるガイド内容７０６を取得する。

差分算出部２０１は、算出した差分ｄ＿ｃが閾値よりも小さいとき、単位作業、すなわち一筆のメイクが終了したと判定し、使用方法評価部１１０に単位作業ＩＤ７０１の終了信号を出力する。

状態評価部１０７の状態ガイド生成部２０２は、差分算出部２０１から受け取った文章のガイド内容を、画像に重畳させたフィードバック画像（実施メイクのガイド画像）を生成する。文章のガイド情報の重畳位置は、設定値により定めることができる。文章のガイドは、吹き出しのイラスト等を用いて、撮影画像にある手やメイク道具と対応づけて重畳させてもよい。また、他のガイド等他の重畳するものとのバランスを考慮して大きさや位置の変更も可能である。音声のガイド情報の場合、状態ガイド生成部２０２は、処理を行わずガイド内容７０６を表示出力部１１１へ送る。

次に、参考使用方法格納部１０９に格納されるデータの一例について図８Ａおよび図８Ｂに示す。
図８Ａに示すテーブル８００には、テーマＩＤ６０１、パーツＩＤ５０１、パーツ詳細ＩＤ５０２、道具ＩＤ４０１、単位作業ＩＤ７０１、起点および終点７０２、速度８０１ｓ’、速度差分８０２ｄ'＿ｓおよびガイド内容８０３がそれぞれ対応付けられて格納される。
図８Ｂに示すテーブル８５０には、テーマＩＤ６０１、パーツＩＤ５０１、パーツ詳細ＩＤ５０２、道具ＩＤ４０１、単位作業ＩＤ７０１、起点および終点７０２、角度８０４ａ’、角度差分８０５ｄ'＿ａおよびガイド内容８０３がそれぞれ対応付けられて格納される。

速度８０１ｓ’は、道具ＩＤ４０１の道具を単位作業で使用する際の、ユーザの参考（目標）となる速度の理論値であり、プロのメイクアーティストの作業速度の実測値でもよいし、過去にユーザがメイクしたときの速度の実測値でもよい。速度差分８０２ｄ'＿ｓは、速度８０１ｓ’からの差分値を示す。ガイド内容８０３は、ユーザに道具の使用方法を通知する内容であり、ガイド内容７０６と同様に、テキスト、音声など様々な情報を組み合わせてもよい。

角度８０４ａ’は、道具ＩＤ４０１の道具を単位作業で使用する際の、ユーザの参考（目標）となる角度の理論値であり、プロのメイクアーティストの作業角度の実測値でもよいし、過去にユーザがメイクしたときの角度の実測値でもよい。角度差分８０５ｄ'＿ａは、角度８０４ａ’からの差分値を示す。

次に、使用方法評価部１１０の作業について、図９のフローチャートを参照して説明する。ここでは、単位作業ＩＤ７０１が「Ｌ１」の場合の処理を行うと想定する。
ステップＳ９０１では、差分算出部３０１が、開始信号を取得したかどうかを判定する。開始信号を取得していない場合、開始信号を取得するまで待機し、開始信号を取得した場合、ステップＳ９０２に進む。

ステップＳ９０２では、差分算出部３０１が、実施情報にパーツ詳細ＩＤが含まれるかどうかを判定する。パーツ詳細ＩＤが含まれる場合、ステップＳ９０３に進み、パーツ詳細ＩＤが含まれない場合、ステップＳ９０５に進む。
ステップＳ９０３では、差分算出部３０１が、参考使用方法格納部１０９に格納されるパーツ詳細ＩＤと実施情報に含まれるパーツ詳細ＩＤとが一致するかどうかを判定する。パーツ詳細ＩＤが一致する場合、ステップＳ９０４に進み、パーツ詳細ＩＤが一致しない場合、ステップＳ９０１に戻り、同様の処理を繰り返す。

ステップＳ９０４では、差分算出部３０１が、参考使用方法格納部１０９から、パーツ詳細ＩＤ５０２に対応する単位作業ＩＤ７０１に対応する速度８０１ｓ’と、角度８０４ａ’とを取得する。

ステップＳ９０５では、差分算出部３０１が、実施情報にパーツＩＤが含まれるかどうかを判定する。パーツＩＤが含まれる場合、ステップＳ９０６に進み、パーツＩＤが含まれない場合、ステップＳ９０１に戻り、同様の処理を繰り返す。

ステップＳ９０６では、差分算出部３０１が、参考使用方法格納部１０９に格納されるパーツＩＤと実施情報に含まれるパーツＩＤとが一致するかどうかを判定する。パーツＩＤが一致する場合、ステップＳ９０７に進み、パーツＩＤが一致しない場合、ステップＳ９０１に戻り、同様の処理を繰り返す。
ステップＳ９０８では、差分算出部３０１が、センサ情報から得た速度の実測値ｓと速度ｓ’との差分値ｄ＿ｓと、センサ情報から得た角度の実測値ａと角度ａ’との差分値ｄ＿ａとを算出する。差分値の算出方法は、例えば、２値の差分や最小二乗法などを用いればよい。

ステップＳ９０９では、差分算出部３０１が、ステップＳ９０８で算出した速度の差分値ｄ＿ｓと、参考使用方法格納部１０９に格納される速度差分８０２ｄ’＿ｓとが一致するかどうか、ステップＳ９０８で算出した角度の差分値ｄ＿ａと参考使用方法格納部１０９に格納される角度差分８０５ｄ’＿ａとが一致するかどうかを判定する。それぞれ一致する場合、ステップＳ９１０に進み、一致しない場合、ステップＳ９０１に戻り、同様の処理を繰り返す。
ステップＳ９１０では、使用方法ガイド生成部３０２が、参考使用方法格納部１０９から、差分ｄ’＿ｓおよびｄ’＿ａに対応するガイド情報を抽出し、使用方法ガイド情報を生成し、フィードバック画像を生成する。以上で、使用方法評価部１１０の作業を終了する。

なお、状態評価部１０７から単位作業（ここでは、一筆）のメイクが終了したことを示す終了信号を受け取った場合、差分算出部３０１が、次の単位作業ＩＤ（図７では１つ下の単位作業ＩＤ「Ｌ２」）に対応する速度ｓ’および角度ａ’を抽出し、ユーザの次の単位作業に対して、同様な作業を繰り返えせばよい。

次に、使用方法ガイド情報の一例について図１０に示す。
図１０に示すように、使用方法ガイド生成部３０２は、ガイド情報をユーザに提示するために予め用意されたイラストに重畳することで、使用方法ガイド情報を生成する。図１０の例では、ユーザのメイク道具を動かす速度が速く、さらに顔に対して角度がつき過ぎていたため、「顔に対してあと３０度傾けて、ゆっくり描いて下さい」というガイド情報がイラストに重畳されることで、使用方法ガイド情報が生成される。なお、「３０度」のように、速度や角度の具体的な数値について、速度差分ｄ’＿ｓ、ｄ＿ｓおよび角度差分ｄ’＿ａ、ｄ＿ａの値を用いてもよく、これによりユーザはより詳細なフィードバックを受けることができる。

次に、表示出力部１１１から出力されるフィードバック画像の一例について図１１に示す。
図１１に示すように、ユーザが鏡を見ながらメイクしている場合に、表示装置１８０に対して対象画像１１０１が映し出され、メイクの作業および道具の使用方法に応じて使用方法ガイド情報１１０２が表示される。

次に、表示出力部１１１から出力されるフィードバック画像の別例について図１２に示す。
図１２は、図１１と同様であるが、状態評価部１０７が生成する状態ガイド情報１２０１と撮影画像とがフィードバック画像として出力される点で異なる。図１２の例では、状態評価部１０７で算出された差分から、参考メイクよりもユーザが行ったメイクの色が薄かったと判定され、「ここをあと少し濃く塗って下さい」というガイド内容を含む状態ガイド情報１２０１が表示される。また、参考メイクの色を表示してもよい。なお、使用方法ガイド情報１１０２および状態ガイド情報１２０１は、対象画像１１０１に重畳されるように表示されてもよい。

以上に示した第１の実施形態によれば、参考となる作業または道具の使用方法とセンサ情報とを比較することで、実際のユーザの道具の使い方を判定し、それに応じたガイドを生成して提示することができる。これによって、参考とする作業や道具の使い方を容易に行うことができる。また、参考となる作業結果と実際の作業結果とを比較することで、参考とする技術に近づけることができる。例えば、メイクの場合は、色の斑の軽減や色味の加減の調整等を容易にし、より参考とするメイクに近づけることができる。すなわち、ユーザの作業を効率的にサポートすることができ、参考とする作業結果を容易に実現することができる。

（第２の実施形態）
単位作業に関する作業をどのように行うかが不明確であり、実際行っている作業が正しいか判定できず、参考とする作業をできない可能性がある。メイクの場合は、一筆のストロークを単位作業とすれば、一筆一筆の描き方が重要であり、一筆の描き方が不明確である場合、正しい位置に描くことや色味の加減が困難となり、参考とするメイクに仕上がらない可能性がある。
そこで、第２の実施形態では、単位作業のガイドを道具の動きに合わせて提示する。さらに、ユーザが単位作業のガイドに沿って作業ができているかを評価し、その評価結果に応じたフィードバックを行う。これによって、ユーザはより正確に作業を行うことができ、失敗を防ぐことができる。

第２の実施形態に係る技術支援装置について図１３のブロック図を参照して説明する。
第２の実施形態に係る技術支援装置１３００は、画像取得部１０１、特徴点検出部１０２、テーマ選択部１０３、実施情報生成部１０４、実施情報一時格納部１０５、参考状態格納部１０６、状態評価部１０７、センサ情報取得部１０８、参考使用方法格納部１０９、使用方法評価部１１０、表示出力部１１１、単位作業ガイド情報格納部１３０１および単位作業ガイド重畳部１３０２を含む。
単位作業ガイド情報格納部１３０１および単位作業ガイド重畳部１３０２以外の作業については、第１の実施形態と同様であるのでここでの説明を省略する。

単位作業ガイド情報格納部１３０１は、テーマごとに、処理領域におけるユーザの単位作業ごとのガイド内容を示す単位作業ガイド内容を事前に格納する。
単位作業ガイド重畳部１３０２は、センサ情報取得部１０８からセンサ情報を、テーマ選択部１０３からテーマ選択情報を、実施情報生成部１０４から実施情報および開始信号を、状態評価部１０７から終了信号を、それぞれ受け取る。単位作業ガイド重畳部１３０２は、終了信号を受け取った後、センサ情報およびテーマ選択情報を参照して、単位作業ガイド情報格納部１３０１から、対応する単位作業ガイド内容を取得し、単位作業ガイド内容を対象画像に対応させる。例えば、対象画像に単位作業ガイド内容を重畳した重畳画像（第１重畳画像）を生成し、フィードバック内容を生成すればよい。

次に、単位作業ガイド情報格納部１３０１に格納される単位情報ガイド情報の一例について図１４を参照して説明する。
図１４に示すテーブル１４００は、テーマＩＤ６０１、パーツＩＤ５０１、パーツ詳細ＩＤ５０２、道具ＩＤ４０１、単位作業ＩＤ７０１、矢印の起点および終点７０２および矢印の太さ１４０１がそれぞれ対応付けられて、単位作業ガイド情報として格納される。単位作業ガイド情報は、単位作業ＩＤ７０１に示すように、ユーザの作業順（メイクであれば、メイクする順番）に格納されている。矢印の太さ１４０１は、単位作業を示す矢印としてフィードバック画像に表示される矢印画像の太さを示す。

具体的に、単位作業としてメイクを行う際の一筆のストロークを想定して説明する。
単位作業ガイド重畳部１３０２は、センサ情報に含まれる道具ＩＤと、単位作業ガイド情報格納部１３０１に格納される道具ＩＤ４０１とを比較して、同じ値であれば、対応する単位作業ガイド情報を取得する。単位作業ガイド重畳部１３０２は、道具ＩＤでメイクするパーツＩＤまたはパーツ詳細ＩＤが分かるので、対応するパーツまたはパーツ詳細の一筆目の重畳位置が決定され、単位作業ガイド情報に含まれる矢印の起点および終点７０２および矢印の太さ１４０１に基づいて、重畳画像を生成する。なお、単位作業ガイド重畳部１３０２は、終了信号を受け取った場合は、次の未処理の単位作業ＩＤ７０１に関する矢印の起点および終点７０２および矢印の太さ１４０１に基づいて、重畳画像を生成すればよい。なお、表示出力部１１１では、センサ情報Ｓの実測値（ｓ、ａ）や参考使用方法格納部の理論値（ｓ’、ａ’）に合わせて、重畳画像を生成、表示してもよい。

次に、重畳される単位作業ガイド画像を示す矢印の一例を図１５に示す。
図１５は、アイブローにより左眉を描く際の一筆一筆のストロークを示す。

次に、第２の実施形態に係るフィードバック画像について図１６に示す。
図１６は、自身の顔である対象画像に対して、眉の一筆を示す単位作業ガイド画像１６０１が重畳される例である。これにより、実際の自分の顔に表示される矢印に沿って一筆一筆描けばよく、ユーザはこの矢印に従うことにより参考とする描き方を容易にすることができる。

以上に示した第２の実施形態によれば、単位作業を表す重畳画像をフィードバック画像としてユーザに出力することにより、ユーザはより正確な位置に作業を行うことができ、かつ失敗を防ぐことができる。メイクの例で言えば、一筆一筆のガイドを重畳することで、パーツにおけるメイクすべき詳細の位置が明確になる。さらに、一筆のガイドを単位作業ガイド情報で表すことができるので、メイク道具の動きに合わせて一筆一筆を提示する。また、使用方法ガイド情報および状態ガイド情報のフィードバック内容を併せてユーザに出力することにより、ユーザが一筆一筆のガイドに沿って描けているかを評価することができ、評価結果に応じたガイドを重畳することができる。これらによって、ユーザはより正確な位置にメイクをすることができ、メイクの失敗を防ぐことができる。
よって、第１の実施形態と同様に、ユーザの作業を効率的にサポートすることができ、参考とする作業結果を容易に実現することができる。

（第３の実施形態）
第３の実施形態では、センサ情報や実施情報を元に、処理する領域（作業する場所）と、それ以外の領域（場所）の中で未処理である領域を認識して、未処理の領域に参考画像を重畳する点が上述の実施形態と異なる。これによって、ユーザは作業中に容易に参考とする作業を実施でき、作業が完成した領域と他の領域との位置やバランス等の比較することができる。

第３の実施形態に係る技術支援装置について図１７のブロック図を参照して説明する。
第３の実施形態に係る技術支援装置１７００は、画像取得部１０１、特徴点検出部１０２、テーマ選択部１０３、実施情報生成部１０４、実施情報一時格納部１０５、参考状態格納部１０６、状態評価部１０７、センサ情報取得部１０８、参考使用方法格納部１０９、使用方法評価部１１０、表示出力部１１１、単位作業ガイド情報格納部１３０１、単位作業ガイド重畳部１３０２および参考状態重畳部１７０１を含む。
参考状態重畳部１７０１以外の作業については、第１、第２の実施形態と同様であるのでここでの説明を省略する。

参考状態重畳部１７０１は、センサ情報取得部１０８から道具ＩＤを、テーマ選択部１０３からテーマＩＤを、実施情報生成部１０４から対象画像および実施情報（パーツＩＤまたはパーツ詳細ＩＤ）を、実施情報一時格納部１０５から前実施情報（パーツＩＤまたはパーツ詳細ＩＤ）をそれぞれ取得する。参考状態重畳部１７０１は、道具ＩＤ、テーマＩＤ、パーツＩＤまたはパーツ詳細ＩＤを用いて、参考状態格納部１０６から対応する領域５０４を取得し、処理中の処理領域を示す内容を対象画像に合わせたフィードバック内容を生成する。また、道具ＩＤ、テーマＩＤ、パーツＩＤまたはパーツ詳細ＩＤを用いて、参考状態格納部１０６から処理中でない、かつ未処理のパーツＩＤまたはパーツ詳細ＩＤに対応する参考状態情報を取得し、未処理の領域を示す未処理領域を示す内容と、未処理領域に対応する参考状態情報の内容との少なくともいずれか一方を生成する。画像の場合、未処理領域を示す枠線画像を対象画像に重畳した画像（第２重畳画像）と、未処理領域に対応する参考状態情報を対象画像に重畳した画像（第３重畳画像）を生成する。参考状態重畳部１７０１は、第２重畳画像と第３重畳画像の少なくともいずれか一方をフィードバック内容として生成する。

具体的には、参考状態重畳部１７０１は、参考状態格納部１０６から、処理領域として、現在ユーザが作業している領域の座標を取得する。参考状態重畳部１７０１は、処理領域以外の領域に関する座標を取得する。具体的には、参考状態重畳部１７０１は、実施情報生成部１０４から取得したパーツＩＤであり、かつ、実施情報一時格納部１０５に格納されるパーツＩＤとは異なるパーツＩＤを、参考状態格納部１０６から未処理パーツＩＤとして選択し、未処理パーツＩＤに対応する領域の座標を取得する。

参考状態重畳部１７０１は、対象画像に合わせてフィードバック内容を補正してもよい。フィードバック内容が画像でありかつ作業がメイクの場合、対象画像の色に合わせて参考状態情報の色を補正する。例えば、参考状態重畳部１７０１が、図７に示す参考状態格納部１０６に格納されているデータの色ｃ’７０４から図６に示す実施情報の色ｃ６０２を引いた色を、対象画像に対して補正した色ｃ’７０４として参考状態格納部１０６に格納し、補正した色ｃ’７０４に基づいて第３重畳画像を生成してもよい。

参考状態重畳部１７０１は、処理領域の外枠の座標に対応する枠線画像と、未処理領域で参考状態を示す参考画像とを生成し、これらの画像を対象画像に重畳することでフィードバック画像を生成する。

次に、第３の実施形態に係る枠線画像の一例について図１８に示す。
ここでは、眉が処理領域の場合の枠線画像１８０１を示す。枠線画像は、パーツＩＤに対応する領域５０４から生成されればよい。枠線画像は線や点線が考えられるが、図１８には点線で示す。

次に、第３の実施形態に係るフィードバック画像について図１９を参照して説明する。
図１９では、眉をメイクしている場合に、その他のパーツに参考画像が重畳される例を示す。枠線画像１８０１を対象画像に重畳させ、さらに、未処理領域（図１９の１９０１点線内）の参考画像１９０１を対象画像に重畳させる（第２重畳画像および第３重畳画像が併せて表示される）。なお、図１９では、説明の便宜上、参考画像１９０１の領域を破線で示しているが、実際には参考画像のみが重畳され、対象画像と参考画像との輪郭が目立たず自然な画像となるようにしてもよい。

以上に示した第３の実施形態によれば、作業する場所と、それ以外の場所の中で未処理である場所を認識して、未作業の場所に参考画像を重畳する。メイクの場合、メイクしているパーツと、それ以外のノーメイクのパーツを認識し、ノーメイクのパーツに参考とするメイクを重畳することができる。これによって、ユーザはメイク中に容易に参考とするメイクを見ることができる。また、メイクが完成した他のパーツとの位置や色味のバランス調整をサポートすることができる。よって、第１の実施形態と同様に、ユーザの作業を効率的にサポートすることができ、参考とする作業結果を容易に実現することができる。

第１の実施形態から第３の実施形態における技術支援装置は、図２１、図２２および図２３に示すようにさらに参考状態算出部１１２を含む構成とし、画像取得部１０１においてＷｅｂなどのコンテンツから参考状態に関する画像（以後、参考状態画像と呼ぶ）を取得し、参考状態算出部１１２で参考状態情報を算出し、参考状態格納部１０６に格納してもよい。
画像取得部１０１は、ユーザ操作等により、コンテンツから参考状態画像を取得する。コンテンツとは、インターネット上にあるＳＮＳ（Social Networking Service）等のＷｅｂコンテンツやユーザ端末内にあるアルバムアプリケーション等が考えられる。なお、取得した参考状態画像については、補正処理などの前処理を行うことが望ましい。前処理の例としては、具体的には、解像度の大きさを調整する処理、影を除去する処理、画像中の対象領域に他の物体が重なってしまったときに物体の除去を行う処理、背景抽出などで検出の対象となる領域を限定する処理、左右を反転する処理、黒子や傷を消す処理などが挙げられる。

特徴点検出部１０２は、画像取得部１０１から参考状態画像を受け取り、パターンマッチングなどの特徴点の検出方法を用いて、参考状態画像から特徴点情報を生成する。ここでの特徴点情報は、参考状態画像と、参考状態画像における処理領域（部位またはパーツともいう）の位置関係とに関する情報を含む。
参考状態算出部１１２は、特徴点検出部１０２から参考状態画像と特徴点情報とを受け取る。参考状態算出部１１２は、受け取った参考状態画像および特徴点情報に基づいて、ユーザが参考とする状態の情報とユーザに提示するガイド内容の情報とを含む参考状態情報を算出し、算出した参考状態情報を参考状態格納部１０６に格納する。

格納されるデータの一例は、図７に示すものである。参考状態算出部１１２は、参考状態画像の特徴点情報からパーツＩＤ５０１ごとに領域５０４内や、領域５０４の周辺の色情報を取得する。色情報は、１ピクセルごとのＲＧＢ値やＲＧＢＡ値、ＨＳＶ値、または、領域内の全ピクセルにおけるＲＧＢ値やＲＧＢＡ値、ＨＳＶ値の平均値が考えられるが、色が指定できる値であればどのような値でもよい。取得した色情報は、対応する参考状態格納部１０６の色ｃ’７０４に格納される。

（第４の実施形態）
第４の実施形態では、センサ情報取得により、対象画像に参考状態を重畳する点が上述の実施形態と異なる。
第４の実施形態に係る技術支援装置は、第３の実施形態に係る技術支援装置１７００の構成と同様である。

センサ情報取得部１０８は、センサ情報を取得する。ここでは、人感センサから検出情報を取得する。検出情報は、センサの種類、赤外線や超音波等のセンサ値、または設定値を超えたときの信号等である。なお、人感センサに限らず、温度センサや加速度センサ、圧力センサの測定値でもよく、検出情報を得られるセンサであればよい。センサ情報取得部１０８が検出情報を取得した場合に、人物の検出処理が行われたと判定される。
参考状態重畳部１７０１は、センサ情報取得部１０８から検出情報を取得した場合、実施情報生成部１０４から実施情報を取得し、実施情報に含まれる特徴点情報を参照して、参考状態格納部１０６から実施情報に対応する領域の色の理論値を取得し、参考状態情報に基づく参考画像を対象画像に重畳する。

第４の実施形態に係る作業例について図２０を参照して説明する。
人感センサ２０００が設置されており、ユーザのメイク中に後ろ側を人２０５０が通過する場合を想定する。人感センサ２０００により、人２０５０を検出した場合、ユーザがメイクしている画像を写す対象画像２００１から、対象画像２００１に参考メイクを重畳した参考画像２００２へ変更して表示する。対象画像２００１は、前記対象画像（対象物が写っている画像）、フィードバック画像１１０１、１１０２、１２０１、１６０１の中の少なくともどれか１つである。

以上に示した第４の実施形態によれば、例えば、ユーザがメイク途中であり、メイク途中を人に見られたくないといった場合でも完成後の参考メイクを重畳した画像に切り換えることでユーザの利便性を高めることができる。

なお、上述の実施形態では、１つの技術支援装置として実行している例を示しているが、処理をサーバとクライアント（ユーザ端末）とで分散して実行させてもよい。
例えば、処理コストが高い処理（特徴点検出部１０２、実施情報生成部１０４、使用方法評価部１１０、単位作業ガイド重畳部１３０２、状態評価部１０７、参考状態算出部１１２および参考状態重畳部１７０１）をサーバで実施し、さらに、大量のデータを必要とするデータベース（実施情報一時格納部１０５、参考使用方法格納部１０９および参考状態格納部１０６）をサーバで格納する。その他の機能をクライアントで実行するようにしてもよい。

または、フィードバック内容を生成するまでの処理（センサ情報取得部１０８、テーマ選択部１０３、画像取得部１０１、特徴点検出部１０２、実施情報生成部１０４、実施情報一時格納部１０５、使用方法評価部１１０、参考使用方法格納部１０９、単位作業ガイド重畳部１３０２、参考状態格納部１０６、参考状態算出部１１２、状態評価部１０７、参考状態重畳部１７０１）をクライアントで実行し、表示出力部１１１でのフィードバック内容の提示タイミングの制御を、サーバで実行する処理構成としてもよい。

このようにサーバとクライアントとで処理を分散して実行する場合では、サーバとクライアントとの間での画像または座標のやり取りが必要となるため、画像の全フレームをやりとりしてもよいが、やり取りする画像の間引き処理や画像形式の変更処理等を行うことが望ましい。間引き処理は、例えば、画像の数フレームおきに行ったり、前フレームとの差分のみを行ったりすればよい。また、変更処理は、例えば、特徴点検出部１０２で特定された特徴点の座標情報のみをやり取りすればよい。画像取得部１０１、使用方法評価部１１０、単位作業ガイド重畳部１３０２、状態評価部１０７、参考状態算出部１１２、参考状態重畳部１７０１および表示出力部１１１で実施すればよい。

また、上述の説明では、具体例としてユーザがメイクする場合を想定して説明したが、本実施形態に係る技術支援装置は、例えば、ドクターや医大生に対する手術のコーチングにも適応できる。

メス等の医療道具に加速度センサや磁気センサ等のセンサ１２０を取り付け、表示装置１８０にはモニタやＨＤＭＩ（登録商標）を用いる。特徴点検出部で１０２は、人体（人体模型）での手術する領域周辺を撮影した画像において体の部位や骨筋等の身体の特徴点を抽出する。実施情報生成部１０４では、手術状態に関する実施情報を実施情報一時格納部１０５に格納する。参考使用方法格納部１０９には、手術の内容や身体の部位ごとに、センサ情報の理論値、理論値からの差分に対するガイド情報を格納する。参考状態格納部１０６には、手術の内容や身体の部位ごとに、画像の理論値(人体模型と人の身体)、理論値からの差分に対するガイド情報を格納する。

使用方法評価部１１０では、医療道具のセンサ情報からユーザのメスの使い方の差分を算出することで、使用方法ガイド情報を生成し、ユーザの作業や医療道具の使い方を評価することができる。状態評価部１０７では、撮影された画像の手術位置と理論値の手術位置とを比較した差分に基づいて、手術状態を評価することができる。

また、単位作業ガイド情報格納部１３０１には、手術の内容ごとに、身体の部位と一操作のガイドとの位置関係を格納しておき、単位作業ガイド重畳部１３０２では、撮影された人体模型に対して、一操作あたりでメスを入れる位置の矢印を重畳することができる。参考状態算出部１１２では、過去の手術における参考となる切り口の画像等から参考状態を算出することができる。参考状態重畳部１７０１では、ユーザが参考とするメスの使い方を実際の人に対して行った場合の切り口の画像を、現在の対象画像に重畳することができる。

なお、手術以外にも、例えば筆を用いた習字等文字の書き方のコーチング、工場の作業支援等にも適用することができる。つまり、ユーザの作業とユーザが使用する道具との情報が取得できるようなユーザの作業であればどのようなものでも本実施形態に係る技術支援装置を利用できる。

さらに、ユーザが道具を使用しない場合でも、本実施形態に係る技術支援装置を用いることで同様の技術支援を行うことができる。
例えば、陶芸家の作品を参考状態として、手捻りにより陶芸の製作を行う場合や、按摩マッサージ指圧師の技術を参考状態として、手技を参考とする場合に、手や腕にセンサを取り付け、手の加速度や圧力を検出してセンサ情報とすることで、使用方法評価部１１０は、道具の使用方法と同様に、手の動かし方および手技を評価することができる。

上述の実施形態の中で示した処理手順に示された指示は、ソフトウェアであるプログラムに基づいて実行されることが可能である。
要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

１００、１３００、１７００・・・技術支援装置、１０１・・・画像取得部、１０２・・・特徴点検出部、１０３・・・テーマ選択部、１０４・・・実施情報生成部、１０５・・・実施情報一時格納部、１０６・・・参考状態格納部、１０７・・・状態評価部、１０８・・・センサ情報取得部、１０９・・・参考使用方法格納部、１１０・・・使用方法評価部、１１１・・・表示出力部、１１２・・・参考状態算出部、１２０・・・センサ、１４０・・・操作装置、１６０・・・カメラ、１８０・・・表示装置、２０１、３０１・・・差分算出部、２０２・・・状態ガイド生成部、３０２・・・使用方法ガイド生成部、４００、５００、６００、７００、８００、８５０・・・テーブル、４０１・・・道具ＩＤ、４０２・・・速度（実測値）、４０３・・・角度（実測値）、５０１・・・パーツＩＤ、５０２・・・パーツ詳細ＩＤ、５０３・・・特徴点座標、５０４・・・領域、６０１・・・テーマＩＤ、６０２・・・色（実測値）、７０１・・・単位作業ＩＤ、７０２・・・矢印の起点・終点、７０４・・・色（理論値）、７０５・・・色差分、７０６、８０３・・・ガイド内容、８０１・・・速度（理論値）、８０２・・・速度差分、８０４・・・角度（理論値）、８０５・・・角度差分、１１０１、２００１・・・対象画像、１１０２・・・使用方法ガイド情報、１２０１・・・状態ガイド情報、１３０１・・・単位作業ガイド情報格納部、１３０２・・・単位作業ガイド重畳部、１４０１・・・矢印の太さ、１６０１・・・単位作業ガイド画像、１７０１・・・参考状態重畳部、１８０１・・・枠線画像、１９０１、２００２・・・参考画像、２０００・・・人感センサ、２０５０・・・人。

Claims (10)

1. 処理対象に関する画像である対象画像を取得し、前処理を行う画像取得手段と、
   前記処理対象に対してユーザが作業する処理領域における、当該ユーザの作業および当該ユーザにより使用される道具の使用方法の少なくともいずれか一方に関する速度および角度を表すセンサ情報を取得するセンサ情報取得手段と、
   前記処理領域において前記ユーザが参考とする作業方法および参考とする前記道具の使用方法に関する速度および角度を表す参考方法情報を格納する参考使用方法格納手段と、
   前記センサ情報と前記参考方法情報との速度および角度それぞれの差分に応じて、前記作業方法および前記使用方法の少なくともいずれか一方を当該参考方法情報に近づけるための、前記速度および角度の差分に対応する使用方法ガイド情報を含むフィードバック内容を生成する使用方法評価手段と、を具備することを特徴とする技術支援装置。
2. 前記処理領域における前記ユーザの単位作業ごとのガイド内容を格納する単位作業ガイド情報格納手段と、
   前記センサ情報を参照して、前記ガイド内容を表す単位作業ガイド内容を前記対象画像に重畳させる単位作業ガイド重畳手段と、をさらに具備することを特徴とする請求項１に記載の技術支援装置。
3. 前記対象画像を参照して、前記処理領域と当該処理領域における前記ユーザの作業結果とに関する実施情報を生成する実施情報生成手段と、
   前記処理領域において前記ユーザが参考とする状態に関する参考状態情報を格納する参考状態格納手段と、
   前記作業結果と前記参考状態情報との差分に応じて、前記処理領域の状態を前記参考とする状態に近づけるための状態ガイド情報を含むフィードバック内容を生成する状態評価手段と、をさらに具備することを特徴とする請求項１または請求項２に記載の技術支援装置。
4. 前記処理領域以外の領域のうち、未処理の領域である未処理領域と当該未処理領域に対応する参考状態情報とを用いて、当該未処理領域を示す内容と、当該未処理領域に対応する参考状態情報の内容との少なくともいずれか一方を生成する参考状態重畳手段をさらに具備することを特徴とする請求項３に記載の技術支援装置。
5. 前記参考状態重畳手段は、前記センサ情報に応じて、前記参考状態情報に基づく内容を前記対象画像に合わせたフィードバック内容を生成することを特徴とする請求項４に記載の技術支援装置。
6. 参考状態画像と当該参考状態画像の特徴点情報とに基づいて、前記参考状態情報を算出する参考状態算出手段をさらに具備することを特徴とする請求項３から請求項５のいずれか１項に記載の技術支援装置。
7. 前記対象画像は、前記ユーザの顔画像であり、前記道具は、メイク道具であり、前記参考状態情報は、テーマに応じた見本メイク画像における色調を含み、
   前記技術支援装置は、前記ユーザに前記テーマを選択させる選択手段をさらに具備することを特徴とする請求項３から請求項６のいずれか１項に記載の技術支援装置。
8. 画像取得手段が、処理対象に関する画像である対象画像を取得し、前処理を行い、
   センサ情報取得手段が、前記処理対象に対してユーザが作業する処理領域における、当該ユーザの作業および当該ユーザにより使用される道具の使用方法の少なくともいずれか一方に関する速度および角度を表すセンサ情報を取得し、
   参考使用方法格納手段が、前記処理領域において前記ユーザが参考とする作業方法および参考とする前記道具の使用方法に関する速度および角度を表す参考方法情報を格納し、
   使用方法評価手段が、前記センサ情報と前記参考方法情報との速度および角度それぞれの差分に応じて、前記作業方法および前記使用方法の少なくともいずれか一方を当該参考方法情報に近づけるための、前記速度および角度の差分に対応する使用方法ガイド情報を含むフィードバック内容を生成することを特徴とする技術支援方法。
9. コンピュータを、請求項１から請求項７のいずれか１項に記載の技術支援装置の各手段として実行させるためのプログラム。
10. クライアントとサーバとを含む技術支援システムであって、
    前記クライアントは、
    処理対象に関する画像である対象画像を取得し、前処理を行う画像取得手段と、
    前記処理対象に対してユーザが作業する処理領域における、当該ユーザの作業および当該ユーザにより使用される道具の使用方法の少なくともいずれか一方に関する速度および角度を表すセンサ情報を取得するセンサ情報取得手段と、を具備し、
    前記サーバは、
    前記処理領域において前記ユーザが参考とする作業方法および参考とする前記道具の使用方法に関する速度および角度を表す参考方法情報を格納する参考使用方法格納手段と、
    前記センサ情報と前記参考方法情報との速度および角度それぞれの差分に応じて、前記作業方法および前記使用方法の少なくともいずれか一方を当該参考方法情報に近づけるための、前記速度および角度の差分に対応する使用方法ガイド情報を含むフィードバック内容を生成する使用方法評価手段と、を具備することを特徴とする技術支援システム。