JP7126812B2 - 検出装置、検出システム、画像処理装置、検出方法、画像処理プログラム、画像表示方法、及び画像表示システム - Google Patents

Description

本発明は、検出装置、検出システム、画像処理装置、検出方法、画像処理プログラム、画像表示方法、及び画像表示システムに関する。

ユーザのトレーニング中の姿勢をリアルタイムにユーザに提供する技術が提案されている（例えば、下記の特許文献１）。ユーザの姿勢等の情報は、例えば、ユーザが容易に把握できるように提供されることが望まれる。

特開２０１１－１９６２７号公報

本発明の第１の態様においては、検出装置を提供する。検出装置は、ユーザを検出する検出部を備えてよい。検出装置は、検出部の検出結果に基づいて、ユーザのモデルを生成するモデル生成部を備えてよい。検出装置は、モデル生成部が生成したユーザのモデルに対し、検出部から得られるユーザの姿勢に基づいて、複数のパーツを含む教示図形をパーツごとに位置決めして、ユーザのモデルおよび教示図形を含む教示画像を生成する画像処理部を備えてよい。教示図形は、漢字を含んでよい。複数のパーツの少なくとも１つは、漢字の部首を含んでよい。

本発明の第２の態様においては、検出装置を提供する。検出装置は、ユーザを検出する検出部を備えてよい。検出装置は、検出部の検出結果に基づいて、ユーザのモデルを生成するモデル生成部を備えてよい。検出装置は、モデル生成部が生成したユーザのモデルに対し、検出部から得られるユーザの姿勢に基づいて、複数のパーツを含む教示図形をパーツごとに位置決めして、ユーザのモデルおよび教示図形を含む教示画像を生成する画像処理部を備えてよい。教示図形は、単語を含んでよい。複数のパーツの少なくとも１つは、単語を構成する表音文字を含んでよい。

本発明の第３の態様においては、検出装置を提供する。検出装置は、ユーザを検出する検出部を備えてよい。検出装置は、検出部の検出結果に基づいて、ユーザのモデルを生成するモデル生成部を備えてよい。検出装置は、教示図形を複数のパーツに分割する図形分割部を備えてよい。検出装置は、モデル生成部が生成したユーザのモデルに対し、検出部から得られるユーザの姿勢に基づいて、教示図形をパーツごとに位置決めして、ユーザのモデルおよび教示図形を含む教示画像を生成する画像処理部を備えてよい。

本発明の第４の態様においては、検出システムを提供する。検出システムは、前述のとりの検出装置を備えてよい。検出システムは、画像処理部が生成した教示画像を表示する表示部を備えてよい。

本発明の第５の態様においては、画像処理装置を提供する。画像処理装置は、ユーザを検出した検出結果に基づいて生成されるユーザのモデルに対し、検出結果から得られるユーザの姿勢に基づいて、教示図形をパーツごとに位置決めして、ユーザのモデルおよび教示図形を含む教示画像を生成してよい。

本発明の第７の態様においては、画像処理プログラムを提供する。画像処理プログラムは、コンピュータに、ユーザを検出した検出結果に基づいて生成されたユーザのモデルを取得させてよい。画像処理プログラムは、コンピュータに、教示図形を複数のパーツに分割させてよい。画像処理プログラムは、コンピュータに、検出結果から得られるユーザの姿勢に基づいて、ユーザのモデルに対して教示図形をパーツごとに位置決めさせてよい。画像処理プログラムは、コンピュータに、ユーザのモデルおよび教示図形を含む教示画像を生成させてよい。

第１実施形態に係る検出システムを示す図である。 第１実施形態に係る教示画像を示す図である。 第１実施形態に係る教示画像を示す図である。 第１実施形態に係る検出装置による処理を示す図である。 第１実施形態に係る姿勢データ、教示図形データ、表示条件データを示す概念図である。 第１実施形態に係る教示画像を示す図である。 第１実施形態に係る教示画像を示す図である。 第１実施形態に係る検出システムの動作を示す図である。 第１実施形態に係る検出システムの動作を示す図である。 第１実施形態に係る検出システムの動作を示す図である。 第１実施形態に係る検出システムの動作を示す図である。 第１実施形態に係る検出システムの動作を示す図である。 第１実施形態に係る検出システムの動作を示す図である。 第１実施形態に係る検出システムの動作を示す図である。 第１実施形態に係る検出システムの動作を示す図である。 第１実施形態に係る検出システムの動作を示すフローチャートである。 第１実施形態に係る画像処理部による処理を示すフローチャートである。 第２実施形態に係る検出システムを示す図である。 第２実施形態に係る姿勢特定部による処理を示す図である。 第２実施形態に係る画像処理部による処理を示す図である。 第２実施形態に係る画像処理部による処理を示すフローチャートである。 第３実施形態に係る検出システムを示す図である。 第３実施形態に係る図形分割部による処理を示す図である。 第４実施形態に係る検出システムを示す図である。 第４実施形態に係る履歴管理部の処理を示す図である。 第５実施形態に係るユーザインターフェースを示す図である。 第６実施形態に係る画像処理部が生成する教示画像の例を示す図である。 第６実施形態に係る画像処理部が生成する教示画像の例を示す図である。 第７実施形態に係る検出システムを示す図である。

［第１実施形態］
第１実施形態について説明する。図１は、第１実施形態に係る検出システム、検出装置を示す図である。図１は、実施形態に係る検出システム１（情報提供システム）を示すブロック図である。検出システム１は、検出装置２および表示部３（表示装置）を備える。

検出装置２は、例えば、所定（例、目標、基本、理想、見本）の姿勢（ポーズ、フォーム）に近づくように、動作するユーザＵを検出する。検出装置２は、例えば、スポーツ（例、野球、サッカー、ゴルフ、体操、エクササイズ、ボディビル）、ファッションショー（例、ウォーキング、ポージング）、ゲーム、又は人物認証（例、セキュリティ）等の各種分野で利用可能である。例えば、ユーザＵは、ヨガをテーマにしたゲームのプレイヤーでもよく、検出装置２は、ゲームをプレイするユーザＵを検出してもよい。

以下の説明において、検出装置２は、ヨガにおける所定の姿勢（例、戦士のポーズ、三角のポーズ）をとるユーザＵを検出するものとする。なお、検出装置２がユーザＵを検出する際に、衣類、靴、あるいはプロテクタなどの装着物（例、ユーザＵとともに移動する物体）を付けた状態でもよい。検出装置２によるユーザＵの検出は、ユーザＵとともに移動する装着物の検出を含んでもよい。

表示部３は、ユーザＵに対して各種画像を表示する。表示部３は、有線または無線によって、検出装置２と通信可能に接続される。表示部３は、検出装置２から供給される画像データに基づいて、画像を表示する。表示部３は、例えば、フラットパネルディスプレイ（ＦＰＤ）もしくはヘッドマウントディスプレイ（ＨＭＤ）などの直視型表示部、又はプロジェクタなどの投影型表示部を含む。表示部３は、ＦＰＤなどのように据え置き型の表示部でもよいし、ＨＭＤなどのように携帯型（モバイル機器）もしくは装着型（ウェアラブル機器）の表示部でもよい。

以下、図１から図３を参照しつつ表示部３に表示される画像の例について説明し、次いで検出装置２について説明する。図２および図３は、それぞれ、表示部３に表示される画像を示す概念図である。図２および図３は、ヨガにおける戦士のポーズ（ヴィーラバドラ・アーサナ）に対応する。図２の画像Ｉｍ１から画像Ｉｍ３は、ユーザが足を開き、手を上に挙げて背筋を伸ばしながら息を深く吸うといった、一連の動作に対応する。

表示部３は、予め登録された姿勢の画像（以下、サンプル画像Ｓａという）を表示する。サンプル画像Ｓａは、例えば、画像Ｉｍ１の一部（例、左上）に重畳して配置される。サンプル画像Ｓａは、例えば、ユーザが目標の姿勢をとる際に参照する画像（教師画像）である。サンプル画像Ｓａは、例えば、ヨガのインストラクタが所定のポーズ（例、戦士のポーズ）をとった画像（例、静止画または動画）を含む。ユーザＵは、表示部３に表示されたサンプル画像Ｓａを見ることで、例えば、次に行うポーズの種類を確認することができる。

なお、検出システム１は、所定のポーズの情報を報知する報知部を備えてもよい。所定のポーズの情報は、例えば、所定のポーズの名称、及び所定のポーズに関する動作説明の一方または双方を含む。報知部は、所定のポーズの情報をユーザが識別可能な形態（例、画像、音声）で出力する。例えば、報知部は、所定のポーズの情報としてサンプル画像Ｓａを出力する表示部３を含む。また、上記の報知部は、表示部３がサンプル画像Ｓａを表示する際に、サンプル画像Ｓａに対応する所定のポーズの情報を音声で報知する音声報知部（例、音声出力部、音声ガイド部）を含んでもよい。

例えば、検出システム１（例、音声報知部）は、所定のポーズ（例、戦士のポーズ）のサンプル画像Ｓａを表示する際に、所定のポーズの名称（例、「戦士のポーズ」）を読み上げた音声（音声ガイド）を出力してもよい。また、検出システム１（例、音声報知部）は、「戦士のポーズ」という音声の代わりに、戦士のポーズと予め関連付けられた音楽、曲、ＢＧＭを出力してもよい。例えば、ヨガの次のポーズに進む際に、検出システム１（例、音声報知部）は、音声として出力する音楽、曲、ＢＧＭの等を変更してもよい。

また、例えば、検出システム１（例、音声報知部）は、所定のポーズ（例、戦士のポーズ）のサンプル画像Ｓａを表示する際に、上記の動作説明として、人体の少なくとも一部の部位の動作を表す文言（フレーズ）を読み上げた音声（例、「息を吸ってください」、「腕を水平に伸ばしてください」、「足を垂直に曲げてください」）を出力してもよい。また、検出システム１（例、音声報知部）は、サンプル画像Ｓａを表示する代わりに、上記の音声（例、音声ガイド）を出力してもよい。

また、表示部３は、ユーザＵのモデル（適宜、ユーザモデルＵＭという）を表示する。図１の検出装置２は、ユーザＵを検出し、その検出結果に基づいてユーザの姿勢などを示すユーザモデルＵＭを生成する。ユーザモデルＵＭは、ユーザＵの二次元的な形状または三次元的な形状を表す図形である。ユーザモデルＵＭは、例えば、シルエット、ポリゴン、ボクセル、ワイヤーフレーム、ユーザＵの表面上の点の集合体、アバター、または骨格モデルなどで表される。また、例えば、表示部３に表示されるオブジェクト（例、ユーザモデルＵＭ、教示画像、サンプル画像Ｓａ）のレイアウトは、表示部３の左上にサンプル画像Ｓａが配置され、表示部３の中央にユーザモデルＵＭが配置され、ユーザモデルＵＭの周辺（近接）に教示画像が配置されるレイアウトである。

図１の検出装置２は、ユーザＵを繰り返し光学的に検出し、表示部３は、検出装置２の検出結果に基づいて、ユーザモデルＵＭをリアルタイムで表示（更新）する。表示部３は、例えば、サンプル画像ＳａおよびユーザモデルＵＭを含む画像（例、画像Ｉｍ１）を表示する。

また、表示部３は、ユーザモデルＵＭおよび教示図形Ｆを含む教ユーザＵの示画像（例、画像Ｉｍ１から画像Ｉｍ６）を表示する。教示図形Ｆは、例えば、ユーザＵが所定の姿勢をとる際のユーザインターフェースを構成する。教示画像は、例えば、所定の姿勢をとる上での留意点などを、ユーザＵが直感的に分かるように、表現する画像を含む。このように、表示部３は、ユーザインターフェースとしてサンプル画像Ｓａ、ユーザモデルＵＭ、教示画像などを所定の配置で表示する。

教示図形Ｆは、例えば、人体の部位を表す図形と、人体の形状を表す図形と、人体の動作を表す図形との少なくとも一つを含む。本明細書において「図形」は、線分、曲線、又は線分および曲線を含む形状（例、幾何形状）と、文字と、記号との少なくとも１つを含む。幾何形状は、例えば、円、楕円、多角形、多角形の角を丸めた形状、長円などである。

また、本明細書において図形に含まれる文字は、表意文字と表音文字との一方または双方を含む。表意文字は、例えば、漢字、アラビア数字（１、２、・・・）などであり、１文字で意味を表す文字である。表示文字としては、例えば、骨、脇、肩、首などのように人体の部位を表す漢字、吐、呼、吸、伸などのように人体の動作を表す漢字、曲などのように人体の形状を表す漢字等が挙げられる。

表音文字（音標文字）は、例えば、ひらがな、かたかな、アルファベット、ハングルなどのように、１文字で音素または音節を表す文字である。なお、漢字は、中国などにおいて表音文字として用いられる場合がある。図形に含まれる文字の数は、１でもよいし、２以上でもよい。例えば、本明細書における図形は、２以上の文字で構成される文字列を含んでもよい。また、本明細書における図形は、複数の表音文字で構成される単語、文節、又は文章を含んでもよい。

教示画像の少なくとも１つの画像において、教示図形は、複数のパーツ（例、要素、部分、部品、セグメント）を含む。例えば、画像Ｉｍ１において、教示図形Ｆは、パーツｐ１およびパーツｐ２を含む。パーツｐ１は、「吸」という文字であり、人体の動作を表す図形である。パーツｐ１である「吸」は、ユーザＵが息を吸う動作と関連付けられて、表示される。例えば、ユーザＵがサンプル画像Ｓａを参照してヨガを行う場合、人体が息を吸う動作に対応するサンプル画像Ｓａが表示されるタイミングに基づいて、パーツｐ１である「吸」が表示部３に表示される。例えば、ヨガの実施中にサンプル画像Ｓａを見たユーザＵがこの動作を行う際に、パーツｐ１である「吸」が表示部３に表示される。

教示図形Ｆのパーツ（例、パーツｐ１）は、検出装置２（処理部６）によってユーザモデルＵＭに対して位置決めされる。例えば、画像Ｉｍ１におけるパーツｐ１である「吸」は、ユーザモデルＵＭにおいて呼吸に関連するユーザＵの人体の部位（例、口、胸）に対して位置決めされ、この部位に対して所定の位置関係で表示される。例えば、画像Ｉｍ１から画像Ｉｍ３へ進む際に、ユーザＵが背筋を伸ばす動作が想定されており、パーツｐ１である「吸」は、ユーザモデルＵＭに対して上方へ移動するように、ユーザモデルＵＭに対して位置決めされる。ユーザＵは、例えば、パーツｐ１の「吸」が上方へ移動するのに合わせて身体が上方へ引っ張られるイメージを持つことによって、背筋を伸ばす動作を直感的に行うことができる。実施形態に係る教示図形は、例えば、ユーザＵに動作のイメージを想起させるように、動作がデフォルメされた図形から選択される。

また、教示図形Ｆのパーツ（例、パーツｐ１）は、色（色相、明度、及び彩度の少なくとも１つ）が全体的に又は部分的に変化するように、表されてもよい。例えば図１において、「吸」というパーツｐ１は、息を吸う動作の進行（時間）に対応して、周囲とのコントラストが相対的に低い状態（画像Ｉｍ１に点線で示す）から、周囲とのコントラストが相対的に高い状態（画像Ｉｍ２に実線で示す）へ変化する。例えば、「吸」というパーツｐ１は、画像Ｉｍ１から画像Ｉｍ２へ進む際に、フェードインするように色が変化する。教示図形Ｆにおける複数（少なくとも２つ）のパーツのうち少なくとも１つのパーツは、例えば、サンプル画像Ｓａにおける教師（例、ヨガのインストラクタ）の動作（例、サンプル画像Ｓａのポーズなど）に基づき所定のタイミング（例、画像Ｉｍ１から画像Ｉｍ２へ進む時など）において表示の位置が変更される（表示部３の画面内において所定の移動速度で対象のパーツが移動する）。

また、教示図形Ｆのパーツｐ２は、ユーザモデルＵＭの手先を起点とする線分状（帯状）の図形である。パーツｐ２は、画像Ｉｍ１から画像Ｉｍ２へ進み、さらに画像Ｉｍ２から画像Ｉｍ３へ進む際に、ユーザモデルＵＭの手先の位置から下方に伸びるように、長さが変化する。画像Ｉｍ３における教示図形Ｆのパーツｐ３は、人体の腰中央（ベース）を表す図形（ここでは円形）である。パーツｐ３は、パーツｐ２が人体の手先から腰中央まで伸びた際に、フェードインするように表示される。

図３の画像Ｉｍ４から画像Ｉｍ６は、ユーザＵが前足の膝を垂直に曲げるように腰を落としながら息を深く吐くといった、一連の動作に対応する。画像Ｉｍ４において、教示図形Ｆは、パーツｐ３、パーツｐ４、パーツｐ５、及びパーツｐ６を含む。パーツｐ３は、ユーザモデルＵＭにおいて人体の腰中央の位置を表す図形である。パーツｐ４は、例えば、人体の足の姿勢を示す図形である。画像Ｉｍ４、画像Ｉｍ５におけるパーツｐ４は、ユーザモデルＵＭに対して水平に伸びる線分状（帯状）の図形であり、人体の太ももを水平に保つイメージを表す。また、画像Ｉｍ６におけるパーツｐ４は、ユーザモデルＵＭから水平に伸びて、さらに下方伸びる折れ線状の図形であり、膝を垂直に曲げるイメージを表す。

また、教示図形Ｆのパーツｐ５は、「吐」という漢字の一部（例、部首）である「口」である。パーツｐ６は、「吐」という漢字の一部（例、部首）である「土」である。パーツｐ５およびパーツｐ６は、一組で「吐」という漢字を表す。パーツｐ５およびパーツｐ６により構成される「吐」は、ユーザが息を吐く動作と関連付けられて、表示される。例えば、ユーザＵがサンプル画像Ｓａを参照してヨガを行う場合、人体が息を吐く動作に対応するサンプル画像Ｓａが表示されるタイミングに基づいて、パーツｐ５およびパーツｐ６が表示される。例えば、サンプル画像Ｓａを見たユーザＵがこの動作を行う際に、「吐」が表示される。

パーツｐ５およびパーツｐ６は、それぞれ、ユーザモデルＵＭに対して位置決めされる。例えば、画像Ｉｍ４において、パーツｐ５およびパーツｐ６は、ユーザモデルＵＭにおいて呼吸に関連する部位（例、口、胸）に対して位置決めされ、この部位に対して所定の基準位置（例、部位に近い位置）に表示される。

図３における「吐」という文字は、例えば、吐いた息のイメージで表現される。例えば、画像Ｉｍ５における「吐」は、画像Ｉｍ４に比べて、ユーザモデルＵＭから離れている。画像Ｉｍ５におけるパーツｐ５の「口」およびパーツｐ６の「土」は、画像Ｉｍ４に比べて、ユーザモデルＵＭ（ユーザモデルＵＭにおける基準位置）から離れた位置に配置される（位置決めされる）。また、画像Ｉｍ５における「吐」は、画像Ｉｍ４に比べて、ユーザモデルＵＭから離れて散逸するように、変形する。例えば、画像Ｉｍ５におけるパーツｐ６の「土」は、画像Ｉｍ４に比べて、パーツｐ５の「口」から離れた位置に配置（位置決め）される。また、例えば、画像Ｉｍ５におけるパーツｐ６の「土」は、画像Ｉｍ４に比べて、教示図形の一部であるパーツｐ６の「土」の形が１方向又は２方向に伸びるように（又は大きくなるように）変更されてもよい。

また、画像Ｉｍ６における「吐」は、画像Ｉｍ５に比べて、ユーザモデルＵＭから離れている。画像Ｉｍ６において、パーツｐ５の「口」およびパーツｐ６の「土」は、画像Ｉｍ５に比べてユーザモデルＵＭから離れた位置に、位置決めされる。また、画像Ｉｍ６において「吐」は、画像Ｉｍ５に比べて「口」と「土」とがバラバラになって散逸するイメージで表現される。画像Ｉｍ６におけるパーツｐ６の「土」、画像Ｉｍ５に比べてパーツｐ５の「口」から離れた位置に、位置決めされる。このように、教示図形は、変形させた漢字を含んでもよく、複数のパーツの少なくとも１つは、変形させた漢字の部首を含んでもよい。

また、画像Ｉｍ５から画像Ｉｍ６へ進む際に、「吐」は、周囲とのコントラストが相対的に高い状態（画像Ｉｍ５に実線で示す）から、周囲とのコントラストが相対的に低い状態（画像Ｉｍ６に点線で示す）へ変化してもよい。例えば、画像Ｉｍ６における「吐」は、フェードアウトするように表示（例、色）の要素（例、コントラスト、色相、明度、彩度）が変化する。

上述のように、実施形態に係る画像表示方法は、表示部３に、時間的に変化するユーザＵのモデルを動的に表示すること（第１表示処理）と、表示部３においてユーザＵのモデルに対して定められる位置に、ユーザＵのモデルの時間的な変化に基づいて選択される教示図形Ｆを、動的に表示すること（第２表示処理）と、を含む。

実施形態に係る画像表示方法は、ユーザＵを検出して得られるユーザＵのモデルを動的に表示することを含んでもよい。教示図形Ｆを動的に表示することは、例えば、画像内で教示図形Ｆを所定の移動速度で移動させる（教示図形の画像内での位置を時間変化させる）こと、教示図形Ｆを変形させること、及び教示図形Ｆの表示（例、色、色相、明度、彩度、コントラスト）を変化せることの少なくとも１つを含む。

また、実施形態に係る画像表示方法は、動的に表示されるユーザＵのモデルに対して図形を位置決めして、図形を動的に表示することを含んでもよい。この図形の種類は、例えば、ユーザＵの動作（例、姿勢）と予め関連付けられてもよい。また、この図形が表示されるタイミングは、例えば、ユーザＵの動作のタイミングと予め関連付けられてもよい。以下、実施形態に係る検出装置２の各部について説明する。

図１の検出装置２は、検出部５、処理部６、表示制御部７、及び記憶部８を備える。以下の説明において、適宜、図４を参照する。図４（Ａ）検出部の検出結果を示す概念図であり、図４（Ｂ）は処理部による処理結果を示す概念図である。検出部５は、ユーザＵを光学的に検出する。検出部５は、例えば、ユーザＵを三次元的に検出する。検出部５は、例えば、距離を検出するデプスセンサを含む。検出部５は、例えば、所定の視点（例、検出部５の位置、視点）からユーザＵの表面上の各点までの距離を検出する。検出部５は、例えば、所定の周波数（例、サンプリングレート、フレームレート）で検出処理を繰り返し実行する。

検出部５は、例えば、TOF（time of flight）法によって距離を検出する。検出部５は、その検出結果（例、位置情報）として、例えば距離の分布を示す位置情報を出力する。上記の位置情報は、例えば、デプス情報（例、デプス画像のデータ、奥行き情報、デプスマップ）を含む。検出部５は、検出結果として、例えば図４（Ａ）に示すデプス画像Ｉｍ７のデータを出力する。デプス画像Ｉｍ７において、各画素の画素値は、例えば、デプス画像Ｉｍ７上の画素の位置に相当する実空間上の点と検出部５との距離を表す。例えば、デプス画像Ｉｍ７はグレースケールで表され、暗い部分は、明るい部分よりも検出部５からの距離が離れている。

なお、検出部５は、TOF法以外他の手法で距離を検出するデバイスでもよい。検出部５は、例えば、レーザスキャナ（例、レーザ測距器）を含み、レーザスキャンによって距離を検出するデバイスでもよい。検出部５は、例えば、ユーザＵが存在する領域に所定のパターン（例、水玉パターン、格子パターン）を投影し、このパターンの検出結果をもとに距離を測定するデバイスでもよい。検出部５は、例えば、位相差センサを含み、位相差法によって距離を検出するデバイスでもよい。検出部５は、例えば、DFD(depth from defocus)法によって距離を検出するデバイスでもよい。

また、検出部５は、例えばステレオカメラなどによって複数の視点からユーザＵを撮像した撮像画像を用いて、三角測量によって距離を検出するデバイスでもよい。検出部５は、上述した複数の検出法のうち２以上を組み合わせて、ユーザＵを検出するデバイスでもよい。検出部５は、距離を検出するセンサ、及びイメージセンサを含んでもよい。また、検出部５は、光学的な手法以外の手法（例、超音波によるスキャン）でユーザＵを検出してもよい。また、検出部５は、所定の視点（例、単一視点又は複数の視点）から得られたユーザＵの画像の特徴（ユーザＵの画像を画像処理して得られる特徴点など）から距離を推定してもよい。

処理部６は、検出部５が出力する情報（例、検出結果）を処理する情報処理部である。処理部６は、検出部５と有線または無線によって通信可能に接続される。処理部６は、検出部５の検出結果としてデプス情報を、検出部５から取得（例、受信）する。処理部６は、検出部５の検出結果あるいは処理結果を、検出部５との通信を介することなく取得してもよい。例えば、処理部６は、不揮発性メモリなどの記憶媒体を介して、検出部５から検出結果を取得してもよい。

処理部６は、モデル生成部１１、部位特定部１２、及び画像処理部１３を備える。モデル生成部１１は、検出部５の検出結果に基づいて、ユーザＵのモデル（例、図２のユーザモデルＵＭ）を生成する。モデル生成部１１は、検出部５の検出結果に基づいて、ユーザＵの人体の各部の位置を検出（算出）する。モデル生成部１１は、例えば、図４（Ａ）のデプス画像Ｉｍ７のデータを処理（例、透視変換処理、射影変換処理）することによって、ユーザＵの三次元形状を表す形状情報を生成（算出）する。形状情報は、例えば、点群データを含む。点群データは、例えばユーザＵの表面の複数の点データを含む。複数の点データは、それぞれ３次元座標で表される。

モデル生成部１１は、形状情報としてサーフェス情報を算出してもよい。サーフェス情報は、例えばポリゴンデータ、ベクタデータ、ドローデータなどである。サーフェス情報は、例えば、複数の点の座標と複数の点間の連結情報とを含む。連結情報は、例えば、物体（例、人体）の稜線（例、エッジ）に相当する線の両端の点を互いに関連付ける情報を含む。連結情報は、例えば、物体上の面の輪郭に相当する複数の線を互いに関連付ける情報を含む。

モデル生成部１１は、例えば、点群データに含まれる複数の点から選択される点とその近傍の点との間の面を推定し、点群データを点間の平面情報を持つポリゴンデータに変換してもよい。モデル生成部１１は、例えば、最小二乗法を用いたアルゴリズムにより、点群データをポリゴンデータへ変換する。このアルゴリズムは、例えば、点群処理ライブラリに公開されているアルゴリズムを適用したものでもよい。

部位特定部１２は、検出部５の検出結果に基づいて、ユーザＵの部位を特定する。部位特定部１２は、検出部５の検出結果に基づいて、ユーザＵの人体の特徴的な部位（例、特徴部位、特徴点）の位置情報を生成する。人体の特徴部位は、例えば、人体の他の部位と区別可能な部位である。人体の特徴部位は、例えば、人体の末端部、関節、又は末端部と関節との間もしくは２つの関節の間の中間部の少なくとも１つを含む。

部位特定部１２は、その処理結果として、ユーザＵの部位の位置情報（例、（図４（Ｂ）に示す骨格情報ＳＤ）を生成する。図４（Ｂ）の骨格情報ＳＤにおいて、丸印（〇）は、特徴部位に相当する。部位特定部１２は、例えば、モデル生成部１１が生成した点群データを用いた認識処理（例、パターン認識、形状認識、骨格認識）等によって、上記の特徴部位の位置情報を生成する。特徴部位の位置情報は、例えば、特徴部位を代表する点の座標（例、３次元座標）を含む。部位特定部１２は、例えば、上記の認識処理によって、特徴部位を表す点の座標を算出する。

部位特定部１２は、例えば、特徴部位のそれぞれについて、特徴部位の名称と、特徴部位の位置とを関連付けたデータを生成する。モデル生成部１１は、位置情報（例、骨格情報ＳＤ）として、予め設定された１または２以上の特徴部位のそれぞれの座標を含むテーブルデータを生成する。位置情報（例、骨格情報ＳＤ）は、例えば、同じ検出タイミングの検出結果から得られる複数の特徴部位の位置情報を含む。

画像処理部１３は、検出結果（例、撮像画像）を用いてユーザＵのモデル（例、図２のユーザモデルＵＭ）および教示図形Ｆ（図２参照）を含む教示画像（例、図２、図３の画像Ｉｍ１から画像Ｉｍ６）を生成する。画像処理部１３は、教示画像を生成する際に、モデル生成部１１が生成したユーザのモデルに対し、教示図形Ｆ（図２参照）をパーツ（例、図２のパーツｐ１、パーツｐ２）ごとに位置決めする。画像処理部１３は、検出部５から得られるユーザの姿勢に基づいて、教示図形Ｆをパーツごとに位置決めする。例えば、画像処理部１３は、検出部５から得られるユーザの姿勢として、部位特定部１２が生成したユーザの部位の位置情報（例、図４（Ｂ）の骨格情報ＳＤ）に基づいて、教示図形Ｆをパーツごとに位置決めする。

画像処理部１３は、例えば、姿勢定義データＤ１、教示図形データＤ２、及び表示条件データＤ３に基づいて、教示画像を生成する。姿勢定義データＤ１、教示図形データＤ２、及び表示条件データＤ３は、記憶部８に予め記憶される。記憶部８は、例えば、不揮発性メモリまたはハードディスクを含む。

図５は、第１実施形態に係る姿勢定義データ、教示図形データ、表示条件データを示す概念図である。図５（Ａ）には、姿勢定義データＤ１を概念的に示した。姿勢定義データＤ１は、例えば、姿勢の種類を示す情報（例、「姿勢名称」）と、姿勢の定義を示す情報（例、「サンプル画像データ」）とを一組にした情報（例、テーブルデータ）を含む。「姿勢名称」は、例えば、「戦士のポーズ」、「三角のポーズ」などである。

図５（Ａ）において、符号Ｓａ１は、「戦士のポーズ」に対応するサンプル画像である。また、符号Ｓａ２は、「三角のポーズ」に対応するサンプル画像である。「姿勢名称」が「戦士のポーズ」である行の「サンプル画像データ」には、「戦士のポーズ」の定義を示す情報として、サンプル画像Ｓａを示す画像データである「戦士のポーズ．ｄａｔ」の所在を示す情報が格納される。「戦士のポーズ．ｄａｔ」は、例えば、静止画形式のファイル（例、ｊｐｇ、ビットマップ）などでもよいし、動画形式のファイル（例、ｍｐｅｇ、ａｖｉ）などでもよい。

なお、ユーザは、姿勢定義データＤ１を適宜編集可能である。例えば、ユーザは、姿勢定義データＤ１に、姿勢の種類と、姿勢の定義とを一組にした情報（以下、定義ファイルという）を登録可能である。また、ユーザは、姿勢定義データＤ１から定義ファイルを削除することが可能である。上記の定義ファイルは、インターネット回線などを介して自動または手動で取得されてもよい。また、取得された定義ファイルは、自動または手動で姿勢定義データＤ１に登録されてもよい。

図５（Ｂ）には、教示図形データＤ２を概念的に示した。教示図形データＤ２は、例えば、教示図形の識別情報（例、教示図形識別番号）と、教示図形に含まれるパーツの識別情報（例、パーツ識別番号）と、パーツの形状を示す情報（例、形状データ）とを一組にした情報を含む。「教示図形識別番号」は、教示画像ごとに割り付けられる識別番号である。例えば、「教示図形識別番号」が「０１」のデータは、図２に示した教示図形Ｆに対応する。

また、「教示図形識別番号」が「０１」、かつ「パーツ識別番号」が「０１」のデータは、図２のパーツｐ２（線分）に対応する。符号Ｉｍｐ１は、パーツｐ２（線分）に対応するイメージである。「教示図形識別番号」が「０１」であり、かつ「パーツ識別番号」が「０１」である「形状データ」には、パーツｐ２の形状を規定するデータ（例、「ｆｏｒｍ＿０１０１．ｄａｔ」）が格納される。「ｆｏｒｍ＿０１０１．ｄａｔ」は、例えば、イメージＩｍｐ１を表すベクトルデータまたはラスターデータを含む。

また、「教示図形識別番号」が「０１」、かつ「パーツ識別番号」が「０２」のデータは、図２のパーツｐ３（丸印）に対応する。符号Ｉｍｐ２は、パーツｐ３（丸印）に対応するイメージである。「教示図形識別番号」が「０１」であり、かつ「パーツ識別番号」が「０２」である「形状データ」には、パーツｐ３の形状を規定するデータ（例、「ｆｏｒｍ＿０１０２．ｄａｔ」）が格納される。「ｆｏｒｍ＿０１０２．ｄａｔ」は、例えば、イメージＩｍｐ２を表すベクトルデータまたはラスターデータを含む。

また、「教示図形識別番号」が「０１」、かつ「パーツ識別番号」が「０３」のデータは、図２のパーツｐ１である「吸」に対応する。符号Ｉｍｐ３は、パーツｐ３「吸」に対応するイメージである。「教示図形識別番号」が「０１」であり、かつ「パーツ識別番号」が「０３」である「形状データ」には、パーツｐ１の形状を規定するデータ（例、「ｆｏｒｍ＿０１０３．ｄａｔ」）が格納される。「ｆｏｒｍ＿０１０３．ｄａｔ」は、例えば、イメージＩｍｐ３を表すベクトルデータまたはラスターデータを含む。「ｆｏｒｍ＿０１０３．ｄａｔ」は、例えば、イメージＩｍｐ３を表す文字データを含んでもよい。文字データは、例えば、文字コード、フォントの種類、フォントサイズなどを含む。

また、「教示図形識別番号」が「ｉ」のデータは、図３に示した教示図形Ｆ（例、「吐」）に対応する。「教示図形識別番号」が「ｉ」、かつ「パーツ識別番号」が「０１」のデータは、図３のパーツｐ５の「口」に対応する。符号Ｉｍｐ５は、パーツｐ５の「口」に対応するイメージである。「教示図形識別番号」が「ｉ」であり、かつ「パーツ識別番号」が「０１」である「形状データ」には、パーツｐ５の形状を規定するデータ（例、「ｆｏｒｍ＿ｉ０１．ｄａｔ」）が格納される。「ｆｏｒｍ＿ｉ０１．ｄａｔ」は、例えば、イメージＩｍｐ５を表すベクトルデータまたはラスターデータを含む。

また、「教示図形識別番号」が「ｉ」、かつ「パーツ識別番号」が「０２」のデータは、図３のパーツｐ６の「土」に対応する。符号Ｉｍｐ６は、パーツｐ６の「土」に対応するイメージである。「教示図形識別番号」が「ｉ」であり、かつ「パーツ識別番号」が「０２」である「形状データ」には、パーツｐ６の形状を規定するデータ（例、「ｆｏｒｍ＿ｉ０２．ｄａｔ」）が格納される。「ｆｏｒｍ＿ｉ０２．ｄａｔ」は、例えば、イメージＩｍｐ６を表すベクトルデータまたはラスターデータを含む。

なお、パーツｐ５に対応するイメージＩｍｐ５と、パーツｐ６に対応するイメージＩｍｐ６とが組み合わされることで、「吐」に対応するイメージＩｍｐ７が構成される。なお、パーツに対応する文字コードが存在する場合（例、「吐」における「口」、「土」）、パーツの形状データは、文字データで表されてもよい。

図５（Ｃ）には、表示条件データＤ３を概念的に示した。表示条件データＤ３は、例えば、教示図形の識別情報（例、教示図形識別番号）と、教示図形に含まれるパーツの識別情報（例、パーツ識別番号）と、表示のタイミングを規定する情報（例、表示開始条件、表示終了条件）と、表示位置を規定する情報（例、表示開始位置、表示移動条件）とを含む。

「教示図形識別番号」および「パーツ識別番号」は、それぞれ、図５（Ｂ）の教示図形データＤ２と同様である。例えば、「教示図形識別番号」が「０１」、かつ「パーツ識別番号」が「０３」のデータは、図２のパーツｐ１である「吸」に対応する。ここでは、「教示図形識別番号」が「０１」かつ「パーツ識別番号」が「０３」のパーツ（パーツｐ１である「吸」）を例として、説明する。

「表示開始条件」は、対応する形状データ（例、図５（Ｂ）の「吸」）の表示を開始する条件（例、タイミング、トリガー）を規定する情報である。図１の画像処理部１３は、各パーツについて、「表示開始条件」を満たすと判定した場合に、このパーツの表示を開始させる。例えば、パーツｐ１である「吸」の表示開始条件は、このパーツに対応するポーズ（例、図２の戦士のポーズ）のサンプル画像Ｓａの表示開始から所定の時間Ｔ１が経過した時点と規定されている。画像処理部１３は、パーツｐ１である「吸」について「表示開始条件」を満たすと判定した場合に、パーツｐ１を含む教示画像を生成する。この教示画像のデータが表示部３に供給されることで、パーツｐ１である「吸」が表示部３に表示される。

このように、表示部３は、予め登録された姿勢の画像（例、サンプル画像）をユーザに対して表示し、教示画像は、予め定められた時間的なスケジュールで表示部に表示される。教示画像は、例えば、サンプル画像の表示タイミングに基づくタイミングで表示部３に表示される。

「表示開始位置」は、対応する形状データ（例、図５（Ｂ）の「吸」）の表示開始時における表示位置を規定する情報である。「表示開始位置」は、例えば、基準の位置を規定する情報（例、「基準の部位名」）と、基準の位置に対するオフセット量を規定する情報（例、「オフセット量」）とを含む。

例えば、図２において「吸」は、ユーザモデルＵＭの胸の位置に対して位置決めされる。この場合、「基準の部位名」として、「胸」を指定する情報が格納される。また、「オフセット量」には、画像上の基準の位置（例、「胸」の座標）に対するオフセット量が画像上のスケール（例、水平走査方向の画素数、垂直走査方向の画素数）で規定されている。オフセット量は、固定値でもよいし、例えば画像上のユーザモデルＵＭのスケールに基づいた可変値でもよい。

また、オフセット量は、検出部５の検出結果から得られるユーザＵの姿勢（例、ユーザモデルＵＭ）と、予め登録された姿勢（例、サンプル画像Ｓａにおける姿勢）との比較結果に基づいて、設定されてもよい。例えば、第１のパーツのオフセット量が他のパーツのオフセット量に対して相対的に大きい場合、又は第１のパーツのオフセット量が所定の値より大きい場合に、第１のパーツは、第１のパーツに対応する部位の動作を大きくすることをユーザＵに示してもよい。

図１の画像処理部１３は、部位特定部１２が特定した部位の座標に基づいて、「基準の部位名」に指定された部位の位置（例、画像上のユーザモデルＵＭにおける「胸」の座標）を取得する。また、画像処理部１３は、「基準の部位名」に指定された部位の位置を基準の位置として、基準の位置から「オフセット量」に規定されたオフセット量だけシフトした位置を算出し、算出した位置をパーツｐ１の「吸」の位置として決定する（位置決めする）。

例えば、画像上のユーザモデルＵＭにおける「胸」の座標が（Ｘ１，Ｙ１）で表され、オフセット量が（ΔＸ１，ΔＹ１）で表される場合、画像処理部１３は、パーツｐ１である「吸」の位置を、（Ｘ１＋ΔＸ１，Ｙ１＋ΔＹ１））に決定する。画像処理部１３は、決定した位置である（Ｘ１＋ΔＸ１，Ｙ１＋ΔＹ１）に、図５（Ｂ）の教示図形データＤ２における形状データ（ｆｏｒｍ＿０１０３．ｄａｔ）に規定されたイメージＩｍｐ３の「吸」を配置することで、教示画像として図２の画像Ｉｍ１を生成する。このように、画像処理部１３は、部位特定部１２が特定したユーザの部位に対応するユーザモデルＵＭ上の位置（例、（Ｘ１，Ｙ１））に対して、複数のパーツのうちユーザの部位（例、「胸」）に予め関連付けられたパーツ（例、「吸」）を位置決めする。

図５（Ｃ）の「表示移動条件」は、対応する形状データ（例、図５（Ｂ）の「吸」）の移動を規定する情報である。「表示移動条件」は、例えば、水平走査方向における移動量を画素数で表した「Ｖ１ｘ」、及び垂直走査方向における移動量を画素数で表した「Ｖ１ｙ」を含む。画像処理部１３は、教示画像として次回のフレームの画像を生成する際に、パーツｐ１である「吸」の位置を、次回のフレームの画像における位置から「表示移動条件」に規定された移動量だけシフトさせる。例えば、画像処理部１３は、教示画像として図２の画像Ｉｍ１の次のフレームの画像を生成する際に、パーツｐ１である「吸」の位置を（Ｘ１＋ΔＸ１＋Ｖ１ｘ，Ｙ１＋ΔＹ１＋Ｖ１ｙ）に決定する。なお、移動させないパーツである場合、例えば移動量が「０」に設定される。

「表示終了条件」は、対応する形状データ（例、図５（Ｂ）の「吸」）の表示を終了する条件（例、タイミング、トリガー）を規定する情報である。図１の画像処理部１３は、各パーツについて、「表示終了条件」を満たすと判定した場合に、このパーツの表示を終了させる。例えば、パーツｐ１である「吸」の表示終了条件は、このパーツに対応するポーズ（例、図２の戦士のポーズ）のサンプル画像Ｓａの表示開始から時間Ｔ２が経過した時点と規定されている。画像処理部１３は、パーツｐ１である「吸」について「表示終了条件」を満たすと判定した場合に、例えば、パーツｐ１を含まない画像を生成する。この画像のデータが表示部３に供給されることで、パーツｐ１である「吸」が表示部３に非表示となる。

図１の表示制御部７は、画像処理部１３が生成したパーツを含む教示画像（例、教示図形、コメント、動作の時間（例、ポーズを維持する残り時間）など）を表示部３に表示させる。例えば、表示制御部７は、画像処理部１３が生成した教示画像のデータを表示部３に供給することによって、表示部３に教示画像を表示させる。教示画像のデータは、記憶部８に記憶されてもよく、表示制御部７は、記憶部８に記憶された教示画像のデータを表示部３に供給してもよい。

図６および図７は、それぞれ、第１実施形態に係る教示画像を示す図である。図６および図７において、ユーザはヨガの「三角のポーズ」を行うものとする。図６（Ａ）に示す教示画像Ｉｍ１１は、サンプル画像ＳａおよびユーザモデルＵＭを含み、教示図形を含まない。実施形態において、図１の画像処理部１３が生成する複数の教示画像は、その少なくとも一部が教示図形を含めばよく、一部の教示画像が教示図形を含まなくてもよい。なお、教示画像は、サンプル画像Ｓａを含まなくてもよい。

図６（Ｂ）において、教示画像Ｉｍ１２は、ユーザモデルＵＭおよび教示図形Ｆを含む。教示図形Ｆは、複数のパーツ（パーツｐ１１、パーツｐ１２、パーツｐ１３、パーツｐ１４、及びパーツｐ１５）を含む。パーツｐ１１は、ユーザモデルＵＭの右足に位置決めされた三角形である。パーツｐ１２は、ユーザモデルＵＭの左足に位置決めされた三角形である。パーツｐ１３は、パーツｐ１１とパーツｐ１２とを結ぶ線分である。パーツｐ１４およびパーツｐ１５は、それぞれ、「５０」という文字（文字列）である。パーツｐ１４およびパーツｐ１５は、例えば、右足と左足とにかける体重の比率として推奨される値を表す。例えば、パーツｐ１４は右足に体重の５０％をかけることを表し、パーツｐ１５は左足に体重の５０％をかけることを表す。例えば、ユーザは、左足と右足とに、それぞれ体重の５０％をかけるイメージをもつことで、目的のポーズに近づけることが容易になる。図６（Ｂ）における教示図形Ｆの「５０」という文字によって、ユーザＵは体重のかける割合を把握し人体の重心をイメージすることができ、目的のポーズに近づけることが容易になる。

図６（Ｃ）において、教示画像Ｉｍ１３は、ユーザモデルＵＭおよび教示図形Ｆを含む。教示図形Ｆは、複数のパーツ（パーツｐ１１、パーツｐ１２、及びパーツｐ１６）を含む。パーツｐ１６は、例えば、右足と左足との姿勢（相対位置）を表す三角形である。パーツｐ１６は、例えば、パーツｐ１１（右足の位置）およびパーツｐ１２（左足の位置）に対して位置決めされる。パーツｐ１６の底辺は、例えば水平方向と平行に配置される。パーツｐ１６の２つの斜辺は、それぞれ、目標となる左右の足の傾きのイメージを表す。ユーザは、左足の傾きと右足の傾きとをパーツｐ１６に合わせるようにイメージすることで、目的のポーズに近づけることが容易になる。

図７（Ａ）において、教示画像Ｉｍ１４は、ユーザモデルＵＭおよび教示図形Ｆを含む。教示図形Ｆは、複数のパーツ（パーツｐ１７及びパーツｐ１８）を含む。パーツｐ１７は、例えば、頭部と右足先と腰中央との位置関係のイメージを表す三角形である。パーツｐ１７は、例えば、右手先と左手先との位置関係のイメージを表す三角形である。ユーザは、体の各部の位置関係をパーツｐ１７およびパーツｐ１８に合わせるようにイメージすることで、目的のポーズに近づけることが容易になる。

図７（Ｂ）において、教示画像Ｉｍ１５は、ユーザモデルＵＭおよび教示図形Ｆを含む。教示図形は、複数のパーツ（パーツｐ２１からパーツｐ３０）を含む。パーツｐ２１は、頂点が下向きの三角形であり、右手を下方に伸ばすイメージを表す。パーツｐ２２は、頂点が上向きの三角形であり、左手を上方に伸ばすイメージを表す。パーツｐ２３は、パーツｐ２１およびパーツｐ２２を結ぶ線分である。

パーツｐ２４は、頭部に対して位置決めされる三角形である。パーツｐ２４は、頂点が上向きの三角形であり、顔を上方に向けるイメージを表す。パーツｐ２５は、腰に対して位置決めされ、頂点が下向きの三角形である。パーツｐ２６は、パーツｐ２４およびパーツｐ２５を結ぶ線分である。パーツｐ２６は、水平方向と平行に配置され、頭と腰とを結ぶ線が水平になるイメージを表す。

パーツｐ２７からパーツｐ３０は、それぞれ、「脇」という漢字の一部である。この「脇」という漢字は、ユーザモデルＵＭの左脇に対して位置決めされる。三角のポーズにおいては、左脇を伸ばすとよいとされる。パーツｐ２７は、「脇」の一部（へん）である「月」であり、パーツｐ２８からパーツｐ３０は、それぞれ、「脇」の一部（つくりの一部）である「力」である。パーツｐ３０は、ユーザモデルＵＭの左脇（左腰）に沿うように位置決めされ、「脇」という漢字は、ユーザモデルＵＭの左脇（左腰）に沿うように変形している。

図７（Ｃ）において、教示画像Ｉｍ１５は、ユーザモデルＵＭおよび教示図形Ｆを含む。教示図形Ｆは、複数のパーツ（パーツｐ３１からパーツｐ３７）を含む。パーツｐ３１からパーツｐ３７は、それぞれ、「ｓ」、「ｔ」、「ｒ」、「ｅ」、「ｔ」、「ｃ」、「ｈ」のアルファベット（表音文字）である。パーツｐ３１からパーツｐ３７は、一組で「ｓｔｒｅｔｃｈ」という単語を表す。パーツｐ３１からパーツｐ３７は、それぞれ、ユーザモデルＵＭの左脇に対して位置決めされ、「ｓｔｒｅｔｃｈ」はユーザモデルＵＭの左脇に沿うように変形している。このように、教示図形は、変形させた単語を含み、複数のパーツの少なくとも１つは、変形させた単語を構成する表音文字を含んでもよい。

教示図形に文字を用いる場合、図７（Ｂ）のように教示図形が漢字（例、脇）を含んでもよいし、図７（Ｃ）のようにアルファベット（例、「ｓｔｒｅｔｃｈ」）を含んでもよい。また、教示図形に文字を用いる場合、教示図形は、「わき」などのひらがなと、「ワキ」などのカタカナとの一方または双方を含んでもよい。教示図形は、表音文字の文字列からなる単語（例、「わき」）を含む場合、単語を構成する各文字（例、「わ」、「き」）が教示図形のパーツでもよい。また、表音文字の文字列（例、「わき」）が教示図形の全体または１つのパーツでもよい。また、教示図形に文字を用いる場合、その言語は任意であり、例えば、教示図形は、韓国語で用いられる文字（例、ハングル）、人為的に作られた文字（例、フォント）などを含んでもよい。

次に、図８から図１５を参照して、上述の実施形態に係る検出システム１の動作について説明する。図８から図１５は、それぞれ、実施形態に係る検出システムの動作を示す図である。図８から図１５のそれぞれには、表示部３に表示される教示画像を示した。図８から図１１は「戦士のポーズ」に対応し、図１２および図１３は「三角のポーズ」に対応し、図１４および図１５は、「木のポーズ」に対応する。

ヨガの一連の動作において各ポーズを行うスケジュール（タイミング、順番、時間）は、例えば、図１の記憶部８に予め記憶される姿勢定義データＤ１に定められている。例えば、姿勢定義データＤ１には、まず「戦士のポーズ」を行い、次いで「三角のポーズ」行った後、「木のポーズ」を行うことが定められている。この場合、行うポーズの順番で各ポーズのサンプル画像が表示される。また、各ポーズを行うと想定されている期間にわたって、このポーズのサンプル画像が表示される。

図８から図１５において、ユーザモデルＵＭは、黒のシルエットで表されている。このユーザモデルＵＭは、例えば、点群データに含まれる各点を黒のドットで表したものである。ユーザモデルＵＭは、例えば、予め設定された背景画像（例、海岸の画像、夕暮れの画像、森林の画像）等と合成されて表示されるが、図８から図１５においては背景画像を省略する。また、以下の説明において、検出システム１の各部については、適宜、図１を参照する。

図８から図１１において、画像処理部１３（図１参照）は、「戦士のポーズ」に対応するサンプル画像Ｓａ、検出部５（図１参照）がユーザを検出して得られるユーザモデルＵＭ、及び教示図形Ｆを含む教示画像Ｉｍを生成する。表示制御部７（図１参照）は、教示画像Ｉｍのデータを表示部３（図１参照）に供給し、表示部３は、教示画像Ｉｍを表示する。

図８（Ａ）において教示図形Ｆは、「吸」という漢字である。「吸」という教示図形Ｆは、例えば、息を吸う動作を伴う姿勢のサンプル画像Ｓａが表示されるタイミングに基づいて、ユーザモデルＵＭに対して所定の位置に表示される。この場合、例えば、ユーザＵがサンプル画像Ｓａを参照して息を吸うタイミングで、「吸」という教示図形ＦがユーザモデルＵＭの胸に対して位置決めされて表示される。

図８（Ｂ）において教示図形Ｆは、パーツｐ４１、パーツｐ４２、及びパーツｐ４３を含む。パーツｐ４１は、例えば、背筋を伸ばすイメージを表す帯状の図形である。パーツｐ４２は、例えば、低い位置に重心を置くイメージを表す丸印の図形である。図８（Ｂ）において、ユーザＵは腰が下に落としきれおらず、ユーザモデルＵＭは、サンプル画像Ｓａに比べて腰の位置が高い。ユーザＵは、例えば、重心を低くするイメージを、教示図形Ｆのパーツｐ４２によって直感的に得ることができる。

また、パーツｐ４３は、「吐」という漢字である。「吐」というパーツｐ４３は、例えば、息を吐く動作を伴う姿勢のサンプル画像Ｓａが表示されるタイミングに基づいて、ユーザモデルＵＭに対して所定の位置に表示される。この場合、例えば、ユーザＵがサンプル画像Ｓａを参照して息を吐くタイミングで、「吐」という教示図形ＦがユーザモデルＵＭの胸に対して位置決めされて表示される。

図８（Ｃ）において教示図形Ｆは、パーツｐ４３およびパーツｐ４４を含む。パーツｐ４３は、図８（Ｂ）と同様に「吐」という漢字であるが、図８（Ｂ）に比べてユーザモデルＵＭから離れた位置に表示される。例えば、ユーザＵは、吐いた息を遠くまで届かせるイメージを、パーツｐ４３から直感的に得ることで、息を深く吐く動作を直感的に行うことができる。パーツｐ４４は、図８（Ｂ）のパーツｐ４１を折れ線状に変形させた図形である。パーツｐ４４は、背筋を伸ばすとともに膝を垂直に曲げるイメージを表す。

図９（Ａ）において教示図形Ｆは、パーツｐ４５、パーツｐ４６、及びパーツｐ４７を含む。パーツｐ４５からパーツｐ４７は、それぞれ、三角形の図形（例、矢印の先端部の形状）である。パーツｐ４５は、ユーザモデルＵＭの頭部に対して位置決めされる。パーツｐ４５は、例えば、ユーザの頭部を向ける方向のイメージを表す。パーツｐ４６は、ユーザモデルＵＭの右足に対して位置決めされる。パーツｐ４６は、例えば、ユーザの右足を向ける方向のイメージを表す。パーツｐ４７は、ユーザモデルＵＭの左足に対して位置決めされる。パーツｐ４７は、例えば、ユーザの左足を向ける方向のイメージを表す。

図９（Ｂ）において教示図形Ｆは、パーツｐ４８、パーツｐ４９、パーツｐ５０、及びパーツｐ５１を含む。パーツｐ４８は、例えば、ユーザモデルＵＭの右肩と左肩との中心に対して位置決めされる。パーツｐ４８は、水平方向に延びる棒状の図形である。パーツｐ４８は、例えば、右腕および左腕を水平方向に伸ばすイメージを表す。パーツｐ４９は、折れ線状の図形であり、ユーザモデルＵＭの脚部に対して位置決めされる。パーツｐ４９は、例えば、脚部を足首と膝とで曲げるイメージを表す。パーツｐ５０およびパーツｐ５１は、それぞれ、正方形状の図形である。パーツｐ４９は、例えば、ユーザモデルＵＭの足首に対して位置決めされ、足首を垂直に曲げるイメージを表す。パーツｐ５０は、例えば、ユーザモデルＵＭの膝に対して位置決めされ、膝を垂直に曲げるイメージを表す。

図９（Ｃ）において教示図形Ｆは、パーツｐ５２、パーツｐ５３、及びパーツｐ５４を含む。パーツｐ５２は、例えば、ユーザモデルＵＭの右足と左足とに対して位置決めされる。パーツｐ５２は、水平方向に延びる棒状の図形であり、その両端に体重をかける位置を表す三角形を含む。パーツｐ５３は「７０」という数字であり、右足にかける体重の割合が７０％であるイメージを表す。パーツｐ５４は「３０」という数字であり、左足にかける体重の割合が３０％であるイメージを表す。

図１０（Ａ）において教示図形Ｆは、外形が長方形の枠状の図形である。教示図形Ｆは、例えば、ユーザモデルＵＭの胸に対して位置決めされ、胸の外形が長方形状になるように胸を張るイメージを表す。図１０（Ｂ）において教示図形Ｆは、「吸」という漢字である。「吸」という教示図形Ｆは、例えば、ユーザモデルＵＭの胸に対して位置決めされ、息を吸うイメージを表す。

図１０（Ｃ）において教示図形Ｆは、パーツｐ５５およびパーツｐ５６を含む。パーツｐ５５は、１つの頂点が上方を向いた３つの三角形である。パーツｐ５５は、例えば、ユーザモデルＵＭの右腕に対して位置決めされ、右腕を上方に伸ばすイメージを表す。パーツｐ５６は、「吐」という漢字である。「吐」というパーツｐ５６は、例えば、ユーザモデルＵＭの胸に対して位置決めされ、息を吐くイメージを表す。

図１１（Ａ）は、図１０（Ｃ）と連続する動作に対応する。図１１（Ａ）において教示図形Ｆは、パーツｐ５５およびパーツｐ５６を含む。パーツ「吐」というパーツｐ５６は、例えば、図１０（Ｃ）に比べて、ユーザモデルＵＭから離れた位置に位置決めされている。図１１（Ｂ）において、教示図形Ｆは、円弧状に並ぶ複数の丸印の図形である。この教示図形Ｆは、例えば、右脇を湾曲させて伸ばすイメージを表す。

図１２および図１３において、画像処理部１３（図１参照）は、「三角のポーズ」に対応するサンプル画像Ｓａ、検出部５（図１参照）がユーザを検出して得られるユーザモデルＵＭ、及び教示図形Ｆを含む教示画像Ｉｍを生成する。表示制御部７（図１参照）は、教示画像Ｉｍのデータを表示部３（図１参照）に供給し、表示部３は、教示画像Ｉｍを表示する。

図１２（Ａ）において教示図形Ｆは、「吐」という漢字である。図１２（Ｂ）において教示図形Ｆは、パーツｐ５７、パーツｐ５８、及びパーツｐ５９を含む。パーツｐ５７は、例えば、ユーザモデルＵＭの右足と左足とに対して位置決めされる。パーツｐ５７は、水平方向に延びる棒状の図形であり、その両端に体重をかける位置を表す三角形を含む。パーツｐ５８は「５０」という数字であり、右足にかける体重の割合が５０％であるイメージを表す。パーツｐ５９は「５０」という数字であり、左足にかける体重の割合が５０であるイメージを表す。

図１３（Ａ）において教示図形Ｆは、パーツｐ５７、パーツｐ５８、パーツｐ５９、パーツｐ６０、及びパーツｐ６１を含む。パーツｐ６０は、例えば、右足と左足との姿勢（相対位置）のイメージを表す三角形である。パーツｐ６０は、例えば、ユーザモデルＵＭの右足および左足に対して位置決めされる。パーツｐ６０の底辺は、例えば水平方向と平行に配置される。パーツｐ６０の２つの斜辺は、それぞれ、目標となる左右の足の傾きのイメージを表す。ユーザＵは、左足の傾きと右足の傾きとをパーツｐ６０に合わせるようにイメージすることで、目的のポーズに近づけることが容易になる。パーツｐ６１は、１つの頂点が上向きの三角形（上向きの矢印の先端部）である。パーツｐ６１は、例えば、ユーザモデルＵＭの頭部に対して位置決めされ、顔を向ける方向のイメージを表す。

図１３（Ｂ）において、教示図形Ｆは、パーツｐ６２及びパーツｐ６３を含む。パーツｐ６２は、例えば、頭部と右足先と腰中央との位置関係のイメージを表す。パーツｐ６３は、例えば、右手先と左手先との位置関係のイメージを表す。ユーザＵは、体の各部の位置関係を教示図形に合わせるようにイメージすることで、目的のポーズに近づけることが容易になる。

図１４および図１５において、画像処理部１３（図１参照）は、「木のポーズ」に対応するサンプル画像Ｓａ、検出部５（図１参照）がユーザを検出して得られるユーザモデルＵＭ、及び教示図形Ｆを含む教示画像Ｉｍを生成する。表示制御部７（図１参照）は、教示画像Ｉｍのデータを表示部３（図１参照）に供給し、表示部３は、教示画像Ｉｍを表示する。

図１４（Ａ）において、教示図形Ｆは、パーツｐ６５及びパーツｐ６６を含む。パーツｐ６５は、例えば、右足と左足との位置関係のイメージを表す折れ線である。パーツｐ６６は、右足と左足の脛とを垂直にするイメージを示す正方形である。図１４（Ｂ）において、教示図形Ｆは、「吸」という漢字である。図１４（Ｃ）は、図１４（Ｂ）と連続する動作に対応する。図１４（Ｃ）において、教示図形Ｆの「吸」は、例えば背筋を伸ばしながら息を吸うイメージを与えるように、図１４（Ｂ）に比べて上方に移動している。

図１５（Ａ）において、教示図形Ｆは、パーツｐ６７及びパーツｐ６８を含む。パーツｐ６７は、垂直方向に延びる棒状の図形である。パーツｐ６８は、頂点が上向きの三角形（矢印の先端状の図形）である。パーツｐ６７及びパーツｐ６８は、例えば、右足、背骨、頭を一直線にして上方に伸ばすイメージを表す。図１５（Ｂ）および図１５（Ｃ）において、教示図形Ｆは、パーツｐ６９およびパーツｐ７０を含む。パーツｐ６９は「呼」という漢字であり、パーツｐ７０は「吸」という漢字である。パーツｐ６９の「呼」は、ユーザモデルＵＭの左側に位置決めされ、パーツｐ７０はユーザモデルＵＭの右側に位置決めされる。パーツｐ６９およびパーツｐ７０は、一組で「呼吸」という単語を表す。

図１５（Ｂ）および図１５（Ｃ）のそれぞれにおいて、「呼」と「吸」とのうち相対的にコントラストが高い方を実線で表し、「呼」と「吸」とのうち相対的にコントラストが低い方を点線で表した。図１５（Ｂ）はユーザが息を吐く動作に対応しており、パーツｐ６９の「呼」は、パーツｐ７０の「吸」よりも高いコントラストで表示される。また、図１５（Ｃ）はユーザＵが息を吸う動作に対応しており、パーツｐ７０の「吸」は、パーツｐ６９の「吐」よりも高いコントラストで表示される。このように、画像処理部１３は、教示画像として、複数のパーツのうちの第１パーツ（例、パーツｐ６９）を第２パーツ（例、パーツｐ７０）と異なる表示で表した画像を生成してよい。本実施形態において、「異なる表示」は、表示の要素（例、色、色相、明度、彩度、周囲に対するコントラスト）の少なくとも１つが異なることを含む。

次に、上述のような検出システムの構成に基づいて、実施形態に係る検出方法について説明する。図１６は、第１実施形態に係る検出システムの動作を示すフローチャートである。検出システムの各部については、適宜、図１を参照する。

ステップＳ１において、検出装置２（例、検出部５）は、ユーザＵの検出を開始する。ステップＳ２において、検出装置（例、モデル生成部１１）はステップＳ１の検出結果に基づいて、ユーザＵのモデルを生成する。ステップＳ３において、検出装置（例、表示制御部７）は、ユーザＵのモデルの表示を開始させる指令（表示開始指令）を表示部３に送信する。例えば、表示制御部７は、ステップＳ２で生成されたユーザＵのモデルに対応する画像（例、図２のユーザモデルＵＭを含む画像）の画像データを、表示開始指令として表示部３に供給する。表示部３は、ステップＳ４において、検出装置から供給されたデータに基づいてユーザＵのモデルの表示を開始する。

検出装置は、ステップＳ５において、対象のポーズを設定する。行うポーズの種類、順番、及びポーズを行う時間として設定された時間は、例えば、図５（Ａ）に示した姿勢定義データＤ１に定められる。以下の説明において、適宜、ポーズを行う順番として設定された順番をポーズの設定順番と称する。また、以下の説明において、適宜、ポーズを行う時間（例、１５秒、３０秒）として設定された時間をポーズの設定時間という。図５（Ａ）では、例えば、最初に行うポーズとして「戦士のポーズ」が予め設定され、その後に行うポーズとして「三角のポーズ」が設定される。ここでは、対象のポーズとして「戦士のポーズ」が設定されるものとする。対象のポーズが設定されてから、設定されたポーズの設定時間が経過した際に、対象のポーズは、後述するステップＳ１５の処理を経てポーズの設定順番に基づいて次にポーズに変更される。

ステップＳ６において、検出装置（例、表示制御部７）は、ステップＳ５で設定されたポーズのサンプル画像の表示を開始させる指令（表示開始指令）を表示部３に送信する。例えば、画像処理部１３は、図５（Ａ）の姿勢定義データＤ１に基づいて「戦士のポーズ」のサンプル画像Ｓａのデータを取得し、サンプル画像ＳａとユーザモデルＵＭとを含む画像のデータを生成する。表示制御部７は、サンプル画像の表示開始指令として、画像処理部１３が生成したサンプル画像ＳａとユーザモデルＵＭとを含む画像のデータを表示部３に供給する。表示部３は、ステップＳ７において、検出装置から供給されたデータに基づいて、ステップＳ５で設定されたポーズのサンプル画像の表示を開始する。

検出装置（例、画像処理部１３）は、ステップＳ８において、教示図形の表示開始条件を満たすか否かを判定する。画像処理部１３は、例えば、図５（Ｃ）に示した表示条件データＤ３に基づいて、教示図形の表示開始条件を満たすか否かを判定する。例えば、画像処理部１３は、ステップＳ５で設定されたポーズに関連付けられた教示図形のパーツごとに、表示条件データＤ３の「表示開始条件」に規定された条件を満たすか否かを判定する。

例えば、図５（Ｂ）に示した教示図形データにおいて、「戦士のポーズ」と関連付けられた教示図形は「教示図形識別番号」が「０１」であり、画像処理部１３は、「教示図形識別番号」が「０１」のパーツのそれぞれについて上記の判定を行う。例えば、「教示図形識別番号」が「０１」であり、「パーツ識別番号」が「０３」のパーツは、パーツｐ１の「吸」である。図５（Ｃ）に示すように、このパーツｐ１「吸」の「表示開始条件」は、ポーズの表示開始から時間Ｔ１経過することである。画像処理部１３は、ステップＳ６においてポーズのサンプル画像の表示開始指令が送信されてから時間Ｔ１が経過したと判定した場合に、教示図形の表示開始条件を満たすと判定する（ステップＳ８；Ｙｅｓ）。画像処理部１３は、教示図形の表示開始条件を満たさないと判定した場合（ステップＳ８；Ｎｏ）、ステップＳ８の処理を繰り返す。

検出装置（例、画像処理部１３）は、教示図形の表示開始条件を満たすと判定した場合（ステップＳ８；Ｙｅｓ）、ステップＳ９において教示画像を生成する。画像処理部１３は、ステップＳ８において表示開始条件を満たすと判定した教示図形のパーツを、ユーザモデルＵＭに対して位置決めして、教示画像を生成する。教示画像を生成する処理については、後に図１７を参照して説明する。

検出装置（例、表示制御部７）は、ステップＳ１０において、教示画像の表示を開始させる指令（表示開始指令）を表示部３に送信する。例えば、表示制御部７は、教示画像の表示開始指令（信号）として、ステップＳ９において画像処理部１３が生成した表示画像のデータを表示部３に供給する。表示制御部７は、ユーザＵの人体に関連する位置（部位）に対して所定の位置関係で教示図形Ｆを現在の動作又は次の動作を示すガイド表示として表示部３に表示する。表示部３は、ステップＳ１１において、検出装置から供給されたデータに基づいて表示画像を表示する。

検出装置（例、画像処理部１３）は、ステップＳ１２において、教示図形の表示終了条件を満たすか否かを判定する。画像処理部１３は、例えば、図５（Ｃ）に示した表示条件データＤ３に基づいて、教示図形の表示終了条件を満たすか否かを判定する。例えば、画像処理部１３は、ステップＳ５で設定されたポーズに関連付けられた教示図形のパーツごとに、表示条件データＤ３の「表示終了条件」に規定された条件（データ）を満たすか否かを判定する。

例えば、図５（Ｂ）に示した教示図形データにおいて、「戦士のポーズ」と関連付けられた教示図形は「教示図形識別番号」が「０１」であり、画像処理部１３は、「教示図形識別番号」が「０１」のパーツのそれぞれについて上記の判定を行う。例えば、「教示図形識別番号」が「０１」であり、「パーツ識別番号」が「０３」のパーツは、パーツｐ１の「吸」である。

図５（Ｃ）に示すように、このパーツｐ１「吸」の「表示終了条件」は、ポーズの表示開始から時間Ｔ２経過することである。画像処理部１３は、ステップＳ６においてポーズのサンプル画像の表示開始指令が送信されてから時間Ｔ２が経過したと判定した場合に、教示図形の表示終了条件を満たすと判定する（ステップＳ１２；Ｙｅｓ）。画像処理部１３は、教示図形の表示終了条件を満たさないと判定した場合（ステップＳ１２；Ｎｏ）、ステップＳ１２の処理を繰り返す。

検出装置（例、画像処理部１３）は、教示図形の表示終了条件を満たすと判定した場合（ステップＳ１２；Ｙｅｓ）、教示図形の表示を停止させる。例えば、画像処理部１３は、教示図形の表示終了条件を満たすと判定した場合（ステップＳ１２；Ｙｅｓ）、表示終了条件を満たすと判定したパーツを含まない教示画像を生成する。ステップＳ１３において、表示制御部７は、パーツを含まない教示画像のデータを、表示停止指令として表示部３に供給する。表示部３は、ステップＳ１４において、検出装置から供給されるデータに基づいて画像を表示することによって、教示図形の表示を停止する。ここでは、検出装置（例、表示制御部７）は、教示図形を含まない教示画像のデータを表示部３に供給し、表示部３は、教示図形を含まない教示画像を表示する。

検出装置は、ステップＳ１５において、対象のポーズを変更するか否かを判定する。例えば、検出装置は、図５（Ａ）に示した姿勢定義データＤ１に基づいて次の対象のポーズがあるか否かを判定する。検出装置は、次の対象のポーズがあると判定した場合に、ステップＳ５において設定された対象のポーズの設定時間が経過した際に、対象のポーズを変更すると判定する（ステップＳ１５；Ｙｅｓ）。検出装置は、対象のポーズを変更すると判定した場合（ステップＳ１５；Ｙｅｓ）、ステップＳ５の処理に戻り、対象のポーズを次のポーズに設定し、ステップＳ６以降の処理を繰り返す。また、対象のポーズを変更しないと検出装置が判定した場合（ステップＳ１５；Ｎｏ）、例えば、検出装置および表示部は、待機状態となる。

検出装置２（例、処理部６、画像処理部１３、表示制御部７）は、例えば、教示画像（教示図形）の表示開始指示（トリガ信号）が検出された場合、特定（複数）の表示要素（例、パーツ）を、表示画面（表示部３）における表示位置を所定方向へ移動させる表示移動処理を、表示部３に実行させる。また、検出装置２（例、処理部６、画像処理部１３、表示制御部７）は、例えば、上記の表示移動処理を実行させるとともに、サンプル画像Ｓａが切り替わる信号に基づいて、表示要素を順次更新して表示画面に表示させる表示更新処理を、表示部３に実行させる。また、検出装置２（例、処理部６、画像処理部１３、表示制御部７）は、例えば表示終了指令（表示終了の指示）が検出された場合、特定の表示要素の表示位置の移動を停止させる表示停止処理を、表示部に実行させる。

なお、検出装置は、各種情報を音声で入力可能な音声入力部を備えてもよい。検出装置は、ユーザの入力（例、音声入力）に基づいて、ポーズを変更するか否かを判定してもよい。例えば、ユーザは、次の対象のポーズの種類を音声で入力してもよい。例えば、検出装置は、ユーザが発声したポーズの名称（例、「三角のポーズ））を識別してもよい。検出装置２は、識別した音声と予め関連付けられた種類のポーズを、ステップＳ５の処理において、次の対象のポーズの種類として設定してもよい。

次に、画像処理部１３の動作に基づいて、図１６のステップＳ９において教示画像を生成する処理について説明する。図１７は、第１実施形態に係る画像処理部による処理を示すフローチャートである。なお、検出システム１の各部については、適宜、図１を参照する。また、ステップＳ１からステップＳ１５の処理については、適宜、図１６を参照する。

ステップＳ２１において、画像処理部１３は、モデル生成部１１（図１参照）が図１６のステップＳ２において生成したユーザのモデルを取得する。ステップＳ２２において、画像処理部１３は、教示図形のパーツを選択する。例えば、画像処理部１３は、ステップＳ５において設定された対象のポーズについて、図５（Ｂ）に示した教示図形データＤ２を参照して、対象のポーズと関連付けられた教示図形に属するパーツを特定する。例えば、「対象のポーズ」として「戦士のポーズ」が設定されている場合、「戦士のポーズ」に対応する「教示図形識別番号」は「０１」であり、画像処理部１３は「教示図形識別番号」が「０１」であるパーツを特定する。図５（Ｂ）において、「教示図形識別番号」が「０１」の教示図形に属するパーツは、「パーツ識別番号」が「０１」、「０２」、「０３」である。画像処理部１３は、ステップＳ２２において、「パーツ識別番号」を「０１」、「０２」、「０３」から選択する。

ステップＳ２３において、画像処理部１３は、ステップＳ２２で選択したパーツの表示開始位置を取得する。例えば、ステップＳ２２において、図５（Ｂ）に示した「パーツ識別番号」が「０３」であるパーツ（「吸」）が選択されたとする。画像処理部１３は、図５（Ｃ）の表示条件データに基づいて、「教示図形識別番号」が「０１」であり、かつ「パーツ識別番号」が「０３」であるパーツの「表示開始位置」を取得する。「表示開始位置」は、例えば、「基準の部位名」および「オフセット量」（表示位置のオフセット）を含む。

ステップＳ２４において、画像処理部１３は、「表示開始位置」の「基準の部位名」に対応する位置を取得する。画像処理部１３は、部位特定部１２が特定した部位の座標に基づいて、「基準の部位名」に指定された部位の位置を取得する。例えば、「基準の部位名」が「胸」であるとする。この場合、画像処理部１３は、部位特定部１２が「胸」であると特定した部位の位置（例、座標）を取得する。

ステップＳ２５において、画像処理部１３は、オフセット量に基づいて、教示画像上でパーツを位置決めする。例えば、画像処理部１３は、「基準の部位名」に指定された部位の位置（ステップＳ２４参照）を基準の位置として、基準の位置から「表示開始位置」の「オフセット量」に規定された量だけシフトした位置を算出し、算出した位置を選択されたパーツである「吸」の位置に決定する（位置決めする）。画像処理部１３は、決定した位置に、図５（Ｂ）の教示図形データＤ２における形状データ（例、「ｆｏｒｍ＿０１０３．ｄａｔ））に規定されたＩｍｐ３の「吸」を配置する。

ステップＳ２６において、画像処理部１３は、次のパーツがあるか否かを判定する。画像処理部１３は、ステップＳ５で設定された対象のポーズに属するパーツの少なくとも１つについて、ステップＳ２５の位置決め処理が完了していない場合に、次のパーツがあると判定する（ステップＳ２６；Ｙｅｓ）。画像処理部１３は、次のパーツがあると判定した場合（ステップＳ２６；Ｙｅｓ）、ステップＳ２２に戻って次のパーツを選択し、以降の処理を繰り返す。画像処理部１３は、次のパーツがないと判定した場合（ステップＳ２６；Ｎｏ）、ステップＳ２５で位置決めされたパーツを教示図形として含む教示画像のデータを出力し、一連の処理を終了する。

［第２実施形態］
第２実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。図１８は、第２実施形態に係る検出システムを示す図である。本実施形態に係る検出システム１は、検出部５の検出結果に基づくタイミングで、教示図形を表示する。例えば、検出装置２は、ユーザＵの姿勢を特定し、特定した姿勢に関連付けられたタイミングで教示図形を表示させる。

本実施形態に係る検出装置２は、姿勢特定部１５を備える。姿勢特定部１５は、例えば、処理部６に設けられる。姿勢特定部１５は、検出部５から得られるユーザＵの姿勢の種類を、予め登録された複数の種類から特定する。姿勢特定部１５は、例えば、記憶部８に記憶された姿勢定義データＤ１に基づいて、ユーザＵの姿勢の種類を特定する。

図１９は、第２実施形態に係る姿勢特定部による処理を示す図である。図１９（Ａ）には、本実施形態に係る姿勢定義データを概念的に示した。図１９（Ｂ）には、実施形態に係る姿勢特定部による処理を概念的に示した。姿勢定義データＤ１は、複数の種類の姿勢データ（Ｄ１ａ、Ｄ１ｂ）を含む。姿勢データＤ１ａ、姿勢データＤ１ｂは、それぞれ、「姿勢名称」の情報と、「定義データ」の情報とを含む。

「姿勢名称」は、各姿勢データが定義する姿勢の種類の名称を示す情報（例、識別情報）である。例えば、姿勢データＤ１ａは、「戦士のポーズ」の定義を示すデータであり、姿勢データＤ１ａの「姿勢名称」には「戦士のポーズ」という情報が格納される。また、姿勢データＤ１ｂは、「三角のポーズ」の定義を示すデータであり、姿勢データＤ１ｂの「姿勢名称」には「三角のポーズ」という情報が格納される。

「定義データ」は、各姿勢の定義を示すデータである。「定義データ」は、例えば、「部位０１の条件」、「部位０２の条件」、・・・「部位ｎの条件」を含む。部位０１、部位０２、・・・部位ｎは、それぞれ、部位特定部１２が特定する部位の種類の１つに対応する。部位特定部１２が特定する部位の種類は、例えば、頭部、首、右肩、左肩、肩中央、右肘、右手首、右手先、左肘、左手首、左手先、背骨、右腰、左腰、腰中央、右膝、右足首、右足先、左膝、左足首、左足先などである。

「「部位０１の条件」、「部位０２の条件」、・・・「部位ｎの条件」には、それぞれの部位が満たす条件が格納される。例えば、「部位０２」が「右肘」であるとする、姿勢データＤ１ａにおける「定義データ」の「部位０２の条件」には、「戦士のポーズ」をとる場合の右肘の位置（例、他の部位に対する相対位置）の条件が格納される。例えば、右肘の位置の条件は、例えば、右肘の曲がり角度の範囲を含む。右肘の曲がり角度は、例えば、右肘と右手先とを結ぶ線（前腕）と、右肘と右肩とを結ぶ線（上腕）との角度である。

姿勢特定部１５は、例えば、検出部５の検出結果に基づいて部位特定部が特定した各部位の位置を取得する。そして、姿勢特定部１５は、検出部５の検出結果から得られる各部位の位置関係と、「定義データ」に定義される各部位の位置関係との類似度を算出する。姿勢特定部１５は、複数の種類の姿勢データのそれぞれについて上記の類似度を算出する。姿勢特定部１５は、複数の種類の姿勢について上記の類似度を比較することによって、ユーザＵの姿勢の種類を複数の種類から特定する。

例えば、図１１（Ｂ）において、符号ＳＤは、検出部５の検出結果から得られるユーザＵの各部位の位置を示す骨格情報である。姿勢特定部１５は、骨格情報ＳＤと、「戦士のポーズ」の定義データＤ１ａとを用いて、「戦士のポーズ」についての類似度を算出する。また、姿勢特定部１５は、骨格情報ＳＤと、「三角のポーズ」の定義データＤ１ｂとを用いて、「三角のポーズ」についての類似度を算出する。姿勢特定部１５は、「戦士のポーズ」についての類似度と「三角のポーズ」についての類似度とを比較し、類似度が高い方の姿勢をユーザの姿勢として特定する。

図２０は、第２実施形態に係る画像処理部による処理を示す図である。ここでは、戦士のポーズについて説明する。図２０（Ａ）において、符号Ｑ１は部位特定部１２が特定した手先であり、符号Ｑ２は部位特定部１２が特定した肘であり、符号Ｑ３は部位特定部１２が特定した肩である。また、符号αは、手先Ｑ１と肘Ｑ２とを結ぶ線（前腕Ｑ４）と、肘Ｑ２と肩Ｑ３とを結ぶ線（上腕Ｑ５）との角度（肘の角度）である。

本実施形態に係る検出装置２（図１８参照）は、例えば、検出部５の検出結果から得られる肘の角度αに基づいて、教示図形を表示させる。例えば、検出装置２の処理部６は、肘の角度αが所定の条件を満たしたことをトリガーとして、教示図形を表示制御部７によって表示させる。例えば、戦士のポーズにおける動作には、肘が曲がっている状態ＳＴ１（実線）よりも、肘が伸びている状態ＳＴ２（二点鎖線）の方が望ましい場合がある（図２参照）。

図２０（Ａ）の符号Ｇ１は、時間に対する肘の角度αを示すグラフである。肘の角度αが増加する場合、ユーザが肘を伸ばす動作をしていると推定される。画像処理部１３は、例えば、時間Δｔにおける肘の角度αの変化量Δαを監視する。画像処理部１３は、例えば、肘の角度の時間変化量であるΔα／Δｔが閾値以上である場合に、ユーザが肘を伸ばす動作をしていると判定する。この閾値は、例えば、図５（Ｃ）に示した表示条件データＤ３における「表示開始条件」に格納されている。画像処理部１３は、画像処理部１３は、ユーザが肘を伸ばす動作をしていると判定した場合に、肘を伸ばす動作と関連付けられた教示図形（例、図２の「吸」）を表示させる。

また、図２０（Ｂ）において、符号Ｑ６は部位特定部１２が特定した足首であり、符号Ｑ７は部位特定部１２が特定した膝であり、符号Ｑ８は部位特定部１２が特定した腰である。また、符号βは、足首Ｑ６と膝Ｑ７とを結ぶ線（すね部Ｑ９）と、膝Ｑ７と腰Ｑ８とを結ぶ線（大腿部Ｑ１０）との角度（膝の角度）である。

本実施形態に係る検出装置２（図１８参照）は、例えば、検出部５の検出結果から得られる膝の角度βに基づいて、教示図形を表示させる。例えば、検出装置２は、膝の角度βが所定の条件を満たしたことをトリガーとして、教示図形を表示させる。例えば、戦士のポーズにおける動作には、膝が開いた状態ＳＴ３（実線）よりも、膝が垂直に曲がった状態ＳＴ４（二点鎖線）の方が望ましい場合がある（例、図３参照）。

図２０（Ｂ）の符号Ｇ２は、時間に対する膝の角度βを示すグラフである。肘の角度βが減少する場合、ユーザが膝を曲げる動作をしていると推定される。画像処理部１３は、例えば、時間Δｔにおける膝の角度βの変化量Δβを監視する。画像処理部１３は、例えば、膝の角度の時間変化量であるΔβ／Δｔが閾値以上である場合に、ユーザが膝を曲げる動作をしていると判定する。この閾値は、例えば、図５（Ｃ）に示した表示条件データＤ３における「表示開始条件」に格納されている。画像処理部１３は、ユーザが膝を曲げる動作をしていると判定した場合に、膝を曲げる動作と関連付けられた教示図形（例、図２の「吐」）を表示させる。

次に、処理部６の動作に基づいて、本実施形態に係る教示画像を生成する処理について説明する。図２１は、第２実施形態に係る処理部による処理を示すフローチャートである。検出システム１の各部については、適宜、図１８を参照する。ステップＳ３１において、姿勢特定部１５は、検出から得られるユーザの姿勢の種類を特定する。例えば、図１８の検出部５はユーザＵを検出し、部位特定部１２は、検出部５の検出結果に基づいてユーザＵの各部位の位置を特定する。また、姿勢特定部１５は、図１９で説明したように、部位特定部１２が特定しユーザの各部位の位置関係を示す情報（例、図１９（Ｂ）の骨格情報ＳＤ）と、予め登録された複数の種類の姿勢の情報（例、図１９（Ａ）の姿勢定義データＤ１）とを比較して、ユーザの姿勢の種類を特定する。

ステップＳ３２において、画像処理部１３は、ステップＳ３１において姿勢特定部１５が特定した姿勢に関連付けられた教示図形を特定する。例えば、図５（Ｂ）で説明したように、教示図形は、予め登録された姿勢の種類（例、図５（Ａ）の「姿勢名称」）と関連付けられている。例えば、姿勢特定部１５が特定した姿勢が「戦士のポーズ」である場合、画像処理部１３は、図５（Ｂ）の教示図形データＤ２において「教示図形識別番号」が「０１」の教示図形を、「戦士のポーズ」に関連付けられた教示図形として特定する。

ステップＳ３３において、画像処理部１３は、ステップＳ３２で特定した教示図形のパーツを選択する。例えば、画像処理部１３は、図５（Ｂ）の教示図形データＤ２を用いて、教示図形のパーツを選択する。例えば、画像処理部１３は、ステップＳ３２において「教示図形識別番号」が「０１」の教示図形を特定した場合、「教示図形識別番号」が「０１」の教示図形に属する「パーツ識別番号」が「０１」、「０２」、「０３」のいずれかのパーツを選択する。

ステップＳ３４において、画像処理部１３は、ステップＳ３３において選択したパーツの表示条件を取得する。パーツの表示条件は、例えば、図５（Ｃ）の表示条件データＤ３に規定されている。例えば、図２０（Ａ）で説明したように、「戦士のポーズ」（図２参照）に関する教示図形である「吸」の表示条件は、肘の角度αの時間変化量であるΔα／Δｔが閾値以上である条件を含み、この閾値は、図５（Ｃ）の表示条件データＤ３の「表示開始条件」に予め格納される。画像処理部１３は、例えば、記憶部８に記憶された表示条件データＤ３から、パーツの表示条件を取得する。

ステップＳ３５において、画像処理部１３は、ステップＳ３３において選択されたパーツが表示条件を満たすか否かを判定する。例えば、画像処理部１３は、図２０（Ａ）で説明したように、部位特定部１２が特定した各部位の位置に基づいて、肘の角度αの時間変化量であるΔα／Δｔを算出する。また、部位特定部１２は、算出したΔα／ΔｔとステップＳ３４で取得した閾値とを比較し、Δα／Δｔが閾値以上である場合に、選択されたパーツが表示条件を満たすと判定する（ステップＳ３５；Ｙｅｓ）。画像処理部１３は、選択されたパーツが表示条件を満たすと判定した場合（ステップＳ３５；Ｙｅｓ）、ステップＳ３６において、ステップＳ３３で選択されたパーツを表示すると決定し、図１７のステップＳ２３からステップＳ２５の処理と同様にしてパーツを位置決めする。

画像処理部１３は、選択されたパーツが表示条件を満たさないと判定した場合（ステップＳ３５；Ｎｏ）、ステップＳ３７において、ステップＳ３３で選択されたパーツを表示しないと決定する。ステップＳ３６の処理の終了後、又はステップＳ３７の処理の終了後に、画像処理部１３は、ステップＳ３８において次のパーツがあるか否かを判定する。ステップＳ３８の処理は、ステップＳ２６の処理と同様である。

［第３実施形態］
第３実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。図２２は、第３実施形態に係る検出システムを示す図である。本実施形態に係る検出装置２は、図形分割部１６を備える。図形分割部１６は、教示図形を複数のパーツに分割する。検出装置２には、入力部１７が設けられる。入力部１７は、例えば、キーボード、マウス、タッチパネル、音声入力デバイスなどである。ユーザは、入力部１７によって検出装置２に各種情報を入力可能である。例えば、ユーザは、入力部１７を介して、教示図形を登録可能である。図形分割部１６は、例えば、ユーザが入力した教示図形を複数のパーツに分割し、分割された複数のパーツの情報を記憶部８の教示図形データＤ２に格納する。

図２３は、第３実施形態に係る図形分割部による処理を示す図である。図２３（Ａ）において、分割前の教示図形Ｆは、２以上の部首を含む漢字（例、「伸」）である。図形分割部１６は、例えば、教示図形Ｆを含む領域ＡＲを対象にして、探索木（二分探索木）を用いた経路探索によって、領域ＡＲを分割する経路を探索する。

例えば、図形分割部１６は、図２３（Ａ）の中段左図に示すように、水平方向の端を開始位置として経路Ｒ１を探索する。図形分割部１６は、開始位置から、教示図形Ｆの線と交差せずに領域ＡＲの端に至る経路を探索する。図形分割部１６は、例えば、経路Ｒ１が領域ＡＲの中央側を通り、経路Ｒ１の長さが最小になるように、経路Ｒ１を最適化する。

図形分割部１６は、経路Ｒ１を境界として、領域ＡＲを複数の領域（例、領域Ａ１、領域Ａ２）に分割する。分割された複数の領域は、それぞれ、教示図形のパーツの候補である。図形分割部１６は、領域Ａ１、領域Ａ２のそれぞれに、教示図形Ｆの一部が配置されているか否かを判定する。図形分割部１６は、領域Ａ１、領域Ａ２の少なくとも１つに教示図形Ｆの一部が配置されていない場合に、これら教示図形Ｆのパーツの候補を却下する。また、図形分割部１６は、領域Ａ１、領域Ａ２のそれぞれが所定のサイズ以上であるか否かを判定する。図形分割部１６は、領域Ａ１、領域Ａ２の少なくとも１つが所定のサイズ未満である場合に、これら教示図形のパーツの候補を却下する。

また、図形分割部１６は、図２３（Ａ）の中段右図に示すように、垂直方向の端を開始位置として経路Ｒ２を探索する。図形分割部１６は、開始位置から、教示図形Ｆの線と交差せずに領域ＡＲの端に至る経路Ｒ２を探索する。図形分割部１６は、例えば、経路Ｒ２が領域ＡＲの中央側を通り、経路Ｒ２の長さが最小になるように、経路Ｒ２を最適化する。図形分割部１６は、

図形分割部１６は、経路Ｒ２を境界として、領域Ｒ２を複数の領域（例、領域Ａ３、領域Ａ４）に分割する。分割された複数の領域は、それぞれ、教示図形Ｆのパーツの候補である。図形分割部１６は、領域Ａ３、領域Ａ４のそれぞれに、教示図形Ｆの一部が配置されているか否かを判定する。図形分割部１６は、領域Ａ３、領域Ａ４の少なくとも１つに教示図形Ｆの一部が配置されていない場合に、これら教示図形のパーツの候補を却下する。また、図形分割部１６は、領域Ａ３、領域Ａ４のそれぞれが所定のサイズ以上であるか否かを判定する。図形分割部１６は、領域Ａ３、領域Ａ４の少なくとも１つが所定のサイズ未満である場合に、これら教示図形Ｆのパーツの候補を却下する。

図２３（Ａ）においては、中段左図のように開始位置が水平方向の端である経路Ｒ１と、中段右図のように開始位置が垂直方向の端である経路Ｒ２との双方で、教示図形Ｆのパーツの候補が有効である。このような場合、図形分割部１６は、経路Ｒ１または経路Ｒ２を境界として採用する。例えば、図形分割部１６は、経路Ｒ１を境界として採用し、教示図形Ｆのうち経路Ｒ１を境界として分割される部分ｐａと部分ｐｂとを、それぞれ、教示図形Ｆのパーツとして採用する。図形分割部１６は、採用した教示図形Ｆのパーツの情報を、図５（Ｂ）で説明した教示図形データＤ２に登録する。

図２３（Ｂ）は、上述のような図２３（Ａ）と異なる手法で分割するケースである。例えば、図２３（Ｂ）の教示図形Ｆは、「首」という漢字であり、独立した部首（他の部分と不連続な部首）がない。このような場合、中段左図のように、教示図形Ｆを含む領域ＡＲの端を開始位置として、教示図形Ｆの線と交差せずに領域ＡＲの端に至る経路を探索すると、例えば経路Ｒ３が得られる。この経路Ｒ３を境界として、領域ＡＲを領域Ａ５と領域Ａ６とに分割すると、領域Ａ６には、教示図形Ｆの一部が含まれず、教示図形Ｆが分割されない。

このような場合、図形分割部１６は、経路が教示図形Ｆの線と交差しないという条件を、経路が教示図形Ｆの線と交差し、その交差部分の経路の長さが最小となるとう条件に変更する。図形分割部１６は、変更した条件で経路を探索し、中段右図のような経路Ｒ４を得る。図形分割部１６は、経路Ｒ４を境界として、領域ＡＲを領域Ａ７と領域Ａ８とに分割する。図形分割部１６は、教示図形Ｆのうち領域Ａ７に含まれる部分ｐｃと、教示図形Ｆのうち領域Ａ８に含まれる部分ｐｄとを、それぞれ、教示図形Ｆのパーツとして採用する。図形分割部１６は、採用した教示図形Ｆのパーツの情報を、図５（Ｂ）で説明した教示図形データＤ２に登録する。

［第４実施形態］
第４実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。図２４は、第４実施形態に係る検出システムを示す図である。本実施形態において、検出装置２は、過去に取得されたユーザＵの姿勢に関する情報（例、図２のユーザモデルＵＭ）を表示可能である。

本実施形態において、検出装置２は、姿勢特定部１５および履歴管理部１８を備える。姿勢特定部１５は、図１９で説明したように、検出部５の検出結果から得られるユーザＵの各部位の位置関係と、記憶部８に記憶された姿勢定義データＤ１の「定義データ」（図１９（Ａ）参照）に定義される各部位の位置関係との類似度を算出する。姿勢特定部１５は、算出した類似度に基づいてユーザの姿勢の種類を特定し、特定した姿勢の種類と、算出した類似度（例、スコア）と、姿勢の種類の特定のもとになった検出部５の検出結果から得られるユーザＵのモデル（例、図２のユーザモデルＵＭ）とを関連付けた姿勢履歴データＤ４を生成する。姿勢特定部１５は、生成した姿勢履歴データＤ４を記憶部８に記憶させる。

履歴管理部１８は、記憶部８に記憶された姿勢履歴データＤ４に基づいて、過去に取得されたユーザＵの姿勢に関する情報を表示部３に表示させる。履歴管理部１８は、例えば、入力部１７に入力された指令（表示を要求する表示要求指令）に基づいて、ユーザＵの姿勢に関する情報を表示させる。履歴管理部１８は、入力部１７に表示要求指令が入力された場合に、姿勢リスト画像（後に図２４に示す）を生成する。姿勢リスト画像は、例えば、記憶部８に記憶されているユーザのモデルの一覧を示すユーザインターフェースの画像である。表示制御部７は、履歴管理部１８が生成した姿勢リスト画像のデータを表示部３に供給し、表示部３に姿勢リスト画像を表示させる。

図２５は、第４実施形態に係る履歴管理部による処理を示す図である。検出システム１の各部については、適宜、図２４を参照する。図２５（Ａ）には、図２４に示した履歴管理部１８の処理によって表示部３に表示される姿勢リスト画像Ｉｍ２１を示した。姿勢リスト画像Ｉｍ２１において、符号Ｄ５は、表示要求指令が入力された日付である。「Ｔｅａｃｈｅｒ」の欄に表示されるサムネイル画像は、それぞれ、記憶部８に記憶された姿勢定義データＤ１（図５（Ａ）参照）に含まれるサンプル画像Ｓａである。

また、姿勢リスト画像Ｉｍ２１において、「Ｔｅａｃｈｅｒ」のサンプル画像Ｓａに対して水平走査方向（以下、同じ行という）に表示される「Ｔｏｄａｙ」の欄のサムネイル画像Ｔｎ１は、例えば、同じ行の「Ｔｅａｃｈｅｒ」と同じ姿勢の最新のユーザモデルを示す画像である。サムネイル画像Ｔｎ１は、例えば、表示要求指令が入力された日付に取得されたユーザモデルを示す画像である。また、「Ｙｏｕｒ Ｂｅｓｔ」の欄のサムネイル画像Ｔｎ２は、過去に取得されたユーザモデルのうち、姿勢特定部１５が算出した類似度が最も高いユーザモデルを示す画像である。サムネイル画像Ｔｎ２は、例えば、「Ｔｅａｃｈｅｒ」のサンプル画像Ｓａを評価基準として、評価値（例、上記の類似度、スコア）が最も高いユーザモデルを示す画像である。

また、「Ｙｏｕｒ Ｂｅｓｔ」の隣の欄ＳＰ１は、「Ｔｏｄａｙ」の欄のサムネイル画像Ｔｎ１または「Ｙｏｕｒ Ｂｅｓｔ」の欄のサムネイル画像Ｔｎ２についての情報（例、詳細情報、コメント）を表示するスペースである。例えば、「Ｔｏｄａｙ」の欄のサムネイル画像Ｔｎ１または「Ｙｏｕｒ Ｂｅｓｔ」の欄のサムネイル画像Ｔｎ２にカーソルを重ねた際に、カーソルが重ねられた欄の画像に対応する類似度Ｄ６（例、スコア）、テキストデータＤ７（例、コメント）が表示される。また、「過去ｌｏｇ」のタグＴｇは、表示される情報を切り替えるユーザインターフェースである。例えば、「過去ｌｏｇ」のタグＴｇがクリックされると、図２５（Ｂ）に示す姿勢リスト画像Ｉｍ２２が表示部３に表示される。

姿勢リスト画像Ｉｍ２２は、一つの姿勢（例、戦士のポーズ）について、過去に取得されたユーザのモデルを示すサムネイル画像Ｔｎ３の一覧を示す画像である。サムネイル画像Ｔｎ３には、それぞれ、ユーザのモデルが取得された日付Ｄ８が付されている。また、サムネイル画像Ｔｎ３をクリックすると、このサムネイル画像Ｔｎ３に関連付けられた情報（例、スコア、コメント）が表示される。例えば、履歴管理部１８（又は表示制御部７）は、ユーザによってサムネイル画像Ｔｎ３がクリックして選択された信号（選択信号）を受信すると、このサムネイル画像Ｔｎ３に関連付けられた情報（例、スコア、コメント）を表示部３に表示させる。また、例えば、履歴管理部１８（又は表示制御部７）は、上記選択信号を受信すると、このサムネイル画像Ｔｎ３に関連付けられた情報に加えて、サムネイル画像Ｔｎ３の３Ｄ画像（３次元で表示される画像）を表示部３に表示させることも可能である。

［第５実施形態］
第５実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。図２６は、第５実施形態に係るユーザインターフェースを示す図である。図２６には、実施形態に係るユーザインターフェースとして、表示部３に表示される教示画像の例を図示した。

教示画像Ｉｍ３０ａから教師画像Ｉｍ３０ｃは、時間順次で表示される。例えば、まず教示画像Ｉｍ３０ａが表示され、次に教示画像Ｉｍ３０ｂが表示された後、教示画像Ｉｍ３０ｃが表示される。本実施形態において、教示画像Ｉｍ３０ａから教示画像Ｉｍ３０ｃを区別しない場合、適宜、教示画像Ｉｍ３０と表記する。

本実施形態において、教示画像Ｉｍ３０は、第１領域ＡＲ１、第２領域ＡＲ２、及び第３領域ＡＲ３を含む。図２６において、第１領域ＡＲ１、第２領域ＡＲ２、及び第３領域ＡＲ３は、それぞれ、表示部３上の１つの領域（例、画面、ウィンドウ、情報窓）に並んで（まとめて）表示される。図２６において、第１領域ＡＲ１は、教示画像Ｉｍ３０における左下の領域である。また、第２領域ＡＲ２は、教示画像Ｉｍ３０における左上の領域（第１領域ＡＲ１の上の領域）である。第３領域ＡＲ３は、教示画像Ｉｍ３０において、第１領域ＡＲ１および第２領域ＡＲ２の右側の領域である。

第１領域ＡＲ１には、予め登録された複数のサンプル画像Ｓａが表示される。複数のサンプル画像Ｓａは、サンプル画像Ｓａ１からサンプル画像Ｓａ５を含む。第１領域ＡＲ１において、サンプル画像Ｓａ１からサンプル画像Ｓａ５は、姿勢を行うことが予定される順番で並んでいる。姿勢を行うことが予定される順番は、例えば、図５（Ａ）に示した姿勢定義データＤ１に定められるポーズの設定順番である。

サンプル画像Ｓａ１からサンプル画像Ｓａ５は、行う姿勢の順番で左から右へ並んでいる。例えば、サンプル画像Ｓａ１は、第１領域ＡＲ１で最も左に配置され、サンプル画像Ｓａ１からサンプル画像Ｓａ５のうち最初に行う姿勢に対応する。また、例えば、サンプル画像Ｓａ２は、サンプル画像Ｓａ１の右隣に配置され、サンプル画像Ｓａ１の次に行う姿勢に対応する。

また、第１領域ＡＲ１には、マークＭＫが表示される。マークＭＫは、現在の姿勢に対応するサンプル画像Ｓａに対して位置決めされる。現在の姿勢は、例えば、図１６のステップＳ５の処理で設定されている対象のポーズである。マークＭＫは、周囲と識別容易な色、明るさで表される図形である。マークＭＫは、例えば、矩形枠状の図形であり、現在の姿勢に対応するサンプル画像Ｓａを囲む位置に配置される。

例えば、教示画像Ｉｍ３０ａにおいて、サンプル画像Ｓａ１が現在の姿勢に対応し、マークＭＫは、サンプル画像Ｓａ１に対して位置決めされる。第２領域ＡＲ２には、現在の姿勢に対応するサンプル画像Ｓａを拡大したサンプル画像Ｓｂが表示される。例えば、教示画像Ｉｍ３０ａにおいて、第２領域ＡＲ２には、サンプル画像Ｓａ１を拡大したサンプル画像Ｓｂが表示される。第３領域ＡＲ３には、ユーザモデルＵＭおよび教示図形Ｆが表示される。

サンプル画像Ｓａ１の姿勢が対象に設定されてから、このポーズの設定時間が経過すると、教示画像Ｉｍ３０ｂに示すように、サンプル画像Ｓａ２の姿勢が次の対象に設定される。教示画像Ｉｍ３０ｂの第１領域ＡＲ１において、マークＭＫは、サンプル画像Ｓａ２に対して位置決めされ、表示される。また、教示画像Ｉｍ３０ｂにおいて、第２領域ＡＲ２にはサンプル画像Ｓａ２を拡大したサンプル画像Ｓｂが表示される。第３領域ＡＲ３には、ユーザモデルＵＭおよび教示図形Ｆが表示される。

また、サンプル画像Ｓａ２の姿勢が対象に設定されてから、このポーズの設定時間が経過すると、教示画像Ｉｍ３０ｃに示すように、サンプル画像Ｓａ３の姿勢が次の対象に設定される。教示画像Ｉｍ３０ｃの第１領域ＡＲ１において、マークＭＫは、サンプル画像Ｓａ３に対して位置決めされ、表示される。また、教示画像Ｉｍ３０ｃにおいて、第２領域ＡＲにはサンプル画像Ｓａ３を拡大したサンプル画像Ｓｂが表示される。第３領域ＡＲ３には、ユーザモデルＵＭおよび教示図形Ｆが表示される。

なお、第１領域ＡＲ１、第２領域ＡＲ２、及び第３領域ＡＲ３は、２以上の領域（例、画面、ウィンドウ、情報窓）に分かれて表示される領域でもよい。また、第１領域ＡＲ１、第２領域ＡＲ２、及び第３領域ＡＲ３の配置は、図２６に示した例に限定されず、任意に設定される。また、第１領域ＡＲ１、第２領域ＡＲ２、及び第３領域ＡＲ３の配置は、ユーザが設定可能でもよいし、ユーザの指定により変更可能でもよい。

［第６実施形態］
次に、第６実施形態について説明する。本実施形態の説明において、適宜、図１８、図１９、図２４、及び図２５等を参照する。本実施形態において、画像処理部１３は、検出部５の検出結果から得られるユーザの姿勢と予め登録された姿勢との比較結果に基づいて、複数のパーツの少なくとも一部の大きさと色との一方または双方を変化させる。

本実施形態に係る検出システム１（図１８参照）は、検出部５の検出結果から得られるユーザＵの姿勢と予め登録された姿勢との類似度を、人体の部位ごとに算出する類似度算出部を備える。本実施形態に係る検出システムは、上記の類似度算出部として図１８に示した姿勢特定部１５を備える。姿勢特定部１５は、図２４および図２５で説明したように、検出部５の検出結果から得られるユーザＵの各部位の位置関係と、記憶部８に記憶された姿勢定義データＤ１の「定義データ」（図１９（Ａ）参照）に定義される各部位の位置関係との類似度を算出する。

本実施形態において、画像処理部１３（図１８参照）は、姿勢特定部１５が算出した各部位の類似度に基づいて、教示図形の表示を調整する。本実施形態に係る画像処理部１３の処理については、後に図２７、図２８などでも説明するが、画像処理部１３は、姿勢特定部１５が算出した類似度に基づいて、複数のパーツの少なくとも一部の大きさ（サイズ）、色（例、色相、彩度、明るさ、コントラスト）、太さ（例、線の太さ）、表示位置のオフセット量、移動速度、および書体（例、文字のフォント）のうち少なくとも１つを決定する。画像処理部１３は、複数のパーツのうち、類似度に対応する人体の部位と関連付けられたパーツについて、類似度に基づいて大きさ、色、太さ（例、線の太さ）、表示位置のオフセット量、移動速度、および書体（例、文字のフォント）のうち少なくとも１つを決定する。例えば、画像処理部１３は、教示図形に含まれる複数のパーツのそれぞれについて、各パーツと関連付けられた部位の類似度に基づいて、各パーツの大きさ、色、太さ（例、線の太さ）、表示位置のオフセット量、移動速度、および書体（例、文字のフォント）のうち少なくとも１つを調整する（変更する）。

図２７および図２８は、それぞれ、本実施形態に係る画像処理部が生成する教示画像の例を示す図である。図２７（Ａ）に示す教示画像Ｉｍ４１は、一例として、類似度に基づいてパーツのサイズが調整されている。教示画像Ｉｍ４１は、ユーザモデルＵＭおよび教示図形Ｆを含む。教示図形Ｆは、複数のパーツ（ｐ８１、ｐ８２、ｐ８３）を含む。

パーツｐ８１は、ユーザモデルＵＭの頭部と位置決めされる。パーツｐ８１は、矢印の先端形状であり、頭部（顔）の向きのイメージを表す。パーツｐ８２は、ユーザモデルＵＭの右足と位置決めされる。パーツｐ８２は、矢印の先端形状であり、右足の向きのイメージを表す。パーツｐ８３は、ユーザモデルＵＭの左足と位置決めされる。パーツｐ８３は、矢印の先端形状であり、左足の向きのイメージを表す。

教示画像Ｉｍ４１において、サンプル画像ＳａとユーザモデルＵＭとを比較すると、パーツｐ８２に関連付けられた右足の類似度が低い。このような場合、画像処理部１３（図１８参照）は、パーツｐ８２と、他のパーツ（ｐ８１、ｐ８３）とで表示が異なる教示画像Ｉｍ４１を生成する。教示画像Ｉｍ４１において、パーツｐ８１とパーツｐ８３とは同じサイズで表示される。教示画像Ｉｍ４１において、パーツｐ８２は、パーツｐ８１およびパーツｐ８３のいずれよりも大きいサイズで強調して表示される。

画像処理部１３は、例えば、パーツごとに部位の類似度と閾値とを演算して比較し、類似度が閾値以上である場合に当該パーツを第１のサイズに設定する。また、画像処理部１３は、例えば、パーツごとに部位の類似度と閾値とを比較し、類似度が閾値未満である場合に当該パーツを、第１のサイズよりも大きい第２のサイズに設定する。

なお、画像処理部１３は、パーツのサイズを、当該パーツに対応する部位の類似度から変換して算出される値（例、各類似度を相対変換した相対値）に設定してもよい。例えば、画像処理部１３は、パーツのサイズを、類似度に反比例するように決定してもよい。また、画像処理部１３は、上記の類似度をもとに統計的処理（例、多変量解析）を用いて得られる相関度に基づいてパーツのサイズ等を変更してもよい。例、画像処理部１３は、上記相関度が低いパーツを、他のパーツのサイズよりも大きいサイズに設定する。

図２７（Ｂ）に示す教示画像Ｉｍ４１は、一例として、類似度に基づいてパーツの色が調整されている。図２７（Ｂ）において、サンプル画像ＳａおよびユーザモデルＵＭは、図２７（Ａ）と同様である。図２７（Ｂ）において、パーツｐ８１、パーツｐ８２、及びパーツｐ８３は、同じサイズで表示される。教示画像Ｉｍ４１において、パーツｐ８１とパーツｐ８３とは同じ色で表示される。教示画像Ｉｍ４１において、パーツｐ８２は、パーツｐ８１およびパーツｐ８３のいずれとも異なる色で強調して表示される。

画像処理部１３は、例えば、パーツごとに部位の類似度と閾値とを比較し、類似度が閾値以上である場合に当該パーツを第１の色に設定する。また、画像処理部１３は、例えば、パーツごとに部位の類似度と閾値とを比較し、類似度が閾値未満である場合に当該パーツを、第１の色と異なる第２の色に設定する。

なお、画像処理部１３は、パーツの色（例、コントラスト、明るさ）を、当該パーツに対応する部位の類似度から算出される値（例、階調値）に設定してもよい。例えば、画像処理部１３は、パーツの明るさ（コントラスト）を、類似度に反比例するように決定してもよい。また、画像処理部１３は、類似度に基づいて、パーツの色およびサイズなどを変更してもよい。例えば、パーツｐ８２は、パーツｐ８１およびパーツｐ８３のいずれとも異なるサイズ、かつ異なる色で強調して表示されてもよい。

図２８（Ａ）に示す教示画像Ｉｍ４２は、類似度に基づいてパーツのサイズが調整されている。教示画像Ｉｍ４２は、ユーザモデルＵＭおよび教示図形Ｆを含む。教示図形Ｆは、複数のパーツ（ｐ９１からｐ９８）を含む。複数のパーツ（ｐ９１からｐ９８）は、それぞれ、ユーザモデルＵＭの左の体側に位置決めされる。パーツｐ９１、パーツｐ９５からパーツｐ９８は、第１のサイズで表示される。パーツｐ９２およびパーツｐ９４は、例えば、対応する部位の類似度が第１閾値未満である。パーツｐ９２およびパーツｐ９４は、第１のサイズよりも大きい第２のサイズで強調して表示される。また、パーツｐ９３は、例えば、対応する部位の類似度が第２閾値未満である。第２閾値は、第１閾値よりも小さい。パーツｐ９３は、第２のサイズよりも大きい第３のサイズで強調して表示される。

図２８（Ｂ）に示す教示画像Ｉｍ４２は、類似度に基づいてパーツの色が調整されている。図２８（Ｂ）において、サンプル画像ＳａおよびユーザモデルＵＭは、図２８（Ａ）と同様である。図２８（Ｂ）において、パーツｐ９１からパーツｐ９８は、同じサイズで表示される。また、パーツｐ９１、パーツｐ９５からパーツｐ９８は、第１の色で表示される。また、パーツｐ９２からパーツｐ９４は、第１の色と異なる第２の色で強調して表示される。

画像処理部１３は、例えば、検出部５の検出結果から得られるユーザＵの姿勢（例、ユーザモデルＵＭの形状）と予め登録された姿勢（例、姿勢データＤ１に定義された姿勢）との比較結果に基づいて、複数のパーツの少なくとも１つを視覚的に他のパーツと識別できるように強調させる。上記したように、本実施形態において、画像処理部１３は、姿勢特定部１５が算出した類似度に基づいて、複数のパーツのうち少なくとも１つを視覚的に他のパーツと識別できるように強調させて、強調させた該パーツを他のパーツと識別できる識別情報（強調情報）として他のパーツとともに表示部３に表示させる。

画像処理部１３は、例えば、検出部５の検出結果から得られるユーザＵの姿勢（例、ユーザモデルＵＭの形状）と予め登録された姿勢例、姿勢データＤ１に定義された姿勢）との比較結果に基づいて、複数のパーツの少なくとも一部の大きさ、色、太さ、表示位置のオフセット量、移動速度、および書体のうち少なくとも１つを変更させる
例えば、画像処理部１３は、類似度に基づいて、複数のパーツの少なくとも一部の大きさ（サイズ）、色（例、色相、彩度、明るさ、コントラスト）、太さ（例、線の太さ）、表示位置のオフセット量、移動速度、および書体（例、文字のフォント）のうち少なくとも１つを他のパーツとは異なる識別情報に変更して強調する。

［第７実施形態］
第７実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。図２９は、第７実施形態に係る検出システムを示す図である。この検出システム１は、検出装置２、表示部３（表示装置）、記憶部８（記憶装置）、及び画像処理装置２０を備える。検出装置２は、例えば、モーションキャプチャ装置を含む、検出装置２は、検出部５、モデル生成部１１、及び部位特定部１２を備える。検出装置２は、その検出結果として、ユーザＵのモデル情報（例、ユーザモデル、骨格情報、スケルトンデータ）を出力する。

画像処理装置２０は、ユーザＵを検出した検出結果に基づいて生成されるユーザのモデルに対し、検出結果から得られるユーザの姿勢に基づいて、複数のパーツを含む教示図形をパーツごとに位置決めして、ユーザのモデルおよび教示図形を含む教示画像を生成する。画像処理装置２０は、例えば、表示制御部７および画像処理部１３を備える。画像処理装置２０は、ユーザＵを検出した検出結果に基づいて生成されるユーザのモデルとして、検出装置２が出力するモデル情報を用いる。画像処理装置２０は、例えば、インターネット回線を介して検出装置２と通信可能に接続されるクラウドコンピュータを含んでもよい。

記憶部８は、画像処理装置２０が実行する処理に使われる各種データを記憶する。記憶部８は、例えば、図５で説明した姿勢定義データＤ１、教示図形データＤ２、及び表示条件データＤ３を記憶する。表示部３は、画像処理装置２０から供給される画像データに基づいて、画像を表示する。表示部３は、例えば、据え置き型のディスプレイでもよいし、ユーザが形態可能な端末の少なくとも一部であってもよい。上記の端末は、例えば、スマートフォン、タブレット、ヘッドマウントディスプレイ、ウェアラブル端末などを含む。

上述の実施形態において、画像処理部１３（画像処理装置２０）は、例えばコンピュータシステムを含む。画像処理部１３は、記憶部８に記憶されている画像処理プログラムを読み出し、この画像処理プログラムに従って各種の処理を実行する。この画像処理プログラムは、コンピュータに、ユーザを検出した検出結果に基づいて生成されるユーザのモデルに対し、検出結果から得られるユーザの姿勢に基づいて、複数のパーツを含む教示図形をパーツごとに位置決めして、ユーザのモデルおよび教示図形を含む教示画像を生成することを実行させる。この画像処理プログラムは、コンピュータ読み取り可能な記憶媒体（例、非一時的な記録媒体、non-transitory tangible media）に記録されて提供されてもよい。

上述の実施形態において、検出システム１は、画像表示システムを含む。この表示システムは、画像を表示する表示部３と、表示部３に、時間的に変化するユーザのモデル（例、ユーザモデルＵＭ）を動的に表示させる第１表示処理部（例、モデル生成部１１）と、表示部３においてユーザのモデルに対して定められる位置に、ユーザのモデルの時間的な変化に基づいて選択される教示図形を、動的に表示させる第２表示処理部（例、画像処理部１３）と、を含む。

上述の実施形態に係るシステム（検出システム、画像表示システム、情報提供システム）は、例えば、ヨガ、ゴルフなど身体上のスキルを向上させるレッスン（活動、練習）に広く利用可能である。例えば、レッスン設備において、インストラクタ（先生）あるいは、ユーザ自身を写す鏡が見えにくい場合に、上述の実施形態に係るシステムは、鏡の代わりに表示部（例、ディスプレイ、タブレット）を利用して、教師動画を見ながら自分の姿勢と教師の姿勢とをリアルタイムに確認することに利用可能である。また、上述の実施形態に係るシステムは、レッスン対象の動作（例、自分が苦手なポーズ）の復習、予習に利用可能である。また、時間的な制約あるいは地理的な制約によって、所望のレッスン設備において行くことが難しい場合などに、ユーザＵは、自宅などで実施形態に係るシステムを利用して、レッスンを行うことができる。

なお、本発明の技術範囲は、上述の実施形態などで説明した態様に限定されるものではない。上述の実施形態などで説明した要件の１つ以上は、省略されることがある。また、上述の実施形態などで説明した要件は、適宜組み合わせることができる。また、法令で許容される限りにおいて、上述の実施形態などで引用した全ての文献の開示を援用して本文の記載の一部とする。

１・・・検出システム、２・・・検出装置、３・・・表示部、５・・・検出部、６・・・処理部、７・・・表示制御部、８・・・記憶部、１１・・・モデル生成部、１２・・・部位特定部、１３・・・画像処理部、１５・・・姿勢特定部、１６・・・図形分割部、１７・・・入力部、１８・・・履歴管理部、Ｆ・・・教示図形、Ｕ・・・ユーザ

Claims (18)

1. ユーザを検出する検出部と、
   前記検出部の検出結果に基づいて、前記ユーザのモデルを生成するモデル生成部と、
   前記モデル生成部が生成した前記ユーザのモデルに対し、前記検出部から得られる前記ユーザの姿勢に基づいて、複数のパーツを含む教示図形を前記パーツごとに位置決めして、前記ユーザのモデルおよび前記教示図形を含む教示画像を生成する画像処理部と、を備え、
   前記教示図形は、漢字を含み、
   前記複数のパーツの少なくとも１つは、前記漢字の部首を含む、検出装置。
2. ユーザを検出する検出部と、
   前記検出部の検出結果に基づいて、前記ユーザのモデルを生成するモデル生成部と、
   前記モデル生成部が生成した前記ユーザのモデルに対し、前記検出部から得られる前記ユーザの姿勢に基づいて、複数のパーツを含む教示図形を前記パーツごとに位置決めして、前記ユーザのモデルおよび前記教示図形を含む教示画像を生成する画像処理部と、を備え、
   前記教示図形は、単語を含み、
   前記複数のパーツの少なくとも１つは、前記単語を構成する表音文字を含む、検出装置。
3. ユーザを検出する検出部と、
   前記検出部の検出結果に基づいて、前記ユーザのモデルを生成するモデル生成部と、
   教示図形を複数のパーツに分割する図形分割部と、
   前記モデル生成部が生成した前記ユーザのモデルに対し、前記検出部から得られる前記ユーザの姿勢に基づいて、前記教示図形を前記パーツごとに位置決めして、前記ユーザのモデルおよび前記教示図形を含む教示画像を生成する画像処理部と、を備える検出装置。
4. 前記教示図形は、人体の部位を表す図形と、人体の形状を表す図形と、人体の動作を表す図形との少なくとも一つを含む、請求項１から請求項３のいずれか一項に記載の検出装置。
5. 前記教示図形は文字を含む、請求項１から請求項４のいずれか一項に記載の検出装置。
6. 前記画像処理部は、前記検出部から得られる前記ユーザの姿勢の変化に基づいて、前記教示画像として、前記複数のパーツの相対位置が異なる複数の画像を生成する、請求項１から請求項５のいずれか一項に検出装置。
7. 前記画像処理部は、前記教示画像として、前記複数のパーツのうちの第１パーツを第２パーツと異なる色で表した画像を生成する、請求項１から請求項６のいずれか一項に記載の検出装置。
8. 前記画像処理部は、前記検出部の検出結果から得られる前記ユーザの姿勢と予め登録された姿勢との比較結果に基づいて、前記複数のパーツの少なくとも１つを視覚的に他の前記パーツと識別できるように強調させる、請求項１から請求項７のいずれか一項に記載の検出装置。
9. 前記画像処理部は、前記検出部の検出結果から得られる前記ユーザの姿勢と予め登録された姿勢との比較結果に基づいて、前記複数のパーツの少なくとも一部の大きさ、色、太さ、表示位置のオフセット量、移動速度、および書体のうち少なくとも１つを変更させる、請求項１から請求項８のいずれか一項に記載の検出装置。
10. 前記検出部の検出結果から得られる前記ユーザの姿勢と前記予め登録された姿勢との類似度を、人体の部位ごとに算出する姿勢特定部を備え、
    前記画像処理部は、前記姿勢特定部が算出した前記類似度に基づいて、前記複数のパーツの少なくとも一部の大きさ、色、太さ、表示位置のオフセット量、移動速度、および書体のうち少なくとも１つを決定する、請求項８又は請求項９に記載の検出装置。
11. 前記画像処理部は、前記複数のパーツのうち、前記類似度に対応する前記人体の部位と関連付けられたパーツについて、前記類似度に基づいて大きさ、色、太さ、表示位置のオフセット量、移動速度、および書体のうち少なくとも１つを決定する、請求項１０に記載の検出装置。
12. 前記検出部の検出結果に基づいて、前記ユーザの部位を特定する部位特定部を備え、
    前記画像処理部は、
    前記部位特定部が特定した前記ユーザの部位に対応する前記ユーザのモデル上の位置に対して、前記複数のパーツのうち前記ユーザの部位に予め関連付けられたパーツを位置決めする、請求項１から請求項１１のいずれか一項に記載の検出装置。
13. 前記検出部から得られる前記ユーザの姿勢の種類を、予め登録された複数の種類から特定する姿勢特定部を備え、
    前記画像処理部は、前記姿勢特定部が特定した前記ユーザの姿勢の種類に基づいて、前記ユーザの姿勢の種類に予め対応付けられた前記教示図形を用いて、前記教示画像を生成する、請求項１から請求項１２のいずれか一項に記載の検出装置。
14. 前記教示画像は、予め登録された姿勢の画像を前記ユーザに対して表示する表示部に、予め定められたスケジュールで表示される、請求項１から請求項１２のいずれか一項に記載の検出装置。
15. 前記画像処理部が生成した前記教示画像を表示部に表示させる表示制御部を備える、請求項１から請求項１４のいずれか一項に記載の検出装置。
16. 請求項１から請求項１５のいずれか一項に記載の検出装置と、
    前記画像処理部が生成した前記教示画像を表示する表示部と、を備える検出システム。
17. 教示図形を複数のパーツに分割し、ユーザを検出した検出結果に基づいて生成される前記ユーザのモデルに対し、前記検出結果から得られる前記ユーザの姿勢に基づいて、前記教示図形を前記パーツごとに位置決めして、前記ユーザのモデルおよび前記教示図形を含む教示画像を生成する画像処理装置。
18. コンピュータに、
    ユーザを検出した検出結果に基づいて生成された前記ユーザのモデルを取得させ、
    教示図形を複数のパーツに分割させ、
    前記検出結果から得られる前記ユーザの姿勢に基づいて、前記ユーザのモデルに対して前記教示図形を前記パーツごとに位置決めさせ、
    前記ユーザのモデルおよび前記教示図形を含む教示画像を生成させる、画像処理プログラム。

Images