JP7011416B2 - Detection device, detection system, processing device and detection program - Google Patents

Detection device, detection system, processing device and detection program Download PDF

Info

Publication number
JP7011416B2
JP7011416B2 JP2017143770A JP2017143770A JP7011416B2 JP 7011416 B2 JP7011416 B2 JP 7011416B2 JP 2017143770 A JP2017143770 A JP 2017143770A JP 2017143770 A JP2017143770 A JP 2017143770A JP 7011416 B2 JP7011416 B2 JP 7011416B2
Authority
JP
Japan
Prior art keywords
data
unit
detection
posture
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017143770A
Other languages
Japanese (ja)
Other versions
JP2019024550A (en
Inventor
学千 金
源洋 中川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2017143770A priority Critical patent/JP7011416B2/en
Publication of JP2019024550A publication Critical patent/JP2019024550A/en
Application granted granted Critical
Publication of JP7011416B2 publication Critical patent/JP7011416B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、検出装置、検出システム、処理装置及び検出プログラムに関する。 The present invention relates to a detection device, a detection system, a processing device and a detection program.

運動中の人物（ユーザ）に対して指導用の映像データを提供する技術、運動中の人物を適切な状態で撮像する技術が提案されている（例えば、下記の特許文献１参照）。しかしながら、そういった指導用の映像データ等は、ユーザにとって最適なデータではない場合もある。 A technique for providing video data for instruction to a person (user) who is exercising and a technique for imaging a person who is exercising in an appropriate state have been proposed (see, for example, Patent Document 1 below). However, such instructional video data and the like may not be optimal data for the user.

特開２００７－２８８６８２号公報Japanese Unexamined Patent Publication No. 2007-288682

上記課題を解決するために、本発明の第１の態様においては、検出装置を提供する。検出装置は、ユーザの人体を検出する検出部を備えてよい。検出装置は、検出部による検出結果から得られるユーザの姿勢データと、過去に取得されたユーザの教師データとを比較する比較部を備えてよい。検出装置は、比較部による比較結果に基づいて、姿勢データを用いて教師データを更新する更新部を備えてよい。比較部は、教師データと姿勢データとの類似度を算出してよい。更新部は、類似度に基づいて、教師データを更新してよい。 In order to solve the above problems, in the first aspect of the present invention , a detection device is provided. The detection device may include a detection unit that detects the human body of the user. The detection device may include a comparison unit that compares the posture data of the user obtained from the detection result by the detection unit with the teacher data of the user acquired in the past. The detection device may include an update unit that updates the teacher data using the posture data based on the comparison result by the comparison unit . The comparison unit may calculate the degree of similarity between the teacher data and the posture data. The updater may update the teacher data based on the similarity.

本発明の第２の態様においては、検出装置を提供する。検出装置は、ユーザの人体を検出する検出部を備えてよい。検出装置は、検出部による検出結果から得られるユーザの姿勢データと、過去に取得されたユーザの教師データとを比較する比較部を備えてよい。検出装置は、比較部による比較結果に基づいて、ユーザの姿勢データを用いて教師データを更新する更新部を備えてよい。比較部は、検出部により人体が繰り返し検出された検出結果から得られる複数の姿勢データのそれぞれと、教師データとを比較してよい。更新部は、比較部による比較結果に基づいて、複数の姿勢データから選択される姿勢データを用いて教師データを更新してよい。本発明の第３の態様においては、検出装置を提供する。検出装置は、ユーザの人体を検出する検出部を備えてよい。検出装置は、検出部による検出結果から得られるユーザの姿勢データと、過去に取得されたユーザの教師データとを比較して得られる比較結果に基づいて、姿勢データを用いて教師データを更新する更新部を備えてよい。検出装置は、比較結果に基づいて、教師データを更新するかを判定する判定部を備えてよい。本発明の第４の態様においては、検出装置を提供する。検出装置は、ユーザの人体を検出する検出部を備えてよい。検出装置は、検出部による検出結果から得られるユーザの姿勢データと、過去に取得されたユーザの教師データとを比較して得られる比較結果に基づいて、姿勢データを用いて教師データを更新する更新部を備えてよい。検出装置は、検出部による検出結果に基づいて、人体の呼吸のタイミングを検出するタイミング検出部を備えてよい。 In the second aspect of the present invention , a detection device is provided. The detection device may include a detection unit that detects the human body of the user. The detection device may include a comparison unit that compares the posture data of the user obtained from the detection result by the detection unit with the teacher data of the user acquired in the past . The detection device may include an update unit that updates the teacher data using the user's posture data based on the comparison result by the comparison unit. The comparison unit may compare each of the plurality of posture data obtained from the detection result in which the human body is repeatedly detected by the detection unit with the teacher data. The update unit may update the teacher data using the posture data selected from the plurality of posture data based on the comparison result by the comparison unit. In the third aspect of the present invention, a detection device is provided. The detection device may include a detection unit that detects the human body of the user. The detection device updates the teacher data using the posture data based on the comparison result obtained by comparing the user's posture data obtained from the detection result by the detection unit with the user's teacher data acquired in the past. It may be equipped with an update unit. The detection device may include a determination unit that determines whether to update the teacher data based on the comparison result. A fourth aspect of the present invention provides a detection device. The detection device may include a detection unit that detects the human body of the user. The detection device updates the teacher data using the posture data based on the comparison result obtained by comparing the user's posture data obtained from the detection result by the detection unit with the user's teacher data acquired in the past. It may be equipped with an update unit. The detection device may include a timing detection unit that detects the timing of respiration of the human body based on the detection result by the detection unit.

本発明の第５の態様においては、検出システムを提供する。検出システムは、第１の態様から第４の態様のいずれかの検出装置を備えてよい。 A fifth aspect of the present invention provides a detection system. The detection system may include a detection device according to any one of the first to fourth aspects.

本発明の第６の態様においては、処理装置を提供する。処理装置は、ユーザの人体を検出した検出結果から得られるユーザの姿勢データと、過去に取得されたユーザの教師データとを比較する比較部を備えてよい。処理装置は、比較部による比較結果に基づいて、姿勢データを用いて教師データを更新する更新部を備えてよい。比較部は、人体が繰り返し検出された検出結果から得られる複数の姿勢データのそれぞれと、教師データとを比較してよい。更新部は、比較部による比較結果に基づいて、複数の姿勢データから選択される姿勢データを用いて教師データを更新してよい。 A sixth aspect of the present invention provides a processing apparatus. The processing device may include a comparison unit that compares the posture data of the user obtained from the detection result of detecting the human body of the user with the teacher data of the user acquired in the past. The processing device may include an update unit that updates the teacher data using the posture data based on the comparison result by the comparison unit . The comparison unit may compare each of the plurality of posture data obtained from the detection result in which the human body is repeatedly detected with the teacher data. The update unit may update the teacher data using the posture data selected from the plurality of posture data based on the comparison result by the comparison unit.

本発明の第７の態様においては、検出プログラムを提供する。検出プログラムは、コンピュータに、ユーザの人体を繰り返し検出した検出結果から得られるユーザの姿勢データのそれぞれと、過去に取得されたユーザの教師データとを比較させてよい。検出プログラムは、コンピュータに、比較の結果に基づいて、複数の姿勢データから選択される姿勢データを用いて教師データを更新させてよい。 In the seventh aspect of the present invention , a detection program is provided. The detection program may cause the computer to compare each of the user 's posture data obtained from the detection result of repeatedly detecting the user's human body with the user's teacher data acquired in the past. The detection program may cause the computer to update the teacher data with the posture data selected from the plurality of posture data based on the result of the comparison.

本発明の第８の態様においては、検出プログラムを提供する。検出プログラムは、コンピュータに、ユーザの人体を検出した検出結果から得られるユーザの姿勢データと、過去に取得されたユーザの教師データとの類似度を算出させてよい。検出プログラムは、コンピュータに、類似度に基づいて、姿勢データを用いて教師データを更新させてよい。本発明の第９の態様においては、検出プログラムを提供する。検出プログラムは、コンピュータに、ユーザの人体を検出した検出結果から得られるユーザの姿勢データと、過去に取得されたユーザの教師データとを比較させてよい。検出プログラムは、比較の結果に基づいて、姿勢データを用いて教師データを更新させてよい。検出プログラムは、人体を検出した検出結果から人体の呼吸のタイミングを検出させてよい。 In the eighth aspect of the present invention , a detection program is provided. The detection program may cause the computer to calculate the degree of similarity between the user 's posture data obtained from the detection result of detecting the user's human body and the user's teacher data acquired in the past. The detection program may cause the computer to update the teacher data with the posture data based on the similarity . A ninth aspect of the invention provides a detection program. The detection program may cause the computer to compare the user's posture data obtained from the detection result of detecting the user's human body with the user's teacher data acquired in the past. The detection program may update the teacher data with the posture data based on the result of the comparison. The detection program may detect the timing of respiration of the human body from the detection result of detecting the human body.

第１実施形態に係る検出装置を示す図である。It is a figure which shows the detection device which concerns on 1st Embodiment. 第１実施形態に係る検出装置の処理を示す図である。It is a figure which shows the process of the detection apparatus which concerns on 1st Embodiment. 第１実施形態に係る比較部の処理を示す図である。It is a figure which shows the processing of the comparison part which concerns on 1st Embodiment. 実施形態に係る検出方法を示すフローチャートである。It is a flowchart which shows the detection method which concerns on embodiment. 第２実施形態に係る検出装置を示す図である。It is a figure which shows the detection device which concerns on 2nd Embodiment. 第２実施形態に係る検出装置の処理を示す図である。It is a figure which shows the process of the detection apparatus which concerns on 2nd Embodiment. 第２実施形態に係る比較部の処理を示す図である。It is a figure which shows the processing of the comparison part which concerns on 2nd Embodiment. 第３実施形態に係る検出装置を示す図である。It is a figure which shows the detection device which concerns on 3rd Embodiment. 第４実施形態に係る検出装置を示す図である。It is a figure which shows the detection device which concerns on 4th Embodiment. 第４実施形態に係る比較部の処理を示す図である。It is a figure which shows the processing of the comparison part which concerns on 4th Embodiment. 第５実施形態に係る検出装置を示す図である。It is a figure which shows the detection device which concerns on 5th Embodiment. 第６実施形態に係る検出装置を示す図である。It is a figure which shows the detection device which concerns on 6th Embodiment. 第７実施形態に係る検出装置を示す図である。It is a figure which shows the detection device which concerns on 7th Embodiment. 第８実施形態に係る検出装置を示す図である。It is a figure which shows the detection device which concerns on 8th Embodiment. 実施形態に係る検出装置を示す図である。It is a figure which shows the detection device which concerns on embodiment.

［第１実施形態］
第１実施形態について説明する。図１は、実施形態に係る検出装置を示す図である。この検出装置１は、例えば、目標（基本）の姿勢（ポーズ、フォーム）に近づくように姿勢をとるユーザＵの人体ＨＭを検出する。検出装置１は、例えば、スポーツ（例、野球、サッカー、ゴルフ、体操、エクササイズ、ヨガ、ボディビル）、ファッションショー（例、ウォーキング、ポージング）、ゲーム、又は人物認証（例、セキュリティ）等の各種分野で利用可能である。例えば、ユーザＵは、ヨガやゴルフ等をテーマにしたゲームのプレイヤーでもよく、検出装置１は、ゲームをプレイするユーザＵの人体ＨＭを検出してもよい。 [First Embodiment]
The first embodiment will be described. FIG. 1 is a diagram showing a detection device according to an embodiment. The detection device 1 detects, for example, the human body HM of the user U who takes a posture so as to approach the posture (pose, form) of the target (basic). The detection device 1 includes various types such as sports (eg, baseball, soccer, golf, gymnastics, exercise, yoga, bodybuilding), fashion shows (eg, walking, posing), games, or person authentication (eg, security). Available in the field. For example, the user U may be a player of a game having the theme of yoga, golf, or the like, and the detection device 1 may detect the human body HM of the user U who plays the game.

検出装置１は、例えば、姿勢検出装置、動作検出装置、運動支援装置、姿勢評価装置などを含む。実施形態に係る検出システムＳＹＳは、検出装置１を備える。本実施形態における検出システムＳＹＳは、複数の検出装置１を備えてもよいし、検出装置１と後述の表示部４と入力部５との一方または双方を備えてもよい。 The detection device 1 includes, for example, a posture detection device, a motion detection device, a movement support device, a posture evaluation device, and the like. The detection system SYS according to the embodiment includes a detection device 1. The detection system SYS in the present embodiment may include a plurality of detection devices 1, or may include one or both of the detection device 1 and the display unit 4 and the input unit 5 described later.

以下の説明において、検出装置１は、ヨガにおける所定の姿勢（例、三日月のポーズ、猫のポーズ、牛のポーズ、戦士のポーズ）をとるユーザＵを検出するものとする。なお、検出装置１が人体ＨＭを検出する際に、衣類、靴、あるいはプロテクタなどの装着物（例、人体ＨＭとともに移動する物体）を付けた状態でもよい。検出装置１による人体ＨＭの検出は、人体ＨＭとともに移動する装着物の検出を含んでもよい。また、検出装置１は、目標の姿勢に配置される物体、又は目標の姿勢をとる生物もしくはロボット（例、人型ロボット）を検出してもよい。 In the following description, the detection device 1 shall detect a user U who takes a predetermined posture in yoga (eg, crescent pose, cat pose, cow pose, warrior pose). When the detection device 1 detects the human body HM, it may be in a state where clothing, shoes, or an attached object such as a protector (for example, an object that moves with the human body HM) is attached. The detection of the human body HM by the detection device 1 may include the detection of an attachment moving with the human body HM. Further, the detection device 1 may detect an object arranged in the target posture, or an organism or a robot (eg, a humanoid robot) in the target posture.

検出装置１は、ユーザＵに対する今回の検出から得られる姿勢データＦＤ（例、現在の人体ＨＭの姿勢データＦＤ）を、教師データＴＤと比較する（比較処理を実行する）。姿勢データＦＤは、ユーザＵの人体ＨＭの姿勢（例、二次元形状、三次元形状）を表す情報である。本実施形態において、姿勢データＦＤは、ユーザのヨガに関する姿勢データを含む。例えば、図１において、姿勢データＦＤは、ヨガの三日月のポーズをとるユーザＵの姿勢を表す情報を含む。姿勢データＦＤは、例えば、人体ＨＭの少なくとも一部の輪郭（例、シルエット）を表す情報を含む。姿勢データＦＤは、例えば、人体ＨＭの各関節の伸びまたは曲がりが表れた情報を含む。また、姿勢データＦＤは、例えば、検出部２の検出結果（例、画像など）から推定して特定される人体ＨＭにおける各関節（関節点）を線で結んで表示する情報を含む。 The detection device 1 compares the posture data FD obtained from this detection for the user U (eg, the posture data FD of the current human body HM) with the teacher data TD (executes the comparison process). The posture data FD is information representing the posture (eg, two-dimensional shape, three-dimensional shape) of the human body HM of the user U. In the present embodiment, the posture data FD includes posture data related to the user's yoga. For example, in FIG. 1, the posture data FD contains information representing the posture of the user U who poses for the crescent moon of yoga. The posture data FD contains, for example, information representing the contour (eg, silhouette) of at least a part of the human body HM. The posture data FD contains, for example, information indicating the extension or bending of each joint of the human body HM. Further, the posture data FD includes, for example, information that connects and displays each joint (joint point) in the human body HM estimated and specified from the detection result (eg, image, etc.) of the detection unit 2.

また、姿勢データＦＤは、人体の各部の位置関係を特定可能な情報を含んでもよい。例えば、姿勢データＦＤは、人体ＨＭの部位の位置情報（例、絶対位置、相対位置、座標）を含んでもよい。人体の位置情報は、例えば、人体ＨＭの末端部分（例、手先、足先、頭）の位置と、人体ＨＭの関節（例、肩、肘、手首、膝）の位置との一方または双方を含む。また、人体ＨＭの位置情報は、例えば、末端部分と関節との間の部分（例、首、前腕、下肢）の位置と、関節と関節との間の部分（例、上腕、上肢）の位置との一方または双方を含む。 Further, the posture data FD may include information that can specify the positional relationship of each part of the human body. For example, the posture data FD may include position information (eg, absolute position, relative position, coordinates) of a part of the human body HM. The position information of the human body includes, for example, one or both of the position of the terminal portion of the human body HM (eg, hands, toes, head) and the position of the joints of the human body HM (eg, shoulders, elbows, wrists, knees). include. Further, the position information of the human body HM is, for example, the position of the part between the end portion and the joint (eg, neck, forearm, lower limb) and the position of the part between the joint and the joint (eg, upper arm, upper limb). Includes one or both of.

教師データＴＤは、検出装置１による今回（現在）のユーザＵの検出よりも前に、同じユーザＵに対して行われた検出の検出結果から得られる姿勢データ（以下、過去の姿勢データという）を含む。例えば、教師データＴＤは、例えば、検出装置１が人体ＨＭを今回よりも前に検出した検出結果から得られた姿勢データ、又は初期（出荷時を含む）に設定された姿勢データである。教師データＴＤは、検出装置１と別の検出装置が人体ＨＭを今回よりも前に検出した検出結果から得られた姿勢データでもよい。 The teacher data TD is posture data (hereinafter referred to as past posture data) obtained from the detection result of the detection performed for the same user U prior to the detection of the user U this time (currently) by the detection device 1. including. For example, the teacher data TD is, for example, the posture data obtained from the detection result obtained by the detection device 1 detecting the human body HM before this time, or the posture data set at the initial stage (including at the time of shipment). The teacher data TD may be posture data obtained from the detection result in which the detection device 1 and another detection device detect the human body HM before this time.

検出装置１は、上記の比較処理の比較結果に基づいて、ユーザＵの姿勢データＦＤを用いて教師データＴＤを更新して設定する（更新処理を実行する）。ユーザＵは、例えばヨガの上達（例、レベル）に応じて、検出装置１に更新処理を実行させてもよい。例えば、ユーザＵは、自身の体格、体形、柔軟性などを加味して（例、重み付けなどを係数化）、検出装置１に教師データＴＤを設定させてもよい。ユーザＵは、例えば更新された教師データＴＤを新たな教師データとして参考にして、ヨガを行ってもよい。ヨガを実施した後に、ユーザＵは、例えば、自身に合っていると判断した姿勢データを、教師データとして選択してもよい。 The detection device 1 updates and sets the teacher data TD using the posture data FD of the user U based on the comparison result of the above comparison process (executes the update process). The user U may cause the detection device 1 to execute the update process, for example, according to the improvement of yoga (eg, level). For example, the user U may have the detection device 1 set the teacher data TD in consideration of his / her physique, body shape, flexibility, and the like (eg, weighting and the like are coefficiented). The user U may perform yoga with reference to, for example, the updated teacher data TD as new teacher data. After performing yoga, the user U may, for example, select posture data determined to suit him / her as teacher data.

検出装置１（又は検出システムＳＹＳ）は、検出部２、処理装置３、表示部４、及び入力部５を備える。検出部２は、ユーザＵの人体ＨＭを光学的に検出する。処理装置３は、検出部２の検出結果（例、撮像画像などの受光結果）から得られる情報を処理する。処理装置３は、ユーザＵの姿勢データＦＤとユーザＵの教師データＴＤとを比較する。処理装置３は、姿勢データＦＤと教師データＴＤとの比較結果に基づいて、姿勢データＦＤを用いて教師データＴＤを設定して更新する。検出装置１は、表示部４と入力部５の一方または双方を備えなくてもよい。例えば、表示部４（例、表示装置）と入力部５（入力装置）との一方または双方は、検出装置１の外部装置であって、検出システムＳＹＳは、上記の外部装置を備えてもよい。以下、検出装置１の各部について説明する。 The detection device 1 (or detection system SYS) includes a detection unit 2, a processing device 3, a display unit 4, and an input unit 5. The detection unit 2 optically detects the human body HM of the user U. The processing device 3 processes information obtained from the detection result of the detection unit 2 (eg, the light receiving result of a captured image or the like). The processing device 3 compares the posture data FD of the user U with the teacher data TD of the user U. The processing device 3 sets and updates the teacher data TD using the posture data FD based on the comparison result between the posture data FD and the teacher data TD. The detection device 1 may not include one or both of the display unit 4 and the input unit 5. For example, one or both of the display unit 4 (eg, display device) and the input unit 5 (input device) may be an external device of the detection device 1, and the detection system SYS may include the above-mentioned external device. .. Hereinafter, each part of the detection device 1 will be described.

検出部２は、例えば、センサ１１および記憶部１２を備える。センサ１１は、ユーザＵの人体ＨＭからの光を検出する。例えば、検出部２は、ユーザＵの人体ＨＭへ照明光を照射し、センサ１１は、照明光の照射によって人体ＨＭから放射される光を検出する。上記の照明光は、可視光を含んでもよいし、非可視光（例、赤外光、紫外光）を含んでもよい。また、センサ１１が検出する光は、可視光を含んでもよいし、非可視光（例、赤外光、紫外光）を含んでもよい。 The detection unit 2 includes, for example, a sensor 11 and a storage unit 12. The sensor 11 detects the light from the human body HM of the user U. For example, the detection unit 2 irradiates the human body HM of the user U with illumination light, and the sensor 11 detects the light emitted from the human body HM by the irradiation of the illumination light. The above illumination light may include visible light or may include invisible light (eg, infrared light, ultraviolet light). Further, the light detected by the sensor 11 may include visible light or invisible light (eg, infrared light, ultraviolet light).

センサ１１は、例えば、所定の周波数（例、サンプリングレート、フレームレート）で検出処理を実行する。センサ１１は、例えば、撮像素子のような受光素子を含む。撮像素子は、例えば、ＣＣＤイメージセンサあるいはＣＭＯＳイメージセンサなどである。センサ１１は、例えば、撮像処理によって人体ＨＭを光学的に検出する。センサ１１は、その検出結果として、例えば撮像した画像（以下、撮像画像という）のデータ（例、ＲＧＢデータやグレースケールなどの画素値）を出力する。 The sensor 11 executes the detection process at a predetermined frequency (eg, sampling rate, frame rate), for example. The sensor 11 includes, for example, a light receiving element such as an image pickup element. The image pickup device is, for example, a CCD image sensor or a CMOS image sensor. The sensor 11 optically detects the human body HM by, for example, an imaging process. As the detection result, the sensor 11 outputs, for example, data (eg, RGB data, pixel values such as gray scale) of an captured image (hereinafter referred to as an captured image).

センサ１１は、人体ＨＭに対して予め定められた位置（配置位置）と方向（検出方向）とから、人体ＨＭを検出する。例えば、人体ＨＭは、所定の領域（例、ヨガマット、エクササイズマットなどの運動領域）においてヨガを行い、センサ１１は、上記の所定の領域に対して予め位置決めされる。 The sensor 11 detects the human body HM from a predetermined position (arrangement position) and direction (detection direction) with respect to the human body HM. For example, the human body HM performs yoga in a predetermined area (eg, an exercise area such as a yoga mat or an exercise mat), and the sensor 11 is positioned in advance with respect to the above-mentioned predetermined area.

検出部２は、例えばユーザＵがヨガを行う前に、センサ１１によって上記の所定の領域を撮像してもよい。検出装置１は、センサ１１が撮像した画像を表示部４に表示させてもよい。ユーザＵは、ヨガを行う前に、表示部４に表示される画像において上記の所定の領域（例、ヨガマット）が所定位置になるように、センサ１１と所定の領域との相対位置を調整してもよい。検出装置１は、上記の所定位置を示すマーク（例、ガイド、枠線、グリッド）を、センサ１１が撮像した画像とともに表示部４に表示させてもよい。ユーザＵは、センサ１１と所定の領域との相対位置が調整された状態で、所定の領域においてヨガを行う。 For example, the detection unit 2 may image the predetermined area by the sensor 11 before the user U performs yoga. The detection device 1 may display the image captured by the sensor 11 on the display unit 4. Before performing yoga, the user U adjusts the relative position between the sensor 11 and the predetermined area so that the above-mentioned predetermined area (eg, yoga mat) is in the predetermined position in the image displayed on the display unit 4. You may. The detection device 1 may display a mark (eg, guide, border, grid) indicating the above-mentioned predetermined position on the display unit 4 together with the image captured by the sensor 11. The user U performs yoga in a predetermined area in a state where the relative position between the sensor 11 and the predetermined area is adjusted.

記憶部１２は、例えば、揮発性メモリまたは不揮発性メモリを含む。記憶部１２は、センサ１１の検出結果を記憶する。記憶部１２は、例えば、センサ１１の検出結果を、センサ１１が検出を実行したタイミングの情報と関係づけて記憶する。上記のタイミングの情報は、例えば、検出を実行した順に割り付けられる番号（例、フレーム番号）でもよい。また、上記のタイミングの情報は、例えば、人体ＨＭに対する検出を実行したタイミングに基づいた時刻（以下、検出時刻という）でもよい。検出時刻は、例えば、検出部２に内蔵される計時デバイス（例、内部時計）が測定する時刻でもよいし、外部から受信する情報（例、標準時を示す標準電波）によって取得される時刻でもよい。 The storage unit 12 includes, for example, a volatile memory or a non-volatile memory. The storage unit 12 stores the detection result of the sensor 11. The storage unit 12 stores, for example, the detection result of the sensor 11 in relation to the information of the timing at which the sensor 11 executes the detection. The above timing information may be, for example, a number (eg, frame number) assigned in the order in which the detection is executed. Further, the above timing information may be, for example, a time based on the timing at which the detection for the human body HM is executed (hereinafter, referred to as a detection time). The detection time may be, for example, a time measured by a time measuring device (eg, an internal clock) built in the detection unit 2, or a time acquired by information received from the outside (eg, a standard radio wave indicating standard time). ..

検出部２は、例えば、センサ１１によって人体ＨＭを撮像し、その撮像画像のデータ（例、ＲＧＢデータやグレースケールなどの画素値）を記憶部１２に記憶させる。検出部２は、センサ１１の検出結果を外部に出力可能である。例えば、センサ１１は、記憶部１２に記憶された撮像画像のデータを読み出して、外部に出力する。検出部２は、記憶部１２を介することなく（例、リアルタイムで）、検出結果を外部に出力してもよい。この場合、検出部２は、記憶部１２を備えなくてもよい。 For example, the detection unit 2 captures an image of the human body HM by the sensor 11, and stores the image data (eg, RGB data, pixel values such as gray scale) in the storage unit 12. The detection unit 2 can output the detection result of the sensor 11 to the outside. For example, the sensor 11 reads out the data of the captured image stored in the storage unit 12 and outputs it to the outside. The detection unit 2 may output the detection result to the outside without going through the storage unit 12 (for example, in real time). In this case, the detection unit 2 does not have to include the storage unit 12.

処理装置３は、検出部２が出力する情報（例、検出結果）を処理する情報処理部である。処理装置３は、検出部２と有線または無線によって通信可能に接続される。処理装置３は、検出部２の検出結果として撮像画像のデータを、検出部２から取得（例、受信）する。 The processing device 3 is an information processing unit that processes information (eg, detection result) output by the detection unit 2. The processing device 3 is communicably connected to the detection unit 2 by wire or wirelessly. The processing device 3 acquires (eg, receives) the data of the captured image from the detection unit 2 as the detection result of the detection unit 2.

なお、処理装置３は、検出部２との通信を介することなく、検出部２の検出結果あるいは処理結果を取得してもよい。例えば、処理装置３は、不揮発性メモリなどの記憶媒体を介して、検出部２から検出結果を取得してもよい。例えば、検出部２の記憶部１２は、検出部２から取り外し可能なメモリーカードなどの記憶媒体でもよい。処理装置３は、例えば、処理装置３から取り外された記憶部１２と接続されることで、検出部２の検出結果を取得してもよい。 The processing device 3 may acquire the detection result or the processing result of the detection unit 2 without communication with the detection unit 2. For example, the processing device 3 may acquire the detection result from the detection unit 2 via a storage medium such as a non-volatile memory. For example, the storage unit 12 of the detection unit 2 may be a storage medium such as a memory card that can be removed from the detection unit 2. The processing device 3 may acquire the detection result of the detection unit 2 by being connected to the storage unit 12 removed from the processing device 3, for example.

処理装置３は、処理部１３、比較部１４、更新部１５、及び記憶部１６を備える。処理部１３は、検出部２から出力される情報（例、検出結果、処理結果）を処理する。処理部１３は、例えば、検出部２から出力される撮像画像のデータを処理する画像処理部である。処理部１３は、検出部２の検出結果に基づいて、人体ＨＭの姿勢を表す姿勢データＦＤを生成する。処理部１３は、例えば、検出部２の撮像画像に対してエッジ検出処理を施し、撮像画像における人体ＨＭ（例、形状、輪郭）を特定して、姿勢データＦＤを生成する。 The processing device 3 includes a processing unit 13, a comparison unit 14, an update unit 15, and a storage unit 16. The processing unit 13 processes the information (eg, detection result, processing result) output from the detection unit 2. The processing unit 13 is, for example, an image processing unit that processes the data of the captured image output from the detection unit 2. The processing unit 13 generates posture data FD representing the posture of the human body HM based on the detection result of the detection unit 2. For example, the processing unit 13 performs edge detection processing on the captured image of the detection unit 2, identifies the human body HM (eg, shape, contour) in the captured image, and generates posture data FD.

本実施形態において、センサ１１は、予め設定された期間（以下、検出設定期間という）において、人体ＨＭを繰り返し検出する。処理部１３は、複数の撮像画像間における人体ＨＭの変化量（例、移動量）を算出する。処理部１３は、例えば、前回の撮像画像と今回の撮像画像とで人体ＨＭの変化量が閾値未満である場合に、人体ＨＭが静止したと判定（認識）する。処理部１３は、例えば、人体ＨＭが静止したと判定した場合に、その判定の元になるセンサ１１の検出結果を用いて姿勢データＦＤを生成する。 In the present embodiment, the sensor 11 repeatedly detects the human body HM in a preset period (hereinafter referred to as a detection setting period). The processing unit 13 calculates the amount of change (eg, the amount of movement) of the human body HM between a plurality of captured images. The processing unit 13 determines (recognizes) that the human body HM has stopped when, for example, the amount of change in the human body HM between the previous captured image and the current captured image is less than the threshold value. For example, when it is determined that the human body HM is stationary, the processing unit 13 generates posture data FD using the detection result of the sensor 11 which is the basis of the determination.

なお、センサ１１は、１枚の画像を撮像し、処理部１３は、この画像を用いて姿勢データＦＤを生成してもよい。また、処理部１３は、人体ＨＭの静止を判定しなくてもよい。また、処理部１３は、２以上の画像を平均化して、姿勢データＦＤを生成してもよい。例えば、処理部１３は、第１の画像から得られる姿勢データと、第２の画像から得られる姿勢データとの平均（例、加算平均、加重平均）によって、姿勢データＦＤを生成してもよい。 The sensor 11 may capture one image, and the processing unit 13 may generate the posture data FD using this image. Further, the processing unit 13 does not have to determine that the human body HM is stationary. Further, the processing unit 13 may generate the posture data FD by averaging two or more images. For example, the processing unit 13 may generate the posture data FD by averaging the posture data obtained from the first image and the posture data obtained from the second image (eg, added average, weighted average). ..

また、処理部１３は、パターン認識によって、撮像画像における人体ＨＭの部位（例、頭部、腕部、胴体部、脚部）を特定して、姿勢データＦＤを生成してもよい。また、処理部１３は、撮像画像における人体ＨＭの位置を検出してもよい。例えば、処理部１３は、人体ＨＭの各部位の位置を二次元の座標で表してもよい。この二次元の座標は、例えば、撮像画像における水平走査方向の画素の位置と、垂直走査方向の画素の位置とを一組にしたデータでもよい。処理部１３は、人体ＨＭの各部位の名称と位置とを関連付けた部位データを生成してもよい。姿勢データＦＤは、例えば、人体ＨＭの複数の部位の部位データを集積したテーブルデータを含んでもよい。また、姿勢データＦＤは、撮像画像における人体ＨＭの少なくとも一部の輪郭の位置の情報を含んでもよい。また、姿勢データＦＤは、例えば、人体ＨＭに付けられた部材（例、装着物、靴、ウェア、マーカー）の位置の情報を含んでもよい。処理部１３は、生成した姿勢データＦＤを記憶部１６に記憶させる。 Further, the processing unit 13 may specify a part of the human body HM (eg, head, arm, body, leg) in the captured image by pattern recognition and generate posture data FD. Further, the processing unit 13 may detect the position of the human body HM in the captured image. For example, the processing unit 13 may represent the position of each part of the human body HM with two-dimensional coordinates. The two-dimensional coordinates may be, for example, data in which the positions of the pixels in the horizontal scanning direction and the positions of the pixels in the vertical scanning direction in the captured image are set as a set. The processing unit 13 may generate site data in which the name and position of each site of the human body HM are associated with each other. The posture data FD may include, for example, table data in which part data of a plurality of parts of the human body HM are accumulated. Further, the posture data FD may include information on the position of the contour of at least a part of the human body HM in the captured image. Further, the posture data FD may include, for example, information on the position of a member (eg, wearer, shoe, wear, marker) attached to the human body HM. The processing unit 13 stores the generated posture data FD in the storage unit 16.

記憶部１６は、例えば、不揮発性メモリまたはハードディスクを含む。記憶部１６は、初期データＳＤ、教師データＴＤ、及び姿勢データＦＤを記憶する。記憶部１６に記憶された姿勢データＦＤは、ユーザＵの人体ＨＭをセンサ１１が今回検出した検出結果を処理部１３が処理して得られた情報である。本実施形態において、姿勢データＦＤは、人体ＨＭの二次元形状（例、輪郭線）を表す情報である。記憶部１６に記憶された教師データＴＤは、例えば、過去の姿勢データから選択されたデータである。教師データＴＤは、姿勢データＦＤと同じデータ構造である。教師データＴＤは、姿勢データＦＤを処理（例、加工）したデータでもよい。例えば、教師データＴＤは、姿勢データＦＤの一部を抽出したデータでもよい。 The storage unit 16 includes, for example, a non-volatile memory or a hard disk. The storage unit 16 stores the initial data SD, the teacher data TD, and the posture data FD. The posture data FD stored in the storage unit 16 is information obtained by processing the detection result of the sensor 11 detecting the human body HM of the user U this time by the processing unit 13. In the present embodiment, the posture data FD is information representing a two-dimensional shape (eg, contour line) of the human body HM. The teacher data TD stored in the storage unit 16 is, for example, data selected from past posture data. The teacher data TD has the same data structure as the posture data FD. The teacher data TD may be data obtained by processing (eg, processing) the posture data FD. For example, the teacher data TD may be data obtained by extracting a part of the posture data FD.

初期データＳＤは、例えば、ユーザＵとは別の物体（例、インストラクター、ロボット）がとった所定の姿勢（例、三日月のポーズ）又はユーザＵの最初に設定した姿勢（例、初期姿勢）を表す情報である。初期データＳＤは、例えば、教師データＴＤと同じデータ構造（例、物体の輪郭の少なくとも一部を表す情報、物体の部位の位置情報）を含む。 The initial data SD is, for example, a predetermined posture (eg, crescent pose) taken by an object other than the user U (eg, instructor, robot) or a posture initially set by the user U (eg, initial posture). Information to represent. The initial data SD includes, for example, the same data structure as the teacher data TD (eg, information representing at least a part of the contour of the object, position information of a part of the object).

上記の過去の姿勢データは、例えば所定の姿勢をとるユーザＵが一回も検出されていない場合に、存在しない。教師データＴＤは、ユーザＵの過去の姿勢データが存在しない状態（例、検出装置１の出荷時、検出装置１が最初に使用される前）において、記憶部１２に記憶されていない。教師データＴＤが記憶部１２に記憶されていない状態において、初期データＳＤは、例えば教師データＴＤの代わりに、姿勢データＦＤとの比較に利用される。初期データＳＤは、ユーザＵが所定の姿勢を確認することに利用されてもよい。例えば、処理装置３は、初期データＳＤが示す形状を表示部４に表示させてもよい。 The above-mentioned past posture data does not exist, for example, when the user U who takes a predetermined posture has never been detected. The teacher data TD is not stored in the storage unit 12 in a state where the past posture data of the user U does not exist (eg, at the time of shipment of the detection device 1 and before the detection device 1 is first used). In a state where the teacher data TD is not stored in the storage unit 12, the initial data SD is used for comparison with the posture data FD instead of the teacher data TD, for example. The initial data SD may be used by the user U to confirm a predetermined posture. For example, the processing device 3 may display the shape indicated by the initial data SD on the display unit 4.

処理装置３は、ユーザＵがヨガを行う間に、教師データＴＤが表す形状を表示部４に表示させてもよい。例えば、処理装置３は、予め定められたタイミング（例、スケジュール）に基づいて、教師データＴＤが表す形状を表示部４に表示させてもよい。また、処理装置３は、教師データＴＤの元になったセンサ１１の検出結果（例、撮像画像）を表示部４に表示させてもよい。ユーザＵは、例えば、表示部４に表示される画像を見ながら、画像上の姿勢を手本としてヨガを行ってもよい。 The processing device 3 may display the shape represented by the teacher data TD on the display unit 4 while the user U is performing yoga. For example, the processing device 3 may display the shape represented by the teacher data TD on the display unit 4 based on a predetermined timing (eg, schedule). Further, the processing device 3 may display the detection result (eg, captured image) of the sensor 11 which is the source of the teacher data TD on the display unit 4. The user U may perform yoga by using the posture on the image as a model while looking at the image displayed on the display unit 4, for example.

比較部１４は、姿勢データＦＤと、過去に取得されたユーザの教師データＴＤとを比較する。比較部１４は、記憶部１６から姿勢データＦＤと教師データＴＤとを読み出し、読み出した姿勢データＦＤと教師データＴＤとを比較する。比較部１４は、例えば、姿勢データＦＤが表す形状（現在の人体ＨＭの形状）と、教師データＴＤが表す形状（過去の人体ＨＭの形状）とを比較する。 The comparison unit 14 compares the posture data FD with the user's teacher data TD acquired in the past. The comparison unit 14 reads out the posture data FD and the teacher data TD from the storage unit 16, and compares the read posture data FD with the teacher data TD. The comparison unit 14 compares, for example, the shape represented by the posture data FD (the shape of the current human body HM) and the shape represented by the teacher data TD (the shape of the past human body HM).

比較部１４は、例えば、姿勢データＦＤが表す形状と教師データＴＤが表す形状とで、大きさを比較する。比較部１４は、例えば、姿勢データＦＤが表す形状と教師データＴＤが表す形状とで、大きさの差が減少するように、適宜、姿勢データＦＤを補正する。例えば、比較部１４は、姿勢データＦＤが表す形状と教師データＴＤが表す形状とで、大きさ（例、人体ＨＭの輪郭に囲まれる面積）が同じになるように、適宜、姿勢データＦＤが表す形状を拡大または縮小する。比較部１４は、姿勢データＦＤが表す形状と教師データＴＤが表す形状とで、向きを比較してもよい。比較部１４は、例えば、姿勢データＦＤが表す形状と教師データＴＤが表す形状とで向きが同じになるように、適宜、姿勢データＦＤが表す形状の向きを補正（例、回転）してもよい。 The comparison unit 14 compares the sizes of, for example, the shape represented by the posture data FD and the shape represented by the teacher data TD. The comparison unit 14 appropriately corrects the posture data FD so that the difference in size between the shape represented by the posture data FD and the shape represented by the teacher data TD is reduced, for example. For example, the comparison unit 14 appropriately sets the posture data FD so that the shape represented by the posture data FD and the shape represented by the teacher data TD have the same size (eg, the area surrounded by the contour of the human body HM). Enlarge or reduce the shape to be represented. The comparison unit 14 may compare the orientations of the shape represented by the posture data FD and the shape represented by the teacher data TD. For example, the comparison unit 14 may appropriately correct (eg, rotate) the direction of the shape represented by the posture data FD so that the shape represented by the posture data FD and the shape represented by the teacher data TD have the same orientation. good.

また、比較部１４は、教師データＴＤと姿勢データＦＤとの類似度を算出する。例えば、比較部１４は、上記のような補正後の姿勢データＦＤが表す形状と、教師データＴＤが表す形状とで類似度（例、相関係数）を算出する。比較部１４は、例えば、教師データＴＤが表す形状の全体と姿勢データＦＤが表す形状の全体とを比較する。比較部１４は、人体ＨＭの一部（例、１つの部位、複数の部位）について、教師データＴＤが表す形状と姿勢データＦＤが表す形状とを比較してもよい。比較部１４は、人体ＨＭの複数の部位間の相対位置（例、上腕と前腕との伸び、曲がり、角度）について、教師データＴＤが表す形状と姿勢データＦＤが表す形状とを比較してもよい。 Further, the comparison unit 14 calculates the degree of similarity between the teacher data TD and the posture data FD. For example, the comparison unit 14 calculates the degree of similarity (eg, correlation coefficient) between the shape represented by the corrected posture data FD and the shape represented by the teacher data TD as described above. The comparison unit 14 compares, for example, the entire shape represented by the teacher data TD and the entire shape represented by the posture data FD. The comparison unit 14 may compare the shape represented by the teacher data TD with the shape represented by the posture data FD for a part of the human body HM (eg, one part, a plurality of parts). Even if the comparison unit 14 compares the shape represented by the teacher data TD and the shape represented by the posture data FD with respect to the relative positions (eg, extension, bending, angle between the upper arm and the forearm) between a plurality of parts of the human body HM. good.

また、比較部１４は、ユーザＵの姿勢データＦＤとユーザＵの教師データＴＤとの比較を示す比較情報を生成する。比較情報は、例えば、姿勢データＦＤと教師データＴＤとの比較を示す画像（以下、比較画像という）を含む。処理装置３は、比較部１４が生成した比較画像を表示部４に表示させる。ユーザＵは、例えば、表示部４に表示された比較画像を参照し、教師データＴＤを更新するか否かを示す更新指令を入力部５に入力可能である。 Further, the comparison unit 14 generates comparison information indicating a comparison between the posture data FD of the user U and the teacher data TD of the user U. The comparison information includes, for example, an image showing a comparison between the posture data FD and the teacher data TD (hereinafter referred to as a comparison image). The processing device 3 causes the display unit 4 to display the comparison image generated by the comparison unit 14. For example, the user U can refer to the comparison image displayed on the display unit 4 and input an update command indicating whether or not to update the teacher data TD to the input unit 5.

入力部５は、ユーザＵが姿勢データＦＤに基づいて教師データＴＤを更新することに用いられる。入力部５は、姿勢データＦＤを用いて教師データＴＤを更新するか否かを示す更新指令の入力を受け付ける。入力部５は、例えば、更新指令の入力時に操作される操作デバイスと、更新指令を受信する受信部との一方または双方を含む。上記の操作デバイスは、例えば、キーボード、マウス、トラックボール、タッチパネル、及び音声入力デバイス（例、マイク）の少なくとも一つを含む。上記の受信部は、例えば、無線または有線の通信機器を含む。 The input unit 5 is used by the user U to update the teacher data TD based on the posture data FD. The input unit 5 receives an input of an update command indicating whether or not to update the teacher data TD using the posture data FD. The input unit 5 includes, for example, one or both of an operating device operated when an update command is input and a receiving unit that receives the update command. The operating device described above includes, for example, at least one of a keyboard, a mouse, a trackball, a touch panel, and a voice input device (eg, a microphone). The receiver includes, for example, a wireless or wired communication device.

なお、入力部５は、更新指令以外の入力を受け付けてもよい。例えば、入力部５は、検出部２による検出の開始させる指令（例、検出開始指令）の入力を受け付けてもよい。例えば、入力部５は、音声入力デバイスを含み、検出装置１は、入力部５に音声で検出開始指令が入力されることで、検出部２に検出を開始させてもよい。また、入力部５は、タッチパネルなどの接触型の入力デバイスであって、検出装置１は、入力部５に検出開始指令が入力された場合に、タイマーなどによって予め設定された遅延時間の経過後に、検出部２に検出を開始させてもよい。 The input unit 5 may accept an input other than the update command. For example, the input unit 5 may accept an input of a command (eg, a detection start command) for starting detection by the detection unit 2. For example, the input unit 5 may include a voice input device, and the detection device 1 may cause the detection unit 2 to start detection by inputting a detection start command by voice to the input unit 5. Further, the input unit 5 is a contact-type input device such as a touch panel, and the detection device 1 receives a detection start command input to the input unit 5 after a delay time preset by a timer or the like elapses. , The detection unit 2 may start the detection.

更新部１５は、比較部１４の比較結果に基づいて入力部５に入力された更新指令と、姿勢データＦＤとに基づいて、教師データＴＤを更新する。また、更新部１５は、教師データＴＤが存在しない場合、姿勢データＦＤを教師データＴＤとして登録する。例えば、所定の姿勢をとるユーザＵが一回も検出されていない場合に、教師データＴＤは存在しない。このような場合、更新部１５は、例えばユーザＵからの指令に基づいて、または自動で姿勢データＦＤを教師データＴＤとして記憶部１６に記憶させる。実施形態において、教師データＴＤの更新は、教師データＴＤが登録されていない状態（例、初期状態、出荷状態）から、教師データＴＤが登録された状態への更新を含む。 The update unit 15 updates the teacher data TD based on the update command input to the input unit 5 based on the comparison result of the comparison unit 14 and the posture data FD. Further, when the teacher data TD does not exist, the update unit 15 registers the posture data FD as the teacher data TD. For example, if the user U taking a predetermined posture has never been detected, the teacher data TD does not exist. In such a case, the update unit 15 stores the posture data FD as the teacher data TD in the storage unit 16 based on a command from the user U, for example, or automatically. In the embodiment, the update of the teacher data TD includes the update from the state in which the teacher data TD is not registered (eg, the initial state, the shipping state) to the state in which the teacher data TD is registered.

図２は、本実施形態に係る検出装置の処理を示す図である。図２において符号Ｉｍ１は、比較部１４が生成する比較画像である。比較画像Ｉｍ１は、例えば、姿勢の名称を表す情報Ｄ１（図中「三日月のポーズ」）を含む。また、比較画像Ｉｍ１は、教師データＴＤが表す形状の部分画像Ｉｍ２、及び姿勢データＦＤが表す形状の部分画像Ｉｍ３を含む。 FIG. 2 is a diagram showing processing of the detection device according to the present embodiment. In FIG. 2, reference numeral Im1 is a comparative image generated by the comparison unit 14. The comparative image Im1 contains, for example, information D1 (“crescent pose” in the figure) representing the name of the posture. Further, the comparative image Im1 includes a partial image Im2 having a shape represented by the teacher data TD and a partial image Im3 having a shape represented by the posture data FD.

図２において、表示部４における画面レイアウトは、現在の姿勢データＦＤに基づく表示画像（例、Ｉｍ３）と、教師データＴＤに基づく表示画像（例、Ｉｍ２）とが並ぶ画面レイアウトである。画面レイアウトは、例えば、ユーザＵが入力部５を介して設定を変更することで、変更可能である。例えば、処理装置３は、現在の姿勢データＦＤに基づく表示画像（例、Ｉｍ３）を、教師データＴＤに基づく表示画像（例、Ｉｍ２）に対して、同じ大きさで表示させてもよいし、大きく表示させてもよく、小さく表示させてもよい。 In FIG. 2, the screen layout in the display unit 4 is a screen layout in which a display image based on the current posture data FD (eg, Im3) and a display image based on the teacher data TD (eg, Im2) are arranged side by side. The screen layout can be changed, for example, by the user U changing the setting via the input unit 5. For example, the processing device 3 may display the display image based on the current posture data FD (eg, Im3) in the same size as the display image based on the teacher data TD (eg Im2). It may be displayed in a large size or may be displayed in a small size.

また、現在の姿勢データＦＤに基づく表示画像（例、Ｉｍ３）と、教師データＴＤに基づく表示画像（例、Ｉｍ２）との一方または双方は、表示部４において表示させる位置を変更可能である。例えば、処理装置３は、ユーザＵが入力部５を介して設定を変更することで、教師データＴＤに基づく表示画像（例、Ｉｍ２）を表示部４の画面の隅に表示させてもよい。 Further, one or both of the display image based on the current posture data FD (eg, Im3) and the display image based on the teacher data TD (eg Im2) can change the position to be displayed on the display unit 4. For example, the processing device 3 may display a display image (eg, Im2) based on the teacher data TD in a corner of the screen of the display unit 4 by the user U changing the setting via the input unit 5.

部分画像Ｉｍ２は、例えば、教師データＴＤと対応することを示す識別情報Ｄ２が付されている。識別情報Ｄ２は、例えば、教師データＴＤの元になる検出の時期の情報（図中「２０１７／０２／１０」）である。識別情報Ｄ２は、その他の情報でもよく、例えば「過去の姿勢」などの文字情報でもよい。部分画像Ｉｍ３は、例えば、姿勢データＦＤに対応することを示す識別情報Ｄ３が付されている。識別情報Ｄ３は、例えば、姿勢データＦＤの元になる検出の時期の情報（図中「２０１７／０２／１２」）である。識別情報Ｄ３は、その他の情報でもよく、例えば「今回の姿勢」などの文字情報でもよい。 The partial image Im2 is attached with identification information D2 indicating that it corresponds to, for example, the teacher data TD. The identification information D2 is, for example, information on the detection time (“2017/02/10” in the figure) that is the source of the teacher data TD. The identification information D2 may be other information, for example, character information such as "past posture". The partial image Im3 is attached with identification information D3 indicating that it corresponds to the posture data FD, for example. The identification information D3 is, for example, information on the detection time (“2017/02/12” in the figure) which is the source of the posture data FD. The identification information D3 may be other information, for example, character information such as "this posture".

また、更新部１５は、表示部４にＧＵＩ（グラフィカル ユーザ インターフェース）のボタンＤ４およびポインタＤ５を表示させる。ポインタＤ５は、入力部５（図１参照）が操作されることによって、表示部４が表示する画像上で移動する。更新部１５は、入力部５への入力を監視し、ボタンＤ４の「Ｙｅｓ」上にポインタＤ５が配置された状態でクリックなどの入力があった場合に、教師データＴＤを更新する更新指令が入力されたと判定する。また、更新部１５は、入力部５への入力を監視し、ボタンＤ４の「Ｎｏ」上にポインタＤ５が配置された状態でクリックなどの入力があった場合に、教師データＴＤを更新しない更新指令が入力されたと判定する。 Further, the update unit 15 causes the display unit 4 to display the button D4 and the pointer D5 of the GUI (graphical user interface). The pointer D5 moves on the image displayed by the display unit 4 by operating the input unit 5 (see FIG. 1). The update unit 15 monitors the input to the input unit 5, and when there is an input such as a click while the pointer D5 is placed on the "Yes" of the button D4, the update unit 15 issues an update command to update the teacher data TD. Judge that it was entered. Further, the update unit 15 monitors the input to the input unit 5, and does not update the teacher data TD when there is an input such as a click while the pointer D5 is placed on the "No" of the button D4. It is determined that the command has been input.

更新部１５は、教師データＴＤを更新する更新指令が入力されたと判定した場合、記憶部１６に記憶された教師データＴＤを更新して設定する。例えば、更新部１５は、記憶部１６に記憶された教師データＴＤを姿勢データＦＤで書き換える（上書きする）ことによって、教師データＴＤを更新する。 When the update unit 15 determines that the update command for updating the teacher data TD has been input, the update unit 15 updates and sets the teacher data TD stored in the storage unit 16. For example, the update unit 15 updates the teacher data TD by rewriting (overwriting) the teacher data TD stored in the storage unit 16 with the posture data FD.

図３は、本実施形態に係る比較部の処理の変形例を示す図である。図３（Ａ）および図３（Ｂ）は、それぞれ、比較部１４が生成する比較画像の例である。図３（Ａ）において、比較画像Ｉｍ１は、教師データＴＤが示す人体の形状ＦＧ１と、姿勢データＦＤが示す人体の形状ＦＧ２とを重ねた画像（例、オーバーレイ画像）を含む。比較部１４は、形状ＦＧ１と形状ＦＧ２とを区別可能なように、形状ＦＧ１と形状ＦＧ２とを異なる色で表してもよい。比較部１４は、形状ＦＧ１と形状ＦＧ２とを区別可能なように、形状ＦＧ１と形状ＦＧ２とを異なる明るさで表してもよい。また、比較部１４は、教師データＴＤと姿勢データＦＤとの類似度Ｄ６を比較画像Ｉｍ１上に表してもよい。比較部１４は、類似度Ｄ６を数値などの文字情報で比較画像Ｉｍ１上に表してもよい。また、比較部１４は、類似度の高低を色彩（例、赤、青）と明るさ（例、明、暗）との一方または双方で表してもよい。処理装置３は、色彩と明るさとの一方または双方を形状ＦＧ１と形状ＦＧ２とで変えた画像を表示部４に表示させることで、教師データＴＤと姿勢データＦＤとの違いを、ユーザＵに視覚的に認識可能に報知してもよい。 FIG. 3 is a diagram showing a modified example of the processing of the comparison unit according to the present embodiment. 3A and 3B are examples of comparative images generated by the comparison unit 14, respectively. In FIG. 3A, the comparative image Im1 includes an image (eg, overlay image) in which the human body shape FG1 shown by the teacher data TD and the human body shape FG2 shown by the posture data FD are superimposed. The comparison unit 14 may represent the shape FG1 and the shape FG2 in different colors so that the shape FG1 and the shape FG2 can be distinguished from each other. The comparison unit 14 may represent the shape FG1 and the shape FG2 with different brightness so that the shape FG1 and the shape FG2 can be distinguished from each other. Further, the comparison unit 14 may represent the similarity D6 between the teacher data TD and the posture data FD on the comparison image Im1. The comparison unit 14 may represent the similarity D6 on the comparison image Im1 with character information such as a numerical value. Further, the comparison unit 14 may express the degree of similarity by one or both of color (eg, red, blue) and brightness (eg, light, dark). The processing device 3 causes the user U to visually recognize the difference between the teacher data TD and the posture data FD by displaying an image in which one or both of the color and the brightness are changed between the shape FG1 and the shape FG2 on the display unit 4. It may be notified so that it can be recognized.

また、比較部１４は、姿勢データＦＤが表す形状ＦＧ２の全体または一部について、類似度を色彩で表してもよい。例えば、比較部１４は、類似度が相対的に高い部位を青で表し、類似度が相対的に低い部位を赤で表してもよい。また、比較部１４は、姿勢データＦＤが表す形状ＦＧ２の全体または一部について、類似度を明るさで表してもよい。例えば、比較部１４は、類似度が相対的に高い部位を暗い階調で表し、類似度が相対的に低い部位を明るい階調で表してもよい。また、比較部１４は、類似度が相対的に高い部位と低い部位とで表示の有無を変えてもよい。例えば、比較部１４は、類似度が相対的に高い部位を非表示とし、類似度が相対的に低い部位を選択的に表示としてもよい。 Further, the comparison unit 14 may express the degree of similarity in color with respect to the whole or a part of the shape FG2 represented by the posture data FD. For example, the comparison unit 14 may represent a portion having a relatively high degree of similarity in blue and a portion having a relatively low degree of similarity in red. Further, the comparison unit 14 may express the degree of similarity in terms of brightness for all or part of the shape FG2 represented by the posture data FD. For example, the comparison unit 14 may represent a portion having a relatively high degree of similarity with a dark gradation and a portion having a relatively low degree of similarity with a bright gradation. Further, the comparison unit 14 may change the presence or absence of display depending on the portion having a relatively high degree of similarity and the portion having a relatively low degree of similarity. For example, the comparison unit 14 may hide a portion having a relatively high degree of similarity and selectively display a portion having a relatively low degree of similarity.

図３（Ｂ）において、比較画像Ｉｍ１は、姿勢データＦＤが示す形状ＦＧ２と、形状ＦＧ２において教師データＴＤが示す形状との差異を示す図形ＦＧ３とを含む。比較部１４は、例えば、姿勢データＦＤが示す形状ＦＧ２から、教師データＴＤが示す形状ＦＧ１（図３（Ａ）参照）と異なる部分を抽出する。例えば、比較部１４は、形状ＦＧ１と形状ＦＧ２との差分を演算（例、画像演算）し、形状ＦＧ１と形状ＦＧ２とで異なる部分を抽出する。比較部１４は、比較画像Ｉｍ１として、抽出した部分（差異）を表す図形ＦＧ３を、姿勢データＦＤが示す形状ＦＧ２と重ねた画像を生成する。処理装置３は、このような画像（例、重ねた画像）を表示部４に表示させることで、教師データＴＤと姿勢データＦＤとの違いを、ユーザＵに視覚的に認識可能に報知してもよい。 In FIG. 3B, the comparative image Im1 includes a figure FG2 showing a difference between the shape FG2 shown by the posture data FD and the shape shown by the teacher data TD in the shape FG2. The comparison unit 14 extracts, for example, a portion different from the shape FG1 shown by the teacher data TD (see FIG. 3A) from the shape FG2 shown by the posture data FD. For example, the comparison unit 14 calculates the difference between the shape FG1 and the shape FG2 (eg, image calculation), and extracts a portion different between the shape FG1 and the shape FG2. The comparison unit 14 generates an image in which the figure FG3 representing the extracted portion (difference) is superimposed on the shape FG2 indicated by the posture data FD as the comparison image Im1. By displaying such an image (eg, an superimposed image) on the display unit 4, the processing device 3 visually notifies the user U of the difference between the teacher data TD and the posture data FD so as to be recognizable. May be good.

次に、上述の検出装置１の動作に基づき、実施形態に係る検出方法について説明する。図４は、実施形態に係る検出方法を示すフローチャートである。検出装置１の各部については、適宜、図１を参照する。ステップＳ１において、検出部２は、ユーザＵの人体ＨＭを検出する。例えば、センサ１１は、ユーザＵの人体ＨＭを撮像する。例えば、センサ１１は、検出設定期間において人体ＨＭを繰り返し検出（例、撮像）した後、検出を終了する。 Next, the detection method according to the embodiment will be described based on the operation of the detection device 1 described above. FIG. 4 is a flowchart showing the detection method according to the embodiment. For each part of the detection device 1, reference to FIG. 1 as appropriate. In step S1, the detection unit 2 detects the human body HM of the user U. For example, the sensor 11 captures the human body HM of the user U. For example, the sensor 11 repeatedly detects (eg, captures) the human body HM during the detection setting period, and then ends the detection.

処理部１３は、センサ１１の検出結果に基づいて、人体ＨＭの少なくとも一部についての姿勢データＦＤを生成する。処理部１３は、検出設定期間と重複する期間に姿勢データを生成してもよい。また、処理部１３は、検出設定期間の終了後に、姿勢データを生成してもよい。 The processing unit 13 generates posture data FD for at least a part of the human body HM based on the detection result of the sensor 11. The processing unit 13 may generate posture data during a period that overlaps with the detection setting period. Further, the processing unit 13 may generate posture data after the end of the detection setting period.

ステップＳ２において、比較部１４は、人体の姿勢データＦＤと教師データＴＤとを比較する。比較部１４は、姿勢データＦＤと教師データＴＤとを比較し、姿勢データＦＤが表す形状と教師データＴＤが表す形状との類似度（例、相関係数）を算出してもよい。また、比較部１４は、姿勢データＦＤと教師データＴＤとを比較し、教師データＴＤが表す形状と姿勢データＦＤが表す形状との差分を算出してもよい。比較部１４は、姿勢データＦＤと教師データＴＤとの比較を示す比較情報（例、図２、図３の比較画像Ｉｍ１）を生成する。処理装置３は、比較部１４が生成した比較画像Ｉｍ１を表示部４に表示させる。 In step S2, the comparison unit 14 compares the posture data FD of the human body with the teacher data TD. The comparison unit 14 may compare the posture data FD and the teacher data TD, and calculate the degree of similarity (eg, correlation coefficient) between the shape represented by the posture data FD and the shape represented by the teacher data TD. Further, the comparison unit 14 may compare the posture data FD and the teacher data TD, and calculate the difference between the shape represented by the teacher data TD and the shape represented by the posture data FD. The comparison unit 14 generates comparison information (eg, comparison image Im1 in FIGS. 2 and 3) indicating a comparison between the posture data FD and the teacher data TD. The processing device 3 causes the display unit 4 to display the comparison image Im1 generated by the comparison unit 14.

ステップＳ３において、更新部１５は、教師データＴＤを更新するか否かを判定する。更新部１５は、入力部５に更新指令が入力されたと判定した場合に、教師データＴＤを更新すると判定する（ステップＳ３；Ｙｅｓ）。更新部１５は、教師データＴＤを更新すると判定した場合（ステップＳ３；Ｙｅｓ）、ステップＳ４において、姿勢データＦＤを用いて教師データＴＤを更新する。検出装置１は、教師データＴＤを更新しない更新部１５が判定した場合（ステップＳ３；Ｎｏ）、一連の処理を終了する。 In step S3, the update unit 15 determines whether or not to update the teacher data TD. When it is determined that the update command has been input to the input unit 5, the update unit 15 determines to update the teacher data TD (step S3; Yes). When the update unit 15 determines that the teacher data TD is to be updated (step S3; Yes), the update unit 15 updates the teacher data TD using the posture data FD in step S4. When the update unit 15 that does not update the teacher data TD determines (step S3; No), the detection device 1 ends a series of processes.

なお、処理部１３は、検出装置１において処理装置３の外部（例、検出部２）に設けられてもよいし、検出装置１と別の外部装置に設けられてもよい。例えば、検出装置１は、検出部２の検出結果を外部装置に供給し、外部装置（例、処理部１３）が生成した姿勢データを取得してもよい。検出装置１の少なくとも一部は、デスクトップ型のパーソナルコンピュータなどの据え置き型の装置でもよい。検出装置１の少なくとも一部は、スマートフォンなどの携帯型の情報端末でもよい。 The processing unit 13 may be provided outside the processing device 3 (eg, the detection unit 2) in the detection device 1, or may be provided in an external device different from the detection device 1. For example, the detection device 1 may supply the detection result of the detection unit 2 to the external device and acquire the posture data generated by the external device (eg, the processing unit 13). At least a part of the detection device 1 may be a stationary device such as a desktop personal computer. At least a part of the detection device 1 may be a portable information terminal such as a smartphone.

なお、実施形態に係る検出装置１は、ユーザＵの人体ＨＭを検出する検出部２と、検出部２の検出結果から得られるユーザＵの姿勢データＦＤと、過去に取得されたユーザＵの教師データＴＤとを比較する比較部１４と、比較部１４の比較結果に基づいて、ユーザの姿勢データＦＤを用いてユーザの教師データＴＤを生成する処理部１３と、を備え、更新部１５を備えなくてもよい。この検出装置１は、姿勢データＦＤ、教師データＴＤ、及び姿勢データＦＤと教師データＴＤとの比較データ（例、比較画像のデータ）の少なくとも一部を外部に出力してもよい。また、例えば、本実施形態に係る検出装置１は、ユーザＵの姿勢を過去のユーザＵの姿勢に対して比較可能にする。 The detection device 1 according to the embodiment includes a detection unit 2 that detects the human body HM of the user U, a posture data FD of the user U obtained from the detection result of the detection unit 2, and a user U acquired in the past. A comparison unit 14 for comparing with the teacher data TD and a processing unit 13 for generating the user's teacher data TD using the user's posture data FD based on the comparison result of the comparison unit 14 are provided, and the update unit 15 is provided. You don't have to prepare. The detection device 1 may output at least a part of the posture data FD, the teacher data TD, and the comparison data (eg, comparison image data) between the posture data FD and the teacher data TD to the outside. Further, for example, the detection device 1 according to the present embodiment makes it possible to compare the posture of the user U with the posture of the user U in the past.

なお、比較部１４は、ユーザＵの人体ＨＭの一部について、姿勢データＦＤと教師データＴＤとの比較を行わなくてもよい。例えば、比較部１４は、記憶部１６に記憶された設定（比較対象部位の設定情報）に基づいて、予め設定された比較対象の部位についてのみ、姿勢データ（例、姿勢データの部位データ）ＦＤと教師データ（例、教師データの部位データ）ＴＤとを比較してもよい。上記の設定は、ユーザＵの指定などによって変更可能でもよい。例えば、上記の設定は、目標の姿勢がほぼ達成される部位を比較対象から外すように、変更可能でもよい。また、上記の設定は、比較対象の部位を追加するように、変更可能でもよい。 The comparison unit 14 does not have to compare the posture data FD and the teacher data TD for a part of the human body HM of the user U. For example, the comparison unit 14 FDs the posture data (eg, the part data of the posture data) only for the preset comparison target part based on the setting stored in the storage unit 16 (setting information of the comparison target part). And the teacher data (eg, part data of the teacher data) TD may be compared. The above settings may be changeable by specifying the user U or the like. For example, the above setting may be changed so as to exclude the part where the target posture is almost achieved from the comparison target. Further, the above setting may be changed so as to add a part to be compared.

［第２実施形態］
第２実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。図５は、本実施形態に係る検出装置を示す図である。本実施形態において、検出部２は、人体ＨＭの各部からの距離を光学的に検出する。処理装置３は、例えば、人体ＨＭの各部から検出部２までの距離に基づいて人体ＨＭの各部位を特定し、人体ＨＭの部位ごとの評価基準を予め定めた基準データを用いて、類似度を算出する。検出部２は、例えば、モーションキャプチャ装置でもよく、人体ＨＭの三次元形状を検出してもよい。検出部２は、例えば、センサ１１、処理部１３、及び記憶部１２を備える。 [Second Embodiment]
The second embodiment will be described. In the present embodiment, the same components as those in the above-described embodiment are designated by the same reference numerals, and the description thereof will be omitted or simplified. FIG. 5 is a diagram showing a detection device according to the present embodiment. In the present embodiment, the detection unit 2 optically detects the distance from each part of the human body HM. The processing device 3 specifies, for example, each part of the human body HM based on the distance from each part of the human body HM to the detection part 2, and uses standard data in which evaluation criteria for each part of the human body HM are predetermined, and the degree of similarity is used. Is calculated. The detection unit 2 may be, for example, a motion capture device or may detect a three-dimensional shape of the human body HM. The detection unit 2 includes, for example, a sensor 11, a processing unit 13, and a storage unit 12.

センサ１１は、例えば、デプスセンサなどの測距器である。センサ１１は、例えば、所定の視点（例、センサ１１の位置、視点）から人体ＨＭの表面上の各点までの距離を検出する。センサ１１は、例えば、TOF（time of flight）法によって距離を検出する。センサ１１は、その検出結果（例、位置情報）として、例えば距離の分布を示す位置情報を出力する。上記の位置情報は、例えば、デプス情報（例、デプス画像のデータ、奥行き情報）を含む。センサ１１は、例えば、人体ＨＭの複数の部位の三次元的な位置情報を出力する。 The sensor 11 is, for example, a rangefinder such as a depth sensor. The sensor 11 detects, for example, the distance from a predetermined viewpoint (eg, the position of the sensor 11, the viewpoint) to each point on the surface of the human body HM. The sensor 11 detects the distance by, for example, the TOF (time of flight) method. The sensor 11 outputs, for example, position information indicating the distribution of distance as the detection result (eg, position information). The above position information includes, for example, depth information (eg, depth image data, depth information). The sensor 11 outputs, for example, three-dimensional position information of a plurality of parts of the human body HM.

なお、センサ１１は、TOF法以外他の手法で距離を検出するデバイスでもよい。センサ１１は、例えば、レーザスキャナ（例、レーザ測距器）を含み、レーザスキャンによって距離を検出するデバイスでもよい。センサ１１は、例えば、人体ＨＭが通る領域に所定のパターンを投影し、このパターンの検出結果をもとに距離を測定するデバイスでもよい。センサ１１は、例えば、位相差センサを含み、位相差法によって距離を検出するデバイスでもよい。センサ１１は、例えば、DFD(depth from defocus)法によって距離を検出するデバイスでもよい。また、センサ１１は、例えばステレオカメラなどによって複数の視点から人体ＨＭを撮像した撮像画像を用いて、三角測量によって距離を検出するデバイスでもよい。センサ１１は、上述した複数の検出法のうち２以上を組み合わせて、人体ＨＭを検出するデバイスでもよい。センサ１１は、距離を検出するセンサ、及び第１実施形態で説明したイメージセンサを含んでもよい。 The sensor 11 may be a device that detects the distance by a method other than the TOF method. The sensor 11 may include, for example, a laser scanner (eg, a laser rangefinder) and may be a device that detects a distance by laser scanning. The sensor 11 may be, for example, a device that projects a predetermined pattern on a region through which the human body HM passes and measures the distance based on the detection result of this pattern. The sensor 11 may be, for example, a device including a phase difference sensor and detecting a distance by a phase difference method. The sensor 11 may be, for example, a device that detects a distance by a DFD (depth from defocus) method. Further, the sensor 11 may be a device that detects a distance by triangulation using an image taken by capturing a human body HM from a plurality of viewpoints by, for example, a stereo camera. The sensor 11 may be a device that detects a human body HM by combining two or more of the above-mentioned plurality of detection methods. The sensor 11 may include a sensor that detects a distance and an image sensor described in the first embodiment.

図６は、実施形態に係る処理部の処理を示す図である。センサ１１（図５参照）は、例えば、デプス画像Ｉｍ５のデータを出力する。デプス画像Ｉｍ５において、各画素の画素値は、例えば、デプス画像Ｉｍ５上の画素の位置に相当する実空間上の点とセンサ１１との距離を表す。例えば、図６のデプス画像Ｉｍ５はグレースケールで表されており、暗い部分は、明るい部分よりもセンサ１１からの距離が離れている。 FIG. 6 is a diagram showing the processing of the processing unit according to the embodiment. The sensor 11 (see FIG. 5) outputs, for example, the data of the depth image Im5. In the depth image Im5, the pixel value of each pixel represents, for example, the distance between the sensor 11 and a point in real space corresponding to the position of the pixel on the depth image Im5. For example, the depth image Im5 of FIG. 6 is represented in grayscale, and the dark portion is farther from the sensor 11 than the bright portion.

処理部１３（図５参照）は、センサ１１の検出結果に基づいて、人体ＨＭの位置を検出（算出）する。処理部１３は、例えば、デプス画像Ｉｍ５のデータを処理（例、透視変換処理、射影変換処理）することによって、人体ＨＭの形状を表す形状情報を生成（算出）する。形状情報は、例えば、点群データを含む。点群データは、例えば人体ＨＭの表面の複数の点データを含む。例えば、複数の点データは、それぞれ３次元座標で表される。 The processing unit 13 (see FIG. 5) detects (calculates) the position of the human body HM based on the detection result of the sensor 11. The processing unit 13 generates (calculates) shape information representing the shape of the human body HM by, for example, processing the data of the depth image Im5 (eg, perspective conversion processing, projection conversion processing). The shape information includes, for example, point cloud data. The point cloud data includes, for example, a plurality of point data on the surface of the human body HM. For example, each of the plurality of point data is represented by three-dimensional coordinates.

処理部１３は、形状情報としてサーフェス情報を算出してもよい。サーフェス情報は、例えばポリゴンデータ、ベクタデータ、ドローデータなどである。サーフェス情報は、例えば、複数の点の座標と複数の点間の連結情報とを含む。連結情報は、例えば、物体（例、人体ＨＭ）の稜線（例、エッジ）に相当する線の両端の点を互いに関連付ける情報を含む。連結情報は、例えば、物体上の面の輪郭に相当する複数の線を互いに関連付ける情報を含む。 The processing unit 13 may calculate surface information as shape information. The surface information is, for example, polygon data, vector data, draw data, or the like. The surface information includes, for example, the coordinates of a plurality of points and the connection information between the plurality of points. The connection information includes, for example, information relating points at both ends of a line corresponding to a ridgeline (eg, an edge) of an object (eg, human body HM) to each other. The connection information includes, for example, information that associates a plurality of lines corresponding to the contours of a surface on an object with each other.

処理部１３は、例えば、点群データに含まれる複数の点から選択される点とその近傍の点との間の面を推定し、点群データを点間の平面情報を持つポリゴンデータに変換してもよい。処理部１３は、例えば、最小二乗法を用いたアルゴリズムにより、点群データをポリゴンデータへ変換する。このアルゴリズムは、例えば、点群処理ライブラリに公開されているアルゴリズムを適用したものでもよい。 For example, the processing unit 13 estimates a surface between a point selected from a plurality of points included in the point cloud data and a point in the vicinity thereof, and converts the point cloud data into polygon data having plane information between the points. You may. The processing unit 13 converts the point cloud data into polygon data by, for example, an algorithm using the least squares method. This algorithm may be, for example, an algorithm published in the point cloud processing library.

処理部１３は、センサ１１の検出結果に基づいて、人体ＨＭの特徴部位（例、特徴点）の位置情報ＰＤを生成する。人体ＨＭの特徴部位は、例えば、人体ＨＭの他の部位と区別可能な部位である。人体ＨＭの特徴部位は、例えば、人体ＨＭの末端部、関節、又は末端部と関節との間もしくは２つの関節の間の中間部の少なくとも１つを含む。 The processing unit 13 generates position information PD of a feature portion (eg, feature point) of the human body HM based on the detection result of the sensor 11. The characteristic site of the human body HM is, for example, a site that can be distinguished from other parts of the human body HM. Characteristic sites of the human body HM include, for example, at least one of the ends, joints, or between the ends and the joints or between the two joints of the human body HM.

処理部１３は、例えば、点群データを用いた認識処理（例、パターン認識、形状認識、骨格認識）等によって、上記の特徴部位の位置情報ＰＤを生成する。特徴部位の位置情報ＰＤは、例えば、特徴部位を代表する点の座標（例、３次元座標）を含む。処理部１３は、例えば、上記の認識処理によって、特徴部位を表す点の座標を算出する。処理部１３は、例えば、特徴部位のそれぞれについて、特徴部位の名称と、特徴部位の位置とを関連付けたデータを生成する。処理部１３は、例えば、予め設定された１または２以上の特徴部位のそれぞれの位置情報を含む位置情報ＰＤ（例、テーブルデータ）を生成する。位置情報ＰＤは、例えば、同じ検出タイミングの検出結果から得られる複数の特徴部位の位置情報を含む。 The processing unit 13 generates the position information PD of the above-mentioned feature portion by, for example, recognition processing (eg, pattern recognition, shape recognition, skeleton recognition) using point cloud data. The position information PD of the feature portion includes, for example, the coordinates of a point representing the feature portion (eg, three-dimensional coordinates). The processing unit 13 calculates the coordinates of the points representing the feature portions by, for example, the above recognition process. For example, the processing unit 13 generates data in which the name of the featured portion and the position of the featured portion are associated with each of the featured portions. The processing unit 13 generates, for example, a position information PD (eg, table data) including the position information of each of one or more preset feature portions. The position information PD includes, for example, the position information of a plurality of feature portions obtained from the detection results of the same detection timing.

図５の説明に戻り、検出部２は、処理部１３が生成した位置情報を外部に出力する。例えば、処理部１３は、生成した位置情報を記憶部１２に記憶させる。検出部２は、例えば、記憶部１２に記憶された位置情報を処理装置３に出力する。処理装置３は、検出部２から出力された位置情報を記憶部１６に記憶させる。本実施形態において、記憶部１６は、基準データＲＤ、教師データＴＤ、及び姿勢データＦＤを記憶する。記憶部１６は、図１に示した初期データＳＤを記憶してもよい、初期データＳＤを記憶しなくてもよい。 Returning to the description of FIG. 5, the detection unit 2 outputs the position information generated by the processing unit 13 to the outside. For example, the processing unit 13 stores the generated position information in the storage unit 12. The detection unit 2 outputs, for example, the position information stored in the storage unit 12 to the processing device 3. The processing device 3 stores the position information output from the detection unit 2 in the storage unit 16. In the present embodiment, the storage unit 16 stores the reference data RD, the teacher data TD, and the posture data FD. The storage unit 16 may or may not store the initial data SD shown in FIG. 1.

基準データＲＤは、目標の姿勢（例、ヨガの三日月のポーズ）を定義した情報（定義データ、参照データ）である。基準データＲＤは、人体ＨＭの部位ごとの評価基準を予め定めた情報である。処理装置３は、例えば、ユーザＵの指令によって、目標の姿勢を登録可能である。例えば、ユーザＵは、入力部５を操作することによって、目標の姿勢に関する情報を処理装置３に取得させる。処理装置３は、例えば、インターネット回線などを介して目標の姿勢に関するデータ（基準データＲＤ、図１の初期データＳＤ）を取得する（例、ダウンロード）する。 The reference data RD is information (definition data, reference data) that defines a target posture (eg, yoga crescent pose). The reference data RD is information in which evaluation criteria for each part of the human body HM are predetermined. The processing device 3 can register the target posture, for example, by a command of the user U. For example, the user U causes the processing device 3 to acquire information regarding the posture of the target by operating the input unit 5. The processing device 3 acquires (eg, downloads) data (reference data RD, initial data SD of FIG. 1) relating to the target posture via, for example, an Internet line or the like.

なお、処理装置３は、目標の姿勢に関する情報を、光学ディスク（例、ＤＶＤ－ＲＯＭ）あるいはＵＳＢメモリなどの記憶媒体から取得してもよい。また、処理装置３は、自動更新などの設定に基づいて、ユーザＵの指令を受けなくても目標の姿勢に関する情報を自動で取得してもよい。また、処理装置３は、予め記憶部１６に記憶された目標の姿勢に関して処理を実行し、新たな目標の姿勢に関する情報を取得しなくてもよい。 The processing device 3 may acquire information regarding the target posture from a storage medium such as an optical disk (eg, DVD-ROM) or a USB memory. Further, the processing device 3 may automatically acquire information on the target posture without receiving a command from the user U, based on a setting such as automatic update. Further, the processing device 3 does not have to execute the process regarding the posture of the target stored in the storage unit 16 in advance and acquire the information regarding the posture of the new target.

比較部１４は、基準データＲＤを用いてユーザＵの姿勢データＦＤが表す姿勢を評価する。比較部１４は、基準データＲＤを用いて、教師データＴＤと姿勢データＦＤとの類似度を算出する。図７は、本実施形態に係る比較部の処理を示す図である。図７（Ａ）には、基準データＲＤを概念的に示した。基準データＲＤは、人体ＨＭの部位名と、評価項目と、重み係数（重み付けの係数）とを関連付けた情報である。例えば、部位名が頭について、評価項目は頭と首との相対位置であり、重み係数はＣ１である。また、部位名が肘について、評価項目は肩－肘（上腕）と、肘－手首（前腕）との相対位置であり、重み係数はＣｉである。比較部１４は、予め設定された部位ごとに姿勢を評価する。 The comparison unit 14 evaluates the posture represented by the posture data FD of the user U using the reference data RD. The comparison unit 14 calculates the degree of similarity between the teacher data TD and the posture data FD using the reference data RD. FIG. 7 is a diagram showing the processing of the comparison unit according to the present embodiment. FIG. 7A conceptually shows the reference data RD. The reference data RD is information in which the part name of the human body HM, the evaluation item, and the weighting coefficient (weighting coefficient) are associated with each other. For example, the site name is the head, the evaluation item is the relative position between the head and the neck, and the weighting factor is C1. The site name is the elbow, the evaluation item is the relative position between the shoulder-elbow (upper arm) and the elbow-wrist (forearm), and the weighting factor is Ci. The comparison unit 14 evaluates the posture for each preset portion.

図７（Ｂ）には、部位ごとに姿勢を評価する評価処理を概念的に示した。比較部１４は、肘の姿勢を評価する際に、姿勢データＦＤａを用いて、肩Ｑａ１から肘Ｑｂ１までの上腕Ｑｃ１と肘Ｑｂ１から手首Ｑｄ１までの前腕Ｑｅ１との相対位置（例、角度θ１）を算出する。また、比較部１４は、教師データＴＤを用いて、肩Ｑａ２から肘Ｑｂ２までの上腕Ｑｃ２と肘Ｑｂ２から手首Ｑｄ２までの前腕Ｑｅ２との相対位置（例、角度θ２）を算出する。比較部１４は、角度θ１と角度θ２とを比較して、肘の評価値を算出する。例えば、比較部１４は、角度θ１と角度θ２との差に重み係数Ｃｉを乗算した値を評価値として算出する。 FIG. 7B conceptually shows an evaluation process for evaluating the posture for each part. When evaluating the posture of the elbow, the comparison unit 14 uses the posture data FDa to relative the position of the upper arm Qc1 from the shoulder Qa1 to the elbow Qb1 and the forearm Qe1 from the elbow Qb1 to the wrist Qd1 (eg, angle θ1). Is calculated. Further, the comparison unit 14 calculates the relative position (eg, angle θ2) between the upper arm Qc2 from the shoulder Qa2 to the elbow Qb2 and the forearm Qe2 from the elbow Qb2 to the wrist Qd2 using the teacher data TD. The comparison unit 14 compares the angle θ1 with the angle θ2 and calculates the evaluation value of the elbow. For example, the comparison unit 14 calculates a value obtained by multiplying the difference between the angle θ1 and the angle θ2 by the weighting coefficient Ci as an evaluation value.

比較部１４は、教師データＴＤに対して姿勢データＦＤがずれる向きを区別して、姿勢を評価する。例えば、肘が伸びていることが望まれる姿勢である場合、比較部１４は、角度θ１が角度θ２よりも１８０°に近い場合に、評価値を相対的に高くする。例えば、比較部１４は、角度θ１から角度θ２を引いた値に重み係数をＣｉを乗算して、評価値を算出する。図７（Ｂ）において、角度θ１は、角度θ２よりも１８０°に近く、（θ１－θ２）が正となり、評価値は正の値になる。また、姿勢データＦＤｂのように、教師データＴＤよりも肘Ｑｂ３が曲がっている場合、肩Ｑａ３から肘Ｑｂ３までの上腕Ｑｃ３と肘Ｑｂ３から手首Ｑｄ３までの前腕Ｑｅ３との角度θ３は、角度θ２よりも小さくなる。この場合、（θ３－θ２）が負となり、評価値は負の値になる。 The comparison unit 14 evaluates the posture by distinguishing the direction in which the posture data FD deviates from the teacher data TD. For example, when the posture is such that the elbow is desired to be extended, the comparison unit 14 relatively increases the evaluation value when the angle θ1 is closer to 180 ° than the angle θ2. For example, the comparison unit 14 calculates the evaluation value by multiplying the value obtained by subtracting the angle θ2 from the angle θ1 by the weighting coefficient Ci. In FIG. 7B, the angle θ1 is closer to 180 ° than the angle θ2, (θ1-θ2) is positive, and the evaluation value is a positive value. Further, when the elbow Qb3 is bent more than the teacher data TD as in the posture data FDb, the angle θ3 between the upper arm Qc3 from the shoulder Qa3 to the elbow Qb3 and the forearm Qe3 from the elbow Qb3 to the wrist Qd3 is from the angle θ2. Also becomes smaller. In this case, (θ3-θ2) becomes negative and the evaluation value becomes a negative value.

基準データＲＤには、各部位について、教師データＴＤから算出される値と姿勢データＦＤから算出される値との演算式が予め定められている。比較部１４は、基準データＲＤに定められた演算式に基づいて演算することによって、教師データＴＤに対して姿勢データＦＤがずれる向きを区別して評価値を算出する。比較部１４は、予め設定された各部位について評価値を算出し、予め設定された部位で評価値を積算することによって、類似度を算出する。 In the reference data RD, an arithmetic expression of a value calculated from the teacher data TD and a value calculated from the posture data FD is predetermined for each part. The comparison unit 14 calculates the evaluation value by distinguishing the direction in which the posture data FD deviates from the teacher data TD by performing the calculation based on the calculation formula defined in the reference data RD. The comparison unit 14 calculates the evaluation value for each preset portion, and calculates the similarity by integrating the evaluation values at the preset portions.

姿勢データＦＤにおける第１の部位（例、肩Ｑａ１）の位置は、教師データＴＤにおける第１の部位（例、肩Ｑａ２）の位置とずれている場合がある。この場合、第１の部位の位置ずれによって、第１の部位よりも人体ＨＭの末端側の第２の部位（例、肘、手首）の位置が教師データＴＤと姿勢データＦＤとでずれる。上述のように人体の部位の相対位置を用いて教師データＴＤと姿勢データＦＤとが比較される場合、上記の位置ずれによる影響を低減することができる。 The position of the first part (eg, shoulder Qa1) in the posture data FD may be deviated from the position of the first part (eg, shoulder Qa2) in the teacher data TD. In this case, the position of the second part (eg, elbow, wrist) on the terminal side of the human body HM with respect to the first part is shifted between the teacher data TD and the posture data FD due to the misalignment of the first part. When the teacher data TD and the posture data FD are compared using the relative positions of the parts of the human body as described above, the influence of the above-mentioned position shift can be reduced.

なお、評価項目および重み係数は、目標となる姿勢に基づいて、人体の一部の部位ついて設定されなくてもよい。例えば、ヨガのポーズにおいて、伸びていても曲がっていても構わない部位については、評価項目および重み係数が設定されなくてもよい。また、基準データＲＤは、重み係数を含まなくてもよい。例えば、比較部１４は、評価項目ごとに算出される値の積算、あるいは平均などによって類似度を算出してもよい。 The evaluation item and the weighting coefficient may not be set for a part of the human body based on the target posture. For example, in yoga poses, evaluation items and weighting factors may not be set for parts that may be stretched or bent. Further, the reference data RD may not include the weighting coefficient. For example, the comparison unit 14 may calculate the similarity by integrating or averaging the values calculated for each evaluation item.

なお、比較部１４は、基準データＲＤを用いないで、姿勢データＦＤと教師データＴＤとを比較してもよい。比較部１４は、姿勢データＦＤと教師データＴＤとの類似度を算出しなくてもよい。比較部１４は、第１実施形態で説明したように、姿勢データＦＤと教師データＴＤとの比較を示す比較画像を生成してもよい。また、処理部１３は、検出装置１において検出部２の外部（例、処理装置３）に設けられてもよいし、検出装置１と別の外部装置に設けられてもよい。 The comparison unit 14 may compare the posture data FD and the teacher data TD without using the reference data RD. The comparison unit 14 does not have to calculate the degree of similarity between the posture data FD and the teacher data TD. As described in the first embodiment, the comparison unit 14 may generate a comparison image showing a comparison between the posture data FD and the teacher data TD. Further, the processing unit 13 may be provided outside the detection unit 2 (eg, the processing device 3) in the detection device 1, or may be provided in an external device different from the detection device 1.

［第３実施形態］
第３実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。図８は、実施形態に係る検出装置を示す図である。本実施形態において、検出部２は、人体ＨＭを繰り返し検出する。比較部１４は、検出部２が人体ＨＭ（図１参照）を繰り返し検出した検出結果から得られる複数の姿勢データ（ＦＤ１からＦＤｊ）のそれぞれと、教師データＴＤとを比較する。更新部１５は、教師データＴＤを、比較部１４の比較結果に基づいて複数の姿勢データ（ＦＤ１からＦＤｊ）から選択される姿勢データへ更新する。例えば、比較部１４は、所定の期間（例、一連のヨガを行う期間、１日、１時間）におけるユーザＵ（図１参照）のベストの姿勢データと教師データとの比較画像を生成する。ユーザＵは、例えば、ベストの姿勢データと教師データとの比較に基づいて、この姿勢データで教師データを更新するか否かを指定することができる。 [Third Embodiment]
The third embodiment will be described. In the present embodiment, the same components as those in the above-described embodiment are designated by the same reference numerals, and the description thereof will be omitted or simplified. FIG. 8 is a diagram showing a detection device according to an embodiment. In the present embodiment, the detection unit 2 repeatedly detects the human body HM. The comparison unit 14 compares each of the plurality of posture data (FD1 to FDj) obtained from the detection result of the detection unit 2 repeatedly detecting the human body HM (see FIG. 1) with the teacher data TD. The update unit 15 updates the teacher data TD to posture data selected from a plurality of posture data (FD1 to FDj) based on the comparison result of the comparison unit 14. For example, the comparison unit 14 generates a comparison image of the best posture data of the user U (see FIG. 1) and the teacher data in a predetermined period (eg, a period of performing a series of yoga, one day, one hour). The user U can specify, for example, whether or not to update the teacher data with the posture data based on the comparison between the best posture data and the teacher data.

検出部２は、各検出で得られる検出結果に識別情報（例、ＩＤ）を付して、処理部１３に供給する。この識別情報は、例えば、検出結果が得られた順に割り付けられる番号（例、フレーム番号）である。例えば、図８において、検出部２が出力した検出結果は、ＩＤがｊ（ｊは１以上の整数）である。 The detection unit 2 attaches identification information (eg, ID) to the detection result obtained by each detection and supplies it to the processing unit 13. This identification information is, for example, a number (eg, frame number) assigned in the order in which the detection results are obtained. For example, in FIG. 8, the detection result output by the detection unit 2 has an ID of j (j is an integer of 1 or more).

処理部１３は、検出部２（例、センサ１１）における検出結果を処理して姿勢データを生成する。処理部１３は、生成した姿勢データに識別情報（例、ＩＤ）を付して出力する。この識別情報は、例えば、姿勢データが得られた順に割り付けられる識別番号である。例えば、図８において、処理部１３が出力した姿勢データは、識別情報がｊ（ｊは１以上の整数）である。 The processing unit 13 processes the detection result in the detection unit 2 (eg, the sensor 11) to generate posture data. The processing unit 13 attaches identification information (eg, ID) to the generated posture data and outputs the data. This identification information is, for example, an identification number assigned in the order in which posture data is obtained. For example, in FIG. 8, the posture data output by the processing unit 13 has identification information j (j is an integer of 1 or more).

記憶部１６は、処理部１３が出力した出力した姿勢データを、その識別情報と関連付けて記憶する。例えば、図８において、姿勢データＦＤは、識別情報が１からｊまでの複数の姿勢データを含む。以下の説明において、複数の姿勢データを区別する場合に、識別情報に対応する添え字（１からｊ）を付して表す。例えば、姿勢データＦＤｊは、識別情報がｊの姿勢データである。 The storage unit 16 stores the posture data output by the processing unit 13 in association with the identification information. For example, in FIG. 8, the posture data FD includes a plurality of posture data whose identification information is from 1 to j. In the following description, when a plurality of posture data are distinguished, they are represented by adding subscripts (1 to j) corresponding to the identification information. For example, the posture data FDj is the posture data whose identification information is j.

比較部１４は、記憶部１２から、複数の姿勢データＦＤ１～ＦＤｊをそれぞれ読み出し、基準データＲＤを用いて教師データＴＤと比較する。比較部１４は、基準データＲＤを用いて、複数の姿勢データＦＤ１～ＦＤｊのそれぞれについて類似度を算出する。例えば、比較部１４は、記憶部１２から、姿勢データＦＤｊ、教師データＴＤ、及び基準データＲＤを読み出し、これらデータを用いて姿勢データＦＤｊと教師データＴＤとの類似度を算出する。比較部１４は、算出した類似度を、姿勢データＦＤｊの識別情報と関連付けて記憶部１６に記憶させる。例えば、記憶部１６は、識別情報と関連付けられた類似度を含む類似度データＣＤを記憶する。類似度データＣＤは、例えば、識別情報と類似度とを一組にしたデータを集積したテーブルデータである。 The comparison unit 14 reads out a plurality of posture data FD1 to FDj from the storage unit 12, respectively, and compares them with the teacher data TD using the reference data RD. The comparison unit 14 calculates the degree of similarity for each of the plurality of posture data FD1 to FDj using the reference data RD. For example, the comparison unit 14 reads the posture data FDj, the teacher data TD, and the reference data RD from the storage unit 12, and calculates the degree of similarity between the posture data FDj and the teacher data TD using these data. The comparison unit 14 stores the calculated similarity in the storage unit 16 in association with the identification information of the posture data FDj. For example, the storage unit 16 stores a similarity data CD including a similarity associated with the identification information. The similarity data CD is, for example, table data in which data in which identification information and similarity are combined are accumulated.

本実施形態において、検出装置１は、選択部２１を備える。選択部２１は、複数の姿勢データＦＤ１～ＦＤｊから、教師データＴＤとの類似度が相対的に高い姿勢データを選択する。例えば、処理部１３は、予定された複数の姿勢データについて類似度を算出する類似度算出処理が終了した後に、類似度算出処理の終了を示す情報（例、信号、フラグ）を選択部２１に供給する。選択部２１は、類似度算出処理の終了を示す情報を比較部１４から受けた場合に、記憶部１２から類似度データＣＤを読み出す。選択部２１は、類似度データＣＤにおいて類似度が相対的に高い姿勢データの識別情報を選択（特定）する。 In the present embodiment, the detection device 1 includes a selection unit 21. The selection unit 21 selects posture data having a relatively high degree of similarity to the teacher data TD from the plurality of posture data FD1 to FDj. For example, the processing unit 13 inputs information (eg, signal, flag) indicating the end of the similarity calculation process to the selection unit 21 after the similarity calculation process for calculating the similarity for a plurality of scheduled posture data is completed. Supply. When the selection unit 21 receives information indicating the end of the similarity calculation process from the comparison unit 14, the selection unit 21 reads out the similarity data CD from the storage unit 12. The selection unit 21 selects (identifies) the identification information of the posture data having a relatively high similarity in the similarity data CD.

ここでは、類似度データＣＤにおいて姿勢データＦＤｊの類似度が最も高いとする。選択部２１は、選択した識別情報（ＩＤ＝ｊ）を比較部１４に供給する。比較部１４は、選択部２１から供給された識別情報（ＩＤ＝ｊ）に対応する姿勢データＦＤｊを記憶部１６から読み出す。比較部１４は、姿勢データＦＤｊと教師データＴＤとの比較を示す比較画像Ｉｍ１（図２、図３参照）を生成する。表示部４は、選択部２１によって選択された姿勢データＦＤに基づいて画像を表示する。例えば、表示部４は、選択部２１によって選択された姿勢データＦＤに基づいて比較部１４が生成した比較画像Ｉｍ１（図２、図３参照）を表示する。 Here, it is assumed that the attitude data FDj has the highest degree of similarity in the similarity data CD. The selection unit 21 supplies the selected identification information (ID = j) to the comparison unit 14. The comparison unit 14 reads out the posture data FDj corresponding to the identification information (ID = j) supplied from the selection unit 21 from the storage unit 16. The comparison unit 14 generates a comparative image Im1 (see FIGS. 2 and 3) showing a comparison between the posture data FDj and the teacher data TD. The display unit 4 displays an image based on the posture data FD selected by the selection unit 21. For example, the display unit 4 displays the comparison image Im1 (see FIGS. 2 and 3) generated by the comparison unit 14 based on the posture data FD selected by the selection unit 21.

なお、選択部２１は、複数の姿勢データＦＤ１～ＦＤｊから、教師データＴＤとの類似度が相対的に高い姿勢データを２つ以上選択してもよい。例えば、選択部２１は、予め定められた数の姿勢データの識別情報を、姿勢データの類似度が高い順に類似度データＣＤから選択してもよい。また、選択部２１は、類似度と閾値とを比較して、所定の条件（例、類似度が閾値以上である条件）を満たす姿勢データの識別情報を抽出してもよい。 The selection unit 21 may select two or more posture data having a relatively high degree of similarity to the teacher data TD from the plurality of posture data FD1 to FDj. For example, the selection unit 21 may select a predetermined number of posture data identification information from the similarity data CD in descending order of similarity of the posture data. Further, the selection unit 21 may compare the similarity with the threshold value and extract identification information of posture data satisfying a predetermined condition (eg, a condition in which the similarity is equal to or higher than the threshold value).

なお、比較部１４は、２以上の姿勢データ（例、姿勢データＦＤ１、ＦＤ２）の比較を示す比較画像を生成してもよい。例えば、比較部１４は、２以上の姿勢データがそれぞれ表す形状を並べた比較画像を生成してもよい。また、比較部１４は、２以上の姿勢データ（例、姿勢データＦＤ１、ＦＤ２）、及び教師データＴＤとの比較を示す比較画像を生成してもよい。例えば、比較部１４は、２以上の姿勢データがそれぞれ表す形状と、教師データＴＤが示す形状とを並べた比較画像を生成してもよい。 The comparison unit 14 may generate a comparison image showing a comparison of two or more posture data (eg, posture data FD1 and FD2). For example, the comparison unit 14 may generate a comparison image in which the shapes represented by the two or more posture data are arranged. Further, the comparison unit 14 may generate a comparison image showing comparison with two or more posture data (eg, posture data FD1 and FD2) and teacher data TD. For example, the comparison unit 14 may generate a comparison image in which the shape represented by the two or more posture data and the shape represented by the teacher data TD are arranged.

また、比較部１４は、選択部２１が選択した２以上の姿勢データのそれぞれについて、教師データＴＤとの比較を示す比較画像を生成してもよい。処理装置３は、比較部１４が生成した複数の比較画像を、表示部４に並べて表示させてもよい。また、処理装置３は、比較部１４が生成した複数の比較画像を順に表示部４に表示させてもよい。 Further, the comparison unit 14 may generate a comparison image showing comparison with the teacher data TD for each of the two or more posture data selected by the selection unit 21. The processing device 3 may display a plurality of comparative images generated by the comparison unit 14 side by side on the display unit 4. Further, the processing device 3 may display a plurality of comparative images generated by the comparison unit 14 on the display unit 4 in order.

［第４実施形態］
第４実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。図９は、本実施形態に係る検出装置を示す図である。図１０は、本実施形態に係る比較部の処理を示す図である。本実施形態において、検出装置１は、姿勢データＦＤを複数の教師データ（ＴＤ１からＴＤｋ）と比較する。例えば、検出装置１は、ユーザＵの姿勢を、猫の姿勢に対する教師データと比較し、また牛の姿勢に対する教師データと比較する。 [Fourth Embodiment]
The fourth embodiment will be described. In the present embodiment, the same components as those in the above-described embodiment are designated by the same reference numerals, and the description thereof will be omitted or simplified. FIG. 9 is a diagram showing a detection device according to the present embodiment. FIG. 10 is a diagram showing the processing of the comparison unit according to the present embodiment. In the present embodiment, the detection device 1 compares the posture data FD with a plurality of teacher data (TD1 to TDk). For example, the detection device 1 compares the posture of the user U with the teacher data for the posture of the cat and also compares with the teacher data for the posture of the cow.

本実施形態において、教師データＴＤは、複数の教師データを含む。複数の教師データは、それぞれ、識別情報と関連付けられて、記憶部１６に記憶される。以下の説明において、複数の教師データを区別する場合に、識別情報に対応する添え字（１からｋ）を付して表す。例えば、教師データＴＤｋは、識別情報がｋのユーザＵの姿勢データである。 In the present embodiment, the teacher data TD includes a plurality of teacher data. Each of the plurality of teacher data is associated with the identification information and stored in the storage unit 16. In the following description, when a plurality of teacher data are distinguished, they are represented by adding a subscript (1 to k) corresponding to the identification information. For example, the teacher data TDk is the posture data of the user U whose identification information is k.

複数の教師データＴＤ１～ＴＤｋは、第１の姿勢Ｆ１（図１０（Ａ）参照）に対する教師データＴＤ１と、第２の姿勢Ｆ２（図１０（Ｂ）参照）に対する教師データＴＤ２とを含む。第１の姿勢Ｆ１（例、第１の目標姿勢、猫のポーズ）は、第２の姿勢Ｆ２（例、第２の目標姿勢、牛のポーズ）と異なる。ユーザが第１の姿勢Ｆ１をとる順番と、ユーザが第２の姿勢Ｆ２をとる順番とは、例えば、ユーザの指定によって予め定められている。例えば、第１の姿勢と第２の姿勢とは、連続的にとることが予め定められている。記憶部１６には、ユーザが各姿勢をとる順番および時間を定めたタイミングデータ（スケジュール情報）が予め記憶されている。 The plurality of teacher data TD1 to TDk include teacher data TD1 for the first posture F1 (see FIG. 10A) and teacher data TD2 for the second posture F2 (see FIG. 10B). The first posture F1 (eg, first target posture, cat pose) is different from the second posture F2 (eg, second target posture, cow pose). The order in which the user takes the first posture F1 and the order in which the user takes the second posture F2 are predetermined, for example, by the user's designation. For example, it is predetermined that the first posture and the second posture are taken continuously. The storage unit 16 stores in advance timing data (schedule information) in which the order and time for the user to take each posture are determined.

検出部２は、ユーザが第１の姿勢Ｆ１をとる期間と、ユーザが第２の姿勢Ｆ２をとる期間とにわたって、ユーザの人体を繰り返し検出する。例えば、検出部２は、記憶部１６に記憶されているタイミングデータに基づいて決定される期間に、ユーザの人体を繰り返し検出する。検出部２は、各検出で得られる検出結果に識別情報（例、ＩＤ）を付して、処理部１３に供給する。処理部１３は、検出部２からの検出結果を処理して姿勢データを生成する。処理部１３は、生成した姿勢データに識別情報（例、ＩＤ）を付して出力する。 The detection unit 2 repeatedly detects the user's human body over a period in which the user takes the first posture F1 and a period in which the user takes the second posture F2. For example, the detection unit 2 repeatedly detects the human body of the user during a period determined based on the timing data stored in the storage unit 16. The detection unit 2 attaches identification information (eg, ID) to the detection result obtained by each detection and supplies it to the processing unit 13. The processing unit 13 processes the detection result from the detection unit 2 to generate posture data. The processing unit 13 attaches identification information (eg, ID) to the generated posture data and outputs the data.

記憶部１６は、処理部１３が出力した出力した姿勢データを、その識別情報と関連付けて記憶する。姿勢データＦＤ１は、例えば、図１０（Ａ）の第１の姿勢Ｆ１（例、猫のポーズ）に対応する。姿勢データＦＤｊは、例えば、図１０（Ａ）の第２の姿勢Ｆ２（例、牛のポーズ）に対応する。姿勢データＦＤ２は、例えば、第１の姿勢Ｆ１から第２の姿勢Ｆ２へ移る過程の姿勢に対応する姿勢データである。 The storage unit 16 stores the posture data output by the processing unit 13 in association with the identification information. The posture data FD1 corresponds to, for example, the first posture F1 (eg, cat pose) in FIG. 10 (A). The posture data FDj corresponds to, for example, the second posture F2 (eg, cow pose) in FIG. 10 (A). The posture data FD2 is, for example, posture data corresponding to the posture in the process of shifting from the first posture F1 to the second posture F2.

比較部１４は、記憶部１２から複数の姿勢データＦＤ１～ＦＤｊをそれぞれ読み出す。比較部１４は、ユーザの姿勢データごとに異なる教師データを用いて比較する。比較部１４は、複数の姿勢データＦＤ１～ＦＤｊをそれぞれについて、第１の姿勢Ｆ１に対する教師データＴＤ１および第２の姿勢Ｆ２に対する教師データＴＤ２のそれぞれと比較する。例えば、図１０（Ｂ）に示すように、比較部１４は、姿勢データＦＤ１と教師データＴＤ１とを比較する。また、比較部１４は、姿勢データＦＤ１と教師データＴＤ２とを比較する。例えば、図１０（Ｃ）に示すように、比較部１４は、姿勢データＦＤｊと教師データＴＤ１とを比較する。また、比較部１４は、姿勢データＦＤｊと教師データＴＤ２とを比較する。 The comparison unit 14 reads out a plurality of posture data FD1 to FDj from the storage unit 12, respectively. The comparison unit 14 compares using different teacher data for each user's posture data. The comparison unit 14 compares the plurality of posture data FD1 to FDj with the teacher data TD1 for the first posture F1 and the teacher data TD2 for the second posture F2, respectively. For example, as shown in FIG. 10B, the comparison unit 14 compares the posture data FD1 with the teacher data TD1. Further, the comparison unit 14 compares the posture data FD1 with the teacher data TD2. For example, as shown in FIG. 10C, the comparison unit 14 compares the posture data FDj with the teacher data TD1. Further, the comparison unit 14 compares the posture data FDj with the teacher data TD2.

比較部１４は、例えば、複数の姿勢データＦＤ１～ＦＤｊのそれぞれと、教師データＴＤ１との類似度を算出する。比較部１４は、複数の姿勢データＦＤ１～ＦＤｊのうち教師データＴＤ１との類似度が相対的に高い姿勢データを用いて、比較画像を生成する。例えば、姿勢データＦＤ１は、姿勢データＦＤｊよりも教師データＴＤ１との類似度が高い。この場合、比較部１４は、姿勢データＦＤ１と教師データＴＤ１との比較を示す比較画像を生成する。 The comparison unit 14 calculates, for example, the degree of similarity between each of the plurality of posture data FD1 to FDj and the teacher data TD1. The comparison unit 14 generates a comparative image by using the posture data having a relatively high degree of similarity to the teacher data TD1 among the plurality of posture data FD1 to FDj. For example, the posture data FD1 has a higher degree of similarity to the teacher data TD1 than the posture data FDj. In this case, the comparison unit 14 generates a comparison image showing a comparison between the posture data FD1 and the teacher data TD1.

また、比較部１４は、例えば、複数の姿勢データＦＤ１～ＦＤｊのそれぞれと、教師データＴＤ２との類似度を算出する。比較部１４は、複数の姿勢データＦＤ１～ＦＤｊのうち教師データＴＤ２との類似度が相対的に高い姿勢データを用いて、比較画像を生成する。例えば、姿勢データＦＤｊは、姿勢データＦＤ１よりも教師データＴＤ２との類似度が高い。この場合、比較部１４は、姿勢データＦＤｊと教師データＴＤ２との比較を示す比較画像を生成する。 Further, the comparison unit 14 calculates, for example, the degree of similarity between each of the plurality of posture data FD1 to FDj and the teacher data TD2. The comparison unit 14 generates a comparison image by using the posture data having a relatively high degree of similarity to the teacher data TD2 among the plurality of posture data FD1 to FDj. For example, the posture data FDj has a higher degree of similarity to the teacher data TD2 than the posture data FD1. In this case, the comparison unit 14 generates a comparison image showing a comparison between the posture data FDj and the teacher data TD2.

［第５実施形態］
第５実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。図１１は、本実施形態に係る検出装置を示す図である。本実施形態において、検出装置１は、人体ＨＭの呼吸のタイミングに基づいて、ユーザＵに姿勢変化のタイミングを報知する。検出装置１は、タイミング検出部２２、スケジュール設定部２３、及び報知部２４を備える。 [Fifth Embodiment]
A fifth embodiment will be described. In the present embodiment, the same components as those in the above-described embodiment are designated by the same reference numerals, and the description thereof will be omitted or simplified. FIG. 11 is a diagram showing a detection device according to the present embodiment. In the present embodiment, the detection device 1 notifies the user U of the timing of the posture change based on the breathing timing of the human body HM. The detection device 1 includes a timing detection unit 22, a schedule setting unit 23, and a notification unit 24.

タイミング検出部２２は、検出部２の検出結果に基づいて、人体ＨＭの呼吸のタイミングを検出する。検出部２は、例えば、ヨガを行う前にあるいはヨガの最初の姿勢において、呼吸を行うユーザＵを繰り返し検出する。処理部１３は、検出部２の検出結果に基づいて、呼吸を行うユーザＵの姿勢データを生成する。処理部１３は、生成した姿勢データを記憶部１６に記憶させる。記憶部１６には、図８および図９に示したように、検出部２が人体ＨＭを繰り返し検出して得られる姿勢データＦＤ（例、図８の複数の姿勢データＦＤ１～ＦＤｊ）が記憶される。 The timing detection unit 22 detects the respiration timing of the human body HM based on the detection result of the detection unit 2. The detection unit 2 repeatedly detects the user U who breathes, for example, before performing yoga or in the initial posture of yoga. The processing unit 13 generates posture data of the user U who breathes based on the detection result of the detection unit 2. The processing unit 13 stores the generated posture data in the storage unit 16. As shown in FIGS. 8 and 9, the storage unit 16 stores posture data FDs (eg, a plurality of posture data FD1 to FDj in FIG. 8) obtained by repeatedly detecting the human body HM by the detection unit 2. To.

タイミング検出部２２は、記憶部１６から、呼吸を行うユーザＵの姿勢データＦＤを読み出す。タイミング検出部２２は、例えば、姿勢データＦＤの時間変化を算出する。例えば、タイミング検出部２２は、ユーザＵの呼吸に伴う人体ＨＭの部位（例、胸部）の移動を検出する。タイミング検出部２２は、例えば、ユーザＵの呼吸に伴う人体ＨＭの部位（例、胸部、腹部）の移動周期に基づいて、ユーザＵの呼吸の周期を推定する。タイミング検出部２２は、推定した呼吸の周期を記憶部１６に記憶させる。 The timing detection unit 22 reads the posture data FD of the user U who breathes from the storage unit 16. The timing detection unit 22 calculates, for example, the time change of the posture data FD. For example, the timing detection unit 22 detects the movement of a part (eg, chest) of the human body HM accompanying the breathing of the user U. The timing detection unit 22 estimates the breathing cycle of the user U, for example, based on the movement cycle of the part of the human body HM (eg, chest, abdomen) accompanying the breathing of the user U. The timing detection unit 22 stores the estimated respiratory cycle in the storage unit 16.

スケジュール設定部２３は、タイミング検出部２２が推定した呼吸の周期に基づいて、人体ＨＭの姿勢変化のタイミングデータＬＤを生成する。例えば、スケジュール設定部２３は、例えば、図１０に示した第１の姿勢Ｆ１をとる時間を、呼吸の周期に基づいて決定する。上記の第１の姿勢Ｆ１を取る時間は、例えば、１つのポーズを維持する時間、第１の姿勢Ｆ１をとることが推奨される時間などである。スケジュール設定部２３は、例えば、第１の姿勢Ｆ１をとる時間を、呼吸の周期の整数倍に決定する。 The schedule setting unit 23 generates the timing data LD of the posture change of the human body HM based on the breathing cycle estimated by the timing detection unit 22. For example, the schedule setting unit 23 determines, for example, the time for taking the first posture F1 shown in FIG. 10 based on the breathing cycle. The time for taking the first posture F1 is, for example, a time for maintaining one pose, a time for which it is recommended to take the first posture F1, and the like. The schedule setting unit 23 determines, for example, the time for taking the first posture F1 to be an integral multiple of the breathing cycle.

スケジュール設定部２３は、例えば、決定した各姿勢の時間、及び予定された姿勢の順番に基づいて、タイミングデータＬＤを生成する。タイミングデータＬＤは、例えば、予定されたヨガの複数の姿勢のそれぞれについて、各姿勢をとるタイミングを表す情報である。例えば、タイミングデータＬＤは、第１の姿勢Ｆ１をとる期間の開始タイミングおよび終了タイミングを、ヨガの開始からの時間で表す情報を含む。スケジュール設定部２３は、生成したタイミングデータＬＤを記憶部１６に記憶させる。 The schedule setting unit 23 generates timing data LD, for example, based on the time of each determined posture and the order of the scheduled postures. The timing data LD is, for example, information indicating the timing of taking each posture for each of a plurality of scheduled yoga postures. For example, the timing data LD includes information representing the start timing and end timing of the period in which the first posture F1 is taken, in terms of the time from the start of yoga. The schedule setting unit 23 stores the generated timing data LD in the storage unit 16.

なお、タイミング検出部２２は、呼吸の周期を少なくとも１回、記憶部１６に記憶させる。以降の処理において、スケジュール設定部２３は、タイミング検出部２２が呼吸の周期を検出しない場合、記憶部１６に記憶された呼吸の周期を読み出して、タイミングデータＬＤを生成する。 The timing detection unit 22 stores the breathing cycle in the storage unit 16 at least once. In the subsequent processing, when the timing detection unit 22 does not detect the breathing cycle, the schedule setting unit 23 reads the breathing cycle stored in the storage unit 16 and generates the timing data LD.

報知部２４は、タイミング検出部２２の検出結果に基づいて、人体ＨＭの姿勢変化のタイミングを報知する。例えば、報知部２４は、タイミング検出部２２の検出結果に基づいてスケジュール設定部２３が生成したタイミングデータＬＤに基づいて、人体ＨＭの姿勢変化のタイミングを報知する。例えば、処理装置３は、タイミングデータＬＤに基づいて、報知信号を報知部２４に供給する。報知部２４は、例えば、人体の姿勢変化のタイミングを音声で報知する。報知部２４は、例えば、音声再生デバイス、アンプ、スピーカなどを含む。上記の報知信号は、例えば「次の姿勢をとってください」などの音声ガイド、音楽、チャイムなどの音を表す音声データである。報知部２４は、処理装置３から供給された報知信号が表す音を再生することで、報知を行う。 The notification unit 24 notifies the timing of the posture change of the human body HM based on the detection result of the timing detection unit 22. For example, the notification unit 24 notifies the timing of the posture change of the human body HM based on the timing data LD generated by the schedule setting unit 23 based on the detection result of the timing detection unit 22. For example, the processing device 3 supplies a notification signal to the notification unit 24 based on the timing data LD. The notification unit 24, for example, notifies the timing of the posture change of the human body by voice. The notification unit 24 includes, for example, a voice reproduction device, an amplifier, a speaker, and the like. The above notification signal is voice data representing a sound such as a voice guide such as "Please take the next posture", music, or a chime. The notification unit 24 performs notification by reproducing the sound represented by the notification signal supplied from the processing device 3.

なお、検出装置１は、タイミング検出部２２を備えなくてもよい。例えば、ユーザＵは、自身の呼吸のタイミングを入力部５によって処理装置３に入力してもよい。スケジュール設定部２３は、ユーザＵから入力された呼吸タイミングに基づいて、タイミングデータＬＤを生成してもよい。また、検出装置１は、スケジュール設定部２３を備えなくてもよい。例えば、ユーザＵは、入力部５を操作して複数の姿勢を行うタイミングを設定してもよい。 The detection device 1 does not have to include the timing detection unit 22. For example, the user U may input the timing of his / her breathing into the processing device 3 by the input unit 5. The schedule setting unit 23 may generate timing data LD based on the breathing timing input from the user U. Further, the detection device 1 does not have to include the schedule setting unit 23. For example, the user U may operate the input unit 5 to set the timing for performing a plurality of postures.

なお、報知部２４は、例えば、ユーザＵが設定、編集したタイミングデータＬＤに基づいて、姿勢変化のタイミングを報知してもよい。また、報知部２４は、音声以外によって、報知を行ってもよい。例えば、報知部２４は、光（ライトの点灯）、振動などで報知を行ってもよい。また、表示部４は、報知部２４を兼ねてもよく、画像を表示することで報知を行ってもよい。また、検出装置１は、報知部２４を備えなくてもよい。また、検出システムＳＹＳは、検出装置１の外部に報知部２４を備えてもよい。 The notification unit 24 may notify the timing of the posture change based on the timing data LD set and edited by the user U, for example. Further, the notification unit 24 may perform notification by means other than voice. For example, the notification unit 24 may perform notification by light (lighting on), vibration, or the like. Further, the display unit 4 may also serve as the notification unit 24, and may perform notification by displaying an image. Further, the detection device 1 does not have to include the notification unit 24. Further, the detection system SYS may be provided with a notification unit 24 outside the detection device 1.

［第６実施形態］
第６実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。図１２は、本実施形態に係る検出装置を示す図である。検出装置１は、例えばユーザＵの更新指令を受けなくとも、判定部２５の判定によって教師データを自動で更新可能である。 [Sixth Embodiment]
The sixth embodiment will be described. In the present embodiment, the same components as those in the above-described embodiment are designated by the same reference numerals, and the description thereof will be omitted or simplified. FIG. 12 is a diagram showing a detection device according to the present embodiment. The detection device 1 can automatically update the teacher data by the determination of the determination unit 25, for example, without receiving the update command of the user U.

本実施形態において、検出装置１は、判定部２５を備える。判定部２５は、比較部１４の比較結果に基づいて、教師データＴＤを更新するか否かを判定する（判定処理を実行する）。比較部１４は、例えば、姿勢データＦＤと教師データＴＤとの類似度に基づいて、判定処理を実行する。例えば、判定部２５は、姿勢データＦＤと教師データＴＤとの類似度と閾値とを比較する。判定部２５は、類似度が閾値以上である場合に、教師データＴＤを更新すると判定する。判定部２５は、教師データＴＤを更新すると判定した場合に、更新指令（例、設定信号）を更新部１５に供給する。更新部１５は、判定部２５から更新指令（設定指令）を受けた場合に、姿勢データＦＤを用いて教師データＴＤを更新（例、自動更新）する。 In the present embodiment, the detection device 1 includes a determination unit 25. The determination unit 25 determines whether or not to update the teacher data TD (executes the determination process) based on the comparison result of the comparison unit 14. The comparison unit 14 executes the determination process based on, for example, the degree of similarity between the posture data FD and the teacher data TD. For example, the determination unit 25 compares the degree of similarity between the posture data FD and the teacher data TD and the threshold value. The determination unit 25 determines that the teacher data TD is updated when the similarity is equal to or higher than the threshold value. When the determination unit 25 determines that the teacher data TD is to be updated, the determination unit 25 supplies an update command (eg, a setting signal) to the update unit 15. When the update unit 15 receives an update command (setting command) from the determination unit 25, the update unit 15 updates the teacher data TD (eg, automatic update) using the posture data FD.

［第７実施形態］
第７実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。図１３は、本実施形態に係る検出装置を示す図である。検出装置１は、例えば教師データＴＤおよび姿勢データＦＤを外部装置（例、処理装置３０）に出力し、外部装置（例、処理装置３０）から供給される更新指令に基づいて教師データＴＤを更新する。 [7th Embodiment]
The seventh embodiment will be described. In the present embodiment, the same components as those in the above-described embodiment are designated by the same reference numerals, and the description thereof will be omitted or simplified. FIG. 13 is a diagram showing a detection device according to the present embodiment. The detection device 1 outputs, for example, the teacher data TD and the attitude data FD to an external device (eg, processing device 30), and updates the teacher data TD based on an update command supplied from the external device (eg, processing device 30). do.

本実施形態において、検出装置１は、通信部２６を備える。通信部２６は、記憶部１６に記憶された情報（例、教師データＴＤ、姿勢データＦＤ、比較画像のデータ）の少なくとも一部を検出装置１の外部（例、処理装置３０）へ送信する。通信部２６は、例えばインターネット回線を介して、処理装置３０に接続される。 In the present embodiment, the detection device 1 includes a communication unit 26. The communication unit 26 transmits at least a part of the information (eg, teacher data TD, posture data FD, comparative image data) stored in the storage unit 16 to the outside of the detection device 1 (eg, the processing device 30). The communication unit 26 is connected to the processing device 30 via, for example, an internet line.

処理装置３０は、例えばクラウドコンピュータである。処理装置３０は、姿勢の良否判定を行ってもよい。処理装置３０は、検出装置１（例、通信部２６）から受信した姿勢データＦＤに基づいて、教師データＴＤを更新するか否かを判定してもよい。処理装置３０は、教師データＴＤを更新するか否かの判定結果に基づいて、検出装置１（例、通信部２６）に更新指令を送信してもよい。更新部１５は、処理装置３０からの更新指令に基づいて、教師データＴＤを更新してもよい。 The processing device 30 is, for example, a cloud computer. The processing device 30 may determine the quality of the posture. The processing device 30 may determine whether or not to update the teacher data TD based on the posture data FD received from the detection device 1 (eg, the communication unit 26). The processing device 30 may transmit an update command to the detection device 1 (eg, the communication unit 26) based on the determination result of whether or not to update the teacher data TD. The update unit 15 may update the teacher data TD based on the update command from the processing device 30.

また、処理装置３０は、インストラクターなどのオペレータが操作可能なコンピュータでもよい。処理装置３０は、例えば検出装置１から比較画像のデータを受信し、表示部に比較画像を表示してもよい。インストラクターは、表示部に表示された比較画像に基づいて、教師データＴＤを更新するか否か、あるいは教師データＴＤを更新することを推奨するか否かを判定してもよい。処理装置３０は、インストラクターの指令によって更新指令を検出装置１に送信してもよい。更新部１５は、処理装置３０からの更新指令に基づいて、教師データＴＤを更新してもよい。 Further, the processing device 30 may be a computer that can be operated by an operator such as an instructor. The processing device 30 may receive data of the comparison image from, for example, the detection device 1 and display the comparison image on the display unit. The instructor may determine whether to update the teacher data TD or whether it is recommended to update the teacher data TD based on the comparison image displayed on the display unit. The processing device 30 may transmit an update command to the detection device 1 according to a command from the instructor. The update unit 15 may update the teacher data TD based on the update command from the processing device 30.

上述のように、更新部１５は、更新指令を検出装置１の外部の装置から供給されて、教師データＴＤを更新してもよい。この場合、検出装置１は、図１２に示した判定部２５を備えなくてもよい。また、検出装置１は、通信部２６を介してソーシャルネットワーク（ＳＮＳ）等に接続可能でもよい。検出装置１は、ユーザＵの指令に基づいて、記憶部１６に記憶された情報の少なくとも一部をソーシャルネットワーク上に投稿、公開してもよい。また、検出装置１は、通信部２６を介して、図１の初期データＳＤと図５の基準データとの一方または双方を受信してもよい。検出装置１は、例えば、記憶部１６に記憶されていない目標の姿勢に関する情報（例、新たな姿勢に関する初期データＳＤ、基準データＲＤ）を、通信部２６を介して取得してもよい。 As described above, the update unit 15 may update the teacher data TD by supplying an update command from a device outside the detection device 1. In this case, the detection device 1 does not have to include the determination unit 25 shown in FIG. Further, the detection device 1 may be able to connect to a social network (SNS) or the like via the communication unit 26. The detection device 1 may post and publish at least a part of the information stored in the storage unit 16 on the social network based on the command of the user U. Further, the detection device 1 may receive one or both of the initial data SD of FIG. 1 and the reference data of FIG. 5 via the communication unit 26. For example, the detection device 1 may acquire information regarding a target posture (eg, initial data SD regarding a new posture, reference data RD) that is not stored in the storage unit 16 via the communication unit 26.

［第８実施形態］
第８実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。図１４は、本実施形態に係る検出装置を示す図である。本実施形態において、検出装置１は、教師データとして用いる姿勢データを指定する。検出装置１は、教師データを姿勢データで上書きする代わりに、教師データとして用いる姿勢データの指定を変更することによって、教師データを更新する。 [Eighth Embodiment]
The eighth embodiment will be described. In the present embodiment, the same components as those in the above-described embodiment are designated by the same reference numerals, and the description thereof will be omitted or simplified. FIG. 14 is a diagram showing a detection device according to the present embodiment. In the present embodiment, the detection device 1 designates posture data to be used as teacher data. The detection device 1 updates the teacher data by changing the designation of the posture data used as the teacher data instead of overwriting the teacher data with the posture data.

本実施形態において、記憶部１６は、ユーザＵの姿勢データＦＤ、およびユーザＵの教師データとして用いる姿勢データＦＤを指定する設定データＶＤを記憶する。姿勢データＦＤは、複数の姿勢データＦＤ１～ＦＤｎを含む。複数の姿勢データＦＤ１～ＦＤｎは、それぞれ、識別情報（例、ＩＤ）が付されている。ここでは、識別情報がｎの姿勢データＦＤｎが最新の姿勢データであるものとする。本実施形態において、検出装置１は、姿勢データＦＤｎよりも前に取得された複数の姿勢データＦＤ１～ＦＤｎ－１から選択される姿勢データを教師データに用いる。 In the present embodiment, the storage unit 16 stores the posture data FD of the user U and the setting data VD for designating the posture data FD used as the teacher data of the user U. The posture data FD includes a plurality of posture data FD1 to FDn. Identification information (eg, ID) is attached to each of the plurality of posture data FD1 to FDn. Here, it is assumed that the posture data FDn whose identification information is n is the latest posture data. In the present embodiment, the detection device 1 uses the posture data selected from the plurality of posture data FD1 to FDn-1 acquired before the posture data FDn as the teacher data.

設定データＶＤは、複数の姿勢データＦＤ１～ＦＤｎのうち、教師データとして用いる姿勢データを指定する設定値を含む。例えば、図１４において、教師データに用いる姿勢データの識別情報（ＩＤ）は「ｍ」であると定められている。比較部１４は、記憶部１６に記憶された設定データを読み出し、教師データを指定する識別情報（ＩＤ＝ｍ）を取得する。比較部１４は、教師データとして用いる姿勢データＦＤｍと、比較対象の姿勢データＦＤｎとを記憶部１６から読み出す。比較部１４は、姿勢データＦＤｎと姿勢データＦＤｍ（教師データ）を比較する。 The setting data VD includes a setting value for designating the posture data to be used as the teacher data among the plurality of posture data FD1 to FDn. For example, in FIG. 14, the identification information (ID) of the posture data used for the teacher data is defined as "m". The comparison unit 14 reads the setting data stored in the storage unit 16 and acquires the identification information (ID = m) that specifies the teacher data. The comparison unit 14 reads out the posture data FDm used as teacher data and the posture data FDn to be compared from the storage unit 16. The comparison unit 14 compares the posture data FDn and the posture data FDm (teacher data).

また、比較部１４は、比較対象の姿勢データＦＤの識別情報（ＩＤ＝ｎ）を更新部１５に供給する。更新部１５は、入力部５から更新指令を受けた場合に、比較部１４から供給された識別情報を用いて、設定データを更新する。更新部１５は、例えば、教師データを指定する機器別情報をｍからｎへ書き換えることで、教師データを姿勢データＦＤｍから姿勢データＦＤｎへ更新する。このように、更新部１５は、教師データを更新する際に、記憶部１６に記憶された教師データＴＤを姿勢データＦＤで書き換える代わりに、教師データを指定する情報（例、設定データＶＤ、識別情報）を更新してもよい。 Further, the comparison unit 14 supplies the identification information (ID = n) of the posture data FD to be compared to the update unit 15. When the update unit 15 receives an update command from the input unit 5, the update unit 15 updates the setting data using the identification information supplied from the comparison unit 14. The update unit 15 updates the teacher data from the posture data FDm to the posture data FDn by, for example, rewriting the device-specific information that specifies the teacher data from m to n. In this way, when the update unit 15 updates the teacher data, instead of rewriting the teacher data TD stored in the storage unit 16 with the posture data FD, the update unit 15 uses information for designating the teacher data (eg, setting data VD, identification). Information) may be updated.

［第９実施形態］
第９実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。図１５は、実施形態に係る検出システムを示す図である。検出システムＳＹＳは、検出装置１、及び制御装置３２を備える。本実施形態において、検出装置１は、処理装置３、及び複数の検出部２を備える。複数の検出部２は、ユーザＵを互いに異なる方向（例、ユーザＵを基準にして互いに異なる方向）から検出可能なように、ユーザＵを囲うように配置される。処理装置３は、複数の検出部２のそれぞれから出力される検出結果を処理する。 [9th Embodiment]
A ninth embodiment will be described. In the present embodiment, the same components as those in the above-described embodiment are designated by the same reference numerals, and the description thereof will be omitted or simplified. FIG. 15 is a diagram showing a detection system according to an embodiment. The detection system SYS includes a detection device 1 and a control device 32. In the present embodiment, the detection device 1 includes a processing device 3 and a plurality of detection units 2. The plurality of detection units 2 are arranged so as to surround the user U so that the user U can be detected from different directions (for example, different directions with respect to the user U). The processing device 3 processes the detection results output from each of the plurality of detection units 2.

制御装置３２は、検出システムＳＹＳの各部（例、検出部２、処理装置３）を制御する。制御装置３２は、複数の検出部２のそれぞれに対して制御信号を供給する。制御装置３２は、制御信号によって検出部２に検出を実行させる。制御装置３２は、例えば、複数の検出部２のそれぞれが検出を実行するタイミングを制御する。また、制御装置３２は、処理装置３に制御信号を供給する。制御装置３２は、制御信号によって、処理装置３に処理を実行させる。制御装置３２は、例えば、検出部２が検出するタイミングに対して、処理装置３が処理を実行するタイミングを制御する。例えば、制御装置３２は、検出部２が予定された検出を終了した後に、処理装置３に検出部２の検出結果を処理させる。制御装置３２は、処理装置３に処理結果（例、図１の比較画像のデータ、姿勢データＦＤ、教師データＴＤ）の少なくとも一部の出力を実行させる。 The control device 32 controls each unit of the detection system SYS (eg, detection unit 2, processing device 3). The control device 32 supplies a control signal to each of the plurality of detection units 2. The control device 32 causes the detection unit 2 to execute the detection by the control signal. The control device 32 controls, for example, the timing at which each of the plurality of detection units 2 executes detection. Further, the control device 32 supplies a control signal to the processing device 3. The control device 32 causes the processing device 3 to execute the processing by the control signal. The control device 32 controls, for example, the timing at which the processing device 3 executes processing with respect to the timing at which the detection unit 2 detects. For example, the control device 32 causes the processing device 3 to process the detection result of the detection unit 2 after the detection unit 2 finishes the scheduled detection. The control device 32 causes the processing device 3 to output at least a part of the processing results (eg, the data of the comparative image in FIG. 1, the posture data FD, and the teacher data TD).

なお、検出装置１が備える検出部２の数は、１つでもよいし、２以上でもよい。また、検出システムＳＹＳが備える検出装置１の数は、１つでもよいし、２以上でもよい。また、制御装置３２は、処理装置３と同じ装置（例、コンピュータ）に設けられてもよい。また、検出システムＳＹＳは、制御装置３２を含まなくてもよい。検出システムＳＹＳは、検出装置１のみで構成されてもよいし、検出装置１および制御装置３２と別の装置を備えてもよい The number of detection units 2 included in the detection device 1 may be one or two or more. Further, the number of detection devices 1 included in the detection system SYS may be one or two or more. Further, the control device 32 may be provided in the same device (eg, computer) as the processing device 3. Further, the detection system SYS may not include the control device 32. The detection system SYS may be composed of only the detection device 1 or may include a device different from the detection device 1 and the control device 32.

上述の実施形態において、処理装置３は、例えばコンピュータシステムを含む。処理装置３は、記憶部１６に記憶されている検出プログラムを読み出し、この検出プログラムに従って各種の処理を実行する。この検出プログラムは、例えば、コンピュータに、ユーザの人体を検出した検出結果から得られる人体の姿勢データと、過去に取得されたユーザの教師データとを比較することと、姿勢データおよび比較に基づいて、姿勢データを用いて教師データを更新することと、を実行させる。この検出プログラムは、コンピュータ読み取り可能な記憶媒体に記録されて提供されてもよい。上記の検出プログラムは、例えばゲームなどのアプリケーションソフトを含んでもよい。例えば、上記の検出プログラムは、サーバなどに格納されており、コンピュータシステム（例、スマートフォン）にダウロードされることで提供されてもよい。また、処理装置３は、検出装置１の少なくとも一部（例、検出部２）と別に提供されてもよい。 In the above-described embodiment, the processing device 3 includes, for example, a computer system. The processing device 3 reads out the detection program stored in the storage unit 16 and executes various processes according to the detection program. This detection program compares, for example, the posture data of the human body obtained from the detection result of detecting the human body of the user with the teacher data of the user acquired in the past on a computer, and is based on the posture data and the comparison. , Update the teacher data using the posture data, and execute. The detection program may be recorded and provided on a computer-readable storage medium. The above detection program may include application software such as a game. For example, the above detection program may be stored in a server or the like and provided by being downloaded to a computer system (eg, a smartphone). Further, the processing device 3 may be provided separately from at least a part of the detection device 1 (eg, the detection unit 2).

なお、本発明の技術範囲は、上述の実施形態などで説明した態様に限定されるものではない。上述の実施形態などで説明した要件の１つ以上は、省略されることがある。また、上述の実施形態などで説明した要件は、適宜組み合わせることができる。また、法令で許容される限りにおいて、上述の実施形態などで引用した全ての文献の開示を援用して本文の記載の一部とする。 The technical scope of the present invention is not limited to the embodiments described in the above-described embodiments. One or more of the requirements described in the above embodiments and the like may be omitted. Further, the requirements described in the above-described embodiments and the like can be appropriately combined. In addition, to the extent permitted by law, the disclosure of all documents cited in the above-mentioned embodiments and the like shall be incorporated as part of the description in the main text.

１・・・検出装置、２・・・検出部、３・・・処理装置、４・・・表示部、５・・・入力部、１３・・・処理部、１４・・・比較部、１５・・・更新部、１６・・・記憶部、２１・・・選択部、２２・・・タイミング検出部、２４・・・報知部、２５・・・判定部、
３１・・・検出システム、ＦＤ・・・姿勢データ、ＨＭ・・・人体、ＴＤ・・・教師データ 1 ... Detection device, 2 ... Detection unit, 3 ... Processing device, 4 ... Display unit, 5 ... Input unit, 13 ... Processing unit, 14 ... Comparison unit, 15 ... update unit, 16 ... storage unit, 21 ... selection unit, 22 ... timing detection unit, 24 ... notification unit, 25 ... judgment unit,
31 ... Detection system, FD ... Posture data, HM ... Human body, TD ... Teacher data

Claims (22)

ユーザの人体を検出する検出部と、
前記検出部による検出結果から得られる前記ユーザの姿勢データと、過去に取得された前記ユーザの教師データとを比較する比較部と、
前記比較部による比較結果に基づいて、前記姿勢データを用いて前記教師データを更新する更新部と、を備え、
前記比較部は、前記教師データと前記姿勢データとの類似度を算出し、
前記更新部は、前記類似度に基づいて、前記教師データを更新する、検出装置。 A detector that detects the human body of the user and
A comparison unit that compares the posture data of the user obtained from the detection result by the detection unit with the teacher data of the user acquired in the past.
An update unit for updating the teacher data using the posture data based on the comparison result by the comparison unit is provided .
The comparison unit calculates the degree of similarity between the teacher data and the posture data.
The update unit is a detection device that updates the teacher data based on the similarity . ユーザの人体を検出する検出部と、A detector that detects the human body of the user and
前記検出部による検出結果から得られる前記ユーザの姿勢データと、過去に取得された前記ユーザの教師データとを比較する比較部と、A comparison unit that compares the posture data of the user obtained from the detection result by the detection unit with the teacher data of the user acquired in the past.
前記比較部による比較結果に基づいて、前記姿勢データを用いて前記教師データを更新する更新部と、を備え、An update unit for updating the teacher data using the posture data based on the comparison result by the comparison unit is provided.
前記比較部は、前記検出部により前記人体が繰り返し検出された検出結果から得られる複数の前記姿勢データのそれぞれと、前記教師データとを比較し、The comparison unit compares each of the plurality of posture data obtained from the detection result in which the human body is repeatedly detected by the detection unit with the teacher data.
前記更新部は、前記比較部による比較結果に基づいて、前記複数の姿勢データから選択される姿勢データを用いて前記教師データを更新する、検出装置。The updating unit is a detection device that updates the teacher data using posture data selected from the plurality of posture data based on the comparison result by the comparison unit. 前記複数の姿勢データから、前記教師データとの類似度が相対的に高い姿勢データを選択する選択部を備える、請求項２に記載の検出装置。The detection device according to claim 2, further comprising a selection unit for selecting posture data having a relatively high degree of similarity to the teacher data from the plurality of posture data. 前記選択部によって選択された前記姿勢データに基づいて、画像を表示する表示部を備える、請求項３に記載の検出装置。The detection device according to claim 3, further comprising a display unit that displays an image based on the posture data selected by the selection unit. ユーザの人体を検出する検出部と、A detector that detects the human body of the user and
前記検出部による検出結果から得られる前記ユーザの姿勢データと、過去に取得された前記ユーザの教師データとを比較して得られる比較結果に基づいて、前記姿勢データを用いて前記教師データを更新する更新部と、The teacher data is updated using the posture data based on the comparison result obtained by comparing the posture data of the user obtained from the detection result by the detection unit with the teacher data of the user acquired in the past. Update part and
前記比較結果に基づいて、前記教師データを更新するかを判定する判定部と、を備える検出装置。A detection device including a determination unit for determining whether to update the teacher data based on the comparison result. ユーザの人体を検出する検出部と、A detector that detects the human body of the user and
前記検出部による検出結果から得られる前記ユーザの姿勢データと、過去に取得された前記ユーザの教師データとを比較して得られる比較結果に基づいて、前記姿勢データを用いて前記教師データを更新する更新部と、The teacher data is updated using the posture data based on the comparison result obtained by comparing the posture data of the user obtained from the detection result by the detection unit with the teacher data of the user acquired in the past. Update part and
前記検出部による検出結果に基づいて、前記人体の呼吸のタイミングを検出するタイミング検出部と、を備える検出装置。A detection device including a timing detection unit that detects the timing of respiration of the human body based on the detection result by the detection unit. 前記タイミング検出部の検出結果に基づいて、前記人体の姿勢変化のタイミングを報知する報知部を備える、請求項６に記載の検出装置。The detection device according to claim 6, further comprising a notification unit for notifying the timing of a posture change of the human body based on the detection result of the timing detection unit. 前記人体の部位ごとの評価基準を予め定めた基準データを用いて、前記姿勢データと前記教師データとの類似度を算出する、請求項１から請求項７のいずれか一項に記載の検出装置。 The detection according to any one of claims 1 to 7, wherein the degree of similarity between the posture data and the teacher data is calculated by using the standard data in which the evaluation criteria for each part of the human body are predetermined. Device. 前記姿勢データを、第１の姿勢に対する前記教師データ、及び第２の姿勢に対する前記教師データのそれぞれと比較する、請求項１から請求項７のいずれか一項に記載の検出装置。 The detection device according to any one of claims 1 to 7 , wherein the posture data is compared with the teacher data for the first posture and the teacher data for the second posture. 複数の前記姿勢データに対してそれぞれ異なる前記教師データを用いて比較する、請求項１から請求項９のいずれか一項に記載の検出装置。 The detection device according to any one of claims 1 to 9 , wherein a plurality of posture data are compared using different teacher data. 前記比較結果に基づいて、画像を表示する表示部を備える、請求項１から請求項１０のいずれか一項に記載の検出装置。 The detection device according to any one of claims 1 to 10 , further comprising a display unit for displaying an image based on the comparison result. 前記ユーザが前記姿勢データに基づいて、前記教師データを更新するための入力部を備える、請求項１から請求項１１のいずれか一項に記載の検出装置。 The detection device according to any one of claims 1 to 11, further comprising an input unit for the user to update the teacher data based on the posture data. 前記教師データを記憶する記憶部を備え、
前記更新部は、前記記憶部に記憶された前記教師データを前記姿勢データで書き換える、請求項１から請求項１２のいずれか一項に記載の検出装置。 A storage unit for storing the teacher data is provided.
The detection device according to any one of claims 1 to 12, wherein the updating unit rewrites the teacher data stored in the storage unit with the posture data. 前記検出部による検出結果に基づいて、前記姿勢データを生成する処理部を備える、請求項１から請求項１３のいずれか一項に記載の検出装置。 The detection device according to any one of claims 1 to 13, further comprising a processing unit that generates the posture data based on the detection result by the detection unit. 前記人体の姿勢変化のタイミングを音声で報知する報知部を備える、請求項１から請求項１４のいずれか一項に記載の検出装置。 The detection device according to any one of claims 1 to 14, further comprising a notification unit for notifying the timing of the posture change of the human body by voice. 前記姿勢データは、前記ユーザのヨガに関する姿勢データを含む、請求項１から請求項１５のいずれか一項に記載の検出装置。 The detection device according to any one of claims 1 to 15 , wherein the posture data includes posture data relating to the user's yoga. 前記比較結果に基づいて、前記ユーザの姿勢データを用いて前記ユーザの教師データを生成する処理部を備える、請求項１から請求項１６のいずれか一項に記載の検出装置。 The detection device according to any one of claims 1 to 16, further comprising a processing unit that generates teacher data of the user using the posture data of the user based on the comparison result. 請求項１から請求項１７のいずれか一項に記載の検出装置を備える検出システム。 A detection system including the detection device according to any one of claims 1 to 17 . ユーザの人体を検出した検出結果から得られる前記ユーザの姿勢データと、過去に取得された前記ユーザの教師データとを比較する比較部と、
前記比較部による比較結果に基づいて、前記姿勢データを用いて前記教師データを更新する更新部と、を備え、
前記比較部は、前記人体が繰り返し検出された検出結果から得られる複数の前記姿勢データのそれぞれと、前記教師データとを比較し、
前記更新部は、前記比較部による比較結果に基づいて、前記複数の姿勢データから選択される姿勢データを用いて前記教師データを更新する、処理装置。 A comparison unit that compares the posture data of the user obtained from the detection result of detecting the human body of the user with the teacher data of the user acquired in the past.
An update unit for updating the teacher data using the posture data based on the comparison result by the comparison unit is provided .
The comparison unit compares each of the plurality of posture data obtained from the detection result in which the human body is repeatedly detected with the teacher data.
The updating unit is a processing device that updates the teacher data using posture data selected from the plurality of posture data based on the comparison result by the comparison unit. コンピュータに、
ユーザの人体を繰り返し検出した検出結果から得られる前記ユーザの複数の姿勢データのそれぞれと、過去に取得された前記ユーザの教師データとを比較させ、
前記比較の結果に基づいて、前記複数の姿勢データから選択される姿勢データを用いて前記教師データを更新させる、検出プログラム。 On the computer
Each of the plurality of posture data of the user obtained from the detection result of repeatedly detecting the human body of the user is compared with the teacher data of the user acquired in the past.
A detection program that updates the teacher data using posture data selected from the plurality of posture data based on the result of the comparison . コンピュータに、On the computer
ユーザの人体を検出した検出結果から得られる前記ユーザの姿勢データと、過去に取得された前記ユーザの教師データとの類似度を算出させ、The degree of similarity between the posture data of the user obtained from the detection result of detecting the human body of the user and the teacher data of the user acquired in the past is calculated.
前記類似度に基づいて、前記姿勢データを用いて前記教師データを更新させる、検出プログラム。A detection program that updates the teacher data using the posture data based on the similarity. コンピュータに、On the computer
ユーザの人体を検出した検出結果から得られる前記ユーザの姿勢データと、過去に取得された前記ユーザの教師データとを比較させ、The posture data of the user obtained from the detection result of detecting the human body of the user is compared with the teacher data of the user acquired in the past.
前記比較の結果に基づいて、前記姿勢データを用いて前記教師データを更新させ、Based on the result of the comparison, the teacher data is updated using the posture data.
前記人体を検出した検出結果から前記人体の呼吸のタイミングを検出させる、検出プログラム。A detection program that detects the timing of respiration of the human body from the detection result of detecting the human body.
JP2017143770A 2017-07-25 2017-07-25 Detection device, detection system, processing device and detection program Active JP7011416B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017143770A JP7011416B2 (en) 2017-07-25 2017-07-25 Detection device, detection system, processing device and detection program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017143770A JP7011416B2 (en) 2017-07-25 2017-07-25 Detection device, detection system, processing device and detection program

Publications (2)

Publication Number Publication Date
JP2019024550A JP2019024550A (en) 2019-02-21
JP7011416B2 true JP7011416B2 (en) 2022-01-26

Family

ID=65474888

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017143770A Active JP7011416B2 (en) 2017-07-25 2017-07-25 Detection device, detection system, processing device and detection program

Country Status (1)

Country Link
JP (1) JP7011416B2 (en)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7007330B2 (en) * 2019-06-03 2022-01-24 Kddi株式会社 Training evaluation equipment, methods and programs
JP7078577B2 (en) * 2019-06-04 2022-05-31 Kddi株式会社 Operational similarity evaluation device, method and program
JP6804781B1 (en) * 2019-08-03 2020-12-23 株式会社プラニス Information processing system, information processing method and computer program
CN110917604A (en) * 2019-11-14 2020-03-27 西安优信机电工程有限公司 Indoor yoga posture correction system
WO2021251222A1 (en) * 2020-06-08 2021-12-16 ソニーグループ株式会社 Learning device, presentation device, and technique acquisition method
WO2022075116A1 (en) * 2020-10-06 2022-04-14 国立研究開発法人産業技術総合研究所 Information display device and information display method
WO2022196059A1 (en) * 2021-03-19 2022-09-22 ソニーグループ株式会社 Information processing device, information processing method, and program
JP7201850B1 (en) * 2022-01-24 2023-01-10 三菱ケミカルグループ株式会社 Information processing apparatus, method, and program
WO2023162159A1 (en) * 2022-02-25 2023-08-31 日本電気株式会社 Motion generation device, motion generation system, motion generation method, and non-transitory computer readable medium

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002292130A (en) 2001-03-29 2002-10-08 Konami Co Ltd Battle type game device, and battle game advance controlling method
JP2008302053A (en) 2007-06-08 2008-12-18 Square Enix Holdings Co Ltd Teaching system, teaching device, program recording medium and teaching program
WO2012039467A1 (en) 2010-09-22 2012-03-29 パナソニック株式会社 Exercise assistance system
JP2014188146A (en) 2013-03-27 2014-10-06 Nippon Telegraph & Telephone East Corp Exercise posture evaluation device, exercise posture evaluation method, and computer program
JP2015012434A (en) 2013-06-28 2015-01-19 カシオ計算機株式会社 Form confirmation support device, method and program and form confirmation support system
JP2015057193A (en) 2014-12-22 2015-03-26 セイコーエプソン株式会社 Swing analysis device, swing analysis system, program, and swing analysis method
JP2016116613A (en) 2014-12-19 2016-06-30 セイコーエプソン株式会社 Motion analysis device, motion analysis system, motion analysis method, and program
WO2017209260A1 (en) 2016-06-01 2017-12-07 ヤマハ株式会社 Audio training device and audio training method

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002292130A (en) 2001-03-29 2002-10-08 Konami Co Ltd Battle type game device, and battle game advance controlling method
JP2008302053A (en) 2007-06-08 2008-12-18 Square Enix Holdings Co Ltd Teaching system, teaching device, program recording medium and teaching program
WO2012039467A1 (en) 2010-09-22 2012-03-29 パナソニック株式会社 Exercise assistance system
JP2014188146A (en) 2013-03-27 2014-10-06 Nippon Telegraph & Telephone East Corp Exercise posture evaluation device, exercise posture evaluation method, and computer program
JP2015012434A (en) 2013-06-28 2015-01-19 カシオ計算機株式会社 Form confirmation support device, method and program and form confirmation support system
JP2016116613A (en) 2014-12-19 2016-06-30 セイコーエプソン株式会社 Motion analysis device, motion analysis system, motion analysis method, and program
JP2015057193A (en) 2014-12-22 2015-03-26 セイコーエプソン株式会社 Swing analysis device, swing analysis system, program, and swing analysis method
WO2017209260A1 (en) 2016-06-01 2017-12-07 ヤマハ株式会社 Audio training device and audio training method

Also Published As

Publication number Publication date
JP2019024550A (en) 2019-02-21

Similar Documents

Publication Publication Date Title
JP7011416B2 (en) Detection device, detection system, processing device and detection program
CN111263953B (en) Action state evaluation system, device, server, method and storage medium thereof
US9737239B2 (en) Systems and methods for tracking body surfaces of individuals
US20200193866A1 (en) Non-transitory computer readable recording medium, practice assist method, and practice assist system
US20160071322A1 (en) Image processing apparatus, image processing system and storage medium
US9218781B2 (en) Information processing apparatus, display control method, and program
US10360444B2 (en) Image processing apparatus, method and storage medium
JP5791812B2 (en) Clothes image processing device, clothes image display method, and program
JP5039808B2 (en) GAME DEVICE, GAME DEVICE CONTROL METHOD, AND PROGRAM
EP3459061A1 (en) Multi -joint tracking combining embedded sensors and an external
CN107004279A (en) Natural user interface camera calibrated
JP5320332B2 (en) GAME DEVICE, GAME DEVICE CONTROL METHOD, AND PROGRAM
CN107617201B (en) Method for automatically configuring sensor, electronic device, and recording medium
CN105228709A (en) For the signal analysis of duplicate detection and analysis
WO2020203656A1 (en) Information processing device, information processing method, and program
JP7126812B2 (en) Detection device, detection system, image processing device, detection method, image processing program, image display method, and image display system
CN105209136A (en) Center of mass state vector for analyzing user motion in 3D images
KR20180103280A (en) An exercise guidance system for the elderly that performs posture recognition based on distance similarity between joints
KR20220028654A (en) Apparatus and method for providing taekwondo movement coaching service using mirror dispaly
CN109815776A (en) Action prompt method and apparatus, storage medium and electronic device
WO2011007545A1 (en) Training machine and computer-readable medium
KR20090084035A (en) A real time motion recognizing method
CN111199583B (en) Virtual content display method and device, terminal equipment and storage medium
US20220165012A1 (en) Personalized avatar for movement analysis and coaching
KR20210128943A (en) Apparatus and method for comparing and correcting sports posture using neural network

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200612

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210427

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210525

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210726

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211221

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220114

R150 Certificate of patent or registration of utility model

Ref document number: 7011416

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150