JP6803111B2 - Information processing equipment, information processing methods, programs - Google Patents
Information processing equipment, information processing methods, programs Download PDFInfo
- Publication number
- JP6803111B2 JP6803111B2 JP2015213490A JP2015213490A JP6803111B2 JP 6803111 B2 JP6803111 B2 JP 6803111B2 JP 2015213490 A JP2015213490 A JP 2015213490A JP 2015213490 A JP2015213490 A JP 2015213490A JP 6803111 B2 JP6803111 B2 JP 6803111B2
- Authority
- JP
- Japan
- Prior art keywords
- subject
- information
- skeleton information
- information processing
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Processing Or Creating Images (AREA)
Description
本発明は、情報処理装置、情報処理方法、プログラムに関する。 The present invention relates to an information processing device, an information processing method, and a program.
近年、人物や物体の動きをデジタル的に記録するモーションキャプチャ技術を用いて、介護やリハビリテーションにおける効果測定が行われている。 In recent years, effect measurement in long-term care and rehabilitation has been performed using motion capture technology that digitally records the movement of a person or an object.
モーションキャプチャ技術の方式の一つとして、被験者にマーカを付けて複数方位からカメラにより撮影することで、マーカを検出し、被験者の動きをデジタルデータに変換し記録する方式がある。また、マーカを使わずに、赤外線センサーを利用してセンサーから被験者までの距離を測定し、測定された値をもとに、被験者の動きを記録する方式がある。 As one of the motion capture technology methods, there is a method in which a marker is attached to a subject and photographed by a camera from a plurality of directions to detect the marker, and the movement of the subject is converted into digital data and recorded. In addition, there is a method in which the distance from the sensor to the subject is measured by using an infrared sensor without using a marker, and the movement of the subject is recorded based on the measured value.
特許文献１には、リハビリテーションの現場においてモーションキャプチャ技術を用いた仕組みについて開示されている。 Patent Document 1 discloses a mechanism using motion capture technology in the field of rehabilitation.
特許文献１には、モーションキャプチャ技術により取得された被験者の各関節の座標情報から骨格情報を生成し、骨格情報を画面に表示することで、被験者の動作を表示する仕組みが記載されている。
特許文献１に記載された仕組みにおいて、過去の自分の動作や、他人の動作と比較したい場合には、それぞれの画像や動画をひとつひとつ確認するのでは、違いを詳細に把握することが困難である。
そこで、本発明は、他の画像や動画と比較する際に、比較対象との違いを把握しやすくする仕組みを提供することを目的とする。
Patent Document 1 describes a mechanism for displaying the motion of a subject by generating skeleton information from the coordinate information of each joint of the subject acquired by the motion capture technique and displaying the skeleton information on the screen.
In the mechanism described in Patent Document 1, when you want to compare your own movements in the past or the movements of others, it is difficult to grasp the difference in detail by checking each image or video one by one. ..
Therefore, an object of the present invention is to provide a mechanism that makes it easy to grasp the difference from the comparison target when comparing with other images or moving images.
本発明の情報処理装置は、被験者の関節の座標情報を取得する座標取得手段と、前記座標取得手段により取得された座標情報に基づき、被験者の骨格情報を生成する骨格情報生成手段と、前記被験者の骨格情報と、比較対象となる骨格情報とを並べて表示する表示手段と、前記被験者の骨格情報または比較対象となる骨格情報の左右を反転させて表示する指示を受け付ける反転指示受付手段と、を備え、前記表示手段は、前記反転指示受付手段により左右を反転させて表示する指示を受け付けた骨格情報の左右を反転させて表示することを特徴とする。
また、本発明の情報処理装置は、情報処理装置の座標取得手段が、被験者の関節の座標情報を取得する座標取得工程と、前記情報処理装置の骨格情報生成手段が、前記座標取得工程により取得された座標情報に基づき、被験者の骨格情報を生成する骨格情報生成工程と、前記情報処理装置の表示手段が、前記被験者の骨格情報と、比較対象となる骨格情報とを並べて表示する表示工程と、前記情報処理装置の反転指示受付手段が、前記被験者の骨格情報または比較対象となる骨格情報の左右を反転させて表示する指示を受け付ける反転指示受付工程と、を備え、前記表示工程は、前記反転指示受付工程により左右を反転させて表示する指示を受け付けた骨格情報の左右を反転させて表示することを特徴とする。
また、本発明のプログラムは、情報処理装置において実行されるプログラムであって、前記情報処理装置を、被験者の関節の座標情報を取得する座標取得手段と、前記座標取得手段により取得された座標情報に基づき、被験者の骨格情報を生成する骨格情報生成手段と、前記被験者の骨格情報と、比較対象となる骨格情報とを並べて表示する表示手段と、前記被験者の骨格情報または比較対象となる骨格情報の左右を反転させて表示する指示を受け付ける反転指示受付手段として機能させ、前記表示手段を、前記反転指示受付手段により左右を反転させて表示する指示を受け付けた骨格情報の左右を反転させて表示する手段として機能させることを特徴とする。
The information processing apparatus of the present invention includes a coordinate acquisition means for acquiring coordinate information of a subject's joint, a skeleton information generation means for generating skeleton information of a subject based on the coordinate information acquired by the coordinate acquisition means, and the subject. A display means for displaying the skeleton information of the subject and the skeleton information to be compared side by side, and a reverse instruction receiving means for receiving an instruction to display the skeleton information of the subject or the skeleton information to be compared by inverting the left and right sides. The display means is characterized in that the skeleton information that has received an instruction to be displayed by inverting the left and right by the inversion instruction receiving means is inverted and displayed.
Further, in the information processing apparatus of the present invention, the coordinate acquisition means of the information processing apparatus acquires the coordinate information of the joints of the subject by the coordinate acquisition step, and the skeleton information generation means of the information processing apparatus acquires the coordinate information by the coordinate acquisition step. A skeleton information generation step of generating skeleton information of a subject based on the obtained coordinate information, and a display step in which the display means of the information processing device displays the skeleton information of the subject and the skeleton information to be compared side by side. The reversing instruction receiving means of the information processing apparatus includes a reversing instruction receiving step of receiving an instruction to invert and display the skeleton information of the subject or the skeleton information to be compared. It is characterized in that the skeleton information that has received the instruction to be displayed by inverting the left and right is displayed by inverting the left and right by the inversion instruction receiving process.
Further, the program of the present invention is a program executed in the information processing device, and the information processing device is used with a coordinate acquisition means for acquiring coordinate information of a subject's joint and a coordinate information acquired by the coordinate acquisition means. A skeleton information generating means that generates skeleton information of a subject, a display means that displays the skeleton information of the subject and a skeleton information to be compared side by side, and a skeleton information of the subject or a skeleton information to be compared. The display means is displayed by inverting the left and right sides of the skeleton information that has received the instruction to be displayed by inverting the left and right sides of the display means. It is characterized in that it functions as a means of processing.
本発明によれば、他の画像や動画と比較する際に、比較対象との違いを把握しやすくすることが可能となる。 According to the present invention, when comparing with other images or moving images, it is possible to easily grasp the difference from the comparison target.
以下、図面を参照して、本発明の実施形態を詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
図１は、情報処理装置１０１の機能構成を示した図である。
FIG. 1 is a diagram showing a functional configuration of the
モーション情報取得部１５１は、介護やリハビリが行われる空間における人物（本発明においては、被験者（介護やリハビリを受ける者））の動きを検知し、被験者のモーション情報を取得する。
The motion
具体的には、モーション情報取得部１５１は、Ｋｉｎｅｃｔ（登録商標）として知られるセンサー群であり、ＲＧＢカメラ、深度センサー、音声センサーなどが内蔵され、被写体（本発明においては、被験者（介護やリハビリを受ける者））の位置、動き、声、顔などを認識することができる。
Specifically, the motion
深度センサーは、赤外線を利用して被験者までの距離を測定する方式を用いるものとする。この方式によれば、被験者にマーカ等を付けることなくセンサーから被験者までの距離を測定することが可能である。 The depth sensor shall use a method of measuring the distance to the subject using infrared rays. According to this method, it is possible to measure the distance from the sensor to the subject without attaching a marker or the like to the subject.
モーション情報取得部１５１で取得された各データは、動画データとして記憶部に記憶される。
Each data acquired by the motion
モーション情報取得部１５１の各センサーにより取得されたモーション情報は、モーション情報解析部１５２に送信され、データ解析が行われる。
The motion information acquired by each sensor of the motion
モーション情報解析部１５２では、モーション情報取得部１５１により取得された各データを解析し、被験者の動作を座標情報に変換する。
The motion
図８はモーション情報取得部１５１により取得された被験者の様子を示している。モーション情報取得部１５１は、被験者の動きを検知し、予め記憶された人体パターンとマッチングすることで、被験者の人体表面の座標を得る。そして、当該被験者の骨格を形成する各関節の座標を算出し、算出された座標情報に基づき、被験者の骨格情報を生成する。
FIG. 8 shows the state of the subject acquired by the motion
各関節の座標情報の一例を図７に示す。また、各関節の座標情報から形成された被験者の骨格情報の一例を図９に示す。 An example of the coordinate information of each joint is shown in FIG. Further, FIG. 9 shows an example of the skeleton information of the subject formed from the coordinate information of each joint.
このようにして各関節の座標情報を算出し、各関節の座標の変化を検出することで、被験者が足を上げたり、膝を曲げたりする動作を認識することが可能となる。 By calculating the coordinate information of each joint in this way and detecting the change in the coordinates of each joint, it becomes possible for the subject to recognize the movement of raising the leg or bending the knee.
測定部１５３は、モーション情報解析部１５２により解析されたモーション情報と、各種目に応じた設定に基づき、当該種目における測定を行う。
The
図２は、本発明の実施形態に係わる情報処理装置１０１のハードウェア構成の一例を示すブロック図である。
FIG. 2 is a block diagram showing an example of the hardware configuration of the
図２に示すように、情報処理装置１０１では、システムバス２００を介してＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３、記憶装置２０４、入力コントローラ２０５、音声入力コントローラ２０６、ビデオコントローラ２０７、メモリコントローラ２０８、よび通信Ｉ／Ｆコントローラ２０９が接続される。
As shown in FIG. 2, in the
ＣＰＵ２０１は、システムバス２００に接続される各デバイスやコントローラを統括的に制御する。
The
ＲＯＭ２０２あるいは記憶装置２０４は、ＣＰＵ２０１が実行する制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や、本情報処理方法を実現するためのコンピュータ読み取り実行可能なプログラムおよび必要な各種データ（データテーブルを含む）を保持している。
The
ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０２あるいは記憶装置２０４からＲＡＭ２０３にロードし、ロードしたプログラムを実行することで各種動作を実現する。
The
入力コントローラ２０５は、キーボード／タッチパネル２１０などの入力装置からの入力を制御する。入力装置はこれに限ったものでなく、マウスやマルチタッチスクリーンなどの、複数の指でタッチされた位置を検出することが可能なタッチパネルであってもよい。
The
ユーザがタッチパネルに表示されたアイコンやカーソルやボタンに合わせて押下（指等でタッチ）することにより、各種の指示を行うことができる。 Various instructions can be given by the user pressing (touching with a finger or the like) according to the icon, cursor, or button displayed on the touch panel.
この入力装置を用いて各種通信装置で利用可能な通信宛先に対する宛先を入力するようになっている。 This input device is used to input a destination for a communication destination that can be used by various communication devices.
音声入力コントローラ２０６は、マイク２１１からの入力を制御する。マイク２１１から入力された音声を音声認識することが可能となっている。
The
ビデオコントローラ２０７は、ディスプレイ２１２などの外部出力装置への表示を制御する。ディスプレイは本体と一体になったノート型パソコンのディスプレイも含まれるものとする。なお、外部出力装置はディスプレイに限ったものははく、例えばプロジェクタであってもよい。また、前述のタッチ操作により受け付け可能な装置については、キーボード／タッチパネル２１０からの入力を受け付けることも可能となる。
The
なおビデオコントローラ２０７は、表示制御を行うためのビデオメモリ（ＶＲＡＭ）を制御することが可能で、ビデオメモリ領域としてＲＡＭ２０３の一部を利用することもできるし、別途専用のビデオメモリを設けることも可能である。
The
本発明では、ユーザが情報処理装置を通常する場合の表示に用いられる第１のビデオメモリ領域と、所定の画面が表示される場合に、第１のビデオメモリ領域の表示内容に重ねての表示に用いられる第２のビデオメモリ領域を有している。ビデオメモリ領域は２つに限ったものではなく、情報処理装置の資源が許す限り複数有することが可能なものとする。 In the present invention, a first video memory area used for display when a user normally uses an information processing device and a display content superimposed on the display contents of the first video memory area when a predetermined screen is displayed. It has a second video memory area used for. The video memory area is not limited to two, and it is possible to have a plurality of video memory areas as long as the resources of the information processing device allow.
メモリコントローラ２０８は、外部メモリ２１３へのアクセスを制御する。外部メモリとしては、ブートプログラム、各種アプリケーション、フォントデータ、ユーザファイル、編集ファイル、および各種データ等を記憶する外部記憶装置（ハードディスク）、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等を利用可能である。
The
通信Ｉ／Ｆコントローラ２０９、ネットワーク２１４を介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信やＩＳＤＮなどの電話回線、および携帯電話の３Ｇ回線を用いた通信が可能である。
It connects and communicates with an external device via the communication I /
なお、記憶装置２０４は情報を永続的に記憶するための媒体であって、その形態をハードディスク等の記憶装置に限定するものではない。例えば、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などの媒体であってもよい。
The
また本実施形態における通信端末で行われる各種処理時の一時的なメモリエリアとしても利用可能である。 It can also be used as a temporary memory area during various processes performed by the communication terminal in this embodiment.
次に図３に示すフローチャートを用いて、被験者を撮影しながら測定を行う処理について説明する。なお、図３のフローチャートで示す処理は、情報処理装置１０１のＣＰＵ２０１が所定のプログラムを読み出して実行する処理である。
Next, a process of performing measurement while photographing a subject will be described with reference to the flowchart shown in FIG. The process shown in the flowchart of FIG. 3 is a process in which the
ステップＳ３０１では、ユーザから被験者の選択と種目の選択を受け付ける。 In step S301, the user accepts the selection of the subject and the selection of the event.
被験者情報は、図６に示す被験者リストに登録されているものとする。また、種目としては、眼を開けて片足で立っていられた時間を計測する「開眼片足立ち」、制限時間内に立ち座り動作を何回行えたかを計測する「椅子立ち座り」、最大歩幅を計測する「最大一歩」、５ｍの距離の歩行にかかる時間を計測する「通常歩行」、椅子から立ち上がり３ｍの距離を往復して椅子に座るまでの時間を計測する「ＴＵＧ（ＴｉｍｅｄＵｐ＆Ｇｏ）」などがある。 It is assumed that the subject information is registered in the subject list shown in FIG. In addition, as events, "standing on one leg with eyes open" that measures the time spent standing on one leg with the eyes open, "standing on a chair" that measures how many times the standing and sitting movements were performed within the time limit, and the maximum stride length "Maximum step" to measure, "normal walking" to measure the time required to walk a distance of 5 m, "TUG (TimedUp & Go)" to measure the time to go back and forth from a chair to a distance of 3 m and sit on a chair, etc. is there.
種目の選択を受け付けることで、当該種目の測定に必要な設定ファイルやプログラムを読み込む。 By accepting the selection of the item, the setting file and program required for the measurement of the item are read.
被験者情報については、既に登録されている情報から選択するだけでなく、新規で登録しても良い。 The subject information may be newly registered as well as selected from the already registered information.
ステップＳ３０２では、ユーザから撮影指示を受け付ける。撮影指示を受け付けると、情報処理装置１０１のモーション情報取得部１５１は、被験者の撮影を開始する。すなわち、被験者を含む画像を取得する。また、各センサーにより得られた情報（被験者の各関節の座標情報など）であるモーション情報の取得を行う。
In step S302, a shooting instruction is received from the user. Upon receiving the shooting instruction, the motion
ステップＳ３０３では、撮影された映像に複数の人物がいる場合に、いずれの人物が被験者であるかの選択を受け付ける。 In step S303, when there are a plurality of people in the captured image, the selection of which person is the subject is accepted.
以下、図１０を用いて、ステップＳ３０３の処理の詳細について説明する。 Hereinafter, the details of the process of step S303 will be described with reference to FIG.
図１０は、ステップＳ３０３において、情報処理装置１０１が、いずれの人物が被験者であるかの選択をユーザから受け付ける画面であり、図１０の画面は、情報処理装置１０１のディスプレイ２１２に表示される。
FIG. 10 is a screen in which the
図１０の１００３には、情報処理装置１０１のモーション情報取得部１５１が取得した動画が表示される。
In 1003 of FIG. 10, a moving image acquired by the motion
図１０の１００１にはモーション情報取得部１５１により取得された人物（被験者または介助者）の様子を、各関節の座標情報により特定される骨格情報と共に表示する。
In 1001 of FIG. 10, the state of the person (subject or caregiver) acquired by the motion
まず、人物切替ボタン１００５がユーザによるマウスポインタ１００４の操作により押下されると、モーション情報取得部１５１で取得された情報に基づき、被験者の骨格情報を１００１に表示する。
First, when the
次に、ユーザによるマウスポインタ１００４の操作により、図１０の１００１に表示される人物のうち、被験者の指定を行う。
Next, the subject is designated among the persons displayed in 1001 of FIG. 10 by the operation of the
そして、マウスポインタ１００４により選択した人物が誰であるかを、ドロップダウンリスト１００２の中からユーザによるマウスポインタ１００４により選択する。
Then, who is the person selected by the
ドロップダウンリスト１００２には、予め情報処理装置１０１が管理する被験者リスト（図６）に含まれる被験者の名前が表示される。
In the drop-
ステップＳ３０４では、ステップＳ３０２において取得されたモーション情報から被験者の各関節の座標情報を取得する。再生動画を用いる場合は、再生対象の動画データに含まれるモーション情報を用いて、被験者の各関節の座標情報を取得する。また、座標情報に基づき、被験者の骨格情報を生成する。
各関節の座標情報の一例を図７に示す。
In step S304, the coordinate information of each joint of the subject is acquired from the motion information acquired in step S302. When using the reproduced moving image, the coordinate information of each joint of the subject is acquired by using the motion information included in the moving image data to be reproduced. In addition, the skeleton information of the subject is generated based on the coordinate information.
An example of the coordinate information of each joint is shown in FIG.
ステップＳ３０５では、ステップＳ３０３で取得した映像と、ステップＳ３０４で取得した各関節の座標情報に基づき得られた骨格情報とを合成して、ディスプレイ２１２に表示する。
In step S305, the image acquired in step S303 and the skeleton information obtained based on the coordinate information of each joint acquired in step S304 are combined and displayed on the
図２１にモーション情報取得部１５１において撮影し取得された映像と、骨格情報を合成した画面の一例を示す。
FIG. 21 shows an example of a screen in which the image captured and acquired by the motion
図２１の２１０１には、映像と骨格情報が合成された状態で表示される。また、２１０２には被験者を上から見た場合の骨格情報が表示され、２１０３には被験者を横から見た場合の骨格情報が表示される。 In 2101 of FIG. 21, the image and the skeleton information are displayed in a combined state. Further, the 2102 displays the skeleton information when the subject is viewed from above, and the 2103 displays the skeleton information when the subject is viewed from the side.
２１０２、２１０３の領域に表示される骨格情報は、モーション情報取得部１５１において取得された各関節の座標情報に基づき算出され生成される。
The skeleton information displayed in the areas of 2102 and 2103 is calculated and generated based on the coordinate information of each joint acquired by the motion
２１０２や２１０３の表示領域の面積は、骨格情報が表示可能な面積に調整されるものとする。例えば、図２１に示す画面は、調整されていない場合の画面である。この場合、２１０３に表示される骨格情報はほとんど移動しないにも関らず、骨格情報の周囲に大きな余白が生じている。 The area of the display area of 2102 or 2103 shall be adjusted to the area where the skeleton information can be displayed. For example, the screen shown in FIG. 21 is a screen when not adjusted. In this case, although the skeleton information displayed in 2103 hardly moves, a large margin is generated around the skeleton information.
図２２はサイズの調整が行われた場合の画面の一例である。骨格情報が収まるように調整され、余白部分が縮小している。 FIG. 22 is an example of a screen when the size is adjusted. The skeleton information has been adjusted to fit, and the margins have been reduced.
このように無駄な余白を表示しないよう制御することで、３つの骨格情報を近くに集めることが可能となるため、より観察しやすくなっている。 By controlling so as not to display unnecessary margins in this way, it is possible to collect three skeleton information nearby, which makes it easier to observe.
表示範囲の決定方法については、例えば骨格情報が収まる矩形を特定し、当該矩形から所定の幅を余白として表示する方法が考えられる。 As a method of determining the display range, for example, a method of specifying a rectangle in which the skeleton information is accommodated and displaying a predetermined width from the rectangle as a margin can be considered.
ステップＳ３０６では、ステップＳ３０４で解析された骨格情報を用いて、ステップＳ３０１で選択された種目に応じた測定を行う。 In step S306, the skeleton information analyzed in step S304 is used to perform measurement according to the event selected in step S301.
具体的な処理の内容は、図１１、図１３、図２９を用いて説明する。 The specific contents of the processing will be described with reference to FIGS. 11, 13, and 29.
次に、図１１を用いて、本発明において、ステップＳ３０１でユーザから「通常歩行」の種目の選択を受け付けた場合に、情報処理装置１０１のＣＰＵ２０１が実行する処理について説明する。
Next, with reference to FIG. 11, the process executed by the
なお、図１１の処理において、情報処理装置１０１のディスプレイ２１２に表示される画面は、例えば、図１２である。
ここで、図１２について説明する。
In the process of FIG. 11, the screen displayed on the
Here, FIG. 12 will be described.
図１２の計測開始（終了）座標１２０１は、予め設定された通常歩行の計測を開始または終了する（ｘ、ｙ、ｚ）座標を示し、被験者のつま先のｘ座標と、計測開始（終了）座標１２０１のｘ座標が１回目重なったタイミングで、秒数のカウントを開始し、計測開始（終了）座標１２０１のｘ座標が２回目重なったタイミングで、秒数のカウントを終了する。 The measurement start (end) coordinates 1201 in FIG. 12 indicate the (x, y, z) coordinates for starting or ending the preset normal walking measurement, and the x coordinates of the subject's toes and the measurement start (end) coordinates. The counting of seconds is started at the timing when the x-coordinate of 1201 overlaps for the first time, and the counting of seconds is ended at the timing when the x-coordinate of the measurement start (end) coordinate 1201 overlaps for the second time.
例えば、被験者が図１２の画面左から歩いてきた場合には、図１２の画面左側の計測開始（終了）座標１２０１のｘ座標と被験者のつま先のｘ座標が重なった時点で秒数のカウントを開始し、図１２の画面右側の計測開始（終了）座標１２０１のｘ座標と被験者のつま先のｘ座標が重なった時点で秒数のカウントを終了する。 For example, when the subject walks from the left side of the screen of FIG. 12, the number of seconds is counted when the x-coordinate of the measurement start (end) coordinate 1201 on the left side of the screen of FIG. 12 and the x-coordinate of the subject's toe overlap. It starts, and when the x-coordinate of the measurement start (end) coordinate 1201 on the right side of the screen of FIG. 12 and the x-coordinate of the subject's toe overlap, the counting of seconds ends.
モーション情報取得部１５１の特性上、撮影範囲の左右両端から所定の距離は、関節の座標の特定精度が低いため、計測開始（終了）座標１２０１は、図１２の画面左右両端よりも少し距離を開けた位置（座標）に設定される。
Due to the characteristics of the motion
図１２の１２０２は、タイムラインを示し、タイムライン１２０２は、録画した撮影データを評価する場合に表示される。
1202 in FIG. 12 shows a timeline, and the
図１２の１２０３は、評価時間指定部であり、録画した撮影データを評価する場合に、計測開始（終了）座標１２０１間とは異なる区間で、被験者の動作を評価したい場合に、評価する時間を、評価時間指定部１２０３をユーザによるマウス等の操作により動かすことで指定できる。
図１１の説明に戻る。
1203 of FIG. 12 is an evaluation time designation unit, and when evaluating the recorded shooting data, when it is desired to evaluate the movement of the subject in a section different from the measurement start (end) coordinates 1201, the evaluation time is set. , The evaluation
Returning to the description of FIG.
ステップＳ１１０１において、情報処理装置１０１は、現在処理対象となっているフレームの画像から被験者のつま先の座標を特定する。
In step S1101, the
ステップＳ１１０２において、情報処理装置１０１は、ステップＳ１１０１で現在処理対象となっているフレームの画像から被験者のつま先の座標が特定できたか否かを判定し、特定できたのであれば、ステップＳ１１０３に処理を移行し、特定できなければ本処理を終了する。
In step S1102, the
ステップＳ１１０２の処理を実行する理由について説明する。モーション情報取得部１５１は被験者がモーション情報取得部１５１に対して正面を向いていることを前提として被験者の各関節の位置座標を特定する。そのため、通常歩行のように被験者がモーション情報取得部１５１に対して横方向を向いている場合には、図３のステップＳ３０４、ステップＳ３０５によって、被験者の各関節の座標情報を取得することが困難である。各関節の座標情報を取得できた場合でなければステップＳ１１０３以降の処理を実行することができないため、ステップＳ１１０２の処理により、ステップＳ１１０３以降の処理が実行できるかを判定している。
The reason for executing the process of step S1102 will be described. The motion
ステップＳ１１０３において、情報処理装置１０１は、ステップＳ１１０１で特定した被験者のつま先の座標が、予め設定された２つの計測開始（終了）座標１２０１の間ではなく、外側の座標であるかを判定する。
In step S1103, the
ステップＳ１１０１で特定した被験者のつま先の座標が、予め設定された２つの計測開始（終了）座標１２０１の外側の座標である場合に、情報処理装置１０１は本処理を終了し、ステップＳ１１０１で特定した被験者のつま先の座標が、予め設定された２つの計測開始（終了）座標１２０１の外側以外の座標である場合に、情報処理装置１０１は、ステップＳ１１０４に処理を移行する。
When the coordinates of the toes of the subject specified in step S1101 are the coordinates outside the two preset measurement start (end) coordinates 1201, the
ステップＳ１１０４において、情報処理装置１０１は、ステップＳ１１０１で特定した被験者のつま先の座標が、予め設定された２つの計測開始（終了）座標１２０１のいずれかの座標上であるかを判定する。
In step S1104, the
ステップＳ１１０１で特定した被験者のつま先の座標が、予め設定された２つの計測開始（終了）座標１２０１のいずれかの座標上である場合に、情報処理装置１０１は、ステップＳ１１０５に処理を移行し、ステップＳ１１０１で特定した被験者のつま先の座標が、予め設定された２つの計測開始（終了）座標１２０１のいずれかの座標上でない場合に、情報処理装置１０１は、ステップＳ１１０１で特定した被験者のつま先の座標が、予め設定された２つの計測開始（終了）座標１２０１の間であると判断し、ステップＳ１１０９に処理を移行する。
When the coordinates of the toes of the subject identified in step S1101 are on any of the two preset measurement start (end) coordinates 1201, the
ステップＳ１１０５において、情報処理装置１０１は、ステップＳ１１０４で予め設定された２つの計測開始（終了）座標１２０１のいずれかの座標上であると判定したのが１回目であるか否かを判定する。
In step S1105, the
ステップＳ１１０４で予め設定された２つの計測開始（終了）座標１２０１のいずれかの座標上であると判定したのが１回目であると判定した場合に、情報処理装置１０１は、ステップＳ１１０６に処理を移行し、ステップＳ１１０４で予め設定された２つの計測開始（終了）座標１２０１のいずれかの座標上であると判定したのが１回目でない（つまり２回目）と判定した場合に、情報処理装置１０１は、ステップＳ１１０７に処理を移行する。
When it is determined that it is the first time that it is determined that it is on one of the two measurement start (end) coordinates 1201 set in advance in step S1104, the
ステップＳ１１０６において、情報処理装置１０１は、秒数のカウントを実行し、本処理を終了する。
In step S1106, the
ステップＳ１１０７において、情報処理装置１０１は、ステップＳ１１０６で実行した秒数のカウントを終了する。そして、ステップＳ１１０８で、被験者の動作の評価を実行し、測定結果管理テーブル（図１９）に記憶する。
In step S1107, the
ステップＳ１１０８の処理をより具体的に説明すると、情報処理装置１０１は、まず、歩行距離を、計測開始点（Ｘ１，Ｙ１，Ｚ１）、計測終了点（Ｘ２，Ｙ２，Ｚ２）間のＸ方向の距離である、Ｘ１−Ｘ２の絶対値（単位はメートル）により求める。
To explain the process of step S1108 more specifically, the
ここでいう計測開始点とは、被験者が図１２の画面左から歩いてきた場合には、図１２の画面左側の計測開始（終了）座標１２０１（右から歩いてきた場合には、右側の計測開始（終了）座標１２０１）、もしくは、ステップＳ１１０９でＮｏと判断したときのフレームの画像に含まれる、被験者のつま先の座標である。 The measurement start point referred to here is the measurement start (end) coordinate 1201 on the left side of the screen of FIG. 12 when the subject walks from the left side of the screen of FIG. It is the coordinates of the toes of the subject included in the image of the frame when the start (end) coordinates 1201) or No is determined in step S1109.
また、ここでいう計測終了点とは、被験者が図１２の画面左から歩いてきた場合には、図１２の画面右側の計測開始（終了）座標１２０１（右から歩いてきた場合には、左側の計測開始（終了）座標１２０１）である。 Further, the measurement end point referred to here is the measurement start (end) coordinate 1201 on the right side of the screen of FIG. 12 when the subject walks from the left side of the screen of FIG. 12 (the left side when walking from the right side). Measurement start (end) coordinates 1201).
なお、本実施例では、被験者が真っ直ぐ歩けずに斜め（図１２の画面手前もしくは奥側）にずれていってしまうことも考えられるため、基本的には被験者が真横に歩いたとして歩行距離を計算している。 In this embodiment, it is possible that the subject cannot walk straight and shifts diagonally (front or back of the screen in FIG. 12). Therefore, basically, the walking distance is calculated assuming that the subject walks sideways. I'm calculating.
ただ、他の実施例として、斜め（図１２の画面手前もしくは奥側）にずれていってしまった場合を考慮する場合、計測開始点（Ｘ１，Ｙ１，Ｚ１）、計測終了点（Ｘ２，Ｙ２，Ｚ２）間のｘ座標とｚ座標により、歩行距離を計算してもよい。 However, as another embodiment, when considering the case where the distance is obliquely (front or back of the screen in FIG. 12), the measurement start point (X1, Y1, Z1) and the measurement end point (X2, Y2) , Z2) The walking distance may be calculated from the x-coordinate and the z-coordinate.
次に、情報処理装置１０１は、被験者の歩行速度を、先に求めた歩行距離をステップＳ１１０７でカウントを終了するまでにかかった時間によって割ることで求める。
Next, the
そして、最後に、情報処理装置１０１は、先に求めた歩行速度で５ｍ歩いたときに要する時間を算出し、その時間が予め設定されている時間よりも長いか短いかにより、正しい通常歩行が行われたかを判定する。５ｍという数字は、被験者の通常歩行の動作を判定するのに必要な距離である。
Finally, the
上述したような計算を行うことにより、例えば、被験者が５ｍ歩けないような狭い部屋であっても、通常歩行の動作を正しく行ったかを判定することが可能となる。 By performing the calculation as described above, for example, it is possible to determine whether or not the normal walking motion is correctly performed even in a small room where the subject cannot walk 5 m.
ステップＳ１１０９において、情報処理装置１０１は、ステップＳ１１０１で特定した被験者のつま先の座標が、予め設定された２つの計測開始（終了）座標１２０１のいずれかの座標上であると判定されることで秒数のカウントを開始した後であるか否かを判定する。
In step S1109, the
秒数のカウントを開始した後であると判定した場合には、情報処理装置１０１は、本処理を終了し、秒数のカウントを開始する前であると判定した場合には、ステップＳ１１０６に処理を移行する。
If it is determined that the number of seconds has been counted, the
ステップＳ１１０９でＮｏと判定される場合とは、例えば、現在処理を実行しているフレームの画像よりも前のフレームの画像の処理を実行しているときに、ステップＳ１１０１で特定した被験者のつま先の座標が、予め設定された２つの計測開始（終了）座標１２０１のいずれかの座標上と重なり、本来秒数のカウントを開始すべきところを、当該フレームの画像について図３のステップＳ３０４、ステップＳ３０５によって、被験者の各関節の座標情報を特定できなかった場合に、ステップＳ１１０９でＮｏと判定される。 The case where No is determined in step S1109 is, for example, the case where the toe of the subject specified in step S1101 is being processed while processing the image of the frame before the image of the frame currently being processed. When the coordinates overlap with one of the two preset measurement start (end) coordinates 1201 and the count of seconds should be started, the image of the frame is shown in steps S304 and S305 of FIG. When the coordinate information of each joint of the subject cannot be specified, No is determined in step S1109.
その場合に、ステップＳ１１０６において、計測開始（終了）座標１２０１の間で被験者のつま先の座標が認識できたところから秒数のカウントを開始することで、撮影し直しをすることなく被験者の動作を評価することが可能となる。
以上で図１１の説明を終了する。
In that case, in step S1106, by starting counting the number of seconds from the point where the coordinates of the subject's toe can be recognized between the measurement start (end) coordinates 1201, the subject's movement can be performed without re-imaging. It becomes possible to evaluate.
This is the end of the description of FIG.
次に、図１３を用いて、本発明において、ステップＳ３０１でユーザから「開眼片足立ち」の種目の選択を受け付けた場合に、情報処理装置１０１のＣＰＵ２０１が実行する処理について説明する。
Next, with reference to FIG. 13, the process executed by the
ステップＳ１３０１において、情報処理装置１０１は、被験者の足が上がっているか否かを判定する。
In step S1301, the
より具体的には、まずステップＳ１３０１の処理を実行する前に、情報処理装置１０１は、被験者の両足のかかとのｙ座標の値を特定しておき、それぞれの足のかかとの座標の値の差が所定の範囲以内であることを特定することで、両足が揃って地面についていると判断する。
More specifically, first, before executing the process of step S1301, the
次に、ステップＳ１３０１において、いずれかの足のｙ座標の値が、ステップＳ１３０１の処理を実行する前に情報処理装置１０１が特定した被験者の両足のかかとのｙ座標の値よりも所定以上変化しているかを情報処理装置１０１が現在処理対象となっているフレームの画像から特定し、所定以上変化している場合に、その足が上がっていると情報処理装置１０１は判断する。
Next, in step S1301, the y-coordinate value of any of the feet changes by a predetermined value or more from the y-coordinate value of the heels of both feet of the subject specified by the
ステップＳ１３０１で、被験者の足が上がっていると判定した場合には、情報処理装置１０１は、ステップＳ１３０２の処理に移行し、被験者の足が上がっていないと判定した場合には、情報処理装置１０１は、ステップＳ１３０４の処理に移行する。
If it is determined in step S1301 that the subject's legs are raised, the
ステップＳ１３０２において、情報処理装置１０１は、ステップＳ１３０１で上がっていると判定した被験者の足が、所定の高さまで上がっているかを判定する。
In step S1302, the
ステップＳ１３０１で上がっていると判定した被験者の足が、所定の高さまで上がっているかを判定した場合、ステップＳ１３０３において情報処理装置１０１は、秒数のカウントを始め、ステップＳ１３０１で上がっていると判定した被験者の足が、所定の高さまで上がっていないと判定した場合、情報処理装置１０１は、本処理を終了する。
When it is determined whether the foot of the subject determined to be raised in step S1301 is raised to a predetermined height, the
より具体的には、「開眼片足立ち」で被験者が足を上げるべき高さ（図３０）まで足を上げているかを、ステップＳ１３０２において、各足のｙ座標の値が、ステップＳ１３０１の処理を実行する前に情報処理装置１０１が特定した被験者の両足のかかとのｙ座標の値よりも所定以上変化しているかを情報処理装置１０１が現在処理対象となっているフレームの画像から特定し、所定以上変化している場合に、その足が所定の高さまで上がっていると情報処理装置１０１は判断する。
More specifically, in step S1302, the y-coordinate value of each foot determines whether the subject has raised his / her foot to the height (FIG. 30) in which the subject should raise his / her foot in “standing on one leg with eyes open”. Whether or not the
なお、ステップＳ１３０２における「所定」の値は、ステップＳ１３０１における「所定」の値よりも大きい値である。 The "predetermined" value in step S1302 is larger than the "predetermined" value in step S1301.
ステップＳ１３０４において、情報処理装置１０１は、現在処理対象となっているフレームの画像よりも前のフレームにおいて、被験者の足が上がっている（ステップＳ１３０１でＹＥＳ）と判断しているか否かを判定する。
In step S1304, the
現在処理対象となっているフレームの画像よりも前のフレームの画像において、被験者の足が上がっている（ステップＳ１３０１でＹＥＳ）と判断しているならば、情報処理装置１０１はステップＳ１３０５に処理を移行し、現在測定しているフレームの画像よりも前のフレームの画像において、被験者の足が上がっている（ステップＳ１３０１でＹＥＳ）と判断していないと判定した場合、情報処理装置１０１は、被験者がまだ足を上げていないと判断して、本処理を終了する。
If it is determined that the subject's foot is raised (YES in step S1301) in the image of the frame before the image of the frame currently being processed, the
ステップＳ１３０５において、情報処理装置１０１は、被験者の足が下りたか否かを判定する。
In step S1305, the
より具体的には、ステップＳ１３０５において、各足のｙ座標の値が、ステップＳ１３０１の処理を実行する前に情報処理装置１０１が特定した被験者の両足のかかとのｙ座標の値よりも所定以上変化していないかを情報処理装置１０１が現在処理対象となっているフレームの画像から特定し、所定以上変化していない場合に、その足が下りていると情報処理装置１０１は判断する。
More specifically, in step S1305, the y-coordinate value of each foot changes more than a predetermined value from the y-coordinate value of the heels of both feet of the subject specified by the
ステップＳ１３０５で、被験者の足が下りていると判定した場合には、情報処理装置１０１は、ステップＳ１３０６の処理に移行し、ステップＳ１３０３で実行した秒数のカウントを終了し、被験者の足が下りていないと判定した場合には、情報処理装置１０１は、被験者がまだ足を上げていると判定して、本処理を終了する。
If it is determined in step S1305 that the subject's foot is down, the
ステップＳ１３０７において、情報処理装置１０１は、ステップＳ１３０３で秒数のカウントを開始してからステップＳ１３０６でカウントを終了するまでにカウントした秒数が所定の秒数（例えば、２４秒）を下回っているか、上回っているかによって被験者の運動能力を評価する。評価結果を測定結果管理テーブル（図１９）に記憶する。
以上で図１３の説明を終了する。
In step S1307, is the number of seconds counted by the
This is the end of the description of FIG.
なお、図１３では、情報処理装置１０１が自動で被験者の足の上げ下げを判定するとしたが、図１４に示すように、ユーザ（例えば評価者）が手動で被験者の足の上げ下げを指定することも可能である。
In FIG. 13, the
そこで、以下、図１４を用いて、ユーザ（例えば評価者）が手動で被験者の足の上げ下げを指定する仕組みについて説明する。 Therefore, hereinafter, with reference to FIG. 14, a mechanism in which a user (for example, an evaluator) manually specifies raising and lowering of a subject's foot will be described.
図１４は、ステップＳ３０２で情報処理装置１０１が被験者の撮影を開始したときに情報処理装置１０１のディスプレイ２１２に表示される画面である。
FIG. 14 is a screen displayed on the
１４０１には、情報処理装置１０１のモーション情報取得部１５１が取得した動画が表示される。
The moving image acquired by the motion
１４０２は、上げ下げボタンであり、上げ下げボタン１４０２が、ユーザによるマウス等の操作により、１回目押下されると、情報処理装置１０１は図１３の処理を停止して、上げ下げボタン１４０２が１回目押下されたタイミングで被験者が足を上げたと情報処理装置１０１は判断し、秒数のカウントを開始する。
そして、上げ下げボタン１４０２が、ユーザによるマウス等の操作により、２回目押下されると、被験者が足を下げたと情報処理装置１０１は判断し、秒数のカウントを終了する。そして、カウントした秒数に従って、被験者の運動能力を評価する。
Then, when the up / down
なお、本実施例では、上げ下げボタン１４０２が、ユーザによるマウス等の操作により、１回目押下されると、情報処理装置１０１は図１３の処理を停止するとしたが、他の実施例として、図１３のステップＳ１３０３の処理以降に上げ下げボタン１４０２がユーザによるマウス等の操作により押下された場合に、情報処理装置１０１は、ステップＳ１３０４、ステップＳ１３０５の処理を実行することなく秒数のカウントを終了したり、ステップＳ１３０２の処理より前に上げ下げボタン１４０２がユーザによるマウス等の操作により押下された場合に、情報処理装置１０１は、ステップＳ１３０１、ステップＳ１３０２の処理を実行することなく秒数のカウントを開始し、その後ステップＳ１３０４以降の処理を実行するとしても良い。
In this embodiment, when the up / down
図１４のように、ユーザ（例えば評価者）が手動で被験者の足の上げ下げを指定可能とすることで、図１３のように情報処理装置１０１が自動で被験者の足の上げ下げを判定する場合に、被験者が足を上げているにも関わらず足を上げていないと情報処理装置が判定してしまった場合や、被験者が足を下ろしているにも関わらず足を下ろしていないと判定してしまう場合であっても、判定結果を修正することが可能となる。
以上で、図１４の説明を終了する。
When the
This is the end of the description of FIG.
次に、図２９を用いて、被験者の動作を評価し、被験者や介護者に対するメッセージを表示する処理について説明する。図２９のフローチャートで示す処理は、情報処理装置１０１のＣＰＵ２０１が所定の制御プログラムを読み出して実行する処理である。
Next, a process of evaluating the movement of the subject and displaying a message to the subject and the caregiver will be described with reference to FIG. 29. The process shown in the flowchart of FIG. 29 is a process in which the
ステップＳ２９０１では、特定された骨格情報が予め定められた評価条件を満たすかを判定する。 In step S2901, it is determined whether the specified skeleton information satisfies a predetermined evaluation condition.
評価条件を満たす場合（ステップＳ２９０１：ＹＥＳ）は、処理をステップＳ２９０２に移行する。 If the evaluation condition is satisfied (step S2901: YES), the process proceeds to step S2902.
評価条件を満たさない場合（ステップＳ２９０１：ＮＯ）は、処理をステップＳ２９０３に移行する。 If the evaluation condition is not satisfied (step S2901: NO), the process proceeds to step S2903.
評価条件の一例を図３０に示す。図３０に示す通り、種目ごとに評価条件と評価内容とが対応付けられている。 An example of the evaluation conditions is shown in FIG. As shown in FIG. 30, the evaluation conditions and the evaluation contents are associated with each item.
例えば、「種目：椅子立ち座り」については、膝の角度が１７５度以上になった場合には立ち上がる動作として評価し、９５度以下になった場合には座る動作として評価する。そして、立ち上がる動作と座る動作とが行われた場合には、立ち座り動作が１回行われたものと評価される。 For example, regarding "event: standing and sitting on a chair", when the knee angle is 175 degrees or more, it is evaluated as a standing motion, and when it is 95 degrees or less, it is evaluated as a sitting motion. Then, when the standing up motion and the sitting motion are performed, it is evaluated that the standing and sitting motion is performed once.
開眼片足立ちにおいては、左右の足の高さの差が５ｃｍ以上になった場合に、片足を上げたと評価される。 In standing on one leg with eyes open, it is evaluated that one leg is raised when the difference in height between the left and right legs is 5 cm or more.
ステップＳ２９０２では、評価値を加算等する。例えば、椅子立ち座りであれば１回を加算する。また開眼片足立ちでは、片足立ちの開始条件を満たした場合は、片足立ち時間の計測を開始する。終了条件を満たした場合は、片足立ち時間の計測を終了する。 In step S2902, the evaluation value is added or the like. For example, if you are sitting in a chair, add one time. In the case of standing on one leg with eyes open, when the start condition for standing on one leg is satisfied, the measurement of the standing time on one leg is started. When the end condition is satisfied, the measurement of the standing time on one leg is ended.
ステップＳ２９０３では、特定された骨格座標に基づき、メッセージを特定する。 In step S2903, the message is specified based on the specified skeletal coordinates.
メッセージ内容は、図３１に示すメッセージテーブルに基づき特定される。例えば、種目：椅子立ち座りにおいては、膝の角度が１７５度以上になった場合には「座ってください」というメッセージが特定される。また、膝の角度が１７５度未満の状態で座る動作に移行した場合（膝の角度が小さくなった場合）には、「しっかり立ってください」とのメッセージが特定される。 The message content is specified based on the message table shown in FIG. For example, in the event: standing and sitting on a chair, the message "Please sit down" is specified when the knee angle is 175 degrees or more. In addition, when the movement shifts to the sitting motion with the knee angle less than 175 degrees (when the knee angle becomes smaller), the message "Please stand firmly" is specified.
また、開眼片足立ちにおいては、足を上げていない状態だと「足を上げてください」というメッセージが、上げている足の高さが低い場合には「もっと足を上げてください」というメッセージが、しっかり足を上げている状態だと「計測中」というメッセージが特定される。 In addition, when standing on one leg with eyes open, the message "Please raise your legs" is displayed when your legs are not raised, and the message "Please raise your legs more" is displayed when the height of your legs is low. , The message "Measuring" is specified when the legs are raised firmly.
このようにメッセージを表示することで、被験者や介護者は、しっかりと評価される動作をしているのか、どのような動作をすれば評価されるのかを認識することが可能となる。 By displaying the message in this way, the subject or the caregiver can recognize whether the movement is to be evaluated firmly and what kind of movement should be evaluated.
ステップＳ２９０４では、ステップ２９０３で特定されたメッセージを表示する。一例として図２２の２２０１を示す。
図３の説明に戻る。
In step S2904, the message specified in
Returning to the description of FIG.
ステップＳ３０４〜Ｓ３０６の処理は、モーション情報取得部１５１により動画フレームが取得される度に行われる処理である。このようにフレームが取得される度に骨格情報を認識することで、各関節の座標情報の変化を検知し、動作を認識することが可能となる。
The processes of steps S304 to S306 are processes performed every time a moving image frame is acquired by the motion
ステップＳ３０７では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ３０６で測定された結果を保存する（図１９）。
In step S307, the
次に、図４を用いて、予め記録されたモーション情報を用いた場合の、各種目の測定処理について説明する。 Next, with reference to FIG. 4, the measurement processing of each item when the motion information recorded in advance is used will be described.
なお、図３に示すリアルタイムでの測定（モーション情報を取得しながら測定も行う処理）を実行するか、図４に示す予め記録されたモーション情報を用いた測定を実行するかは、ユーザの選択により決定される。 It should be noted that the user selects whether to execute the real-time measurement shown in FIG. 3 (the process of performing the measurement while acquiring the motion information) or the measurement using the pre-recorded motion information shown in FIG. Is determined by.
ステップＳ４０１では、ユーザから再生する動画（測定したい被験者の動作を撮影した動画）の選択を受け付け、当該動画の再生指示を受け付ける。 In step S401, the user accepts the selection of a moving image (a moving image of the motion of the subject to be measured) to be reproduced, and receives a reproduction instruction of the moving image.
なお、動画データは、モーション情報取得部１５１の各センサーにより取得されたデータを含むものである。
The moving image data includes data acquired by each sensor of the motion
ステップＳ４０２では、ステップＳ４０１で選択を受け付けた動画と比較対象となる動画の選択を受け付ける。 In step S402, the selection of the moving image to be compared with the moving image of which the selection was accepted in step S401 is accepted.
ステップＳ４０３では、再生対象の動画と、比較対象の動画について、各種設定を受け付ける。 In step S403, various settings are accepted for the moving image to be played back and the moving image to be compared.
ステップＳ４０４では、ステップＳ４０２で受け付けた設定を保存する。図２８における２８０１の保存ボタンが押下されることで、保存処理が実行される。 In step S404, the setting received in step S402 is saved. When the save button of 2801 in FIG. 28 is pressed, the save process is executed.
ステップＳ４０５では、再生指示された動画と比較対象として設定された動画を再生する。 In step S405, a moving image set as a comparison target with the moving image instructed to be played back is played back.
この際、同時再生ボタンが押下された場合には、両動画が同時に再生され、個別の再生ボタンが押下された場合には、押下された動画が個別に再生される。 At this time, when the simultaneous playback button is pressed, both moving images are played back at the same time, and when the individual playing buttons are pressed, the pressed moving images are individually played back.
そして、図３のステップＳ３０４以降の処理を実行する。 Then, the processes after step S304 in FIG. 3 are executed.
図３、図４に示すように、被験者を撮影しながらリアルタイムで動作を評価する場合と、被験者を撮影した動画を保存し、後から動作を評価する場合とを切り替え可能にすることで、例えば、被験者にその場でフィードバックしたい場合には、リアルタイムで動作を評価するようにユーザが設定し、先に複数の被験者を録画して後で評価したい場合や、繰り返し細かい動きなどをユーザ（評価者）が見ながら確認したい場合や、撮影した動画を別の種目として評価したい場合や、アノテーション機能により被験者の骨格の角度を確認したい場合や、被験者と評価者が一緒である場合には、被験者を撮影した動画を保存し、後から動作を評価するようにユーザが設定することが可能となる。 As shown in FIGS. 3 and 4, for example, by making it possible to switch between the case of evaluating the movement in real time while shooting the subject and the case of saving the moving image of the subject and evaluating the movement later, for example. , If you want to give feedback to the subject on the spot, the user sets to evaluate the movement in real time, and if you want to record multiple subjects first and evaluate later, or if you want to repeatedly evaluate fine movements, etc., the user (evaluator) ), If you want to check the recorded video as a different event, if you want to check the angle of the subject's skeleton with the annotation function, or if the subject and the evaluator are the same, select the subject. It is possible for the user to save the recorded video and set it to evaluate the operation later.
また、被験者を撮影した動画を保存し、後から動作を評価する場合には、誤検出があった場合撮りなおしをせずに、ユーザが手動で評価結果を変更できるというメリットがある。
図２３、図２４に比較画面の一例を示す。
Further, when the moving image of the subject is saved and the motion is evaluated later, there is an advantage that the user can manually change the evaluation result without re-shooting when there is an erroneous detection.
23 and 24 show an example of the comparison screen.
図２３は評価対象の動画（骨格情報）と、比較対象の動画（骨格情報）とを縦に並べて表示した画面の一例である。 FIG. 23 is an example of a screen in which the moving image (skeleton information) to be evaluated and the moving image (skeleton information) to be compared are displayed vertically side by side.
図２４は評価対象の動画（骨格情報）と、比較対象の動画（骨格情報）とを横に並べて表示した画面の一例である。 FIG. 24 is an example of a screen in which the moving image (skeleton information) to be evaluated and the moving image (skeleton information) to be compared are displayed side by side.
比較画面のレイアウト（縦に並べるか、横に並べるか）については、例えば種目ごとに縦にならべるか横に並べるかを登録しておき、当該登録内容に従って表示する方法がある。種目ごとにレイアウトが登録されたテーブルを図２５に示す。 Regarding the layout of the comparison screen (whether to arrange vertically or horizontally), for example, there is a method of registering whether to arrange vertically or horizontally for each item and display according to the registered contents. FIG. 25 shows a table in which layouts are registered for each item.
図２５に示す通り、椅子立ち座りは横に並べ、通常歩行は縦に並べることを示している。このように、予め登録しておくことで、被験者が上下方向に移動するような種目（「椅子立ち座り」など）は横に並べ、左右方向に移動する種目（「通常歩行」など）は、縦に並べるといったことが可能となる。このように移動方向に応じて並べ方を決定することで、比較しやすいレイアウトで表示することが可能となる。 As shown in FIG. 25, chair standing and sitting are arranged side by side, and normal walking is arranged vertically. In this way, by registering in advance, events in which the subject moves in the vertical direction (such as "standing and sitting in a chair") are arranged side by side, and events in which the subject moves in the horizontal direction (such as "normal walking") are arranged side by side. It is possible to arrange them vertically. By determining the arrangement according to the moving direction in this way, it is possible to display in a layout that is easy to compare.
このように予め登録しておく方法は、種目が予め特定されている場合に有効である。 The method of registering in advance in this way is effective when the item is specified in advance.
また、被験者の軌跡に基づき、レイアウトを決定する方法もある。例えば、被験者の軌跡が左右方向であれば上下に並べ、被験者の軌跡が上下方向であれば左右に並べるといったように、被験者の動きに基づき、レイアウトを決定する。 There is also a method of determining the layout based on the trajectory of the subject. For example, if the locus of the subject is in the horizontal direction, it is arranged vertically, and if the locus of the subject is in the vertical direction, it is arranged horizontally. The layout is determined based on the movement of the subject.
このように被験者の軌跡に基づき判断する方法によれば、予め種目が特定されていない場合でも、比較しやすいレイアウトで表示することが可能となる。 According to the method of determining based on the trajectory of the subject in this way, it is possible to display in a layout that is easy to compare even if the item is not specified in advance.
また、比較画面においては、骨格情報の左右（動画の左右）を反転させることが可能である。 Further, on the comparison screen, it is possible to invert the left and right of the skeleton information (left and right of the moving image).
図２６は、図２３の画面における上の動画の左右を反転させた場合を示す図である。図２６に示す通り、上の動画に映っている人物（骨格情報）が図２３では右向きであったのが、図２６では左向きになっている。 FIG. 26 is a diagram showing a case where the left and right of the above moving image on the screen of FIG. 23 are inverted. As shown in FIG. 26, the person (skeleton information) shown in the above moving image is facing right in FIG. 23, but is facing left in FIG. 26.
反転する旨の指示は、図２６の２６０１で示すチェックボックスにチェックがなされることにより受け付ける。２６０１における「上画面反転」がチェックされると上の画面（の人物の骨格情報）が反転する。「下画面反転」がチェックされると下の画面（の人物の骨格情報）が反転する。両方にチェックがなされると、上下両方の画面が反転する。 The instruction to invert is accepted by checking the check box shown by 2601 in FIG. 26. When "Invert upper screen" in 2601 is checked, the upper screen (skeleton information of the person) is inverted. When "Invert lower screen" is checked, the lower screen (skeleton information of the person) is inverted. If both are checked, both the top and bottom screens will be flipped.
このように反転させることで、例えば１ヶ月前は映像の左から右に向かって歩いて測定したが、今回は右から左に向かって測定したといった場合にも、両者の歩く方向を統一することが出来るため、比較しやすくなり、両者の差異を詳しく把握することが可能となる。 By reversing in this way, for example, one month ago, the measurement was performed by walking from left to right in the image, but this time, even when measuring from right to left, the walking directions of both can be unified. Therefore, it becomes easy to compare and it becomes possible to grasp the difference between the two in detail.
また、比較画面においては、比較対象の画像を並べて表示するだけでなく、重ね合わせて表示することも可能である。 Further, on the comparison screen, it is possible not only to display the images to be compared side by side but also to display them in an overlapping manner.
重ね合わせて表示した一例を図２７に示す。図２７における２７０１と２７０２は、比較対象の画像である。そして、２７０３は２７０１と２７０２の画像を重ね合わせた画像である。 FIG. 27 shows an example of the superimposed display. 2701 and 2702 in FIG. 27 are images to be compared. 2703 is an image in which the images of 2701 and 2702 are superimposed.
比較画面においては、比較対象の画像のサイズや位置を調整することが可能である。 On the comparison screen, it is possible to adjust the size and position of the image to be compared.
サイズについては、図２７の自動調整メニュー２７０４の「大きさ」にチェックを入れることで、例えば頭部と腰部までの長さを用いて、当該長さを比較対象の骨格情報間で一致するよう調整される。このように、被験者の骨格情報のうちいずれかの関節間の距離と、当該関節間の距離に対応する比較対象となる骨格情報にかかる関節間の距離を一致させることでサイズ調整を行う。
Regarding the size, by checking "Size" in the
また、自動で調整するだけでなく、ユーザの操作により調整することも可能である。この場合は、図２７における大きさ調整ボタン２７０５、２７０６を押下することにより、調整可能である。大きくボタン２７０５が押下された場合は大きくし、小さくボタン２７０６が押下された場合は小さくする。
Moreover, it is possible not only to adjust automatically but also to adjust by the operation of the user. In this case, it can be adjusted by pressing the
このようにサイズの調整ができることで、身長の異なる人物同士を比較する場合や、過去に撮影されたものと倍率が異なる場合等においても、比較しやすくなり、両者の差異を詳しく把握することが可能となる。 By adjusting the size in this way, it is easy to compare people with different heights, or even when the magnification is different from the one shot in the past, and it is possible to grasp the difference between the two in detail. It will be possible.
位置については、図２７の自動調整メニュー２７０４の「位置」にチェックを入れることで、例えば頭部の位置を比較対象の骨格情報間で一致するよう調整される。すなわち、被験者のいずれかの関節座標と、当該関節座標に対応する前記比較対象となる骨格情報にかかる関節座標を一致させることで位置調整を行う。また、合成画像の中央に人物が映るよう位置が調整される。
Regarding the position, by checking the "position" in the
また、ユーザがドラッグ操作することで、位置を調整することも可能である。 It is also possible for the user to adjust the position by dragging.
このように、位置を調整可能にすることで、比較対象の骨格情報を所望の位置に配置して比較することや、重ね合わせて比較することが可能となり、比較しやすくなり、両者の差異を詳しく把握することが可能となる。 By making the position adjustable in this way, it becomes possible to arrange the skeleton information to be compared at a desired position and compare them, or to superimpose and compare them, which makes it easier to compare and makes the difference between the two. It becomes possible to grasp in detail.
また、自動調整メニュー２７０４の「両方」にチェックを入れると、サイズと位置の両方が調整される。
Also, if you check "Both" in the
また、比較画面においては、被験者を含む背景映像を表示せず、骨格情報だけを表示することが可能である。
骨格情報だけを表示した画面の一例を図２８に示す。
図２８に示す画面の右端に表示切替メニューがあり、その中の「カラー」という項目にチェックがなされると背景が表示され、チェックを外すと骨格情報だけ表示される。
すなわち、被験者を含む背景映像を表示するか否か選択を受け付け、受け付けた内容に従い、被験者を含む背景映像を表示するか否かが決定される
Further, on the comparison screen, it is possible to display only the skeleton information without displaying the background image including the subject.
FIG. 28 shows an example of a screen displaying only skeleton information.
There is a display switching menu at the right end of the screen shown in FIG. 28, and when the item "color" in the menu is checked, the background is displayed, and when the check is removed, only the skeleton information is displayed.
That is, the selection of whether or not to display the background image including the subject is accepted, and whether or not to display the background image including the subject is determined according to the received contents.
例えば、比較対象の動画がそれぞれ異なる部屋で撮影された場合には、背景の違いが邪魔をして骨格の動きの比較が困難となってしまう。特に合成画像においては、異なる背景同士が重畳して表示されるため、非常に見づらくなり、比較しづらくなってしまう。そこで、背景を消すことで、比較対象を明確に表示することができ、両者の差異を詳しく把握することが可能となる。 For example, when the moving images to be compared are shot in different rooms, the difference in the background interferes and it becomes difficult to compare the movements of the skeleton. Especially in a composite image, different backgrounds are superimposed and displayed, which makes it very difficult to see and compare. Therefore, by erasing the background, the comparison target can be clearly displayed, and the difference between the two can be grasped in detail.
上述した各種画面において設定を受け付けた内容（比較動画の組み合わせ、画面レイアウト、位置、サイズなど）は、比較シナリオとして保存（記憶）し、再利用可能である。 The contents (combination of comparative moving images, screen layout, position, size, etc.) that have been set on the various screens described above can be saved (stored) as a comparison scenario and reused.
比較シナリオの情報には、動画ファイルの情報、再生開始位置、再生終了位置、ズーム状態（サイズ）、合成映像の調整済み位置、左右反転の設定が含まれる。 The information of the comparison scenario includes the information of the moving image file, the playback start position, the playback end position, the zoom state (size), the adjusted position of the composite video, and the left-right inversion setting.
このように、設定された内容を比較シナリオとして保存することで、あとから再度見直したいというときにも、再度設定する手間を省くことができる。 By saving the set contents as a comparison scenario in this way, it is possible to save the trouble of setting again even when it is desired to review it again later.
次に、図５を用いて、レポート作成処理について説明する。 Next, the report creation process will be described with reference to FIG.
ステップＳ５０１では、ユーザから被験者の選択を受け付け、当該被験者の測定結果（レポート）の出力指示を受け付ける。 In step S501, the selection of the subject is received from the user, and the output instruction of the measurement result (report) of the subject is received.
ステップＳ５０２では、出力指示を受け付けた被験者の測定結果を抽出する。 In step S502, the measurement result of the subject who received the output instruction is extracted.
ここで図１５を用いて、測定結果抽出処理の詳細について説明する。 Here, the details of the measurement result extraction process will be described with reference to FIG.
ステップＳ１５０１では、情報処理装置１０１は、ユーザから抽出条件の設定を受け付ける。図１７に抽出条件設定画面のイメージを示す。図１７の画面では、抽出条件として、開始日付１７０１、終了日付１７０２を設定させる。
In step S1501, the
ステップＳ１５０２では、情報処理装置１０１は、ユーザから種目の選択を受け付ける。図１７の画面では、種目１７０３として、開眼片足立ち、椅子立ち座り、最大一歩、通常歩行、ＴＵＧから選択させる。
In step S1502, the
ステップＳ１５０３では、情報処理装置１０１は、ステップＳ１５０１およびＳ１５０２で受け付けた、抽出条件、種目に従って、図１９に示す測定結果管理テーブルから今回および前回の測定結果を抽出する。具体的には、図１７の抽出ボタン１７０４が押下されることにより本処理が実行され、抽出条件である開始日付１７０１と終了日付１７０２の範囲で、選択された種目１７０３に対して測定結果管理テーブルを検索し、最新の測定結果と、２番目に新しい測定結果を、今回結果、前回結果として抽出する。
In step S1503, the
このように指定された種目（通常複数指定あり）に対して、指定された期間範囲に含まれる最新の測定結果と、２番目に新しい結果を今回測定結果、前回測定結果として抽出することにより、それぞれの種目に対して検索条件を設定して測定結果を検索して今回測定結果と前回測定結果を選定するといった一連作業を実施することなく、レポート出力するための測定結果を抽出することができる。 By extracting the latest measurement result included in the specified period range and the second newest result as the current measurement result and the previous measurement result for the event (usually multiple designations) specified in this way. It is possible to extract the measurement results for output as a report without performing a series of operations such as setting search conditions for each item, searching for the measurement results, and selecting the current measurement results and the previous measurement results. ..
ここで図１９を用いて、測定結果管理テーブルについて説明する。測定結果管理テーブルは、測定結果ＩＤ１９０１、被験者１９０２、測定日時１９０３、種目１９０４、測定値１９０５、評価点１９０６、動画ファイル１９０７を項目として含む。測定結果ＩＤ１９０１は測定結果を一意に識別するための文字列である。被験者１９０２は測定を受けた被験者である。測定日時１９０３は測定を開始した日時である。種目１９０４は測定された種目であり、開眼片足立ち、椅子立ち座り、最大一歩、通常歩行、ＴＵＧのいずれかである。測定値１９０５は測定結果を表す数値である。評価点１９０６は測定値１９０５をもとに評価された点数である。動画ファイル１９０７は測定結果に対応する動画データのファイル名、または、動画データへのリンクである。
Here, the measurement result management table will be described with reference to FIG. The measurement result management table includes
ステップＳ１５０４では、情報処理装置１０１は、ステップＳ１５０３にて抽出した測定結果をディスプレイ２１２等に表示する。図１８に抽出結果表示画面のイメージを示す。図１８の画面では、抽出された測定結果に対応する動画データのサムネイル画像１８０１を表示する。
図５の説明に戻る。
In step S1504, the
Returning to the description of FIG.
ステップＳ５０３では、ステップＳ５０２で抽出された結果に基づき、レポートを作成する。 In step S503, a report is created based on the result extracted in step S502.
ここで図１６を用いて、レポート作成処理の詳細について説明する。 Here, the details of the report creation process will be described with reference to FIG.
ステップＳ１６０１からＳ１６０５の処理は、ステップＳ１５０２で選択を受け付けた種目ごとに繰り返し実行する。 The processes of steps S1601 to S1605 are repeatedly executed for each item for which selection is accepted in step S1502.
ステップＳ１６０１では、情報処理装置１０１は、ステップＳ１５０３にて抽出した、今回および前回の測定結果を取得する。
In step S1601, the
ステップＳ１６０２では、情報処理装置１０１は、ステップＳ１６０１にて取得した測定結果が評価済みかどうか判定する。具体的には、測定結果管理テーブルの評価点１９０６に値が設定されているかで判定する。評価済みであればステップＳ１６０４に進み、評価済みでなければステップＳ１６０３に進む。
In step S1602, the
ステップＳ１６０３では、情報処理装置１０１は、未評価の測定結果に対して評価を実施し、測定結果管理テーブルの測定値１９０５および評価点１９０６に登録する。
In step S1603, the
ステップＳ１６０４では、情報処理装置１０１は、測定結果に対応する動画から、動画の各フレーム画像を検索して、種目に対して特徴的なタイミングのフレーム画像を抽出する。特徴的なタイミングを決定する条件は種目ごとに決められており、例えば、開眼片足立ちであれば足を地面につけたタイミング、つまり足を上げている状態から足をついた状態に状態が遷移したタイミング、最大一歩であれば最も大きく両脚を開いたタイミング、つまり最高記録と判定された時の足を上げている状態から足をついたタイミング、のように決められている。具体的な条件は、各関節に対する座標データの値や変化状況、複数の関節の座標データの相関関係等を基に設定される。なお、特徴的なタイミングのフレーム画像は、本処理で抽出してもよいし、評価時に抽出して保存しておき本処理で呼び出してもよい。また、本実施例では、種目ごとに１つの特徴的なフレーム画像を抽出しているが、条件によっては複数のフレーム画像を抽出してもよい。
In step S1604, the
ステップＳ１６０５では、情報処理装置１０１は、ステップＳ１６０４にて抽出した特徴的なフレーム画像のサムネイル画像と、各種目に対する評価結果をレポート要素として出力する。ステップＳ１６０４にて特徴的なフレーム画像が複数抽出された場合には、対応するサムネイル画像を並べて複数出力してもよいし、１つに絞り込んで出力してもよい。
In step S1605, the
このようにレポート要素に各種目に対する評価結果と、特徴的なフレーム画像のサムネイル画像を出力することにより、数値データによる状況把握だけではなく、視覚的、直感的に測定結果の良否等を把握することができる。 By outputting the evaluation results for each item and the thumbnail image of the characteristic frame image to the report element in this way, not only the situation can be grasped by the numerical data, but also the quality of the measurement result can be visually and intuitively grasped. be able to.
ステップＳ１６０６では、各種目に対して出力されたレポート要素を集約し、レポート作成日や、被験者情報、測定場所情報などの測定に関する情報を付加してレポートを作成する。
図５の説明に戻る。
In step S1606, the report elements output for each item are aggregated, and the report is created by adding information related to measurement such as the report creation date, subject information, and measurement location information.
Returning to the description of FIG.
ステップＳ５０４では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ５０３で作成したレポートを出力する。
In step S504, the
図２０に本処理にて作成され、ステップＳ５０４にて出力されるレポートの出力例を示す。図２０の出力例では、レポート情報欄２００１には作成日、実施者（被験者）、実施場所、担当者が表示され、総合コメント欄２００２には評価者からコメント、レーダーチャート欄２００３には種目ごとの評価点のレーダーチャートが表示される。ピックアップ種目欄２００４にはユーザに選択させた種目に対し、ステップＳ１６０５にて抽出した特徴的な画像からサムネイルおよび骨格画像が表示される。種目別結果欄２００５には種目別の今回および前回の実施日、結果（測定値）、今回と前回の評価点から判定される改善度合、評価者からの種目に対するコメントと、ステップＳ１６０５にて抽出した特徴的なフレーム画像のサムネイル画像が表示される。
FIG. 20 shows an output example of a report created in this process and output in step S504. In the output example of FIG. 20, the creation date, the implementer (subject), the implementation location, and the person in charge are displayed in the
また、本発明におけるプログラムは、図３〜図５、図１１、図１３、図１５、図１６、図２９の処理をコンピュータに実行させるプログラムである。なお、本発明におけるプログラムは、図３〜図５、図１１、図１３、図１５、図１６、図２９の各処理ごとのプログラムであってもよい。 Further, the program in the present invention is a program that causes a computer to execute the processes of FIGS. 3 to 5, 11, 13, 15, 16, and 29. The program in the present invention may be a program for each process of FIGS. 3 to 5, 11, 13, 15, 15, 16 and 29.
以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読み出し、実行することによっても本発明の目的が達成されることは言うまでもない。 As described above, the recording medium on which the program that realizes the functions of the above-described embodiment is recorded is supplied to the system or the device, and the computer (or CPU or MPU) of the system or the device stores the program in the recording medium. Needless to say, the object of the present invention can be achieved by reading and executing.
この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記録した記録媒体は本発明を構成することになる。 In this case, the program itself read from the recording medium realizes the novel function of the present invention, and the recording medium on which the program is recorded constitutes the present invention.
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク等を用いることが出来る。 Recording media for supplying programs include, for example, flexible disks, hard disks, optical disks, magneto-optical disks, CD-ROMs, CD-Rs, DVD-ROMs, magnetic tapes, non-volatile memory cards, ROMs, EEPROMs, and silicon. A disk or the like can be used.
また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。 Further, by executing the program read by the computer, not only the function of the above-described embodiment is realized, but also the OS (operating system) or the like running on the computer is actually operated based on the instruction of the program. Needless to say, there are cases where a part or all of the processing is performed and the processing realizes the functions of the above-described embodiment.
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。 Further, the program read from the recording medium is written to the memory provided in the function expansion board inserted in the computer or the function expansion unit connected to the computer, and then the function expansion board is based on the instruction of the program code. It goes without saying that there are cases where the CPU or the like provided in the function expansion unit performs a part or all of the actual processing, and the processing realizes the functions of the above-described embodiment.
また、本発明は、複数の機器から構成されるシステムに適用しても、ひとつの機器から成る装置に適用しても良い。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。 Further, the present invention may be applied to a system composed of a plurality of devices or a device composed of one device. It goes without saying that the present invention can also be applied when it is achieved by supplying a program to a system or device. In this case, by reading the recording medium in which the program for achieving the present invention is stored into the system or device, the system or device can enjoy the effect of the present invention.
さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。 Further, by downloading and reading a program for achieving the present invention from a server, database, or the like on the network by a communication program, the system or device can enjoy the effect of the present invention. It should be noted that all the configurations in which the above-described embodiments and modifications thereof are combined are also included in the present invention.
１０１ 情報処理装置
101 Information processing device
Claims (13)
種目と当該種目に係る動画を表示するレイアウトとを対応付けて記憶する記憶手段と、
前記被験者の骨格情報と、比較対象となる骨格情報とを前記種目に係るレイアウトで比較可能に表示する表示手段と、
前記レイアウトが被験者の骨格情報と比較対象となる骨格情報とを上下に並べて配置するレイアウトである場合には、上に配置される骨格情報について左右を反転させて表示するか否かの選択および下に配置される骨格情報について左右を反転させて表示するか否かの選択を受け付け、前記レイアウトが被験者の骨格情報と比較対象となる骨格情報とを左右に並べて配置するレイアウトである場合には、左に配置される骨格情報について左右を反転させて表示するか否かの選択および右に配置される骨格情報について左右を反転させて表示するか否かの選択を受け付ける反転指示受付手段と、
を備え、
前記表示手段は、前記反転指示受付手段により左右を反転させて表示する選択を受け付けた骨格情報の左右を反転させて表示することを特徴とする情報処理装置。 A skeletal information generation means that generates skeletal information of the subject based on the coordinate information of the joints of the subject,
A storage means for storing an item in association with a layout for displaying a moving image of the item,
A display means for displaying the skeleton information of the subject and the skeleton information to be compared in a comparable manner in the layout related to the event.
When the layout is a layout in which the skeleton information of the subject and the skeleton information to be compared are arranged side by side, the selection of whether or not the skeleton information arranged above is displayed upside down and the bottom If the layout accepts the selection of whether to display the skeleton information arranged in the left and right inverted, and the layout is such that the skeleton information of the subject and the skeleton information to be compared are arranged side by side. A reversal instruction receiving means that accepts a selection of whether or not to display the skeleton information arranged on the left in an inverted manner and a selection of whether or not to display the skeleton information arranged on the right in an inverted manner.
With
The display means is an information processing apparatus characterized in that the skeleton information that has received a selection to be displayed by inverting the left and right by the inversion instruction receiving means is inverted and displayed.
前記位置調整手段は、前記位置調整指示受付手段により位置調整の指示を受け付けた場合に、位置調整を行うことを特徴とする請求項３に記載の情報処理装置。 Further provided with a position adjustment instruction receiving means for receiving an instruction for adjusting the position of the skeleton information of the subject and the skeleton information to be compared.
The information processing apparatus according to claim 3, wherein the position adjusting means adjusts the position when the position adjusting instruction is received by the position adjusting instruction receiving means.
と、
を備えることを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。 A size adjusting means for adjusting the size by matching the distance between any of the joints of the subject and the distance between the joints related to the skeletal information to be compared corresponding to the distance between the joints.
The information processing apparatus according to any one of claims 1 to 5, further comprising.
前記サイズ調整手段は、前記サイズ調整指示受付手段によりサイズ調整の指示を受け付けた場合に、サイズ調整を行うことを特徴とする請求項６に記載の情報処理装置。 Further provided with a size adjustment instruction receiving means for receiving an instruction for adjusting the size of the skeleton information of the subject and the skeleton information to be compared.
The information processing apparatus according to claim 6, wherein the size adjusting means adjusts the size when the size adjusting instruction is received by the size adjusting instruction receiving means.
前記サイズ調整手段は、前記サイズ調整指示受付手段により受け付けたユーザの指示に従い、骨格情報のサイズを調整することを特徴とする請求項７に記載の情報処理装置。 The size adjustment instruction receiving means is characterized in that it receives a size adjustment instruction by receiving an instruction to increase or decrease the size of the skeleton information from the user.
The information processing device according to claim 7, wherein the size adjusting means adjusts the size of the skeleton information according to a user's instruction received by the size adjusting instruction receiving means.
前記表示手段は、前記受付手段により受け付けた指示に従い、前記被験者を含む背景映
像を表示することを特徴とする請求項１乃至８のいずれか１項に記載の情報処理装置。 Further provided with a reception means for receiving an instruction regarding the display state of the background image including the subject.
The information processing device according to any one of claims 1 to 8, wherein the display means displays a background image including the subject in accordance with an instruction received by the reception means.
付けた場合、前記被験者を含む背景映像と骨格情報とを合成した映像を表示することを特
徴とする請求項９に記載の情報処理装置。 9. The display means is characterized in that when an instruction to display a background image including a subject is received by the reception means, an image obtained by synthesizing the background image including the subject and the skeleton information is displayed. The information processing device described in.
け付けた場合、前記被験者を含む背景映像を表示せず、骨格情報を表示することを特徴と
する請求項９または１０に記載の情報処理装置。 9. The display means is characterized in that, when the reception means receives an instruction not to display the background image including the subject, the display means does not display the background image including the subject and displays the skeleton information. The information processing apparatus according to 10.
前記情報処理装置の骨格情報生成手段が、被験者の関節の座標情報に基づき、被験者の骨格情報を生成する骨格情報生成工程と、
前記情報処理装置の表示手段が、前記被験者の骨格情報と、比較対象となる骨格情報とを前記種目に係るレイアウトで比較可能に表示する表示工程と、
前記情報処理装置の反転指示受付手段が、前記レイアウトが被験者の骨格情報と比較対象となる骨格情報とを上下に並べて配置するレイアウトである場合には、上に配置される骨格情報について左右を反転させて表示するか否かの選択および下に配置される骨格情報について左右を反転させて表示するか否かの選択を受け付け、前記レイアウトが被験者の骨格情報と比較対象となる骨格情報とを左右に並べて配置するレイアウトである場合には、左に配置される骨格情報について左右を反転させて表示するか否かの選択および右に配置される骨格情報について左右を反転させて表示するか否かの選択を受け付ける反転指示受付工程と、
を備え、
前記表示工程は、前記反転指示受付工程により左右を反転させて表示する選択を受け付けた骨格情報の左右を反転させて表示することを特徴とする情報処理方法。 It is an information processing method in an information processing device provided with a storage means for storing an item and a layout for displaying a moving image of the item in association with each other.
A skeleton information generation step in which the skeleton information generation means of the information processing device generates skeleton information of the subject based on the coordinate information of the joints of the subject.
A display step in which the display means of the information processing device displays the skeleton information of the subject and the skeleton information to be compared in a comparable manner in the layout related to the event.
When the layout for receiving the reversal instruction of the information processing device is such that the skeleton information of the subject and the skeleton information to be compared are arranged side by side, the skeleton information arranged above is inverted left and right. The layout accepts the selection of whether or not to display the skeleton information and whether or not to display the skeleton information arranged below by inverting the left and right, and the layout left and right the skeleton information of the subject and the skeleton information to be compared. In the case of a layout arranged side by side, the selection of whether to display the skeleton information arranged on the left in the left-right inverted manner and whether to display the skeleton information arranged on the right in the left-right inverted manner. Inversion instruction reception process that accepts the selection of
With
The display step is an information processing method characterized in that the skeleton information that has received a selection to be displayed by inverting the left and right by the inversion instruction receiving step is displayed by inverting the left and right.
被験者の関節の座標情報に基づき、被験者の骨格情報を生成する骨格情報生成手段と、
前記被験者の骨格情報と、比較対象となる骨格情報とを前記種目に係るレイアウトで比較可能に表示する表示手段と、
前記レイアウトが被験者の骨格情報と比較対象となる骨格情報とを上下に並べて配置するレイアウトである場合には、上に配置される骨格情報について左右を反転させて表示するか否かの選択および下に配置される骨格情報について左右を反転させて表示するか否かの選択を受け付け、前記レイアウトが被験者の骨格情報と比較対象となる骨格情報とを左右に並べて配置するレイアウトである場合には、左に配置される骨格情報について左右を反転させて表示するか否かの選択および右に配置される骨格情報について左右を反転させて表示するか否かの選択を受け付ける反転指示受付手段として機能させ、
前記表示手段を、前記反転指示受付手段により左右を反転させて表示する選択を受け付けた骨格情報の左右を反転させて表示する手段として機能させるためのプログラム。
An information processing device provided with a storage means for storing an item in association with a layout for displaying a moving image of the item.
A skeletal information generation means that generates skeletal information of the subject based on the coordinate information of the joints of the subject,
A display means for displaying the skeleton information of the subject and the skeleton information to be compared in a comparable manner in the layout related to the event.
When the layout is a layout in which the skeleton information of the subject and the skeleton information to be compared are arranged side by side, the selection of whether or not the skeleton information arranged above is displayed upside down and the bottom If the layout accepts the selection of whether to display the skeleton information arranged in the left and right inverted, and the layout is such that the skeleton information of the subject and the skeleton information to be compared are arranged side by side. It functions as a reversal instruction receiving means that accepts the selection of whether or not to display the skeleton information arranged on the left by inverting the left and right and the selection of whether or not to display the skeleton information arranged on the right by inverting the left and right. ,
A program for causing the display means to function as a means for displaying the skeleton information in which the selection to be displayed by inverting the left and right by the inversion instruction receiving means is inverted.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015213490A JP6803111B2 (en) | 2015-10-29 | 2015-10-29 | Information processing equipment, information processing methods, programs |
| CN201610908922.1A CN106650217B (en) | 2015-10-29 | 2016-10-19 | Information processing apparatus and information processing method |
| CN201910679377.7A CN110391017A (en) | 2015-10-29 | 2016-10-19 | Information processing unit and information processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015213490A JP6803111B2 (en) | 2015-10-29 | 2015-10-29 | Information processing equipment, information processing methods, programs |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2017080200A JP2017080200A (en) | 2017-05-18 |
| JP2017080200A5 JP2017080200A5 (en) | 2019-06-13 |
| JP6803111B2 true JP6803111B2 (en) | 2020-12-23 |
Family
ID=58712499
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015213490A Active JP6803111B2 (en) | 2015-10-29 | 2015-10-29 | Information processing equipment, information processing methods, programs |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6803111B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022170303A (en) * | 2021-04-28 | 2022-11-10 | 高木 りか | Posture evaluation system, posture evaluation program, posture evaluation method and posture evaluation device |
| CN115153517B (en) * | 2022-07-18 | 2023-03-28 | 北京中科睿医信息科技有限公司 | Testing method, device, equipment and storage medium for timing, standing and walking test |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001000420A (en) * | 1999-06-16 | 2001-01-09 | Hitachi Plant Eng & Constr Co Ltd | Apparatus and method for evaluation of achievement of target |
| JP4264368B2 (en) * | 2004-02-24 | 2009-05-13 | 日本ナレッジ株式会社 | Practical skill analysis system and program |
| JP2013066696A (en) * | 2011-09-06 | 2013-04-18 | Gifu Univ | Image processing system and image processing method |
| JP2014068714A (en) * | 2012-09-28 | 2014-04-21 | Kitasato Institute | Joint angle measuring system |
| JP6188332B2 (en) * | 2013-01-21 | 2017-08-30 | 東芝メディカルシステムズ株式会社 | Medical image display apparatus and program |
| JP5884755B2 (en) * | 2013-03-21 | 2016-03-15 | カシオ計算機株式会社 | Image processing apparatus, image processing method, and program |
-
2015
- 2015-10-29 JP JP2015213490A patent/JP6803111B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017080200A (en) | 2017-05-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6842044B2 (en) | Information processing equipment, information processing methods, programs | |
| JP6744559B2 (en) | Information processing device, information processing method, and program | |
| KR101514170B1 (en) | Input device, input method and recording medium | |
| JP2017080197A (en) | Information processing device, information processing method and program | |
| CN106650217B (en) | Information processing apparatus and information processing method | |
| JP7248437B2 (en) | Programs, electronics and data recording methods | |
| JP6165815B2 (en) | Learning system, learning method, program, recording medium | |
| JP2020140719A (en) | Information processor, information processing method, and program | |
| JP6803111B2 (en) | Information processing equipment, information processing methods, programs | |
| JP2017080199A (en) | Information processing device, information processing method and program | |
| JP2017080203A (en) | Information processing device, information processing method and program | |
| JP2017080201A (en) | Information processing device, information processing method and program | |
| JP2017085427A (en) | Information processing device, information processing method, and program | |
| JP2017080198A (en) | Information processing device, information processing method, and program | |
| JP2017080202A (en) | Information processing device, information processing method and program | |
| JP6631594B2 (en) | Information processing apparatus, control method for information processing apparatus, and program | |
| JP2017084194A (en) | Information processing device, information processing method, and program | |
| JP6458707B2 (en) | Information processing apparatus, control method for information processing apparatus, and program | |
| JP2017080195A (en) | Information processing device, information processing method and program | |
| JP6256738B2 (en) | Movie selection device, movie selection method and program | |
| JP2020119335A (en) | Program, camera work data generation method, and electronic apparatus | |
| JP4588627B2 (en) | Image processing apparatus and image processing program | |
| JP2020062322A (en) | Doll molding system, information processing method, and program | |
| JP2017084193A (en) | Information processing device, information processing method, and program | |
| JP2017080196A (en) | Information processing device, control method of information processing device and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20161101 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20161101 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20180703 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181026 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20181031 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190111 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190426 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190710 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190820 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191018 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20191224 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200323 |
|
| C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20200323 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20200331 |
|
| C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20200407 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20200424 |
|
| C211 | Notice of termination of reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C211 Effective date: 20200428 |
|
| C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20200616 |
|
| C13 | Notice of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: C13 Effective date: 20200721 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200901 |
|
| C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20201006 |
|
| C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20201110 |
|
| C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20201110 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201126 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6803111 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |