JP6334925B2 - 動作情報処理装置及び方法 - Google Patents

動作情報処理装置及び方法 Download PDF

Info

Publication number
JP6334925B2
JP6334925B2 JP2014008033A JP2014008033A JP6334925B2 JP 6334925 B2 JP6334925 B2 JP 6334925B2 JP 2014008033 A JP2014008033 A JP 2014008033A JP 2014008033 A JP2014008033 A JP 2014008033A JP 6334925 B2 JP6334925 B2 JP 6334925B2
Authority
JP
Japan
Prior art keywords
information
unit
subject
foot
walking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014008033A
Other languages
English (en)
Other versions
JP2015042241A (ja
Inventor
和樹 宇都宮
和樹 宇都宮
弘祐 坂上
弘祐 坂上
池田　智
智 池田
嘉尚 吉岡
嘉尚 吉岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Canon Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Medical Systems Corp filed Critical Canon Medical Systems Corp
Priority to JP2014008033A priority Critical patent/JP6334925B2/ja
Publication of JP2015042241A publication Critical patent/JP2015042241A/ja
Application granted granted Critical
Publication of JP6334925B2 publication Critical patent/JP6334925B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1127—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1071—Measuring physical dimensions, e.g. size of the entire body or parts thereof measuring angles, e.g. using goniometers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
    • A61B5/1122—Determining geometric values, e.g. centre of rotation or angular range of movement of movement trajectories
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00—Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/09—Rehabilitation or training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Description

本発明の実施の形態は、動作情報処理装置及び方法に関する。
従来、リハビリテーション（rehabilitation）においては、疾病や外傷、老化現象などの様々な原因により生じた心身の障害や、先天的な障害を有する者がより良い生活を送ることを目的として、多数の専門家による連携した支援が行われている。例えば、リハビリテーションは、リハビリテーション専門医、リハビリテーション看護師、理学療法士、作業療法士、言語聴覚士、臨床心理士、義肢装具士、ソーシャルワーカーなどの多数の専門家によって連携した支援が行われている。
一方、近年、人物や物体の動きをデジタル的に記録するモーションキャプチャ（motion capture）技術の開発が進んでいる。モーションキャプチャ技術の方式としては、例えば、光学式、機械式、磁気式、カメラ式などが知られている。一例を挙げると、人物にマーカを装着させて、カメラなどのトラッカーによってマーカを検出し、検出したマーカを処理することにより人物の動きをデジタル的に記録するカメラ方式が知られている。また、マーカ及びトラッカーを用いない方式としては、赤外線センサを利用して、センサから人物までの距離を計測し、該人物の大きさや骨格のさまざまな動きを検出することで人物の動きをデジタル的に記録する方式が知られている。このような方式を利用したセンサとしては、例えば、Ｋｉｎｅｃｔ（登録商標）が知られている。
特開平９−５６６９７号公報
本発明が解決しようとする課題は、歩行状況を評価しやすい表示情報を提供することを可能にする動作情報処理装置及び方法を提供することである。
実施の形態の動作情報処理装置は、取得部と、判定部と、表示制御部とを備える。取得部は、歩行動作を実行する対象者の動作情報と画像情報とを取得する。生成部は、前記取得部によって取得された動作情報に基づいて、前記対象者の両足の着地点の相互の位置関係、及び、前記両足の着地点の位置と前記対象者の特徴位置の移動の軌跡との相互の位置関係を示した軌跡情報を生成する。表示制御部は、前記生成部によって生成された軌跡情報と、前記取得部によって取得された画像情報とを表示部にて表示するように制御する。
図１は、第１の実施形態に係る動作情報処理装置の構成の一例を示す図である。 図２Ａは、第１の実施形態に係る動作情報生成部の処理を説明するための図である。 図２Ｂは、第１の実施形態に係る動作情報生成部の処理を説明するための図である。 図２Ｃは、第１の実施形態に係る動作情報生成部の処理を説明するための図である。 図３は、第１の実施形態に係る動作情報生成部によって生成される骨格情報の一例を示す図である。 図４は、第１の実施形態に係る動作情報処理装置の詳細な構成の一例を示す図である。 図５は、第１の実施形態に係る動作情報記憶部によって記憶される動作情報の一例を示す図である。 図６は、第１の実施形態に係る解析情報記憶部によって記憶される解析情報の一例を示す図である。 図７Ａは、第１の実施形態に係る解析部による足の着地点の解析の一例を説明するための図である。 図７Ｂは、第１の実施形態に係る解析部による足の着地点の解析の一例を説明するための図である。 図８は、第１の実施形態に係る解析部による角度の解析の第１の例を説明するための図である。 図９は、第１の実施形態に係る解析部による角度の解析の第２の例を説明するための図である。 図１０Ａは、第１の実施形態に係る生成部によって生成される軌跡情報のバリエーションを説明するための図である。 図１０Ｂは、第１の実施形態に係る生成部によって生成される軌跡情報のバリエーションを説明するための図である。 図１０Ｃは、第１の実施形態に係る生成部によって生成される軌跡情報のバリエーションを説明するための図である。 図１０Ｄは、第１の実施形態に係る生成部によって生成される軌跡情報のバリエーションを説明するための図である。 図１０Ｅは、第１の実施形態に係る生成部によって生成される軌跡情報のバリエーションを説明するための図である。 図１０Ｆは、第１の実施形態に係る生成部によって生成される軌跡情報のバリエーションを説明するための図である。 図１０Ｇは、第１の実施形態に係る生成部によって生成される軌跡情報のバリエーションを説明するための図である。 図１１は、第１の実施形態に係る解析部による計測処理の一例を説明するための図である。 図１２Ａは、第１の実施形態に係る生成部によって生成される重畳画像情報のバリエーションを説明するための図である。 図１２Ｂは、第１の実施形態に係る生成部によって生成される重畳画像情報のバリエーションを説明するための図である。 図１２Ｃは、第１の実施形態に係る生成部によって生成される重畳画像情報のバリエーションを説明するための図である。 図１２Ｄは、第１の実施形態に係る生成部によって生成される重畳画像情報のバリエーションを説明するための図である。 図１２Ｅは、第１の実施形態に係る生成部によって生成される重畳画像情報のバリエーションを説明するための図である。 図１２Ｆは、第１の実施形態に係る生成部によって生成される重畳画像情報のバリエーションを説明するための図である。 図１２Ｇは、第１の実施形態に係る生成部によって生成される重畳画像情報のバリエーションを説明するための図である。 図１２Ｈは、第１の実施形態に係る生成部によって生成される重畳画像情報のバリエーションを説明するための図である。 図１２Ｉは、第１の実施形態に係る生成部によって生成される重畳画像情報のバリエーションを説明するための図である。 図１２Ｊは、第１の実施形態に係る生成部によって生成される重畳画像情報のバリエーションを説明するための図である。 図１２Ｋは、第１の実施形態に係る生成部によって生成される重畳画像情報のバリエーションを説明するための図である。 図１２Ｌは、第１の実施形態に係る生成部によって生成される重畳画像情報のバリエーションを説明するための図である。 図１２Ｍは、第１の実施形態に係る生成部によって生成される重畳画像情報のバリエーションを説明するための図である。 図１２Ｎは、第１の実施形態に係る生成部によって生成される重畳画像情報のバリエーションを説明するための図である。 図１３は、第１の実施形態に係る表示制御部の制御によって表示される表示画像の一例を示す図である。 図１４は、第１の実施形態に係る表示制御部の制御によって表示される表示画像の一例を示す図である。 図１５は、第１の実施形態に係る動作情報処理装置によって実現される表示アプリの一例を説明するための図である。 図１６は、第１の実施形態に係る動作情報処理装置によって実現される表示アプリの一例を説明するための図である。 図１７は、第１の実施形態に係る動作情報処理装置によって実現される表示アプリの一例を説明するための図である。 図１８は、第１の実施形態に係る動作情報処理装置によって実現される表示アプリの一例を説明するための図である。 図１９は、第１の実施形態に係る動作情報処理装置によって実現される表示アプリの一例を説明するための図である。 図２０は、第１の実施形態に係る動作情報処理装置による処理の手順を示すフローチャートである。 図２１は、第２の実施形態にかかる表示制御部による警告表示の一例を示す図である。 図２２は、第２の実施形態に係る解析部によって用いられる判定基準の一例を説明するための図である。 図２３は、第３の実施形態に係る動作情報処理装置の詳細な構成の一例を示す図である。 図２４は、第３の実施形態に係る解析部による足の着地点の解析の解析対象の一例を説明するための図である。 図２５Ａは、第３の実施形態に係る解析部によるｚ座標を用いた足の着地点の解析の一例を説明するための図である。 図２５Ｂは、第３の実施形態に係る解析部によるｙ座標を用いた足の着地点の解析の一例を説明するための図である。 図２５Ｃは、第３の実施形態に係る解析部によるｘ座標を用いた足の着地点の解析の一例を説明するための図である。 図２５Ｄは、第３の実施形態に係る解析部によるｚ座標を用いたイレギュラーな着地点の解析の一例を説明するための図である。 図２５Ｅは、第３の実施形態に係る解析部によるｙ座標を用いたイレギュラーな着地点の解析の一例を説明するための図である。 図２５Ｆは、第３の実施形態に係る解析部によるｘ座標を用いたイレギュラーな着地点の解析の一例を説明するための図である。 図２６は、第３の実施形態に係る解析部による計測処理の一例を説明するための図である。 図２７は、第３の実施形態に係る表示制御部の制御によって表示される解析結果の一例を示す図である。 図２８は、第３の実施形態に係る表示制御部の制御によって表示される解析結果の一例を示す図である。 図２９は、第３の実施形態に係る表示制御部の制御によって表示される解析結果の一例を示す図である。 図３０は、第３の実施形態に係る表示制御部の制御によって表示される解析結果の一例を示す図である。 図３１は、第３の実施形態に係る動作情報処理装置による処理の手順を示すフローチャートである。 図３２は、第５の実施形態に係る動作情報処理装置の詳細な構成の一例を示す図である。 図３３は、第５の実施形態に係る深度画像情報記憶部に記憶される情報の一例を示す図である。 図３４は、第５の実施形態に係る抽出部が被写体領域を抽出する第１の抽出処理について説明するための図である。 図３５は、第５の実施形態に係る抽出部のノイズ除去処理について説明するための図である。 図３６は、第５の実施形態に係る抽出部が被写体領域を抽出する第２の抽出処理について説明するための図である。 図３７は、第５の実施形態に係る抽出部が被写体領域を抽出する第３の抽出処理について説明するための図である。 図３８は、第５の実施形態に係る算出部が足の位置を算出する処理を説明するための図である。 図３９は、第５の実施形態に係る表示制御部の制御によって表示される解析結果の一例を示す図である。 図４０は、第５の実施形態に係る動作情報処理装置の処理手順の一例を説明するためのフローチャートである。 図４１は、第５の実施形態に係る動作情報処理装置の処理手順の一例を説明するためのフローチャートである。 図４２は、第６の実施形態に係る抽出部が被写体領域を抽出する処理を説明するための図である。 図４３は、第７の実施形態に係る算出部の処理について説明するための図である。 図４４は、第７の実施形態に係る算出部の処理について説明するための図である。 図４５は、第７の実施形態に係る記憶部に記憶される対応情報の一例を示す図である。 図４６は、第７の実施形態に係る抽出部の処理を説明するための図である。 図４７は、第８の実施形態に係るサービス提供装置に適用される場合の一例を説明するための図である。
以下、図面を参照して、実施形態に係る動作情報処理装置及び方法を説明する。なお、以下で説明する動作情報処理装置は、動作情報処理装置単体として用いられてもよく、或いは、例えば、カルテシステムや、リハビリ部門システムなどのシステムに組み込まれて用いられる場合であってもよい。
（第１の実施形態）
図１は、第１の実施形態に係る動作情報処理装置１００の構成の一例を示す図である。第１の実施形態に係る動作情報処理装置１００は、例えば、医療機関や自宅、職場等において行われるリハビリテーションを支援する装置である。ここで、「リハビリテーション」とは、障害、慢性疾患、老年病など、治療期間が長期にわたる患者の潜在能力を高めて、生活機能ひいては、社会的機能を回復、促進するための技術や方法を指す。かかる技術や方法としては、例えば、生活機能、社会的機能を回復、促進するための機能訓練などが含まれる。ここで、機能訓練としては、例えば、歩行訓練や関節可動域訓練などが挙げられる。また、リハビリテーションの対象となる者を「対象者」と表記する。この対象者は、例えば、病人やけが人、高齢者、障害者等である。また、リハビリテーションが行われる際に、対象者を介助する者を「介助者」と表記する。この介助者は、例えば、医療機関に従事する医師、理学療法士、看護師等の医療従事者や、対象者を自宅で介護する介護士、家族、友人等である。また、リハビリテーションは、「リハビリ」とも略記する。
図１に示すように、第１の実施形態において、動作情報処理装置１００は、動作情報収集部１０に接続される。
動作情報収集部１０は、リハビリテーションが行われる空間における人物や物体等の動作を検知し、人物や物体等の動作を表す動作情報を収集する。なお、動作情報については、後述の動作情報生成部１４の処理を説明する際に詳述する。また、動作情報収集部１０としては、例えば、Ｋｉｎｅｃｔ（登録商標）が用いられる。
図１に示すように、動作情報収集部１０は、カラー画像収集部１１と、距離画像収集部１２と、音声認識部１３と、動作情報生成部１４とを有する。なお、図１に示す動作情報収集部１０の構成は、あくまでも一例であり、実施形態はこれに限定されるものではない。
カラー画像収集部１１は、リハビリテーションが行われる空間における人物や物体等の被写体を撮影し、カラー画像情報を収集する。例えば、カラー画像収集部１１は、被写体表面で反射される光を受光素子で検知し、可視光を電気信号に変換する。そして、カラー画像収集部１１は、その電気信号をデジタルデータに変換することにより、撮影範囲に対応する１フレームのカラー画像情報を生成する。この１フレーム分のカラー画像情報には、例えば、撮影時刻情報と、この１フレームに含まれる各画素にＲＧＢ（Red Green Blue）値が対応付けられた情報とが含まれる。カラー画像収集部１１は、次々に検知される可視光から連続する複数フレームのカラー画像情報を生成することで、撮影範囲を動画撮影する。なお、カラー画像収集部１１によって生成されるカラー画像情報は、各画素のＲＧＢ値をビットマップに配置したカラー画像として出力されても良い。また、カラー画像収集部１１は、受光素子として、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）を有する。
距離画像収集部１２は、リハビリテーションが行われる空間における人物や物体等の被写体を撮影し、距離画像情報を収集する。例えば、距離画像収集部１２は、赤外線を周囲に照射し、照射波が被写体表面で反射された反射波を受光素子で検知する。そして、距離画像収集部１２は、照射波とその反射波との位相差や、照射から検知までの時間に基づいて、被写体と距離画像収集部１２との距離を求め、撮影範囲に対応する１フレームの距離画像情報を生成する。この１フレーム分の距離画像情報には、例えば、撮影時刻情報と、撮影範囲に含まれる各画素に、その画素に対応する被写体と距離画像収集部１２との距離が対応付けられた情報とが含まれる。距離画像収集部１２は、次々に検知される反射波から連続する複数フレームの距離画像情報を生成することで、撮影範囲を動画撮影する。なお、距離画像収集部１２によって生成される距離画像情報は、各画素の距離に応じた色の濃淡をビットマップに配置した距離画像として出力されても良い。また、距離画像収集部１２は、受光素子として、例えば、ＣＭＯＳやＣＣＤを有する。この受光素子は、カラー画像収集部１１で用いられる受光素子と共用されても良い。また、距離画像収集部１２によって算出される距離の単位は、例えば、メートル［ｍ］である。
音声認識部１３は、周囲の音声を集音し、音源の方向特定及び音声認識を行う。音声認識部１３は、複数のマイクを備えたマイクアレイを有し、ビームフォーミングを行う。ビームフォーミングは、特定の方向からの音声を選択的に集音する技術である。例えば、音声認識部１３は、マイクアレイを用いたビームフォーミングによって、音源の方向を特定する。また、音声認識部１３は、既知の音声認識技術を用いて、集音した音声から単語を認識する。すなわち、音声認識部１３は、例えば、音声認識技術によって認識された単語、その単語が発せられた方向及びその単語を認識した時刻が対応付けられた情報を、音声認識結果として生成する。
動作情報生成部１４は、人物や物体等の動作を表す動作情報を生成する。この動作情報は、例えば、人物の動作（ジェスチャー）を複数の姿勢（ポーズ）の連続として捉えることにより生成される。概要を説明すると、動作情報生成部１４は、まず、人体パターンを用いたパターンマッチングにより、距離画像収集部１２によって生成される距離画像情報から、人体の骨格を形成する各関節の座標を得る。距離画像情報から得られた各関節の座標は、距離画像の座標系(以下、「距離画像座標系」と呼ぶ)で表される値である。このため、動作情報生成部１４は、次に、距離画像座標系における各関節の座標を、リハビリテーションが行われる３次元空間の座標系（以下、「世界座標系」と呼ぶ）で表される値に変換する。この世界座標系で表される各関節の座標が、１フレーム分の骨格情報となる。また、複数フレーム分の骨格情報が、動作情報である。以下、第１の実施形態に係る動作情報生成部１４の処理を具体的に説明する。
図２Ａから図２Ｃは、第１の実施形態に係る動作情報生成部１４の処理を説明するための図である。図２Ａには、距離画像収集部１２によって生成される距離画像の一例を示す。なお、図２Ａにおいては、説明の便宜上、線画で表現された画像を示すが、実際の距離画像は、距離に応じた色の濃淡で表現された画像等である。この距離画像において、各画素は、距離画像の左右方向における「画素位置Ｘ」と、距離画像の上下方向における「画素位置Ｙ」と、当該画素に対応する被写体と距離画像収集部１２との「距離Ｚ」とを対応付けた３次元の値を有する。以下では、距離画像座標系の座標の値を、この３次元の値（Ｘ，Ｙ，Ｚ）で表記する。
第１の実施形態において、動作情報生成部１４は、様々な姿勢に対応する人体パターンを、例えば、学習により予め記憶している。動作情報生成部１４は、距離画像収集部１２によって距離画像情報が生成されるごとに、生成された各フレームの距離画像情報を取得する。そして、動作情報生成部１４は、取得した各フレームの距離画像情報に対して人体パターンを用いたパターンマッチングを行う。
ここで、人体パターンについて説明する。図２Ｂには、人体パターンの一例を示す。第１の実施形態において、人体パターンは、距離画像情報とのパターンマッチングに用いられるパターンであるので、距離画像座標系で表現され、また、距離画像に描出される人物と同様、人体の表面の情報（以下、「人体表面」と呼ぶ）を有する。例えば、人体表面は、その人物の皮膚や衣服の表面に対応する。更に、人体パターンは、図２Ｂに示すように、人体の骨格を形成する各関節の情報を有する。すなわち、人体パターンにおいて、人体表面と各関節との相対的な位置関係は既知である。
図２Ｂに示す例では、人体パターンは、関節２ａから関節２ｔまでの２０点の関節の情報を有する。このうち、関節２ａは、頭部に対応し、関節２ｂは、両肩の中央部に対応し、関節２ｃは、腰に対応し、関節２ｄは、臀部の中央部に対応する。また、関節２ｅは、右肩に対応し、関節２ｆは、右肘に対応し、関節２ｇは、右手首に対応し、関節２ｈは、右手に対応する。また、関節２ｉは、左肩に対応し、関節２ｊは、左肘に対応し、関節２ｋは、左手首に対応し、関節２ｌは、左手に対応する。また、関節２ｍは、右臀部に対応し、関節２ｎは、右膝に対応し、関節２ｏは、右足首に対応し、関節２ｐは、右足の足根に対応する。また、関節２ｑは、左臀部に対応し、関節２ｒは、左膝に対応し、関節２ｓは、左足首に対応し、関節２ｔは、左足の足根に対応する。
なお、図２Ｂでは、人体パターンが２０点の関節の情報を有する場合を説明したが、実施形態はこれに限定されるものではなく、関節の位置及び数は操作者が任意に設定して良い。例えば、四肢の動きの変化のみを捉える場合には、関節２ａから関節２ｄまでのうち、関節２ｂ及び関節２ｃの情報は取得しなくても良い。また、右手の動きの変化を詳細に捉える場合には、関節２ｈのみならず、右手の指の関節を新たに設定して良い。なお、図２Ｂの関節２ａ、関節２ｈ、関節２ｌ、関節２ｐ、関節２ｔは、骨の末端部分であるためいわゆる関節とは異なるが、骨の位置及び向きを表す重要な点であるため、説明の便宜上、ここでは関節として説明する。
動作情報生成部１４は、かかる人体パターンを用いて、各フレームの距離画像情報とのパターンマッチングを行う。例えば、動作情報生成部１４は、図２Ｂに示す人体パターンの人体表面と、図２Ａに示す距離画像とをパターンマッチングすることで、距離画像情報から、ある姿勢の人物を抽出する。こうして、動作情報生成部１４は、距離画像に描出された人物の人体表面の座標を得る。また、上述したように、人体パターンにおいて、人体表面と各関節との相対的な位置関係は既知である。このため、動作情報生成部１４は、距離画像に描出された人物の人体表面の座標から、当該人物内の各関節の座標を算出する。こうして、図２Ｃに示すように、動作情報生成部１４は、距離画像情報から、人体の骨格を形成する各関節の座標を取得する。なお、ここで得られる各関節の座標は、距離座標系の座標である。
なお、動作情報生成部１４は、パターンマッチングを行う際、各関節の位置関係を表す情報を補助的に用いても良い。各関節の位置関係を表す情報には、例えば、関節同士の連結関係（例えば、「関節２ａと関節２ｂとが連結」等）や、各関節の可動域が含まれる。関節は、２つ以上の骨を連結する部位である。姿勢の変化に応じて骨と骨とがなす角は変化するものであり、また、関節に応じてその可動域は異なる。例えば、可動域は、各関節が連結する骨同士がなす角の最大値及び最小値等で表される。例えば、動作情報生成部１４は、人体パターンを学習する際に、各関節の可動域も学習し、各関節に対応付けてこれを記憶する。
続いて、動作情報生成部１４は、距離画像座標系における各関節の座標を、世界座標系で表される値に変換する。世界座標系とは、リハビリテーションが行われる３次元空間の座標系であり、例えば、動作情報収集部１０の位置を原点とし、水平方向をｘ軸、鉛直方向をｙ軸、ｘｙ平面に直交する方向をｚ軸とする座標系である。なお、このｚ軸方向の座標の値を「深度」と呼ぶことがある。
ここで、距離画像座標系から世界座標系へ変換する処理について説明する。第１の実施形態において、動作情報生成部１４は、距離画像座標系から世界座標系へ変換するための変換式を予め記憶しているものとする。例えば、この変換式は、距離画像座標系の座標、及び当該座標に対応する反射光の入射角を入力として、世界座標系の座標を出力する。例えば、動作情報生成部１４は、ある関節の座標（Ｘ１，Ｙ１，Ｚ１）、及び、当該座標に対応する反射光の入射角をこの変換式に入力して、ある関節の座標（Ｘ１，Ｙ１，Ｚ１）を世界座標系の座標（ｘ１，ｙ１，ｚ１）に変換する。なお、距離画像座標系の座標と、反射光の入射角との対応関係は既知であるので、動作情報生成部１４は、座標（Ｘ１，Ｙ１，Ｚ１）に対応する入射角を変換式に入力することができる。また、ここでは、動作情報生成部１４が距離画像座標系の座標を世界座標系の座標に変換する場合を説明したが、世界座標系の座標を距離座標系の座標に変換することも可能である。
そして、動作情報生成部１４は、この世界座標系で表される各関節の座標から骨格情報を生成する。図３は、動作情報生成部１４によって生成される骨格情報の一例を示す図である。各フレームの骨格情報は、当該フレームの撮影時刻情報と、各関節の座標とを含む。例えば、動作情報生成部１４は、図３に示すように、関節識別情報と座標情報とを対応付けた骨格情報を生成する。なお、図３において、撮影時刻情報は図示を省略する。関節識別情報は、関節を識別するための識別情報であり、予め設定されている。例えば、関節識別情報「２ａ」は、頭部に対応し、関節識別情報「２ｂ」は、両肩の中央部に対応する。他の関節識別情報についても同様に、各関節識別情報は、それぞれ対応する関節を示す。また、座標情報は、各フレームにおける各関節の座標を世界座標系で示す。
図３の１行目には、関節識別情報「２ａ」と、座標情報「（ｘ１，ｙ１，ｚ１）」とが対応付けられている。つまり、図３の骨格情報は、あるフレームにおいて頭部が座標（ｘ１，ｙ１，ｚ１）の位置に存在することを表す。また、図３の２行目には、関節識別情報「２ｂ」と、座標情報「（ｘ２，ｙ２，ｚ２）」とが対応付けられている。つまり、図３の骨格情報は、あるフレームにおいて両肩の中央部が座標（ｘ２，ｙ２，ｚ２）の位置に存在することを表す。また、他の関節についても同様に、あるフレームにおいてそれぞれの関節がそれぞれの座標で表される位置に存在することを表す。
このように、動作情報生成部１４は、距離画像収集部１２から各フレームの距離画像情報を取得するごとに、各フレームの距離画像情報に対してパターンマッチングを行い、距離画像座標系から世界座標系に変換することで、各フレームの骨格情報を生成する。そして、動作情報生成部１４は、生成した各フレームの骨格情報を、動作情報処理装置１００へ出力し、後述の記憶部１３０へ格納する。
なお、動作情報生成部１４の処理は、上述した手法に限られるものではない。例えば、上述では、動作情報生成部１４が人体パターンを用いてパターンマッチングを行う手法を説明したが、実施形態はこれに限られるものではない。例えば、人体パターンに替えて、若しくは人体パターンとともに、部位別のパターンを用いてパターンマッチングを行う手法でも良い。
また、例えば、上述では、動作情報生成部１４が距離画像情報から各関節の座標を得る手法を説明したが、実施形態はこれに限られるものではない。例えば、動作情報生成部１４が、距離画像情報とともにカラー画像情報を用いて各関節の座標を得る手法でも良い。この場合、例えば、動作情報生成部１４は、カラー画像の座標系で表現された人体パターンとカラー画像情報とでパターンマッチングを行い、カラー画像情報から人体表面の座標を得る。このカラー画像の座標系には、距離画像座標系でいう「距離Ｚ」の情報は含まれない。そこで、動作情報生成部１４は、例えば、この「距離Ｚ」の情報については距離画像情報から得て、これら２つの情報を用いた計算処理によって、各関節の世界座標系の座標を得る。
また、動作情報生成部１４は、カラー画像収集部１１によって生成されたカラー画像情報、距離画像収集部１２によって生成された距離画像情報及び音声認識部１３によって出力された音声認識結果を、必要に応じて動作情報処理装置１００へ適宜出力し、後述の記憶部１３０へ格納する。なお、カラー画像情報の画素位置及び距離画像情報の画素位置は、カラー画像収集部１１及び距離画像収集部１２の位置及び撮影方向に応じて予め対応付け可能である。このため、カラー画像情報の画素位置及び距離画像情報の画素位置は、動作情報生成部１４によって算出される世界座標系とも対応付けが可能である。更に、この対応付けと距離画像収集部１２により算出される距離［ｍ］を用いることで、身長や体の各部の長さ（腕の長さや腹部の長さ）を求めたり、カラー画像上で指定された２ピクセル間の距離を求めたりすることが可能である。また、同様に、カラー画像情報の撮影時刻情報及び距離画像情報の撮影時刻情報も、予め対応付け可能である。また、動作情報生成部１４は、音声認識結果と距離画像情報とを参照し、ある時刻に音声認識された単語が発せられた方向の付近に関節２ａがあれば、その関節２ａを含む人物が発した単語として出力可能である。更に、動作情報生成部１４は、各関節の位置関係を表す情報についても、必要に応じて動作情報処理装置１００へ適宜出力し、後述の記憶部１３０へ格納する。
また、動作情報生成部１４は、世界座標系のｚ軸方向の座標の値である深度を用いて、撮影範囲に対応する１フレームの深度画像情報を生成する。この１フレーム分の深度画像情報には、例えば、撮影時刻情報と、撮影範囲に含まれる各画素に、その画素に対応する深度が対応付けられた情報とが含まれる。言い換えると、深度画像情報は、距離画像情報の各画素に対応付けられた距離情報に代えて深度情報を対応付けたものであり、距離画像情報と同様の距離画像座標系で各画素位置を表すことができる。動作情報生成部１４は、生成した深度画像情報を動作情報処理装置１００へ出力し、後述の記憶部１３０に格納する。なお、深度画像情報は、各画素の深度に応じた色の濃淡をビットマップに配置した深度画像として出力されても良い。
なお、ここでは、動作情報収集部１０によって一人の人物の動作が検知される場合を説明したが、実施形態はこれに限定されるものではない。動作情報収集部１０の撮影範囲に含まれていれば、動作情報収集部１０は、複数人の人物の動作を検知しても良い。なお、同一フレームの距離画像情報に複数人の人物が撮影される場合には、動作情報収集部１０は、同一フレームの距離画像情報から生成される複数人の人物の骨格情報を対応付けて、これを動作情報として動作情報処理装置１００へ出力する。
また、動作情報収集部１０の構成は、上記の構成に限定されるものではない。例えば、光学式、機械式、磁気式等、他のモーションキャプチャによって人物の動作を検出することで動作情報を生成する場合には、動作情報収集部１０は、必ずしも距離画像収集部１２を有していなくても良い。かかる場合、動作情報収集部１０は、モーションセンサとして、人物の動作を検知するために人体に装着させるマーカと、マーカを検出するセンサとを有する。そして、動作情報収集部１０は、モーションセンサを用いて人物の動作を検知して動作情報を生成する。また、動作情報収集部１０は、カラー画像収集部１１によって撮影した画像に含まれるマーカの位置を用いて、カラー画像情報の画素位置と動作情報の座標とを対応付けた上で、必要に応じて動作情報処理装置１００へ適宜出力する。また、例えば、動作情報収集部１０は、音声認識結果を動作情報処理装置１００へ出力しない場合には、音声認識部１３を有していなくても良い。
更に、上述した実施形態において、動作情報収集部１０は、骨格情報として世界座標系の座標を出力したが、実施形態はこれに限られるものではない。例えば、動作情報収集部１０は、変換前の距離画像座標系の座標を出力し、距離画像座標系から世界座標系への変換は、必要に応じて、動作情報処理装置１００側で行ってもよい。
図１の説明に戻る。動作情報処理装置１００は、動作情報収集部１０から出力される動作情報を用いて、リハビリテーションを支援するための処理を行う。具体的には、動作情報処理装置１００は、動作情報収集部１０によって収集された歩行訓練を行う対象者の動作情報を用いて、歩行状況を評価しやすい表示情報を生成して表示する。また、動作情報処理装置１００は、動作情報収集部１０によって収集された歩行訓練を行う対象者の動作情報を解析する。
上述したように、従来、リハビリテーションの機能訓練の一つとして、歩行訓練が行われている。歩行訓練においては、対象者によって実行された歩行を医師や理学療法士などが観察して、当該対象者の歩行状況が評価される。例えば、歩行訓練においては、足の運びや、上半身のぶれ、歩く速度、歩幅、歩隔などの種々の歩行状況が評価される。ここで、従来においては、医師や理学療法士ごとにこれらの歩行状況の評価にブレが生じる場合があった。そこで、本実施形態に係る動作情報処理装置１００は、歩行状況を評価しやすい表示情報を提供することで、歩行状況の評価のブレを抑制することを可能にするように構成される。また、本実施形態に係る動作情報処理装置１００は、対象者の歩行における足の着地点を含む歩行状態を解析することで、歩行状況の評価を容易にすることを可能にするように構成される。
例えば、動作情報処理装置１００は、コンピュータ、ワークステーション等の情報処理装置であり、図１に示すように、出力部１１０と、入力部１２０と、記憶部１３０と、制御部１４０とを有する。
出力部１１０は、リハビリテーションを支援するための各種情報を出力する。具体的には、出力部１１０は、歩行状況を評価するための各種情報を出力する。また、出力部１１０は、対象者の歩行状態に係る各種情報などを出力する。例えば、出力部１１０は、動作情報処理装置１００を操作する操作者が入力部１２０を用いて各種要求を入力するためのＧＵＩ（Graphical User Interface）を表示したり、動作情報処理装置１００において生成された表示情報や、出力画像などを表示したり、或いは警告音を出力したりする。また、例えば、出力部１１０は、動作情報処理装置１００において解析された対象者の歩行状態に係る情報を表示したり、或いは警告音を出力したりする。例えば、出力部１１０は、モニタ、スピーカー、ヘッドフォン、ヘッドセットのヘッドフォン部分等である。また、出力部１１０は、メガネ型ディスプレイやヘッドマウントディスプレイ等、利用者の身体に装着させる方式のディスプレイであってもよい。
入力部１２０は、リハビリテーションを支援するための各種情報の入力を受け付ける。具体的には、入力部１２０は、歩行状況を評価するための各種情報の入力を受け付ける。また、入力部１２０は、歩行状態の解析に係る各種情報の入力を受け付ける。例えば、入力部１２０は、動作情報処理装置１００の操作者から各種要求（例えば、表示情報の選択要求や、解析が所望される項目の選択要求、ＧＵＩ上で計測を実行させるための計測要求など）の入力を受け付け、受け付けた各種要求を動作情報処理装置１００に転送する。例えば、入力部１２０は、マウス、キーボード、タッチコマンドスクリーン、トラックボール、マイク、ヘッドセットのマイク部分等である。また、入力部１２０は、血圧計、心拍計、体温計等の生体情報を取得するセンサであっても良い。
記憶部１３０は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、ハードディスク装置や光ディスク装置等の記憶装置である。また、制御部１４０は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路、或いはＣＰＵ（Central Processing Unit）が所定のプログラムを実行することで実現することができる。
以上、第１の実施形態に係る動作情報処理装置１００の構成について説明した。かかる構成のもと、第１の実施形態に係る動作情報処理装置１００は、以下、詳細に説明する構成により、歩行状況を評価しやすい表示情報を提供する。ここで、本願に係る動作情報処理装置１００は、上述した歩行状況を評価しやすい表示情報を提供することに加えて、歩行状況の評価を容易にし、また、臨床上有用な歩行解析を行うことができるように構成される。以下、第１及び第２の実施形態において、歩行状況を評価しやすい表示情報を提供する動作情報処理装置について説明し、第３及び第４の実施形態において、歩行状況の評価を容易にする動作情報処理装置について説明し、第５〜第７の実施形態において、臨床上有用な歩行解析を行う動作情報処理装置について説明する。
図４は、第１の実施形態に係る動作情報処理装置１００の詳細な構成の一例を示す図である。まず、動作情報処理装置１００における記憶部１３０の詳細について説明する。図４に示すように、動作情報処理装置１００においては、例えば、記憶部１３０が動作情報記憶部１３０１と、解析情報記憶部１３０２と、表示情報記憶部１３０３とを備える。
動作情報記憶部１３０１は、動作情報収集部１０によって収集された各種情報を記憶する。具体的には、動作情報記憶部１３０１は、動作情報生成部１４によって生成された動作情報を記憶する。より具体的には、動作情報記憶部１３０１は、動作情報生成部１４によって生成されたフレームごとの骨格情報を記憶する。ここで、動作情報記憶部１３０１、動作情報生成部１４によって出力されたカラー画像情報、距離画像情報及び音声認識結果をフレームごとにさらに対応付けて記憶することも可能である。
図５は、第１の実施形態に係る動作情報記憶部１３０１によって記憶される動作情報の一例を示す図である。動作情報記憶部１３０１は、図５に示すように、氏名ごとに、氏名番号と、実施日と、動作情報とを対応付けた動作情報を記憶する。ここで、「氏名番号」とは、対象者を一意に特定するための識別子であり、氏名ごとに付与される。「実施日」とは、対象者が歩行訓練を実施した日時を示す。「動作情報」とは、動作情報収集部１０によって収集された情報を示す。
例えば、動作情報記憶部１３０１は、図５に示すように、「氏名：Ａ、氏名番号：１、実施日：２０１２０８０１＿１、動作情報：カラー画像情報、距離画像情報、音声認識結果、骨格情報、・」を記憶する。上記した情報は、「氏名番号」が「１」である「氏名：Ａ」の人物が「２０１２年」の「８月１日」に実施した「１回目」の歩行における動作情報として、「カラー画像情報」と、「距離画像情報」と、「音声認識結果」と、「骨格情報」とを含む動作情報が記憶されていることを示す。
ここで、図５に示す動作情報においては、歩行動作を実行している際に撮影された全てのフレームごとの「カラー画像情報」、「距離画像情報」、「音声認識結果」及び「骨格情報」が時系列順に時間に対応付けて記憶される。
また、動作情報記憶部１３０１は、図５に示すように、「氏名：Ａ、氏名番号：１、実施日：２０１２０８０１＿２、動作情報：カラー画像情報、距離画像情報、音声認識結果、骨格情報、・」を記憶する。すなわち、動作情報記憶部１３０１は、「氏名：Ａ」の人物が「２０１２年」の「８月１日」に実施した「２回目」の歩行における動作情報も同様に記憶する。
また、動作情報記憶部１３０１は、図５に示すように、「氏名：Ｂ、氏名番号：２」の人物についても、「カラー画像情報」、「距離画像情報」、「音声認識結果」及び「骨格情報」を含む動作情報を記憶する。このように、動作情報記憶部１３０１は、対象者ごとに収集された歩行の動作情報を、それぞれの対象者に対応付けて記憶する。なお、図５に示す動作情報はあくまでも一例である。すなわち、動作情報記憶部１３０１は、図５に示す「カラー画像情報」、「距離画像情報」、「音声認識結果」及び「骨格情報」以外の情報がさらに対応付けて記憶することができ、また、例えば、動作情報収集部１０が音声認識部１３を有さない場合には、音声認識結果を含まれないものとして記憶することとなる。
また、動作情報に含まれる「カラー画像情報」及び「距離画像情報」には、ＢＩＴ ＭＡＰ、ＪＰＥＧ、その他バイナリ形式の画像データ、または、当該画像データへのリンク等が含まれる。また、動作情報に含まれる「音声認識結果」には、上述した認識情報の他、音声データそのものや、認識情報或いは音声データへのリンクであってもよい。
解析情報記憶部１３０２は、後述する制御部１４０による解析結果を記憶する。具体的には、解析情報記憶部１３０２は、後述する制御部１４０が動作情報記憶部１３０１によって記憶された動作情報を用いて解析した解析結果を記憶する。図６は、第１の実施形態に係る解析情報記憶部１３０２によって記憶される解析情報の一例を示す図である。ここで、「氏名番号」とは、対象者を一意に特定するための識別子であり、氏名ごとに付与される。「実施日」とは、対象者が歩行訓練を実施した日時を示す。「解析情報」とは、後述する制御部１４０によって解析された解析結果の情報を示す。
例えば、解析情報記憶部１３０２は、図６に示すように、「氏名：Ａ、氏名番号：１、実施日：２０１２０８０１＿１、解析情報：足の着地点、角度、速度、加速度、歩数、歩幅、重複歩行距離、歩隔、歩行率、・」を記憶する。上記した情報は、「氏名番号」が「１」である「氏名：Ａ」の人物が「２０１２年」の「８月１日」に実施した「１回目」の歩行における動作情報を用いて解析された解析結果の情報として、「足の着地点」と、「角度」と、「速度」と、「加速度」と、「歩数」と、「歩幅」と、「重複歩行距離」と、「歩隔」と、「歩行率」とを含む解析情報が記憶されていることを示す。
ここで、「足の着地点」とは、対象者の足が地面についた位置を示す情報であり、例えば、座標情報として記憶される。また、「角度」とは、対象者の歩行中の体の角度を示す情報であり、所定の基準に対する体の部位の角度の情報が記憶される。例えば、解析情報記憶部１３０２は、解析情報の「角度」として、鉛直方向に対する体の角度などの情報を記憶する。なお、解析情報の「角度」の情報は、基準と体の部位が操作者によって任意に設定される。また、「速度」とは、歩行時の対象者の速度を示す情報であり、例えば、所定の部位（体の中心など）の速度の情報が記憶される。また、「加速度」とは、歩行時の対象者の加速度を示す情報であり、例えば、所定の部位の加速度の情報が記憶される。また、「歩数」とは、対象者が歩行訓練で歩いた歩数を示す情報である。また、「歩幅」とは、対象者の歩行において右足（左足）の着地点から左足（右足）の着地点までの進行方向の距離を示す情報である。また、「重複歩行距離」とは、片足が着地してから、再び着地するまでの距離を示す情報である。また、「歩隔」とは、対象者の歩行において右足（左足）の着地点から左足（右足）の着地点までの進行方向に直交する方向の距離を示す情報である。また、「歩行率」とは、単位時間あたりの歩数を示す情報である。
同様に、解析情報記憶部１３０２は、図６に示すように、「氏名：Ｂ、氏名番号：２」の人物についても、「足の着地点」、「角度」、「速度」と、「加速度」と、「歩数」と、「歩幅」と、「重複歩行距離」と、「歩隔」と、「歩行率」とを含む解析情報を記憶する。このように、解析情報記憶部１３０２は、対象者ごとに収集された歩行の動作情報が後述する制御部１４０によって解析された解析情報を、それぞれの対象者に対応付けて記憶する。なお、図６に示す解析情報はあくまでも一例であり、例えば、その他にも、歩行時間や、足が着地している時間などが含まれてもよい。解析情報に含まれる種々の情報は、後述する制御部１４０に対する操作者の設定によって任意に変更され、例えば、図６に示す情報のうち、いずれかの項目が算出されない場合もある。
図４に戻って、表示情報記憶部１３０３は、後述する制御部１４０によって生成された表示情報を記憶する。具体的には、表示情報記憶部１３０３は、後述する制御部１４０によって生成された対象者の歩行状況が評価しやすい表示情報を記憶する。なお、表示情報の詳細については、後述する。
次に、動作情報処理装置１００の制御部１４０の詳細について説明する。図４に示すように、動作情報処理装置１００においては、例えば、制御部１４０が取得部１４０１と、解析部１４０２と、生成部１４０３と、表示制御部１４０４とを備える。
取得部１４０１は、歩行訓練を実行する対象者の動作情報を取得する。具体的には、取得部１４０１は、動作情報収集部１０によって収集され、動作情報記憶部１３０１によって記憶された動作情報を取得する。例えば、取得部１４０１は、後述する解析部１４０２による解析内容に応じて、動作情報記憶部１３０１によってフレームごとに記憶されたカラー画像情報、距離画像情報、音声認識結果及び骨格情報のうち少なくとも一つを取得する。
一例を挙げると、後述する解析部１４０２によって足の着地点、角度、速度などが解析される場合に、取得部１４０１は、対象者の歩行訓練における一連の歩行動作にかかる全てのカラー画像情報、距離画像情報及び骨格情報を取得する。
解析部１４０２は、取得部１４０１によって取得された歩行動作を実行する対象者の動作情報を用いて、種々の解析を実行する。具体的には、解析部１４０２は、取得部１４０１によって取得されたカラー画像情報、距離画像情報、音声認識結果及び骨格情報などの動作情報を用いて、対象者の歩行時の足の着地点、角度、速度、加速度、歩数、歩幅、重複歩行距離、歩隔、歩行率などの解析情報を算出して、算出した解析結果を解析情報記憶部１３０２に格納する。
まず、足の着地点を解析する場合について説明する。図７Ａ及び図７Ｂは、第１の実施形態に係る解析部１４０２による足の着地点の解析の一例を説明するための図である。図７Ａ及び図７Ｂにおいては、動作情報収集部１０によって収集された動作情報における骨格情報を用いて、対象者の足の着地点を算出する場合について示す。図７Ａは、動作情報収集部１０によって収集された１フレームの骨格情報について模式的に示す。また、図７Ｂは、足の着地点の算出の一例を示す。
ここで、まず、対象者の足の着地点を算出する場合には、例えば、医師や理学療法士などの操作者が入力部１２０を介して解析の指示要求を入力する。このとき、操作者は、対象者の氏名や氏名番号、実施日などを入力することで、取得部１４０１に所望の動作情報を取得させる。取得部１４０１は、入力部１１０を介して受付けた対象者の該当する動作情報を動作情報記憶部１３０１から取得する。なお、歩行訓練とともにリアルタイムで処理が実行される場合には、操作者からの操作を受けつけずに、自動で動作情報を取得するように設定することも可能である。
例えば、取得部１４０１は、図７Ａに示すように、指定された対象者のフレームごとの骨格情報を動作情報記憶部１３０１から取得する。解析部１４０２は、取得部１４０１によって取得された骨格情報を用いて対象者の足が地面についた着地点を算出する。例えば、解析部１４０２は、図７Ａに示すように、歩行訓練を実行している対象者の骨格情報における足の各部位に対応する関節の座標情報を用いて着地点を算出する。
一例を挙げると、解析部１４０２は、右足の足根に対応する関節「２ｐ」、及び、左足の足根に対応する関節「２ｔ」の座標情報を用いて、対象者の着地点を算出する。例えば、解析部１４０２は、右足の足根に対応する関節「２ｐ」及び左足の足根に対応する関節「２ｔ」それぞれのｚ座標の値を、全てのフレームから取得して、図７Ｂに示すように、縦軸を座標、横軸を時間としたグラフとする。
すなわち、解析部１４０２は、図７Ｂに示すように、左足の足根のｚ座標の時間における変化を示す曲線２１と、右足の足根のｚ座標の時間における変化を示す曲線２２とを算出する。そして、解析部１４０２は、例えば、各曲線における単位時間あたりのｚ座標の値の変化が所定の閾値以下となっている時点を足が地面についている時点と判定する。
例えば、図７Ｂに示すように、解析部１４０２は、左足の足根のｚ座標の時間における変化を示す曲線２１において、単位時間あたりの座標の変化が所定の閾値以下となっている時点３１を足が地面についた時点と判定する。同様に、解析部１４０２は、図７Ｂに示すように、右足の足根のｚ座標の時間における変化を示す曲線２２において、単位時間あたりの座標の変化が所定の閾値以下となっている時点３２を足が地面についた時点と判定する。解析部１４０２は、足が地面についたと判定した時点に相当するフレームの骨格情報を生成部１４０３に出力する。
なお、上述した例は、あくまでも一例であり、用いられる座標は上記した例に限られない。すなわち、足根のｚ座標だけではなく、例えば、足首のｚ座標、或いは、膝のｚ座標が用いられる場合であってもよい。また、単一の関節だけではなく、例えば、足根及び膝の２つの関節のｚ座標の変化を用いて総合的に判定する場合であってもよい。また、用いられる座標は、ｚ座標だけではなく、例えば、ｙ座標、又はｘ座標が用いられる場合であってもよい。
一例を挙げると、ｙ座標を用いる場合には、解析部１４０２は、各関節におけるｙ座標の値（各関節の高さ）から足が地面についているか否かを判定する。すなわち、解析部１４０２は、関節のｙ座標の値が所定の閾値以下である場合に、足が地面についていると判定する。なお、所定の閾値は関節ごとに任意に設定される。また、ｘ座標を用いる場合には、解析部１４０２は、ｘ座標の値が略一定である場合に足が地面についていると判定する。すなわち、対象者が歩行している際に、地面に着いている側の足の関節のｘ座標の値の変化はほとんどないが、足が宙にういている場合には、ｘ座標の値が小刻みに変化する。そこで、解析部１４０２は、ｘ座標の値が略一定である場合に足が地面についていると判定する。
また、座標について、複数の座標を総合的に用いて判定される場合であってもよい。例えば、ｚ座標の変化とｙ座標の変化をそれぞれ解析して、それぞれの解析結果に基づいて、足が地面についたか否かを判定する場合であってもよい。また、各座標の値に対して、所定の係数を加える場合であってもよい。例えば、ｙ座標の値に係数「α」を加えた上で、判定される場合であってもよい。
また、上述したように、解析部１４０２は、足が着地したことを判定するだけではなく、足が浮いていることを判定することもできる。例えば、解析部１４０２は、ｚ座標の単位時間当たりの値の変化が所定の閾値を超えている場合に、足が浮いていると判定する。また、例えば、解析部１４０２は、ｙ座標の値が所定の閾値を超えている場合に、足が浮いていると判定する。また、例えば、解析部１４０２は、ｘ座標の値が小刻みに変化している場合に、足が浮いていると判定する。そして、解析部１４０２は、浮いていると判定した足とは反対側の足が地面に着いていると判定する。例えば、解析部１４０２は、歩行中に右足が浮いていれば、左足は着地していると判定できる。また、予め地面の座標をシステムにインプットしておくことで、解析部１４０２は、足が地面の座標に近くなった場合に、着地していると判定することも可能である。
上述したように、解析部１４０２は、足の着地点の位置（座標）を解析する。これにより、解析部１４０２は、例えば、解析した着地点の位置を基に、重複歩距離、歩幅、歩隔、歩数、歩行率、歩行時間、足が着地している時間などを解析する。すなわち、解析部１４０２は、着地点の座標を用いて、上記した種々の情報を解析する。ここで、解析部１４０２は、重複歩距離、歩幅、歩隔などを、歩行の方向を基準にして算出することが可能である。
なお、上述した例では、対象者が深度方向（ｚ軸方向）を歩行する場合（ｚ軸に沿って歩く場合）を例に挙げて説明した。しかしながら、対象者の歩行の方向は任意であり、解析部１４０２は、それに対応することができる。すなわち、解析部１４０２は、対象者の歩行の進行方向を解析して、上述した手法により足の着地点を判定することができる。
次に、角度を解析する場合について説明する。図８は、第１の実施形態に係る解析部１４０２による角度の解析の第１の例を説明するための図である。図８においては、動作情報収集部１０によって収集された動作情報における骨格情報を用いて、対象者の歩行時の体の所定の部位における角度を算出する場合について示す。図８の（Ａ）は、歩行訓練を実行している対象者の世界座標系における骨格情報について示す。また、図８の（Ｂ）〜（Ｄ）は、角度の算出の例を示す。
解析部１４０２は、取得部１４０１によって取得されたフレームごとの骨格情報を用いて、所定の基準に対する対象者の体の所定の部位の角度を算出する。例えば、図８の（Ａ）に示すように、世界座標系の所定の空間（動作情報収集部１０によって座標情報を収集することが可能な空間）において、ｚ軸方向に沿った矢印の向きで対象者が歩行訓練を実行した場合に、解析部１４０２は、種々の角度を算出することが可能である。
例えば、解析部１４０２は、図８の（Ｂ）に示すように、ｘｙ平面における鉛直方向に対する頭に対応する関節「２ａ」から臀部の中央部に対応する関節「２ｄ」までの軸（体軸）の角度「θ１」を算出する。かかる場合には、解析部１４０２は、所定のフレームにおける頭に対応する関節「２ａ」における座標情報（ｘ１，ｙ１）と、臀部の中央部に対応する関節「２ｄ」の座標情報（ｘ４，ｙ４）とを通過する直線を算出して、算出した直線とｙ軸と平行の直線とのなす角度を角度「θ１」として算出する。すなわち、解析部１４０２は、対象者を前方から見た場合の左右への角度（対象者のとって左右の角度）の度合いを算出する。
また、例えば、解析部１４０２は、図８の（Ｃ）に示すように、ｘｚ平面における水平方向に対する右肩に対応する関節「２ｅ」から左肩に対応する関節「２ｉ」までの軸の角度「θ２」を算出する。かかる場合には、解析部１４０２は、所定のフレームにおける右肩に対応する関節「２ｅ」における座標情報（ｘ５，ｚ５）と、左肩に対応する関節「２ｉ」の座標情報（ｘ９，ｚ９）とを通過する直線を算出して、算出した直線とｘ軸と平行の直線とのなす角度を角度「θ２」として算出する。すなわち、解析部１４０２は、対象者を上方から見た場合の体軸を中心とする回転方向の体のブレの度合いを算出する。
また、例えば、解析部１４０２は、図８の（Ｄ）に示すように、ｙｚ平面における鉛直方向に対する頭に対応する関節「２ａ」から臀部の中央部に対応する関節「２ｄ」までの軸（体軸）の角度「θ３」を算出する。かかる場合には、解析部１４０２は、所定のフレームにおける頭に対応する関節「２ａ」における座標情報（ｙ１，ｚ１）と、臀部の中央部に対応する関節「２ｄ」の座標情報（ｙ４，ｚ４）とを通過する直線を算出して、算出した直線とｙ軸と平行の直線とのなす角度を角度「θ３」として算出する。すなわち、解析部１４０２は、対象者を横から見た場合の左右への角度（対象者にとって前後の角度）の度合いを算出する。
また、解析部１４０２は、所定の基準として対象者の体の一部を用いることも可能である。図９は、第１の実施形態に係る解析部１４０２による角度の解析の第２の例を説明するための図である。図９においては、動作情報収集部１０によって収集された動作情報における骨格情報を用いて、対象者の体の一部に対する対象者の歩行時の体の所定の部位における角度を算出する場合について示す。図９の（Ａ）は、歩行訓練を実行している対象者の世界座標系における骨格情報について示す。また、図９の（Ｂ）は、角度の算出の例を示す。
解析部１４０２は、取得部１４０１によって取得されたフレームごとの骨格情報を用いて、対象者の体の一部に対する対象者の体の所定の部位の角度を算出する。例えば、図９の（Ａ）に示すように、世界座標系の所定の空間（動作情報収集部１０によって座標情報を収集することが可能な空間）において、ｚ軸方向に沿った矢印の向きで対象者が歩行訓練を実行した場合に、解析部１４０２は、対象者の体の一部に対する対象者の体の所定の部位における種々の角度を算出することが可能である。
例えば、解析部１４０２は、図９の（Ｂ）に示すように、右肩に対応する関節「２ｅ」と右肘に対応する関節「２ｆ」とを結ぶ骨に対する右肘に対応する関節「２ｆ」と右手首に対応する関節「２ｇ」とを結ぶ骨の角度「θ４」を算出する。すなわち、解析部１４０２は、歩行動作中の対象者の右腕（右肘）の角度を解析する。かかる場合には、解析部１４０２は、所定のフレームにおける右肩に対応する関節「２ｅ」における座標情報（ｘ５，ｙ５，ｚ５）と、右肘に対応する関節「２ｆ」の座標情報（ｘ６，ｙ６，ｚ６）とを通過する直線を算出する。さらに、解析部１４０２は、右肘に対応する関節「２ｆ」の座標情報（ｘ６，ｙ６，ｚ６）と、右手首に対応する関節「２ｇ」の座標情報（ｘ７，ｙ７，ｚ７）とを通過する直線を算出する。そして、解析部１４０２は、算出した２本の直線のなす角度を角度「θ４」として算出する。
このように、解析部１４０２は、動作情報収集部１０によって収集されたフレームごとの骨格情報の座標情報（ｘ，ｙ，ｚ）を用いて、所定の基準に対する対象者の所定の部位の角度を算出することができる。ここで、図８の（Ｂ）〜（Ｄ）及び図９の（Ｂ）に示す例はあくまでも一例に過ぎない。すなわち、解析部１４０２は、操作者のよって任意に設定される基準に対する任意に選択される体の部位の角度をフレームごとに算出することができる。
ここで、算出される角度については、上述したように任意に設定することができるが、例えば、「関節可動域表示ならびに測定法（日本整形外科学会と日本リハビリテーション医学会）：http://ci.nii.ac.jp/naid/110001856130」で規定されている角度を算出するように設定することができる。また、例えば、設定される基準として、体の基準面（矢状面、水平面、前額面）を用いることが可能である。また、例えば、対象者の初期状態を基準としてプリセットし、歩行時の状態と初期状態との差分を解析することも可能である。
次に、速度を解析する場合について説明する。解析部１４０２は、速度を解析する場合には、所定時間（例えば、０．５秒）ごとに対象者の所定の部位に対応する座標が移動した移動距離［ｍ］を算出する。そして、解析部１４０２は、算出した所定時間当たりの移動距離に基づいて、対象者の移動速度［ｍ／秒］を所定時間ごとに算出する。ここで、解析部１４０２は、歩行訓練を行っている間の対象者の移動速度の平均値を、対象者が歩く速度として算出することも可能である。一例を挙げると、解析部１４０２は、操作者が入力部１２０を介して指示した部位（例えば、いずれかの関節、或いは、各関節から導出される体の部位）の移動速度を算出する。
また、解析部１４０２は、算出した速度を用いて加速度を算出する。具体的には、解析部１４０２は、上述した手法により算出した単位時間あたりの速度を用いて、加速度（単位時間あたりの速度の変化率）を算出する。
上述したように、解析部１４０２は、取得部１４０１によって取得された対象者のフレームごとの骨格情報を用いて、種々の解析を実行する。ここで、解析部１４０２は、上述した解析を自動で実行してもよく、或いは、操作者による操作のもと実行する場合であってもよい。また、解析部１４０２は、解析結果を用いて、対象者の歩行が所定の基準を満たす歩行（安定した歩行）であるか否かを判定して、判定結果を表示制御部１４０４に出力する。なお、解析部１４０２による判定については、後述する。さらに、解析部１４０２は、操作者による操作のもと実行する解析として、距離の測定などを実行することができる。なお、解析部１４０２による距離の測定については、後に詳述する。
図４に戻って、生成部１４０３は、後述する表示制御部１４０４の制御によって出力部１１０に表示される表示情報を生成する。具体的には、生成部１４０３は、取得部１４０１によって取得された動作情報に基づいて、対象者の足の着地点の位置を示した軌跡情報を生成する。また、生成部１４０３は、対象者の体の所定の部位の角度の情報をカラー画像情報に重畳させた重畳画像情報を生成する。ここで、所定の部位の角度とは、対象者の進行方向の前後のゆれを示す回転角度及び対象者の上下方向のゆれを示す回転角度のうち、少なくとも一方である。換言すると、所定の部位の角度とは、垂直方向（鉛直方向）の軸周りの回転角度及び進行方向の軸周りの回転角度である。
さらに、生成部１４０３は、取得部１４０１によって取得された動作情報に基づいて、足の着地点の位置の軌跡に加えて、対象者の移動の軌跡を示した軌跡情報を生成する。ここで、対象者の移動の軌跡は、対象者の特徴位置の移動軌跡である。また、特徴位置は、対象者の所定の部位の位置、複数の部位の位置を用いて求められた位置、対象者の複数の中心位置及び前記対象者の重心位置のうち、少なくとも一つである。以下、軌跡情報の生成と、重畳画像情報の生成とを順に説明する。まず、軌跡情報の生成においては、生成部１４０３は、解析部１４０２によって解析され、解析情報記憶部１３０２に記憶された解析結果「足の着地点」などの情報を用いて、軌跡情報を生成する。
図１０Ａ〜図１０Ｇは、第１の実施形態に係る生成部１４０３によって生成される軌跡情報のバリエーションを説明するための図である。図１０Ａ〜図１０Ｇにおいては、動作情報収集部１０によって動作情報を収集することが可能な空間において足の着地点と体の移動した軌跡を２次元で示した図を示す。すなわち、図１０Ａ〜図１０Ｇにおいては、足跡と体の移動の軌跡を上から見た場合の図（図８の（Ａ）の座標空間において、ｘｚ平面上に足跡と体の軌跡を示した図）を示す。なお、図１０Ａ〜図１０Ｇにおいては、歩行を縦方向に示す場合の軌跡情報を用いて説明するが、実施形態はこれに限定されるものではなく、例えば、歩行を横方向に示す場合や、歩行を鳥瞰図で示す場合の軌跡情報であってもよい。
ここで、図１０Ａ〜図１０Ｇにおいては、対象者が直線状に歩行訓練を実行する際に、歩くラインを中心として、左右に１ｍずつ、歩行する方向に４ｍの領域で軌跡情報を示す。なお、この領域は、動作情報収集部１０による動作情報の取得エリアの大きさを超えないものであれば、任意に設定することができる。また、図１０Ａ〜図１０Ｇにおいては、各図に示す軌跡情報の上側から歩行が実行される場合について示す。
例えば、生成部１４０３は、図１０Ａに示すように、対象者が歩行訓練を実行した世界座標系のｘｚ座標を縦４ｍ、横２ｍの領域で示し、当該領域内に対象者の足跡３３と、対象者の体の軌跡２３とを示した軌跡情報を生成する。かかる情報を生成する場合には、生成部１４０３は、まず、解析部１４２によって解析された対象者の足の着地点の情報を解析情報記憶部１３０２から取得する。そして、生成部１４０３は、取得した対象者の足の着地点の情報から、対象者の足が地面についた時点の情報を取得する。
さらに、生成部１４０３は、取得した時点の右足の足根に対応する関節「２ｐ」の座標及び左足の足根に対応する関節「２ｔ」座標の値を、動作情報記憶部１３０１からそれぞれ取得する。すなわち、生成部１４０３は、足が地面についた時点に対応するフレームの骨格情報から関節「２ｐ」及び「２ｔ」の座標情報をそれぞれ取得する。その後、生成部１４０３は、取得した右足の足根に対応する関節「２ｐ」の座標（ｘ１６，ｚ１６）と、左足の足根に対応する関節「２ｔ」の座標（ｘ２０，ｚ２０）とを、縦４ｍ、横２ｍの領域のｘｚ座標上に点で示した軌跡情報を生成する。
生成部１４０３は、対象者が歩行訓練を実行している間、対象者の右足及び左足が地面についた時点ごとに、上述した処理を実行して、対象者が歩行訓練を行った際の、対象者の足の着地点を点として示した軌跡情報を生成する。
さらに、生成部１４０３は、縦４ｍ、横２ｍの領域のｘｚ座標上に、対象者の所定の部位が歩行中に移動した軌跡を示す軌跡情報を生成する。すなわち、生成部１４０３は、図１０Ａに示すように、対象者の所定の部位（例えば、体の中心など）の移動した軌跡２３を示す軌跡情報を生成する。かかる場合には、生成部１４０３は、移動軌跡をトレースする部位のフレームごとの座標情報を取得して、取得した座標情報から軌跡２３を生成する。例えば、生成部１４０３は、上半身の中心（例えば、両肩に対応する関節と、腰に対応する関節とから算出）のフレームごとの座標情報を取得して、取得したフレームごとの座標情報（ｘ，ｚ）から体の移動の軌跡を曲線として示した軌跡情報を生成する。
上述したように、生成部１４０３は、取得部１４０１によって取得された骨格情報と、解析部１４０２による解析結果とから、歩行訓練を実行する対象者の足跡と移動の軌跡を示した軌跡情報を生成する。ここで、生成部１４０３は、種々のバリエーションの軌跡情報を生成することができる。以下、図１０Ｂ〜図１０Ｇを用いて、軌跡情報のバリエーションについて説明する。
例えば、生成部１４０３は、図１０Ｂに示すように、足の着地点（以下、足跡と記載する場合がある）を踏み出した足の順番で番号をつけた丸で示した軌跡情報を生成することができる。すなわち、生成部１４０３は、図１０Ｂに示すように、図中の方向から１歩目、２歩目、３歩目と歩行が実行されたことを示す軌跡情報を生成する。
また、例えば、生成部１４０３は、図１０Ｃに示すように、踏み出した足がどちらの足であるかを示す軌跡情報を生成することも可能である。すなわち、生成部１４０３は、図１０Ｃに示すように、白抜きの丸で示す１歩目、３歩目及び５歩目の右足の足跡と、黒抜きの丸で示す２歩目、４歩目及び６歩目の左足の足跡とを異なる色で示した軌跡情報を生成することができる。
ここで、例えば、生成部１４０３は、図１０Ｃに示すように、体がブレたときや、バランスを崩したときなどの足跡を強調した軌跡情報を生成することも可能である。例えば、生成部１４０３は、図１０Ｃに示すように、５歩目の足跡を強調した軌跡情報を生成することも可能である。
また、生成部１４０３は、対象者の足が着地している時間に応じた軌跡情報を生成することも可能である。例えば、生成部１４０３は、着地時間に比例して足跡を大きく示した軌跡情報を生成したり、着地時間に比例して色を濃く示した軌跡情報を生成したりする。
また、例えば、生成部１４０３は、図１０Ｄに示すように、対象者の体の部位の軌跡について、複数の軌跡を示した軌跡情報を生成することも可能である。例えば、生成部１４０３は、図１０Ｄに示すように、上半身の中心をトレースした軌跡２４と、右肩をトレースした軌跡２５とをそれぞれ示した軌跡情報を生成することができる。かかる場合には、生成部１４０３は、全フレームにおける上半身の中心の座標情報及び右肩に対応する関節「２ｅ」の座標情報を取得して、取得した座標情報から各軌跡を生成する。
また、例えば、生成部１４０３は、図１０Ｅに示すように、歩行訓練を実行する対象者の体の所定の部位の角度を示した軌跡情報を生成することができる。例えば、生成部１４０３は、図１０Ｅに示すように、右肩に対応する関節「２ｅ」の位置と、左肩に対応する関節「２ｉ」の位置とを結んだ直線２６を示した軌跡情報を生成することができる。ここで、生成部１４０３は、各フレームにおける右肩に対応する関節「２ｅ」の座標情報と、左肩に対応する関節「２ｉ」の座標とをフレームごとに取得して、各フレームにおける各関節を結ぶ直線を算出する。
そして、生成部１４０３は、所定の時間ごとの直線を抽出して、抽出した直線を示した軌跡情報を生成する。すなわち、図１０Ｅに示す直線２６は、所定の時間ごとの右肩と左肩の関節を結ぶ線分を示す情報である。なお、軌跡情報で示される部位は任意に選択され、例えば、図１０Ｅに示した右肩と左肩との結ぶ線分のほかにも、頭や、胸、腰などの角度が示される場合であってもよい。
ここで、図１０Ｅに示す軌跡情報は、歩行の進行方向に対する角度の一例であるが、生成部１４０３は、その他の角度を示す軌跡情報を生成することができる。一例を挙げると、生成部１４０３は、水平方向に対する角度を示す軌跡情報を生成することができる。すなわち、生成部１４０３は、図１０Ｅの横方向に対する角度の情報を示す軌跡情報を生成する。例えば、生成部１４０３は、角度を示す直線において、水平方向より下側を青で示し、上側を赤で示した軌跡情報を生成する。ここで、生成部１４０３は、例えば、体の中心を基準とした水平方向に対する軌跡情報を生成する。図１０Ｅの直線２６を用いて説明すると、生成部１４０３は、直線２６において、体の中心の点を基準とした水平方向に対して、下側になっている部分を青で示し、上側になっている部分を赤で示した軌跡情報を生成する。
また、上述した角度は、２つ以上が同時に示される場合であってもよい。例えば、生成部１４０３は、図１０Ｆに示すように、右肩に対応する関節「２ｅ」と、左肩に対応する関節「２ｉ」とを結ぶ直線２６に加えて、右臀部に対応する関節「２ｍ」と、左臀部に対応する関節「２ｑ」とを結ぶ直線２７を示した軌跡情報を生成することができる。
ここで、生成部１４０３は、直線２６と直線２７とを座標に応じて、重ねて表示する場合であってもよく、或いは、図１０Ｆに示すように、右臀部に対応する関節「２ｍ」の座標情報、及び、左臀部に対応する関節「２ｑ」の座標情報に所定の係数を加えることで、ｘｚ座標上で直線２６と直線２７とが離間されるように軌跡情報を生成することも可能である。また、生成部１４０３は、複数の直線を生成する場合に、ｘｚ座標だけでなく、例えば、ｘｙ座標上、或いは、ｙｚ座標上で直線を示した軌跡情報を生成することも可能である。
また、生成部１４０３は、複数の直線を生成する場合に、各直線の色を変化させた軌跡情報を生成することも可能である。例えば、生成部１４０３は、図１０Ｆに示す、直線２６を赤で示し、直線２７を青で示した軌跡情報を生成することができる。
上述したように、生成部１４０３は、種々の軌跡情報を生成することができる。ここで、各軌跡情報については、一定時間の軌跡情報を生成するように設定することも可能である。すなわち、生成部１４０３は、歩行訓練を実行している間のすべての情報を含む軌跡情報だけでなく、例えば、歩行訓練が長時間にわたる場合などに、一定時間の軌跡情報を生成することができる。一例を挙げると、生成部１４０３は、３０秒間の対象者の歩行の軌跡を示す軌跡情報を生成する。すなわち、生成部１４０３は、対象者が歩行訓練を開始してから３０秒経過した場合に、現時点から３０秒前の情報を消去して、新たな情報を追加した軌跡情報に順次更新する。これにより、例えば、軌跡情報に含まれる各種情報が煩雑になることを抑止することができる。
また、生成部１４０３は、足跡や、注目点、或いは線軌跡などの情報を単純な点や、数字、或いは線だけでなく、種々のキャラクタなどで示した軌跡情報を生成することができる。例えば、生成部１４０３は、図１０Ｇに示すように、対象者の足跡をスマイルマークで示した軌跡情報を生成することができる。
以上、生成部１４０３が表示情報としての軌跡情報を生成する場合について説明した。なお、上述した軌跡情報はあくまでも一例であり、軌跡情報に含まれる情報は任意に設定することができる。例えば、後述する表示制御部１４０４の制御のもと出力部１１０にて表示されている軌跡情報に対する表示・非表示の指示に基づいて、軌跡情報に含まれる情報を任意に設定させることも可能である。一例を挙げると、軌跡情報における足跡と体の移動の軌跡とがそれぞれ表示されたり、非表示にされたりする。
また、図１０Ａ〜１０Ｇに示す軌跡情報はあくまでも一例であり、そのほかにも種々の軌跡情報を生成して表示させることができる。例えば、図７Ｂに示すように、取得部１４０１によって取得された動作情報に基づいて、一方の軸を対象者の位置とし、他方の軸を歩行動作における時間としたグラフ上に当該対象者の左右の足の着地点の位置を示したグラフ情報を生成することも可能である。
ここで、生成部１４０３によって生成された軌跡情報においては、解析部１４０２の計測機能によって距離などの計測が可能である。図１１は、第１の実施形態に係る解析部１４０２による計測処理の一例を説明するための図である。
例えば、解析部１４０２は、図１１に示すように、歩幅４１や、歩隔４２の距離を算出する。例えば、図１１に示す軌跡情報が出力部１１０にて表示され、入力部１２０を介して、操作者が各距離の計測要求を入力すると、解析部１４０２は、１歩目に対応する座標情報のｚ座標の値と、２歩目に対応する座標情報のｚ座標の値とから歩幅４１を算出する。同様に、解析部１４０２は、１歩目に対応する座標情報のｘ座標の値と、２歩目に対応する座標情報のｘ座標の値とから歩隔４２を算出する。
なお、上述した例はあくまでも一例であり、距離の測定は任意に実行させることができる。例えば、解析部１４０２による計測機能は、１歩目に対応する座標情報のｘ座標及びｚ座標の値と、２歩目に対応する座標情報のｘ座標及びｚ座標の値とから１歩目の足跡から２歩目の足跡までの距離算出させることも可能である。また、上述した解析部１４０２による計測処理は、操作者による指示以外にも自動で行わせることも可能である。
次に、生成部１４０３が表示情報として画像情報を生成する場合について説明する。かかる場合には、まず、取得部１４０１が、動作情報記憶部１３０１によって記憶されたカラー画像情報をさらに取得する。具体的には、取得部１４０１は、自動的或いは操作者による指示に応じて、所定の対象者の骨格情報を取得する場合に、当該対象者の対応するカラー画像情報を動作情報記憶部１３０１から取得する。
そして、生成部１４０３は、取得部１４０１によって生成されたカラー画像情報に種々の情報を重畳させた重畳画像情報を生成する。具体的には、生成部１４０３は、所定の基準に対する対象者の体の所定の部位の角度の情報をカラー画像情報に重畳させた重畳画像情報を生成する。
図１２Ａ〜図１２Ｎは、第１の実施形態に係る生成部１４０３によって生成される重畳画像情報のバリエーションを説明するための図である。例えば、生成部１４０３は、図１２Ａの（Ａ）に示すように、対象者が図面上の手前に歩いてくるカラー画像情報に、対象者の角度を示す直線２８を重畳させた重畳画像情報を生成する。ここで、図１２Ａの（Ａ）においては、頭部に対応する関節と腰に対応する関節とを結んだ直線を示す。例えば、生成部１４０３は、図１２Ａの（Ｂ）に示すように、歩行中に対象者がどのような角度となっているかを示す重畳画像情報を生成する。操作者は、生成部１４０３によって生成された重畳画像情報における直線２８が、例えば、鉛直方向に対してどのような角度となっているかを観察することができる。
なお、図１２Ａの（Ｂ）に示す例は、あくまでも一例であり、生成部１４０３は、対象者の任意の位置（例えば、関節や、所定の骨の所定の位置）間で結んだ直線をカラー画像情報に重畳した重畳画像情報を生成することができる。例えば、図１２Ａの（Ｃ）に示すように、生成部１４０３は、右肩に対応する関節と左肩に対応する関節とを結んだ直線２９をカラー画像情報に重畳させた重畳画像情報を生成することも可能である。これにより、操作者は、例えば、水平方向に対して直線２９がどのような角度となっているかを観察することができる。
また、生成部１４０３は、図１２Ｂに示すように、所定の関節に対応する点と、各点を結んだ直線（骨）とを示す情報や、関節の位置から算出した対象者における任意の位置などをカラー画像情報に重畳させた重畳画像情報を生成することも可能である。例えば、生成部１４０３は、図１２Ｂに示すように、カラー画像情報に、右肩に対応する関節を示す点と右肘に対応する関節を示す点と右手首に対応する関節を示す点とを結んだ線分の情報、及び、両肩の中心の関節位置と腰の関節位置との中点として算出された点３４の情報を重畳させた重畳画像情報を生成する。
ここで、図１２Ｂに示す例はあくまでも一例であり、カラー画像情報に重畳させる点や線分は操作者によって任意に設定することができる。すなわち、操作者は、所望する位置の関節及び関節を結ぶ線分の情報をカラー画像情報に重畳させた重畳画像情報を生成させることが可能である。一例を挙げると、生成部１４０３は、下肢の骨格（例えば、右足根、右足首、右膝、右臀部、腰、左臀部、左膝、左足首、左足根など）上に点と線分を重畳させた重畳画像情報を生成することができる。
また、生成部１４０３は、図１２Ｃ〜図１２Ｆに示すように、対象者の所定の位置（例えば、関節や、所定の骨の所定の位置）の歩行中の軌跡をカラー画像情報に重畳させた重畳画像情報を生成することができる。ここで、図１２Ｃ〜図１２Ｅにおいては、対象者が図面の左から右へ歩行するカラー画像情報に軌跡を重畳させる場合について示す。また、図１２Ｆにおいては、対象者が深度方向に進行する場合について示す。例えば、生成部１４０３は、図１２Ｃに示すように、頭部に対応する関節の位置（座標）の経時的な変化を示す軌跡５１をカラー画像情報に重畳させた重畳画像情報を生成する。
また、生成部１４０３は、複数の異なる位置の軌跡をカラー画像情報に重畳させた重畳画像情報を生成することも可能である。例えば、生成部１４０３は、図１２Ｄに示すように、右足の足根に対応する関節の位置（座標）の経時的な変化を示す軌跡５２と、左足の足根に対応する関節の位置（座標）の経時的な変化を示す軌跡５３とをカラー画像情報に重畳させた重畳画像情報を生成する。ここで、生成部１４０３は、軌跡５２と軌跡５３とをそれぞれ異なる色にしたり、太さを変化させたりすることで、軌跡５２と軌跡５３とを容易に区別することができるような重畳画像情報を生成する。
同様に、生成部１４０３は、図１２Ｅに示すように、右手に対応する関節の位置（座標）の経時的な変化を示す軌跡５４をカラー画像情報に重畳させた重畳画像情報を生成することも可能である。ここで、図１２Ｃ〜図１２Ｅに示す例はあくまでも一例であり、軌跡を重畳させる対象者の向きは任意である。すなわち、生成部１４０３は、図１２Ｆに示すように、対象者が深度方向に進行するカラー画像情報に、頭部に対応する関節の位置（座標）の経時的な変化を示す軌跡５５を重畳させた重畳画像情報を生成することも可能である。ここで、生成部１４０３は、線の太さを変化させた軌跡をカラー画像情報に重畳させることも可能である。一例を挙げると、生成部１４０３は、図１２Ｆにおいて、軌跡５５を深度に伴って細くなるように生成することができる。すなわち、生成部１４０３は、図面内で対象者が手前に向かって歩いてくるカラー画像情報に、奥行きが浅くなる（深度が浅くなる）につれて線を太くした軌跡５５を重畳させた重畳画像情報を生成することができる。
上述したように、生成部１４０３は、対象者の所定の位置の情報をカラー画像情報に重畳させた重畳画像情報を生成することができる。ここで、生成部１４０３は、対象者だけではなく、カラー画像上に基準となる情報を重畳させた重畳画像情報を生成することも可能である。例えば、生成部１４０３は、図１２Ｇに示すように、対象者が図面上の手前に歩いてくるカラー画像情報に、基準を示す十字５６を重畳させた重畳画像情報を生成する。ここで、生成部１４０３は、カラー画像情報に含まれる水平方向の情報（水平成分）に基づいて、十字５６における水平方向の点線（対象者の両肩の中点を通過する水平線）を生成する。同様に、生成部１４０３は、カラー画像情報に含まれる鉛直方向の情報（鉛直成分）に基づいて、十字５６における鉛直方向の点線（対象者の頭部に対応する関節と腰に対応する関節との中点を通過する鉛直線）を生成する。
なお、図１２Ｇにおいては、十字５６を基準として用いる場合について説明したが、実施形態はこれに限定されるものではなく、例えば、水平線のみ、或いは、鉛直線のみの場合であってもよい。また、深度方向（奥行き方向）に基準となる直線を生成する場合であってもよい。また、水平方向、鉛直方向、深度方向に限らず、操作者が任意の基準を設定することも可能である。これにより、対象者が歩行中にどのような状態となっているかを一目で把握させることができる。さらに、基準を対象者における所定の位置を通過するように生成させることにより、対象者の歩行の画像を表示した場合に、対象者の動きに応じて基準（例えば、十字５６）の位置も動くことになり、基準に対する対象者の状態を常に把握させることができる。
図１４Ｇにおいては、基準を対象者における所定の位置を通過するように生成させたが、実施形態はこれに限定されるものではない。例えば、図１２Ｈに示すように、生成部１４０３は、カラー画像情報の中心に基準となる点線５７を重畳させた重畳画像情報を生成することができる。また、生成部１４０３は、図１２Ｉに示すように、画面上の床に基準となる点線５８を重畳させた重畳画像情報を生成することができる。これにより、操作者は、例えば、カラー画像情報を表示させた際の画面に対してまっすぐ歩いているか否か、或いは、床の基準に対してまっすぐ歩いているか否かなどを観察することができる。
また、生成部１４０３は、対象者の所定の位置を示す情報（例えば、点や直線など）と、基準を示す情報（例えば、図１２Ｇ〜図１２Ｉに示す点線など）とを同一のカラー画像情報に重畳させた重畳画像情報を生成することができる。例えば、生成部１４０３は、図１２Ｊに示すように、対象者が図面上の手前に歩いてくるカラー画像情報に、基準を示す十字６０と、対象者の角度を示す十字５９とを重畳させた重畳画像情報を生成する。
かかる場合には、生成部１４０３は、頭に対応する関節「２ａ」と腰に対応する関節「２ｃ」とを結んだ線分と、右肩に対応する関節「２ｅ」と左肩に対応する関節「２ｉ」とを結んだ線分とを生成する。さらに、生成部１４０３は、図１２Ｇで説明したように、カラー画像情報に含まれる水平成分と鉛直成分とを用いて十字６０を生成する。なお、十字６０の生成は上記した例に限られない。例えば、生成部１４０３は、各線分の交点の座標と交点が同一となる十字６０を生成することも可能である。すなわち、生成部１４０３は、鉛直方向の線分と水平方向の線分とが、関節を結んだ線分の交点と同一の位置で交わる十字６０を生成する。
これにより、生成部１４０３は、基準である十字６０に対する対象者の角度を十字５９によって表現した重畳画像情報を生成する。生成部１４０３は、各フレームのカラー画像情報及び骨格情報を用いて、フレームごとの重畳画像情報を生成する。すなわち、フレームごとの重畳画像情報を連続的に表示することで、操作者は、歩行訓練における対象者が基準に対してどの程度傾いているかを動画で観察することができる。なお、図１２Ｊにおいて例では、十字６０と、十字５９とを示しているが、実施形態はこれに限定されるものではなく、任意の組み合わせで重畳させることができる。
また、生成部１４０３は、対象者の所定の位置（例えば、関節や、所定の骨の所定の位置）の歩行中の軌跡に加えて、種々の情報をカラー画像情報に重畳させた重畳画像情報を生成することができる。例えば、生成部１４０３は、図１２Ｋに示すように、対象者が深度方向に進行するカラー画像情報に対して、頭部に対応する関節の位置の経時的な変化を示す軌跡５５と、軌跡５５の水平方向における端部に接する直線６１及び直線６２とを重畳させた重畳画像情報を生成する。すなわち、生成部１４０３は、水平方向において頭部が動いた範囲を示す重畳画像情報を生成することができる。この画像が後述する表示制御部１４０４によって出力部１１０に表示されることにより、操作者は、対象者が歩行中にどの程度の水平方向の動きを伴っているかを観察することができる。
また、生成部１４０３は、水平方向だけではなく、その他の方向についても同様に、所定の部位の動きの範囲を示す情報を含む重畳画像情報を生成することができる。例えば、生成部１４０３は、図１２Ｌに示すように、対象者が水平方向に進行するカラー画像情報に対して、頭部に対応する関節の位置の経時的な変化を示す軌跡５１と、軌跡５１の鉛直方向における端部に接する直線６３及び直線６４とを重畳させた重畳画像情報を生成する。すなわち、生成部１４０３は、鉛直方向において頭部が動いた範囲を示す重畳画像情報を生成することができる。
また、生成部１４０３は、対象者の所定の部位の軌跡の情報と、基準の情報とを重畳させた重畳画像情報を生成することも可能である。例えば、生成部１４０３は、図１２Ｍに示すように、画面上の床に基準となる点線５８を示し、さらに、対象者の右足の足根の軌跡６５を示した重畳画像情報を生成することができる。この画像が後述する表示制御部１４０４によって出力部１１０に表示されることにより、操作者は、対象者が歩行中に基準からどの程度ずれているかを観察することができる。
また、生成部１４０３は、カラー画像情報において描出される対象者の情報を任意のキャラクタに変化させたカラー画像情報を生成して、生成したカラー画像に角度の情報を重畳させた重畳画像情報を生成することも可能である。すなわち、生成部１４０３は、図１２Ｎに示すように、対象者の歩行訓練を描出するカラー画像情報を熊が歩行するカラー画像情報に変化させて、変化後のカラー画像情報に、基準の情報として十字６６を重畳させた重畳画像情報を生成することができる。ここで、生成部１４０３は、角度の情報（例えば、図１２Ａに示す直線の情報や、図１２Ｂに示す各関節を結ぶ線分の情報など）をさらに重畳させた重畳画像情報を生成することもできる。
以上、生成部１４０３が表示情報としての重畳画像情報を生成する場合について説明した。なお、上述した重畳画像情報はあくまでも一例であり、重畳画像情報に含まれる情報は任意に設定することができる。例えば、後述する表示制御部１４０４の制御のもと出力部１１０にて表示されている重畳情報に対する表示・非表示の指示に基づいて、重畳画像情報に含まれる情報を任意に設定させることも可能である。一例を挙げると、重畳画像情報における所定の部位の角度を示す十字と基準の十字とがそれぞれ表示されたり、非表示にされたりする。
上述したように、生成部１４０３は、軌跡情報や、重畳画像情報などを生成して、生成した情報を表示情報記憶部１３０３に格納する。なお、生成部１４０３から表示制御部１４０４に直接出力することも可能である。
図４に戻って、表示制御部１４０４は、生成部１４０３によって生成された軌跡情報や、重畳画像情報を出力部１１０にて表示するように制御する。具体的には、表示制御部１４０４は、表示情報記憶部１３０３によって記憶された表示情報を読み出して、出力部１１０にて表示するように制御する。例えば、表示制御部１４０４は、図１０Ａ〜図１０Ｇに示す軌跡情報や、図１２Ａ〜図１２Ｎに示す重畳画像情報を、出力部１１０において単独或いは複数を組み合わせて表示するように制御する。
以下、表示制御部１４０４にて表示される表示画像の一例を、図１３及び図１４を用いて、説明する。図１３及び図１４は、第１の実施形態に係る表示制御部１４０４の制御によって表示される表示画像の一例を示す図である。例えば、表示制御部１４０４は、表示情報記憶部１３０３によって記憶された表示情報（軌跡情報、重畳画像情報）や、解析部１４０２による解析結果を出力部１１０のＭａｉｎＷｉｎｄｏｗ（表示画面）に表示させる。
一例を挙げると、表示制御部１４０４は、図１３に示すように、足跡の情報を重畳させた重畳画像情報と、足跡の軌跡情報と、解析部１４０２による解析結果のテキスト情報及びグラフ情報とをＭａｉｎＷｉｎｄｏｗに並列して表示させる。ここで、それぞれの情報は、同一対象者の同一の歩行訓練における情報が表示される。
また、表示制御部１４０４は、画面上で距離や、角度、時間などを計測させるためのＵＩ（User Interface）を表示させる。例えば、表示制御部１４０４は、図１４に示すように、歩行訓練を実行する対象者の１歩目と２歩目との歩幅が「１６ｃｍ」であり、その間の時間が「０．８秒」であることを計測させるためのＵＩを表示させることが可能である。かかる場合には、操作者は、例えば、重畳画像情報に重畳して表示された足跡の情報における「１歩目」と「２歩目」とをそれぞれクリックすることにより１歩目と２歩目との歩幅を解析部１４０２に計測させることができる。或いは、操作者は、軌跡情報に含まれる足跡の情報における「１歩目」と「２歩目」とをそれぞれクリックすることによっても同様に計測させることができる。
これにより解析部１４０２は、歩幅を解析し、表示制御部１４０４は、解析結果を画面上に表示させる。ここで、１歩目と２歩目との間の時間をさらに解析部１４０２に計測させることも可能である。すなわち、図１４に示すように、１歩目と２歩目との間の時間「０．８秒」を計測させて、表示させることができる。
また、表示制御部１４０４にて表示されるＵＩにおいては、図１４に示すように、対象者の歩行中の右腕の角度「１７３度」を計測させて表示させることも可能である。かかる場合には、例えば、操作者は、マウスなどを用いて重畳画像情報の対象者の右腕を指定する。これにより、解析部１４０２は、指定された時点の対象者の右腕の角度を解析し、表示制御部１４０４は、解析結果を画面上に表示させる。
以上、表示制御部１４０４にて表示される表示画像の一例について説明した。なお、上述した例はあくまでも一例であり、表示制御部１４０４は、種々の情報を種々の形式で表示させることができる。そこで、次に、本実施形態に係る動作情報処理装置１００によって実現される表示アプリの一例について、図１５〜図１９を用いて説明する。図１５〜図１９は、第１の実施形態に係る動作情報処理装置１００によって実現される表示アプリの一例を説明するための図である。
例えば、本実施形態に係る動作情報処理装置１００においては、表示制御部１４０４による制御のもと、図１５に示すように、リアルタイム（Real-Time）で表示されるタブにおいて、左側にカラー画像情報を表示する領域と、右側に軌跡情報を表示する領域とを有するウィンドウが表示される。かかるウィンドウにおいては、表示制御部１４０４は、カラー画像情報の表示領域に歩行動作を実行する対象者の歩行の様子をリアルタイムで表示し、軌跡情報の表示領域に対象者の足跡と移動の軌跡を上から見た軌跡情報をリアルタイムで表示する。
ここで、表示制御部１４０４は、例えば、図１５の右下に示すように、歩数、平均速度、各歩間の歩幅などの計測結果を表示する。なお、これらの計測結果は、解析部１４０２によって計測され、表示制御部１４０４に出力される。また、図１５の右上に示すように、表示制御部１４０４は、「Ｔｒａｃｋ」、「Ｖｅｌｏｃｉｔｙ」、「Ａｒｍ Ａｎｇｌｅ」、「Ｓｈｏｕｌｄｅｒ Ａｎｇｌｅ」などで示されるグラフの表示切替を実行するためのタブを備えたウィンドウを表示する。すなわち、操作者は、これらのタブをクリックすることで軌跡情報が表示された領域に各情報を表示させることができる。
そして、リアルタイムのタブにおいては、図１５の下部に示すように、表示制御部１４０４は、パラメータをセットするための「ＰＡＲＡＭＥＴＥＲ」ＳＥＴボタンと、録画の開始と終了を実行するための「ＲＥＣＯＤＥ」ＳＴＡＲＴボタンとを備えたウィンドウを表示する。
ここで、リアルタイムのタブにおいては、カラー画像情報を表示する領域に重畳画像情報を表示させることも可能である。例えば、図１６に示すように、表示制御部１４０４は、ウィンドウの左側に、十字で示された角度の情報（水平及び鉛直方向に対する角度）が重畳された重畳画像情報を表示する。この角度の情報は、操作者が任意に表示させることができる。
例えば、操作者は、カラー画像情報を表示する領域に重畳画像情報を表示させ、さらに、そのときの肩の角度を示すグラフを並列で表示させることができる。すなわち、操作者が、ウィンドウの右上のタブのうち、「Ｓｈｏｕｌｄｅｒ Ａｎｇｌｅ」をクリックすることで、表示制御部１４０４は、図１６に示すように、軌跡情報が示されていた領域に、両肩を結ぶ線分と水平方向との角度を時系列で表示したグラフを表示する。
さらに、本実施形態に係る表示アプリでは、種々の情報を並列で表示したり、歩行状況を解析して、判定結果を表示させたりすることも可能である。かかる場合には、表示制御部１４０４は、例えば、図１７に示すように、画面の左側に重畳画像情報を表示するウィンドウを表示し、画面の右側に「速度（Ｖｅｌｏｃｉｔｙ）」及び「角度（Ａｎｇｌｅ）」を時系列で示したグラフを並列表示する。
例えば、表示制御部１４０４は、角度の情報が重畳された重畳画像情報を左側のウィンドウに表示するとともに、画像上で示す点（図中では、両肩の中心の関節位置と腰の関節位置との中点として算出された点）の３次元空間上での速度（Ｖｅｌｏｃｉｔｙ［ｍ／Ｓｅｃ］：０００．４６）と、画像上で示す関節（図中では、右腕の関節）の角度（Ａｎｇｌｅ［ｄｅｇｒｅｅ］：０２０．９８）とを表示する。
ここで、重畳画像情報を表示する左側のウィンドウにおいては、例えば、体のブレを判定するための閾値を設定するための「Ｓｅｔ Ｔｈｒｅｓｈｏｌｄ」ボタンや、警告のＯＮ／ＯＦＦを設定する「Ｒｅｈａ Ｓｔａｔｕｓ」ボタンなどが表示される。例えば、図１７で示されるウィンドウにおける「Ｔｈｒｅｓｈｏｌｄ」は、歩行時の横幅におけるブレの閾値が設定されており、その値は、「０．０５」である。
さらに、表示制御部１４０４は、図１７に示すように、横軸に時間をとり、縦軸に速度（Ｖｅｌｏｃｉｔｙ［ｍ／Ｓｅｃ］）をとったグラフと、横軸に時間をとり、縦軸に角度（Ａｎｇｌｅ［ｄｅｇｒｅｅ］）をとったグラフとを縦方向に並列で表示する。これらのグラフは、解析部１４０２によって解析された情報である。
そして、例えば、対象者によって実行された歩行に対して体のブレなどの判定が実行される場合には、解析部１４０２が設定された閾値を判定基準として、歩行における対象者の体のブレなどを判定する。例えば、解析部１４０２は、図１７に示すように、歩行時の横幅におけるブレの閾値が設定されている場合には、対象者の動作情報（骨格情報の座標）から対象者の歩行時の体軸を中心とする回転方向の動きを解析して、体軸を中心とする回転方向のブレが閾値を超えたか否かを判定する。
ここで、体軸を中心とする回転方向のブレが閾値を越えた場合には、解析部１４０２は、ブレが閾値を超えた旨の情報を表示制御部１４０４に出力する。表示制御部１４０４は、ブレが閾値を超えた旨の情報を受付けると、対象者によって実行された歩行が安定した歩行ではない旨の情報を表示する。例えば、表示制御部１４０４は、図１８に示すように、重畳画像情報が表示された領域全体を赤くして警告を表示する。なお、表示制御部１４０４は、対象者の体のブレが閾値以下になった旨の出力を解析部１４０２から受付けると、この警告の表示を停止して、もとの重畳画像情報のみを表示する。
なお、表示制御部１４０４による警告の表示は、図１８に示す例に限られるものではなく、例えば、図１０Ｃに示すような軌跡情報上にも実行される。また、警告表示は、画面上に表示されるだけではなく、例えば、音声によって通知される場合であってもよい。
また、本実施形態に係る表示アプリでは、複数の結果を並列表示させることも可能である。例えば、表示制御部１４０４は、図１９に示すように、ウィンドウの左右にそれぞれ異なる時期の歩行のデータを表示する。例えば、表示制御部１４０４は、左右の各領域に重畳画像情報とグラフ情報とをそれぞれ表示する。ここで、表示制御部１４０４は、これらの領域に操作者によって指定された情報を表示する。
すなわち、表示制御部１４０４は、左右の領域のそれぞれの上側に、カラー画像情報や重畳画像情報などの画像情報を表示し、左右の領域のそれぞれの下側に、軌跡情報やグラフ情報などを表示する。ここで、比較表示される対象は、同一の対象者だけに限られず、他者のデータと並列して表示することができる。したがって、表示制御部１４０４は、例えば、同一人物の時期が異なる歩行のデータを並列して表示したり、足に障害がある人物と足に障害がない人物との歩行のデータを並列して表示したりすることができる。
なお、複数の対象者を並列表示するウィンドウにおいては、例えば、図１９に示すように、表示情報記憶部１３０３によって記憶された表示情報を選択するための選択領域や、表示させるパラメータを選択するための「Ｐａｒａｍｅｔｅｒ ＳＥＴ」ボタン、グラフを切替えるための切り替えボタンなどが表示される。
次に、図２０を用いて、第１の実施形態に係る動作情報処理装置１００の処理について説明する。図２０は、第１の実施形態に係る動作情報処理装置１００による処理の手順を示すフローチャートである。なお、図２０においては、リアルタイムで処理を実行する場合について示す。
図２０に示すように、第１の実施形態に係る動作情報処理装置１００においては、歩行訓練が開始されると、取得部１４０１が、歩行を実行した対象者の動作情報を取得する（ステップＳ１０１）。そして、解析部１４０２は、取得された動作情報を解析して解析情報を算出する（ステップＳ１０２）。そして、生成部１４０３が、表示操作を受付けたか否かを判定する（ステップＳ１０３）。
ここで、表示操作を受付けると（ステップＳ１０３肯定）、生成部１４０３が、表示情報を生成して（ステップＳ１０４）、表示制御部１４０４が、生成された表示情報を出力部１１０にて表示するように制御する（ステップＳ１０５）。なお、表示操作を受付けるまで解析情報の算出を継続する（ステップＳ１０３否定）。
その後、生成部１４０３は、表示情報の切り替え又は、計測指示を受付けたか否かを判定する（ステップＳ１０６）。ここで、表示情報の切り替え又は、計測指示を受付けた場合には（ステップＳ１０６肯定）、生成部１４０３は、ステップＳ１０４に戻って、表示情報を生成する。
一方、表示情報の切り替え又は、計測指示を受付けていない場合には（ステップＳ１０６否定）、動作情報処理装置１００は、表示終了の指示を受付けたか否かを判定する（ステップＳ１０７）。ここで、表示終了の指示を受付けていない場合には（ステップＳ１０７否定）、表示制御部１４０４は、ステップＳ１０５に戻って、表示を継続する。一方、表示終了の指示を受付けた場合には（ステップＳ１０７肯定）、動作情報処理装置１００は、処理を終了する。
上述したように、第１の実施形態によれば、取得部１４０１は、歩行動作を実行する対象者の動作情報を取得する。そして、生成部１４０３は、取得部１４０１によって取得された動作情報に基づいて、対象者の足の着地点の位置を示した軌跡情報を生成する。そして、表示制御部１４０４は、生成部１４０３によって生成された軌跡情報を出力部１１０にて表示するように制御する。従って、第１の実施形態に係る動作情報処理装置１００は、足の着地点と移動の軌跡を容易に評価することができる２次元で表示することができ、歩行状況を評価しやすい表示情報を提供することを可能にする。その結果、第１の実施形態に係る動作情報処理装置１００は、医師や理学療法士などの歩行に対する評価のブレを抑制することを可能にする。
また、第１の実施形態によれば、生成部１４０３は、対象者の体における所定の部位の角度をさらに示した軌跡情報を生成する。従って、第１の実施形態に係る動作情報処理装置１００は、対象者の体のブレなどを視覚的に表現することで、歩行状況をより評価しやすい表示情報を提供することを可能にする。
また、第１の実施形態によれば、所定の部位の角度は、対象者の進行方向の前後のゆれを示す回転角度及び前記対象者の上下方向のゆれを示す回転角度のうち、少なくとも一方である。従って、第１の実施形態に係る動作情報処理装置１００は、操作者に対して歩行の状態を評価するための有用な情報を提供することを可能にする。
また、第１の実施形態によれば、生成部１４０３は、取得部１４０１によって取得された動作情報に基づいて、足の着地点の位置の軌跡に加えて、対象者の移動の軌跡を示した軌跡情報を生成する。従って、第１の実施形態に係る動作情報処理装置１００は、対象者の歩行の状態の詳細情報を提供することを可能にする。
また、第１の実施形態によれば、対象者の移動の軌跡は、対象者の特徴位置の移動軌跡であり、特徴位置は、対象者の所定の部位の位置、複数の部位の位置を用いて求められた位置、前記対象者の複数の中心位置及び前記対象者の重心位置のうち、少なくとも一つである。従って、第１の実施形態に係る動作情報処理装置１００は、対象者の移動について細部まで観察することを可能にする。
また、第１の実施形態によれば、取得部１４０１は、歩行動作を実行する対象者の動作情報を取得する。生成部１４０３は、取得部１４０１によって取得された動作情報に基づいて、一方の軸を対象者の位置とし、他方の軸を歩行動作における時間としたグラフ上に当該対象者の左右の足の着地点の位置を示したグラフ情報を生成する。表示制御部１４０４は、生成部１４０３によって生成されたグラフ情報を出力部１１０にて表示するように制御する。従って、第１の実施形態に係る動作情報処理装置１００は、対象者の左右の足の運びの経時的な変化を観察することを可能にする。
また、第１の実施形態によれば、生成部１４０３は、軌跡情報に含まれる情報をそれぞれ識別可能となるように所定の形式で生成する。すなわち、生成部１４０３は、歩数を数字で示した足跡の情報を生成したり、右足と左足とを区別するために色分けたり、或いは、情報を任意のキャラクタで生成したりする。従って、第１の実施形態に係る動作情報処理装置１００は、操作者が表示情報を観察した場合の種々の識別を容易にさせ、その結果、効率的な診断を可能にする。
また、第１の実施形態によれば、入力部１２０は、生成部１４０３によって生成された軌跡情報に含まれる情報のうち、出力部１１０にて表示させる情報を選択するための選択操作を受付ける。そして、表示制御部１４０４は、入力部１２０によって受付けられた選択操作によって選択された情報を表示部にて表示させるように制御する。従って、第１の実施形態に係る動作情報処理装置１００は、操作者が所望する情報を効果的に表示させることができ、診断効率を向上させることを可能にする。
また、第１の実施形態によれば、取得部１４０１は、対象者が歩行動作を実行している際の画像情報をさらに取得する。そして、表示制御部１４０４は、生成部１４０３によって生成された軌跡情報と、取得部１４０１によって取得された画像情報とを出力部１１０にて表示するように制御する。従って、第１の実施形態に係る動作情報処理装置１００は、軌跡情報とともに対象者の歩く様子を画像でみせることができ、歩行状況をさらに評価しやすい表示情報を提供することを可能にする。
また、第１の実施形態によれば、生成部１４０３は、取得部１４０１によって取得された画像情報に描出された対象者に対して、所定の基準に対する当該対象者における所定の部位の角度の情報を重畳させた重畳画像情報を生成する。そして、表示制御部１４０４は、生成部１４０３によって生成された軌跡情報及び重畳画像情報を出力部１１０にて表示させるように制御する。従って、第１の実施形態に係る動作情報処理装置１００は、画像上で体のブレなどが示された表示情報をさらに提供することができ、歩行状況の評価をより容易にすることを可能にする。
また、第１の実施形態によれば、解析部１４０２は、取得部１４０１によって取得された動作情報に対応する歩行動作が所定の基準を満たす歩行であるか否かを解析する。そして、表示制御部１４０４は、解析部１４０２によって所定の基準を満たす歩行ではないと判定された場合に、所定の基準を満たす歩行動作ではないと判定された歩行動作に対応する軌跡情報に警告表示を実行する。従って、第１の実施形態に係る動作情報処理装置１００は、歩行状況の評価を自動で実行するとともに、評価の結果を操作者及び対象者に通知することを可能にする。
また、第１の実施形態によれば、解析部１４０２は、取得部１４０１によって取得された動作情報に対応する歩行動作を解析する。そして、生成部１４０３は、解析部１４０２によって解析された解析結果を含む表示情報を生成する。そして、表示制御部１４０４は、生成部１４０３によって生成された解析結果を含む表示情報を出力１１０部にて表示させるように制御する。従って、第１の実施形態に係る動作情報処理装置１００は、例えば、距離情報などの各種解析情報を含む表示情報を提供することを可能にする。
（第２の実施形態）
さて、これまで第１の実施形態について説明したが、上述した第１の実施形態以外にも、種々の異なる形態にて実施されてよいものである。
上述した第１の実施形態においては、対象者の足跡が縦方向に移動する軌跡情報の例について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、対象者の足跡が体軸を中心とする回転方向に移動する軌跡情報であってもよい。
上述した第１の実施形態においては、同一人物の異なる時期の比較、或いは、他者との比較において、重畳画像情報などの画像情報や、軌跡情報などを並列して表示する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、情報が重畳される場合であってもよい。例えば、足跡の軌跡を示す軌跡情報を重ねて表示する場合であってもよい。かかる場合には、例えば、表示制御部１４０４は、各軌跡情報を異なるレイヤにて表示させる。ここで、表示させる情報の透過度を変化させるようにしてもよい。
上述した第１の実施形態においては、足の着地点の算出に用いられる座標として規定の関節（例えば、足根、足首、膝など）を用いる場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、所定の関節間に設定された位置の座標を用いて、足の着地点が算出される場合であってもよい。
上述した第１の実施形態においては、動作情報処理装置１００が解析部１４０２を備える場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、生成部１４０３が、外部で解析された解析結果を用いて、軌跡情報や重畳画像情報などの表示情報を生成する場合であってもよい。
上述した第１の実施形態においては、対象者の関節の座標情報を解析することにより足の着地点を算出する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、対象者の体にセンサを取り付けたモーションキャプチャによって収集された情報を用いて足の着地点を算出する場合であってもよく、或いは、圧力センサを用いたシートにより足の着地点を算出する場合であってもよい。
上述した第１の実施形態においては、重畳画像情報が表示された領域全体を赤くして警告を表示する場合について説明した（図１８参照）。しかしながら、上述したように実施形態はこれに限定されるものではなく、種々ｎ方法によって警告を表示することができる。図２１は、第２の実施形態にかかる表示制御部１４０４による警告表示の一例を示す図である。図２１においては、画面上の地面に基準となる直線５８が示され、さらに、対象者の右足の足根の軌跡６５が示された重畳画像情報を示す。
例えば、表示制御部１４０４は、図２１に示すように、対象者の歩行において、右足の足根が基準の直線５８から所定の閾値を超えて離れた場合に、画面上に警告を示す目印を表示させる。なお、所定の閾値を超えたか否かは、解析部１４０２によって解析される。これにより、操作者は、対象者の歩行が安定した歩行であるか否かを容易に判定することができる。ここで、対象者による歩行が安定した歩行であるか否かを判定する判定基準は任意に設定することができる。図２２は、第２の実施形態に係る解析部１４０２によって用いられる判定基準の一例を説明するための図である。
例えば、解析部１４０２は、図２２に示すように、歩行状態と警告とを対応付けた判定基準に基づいて、判定を行う。ここで、「歩行状態」とは、対象者の歩行が安定していないと判定するための歩行中の状態を示す。また、「警告」とは、対象者が対応する歩行状態になった場合に、どのような不安定な状態となっているかを示す。例えば、解析部１４０２は、図２２に示すように、対象者の「歩行状態」が「頭と腰を結ぶ直線の傾き＞２０度」となった場合に、「体が傾いている」と判定して警告を表示するように表示制御部１４０４に通知する。
同様に、解析部１４０２は、図２２に示す判定基準を用いて対象者の歩行が安定であるか否かを判定する。ここで、図２２に示す判定基準はあくまでも一例であり、その他種々の判定基準が操作者により任意に設定される。このような判定基準は、例えば、記憶部１３０によって記憶され、解析部１４０２によって適宜参照される。
上述したように、第１及び第２の実施形態に係る動作情報処理装置１００は、動作情報収集部１０によって収集された情報を用いて解析された表示情報を出力する。ここで、動作情報処理装置１００は、後述する第３及び第４の実施形態、及び、第５〜第７の実施形態にてそれぞれ説明する解析部によって解析された表示情報についても出力部１１０にて出力することができる。すなわち、動作情報処理装置１００は、後述する第３及び第４の実施形態で説明する解析方法によって解析された表示情報と、第５〜第７の実施形態で説明する解析方法によって解析された表示情報とを出力部１１０から出力することができる。
（第３の実施形態）
次に、第３の実施形態に係る動作情報処理装置１００ａの構成について説明する。第３の実施形態に係る動作情報処理装置１００ａは、第１の実施形態にて説明した構成（図１に示す構成）のもと、以下、詳細に説明する構成により、歩行状況を容易に評価することを可能にする。図２３は、第３の実施形態に係る動作情報処理装置１００ａの詳細な構成の一例を示す図である。なお、図２３に示す動作情報処理装置１００ａは、図４に示す動作情報処理装置１００と比較して、後述する記憶部１３０ａと、制御部１４０ａとが異なる。まず、動作情報処理装置１００ａにおける記憶部１３０の詳細について説明する。図２３に示すように、動作情報処理装置１００ａにおいては、例えば、記憶部１３０ａが動作情報記憶部１３０４と、解析情報記憶部１３０５とを備える。
動作情報記憶部１３０４は、動作情報収集部１０によって収集された各種情報を記憶する。具体的には、動作情報記憶部１３０４は、動作情報生成部１４によって生成された動作情報を記憶する。より具体的には、動作情報記憶部１３０４は、動作情報生成部１４によって生成されたフレームごとの骨格情報を記憶する。ここで、動作情報記憶部１３０４、動作情報生成部１４によって出力されたカラー画像情報、距離画像情報及び音声認識結果をフレームごとにさらに対応付けて記憶することも可能である。
例えば、第３の実施形態に係る動作情報記憶部１３０４は、上述した図５に示す動作情報を記憶する。すなわち、動作情報記憶部１３０４は、図５に示すように、氏名ごとに、氏名番号と、実施日と、動作情報とを対応付けた動作情報を記憶する。ここで、「氏名番号」とは、対象者を一意に特定するための識別子であり、氏名ごとに付与される。「実施日」とは、対象者が歩行訓練を実施した日時を示す。「動作情報」とは、動作情報収集部１０によって収集された情報を示す。
例えば、動作情報記憶部１３０４は、図５に示すように、「氏名：Ａ、氏名番号：１、実施日：２０１２０８０１＿１、動作情報：カラー画像情報、距離画像情報、音声認識結果、骨格情報、・」を記憶する。上記した情報は、「氏名番号」が「１」である「氏名：Ａ」の人物が「２０１２年」の「８月１日」に実施した「１回目」の歩行における動作情報として、「カラー画像情報」と、「距離画像情報」と、「音声認識結果」と、「骨格情報」とを含む動作情報が記憶されていることを示す。
ここで、図５に示す動作情報においては、歩行動作を実行している際に撮影された全てのフレームごとの「カラー画像情報」、「距離画像情報」、「音声認識結果」及び「骨格情報」が時系列順に時間に対応付けて記憶される。
また、動作情報記憶部１３０４は、図５に示すように、「氏名：Ａ、氏名番号：１、実施日：２０１２０８０１＿２、動作情報：カラー画像情報、距離画像情報、音声認識結果、骨格情報、・」を記憶する。すなわち、動作情報記憶部１３０４は、「氏名：Ａ」の人物が「２０１２年」の「８月１日」に実施した「２回目」の歩行における動作情報も同様に記憶する。
また、動作情報記憶部１３０４は、図５に示すように、「氏名：Ｂ、氏名番号：２」の人物についても、「カラー画像情報」、「距離画像情報」、「音声認識結果」及び「骨格情報」を含む動作情報を記憶する。このように、動作情報記憶部１３０４は、対象者ごとに収集された歩行の動作情報を、それぞれの対象者に対応付けて記憶する。なお、図５に示す動作情報はあくまでも一例である。すなわち、動作情報記憶部１３０４は、図５に示す「カラー画像情報」、「距離画像情報」、「音声認識結果」及び「骨格情報」以外の情報がさらに対応付けて記憶することができ、また、例えば、動作情報収集部１０が音声認識部１３を有さない場合には、音声認識結果を含まれないものとして記憶することとなる。
また、動作情報に含まれる「カラー画像情報」及び「距離画像情報」には、ＢＩＴ ＭＡＰ、ＪＰＥＧ、その他バイナリ形式の画像データ、または、当該画像データへのリンク等が含まれる。また、動作情報に含まれる「音声認識結果」には、上述した認識情報の他、音声データそのものや、認識情報或いは音声データへのリンクであってもよい。
解析情報記憶部１３０５は、後述する制御部１４０ａによる解析結果を記憶する。具体的には、解析情報記憶部１３０５は、後述する制御部１４０ａが動作情報記憶部１３０４によって記憶された動作情報を用いて解析した解析結果を記憶する。例えば、第３の実施形態に係る解析情報記憶部１３０５は、上述した図６に示す解析情報を記憶する。ここで、「氏名番号」とは、対象者を一意に特定するための識別子であり、氏名ごとに付与される。「実施日」とは、対象者が歩行訓練を実施した日時を示す。「解析情報」とは、後述する制御部１４０ａによって解析された解析結果の情報を示す。
例えば、解析情報記憶部１３０５は、図６に示すように、「氏名：Ａ、氏名番号：１、実施日：２０１２０８０１＿１、解析情報：足の着地点、角度、速度、加速度、歩数、歩幅、重複歩行距離、歩隔、歩行率、・」を記憶する。上記した情報は、「氏名番号」が「１」である「氏名：Ａ」の人物が「２０１２年」の「８月１日」に実施した「１回目」の歩行における動作情報を用いて解析された解析結果の情報として、「足の着地点」と、「角度」と、「速度」と、「加速度」と、「歩数」と、「歩幅」と、「重複歩行距離」と、「歩隔」と、「歩行率」とを含む解析情報が記憶されていることを示す。
ここで、「足の着地点」とは、対象者の足が地面についた位置を示す情報であり、例えば、座標情報として記憶される。また、「角度」とは、対象者の歩行中の体の角度を示す情報であり、所定の基準に対する体の部位の角度の情報が記憶される。例えば、解析情報記憶部１３０５は、解析情報の「角度」として、鉛直方向に対する体の角度などの情報を記憶する。なお、解析情報の「角度」の情報は、基準と体の部位が操作者によって任意に設定される。また、「速度」とは、歩行時の対象者の速度を示す情報であり、例えば、所定の部位（体の中心など）の速度の情報が記憶される。また、「加速度」とは、歩行時の対象者の加速度を示す情報であり、例えば、所定の部位の加速度の情報が記憶される。また、「歩数」とは、対象者が歩行訓練で歩いた歩数を示す情報である。また、「歩幅」とは、対象者の歩行において右足（左足）の着地点から左足（右足）の着地点までの進行方向の距離を示す情報である。また、「重複歩行距離」とは、片足が着地してから、再び着地するまでの距離を示す情報である。また、「歩隔」とは、対象者の歩行において右足（左足）の着地点から左足（右足）の着地点までの進行方向に直交する方向の距離を示す情報である。また、「歩行率」とは、単位時間あたりの歩数を示す情報である。
同様に、解析情報記憶部１３０５は、図６に示すように、「氏名：Ｂ、氏名番号：２」の人物についても、「足の着地点」、「角度」、「速度」と、「加速度」と、「歩数」と、「歩幅」と、「重複歩行距離」と、「歩隔」と、「歩行率」とを含む解析情報を記憶する。このように、解析情報記憶部１３０５は、対象者ごとに収集された歩行の動作情報が後述する制御部１４０によって解析された解析情報を、それぞれの対象者に対応付けて記憶する。なお、図６に示す解析情報はあくまでも一例であり、例えば、その他にも、歩行時間や、足が着地している時間などが含まれてもよい。解析情報に含まれる種々の情報は、後述する制御部１４０に対する操作者の設定によって任意に変更され、例えば、図６に示す情報のうち、いずれかの項目が算出されない場合もある。
次に、動作情報処理装置１００ａの制御部１４０ａの詳細について説明する。図２３に示すように、動作情報処理装置１００ａにおいては、例えば、制御部１４０ａが取得部１４０５と、解析部１４０６と、表示制御部１４０７とを備える。
取得部１４０５は、歩行訓練を実行する対象者の動作情報を取得する。具体的には、取得部１４０５は、動作情報収集部１０によって収集され、動作情報記憶部１３０４によって記憶された動作情報を取得する。例えば、取得部１４０５は、後述する解析部１４０６による解析内容に応じて、動作情報記憶部１３０４によってフレームごとに記憶されたカラー画像情報、距離画像情報、音声認識結果及び骨格情報のうち少なくとも一つを取得する。
一例を挙げると、後述する解析部１４０６によって足の着地点、角度、速度などが解析される場合に、取得部１４０５は、対象者の歩行訓練における一連の歩行動作にかかる全てのカラー画像情報、距離画像情報及び骨格情報を取得する。
解析部１４０６は、取得部１４０５によって取得された歩行動作を実行する対象者の動作情報を用いて、種々の解析を実行する。具体的には、解析部１４０６は、取得部１４０５によって取得された動作情報における対象者の所定の部位の経時的な位置の変化に基づいて、対象者の足の着地点の位置を含む歩行状態を解析する。また、解析部１４０６は、取得部１４０５によって取得されたカラー画像情報、距離画像情報、音声認識結果及び骨格情報などの動作情報を用いて、対象者の角度、速度、加速度、距離などの歩行状態を解析した解析情報を算出して、算出した解析結果を解析情報記憶部１３０５に格納する。
ここで、まず、足の着地点を解析する場合について説明する。図２４は、第３の実施形態に係る解析部１４０６による足の着地点の解析の解析対象の一例を説明するための図である。なお、図２４においては、動作情報収集部１０によって収集された１フレームの骨格情報について模式的に示す。例えば、解析部１４０６は、図２４に示すように、動作情報収集部１０によって収集された動作情報における骨格情報を用いて、対象者の足の着地点を算出する。すなわち、解析部１４０６は、図２４に示すような、歩行動作を実行する対象者の動作情報（座標情報）における対象者の所定の部位の経時的な３次元的な位置の変化において、変化が所定の閾値を下回った場合に、対象者の足が着地していると判定し、判定した時点の対象者の足の位置を着地点とする。
ここで、対象者の足の着地点を算出する場合には、例えば、医師や理学療法士などの操作者が、入力部１２０を介して解析の指示要求を入力する。このとき、操作者は、対象者の氏名や氏名番号、実施日などを入力することで、取得部１４０５に所望の動作情報を取得させる。取得部１４０５は、入力部１１０を介して受付けた対象者の該当する動作情報を動作情報記憶部１３０４から取得する。なお、歩行訓練とともにリアルタイムで解析が実行される場合には、操作者からの操作を受けつけずに、自動で動作情報を取得するように設定することも可能である。
上述した操作者の指定、或いは、自動取得による指定のもと、例えば、取得部１４０５は、図２４に示すように、指定された対象者のフレームごとの骨格情報を動作情報記憶部１３０４から取得する。解析部１４０６は、取得部１４０５によって取得された骨格情報を用いて対象者の足が地面についた着地点を算出する。例えば、解析部１４０６は、図２４に示すように、歩行訓練を実行している対象者の骨格情報における足の各部位に対応する関節の座標情報を用いて着地点を算出する。
例えば、解析部１４０６は、対象者の所定の部位（例えば、足の各部位に対応する関節）の単位時間あたりの位置の変化量が所定の閾値を下回った場合に、対象者の足が着地していると判定する。ここで、解析部１４０６は、対象者の歩行の進行方向、体軸方向、又は進行方向に対して直交する方向における所定の部位の単位時間あたりの位置の変化量を解析する。すなわち、解析部１４０６は、例えば、動作情報（骨格情報）の座標空間において、対象者が深度方向を進行方向とした場合に、対象者の所定の部位の骨格情報におけるｚ座標、ｙ座標、又はｘ座標の値の変化を解析することで、足の着地点を算出する。
ここで、解析部１４０６は、対象者の歩行の進行方向を解析することができる。例えば、解析部１４０６は、ｘｚ座標（地面に水平な方向）における腰に対応する関節「２ｃ」の動きに基づいて、対象者の歩行の方向を解析する。すなわち、解析部１４０６は、関節「２ｃ」のｘｚ座標における動きをトレースして、トレースした線に対する近似曲線を算出する。解析部１４０６は、算出した近似曲線の向きを対象者の歩行の方向として解析する。なお、上述した例はあくまでも一例であり、用いられる関節は腰に対応する関節「２ｃ」に限定されるものではない。また、解析部１４０６は、対象者の歩行の方向を、後述する足の着地点の位置から算出することも可能である。すなわち、解析部１４０６は、足の着地点の位置を時系列順に抽出することで、歩行の方向を算出する。
以下、図２５Ａ〜図２５Ｆを用いて、各座標を用いた足の着地点の解析の一例を説明する。なお、図２５Ａ〜図２５Ｆにおいては、対象者が深度方向（ｚ軸方向）を歩行する場合を例に挙げて説明する。図２５Ａは、第１の実施形態に係る解析部１４０６によるｚ座標を用いた足の着地点の解析の一例を説明するための図である。例えば、解析部１４０６は、右足の足根に対応する関節「２ｐ」のｚ座標の値及び左足の足根に対応する関節「２ｔ」のｚ座標の値を、全てのフレームから取得して、図２５Ａに示すように、縦軸をｚ座標、横軸を時間としたグラフとする。
すなわち、解析部１４０６は、図２５Ａに示すように、左足の足根のｚ座標の時間における変化を示す曲線７１と、右足の足根のｚ座標の時間における変化を示す曲線７２とを算出する。そして、解析部１４０６は、例えば、各曲線における単位時間あたりのｚ座標の値の変化が所定の閾値以下となっている時点を足が地面についている時点と判定する。
例えば、図２５Ａに示すように、解析部１４０６は、左足の足根のｚ座標の時間における変化を示す曲線７１において、単位時間あたりの座標の変化が所定の閾値以下となっている時点８１を左足が地面についた時点と判定する。同様に、解析部１４０６は、図２５Ａに示すように、右足の足根のｚ座標の時間における変化を示す曲線７２において、単位時間あたりの座標の変化が所定の閾値以下となっている時点８２を右足が地面についた時点と判定する。解析部１４０６は、足が地面についたと判定した時点に相当するフレームの骨格情報を解析情報記憶部１３０５に格納する。
なお、上述した例は、あくまでも一例であり、用いられる座標は上記した例に限られない。すなわち、足根のｚ座標だけではなく、例えば、足首のｚ座標、或いは、膝のｚ座標が用いられる場合であってもよい。また、単一の関節だけではなく、例えば、足根及び膝の２つの関節のｚ座標の変化を用いて総合的に判定する場合であってもよい。
また、上述した例では、単位時間あたりの足のｚ座標の変化が所定の閾値以下となっている時点を当該足が地面に着いた時点として判定する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、単位時間あたりの足のｚ座標の変化が所定の閾値以上となっている時点を当該足とは反対の足が地面に着いた時点として判定する場合であってもよい。一例を挙げると、解析部１４０６は、図２５Ａに示すように、左足の足根のｚ座標の時間における変化を示す曲線７１において、単位時間あたりの変化が所定の閾値以上となっている時点を右足が地面に着いている時点として判定する。同様に、解析部１４０６は、図２５Ａに示すように、右足の足根のｚ座標の時間における変化を示す曲線７２において、単位時間あたりの変化が所定の閾値以上となっている時点を左足が地面に着いている時点として判定する。
次に、ｙ座標を用いて足の着地点を判定する場合について説明する。図２５Ｂは、第３の実施形態に係る解析部１４０６によるｙ座標を用いた足の着地点の解析の一例を説明するための図である。例えば、解析部１４０６は、左足の足根に対応する関節「２ｐ」のｙ座標の値及び右足の足根に対応する関節「２ｔ」のｙ座標の値を、全てのフレームから取得して、図２５Ｂに示すように、縦軸をｙ座標、横軸を時間としたグラフとする。
すなわち、解析部１４０６は、図２５Ｂの下側の曲線及び点に示すように、左足の足根のｙ座標の時間における変化を示す曲線７３と、右足の足根のｙ座標の時間における変化を示す曲線７４とを算出する。そして、解析部１４０６は、例えば、各曲線におけるｙ座標の値が所定の値（例えば、「ｙ＝０」）となっている時点を足が地面についている時点と判定する。
例えば、図２５Ｂの下側の点に示すように、解析部１４０６は、左足の足根のｙ座標の時間における変化を示す曲線７３において、ｙ座標の値が所定の値（例えば、「ｙ＝０」）となっている時点８３を左足が地面についた時点と判定する。同様に、解析部１４０６は、図２５Ｂの下側の点に示すように、右足の足根のｙ座標の時間における変化を示す曲線７４において、ｙ座標の値が所定の値（例えば、「ｙ＝０」）となっている時点８４を右足が地面についた時点と判定する。解析部１４０６は、足が地面についたと判定した時点に相当するフレームの骨格情報を解析情報記憶部１３０５に格納する。
また、例えば、解析部１４０６は、右膝に対応する関節「２ｎ」のｙ座標の値及び左膝に対応する関節「２ｒ」のｙ座標の値を、全てのフレームから取得して、図２５Ｂに示すように、縦軸をｚ座標、横軸を時間としたグラフとする。
すなわち、解析部１４０６は、図２５Ｂの上側の曲線及び点に示すように、左膝のｙ座標の時間における変化を示す曲線７５と、右膝のｙ座標の時間における変化を示す曲線７６とを算出する。そして、解析部１４０６は、例えば、各曲線におけるｙ座標の値が所定の閾値（例えば、「ｙ＝ａ」）以下となっている時点を足が地面についている時点と判定する。
例えば、図２５Ｂの上側の点に示すように、解析部１４０６は、左膝のｙ座標の時間における変化を示す曲線７５において、ｙ座標の値が所定の閾値（「ｙ＝ａ」）以下となっている時点８５を左足が地面についた時点と判定する。同様に、解析部１４２は、図２５Ｂの上側の点に示すように、右膝のｙ座標の時間における変化を示す曲線７６において、ｙ座標の値が所定の閾値（「ｙ＝ａ」）以下となっている時点８６を右足が地面についた時点と判定する。解析部１４０６は、足が地面についたと判定した時点に相当するフレームの骨格情報を解析情報記憶部１３０５に格納する。
なお、上述した例は、あくまでも一例であり、用いられる座標は上記した例に限られない。すなわち、足根や膝のｙ座標だけではなく、例えば、足首のｙ座標が用いられる場合であってもよい。また、単一の関節だけではなく、例えば、足根及び膝の２つの関節のｙ座標の変化を用いて総合的に判定する場合であってもよい。
また、上述した例では、単位時間あたりの足のｙ座標の変化が所定の値或いは所定の閾値以下となっている時点を当該足が地面に着いた時点として判定する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、単位時間あたりの足のｙ座標の変化が所定の閾値以上となっている時点を当該足とは反対の足が地面に着いた時点として判定する場合であってもよい。すなわち、解析部１４０６は、足が浮いていることを判定して、一方の足が浮いている場合に、他方の足が地面についていると判定する。例えば、図２５Ｂを一例に説明すると、解析部１４０６は、左足の足根のｙ座標の時間における変化を示す曲線７３において、ｙ座標の値が所定の値（例えば、「ｙ＞ｂ」）となった時点を右足が地面についた時点と判定する。同様に、解析部１４０６は、右足の足根のｙ座標の時間における変化を示す曲線７４において、ｙ座標の値が所定の値（例えば、「ｙ＞ｂ」）となった時点を左足が地面についた時点と判定する。
次に、ｘ座標を用いて足の着地点を判定する場合について説明する。図２５Ｃは、第３の実施形態に係る解析部１４０６によるｘ座標を用いた足の着地点の解析の一例を説明するための図である。例えば、解析部１４０６は、右足の足根に対応する関節「２ｐ」のｘ座標の値及び左足の足根に対応する関節「２ｔ」のｘ座標の値を、全てのフレームから取得して、図２５Ｃに示すように、縦軸をｘ座標、横軸を時間としたグラフとする。
すなわち、解析部１４０６は、図２５Ｃの曲線及び点に示すように、左足の足根のｘ座標の時間における変化を示す曲線７７と、右足の足根のｘ座標の時間における変化を示す曲線７８とを算出する。そして、解析部１４０６は、例えば、各曲線におけるｘ座標の値が一定示した時点を足が地面についている時点と判定する。
例えば、図２５Ｃに示すように、解析部１４０６は、左足の足根のｘ座標の時間における変化を示す曲線２７において、ｘ座標の値が一定となっている時点８７を左足が地面についた時点と判定する。同様に、解析部１４０６は、図２５Ｃに示すように、右足の足根のｘ座標の時間における変化を示す曲線７８において、ｘ座標の値が一定となっている時点８８を右足が地面についた時点と判定する。解析部１４０６は、足が地面についたと判定した時点に相当するフレームの骨格情報を解析情報記憶部１３０５に格納する。
なお、上述した例は、あくまでも一例であり、用いられる座標は上記した例に限られない。すなわち、足根のｘ座標だけではなく、例えば、足首や膝のｘ座標が用いられる場合であってもよい。また、単一の関節だけではなく、例えば、足根及び膝の２つの関節のｘ座標の変化を用いて総合的に判定する場合であってもよい。
また、上述した例では、足のｘ座標の値が一定となっている時点を当該足が地面に着いた時点として判定する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、足のｘ座標の値が小刻みに変化している時点を当該足とは反対の足が地面に着いた時点として判定する場合であってもよい。すなわち、解析部１４０６は、足が浮いていることを判定して、一方の足が浮いている場合に、他方の足が地面についていると判定する。例えば、図２５Ｃを一例に説明すると、解析部１４０６は、左足の足根のｘ座標の時間における変化を示す曲線７７において、ｚ座標の値が小刻みに変化している時点を右足が地面についた時点と判定する。同様に、解析部１４０６は、右足の足根のｘ座標の時間における変化を示す曲線７８において、ｘ座標の値が小刻みに変化している時点を左足が地面についた時点と判定する。
上述した例では、通常の歩行における足の着地を判定する場合について説明した。以下、歩行時にイレギュラーな足の着地を判定する場合について説明する。リハビリの歩行訓練を実行している際には、例えば、足がもつれたりする場合があり、イレギュラーな足の着地が発生する。以下、ｚ座標、ｙ座標、ｚ座標の値を用いたイレギュラーな足の着地の判定について順に説明する。
まず、ｚ座標を用いてイレギュラーな足の着地点を判定する場合について説明する。図２５Ｄは、第１の実施形態に係る解析部１４０６によるｚ座標を用いたイレギュラーな着地点の解析の一例を説明するための図である。ここで、図２５Ｄは、図２５Ａと同様のグラフである。例えば、解析部１４０６は、図２５Ｄに示すように、左足の足根のｚ座標の時間における変化を示す曲線７１と、右足の足根のｚ座標の時間における変化を示す曲線７２とにおいて、ｚ座標の値が同じような値をとり、値の変化が一定時間生じていない領域Ｒ１の時点をイレギュラーな足の着地が発生した時点として判定する。また、解析部１４０６は、例えば、ｚ座標の値が戻ったりした時点をイレギュラーな足の着地が発生した時点として判定することも可能である。
次に、ｙ座標を用いてイレギュラーな足の着地点を判定する場合について説明する。図２５Ｅは、第１の実施形態に係る解析部１４０６によるｙ座標を用いたイレギュラーな着地点の解析の一例を説明するための図である。ここで、図２５Ｅは、図２５Ｂと同様のグラフである。例えば、解析部１４０６は、図２５Ｅに示すように、左足の足根のｙ座標の時間における変化を示す曲線７３と、右足の足根のｚ座標の時間における変化を示す曲線７４とにおいて、ｙ座標の値がともに「ｙ＝０」となる領域Ｒ２の時点をイレギュラーな足の着地が発生した時点として判定する。
次に、ｘ座標を用いてイレギュラーな足の着地点を判定する場合について説明する。図２５Ｆは、第１の実施形態に係る解析部１４０６によるｘ座標を用いたイレギュラーな足の着地点の解析の一例を説明するための図である。ここで、図２５Ｆは、図２５Ｃと同様のグラフである。例えば、図２５Ｆに示すように、解析部１４０６は、左足の足根のｘ座標の時間における変化を示す曲線７７において、ｘ座標の値が所定の閾値を越える変化を示す領域Ｒ３内の時点８９を左足が地面についた時点と判定する。
上述したように、解析部１４０６は、ｚ座標、ｙ座標、又は、ｘ座標の値を用いてイレギュラーな足の着地点を判定することができる。従って、解析部１４０６は、例えば、歩行訓練中にバランスを崩してよろけたりした場合の足の着地点を解析することができる。なお、上述した例は、あくまでも一例であり、用いられる座標は上記した例に限られない。すなわち、足根の座標だけではなく、例えば、足首の座標、或いは、膝の座標が用いられる場合であってもよい。また、単一の関節だけではなく、例えば、足根及び膝の２つの関節の座標の変化を用いて総合的に判定する場合であってもよい。
上述した例では、単一の座標で足の着地点を判定する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、各座標について、複数の座標を総合的に用いて判定される場合であってもよい。例えば、ｚ座標の変化とｙ座標の変化をそれぞれ解析して、それぞれの解析結果に基づいて、足が地面についたか否かを判定する場合であってもよい。また、各座標の値に対して、所定の係数を加える場合であってもよい。例えば、ｙ座標の値に係数「α」を加えた上で、判定される場合であってもよい。
また、上述したように、解析部１４０６は、足が着地したことを判定するだけではなく、足が浮いていることを判定することもできる。すなわち、解析部１４０６は、例えば、歩行中に右足が浮いていれば、左足は着地していると判定できる。また、予め地面の座標をシステムにインプットしておくことで、解析部１４０６は、足が地面の座標に近くなった場合に、着地していると判定することも可能である。
上述したように、解析部１４０６は、足の着地点の位置（座標）を解析する。これにより、解析部１４０６は、例えば、解析した着地点の位置を基に、重複歩距離、歩幅、歩隔、歩数、歩行率、歩行時間、足が着地している時間などを解析する。すなわち、解析部１４０６は、着地点の座標を用いて、上記した種々の情報を解析する。ここで、解析部１４０６は、重複歩距離、歩幅、歩隔などを、歩行の方向を基準にして算出することが可能である。
なお、上述した図２５Ａ〜図２５Ｆにおいては、対象者が深度方向（ｚ軸方向）を歩行する場合（ｚ軸に沿って、動作情報収集部１０に向かって歩く場合）を例に挙げて説明した。しかしながら、対象者の歩行の方向は任意であり、解析部１４０６は、それに対応することができる。まず、ｚ軸に沿って、動作情報収集部１０から離れるように歩く場合について説明する。かかる場合には、解析部１４０６は、ｚ座標、ｙ座標、ｘ座標のいずれの座標においても上述した手法により足の着地点を判定することができる。なお、この場合、ｚ座標のグラフは、時間経過に伴って、ｚ座標の値が増加することとなる。
次に、対象者がｘ軸に沿って歩行する場合について説明する。すなわち、対象者が動作情報収集部１０の前を右から左に横切る、又は、左から右に横切る場合について説明する。かかる場合には、解析部１４０６は、ｘ座標に対して、図２５Ａ及び図２５Ｄにて説明したｚ座標における足の着地点の判定方法を用いることができる。すなわち、対象者がｘ軸に沿って歩行する場合には、歩行に伴って、ｘ座標が変化することとなる。従って、解析部１４０６は、単位時間当たりのｘ座標の値の変化が所定の閾値を下回った場合に、足が地面についていると判定する。なお、対象者が動作情報収集部１０の前を右から左に横切る場合と、左から右に横切る場合とでは、時間経過に伴って、ｘ座標の値が増加するか、或いは、減少するかのどちらかとなる。
また、対象者がｘ軸に沿って歩行する場合、解析部１４０６は、ｚ座標に対して、図２５Ｃ及び図２５Ｆにて説明したｘ標における足の着地点の判定方法を用いることができる。例えば、解析部１４０６は、ｚ座標の値が一定となっている時点を足が地面に着いている時点と判定する。なお、解析部１４０６は、ｙ座標に関しては、上述した手法により足の着地点を判定することができる。
次に、対象者が動作情報収集部１０によって動作情報が収集される空間を斜めに歩行する場合（ｚ軸及びｘ軸に沿っていない場合）について説明する。かかる場合には、解析部１４０６は、例えば、ｘｚ座標（地面と水平となる方向）における足根に対応する関節などの単位時間当たりの移動量が所定の閾値を下回った場合に、当該足根側の足が地面に着いていると判定する。なお、解析部１４０６は、ｙ座標に関しては、上述した手法により足の着地点を判定することができる。
次に、対象者が動作情報収集部１０によって動作情報が収集される空間を一方方向ではない方向で歩行する場合（例えば、往復したり、蛇行したり、回ったりする場合など）について説明する。かかる場合には、解析部１４０６は、斜めに歩行する場合と同様に、例えば、ｘｚ座標（地面と水平となる方向）における足根に対応する関節などの単位時間当たりの移動量が所定の閾値を下回った場合に、当該足根側の足が地面に着いていると判定する。なお、解析部１４０６は、ｙ座標に関しては、上述した手法により足の着地点を判定することができる。
上述したように、解析部１４０６は、取得部１４０５によって取得された動作情報を用いて、歩行動作を実行する対象者の足の着地点の位置を解析するが、解析部１４０６は、さらに、対象者の体の角度について解析することも可能である。以下、角度を解析する場合について説明する。かかる場合には、解析部１４０６は、所定の基準に対する対象者の所定の部位の角度を歩行状態としてさらに算出する。
ここで、第３の実施形態に係る解析部１４０６は、例えば、上述した図８と同様に角度を解析する。なお、図８においては、動作情報収集部１０によって収集された動作情報における骨格情報を用いて、世界座標系における所定の基準に対する対象者の歩行時の体の所定の部位における角度を算出する場合について示す。図８の（Ａ）は、歩行訓練を実行している対象者の世界座標系における骨格情報について示す。また、図８の（Ｂ）〜（Ｄ）は、角度の算出の例を示す。
解析部１４０６は、取得部１４０５によって取得されたフレームごとの骨格情報を用いて、世界座標系における所定の基準に対する対象者の体の所定の部位の角度を算出する。例えば、図８の（Ａ）に示すように、世界座標系の所定の空間（動作情報収集部１０によって座標情報を収集することが可能な空間）において、ｚ軸方向に沿った矢印の向きで対象者が歩行訓練を実行した場合には、解析部１４０６は、例えば、図８の（Ｂ）〜（Ｄ）で説明するような種々の角度を算出する。
例えば、解析部１４０６は、図８の（Ｂ）に示すように、ｘｙ平面における鉛直方向に対する頭に対応する関節「２ａ」から臀部の中央部に対応する関節「２ｄ」までの軸（体軸）の角度「θ１」を算出する。かかる場合には、解析部１４０６は、所定のフレームにおける頭に対応する関節「２ａ」における座標情報（ｘ１，ｙ１）と、臀部の中央部に対応する関節「２ｄ」の座標情報（ｘ４，ｙ４）とを通過する直線を算出して、算出した直線とｙ軸と平行の直線とのなす角度を角度「θ１」として算出する。すなわち、解析部１４０６は、対象者を前方から見た場合の左右への角度（対象者にとって左右の角度）の度合いを算出する。
また、例えば、解析部１４０６は、図８の（Ｃ）に示すように、ｘｚ平面における水平方向に対する右肩に対応する関節「２ｅ」から左肩に対応する関節「２ｉ」までの軸の角度「θ２」を算出する。かかる場合には、解析部１４０６は、所定のフレームにおける右肩に対応する関節「２ｅ」における座標情報（ｘ５，ｚ５）と、左肩に対応する関節「２ｉ」の座標情報（ｘ９，ｚ９）とを通過する直線を算出して、算出した直線とｘ軸と平行の直線とのなす角度を角度「θ２」として算出する。すなわち、解析部１４０６は、対象者を上方から見た場合の体軸を中心とする回転方向の体のブレの度合いを算出する。なお、図示していないが、解析部１４０６は、図８の（Ｃ）の矢印で示す歩行の進行方向に対する種々の角度も算出することができる。
また、例えば、解析部１４０６は、図８の（Ｄ）に示すように、ｙｚ平面における鉛直方向に対する頭に対応する関節「２ａ」から臀部の中央部に対応する関節「２ｄ」までの軸（体軸）の角度「θ３」を算出する。かかる場合には、解析部１４０６は、所定のフレームにおける頭に対応する関節「２ａ」における座標情報（ｙ１，ｚ１）と、臀部の中央部に対応する関節「２ｄ」の座標情報（ｙ４，ｚ４）とを通過する直線を算出して、算出した直線とｙ軸と平行の直線とのなす角度を角度「θ３」として算出する。すなわち、解析部１４０６は、対象者を横から見た場合の左右への角度（対象者にとって前後の角度）の度合いを算出する。
また、解析部１４０６は、所定の基準として対象者の体の一部を用いることも可能である。ここで、第３の実施形態に係る解析部１４０６は、例えば、上述した図９と同様に角度を解析する。図９においては、動作情報収集部１０によって収集された動作情報における骨格情報を用いて、対象者の体の一部に対する対象者の歩行時の体の所定の部位における角度を算出する場合について示す。図９の（Ａ）は、歩行訓練を実行している対象者の世界座標系における骨格情報について示す。また、図９の（Ｂ）は、角度の算出の例を示す。
解析部１４０６は、取得部１４０５によって取得されたフレームごとの骨格情報を用いて、対象者の体の一部に対する対象者の体の所定の部位の角度を算出する。例えば、図９の（Ａ）に示すように、世界座標系の所定の空間（動作情報収集部１０によって座標情報を収集することが可能な空間）において、ｚ軸方向に沿った矢印の向きで対象者が歩行訓練を実行した場合に、解析部１４０６は、対象者の体の一部に対する対象者の体の所定の部位における種々の角度を算出することが可能である。
例えば、解析部１４０６は、図９の（Ｂ）に示すように、右肩に対応する関節「２ｅ」と右肘に対応する関節「２ｆ」とを結ぶ骨に対する右肘に対応する関節「２ｆ」と右手首に対応する関節「２ｇ」とを結ぶ骨の角度「θ４」を算出する。すなわち、解析部１４０６は、歩行動作中の対象者の右腕（右肘）の角度を解析する。かかる場合には、解析部１４０６は、所定のフレームにおける右肩に対応する関節「２ｅ」における座標情報（ｘ５，ｙ５，ｚ５）と、右肘に対応する関節「２ｆ」の座標情報（ｘ６，ｙ６，ｚ６）とを通過する直線を算出する。さらに、解析部１４０６は、右肘に対応する関節「２ｆ」の座標情報（ｘ６，ｙ６，ｚ６）と、右手首に対応する関節「２ｇ」の座標情報（ｘ７，ｙ７，ｚ７）とを通過する直線を算出する。そして、解析部１４０６は、算出した２本の直線のなす角度を角度「θ４」として算出する。
このように、解析部１４０６は、動作情報収集部１０によって収集されたフレームごとの骨格情報の座標情報（ｘ，ｙ，ｚ）を用いて、所定の基準に対する対象者の所定の部位の角度を算出することができる。なお、図８の（Ｂ）〜（Ｄ）及び図９の（Ｂ）に示す例はあくまでも一例に過ぎない。すなわち、解析部１４０６は、操作者によって任意に設定される基準に対する任意に選択される体の部位の角度をフレームごとに算出することができる。
ここで、解析される角度については、上述したように任意に設定することができるが、例えば、「関節可動域表示ならびに測定法（日本整形外科学会と日本リハビリテーション医学会）：http://ci.nii.ac.jp/naid/110001856130」で規定されている角度を測定するように設定することができる。また、例えば、設定される基準として、体の基準面（矢状面、水平面、前額面）を用いることが可能である。また、例えば、対象者の初期状態を基準としてプリセットし、歩行時の状態と初期状態との差分を解析することも可能である。
次に、速度を解析する場合について説明する。解析部１４０６は、速度を解析する場合には、所定時間（例えば、０．５秒）ごとに対象者の所定の部位に対応する座標が移動した移動距離［ｍ］を算出する。そして、解析部１４０６は、算出した所定時間当たりの移動距離に基づいて、対象者の移動速度［ｍ／秒］を所定時間ごとに算出する。ここで、解析部１４０６は、歩行訓練を行っている間の対象者の移動速度の平均値を、対象者が歩く速度として算出することも可能である。一例を挙げると、解析部１４０６は、操作者が入力部１２０を介して指示した部位（例えば、いずれかの関節、或いは、各関節から導出される体の部位）の移動速度を算出する。
また、解析部１４０６は、算出した速度を用いて加速度を算出する。具体的には、解析部１４０６は、上述した手法により算出した単位時間あたりの速度を用いて、加速度（単位時間あたりの速度の変化率）を算出する。
次に、距離を解析する場合について説明する。解析部１４０６は、動作情報収集部１０によって収集された対象者の所定の部位間の距離などを計測する。例えば、解析部１４０６は、対象者の歩幅や、歩隔、関節間の距離などを計測する。図２６は、第３の実施形態に係る解析部１４０６による計測処理の一例を説明するための図である。図２６においては、対象者が歩行訓練を実行した世界座標系のｘｚ座標を縦４ｍ、横２ｍの領域で示し、当該領域内に対象者の足跡と、対象者の体の軌跡とを示した図である。
例えば、解析部１４０６は、図２６に示すように、歩幅４３や、歩隔４４の距離を算出する。例えば、図２６に示す足跡及び体の軌跡の情報が出力部１１０にて表示され、入力部１２０を介して、操作者が各距離の計測要求を入力すると、解析部１４０６は、１歩目に対応する座標情報のｚ座標の値と、２歩目に対応する座標情報のｚ座標の値とから歩幅４３を算出する。同様に、解析部１４０６は、１歩目に対応する座標情報のｘ座標の値と、２歩目に対応する座標情報のｘ座標の値とから歩隔４４を算出する。
なお、上述した例はあくまでも一例であり、距離の測定は任意に実行させることができる。例えば、解析部１４０６による計測機能は、１歩目に対応する座標情報のｘ座標及びｚ座標の値と、２歩目に対応する座標情報のｘ座標及びｚ座標の値とから１歩目の足跡から２歩目の足跡までの距離を算出させることも可能である。また、解析部１４０６は、対象者の同一部位（例えば、頭に対応する関節「２ａ」など）の各フレームのｘ座標の値を取得して、所定のフレーム間でｘ座標の値が移動した距離を算出することも可能である。なお、かかる場合のフレーム間は任意に設定することが可能である。例えば、右足が着地した時点のフレームから左足が着地した時点のフレームまでの間で算出させることも可能である。
また、解析部１４０６による計測処理においては、時間情報を計測することも可能である。例えば、解析部１４０６は、対象者の歩行における１歩目から２歩目にかかった時間や、各歩について着地していた時間、１回の歩行訓練にかかった時間などを計測することができる。また、解析部１４０６は、計測した時間を用いて歩行率（単位時間あたりの歩数）などを計測することも可能である。以上、解析部１４０６による計測処理の例について説明したが、上述した解析部１４０６による計測処理は、操作者による指示以外にも自動で行わせることも可能である。
上述したように、解析部１４０６は、取得部１４０５によって取得された対象者のフレームごとの骨格情報を用いて、種々の解析を実行する。また、解析部１４０６は、解析結果を用いて、対象者の歩行が安定した歩行であるか否かを判定したり、対象者の将来の歩行について予測したりすることも可能である。
例えば、解析部１４０６は、対象者によって実行された歩行に対して体のブレなどの判定を実行する場合には、予め設定された閾値を判定基準として、歩行における対象者の体のブレなどを判定する。例えば、解析部１４０６は、歩行時のブレの閾値が設定されている場合には、対象者の動作情報（例えば、ｘｚ座標における頭に対応する関節の座標の値の変化）から対象者の歩行時の体軸を中心とする回転方向の動きを解析して、体軸を中心とする回転方向のブレが閾値を超えたか否かを判定する。
ここで、体軸を中心とする回転方向のブレが閾値を越えた場合には、解析部１４０６は、対象者の歩行が安定した歩行ではないと判定する。そして、解析部１４０６は、判定結果を後述する表示制御部１４０７に通知する。これにより、後述する表示制御部１４０７は、対象者の歩行が安定した歩行ではないと判定された場合に警告を表示したり、或いは、歩行が安定している間に安定した歩行である旨を知らせるための表示情報を表示したりすることができる。このように、解析部１４０６は、予め設定された所定の閾値を用いて解析結果を判定するが、上述した例はあくまでも一例であり、その他の種々の判定を行うことが可能である。例えば、解析部１４０６は、歩行中の対象者の体の角度や、歩行速度、歩幅、歩隔などにより、対象者の歩行が安定した歩行であるか否かを判定することができる。すなわち、各解析情報における閾値が予め設定され、解析部１４０６は、各解析情報の値と設定された閾値とを比較して、対象者の歩行が安定した歩行であるか否かを判定する。
また、対象者の将来の歩行について予測する場合には、例えば、解析部１４０６は、歩行訓練を行っている同一対象者の過去の歩行のデータから足の着地点の位置、歩幅及び歩隔のデータを取得する。そして、解析部１４０６は、今回の歩行訓練で収集された歩行のデータにおける足の着地点の位置、歩幅及び歩隔のデータを抽出して、過去のデータと比較する。ここで、解析部１４０６は、過去のデータが収集された日時から今回のデータを収集した日時までに、対象者の歩行がどのように変化したかを算出して、将来（所定の日時が経過した場合）、対象者の歩行がどのように変化するかを予測する。一例を挙げると、解析部１４０６は、１ヶ月後の足の着地点の位置、歩幅及び歩隔がどのように変化するかを予測する。
また、解析部１４０６は、同一対象者だけではなく、例えば、同一の歩行訓練を実行している他者の歩行のデータから、当該歩行訓練におけるリハビリの効果を推定して、対象者の歩行がどのように変化するかを予測することも可能である。かかる場合には、解析部１４０６は、他者の歩行のデータから所定の期間でどのような歩行の変化があるかを解析して、対象者の現時点の歩行のデータに適用することで、対象者の歩行が将来どのように変化するかを予測する。
また、解析部１４０６は、予測した歩行と、実際の歩行との差異を解析して、実際の歩行が予測した歩行と大きく異なっているか否かを判定することも可能である。かかる場合には、予測された歩行の状態（例えば、足の着地点の位置、歩幅、歩隔など）からの差異の許容範囲が予め設定され、解析部１４０６は、予測した歩行と実際の歩行との差異を算出して、算出した差異が予め設定された許容範囲内であるか否かを判定する。ここで、算出した差異が許容範囲を超えた場合に、解析部１４０６は、実際の歩行が予測した歩行と大きく異なっていると判定する。そして、解析部１４０６は、判定結果を後述する表示制御部１４０７に通知する。これにより、後述する表示制御部１４０７は、実際の歩行が予測した歩行と大きく異なっていると判定された場合に警告を表示したり、或いは、実際の歩行が予測した歩行と大きく異なっていない旨を知らせるための表示情報を表示したりすることができる。
また、解析部１４０６は、対象者が実際に歩行訓練を実行している場合に、リアルタイムに歩行を予測することも可能である。例えば、解析部１４０６は、歩行訓練を実行している対象者の歩行の解析結果に基づいて、次に踏み出す歩を予測する。一例を挙げると、解析部１４０６は、対象者の１歩目と、２歩目の解析結果から３歩目（例えば、足の着地点の位置、歩幅など）を予測する。ここで、解析部１４０６は、１歩目及び２歩目の２つの解析結果を用いる場合であってもよく、或いは、２歩目の解析結果のみを用いる場合でもよい。
そして、解析部１４０６は、実際の歩行と予測した歩行とが大きく異なっているか否かを判定する。例えば、解析部１４０６は、予測した３歩目と実際の３歩目との差異を算出して、算出した差異が予め設定された許容範囲内であるか否かを判定する。ここで、算出した差異が許容範囲を超えた場合に、解析部１４０６は、実際の３歩目が予測した３歩目と大きく異なっていると判定する。そして、解析部１４０６は、判定結果を後述する表示制御部１４０７に通知する。これにより、後述する表示制御部１４０７は、実際の歩行が予測した歩行と大きく異なっていると判定された場合にリアルタイムに警告を表示したり、或いは、実際の歩行が予測した歩行と大きく異なっていない旨を知らせるための表示情報をリアルタイムに表示したりすることができる。
なお、上述した例はあくまでも一例であり、予測の対象は上述した例に限定されるものではない。例えば、解析部１４０６は、対象者の動作情報（骨格情報）を用いて、対象者の体の角度や、足の上がり方などを予測することも可能である。
さて、上述したように、解析部１４０６は、対象者の動作情報を用いて、対象者の歩行に係る種々の解析を実行する。そして、解析部１４０６は、上述した解析結果を表示制御部１４０７に出力する。
図２３に戻って、表示制御部１４０７は、解析部１４０６によって解析された歩行情報を出力部１１０にて表示するように制御する。具体的には、表示制御部１４０７は、解析情報記憶部１３０５にて記憶された解析情報を出力部１１０にて表示するように制御する。以下、図２７〜図３０を用いて、表示制御部１４０７の制御によって表示される解析結果の例を説明する。図２７〜図３０は、第３の実施形態に係る表示制御部１４０７の制御によって表示される解析結果の一例を示す図である。
例えば、表示制御部１４０７は、図２７に示すように、「ＭａｉｎＷｉｎｄｏｗ」の左側の領域にカメラ画像を配置し、右側に＜ただいまの歩行結果＞を配置した解析情報を出力部１１０にて表示する。ここで、表示制御部１４０７は、図２７に示すように、カメラ画像に対象者の体軸を示す直線と、３軸の情報を重畳させ、体の角度の解析結果「体の角度：１０°」を表示させる。そして、表示制御部１４０７は、＜ただいまの歩行結果＞として、「歩数：６歩」、「歩行率：１０５歩／分」、各歩間の歩幅の解析結果である「歩幅解析」を表示する。これにより、操作者は、対象者の歩行状況を一目で評価することができる。
ここで、図２７に示す解析情報はあくまでも表示の一例である。すなわち、表示制御部１４０７は、さらに種々の情報を出力部１１０にて表示させる。例えば、表示制御部１４０７は、図２８に示すように、図２７に示すカメラ画像及び＜ただいまの歩行結果＞に加えて、「歩行を上から見た軌跡」を出力部１１０にて表示させることも可能である。かかる情報は、解析部１４０６によって解析された対象者の足の着地点及び体の軌跡を示す情報の一例である。これにより、操作者は、二次元的に表示されるカメラ画像では見ることができない上からの足跡及び体の軌跡の情報をさらに見ることができるとともに、歩幅解析などの解析結果を評価することができる。
また、表示制御部１４０７は、歩行にかかる解析結果だけでなく、体の一部の角度が解析された解析情報を出力部１１０にて表示させることが可能である。例えば、表示制御部１４０７は、図２９に示すように、「ＭａｉｎＷｉｎｄｏｗ」の左側の領域にカメラ画像を配置し、右側に腕の角度の解析情報を示す「Ａｒｍ Ａｎｇｌｅ」のグラフを配置した解析情報を出力部１１０にて表示する。
ここで、例えば、表示制御部１４０７は、図２９に示すように、解析された腕の角度をカメラ画像上に明示することができる。すなわち、表示制御部１４０７は、図２９に示すように、「Ａｒｍ Ａｎｇｌｅ」の解析対象となっている右腕の関節を明示するように、右肩に対応する関節と、右肘に対応する関節と、右手首に対応する関節とをそれぞれ点で示し、それらを線で結んだ情報を画像上に重畳して表示する。
なお、表示制御部１４０７による表示形式は、図２７及び図２８にて示す表示形式でもよく、或いは、図２９に示すような表示形式であってもよい。すなわち、表示制御部１４０７は、図２９に示すように、リアルタイム（Real-Time）で表示されるタブにおいて、左側に画像情報を表示する領域と、パラメータをセットするための「ＰＡＲＡＭＥＴＥＲ」ＳＥＴボタンと、録画の開始と終了を実行するための「ＲＥＣＯＤＥ」ＳＴＡＲＴボタンとを備えたウィンドウを表示する。
また、表示制御部１４０７は、同一のタブの右側において、「Ｔｒａｃｋ」、「Ｖｅｌｏｃｉｔｙ」、「Ａｒｍ Ａｎｇｌｅ」、「Ｓｈｏｕｌｄｅｒ Ａｎｇｌｅ」などで示されるグラフの表示切替を実行するためのタブを備えたウィンドウを表示する。すなわち、表示制御部１４０７は、操作者によってこれらのタブがクリックされるとそれぞれに対応する情報を表示することができる。例えば、「Ａｒｍ Ａｎｇｌｅ」の場合には、表示制御部１４０７は、図２７に示すように、縦軸に角度「Ａｎｇｌｅ［ｄｅｇｒｅｅ］」をとり、横軸に時間をとったグラフを表示する。
また、表示制御部１４０７は、複数の結果を並列表示させることも可能である。例えば、表示制御部１４０７は、図３０に示すように、ウィンドウの左右にそれぞれ異なる時期の歩行のデータを表示する。例えば、表示制御部１４０７は、左右の各領域に画像情報とグラフ情報とをそれぞれ表示する。ここで、表示制御部１４０７は、これらの領域に操作者によって指定された情報を表示する。
すなわち、表示制御部１４０７は、左右の領域のそれぞれの上側に、カラー画像情報や重畳画像情報などの画像情報を表示し、左右の領域のそれぞれの下側に、足跡の軌跡やグラフ情報などを表示する。ここで、比較表示される対象は、同一の対象者だけに限られず、他者のデータと並列して表示することができる。したがって、表示制御部１４０７は、例えば、同一人物の時期が異なる歩行のデータを並列して表示したり、足に障害がある人物と足に障害がない人物との歩行のデータを並列して表示したりすることができる。
なお、複数の対象者を並列表示するウィンドウにおいては、例えば、図３０に示すように、解析情報記憶部１３０５によって記憶された解析情報を選択するための選択領域や、表示させるパラメータを選択するための「Ｐａｒａｍｅｔｅｒ ＳＥＴ」ボタン、グラフを切替えるための切り替えボタンなどが表示される。
また、表示制御部１４０７は、対象者が実行した歩行が安定した歩行であるか否かが判定された判定結果や、将来の歩行の予測結果などを出力部１１０にて表示させることができる。例えば、判定結果を表示させる場合には、表示制御部１４０７は、画像情報が表示された領域全体を赤くして警告を表示したり、音声を出力させたりする。
また、予測結果を表示させる場合には、表示制御部１４０７は、リアルタイムで歩行を解析している解析結果と平行して表示させたり、或いは、現時点の歩行の解析結果に重畳させて表示させたりする。
また、表示制御部１４０７は、上述した情報だけではなく、解析部１４０６によって解析された情報を用いてその他種々の情報を出力部１１０から出力させることができる。例えば、表示制御部１４０７は、解析部１４０６によって解析された解析情報を用いて、第１及び第２の実施形態で説明した軌跡情報や、重畳画像情報などを生成し、生成した情報を出力部１１０から出力させることができる。ここで、第３の実施形態に係る動作情報処理装置１００ａにおいても、図４に示す生成部１４０３を有し、生成部１４０３が解析部１４０６によって解析された解析情報を用いて表示情報を生成する場合であってもよい。
次に、図３１を用いて、第３の実施形態に係る動作情報処理装置１００ａの処理について説明する。図３１は、第３の実施形態に係る動作情報処理装置１００ａによる処理の手順を示すフローチャートである。なお、図３１においては、解析結果を表示させる場合について示す。
図３１に示すように、第３の実施形態に係る動作情報処理装置１００ａにおいては、歩行訓練が開始されると、取得部１４０５が、歩行を実行した対象者の動作情報を取得する（ステップＳ２０１）。そして、解析部１４０６は、取得された動作情報を解析して解析情報を算出する（ステップＳ２０２）。そして、表示制御部１４０７が、表示指示を受付けたか否かを判定する（ステップＳ２０３）。
ここで、表示指示を受付けると（ステップＳ２０３肯定）、表示制御部１４０７が、解析情報を出力部１１０にて表示するように制御する（ステップＳ２０４）。なお、表示指示を受付けるまで解析情報の算出を継続する（ステップＳ２０３否定）。
上述したように、第３の実施形態によれば、取得部１４０５は、歩行動作を実行する対象者の動作情報を取得する。そして、解析部１４０６は、取得部１４０５によって取得された動作情報における対象者の所定の部位の経時的な位置の変化に基づいて、対象者の足の着地した位置を含む歩行状態を解析する。従って、第３の実施形態に係る動作情報処理装置１００ａは、足の着地点を含む歩行状態の解析結果を操作者に提供することができ、歩行状況の評価を容易にすることを可能にする。その結果、第３の実施形態に係る動作情報処理装置１００ａは、医師や理学療法士などの歩行に対する評価のブレを抑制することを可能にする。
また、第３の実施形態によれば、解析部１４０６は、取得部１４０５によって取得された動作情報における対象者の所定の部位の経時的な３次元的な位置の変化に基づいて、対象者の足が着地しているか否かを判定し、足が着地していると判定した場合に、判定した時点の対象者の足の位置を着地点とする。従って、第３の実施形態に係る動作情報処理装置１００ａは、歩行時の対象者の種々の部位の動きを判定材料に足の着地点の位置を解析することができ、足の着地を高精度で抽出することを可能にする。
また、第３の実施形態によれば、解析部１４０６は、対象者の足における所定の部位の単位時間あたりの位置の変化量に基づいて、対象者の足の着地を判定する。従って、第３の実施形態に係る動作情報処理装置１００ａは、対象者の足が止まっているか否かを高精度で判定することを可能にする。
また、第３の実施形態によれば、解析部１４０６は、対象者の一方の足における所定の部位の位置の変化量に基づいて、前記一方の足とは反対側の足の着地を判定する。従って、第３の実施形態に係る動作情報処理装置１００ａは、着地する足とは反対側の足の動きによって足の着地を判定することを可能にする。
また、第３の実施形態によれば、解析部１４０６は、対象者の歩行の進行方向、体軸方向、又は進行方向に対して直交する方向における所定の部位の単位時間あたりの位置の変化量を解析する。従って、第３の実施形態に係る動作情報処理装置１００ａは、対象者が歩行動作を実行している空間内の簡単な座標情報で足の着地点の位置を解析することができ、操作者が認識しやすい解析情報を提供することを可能にする。
また、第３の実施形態によれば、解析部１４０６は、進行方向、体軸方向及び進行方向に対して直交する方向のうち、少なくとも２つ以上の方向における所定の部位の単位時間あたりの位置の変化量を解析する。従って、第３の実施形態に係る動作情報処理装置１００ａは、対象者の足が着地しているか否かの判定において、複雑な動きにも対応することを可能にする。
また、第３の実施形態によれば、解析部１４０６は、対象者の歩行に伴う位置の変化に基づいて、進行方向を求める。具体的には、解析部１４０６は、対象者の歩行に伴って位置の値が増加又は減少する方向を進行方向とし、対象者の歩行の間、位置の値が所定の範囲内で変動する方向を体軸方向とし、対象者の歩行の間、位置の値が略一定である方向を進行方向に対して直交する方向とする。従って、第３の実施形態に係る動作情報処理装置１００ａは、対象者がどのような方向に歩行する場合であっても対応することを可能にする。
また、第３の実施形態によれば、解析部１４０６は、所定の基準に対する対象者の所定の部位の角度を歩行状態としてさらに算出する。従って、第３の実施形態に係る動作情報処理装置１００ａは、歩行状況の評価に重要なパラメータを容易に提供することを可能にする。
また、第３の実施形態によれば、解析部１４０６は、解析した対象者の足の着地点の位置に基づいて、当該対象者の足の着地点を予測する。従って、第３の実施形態に係る動作情報処理装置１００ａは、対象者の回復具合や、対象者に対する歩行訓練の最適度、或いは、歩行訓練自体の評価を行うことを可能にする。
また、第３の実施形態によれば、表示制御部１４０７は、解析部１４０６によって解析された歩行情報を出力部１１０にて表示するように制御する。従って、第３の実施形態に係る動作情報処理装置１００ａは、解析情報を視覚的な情報で操作者に提供することができ、歩行状況の評価をより容易にすることを可能にする。
（第４の実施形態）
さて、これまで第３の実施形態について説明したが、上述した第３の実施形態以外にも、種々の異なる形態にて実施されてよいものである。
上述した第３の実施形態においては、対象者の歩行に係る情報のみを用いて足の着地点の位置などを解析する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、対象者特有の情報を用いる場合であってもよい。すなわち、解析部１４０６は、取得部１４０５によって取得された歩行動作を実行する対象者の動作情報に含まれる当該対象者特有の動作又は器具に基づいて、対象者の足の着地点の位置を解析する。
一例を挙げると、対象者の歩行時の特徴（例えば、足を引きずる、杖又は歩行用靴を利用しているなど）に基づいて、足の着地点の位置を解析する場合であってもよい。かかる場合には、解析部１４０６は、例えば、医療情報システムや、個人の健康情報記録（ＰＨＲ：Personal Health Record）などから個人情報を取得してもよい。
ここで、医療情報システムは、院内で利用される情報システムであり、例えば、電子カルテシステム、レセプト電算処理システム、オーダリングシステム、受付（個人、資格認証）システム、診療支援システムなどが挙げられる。また、ＰＨＲは、例えば、医療機関、健診機関、スポーツジム及び家庭などに散在している医療情報、保健情報及び健康情報を集約して管理される記録である。ＰＨＲは、例えば、ネットワーク上に構築された管理システムを用いて個人が主体となって管理される。
例えば、解析部１４０６は、医療情報システムや、ＰＨＲなどから対象者の情報を取得する。そして、解析部１４０６は、取得した対象者の情報に含まれる対象者の歩行時の特徴から対象者の足の着地点の位置を解析する。一例を挙げると、対象者の歩行時の特徴として「杖を利用している」ことを取得した場合には、解析部１４０６は、カラー画像情報に含まれる杖をパターンマッチングなどにより検出する。そして、解析部１４０６は、検出した杖において対象者の手に対応する関節から遠い側の端部の座標を取得する。そして、解析部１４０６は、取得した端部の座標に基づいて、杖が地面についたか否か、或いは、中に浮いているか否かを判定する。すなわち、解析部１４０６は、上記した対象者の所定の部位に場合と同様に、端部の座標の変化に基づいて、杖が地面についたか否か、或いは、中に浮いているか否かを判定する。そして、解析部１４０６は、杖が地面についているか否かによって、対象者の足が地面に着地しているか否かを判定する。例えば、解析部１４０６は、杖が地面についていた場合に、当該杖を持つ手に対応する関節と同一の側の足が着地していると判定する。
なお、上述した例は、あくまでも一例であり、実施形態はこれに限定されるものではない。すなわち、対象者の情報は、医療情報システムや、ＰＨＲなどから取得される場合に限られず、操作者によって入力される場合であってもよい。また、上述した判定の基準（杖が地面についていた場合に、当該杖を持つ手に対応する関節と同一の側の足が着地している）も操作者によって任意に設定することができる。すなわち、判定規準は、歩行訓練を実行する対象者に応じて、任意に設定される。
上述した第３の実施形態においては、解析結果が出力部１１０にて表示される場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、解析情報が紙媒体にプリントアウトされる場合であってもよい。
上述した第３の実施形態においては、次回の歩行訓練などの将来の歩行を予測する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、１歩先の足跡を予測する場合であってもよい。
上述した第３の実施形態においては、足の着地点の算出に用いられる座標として規定の関節（例えば、足根、足首、膝など）を用いる場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、所定の関節間に設定された位置の座標を用いて、足の着地点が算出される場合であってもよい。
上述した第３の実施形態においては、座標の値を用いて足の着地の判定を行う場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、対象者が歩行訓練を実行している間の所定の部位の速度や、加速度が用いられる場合であってもよい。かかる場合には、解析部１４０６は、例えば、足における所定の部位の速度、或いは加速度が所定の閾値以下となった場合に、当該足が着地していると判定する。または、解析部１４０６は、足における所定の部位の速度、或いは加速度が所定の閾値を超えた場合に、当該足とは反対側の足が着地していると判定する。
上述した実施形態において説明した解析部１４０６による解析処理は、操作者による操作のもと実行される場合であってもよく、或いは、予め設定された条件に基づいて、自動で実行される場合であってもよい。
上述した第３の実施形態においては、対象者の関節の座標情報を解析することにより足の着地点を算出する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、対象者の体にセンサを取り付けたモーションキャプチャによって収集された情報を用いて足の着地点を算出する場合であってもよく、或いは、圧力センサを用いたシートにより足の着地点を算出する場合であってもよい。
（第５の実施形態）
次に、第５の実施形態に係る動作情報処理装置１００ｂの構成について説明する。第５の実施形態に係る動作情報処理装置１００ｂは、第１の実施形態にて説明した構成（図１に示す構成）のもと、以下、詳細に説明する構成により、臨床上有用な歩行解析を行うことを可能にする。以下では、歩行動作を行う対象者が、部屋の奥から手前に向かって歩く場合を例示して説明する。なお、実施形態は、これに限らず、例えば、部屋の手前から奥に向かって歩く場合にも適用することができる。
図３２は、第５の実施形態に係る動作情報処理装置１００ｂの詳細な構成の一例を示す図である。図３２に示すように、動作情報処理装置１００ｂにおいては、記憶部１３０ｂが深度画像情報記憶部１３０６と、カラー画像情報記憶部１３０７と、解析情報記憶部１３０８とを有する。
深度画像情報記憶部１３０６は、動作情報収集部１０によって生成された深度画像情報を記憶する。例えば、深度画像情報記憶部１３０６は、動作情報収集部１０によって生成された深度画像情報を、フレームごとに記憶する。なお、上述したように、１フレームの深度画像情報は、撮影時刻情報と、撮影範囲に含まれる各画素の位置情報と、各画素の深度とが対応付けられた情報である。また、上述したように、深度画像情報は、距離画像情報の各画素に対応付けられた距離情報に代えて深度情報を対応付けたものであり、距離画像情報と同様の距離画像座標系で各画素位置を表すことができる。また、深度画像情報は、動作情報収集部１０によって生成されるごとに深度画像情報記憶部１３０６に格納される。
図３３は、第５の実施形態に係る深度画像情報記憶部１３０６に記憶される情報の一例を示す図である。図３３には、各画素の深度に応じた色の濃淡をビットマップに配置した深度画像９０を例示する。図３３に示すように、深度画像９０は、各画素に、その画素の深度が対応付けられている。具体例を挙げると、深度画像９０の領域９１において、左上の画素には深度「１２３４ｍｍ」が対応付けられており、その下の画素には深度「１３６７ｍｍ」が対応付けられている。すなわち、深度画像情報は、距離画像座標系の「画素位置Ｘ」及び「画素位置Ｙ」と、世界座標系の「深度ｚ」とが対応付けられた３次元の情報である。また、距離画像座標系及び世界座標系は、上述したように、相互に変換可能であるため、深度画像情報における３次元の座標についても距離画像座標系或いは世界座標系で表すことができる。
カラー画像情報記憶部１３０７は、動作情報収集部１０によって収集されたカラー画像情報を記憶する。例えば、カラー画像情報は、動作情報収集部１０によって収集されるごとにカラー画像情報記憶部１３０７に格納される。
なお、深度画像情報記憶部１３０６及びカラー画像情報記憶部１３０７において、深度画像情報の画素位置及びカラー画像情報の画素位置は、予め対応付けられている。また、深度画像情報の撮影時刻情報及びカラー画像情報の撮影時刻情報は、予め対応付けられている。
解析情報記憶部１３０８は、後述する制御部１４０ｂによる解析結果を記憶する。具体的には、解析情報記憶部１３０８は、後述する制御部１４０ｂが記憶部１３０ｂによって記憶された動作情報を用いて解析した解析結果を記憶する。例えば、第５の実施形態に係る解析情報記憶部１３０８は、上述した図６に示す解析情報を記憶する。ここで、「氏名番号」とは、対象者を一意に特定するための識別子であり、氏名ごとに付与される。「実施日」とは、対象者が歩行訓練を実施した日時を示す。「解析情報」とは、後述する制御部１４０ｂによって解析された解析結果の情報を示す。
例えば、解析情報記憶部１３０８は、図６に示すように、「氏名：Ａ、氏名番号：１、実施日：２０１２０８０１＿１、解析情報：足の着地点、角度、速度、加速度、歩数、歩幅、重複歩行距離、歩隔、歩行率、・」を記憶する。上記した情報は、「氏名番号」が「１」である「氏名：Ａ」の人物が「２０１２年」の「８月１日」に実施した「１回目」の歩行における動作情報を用いて解析された解析結果の情報として、「足の着地点」と、「角度」と、「速度」と、「加速度」と、「歩数」と、「歩幅」と、「重複歩行距離」と、「歩隔」と、「歩行率」とを含む解析情報が記憶されていることを示す。
ここで、「足の着地点」とは、対象者の足が地面についた位置を示す情報であり、例えば、座標情報として記憶される。また、「角度」とは、対象者の歩行中の体の角度を示す情報であり、所定の基準に対する体の部位の角度の情報が記憶される。例えば、解析情報記憶部１３０８は、解析情報の「角度」として、鉛直方向に対する体の角度などの情報を記憶する。なお、解析情報の「角度」の情報は、基準と体の部位が操作者によって任意に設定される。また、「速度」とは、歩行時の対象者の速度を示す情報であり、例えば、所定の部位（体の中心など）の速度の情報が記憶される。また、「加速度」とは、歩行時の対象者の加速度を示す情報であり、例えば、所定の部位の加速度の情報が記憶される。また、「歩数」とは、対象者が歩行訓練で歩いた歩数を示す情報である。また、「歩幅」とは、対象者の歩行において右足（左足）の着地点から左足（右足）の着地点までの進行方向の距離を示す情報である。また、「重複歩行距離」とは、片足が着地してから、再び着地するまでの距離を示す情報である。また、「歩隔」とは、対象者の歩行において右足（左足）の着地点から左足（右足）の着地点までの進行方向に直交する方向の距離を示す情報である。また、「歩行率」とは、単位時間あたりの歩数を示す情報である。
同様に、解析情報記憶部１３０８は、図６に示すように、「氏名：Ｂ、氏名番号：２」の人物についても、「足の着地点」、「角度」、「速度」と、「加速度」と、「歩数」と、「歩幅」と、「重複歩行距離」と、「歩隔」と、「歩行率」とを含む解析情報を記憶する。このように、解析情報記憶部１３０８は、対象者ごとに収集された歩行の動作情報が後述する制御部１４０ｂによって解析された解析情報を、それぞれの対象者に対応付けて記憶する。なお、図６に示す解析情報はあくまでも一例であり、例えば、その他にも、歩行時間や、足が着地している時間などが含まれても良い。解析情報に含まれる種々の情報は、後述する制御部１４０ｂに対する操作者の設定によって任意に変更され、例えば、図６に示す情報のうち、いずれかの項目が算出されない場合もある。
動作情報処理装置１００ｂにおいて、制御部１４０ｂは、取得部１４０８と、抽出部１４０９と、算出部１４１０と、解析部１４１１と、表示制御部１４１２とを有する。
取得部１４０８は、撮影範囲に含まれる各画素と、各画素の深度とが対応付けられた深度画像情報をフレームごとに有する、時系列順に並ぶフレーム群を取得する。例えば、取得部１４０８は、動作情報収集部１０及び動作情報処理装置１００ｂに電源が投入され、１フレームの深度画像情報が深度画像情報記憶部１３０６に格納されるごとに、格納された深度画像情報を深度画像情報記憶部１３０６から取得する。また、取得部１４０８は、取得した深度画像情報に対応するフレームのカラー画像情報をカラー画像情報記憶部１３０７から取得する。なお、取得部１４０８が深度画像情報を取得する処理は、上記の例に限らず、例えば、撮影済みの深度画像情報のフレームが時系列順に並べられたフレーム群を取得しても良い。
抽出部１４０９は、処理対象となるフレームの深度画像情報と、その深度画像情報とは異なるフレームの深度画像情報とに基づいて、処理対象となるフレームの深度画像情報から３次元の空間内に存在する、解析対象とする被写体の領域を示す被写体領域を抽出する。
例えば、抽出部１４０９は、動きのあるものを抽出する第１の抽出処理、人がいない時の深度画像情報を基準とする第２の抽出処理、或いは所定時間前の深度画像情報を基準とする第３の抽出処理のうち、いずれかの抽出処理によって被写体領域を抽出する。以下、第１〜第３の抽出処理について順に説明する。
（第１の抽出処理）
第１の抽出処理において、抽出部１４０９は、動きのあるものを抽出することで、深度画像情報から被写体領域を抽出する。具体的に、抽出部１４０９は、フレーム群のうち、処理対象となるフレームの深度画像情報と、そのフレームと時系列順で隣り合うフレームの深度画像情報とについて、画素ごとに深度の差分を算出する。そして、抽出部１４０９は、算出した差分が閾値以上である画素の領域を被写体領域として抽出する。
図３４は、第５の実施形態に係る抽出部１４０９が被写体領域を抽出する第１の抽出処理について説明するための図である。図３４には、フレームＴ−１の深度画像９０、フレームＴの深度画像９０及び２値化画像９２を例示する。フレームＴの深度画像９０及びフレームＴ−１の深度画像９０において、実線は、各フレームにおける対象者の位置を表す。また、フレームＴの深度画像９０において、破線は、フレームＴ−１における対象者の位置を表す。すなわち、フレームＴの深度画像９０は、対象者が破線の位置から実線の位置に移動したことを表す。なお、２値化画像９２における「画素位置Ｘ」及び「画素位置Ｙ」は、距離画像座標系の「画素位置Ｘ」及び「画素位置Ｙ」に対応する。また、破線は説明の便宜上、フレームＴ−１における対象者の位置を示すものであり、フレームＴの深度画像９０においてフレームＴ−１における対象者の位置は表示されない。
図３４に示すように、抽出部１４０９は、取得部１４０８によってフレームＴの深度画像９０が取得されると、フレームＴの深度画像９０の深度からフレームＴ−１の深度画像９０の深度を画素ごとに減算する。そして、抽出部１４０９は、減算した値が閾値以上である画素を白とし、閾値未満である画素を黒とする２値化を行うことで、フレームＴの２値化画像９２を生成する。この２値化画像９２において、黒い画素の領域は、フレームＴ−１からフレームＴの間に深度方向に閾値より動きのないもの、例えば、床面や壁、机、椅子等の物体の位置を表す。また、白い画素の領域は、フレームＴ−１からフレームＴの間に深度方向に閾値以上に動きのあるもの、例えば、撮影された人物（被写体）の位置を表す。すなわち、抽出部１４０９は、動きのないものと動きのあるものとをそれぞれ識別することで、歩行動作を行う対象者の位置を表す被写体領域９３を抽出する。なお、図３４では、動きのあるものを抽出するために、隣り合う２つのフレーム（フレームＴ及びフレームＴ−１）の深度画像情報の差分を算出する場合を説明したが、これに限定されるものではない。例えば、フレームＴ及びフレームＴ−ｔ（ｔは１以上の整数）の深度画像情報の差分を算出しても良い。具体例を挙げると、抽出部１４０９は、取得部１４０８によってフレームＴの深度画像９０の深度からフレームＴ−２の深度画像９０の深度を画素ごとに減算し、減算した値が閾値以上か否かに基づいて、２値化を行うことで、動きのあるものを抽出しても良い。
また、抽出部１４０９は、生成した２値化画像９２からノイズを除去するノイズ除去処理を行う。図３５は、第５の実施形態に係る抽出部１４０９のノイズ除去処理について説明するための図である。図３５の左図に示すように、抽出部１４０９によって生成された２値化画像９２は、被写体領域９３以外にも白い画素の領域を含む場合がある。これは、例えば、距離画像収集部１２の検知誤差によって生じる。一例としては、抽出部１４０９は、生成した２値化画像９２に対して、黒い画素に隣接する白い画素を黒い画素に変換する収縮処理と、白い画素に隣接する黒い画素を白い画素に変換する膨張処理とを所定回数ずつ繰り返し実行する。具体的には、抽出部１４０９は、生成した２値化画像９２に対して、収縮処理を５回実行した後に、膨張処理を５回実行する。これにより、抽出部１４０９は、５回の収縮処理で消失しない白い画素の領域については元の大きさを維持するとともに、５回の収縮処理で消失した白い画素の領域については２値化画像９２から除去することができる。
なお、上記のノイズ除去処理は一例であり、上記の例に限定されるものではない。他の例としては、抽出部１４０９は、連結する画素に同じ番号をラベリングするラベリング処理を用いて、ノイズを除去しても良い。具体的には、抽出部１４０９は、同じ番号がラベリングされた画素数が最も多い白い画素のみを残し、他の番号の白い画素を黒い画素に変換することで、ノイズを除去しても良い。更に、これに限らず、抽出部１４０９は、他のノイズ除去処理によってノイズを除去しても良い。
このように、抽出部１４０９は、深度画像情報が取得されるごとに、取得されたフレームの深度画像情報と、１つ前に取得されたフレームの深度画像情報とについて、画素ごとに深度の差分を算出する。そして、抽出部１４０９は、算出した差分が閾値以上か否かに応じて２値化画像９２を生成する。そして、抽出部１４０９は、生成した２値化画像９２に対してノイズ除去処理を行い、被写体領域９３を抽出する。なお、２値化画像９２のノイズが許容量以下であれば、抽出部１４０９は、必ずしもノイズ除去処理を実行しなくても良い。
（第２の抽出処理）
第２の抽出処理において、抽出部１４０９は、人がいない時の深度画像情報を基準とすることで、深度画像情報から被写体領域を抽出する。具体的に、抽出部１４０９は、フレーム群のうち、処理対象となるフレームの深度画像情報と、被写体が撮影範囲に含まれないフレームの深度画像情報とについて、画素ごとに深度の差分を算出する。そして、抽出部１４０９は、算出した差分が閾値以上である画素の領域を被写体領域として抽出する。
図３６は、第５の実施形態に係る抽出部１４０９が被写体領域を抽出する第２の抽出処理について説明するための図である。図３６には、フレームＴ０の深度画像９０、フレームＴの深度画像９０、フレームＴ＋ｔ１の深度画像９０、フレームＴの２値化画像９２及びフレームＴ＋ｔ１の２値化画像９２を例示する。図３６において、破線の矢印は、対象者の進行方向を表す。なお、図３６において、操作者は、撮影範囲に人がいない場合に、その時点における深度画像情報を基準として設定しておく。
図３６に示すように、抽出部１４０９は、被写体が撮影範囲に含まれない場合に取得されたフレームＴ０の深度画像情報を基準として予め設定しておく。そして、抽出部１４０９は、取得部１４０８によってフレームＴの深度画像９０が取得されると、フレームＴの深度画像９０の深度からフレームＴ０の深度画像９０の深度を画素ごとに減算する。そして、抽出部１４０９は、減算した値が閾値以上である画素を白とし、閾値未満である画素を黒とする２値化を行うことで、フレームＴの２値化画像９２を生成する。そして、抽出部１４０９は、生成した２値化画像９２に対してノイズ除去処理を行い、フレームＴにおける被写体領域９３を抽出する。このノイズ除去処理は、上記の第１の抽出処理におけるノイズ除去処理と同様であるので説明は省略する。
続いて、抽出部１４０９は、取得部１４０８によってフレームＴ＋ｔ１の深度画像９０が取得されると、フレームＴ＋ｔ１の深度画像９０の深度からフレームＴ０の深度画像９０の深度を画素ごとに減算する。そして、抽出部１４０９は、減算した値が閾値以上である画素を白とし、閾値未満である画素を黒とする２値化を行うことで、フレームＴ＋ｔ１の２値化画像９２を生成する。そして、抽出部１４０９は、生成した２値化画像９２に対してノイズ除去処理を行い、フレームＴ＋ｔ１における被写体領域９３を抽出する。
このように、抽出部１４０９は、深度画像情報が取得されるごとに、取得されたフレームの深度画像情報と、基準であるフレームの深度画像情報とについて、画素ごとに深度の差分を算出する。そして、抽出部１４０９は、算出した差分が閾値以上か否かに応じて２値化画像９２を生成する。そして、抽出部１４０９は、生成した２値化画像９２に対してノイズ除去処理を行い、被写体領域９３を抽出する。なお、２値化画像９２のノイズが許容量以下であれば、抽出部１４０９は、必ずしもノイズ除去処理を実行しなくても良い。
（第３の抽出処理）
第３の抽出処理において、抽出部１４０９は、所定時間前の深度画像情報を基準とすることで、深度画像情報から被写体領域を抽出する。具体的に、抽出部１４０９は、フレーム群のうち、処理対象となるフレームの深度画像情報と、そのフレームから所定時間前のフレームの深度画像情報とについて、画素ごとに深度の差分を算出する。そして、抽出部１４０９は、算出した差分が閾値以上である画素の領域を被写体領域として抽出する。
図３７は、第５の実施形態に係る抽出部１４０９が被写体領域を抽出する第３の抽出処理について説明するための図である。図３７には、フレームＴ−ｔの深度画像９０、フレームＴの深度画像９０、フレームＴ＋ｔの深度画像９０、フレームＴの２値化画像９２及びフレームＴ＋ｔの２値化画像９２を例示する。図３７において、破線の矢印は、対象者の進行方向を表す。
図３７に示すように、抽出部１４０９は、取得部１４０８によってフレームＴの深度画像９０が取得されると、フレームＴからｔフレーム（所定時間）前に取得されたフレームＴ−ｔの深度画像９０を取得する。そして、抽出部１４０９は、フレームＴの深度画像９０の深度からフレームＴ−ｔの深度画像９０の深度を画素ごとに減算する。そして、抽出部１４０９は、減算した値が閾値以上である画素を白とし、閾値未満である画素を黒とする２値化を行うことで、フレームＴの２値化画像９２を生成する。そして、抽出部１４０９は、生成した２値化画像９２に対してノイズ除去処理を行い、フレームＴにおける被写体領域９３を抽出する。このノイズ除去処理は、上記の第１の抽出処理におけるノイズ除去処理と同様であるので説明は省略する。
続いて、抽出部１４０９は、取得部１４０８によってフレームＴ＋ｔの深度画像９０が取得されると、フレームＴ＋ｔからｔフレーム（所定時間）前に取得されたフレームＴの深度画像９０を取得する。そして、抽出部１４０９は、フレームＴ＋ｔの深度画像９０の深度からフレームＴの深度画像９０の深度を画素ごとに減算する。そして、抽出部１４０９は、減算した値が閾値以上である画素を白とし、閾値未満である画素を黒とする２値化を行うことで、フレームＴ＋ｔの２値化画像９２を生成する。そして、抽出部１４０９は、生成した２値化画像９２に対してノイズ除去処理を行い、フレームＴ＋ｔにおける被写体領域９３を抽出する。
このように、抽出部１４０９は、深度画像情報が取得されるごとに、取得されたフレームの深度画像情報と、所定時間前のフレームの深度画像情報とについて、画素ごとに深度の差分を算出する。そして、抽出部１４０９は、算出した差分が閾値以上か否かに応じて２値化画像９２を生成する。そして、抽出部１４０９は、生成した２値化画像９２に対してノイズ除去処理を行い、被写体領域９３を抽出する。なお、ここでは、所定時間としてフレーム数（ｔフレーム）が設定される場合を説明したが、これに限定されず、時間（例えば、秒）が設定されても良い。また、２値化画像９２のノイズが許容量以下であれば、抽出部１４０９は、必ずしもノイズ除去処理を実行しなくても良い。
このように、抽出部１４０９は、第１〜第３の抽出処理のうち、いずれかの抽出処理によって被写体領域を抽出する。なお、動作情報処理装置１００ｂとしては、上記の第１〜第３の抽出処理のうちいずれかの機能を備えていれば良いが、これに限らず、第１〜第３の抽出処理の全ての機能を備え、被写体領域９３を抽出するごとに適宜選択することとしても良い。
算出部１４１０は、被写体領域から被写体の足の位置を算出する。例えば、算出部１４１０は、被写体領域９３に含まれる各画素の左右方向の座標情報と上下方向の座標情報とを用いて、被写体領域９３の重心位置を算出する。そして、算出部１４１０は、被写体領域９３のうち重心位置より右側にある最下点の位置と、被写体領域９３のうち重心位置より左側にある最下点の位置とを、被写体の足の位置として算出する。
図３８は、第１の実施形態に係る算出部１４１０が足の位置を算出する処理を説明するための図である。図３８には、算出部１４１０が、フレームＴにおける被写体領域９３を用いて足の位置を算出する場合を説明する。
図３８に示すように、算出部１４１０は、下記の式（１）及び（２）を用いて、被写体領域９３の重心９４を算出する。なお、式（１）及び（２）において、Ｘｃは、重心９４のＸ座標の値を示し、Ｙｃは、重心９４のＹ座標の値を示す。また、Ｘは、２値化画像９２に含まれる各画素のＸ座標の値を示し、Ｙは、２値化画像９２に含まれる各画素のＹ座標の値を示す。また、ｆ（Ｘ，Ｙ）は、座標（Ｘ，Ｙ）の画素が白であれば「１」、黒であれば「０」である。
Ｘｃ＝ΣＸ×ｆ（Ｘ，Ｙ）／ｓｕｍ（ｆ（Ｘ，Ｙ））・・・（１）
Ｙｃ＝ΣＹ×ｆ（Ｘ，Ｙ）／ｓｕｍ（ｆ（Ｘ，Ｙ））・・・（２）
そして、算出部１４１０は、算出した重心９４（Ｘｃ，Ｙｃ）を通る垂線９５を算出する。そして、算出部１４１０は、垂線９５より画素位置Ｘが大きい領域における被写体領域９３の最下点９６を、左足の位置として算出する。また、算出部１４１０は、垂線９５より画素位置Ｘが小さい領域における被写体領域９３の最下点９７を、右足の位置として算出する。ここで、フレームＴの２値化画像９２から算出される足の位置は、画素位置Ｘ及び画素位置Ｙが対応付けられた２次元の情報である。このため、算出部１４１０は、２値化画像９２に対応するフレームの深度画像９０から、世界座標系における足の位置（ｘ，ｙ，ｚ）を取得する。
解析部１４１１は、足の位置の経時的な変化に基づいて、歩行状態を解析する。例えば、解析部１４１１は、被写体の足が着地した位置を解析する。また、解析部１４１１は、算出部１４１０によって算出された情報を用いて、対象者の姿勢の角度、速度、加速度、距離などの歩行状態を解析した解析情報を算出して、算出した解析情報を解析情報記憶部１３０８に格納する。
ここで、対象者の足の着地点を算出する場合には、例えば、医師や理学療法士などの操作者が、入力部１２０を介して解析の指示要求を入力する。このとき、操作者は、対象者の氏名や氏名番号、実施日などを入力することで、取得部１４０８に所望の深度画像情報を取得させ、抽出部１４０９及び算出部１４１０の処理を実行させる。なお、歩行訓練とともにリアルタイムで解析が実行される場合には、操作者からの操作を受け付けずに、自動で動作情報を取得するように設定することも可能である。例えば、解析部１４１１は、算出部１４１０によって算出された足の位置を用いて、対象者の足が地面についた着地点を算出する。
ここで、第５の実施形態に係る解析部１４１１は、上述した図２５Ａ〜図２５Ｆに示すように足の着地点を解析する。例えば、解析部１４１１は、右足及び左足の位置（座標）を全てのフレームから取得して、図２５Ａに示すように、縦軸をｚ座標、横軸を時間としたグラフとする。
すなわち、解析部１４１１は、図２５Ａに示すように、左足のｚ座標の時間における変化を示す曲線７１と、右足のｚ座標の時間における変化を示す曲線７２とを算出する。そして、解析部１４１１は、例えば、各曲線における単位時間あたりのｚ座標の値の変化が所定の閾値以下となっている時点を足が地面についている時点と判定する。
例えば、図２５Ａに示すように、解析部１４１１は、左足のｚ座標の時間における変化を示す曲線７１において、単位時間あたりの座標の変化が所定の閾値以下となっている時点８１を左足が地面についた時点と判定する。同様に、解析部１４１１は、図２５Ａに示すように、右足のｚ座標の時間における変化を示す曲線７２において、単位時間あたりの座標の変化が所定の閾値以下となっている時点８２を右足が地面についた時点と判定する。解析部１４１１は、足が地面についたと判定した時点に相当するフレームの撮影時刻情報と、足の位置（ｘ，ｙ，ｚ）とを、解析情報記憶部１３０８に格納する。
また、上述した例では、単位時間あたりの足のｚ座標の変化が所定の閾値以下となっている時点を当該足が地面に着いた時点として判定する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、単位時間あたりの足のｚ座標の変化が所定の閾値以上となっている時点を当該足とは反対の足が地面に着いた時点として判定する場合であっても良い。一例を挙げると、解析部１４１１は、図２５Ａに示すように、左足のｚ座標の時間における変化を示す曲線７１において、単位時間あたりの変化が所定の閾値以上となっている時点を右足が地面に着いている時点として判定する。同様に、解析部１４１１は、図２５Ａに示すように、右足のｚ座標の時間における変化を示す曲線７２において、単位時間あたりの変化が所定の閾値以上となっている時点を左足が地面に着いている時点として判定する。
次に、ｙ座標を用いて足の着地点を判定する場合について説明する。例えば、解析部１４１１は、右足及び左足の位置（座標）を全てのフレームから取得して、図２５Ｂに示すように、縦軸をｙ座標、横軸を時間としたグラフとする。
すなわち、解析部１４１１は、図２５Ｂに示すように、左足のｙ座標の時間における変化を示す曲線７３と、右足のｙ座標の時間における変化を示す曲線７４とを算出する。そして、解析部１４１１は、例えば、各曲線におけるｙ座標の値が所定の値（例えば、「ｙ＝０」）となっている時点を足が地面についている時点と判定する。
例えば、図２５Ｂに示すように、解析部１４１１は、左足のｙ座標の時間における変化を示す曲線７３において、ｙ座標の値が所定の値（例えば、「ｙ＝０」）となっている時点８３を左足が地面についた時点と判定する。同様に、解析部１４１１は、図２５Ｂに示すように、右足のｙ座標の時間における変化を示す曲線７４において、ｙ座標の値が所定の値（例えば、「ｙ＝０」）となっている時点８４を右足が地面についた時点と判定する。解析部１４１１は、足が地面についたと判定した時点に相当するフレームの撮影時刻情報と、足の位置（ｘ，ｙ，ｚ）とを、解析情報記憶部１３０８に格納する。
また、上述した例では、単位時間あたりの足のｙ座標の変化が所定の値或いは所定の閾値以下となっている時点を当該足が地面に着いた時点として判定する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、単位時間あたりの足のｙ座標の変化が所定の閾値以上となっている時点を当該足とは反対の足が地面に着いた時点として判定する場合であっても良い。すなわち、解析部１４１１は、足が浮いていることを判定して、一方の足が浮いている場合に、他方の足が地面についていると判定する。例えば、図２５Ｂを一例に説明すると、解析部１４１１は、左足のｙ座標の時間における変化を示す曲線７３において、ｙ座標の値が所定の値（例えば、「ｙ＞ｂ」）となった時点を右足が地面についた時点と判定する。同様に、解析部１４１１は、右足のｙ座標の時間における変化を示す曲線７４において、ｙ座標の値が所定の値（例えば、「ｙ＞ｂ」）となった時点を左足が地面についた時点と判定する。
次に、ｘ座標を用いて足の着地点を判定する場合について説明する。例えば、解析部１４１１は、右足及び左足の位置（座標）を全てのフレームから取得して、図２５Ｃに示すように、縦軸をｘ座標、横軸を時間としたグラフとする。
すなわち、解析部１４１１は、図２５Ｃに示すように、左足のｘ座標の時間における変化を示す曲線７７と、右足のｘ座標の時間における変化を示す曲線７８とを算出する。そして、解析部１４１１は、例えば、各曲線におけるｘ座標の値が一定示した時点を足が地面についている時点と判定する。
例えば、図２５Ｃに示すように、解析部１４１１は、左足のｘ座標の時間における変化を示す曲線７７において、ｘ座標の値が一定となっている時点８７を左足が地面についた時点と判定する。同様に、解析部１４１１は、図２５Ｃに示すように、右足のｘ座標の時間における変化を示す曲線７８において、ｘ座標の値が一定となっている時点８８を右足が地面についた時点と判定する。解析部１４１１は、足が地面についたと判定した時点に相当するフレームの撮影時刻情報と、足の位置（ｘ，ｙ，ｚ）とを、解析情報記憶部１３０８に格納する。
また、上述した例では、足のｘ座標の値が一定となっている時点を当該足が地面に着いた時点として判定する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、足のｘ座標の値が小刻みに変化している時点を当該足とは反対の足が地面に着いた時点として判定する場合であっても良い。すなわち、解析部１４１１は、足が浮いていることを判定して、一方の足が浮いている場合に、他方の足が地面についていると判定する。例えば、図２５Ｃを一例に説明すると、解析部１４１１は、左足のｘ座標の時間における変化を示す曲線７７において、ｚ座標の値が小刻みに変化している時点を右足が地面についた時点と判定する。同様に、解析部１４１１は、右足のｘ座標の時間における変化を示す曲線７８において、ｘ座標の値が小刻みに変化している時点を左足が地面についた時点と判定する。
上述した例では、通常の歩行における足の着地を判定する場合について説明した。以下、歩行時にイレギュラーな足の着地を判定する場合について説明する。リハビリの歩行訓練を実行している際には、例えば、足がもつれたりする場合があり、イレギュラーな足の着地が発生する。以下、ｚ座標、ｙ座標、ｚ座標の値を用いたイレギュラーな足の着地の判定について順に説明する。
まず、ｚ座標を用いてイレギュラーな足の着地点を判定する場合について説明する。ここで、図２５Ｄは、図２５Ａと同様のグラフである。例えば、解析部１４１１は、図２５Ｄに示すように、左足のｚ座標の時間における変化を示す曲線７１と、右足のｚ座標の時間における変化を示す曲線７２とにおいて、ｚ座標の値が同じような値をとり、値の変化が一定時間生じていない領域Ｒ１の時点をイレギュラーな足の着地が発生した時点として判定する。また、解析部１４１１は、例えば、ｚ座標の値が戻ったりした時点をイレギュラーな足の着地が発生した時点として判定することも可能である。
次に、ｙ座標を用いてイレギュラーな足の着地点を判定する場合について説明する。ここで、図２５Ｅは、図２５Ｂと同様のグラフである。例えば、解析部１４１１は、図２５Ｅに示すように、左足のｙ座標の時間における変化を示す曲線７３と、右足のｚ座標の時間における変化を示す曲線７４とにおいて、ｙ座標の値がともに「ｙ＝０」となる領域Ｒ２の時点をイレギュラーな足の着地が発生した時点として判定する。
次に、ｘ座標を用いてイレギュラーな足の着地点を判定する場合について説明する。ここで、図２５Ｆは、図２５Ｃと同様のグラフである。例えば、図２５Ｆに示すように、解析部１４１１は、左足のｘ座標の時間における変化を示す曲線７７において、ｘ座標の値が所定の閾値を超える変化を示す領域Ｒ３内の時点８９を左足が地面についた時点と判定する。
上述したように、解析部１４１１は、ｚ座標、ｙ座標、又は、ｘ座標の値を用いてイレギュラーな足の着地点を判定することができる。従って、解析部１４１１は、例えば、歩行訓練中にバランスを崩してよろけたりした場合の足の着地点を解析することができる。
上述した例では、単一の座標で足の着地点を判定する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、各座標について、複数の座標を総合的に用いて判定される場合であっても良い。例えば、ｚ座標の変化とｙ座標の変化をそれぞれ解析して、それぞれの解析結果に基づいて、足が地面についたか否かを判定する場合であっても良い。また、各座標の値に対して、所定の係数を加える場合であっても良い。例えば、ｙ座標の値に係数「α」を加えた上で、判定される場合であっても良い。
また、上述したように、解析部１４１１は、足が着地したことを判定するだけではなく、足が浮いていることを判定することもできる。すなわち、解析部１４１１は、例えば、歩行中に右足が浮いていれば、左足は着地していると判定できる。また、予め地面の座標をシステムにインプットしておくことで、解析部１４１１は、足が地面の座標に近くなった場合に、着地していると判定することも可能である。
上述したように、解析部１４１１は、足の着地点の位置（座標）を解析する。これにより、解析部１４１１は、例えば、解析した着地点の位置を基に、重複歩距離、歩幅、歩隔、歩数、歩行率、歩行時間、足が着地している時間などを解析する。すなわち、解析部１４１１は、着地点の座標を用いて、上記した種々の情報を解析する。ここで、解析部１４１１は、重複歩距離、歩幅、歩隔などを、歩行の方向を基準にして算出することが可能である。
なお、上述した図２５Ａ〜図２５Ｆにおいては、対象者が深度方向（ｚ軸方向）を歩行する場合（ｚ軸に沿って、動作情報収集部１０に向かって歩く場合）を例に挙げて説明したが、実施形態はこれに限定されるものではない。例えば、解析部１４１１は、ｚ軸に沿って、動作情報収集部１０から離れるように歩く場合であっても良い。この場合、算出部１４１０によって算出される最下点９６が対象者の右足の位置を示し、最下点９７が対象者の左足の位置を示す。
ここで、速度を解析する場合について説明する。解析部１４１１は、速度を解析する場合には、所定時間（例えば、０．５秒）ごとに対象者の所定の部位に対応する座標が移動した移動距離［ｍ］を算出する。そして、解析部１４１１は、算出した所定時間当たりの移動距離に基づいて、対象者の移動速度［ｍ／秒］を所定時間ごとに算出する。ここで、解析部１４１１は、歩行訓練を行っている間の対象者の移動速度の平均値を、対象者が歩く速度として算出することも可能である。一例を挙げると、解析部１４１１は、操作者が入力部１２０を介して指示した部位（例えば、被写体領域９３の最上点、或いは、被写体領域９３の重心）の移動速度を算出する。
また、解析部１４１１は、算出した速度を用いて加速度を算出する。具体的には、解析部１４１１は、上述した手法により算出した単位時間あたりの速度を用いて、加速度（単位時間あたりの速度の変化率）を算出する。
また、距離を解析する場合について説明する。解析部１４１１は、動作情報収集部１０によって収集された対象者の所定の部位間の距離などを計測する。例えば、解析部１４１１は、対象者の歩幅や、歩隔、関節間の距離などを計測する。
例えば、解析部１４１１は、歩幅や、歩隔の距離を算出する。例えば、足跡及び体の軌跡の情報が出力部１１０にて表示され、入力部１２０を介して、操作者が各距離の計測要求を入力すると、解析部１４１１は、１歩目に対応する座標情報のｚ座標の値と、２歩目に対応する座標情報のｚ座標の値とから歩幅を算出する。同様に、解析部１４１１は、１歩目に対応する座標情報のｘ座標の値と、２歩目に対応する座標情報のｘ座標の値とから歩隔を算出する。
なお、上述した例はあくまでも一例であり、距離の測定は任意に実行させることができる。例えば、解析部１４１１による計測機能は、１歩目に対応する座標情報のｘ座標及びｚ座標の値と、２歩目に対応する座標情報のｘ座標及びｚ座標の値とから１歩目の足跡から２歩目の足跡までの距離を算出させることも可能である。また、解析部１４１１は、対象者の同一部位（例えば、頭に対応する被写体領域９３の最上点など）の各フレームのｘ座標の値を取得して、所定のフレーム間でｘ座標の値が移動した距離を算出することも可能である。なお、かかる場合のフレーム間は任意に設定することが可能である。例えば、右足が着地した時点のフレームから左足が着地した時点のフレームまでの間で算出させることも可能である。
また、解析部１４１１による計測処理においては、時間情報を計測することも可能である。例えば、解析部１４１１は、対象者の歩行における１歩目から２歩目にかかった時間や、各歩について着地していた時間、１回の歩行訓練にかかった時間などを計測することができる。また、解析部１４１１は、計測した時間を用いて歩行率（単位時間あたりの歩数）などを計測することも可能である。以上、解析部１４１１による計測処理の例について説明したが、上述した解析部１４１１による計測処理は、操作者による指示以外にも自動で行わせることも可能である。
上述したように、解析部１４１１は、算出部１４１０によって算出された対象者のフレームごとの被写体領域９３を用いて、対象者の歩行に係る種々の解析を実行する。そして、解析部１４１１は、上述した解析結果を解析情報記憶部１３０８に格納する。
図３２に戻る。表示制御部１４１２は、解析部１４１１によって解析された歩行情報を出力部１１０にて表示するように制御する。具体的には、表示制御部１４１２は、解析情報記憶部１３０８にて記憶された解析情報を出力部１１０にて表示するように制御する。以下、図３９を用いて、表示制御部１４１２の制御によって表示される解析結果の一例を説明する。図３９は、第５の実施形態に係る表示制御部１４１２の制御によって表示される解析結果の一例を示す図である。
図３９に示すように、表示制御部１４１２は、「ＭａｉｎＷｉｎｄｏｗ」の左側の領域にカメラ画像（カラー画像）を配置した解析情報を出力部１１０にて表示する。具体的に、表示制御部１４１２は、取得部１４０８によって取得されたカラー画像情報に、対応するフレームの深度画像９０から算出された足の位置（最下点９６及び最下点９７）を重畳した画像を表示する。
また、表示制御部１４１２は、「ＭａｉｎＷｉｎｄｏｗ」の中央の領域に「歩行を上から見た軌跡」を配置した解析情報を出力部１１０にて表示する。ここで、「歩行を上から見た軌跡」は、解析部１４１１によって解析された対象者の足の着地点及び体の軌跡を示す情報の一例である。これにより、操作者は、二次元的に表示されるカメラ画像では見ることができない上からの足跡及び体の軌跡の情報をさらに見ることができるとともに、歩幅解析などの解析結果を評価することができる。
また、表示制御部１４１２は、「ＭａｉｎＷｉｎｄｏｗ」の右側の領域に＜ただいまの歩行結果＞を配置した解析情報を出力部１１０にて表示する。具体的に、表示制御部１４１２は、＜ただいまの歩行結果＞として、「歩数：６歩」、「歩行率：１０５歩／分」、各歩間の歩幅の解析結果である「歩幅解析」を表示する。これにより、操作者は、対象者の歩行状況を一目で評価することができる。
また、表示制御部１４１２は、ボタン９８及びボタン９９を表示する。このうち、ボタン９８は、上述した第２の抽出処理において、人がいない時の深度画像情報を基準として設定するためのボタンである。すなわち、操作者は、撮影範囲に人がいない場合に、ボタン９８をクリックすることで、その時点における深度画像情報を基準として設定する。また、ボタン９９は、上述した第３の抽出処理において、基準をリセットするためのボタンである。すなわち、操作者は、歩行訓練が繰り返し実行される場合に、前回行われた歩行訓練の深度画像情報が今回の歩行訓練における解析の基準として用いられてしまうことを防ぐために、歩行訓練の最初にボタン９９をクリックすることで基準をリセットする。
なお、表示制御部１４１２は、上述した情報だけではなく、解析部１４１１によって解析された情報を用いてその他種々の情報を出力部１１０から出力させることができる。例えば、表示制御部１４１２は、解析部１４１１によって解析された解析情報を用いて、第１及び第２の実施形態で説明した軌跡情報や、重畳画像情報などを生成し、生成した情報を出力部１１０から出力させることができる。ここで、第５の実施形態に係る動作情報処理装置１００ｂにおいても、図４に示す生成部１４０３を有し、生成部１４０３が解析部１４１１によって解析された解析情報を用いて表示情報を生成する場合であってもよい。
次に、図４０及び図４１を用いて、第５の実施形態に係る動作情報処理装置１００ｂの処理手順について説明する。図４０及び図４１は、第５の実施形態に係る動作情報処理装置１００ｂの処理手順の一例を説明するためのフローチャートである。なお、図４０には、動作情報処理装置１００ｂが歩行状態を解析する処理を示し、図４１には、動作情報処理装置１００ｂが解析情報を表示する処理を示す。
まず、図４０を用いて、動作情報処理装置１００ｂが歩行状態を解析する処理を説明する。図４０に示すように、取得部１４０８は、被写体の深度画像情報を取得する（ステップＳ３０１）。例えば、取得部１４０８は、動作情報収集部１０及び動作情報処理装置１００ｂに電源が投入され、１フレームの深度画像情報が深度画像情報記憶部１３０６に格納されるごとに、格納された深度画像情報を深度画像情報記憶部１３０６から取得する。
続いて、抽出部１４０９は、被写体領域９３を抽出する（ステップＳ３０２）。例えば、抽出部１４０９は、処理対象となる深度画像情報と、その深度画像情報とは異なるフレームにおける深度画像情報とに基づいて、処理対象となる深度画像情報から被写体領域９３を抽出する。具体的には、抽出部１４０９は、上述した第１〜第３の抽出処理のうち、いずれかの抽出処理によって被写体領域を抽出する。
続いて、算出部１４１０は、被写体の足の位置を算出する（ステップＳ３０３）。例えば、算出部１４１０は、抽出部１４０９によって抽出された被写体領域９３の重心位置を算出する。そして、算出部１４１０は、被写体領域９３のうち重心位置より右側にある最下点の位置と、被写体領域９３のうち重心位置より左側にある最下点の位置とを、被写体の足の位置として算出する。
続いて、解析部１４１１は、歩行状態を解析する（ステップＳ３０４）。例えば、解析部１４１１は、算出部１４１０によって算出された足の位置の経時的な変化に基づいて、被写体の足が着地した位置を解析する。また、解析部１４１１は、対象者の姿勢の角度、速度、加速度、距離などについても解析する。そして、解析部１４１１は、解析した解析情報を解析情報記憶部１３０８に格納する（ステップＳ３０５）。
次に、図４１を用いて、動作情報処理装置１００ｂが解析情報を表示する処理を説明する。図４１に示すように、表示制御部１４１２は、解析情報を表示する旨の表示指示を操作者から受け付けると（ステップＳ４０１肯定）、受け付けた表示指示にしたがって解析情報記憶部１３０８から解析情報を取得する（ステップＳ４０２）。なお、表示制御部１４１２は、表示指示を受け付けるまで（ステップＳ４０１否定）、待機状態である。
続いて、表示制御部１４１２は、解析情報を表示する（ステップＳ４０３）。例えば、表示制御部１４１２は、「ＭａｉｎＷｉｎｄｏｗ」の左側の領域にカメラ画像（カラー画像）を配置し、中央の領域に「歩行を上から見た軌跡」を配置し、右側の領域に＜ただいまの歩行結果＞を配置した解析情報を出力部１１０にて表示する。
上述してきたように、第５の実施形態に係る動作情報処理装置１００ｂは、深度画像情報を時系列順に取得する。そして、動作情報処理装置１００ｂは、処理対象となる深度画像情報と、その深度画像情報とは異なるフレームにおける深度画像情報とに基づいて、処理対象となる深度画像情報から被写体領域を抽出する。そして、動作情報処理装置１００ｂは、被写体領域から被写体の足の位置を算出する。そして、動作情報処理装置１００ｂは、被写体の足の位置の経時的な変化に基づいて、被写体の歩行状態を解析する。このため、動作情報処理装置１００ｂは、臨床上有用な歩行解析を行うことができる。
例えば、歩行訓練では、対象者は１０ｍ程度の距離を繰り返し歩行する。このため、臨床上、少なくともこの程度の距離の歩行を解析することが求められている。第５の実施形態に係る動作情報処理装置１００ｂは、上記の処理により、少なくともこの程度の歩行を解析するので、臨床上有用な歩行解析を行うことができる。なお、動作情報処理装置１００ｂが解析可能な距離は１０ｍに限定されず、深度画像情報を収集するセンサの性能に応じて、更に長い距離の歩行解析も可能となる。
また、第５の実施形態によれば、解析部１４１１は、対象者の足の位置の経時的な３次元的な変化に基づいて、対象者の足が着地しているか否かを判定し、足が着地していると判定した場合に、判定した時点の対象者の足の位置を着地点とする。このため、第５の実施形態に係る動作情報処理装置１００ｂは、歩行時の対象者の種々の部位の動きを判定材料として足の着地点の位置を解析することができ、足の着地を高精度で抽出することができる。
また、第５の実施形態によれば、抽出部１４０９は、深度画像情報が取得されるごとに、取得されたフレームの深度画像情報と、１つ前に取得されたフレームの深度画像情報とについて、画素ごとに深度の差分を算出する。そして、抽出部１４０９は、算出した差分が閾値以上である画素の領域を被写体領域として抽出する。このため、第５の実施形態に係る動作情報処理装置１００ｂは、撮影範囲内で動いている被写体を正確に抽出することができる。
また、第５の実施形態によれば、抽出部１４０９は、深度画像情報が取得されるごとに、取得されたフレームの深度画像情報と、被写体が撮影範囲に含まれない場合に取得されたフレームの深度画像情報とについて、画素ごとに深度の差分を算出する。そして、抽出部１４０９は、算出した差分が閾値以上である画素の領域を被写体領域として抽出する。このため、第５の実施形態に係る動作情報処理装置１００ｂは、深度画像情報から被写体を正確に抽出することができる。
また、第５の実施形態によれば、抽出部１４０９は、深度画像情報が取得されるごとに、取得されたフレームの深度画像情報と、取得されたフレームから所定時間前に取得されたフレームの深度画像情報とについて、画素ごとに深度の差分を算出する。そして、抽出部１４０９は、算出した差分が閾値以上である画素の領域を被写体領域として抽出する。このため、第５の実施形態に係る動作情報処理装置１００ｂは、所定時間の間に動きのある被写体を正確に抽出することができる。
（第６の実施形態）
第５の実施形態では、１人の対象者が撮影された深度画像情報を用いて歩行状態を解析する場合を説明したが、深度画像情報には対象者のみならず、対象者を介助する介助者や、他のリハビリを行う者が含まれる場合がある。そこで、第６の実施形態では、動作情報処理装置１００ｂが、複数人の人物が撮影された深度画像情報を用いて、対象者の歩行状態を解析する場合を説明する。
第６の実施形態に係る動作情報処理装置１００ｂは、図３２に示した動作情報処理装置１００ｂと同様の構成を有し、抽出部１４０９における処理が一部相違する。そこで、第６の実施形態では、第５の実施形態と相違する点を中心に説明することとし、第５の実施形態において説明した構成と同様の機能を有する点については、図３２と同一の符号を付し、説明を省略する。
第６の実施形態に係る抽出部１４０９は、深度画像情報における所定の領域を指定するための指定操作を受け付ける。そして、抽出部１４０９は、受け付けた所定の領域に含まれる深度画像情報から、被写体領域９３を抽出する。
図４２は、第６の実施形態に係る抽出部１４０９が被写体領域を抽出する処理を説明するための図である。図４２には、フレームＴの深度画像９０及びフレームＴの２値化画像を例示する。この場合、フレームＴの深度画像９０には、２人の被写体が含まれる。このうち、深度画像９０の右側の人物は歩行訓練を行う対象者であり、破線の矢印は対象者の進行方向を表す。また、深度画像９０の左側の人物は介助者である。
図４２に示すように、抽出部１４０９は、フレームＴの深度画像９０において、対象者を含む領域４００を指定するための指定操作を操作者から受け付ける。この指定操作を受け付けると、抽出部１４０９は、フレームＴの深度画像９０の領域４００に含まれる画素と、フレームＴとは異なるフレームの深度画像９０の領域４００に含まれる画素とに基づいて、対象者の被写体領域９３を抽出する。
例えば、抽出部１４０９は、上述した第１の抽出処理によって被写体領域９３を抽出する場合には、フレームＴの深度画像９０の領域４００に含まれる各画素の深度から、フレームＴ−１の深度画像９０の領域４００に含まれる各画素の深度をそれぞれ減算する。そして、抽出部１４０９は、減算した値が閾値以上である画素を白とし、閾値未満である画素を黒とする２値化を行うことで、フレームＴの深度画像９０の領域４００に対応する２値化画像４０１を生成する。そして、抽出部１４０９は、生成した２値化画像４０１に対してノイズ除去処理を行うことで、対象者の被写体領域９３を抽出する。
なお、ここでは、第６の実施形態に係る抽出部１４０９が第１の抽出処理によって被写体領域２３を抽出する場合を説明したが、これに限らず、上述した第２又は第３の抽出処理によって被写体領域９３を抽出しても良い。
このように、第６の実施形態に係る抽出部１４０９は、深度画像情報における所定の領域を指定するための指定操作を受け付ける。そして、抽出部１４０９は、受け付けた所定の領域に含まれる深度画像情報から、対象者の被写体領域９３を抽出する。このため、第６の実施形態に係る動作情報処理装置１００ｂは、深度画像情報に対象者以外の人物が含まれていても、対象者の被写体領域９３を抽出することができるので、対象者の歩行状態を解析することができる。
（第７の実施形態）
さて、これまで第５及び第６の実施形態について説明したが、上述した実施形態以外にも、種々の異なる形態にて実施されて良いものである。
例えば、上述した実施形態では、算出部１４１０が被写体領域９３から算出される重心位置を用いて足の位置を算出する場合を説明したが、実施形態はこれに限定されるものではない。一例としては、算出部１４１０は、対象者の頭部の位置を用いて足の位置を算出しても良い。また、他の例としては、算出部１４１０は、４次関数を用いて足の位置を算出しても良い。以下、これら２つの場合について説明する。
（対象者の頭部の位置を用いて足の位置を算出する処理）
まず、対象者の頭部の位置を用いて足の位置を算出する処理について説明する。例えば、算出部１４１０は、被写体領域９３に含まれる各画素の左右方向の座標情報と上下方向の座標情報とを用いて、被写体領域９３の最上点の位置を、対象者の頭部の位置として算出する。そして、算出部１４１０は、被写体領域９３のうち最上点の位置より右側にある最下点の位置と、被写体領域のうち最上点の位置より左側にある最下点の位置とを、足の位置として算出する。
図４３は、第７の実施形態に係る算出部１４１０の処理について説明するための図である。図４３に示すように、算出部１４１０は、抽出部１４０９によって生成された２値化画像から被写体領域９３の最上点４０２の位置を算出する。そして、算出部１４１０は、算出した最上点４０２を通る垂線を算出する。そして、算出部１４１０は、算出した垂線より画素位置Ｘが大きい領域における被写体領域９３の最下点９６を、左足の位置として算出する。また、算出部１４１０は、算出した垂線より画素位置Ｘが小さい領域における被写体領域９３の最下点９７を、右足の位置として算出する。このように、算出部１４１０は、対象者の頭部の位置を用いて足の位置を算出する。
（４次関数を用いて足の位置を算出する処理）
まず、対象者の頭部の位置を用いて足の位置を算出する処理について説明する。例えば、算出部１４１０は、被写体領域９３が抽出された深度画像情報のうち、上下方向の座標情報が閾値以下である領域について、被写体領域９３の輪郭を表す４次関数の近似曲線を算出する。そして、算出部１４１０は、算出した近似曲線の２つの極小値の位置を、足の位置として算出する。
図４４は、第７の実施形態に係る算出部１４１０の処理について説明するための図である。図４４に示すように、算出部１４１０は、抽出部１４０９によって生成された２値化画像に対して、所定の高さの水平線４０３を設定する。そして、算出部１４１０は、水平線４０３から下の領域について、被写体領域９３の輪郭及び水平線４０３によって形成される曲線の式を算出する。具体的には、２値化画像のうち水平線４０３から下の領域について、白い画素と黒い画素との境界を表す曲線が４次関数に近似するので、算出部１４１０は、この４次関数の近似曲線の式を求める。そして、算出部１４１０は、４次関数の近似曲線の式における２つの極小点の値を、対象者の足の位置として算出する。この場合、算出部１４１０は、２つの極小点のうち、ｘ座標の値が大きい方を左足の位置９６とし、ｘ座標の値が小さい方を右足の位置９７として算出する。このように、算出部１４１０は、４次関数を用いて足の位置を算出する。
（対象者が歩行補助器具を使用している場合）
また、上記の実施形態では、対象者が杖等の歩行補助器具を使用していない場合を例示したが、対象者が杖等の歩行補助器具を使用している場合がある。この場合、動作情報処理装置１００ｂは、以下に説明する構成のもと、歩行補助器具の最下点を足の位置として誤認識することなく、足の位置を正確に算出する。
一例としては、抽出部１４０９は、上述したノイズ除去処理を用いて、歩行補助器具を２値化画像９２から除去することで、歩行補助器具を含まない被写体領域９３を抽出する。具体的には、抽出部１４０９は、抽出した被写体領域９３の深度に応じて、所定回数の収縮処理を実行した後に、同回数の膨張処理を実行することで、歩行補助器具を２値化画像９２から除去する。
図４５は、第７の実施形態に係る記憶部１３０ｂに記憶される対応情報の一例を示す図である。図４５に示すように、記憶部１３０ｂは、深度（ｍ）と、回数とが対応付けられた対応情報を記憶する。このうち、深度（ｍ）は、動作情報収集部１０から被写体領域９３までの深度を示す。また、回数は、被写体領域９３の深度に応じた収縮処理及び膨張処理の回数を示す。
図４５に示すように、記憶部１３０ｂは、深度（ｍ）「０〜４」と、回数「４」とが対応付けられた情報を記憶する。つまり、記憶部１３０ｂは、被写体領域９３の深度が０〜４ｍの間である場合には、収縮処理を４回実行した後に、膨張処理を４回実行することを記憶する。なお、図４５に例示するように、深度が大きくなるほど収縮処理及び膨張処理の回数が減少するのは、深度が大きくなるほど２値化画像９２における歩行補助器具の領域が小さくなるからである。
図４６は、第７の実施形態に係る抽出部１４０９の処理を説明するための図である。図４６には、歩行補助器具として杖を使用している対象者の２値化画像９２を例示する。図４６に示すように、抽出部１４０９は、上述した処理によって、被写体領域９３を抽出する。そして、抽出部１４０９は、被写体領域９３の最上点に対応するｚ座標を深度画像９０から取得する。そして、抽出部１４０９は、記憶部１３０ｂに記憶された対応情報を参照し、取得したｚ座標の値に対応する回数を取得する。ここで、例えば、ｚ座標が１０ｍである場合には、抽出部１４０９は、記憶部１３０ｂの対応情報から回数「２」を取得する。そして、抽出部１４０９は、被写体領域９３を抽出した２値化画像９２に対して、収縮処理を２回実行した後に、膨張処理を２回実行する。この結果、抽出部１４０９は、歩行補助器具を２値化画像９２から除去する。すなわち、算出部１４１０は、抽出部１４０９によって歩行補助器具が除去された２値化画像９２を用いて、対象者の足の位置を算出するので、歩行補助器具の最下点を足の位置として誤認識することなく、足の位置を正確に算出することができる。
（第８の実施形態）
さて、これまで第１〜第７の実施形態について説明したが、上述した第１〜第７の実施形態以外にも、種々の異なる形態にて実施されてよいものである。
上述した第１及び第２の実施形態では、動作情報処理装置１００が、歩行訓練を実行する対象者の動作情報を取得して、表示情報を表示する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、各処理がネットワーク上のサービス提供装置によって実行される場合であってもよい。
図４７は、第８の実施形態に係るサービス提供装置に適用される場合の一例を説明するための図である。図４７に示すように、サービス提供装置２００は、サービスセンタ内に配置され、例えば、ネットワーク５を介して、医療機関や、自宅、職場に配置される端末装置３００とそれぞれ接続される。医療機関、自宅及び職場に配置された端末装置３００は、動作情報収集部１０がそれぞれ接続される。そして、各端末装置３００は、サービス提供装置２００によって提供されるサービスを利用するクライアント機能を備える。
サービス提供装置２００は、動作情報処理装置１００と同様の処理をサービスとして端末装置３００に提供する。すなわち、サービス提供装置２００は、取得部１４０１と、生成部１４０３と、表示制御部１４０４と同様の機能部を有する。そして、取得部１４０１と同様の機能部は、歩行動作を実行する対象者の動作情報を取得する。そして、生成部１４０３と同様の機能部は、取得部１４０１と同様の機能部によって取得された動作情報に基づいて、対象者の足の着地点の位置及び前記対象者の移動の軌跡を平面上に示した軌跡情報を生成する。そして、表示制御部１４０４と同様の機能部は、生成部１４０３と同様の機能部によって生成された表示情報を端末装置３００のモニタにて表示させる。なお、ネットワーク５には、有線又は無線を問わず、インターネット（Internet）、ＷＡＮ（Wide Area Network）などの任意の種類の通信網を採用できる。
これにより、例えば、自宅や職場で撮影したり、記録したりした内容をサービスセンタで管理して、医療機関で医師などが映像（重畳画像情報など）や定量データ（解析結果など）を参照しながら遠隔で診断することができる。すなわち、本実施形態は、例えば、「遠隔医療法令改正」の「在宅脳血管障害療養患者」に関して記載された「在宅脳血管在宅脳血管障害療養患者に対して、テレビ電話等情報通信機器を通して、運動機能、血圧、脈拍等の観察を行い、脳血管障害の療養上必要な継続的助言・指導を行うこと」などに応用することが可能である。
また、上述した第１及び第２の実施形態における動作情報処理装置１００の構成はあくまでも一例であり、各部の統合及び分離は適宜行うことができる。例えば、解析情報記憶部１３０２と表示情報記憶部１３０３とを統合したり、生成部１４０３を軌跡情報を生成する軌跡情報生成部と画像情報を生成する画像情報生成部とに分離したりすることが可能である。
また、上述した第３及び第４の実施形態では、動作情報処理装置１００ａが、歩行訓練を実行する対象者の動作情報を取得して、歩行状況を解析する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、各処理がネットワーク上のサービス提供装置によって実行される場合であってもよい。
例えば、図４７に示すサービス提供装置２００は、図２３に示す動作情報処理装置１００ａと同様の処理をサービスとして端末装置３００に提供する。すなわち、サービス提供装置２００は、取得部１４０５と、解析部１４０６と、表示制御部１４０７と同様の機能部を有する。そして、取得部１４０５と同様の機能部は、歩行動作を実行する対象者の動作情報を取得する。そして、解析部１４０６と同様の機能部は、取得部１４０５によって取得された動作情報における対象者の所定の部位の経時的な位置の変化に基づいて、対象者の足の着地点の位置を含む歩行状態を解析する。そして、表示制御部１４０７と同様の機能部は、解析部１４０６と同様の機能部によって生成された解析情報を端末装置３００のモニタにて表示させる。なお、ネットワーク５には、有線又は無線を問わず、インターネット（Internet）、ＷＡＮ（Wide Area Network）などの任意の種類の通信網を採用できる。
また、上述した第３及び第４の実施形態における動作情報処理装置１００ａの構成はあくまでも一例であり、各部の統合及び分離は適宜行うことができる。例えば、動作情報記憶部１３０４と解析情報記憶部１３０５とを統合したり、解析部１４０６を足の着地点の位置を算出する算出部と、歩行が安定しているか否かを判定する判定部とに分離したりすることが可能である。
また、例えば、上述した第５〜第７の実施形態では、動作情報収集部１０によって収集した動作情報を、動作情報処理装置１００ｂによって臨床上有用な歩行解析を行う場合を説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、各処理がネットワーク上のサービス提供装置によって実行されても良い。
例えば、図４７に示すサービス提供装置２００は、図３２において説明した動作情報処理装置１００ｂと同様の機能を有し、当該機能によって端末装置３００にサービスとして提供する。すなわち、サービス提供装置２００は、取得部１４０８と、抽出部１４０９と、算出部１４１０と、解析部１４１１とそれぞれ同様の機能部を有する。そして、取得部１４０８と同様の機能部は、撮影範囲に含まれる各画素と、各画素の深度とが対応付けられた深度画像情報をフレームごとに有する、時系列順に並ぶフレーム群を取得する。そして、抽出部１４０９と同様の機能部は、処理対象となるフレームの深度画像情報と、その深度画像情報とは異なるフレームの深度画像情報とに基づいて、処理対象となるフレームの深度画像情報から３次元の空間内に存在する被写体の領域を示す被写体領域を抽出する。そして、算出部１４１０と同様の機能部は、被写体領域から被写体の足の位置を算出する。例えば、算出部１４１０は、被写体領域９３に含まれる各画素の左右方向の座標情報と上下方向の座標情報とを用いて、被写体領域９３の重心位置を算出する。そして、解析部１４１１と同様の機能部は、足の位置の経時的な変化に基づいて、歩行状態を解析する。このようなことから、サービス提供装置２００は、歩行動作を容易に解析することができる。
例えば、サービス提供装置２００は、端末装置３００から処理の対象となる深度画像情報のフレーム群のアップロードを受け付ける。そして、サービス提供装置２００は、上記の処理を行って歩行状態を解析する。そして、サービス提供装置２００は、解析情報を端末装置３００にダウンロードさせる。
また、上述した第５〜第７の実施形態における動作情報処理装置１００ｂの構成はあくまでも一例であり、各部の統合及び分離は適宜行うことができる。例えば、取得部１４０８及び抽出部１４０９を統合することが可能である。
また、上述した第１及び第２の実施形態において説明した取得部１４０１、解析部１４０２、生成部１４０３及び表示制御部１４０４と、第３及び第４の実施形態で説明した取得部１４０５、解析部１４０６及び表示制御部１４０７と、第５〜第７の実施形態で説明した取得部１４０８、抽出部１４０９、算出部１４１０及び解析部１４１１の機能は、ソフトウェアによって実現することもできる。例えば、各部の機能は、上記の実施形態において各部が行うものとして説明した処理の手順を規定した動作情報処理プログラムをコンピュータに実行させることで、実現される。この動作情報処理プログラムは、例えば、ハードディスクや半導体メモリ素子等に記憶され、ＣＰＵやＭＰＵ等のプロセッサによって読み出されて実行される。また、この動作情報処理プログラムは、ＣＤ−ＲＯＭ（Compact Disc − Read Only Memory）やＭＯ（Magnetic Optical disk）、ＤＶＤ（Digital Versatile Disc）などのコンピュータ読取り可能な記録媒体に記録されて、配布され得る。
なお、上述した第１の実施形態〜第７の実施形態で解析される部位の角度や、基準などは、日本整形外科学会などで規定されたものだけでなく、その他種々の団体によって規定されたものを用いる場合であってもよい。例えば、「International Society of Orthopaedic Surgery and Traumatology（SICOT）：国際整形外科学会」、「American Academy of Orthopaedic Surgeons(AAOS)：米国整形外科学会」、「European Orthopaedic Research Society（EORS）：欧州整形外科学研究会」、「International Society of Physical and Rehabilitation Medicine (ISPRM) ：国際リハビリテーション医学会」、「American Academy of Physical Medicine and Rehabilitation(AAPM&R)：米国物理療法リハビリテーション学会」などによって規定された部位の角度や、基準などを用いる場合であってもよい。
以上説明したとおり、第１〜第８の実施形態によれば、本実施形態の動作情報処理装置及びプログラムは、歩行状況を評価しやすい表示情報を提供することを可能にする。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
１０ 動作情報収集部
１００、１００ａ、１００ｂ 医用情報処理装置
１４０、１４０ａ、１４０ｂ 制御部
１４０１、１４０５、１４０８ 取得部
１４０２、１４０６、１４１１ 解析部
１４０３ 生成部
１４０４、１４０７、１４１２ 表示制御部

Claims (32)

  1. 歩行動作を実行する対象者の動作情報と画像情報とを取得する取得部と、
    前記取得部によって取得された動作情報に基づいて、前記対象者の両足の着地点の相互の位置関係、及び、前記両足の着地点の位置と前記対象者の特徴位置の移動の軌跡との相互の位置関係を示した軌跡情報を生成する生成部と、
    前記生成部によって生成された軌跡情報と、前記取得部によって取得された画像情報とを表示部にて表示するように制御する表示制御部と、
    を備える、動作情報処理装置。
  2. 前記生成部は、前記対象者の体における所定の部位の角度をさらに示した軌跡情報を生成する、請求項１に記載の動作情報処理装置。
  3. 前記所定の部位の角度は、前記対象者の進行方向の前後のゆれを示す回転角度及び前記対象者の上下方向のゆれを示す回転角度のうち、少なくとも一方である、請求項２に記載の動作情報処理装置。
  4. 前記特徴位置は、前記対象者の所定の部位の位置、複数の部位の位置を用いて求められた位置、前記対象者の複数の中心位置及び前記対象者の重心位置のうち、少なくとも一つである、請求項１に記載の動作情報処理装置。
  5. 前記生成部は、前記軌跡情報に含まれる情報をそれぞれ識別可能となるように所定の形式で生成する、請求項１〜４のいずれか一つに記載の動作情報処理装置。
  6. 前記生成部によって生成された軌跡情報に含まれる情報のうち、前記表示部にて表示させる情報を選択するための選択操作を受付ける受付部をさらに備え、
    前記表示制御部は、前記受付け部によって受付けられた選択操作によって選択された情報を前記表示部にて表示させるように制御する、請求項１〜５のいずれか一つに記載の動作情報処理装置。
  7. 前記生成部は、前記取得部によって取得された画像情報に描出された対象者に対して、所定の基準に対する当該対象者における所定の部位の角度の情報を重畳させた重畳画像情報を生成し、
    前記表示制御部は、前記生成部によって生成された軌跡情報及び重畳画像情報を表示部にて表示させるように制御する、請求項１に記載の動作情報処理装置。
  8. 歩行動作を実行する対象者の動作情報と画像情報とを取得する取得部と、
    前記対象者が前記歩行動作を実行する空間内の基準に対する前記対象者の所定の部位の角度、及び、前記対象者の基準の部位に対する前記所定の部位の角度のうち、少なくとも１つを算出する算出部と、
    前記取得部によって取得された画像情報に、前記算出部によって算出された角度の情報を重畳させた重畳画像情報を生成する生成部と、
    前記生成部によって生成された重畳画像情報を表示部にて表示するように制御する表示制御部と、
    を備える、動作情報処理装置。
  9. 前記生成部は、前記取得部によって取得された動作情報に基づいて、前記対象者の足の着地点の位置及び前記対象者の移動の軌跡を平面上に示した軌跡情報を生成し、
    前記表示制御部は、前記重畳画像情報に加えて、前記生成部によって生成された軌跡情報を前記表示部にて表示させる、請求項８に記載の動作情報処理装置。
  10. 前記取得部によって取得された動作情報に対応する歩行動作が所定の基準を満たす歩行であるか否かを解析する解析部をさらに備え、
    前記表示制御部は、前記解析部によって所定の基準を満たす歩行ではないと判定された場合に、前記所定の基準を満たす歩行動作ではないと判定された歩行動作に対応する軌跡情報に警告表示を実行する、請求項１〜９のいずれか一つに記載の動作情報処理装置。
  11. 前記取得部によって取得された動作情報に対応する歩行動作に係る所定の解析情報を解析する解析部をさらに備え、
    前記生成部は、前記解析部によって解析された解析情報の解析結果を含む表示情報を生成し、
    前記表示制御部は、前記生成部によって生成された解析結果を含む表示情報を表示部にて表示させるように制御する、請求項１〜１０のいずれか一つに記載の動作情報処理装置。
  12. 前記生成部は、前記取得部によって取得された動作情報に基づいて、一方の軸を前記対象者の位置とし、他方の軸を前記歩行動作における時間としたグラフ上に当該対象者の左右の足の着地点の位置を示したグラフ情報を生成し、
    前記表示制御部は、前記生成部によって生成されたグラフ情報を前記表示部にて表示するように制御する、請求項１〜１１のいずれか一つに記載の動作情報処理装置。
  13. 歩行動作を実行する対象者の動作情報と画像情報とを取得し、
    前記取得された動作情報に基づいて、前記対象者の両足の着地点の相互の位置関係、及び、前記両足の着地点の位置と前記対象者の特徴位置の移動の軌跡との相互の位置関係を示した軌跡情報を生成し、
    前記生成された軌跡情報と、前記取得された画像情報とを表示部にて表示する、
    ことを含む、方法。
  14. 前記取得部によって取得された動作情報における前記対象者の所定の部位の経時的な位置の変化に基づいて、前記対象者の足の着地した位置を含む歩行状態を解析する解析部をさらに備える、請求項１〜１２のいずれか一つに記載の動作情報処理装置。
  15. 前記解析部は、前記取得部によって取得された動作情報における前記対象者の所定の部位の経時的な３次元的な位置の変化に基づいて、前記対象者の足が着地しているか否かを判定し、前記足が着地していると判定した場合に、判定した時点の前記対象者の足の位置を前記着地点とする、請求項１４に記載の動作情報処理装置。
  16. 前記解析部は、前記対象者の足における所定の部位の単位時間あたりの位置の変化量に基づいて、前記対象者の足の着地を判定する、請求項１５に記載の動作情報処理装置。
  17. 前記解析部は、前記対象者の一方の足における所定の部位の位置の変化量に基づいて、前記一方の足とは反対側の足の着地を判定する、請求項１５に記載の動作情報処理装置。
  18. 前記解析部は、前記対象者の歩行の進行方向、体軸方向、又は前記進行方向に対して直交する方向における前記所定の部位の単位時間あたりの位置の変化量を解析する、請求項１６又は１７に記載の動作情報処理装置。
  19. 前記解析部は、前記進行方向、前記体軸方向及び前記進行方向に対して直交する方向のうち、少なくとも２つ以上の方向における前記所定の部位の単位時間あたりの位置の変化量を解析する、請求項１６又は１７に記載の動作情報処理装置。
  20. 前記解析部は、前記対象者の歩行に伴って前記位置の値の変化に基づいて、進行方向を求める、請求項１８又は１９に記載の動作情報処理装置。
  21. 前記解析部は、所定の基準に対する前記対象者の所定の部位の角度を前記歩行状態としてさらに算出する、請求項１４〜２０のいずれか一つに記載の動作情報処理装置。
  22. 前記解析部は、前記取得部によって取得された前記歩行動作を実行する対象者の動作情報に含まれる当該対象者特有の動作又は器具に基づいて、前記対象者の足の着地点の位置を解析する、請求項１４〜２１のいずれか一つに記載の動作情報処理装置。
  23. 前記解析部は、解析した前記対象者の足の着地点の位置と、当該対象者の所定の部位の経時的な位置の変化に基づいて、当該対象者の足の着地点を予測する、請求項１４〜２２のいずれか一つに記載の動作情報処理装置。
  24. 前記表示制御部は、前記解析部によって解析された歩行情報を表示部にて表示するように制御する、請求項１４〜２３のいずれか一つに記載の動作情報処理装置。
  25. 撮影範囲に含まれる各画素と、当該画素の深度とが対応付けられた深度画像情報をフレームごとに有する、時系列順に並ぶフレーム群において、処理対象となるフレームの深度画像情報と、当該深度画像情報とは異なるフレームの深度画像情報とに基づいて、前記処理対象となるフレームの深度画像情報から３次元の空間内に存在する、解析対象とする被写体の領域を示す被写体領域を抽出する抽出部と、
    前記被写体領域から前記被写体の足の位置を算出する算出部と、
    前記足の位置の経時的な変化に基づいて、歩行状態を解析する解析部と、
    をさらに備え、
    前記取得部は、前記フレーム群を取得する、請求項１に記載の動作情報処理装置。
  26. 前記解析部は、前記歩行状態として、前記被写体の足が着地した位置を解析する、請求項２５に記載の動作情報処理装置。
  27. 前記抽出部は、前記フレーム群のうち、前記処理対象となるフレームの深度画像情報と、当該フレームと時系列順で隣り合うフレームの前記深度画像情報とについて、前記画素ごとに前記深度の差分を算出し、算出した差分が閾値以上である画素の領域を前記被写体領域として抽出する、請求項２５又は２６に記載の動作情報処理装置。
  28. 前記抽出部は、前記フレーム群のうち、前記処理対象となるフレームの深度画像情報と、前記被写体が前記撮影範囲に含まれないフレームの前記深度画像情報とについて、前記画素ごとに前記深度の差分を算出し、算出した差分が閾値以上である画素の領域を前記被写体領域として抽出する、請求項２５又は２６に記載の動作情報処理装置。
  29. 前記抽出部は、前記フレーム群のうち、前記処理対象となるフレームの深度画像情報と、当該フレームから所定時間前のフレームの前記深度画像情報とについて、前記画素ごとに前記深度の差分を算出し、算出した差分が閾値以上である画素の領域を前記被写体領域として抽出する、請求項２５又は２６に記載の動作情報処理装置。
  30. 前記算出部は、前記被写体領域に含まれる各画素の左右方向の座標情報と上下方向の座標情報とを用いて、当該被写体領域の重心の位置又は当該被写体領域の最上点の位置を算出し、当該被写体領域のうち当該位置より右側にある最下点の位置と、当該被写体領域のうち当該重心位置より左側にある最下点の位置とを、前記足の位置として算出する、請求項２５〜２９のいずれか一つに記載の動作情報処理装置。
  31. 前記算出部は、前記被写体領域が抽出された前記深度画像情報のうち、上下方向の座標情報が閾値以下である領域について、当該被写体領域の輪郭を表す四次関数の近似曲線を算出し、算出した近似曲線の２つの極小値の位置を、前記足の位置として算出する、請求項２５〜２９のいずれか一つに記載の動作情報処理装置。
  32. 前記抽出部は、前記深度画像情報における所定の領域を指定するための指定操作を受け付け、受け付けた所定の領域に含まれる深度画像情報から、前記被写体領域を抽出する、請求項２５〜３１のいずれか一つに記載の動作情報処理装置。
JP2014008033A 2013-01-18 2014-01-20 動作情報処理装置及び方法 Active JP6334925B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014008033A JP6334925B2 (ja) 2013-01-18 2014-01-20 動作情報処理装置及び方法

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
JP2013006826 2013-01-18
JP2013006826 2013-01-18
JP2013009648 2013-01-22
JP2013009648 2013-01-22
JP2013154926 2013-07-25
JP2013154926 2013-07-25
JP2014008033A JP6334925B2 (ja) 2013-01-18 2014-01-20 動作情報処理装置及び方法

Publications (2)

Publication Number Publication Date
JP2015042241A JP2015042241A (ja) 2015-03-05
JP6334925B2 true JP6334925B2 (ja) 2018-05-30

Family

ID=51209717

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014008033A Active JP6334925B2 (ja) 2013-01-18 2014-01-20 動作情報処理装置及び方法

Country Status (3)

Country Link
US (1) US9700242B2 (ja)
JP (1) JP6334925B2 (ja)
WO (1) WO2014112632A1 (ja)

Families Citing this family (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9817017B2 (en) 2011-10-17 2017-11-14 Atlas5D, Inc. Method and apparatus for monitoring individuals while protecting their privacy
US9341464B2 (en) 2011-10-17 2016-05-17 Atlas5D, Inc. Method and apparatus for sizing and fitting an individual for apparel, accessories, or prosthetics
US9974466B2 (en) 2011-10-17 2018-05-22 Atlas5D, Inc. Method and apparatus for detecting change in health status
JP6031386B2 (ja) * 2013-03-14 2016-11-24 学校法人慶應義塾 歩行計測システム
US9600993B2 (en) 2014-01-27 2017-03-21 Atlas5D, Inc. Method and system for behavior detection
US10013756B2 (en) * 2015-03-13 2018-07-03 Atlas5D, Inc. Methods and systems for measuring use of an assistive device for ambulation
JP6737262B2 (ja) * 2015-03-23 2020-08-05 ノーリツプレシジョン株式会社 異常状態検知装置、異常状態検知方法、及び、異常状態検知プログラム
JP6516109B2 (ja) 2015-06-01 2019-05-22 パナソニックＩｐマネジメント株式会社 動作表示システム及びプログラム
WO2016208289A1 (ja) * 2015-06-26 2016-12-29 Ｎｅｃソリューションイノベータ株式会社 測定装置及び測定方法
US20180153445A1 (en) * 2015-06-26 2018-06-07 Nec Solution Innovators, Ltd. Measurement device and measurement method
JP6645768B2 (ja) * 2015-08-21 2020-02-14 日本信号株式会社 車種判別装置
JP6485964B2 (ja) * 2015-09-10 2019-03-20 オプティトラック・ジャパン株式会社 モーションキャプチャー方法及びモーションキャプチャーシステム
JP6163635B2 (ja) * 2015-10-21 2017-07-19 国立大学法人 筑波大学 評価情報提供システムおよび評価情報提供方法
KR101732981B1 (ko) * 2015-10-29 2017-05-08 삼성에스디에스 주식회사 개인화 특성 분석 시스템 및 방법
JP2017080202A (ja) * 2015-10-29 2017-05-18 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理方法、プログラム
KR102535617B1 (ko) * 2016-01-04 2023-05-24 한국전자통신연구원 깊이 영상에서의 객체 검출 시스템 및 방법
US11033205B2 (en) * 2016-02-12 2021-06-15 Tata Consultancy Services Limited System and method for analyzing gait and postural balance of a person
US20170243354A1 (en) * 2016-02-19 2017-08-24 Xerox Corporation Automatic frontal-view gait segmentation for abnormal gait quantification
JP2017158644A (ja) * 2016-03-07 2017-09-14 富士通株式会社 測定装置、測定方法及び測定プログラム
JP5996138B1 (ja) * 2016-03-18 2016-09-21 株式会社コロプラ ゲームプログラム、方法およびゲームシステム
US10796449B2 (en) 2016-03-28 2020-10-06 Nec Solution Innovators, Ltd. Measurement device, measurement method, and computer readable recording medium
US10318843B2 (en) * 2016-03-30 2019-06-11 Rakuten Kobo, Inc. Method and apparatus for image processing and comparison based on spatial relationships between image features
CN106056838A (zh) * 2016-06-27 2016-10-26 合肥指南针电子科技有限责任公司 一种基于图像和健康数据的目标监控系统
WO2018003910A1 (ja) 2016-07-01 2018-01-04 日本電気株式会社 歩行状態判定装置、歩行状態判定システム、歩行状態判定方法及び記憶媒体
US11017901B2 (en) 2016-08-02 2021-05-25 Atlas5D, Inc. Systems and methods to identify persons and/or identify and quantify pain, fatigue, mood, and intent with protection of privacy
WO2018087853A1 (ja) * 2016-11-09 2018-05-17 株式会社システムフレンド 立体画像生成システム、立体画像生成方法及び立体画像生成プログラム
JP6942958B2 (ja) * 2016-11-21 2021-09-29 カシオ計算機株式会社 運動解析装置、運動解析方法及びプログラム
US9921309B1 (en) * 2016-11-22 2018-03-20 4Sense, Inc. Visible-light and sound-based passive tracking system
JP2018092495A (ja) * 2016-12-07 2018-06-14 ソニーセミコンダクタソリューションズ株式会社 画像センサ
TWI613621B (zh) * 2016-12-08 2018-02-01 財團法人工業技術研究院 姿勢感測裝置及其方法
JP2018102855A (ja) * 2016-12-28 2018-07-05 株式会社リコー 動作計測システム、動作計測装置及び動作計測方法
JP6855101B2 (ja) * 2017-01-05 2021-04-07 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理方法、プログラム
US10943100B2 (en) 2017-01-19 2021-03-09 Mindmaze Holding Sa Systems, methods, devices and apparatuses for detecting facial expression
JP7057589B2 (ja) * 2017-10-02 2022-04-20 日本電気株式会社 医療情報処理システム、歩行状態定量化方法およびプログラム
US11328533B1 (en) 2018-01-09 2022-05-10 Mindmaze Holding Sa System, method and apparatus for detecting facial expression for motion capture
CN108392207B (zh) * 2018-02-09 2020-12-11 西北大学 一种基于姿态标签的动作识别方法
KR20190115978A (ko) * 2018-04-04 2019-10-14 노현철 운동 능력 파라미터들에 기초한 노쇠 정도 측정기
EP3574828B8 (en) 2018-05-28 2020-12-30 Kaia Health Software GmbH Monitoring the performance of physical exercises
US11373452B2 (en) * 2018-08-07 2022-06-28 Georgetown University Multidimensional analysis of gait in rodent
WO2020068739A1 (en) 2018-09-27 2020-04-02 Dakiana Research Llc Moving an avatar based on real-world data
TWI715903B (zh) * 2018-12-24 2021-01-11 財團法人工業技術研究院 動作追蹤系統及方法
KR20200095195A (ko) * 2019-01-31 2020-08-10 (주)유인케어 Rgb-d 카메라를 이용한 재활훈련 시스템 및 방법
JP2020188914A (ja) * 2019-05-21 2020-11-26 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ データ処理装置、画像配信システム、画像解析方法及び画像解析プログラム
JP7120162B2 (ja) 2019-06-07 2022-08-17 トヨタ自動車株式会社 歩行訓練システムおよび歩行訓練システムの制御プログラム
JP7285703B2 (ja) * 2019-06-17 2023-06-02 株式会社ソニー・インタラクティブエンタテインメント ロボット制御システム
FR3097997B1 (fr) * 2019-06-26 2021-10-01 Ekinnox Procédé d’analyse de la démarche d’un individu
JP2021033785A (ja) * 2019-08-27 2021-03-01 富士通クライアントコンピューティング株式会社 情報処理装置、及びプログラム
JP7241004B2 (ja) * 2019-11-19 2023-03-16 株式会社エヌ・ティ・ティ ピー・シー コミュニケーションズ 身体動作解析装置、身体動作解析システム、身体動作解析方法、及びプログラム
CN111046749B (zh) * 2019-11-25 2023-05-23 西安建筑科技大学 一种基于深度数据的人体跌倒行为检测方法
JP2021093037A (ja) * 2019-12-11 2021-06-17 株式会社東芝 算出システム、算出方法、プログラム、及び記憶媒体
CN113133761A (zh) * 2020-01-17 2021-07-20 宝成工业股份有限公司 左右步态的判断方法及其分析装置
JP6881635B2 (ja) * 2020-02-27 2021-06-02 株式会社リコー 情報処理装置、システムおよびプログラム
CN111291718B (zh) * 2020-02-28 2022-06-03 上海商汤智能科技有限公司 行为预测方法及装置、步态识别方法及装置
US11508087B2 (en) * 2020-04-27 2022-11-22 Snap Inc. Texture-based pose validation
JP7419969B2 (ja) 2020-05-27 2024-01-23 富士通株式会社 生成方法、生成プログラムおよび情報処理装置
EP3929801A1 (en) * 2020-06-25 2021-12-29 Axis AB Training of an object recognition neural network
CN111986168B (zh) * 2020-08-07 2024-03-15 中国农业大学 T形分支的双耳根检测与最佳耳根测温帧检测方法及系统
JP2022032103A (ja) * 2020-08-11 2022-02-25 トヨタ自動車株式会社 歩行推定システム、歩行推定方法、及びプログラム
CN112183206B (zh) * 2020-08-27 2024-04-05 广州中国科学院软件应用技术研究所 一种基于路侧单目摄像头的交通参与者定位方法和系统
CN112102362A (zh) * 2020-09-14 2020-12-18 北京数衍科技有限公司 行人脚步轨迹确定方法和装置
JP2022065241A (ja) * 2020-10-15 2022-04-27 株式会社日立ハイテク 運動可視化システムおよび運動可視化方法
JP7396258B2 (ja) 2020-12-03 2023-12-12 トヨタ自動車株式会社 制御装置、歩行訓練システム、制御方法及び制御プログラム
US20240115214A1 (en) * 2021-04-13 2024-04-11 Nec Corporation Measurement device, measurement system, measurement method, and recording medium
CN113204009B (zh) * 2021-05-12 2023-12-22 深圳康佳电子科技有限公司 跑步步长提醒方法、装置、终端及计算机可读存储介质
JP7418382B2 (ja) 2021-09-30 2024-01-19 カシオ計算機株式会社 表示方法、表示装置及びプログラム
CN114469079B (zh) * 2022-01-29 2022-09-06 北京中科深智科技有限公司 一种利用LightHouse的身体关节测量方法
JP7393481B1 (ja) 2022-07-11 2023-12-06 上銀科技股▲分▼有限公司 歩行訓練パラメータを即時調整する方法
CN116649940B (zh) * 2023-07-12 2023-09-29 深圳市经纬科技有限公司 一种用于可穿戴设备的远程监测系统及方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3387284B2 (ja) 1995-08-21 2003-03-17 松下電器産業株式会社 リハビリテーション支援装置
JP2004089355A (ja) * 2002-08-30 2004-03-25 Taito Corp 歩行運動装置
JP4231320B2 (ja) * 2003-03-31 2009-02-25 本田技研工業株式会社 移動体の検出装置
JPWO2005096939A1 (ja) * 2004-04-07 2008-02-28 財団法人新産業創造研究機構 リハビリ支援用計測システム、及びリハビリ支援用計測方法
JP2009017895A (ja) * 2005-10-31 2009-01-29 New Industry Research Organization 診断システム
JP4863365B2 (ja) * 2006-05-31 2012-01-25 アニマ株式会社 動作解析システム、動作解析装置及びプログラム
JP2010172394A (ja) * 2009-01-27 2010-08-12 Panasonic Electric Works Co Ltd 歩行状態表示装置
JP5628560B2 (ja) * 2010-06-02 2014-11-19 富士通株式会社 携帯電子機器、歩行軌跡算出プログラム及び歩行姿勢診断方法
JP5881136B2 (ja) * 2010-09-27 2016-03-09 ソニー株式会社 情報処理装置及び方法、並びにプログラム
JP5910647B2 (ja) * 2014-02-19 2016-04-27 トヨタ自動車株式会社 移動ロボットの移動制御方法

Also Published As

Publication number Publication date
US20150325004A1 (en) 2015-11-12
JP2015042241A (ja) 2015-03-05
US9700242B2 (en) 2017-07-11
WO2014112632A1 (ja) 2014-07-24

Similar Documents

Publication Publication Date Title
JP6334925B2 (ja) 動作情報処理装置及び方法
JP6675462B2 (ja) 動作情報処理装置
JP6181373B2 (ja) 医用情報処理装置及びプログラム
US9761011B2 (en) Motion information processing apparatus obtaining motion information of a subject performing a motion
JP6381918B2 (ja) 動作情報処理装置
JP6351978B2 (ja) 動作情報処理装置及びプログラム
US10170155B2 (en) Motion information display apparatus and method
JP6359343B2 (ja) 動作情報処理装置及び方法
Metcalf et al. Markerless motion capture and measurement of hand kinematics: validation and application to home-based upper limb rehabilitation
Parajuli et al. Senior health monitoring using Kinect
KR20120017948A (ko) 모션캡쳐 기반의 자세분석을 통한 재활 장치 및 이에 따른 재활 방법
JP2016144598A (ja) 運動機能診断装置及び方法、並びにプログラム
JP6598422B2 (ja) 医用情報処理装置、システム及びプログラム
Samad et al. Elbow Flexion and Extension Rehabilitation Exercise System Using Marker-less Kinect-based Method.
JP6320702B2 (ja) 医用情報処理装置、プログラム及びシステム
WO2014104357A1 (ja) 動作情報処理システム、動作情報処理装置及び医用画像診断装置
Parahoo Design and Evaluation of a Mobile Marker-Based Motion Capture System Using the Kinect Sensor for Biomechanical Assessments of Caregivers in the Home

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20151102

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20160513

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20160929

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20161021

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161108

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171010

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171121

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180403

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180427

R150 Certificate of patent or registration of utility model

Ref document number: 6334925

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150