JP6482103B2 - 測定装置及び測定方法 - Google Patents

測定装置及び測定方法 Download PDF

Info

Publication number
JP6482103B2
JP6482103B2 JP2017524729A JP2017524729A JP6482103B2 JP 6482103 B2 JP6482103 B2 JP 6482103B2 JP 2017524729 A JP2017524729 A JP 2017524729A JP 2017524729 A JP2017524729 A JP 2017524729A JP 6482103 B2 JP6482103 B2 JP 6482103B2
Authority
JP
Japan
Prior art keywords
subject
position information
angle
acquired
dimensional sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017524729A
Other languages
English (en)
Other versions
JPWO2016208291A1 (ja
Inventor
尚志 野田
尚志 野田
克幸 永井
克幸 永井
友見 木下
友見 木下
宏紀 寺島
宏紀 寺島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Solutions Innovators Ltd
Original Assignee
NEC Solutions Innovators Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Solutions Innovators Ltd filed Critical NEC Solutions Innovators Ltd
Publication of JPWO2016208291A1 publication Critical patent/JPWO2016208291A1/ja
Application granted granted Critical
Publication of JP6482103B2 publication Critical patent/JP6482103B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114Tracking parts of the body
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116Determining posture transitions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121Determining geometric values, e.g. centre of rotation or angular range of movement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1124Determining motor skills
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4884Other medical applications inducing physiological or psychological stress, e.g. applications for stress testing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7278Artificial waveform generation or derivation, e.g. synthesising signals from measured signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/743Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/09Rehabilitation or training
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00Medical imaging apparatus involving image processing or analysis

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Psychiatry (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Geometry (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Rehabilitation Tools (AREA)

Description

本発明は、人の肢体能力の測定技術に関する。
現在、モーションキャプチャ技術や三次元センシング技術を用いて、人の動きを三次元で捉え、デジタルデータ化する様々なアプリケーションが存在する。映画やゲームにおけるCG(Computer Graphics)キャラクタの生成やスポーツ分析を行うアプリケーションや、ジェスチャ操作を認識するアプリケーション等が例示される。モーションキャプチャの方式には、人の体に複数のマーカやセンサを取り付け、各マーカの検出や各センサのセンシングにより、人の動きを三次元データ化する方式が存在する。また、三次元センサから得られる三次元情報を用いて人体の姿勢推定を行うことで、人体にマーカやセンサを付すことなく、人の動きを三次元データ化する方式も存在する。人体の姿勢推定では、三次元情報から人の肢体の各部位(頭、手、腕、脚など)が認識され、各部位の動きが記録される。
下記特許文献1では、Kinect(登録商標)から得られる情報に基づいて人物の動作情報(カラー画像情報、距離画像情報、骨格情報等)が取得される度に、リハビリテーションの評価の指標となる指標値を測定する装置が提案されている。この提案では、肩の屈曲伸展、肩の水平屈曲伸展、肩甲帯の屈曲伸展、股の屈曲伸展、頭部の前屈後屈、胸腰部の前屈後屈及び胸腰部の回旋のうちの少なくとも一つの指標値が測定される。
下記非特許文献1には、関節可動域の正しい測定方法が規定されている。
下記非特許文献2では、KINECT(登録商標)から得られる骨格情報を用いて、関節可動域をリアルタイムに測定する手法が提案されている。この手法では、骨格情報が表示され、マウスを測定対象となり得る関節に重ねると、その関節での計測項目が表示される。そして、希望する計測項目を選択することで、計測が開始される。但し、この文献には、具体的な計測手法については開示されていない。
特開2015−61579号公報
"関節可動域表示ならびに測定法",日本整形外科学会・日本リハビリテーション医学会,リハビリテーション医学32,207−217,1995年 狐崎 直文ほか,"KINECTのリハビリテーション用アプリケーションの実用化",電子情報通信学会,信学技法,IE2012-89(2012-11)
しかしながら、上記各提案手法では、リハビリテーションの評価の指標値が正確に測定できない場合がある。正しく測定するためには、被験者が正しい姿勢で決められた動きをする必要がある。例えば、肩の屈曲運動の際に、脊柱が前後屈した姿勢で計測された場合には、正しい評価結果が得られない。
より具体的な場面に基づいて、上述の課題を更に詳述する。例えば、被験者が、上述の提案手法を用いたシステムを一人で利用して自動で上記評価の指標値を測定する場面を想定する。被験者は、このシステムの利用に慣れていない時点では、計測中の正しい姿勢や動きを知らないため、そのシステムを利用したとしても、正しい値を測定できない可能性が高い。被験者が正しい姿勢や動きを或る程度覚えたとしても、被験者が測定時に正しい姿勢を取るとは限らない。人間は、体のくせ等により、無意識に、自身にとって易しい姿勢や動きを取る傾向にあるため、被験者は、正しい姿勢や動きを行っているつもりでも、無意識に誤った姿勢や動きを行う可能性がある。また、計測者が付き添ってそのシステムを利用する場面でも、正しい値が測定されるとは限らない。正しい姿勢を判断するための検査項目は複数有り、被験者の姿勢が絶えず変化している中、そのような複数の検査項目を逐次チェックするのは計測者にとって負荷が高い。よって、計測者による姿勢や動きのチェックには、見落としや判断間違いなどのヒューマンエラーが生じ易く、計測者自身の主観も入るため評価にバラつきが生じる可能性もある。
本発明は、このような事情に鑑みてなされたものであり、被験者の肢体能力を正確に測定する技術を提供する。
本発明の各側面では、上述した課題を解決するために、それぞれ以下の構成を採用する。
第一の側面は、測定装置に関する。第一の側面に係る測定装置は、被験者の肢体における所定部位の位置情報又は向き情報を取得する取得部と、取得された位置情報又は向き情報に基づいて、当該被験者の肢体の能力指標となる角度又は距離を算出する算出部と、取得された位置情報又は向き情報に基づいて、当該被験者の姿勢の適否を判定する判定部と、当該被験者の姿勢の適否の判定結果に対応する状態で、算出された角度又は距離を出力する出力処理部と、を有する。前記取得手段は、三次元センサから得られる前記被験者の下半身の深度画像に基づいて、床面の位置情報及び前記被験者のつま先の位置情報を取得し、取得された位置情報で示されるつま先の位置よりも外側の、前記被験者の深度画像に基づいて、前記被験者の手の指先の位置情報を取得する。前記算出手段は、前記床面の位置情報及び前記被験者の手の指先の位置情報に基づいて、手の指先から床面までの距離を算出する。測定装置は、前記三次元センサから前記被験者を含む画像を連続的に取得する画像取得手段をさらに備える。前記出力処理手段は、前記取得された画像を順次表示しながら、前記取得されたつま先の位置情報に基づいて、表示される画像上の前記被験者のつま先の位置にマークを重畳し、前記マークの重畳の後の所定イベントの検出により、前記マークを順次表示される画像上に固定的に重畳すると共に、順次表示される画像に含まれる前記被験者の、つま先よりも外側に位置する画像領域に、前記被験者の深度情報に応じた着色を行う。
第二の側面は、少なくとも一つのコンピュータにより実行される測定方法に関する。第二の側面に係る測定方法は、被験者の肢体における所定部位の位置情報又は向き情報を取得し、前記取得された位置情報又は向き情報に基づいて、前記被験者の肢体の能力指標となる角度又は距離を算出し、前記取得された位置情報又は向き情報に基づいて、前記被験者の姿勢の適否を判定し、前記被験者の姿勢の適否の判定結果に対応する状態で、前記算出された角度又は距離を出力する、ことを含む。前記取得は、三次元センサから得られる前記被験者の下半身の深度画像に基づいて、床面の位置情報及び前記被験者のつま先の位置情報を取得し、取得された位置情報で示されるつま先の位置よりも外側の、前記被験者の深度画像に基づいて、前記被験者の手の指先の位置情報を取得することを含む。前記算出は、前記床面の位置情報及び前記被験者の手の指先の位置情報に基づいて、手の指先から床面までの距離を算出することを含む。測定方法は、前記三次元センサから前記被験者を含む画像を連続的に取得し、前記取得された画像を順次表示しながら、前記取得されたつま先の位置情報に基づいて、表示される画像上の前記被験者のつま先の位置にマークを重畳し、前記マークの重畳の後の所定イベントの検出により、前記マークを順次表示される画像上に固定的に重畳すると共に、順次表示される画像に含まれる前記被験者の、つま先よりも外側に位置する画像領域に、前記被験者の深度情報に応じた着色を行うことを含む。
なお、本発明の他の側面は、上記第二の側面の方法を少なくとも一つのコンピュータに実行させるプログラム、又はこのようなプログラムを記録したコンピュータが読み取り可能な記録媒体である。この記録媒体は、非一時的な有形の媒体を含む。
上記各側面によれば、被験者の肢体能力を正確に測定する技術を提供することができる。
上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
第一実施形態における測定装置のハードウェア構成例を概念的に示す図である。 第一実施形態における測定装置の処理構成例を概念的に示す図である。 肩の能力指標の算出方法を示す図である。 肩の屈曲運動の能力を計測する際の表示出力の例を示す図である。 肩の外転運動の能力を計測する際の表示出力の例を示す図である。 肩の外旋運動の能力を計測する際の表示出力の例を示す図である。 肩の水平屈曲運動の能力を計測する際の表示出力の例を示す図である。 第一実施形態における測定装置の動作例を示すフローチャートである。 胸腰部の屈曲運動に関する能力指標の算出方法を示す図である。 胸腰部の屈曲運動の能力を計測する際の表示出力の例を示す図である。 胸腰部の屈曲運動の能力を計測する際の表示出力の例を示す図である。 第二実施形態における測定装置の動作例を示すフローチャートである。 第二実施形態における測定装置の動作例を示すフローチャートである。 ファンクショナルリーチテストの能力を計測する際の表示出力の例を示す図である。 第三実施形態における測定装置の動作例を示すフローチャートである。 第三実施形態における測定装置の動作例を示すフローチャートである。 第四実施形態における測定装置の処理構成例を概念的に示す図である。 首の能力指標の算出方法を示す図である。 首可動域を計測する際の表示出力の例を示す図である。 第四実施形態における測定装置の動作例を示すフローチャートである。 股の能力指標の算出方法を示す図である。 補足例における出力処理部による表示出力の例を示す図である。 第五実施形態における測定装置の処理構成例を概念的に示す図である。 第五実施形態における測定装置の動作例を示すフローチャートである。
以下、本発明の実施の形態について説明する。なお、以下に挙げる各実施形態はそれぞれ例示であり、本発明は以下の各実施形態の構成に限定されない。
[第一実施形態]
〔装置構成〕
図1は、第一実施形態における測定装置10のハードウェア構成例を概念的に示す図である。第一実施形態における測定装置10は、いわゆるコンピュータであり、例えば、バスで相互に接続される、CPU(Central Processing Unit)1、メモリ2、入出力インタフェース(I/F)3、通信ユニット4等を有する。
CPU1には、一般的なCPUに加えて、特定用途向け集積回路(ASIC)、DSP(Digital Signal Processor)、GPU(Graphics Processing Unit)等も含まれる。
メモリ2は、RAM(Random Access Memory)、ROM(Read Only Memory)、補助記憶装置(ハードディスク等)である。
入出力I/F3は、表示装置5、入力装置6等のユーザインタフェース装置と接続可能である。表示装置5は、LCD(Liquid Crystal Display)やCRT(Cathode Ray Tube)ディスプレイのような、CPU1等により処理された描画データに対応する画面を表示する装置である。入力装置6は、キーボード、マウス等のようなユーザ操作の入力を受け付ける装置である。表示装置5及び入力装置6は一体化され、タッチパネルとして実現されてもよい。また、入力装置6は、音声を取得するマイクロフォンユニットであってもよい。入出力I/F3には、スピーカユニット等のような他の出力装置が接続されてもよい。
通信ユニット4は、他のコンピュータとの通信網(図示せず)を介した通信や、プリンタ等のような他の機器との信号のやりとり等を行う。通信ユニット4には、USB(Universal Serial Bus)等により三次元センサ7と接続される。但し、通信ユニット4と三次元センサ7との通信形態は制限されない。また、通信ユニット4には、可搬型記録媒体等も接続され得る。
三次元センサ7は、三次元情報を検出する。三次元センサ7は、例えば、Kinect(登録商標)や3Dカメラのように、可視光カメラ及び深度センサが統合されたセンサとして実現される。深度センサは、距離画像センサとも呼ばれ、レーザから近赤外光のパターンを対象者に照射し、そのパターンを近赤外光を検知するカメラで撮像して得られる情報から距離画像センサから対象者までの距離が算出される。三次元センサ7は、視野内の被験者の所定部位の三次元位置を検出することができれば、その実現手法は制限されない。例えば、三次元センサ7は、複数の可視光カメラを用いる三次元スキャナ方式で実現されてもよい。以下の説明では、説明を分かり易くするために、三次元センサ7は、可視光カメラ及び深度センサが統合されたセンサであると仮定する。
測定装置10のハードウェア構成は、図1に示される例に限定されない。測定装置10は、図示されていない他のハードウェア要素を含み得る。また、各ハードウェア要素の数も、図1の例に制限されない。例えば、測定装置10は、複数のCPU1を有していてもよい。
〔処理構成〕
図2は、第一実施形態における測定装置10の処理構成例を概念的に示す図である。第一実施形態における測定装置10は、データ取得部11、算出部12、判定部13、出力処理部14、操作検出部15等を有する。これら各処理モジュールは、例えば、CPU1によりメモリ2に格納されるプログラムが実行されることにより実現される。また、当該プログラムは、例えば、CD(Compact Disc)、メモリカード等のような可搬型記録媒体やネットワーク上の他のコンピュータから通信ユニット4を介してインストールされ、メモリ2に格納されてもよい。
操作検出部15は、ユーザ操作を検出する。具体的には、操作検出部15は、入出力I/F3から入力される情報に基づいて、入力装置6に対するユーザ操作を検出する。例えば、操作検出部15は、肩可動域の計測のために予め決められた複数の運動種の中から一つの運動種を選択する操作を検出する。本実施形態では、操作検出部15は、肩の、屈曲運動、伸展運動、外転運動、内転運動、外旋運動、内旋運動、水平伸展運動、及び水平屈曲運動の中から、一つの運動種を選択するユーザ操作を検出する。当該複数の運動種の中には、右及び左の各々について、計測が必要となる運動種が存在し得る。なお、本実施形態で対象とされる肩の可動域の測定のための各運動は、右及び左の各々についての計測が必要となる。左右の計測が必要となる運動種が選択された場合には、操作検出部15は、運動種と共に、左右のどちらを計測するのかの選択操作を検出してもよい。操作検出部15は、その検出されたユーザ操作に基づいて、ユーザにより選択された運動種をデータ取得部11、算出部12及び判定部13に伝える。
データ取得部11は、三次元センサ7から得られる情報に基づいて、被験者の肢体の複数の所定部位の位置情報を取得する。データ取得部11は、算出部12及び判定部13により利用される所定部位の位置情報のみを取得してもよいし、出来る限り多くの所定部位の位置情報を取得してもよい。取得される位置情報は、被験者が実際に存在する三次元空間に相当する世界座標系で表される。例えば、取得される位置情報は、三次元センサ7の視野の中心を原点として、左右方向をx軸(右方向を正)、上下方向をy軸(上方向を正)、深度方向(奥行方向を正)をz軸とする世界座標系により表される。以下、この世界座標系の例を用いて説明される。但し、世界座標系の三軸及び原点の配置は、このような例に限定されない。
例えば、データ取得部11は、三次元センサ7から二次元画像のフレーム及び深度画像(距離画像)のフレームを所定周期で取得する。両フレームは、同じ周期で取得されてもよいし、異なる周期で取得されてもよい。以降、各フレームは、二次元画像及び深度画像と略称される。データ取得部11は、姿勢推定技術を用いて、取得された二次元画像及び深度画像から、三次元センサ7の視野内に位置する被験者の肢体の複数の所定部位を認識し、各部位の三次元位置(世界座標系)を特定する。データ取得部11は、既存の様々な姿勢推定技術を用いることができる。例えば、データ取得部11は、左肩、左肘、左手首、左手、右肩、右肘、右手首、右手、頭、肩中央、背骨、腰中央、右腰、左腰、右膝、右かかと、右足、左膝、左かかと、左足のような、肢体の複数部位の位置情報を取得することができる。以降、データ取得部11により取得される、被験者の肢体の所定部位の位置情報を骨格データと表記する場合もある。データ取得部11は、フレームが取得される度に、骨格データを順次取得する。
算出部12は、データ取得部11により順次取得される骨格データに基づいて、被験者の肩の能力指標となる角度を順次算出する。算出部12は、肩可動域の計測のために予め決められた複数の運動種の中で、ユーザにより選択された運動種の能力指標となる角度を算出する。例えば、算出部12は、肩の、屈曲運動、伸展運動、外転運動、内転運動、外旋運動、内旋運動、水平伸展運動、又は水平屈曲運動の能力指標となる角度を算出する。算出される角度は、肩可動域を示す。左右の計測が必要となる運動種が選択された場合には、算出部12は、測定すべき方向(左か右か)を自動で決定してもよいし、操作検出部15により検出されたユーザ操作により決定してもよい。
算出部12は、非特許文献1で示される規定に準拠した次のような方法で角度(肩可動域)を算出する。
算出部12は、取得された骨格データに基づいて、肩の位置を端点としy軸負方向の線分と、肩の位置と手の位置とを結ぶ線分との、x軸又はz軸と直交する平面上になす角度を、肩の屈曲運動、伸展運動、外転運動、又は内転運動の能力指標として算出する。また、算出部12は、取得された骨格データに基づいて、肘の位置を端点としz軸手前向きの線分と、肘の位置と手の位置とを結ぶ線分との、y軸に直交する平面上になす角度を、肩の外旋運動又は内旋運動の能力指標として算出する。また、算出部12は、取得された骨格データに基づいて、肩の位置を端点としx軸方向の線分と、肩の位置と手の位置とを結ぶ線分との、y軸に直交する平面上になす角度を、肩の水平伸展運動又は水平屈曲運動の能力指標として算出する。図3を用いて、この算出処理を更に詳細に説明する。
図3は、肩の能力指標の算出方法を示す図である。但し、図3では、右肩及び左肩のうちの一方の肩の能力指標の算出方法のみが示されている。図3に示されていない側の肩の能力指標も同じ考え方で算出することができる。
算出部12は、肩の位置P1を端点としy軸負方向の線分L1と、肩の位置P1と手の位置P2とを結ぶ線分L2との、x軸に直交する平面(yz平面、図3の紙面)上になす角度A1を肩の屈曲運動の能力指標として算出する。
算出部12は、線分L1と、線分L2との、x軸に直交する平面(yz平面、図3の紙面)上になす角度A2を肩の伸展運動の能力指標として算出する。
算出部12は、肩の位置P3を端点としy軸負方向の線分L3と、肩の位置P3と手の位置P4とを結ぶ線分L4との、z軸に直交する平面(xy平面、図3の紙面)上になす角度A3を肩の外転運動又は内転運動の能力指標として算出する。
算出部12は、肘の位置P5を端点としz軸負方向の線分L5と、肘の位置P5と手の位置P6とを結ぶ線分L6との、y軸に直交する平面(xz平面、図3の紙面)上になす角度A5を、肩の外旋運動の能力指標として算出する。
算出部12は、線分L5と、線分L6との、y軸に直交する平面(xz平面、図3の紙面)上になす角度A6を、肩の内旋運動の能力指標として算出する。
算出部12は、肩の位置P7を端点としx軸負方向の線分L7と、肩の位置P7と手の位置P8とを結ぶ線分L8との、y軸に直交する平面(xz平面、図3の紙面)上になす角度A7を、肩の水平屈曲運動の能力指標として算出する。
算出部12は、線分L7と、線分L8との、y軸に直交する平面(xz平面、図3の紙面)上になす角度A8を、肩の水平伸展運動の能力指標として算出する。
判定部13は、データ取得部11により取得される骨格データに基づいて、被験者の姿勢の適否を判定する。例えば、判定部13は、算出部12により、肩の屈曲運動、伸展運動、外転運動、内転運動、水平伸展運動、又は水平屈曲運動の能力指標値が算出される場合、体を前後に曲げていること、肘を曲げていること、肩が水平になっていないこと、いずれか一方の肩を前後に動かしていること等を検出することで、被験者の姿勢が不適切であると判定する。それらが検出されない場合には、判定部13は、被験者の姿勢が適切と判定する。また、判定部13は、算出部12により、肩可動域における外旋運動又は内旋運動の能力指標値が算出される場合、体を前後に曲げていること、肘を90度に曲げていないこと、動作している腕の肩を後ろ側に引いていること等を検出することで、被験者の姿勢が不適切であると判定する。但し、判定部13により判定される被験者の姿勢は、このような例に限定されない。
具体的には、判定部13は、頭、肩中央、背骨、及び腰中央の骨格データに基づいて、頭、肩中央、背骨、及び腰中央のz軸上の各位置のズレ具合を算出する。判定部13は、算出されたズレ具合が所定距離を超える場合に、体を前後に曲げているとして、被験者の姿勢が不適切であると判定する。また、判定部13は、肩、肘、及び手の骨格データに基づいて、肘の角度を算出し、肘の角度が所定角度以下である場合に、被験者が肘を曲げているとして、被験者の姿勢が不適切であると判定する。また、判定部13は、両肩の骨格データに基づいて、両肩を結ぶ線分とx軸とのxz平面上になす角度を算出し、その角度が所定角度を超えている場合に、動作している腕の肩を後ろ側に引いているとして、被験者の姿勢が不適切であると判定する。判定部13は、肩、肘、及び手の骨格データに基づいて、肘の角度を算出し、肘の角度が90度未満である場合に、肘を90度に曲げていないとして、被験者の姿勢が不適切であると判定する。
出力処理部14は、被験者の姿勢の適否の判定結果に対応する状態で、算出部12により算出された角度を出力する。例えば、出力処理部14は、判定部13による判定結果に対応する色で、算出部12により算出された角度を出力する。出力処理部14は、判定部13により被験者の姿勢が不適切であると判定されていない場合、その判定に用いられた骨格データと同時期に取得された骨格データから算出された角度を黒色で出力する。出力処理部14は、姿勢が不適切であると判定された場合、そのときの角度を赤色で出力する。他の例として、出力処理部14は、姿勢が不適切であると判定された場合、角度を点滅させて出力してもよいし、角度の背景色を変えてもよいし、角度の表示出力と共に所定の音声を出力してもよい。
また、出力処理部14は、被験者を含む画像上に、角度の算出に用いられる骨格データに対応する複数の所定部位間を結ぶ線分が、被験者の姿勢の適否の判定結果に対応する状態で、重畳された表示を出力することもできる。例えば、出力処理部14は、判定部13による判定結果に対応する色で着色された当該線分が被験者を含む画像に重畳された表示を出力する。他の例として、出力処理部14は、姿勢が不適切であると判定された場合、当該線分を点滅させて出力してもよいし、当該線分を細くして表示してもよい。
出力処理部14は、骨格データで示される世界座標系の位置情報を、三次元センサ7から得られる二次元画像の画像座標系の位置情報に変換することで、その二次元画像に含まれる被験者の複数の所定部位にマーク(画像要素)を重畳させることができる。例えば、出力処理部14は、角度の算出に用いられる所定部位及び姿勢の適否の判定に用いられる所定部位の中の少なくとも一つにマークを付すことが望ましい。これにより、対象の運動種についてどの部位が測定に関係するのかを、被験者に容易に把握させることができる。更に、出力処理部14は、骨格データで示される世界座標系と、二次元画像の画像座標系との対応関係に基づいて、当該複数の所定部位間を結ぶ線分をその画像上に更に重畳させることができる。この線分により、被験者は、腕が曲がっている、両肩が傾いている等といった、測定中の自身の姿勢を把握し易くなるため、被験者を正しい姿勢に誘導することができる。
更に、出力処理部14は、算出部12により順次算出される角度の中で、最大値を出力してもよい。例えば、出力処理部14は、最大値を出力しつつ、被験者の姿勢が不適切と判定された際に算出された角度についてはその最大値の選択候補から除外することもできる。また、出力処理部14は、一測定毎に、最終的に決定された最大値を計測値として保持しておき、2回目以降の測定時には、それまでに保持される計測値のうち最小の値を最小値として出力することもできる。出力処理部14は、1回目の測定時には、0度を最小値として出力する。また、出力処理部14は、2回目以降の各測定時において、出力されている最大値が出力されている最小値よりも小さい場合には、その最大値を最小値として出力してもよい。ここで、測定開始から測定終了までが1回の測定としてカウントされ、測定開始及び測定終了は、例えば、操作検出部15により検出されるユーザ操作で特定される。
ところで、出力処理部14の出力方法は制限されない。出力処理部14は、上述のような情報を表示装置5に表示してもよいし、通信ユニット4に接続されるプリンタ装置に印刷させてもよい。
〔出力例〕
次に、第一実施形態における出力処理部14による表示出力の具体例を説明する。
図4は、肩の屈曲運動の能力を計測する際の表示出力の例を示す図である。図4の例によれば、出力処理部14は、映像エリアD1と説明エリアD2とを隣接させて出力する。出力処理部14は、映像エリアD1に、三次元センサ7から得られる二次元画像を順次表示する。このとき、出力処理部14は、映像エリアD1に表示される二次元画像上の、角度の算出に用いられる骨格データに対応する複数の所定部位に、マーク(ドーナツ型画像)を重畳させる。更に、出力処理部14は、当該二次元画像上に、当該複数の所定部位間を結ぶ線分を重畳させる。図4の例では、左手、左肘、及び左肩にドーナツ型のマークが表示され、左手、左肘、左肩、及び右肩を結ぶ線分、並びに左腰と右腰とを結ぶ線分が表示されている。左肘、右肩、左腰及び右腰は、角度の算出には直接利用されていないが、正しい姿勢を被験者に促すために、マーク又は線分が示される。例えば、両肩が水平であり、かつ、左右の腰の高さが均一であることは、正しい姿勢として望まれる。
説明エリアD2は、ユーザ操作により選択された運動種を示すエリアD21、算出部12により算出された角度を表示するエリアD22、最大値を表示するエリアD23、最小値を表示するエリアD24等を含む。図4の例では、肩の屈曲運動がユーザにより選択されている(エリアD21)。出力処理部14は、算出部12により算出される角度を順次、エリアD22に反映する。更に、出力処理部14は、順次算出される角度の中の最大値をエリアD23に反映する。図4の例では、1回目の測定であるため、最小値がハイフンで表示されているが、0度が表示されてもよい。2回目以降の測定時には、上述したとおり、計測値として保持される最大値のうち最小の値が最小値として出力される。出力処理部14は、判定部13により被験者の姿勢が不適切であると判定された場合、エリアD22内の角度表記を赤色で表示し、映像エリアD1に重畳される線分を赤色で表示する。
図5は、肩の外転運動の能力を計測する際の表示出力の例を示す図である。図5で示される表示の基本構成は、図4と同様である。図5の例では、肩の外転運動がユーザにより選択されている(エリアD21)。算出部12は、上述のような方法で、外転運動の能力指標としての角度を算出する。出力処理部14によるエリアD22、D23及びD24の表示については、図4と同様である。また、被験者の姿勢の適否の判定結果に対応する状態での表示についても、図4と同様である。
図6は、肩の外旋運動の能力を計測する際の表示出力の例を示す図である。図6で示される表示の基本構成は、図4と同様である。図6の例では、肩の外旋運動がユーザにより選択されている(エリアD21)。算出部12は、上述のような方法で、外旋運動の能力指標としての角度を算出する。出力処理部14によるエリアD22、D23及びD24の表示については、図4と同様である。また、被験者の姿勢の適否の判定結果に対応する状態での表示についても、図4と同様である。
図7は、肩の水平屈曲運動の能力を計測する際の表示出力の例を示す図である。図7で示される表示の基本構成は、図4と同様である。図7の例では、肩の水平屈曲運動がユーザにより選択されている(エリアD21)。算出部12は、上述のような方法で、水平屈曲運動の能力指標としての角度を算出する。出力処理部14によるエリアD22、D23及びD24の表示については、図4と同様である。また、被験者の姿勢の適否の判定結果に対応する状態での表示についても、図4と同様である。
〔動作例/測定方法〕
以下、第一実施形態における測定方法について図8を用いて説明する。
図8は、第一実施形態における測定装置10の動作例を示すフローチャートである。図8に示されるように、第一実施形態における測定方法は、測定装置10のような少なくとも一つのコンピュータにより実行される。図8に示される各処理工程は、測定装置10が有する上述の各処理モジュールの処理内容と同様であるため、各処理工程の詳細は、適宜省略される。
測定装置10は、図8に示される処理工程を実行するにあたり、肩可動域の計測のために予め決められた複数の運動種の中から、ユーザにより選択された一つの運動種を特定する。例えば、測定装置10は、肩の、屈曲運動、伸展運動、外転運動、内転運動、外旋運動、内旋運動、水平伸展運動、及び水平屈曲運動の中から、一つの運動種を選択するユーザ操作を検出することで、当該一つの運動種を特定する。測定装置10は、左右の計測が必要となる運動種が選択された場合には、計測すべき方向(右又は左)を自動で又はユーザ操作の検出により決定する。
測定装置10は、三次元センサ7から得られる情報に基づいて、三次元センサ7の視野内に存在する被験者の骨格データを取得する(S81)。取得される骨格データは、(S82)以降で利用される、被験者の肢体の複数の所定部位の位置情報である。測定装置10は、所定の周期で、当該骨格データを順次取得する。骨格データの取得手法については上述したとおりである(データ取得部11)。
例えば、測定装置10は、骨格データの取得に成功すると、図4等に例示されるように、測定開始を意味する「Start」を出力する。測定開始のシグナルは、表示により提示されてもよいし、音声等により提示されてもよい。また、測定装置10は、骨格データの取得に成功するまでは、準備段階を示す「Ready」を出力してもよい。
測定装置10は、(S81)で取得された骨格データに基づいて、被験者の肩の能力指標となる角度を算出する(S82)。角度の算出方法は、上述したとおり、運動種及び測定すべき方向(右又は左)毎にそれぞれ予め決められている(算出部12)。よって、測定装置10は、特定されている運動種及び測定すべき方向(右又は左)に対応する測定方法により、当該角度を算出する。例えば、肩の屈曲運動及び右肩が特定されている場合には、測定装置10は、右肩の位置を端点としy軸負方向の線分と、右肩の位置と右手の位置とを結ぶ線分との、x軸に直交する平面(yz平面)上になす角度を算出する。
測定装置10は、(S81)で取得された骨格データに基づいて、被験者の姿勢の適否を判定する(S83)。姿勢の適否の判定方法は、上述したとおり、運動種及び測定すべき方向(右又は左)毎にそれぞれ予め決められている(判定部13)。よって、測定装置10は、特定されている運動種及び決定されている測定すべき方向(右又は左)に対応する判定方法により、被験者の姿勢の適否を判定する。例えば、肩の屈曲運動及び右肩が特定されている場合には、測定装置10は、体を前後に曲げていること、右肘を曲げていること、右肩を後ろ側に引いていることを検出することで、被験者の姿勢が不適切であると判定する。このような不適切な姿勢の検出方法については上述したとおりである。
測定装置10は、(S82)で算出された角度を、(S83)での判定結果に対応する状態で、出力する(S84)。即ち、測定装置10は、被験者の姿勢が適切と判定された場合と、その姿勢が不適切と判定された場合とで、角度の出力状態を変える。例えば、測定装置10は、図4の例に示されるように、(S82)で算出された角度をエリアD22に表示する。そして、測定装置10は、姿勢が適切と判定された場合には、その角度を黒色で表示し、姿勢が不適切と判定された場合には、その角度を赤色で表示する。上述したとおり、測定装置10による角度の出力方法は、表示のみに制限されない。また、姿勢の適否の判定結果に対応する出力状態についても着色のみに制限されない。
測定装置10は、(S83)の判定結果が「姿勢が適切である」ことを示し、かつ、(S82)で算出された角度が最大値を示すか否かを判定する(S85)。測定装置10は、所定の周期で順次取得される骨格データに基づいて、或る一つの運動種について順次算出される角度の中で、(S82)で算出された角度が最大の角度を示すか否かを判定する。測定装置10は、姿勢が適切であると判定されており、かつ算出された角度が最大値を示す場合(S85;YES)、(S82)で算出された角度を最大値として出力する(S86)。例えば、測定装置10は、図4の例に示されるように、(S82)で算出された角度をエリアD23に表示する。一方、測定装置10は、姿勢が不適切であると判定されているか、又は算出された角度が最大値でない場合(S85;NO)、(S86)を実行しない。更に、測定装置10は、姿勢が不適切であると判定された場合には、(S82)で算出された角度については、今後の最大値の選択候補から除外する。不適切な姿勢で計測された角度は、正確な能力指標とならないからである。
測定装置10は、(S81)で取得された骨格データに基づいて、三次元センサ7から得られる二次元画像に含まれる被験者の複数の所定部位にマークを重畳させる(S87)。このとき、測定装置10は、骨格データで示される世界座標系の位置情報を、三次元センサ7から得られる二次元画像の画像座標系の位置情報に変換することで、マークを重畳させる画像内位置を特定することができる。図4から図7の例では、測定装置10は、画像内の左肩、左肘、及び左手の位置にマークを重畳させている。
更に、測定装置10は、(S81)で取得された骨格データに基づいて、当該二次元画像上に、当該複数の所定部位間を結ぶ線分を重畳させる(S88)。このとき、測定装置10は、骨格データで示される世界座標系と、二次元画像の画像座標系との対応関係を用いることができる。図4から図7の例では、測定装置10は、左手、左肘、左肩、及び右肩を結ぶ線分、並びに左腰と右腰とを結ぶ線分を表示する。
測定装置10は、三次元センサ7からの二次元画像のフレーム及び深度画像(距離画像)のフレームが取得される度に、図8に示される処理工程を順次実行することができる。各フレームの取得可能な周期よりも長い間隔で、図8に示される処理工程が実行されてもよい。本実施形態の測定方法における各処理工程の実行順序は、図8に示される例に限定されない。各処理工程の実行順序は、内容的に支障のない範囲で変更することができる。例えば、(S82)及び(S83)は並列に実行されてもよい。また、(S85)及び(S86)と、(S87)及び(S88)とも並列に実行されてもよい。
〔第一実施形態の作用及び効果〕
第一実施形態では、三次元センサ7から得られる情報に基づいて、被験者の肢体の複数の所定部位に関する世界座標系の位置情報である骨格データが取得される。そして、ユーザ操作などに応じて、肩の可動域を測定するための運動種及び対象方向(右か左か)が特定され、取得された骨格データに基づいて、特定された運動種及び対象方向に対応する方法で、その運動種の能力指標となる角度が算出される。算出された角度は、三次元センサ7から得られる二次元画像と共に、出力される。これにより、この出力を見た被験者は、測定時の自身の姿勢を確認しながら、測定結果(角度)を見ることができる。
更に、第一実施形態では、或る運動種の能力指標となる角度の算出に加えて、その能力測定時における被験者の姿勢の適否が判定され、その判定結果に対応する状態で、算出された角度が出力される。これにより、被験者に、測定結果と共に測定時の姿勢の適否も提供することができるため、第一実施形態によれば、被験者を正しい姿勢に誘導することができる。結果、被験者が測定時の正しい姿勢を知らない状態であっても、被験者が一人で正しく能力測定を行えるようにすることができる。また、被験者が無意識に誤った姿勢を取っている場合にも、被験者に気づきを与えることができ、正しい姿勢での正確な能力測定が可能となる。更に、被験者の姿勢の適否が自動で判定されるため、主観による評価のバラつきをなくし、見落としや判断間違い等のヒューマンエラーをなくすことができる。
また、第一実施形態では、順次算出される角度の中で、最大値が出力される。これにより、被験者は、最大値の出力を見ることで、或る運動種における自己の最大能力を確認することができる。加えて、第一実施形態では、被験者の姿勢が不適切と判定された際に算出された角度は、その最大値の選択候補から除外される。これにより、適正な姿勢で計測された能力指標のみが最大値となるため、被験者の肢体能力を正確に提示することができる。従って、第一実施形態によれば、被験者の肢体能力を正確に測定することができる。
[第二実施形態]
上述の第一実施形態では、骨格データ(所定部位の位置情報)が用いられて、被験者の肢体の能力指標となる角度が算出された。第二実施形態では、深度画像に基づいて、被験者の肢体の能力指標となる距離が算出される。以下、第二実施形態における測定装置10及び測定方法について、第一実施形態と異なる内容を中心に説明する。以下の説明では、第一実施形態と同様の内容については適宜省略する。
第二実施形態では、操作検出部15は、胸腰部の屈曲運動を選択するユーザ操作を検出する。胸腰部の屈曲運動には、右及び左の区別が存在しない。但し、操作検出部15は、三次元センサ7に対して被験者が右を向くか左を向くかを指定するユーザ操作を検出してもよい。このユーザ操作が検出される場合には、データ取得部11は、指定された向きに基づいて、つま先の向きや、つま先と手の指先との位置関係を判断することができる。
データ取得部11は、三次元センサ7から二次元画像及び深度画像(深度情報及び距離画像と呼ぶこともできる)を逐次取得する。これにより、データ取得部11は、画像取得部と呼ぶこともできる。深度画像は、画素毎の値で深度情報(三次元センサ7からの距離)を示す。
データ取得部11は、三次元センサ7から得られる被験者の下半身の深度画像に基づいて、床面の位置情報及び被験者の足のつま先の位置情報を取得する。データ取得部11は、パターンマッチング技術等を用いることで、三次元センサ7から得られる深度画像において被験者の輪郭を特定することができる。被験者の輪郭の特定には、二次元画像が更に用いられてもよい。例えば、データ取得部11は、二次元画像に対して既存の画像認識技術を適用することにより、二次元画像内の人の画像領域を特定し、この特定された画像領域を用いて、深度画像において被験者の輪郭及び画像領域を特定することもできる。データ取得部11は、深度画像における特定された輪郭の最下端を床面に設定し、その床面の位置情報を取得する。例えば、取得される床面の位置情報は、深度画像の画像座標系のy座標(上下方向の画素位置)により表される。本明細書における「床面」とは、被験者が立っている平面を意味する。よって、「床面」には、建物の床の面、台の上面等も含まれる。
更に、データ取得部11は、深度画像における特定された輪郭の最下端のx軸上の先端を被験者のつま先と捉える。x軸上の左右どちらの方向の先端を特定するのかは、予め決められていてもよいし、足部(くるぶしより下部)の形状を認識することにより決められてもよい。データ取得部11は、輪郭上で特定されたつま先の位置情報を取得する。例えば、取得されるつま先の位置情報は、深度画像の画像座標系のx座標及びy座標により表される。
加えて、データ取得部11は、つま先の位置よりも外側の、被験者の深度画像に基づいて、被験者の手の指先の位置情報を取得する。上述のように特定された被験者の輪郭情報を用いて、データ取得部11は、つま先の位置よりも外側(更に先)の被験者の深度画像を取得することができる。例えば、つま先がx軸の正方向を向いている場合、データ取得部11は、深度画像における、つま先の位置のx座標よりも大きいx座標を持つ輪郭上の線分を特定する。データ取得部11は、その特定された輪郭上の線分の最下点を被験者の手の指先と捉え、その指先の位置情報を取得する。例えば、取得される手の指先の位置情報は、深度画像の画像座標系のy座標(上下方向の画素位置)及び世界座標系のz座標(深度)により示される。
算出部12は、データ取得部11により取得された、床面の位置情報及び被験者の手の指先の位置情報に基づいて、被験者の手の指先から床面までの距離を、胸腰部の屈曲運動に関する能力指標として、算出する。算出される距離は、世界座標系(実世界)での距離を示す。この算出方法も、非特許文献1で示される規定に準拠している。
図9は、胸腰部の屈曲運動に関する能力指標の算出方法を示す図である。算出部12は、被験者の指先P9と、その指先P9からy軸負方向の線分と床面との交点P10との間の距離を算出する。具体的には、算出部12は、データ取得部11により取得された、手の指先のy座標(上下方向の画素位置)及び床面のy座標(上下方向の画素位置)に基づいて、深度画像上における指先から床面までの画素数PX1を算出する。更に、算出部12は、算出された画素数PX1と、上述のように特定された被験者の指先P9の深度DPTと、二次元画像の高さの半分の画素数PX2と、三次元センサ7(二次元画像を撮像する可視光カメラ等)の垂直視野角の半分(例えば、30度)とを用いて、次のような式により、世界座標系における被験者の指先と床面との間の距離を算出することができる。
世界座標系の距離=(PX1・DPT・tan30)/PX2
但し、被験者の指先と床面との間の距離の算出手法は、この式に限定されない。例えば、PX2は、深度画像の高さの半分の画素数とし、垂直視野角は、深度センサの垂直視野角としてもよい。また、PX1は、二次元画像上における画素数としてもよい。
出力処理部14は、三次元センサ7から取得される二次元画像を順次表示しながら、データ取得部11により取得された被験者のつま先の位置情報に基づいて、その表示される二次元画像上の被験者のつま先の位置にマークを重畳する。例えば、出力処理部14は、二次元画像上における被験者の画像領域と深度画像で示される被験者の画像領域との位置合わせを行うことで、データ取得部11により取得されたつま先の位置情報を用いて、二次元画像上での被験者のつま先の位置を特定することができる。このマークは、床面の位置を提示する目的も持つため、出力処理部14は、つま先から外側で床面上の位置に当該マークを重畳してもよい。
出力処理部14は、このマークの重畳の後の所定イベントの検出により、順次表示される画像上にそのマークを固定的に重畳する。検出される所定イベントは、マークを固定させるためのイベントであれば、その内容は制限されない。入力装置6を用いた所定のユーザ操作の検出が所定イベントであってもよい。また、入力装置6(マイク)から入力される所定のユーザ音声の検出が所定イベントであってもよい。出力処理部14は、そのマークの固定と共に、順次表示される画像に含まれる被験者の、つま先よりも外側に位置する画像領域に、被験者の深度情報に応じた着色を行う。例えば、出力処理部14は、二次元画像上における被験者の輪郭と深度画像で示される被験者の輪郭との位置合わせを行うことで、データ取得部11により取得された被験者のつま先の位置情報を用いて、二次元画像に含まれる被験者の、つま先よりも外側の画像領域を特定することができる。そして、出力処理部14は、二次元画像のその特定された画像領域に、深度画像上の対応する領域の深度情報(画素値)を重畳することで、被験者の深度情報に応じた着色を行うことができる。
出力処理部14は、算出部12により順次算出される距離の中で、最小値を出力してもよい。例えば、出力処理部14は、距離の最小値を出力しつつ、判定部13により被験者の姿勢が不適切と判定された際に算出された距離についてはその最小値の選択候補から除外することもできる。また、出力処理部14は、一測定毎に、最終的に決定された最小値を計測値として保持しておき、2回目以降の測定時には、それまでに保持される計測値のうち最大の値を最大値として出力することもできる。出力処理部14は、2回目以降の各測定時において、出力されている最小値が出力されている最大値よりも大きい場合には、その最小値を最大値として出力してもよい。
判定部13は、胸腰部の屈曲運動に関し予め決められている条件で、被験者の姿勢の適否を判定する。例えば、判定部13は、データ取得部11により取得される骨格データに基づいて、膝が曲がっていること、及び腰が引けていること等を検出することで、被験者の姿勢が不適切であると判定する。例えば、判定部13は、右腰、右膝、及び右足の骨格データに基づいて、各部位のx軸上のズレを確認する。判定部13は、右足のx座標を基準として、右腰又は右膝のx座標のみが所定範囲を超えてずれている場合に、被験者の姿勢が不適切と判定する。
〔出力例〕
次に、第二実施形態における出力処理部14による表示出力の具体例を説明する。
図10及び図11は、胸腰部の屈曲運動の能力を計測する際の表示出力の例を示す図である。映像エリアD1、説明エリアD2等の各表示エリアの配置は、図4等と同様である。出力処理部14は、ユーザにより胸腰部の屈曲運動が選択されていることをエリアD21に表示し、算出部12により算出された距離をエリアD22に表示し、距離の最小値をエリアD24に表示する。但し、図10の時点では、未だ計測が開始されていないため、エリアD22及びD24には、値は表示されていない(ハイフン表示)。図10及び図11の例では、エリアD24において最大値がハイフンで表示されているが、上述のとおり、計測値として保持される最小値のうち最大の値が最大値として出力されてもよい。
出力処理部14は、図4等と同様に、映像エリアD1に二次元画像を随時表示しつつ、その二次元画像上の、右足、右膝、及び右腰の位置にマークを重畳する。但し、被験者が三次元センサ7に対して反対方向を向いている場合には、出力処理部14は、その二次元画像上の、左足、左膝、及び左腰の位置にマークを重畳する。各部位へのマークの表示方法は、第一実施形態と同様である。第二実施形態では、出力処理部14は、更に、二次元画像上の被験者のつま先の位置にマークを重畳する。図10及び図11の例では、十字計のマークMK1が表示されている。当該マークは、その横線で床面を示している。出力処理部14は、所定イベントを検出すると、そのマークMK1の表示位置をそのときの位置に固定する。出力処理部14は、マークMK1の表示位置の固定後、図11に示されるように、当該二次元画像に含まれる被験者の、つま先よりも外側に位置する画像領域に、被験者の深度情報に応じた着色を行う。
〔動作例/測定方法〕
以下、第一実施形態における測定方法について図12及び図13を用いて説明する。
図12及び図13は、第二実施形態における測定装置10の動作例を示すフローチャートである。図12及び図13に示されるように、第二実施形態における測定方法は、測定装置10のような少なくとも一つのコンピュータにより実行される。図12及び図13に示される各処理工程は、測定装置10が有する上述の各処理モジュールの処理内容と同様であるため、各処理工程の詳細は、適宜省略される。
測定装置10は、図12及び図13に示される処理工程を実行するにあたり、胸腰部の屈曲運動を選択するユーザ操作を検出する。測定装置10は、肩の可動域を測定するための運動種が選択された場合には、図8に示される処理工程を実行する。
測定装置10は、三次元センサ7から得られる情報に基づいて、三次元センサ7の視野内に存在する被験者の骨格データを取得する(S121)。取得される骨格データは、(S122)以降で利用される、被験者の肢体の複数の所定部位の位置情報である。測定装置10は、所定の周期で、当該骨格データを順次取得する。骨格データの取得手法については第一実施形態として述べたとおりである(データ取得部11)。
更に、測定装置10は、深度画像を取得する(S122)。測定装置10は、所定の周期で、当該深度画像を順次取得する。
測定装置10は、(S122)で取得された深度画像に基づいて、被験者の下半身の深度画像を出力する(S123)。具体的には、測定装置10は、三次元センサ7から得られる二次元画像を表示しつつ、その二次元画像上における被験者の下半身を示す画像領域に、(S122)で取得された深度画像の中の被験者の下半身の部分の深度画像を重畳する。例えば、測定装置10は、既存の画像認識技術を用いることで、二次元画像における被験者の下半身の画像領域を特定することができる。更に、測定装置10は、既存のパターンマッチング技術等を用いることで、深度画像における被験者の下半身の輪郭及び画像領域を特定することができる。
測定装置10は、上述のように特定された、被験者の下半身の深度画像に基づいて、床面の位置情報を取得する(S124)。具体的には、測定装置10は、被験者の下半身の輪郭の最下端を床面に設定し、その床面の位置情報を取得する。測定装置10は、床面の位置情報として、画像座標系のy座標(画素位置)を取得することができる。
更に、測定装置10は、被験者の下半身の深度画像に基づいて、被験者のつま先の位置情報を取得する(S125)。具体的には、測定装置10は、(S124)で特定された最下端のx軸上の先端を被験者のつま先と捉える。測定装置10は、つま先の位置情報として、画像座標系のx座標及びy座標(画素位置)を取得することができる。
測定装置10は、(S121)で取得された骨格データに基づいて、三次元センサ7から得られる二次元画像に含まれる被験者の複数の所定部位にマークを重畳させる(S126)。所定部位のマークの表示方法は、第一実施形態で述べたとおりである。図10の例では、測定装置10は、画像内の右足、右膝、及び右腰の位置にマークを重畳させている。
更に、測定装置10は、(S121)で取得された骨格データに基づいて、当該二次元画像上に、当該複数の所定部位間を結ぶ線分を重畳させる(S127)。この線分の表示方法についても、第一実施形態で述べたとおりである。図10の例では、右腰、右膝及び右足を結ぶ線分が表示されている。
測定装置10は、入力装置6を用いた所定のユーザ操作の検出などの、所定イベントを検出すると(S129;YES)、つま先の位置に重畳させているマーク(つま先のマーク)の、二次元画像上での表示位置を固定する(S131)。このとき、測定装置10は、(S124)及び(S125)で取得された、床面及びつま先の最新の位置情報を保持する。測定装置10は、所定イベントが検出されない間(S129;NO)、(S121)から(S128)を繰り返し実行する。
測定装置10は、所定イベントが検出された(図12のS129;YES)後、次の周期において、骨格データ及び深度画像を新たに取得する(S131)(S132)。
測定装置10は、(S132)で取得された深度画像及び図12の動作で保持されたつま先の位置情報に基づいて、被験者のつま先よりも外側の深度画像を出力する(S133)。具体的には、測定装置10は、三次元センサ7から得られる二次元画像を表示しつつ、その二次元画像上における被験者のつま先よりも外側を示す画像領域に、(S132)で取得された深度画像の中の被験者のつま先よりも外側の部分の深度画像を重畳する。つま先の位置情報として画像座標系の位置情報が保持されているため、二次元画像及び深度画像において、被験者全体の画像領域を特定することで、各画像における被験者のつま先よりも外側を示す画像領域は特定可能である。
測定装置10は、(S133)で出力される、被験者のつま先よりも外側の深度画像における最下端を被験者の手の指先と捉え、その最下端の位置情報を、被験者の手の指先の位置情報として取得する(S134)。被験者の手の指先の位置情報として、画像座標系のx座標及びy座標、並びに世界座標系におけるz座標(深度)が取得可能である。
測定装置10は、図12の動作で保持された床面の位置情報及び(S134)で取得された指先の位置情報に基づいて、被験者の手の指先と床面との間の距離を算出する(S135)。測定装置10は、世界座標系における距離を算出する。この距離の算出方法については上述したとおりである(算出部12)。
測定装置10は、(S131)で取得された骨格データに基づいて、被験者の姿勢の適否を判定する(S136)。胸腰部の屈曲運動に関して、測定装置10は、膝が曲がっていること、及び腰が引けていること等を検出することで、被験者の姿勢が不適切であると判定する。不適切な姿勢の検出方法については上述したとおりである(判定部13)。
測定装置10は、(S135)で算出された距離を、(S136)での判定結果に対応する状態で、出力する(S137)。即ち、測定装置10は、被験者の姿勢が適切と判定された場合と、その姿勢が不適切と判定された場合とで、距離の出力状態を変える。例えば、測定装置10は、図11の例に示されるように、(S135)で算出された距離をエリアD22に表示する。そして、測定装置10は、姿勢が適切と判定された場合には、その距離を黒色で表示し、姿勢が不適切と判定された場合には、その距離を赤色で表示する。上述したとおり、測定装置10による距離の出力方法は、表示のみに制限されない。また、姿勢の適否の判定結果に対応する出力状態についても着色のみに制限されない。
測定装置10は、(S136)の判定結果が「姿勢が適切である」ことを示し、かつ、(S135)で算出された距離が最小値を示すか否かを判定する(S138)。測定装置10は、所定の周期で順次取得される深度画像に基づいて順次算出される距離の中で、(S135)で算出された距離が最小の距離を示すか否かを判定する。測定装置10は、姿勢が適切であると判定されており、かつ算出された距離が最小値を示す場合(S138;YES)、(S135)で算出された距離を最小値として出力する(S139)。例えば、測定装置10は、図11の例に示されるように、(S135)で算出された距離をエリアD24に表示する。一方、測定装置10は、姿勢が不適切であると判定されているか、又は算出された距離が最小値でない場合(S138;NO)、(S139)を実行しない。更に、測定装置10は、姿勢が不適切であると判定された場合には、(S135)で算出された距離については、今後の最小値の選択候補から除外する。不適切な姿勢で計測された距離は、正確な能力指標とならないからである。
測定装置10は、(S131)で取得された骨格データに基づいて、三次元センサ7から得られる二次元画像に含まれる被験者の複数の所定部位にマークを重畳させる(S140)。所定部位のマークの表示方法は、第一実施形態で述べたとおりである。
更に、測定装置10は、(S131)で取得された骨格データに基づいて、当該二次元画像上に、当該複数の所定部位間を結ぶ線分を重畳させる(S141)。線分の表示方法についても、第一実施形態で述べたとおりである。
測定装置10は、所定イベントの検出後は、三次元センサ7からの二次元画像のフレーム及び深度画像(距離画像)のフレームが取得される度に、図13に示される処理工程を順次実行することができる。各フレームの取得可能な周期よりも長い間隔で、図13に示される処理工程が実行されてもよい。本実施形態の測定方法における各処理工程の実行順序は、図12及び図13に示される例に限定されない。各処理工程の実行順序は、内容的に支障のない範囲で変更することができる。例えば、(S122)は(S121)よりも先に実行されてもよい。また、(S126)及び(S127)は、(S121)の後であれば、どこで実行されてもよい。
〔第二実施形態の作用及び効果〕
第二実施形態では、三次元センサ7から得られる深度画像に基づいて、被験者の足のつま先の位置情報及び床面の位置情報が取得され、三次元センサ7から取得される二次元画像に含まれる被験者のつま先の位置にマークが表示される。世界座標系での右足及び左足の位置情報は、骨格データとして取得することができる。しかしながら、足部(くるぶしより下部)といっても或る程度の広さを持つため、つま先と足部の中心とでは、10センチ単位で位置が異なる。第二実施形態によれば、深度画像上で特定される被験者の輪郭及び画像領域から位置情報が取得されるため、床面及びつま先の位置をより正確に得ることができる。
更に、第二実施形態では、所定イベントの検出によりつま先及び床面の位置が確定され、その確定されたつま先の位置情報に基づいて、深度画像における、つま先よりも外側の被験者の輪郭及び画像領域が特定され、その最下端が被験者の手の指先の位置に決定される。そして、深度画像の画像座標系における、被験者の手の指先と床面との距離(画素数)が算出され、その画像座標系の距離が世界座標系の距離に変換される。従って、第二実施形態によれば、骨格データを用いた計測に比べて、高精度に、胸腰部の屈曲運動の能力指標である距離を算出することができる。
また、第二実施形態では、所定イベントの検出によりつま先及び床面の位置が確定された後に、表示されている二次元画像における、被験者のつま先よりも外側に位置する画像領域に深度情報に応じた着色が行われる。これにより、被験者に、二次元画像に含まれる自身のどの部分が手の指先として認識されているかを容易に把握させることができ、測定装置10による正常動作を確認させることができる。
[第三実施形態]
上述の第二実施形態では、深度画像に基づいて、被験者の手の指先と床面との距離が被験者の肢体の能力指標として算出された。第三実施形態では、深度画像に基づいて、異なる2つの時点における被験者の手の指先の位置間の距離が被験者の肢体の能力指標として算出される。以下、第三実施形態における測定装置10及び測定方法について、上述の各実施形態と異なる内容を中心に説明する。以下の説明では、上述の各実施形態と同様の内容については適宜省略する。
第三実施形態では、操作検出部15は、ファンクショナルリーチテスト(以降、FRTと略称する)を選択するユーザ操作を検出する。FRTは、人のバランス機能を評価する方法として周知の手法であり、転倒の危険性を予測する指標を得るべく臨床現場でよく使われている手法である。FRTには、右及び左の区別が存在しない。但し、操作検出部15は、三次元センサ7に対して被験者が右を向くか左を向くかを指定するユーザ操作を検出してもよい。このユーザ操作が検出される場合には、データ取得部11は、指定された向きに基づいて、深度画像における被験者の輪郭の中で、手の指先の位置が右端にくるか左端にくるかを判断することができる。
データ取得部11は、三次元センサ7から深度画像を逐次取得する。データ取得部11は、被験者の全身の深度画像を逐次取得し、その深度画像に基づいて、被験者の手の指先の位置情報を逐次取得する。上述したとおり、データ取得部11は、パターンマッチング技術等を用いることで、三次元センサ7から得られる深度画像において被験者の輪郭を特定することができる。データ取得部11は、その特定された被験者の輪郭の中で、最大のx座標を有する点を被験者の手の指先と捉えることで、深度画像の画像座標系におけるその指先の位置情報(画素位置)を取得することができる。FRTに関しては、骨格データは利用されないため、測定装置10がFRTのみをサポートする場合には、データ取得部11は、骨格データを取得しなくてもよい。
データ取得部11は、所定イベントの検出により、その検出時に取得されている手の指先の位置情報を保持する。検出される所定イベントは、基準となる指先の位置を固定させるためのイベントであれば、その内容は制限されない。入力装置6を用いた所定のユーザ操作の検出が所定イベントであってもよい。また、入力装置6(マイク)から入力される所定のユーザ音声の検出が所定イベントであってもよい。例えば、データ取得部11は、人が普通に立って腕を真っ直ぐ前に突き出した状態の輪郭パターンを予め保持し、当該所定イベントの検出として、深度画像からこの輪郭パターンを検出する。
算出部12は、所定イベントの検出により保持された位置情報と、新たに取得された位置情報とに基づいて、保持された位置情報に対応する手の指先の位置と、新たに取得された位置情報に対応する手の指先の位置との間の、x軸方向の距離を算出する。算出される距離は、世界座標系の距離であり、FRTの能力指標となる。具体的には、算出部12は、2つの位置情報に基づいて、深度画像の画像座標系における手の指先間の距離(画素数)を算出し、この距離を第二実施形態と同様の手法により世界座標系の距離に変換する。
判定部13は、FRTに関し予め決められている条件で、被験者の姿勢の適否を判定する。例えば、判定部13は、保持された位置情報と新たに取得された位置情報とに基づいて、手の指先の位置がy軸方向で所定範囲を超えてズレていること等を検出することで、被験者の姿勢が不適切であると判定する。この場合、判定部13は、保持された位置情報のy座標と新たに取得された位置情報のy座標との差が所定閾値を超えると、被験者の姿勢が不適切であると判定する。
〔出力例〕
次に、第三実施形態における出力処理部14による表示出力の具体例を説明する。
図14は、ファンクショナルリーチテストの能力を計測する際の表示出力の例を示す図である。映像エリアD1、説明エリアD2等の各表示エリアの配置は、図4等と同様である。出力処理部14は、ユーザによりFRTが選択されていることをエリアD21に表示し、算出部12により算出された距離をエリアD22に表示し、距離の最大値をエリアD23に表示する。なお、FRTにおいても、図4等の例と同様に、最小値が表示されてもよい。
出力処理部14は、図4等と同様に、映像エリアD1に二次元画像を随時表示しつつ、その二次元画像上の、指先の位置にマークを重畳する。例えば、出力処理部14は、二次元画像上における被験者の画像領域と深度画像で示される被験者の画像領域との位置合わせを行うことで、データ取得部11により取得された手の指先の位置情報を用いて、二次元画像上での被験者の手の指先の位置を特定することができる。出力処理部14は、所定イベントを検出すると、その検出時に深度画像上で特定されていた被験者の輪郭及び画像領域を、二次元画像上に固定的に重畳すると共に、手の指先の位置を示すマークもその二次元画像上に固定する。更に、出力処理部14は、所定イベントの検出後に深度画像上で特定される被験者の輪郭及び画像領域も二次元画像に重畳しつつ、新たに取得される手の指先の位置にマークを重畳させる。このとき、二次元画像上に固定される被験者の深度画像と、所定イベント検出後に二次元画像に重畳される被験者の深度画像とは、色を変えることで、両者を区別可能に表示する。
〔動作例/測定方法〕
以下、第三実施形態における測定方法について図15及び図16を用いて説明する。
図15及び図16は、第三実施形態における測定装置10の動作例を示すフローチャートである。図15及び図16に示されるように、第三実施形態における測定方法は、測定装置10のような少なくとも一つのコンピュータにより実行される。図15及び図16に示される各処理工程は、測定装置10が有する上述の各処理モジュールの処理内容と同様であるため、各処理工程の詳細は、適宜省略される。
測定装置10は、図15及び図16に示される処理工程を実行するにあたり、FRTを選択するユーザ操作を検出する。測定装置10は、FRTを選択するユーザ操作が検出されると、図15に示される処理工程を実行する。
測定装置10は、三次元センサ7から深度画像を取得する(S151)。測定装置10は、所定の周期で、当該深度画像を順次取得する。
測定装置10は、(S151)で取得された深度画像に基づいて、被験者の全身の深度画像を出力する(S152)。具体的には、測定装置10は、三次元センサ7から得られる二次元画像を表示しつつ、その二次元画像上における被験者の全身を示す画像領域に、(S151)で取得された深度画像の中の被験者の全身の深度画像を重畳する。例えば、測定装置10は、既存の画像認識技術を用いることで、二次元画像における被験者の全身の画像領域を特定することができる。更に、測定装置10は、既存のパターンマッチング技術等を用いることで、深度画像における被験者の全身の輪郭及び画像領域を特定することができる。
測定装置10は、上述のように特定された、被験者の全身の深度画像に基づいて、被験者の手の指先の位置情報を取得する(S153)。具体的には、測定装置10は、被験者の全身の深度画像の中で、最大のx座標を有する点を被験者の手の指先と捉えることで、深度画像の画像座標系におけるその指先の位置情報(画素位置)を取得することができる。
測定装置10は、表示される二次元画像における、被験者の手の指先の位置にマークを重畳する(S154)。測定装置10は、二次元画像上における被験者の画像領域と深度画像で示される被験者の画像領域との位置合わせを行うことで、(S153)で取得された手の指先の位置情報を用いて、二次元画像上での被験者の手の指先の位置を特定することができる。
測定装置10は、入力装置6を用いた所定のユーザ操作の検出などの、所定イベントを検出すると(S155;YES)、(S153)で取得されている手の指先の最新の位置情報を保持する(S156)。更に、測定装置10は、手の指先の位置に重畳させているマーク(指先のマーク)の、二次元画像上での表示位置を固定する(S157)。加えて、測定装置10は、所定イベントの検出時に(S152)で出力されていた被験者の全身の深度画像の、二次元画像上での表示位置を固定する(S158)。測定装置10は、所定イベントが検出されない間(S155;NO)、(S151)から(S154)を繰り返し実行する。
測定装置10は、所定イベントが検出された(図15のS155;YES)後、次の周期において、深度画像を新たに取得する(S161)。
測定装置10は、新たに取得された深度画像に基づいて、(S162)及び(S163)を実行する。(S162)は、図15に示される(S152)と同じであり、(S163)は、図15に示される(S153)と同じである。
測定装置10は、(S156)で保持された位置情報と(S163)で新たに取得された位置情報とに基づいて、各位置情報に対応する手の指先の位置間の、x軸方向の距離を算出する(S164)。測定装置10は、世界座標系における距離を算出する。この距離の算出方法については上述したとおりである(算出部12)。
測定装置10は、(S156)で保持された位置情報と(S163)で新たに取得された位置情報とに基づいて、被験者の姿勢の適否を判定する(S165)。FRTに関して、測定装置10は、手の指先の位置がy軸方向で所定範囲を超えてずれていること等を検出することで、被験者の姿勢が不適切であると判定する。
測定装置10は、(S164)で算出された距離を、(S165)での判定結果に対応する状態で、出力する(S166)。即ち、測定装置10は、被験者の姿勢が適切と判定された場合と、その姿勢が不適切と判定された場合とで、距離の出力状態を変える。例えば、測定装置10は、図14の例に示されるように、(S164)で算出された距離をエリアD22に表示する。そして、測定装置10は、姿勢が適切と判定された場合には、その距離を黒色で表示し、姿勢が不適切と判定された場合には、その距離を赤色で表示する。上述したとおり、測定装置10による距離の出力方法は、表示のみに制限されない。また、姿勢の適否の判定結果に対応する出力状態についても着色のみに制限されない。
測定装置10は、(S165)の判定結果が「姿勢が適切である」ことを示し、かつ、(S164)で算出された距離が最大値を示すか否かを判定する(S167)。測定装置10は、所定の周期で順次取得される深度画像に基づいて順次算出される距離の中で、(S164)で算出された距離が最大の距離を示すか否かを判定する。測定装置10は、姿勢が適切であると判定されており、かつ算出された距離が最大値を示す場合(S167;YES)、(S164)で算出された距離を最大値として出力する(S168)。例えば、測定装置10は、図14の例に示されるように、(S164)で算出された距離をエリアD23に表示する。一方、測定装置10は、姿勢が不適切であると判定されているか、又は算出された距離が最大値でない場合(S167;NO)、(S168)を実行しない。更に、測定装置10は、姿勢が不適切であると判定された場合には、(S164)で算出された距離については、今後の最大値の選択候補から除外する。不適切な姿勢で計測された距離は、正確な能力指標とならないからである。
測定装置10は、表示される二次元画像における、被験者の手の指先の位置にマークを重畳する(S169)。(S169)は、図15に示される(S154)と同じである。
測定装置10は、図15の動作の実行後は、三次元センサ7からの二次元画像のフレーム及び深度画像(距離画像)のフレームが取得される度に、図16に示される処理工程を順次実行することができる。各フレームの取得可能な周期よりも長い間隔で、図16に示される処理工程が実行されてもよい。本実施形態の測定方法における各処理工程の実行順序は、図15及び図16に示される例に限定されない。各処理工程の実行順序は、内容的に支障のない範囲で変更することができる。例えば、(S157)及び(S158)は並列又は逆の順番で実行されてもよい。また、(S165)は、(S164)の前に実行されてもよい。
〔第三実施形態の作用及び効果〕
第三実施形態では、三次元センサ7から得られる深度画像に基づいて、被験者の手の指先の位置情報が取得され、被験者の手の指先に関する、所定イベントの検出時の位置情報とその後に取得される位置情報とに対応する位置間の距離がFRTの能力指標として算出される。このように、第三実施形態によれば、深度画像に基づいて或る2つの時点での手の指先の位置間の距離が算出されるため、骨格データを用いる場合に比べて、高精度に距離を算出することができる。
また、第三実施形態では、算出される距離の基準となる手の指先の位置が、所定イベントの検出により確定され、二次元画像におけるその確定された位置にマークが固定的に表示される。第三実施形態では、所定イベントの検出後は、固定的に表示されるマークと共に、最新の手の指先の位置を示すマークも更に表示される。従って、第三実施形態によれば、被験者に、FRTの自身の測定過程を視覚的に分かり易く提供することができる。
[第四実施形態]
第四実施形態では、顔の向き及び両肩の開き角度に基づいて、首の右回旋運動又は左回旋運動の能力指標となる角度が算出される。以下、第四実施形態における測定装置10及び測定方法について、上述の各実施形態と異なる内容を中心に説明する。以下の説明では、上述の各実施形態と同様の内容については適宜省略する。
〔処理構成〕
図17は、第四実施形態における測定装置10の処理構成例を概念的に示す図である。図17に示されるように、第四実施形態における測定装置10は、上述の各実施形態の構成に加えて、報知部17を更に有する。報知部17についても、他の処理モジュールと同様に実現される。
第四実施形態では、操作検出部15は、首可動域の計測のための旋回運動を選択するユーザ操作を検出する。この旋回運動には、左旋回運動と右旋回運動とが含まれる。よって、操作検出部15は、旋回運動に関し、左右のどちらを計測するのかの選択操作を検出してもよい。
データ取得部11は、三次元センサ7から得られる情報に基づいて、三次元センサ7の視野内に位置する被験者の顔の向き情報及び両肩の位置情報、並びに被験者の深度情報を取得する。データ取得部11は、第一実施形態と同様の手法により、両肩の位置情報を骨格データとして取得することができる。また、データ取得部11は、既存の画像認識技術を用いることにより、三次元センサ7から得られる二次元画像及び深度画像から人の顔を認識し、認識された顔の各部位の位置関係からその人の顔の向きを特定することができる。人の顔及び顔内の各部位の認識手法には、様々な既存の画像認識手法を用いることができる。データ取得部11により取得される顔の向き情報は、z軸からの角度で表される。取得される被験者の深度情報は、深度画像に基づく情報であり、顔の中心等のような被験者の肢体の或る一点の深度、又は被験者の肢体の複数点の中心位置の深度を示す。
ところで、三次元センサ7から得られる情報に基づく人の顔の向きの特定には限度がある。三次元センサ7から得られる二次元画像に横顔しか含まれない場合には、人の顔の認識が出来ない場合がある。よって、例えば、45度までしか顔の向き情報が得られない場合には、首の可動域を計測することができないこととなる。そこで、本実施形態では、三次元センサ7に対して被験者を斜めに向かせることで、肩の開き角度とデータ取得部11で得られた顔の向き情報とから、首の回旋運動の能力指標となる角度が算出される。
具体的には、算出部12は、データ取得部11により取得された両肩の位置情報に基づいて、両肩を結ぶ線分と、x軸方向との、y軸に直交する平面上になす角度を、肩の開き角度として算出する。更に、算出部12は、データ取得部11により取得された顔の向き情報と、算出された肩の開き角度とに基づいて、首の右回旋運動又は左回旋運動の能力指標となる角度を算出する。図18を用いて、この算出処理を更に詳細に説明する。
図18は、首の能力指標の算出方法を示す図である。
算出部12は、左肩P11と右肩P12とを結ぶ線分L11と、x軸正方向との、y軸に直交する平面(xz平面、図18の紙面)上になす角度A11を肩の開き角度として算出する。そして、算出部12は、データ取得部11で取得された顔の向き情報が示す角度A12と肩の開き角度A11とを合算した角度(A11+A12)を、首の右回旋運動の能力指標として算出する。算出される角度(A11+A12)は、被験者が首を正面方向L12から右回旋させた方向L13までの角度と等しくなる。
また、算出部12は、左肩P11と右肩P12とを結ぶ線分L11と、x軸負方向との、y軸に直交する平面(xz平面、図18の紙面)上になす角度A13を肩の開き角度として算出する。そして、算出部12は、データ取得部11で取得された顔の向き情報が示す角度A14と肩の開き角度A13とを合算した角度(A13+A14)を、首の左回旋運動の能力指標として算出する。算出される角度(A13+A14)は、被験者が首を正面方向L14から左回旋させた方向L15までの角度と等しくなる。
報知部17は、算出部12により算出された肩の開き角度が所定角度範囲に含まれるか否かの判定結果を報知する。報知部17は、肩の開き角度が所定角度範囲に含まれる場合に、所定音声又は所定音を入出力I/F3に接続されるスピーカから出力する。報知部17は、肩の開き角度が所定角度範囲に含まれない場合に、所定音又は所定音声を出力してもよい。但し、報知部17による報知方法は、音声出力に限定されない。報知部17は、表示出力により報知してもよい。
判定部13は、算出部12により算出された肩の開き角度が所定角度範囲に含まれるか否か、及び被験者が三次元センサ7から所定距離範囲内に位置しているか否かを判定する。所定角度範囲は、データ取得部11による顔の向きの取得制約と首の各回旋運動の平均角度とから予め決められる。例えば、所定角度範囲は、28度以上32度以下の範囲に設定される。所定距離範囲は、データ取得部11による顔の向きの取得精度等から予め決められる。例えば、所定距離範囲は、1.5メートルから2.0メートルの範囲に設定される。判定部13は、深度画像から、世界座標系における被験者の深度(三次元センサ7からの距離)を取得することができる。
〔出力例〕
次に、第四実施形態における出力処理部14による表示出力の具体例を説明する。
図19は、首可動域を計測する際の表示出力の例を示す図である。映像エリアD1、説明エリアD2等の各表示エリアの配置は、図4等と同様である。出力処理部14は、ユーザにより首の右回旋運動が選択されていることをエリアD21に表示し、算出部12により算出された角度をエリアD22に表示し、角度の最大値をエリアD23に表示する。なお、図19においても、図4等の例と同様に、最小値が表示されてもよい。
出力処理部14は、図4等と同様に、映像エリアD1に二次元画像を随時表示しつつ、その二次元画像上に両肩を結ぶ線分を重畳表示する。また、出力処理部14は、顔の向き情報と共に得られる、顔の各部位の位置情報に基づいて、顔の各部位を結ぶ線分を表示する。更に、出力処理部14は、判定部13により取得される被験者の深度をエリアD15に表示し(1.65メートル)、算出部12により算出された肩の開き角度をエリアD16に表示する(32.7度)。
〔動作例/測定方法〕
以下、第四実施形態における測定方法について図20を用いて説明する。
図20は、第四実施形態における測定装置10の動作例を示すフローチャートである。図20に示されるように、第四実施形態における測定方法は、測定装置10のような少なくとも一つのコンピュータにより実行される。図20に示される各処理工程は、測定装置10が有する上述の各処理モジュールの処理内容と同様であるため、各処理工程の詳細は、適宜省略される。
測定装置10は、図20に示される処理工程を実行するにあたり、首可動域の計測のためにユーザにより選択された右旋回運動又は左旋回運動のいずれか一方を特定する。測定装置10は、右旋回運動及び左旋回運動を自動で切り替えて順次実行してもよい。
測定装置10は、三次元センサ7から得られる情報に基づいて、三次元センサ7の視野内に存在する被験者の骨格データを取得する(S201)。取得される骨格データは、(S202)以降で利用される、被験者の肢体の複数の所定部位の位置情報であり、両肩の位置情報を含む。測定装置10は、所定の周期で、当該骨格データを順次取得する。骨格データの取得手法については上述したとおりである(データ取得部11)。
測定装置10は、三次元センサ7から得られる二次元画像を順次表示しながら、(S201)で取得された骨格データに基づいて、その二次元画像上に、両肩を結ぶ線分を重畳させる(S202)。このとき、測定装置10は、骨格データで示される世界座標系と、二次元画像の画像座標系との対応関係を用いることができる。
測定装置10は、(S201)で取得された骨格データが示す両肩の位置情報に基づいて、両肩を結ぶ線分と、x軸方向との、y軸に直交する平面上になす角度を、肩の開き角度として算出する(S203)。そして、測定装置10は、(S203)で算出された肩の開き角度を出力する(S204)。図19の例では、測定装置10は、(S203)で算出された肩の開き角度をエリアD16に表示している。
測定装置10は、被験者の深度情報を取得する(S205)。取得される深度情報は、三次元センサ7から被験者までの世界座標系における距離を示す。そして、測定装置10は、(S205)で取得された深度情報が示す被験者の深度を出力する(S206)。図19の例では、測定装置10は、被験者の深度をエリアD15に表示している。
続いて、測定装置10は、(S203)で算出された肩の開き角度が適正か否かを判定する(S207)。具体的には、測定装置10は、肩の開き角度が所定角度範囲に含まれるか否かを判定する。所定角度範囲については上述したとおりである。測定装置10は、肩の開き角度が所定角度範囲に含まれていない場合、即ち肩の開き角度が適正でない場合(S207;NO)、(S201)以降を再度実行する。
測定装置10は、肩の開き角度が所定角度範囲に含まれている場合(S207;YES)、肩の開き角度が適正であることを報知する(S208)。(S208)での報知方法は限定されない。例えば、測定装置10は、所定音声により報知する。また、本動作例では、肩の開き角度が適正であることが報知されたが、肩の開き角度が適正でないことが報知されてもよい。
測定装置10は、三次元センサ7から得られる情報に基づいて、被験者の顔の向き情報を取得する(S209)。顔の向き情報の取得方法については上述したとおりである。例えば、測定装置10は、顔の認識に成功すると、図19に例示されるように、測定開始を意味する「Start」を出力する。測定開始のシグナルは、表示により提示されてもよいし、音声等により提示されてもよい。また、測定装置10は、顔の認識に成功するまでは、準備段階を示す「Ready」を出力してもよい。
測定装置10は、(S203)で算出された肩の開き角度及び(S209)で取得された顔の向き情報が示す角度を合算することで、首の右回旋運動又は左回旋運動の能力指標となる角度を算出する(S210)。そして、測定装置10は、(S210)で算出された角度を出力する(S211)。図19の例では、測定装置10は、(S210)で算出された角度をエリアD22に表示する。このとき、測定装置10は、(S205)で取得された深度情報により示される被験者の深度が適切であるか否かの判定結果に対応する状態で角度を出力してもよい。例えば、測定装置10は、被験者の深度が所定距離範囲内に含まれる場合には、角度を黒文字で表示し、被験者の深度が所定距離範囲内に含まれない場合には、角度を赤文字で表示する。
測定装置10は、(S205)で取得された深度情報により示される被験者の深度が適切であり、かつ(S210)で算出された角度が最大値を示すか否かを判定する(S212)。測定装置10は、順次取得される骨格データ及び顔の向き情報に基づいて、順次算出される角度の中で、(S210)で算出された角度が最大の角度を示すか否かを判定する。また、測定装置10は、被験者の深度(距離)が所定距離範囲内に含まれるか否かを判定する。測定装置10は、被験者の深度が所定距離範囲内に含まれる場合、被験者の深度が適正と判定し、それ以外の場合に、被験者の深度が適正でないと判定する。所定距離範囲については上述したとおりである。
測定装置10は、被験者の深度が適切であると判定されており、かつ算出された角度が最大値を示す場合(S212;YES)、(S210)で算出された角度を最大値として出力する(S213)。例えば、測定装置10は、図19の例に示されるように、(S210)で算出された角度をエリアD23に表示する。一方、測定装置10は、被験者の深度が不適切であると判定されているか、又は算出された角度が最大値でない場合(S212;NO)、(S213)を実行しない。更に、測定装置10は、被験者の深度が不適切であると判定された場合には、(S210)で算出された角度については、今後の最大値の選択候補から除外する。被験者の深度が不適切な場合、取得される被験者の顔の向きの精度が悪い可能性があるからである。
測定装置10は、肩の開き角度が適正と判定された後(S207;YES)、三次元センサ7からの二次元画像のフレーム及び深度画像(距離画像)のフレームが取得される度に、(S209)以降を順次実行することができる。各フレームの取得可能な周期よりも長い間隔で、(S209)以降の各処理工程が実行されてもよい。本実施形態の測定方法における各処理工程の実行順序は、図20に示される例に限定されない。各処理工程の実行順序は、内容的に支障のない範囲で変更することができる。例えば、(S202)は、(S203)の後に実行されてもよい。また、(S205)及び(S206)は、(S202)の前に実行されてもよい。
〔第四実施形態の作用及び効果〕
第四実施形態では、骨格データにより示される両肩の位置情報に基づいて、両肩の開き角度が算出される。両肩の開き角度は、被験者が三次元センサ7に正対した状態から、右肩又は左肩を三次元センサ7から遠ざかる方向(z軸方向)に引いた程度を示す。そして、三次元センサ7から得られる情報に基づいて、被験者の顔の向き(角度)が特定され、特定される顔の向きと両肩の開き角度との合算により、首の右回旋運動又は左回旋運動の能力指標となる角度が算出される。これにより、三次元センサ7から得られる情報に基づいて特定できる顔の向き(角度)には限度があるところ、第四実施形態によれば、両肩の開き角度と合わせることで、首の右回旋運動又は左回旋運動の能力指標を正確に計測することができる。
更に、第四実施形態では、肩の開き角度が所定角度範囲内に含まれるか、被験者が三次元センサ7から所定距離範囲内に位置しているか否かが判定される。そして、肩の開き角度が所定角度範囲内に含まれるか否かの判定結果が報知され、被験者が三次元センサ7から所定距離範囲内に位置しているか否かの判定結果に対応する状態で角度が出力される。これにより、被験者は、報知及び出力を確認することで、適正な姿勢で首の可動域を測定することができる。即ち、第四実施形態によれば、首の可動域の測定のユーザビリティを向上させることができる。
[補足例]
図4等で示される出力例では、三次元センサ7が、実世界における水平方向を向くように、配置されていた。しかしながら、股可動域などの計測のために、三次元センサ7が、鉛直方向を向くように配置されてもよい。この場合、三次元センサ7から得られる世界座標系の位置情報では、実世界の鉛直方向がz軸に設定され、実世界の水平面がxy平面に設定される。
例えば、操作検出部15は、股可動域の計測のための屈曲運動を選択するユーザ操作を検出する。股の屈曲運動の能力指標は、左足及び右足の各々について計測される。操作検出部15は、股の屈曲運動に関し、左右のどちらを計測するのかの選択操作を検出してもよい。この場合、データ取得部11は、三次元センサから得られる情報に基づいて、被験者の腰及び膝の位置情報をする。算出部12は、データ取得部11により取得された位置情報に基づいて、腰の位置を端点としy軸負方向の線分と、腰の位置と膝の位置とを結ぶ線分との、x軸方向に直交する平面(yz平面)上になす角度を、股の屈曲運動の能力指標として算出する。
図21は、股の能力指標の算出方法を示す図である。
算出部12は、右腰の位置P17を端点としy軸負方向の線分L17と、右腰の位置P17と右膝の位置P18とを結ぶ線分L18との、x軸に直交する平面(yz平面、図21の紙面)上になす角度A17を、右股の屈曲運動の能力指標として算出する。算出部12は、左股の屈曲運動の能力指標も同様に算出する。
図22は、補足例における出力処理部14による表示出力の例を示す図である。
この場合、出力処理部14は、ユーザにより股の屈曲運動が選択されていることをエリアD21に表示し、算出部12により算出された角度をエリアD22に表示し、角度の最大値をエリアD23に表示する。出力処理部14は、図4等と同様に、映像エリアD1に二次元画像を随時表示しつつ、その二次元画像上の、左膝、左腰、及び左肩の位置にマークを重畳する。図22の例では、被験者が床に寝そべった状態で、測定される。
上述の説明では、三次元センサ7が、可視光カメラ及び深度センサが統合されたセンサとして実現される例が示され、測定装置10(データ取得部11)は、三次元センサ7から二次元画像及び深度画像を取得した。ところが、三次元センサ7の実現手法は制限されず、三次元センサ7は、被験者に付されたマーカを撮像する複数の撮像装置として実現されてもよいし、被験者に付された赤外線マーカの位置を検出する複数の赤外線センサを含んでもよい。この場合、測定前に、被験者の肢体の必要な部位にマーカが付される。測定装置10(データ取得部11)は、複数の撮像装置又は赤外線センサによりマーカの位置を検出することにより、被験者の肢体の複数の所定部位の位置情報(骨格データ)を取得することができる。更に、マーカを各部位にそれぞれ付す際に、マーカ間の実世界での距離(間隔)を予め計測しておくことで、取得された位置情報から、世界座標系における部位間の距離や被験者までの深度を算出することができる。但し、深度センサが含まれない場合には、深度画像が取得されないため、マーカの検出により取得される位置情報が利用されればよい。
[第五実施形態]
以下、第五実施形態における測定装置及び測定方法について図23及び図24を用いて説明する。また、第五実施形態は、この測定方法を少なくとも1つのコンピュータに実行させるプログラムであってもよいし、このようなプログラムを記録した当該少なくとも1つのコンピュータが読み取り可能な記録媒体であってもよい。
図23は、第五実施形態における測定装置100の処理構成例を概念的に示す図である。図23に示されるように、測定装置100は、取得部101、算出部102、判定部103、及び出力処理部104を有する。測定装置100は、例えば、図1に示される上述の測定装置10と同様のハードウェア構成を有し、その測定装置10と同様にプログラムが処理されることで、上述の各処理モジュールが実現される。
取得部101は、被験者の肢体における所定部位の位置情報又は向き情報を取得する。例えば、取得部101は、三次元センサ7から得られる情報に基づいて、その位置情報又はその向き情報を取得する。また、取得部101は、他のコンピュータから当該位置情報又は当該向き情報を取得してもよい。取得部101の具体例が上述のデータ取得部11である。
算出部102は、取得部101により取得された位置情報又は向き情報に基づいて、被験者の肢体の能力指標となる角度又は距離を算出する。算出部102の具体例が上述の算出部12であり、算出部102は、上述のいずれか1以上の方法又は他の方法により、角度又は距離を算出する。算出部102により算出される被験者の肢体の能力指標は、肩の屈曲運動、伸展運動、外転運動、内転運動、外旋運動、内旋運動、水平伸展運動、及び水平屈曲運動、股の屈曲運動、首の右回旋運動及び左回旋運動、胸腰の屈曲運動、ファンクショナルリーチテストのいずれか1以上の能力指標であってもよいし、非特許文献1に規定されている他の部位の能力指標であってもよい。
判定部103は、取得部101により取得された位置情報又は向き情報に基づいて、被験者の姿勢の適否を判定する。判定部103の具体例が上述の判定部13であり、判定部103は、上述のいずれか1以上の方法又は他の方法により、被験者の姿勢の適否を判定する。被験者の正しい姿勢は、測定対象となる肢体の部位及び運動種に応じてそれぞれ予め決められる。
出力処理部104は、被験者の姿勢の適否の判定結果に対応する状態で、算出部102により算出された角度又は距離を出力する。出力処理部104の出力方法は制限されない。出力処理部104は、角度又は距離を、表示装置5に表示してもよいし、通信ユニット4に接続されるプリンタ装置に印刷させてもよいし、通信ユニット4を介して他のコンピュータに送信してもよい。また、出力処理部104は、角度又は距離を読みあげる音声を出力することもできる。
角度又は距離が出力される状態は、被験者の姿勢の適否の判定結果を反映していれば、どのような状態であってもよい。出力処理部104は、姿勢の適否の判定結果に応じて、角度又は距離の出力に用いる、色、フォント種、線の太さ、背景、又は位置を切り替えることができる。更に、出力処理部104は、異なる音声ボリュームで、角度又は距離を読みあげる音声を出力してもよい。
図24は、第五実施形態における測定装置100の動作例を示すフローチャートである。図24に示されるように、第五実施形態における測定方法は、測定装置100のような少なくとも1つのコンピュータにより実行される。図24に示される各処理工程は、測定装置100が有する上述の各処理モジュールの処理内容と同様であるため、各処理工程の詳細は、適宜省略される。
本実施形態における測定方法は、図24に示されるように、処理工程(S241)、(S242)、(S243)、及び(S244)を含む。
(S241)では、測定装置100は、被験者の肢体における所定部位の位置情報又は向き情報を取得する。
(S242)では、測定装置100は、(S241)で取得された位置情報又は向き情報に基づいて、被験者の肢体の能力指標となる角度又は距離を算出する。
(S243)では、測定装置100は、(S241)で取得された位置情報又は向き情報に基づいて、被験者の姿勢の適否を判定する。
(S244)では、測定装置100は、被験者の姿勢の適否の判定(S243)の結果に対応する状態で、(S242)で算出された角度又は距離を出力する。
第五実施形態では、被験者の肢体における所定部位の位置情報又は向き情報に基づいて、被験者の肢体の能力指標となる角度又は距離が算出され、かつ被験者の姿勢の適否が判定される。そして、算出された角度又は距離が、被験者の姿勢の適否の判定結果に対応する状態で出力される。従って、第五実施形態によれば、出力を見る者に、被験者が不適切な姿勢で測定をしているのか、適正な姿勢で測定しているのかを即座に把握させることができるため、被験者に、正しい姿勢での測定を促すことができる。結果として、第五実施形態によれば、被験者の肢体能力を正確に測定することができる。
なお、上述の説明で用いた複数のフローチャートでは、複数の工程(処理)が順番に記載されているが、本実施形態で実行される工程の実行順序は、その記載の順番に制限されない。本実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態及び補足例は、内容が相反しない範囲で組み合わせることもできるし、上述の各実施形態及び補足例は、各々の独自の構成のみにより形成されてもよい。
上述の内容の一部又は全部は、以下のようにも特定され得る。但し、上述の内容が以下の記載に限定されるものではない。
1. 被験者の肢体における所定部位の位置情報又は向き情報を取得する取得手段と、
前記取得された位置情報又は向き情報に基づいて、前記被験者の肢体の能力指標となる角度又は距離を算出する算出手段と、
前記取得された位置情報又は向き情報に基づいて、前記被験者の姿勢の適否を判定する判定手段と、
前記被験者の姿勢の適否の判定結果に対応する状態で、前記算出された角度又は距離を出力する出力処理手段と、
を備える測定装置。
2. 前記出力処理手段は、前記被験者を含む画像上に、前記角度又は前記距離の算出に用いられる複数の位置情報に対応する複数の所定部位間を結ぶ線分が、前記被験者の姿勢の適否の判定結果に対応する状態で、重畳された表示を出力する、
1.に記載の測定装置。
3. 前記取得手段は、前記被験者の肢体における所定部位の位置情報又は向き情報を順次取得し、
前記算出手段は、前記順次取得される位置情報又は向き情報に基づいて、前記角度又は前記距離を順次算出し、
前記出力処理手段は、前記被験者に関し順次算出される角度又は距離の中で、最大値又は最小値を出力しつつ、前記被験者の姿勢が不適切と判定された際に算出された角度又は距離をその最大値又は最小値の選択候補から除外する、
1.又は2.に記載の測定装置。
4. 前記取得手段は、三次元センサから得られる情報に基づいて、前記被験者の肩及び手の位置情報を取得し、
前記算出手段は、前記取得された位置情報に基づいて、前記肩の位置を端点とし前記三次元センサの視野の垂直下向きの線分と、前記肩の位置と前記手の位置とを結ぶ線分との、前記三次元センサの視野の水平方向又は深度方向と直交する平面上になす角度を、肩の屈曲運動、伸展運動、外転運動、又は内転運動の能力指標として算出する、
1.から3.のいずれか1つに記載の測定装置。
5. 前記取得手段は、三次元センサから得られる情報に基づいて、前記被験者の肘及び手の位置情報を取得し、
前記算出手段は、前記取得された位置情報に基づいて、前記肘の位置を端点とし前記三次元センサの視野の深度方向の逆向きの線分と、前記肘の位置と前記手の位置とを結ぶ線分との、前記三次元センサの視野の垂直方向に直交する平面上になす角度を、肩の外旋運動又は内旋運動の能力指標として算出する、
1.から4.のいずれか1つに記載の測定装置。
6. 前記取得手段は、三次元センサから得られる情報に基づいて、前記被験者の肩及び手の位置情報を取得し、
前記算出手段は、前記取得された位置情報に基づいて、前記肩の位置を端点とし前記三次元センサの視野の水平方向の線分と、前記肩の位置と前記手の位置とを結ぶ線分との、前記三次元センサの視野の垂直方向に直交する平面上になす角度を、肩の水平伸展運動又は水平屈曲運動の能力指標として算出する、
1.から5.のいずれか1つに記載の測定装置。
7. 前記取得手段は、三次元センサから得られる情報に基づいて、前記被験者の腰及び膝の位置情報を取得し、
前記算出手段は、前記取得された位置情報に基づいて、前記腰の位置を端点とし前記三次元センサの視野の垂直下向きの線分と、前記腰の位置と前記膝の位置とを結ぶ線分との、前記三次元センサの視野の水平方向に直交する平面上になす角度を、股の屈曲運動の能力指標として算出する、
1.から6.のいずれか1つに記載の測定装置。
8. 前記取得手段は、三次元センサから得られる情報に基づいて、前記被験者の顔の向き情報及び両肩の位置情報を取得し、
前記算出手段は、前記取得された位置情報に基づいて、前記両肩を結ぶ線分と、前記三次元センサの視野の水平方向との、前記三次元センサの視野の垂直方向に直交する平面上になす角度を、肩の開き角度として算出し、前記取得された向き情報と算出された肩の開き角度とに基づいて、首の右回旋運動又は左回旋運動の能力指標となる角度を算出する、
1.から7.のいずれか1つに記載の測定装置。
9. 前記算出された肩の開き角度が所定角度範囲に含まれるか否かの判定結果を報知する報知手段、
を更に備える8.に記載の測定装置。
10. 前記判定手段は、前記算出された肩の開き角度が所定角度範囲に含まれるか否か、及び前記被験者が前記三次元センサから所定距離範囲内に位置しているか否かを判定する、
8.又は9.に記載の測定装置。
11. 前記取得手段は、三次元センサから得られる前記被験者の下半身の深度画像に基づいて、床面の位置情報及び前記被験者のつま先の位置情報を取得し、取得された位置情報で示されるつま先の位置よりも外側の、前記被験者の深度画像に基づいて、前記被験者の手の指先の位置情報を取得し、
前記算出手段は、前記床面の位置情報及び前記被験者の手の指先の位置情報に基づいて、手の指先から床面までの距離を算出する、
1.から10.のいずれか1つに記載の測定装置。
12. 前記三次元センサから前記被験者を含む画像を連続的に取得する画像取得手段、
を更に備え、
前記出力処理手段は、
前記取得された画像を順次表示しながら、前記取得されたつま先の位置情報に基づいて、表示される画像上の前記被験者のつま先の位置にマークを重畳し、
前記マークの重畳の後の所定イベントの検出により、前記マークを順次表示される画像上に固定的に重畳すると共に、順次表示される画像に含まれる前記被験者の、つま先よりも外側に位置する画像領域に、前記被験者の深度情報に応じた着色を行う、
11.に記載の測定装置。
13. 前記取得手段は、三次元センサから得られる情報に基づいて、前記被験者の全身の深度画像を逐次取得し、その深度画像に基づいて、前記被験者の手の指先の位置情報を逐次取得し、所定イベントの検出時に取得されている手の指先の位置情報を保持し、
前記算出手段は、前記保持される手の指先の位置情報と、新たに取得された手の指先の位置情報とに基づいて、手の指先間の、前記三次元センサの視野の水平方向における距離を算出する、
1.から12.のいずれか1つに記載の測定装置。
14. 少なくとも一つのコンピュータにより実行される測定方法において、
被験者の肢体における所定部位の位置情報又は向き情報を取得し、
前記取得された位置情報又は向き情報に基づいて、前記被験者の肢体の能力指標となる角度又は距離を算出し、
前記取得された位置情報又は向き情報に基づいて、前記被験者の姿勢の適否を判定し、
前記被験者の姿勢の適否の判定結果に対応する状態で、前記算出された角度又は距離を出力する、
ことを含む測定方法。
15. 前記被験者を含む画像上に、前記角度又は前記距離の算出に用いられる複数の位置情報に対応する複数の所定部位間を結ぶ線分が、前記被験者の姿勢の適否の判定結果に対応する状態で、重畳された表示を更に出力する、
ことを含む14.に記載の測定方法。
16. 前記被験者の肢体における所定部位の位置情報又は向き情報を順次取得し、
前記順次取得される位置情報又は向き情報に基づいて、前記角度又は前記距離を順次算出し、
前記被験者に関し順次算出される角度又は距離の中で、最大値又は最小値を出力しつつ、前記被験者の姿勢が不適切と判定された際に算出された角度又は距離をその最大値又は最小値の選択候補から除外する、
ことを更に含む14.又は15.に記載の測定方法。
17. 前記取得は、三次元センサから得られる情報に基づいて、前記被験者の肩及び手の位置情報を取得することを含み、
前記算出は、前記取得された位置情報に基づいて、前記肩の位置を端点とし前記三次元センサの視野の垂直下向きの線分と、前記肩の位置と前記手の位置とを結ぶ線分との、前記三次元センサの視野の水平方向又は深度方向と直交する平面上になす角度を、肩の屈曲運動、伸展運動、外転運動、又は内転運動の能力指標として算出することを含む、
14.から16.のいずれか1つに記載の測定方法。
18. 前記取得は、三次元センサから得られる情報に基づいて、前記被験者の肘及び手の位置情報を取得することを含み、
前記算出は、前記取得された位置情報に基づいて、前記肘の位置を端点とし前記三次元センサの視野の深度方向の逆向きの線分と、前記肘の位置と前記手の位置とを結ぶ線分との、前記三次元センサの視野の垂直方向に直交する平面上になす角度を、肩の外旋運動又は内旋運動の能力指標として算出することを含む、
14.から17.のいずれか1つに記載の測定方法。
19. 前記取得は、三次元センサから得られる情報に基づいて、前記被験者の肩及び手の位置情報を取得することを含み、
前記算出は、前記取得された位置情報に基づいて、前記肩の位置を端点とし前記三次元センサの視野の水平方向の線分と、前記肩の位置と前記手の位置とを結ぶ線分との、前記三次元センサの視野の垂直方向に直交する平面上になす角度を、肩の水平伸展運動又は水平屈曲運動の能力指標として算出することを含む、
14.から18.のいずれか1つに記載の測定方法。
20. 前記取得は、三次元センサから得られる情報に基づいて、前記被験者の腰及び膝の位置情報を取得することを含み、
前記算出は、前記取得された位置情報に基づいて、前記腰の位置を端点とし前記三次元センサの視野の垂直下向きの線分と、前記腰の位置と前記膝の位置とを結ぶ線分との、前記三次元センサの視野の水平方向に直交する平面上になす角度を、股の屈曲運動の能力指標として算出することを含む、
14.から19.のいずれか1つに記載の測定方法。
21. 前記取得は、三次元センサから得られる情報に基づいて、前記被験者の顔の向き情報及び両肩の位置情報を取得することを含み、
前記算出は、前記取得された位置情報に基づいて、前記両肩を結ぶ線分と、前記三次元センサの視野の水平方向との、前記三次元センサの視野の垂直方向に直交する平面上になす角度を、肩の開き角度として算出し、前記取得された向き情報と算出された肩の開き角度とに基づいて、首の右回旋運動又は左回旋運動の能力指標となる角度を算出することを含む、
14.から20.のいずれか1つに記載の測定方法。
22. 前記算出された肩の開き角度が所定角度範囲に含まれるか否かの判定結果を報知する、
ことを更に含む21.に記載の測定方法。
23. 前記判定は、前記算出された肩の開き角度が所定角度範囲に含まれるか否か、及び前記被験者が前記三次元センサから所定距離範囲内に位置しているか否かを判定することを含む、
21.又は22.に記載の測定方法。
24. 前記取得は、三次元センサから得られる前記被験者の下半身の深度画像に基づいて、床面の位置情報及び前記被験者のつま先の位置情報を取得し、取得された位置情報で示されるつま先の位置よりも外側の、前記被験者の深度画像に基づいて、前記被験者の手の指先の位置情報を取得することを含み、
前記算出は、前記床面の位置情報及び前記被験者の手の指先の位置情報に基づいて、手の指先から床面までの距離を算出することを含む、
14.から23.のいずれか1つに記載の測定方法。
25. 前記三次元センサから前記被験者を含む画像を連続的に取得し、
前記取得された画像を順次表示しながら、前記取得されたつま先の位置情報に基づいて、表示される画像上の前記被験者のつま先の位置にマークを重畳し、
前記マークの重畳の後の所定イベントの検出により、前記マークを順次表示される画像上に固定的に重畳すると共に、順次表示される画像に含まれる前記被験者の、つま先よりも外側に位置する画像領域に、前記被験者の深度情報に応じた着色を行う、
ことを更に含む24.に記載の測定方法。
26. 三次元センサから得られる情報に基づいて、前記被験者の全身の深度画像を逐次取得し、
前記取得された深度画像に基づいて、前記被験者の手の指先の位置情報を逐次取得し、
所定イベントの検出時に取得されている手の指先の位置情報を保持する、
ことを更に含み、
前記算出は、前記保持される手の指先の位置情報と、新たに取得された手の指先の位置情報とに基づいて、手の指先間の、前記三次元センサの視野の水平方向における距離を算出することを含む、
14.から25.のいずれか1つに記載の測定方法。
27. 14.から26.のいずれか1つに記載の測定方法を少なくとも一つのコンピュータに実行させるプログラム。
この出願は、2015年6月26日に出願された日本出願特願2015−129019号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (13)

  1. 被験者の肢体における所定部位の位置情報又は向き情報を取得する取得手段と、
    前記取得された位置情報又は向き情報に基づいて、前記被験者の肢体の能力指標となる角度又は距離を算出する算出手段と、
    前記取得された位置情報又は向き情報に基づいて、前記被験者の姿勢の適否を判定する判定手段と、
    前記被験者の姿勢の適否の判定結果に対応する状態で、前記算出された角度又は距離を出力する出力処理手段と、
    を備え
    前記取得手段は、三次元センサから得られる前記被験者の下半身の深度画像に基づいて、床面の位置情報及び前記被験者のつま先の位置情報を取得し、取得された位置情報で示されるつま先の位置よりも外側の、前記被験者の深度画像に基づいて、前記被験者の手の指先の位置情報を取得し、
    前記算出手段は、前記床面の位置情報及び前記被験者の手の指先の位置情報に基づいて、手の指先から床面までの距離を算出し、
    前記三次元センサから前記被験者を含む画像を連続的に取得する画像取得手段をさらに備え、
    前記出力処理手段は、
    前記取得された画像を順次表示しながら、前記取得されたつま先の位置情報に基づいて、表示される画像上の前記被験者のつま先の位置にマークを重畳し、
    前記マークの重畳の後の所定イベントの検出により、前記マークを順次表示される画像上に固定的に重畳すると共に、順次表示される画像に含まれる前記被験者の、つま先よりも外側に位置する画像領域に、前記被験者の深度情報に応じた着色を行う、測定装置。
  2. 前記出力処理手段は、前記被験者を含む画像上に、前記角度又は前記距離の算出に用いられる複数の位置情報に対応する複数の所定部位間を結ぶ線分が、前記被験者の姿勢の適否の判定結果に対応する状態で、重畳された表示を出力する、
    請求項1に記載の測定装置。
  3. 前記取得手段は、前記被験者の肢体における所定部位の位置情報又は向き情報を順次取得し、
    前記算出手段は、前記順次取得される位置情報又は向き情報に基づいて、前記角度又は前記距離を順次算出し、
    前記出力処理手段は、前記被験者に関し順次算出される角度又は距離の中で、最大値又は最小値を出力しつつ、前記被験者の姿勢が不適切と判定された際に算出された角度又は距離をその最大値又は最小値の選択候補から除外する、
    請求項1又は2に記載の測定装置。
  4. 前記取得手段は、三次元センサから得られる情報に基づいて、前記被験者の肩及び手の位置情報を取得し、
    前記算出手段は、前記取得された位置情報に基づいて、前記肩の位置を端点とし前記三次元センサの視野の垂直下向きの線分と、前記肩の位置と前記手の位置とを結ぶ線分との、前記三次元センサの視野の水平方向又は深度方向と直交する平面上になす角度を、肩の屈曲運動、伸展運動、外転運動、又は内転運動の能力指標として算出する、
    請求項1から3のいずれか1項に記載の測定装置。
  5. 前記取得手段は、三次元センサから得られる情報に基づいて、前記被験者の肘及び手の位置情報を取得し、
    前記算出手段は、前記取得された位置情報に基づいて、前記肘の位置を端点とし前記三次元センサの視野の深度方向の逆向きの線分と、前記肘の位置と前記手の位置とを結ぶ線分との、前記三次元センサの視野の垂直方向に直交する平面上になす角度を、肩の外旋運動又は内旋運動の能力指標として算出する、
    請求項1から4のいずれか1項に記載の測定装置。
  6. 前記取得手段は、三次元センサから得られる情報に基づいて、前記被験者の肩及び手の位置情報を取得し、
    前記算出手段は、前記取得された位置情報に基づいて、前記肩の位置を端点とし前記三次元センサの視野の水平方向の線分と、前記肩の位置と前記手の位置とを結ぶ線分との、前記三次元センサの視野の垂直方向に直交する平面上になす角度を、肩の水平伸展運動又は水平屈曲運動の能力指標として算出する、
    請求項1から5のいずれか1項に記載の測定装置。
  7. 前記取得手段は、三次元センサから得られる情報に基づいて、前記被験者の腰及び膝の位置情報を取得し、
    前記算出手段は、前記取得された位置情報に基づいて、前記腰の位置を端点とし前記三次元センサの視野の垂直下向きの線分と、前記腰の位置と前記膝の位置とを結ぶ線分との、前記三次元センサの視野の水平方向に直交する平面上になす角度を、股の屈曲運動の能力指標として算出する、
    請求項1から6のいずれか1項に記載の測定装置。
  8. 前記取得手段は、三次元センサから得られる情報に基づいて、前記被験者の顔の向き情報及び両肩の位置情報を取得し、
    前記算出手段は、前記取得された位置情報に基づいて、前記両肩を結ぶ線分と、前記三次元センサの視野の水平方向との、前記三次元センサの視野の垂直方向に直交する平面上になす角度を、肩の開き角度として算出し、前記取得された向き情報と算出された肩の開き角度とに基づいて、首の右回旋運動又は左回旋運動の能力指標となる角度を算出する、
    請求項1から7のいずれか1項に記載の測定装置。
  9. 前記算出された肩の開き角度が所定角度範囲に含まれるか否かの判定結果を報知する報知手段、
    を更に備える請求項8に記載の測定装置。
  10. 前記判定手段は、前記算出された肩の開き角度が所定角度範囲に含まれるか否か、及び前記被験者が前記三次元センサから所定距離範囲内に位置しているか否かを判定する、
    請求項8又は9に記載の測定装置。
  11. 前記取得手段は、三次元センサから得られる情報に基づいて、前記被験者の全身の深度画像を逐次取得し、その深度画像に基づいて、前記被験者の手の指先の位置情報を逐次取得し、所定イベントの検出時に取得されている手の指先の位置情報を保持し、
    前記算出手段は、前記保持される手の指先の位置情報と、新たに取得された手の指先の位置情報とに基づいて、手の指先間の、前記三次元センサの視野の水平方向における距離を算出する、
    請求項1から10のいずれか1項に記載の測定装置。
  12. 少なくとも一つのコンピュータにより実行される測定方法において、
    被験者の肢体における所定部位の位置情報又は向き情報を取得し、
    前記取得された位置情報又は向き情報に基づいて、前記被験者の肢体の能力指標となる角度又は距離を算出し、
    前記取得された位置情報又は向き情報に基づいて、前記被験者の姿勢の適否を判定し、
    前記被験者の姿勢の適否の判定結果に対応する状態で、前記算出された角度又は距離を出力し、
    前記取得は、三次元センサから得られる前記被験者の下半身の深度画像に基づいて、床面の位置情報及び前記被験者のつま先の位置情報を取得し、取得された位置情報で示されるつま先の位置よりも外側の、前記被験者の深度画像に基づいて、前記被験者の手の指先の位置情報を取得することを含み、
    前記算出は、前記床面の位置情報及び前記被験者の手の指先の位置情報に基づいて、手の指先から床面までの距離を算出することを含み、
    前記三次元センサから前記被験者を含む画像を連続的に取得し、
    前記取得された画像を順次表示しながら、前記取得されたつま先の位置情報に基づいて、表示される画像上の前記被験者のつま先の位置にマークを重畳し、
    前記マークの重畳の後の所定イベントの検出により、前記マークを順次表示される画像上に固定的に重畳すると共に、順次表示される画像に含まれる前記被験者の、つま先よりも外側に位置する画像領域に、前記被験者の深度情報に応じた着色を行う、ことを含む測定方法。
  13. 請求項12に記載の測定方法を少なくとも一つのコンピュータに実行させるプログラム。
JP2017524729A 2015-06-26 2016-05-12 測定装置及び測定方法 Active JP6482103B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015129019 2015-06-26
JP2015129019 2015-06-26
PCT/JP2016/064139 WO2016208291A1 (ja) 2015-06-26 2016-05-12 測定装置及び測定方法

Publications (2)

Publication Number Publication Date
JPWO2016208291A1 JPWO2016208291A1 (ja) 2018-03-22
JP6482103B2 true JP6482103B2 (ja) 2019-03-13

Family

ID=57585000

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017524729A Active JP6482103B2 (ja) 2015-06-26 2016-05-12 測定装置及び測定方法

Country Status (6)

Country Link
US (1) US20180153445A1 (ja)
EP (1) EP3315068B1 (ja)
JP (1) JP6482103B2 (ja)
CN (1) CN107708555B (ja)
HK (1) HK1246622A1 (ja)
WO (1) WO2016208291A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018156809A1 (en) * 2017-02-24 2018-08-30 Masimo Corporation Augmented reality system for displaying patient data
EP3585254B1 (en) 2017-02-24 2024-03-20 Masimo Corporation Medical device cable and method of sharing data between connected medical devices
US10932705B2 (en) 2017-05-08 2021-03-02 Masimo Corporation System for displaying and controlling medical monitoring data
JP6940139B2 (ja) * 2017-06-28 2021-09-22 Necソリューションイノベータ株式会社 身体特性分析装置、身体特性分析方法、及びプログラム
JP7178786B2 (ja) * 2018-03-06 2022-11-28 株式会社 Mtg 運動制御システム
EP3810015A1 (en) * 2018-06-19 2021-04-28 Tornier, Inc. Mixed-reality surgical system with physical markers for registration of virtual models
WO2020021873A1 (ja) * 2018-07-24 2020-01-30 日本電気株式会社 処理装置、処理方法及びプログラム
KR20200080047A (ko) * 2018-12-26 2020-07-06 삼성전자주식회사 진정 사용자의 손을 식별하는 방법 및 이를 위한 웨어러블 기기
KR20200095195A (ko) * 2019-01-31 2020-08-10 (주)유인케어 Rgb-d 카메라를 이용한 재활훈련 시스템 및 방법
JP2020174910A (ja) * 2019-04-18 2020-10-29 株式会社Sportip 運動支援システム
KR102108405B1 (ko) * 2019-08-23 2020-05-08 박하연 신체정보, 자세정보 및 관절가동범위 측정 시스템 및 그 방법
US10932985B1 (en) * 2020-03-14 2021-03-02 Ryan Whelton Systems and methods of positioning a body of a user during stimulation for therapeutic effects
CN111920416B (zh) * 2020-07-13 2024-05-03 张艳 一种手部康复训练效果测量方法、存储介质、终端及系统
JP7332550B2 (ja) * 2020-08-18 2023-08-23 トヨタ自動車株式会社 動作状態監視システム、訓練支援システム、動作状態監視方法およびプログラム
WO2022207030A1 (de) * 2021-04-01 2022-10-06 Menger Joern Finger-boden-abstandstestvorrichtung für eine beweglichkeitsmessung an personen sowie verwendung und beweglichkeitsmessverfahren
CN115462761B (zh) * 2022-09-29 2024-02-23 中国医学科学院北京协和医院 一种身体平衡监测方法及系统
JP7366299B1 (ja) * 2023-03-01 2023-10-20 株式会社エクサウィザーズ 情報処理方法、コンピュータプログラム及び情報処理装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002000584A (ja) * 2000-06-16 2002-01-08 Matsushita Electric Ind Co Ltd 関節可動域検査訓練システム
US20060293617A1 (en) * 2004-02-05 2006-12-28 Reability Inc. Methods and apparatuses for rehabilitation and training
JP4971808B2 (ja) * 2007-01-17 2012-07-11 パナソニック株式会社 歩行動作分析装置
US20140371633A1 (en) * 2011-12-15 2014-12-18 Jintronix, Inc. Method and system for evaluating a patient during a rehabilitation exercise
DE102012202990A1 (de) * 2012-02-28 2013-08-29 Sportmed Ag Vorrichtung und Verfahren zum Vermessen und Befunden von Körperteil- und Extremitätenbeweglichkeiten
CN102824176B (zh) * 2012-09-24 2014-06-04 南通大学 一种基于Kinect传感器的上肢关节活动度测量方法
JP2014068714A (ja) * 2012-09-28 2014-04-21 Kitasato Institute 関節角度測定システム
CA2893811C (en) * 2012-12-06 2021-03-23 Gregory John Gallagher Human breathing monitor
WO2014104360A1 (ja) * 2012-12-28 2014-07-03 株式会社東芝 動作情報処理装置及び方法
JP6334925B2 (ja) * 2013-01-18 2018-05-30 キヤノンメディカルシステムズ株式会社 動作情報処理装置及び方法
JP6188332B2 (ja) * 2013-01-21 2017-08-30 東芝メディカルシステムズ株式会社 医用画像表示装置及びプログラム
JP2015061579A (ja) * 2013-07-01 2015-04-02 株式会社東芝 動作情報処理装置
JP6183906B2 (ja) * 2013-08-28 2017-08-23 日本電信電話株式会社 歩容推定装置とそのプログラム、転倒危険度算出装置とそのプログラム
CN104537670B (zh) * 2014-12-31 2017-08-04 深圳泰山体育科技股份有限公司 一种柔韧性测试方法及系统

Also Published As

Publication number Publication date
EP3315068A1 (en) 2018-05-02
WO2016208291A1 (ja) 2016-12-29
CN107708555B (zh) 2020-10-27
HK1246622A1 (zh) 2018-09-14
EP3315068A4 (en) 2019-01-09
CN107708555A (zh) 2018-02-16
EP3315068B1 (en) 2020-10-21
JPWO2016208291A1 (ja) 2018-03-22
US20180153445A1 (en) 2018-06-07

Similar Documents

Publication Publication Date Title
JP6482103B2 (ja) 測定装置及び測定方法
KR101930652B1 (ko) 보행 해석 시스템 및 기록 매체에 기록된 컴퓨터 프로그램
US20180333084A1 (en) Joint movement analysis system and method; knee-joint dynamic evaluation method and system
JP6881755B2 (ja) 視線検出校正方法、システム、及びコンピュータプログラム
US20230005161A1 (en) Information processing apparatus and determination result output method
US20210267494A1 (en) Analysis system and method of joint movement
Lim et al. Camera-based hand tracking using a mirror-based multi-view setup
Ono et al. Dynamic motion tracking based on point cloud matching with personalized body segmentation
US11694360B2 (en) Calibrating 3D motion capture system for skeletal alignment using x-ray data
KR101788960B1 (ko) 관절 가동성 자동측정장치 및 이를 이용한 관절 가동성 자동측정방법
KR102310964B1 (ko) 근골격계 증상을 진단하기 위한 전자 장치, 방법, 및 시스템
Bonnechère et al. Can the kinectTM sensors be used for motion analysis?
CN108885087A (zh) 测量装置、测量方法和计算机可读记录介质
KR101398193B1 (ko) 캘리브레이션 장치 및 방법
TWI764393B (zh) 壓力織物的製造方法
CN115937969A (zh) 仰卧起坐考核中目标人物的确定方法、装置、设备及介质
JP6465419B2 (ja) 測定装置及び測定方法
JP6482102B2 (ja) 測定装置及び測定方法
Janik et al. Validity of a computer postural analysis to estimate 3-dimensional rotations and translations of the head from three 2-dimensional digital images
KR20200063378A (ko) 상호 보완형 복합센서를 이용한 인체 동작인식장치 및 인체 동작인식방법
RU2732735C1 (ru) Способ контроля положения и дыхания пациента с применением набора инфракрасных датчиков глубины
CN113298051B (zh) 基于感知地毯标定的人体形体精确测量系统及方法
KR102502438B1 (ko) Ar 기반의 신장 측정 방법 및 이를 이용한 성장 상태 측정 시스템
WO2022209286A1 (ja) 判定装置
KR101663297B1 (ko) 관절 운동학을 기반으로 하는 모션 캡쳐 장치 및 그 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181023

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190115

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190207

R150 Certificate of patent or registration of utility model

Ref document number: 6482103

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150