JP2024542010A - スケルトンモデルを活用した健康状態評価方法及び装置 - Google Patents

スケルトンモデルを活用した健康状態評価方法及び装置 Download PDF

Info

Publication number
JP2024542010A
JP2024542010A JP2024525530A JP2024525530A JP2024542010A JP 2024542010 A JP2024542010 A JP 2024542010A JP 2024525530 A JP2024525530 A JP 2024525530A JP 2024525530 A JP2024525530 A JP 2024525530A JP 2024542010 A JP2024542010 A JP 2024542010A
Authority
JP
Japan
Prior art keywords
user
skeleton
standard
action
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2024525530A
Other languages
English (en)
Other versions
JP7808819B2 (ja
Inventor
ヒョン ハン、スン
ウク パク、ヨン
ジョン チェ、ムン
ヨン ムン、ソ
ヘ チェ、ソン
ソン ソン、ホン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rowan Inc
Ajou University Industry Academic Cooperation Foundation
Inha University Research and Business Foundation
Original Assignee
Rowan Inc
Ajou University Industry Academic Cooperation Foundation
Inha University Research and Business Foundation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rowan Inc, Ajou University Industry Academic Cooperation Foundation, Inha University Research and Business Foundation filed Critical Rowan Inc
Publication of JP2024542010A publication Critical patent/JP2024542010A/ja
Application granted granted Critical
Publication of JP7808819B2 publication Critical patent/JP7808819B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
    • A61B5/1124—Determining motor skills
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient; User input means
    • A61B5/742—Details of notification to user or communication with user or patient; User input means using visual displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient; User input means
    • A61B5/7465—Arrangements for interactive communication between patient and care services, e.g. by using a telephone network
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
    • A61B5/1118—Determining activity level
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G06T2207/20044—Skeletonization; Medial axis transform
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/033—Recognition of patterns in medical or anatomical images of skeletal patterns

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Physiology (AREA)
  • Data Mining & Analysis (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Neurology (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Psychiatry (AREA)
  • Neurosurgery (AREA)
  • Psychology (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Hospice & Palliative Care (AREA)
  • Nursing (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)

Abstract

Figure 2024542010000001
健康管理サーバによって行われる、スケルトンモデルを活用した健康状態評価方法を提供する。ユーザ装置に、トレーナが標準動作を行う標準動作画像を提供するステップ；ユーザ装置から、ユーザが前記標準動作を真似するユーザ動作に対するユーザ動作画像を受信するステップ；前記標準動作画像と前記ユーザ動作画像とを比較して標準動作とユーザ動作との間の類似度を算出するステップ；及び、算出された類似度に基づいて前記ユーザの健康状態を評価するステップとを含む。
【選択図】図９

Description

実施形態は健康状態を評価するための方法及び装置に関し、より具体的には、標準動作モデルのスケルトンモデルとユーザのスケルトンモデルの動作情報とを比較して認知障害、体力消耗程度などを評価する方法及び装置に関する。
非対面文化が拡散しながら、遠隔医療に対するニーズが高まっている。その中で、認知障害などの神経系関連疾患の臨床的判断のためには、ユーザの動作を目視で確認することが必要である。しかし、病院の来院が減少しながら、これに伴って検査と治療が減少する問題がある。
一方、運動施設に訪問せずに自宅で運動するホームトレーニングが非対面文化と相まって流行しており、関連産業が発展している。ホームトレーニングサービスの品質向上で様々な運動に触れる機会が増し、持続的な運動に対する動機が与えられている。しかし、前述したように神経系疾患を判断するために来院することを代替するサービスは提示されていない。
このような問題を解決するために、各家庭で神経系関連疾患を判断するための動作を行い、その画像を医療機関に伝送することで、健康状態を確認できるサービスが必要である。
韓国特許公開第１０－２０２０－００７３７６５号公報（２０２０．０６．２４）
本明細書はユーザ動作と標準動作とを比較してユーザの動作模擬能力を評価することを一目的とする。
本明細書はユーザ動作と標準動作とを比較してユーザの認知障害又は体力消耗程度を評価することを他の目的とする。
本明細書はユーザ動作と標準動作のスケルトンモデルを用いて２つの動作を比較することをまた他の目的とする。
本明細書は複数のユーザに対する動作とその分析結果を一つの画面に構成することで、迅速な臨床的判断を可能にすることをまた他の目的とする。
本明細書は標準動作別の主要身体部位に対して重みを適用して２つの動作間の類似度をより正確に判別することを更に他の目的とする。
本明細書の解決しようとする課題は前述したものに限定されず、以下に説明する発明の実施形態によって導き出すことができる様々な事項に拡張することができる。
本明細書の一実施形態に係るスケルトンモデルを活用した健康状態評価方法は健康管理サーバによって行われるものであり、前記方法は、ユーザ装置に、トレーナが標準動作を行う標準動作画像を提供するステップ；ユーザ装置から、ユーザが前記標準動作を真似するユーザ動作に対するユーザ動作画像を受信するステップ；前記標準動作画像と前記ユーザ動作画像とを比較して標準動作とユーザ動作との間の類似度を算出するステップ；及び算出された類似度に基づいて前記ユーザの健康状態を評価するステップを含む。
一実施形態において、前記類似度を算出するステップは、前記標準動作画像から標準動作を行うトレーナに対するトレーナスケルトン動作モデルを獲得するステップ；前記ユーザ動作画像からユーザ動作を行うユーザに対するユーザスケルトン動作モデルを獲得するステップ；及び前記トレーナスケルトン動作モデルと前記ユーザスケルトン動作モデルの互いに対応する身体部位別の特徴点を比較して前記類似度を算出するステップを含み、前記身体部位別の特徴点は前記スケルトン動作モデルを構成するノードであり得る。
一実施形態において、前記身体部位別の特徴点を比較して類似度を算出するステップは、前記標準動作に対する身体部位別の重みをデータベースから取得するステップ；及び前記身体部位別の重みを前記類似度算出に適用するステップを含むことができる。
一実施形態において、前記健康状態を評価するステップは、前記ユーザの体力消耗程度又は認知障害レベルを評価するものであり、前記認知障害レベルは、標準動作別の認知障害時に現れる行動特徴データに基づいて評価することができる。
一実施形態において、前記体力消耗程度は、ユーザスケルトン動作モデルの身体部位別の特徴点における移動軌跡の合計；及び既に定義された身体部位別の移動量に応じた体力消耗評価の重みに基づいて決定することができる。
一実施形態において、複数のユーザ装置から、複数のユーザのそれぞれに対するユーザ動作画像を受信するステップ；受信された複数のユーザ動作画像をディスプレー装置に表示するステップ；受信された複数のユーザ動作画像における複数のユーザ動作と前記標準動作との類似度をそれぞれ算出するステップ；及び算出された類似度に基づいて前記ディスプレー装置に表示される複数のユーザ動作画像のうち少なくとも１つをハイライトするステップを含むことができる。
一実施形態において、前記ハイライトするステップは、複数のユーザ動作画像のうち算出された類似度が所定の基準より低い又は高い範囲に属する所定数のユーザ動作画像をハイライト表示することができる。
一実施形態において、前記ハイライトするステップは、前記複数のユーザ動作同士のスケルトン動作モデルを比較してユーザ間の類似度を算出するステップ；算出されたユーザ間の類似度に基づいて複数のユーザ動作画像をグループ化するステップ；及びグループ化したユーザ動作画像を区別して表示するステップを含むことができる。
一実施形態において、前記複数のユーザ動作同士のスケルトン動作モデルを比較してユーザ間の類似度を算出するステップは、前記標準動作に対する身体部位別の重みを適用しないことができる。
本明細書の一実施形態に係るコンピュータで読み取り可能な記録媒体に格納されたプログラムであって、前述した方法を実行するための命令語で構成されることができる。
本明細書はユーザ動作と標準動作とを比較してユーザの動作模擬能力を評価することができる。
本明細書はユーザ動作と標準動作とを比較してユーザの認知障害又は体力消耗程度を評価することができる。
本明細書はユーザ動作と標準動作のスケルトンモデルを用いて２つの動作を比較することができる。
本明細書は複数のユーザに対する動作とその分析結果を一つの画面に構成することで、迅速な臨床的判断を可能にすることができる。
本明細書は標準動作別の主要身体部位に対して重みを適用して２つの動作間の類似度をより正確に判別することができる。
本明細書の効果は前述した事項に限定されず、以下の発明の実施形態についての詳細な説明から導き出すことができる様々な内容に拡張することができる。
本明細書の一実施形態に係るシステムの動作環境の一例を示す図である。 本明細書の一実施形態におけるコンピューティング装置２００の内部構成を説明するためのブロック図である。 本明細書の一実施形態に係るスケルトンモデルを活用した健康状態評価方法が行われるシステム環境を示す。 本明細書の一実施形態に係り、ユーザが標準動作によって姿勢をとる場面を示す。 本明細書の一実施形態に係り、標準動作画像及びユーザ動作画像からトレーナ５００及びユーザ４００のそれぞれに対するスケルトンモデルが抽出された結果を示す。 本明細書で類似度を算出するためにトレーナスケルトン動作モデルとユーザスケルトン動作モデルとを比較する例を示す図である。 本明細書で類似度を算出するためにトレーナスケルトン動作モデルとユーザスケルトン動作モデルとを比較する例を示す図である。 本明細書で類似度を算出するためにトレーナスケルトン動作モデルとユーザスケルトン動作モデルとを比較する例を示す図である。 本明細書の一実施形態に係り、身体部位別の重みを説明するための図である。 本明細書の一実施形態に係り、ノードによって形成される身体部位（姿勢）の角度を示す。 本明細書の一実施形態に係り、健康管理サーバ３００によって提供される複数のユーザ動作画像とその分析結果を示す。 本明細書の一実施形態における標準動作に対する類似度の低いユーザ動作画像をハイライトする例を示す。 本明細書の一実施形態に係り、関連性のある２つ以上のユーザ動作画像をグループ化して表示する例を示す。 本明細書の一実施形態に係るスケルトンモデルを活用した健康状態評価方法のフローチャートである。
本明細書の実施形態を説明する際に、公知の構成又は機能についての具体的な説明が本明細書の実施形態の要旨を曖昧にすることがあると判断される場合は、その詳細な説明は省略する。なお、図面において本明細書の実施形態についての説明と関係のない部分は省略し、類似した部分については類似した符号をつけた。
本明細書の実施形態において、ある構成要素が他の構成要素と「連結」、「結合」又は「接続」されていると言及する際、これは直接的な連結関係だけでなく、その中間に他の構成要素が介在する間接的な連結関係も含むことができる。更に、ある構成要素が他の構成要素を「含む」又は「有する」と 言及する際、これは特に反対の記載がない限り、他の構成要素を排除するものではなく、また他の構成要素を更に含むこともできることを意味する。
本明細書の実施形態において、第１、第２などの用語はある構成要素を他の構成要素と区別する目的でのみ使用され、特に言及しない限り、構成要素の間の順序や重要度などを限定しない。従って、本明細書の実施形態の範囲内で実施形態における第１構成要素は他の実施形態で第２構成要素と称することもでき、同様に実施形態における第２構成要素を他の実施形態では第１構成要素と称することもできる。
本明細書の実施形態において、互いに区別される構成要素はそれぞれの特徴を明確に説明するためのものであり、構成要素が必ずしも分離されることを意味するものではない。即ち、複数の構成要素が統合して１つのハードウェア又はソフトウェア単位でなることもでき、１つの構成要素が分散して複数のハードウェア又はソフトウェア単位でなることもできる。従って、別に言及しなくても、このように統合又は分散した実施形態も本明細書の実施形態の範囲に含まれる。
本明細書におけるネットワークは有無線ネットワークの両方を含む概念であり得る。この時、ネットワークとはデバイスとシステム及びデバイス相互間でデータ交換を行うことができる通信網を意味し得、特定のネットワークに限定されるものではない。
本明細書に記載の実施形態は全てがハードウェアであるか、部分的にハードウェアであり部分的にソフトウェアであるか、又は全てがソフトウェアである側面を有することができる。本明細書における「部（ｕｎｉｔ）」、「装置」又は「システム」などはハードウェア、ハードウェアとソフトウェアの組み合わせ、又はソフトウェアなどのコンピュータ関連エンティティ（ｅｎｔｉｔｙ）を称する。例えば、本明細書における部、モジュール、装置又はシステムなどは実行中のプロセス、プロセッサ、オブジェクト（ｏｂｊｅｃｔ）、実行ファイル（ｅｘｅｃｕｔａｂｌｅ）、実行スレッド（ｔｈｒｅａｄ ｏｆ ｅｘｅｃｕｔｉｏｎ）、プログラム（ｐｒｏｇｒａｍ）、及び／又はコンピュータ（ｃｏｍｐｕｔｅｒ）であり得るが、これに限定されるものではない。例えば、コンピュータで実行中のアプリケーション（ａｐｐｌｉｃａｔｉｏｎ）及びコンピュータの両方が、全て本明細書における部、モジュール、装置、又はシステムなどに該当し得る。
なお、本明細書において、デバイスはスマートフォン、タブレットＰＣ、ウェアラブルデバイス、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）などのようなモバイルデバイスだけでなく、ＰＣやディスプレイ機能を備えた家電のように固定されたデバイスであり得る。また、一例として、デバイスは車内のクラスタ又はＩｏＴ（Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ）デバイスであり得る。即ち、本明細書におけるデバイスはアプリケーション動作が可能な機器を称することができ、特定のタイプに限定されない。以下では、説明の便宜上、アプリケーションが動作する機器をデバイスと称する。
本明細書においてネットワークの通信方式は限定されず、各構成要素間の連結が同じネットワーク方式で連結されないこともあり得る。ネットワークは、通信網（一例として、移動通信網、有線インターネット、無線インターネット、放送網、衛星網など）を活用する通信方式だけでなく、機器間の近距離無線通信も含むことができる。例えば、ネットワークは、オブジェクトとオブジェクトがネットワーキングすることができる全ての通信方法を含むことができ、有線通信、無線通信、３Ｇ、４Ｇ、５Ｇ、又はそれ以外の方法に限定されない。例えば、有線及び／又はネットワークは、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＭＡＮ（Ｍｅｔｒｏｐｏｌｉｔａｎ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＧＳＭ（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｎｅｔｗｏｒｋ）、ＥＤＧＥ（Ｅｎｈａｎｃｅｄ Ｄａｔａ ＧＳＭ Ｅｎｖｉｒｏｎｍｅｎｔ）、ＨＳＤＰＡ（Ｈｉｇｈ Ｓｐｅｅｄ Ｄｏｗｎｌｉｎｋ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）、Ｗ－ＣＤＭＡ（Ｗｉｄｅｂａｎｄ Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）、ＴＤＭＡ（Ｔｉｍｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）、ブルートゥース（登録商標）（Ｂｌｕｅｔｏｏｔｈ）、ＺｉｇＢｅｅ（Ｚｉｇｂｅｅ）、ワイ・ファイ（Ｗｉ－Ｆｉ）、ＶｏＩＰ（Ｖｏｉｃｅ ｏｖｅｒ Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）、ＬＴＥ Ａｄｖａｎｃｅｄ、ＩＥＥＥ８０２．１６ｍ、ＷｉｒｅｌｅｓｓＭＡＮ－Ａｄｖａｎｃｅｄ、ＨＳＰＡ＋、３ＧＰＰ（登録商標） Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ （ＬＴＥ）、Ｍｏｂｉｌｅ ＷｉＭＡＸ （ＩＥＥＥ ８０２．１６ｅ）、ＵＭＢ （ｆｏｒｍｅｒｌｙ ＥＶ－ＤＯ Ｒｅｖ． Ｃ）、 Ｆｌａｓｈ－ＯＦＤＭ、ｉＢｕｒｓｔ ａｎｄ ＭＢＷＡ （ＩＥＥＥ ８０２．２０） ｓｙｓｔｅｍｓ、ＨＩＰＥＲＭＡＮ、 Ｂｅａｍ－Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ （ＢＤＭＡ）、Ｗｉ－ＭＡＸ（Ｗｏｒｌｄ Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ ｆｏｒ Ｍｉｃｒｏｗａｖｅ Ａｃｃｅｓｓ）、超音波活用通信からなる群から選択される１つ以上の通信方法による通信ネットワークを称することができるが、これに限定されるものではない。
様々な実施形態で説明する構成要素が必ずしも必須である構成要素を意味するものではなく、一部は選択的は構成要素であり得る。従って、実施形態で説明する構成要素のサブセットで構成される実施形態も、本明細書の実施形態の範囲に含まれる。なお、様々な実施形態で説明する構成要素に追加的に他の構成要素を含む実施形態も本明細書の実施形態の範囲に含まれる。
以下では、図面を参照して本明細書の実施形態について詳細に説明する。
図１は本明細書の一実施形態に係るシステムの動作環境の一例を示す図である。図１を参照すると、ユーザデバイス１１０、１つ以上のサーバ１２０、１３０、１４０がネットワーク１を通じて連結されている。図１は本明細書を説明するための一例であり、ユーザデバイスの数やサーバの数は図１のように限定されるものではない。
ユーザデバイス１１０はコンピュータシステムで実現される固定型端末でも移動型端末でもよい。ユーザデバイス１１０は例えば、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、携帯電話、ナビゲーション、コンピュータ、ノートブック、デジタル放送用端末、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｐｌａｙｅｒ）、タブレットＰＣ、ゲームコンソール（ｇａｍｅ ｃｏｎｓｏｌｅ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ）、スマートリング、ＩｏＴ（ｉｎｔｅｒｎｅｔ ｏｆ ｔｈｉｎｇｓ）デバイス、ＶＲ（ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ）デバイス、ＡＲ（ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）デバイスなどがある。一例として、実施形態においてユーザデバイス１１０は実質的に無線又は有線通信方式を用いてネットワーク１を通じて他のサーバ１２０～１４０と通信することができる様々な物理的なコンピュータシステムのうち１つを意味することができる。
各サーバはユーザデバイス１１０とネットワーク１を通じて通信して命令、コード、ファイル、コンテンツ、サービスなどを提供するコンピュータ装置又は複数のコンピュータ装置で実現することができる。例えば、サーバはネットワーク１を通じて接続したユーザデバイス１１０にそれぞれのサービスを提供するシステムであり得る。より具体的な例として、サーバはユーザデバイス１１０にインストールされて駆動されるコンピュータプログラムとしてのアプリケーションを通じて、当該アプリケーションが目的とするサービス（一例として、情報提供など）をユーザデバイス１１０に提供することができる。他の例として、サーバは前述したアプリケーションのインストール及び駆動のためのファイルをユーザデバイス１１０に配布し、ユーザ入力情報を受信して対応するサービスを提供することができる。
図２は本明細書の一実施形態におけるコンピューティング装置２００の内部構成を説明するためのブロック図である。このようなコンピューティング装置２００は図１を参照して前述した１つ又は複数のユーザデバイス１１０－１、１１０－２、又はサーバ１２０－１４０に適用することができ、各装置及びサーバは一部の構成要素を追加又は除外して構成することで、同一又は同様の内部構成を有することができる。
図２を参照すると、コンピューティング装置２００はメモリ２１０、プロセッサ２２０、通信モジュール２３０、及び送受信部２４０を含むことができる。メモリ２１０は非一時的なコンピュータ読み取り可能な記録媒体であり、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、ディスクドライブ、ＳＳＤ（ｓｏｌｉｄ ｓｔａｔｅ ｄｒｉｖｅ）、フラッシュメモリ（ｆｌａｓｈ ｍｅｍｏｒｙ）などのような非消滅性大容量記憶装置（ｐｅｒｍａｎｅｎｔ ｍａｓｓ ｓｔｏｒａｇｅ ｄｅｖｉｃｅ）を含むことができる。ここで、ＲＯＭ、ＳＳＤ、フラッシュメモリ、ディスクドライブなどのような非消滅性大容量記憶装置はメモリ２１０とは区分される別の永久記憶装置として前述した装置や サーバに含まれてもよい。また、メモリ２１０にはオペレーティングシステムと少なくとも１つのプログラムコード（一例として、ユーザデバイス１１０などにインストールされて駆動されるブラウザや特定サービスを提供するためにユーザデバイス１１０などにインストールされたアプリケーションなどのためのコード）とが格納されることができる。これらのソフトウェア構成要素はメモリ２１０とは別のコンピュータで読み取り可能な記録媒体からロードすることができる。このような別のコンピュータで読み取り可能な記録媒体はフロッピードライブ、ディスク、テープ、ＤＶＤ／ＣＤ－ＲＯＭドライブ、メモリカードなどのコンピュータで読み取り可能な記録媒体を含むことができる。
他の実施形態においてソフトウェア構成要素はコンピュータで読み取り可能な記録媒体ではなく通信モジュール２３０を通じてメモリ２１０にロードすることもできる。例えば、少なくとも１つのプログラムは開発者又はアプリケーションのインストールファイルを配布するファイル配布システム（一例として、前述したサーバ）がネットワーク１を通じて提供するファイルによってインストールされるコンピュータプログラム（一例として、前述したアプリケーション）に基づいてメモリ２１０にロードすることができる。
プロセッサ２２０は基本的な算術、論理、及び入出力演算を行うことで、コンピュータプログラムの命令を処理するように構成することができる。命令はメモリ２１０又は通信モジュール２３０によってプロセッサ２２０に提供することができる。例えば、プロセッサ２２０はメモリ２１０のような記録装置に格納されたプログラムコードによって受信される命令を実行するように構成することができる。
通信モジュール２３０はネットワーク１を通じてユーザデバイス１１０とサーバ１２０～１４０とが互いに通信する機能を提供することができ、デバイス１１０及び／又はサーバ１２０～１４０のそれぞれが他の電子機器と通信するための機能を提供することができる。
送受信部２４０は外部入力／出力装置（図示せず）とのインターフェースのための手段であり得る。例えば、外部入力装置はキーボード、マウス、マイクロホン、カメラなどの装置を含み、外部出力装置はディスプレイ、スピーカー、ハプティックフィードバックデバイス（ｈａｐｔｉｃ ｆｅｅｄｂａｃｋ ｄｅｖｉｃｅ）などのような装置を含むことができる。
更に、他の実施形態においてコンピューティング装置２００は適用される装置の 特性に応じて図２の構成要素よりも多くの構成要素を含むことができる。例えば、コンピューティング装置２００がユーザデバイス１１０に適用される場合、前述した入出力装置の少なくとも一部を含むように実現するか、又はトランシーバ（ｔｒａｎｓｃｅｉｖｅｒ）、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）モジュール、カメラ、各種センサ、データベースなどのような他の構成要素を更に含むことができる。より具体的な例として、ユーザデバイスがスマートフォンである場合、一般にスマートフォンが含んでいる加速度センサやジャイロセンサ、カメラモジュール、各種物理的なボタン、タッチパネルを用いたボタン、入出力ポート、振動のためのバイブレータなどの様々な構成要素を更に含むように実現することができる。
図３は本明細書の一実施形態に係るスケルトンモデルを活用した健康状態評価方法が行われるシステム環境を示す。図３を参照すると、健康管理サーバ３００は１つ以上のユーザ装置３１０～３３０と通信することができ、健康管理サーバ３００は医療機関サーバ３０１とも通信することができる。図３の健康管理サーバ３００、ユーザ装置３１０～３３０、及び医療機関サーバ３０１は図２で説明したコンピューティング装置として実現することができる。更に、図３には３つのユーザ装置が示されているが、これより少なくても多くてもよく、これに限定されるものではない。
一実施形態において、健康管理サーバ３００はユーザ装置に様々な標準動作画像を提供し、ユーザ装置からユーザ動作画像を受信して分析した後のユーザ動作に基づいて健康情報を生成してユーザ装置又は医療機関サーバに提供することができる。又は、健康管理サーバ３００は一次的にユーザ動作画像を加工又は分析して医療機関サーバ３０１に提供し、医療機関サーバから臨床判断情報を受信してユーザ動作画像を追加的に分析することもできる。
一実施形態において、健康管理サーバ３００はトレーナが標準動作を行う標準動作画像をユーザ装置３１０に提供することができる。以下では、１つのユーザ装置３１０を例として説明するが、他のユーザ装置についても同じ手順を行うことができる。
図４は本明細書の一実施形態に係り、ユーザが標準動作によって姿勢をとる場面を示す。図４を参照すると、ユーザ４００はユーザ装置４０１を用いてトレーナ５００が標準動作を行う標準動作画像５１０に応じて行うことができる。このようなユーザ４００の行為はユーザ装置４０１のカメラ４０１ｃによってキャプチャして画像として記録することができる。
一例においてカメラ４０１ｃによってキャプチャする画像はカラー画像、深度画像、色深度画像など様々な形態であり得る。従って、カメラ４０１ｃは深度カメラを含むか、ステレオカメラで構成されてもよいが、これに限定されるものではない。
このような画像を本明細書ではユーザ動作画像４１０と称する。ユーザ動作画像４１０はユーザ装置のディスプレー部に表示しても表示しなくてもよい。
前述した標準動作画像の再生とユーザ動作の撮影は健康管理サーバ３００から提供するアプリケーション又はウェブサービスを通じてユーザ装置で実行することができる。従って、健康管理サーバは標準動作画像だけでなく、ユーザ動作画像及びユーザ動作前後の情報及びユーザに関する基本的な情報（ユーザの年齢、性別、基礎疾患、生活パターンなど）を保持することもできる。
図４における標準動作は両手を集め、２本の足を適度に広げたまま膝を曲げる姿勢であると示したが、様々な標準動作をユーザの健康状態評価のために提供することができる。健康管理サーバ３００はユーザ装置３１０からユーザが前記標準動作を真似するユーザ動作に対するユーザ動作画像を受信することができる。
その後、健康管理サーバ３００は標準動作画像と前記ユーザ動作画像とを比較して標準動作とユーザ動作との間の類似度を算出することができる。次に、算出された類似度に基づいてユーザの健康状態を評価することができる。例えば、健康管理サーバ３００はユーザ動作と標準動作とを比較してユーザの運動能力、認知能力、体力などを評価することができるが、これに限定されるものではない。
一実施形態において、健康管理サーバ３００は画像内オブジェクトのスケルトンモデルを適用して前述した類似度を算出することができる。図５は本明細書の一実施形態に係り、標準動作画像及びユーザ動作画像からトレーナ５００及びユーザ４００のそれぞれに対してスケルトンモデルを抽出した結果を示す。このようなスケルトンモデルはユーザ装置のディスプレー部に表示しても表示しなくてもよい。
一例において健康管理サーバ３００は人体画像に基づいて人体関節又は他の身体部位の位置を確認する学習モデルを用いて標準動作画像又はユーザ動作画像からトレーナ及びユーザのスケルトン動作モデルを抽出することができる。このようなスケルトン動作モデルは複数のノード（身体部位別の特徴点）で構成されることができる。ノードが割り当てられる身体部位の種類及びノードの数は必要に応じて様々に設定することができるが、好ましくは２４個のノードを各関節部位に適用することができる。ただし、図面では発明の特徴を簡易に、かつ明瞭に図式化するためにこれより少ない数のノードを示した。
また本明細書において、スケルトン動作モデルは二次元空間上に配置するか、三次元空間上に配置することもできる。これは獲得される画像の種類によって決定することができる。即ち、標準動作画像の視点とユーザ動作画像の視点が正確に一致することは難しいため、標準動作画像とユーザ動作画像の少なくとも一つは三次元スケルトン動作モデルで構成して他の画像のスケルトン動作モデルの視点と一致させる必要がある。この場合、健康管理サーバ３００は３次元で獲得されたスケルトン動作モデルの視点を他の２次元で獲得されたスケルトン動作モデルの視点に切り替えて２つのスケルトン動作モデルを比較することができる。
具体的には、一実施形態において、健康管理サーバ３００は前記標準動作画像から標準動作を行うトレーナ対するトレーナスケルトン動作モデルを獲得するステップを行うことができる。また、ユーザ動作画像からユーザ動作を行うユーザに対するユーザスケルトン動作モデルを獲得するステップも行うことができる。その後、健康管理サーバ３００は前記トレーナスケルトン動作モデルと前記ユーザスケルトン動作モデルの互いに対応する身体部位別の特徴点を比較して前記類似度を算出することができる。ここで、前記身体部位別の特徴点は前記スケルトン動作モデルを構成するノードであり得る。
一例において類似度はユークリディアン距離（Ｅｕｃｌｉｄｅａｎ Ｄｉｓｔａｎｃｅ）であって、ユークリディアン距離に関する所定の数式に基づいて決定することができる。即ち、ユーザスケルトン動作モデルとトレーナスケルトン動作モデルの互いに対応する身体部位特徴点の位置を比較して類似度を測定することができる。この時、類似度を％で表現することもできる。
一例として、２つのスケルトンモデルを比較するために、２つのスケルトンモデルを１つの平面に投影又は重ね合わせることで、対応するノード間の距離を算出することもできる。
図６Ａ乃至図６Ｂは本明細書で類似度を算出するためにトレーナスケルトン動作モデルとユーザスケルトン動作モデルとを比較する例を示す図である。図６Ａを参照すると、健康管理サーバ３００は獲得したトレーナスケルトン動作モデル５２０とユーザスケルトン動作モデル４２０の各ノードの位置に基づいて２つのモデル間の類似度を算出することができる。一方、前述したように、ユーザ動作画像の視点は標準動作画像の視点とは異なり得る。この場合、２次元平面上に配置されるスケルトン動作モデルのノードの位置を比較するためには、２つのスケルトンモデル間の整合が必要である。以下では、トレーナスケルトン動作モデルに基づいてユーザスケルトン動作モデルを変形することを説明するが、その逆に、トレーナスケルトン動作モデルをユーザスケルトン動作モデルに合わせて変形することもできる。
図６Ｂを参照すると、健康管理サーバ３００はユーザスケルトン動作モデル４２０を回転させてトレーナスケルトン動作モデルと同じ時点に変換することができる。このような回転が可能になるためにはユーザスケルトン動作モデルを三次元モデルで構成しなければならないこともある。
一例において、トレーナとユーザの身体状態は互いに異なり得る。この場合、２つのスケルトンモデルをそのまま比較する場合、姿勢の一致可否にかかわらず類似度の高い結果が得られる恐れがある。このような問題を解決するためには、２つのスケルトンモデルのサイズを同じに合わせる必要がある。
図６Ｃを参照すると、健康管理サーバ３００はユーザスケルトン動作モデル４２０の規模（サイズ）をトレーナスケルトン動作モデル５２０に対応させるために、そのサイズを正規化（ｎｏｒｍａｌｉｚｅ）することができる。具体的には、図６Ｃはユーザの足がもっと長い場合に該当するので、ユーザの足首と膝との間の距離をトレーナの身体条件に等しくなるように調節することができる。これにより、各脚の膝と足首との距離をｄ１とｄ２だけ短くすることができる。
図６Ａ乃至図６Ｃで説明したこのような正規化過程は２つのスケルトンモデルのうちいずれか又は両方に適用することができる。両方に適用する場合、基準となるモデルの比率又は長さの値に従うように変換することができる。
図７は本明細書の一実施形態に係り、身体部位別の重みを説明するための図である。図７を参照すると、一例において健康管理サーバ３００は身体部位別の特徴点を比較して類似度を算出するにあたって、前記標準動作に対する身体部位別の重みをデータベースから取得し、動作の種類による身体部位別の重みを前記類似度算出に適用することもできる。即ち、標準動作の種類によっては重要度の高い身体部位とそうでない部分が存在することができる。図７を参照すると、当該標準動作は首と腰ノード、両膝ノード（識別番号７１０）の位置と角度の重要度が高く、両腕首と手首（識別番号７２０）の位置と角度は重要度が低いことがあり得る。このような重要度の違いに基づいて標準動作別の身体部位に対する重みを反映して類似度を算出する際に利用できる。
表１は例示的な標準動作別の身体部位に対する重み値を示す表であって、ノードｎは各身体部位を示す。例えば、ノード３は右肘であり、ノード５は右肩であり得るが、これは例示的なものである。なお、表１で重み３、２、１の数値は例示的なものに過ぎない。
Figure 2024542010000002
このような身体部位別の重みは標準動作別に与えるが、認知障害別に細分化することもできる。例えば、標準動作４に対して認知障害Ａを評価するためにはノード８とノード９に重みを与えるが、認知障害Ｂを評価するためには標準動作４においてノード１０とノード１２に重みを与えてもよい。なお、本明細書で前述した類似度は対応するノード間の距離だけでなく、３つ以上のノードが形成する角度を更に用いて決定することもできる。図８を参照すると、ユーザスケルトン動作モデルにおいて２つの脚の間の角度ａ１、右脚の曲げ角度ａ２、左脚の曲げ角度ａ３の値をトレーナスケルトン動作モデルの対応する部位の角度とそれぞれ比較することができる。
また、スケルトン動作モデルは時間的要素を有するので、類似度の算出は時間的要素を更に考慮して行うこともできる。例えば２ｃｍ差を１ｓｅｃ維持する場合と０．５ｃｍ差を５ｓｅｃ間維持する場合、後者の方がより低い類似度値を算出することもできる。一例として、距離差と時間の積又はこれらの値にそれぞれの重みを適用して類似度を判断することができる。また他の例として、距離差の上に、ひいては方向値を更に反映して類似度を決定することができる。基本姿勢のノードの回転方向と実際のノードの回転方向とがなす角度を反映して類似度を判別することもできる。
一実施形態において、健康管理サーバ３００は前述した類似度算出に基づいてユーザの健康状態を評価することができる。ここで、健康状態を評価することは、ユーザの体力消耗程度又は認知障害レベルを評価するものであり得る。
一例において認知障害レベルは算出された類似度のレベルによって決定することができる。即ち、特定の標準姿勢に対する類似度が所定値以下に低いと、特定の標準姿勢に対応する認知障害に対する保持確率を算定することができる。又は、特定の標準姿勢別に認知障害レベルによるノードの位置－移動値を規定し、これらの規定値と比較して認知障害保持確率及び障害の程度を決定することができる。
これはより具体的に、標準動作別の認知障害時に現れる行動特徴データに基づいて評価することができる。即ち、標準動作を一定レベル以上真似できない場合、認知障害確率を与えることもでき、より正確な判断のために標準動作別の認知障害者の行動特徴データを更に用いることもできる。
例えば、行動特徴データは以下の表２に示したように、標準動作別の認知障害タイプ別に患者の行動特徴をノードのデータとして表現したものであり得る。この標準動作に対する身体部位別の重みはデータベース化して健康管理サーバ３００又は他の外部装置に格納することもできるし。
Figure 2024542010000003
類似度の％値は評価者の入力によって決定するか、既に定義された基準によって決定するか、又は人工知能学習モデルを通じて継続的にアップデートすることもできる。なお、一例として健康管理サーバ３００はユーザの健康状態を評価するにあたって、ユーザの体力消耗程度を評価することもできる。具体的に、体力消耗程度は標準動作に応じて行うにあたって、不要な動作や姿勢で運動量を増加させることを把握するためのものである。
例えば、前記体力消耗程度はユーザスケルトン動作モデルの身体部位別の特徴点における移動軌跡の合計；及び既に定義された身体部位別の移動量に応じた体力消耗評価の重みに基づいて決定することもできる。即ち、ユーザが足を座った起こる標準動作を真似する時、両腕を回す（回転する）場合、両腕部分のノードの移動軌跡を考慮して体力消耗程度を算出することができる。また他の一例においては、身体部位別の移動量に応じた重みを与えることもできる。身体部位別の移動量に応じた重みは具体的に、腕を上げることと足を上げることのうち、足を上げる動作がより大きなエネルギーを消耗するので、足を上げる行為に対してより大きな体力消耗の重みを与えるようになる。なお、太ももを前方に突き出す姿勢と後方に突き出す姿勢のうち、後方に突き出す姿勢がより多くのエネルギーを消耗するため、このような差を反映するために前述した身体部位別の体力消耗の重みを用いることができる。
図３を再び参照すると、健康管理サーバ３００は複数のユーザ装置からユーザ動作画像を受信することができる。受信される複数のユーザ動作画像はリアルタイム画像であり得、互いに異なる時間に撮影した画像であり得る。
健康管理サーバ３００は受信された複数のユーザ動作画像をディスプレー装置に表示することができる。ここで、ディスプレー装置はユーザ装置又は医療機関サーバ３０１のディスプレー装置であり得る。健康管理サーバ３００はウェブ又はアプリを通じてユーザ又は医療機関に当該画像を提供することができる。以下では、健康管理サーバ３００が医療機関サーバ３０１に複数のユーザ動作画像と標準動作画像を提供する場合について説明する。より具体的には、各画像を処理して分析した結果を画像と共に医療機関サーバに提供する例について説明するようにする。このように提供する情報に基づいて医療人は複数のユーザに対する動作画像を確認及び診断するために用いることができる。
図９は本明細書の一実施形態に係り、健康管理サーバ３００によって提供される複数のユーザ動作画像とその分析結果を示す。図９を参照すると、標準動作画像５１０が表示され、これと共に複数のユーザ動作画像９０１～９０５がディスプレー装置９０Ｄ上に表示される。
健康管理サーバ３００は受信された複数のユーザ動作画像における複数のユーザ動作と前記標準動作との類似度をそれぞれ算出することができる。このステップは上で詳細に説明した。類似度算出及びそれによる評価を通じて各ユーザ動作について標準動作との類似度（正確度）９１０を表示し、認知障害の有無、種類及び確率９２０を表示し、体力消耗程度９３０を表示することができる。専門医はこれらの画面を通じて複数の患者の動作を確認及び相互比較することができる。
図１０は本明細書の一実施形態における標準動作に対する類似度の低いユーザ動作画像をハイライトする例を示す。
一例において健康管理サーバ３００は算出された類似度に基づいて前記ディスプレー装置に表示される複数のユーザ動作画像のうち少なくとも１つをハイライト表示することができる。具体的には、図１０に示したように、健康管理サーバ３００は複数のユーザ動作画像のうち算出された類似度が所定の基準よりも低い又は高い範囲に属する所定数のユーザ動作画像をハイライト表示ｈ１することができる。これにより、専門医は標準動作をよく真似できないユーザを迅速に確認することができる。具体的には、専門医はハイライト表示されたユーザの全般的な身体行動を目視で確認して迅速な臨床的判断を行うことができる。このようなガイドがなければ、一つ一つの画像の全体再生時間を全て確認しなければならない不便さが存在する。
図１１は本明細書の一実施形態に係り、関連性のある２つ以上のユーザ動作画像をグループ化して表示する例を示す。一例において健康管理サーバ３００は前記複数のユーザ動作同士のスケルトン動作モデルを比較してユーザ間の類似度を算出し、算出されたユーザ間の類似度に基づいて複数のユーザ動作画像をグループ化することができる。その後、グループ化したユーザ動作画像を区別して表示することができる。即ち、同じ認知障害を有するとデータ上で把握されるユーザ動作画像をグループ化して表示することができる。図１１では点線のボックスでハイライトを表示したが、これは例示的なものであり、ラベルを表示したり、シェーディングを変化したり、画像の大きさを異なるようにするなど、様々な視覚効果を前述した「ハイライト」に含んでもよい。また、一例において、健康管理サーバ３００は複数のユーザ動作同士のスケルトン動作モデルを比較してユーザ間の類似度を算出するにあたって、前記標準動作に対する身体部位別の重みを適用しなくてもよい。標準動作において身体部位別の重みを適用する場合、標準動作とマッチングされる認知障害を迅速に、かつ正確に把握できるという長所がある。しかし、確認されていない障害やユーザの行動パターンを発見するためには、このような重みを適用しない方が役に立つ場合もある。例えば、前述したような身体部位別の重みを適用しないことで、標準動作Ａを真似する時、首が後ろにわずかに反るパターンを有するユーザグループが発見され、専門医はこれらに対して目視評価を行って臨床的判断を行うことができる。例えば、これにより認知障害Ｃを有したユーザであるという結論が臨床的判断によって下されることができる。
図１２は本明細書の一実施形態に係るスケルトンモデルを活用した健康状態評価方法のフローチャートである。このような評価方法は前述した健康管理サーバによって実行することができる。図１２を参照すると、スケルトンモデルを活用した健康状態評価方法はユーザ装置に、トレーナが標準動作を行う標準動作画像を提供するステップ（Ｓ１００）、ユーザ装置から、ユーザが前記標準動作を真似するユーザ動作に対するユーザ動作画像を受信するステップ（Ｓ２００）、前記標準動作画像と前記ユーザ動作画像とを比較して標準動作とユーザ動作との間の類似度を算出するステップ（Ｓ３００）、及び算出された類似度に基づいて前記ユーザの健康状態を評価するステップ（Ｓ４００）を含むことができる。ここで、類似度を算出するステップ（Ｓ３００）は、前記標準動作画像から標準動作を行うトレーナに対するトレーナスケルトン動作モデルを獲得するステップ、前記ユーザ動作画像からユーザ動作を行うユーザに対するユーザスケルトン動作モデルを獲得するステップ、及び前記トレーナスケルトン動作モデルと前記ユーザスケルトン動作モデルの互いに対応する身体部位別の特徴点を比較して前記類似度を算出するステップを含み、前記身体部位別の特徴点は前記スケルトン動作モデルを構成するノードであり得る。より具体的には、前記身体部位別の特徴点を比較して類似度を算出するステップは、前記標準動作に対する身体部位別の重みをデータベースから取得するステップ、及び前記身体部位別の重みを前記類似度算出に適用するステップを含むこともできる。前記健康状態を評価するステップは、前記ユーザの体力消耗程度又は認知障害レベルを評価するものであり、前記認知障害レベルは標準動作別の認知障害時に現れる行動特徴データに基づいて評価を行うこともできる。
以上で説明した実施形態は少なくとも部分的にコンピュータプログラムで実現され、コンピュータで読み取り可能な記録媒体に記録することができる。実施形態を実現するためのプログラムが記録されコンピュータで読み取り可能な記録媒体はコンピュータによって読み取り可能なデータが格納される全ての種類の記録装置を含む。コンピュータが読み取り可能な記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、光データ記憶装置などがある。また、コンピュータが読み取り可能な記録媒体はネットワークを介して連結されたコンピュータシステムに分散され、分散方式でコンピュータが読み取り可能なコードが格納されて実行されることもできる。また、本実施形態を実現するための機能的なプログラム、コード及びコードセグメント（ｓｅｇｍｅｎｔ）は、本明細書が属する技術分野における通常の技術者なら容易に理解することができる。
以上で調べてみた本明細書は図面に示した実施形態を参照して説明したが、これは例示的なものに過ぎず、当該分野における通常の知識を有する者であれば、これにより様々な変形及び均等な他の実施形態が可能であることを理解することができる。しかし、このような変形は本明細書の技術的保護範囲内にあると見なすべきである。従って、本明細書の真正な技術的保護範囲は、添付した特許請求範囲の技術的思想によって定められる。
本明細書はユーザ動作と標準動作とを比較してユーザの動作模擬能力を評価することができる。本明細書はユーザ動作と標準動作とを比較してユーザの認知障害又は体力消耗程度を評価することができる。本明細書はユーザ動作と標準動作のスケルトンモデルを用いて２つの動作を比較することができる。

Claims (10)

  1. 健康管理サーバによって行われる、スケルトンモデルを活用した健康状態評価方法であって、
    ユーザ装置に、トレーナが標準動作を行う標準動作画像を提供するステップ；
    ユーザ装置から、ユーザが前記標準動作を真似するユーザ動作に対するユーザ動作画像を受信するステップ；
    前記標準動作画像と前記ユーザ動作画像とを比較して標準動作とユーザ動作との間の類似度を算出するステップ；及び、
    算出された類似度に基づいて前記ユーザの健康状態を評価するステップを含む
    ことを特徴とするスケルトンモデルを活用した健康状態評価方法。
  2. 前記類似度を算出するステップは、
    前記標準動作画像から標準動作を行うトレーナに対するトレーナスケルトン動作モデルを獲得するステップ；
    前記ユーザ動作画像からユーザ動作を行うユーザに対するユーザスケルトン動作モデルを獲得するステップ；及び、
    前記トレーナスケルトン動作モデルと前記ユーザスケルトン動作モデルの互いに対応する身体部位別の特徴点を比較して前記類似度を算出するステップを含み、前記身体部位別の特徴点は前記スケルトン動作モデルを構成するノードである
    請求項１に記載のスケルトンモデルを活用した健康状態評価方法。
  3. 前記身体部位別の特徴点を比較して類似度を算出するステップは、
    前記標準動作に対する身体部位別の重みをデータベースから取得するステップ；及び、
    前記身体部位別の重みを前記類似度算出に適用するステップを含む
    請求項２に記載のスケルトンモデルを活用した健康状態評価方法。
  4. 前記健康状態を評価するステップは、
    前記ユーザの体力消耗程度又は認知障害レベルを評価するものであり、
    前記認知障害レベルは、標準動作別の認知障害時に現れる行動特徴データに基づいて評価する
    請求項２に記載のスケルトンモデルを活用した健康状態評価方法。
  5. 前記体力消耗程度は、ユーザスケルトン動作モデルの身体部位別の特徴点における移動軌跡の合計；及び既に定義された身体部位別の移動量に応じた体力消耗評価の重みに基づいて決定する
    請求項４に記載のスケルトンモデルを活用した健康状態評価方法。
  6. 複数のユーザ装置から、複数のユーザのそれぞれに対するユーザ動作画像を受信するステップ；
    受信された複数のユーザ動作画像をディスプレー装置に表示するステップ；
    受信された複数のユーザ動作画像における複数のユーザ動作と前記標準動作との類似度をそれぞれ算出するステップ；及び、
    算出された類似度に基づいて前記ディスプレー装置に表示される複数のユーザ動作画像のうち少なくとも１つをハイライトするステップを含む
    請求項２又は３に記載のスケルトンモデルを活用した健康状態評価方法。
  7. 前記ハイライトするステップは、
    複数のユーザ動作画像のうち算出された類似度が所定の基準より低い又は高い範囲に属する所定数のユーザ動作画像をハイライト表示する
    請求項６に記載のスケルトンモデルを活用した健康状態評価方法。
  8. 前記ハイライトするステップは、
    前記複数のユーザ動作同士のスケルトン動作モデルを比較してユーザ間の類似度を算出するステップ；
    算出されたユーザ間の類似度に基づいて複数のユーザ動作画像をグループ化するステップ；及び、
    グループ化したユーザ動作画像を区別して表示するステップを含む
    請求項６に記載のスケルトンモデルを活用した健康状態評価方法。
  9. 前記複数のユーザ動作同士のスケルトン動作モデルを比較してユーザ間の類似度を算出するステップは、前記標準動作に対する身体部位別の重みを適用しない
    請求項８に記載のスケルトンモデルを活用した健康状態評価方法。
  10. ハードウェアと組み合わされて請求項１ないし５のいずれかに記載の方法を実行するためにコンピュータで読み取り可能な記録媒体に格納された
    ことを特徴とするコンピュータプログラム。
JP2024525530A 2021-11-23 2022-11-14 スケルトンモデルを活用した健康状態評価方法及び装置 Active JP7808819B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020210162426A KR102772806B1 (ko) 2021-11-23 2021-11-23 스켈레톤 모델을 활용한 건강상태 평가 방법 및 장치
KR10-2021-0162426 2021-11-23
PCT/KR2022/017839 WO2023096235A1 (ko) 2021-11-23 2022-11-14 스켈레톤 모델을 활용한 건강상태 평가 방법 및 장치

Publications (2)

Publication Number Publication Date
JP2024542010A true JP2024542010A (ja) 2024-11-13
JP7808819B2 JP7808819B2 (ja) 2026-01-30

Family

ID=86539896

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2024525530A Active JP7808819B2 (ja) 2021-11-23 2022-11-14 スケルトンモデルを活用した健康状態評価方法及び装置

Country Status (6)

Country Link
US (1) US12670604B2 (ja)
EP (1) EP4439583A4 (ja)
JP (1) JP7808819B2 (ja)
KR (1) KR102772806B1 (ja)
CN (1) CN118284947A (ja)
WO (1) WO2023096235A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20250098744A (ko) * 2023-12-22 2025-07-01 주식회사 모아이스 사용자의 동작을 분석하기 위한 방법 및 시스템
CN119626513A (zh) * 2024-08-21 2025-03-14 中国人民解放军陆军军医大学第一附属医院 基于对象识别的神经内科认知功能评估系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160116677A (ko) * 2015-03-31 2016-10-10 주식회사 케이티 피트니스 컨설턴트 방법 및 컴퓨터 프로그램, 그리고 컨설턴트 단말
KR101970687B1 (ko) * 2018-04-11 2019-04-19 주식회사 큐랩 개인화 증강현실 기술을 이용한 피트니스 코칭 시스템
KR102123869B1 (ko) * 2019-02-12 2020-06-23 장성철 인지 반응 향상을 위한 훈련 장치 및 그 방법
KR20200144991A (ko) * 2019-06-20 2020-12-30 코드비전 주식회사 운동 보조 장치 및 운동 보조 방법
KR102292415B1 (ko) * 2019-08-08 2021-08-24 주식회사 엘지유플러스 신체 동작 유사도 측정 장치 및 방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10372975B2 (en) * 2015-08-10 2019-08-06 Catapult Group International Ltd. Managing mechanical stress in sports participants
WO2019187099A1 (ja) * 2018-03-30 2019-10-03 株式会社日立製作所 身体機能自立支援装置およびその方法
CN110443833B (zh) * 2018-05-04 2023-09-26 佳能株式会社 对象跟踪方法和设备
KR102166010B1 (ko) * 2018-07-09 2020-10-15 주식회사 두브레인 얼굴인식을 이용한 인지장애 판단 방법 및 시스템
KR102131139B1 (ko) 2018-12-14 2020-07-08 대한민국 인지 장애 아동을 위한 인지 훈련 장치 및 방법
US11562500B2 (en) * 2019-07-24 2023-01-24 Squadle, Inc. Status monitoring using machine learning and machine vision

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160116677A (ko) * 2015-03-31 2016-10-10 주식회사 케이티 피트니스 컨설턴트 방법 및 컴퓨터 프로그램, 그리고 컨설턴트 단말
KR101970687B1 (ko) * 2018-04-11 2019-04-19 주식회사 큐랩 개인화 증강현실 기술을 이용한 피트니스 코칭 시스템
KR102123869B1 (ko) * 2019-02-12 2020-06-23 장성철 인지 반응 향상을 위한 훈련 장치 및 그 방법
KR20200144991A (ko) * 2019-06-20 2020-12-30 코드비전 주식회사 운동 보조 장치 및 운동 보조 방법
KR102292415B1 (ko) * 2019-08-08 2021-08-24 주식회사 엘지유플러스 신체 동작 유사도 측정 장치 및 방법

Also Published As

Publication number Publication date
JP7808819B2 (ja) 2026-01-30
EP4439583A1 (en) 2024-10-02
KR102772806B1 (ko) 2025-02-27
KR20230076173A (ko) 2023-05-31
CN118284947A (zh) 2024-07-02
EP4439583A4 (en) 2025-10-29
US12670604B2 (en) 2026-06-30
US20240303834A1 (en) 2024-09-12
WO2023096235A1 (ko) 2023-06-01

Similar Documents

Publication Publication Date Title
KR102341985B1 (ko) 운동 보조 장치 및 운동 보조 방법
WO2019079489A1 (en) MEASUREMENT OF BODY MOVEMENT IN A DISEASE OF MOVEMENT DISORDERS
Leightley et al. Benchmarking human motion analysis using kinect one: An open source dataset
US20200372245A1 (en) Scoring metric for physical activity performance and tracking
Reis et al. Developing a system for post-stroke rehabilitation: an exergames approach
JP7808819B2 (ja) スケルトンモデルを活用した健康状態評価方法及び装置
KR102566211B1 (ko) 인공 지능 자세 추정 모델 및 동작 분석 모델을 이용한 운동 치료 제공 방법, 그리고 시스템
Rai et al. Pose detection using opencv and media pipe
WO2024028844A1 (en) Approaches to independently detecting presence and estimating pose of body parts in digital images and systems for implementing the same
AU2024336046A1 (en) Unsupervised depth features for three-dimensional pose estimation
Chiensriwimol et al. Frozen shoulder rehabilitation: exercise simulation and usability study
Etaat An online balance training application using pose estimation and augmented reality
US12567174B2 (en) Real-time pose estimation through bipartite matching of heatmaps of joints and persons and display of visualizations based on the same
KR20230161117A (ko) 가상현실 기반 저혈량성 쇼크 대상자 간호 시뮬레이션 교육 프로그램을 제공하는 전자 장치, 및 vr 장치
US20250367532A1 (en) Approaches to providing personalized feedback on physical activities based on real-time estimation of pose and systems for implementing the same
US20260120315A1 (en) Approaches to generating semi-synthetic training data for real-time estimation of pose and systems for implementing the same
WO2026039115A1 (en) Predicting muscle activations based on estimated poses
AU2024336335A1 (en) Image-to-3d pose estimation via disentangled representations
WO2025264479A1 (en) Training machine learning models to predict joint locations using intermediate keypoints
US20240274261A1 (en) System, device, and method for controlling rehabilitation of patient
Ukita et al. Towards an automatic motion coaching system-feedback techniques for different types of motion errors
WO2026039816A1 (en) Perspective-corrected, three-dimensional annotation tool for labeling anatomical positions of living bodies in digital images
Ukita et al. Towards an automatic motion coaching system
WO2025171063A1 (en) Methods and systems for generating and personalizing visualizations to convey information regarding exercise quality
WO2025076479A1 (en) Approaches to generating programmatic definitions of physical activities through automated analysis of videos

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240426

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250701

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250925

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20251001

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20260106

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20260109

R150 Certificate of patent or registration of utility model

Ref document number: 7808819

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150