KR102444241B1 - 행동구간별 오류유형 검출 시스템 및 방법과 이를 적용한 행동교정 시스템 및 방법 - Google Patents

행동구간별 오류유형 검출 시스템 및 방법과 이를 적용한 행동교정 시스템 및 방법 Download PDF

Info

Publication number
KR102444241B1
KR102444241B1 KR1020190167018A KR20190167018A KR102444241B1 KR 102444241 B1 KR102444241 B1 KR 102444241B1 KR 1020190167018 A KR1020190167018 A KR 1020190167018A KR 20190167018 A KR20190167018 A KR 20190167018A KR 102444241 B1 KR102444241 B1 KR 102444241B1
Authority
KR
South Korea
Prior art keywords
behavior
information
error type
section
database
Prior art date
Application number
KR1020190167018A
Other languages
English (en)
Other versions
KR20210076283A (ko
Inventor
유제광
이경민
Original Assignee
서울대학교산학협력단
동국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교산학협력단, 동국대학교 산학협력단 filed Critical 서울대학교산학협력단
Priority to KR1020190167018A priority Critical patent/KR102444241B1/ko
Publication of KR20210076283A publication Critical patent/KR20210076283A/ko
Application granted granted Critical
Publication of KR102444241B1 publication Critical patent/KR102444241B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1123—Discriminating type of movement, e.g. walking or running
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/486—Bio-feedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • A63B69/36—Training appliances or apparatus for special sports for golf
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A63B2024/0012—Comparing movements or motion sequences with a registered reference
    • A63B2024/0015—Comparing movements or motion sequences with computerised simulations of movements or motion sequences, e.g. for generating an ideal template as reference to be achieved by the user
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2230/00—Measuring physiological parameters of the user
    • A63B2230/62—Measuring physiological parameters of the user posture
    • A63B2230/625—Measuring physiological parameters of the user posture used as a control parameter for the apparatus

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physics & Mathematics (AREA)
  • Physiology (AREA)
  • Neurology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Hospice & Palliative Care (AREA)
  • Child & Adolescent Psychology (AREA)
  • Psychiatry (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Neurosurgery (AREA)
  • Social Psychology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Radio Transmission System (AREA)

Abstract

행동구간별 오류유형 검출 시스템 및 방법과 이를 적용한 행동교정 시스템 및 방법이 개시된다. 본 발명의 제1 측면에 따르면, 교정대상 행동에 대한 행동정보가 기 설정된 행동구간 별로 세분화되어 저장되는 행동정보 데이터베이스; 상기 행동정보 데이터베이스에 저장된 복수의 행동정보를 기초로 결정되는 오류유형 정보가 교정대상 행동 및 행동구간 별로 구분되어 저장되는 오류유형 데이터베이스; 사용자에게 교정대상 행동 리스트를 제공하여 특정한 교정대상 행동을 선택하게 하는 행동선택모듈; 사용자가 직접 수행한 교정대상 행동의 동작인식 정보를 입력 받아 상기 행동정보 데이터베이스를 참조하여 행동정보를 행동구간 별로 추출하는 행동구간추출분석모듈; 및 상기 행동구간추출분석모듈에서 행동구간 별로 추출된 행동정보를 기초로 상기 오류유형 데이터베이스를 참조하여 오류유형을 검출하는 제어모듈을 포함하는 행동구간별 오류유형 검출 시스템이 제공될 수 있다.

Description

행동구간별 오류유형 검출 시스템 및 방법과 이를 적용한 행동교정 시스템 및 방법{SYSTEM AND METHOD FOR DETECTING ERROR TYPE BY BEHAVIOR SECTION, AND SYSTEM AND METHOD FOR CORRECTING BEHAVIOR USING THE SAME}
본 발명은 행동구간별 오류유형 검출 시스템에 관한 것으로, 더욱 상세하게는 사용자가 기 설정된 인지적 행동을 수행하면 세분화된 행동구간별로 오류유형을 검출해 주는 행동구간별 오류유형 검출 시스템 및 방법과 이를 적용한 행동교정 시스템 및 방법에 관한 것이다.
동작인식 기술(behavior recognition technology)이란 인간의 동작을 컴퓨터로 분석하여 인식하는 기술로서, 동작인식 기술에 의해 생성된 인간의 동작 정보는 다양한 분야에 활용될 수 있다.
한편, 기계학습(machine learning)의 다양한 활용이 현실화되어 미래예측, 인공지능 등 여러 분야에 사용되고 있다. 또한, 깊이 정보를 활용한 센서의 대중화로 인해 사람과 컴퓨터 간 상호작용(interaction)이 한층 더 자유로워지고 있다. 이러한 3차원 깊이 정보와 기계학습을 활용한 인간 동작의 인식 및 검출에 대한 연구도 활발히 진행되고 있다. 이에 따라 최근 발표된 기계학습 기반 동작 인식 및 검출 관련 연구결과들은 높은 인식률을 나타내고 있다.
그러나, 최근 발표된 기계학습 기반 동작 인식 및 검출 관련 연구결과들은 실험적 환경에서는 높은 인식률을 나타내고 있지만, 실제 환경에는 바로 적용하지 못하는 문제가 있었다. 이는 실험적 환경과 실제 환경 사이에 많은 차이가 있기 때문이다.
이러한 이유로, 실제 환경에서도 높은 인식률을 보장하기 위해서는, 실제 환경에서의 동작 정보를 이용하여 기계학습 결과를 도출하고 이를 활용하는 방법이 요구된다.
특히, 종래 기계학습 기반 동작 인식 및 검출 기술은 동작을 세분화하여 데이터로 변환하지 않았기 때문에, 특정 환경 및 특정 기계학습 방법에 대해서만 높은 인식률을 나타내었고, 다양한 환경 및 기계학습 방법에 범용적으로 활용할 수 있을 만큼 견고하지 못한 문제가 있었다.
따라서, 다양한 환경에서 여러 기계학습 방법에 공통으로 사용될 수 있도록 동작인식의 대상이 되는 인간의 행위를 세분화하고, 그에 따라 일상 생활, 인지적 질환을 가지는 환자 또는 스포츠 영역에서 정의하기에 효율적이고 범용적인 행동구간별 오류유형 검출 시스템과 이를 적용한 행동교정 시스템을 구축하기 위한 방법이 요구된다.
대한민국 공개특허공보 제10-2019-0056344호(2019.05.24, 치매 환자 관리 방법 및 그 시스템)
본 발명의 실시 예는 사용자가 기 설정된 인지적 행동을 수행하면 세분화된 행동구간별로 오류유형을 검출해 주는 행동구간별 오류유형 검출 시스템 및 방법과 이를 적용한 행동교정 시스템 및 방법을 제공한다.
본 발명의 제1 측면에 따르면, 교정대상 행동에 대한 행동정보가 기 설정된 행동구간 별로 세분화되어 저장되는 행동정보 데이터베이스; 상기 행동정보 데이터베이스에 저장된 복수의 행동정보를 기초로 결정되는 오류유형 정보가 교정대상 행동 및 행동구간 별로 구분되어 저장되는 오류유형 데이터베이스; 사용자에게 교정대상 행동 리스트를 제공하여 특정한 교정대상 행동을 선택하게 하는 행동선택모듈; 사용자가 직접 수행한 교정대상 행동의 동작인식 정보를 입력 받아 상기 행동정보 데이터베이스를 참조하여 행동정보를 행동구간 별로 추출하는 행동구간추출분석모듈; 및 상기 행동구간추출분석모듈에서 행동구간 별로 추출된 행동정보를 기초로 상기 오류유형 데이터베이스를 참조하여 오류유형을 검출하는 제어모듈을 포함하는 행동구간별 오류유형 검출 시스템이 제공될 수 있다.
본 발명의 제2 측면에 따르면, 교정대상 행동에 대한 행동정보가 기 설정된 행동구간 별로 세분화되어 저장되는 행동정보 데이터베이스; 상기 행동정보 데이터베이스에 저장된 복수의 행동정보를 기초로 결정되는 오류유형 정보가 교정대상 행동 및 행동구간 별로 구분하여 저장되는 오류유형 데이터베이스; 사용자에게 교정대상 행동 리스트를 제공하여 특정한 교정대상 행동을 선택하게 하는 행동선택모듈; 사용자가 직접 수행한 교정대상 행동의 동작인식 정보를 입력 받아 상기 행동정보 데이터베이스를 참조하여 행동정보를 행동구간 별로 추출하는 행동구간추출분석모듈; 상기 오류유형 데이터베이스에 저장된 오류유형 별로 오류를 교정하기 위한 교정지침에 대한 정보가 저장되는 교정지침 데이터베이스; 상기 행동구간추출분석모듈에서 행동구간 별로 추출된 행동정보를 기초로 상기 오류유형 데이터베이스를 참조하여 오류유형을 검출하고, 상기 교정지침 데이터베이스를 참조하여 검출된 오류유형에 대응하는 교정지침에 대한 정보를 검출하는 제어모듈; 및 상기 제어모듈에서 검출된 오류유형 및 교정지침에 대한 정보를 사용자에게 제공하는 피드백부를 포함하는 행동구간별 행동교정 시스템이 제공될 수 있다.
상기 행동구간은 행동의 궤적 변위, 궤적 속도 또는 궤적 가속도 중 하나 또는 둘 이상의 조합을 기준으로 구분될 수 있다.
상기 행동구간의 구분 기준에는 사용자가 교정대상 행동을 수행할 때의 사용자의 뇌 활성 부위에 대한 정보가 추가될 수 있다.
사용자가 교정대상 행동을 직접 수행할 때 사용자에게 감각 교란을 일으키는 감각교란모듈을 포함하고, 상기 제어모듈은 상기 감각교란모듈이 동작할 때의 행동정보와 상기 감각교란모듈이 동작하지 않을 때의 행동정보를 비교하여 사용자의 인지능력 이상 유무를 검출할 수 있다.
상기 행동정보 데이터베이스는 상기 행동구간추출분석모듈에서 행동구간 별로 추출된 행동정보를 새로 추가하여 수정될 수 있다.
상기 교정지침 데이터베이스에 저장된 교정지침에 대한 정보는 행동 삽입, 행동 삭제 또는 행동 대체의 형태일 수 있다.
본 발명의 제3 측면에 따르면, 교정대상 행동에 대한 행동정보가 기 설정된 행동구간 별로 세분화되어 저장되는 행동정보 데이터베이스, 및 상기 행동정보 데이터베이스에 저장된 복수의 행동정보를 기초로 결정되는 오류유형 정보가 교정대상 행동 및 행동구간 별로 구분되어 저장되는 오류유형 데이터베이스를 구비하는 행동교정 시스템에 적용되며, 사용자에게 교정대상 행동 리스트를 제공하여 특정한 교정대상 행동을 선택하게 하는 제1 단계; 사용자가 직접 수행한 교정대상 행동의 동작인식 정보를 입력 받아 상기 행동정보 데이터베이스를 참조하여 행동정보를 행동구간 별로 추출하는 제2 단계; 및 상기 제2 단계에서 행동구간 별로 추출된 행동정보를 기초로 상기 오류유형 데이터베이스를 참조하여 오류유형을 검출하는 제3 단계를 포함하는 행동구간별 오류유형 검출 방법이 제공될 수 있다.
본 발명의 제4 측면에 따르면, 교정대상 행동에 대한 행동정보가 기 설정된 행동구간 별로 세분화되어 저장되는 행동정보 데이터베이스, 상기 행동정보 데이터베이스에 저장된 복수의 행동정보를 기초로 결정되는 오류유형 정보가 교정대상 행동 및 행동구간 별로 구분되어 저장되는 오류유형 데이터베이스, 및 상기 오류유형 데이터베이스에 저장된 오류유형 별로 오류를 교정하기 위한 교정지침에 대한 정보가 저장되는 교정지침 데이터베이스를 구비하는 행동교정 시스템에 적용되며, 사용자에게 교정대상 행동 리스트를 제공하여 교정대상 행동을 선택하게 하는 제1 단계; 사용자가 직접 수행한 교정대상 행동의 동작인식 정보를 입력 받아 상기 행동정보 데이터베이스를 참조하여 행동정보를 행동구간 별로 세분화하여 추출하는 제2 단계; 상기 제2 단계에서 행동구간 별로 추출된 행동정보를 기초로 상기 오류유형 데이터베이스를 참조하여 오류유형을 검출하고, 검출된 오류유형을 기초로 상기 교정지침 데이터베이스를 참조하여 검출된 오류유형에 대응하는 교정지침에 대한 정보를 검출하는 제3 단계; 및 상기 제3 단계에서 검출된 오류유형 및 교정지침에 대한 정보를 사용자에게 제공하는 제4 단계를 포함하는 행동구간별 행동교정 방법이 제공될 수 있다.
본 발명의 실시 예에 따르면, 사용자가 교정대상 행동을 수행할 때 나타나는 행동구간별 오류유형을 미리 분류해 놓고, 사용자로부터 특정 행동에 대한 행동구간별 물리적 정보, 예를 들어 궤적 변위, 궤적 속도, 궤적 가속도 등과 상술한 행동을 유도한 사용자의 인지감각적 데이터, 예를 들어 뇌 활성 부위에 대한 정보가 입력되면, 행동의 잘못된 부분을 자동으로 체크하여 행동의 문제점을 정확히 제시해줄 수 있다.
또한, 행동구간별 오류 분석을 통해 세분화된 행동구간 단위의 적절한 교정지침을 텍스트 정보 또는 동영상 정보의 형태로 제공함으로써 사용자 입장에서는 행동 오류를 정확하게 교정할 수 있다.
도 1은 본 발명에 따른 행동구간별 오류유형 검출 시스템을 도시한 블록다이어그램이고,
도 2는 본 발명에 따른 행동구간별 행동교정 시스템을 도시한 블록다이어그램이고,
도 3은 행동교정 시스템에 적용되는 행동구간별 오류유형 검출 방법을 도시한 순서도이고,
도 4는 행동교정 시스템에 적용되는 행동구간별 행동교정 방법을 도시한 순서도이다.
이하, 첨부된 도면을 참조하면 본 발명의 바람직한 실시 예를 상세히 설명한다.
본 발명의 실시 예에서 사용되는 용어는, 명백히 다른 의미로 정의되어 있지 않는 한, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 일반적으로 이해될 수 있는 의미로 해석될 수 있으며, 단지 특정 실시 예를 설명하기 위한 것으로 볼 것이지 본 발명을 제한하고자 하는 의도가 있는 것은 아니다.
본 명세서에서, 단수형은 특별한 기재가 없는 한 복수형도 포함하는 것으로 볼 것이다.
또한, 어떤 부분이 어떤 구성요소를 "포함"한다고 기재된 경우, 해당 부분은 다른 구성요소를 더 포함할 수도 있다는 것을 의미한다.
또한, 어떤 구성요소를 설명하는데 있어서 제1, 제2 등의 용어를 사용할 수 있지만, 이러한 용어는 해당 구성요소를 다른 구성요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성요소의 본질이나 차례 또는 순서 등이 한정되는 것은 아니다.
도 1은 본 발명에 따른 행동구간별 오류유형 검출 시스템을 도시한 블록다이어그램이다.
도 1을 참조하면, 본 발명에 따른 행동구간별 오류유형 검출 시스템은 행동정보 데이터베이스(100), 오류유형 데이터베이스(110), 행동선택모듈(200), 행동구간추출분석모듈(300) 및 제어모듈(400)을 포함할 수 있고, 감각교란모듈(500)을 더 포함할 수도 있다.
행동정보 데이터베이스(100)에는 교정대상 행동에 대한 행동정보가 기 설정된 행동구간 별로 세분화되어 저장될 수 있다.
교정대상 행동은 본 시스템이 적용되는 사용자에 따라 다르게 설정될 수 있다.
일 예시로, 사용자가 치매 환자인 경우, 교정대상 행동은 예를 들어 식사, 용변 등을 포함할 수 있다. 다른 예시로, 사용자가 골프 선수인 경우, 교정대상 행동은 예를 들어 스윙 동작, 퍼팅 동작 등을 포함할 수 있다.
행동정보는 사용자가 교정대상 행동을 수행할 때 신체 각 부위의 궤적 변위, 궤적 속도, 궤적 가속도 등과 같은 물리적 정보를 포함할 수 있다.
또한, 각각의 행동정보는 기 설정된 복수의 행동구간으로 세분화되어 저장될 수 있다.
예를 들어, 골프 선수의 스윙 동작은 백 스윙, 다운 스윙 및 피니쉬 동작으로 구분될 수 있다.
이와 같은 행동구간의 구분 기준은 사용자가 교정대상 행동을 수행할 때 신체 각 부위의 궤적 변위, 궤적 속도, 궤적 가속도 등과 같은 물리적 정보일 수 있지만, 반드시 이에 한정되는 것은 아니고, 사용자의 뇌 활성 부위에 대한 정보가 추가될 수도 있다. 예를 들어, 팔의 궤적 가속도가 양의 값에서 음의 값으로 변하는 지점을 백 스윙과 다운 스윙의 구분 경계로 볼 수 있다. 또한, 동일한 동작을 하더라도 어떤 사람은 뇌의 A 부분이 활성화 될 수 있고, 다른 사람은 뇌의 B 부분이 활성화 될 수 있으므로, 뇌의 활성화 부분과 특정 행동의 상관 관계에 대한 정보도 추가로 얻을 수 있다.
이와 같이 물리적 정보를 이용하여 행동구간을 구분함으로써 행동구간이 좀 더 세부적이고 구체적으로 나누어질 수 있다.
또한, 병변이 다른 질병을 앓고 있는 환자를 예로 들면, 행동정보에 대한 분석을 통해 행동교정과 함께 정확한 병변이 무엇인지에 대한 판단도 이루어질 수 있다.
또한, 스포츠 선수를 예로 들면, 행동구간 별로 더욱 정교한 자세 교정이 가능해질 수도 있다.
오류유형 데이터베이스(110)에는 행동정보 데이터베이스(100)에 저장된 복수의 행동정보를 기초로 결정되는 오류유형 정보가 교정대상 행동 및 행동구간 별로 구분되어 저장될 수 있다.
오류유형 데이터베이스(110)에 오류유형 정보를 저장하기 위해, 먼저 행동정보 데이터베이스(100)에 저장된 다수 사용자에 의한 복수의 행동정보를 기초로 모범적인 기준 행동에 대한 행동정보가 추출될 수 있고, 다음으로 각각의 행동정보를 기준 행동에 대한 행동정보와 비교하여 그 비교 값을 기초로 복수의 오류유형이 추출될 수 있다.
예를 들어, 골프 선수의 스윙 동작 중 백 스윙 행동구간에 있어서, 팔의 최종 높이가 기준 높이보다 낮은 제1 오류유형, 팔의 궤적 속도가 기준 속도보다 큰 제2 오류유형, 팔의 궤적 가속도가 기준 가속도보다 큰 제3 오류유형 등이 추출될 수 있다.
오류유형 정보는 해당 오류유형에 대한 정보, 예를 들어 팔의 최종 높이가 기준 높이보다 낮다는 정보를 포함할 수 있다.
또한, 오류유형 정보에는 각각의 오류유형의 발생 빈도가 예를 들어 제1 오류유형 60%, 제2 오류유형 20%, 제3 오류유형 10% 등과 같이 확률로 표시될 수도 있다.
한편, 이와 같은 일련의 과정은 기계학습(machine learning)을 이용한 정보 분석 기술에 의해 이루어질 수 있고, 정보 분석 기술은 공지된 다양한 기술을 포함할 수 있다.
행동선택모듈(200), 행동구간추출분석모듈(300) 및 제어모듈(400)은 프로세서의 일 구성일 수 있고, 어플리케이션의 형태로 컴퓨터, 스마트 폰 등에 설치될 수도 있다.
행동선택모듈(200)은 사용자에게 교정대상 행동 리스트를 제공하여 사용자로 하여금 특정한 교정대상 행동을 선택하게 할 수 있다.
예를 들어, 행동선택모듈(200)은 교정대상 행동 리스트를 사용자에게 디스플레이 해주고 사용자가 이 중 하나를 터치하여 선택하게 하는 화면 인터페이스를 포함할 수 있다.
사용자는 행동선택모듈(200)에서 선택한 교정대상 행동을 수행할 수 있고, 행동구간추출분석모듈(300)은 사용자가 직접 수행한 교정대상 행동의 동작인식 정보를 입력 받을 수 있다.
동작인식 정보는 사용자의 행동을 비디오로 촬영하여 컴퓨터로 분석한 것일 수 있다.
그러나, 반드시 이에 한정되는 것은 아니고, 사용자의 행동을 감지하는 센서 등과 같이 다양한 공지의 동작인식 기술이 적용될 수도 있다.
행동구간추출분석모듈(300)은 입력 받은 동작인식 정보를 기초로 행동정보 데이터베이스(100)를 참조하여 행동정보를 행동구간 별로 추출할 수 있다. 즉, 행동구간 별로 세분화된 행동정보가 생성될 수 있다. 한편, 행동구간의 구분 기준은 상술한 바와 같다.
또한, 행동구간추출분석모듈(300)은 행동정보 데이터베이스(100)를 참조하여 사용자의 행동유형을 분석할 수도 있다. 예를 들어, 사용자가 치매 환자인 경우, 사용자 행동이 치매 환자의 행동심리증상 패턴인지 전구증상 패턴인지를 분석할 수 있다.
또한, 행동구간추출분석모듈(300)에서 행동구간 별로 추출된 행동정보는 행동정보 데이터베이스(100)에 새로 추가될 수 있다. 따라서, 행동정보 데이터베이스(100) 및 이를 기초로 제작되는 오류유형 데이터베이스(110)는 자동으로 업데이트 될 수 있다.
제어모듈(400)은 행동구간추출분석모듈(300)에서 행동구간 별로 추출된 행동정보를 기초로 오류유형 데이터베이스(110)를 참조하여 사용자 행동에서 나타난 오류유형을 검출할 수 있다.
구체적으로, 제어모듈(400)은 행동구간추출분석모듈(300)에서 행동구간 별로 추출된 행동정보와 기준 행동에 대한 행동정보를 비교한 후 그 비교 값에 대응하는 오류유형을 오류유형 데이터베이스(110)로부터 검출할 수 있다.
감각교란모듈(500)은 사용자가 교정대상 행동을 직접 수행할 때 사용자에게 감각 교란을 일으킬 수 있다.
감각교란모듈(500)은 사용자가 착용하는 HMD(head mounted display) 등과 같은 웨어러블 기기를 포함할 수 있다. HMD는 사용자에게 예를 들어 공이 원래 속도의 2배의 속도로 날라오는 것과 같은 시각 교란을 일으킬 수 있다. 이 경우, 사용자는 교정대상 행동을 이에 상응하도록 2배 속도로 수행하여야 하지만, 예를 들어 1.5배 속도로 수행하는 경우에는 제어모듈(400)은 사용자의 인지능력에 이상이 있는 것으로 검출될 수 있다.
도 2는 본 발명에 따른 행동구간별 행동교정 시스템을 도시한 블록다이어그램이다.
도 2를 참조하면, 본 발명에 따른 행동구간별 행동교정 시스템은 행동정보 데이터베이스(100), 오류유형 데이터베이스(110), 교정지침 데이터베이스(120), 행동선택모듈(200), 행동구간추출분석모듈(300), 제어모듈(400) 및 피드백부(600)를 포함할 수 있고, 감각교란모듈(500)을 더 포함할 수도 있다. 행동교정 시스템의 구성 중 일부는 상술한 것과 동일하므로, 이하에서는 추가되는 구성 내지 특징 위주로 설명하기로 한다.
교정지침 데이터베이스(120)에는 오류유형 데이터베이스(110)에 저장된 오류유형 별로 오류를 교정하기 위한 교정지침에 대한 정보가 저장될 수 있다.
교정지침에 대한 정보는 행동 삽입, 행동 삭제 또는 행동 대체의 형태일 수 있고, 예를 들어, "백 스윙의 마지막에 팔을 더 높게 들어올린다", "백 스윙 과정에서 팔을 더 느리게 움직인다", "다운 스윙 과정에서 어프로치 지점까지 팔을 더 빠르게 가속시킨다" 등과 같은 텍스트 정보를 포함하거나 이에 대응하는 동영상 정보를 포함할 수도 있다.
제어모듈(400)은 기 검출된 오류유형을 기초로 교정지침 데이터베이스(120)를 참조하여 사용자 행동에서 나타난 오류유형에 대응하는 교정지침에 대한 정보를 검출할 수 있다.
피드백부(600)는 제어모듈(400)에서 검출된 오류유형 및 교정지침에 대한 정보를 사용자에게 제공할 수 있다. 예를 들어, 피드백부(600)는 텍스트 또는 동영상 형태의 정보를 출력할 수 있는 다양한 공지의 음성 출력 장치, 디스플레이 장치 등을 포함할 수 있다.
도 3은 행동교정 시스템에 적용되는 행동구간별 오류유형 검출 방법을 도시한 순서도이다.
도 3을 참조하면, 본 발명에 따른 행동구간별 오류유형 검출 방법은 행동정보 데이터베이스(100) 및 오류유형 데이터베이스(110)를 구비하는 행동교정 시스템에 적용될 수 있고, 행동 선택 단계(S100), 행동 및 행동구간 추출 단계(S110) 및 오류유형 검출 단계(S120)를 포함할 수 있다.
먼저, 사용자는 화면 인터페이스 등을 통해 제공되는 교정대상 행동 리스트를 보고, 예를 들어 화면을 터치하는 방식으로 특정한 교정대상 행동을 선택할 수 있다(S100).
다음으로, 사용자가 기 선택된 교정대상 행동을 직접 수행하면 공지의 다양한 동작인식 기술에 의해 동작인식 정보가 생성될 수 있고, 생성된 동작인식 정보를 기초로 행동정보 데이터베이스(100)를 참조하여 행동정보가 행동구간 별로 추출될 수 있다(S110).
이때, 행동구간은 사용자가 교정대상 행동을 수행할 때 신체 각 부위의 궤적 변위, 궤적 속도, 궤적 가속도 등과 같은 물리적 정보와 사용자의 뇌 활성 부위에 대한 정보를 기준으로 나누어질 수 있다.
다음으로, 행동구간 별로 추출된 행동정보를 기초로 오류유형 데이터베이스(110)를 참조하여 사용자 행동에 나타난 오류유형이 검출될 수 있다(S120).
도 4는 행동교정 시스템에 적용되는 행동구간별 행동교정 방법을 도시한 순서도이다.
도 4를 참조하면, 본 발명에 따른 행동구간별 행동교정 방법은 행동정보 데이터베이스(100), 오류유형 데이터베이스(110) 및 교정지침 데이터베이스(120)를 구비하는 행동교정 시스템에 적용될 수 있고, 행동 선택 단계(S200), 행동 및 행동구간 추출 단계(S210), 오류유형 및 교정지침 검출 단계(S220), 및 사용자에게 교정지침을 제공하는 단계(S230)를 포함할 수 있다.
먼저, 사용자는 화면 인터페이스 등을 통해 제공되는 교정대상 행동 리스트를 보고, 예를 들어 화면을 터치하는 방식으로 특정한 교정대상 행동을 선택할 수 있다(S200).
다음으로, 사용자가 기 선택된 교정대상 행동을 직접 수행하면 공지의 다양한 동작인식 기술에 의해 동작인식 정보가 생성될 수 있고, 생성된 동작인식 정보를 기초로 행동정보 데이터베이스(100)를 참조하여 행동정보가 행동구간 별로 추출될 수 있다(S210).
이때, 행동구간은 사용자가 교정대상 행동을 수행할 때 신체 각 부위의 궤적 변위, 궤적 속도, 궤적 가속도 등과 같은 물리적 정보와 사용자의 뇌 활성 부위에 대한 정보를 기준으로 나누어질 수 있다.
다음으로, 행동구간 별로 추출된 행동정보를 기초로 오류유형 데이터베이스(110)를 참조하여 사용자 행동에 나타난 오류유형이 검출될 수 있고, 검출된 오류유형을 기초로 교정지침 데이터베이스(120)를 참조하여 검출된 오류유형에 대응하는 교정지침에 대한 정보가 검출될 수 있다(S220).
다음으로, 검출된 오류유형 및 교정지침에 대한 정보를 사용자에게 제공할 수 있다(S230).
이때, 교정지침에 대한 정보는 텍스트 정보를 포함하거나 이에 대응하는 동영상 정보를 포함할 수 있고, 텍스트 또는 동영상 형태의 정보를 출력할 수 있는 다양한 공지의 음성 출력 장치, 디스플레이 장치 등을 통해 사용자에게 제공될 수 있다.
또한, 오류유형 정보에는 각각의 오류유형의 발생 빈도가 예를 들어 제1 오류유형 60%, 제2 오류유형 20%, 제3 오류유형 10% 등과 같이 확률로 표시될 수도 있다.
이상에서 본 발명의 바람직한 실시 예를 중심으로 설명하였으나, 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 청구범위에 기재된 본 발명의 기술사상으로부터 벗어나지 않는 범위 내에서 구성요소의 부가, 변경, 삭제 또는 추가 등에 의해 실시 예를 다양하게 수정 및 변경시킬 수 있을 것이며, 이 또한 본 발명의 권리범위 내에 포함된다고 할 것이다.
100: 행동정보 데이터베이스 110: 오류유형 데이터베이스
120: 교정지침 데이터베이스 200: 행동선택모듈
300: 행동구간추출분석모듈 400: 제어모듈
500: 감각교란모듈 600: 피드백부

Claims (13)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 교정대상 행동에 대한 행동정보가 기 설정된 복수의 행동구간 별로 구분하여 저장되는 행동정보 데이터베이스;
    상기 행동정보 데이터베이스에 저장된 복수의 행동정보를 기초로 기계학습에 의해 복수의 오류유형을 추출하고, 상기 오류유형에 대한 정보가 교정대상 행동 및 상기 복수의 행동구간 별로 구분하여 저장되는 오류유형 데이터베이스;
    사용자에게 교정대상 행동 리스트를 제공하여 특정한 교정대상 행동을 선택하게 하는 행동선택모듈;
    사용자가 직접 수행한 교정대상 행동의 동작인식 정보를 입력 받고, 상기 행동정보 데이터베이스를 참조하여 상기 동작인식 정보에서 행동정보를 상기 복수의 행동구간 별로 구분하여 추출하는 행동구간추출분석모듈;
    상기 오류유형 데이터베이스에 저장된 오류유형 별로 오류를 교정하기 위한 교정지침에 대한 정보가 저장되는 교정지침 데이터베이스;
    상기 행동구간추출분석모듈에서 상기 복수의 행동구간 별로 구분하여 추출된 행동정보를 기초로 상기 오류유형 데이터베이스를 참조하여 오류유형을 검출하고, 상기 교정지침 데이터베이스를 참조하여 검출된 오류유형에 대응하는 교정지침에 대한 정보를 검출하는 제어모듈;
    상기 제어모듈에서 검출된 오류유형 및 교정지침에 대한 정보를 사용자에게 제공하는 피드백부; 및
    사용자가 교정대상 행동을 직접 수행할 때 사용자에게 감각 교란을 일으키는 감각교란모듈 포함하고,
    상기 행동구간은 행동의 궤적 변위, 궤적 속도 또는 궤적 가속도 중 하나 또는 둘 이상의 조합을 기준으로 구분되고,
    상기 행동구간의 구분 기준에는 사용자가 교정대상 행동을 수행할 때의 사용자의 뇌 활성 부위에 대한 정보가 추가되고,
    상기 제어모듈은 상기 감각교란모듈이 동작할 때의 행동정보와 상기 감각교란모듈이 동작하지 않을 때의 행동정보를 비교하여 사용자의 인지능력 이상 유무를 검출하고,
    상기 피드백부에 의해 제공되는 오류유형에 대한 정보에는 오류유형의 발생 빈도가 확률로 표시되는 것을 특징으로 하는 행동구간별 행동교정 시스템.
  7. 삭제
  8. 삭제
  9. 삭제
  10. 제6항에 있어서,
    상기 행동정보 데이터베이스는 상기 행동구간추출분석모듈에서 행동구간 별로 추출된 행동정보를 새로 추가하여 수정되는 것을 특징으로 하는 행동구간별 행동교정 시스템.
  11. 제6항에 있어서,
    상기 교정지침 데이터베이스에 저장된 교정지침에 대한 정보는 행동 삽입, 행동 삭제 또는 행동 대체의 형태인 것을 특징으로 하는 행동구간별 행동교정 시스템.
  12. 삭제
  13. 삭제
KR1020190167018A 2019-12-13 2019-12-13 행동구간별 오류유형 검출 시스템 및 방법과 이를 적용한 행동교정 시스템 및 방법 KR102444241B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190167018A KR102444241B1 (ko) 2019-12-13 2019-12-13 행동구간별 오류유형 검출 시스템 및 방법과 이를 적용한 행동교정 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190167018A KR102444241B1 (ko) 2019-12-13 2019-12-13 행동구간별 오류유형 검출 시스템 및 방법과 이를 적용한 행동교정 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20210076283A KR20210076283A (ko) 2021-06-24
KR102444241B1 true KR102444241B1 (ko) 2022-09-20

Family

ID=76607158

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190167018A KR102444241B1 (ko) 2019-12-13 2019-12-13 행동구간별 오류유형 검출 시스템 및 방법과 이를 적용한 행동교정 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102444241B1 (ko)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3570163B2 (ja) * 1996-07-03 2004-09-29 株式会社日立製作所 動作及び行動の認識方法及び装置及びシステム
KR20150017811A (ko) * 2013-08-07 2015-02-23 (주)유즈브레인넷 골프 스윙 연습 서비스 시스템 및 그 방법
CA2979390A1 (en) * 2015-03-12 2016-09-15 Akili Interactive Labs, Inc. Processor implemented systems and methods for measuring cognitive abilities
KR102439807B1 (ko) 2017-11-16 2022-09-02 경희대학교 산학협력단 치매 환자 관리 방법 및 그 시스템
KR20190106259A (ko) * 2018-03-08 2019-09-18 주식회사 넷프로 골프 시뮬레이터 시스템

Also Published As

Publication number Publication date
KR20210076283A (ko) 2021-06-24

Similar Documents

Publication Publication Date Title
US20230107040A1 (en) Human-computer interface using high-speed and accurate tracking of user interactions
US10262196B2 (en) System and method for predicting neurological disorders
Sebe et al. Emotion recognition based on joint visual and audio cues
CN109241829B (zh) 基于时空注意卷积神经网络的行为识别方法及装置
US10572072B2 (en) Depth-based touch detection
EP3422246A1 (en) Method for awakening intelligent robot, and intelligent robot
US20200082549A1 (en) Efficient object detection and tracking
CN110291478A (zh) 驾驶员监视和响应系统
EP3483785A1 (en) System and method for guiding social interactions
KR102174695B1 (ko) 객체 움직임 인식 방법 및 장치
US11417189B2 (en) Information processing apparatus and method, storage medium, and monitoring system
JP7392492B2 (ja) 時間的視覚的な顔の特徴に基づく認知及び発話障害検出のための方法、サーバ及びプログラム
CN107273869B (zh) 手势识别控制方法和电子设备
Ponce-López et al. Multi-modal social signal analysis for predicting agreement in conversation settings
Dael et al. Measuring body movement: Current and future directions in proxemics and kinesics.
Khilari Iris tracking and blink detection for human-computer interaction using a low resolution webcam
KR102444241B1 (ko) 행동구간별 오류유형 검출 시스템 및 방법과 이를 적용한 행동교정 시스템 및 방법
Oszust et al. Isolated sign language recognition with depth cameras
US20230177703A1 (en) Tracking multiple surgical tools in a surgical video
US10719173B2 (en) Transcribing augmented reality keyboard input based on hand poses for improved typing accuracy
US20230131717A1 (en) Search processing device, search processing method, and computer program product
KR20200081529A (ko) 사회적 수용성을 고려한 hmd 기반 사용자 인터페이스 방법 및 장치
JP6451418B2 (ja) 注視対象判定装置、注視対象判定方法、および、注視対象判定プログラム
JP2014191479A (ja) 顔認識装置、撮像装置、制御方法、及びプログラム
KR20140102486A (ko) 눈추적 기술을 이용한 키보드 입력 장치 및 그 입력 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant