KR20120017320A - 증강 현실을 이용한 운동 시스템 및 방법 - Google Patents
증강 현실을 이용한 운동 시스템 및 방법 Download PDFInfo
- Publication number
- KR20120017320A KR20120017320A KR1020100079946A KR20100079946A KR20120017320A KR 20120017320 A KR20120017320 A KR 20120017320A KR 1020100079946 A KR1020100079946 A KR 1020100079946A KR 20100079946 A KR20100079946 A KR 20100079946A KR 20120017320 A KR20120017320 A KR 20120017320A
- Authority
- KR
- South Korea
- Prior art keywords
- exercise
- joint
- image
- virtual object
- unit
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 37
- 238000005516 engineering process Methods 0.000 claims abstract description 15
- 210000003857 wrist joint Anatomy 0.000 claims description 35
- 210000001503 joint Anatomy 0.000 claims description 23
- 238000003745 diagnosis Methods 0.000 claims description 18
- 238000013500 data storage Methods 0.000 claims description 14
- 210000000323 shoulder joint Anatomy 0.000 claims description 12
- 210000000629 knee joint Anatomy 0.000 claims description 11
- 210000000544 articulatio talocruralis Anatomy 0.000 claims description 9
- 210000002310 elbow joint Anatomy 0.000 claims description 9
- 230000005856 abnormality Effects 0.000 claims description 6
- 201000010099 disease Diseases 0.000 abstract 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 abstract 1
- 230000036544 posture Effects 0.000 description 41
- 230000008569 process Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 16
- 238000004458 analytical method Methods 0.000 description 12
- 208000023178 Musculoskeletal disease Diseases 0.000 description 11
- 230000008859 change Effects 0.000 description 8
- 238000005070 sampling Methods 0.000 description 8
- 238000012549 training Methods 0.000 description 8
- 210000001364 upper extremity Anatomy 0.000 description 7
- 238000001914 filtration Methods 0.000 description 5
- 210000000707 wrist Anatomy 0.000 description 5
- 230000002123 temporal effect Effects 0.000 description 4
- 208000002193 Pain Diseases 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 210000003141 lower extremity Anatomy 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000037147 athletic performance Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000036407 pain Effects 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 208000000094 Chronic Pain Diseases 0.000 description 1
- 208000000112 Myalgia Diseases 0.000 description 1
- 208000000491 Tendinopathy Diseases 0.000 description 1
- 206010043255 Tendonitis Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 208000003295 carpal tunnel syndrome Diseases 0.000 description 1
- 230000001684 chronic effect Effects 0.000 description 1
- 238000009207 exercise therapy Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 210000001624 hip Anatomy 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 210000003041 ligament Anatomy 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 208000013465 muscle pain Diseases 0.000 description 1
- 210000003739 neck Anatomy 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 238000000554 physical therapy Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 208000023504 respiratory system disease Diseases 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 210000002832 shoulder Anatomy 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 208000011580 syndromic disease Diseases 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 201000004415 tendinitis Diseases 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 206010048627 thoracic outlet syndrome Diseases 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Child & Adolescent Psychology (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Abstract
증강 현실을 이용한 운동 시스템 및 운동 방법이 개시된다. 본 발명의 일측에 따른 증강 현실을 이용한 운동 시스템은 특정 영역에 대한 영상을 획득하는 적어도 하나 이상의 영상 획득부; 상기 영상 내에 존재하는 객체(object)와 관련된 가상 객체(virtual object)를 생성하는 가상 객체 생성부; 상기 영상 및 상기 가상 객체를 디스플레이 하는 디스플레이부; 및 상기 영상을 분석하여 상기 객체의 운동 자세 및 동작을 인식하는 제스처 인식부를 포함하되, 상기 가상 객체는 상기 객체의 움직임과 상호작용(Interaction)하며, 운동 수행자는 상기 가상 객체에 대한 운동 시나리오에 따라 운동을 수행하는 것을 특징으로 한다. 또한, 상기 제스처 인식부에서 인식한 상기 객체의 운동 자세 및 동작 인식 결과를 저장하는 운동 데이터 저장부; 상기 운동 데이터 저장부에 저장된 상기 인식 결과를 통해 상기 객체의 이상을 진단하는 진단부; 상기 진단에 따른 처방을 제공하는 처방 제공부를 더 포함할 수 있다. 본 발명에 따른 증강 현실을 이용한 운동 시스템에 따르면 증강 현실기술과 제스처 인식 기술을 활용하여 근골격계 질환의 진단 및 처방을 할 수 있는 장점이 있다.
Description
본 발명의 일실시예들은 증강 현실을 이용한 운동 시스템 및 방법에 관한 것으로서, 운동 수행자의 움직임과 가상 객체의 상호 작용(interaction)을 통해 운동 수행자에게 운동효과를 제공하며 움직임을 분석하여 운동 수행자 신체의 진단 및 처방을 제공하는 운동 시스템에 관한 것이다.
증강 현실(增强現實: Augmented Reality)이란 가상 현실(Virtual Reality)의 한 분야로서, 실제 환경에 가상 객체(Virtual Object)를 합성하여 실제 환경상에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법을 의미하는 것으로서, 도 1을 참조하면, 현실 세계에 원래의 환경에 존재하는 사물처럼 보이도록 컴퓨터 그래픽 기법으로 구현한 가상 현실을 합성한 것이 증강 현실이다.
증강 현실은 가상의 공간과 사물만을 대상으로 하는 기존의 가상 현실과 달리 현실 세계의 기반 위에 가상의 사물을 합성하여 현실 세계만으로는 얻기 어려운 부가적인 정보들을 보강해 제공할 수 있는 특징을 가지고 있다. 이러한 특징 때문에 단순히 게임과 같은 분야에만 한정된 적용이 가능한 기존의 가상 현실과는 달리 증강 현실은 다양한 현실 환경에 응용할 수 있으며 특히, 유비쿼터스 환경에 적합한 차세대 디스플레이 기술로 주목 받고 있다.
의학분야에서는 환자를 진찰할 때, 환자에 대한 정보가 증강 현실과 함께 제공되도록 하여 의사의 진단 및 수술과정을 돕는 응용 사례가 많아지고 있으며, 군대조직에서는 항공분야나 수색활동에 도움을 주기 위하여 증강 현실이 적용되고 있다.
특히, 의학분야에서는 근골격계 질환의 예방 및 치료의 필요성이 커지고 있다. 근골격계 질환은 허리, 어깨, 무릎, 목, 손목 등 주로 관절 부위에 있는 근육, 신경, 인대, 혈관, 뼈 등에 나타나는 만성적인 통증과 불편함을 나타내는 증상으로 수근관증후군(Carpal Tunnel Syndrome), 건염(Tendonitis), 흉곽출구 증후군(Thoracic Outlet Syndrome), 경추자세 증후군(Tension Neck Syndrome)등이 있다.
발생 원인으로는 반복적이며 지속적이거나 부자연스러운 자세에서 생활활동을 수행하는 경우 발생할 확률이 높다. 주로 근골격계 질환은 직장생활에서 장시간의 반복적이고 지속적인 사무자세의 유지 및 특정 자세에 따른 부자연스러운 자세의 무리가 누적되어 무리를 받는 관절에 통증이 발생하게 된다. 따라서, 이러한 근골격계 질환의 치료를 위한 병원의 진료가 증가하고 있다.
보건 복지부의 2005년 의료기관의 환자조사 결과, 외래 환자의 가장 높은 질환이 호흡기계 질환 다음으로 근골격계 질환으로 조사되었고 노동부의 근로복지공단의 조사결과는 근골격계 질환 환자의 발생 추이가 과거와 비교하면 급속이 증가된다고 조사되었다.
고령자의 근골격계 질환을 위한 재활 훈련은 만성적인 관절 및 근육의 통증을 치료하는 방법으로 물리치료 및 자극 치료가 많이 사용되지만, 통증치료에 의존한 재활치료는 자극에 대한 일시적 변화의 효과는 있으나 일상생활에서 근골격계 질환의 통증 완화를 위한 지속적인 운동치료 훈련법은 부족한 것이 현실이다.
최근 이러한 단점이 보완되는 재활 훈련을 위해 증강 현실 기술이 많이 연구되고 있는데, 그 이유는 증강 현실 기술은 환자와 가상의 객체 사이에 상호작용할 수 있는 게임 형식의 재활 훈련 방법의 제공이 가능하기 때문이다. 게임형식의 재활 훈련은 환자들에게 재활 훈련에 흥미를 제공하며 지속적인 훈련 호응도를 제시할 수 있는 장점이 있다.
그런데 종래의 재활 훈련을 위한 종래의 기술은 Motion Sensor 기반으로 만들어져 고가의 장비가 요구되며 단순 재활의 목적으로 만들어져 진단 및 처방이 안 되는 단점이 있었다.
상기한 바와 같은 종래기술의 문제점을 해결하기 위해, 본 발명은 운동 수행자가 손쉽게 접근할 수 있도록 카메라 기반의 제스처 인식 기술이 적용된 증강 현실을 이용한 운동시스템을 제안하고자 한다.
또한, 본 발명에서는 증강 현실기술과 제스처 인식 기술을 활용하여 근골격계 질환의 진단 및 처방을 할 수 있는 증강 현실을 이용한 운동시스템을 제안하고자 한다.
아울러, 본 발명은 3D depth 카메라 또는 저가의 웹 카메라로 구성되어 Motion Sensor 기반으로 만들어진 종래의 운동 시스템 보다 저가의 운동시스템을 제공하며 운동 수행자가 운동 하면서 흥미가 유발될 수 있도록 상지 관절, 하지 관절 또는 상하지 관절의 복합 운동이 가능한 증강 현실을 이용한 운동 시스템을 제안한다.
본 발명의 다른 목적들은 하기의 실시예를 통해 당업자에 의해 도출 될 수 있을 것이다.
상기한 목적을 달성하기 위해 본 발명의 바람직한 일실시예에 따르면, 특정 영역에 대한 영상을 획득하는 적어도 하나 이상의 영상 획득부; 상기 영상 내에 존재하는 객체(object)와 관련된 가상 객체(virtual object)를 생성하는 가상 객체 생성부 상기 영상 및 상기 가상 객체를 디스플레이 하는 디스플레이부; 및 상기 영상을 분석하여 상기 객체의 운동 자세 및 동작을 인식하는 제스처 인식부를 포함하되, 상기 가상 객체는 상기 객체의 움직임과 상호작용(Interaction)하며, 운동 수행자는 상기 가상 객체에 대한 운동 시나리오에 따라 운동을 수행하는 것을 특징으로 하는 증강현실을 이용한 운동 시스템이 제공된다.
상기 객체는 손목 관절, 팔꿈치 관절, 어깨 관절, 발목 관절 및 무릎 관절 중 적어도 하나 이상의 관절을 포함하는 것을 특징으로 한다.
영상 내에 존재하는 객체를 인식하는 객체 인식부를 더 포함할 수 있다.
상기 가상 객체에 대한 상기 운동 시나리오를 생성하는 운동 시나리오 생성부를 더 포함하되, 상기 운동 시나리오는 적어도 하나 이상 형성되는 것을 특징으로 할 수 있다.
상기 가상 객체에 대한 적어도 하나 이상의 상기 운동 시나리오 중 어느 하나의 운동 시나리오를 선택할 수 있도록 하는 운동 시나리오 선택부; 상기 객체에 포함되는 복수의 관절 중 적어도 하나 이상의 관절을 선택하여 운동할 수 있도록 하는 관절 선택부를 더 포함할 수 있다.
상기 제스처 인식부에서 인식한 상기 객체의 운동 자세 및 동작 인식 결과를 저장하는 운동 데이터 저장부; 상기 운동 데이터 저장부에 저장된 상기 인식 결과를 통해 상기 객체의 이상을 진단하는 진단부; 및 상기 진단에 따른 처방을 제공하는 처방 제공부를 더 포함할 수 있다.
또한, 본 발명의 다른 일실시예에 따르면, 특정 영역에 대한 영상을 획득하는 단계; 상기 영상 내에 존재하는 객체(object)와 관련된 가상 객체(virtual object)를 생성하는 단계; 상기 영상과 상기 가상 객체를 디스플레이 하는 단계; 상기 영상을 분석하여 상기 객체의 운동 자세 및 동작을 인식하는 단계; 상기 객체의 운동 자세 및 동작 인식 결과를 저장하는 단계; 상기 저장된 상기 인식 결과를 통해 상기 객체의 이상을 진단하는 단계; 및 상기 진단에 따른 처방을 제공하는 단계를 포함하되, 상기 가상 객체는 상기 신체의 움직임과 상호작용(Interaction)하며, 운동 수행자는 상기 가상 객체에 대한 운동 시나리오에 따라 운동을 수행하는 것을 특징으로 하는 증강현실을 이용한 운동 방법이 제공된다.
본 발명에 따른 증강 현실을 이용한 운동 시스템 및 운동 방법은 증강 현실 기술과 제스처 인식 기술을 활용하여 근골격계 질환의 진단 및 처방을 할 수 있는 장점이 있다.
도 1은 증강 현실의 개념을 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 증강 현실을 이용한 운동 시스템의 상세한 구성을 도시한 블록도이다.
도 3은 본 발명의 일실시예에 따른 객체의 특징점을 객체 인식부에 등록하는 과정의 흐름을 나타내는 순서도이다.
도 4는 본 발명의 일실시예에 따른 객체가 3D Feature Tracking 기술에 의해 가상 객체와 상호작용을 하는 흐름을 나타내는 순서도이다.
도 5는 3d depth 카메라를 이용하여 제스처를 인식하는 과정의 흐름을 나타내는 순서도이다.
도 6은 본 발명의 일실시예에 따른 3D 객체 데이터를 전신 또는 상반신으로 분류한 일례를 도시한 도면이다
도 7은 시간에 따른 객체의 자세 변화와 이에 따른 3D 객체 데이터의 변화를 도시한 도면이다.
도 8은 Stereo vision을 이용하여 제스처를 인식하는 과정의 흐름을 나타내는 순서도이다.
도 9는 본 발명의 일실시예에 따른 운동 시나리오의 수행 결과에 따른 데이터베이스의 구현을 도시한 도면이다.
도 10은 본 발명의 일실시예에 따른 운동 데이터 저장부에 저장된 분석 결과를 통해 진단 및 처방하는 과정을 도시한 도면이다.
도 11은 본 발명의 일실시예에 따른 손목 관절의 운동 능력 향상을 위한 운동 시나리오와 자세 및 동작 인식을 위한 손목 관절의 움직임을 도시한 도면이다.
도 12는 본 발명의 일실시예에 따른 팔목 관절의 운동 능력 향상을 위한 운동 시나리오와 자세 및 동작 인식을 위한 팔목 관절의 움직임을 도시한 도면이다.
도 13은 본 발명의 일실시예에 따른 어깨 관절의 운동 능력 향상을 위한 운동 시나리오와 자세 및 동작 인식을 위한 어깨 관절의 움직임을 도시한 도면이다.
도 14는 본 발명의 일실시예에 따른 발목 관절의 운동 능력 향상을 위한 운동 시나리오와 자세 및 동작 인식을 위한 발목 관절의 움직임을 도시한 도면이다.
도 15는 본 발명의 일실시예에 따른 무릎 관절의 운동 능력 향상을 위한 운동 시나리오와 자세 및 동작 인식을 위한 무릎 관절의 움직임을 도시한 도면이다.
도 16은 본 발명의 일실시예에 따른 증강 현실을 이용한 운동 방법의 전체적인 흐름을 도시한 순서도이다.
도 2는 본 발명의 일실시예에 따른 증강 현실을 이용한 운동 시스템의 상세한 구성을 도시한 블록도이다.
도 3은 본 발명의 일실시예에 따른 객체의 특징점을 객체 인식부에 등록하는 과정의 흐름을 나타내는 순서도이다.
도 4는 본 발명의 일실시예에 따른 객체가 3D Feature Tracking 기술에 의해 가상 객체와 상호작용을 하는 흐름을 나타내는 순서도이다.
도 5는 3d depth 카메라를 이용하여 제스처를 인식하는 과정의 흐름을 나타내는 순서도이다.
도 6은 본 발명의 일실시예에 따른 3D 객체 데이터를 전신 또는 상반신으로 분류한 일례를 도시한 도면이다
도 7은 시간에 따른 객체의 자세 변화와 이에 따른 3D 객체 데이터의 변화를 도시한 도면이다.
도 8은 Stereo vision을 이용하여 제스처를 인식하는 과정의 흐름을 나타내는 순서도이다.
도 9는 본 발명의 일실시예에 따른 운동 시나리오의 수행 결과에 따른 데이터베이스의 구현을 도시한 도면이다.
도 10은 본 발명의 일실시예에 따른 운동 데이터 저장부에 저장된 분석 결과를 통해 진단 및 처방하는 과정을 도시한 도면이다.
도 11은 본 발명의 일실시예에 따른 손목 관절의 운동 능력 향상을 위한 운동 시나리오와 자세 및 동작 인식을 위한 손목 관절의 움직임을 도시한 도면이다.
도 12는 본 발명의 일실시예에 따른 팔목 관절의 운동 능력 향상을 위한 운동 시나리오와 자세 및 동작 인식을 위한 팔목 관절의 움직임을 도시한 도면이다.
도 13은 본 발명의 일실시예에 따른 어깨 관절의 운동 능력 향상을 위한 운동 시나리오와 자세 및 동작 인식을 위한 어깨 관절의 움직임을 도시한 도면이다.
도 14는 본 발명의 일실시예에 따른 발목 관절의 운동 능력 향상을 위한 운동 시나리오와 자세 및 동작 인식을 위한 발목 관절의 움직임을 도시한 도면이다.
도 15는 본 발명의 일실시예에 따른 무릎 관절의 운동 능력 향상을 위한 운동 시나리오와 자세 및 동작 인식을 위한 무릎 관절의 움직임을 도시한 도면이다.
도 16은 본 발명의 일실시예에 따른 증강 현실을 이용한 운동 방법의 전체적인 흐름을 도시한 순서도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. 이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
본 발명은 증강 현실을 이용한 운동 시스템 및 방법에 관한 것으로서 고령자의 근골격계 질환을 위한 재활 훈련에 관한 운동 시스템이다. 따라서, 상지 관절, 하지 관절 또는 상하지 관절에 대한 운동 시스템을 제안한다. 이하, 상기 관절에 대한 증강 현실을 이용한 운동 시스템에 대하여 설명하도록 한다.
도 2는 본 발명의 일실시예에 따른 증강 현실을 이용한 운동 시스템의 상세한 구성을 도시한 블록도이다.
도 2를 참고하면, 본 발명의 일실시예에 따른 증강 현실을 이용한 운동 시스템(200)은 영상 획득부(210), 객체 인식부(220), 관절 선택부(225), 가상 객체 생성부(230), 운동 시나리오 생성부(235), 운동 시나리오 선택부(240), 제스처 인식부(260), 디스플레이부(250), 진단 처방부(270)를 포함할 수 있다. 이하, 각 구성요소 별로 그 기능을 상술하기로 한다.
영상 획득부(210)는 특정 영역에 대한 영상을 획득한다. 일례로서 영상 획득부(210)는 CCD 카메라를 이용하여 특정 영역에 대한 영상을 획득할 수 있다.
객체 인식부(220)는 획득된 영상을 분석하여 객체(즉, 객체의 종류)를 인식한다.
일례로서, 객체 인식부(220)는 획득된 영상 내에 존재하는 객체의 특징점을 분석하여 객체의 형상을 추출하고, 추출된 객체의 형상과 기 저장된 기준(reference) 형상을 비교하여 객체의 종류를 인식할 수 있다.
또한, 특징점은 영상에서의 객체의 움직임을 추적하기 위해 사용된다. 특징점에 대한 정보는 객체 인식부(220)에 미리 생성되어 등록될 수 있다.
상기 객체는 상지 관절, 하지 관절, 상하지 관절을 모두 포함하며 상지 관절은 다시 손목 관절, 팔꿈치 관절 및 어깨 관절로 분류할 수 있으며, 하지 관절은 발목 관절 및 무릎 관절로 분류될 수 있다. 이하, 객체를 신체의 적어도 하나 이상의 관절로 정의하며 영상 속의 객체를 관절로 표현하여 설명하도록 한다.
이하, 도 3을 참조하여 특징점을 객체 인식부(220)에 등록하는 과정에 대해 설명하도록 한다.
도 3은 본 발명의 일실시예에 따른 관절의 특징점을 객체 인식부에 등록하는 과정의 흐름을 나타내는 순서도이다. 이하 도 3을 참조하여 각 단계별로 수행되는 과정을 설명하기로 한다.
먼저, 단계(S301)에서는 상기 관절 별로 Tracking Data를 생성한다. 기존의 증강 현실에서는 마커(Marker) 또는 Marker-less(이미지)를 Tracking Data로 활용하였으나 본 발명에서는 3D Feature(실물)를 Tracking Data로 활용한다. Tracking Data는 영상 내의 관절의 이동과 회전, 원근을 감지하기 위한 데이터이다.
단계(S305)에서는 Tracking Data 생성 후 특징점을 등록하기 위한 소스 데이터를 생성한다.
단계(S310)에서는 관절의 특징점을 등록한다. 본 발명에서는 손목 관절의 특징점, 팔꿈치 관절의 특징점, 어깨 관절의 특징점, 발목 관절의 특징점 또는 무릎 관절의 특징점 상기 관절 중 적어도 둘 이상을 포함하는 다중 관절의 특징점 등을 등록할 수 있다.
예를 들어, 손목 관절의 Tracking Data를 생성하는 경우 소스 데이터에 손목 관절의 특징점을 등록하고, 상지의 다중 관절의 Tracking Data를 생성하는 경우 소스 데이터에 손목 관절, 팔꿈치 관절, 어깨 관절의 특징점을 등록할 수 있다. 다시 말하면, Tracking Data에는 운동 수행자가 원하는 운동 부위의 관절에 따라 등록되는 특징점을 달리할 수 있다.
단계(S315)에서는 관절의 특징점이 등록된 Tracking Data를 객체 인식부(220)에 등록한다.
이하, 다시 도 2를 참조하여 증강 현실을 이용한 운동 시스템에 대해 설명하도록 한다.
관절 선택부(225)는 운동 시스템의 운동 수행자가 운동할 부위의 관절을 선택할 수 있도록 한다. 예를 들어, 운동 수행자가 수행하려는 운동이 손목 관절에 대한 운동일 때 손목 관절에 대해 선택하고, 객체 인식부(220)에서는 손목 관절을 객체로 인식하고 손목 관절에 대한 특징점을 분석하여 손목 관절을 인식한다. 또한, 상지 다중 관절에 대해 선택한 경우에는 객체 인식부(220)에서는 손목 관절, 팔꿈치 관절, 어깨 관절에 대한 특징점을 분석하여 상지의 다중 관절을 동시에 인식한다.
가상 객체 생성부(230)는 객체 인식부(220)에서 인식된 관절과 관련된 가상 객체(object)를 생성한다. 가상 객체는 적어도 하나 이상 형성될 수 있다. 예를 들어, 운동 수행자가 복수의 관절 중 손목 관절을 선택한 경우 손목 관절에 대한 가상 객체는 손목 관절에 대한 복수의 운동 시나리오에 따라 적어도 하나 이상 형성될 수 있다.
운동 시나리오 생성부(235)는 가상 객체에 대한 운동 시나리오를 생성한다. 운동 시나리오는 가상의 정해진 시각적인 자극을 통해 운동 수행자가 가상 객체를 움직이게 하여 운동이 수행되도록 하는 역할을 한다. 가상 객체에 대한 운동 시나리오는 적어도 하나 이상 형성될 수 있다.
다시 말하면, 예를 들어 손목 관절에 관련된 가상 객체를 위한 운동 시나리오가 복수 개 생성될 수 있다.
운동 시나리오 선택부(240)는 가상 객체에 대한 복수의 운동 시나리오 중 어느 하나의 운동 시나리오를 운동 수행자가 직접 선택할 수 있도록 한다.
디스플레이부(250)는 영상 획득부(210)를 통해 획득된 영상 및 가상 객체 생성부(230)에서 생성된 가상 객체를 디스플레이 한다. 상기 가상 객체는 영상 속의 관절의 움직임과 상호작용을 하며 이동하는데 객체 인식부(220)에 등록된 상기 관절의 특징점을 찾아 3D Feature Tracking 기술에 의해 상기 관절의 이동과 회전 및 원근을 감지하여 가상 객체와 상호작용을 할 수 있다.
일례로, 디스플레이부(250)는 영상과 가상 객체를 오버랩(overlap)하여 디스플레이 할 수 있다.
이하, 도 4를 참조하여 3d Feature Tracking 기술에 대해 살펴보도록 한다.
도 4는 본 발명의 일실시예에 따른 관절이 3D Feature Tracking 기술에 의해 가상 객체와 상호작용을 하는 흐름을 나타내는 순서도이다. 이하 도 4을 참조하여 각 단계별로 수행되는 과정을 설명하기로 한다.
먼저, 단계(S410)는 가상 객체를 로드 한다. 로드 되는 가상 객체는 운동 수행자가 관절 선택부(225)에서 선택한 관절의 가상 객체일 수 있다.
단계(S415)에서는 영상 획득부(210)가 영상을 획득한다. 단계(S420)에서는 획득한 영상을 분석한다.
이어서, 단계(S425)에서는 객체 인식부(220)에서 영상을 분석하여 관절의 특징점을 찾는다. 예를 들어, 가상 객체가 상지의 다중 관절에 대한 가상 객체라면 손목 관절 특징점, 팔목 관절 특징점, 어깨 관절 특징점을 찾게 되고 하지의 무릎 관절에 대한 가상 객체라면 무릎 관절 특징점을 찾게 된다.
단계(S430)에서는 객체 인식부(220)에서 영상을 분석하여 가상 객체에 대한 특징점을 찾은 경우 가상 객체를 디스플레이부(160)에 디스플레이 한다.
단계(S435)에서는 관절을 추적(Tracking)한다. 단계(S430)에서 영상을 분석하여 찾은 특징점과 객체 인식부(220)에 등록된 가상 객체와 관련한 Tracking Data를 이용하여 6 DOF(6자유도: Degree of freedom)를 계산하여 영상 속에 있는 관절을 추적한다.
이어서, 단계(S440)에서는 단계(S435)에서 수행하는 관절 추적(Tracking) 결과에 따라 가상 객체를 이동시킨다.
이하, 다시 도 2를 참조하여 증강 현실을 이용한 운동 시스템에 대해 설명하도록 한다.
제스처 인식부(260)는 운동 수행자의 제스처를 인식한다. 카메라를 통하여 입력되는 2차원 영상에서의 제스처는 시공간 속에서 어떤 의미가 있는 연속적인 패턴의 집합을 의미한다. 제스처 인식은 비디오카메라와 컴퓨터 비전 기술을 이용하여 제스처의 정보를 획득하는 방식으로서 신체의 동작이 갖는 추상적인 의미를 이해하는 것이 목적이다.
따라서, 관절의 제스처 인식을 통해 운동의 자세 및 동작을 인식하고 상기 인식 결과를 통해 근골격계 질환의 진단 및 처방을 할 수 있도록 한다.
제스처를 인식하는 방법으로는 3D depth 카메라를 이용하는 방법과 Stereo Vision을 이용하는 방법이 있다.
이하, 도 5에서는 3d depth 카메라를 이용하여 제스처를 인식하는 방법에 대해 설명하도록 한다.
도 5는 3d depth 카메라를 이용하여 제스처를 인식하는 과정의 흐름을 나타내는 순서도이다. 이하, 도 5를 참조하여 각 단계별로 수행되는 과정을 설명하기로 한다.
먼저, 단계(S510)는 3D depth 카메라를 이용하여 3D 객체 데이터를 추출한다. 3D 객체 데이터는 3D depth 카메라를 통해 추출한 유효거리 내의 객체에 대한 깊이 정보를 포함하는 데이터를 의미한다.
이어서, 단계(S515)에서는 상기 추출된 3D 객체 데이터를 필터링한다. 3D 객체 데이터에 전기적인 요인에 의한 오차와 시스템의 구현구조에서 기인하는 오차가 포함되게 되는데 Jump edge 필터링 등을 통해 비정상적인 데이터 또는 알고리즘 적용에 불필요한 데이터를 제거할 수 있다.
또한, 계산의 복잡성 및 객체 인식의 용이성을 위해 수집된 3D 객체 데이터에서 관계성이 떨어지는 데이터를 필터링 하며 이때, Sub-Sampling 기법을 통한 처리 데이터를 축소하거나 크기불변특징변환(SIFT: Scale Invariant Feature Transform), KLT(Kanade-Lucas-tomasi)등과 같은 알고리즘을 적용하여 특징(Feature) 추출을 통해 데이터를 필터링 할 수 있다.
단계(S520)에서는 3D 객체 데이터를 분할 및 클래스화 한다. 3D 객체 데이터에서의 운동을 수행하려는 관심 부위에 따라 해당 부위를 분할하고 개별 부위 또는 복합 부위의 자세, 동작 및 움직임의 인식을 위해 3D 객체 데이터를 클래스화한다.
도 6은 본 발명의 일실시예에 따른 3D 객체 데이터를 전신 또는 상반신으로 분류한 일례를 도시한 도면이다. 도 6을 참조하면, 3D 객체 데이터가 신체의 전신에 대해 분할되거나 신체의 상반신에 대해 분할되는 것을 확인할 수 있다.
이어서, 단계(S525)에서는 상기 단계를 거친 3D 객체 데이터의 자세를 분석한다. 자세 인식의 신뢰도를 확보하기 위해 템플릿 DB를 이용한 영역 기반 매칭 기법, Feature 기반 매칭 기법 및 모델 기반 매칭 기법을 혼용하여 신뢰도를 높일 수 있다. 템플릿 DB는 인체의 각 부분 또는 전체의 자세 및 움직임, 동작을 판단하기 위해 기준이 되는 비교 템플릿 데이터를 저장하고 있는 데이터베이스이다.
또는, 시스템의 하드웨어 성능이나 카메라의 설치 장소 적용하는 3D 객체의 부위를 조정하여 인식도를 높일 수도 있다. 자세 분석 시 고해상도가 필요한 경우 Interpolation 등을 적용한 UP sampling을 이용할 수 있으며 저해상도가 필요한 경우에는 Sub Sampling 등을 적용한 Down Sampling을 이용할 수 있다.
단계(S530)에서는 상기 단계를 거친 3D 객체 데이터의 동작을 분석한다. 동작은 자세의 시간적인 변화를 의미하며 자세의 시간에 따른 변화를 추적하여 동작 및 움직임을 인식한다. 자세 분석 시 이용한 템플릿 데이터에 시간 요소를 추가한 시간적 템플릿 데이터와 3D 객체 데이터를 비교 분석하여 동작 및 움직임을 인식 할 수 있다. 도 7은 시간에 따른 자세의 변화와 이에 따른 3D 객체 데이터의 변화를 보여준다.
이어서, 단계(S535)에서는 자세 분석과 동작 분석의 결과 값을 비교하여 인식의 신뢰도가 있는지 검증한다. 신뢰도가 이미 설정된 기준을 만족하지 않은 경우에는 단계(S540)을 수행한다.
단계(S540)은 인식의 신뢰도를 높이기 위하여 필터링 작업 및 분할 작업에서 사용되는 파라미터 값의 갱신 및 조정(calibration) 작업을 한다. 계속된 출력 검증을 통해 제스처 인식의 응용 별, 환경 조건에서 기인하는 오차 요인들을 제거 또는 축소하여 인식률을 개선하여 인식의 신뢰도를 높일 수 있다.
이하, 도 8에서는 Stereo vision을 이용하여 제스처를 인식하는 방법에 대해 설명하도록 한다.
도 8은 Stereo vision을 이용하여 제스처를 인식하는 과정의 흐름을 나타내는 순서도이다. 이하, 도 8을 참조하여 각 단계별로 수행되는 과정을 설명하기로 한다.
먼저, 단계(S810)에서는 좌우 세트를 이루는 스테레오 카메라에서 촬영된 복수의 영상을 이용하여 매칭 과정을 통해 깊이(depth) 맵 정보를 추출한다. 매칭 방법으로는 영역기반 매칭 방법 또는 Feature 기반 매칭 방법을 선택 또는 혼용하여 이용할 수 있다.
이어서, 단계(S815)에서는 깊이 맵 정보를 이용하여 3D 객체 데이터를 복원한다.
단계(S820)에서는 상기 추출된 3D 객체 데이터를 필터링한다. 3D 객체 데이터에 카메라 자체의 오차인 이미지 노이즈, Gain 불일치 및 명암차(contrast) 등의 오차와 카메라의 시점 관련 오차인 시각 관련 왜곡, 접합 및 반사 등의 오차를 제거한다.
또한, 계산의 복잡성 및 객체 인식의 용이성을 위해 수집된 3D 객체 데이터에서 관계성이 떨어지는 데이터를 필터링하며 이때, sub-Sampling 기법을 통한 처리 데이터를 축소하거나 크기불변특징변환(SIFT: Scale Invariant Feature Transform), KLT(Kanade-Lucas-tomasi) 등과 같은 알고리즘을 적용하여 특징(Feature) 추출을 통해 데이터를 필터링 할 수 있다.
단계(S825)에서는 3D 객체 데이터를 분할 및 클래스화 한다. 3D 객체 데이터에서의 운동을 수행하려는 관심 부위에 따라 해당 부위를 분할하고 개별 부위 또는 복합부위의 자세, 동작 및 움직임의 인식을 위해 3D 객체 데이터를 클래스화한다.
이어서, 단계(S830)에서는 상기 단계를 거친 3D 객체 데이터의 자세를 분석한다. 자세 인식의 신뢰도를 확보하기 위해 템플릿 DB를 이용한 영역 기반 매칭 기법, Feature 기반 매칭 기법 및 모델 기반 매칭 기법을 혼용하여 신뢰도를 높일 수 있다. 또는, 시스템의 하드웨어 성능이나 카메라의 설치 장소 적용하는 3D 객체의 부위를 조정하여 인식도를 높일 수도 있다. 자세 분석 시 고해상도가 필요한 경우 Interpolation 등을 적용한 UP sampling을 이용할 수 있으며 저해상도가 필요한 경우에는 Sub Sampling 등을 적용한 Down Sampling을 이용할 수 있다.
단계(S835)에서는 상기 단계를 거친 3D 객체 데이터의 동작을 분석한다. 동작은 자세의 시간적인 변화를 의미하며 자세의 시간에 따른 변화를 추적하여 동작 및 움직임을 인식한다. 자세 분석 시 이용한 템플릿 데이터에 시간 요소를 추가한 시간적 템플릿 데이터와 3D 객체 데이터를 비교 분석하여 동작 및 움직임을 인식한다.
이어서, 단계(S840)에서는 자세 분석과 동작 분석의 결과 값을 비교하여 인식의 신뢰도가 있는지 검증한다. 신뢰도가 이미 설정된 기준을 만족하지 않은 경우에는 단계(S845)를 수행한다.
단계(S845)는 인식의 신뢰도를 높이기 위하여 필터링 작업 및 분할 작업에서 사용되는 파라미터 값의 갱신 및 조정(calibration) 작업을 한다. 계속된 출력 검증을 통해 제스처 인식의 응용 별, 환경 조건에서 기인하는 오차 요인들을 제거 또는 축소하여 인식률을 개선하여 인식의 신뢰도를 높일 수 있다.
본 발명의 또 다른 일실시예에 따르면 스테레오 카메라로부터 입력받은 2D 객체 데이터를 단계(S810), 단계(S815) 단계를 통한 3D 객체 데이터 복원 과정 없이 단계(S820~S845)과정을 거쳐 제스처를 인식할 수도 있다.
설치 장소 및 시스템 하드웨어 성능 등의 상황에 따라 3D 객체 데이터를 복원하여 제스처 인식을 하거나 복원과정 없이 2D 객체 데이터를 이용하는 방법을 혼용하여 제스처를 인식할 수 있을 것이다.
상기에서 살펴본 바와 같이 본 발명은 카메라를 기반으로 하여 제스처를 인식하기 때문에 Motion Sensor 기반으로 만들어진 종래의 운동 시스템 보다 저가의 운동 시스템을 제공할 수 있는 장점이 있다.
이하에서는, 다시 도 2를 참조하여 본 발명의 일실시예에 따른 증강 현실을 이용한 운동 시스템(200)에 대해 설명하도록 한다.
진단 처방부(270)는 운동 데이터 저장부(271), 진단부(273), 처방 제공부(275)를 포함할 수 있다.
운동 데이터 저장부(271)는 제스처 인식부(260)에서 인식한 관절의 운동 자세 및 동작 분석 결과를 저장한다.
진단부(273)는 운동 데이터 저장부(271)에 저장된 분석 결과를 통해 관절의 이상을 진단한다.
처방 제공부(275)는 진단부(273)의 결과에 따른 처방을 제공한다. 상기 처방은 복수의 운동 시나리오 중 어느 하나의 운동 시나리오를 수행하도록 하는 것일 수 있다.
도 9는 본 발명의 일실시예에 따른 운동 시나리오의 수행 결과에 따른 데이터베이스의 구현을 도시한 도면이다.
도 9를 참조하면, 운동 데이터 저장부(271)는 운동 시나리오 별로 수행자의 수행 데이터 분석 필드를 구현할 수 있으며, 개인별 운동 능력 종합 데이터 분석 필드를 구현할 수 있다. 또한, 운동 능력의 수준에 따른 질환자의 분포 데이터 분석 필드를 구현할 수 있다.
도 9는 상지 관절 운동 시나리오에 대한 운동 데이터 저장부(271)의 일례를 도시하고 있으나 하지 관절에 대한 운동 데이터 저장부(271)도, 도 9에 도시된 바와 같이 구현할 수 있다.
도 10은 본 발명의 일실시예에 따른 운동 데이터 저장부에 저장된 분석 결과를 통해 진단 및 처방하는 과정을 도시한 도면이다.
도 10을 참조하면 진단부(273)는 수행 결과 데이터를 통계적 분석방법으로 검증하여 운동 능력의 기준을 제시할 수 있으며, 운동 데이터 저장부(271)의 필드 별 통계적 분석방법을 이용하여 운동 시나리오 및 개인별 수행 능력에 대한 정규분포도를 구현할 수 있다. 상기 운동 시나리오 별 정규분포도를 활용하여 개인의 관절 운동의 수행 능력을 판단하여 문제가 있는 부위의 관절에 대해 진단을 할 수 있다.
이어서, 상기 진단결과를 활용하여 개인별 수행해야 할 운동 시나리오의 처방을 내릴 수 있다.
도 10은 상지 관절에 대한 진단 및 처방하는 과정의 일례를 도시하고 있으나 하지 관절에 대한 진단 및 처방도 도 10에 도시된 바와 같이 구현할 수 있다.
도 11은 본 발명의 일실시예에 따른 손목 관절의 운동 능력 향상을 위한 운동 시나리오와 자세 및 동작 인식을 위한 손목 관절의 움직임을 도시한 도면이다.
도 11을 참조하면, 도 11(a)는 손목 관절의 운동능력 향상을 위한 운동 시나리오의 한 일례이다. 흥미롭고 몰입 감이 높은 손목 관절의 운동이 가능하도록 손목 관절의 움직임과 가상 객체는 상호 작용을 이루며 운동 시나리오에 의해 가상 객체의 운동 범위, 속도 등이 제어된다. 또한, 손목 관절 운동의 시각적인 피드백 제시 및 차단을 조절하여 운동 효과를 향상 시킬 수 있다.
도 11(b)는 손목 관절의 자세 및 동작 인식을 위한 손목 관절 움직임의 일례를 도시한 도면이다. 제스처 인식부(260)에서는 3d 객체 데이터를 이용하여 손목의 자세 및 동작 정보를 추출하고 손목의 회전, 각도, 원근 등을 분석하여 3D feature 및 3D 자세 모델 등과 비교를 통해 제스처 인식의 정확도를 향상 시킨다.
도 11과 관련하여 손목 관절에 대해 설명했지만 본 설명은 도 12 내지 도 15 에 대해서도 동일하게 적용될 수 있을 것이다. 본 설명에서의 손목 관절은 도 12에서 팔꿈치 관절, 도 13에서 어깨 관절, 도 14에서 발목 관절, 도 15에서 무릎 관절로 대체되어 동일하게 설명된다.
도 16은 본 발명의 일실시예에 따른 증강 현실을 이용한 운동 방법의 전체적인 흐름을 도시한 순서도이다. 이하, 도 16을 참고하여 각 단계별로 수행되는 과정을 설명하기로 한다.
먼저, 단계(S1610)에서는 CCD 카메라, 3d depth 카메라, 복수의 카메라로 이루어진 스테레오 카메라 등을 이용하여 특정 영역에 대한 영상을 획득한다.
단계(S1615)에서는 특정 영역 상에 존재하는 관절을 인식한다. 상기 관절은 손목 관절, 팔꿈치 관절, 어깨 관절, 발목 관절 및 무릎 관절 중 적어도 하나 이상의 관절을 의미한다.
단계(S1620)에서는 관절과 관련된 가상 객체(virtual object)를 생성한다. 운동 수행자는 가상 객체에 대한 운동 시나리오에 따라 관절을 움직이며 운동을 수행하게 된다.
단계(S1625)에서는 영상 및 가상 객체를 디스플레이 한다. 상기 가상 객체는 영상 속의 관절의 움직임과 상호작용을 하며 이동하는데 상호작용은 상기 관절의 특징점을 찾아 3D Feature Tracking 기술에 의해 상기 관절의 이동과 회전 및 원근을 감지하여 가상 객체와 상호작용을 할 수 있도록 한다.
이어서, 단계(S1630)에서는 관절의 운동 자세 및 동작을 인식한다. 자세 및 동작을 인식하는 방법으로는 3D depth 카메라를 이용하는 방법 또는 Stereo Vision을 이용하는 방법이 있다.
단계(S1635)에서는 관절의 운동 자세 및 동작의 인식 결과를 저장하고 단계(S1640)에서는 상기 인식 결과를 통해 관절의 이상을 진단한다.
단계(S1640)에서는 진단 결과에 따른 처방을 제공하며 상기 처방은 상기 가상 객체에 대한 복수의 운동 시나리오 중 어느 하나를 수행토록 하는 처방일 수 있다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
200 : 운동 시스템 210 : 영상 획득부
220 : 객체 인식부 225 : 관절 선택부
230 : 가상 객체 생성부 235 : 운동 시나리오 생성부
240 : 운동 시나리오 선택부 250 : 디스플레이부
260 : 제스처 인식부 270 : 진단 처방부
271 : 운동 데이터 저장부 273 : 진단부
275 : 처방 제공부
220 : 객체 인식부 225 : 관절 선택부
230 : 가상 객체 생성부 235 : 운동 시나리오 생성부
240 : 운동 시나리오 선택부 250 : 디스플레이부
260 : 제스처 인식부 270 : 진단 처방부
271 : 운동 데이터 저장부 273 : 진단부
275 : 처방 제공부
Claims (15)
- 특정 영역에 대한 영상을 획득하는 적어도 하나 이상의 영상 획득부;
상기 영상 내에 존재하는 객체(object)와 관련된 가상 객체(virtual object)를 생성하는 가상 객체 생성부;
상기 영상 및 상기 가상 객체를 디스플레이 하는 디스플레이부; 및
상기 영상을 분석하여 상기 객체의 운동 자세 및 동작을 인식하는 제스처 인식부
를 포함하되,
상기 가상 객체는 상기 객체의 움직임과 상호작용(Interaction)하며, 운동 수행자는 상기 가상 객체에 대한 운동 시나리오에 따라 운동을 수행하는 것을 특징으로 하는 증강 현실을 이용한 운동 시스템. - 제1항에 있어서,
상기 객체는 손목 관절, 팔꿈치 관절, 어깨 관절, 발목 관절 및 무릎 관절 중 적어도 하나 이상의 관절을 포함하는 것을 특징으로 하는 증강 현실을 이용한 운동 시스템. - 제1 항에 있어서,
상기 영상 내에 존재하는 객체를 인식하는 객체 인식부를 더 포함하는 것을 특징으로 하는 증강 현실을 이용한 운동 시스템. - 제1 항에 있어서,
상기 가상 객체에 대한 상기 운동 시나리오를 생성하는 운동 시나리오 생성부
를 더 포함하되,
상기 운동 시나리오는 적어도 하나 이상 형성되는 것을 특징으로 하는 증강 현실을 이용한 운동 시스템. - 제4항에 있어서,
상기 가상 객체에 대한 적어도 하나 이상의 상기 운동 시나리오 중 어느 하나의 운동 시나리오를 선택할 수 있도록 하는 운동 시나리오 선택부를 더 포함하는 것을 특징으로 하는 증강 현실을 이용한 운동 시스템. - 제2 항에 있어서,
상기 객체에 포함되는 복수의 관절 중 적어도 하나 이상의 관절을 선택하여 운동할 수 있도록 하는 관절 선택부를 더 포함하는 것을 특징으로 하는 증강 현실을 이용한 운동 시스템. - 제1항에 있어서,
상기 제스처 인식부는 상기 객체의 움직임을 인식하기 위해 Stereo Vision 기술을 이용하는 것을 특징으로 하는 증강 현실을 이용한 운동 시스템. - 제7항에 있어서,
상기 영상 획득부는 좌측 카메라와 우측 카메라로 이루어진 스테레오 카메라를 포함하는 것을 특징으로 하는 증강 현실을 이용한 운동 시스템. - 제1항에 있어서,
상기 영상 획득부는 3D depth카메라를 포함하되,
상기 제스처 인식부는 3D depth 카메라에서 추출된 데이터를 이용하여 상기 객체의 움직임을 인식하는 것을 특징으로 하는 증강 현실을 이용한 운동 시스템. - 제1항에 있어서,
상기 제스처 인식부에서 인식한 상기 객체의 운동 자세 및 동작 인식 결과를 저장하는 운동 데이터 저장부;
상기 운동 데이터 저장부에 저장된 상기 인식 결과를 통해 상기 객체의 이상을 진단하는 진단부를 더 포함하는 것을 특징으로 하는 증강 현실을 이용한 운동 시스템. - 제10 항에 있어서,
상기 진단에 따른 처방을 제공하는 처방 제공부를 더 포함하는 것을 특징으로 하는 운동 시스템. - 제11항에 있어서,
상기 처방은 상기 복수의 운동 시나리오 중 어느 하나의 운동 시나리오를 수행하도록 하는 것을 특징으로 하는 운동 시스템. - 특정 영역에 대한 영상을 획득하는 단계;
상기 영상 내에 존재하는 객체(object)와 관련된 가상 객체(virtual object)를 생성하는 단계;
상기 영상과 상기 가상 객체를 디스플레이 하는 단계; 및
상기 영상을 분석하여 상기 객체의 운동 자세 및 동작을 인식하는 단계를 포함하되,
상기 가상 객체는 상기 신체의 움직임과 상호작용(Interaction)하며, 운동 수행자는 상기 가상 객체에 대한 운동 시나리오에 따라 운동을 수행하는 것을 특징으로 하는 증강 현실을 이용한 운동 방법. - 제13항에 있어서,
상기 객체는 손목 관절, 팔꿈치 관절, 어깨 관절, 발목 관절 및 무릎 관절 중 적어도 하나 이상의 관절을 포함하는 것을 특징으로 하는 증강 현실을 이용한 운동 방법. - 제13 항에 있어서,
상기 객체의 운동 자세 및 동작 인식 결과를 저장하는 단계;
상기 저장된 상기 인식 결과를 통해 상기 객체의 이상을 진단하는 단계; 및
상기 진단에 따른 처방을 제공하는 단계를 더 포함하는 것을 특징으로 하는 증강 현실을 이용한 운동 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100079946A KR20120017320A (ko) | 2010-08-18 | 2010-08-18 | 증강 현실을 이용한 운동 시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100079946A KR20120017320A (ko) | 2010-08-18 | 2010-08-18 | 증강 현실을 이용한 운동 시스템 및 방법 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020120124356A Division KR20120137327A (ko) | 2012-11-05 | 2012-11-05 | 증강 현실을 이용한 운동 시스템 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20120017320A true KR20120017320A (ko) | 2012-02-28 |
Family
ID=45839294
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020100079946A KR20120017320A (ko) | 2010-08-18 | 2010-08-18 | 증강 현실을 이용한 운동 시스템 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20120017320A (ko) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160121477A (ko) * | 2016-10-05 | 2016-10-19 | 한국과학기술연구원 | 3d 프린팅을 지원하는 단말기 및 방법, 그 방법을 수행하기 위한 컴퓨터 프로그램 |
| US10234847B2 (en) | 2014-08-19 | 2019-03-19 | Korea Institute Of Science And Technology | Terminal and method for supporting 3D printing, and computer program for performing the method |
| KR101970687B1 (ko) * | 2018-04-11 | 2019-04-19 | 주식회사 큐랩 | 개인화 증강현실 기술을 이용한 피트니스 코칭 시스템 |
| KR102490431B1 (ko) * | 2022-08-23 | 2023-02-01 | 주식회사 컴플렉시온 | 사용자의 움직임을 획득할 수 있는 환경을 판단하는 전자 장치의 제어 방법 |
| KR102501842B1 (ko) * | 2022-04-04 | 2023-02-21 | 주식회사 제이씨메디랩 | 운동 인식 알고리즘을 이용한 헬스 케어 시스템 |
| KR102510048B1 (ko) * | 2022-07-25 | 2023-03-15 | 주식회사 컴플렉시온 | 운동 동작에 따른 증강현실 데이터를 출력하는 전자 장치의 제어 방법 |
-
2010
- 2010-08-18 KR KR1020100079946A patent/KR20120017320A/ko active Application Filing
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10234847B2 (en) | 2014-08-19 | 2019-03-19 | Korea Institute Of Science And Technology | Terminal and method for supporting 3D printing, and computer program for performing the method |
| KR20160121477A (ko) * | 2016-10-05 | 2016-10-19 | 한국과학기술연구원 | 3d 프린팅을 지원하는 단말기 및 방법, 그 방법을 수행하기 위한 컴퓨터 프로그램 |
| KR101970687B1 (ko) * | 2018-04-11 | 2019-04-19 | 주식회사 큐랩 | 개인화 증강현실 기술을 이용한 피트니스 코칭 시스템 |
| KR102501842B1 (ko) * | 2022-04-04 | 2023-02-21 | 주식회사 제이씨메디랩 | 운동 인식 알고리즘을 이용한 헬스 케어 시스템 |
| KR102510048B1 (ko) * | 2022-07-25 | 2023-03-15 | 주식회사 컴플렉시온 | 운동 동작에 따른 증강현실 데이터를 출력하는 전자 장치의 제어 방법 |
| KR102490431B1 (ko) * | 2022-08-23 | 2023-02-01 | 주식회사 컴플렉시온 | 사용자의 움직임을 획득할 수 있는 환경을 판단하는 전자 장치의 제어 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20120137327A (ko) | 증강 현실을 이용한 운동 시스템 및 방법 | |
| Ryselis et al. | Multiple Kinect based system to monitor and analyze key performance indicators of physical training | |
| Fern'ndez-Baena et al. | Biomechanical validation of upper-body and lower-body joint movements of kinect motion capture data for rehabilitation treatments | |
| Zhao et al. | A Kinect-based rehabilitation exercise monitoring and guidance system | |
| Zhao et al. | Rule-based human motion tracking for rehabilitation exercises: realtime assessment, feedback, and guidance | |
| KR20120017320A (ko) | 증강 현실을 이용한 운동 시스템 및 방법 | |
| Dockstader et al. | Stochastic kinematic modeling and feature extraction for gait analysis | |
| US20220319236A1 (en) | Scoring metric for physical activity performance and tracking | |
| Anilkumar et al. | Pose estimated yoga monitoring system | |
| CN110561399A (zh) | 用于运动障碍病症分析的辅助拍摄设备、控制方法和装置 | |
| Mortazavi et al. | Continues online exercise monitoring and assessment system with visual guidance feedback for stroke rehabilitation | |
| Liu et al. | Simple method integrating OpenPose and RGB-D camera for identifying 3D body landmark locations in various postures | |
| Cotton et al. | Markerless Motion Capture and Biomechanical Analysis Pipeline | |
| Zheng et al. | Realistic full-body tracking from sparse observations via joint-level modeling | |
| Kipshagen et al. | Touch-and marker-free interaction with medical software | |
| Bandera et al. | A new paradigm for autonomous human motion description and evaluation: Application to the Get Up & Go test use case | |
| KR101519589B1 (ko) | 손 아바타를 이용한 콘텐츠 제어가능 전자학습 장치 및 방법 | |
| Kim et al. | Reconstructing whole-body motions with wrist trajectories | |
| Hachaj et al. | Averaging of motion capture recordings for movements’ templates generation | |
| Olivier et al. | A step‐by‐step modeling, analysis and annotation of locomotion | |
| CN109886123B (zh) | 一种识别人体动作的方法及终端 | |
| Chinnaiah et al. | A new deliberation of embedded based assistive system for Yoga | |
| Maik et al. | Hierarchical pose classification based on human physiology for behaviour analysis | |
| Xing et al. | Markerless motion capture of human body using PSO with single depth camera | |
| US20240112366A1 (en) | Two-dimensional pose estimation based on bipartite matching of joint type heatmaps and joint person heatmaps |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| A107 | Divisional application of patent | ||
| J201 | Request for trial against refusal decision | ||
| J301 | Trial decision |
Free format text: TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20121105 Effective date: 20140228 |