KR20220120731A - 거울형 디스플레이를 활용한 어포던스 헬스케어 콘텐츠 제공방법 및 장치 - Google Patents

거울형 디스플레이를 활용한 어포던스 헬스케어 콘텐츠 제공방법 및 장치 Download PDF

Info

Publication number
KR20220120731A
KR20220120731A KR1020210023064A KR20210023064A KR20220120731A KR 20220120731 A KR20220120731 A KR 20220120731A KR 1020210023064 A KR1020210023064 A KR 1020210023064A KR 20210023064 A KR20210023064 A KR 20210023064A KR 20220120731 A KR20220120731 A KR 20220120731A
Authority
KR
South Korea
Prior art keywords
user
avatar
posture
exercise
processor
Prior art date
Application number
KR1020210023064A
Other languages
English (en)
Inventor
허명현
김동호
Original Assignee
허명현
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 허명현 filed Critical 허명현
Priority to KR1020210023064A priority Critical patent/KR20220120731A/ko
Publication of KR20220120731A publication Critical patent/KR20220120731A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0075—Means for generating exercise programs or schemes, e.g. computerized virtual trainer, e.g. using expert databases
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A63B2024/0009—Computerised real time comparison with previous movements or motion sequences of the user
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0087—Electric or electronic controls for exercising apparatus of groups A63B21/00 - A63B23/00, e.g. controlling load
    • A63B2024/0096—Electric or electronic controls for exercising apparatus of groups A63B21/00 - A63B23/00, e.g. controlling load using performance related parameters for controlling electronic or video games or avatars
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B2071/0647—Visualisation of executed movements
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B2071/0694—Visual indication, e.g. Indicia
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/806—Video cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2225/00—Miscellaneous features of sport apparatus, devices or equipment
    • A63B2225/12—Miscellaneous features of sport apparatus, devices or equipment with mirrors

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Child & Adolescent Psychology (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Mirrors, Picture Frames, Photograph Stands, And Related Fastening Devices (AREA)

Abstract

[01] 본 발명은 거울형 디스플레이를 활용한 어포던스 헬스케어 콘텐츠 제공방법 및 장치에 관한 것으로, 본 발명의 일 측면에 따르면 거울형 디스플레이를 활용한 어포던스 헬스케어 콘텐츠 제공방법은 카메라부가 사용자의 운동영상을 촬영하는 단계, 프로세서가 상기 운동영상에 기초하여 상기 사용자의 신체 정보를 획득하는 단계, 상기 프로세서가 상기 사용자의 상기 신체 정보에 기초하여 상기 사용자의 신체 조건과 일치하는 아바타를 생성하는 단계, 상기 프로세서가 상기 아바타의 자세를 상기 사용자가 수행하는 운동자세에 대응하는 표준 운동자세에 대응하도록 모델링하는 단계로서, 상기 표준 운동자세는 상기 사용자가 수행하는 운동에 대한 전문가의 자세로 결정되는 상기 아바타의 자세를 모델링하는 단계, 거울형 디스플레이에 일체화된 디스플레이부가 상기 표준 운동자세를 취하는 상기 아바타를 표시하는 단계로서, 상기 아바타의 상기 표준 운동자세는 상기 거울형 디스플레이에 비치는 상기 사용자의 상기 운동자세에 대응되어 상기 사용자의 상기 운동자세와 오버랩(overlap)되도록 표시되는 상기 아바타를 표시하는 단계를 포함할 수 있다.

Description

거울형 디스플레이를 활용한 어포던스 헬스케어 콘텐츠 제공방법 및 장치 {METHODS AND APPARATUS FOR PROVIDING THE CONTENTS OF THE AFFORDANCE HEALTH CARE USING MIRROR DISPLAY}
본 발명은 거울형 디스플레이를 활용한 어포던스 헬스케어 콘텐츠 제공방법 및 장치에 관한 것으로, 보다 상세하게는 비대면으로 건강관리를 할 수 있도록 하는 거울형 디스플레이를 활용한 어포던스 헬스케어 콘텐츠 제공방법 및 장치에 관한 것이다.
오늘날 4차 산업혁명을 통한 스마트폰, 태블릿, PC등의 기술 발달로 인해, 대부분의 사람들은 온라인 상에서 언제 어디서나 타인과 연결되어 있다. 이는 사람들에게 편리함도 제공하지만, 피로감 또한 제공한다. 이에, 오롯이 혼자만의 시간을 갖고 싶어하는 사람들이 늘어나 사람들 사이에 언택트(Untact) 문화가 빠르게 확산되고 있다.
언택트란 '접촉(Contact)'이란 단어에 부정의 의미를 뜻하는 'Un'을 붙인 '접촉하지 않는다'는 뜻의 신조어다. 언택트 문화는 탑승권 발행, 주차요금 정산, 주문 등 키오스크 형태의 서비스를 중심으로 발전되고 있으나, 최근 코로나19 사태 등의 이유로 다른 분야로까지 확대 진행되고 있다.
한편, 의료 서비스가 치료 중심에서 예방, 관리 중심으로 패러다임이 변화하면서, 사람들의 건강 관리에 대한 관심이 증가되고 있다. 이에, 많은 사람들이 헬스장에서 체력단련을 통해 건강 관리를 한다. 기술 발달에 의해, 사람들은 전문가의 운동 영상 컨텐츠를 쉽게 제공받을 수 있다. 하지만, 전문가의 운동 영상 컨텐츠를 보는 것만으로는 자신의 운동자세가 올바르게 수행되고 있는지 판단하기 어렵다는 문제가 있다. 잘못된 운동자세로 운동을 할 경우, 제대로 된 운동 효과를 보지 못할 수 있다. 또한, 잘못된 운동자세로 인해 오히려 몸이 망가지는 문제가 발생할 수 있다.
이에, 언택트 문화에 적용할 수 있는 비대면 방식의 헬스케어 콘텐츠 제공 기술이 필요하게 되었다.
한편, 전술한 배경기술은 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.
한국공개특허 제10-2019-0117099호 “트레이닝 시스템”
본 발명의 일 실시예는 비대면으로 운동자세에 대한 지도가 가능한 거울형 디스플레이를 활용한 어포던스 헬스케어 콘텐츠 제공방법 및 장치를 제공하는 데에 목적이 있다.
또한, 본 발명의 일 실시예는 사용자가 본인의 운동자세의 문제를 즉각적으로 인지할 수 있는 거울형 디스플레이를 활용한 어포던스 헬스케어 콘텐츠 제공방법 및 장치를 제공하는 데에 목적이 있다.
또한, 본 발명의 일 실시예는 가이드 표시를 통해 사용자가 보다 용이하게 운동자세를 교정할 수 있는 거울형 디스플레이를 활용한 어포던스 헬스케어 콘텐츠 제공방법 및 장치를 제공하는 데에 목적이 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 측면에 따르면 거울형 디스플레이를 활용한 어포던스 헬스케어 콘텐츠 제공방법은 카메라부가 사용자의 운동영상을 촬영하는 단계, 프로세서가 상기 운동영상에 기초하여 상기 사용자의 신체 정보를 획득하는 단계, 상기 프로세서가 상기 사용자의 상기 신체 정보에 기초하여 상기 사용자의 신체 조건과 일치하는 아바타를 생성하는 단계, 상기 프로세서가 상기 아바타가 상기 사용자가 수행하는 운동자세에 대응하는 표준 운동자세를 취하도록 상기 아바타의 자세를 모델링하는 단계로서, 상기 표준 운동자세는 상기 사용자가 수행하는 운동에 대한 전문가의 자세로 결정되는 상기 아바타의 자세를 모델링하는 단계, 거울형 디스플레이에 일체화된 디스플레이부가 상기 표준 운동자세를 취하는 상기 아바타를 표시하는 단계로서, 상기 아바타의 상기 표준 운동자세는 상기 거울형 디스플레이에 비치는 상기 사용자의 상기 운동자세에 대응되어 상기 사용자의 상기 운동자세와 오버랩(overlap)되도록 표시되는 상기 아바타를 표시하는 단계를 포함할 수 있다.
본 발명의 다른 일 측면에 따르면, 상기 디스플레이부가 상기 표준 운동자세를 취하는 상기 아바타를 표시하는 단계 이후에, 상기 프로세서가 상기 운동영상을 통해 상기 아바타의 상기 표준 운동자세와 상기 사용자의 상기 운동자세가 일치하는지 판단하는 단계, 상기 프로세서가 상기 아바타의 상기 표준 운동자세와 상기 사용자의 상기 운동자세가 불일치할 경우, 상기 아바타의 신체 부위 중 불일치 부위에 대하여 시각적 이벤트가 표시되도록 상기 아바타의 영상을 제어하는 단계를 더 포함할 수 있다.
본 발명의 다른 일 측면에 따르면, 상기 프로세서가 상기 운동영상을 통해 상기 아바타의 상기 표준 운동자세와 상기 사용자의 상기 운동자세가 일치하는지 판단하는 단계는 상기 프로세서가 상기 운동영상에서 상기 사용자의 각 관절의 위치를 인식하는 단계, 상기 프로세서가 상기 사용자의 관절별 3차원 위치 및 각도를 포함하는 사용자 관절패턴을 추출하는 단계, 상기 프로세서가 상기 사용자 관절패턴과 상기 아바타의 상기 표준 운동자세의 관절별 3차원 위치 및 각도를 포함하는 표준 관절패턴과 유사도를 비교하여 일치도를 산출하는 단계를 포함할 수 있다.
본 발명의 다른 일 측면에 따르면, 상기 프로세서가 상기 아바타의 상기 표준 운동자세와 상기 사용자의 상기 운동자세가 불일치할 경우, 상기 아바타의 신체 부위 중 상기 불일치 부위에 대하여 상기 시각적 이벤트가 표시되도록 상기 아바타의 영상을 제어하는 단계는 상기 프로세서가 상기 불일치 부위에 대한 색상을 다르게 변경하는 단계를 더 포함할 수 있다.
본 발명의 다른 일 측면에 따르면, 상기 프로세서가 상기 아바타의 상기 표준 운동자세와 상기 사용자의 상기 운동자세가 불일치할 경우, 상기 아바타의 신체 부위 중 상기 불일치 부위에 대하여 상기 시각적 이벤트가 표시되도록 상기 아바타의 영상을 제어하는 단계는 상기 프로세서가 상기 불일치 부위가 2개 이상 존재할 경우, 상기 표준 운동자세에 대하여 미리 설정된 중요도에 기초하여 상기 아바타의 각 부위에 가중치를 두어 색상을 상이하게 표시하도록 처리하는 단계를 더 포함할 수 있다.
본 발명의 다른 일 측면에 따르면, 상기 프로세서가 상기 아바타의 상기 표준 운동자세와 상기 사용자의 상기 운동자세가 불일치할 경우, 상기 아바타의 신체 부위 중 상기 불일치 부위에 대하여 상기 시각적 이벤트가 표시되도록 상기 아바타의 영상을 제어하는 단계는, 상기 프로세서가 상기 불일치 부위에 대하여 상기 사용자가 상기 운동자세를 교정할 수 있도록 상기 불일치 부위 주변에 가이드 아이콘이 표시되도록 처리하는 단계를 더 포함할 수 있다.
본 발명의 다른 일 측면에 따르면, 상기 가이드 아이콘은 손 모양, 화살표이고, 상기 프로세서는 상기 가이드 아이콘이 상기 불일치 부위의 주변에서 상기 사용자의 상기 운동자세를 교정하는 방향으로 이동 표시되도록 제어할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 다른 측면에 따르면, 거울형 디스플레이를 활용한 어포던스 헬스케어 콘텐츠 제공 장치는 사용자의 운동영상을 촬영하는 카메라부, 상기 운동영상에 기초하여 상기 사용자의 신체 정보를 획득하고, 상기 사용자의 상기 신체 정보에 기초하여 상기 사용자의 신체 조건과 일치하는 아바타를 생성하고, 상기 아바타가 상기 사용자가 수행하는 운동자세에 대응하는 표준 운동자세를 취하도록 상기 아바타의 자세를 모델링하고, 상기 표준 운동자세를 취하는 상기 아바타를 표시하도록 처리하는 프로세서, 거울형 디스플레이에 일체화되어 있으며, 상기 아바타의 상기 표준 운동자세가 상기 거울형 디스플레이에 비치는 상기 사용자의 상기 운동자세에 대응되어 상기 사용자의 상기 운동자세와 오버랩(overlap)되도록 상기 아바타를 표시하는 디스플레이부를 포함할 수 있다.
본 발명의 다른 일 측면에 따르면, 상기 프로세서가 상기 운동영상을 통해 상기 아바타의 상기 표준 운동자세와 상기 사용자의 상기 운동자세가 일치하는지 판단하고, 상기 아바타의 상기 표준 운동자세와 상기 사용자의 상기 운동자세가 불일치할 경우, 상기 아바타의 신체 부위 중 불일치 부위에 대하여 시각적 이벤트가 표시되도록 상기 아바타의 영상을 제어할 수 있다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 본 발명의 일 실시예는 비대면으로 지도가 가능한 거울형 디스플레이를 활용한 어포던스 헬스케어 콘텐츠를 제공할 수 있다.
또한, 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 사용자는 본인의 운동자세를 거울형 디스플레이를 통해 인지할 수 있고, 사용자가 수행하는 운동자세에 대응하는 표준 운동자세를 취하는 아바타를 사용자의 모습과 오버랩 되도록 표시함으로써, 사용자로 하여금 운동자세의 문제를 즉각적으로 인지시킬 수 있다.
또한, 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 사용자가 수행하는 운동자세와 표준 운동자세를 비교하여, 불일치한 부위에 대해 시각적 이벤트를 표시해주므로, 사용자로 하여금 보다 용이하게 운동자세를 교정하게 할 수 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 거울형 디스플레이를 활용한 어포던스 헬스케어 콘텐츠 제공 장치를 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 거울형 디스플레이를 활용한 어포던스 헬스케어 콘텐츠 제공방법을 나타낸 순서도이다.
도 3은 도 2의 거울형 디스플레이를 활용한 어포던스 헬스케어 콘텐츠 제공방법의 일 예를 설명하기 위한 도면이다.
도 4는 도 2의 거울형 디스플레이를 활용한 어포던스 헬스케어 콘텐츠 제공방법에 있어서, 사용자가 수행하는 운동자세에 대응하는 표준 운동자세를 취하도록 아바타의 자세를 모델링하는 단계를 설명하기 위한 예시도이다.
도 5는 도 2의 거울형 디스플레이를 활용한 어포던스 헬스케어 콘텐츠 제공방법에 있어서, 아바타의 표준 운동자세와 사용자의 운동자세가 일치하는지 판단하는 단계를 설명하기 위한 순서도이다.
도 6 내지 8은 도 2의 거울형 디스플레이를 활용한 어포던스 헬스케어 콘텐츠 제공방법에 있어서, 아바타의 표준 운동자세와 사용자의 운동자세가 불일치할 경우, 아바타의 신체 부위 중 불일치 부위에 대하여 시각적 이벤트가 표시되는 단계를 설명하기 위한 예시도들이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 구성을 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 거울형 디스플레이를 활용한 어포던스 헬스케어 콘텐츠 제공 장치를 나타낸 도면이다.
거울형 디스플레이를 활용한 어포던스 헬스케어 콘텐츠 장치(1)는 사용자가 수행하고자 하는 운동자세에 대한 어포던스 헬스케어 콘텐츠를 제공함으로써, 사용자가 정확한 자세를 취할 수 있도록 하는 장치이다.
어포던스(Affordance)란 어떤 행동을 유도한다는 뜻으로 행동 유도성이라고도 한다. 어포던스는 혼합현실에 적용되어 사용될 수 있다. 혼합현실 어포던스는 현실세계에서 인지되는 가상의 객체를 통해 사용자의 행위를 유도한다. 혼합현실 공간에서 사용자는 추가적인 지시 없이 가상의 객체를 지각하며, 가상의 객체의 움직임에 자신의 신체를 합치려는 행위가 자연스럽게 나타난다. 본 발명의 일 실시예에 따른 거울형 디스플레이를 활용한 어포던스 헬스케어 콘텐츠 제공장치(1)는 이러한 어포던스 특성을 활용하여, 사용자에게 헬스케어 콘텐츠를 거울형 디스플레이를 통해 제공한다. 구체적으로, 사용자가 수행하는 운동자세에 대응되는 표준 운동자세를 취하는 가상의 객체를 거울형 디스플레이에 표시함으로써, 사용자가 가상의 객체와 같은 표준 운동자세를 취할 수 있도록 하는 어포던스 헬스케어 콘텐츠를 제공한다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 거울형 디스플레이를 활용한 어포던스 헬스케어 콘텐츠 제공장치는 카메라부(11), 프로세서(12), 디스플레이부(13) 및 데이터 송수신부(14)를 포함한다.
카메라부(11)는 사용자의 운동 영상을 촬영한다. 구체적으로, 카메라부(11)는 사용자의 신체정보, 운동상태 정보, 운동위치 정보를 획득할 수 있는 영상을 촬영한다. 여기서, 신체정보는 사용자의 신체 사이즈 및 형상에 대한 정보를 말한다. 예를 들어, 신체정보는 키, 다리 길이, 팔 길이, 어깨 너비, 가슴 반경, 허리 반경, 엉덩이 반경, 팔 반경 및 다리 반경, 관절의 위치 등을 포함할 수 있다. 또한, 신체정보는 사용자의 성별, 체형, 피부색, 머리 스타일 등의 정보를 더 포함할 수 있다. 한편, 사용자의 운동상태 정보는 사용자가 수행하고 있는 운동자세에 따른 관절의 위치 및 관절의 각도 등과 관련된 정보를 말한다. 운동위치 정보는 사용자와 카메라부(11) 사이의 위치 관계 및 각도 관계와 관련된 정보를 말한다.
카메라부(11)는 사용자의 보다 정확한 정보가 담긴 영상을 획득하기 위해, 깊이 카메라(depth camera)를 구비할 수 있다. 깊이 카메라는 사물의 깊이를 측정하는 카메라로, TOF(time-of-flight), 스테레오 비전(stereo vision), 구조화 광 패턴(structured light pattern) 방식 등을 통해 깊이 값을 포함하는 깊이 이미지 등 깊이 정보가 있는 영상을 캡쳐하도록 구성될 수 있다. 예컨대, TOF 방식은 적외선과 같은 빛이 피사체에 도달했다가 반사되어 돌아오는 시간을 측정하는 방식으로 심도를 계산하고 3D를 구현한다. 스테레오 비전 방식은 두 개의 카메라를 통해 입력 받은 영상에서 해당 피사체의 시차를 추출하는 방식으로 심도를 계산하고 3D를 구현한다. 구조화 광 패턴방식은 패턴을 가진 빛을 피사체에 비춘 뒤, 피사체 표면에 맺힌 패턴의 변화를 분석하는 방식으로 심도를 계산하고 3D를 구현한다. 또한, 카메라부(11)는 깊이 카메라에 적용가능한 키넥트(KINECT), 라이다(Light Detection And Ranging, LiDAR), LADAR(Laser Detection And Ranging), ToF(Time of Flight), 레이저 스캐너, 레이저 레이더 등이 더 구비될 수 있다.
카메라부(11)는 사용자의 전체적인 모습을 다각도에서 촬영하기 위해 사용자의 정면 또는 측면, 상부 등에 적어도 하나 이상의 카메라가 설치되는 방식으로 구현될 수 있다.
프로세서(12)는 사용자에게 가상의 객체를 제공하도록 처리한다.
첫번째로, 프로세서(12)는 카메라부(11)를 통해 획득된 운동영상으로부터 사용자의 신체정보를 추출할 수 있다. 프로세서(12)는 카메라부(11)를 통해 획득된 운동영상으로부터 일정한 단위길이와 좌표값을 갖는 격자패턴 상에서 사용자의 스켈레톤 이미지를 형성할 수 있다.
구체적으로, 프로세서(12)는 사용자의 신체정보를 획득하기 위해 먼저 스켈레톤 이미지에서 사용자의 관절 위치를 추출할 수 있다. 관절은 머리, 왼쪽 어깨, 오른쪽 어깨, 어깨의 중간, 척추의 중앙, 왼쪽 팔꿈치, 오른쪽 팔꿈치, 왼쪽 손목, 오른쪽 손목, 왼손, 오른손, 왼쪽 둔부, 오른쪽 둔부, 둔부의 중간, 왼쪽 무릎, 오른쪽 무릎, 왼쪽 발목, 오른쪽 발목, 왼발, 오른발 등에서 추출될 수 있다. 관절의 위치가 모두 추출되면, 프로세서(12)는 서로 인접한 관절을 잇는 연결선을 생성할 수 있다. 프로세서(12)는 관절의 위치, 연결선, 격자패턴을 이용하여 각 신체 부위의 길이, 반경, 비율에 대한 신체정보를 산출할 수 있다. 예를 들어, 사용자의 오른쪽 팔 길이에 대한 신체정보를 획득하고자 할 경우, 프로세서(12)는 오른쪽 어깨, 오른쪽 팔꿈치, 오른쪽 손목의 관절을 추출하고, 오른쪽 어깨와 오른쪽 팔꿈치, 오른쪽 팔꿈치와 오른쪽 손목을 잇는 연결선을 생성할 수 있다. 이후, 프로세서(12)는 오른쪽 어깨와 오른쪽 팔꿈치, 오른쪽 팔꿈치와 오른쪽 손목을 잇는 연결선의 길이를 각각 산출하여, 합하는 방식으로 사용자의 팔 길이에 대한 신체정보를 획득할 수 있다.
또한, 프로세서(12)는 사용자의 전면이 촬영된 이미지로부터 사용자의 성별, 피부색, 신체 각 부위의 두께, 모양 등에 대한 신체정보를 획득할 수 있다. 예를 들어, 프로세서(12)는 사용자의 얼굴 영상 분석을 통하여 사용자의 피부색, 헤어스타일 같은 신체정보를 획득할 수 있다. 구체적으로, 프로세서(12)는 사용자의 전면이 촬영된 이미지로부터 얼굴 영역을 검출한 뒤, 학습용 얼굴 영상을 이용하여 통계적으로 특성을 학습하는 방식인 Eigen-Face, Independent Component Analysis (ICA), Local Feature Analysis (LFA), Locally Linear Embedding (LLE), Tensor-Face, Fisher-Face 등의 특징 분석 방법을 적용하여 사용자의 신체정보를 획득할 수 있다. 또 다른 예로, 프로세서(12)는 카메라부(11)로부터 RGB 컬러 영상 이외에 피사체까지의 깊이까지 제공되는 이미지를 전송받아, 사용자의 성별, 신체 각 부위의 모양 등에 대한 신체정보를 획득할 수 있다.
두번째로, 프로세서(12)는 사용자의 신체 조건과 일치하는 아바타를 생성할 수 있다. 구체적으로 사용자의 신체 부위별 관절의 위치, 길이, 반경, 비율 등을 아바타에 접목시켜 사용자와 신체 조건이 일치하는 아바타를 생성할 수 있다. 또한, 프로세서(12)는 사용자의 성별, 피부색, 신체 모양 등의 신체정보를 아바타에 접목시켜 사용자의 성별, 피부색, 신체 모양에 대응되는 아바타를 생성시킬 수 있다. 이때, 생성되는 아바타는 3차원 휴머노이드 캐릭터일 수 있으며, 3차원 휴머노이드 캐릭터 이외의 다른 형태의 3차원 캐릭터일 수 있다.
세번째로, 프로세서(12)는 아바타가 사용자의 운동자세에 대응하는 표준 운동자세를 취하도록 모델링 할 수 있다. 여기서, 표준 운동자세란 사용자가 수행하는 운동에 대한 전문가의 자세로, 올바른 운동자세를 말한다.
먼저, 프로세서(12)는 스켈레톤 이미지를 이용하여 사용자의 운동상태 정보를 획득할 수 있다. 구체적으로, 관절별 위치, 연결선, 격자패턴을 이용하여 사용자가 수행하고 있는 운동자세에서의 각 관절의 3차원 위치 및 각도를 포함하는 사용자 관절패턴을 추출하여, 사용자의 운동상태 정보를 획득할 수 있다. 예를 들어, 사용자의 오른쪽 다리에 대한 운동상태 정보를 획득하고자 할 경우, 프로세서(12)는 사용자의 오른쪽 발목, 오른쪽 무릎, 오른쪽 둔부의 관절의 위치를 추출하고, 오른쪽 발목과 오른쪽 무릎, 오른쪽 무릎과 오른쪽 둔부의 관절을 잇는 연결선을 생성하여 두 연결선 간의 각도를 추출함으로써, 사용자 오른쪽 다리에 대한 운동상태 정보를 획득할 수 있다.
프로세서(12)는 사용자가 수행하고 있는 운동자세에 대한 운동상태 정보에 기초하여, 사용자가 현재 수행하고 있는 운동의 유형을 판단할 수 있다. 예를 들어, 프로세서(12)는 사용자의 운동상태 정보에서 추출된 사용자의 관절패턴을 미리 저장된 판단기준 정보의 관절패턴과 비교함으로써, 사용자가 현재 수행하고 있는 운동의 유형을 판단할 수 있다. 이 경우, 각 운동별 관절의 위치 및 각도에 대한 판단기준 정보는 메모리 장치에 미리 저장될 수 있고, 프로세서(12)는 메모리 장치에 저장된 판단기준 정보와 운동상태 정보를 상호 비교함으로써, 현재 사용자가 수행하는 운동이 어떠한 운동인지 그 유형을 판단할 수 있다.
또한, 프로세서(12)는 사용자가 수행하는 운동 유형에 대응되는 표준 운동자세 데이터를 추출할 수 있다. 표준 운동자세 데이터는 사용자가 수행하고 있는 운동 유형에 대한 가장 이상적인 운동자세에 대한 데이터로서, 해당 운동 유형에 대한 이상적인 관절의 위치 및 각도에 대한 정보를 포함하는 데이터일 수 있다. 표준 운동자세 데이터는 메모리 장치에 미리 저장될 수 있다. 이 경우, 메모리 장치에는 각 운동 유형에 대한 표준 운동자세 데이터가 운동 유형별로 분류되어 저장될 수 있다. 한편, 표준 운동자세 데이터는 성별, 연령대 별로 세분화되어 저장될 수 있다.
몇몇 실시예에서, 표준 운동자세 데이터는 데이터 송수신부(13)를 통해 실시간으로 수신될 수 있다. 예를 들어, 본 발명의 거울형 디스플레이를 활용한 어포던스 헬스케어 콘텐츠 제공 장치(1)는 표준 운동자세 데이터를 생성 및 제공하도록 구성된 전문가 단말과 연결되며, 전문가 단말로부터 생성된 표준 운동자세 데이터를 실시간으로 수신하도록 구성될 수 있다. 이 경우, 실시간으로 수신되는 표준 운동자세 데이터는 표준 운동자세를 취하는 전문가의 3차원 이미지 데이터일 수 있으며, 전문가가 취하는 표준 운동자세에서의 각 관절의 위치 및 관절의 각도 등이 수치화 된 데이터일 수 있다.
프로세서(12)는 사용자가 수행하고 있는 운동 유형에 대한 단계별 표준 운동자세 데이터들 중 사용자의 현재 운동단계에 대응되는 표준 운동자세 데이터를 추출할 수 있다. 예를 들어, 사용자가 스쿼트 운동을 수행하고 있고, 현재 무릎 관절을 구부리면서 허벅지 근육을 팽창시키는 단계를 수행하고 있는 경우, 스쿼트 운동의 단계별 표준 운동자세 데이터들 중 사용자가 현재 수행하고 있는 단계에 대응되는 표준 운동자세 데이터를 추출할 수 있다.
이후, 프로세서(12)는 사용자가 수행하고 있는 운동단계에 대응되는 표준 운동자세 데이터에 따라 아바타가 표준 운동자세를 취하도록 모델링 할 수 있다. 구체적으로, 사용자가 수행하고 있는 운동단계에 대응되는 표준 운동자세 데이터에 기초하여 아바타의 각 관절의 위치 및 각도를 모델링하여, 아바타의 운동자세 이미지를 생성할 수 있다. 따라서, 프로세서(12)를 통해 모델링 된 아바타는 사용자의 신체조건과 동일한 신체조건을 갖지만, 아바타가 취하는 운동자세는 사용자가 현재 수행하고 있는 운동자세가 아닌 이상적인 표준 운동자세에 대응될 수 있다.
네번째로, 프로세서(12)는 사용자가 수행하는 운동자세에 대한 표준 운동자세를 취하는 아바타를 표시하도록 처리할 수 있다. 아바타의 생성 및 자세 모델링이 완료되면, 프로세서(12)는 아바타가 거울형 디스플레이에 비치는 사용자의 위치와 동일한 위치에 표시되도록 처리할 수 있다. 즉, 사용자의 거울에 비치는 모습에 오버랩 되어 표시되도록 처리할 수 있다.
구체적으로, 프로세서(12)는 표준 운동자세를 취하도록 모델링 된 아바타가 사용자의 현재 운동 모습에 대응되는 거울상의 모습처럼 보이도록 아바타의 표시 방향을 모델링할 수 있다. 예를 들어, 아바타가 사용자가 오른쪽을 바라보는 운동자세를 취할 경우, 프로세서(12)는 아바타의 모습이 거울형 디스플레이(14)에 비치는 사용자의 거울상과 오버랩 되도록 왼쪽을 바라보는 운동자세로 모델링할 수 있다.
먼저, 프로세서(12)는 카메라부(11)를 통해 획득된 사용자의 영상을 통해 운동위치 정보를 추출한다. 구체적으로, 프로세서(12)는 사용자와 카메라부(11) 사이의 위치 관계 및 각도 관계를 판단함으로써 운동위치 정보를 추출한다. 만약, 사용자가 카메라부(11)를 정면에서 바라보지 않는 경우, 카메라부(11)를 통해 획득된 사용자의 이미지에서 사용자의 각 부위별 신체 길이는 상이할 수 있다. 즉, 사용자가 왼쪽으로 비스듬하게 선 상태에서 운동을 하고 있는 경우, 카메라부(11)를 통해 획득된 사용자의 2차원 이미지에서 사용자의 오른쪽 신체 부분의 크기가 사용자의 왼쪽 신체 부분의 크기보다 클 수 있다. 프로세서(12)는 카메라부(11)를 통해 획득된 이미지에서 각 부위별 상이한 신체 길이를 토대로, 사용자와 카메라부(11) 사이의 각도 관계를 판단할 수 있다. 구체적으로, 사용자가 왼쪽으로 비스듬하게 선 상태에서 운동을 하고 있는 경우, 사용자의 오른쪽 신체 부분의 크기가 왼쪽 신체 부분의 크기보다 크므로, 프로세서(12)는 사용자의 왼쪽 신체 부분의 크기와 오른쪽 신체 부분의 크기의 비율을 산출하고, 이를 바탕으로 사용자와 카메라부(11) 사이의 각도 관계를 판단한다. 또한, 프로세서(12)는 카메라부(11)를 통해 추출되는 깊이 정보에 기초하여 사용자와 카메라부(11) 사이의 위치 관계를 판단할 수 있다.
이후, 프로세서(12)는 사용자와 카메라부(11) 사이의 각도 관계 및 위치 관계에 기초하여 아바타가 사용자의 거울상의 모습처럼 보이도록 아바타의 표시 방향 및 위치를 모델링한다. 구체적으로, 사용자가 카메라부(11)를 왼쪽으로 비스듬하게 서서 운동을 수행하고 있다면, 프로세서(12)는 아바타가 오른쪽으로 비스듬하게 서서 운동을 수행하고 있는 것으로 보이도록 아바타의 표시 각도를 조절한다. 이 경우, 사용자의 오른쪽 신체 부위들의 운동 동작은 아바타의 왼쪽 신체 부위의 동작으로 모델링 될 수 있다. 또한, 프로세서(12)는 아바타의 크기가 거울형 디스플레이(14)에 비치는 사용자의 거울상의 크기와 동일하도록 아바타의 크기를 확대 또는 축소하는 모델링을 할 수 있다. 예를 들어, 사용자가 거울형 디스플레이(14)에 근접하여 운동하고 있는 경우, 거울형 디스플레이(14)에 비치는 사용자의 각 신체부위의 크기는 크게 보일 수 있다. 프로세서(12)는 카메라부(11)와 사용자 사이의 위치 관계에 기초하여 거울형 디스플레이(14)에 비치는 사용자의 각 신체부위 크기를 예측하며, 예측된 각 신체부위 크기에 대응되는 크기를 갖도록 아바타의 크기를 확대 또는 축소함으로써, 아바타가 거울형 디스플레이(14)에 비치는 사용자의 거울상의 크기에 대응되는 크기를 갖도록 모델링할 수 있다.
다섯번째로, 프로세서(12)는 카메라부(11)에서 촬영된 사용자의 운동영상을 통해 아바타의 표준 운동자세와 사용자의 운동자세가 일치하는지 판단할 수 있다. 구체적으로, 사용자가 수행하고 있는 운동자세에 대한 관절패턴과 아바타의 관절패턴 즉, 표준 운동자세에 대한 관절패턴인 표준 관절패턴을 비교함으로써, 일치도를 산출할 수 있다.
몇몇 실시예에서, 프로세서(12)는 각 운동 별 표준 운동자세에 대하여 중요도를 설정하여 일치도를 산출할 수 있다. 이때, 표준 운동자세에 대한 중요도는 운동 자세에 대한 책, 논문, 전문가의 의견 등을 통해 수집된 데이터에 기초하여 설정될 수 있다. 예를 들어, 사용자가 스쿼트 자세에서 허리를 편 상태로 엉덩이를 내리며 무릎을 굽혀 앉는 단계의 운동자세를 취할 때, 해당 단계에서 무릎을 90도로 구부리는 것이 가장 중요하고, 허리를 곧게 피는 것이 그 다음으로 중요한 것으로 데이터가 분석될 경우, 프로세서(12)는 무릎 부위에 대하여 1순위의 중요도를 설정할 수 있고, 허리 부위에 대하여 2순위의 중요도를 설정할 수 있다. 이후, 프로세서(12)는 설정된 중요도에 기초하여 각 신체부위별로 중요도 순위에 따라 차등하게 가중치를 부여할 수 있다. 예를 들어, 중요도 1순위인 무릎 부위에 대해서는 1등급에 대한 가중치를, 중요도 2순위인 허리 부위에 대해서는 2등급에 대한 가중치를 부여할 수 있다.
만약, 사용자의 관절패턴과 아바타의 관절패턴이 불일치할 경우, 프로세서(12)는 불일치한 부위에 대하여 아바타의 신체 부위에 시각적 이벤트가 표시되도록 아바타의 영상을 제어할 수 있다. 프로세서(12)는 아바타의 신체 부위의 색상을 다르게 나타냄으로써 시각적 이벤트가 표시되도록 아바타의 영상을 제어할 수 있다. 구체적으로, 프로세서(12)는 아바타의 신체 부위 중 사용자의 운동자세와 불일치한 부위에 대해 색상이 다르게 표시되도록 처리할 수 있다. 불일치 부위가 2개 이상 존재할 경우에는 표준 운동자세에 대하여 미리 설정된 중요도에 기초하여 아바타의 불일치 부위 각각에 가중치를 두어 색상을 서로 상이하게 표시되도록 처리할 수 있다. 예를 들어, 가중치가 1등급인 신체 부위에 대해서 적색으로 표시되도록 처리하고, 가중치가 2등급인 신체 부위에 대해서 주황색으로 표시되도록 처리할 수 있다.
또한, 프로세서(12)는 가이드 아이콘이 표시되도록 아바타의 영상을 제어할 수 있다. 이때, 가이드 아이콘은 손 모양, 화살표 등의 아이콘으로 표시될 수 있다. 구체적으로, 프로세서(12)는 가이드 아이콘이 불일치 부위의 주변에서 사용자의 운동자세를 교정하는 방향으로 이동 표시되도록 처리할 수 있다.
이에 대한, 자세한 설명은 아래에 후술하도록 한다.
한편, 프로세서(12)는 상술한 기능을 수행하기 위해, 다양한 연산을 수행할 수 있는 MCU(Micro Control Unit), CPU(Central Processing Unit), AP(Application Processor) 등 다양한 하드웨어로 구성될 수 있다.
데이터 송수신부(13)는 표준 운동자세 정보를 포함하는 다양한 운동 데이터를 송수신하도록 구성된다. 구체적으로, 사용자에 대한 신체정보 및 운동자세 정보를 전문가 단말로 송신하고, 전문가 단말로부터 표준 운동자세 데이터를 수신할 수 있다. 그러나, 이에 한정되는 것은 아니며, 데이터 송수신부(13)는 사용자에 대한 다양한 정보 및 전문가로부터 수신된 다양한 운동정보 등을 송수신하도록 구성될 수 있다.
데이터 송수신부(13)는 인터넷을 통해 운동 데이터를 송수신한다. 데이터 송수신부(13)는 유선 및/또는 무선 통신이 가능한 네트워크 인터페이스로 구성될 수 있다. 예를 들어, 데이터 송수신부(110)는 IEEE, 지그비(zigbee), 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution), 5G(5th Generation) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 네트워크 인터페이스로 구성될 수 있다.
상술한 바와 같이, 데이터 송수신부(13)는 표준 운동 데이터를 전문가 단말로부터 실시간으로 수신하도록 구성될 수 있다. 전문가 단말은 사용자가 수행하고 있는 운동에 대응되는 운동에 대하여 전문가의 운동자세를 촬영하여 표준 운동자세 데이터를 생성하는 단말기로서, 예를 들면, 스마트폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 영상 전화기, 전자책 리더기(e-book reader), 데스크탑 PC(desktop PC), 랩탑 PC(laptop PC), 넷북 컴퓨터(netbook computer), 워크스테이션(workstation), 서버(server), PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라, 또는 웨어러블 장치(wearable device) 중 적어도 하나로 구현될 수 있다.
표준 운동자세 데이터에 대한 실시간 송수신은 예를 들어, 카메라부(11)를 통해 촬영된 사용자의 운동자세에 대한 이미지들을 포함하는 사용자에 대한 운동자세 정보가 데이터 송수신부(13)를 통해 전문가 단말로 송신되고, 전문가가 사용자가 수행하고 있는 운동유형에서 현재 사용자가 취하고 있는 단계에 대응되는 표준 운동자세를 취하는 경우, 전문가 단말을 통해 표준 운동자세에 대한 이미지들로 구성된 표준 운동데이터가 생성되어 송신되며, 데이터 송수신부(13)를 통해 수신될 수 있다.
디스플레이부(14)는 사용자에게 아바타를 표시함으로써, 사용자가 시각적으로 인지할 수 있도록 한다.
디스플레이부(14)는 거울형 디스플레이로 구성될 수 있으며, 아바타의 표준 운동자세가 거울형 디스플레이에 비치는 사용자의 운동자세에 대응되어 사용자의 운동자세와 오버랩 되도록 아바타를 표시할 수 있다.
디스플레이부(14)는 사용자의 이미지를 반사하여 사용자의 거울상을 표시하는 거울부 및 거울부의 전면에 배치되어 아바타 및 시각적 이벤트를 표시하는 투명 디스플레이부로 구성될 수 있다.
본 발명의 일 실시예에 따른 거울형 디스플레이를 활용한 어포던스 헬스케어 콘텐츠 제공장치(1)는 사용자의 신체조건과 일치하는 아바타를 생성하고, 사용자가 수행하는 운동자세에 대응하는 표준 운동자세를 취하는 아바타를 사용자와 오버랩 되도록 표시해주므로, 사용자가 아바타와 자신을 합치려는 어포던스를 유도할 수 있다. 즉, 사용자는 표준 운동자세를 취하는 아바타를 통해, 자신의 잘못된 운동자세를 즉각적으로 인지하고, 거울형 디스플레이에 본인의 자세와 오버랩되어 표시되는 아바타의 표준 운동자세에 자신의 운동자세를 일치화 시키는 성향을 가지게되며, 이를 통해 자신의 운동자세를 교정할 수 있다.
또한, 본 발명의 일 실시예에 따른 거울형 디스플레이를 활용한 어포던스 헬스케어 콘텐츠 제공장치(1)는 사용자가 수행하는 운동자세와 아바타의 표준 운동자세를 비교하여, 불일치한 부위에 대해 시각적 이벤트를 표시해주므로, 사용자가 보다 정확하고 용이하게 운동자세를 교정할 수 있도록 한다.
또한, 본 발명의 일 실시예에 따른 거울형 디스플레이를 활용한 어포던스 헬스케어 콘텐츠 제공장치(1)는 사용자에게 비대면으로 지도가 가능한 헬스케어 콘텐츠를 제공해주므로, 사람과의 접촉을 꺼려하는 사람들에게 용이하게 사용될 수 있으며, 혼자서도 정확한 운동자세를 취할 수 있도록 도와줄 수 있다.
도 2는 본 발명의 일 실시예에 따른 거울형 디스플레이를 활용한 어포던스 헬스케어 콘텐츠 제공방법을 나타낸 순서도이다.
도 3은 도 2의 거울형 디스플레이를 활용한 어포던스 헬스케어 콘텐츠 제공방법의 일 예를 설명하기 위한 도면이다.
도2를 참조하면, 본 발명의 일 실시예에 따른 거울형 디스플레이를 활용한 어포던스 헬스케어 콘텐츠 제공방법은 카메라부가 사용자의 운동영상을 촬영한다(S10).
도 3을 참조하면, 촬영하는 단계는 사용자(20)의 운동영상을 통해 사용자(20)의 신체정보, 운동상태 정보, 운동위치 정보를 획득하기 위해 수행될 수 있다. 앞서 언급한 바와 같이, 신체정보는 사용자(20)의 신체 사이즈 및 형상에 대한 정보를 말한다. 예를 들어, 신체정보는 키, 다리 길이, 팔 길이, 어깨 너비, 가슴 반경, 허리 반경, 엉덩이 반경, 팔 반경 및 다리 반경, 관절의 위치 등을 포함할 수 있다. 또한, 신체정보는 사용자(20)의 성별, 체형, 피부색, 머리 스타일 등의 정보를 더 포함할 수 있다. 한편, 사용자(20)의 운동상태 정보는 사용자(20)가 수행하고 있는 운동자세에 따른 관절의 위치 및 관절의 각도 등과 관련된 정보를 말한다. 운동위치 정보는 사용자와 카메라부(11) 사이의 위치 관계 및 각도 관계와 관련된 정보를 말한다.
카메라부(11)는 깊이 카메라를 구비할 수 있다. 이에, 카메라부(11)에 의해 사용자(20)의 보다 정확한 정보가 담긴 영상이 촬영될 수 있다. 촬영하는 단계는 도3에 도시된 바와 같이, 카메라부(11)에 의해 사용자(20)의 전체 영역이 촬영될 수 있다. 도3에는 카메라부(11)가 전방 상부에 하나 존재하는 것으로 표현되었으나, 이에 한정되지 않으며, 정면 또는 측면, 상부 등에 적어도 하나 이상의 카메라가 설치되는 방식으로 구현되어, 사용자(20)의 전체적인 모습이 다각도에서 촬영될 수 있다.
다시 도 2를 참조하면, 본 발명의 일 실시예에 따른 거울형 디스플레이를 활용한 어포던스 헬스케어 콘텐츠 제공방법은 프로세서가 운동영상에 기초하여 상기 사용자의 신체 정보를 획득(S20) 한다.
도 3을 참조하면, 사용자(20)의 운동영상이 촬영되면, 사용자(20)의 운동영상은 프로세서(12)로 전달된다. 사용자(20) 운동영상이 프로세서(12)로 전달되면, 프로세서(12)는 수신된 사용자(20)의 운동영상에 기초하여 사용자(20)의 신체정보를 획득한다. 이를 위해, 프로세서(12)는 앞서 설명한 바와 같이, 카메라부(11)에 의해 촬영된 사용자(20)의 운동영상을 기초로, 일정한 단위길이와 좌표값을 갖는 격자패턴 상에서 사용자(20)의 스켈레톤 이미지를 형성하고, 스켈레톤 이미지에서 사용자(20)의 관절 위치를 추출하여 서로 인접한 관절을 잇는 연결선을 생성할 수 있다. 이후, 프로세서(12)는 관절의 위치, 연결선, 격자패턴을 이용하여 각 신체 부위의 길이, 반경, 비율에 대한 신체정보를 산출할 수 있다. 또한, 프로세서(12)는 사용자의 전면이 촬영된 이미지로부터 사용자의 성별, 피부색, 신체 각 부위의 두께, 모양 등에 대한 신체정보를 획득할 수 있다.
다시 도 2를 참조하면, 본 발명의 일 실시예에 따른 거울형 디스플레이를 활용한 어포던스 헬스케어 콘텐츠 제공방법은 프로세서가 사용자 신체정보에 기초하여 사용자 신체조건과 일치하는 아바타를 생성(S30) 한다.
아바타 생성단계는 사용자(20)와 동일한 신체조건을 갖는 가상의 객체를 표현하기 위해 수행될 수 있다. 따라서, 프로세서(21)가 사용자(20)의 신체 부위별 관절의 위치, 길이, 반경, 비율 등 획득된 신체정보를 아바타(22)에 접목시켜 사용자(20)와 신체조건이 일치하는 아바타(22)를 생성할 수 있다. 또한, 프로세서(12)가 사용자의 성별, 피부색, 신체 모양 등의 신체정보를 아바타에 접목시켜 사용자의 성별, 피부색, 신체 모양에 대응되는 아바타를 생성할 수 있다. 이때, 생성되는 아바타(22)는 3차원 휴머노이드 캐릭터일 수 있으며, 3차원 휴머노이드 캐릭터 이외의 다른 형태의 3차원 캐릭터일 수 있다.
본 발명의 일 실시예에 따른 거울형 디스플레이를 활용한 어포던스 헬스케어 콘텐츠 제공방법은 프로세서가 아바타의 자세를 사용자가 수행하는 운동자세에 대응하는 표준 운동자세에 대응되도록 모델링(S40) 한다.
아바타(22)가 표준 운동자세를 취하도록 아바타(22)의 자세를 모델링하는 단계는 사용자(20)에게 사용자(20)가 수행하는 운동자세의 정확한 자세를 제공하기 위해서 수행된다.
상술한 바와 같이, 프로세서(12)는 카메라부(11)에 의해 제공된 스켈레톤 이미지를 이용하여 사용자(20)의 운동상태 정보를 획득할 수 있다. 구체적으로, 관절별 위치, 연결선, 격자패턴을 이용하여 사용자(20)가 수행하고 있는 운동자세에서의 각 관절의 3차원 위치 및 각도를 포함하는 사용자 관절패턴을 추출하여, 사용자(20)의 운동상태 정보를 획득할 수 있다.
사용자(20)의 운동상태 정보 획득이 완료되면, 프로세서(12)는 사용자(20)의 운동상태 정보에 기초하여, 사용자(20)가 수행하고 있는 운동의 유형을 판단할 수 있다. 예를 들어, 프로세서(12)는 사용자(20)의 운동상태 정보에서 추출된 사용자의 관절패턴을 미리 저장된 판단기준 정보의 관절패턴과 비교함으로써, 사용자(20)가 현재 수행하고 있는 운동의 유형을 판단할 수 있다. 만약, 도 3에 도시된 바와 같이, 사용자가 스쿼트 운동을 수행하고 있는 경우, 프로세서(12)는 카메라부(11)를 통해 획득된 운동상태 정보에서 사용자의 양 무릎 관절의 지면으로부터의 높이가 동일하며, 양 무릎의 각도(즉, 허벅지와 종아리 사이의 각도)가 120° 이하인지 판단하고, 이에 해당된다면, 프로세서(12)는 사용자가 현재 수행하고 있는 운동이 스쿼트 운동인 것으로 판단할 수 있다.
사용자(20)의 운동 유형 판단이 완료되면, 프로세서(12)는 사용자(20)가 수행하는 운동 유형에 대응되는 표준 운동자세 데이터를 추출할 수 있다.
구체적으로, 프로세서(12)는 사용자(20)가 수행하고 있는 운동 유형에 대한 단계별 표준 운동자세 데이터들 중 사용자(20)의 현재 운동단계에 대응되는 표준 운동자세 데이터를 추출할 수 있다. 예를 들어, 도 3에 도시된 바와 같이, 사용자(20)가 스쿼트 운동을 수행하고 있고, 현재 무릎 관절을 구부리면서 허벅지 근육을 팽창시키는 단계를 수행하고 있는 경우, 프로세서(12)는 스쿼트 운동의 단계별 표준 운동자세 데이터들 중 사용자(20)가 현재 수행하고 있는 단계에 대응되는 표준 운동자세 데이터를 추출할 수 있다. 이 경우, 메모리 장치에는 각 운동 유형에 대한 표준 운동자세 데이터가 운동 유형별로 분류되어 저장될 수 있다.
몇몇 실시예에서, 표준 운동자세 데이터는 데이터 송수신부(13)와 전문가 단말기(15)를 통해 실시간으로 수신될 수 있다.
전문가 단말기(15)를 통해 아바타의 자세를 표준 운동자세로 실시간 모델링하는 과정을 좀 더 세부적으로 설명하기 위해 도 4를 함께 참조한다.
도 4는 도 2의 거울형 디스플레이를 활용한 어포던스 헬스케어 콘텐츠 제공방법에 있어서, 사용자가 수행하는 운동자세에 대응하는 표준 운동자세를 취하도록 아바타의 자세를 모델링하는 단계를 설명하기 위한 예시도이다.
도 4를 참조하면, 프로세서(12)가 상기 아바타(22)의 자세를 사용자(20)가 수행하는 운동자세에 대응하는 표준 운동자세에 대응되도록 모델링하는 단계는 데이터 송수신부(13)가 전문가(40)에 의해 표준 운동자세를 실시간으로 수신 받고, 데이터 송수신부(14)가 실시간 수신된 전문가(40)의 표준 운동자세를 프로세서로 전송하고, 프로세서(12)가 실시간 수신된 전문가(40)의 표준 운동자세에 대응되도록 아바타(22)의 자세를 모델링한다.
데이터 송수신부(13)는 카메라부(11)에 의해 촬영된 사용자(20)의 운동영상 및 프로세서(12)를 통해 획득된 운동상태 정보를 전문가 단말기(15)로 전송할 수 있다. 본 발명의 일 실시예에 따른 거울형 디스플레이를 활용한 어포던스 헬스케어 콘텐츠 제공장치(1)의 카메라부(11)가 깊이 카메라를 구비하는 경우, 사용자(20)의 운동영상은 3D 입체 이미지 형태로 제공될 수 있다. 그러나, 이에 한정되는 것은 아니며, 사용자(20)의 운동영상은 2D 이미지 형태로 제공될 수도 있다. 한편, 데이터 송수신부(13)에 의한 사용자(20)의 운동영상 송신은 실시간으로 수행될 수 있다. 즉, 데이터 송수신부(13)는 소정의 시간 간격으로 촬영된 사용자(20)의 운동영상을 스트리밍 방식으로 송신할 수 있으며, 데이터 송수신부(13)는 인터넷을 통해 사용자(20)의 운동영상을 스트리밍할 수 있다.
이후, 전문가 단말기(15)는 실시간으로 수신한 사용자(20)의 운동영상 및 운동상태 정보를 표시한다. 전문가 단말기(15)는 사용자(20)의 운동영상을 표시하기 위한 디스플레이를 구비할 수 있다. 전문가(40)는 사용자(20)의 운동영상 및 운동상태 정보를 통해 사용자(20)가 현재 수행하고 있는 운동의 유형과 현재 사용자(20)가 취하고 있는 운동단계를 확인할 수 있다.
이후, 전문가(40)가 사용자(20)의 운동 유형과 운동단계에 대응되는 표준 운동자세를 취하는 경우, 전문가 단말기(15)가 이를 촬영할 수 있다. 전문가 단말기(15)는 표준 운동자세에 대한 영상을 촬영하기 위해 카메라부를 포함할 수 있으며, 깊이 카메라로 구성되어 표준 운동자세에 대한 3D 영상을 촬영할 수 있다.
촬영이 완료되면, 전문가 단말기(15)는 촬영된 전문가(40)의 표준 운동자세 영상을 데이터 송수신부(13)로 전송할 수 있다. 사용자(20)에 대한 운동자세 영상이 실시간으로 수신되는 것과 동일한 방법으로 표준 운동자세 영상은 전문가 단말기(15)를 통해 실시간으로 송신될 수 있다. 예를 들어, 표준 운동자세 영상은 실시간 스트리밍 방식으로 송신될 수 있다.
데이터 송수신부(13)가 전문가(40)의 표준 운동자세 정보를 수신하는 경우, 전문가(40)의 표준 운동자세에 대한 영상 데이터는 프로세서(12)로 전송되며, 프로세서(12)는 수신 받은 전문가(40) 표준 운동자세 영상을 분석하여, 관절의 위치, 관절의 각도 등을 포함하는 전문가(40)의 관절패턴 즉, 전문가(40)의 표준 운동자세 데이터를 추출할 수 있다.
이후, 프로세서(12)는 전문가(40)의 표준 운동자세 데이터를 기초로, 아바타(22)가 전문가(40)의 표준 운동자세와 동일하게 자세를 취하도록 모델링할 수 있다. 예를 들어, 아바타(22)의 각 관절의 위치와 각도를 표준 운동자세 영상을 분석하여 추출된 관절의 위치 및 각도에 일치되도록 조절함으로써, 아바타(22)가 표준 운동자세와 동일한 자세를 취하도록 모델링 될 수 있다.
다시 도 2를 참조하면, 본 발명의 일 실시예에 따른 거울형 디스플레이를 활용한 어포던스 헬스케어 콘텐츠 제공방법은 거울용 디스플레이에 일체화 된 디스플레이부가 표준 운동자세를 취하는 아바타를 표시(S50) 한다.
도3을 참조하면, 본 발명의 일 실시예에 따른 거울형 디스플레이를 활용한 어포던스 헬스케어 콘텐츠 제공장치(1)의 디스플레이부(14)는 거울형 디스플레이를 포함하므로, 운동자세를 취하고 있는 사용자(20)의 모습이 거울형 디스플레이에 의해 비춰질 수 있다. 이때, 표준 운동자세를 취하는 아바타(22)는 거울형 디스플레이에 비춰지는 사용자의 거울상(21)에 대응되도록 표시될 수 있다. 즉, 아바타(22)는 거울에 비치는 사용자의 거울상(21)과 오버랩 되도록 표시될 수 있다. 구체적으로, 표준 운동자세를 취하도록 모델링 된 아바타(22)는 사용자(20)의 현재 운동 모습에 대응되는 거울상 모습처럼 보이도록 크기 및 표시 방향이 모델링 되어 표시될 수 있다.
먼저, 프로세서(12)는 카메라부(11)를 통해 획득된 사용자(20)의 영상을 통해 운동위치 정보를 추출할 수 있다. 구체적으로, 프로세서(12)는 사용자와 카메라부(11) 사이의 위치 관계 및 각도 관계를 판단하여 운동위치 정보를 추출할 수 있다. 만약, 사용자(20)가 카메라부(11)를 정면에서 바라보지 않는 경우, 카메라부(11)를 통해 획득된 사용자(20)의 이미지에서 사용자(20)의 각 부위별 신체 길이는 상이할 수 있다. 즉, 사용자(20)가 왼쪽으로 비스듬하게 선 상태에서 운동을 하고 있는 경우, 카메라부(11)를 통해 획득된 사용자의 2차원 이미지에서 사용자(20)의 오른쪽 신체 부분의 크기가 사용자(20)의 왼쪽 신체 부분의 크기보다 클 수 있다. 프로세서(12)는 카메라부(11)를 통해 획득된 이미지에서 각 부위별 상이한 신체 길이를 토대로, 사용자와 카메라부(11) 사이의 각도 관계를 판단할 수 있다. 구체적으로, 사용자가 왼쪽으로 비스듬하게 선 상태에서 운동을 하고 있는 경우, 사용자(20)의 오른쪽 신체 부분의 크기가 왼쪽 신체 부분의 크기보다 크므로, 프로세서(12)는 사용자(20)의 왼쪽 신체 부분의 크기와 오른쪽 신체 부분의 크기의 비율을 산출하고, 이를 바탕으로 사용자(20)와 카메라부(11) 사이의 각도 관계를 판단한다. 또한, 프로세서(12)는 카메라부(11)를 통해 추출되는 깊이 정보에 기초하여 사용자(20)와 카메라부(11) 사이의 위치 관계를 판단한다.
이후, 프로세서(12)는 사용자(20)와 카메라부(11) 사이의 각도 관계 및 위치 관계에 기초하여 아바타가 사용자의 거울상(21)의 모습처럼 보이도록 아바타(22)의 크기 및 표시 방향을 모델링한다. 구체적으로, 사용자(20)가 카메라부(11)를 왼쪽으로 비스듬하게 서서 운동을 수행하고 있다면, 프로세서(12)는 아바타(22)가 오른쪽으로 비스듬하게 서서 운동을 수행하고 있는 것으로 보이도록 아바타(22)의 표시 방향을 조절한다. 이 경우, 사용자(20)의 오른쪽 신체 부위들의 운동 동작은 아바타(22)의 왼쪽 신체 부위의 동작으로 모델링 될 수 있다. 또한, 프로세서(12)는 아바타(22)의 크기가 거울형 디스플레이에 비치는 사용자의 거울상(21)의 크기와 동일하도록 아바타(22)의 크기를 확대 또는 축소하는 모델링을 할 수 있다. 예를 들어, 사용자(20)가 거울형 디스플레이에 근접하여 운동하고 있는 경우, 거울형 디스플레이에 비치는 사용자(20)의 각 신체부위의 크기는 크게 보일 수 있다. 프로세서(12)는 카메라부(11)와 사용자(20) 사이의 위치 관계에 기초하여 거울형 디스플레이(14)에 비치는 사용자(20)의 각 신체부위 크기를 예측하며, 예측된 각 신체부위 크기에 대응되는 크기를 갖도록 아바타(22)의 크기를 확대 또는 축소함으로써, 아바타(22)가 거울형 디스플레이에 비치는 사용자의 거울상(21)의 크기에 대응되는 크기를 갖도록 모델링할 수 있다.
다시 도 2를 참조하면, 본 발명의 일 실시예에 따른 거울형 디스플레이를 활용한 어포던스 헬스케어 콘텐츠 제공방법은 프로세서가 운동영상을 통해 아바타의 표준 운동자세와 사용자의 운동자세가 일치하는지 판단(S60) 한다.
프로세서(12)가 운동영상을 통해 아바타(22)의 표준 운동자세와 사용자(20)의 운동자세가 일치하는지 판단하는 단계는 사용자(20)가 표준 운동자세를 정확히 취하고 있는지 보다 정확하게 확인하기 위해 수행될 수 있다.
아바타의 표준 운동자세와 사용자의 운동자세가 일치하는지 판단하는 단계를 좀 더 세부적으로 설명하기 위해 도 5를 함께 참조한다.
도 5는 도 2의 거울형 디스플레이를 활용한 어포던스 헬스케어 콘텐츠 제공방법에 있어서, 아바타의 표준 운동자세와 사용자의 운동자세가 일치하는지 판단하는 단계를 설명하기 위한 순서도이다.
도 5를 참조하면, 프로세서는 운동영상에서 사용자의 각 관절의 위치를 인식(S61)한다. 앞서 설명한 바와 같이, 프로세서(12)는 카메라부(11)를 통해 촬영된 사용자(20)의 운동영상에 기초하여 스켈레톤 이미지를 형성함으로써, 사용자(20)의 관절 위치를 추출할 수 있다.
사용자(20)의 각 관절의 위치가 인식되면, 프로세서는 사용자의 관절별 3차원 위치 및 각도를 포함하는 사용자 관절패턴을 추출(S62) 한다. 구체적으로, 관절별 위치, 연결선, 격자패턴을 이용하여 사용자(20)의 관절패턴을 추출한다.
관절패턴 추출이 완료되면, 프로세서는 사용자 관절패턴과 아바타의 표준 운동자세의 관절별 3차원 위치 및 각도를 포함하는 표준 관절패턴의 유사도를 비교하여 일치도를 산출(S63) 한다. 유사도를 비교하여 일치도를 산출하는 단계는 TM(template matching) 기법, PCA(principle component analysis) 기법, BP(backpropagation)기법, Fuzzy 기법 등의 알고리즘이 적용될 수 있다. 만약 일치도가 일정 임계치 이상이면 동작 일치로서 사용자가 수행하고 있던 운동자세에 대해 수행 완료하였다고 판단할 수 있다.
다시 도 2를 참조하면, 본 발명의 일 실시예에 따른 거울형 디스플레이를 활용한 어포던스 헬스케어 콘텐츠 제공방법은 프로세서가 아바타의 표준 운동자세와 사용자의 운동자세가 불일치할 경우, 아바타의 신체 부위 중 불일치 부위에 대하여 시각적 이벤트가 표시되도록 아바타의 영상을 제어(S70) 한다.
불일치한 부위에 대하여 시각적 이벤트가 표시되도록 아바타(22)의 영상을 제어하는 단계는, 사용자(20)에게 교정해야 하는 부위를 한눈에 인지할 수 있도록 하기 위해 수행될 수 있다. 이때, 시각적 이벤트는 고정되어 표시되는 방식, 깜빡이는 방식, 확대 축소되는 방식 등 다양한 방식으로 구현될 수 있다.
시각적 이벤트의 다양한 방식들을 설명하기 위해 도6 내지 도8을 함께 참조한다.
도 6 내지 8은 도 2의 거울형 디스플레이를 활용한 어포던스 헬스케어 콘텐츠 제공방법에 있어서, 아바타의 표준 운동자세와 사용자의 운동자세가 불일치할 경우, 아바타의 신체 부위 중 불일치 부위에 대하여 시각적 이벤트가 표시되는 단계를 설명하기 위한 예시도들이다.
도 6을 참조하면, 본 발명의 일 실시예에 따른 거울형 디스플레이를 활용한 어포던스 헬스케어 콘텐츠 제공장치(1)는 아바타(22)의 표준 운동자세와 사용자(20)의 운동자세가 불일치할 경우, 불일치한 부위에 대해 아바타(22)의 영상에 색상이 다르게 나타나도록 표시하는 단계를 수행할 수 있다.
불일치한 부위는 사용자(20)의 관절패턴과 아바타(22)의 표준 관절패턴을 비교함으로써 추출될 수 있다. 불일치한 부위가 추출되면, 불일치한 부위에 대한 색상을 다르게 변경함으로써 아바타(22)의 영상에 시각적 이벤트(31)가 표시되도록 제어될 수 있다. 예를 들어, 사용자(20)가 스쿼트 자세에서 허리를 편 상태로 엉덩이를 내리며 무릎을 굽혀 앉는 단계의 운동자세를 취할 때, 해당 운동단계에 맞는 표준 운동자세를 취하도록 모델링 된 아바타(22)의 굽혀진 무릎의 각도가 90도인데 반해, 사용자(20)의 무릎의 각도가 90도를 벗어난 경우, 프로세서(12)는 아바타(22)의 무릎 부위에 대해 색상을 다르게 표시되도록 처리할 수 있다.
몇몇 실시예에서, 프로세서(12)는 불일치한 부위에 표시되는 시각적 이벤트(31)의 밝기, 채도, 음영 등을 조절함으로써 색상이 다르게 표시되도록 제어할 수 있다. 예를 들어, 사용자(20)의 무릎 각도가 90도 미만이거나 초과일 경우, 프로세서(12)는 사용자(20)의 무릎 각도가 90도에서 벗어난 정도에 따라 시각적 이벤트(31)의 밝기를 조절하여 색상이 다르게 표시되도록 처리할 수 있다. 구체적으로, 사용자(20)의 무릎 각도가 90도에서 1도씩 벗어날수록 아바타(22)의 무릎 부위에 나타나는 시각적 이벤트(31)의 밝기가 아바타(22)의 밝기 기준으로1씩 내려가도록 제어될 수 있다. 즉, 사용자(20)의 무릎 각도가 90도에서 점점 벗어날수록 시각적 이벤트(31)가 어둡게 표시되도록 처리될 수 있다. 또 다른 예로, 프로세서(12)는 사용자의 무릎 각도가 90도에서 벗어난 정도에 따라 시각적 이벤트(31)의 채도가 높아지도록 제어하여 사용자(20)의 무릎 각도가 90도에서 벗어날수록 시각적 이벤트(31)의 색상이 더욱 진하게 표시되도록 처리할 수 있다. 이때, 시각적 이벤트(31)는 불일치한 정도에 따라 색상이 다르게 표시되도록 처리되므로, 사용자(20)는 자신이 수행하고 있는 운동자세와 아바타(22)의 운동자세에 대한 불일치 정도를 한눈에 파악할 수 있다.
한편, 프로세서(12)는 사용자(20)의 무릎 각도가 90도에서 일정한 임계범위 내로 측정될 경우에는 시각적 이벤트(31)가 표시되지 않도록 제어할 수 있다. 예를 들어, 프로세서(12)가 사용자(20)의 무릎 각도가 90도에서 5도 이내로 벗어난 범위에서는 시각적 이벤트(31)가 표시되지 않도록 제어할 수 있다. 즉, 사용자(20)의 무릎 각도가 85도 이상 95도 이하의 범위에 해당할 경우, 시각적 이벤트(31)는 표시되지 않을 수 있으며, 해당 범위를 벗어난 경우에만 시각적 이벤트(31)가 표시될 수 있다. 해당 임계범위는 사용자(20)가 수행하고자 하는 운동 난이도에 따라 조절하여 설정될 수 있다.
도 7을 참조하면, 본 발명의 일 실시예에 따른 거울형 디스플레이를 활용한 어포던스 헬스케어 콘텐츠 제공장치(1)는 불일치 부위가 2개 이상 존재할 경우, 프로세서(12)가 표준 운동자세에 대하여 미리 설정된 중요도에 기초하여 아바타(22)의 각 부위에 가중치를 두어 색상을 상이하게 표시하도록 처리할 수 있다. 표준 운동자세에 대한 중요도는 운동 자세에 대한 책, 논문 등을 통해 수집된 데이터에 기초하여 설정될 수 있다. 예를 들어, 사용자(20)가 스쿼트 자세에서 허리를 편 상태로 엉덩이를 내리며 무릎을 굽혀 앉는 단계의 운동자세를 취할 때, 해당 단계에서 무릎을 90도로 구부리는 것이 가장 중요하고, 허리를 곧게 피는 것이 그 다음으로 중요한 것으로 데이터가 분석될 경우, 프로세서(12)는 무릎 부위에 대하여 1순위의 중요도를 설정할 수 있고, 허리 부위에 대하여 2순위의 중요도를 설정할 수 있다. 이후, 프로세서(12)는 설정된 중요도에 기초하여 각 신체부위별로 중요도 순위에 따라 차등하게 가중치를 부여할 수 있다. 즉, 프로세서(12)는 아바타(22)의 무릎 부위에는 가중치 1등급에 해당하는 색상을 띠는 시각적 이벤트(32)가 표시되고, 허리 부위에는 가중치 2등급에 해당하는 색상을 띠는 시각적 이벤트(33)가 표시되도록 처리할 수 있다.
몇몇 실시예에서, 프로세서(12)는 가중치가 높을수록 시각적 이벤트(32)의 명도를 밝게 조절할 수 있다. 반대로, 가중치가 낮을수록 시각적 이벤트(33)의 명도를 어둡게 조절할 수 있다. 구체적으로, 가중치가 2등급인 시각적 이벤트(33)의 색상은 가중치가 1등급인 시각적 이벤트(32)에 비해 명도가 한단계 낮은 색상으로 표시될 수 있다. 예를 들어, 가중치가 1등급인 시각적 이벤트(32)는 파란색으로 표시될 수 있으며, 가중치가 2등급인 시각적 이벤트(33)는 남색으로 표시될 수 있다.
도 8을 참조하면, 본 발명의 일 실시예에 따른 거울형 디스플레이를 활용한 어포던스 헬스케어 콘텐츠 제공장치(1)는 프로세서(12)가 불일치 부위에 대하여 사용자(20)가 운동자세를 교정할 수 있도록 불일치 부위 주변에 가이드 아이콘이 표시되도록 처리할 수 있다.
이때, 가이드 아이콘(34, 35)은 문자로 표시되거나, 손 모양, 화살표 등의 이미지로 표시될 수 있다. 그러나, 이에 한정되는 것은 아니며, 가이드 아이콘(34, 35)의 표시방식은 문자, 이미지 등 다양한 방식으로 표시될 수 있다. 가이드 아이콘(34, 35)는 고정되어 표시되는 방식, 깜빡이는 방식, 확대 축소되는 방식, 이동하며 움직이는 방식 등 다양한 방식으로 구현될 수 있다.
구체적으로, 사용자(20)가 허리를 구부린 잘못된 자세를 취할 경우, 허리 부위 주변에 화살표 모양의 가이드 아이콘(34)이 표시될 수 있다. 이때, 가이드 아이콘(34)은 사용자(20)가 자세를 교정해야 하는 방향으로 움직이며 표시될 수 있다. 만약, 사용자(20)가 허리를 위로 곧게 펴야 한다면, 위를 향하는 화살표 모양의 가이드 아이콘(34)이 밑에서 위로 이동하는 방식으로 표시될 수 있다. 또 다른 예로, 가이드 아이콘(35)은 “허리를 좀 더 세우세요”와 같이 문구로 표시될 수 있다. 이때, 가이드 아이콘(35)은 사용자(20)가 교정해야 하는 부위의 근처에 표시될 수 있다. 또한, 사용자(20)가 더욱 한눈에 인식할 수 있도록 깜빡이는 형식으로 나타날 수 있다.
본 발명의 일 실시예에 따른 거울형 디스플레이를 활용한 어포던스 헬스케어 콘텐츠 제공방법은 사용자(20)의 신체조건과 일치하는 아바타(22)를 생성하고, 사용자(20)가 수행하는 운동자세에 대응하는 표준 운동자세를 취하는 아바타(22)를 사용자(20)와 오버랩 되도록 표시해주므로, 사용자(20)는 표준 운동자세를 취하는 아바타(22)를 통해, 자신의 잘못된 운동자세를 즉각적으로 인지하고, 아바타(22)의 표준 운동자세와 자신의 운동자세를 일치화 시키기 위해, 자신의 운동자세를 교정할 수 있도록 한다.
또한, 본 발명의 일 실시예에 따른 거울형 디스플레이를 활용한 어포던스 헬스케어 콘텐츠 제공방법은 사용자(20)가 수행하는 운동자세와 아바타(22)의 표준 운동자세를 비교하여, 불일치한 부위에 대해 시각적 이벤트를 표시해주므로, 사용자(20)가 보다 정확하고 용이하게 운동자세를 교정할 수 있도록 한다. 특히, 본 발명의 일 실시예에 따른 거울형 디스플레이를 활용한 어포던스 헬스케어 콘텐츠 제공방법은 불일치 부위가 2개 이상 존재할 경우, 표준 운동자세에 대하여 미리 설정된 중요도에 기초하여 아바타(22)의 각 부위에 가중치를 두어 색상을 상이하게 표시하므로, 사용자(20)가 어떤 부위에 더 신경 쓰면서 교정해야 하는지 한눈에 인식할 수 있도록 한다. 또한, 불일치 부위에 주변에 가이드 아이콘을 표시하므로, 사용자(20)가 운동자세를 어떻게 교정해야 하는지 쉽게 이해할 수 있도록 한다.
또한, 본 발명의 일 실시예에 따른 거울형 디스플레이를 활용한 어포던스 헬스케어 콘텐츠 제공방법은 사용자에게 비대면으로 지도가 가능한 헬스케어 콘텐츠를 제공해주므로, 사람과의 접촉을 꺼려하는 사람들에게 용이하게 사용될 수 있으며, 혼자서도 정확한 운동자세를 취할 수 있도록 도와줄 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
1: 거울형 디스플레이를 활용한 어포던스 헬스케어 콘텐츠 제공장치
11: 카메라부
12: 프로세서
13: 데이터 송수신부
14: 디스플레이부
15: 전문가 단말기
20: 사용자
21: 사용자의 거울상
22: 아바타
31: 시각적 이벤트
32: 가중치가 적용된 제1시각적 이벤트
33: 가중치가 적용된 제2 시각적 이벤트
34: 제 1 가이드 아이콘
35: 제 2 가이드 아이콘
40: 전문가

Claims (10)

  1. 카메라부가 사용자의 운동영상을 촬영하는 단계;
    프로세서가 상기 운동영상에 기초하여 상기 사용자의 신체 정보를 획득하는 단계;
    상기 프로세서가 상기 사용자의 상기 신체 정보에 기초하여 상기사용자의 신체 조건과 일치하는 아바타를 생성하는 단계;
    상기 프로세서가 상기 아바타의 자세를 상기 사용자가 수행하는 운동자세에 대응하는 표준 운동자세에 대응하도록 모델링하는 단계로서, 상기 표준 운동자세는 상기 사용자가 수행하는 운동에 대한 전문가의 자세로 결정되는 상기 아바타의 자세를 모델링하는 단계; 및
    거울형 디스플레이에 일체화된 디스플레이부가 상기 표준 운동자세를 취하는 상기 아바타를 표시하는 단계로서, 상기 아바타의 상기 표준 운동자세는 상기 거울형 디스플레이에 비치는 상기 사용자의 상기 운동자세에 대응되어 상기 사용자의 상기 운동자세와 오버랩(Overlap)되도록 표시되는 상기 아바타를 표시하는 단계를 포함하는,
    거울형 디스플레이를 활용한 어포던스 헬스케어 콘텐츠 제공방법.
  2. 제1항에 있어서,
    상기 디스플레이부가 상기 표준 운동자세를 취하는 상기 아바타를 표시하는 단계 이후에,
    상기 프로세서가 상기 운동영상을 통해 상기 아바타의 상기 표준 운동자세와 상기 사용자의 상기 운동자세가 일치하는지 판단하는 단계; 및
    상기 프로세서가 상기 아바타의 상기 표준 운동자세와 상기 사용자의 상기 운동자세가 불일치할 경우, 상기 아바타의 신체 부위 중 불일치 부위에 대하여 시각적 이벤트가 표시되도록 상기 아바타의 영상을 제어하는 단계를 더 포함하는,
    거울형 디스플레이를 활용한 어포던스 헬스케어 콘텐츠 제공방법.
  3. 제2항에 있어서,
    상기 프로세서가 상기 운동영상을 통해 상기 아바타의 상기 표준 운동자세와 상기 사용자의 상기 운동자세가 일치하는지 판단하는 단계는,
    상기 프로세서가 상기 운동영상에서 상기 사용자의 각 관절의 위치를 인식하는 단계;
    상기 프로세서가 상기 사용자의 관절별 3차원 위치 및 각도를 포함하는 사용자 관절패턴을 추출하는 단계; 및
    상기 프로세서가 상기 사용자 관절패턴과 상기 아바타의 상기 표준 운동자세의 관절별 3차원 위치 및 각도를 포함하는 표준 관절패턴과 유사도를 비교하여 일치도를 산출하는 단계를 포함하는,
    거울형 디스플레이를 활용한 어포던스 헬스케어 콘텐츠 제공방법.
  4. 제2항에 있어서,
    상기 프로세서가 상기 아바타의 상기 표준 운동자세와 상기 사용자의 상기 운동자세가 불일치할 경우, 상기 아바타의 신체 부위 중 상기 불일치 부위에 대하여 상기 시각적 이벤트가 표시되도록 상기 아바타의 영상을 제어하는 단계는,
    상기 프로세서가 상기 불일치 부위에 대한 색상을 다르게 변경하는 단계를 더 포함하는,
    거울형 디스플레이를 활용한 어포던스 헬스케어 콘텐츠 제공방법.
  5. 제2항에 있어서,
    상기 프로세서가 상기 아바타의 상기 표준 운동자세와 상기 사용자의 상기 운동자세가 불일치할 경우, 상기 아바타의 신체 부위 중 상기 불일치 부위에 대하여 상기 시각적 이벤트가 표시되도록 상기 아바타의 영상을 제어하는 단계는,
    상기 프로세서가 상기 불일치 부위가 2개 이상 존재할 경우, 상기 표준 운동자세에 대하여 미리 설정된 중요도에 기초하여 상기 아바타의 각 부위에 가중치를 두어 색상을 상이하게 표시하도록 처리하는 단계를 더 포함하는,
    거울형 디스플레이를 활용한 어포던스 헬스케어 콘텐츠 제공방법.
  6. 제2항에 있어서,
    상기 프로세서가 상기 아바타의 상기 표준 운동자세와 상기 사용자의 상기 운동자세가 불일치할 경우, 상기 아바타의 신체 부위 중 상기 불일치 부위에 대하여 상기 시각적 이벤트가 표시되도록 상기 아바타의 영상을 제어하는 단계는,
    상기 프로세서가 상기 불일치 부위에 대하여 상기 사용자가 상기 운동자세를 교정할 수 있도록 상기 불일치 부위 주변에 가이드 아이콘이 표시되도록 처리하는 단계를 더 포함하는,
    거울형 디스플레이를 활용한 어포던스 헬스케어 콘텐츠 제공방법.
  7. 제6항에 있어서,
    상기 가이드 아이콘은 손 모양 또는 화살표이고,
    상기 프로세서는 상기 가이드 아이콘이 상기 불일치 부위의 주변에서 상기 사용자의 상기 운동자세를 교정하는 방향으로 이동 표시되도록 제어하는,
    거울형 디스플레이를 활용한 어포던스 헬스케어 콘텐츠 제공방법.
  8. 제1항에 있어서,
    상기 프로세서가 상기 아바타가 상기 사용자가 수행하는 상기 운동자세에 대응하는 상기 표준 운동자세를 취하도록 상기 아바타의 자세를 모델링하는 단계는,
    데이터 송수신부가 상기 전문가에 의해 상기 표준 운동자세를 실시간으로 수신 받는 단계;
    상기 데이터 송수신부가 상기 실시간 수신된 상기 전문가의 상기 표준 운동자세를 상기 프로세서로 전송하는 단계; 및
    상기 프로세서가 상기 실시간 수신된 상기 전문가의 상기 표준 운동자세에 대응되도록 상기 아바타의 자세를 모델링하는 단계를 포함하는,
    거울형 디스플레이를 활용한 어포던스 헬스케어 콘텐츠 제공방법.
  9. 사용자의 운동영상을 촬영하는 카메라부;
    상기 운동영상에 기초하여 상기 사용자의 신체 정보를 획득하고, 상기 사용자의 상기 신체 정보에 기초하여 상기 사용자의 신체 조건과 일치하는 아바타를 생성하고, 상기 아바타가 상기 사용자가 수행하는 운동자세에 대응하는 표준 운동자세를 취하도록 상기 아바타의 자세를 모델링하고, 상기 표준 운동자세를 취하는 상기 아바타를 표시하도록 처리하는 프로세서;
    전문가에 의해 상기 표준 운동자세를 실시간으로 수신 받아 상기 프로세서로 전달하는 데이터 송수신부; 및
    거울형 디스플레이에 일체화되어 있으며, 상기 아바타의 상기 표준 운동자세가 상기 거울형 디스플레이에 비치는 상기 사용자의 상기 운동자세에 대응되어 상기 사용자의 상기 운동자세와 오버랩(Overlap)되도록 상기 아바타를 표시하는 디스플레이부;를 포함하는,
    거울형 디스플레이를 활용한 어포던스 헬스케어 콘텐츠 제공 장치.
  10. 제9항에 있어서,
    상기 프로세서가 상기 운동영상을 통해 상기 아바타의 상기 표준 운동자세와 상기 사용자의 상기 운동자세가 일치하는지 판단하고, 상기 아바타의 상기 표준 운동자세와 상기 사용자의 상기 운동자세가 불일치할 경우, 상기 아바타의 신체 부위 중 불일치 부위에 대하여 시각적 이벤트가 표시되도록 상기 아바타의 영상을 제어하는,
    거울형 디스플레이를 활용한 어포던스 헬스케어 콘텐츠 제공 장치.
KR1020210023064A 2021-02-22 2021-02-22 거울형 디스플레이를 활용한 어포던스 헬스케어 콘텐츠 제공방법 및 장치 KR20220120731A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210023064A KR20220120731A (ko) 2021-02-22 2021-02-22 거울형 디스플레이를 활용한 어포던스 헬스케어 콘텐츠 제공방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210023064A KR20220120731A (ko) 2021-02-22 2021-02-22 거울형 디스플레이를 활용한 어포던스 헬스케어 콘텐츠 제공방법 및 장치

Publications (1)

Publication Number Publication Date
KR20220120731A true KR20220120731A (ko) 2022-08-31

Family

ID=83061578

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210023064A KR20220120731A (ko) 2021-02-22 2021-02-22 거울형 디스플레이를 활용한 어포던스 헬스케어 콘텐츠 제공방법 및 장치

Country Status (1)

Country Link
KR (1) KR20220120731A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024080705A1 (ko) * 2022-10-12 2024-04-18 주식회사 스튜디오랩 전자 장치 및 이의 촬영 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190117099A (ko) 2018-04-06 2019-10-16 엘지전자 주식회사 트레이닝 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190117099A (ko) 2018-04-06 2019-10-16 엘지전자 주식회사 트레이닝 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024080705A1 (ko) * 2022-10-12 2024-04-18 주식회사 스튜디오랩 전자 장치 및 이의 촬영 방법

Similar Documents

Publication Publication Date Title
US11468612B2 (en) Controlling display of a model based on captured images and determined information
US11633659B2 (en) Systems and methods for assessing balance and form during body movement
US11069144B2 (en) Systems and methods for augmented reality body movement guidance and measurement
CN110349081B (zh) 图像的生成方法、装置、存储介质和电子设备
KR102172988B1 (ko) 아이라이너-착용 가이드 장치 및 방법
KR101639161B1 (ko) 골격 정보를 이용한 사용자 인증 방법
Obdržálek et al. Real-time human pose detection and tracking for tele-rehabilitation in virtual reality
WO2020056532A1 (en) Marker-less augmented reality system for mammoplasty pre-visualization
WO2022034771A1 (ja) プログラム、方法、情報処理装置
KR20220120731A (ko) 거울형 디스플레이를 활용한 어포던스 헬스케어 콘텐츠 제공방법 및 장치
JP2023168557A (ja) プログラム、方法、情報処理装置
WO2020147797A1 (zh) 图像处理方法及装置、图像设备及存储介质
Kishore et al. Smart yoga instructor for guiding and correcting yoga postures in real time
KR20220156693A (ko) 거울형 디스플레이를 활용한 어포던스 유소년 헬스케어 콘텐츠 제공방법 및 장치
WO2020147794A1 (zh) 图像处理方法及装置、图像设备及存储介质
Payandeh et al. Experimental Study of a Deep‐Learning RGB‐D Tracker for Virtual Remote Human Model Reconstruction
CN110503710A (zh) 一种基于现实增强技术的复杂场景康复训练方法
Dihl et al. Recovering 3D human pose based on biomechanical constraints, postures comfort and image shading
KR102669062B1 (ko) 운동 보조 서비스 제공 로봇 및 운동 보조 서비스 제공 방법
CN116646052B (zh) 一种基于三维人体模型的辅助针灸定位系统与方法
TW201905836A (zh) 以ar技術實現穴道視覺化之中醫系統及其方法
KR102510048B1 (ko) 운동 동작에 따른 증강현실 데이터를 출력하는 전자 장치의 제어 방법
Wang et al. Enhancing independence for people with low vision to use daily panel-interface machines
Etaat An Online Balance Training Application Using Pose Estimation and Augmented Reality
CN117275089A (zh) 一种单目摄像头的人物识别方法、装置、设备及存储介质

Legal Events

Date Code Title Description
AMND Amendment
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X601 Decision of rejection after re-examination