KR101960929B1 - 기초 응급 구조 훈련 시뮬레이션 시스템 - Google Patents

기초 응급 구조 훈련 시뮬레이션 시스템 Download PDF

Info

Publication number
KR101960929B1
KR101960929B1 KR1020160125708A KR20160125708A KR101960929B1 KR 101960929 B1 KR101960929 B1 KR 101960929B1 KR 1020160125708 A KR1020160125708 A KR 1020160125708A KR 20160125708 A KR20160125708 A KR 20160125708A KR 101960929 B1 KR101960929 B1 KR 101960929B1
Authority
KR
South Korea
Prior art keywords
output image
pressing
simulation
user
control unit
Prior art date
Application number
KR1020160125708A
Other languages
English (en)
Other versions
KR20180035520A (ko
Inventor
권예람
이형묵
노승탁
Original Assignee
주식회사 아이엠랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아이엠랩 filed Critical 주식회사 아이엠랩
Priority to KR1020160125708A priority Critical patent/KR101960929B1/ko
Publication of KR20180035520A publication Critical patent/KR20180035520A/ko
Application granted granted Critical
Publication of KR101960929B1 publication Critical patent/KR101960929B1/ko

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H31/00Artificial respiration or heart stimulation, e.g. heart massage
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H31/00Artificial respiration or heart stimulation, e.g. heart massage
    • A61H31/004Heart stimulation
    • A61H31/005Heart stimulation with feedback for the user
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H31/00Artificial respiration or heart stimulation, e.g. heart massage
    • A61H31/004Heart stimulation
    • A61H31/007Manual driven
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G09B23/288Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine for artificial respiration or heart massage
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/02Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip

Abstract

기초 응급 구조 훈련 시뮬레이션 시스템은 마그네틱 트래킹 베이스 스테이션, 및 사용자의 압박 동작 또는 인공 호흡 동작과 연관된 파라미터를 센싱하기 위한 센서부를 구비한 탠저블 마네킹, 상기 마그네틱 트래킹 베이스 스테이션에 대한 상대 자세를 추적하기 위한 마그네틱 트래킹 컴포넌트, 컬러 영상 및 깊이 영상을 촬영하는 RGB-D 카메라, 및 상기 사용자에게 출력 영상을 제공하는 디스플레이부를 포함하는 사용자 헤드셋, 및 상기 마그네틱 트래킹 베이스 스테이션과 통신하여 상기 상대 자세를 추적하고, 상기 센서부 및 상기 RGB-D 카메라로부터 수신되는 데이터를 기반으로 상기 출력 영상을 생성하여 상기 디스플레이부에 전달하는 시뮬레이션 제어부를 포함한다.

Description

기초 응급 구조 훈련 시뮬레이션 시스템{BASIC LIFE SUPPORT TRAINING SIMULATION SYSTEM}
기초 응급 구조 훈련 시뮬레이션 시스템에 연관되며, 보다 구체적으로는 탠저블 마네킹에 대한 상대 자세를 이용하여 증강 가상 환경 등에서 탠저블 마네킹과 상호작용할 수 있는 기초 응급 구조 훈련 시뮬레이션 시스템에 연관된다.
심폐소생술을 포함하는 기초 응급 구조 훈련 과정은 심정지 사망자의 생명 구제와 직결될 수 있다. 기초 응급 구조 훈련의 중요성이 대두됨에 따라 다양한 기초 응급 구조 훈련 과정이 마련되고 있으나, 단순한 훈련 방식으로 인하여 교육 효과가 미흡한 편이다.
특히 교육 대상자들은 대부분의 경우 매우 제한적인 물리적 피드백만을 제공하는 저가형 마네킹을 이용하여 교육 훈련을 받고 있어, 교육 대상자들의 흥미 유발과 대처 능력 향상을 위한 사실적 피드백을 제공하는 데에는 어려움이 있다.
데스크톱 환경의 시뮬레이션 시스템으로서 가상의 프로그램 속에서 멀티미디어 훈련 콘텐츠를 제공하는 방식이 존재하지만, 키보드와 마우스를 이용하는 GUI(Graphical User Interface) 방식 하에서는 실제 상황과 유사한 환경에서 훈련용 교구를 이용하여 훈련하는 만큼의 학습 효과를 기대하기 어렵다.
일측에 따르면, 기초 응급 구조 훈련 시뮬레이션 시스템은 마그네틱 트래킹 베이스 스테이션, 및 사용자의 압박 동작 또는 인공 호흡 동작과 연관된 파라미터를 센싱하기 위한 센서부를 구비한 탠저블 마네킹;
상기 마그네틱 트래킹 베이스 스테이션에 대한 상대 자세를 추적하기 위한 마그네틱 트래킹 컴포넌트, 컬러 영상 및 깊이 영상을 촬영하는 RGB-D 카메라, 및 상기 사용자에게 출력 영상을 제공하는 디스플레이부를 포함하는 사용자 헤드셋; 및
상기 마그네틱 트래킹 베이스 스테이션과 통신하여 상기 상대 자세를 추적하고, 상기 센서부 및 상기 RGB-D 카메라로부터 수신되는 데이터를 기반으로 상기 출력 영상을 생성하여 상기 디스플레이부에 전달하는 시뮬레이션 제어부를 포함한다.
일실시예에서, 상기 센서부는 상기 압박 동작의 위치를 센싱하기 위한 접촉 센서 및 상기 압박 동작의 강도를 센싱하기 위한 압력 센서를 포함한다. 일실시예에서, 상기 센서부는 상기 인공 호흡 동작에 따른 가상 환자의 호흡량을 센싱하기 위한 대기압 센서를 포함한다.
일실시예에서, 상기 시뮬레이션 제어부는 상기 압박 동작 또는 상기 인공 호흡 동작과 연관된 파라미터 및 미리 정의된 변형 분포 곡선에 기초하여 상기 출력 영상 내에서 상기 탠저블 마네킹에 대응하는 가상 환자의 애니메이션을 렌더링한다.
일실시예에서, 상기 변형 분포 곡선은 상기 압박 동작의 강도 또는 상기 인공 호흡 동작에 따른 상기 가상 환자의 호흡량에 대한 가상 환자 애니메이션의 변형 범위를 나타낸다.
일실시예에서, 상기 가상 환자는 상기 탠저블 마네킹에 대응하는 복수의 정점을 포함하는 메시를 포함하고, 상기 시뮬레이션 제어부는 상기 압박 동작의 위치에 기초하여 상기 복수의 정점 중에서 적어도 일부를 선택하여 변형 대상 메시 영역을 결정하고, 상기 압박 동작의 강도 및 상기 변형 분포 곡선에 기초하여 상기 변형 대상 메시 영역 내의 정점의 위치를 변경한다.
일실시예에서, 상기 변형 대상 메시 영역은 상기 복수의 정점 중에서 상기 압박 동작의 위치를 중심점으로 하는 기하학적 오브젝트와 교차하는 정점을 포함한다.
일실시예에서, 상기 시뮬레이션 제어부는 상기 기하학적 오브젝트와 교차하는 정점 각각에 대하여 상기 중심점으로부터의 거리에 따른 가중치를 할당하고, 상기 가중치에 기초하여 상기 기하학적 오브젝트와 교차하는 정점 각각의 위치를 변경한다. 일실시예에서, 상기 기하학적 오브젝트는 구 또는 타원구이다.
일실시예에서, 상기 시뮬레이션 제어부는 상기 상대 자세에 기초하여 상기 탠저블 마네킹 및 상기 탠저블 마네킹에 대응하는 상기 출력 영상 내의 가상 환자의 애니메이션 간의 실시간 정합을 수행한다.
일실시예에서, 상기 출력 영상은 상기 RGB-D 카메라로부터 수신된 데이터를 기반으로 하여 생성된 현실 콘텐츠와 상기 시뮬레이션 제어부에 의해 생성된 가상 콘텐츠를 포함하고, 상기 시뮬레이션 제어부는 상기 상대 자세에 기초하여 상기 현실 콘텐츠와 상기 가상 콘텐츠 간의 실시간 정합을 수행한다.
일실시예에서, 상기 출력 영상은 상기 압박 동작 또는 상기 인공 호흡 동작과 연관된 파라미터 중 적어도 하나를 시각적으로 디스플레이하는 피드백 인터페이스를 포함한다.
다른 일측에 따르면, 기초 응급 구조 훈련 시뮬레이션 시스템은, 마그네틱 트래킹 베이스 스테이션, 상기 마그네틱 트래킹 베이스 스테이션에 대한 제1 상대 자세를 추적하기 위한 제1 마그네틱 트래킹 컴포넌트, 및 사용자의 압박 동작 또는 인공 호흡 동작과 연관된 파라미터를 센싱하기 위한 센서부를 구비한 탠저블 마네킹, 상기 마그네틱 트래킹 베이스 스테이션에 대한 제2 상대 자세를 추적하기 위한 제2 마그네틱 트래킹 컴포넌트, 컬러 영상 및 깊이 영상을 촬영하는 RGB-D 카메라, 및 상기 사용자에게 출력 영상을 제공하는 디스플레이부를 포함하는 사용자 헤드셋, 및 상기 마그네틱 트래킹 베이스 스테이션과 통신하여 상기 제1 상대 자세 및 제2 상대 자세를 추적하고, 상기 센서부 및 상기 RGB-D 카메라로부터 수신되는 데이터에 기초하여 상기 디스플레이부에 상기 출력 영상을 전달하는 시뮬레이션 제어부를 포함한다.
일실시예에서, 상기 시뮬레이션 제어부는 상기 압박 동작 또는 인공 호흡 동작과 연관된 파라미터 및 미리 정의된 변형 분포 곡선에 기초하여 상기 출력 영상 내에서 상기 탠저블 마네킹에 대응하는 가상 환자의 애니메이션을 렌더링한다.
일실시예에서, 상기 변형 분포 곡선은 상기 압박 동작의 강도 또는 상기 인공 호흡 동작에 따른 상기 가상 환자의 호흡량에 대한 가상 환자 애니메이션의 변형 범위를 나타낸다.
일실시예에서, 상기 가상 환자는 상기 탠저블 마네킹에 대응하는 복수의 정점을 포함하는 메시를 포함하고, 상기 시뮬레이션 제어부는 상기 압박 동작의 위치에 기초하여 상기 복수의 정점 중에서 적어도 일부를 선택하여 변형 대상 메시 영역을 결정하고, 상기 압박 동작의 강도 및 상기 변형 분포 곡선에 기초하여 상기 변형 대상 메시 영역 내의 정점의 위치를 변경한다.
일실시예에서, 상기 변형 대상 메시 영역은 상기 복수의 정점 중에서 상기 압박 동작의 위치를 중심점으로 하는 기하학적 오브젝트와 교차하는 정점을 포함한다.
일실시예에서, 상기 시뮬레이션 제어부는 상기 기하학적 오브젝트와 교차하는 정점 각각에 대하여 상기 중심점으로부터의 거리에 따른 가중치를 할당하고, 상기 가중치에 기초하여 상기 기하학적 오브젝트와 교차하는 정점 각각의 위치를 변경한다.
일실시예에서, 상기 시뮬레이션 제어부는 상기 제1 상대 자세 및 상기 제2 상대 자세에 기초하여 상기 탠저블 마네킹 및 상기 탠저블 마네킹에 대응하는 상기 출력 영상 내의 가상 환자의 애니메이션 간의 실시간 정합을 수행한다.
다른 일측에 따르면, 기초 응급 구조 훈련 시뮬레이션 시스템은 사용자의 압박 동작 또는 인공 호흡 동작과 연관된 파라미터를 센싱하기 위한 센서부를 구비한 탠저블 마네킹, 컬러 영상 및 깊이 영상을 촬영하는 RGB-D 카메라, 및 상기 사용자에게 출력 영상을 제공하는 디스플레이부를 포함하는 사용자 헤드셋, 상기 탠저블 마네킹에 대한 상기 사용자 헤드셋의 상대 자세를 추적하기 위한 트래킹 연산부, 및 상기 센서부, 상기 RGB-D 카메라, 및 상기 트래킹 연산부로부터 수신되는 데이터를 기반으로 상기 출력 영상을 생성하여 상기 디스플레이부에 전달하는 시뮬레이션 제어부를 포함한다.
일실시예에서, 상기 시뮬레이션 제어부는 상기 압박 동작 또는 상기 인공 호흡 동작과 연관된 파라미터 및 미리 정의된 변형 분포 곡선에 기초하여 상기 출력 영상 내에서 상기 탠저블 마네킹에 대응하는 가상 환자의 애니메이션을 렌더링한다.
일실시예에서, 상기 변형 분포 곡선은 상기 압박 동작의 강도 또는 상기 인공 호흡 동작에 따른 상기 가상 환자의 호흡량에 대한 가상 환자 애니메이션의 변형 범위를 나타낸다.
일실시예에서, 상기 시뮬레이션 제어부는 상기 상대 자세에 기초하여 상기 탠저블 마네킹 및 상기 탠저블 마네킹에 대응하는 상기 출력 영상 내의 가상 환자의 애니메이션 간의 실시간 정합을 수행한다.
일실시예에서, 상기 출력 영상은 상기 RGB-D 카메라로부터 수신된 데이터를 기반으로 하여 생성된 현실 콘텐츠와 상기 시뮬레이션 제어부에 의해 생성된 가상 콘텐츠를 포함하고, 상기 시뮬레이션 제어부는 상기 상대 자세에 기초하여 상기 현실 콘텐츠와 상기 가상 콘텐츠 간의 실시간 정합을 수행한다.
도 1은 일실시예에 따른 기초 응급 구조 훈련 시뮬레이션 시스템의 예시적 구성을 나타내는 블록도이다.
도 2는 일실시예에 따른 기초 응급 구조 훈련 시뮬레이션 시스템의 구현 환경을 예시적으로 나타낸 도면이다.
도 3은 일실시예에 따른 기초 응급 구조 훈련 시뮬레이션 시스템의 사용자 헤드셋의 예시적 구성을 나타내는 블록도이다.
도 4는 일실시예에 따른 기초 응급 구조 훈련 시뮬레이션 시스템의 가상 환자 애니메이션 렌더링 과정을 설명하기 위한 도면이다.
도 5A 및 5B는 일실시예에 따른 기초 응급 구조 훈련 시뮬레이션 시스템의 가상 환자 애니메이션 렌더링 과정을 설명하기 위한 도면이다.
도 6은 일실시예에 따른 기초 응급 구조 훈련 시뮬레이션 시스템의 가상 환자 애니메이션 렌더링 과정을 설명하기 위한 흐름도이다.
도 7은 일실시예에 따른 기초 응급 구조 훈련 시뮬레이션 시스템의 출력 영상의 예시를 설명하기 위한 도면이다.
이하에서, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 권리범위는 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
아래 설명에서 사용되는 용어는, 연관되는 기술 분야에서 일반적이고 보편적인 것으로 선택되었으나, 기술의 발달 및/또는 변화, 관례, 기술자의 선호 등에 따라 다른 용어가 있을 수 있다. 따라서, 아래 설명에서 사용되는 용어는 기술적 사상을 한정하는 것으로 이해되어서는 안 되며, 실시예들을 설명하기 위한 예시적 용어로 이해되어야 한다.
또한 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 설명 부분에서 상세한 그 의미를 기재할 것이다. 따라서 아래 설명에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가지는 의미와 명세서 전반에 걸친 내용을 토대로 이해되어야 한다.
도 1은 일실시예에 따른 기초 응급 구조 훈련 시뮬레이션 시스템(100)의 예시적 구성을 나타내는 블록도이다.
기초 응급 구조 훈련 시뮬레이션 시스템(100)은 가상의 콘텐츠가 융합된 환경 하에서 현실의 훈련 교구인 탠저블 마네킹과 물리적으로 상호작용하고 실시간 피드백을 시각적으로 확인할 수 있는 기초 응급 구조 훈련 프로그램을 제공한다. 본 시뮬레이션 시스템(100)은 탠저블 마네킹에 대한 상대 자세를 이용한 공간 정합 기술을 이용하여 증강현실, 증강가상, 및 가상 환경에서 탠저블 마네킹과의 이음매 없는(seamless) 사용자 상호작용을 제공한다.
이하에서, 일실시예에 따른 시뮬레이션 시스템(100)은 증강가상 환경 하에서의 동작을 중심으로 설명되지만, 시뮬레이션 시스템(100)은 증강현실 및 가상 환경 하에서도 이용될 수 있다. 일실시예에서, 시뮬레이션 시스템(100)은 시뮬레이션 제어부(110), 사용자 헤드셋(120), 탠저블 마네킹(130) 및 마그네틱 트래킹 베이스 스테이션(140)을 포함할 수 있다.
일실시예에서, 시뮬레이션 제어부(110)는 하나 이상의 프로세서를 포함하는 칩, 머신, 또는 컴퓨팅 디바이스일 수 있다. 시뮬레이션 제어부(110)는 데스크톱 컴퓨터 및 랩톱 컴퓨터와 같은 퍼스널 컴퓨터, 모바일 사용자 장비, 또는 유선 또는 무선으로 연결된 서버 상에 구현될 수 있으며, 제안되는 시스템의 기능은 그 구현 형태에 의해 제한되지 않는다. 시뮬레이션 제어부(110)는 설계에 따라 아래에서 설명되는 사용자 헤드셋(120), 탠저블 마네킹(130) 및 마그네틱 트래킹 베이스 스테이션(140)과 물리적으로 동일한 하우징 내에 배치될 수 있다.
시뮬레이션 제어부(110)는 마그네틱 트래킹 베이스 스테이션(140)과 통신하여 사용자 헤드셋(120)의 마그네틱 트래킹 베이스 스테이션(140)에 대한 상대 자세(relative pose)를 추적할 수 있다. 이와 같이 마그네틱 트래킹을 이용하여 상대 자세를 추적함으로써, 트래킹 패턴을 이용한 비전 기반의 트래킹 방식이 가지는 시야 문제로부터 자유로울 수 있다. 즉, 시뮬레이션 제어부(110)는 일정한 트래킹 패턴이 항상 사용자의 시야에 존재하지 않더라도 사용자 헤드셋(120)의 마그네틱 트래킹 베이스 스테이션(140)에 대한 상대 자세를 정확하게 추적할 수 있다.
사용자 헤드셋(120) 및/또는 탠저블 마네킹(130)은 마그네틱 트래킹 베이스 스테이션(140)에 대한 상대 자세를 추적하기 위하여 마그네틱 트래킹 컴포넌트를 포함할 수 있다. 이러한 구성을 통하여, 마그네틱 트래킹 베이스 스테이션(140)을 원점으로 하여 마그네틱 트래킹 컴포넌트의 6-자유도 추적이 가능하다.
일실시예에서, 탠저블 마네킹(130)은 별도의 마그네틱 트래킹 컴포넌트를 포함하지 않을 수 있다. 이러한 경우, 탠저블 마네킹(130)은 마그네틱 트래킹 베이스 스테이션(140)과 일체형으로 제공되거나, 구조적으로 마그네틱 트래킹 베이스 스테이션(140)에 대한 상대 자세를 용이하게 파악할 수 있는 상태로 제공될 수 있다.
일실시예에서, 사용자 헤드셋(120)은 컬러 영상 및 깊이 영상을 촬영하는 RGB-D 카메라, 및 상기 사용자에게 출력 영상을 제공하는 디스플레이부를 포함할 수 있다. 사용자 헤드셋(120)은 현실 콘텐츠와 가상 콘텐츠 간의 자연스러운 정합을 위해서 캘리브레이션 과정을 거칠 필요가 있다. 캘리브레이션 과정에 대하여는 아래에서 더 상세하게 설명된다.
일실시예에서, 탠저블 마네킹(130)은 사용자의 압박 동작 또는 인공 호흡 동작과 연관된 파라미터를 센싱하기 위한 센서부를 구비할 수 있다. 사용자의 압박 동작과 연관된 파라미터는 예를 들어 압박 동작의 위치, 강도, 깊이, 횟수, 속도 및 시간을 포함할 수 있다. 또한, 사용자의 인공 호흡 동작과 연관된 파라미터는 예를 들어 인공 호흡 동작에 따른 가상 환자의 호흡량, 횟수, 속도 및 시간을 포함할 수 있다.
시뮬레이션 시스템(100)은 이러한 파라미터를 탠저블 마네킹에서 센싱하여 사용자의 압박 동작 및 인공 호흡 동작에 대한 피드백을 가상 콘텐츠의 렌더링 시에 정교하게 반영하고 올바른 압박 동작 및 인공 호흡 동작이 진행되고 있는지 여부를 사용자가 확인할 수 있는 피드백 인터페이스를 제공할 수 있다. 예를 들어, 피드백 인터페이스는 압박 동작 또는 인공 호흡 동작의 속도에 대한 수치를 출력 영상 내에서 사용자에게 제공하고, 그에 대한 피드백(예컨대, 너무 빠름, 너무 느림 등)을 함께 제공할 수 있다.
일실시예에서, 탠저블 마네킹(130)의 센서부는 압박 동작의 위치를 센싱하기 위한 접촉 센서 및 압박 동작의 강도를 센싱하기 위한 압력 센서를 포함할 수 있다. 압박 동작의 강도를 센싱하기 위한 압력 센서로는 압전 센서 또는 로드 셀 등이 이용될 수 있으며, 압력 센서 대신 가속도 센서를 이용하거나 압력 센서 및 가속도 센서를 함께 이용하여 압박 동작의 강도를 센싱할 수도 있다. 일실시예에서, 탠저블 마네킹(130)의 센서부는 인공 호흡 동작에 따른 가상 환자의 호흡량을 센싱하기 위한 대기압 센서를 포함할 수 있다. 그 밖에도, 센서부에는 다양한 종류의 센서가 함께 또는 대안적으로 포함될 수 있다.
일실시예에서, 시뮬레이션 시스템(100)은 탠저블 마네킹에 대한 상대 자세를 추적하기 위하여 마그네틱 트래킹 베이스 스테이션(140)을 대체하는 트래킹 연산부를 포함할 수 있다. 일실시예에서, 트래킹 연산부는 광학 트래킹 베이스 스테이션과 광학 트래킹 컴포넌트를 포함할 수 있다. 다른 일실시예에서, 트래킹 연산부는 가시광선 또는 적외선 기반의 멀티뷰 카메라 스테이션 및 기준(fiducial) 마커 패턴을 포함할 수 있다. 다른 일실시예에서, 트래킹 연산부는 가시광선 또는 적외선 기반의 멀티 기준 마커 패턴 및 자기 시점 카메라를 포함할 수 있다.
일실시예에서, 시뮬레이션 제어부(110)는 가상 공간 상에 현실의 객체가 융합되는 증강가상 환경의 출력 영상을 생성하기 위하여 마그네틱 베이스 스테이션을 원점으로 하는 기준 좌표 시스템에서 가상 공간 정합을 수행할 수 있다. 예를 들어, 시뮬레이션 제어부(110)는 사용자 헤드셋(120)의 RGB-D 카메라로부터 촬영된 영상에 포함된 사용자의 손을 가상 콘텐츠 상에 렌더링함으로써 사실성이 높은 증강가상 기반의 기초 응급 구조 훈련 프로그램을 제공할 수 있다.
일실시예에서, 시뮬레이션 제어부(110)는 사용자의 압박 동작 또는 인공 호흡 동작과 연관된 파라미터에 대하여 미리 정의된 변형 분포 곡선에 기초하여 출력 영상 내에서 상기 탠저블 마네킹에 대응하는 가상 환자의 애니메이션을 렌더링할 수 있다. 예를 들어, 탠저블 마네킹(130)의 센서부로부터 사용자의 실시간 압박 깊이 또는 가상 환자의 호흡량을 획득하고 이에 대응하는 가상 환자 애니메이션의 변형 범위를 나타내는 변형 분포 곡선이 정의될 수 있다. 이러한 변형 분포 곡선은 센서부의 파라미터에 따른 바람직한 애니메이션 변형 정도를 나타내는 것으로서, 시뮬레이션 설계 단계에서 변형 방향, 진폭, 위상, 형태 등을 고려하여 설정될 수 있다.
도 2는 일실시예에 따른 기초 응급 구조 훈련 시뮬레이션 시스템의 구현 환경을 예시적으로 나타낸 도면이다. 도 2에는 마그네틱 트래킹 베이스 스테이션(210)으로부터 일정한 거리 이내의 현실 공간인 마그네틱 트래킹 영역(220)이 도시된다. 마그네틱 트래킹 방식의 특성 상 마그네틱 트래킹 베이스 컴포넌트가 마그네틱 트래킹 베이스 스테이션(210)으로부터 일정한 거리 이상으로 멀어진 경우 마그네틱 트래킹 베이스 컴포넌트의 이동 및 자세 변화가 추적될 수 없다. 이 경우, 시뮬레이션 시스템은 에러 메시지 또는 경보음을 출력할 수 있다.
가상현실 콘텐츠를 제공할 수 있는 사용자 헤드셋을 착용한 사용자(230)는 마그네틱 트래킹 영역(220) 내에서 탠저블 마네킹(240)에 심폐소생술과 관련된 압박 동작을 가하는 등 탠저블 마네킹(240)과 물리적으로 상호작용할 수 있다. 예를 들어, 사용자는 사용자 헤드셋의 디스플레이부를 통해 가상 공간(250) 내의 가상 환자(260)의 모습을 시각적으로 확인하면서 탠저블 마네킹(240)과의 물리적 상호작용을 수행할 수 있다. 탠저블 마네킹(240)은 센서부를 이용하여 사용자 상호작용 파라미터를 검출할 수 있으며, 이러한 사용자 상호작용 파라미터는 탠저블 마네킹과의 상대 자세를 이용한 정합 과정을 통해 출력 영상에 실시간으로 반영될 수 있다.
이처럼, RGB-D 카메라로부터 촬영되는 현실 콘텐츠와 가상 콘텐츠를 정합한 출력 영상을 사용자에게 제공하되, 탠저블 마네킹(240)에 대한 사용자 상호작용이 출력 영상 내의 가상 환자(260)에 실시간으로 반영되도록 함으로써, 가상 콘텐츠를 포함하는 출력 영상임에도 불구하고 사용자가 체감하는 이질감을 최소화할 수 있다. 따라서, 훈련 공간의 디자인 및 변형이 매우 자유로운 가상 환경의 특징을 이용하여 다채로운 몰입형 시나리오를 사용자에게 용이하게 제공할 수 있게 된다.
도 3은 일실시예에 따른 기초 응급 구조 훈련 시뮬레이션 시스템의 사용자 헤드셋의 예시적 구성을 나타내는 블록도이다. 일실시예에서, 사용자 헤드셋(300)은 RGB-D 카메라(310), 디스플레이부(320), 및 마그네틱 트래킹 컴포넌트(330)를 포함할 수 있다.
자연스럽게 공간 정합된 출력 영상을 제공하기 위하여, 사용자 헤드셋(300)의 정밀한 상대 자세 제공을 위한 캘리브레이션이 수행될 수 있다.
먼저, RGB-D 카메라(310)의 컬러 카메라 및 깊이 카메라 간에도 캘리브레이션이 수행될 필요가 있다. 근래 시판되는 대부분의 RGB-D 카메라는 생산 단계에서 자체적으로 캘리브레이션 과정을 거친 후 출하된다.
다음으로, 사용자 헤드셋(300)과 RGB-D 카메라(310) 간의 캘리브레이션이 수행될 수 있다. 즉, 사용자 헤드셋(300) 자체와 사용자 헤드셋(300)에 부착된 RGB-D 카메라(310) 간의 상대 자세가 측정되고, 사용자 헤드셋(300)에 대한 RGB-D 카메라(310)의 상대적인 3차원 위치 및 회전을 나타내는 변환 행렬이 생성될 수 있다.
사용자 헤드셋(300)의 디스플레이부(320) 중심 위치에 대한 RGB-D 카메라(310)의 정밀한 부착 위치를 측정할 수 있는 경우 그로부터 양자 간의 상대 자세를 도출해낼 수 있으며, 그렇지 않은 경우 RGB-D 카메라(310)의 컬러 카메라와 체커 보드를 이용하여 비전 기반으로 상대 자세를 측정할 수 있다.
나아가, 사용자 헤드셋(300)과 마그네틱 트래킹 시스템 간의 캘리 브레이션이 수행될 수 있다. 사용자 헤드셋(300)의 트래킹에 마그네틱 트래킹 베이스 스테이션을 기준으로 마그네틱 트래킹 컴포넌트(330)의 6-자유도 움직임을 측정하는 방식이 이용되므로, 자연스러운 공간 정합을 위해서는 마그네틱 트래킹 컴포넌트(330)와 RGB-D 카메라(310) 간의 정밀한 상대 좌표를 알 필요가 있다. 이를 위하여, 체커 보드와 마그네틱 트래킹 베이스 스테이션이 미리 결정된 기준에 따라 배치되도록 하여 양자 간의 상대 자세를 획득하고, RGB-D 카메라(310)의 컬러 카메라를 이용하여 비전 기반으로 체커 보드와 RGB-D 카메라(310) 간의 상대 자세를 획득할 수 있다. 이러한 과정을 통해, RGB-D 카메라(310)와 마그네틱 트래킹 시스템 상호 간의 캘리브레이션 수행이 가능하다.
상대적인 3차원 위치 및 회전에 대한 캘리브레이션 과정이 완료되면, 더욱 자연스럽고 몰입도가 높은 기초 응급 구조 훈련을 위하여 탠저블 마네킹과 가상 환자가 크기 유사성을 가지도록 가상 환자의 렌더링되는 크기가 제어될 수 있다.
이러한 캘리브레이션 과정이 없이 현실 객체를 가상 공간 상에 렌더링하거나 탠저블 마네킹과의 상호작용을 가상 환자에 반영하는 경우 공간 정합에 이용되는 좌표계가 정확히 일치하지 않아 매우 부자연스러운 출력 영상이 제공될 수 있으므로, 자연스러운 훈련 과정 및 몰입도 향상을 위해서는 반드시 캘리브레이션 과정을 수행할 필요가 있다.
도 4는 일실시예에 따른 기초 응급 구조 훈련 시뮬레이션 시스템의 가상 환자(410) 애니메이션 렌더링 과정을 설명하기 위한 도면이다. 사용자가 현실의 탠저블 마네킹에 대하여 수행하는 상호작용을 실시간으로 가상 공간 상에서 정확하게 반영하여 가상 환자(410) 애니메이션을 렌더링해야 몰입도 높은 출력 영상을 제공할 수 있다.
구체적으로, 사용자 상호작용 파라미터로서 심폐소생술에서 중시되는 압박 동작의 위치, 강도, 깊이, 횟수, 속도 및 시간, 그리고 인공 호흡 동작에 따라 유도되는 가상 환자(410)의 호흡량, 인공 호흡 동작의 횟수, 속도 및 시간 등이 센싱될 수 있다. 이를 위하여, 탠저블 마네킹은 예를 들어 접촉 센서, 압력 센서, 및 대기압 센서 등을 구비한 센서부를 포함할 수 있다.
일실시예에서, 압박 동작의 강도, 압박 동작의 위치, 및 인공 호흡 동작에 따라 유도되는 가상 환자(410)의 호흡량에 따른 바람직한 애니메이션 변형 정도를 나타내는 변형 분포 곡선이 정의될 수 있다. 변형 분포 곡선은 압박 동작의 강도 또는 가상 환자(410)의 호흡량에 대한 가상 환자 애니메이션의 변형 범위를 나타낸다.
한편, 가상 환자 애니메이션의 변형 범위를 미리 설정된 알고리즘 또는 사용자의 지정에 따라 제한하여 처리할 수 있다. 도 4에 도시된 바와 같이, 가상 환자(410)는 탠저블 마네킹에 대응하는 복수의 정점을 포함하는 메시를 가질 수 있다. 일실시예에서, 압박 동작의 위치에 기초하여 일정한 기준 하에 복수의 정점 중에서 일부가 변형 대상 메시 영역(420)으로 선택될 수 있고, 압박 동작의 강도 및 변형 분포 곡선에 기초하여 변형 대상 메시 영역(420) 내의 정점의 위치가 변경될 수 있다.
일실시예에서, 변형 대상 메시 영역(420)은 상기 압박 동작의 위치를 중심점으로 하는 기하학적 오브젝트와 교차하는 정점만을 포함할 수 있다. 기하학적 오브젝트는 구, 타원구, 또는 원통 등의 입체 도형이 설계에 따라 선택될 수 있다.
일실시예에서, 각 정점의 위치 변경을 위한 변위 계산에 가중치가 부여될 수 있다. 예를 들어, 기하학적 오브젝트와 교차하는 정점 각각에 대하여 중심점으로부터의 거리에 따라 가중치가 할당되고, 가중치에 기초하여 변형 대상 메시 영역(420) 내의 정점 각각의 위치를 변경할 수 있다. 가중치의 할당에는 임의의 방식이 이용될 수 있으며, 예를 들어 중심점으로부터의 거리가 멀수록 낮은 가중치가 할당될 수 있다.
도 5A 및 5B는 일실시예에 따른 기초 응급 구조 훈련 시뮬레이션 시스템의 가상 환자 애니메이션 렌더링 과정을 설명하기 위한 도면이다. 도 5A에는 탠저블 마네킹에 대한 사용자의 압박 동작이 반영되기 전의 가상 환자의 모습이 예시적으로 도시되고, 도 5B에는 탠저블 마네킹에 대한 사용자의 압박 동작이 반영된 후의 가상 환자의 모습이 예시적으로 도시된다.
도 5A 및 5B 간에 정점의 위치 이동이 있는 것으로 확인되는 부분이 곧 변형 대상 메시 영역으로 선택된 영역일 수 있다. 도 5A의 가상 환자에 대하여 변형 대상 메시 영역 내에서 탠저블 마네킹으로부터 측정된 사용자 상호작용 파라미터에 가중치를 반영하고 변형 분포 곡선을 이용하여 변형 대상 메시 영역 내의 정점들의 위치를 변경시킨 예시적 결과가 도 5B에 도시된다.
도 6은 일실시예에 따른 기초 응급 구조 훈련 시뮬레이션 시스템의 가상 환자 애니메이션 렌더링 과정을 설명하기 위한 흐름도이다. 도 6에 도시된 가상 환자 애니메이션 렌더링 과정은 예를 들어 도 1의 시뮬레이션 시스템에 의해 수행될 수 있다.
단계(610)에서, 탠저블 마네킹의 센서부에서 사용자 상호작용 파라미터가 검출된다. 제한적이지 않은 예로서, 사용자 상호작용 파라미터는 압박 동작의 강도, 압박 동작의 위치, 및 인공 호흡 동작에 따라 유도되는 가상 환자의 호흡량을 포함한다.
단계(620)에서, 탠저블 마네킹에 대응하는 복수의 정점 중에서 적어도 일부를 선택하여 변형 대상 메시 영역이 결정될 수 있다. 변형 대상 메시 영역의 결정을 위하여 미리 설정된 알고리즘에 따라 기하학적 오브젝트가 자동으로 생성되고 기하학적 오브젝트와 교차하는 영역 내의 정점만이 변형 대상 메시 영역에 포함되도록 결정될 수 있다. 또는, 사용자의 지정에 따라 미리 또는 실시간으로 변형 대상 메시 영역이 결정될 수 있다.
단계(630)에서, 사용자 상호작용 파라미터 및 변형 분포 곡선에 기초하여 변형 대상 메시 영역 내의 정점의 위치가 변경될 수 있다. 위에서 설명된 바와 같이, 탠저블 마네킹으로부터 측정된 사용자 상호작용 파라미터에 가중치를 반영하고 변형 분포 곡선을 이용하여 변형 대상 메시 영역 내의 정점들의 위치를 변경하는 방식이 이용될 수 있다.
단계(640)에서, 변경된 정점의 위치에 기초하여 가상 공간 내에 가상 환자의 애니메이션이 렌더링될 수 있다. 가상 환자를 비롯한 출력 영상 내 콘텐츠의 렌더링이 모두 완료되어 출력 영상이 생성되면, 출력 영상은 사용자 헤드셋의 디스플레이부를 통해 탠저블 마네킹에 대한 실시간 상호작용이 반영된 가상 콘텐츠 및 압박 동작 또는 인공 호흡 동작에 대한 피드백을 사용자에게 시각적으로 제공할 수 있다.
도 7은 일실시예에 따른 기초 응급 구조 훈련 시뮬레이션 시스템의 출력 영상의 예시를 설명하기 위한 도면이다. 도 7에 도시된 출력 영상에는 가상 콘텐츠와 현실 콘텐츠가 정합되어 제공될 수 있다. 출력 영상은 구현 상의 필요에 따라 현실 콘텐츠만을 기반으로 하거나 가상 콘텐츠만을 기반으로 할 수도 있다.
일실시예에서, 출력 영상은 도 7에 도시된 바와 같이 가상 공간 내에서 가상 콘텐츠에 속하는 가상 환자(710)와 현실 콘텐츠에 속하는 사용자의 손(720)을 정합시킨 증강가상 환경을 제공한다. 즉, 탠저블 마네킹에 대한 상대 자세를 이용하여 가상 콘텐츠와 현실 콘텐츠를 정합시킴으로써, 현실의 사용자의 손(720)이 가상 콘텐츠와 이질감 없이 융합될 수 있다.
일실시예에서, 출력 영상은 시뮬레이션 제어부에서 인식한 사용자의 동작을 나타내는 아이콘(730)을 포함할 수 있다. 아이콘(730)은 예를 들어 사용자의 압박 동작 또는 사용자의 인공 호흡 동작을 직관적으로 인식할 수 있는 그림을 포함할 수 있다.
일실시예에서, 출력 영상은 사용자의 압박 동작 또는 인공 호흡 동작과 연관된 파라미터 중 적어도 하나를 시각적으로 디스플레이하는 피드백 인터페이스(740, 750, 760, 770)를 포함할 수 있다. 도시된 예에서, 출력 영상은 사용자의 압박 동작과 연관된 파라미터 중에서 속도(740), 깊이(750), 시간(760) 및 횟수(770)를 포함한다. 파라미터는 도시된 수치 형태의 피드백 인터페이스 외에도 그래프 또는 바 등 사용자가 인식할 수 있는 임의의 적합한 형태로 제공될 수 있다. 이처럼 상호작용 파라미터를 사용자가 실시간으로 확인할 수 있는 피드백 인터페이스를 출력 영상 내에서 함께 제공함으로써 기초 응급 구조 훈련의 학습 효과를 크게 향상시킬 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (20)

  1. 마그네틱 트래킹 베이스 스테이션, 및 사용자의 압박 동작 또는 인공 호흡 동작과 연관된 파라미터를 센싱하기 위한 센서부를 구비한 탠저블 마네킹;
    상기 마그네틱 트래킹 베이스 스테이션에 대한 상대 자세를 추적하기 위한 마그네틱 트래킹 컴포넌트, 컬러 영상 및 깊이 영상을 촬영하는 RGB-D 카메라, 및 상기 사용자에게 출력 영상을 제공하는 디스플레이부를 포함하는 사용자 헤드셋; 및
    상기 마그네틱 트래킹 베이스 스테이션과 통신하여 상기 상대 자세를 추적하고, 상기 센서부 및 상기 RGB-D 카메라로부터 수신되는 데이터를 기반으로 상기 출력 영상을 생성하여 상기 디스플레이부에 전달하는 시뮬레이션 제어부
    를 포함하고,
    상기 시뮬레이션 제어부는 상기 압박 동작 또는 상기 인공 호흡 동작과 연관된 파라미터 및 미리 정의된 변형 분포 곡선에 기초하여 상기 출력 영상 내에서 상기 탠저블 마네킹에 대응하는 가상 환자의 애니메이션을 렌더링하고,
    상기 가상 환자는 상기 탠저블 마네킹에 대응하는 복수의 정점을 포함하는 메시를 포함하고,
    상기 시뮬레이션 제어부는 상기 압박 동작의 위치에 기초하여 상기 복수의 정점 중에서 적어도 일부를 선택하여 변형 대상 메시 영역을 결정하고, 상기 압박 동작의 강도 및 상기 변형 분포 곡선에 기초하여 상기 변형 대상 메시 영역 내의 정점의 위치를 변경하고,
    상기 변형 대상 메시 영역은 상기 복수의 정점 중에서 상기 압박 동작의 위치를 중심점으로 하는 기하학적 오브젝트와 교차하는 정점을 포함하고,
    상기 시뮬레이션 제어부는 상기 기하학적 오브젝트와 교차하는 정점 각각에 대하여 상기 중심점으로부터의 거리에 따른 가중치를 할당하고, 상기 가중치에 기초하여 상기 기하학적 오브젝트와 교차하는 정점 각각의 위치를 변경하는, 기초 응급 구조 훈련 시뮬레이션 시스템.
  2. 제1항에 있어서,
    상기 센서부는 상기 압박 동작의 위치를 센싱하기 위한 접촉 센서 및 상기 압박 동작의 강도를 센싱하기 위한 압력 센서를 포함하는,
    기초 응급 구조 훈련 시뮬레이션 시스템.
  3. 제1항에 있어서,
    상기 센서부는 상기 인공 호흡 동작에 따른 가상 환자의 호흡량을 센싱하기 위한 대기압 센서를 포함하는,
    기초 응급 구조 훈련 시뮬레이션 시스템.
  4. 삭제
  5. 제1항에 있어서,
    상기 변형 분포 곡선은 상기 압박 동작의 강도 또는 상기 인공 호흡 동작에 따른 상기 가상 환자의 호흡량에 대한 가상 환자 애니메이션의 변형 범위를 나타내는,
    기초 응급 구조 훈련 시뮬레이션 시스템.
  6. 삭제
  7. 삭제
  8. 삭제
  9. 제1항에 있어서,
    상기 기하학적 오브젝트는 구 또는 타원구인,
    기초 응급 구조 훈련 시뮬레이션 시스템.
  10. 제1항에 있어서,
    상기 시뮬레이션 제어부는 상기 상대 자세에 기초하여 상기 탠저블 마네킹 및 상기 탠저블 마네킹에 대응하는 상기 출력 영상 내의 가상 환자의 애니메이션 간의 실시간 정합을 수행하는,
    기초 응급 구조 훈련 시뮬레이션 시스템.
  11. 제1항에 있어서
    상기 출력 영상은 상기 RGB-D 카메라로부터 수신된 데이터를 기반으로 하여 생성된 현실 콘텐츠와 상기 시뮬레이션 제어부에 의해 생성된 가상 콘텐츠를 포함하고,
    상기 시뮬레이션 제어부는 상기 상대 자세에 기초하여 상기 현실 콘텐츠와 상기 가상 콘텐츠 간의 실시간 정합을 수행하는,
    기초 응급 구조 훈련 시뮬레이션 시스템.
  12. 제1항에 있어서,
    상기 출력 영상은 상기 압박 동작 또는 상기 인공 호흡 동작과 연관된 파라미터 중 적어도 하나를 시각적으로 디스플레이하는 피드백 인터페이스를 포함하는,
    기초 응급 구조 훈련 시뮬레이션 시스템.
  13. 마그네틱 트래킹 베이스 스테이션;
    상기 마그네틱 트래킹 베이스 스테이션에 대한 제1 상대 자세를 추적하기 위한 제1 마그네틱 트래킹 컴포넌트, 및 사용자의 압박 동작 또는 인공 호흡 동작과 연관된 파라미터를 센싱하기 위한 센서부를 구비한 탠저블 마네킹;
    상기 마그네틱 트래킹 베이스 스테이션에 대한 제2 상대 자세를 추적하기 위한 제2 마그네틱 트래킹 컴포넌트, 컬러 영상 및 깊이 영상을 촬영하는 RGB-D 카메라, 및 상기 사용자에게 출력 영상을 제공하는 디스플레이부를 포함하는 사용자 헤드셋; 및
    상기 마그네틱 트래킹 베이스 스테이션과 통신하여 상기 제1 상대 자세 및 제2 상대 자세를 추적하고, 상기 센서부 및 상기 RGB-D 카메라로부터 수신되는 데이터에 기초하여 상기 디스플레이부에 상기 출력 영상을 전달하는 시뮬레이션 제어부
    를 포함하고,
    상기 시뮬레이션 제어부는 상기 압박 동작 또는 상기 인공 호흡 동작과 연관된 파라미터 및 미리 정의된 변형 분포 곡선에 기초하여 상기 출력 영상 내에서 상기 탠저블 마네킹에 대응하는 가상 환자의 애니메이션을 렌더링하고,
    상기 가상 환자는 상기 탠저블 마네킹에 대응하는 복수의 정점을 포함하는 메시를 포함하고,
    상기 시뮬레이션 제어부는 상기 압박 동작의 위치에 기초하여 상기 복수의 정점 중에서 적어도 일부를 선택하여 변형 대상 메시 영역을 결정하고, 상기 압박 동작의 강도 및 상기 변형 분포 곡선에 기초하여 상기 변형 대상 메시 영역 내의 정점의 위치를 변경하고,
    상기 변형 대상 메시 영역은 상기 복수의 정점 중에서 상기 압박 동작의 위치를 중심점으로 하는 기하학적 오브젝트와 교차하는 정점을 포함하고,
    상기 시뮬레이션 제어부는 상기 기하학적 오브젝트와 교차하는 정점 각각에 대하여 상기 중심점으로부터의 거리에 따른 가중치를 할당하고, 상기 가중치에 기초하여 상기 기하학적 오브젝트와 교차하는 정점 각각의 위치를 변경하는, 기초 응급 구조 훈련 시뮬레이션 시스템.
  14. 삭제
  15. 제13항에 있어서,
    상기 시뮬레이션 제어부는 상기 제1 상대 자세 및 상기 제2 상대 자세에 기초하여 상기 탠저블 마네킹 및 상기 탠저블 마네킹에 대응하는 상기 출력 영상 내의 가상 환자의 애니메이션 간의 실시간 정합을 수행하는,
    기초 응급 구조 훈련 시뮬레이션 시스템.
  16. 사용자의 압박 동작 또는 인공 호흡 동작과 연관된 파라미터를 센싱하기 위한 센서부를 구비한 탠저블 마네킹;
    컬러 영상 및 깊이 영상을 촬영하는 RGB-D 카메라, 및 상기 사용자에게 출력 영상을 제공하는 디스플레이부를 포함하는 사용자 헤드셋;
    상기 탠저블 마네킹에 대한 상기 사용자 헤드셋의 상대 자세를 추적하기 위한 트래킹 연산부; 및
    상기 센서부, 상기 RGB-D 카메라, 및 상기 트래킹 연산부로부터 수신되는 데이터를 기반으로 상기 출력 영상을 생성하여 상기 디스플레이부에 전달하는 시뮬레이션 제어부
    를 포함하고,
    상기 시뮬레이션 제어부는 상기 압박 동작 또는 상기 인공 호흡 동작과 연관된 파라미터 및 미리 정의된 변형 분포 곡선에 기초하여 상기 출력 영상 내에서 상기 탠저블 마네킹에 대응하는 가상 환자의 애니메이션을 렌더링하고,
    상기 가상 환자는 상기 탠저블 마네킹에 대응하는 복수의 정점을 포함하는 메시를 포함하고,
    상기 시뮬레이션 제어부는 상기 압박 동작의 위치에 기초하여 상기 복수의 정점 중에서 적어도 일부를 선택하여 변형 대상 메시 영역을 결정하고, 상기 압박 동작의 강도 및 상기 변형 분포 곡선에 기초하여 상기 변형 대상 메시 영역 내의 정점의 위치를 변경하고,
    상기 변형 대상 메시 영역은 상기 복수의 정점 중에서 상기 압박 동작의 위치를 중심점으로 하는 기하학적 오브젝트와 교차하는 정점을 포함하고,
    상기 시뮬레이션 제어부는 상기 기하학적 오브젝트와 교차하는 정점 각각에 대하여 상기 중심점으로부터의 거리에 따른 가중치를 할당하고, 상기 가중치에 기초하여 상기 기하학적 오브젝트와 교차하는 정점 각각의 위치를 변경하는, 기초 응급 구조 훈련 시뮬레이션 시스템.
  17. 삭제
  18. 제16항에 있어서,
    상기 변형 분포 곡선은 상기 압박 동작의 강도 또는 상기 인공 호흡 동작에 따른 상기 가상 환자의 호흡량에 대한 가상 환자 애니메이션의 변형 범위를 나타내는,
    기초 응급 구조 훈련 시뮬레이션 시스템.
  19. 제16항에 있어서,
    상기 시뮬레이션 제어부는 상기 상대 자세에 기초하여 상기 탠저블 마네킹 및 상기 탠저블 마네킹에 대응하는 상기 출력 영상 내의 가상 환자의 애니메이션 간의 실시간 정합을 수행하는,
    기초 응급 구조 훈련 시뮬레이션 시스템.
  20. 제16항에 있어서
    상기 출력 영상은 상기 RGB-D 카메라로부터 수신된 데이터를 기반으로 하여 생성된 현실 콘텐츠와 상기 시뮬레이션 제어부에 의해 생성된 가상 콘텐츠를 포함하고,
    상기 시뮬레이션 제어부는 상기 상대 자세에 기초하여 상기 현실 콘텐츠와 상기 가상 콘텐츠 간의 실시간 정합을 수행하는,
    기초 응급 구조 훈련 시뮬레이션 시스템.
KR1020160125708A 2016-09-29 2016-09-29 기초 응급 구조 훈련 시뮬레이션 시스템 KR101960929B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160125708A KR101960929B1 (ko) 2016-09-29 2016-09-29 기초 응급 구조 훈련 시뮬레이션 시스템

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160125708A KR101960929B1 (ko) 2016-09-29 2016-09-29 기초 응급 구조 훈련 시뮬레이션 시스템
PCT/KR2017/008580 WO2018062679A2 (ko) 2016-09-29 2017-08-09 기초 응급 구조 훈련 시뮬레이션 시스템

Publications (2)

Publication Number Publication Date
KR20180035520A KR20180035520A (ko) 2018-04-06
KR101960929B1 true KR101960929B1 (ko) 2019-03-22

Family

ID=61760090

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160125708A KR101960929B1 (ko) 2016-09-29 2016-09-29 기초 응급 구조 훈련 시뮬레이션 시스템

Country Status (2)

Country Link
KR (1) KR101960929B1 (ko)
WO (1) WO2018062679A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200114298A (ko) * 2019-03-28 2020-10-07 최찬환 응급훈련용 가상현실 시뮬레이터

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102152940B1 (ko) * 2018-12-28 2020-09-08 (주)스코넥엔터테인먼트 의학실습 컨텐츠 CPS(Contents Sercice platform) 연동 인터페이스

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103411624A (zh) * 2013-07-22 2013-11-27 复旦大学 基于微动平台的磁跟踪系统的磁场源标定方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9028259B2 (en) * 2007-01-16 2015-05-12 Physio-Control, Inc. Wearable CPR assist, training and testing device
KR101232868B1 (ko) * 2011-02-16 2013-02-15 주식회사 비티 교육 프로그램이 내장된 심폐소생술 및 제세동기 훈련 시스템
KR101504633B1 (ko) * 2013-07-16 2015-03-23 주식회사 아이엠랩 Ar 기반 양방향 cpr 시뮬레이터 장치 및 시스템
KR101636759B1 (ko) * 2013-12-09 2016-07-20 주식회사 아이엠랩 심폐소생술 훈련 시뮬레이션 시스템 및 그 운용방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103411624A (zh) * 2013-07-22 2013-11-27 复旦大学 基于微动平台的磁跟踪系统的磁场源标定方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200114298A (ko) * 2019-03-28 2020-10-07 최찬환 응급훈련용 가상현실 시뮬레이터
KR102179544B1 (ko) 2019-03-28 2020-11-16 최찬환 응급훈련용 가상현실 시뮬레이터

Also Published As

Publication number Publication date
WO2018062679A2 (ko) 2018-04-05
KR20180035520A (ko) 2018-04-06
WO2018062679A3 (ko) 2018-08-23

Similar Documents

Publication Publication Date Title
US9697635B2 (en) Generating an avatar from real time image data
US20180253150A1 (en) User-defined virtual interaction space and manipulation of virtual cameras with vectors
EP3250983B1 (en) Method and system for receiving gesture input via virtual control objects
CN107667331B (zh) 共享空间多人沉浸式虚拟现实中共享触觉交互和用户安全
US10331222B2 (en) Gesture recognition techniques
JP2019532382A (ja) 3次元空間内の仮想オブジェクトの自動配置
Hilfert et al. Low-cost virtual reality environment for engineering and construction
US10929980B2 (en) Fiducial marker patterns, their automatic detection in images, and applications thereof
KR102209873B1 (ko) 헤드 마운트 디스플레이를 위한 예측적 트래킹에 기반한 인식
KR102222974B1 (ko) 홀로그램 스냅 그리드
US10444502B1 (en) Method and apparatus for multiple user self-relative tracking for augmented reality systems using magnetic tracking
CN104508709B (zh) 使用人体对对象进行动画化
US8917240B2 (en) Virtual desktop coordinate transformation
CN106687886B (zh) 三维混合现实视口
CN104471511B (zh) 识别指点手势的装置、用户接口和方法
US8933931B2 (en) Distributed asynchronous localization and mapping for augmented reality
CN107430437B (zh) 在虚拟现实/增强现实环境中创建真实的抓取体验的系统和方法
JP2019517049A (ja) 姿勢および複数のdofコントローラを用いた3d仮想オブジェクトとの相互作用
US9694283B2 (en) Method and apparatus for tracking of a subject in a video game
KR101876419B1 (ko) 프로젝션 기반 증강현실 제공장치 및 그 방법
US9613463B2 (en) Augmented reality extrapolation techniques
TWI442311B (zh) 在遊戲中使用三維環境模型
Billinghurst et al. A survey of augmented reality
JP2017530438A (ja) 仮想現実環境内における注視に基づく物体配置
Liu et al. Technical evaluation of HoloLens for multimedia: a first look

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right