KR102016676B1 - 발달장애아를 위한 vr기반의 트레이닝 시스템 - Google Patents

발달장애아를 위한 vr기반의 트레이닝 시스템 Download PDF

Info

Publication number
KR102016676B1
KR102016676B1 KR1020180161969A KR20180161969A KR102016676B1 KR 102016676 B1 KR102016676 B1 KR 102016676B1 KR 1020180161969 A KR1020180161969 A KR 1020180161969A KR 20180161969 A KR20180161969 A KR 20180161969A KR 102016676 B1 KR102016676 B1 KR 102016676B1
Authority
KR
South Korea
Prior art keywords
unit
hand
user
image
radio wave
Prior art date
Application number
KR1020180161969A
Other languages
English (en)
Inventor
최요철
이향균
송창환
김지수
Original Assignee
주식회사 홀로웍스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 홀로웍스 filed Critical 주식회사 홀로웍스
Priority to KR1020180161969A priority Critical patent/KR102016676B1/ko
Application granted granted Critical
Publication of KR102016676B1 publication Critical patent/KR102016676B1/ko
Priority to PCT/KR2019/012174 priority patent/WO2020122375A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • G06K9/00375—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Primary Health Care (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Child & Adolescent Psychology (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Rehabilitation Tools (AREA)

Abstract

본 발명은 VR 기반의 트레이닝 시스템에 관한 것으로서, 가상 공간 정보를 디스플레이 하는 VR 유닛; 사용자의 손 형상을 감지하는 핸드 디텍팅 유닛; 상기 핸드 디텍팅 유닛이 상기 사용자의 손 형상을 감지하는 방향으로 앵글 조절이 가능하도록 구비되는 마운팅 유닛; 및 손 형상을 수신하여 가상 공간 정보 상에 오버래핑하며, VR유닛을 통해 사용자에게 미션을 제시한 후, 손 형상의 동작 정보에 따라 사용자의 훈련 정도를 평가하는 트레이닝 유닛을 포함하는 기술적 사상을 개시한다.

Description

발달장애아를 위한 VR기반의 트레이닝 시스템{Training system for developmentally disabled children based on Virtual Reality}
본 발명은 VR 기반의 트레이닝 시스템에 관한 것으로서, 보다 자세하게는, 발달장애아의 학습훈련 또는 직업훈련을 위하여 VR기반으로 가상의 공간을 제공하고, 발달장애아의 손의 영상을 취득한 후, VR 기반의 가상의 공간으로 좌표적으로 오버래핑시켜 발달장애아의 학습, 훈련 제시 및 평가가 이루어질 수 있도록 하는 트레이닝 시스템에 관한 기술분야이다.
오늘날, HMD(Head Mounted Display) 기기가 보급됨에 따라 VR(Virtual Reality)기술 또한 나날이 발전하고 있다. VR기술은 여러 분야에서 활약하고 있는데, 그 중 헬스케어 분야에서는 의사의 원격 상담이나 수술가이드 등 의학적 목적 및 가상현실 기술을 매개로 하여 발전해 나가고 있다.
그 중, 정신장애 치료분야에서 VR정신치료가 새로운 매카니즘으로 떠오르고 있다.
美정신의학회(APA)에서는 VR이 정신치료 툴로 유효하며 특히 노출기법(exposure therapy) 활용 시 효과적이라고 연구 결과를 발표하였다. VR기술은 몰입감과 현장감이 치료자와 환자 간의 상담에 의존하거나 혹은 문제적 환경을 재현해야 하는 현실적 난제들을 VR로 충만한 경험제공이 가능하며, 기존의 정신치료 중 최근 가장 활발하게 사용되는 인지행동치료법인 노출치료(Exposure Therapy)는 환자의 상상적 접근을 활용한 것인데, VR기술을 적용할 때 환자의 상상적 접근이 어려운 환자들에게 치료효과를 높일 수 있으며, VR기술은 실험 노출 분량과 자극 조절이 가능하므로 정교한 통제가 요구되는 임상 및 실험연구 수행에 효과적이라는 것이다.
VR기술을 이용하여 정신장애 치료에 대한 기술적인 시도는 여럿 존재해 왔었는데, 그 중 대표적으로는 "사용자 환경 기반 가상현실을 이용한 장애인 일상생활 교육 방법 및 이를 위한 장치(공개번호 제10-2018-0028033호, 이하 특허문헌 1 이라 한다.)"이 존재한다.
특허문헌 1의 경우, 가상현실을 이용한 장애인 교육 방법으로, 장애인의 실제 이미지에 대응하는 3차원 이미지 및 실제 환경에 대응하는 가상현실을 생성하는 단계; 상기 가상현실 및 상기 3차원 이미지를 인체부착형 디바이스에 재생하는 단계; 상기 장애인의 실제 동작에 대응하여 상기 3차원 이미지가 인체부착형 디바이스에서 동작하는 단계를 포함하며, 상기 3차원 이미지가 인체부착형 디바이스에서 동작하는 단계 후, 상기 장애인의 실제 동작에 대응하여 상기 장애인의 동작을 지도하는 목소리가 재생되는 단계를 더 포함하며, 상기 목소리는 미리 녹음된 목소리로서 상기 목소리는 상기 장애인의 행동 패턴 분석을 통하여 가장 효과적인 목소리로 선택된 것을 특징으로 하는 가상현실을 이용한 장애인 교육 방법이 제공된다.
마찬가지로, "가상 현실 기반 사용자 맞춤형 훈련 시스템(공개번호 제10-2017-0079135호, 이하 특허문헌 2라 한다.)"도 존재한다.
특허문헌 2의 경우, 컴퓨터 기반 가상 현실 훈련 시스템에 관한 것으로, 해결하고자 하는 과제는 가상 현실기반 사용자 맞춤형 훈련 시스템을 제공하는데 있다. 이를 위해 발명은 사용자가 입력 장치와 출력 장치를 이용하여 컴퓨터 기반 훈련을 수행하도록 하는 사용자 레이어; 상기 컴퓨터 기반 훈련에 가상 현실 기술과 사용자 맞춤 기술을 적용하여 상기 사용자를 훈련시키도록 훈련 모듈을 제공하는 클라이언트 레이어; 및 상기 훈련 모듈로부터 상기 사용자의 행동을 수집하여, 상기 사용자의 수준 및 행동 패턴에 맞도록 상기 훈련 모듈을 재구성하거나 생성하는 서버 레이어를 포함하는 가상 현실기반 사용자 맞춤형 훈련 시스템을 개시한다.
또한, "머리 장착형 디스플레이와 실세계 객체 사이의 상호통신(공개번호 제10-2017-0116121호. 이하 특허문헌 3이라 한다.)"도 존재한다.
특허문헌 3의 경우, 제1 디스플레이 디바이스 상의 가상 공간에 생성된 가상 객체와의 사용자 상호 작용이 가능해진다. 제1 디스플레이 디바이스의 센서 및 카메라 데이터를 사용하여, 표면 상에 마커를 갖는 실세계 객체가 식별된다. 가상 객체는 실세계 객체 상의 마커에 대해 가상 3D 공간에 생성되고 디스플레이 된다. 실제 3D 공간에서의 실세계 객체의 조작은 가상 3D 공간에서의 가상 객체의 속성의 변경을 유발한다. 마커는 생성될 특정 렌더에 관한 정보를 포함한다. 마커에 포함된 정보에 기초하여 상이한 가상 객체가 생성되고 디스플레이 될 수 있다. 실세계 객체가 센서를 가질 때, 실세계 객체로부터의 센서 데이터는 센서 입력에 기초하여 가상 객체 또는 가상 장면의 디스플레이를 향상시키기 위해 제1 디스플레이 디바이스로 전송된다. 국지적 또는 원격 저장소는 실세계 객체의 특성을 추가로 정의, 향상 또는 수정할 수 있다.
아울러, "모션트랙킹 기술과 증강현실 기법을 활용한 인지 및 행동장애 재활시스템(공개번호 제10-2008-0005798호, 이하 특허문헌 4라 한다.)"도 존재한다.
특허문헌 4의 경우, 인지 및 운동장애를 가진 환자의 재활치료에 제스처 인식이나 모션트래킹 등의 인터액티브 HCI 기술을 활용함과 더불어 동영상을 통한 게임기법을 도입한 인터액티브 재활 지원시스템을 제공한다. 이를 위해, 발명은 키보드나 마우스 조작의 불편을 해소하고 지루하지 않은 인지 및 행동장애 재활시스템을 구현하기 위하여 관심 컬러를 추출하고 CAMSHIFT 알고리즘을 적용시켰고, 이러한 관심 컬러 추출은 HSV 컬러 공간으로 변환시켜 추출하였으며, 다른 잡음을 줄이기 위하여 관심 컬러만을 사용하였다. 또한, 빛의 변화나 다른 물체의 겹침에도 강건한 CAMSHIFT 알고리즘을 적용하여 화상 카메라로부터 입력 받은 영상에서 추적하는 물체의 중심을 찾고, 물체의 폭과 높이 그리고 회전된 정도를 알아내었다. 또한, 발명의 시스템은, 주의력과 반응 시간을 측정하는 Visual Reaction, Visual Differential Reaction, Visual Reaction and Move 기능을 수행하는 인지장애 재활 지원지스템과, 주의 집중력과 손 움직임의 조절력을 측정하는 Visual Track and Target과 주의력과 시지각 운동 능력을 측정하는 Visual Spatial and Motor 기능을 수행하는 행동장애 재활 지원시스템으로 구성되어 있다.
그러나, 이들 특허문헌들의 경우, HMD(Head Mounted Display)에 의해 구축되는 가상의 공간에 대한 이미지만 있을 뿐, 사용자의 실제적인 움직임을 실시간으로 반영하여 각 직업의 업무환경에 대해 몰입감을 높여 효율적으로 정신치료 효과를 높이는 기술적 사상을 개시하지 못하고 있다.
공개번호 제10-2018-0028033호 공개번호 제10-2017-0079135호 공개번호 제10-2017-0116121호 공개번호 제10-2008-0005798호
본 발명에 따른 발달장애아를 위한 VR기반의 트레이닝 시스템은 상기한 바와 같은 종래 문제점을 해결하기 위해 안출된 것으로서, 다음과 같은 해결하고자 하는 과제를 제시한다.
첫째, 발달장애아에게 현실적으로 제공하기 힘든 환경에 대한 사전 교육 및 직업 트레이닝 경험을 제공해 줄 수 있도록 한다.
둘째, 사용자 즉, 발달장애아에게 제공된 가상의 공간에 사용자의 손의 영상을 반영하여, 트레이닝 효과를 극대화할 수 있도록 한다.
셋째, 가상의 공간에 사용자의 경험의 반영을 단순히 정성적으로만 제시하지 않고, 정량적인 평가가 이루어질 수 있도록 한다.
넷째, 사용자가 일반인이 아닌, 발달장애아라는 특수성을 고려하여, 목표된 미션에 대한 다양한 가이드를 제공하여, 학습과 트레이닝의 효과를 극대화시킬 수 있도록 한다.
다섯째, 사용자 즉, 발달장애아가 가지는 집중력의 특성을 고려하여, 발달장애아의 집중력을 극대화하여 이끌어내도록 하고자 한다.
본 발명의 해결 과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명에 따른 발달장애아를 위한 VR기반의 트레이닝 시스템은 상기의 해결하고자 하는 과제를 위하여 다음과 같은 과제 해결 수단을 가진다.
본 발명에 따른 발달장애아를 위한 VR기반의 트레이닝 시스템의 경우, 사용자의 안면에 장착되어, 상기 사용자의 양 눈으로 가상 공간 정보를 디스플레이 하는 VR 유닛(virtual reality unit); 상기 VR유닛 상에 제공되어, 상기 사용자의 손의 3차원 공간 형상(상기 "사용자의 손의 3차원 공간 형상"을 "손 형상"이라 한다. 이하 같다.)을 감지하는 핸드 디텍팅 유닛(hand detecting unit); 하부가 상기 VR유닛 상에 거치되고, 상부는 상기 핸드 디텍팅 유닛을 장착하여, 상기 핸드 디텍팅 유닛이 상기 사용자의 손 형상을 감지하는 방향으로 앵글(angle) 조절이 가능하도록 구비되는 마운팅 유닛(mounting unit); 및 상기 VR유닛으로 상기 가상 공간 정보를 제공하고, 상기 핸드 디텍팅 유닛으로부터 상기 손 형상을 수신하여, 상기 가상 공간 정보 상에 오버래핑(overlapping)하며, 상기 VR유닛을 통해 상기 사용자에게 미션을 제시한 후, 상기 손 형상의 동작 정보에 따라 상기 사용자의 훈련 정도를 평가하는 트레이닝 유닛(training unit)을 포함하는 것을 특징으로 할 수 있다.
본 발명에 따른 발달장애아를 위한 VR기반의 트레이닝 시스템의 상기 마운팅 유닛은, 상기 핸드 디텍팅 유닛을 홀딩하며, 전후 앵글 조절이 이루어지는 홀딩부; 일단이 상기 홀딩부에 힌지(hinge) 연결되어, 상기 홀딩부의 앵글 조절이 이루어지도록 하는 제1바아(bar); 일단이 제1바아의 타단에 힌지(hinge) 연결되어, 상기 제1바아의 앵글 조절이 이루어지도록 하는 제2바아(bar); 및 일측에 상기 제2바아의 타단을 힌지 연결하여, 상기 제2바아의 앵글조절이 이루어지도록 하며, 상기 VR유닛의 상면에 고정부착되는 도킹부를 포함하는 것을 특징으로 할 수 있다.
본 발명에 따른 발달장애아를 위한 VR기반의 트레이닝 시스템의 상기 핸드 디텍팅 유닛은, 상기 사용자의 손을 향하여 소정의 파장대를 가지는 전파를 송출하는 전파 송출부; 상기 전파 송출부로부터 이격되어 배치되며, 상기 전파 송출부에 의해 송출되어, 상기 사용자의 손으로부터 반사된 반사파를 수신하는 전파 수신부; 및 상기 전파 수신부로부터 상기 반사파를 제공받아, 상기 반사파의 거리를 인식하여, 상기 사용자의 상기 손 형상을 인식하는 구조 인식부를 포함하는 것을 특징으로 할 수 있다.
본 발명에 따른 발달장애아를 위한 VR기반의 트레이닝 시스템의 상기 전파 송출부는, 상기 전파의 상기 소정의 파장대를 780nm 내지 1mm 범위로 설정하며, 상기 전파의 포톤 에너지의 범위는 1.24meV 내지 1.7eV범위의 전자기파로 형성시키며, 상기 전파 수신부는, 적어도 2개 이상의 전파 인식 모듈을 구비하여, 상기 전파 인식 모듈을 통하여 상기 전파 송출부가 송출하고 상기 사용자의 손으로부터 반사된 반사파를 획득하는 것을 특징으로 할 수 있다.
본 발명에 따른 발달장애아를 위한 VR기반의 트레이닝 시스템의 상기 핸드 디텍팅 유닛은, 상기 사용자의 손으로 대향하여, 상기 사용자의 손으로부터 반사되는 가시광선 영상을 획득하는 영상 취득부를 더 포함하는 것을 특징으로 할 수 있다.
본 발명에 따른 발달장애아를 위한 VR기반의 트레이닝 시스템의 상기 핸드 디텍팅 유닛은, 상기 구조 인식부로부터 상기 손 형상을 획득하고, 상기 영상 취득부로부터 상기 사용자의 손으로부터 반사되는 가시광선 영상에 상기 손 형상을 매핑하여, 상기 가시광선 영상 중 상기 손 형상에 매핑되는 부분(상기 "가시광선 영상 중 상기 손 영상에 매핑되는 부분"을 "3차원 손 영상"이라 한다. 이하 같다.)만을 선별적으로 획득하는 핸드 매핑부; 및 상기 핸드 매핑부로부터 상기 3차원 손 영상의 동작 정보를 상기 트레이닝 유닛으로 전송하는 무브먼트 송신부를 더 포함하는 것을 특징으로 할 수 있다.
본 발명에 따른 발달장애아를 위한 VR기반의 트레이닝 시스템의 상기 트레이닝 유닛은, 상기 가상 공간 정보를 상기 VR 유닛으로 송출하는 배경 송출부; 상기 무브먼트 송신부로부터 상기 3차원 손 영상을 수신하는 무브먼트 수신부; 및 상기 배경 송출부가 송출하는 상기 가상 공간 정보에 상기 3차원 손 영상을 오버래핑하는 오버래핑부를 포함하는 것을 특징으로 할 수 있다.
본 발명에 따른 발달장애아를 위한 VR기반의 트레이닝 시스템의 상기 트레이닝 유닛은, 상기 가상 공간 정보 상에서 상기 사용자가 수행해야할 미리 설정된 액션을 제시하는 미션 제시부; 및 상기 미리 설정된 액션에 따른 상기 3차원 손 영상의 동작 정보를 수신하여, 상기 3차원 손 영상의 동작 정보의 미리 설정된 평가 기준 테이블에 제시하여, 상기 3차원 손 영상의 동작 정보를 평가하는 평가 측정부를 더 포함하는 것을 특징으로 할 수 있다.
본 발명에 따른 발달장애아를 위한 VR기반의 트레이닝 시스템의 상기 트레이닝 유닛은, 상기 미션 제시부가 제시한 상기 미리 설정된 액션을 수행하도록 상기 사용자에게 소정의 가이드를 제시하는 가이드 제시부를 더 포함하는 것을 특징으로 할 수 있다.
본 발명에 따른 발달장애아를 위한 VR기반의 트레이닝 시스템의 상기 가이드 제시부는, 상기 미리 설정된 액션을 위한 상기 사용자의 상기 3차원 손 영상이 움직이는 가상의 경로를 제시하며, 상기 가상의 경로는 상기 3차원 손 형상으로부터 타깃 영역까지 형성되도록 하는 루트 제시부; 상기 3차원 손 형상이 도달해야할 상기 타깃 영역의 아웃라인을 표시하여 상기 사용자에게 제시하는 아웃라인 제시부; 및 상기 3차원 손 형상이 도달해야할 상기 타깃 영역에 소정의 표식을 제공하여, 상기 사용자에게 알려주는 타깃 제시부를 포함하는 것을 특징으로 할 수 있다.
이상과 같은 구성의 본 발명에 따른 발달장애아를 위한 VR기반의 트레이닝 시스템은 다음과 같은 효과를 제공한다.
첫째, 발달장애아인 사용자에게 VR(Virtual Reality) 고글을 제공하고, VR 고글을 통해 발달장애아가 현실적으로 훈련을 받기 힘든 상업적 시설 등을 이용하여, 현장 학습과 같은 현실감을 제공하여, 교육 및 직업 훈련의 현장감을 제공하게 된다.
둘째, 사용자의 손의 움직임을 3D로 취득하여, 사용자의 손의 3D영상을 VR영상에 실시간 오버랩되도록 하는바, 사용자에게 VR기반으로 단순히 일방향성의 영상 정보의 제공이 아니라, 실제 업무에 대한 체험이 이루어질 수 있도록 한다.
셋째, 사용자의 손의 주용 부위에 대한 좌표적 정보와, 사용자가 수행해야할 미션과 해당 미션에 대한 오브젝트의 좌표적 정보를 반영하여, 사용자의 손의 움직임에 따라 특정 미션을 얼마나 정확하게 수행하는지에 대한 정량적 평가가 이루어질 수 있다.
넷째, 사용자, 즉, 발달장애아에게 미션 수행을 용이하게 하도록 하기위해 다양한 가이드라인을 제시하고 이에 따라 수월한 미션을 수행하도록 하여 성취감을 극대화시킬 수 있는 효과를 제공한다.
다섯째, 발달 장애아의 집중력을 극대화시키도록 하기 위하여, 발달 장애아에게 미션의 제공을 음성과 문자로 동시에 제공하되, 음성은 관리자의 음성을 수신한 후, 해당 음성을 사용자가 좋아하는 연예인의 음성 주파수 대역으로 변조하도록 한다.
본 발명의 효과는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 발달장애아를 위한 VR기반의 트레이닝 시스템의 개념도이다.
도 2는 본 발명의 일 실시예에 따른 발달장애아를 위한 VR기반의 트레이닝 시스템의 핸드 디텍팅 유닛을 도시한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 발달장애아를 위한 VR기반의 트레이닝 시스템의 핸드 디텍팅 유닛이 손 형상(a)과 손으로부터의 가시광선 영상(b)를 인식한 것을 도시한 것이다.
도 4는 본 발명의 일 실시예에 따른 발달장애아를 위한 VR기반의 트레이닝 시스템의 핸드 디텍팅 유닛의 핸드 매핑부가 3차원 손 영상을 획득한 것을 도시한 것이다.
도 5는 본 발명의 일 실시예에 따른 발달장애아를 위한 VR기반의 트레이닝 시스템의 마운팅 유닛의 각 구성들의 작용관계를 도시한 사시도이다.
도 6은 본 발명의 일 실시예에 따른 발달장애아를 위한 VR기반의 트레이닝 시스템의 트레이닝 유닛의 각 구성들을 도시한 블록도이다.
도 7은 본 발명의 일 실시예에 따른 발달장애아를 위한 VR기반의 트레이닝 시스템의 트레이닝 유닛의 가이드 제시부의 각 구성들을 도시한 블록도이다.
도 8은 본 발명의 일 실시예에 따른 발달장애아를 위한 VR기반의 트레이닝 시스템의 VR유닛이 사용자에게 가상 공간 정보와 미션을 제시하도록 하며, 가상 공간 정보에 3차원 손 영상이 오버랩 된 것을 도시한 VR 화면이다.
도 9는 도 8에서 미션을 제시받은 사용자가 주방의 화면으로 이동한 후, 커피를 내리기 위하여 손을 움직이고 있으면, 손의 움직임이 가상 공간 정보에서 연동되어 작동되는 것을 도시한 VR 화면이다.
도 10은 도 7의 가이드 제시부의 아웃라인 제시부가 타깃 위치에 아웃라인을 제시하는 것을 도시한 VR화면이다.
도 11은 도 7의 가이드 제시부의 타깃 제시부가 타깃 위치에 식별 표지를 나타낸 것을 도시한 VR 화면이다.
도 12는 도 7의 가이드 제시부의 루트 제시부가 타깃 위치까지의 루트 경로를 제시한 것을 도시한 VR화면이다.
도 13은 본 발명의 일 실시예에 따른 발달장애아를 위한 VR기반의 트레이닝 시스템의 평가 측정부가 타깃 영역의 양호 접점을 표시한 것이다.
도 14는 본 발명의 일 실시예에 따른 발달장애아를 위한 VR기반의 트레이닝 시스템의 평가 측정부가 도 13의 타깃 영역에 비하여 평가수준을 높인 후, 타깃 영역의 양호 접점과 불량 접점을 표시한 것이다.
도 15는 도 13 및 도 14의 양호 접점에 접촉해야 할, 3차원 손 영상의 접촉 접점을 표시한 것이다.
도 16은 본 발명의 일 실시예에 따른 발달장애아를 위한 VR기반의 트레이닝 시스템의 미션 제시부의 음성 인식부와 문자 추출부, 그리고 주파수 변조부의 작용관계를 도시한 개념도이다.
본 발명에 따른 발달장애아를 위한 VR기반의 트레이닝 시스템은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 기술적 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
도 1은 본 발명의 일 실시예에 따른 발달장애아를 위한 VR기반의 트레이닝 시스템의 개념도이다. 도 2는 본 발명의 일 실시예에 따른 발달장애아를 위한 VR기반의 트레이닝 시스템의 핸드 디텍팅 유닛을 도시한 블록도이다. 도 3은 본 발명의 일 실시예에 따른 발달장애아를 위한 VR기반의 트레이닝 시스템의 핸드 디텍팅 유닛이 손 형상(a)과 손으로부터의 가시광선 영상(b)를 인식한 것을 도시한 것이다. 도 4는 본 발명의 일 실시예에 따른 발달장애아를 위한 VR기반의 트레이닝 시스템의 핸드 디텍팅 유닛의 핸드 매핑부가 3차원 손 영상을 획득한 것을 도시한 것이다. 도 5는 본 발명의 일 실시예에 따른 발달장애아를 위한 VR기반의 트레이닝 시스템의 마운팅 유닛의 각 구성들의 작용관계를 도시한 사시도이다. 도 6은 본 발명의 일 실시예에 따른 발달장애아를 위한 VR기반의 트레이닝 시스템의 트레이닝 유닛의 각 구성들을 도시한 블록도이다. 도 7은 본 발명의 일 실시예에 따른 발달장애아를 위한 VR기반의 트레이닝 시스템의 트레이닝 유닛의 가이드 제시부의 각 구성들을 도시한 블록도이다. 도 8은 본 발명의 일 실시예에 따른 발달장애아를 위한 VR기반의 트레이닝 시스템의 VR유닛이 사용자에게 가상 공간 정보와 미션을 제시하도록 하며, 가상 공간 정보에 3차원 손 영상이 오버랩 된 것을 도시한 VR 화면이다. 도 9는 도 8에서 미션을 제시받은 사용자가 주방의 화면으로 이동한 후, 커피를 내리기 위하여 손을 움직이고 있으면, 손의 움직임이 가상 공간 정보에서 연동되어 작동되는 것을 도시한 VR 화면이다. 도 10은 도 7의 가이드 제시부의 아웃라인 제시부가 타깃 위치에 아웃라인을 제시하는 것을 도시한 VR화면이다. 도 11은 도 7의 가이드 제시부의 타깃 제시부가 타깃 위치에 식별 표지를 나타낸 것을 도시한 VR 화면이다. 도 12는 도 7의 가이드 제시부의 루트 제시부가 타깃 위치까지의 루트 경로를 제시한 것을 도시한 VR화면이다. 도 13은 본 발명의 일 실시예에 따른 발달장애아를 위한 VR기반의 트레이닝 시스템의 평가 측정부가 타깃 영역의 양호 접점을 표시한 것이다. 도 14는 본 발명의 일 실시예에 따른 발달장애아를 위한 VR기반의 트레이닝 시스템의 평가 측정부가 도 13의 타깃 영역에 비하여 평가수준을 높인 후, 타깃 영역의 양호 접점과 불량 접점을 표시한 것이다. 도 15는 도 13 및 도 14의 양호 접점에 접촉해야 할, 3차원 손 영상의 접촉 접점을 표시한 것이다. 도 16은 본 발명의 일 실시예에 따른 발달장애아를 위한 VR기반의 트레이닝 시스템의 미션 제시부의 음성 인식부와 문자 추출부, 그리고 주파수 변조부의 작용관계를 도시한 개념도이다.
본 발명에 따른 발달장애아를 위한 VR기반의 트레이닝 시스템의 경우, 도 1에 도시된 바와 같이, 발달장애아 즉, 사용자에게 VR 기반으로 특정한 가상의 환경을 제공하고, 해당 가상의 환경 내에서 교육, 훈련을 제공한 후, 이러한 교육과 훈련의 평가까지 정량적으로 이루어지도록 하는 시스템이다.
일반인과는 달리, 발달장애아의 경우, 서비스 업종의 현장에서 직업 교육이나 훈련이 이루어지기 힘든 경우가 많은데, 이러한 특수성으로 인하여, 발달장애아에게는 직업 선택의 기회가 사실상 박탈되는 결과를 가져온다.
일반인들에게는 흔히 접할 수 있는 현장 예컨대, 스타벅스 등의 커피 전문점이나, KFC 등의 치킨 전문점 등은 서비스의 질에 따라 고객의 기업에 대한 재방문 여부가 크게 결정될 수 있기 때문에, 기업 입장에서는 발달장애아에게 이러한 직업 훈련의 기회를 제공하기를 (비공식적으로) 꺼려하고 있다.
따라서, 발달장애아에게 VR 고글을 기반으로 하여, 일반인들이 흔히 접할 수 있는 유명 커피 전문점 등의 환경을 현실감 있게 제공하면서, 이러한 가상의 공간 속에서 사용자로 하여금 특정 미션을 수행하도록 하고, 수행된 미션에 대한 정량적인 평가가 이루어질 수 있도록 하는 기술적 사상을 이하에서 설명하기로 한다.
도 1에 도시된 바와 같이, 본 발명에 따른 발달장애아를 위한 VR기반의 트레이닝 시스템은 VR유닛(Virtual Reality unit, 300), 핸드 디텍팅 유닛(hand detecting unit, 100), 마운팅 유닛(mounting unit, 200), 및 트레이닝 유닛(training unit, 400)을 포함할 수 있다.
먼저, VR유닛(300)의 경우, 사용자의 안면에 제공되어 장착되고, 사용자의 양 눈(eyes)으로 가상의 공간 정보를 디스플레이하는 구성이다.
VR유닛(300)은 일반적으로 상용화되어 있는 VR 고글(Virtual Reality Goggles)의 일종으로서 대표적으로는 오큘러스(Oculus) 사의 제품이나, 삼성전자, 소니, HTC, 파이맥스, 맥스틸 사의 VR 기반의 고글들이면 족하므로, 구체적인 그 원리나 기능의 설명은 생략하기로 한다.
핸드 디텍팅 유닛(100)의 경우, 도 1에 도시된 바와 같이, VR유닛(300)의 상부에 제공 및 장착되어, 사용자의 손(hands)의 3차원 공간 형상을 감지하고, 이렇게 감지된 사용자 손의 3차원 공간 형상을 트레이닝 유닛(400)으로 전송하여, 궁극적으로는 사용자 손의 3차원 공간 형상의 것을 VR유닛(300)이 제공하는 가상 공간 정보에 오버랩되도록 한다.
마운팅 유닛(200)의 경우, 도 1에 도시된 바와 같이, VR유닛(300)의 상면에 거치되는 구성인데, 마운팅 유닛(200)의 상부로는 상술한 바와 같은 핸드 디텍팅 유닛(100)을 장착하게 되며, 마운팅 유닛(200)의 하부로는 상술한 바와 같은 VR유닛(300)에 고정 부착되는 구성이다.
마운팅 유닛(200)의 경우, 그 상부에 거치한 핸드 디텍팅 유닛(100)이 사용자의 손을 향하도록, 핸드 디텍팅 유닛(100)의 앵글이 조정될 수 있도록 전후, 상하의 앵글(angle)이 조정될 수 있도록 구비된다.
핸드 디텍팅 유닛(100)의 높낮이의 위치가 낮게 되면, 팔과 손의 각도에 따라 팔목부터 팔꿈치까지의 신체가 손과 손가락을 가리는 현상이 발생되었기 때문에, 마운팅 유닛(200)의 거치되는 높낮이 위치와 이에 따른 핸드 디텍팅 유닛(100)의 높낮이의 위치가 중요하다.
트레이닝 유닛(400)의 경우, 상술한 바와 같이 가상 공간 정보를 VR유닛(300)으로 제공함은 물론, 핸드 디텍팅 유닛(100)이 인식한 손 형상을 제공받아, VR유닛(300)으로 제공하여 가상 공간 정보에 오버랩 되도록 하여, 가상 공간 정보에 사용자가 존재하면서 실제로 자기의 손이 움직이는 대로 가상 공간 정보에서 손을 사용하는 것과 같은 느낌을 갖도록 한다.
트레이닝 유닛(400)의 경우, VR 유닛(300)을 통하여 VR유닛(300)을 착용한 사용자에게 미션을 제시하고, 이러한 미션을 수행하는 사용자의 손 형상의 움직임을 인식하여, 손 형상의 동작 정보에 따라 사용자의 훈련 정보를 평가하게 된다.
본 발명에 따른 발달장애아를 위한 VR기반의 트레이닝 시스템의 마운팅 유닛(200)은 도 5에 도시된 바와 같이, 홀딩부(210), 제1바아(220), 제2바아(230), 및 도킹부(240)를 포함할 수 있다.
먼저 홀딩부(210)의 경우, 도 5에 도시된 바와 같이, 핸드 디텍팅 유닛(100)을 홀딩하면서, 전후의 앵글 조절이 되어, 핸디 디텍팅 유닛(100)이 사용자의 손 쪽을 바라볼 수 있도록 하게 된다.
제1바아(220)의 경우, 그 일단은 홀딩부에 힌지 연결되어, 홀딩부(210)의 앵글조절이 이루어지도록 관장하는 구성이다.
제1바아(220)의 경우, 홀딩부(210)의 제1링크(211)와 연결된다. 이러한 제1링크(211)의 경우 제1힌지(212)를 통해 제1바아(220)와 연결된다.
제1바아(220)의 경우, 도 5에 도시된 바와 같이 제2링크(221)가 구비되며, 제2힌지(222)가 구비될 수 있다.
제2바아(230)의 경우, 그 일단이 제1바아(220)의 타단에 힌지 연결되어, 제1바아(220)의 앵글 조절이 이루어지도록 하게 된다.
제2바아(230)의 경우, 제3힌지(231)를 구비하여 도킹부(240)와 연결될 수 있다.
도킹부(240)의 경우, 그 일측에 제2바아(230)의 타단을 힌지 연결하며 제2바아(230)의 앵글조절이 이루어지도록 하며, VR유닛(300)의 상면에 고정부착된다.
본 발명에 따른 발달장애아를 위한 VR기반의 트레이닝 시스템의 핸드 디텍팅 유닛(100)의 경우, 전파 송출부(110), 전파 수신부(120), 및 구조 인식부(130)를 포함할 수 있다.
먼저, 전파 송출부(110)의 경우, 도 1에 도시된 바와 같이, 핸드 디텍팅 유닛(100)이 VR유닛(300)의 상부에서 사용자의 손 방향으로 소정의 파장대를 가지는 전파를 송출하게 된다.
사용자의 양 손을 향하여, 전파 송출부(110)가 소정의 파장대의 전파를 송출해야 하는바, 상술한 바와 같이, 마운팅 유닛(200)이 VR유닛(300)의 상부에 존재하여야 하며, VR유닛(300)의 상부에서 핸드 디텍팅 유닛(100)의 거치한 상태로 핸드 디텍팅 유닛(100)이 사용자의 양 손을 향하여 전파를 송출할 수 있어야 한다.
여기서 소정의 파장대를 가지는 전파란, 780nm 내지 1mm 범위의 파장을 가지는 것으로 설정하여, 사람의 눈으로 인지하지 못하도록 하는 것이 바람직하다.
다만, 이러한 파장대는 사람이 피부의 촉감으로 느낄수 있는 에너지를 가지는바, 사람이 촉감으로 느낄 수 없도록 하되, 전파 송출부(110)가 송출한 전파를 송출하여 반사되어 되돌아오는 전파를 재인식할 수 있어야 하는바, 특정한 에너지 영역대의 전파이어야 한다. 따라서, 반사되는 전파를 인지하기 위하여 특정한 에너지 영역대를 가져야 하는데, 사람의 머리 위에서 전파를 쏜 후, 되돌아 오는 전파의 시간차와 위상변화를 인지하기 위해서는 1.24meV 내지 1.7eV의 포톤 에너지(Photon Energy)를 가지는 것이 중요하다.
1.24meV의 에너지보다 낮으면, 되돌아 오는 반사파의 인식이 어려워 사용자의 양 손의 입체적 형상을 인식하기 어려우며, 1.7eV보다 크게 되면, 사용자가 에너지를 피부의 촉감 즉, 온열 에너지를 인식할 수 있을 뿐만 아니라 불필요한 에너지의 낭비를 가져오기 때문에 상술한 바와 같은 포톤 에너지 영역을 설정하기로 한다.
전파 수신부(120)의 경우, 전파 송출부(110)로부터 이격되어 배치되며, 전파 송출부(110)에 의해 송출된 후, 사용자의 손으로부터 반사된 반사파를 수신하게 된다.
이 경우, 전파 수신부(120)의 경우, 적어도 2대 이상의 전파 인식 모듈 예컨대, CMOS 로서 상술한 파장대의 전자기파를 인식할 수 있는 모듈을 구비하여, 손으로부터 반사된 반사파를 획득하게 된다.
이후, 구조 인식부(130)의 경우, 도 3(a)에 도시된 바와 같이, 전파 수신부(120)가 수신한 반사파를 제공받아, 반사파의 상호 거리와 위상을 인식하여 사용자의 손 형상을 인식하게 된다.
핸드 디텍팅 유닛(100)의 경우, 사용자가 인식하는 손 형상에 더하여 사실감을 더하기 위하여, 손 형상 상에 사용자 손의 실제 영상을 반영하여 매핑하도록 하기 위하여, 사용자의 손 영상을 취득하기 위한 영상 취득부(140)를 더 포함할 수 있다.
여기서 영상 취득부(140)의 경우, 도 3(b)와 같이, 사용자의 손으로 대향하여 사용자의 손으로부터 반사되는 가시광선 영상을 획득하게 된다.
나아가, 핸드 디텍팅 유닛(100)의 경우, 핸드 매핑부(150) 및 무브먼트 송신부(160)를 더 포함할 수 있다.
여기서 핸드 매핑부(150)의 경우, 상술한 바와 같이, 구조 인식부(130)가 인식한 손 형상을 획득하고, 영상 취득부(140)로부터 사용자의 손으로부터 반사되는 가시광선의 영상을 상술한 손 형상에 매핑하여, 가시광선의 영상 중 손 형상에 매핑되는 부분만을 선별적으로 획득하게 된다.
이후, 무브먼트 송신부(160)는 도 4에 도시된 바와 같이, 핸드 매핑부(150)로부터 3차원 손 영상을 시간의 추이에 따른 변화 즉, 3차원 손 영상의 동작 정보를 트레이닝 유닛(400) 전송하게 된다.
본 발명에 따른 발달장애아를 위한 VR기반의 트레이닝 시스템의 트레이닝 유닛(400)의 경우, 도 6에 도시된 바와 같이, 배경 송출부(410), 무브먼트 수신부(420), 및 오버래핑부(430)를 포함할 수 있다.
먼저, 배경 송출부(410)의 경우, VR유닛(300)을 착용한 사용자에게 경험을 제공하고자 하는 가상의 배경 정보 즉, 가상의 공간 정보를 송출하고, VR유닛(300)을 통해 사용자는 이러한 가상의 공간 정보 속에 위치한 것처럼 느끼게끔 한다.
무브먼트 수신부(420)의 경우, 상술한 바와 같은 핸드 디텍팅 유닛(100)의 무브먼트 송신부(160)로부터 3차원 손 영상을 수신하게 된다.
이후, 오버래핑부(430)의 경우, 배경 송출부(430)가 송출하는 가상 공간 정보에 3차원 손 영상을 오버래핑하여, VR유닛(300)을 장착한 사용자로 하여금 자기가 속한 것처럼 느끼는 가상 공간 정보 속에서 자신의 손을 활용하여 무엇인가 체험하는 것처럼 느끼게 된다.
본 발명에 따른 발달장애아를 위한 VR기반의 트레이닝 시스템의 트레이닝 유닛(400)의 경우, 미션 제시부(440) 및 평가 측정보(450)를 더 포함할 수 있다.
미션 제시부(440)의 경우, 도 8에 도시된 바와 같이, 가상 공간 정보 상에서 사용자가 수행해야할 '미리 설정된 액션'을 제시하게 된다.
도 8의 경우, 미리 설정된 액션의 경우, "주방으로 가서 커피를 내리시오"에 해당되는 액션이라고 볼 수 있다.
그러면, 도 9에 도시된 바와 같이, 사용자는 가상 공간 정보에서 보이는 주방으로 가서, 해당 가상 공간에서 커피를 드립(drip)하는 액션을 자신의 3차원 손 영상을 통해 수행해볼 수 있다.
평가 측정부(450)의 경우, 미리 설정된 액션에 따라, 3차원 손 영상의 동작 정보를 수신하고, 이후, 3차원 손 영상의 동작 정보의 미리 설정된 평가 기준 테이블에 제시하여, 3차원 손 영상 동작 정보를 평가하게 된다.
도 13과 같이, 타깃 영역의 양호 접점(녹색점)을 설정하고, 레벨을 좀 더 높인 도 14와 같이, 타깃 영역의 양호 접점(녹색점)과 불량 접점(붉은점)을 각각 설정하게 된다.
이후, 도 15에서와 같이, 사용자의 3차원 손 영상에서 접촉 접점을 녹색의 포인트와 같이 설정하게 된다.
여기서 미리 설정된 평가 기준 테이블의 경우, 아래와 같이, 도 15에서와 같은 사용자 3차원 손 영상의 접촉 점점이 도 13 및 도 14에서 양호 접점을 터치하는지, 불량 접점을 터치하는지를 평가하여 동작 정보를 정량적으로 평가하게 된다.
엄지팁 검지팁 중지팁 약지팁 소지팁
높이1(양호접점) 5 5 4 -1 -3
높이2(양호접점) 5 4 5 0 -2
높이3(양호접점) 5 3 4 5 0
높이4(양호접점) 2 0 3 4 3
높이5(양호접점) 0 -2 0 3 5
참고로, 표 1은 도 13의 평가이다.
엄지팁 검지팁 중지팁 약지팁 소지팁
불량접점 -3 -3 -3 -3 -3
양호접점 5 5 4 3 2
참고로, 표 2는 도 14 (뜨거운 커피)의 평가이다.
해당 미션이 특정 기준치를 넘어서서, 합격에 이르게 되면, 타깃 영역이 시각적으로 번쩍이거나, 섬광이 비춰지는 등의 보상이 주어지게 된다.반대로, 해당 미션이 특정 기준치에 미달하는 경우, 불합격에 해당되어, 타깃 영역이 흔들리거나 하는 등의 패널티가 주어질 수 있다.
특정 미션을 수행할 수 없는 것으로 판단되면, 해당 미션을 패스하도록 미션 제시부(440)는 다음 차례의 미션을 제시할 수도 있다.
본 발명에 따른 발달장애아를 위한 VR기반의 트레이닝 시스템의 트레이닝 유닛(400)의 경우, 가이드 제시부(460)를 더 포함할 수 있다.
가이드 제시부(460)의 경우, 미션 제시부(440)가 제시한 미리 설정된 액션을 수행하도록 사용자에게 소정의 가이드를 제시하는 구성이다.
소정의 가이드의 구체적인 예를 위하여, 가이드 제시부(460)의 경우, 도 7에 도시된 바와 같이, 루트(route) 제시부(461), 아웃라인 제시부(462) 및 타킷 제시부(463)를 포함할 수 있다.
먼저, 루트 제시부(461)의 경우, 도 12에 도시된 바와 같이, 미리 설정된 액션을 위하여 사용자가 3차원 손 영상이 움직여야할 가상의 경로(도 12에서는 파란색 점선으로 표시됨)를 사용자의 VR유닛(300)으로 제시하게 되며, 가상의 경로는 3차원 손 영상으로부터 타깃 위치까지 형성되도록 한다.
보다 자세하게는, 평가 측정부(450)에서와 같이, 도 15에서와 같은 접촉 접점에서부터 도 13에서와 같은, 타깃 영역의 양호 접점까지 이어지게 된다.
이러한 가상의 경로는 사용자의 동작 정보에 따라 연동되어, 그 가상의 경로 역시 따라 움직이게 된다.
도 14에서는 도 15의 접촉 접점으로부터 도 14의 불량접점을 피하고, 양호접점까지 점선이 이어지게 된다.
도 10에 도시된 바와 같이, 아웃라인 제시부(462)의 경우, 3차원 손 영상이 도달해야할 타깃 영역의 아웃 라인을 표시하여, 사용자에게 타킷 영역을 눈으로 확인시켜 준다.
도 11에 도시된 바와 같이, 타깃 제시부(463)의 경우, 3차원 손 영상이 도달해야할 타깃 영역에 소정의 표식 예컨대 붉은 별(red star)의 표시를 하여, 사용자에게 알려주도록 한다.
본 발명에 따른 발달장애아를 위한 VR기반의 트레이닝 시스템의 미션 제시부(440)의 경우 도 16에 도시된 바와 같이, 미션을 제시하는 사람 즉, 훈련을 제공하는 관리자가 마이크로 육성으로 특정 미션에 대한 내용을 언급하면, 해당 관리자의 음성을 인식하는 음성 인식부(441)를 포함할 수 있다.
이 경우, 미션 제시부(440)의 경우, 문자 추출부(442) 및 주파수 변조부(442)를 더 포함할 수 있다.
문자 추출부(442)의 경우, 음성 인식부(441)가 인식한, 관리자의 음성을 음성 인식을 통해, 문자 즉, 텍스트로 변환하여, 도 8과 같은 화면 상에 표시되도록 한다.
이와 별도 혹은 병행하여, 사용자 즉, 발달 장애아가 미리 선정한 연예인의 육성의 패턴 즉, 해당 연예인의 육성이 가지는 특정 주파수 대역에 대한 정보를 미리 저장하고 있다가, 관리자의 육성이 인식되면, 음성 인식부(441)는 이를 획득한 후, 주파수 변조부(443)는 해당 음성을 상술한 바와 같이, 사용자가 선호하는 연예인이 가지는 특정 주파수 대역으로 음성을 모듈레이션(modulation)하게 된다.
보다 구체적으로, 주파수 변조부(443)는 해당 연예인이 가지는 주파수 대역의 주파수 대역으로 변조한 후, 해당 주파수 대역만을 통과시키는 BPF(band pass filter)를 통과시킨 후, 통과된 변조 음성 신호를 일정 구간만큼 증폭시킨 후, 사용자에게 들려주게 된다. 이렇게 되면, 발달장애아인 사용자는 해당 미션을 수행하고자하는 집중력과 목표의식이 증가하게 되며, 해당 미션을 재미있게 수행할 수 있도록 돕게 된다.
본 발명의 권리 범위는 특허청구범위에 기재된 사항에 의해 결정되며, 특허 청구범위에 사용된 괄호는 선택적 한정을 위해 기재된 것이 아니라, 명확한 구성요소를 위해 사용되었으며, 괄호 내의 기재도 필수적 구성요소로 해석되어야 한다.
10: 공유기 20: 관리자 단말기
100: 핸드 디텍팅 유닛(hand detecting unit) 101: 중앙 제어부
102: 배터리 103: 스토리지부
110: 전파 송출부 120: 전파 수신부
130: 구조 인식부 140: 영상 취득부
150: 핸드 매핑부 160: 무브먼트 송신부
200: 마운팅 유닛(mounting unit)
300: VR 유닛(Virtuality Reality unit)
400: 트레이닝 유닛(training unit) 401: 중앙 제어부
402: 데이터베이스 410: 배경 송출부
420: 무브먼트 수신부 430: 오버래핑부
440: 미션 제시부 441: 음성 인식부
442: 문자 추출부 443: 주파수 변조부
450: 평가 측정부 460: 가이드 제시부
461: 루트 제시부 462: 아웃라인 제시부
463: 타깃 제시부

Claims (10)

  1. 사용자의 안면에 장착되어, 상기 사용자의 양 눈으로 가상 공간 정보를 디스플레이 하는 VR 유닛(virtual reality unit);
    상기 VR유닛 상에 제공되어, 상기 사용자의 손의 3차원 공간 형상(상기 "사용자의 손의 3차원 공간 형상"을 "손 형상"이라 한다. 이하 같다.)을 감지하는 핸드 디텍팅 유닛(hand detecting unit);
    하부가 상기 VR유닛 상에 거치되고, 상부는 상기 핸드 디텍팅 유닛을 장착하여, 상기 핸드 디텍팅 유닛이 상기 사용자의 손 형상을 감지하는 방향으로 앵글(angle) 조절이 가능하도록 구비되는 마운팅 유닛(mounting unit); 및
    상기 VR유닛으로 상기 가상 공간 정보를 제공하고, 상기 핸드 디텍팅 유닛으로부터 상기 손 형상을 수신하여, 상기 가상 공간 정보 상에 오버래핑(overlapping)하며, 상기 VR유닛을 통해 상기 사용자에게 미션을 제시한 후, 상기 손 형상의 동작 정보에 따라 상기 사용자의 훈련 정도를 평가하는 트레이닝 유닛(training unit)을 포함하되,
    상기 마운팅 유닛은,
    상기 핸드 디텍팅 유닛을 홀딩하며, 전후 앵글 조절이 이루어지는 홀딩부;
    일단이 상기 홀딩부에 힌지(hinge) 연결되어, 상기 홀딩부의 앵글 조절이 이루어지도록 하는 제1바아(bar);
    일단이 제1바아의 타단에 힌지(hinge) 연결되어, 상기 제1바아의 앵글 조절이 이루어지도록 하는 제2바아(bar); 및
    일측에 상기 제2바아의 타단을 힌지 연결하여, 상기 제2바아의 앵글조절이 이루어지도록 하며, 상기 VR유닛의 상면에 고정부착되는 도킹부를 포함하는 것을 특징으로 하는, 트레이닝 시스템.
  2. 삭제
  3. 제1항에 있어서, 상기 핸드 디텍팅 유닛은,
    상기 사용자의 손을 향하여 소정의 파장대를 가지는 전파를 송출하는 전파 송출부;
    상기 전파 송출부로부터 이격되어 배치되며, 상기 전파 송출부에 의해 송출되어, 상기 사용자의 손으로부터 반사된 반사파를 수신하는 전파 수신부; 및
    상기 전파 수신부로부터 상기 반사파를 제공받아, 상기 반사파의 거리를 인식하여, 상기 사용자의 상기 손 형상을 인식하는 구조 인식부를 포함하는 것을 특징으로 하는, 트레이닝 시스템.
  4. 제3항에 있어서,
    상기 전파 송출부는,
    상기 전파의 상기 소정의 파장대를 780nm 내지 1mm 범위로 설정하며, 상기 전파의 포톤 에너지의 범위는 1.24meV 내지 1.7eV범위의 전자기파로 형성시키며,
    상기 전파 수신부는,
    적어도 2개 이상의 전파 인식 모듈을 구비하여, 상기 전파 인식 모듈을 통하여 상기 전파 송출부가 송출하고 상기 사용자의 손으로부터 반사된 반사파를 획득하는 것을 특징으로 하는, 트레이닝 시스템.
  5. 제4항에 있어서, 상기 핸드 디텍팅 유닛은,
    상기 사용자의 손으로 대향하여, 상기 사용자의 손으로부터 반사되는 가시광선 영상을 획득하는 영상 취득부를 더 포함하는 것을 특징으로 하는, 트레이닝 시스템.
  6. 제5항에 있어서, 상기 핸드 디텍팅 유닛은,
    상기 구조 인식부로부터 상기 손 형상을 획득하고, 상기 영상 취득부로부터 상기 사용자의 손으로부터 반사되는 가시광선 영상에 상기 손 형상을 매핑하여, 상기 가시광선 영상 중 상기 손 형상에 매핑되는 부분(상기 "가시광선 영상 중 상기 손 형상에 매핑되는 부분"을 "3차원 손 영상"이라 한다. 이하 같다.)만을 선별적으로 획득하는 핸드 매핑부; 및
    상기 핸드 매핑부로부터 상기 3차원 손 영상의 동작 정보를 상기 트레이닝 유닛으로 전송하는 무브먼트 송신부를 더 포함하는 것을 특징으로 하는, 트레이닝 시스템.
  7. 제6항에 있어서, 상기 트레이닝 유닛은,
    상기 가상 공간 정보를 상기 VR 유닛으로 송출하는 배경 송출부;
    상기 무브먼트 송신부로부터 상기 3차원 손 영상을 수신하는 무브먼트 수신부; 및
    상기 배경 송출부가 송출하는 상기 가상 공간 정보에 상기 3차원 손 영상을 오버래핑하는 오버래핑부를 포함하는 것을 특징으로 하는, 트레이닝 시스템.
  8. 제7항에 있어서, 상기 트레이닝 유닛은,
    상기 가상 공간 정보 상에서 상기 사용자가 수행해야할 미리 설정된 액션을 제시하는 미션 제시부; 및
    상기 미리 설정된 액션에 따른 상기 3차원 손 영상의 동작 정보를 수신하여, 상기 3차원 손 영상의 동작 정보의 미리 설정된 평가 기준 테이블에 제시하여, 상기 3차원 손 영상의 동작 정보를 평가하는 평가 측정부를 더 포함하는 것을 특징으로 하는, 트레이닝 시스템.
  9. 제8항에 있어서, 상기 트레이닝 유닛은,
    상기 미션 제시부가 제시한 상기 미리 설정된 액션을 수행하도록 상기 사용자에게 소정의 가이드를 제시하는 가이드 제시부를 더 포함하는 것을 특징으로 하는, 트레이닝 시스템.
  10. 제9항에 있어서, 상기 가이드 제시부는,
    상기 미리 설정된 액션을 위한 상기 사용자의 상기 3차원 손 영상이 움직이는 가상의 경로를 제시하며, 상기 가상의 경로는 상기 3차원 손 영상으로부터 타깃 영역까지 형성되도록 하는 루트 제시부;
    상기 3차원 손 영상이 도달해야할 상기 타깃 영역의 아웃라인을 표시하여 상기 사용자에게 제시하는 아웃라인 제시부; 및
    상기 3차원 손 영상이 도달해야할 상기 타깃 영역에 소정의 표식을 제공하여, 상기 사용자에게 알려주는 타깃 제시부를 포함하는 것을 특징으로 하는, 트레이닝 시스템.

KR1020180161969A 2018-12-14 2018-12-14 발달장애아를 위한 vr기반의 트레이닝 시스템 KR102016676B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180161969A KR102016676B1 (ko) 2018-12-14 2018-12-14 발달장애아를 위한 vr기반의 트레이닝 시스템
PCT/KR2019/012174 WO2020122375A1 (ko) 2018-12-14 2019-09-19 발달장애아를 위한 vr기반의 트레이닝 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180161969A KR102016676B1 (ko) 2018-12-14 2018-12-14 발달장애아를 위한 vr기반의 트레이닝 시스템

Publications (1)

Publication Number Publication Date
KR102016676B1 true KR102016676B1 (ko) 2019-08-30

Family

ID=67776279

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180161969A KR102016676B1 (ko) 2018-12-14 2018-12-14 발달장애아를 위한 vr기반의 트레이닝 시스템

Country Status (2)

Country Link
KR (1) KR102016676B1 (ko)
WO (1) WO2020122375A1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020122375A1 (ko) * 2018-12-14 2020-06-18 주식회사 홀로웍스 발달장애아를 위한 vr기반의 트레이닝 시스템
KR102142062B1 (ko) 2019-11-22 2020-08-07 주식회사 유니브이알 Vr 콘텐츠 연동 홈 트레이닝 장치
KR20210157929A (ko) * 2020-06-22 2021-12-30 주식회사 휴메닉 운동 병합형 가상현실 기반 인지재활 훈련 시스템 및 방법
KR20210157930A (ko) * 2020-06-22 2021-12-30 주식회사 휴메닉 비대면형 인지 및 운동 재활 훈련 시스템 및 방법
KR20220108417A (ko) * 2021-01-27 2022-08-03 주식회사 시온네트웍 Hmd 핸드트래킹을 이용한 실기술 트레이닝 제공방법
US11501576B2 (en) 2020-06-01 2022-11-15 Electronics And Telecommunications Research Institute Wearable device, virtual content providing device, and virtual content providing method
US11887257B2 (en) 2020-11-18 2024-01-30 Electronics And Telecommunications Research Institute Method and apparatus for virtual training based on tangible interaction

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080005798A (ko) 2006-07-10 2008-01-15 (주)유리시스 모션트랙킹 기술과 증강현실 기법을 활용한 인지 및행동장애 재활 지원시스템
KR101044901B1 (ko) * 2011-01-14 2011-06-29 탐투스 주식회사 증강현실 촬영을 위한 실물 화상기를 구비한 디지털 학습장치
KR20110116422A (ko) * 2010-04-19 2011-10-26 서경대학교 산학협력단 마커와 훈련자 손 인식을 통한 증강 현실 상황 훈련 시스템
KR20170079135A (ko) 2015-12-30 2017-07-10 한국생산기술연구원 가상 현실 기반 사용자 맞춤형 훈련 시스템
KR20170116121A (ko) 2015-02-13 2017-10-18 오토이, 인크. 머리 장착형 디스플레이와 실세계 객체 사이의 상호 통신
KR20180028033A (ko) 2016-09-05 2018-03-15 고려대학교 산학협력단 사용자 환경 기반 가상현실을 이용한 장애인 일상생활 교육 방법 및 이를 위한 장치

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110270135A1 (en) * 2009-11-30 2011-11-03 Christopher John Dooley Augmented reality for testing and training of human performance
KR102016676B1 (ko) * 2018-12-14 2019-08-30 주식회사 홀로웍스 발달장애아를 위한 vr기반의 트레이닝 시스템

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080005798A (ko) 2006-07-10 2008-01-15 (주)유리시스 모션트랙킹 기술과 증강현실 기법을 활용한 인지 및행동장애 재활 지원시스템
KR20110116422A (ko) * 2010-04-19 2011-10-26 서경대학교 산학협력단 마커와 훈련자 손 인식을 통한 증강 현실 상황 훈련 시스템
KR101044901B1 (ko) * 2011-01-14 2011-06-29 탐투스 주식회사 증강현실 촬영을 위한 실물 화상기를 구비한 디지털 학습장치
KR20170116121A (ko) 2015-02-13 2017-10-18 오토이, 인크. 머리 장착형 디스플레이와 실세계 객체 사이의 상호 통신
KR20170079135A (ko) 2015-12-30 2017-07-10 한국생산기술연구원 가상 현실 기반 사용자 맞춤형 훈련 시스템
KR20180028033A (ko) 2016-09-05 2018-03-15 고려대학교 산학협력단 사용자 환경 기반 가상현실을 이용한 장애인 일상생활 교육 방법 및 이를 위한 장치

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020122375A1 (ko) * 2018-12-14 2020-06-18 주식회사 홀로웍스 발달장애아를 위한 vr기반의 트레이닝 시스템
KR102142062B1 (ko) 2019-11-22 2020-08-07 주식회사 유니브이알 Vr 콘텐츠 연동 홈 트레이닝 장치
US11501576B2 (en) 2020-06-01 2022-11-15 Electronics And Telecommunications Research Institute Wearable device, virtual content providing device, and virtual content providing method
KR20210157929A (ko) * 2020-06-22 2021-12-30 주식회사 휴메닉 운동 병합형 가상현실 기반 인지재활 훈련 시스템 및 방법
KR20210157930A (ko) * 2020-06-22 2021-12-30 주식회사 휴메닉 비대면형 인지 및 운동 재활 훈련 시스템 및 방법
KR102430066B1 (ko) * 2020-06-22 2022-08-08 주식회사 휴메닉 비대면형 인지 및 운동 재활 훈련 시스템 및 방법
KR102430067B1 (ko) 2020-06-22 2022-08-08 주식회사 휴메닉 운동 병합형 가상현실 기반 인지재활 훈련 시스템 및 방법
US11887257B2 (en) 2020-11-18 2024-01-30 Electronics And Telecommunications Research Institute Method and apparatus for virtual training based on tangible interaction
KR20220108417A (ko) * 2021-01-27 2022-08-03 주식회사 시온네트웍 Hmd 핸드트래킹을 이용한 실기술 트레이닝 제공방법
KR102569857B1 (ko) * 2021-01-27 2023-08-23 주식회사 시온네트웍 Hmd 핸드트래킹을 이용한 실기술 트레이닝 제공방법

Also Published As

Publication number Publication date
WO2020122375A1 (ko) 2020-06-18

Similar Documents

Publication Publication Date Title
KR102016676B1 (ko) 발달장애아를 위한 vr기반의 트레이닝 시스템
CN110419018B (zh) 基于外部条件的可穿戴显示装置的自动控制
Steed et al. The impact of a self-avatar on cognitive load in immersive virtual reality
US8531354B2 (en) Image generation system
CN106937531B (zh) 用于产生虚拟和增强现实的方法和系统
Biocca et al. Immersive virtual reality technology
Kasahara et al. Malleable embodiment: changing sense of embodiment by spatial-temporal deformation of virtual human body
US20130137076A1 (en) Head-mounted display based education and instruction
Dudley et al. Inclusive Immersion: a review of efforts to improve accessibility in virtual reality, augmented reality and the metaverse
De Paolis et al. The effects of touchless interaction on usability and sense of presence in a virtual environment
Sun et al. Systems and methods for projecting images onto an object
Katzakis et al. Stylo and handifact: Modulating haptic perception through visualizations for posture training in augmented reality
Chen et al. Virtual, Augmented and Mixed Reality. Multimodal Interaction: 11th International Conference, VAMR 2019, Held as Part of the 21st HCI International Conference, HCII 2019, Orlando, FL, USA, July 26–31, 2019, Proceedings, Part I
WO2009022924A1 (en) Image generation system
CN116997880A (zh) 注意力检测
Rakkolainen et al. State of the Art in Extended Reality—Multimodal Interaction
Feuchtner Designing for Hand Ownership in Interaction with Virtual and Augmented Reality
Cao Granulated rest frames as a technique to mitigate visually-induced motion sickness and their application
Francisco Development of an Eye-Tracker for a HMD
Kabir et al. Auxilio: A Sensor-Based Wireless Head-Mounted Mouse for People with Upper Limb Disability
Grillon Simulating interactions with virtual characters for the treatment of social phobia
Bai Augmented Reality interfaces for symbolic play in early childhood
de Moura et al. Bridging physical and digital worlds: The use of AR in mobile commerce apps Social and technological facilitating factors and their influence on consumers.
Roxo Bridging Physical and Digital Worlds: the Use of ar in Mobile Commerce Apps Social and Technological Facilitating Factors and Their Influence on Consumers
Ong Development of a head-mounted eye tracker for human-computer interaction

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant