KR102122021B1 - 가상현실을 이용한 인지 개선 장치 및 방법 - Google Patents

가상현실을 이용한 인지 개선 장치 및 방법 Download PDF

Info

Publication number
KR102122021B1
KR102122021B1 KR1020190155919A KR20190155919A KR102122021B1 KR 102122021 B1 KR102122021 B1 KR 102122021B1 KR 1020190155919 A KR1020190155919 A KR 1020190155919A KR 20190155919 A KR20190155919 A KR 20190155919A KR 102122021 B1 KR102122021 B1 KR 102122021B1
Authority
KR
South Korea
Prior art keywords
subject
content
virtual reality
cognitive
question
Prior art date
Application number
KR1020190155919A
Other languages
English (en)
Inventor
이현준
Original Assignee
주식회사 세븐포인트원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 세븐포인트원 filed Critical 주식회사 세븐포인트원
Priority to KR1020190155919A priority Critical patent/KR102122021B1/ko
Application granted granted Critical
Publication of KR102122021B1 publication Critical patent/KR102122021B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Child & Adolescent Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 치매 노인이나 인지 장애 아동의 인지를 개선하기 위한 기술에 관한 것으로서, 상세하게는 가상현실 영상을 이용해 인지 개선 활동을 하는 동안 치매 노인이나 장애 아동에 대한 관찰 기록을 자동으로 수행할 수 있도록 한 가상현실을 이용한 인지 개선 장치 및 방법에 관한 것이다. 이를 위해, 본 발명에 따른 실감 콘텐츠를 이용한 인지 개선 장치는 사용자 단말기에서 재생되는 인지 개선을 위한 콘텐츠를 표시하는 디스플레이부와, 상기 디스플레이부에 표시되는 콘텐츠에 동기화된 질문 음성 메시지를 출력하는 스피커와, 상기 스피커에서 출력된 질문 음성 메시지에 반응한 사용자의 시선 추적정보를 생성하는 시선 추적부와, 상기 사용자 단말기에서 재생되는 콘텐츠를 수신하고 상기 시선 추적부에서 생성된 시선 추적정보를 상기 사용자 단말기로 전송하는 통신부를 포함한다.

Description

가상현실을 이용한 인지 개선 장치 및 방법{Apparatus and method for enhancement of cognition using Virtual Reality}
본 발명은 치매 노인이나 인지 장애 환자의 인지를 개선하기 위한 기술에 관한 것으로서, 상세하게는 가상현실 영상을 이용해 인지 개선 활동을 하는 동안 치매 노인이나 인지 장애 환자에 대한 관찰 기록을 자동으로 수행할 수 있도록 한 가상현실을 이용한 인지 개선 장치 및 방법에 관한 것이다.
우리나라는 2018년에 고령화 사회(고령인구 14%)가 되었고, 2026년에는 초고령화 사회(고령인구 21%)에 도달할 것으로 예상된다.
고령화 사회로 들어가면서 치매 환자도 매년 증가하여 2030년에는 약 백만명, 2050년에는 약 2백만명에 이르며, 그 전단계인 경도 인지장애 환자들이 매년 10~15%씩 치매로 전환되고 있는 상황이다.
이에 따라 적절한 인지재활 프로그램을 통한 조기치료의 중요성이 날로 증대되고 있다. 인재재활 장치로서 최근 HMD(Head Mounted Display)와 같은 VR(Virtual Reality, 가상현실) 장치가 사용되고 있다.
인지재활 장치에 흥미 있고 인지능력을 자극하는 인지재활 컨텐츠를 탑재하면 참여자가 원하는 시간과 장소에서 개별적으로 인지재활 프로그램을 이수할 수 있으므로 인지재활 치료효과가 매우 클 것으로 판단된다.
인지재활 장치는 대부분 인지재활 치료사나 사회복지사가 사용하게 된다. 인지재활 치료사나 사회복지사가 VR 영상이 나오는 두부 착용 디스플레이(HMD)를 대상자의 머리에 씌우고 단말기에서 그들의 반응과 태도를 기록하면서 인지 재활 프로그램을 진행하게 된다.
하지만 인지재활 치료사나 사회복지사가 HMD를 쓰고 있는 대상자를 돌보면서 그들의 반응과 태도를 기록하는 것은 매우 번거롭고 불편하며 대상자의 발음에 문제가 있을 때 정확하게 기록하기 어렵다는 문제점이 있다.
또한, 대상자가 HMD를 쓰고 VR 영상을 보고 있어서 그들이 어떠한 주의력과 관심을 가지고 보고 있는지 전혀 알 수 없기 때문에, 인지재활 치료사나 사회복지사는 대상자의 심리나 마음 상태를 정확히 파악할 수 없다는 문제점이 있다.
한국공개특허 제2017-0124978호
본 발명은 상기와 같은 문제점을 해결하기 위해 창안된 것으로서, 본 발명의 목적은 인지재활 프로그램 진행 시에 대상자의 반응과 태도를 편리하고 정확하게 기록하기 위한 것이다.
본 발명의 다른 목적은 HMD를 착용하여 인지재활 프로그램을 진행할 때 VR 영상을 보고 있는 대상자가 어디에 주의력과 관심을 보이고 있는지를 파악할 수 있도록 하는 것이다.
이를 위해, 본 발명에 따른 실감 콘텐츠를 이용한 인지 개선 장치는 사용자 단말기에서 재생되는 인지 개선을 위한 콘텐츠를 표시하는 디스플레이부와, 상기 디스플레이부에 표시되는 콘텐츠에 동기화된 질문 음성 메시지를 출력하는 스피커와, 상기 스피커에서 출력된 질문 음성 메시지에 반응한 사용자의 시선 추적정보를 생성하는 시선 추적부와, 상기 사용자 단말기에서 재생되는 콘텐츠를 수신하고 상기 시선 추적부에서 생성된 시선 추적정보를 상기 사용자 단말기로 전송하는 통신부를 포함한다.
본 발명에 따른 실감 콘텐츠를 이용한 인지 개선 장치의 사용자 단말기에서 대상자에 대한 관찰 정보를 기록하는 방법은, 인지 개선을 위한 콘텐츠를 재생하면서 대상자의 머리에 장착되는 두부 착용 디스플레이로 가상현실 영상을 전송하는 단계와, 상기 콘텐츠에 동기화된 질문 음성 메시지가 출력된 이후 상기 두부 착용 디스플레이로부터 시선 추적정보가 수신되면 시선 추적정보를 처리하여 상기 콘텐츠에서 대상자의 시선이 가리키는 위치에 대응하는 객체를 추출하는 단계와, 상기 질문 음성 메시지에 대응하는 답변 필드에 상기 추출한 객체정보를 기입하는 단계를 포함한다.
본 발명에 따른 실감 콘텐츠를 이용한 인지 개선 방법은 실감 콘텐츠를 이용한 인지 개선 장치에서 대상자의 인지를 개선하는 방법으로서, 대상자의 상태 정보를 입력받아 기록하는 단계와, 대상자의 인지 개선을 위한 제1 콘텐츠를 재생하는 단계와, 상기 제1 콘텐츠에 동기화된 질문 음성 메시지를 출력하는 단계와, 상기 질문 음성 메시지에 반응한 대상자의 답변 내용을 입력받아 기록하는 단계와, 대상자의 활동을 위한 제2 콘텐츠를 재생하는 단계와, 상기 제2 콘텐츠에 반응한 대상자의 활동 내용을 입력받아 기록하는 단계를 포함한다.
상술한 바와 같이, 본 발명에 따른 가상현실을 이용한 인지 개선 장치는 두부 착용 디스플레이를 쓰고 있는 대상자에게 질문 음성 메시지를 출력하고 그 질문에 반응하는 대상자의 음성을 자동으로 인식하여 기록하기 때문에 사회복지사나 관리사가 단말기에 대상자의 반응을 기입할 필요가 없다.
또한, 본 발명은 두부 착용 디스플레이를 쓰고 있는 대상자의 시선을 추적하여 가상현실 영상의 어느 부분을 보고 있는지 파악할 수 있어서 대상자가 영상의 어느 부분에 주의력과 관심을 보이는지 알 수 있기 때문에 대상자의 심리나 마음 상태를 좀더 정확히 알 수 있다.
이와 같이, 사회복지사나 관리사가 본 발명에 따른 인지 개선 장치를 사용하게 되면 정확하고 편리하게 대상자의 반응을 기록할 수 있고 대상자가 영상의 어느 부분에 관심과 주의력을 보이는지 알 수 있어서 대상자의 인지 개선 활동에 많은 도움을 줄 수 있다.
도 1은 본 발명에 따른 가상현실을 이용한 인지 개선 장치의 전체 구성도.
도 2는 본 발명에 따른 두부 착용 디스플레이의 내부 구성도.
도 3은 본 발명에 따른 가상현실을 이용한 인지 개선 방법의 순서도.
도 4는 본 발명에 따른 가상현실을 이용한 인지 개선 장치의 사용자 단말기에서 인지 개선 프로그램이 수행되는 과정을 나타낸 순서도.
도 5 내지 도 11은 본 발명에 따른 가상현실을 이용한 인지 개선 장치의 사용자 단말기에 표시되는 화면을 나타낸 도면.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.
그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
또한, 명세서에 기재된 "……부", "…… 모듈" 의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
이하, 도면을 참조로 하여 본 발명의 실시예에 따른 가상현실을 이용한 인지 개선 장치 및 방법에 대하여 상세히 설명한다.
도 1은 본 발명에 따른 가상현실을 이용한 인지 개선 장치의 전체 구성을 나타낸 것이다.
도 1을 참조하면, 본 발명에 따른 가상현실을 이용한 인지 개선 장치(이하, 인지 개선 장치)는 두부 착용 디스플레이(Head Mounted Display)(100)와 사용자 단말기(200)로 구성된다.
본 발명에 따른 인지 개선 장치는 치매 노인, 인지 장애 환자나 아동(이하, 대상자)을 돌보는 인지재활 치료사, 사회복지사나 관리사(이하, 인지 개선 관리사)가 휴대하고 다닐 수 있다.
인지 개선 관리사가 대상자의 머리에 두부 착용 디스플레이(100)를 씌운 후에 사용자 단말기(200)에서 인지 개선 프로그램을 실행하면, 두부 착용 디스플레이(100)에서 인지 개선용 가상현실(VR) 영상이 표시되고 가상현실 영상에 동기화된 사운드가 출력된다.
본 발명에 따른 인지 개선 프로그램은 가상현실 영상뿐만 아니라 증강현실(AR), 혼합현실(Mixed Reality) 등의 영상을 사용할 수 있다. 가상현실, 증강현실, 혼합현실 영상 등은 모두 실감 콘텐츠에 해당한다.
대상자는 두부 착용 디스플레이(100)를 통해 인지 개선용 가상현실 영상을 보면서 가상현실 영상의 내용에 따라 출력되는 질문 음성 메시지를 들을 수 있다.
대상자자 두부 착용 디스플레이(100)를 통해 가상현실 영상을 보는 동안 인지 개선 관리사는 사용자 단말기(200)에서 동일하게 재생되는 가상현실 영상을 보면서 대상자에게 제시되는 질문 및 그에 대한 대답 내용과 대상자의 반응을 확인할 수 있다.
본 발명에 따른 사용자 단말기(200)로는 노트북, 태블릿 PC, 스마트폰 등이 될 수 있으나, 이에 한정되는 것은 아니며 인지 개선용 프로그램을 실행할 수 있고 두부 착용 디스플레이(100)와 통신할 수 있는 장치라면 어떠한 기기라도 가능하다.
도 2는 본 발명에 따른 두부 착용 디스플레이의 내부 구성을 나타낸 것이다.
도 2를 참조하면, 두부 착용 디스플레이(100)는 디스플레이부(10), 시선추적부(20), 음성인식부(30), 통신부(40), 스피커(50) 등을 포함한다.
디스플레이부(10)는 사용자 단말기(200)에서 재생되는 인지 개선용 가상현실 영상을 표시한다.
시선 추적부(20)는 안구의 움직임을 감지하는 안구센서나 안구 주변에 설치된 카메라를 통해 안구의 움직임을 감지할 수 있다.
시선 추적부(20)는 안구센서나 카메라를 통해 동공 크기, 반사점, 특징점 등 눈 관련 정보를 획득하여 안구의 움직임을 감지하고 안구의 움직임에 근거하여 대상자의 시선이 가리키는 위치를 나타내는 시선 응시 좌표를 산출할 수 있다.
여기서, 시선 응시 좌표는 대상자에게 표시되는 가상현실 영상의 좌표계에서 대상자의 시선이 가리키는 위치에 대응하는 좌표가 된다.
음성인식부(30)는 마이크를 통해 대상자의 음성을 수집하고 마이크에서 출력된 전기신호에서 노이즈를 제거한다.
본 발명의 실시예에 따른 음성인식부(30)는 음성인식의 전처리 과정을 수행하며, 음성신호의 특징 추출 및 음성모델 비교에 의한 실제적인 음성인식은 사용자 단말기(200)를 통해 수행될 수 있다.
통신부(40)는 사용자 단말기(200)로부터 가상현실 영상을 수신하여 디스플레이부(10)에 전달하거나, 사용자 단말기(200)로 착용자의 시선추적 정보와 음성신호를 전송한다.
본 발명의 실시예에 따른 통신부(40)는 블루투스, Wi-Fi 등의 근거리 무선통신 모듈이나 유선통신 모듈로 구성될 수 있다.
스피커(50)는 가상현실 영상에 포함된 사운드와 가상현실 영상에 동기화된 질문 음성 메시지를 출력한다. 스피커(50)는 두부 착용 디스플레이(100)의 형태에 따라 헤드폰이나 이어폰의 형태로 구현될 수 있다.
도 3은 본 발명에 따른 가상현실을 이용한 인지 개선 방법의 순서도를 나타낸 것이다.
도 3에 도시된 각 과정은 도 5 내지 도 11에 도시된 화면을 참조하면서 상세히 설명하기로 한다.
인지 개선 관리사는 사용자 단말기(200)에서 인지 개선용 프로그램을 실행하기 전에 먼저 대상자의 상태정보를 기록한다(S10).
도 5에 도시된 바와 같이, 인지 개선 관리사는 사용자 단말기(200)에 표시된 대상자 상태정보 기록 화면에서 대상자의 인지상태 및 오감상태를 체크한다. 인지 개선 관리사는 대상자 상태정보 기록 화면에 표시된 인지상태 체크 부분의 질문과 오감체크 부분의 질문을 대상자에게 하여 응답 결과를 기록한다.
다음, 인지 개선 관리사는 인지 개선용 VR 영상을 실행한다(S20).
도 6에 도시된 바와 같이, 인지 개선용 프로그램이 실행되면 인지 개선용 가상현실 영상(1)이 재생된다. 본 발명의 실시예에서는 가상현실 영상이 재생되나 이에 한정되는 것은 아니며 증강현실 영상, 혼합현실 영상 등 다양한 실감 콘텐츠가 재생될 수 있다.
사용자 단말기(200)에 재생된 가상현실 영상은 두부 착용 디스플레이(100)로 전송되어 표시되고, 가상현실 영상의 좌측에 표시된 질문(2)은 가상현실 영상에 동기화되어 두부 착용 디스플레이(100)에서 질문 음성 메시지로 출력된다.
도 4를 참조하여, 사용자 단말기(200)에서 인지 개선용 가상현실 영상이 재생될 때 대상자에게 제시된 질문에 대한 답변과 반응이 어떻게 자동으로 기록되는지에 대해서 상세히 설명한다.
인지 개선용 VR 영상이 실행된(S20) 이후에 사용자 단말기(200)에서는 가상현실 영상에 동기화된 질문이 출력되는지 확인한다(S31).
대상자에게 질문이 출력된 후에 사용자 단말기(200)는 두부 착용 디스플레이(100)로부터 수신되는 시선추적 정보를 처리하여(S33), 가상현실 영상에서 대상자의 시선이 가리키는 위치에 대응하는 객체를 추출한다.
즉, 사용자 단말기(200)는 안구의 움직임을 포함하는 시선추적 정보에 근거하여 대상자의 시선이 가리키는 위치를 나타내는 시선 응시 좌표를 산출하고, 산출한 좌표에 대응하는 객체를 추출하게 된다.
도 6에 도시된 가상현실 영상(1)에서 질문 1이 출력된 이후 도면 부호 4가 가리키는 곳이 대상자의 눈이 멈춰 있는 부분이 될 수 있다.
동시에 사용자 단말기(200)는 두부 착용 디스플레이(100)로부터 음성신호를 수신하여 분석한다(S35).
사용자 단말기(200)는 음성신호로부터 특징을 추출하고 추출한 특징을 음성 모델과 비교하는 음성인식 과정을 통해 단어나 문장을 추출하게 된다.
또한, 본 발명의 실시예에서는 사용자 단말기(200)가 두부 착용 디스플레이(100)로부터 수신한 음성신호를 네트워크를 통해 음성인식 서버로 전송하여 음성인식 서버로부터 음성인식된 단어나 문장을 수신할 수도 있다.
이와 같이, 사용자 단말기(200)가 질문 1이 출력된 이후 시선추적 정보와 음성신호를 수신하여 처리 및 분석하게 되면, 대상자의 시선이 가리키는 객체와 대상자가 말한 단어나 문장을 추출할 수 있고, 그 추출한 객체와 단어나 문장은 질문 1의 답변 필드(3)에 자동으로 기입된다(S39).
이러한 방식으로 질문 2 내지 질문 7에 대해서도 동일한 과정이 수행되어, 모든 질문의 답변 필드에 코멘트(대상자의 시선이 가리키는 객체, 대답 내용)가 자동으로 기록될 수 있다(S30).
인지 개선을 위한 가상현실 영상이 종료되면, 인지 개선 관리사는 대상자의 연계 활동을 위한 영상을 실행한다(S40).
도 7에 도시된 바와 같이, 연계 활동으로는 종이접기, 노래 부르기(음악활동), 그림 그리기(미술치료) 등이 있으며 이러한 활동을 위해 대상자에게 관련된 영상을 보여 주게 된다. 연계 활동을 위한 영상 콘텐츠는 동영상뿐만 아니라 사진도 될 수 있다.
인지 개선 관리사가 대상자와 함께 종이접기, 노래부르기 등의 연계활동을 한 후에, 인지 개선 관리사는 도 8에 도시된 바와 같이, 대상자의 활동 내용과 반응을 기록한다(S50).
연계 활동이 완료되면, 인지 개선 관리사는 대상자의 심리 안정을 위한 두 번째 가상현실 영상을 실행한다(S60).
도 9와 같이, 사용자 단말기(200)에서 심리 안정을 위한 가상현실 영상이 재생되면 두부 착용 디스플레이(100)에도 동일하게 가상현실 영상이 전송되어 표시된다. 마찬가지로 심리 안정을 위한 콘텐츠로는 가상현실 영상뿐만 아니라 증강현실이나 혼합현실 영상 등 다양한 영상이 사용될 수 있다.
대상자가 심리 안정을 위한 가상현실 영상에 대한 시청을 완료하면, 도 10과 같이 전체 인지 개선 프로그램은 종료된다.
도 9에 도시된 종료 화면에서 인지 개선 관리사가 결과보기를 누르게 되면, 도 11과 같이 대상자의 상태정보에 근거한 대상자의 인지 및 오감 평가 내용, 대상자의 답변 내용 및 대상자의 활동 내용을 포함하는 인지 개선 활동 결과 보고서 화면이 출력된다.
이상의 설명은 본 발명을 예시적으로 설명한 것에 불과하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술적 사상에서 벗어나지 않는 범위에서 다양한 변형이 가능할 것이다.
따라서 본 발명의 명세서에 개시된 실시 예들은 본 발명을 한정하는 것이 아니다. 본 발명의 범위는 아래의 특허청구범위에 의해 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술도 본 발명의 범위에 포함되는 것으로 해석해야 할 것이다.
10: 디스플레이부 20: 시선 추적부
30: 음성 인식부 40: 통신부
50: 스피커 100: 두부 착용 디스플레이
200: 사용자 단말기

Claims (8)

  1. 삭제
  2. 삭제
  3. 실감 콘텐츠를 이용한 인지 개선 장치의 사용자 단말기에서 대상자에 대한 관찰 정보를 기록하는 방법에 있어서,
    인지 개선을 위한 컨텐츠를 재생하면서 대상자의 머리에 장착되는 두부 착용 디스플레이로 가상현실 영상을 전송하는 단계와,
    상기 콘텐츠가 재생되는 동안 상기 가상현실 영상에 동기화되어 가상현실 영상을 보는 대상자의 감정이나 생각 또는 추억을 묻는 복수의 질문 음성 메시지가 일정한 간격을 두고 순차적으로 출력되는 단계와,
    각 질문 음성 메시지가 출력될 때마다 일정 시간 내에 상기 두부 착용 디스플레이로부터 시선 추적정보가 수신되면 시선 추적정보를 처리하여 상기 가상현실 영상에서 대상자의 시선이 가리키는 위치에 대응하는 객체를 추출하는 단계와,
    각 질문 음성 메시지가 출력될 때마다 일정 시간 내에 상기 두부 착용 디스플레이로부터 음성신호가 수신되면 상기 음성신호를 분석하여 음성인식된 단어나 문장을 추출하는 단계와,
    각 질문 음성 메시지에 대응하는 답변 필드에 상기 추출한 객체정보 및 상기 추출한 단어나 문장이 순차적으로 자동 기입되는 단계와,
    상기 추출한 객체정보 및 상기 추출한 단어나 문장이 기입된 답변 필드에 대상자에 대한 추가 관찰 내용이 입력장치를 통해 기입되는 단계를 포함하는 방법.
  4. 삭제
  5. 삭제
  6. 실감 콘텐츠를 이용한 인지 개선 장치에서 대상자의 인지를 개선하는 방법에 있어서,
    대상자에게 질문하여 받은 답변에 근거해 대상자의 지남력, 주의 집중력, 언어능력, 계산능력 및 사고능력을 평가한 인지상태 정보를 입력받아 기록하는 단계와,
    대상자의 인지 개선을 위한 제1 콘텐츠를 재생하는 단계와,
    상기 제1 콘텐츠가 재생되는 동안 상기 제1 콘텐츠의 가상현실 영상에 동기화되어 가상현실 영상을 보는 대상자의 감정이나 생각 또는 추억을 묻는 복수의 질문 음성 메시지를 일정한 간격을 두고 순차적으로 출력하는 단계와,
    각 질문 음성 메시지가 출력될 때마다 일정 시간 내에 두부 착용 디스플레이로부터 시선 추적정보가 수신되면 시선 추적정보를 처리하여 상기 콘텐츠에서 대상자의 시선이 가리키는 위치에 대응하는 객체를 추출하고, 각 질문 음성 메시지가 출력될 때마다 일정 시간 내에 두부 착용 디스플레이로부터 음성신호가 수신되면 상기 음성신호를 분석하여 음성 인식된 단어나 문장을 추출하여, 각 질문 음성 메시지에 반응하여 대상자의 시선이 가리키는 객체정보 및 대상자의 답변 내용을 순차적으로 자동 기록하는 단계와,
    대상자의 활동을 위한 제2 콘텐츠를 재생하는 단계와,
    상기 제2 콘텐츠에 반응한 대상자의 활동 내용을 입력받아 기록하는 단계를 포함하는 방법.
  7. 제6항에 있어서,
    대상자의 심리 안정을 위한 제3 콘텐츠를 재생하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  8. 제7항에 있어서,
    대상자의 상태정보에 근거한 대상자의 인지 및 오감 평가 내용, 대상자의 답변 내용 및 대상자의 활동 내용을 포함하는 인지 개선 활동 결과 보고서를 출력하는 단계를 더 포함하는 것을 특징으로 하는 방법.
KR1020190155919A 2019-11-28 2019-11-28 가상현실을 이용한 인지 개선 장치 및 방법 KR102122021B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190155919A KR102122021B1 (ko) 2019-11-28 2019-11-28 가상현실을 이용한 인지 개선 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190155919A KR102122021B1 (ko) 2019-11-28 2019-11-28 가상현실을 이용한 인지 개선 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102122021B1 true KR102122021B1 (ko) 2020-06-26

Family

ID=71136395

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190155919A KR102122021B1 (ko) 2019-11-28 2019-11-28 가상현실을 이용한 인지 개선 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102122021B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102501989B1 (ko) * 2022-08-11 2023-02-23 주식회사 하이 일상 과업 수행 지원을 위한 스크립트 생성 방법 및 장치
KR20230091235A (ko) * 2021-12-15 2023-06-23 주식회사 메디마인드 가상현실 기반의 정신적 생활약자의 감성 지능 훈련을 제공하는 방법 및 이를 이용한 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160099140A (ko) * 2015-02-11 2016-08-22 울산과학기술원 치매의 자가 조기 진단 및 훈련을 위한 안구 운동 및 지각 기능 기반 가상현실 시스템
KR101743230B1 (ko) * 2016-04-18 2017-06-05 (주)케이디엠티 가상현실 및 음성인식 기반의 실감 어학학습 콘텐츠 제공 장치 및 방법
KR20170124978A (ko) 2017-09-20 2017-11-13 이연화 경도인지장애 노인의 인지능력 향상을 위한 가상현실 콘텐츠 제공장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160099140A (ko) * 2015-02-11 2016-08-22 울산과학기술원 치매의 자가 조기 진단 및 훈련을 위한 안구 운동 및 지각 기능 기반 가상현실 시스템
KR101743230B1 (ko) * 2016-04-18 2017-06-05 (주)케이디엠티 가상현실 및 음성인식 기반의 실감 어학학습 콘텐츠 제공 장치 및 방법
KR20170124978A (ko) 2017-09-20 2017-11-13 이연화 경도인지장애 노인의 인지능력 향상을 위한 가상현실 콘텐츠 제공장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230091235A (ko) * 2021-12-15 2023-06-23 주식회사 메디마인드 가상현실 기반의 정신적 생활약자의 감성 지능 훈련을 제공하는 방법 및 이를 이용한 장치
KR102648225B1 (ko) * 2021-12-15 2024-03-18 주식회사 메디마인드 가상현실 기반의 정신적 생활약자의 감성 지능 훈련을 제공하는 방법 및 이를 이용한 장치
KR102501989B1 (ko) * 2022-08-11 2023-02-23 주식회사 하이 일상 과업 수행 지원을 위한 스크립트 생성 방법 및 장치

Similar Documents

Publication Publication Date Title
US11798431B2 (en) Public speaking trainer with 3-D simulation and real-time feedback
US20210267516A1 (en) Methods of Enhancing Performance on a Cognitive Task by Improved Self-Regulation of Internal Distraction and Computer Readable Medium and Devices for Practicing the Same
Mower et al. Rachel: Design of an emotionally targeted interactive agent for children with autism
Massaro et al. Using visible speech to train perception and production of speech for individuals with hearing loss
Damian et al. Augmenting social interactions: Realtime behavioural feedback using social signal processing techniques
US20190240842A1 (en) Robot assisted interaction system and method thereof
WO2018174088A1 (ja) コミュニケーション解析装置およびそれに使用される測定・フィードバック装置、インタラクション装置
Guellaï et al. Newborns’ sensitivity to the visual aspects of infant-directed speech: Evidence from point-line displays of talking faces.
US20200184843A1 (en) Information processing apparatus, information processing method, and computer program
KR102122021B1 (ko) 가상현실을 이용한 인지 개선 장치 및 방법
Cano et al. Towards a methodology for user experience assessment of serious games with children with cochlear implants
JP7066115B2 (ja) パブリックスピーキング支援装置、及びプログラム
KR20190093953A (ko) 인지기능 저하 고령자 및 장애인의 인지능력 향상 및 정서적 안정을 지원하는 서비스 플랫폼
Salanger et al. Applying virtual reality to audiovisual speech perception tasks in children
Herbelin Virtual reality exposure therapy for social phobia
CN110742404A (zh) 一种学生学习保护视力的装置和方法
Al-Azani et al. A comprehensive literature review on children’s databases for machine learning applications
TW201913546A (zh) 心理與行為狀態評量暨診斷方法及系統
JP7130290B2 (ja) 情報抽出装置
Artiran et al. Measuring social modulation of gaze in autism spectrum condition with virtual reality interviews
KR102325506B1 (ko) 가상현실 기반의 의사소통 개선 시스템 및 방법
Zhu et al. An investigation into the effectiveness of using acoustic touch to assist people who are blind
US20170124892A1 (en) Dr. daneshvar's language learning program and methods
Gorman A framework for speechreading acquisition tools
Mehigan et al. Modelling an holistic artificial intelligent education model for optimal learner engagement and inclusion

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant