KR102190901B1 - 가상현실을 이용한 발표 훈련 시스템 - Google Patents

가상현실을 이용한 발표 훈련 시스템 Download PDF

Info

Publication number
KR102190901B1
KR102190901B1 KR1020190012651A KR20190012651A KR102190901B1 KR 102190901 B1 KR102190901 B1 KR 102190901B1 KR 1020190012651 A KR1020190012651 A KR 1020190012651A KR 20190012651 A KR20190012651 A KR 20190012651A KR 102190901 B1 KR102190901 B1 KR 102190901B1
Authority
KR
South Korea
Prior art keywords
voice
presentation
heart rate
information
virtual reality
Prior art date
Application number
KR1020190012651A
Other languages
English (en)
Other versions
KR20200095052A (ko
Inventor
주영복
문경욱
김용규
이상욱
Original Assignee
한국기술교육대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국기술교육대학교 산학협력단 filed Critical 한국기술교육대학교 산학협력단
Priority to KR1020190012651A priority Critical patent/KR102190901B1/ko
Publication of KR20200095052A publication Critical patent/KR20200095052A/ko
Application granted granted Critical
Publication of KR102190901B1 publication Critical patent/KR102190901B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/04—Speaking
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Business, Economics & Management (AREA)
  • Cardiology (AREA)
  • Educational Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Physics & Mathematics (AREA)
  • Psychiatry (AREA)
  • Veterinary Medicine (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Hospice & Palliative Care (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Social Psychology (AREA)
  • Physiology (AREA)
  • Psychology (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)

Abstract

본 발명의 일 실시예에 따른 가상현실을 이용한 발표 훈련 시스템은 발표자가 착용할 수 있도록 마련되며, 발표 환경에 맞도록 가상현실 화면을 디스플레이하는 VR기기; 상기 발표자의 음성을 입력받는 음성입력수단; 상기 발표자의 심박수를 측정하는 심박감지수단; 상기 VR기기를 통하여 발표자가 발표 훈련시 가상현실 화면을 제공하고, 상기 음성입력수단으로부터 음성을 수신하여 음성변환엔진에 제공하고, 상기 심박감지수단으로부터 심박수를 수신하며, 수신된 심박수 및 상기 음성변환엔진으로부터 수신한 텍스트변환정보를 토대로 기설정된 설정값과 비교하여 발표자의 긴장상태를 판단하고, 상기 VR기기를 통하여 주기적으로 긴장상태를 알려주며, 발표 완료 후 평가정보를 생성하여 제공하는 중계기; 상기 중계기로부터 상기 음성을 수신하여 해당 음성의 텍스트변환정보를 생성 후 상기 중계기에 전송하는 음성변환엔진을 포함할 수 있다.

Description

가상현실을 이용한 발표 훈련 시스템{PRESENTATION TRAINING SYSTEM USING VIRTUAL REALITY}
본 발명은 면접, 오디션, 발표 등과 같은 말하기 상황을 연습할 수 있도록 실제 공간과 흡사한 가상공간을 생성하고, 다양한 말하기 상황별로 말하는 능력을 향상시킬 수 있도록 훈련하는 가상현실을 이용한 발표 훈련 시스템에 관한 것이다.
사회공포증, 무대공포증, 대인기피증, 공황장애 등 불안장애는 현대인에게 크고 작은 이슈가 되고 있다. 이에 대한 가장 효과적인 처방은 지속적 노출 치료와 인지적 행동치료다. 전자는 상황에 지속적으로, 반복적으로 노출시켜 불안을 감소시키는 방법이며, 후자는 일련의 반복된 설득과 구체적 피드백의 과정을 부여하는 것이다.
즉, 많은 사람들 앞에서 발표하는 경험을 많이 가지고, 도움이 되는 피드백을 지속적으로 받으면 되는 것이지만 많은 사람 앞에 서는 경험을 자신이 원할 때 할 수 있는 사람은 많지 않고, 구체적이고 체계적인 피드백을 받으려면 비싼 수강료를 내고 전문 학원에 등록하여야 한다.
또한 많은 사람들이 면접이나 발표를 할 때 긴장을 하여 본인의 실력을 제대로 발휘하지 못하는 경우가 있다. 그 이유는 여러 가지가 있을 거지만 대다수는 경험 부족에서 오는 것이다. 학교를 다니면서 발표를 할 기회는 일부에게만 주어지고, 면접에 대한 기회도 여러 가지 시험을 통과해야만 볼 수 있기 때문에 사람들이 발표와 면접에 대한 경험이 절대적으로 부족할 수밖에 없다.
따라서, VR(Vitual Reality, 가상현실)기기의 가상현실에 의한 훈련을 통해 현실감있게 발표와 면접을 경험하게 하여 사람들이 발표와 면접에 익숙해져 긴장을 완화시킬 수 있도록 가상현실을 이용한 발표 훈련 시스템을 개발할 필요성이 있다
대한민국 공개 특허 제10-2008-0039805호(2008.05.07. 공개)
본 발명의 목적은 발표 환경에 맞는 다양한 가상현실 화면을 VR기기를 통하여 제공하고, 가상현실 화면을 통하여 발표 훈련 도중, 긴장상태를 체크할 수 있으며, 발표 완료 후 발표에 대한 평가정보를 제공받을 수 있는 가상현실을 이용한 발표 훈련 시스템을 제공하는 것이다.
본 발명의 일 실시예에 따른 가상현실을 이용한 발표 훈련 시스템은, 발표자가 착용할 수 있도록 마련되며, 발표 환경에 맞도록 가상현실 화면을 디스플레이하는 VR기기;상기 발표자의 음성을 입력받는 음성입력수단; 상기 발표자의 심박수를 측정하는 심박감지수단; 상기 VR기기를 통하여 발표자가 발표 훈련시 가상현실 화면을 제공하고, 상기 음성입력수단으로부터 음성을 수신하여 음성변환엔진에 제공하고, 상기 심박감지수단으로부터 심박수를 수신하며, 수신된 심박수 및 상기 음성변환엔진으로부터 수신한 텍스트변환정보를 토대로 기설정된 설정값과 비교하여 발표자의 긴장상태를 판단하고, 상기 VR기기를 통하여 주기적으로 긴장상태를 알려주며, 발표 완료 후 평가정보를 생성하여 제공하는 상기 중계기 및 상기 중계기로부터 상기 음성을 수신하여 해당 음성의 텍스트변환정보를 생성 후 상기 중계기에 전송하는 음성변환엔진을 포함한다.
상기에 있어서, 수신한 음성의 크기를 측정하고 음성크기값을 상기 중계기로 전송하는 데시벨측정수단;을 더 포함한다.
상기에 있어서, 상기 중계기는 상기 발표자의 발표 내용, 발표 형식 또는 질문형태를 포함하는 발표정보를 DB화하고, 발표장소, 면접관규모, 청중규모, 면접관 또는 청중에 대한 화상 데이터 및 상황별반응정보를 포함하는 배경정보를 DB화하여 관리하며, 상기 VR기기에서 상기 발표정보 및 배경정보를 기반으로 상기 가상현실 화면을 상기 발표자에게 제공할 수 있도록 하는 발표관리부; 상기 수신된 심박수 및 상기 음성변환엔진으로부터 수신한 텍스트변환정보를 토대로 기설정된 설정값과 비교하여 발표자의 긴장상태를 판단하고, 상기 VR기기를 통하여 주기적으로 긴장상태를 팝업 화면 또는 소리 형태로 알려주는 긴장감판단부; 상기 음성크기값을 토대로 기설정된 목소리기준값과 비교하여 발표에 적합한 목소리인지 판단하는 음성판단부;
상기 VR기기에서 연동할 수 있는 발표 훈련 프로그램을 제공하며, 상기 발표 훈련 프로그램과 연동하여 상기 발표정보를 전송하는 앱연동부; 상기 음성입력수단, 상기 심박감지수단 또는 상기 데시벨측정수단과 연결되어, 상기 심박수 또는 상기 음성크기값을 수신하는 센싱부; 상기 VR기기로 상기 발표 훈련 프로그램을 통하여 가상현실 화면을 제공하며, 상기 음성변환엔진으로 상기 발표자의 음성을 전송하고 해당 음성에 대한 텍스트변환정보를 수신하는 통신부; 상기 발표 훈련 프로그램을 통하여 상기 발표자가 발표에 필요한 환경설정을 위한 인터페이스를 제공하는 UI제공부; 상기 발표자의 발표 후 발표 도중에 주기적으로 제공된 발표자의 상기 심박수, 상기 텍스트변환정보 및 상기 음성크기값을 토대로 해당 발표자에 대한 상기 평가정보를 생성하는 평가생성부를 더 포함한다.
상기에 있어서, 상기 발표관리부는 상기 텍스트변환정보의 텍스트 변환 속도를 토대로 말 빠르기 정도에 따라 빠르기기준값을 설정하고, 빠르기기준값을 이용하여 긴장상태를 판단하는 것을 특징으로 한다.
상기에 있어서, 상기 발표관리부는 상기 발표자가 발표 훈련 중 상기 심박수, 상기 텍스트변환정보 및 상기 음성크기값을 주기적으로 제공받고, 상기 긴장감판단부의 긴장상태 판단 결과 또는 상기 음성판단부의 판단 결과에 따라 상기 배경정보에 포함되는 상황별반응정보를 이용하여 상기 VR기기를 통하여 제공되는 상기 가상현실 화면에 변화된 이펙트를 제공하는 것을 특징으로 한다.
본 발명의 가상현실을 이용한 발표 훈련 시스템은 가상현실 화면을 발표 상황에 맞게 다양하게 제공하고, 발표 훈련에 대한 피드백으로서 음성의 크기, 심박수, 말 빠르기 등을 토대로 생성된 평가정보를 제공받아 지속적이고 체계적인 훈련이 이루어지도록 하는 장점이 있다.
또한, 심박감지수단으로 심박수를 측정하여 긴장상태를 판단하고, 발표 도중 주기적으로 긴장상태를 발표자가 체크함으로써, 발표 훈련을 보조할 수 있으며, 비교적 저렴한 심박감지수단을 이용하여 값싼 비용으로 누구나 발표 훈련을 수행할 수 있는 장점이 있다.
도 1은 본 발명의 일 실시예에 따른 가상현실을 이용한 발표 훈련 시스템의 전체 구성을 나타낸 블록도이다.
도 2는 도 1의 중계기의 상세 구성을 나타낸 블록도이다.
도 3은 본 발명의 일 실시예에 따른 가상현실을 이용한 발표 훈련 방법을 나타낸 순서도이다.
이하에서는 도면을 참조하여 본 발명의 구체적인 실시예를 상세하게 설명한다. 다만, 본 발명의 사상은 제시되는 실시예에 제한되지 아니하고, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에서 다른 구성요소를 추가, 변경, 삭제 등을 통하여, 퇴보적인 다른 발명이나 본 발명 사상의 범위 내에 포함되는 다른 실시예를 용이하게 제안할 수 있을 것이나, 이 또한 본원 발명 사상 범위 내에 포함된다고 할 것이다.
또한, 각 실시예의 도면에 나타나는 동일한 사상의 범위 내의 기능이 동일한 구성요소는 동일한 참조부호를 사용하여 설명한다.
도 1은 본 발명의 일 실시예에 따른 가상현실을 이용한 발표 훈련 시스템의 전체 구성을 나타낸 블록도이며, 도 2는 도 1의 중계기의 상세 구성을 나타낸 블록도이다.
도 1 내지 도 2를 참조하여 상세하게 설명하면, 본 발명의 가상현실을 이용한 발표 훈련 시스템은 VR기기(100), 중계기(200), 음성변환엔진(300), 음성입력수단(400), 심박감지수단(500), 데시벨측정수단(600)을 포함한다.
VR기기(100)는 중계기(200)와 연결되어, 발표자가 발표 훈련을 하기 위한 가상현실 화면을 제공한다.
여기서 발표 훈련에는 프레젠테이션, 면접, 오디션 및 각종 분야의 발표 등을 훈련하는 것을 포함할 수 있다.
VR기기(100)로는 예컨대 헤드마운트 디스플레이(HMD), 구글 카드보드(cardboard) 등이 될 수 있다. 카드보드를 사용하는 경우 스마트 폰, 패블릿(phablet) 폰 등이 카드보드에 결합되어 가상현실 화면을 발표자가 제공받을 수 있다.
나아가 VR기기(100)는 발표자가 발표시간, 발표속도를 입력하여 설정할 수 있는 타이머설정부를 더 포함할 수 있다. 발표자는 타이머설정부를 이용하여 원하는 발표시간 및 발표속도로 훈련을 수행할 수 있다.
중계기(200)는 연결된 VR기기(100)에 발표 환경에 맞는 가상현실 화면을 제공하기 위해 다양한 상황의 화상 데이터를 포함하는 배경정보를 DB화하여 저장하고, VR기기(100)의 요청시 VR기기(100)에 제공할 수 있다.
또한 중계기(200)는 음성입력수단(400) 및 심박감지수단(500)과도 연결될 수 있으며, 음성입력수단(400)으로부터 발표자의 음성을 수신하고, 심박감지수단(500)으로부터 발표자의 심박수를 수신할 수 있다.
또한 중계기(200)는 발표자의 음성을 유무선 네트워크 상에 연결된 음성변환엔진(300)에 전송하고, 음성변환엔진(300)으로부터 해당 음성이 변환된 텍스트변환정보를 수신하며, 수신된 심박수 및 음성변환엔진(300)으로부터 수신한 텍스트변환정보를 토대로 기설정된 설정값과 비교하여 발표자의 긴장상태를 판단할 수 있다.
또한 중계기(200)는 VR기기(100)를 통하여 주기적으로 긴장상태를 알려주며, 발표 완료 후 평가정보를 생성하여 제공하는 역할을 수행한다.
또한 중계기(200)는 데시벨측정수단(600)으로부터 발표자의 음성크기값을 수신하여 기설정된 목소리기준값과 비교하여 발표에 적합한 목소리인지 판단하고, 전술한 평가정보에 반영할 수 있다.
이와 같이 중계기(200)는 VR기기(100), 음성입력수단, 심박감지수단 및 데시벨측정수단과 접속단자 등을 통하여 유선으로 연결되거나 무선 통신으로 연결될 수 있고, 음성변환엔진과 네트워크 통신할 수 있는 셋톱박스와 같은 역할을 수행할 수 있다.
음성변환엔진(300)은 중계기(200)로부터 발표자의 음성을 주기적으로 수신하여 해당 음성의 텍스트변환정보를 생성 후 중계기(200)에 전송할 수 있다. 음성변환엔진(300)은 예컨대 IBM 왓슨(Watson) 등이 활용될 수 있다.
여기서 텍스트변환정보에는 변환된 텍스트 내용, 텍스트 변환 속도, 분당 단어 개수 등이 포함될 수 있다.
음성입력수단(400)은 발표자의 음성을 수신하기 위한 수단으로 예컨대 마이크 등이 될 수 있다.
심박감지수단(500)은 발표자의 심박수를 측정하기 위한 수단으로 예컨대, 손가락에 끼울 수 있는 클립형 심박측정기 등이 될 수 있다.
또한 심박감지수단(500)에서 측정된 심박수를 중계기(200)로 전송하기 위해 아두이노(Arduino)와 같은 마이크로컨트롤러가 중계기(200) 및 심박감지수단(500)에 내장될 수 있다. 이때 심박감지수단(500)의 마이크로컨트롤러에 내장된 블루투스와 같은 무선 통신을 이용하고 해당 통신에 대응하는 무선 통신할 수 있는 중계기(200)의 통신부(210)로 심박수가 전송될 수 있다.
데시벨측정수단(600)은 중계기(200)와 연결되어 발표자의 수신한 음성의 크기를 측정하고 음성크기값을 중계기(200)로 전송할 수 있다. 데시벨측정수단(600)으로는 예컨대 마이크가 내장된 소음측정기 등이 될 수 있다. 데시벨측정수단(600) 또한 마이크로컨트롤러를 통하여 중계기(200)에 음성크기값이 전송될 수도 있다.
중계기(200)는 도 2에 도시된 바와 같이 통신부(210), 음성판단부(220), 긴장감판단부(230), 발표관리부(240), 평가생성부(250), UI제공부(260), 센싱부(270), 앱연동부(280) 발표정보 DB(291), 평가정보 DB(292), 개인정보 DB(293) 및 배경정보 DB(294)를 더 포함한다.
발표관리부(240)는 발표자의 발표 내용, 발표 형식 또는 질문형태를 포함하는 발표정보를 DB화하고, 발표장소, 면접관규모, 청중규모, 면접관 또는 청중에 대한 화상 데이터 및 상황별반응정보를 포함하는 배경정보를 DB화하여 관리하며, VR기기(100)에서 발표정보 및 배경정보를 기반으로 가상현실 화면을 발표자에게 제공할 수 있다.
또한 발표관리부(240)는 텍스트변환정보의 텍스트 변환 속도를 토대로 말 빠르기 정도에 따라 빠르기기준값을 설정하고, 빠르기기준값을 이용하여 긴장상태를 판단할 수 있다.
또한 발표관리부(240)는 발표자가 발표 훈련 중 심박수, 텍스트변환정보 및 음성크기값을 주기적으로 제공받고, 긴장감판단부(230)의 긴장상태 판단 결과 또는 음성판단부(220)의 판단 결과에 따라 배경정보에 포함되는 상황별반응정보를 이용하여 VR기기(100)를 통하여 제공되는 가상현실 화면에 변화된 이펙트를 제공한다.
즉 상황별반응정보에는 미리 발표 상황을 고려하여 다양한 액션이 이루어지도록 설정된 화상데이터를 포함할 수 있다. 이를테면, 발표자 긴장상태에 있거나 음성이 작은 경우에는 면접관이나 청중이 딴 짓을 하게하고, 발표자의 긴장상태가 적고, 음성이 발표에 적합하다고 판단되는 경우, 고개를 끄덕이거나 메모를 하는 등 집중하는 모습을 보일 수 있게 한다. 또한 발표 완료 시 생성된 평가정보에 따라 평가가 높은 경우 박수와 환호를 하거나 평가가 낮은 경우 실망하는 모습 등을 연출할 수 있게 한다.
긴장감판단부(230)는 수신된 심박수 및 음성변환엔진(300)으로부터 수신한 텍스트변환정보를 토대로 기설정된 설정값과 비교하여 발표자의 긴장상태를 판단한다.
또한 긴장감판단부(230)는 판단 결과에 따라 VR기기(100)를 통하여 주기적으로 긴장상태를 팝업 화면 또는 소리 형태로 알려줄 수 있다.
음성판단부(220)는 음성크기값을 토대로 기설정된 목소리기준값과 비교하여 발표에 적합한 목소리인지 판단한다.
앱연동부(280)는 VR기기(100)에서 연동할 수 있는 발표 훈련 프로그램을 제공하며, 발표 훈련 프로그램과 연동하여 발표정보를 전송할 수 있다.
센싱부(270)는 음성입력수단(400), 심박감지수단(500) 또는 데시벨측정수단(600)과 연결되어, 심박수 또는 음성크기값을 수신할 수 있다.
통신부(210)는 VR기기(100)로 발표 훈련 프로그램을 통하여 가상현실 화면을 제공하며, 음성변환엔진(300)으로 발표자의 음성을 전송하고 해당 음성에 대한 텍스트변환정보를 수신한다.
UI제공부(260)는 발표 훈련 프로그램을 통하여 발표자가 발표에 필요한 환경설정을 위한 인터페이스를 제공한다. UI제공부(260)는 환경설정의 부가 옵션으로 음악듣기, 명상 기능을 제공하며, 발표자는 발표 전 음악듣기나 명상을 통하여 긴장상태를 완화시킬 수 있다.
평가생성부(250)는 발표자의 발표 후 발표 도중에 주기적으로 제공된 발표자의 심박수, 텍스트변환정보 및 음성크기값을 토대로 해당 발표자에 대한 평가정보를 생성하며, 생성된 평가정보를 발표가 완료된 후 VR기기(100)에 전송하여 발표자에게 제공할 수 있다.
평가정보는 개인별 평가 결과로서, 긴장상태 판단결과 및 음성판단부(220)의 목소리 판단 결과에 따라 평가수준을 달리할 수 있으며, 표나 그래프 등으로 정량적 분석 및 목소리 크기, 말 빠르기, 심박 수치에 대한 논평 등 정성적 분석이 포함될 수 있다. 또한 훈련을 거듭할수록 훈련일시 별로 평가 결과를 히스토리 형태로 제공할 수도 있다.
발표정보 DB(291)는 발표자의 발표 내용, 발표 형식 또는 질문형태를 포함하는 발표정보를 발표관리부(240)의 요청에 의해 DB화하고 요청시 제공할 수 있으며, 평가정보 DB(292)는 평가정보를 발표관리부(240)의 요청에 의해 DB화하고 요청시 제공할 수 있다.
개인정보 DB(293)는 개인별로 발표 훈련이 이루어지도록 개인정보를 제공받아 저장하고, 평가정보, 발표정보, 배경정보 등을 개인별로 제공할 수 있도록 한다.
배경정보 DB(294)는 발표장소, 면접관규모, 청중규모, 면접관 또는 청중에 대한 화상 데이터 및 상황별반응정보를 포함하는 배경정보를 DB화하여 관리한다.
도 3은 본 발명의 일 실시예에 따른 가상현실을 이용한 발표 훈련 방법을 나타낸 순서도이다.
먼저 발표자의 요청에 의해 VR기기(100)에서 발표 훈련 실시 여부를 판단한다(S300).
발표 훈련이 있는 경우, VR기기(100)는 중계기(200)와 연동하여 발표자의 요청에 의해 설정된 조건의 발표 상황에 맞는 가상현실 화면을 제공한다(S302).
중계기(200)는 발표자의 발표 훈련시 심박감지수단(500)으로부터 입력된 심박수, 음성입력수단(400)으로부터 입력된 음성을 제공받는다(S304).
중계기(200)는 음성을 음성변환엔진(300)에 전송하고, 음성변환엔진(300)으로부터 해당 음성의 텍스트변환정보를 수신한다(S306).
중계기(200)는 심박수 및 텍스트변환정보를 토대로 기설정된 설정값과 비교하여 발표자의 긴장상태를 판단한다(S308). 중계기(200)는 텍스트변환정보의 텍스트 변환 속도를 토대로 말 빠르기 정도에 따라 빠르기기준값을 설정하고, 빠르기기준값을 이용하여 긴장상태를 판단할 수 있다.
중계기(200)는 발표자의 긴장상태 판단 결과를 VR기기(100)를 통하여 주기적으로 알려줄 수 있다(S310).
중계기(200)는 발표자의 발표 완료 후, 발표 도중 제공된 발표자의 심박수, 텍스트변환정보 및 음성크기값을 토대로 해당 발표자에 대한 평가정보를 생성하여 VR기기(100)를 통하여 제공한다(S312).
나아가 중계기(200)는 데시벨측정수단(600)으로부터 음성크기값을 수신하고, 중계기(200)는 음성크기값을 토대로 기설정된 목소리기준값과 비교하여 발표에 적합한 목소리인지 판단할 수 있다.
또한 중계기(200)는 발표자의 발표 완료 후, 발표 도중에 제공된 발표자의 음성크기값을 토대로 해당 발표자에 대한 평가정보를 생성할 수도 있다.
100 : VR기기 200 : 중계기
210 : 통신부 220 : 음성판단부
230 : 긴장감판단부 240 : 발표관리부
250 : 평가생성부 260 : UI제공부
270 : 센싱부 280 : 앱연동부
291 : 발표정보 DB 292 : 평가정보 DB
293 : 개인정보 DB 294 : 배경정보 DB
300 : 음성변환엔진 400 : 음성입력수단
500 : 심박감지수단 600 : 데시벨측정수단

Claims (5)

  1. 발표자가 착용할 수 있도록 마련되며, 발표 환경에 맞도록 가상현실 화면을 디스플레이하는 VR기기;
    상기 발표자의 음성을 입력받는 음성입력수단;
    상기 발표자의 심박수를 측정하는 심박감지수단;
    상기 VR기기를 통하여 발표자가 발표 훈련시 가상현실 화면을 제공하고, 상기 음성입력수단으로부터 음성을 수신하여 음성변환엔진에 제공하고, 상기 심박감지수단으로부터 심박수를 수신하며, 수신된 심박수 및 상기 음성변환엔진으로부터 수신한 텍스트변환정보를 토대로 기설정된 설정값과 비교하여 발표자의 긴장상태를 판단하고, 상기 VR기기를 통하여 주기적으로 긴장상태를 알려주며, 발표 완료 후 평가정보를 생성하여 제공하는 중계기;
    상기 중계기로부터 상기 음성을 수신하여 해당 음성의 텍스트변환정보를 생성 후 상기 중계기에 전송하는 음성변환엔진; 및
    수신한 음성의 크기를 측정하고 음성크기값을 상기 중계기로 전송하는 데시벨측정수단을 포함하되,
    상기 중계기는
    상기 발표자의 발표 내용, 발표 형식 또는 질문형태를 포함하는 발표정보를 DB화하고, 발표장소, 면접관규모, 청중규모, 면접관 또는 청중에 대한 화상 데이터 및 상황별반응정보를 포함하는 배경정보를 DB화하여 관리하며, 상기 VR기기에서 상기 발표정보 및 배경정보를 기반으로 상기 가상현실 화면을 상기 발표자에게 제공할 수 있도록 하는 발표관리부;
    상기 수신된 심박수 및 상기 음성변환엔진으로부터 수신한 텍스트변환정보를 토대로 기설정된 설정값과 비교하여 발표자의 긴장상태를 판단하고, 상기 VR기기를 통하여 주기적으로 긴장상태를 팝업 화면 또는 소리 형태로 알려주는 긴장감판단부;
    상기 음성크기값을 토대로 기설정된 목소리기준값과 비교하여 발표에 적합한 목소리인지 판단하는 음성판단부;
    상기 VR기기에서 연동할 수 있는 발표 훈련 프로그램을 제공하며, 상기 발표 훈련 프로그램과 연동하여 상기 발표정보를 전송하는 앱연동부;
    상기 음성입력수단, 상기 심박감지수단 또는 상기 데시벨측정수단과 연결되어, 상기 심박수 또는 상기 음성크기값을 수신하는 센싱부;
    상기 VR기기로 상기 발표 훈련 프로그램을 통하여 가상현실 화면을 제공하며, 상기 음성변환엔진으로 상기 발표자의 음성을 전송하고 해당 음성에 대한 텍스트변환정보를 수신하는 통신부;
    상기 발표 훈련 프로그램을 통하여 상기 발표자가 발표에 필요한 환경설정을 위한 인터페이스를 제공하는 UI제공부; 및
    상기 발표자의 발표 후 발표 도중에 주기적으로 제공된 발표자의 상기 심박수, 상기 텍스트변환정보 및 상기 음성크기값을 토대로 해당 발표자에 대한 상기 평가정보를 생성하는 평가생성부를 더 포함하는 가상현실을 이용한 발표 훈련 시스템.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서, 상기 발표관리부는
    상기 텍스트변환정보의 텍스트 변환 속도를 토대로 말 빠르기 정도에 따라 빠르기기준값을 설정하고, 빠르기기준값을 이용하여 긴장상태를 판단하는 것을 특징으로 하는 가상현실을 이용한 발표 훈련 시스템.
  5. 제1항에 있어서, 상기 발표관리부는
    상기 발표자가 발표 훈련 중 상기 심박수, 상기 텍스트변환정보 및 상기 음성크기값을 주기적으로 제공받고,
    상기 긴장감판단부의 긴장상태 판단 결과 또는 상기 음성판단부의 판단 결과에 따라 상기 배경정보에 포함되는 상황별반응정보를 이용하여 상기 VR기기를 통하여 제공되는 상기 가상현실 화면에 변화된 이펙트를 제공하는 것을 특징으로 하는 가상현실을 이용한 발표 훈련 시스템.
KR1020190012651A 2019-01-31 2019-01-31 가상현실을 이용한 발표 훈련 시스템 KR102190901B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190012651A KR102190901B1 (ko) 2019-01-31 2019-01-31 가상현실을 이용한 발표 훈련 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190012651A KR102190901B1 (ko) 2019-01-31 2019-01-31 가상현실을 이용한 발표 훈련 시스템

Publications (2)

Publication Number Publication Date
KR20200095052A KR20200095052A (ko) 2020-08-10
KR102190901B1 true KR102190901B1 (ko) 2020-12-14

Family

ID=72049509

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190012651A KR102190901B1 (ko) 2019-01-31 2019-01-31 가상현실을 이용한 발표 훈련 시스템

Country Status (1)

Country Link
KR (1) KR102190901B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230101037A (ko) * 2021-12-29 2023-07-06 계명대학교 산학협력단 불안감소를 위한 자가치료 제공 시스템 및 자가치료 제공 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004212687A (ja) * 2002-12-26 2004-07-29 Hikari Arie コミュニケーション訓練装置
KR101759335B1 (ko) * 2016-10-05 2017-07-19 주식회사 지엔아이씨티 뇌파 측정을 이용한 발표 및 면접 훈련 시스템

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080039805A (ko) 2006-11-01 2008-05-07 강만희 뉴로 피드백 장치 및 방법
KR20160125599A (ko) * 2015-04-21 2016-11-01 한국과학기술원 감성 이벤트 추출 및 감성 스케치 검색 시스템
KR20160142648A (ko) * 2015-06-03 2016-12-13 주식회사 지엔아이씨티 가상현실을 통한 프리젠테이션 훈련 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004212687A (ja) * 2002-12-26 2004-07-29 Hikari Arie コミュニケーション訓練装置
KR101759335B1 (ko) * 2016-10-05 2017-07-19 주식회사 지엔아이씨티 뇌파 측정을 이용한 발표 및 면접 훈련 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230101037A (ko) * 2021-12-29 2023-07-06 계명대학교 산학협력단 불안감소를 위한 자가치료 제공 시스템 및 자가치료 제공 방법
KR102586772B1 (ko) 2021-12-29 2023-10-06 계명대학교 산학협력단 불안감소를 위한 콘텐츠 제공 시스템 및 콘텐츠 제공 방법

Also Published As

Publication number Publication date
KR20200095052A (ko) 2020-08-10

Similar Documents

Publication Publication Date Title
US11295626B2 (en) System for online automated exam proctoring
Prodi et al. Noise, age, and gender effects on speech intelligibility and sentence comprehension for 11-to 13-year-old children in real classrooms
Thompson et al. Audio-visual integration of emotional cues in song
US11069361B2 (en) System and method for validating natural language content using crowdsourced validation jobs
EP3570490A1 (en) Device and method for adaptively providing meeting
US20150206443A1 (en) Computing system with learning platform mechanism and method of operation thereof
US20140278506A1 (en) Automatically evaluating and providing feedback on verbal communications from a healthcare provider
CN106659435A (zh) 用于限定和执行听力测试的系统
US12052299B2 (en) System and method to improve video conferencing using presence metrics
KR101984991B1 (ko) 사용자 특성 기반의 청능 훈련 장치
CN110289015A (zh) 一种音频处理方法、装置、服务器、存储介质及系统
Ooster et al. Speech audiometry at home: automated listening tests via smart speakers with normal-hearing and hearing-impaired listeners
Grillo A nonrandomized trial for student teachers of an in-person and telepractice Global Voice Prevention and Therapy Model with Estill Voice Training assessed by the VoiceEvalU8 app
KR102190901B1 (ko) 가상현실을 이용한 발표 훈련 시스템
US20160111019A1 (en) Method and system for providing feedback of an audio conversation
JP7191269B1 (ja) 発声健康法促進装置、発声健康法促進方法、及び発声健康法促進プログラム
KR102011255B1 (ko) 수업 매칭 시스템 및 이에 의한 수업 매칭 방법
Feng et al. CoPracTter: Toward Integrating Personalized Practice Scenarios, Timely Feedback and Social Support into An Online Support Tool for Coping with Stuttering in China
JP6484980B2 (ja) 評価支援プログラム、評価支援方法及び評価支援装置
JP6285238B2 (ja) 作業交代支援サーバ、作業交代支援方法およびプログラム、並びに、割当時間決定サーバ、割当時間決定方法およびプログラム
JP2014182493A (ja) 議論支援プログラム、議論支援サーバ及び議論支援方法
Jiménez Influencing Factors in Speech Quality Assessment Using Crowdsourcing
Brasil et al. Voiceguard: Using mHealth Technology for Vocal Health Promotion.
JP7179209B1 (ja) 音声診断装置、音声診断方法、及び音声診断プログラム
KR20190023025A (ko) 정신 질환 고위험군 조기 개입 및 자가진단 장치 및 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant