KR20190048144A - 발표 및 면접 훈련을 위한 증강현실 시스템 - Google Patents
발표 및 면접 훈련을 위한 증강현실 시스템 Download PDFInfo
- Publication number
- KR20190048144A KR20190048144A KR1020170142712A KR20170142712A KR20190048144A KR 20190048144 A KR20190048144 A KR 20190048144A KR 1020170142712 A KR1020170142712 A KR 1020170142712A KR 20170142712 A KR20170142712 A KR 20170142712A KR 20190048144 A KR20190048144 A KR 20190048144A
- Authority
- KR
- South Korea
- Prior art keywords
- user
- presentation
- information
- interview
- gaze
- Prior art date
Links
- 238000012549 training Methods 0.000 title claims abstract description 80
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 38
- 238000012545 processing Methods 0.000 claims abstract description 54
- 238000004364 calculation method Methods 0.000 claims abstract description 17
- 210000005252 bulbus oculi Anatomy 0.000 claims abstract description 16
- 238000004458 analytical method Methods 0.000 claims abstract description 14
- 210000001508 eye Anatomy 0.000 claims abstract description 13
- 238000000034 method Methods 0.000 claims description 12
- 230000008451 emotion Effects 0.000 claims description 10
- 230000000007 visual effect Effects 0.000 claims description 9
- 230000008921 facial expression Effects 0.000 claims description 8
- 210000001747 pupil Anatomy 0.000 claims description 3
- 230000033001 locomotion Effects 0.000 description 24
- 210000003128 head Anatomy 0.000 description 22
- 238000011156 evaluation Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000004984 smart glass Substances 0.000 description 2
- 230000009897 systematic effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007115 recruitment Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
- G06F3/005—Input arrangements through a video camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
Abstract
본 발명은 발표 및 면접 훈련을 위한 증강현실 시스템에 관한 것으로서, 사용자가 착용하며, 상기 사용자에게 면접 또는 발표 훈련을 위한 가상 영상을 디스플레이하는 디스플레이부와, 상기 디스플레이부를 착용한 사용자의 양안을 각각 촬영하기 위한 안구 영상촬영부와, 상기 안구 영상촬영부에서 제공되는 상기 양안에 대한 영상들로부터 상기 사용자의 시선에 대한 정보를 산출하는 시선 정보산출부와, 상기 시선 정보산출부를 통해 감지된 시선에 대한 정보를 분석하고, 분석정보를 사용자에게 제공하는 데이터 처리부를 구비한다.
본 발명에 따른 발표 및 면접 훈련을 위한 증강현실 시스템은 발표나 면접 상황에 맞는 가상현실을 선택하여 해당 상황을 직접 시각적으로 보면서 발표 및 면접을 수행하되, 훈련을 수행하는 사용자의 안구를 촬영하여 제공되는 영상에 대한 주시하는 지점에 대한 정보를 보다 정확하게 획득할 수 있어 사용자의 상태 분석에 대한 신뢰도를 향상시킬 수 있는 장점이 있다.
본 발명에 따른 발표 및 면접 훈련을 위한 증강현실 시스템은 발표나 면접 상황에 맞는 가상현실을 선택하여 해당 상황을 직접 시각적으로 보면서 발표 및 면접을 수행하되, 훈련을 수행하는 사용자의 안구를 촬영하여 제공되는 영상에 대한 주시하는 지점에 대한 정보를 보다 정확하게 획득할 수 있어 사용자의 상태 분석에 대한 신뢰도를 향상시킬 수 있는 장점이 있다.
Description
본 발명은 발표 및 면접 훈련을 위한 증강현실 시스템에 관한 것으로, 더욱 상세하게는 프리젠테이션, 연설, 면접 등과 같은 말하기 상황을 연습할 수 있도록 실제 가상공간을 시각화하고, 제스처나 음성등을 평가하여 발표능력을 향상시킬 수 있는 발표 및 면접 훈련을 위한 증강현실 시스템에 관한 것이다.
최근 회의나 세미나 등에서 발표자가 워드프로세서나 프레젠테이션 프로그램 등이 탑재된 프레젠테이션 장치를 이용하여 다양한 전자 문서에 포함된 내용에 대해 발표를 수행하는 일이 많아지고 있다.
보통 회의나 세미나 등에서 발표 능력은 사업의 성패와도 관련이 되며, 이러한 프리젠테이션의 활용 영역이 넓어짐에 따라 최근에는 신입사원을 채용하는 채용시험에서 발표능력을 평가하는 기업도 증가하고 있다.
그러나 종래에는 이러한 프리젠테이션이나 발표 또는 청중을 앞에 두고 연설하는 것에 대한 체계적인 교육이 이루어질 수 있는 기회가 많지 않았다.
관련된 종래 기술 중에 한국등록특허 제10-1204651호에는 '프리젠테이션 장치 및 프레젠테이션 장치의 발표시간 정보제공방법'이 있는데, 상기 선행기술의 경우에는 단순히 프리젠테이션을 위한 발표자료를 출력하면서 발표자가 발표의 진행시간을 확인할 수 있도록 하는 것이며, 이를 통해 사전에 발표 연습을 실시하는데는 한계가 있다.
아울러 별도의 훈련이 필요한 분야 중 면접 훈련도 최근 관심이 커지고 있다. 입시나 구직 등에서 면접점수의 비중이 커짐에 따라서 다양한 질문에 대하여 대답을 하는 방법, 사람을 상대하는 방법 등에 대한 체계적인 훈련이 필요하지만 이러한 서비스 및 교육을 체계적으로 제공할 수 있는 곳이 한정되어 있기 때문에 많은 수험생이나 구직자들이 면접 준비에 어려움을 겪고 있다.
본 발명은 상기와 같은 문제점을 해결하기 위해 창출된 것으로, 프리젠테이션이나 발표 및 면접을 수행하기에 앞서 유사 상황에 연습할 수 있도록 청중의 감정변화에 따라 행동하는 아바타가 포함된 가상현실 영상을 사용자에게 제공하며, 사용자의 안구 영상을 촬영하여 사용자의 시선에 대한 정보를 분석할 수 있는 발표 및 면접 훈련을 위한 증강현실 시스템을 제공하는데 그 목적이 있다.
상기 목적을 달성하기 위한 본 발명에 따른 발표 및 면접 훈련을 위한 증강현실 시스템은 사용자가 착용하며, 상기 사용자에게 면접 또는 발표 훈련을 위한 가상 영상을 디스플레이하는 디스플레이부와, 상기 디스플레이부를 착용한 사용자의 양안을 각각 촬영하기 위한 안구 영상촬영부와, 상기 안구 영상촬영부에서 제공되는 상기 양안에 대한 영상들로부터 상기 사용자의 시선에 대한 정보를 산출하는 시선 정보산출부와, 상기 시선 정보산출부를 통해 감지된 시선에 대한 정보를 분석하고, 분석정보를 사용자에게 제공하는 데이터 처리부를 구비한다.
상기 시선 정보산출부는 상기 안구 영상촬영부에서 제공되는 상기 양안에 대한 영상들에서 동공 부분을 분석하여 사용자의 시선 방향 및 시선 깊이를 산출하고, 산출된 시선 방향 및 시선 깊이에 대한 정보를 상기 데이터 처리부에 제공한다.
상기 데이터 처리부는 상기 시선 정보산출부로부터 제공되는 사용자의 시선방향 및 시선깊이에 대한 정보를 토대로 상기 디스플레이부에 제공되는 가상 영상에서 상기 사용자기 주시하는 지점에 대한 분석정보를 산출할 수도 있다.
상기 디스플레이부는 상기 사용자가 착용하는 것으로서, 상기 사용자의 안구가 촬영될 수 있도록 상기 안구 카메라들이 설치된 안경 프레임과, 상기 사용자의 시야 범위 내의 상기 안경 프레임에 설치되며, 투명하게 형성되되, 면접 또는 발표 훈련에 대응되는 상기 가상 영상을 표시하는 표시패널을 구비할 수도 있다.
한편, 본 발명에 따른 발표 및 면접 훈련을 위한 증강현실 시스템은 상기 디스플레이부에 설치되어 상기 디스플레이부를 착용한 사용자의 시야에 대응되는 범위를 촬영하는 카메라 모듈을 더 구비하고, 상기 데이터 처리부는 상기 카메라 모듈에서 촬영된 실사영상에 상기 가상 영상이 증강된 증강영상을 생성하고, 상기 시선 정보산출부로부터 제공되는 사용자의 시선방향 및 시선깊이에 대한 정보를 토대로 상기 증강영상에서 상기 사용자가 주시하는 지점에 대한 분석정보를 산출한다.
한편, 발표 및 면접 훈련을 위한 증강현실 시스템은 상기 디스플레이를 착용한 상기 사용자를 촬영하기 위한 뎁스 카메라를 더 구비하고, 상기 데이터 처리부는 상기 뎁스 카메라를 통해 촬영된 영상을 토대로 상기 사용자의 표정을 판별하고, 판별된 표정 정보를 토대로 상기 사용자의 감정을 분석한다.
한편, 본 발명에 따른 발표 및 면접 훈련을 위한 증강현실 시스템은 상기 디스플레이부에 설치되거나 상기 사용자가 착용하는 것으로서, 상기 사용자의 생체신호를 측정하는 웨어러블 기기를 더 구비하고, 상기 데이터 처리부는 상기 웨어러블 기기로부터 제공되는 생체정보를 토대로 상기 사용자의 긴장 상태를 분석한다.
본 발명에 따른 발표 및 면접 훈련을 위한 증강현실 시스템은 발표나 면접 상황에 맞는 가상현실을 선택하여 해당 상황을 직접 시각적으로 보면서 발표 및 면접을 수행하되, 훈련을 수행하는 사용자의 안구를 촬영하여 제공되는 영상에 대한 주시하는 지점에 대한 정보를 보다 정확하게 획득할 수 있어 사용자의 상태 분석에 대한 신뢰도를 향상시킬 수 있는 장점이 있다.
도 1은 본 발명에 따른 발표 및 면접 훈련을 위한 증강현실 시스템에 대한 사시도이고,
도 2는 도 1의 발표 및 면접 훈련을 위한 증강현실 시스템에 대한 블럭도이고,
도 3은 본 발명의 또 다른 실시 예에 따른 발표 및 면접 훈련을 위한 증강현실 시스템에 대한 사시도이고,
도 4는 도 1의 디스플레이부를 통한 가상현실 화면의 일 실시예를 도시한 도면이고,
도 5는 본 발명의 발표 및 면접 훈련을 위한 증강현실 시스템을 이용한 훈련 종료 후, 음성 및 몸짓에 대한 훈련 결과를 표시한 예시,
도 6은 본 발명의 발표 및 면접 훈련을 위한 증강현실 시스템을 이용한 훈련 종료 후, 사용자의 시선에 대한 훈련 결과를 표시한 예시,
도 7은 본 발명의 뇌파측정을 이용한 발표 및 면접 훈련을 위한 증강현실 시스템을 통한 훈련 흐름도이다.
도 2는 도 1의 발표 및 면접 훈련을 위한 증강현실 시스템에 대한 블럭도이고,
도 3은 본 발명의 또 다른 실시 예에 따른 발표 및 면접 훈련을 위한 증강현실 시스템에 대한 사시도이고,
도 4는 도 1의 디스플레이부를 통한 가상현실 화면의 일 실시예를 도시한 도면이고,
도 5는 본 발명의 발표 및 면접 훈련을 위한 증강현실 시스템을 이용한 훈련 종료 후, 음성 및 몸짓에 대한 훈련 결과를 표시한 예시,
도 6은 본 발명의 발표 및 면접 훈련을 위한 증강현실 시스템을 이용한 훈련 종료 후, 사용자의 시선에 대한 훈련 결과를 표시한 예시,
도 7은 본 발명의 뇌파측정을 이용한 발표 및 면접 훈련을 위한 증강현실 시스템을 통한 훈련 흐름도이다.
이하, 첨부한 도면을 참조하여 본 발명의 실시예에 따른 발표 및 면접 훈련을 위한 증강현실 시스템에 대해 상세히 설명한다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. 첨부된 도면에 있어서, 구조물들의 치수는 본 발명의 명확성을 기하기 위하여 실제보다 확대하여 도시한 것이다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1 및 도 2에는 본 발명에 따른 발표 면접 훈련 시스템이 도시되어 있다.
도면을 참조하면, 상기 발표 면접 훈련 시스템은 훈련부스 내에 설치되어 사용자에게 발표 및 면접 훈련에 대한 가상의 체험을 제공하고, 사용자의 훈련 상태를 분석하여 결과를 사용자에게 제공한다.
상기 훈련공간은 발표 또는 면접을 위한 모의 훈련을 실시할 수 있는 공간을 제공으로, 소정의 공간을 갖는 부스이거나 회의실, 사무실 등과 같은 건축 구조물의 실내 공간이 적용된다. 훈련공간은 내부에 제스처트래커(130)와 디스플레이부(111), 프린터(미도시), 헤드트래커(140) 및 보조디스플레이(미도시) 및 데이터의 분석과 처리 및 모의 훈련을 위한 가상현실을 구현하기 위한 시뮬레이션컴퓨터(미도시)가 구비되어 있다.
상기 보조디스플레이는 디스플레이부(111)의 기능을 보조하는 것으로서, 모드 선택이나, 본 실시예와 같이 얼굴에 직접 착용하는 HMD(Head mounted Display) 타입의 디스플레이부(111)의 적응이 어려운 경우에 사용될 수 있다. 도시되지는 않았으나, 면접 훈련을 위한 경우에 사용될 수 있도록 부스 내부에 사용자가 앉을 수 있는 의자가 마련될 수도 있다.
발표 및 면접 훈련을 위한 증강현실 시스템(100)은 사용자가 착용하는 디스플레이부(110), 그리고 상기 디스플레이부(111)의 움직임과, 사용자의 몸짓 및 시선을 감지하는 모션감지부(125), 그리고 다양한 훈련 상황의 상황변수들이 저장되어 있는 데이터베이스(150)와, 상기 모션감지부(125)를 통해 감지된 감지정보를 토대로 상기 사용자의 음성, 몸짓 또는 시선에 대해 분석하고, 분석 정보를 사용자에게 제공하는 데이터처리부(150), 상기 디스플레이부(111)에 가상현실 영상을 제공하는 영상처리유닛(190)과, 후술되는 스피커에 청각신호를 제공하는 소리제공부(115), 데이터처리부(150)에서 분석한 분석 정보를 바탕으로 시뮬레이션 결과지를 출력하는 프린터(미도시)를 구비한다.
디스플레이부(111)는 사용자가 착용하는 안경 프레임(131)과, 상기 안경 프레임(131)에 설치된 표시패널(132)과, 상기 안경 프레임(131)에 설치되어 사용자의 시야에 대응되는 범위를 촬영하는 카메라 모듈과, 상기 영상처리유닛으로부터 제공받은 가상영상을 표시패널(132)에 전달하거나 카메라 모듈에서 촬영된 영상을 영상처리유닛으로 전송하는 통신모듈을 구비한다.
안경 프레임(131)은 렌즈가 장착 및 고정되는 몸체부와, 몸체부를 착용자의 신체에 지지시키도록 몸체부로부터 사용자의 귀 뒷부분으로 향하여 연장되며 끝 부분에는 귀에 걸릴 수 있게 하방으로 절곡 형성된 지지걸이가 마련된 다리부를 구비한다. 상기 안경 프레임(131)은 종래에 일반적으로 사용되는 안경이 적용되므로 상세한 설명은 생략한다.
카메라 모듈은 안경 프레임(131)의 다리부에 설치되어 상기 작업자의 시야에 대응되는 범위를 촬영한다. 이때, 도시된 예에서는 카메라 모듈이 안경 프레임(131)의 다리부에 설치된 구조가 도시되어 있으나, 카메라 모듈은 이에 한정하는 것이 아니라 안경 프레임(131)의 몸체부에 설치될 수도 있다.
표시패널(132)은 안경 프레임(131)의 렌즈를 덮을 수 있도록 안경 프레임(131)의 몸체부에 설치되어 사용자의 시야에 영상을 출력하는 것으로서, 종래에 스마트 안경에 사용되는 디스플레이 수단이므로 상세한 설명은 생략한다. 통신모듈은 도면에 도시되진 않았지만, 영상처리유닛과 무선 또는 유선을 통해 연결되어 영상처리유닛과 데이터 통신을 수행한다.
상술된 디스플레이부(111)는 사용자가 얼굴에 착용하는 헤드 마운티드 디스플레이(Head Mounted Display : HMD)가 적용된다. 사용자는 디스플레이부(111)를 통해 실제 가상현실과 동일한 시각적 상황 속에서 발표를 진행할 수 있다. 디스플레이부(111)는 영상처리유닛(190)과 유선 또는 무선으로 연결되어 있으며, 영상처리유닛(190)에서 전송되는 화면을 출력한다.
스피커(121)와 마이크(122)도 안경 프레임(131)에 설치되어 디스플레이부(111)와 마찬가지로 사용자가 착용하며, 스피커(121)에서는 소리제공부(115)에서 전송되는 청각신호를 출력한다. 소리제공부(115)는 설정된 상황에서의 청중의 반응이나, 연습에 필요한 특정 정보들, 예를 들어 사용자의 말의 음량이 너무 작거나 속도가 지나치게 빠른 경우 이에 대한 시정을 위한 정보를 음성으로 전달할 수 있고, 예상되는 청중의 질문을 디스플레이부(111)에서 보이는 영상과 연계하여 음성으로 출력할 수 있다.
상기 마이크(122)는 사용자가 발표 연습을 진행하는 동안 발표 내용을 데이터처리부(160)로 전송하기 위한 것이며, 데이터처리부(160)는 발표 평가를 위해 마이크(122)를 통해 입력된 음성신호를 음량, 속도 등 평가요소에 따라 평가할 수 있도록 데이터화 하여 저장한다.
본 실시예에서는 청각신호를 출력하기 위한 스피커(121)와 사용자의 음성을 입력하기 위한 마이크(122)가 안경 프레임(131)에 설치되어 사용자가 직접 착용하도록 구성되어 있으나, 도 3에 도시되어 있는 것처럼 스피커(115)와 마이크(116)가 착용하는 형태가 아니라 개별적으로 마련될 수도 있다. 한편, 상기 마이크(116)는 도면에 도시되진 않았지만, 스피커(115) 또는 헤드트래커(140)에 내장시킬 수도 있고, 개별적으로 설치할 수도 있다.
본 실시예에서는 디스플레이부(111)와 스피커(112), 마이크(113)가 모두 일체형으로 형성된 것으로 도시되었으나, 상기 디스플레이부(111)와 스피커(112), 및 마이크(113)는 모두 개별적으로 형성되어 개별적으로 착용하거나, 둘 또는 세 개의 파트로 나누어 형성할 수도 있다.
모션감지부(125)는 사용자의 머리 움직임 또는 착용된 상태의 디스플레이부(111)의 움직임을 감지하는 헤드트래커(140)와, 사용자의 몸짓을 감지하는 제스처트래커(130)와, 사용자의 시선을 감지하기 위한 시선 트래커(170)와, 사용자의 얼굴을 촬영하기 위한 뎁스 카메라(175)를 구비한다.
헤드트래커(140)는 머리의 움직임을 직접 감지하거나, 디스플레이부(111)에 별도의 동작센서를 내장하고, 상기 동작센서를 통해서 머리의 움직임을 감지하도록 형성된다. 이때, 헤드트래커(140)는 디스플레이부(111)에 대한 3축 각속도 데이터 및 3축 가속도 데이터를 측정할 수 있는 관성센서가 적용되는 것이 바람직하다. 헤드트래커(140)는 유선 또는 무선 통신망을 통해 사용자 머리 움직임 또는 디스플레이부(111)의 움직임 정보를 데이터 처리부(160)에 전달한다.
디스플레이부(111)는 사용자가 고개를 돌리는 상황과 연계하여 가상영상에 대한 뷰포인트가 변화되도록 형성되어 있어서, 고개를 돌리는 동작에 따라 실제로 화면이 이동하는 형태로 구성되어 있다.
영상처리유닛(190)은 카메라 모듈에서 촬영된 실사영상에 면접 또는 발표 상황에 대한 가상의 이미지가 증강된 가상영상을 생성하고, 상기 가상영상을 디스플레이부(111)에 제공하는 것으로, 사용자의 머리 방향에 대응되도록 가상의 이미지가 변경되는 가상 영상을 디스플레이부(111)에 제공한다. 그러나 사용자가 고개를 좌우 또는 상하로 움직이게 되면 헤드트래커(140)에서 이러한 움직임을 감지하고, 감지정보를 데이터처리부(160)로 전달하며, 영상처리유닛(190)에서는 데이터 처리부(160)로부터 분석 정보를 제공받아 머리의 이동하는 방향에 맞춰 가상의 이미지의 뷰포인트를 변경하여 실제 고개가 돌아가는 방향으로 가상의 이미지가 이동하거나 회전되는 것과 같은 효과를 낸다. 여기서, 상기 가상의 이미지는 면접관, 청중 또는 탁자, 의자와 같은 훈련상황에 포함된 오브젝트가 포함된다.
따라서 사용자는 상기 디스플레이부(111)에서 출력되는 화면이 머리의 움직임에 따라 이동하게 되므로 가상현실에서의 시선 처리에 대한 훈련효과를 기대할 수 있다.
상기 제스처트래커(130)는 발표를 진행하는 동안 사용자의 제스처를 감지하기 위한 것이다. 본 실시예의 제스처트래커(130)는 적외선 프로젝터와 깊이 인식 적외선 카메라를 기반으로 사용자의 모션을 감지한다. 즉 적외선 프로젝터에서는 사용자를 향해 적외선을 송출하고, 깊이인식 카메라에서는 반사되는 적외선을 감지하여 사용자의 움직임을 감지하게 된다. 이를 통해 사용자의 발표 또는 면접 훈련 과정에서 사용자가 하는 몸짓을 감지하고, 감지정보를 데이터처리부(160)로 전송한다.
본 실시예 제스처트래커(130)는 적외선을 이용해 사용자의 동작을 감지할 수 있도록 상기 적외선프로젝터와 깊이 인식 적외선 카메라가 장착된 센서본체를 구비하고 있으나, 상기 제스처트래커(130)는 이와는 달리 다양한 형태의 모션인식 기술이 적용될 수 있다. 예를 들어 사용자가 팔에 착용하거나 들고 사용하는 형태의 트래커가 적용될 수 있으며, 이 경우 자이로스코프 센서나 가속도센서를 통해 손동작을 인식하도록 형성될 수 있다.
그러나 제스처트래커(130)는 도시된 실시 예와 같이 적외선을 통해 모션을 감지하도록 하는 모션인식 기술이 적용되도록 함으로써 신체의 다수의 관절위치를 감지하고 이를 통해 손 뿐 아니라 몸통이나 다리의 모션까지도 인식하여 전체적인 신체의 동작에 대한 분석이 이루어질 수 있도록 하는 것이 바람직하다.
시선 트래커(170)는 상기 디스플레이부를 착용한 사용자의 양안을 각각 촬영하기 위한 안구 영상촬영부(171)와, 상기 안구 영상촬영부(171)에서 제공되는 상기 양안에 대한 영상들로부터 상기 사용자의 시선에 대한 정보를 산출하는 시선 정보산출부(172)를 구비한다.
상기 안구 영상촬영부(171)는 사용자의 양안에 인접된 안경 프레임(131) 전방부에 설치되어 사용자의 양안을 각각 촬영하는 복수의 안구용 카메라를 구비한다. 상기 안구용 카메라들에 의해 촬영된 영상은 시선 정보산출부(172)에 제공된다.
상기 시선 정보산출부(172)는 상기 안구 영상촬영부(171)에서 제공되는 상기 양안에 대한 영상들로부터 상기 사용자의 시선에 대한 정보를 산출한다. 여기서, 시선 정보산출부(172)는 안구용 카메라들에서 촬영된 영상에서 눈동자 영역을 검출하고, 검출된 검출정보를 토대로 시선의 방향 및 시선깊이를 측정한다.
즉, 시선 정보산출부(172)는 검출된 눈동자 영역를 통해 좌측 눈으로부터 좌측 눈의 눈동자의 시선 방향으로 연장된 제1가상선과, 우측 눈으로부터 우측 눈의 눈동자 시선 방향으로 연장된 제2가상선을 산출하고, 산출된 제1 및 제2가상선의 교차점을 산출한다. 이때, 시선 정보산출부(172)는 상기 사용자의 위치에서 상기 교차점 방향을 시선의 방향으로 판별하며, 상기 사용자의 위치에서 상기 교차점까지의 거리를 시선깊이로 판별한다. 시선 정보산출부(172)는 산출된 시선의 방향 및 시선의 깊이 정보를 데이터처리부에 전송한다.
한편, 상기 모션감지부는 디스플레이를 착용한 상기 사용자를 촬영하기 위한 뎁스 카메라(175)와, 상기 사용자가 착용하는 것으로서, 상기 사용자의 생체신호를 측정하는 웨어러블 기기(176)를 구비한다.
뎁스 카메라(175)는 상기 제스쳐트래커(130)에 인접되게 설치되어 사용자를 촬영한다. 상기 뎁스 카메라(175)는 사용자의 외형 중에서 사용자의 얼굴이 촬영되도록 세팅되며, 사용자의 얼굴에 대한 깊이영상을 촬영한다. 또한, 뎁스 카메라(175)는 데이터처리부가 사용자의 표정을 분석할 수 있도록 촬영된 사용자 얼굴에 대한 깊이영상을 데이터처리부에 제공한다.
웨어러블 기기(176)는 밴드 또는 시계형으로 형성되며, 사용자의 피부에 접촉되게 착용되어 사용자의 신체정보, 특히 사용자의 심박수를 감지한다. 상기 웨어러블 기기(176)는 착용자의 신체정보를 감지하기 위해 종래에 일반적으로 사용되는 웨어러블 센싱수단이므로 상세한 설명은 생략한다. 한편, 상술된 예에서는 웨어러블 기기(176)가 사용자에 착용된 상태를 설명하였으나, 웨어러블 기기(176)는 이에 한정하는 것이 아니라 사용자가 착용시 사용자의 피부에 접촉하는 안경 프레임(131)의 측면에 설치될 수도 있다. 웨어러블 기기(176)는 감지된 사용자의 심박수 정보를 데이터처리부에 전송한다.
상기 데이터베이스(150)는 발표 연습을 수행하기 위한 다양한 상황변수들에 대한 데이터가 저장되어 있다.
본 발명의 발표 및 면접 훈련을 위한 증강현실 시스템(100)은 프리젠테이션과 면접에 대한 훈련을 실시할 수 있도록 된 것이며, 프리젠테이션과 면접은 각각의 상황변수들이 있다.
예를 들어 프리젠테이션에 대한 상황변수는 장소의 크기, 청중의 수, 청중의 연령이나 성별 등이 있으며, 면접의 경우 면접관의 수나 면접관의 연령, 성별, 반응 등이 있다. 아울러 면접의 경우에는 면접관의 질문에 대한 답변으로 훈련이 진행되어야 하므로 다양한 질문이 있고, 압박면접과 같이 다양한 면접의 질문형태나 방식 등이 상황변수가 될 수 있다.
청중도 숫자나 연령, 성별에 따라 다양하게 선택될 수 있는데, 발표장소의 수에 맞도록 기본 설정이 될 수도 있지만, 특정 성별이나 연령으로 지정된 숫자의 청중이 있는 것으로 선택할 수도 있다.
따라서 특정 발표를 염두에 두고 그에 대한 발표 연습을 진행하고자 하는 경우에는 청중의 숫자, 성별, 연령 등의 상황변수를 해당 발표상황과 최대한 유사하도록 임의로 설정한 상태에서 발표 연습을 진행함으로써 발표 연습에 대한 효과를 극대화할 수 있다.
아울러 면접의 상황변수 중 면접관의 수는 1인 면접이나 3인 면접 또는 5인 이상의 다인 면접을 설정할 수 있으며, 면접관의 연령이나 성별 및 면접관의 표정이나 반응에 대한 분위기에 대한 상황변수도 선택할 수 있다.
특히 면접의 경우 면접관으로부터 받게되는 질문의 종류나 형태가 있는데, 인성을 평가하기 위한 인성평가 관련 질문, 또는 특정 직업군의 직무관련 평가를 위한 질문 등 다양한 질문에 대한 데이터가 저장되어 있고, 선택된 평가 질문을 랜덤으로 제시할 수 있다. 그리고 압박면접과 같은 특정 형태의 면접에 대한 대비가 가능하도록 특정 형태의 질문도 저장되어 선택할 수 있다.
상기 데이터처리부(160)는 데이터베이스(150)에 저장된 상황변수들을 조합하여 영상처리유닛(190)에 제공하고, 발표 또는 면접 훈련이 이루어지는 동안 입력되는 사용자의 음성신호, 모션감지부(125)를 통해 제공되는 감지 정보, 즉, 제스처트래커(130)에 의한 감지신호, 헤드트래커(140)에서 입력되는 디스플레이부(111)의 동작신호, 시선 트래커(170)를 통해 제공되는 사용자의 시선 정보, 뎁스 카메라(175)를 통해 제공되는 사용자의 얼굴에 대한 깊이 영상 및 웨어러블 기기(176)를 통해 제공되는 사용자의 심박수 정보를 수신하고 이를 분석한다.
즉, 데이터 처리부(160)는 마이크를 통해 입력된 음성신호 및 모션감지부(125)를 통해 제공되는 감지정보를 통해 사용자의 음량이나 속도, 몸짓의 사용 정도를 수치화하고, 이를 토대로 평가를 하여 도 5과 같이 평가 결과를 프린터를 이용하여 문서 또는 디스플레이부(111)에 이미지로 출력한다.
또한, 데이터 처리부(160)는 상기 모션감지부(125)를 통해 제공되는 감지정보를 토대로 상기 아바타에 대한 상기 사용자의 시선의 위치, 상기 사용자가 상기 아바타를 바라보는 횟수, 상기 아바타를 바라보는 시간을 산출하여 상기 사용자에게 제공한다.
즉, 데이터 처리부(160)는 시선 정보산출부(172)로부터 제공되는 사용자의 시선방향 및 시선깊이에 대한 정보를 토대로 상기 디스플레이부에 제공되는 가상 영상에서 상기 사용자기 주시하는 지점에 대한 분석정보를 산출한다. 이때, 데이터 처리부(160)는 사용자의 시선 위치, 가상현실 영상에 표현된 아바타 또는 오브젝터를 바라보는 빈도 및 바라보는 시간을 수치화하고, 이를 토대로 시선 빈도를 도 6과 같이 이미지화하여 프린터(미도시) 또는 디스플레이부(111)를 통해 출력함으로써 사용자가 발표에서 개선해야할 부면을 파악할 수 있도록 한다. 도 6에서 사용자의 시선은 원형 표시점으로 표시되고, 표시점의 색이 적색에 가까울수록 사용자가 바라보는 빈도가 높거나 바라보는 시간이 길다는 것을 나타낸다.
상술된 데이터처리부(160)는 시선 트래커(170)로부터 제공되는 시선 방향 및 시선깊이를 토대로 사용자의 시선에 대한 분석을 진행하므로 보다 정확한 시선에 대한 분석결과를 산출할 수 있다.
또한, 데이터처리부(160)는 상기 뎁스 카메라(175)를 통해 촬영된 영상을 토대로 상기 사용자의 표정을 판별하고, 판별된 표정 정보를 토대로 상기 사용자의 감정을 분석한다. 이때, 데이터처리부(160)는 도면에 도시되진 않았지만, 각 감정별로 얼굴 표정에 대한 샘플 및 정보가 포함된 감정저장부를 구비한다. 데이터처리부(160)는 감정저장부에 저장된 정보와 뎁스 카메라(175)로부터 제공된 깊이영상을 비교분석하여 사용자의 감정상태를 판별하고, 판별된 감정상태 정보를 프린터(미도시) 또는 디스플레이부(111)를 통해 출력함으로써 사용자가 발표에서 개선해야할 부면을 파악할 수 있도록 한다.
그리고, 데이터처리부(160)는 웨어러블 기기(176)를 통해 제공되는 사용자의 심박수 정보를 토대로 사용자의 긴장 상태를 분석한다. 데이터처리부(160)는 사용자의 훈련시간 중 사용자의 심박수가 기설정된 수 이상인 부분을 판별하고, 판별된 정보를 사용자에게 프린터 또는 디스플레이부(111)를 통해 제공한다.
소리제공부(115)는 스피커에 무선 또는 유선으로 연결되며, 디스플레이부(111)로 제공되는 가상 영상에 대응되는 청각신호를 상기 스피커에 제공한다. 소리제공부(115)는 다수의 상황 별로 청중 소리에 대한 다수의 반응정보가 저장되는 소리 메모리(미도시)를 구비한다. 소리제공부(115)는 소리 메모리에 저장된 소리 정보들 중 디스플레이부(111)에서 표시되는 가상영상에 대응되는 소리정보를 스피커에 제공한다.
이상에서 설명한 본 발명에 따른 발표 및 면접 훈련을 위한 증강현실 시스템(100)을 이용하여 발표 및 면접 훈련을 진행하는 과정을 도 7을 통해 설명한다.
사용자는 시스템에 전원을 인가하고 디스플레이부(111)를 착용하여 훈련을 위한 준비를 한다.
이후 첫 번째로 훈련모드를 선택할 수 있는데, 발표 훈련과 면접 훈련 중 원하는 훈련모드를 선택한다.
발표훈련을 선택하는 경우, 발표 훈련의 상황변수를 선택할 것인지의 여부를 결정하게 되는데, 상황변수를 임의로 설정하기 위해 상황변수 설정 모드를 선택하면 데이터베이스(150)에 저장되어 있는 장소, 청중의 수, 연령, 성별 등의 상황변수를 선택할 수 있다. 영상처리유닛(190)은 데이터처리부(160)를 통해 선택된 상황변수들을 조합하여 가상현실 이미지를 생성하고, 생성된 이미지를 렌더링하여 디스플레이부(111)를 통해 출력한다.
물론 상황변수를 별도로 선택하지 않는 경우에는 기본 설정으로 선택되어 기본으로 세팅되어 있는 가상현실 영상을 디스플레이부(111)에서 출력한다.
면접훈련을 선택하는 경우에도 면접 훈련 선택 후 상황변수를 선택할 것인지를 결정한다. 면접 훈련의 상황변수를 임의로 설정하기로 하는 경우 상황변수 설정 모드를 선택하여 데이터베이스(150)에 저장되어 있는 면접관의 수, 성별, 나이, 면접질문의 종류, 면접분위기 등의 상황변수를 선택한다. 데이터처리부(160)는 이렇게 선택된 상황변수들을 조합하고, 영상처리유닛(190)은 데이터처리부(160)에 조합된 상황변수들을 토대로 가상현실 이미지를 생성하고 디스플레이부(111)를 통해 출력한다.
면접훈련의 경우에도 상황변수를 별도로 선택하지 않고 기본설정을 선택하여 기본으로 세팅되어 있는 가상현실을 통해 면접 훈련을 진행할 수도 있다.
상기 훈련모드나 상황변수의 선택은 상기 디스플레이부(111)를 착용하기 전에 보조디스플레이(170)에서 출력되는 화면을 이용할 수도 있다.
이후의 과정은 면접훈련이나 발표훈련의 경우 모두 동일하므로 함께 설명한다.
사용자는 디스플레이부(111)에서 출력되는 영상을 보면서 실제 발표장이나 면접장에 있는 것과 같은 느낌으로 발표 또는 면접을 수행하며, 훈련 수행 중에 음성신호를 포함한 모션감지부(125)에서 감지된 감지정보가 데이터처리부(160)에 입력된다. 데이터처리부(160)는 입력된 음성신호, 모션 신호, 시선 정보, 사용자의 감정상태에 대해 분석하고, 이를 토대로 발표 수행에 대한 평가를 처리한 후 출력한다.
본 발명에 따른 발표 및 면접 훈련을 위한 증강현실 시스템은 발표나 면접 상황에 맞는 가상현실을 선택하여 해당 상황을 직접 시각적으로 보면서 발표 및 면접을 수행하되, 훈련을 수행하는 사용자의 안구를 촬영하여 제공되는 영상에 대한 주시하는 지점에 대한 정보를 보다 정확하게 획득할 수 있어 사용자의 상태 분석에 대한 신뢰도를 향상시킬 수 있는 장점이 있다.
한편, 본 발명에 따른 발표 및 면접 훈련을 위한 증강현실 시스템의 디스플레이부(111)는 상술된 실시 예에 한정하는 것이 아니라 시스루(See-through) 스마트안경가 적용될 수도 있다. 즉, 상기 디스플레이부(111)의 표시패널(132)은 상기 사용자의 시야 범위 내의 상기 안경 프레임(131)에 설치되며, 투명하게 형성되되, 면접 또는 발표 훈련에 대응되는 상기 가상 영상을 표시한다.
이때, 영상처리유닛(190)은 면접 또는 발표 훈련에 대응되는 상기 가상의 이미지를 상기 디스플레이부(111)를 제공하다. 이때, 영상처리유닛(190)은 사용자가 보는 실제 배경에 가상의 이미지가 기설정된 위치에 표시되도록 카메라 모듈로부터 제공되는 실사영상을 분석하여 상기 가상의 이미지를 사용자의 시야 범위 중 적합한 위치에 표시되도록 상기 디스플레이부(111)를 제어한다.
특히, 영상처리유닛(190)은 사용자가 고개를 좌우 또는 상하로 움직이게 되면 헤드트래커(140)에서 이러한 움직임을 감지하고, 감지정보를 데이터처리부(160)로 전달하며, 영상처리유닛(190)에서는 데이터 처리부(160)로부터 분석 정보를 제공받아 머리의 이동하는 방향에 맞춰 가상의 이미지의 뷰포인트를 변경하여 실제 고개가 돌아가는 방향으로 가상의 이미지가 이동하거나 회전되는 것과 같은 효과를 낸다.
한편, 데이터처리부(160)는 상기 카메라 모듈에서 촬영된 실사영상에 상기 가상 영상이 증강된 증강영상을 생성하고, 상기 시선 정보산출부(172)로부터 제공되는 사용자의 시선방향 및 시선깊이에 대한 정보를 토대로 상기 증강영상에서 상기 사용자가 주시하는 지점에 대한 분석정보를 산출한다. 즉, 데이터처리부(160)는
증강영상에서 사용자의 시선 위치, 아바타 또는 오브젝터와 같은 가상의 이미지를 바라보는 빈도 및 바라보는 시간을 수치화하고, 이를 토대로 시선 빈도를 이미지화하여 프린터(미도시) 또는 디스플레이부(111)를 통해 출력함으로써 사용자가 발표에서 개선해야할 부면을 파악할 수 있도록 한다.
제시된 실시예들에 대한 설명은 임의의 본 발명의 기술분야에서 통상의 지식을 가진 자가 본 발명을 이용하거나 또는 실시할 수 있도록 제공된다. 이러한 실시예들에 대한 다양한 변형들은 본 발명의 기술 분야에서 통상의 지식을 가진자에게 명백할 것이며, 여기에 정의된 일반적인 원리들은 본 발명의 범위를 벗어남이 없이 다른실시예들에 적용될 수 있다. 그리하여, 본 발명은 여기에 제시된 실시예들로 한정되는 것이아니라, 여기에 제시된 원리들 및 신규한 특징들과 일관되는 최광의의 범위에서 해석되어야 할 것이다.
10; 훈련부스
100; 발표 및 면접 훈련을 위한 증강현실 시스템
110; 헤드셋 111: 디스플레이부
112: 스피커 113: 마이크
114: 뇌파측정부 115: 스피커
116: 마이크 120: 프린터
130; 제스처트래커 140; 헤드트래커
150; 데이터베이스 160; 데이터처리부
100; 발표 및 면접 훈련을 위한 증강현실 시스템
110; 헤드셋 111: 디스플레이부
112: 스피커 113: 마이크
114: 뇌파측정부 115: 스피커
116: 마이크 120: 프린터
130; 제스처트래커 140; 헤드트래커
150; 데이터베이스 160; 데이터처리부
Claims (7)
- 사용자가 착용하며, 상기 사용자에게 면접 또는 발표 훈련을 위한 가상 영상을 디스플레이하는 디스플레이부;
상기 디스플레이부를 착용한 사용자의 양안을 각각 촬영하기 위한 안구 영상촬영부;
상기 안구 영상촬영부에서 제공되는 상기 양안에 대한 영상들로부터 상기 사용자의 시선에 대한 정보를 산출하는 시선 정보산출부; 및
상기 시선 정보산출부를 통해 감지된 시선에 대한 정보를 분석하고, 분석정보를 사용자에게 제공하는 데이터 처리부;를 구비하는,
발표 및 면접 훈련을 위한 증강현실 시스템.
- 제1항에 있어서,
상기 시선 정보산출부는 상기 안구 영상촬영부에서 제공되는 상기 양안에 대한 영상들에서 동공 부분을 분석하여 사용자의 시선 방향 및 시선 깊이를 산출하고, 산출된 시선 방향 및 시선 깊이에 대한 정보를 상기 데이터 처리부에 제공하는,
발표 및 면접 훈련을 위한 증강현실 시스템.
- 제2항에 있어서,
상기 데이터 처리부는 상기 시선 정보산출부로부터 제공되는 사용자의 시선방향 및 시선깊이에 대한 정보를 토대로 상기 디스플레이부에 제공되는 가상 영상에서 상기 사용자기 주시하는 지점에 대한 분석정보를 산출하는,
발표 및 면접 훈련을 위한 증강현실 시스템.
- 제2항에 있어서,
상기 디스플레이부는
상기 사용자가 착용하는 것으로서, 상기 사용자의 안구가 촬영될 수 있도록 상기 안구 카메라들이 설치된 안경 프레임; 및
상기 사용자의 시야 범위 내의 상기 안경 프레임에 설치되며, 투명하게 형성되되, 면접 또는 발표 훈련에 대응되는 상기 가상 영상을 표시하는 표시패널;을 구비하는,
발표 및 면접 훈련을 위한 증강현실 시스템.
- 제4항에 있어서,
상기 디스플레이부에 설치되어 상기 디스플레이부를 착용한 사용자의 시야에 대응되는 범위를 촬영하는 카메라 모듈;을 더 구비하고,
상기 데이터 처리부는 상기 카메라 모듈에서 촬영된 실사영상에 상기 가상 영상이 증강된 증강영상을 생성하고, 상기 시선 정보산출부로부터 제공되는 사용자의 시선방향 및 시선깊이에 대한 정보를 토대로 상기 증강영상에서 상기 사용자가 주시하는 지점에 대한 분석정보를 산출하는,
발표 및 면접 훈련을 위한 증강현실 시스템.
- 제1항에 있어서,
상기 디스플레이를 착용한 상기 사용자를 촬영하기 위한 뎁스 카메라;를 더 구비하고,
상기 데이터 처리부는 상기 뎁스 카메라를 통해 촬영된 영상을 토대로 상기 사용자의 표정을 판별하고, 판별된 표정 정보를 토대로 상기 사용자의 감정을 분석하는,
발표 및 면접 훈련을 위한 증강현실 시스템.
- 제1항에 있어서,
상기 디스플레이부에 설치되거나 상기 사용자가 착용하는 것으로서, 상기 사용자의 생체신호를 측정하는 웨어러블 기기;를 더 구비하고,
상기 데이터 처리부는 상기 웨어러블 기기로부터 제공되는 생체정보를 토대로 상기 사용자의 긴장 상태를 분석하는,
발표 및 면접 훈련을 위한 증강현실 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170142712A KR20190048144A (ko) | 2017-10-30 | 2017-10-30 | 발표 및 면접 훈련을 위한 증강현실 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170142712A KR20190048144A (ko) | 2017-10-30 | 2017-10-30 | 발표 및 면접 훈련을 위한 증강현실 시스템 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20190048144A true KR20190048144A (ko) | 2019-05-09 |
Family
ID=66546277
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170142712A KR20190048144A (ko) | 2017-10-30 | 2017-10-30 | 발표 및 면접 훈련을 위한 증강현실 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20190048144A (ko) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102325506B1 (ko) * | 2020-05-09 | 2021-11-12 | 우송대학교 산학협력단 | 가상현실 기반의 의사소통 개선 시스템 및 방법 |
| KR20220043354A (ko) * | 2020-09-29 | 2022-04-05 | 김문준 | 면접 훈련 제공 장치 및 그 제어방법 |
| WO2023080564A1 (ko) * | 2021-11-02 | 2023-05-11 | 삼성전자 주식회사 | 전자 장치 및 그 동작 방법 |
| EP4018647A4 (en) * | 2019-08-23 | 2023-08-16 | Your Speech Factory AB | ELECTRONIC DEVICE AND METHOD FOR EYE CONTACT TRAINING |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100971475B1 (ko) | 2007-11-05 | 2010-07-22 | 주식회사 아인픽춰스 | 입체영상을 이용한 가상모의 면접시스템 및 이를 이용한가상모의 면접방법 |
| KR20120031373A (ko) | 2010-09-24 | 2012-04-03 | 에스케이 텔레콤주식회사 | 학습 서비스 시스템 및 방법 |
| KR101204651B1 (ko) | 2011-12-30 | 2012-11-27 | 주식회사 한글과컴퓨터 | 프레젠테이션 장치 및 프레젠테이션 장치의 발표 시간 정보 제공 방법 |
-
2017
- 2017-10-30 KR KR1020170142712A patent/KR20190048144A/ko not_active Application Discontinuation
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100971475B1 (ko) | 2007-11-05 | 2010-07-22 | 주식회사 아인픽춰스 | 입체영상을 이용한 가상모의 면접시스템 및 이를 이용한가상모의 면접방법 |
| KR20120031373A (ko) | 2010-09-24 | 2012-04-03 | 에스케이 텔레콤주식회사 | 학습 서비스 시스템 및 방법 |
| KR101204651B1 (ko) | 2011-12-30 | 2012-11-27 | 주식회사 한글과컴퓨터 | 프레젠테이션 장치 및 프레젠테이션 장치의 발표 시간 정보 제공 방법 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4018647A4 (en) * | 2019-08-23 | 2023-08-16 | Your Speech Factory AB | ELECTRONIC DEVICE AND METHOD FOR EYE CONTACT TRAINING |
| KR102325506B1 (ko) * | 2020-05-09 | 2021-11-12 | 우송대학교 산학협력단 | 가상현실 기반의 의사소통 개선 시스템 및 방법 |
| KR20220043354A (ko) * | 2020-09-29 | 2022-04-05 | 김문준 | 면접 훈련 제공 장치 및 그 제어방법 |
| WO2023080564A1 (ko) * | 2021-11-02 | 2023-05-11 | 삼성전자 주식회사 | 전자 장치 및 그 동작 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kinateder et al. | Using an augmented reality device as a distance-based vision aid—promise and limitations | |
| KR102182605B1 (ko) | 시선-기반 미디어 선택 및 편집을 위한 시스템들 및 방법들 | |
| KR101988110B1 (ko) | 생체신호연동 가상현실 교육 시스템 및 방법 | |
| EP1691670B1 (en) | Method and apparatus for calibration-free eye tracking | |
| CN112034977B (zh) | Mr智能眼镜内容交互、信息输入、应用推荐技术的方法 | |
| US20160267708A1 (en) | Head mounted system and method to compute and render a stream of digital images using a head mounted display | |
| KR101759335B1 (ko) | 뇌파 측정을 이용한 발표 및 면접 훈련 시스템 | |
| KR101563312B1 (ko) | 시선 기반 교육 콘텐츠 실행 시스템 | |
| KR20190048144A (ko) | 발표 및 면접 훈련을 위한 증강현실 시스템 | |
| JPWO2011042989A1 (ja) | 視認情景に対する視認者情感判定装置 | |
| JP7066115B2 (ja) | パブリックスピーキング支援装置、及びプログラム | |
| KR20160142648A (ko) | 가상현실을 통한 프리젠테이션 훈련 시스템 | |
| Trepkowski et al. | Multisensory proximity and transition cues for improving target awareness in narrow field of view augmented reality displays | |
| US20230128024A1 (en) | Automated virtual (ar/vr) education content adjustment based on gaze and learner attention tracking | |
| WO2022070747A1 (ja) | アシストシステム、アシスト方法、およびアシストプログラム | |
| EP4331489A1 (en) | Sound-based attentive state assessment | |
| WO2022070746A1 (ja) | アイトラッキングシステム、アイトラッキング方法、およびアイトラッキングプログラム | |
| Zhu et al. | An investigation into the effectiveness of using acoustic touch to assist people who are blind | |
| CN115762772B (zh) | 目标对象的情绪特征确定方法、装置、设备及存储介质 | |
| WO2022209912A1 (ja) | 集中値算出システム、集中値算出方法、プログラム、及び、集中値算出モデル生成システム | |
| US20230259203A1 (en) | Eye-gaze based biofeedback | |
| EP4325517A1 (en) | Methods and devices in performing a vision testing procedure on a person | |
| WO2023244267A1 (en) | Systems and methods for human gait analysis, real-time feedback and rehabilitation using an extended-reality device | |
| WO2022212052A1 (en) | Stress detection | |
| WO2023114079A1 (en) | User interactions and eye tracking with text embedded elements |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |