KR20190074017A - Hmd device for enabling vr-based presentation exercises and operating method thereof - Google Patents

Hmd device for enabling vr-based presentation exercises and operating method thereof Download PDF

Info

Publication number
KR20190074017A
KR20190074017A KR1020170175346A KR20170175346A KR20190074017A KR 20190074017 A KR20190074017 A KR 20190074017A KR 1020170175346 A KR1020170175346 A KR 1020170175346A KR 20170175346 A KR20170175346 A KR 20170175346A KR 20190074017 A KR20190074017 A KR 20190074017A
Authority
KR
South Korea
Prior art keywords
presentation
score
user
tone
motion
Prior art date
Application number
KR1020170175346A
Other languages
Korean (ko)
Other versions
KR102030541B1 (en
Inventor
정지환
이준석
이동교
Original Assignee
주식회사 한글과컴퓨터
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 한글과컴퓨터 filed Critical 주식회사 한글과컴퓨터
Priority to KR1020170175346A priority Critical patent/KR102030541B1/en
Publication of KR20190074017A publication Critical patent/KR20190074017A/en
Application granted granted Critical
Publication of KR102030541B1 publication Critical patent/KR102030541B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/04—Speaking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

Disclosed are a head mounted display (HMD) device for enabling virtual reality (VR)-based presentation exercises and an operating method thereof. The HMD device for enabling virtual reality VR-based presentation exercises and the operating method thereof according to the present invention determines a presentation grade according to a present exercise situation of a user and then displays an audience response video corresponding to the presentation grade on a VR-based 360 degree screen displayed through a display unit of the HMD device, thereby being able to support the user to correct presentation attitudes by watching the audience response video according to presentation attitudes of the user.

Description

VR 기반의 프레젠테이션 발표 연습을 가능하게 하는 HMD 장치 및 그 동작 방법{HMD DEVICE FOR ENABLING VR-BASED PRESENTATION EXERCISES AND OPERATING METHOD THEREOF}TECHNICAL FIELD [0001] The present invention relates to an HMD device capable of practicing presentation of a VR-based presentation, and a method of operating the HMD device.

본 발명은 HMD(Head Mounted Display) 장치에서 가상현실(Virtual Reality: VR)을 기반으로 사용자가 프레젠테이션 발표 연습을 수행할 수 있도록 지원하는 기법에 대한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a technique for supporting a user in performing a presentation presentation exercise based on Virtual Reality (VR) in an HMD (Head Mounted Display) device.

최근, 컴퓨터나 스마트폰 또는 태블릿 PC 등이 널리 보급됨에 따라, 이러한 단말기기를 이용하여 전자 문서를 열람, 작성, 편집할 수 있도록 하는 다양한 종류의 전자 문서 관련 프로그램들이 출시되고 있다.2. Description of the Related Art [0002] Recently, various types of electronic document-related programs are being released, such as computers, smart phones, tablet PCs, and the like, which can be used to view, create, and edit electronic documents using such terminal devices.

이러한 전자 문서 관련 프로그램들로는 기본적인 문서의 작성, 편집 등을 지원하는 워드프로세서, 데이터의 입력, 산술연산, 데이터 관리를 보조하는 스프레드시트, 발표자의 발표를 보조하기 위한 프레젠테이션 프로그램들이 있다.Examples of such electronic document related programs include a word processor for basic document creation and editing, a data input, an arithmetic operation, a spreadsheet for supporting data management, and presentation programs for assisting presenters.

아울러, 최근에는 미래 기술의 하나로 급 부상하고 있는 가상현실(Virtual Reality: VR)에 대한 관심이 증대됨에 따라 게임 등에서 이러한 VR을 활용할 수 있는 VR 관련 기기와 소프트웨어도 다수 등장하고 있다.In addition, as interest in virtual reality (VR), which is rapidly emerging as one of future technologies, is increasing, there are many VR related devices and software that can utilize such VR in games and the like.

VR을 구현할 수 있는 대표적인 기기로는 HMD(Head Mounted Display) 장치가 있는데, HMD 장치는 사용자가 안경처럼 머리에 착용한 후 두 눈앞에 있는 디스플레이를 통해서 화면을 볼 수 있는 장치이다.A typical device capable of implementing VR is an HMD (Head Mounted Display) device. The HMD device is a device that allows the user to wear the head like a pair of glasses and then view the screen through a display in front of both eyes.

이러한 HMD 장치의 보급이 활발하게 이루어짐에 따라, HMD 장치를 프레젠테이션 발표에 활용하기 위한 방안이 고려될 수 있다.As the spread of the HMD device is actively developed, a method for utilizing the HMD device for presenting a presentation can be considered.

사용자가 HMD 장치를 착용하고 상기 HMD 장치의 디스플레이부를 통해 VR 영상을 보는 경우, 해당 VR 영상은 사용자의 시야가 변경되더라도 변경된 시야에 대응하는 영상이 보여지도록 하는 360도 영상이라는 점에서 사용자는 HMD 장치를 통해 마치 현실 공간에 있는 듯한 체험을 할 수 있게 된다.When the user wears the HMD device and views the VR image through the display unit of the HMD device, the user can easily recognize that the VR image is a 360-degree image that shows the image corresponding to the changed view even if the user's view is changed, It becomes possible to experience as if it is in a real space.

이와 관련해서, 프레젠테이션 문서를 작성한 후 이를 기초로 발표를 앞둔 사용자에게 HMD 장치를 통해 가상의 청중들이 표시되는 VR 영상을 제공함으로써, 해당 사용자로 하여금 마치 실제로 발표회장에 서 있는 듯한 경험을 제공할 수 있다면, 사용자의 프레젠테이션 발표 연습에 많은 도움이 될 수 있을 것이다.In this regard, it is possible to provide a VR image in which a virtual audience is displayed through a HMD device to a user who has prepared a presentation document based on the presentation document, thereby providing the user with an experience If so, it can be very helpful in practicing your presentation presentation.

따라서, HMD 장치를 통해서 사용자에게 VR 기반의 발표 연습 환경을 제공함으로써, 사용자의 프레젠테이션 발표 연습을 지원할 수 있는 기술의 연구가 필요하다.Therefore, it is necessary to study techniques that can support users' practice of presentation presentation by providing VR-based presentation practice environment to the user through HMD device.

본 발명에 따른 가상현실(Virtual Reality: VR) 기반의 프레젠테이션 발표 연습을 가능하게 하는 HMD(Head Mounted Display) 장치 및 그 동작 방법은 사용자의 발표 연습 상황에 따른 발표 등급을 결정한 후 해당 발표 등급에 대응하는 청중 반응 영상을 상기 HMD 장치의 디스플레이부를 통해 표시되는 VR 기반의 360도 화면 상에 표시함으로써, 사용자가 자신의 발표 태도에 따른 청중 반응 영상을 보고 발표 태도의 교정을 수행할 수 있도록 지원하고자 한다.An HMD (Head Mounted Display) device and a method of operating the same that enable practice of presenting presentation based on Virtual Reality (VR) according to the present invention can be realized by determining a presentation level according to a presentation practice state of a user, Is displayed on a VR-based 360-degree screen displayed on the display unit of the HMD device, so that the user can view the audience reaction image according to his or her presentation attitude and perform the calibration of the presentation attitude .

본 발명의 일실시예에 따른 가상현실(Virtual Reality: VR) 기반의 프레젠테이션 발표 연습을 가능하게 하는 HMD(Head Mounted Display) 장치는 발표자에 대한 청중들의 반응을 나타내는 미리 제작된 복수의 서로 다른 청중 반응 영상들과 상기 복수의 서로 다른 청중 반응 영상들 각각에 대응하는 서로 다른 발표 등급들이 저장되어 있는 청중 반응 영상 저장부, 외부의 모션 인식용 카메라와 연결되어, 상기 모션 인식용 카메라로부터 상기 모션 인식용 카메라를 통해 촬영되는 상기 HMD 장치를 착용한 사용자의 모션 정보를 수신하는 모션 정보 수신부, 상기 HMD 장치에 탑재되어 있는 마이크로폰을 통해 상기 사용자의 발표에 따른 음성을 인식하는 음성 인식부, 상기 사용자의 모션 정보와 상기 사용자의 음성에 기초하여 선정된(predetermined) 주기 간격으로 상기 사용자의 발표 연습에 대한 발표 등급을 결정하는 발표 등급 결정부, 상기 선정된 주기 간격으로 상기 사용자의 발표 연습에 대한 발표 등급이 결정되면, 상기 선정된 주기 간격으로 결정되는 발표 등급에 대응하여 상기 청중 반응 영상 저장부로부터 상기 복수의 서로 다른 청중 반응 영상들 중 상기 결정된 발표 등급에 대응하는 청중 반응 영상을 추출하는 반응 영상 추출부 및 상기 선정된 주기 간격으로, 상기 HMD 장치의 디스플레이부를 통해 표시되는 VR 기반의 360도 화면 상에 각 주기에서 추출된 청중 반응 영상을 표시하는 청중 반응 영상 표시부를 포함한다.An HMD (Head Mounted Display) device that enables practice of presenting a presentation based on a Virtual Reality (VR) according to an embodiment of the present invention includes a plurality of pre-created audience responses An audience response image storage unit in which different presentation classes corresponding to the images and the plurality of different audience response images are stored, and an external motion recognition camera connected to the motion recognition camera, A motion information receiving unit for receiving motion information of a user wearing the HMD device photographed through a camera, a voice recognition unit for recognizing a voice according to the presentation of the user through a microphone mounted on the HMD device, Information of the user and a predetermined period interval based on the user's voice, A presentation class determining unit for determining a presentation grade for the presentation exercises of the user, and if the presentation grade for the presentation exercises of the user is determined at the predetermined period intervals, A response image extracting unit for extracting an audience response image corresponding to the determined announcement rating among the plurality of different audience response images from the image storage unit, and a VR-based And an audience response image display unit for displaying an audience response image extracted in each cycle on a 360-degree screen of the viewer response image display unit.

또한, 본 발명의 일실시예에 따른 VR 기반의 프레젠테이션 발표 연습을 가능하게 하는 HMD 장치의 동작 방법은 발표자에 대한 청중들의 반응을 나타내는 미리 제작된 복수의 서로 다른 청중 반응 영상들과 상기 복수의 서로 다른 청중 반응 영상들 각각에 대응하는 서로 다른 발표 등급들이 저장되어 있는 청중 반응 영상 저장부를 유지하는 단계, 외부의 모션 인식용 카메라와 연결되어, 상기 모션 인식용 카메라로부터 상기 모션 인식용 카메라를 통해 촬영되는 상기 HMD 장치를 착용한 사용자의 모션 정보를 수신하는 단계, 상기 HMD 장치에 탑재되어 있는 마이크로폰을 통해 상기 사용자의 발표에 따른 음성을 인식하는 단계, 상기 사용자의 모션 정보와 상기 사용자의 음성에 기초하여 선정된 주기 간격으로 상기 사용자의 발표 연습에 대한 발표 등급을 결정하는 단계, 상기 선정된 주기 간격으로 상기 사용자의 발표 연습에 대한 발표 등급이 결정되면, 상기 선정된 주기 간격으로 결정되는 발표 등급에 대응하여 상기 청중 반응 영상 저장부로부터 상기 복수의 서로 다른 청중 반응 영상들 중 상기 결정된 발표 등급에 대응하는 청중 반응 영상을 추출하는 단계 및 상기 선정된 주기 간격으로, 상기 HMD 장치의 디스플레이부를 통해 표시되는 VR 기반의 360도 화면 상에 각 주기에서 추출된 청중 반응 영상을 표시하는 단계를 포함한다.In addition, an operation method of an HMD device that enables a VR-based presentation presentation exercise according to an embodiment of the present invention includes a plurality of pre-generated audience response images representing responses of audiences to a speaker, The method comprising the steps of: maintaining an audience response image storage unit in which different presentation grades corresponding to different audience response images are stored; connecting to an external motion recognition camera, A step of receiving motion information of a user wearing the HMD device, recognizing a voice corresponding to a presentation of the user through a microphone mounted on the HMD device, The presentation level of the user's presentation exercises at a predetermined periodic interval Determining a presentation grade for the presentation exercises of the user at the predetermined periodic intervals, determining a plurality of different audience response images from the audience response image storage unit corresponding to the presentation grade determined at the predetermined period interval, Extracting an audience response image corresponding to the determined announcement grade among the plurality of speech response images and extracting an audience response image extracted at each cycle on the VR-based 360-degree screen displayed through the display unit of the HMD device at the predetermined period interval .

본 발명에 따른 가상현실(Virtual Reality: VR) 기반의 프레젠테이션 발표 연습을 가능하게 하는 HMD(Head Mounted Display) 장치 및 그 동작 방법은 사용자의 발표 연습 상황에 따른 발표 등급을 결정한 후 해당 발표 등급에 대응하는 청중 반응 영상을 상기 HMD 장치의 디스플레이부를 통해 표시되는 VR 기반의 360도 화면 상에 표시함으로써, 사용자가 자신의 발표 태도에 따른 청중 반응 영상을 보고 발표 태도의 교정을 수행할 수 있도록 지원할 수 있다.An HMD (Head Mounted Display) device and a method of operating the same that enable practice of presenting presentation based on Virtual Reality (VR) according to the present invention can be realized by determining a presentation level according to a presentation practice state of a user, Is displayed on a VR-based 360-degree screen displayed through the display unit of the HMD device, the user can view the audience response image according to his or her presentation attitude and perform the calibration of the presentation attitude .

도 1은 본 발명의 일실시예에 따른 가상현실(Virtual Reality: VR) 기반의 프레젠테이션 발표 연습을 가능하게 하는 HMD(Head Mounted Display) 장치의 구조를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 VR 기반의 프레젠테이션 발표 연습을 가능하게 하는 HMD 장치의 동작 방법을 도시한 순서도이다.FIG. 1 is a diagram illustrating a structure of an HMD (Head Mounted Display) device that enables practice of presenting a presentation based on a virtual reality (VR) according to an embodiment of the present invention.
FIG. 2 is a flowchart illustrating an operation method of an HMD device that enables a VR-based presentation presentation exercise according to an embodiment of the present invention.

이하에서는 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명하기로 한다. 이러한 설명은 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였으며, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 본 명세서 상에서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 사람에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.Hereinafter, embodiments according to the present invention will be described in detail with reference to the accompanying drawings. It is to be understood that the description is not intended to limit the invention to the specific embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention. Like reference numerals in the drawings are used for similar elements and, unless otherwise defined, all terms used in the specification, including technical and scientific terms, are to be construed in a manner that is familiar to those skilled in the art. It has the same meaning as commonly understood by those who have it.

도 1은 본 발명의 일실시예에 따른 가상현실(Virtual Reality: VR) 기반의 프레젠테이션 발표 연습을 가능하게 하는 HMD(Head Mounted Display) 장치의 구조를 도시한 도면이다.FIG. 1 is a diagram illustrating a structure of an HMD (Head Mounted Display) device that enables practice of presenting a presentation based on a virtual reality (VR) according to an embodiment of the present invention.

도 1을 참조하면, 본 발명에 따른 VR 기반의 프레젠테이션 발표 연습을 가능하게 하는 HMD 장치(110)는 청중 반응 영상 저장부(111), 모션 정보 수신부(112), 음성 인식부(113), 발표 등급 결정부(114), 반응 영상 추출부(115) 및 청중 반응 영상 표시부(116)를 포함한다.Referring to FIG. 1, an HMD device 110 that enables a VR-based presentation presentation exercise according to the present invention includes an audience response image storage unit 111, a motion information receiving unit 112, a voice recognition unit 113, A rating determination unit 114, a reaction image extraction unit 115, and an audience reaction image display unit 116. [

청중 반응 영상 저장부(111)에는 발표자에 대한 청중들의 반응을 나타내는 미리 제작된 복수의 서로 다른 청중 반응 영상들과 상기 복수의 서로 다른 청중 반응 영상들 각각에 대응하는 서로 다른 발표 등급들이 저장되어 있다.The audience response image storage unit 111 stores a plurality of previously prepared audience reaction images representing responses of audiences to the presenter and different presentation ranks corresponding to the plurality of different audience response images .

여기서, 청중 반응 영상이란 다양한 청중들이 자리에 앉아서 발표자의 발표를 청취하는 영상으로 발표자의 발표 상황에 따라 서로 다른 표정을 갖는 청중들에 대한 영상을 의미한다. 예컨대, 발표자의 발표가 뛰어난 상황에 대해서는 웃는 모습이나 집중하는 모습의 청중들을 촬영한 영상일 수 있고, 발표자의 발표가 지루한 상황에서는 졸고 있거나 다른 행동을 하는 청중들을 촬영한 영상일 수 있다.Here, an audience response image is an image in which various audiences sit in a seat and listen to a presenter's presentation, and images of audiences having different facial expressions according to the presentation situation of the presenter. For example, a presenter's announcement may be an image of a smiling or concentrated audience for an excellent situation, or a presenter's presentation may be a video of a listener who is sleeping or performing other actions in a boring situation.

관련해서, 청중 반응 영상 저장부(111)에는 하기의 표 1과 같이 데이터가 저장되어 있을 수 있다.In this regard, the audience response image storage unit 111 may store data as shown in Table 1 below.

청중 반응 영상Audience Reaction Video 발표 등급Presentation rating 반응 영상 1Reaction image 1 1등급1 rating 반응 영상 2Reaction image 2 2등급2 ratings ...... ......

모션 정보 수신부(112)는 외부의 모션 인식용 카메라(미도시)와 연결되어, 상기 모션 인식용 카메라로부터 상기 모션 인식용 카메라를 통해 촬영되는 HMD 장치(110)를 착용한 사용자의 모션 정보를 수신한다.The motion information receiving unit 112 is connected to an external motion recognition camera (not shown) and receives motion information of a user wearing the HMD device 110 photographed through the motion recognition camera from the motion recognition camera do.

음성 인식부(113)는 HMD 장치(110)에 탑재되어 있는 마이크로폰을 통해 상기 사용자의 발표에 따른 음성을 인식한다.The voice recognition unit 113 recognizes the voice according to the user's presentation through the microphone mounted on the HMD device 110.

발표 등급 결정부(114)는 상기 사용자의 모션 정보와 상기 사용자의 음성에 기초하여 선정된(predetermined) 주기 간격으로 상기 사용자의 발표 연습에 대한 발표 등급을 결정한다.The announcement class determining unit 114 determines an announcing grade of the user's presentation exercises at a predetermined periodic interval based on the user's motion information and the user's voice.

반응 영상 추출부(115)는 상기 선정된 주기 간격으로 상기 사용자의 발표 연습에 대한 발표 등급이 결정되면, 상기 선정된 주기 간격으로 결정되는 발표 등급에 대응하여 청중 반응 영상 저장부(111)로부터 상기 복수의 서로 다른 청중 반응 영상들 중 상기 결정된 발표 등급에 대응하는 청중 반응 영상을 추출한다.The response image extracting unit 115 extracts the response image from the audience response image storage unit 111 in response to the announcement grade determined at the predetermined period interval, An audience response image corresponding to the determined announcement grade is extracted from a plurality of different audience response images.

청중 반응 영상 표시부(116)는 상기 선정된 주기 간격으로, HMD 장치(110)의 디스플레이부를 통해 표시되는 VR 기반의 360도 화면 상에 각 주기에서 추출된 청중 반응 영상을 표시한다.The audience response image display unit 116 displays the audience response images extracted at each period on the VR-based 360-degree screen displayed through the display unit of the HMD apparatus 110 at the predetermined period intervals.

예컨대, 특정 주기에서 사용자의 모션 정보와 음성에 따라 결정된 발표 등급이 상기 표 1에서 나타낸 발표 등급 중 '발표 등급 1'로 결정되었다면, 반응 영상 추출부(115)는 청중 반응 영상 저장부(111)로부터 '발표 등급 1'에 대응하여 저장되어 있는 청중 반응 영상인 '반응 영상 1'을 추출할 수 있다.For example, if the announcement class determined according to the user's motion information and voice in a specific period is determined as 'announcement class 1' of the announcement class shown in Table 1, the response image extraction unit 115 extracts the audience response image from the audience response image storage unit 111, The response image 1 'corresponding to the' announcement grade 1 'can be extracted.

그러고 나서, 청중 반응 영상 표시부(116)는 해당 주기에서 HMD 장치(110)의 디스플레이부를 통해 표시되는 VR 기반의 360도 화면 상에 '반응 영상 1'을 표시할 수 있다.Then, the audience reaction video display unit 116 can display 'Response Video 1' on the VR-based 360-degree screen displayed through the display unit of the HMD device 110 in the corresponding period.

이를 통해, HMD 장치(110)를 착용한 사용자는 화면 상에 표시되는 청중 반응 영상을 보고, 자신의 발표 태도가 좋은지 나쁜지 여부를 판단할 수 있고, 이를 기초로 발표 태도에 대한 교정을 수행할 수 있다.Accordingly, the user who wears the HMD device 110 can view the audience reaction image displayed on the screen, determine whether his or her presentation attitude is good or bad, and can calibrate the presentation attitude based on this have.

이때, 본 발명의 일실시예에 따르면, 발표 등급 결정부(114)는 사용자의 발표 연습에 대한 발표 등급을 결정하기 위한 구체적 구성으로, 발표 등급 테이블 유지부(118), 발표 점수 연산부(119) 및 발표 등급 선택부(120)를 포함할 수 있다.According to an embodiment of the present invention, the announcement class determining unit 114 is a concrete structure for determining the announcement grade for the presentation exercises of the user, and includes a presentation grade table holding unit 118, a presentation score computing unit 119, And an announcement class selection unit 120. [

발표 등급 테이블 유지부(118)는 미리 설정된 복수의 서로 다른 발표 점수 범위들과, 청중 반응 영상 저장부(111) 상에 저장되어 있는 상기 서로 다른 발표 등급들 중 각 발표 점수 범위에 대응되도록 미리 설정된 발표 등급이 서로 대응되어 기록되어 있는 발표 등급 테이블을 저장하여 유지한다.The presentation grade table storage unit 118 stores a plurality of different presentation score ranges set in advance and a preset score range that is preset in advance to correspond to each announced score range among the different presentation scores stored on the audience reaction image storage unit 111 The announcement class corresponds to each other and stores the recorded presentation class table.

예컨대, 상기 발표 등급 테이블에는 하기의 표 2와 같이 정보가 기록되어 있을 수 있다.For example, information may be recorded in the presentation grade table as shown in Table 2 below.

서로 다른 발표 점수 범위들Different presentation score ranges 발표 등급Presentation rating 80점~100점80 ~ 100 points 1등급1 rating 60점~80점60 ~ 80 points 2등급2 ratings ...... ......

발표 점수 연산부(119)는 상기 선정된 주기 간격으로 상기 사용자의 모션 정보와 상기 사용자의 음성에 기초하여 발표 점수를 연산한다.The announcement score computing unit 119 calculates the announcement score based on the user's motion information and the user's voice at the predetermined periodic interval.

발표 등급 선택부(120)는 상기 선정된 주기 간격으로 상기 발표 점수가 연산되면, 상기 발표 등급 테이블 상에서 상기 발표 점수가 속해 있는 발표 점수 범위에 대응되어 기록되어 있는 발표 등급을 상기 사용자의 발표 연습에 대한 발표 등급으로 선택한다.When the announcement score is calculated at the predetermined period interval, the announcement class selection unit 120 selects the announcement grade corresponding to the announcement score range to which the announcement score belongs in the announcement grade table, Select the presentation grade.

예컨대, 발표 점수 연산부(119)를 통해 특정 주기에서 상기 사용자의 모션 정보와 음성에 기초하여 연산된 발표 점수가 '85점'이라고 한다면, 발표 등급 선택부(120)는 해당 주기에서 상기 표 2와 같은 발표 등급 테이블을 참조하여 '85점'이라는 발표 점수가 속해 있는 발표 점수 범위에 대응하는 발표 등급인 '1등급'을 상기 사용자의 발표 연습에 대한 발표 등급으로 선택할 수 있다.For example, if the announcement score computed based on the user's motion information and speech in a specific period is '85 points' through the announcement score calculator 119, the announcement class selector 120 selects Referring to the same announcement grade table, the 'grade 1' rating corresponding to the announcement score range to which the announcement score of '85 points' belongs can be selected as the announcement grade for the user's presentation exercises.

이때, 본 발명의 일실시예에 따르면, 발표 점수 연산부(119)는 모션 점수 테이블 유지부(121), 음고(pitch) 점수 테이블 유지부(122), 모션 점수 추출부(123), 음고 점수 추출부(124) 및 발표 점수 생성부(125)를 포함할 수 있다.According to an embodiment of the present invention, the presentation score computing unit 119 includes a motion score table holding unit 121, a pitch score table holding unit 122, a motion score extracting unit 123, Unit 124 and a presentation score generation unit 125. [0033] FIG.

모션 점수 테이블 유지부(121)는 미리 설정된 복수의 서로 다른 이동 거리 범위들 별로 대응되는 모션 점수가 기록되어 있는 모션 점수 테이블을 저장하여 유지한다.The motion score table holding unit 121 stores and maintains a motion score table in which motion scores corresponding to a plurality of different movement distance ranges set in advance are recorded.

예컨대, 상기 모션 점수 테이블에는 하기의 표 3과 같이 정보가 기록되어 있을 수 있다.For example, information may be recorded in the motion score table as shown in Table 3 below.

서로 다른 이동 거리 범위들Different travel ranges 모션 점수Motion score 0~50cm0 ~ 50cm 10점10 points 50~100cm50 ~ 100cm 20점20 points ...... ......

음고 점수 테이블 유지부(122)는 미리 설정된 복수의 서로 다른 음고 범위들 별로 대응되는 음고 점수가 기록되어 있는 음고 점수 테이블을 저장하여 유지한다.The tone score table retaining unit 122 stores and maintains a tone score table in which the tone score corresponding to each of a plurality of different tone pitch ranges is recorded.

예컨대, 상기 음고 점수 테이블에는 하기의 표 4와 같이 정보가 기록되어 있을 수 있다.For example, information may be recorded in the tone score table as shown in Table 4 below.

서로 다른 음고 범위들Different pitch ranges 음고 점수Pitch score 0~20Hz0 to 20Hz 10점10 points 20~100Hz20-100 Hz 20점20 points ...... ......

모션 점수 추출부(123)는 상기 선정된 주기 간격으로, 각 주기에서의 상기 사용자의 모션 정보에 따른 사용자의 총 이동 거리를 확인하여 상기 모션 점수 테이블 상에서 상기 사용자의 총 이동 거리가 속해 있는 이동 거리 범위에 대응되어 기록되어 있는 제1 모션 점수를 추출한다.The motion score extracting unit 123 identifies the total movement distance of the user according to the motion information of the user in each cycle at the predetermined cycle interval and calculates the movement distance of the user's total movement distance on the motion score table The first motion score recorded in association with the range is extracted.

예컨대, 상기 선정된 주기를 '60초'라고 하는 경우, 모션 점수 추출부(123)는 사용자의 모션 정보를 기초로 '60초'동안의 사용자의 총 이동 거리를 확인한 후 상기 모션 점수 테이블 상에서 상기 사용자의 총 이동 거리가 속해 있는 이동 거리 범위에 대응되어 기록되어 있는 제1 모션 점수를 추출할 수 있다.For example, when the predetermined period is '60 seconds', the motion score extracting unit 123 checks the total movement distance of the user for '60 seconds' based on the motion information of the user, The first motion score recorded corresponding to the movement distance range to which the total movement distance of the user belongs can be extracted.

음고 점수 추출부(124)는 상기 선정된 주기 간격으로, 각 주기에서의 상기 사용자의 음성에 따른 사용자의 음고의 평균 값을 확인하여 상기 음고 점수 테이블 상에서 상기 사용자의 음고의 평균 값이 속해 있는 음고 범위에 대응되어 기록되어 있는 제1 음고 점수를 추출한다.The tone score extractor 124 checks an average value of the tone of the user according to the user's voice in each cycle at the above-mentioned periodic interval, and calculates the average value of the tone of the user, And extracts the recorded first tone pitch score corresponding to the range.

예컨대, 상기 선정된 주기를 '60초'라고 하는 경우, 음고 점수 추출부(124)는 사용자의 음성을 기초로 '60초'동안 발생한 사용자의 음고의 평균 값을 확인한 후 상기 음고 점수 테이블 상에서 상기 사용자의 음고의 평균 값이 속해 있는 음고 범위에 대응되어 기록되어 있는 제1 음고 점수를 추출할 수 있다.For example, when the predetermined period is '60 seconds', the tone score extractor 124 checks the average value of the tone generated by the user during '60 seconds' based on the user's voice, It is possible to extract the recorded first tone pitch score corresponding to the tone pitch range to which the average value of the user's tone pitch belongs.

발표 점수 생성부(125)는 상기 선정된 주기 간격으로, 각 주기에서 추출된 상기 제1 모션 점수와 상기 제1 음고 점수의 합산 값을 기초로 상기 발표 점수를 생성한다.The presentation score generating unit 125 generates the presentation score based on the sum of the first motion score and the first tone score extracted in each period at the predetermined period interval.

이때, 본 발명의 일실시예에 따르면, 발표 점수 연산부(119)는 무음 구간 확인부(126)를 더 포함할 수 있다.In this case, according to an embodiment of the present invention, the announcement score calculator 119 may further include a silence interval checker 126.

무음 구간 확인부(126)는 상기 선정된 주기 간격으로, 각 주기에서 상기 사용자의 음성이 인식되지 않는 무음 구간이 선정된 기준 시간을 초과하는 경우가 발생하는지 여부를 확인한다.The silence interval checking unit 126 checks whether or not a silent interval during which the user's voice is not recognized in each cycle exceeds the predetermined reference time at the predetermined periodicity interval.

이때, 발표 점수 생성부(125)는 상기 선정된 주기 간격으로, 각 주기에서 추출된 상기 제1 모션 점수와 상기 제1 음고 점수의 합산 값을 연산한 후 상기 무음 구간이 상기 선정된 기준 시간을 초과하는 것으로 확인된 경우, 상기 합산 값에 대해 상기 합산 값의 크기를 감소시키기 위해서 미리 설정된 가중치를 곱하여 상기 발표 점수를 생성하고, 상기 무음 구간이 상기 선정된 기준 시간을 초과하지 않는 것으로 확인된 경우, 상기 합산 값을 상기 발표 점수로 생성할 수 있다.At this time, the announcement score generating unit 125 calculates the summation value of the first motion score and the first tone pitch score extracted in each cycle at the predetermined period interval, and then, the silence interval calculates the predetermined reference time When it is determined that the silence interval does not exceed the predetermined reference time, generating the announcement score by multiplying the sum value by a predetermined weight to reduce the size of the sum value, and if the silence interval is determined not to exceed the predetermined reference time , The summed value may be generated as the announcement score.

즉, 사용자가 발표를 하는 도중 소정 시간을 초과하는 무음 구간이 존재한다면, 해당 발표는 적절하지 못한 발표로 볼 수 있기 때문에 발표 점수가 낮게 연산되도록 하기 위해서, 발표 점수 생성부(125)는 상기 제1 모션 점수와 상기 제1 음고 점수의 합산 값에 대해 상기 합산 값의 크기를 감소시키기 위해서 미리 설정된 가중치를 곱하여 상기 발표 점수를 생성할 수 있다.That is, if there is a silent section exceeding a predetermined time during presentation, the presentation score generation unit 125 generates a presentation score so that the presentation score may be calculated to be low because the presentation is inappropriate. 1 motion score and the first lyric score by multiplying the sum value by a predetermined weight so as to reduce the size of the sum value.

본 발명의 일실시예에 따르면, VR 기반의 프레젠테이션 발표 연습을 가능하게 하는 HMD 장치(110)는 기본 반응 영상 표시부(117)를 더 포함할 수 있다.According to an embodiment of the present invention, the HMD device 110 that enables a VR-based presentation presentation exercise may further include a basic reaction image display unit 117. [

기본 반응 영상 표시부(117)는 HMD 장치(110)를 착용한 사용자에 의해 발표 연습 시작 명령이 최초로 인가되면, 청중 반응 영상 저장부(111)로부터 상기 복수의 서로 다른 청중 반응 영상들 중 선정된 기본 발표 등급에 대응하여 저장되어 있는 기본 청중 반응 영상을 추출하여 상기 VR 기반의 360도 화면 상에 상기 기본 청중 반응 영상을 최초로 표시한다.The basic reaction image display unit 117 displays a response image from the audience response image storage unit 111 when a presentation practice start command is first applied by a user wearing the HMD apparatus 110, The basic audience reaction image stored corresponding to the presentation grade is extracted and the basic audience reaction image is first displayed on the 360-degree screen based on the VR.

즉, 청중 반응 영상 저장부(111)에 저장되어 있는 발표 등급들 중에서는 사용자가 최초로 발표 연습을 수행할 때 화면 상에 기본 청중 반응 영상을 표시하기 위해서 미리 설정된 기본 발표 등급이 존재할 수 있고, 이로 인해 기본 반응 영상 표시부(117)는 사용자에 의해 발표 연습 시작 명령이 최초로 인가되면, 청중 반응 영상 저장부(111)로부터 기본 발표 등급에 대응하여 저장되어 있는 기본 청중 반응 영상을 추출하여 화면 상에 표시할 수 있다. 그 이후, 사용자가 발표 연습을 수행하게 되면, 본 발명에 따른 VR 기반의 프레젠테이션 발표 연습을 가능하게 하는 HMD 장치(110)는 상기 선정된 주기 간격으로 사용자의 발표 연습에 따른 발표 등급을 결정한 후 해당 발표 등급에 따른 청중 반응 영상을 화면 상에 표시하게 된다.In other words, among the presentation classes stored in the audience reaction image storage unit 111, there may exist a predetermined basic presentation grade for displaying the basic audience reaction image on the screen when the user performs the presentation practice for the first time, The basic reaction image display unit 117 extracts the basic audience reaction image stored in correspondence with the basic presentation grade from the audience reaction image storage unit 111 and displays it on the screen when the presentation start instruction is first applied by the user can do. Thereafter, when the user performs the presentation exercise, the HMD device 110 that enables the VR-based presentation presentation exercise according to the present invention determines the presentation level according to the presentation practice of the user at the predetermined periodic interval, The audience reaction image according to the presentation grade is displayed on the screen.

도 2는 본 발명의 일실시예에 따른 VR 기반의 프레젠테이션 발표 연습을 가능하게 하는 HMD 장치의 동작 방법을 도시한 순서도이다.FIG. 2 is a flowchart illustrating an operation method of an HMD device that enables a VR-based presentation presentation exercise according to an embodiment of the present invention.

단계(S210)에서는 발표자에 대한 청중들의 반응을 나타내는 미리 제작된 복수의 서로 다른 청중 반응 영상들과 상기 복수의 서로 다른 청중 반응 영상들 각각에 대응하는 서로 다른 발표 등급들이 저장되어 있는 청중 반응 영상 저장부를 유지한다.In step S210, a plurality of pre-created audience response images representing responses of the audience to the speaker and an audience response image storing different presentation ratings corresponding to the plurality of different audience response images are stored Maintain wealth.

단계(S220)에서는 외부의 모션 인식용 카메라와 연결되어, 상기 모션 인식용 카메라로부터 상기 모션 인식용 카메라를 통해 촬영되는 상기 HMD 장치를 착용한 사용자의 모션 정보를 수신한다.In step S220, the motion recognition camera is connected to an external motion recognition camera, and receives motion information of a user wearing the HMD device photographed through the motion recognition camera from the motion recognition camera.

단계(S230)에서는 상기 HMD 장치에 탑재되어 있는 마이크로폰을 통해 상기 사용자의 발표에 따른 음성을 인식한다.In step S230, a voice corresponding to the announcement of the user is recognized through the microphone mounted on the HMD device.

단계(S240)에서는 상기 사용자의 모션 정보와 상기 사용자의 음성에 기초하여 선정된 주기 간격으로 상기 사용자의 발표 연습에 대한 발표 등급을 결정한다.In step S240, the presentation level for the presentation practice of the user is determined at a predetermined period interval based on the user's motion information and the user's voice.

단계(S250)에서는 상기 선정된 주기 간격으로 상기 사용자의 발표 연습에 대한 발표 등급이 결정되면, 상기 선정된 주기 간격으로 결정되는 발표 등급에 대응하여 상기 청중 반응 영상 저장부로부터 상기 복수의 서로 다른 청중 반응 영상들 중 상기 결정된 발표 등급에 대응하는 청중 반응 영상을 추출한다.In step S250, if the announcement class for the presentation practice of the user is determined at the predetermined periodic interval, the audience response image storage unit stores the plurality of different audiences An audience response image corresponding to the determined announcement grade is extracted from the response images.

단계(S260)에서는 상기 선정된 주기 간격으로, 상기 HMD 장치의 디스플레이부를 통해 표시되는 VR 기반의 360도 화면 상에 각 주기에서 추출된 청중 반응 영상을 표시한다.In step S260, the audience reaction images extracted in each cycle are displayed on the 360-degree VR-based screen displayed through the display unit of the HMD device at the predetermined period intervals.

이때, 본 발명의 일실시예에 따르면, 상기 VR 기반의 프레젠테이션 발표 연습을 가능하게 하는 HMD 장치의 동작 방법은 상기 HMD 장치를 착용한 사용자에 의해 발표 연습 시작 명령이 최초로 인가되면, 상기 청중 반응 영상 저장부로부터 상기 복수의 서로 다른 청중 반응 영상들 중 선정된 기본 발표 등급에 대응하여 저장되어 있는 기본 청중 반응 영상을 추출하여 상기 VR 기반의 360도 화면 상에 상기 기본 청중 반응 영상을 최초로 표시하는 단계를 더 포함할 수 있다.According to an embodiment of the present invention, an operation method of an HMD device that enables a VR-based presentation presentation practice is characterized in that when a presentation exercise start command is first applied by a user wearing the HMD device, Extracting a basic audience reaction image stored corresponding to a predetermined basic presentation rating among the plurality of different audience reaction images from the storage unit and displaying the basic audience reaction image on the 360-degree screen based on the VR for the first time As shown in FIG.

또한, 본 발명의 일실시예에 따르면, 단계(S240)에서는 미리 설정된 복수의 서로 다른 발표 점수 범위들과, 상기 청중 반응 영상 저장부 상에 저장되어 있는 상기 서로 다른 발표 등급들 중 각 발표 점수 범위에 대응되도록 미리 설정된 발표 등급이 서로 대응되어 기록되어 있는 발표 등급 테이블을 저장하여 유지하는 단계, 상기 선정된 주기 간격으로 상기 사용자의 모션 정보와 상기 사용자의 음성에 기초하여 발표 점수를 연산하는 단계 및 상기 선정된 주기 간격으로 상기 발표 점수가 연산되면, 상기 발표 등급 테이블 상에서 상기 발표 점수가 속해 있는 발표 점수 범위에 대응되어 기록되어 있는 발표 등급을 상기 사용자의 발표 연습에 대한 발표 등급으로 선택하는 단계를 포함할 수 있다.In addition, according to an embodiment of the present invention, in step S240, a plurality of different presentation score ranges and a presentation score range of the different presentation classes stored on the audience reaction image storage unit Storing a presentation grade table in which predetermined presentation grades are associated with each other and storing the presentation grade table; calculating a presentation score based on the user's motion information and the user's voice at the predetermined periodic interval; Selecting the announcement grade corresponding to the announcement score range to which the announcement score belongs on the announcement grade table as the announcement grade for the presentation practice of the user when the announcement score is calculated at the predetermined periodic interval .

이때, 본 발명의 일실시예에 따르면, 상기 발표 점수를 연산하는 단계는 미리 설정된 복수의 서로 다른 이동 거리 범위들 별로 대응되는 모션 점수가 기록되어 있는 모션 점수 테이블을 저장하여 유지하는 단계, 미리 설정된 복수의 서로 다른 음고 범위들 별로 대응되는 음고 점수가 기록되어 있는 음고 점수 테이블을 저장하여 유지하는 단계, 상기 선정된 주기 간격으로, 각 주기에서의 상기 사용자의 모션 정보에 따른 사용자의 총 이동 거리를 확인하여 상기 모션 점수 테이블 상에서 상기 사용자의 총 이동 거리가 속해 있는 이동 거리 범위에 대응되어 기록되어 있는 제1 모션 점수를 추출하는 단계, 상기 선정된 주기 간격으로, 각 주기에서의 상기 사용자의 음성에 따른 사용자의 음고의 평균 값을 확인하여 상기 음고 점수 테이블 상에서 상기 사용자의 음고의 평균 값이 속해 있는 음고 범위에 대응되어 기록되어 있는 제1 음고 점수를 추출하는 단계 및 상기 선정된 주기 간격으로, 각 주기에서 추출된 상기 제1 모션 점수와 상기 제1 음고 점수의 합산 값을 기초로 상기 발표 점수를 생성하는 단계를 포함할 수 있다.According to an embodiment of the present invention, the step of calculating the announcement score includes storing and maintaining a motion score table in which motion scores corresponding to a plurality of different movement distance ranges set in advance are recorded, Storing and maintaining a tone score table in which a tone score corresponding to each of a plurality of different pitch ranges is recorded; and storing a total movement distance of the user according to the user's motion information in each cycle at the selected period interval Extracting a recorded first motion score corresponding to a movement distance range to which the total movement distance of the user belongs on the motion score table; The average value of the tone of the user according to the tone score table, Extracting a recorded first tone pitch score corresponding to a tone pitch range to which an average value of the tone pitch of the first tone score belongs; and calculating a sum of the first motion score and the first tone pitch And generating the announcement score based on the value.

이때, 본 발명의 일실시예에 따르면, 상기 발표 점수를 연산하는 단계는 상기 선정된 주기 간격으로, 각 주기에서 상기 사용자의 음성이 인식되지 않는 무음 구간이 선정된 기준 시간을 초과하는 경우가 발생하는지 여부를 확인하는 단계를 더 포함할 수 있고, 상기 발표 점수를 생성하는 단계는 상기 선정된 주기 간격으로, 각 주기에서 추출된 상기 제1 모션 점수와 상기 제1 음고 점수의 합산 값을 연산한 후 상기 무음 구간이 상기 선정된 기준 시간을 초과하는 것으로 확인된 경우, 상기 합산 값에 대해 상기 합산 값의 크기를 감소시키기 위해서 미리 설정된 가중치를 곱하여 상기 발표 점수를 생성하고, 상기 무음 구간이 상기 선정된 기준 시간을 초과하지 않는 것으로 확인된 경우, 상기 합산 값을 상기 발표 점수로 생성할 수 있다.In this case, according to an embodiment of the present invention, the step of calculating the announcement score may include a case in which the silent section in which the voice of the user is not recognized in each cycle exceeds the predetermined reference time in the predetermined cycle interval Wherein the step of generating the announcement score includes calculating a summation value of the first motion score and the first tone score extracted in each cycle at the predetermined period interval Generating the announcement score by multiplying the sum value by a preset weight to reduce the magnitude of the sum value when the silent interval is determined to exceed the predetermined reference time, If it is determined that the reference time does not exceed the reference time, the summation value can be generated as the announcement score.

이상, 도 2를 참조하여 본 발명의 일실시예에 따른 VR 기반의 프레젠테이션 발표 연습을 가능하게 하는 HMD 장치의 동작 방법에 대해 설명하였다. 여기서, 본 발명의 일실시예에 따른 VR 기반의 프레젠테이션 발표 연습을 가능하게 하는 HMD 장치의 동작 방법은 도 1을 이용하여 설명한 VR 기반의 프레젠테이션 발표 연습을 가능하게 하는 HMD 장치(110)의 동작에 대한 구성과 대응될 수 있으므로, 이에 대한 보다 상세한 설명은 생략하기로 한다.2, an operation method of the HMD device that enables a VR-based presentation presentation exercise according to an embodiment of the present invention has been described. Here, an operation method of an HMD device enabling a VR-based presentation presentation exercise according to an embodiment of the present invention is similar to the operation of the HMD device 110 that enables a VR-based presentation presentation exercise described with reference to FIG. 1 And therefore, a detailed description thereof will be omitted.

본 발명의 일실시예에 따른 VR 기반의 프레젠테이션 발표 연습을 가능하게 하는 HMD 장치의 동작 방법은 컴퓨터와의 결합을 통해 실행시키기 위한 저장매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다.An operation method of an HMD device that enables a VR-based presentation presentation exercise according to an embodiment of the present invention can be implemented by a computer program stored in a storage medium for execution through a combination with a computer.

또한, 본 발명의 일실시예에 따른 VR 기반의 프레젠테이션 발표 연습을 가능하게 하는 HMD 장치의 동작 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. In addition, the operation method of the HMD device that enables the VR-based presentation presentation exercise according to the embodiment of the present invention can be implemented in the form of a program command which can be executed through various computer means and recorded in a computer readable medium . The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions recorded on the medium may be those specially designed and constructed for the present invention or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like.

이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. As described above, the present invention has been described with reference to particular embodiments, such as specific elements, and specific embodiments and drawings. However, it should be understood that the present invention is not limited to the above- And various modifications and changes may be made thereto by those skilled in the art to which the present invention pertains.

따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.Accordingly, the spirit of the present invention should not be construed as being limited to the embodiments described, and all of the equivalents or equivalents of the claims, as well as the following claims, belong to the scope of the present invention .

110: VR 기반의 프레젠테이션 발표 연습을 가능하게 하는 HMD 장치
111: 청중 반응 영상 저장부 112: 모션 정보 수신부
113: 음성 인식부 114: 발표 등급 결정부
115: 반응 영상 추출부 116: 청중 반응 영상 표시부
117: 기본 반응 영상 표시부 118: 발표 등급 테이블 유지부
119: 발표 점수 연산부 120: 발표 등급 선택부
121: 모션 점수 테이블 유지부 122: 음고 점수 테이블 유지부
123: 모션 점수 추출부 124: 음고 점수 추출부
125: 발표 점수 생성부 126: 무음 구간 확인부110: HMD device that enables VR-based presentation presentation exercises
111: Audience reaction image storage unit 112: Motion information receiving unit
113: Speech recognition unit 114: Presentation rating determination unit
115: reaction image extracting unit 116: audience reaction image display unit
117: basic reaction image display part 118: presentation grade table holding part
119: Presentation score calculation unit 120: Presentation rating selection unit
121: Motion score table holding unit 122: Sound score table holding unit
123: motion score extracting unit 124: tone score extracting unit
125: Presentation score generating unit 126: Silent interval checking unit

Claims (12)

가상현실(Virtual Reality: VR) 기반의 프레젠테이션 발표 연습을 가능하게 하는 HMD(Head Mounted Display) 장치에 있어서,
발표자에 대한 청중들의 반응을 나타내는 미리 제작된 복수의 서로 다른 청중 반응 영상들과 상기 복수의 서로 다른 청중 반응 영상들 각각에 대응하는 서로 다른 발표 등급들이 저장되어 있는 청중 반응 영상 저장부;
외부의 모션 인식용 카메라와 연결되어, 상기 모션 인식용 카메라로부터 상기 모션 인식용 카메라를 통해 촬영되는 상기 HMD 장치를 착용한 사용자의 모션 정보를 수신하는 모션 정보 수신부;
상기 HMD 장치에 탑재되어 있는 마이크로폰을 통해 상기 사용자의 발표에 따른 음성을 인식하는 음성 인식부;
상기 사용자의 모션 정보와 상기 사용자의 음성에 기초하여 선정된(predetermined) 주기 간격으로 상기 사용자의 발표 연습에 대한 발표 등급을 결정하는 발표 등급 결정부;
상기 선정된 주기 간격으로 상기 사용자의 발표 연습에 대한 발표 등급이 결정되면, 상기 선정된 주기 간격으로 결정되는 발표 등급에 대응하여 상기 청중 반응 영상 저장부로부터 상기 복수의 서로 다른 청중 반응 영상들 중 상기 결정된 발표 등급에 대응하는 청중 반응 영상을 추출하는 반응 영상 추출부; 및
상기 선정된 주기 간격으로, 상기 HMD 장치의 디스플레이부를 통해 표시되는 VR 기반의 360도 화면 상에 각 주기에서 추출된 청중 반응 영상을 표시하는 청중 반응 영상 표시부
를 포함하는 VR 기반의 프레젠테이션 발표 연습을 가능하게 하는 HMD 장치.1. An HMD (Head Mounted Display) device for practicing presentation of a virtual reality (VR) based presentation,
An audience response image storage unit in which a plurality of different audience response images representing responses of the audience to the speaker and different presentation ranks corresponding to the plurality of different audience response images are stored;
A motion information receiving unit coupled to an external motion recognition camera for receiving motion information of a user wearing the HMD device photographed through the motion recognition camera from the motion recognition camera;
A voice recognition unit for recognizing a voice corresponding to the announcement of the user through a microphone mounted on the HMD device;
A presentation class determining unit for determining a presentation grade of the presentation exercises of the user at predetermined period intervals based on the user's motion information and the user's voice;
Wherein the presentation response information includes at least one of a plurality of different response response images from the audience response image storing unit corresponding to the announcement grade determined at the predetermined period interval, A reaction image extracting unit for extracting an audience response image corresponding to the determined presentation grade; And
An audience response image display unit for displaying an audience response image extracted in each cycle on a VR-based 360-degree screen displayed through the display unit of the HMD apparatus at the predetermined periodic intervals;
The present invention provides an HMD device capable of practicing presentation of a VR-based presentation including a presentation of a VR-based presentation. 제1항에 있어서,
상기 HMD 장치를 착용한 사용자에 의해 발표 연습 시작 명령이 최초로 인가되면, 상기 청중 반응 영상 저장부로부터 상기 복수의 서로 다른 청중 반응 영상들 중 선정된 기본 발표 등급에 대응하여 저장되어 있는 기본 청중 반응 영상을 추출하여 상기 VR 기반의 360도 화면 상에 상기 기본 청중 반응 영상을 최초로 표시하는 기본 반응 영상 표시부
를 더 포함하는 VR 기반의 프레젠테이션 발표 연습을 가능하게 하는 HMD 장치.The method according to claim 1,
Wherein when a presentation start instruction is first applied by a user wearing the HMD device, a basic audience reaction image stored in correspondence with a predetermined basic presentation level among the plurality of different audience response images from the audience reaction image storage unit And displays the basic response image on the VR-based 360-degree screen for the first time.
Wherein the VR-based presentation presentation practice further comprises: 제1항에 있어서,
상기 발표 등급 결정부는
미리 설정된 복수의 서로 다른 발표 점수 범위들과, 상기 청중 반응 영상 저장부 상에 저장되어 있는 상기 서로 다른 발표 등급들 중 각 발표 점수 범위에 대응되도록 미리 설정된 발표 등급이 서로 대응되어 기록되어 있는 발표 등급 테이블을 저장하여 유지하는 발표 등급 테이블 유지부;
상기 선정된 주기 간격으로 상기 사용자의 모션 정보와 상기 사용자의 음성에 기초하여 발표 점수를 연산하는 발표 점수 연산부; 및
상기 선정된 주기 간격으로 상기 발표 점수가 연산되면, 상기 발표 등급 테이블 상에서 상기 발표 점수가 속해 있는 발표 점수 범위에 대응되어 기록되어 있는 발표 등급을 상기 사용자의 발표 연습에 대한 발표 등급으로 선택하는 발표 등급 선택부
를 포함하는 VR 기반의 프레젠테이션 발표 연습을 가능하게 하는 HMD 장치.The method according to claim 1,
The announcement class determining unit
A plurality of different presentation score ranges set in advance and a presentation rating in which predetermined presentation scores corresponding to respective presentation score ranges of the different presentation scores stored in the audience reaction image storage unit correspond to each other, A presentation class table holding unit for storing and maintaining a table;
A presentation score calculating unit for calculating a presentation score based on the user's motion information and the user's voice at the predetermined periodic interval; And
Wherein the presentation score is calculated by dividing the presentation score corresponding to the presentation score range to which the presentation score belongs on the presentation grade table into the presentation grade for the presentation practice of the user, Selection unit
The present invention provides an HMD device capable of practicing presentation of a VR-based presentation including a presentation of a VR-based presentation. 제3항에 있어서,
상기 발표 점수 연산부는
미리 설정된 복수의 서로 다른 이동 거리 범위들 별로 대응되는 모션 점수가 기록되어 있는 모션 점수 테이블을 저장하여 유지하는 모션 점수 테이블 유지부;
미리 설정된 복수의 서로 다른 음고(pitch) 범위들 별로 대응되는 음고 점수가 기록되어 있는 음고 점수 테이블을 저장하여 유지하는 음고 점수 테이블 유지부;
상기 선정된 주기 간격으로, 각 주기에서의 상기 사용자의 모션 정보에 따른 사용자의 총 이동 거리를 확인하여 상기 모션 점수 테이블 상에서 상기 사용자의 총 이동 거리가 속해 있는 이동 거리 범위에 대응되어 기록되어 있는 제1 모션 점수를 추출하는 모션 점수 추출부;
상기 선정된 주기 간격으로, 각 주기에서의 상기 사용자의 음성에 따른 사용자의 음고의 평균 값을 확인하여 상기 음고 점수 테이블 상에서 상기 사용자의 음고의 평균 값이 속해 있는 음고 범위에 대응되어 기록되어 있는 제1 음고 점수를 추출하는 음고 점수 추출부; 및
상기 선정된 주기 간격으로, 각 주기에서 추출된 상기 제1 모션 점수와 상기 제1 음고 점수의 합산 값을 기초로 상기 발표 점수를 생성하는 발표 점수 생성부
를 포함하는 VR 기반의 프레젠테이션 발표 연습을 가능하게 하는 HMD 장치.The method of claim 3,
The announcement score calculation unit
A motion score table storage unit for storing and holding a motion score table in which motion scores corresponding to a plurality of different movement distance ranges are recorded;
A tone score table storing unit for storing and maintaining a tone score table in which a tone score corresponding to each of a plurality of different pitch ranges is recorded;
And determining a total movement distance of the user according to the motion information of the user in each cycle at the predetermined periodic interval, and comparing the total movement distance of the user recorded in the motion score table with the movement distance range to which the total movement distance of the user belongs, A motion score extracting unit for extracting one motion score;
And checking the average value of the user's tone according to the user's voice in each cycle at the predetermined periodic interval to determine a tone value range corresponding to a tone range in which the average value of the tone of the user belongs in the tone- A tone score extracting unit for extracting a tone score; And
A presentation score generating unit for generating the presentation score based on the sum of the first motion score and the first tone pitch score extracted at each cycle,
The present invention provides an HMD device capable of practicing presentation of a VR-based presentation including a presentation of a VR-based presentation. 제4항에 있어서,
상기 발표 점수 연산부는
상기 선정된 주기 간격으로, 각 주기에서 상기 사용자의 음성이 인식되지 않는 무음 구간이 선정된 기준 시간을 초과하는 경우가 발생하는지 여부를 확인하는 무음 구간 확인부
를 더 포함하고,
상기 발표 점수 생성부는
상기 선정된 주기 간격으로, 각 주기에서 추출된 상기 제1 모션 점수와 상기 제1 음고 점수의 합산 값을 연산한 후 상기 무음 구간이 상기 선정된 기준 시간을 초과하는 것으로 확인된 경우, 상기 합산 값에 대해 상기 합산 값의 크기를 감소시키기 위해서 미리 설정된 가중치를 곱하여 상기 발표 점수를 생성하고, 상기 무음 구간이 상기 선정된 기준 시간을 초과하지 않는 것으로 확인된 경우, 상기 합산 값을 상기 발표 점수로 생성하는 VR 기반의 프레젠테이션 발표 연습을 가능하게 하는 HMD 장치.5. The method of claim 4,
The announcement score calculation unit
A silence interval checking unit for checking whether or not a silent interval during which the voice of the user is not recognized in each cycle exceeds a predetermined reference time,
Further comprising:
The announcement score generating unit
Calculating a summation value of the first motion score and the first tone pitch score extracted in each cycle at the predetermined period interval, and if it is determined that the silent section exceeds the predetermined reference time, Generating the announcement score by multiplying the predetermined sum by a preset weight to reduce the size of the sum value, and if the silent section is determined not to exceed the predetermined reference time, The HMD device enables practicing VR-based presentation presentations. 가상현실(Virtual Reality: VR) 기반의 프레젠테이션 발표 연습을 가능하게 하는 HMD(Head Mounted Display) 장치의 동작 방법에 있어서,
발표자에 대한 청중들의 반응을 나타내는 미리 제작된 복수의 서로 다른 청중 반응 영상들과 상기 복수의 서로 다른 청중 반응 영상들 각각에 대응하는 서로 다른 발표 등급들이 저장되어 있는 청중 반응 영상 저장부를 유지하는 단계;
외부의 모션 인식용 카메라와 연결되어, 상기 모션 인식용 카메라로부터 상기 모션 인식용 카메라를 통해 촬영되는 상기 HMD 장치를 착용한 사용자의 모션 정보를 수신하는 단계;
상기 HMD 장치에 탑재되어 있는 마이크로폰을 통해 상기 사용자의 발표에 따른 음성을 인식하는 단계;
상기 사용자의 모션 정보와 상기 사용자의 음성에 기초하여 선정된(predetermined) 주기 간격으로 상기 사용자의 발표 연습에 대한 발표 등급을 결정하는 단계;
상기 선정된 주기 간격으로 상기 사용자의 발표 연습에 대한 발표 등급이 결정되면, 상기 선정된 주기 간격으로 결정되는 발표 등급에 대응하여 상기 청중 반응 영상 저장부로부터 상기 복수의 서로 다른 청중 반응 영상들 중 상기 결정된 발표 등급에 대응하는 청중 반응 영상을 추출하는 단계; 및
상기 선정된 주기 간격으로, 상기 HMD 장치의 디스플레이부를 통해 표시되는 VR 기반의 360도 화면 상에 각 주기에서 추출된 청중 반응 영상을 표시하는 단계
를 포함하는 VR 기반의 프레젠테이션 발표 연습을 가능하게 하는 HMD 장치의 동작 방법.A method of operating an HMD (Head Mounted Display) device that enables a virtual reality (VR) based presentation presentation exercise,
Maintaining an audience response image storage unit in which a plurality of different audience response images representing responses of the audience to the speaker and different presentation ratings corresponding to the plurality of different audience response images are stored;
Receiving motion information of a user wearing the HMD device photographed through the motion recognition camera from the motion recognition camera in connection with an external motion recognition camera;
Recognizing a voice according to the user's presentation through a microphone mounted on the HMD device;
Determining an announcement grade for the presentation practice of the user at a predetermined periodic interval based on the user's motion information and the user's voice;
Wherein the presentation response information includes at least one of a plurality of different response response images from the audience response image storing unit corresponding to the announcement grade determined at the predetermined period interval, Extracting an audience response image corresponding to the determined announcement grade; And
Displaying an audience response image extracted at each cycle on a VR-based 360-degree screen displayed through the display unit of the HMD device at the predetermined periodic interval
Wherein the VR-based presentation presentation exercises include: 제6항에 있어서,
상기 HMD 장치를 착용한 사용자에 의해 발표 연습 시작 명령이 최초로 인가되면, 상기 청중 반응 영상 저장부로부터 상기 복수의 서로 다른 청중 반응 영상들 중 선정된 기본 발표 등급에 대응하여 저장되어 있는 기본 청중 반응 영상을 추출하여 상기 VR 기반의 360도 화면 상에 상기 기본 청중 반응 영상을 최초로 표시하는 단계
를 더 포함하는 VR 기반의 프레젠테이션 발표 연습을 가능하게 하는 HMD 장치의 동작 방법.The method according to claim 6,
Wherein when a presentation start instruction is first applied by a user wearing the HMD device, a basic audience reaction image stored in correspondence with a predetermined basic presentation level among the plurality of different audience response images from the audience reaction image storage unit And displaying the basic audience reaction image on the VR-based 360-degree screen for the first time
Wherein the VR-based presentation presentation practice further comprises: 제6항에 있어서,
상기 발표 등급을 결정하는 단계는
미리 설정된 복수의 서로 다른 발표 점수 범위들과, 상기 청중 반응 영상 저장부 상에 저장되어 있는 상기 서로 다른 발표 등급들 중 각 발표 점수 범위에 대응되도록 미리 설정된 발표 등급이 서로 대응되어 기록되어 있는 발표 등급 테이블을 저장하여 유지하는 단계;
상기 선정된 주기 간격으로 상기 사용자의 모션 정보와 상기 사용자의 음성에 기초하여 발표 점수를 연산하는 단계; 및
상기 선정된 주기 간격으로 상기 발표 점수가 연산되면, 상기 발표 등급 테이블 상에서 상기 발표 점수가 속해 있는 발표 점수 범위에 대응되어 기록되어 있는 발표 등급을 상기 사용자의 발표 연습에 대한 발표 등급으로 선택하는 단계
를 포함하는 VR 기반의 프레젠테이션 발표 연습을 가능하게 하는 HMD 장치의 동작 방법.The method according to claim 6,
The step of determining the announcement rating
A plurality of different presentation score ranges set in advance and a presentation rating in which predetermined presentation scores corresponding to respective presentation score ranges of the different presentation scores stored in the audience reaction image storage unit correspond to each other, Storing and maintaining a table;
Calculating a presentation score based on the user's motion information and the user's voice at the predetermined periodic interval; And
When the presentation score is calculated at the predetermined periodic interval, selecting the presentation grade recorded in correspondence with the presentation score range to which the presentation score belongs on the presentation grade table as the presentation grade for the presentation practice of the user
Wherein the VR-based presentation presentation exercises include: 제8항에 있어서,
상기 발표 점수를 연산하는 단계는
미리 설정된 복수의 서로 다른 이동 거리 범위들 별로 대응되는 모션 점수가 기록되어 있는 모션 점수 테이블을 저장하여 유지하는 단계;
미리 설정된 복수의 서로 다른 음고(pitch) 범위들 별로 대응되는 음고 점수가 기록되어 있는 음고 점수 테이블을 저장하여 유지하는 단계;
상기 선정된 주기 간격으로, 각 주기에서의 상기 사용자의 모션 정보에 따른 사용자의 총 이동 거리를 확인하여 상기 모션 점수 테이블 상에서 상기 사용자의 총 이동 거리가 속해 있는 이동 거리 범위에 대응되어 기록되어 있는 제1 모션 점수를 추출하는 단계;
상기 선정된 주기 간격으로, 각 주기에서의 상기 사용자의 음성에 따른 사용자의 음고의 평균 값을 확인하여 상기 음고 점수 테이블 상에서 상기 사용자의 음고의 평균 값이 속해 있는 음고 범위에 대응되어 기록되어 있는 제1 음고 점수를 추출하는 단계; 및
상기 선정된 주기 간격으로, 각 주기에서 추출된 상기 제1 모션 점수와 상기 제1 음고 점수의 합산 값을 기초로 상기 발표 점수를 생성하는 단계
를 포함하는 VR 기반의 프레젠테이션 발표 연습을 가능하게 하는 HMD 장치의 동작 방법.9. The method of claim 8,
The step of calculating the announcement score
Storing and maintaining a motion score table in which a motion score corresponding to each of a plurality of different movement distance ranges is recorded;
Storing and maintaining a tone score table in which a tone score corresponding to each of a plurality of different pitch ranges is recorded;
And determining a total movement distance of the user according to the motion information of the user in each cycle at the predetermined periodic interval, and comparing the total movement distance of the user recorded in the motion score table with the movement distance range to which the total movement distance of the user belongs, Extracting one motion score;
And checking the average value of the user's tone according to the user's voice in each cycle at the predetermined periodic interval to determine a tone value range corresponding to a tone range in which the average value of the tone of the user belongs in the tone- Extracting a tone score; And
Generating the announcement score based on the sum of the first motion score and the first tone score extracted in each cycle at the predetermined period interval
Wherein the VR-based presentation presentation exercises include: 제9항에 있어서,
상기 발표 점수를 연산하는 단계는
상기 선정된 주기 간격으로, 각 주기에서 상기 사용자의 음성이 인식되지 않는 무음 구간이 선정된 기준 시간을 초과하는 경우가 발생하는지 여부를 확인하는 단계
를 더 포함하고,
상기 발표 점수를 생성하는 단계는
상기 선정된 주기 간격으로, 각 주기에서 추출된 상기 제1 모션 점수와 상기 제1 음고 점수의 합산 값을 연산한 후 상기 무음 구간이 상기 선정된 기준 시간을 초과하는 것으로 확인된 경우, 상기 합산 값에 대해 상기 합산 값의 크기를 감소시키기 위해서 미리 설정된 가중치를 곱하여 상기 발표 점수를 생성하고, 상기 무음 구간이 상기 선정된 기준 시간을 초과하지 않는 것으로 확인된 경우, 상기 합산 값을 상기 발표 점수로 생성하는 VR 기반의 프레젠테이션 발표 연습을 가능하게 하는 HMD 장치의 동작 방법.10. The method of claim 9,
The step of calculating the announcement score
Confirming whether or not a silent interval in which the voice of the user is not recognized in each cycle exceeds the predetermined reference time at the predetermined cycle interval
Further comprising:
The step of generating the announcement score
Calculating a summation value of the first motion score and the first tone pitch score extracted in each cycle at the predetermined period interval, and if it is determined that the silent section exceeds the predetermined reference time, Generating the announcement score by multiplying the predetermined sum by a preset weight to reduce the size of the sum value, and if the silent section is determined not to exceed the predetermined reference time, A method of operating an HMD device that enables a VR-based presentation presentation exercise. 제6항 내지 제10항 중 어느 한 항의 방법을 컴퓨터로 하여금 수행하도록 하는 프로그램을 기록한 컴퓨터 판독 가능 기록 매체.11. A computer-readable recording medium having recorded thereon a program for causing a computer to perform the method according to any one of claims 6 to 10. 제6항 내지 제10항 중 어느 한 항의 방법을 컴퓨터와의 결합을 통해 실행시키기 위한 저장매체에 저장된 컴퓨터 프로그램.11. A computer program stored in a storage medium for executing the method of any one of claims 6 to 10 through a combination with a computer.
KR1020170175346A 2017-12-19 2017-12-19 Hmd device for enabling vr-based presentation exercises and operating method thereof KR102030541B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170175346A KR102030541B1 (en) 2017-12-19 2017-12-19 Hmd device for enabling vr-based presentation exercises and operating method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170175346A KR102030541B1 (en) 2017-12-19 2017-12-19 Hmd device for enabling vr-based presentation exercises and operating method thereof

Publications (2)

Publication Number Publication Date
KR20190074017A true KR20190074017A (en) 2019-06-27
KR102030541B1 KR102030541B1 (en) 2019-10-10

Family

ID=67057040

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170175346A KR102030541B1 (en) 2017-12-19 2017-12-19 Hmd device for enabling vr-based presentation exercises and operating method thereof

Country Status (1)

Country Link
KR (1) KR102030541B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111127968A (en) * 2020-01-19 2020-05-08 徐州市广联科技有限公司 VR teacher-assisted multi-person collaborative training examination system
KR20220004288A (en) * 2020-07-03 2022-01-11 주식회사 스마트크리에이터 Presentation Enhancement System using VR

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102586772B1 (en) * 2021-12-29 2023-10-06 계명대학교 산학협력단 Content providing system and method for providing content for anxiety reduction

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012088521A (en) * 2010-10-20 2012-05-10 Mega Chips Corp Amusement system
KR101519591B1 (en) * 2013-10-16 2015-05-13 (주)컴버스테크 System and method for processing virtual interview based speech recognition
KR20170068910A (en) * 2015-12-10 2017-06-20 주식회사 지엔아이씨티 Presentation and interview training system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012088521A (en) * 2010-10-20 2012-05-10 Mega Chips Corp Amusement system
KR101519591B1 (en) * 2013-10-16 2015-05-13 (주)컴버스테크 System and method for processing virtual interview based speech recognition
KR20170068910A (en) * 2015-12-10 2017-06-20 주식회사 지엔아이씨티 Presentation and interview training system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111127968A (en) * 2020-01-19 2020-05-08 徐州市广联科技有限公司 VR teacher-assisted multi-person collaborative training examination system
KR20220004288A (en) * 2020-07-03 2022-01-11 주식회사 스마트크리에이터 Presentation Enhancement System using VR

Also Published As

Publication number Publication date
KR102030541B1 (en) 2019-10-10

Similar Documents

Publication Publication Date Title
WO2020177190A1 (en) Processing method, apparatus and device
Hong et al. Video accessibility enhancement for hearing-impaired users
CN106951881B (en) Three-dimensional scene presenting method, device and system
US20210197026A1 (en) Workout-training method
KR20190074017A (en) Hmd device for enabling vr-based presentation exercises and operating method thereof
JP4568144B2 (en) Information presentation device and information presentation program
KR101998482B1 (en) System and method for communication training program over virtual reality and continued feedback via mobile device
Chen et al. Using multimodal cues to analyze MLA'14 oral presentation quality corpus: Presentation delivery and slides quality
US11514924B2 (en) Dynamic creation and insertion of content
CN109120990B (en) Live broadcast method, device and storage medium
CN114095782A (en) Video processing method and device, computer equipment and storage medium
KR101789221B1 (en) Device and method for providing moving picture, and computer program for executing the method
JP6723543B2 (en) Coaching support device and program
US20220383849A1 (en) Simulating crowd noise for live events through emotional analysis of distributed inputs
JP2013161205A (en) Information processing device, information processing method and program
WO2014126497A1 (en) Automatic filming and editing of a video clip
CN116996702A (en) Concert live broadcast processing method and device, storage medium and electronic equipment
KR102500735B1 (en) Video streaming service server for displaying advertisement information related to video and operating method thereof
KR101977108B1 (en) Hmd device for displaying vr-based presentation video and operating method thereof
US8940990B2 (en) Exercise music support apparatus
CN112597912A (en) Conference content recording method, device, equipment and storage medium
KR20120031373A (en) Learning service system and method thereof
KR20210053739A (en) Apparatus for creation of contents of game play
KR102636708B1 (en) Electronic terminal apparatus which is able to produce a sign language presentation video for a presentation document, and the operating method thereof
KR102631621B1 (en) Method and device for processing voice information

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant