KR102085246B1 - Apparatus and method for implementing virtural reality for conference proceeding relay - Google Patents

Apparatus and method for implementing virtural reality for conference proceeding relay Download PDF

Info

Publication number
KR102085246B1
KR102085246B1 KR1020180148833A KR20180148833A KR102085246B1 KR 102085246 B1 KR102085246 B1 KR 102085246B1 KR 1020180148833 A KR1020180148833 A KR 1020180148833A KR 20180148833 A KR20180148833 A KR 20180148833A KR 102085246 B1 KR102085246 B1 KR 102085246B1
Authority
KR
South Korea
Prior art keywords
images
degrees
angle
image
post
Prior art date
Application number
KR1020180148833A
Other languages
Korean (ko)
Inventor
김동호
정은영
현창종
Original Assignee
서울과학기술대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울과학기술대학교 산학협력단 filed Critical 서울과학기술대학교 산학협력단
Priority to KR1020180148833A priority Critical patent/KR102085246B1/en
Application granted granted Critical
Publication of KR102085246B1 publication Critical patent/KR102085246B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4431—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB characterized by the use of Application Program Interface [API] libraries
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8543—Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

The present technology discloses a system and method for implementing virtual reality for relaying a conference. According to a specific embodiment of the present invention, by placing an image of a presenter of an academic thesis in virtual space, transmitting media stream of a produced academic thesis in an adaptive transmission method based on MPEG DASH, and playing one image among four post session images according to a yaw value of a user while pausing the other three images from the received media stream, understanding of the thesis content may be improved by increasing immersion in the conference and acquire the thesis content beyond time and space.

Description

학술 대회 중계용 가상 현실 구현 방법 및 장치{APPARATUS AND METHOD FOR IMPLEMENTING VIRTURAL REALITY FOR CONFERENCE PROCEEDING RELAY} A method and apparatus for implementing virtual reality for conference relaying {APPARATUS AND METHOD FOR IMPLEMENTING VIRTURAL REALITY FOR CONFERENCE PROCEEDING RELAY}

본 발명은 학술 대회 중계용 가상 현실 구현 방법 및 장치 에 관한 것으로, 보다 상세하게는 학술 대회 제출용 포스트를 가상 공간에 배치한 다음 DASH 기반으로 전송함에 따라 효율적인 대역폭의 활용이 가능한 기술에 관한 것이다. The present invention relates to a method and apparatus for implementing a virtual reality for conference relay, and more particularly, to a technology capable of efficiently utilizing bandwidth by arranging a conference submission post in a virtual space and then transmitting it on a DASH basis.

학술 대회에서 발표된 논문은 저자의 추가적인 설명 없이 이동형 저장 장치 및 혹은 하회 홈페이지를 통해 배포된다. 더욱이 학술 대회는 동 시간 대에 포스터 세션 및 구두 세션이 운영되기 때문에 이용자는 모든 발표자의 설명을 듣는 것이 불가능하다. Papers presented at conferences will be distributed through removable storage devices and / or Hahoe homepages without further explanation by the author. Moreover, because the conference is running poster sessions and verbal sessions at the same time, it is impossible for the user to listen to all presenters.

또한 해당 학회가 진행되는 기간에 지리적 및 시간적 제약으로 참석하지 못한 이용자는 배포된 논문만으로 내용을 이해하여야 하므로 저자의 설명 없이 배포된 논문만으로 내용을 충분히 이해한다는 것은 사실상 불가능하다.Also, users who do not attend due to geographical and time constraints during the period of the conference should understand the contents only with the dissertation, so it is virtually impossible to fully understand the contents with the dissertation without the author's explanation.

이를 보완하기 위해 일부 학회에서는 발표자의 영상을 촬영하여 홈페이지를 통해 공유하지만 실감성 및 몰입도가 저하되는 한계에 도달하였다.In order to compensate for this, some conferences take pictures of presenters and share them through their homepages, but they have reached the limit of desensitization and immersion.

이에 이러한 한계를 해결하고 시공간을 초월하여 언제든지 저자의 설명을 들을 수 있는 환경을 제공하기 위한 방안을 제안하였다.In order to solve these limitations, we proposed a method to provide an environment where the authors can hear the explanations at any time.

이에 본 발명은, 학술대회에 대한 몰입도를 증가하여 논문 내용의 이해를 향상시킬 수 있고 시공간을 초월하여 논문 내용을 습득할 수 있는 학술대회 중계용 가상 현실 구현 장치 및 방법을 제공하고자 함에 그 목적이 있다. Accordingly, an object of the present invention is to provide an apparatus and method for implementing a virtual reality relaying conference which can improve the understanding of the article content by increasing the degree of commitment to the conference and acquire the article content beyond time and space. There is this.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.The object of the present invention is not limited to the above-mentioned object, other objects and advantages of the present invention that are not mentioned can be understood by the following description, will be more clearly understood by the embodiments of the present invention. It will also be readily apparent that the objects and advantages of the invention may be realized by the means and combinations thereof indicated in the claims.

본 실시 예의 양태에 따르면, 본 발명의 학술대회 중계용 가상 현실 구현 장치는,According to an aspect of the embodiment, the virtual reality implementation device for conference relay of the present invention,

포스터 발표자의 영상을 가상 공간에 배치하기 위해 3차원 그래픽 랜더링하고 발표자의 위치 움직임 등에 대한 정보를 획득하는 API(Application Programming Interface)를 이용하여 학술 콘텐츠를 제작하는 학술 콘텐츠 제작부;Academic content production unit for producing scholarly content using an API (Application Programming Interface) for rendering the three-dimensional graphics to place the poster presenter's image in the virtual space and obtain information about the presenter's position movement;

학술 콘텐츠를 미디어 스트림 형태의 세그먼트 단위로 분할하여 저장한 다음 MPEG DASH(Dynamic Adaptive Streaming over Hyper-text transport protocol(HTTP)) 전송 방식을 통해 클라이언트에게 전송하고, 수신된 미디어 스트림의 비트율 별 변환, 세그먼트 분할, MPD(Media Presentation Description) 파일의 파싱 결과를 토대로 수신된 클라이언트의 요청에 따라 네트워크 대역폭 상향하거나 특정 세그먼트 단위로 변환한 다음 MPEG DASH 전송 방식으로 학술 콘텐츠의 미디어 스트림을 전송하는 처리부; 및After dividing academic contents into segments in the form of media streams, they are stored and transmitted to clients through MPEG Dynamic Adaptive Streaming over Hyper-text Transport Protocol (HTTP) transmission. A processor for converting a network bandwidth or converting it into a specific segment unit according to a received client's request based on a result of parsing and parsing a media presentation description (MPD) file, and then transmitting a media stream of academic content by MPEG DASH transmission method; And

수신된 처리부의 학술 콘텐츠의 MPD 파일을 분석한 다음 재생하는 재생부를 포함하는 것을 특징으로 한다.And a playback unit for analyzing and reproducing the MPD file of the academic content of the received processing unit.

바람직하게 상기 학술 콘텐츠는 360도 공간에 4개의 포스트 세션 영상으로 제작될 수 있다. Preferably, the academic content may be produced as four post session images in a 360 degree space.

바람직하게 상기 재생부는 사용자의 도리각(Yaw) 값에 따라 4개의 포스트 세션 영상 중 하나의 영상을 확대 재생하되,Preferably, the playback unit enlarges and reproduces one of four post-session images according to a yaw value of the user.

사용자의 시점 위치값을 수신하여 기준점을 설정하고 사용자의 도리각을 수신하며 수신된 사용자의 도리각에 대한 정규화를 수행하며,Receives the user's viewpoint position, sets the reference point, receives the user's angle, and normalizes the received angle of the user's angle,

정규화된 도리각이 기준점으로부터 315도 이상 45도 미만인 상태로 소정 시간 유지되는 경우 4개의 포스트 세션 영상 중 해당 도리각에 위치한 제1 영상을 재생하고 제1 영상과 인접된 나머지 제2 내지 제4 영상을 일시 정지하며,When the normalized purlin angle is maintained for a predetermined time in a state of more than 315 degrees and less than 45 degrees from the reference point, the first image located at the purlin angle of four post-session images is played and the remaining second to fourth images adjacent to the first image are played. Pauses,

정규화된 도리각이 기준점으로부터 45도 이상 135도 미만인 상태로 소정 시간 유지되는 경우 4개의 포스트 세션 영상 중 해당 도리각에 위치한 제2 영상을 재생하고, 나머지 제1 영상, 제3 및 제4 영상을 일시 정지하며,When the normalized purlin angle is maintained for a predetermined time at 45 degrees or more and less than 135 degrees from the reference point, the second image located at the corresponding purlin angle is reproduced among the four post session images, and the remaining first images, third and fourth images are displayed. Pause,

정규화된 도리각이 기준점으로부터 135도 이상 225도 미만인 상태로 소정 시간 유지되는 경우 4개의 포스트 세션 영상 중 해당 도리각에 위치한 제3 영상을 재생하고, 나머지 제1 및 제2 영상과 제4 영상을 일시 정지하고,When the normalized purlin angle is maintained for a predetermined time from 135 degrees to less than 225 degrees, the third image located at the corresponding purlin angle is reproduced among the four post session images, and the remaining first, second and fourth images are reproduced. Pause,

정규화된 도리각이 기준점으로부터 225도 이상 315도 미만인 상태로 소정 시간 유지되는 경우 4개의 포스트 세션 영상 중 해당 도리각에 위치한 제4 영상을 재생하고, 나머지 제1 내지 제3 영상을 일시 정지하도록 구비될 수 있다.When the normalized purlin angle is maintained for a predetermined time in a state of more than 225 degrees and less than 315 degrees from the reference point, a fourth image located at the corresponding purlin angle of four post session images is reproduced, and the first to third images are paused. Can be.

본 발명의 다른 실시 양태에 따른 학술대회 중계용 가상 현실 구현 방법은, Virtual reality implementation method for conference relay according to another embodiment of the present invention,

포스터 발표자의 영상을 가상 공간에 배치하기 위해 3차원 그래픽 랜더링하고 발표자의 위치 움직임 등에 대한 정보를 획득하는 API(Application Programming Interface)를 이용하여 학술 콘텐츠를 제작하는 학술 콘텐츠 제작 단계; 학술 콘텐츠를 미디어 스트림 형태의 세그먼트 단위로 분할하여 저장한 다음 MPEG DASH(Dynamic Adaptive Streaming over HTTP) 전송 방식을 통해 클라이언트에게 전송하고, 수신된 미디어 스트림의 비트율 별 변환, 세그먼트 분할, MPD(Media Presentation Description) 파일의 파싱 결과를 토대로 수신된 클라이언트의 요청에 따라 네트워크 대역폭 상향하거나 특정 세그먼트 단위로 변환한 다음 MPEG DASH 전송 방식으로 학술 콘텐츠의 미디어 스트림을 전송하는 처리단계; 및 수신된 처리부의 학술 콘텐츠의 MPD 파일을 분석한 다음 재생하는 재생단계를 포함하는 것을 다른 특징으로 한다.Producing academic content using an API (Application Programming Interface) for rendering a 3D graphic to place a poster presenter's image in a virtual space and obtaining information about a presenter's position movement; After dividing academic contents into segments in the form of media streams and storing them, they are transmitted to clients through MPEG Dynamic Adaptive Streaming over HTTP (DASH) transmission method. A process of transmitting a media stream of academic content by MPEG DASH transmission method after converting the network bandwidth or converting the data into a specific segment unit according to a received client's request based on the parsing result of the file; And a playback step of analyzing and playing back the MPD file of the academic content of the received processing unit.

바람직하게 상기 재생단계는, 사용자의 도리각(Yaw) 값에 따라 4개의 포스트 세션 영상 중 하나의 영상을 확대 재생하되, 사용자의 시점 위치값을 수신하여 기준점을 설정하고 사용자의 도리각에 대한 정규화를 수행하며 정규화된 도리각이 기준점으로부터 315도 이상 45도 미만인 상태로 소정 시간 유지되는 경우 4개의 포스트 세션 영상 중 해당 도리각에 위치한 제1 영상을 재생하고 제1 영상과 인접된 나머지 제2 내지 제4 영상을 일시 정지하며, 정규화된 도리각이 기준점으로부터 45도 이상 135도 미만인 상태로 소정 시간 유지되는 경우 4개의 포스트 세션 영상 중 해당 도리각에 위치한 제2 영상을 재생하고, 나머지 제1 영상, 제3 및 제4 영상을 일시 정지하며, 정규화된 도리각이 기준점으로부터 135도 이상 225도 미만인 상태로 소정 시간 유지되는 경우 4개의 포스트 세션 영상 중 해당 도리각에 위치한 제3 영상을 재생하고, 나머지 제1 및 제2 영상과 제4 영상을 일시 정지하고, 정규화된 도리각이 기준점으로부터 225도 이상 315도 미만인 상태로 소정 시간 유지되는 경우 4개의 포스트 세션 영상 중 해당 도리각에 위치한 제4 영상을 재생하고, 나머지 제1 내지 제3 영상을 일시 정지하도록 구비될 수 있다.Preferably, in the reproducing step, one image of four post-session images is enlarged and reproduced according to a user's incidence angle, and a reference point is set by receiving a user's viewpoint position value and normalized to the incidence angle of the user. When the normalized purlin angle is maintained for a predetermined time in a state where the normalized purlin angle is 315 degrees or more and less than 45 degrees from the reference point, the first image positioned at the purlin angle among four post session images is reproduced, and the remaining second to adjacent to the first image are reproduced. When the fourth image is paused and the normalized purlin angle is maintained for a predetermined time while being 45 degrees or more and less than 135 degrees, the second image located at the corresponding purlin angle is reproduced among the four post session images, and the remaining first image is reproduced. , When the third and fourth images are paused and the normalized purlin angle is maintained for a predetermined time from 135 degrees to less than 225 degrees 4 Replays the third image located at the corresponding angle of the post angle among the post-session images, pauses the remaining first and second images, and the fourth image, and the predetermined time with the normalized angle of incidence at least 225 degrees and less than 315 degrees from the reference point. If it is maintained, it may be provided to play the fourth image located at the corresponding angle of the four post-session image, and to pause the remaining first to third images.

본 발명에 따르면 학술 논문의 발표자의 영상을 가상 공간에 배치하고 제작된 학술 논문의 미디어 스트림을 MPEG DASH 기반의 적응적 전송방식으로 전송하고, 수신된 미디어 스트림을 사용자의 도리각(Yaw) 값에 따라 4개의 포스트 세션 영상 중 하나의 영상을 재생하고 나머지 3개의 영상을 일시 정지함에 따라 학술대회에 대한 몰입도를 증가하여 논문 내용의 이해를 향상시킬 수 있고 시공간을 초월하여 논문 내용을 습득할 수 있는 효과를 얻는다.According to the present invention, the presenter's image is placed in a virtual space, the media stream of the produced article is transmitted by MPEG DASH-based adaptive transmission, and the received media stream is applied to the user's yaw value. Therefore, by playing one of the four post-session videos and pausing the other three videos, it is possible to improve the understanding of the thesis contents by increasing the degree of immersion in the conference and to acquire the thesis contents beyond time and space. Get an effect.

본 명세서에서 첨부되는 다음의 도면들은 본 발명의 바람직한 실시 예를 예시하는 것이며, 후술하는 발명의 상세한 설명과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니된다.
도 1은 본 실시 예의 학술대회 중계용 VR 구현장치를 보인 도이다.
도 2는 본 실시 예의 학술 콘텐츠의 메인 HTML 페이지를 보인 예시도이다.
도 3은 본 실시 예의 학술 콘텐츠의 재생 화면을 보인 예시도이다.
도 4는 본 다른 실시예의 학술대회 중계용 VR구현 방법의 전체 흐름도이다.
도 5는 본 다른 실시 예의 VR구현 방법의 재생단계를 보인 흐름도이다.The following drawings, which are attached in this specification are intended to illustrate preferred embodiments of the present invention, and together with the detailed description of the invention to serve to further understand the technical spirit of the present invention, the present invention is a matter described in such drawings It should not be construed as limited to.
1 is a diagram illustrating a VR implementation apparatus for relaying conferences according to the present embodiment.
Figure 2 is an exemplary view showing a main HTML page of the academic content of this embodiment.
3 is an exemplary view showing a playback screen of scholarly content according to the present embodiment.
4 is an overall flowchart of a VR implementation method for conference relay according to another embodiment of the present invention.
5 is a flowchart illustrating a reproducing step of the VR implementing method of this embodiment.

이하에서는 도면을 참조하여 본 발명의 실시 예들을 보다 상세하게 설명한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.Advantages and features of the present invention, and methods of achieving them will be apparent with reference to the embodiments described below in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various different forms, only the embodiments are to make the disclosure of the present invention complete, and the general knowledge in the technical field to which the present invention belongs. It is provided to fully convey the scope of the invention to those skilled in the art, and the present invention is defined only by the scope of the claims.

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.Terms used herein will be briefly described, and the present invention will be described in detail.

본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.The terms used in the present invention have been selected as widely used general terms as possible in consideration of the functions in the present invention, but this may vary according to the intention or precedent of the person skilled in the art, the emergence of new technologies, and the like. In addition, in certain cases, there is a term arbitrarily selected by the applicant, and in this case, the meaning will be described in detail in the description of the invention. Therefore, the terms used in the present invention should be defined based on the meanings of the terms and the general contents of the present invention, rather than simply the names of the terms.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에서 사용되는 "부"라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부"는 어떤 역할들을 수행한다. 그렇지만 "부"는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부"는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.When any part of the specification is to "include" any component, this means that it may further include other components, except to exclude other components unless specifically stated otherwise. In addition, the term "part" as used herein refers to a hardware component such as software, FPGA or ASIC, and "part" plays certain roles. However, "part" is not meant to be limited to software or hardware. The “unit” may be configured to be in an addressable storage medium and may be configured to play one or more processors.

따라서, 일 예로서 "부"는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부"들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부"들로 결합되거나 추가적인 구성요소들과 "부"들로 더 분리될 수 있다.Thus, as an example, a "part" refers to components such as software components, object-oriented software components, class components, and task components, processes, functions, properties, procedures, Subroutines, segments of program code, drivers, firmware, microcode, circuits, data, databases, data structures, tables, arrays, and variables. The functionality provided within the components and "parts" may be combined into a smaller number of components and "parts" or further separated into additional components and "parts".

아래에서는 첨부한 도면을 참고하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the present invention. In the drawings, parts irrelevant to the description are omitted to clearly describe the present invention.

본 실시 예는 학술 논문의 발표자의 영상을 가상 공간에 배치하도록 학술 콘텐츠를 제작하고 제작된 학술 논문의 미디어 스트림을 MPEG DASH 기반의 적응적 전송방식으로 전송함에 따라, 수신된 미디어 스트림을 사용자의 도리각(Yaw) 값에 따라 4개의 포스트 세션 영상 중 하나의 영상을 재생하고 나머지 3개의 영상을 일시 정지한다.According to the present embodiment, as the academic content is produced to arrange the image of the presenter of the academic paper in a virtual space, and the media stream of the produced academic paper is transmitted through an adaptive transmission method based on MPEG DASH, the received media stream is controlled by the user. According to the yaw value, one of the four post session images is played and the other three images are paused.

도 1은 본 실시 예의 가상 현실 구현 장치의 구성을 보인 도면으로서, 도 1을 참조하면, 학술 콘텐츠 제작부(110), 처리부(120), 및 재생부(130)를 포함한다.FIG. 1 is a diagram illustrating a configuration of an apparatus for implementing virtual reality according to the present embodiment. Referring to FIG. 1, the academic content producing unit 110, the processing unit 120, and the playback unit 130 are included.

학술 콘텐츠 제작부(110)는 포스터 발표자의 영상을 가상 공간에 배치하기 위해 3차원 그래픽 랜더링하고 발표자의 위치 움직임 등에 대한 정보를 획득하는 API(Application Programming Interface)를 이용하여 학술 콘텐츠를 제작한다.The academic content production unit 110 produces 3D graphics to render the poster presenter's image in a virtual space and produces academic content using an API (Application Programming Interface) for obtaining information about the presenter's position movement.

여기서, 학술 콘텐츠는 웹 VR 기반의 가상 포스트 세션의 메인 HTML(hypertext markup language) 페이지이며, 논문 주제 별로 포스트 세션의 눈문 제목을 명시하고 HMD 이미지를 클릭 시 명시된 논문의 포스트 발표 영상으로 구성된 가상 포스트 세션으로 이동하도록 제작된다.Here, the academic content is the main HTML (hypertext markup language) page of the virtual post session based on the web VR, and a virtual post session composed of post presentation images of the article specified by specifying the title of the post session by the thesis topic and clicking the HMD image. It is designed to go to.

또한 학술 콘텐츠는 가상 포스트 세션을 사용자 중심으로 360도 공간을 90도씩으로 나누어 4개의 공간으로 분할하여 발표 영상을 배치하고 사용자의 도리각이 해당 각도 내에 존재할 시 영상을 확대하여 재생하고 해당 각에서 벗어나면 일시 정지하도록 제작된다.In addition, academic contents are divided into four spaces by dividing the 360-degree space into 90-degree spaces with the virtual post session as the center of the user, placing the presentation video. The surface is made to pause.

그리고 처리부(120)는 제작된 학술 콘텐츠를 미디어 스트림 형태의 세그먼트 단위로 분할하여 저장한 다음 MPEG DASH(Dynamic Adaptive Streaming over HTTP) 전송 방식을 통해 전송한다. The processor 120 divides the produced academic content into segments of a media stream and stores the divided academic content, and then transmits the generated academic content through MPEG DASH (Dynamic Adaptive Streaming over HTTP) transmission scheme.

또한 처리부(120)는 수신된 미디어 스트림의 비트율 별 변환, 세그먼트 분할, MPD(Media Presentation Description) 파일의 파싱 결과를 토대로 클라이언트의 요청에 따라 네트워크 대역폭 상향하거나 특정 세그먼트 단위로 변환된 미디어 스트림을 전송한다.In addition, the processor 120 transmits a media stream that is upstream of a network bandwidth or is converted into a specific segment unit according to a client's request, based on the result of the bit rate conversion, segmentation, and parsing of a media presentation description (MPD) file of the received media stream. .

이에 학술 콘텐츠의 미디어 스트림을 전송하는 대역폭은 효율적으로 활용할 수 있다. Accordingly, the bandwidth for transmitting the media stream of the academic content can be effectively utilized.

그리고 재생부(130)는 사용자가 학술 콘텐츠의 메인 HTML 페이지의 VR 버튼의 클릭 시 가상 포스트 세션 HTML과 연결함에 따라 메인 HTML 페이지가 가상 현실과 접목되어 제작된 학술 콘텐츠의 MPD 파일을 분석한 다음 화면에 재생한다. 즉, 재생부(130)는 가상 포스트 세션을 사용자 중심으로 360도 공간을 90도씩으로 나누어 4개의 공간으로 분할된 발표 영상 중 사용자의 도리각이 해당 각도 내에 존재할 시 영상을 확대하여 재생하고 해당 각에서 벗어나면 일시 정지한다. In addition, the playback unit 130 analyzes the MPD file of the academic content produced by grafting the main HTML page with virtual reality as the user connects with the virtual post session HTML when the user clicks the VR button of the main HTML page of the academic content. To play on. That is, the playback unit 130 expands and plays the image when the user's angle of incidence is present within the corresponding angle among the presentation images divided into four spaces by dividing the 360 degree space by 90 degrees around the virtual post session. Pause if you leave.

즉, 재생부(130)는 사용자의 시점 위치값을 수신하여 기준점을 설정한 다음 수신된 사용자의 도리각에 대한 정규화를 수행하는 전처리 과정을 수행한다. That is, the playback unit 130 performs a preprocessing process of receiving a user's viewpoint position value, setting a reference point, and then normalizing the received angle of the user.

그리고, 재생부(130)는 사용자의 도리각(Yaw) 값에 따라 4개의 포스트 세션 영상 중 하나의 영상을 재생하고 사용자의 도리각을 벗어난 3개의 포스터 세션 영상의 재생을 일지 중지한다.Then, the playback unit 130 plays one image of the four post session images according to the user's angle of incidence (Yaw) and stops the playback of three poster session images outside the user's angle of incidence.

예를 들어, 재생부(130)는 정규화된 도리각이 기준점으로부터 315도 이상 45도 미만인 상태로 소정 시간 유지되는 경우 4개의 포스트 세션 영상 중 사용자의 정면에 위치한 제1 영상을 재생하고 제1 영상과 인접된 나머지 제2 내지 제4 영상을 일시 정지한다.For example, when the normalized purlin angle is maintained for a predetermined time in a state where the normalized purlin angle is 315 degrees or more and less than 45 degrees from a reference point, the playback unit 130 reproduces the first image located in front of the user among the four post session images and the first image. The remaining second to fourth images adjacent to are paused.

또한 재생부(130)는 정규화된 도리각이 기준점으로부터 45도 이상 135도 미만인 상태로 소정 시간 유지되는 경우 4개의 포스트 세션 영상 중 사용자의 정면에 위치한 제2 영상을 재생하고, 나머지 제1 영상, 제3 및 제4 영상을 일시 정지한다.In addition, when the normalized purlin angle is maintained for a predetermined time in a state where the normalized angle of incidence is 45 degrees or more and less than 135 degrees, the playback unit 130 plays a second image located in front of the user among the four post session images, and the remaining first image, The third and fourth images are paused.

재생부(130)는 정규화된 도리각이 기준점으로부터 135도 이상 225도 미만인 상태로 소정 시간 유지되는 경우 4개의 포스트 세션 영상 중 사용자의 정면에 위치한 제3 영상을 재생하고, 나머지 제1 및 제2 영상과 제4 영상을 일시 정지한다.When the normalized purlin angle is maintained for a predetermined time in a state where the normalized purlin angle is 135 degrees or more and less than 225 degrees from the reference point, the playback unit 130 reproduces the third image located in front of the user among the four post session images, and the remaining first and second images. Pauses the video and the fourth video.

그리고 재생부(130)는 정규화된 도리각이 기준점으로부터 225도 이상 315도 미만인 상태로 소정 시간 유지되는 경우 4개의 포스트 세션 영상 중 사용자의 정면에 위치한 제4 영상을 재생하고, 나머지 제1 내지 제3 영상을 일시 정지한다.When the normalized purlin angle is maintained for a predetermined time in a state where the normalized purlin angle is 225 degrees or more and less than 315 degrees from the reference point, the playback unit 130 plays a fourth image located in front of the user among the four post session images, and the remaining first to the first to the second. 3 Pause the image.

이 후 재생부(130)는 가상 공간의 소정 위치에 마련된 리셋 버튼 조작이 감지되면 제1 내지 제4 영상 재생이 초기화되고, 이어 다음 학술 논문의 제1 내지 제4 화면이 표시된다.Thereafter, when the reset unit 130 detects manipulation of a reset button provided at a predetermined position of the virtual space, the playback unit 130 initializes the playback of the first to fourth images, and then displays the first to fourth screens of the next academic paper.

도 2는 도 1에 도시된 학술 콘텐츠 제작부(110)에서 제작된 웹 VR 기반 가상 포스트 세션 메인 MTML을 보인 예시도이다. 이다. 도 2에 도시된 바와 같이, 학술 콘텐츠는 4개의 포스트 세션 영상으로 제작됨을 알 수 있다. FIG. 2 is an exemplary view showing a web VR-based virtual post session main MTML produced by the academic content producing unit 110 shown in FIG. 1. to be. As shown in FIG. 2, it can be seen that the academic content is produced with four post session images.

도 3은 도 1에 도시된 재생부(130)의 화면을 보인 예시도로서, 도 3을 참조하면, 사용자의 도리각이 이동될 때 마다 4개의 포스트 세션 영상 중 사용자의 도리각과 매칭되는 영상이 확대 재생됨을 확인할 수 있다. FIG. 3 is an exemplary view showing a screen of the playback unit 130 shown in FIG. 1. Referring to FIG. 3, whenever a user's inclination angle is moved, an image matching the inclination angle of the user among four post session images is displayed. You can see that the playback is enlarged.

도 4는 본 다른 실시 예에 따른 학술 대회 중계용 가상 현실 구현 과정을 보인 전체 흐름도로서, 도 4를 참조하면, 학술 콘텐츠 제작단계(210), 처리단계(220), 및 재생단계(230)를 포함할 수 있다. 각 구성별 기능은 술한 학술 콘텐츠 제작부(110), 처리부(120), 및 재생부(230)에 대응되므로 이하에서는 기능에 대한 중복 설명은 생략한다.FIG. 4 is a flowchart illustrating a virtual reality implementation process for conference relay according to another embodiment of the present invention. Referring to FIG. 4, an academic content production step 210, a processing step 220, and a playback step 230 are described. It may include. Functions for each component correspond to the academic content production unit 110, the processing unit 120, and the reproduction unit 230 described above, and thus redundant descriptions of the functions will be omitted.

학술 콘텐츠 제작단계(210)는 가상 포스트 세션을 사용자 중심으로 360도 공간을 90도씩으로 나누어 4개의 공간으로 분할하여 발표 영상을 배치하고 사용자의 도리각이 해당 각도 내에 존재할 시 영상을 확대하여 재생하고 해당 각에서 벗어나면 일시 정지하도록 제작한다.In the academic content production step 210, the virtual post session is divided into four spaces by dividing the 360-degree space into 90-degree spaces based on the user, placing the presentation image, and expanding and playing the image when the user's angle of inclination exists within the corresponding angle. If it is out of the angle, make it pause.

처리단계(220)는 제작된 학술 콘텐츠의 미디어 스트림을 기 정해진 세그먼트 단위로 저장한 다음 MPEG DASH 기반으로 전송한다. 그리고 처리단계(220)는 미디어 스트림의 비트율 별 변환, 세그먼트 분할, MPD(Media Presentation Description) 파일의 파싱 결과를 토대로 클라이언트의 요청에 따라 네트워크 대역폭 상향하거나 특정 세그먼트 단위로 변환된 미디어 스트림을 MPEG DASH 기반으로 재생부(130)로 전송한다.The processing step 220 stores the media stream of the produced academic content in predetermined segment units and transmits it based on MPEG DASH. The processing step 220 is based on MPEG DASH based on the conversion of the media stream by bit rate, segmentation, parsing the MPD (Media Presentation Description) file according to the client's request to increase the network bandwidth or convert the media stream into specific segments To the playback unit 130.

도 5는 도 4에 도시된 재생단계(230)의 세부적인 동작 과정을 설명하기 위한 흐름도로서, 도 5를 참조하면, 단계(231 ~243)으로 구비된다.FIG. 5 is a flowchart illustrating a detailed operation process of the playback step 230 shown in FIG. 4. Referring to FIG. 5, steps 231 to 243 are provided.

재생단계(230)는 사용자가 학술 콘텐츠의 VR 버튼의 클릭 시(231) 메인 HTML 페이지의 URL이 로딩됨에 따라(232), 가상 포스트 세션 HTML 페이지에 연결되고 이에 메인 HTML 페이지가 가상 현실과 접목되어 제작된 학술 콘텐츠가 화면에 재생된다. The playback step 230 is connected to the virtual post session HTML page as the URL of the main HTML page is loaded (232) when the user clicks the VR button of the academic content (231), and the main HTML page is combined with the virtual reality. The produced academic content is played on the screen.

그리고 재생단계(230)은 사용자의 도리각에 따라 사용자의 도리각이 이동될 때 마다 4개의 포스트 세션 영상 중 사용자의 도리각과 매칭되는 영상이 확대 재생되고 나머지 영상은 일시 정지된다.In the reproducing step 230, whenever the incidence angle of the user is moved according to the incidence angle of the user, an image matching the incidence angle of the user is enlarged and reproduced and the remaining images are paused.

우선 재생단계(230)는 사용자의 시점 위치값을 수신하여 기준점을 설정한 다음 수신된 사용자의 시점 위치값 중 도리각에 대한 정규화를 수행한다(233, 234). First, the playback step 230 receives a user's viewpoint position value, sets a reference point, and then normalizes a purlin angle among the received viewpoint position values of the user (233, 234).

이 후 재생단계(230)는 사용자의 도리각(Yaw) 값에 따라 4개의 포스트 세션 영상 중 하나의 영상을 재생하고 사용자의 도리각을 벗어난 3개의 포스터 세션 영상의 재생을 일지 중지한다.Thereafter, the playback step 230 plays one image of the four post session images according to the user's incidence angle (Yaw) and stops the reproduction of three poster session images that are outside the user's incidence angle.

예를 들어, 재생단계(230)는 정규화된 도리각이 기준점으로부터 315도 이상 45도 미만인 상태로 소정 시간 유지되는 경우 4개의 포스트 세션 영상 중 사용자의 정면에 위치한 제1 영상을 재생하고 제1 영상과 인접된 나머지 제2 내지 제4 영상을 일시 정지한다(235, 236).For example, in the playback step 230, when the normalized purlin angle is maintained for a predetermined time in a state of 315 degrees or more and less than 45 degrees from a reference point, the reproduction image 230 plays a first image located in front of the user among four post-session images and the first image. The remaining second to fourth images adjacent to are paused (235 and 236).

또한 재생단계(230)는 정규화된 도리각이 기준점으로부터 45도 이상 135도 미만인 상태로 소정 시간 유지되는 경우 4개의 포스트 세션 영상 중 사용자의 정면에 위치한 제2 영상을 재생하고, 나머지 제1 영상, 제3 및 제4 영상을 일시 정지한다(237, 238).In addition, when the normalized purlin angle is maintained for a predetermined time in a state where the normalized purlin angle is 45 degrees or more and 135 degrees or less from the reference point, the reproduction step 230 plays a second image located in front of the user among the four post session images, and displays the remaining first images, The third and fourth images are paused (237, 238).

재생단계(230)는 정규화된 도리각이 기준점으로부터 135도 이상 225도 미만인 상태로 소정 시간 유지되는 경우 4개의 포스트 세션 영상 중 사용자의 정면에 위치한 제3 영상을 재생하고, 나머지 제1 및 제2 영상과 제4 영상을 일시 정지한다(239, 240).In the playback step 230, when the normalized purlin angle is maintained for a predetermined time in a state of 135 degrees or more and less than 225 degrees, the third image located in front of the user is reproduced among the four post session images, and the remaining first and second images are reproduced. The image and the fourth image are paused (239, 240).

그리고 재생단계(230)는 정규화된 도리각이 기준점으로부터 225도 이상 315도 미만인 상태로 소정 시간 유지되는 경우 4개의 포스트 세션 영상 중 사용자의 정면에 위치한 제4 영상을 재생하고, 나머지 제1 내지 제3 영상을 일시 정지한다(241, 242).In the playback step 230, when the normalized purlin angle is maintained for a predetermined time in a state of more than 225 degrees and less than 315 degrees from a reference point, the playback step 230 reproduces a fourth image located in front of the user and displays the remaining first to fifth images. 3 Pause the image (241, 242).

이 후 재생단계(230)는 가상 공간의 소정 위치에 마련된 리셋 버튼 조작이 감지되면 제1 내지 제4 영상 재생이 초기화되고, 이어 다음 학술 논문의 제1 내지 제4 화면이 표시된다(243).Thereafter, when the play button 230 detects the manipulation of the reset button provided at the predetermined position in the virtual space, the playback of the first to fourth images is initialized, and then the first to fourth screens of the next academic paper are displayed (243).

또한 재생단계(230)는 다음 학술 논문이 마지막 HTML 페이지인 경우 반복 재생 또는 종료할 수 있다. In addition, the playback step 230 may be repeated playback or end when the next academic paper is the last HTML page.

이에 학술 논문의 발표자의 영상을 가상 공간에 배치하고 제작된 학술 논문의 미디어 스트림을 MPEG DASH 기반의 적응적 전송방식으로 전송하고, 수신된 미디어 스트림을 사용자의 도리각(Yaw) 값에 따라 4개의 포스트 세션 영상 중 하나의 영상을 재생하고 나머지 3개의 영상을 일시 정지함에 따라 학술대회에 대한 몰입도를 증가하여 논문 내용의 이해를 향상시킬 수 있고 시공간을 초월하여 논문 내용을 습득할 수 있다.Therefore, the presenter's image is placed in the virtual space, and the media stream of the produced article is transmitted by MPEG DASH-based adaptive transmission method, and the received media stream is divided into four according to the user's yaw value. By reproducing one of the post-session images and pausing the other three images, it is possible to improve the understanding of the thesis contents by increasing the degree of immersion in the conference and to acquire the contents of the article beyond time and space.

이상에서 대표적인 실시 예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 상술한 실시 예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리 범위는 설명된 실시 예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태에 의하여 정해져야 한다.Although the present invention has been described in detail through the exemplary embodiments, those skilled in the art to which the present invention pertains can make various modifications without departing from the scope of the present invention. I will understand. Therefore, the scope of the present invention should not be limited to the described embodiments, but should be defined by all changes or modifications derived from the claims and the equivalent concepts as well as the following claims.

Claims (5)

삭제delete 삭제delete 포스터 발표자의 영상을 가상 공간에 배치하기 위해 3차원 그래픽 랜더링하고 발표자의 위치 움직임 등에 대한 정보를 획득하는 API(Application Programming Interface)를 이용하여 학술 콘텐츠를 제작하는 학술 콘텐츠 제작부;
학술 콘텐츠를 미디어 스트림 형태의 세그먼트 단위로 분할하여 저장한 다음 MPEG DASH(Dynamic Adaptive Streaming over HTTP) 전송 방식을 통해 클라이언트에게 전송하고, 수신된 미디어 스트림의 비트율 별 변환, 세그먼트 분할, MPD(Media Presentation Description) 파일의 파싱 결과를 토대로 수신된 클라이언트의 요청에 따라 네트워크 대역폭 상향하거나 특정 세그먼트 단위로 변환한 다음 MPEG DASH 전송 방식으로 학술 콘텐츠의 미디어 스트림을 전송하는 처리부; 및
수신된 처리부의 학술 콘텐츠의 MPD 파일을 분석한 다음 재생하는 재생부를 포함하되,
상기 재생부는
사용자의 도리각(Yaw) 값에 따라 4개의 포스트 세션 영상 중 하나의 영상을 확대 재생하되,
사용자의 시점 위치값을 수신하여 기준점을 설정하고 사용자의 도리각에 대한 정규화를 수행하며
정규화된 도리각이 기준점으로부터 315도 이상 45도 미만인 상태로 소정 시간 유지되는 경우 4개의 포스트 세션 영상 중 해당 도리각에 위치한 제1 영상을 재생하고 제1 영상과 인접된 나머지 제2 내지 제4 영상을 일시 정지하며,
정규화된 도리각이 기준점으로부터 45도 이상 135도 미만인 상태로 소정 시간 유지되는 경우 4개의 포스트 세션 영상 중 해당 도리각에 위치한 제2 영상을 재생하고, 나머지 제1 영상, 제3 및 제4 영상을 일시 정지하며,
정규화된 도리각이 기준점으로부터 135도 이상 225도 미만인 상태로 소정 시간 유지되는 경우 4개의 포스트 세션 영상 중 해당 도리각에 위치한 제3 영상을 재생하고, 나머지 제1 및 제2 영상과 제4 영상을 일시 정지하고,
정규화된 도리각이 기준점으로부터 225도 이상 315도 미만인 상태로 소정 시간 유지되는 경우 4개의 포스트 세션 영상 중 해당 도리각에 위치한 제4 영상을 재생하고, 나머지 제1 내지 제3 영상을 일시 정지하도록 구비되는 것을 특징으로 하는 학술 대회 중계용 가상 현실 구현 시스템.Academic content production unit for producing scholarly content using an API (Application Programming Interface) for rendering the three-dimensional graphics to place the poster presenter's image in the virtual space and obtain information about the presenter's position movement;
After dividing academic contents into segments in the form of media streams and storing them, they are transmitted to clients through MPEG Dynamic Adaptive Streaming over HTTP (DASH) transmission method. A processor for converting a network bandwidth or converting it into a specific segment unit according to a received client's request based on a parsing result of the file, and then transmitting a media stream of academic content by MPEG DASH transmission method; And
Includes a playback unit for analyzing and playing the MPD file of the academic content of the received processing unit,
The regeneration unit
According to the user's yaw value, one of the four post session images is enlarged and played.
Receives the user's point of view position, sets the reference point and normalizes the user's angle
When the normalized purlin angle is maintained for a predetermined time in a state of more than 315 degrees and less than 45 degrees from the reference point, the first image located at the purlin angle of four post-session images is played and the remaining second to fourth images adjacent to the first image are played. Pauses,
When the normalized purlin angle is maintained for a predetermined time at 45 degrees or more and less than 135 degrees from the reference point, the second image located at the corresponding purlin angle is reproduced among the four post session images, and the remaining first images, third and fourth images are displayed. Pause,
When the normalized purlin angle is maintained for a predetermined time from 135 degrees to less than 225 degrees, the third image located at the corresponding purlin angle is reproduced among the four post session images, and the remaining first, second and fourth images are reproduced. Pause,
When the normalized purlin angle is maintained for a predetermined time in a state of more than 225 degrees and less than 315 degrees from the reference point, a fourth image located at the corresponding purlin angle of four post session images is reproduced, and the first to third images are paused. Virtual reality implementation system for conference relay, characterized in that the. 삭제delete 포스터 발표자의 영상을 가상 공간에 배치하기 위해 3차원 그래픽 랜더링하고 발표자의 위치 움직임 등에 대한 정보를 획득하는 API(Application Programming Interface)를 이용하여 학술 콘텐츠를 제작하는 학술 콘텐츠 제작 단계;
학술 콘텐츠를 미디어 스트림 형태의 세그먼트 단위로 분할하여 저장한 다음 MPEG DASH(Dynamic Adaptive Streaming over HTTP) 전송 방식을 통해 클라이언트에게 전송하고, 수신된 미디어 스트림의 비트율 별 변환, 세그먼트 분할, MPD(Media Presentation Description) 파일의 파싱 결과를 토대로 수신된 클라이언트의 요청에 따라 네트워크 대역폭 상향하거나 특정 세그먼트 단위로 변환한 다음 MPEG DASH 전송 방식으로 학술 콘텐츠의 미디어 스트림을 전송하는 처리단계; 및
수신된 처리부의 학술 콘텐츠의 MPD 파일을 분석한 다음 재생하는 재생단계를 포함하고
상기 재생단계는,
사용자의 도리각(Yaw) 값에 따라 4개의 포스트 세션 영상 중 하나의 영상을 확대 재생하되,
사용자의 시점 위치값을 수신하여 기준점을 설정하고 사용자의 도리각에 대한 정규화를 수행하며
정규화된 도리각이 기준점으로부터 315도 이상 45도 미만인 상태로 소정 시간 유지되는 경우 4개의 포스트 세션 영상 중 해당 도리각에 위치한 제1 영상을 재생하고 제1 영상과 인접된 나머지 제2 내지 제4 영상을 일시 정지하며,
정규화된 도리각이 기준점으로부터 45도 이상 135도 미만인 상태로 소정 시간 유지되는 경우 4개의 포스트 세션 영상 중 해당 도리각에 위치한 제2 영상을 재생하고, 나머지 제1 영상, 제3 및 제4 영상을 일시 정지하며,
정규화된 도리각이 기준점으로부터 135도 이상 225도 미만인 상태로 소정 시간 유지되는 경우 4개의 포스트 세션 영상 중 해당 도리각에 위치한 제3 영상을 재생하고, 나머지 제1 및 제2 영상과 제4 영상을 일시 정지하고,
정규화된 도리각이 기준점으로부터 225도 이상 315도 미만인 상태로 소정 시간 유지되는 경우 4개의 포스트 세션 영상 중 해당 도리각에 위치한 제4 영상을 재생하고, 나머지 제1 내지 제3 영상을 일시 정지하도록 구비되는 것을 특징으로 하는 학술 대회 중계용 가상 현실 구현 방법.


Producing academic content using an API (Application Programming Interface) for rendering a 3D graphic to place a poster presenter's image in a virtual space and obtaining information about a presenter's position movement;
After dividing academic contents into segments in the form of media streams and storing them, they are transmitted to clients through MPEG Dynamic Adaptive Streaming over HTTP (DASH) transmission method. A process of transmitting a media stream of academic content by MPEG DASH transmission method after converting the network bandwidth or converting the data into a specific segment unit according to a received client's request based on the parsing result of the file; And
A playback step of analyzing and playing back the MPD file of the received academic content of the processing unit;
The regeneration step,
According to the user's yaw value, one of the four post session images is enlarged and played.
Receives the user's point of view position, sets the reference point and normalizes the user's angle
When the normalized purlin angle is maintained for a predetermined time from 315 degrees to less than 45 degrees from the reference point, the first image positioned at the purlin angle among four post-session images is played and the remaining second to fourth images adjacent to the first image are played. Pauses,
If the normalized purlin angle is maintained for a predetermined time in a state of 45 degrees or more and less than 135 degrees from the reference point, the second image located at the corresponding purlin angle is reproduced among the four post session images, and the remaining first images, third and fourth images are displayed. Pause,
When the normalized purlin angle is maintained for a predetermined time from 135 degrees to less than 225 degrees, the third image located at the corresponding purlin angle is reproduced among the four post-session images, and the remaining first, second and fourth images are displayed. Pause,
When the normalized purlin angle is maintained for a predetermined time in a state of more than 225 degrees and less than 315 degrees from the reference point, a fourth image located at the corresponding purlin angle of four post session images is reproduced, and the remaining first to third images are paused. Virtual reality implementation method for conference relay, characterized in that the.


KR1020180148833A 2018-11-27 2018-11-27 Apparatus and method for implementing virtural reality for conference proceeding relay KR102085246B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180148833A KR102085246B1 (en) 2018-11-27 2018-11-27 Apparatus and method for implementing virtural reality for conference proceeding relay

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180148833A KR102085246B1 (en) 2018-11-27 2018-11-27 Apparatus and method for implementing virtural reality for conference proceeding relay

Publications (1)

Publication Number Publication Date
KR102085246B1 true KR102085246B1 (en) 2020-03-05

Family

ID=69803907

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180148833A KR102085246B1 (en) 2018-11-27 2018-11-27 Apparatus and method for implementing virtural reality for conference proceeding relay

Country Status (1)

Country Link
KR (1) KR102085246B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101613431B1 (en) * 2014-11-12 2016-04-21 조선대학교산학협력단 Method and apparatus for providing body information measurement service using motion
KR20170048137A (en) * 2016-07-05 2017-05-08 안규태 Method for transmitting media contents, apparatus for transmitting media contents, method for receiving media contents, apparatus for receiving media contents
JP2018147272A (en) * 2017-03-07 2018-09-20 有限会社シェイプフォー Presentation support method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101613431B1 (en) * 2014-11-12 2016-04-21 조선대학교산학협력단 Method and apparatus for providing body information measurement service using motion
KR20170048137A (en) * 2016-07-05 2017-05-08 안규태 Method for transmitting media contents, apparatus for transmitting media contents, method for receiving media contents, apparatus for receiving media contents
JP2018147272A (en) * 2017-03-07 2018-09-20 有限会社シェイプフォー Presentation support method

Similar Documents

Publication Publication Date Title
US7085842B2 (en) Line navigation conferencing system
US8571956B2 (en) System architecture and methods for composing and directing participant experiences
US8789121B2 (en) System architecture and method for composing and directing participant experiences
US9571534B2 (en) Virtual meeting video sharing
US10757365B2 (en) System and method for providing and interacting with coordinated presentations
US20080165388A1 (en) Automatic Content Creation and Processing
US20120185772A1 (en) System and method for video generation
US11900967B2 (en) Template-based excerpting and rendering of multimedia performance
CN105637472B (en) The frame of screen content shared system with the description of broad sense screen
US20230140701A1 (en) System and method for providing and interacting with coordinated presentations
WO2021204139A1 (en) Video displaying method, device, equipment, and storage medium
Ziewer et al. Transparent teleteaching.
JP2022525366A (en) Methods, devices, and programs for receiving media data
US20150195320A1 (en) Method, System and Software Product for Improved Online Multimedia File Sharing
McIlvenny New technology and tools to enhance collaborative video analysis in live ‘data sessions’
JP2023506364A (en) Audio messaging interface on messaging platform
JP4565232B2 (en) Lecture video creation system
KR102085246B1 (en) Apparatus and method for implementing virtural reality for conference proceeding relay
US20230095431A1 (en) Template-based excerpting and rendering of multimedia performance
US12010161B1 (en) Browser-based video production
Duncan et al. Voxel-based immersive mixed reality: A framework for ad hoc immersive storytelling
US20220377407A1 (en) Distributed network recording system with true audio to video frame synchronization
US11102540B2 (en) Method, device and system for synchronously playing message stream and audio-video stream
Deliyannis Adapting interactive TV to meet multimedia content presentation requirements
US20230376178A1 (en) Information exchange system and method for enhanced collaboration

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant