KR20200002018A - Apparaturs for playing plural vr video in sync or async method - Google Patents
Apparaturs for playing plural vr video in sync or async method Download PDFInfo
- Publication number
- KR20200002018A KR20200002018A KR1020190130776A KR20190130776A KR20200002018A KR 20200002018 A KR20200002018 A KR 20200002018A KR 1020190130776 A KR1020190130776 A KR 1020190130776A KR 20190130776 A KR20190130776 A KR 20190130776A KR 20200002018 A KR20200002018 A KR 20200002018A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- virtual reality
- images
- unit
- reproducing
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 12
- 230000001360 synchronised effect Effects 0.000 claims abstract description 13
- 238000009877 rendering Methods 0.000 claims abstract description 8
- 230000000694 effects Effects 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 4
- 238000005192 partition Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 208000002173 dizziness Diseases 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- General Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Architecture (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
본 발명은 가상현실장치에 대한 것이다.The present invention relates to a virtual reality device.
종래 가상현실(Virtual Reality) 기술에서 화질열화를 어떻게 극복할 것인지가 문제되어 왔다. How to overcome the deterioration of image quality in the conventional virtual reality (Virtual Reality) technology has been a problem.
가상현실을 구현하기 위해서는 복수의 카메라를 이용해 360° 전 방위에서 영상을 촬영한 후, 이를 스티칭(stitching)하여 원본영상을 제작해야한다. 그런데 원본영상을 4K 화질로 스티칭한다고 해서 사용자가 시청하는 화질이 4K급인 것이 아니다. 왜냐하면 원본영상은 360°를 모두 아우르는 것이므로 실제 사용자가 시청하는 영상은 HD급 이하가 되기 때문이다. 예를 들어, 1080픽셀에 180° 를 아우르는 영상을 담는다면 실제 1°에 해당하는 영상이 6픽셀에 저장된다. 그러므로 상당히 낮은 품질의 영상이 구현되는 것이다. In order to realize virtual reality, a video must be taken from a 360 ° azimuth using a plurality of cameras, and then stitched to produce an original image. However, the stitching of the original video to 4K image quality does not mean that the user is watching 4K image quality. Because the original video encompasses all 360 °, the actual user's video is below HD level. For example, if a video containing 180 ° is included in 1080 pixels, an image corresponding to actual 1 ° is stored in 6 pixels. Therefore, a very low quality image is realized.
이에 본 발명의 발명자는 그런 문제점을 해결하기 위해서 오랫동안 연구하고 시행착오를 거치며 개발한 끝에 본 발명을 완성하기에 이르렀다.In order to solve such a problem, the inventor of the present invention came to complete the present invention after a long research and trial and error development.
본 발명은 이와 같은 문제점을 해결하기 위하여 하나의 원본영상으로부터 복수의 가상현실영상을 스티칭한다. In order to solve this problem, the present invention stitches a plurality of virtual reality images from one original image.
복수의 가상현실영상은 원본영상의 전체 또는 일부를 스티칭하여 생성한 광역영상, 광역영상보다 좁은 영역을 스티칭하여 생성한 패치영상을 포함한다. 본 발명은 광역영상 위에 적어도 하나 이상의 패치영상을 오버랩하여 재생한다. 바람직한 실시예에서 패치영상은 광역영상 보다 고화질일 수 있다. 따라서, 사용자는 패치영상에 해당하는 영역을 볼 때 고화질의 영상을 시청하게 된다. 한편, 패치영상을 벗어난 영역에는 광역영상이 동기화되어 재생되고 있으므로 사용자의 시선이 패치영상을 벗어나더라도 영상이 끊기지 않는다.The plurality of virtual reality images include a wide image generated by stitching all or a part of the original image, and a patch image generated by stitching a narrower area than the wide image. The present invention overlaps and reproduces at least one or more patch images on a wide image. In a preferred embodiment, the patch image may be higher quality than the wide image. Therefore, when the user views the region corresponding to the patch image, the user views a high quality image. On the other hand, since the wide area image is synchronized and reproduced in the region outside the patch image, the image is not interrupted even if the user's gaze leaves the patch image.
또한, 복수의 가상현실영상은 원본영상을 N개로 분할한 복수의 분할영상을 포함한다. 복수의 분할영상은 서로 중첩되지 않거나, 또는 의도적으로 일정 영역이 중첩될 수 있다. 복수의 분할영상은 서로 동기화되어 재생된다. Also, the plurality of virtual reality images include a plurality of divided images obtained by dividing the original image into N pieces. The plurality of divided images may not overlap each other, or predetermined regions may overlap each other. The plurality of divided images are reproduced in synchronization with each other.
해상도가 동일하다고 가정할 때 원본영상의 전체를 스티칭한 영상보다 일부를 스티칭한 영상의 화질이 더 고화질이다. 따라서, 분할영상은 고화질의 영상을 제작하는데 더 유리하다.Assuming that the resolution is the same, the image quality of the stitched part of the image is higher than that of the stitched part of the original image. Therefore, the segmented image is more advantageous for producing a high quality image.
본 발명은 동기화되어 재생되는 광역영상, 패치영상, 분할영상 이외에 비동기화되어 재생되는 콘텐츠를 더 포함할 수 있다. 이하에서 이를 비동기콘텐츠라 호칭한다. 가상현실영상을 제작하는 제작자는 비동기콘텐츠를 복수의 가상현실영상 중 어느 하나 위에 표현함으로서 보다 다양한 표현방식을 구현할 수 있다.The present invention may further include asynchronously reproduced content in addition to the wide area image, the patch image, and the divided image which are reproduced in synchronization. This is referred to below as asynchronous content. The producer who manufactures the virtual reality image may implement a variety of expression methods by expressing asynchronous content on any one of the plurality of virtual reality images.
한편, 본 발명의 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 것이다.On the other hand, other unspecified objects of the present invention will be further considered within the range that can be easily inferred from the following detailed description and effects thereof.
본 발명의 제1국면은 가상현실을 구현하기 위해 생성된 하나의 원본영상으로부터 스티칭된 복수의 가상현실영상을 입력받는 영상입력부;According to a first aspect of the present invention, there is provided an image input unit configured to receive a plurality of virtual reality images stitched from one original image generated to implement virtual reality;
복수의 가상현실영상을 렌더링하는 다중렌더링부;A multi-rendering unit for rendering a plurality of virtual reality images;
복수의 가상현실영상의 싱크를 맞추기 위한 싱크정보를 생성하는 동기화부; 및A synchronization unit generating sync information for matching syncs of the plurality of virtual reality images; And
싱크정보를 이용하여 동기화된 복수의 가상현실영상을 재생하는 영상재생부를 포함하는 것을 특징으로 하는, 특정 영역의 화질을 개선하기 위해 복수의 가상현실영상을 재생하는 가상현실영상재생장치를 제공한다.A virtual reality image reproducing apparatus for reproducing a plurality of virtual reality images to improve the image quality of a specific region, characterized in that it comprises a video reproducing unit for reproducing a plurality of virtual reality images synchronized using the sync information.
바람직한 실시예에 있어서, 영상재생부는In a preferred embodiment, the video playback unit
복수의 가상현실영상에 포함된 광역영상을 재생하는 광역영상재생부; 및A wide area image reproducing unit for reproducing a wide area image included in a plurality of virtual reality images; And
복수의 가상현실영상에 포함된 패치영상을 광역영상 위에 오버랩하여 재생하는 패치영상재생부를 포함하고,It includes a patch image playback unit for playing the overlapping patch images included in the plurality of virtual reality images over the wide area image,
패치영상은 광역영상의 일부 영역을 다른 화질로 표현한 영상인 것이 좋다.The patch image may be an image in which some regions of the wide region image are expressed in different quality.
바람직한 실시예에 있어서, 영상재생부는In a preferred embodiment, the video playback unit
복수의 가상현실영상에 포함된 분할영상을 재생하는 복수의 분할영상재생부를 포함하고,It includes a plurality of divided image playback unit for playing the divided images contained in the plurality of virtual reality images,
분할영상은 하나의 원본영상을 N개의 영역으로 분할한 영상인 것이 좋다.The divided image may be an image obtained by dividing one original image into N regions.
바람직한 실시예에 있어서, 영상재생부는In a preferred embodiment, the video playback unit
복수의 가상현실영상에 포함된 분할영상을 서로 오버랩되도록 재생하는 복수의 분할영상재생부를 포함하고,It includes a plurality of divided image playback unit for reproducing the divided images included in the plurality of virtual reality images to overlap each other,
분할영상은 하나의 원본영상을 N개의 영역으로 분할한 영상이고, 소정의 영역이 서로 중첩되는 것이 좋다.The divided image is an image obtained by dividing one original image into N regions, and it is preferable that predetermined regions overlap each other.
바람직한 실시예에 있어서, 사용자의 시선에 따라 재생할 가상현실영상을 선택하여 영상재생부에 제공하는 재생영상선택부를 더 포함하는 것이 좋다.In a preferred embodiment, it is preferable to further include a playback image selection unit for selecting a virtual reality image to be reproduced according to the user's eyes provided to the image playback unit.
바람직한 실시예에 있어서, 싱크정보와 무관한 트리거정보에 따라 동작 또는 재생되는 비동기콘텐츠를 복수의 가상현실영상 중 일부의 영역에 표시하는 비동기콘텐츠표시부를 더 포함하는 것이 좋다.In a preferred embodiment, it is preferable to further include an asynchronous content display unit for displaying the asynchronous content to be operated or reproduced according to the trigger information irrelevant to the sync information in a portion of the plurality of virtual reality images.
바람직한 실시예에 있어서, 동기화부는 복수의 가상현실영상 중 가장 늦게 디코딩되는 가상현실영상에 맞춰 싱크정보를 생성하는 것이 좋다.In a preferred embodiment, it is preferable that the synchronization unit generates sync information according to the virtual reality image that is decoded most recently among the plurality of virtual reality images.
본 발명의 제2국면은 하나의 원본영상으로부터 복수의 가상현실영상을 생성하는 다중화질 가상현실영상생성장치가:According to a second aspect of the present invention, there is provided a multi-resolution virtual reality image generating apparatus for generating a plurality of virtual reality images from one original image:
(a) 가상현실을 구현하기 위해 원본영상을 입력받는 영상입력단계;(a) an image input step of receiving an original image to implement virtual reality;
(b) 원본영상의 전(全) 영역을 커버하는 광역영상을 스티칭하는 광역영상생성단계; 및(b) a wide area image generation step of stitching a wide area image covering an entire area of the original image; And
(c) 원본영상의 일부 영역을 커버하는 패치영상을 스티칭하는 패치영상생성단계를 포함하는 것을 특징으로 하는, 특정 영역의 화질을 개선하기 위해 복수의 가상현실영상을 생성하는 가상현실영상생성방법을 제공한다.(c) a patch image generation step of stitching a patch image covering a portion of the original image, wherein the virtual reality image generation method of generating a plurality of virtual reality images to improve the image quality of a specific region is provided. to provide.
본 발명의 제3국면은 하나의 원본영상으로부터 복수의 가상현실영상을 생성하는 다중화질 가상현실영상생성장치가:According to a third aspect of the present invention, there is provided a multi-resolution virtual reality image generating device for generating a plurality of virtual reality images from one original image:
(a) 가상현실을 구현하기 위해 원본영상을 입력받는 영상입력단계;(a) an image input step of receiving an original image to implement virtual reality;
(b) 원본영상을 N(N은 2 이상의 자연수)개의 중첩되지 않은 분할영역으로 구분하는 분할영역생성단계; 및(b) a partition region generation step of dividing the original image into N (N is two or more natural numbers) non-overlapping partition regions; And
(c) N개의 분할영역에 각각 대응하는 N개의 분할영상을 스티칭하는 분할영상생성단계를 포함하는 것을 특징으로 하는, 특정 영역의 화질을 개선하기 위해 복수의 가상현실영상을 생성하는 가상현실영상생성방법을 제공한다.(c) a segmented image generation step of stitching N segmented images corresponding to the N segmented regions, wherein the virtual reality image generation generates a plurality of virtual reality images to improve the image quality of a specific region; Provide a method.
본 발명은 하나의 원본영상으로부터 복수의 가상현실영상을 생성할 수 있는 효과가 있다. The present invention has the effect of generating a plurality of virtual reality images from one original image.
본 발명은 광역영상 위에 동기화된 패치영상을 재생할 수 있다. 제작자는 원본영상 중 필요한 부분을 선택하여 패치영상으로 제작할 수 있고, 패치영상을 광역영상보다 고화질로 제작할 수 있다. 따라서, 예를들어 공연, 강의와 같이 전면부에 시선이 주로 머무르는 가상현실콘텐츠를 제작할 때 일부의 영역만을 고화질의 패치영상으로 생성할 수 있는 효과가 있다.The present invention can reproduce the patch image synchronized over the wide image. The producer can select the required part of the original image to produce a patch image, and the patch image can be produced in a higher quality than the wide region image. Thus, for example, when producing virtual reality content in which the gaze mainly stays on the front surface, such as a performance or a lecture, only a part of the area may be generated as a high quality patch image.
또한, 본 발명은 원본영상을 N개로 분할한 분할영상을 생성할 수 있다. 분할된 N개의 분할영상은 서로 다른 화질일 수 있다. 따라서, 이 경우에도 예를들어 공연, 강의와 같이 전면부에 시선이 주로 머무르는 가상현실콘텐츠를 제작할 때 일부의 영역만을 고화질의 분할영상으로 생성할 수 있는 효과가 있다.In addition, the present invention may generate a divided image obtained by dividing the original image into N pieces. The divided N divided images may have different image quality. Therefore, even in this case, for example, when producing virtual reality content in which the gaze mainly stays on the front surface such as a performance or a lecture, only a part of the area can be generated as a high quality split image.
또한, 본 발명은 동기화되어 재생되는 광역영상, 패치영상, 분할영상 이외에 비동기화되어 재생되는 콘텐츠를 더 포함할 수 있다. 가상현실영상을 제작하는 제작자는 비동기콘텐츠를 복수의 가상현실영상 중 어느 하나 위에 표현함으로서 보다 다양한 표현방식을 구현할 수 있다. 예를들어, 사용자의 시선이 비동기콘텐츠가 배치된 영역을 바라보면, 재생 중이던 복수의 가상현실영상과 무관한 별도의 비동기콘텐츠가 활성화된다. 비동기콘텐츠는 영상뿐만 아니라 소정의 동작, 이벤트팝업과 같은 다양한 콘텐츠일 수 있다.In addition, the present invention may further include asynchronously reproduced content in addition to a wide area image, a patch image, and a segmented image. The producer who manufactures the virtual reality image may implement a variety of expression methods by expressing asynchronous content on any one of the plurality of virtual reality images. For example, when a user's gaze looks at an area where asynchronous content is arranged, separate asynchronous content is activated regardless of the plurality of virtual reality images being played. The asynchronous content may be various content such as an action pop-up as well as an image.
한편, 여기에서 명시적으로 언급되지 않은 효과라하더라도, 본 발명의 기술적 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급됨을 첨언한다.On the other hand, even if the effects are not explicitly mentioned here, it is added that the effects described in the following specification and the provisional effects expected by the technical features of the present invention are treated as described in the specification of the present invention.
도 1은 본 발명의 광역영상과 패치영상, 복수의 분할영상의 컨셉을 설명하기 위한 도면이다.
도 2는 본 발명의 분할영상의 다른 실시예를 설명하기 위한 도면이다.
도 3은 본 발명의 가상현실영상재생장치의 바람직한 실시예를 나타내기 위한 도면이다.
도 4는 본 발명의 동기화부의 바람직한 실시예를 나타내기 위한 도면이다.
도 5는 본 발명의 가상현실영상생성방법의 바람직한 실시예를 나타내기 위한 도면이다.
※ 첨부된 도면은 본 발명의 기술사상에 대한 이해를 위하여 참조로서 예시된 것임을 밝히며, 그것에 의해 본 발명의 권리범위가 제한되지는 아니한다.1 is a view for explaining the concept of a wide image, a patch image, a plurality of divided images of the present invention.
2 is a view for explaining another embodiment of a divided image of the present invention.
3 is a view showing a preferred embodiment of the virtual reality video playback apparatus of the present invention.
4 is a view showing a preferred embodiment of the synchronization unit of the present invention.
5 is a view showing a preferred embodiment of the virtual reality image generating method of the present invention.
The accompanying drawings show that they are illustrated as a reference for understanding the technical idea of the present invention, by which the scope of the present invention is not limited.
본 발명을 설명함에 있어서 관련된 공지기능에 대하여 이 분야의 기술자에게 자명한 사항으로서 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다.In the following description of the present invention, when it is determined that the subject matter of the present invention may be unnecessarily obscured by the person skilled in the art with respect to the related well-known functions, the detailed description will be omitted.
본 발명에서 복수의 가상현실영상은 원본영상으로부터 스티칭된 영상으로, 광역영상, 패치영상, 분할영상을 포함하는 개념이다.In the present invention, the plurality of virtual reality images are stitched images from original images, and include a wide image, a patch image, and a segmented image.
도 1은 본 발명의 광역영상과 패치영상, 복수의 분할영상의 컨셉을 설명하기 위한 도면이다.1 is a view for explaining the concept of a wide image, a patch image, a plurality of divided images of the present invention.
도 1의 (a)를 이용하여 본 발명의 광역영상과 패치영상에 대한 개념을 설명한다. 360도의 가상현실영역(10) 전체를 구로 표현한다고 가정했을 때 광역영상(V0)은 360도의 가상현실영역(10) 전체 또는 패치영상보다 넓은 영역을 표현하는 영상이다. 이하에서 편의상 광역영상은 가상현실영역의 전체를 커버하는 것으로 설명하지만 반드시 이에 한정되는 것은 아니다. 광역영상(V0)은 항시 재생되는 것이 원칙이다. A concept of a wide area image and a patch image of the present invention will be described with reference to FIG. Assuming that the entire
패치영상(V1~3)은 360도의 가상현실영역(10) 일부를 표현하는 영상이다. 패치영상(V1~4)은 커버하는 영역이 서로 다를 수 있고, 면적이 다를 수 있고, 화질도 서로 다를 수 있다. 예를들어, 제1패치영상(V1)은 전면부의 상하 일부영역을 커버하는 고화질의 영상일 수 있다. 가상현실 콘텐츠가 뮤지컬이라면 제1패치영상(V1)은 뮤지컬의 무대를 커버하는 영역일 수 있다. 제2패치영상(V2)은 후면부 상단 일부영역을 커버하는 영상이고, 제3패치영상(V3)은 후면부 하단 일부영역을 커버하는 영상일 수 있다.The patch images V 1 to 3 are images representing a part of the
패치영상(V1~3)은 광역영상(V0) 위에 오버랩되어 또는 패치되어(patched) 재생된다. 따라서, 재생되는 패치영상(V1~3) 중 어느 하나를 필요에 따라 오프(off)하더라도 뒤에 광역영상(V0)이 재생되고 있으므로 영상에 공백이 발생하지 않는다.The patch images V 1 to 3 are reproduced by being overlapped or patched on the wide image V 0 . Therefore, even if any one of the patch images V 1 to 3 to be played back is turned off as necessary, the wide area image V 0 is reproduced later so that no blank is generated in the image.
패치영상(V1~3)은 광역영상(V0)과 동기화되어 재생된다. 패치영상(V1~3)은 광역영상(V0)의 동기화가 구현되지 않으면 사용자에게 어지러움을 유발할 수 있기 때문이다.The patch images V 1 to 3 are reproduced in synchronization with the wide image V 0 . This is because patch images V 1 to 3 may cause dizziness to users if synchronization of wide image V 0 is not implemented.
비동기콘텐츠(V4)는 복수의 가상현실영상과 무관하게 제작자의 의도에 의해 임의로 삽입된 콘텐츠를 의미한다. 비동기콘텐츠(V4)는 동영상일 수도 있고 특정한 이벤트 동작일 수도 있다. 내용 상 광고일 수도 있고, 가상현실영상과 연관된 이벤트일 수 있다.The asynchronous content V 4 refers to content arbitrarily inserted by the creator's intention regardless of the plurality of virtual reality images. The asynchronous content V 4 may be a video or a specific event action. The content may be an advertisement or an event associated with a virtual reality image.
비동기콘텐츠(V4)는 복수의 가상현실영상과 동기화되지 않는다. 즉, 패치영상(V1~3)과 광역영상(V0)의 싱크와 무관하게 별도의 트리거정보에 의해 재생되거나 동작한다. 바람직한 실시예에서 트리거정보는 사용자의 시선이 비동기콘텐츠(V4)의 위치를 바라보는지 여부에 관한 정보를 포함한다.The asynchronous content V 4 is not synchronized with the plurality of virtual reality images. That is, regardless of the sync between the patch images V 1 to 3 and the wide image V 0 , the signals are reproduced or operated by separate trigger information. In the preferred embodiment, the trigger information includes information about whether the user's gaze looks at the position of the asynchronous content V 4 .
도 1의 (b)를 이용하여 본 발명의 분할영상(V1~N)에 대한 개념을 설명한다(N은 1보다 큰 자연수). The concept of the divided images V 1 to N of the present invention will be described with reference to FIG. 1B (N is a natural number greater than 1).
일 실시예에서 분할영상(V1~N)은 하나의 원본영상을 서로 중첩되지 않는 N개의 영역으로 분할한 영상일 수 있다. 복수의 분할영상(V1~N)은 서로 다른 크기일 수 있고, 서로 다른 화질일 수 있다.In one embodiment, the divided images V 1 to N may be images obtained by dividing one original image into N regions that do not overlap each other. The plurality of divided images V 1 to N may have different sizes and may have different image quality.
복수의 분할영상(V1~N)은 서로 동기화되어 재생된다. 복수의 분할영상(V1~N) 중 일부는 필요에 따라 오프(off)될 수 있다. 도시하지 않았지만, 분할영상(V1~N)의 일정 영역에는 비동기콘텐츠(V4)가 표시될 수 있다.The plurality of divided images V 1 to N are reproduced in synchronization with each other. Some of the plurality of split images V 1 to N may be turned off as necessary. Although not shown, asynchronous content V 4 may be displayed in a predetermined region of the divided images V 1 to N.
도 2는 본 발명의 분할영상의 다른 실시예를 설명하기 위한 도면이다.2 is a view for explaining another embodiment of a divided image of the present invention.
다른 실시예에서 분할영상(V1~N)은 서로 소정의 영역만큼 중첩될 수 있다. 복수의 분할영상(V1~N)은 서로 동기화되어 재생된다. 이때 중첩되는 분할영상은 서로 오버랩되어 재생된다. 복수의 분할영상(V1~N) 중 일부는 필요에 따라 오프(off)될 수 있다.In another embodiment, the divided images V 1 to N may overlap each other by a predetermined area. The plurality of divided images V 1 to N are reproduced in synchronization with each other. At this time, the overlapping divided images are reproduced by overlapping each other. Some of the plurality of split images V 1 to N may be turned off as necessary.
예를들어, 180도를 커버하는 분할영상 4개가 서로 90도씩 중첩될 수 있다(V1은 270~90도, V2는 0~180도, V3는 90~270도, V4는 180~360도). 시선좌표가 45도인 경우, V1과 V2는 온(On)하고 V3과 V4는 오프(Off) 할 수 있다.For example, four divided images covering 180 degrees may overlap each other by 90 degrees (V 1 is 270 to 90 degrees, V 2 is 0 to 180 degrees, V 3 is 90 to 270 degrees, and V 4 is 180 to 180 degrees). Degree). If the line of sight is 45 degrees, V 1 and V 2 can be turned on and V 3 and V 4 can be turned off.
이와 같이 분할영상을 중첩시키면 재생되는 분할영상의 수를 감소시킬 수 있다. 당연히 동기화해야할 분할영상의 수도 감소된다. 따라서, 시스템의 부담이 감소된다. By overlapping the divided images as described above, the number of the divided images to be reproduced can be reduced. Naturally, the number of divided images to be synchronized is also reduced. Thus, the burden on the system is reduced.
또한, 분할영상을 중첩시키면 사용자의 시선이 급격하게 변동될 때 분할영상 중 사용자의 시선에 따른 분할영상의 온오프(on/off)동작을 타이트하게 제어하지 않아도 되는 장점이 있다. 예를들어, V1을 오프하더라도 V2가 V1이 커버하던 영역 중 일부인 0~90도 사이의 영역을 커버하기 때문에 분할영상의 온오프(on/off)동작이 지체되더라도 시야에 공백(사용자의 시선에 아무것도 표시되지 않는 실패상황)이 발생할 확률이 낮아지기 때문이다. 한편, 광역영상과 패치영상의 실시예와 분할영상의 실시예는 서로 혼합될 수 있다. 예를들어, 복수의 분할영상의 일부에 패치영상이 재생될 수도 있다. 이 경우 패치영상이 오버랩되는 분할영상은 광역영상으로 이해될 것이다.In addition, when the gaze of the user is suddenly changed, when the gaze of the user is suddenly changed, the on / off operation of the divided image according to the gaze of the user may not be tightly controlled. For example, even if V1 is turned off, V2 covers an area between 0 and 90 degrees, which is part of the area covered by V1, so that even if the on / off operation of the segmented image is delayed, the field of view is blank. This is because the probability of occurrence of a failure situation in which nothing is displayed decreases. Meanwhile, embodiments of the wide area image and the patch image and embodiments of the divided image may be mixed with each other. For example, the patch image may be reproduced on a part of the plurality of divided images. In this case, the split image in which the patch image overlaps will be understood as a wide image.
도 3은 본 발명의 가상현실영상재생장치의 바람직한 실시예를 나타내기 위한 도면이다. 3 is a view showing a preferred embodiment of the virtual reality video playback apparatus of the present invention.
가상현실영상재생장치는 사용자에게 가상현실영상을 재생하는 장치로 사용자의 헤드에 착용하는 웨어러블장치일 수 있으나 반드시 이에 한정되는 것은 아니다.The virtual reality image reproducing apparatus may be a wearable device worn on a user's head as a device for reproducing a virtual reality image to a user, but is not necessarily limited thereto.
도 3에서 알 수 있듯이, 본 발명의 가상현실영상재생장치(100)는 영상입력부(110), 다중렌더링부(120), 동기화부(130), 영상재생부(140), 재생영상선택부(150), 시선정보생성부(160), 비동기콘텐츠표시부(170)를 포함할 수 있다.As can be seen in Figure 3, the virtual reality
영상입력부(110)는 가상현실을 구현하기 위해 생성된 하나의 원본영상으로부터 스티칭된 복수의 가상현실영상을 입력받는다. 다중렌더링부(120)는 복수의 가상현실영상을 렌더링한다. 동기화부(130)는 복수의 가상현실영상의 싱크를 맞추기 위한 싱크정보를 생성한다. 영상재생부(140)는 싱크정보를 이용하여 동기화된 복수의 가상현실영상을 재생한다.The
일 실시예에 있어서, 영상재생부(140)는 복수의 가상현실영상에 포함된 광역영상을 재생하는 광역영상재생부, 및 복수의 가상현실영상에 포함된 패치영상을 광역영상 위에 오버랩하여 재생하는 패치영상재생부를 포함할 수 있다. 패치영상은 광역영상보다 작은 영역을 표현하는 영상이다.In an exemplary embodiment, the
다른 실시예에 있어서, 영상재생부(140)는 복수의 가상현실영상에 포함된 분할영상을 재생하는 복수의 분할영상재생부를 포함할 수 있다. 복수의 분할영상재생부는 서로 중첩되는 분할영상을 오버랩하여 재생할 수 있다.재생영상선택부(150)은 필요에 따라 복수의 패치영상 또는 복수의 분할영상의 온오프를 결정한다. 바람직한 실시예에서 재생영상선택부(150)는 사용자의 시야에 대한 정보와 패치영상 또는 분할영상이 재생되는 위치에 대한 정보를 비교하여, 해당 시야에서 재생되는 패치영상 또는 분할영상이 무엇인지 판단한다. 재생영상선택부(150)는 사용자의 시야에서 벗어난 영상의 재생을 오프할 수 있도록 사용자의 시야에서 벗어난 영상에 대한 정보를 영상재생부(140)에 제공한다.In another embodiment, the
시선정보생성부(160)는 사용자의 시선이 위치한시선좌표를 측정하여 시선좌표를 중심으로 사용자가 인지할 수 있는 영역(사용자의 시야)을 결정한다. The gaze
비동기콘텐츠표시부(170)는 비동기콘텐츠를 복수의 가상현실영상 중 일부의 영역에 표시한다. 비동기콘텐츠표시부(170)는 복수의 가상현실영상의 싱크정보와 무관하게 독자적인 트리거정보에 따라 동작 또는 재생된다. 트리거정보는 사용자의 시선좌표 또는 시선좌표를 중심으로 사용자가 인지할 수 있는 영역(사용자의 시야)과 관련하여 결정된다. 바람직한 실시예에서 비동기콘텐츠표시부(170)는 시선정보생성부(160)로부터 사용자의 시선좌표를 입력받아 비동기콘텐츠가 표시된 영역과 비교하여 사용자의 시선 또는 시야가 비동기콘텐츠를 인지할 수 있을 때 비동기콘텐츠를 동작시키거나 재생시킬 수 있다.The asynchronous
도 4는 본 발명의 동기화부의 바람직한 실시예를 나타내기 위한 도면이다.4 is a view showing a preferred embodiment of the synchronization unit of the present invention.
동기화부는 복수의 가상현실영상 중 가장 늦게 디코딩되는 가상현실영상에 맞춰 싱크정보를 생성한다. 예를들어, 복수의 패치영상(V1~3) 중에서 제1패치영상(V1)의 제1프레임의 디코딩이 완료되는 시간을 t1, 제2패치영상(V2)의 제1프레임의 디코딩이 완료되는 시간을 t1' 제3패치영상(V3)의 제1프레임의 디코딩이 완료되는 시간을 t1,''이라 했을 때, 가장 늦게 디코딩이 완료되는 시간인 t1,''을 기준으로 제1 내지 제3패치영상의 제1프레임을 재생한다.The synchronization unit generates sync information according to the virtual reality image that is decoded most recently among the plurality of virtual reality images. For example, the time at which the decoding of the first frame of the first patch image V 1 is completed among the plurality of patch images V 1 to 3 is t 1 and the time of the first frame of the second patch image V 2 is determined. the time at which decoding is completed, t 1, when called, the third patch image (V 3) a first time to be decoded is completed in frame t 1, a '', t 1, the time that the late decoding the received '' The first frame of the first to third patch image is reproduced on the basis of.
도 5는 본 발명의 가상현실영상생성방법의 바람직한 실시예를 나타내기 위한 도면이다.5 is a view showing a preferred embodiment of the virtual reality image generating method of the present invention.
도 5의 가상현실영상생성방법은 하나의 원본영상으로부터 복수의 가상현실영상을 생성하는 다중화질 가상현실영상생성장치가 실행주체가 된다.In the virtual reality image generating method of FIG. 5, a multi-resolution virtual reality image generating apparatus for generating a plurality of virtual reality images from one original image is an execution agent.
먼저, 가상현실을 구현하기 위해 원본영상을 입력받는 영상입력단계(S1100)가 실행된다. 패치영상을 생성할 것인지 분할영상을 생성할 것인지 판단한다(S1200).First, an image input step (S1100) of receiving an original image is implemented to implement virtual reality. It is determined whether to generate a patch image or a split image (S1200).
패치영상을 생성하는 경우에는 먼저 원본영상의 전(全) 영역을 커버하는 광역영상을 스티칭하는 광역영상생성단계(S1300)를 실행한다. When generating a patch image, a wide image generation step (S1300) of first stitching a wide image covering a whole area of the original image is performed.
몇 개의 패치영상을 생성할 것인지, 원본영상 중어느 영역을 패치영상으로 생성할 것인지, 패치영상의 화질은 어떻게 할 것인지 결정한 후에, 원본영상의 일부 영역을 커버하는 패치영상을 스티칭하는 패치영상생성단계를 실행한다(S1400).The patch image generation step of stitching patch images covering a portion of the original image after determining how many patch images to create, which region of the original image to create as patch images, and how to perform the patch image quality. To execute (S1400).
분할영상을 생성하는 경우에는 몇 개의 분할영상을 생성할 것인지, 각각의 분할영상이 원본영상의 어느 영역을 커버하도록 할 것인지, 각각의 분할영상의 화질은 어떻게 할 것인지 결정하는 분할영역생성단계(S1500)를 실행한 후, N(N은 1보다 큰 자연수)개의 분할영역에 각각 대응하는 N개의 분할영상을 스티칭하는 분할영상생성단계를 실행한다(S1600).In the case of generating a divided image, a segmentation region generating step of determining how many divided images are to be generated, which regions of each original image are to be covered, and how the quality of each divided image is to be determined (S1500). ), A segmentation image generation step of stitching N segmentation images respectively corresponding to N (N is a natural number greater than 1) segmentation regions is performed (S1600).
Claims (5)
복수의 가상현실영상을 렌더링하는 다중렌더링부;
복수의 가상현실영상의 싱크를 맞추기 위한 싱크정보를 생성하는 동기화부; 및
싱크정보를 이용하여 동기화된 복수의 가상현실영상을 재생하는 영상재생부를 포함하는 것을 특징으로 하는,
화질이 개선된 복수의 가상현실영상을 동기 또는 비동기 방식으로 재생하는 가상현실영상재생장치.An image input unit configured to receive a plurality of virtual reality images stitched from one original image generated to implement virtual reality;
A multi-rendering unit for rendering a plurality of virtual reality images;
A synchronization unit generating sync information for matching syncs of the plurality of virtual reality images; And
Characterized in that it comprises a video playback unit for playing back a plurality of virtual reality video synchronized using the sync information,
Virtual reality image playback device for reproducing a plurality of virtual reality images with improved image quality in a synchronous or asynchronous manner.
싱크정보와 무관한 트리거정보에 따라 동작 또는 재생되는 비동기콘텐츠를 복수의 가상현실영상 중 일부의 영역에 표시하는 비동기콘텐츠표시부를 더 포함하는 것인,
화질이 개선된 복수의 가상현실영상을 동기 또는 비동기 방식으로 재생하는 가상현실영상재생장치.The method of claim 1,
It further comprises an asynchronous content display unit for displaying the asynchronous content that is operated or played according to the trigger information irrelevant to the sync information in a portion of the plurality of virtual reality images,
Virtual reality image playback device for reproducing a plurality of virtual reality images with improved image quality in a synchronous or asynchronous manner.
동기화부는 복수의 가상현실영상 중 가장 늦게 디코딩되는 가상현실영상에 맞춰 싱크정보를 생성하는 것인,
화질이 개선된 복수의 가상현실영상을 동기 또는 비동기 방식으로 재생하는 가상현실영상재생장치.The method of claim 1,
The synchronization unit generates sync information according to the virtual reality image that is decoded last among the plurality of virtual reality images.
Virtual reality image playback device for reproducing a plurality of virtual reality images with improved image quality in a synchronous or asynchronous manner.
영상재생부는
복수의 가상현실영상에 포함된 분할영상을 재생하는 복수의 분할영상재생부를 포함하고,
분할영상은 하나의 원본영상을 N개의 영역으로 분할한 영상인 것인,
화질이 개선된 복수의 가상현실영상을 동기 또는 비동기 방식으로 재생하는 가상현실영상재생장치.The method of claim 1,
Video playback unit
It includes a plurality of divided image playback unit for playing the divided images contained in the plurality of virtual reality images,
The divided image is an image obtained by dividing one original image into N regions.
Virtual reality image playback device for reproducing a plurality of virtual reality images with improved image quality in a synchronous or asynchronous manner.
사용자의 시선에 따라 재생할 가상현실영상을 선택하여 영상재생부에 제공하는 재생영상선택부를 더 포함하는 것인,
화질이 개선된 복수의 가상현실영상을 동기 또는 비동기 방식으로 재생하는 가상현실영상재생장치.The method of claim 1,
It further comprises a playback image selection unit for selecting a virtual reality image to be played according to the user's eyes provided to the image playback unit,
Virtual reality image playback device for reproducing a plurality of virtual reality images with improved image quality in a synchronous or asynchronous manner.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190130776A KR102135001B1 (en) | 2019-10-21 | 2019-10-21 | Apparaturs for playing plural vr video in sync or async method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190130776A KR102135001B1 (en) | 2019-10-21 | 2019-10-21 | Apparaturs for playing plural vr video in sync or async method |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180074626A Division KR102073230B1 (en) | 2018-06-28 | 2018-06-28 | Apparaturs for playing vr video to improve quality of specific area |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200002018A true KR20200002018A (en) | 2020-01-07 |
| KR102135001B1 KR102135001B1 (en) | 2020-07-16 |
Family
ID=69153879
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190130776A KR102135001B1 (en) | 2019-10-21 | 2019-10-21 | Apparaturs for playing plural vr video in sync or async method |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102135001B1 (en) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170096071A (en) * | 2016-02-15 | 2017-08-23 | 동국대학교 산학협력단 | Three dimensional virtual reality video image production method and apparatus thereof |
| KR20170123667A (en) * | 2015-05-27 | 2017-11-08 | 구글 엘엘씨 | Capture and render panoramic virtual reality content |
-
2019
- 2019-10-21 KR KR1020190130776A patent/KR102135001B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170123667A (en) * | 2015-05-27 | 2017-11-08 | 구글 엘엘씨 | Capture and render panoramic virtual reality content |
| KR20170096071A (en) * | 2016-02-15 | 2017-08-23 | 동국대학교 산학협력단 | Three dimensional virtual reality video image production method and apparatus thereof |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102135001B1 (en) | 2020-07-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10306202B2 (en) | Image encoding and display | |
| US10869153B2 (en) | Apparatus for spatial audio and associated method | |
| JP5273757B2 (en) | Method and apparatus for processing multiple video streams using metadata | |
| US8098261B2 (en) | Pillarboxing correction | |
| CN102438157B (en) | Image processing device and method | |
| KR102073230B1 (en) | Apparaturs for playing vr video to improve quality of specific area | |
| WO2019152067A1 (en) | Apparatus, system, and method for mitigating motion-to-photon latency in head-mounted displays | |
| KR20100094375A (en) | Method and apparatus for processing video image | |
| CN108604438A (en) | Display control method and program for making the computer-implemented display control method | |
| CN113296721A (en) | Display method, display device and multi-screen linkage system | |
| US20240048677A1 (en) | Information processing system, information processing method, and computer program | |
| US20190373243A1 (en) | Image processing method and image player using thereof | |
| WO2011042479A1 (en) | Method of displaying a 3d video with insertion of a graphic item and terminal for implementing the method | |
| JP2019512177A (en) | Device and related method | |
| CN110730340B (en) | Virtual audience display method, system and storage medium based on lens transformation | |
| CN110213640A (en) | Generation method, device and the equipment of virtual objects | |
| KR20200013607A (en) | Method and apparatus for capturing/playing omnidirectional video with motion parallax | |
| KR101029612B1 (en) | Method and System for simultaneously playing graphic animation and picture | |
| WO2019004073A1 (en) | Image placement determination device, display control device, image placement determination method, display control method, and program | |
| KR20200002018A (en) | Apparaturs for playing plural vr video in sync or async method | |
| KR20200111408A (en) | User interface and method for 360 VR interactive relay | |
| KR102295264B1 (en) | Apparaturs and method for playing vr video using single streaming video | |
| KR100758304B1 (en) | Method for making a multi-view panoramic video content and method for playing thereof | |
| KR20210077193A (en) | Independent operation method of graphic animation and video image and efficient simultaneous playback system | |
| KR101773929B1 (en) | System for processing video with wide viewing angle, methods for transmitting and displaying vide with wide viewing angle and computer programs for the same |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |