KR102073230B1 - 특정 영역의 화질을 개선하기 위해 복수의 가상현실영상을 재생하는 가상현실영상재생장치 및 가상현실영상생성방법 - Google Patents

특정 영역의 화질을 개선하기 위해 복수의 가상현실영상을 재생하는 가상현실영상재생장치 및 가상현실영상생성방법 Download PDF

Info

Publication number
KR102073230B1
KR102073230B1 KR1020180074626A KR20180074626A KR102073230B1 KR 102073230 B1 KR102073230 B1 KR 102073230B1 KR 1020180074626 A KR1020180074626 A KR 1020180074626A KR 20180074626 A KR20180074626 A KR 20180074626A KR 102073230 B1 KR102073230 B1 KR 102073230B1
Authority
KR
South Korea
Prior art keywords
image
virtual reality
images
reality images
unit
Prior art date
Application number
KR1020180074626A
Other languages
English (en)
Other versions
KR20200001750A (ko
Inventor
신의현
정태식
차동우
Original Assignee
주식회사 알파서클
수원대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 알파서클, 수원대학교산학협력단 filed Critical 주식회사 알파서클
Priority to KR1020180074626A priority Critical patent/KR102073230B1/ko
Priority to CN201980036082.6A priority patent/CN112204627A/zh
Priority to US17/059,260 priority patent/US11310476B2/en
Priority to PCT/KR2019/007799 priority patent/WO2020004967A1/ko
Publication of KR20200001750A publication Critical patent/KR20200001750A/ko
Application granted granted Critical
Publication of KR102073230B1 publication Critical patent/KR102073230B1/ko
Priority to US17/696,816 priority patent/US20220210390A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G06T3/04—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation

Abstract

본 발명은 가상현실을 구현하기 위해 생성된 하나의 원본영상으로부터 스티칭된 복수의 가상현실영상을 입력받는 영상입력부, 복수의 가상현실영상을 렌더링하는 다중렌더링부, 복수의 가상현실영상의 싱크를 맞추기 위한 싱크정보를 생성하는 동기화부, 및 싱크정보를 이용하여 동기화된 복수의 가상현실영상을 재생하는 영상재생부를 포함하는 것을 특징으로 하는 특정 영역의 화질을 개선하기 위해 복수의 가상현실영상을 재생하는 가상현실영상재생장치를 제공한다.

Description

특정 영역의 화질을 개선하기 위해 복수의 가상현실영상을 재생하는 가상현실영상재생장치 및 가상현실영상생성방법 {APPARATURS FOR PLAYING VR VIDEO TO IMPROVE QUALITY OF SPECIFIC AREA}
본 발명은 가상현실장치에 대한 것이다.
종래 가상현실(Virtual Reality) 기술에서 화질열화를 어떻게 극복할 것인지가 문제되어 왔다.
가상현실을 구현하기 위해서는 복수의 카메라를 이용해 360° 전 방위에서 영상을 촬영한 후, 이를 스티칭(stitching)하여 원본영상을 제작해야한다. 그런데 원본영상을 4K 화질로 스티칭한다고 해서 사용자가 시청하는 화질이 4K급인 것이 아니다. 왜냐하면 원본영상은 360°를 모두 아우르는 것이므로 실제 사용자가 시청하는 영상은 HD급 이하가 되기 때문이다. 예를 들어, 1080픽셀에 180° 를 아우르는 영상을 담는다면 실제 1°에 해당하는 영상이 6픽셀에 저장된다. 그러므로 상당히 낮은 품질의 영상이 구현되는 것이다.
이에 본 발명의 발명자는 그런 문제점을 해결하기 위해서 오랫동안 연구하고 시행착오를 거치며 개발한 끝에 본 발명을 완성하기에 이르렀다.
본 발명은 이와 같은 문제점을 해결하기 위하여 하나의 원본영상으로부터 복수의 가상현실영상을 스티칭한다.
복수의 가상현실영상은 원본영상의 전체 또는 일부를 스티칭하여 생성한 광역영상, 광역영상보다 좁은 영역을 스티칭하여 생성한 패치영상을 포함한다. 본 발명은 광역영상 위에 적어도 하나 이상의 패치영상을 오버랩하여 재생한다. 바람직한 실시예에서 패치영상은 광역영상 보다 고화질일 수 있다. 따라서, 사용자는 패치영상에 해당하는 영역을 볼 때 고화질의 영상을 시청하게 된다. 한편, 패치영상을 벗어난 영역에는 광역영상이 동기화되어 재생되고 있으므로 사용자의 시선이 패치영상을 벗어나더라도 영상이 끊기지 않는다.
또한, 복수의 가상현실영상은 원본영상을 N개로 분할한 복수의 분할영상을 포함한다. 복수의 분할영상은 서로 중첩되지 않거나, 또는 의도적으로 일정 영역이 중첩될 수 있다. 복수의 분할영상은 서로 동기화되어 재생된다.
해상도가 동일하다고 가정할 때 원본영상의 전체를 스티칭한 영상보다 일부를 스티칭한 영상의 화질이 더 고화질이다. 따라서, 분할영상은 고화질의 영상을 제작하는데 더 유리하다.
본 발명은 동기화되어 재생되는 광역영상, 패치영상, 분할영상 이외에 비동기화되어 재생되는 콘텐츠를 더 포함할 수 있다. 이하에서 이를 비동기콘텐츠라 호칭한다. 가상현실영상을 제작하는 제작자는 비동기콘텐츠를 복수의 가상현실영상 중 어느 하나 위에 표현함으로서 보다 다양한 표현방식을 구현할 수 있다.
한편, 본 발명의 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 것이다.
본 발명의 제1국면은 가상현실을 구현하기 위해 생성된 하나의 원본영상으로부터 스티칭된 복수의 가상현실영상을 입력받는 영상입력부;
복수의 가상현실영상을 렌더링하는 다중렌더링부;
복수의 가상현실영상의 싱크를 맞추기 위한 싱크정보를 생성하는 동기화부; 및
싱크정보를 이용하여 동기화된 복수의 가상현실영상을 재생하는 영상재생부를 포함하는 것을 특징으로 하는, 특정 영역의 화질을 개선하기 위해 복수의 가상현실영상을 재생하는 가상현실영상재생장치를 제공한다.
바람직한 실시예에 있어서, 영상재생부는
복수의 가상현실영상에 포함된 광역영상을 재생하는 광역영상재생부; 및
복수의 가상현실영상에 포함된 패치영상을 광역영상 위에 오버랩하여 재생하는 패치영상재생부를 포함하고,
패치영상은 광역영상의 일부 영역을 다른 화질로 표현한 영상인 것이 좋다.
바람직한 실시예에 있어서, 영상재생부는
복수의 가상현실영상에 포함된 분할영상을 재생하는 복수의 분할영상재생부를 포함하고,
분할영상은 하나의 원본영상을 N개의 영역으로 분할한 영상인 것이 좋다.
바람직한 실시예에 있어서, 영상재생부는
복수의 가상현실영상에 포함된 분할영상을 서로 오버랩되도록 재생하는 복수의 분할영상재생부를 포함하고,
분할영상은 하나의 원본영상을 N개의 영역으로 분할한 영상이고, 소정의 영역이 서로 중첩되는 것이 좋다.
바람직한 실시예에 있어서, 사용자의 시선에 따라 재생할 가상현실영상을 선택하여 영상재생부에 제공하는 재생영상선택부를 더 포함하는 것이 좋다.
바람직한 실시예에 있어서, 싱크정보와 무관한 트리거정보에 따라 동작 또는 재생되는 비동기콘텐츠를 복수의 가상현실영상 중 일부의 영역에 표시하는 비동기콘텐츠표시부를 더 포함하는 것이 좋다.
바람직한 실시예에 있어서, 동기화부는 복수의 가상현실영상 중 가장 늦게 디코딩되는 가상현실영상에 맞춰 싱크정보를 생성하는 것이 좋다.
본 발명의 제2국면은 하나의 원본영상으로부터 복수의 가상현실영상을 생성하는 다중화질 가상현실영상생성장치가:
(a) 가상현실을 구현하기 위해 원본영상을 입력받는 영상입력단계;
(b) 원본영상의 전(全) 영역을 커버하는 광역영상을 스티칭하는 광역영상생성단계; 및
(c) 원본영상의 일부 영역을 커버하는 패치영상을 스티칭하는 패치영상생성단계를 포함하는 것을 특징으로 하는, 특정 영역의 화질을 개선하기 위해 복수의 가상현실영상을 생성하는 가상현실영상생성방법을 제공한다.
본 발명의 제3국면은 하나의 원본영상으로부터 복수의 가상현실영상을 생성하는 다중화질 가상현실영상생성장치가:
(a) 가상현실을 구현하기 위해 원본영상을 입력받는 영상입력단계;
(b) 원본영상을 N(N은 2 이상의 자연수)개의 중첩되지 않은 분할영역으로 구분하는 분할영역생성단계; 및
(c) N개의 분할영역에 각각 대응하는 N개의 분할영상을 스티칭하는 분할영상생성단계를 포함하는 것을 특징으로 하는, 특정 영역의 화질을 개선하기 위해 복수의 가상현실영상을 생성하는 가상현실영상생성방법을 제공한다.
본 발명은 하나의 원본영상으로부터 복수의 가상현실영상을 생성할 수 있는 효과가 있다.
본 발명은 광역영상 위에 동기화된 패치영상을 재생할 수 있다. 제작자는 원본영상 중 필요한 부분을 선택하여 패치영상으로 제작할 수 있고, 패치영상을 광역영상보다 고화질로 제작할 수 있다. 따라서, 예를들어 공연, 강의와 같이 전면부에 시선이 주로 머무르는 가상현실콘텐츠를 제작할 때 일부의 영역만을 고화질의 패치영상으로 생성할 수 있는 효과가 있다.
또한, 본 발명은 원본영상을 N개로 분할한 분할영상을 생성할 수 있다. 분할된 N개의 분할영상은 서로 다른 화질일 수 있다. 따라서, 이 경우에도 예를들어 공연, 강의와 같이 전면부에 시선이 주로 머무르는 가상현실콘텐츠를 제작할 때 일부의 영역만을 고화질의 분할영상으로 생성할 수 있는 효과가 있다.
또한, 본 발명은 동기화되어 재생되는 광역영상, 패치영상, 분할영상 이외에 비동기화되어 재생되는 콘텐츠를 더 포함할 수 있다. 가상현실영상을 제작하는 제작자는 비동기콘텐츠를 복수의 가상현실영상 중 어느 하나 위에 표현함으로서 보다 다양한 표현방식을 구현할 수 있다. 예를들어, 사용자의 시선이 비동기콘텐츠가 배치된 영역을 바라보면, 재생 중이던 복수의 가상현실영상과 무관한 별도의 비동기콘텐츠가 활성화된다. 비동기콘텐츠는 영상뿐만 아니라 소정의 동작, 이벤트팝업과 같은 다양한 콘텐츠일 수 있다.
한편, 여기에서 명시적으로 언급되지 않은 효과라하더라도, 본 발명의 기술적 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급됨을 첨언한다.
도 1은 본 발명의 광역영상과 패치영상, 복수의 분할영상의 컨셉을 설명하기 위한 도면이다.
도 2는 본 발명의 분할영상의 다른 실시예를 설명하기 위한 도면이다.
도 3은 본 발명의 가상현실영상재생장치의 바람직한 실시예를 나타내기 위한 도면이다.
도 4는 본 발명의 동기화부의 바람직한 실시예를 나타내기 위한 도면이다.
도 5는 본 발명의 가상현실영상생성방법의 바람직한 실시예를 나타내기 위한 도면이다.
※ 첨부된 도면은 본 발명의 기술사상에 대한 이해를 위하여 참조로서 예시된 것임을 밝히며, 그것에 의해 본 발명의 권리범위가 제한되지는 아니한다.
본 발명을 설명함에 있어서 관련된 공지기능에 대하여 이 분야의 기술자에게 자명한 사항으로서 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다.
본 발명에서 복수의 가상현실영상은 원본영상으로부터 스티칭된 영상으로, 광역영상, 패치영상, 분할영상을 포함하는 개념이다.
도 1은 본 발명의 광역영상과 패치영상, 복수의 분할영상의 컨셉을 설명하기 위한 도면이다.
도 1의 (a)를 이용하여 본 발명의 광역영상과 패치영상에 대한 개념을 설명한다. 360도의 가상현실영역(10) 전체를 구로 표현한다고 가정했을 때 광역영상(V0)은 360도의 가상현실영역(10) 전체 또는 패치영상보다 넓은 영역을 표현하는 영상이다. 이하에서 편의상 광역영상은 가상현실영역의 전체를 커버하는 것으로 설명하지만 반드시 이에 한정되는 것은 아니다. 광역영상(V0)은 항시 재생되는 것이 원칙이다.
패치영상(V1~3)은 360도의 가상현실영역(10) 일부를 표현하는 영상이다. 패치영상(V1~4)은 커버하는 영역이 서로 다를 수 있고, 면적이 다를 수 있고, 화질도 서로 다를 수 있다. 예를들어, 제1패치영상(V1)은 전면부의 상하 일부영역을 커버하는 고화질의 영상일 수 있다. 가상현실 콘텐츠가 뮤지컬이라면 제1패치영상(V1)은 뮤지컬의 무대를 커버하는 영역일 수 있다. 제2패치영상(V2)은 후면부 상단 일부영역을 커버하는 영상이고, 제3패치영상(V3)은 후면부 하단 일부영역을 커버하는 영상일 수 있다.
패치영상(V1~3)은 광역영상(V0) 위에 오버랩되어 또는 패치되어(patched) 재생된다. 따라서, 재생되는 패치영상(V1~3) 중 어느 하나를 필요에 따라 오프(off)하더라도 뒤에 광역영상(V0)이 재생되고 있으므로 영상에 공백이 발생하지 않는다.
패치영상(V1~3)은 광역영상(V0)과 동기화되어 재생된다. 패치영상(V1~3)은 광역영상(V0)의 동기화가 구현되지 않으면 사용자에게 어지러움을 유발할 수 있기 때문이다.
비동기콘텐츠(V4)는 복수의 가상현실영상과 무관하게 제작자의 의도에 의해 임의로 삽입된 콘텐츠를 의미한다. 비동기콘텐츠(V4)는 동영상일 수도 있고 특정한 이벤트 동작일 수도 있다. 내용 상 광고일 수도 있고, 가상현실영상과 연관된 이벤트일 수 있다.
비동기콘텐츠(V4)는 복수의 가상현실영상과 동기화되지 않는다. 즉, 패치영상(V1~3)과 광역영상(V0)의 싱크와 무관하게 별도의 트리거정보에 의해 재생되거나 동작한다. 바람직한 실시예에서 트리거정보는 사용자의 시선이 비동기콘텐츠(V4)의 위치를 바라보는지 여부에 관한 정보를 포함한다.
도 1의 (b)를 이용하여 본 발명의 분할영상(V1~N)에 대한 개념을 설명한다(N은 1보다 큰 자연수).
일 실시예에서 분할영상(V1~N)은 하나의 원본영상을 서로 중첩되지 않는 N개의 영역으로 분할한 영상일 수 있다. 복수의 분할영상(V1~N)은 서로 다른 크기일 수 있고, 서로 다른 화질일 수 있다.
복수의 분할영상(V1~N)은 서로 동기화되어 재생된다. 복수의 분할영상(V1~N) 중 일부는 필요에 따라 오프(off)될 수 있다. 도시하지 않았지만, 분할영상(V1~N)의 일정 영역에는 비동기콘텐츠(V4)가 표시될 수 있다.
도 2는 본 발명의 분할영상의 다른 실시예를 설명하기 위한 도면이다.
다른 실시예에서 분할영상(V1~N)은 서로 소정의 영역만큼 중첩될 수 있다. 복수의 분할영상(V1~N)은 서로 동기화되어 재생된다. 이때 중첩되는 분할영상은 서로 오버랩되어 재생된다. 복수의 분할영상(V1~N) 중 일부는 필요에 따라 오프(off)될 수 있다.
예를들어, 180도를 커버하는 분할영상 4개가 서로 90도씩 중첩될 수 있다(V1은 270~90도, V2는 0~180도, V3는 90~270도, V4는 180~360도). 시선좌표가 45도인 경우, V1과 V2는 온(On)하고 V3과 V4는 오프(Off) 할 수 있다.
이와 같이 분할영상을 중첩시키면 재생되는 분할영상의 수를 감소시킬 수 있다. 당연히 동기화해야할 분할영상의 수도 감소된다. 따라서, 시스템의 부담이 감소된다.
또한, 분할영상을 중첩시키면 사용자의 시선이 급격하게 변동될 때 분할영상 중 사용자의 시선에 따른 분할영상의 온오프(on/off)동작을 타이트하게 제어하지 않아도 되는 장점이 있다. 예를들어, V1을 오프하더라도 V2가 V1이 커버하던 영역 중 일부인 0~90도 사이의 영역을 커버하기 때문에 분할영상의 온오프(on/off)동작이 지체되더라도 시야에 공백(사용자의 시선에 아무것도 표시되지 않는 실패상황)이 발생할 확률이 낮아지기 때문이다. 한편, 광역영상과 패치영상의 실시예와 분할영상의 실시예는 서로 혼합될 수 있다. 예를들어, 복수의 분할영상의 일부에 패치영상이 재생될 수도 있다. 이 경우 패치영상이 오버랩되는 분할영상은 광역영상으로 이해될 것이다.
도 3은 본 발명의 가상현실영상재생장치의 바람직한 실시예를 나타내기 위한 도면이다.
가상현실영상재생장치는 사용자에게 가상현실영상을 재생하는 장치로 사용자의 헤드에 착용하는 웨어러블장치일 수 있으나 반드시 이에 한정되는 것은 아니다.
도 3에서 알 수 있듯이, 본 발명의 가상현실영상재생장치(100)는 영상입력부(110), 다중렌더링부(120), 동기화부(130), 영상재생부(140), 재생영상선택부(150), 시선정보생성부(160), 비동기콘텐츠표시부(170)를 포함할 수 있다.
영상입력부(110)는 가상현실을 구현하기 위해 생성된 하나의 원본영상으로부터 스티칭된 복수의 가상현실영상을 입력받는다. 다중렌더링부(120)는 복수의 가상현실영상을 렌더링한다. 동기화부(130)는 복수의 가상현실영상의 싱크를 맞추기 위한 싱크정보를 생성한다. 영상재생부(140)는 싱크정보를 이용하여 동기화된 복수의 가상현실영상을 재생한다.
일 실시예에 있어서, 영상재생부(140)는 복수의 가상현실영상에 포함된 광역영상을 재생하는 광역영상재생부, 및 복수의 가상현실영상에 포함된 패치영상을 광역영상 위에 오버랩하여 재생하는 패치영상재생부를 포함할 수 있다. 패치영상은 광역영상보다 작은 영역을 표현하는 영상이다.
다른 실시예에 있어서, 영상재생부(140)는 복수의 가상현실영상에 포함된 분할영상을 재생하는 복수의 분할영상재생부를 포함할 수 있다. 복수의 분할영상재생부는 서로 중첩되는 분할영상을 오버랩하여 재생할 수 있다.재생영상선택부(150)은 필요에 따라 복수의 패치영상 또는 복수의 분할영상의 온오프를 결정한다. 바람직한 실시예에서 재생영상선택부(150)는 사용자의 시야에 대한 정보와 패치영상 또는 분할영상이 재생되는 위치에 대한 정보를 비교하여, 해당 시야에서 재생되는 패치영상 또는 분할영상이 무엇인지 판단한다. 재생영상선택부(150)는 사용자의 시야에서 벗어난 영상의 재생을 오프할 수 있도록 사용자의 시야에서 벗어난 영상에 대한 정보를 영상재생부(140)에 제공한다.
시선정보생성부(160)는 사용자의 시선이 위치한시선좌표를 측정하여 시선좌표를 중심으로 사용자가 인지할 수 있는 영역(사용자의 시야)을 결정한다.
비동기콘텐츠표시부(170)는 비동기콘텐츠를 복수의 가상현실영상 중 일부의 영역에 표시한다. 비동기콘텐츠표시부(170)는 복수의 가상현실영상의 싱크정보와 무관하게 독자적인 트리거정보에 따라 동작 또는 재생된다. 트리거정보는 사용자의 시선좌표 또는 시선좌표를 중심으로 사용자가 인지할 수 있는 영역(사용자의 시야)과 관련하여 결정된다. 바람직한 실시예에서 비동기콘텐츠표시부(170)는 시선정보생성부(160)로부터 사용자의 시선좌표를 입력받아 비동기콘텐츠가 표시된 영역과 비교하여 사용자의 시선 또는 시야가 비동기콘텐츠를 인지할 수 있을 때 비동기콘텐츠를 동작시키거나 재생시킬 수 있다.
도 4는 본 발명의 동기화부의 바람직한 실시예를 나타내기 위한 도면이다.
동기화부는 복수의 가상현실영상 중 가장 늦게 디코딩되는 가상현실영상에 맞춰 싱크정보를 생성한다. 예를들어, 복수의 패치영상(V1~3) 중에서 제1패치영상(V1)의 제1프레임의 디코딩이 완료되는 시간을 t1, 제2패치영상(V2)의 제1프레임의 디코딩이 완료되는 시간을 t1' 제3패치영상(V3)의 제1프레임의 디코딩이 완료되는 시간을 t1,''이라 했을 때, 가장 늦게 디코딩이 완료되는 시간인 t1,''을 기준으로 제1 내지 제3패치영상의 제1프레임을 재생한다.
도 5는 본 발명의 가상현실영상생성방법의 바람직한 실시예를 나타내기 위한 도면이다.
도 5의 가상현실영상생성방법은 하나의 원본영상으로부터 복수의 가상현실영상을 생성하는 다중화질 가상현실영상생성장치가 실행주체가 된다.
먼저, 가상현실을 구현하기 위해 원본영상을 입력받는 영상입력단계(S1100)가 실행된다. 패치영상을 생성할 것인지 분할영상을 생성할 것인지 판단한다(S1200).
패치영상을 생성하는 경우에는 먼저 원본영상의 전(全) 영역을 커버하는 광역영상을 스티칭하는 광역영상생성단계(S1300)를 실행한다.
몇 개의 패치영상을 생성할 것인지, 원본영상 중어느 영역을 패치영상으로 생성할 것인지, 패치영상의 화질은 어떻게 할 것인지 결정한 후에, 원본영상의 일부 영역을 커버하는 패치영상을 스티칭하는 패치영상생성단계를 실행한다(S1400).
분할영상을 생성하는 경우에는 몇 개의 분할영상을 생성할 것인지, 각각의 분할영상이 원본영상의 어느 영역을 커버하도록 할 것인지, 각각의 분할영상의 화질은 어떻게 할 것인지 결정하는 분할영역생성단계(S1500)를 실행한 후, N(N은 1보다 큰 자연수)개의 분할영역에 각각 대응하는 N개의 분할영상을 스티칭하는 분할영상생성단계를 실행한다(S1600).

Claims (9)

  1. 가상현실을 구현하기 위해 생성된 하나의 원본영상으로부터 스티칭된 복수의 가상현실영상을 입력받는 영상입력부;
    복수의 가상현실영상을 렌더링하는 다중렌더링부;
    복수의 가상현실영상의 싱크를 맞추기 위한 싱크정보를 생성하는 동기화부; 및
    싱크정보를 이용하여 동기화된 복수의 가상현실영상을 재생하는 영상재생부를 포함하고,
    영상재생부는
    복수의 가상현실영상에 포함된 분할영상을 서로 오버랩되도록 재생하는 복수의 분할영상재생부를 포함하고,
    분할영상은 하나의 원본영상을 N개의 영역으로 분할한 영상이고, 소정의 영역이 서로 중첩되는 것을 특징으로 하는,
    특정 영역의 화질을 개선하기 위해 복수의 가상현실영상을 재생하는 가상현실영상재생장치.
  2. 가상현실을 구현하기 위해 생성된 하나의 원본영상으로부터 스티칭된 복수의 가상현실영상을 입력받는 영상입력부;
    복수의 가상현실영상을 렌더링하는 다중렌더링부;
    복수의 가상현실영상의 싱크를 맞추기 위한 싱크정보를 생성하는 동기화부; 및
    싱크정보를 이용하여 동기화된 복수의 가상현실영상을 재생하는 영상재생부를 포함하고,
    영상재생부는
    복수의 가상현실영상에 포함된 광역영상을 재생하는 광역영상재생부; 및
    복수의 가상현실영상에 포함된 패치영상을 광역영상 위에 오버랩하여 재생하는 패치영상재생부를 포함하고,
    패치영상은 광역영상의 일부 영역을 다른 화질로 표현한 영상인 것을 특징으로 하는,
    특정 영역의 화질을 개선하기 위해 복수의 가상현실영상을 재생하는 가상현실영상재생장치.
  3. 삭제
  4. 삭제
  5. 제1항 또는 제2항에 있어서,
    사용자의 시선에 따라 재생할 가상현실영상을 선택하여 영상재생부에 제공하는 재생영상선택부를 더 포함하는 것인,
    특정 영역의 화질을 개선하기 위해 복수의 가상현실영상을 재생하는 가상현실영상재생장치.
  6. 제1항 또는 제2항에 있어서,
    싱크정보와 무관한 트리거정보에 따라 동작 또는 재생되는 비동기콘텐츠를 복수의 가상현실영상 중 일부의 영역에 표시하는 비동기콘텐츠표시부를 더 포함하는 것인,
    특정 영역의 화질을 개선하기 위해 복수의 가상현실영상을 재생하는 가상현실영상재생장치.
  7. 제1항 또는 제2항에 있어서,
    동기화부는 복수의 가상현실영상 중 가장 늦게 디코딩되는 가상현실영상에 맞춰 싱크정보를 생성하는 것인,
    특정 영역의 화질을 개선하기 위해 복수의 가상현실영상을 재생하는 가상현실영상재생장치.
  8. 하나의 원본영상으로부터 복수의 가상현실영상을 생성하는 다중화질 가상현실영상생성장치가:
    (a) 가상현실을 구현하기 위해 원본영상을 입력받는 영상입력단계;
    (b) 원본영상의 전(全) 영역을 커버하는 광역영상을 스티칭하는 광역영상생성단계; 및
    (c) 원본영상의 일부 영역을 커버하는 패치영상을 스티칭하는 패치영상생성단계를 포함하는 것을 특징으로 하는,
    특정 영역의 화질을 개선하기 위해 복수의 가상현실영상을 생성하는 가상현실영상생성방법.
  9. 하나의 원본영상으로부터 복수의 가상현실영상을 생성하는 다중화질 가상현실영상생성장치가:
    (a) 가상현실을 구현하기 위해 원본영상을 입력받는 영상입력단계;
    (b) 원본영상을 N(N은 2 이상의 자연수)개의 중첩되지 않은 분할영역으로 구분하는 분할영역생성단계; 및
    (c) N개의 분할영역에 각각 대응하는 N개의 분할영상을 스티칭하는 분할영상생성단계를 포함하는 것을 특징으로 하는,
    특정 영역의 화질을 개선하기 위해 복수의 가상현실영상을 생성하는 가상현실영상생성방법.
KR1020180074626A 2018-06-28 2018-06-28 특정 영역의 화질을 개선하기 위해 복수의 가상현실영상을 재생하는 가상현실영상재생장치 및 가상현실영상생성방법 KR102073230B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020180074626A KR102073230B1 (ko) 2018-06-28 2018-06-28 특정 영역의 화질을 개선하기 위해 복수의 가상현실영상을 재생하는 가상현실영상재생장치 및 가상현실영상생성방법
CN201980036082.6A CN112204627A (zh) 2018-06-28 2019-06-27 再生多个虚拟现实影像以改善特定区域的画质的虚拟现实影像再生装置及虚拟现实影像生成方法
US17/059,260 US11310476B2 (en) 2018-06-28 2019-06-27 Virtual reality image reproduction device for reproducing plurality of virtual reality images to improve image quality of specific region, and method for generating virtual reality image
PCT/KR2019/007799 WO2020004967A1 (ko) 2018-06-28 2019-06-27 특정 영역의 화질을 개선하기 위해 복수의 가상현실영상을 재생하는 가상현실영상재생장치 및 가상현실영상생성방법
US17/696,816 US20220210390A1 (en) 2018-06-28 2022-03-16 Virtual reality image reproduction device for reproducing plurality of virtual reality images to improve image quality of specific region, and method for generating virtual reality image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180074626A KR102073230B1 (ko) 2018-06-28 2018-06-28 특정 영역의 화질을 개선하기 위해 복수의 가상현실영상을 재생하는 가상현실영상재생장치 및 가상현실영상생성방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020190130776A Division KR102135001B1 (ko) 2019-10-21 2019-10-21 화질이 개선된 복수의 가상현실영상을 동기 또는 비동기 방식으로 재생하는 가상현실영상재생장치

Publications (2)

Publication Number Publication Date
KR20200001750A KR20200001750A (ko) 2020-01-07
KR102073230B1 true KR102073230B1 (ko) 2020-02-04

Family

ID=68985758

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180074626A KR102073230B1 (ko) 2018-06-28 2018-06-28 특정 영역의 화질을 개선하기 위해 복수의 가상현실영상을 재생하는 가상현실영상재생장치 및 가상현실영상생성방법

Country Status (4)

Country Link
US (1) US11310476B2 (ko)
KR (1) KR102073230B1 (ko)
CN (1) CN112204627A (ko)
WO (1) WO2020004967A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102174794B1 (ko) * 2019-01-31 2020-11-05 주식회사 알파서클 복수의 분할영상 중 재생되는 영상의 전환시점을 제어하는 가상현실 분할영상 전환방법 및 가상현실 영상재생장치
KR102174795B1 (ko) 2019-01-31 2020-11-05 주식회사 알파서클 가상현실을 표현하는 분할영상 사이의 전환시점을 제어하여 프레임 동기화를 구현하는 가상현실 영상전환방법 및 가상현실 영상재생장치
USD982184S1 (en) * 2022-10-27 2023-03-28 Dessliy Inc Barn door

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100880544B1 (ko) * 2007-08-02 2009-02-02 (주)씨앤에스 테크놀로지 디스플레이 장치의 다중 화면들 간의 간섭을 감소시키는예비 화면의 출력을 제어하는 다중 화면 표시 제어 방법 및장치
US9398215B2 (en) * 2013-04-16 2016-07-19 Eth Zurich Stereoscopic panoramas
JP6352426B2 (ja) * 2013-12-27 2018-07-04 インテル コーポレイション ヘッドマウントディスプレイを使用して拡張ディスプレイを提供するデバイス、方法、及びシステム
US9369689B1 (en) * 2015-02-24 2016-06-14 HypeVR Lidar stereo fusion live action 3D model video reconstruction for six degrees of freedom 360° volumetric virtual reality video
KR101944050B1 (ko) * 2015-05-27 2019-04-17 구글 엘엘씨 파노라마 가상 현실 콘텐츠의 캡쳐 및 렌더링
KR20160017006A (ko) 2016-01-26 2016-02-15 현대중공업 주식회사 부유 기능을 갖는 거주구가 설치된 선박
KR20170096071A (ko) * 2016-02-15 2017-08-23 동국대학교 산학협력단 3d vr 영상 제작 방법 및 장치
US11184624B2 (en) * 2016-05-19 2021-11-23 Qualcomm Incorporated Regional random access in pictures
US10587934B2 (en) * 2016-05-24 2020-03-10 Qualcomm Incorporated Virtual reality video signaling in dynamic adaptive streaming over HTTP
US11024088B2 (en) * 2016-05-27 2021-06-01 HoloBuilder, Inc. Augmented and virtual reality
US10462466B2 (en) * 2016-06-20 2019-10-29 Gopro, Inc. Systems and methods for spatially selective video coding
KR20180051001A (ko) * 2016-11-07 2018-05-16 삼성전자주식회사 카메라와 연결되는 전자 장치 및 그 제어 방법
GB2560921B (en) * 2017-03-27 2020-04-08 Canon Kk Method and apparatus for encoding media data comprising generated content
US20180342043A1 (en) * 2017-05-23 2018-11-29 Nokia Technologies Oy Auto Scene Adjustments For Multi Camera Virtual Reality Streaming
US20190104326A1 (en) * 2017-10-03 2019-04-04 Qualcomm Incorporated Content source description for immersive media data
WO2019132577A1 (ko) * 2017-12-28 2019-07-04 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체

Also Published As

Publication number Publication date
US20210211631A1 (en) 2021-07-08
KR20200001750A (ko) 2020-01-07
WO2020004967A1 (ko) 2020-01-02
US11310476B2 (en) 2022-04-19
CN112204627A (zh) 2021-01-08

Similar Documents

Publication Publication Date Title
JP5527914B2 (ja) メタデータを用いて複数の映像ストリームを処理する方法及び装置
US8098261B2 (en) Pillarboxing correction
KR102073230B1 (ko) 특정 영역의 화질을 개선하기 위해 복수의 가상현실영상을 재생하는 가상현실영상재생장치 및 가상현실영상생성방법
CN108604438B (zh) 显示控制方法以及用于使计算机实施该显示控制方法的程序
KR20100094375A (ko) 영상 처리 방법 및 장치
CN110730340B (zh) 基于镜头变换的虚拟观众席展示方法、系统及存储介质
CN113296721A (zh) 显示方法、显示装置和多屏幕联动系统
KR102135001B1 (ko) 화질이 개선된 복수의 가상현실영상을 동기 또는 비동기 방식으로 재생하는 가상현실영상재생장치
KR102295264B1 (ko) 하나의 스트리밍영상을 이용하여 복수의 가상현실영상을 재생하는 가상현실영상재생장치 및 방법
KR20210077193A (ko) 그래픽 애니메이션과 비디오 영상의 독립적 운영처리방법 및 효율적인 동시 재생 시스템
CN105630170B (zh) 一种信息处理方法及电子设备
KR101773929B1 (ko) 광 시야각 영상 처리 시스템, 광 시야각 영상의 전송 및 재생 방법, 및 이를 위한 컴퓨터 프로그램
KR20210152120A (ko) 통신 단말 및 컨텐츠 인터페이스 제공 방법
CN115665461A (zh) 一种视频录制方法及虚拟现实设备
KR20190118982A (ko) 다수 전방위 영상 기반 프로젝션 다중화 영상 생성 및 재현을 위한 방법 및 그 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
A107 Divisional application of patent
E701 Decision to grant or registration of patent right
GRNT Written decision to grant