KR20180106549A - 360도 파노라마 영상 콘텐츠 처리 장치 및 그 제어방법 - Google Patents

360도 파노라마 영상 콘텐츠 처리 장치 및 그 제어방법 Download PDF

Info

Publication number
KR20180106549A
KR20180106549A KR1020170035052A KR20170035052A KR20180106549A KR 20180106549 A KR20180106549 A KR 20180106549A KR 1020170035052 A KR1020170035052 A KR 1020170035052A KR 20170035052 A KR20170035052 A KR 20170035052A KR 20180106549 A KR20180106549 A KR 20180106549A
Authority
KR
South Korea
Prior art keywords
rendering
eye
content
image content
panorama image
Prior art date
Application number
KR1020170035052A
Other languages
English (en)
Inventor
전준호
기옥주
Original Assignee
에스피테크놀러지 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스피테크놀러지 주식회사 filed Critical 에스피테크놀러지 주식회사
Priority to KR1020170035052A priority Critical patent/KR20180106549A/ko
Publication of KR20180106549A publication Critical patent/KR20180106549A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G06T3/0018—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H04N5/23238—

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 360도 파노라마 영상 콘텐츠 처리 장치 및 그 제어방법에 관한 것이다. 본 발명에 따른 360도 파노라마 영상 콘텐츠 처리 장치의 제어방법은, 360도 파노라마 영상 콘텐츠를 수신하는 단계와; 상기 단계에서 수신된 360 파노라마 영상 콘텐츠를 복제한 복제 콘텐츠를 생성하는 단계와; 상기 360도 파노라마 영상 콘텐츠와 상기 복제 콘텐츠 중 어느 하나를 좌안에 대응되는 좌안 렌더링 모듈로 렌더링 처리하는 과정과 다른 하나를 우안에 대응되는 우안 렌더링 모듈로 렌더링 처리하는 과정을 동시에 처리하여 프레임 버퍼에 모두 저장하는 단계와; 상기 단계를 거쳐 상기 프레임 버퍼에 저장된 양안 렌더링 데이터를 어안 렌더링 모듈을 통해 렌더링 처리하는 단계를 포함하는 것을 특징으로 한다.

Description

360도 파노라마 영상 콘텐츠 처리 장치 및 그 제어방법{360 DEGREE PANORAMA MULTIMEDIA CONTENTS PROCESSING APPARATUS AND CONTROL METHOD THEREOF}
본 발명은 360도 파노라마 영상 콘텐츠 처리 장치 및 그 제어방법에 관한 것으로, 보다 상세하게는 360도 파노라마 영상 콘텐츠를 VR(VIRTUAL REALITY) 효과를 위해 처리하는 영상 콘텐츠 처리 장치 및 그 제어방법에 관한 것이다.
최근 HMD(Head Mounted Display) 기기를 이용하여 가상현실 화면을 제공하는 다양한 방식들이 제시되고 있는데, 특히, 360 파노라마 영상은 넓은 화각(최대 360도)을 파노라마 촬영한 것인데, 이를 HMD 기기로 연동하는 양안 렌더링 기술이 많은 주목을 받고 있다.
하지만 종래에 가상현실 구현을 위한 양안 렌더링의 처리를 위해서는 보통 4번의 렌더링 패스를 거쳐야 동작이 가능하다.
즉, 왼쪽 눈으로 보는 영상을 처리하기 위한 좌안 렌더링, 오른쪽 눈으로 보는 영상을 처리하기 위한 우안 렌더링, 볼록 렌즈의 왜곡을 미리 보정하는 좌안 어안 렌더링, 및 우안 어안 렌더링 과정으로서 총 4 번의 렌더링 과정을 거쳐야 하는 것이다.
이러한 종래의 과장은 도 1에 도시되었다.
도 1(a)은 360도 파노라마 콘텐츠를 좌안에 대한 렌더링 처리하여 프레임 버퍼에 저장하는 과정을 나타낸 것이고, 도 1(b)는 360도 파노라마 콘텐츠를 우안에 대한 렌더링 처리하여 프레임 버퍼에 저장하는 과정을 나타낸 것이며, 도 1(c)은 프레임 버퍼에 저장된 좌안 렌더링 데이터에 대해 좌안 어안 렌더링 처리를 수행하는 과정을 나타낸 것이고, 도 1(d)는 프레임 버퍼에 저장된 우안 렌더링 데이터에 대해 우안 어안 렌더링 처리를 수행하는 과정을 나타낸 것이다.
즉, 종래에는 도 1에 도시된 바와 같은 과정을 순차적으로 진행하여 가상현실 구현을 수행하는 것이다.
이는 360 파노라마 영상을 HMD로 렌더링 처리함에 있어서 성능 부하를 가져오게 되며, 성능저하에 따른 저속의 프레임은 어지러움과 부자연스러움을 야기하게 되는 문제점이 있다.
공개특허 제10-2016-0133230호
본 발명은 상기한 종래의 문제점을 해결하기 위해 안출된 것으로서, 그 목적은 360도 파노라마 영상 콘텐츠를 VR 처리를 위해 렌더링 처리함에 있어서 처리 속도 향상을 이룰 수 있는 영상 콘텐츠 처리 장치 및 그 제어방법을 제공하는 것이다.
상기한 목적을 달성하기 위해 본 발명에 따른 360도 파노라마 영상 콘텐츠 처리 장치는, 360도 파노라마 영상 콘텐츠를 수신하는 콘텐츠 수신부와; 상기 콘텐츠 수신부에서 수신된 360 파노라마 영상 콘텐츠를 복제한 복제 콘텐츠를 생성하는 콘텐츠 복제부와; 상기 360도 파노라마 영상 콘텐츠와 상기 복제 콘텐츠 중 어느 하나를 좌안에 대응되는 좌안 렌더링 모듈로 렌더링 처리하는 과정과 다른 하나를 우안에 대응되는 우안 렌더링 모듈로 렌더링 처리하는 과정을 동시에 처리하여 프레임 버퍼에 모두 저장하는 1차 렌더링 처리부와; 상기 1차 렌더링 처리부에 의해 상기 프레임 버퍼에 저장된 양안 렌더링 데이터를 어안 렌더링 모듈을 통해 렌더링 처리하는 2차 렌더링 처리부를 포함하여 구성된다.
또, 상기한 목적을 달성하기 위해 본 발명에 따른 360도 파노라마 영상 콘텐츠 처리 장치는, 좌안 360도 파노라마 영상 콘텐츠와 우안 360도 파노라마 영상 콘텐츠를 수신하는 콘텐츠 수신부와; 상기 좌안 360도 파노라마 영상 콘텐츠를 좌안 렌더링 모듈로 렌더링 처리하는 과정과 상기 우안 360도 파노라마 영상 콘텐츠를 우안 렌더링 모듈로 렌더링 처리하는 과정을 동시에 처리하여 프레임 버퍼에 모두 저장하는 1차 렌더링 처리부와; 상기 1차 렌더링 처리부에 의해 상기 프레임 버퍼에 저장된 양안 렌더링 데이터를 어안 렌더링 모듈을 통해 렌더링 처리하는 2차 렌더링 처리부를 포함하여 구성된다.
또, 상기한 목적을 달성하기 위해 본 발명에 따른 360도 파노라마 영상 콘텐츠 처리 장치의 제어방법은, 360도 파노라마 영상 콘텐츠를 수신하는 단계와; 상기 단계에서 수신된 360 파노라마 영상 콘텐츠를 복제한 복제 콘텐츠를 생성하는 단계와; 상기 360도 파노라마 영상 콘텐츠와 상기 복제 콘텐츠 중 어느 하나를 좌안에 대응되는 좌안 렌더링 모듈로 렌더링 처리하는 과정과 다른 하나를 우안에 대응되는 우안 렌더링 모듈로 렌더링 처리하는 과정을 동시에 처리하여 프레임 버퍼에 모두 저장하는 단계와; 상기 단계를 거쳐 상기 프레임 버퍼에 저장된 양안 렌더링 데이터를 어안 렌더링 모듈을 통해 렌더링 처리하는 단계를 포함하여 이루어진다.
이상 설명한 바와 같이 본 발명에 따르면, 가상현실, 증강현실 등을 위한 렌더링 처리 부하를 줄이고, 렌더링 처리 시간을 단축할 수 있다. 이는 결국 가상현실 등의 콘텐츠를 제공함에 있어서 성능저하를 최대한 방지할 수 있어 저속의 프레임에 따른 사용자 불편을 최소화할 수 있게 된다.
도 1은 종래의 360도 영상 콘텐츠의 렌더링 처리 과정을 나타낸 도면이고,
도 2는 본 발명의 일 실시예에 따른 360도 파노라마 영상 콘텐츠 처리 장치를 포함하는 전체 통신 시스템의 개략 구성도이고,
도 3은 도 1의 360도 파노라마 영상 콘텐츠 처리 장치의 기능 블록도이고,
도 4 및 도 5는 본 발명의 일 실시예에 따른 360도 파노라마 영상 콘텐츠 처리 장치의 기능 수행 과정을 도 1과 비교하기 위해 나타낸 도면이고,
도 6은 본 발명의 일 실시예에 따른 360도 파노라마 영상 콘텐츠 처리 장치의 제어 흐름도이고,
도 7은 본 발명의 다른 실시예에 따른 360도 파노라마 영상 콘텐츠 처리 장치의 제어 흐름도이다.
이하에서는 첨부도면을 참조하여 본 발명에 대해 상세히 설명한다.
이하 본 발명에 따른 각 실시예는 본 발명의 이해를 돕기 위한 하나의 예에 불과하고, 본 발명이 이러한 실시예에 한정되는 것은 아니다. 특히 본 발명은 각 실시예에 포함되는 개별 구성, 개별 기능, 또는 개별 단계 중 적어도 어느 하나 이상의 조합으로 구성될 수 있다.
특히, 편의상 청구 범위의 일부 청구항에는 편의상 '(a)'와 같은 알파벳을 포함시켰으나, 이러한 알파벳이 각 단계의 순서를 규정하는 것은 아니다.
본 발명의 일 실시예에 따른 360도 파노라마 영상 콘텐츠 처리 장치(100)를 포함하는 전체 통신 시스템의 개략 구성은 도 2에 도시된 바와 같다.
동 도면에서 360도 파노라마 촬영 장치(200)는 복수 개의 카메라 렌즈(210)를 포함하고서, 360도 방향 전체의 영상을 촬영하여 전송하는 기능을 수행한다.
도 2에서는 하나의 360도 파노라마 촬영 장치(200)를 도시하였으나, 좌안(왼쪽 눈)과 우안(오른쪽 눈) 각각에 대응되는 두 개의 360도 파노라마 촬영 장치(200)가 구비될 수도 있음은 물론이다.
한편, 360도 파노라마 영상 콘텐츠 처리 장치(100)는 외부로부터 수신되는 360도 파노라마 영상 콘텐츠를 수신하여 VR(Virtual Reality) 효과를 위한 렌더링 처리를 수행하는 장치로서, 본 실시예에서 360도 파노라마 영상 콘텐츠 처리 장치(100)는 상술한 360도 파노라마 촬영 장치(200)로부터 영상 콘텐츠를 수신하는 것을 일 예로 하고 있으나, 별도의 콘텐츠 관리 장치나 콘텐츠 저장 장치로부터 360도 파노라마 영상 콘텐츠를 수신할 수도 있음은 물론이다.
이러한 360도 파노라마 영상 콘텐츠 처리 장치(100)의 세부적인 기능 블록의 일 예는 도 3에 도시된 바와 같다.
동 도면에 도시된 바와 같이 360도 파노라마 영상 콘텐츠 처리 장치(100)는 저장부(150), 콘텐츠 수신부(110), 콘텐츠 복제부(120), 1차 렌더링 처리부(130), 2차 렌더링 처리부(140)를 포함하여 구성될 수 있다.
여기서 저장부(150)에는 360도 파노라마 영상 콘텐츠 처리 장치(100)의 동작을 위해 필요한 프로그램 또는 데이터가 저장될 수 있고, 또한 360도 파노라마 영상 콘텐츠 처리 장치(100)의 동작 중에 발생하거나 외부로부터 수신되는 데이터가 저장될 수 있다.
여기서 외부로부터 수신되는 데이터에는 앞서 설명한 바와 같이 360도 파노라마 촬영 장치(200)로부터 수신되는 360도 파노라마 영상 콘텐츠가 포함될 수 있다.
이처럼 360도 파노라마 영상 콘텐츠를 수신하는 기능은 콘텐츠 수신부(110)에서 담당한다.
한편, 콘텐츠 복제부(120)는 콘텐츠 수신부(110)에서 수신된 360 파노라마 영상 콘텐츠를 복제한 복제 콘텐츠를 생성하는 기능을 수행한다.
본 실시예에서는 하나의 360도 파노라마 촬영 장치(200)를 일 예로 하고 있으므로, 좌안과 우안에 대한 렌더링 처리를 위해 콘텐츠 복제부(120)는 그 수신된 360도 파노라마 영상 콘텐츠를 복제하여 동일한 360도 파노라마 영상 콘텐츠가 두 개가 되도록 하는 것이다.
구체적으로 콘텐츠 복제부(120)는 콘텐츠 수신부(110)에 수신된 360도 파노라마 영상 콘텐츠를 기초로 구형 영상을 생성하고 그 생성한 구형 영상을 복제하여 또 다른 복제 구형 영상을 생성할 수도 있다.
여기서 구형 영상을 생성하는 과정은 수신된 360도 파노라마 영상 콘텐츠를 가상의 구 표면(Sphere Surface)에 투영하는 방식 등이 이용될 수 있는데, 360도 파노라마 영상 콘텐츠를 구형 영상으로 변경하는 것 자체는 기 공지된 기술에 해당하므로 보다 상세한 설명을 생략한다.
1차 렌더링 처리부(130)는 360도 파노라마 영상 콘텐츠와 복제 콘텐츠 중 어느 하나를 좌안 렌더링 처리하는 과정과 다른 하나를 우안 렌더링 처리하는 과정을 동시에 수행한다.
예를 들어 1차 렌더링 처리부(130)는 360도 파노라마 영상 콘텐츠와 복제 콘텐츠 중 어느 하나를 좌안에 대응되는 좌안 렌더링 모듈에 할당하고, 다른 하나를 우안에 대응되는 우안 렌더링 모듈에 할당한 후, 좌안 렌더링 모듈과 우안 렌더링 모듈에 의한 각각의 렌더링 처리를 동시에 수행하여 그 결과에 해당하는 양안 렌더링 데이터를 프레임 버퍼에 저장할 수 있는 것이다.
여기서 좌안 렌더링 모듈에 의해 생성되는 데이터는 좌안 렌더링 데이터이고, 우안 렌더링 모듈에 의해 생성되는 데이터는 우안 렌더링 데이터라 할 수 있는데, 1차 렌더링 처리부(130)는 그 생성된 좌안 렌더링 데이터와 상기 우안 렌더링 데이터를 모두 포함하는 양안 렌더링 데이터를 프레임 버퍼에 저장하는 것이다.
좌안 렌더링과 우안 렌더링을 동시에 수행하는 일 예로써, 1차 렌더링 처리부(130)는 360도 파노라마 영상 콘텐츠와 복제 콘텐츠를 하나의 신그래프(Scenegraph)로 묶은 후 좌안 렌더링과 우안 렌더링 처리가 동시에 수행되도록 할 수 있다.
이해를 돕기 위해 이러한 과정을 종래의 과정과 비교하기 위한 도면이 도 4에 도시되었다.
즉, 4는 종래의 도 1(a) 및 도 1(b)와 비교하여, 좌안 렌더링 처리와 우안 렌더링 처리가 동시에 처리되고 있음을 나타낸 것이다.
구체적으로 도 4에서 좌안 렌더링 모듈(131)은 좌안 360도 파노라마 영상 콘텐츠(121)에 대한 렌더링 처리를 담당하고, 우안 렌더링 모듈(132)은 우안 360도 파노라마 영상 콘텐츠(122)에 대한 렌더링 처리를 담당하되, 이러한 좌안 렌더링 모듈(131)과 우안 렌더링 모듈(132)은 가상의 메인 렌더링 모듈(133)에 의해 동시 처리 제어가 이루어지는 것이다.
소정의 콘텐츠를 가상현실 처리를 위해 렌더링 처리하여 프레임 버퍼에 저장하는 기술 그 자체는 공지된 것이므로 보다 상세한 설명은 생략한다. 즉, 본 발명은 가상현실 처리를 위해 렌더링 처리하여 프레임 버퍼에 저장하는 일반적인 기술에 그 특징이 있는 것이 아니라, 좌안 렌더링 처리와 우안 렌더링 처리를 예를 들어 하나의 신그래프 처리 등을 통해 동시에 수행하여 프레임 버퍼에 좌안 렌더링 결과와 우안 렌더링 결과가 동시에 저장하는데 그 특징이 있는 것이다.
한편, 2차 렌더링 처리부(140)는 1차 렌더링 처리부(130)에 의해 프레임 버퍼에 저장된 양안 렌더링 데이터를 어안 렌더링 모듈을 통해 렌더링 처리하는 기능을 수행한다.
즉, 앞서 '발명의 배경이 되는 기술'에서 언급한 바와 같이 가상현실 또는 증강현실 처리를 경험하기 위해 보통 볼록 렌즈를 이용하게 되는데, 이때 볼록 렌즈의 왜곡을 미리 보정하기 위해 어안 렌더링 처리를 수행하게 된다.
즉, 볼록 렌즈에 의해 일명 'pin-cushion distortion'이 발생하게 되는데, 이러한 왜곡을 방지하기 위해 미리 프레임 버퍼에 저장된 데이터에 대해 'barrel distortion'을 처리하게 되면 사용자가 가상현실을 경험할 때 왜곡 없는 영상을 볼 수 있게 되는데, 2차 렌더링 처리부(140)는 이러한 효과를 달성하기 위해 어안 렌더링 처리를 수행하는 것이다.
특히, 2차 렌더링 처리부(140)는 종래와 달리 프레임 버퍼에 저장된 양안 렌더링 데이터에 대해 동시에 어안 렌더링 처리를 수행할 수 있다는 점이 종래와 다른 점이다.
예를 들어 2차 렌더링 처리부(140)는 양안 어안 메쉬(Mesh)를 양안 렌더링 데이터에 적용시킬 수 있는데, 구체적으로 2차 렌더링 처리부(140)는 좌안 렌더링 데이터에 적용하기 위한 좌안 어안 메쉬와 우안 렌더링 데이터에 적용하기 위한 우안 어안 메쉬를 모두 포함하는 양안 어안 메시를 생성한 후, 그 양안 어안 메시에 프레임 버퍼에 저장된 양안 렌더링 데이터를 텍스처 매핑 처리함으로써, 양안 렌더링 데이터에 대한 어안 렌더링 처리를 수행할 수 있다.
이러한 2차 렌더링 처리부(140)의 수행 과정을 종래와 방식과 비교하기 위한 도면이 도 5에 도시되었다.
즉, 도 5에는 도 1(c) 및 도 1(d)와 같이 순차적으로 어안 렌더링이 처리되는 것과 달리, 양안 어안 렌더링이 동시에 이루어지고 있음을 알 수 있다. 즉, 2차 렌더링 처리부(140)는 도 5(a)에 도시된 바와 같이 양안 어안 메쉬를 적용시켜 결국 도 5(b)와 같이 양안 렌더링 데이터에 대해 양안 어안 렌더링이 처리된 결과 한 번에 생성되도록 할 수 있는 것이다.
상술한 실시예에서는 외부로부터 수신되거나 또는 기 저장된 콘텐츠가 일안 360도 파노라마 영상 콘텐츠인 것을 일 예로 하였으나, 외부로부터 수신되거나 또는 기 저장된 콘텐츠가 좌안 360도 파노라마 영상 콘텐츠와 우안 360도 파노라마 영상 콘텐츠가 구분된 것일 수도 있다.
이때, 1차 렌더링 처리부(130)는 좌안 360도 파노라마 영상 콘텐츠에 대한 좌안 렌더링 처리와 우안 360도 파노라마 영상 콘텐츠에 대한 우안 렌더링 처리를 동시에 수행하여 프레임 버퍼에 모두 저장하고, 2차 렌더링 처리부(140)는 1차 렌더링 처리부(130)에 의해 프레임 버퍼에 저장된 양안 렌더링 데이터를 어안 렌더링 모듈을 통해 렌더링 처리할 수도 있음은 물론이다.
이하에서는 본 발명의 일 실시예에 따른 360도 파노라마 영상 콘텐츠 처리 장치(100)의 제어 과정을 도 6을 참조하여 설명한다.
우선, 360도 파노라마 영상 콘텐츠 처리 장치(100)는 외부로부터 일안 360도 파노라마 영상 콘텐츠를 수신하면(단계 S1), 해당 콘텐츠를 이용하여 구형 영상을 생성(제1 구형 영상)함(단계 S3)과 아울러 구형 영상을 복제하여 제2 구형 영상을 생성한다(단계 S5).
이어서 360도 파노라마 영상 콘텐츠 처리 장치(100)는 제1 구형 영상에 대한 좌안 렌더링 처리와 제2 구형 영상에 대한 우안 렌더링 처리를 동시에 수행하고(단계 S7), 좌안 렌더링 결과와 우안 렌더링 결과를 모두 포함하는 양안 렌더링 데이터를 프레임 버퍼에 저장한다(단계 S9).
이후, 360도 파노라마 영상 콘텐츠 처리 장치(100)는 좌완과 우안이 통합된 양안 어안 메쉬를 추출하거나 동적으로 생성하고(단계 S11), 추출하거나 동적 생성된 양안 어안 메쉬에 프레임 버퍼에 저장된 양안 렌더링 데이터를 텍스처 매핑한다(단계 S13).
360도 파노라마 영상 콘텐츠 처리 장치(100)는 이렇게 어안 렌더링이 처리 적용된 영상을 출력한다(단계 S15).
여기서 360도 파노라마 영상 콘텐츠 처리 장치(100)는 가상현실 처리 또는 증강현실 처리를 위한 별도의 객체를 추가할 수도 있는데, 이러한 객체 추가 과정은 공지된 기술에 해당하므로 보다 상세한 설명을 생략한다.
도 7은 본 발명의 다른 실시예에 따른 360도 파노라마 영상 콘텐츠 처리 장치(100)의 제어 과정인데, 도 6과 다른 점은 외부로부터 양안 360도 파노라마 영상 콘텐츠가 수신된다는 점이다.
360도 파노라마 영상 콘텐츠 처리 장치(100)는 외부로부터 양안 360도 파노라마 영상 콘텐츠를 수신하면(단계 S21), 좌안 360도 파노라마 영상 콘텐츠와 우안 360도 파노라마 영상 콘텐츠를 추출한 후(단계 S23), 좌안 360도 파노라마 영상 콘텐츠 및 우안 360도 파노라마 영상 콘텐츠를 기초로 각각의 구형 영상을 생성한다(단계 S25).
예를 들어 360도 파노라마 영상 콘텐츠 처리 장치(100)는 좌안 360도 파노라마 영상 콘텐츠에 대응되는 제1 구형 영상과 우안 360도 파노라마 영상 콘텐츠에 대응되는 제2 구형 영상을 생성한다.
이후의 과정 즉, 제1 구형 영상 및 제2 구형 영상을 이용하여 프레임 버퍼로의 렌더링 및 어안 렌더링 처리를 수행하는 과정은 도 6의 과정을 동일하므로 중복 설명을 생략한다.
한편, 상술한 각 실시예를 수행하는 과정은 소정의 기록 매체(예를 들어 컴퓨터로 판독 가능한)에 저장된 프로그램 또는 애플리케이션에 의해 이루어질 수 있음은 물론이다. 여기서 기록 매체는 RAM(Random Access Memory)과 같은 전자적 기록 매체, 하드 디스크와 같은 자기적 기록 매체, CD(Compact Disk)와 같은 광학적 기록 매체 등을 모두 포함한다.
이때, 기록 매체에 저장된 프로그램은 컴퓨터나 스마트폰 등과 같은 하드웨어 상에서 실행되어 상술한 각 실시예를 수행할 수 있다. 특히, 상술한 본 발명에 따른 360도 파노라마 영상 콘텐츠 처리 장치의 기능 블록 중 적어도 어느 하나는 이러한 프로그램 또는 애플리케이션에 의해 구현될 수 있다.
또한, 본 발명은 상기한 특정 실시예에 한정되는 것이 아니라 본 발명의 요지를 벗어나지 않는 범위 내에서 여러 가지로 변형 및 수정하여 실시할 수 있는 것이다. 이러한 변형 및 수정이 첨부되는 특허청구범위에 속한다면 본 발명에 포함된다는 것은 자명할 것이다.
100 : 360도 파노라마 영상 콘텐츠 처리 장치
200 : 360도 파노라마 촬영 장치
110 : 콘텐츠 수신부 120 : 콘텐츠 복제부
130 : 1차 렌더링 처리부 140 : 2차 렌더링 처리부
150 : 저장부

Claims (9)

  1. (a) 360도 파노라마 영상 콘텐츠를 수신하는 단계와;
    (b) 상기 (a) 단계에서 수신된 360 파노라마 영상 콘텐츠를 복제한 복제 콘텐츠를 생성하는 단계와;
    (c) 상기 360도 파노라마 영상 콘텐츠와 상기 복제 콘텐츠 중 어느 하나를 좌안에 대응되는 좌안 렌더링 모듈로 렌더링 처리하는 과정과 다른 하나를 우안에 대응되는 우안 렌더링 모듈로 렌더링 처리하는 과정을 동시에 처리하여 프레임 버퍼에 모두 저장하는 단계와;
    (d) 상기 (c) 단계를 거쳐 상기 프레임 버퍼에 저장된 양안 렌더링 데이터를 어안 렌더링 모듈을 통해 렌더링 처리하는 단계를 포함하는 것을 특징으로 하는 360도 파노라마 영상 콘텐츠 처리 장치의 제어방법.
  2. 제1항에 있어서,
    상기 (d) 단계에서는 양안 어안 메쉬(Mesh)를 상기 양안 렌더링 데이터에 적용시키는 것을 특징으로 하는 360도 파노라마 영상 콘텐츠 처리 장치의 제어방법.
  3. 제1항에 있어서,
    상기 (c) 단계에서는, 상기 360도 파노라마 영상 콘텐츠와 상기 복제 콘텐츠 중 어느 하나를 좌안에 대응되는 좌안 렌더링 모듈로 렌더링 처리하여 좌안 렌더링 데이터를 생성함과 아울러, 다른 하나를 우안에 대응되는 우안 렌더링 모듈로 렌더링 처리하여 우안 렌더링 데이터를 생성한 후, 상기 생성된 좌안 렌더링 데이터와 상기 우안 렌더링 데이터를 모두 포함하는 양안 렌더링 데이터를 상기 프레임 버퍼에 저장하고,
    상기 (d) 단계에서는 상기 좌안 렌더링 데이터에 적용하기 위한 좌안 어안 메쉬와 상기 우안 렌더링 데이터에 적용하기 위한 우안 어안 메쉬를 모두 포함하는 양안 어안 메시를 생성한 후, 상기 양안 어안 메시에 상기 프레임 버퍼에 저장된 양안 렌더링 데이터를 텍스처 매핑 처리하는 것을 특징으로 하는 360도 파노라마 영상 콘텐츠 처리 장치의 제어방법.
  4. 제1항에 있어서,
    상기 (c) 단계에서는 상기 360도 파노라마 영상 콘텐츠와 상기 복제 콘텐츠를 하나의 신그래프(Scenegraph)로 묶은 후 상기 좌안 렌더링 모듈에 의한 렌더링 처리와 상기 우안 렌더링 모듈에 의한 렌더링 처리를 동시에 수행하는 것을 특징으로 하는 360도 파노라마 영상 콘텐츠 처리 장치의 제어방법.
  5. 360도 파노라마 영상 콘텐츠를 수신하는 콘텐츠 수신부와;
    상기 콘텐츠 수신부에서 수신된 360 파노라마 영상 콘텐츠를 복제한 복제 콘텐츠를 생성하는 콘텐츠 복제부와;
    상기 360도 파노라마 영상 콘텐츠와 상기 복제 콘텐츠 중 어느 하나를 좌안에 대응되는 좌안 렌더링 모듈로 렌더링 처리하는 과정과 다른 하나를 우안에 대응되는 우안 렌더링 모듈로 렌더링 처리하는 과정을 동시에 처리하여 프레임 버퍼에 모두 저장하는 1차 렌더링 처리부와;
    상기 1차 렌더링 처리부에 의해 상기 프레임 버퍼에 저장된 양안 렌더링 데이터를 어안 렌더링 모듈을 통해 렌더링 처리하는 2차 렌더링 처리부를 포함하는 것을 특징으로 하는 360도 파노라마 영상 콘텐츠 처리 장치.
  6. 제5항에 있어서,
    상기 2차 렌더링 처리부는 양안 어안 메쉬(Mesh)를 상기 양안 렌더링 데이터에 적용시키는 것을 특징으로 하는 360도 파노라마 영상 콘텐츠 처리 장치.
  7. 제5항에 있어서,
    상기 1차 렌더링 처리부는 상기 360도 파노라마 영상 콘텐츠와 상기 복제 콘텐츠 중 어느 하나를 좌안에 대응되는 좌안 렌더링 모듈로 렌더링 처리하여 좌안 렌더링 데이터를 생성함과 아울러, 다른 하나를 우안에 대응되는 우안 렌더링 모듈로 렌더링 처리하여 우안 렌더링 데이터를 생성한 후, 상기 생성된 좌안 렌더링 데이터와 상기 우안 렌더링 데이터를 모두 포함하는 양안 렌더링 데이터를 상기 프레임 버퍼에 저장하고,
    상기 2차 렌더링 처리부는 상기 좌안 렌더링 데이터에 적용하기 위한 좌안 어안 메쉬와 상기 우안 렌더링 데이터에 적용하기 위한 우안 어안 메쉬를 모두 포함하는 양안 어안 메시를 생성한 후, 상기 양안 어안 메시에 상기 프레임 버퍼에 저장된 양안 렌더링 데이터를 텍스처 매핑 처리하는 것을 특징으로 하는 360도 파노라마 영상 콘텐츠 처리 장치.
  8. 제5항에 있어서,
    상기 1차 렌더링 처리부는 상기 360도 파노라마 영상 콘텐츠와 상기 복제 콘텐츠를 하나의 신그래프(Scenegraph)로 묶은 후 상기 좌안 렌더링 모듈에 의한 렌더링 처리와 상기 우안 렌더링 모듈에 의한 렌더링 처리를 동시에 수행하는 것을 특징으로 하는 360도 파노라마 영상 콘텐츠 처리 장치.
  9. 좌안 360도 파노라마 영상 콘텐츠와 우안 360도 파노라마 영상 콘텐츠를 수신하는 콘텐츠 수신부와;
    상기 좌안 360도 파노라마 영상 콘텐츠를 좌안 렌더링 모듈로 렌더링 처리하는 과정과 상기 우안 360도 파노라마 영상 콘텐츠를 우안 렌더링 모듈로 렌더링 처리하는 과정을 동시에 처리하여 프레임 버퍼에 모두 저장하는 1차 렌더링 처리부와;
    상기 1차 렌더링 처리부에 의해 상기 프레임 버퍼에 저장된 양안 렌더링 데이터를 어안 렌더링 모듈을 통해 렌더링 처리하는 2차 렌더링 처리부를 포함하는 것을 특징으로 하는 360도 파노라마 영상 콘텐츠 처리 장치.
KR1020170035052A 2017-03-21 2017-03-21 360도 파노라마 영상 콘텐츠 처리 장치 및 그 제어방법 KR20180106549A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170035052A KR20180106549A (ko) 2017-03-21 2017-03-21 360도 파노라마 영상 콘텐츠 처리 장치 및 그 제어방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170035052A KR20180106549A (ko) 2017-03-21 2017-03-21 360도 파노라마 영상 콘텐츠 처리 장치 및 그 제어방법

Publications (1)

Publication Number Publication Date
KR20180106549A true KR20180106549A (ko) 2018-10-01

Family

ID=63877482

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170035052A KR20180106549A (ko) 2017-03-21 2017-03-21 360도 파노라마 영상 콘텐츠 처리 장치 및 그 제어방법

Country Status (1)

Country Link
KR (1) KR20180106549A (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102052534B1 (ko) * 2018-12-05 2019-12-06 주식회사 비욘드테크 딥 러닝 기반의 객체 인식을 이용한 불법복제 영상 판단 장치 및 그 방법
KR102052535B1 (ko) * 2018-12-05 2020-01-08 주식회사 비욘드테크 특징점을 이용한 불법복제 영상 판단 장치 및 그 방법
KR20200050509A (ko) 2018-11-01 2020-05-12 주식회사 서틴스플로어 다차원 360도 이미지 생성 시스템
KR20200103278A (ko) 2019-02-25 2020-09-02 데이터킹주식회사 뷰 방향이 표시되는 vr 컨텐츠 제공 시스템 및 방법
CN111652794A (zh) * 2019-07-05 2020-09-11 广州虎牙科技有限公司 一种面部的调整、直播方法、装置、电子设备和存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200050509A (ko) 2018-11-01 2020-05-12 주식회사 서틴스플로어 다차원 360도 이미지 생성 시스템
KR102052534B1 (ko) * 2018-12-05 2019-12-06 주식회사 비욘드테크 딥 러닝 기반의 객체 인식을 이용한 불법복제 영상 판단 장치 및 그 방법
KR102052535B1 (ko) * 2018-12-05 2020-01-08 주식회사 비욘드테크 특징점을 이용한 불법복제 영상 판단 장치 및 그 방법
KR20200103278A (ko) 2019-02-25 2020-09-02 데이터킹주식회사 뷰 방향이 표시되는 vr 컨텐츠 제공 시스템 및 방법
CN111652794A (zh) * 2019-07-05 2020-09-11 广州虎牙科技有限公司 一种面部的调整、直播方法、装置、电子设备和存储介质
CN111652794B (zh) * 2019-07-05 2024-03-05 广州虎牙科技有限公司 一种面部的调整、直播方法、装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
KR20180106549A (ko) 360도 파노라마 영상 콘텐츠 처리 장치 및 그 제어방법
US10958834B2 (en) Method to capture, store, distribute, share, stream and display panoramic image or video
AU2015245446B2 (en) Stereo viewing
JP6208455B2 (ja) ３ｄディスプレイ装置およびその映像処理方法
US8072503B2 (en) Methods, apparatuses, systems, and computer program products for real-time high dynamic range imaging
CN110012310B (zh) 一种基于自由视点的编解码方法及装置
US8643702B2 (en) Camera arrangement, camera system and method
US20190266802A1 (en) Display of Visual Data with a Virtual Reality Headset
WO2016063617A1 (ja) 画像生成装置、画像抽出装置、画像生成方法、および画像抽出方法
WO2021031210A1 (zh) 视频处理方法和装置、存储介质和电子设备
WO2024002023A1 (zh) 全景立体图像的生成方法、装置和电子设备
CN114742703A (zh) 双目立体全景图像的生成方法、装置、设备和存储介质
US9258543B2 (en) Method and device for generating three-dimensional image
KR20180052255A (ko) 스트리밍 컨텐츠 제공 방법, 및 이를 위한 장치
WO2012014009A1 (en) Method for generating multi-view images from single image
JPH0865715A (ja) 立体映像表示方法及び立体映像表示装置
JP2017050819A (ja) パノラマ画像データの生成装置、生成方法及びプログラム
WO2015019208A1 (en) Apparatus and method for correcting perspective distortions of images
CN108683842B (zh) 一种全景相机及输出全景视频的方法和装置
US10757401B2 (en) Display system and method for display control of a video based on different view positions
JP2012134885A (ja) 画像処理装置及び画像処理方法
CN116546182B (zh) 视频处理方法、装置、设备以及存储介质
US20240249391A1 (en) Image processing method and apparatus
KR102461031B1 (ko) 네트워크 기반의 영상 처리 방법 및 이를 위한 장치
KR101874084B1 (ko) 영상 처리 장치, 그 제어 방법 및 컴퓨터 프로그램이 기록된 기록 매체

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application