KR102130784B1 - 다방향 뷰 영상 데이터 전송 시스템 - Google Patents

다방향 뷰 영상 데이터 전송 시스템 Download PDF

Info

Publication number
KR102130784B1
KR102130784B1 KR1020180146045A KR20180146045A KR102130784B1 KR 102130784 B1 KR102130784 B1 KR 102130784B1 KR 1020180146045 A KR1020180146045 A KR 1020180146045A KR 20180146045 A KR20180146045 A KR 20180146045A KR 102130784 B1 KR102130784 B1 KR 102130784B1
Authority
KR
South Korea
Prior art keywords
image
projection
projection image
unit
projected
Prior art date
Application number
KR1020180146045A
Other languages
English (en)
Other versions
KR20200060900A (ko
Inventor
김경수
Original Assignee
(주)텔리언
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)텔리언 filed Critical (주)텔리언
Priority to KR1020180146045A priority Critical patent/KR102130784B1/ko
Publication of KR20200060900A publication Critical patent/KR20200060900A/ko
Application granted granted Critical
Publication of KR102130784B1 publication Critical patent/KR102130784B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/388—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • H04N13/39—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume the picture elements emitting light at places where a pair of light beams intersect in a transparent material

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

이 발명은 큐브 매핑 투영법을 변형하여 별도의 패킹 작업 없이 전방향 뷰 영상 데이터 중 시청자의 관심영역에 대응되는 일부의 다방향 뷰 영상 데이터를 전송하는 시스템에 관한 것이다.
이 발명에 따른 전방향 뷰 비디오 데이터 전송 시스템은, 복수의 방향에서의 영상을 획득하는 다방향 영상 획득부와, 상기 다방향 영상 획득부에서 획득된 각 방향의 영상들을 이어붙여 구형의 3차원 입체 영상을 생성하는 영상 스티칭부와, 상기 구형의 3차원 입체 영상을 변형 큐브 매핑 투영법으로 투영하여 2차원 영상으로 매핑하는 영상 2D 투영부와, 상기 2차원 영상 중 최대관심영역을 복수의 마름모형 조각들로 구분하는 2D 영상 타일링부와, 상기 2D 영상 타일링부에서 구분된 2차원 영상 조각들을 압축하고 인코딩하는 영상 압축 인코딩부를 포함한다.

Description

다방향 뷰 영상 데이터 전송 시스템 {Transmitting System for multi-directional View Video Data}
이 발명은 다방향 뷰 영상 데이터 전송 시스템에 관한 것으로서, 보다 상세하게는 큐브 매핑 투영법을 변형하여 별도의 패킹 작업 없이 전방향 뷰 영상 데이터 중 시청자의 관심영역에 대응되는 일부의 다방향 뷰 영상 데이터를 전송하는 시스템에 관한 것이다.
가상 현실(virtual reality: VR) 또는 증강 현실(augmented reality: AR)과 관련된 기술의 발달에 따라, VR 또는 AR을 제공할 수 있는 디바이스에 디스플레이하기 위한 전방향 뷰(omni-directional view) 영상의 프로세싱 및 전송과 관련된 기술들 또한 향상되고 있다. VR 또는 AR 컨텐츠는 VR 디바이스 또는 AR 디바이스 시청자들에게 360도의 전방향 뷰 영상 컨텐츠를 제공하여, 시청자가 자신의 관심영역을 자유롭게 시청할 수 있도록 하여 몰입감을 향상시킨다. VR 또는 AR을 제공할 수 있는 시청자 디바이스로서, 가장 보편적인 장비가 HMD(Head Mounted Displays)이다.
시청자에게 VR 또는 AR 서비스를 제공하려면, 서비스 서버는 전방향 뷰 영상 데이터를 네트워크를 통해 전송하고, HMD 등과 같은 수신 디바이스는 해당 네트워크를 통해 전방향 뷰 영상 데이터를 수신하여 화면에 디스플레이해야 하는데, 이러한 전방향 뷰 비디오 데이터는 기존의 2차원 영상 데이터에 비해 엄청난 양의 계산과 대역폭을 필요로 한다. 이에 따라 전방향 뷰 영상 데이터를 네트워크로 전송, 수신하기 위해서는 전송하는 영상 데이터량을 줄여서 전송 대역폭을 줄여야 할 필요가 있다.
도 1은 일반적인 전방향 뷰 영상 데이터를 전송하기 위한 송신 시스템의 구성을 도시한다. 이 송신 시스템은 전방향 뷰 영상과 관련된 데이터 또는 서비스를 제공하기 위한 서버일 수 있다.
송신 시스템은, 다방향 영상 획득부(11)와, 영상 스티칭부(12)와, 영상 2D 투영부(13)와, 2D 영상 패킹 및 타일링부(14)와, 영상 압축 인코딩부(15)로 이루어진다.
다방향 영상 획득부(11)는 각 시야 방향에 따라 설치된 다수의 카메라들 또는 일체형 360도 카메라를 이용하여 복수의 방향에서의 영상을 획득한다. 일체형 360도 카메라는, 단일 렌즈가 360도 방향의 수평 및 수직 뷰를 캡처할 수 없기 때문에 둘 이상의 렌즈가 장착되는 것이 일반적이다. 통상적으로 다방향 영상 획득부(11)는 전/후, 좌/우, 상/하 각 방향의 6개의 카메라를 이용하여 각 방향의 영상을 획득한다.
영상 스티칭부(12)는 다방향 영상 획득부(11)에서 획득된 각 방향의 영상들을 이어붙여(stitching) 전방향 뷰 영상을 생성한다. 이 스티칭 과정은 각각의 캡처된 이미지/비디오들을 연결하여 하나의 파노라마 이미지/비디오 또는 도 2와 같이 구 형태의 3차원 입체 이미지/비디오를 만드는 과정이며, 이때, 각 방향으로 촬영된 불연속적인 영상을 중복된 영역을 이용하여 하나의 연속된 이미지로 결합하는 이미지 프로세싱이 수행된다.
영상 2D 투영부(13)는 구 형태로 결합된 3차원 입체 영상을 투영(projection)하여 2차원 영상으로 매핑한다. 영상 스티칭부(12)에서 생성된 3차원 입체 영상은 데이터의 크기가 매우 크기 때문에 매우 큰 네트워크 대역폭을 필요로 한다. 네트워크로 전송되는 데이터량을 줄이려면 영상 압축 인코딩부(15)에서 상용화된 표준 코덱을 이용하여 압축 코딩을 해야 한다. 이를 위해 구형의 3차원 입체 영상은 2차원 영상으로 표현되어야 하는데, 이를 투영(projection)이라 한다.
영상 2D 투영부(13)의 투영법으로는 도 2에 도시된 바와 같이, (a) 등장방형 투영법(Equirectangular Projection: ERP), (b) 큐브 매핑 투영법(Cube Mapping Projection: CMP), (c) 피라미드 투영법(Pyramid Projection)이 적용될 수 있다.
(a) 등장방형 투영법은 구형의 3차원 입체 영상을 가상의 원통 내에 배치한 상태에서, 3차원 입체 영상의 모든 위도의 영상을 원통의 측면에 투영하는 방식으로서, 지도 표현 방식과 같이 직사각형 형태로 표현된다. 이 등장방향 투영법은 현재 표준 투영법으로 사용되고 있으나, 지도와 같이 수직방향의 위도가 높아질수록 좁은 영역의 영상이 넓은 면으로 투영되기 때문에 왜곡이 커지고 불필요한 데이터가 추가되어 영상 데이터의 크기 및 대역폭이 증가되는 문제점이 있다.
(b) 큐브 매핑 투영법은 구형의 3차원 입체 영상을 가상의 정육면체 큐브 안에 배치한 상태에서, 3차원 입체 영상을 구 중심으로부터 정육면체 큐브의 각 면에 투영하는 방식으로서, 정육면체 전개도와 같은 형태로 표현된다. 이러한 큐브 매핑 투영법은, 등장방형 투영법에 비해 왜곡이 크지 않고 불필요한 데이터 추가가 없는 장점이 있다.
(c) 피라미드 투영법은 구형의 3차원 입체 영상을 가상의 피라미드 내에 배치하고 3차원 입체 영상을 구 중심점으로부터 피라미드의 각 면에 투영하는 방식이다. 이 피라미드 투영법은 사각뿔 전개도와 같은 형태로 표현된다.
2D 영상 패킹 및 타일링부(14)는, 영상 2D 투영부(13)에서 출력되는 2차원 영상을 구성하는 복수의 영역들 중 적어도 일부를 변형 및/또는 재배치하여 새로운 2차원 영상(즉, 패킹된 2차원 영상)을 생성하는 영역 기반 패킹(packing) 작업과, 패킹된 2차원 영상을 송신 단위의 작은 조각으로 분할하는 타일링(tiling) 작업을 수행한다. 패킹 작업에서, 영역의 변형은 영역의 리사이징(resize), 형태 변환(transforming), 회전, 및/또는 상대적으로 덜 중요한 영역에 대한 다운 스케일링(downscaling) 등을 의미한다.
도 3은 2D 영상 패킹 및 타일링부에서 2차원 영상을 패킹 작업 및 타일링 작업을 수행한 상태를 도시한 도면이다.
도 3의 (a)는 등장방형 투영법으로 얻어진 2차원 영상에 대해 패킹 및 타일링 작업 후의 예시 도면이다. 좌측면(L), 전면(F), 우측면(R), 후면(B)을 포함하는 중간 영역(middle)은 오리지널 영상 그대로 배치하고, 상면(top) 영역과 하면(bottom) 영역은 다운 스케일링(downscaling)하여 중간 영역의 하단에 차례로 재배치하며, 5×3으로 타일링한다. 각 조각들은 각 시간 순서(t0, t1, t2, ...)대로 압축 인코딩되어 전송된다. 상기의 예에서, 상면(top) 영역의 일부 영상과 하면(bottom) 영역의 일부 영상이 하나의 조각으로 묶어져서 함께 전송된다.
도 3의 (b)는 튜브 매핑 투영법으로 얻어진 2차원 영상에 대해 패킹 및 타일링 작업 후의 예시 도면이다. 전면(Front) 영역은 오리지널 영상 그대로 배치하고, 상면(top) 영역, 하면(bottom) 영역, 우측면(right) 영역, 후면(back) 영역, 좌측면(left) 영역은 다운 스케일링(downscaling) 후 전면 영역의 주변에 재배치하고, 5×3으로 타일링한다. 타일링된 각 조각들은 각 시간 순서(t0, t1, t2, ...)대로 압축 인코딩되어 전송된다. 상기의 예에서, 전면 영역의 일부 영상과 상면 영역의 일부 영상, 전면 영역의 일부 영상과 하면 영역의 일부 영상, 우측면 영역의 일부 영상과 후면 영역의 일부 영상, 후면 영역의 일부 영상과 좌측면 영역의 일부 영상이 각각 동일 조각으로 묶어져서 함께 전송된다.
영상 압축 인코딩부(15)는 2D 영상 패킹 및 타일링부(14)에서 구분된 2차원 영상 조각들을 인코딩 기술을 적용하여 압축하고 전송 가능한 데이터로 변환하여 네트워크를 통해 전송하거나, 서버의 저장장치 내에 저장한다. 인코딩 기술로는 H.264 또는 H.265 등과 같이 현재 사용 가능한 표준 비디오 코덱이 사용될 수 있다.
도 4는 일반적인 전방향 뷰 영상 데이터를 디스플레이하는 디바이스의 구성을 도시한다.
이 디스플레이 디바이스는, 영상 디코딩부(41)와, 패킹 해제부(42)와, 랜더링부(43)와, 디스플레이 화면(44)으로 이루어진다. 이 디스플레이 디바이스는 VR 디바이스 또는 AR 디바이스로서, HMD인 것이 바람직하다.
영상 디코딩부(41)는 전방향 뷰 영상 데이터 송신 시스템으로부터 전송되는 인코딩된 2차원 영상 조각들을 수신하여 디코딩을 수행하고 타일링된 순서대로 배열하여 패킹된 2차원 영상을 복원한다. 패킹 해제부(42)는 패킹된 2차원 영상에 대해 패킹 해제(unpacking)을 수행하여 영상 2D 투영부(13)에서 생성된 2차원 영상이 복원되도록 한다. 해킹 해제라 함은 2D 영상 패킹 및 타일링부(14)에서 수행된 2차원 영상의 복수 영역에 대한 변형 및/또는 재배치를 원위치로 역변환하는 것이다.
랜더링부(43)는 패킹 해제된 2차원 영상을 전방향 뷰 영상으로 변환하여 디스플레이 화면(44)에 표시한다. 이때, 랜더링부(43)는 시청자의 FOV(field of view)에 대응하는 일부 다방향 뷰만을 추출하여 화면에 랜더링한다.
이러한 종래의 전방향 뷰 영상 데이터 전송, 수신 및 디스플레이 시스템은 다음의 문제점이 있다.
송신측에서 360도 전방향 뷰 영상 데이터를 모두 전송하고, 수신측에서 시청자의 FOV에 대응하는 일부의 다방향 뷰 영상 데이터만을 추출하여 랜더링하여 디스플레이한다. 따라서, 불필요한 영상 데이터를 프로세스 및 전송하기 위해 처리 시간 및 네트워크 대역폭이 낭비되는 문제점이 있다.
네트워크로 전송되는 영상 데이터량을 줄이기 위해, 송신측에서는 패킹 작업을 수행하고 수신측에서는 패킹 해제 작업을 수행해야 하기 때문에, 신호 처리에 지연이 발생할 수밖에 없다. 이러한 신호 처리의 지연으로 인해, 시청자의 감각과 실제 영상 상호간의 불일치로 인해 시청자들의 실시간 몰입감이 저하되며, 어지러움과 멀미증이 유발되는 문제점이 있다.
대한민국 공개특허 제2018-0109655호
상술한 종래기술의 문제점을 해결하기 위하여 안출된 이 발명의 목적은, 큐브 매핑 투영법을 변형하여 별도의 패킹 작업 없이 전방향 뷰 영상 데이터 중 시청자의 관심영역에 대응되는 일부의 다방향 뷰 영상 데이터를 전송하고, 전송되는 다방향 뷰 영상 데이터의 전송 품질이 시청자의 관심도에 따라 영역별로 상이하도록 하는 시스템을 제공하기 위한 것이다.
상술한 목적을 달성하기 위한 이 발명에 따른 전방향 뷰 비디오 데이터 전송 시스템은, 복수의 방향에서의 영상을 획득하는 다방향 영상 획득부와, 상기 다방향 영상 획득부에서 획득된 각 방향의 영상들을 이어붙여 구형의 3차원 입체 영상을 생성하는 영상 스티칭부와, 상기 구형의 3차원 입체 영상을 변형 큐브 매핑 투영법으로 투영하여 2차원 영상으로 매핑하는 영상 2D 투영부와, 상기 2차원 영상 중 최대관심영역을 복수의 마름모형 조각들로 구분하는 2D 영상 타일링부와, 상기 2D 영상 타일링부에서 구분된 2차원 영상 조각들을 압축하고 인코딩하는 영상 압축 인코딩부를 포함하고,
상기 변형 큐브 매핑 투영법은 전방 투영 영상(F)을 중심으로 좌측으로 좌측면 투영 영상(L)과 좌측 후방 투영 영상(BL)을 배치하고, 상기 전방 투영 영상(F)을 중심으로 우측으로 우측면 투영 영상(R)과 우측 후방 투영 영상(BR)을 배치하며, 상면 투영 영상(T)과 하면 투영 영상(D)을 분할하여 상기 전방 투영 영상과 좌측면 투영 영상과 우측면 투영 영상에 인접하여 배치하여, 상기 2차원 영상이 일부 영역이 중첩된 좌측면 마름모 영상과 정면 마름모 영상과 우측면 마름모 영상으로 이루어진 것을 특징으로 한다.
이상과 같이 이 발명에 따르면, 시청자들이 실감하는 영상 품질은 감소하지 않으면서, 네트워크로 전송되는 영상 데이터량이 감소되고 영상 처리 시간을 단축할 수 있는 효과가 있다.
도 1은 일반적인 전방향 뷰 영상 데이터를 전송하기 위한 송신 시스템의 구성을 도시한다.
도 2는 일반적인 투영법을 도시한 도면으로서, (a) 등장방형 투영법(Equirectangular Projection: ERP), (b) 큐브 매핑 투영법(Cube Mapping Projection: CMP), (c) 피라미드 투영법(Pyramid Projection)을 도시한 도면이다.
도 3은 2D 영상 패킹 및 타일링부에서 2차원 영상을 패킹 작업 및 타일링 작업을 수행한 상태를 도시한 도면이다.
도 4는 일반적인 전방향 뷰 영상 데이터를 디스플레이하는 디바이스의 구성을 도시한다.
도 5는 이 발명의 적용 원리를 설명하기 위한 도면이다.
도 6은 이 발명에 따른 다방향 뷰 영상 데이터 전송 시스템을 도시한 구성도이다.
도 7은 이 발명에 따른 변형 큐브 매핑 투영법에 의해 생성된 2차원 영상을 도시한 도면이다.
도 8은 이 발명에 따른 변형 큐브 매핑 투영법에 의해 생성된 2차원 영상에 대해 타일링 작업을 수행한 상태를 도시한 도면이다.
이하, 첨부된 도면을 참조하며 이 발명의 한 실시예에 따른 다방향 뷰 영상 데이터 전송 시스템을 보다 상세하게 설명하면 다음과 같다.
이 발명의 실시예를 설명하기에 앞서, 이 발명의 적용 원리를 먼저 설명한다.
도 5는 인간의 시야각과 관심영역의 상관관계를 도시한 도면이다. 인간이 집중하여 사물을 볼 때, 글씨인 경우 시야각은 ±6도 이내이고, 움직이는 사물을 관찰할 때의 시야각은 ±30도, 색상 구분은 ±60도 시야각 이내에서 가능하다. 통상적으로 게임 등의 VR 컨텐츠는 움직이는 사물 영상이므로 시청자가 VR 영상에 집중하면 시청자가 집중하는 시야각은 ±30도에 불과하다. 이 발명에서는 집중시야영역(51)은 전면(front) 영역 중 일부로서 시야각 ±30도 이내의 영역으로 정의하고, 주관심영역(52)은 시야각 ±60도 이내의 영역을 포함한 영역(수평방향 ±90도, 수직방향 ±60도)으로 정의한다.
한편, 미국 국방성 MIL-STD 1472G Human Engineering 관련 규격에 의하면, 머리를 고정한 상태에서 인간의 눈동자는 평균적으로 수평방향으로는 최대 ±35도 회전이 가능하고, 수직방향으로는 최대 -20도 ~ 40도 회전이 가능하다. 따라서, 이 발명에서 시청자의 눈회전을 고려하여 최대관심영역을 수평방향 ±135도, 수직방향 ±90도로 정의한다.
이 발명에서는 시청자의 머리 위치 및 방향 정보를 입력받고, 해당 머리 위치 및 방향에서 최대관심영역의 다방향 뷰 영상 데이터를 추출하여 전송하는 기술을 제안한다. 또한, 집중시야영역의 영상 데이터와, 집중시야영역을 제외한 주관심영역의 영상 데이터와, 주관심영역을 제외한 최대관심영역의 데이터의 해상도를 각기 달리하여, 시청자들의 몰입감은 저해하지 않으면서 전송하는 영상 데이터량은 감소되도록 한다.
도 6은 이 발명에 따른 다방향 뷰 영상 데이터 전송 시스템을 도시한 구성도이다.
이 발명에 따른 다방향 뷰 영상 데이터 전송 시스템은, 복수의 방향에서의 영상을 획득하는 다방향 영상 획득부(61)와, 상기 다방향 영상 획득부에서 획득된 각 방향의 영상들을 이어붙여 구형의 3차원 입체 영상을 생성하는 영상 스티칭부(62)와, 구형의 3차원 입체 영상을 변형 큐브 매핑 투영법으로 투영하여 2차원 영상으로 매핑하는 영상 2D 투영부(63)와, 상기 2차원 영상 중 최대관심영역이 포함되는 영역을 복수의 마름모형 조각들로 구분하는 2D 영상 타일링부(64)와, 상기 2D 영상 타일링부에서 구분된 2차원 영상 조각들을 압축하고 인코딩하는 영상 압축 인코딩부(65)를 포함한다.
도 7은 이 발명에 따른 변형 큐브 매핑 투영법에 의해 생성된 2차원 영상을 도시한 도면이고, 도 8은 이 발명에 따른 변형 큐브 매핑 투영법에 의해 생성된 2차원 영상에 대해 타일링 작업을 수행한 상태를 도시한 도면이다.
먼저, 변형 큐브 매핑 투영법은, 도 7의 (a)에 도시된 바와 같이 전방 투영 영상(F)을 중심으로 좌측으로 좌측면 투영 영상(L)과 좌측 후방 투영 영상(BL)을 배치하고, 상기 전방 투영 영상(F)을 중심으로 우측으로 우측면 투영 영상(R)과 우측 후방 투영 영상(BR)을 배치한다.
또한, 도 7의 (b)에 도시된 바와 같이 상면 투영 영상(T)을 전방 상면 투영 영상(TF)과 좌측 상면 투영 영상(TL)과 좌측 후방 상면 투영 영상(TBL)과 우측 상면 투영 영상(TR)과 우측 후방 상면 투영 영상(TBR)으로 나누어 각각 상기 전방 투영 영상(F)과 좌측면 투영 영상(L)과 좌측 후방 투영 영상(BL)과 우측면 투영 영상(R)과 우측 후방 투영 영상(BR)의 위쪽에 대응하여 배치하고, 하면 투영 영상(D)을 전방 하면 투영 영상(DF)과 좌측 하면 투영 영상(DL)과 좌측 후방 하면 투영 영상(DBL)과 우측 하면 투영 영상(DR)과 우측 후방 하면 투영 영상(DBR)으로 나누어 각각 상기 전방 투영 영상(F)과 좌측면 투영 영상(L)과 좌측 후방 투영 영상(BL)과 우측면 투영 영상(R)과 우측 후방 투영 영상(BR)의 아래쪽에 대응하여 배치한다.
이렇게 3차원 입체 영상을 변형 큐브 매핑 투영법으로 매핑하여 2차원 영상을 생성하면, 상기 2차원 영상은 일부 영역이 중첩된 좌측면 마름모 영상과 정면 마름모 영상과 우측면 마름모 영상으로 이루어진다.
이중 전방 투영 영상(F)과 일부 좌측면 투영 영상(L)과 일부 우측면 투영 영상(R)과 전방 상면 투영 영상(TF)와 전방 하면 투영 영상(DF)로 이루어진 중심의 마름모를 집중시야영역으로 설정할 수 있고, 중심의 마름모와 그 좌우측의 마름모를 모두 합하여 최대관심영역(53)으로 설정할 수 있다.
2D 영상 타일링부(64)는 상기 2차원 영상 중 최대관심영역이 포함되는 영역을 복수의 마름모형 조각들로 구분한다. 예컨대, 상기 2차원 영상에 대해, 좌측 후방 투영 영상(BL)과 일부의 좌측면 투영 영상(L)으로 이루어진 조각(t0)과, 일부의 좌측면 투영 영상(L) 절반과 좌측 상면 투영 영상(TL)으로 이루어진 조각(t1)과, 좌측 하면 투영 영상(DL)과 일부의 좌측면 투영 영상(L)으로 이루어진 조각(t2)과, 일부의 좌측면 투영 영상(L)과 일부의 전방 투영 영상(F)으로 이루어진 조각(t3)과, 일부의 전방 투영 영상(F)과 전방 상면 투영 영상(TF)으로 이루어진 조각(t4)과, 전방 하면 투영 영상(DF)과 일부의 전방 투영 영상(F)으로 이루어진 조각(t5)과, 일부의 전방 투영 영상(F)과 일부의 우측면 투영 영상(R)으로 이루어진 조각(t6)과, 일부의 우측면 투영 영상(R)과 우측 상면 투영 영상(TR)으로 이루어진 조각(t7)과, 일부의 우측면 투영 영상(R)과 우측 하면 투영 영상(DR)으로 이루어진 조각(t8)과, 일부의 우측면 투영 영상(R)과 일부의 우측 후방 투영 영상(BR)으로 이루어진 조각(t9)으로 구분할 수 있다.
이렇게 생성된 조각들은 각각 정사각형 조각들이기 때문에 후단의 영상 압축 인코딩부(65)에서 압축 및 인코딩을 수행할 수 있다. 각 조각들은 각 시간 순서(t0, t1, t2, ..., t9)대로 압축 인코딩되어 전송된다.
영상 압축 인코딩부(65)는 2D 영상 타일링부(64)에서 구분된 2차원 영상 조각들을 인코딩 기술을 적용하여 압축하고 전송 가능한 데이터로 변환하여 네트워크를 통해 전송하거나, 서버의 저장장치 내에 저장한다. 영상 압축 인코딩부(65)는, 집중시야영역을 포함하는 조각들(t3, t4, t5, t6)은 고해상도로 인코딩하고, 나머지 조각들은 저해상도로 인코딩한다. 인코딩 기술로는 H.264 또는 H.265 등과 같이 현재 사용 가능한 표준 비디오 코덱이 사용될 수 있다.
이렇게 전송된 인코딩된 2차원 영상 조각들은 HMD 등과 같은 디스플레이 디바이스로 수신되고 도 6의 전송 시스템의 역순으로 처리되어 다방향 뷰 영상 데이터로 복원되며 화면에 디스플레이된다.
본 발명의 다른 실시예로서, 다방향 영상 획득부(61)를 12개의 카메라로 구성할 수 있다. 이 12개의 카메라는 가상의 정육면체의 각 모서리에 배치되어 상호 중첩되지 않은 연속된 영상을 획득한다. 이렇게 12개의 영상을 획득하면, 별도의 스티칭 작업과 투영 작업 없이도 도 8과 같은 2차원 영상 조각들을 얻을 수 있어 처리 시간을 단축시킬 수 있다.
이상에서 본 발명에 대한 기술사상을 첨부도면과 함께 서술하였지만, 이는 본 발명의 가장 양호한 실시예를 예시적으로 설명한 것이지 본 발명을 한정하는 것은 아니다. 또한, 이 기술분야의 통상의 지식을 가진 자라면 누구나 본 발명의 기술사상의 범주를 이탈하지 않는 범위 내에서 다양한 변형 및 모방이 가능함은 명백한 사실이다.
61 : 다방향 영상 획득부 62 : 영상 스티칭부
63 : 영상 2D 투영부 64 : 2D 영상 타일링부
65 : 영상 압축 인코딩부

Claims (5)

  1. 복수의 방향에서의 영상을 획득하는 다방향 영상 획득부와, 상기 다방향 영상 획득부에서 획득된 각 방향의 영상들을 이어붙여 구형의 3차원 입체 영상을 생성하는 영상 스티칭부와, 상기 구형의 3차원 입체 영상을 변형 큐브 매핑 투영법으로 투영하여 2차원 영상으로 매핑하는 영상 2D 투영부와, 상기 2차원 영상 중 최대관심영역을 복수의 마름모형 조각들로 구분하는 2D 영상 타일링부와, 상기 2D 영상 타일링부에서 구분된 2차원 영상 조각들을 압축하고 인코딩하는 영상 압축 인코딩부를 포함하고,
    상기 변형 큐브 매핑 투영법은 전방 투영 영상(F)을 중심으로 좌측으로 좌측면 투영 영상(L)과 좌측 후방 투영 영상(BL)을 배치하고, 상기 전방 투영 영상(F)을 중심으로 우측으로 우측면 투영 영상(R)과 우측 후방 투영 영상(BR)을 배치하며, 상면 투영 영상(T)과 하면 투영 영상(D)을 분할하여 상기 전방 투영 영상과 좌측면 투영 영상과 우측면 투영 영상에 인접하여 배치하여, 상기 2차원 영상이 일부 영역이 중첩된 좌측면 마름모 영상과 정면 마름모 영상과 우측면 마름모 영상으로 이루어지고,
    상기 변형 큐브 매핑 투영법은, 상기 상면 투영 영상(T)을 전방 상면 투영 영상(TF)과 좌측 상면 투영 영상(TL)과 좌측 후방 상면 투영 영상(TBL)과 우측 상면 투영 영상(TR)과 우측 후방 상면 투영 영상(TBR)으로 나누어 각각 상기 전방 투영 영상(F)과 좌측면 투영 영상(L)과 좌측 후방 투영 영상(BL)과 우측면 투영 영상(R)과 우측 후방 투영 영상(BR)의 위쪽에 대응하여 배치하고, 상기 하면 투영 영상(D)을 전방 하면 투영 영상(DF)과 좌측 하면 투영 영상(DL)과 좌측 후방 하면 투영 영상(DBL)과 우측 하면 투영 영상(DR)과 우측 후방 하면 투영 영상(DBR)으로 나누어 각각 상기 전방 투영 영상(F)과 좌측면 투영 영상(L)과 좌측 후방 투영 영상(BL)과 우측면 투영 영상(R)과 우측 후방 투영 영상(BR)의 아래쪽에 대응하여 배치하며,
    상기 전방 투영 영상(F)과 일부 좌측면 투영 영상(L)과 일부 우측면 투영 영상(R)과 전방 상면 투영 영상(TF)와 전방 하면 투영 영상(DF)으로 이루어진 중심의 마름모 영역이 집중시야영역이고, 상기 집중시야영역과 상기 좌측면 투영 영상(L)과 우측면 투영 영상(R)과 좌측 상면 투영 영상(TL)과 좌측 하면 투영 영상(DL)과 우측 상면 투영 영상(TR)과 우측 하면 투영 영상(DR)으로 이루어진 영역이 상기 최대관심영역인 것을 특징으로 하는 다방향 뷰 영상 데이터 전송 시스템.
  2. 삭제
  3. 제 1 항에 있어서, 상기 2D 영상 타일링부는 상기 영상 2D 투영부에서 생성된 2차원 영상의 마름모 형상들을 4등분하여 상기 복수의 조각들로 구분하는 것을 특징으로 하는 다방향 뷰 영상 데이터 전송 시스템.
  4. 삭제
  5. 제 1 항에 있어서, 상기 영상 압축 인코딩부는 상기 집중시야영역을 포함하는 조각들은 고해상도로 인코딩하고, 상기 최대관심영역 중 상기 집중시야영역을 제외한 조각들은 저해상도로 인코딩하는 것을 특징으로 하는 다방향 뷰 영상 데이터 전송 시스템.
KR1020180146045A 2018-11-23 2018-11-23 다방향 뷰 영상 데이터 전송 시스템 KR102130784B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180146045A KR102130784B1 (ko) 2018-11-23 2018-11-23 다방향 뷰 영상 데이터 전송 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180146045A KR102130784B1 (ko) 2018-11-23 2018-11-23 다방향 뷰 영상 데이터 전송 시스템

Publications (2)

Publication Number Publication Date
KR20200060900A KR20200060900A (ko) 2020-06-02
KR102130784B1 true KR102130784B1 (ko) 2020-07-06

Family

ID=71090471

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180146045A KR102130784B1 (ko) 2018-11-23 2018-11-23 다방향 뷰 영상 데이터 전송 시스템

Country Status (1)

Country Link
KR (1) KR102130784B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102354132B1 (ko) * 2020-10-14 2022-01-24 한국전자기술연구원 분할 렌더링된 가상현실 영상을 제공하기 위한 장치 및 이를 위한 방법
KR102517796B1 (ko) * 2020-10-30 2023-04-03 조선대학교산학협력단 가상 현실 컨텐츠를 제공하는 방법 및 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018048223A1 (ko) * 2016-09-09 2018-03-15 삼성전자 주식회사 3차원 이미지를 프로세싱하기 위한 방법 및 장치

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102004247B1 (ko) * 2016-11-25 2019-07-29 경희대학교 산학협력단 영상 병렬 처리 방법 및 장치
KR102331041B1 (ko) 2017-03-28 2021-11-29 삼성전자주식회사 3차원 이미지에 관한 데이터를 전송하기 위한 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018048223A1 (ko) * 2016-09-09 2018-03-15 삼성전자 주식회사 3차원 이미지를 프로세싱하기 위한 방법 및 장치

Also Published As

Publication number Publication date
KR20200060900A (ko) 2020-06-02

Similar Documents

Publication Publication Date Title
US11109066B2 (en) Encoding and decoding of volumetric video
US11599968B2 (en) Apparatus, a method and a computer program for volumetric video
US11528468B2 (en) System and method for creating a navigable, three-dimensional virtual reality environment having ultra-wide field of view
US11405643B2 (en) Sequential encoding and decoding of volumetric video
US10600233B2 (en) Parameterizing 3D scenes for volumetric viewing
US11202086B2 (en) Apparatus, a method and a computer program for volumetric video
US11218683B2 (en) Method and an apparatus and a computer program product for adaptive streaming
US11463681B2 (en) Encoding and decoding of volumetric video
US10631008B2 (en) Multi-camera image coding
US11270413B2 (en) Playback apparatus and method, and generation apparatus and method
KR102130784B1 (ko) 다방향 뷰 영상 데이터 전송 시스템
WO2019122504A1 (en) Method for encoding and decoding volumetric video data
WO2018109265A1 (en) A method and technical equipment for encoding media content
EP3540696A1 (en) A method and an apparatus for volumetric video rendering
EP3698332A1 (en) An apparatus, a method and a computer program for volumetric video
US11653024B2 (en) Method and technical equipment for encoding and decoding volumetric video
Ludé New Standards for Immersive Storytelling through Light Field Displays

Legal Events

Date Code Title Description
GRNT Written decision to grant