KR20200060900A - Transmitting System for multi-directional View Video Data - Google Patents

Transmitting System for multi-directional View Video Data Download PDF

Info

Publication number
KR20200060900A
KR20200060900A KR1020180146045A KR20180146045A KR20200060900A KR 20200060900 A KR20200060900 A KR 20200060900A KR 1020180146045 A KR1020180146045 A KR 1020180146045A KR 20180146045 A KR20180146045 A KR 20180146045A KR 20200060900 A KR20200060900 A KR 20200060900A
Authority
KR
South Korea
Prior art keywords
image
projection
projection image
video
unit
Prior art date
Application number
KR1020180146045A
Other languages
Korean (ko)
Other versions
KR102130784B1 (en
Inventor
김경수
Original Assignee
(주)텔리언
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)텔리언 filed Critical (주)텔리언
Priority to KR1020180146045A priority Critical patent/KR102130784B1/en
Publication of KR20200060900A publication Critical patent/KR20200060900A/en
Application granted granted Critical
Publication of KR102130784B1 publication Critical patent/KR102130784B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/388—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • H04N13/39—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume the picture elements emitting light at places where a pair of light beams intersect in a transparent material

Abstract

The present invention relates to a system transmitting partial multidirectional video data corresponding to a viewer′s region of interest among omnidirectional view video data without separate packing by modifying a cube mapping projection method. The system for transmitting omnidirectional view video data comprises: a multidirectional video acquisition part acquiring videos in a plurality of directions; a video stitching part placing the videos in each direction acquired in the multidirectional video acquisition part to generate a spherical 3D stereoscopic video; a video 2D projection part projecting the spherical 3D stereoscopic video using a modified cube mapping projection method to map the spherical 3D stereoscopic video into a 2D video; a 2D video tiling part dividing a region of greatest interest among the 2D videos into a plurality of diamond-shaped pieces; and a video compression encoding part compressing and encoding the 2D video pieces divided in the 2D video tiling part.

Description

다방향 뷰 영상 데이터 전송 시스템 {Transmitting System for multi-directional View Video Data}Multi-directional View Video Data Transmission System {Transmitting System for multi-directional View Video Data}

이 발명은 다방향 뷰 영상 데이터 전송 시스템에 관한 것으로서, 보다 상세하게는 큐브 매핑 투영법을 변형하여 별도의 패킹 작업 없이 전방향 뷰 영상 데이터 중 시청자의 관심영역에 대응되는 일부의 다방향 뷰 영상 데이터를 전송하는 시스템에 관한 것이다.The present invention relates to a multi-directional view image data transmission system, and more specifically, by modifying the cube mapping projection method, a part of the multi-directional view image data corresponding to the viewer's region of interest without any additional packing operation is modified. It is about the transmitting system.

가상 현실(virtual reality: VR) 또는 증강 현실(augmented reality: AR)과 관련된 기술의 발달에 따라, VR 또는 AR을 제공할 수 있는 디바이스에 디스플레이하기 위한 전방향 뷰(omni-directional view) 영상의 프로세싱 및 전송과 관련된 기술들 또한 향상되고 있다. VR 또는 AR 컨텐츠는 VR 디바이스 또는 AR 디바이스 시청자들에게 360도의 전방향 뷰 영상 컨텐츠를 제공하여, 시청자가 자신의 관심영역을 자유롭게 시청할 수 있도록 하여 몰입감을 향상시킨다. VR 또는 AR을 제공할 수 있는 시청자 디바이스로서, 가장 보편적인 장비가 HMD(Head Mounted Displays)이다.With the development of technologies related to virtual reality (VR) or augmented reality (AR), processing of omni-directional view images for display on devices capable of providing VR or AR And transmission related technologies are also improving. VR or AR content provides 360-degree omni-directional view video content to VR device or AR device viewers, thereby allowing viewers to freely watch their areas of interest to enhance immersion. As a viewer device capable of providing VR or AR, the most common equipment is Head Mounted Displays (HMD).

시청자에게 VR 또는 AR 서비스를 제공하려면, 서비스 서버는 전방향 뷰 영상 데이터를 네트워크를 통해 전송하고, HMD 등과 같은 수신 디바이스는 해당 네트워크를 통해 전방향 뷰 영상 데이터를 수신하여 화면에 디스플레이해야 하는데, 이러한 전방향 뷰 비디오 데이터는 기존의 2차원 영상 데이터에 비해 엄청난 양의 계산과 대역폭을 필요로 한다. 이에 따라 전방향 뷰 영상 데이터를 네트워크로 전송, 수신하기 위해서는 전송하는 영상 데이터량을 줄여서 전송 대역폭을 줄여야 할 필요가 있다.To provide VR or AR services to viewers, the service server transmits omni-directional view image data over the network, and a receiving device such as an HMD needs to receive omni-directional view image data through the network and display it on the screen. Omni-directional view video data requires a tremendous amount of computation and bandwidth compared to conventional two-dimensional image data. Accordingly, in order to transmit and receive omni-directional view image data to the network, it is necessary to reduce the transmission bandwidth by reducing the amount of image data to be transmitted.

도 1은 일반적인 전방향 뷰 영상 데이터를 전송하기 위한 송신 시스템의 구성을 도시한다. 이 송신 시스템은 전방향 뷰 영상과 관련된 데이터 또는 서비스를 제공하기 위한 서버일 수 있다.1 shows a configuration of a transmission system for transmitting general omni-directional view image data. This transmission system may be a server for providing data or services related to omni-directional view images.

송신 시스템은, 다방향 영상 획득부(11)와, 영상 스티칭부(12)와, 영상 2D 투영부(13)와, 2D 영상 패킹 및 타일링부(14)와, 영상 압축 인코딩부(15)로 이루어진다.The transmission system includes a multi-directional image acquisition unit 11, an image stitching unit 12, an image 2D projection unit 13, a 2D image packing and tiling unit 14, and an image compression encoding unit 15. Is done.

다방향 영상 획득부(11)는 각 시야 방향에 따라 설치된 다수의 카메라들 또는 일체형 360도 카메라를 이용하여 복수의 방향에서의 영상을 획득한다. 일체형 360도 카메라는, 단일 렌즈가 360도 방향의 수평 및 수직 뷰를 캡처할 수 없기 때문에 둘 이상의 렌즈가 장착되는 것이 일반적이다. 통상적으로 다방향 영상 획득부(11)는 전/후, 좌/우, 상/하 각 방향의 6개의 카메라를 이용하여 각 방향의 영상을 획득한다.The multi-directional image acquisition unit 11 acquires images in a plurality of directions using a plurality of cameras installed according to each viewing direction or an integrated 360-degree camera. Integral 360-degree cameras are typically equipped with two or more lenses because a single lens cannot capture horizontal and vertical views in the 360-degree direction. In general, the multi-directional image acquisition unit 11 acquires images in each direction using six cameras in each direction of front/back, left/right, and up/down.

영상 스티칭부(12)는 다방향 영상 획득부(11)에서 획득된 각 방향의 영상들을 이어붙여(stitching) 전방향 뷰 영상을 생성한다. 이 스티칭 과정은 각각의 캡처된 이미지/비디오들을 연결하여 하나의 파노라마 이미지/비디오 또는 도 2와 같이 구 형태의 3차원 입체 이미지/비디오를 만드는 과정이며, 이때, 각 방향으로 촬영된 불연속적인 영상을 중복된 영역을 이용하여 하나의 연속된 이미지로 결합하는 이미지 프로세싱이 수행된다.The image stitching unit 12 stitches images in each direction acquired by the multi-directional image acquisition unit 11 to generate an omni-directional view image. This stitching process is a process of creating a panoramic image/video or a spherical three-dimensional stereoscopic image/video as shown in FIG. 2 by connecting each captured image/video, wherein the discontinuous images photographed in each direction are generated. Image processing is performed by combining overlapping regions into one continuous image.

영상 2D 투영부(13)는 구 형태로 결합된 3차원 입체 영상을 투영(projection)하여 2차원 영상으로 매핑한다. 영상 스티칭부(12)에서 생성된 3차원 입체 영상은 데이터의 크기가 매우 크기 때문에 매우 큰 네트워크 대역폭을 필요로 한다. 네트워크로 전송되는 데이터량을 줄이려면 영상 압축 인코딩부(15)에서 상용화된 표준 코덱을 이용하여 압축 코딩을 해야 한다. 이를 위해 구형의 3차원 입체 영상은 2차원 영상으로 표현되어야 하는데, 이를 투영(projection)이라 한다.The image 2D projection unit 13 projects a 3D stereoscopic image combined in a spherical shape and maps the 2D image. The 3D stereoscopic image generated by the image stitching unit 12 requires a very large network bandwidth because the size of data is very large. In order to reduce the amount of data transmitted to the network, compression coding must be performed using a standard codec commercially available in the image compression encoding unit 15. For this, the spherical 3D stereoscopic image should be expressed as a 2D image, which is called projection.

영상 2D 투영부(13)의 투영법으로는 도 2에 도시된 바와 같이, (a) 등장방형 투영법(Equirectangular Projection: ERP), (b) 큐브 매핑 투영법(Cube Mapping Projection: CMP), (c) 피라미드 투영법(Pyramid Projection)이 적용될 수 있다.As a projection method of the image 2D projection unit 13, as shown in FIG. 2, (a) Equirectangular Projection (ERP), (b) Cube Mapping Projection (CMP), (c) Pyramid Pyramid Projection can be applied.

(a) 등장방형 투영법은 구형의 3차원 입체 영상을 가상의 원통 내에 배치한 상태에서, 3차원 입체 영상의 모든 위도의 영상을 원통의 측면에 투영하는 방식으로서, 지도 표현 방식과 같이 직사각형 형태로 표현된다. 이 등장방향 투영법은 현재 표준 투영법으로 사용되고 있으나, 지도와 같이 수직방향의 위도가 높아질수록 좁은 영역의 영상이 넓은 면으로 투영되기 때문에 왜곡이 커지고 불필요한 데이터가 추가되어 영상 데이터의 크기 및 대역폭이 증가되는 문제점이 있다.(a) The equirectangular projection method is a method of projecting images of all latitudes of a 3D stereoscopic image onto the side of a cylinder in a state in which a spherical 3D stereoscopic image is placed in a virtual cylinder, and in a rectangular form like a map representation method Is expressed. This isometric projection method is currently used as a standard projection method, but as the vertical latitude increases as the map increases, the image in a narrow area is projected onto a wide surface, which increases distortion and increases unnecessary data and increases the size and bandwidth of the image data. There is a problem.

(b) 큐브 매핑 투영법은 구형의 3차원 입체 영상을 가상의 정육면체 큐브 안에 배치한 상태에서, 3차원 입체 영상을 구 중심으로부터 정육면체 큐브의 각 면에 투영하는 방식으로서, 정육면체 전개도와 같은 형태로 표현된다. 이러한 큐브 매핑 투영법은, 등장방형 투영법에 비해 왜곡이 크지 않고 불필요한 데이터 추가가 없는 장점이 있다.(b) The cube mapping projection method is a method of projecting a 3D stereoscopic image from the center of a sphere onto each side of a cube cube in a state where a spherical 3D stereoscopic image is placed in a virtual cube, expressed in the same form as a cube development diagram. do. Such a cube mapping projection method has an advantage in that distortion is not large and unnecessary data is not added compared to an isometric projection method.

(c) 피라미드 투영법은 구형의 3차원 입체 영상을 가상의 피라미드 내에 배치하고 3차원 입체 영상을 구 중심점으로부터 피라미드의 각 면에 투영하는 방식이다. 이 피라미드 투영법은 사각뿔 전개도와 같은 형태로 표현된다.(c) The pyramid projection method is a method in which a spherical three-dimensional stereoscopic image is placed in a virtual pyramid and the three-dimensional stereoscopic image is projected from the center point of the sphere onto each side of the pyramid. This pyramid projection is expressed in the form of a square pyramid.

2D 영상 패킹 및 타일링부(14)는, 영상 2D 투영부(13)에서 출력되는 2차원 영상을 구성하는 복수의 영역들 중 적어도 일부를 변형 및/또는 재배치하여 새로운 2차원 영상(즉, 패킹된 2차원 영상)을 생성하는 영역 기반 패킹(packing) 작업과, 패킹된 2차원 영상을 송신 단위의 작은 조각으로 분할하는 타일링(tiling) 작업을 수행한다. 패킹 작업에서, 영역의 변형은 영역의 리사이징(resize), 형태 변환(transforming), 회전, 및/또는 상대적으로 덜 중요한 영역에 대한 다운 스케일링(downscaling) 등을 의미한다. The 2D image packing and tiling unit 14 transforms and/or rearranges at least some of a plurality of regions constituting the 2D image output from the image 2D projection unit 13 to generate a new 2D image (ie, packed). A region-based packing operation for generating a 2D image) and a tiling operation for dividing the packed 2D image into small pieces of a transmission unit are performed. In the packing operation, deformation of a region means resizing of the region, transforming, rotating, and/or downscaling of a region of lesser importance.

도 3은 2D 영상 패킹 및 타일링부에서 2차원 영상을 패킹 작업 및 타일링 작업을 수행한 상태를 도시한 도면이다.FIG. 3 is a diagram illustrating a state in which a 2D image packing and tiling unit performs a 2D image packing and tiling operation.

도 3의 (a)는 등장방형 투영법으로 얻어진 2차원 영상에 대해 패킹 및 타일링 작업 후의 예시 도면이다. 좌측면(L), 전면(F), 우측면(R), 후면(B)을 포함하는 중간 영역(middle)은 오리지널 영상 그대로 배치하고, 상면(top) 영역과 하면(bottom) 영역은 다운 스케일링(downscaling)하여 중간 영역의 하단에 차례로 재배치하며, 5×3으로 타일링한다. 각 조각들은 각 시간 순서(t0, t1, t2, ...)대로 압축 인코딩되어 전송된다. 상기의 예에서, 상면(top) 영역의 일부 영상과 하면(bottom) 영역의 일부 영상이 하나의 조각으로 묶어져서 함께 전송된다.FIG. 3(a) is an exemplary diagram after packing and tiling operations for a 2D image obtained by an isometric projection method. The middle region including the left side (L), front side (F), right side (R), and back side (B) is arranged as the original image, and the top region and bottom region are scaled down ( downscaling) to sequentially relocate to the bottom of the middle region, tiling 5×3. Each piece is compressed and transmitted in each time sequence (t 0 , t 1 , t 2 , ...). In the above example, some images of the top region and some images of the bottom region are bundled into one piece and transmitted together.

도 3의 (b)는 튜브 매핑 투영법으로 얻어진 2차원 영상에 대해 패킹 및 타일링 작업 후의 예시 도면이다. 전면(Front) 영역은 오리지널 영상 그대로 배치하고, 상면(top) 영역, 하면(bottom) 영역, 우측면(right) 영역, 후면(back) 영역, 좌측면(left) 영역은 다운 스케일링(downscaling) 후 전면 영역의 주변에 재배치하고, 5×3으로 타일링한다. 타일링된 각 조각들은 각 시간 순서(t0, t1, t2, ...)대로 압축 인코딩되어 전송된다. 상기의 예에서, 전면 영역의 일부 영상과 상면 영역의 일부 영상, 전면 영역의 일부 영상과 하면 영역의 일부 영상, 우측면 영역의 일부 영상과 후면 영역의 일부 영상, 후면 영역의 일부 영상과 좌측면 영역의 일부 영상이 각각 동일 조각으로 묶어져서 함께 전송된다.FIG. 3B is an exemplary view after packing and tiling for a 2D image obtained by a tube mapping projection method. The front area is placed as the original image, and the top area, bottom area, right area, back area, and left area are front down after downscaling. Reposition it around the area and tile it 5x3. Each tiled piece is compressed and transmitted in each time sequence (t 0 , t 1 , t 2 , ...). In the above example, some images of the front region and some images of the top region, some images of the front region and some images of the bottom region, some images of the right side region and some images of the back region, some images of the back region and the left side region Some of the images are grouped into the same piece and transmitted together.

영상 압축 인코딩부(15)는 2D 영상 패킹 및 타일링부(14)에서 구분된 2차원 영상 조각들을 인코딩 기술을 적용하여 압축하고 전송 가능한 데이터로 변환하여 네트워크를 통해 전송하거나, 서버의 저장장치 내에 저장한다. 인코딩 기술로는 H.264 또는 H.265 등과 같이 현재 사용 가능한 표준 비디오 코덱이 사용될 수 있다.The image compression encoding unit 15 compresses the 2D image pieces separated by the 2D image packing and tiling unit 14 by applying an encoding technique, converts them into transmittable data, transmits them over a network, or stores them in a storage device of a server do. As the encoding technology, currently available standard video codecs such as H.264 or H.265 can be used.

도 4는 일반적인 전방향 뷰 영상 데이터를 디스플레이하는 디바이스의 구성을 도시한다. 4 shows a configuration of a device for displaying general omni-directional view image data.

이 디스플레이 디바이스는, 영상 디코딩부(41)와, 패킹 해제부(42)와, 랜더링부(43)와, 디스플레이 화면(44)으로 이루어진다. 이 디스플레이 디바이스는 VR 디바이스 또는 AR 디바이스로서, HMD인 것이 바람직하다.This display device comprises a video decoding unit 41, a packing unpacking unit 42, a rendering unit 43, and a display screen 44. This display device is a VR device or an AR device, and is preferably HMD.

영상 디코딩부(41)는 전방향 뷰 영상 데이터 송신 시스템으로부터 전송되는 인코딩된 2차원 영상 조각들을 수신하여 디코딩을 수행하고 타일링된 순서대로 배열하여 패킹된 2차원 영상을 복원한다. 패킹 해제부(42)는 패킹된 2차원 영상에 대해 패킹 해제(unpacking)을 수행하여 영상 2D 투영부(13)에서 생성된 2차원 영상이 복원되도록 한다. 해킹 해제라 함은 2D 영상 패킹 및 타일링부(14)에서 수행된 2차원 영상의 복수 영역에 대한 변형 및/또는 재배치를 원위치로 역변환하는 것이다.The image decoding unit 41 receives the encoded two-dimensional image fragments transmitted from the omni-directional view image data transmission system, performs decoding, and arranges them in a tiled order to restore a packed two-dimensional image. The unpacking unit 42 unpacks the packed 2D image so that the 2D image generated by the image 2D projection unit 13 is restored. The hack release is to inversely transform and/or relocate a plurality of regions of a 2D image performed by the 2D image packing and tiling unit 14 to the original position.

랜더링부(43)는 패킹 해제된 2차원 영상을 전방향 뷰 영상으로 변환하여 디스플레이 화면(44)에 표시한다. 이때, 랜더링부(43)는 시청자의 FOV(field of view)에 대응하는 일부 다방향 뷰만을 추출하여 화면에 랜더링한다.The rendering unit 43 converts the unpacked 2D image into an omnidirectional view image and displays it on the display screen 44. At this time, the rendering unit 43 extracts only some multi-directional views corresponding to the viewer's field of view (FOV) and renders the screen on the screen.

이러한 종래의 전방향 뷰 영상 데이터 전송, 수신 및 디스플레이 시스템은 다음의 문제점이 있다.The conventional omni-directional view image data transmission, reception and display system has the following problems.

송신측에서 360도 전방향 뷰 영상 데이터를 모두 전송하고, 수신측에서 시청자의 FOV에 대응하는 일부의 다방향 뷰 영상 데이터만을 추출하여 랜더링하여 디스플레이한다. 따라서, 불필요한 영상 데이터를 프로세스 및 전송하기 위해 처리 시간 및 네트워크 대역폭이 낭비되는 문제점이 있다.The transmitting side transmits all the 360-degree omni-directional view image data, and the receiving side extracts and displays only some of the multi-directional view image data corresponding to the viewer's FOV and displays it. Accordingly, there is a problem that processing time and network bandwidth are wasted to process and transmit unnecessary image data.

네트워크로 전송되는 영상 데이터량을 줄이기 위해, 송신측에서는 패킹 작업을 수행하고 수신측에서는 패킹 해제 작업을 수행해야 하기 때문에, 신호 처리에 지연이 발생할 수밖에 없다. 이러한 신호 처리의 지연으로 인해, 시청자의 감각과 실제 영상 상호간의 불일치로 인해 시청자들의 실시간 몰입감이 저하되며, 어지러움과 멀미증이 유발되는 문제점이 있다.In order to reduce the amount of video data to be transmitted to the network, since the transmitting side needs to perform the packing operation and the receiving side needs to perform the unpacking operation, a delay in signal processing is inevitable. Due to such a delay in signal processing, there is a problem that viewers' real-time immersion is reduced due to a discrepancy between the viewer's sense and the actual image, and dizziness and motion sickness are caused.

대한민국 공개특허 제2018-0109655호Republic of Korea Patent Publication No. 2018-0109655

상술한 종래기술의 문제점을 해결하기 위하여 안출된 이 발명의 목적은, 큐브 매핑 투영법을 변형하여 별도의 패킹 작업 없이 전방향 뷰 영상 데이터 중 시청자의 관심영역에 대응되는 일부의 다방향 뷰 영상 데이터를 전송하고, 전송되는 다방향 뷰 영상 데이터의 전송 품질이 시청자의 관심도에 따라 영역별로 상이하도록 하는 시스템을 제공하기 위한 것이다.The object of the present invention, devised to solve the above-described problems of the prior art, is to transform a cube mapping projection method to display some multi-directional view image data corresponding to the viewer's region of interest from the omni-directional view image data without additional packing. The present invention is to provide a system for transmitting and transmitting quality of multi-directional view image data according to a viewer's interest.

상술한 목적을 달성하기 위한 이 발명에 따른 전방향 뷰 비디오 데이터 전송 시스템은, 복수의 방향에서의 영상을 획득하는 다방향 영상 획득부와, 상기 다방향 영상 획득부에서 획득된 각 방향의 영상들을 이어붙여 구형의 3차원 입체 영상을 생성하는 영상 스티칭부와, 상기 구형의 3차원 입체 영상을 변형 큐브 매핑 투영법으로 투영하여 2차원 영상으로 매핑하는 영상 2D 투영부와, 상기 2차원 영상 중 최대관심영역을 복수의 마름모형 조각들로 구분하는 2D 영상 타일링부와, 상기 2D 영상 타일링부에서 구분된 2차원 영상 조각들을 압축하고 인코딩하는 영상 압축 인코딩부를 포함하고,An omni-directional view video data transmission system according to the present invention for achieving the above object, a multi-directional image acquisition unit for acquiring images in a plurality of directions, and images in each direction acquired by the multi-directional image acquisition unit The image stitching unit for generating a spherical three-dimensional stereoscopic image, an image 2D projection for mapping the spherical three-dimensional stereoscopic image to a two-dimensional image by projecting the transformed three-dimensional stereoscopic image, and a maximum interest among the two-dimensional images And a 2D image tiling unit for dividing the region into a plurality of rhombic fragments, and an image compression encoding unit for compressing and encoding 2D image fragments separated by the 2D image tiling unit,

상기 변형 큐브 매핑 투영법은 전방 투영 영상(F)을 중심으로 좌측으로 좌측면 투영 영상(L)과 좌측 후방 투영 영상(BL)을 배치하고, 상기 전방 투영 영상(F)을 중심으로 우측으로 우측면 투영 영상(R)과 우측 후방 투영 영상(BR)을 배치하며, 상면 투영 영상(T)과 하면 투영 영상(D)을 분할하여 상기 전방 투영 영상과 좌측면 투영 영상과 우측면 투영 영상에 인접하여 배치하여, 상기 2차원 영상이 일부 영역이 중첩된 좌측면 마름모 영상과 정면 마름모 영상과 우측면 마름모 영상으로 이루어진 것을 특징으로 한다.The modified cube mapping projection method arranges a left-side projected image L and a left-back projected image BL with respect to the front projected image F, and projects a right-side projected to the right with respect to the front-projected image F. The image R and the right rear projection image BR are arranged, and the top projection image T and the bottom projection image D are divided to be disposed adjacent to the front projection image and the left projection image and the right projection image. The two-dimensional image is characterized by comprising a left-side rhombus image, a front-rhombus image, and a right-side rhombus image where some regions overlap.

이상과 같이 이 발명에 따르면, 시청자들이 실감하는 영상 품질은 감소하지 않으면서, 네트워크로 전송되는 영상 데이터량이 감소되고 영상 처리 시간을 단축할 수 있는 효과가 있다.As described above, according to the present invention, the image quality perceived by the viewers is not reduced, and the amount of image data transmitted to the network is reduced and the image processing time can be shortened.

도 1은 일반적인 전방향 뷰 영상 데이터를 전송하기 위한 송신 시스템의 구성을 도시한다.
도 2는 일반적인 투영법을 도시한 도면으로서, (a) 등장방형 투영법(Equirectangular Projection: ERP), (b) 큐브 매핑 투영법(Cube Mapping Projection: CMP), (c) 피라미드 투영법(Pyramid Projection)을 도시한 도면이다.
도 3은 2D 영상 패킹 및 타일링부에서 2차원 영상을 패킹 작업 및 타일링 작업을 수행한 상태를 도시한 도면이다.
도 4는 일반적인 전방향 뷰 영상 데이터를 디스플레이하는 디바이스의 구성을 도시한다.
도 5는 이 발명의 적용 원리를 설명하기 위한 도면이다.
도 6은 이 발명에 따른 다방향 뷰 영상 데이터 전송 시스템을 도시한 구성도이다.
도 7은 이 발명에 따른 변형 큐브 매핑 투영법에 의해 생성된 2차원 영상을 도시한 도면이다.
도 8은 이 발명에 따른 변형 큐브 매핑 투영법에 의해 생성된 2차원 영상에 대해 타일링 작업을 수행한 상태를 도시한 도면이다.1 shows a configuration of a transmission system for transmitting general omni-directional view image data.
Figure 2 is a view showing a general projection, (a) equirectangular projection (Equirectangular Projection: ERP), (b) cube mapping projection (Cube Mapping Projection: CMP), (c) pyramid projection (Pyramid Projection) It is a drawing.
FIG. 3 is a diagram illustrating a state in which a 2D image packing and tiling unit performs a 2D image packing and tiling operation.
4 shows a configuration of a device for displaying general omni-directional view image data.
5 is a view for explaining the application principle of the present invention.
6 is a configuration diagram showing a multi-directional view image data transmission system according to the present invention.
7 is a diagram illustrating a two-dimensional image generated by a modified cube mapping projection method according to the present invention.
8 is a diagram illustrating a state in which a tiling operation is performed on a 2D image generated by a modified cube mapping projection method according to the present invention.

이하, 첨부된 도면을 참조하며 이 발명의 한 실시예에 따른 다방향 뷰 영상 데이터 전송 시스템을 보다 상세하게 설명하면 다음과 같다.Hereinafter, a multi-directional view image data transmission system according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings.

이 발명의 실시예를 설명하기에 앞서, 이 발명의 적용 원리를 먼저 설명한다. Prior to describing the embodiments of the present invention, the application principle of the present invention will be described first.

도 5는 인간의 시야각과 관심영역의 상관관계를 도시한 도면이다. 인간이 집중하여 사물을 볼 때, 글씨인 경우 시야각은 ±6도 이내이고, 움직이는 사물을 관찰할 때의 시야각은 ±30도, 색상 구분은 ±60도 시야각 이내에서 가능하다. 통상적으로 게임 등의 VR 컨텐츠는 움직이는 사물 영상이므로 시청자가 VR 영상에 집중하면 시청자가 집중하는 시야각은 ±30도에 불과하다. 이 발명에서는 집중시야영역(51)은 전면(front) 영역 중 일부로서 시야각 ±30도 이내의 영역으로 정의하고, 주관심영역(52)은 시야각 ±60도 이내의 영역을 포함한 영역(수평방향 ±90도, 수직방향 ±60도)으로 정의한다.5 is a diagram showing a correlation between a human viewing angle and a region of interest. When a human focuses and sees an object, in case of text, the viewing angle is within ±6 degrees, when viewing a moving object, the viewing angle is within ±30 degrees, and color classification is possible within ±60 degrees. Typically, VR contents such as games are moving object images, so when a viewer focuses on a VR image, the viewing angle that the viewer focuses on is only ±30 degrees. In the present invention, the centralized viewing area 51 is defined as an area within ±30 degrees of viewing angle as part of the front area, and the main interest area 52 includes an area within ±60 degrees of viewing angle (horizontal direction ± 90 degrees, ±60 degrees in the vertical direction).

한편, 미국 국방성 MIL-STD 1472G Human Engineering 관련 규격에 의하면, 머리를 고정한 상태에서 인간의 눈동자는 평균적으로 수평방향으로는 최대 ±35도 회전이 가능하고, 수직방향으로는 최대 -20도 ~ 40도 회전이 가능하다. 따라서, 이 발명에서 시청자의 눈회전을 고려하여 최대관심영역을 수평방향 ±135도, 수직방향 ±90도로 정의한다.On the other hand, according to the U.S. Department of Defense MIL-STD 1472G Human Engineering related standards, on average, the human eye can rotate up to ±35 degrees in the horizontal direction and up to -20 degrees to 40 degrees in the vertical direction. Rotation is possible. Therefore, in the present invention, the maximum region of interest is defined as ±135 degrees in the horizontal direction and ±90 degrees in the vertical direction in consideration of the viewer's eye rotation.

이 발명에서는 시청자의 머리 위치 및 방향 정보를 입력받고, 해당 머리 위치 및 방향에서 최대관심영역의 다방향 뷰 영상 데이터를 추출하여 전송하는 기술을 제안한다. 또한, 집중시야영역의 영상 데이터와, 집중시야영역을 제외한 주관심영역의 영상 데이터와, 주관심영역을 제외한 최대관심영역의 데이터의 해상도를 각기 달리하여, 시청자들의 몰입감은 저해하지 않으면서 전송하는 영상 데이터량은 감소되도록 한다.The present invention proposes a technique for receiving viewer's head position and direction information and extracting and transmitting multi-directional view image data of a region of maximum interest from the head position and direction. In addition, the resolutions of the image data of the centralized field of view, the video data of the main area of interest excluding the concentrated field of view, and the data of the largest area of interest excluding the field of interest are different, so that viewers' immersion can be transmitted without compromising the resolution. The amount of image data is reduced.

도 6은 이 발명에 따른 다방향 뷰 영상 데이터 전송 시스템을 도시한 구성도이다.6 is a configuration diagram showing a multi-directional view image data transmission system according to the present invention.

이 발명에 따른 다방향 뷰 영상 데이터 전송 시스템은, 복수의 방향에서의 영상을 획득하는 다방향 영상 획득부(61)와, 상기 다방향 영상 획득부에서 획득된 각 방향의 영상들을 이어붙여 구형의 3차원 입체 영상을 생성하는 영상 스티칭부(62)와, 구형의 3차원 입체 영상을 변형 큐브 매핑 투영법으로 투영하여 2차원 영상으로 매핑하는 영상 2D 투영부(63)와, 상기 2차원 영상 중 최대관심영역이 포함되는 영역을 복수의 마름모형 조각들로 구분하는 2D 영상 타일링부(64)와, 상기 2D 영상 타일링부에서 구분된 2차원 영상 조각들을 압축하고 인코딩하는 영상 압축 인코딩부(65)를 포함한다.In the multi-directional view image data transmission system according to the present invention, a multi-directional image acquisition unit 61 for acquiring images in a plurality of directions and images in each direction obtained by the multi-directional image acquisition unit are connected to each other in a spherical shape. An image stitching unit 62 for generating a 3D stereoscopic image, an image 2D projection unit 63 for mapping a spherical 3D stereoscopic image into a 2D image by projecting it using a modified cube mapping projection method, and a maximum of the 2D images A 2D image tiling unit 64 for dividing a region including a region of interest into a plurality of rhombic fragments, and an image compression encoding unit 65 for compressing and encoding 2D image fragments classified by the 2D image tiling unit. Includes.

도 7은 이 발명에 따른 변형 큐브 매핑 투영법에 의해 생성된 2차원 영상을 도시한 도면이고, 도 8은 이 발명에 따른 변형 큐브 매핑 투영법에 의해 생성된 2차원 영상에 대해 타일링 작업을 수행한 상태를 도시한 도면이다.7 is a view showing a two-dimensional image generated by the modified cube mapping projection method according to the present invention, and FIG. 8 is a state in which a tiled operation is performed on the two-dimensional image generated by the modified cube mapping projection method according to the present invention It is a diagram showing.

먼저, 변형 큐브 매핑 투영법은, 도 7의 (a)에 도시된 바와 같이 전방 투영 영상(F)을 중심으로 좌측으로 좌측면 투영 영상(L)과 좌측 후방 투영 영상(BL)을 배치하고, 상기 전방 투영 영상(F)을 중심으로 우측으로 우측면 투영 영상(R)과 우측 후방 투영 영상(BR)을 배치한다.First, in the modified cube mapping projection method, a left-side projection image L and a left-back projection image BL are disposed to the left with respect to the front projection image F as shown in FIG. The right-side projected image R and the right-back projected image BR are arranged to the right with the front projection image F as the center.

또한, 도 7의 (b)에 도시된 바와 같이 상면 투영 영상(T)을 전방 상면 투영 영상(TF)과 좌측 상면 투영 영상(TL)과 좌측 후방 상면 투영 영상(TBL)과 우측 상면 투영 영상(TR)과 우측 후방 상면 투영 영상(TBR)으로 나누어 각각 상기 전방 투영 영상(F)과 좌측면 투영 영상(L)과 좌측 후방 투영 영상(BL)과 우측면 투영 영상(R)과 우측 후방 투영 영상(BR)의 위쪽에 대응하여 배치하고, 하면 투영 영상(D)을 전방 하면 투영 영상(DF)과 좌측 하면 투영 영상(DL)과 좌측 후방 하면 투영 영상(DBL)과 우측 하면 투영 영상(DR)과 우측 후방 하면 투영 영상(DBR)으로 나누어 각각 상기 전방 투영 영상(F)과 좌측면 투영 영상(L)과 좌측 후방 투영 영상(BL)과 우측면 투영 영상(R)과 우측 후방 투영 영상(BR)의 아래쪽에 대응하여 배치한다.In addition, as shown in (b) of FIG. 7, the top projection image T is the front top projection image TF, the left top projection image TL, the left rear top projection image TBL, and the right top projection image ( TR) and the right rear projection image (TBR), respectively, the front projection image (F), the left projection image (L), the left rear projection image (BL), the right projection image (R), and the right rear projection image ( BR), the lower projection image (D), the lower projection image (DF), the lower rear projection image (DL), the lower rear projection image (DBL), and the lower rear projection image (DR). Divided into the right rear lower projection image (DBR), the front projection image (F), the left projection image (L), the left rear projection image (BL), the right projection image (R) and the right rear projection image (BR), respectively. It is arranged corresponding to the bottom.

이렇게 3차원 입체 영상을 변형 큐브 매핑 투영법으로 매핑하여 2차원 영상을 생성하면, 상기 2차원 영상은 일부 영역이 중첩된 좌측면 마름모 영상과 정면 마름모 영상과 우측면 마름모 영상으로 이루어진다.When the 3D stereoscopic image is mapped using the modified cube mapping projection method to generate a 2D image, the 2D image includes a left-side rhombus image and a front-side rhombus image and a right-side rhombus image in which some areas are overlapped.

이중 전방 투영 영상(F)과 일부 좌측면 투영 영상(L)과 일부 우측면 투영 영상(R)과 전방 상면 투영 영상(TF)와 전방 하면 투영 영상(DF)로 이루어진 중심의 마름모를 집중시야영역으로 설정할 수 있고, 중심의 마름모와 그 좌우측의 마름모를 모두 합하여 최대관심영역(53)으로 설정할 수 있다. The central rhombus, which consists of the front projection image (F), some left-side projection images (L), some right-side projection images (R), front top-projection images (TF), and front-side projection images (DF), is the centralized field of view. It can be set, and the central rhombus and the left and right rhombuses can be combined to be set as the maximum region of interest 53.

2D 영상 타일링부(64)는 상기 2차원 영상 중 최대관심영역이 포함되는 영역을 복수의 마름모형 조각들로 구분한다. 예컨대, 상기 2차원 영상에 대해, 좌측 후방 투영 영상(BL)과 일부의 좌측면 투영 영상(L)으로 이루어진 조각(t0)과, 일부의 좌측면 투영 영상(L) 절반과 좌측 상면 투영 영상(TL)으로 이루어진 조각(t1)과, 좌측 하면 투영 영상(DL)과 일부의 좌측면 투영 영상(L)으로 이루어진 조각(t2)과, 일부의 좌측면 투영 영상(L)과 일부의 전방 투영 영상(F)으로 이루어진 조각(t3)과, 일부의 전방 투영 영상(F)과 전방 상면 투영 영상(TF)으로 이루어진 조각(t4)과, 전방 하면 투영 영상(DF)과 일부의 전방 투영 영상(F)으로 이루어진 조각(t5)과, 일부의 전방 투영 영상(F)과 일부의 우측면 투영 영상(R)으로 이루어진 조각(t6)과, 일부의 우측면 투영 영상(R)과 우측 상면 투영 영상(TR)으로 이루어진 조각(t7)과, 일부의 우측면 투영 영상(R)과 우측 하면 투영 영상(DR)으로 이루어진 조각(t8)과, 일부의 우측면 투영 영상(R)과 일부의 우측 후방 투영 영상(BR)으로 이루어진 조각(t9)으로 구분할 수 있다.The 2D image tiling unit 64 divides a region including a region of maximum interest among the two-dimensional images into a plurality of rhombic pieces. For example, with respect to the 2D image, a fragment t0 consisting of a left rear projection image BL and a part of the left projection image L, and a part of the left projection image L and half of the left projection image L TL) consisting of a piece (t1), a left bottom projected image (DL) and a part of a left side projected image (L) (t2), a part of the left projected image (L) and a part of the front projected image A fragment t3 consisting of (F), a fragment t4 consisting of a part of the front projection image F and an anterior top projection image TF, a front surface projection image DF and a portion of the front projection image F ) (T6) consisting of a piece (t5), part of the front projection image (F) and part of the right-side projected image (R), part of the right-side projected image (R) and right-side projected image (TR) A fragment (t7) consisting of a piece (t7), a part of the right-side projected image (R) and a portion of the right-side projected image (DR), a portion of the right-side projected image (R) and a portion of the right-side rear projected image (BR) It can be divided into pieces made of (t9).

이렇게 생성된 조각들은 각각 정사각형 조각들이기 때문에 후단의 영상 압축 인코딩부(65)에서 압축 및 인코딩을 수행할 수 있다. 각 조각들은 각 시간 순서(t0, t1, t2, ..., t9)대로 압축 인코딩되어 전송된다.Since the pieces generated in this way are square pieces, compression and encoding may be performed by the image compression encoding unit 65 at a subsequent stage. Each piece is compressed and transmitted in each time sequence (t0, t1, t2, ..., t9).

영상 압축 인코딩부(65)는 2D 영상 타일링부(64)에서 구분된 2차원 영상 조각들을 인코딩 기술을 적용하여 압축하고 전송 가능한 데이터로 변환하여 네트워크를 통해 전송하거나, 서버의 저장장치 내에 저장한다. 영상 압축 인코딩부(65)는, 집중시야영역을 포함하는 조각들(t3, t4, t5, t6)은 고해상도로 인코딩하고, 나머지 조각들은 저해상도로 인코딩한다. 인코딩 기술로는 H.264 또는 H.265 등과 같이 현재 사용 가능한 표준 비디오 코덱이 사용될 수 있다.The image compression encoding unit 65 compresses the 2D image fragments separated by the 2D image tiling unit 64 by applying an encoding technique, converts them into transmittable data, transmits them over a network, or stores them in a storage device of a server. The image compression encoding unit 65 encodes the fragments t3, t4, t5, and t6 including the concentrated field of view in high resolution, and the remaining fragments in low resolution. As the encoding technology, currently available standard video codecs such as H.264 or H.265 can be used.

이렇게 전송된 인코딩된 2차원 영상 조각들은 HMD 등과 같은 디스플레이 디바이스로 수신되고 도 6의 전송 시스템의 역순으로 처리되어 다방향 뷰 영상 데이터로 복원되며 화면에 디스플레이된다.The encoded 2D image fragments thus transmitted are received by a display device such as an HMD and processed in the reverse order of the transmission system of FIG. 6 to be restored as multi-directional view image data and displayed on a screen.

본 발명의 다른 실시예로서, 다방향 영상 획득부(61)를 12개의 카메라로 구성할 수 있다. 이 12개의 카메라는 가상의 정육면체의 각 모서리에 배치되어 상호 중첩되지 않은 연속된 영상을 획득한다. 이렇게 12개의 영상을 획득하면, 별도의 스티칭 작업과 투영 작업 없이도 도 8과 같은 2차원 영상 조각들을 얻을 수 있어 처리 시간을 단축시킬 수 있다.As another embodiment of the present invention, the multi-directional image acquisition unit 61 may be configured with 12 cameras. The twelve cameras are placed at each corner of the virtual cube to obtain a continuous image that does not overlap each other. When the 12 images are obtained in this way, the two-dimensional image fragments as shown in FIG. 8 can be obtained without a separate stitching operation and a projection operation, thereby shortening the processing time.

이상에서 본 발명에 대한 기술사상을 첨부도면과 함께 서술하였지만, 이는 본 발명의 가장 양호한 실시예를 예시적으로 설명한 것이지 본 발명을 한정하는 것은 아니다. 또한, 이 기술분야의 통상의 지식을 가진 자라면 누구나 본 발명의 기술사상의 범주를 이탈하지 않는 범위 내에서 다양한 변형 및 모방이 가능함은 명백한 사실이다.In the above, the technical idea of the present invention has been described together with the accompanying drawings, but this is illustrative of the best embodiment of the present invention, and is not intended to limit the present invention. In addition, it is obvious that anyone who has ordinary knowledge in this technical field can make various modifications and imitation without departing from the scope of the technical idea of the present invention.

61 : 다방향 영상 획득부 62 : 영상 스티칭부
63 : 영상 2D 투영부 64 : 2D 영상 타일링부
65 : 영상 압축 인코딩부61: multi-directional image acquisition unit 62: image stitching unit
63: image 2D projection unit 64: 2D image tiling unit
65: image compression encoding unit

Claims (5)

복수의 방향에서의 영상을 획득하는 다방향 영상 획득부와, 상기 다방향 영상 획득부에서 획득된 각 방향의 영상들을 이어붙여 구형의 3차원 입체 영상을 생성하는 영상 스티칭부와, 상기 구형의 3차원 입체 영상을 변형 큐브 매핑 투영법으로 투영하여 2차원 영상으로 매핑하는 영상 2D 투영부와, 상기 2차원 영상 중 최대관심영역을 복수의 마름모형 조각들로 구분하는 2D 영상 타일링부와, 상기 2D 영상 타일링부에서 구분된 2차원 영상 조각들을 압축하고 인코딩하는 영상 압축 인코딩부를 포함하고,
상기 변형 큐브 매핑 투영법은 전방 투영 영상(F)을 중심으로 좌측으로 좌측면 투영 영상(L)과 좌측 후방 투영 영상(BL)을 배치하고, 상기 전방 투영 영상(F)을 중심으로 우측으로 우측면 투영 영상(R)과 우측 후방 투영 영상(BR)을 배치하며, 상면 투영 영상(T)과 하면 투영 영상(D)을 분할하여 상기 전방 투영 영상과 좌측면 투영 영상과 우측면 투영 영상에 인접하여 배치하여, 상기 2차원 영상이 일부 영역이 중첩된 좌측면 마름모 영상과 정면 마름모 영상과 우측면 마름모 영상으로 이루어진 것을 특징으로 하는 다방향 뷰 영상 데이터 전송 시스템.A multi-directional image acquiring unit for acquiring images in a plurality of directions, an image stitching unit for joining images in each direction obtained by the multi-directional image acquiring unit to generate a spherical three-dimensional stereoscopic image, and the spherical three An image 2D projection unit that maps a dimensional stereoscopic image to a two-dimensional image by projecting it using a modified cube mapping projection method; and a 2D image tiling unit that divides a region of maximum interest among the two-dimensional images into a plurality of rhombic pieces. And an image compression encoding unit that compresses and encodes the 2D image fragments separated by the tiling unit,
The modified cube mapping projection method arranges a left-side projected image L and a left-back projected image BL with respect to the front projection image F, and projects a right-side projected to the right with respect to the front-projected image F. The image R and the right rear projection image BR are arranged, and the top projection image T and the bottom projection image D are divided to be arranged adjacent to the front projection image and the left projection image and the right projection image. , The multi-dimensional view image data transmission system, characterized in that the two-dimensional image consists of a left-side rhombus image, a front-rhombus image and a right-side rhombus image where some areas overlap. 제 1 항에 있어서, 상기 변형 큐브 매핑 투영법은,
상기 상면 투영 영상(T)을 전방 상면 투영 영상(TF)과 좌측 상면 투영 영상(TL)과 좌측 후방 상면 투영 영상(TBL)과 우측 상면 투영 영상(TR)과 우측 후방 상면 투영 영상(TBR)으로 나누어 각각 상기 전방 투영 영상(F)과 좌측면 투영 영상(L)과 좌측 후방 투영 영상(BL)과 우측면 투영 영상(R)과 우측 후방 투영 영상(BR)의 위쪽에 대응하여 배치하고, 상기 하면 투영 영상(D)을 전방 하면 투영 영상(DF)과 좌측 하면 투영 영상(DL)과 좌측 후방 하면 투영 영상(DBL)과 우측 하면 투영 영상(DR)과 우측 후방 하면 투영 영상(DBR)으로 나누어 각각 상기 전방 투영 영상(F)과 좌측면 투영 영상(L)과 좌측 후방 투영 영상(BL)과 우측면 투영 영상(R)과 우측 후방 투영 영상(BR)의 아래쪽에 대응하여 배치하는 것을 특징으로 하는 다방향 뷰 영상 데이터 전송 시스템.The method of claim 1, wherein the transformation cube mapping projection method,
The top projection image T is converted into a front top projection image TF, a left top projection image TL, a left rear top projection image TBL, a right top projection image TR, and a right rear top projection image TBR. Divide each of the front projection image (F), the left projection image (L), the left rear projection image (BL), the right projection image (R) and the rear projection image (BR) corresponding to the upper portion of the arrangement, The projection image D is divided into a front projection image DF, a left projection image DL, a left rear projection image DBL, and a right rear projection image DR and a right rear projection image DBR, respectively. Characterized in that the front projection image (F), the left projection image (L), the left rear projection image (BL), the right projection image (R) and the right rear projection image (BR) is arranged corresponding to the lower side of the Directional view image data transmission system. 제 2 항에 있어서, 상기 2D 영상 타일링부는 상기 영상 2D 투영부에서 생성된 2차원 영상의 마름모 형상들을 4등분하여 상기 복수의 조각들로 구분하는 것을 특징으로 하는 다방향 뷰 영상 데이터 전송 시스템.3. The multi-directional view image data transmission system according to claim 2, wherein the 2D image tiling unit divides the rhombus shapes of the 2D image generated by the image 2D projection unit into 4 pieces and divides them into pieces. 제 2 항에 있어서, 상기 전방 투영 영상(F)과 일부 좌측면 투영 영상(L)과 일부 우측면 투영 영상(R)과 전방 상면 투영 영상(TF)와 전방 하면 투영 영상(DF)으로 이루어진 중심의 마름모 영역이 집중시야영역이고,
상기 집중시야영역과 상기 좌측면 투영 영상(L)과 우측면 투영 영상(R)과 좌측 상면 투영 영상(TL)과 좌측 하면 투영 영상(DL)과 우측 상면 투영 영상(TR)과 우측 하면 투영 영상(DR)으로 이루어진 영역이 상기 최대관심영역인 것을 특징으로 하는 다방향 뷰 영상 데이터 전송 시스템.3. The center of claim 2, wherein the front projection image (F), some left-side projection images (L), some right-side projection images (R), front top-projection images (TF) and front-side projection images (DF) are formed. The rhombus area is the concentrated field of view,
The concentrated field of view area, the left-side projected image L, the right-side projected image R, the left-side projected image TL, the left-side projected image DL and the right-side projected image TR and the right-side projected image ( DR) is a multi-directional view image data transmission system, characterized in that the region consisting of the maximum interest. 제 3 항에 있어서, 상기 영상 압축 인코딩부는 상기 집중시야영역을 포함하는 조각들은 고해상도로 인코딩하고, 상기 최대관심영역 중 상기 집중시야영역을 제외한 조각들은 저해상도로 인코딩하는 것을 특징으로 하는 다방향 뷰 영상 데이터 전송 시스템.
[4] The multi-directional view image of claim 3, wherein the image compression encoding unit encodes fragments including the concentrated field of view in high resolution and fragments excluding the concentrated field of view in the maximum interest region with low resolution. Data transmission system.
KR1020180146045A 2018-11-23 2018-11-23 Transmitting System for multi-directional View Video Data KR102130784B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180146045A KR102130784B1 (en) 2018-11-23 2018-11-23 Transmitting System for multi-directional View Video Data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180146045A KR102130784B1 (en) 2018-11-23 2018-11-23 Transmitting System for multi-directional View Video Data

Publications (2)

Publication Number Publication Date
KR20200060900A true KR20200060900A (en) 2020-06-02
KR102130784B1 KR102130784B1 (en) 2020-07-06

Family

ID=71090471

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180146045A KR102130784B1 (en) 2018-11-23 2018-11-23 Transmitting System for multi-directional View Video Data

Country Status (1)

Country Link
KR (1) KR102130784B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102354132B1 (en) * 2020-10-14 2022-01-24 한국전자기술연구원 Apparatus for providing divided-rendered virtual reality images and method therefor
KR20220058071A (en) * 2020-10-30 2022-05-09 조선대학교산학협력단 Apparatus and method of providing virtual reality contents

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018048223A1 (en) * 2016-09-09 2018-03-15 삼성전자 주식회사 Method and device for processing three-dimensional image
KR20180059336A (en) * 2016-11-25 2018-06-04 경희대학교 산학협력단 Method and apparatus for parallel processing image
KR20180109655A (en) 2017-03-28 2018-10-08 삼성전자주식회사 Method and apparatus for transmitting data related to 3 dimensional image

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018048223A1 (en) * 2016-09-09 2018-03-15 삼성전자 주식회사 Method and device for processing three-dimensional image
KR20180059336A (en) * 2016-11-25 2018-06-04 경희대학교 산학협력단 Method and apparatus for parallel processing image
KR20180109655A (en) 2017-03-28 2018-10-08 삼성전자주식회사 Method and apparatus for transmitting data related to 3 dimensional image

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102354132B1 (en) * 2020-10-14 2022-01-24 한국전자기술연구원 Apparatus for providing divided-rendered virtual reality images and method therefor
WO2022080560A1 (en) * 2020-10-14 2022-04-21 한국전자기술연구원 Apparatus for providing divisionally rendered virtual reality image and method therefor
KR20220058071A (en) * 2020-10-30 2022-05-09 조선대학교산학협력단 Apparatus and method of providing virtual reality contents

Also Published As

Publication number Publication date
KR102130784B1 (en) 2020-07-06

Similar Documents

Publication Publication Date Title
US11109066B2 (en) Encoding and decoding of volumetric video
US11599968B2 (en) Apparatus, a method and a computer program for volumetric video
US11528468B2 (en) System and method for creating a navigable, three-dimensional virtual reality environment having ultra-wide field of view
US10600233B2 (en) Parameterizing 3D scenes for volumetric viewing
US11405643B2 (en) Sequential encoding and decoding of volumetric video
US11202086B2 (en) Apparatus, a method and a computer program for volumetric video
US11430156B2 (en) Apparatus, a method and a computer program for volumetric video
US20170280133A1 (en) Stereo image recording and playback
US11463681B2 (en) Encoding and decoding of volumetric video
US11270413B2 (en) Playback apparatus and method, and generation apparatus and method
CN108693970A (en) Method and apparatus for the video image for adjusting wearable device
JP2006515128A (en) Stereo panoramic image capturing device
CN111937382A (en) Image processing apparatus, image processing method, program, and image transmission system
KR102130784B1 (en) Transmitting System for multi-directional View Video Data
WO2019122504A1 (en) Method for encoding and decoding volumetric video data
WO2018109265A1 (en) A method and technical equipment for encoding media content
EP3540696A1 (en) A method and an apparatus for volumetric video rendering
WO2019077199A1 (en) An apparatus, a method and a computer program for volumetric video
KR20060015460A (en) Stereoscopic panoramic image capture device
Stone Omnidirectional Stereoscopic Projections for VR.
KR20210119476A (en) Creation and processing of image characteristic pixel structures

Legal Events

Date Code Title Description
GRNT Written decision to grant