KR101906066B1 - Method and apparatus for transmitting multiview image - Google Patents
Method and apparatus for transmitting multiview image Download PDFInfo
- Publication number
- KR101906066B1 KR101906066B1 KR1020170096748A KR20170096748A KR101906066B1 KR 101906066 B1 KR101906066 B1 KR 101906066B1 KR 1020170096748 A KR1020170096748 A KR 1020170096748A KR 20170096748 A KR20170096748 A KR 20170096748A KR 101906066 B1 KR101906066 B1 KR 101906066B1
- Authority
- KR
- South Korea
- Prior art keywords
- roi
- tile
- view image
- priority
- tiles
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/167—Position within a video image, e.g. region of interest [ROI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Abstract
Description
아래의 설명은 다중 시점 영상을 처리하는 기술에 관한 것으로, ROI 정보에 따라 송신 조건을 다르게 설정하여 전송하는 기술에 관한 것이다.Description of the Related Art [0002] The following description relates to a technology for processing a multi-viewpoint image, and relates to a technology for setting transmission conditions differently according to ROI information and transmitting the ROI information.
다중 시점 영상을 압축하는 기술인 SMV(Super Multi view) 또는 FN(Free Navigation) 기술에 의하면, 모든 시점 영상을 하나의 파일로 압축하기 때문에 압축 효율이 높다. 하지만, 영상을 전송하는 경우 모든 시점 영상을 압축한 데이터를 전송하기 때문에 요구되는 대역폭이 높다. 대역폭 제한이 존재하는 통신 환경에서 보다 효율적인 전송 방법이 요구된다.According to SMV (Super Multi view) or FN (Free Navigation) technology for compressing multi-view images, compression efficiency is high because all view images are compressed into one file. However, when transmitting an image, the bandwidth required for transmitting the compressed data of all viewpoint images is high. A more efficient transmission method is required in a communication environment in which bandwidth limitation exists.
전술한 배경기술은 발명자가 본 발명의 도출과정에서 보유하거나 습득한 것으로서, 반드시 본 발명의 출원 전에 일반 공중에 공개된 공지기술이라고 할 수는 없다The background art described above is possessed or acquired by the inventor in the derivation process of the present invention, and can not be said to be a known art disclosed in general public before application of the present invention
본 발명은 다중 시점 영상의 각 시점 영상을 타일 별로 분할하고 ROI에 대응하는 지 여부에 따라 송신 조건을 달리 설정함으로써 한정된 대역폭을 보다 효율적으로 활용할 수 있는 방법 및 장치를 제공한다.The present invention provides a method and apparatus for efficiently utilizing a limited bandwidth by dividing each viewpoint image of a multi-viewpoint image by tiles and setting transmission conditions differently depending on whether the viewpoint image corresponds to ROI.
일 실시예에 따른, 다중 시점 영상의 송신 방법은, 다중 시점 영상에 포함된 복수의 시점 영상 중에서 ROI(region of interest)를 포함하는 시점 영상의 상기 ROI에 대응하는 타일(Tile)을 결정하는 단계, 상기 ROI에 대응하는 타일에 우선권을 부여하는 단계, 상기 우선권을 기초로 상기 ROI에 대응하는 타일의 송신 환경을 결정하는 단계 및 상기 송신 환경에 따라 상기 ROI에 대응하는 타일에 관한 정보를 수신 장치로 송신하는 단계를 포함할 수 있다.According to an exemplary embodiment, a method of transmitting a multi-view image may include determining a tile corresponding to the ROI of a view image including an ROI (region of interest) among a plurality of view images included in the multi- Determining a transmission environment of the tile corresponding to the ROI on the basis of the priority, and transmitting the information on the tile corresponding to the ROI to the reception device, As shown in FIG.
상기 ROI에 대응하는 타일의 송신 환경을 결정하는 단계는, 상기 ROI에 대응하는 타일의 해상도를 상기 ROI에 대응하지 않는 타일의 해상도보다 높게 결정할 수 있다.The determining the transmission environment of the tile corresponding to the ROI may determine the resolution of the tile corresponding to the ROI to be higher than the resolution of the tile not corresponding to the ROI.
상기 ROI에 대응하는 타일의 송신 환경을 결정하는 단계는, 상기 ROI에 대응하는 타일의 지연 시간을 상기 ROI에 대응하지 않는 타일의 지연 시간보다 작게 결정할 수 있다.The determining the transmission environment of the tile corresponding to the ROI may determine the delay time of the tile corresponding to the ROI to be smaller than the delay time of the tile not corresponding to the ROI.
일 실시예에 따른 다중 시점 영상의 수신 방법은, 우선권을 기초로 ROI에 대응하는 타일의 수신 환경을 결정하는 단계 및 상기 수신 환경에 따라 상기 ROI에 대응하는 타일에 관한 정보를 수신하는 단계를 포함하고, 상기 ROI에 대응하는 타일(Tile)은 다중 시점 영상에 포함된 복수의 시점 영상 중에서 ROI(region of interest)를 포함하는 시점 영상에 포함된 복수의 타일 중에서 결정되고, 상기 ROI에 대응하는 타일에 상기 우선권이 부여될 수 있다.A method of receiving a multi-view image according to an exemplary embodiment includes determining a reception environment of a tile corresponding to an ROI based on priority, and receiving information on a tile corresponding to the ROI according to the reception environment A tile corresponding to the ROI is determined from among a plurality of tiles included in a view image including an ROI (region of interest) among a plurality of view images included in the multi view image, and a tile corresponding to the ROI May be given priority.
일 실시예에 따른 HEVC(High Efficient Video Codec)을 이용한 송신 방법은, 다중 시점 영상에 포함된 복수의 시점 영상 중에서 ROI를 포함하는 시점 영상의 상기 ROI에 대응하는 타일을 결정하는 단계 및 상기 ROI에 대응하는 타일에 관한 정보를 송신하는 단계를 포함하고, 상기 타일에 관한 정보는, 상기 타일이 상기 ROI에 대응하는지 여부를 나타내고, SRD(Spatial Relationship Descriptors) 필드에 포함될 수 있다.A transmitting method using a HEVC (High Efficient Video Codec) according to an exemplary embodiment of the present invention includes a step of determining a tile corresponding to the ROI of a view image including an ROI from a plurality of view images included in a multi view image, And transmitting information on a corresponding tile, wherein the information on the tile indicates whether the tile corresponds to the ROI, and may be included in an SRD (Spatial Relationship Descriptors) field.
일 실시예에 따르면, 다중 시점 영상의 각 시점 영상을 타일 별로 분할하고 ROI에 대응하는 지 여부에 따라 송신 조건을 달리 설정함으로써 한정된 대역폭을 보다 효율적으로 활용할 수 있다.According to an embodiment, a limited bandwidth can be more efficiently utilized by dividing each view image of a multi-view image into tiles and setting transmission conditions differently depending on whether the view image corresponds to ROI.
도 1은 일 실시예에 따른 다중 시점 영상을 송수신하기 위한 시스템의 전체적인 구성을 도시한 도면이다.
도 2a는 일 실시예에 따른 다중 시점 영상을 획득하기 위한 복수의 카메라의 배치를 도시한 도면이다.
도 2b는 다른 실시예에 따른 다중 시점 영상을 획득하기 위한 복수의 카메라의 배치를 도시한 도면이다.
도 3은 일 실시예에 따른 다중 시점 영상의 송신 방법의 흐름도이다.
도 4는 일 실시예에 따른 사간에 따른 다중 시점 영상에서 ROI에 대응하는 타일을 선택하는 일례를 도시한 도면이다.
도 5는 일 실시예에 따른 서비스 레이어 시그널링의 모델을 도시한 도면이다.
도 6는 일 실시예에 따른 서비스 레이어 시그널링의 모델을 이용하여 영상을 전송하는 과정을 설명하기 위해 도시한 도면이다.
도 7는 일 실시예에 따른 영상을 복수의 타일로 분할한 일례를 도시한 도면이다.FIG. 1 is a block diagram of a system for transmitting and receiving a multi-view image according to an exemplary embodiment of the present invention. Referring to FIG.
2A illustrates an arrangement of a plurality of cameras for obtaining a multi-view image according to an exemplary embodiment.
FIG. 2B is a view showing the arrangement of a plurality of cameras for obtaining a multi-view image according to another embodiment.
3 is a flowchart illustrating a method of transmitting a multi-view image according to an exemplary embodiment of the present invention.
FIG. 4 illustrates an example of selecting a tile corresponding to an ROI in a multi-view image according to an embodiment of the present invention.
5 is a diagram illustrating a model of service layer signaling according to an exemplary embodiment.
FIG. 6 is a diagram illustrating a process of transmitting an image using a service layer signaling model according to an exemplary embodiment. Referring to FIG.
7 is a diagram illustrating an example of dividing an image according to an embodiment into a plurality of tiles.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.Specific structural or functional descriptions of embodiments are set forth for illustration purposes only and may be embodied with various changes and modifications. Accordingly, the embodiments are not intended to be limited to the specific forms disclosed, and the scope of the disclosure includes changes, equivalents, or alternatives included in the technical idea.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.The terms first or second, etc. may be used to describe various elements, but such terms should be interpreted solely for the purpose of distinguishing one element from another. For example, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.It is to be understood that when an element is referred to as being "connected" to another element, it may be directly connected or connected to the other element, although other elements may be present in between.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The singular expressions include plural expressions unless the context clearly dictates otherwise. In this specification, the terms "comprises ", or" having ", and the like, are used to specify one or more of the described features, numbers, steps, operations, elements, But do not preclude the presence or addition of steps, operations, elements, parts, or combinations thereof.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art. Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the meaning of the context in the relevant art and, unless explicitly defined herein, are to be interpreted as ideal or overly formal Do not.
이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS In the following description of the present invention with reference to the accompanying drawings, the same components are denoted by the same reference numerals regardless of the reference numerals, and a duplicate description thereof will be omitted.
도 1은 일 실시예에 따른 다중 시점 영상을 송수신하기 위한 시스템의 전체적인 구성을 도시한 도면이다.FIG. 1 is a block diagram of a system for transmitting and receiving a multi-view image according to an exemplary embodiment of the present invention. Referring to FIG.
일 실시예에 따르면, 송신 장치(110)는 다중 시점 영상을 타일(Tile)로 분할하여 수신 장치(120)로 송신할 수 있다. 송신 장치(110)는 미리 설정된 기준에 따라 타일의 우선순위를 달리하여 수신 장치(120)로 송신할 수 있다. 송신 장치(110)는 해당 타일이 ROI(Region of Interest)에 해당하는지 여부에 따라 우선순위를 달리하여 수신 장치(120)로 송신할 수 있다.According to one embodiment, the transmitting
여기서, ROI는 임의의 시점 영상에서 시청자가 관심을 가지는 영역을 의미한다. 예를 들어, 시점 영상의 전체 크기가 1024*1024인 경우에 시청자가 관심을 가지는 부분은 한 가운데의 300*300의 크기를 갖는 부분일 수 있다. 이 경우, 한 가운데의 300*300의 크기를 갖는 부분이 시청자에게 ROI가 될 수 있다. 예를 들어, ROI는 사각형 외에도 원형, 타원형 또는 불규칙형 등의 여러 형태로 표현될 수 있다.Here, the ROI refers to an area in which a viewer is interested in an arbitrary viewpoint image. For example, if the total size of the viewpoint image is 1024 * 1024, the viewer's interest may be a portion having a size of 300 * 300 in the center of the viewpoint. In this case, a portion having a size of 300 * 300 in the center can be an ROI to a viewer. For example, in addition to a rectangle, the ROI can be expressed in various forms such as a circle, an ellipse, or an irregular shape.
송신 장치(110) 및 수신 장치(120)는 HEVC(High Efficient Video Codec) 코덱을 이용할 수 있다. 송신 장치(110) 및 수신 장치(120)는 UHDTV 또는 3DTV와 같이 초고해상도 방송 서비스에 적용될 수 있다. 송신 장치(110) 및 수신 장치(120)는 인터넷 스트리밍, VOD 서비스, 화상 회의 또는 영상 통화와 같은 실시간 스트리밍에 적용될 수 있다. 송신 장치(110) 및 수신 장치(120)는 디지털 시네마, 의료 영상 또는 위성 영상과 같은 전문 분야에도 적용될 수 있다.The transmitting
일 실시예에 따르면, 송신 장치(110)는 프로세서(111) 및 메모리(113)을 포함할 수 있다. 무선 통신을 이용하는 경우 송신 장치(110)는 안테나(115)를 더 포함할 수 있다. According to one embodiment, the transmitting
일 실시예에 따르면, 수신 장치(120)는 프로세서(121) 및 메모리(123)을 포함할 수 있다. 무선 통신을 이용하는 경우 수신 장치(120)는 안테나(125)를 더 포함할 수 있다. According to one embodiment, the
오브젝트(140)는 복수의 카메라(130)에 의해 촬영될 수 있다. 복수의 카메라(130)는 서로 다른 시점에서 오브젝트(140)를 촬영함으로써 다중 시점 영상을 생성할 수 있다. The
복수의 카메라(130)로부터 획득된 다중 시점 영상은 송신 장치(110)로 전송될 수 있다. 다중 시점 영상은 메모리(113)에 의해 임시로 저장될 수 있다. 다중 시점 영상은 프로세서(111)에 의해 처리될 수 있다. 프로세서(111)는 다중 시점 영상의 각 시점 영상을 복수의 타일로 분할할 수 있다. The multi view image obtained from the plurality of
프로세서(111)는 다중 시점 영상에 포함된 복수의 시점 영상 중에서 ROI를 포함하는 시점 영상의 상기 ROI에 대응하는 타일을 결정할 수 있다. 프로세서(111)는 ROI에 대응하는 타일에 우선권을 부여할 수 있다. 프로세서(111)는 우선권을 기초로 ROI에 대응하는 타일의 송신 환경을 결정할 수 있다. 프로세서(111)는 송신 환경에 따라 ROI에 대응하는 타일에 관한 정보를 수신 장치로 송신할 수 있다.The
수신 장치(120)의 프로세서(121)는 안테나(125)를 통하여 송신 장치(110)로부터 송신된 타일에 관한 정보를 수신할 수 있다. 프로세서(121)는 우선권을 기초로 ROI에 대응하는 타일의 수신 환경을 결정할 수 있다. 프로세서(121)는 수신 환경에 따라 ROI에 대응하는 타일을 수신할 수 있다. 프로세서(121)는 수신된 타일을 메모리(123)에 저장할 수 있다.The
예를 들어, 수신 환경은 전송되는 타일의 해상도에 관한 것일 수 있다. 송신 장치(110)는 ROI에 해당하는 타일의 해상도를 보다 높게 설정하여 수신 장치(120)로 송신할 수 있다. 예를 들어, 수신 환경은 전송되는 타일의 지연시간(latency)에 관한 것일 수 있다. 송신 장치(110)는 ROI에 해당하는 타일의 지연 시간을 보다 작게 설정하여 수신 장치(120)로 송신할 수 있다.For example, the receiving environment may be related to the resolution of the tiles being transmitted. The transmitting
일 실시예에 따르면, 송신 장치(110) 및 수신 장치(120)는 다중 시점 영상의 각 시점 영상의 타일 별로 송신 환경을 다르게 설정함으로써 한정된 대역폭을 보다 효율적으로 사용할 수 있다. 송신 장치(110) 및 수신 장치(120)는 타일 별로 ROI에 대응하는 지 여부를 표시하고, ROI에 대응하는 경우 보다 많은 자원을 할당할 수 있다. 이를 통해, 송신 장치(110)는 시청자의 관심 영역에 대한 전송 품질은 높이면서도 한정된 대역폭을 효율적으로 사용할 수 있다.According to an exemplary embodiment, the
도 2a는 일 실시예에 따른 다중 시점 영상을 획득하기 위한 복수의 카메라의 배치를 도시한 도면이다. 도 2b는 다른 실시예에 따른 다중 시점 영상을 획득하기 위한 복수의 카메라의 배치를 도시한 도면이다.2A illustrates an arrangement of a plurality of cameras for obtaining a multi-view image according to an exemplary embodiment. FIG. 2B is a view showing the arrangement of a plurality of cameras for obtaining a multi-view image according to another embodiment.
다시점 영상은 복수의 시점에서 복수의 카메라로 한 장면을 촬영한 영상의 집합을 의미한다. 다시점 영상을 생성하기 위해선 각 시점에 대응하는 카메라가 필요하며, 각 카메라의 배열, 동기화 및 다시점 영상의 처리 등이 고려되어야 한다. A multi-view image is a set of images of a scene captured by a plurality of cameras at a plurality of viewpoints. In order to generate a multi-view image, a camera corresponding to each viewpoint is required, and the arrangement of each camera, synchronization, and processing of multi-view images should be considered.
도 2a를 참조하면, 복수의 카메라는 오브젝트를 중심으로 일방향에서 호 모양으로 배치될 수 있다. 복수의 카메라는 수렴형 배열로 배치될 수 있다. 각 카메라는 가상의 지점을 향해 배치되며 각 카메라의 시점은 가상의 지점으로 수렴될 수 있다. 수렴형 배열은 방사형 배열에 비해 시점의 자유도가 크지는 않으나 보다 정밀하고 부드러운 시점 변경이 가능할 수 있다.Referring to FIG. 2A, a plurality of cameras may be arranged in an arc shape in one direction around an object. The plurality of cameras may be arranged in a converging arrangement. Each camera is placed toward a virtual point, and the viewpoint of each camera can be converged to a virtual point. The convergent array has a higher freedom of view than the radial array, but it may be possible to change the viewpoint more precisely and smoothly.
도 2b를 참조하면, 복수의 카메라는 오브젝트를 중심으로 원형으로 배치될 수 있다. 복수의 카메라는 오브젝트를 중심으로 방사형 배열로 배치될 수 있다. 각 카메라는 한 가운데의 특정 지점을 향해 배치될 수 있다. 방사형 배열은 수렴형 배열에 비해 시점의 자유도가 크지만 보다 복잡한 처리 과정이 요구될 수 있다.Referring to FIG. 2B, a plurality of cameras may be arranged in a circle around an object. The plurality of cameras may be arranged in a radial arrangement around the object. Each camera can be positioned towards a specific point in the middle. The radial arrangement has a larger degree of freedom of view than the converging arrangement, but may require more complicated processing.
도 3은 일 실시예에 따른 다중 시점 영상의 송신 방법의 흐름도이다.3 is a flowchart illustrating a method of transmitting a multi-view image according to an exemplary embodiment of the present invention.
일 실시예에 따르면, 단계(301)에서 송신 장치는 다중 시점 영상에 포함된 복수의 시점 영상 중에서 ROI를 포함하는 시점 영상의 ROI에 대응하는 타일을 결정할 수 있다. 예를 들어, 송신 장치는 HEVC 코덱의 SRD 필드에 각 타일이 포함하고 있는 ROI 정보를 저장할 수 있다. According to an exemplary embodiment, in
일 실시예에 따르면, 단계(303)에서 송신 장치는 ROI에 대응하는 타일에 우선권을 부여할 수 있다. 송신 장치는 이전 프레임과 동일한 ROI를 포함하는 타일에 대해 보다 나은 전송 조건을 제공함으로써 동일한 자원으로 보다 자연스러운 영상을 제공할 수 있다.According to one embodiment, in
일 실시예에 따르면, 단계(305)에서 송신 장치는 우선권을 기초로 ROI에 대응하는 타일의 송신 환경을 결정할 수 있다. 송신 장치는, 예를 들어, ROI에 대응하는 타일의 해상도를 ROI에 대응하지 않는 타일의 해상도보다 높게 결정할 수 있다. 송신 장치는, 예를 들어, ROI에 대응하는 타일의 지연 시간을 ROI에 대응하지 않는 타일의 지연 시간보다 작게 결정할 수 있다.According to one embodiment, in
일 실시예에 따르면, 단계(307)에서 송신 장치는 송신 환경에 따라 ROI에 대응하는 타일을 수신 장치로 송신할 수 있다.According to one embodiment, in
도 4는 일 실시예에 따른 사간에 따른 다중 시점 영상에서 ROI에 대응하는 타일을 선택하는 일례를 도시한 도면이다.FIG. 4 illustrates an example of selecting a tile corresponding to an ROI in a multi-view image according to an embodiment of the present invention.
일 실시예에 따르면, 송신 장치는 다중 시점 영상의 각 시점 영상을 복수의 타일로 분할하고, 각 타일이 ROI에 대응하는지 여부를 결정할 수 있다. 송신 장치는 ROI에 대응하는 타일에 높은 우선권을 부여하고, ROI에 대응하지 않는 타일에 낮은 우선권을 부여할 수 있다. 송신 장치는 우선권에 따라 각 타일에 관한 정보를 다른 송신 환경으로 송신할 수 있다.According to one embodiment, the transmitting apparatus may divide each view image of the multi view image into a plurality of tiles, and determine whether or not each tile corresponds to the ROI. The transmitting apparatus can give a high priority to the tile corresponding to the ROI and give the low priority to the tile not corresponding to the ROI. The transmitting apparatus can transmit information on each tile to another transmitting environment according to the priority.
도 4를 참조하면, 서로 다른 시각(t0 ~ t3) 각각에 대한 다중 시점 영상이 개시되어 있다. 각 시각에 대응하는 다중 시점 영상은 시점 0에서 시점 n까지 총 n개의 시점 영상으로 구성되어 있다. 각 시점 영상은 9개의 타일로 분할될 수 있다.Referring to FIG. 4, a multi view image for each of different times t0 to t3 is disclosed. The multi view image corresponding to each time is composed of a total of n view images from the
시각 t0에서, 시점 0의 타일 6이 ROI를 포함할 수 있다. 송신 장치는 시각 t1의 타일 0~n 중에서 타일 6과 동일한 오브젝트를 나타내는 타일을 결정할 수 있다. 송신 장치는 시점 0의 타일 6, 시점 1의 타일 5 및 시점 2의 타일 4를 동일한 오브젝트가 표시된 것으로 결정할 수 있다. 송신 장치는 시점 0의 타일 6, 시점 1의 타일 5 및 시점 2의 타일 4를 ROI를 포함하는 타일로 결정할 수 있다.At time t0, tile 6 at time zero may contain an ROI. The transmitting apparatus can determine a tile representing the same object as the tile 6 among the
송신 장치는 시각 t1의 시점 0의 타일 6, 시점 1의 타일 5 및 시점 2의 타일 4의 전송 환경을 나머지 타일보다 더 높게 설정할 수 있다. 예를 들어, 송신 장치는 시점 0의 타일 6, 시점 1의 타일 5 및 시점 2의 타일 4의 해상도를 나머지 타일보다 더 높게 설정할 수 있다. 예를 들어, 송신 장치는 시점 0의 타일 6, 시점 1의 타일 5 및 시점 2의 타일 4의 지연 시간을 나머지 타일보다 더 낮게 설정할 수 있다.The transmitting apparatus can set the transmission environment of tile 6 at
시각 t1에서, 시청자에 의해 시점은 시점 0에서 시점 1로 변경될 수 있다. 시점 1의 타일 5가 ROI를 포함할 수 있다. 송신 장치는 시각 t2의 타일 0~n 중에서 시점 1의 타일 5와 동일한 오브젝트를 나타내는 타일을 결정할 수 있다. 송신 장치는 시점 0의 타일 6, 시점 1의 타일 5 및 시점 2의 타일 4를 동일한 오브젝트가 표시된 것으로 결정할 수 있다. 송신 장치는 시점 0의 타일 6, 시점 1의 타일 5 및 시점 2의 타일 4를 ROI를 포함하는 타일로 결정할 수 있다.At time t1, the viewpoint may be changed from the
송신 장치는 시각 t2의 시점 0의 타일 6, 시점 1의 타일 5 및 시점 2의 타일 4의 전송 환경을 나머지 타일보다 더 높게 설정할 수 있다. 예를 들어, 송신 장치는 시점 0의 타일 6, 시점 1의 타일 5 및 시점 2의 타일 4의 해상도를 나머지 타일보다 더 높게 설정할 수 있다. 예를 들어, 송신 장치는 시점 0의 타일 6, 시점 1의 타일 5 및 시점 2의 타일 4의 지연 시간을 나머지 타일보다 더 낮게 설정할 수 있다.The transmitting apparatus can set the transmission environment of the tile 6 at the
시각 t2에서, 시청자에 의해 시점은 다시 시점 1에서 시점 0로 변경될 수 있다. 시점 0의 타일 6가 ROI를 포함할 수 있다. 송신 장치는 시각 t3의 타일 0~n 중에서 시점 0의 타일 6와 동일한 오브젝트를 나타내는 타일을 결정할 수 있다. 송신 장치는 시각 t3의 시점 0의 타일 6, 시점 1의 타일 5 및 시점 2의 타일 4를 동일한 오브젝트가 표시된 것으로 결정할 수 있다. 송신 장치는 시점 0의 타일 6, 시점 1의 타일 5 및 시점 2의 타일 4를 ROI를 포함하는 타일로 결정할 수 있다.At time t2, the viewpoint can be changed again from the viewpoint 1 to the
송신 장치는 시각 t3의 시점 0의 타일 6, 시점 1의 타일 5 및 시점 2의 타일 4의 전송 환경을 나머지 타일보다 더 높게 설정할 수 있다. 예를 들어, 송신 장치는 시점 0의 타일 6, 시점 1의 타일 5 및 시점 2의 타일 4의 해상도를 나머지 타일보다 더 높게 설정할 수 있다. 예를 들어, 송신 장치는 시점 0의 타일 6, 시점 1의 타일 5 및 시점 2의 타일 4의 지연 시간을 나머지 타일보다 더 낮게 설정할 수 있다.The transmitting apparatus can set the transmission environment of the tile 6 at the
도 5는 일 실시예에 따른 서비스 레이어 시그널링의 모델을 도시한 도면이다. 도 6는 일 실시예에 따른 서비스 레이어 시그널링의 모델을 이용하여 영상을 전송하는 과정을 설명하기 위해 도시한 도면이다.5 is a diagram illustrating a model of service layer signaling according to an exemplary embodiment. FIG. 6 is a diagram illustrating a process of transmitting an image using a service layer signaling model according to an exemplary embodiment. Referring to FIG.
DASH(Dynamic Adaptive Streaming over HTTP)는 브로드밴드(Broadband) 망에서 HTTP(HyperText Transfer Protocol) 전송 프로토콜을 통해 수신 환경에 맞추어 DASH 세그먼트의 양과 질을 적응적으로 스트리밍하는 전송 방법이다. ROUTE(Real-time Object delivery over Unidirectional Transprot) 프로토콜은 UHDTV(Ultra High Definition Television) 서비스의 전송 방법 중의 하나로서 실시간 객체 전송이 가능한 전송 방법이다. ROUTE 프로토콜을 이용하면 브로드밴드 망에서 전송되는 DASH 세그먼트와 동일한 형식으로 방송(Broadcast) 망을 통해서도 UHD 급의 DASH 세그먼트들이 전송될 수 있다.Dynamic Adaptive Streaming over HTTP (DASH) is a method for adaptively streaming the amount and quality of DASH segments according to the receiving environment through a HyperText Transfer Protocol (HTTP) transmission protocol in a broadband network. The ROUTE (Real-time Object delivery over Unidirectional Transprot) protocol is one of transmission methods of UHDTV (Ultra High Definition Television) service. Using the ROUTE protocol, UHD class DASH segments can be transmitted through a broadcast network in the same format as a DASH segment transmitted in a broadband network.
UHDTV 서비스를 구성하는 DASH 세그먼트들이 수신 장치에 전송되기 위해서는 서비스의 종류, 전송 시간 및 전송 방법에 대한 정보가 수신 장치에 전송되어야 한다. 시그널링은 전송될 DASH 세그먼트와 관련된 서비스의 종류, 전송 시간 및 전송 방법에 대한 정보를 포함하는 객체를 의미할 수 있다. 시그널링은 서비스 레이어 시그널링(Service Layer Signaling, SLS)과 서비스 리스트 테이블(Service List Table, SLT)을 포함한다. 서비스 리스트 테이블은 서비스 레이어 시그널링의 전송 경로에 대한 정보를 포함한다. 이하에서, 서비스 레이어 시그널링은 서비스 시그널링으로 지칭될 수 있다.In order for the DASH segments constituting the UHDTV service to be transmitted to the receiving device, information on the type of service, transmission time, and transmission method should be transmitted to the receiving device. Signaling may refer to an object that contains information about the type of service, transmission time, and transmission method associated with the DASH segment to be transmitted. Signaling includes Service Layer Signaling (SLS) and Service List Table (SLT). The service list table includes information on the transmission path of the service layer signaling. In the following, the service layer signaling may be referred to as service signaling.
서비스 레이어 시그널링은 USBD(User Service Bundle Description)(410), MPD(Media Presentation Description)(530), S-TSID(Service Transport Session Instance Description)(520)를 포함하고, USBD(510)는 하나의 USD(User Service Description)(511)를 포함한다.The service layer signaling includes a USBD (User Service Bundle Description) 410, a MPD (Media Presentation Description) 530, and a Service Transport Session Instance Description (S-TSID) 520. The USBD 510 includes one USD (User Service Description) 511.
USBD(510)/USD(411)는 다른 객체를 참조하는 역할을 한다. 도 5를 참조하면, 예를 들어, USBD(510)/USD(511)는 S-TSID(520) 또는 MPD(530)를 참조할 수 있다. S-TSID(520)는 세그먼트가 어떠한 전송 세션을 통해 전송되는지를 나타내는 역할을 한다. MPD(530)는 서비스될 컨텐츠 자체와 관련된 정보를 포함하며, 전송될 세그먼트에 대응하는 피리어드(Period), 어뎁테이션 세트(Adaptation Set), 리프리젠테이션(Representation)을 나타내는 역할을 한다.The USBD 510 / USD 411 serves to reference other objects. Referring to FIG. 5, for example, the USBD 510 / USD 511 may refer to the S-TSID 520 or the MPD 530. The S-TSID 520 serves to indicate through which transmission session the segment is transmitted. The MPD 530 includes information related to the content itself to be serviced and serves to represent a Period, an Adaptation Set, and a Representation corresponding to segments to be transmitted.
피리어드는 컨텐츠가 시간 단위로 구분된 객체를 의미한다. 예를 들어, 피리어드는 동영상 컨텐츠가 60초 단위로 구분된 객체일 수 있다. 어뎁테이션 세트는 각 피리어드가 컴포넌트 단위로 구분된 객체를 의미한다. 여기서, 컴포넌트는 비디오 또는 오디오 등의 컨텐츠 종류를 의미할 수 있다. 리프리젠테이션은 각 컴포넌트가 해상도 등의 서비스 퀄리티 별로 구분된 객체를 의미한다. 세그먼트는 각 리프리젠테이션이 시간 단위로 구분된 객체를 의미한다.A period is an object whose contents are divided in time units. For example, the period may be an object whose video content is divided by 60 seconds. An adaptation set is an object in which each period is divided into component units. Here, the component may refer to a content type such as video or audio. The presentation means an object in which each component is classified according to service quality such as resolution. A segment is an object in which each representation is divided in time units.
도 6를 참조하면, UCP/IP 프로토콜 및 ROUTE 프로토콜에 연결된 가상 채널들에 물리 채널이 할당될 수 있다. 여기서 가상 채널은 논리 채널을 의미할 수 있다.Referring to FIG. 6, a physical channel may be allocated to virtual channels connected to the UCP / IP protocol and the ROUTE protocol. Here, the virtual channel may mean a logical channel.
예를 들어, 가상 채널(#0)은 UDP/IP 프로토콜을 위하여 할당될 수 있다. 가상채널(#0)을 통하여 서비스 리스트 테이블이 전송될 수 있다.For example, the virtual channel (# 0) may be allocated for the UDP / IP protocol. The service list table can be transmitted through the
예를 들어, 가상 채널(#1~#N)은 ROUTE 프로토콜을 위하여 할당될 수 있다. ROUTE 프로토콜에 의하여 복수의 전송 세션(SLS, v1, … ,v6)이 설정될 수 있다. 각 전송 세션은 서비스 레이어 시그널링(또는 서비스 시그널링) 및 세그먼트(예를 들어, 비디오 세그먼트)가 전송되는 경로가 될 수 있다. ROUTE 프로토콜을 위하여 할당된 가상 채널(#1~#N)은 복수의 전송 세션에 할당될 수 있다.For example, the virtual channels # 1 to #N may be allocated for the ROUTE protocol. A plurality of transmission sessions (SLS, v1, ..., v6) can be established by the ROUTE protocol. Each transport session may be a path through which service layer signaling (or service signaling) and segments (e.g., video segments) are transmitted. The virtual channels (# 1 to #N) allocated for the ROUTE protocol can be allocated to a plurality of transmission sessions.
복수의 시점 영상은 각각 v1에서 v6의 식별자가 할당될 수 있다. 입력 영상은 세그먼트 단위로 구분될 수 있다. 예를 들어, 6개의 입력 영상은 각각 v1-세그먼트#1, v1-세그먼트#2, … , v6-세그먼트#1, v6-세그먼트#2, … , v6-세그먼트#M 등으로 분할될 수 있다. 여기서 #M은 시간 단위로 구분된 식별자를 나타낼 수 있다.A plurality of viewpoint images may be assigned identifiers v1 to v6, respectively. Input images can be segmented into segments. For example, the six input images are v1-segment # 1, v1-
각 세그먼트들은 가상 채널(#1~#N)을 통하여 동일한 식별자(v1~v6)에 대응하는 전송 세션(v1~v6)에 대응될 수 있다. 해당 전송 세션(v1~v6)을 이용하여 각 세그먼트들을 수신 장치로 전송될 수 있다.Each of the segments may correspond to the transmission sessions v1 to v6 corresponding to the same identifiers v1 to v6 through the virtual channels # 1 to #N. Each segment can be transmitted to the receiving device using the corresponding transmission session (v1 to v6).
각 세그먼트들을 전송하기 위하여, 전송 세션(SLS)를 통해 서비스 레이어 시그널링(또는 서비스 시그널링)은 수신 장치로 전송될 수 있다. 서비스 레이어 시그널링은 USBD/USD, MPD 및 S-TSID를 포함할 수 있다.In order to transmit the respective segments, service layer signaling (or service signaling) via a transmission session (SLS) may be sent to the receiving device. The service layer signaling may include USBD / USD, MPD and S-TSID.
USBD/USD를 이용하여 MPD 및 S-TSID가 참조될 수 있다. 예를 들어, USD에 포함된 @serviced(0x1001)는 현재 실행중인 서비스를 나타낼 수 있다. @fullMPDUri=asd.mpd는 MPD를 참조하기 위한 정보를 나타낼 수 있다. @sTSDIUri=asd.stsid는 S-TSID를 참조하기 위한 정보를 나타낼 수 있다. @SIUri=asd.si는 SI를 참조하기 위한 정보를 나타낼 수 있다.MPD and S-TSID can be referenced using USBD / USD. For example, @serviced (0x1001) in USD can indicate the service currently running. @ fullMPDUri = asd.mpd can represent information to refer to MPD. @sTSDIUri = asd.stsid may represent information for referring to the S-TSID. @ SIUri = asd.si can represent information to refer to SI.
수신 장치는 MPD를 이용하여 전송될 세그먼트에 대응하는 피리어드, 어뎁테이션 세트 및 리프리젠테이션을 확인할 수 있다. 예를 들어, MPD에 포함된 Period는 피리어드로서 세그먼트가 속한 시간 단위로 구분된 객체를 나타낼 수 있다. Adaptation Set는 어뎁테이션 세트로서 세그먼트가 속한 컴포넌트의 종류(예를 들어, 비디오 컴포넌트)를 나타낼 수 있다. 예를 들어, 임의의 시점 영상의 분할된 각 타일은 하나의 어뎁테이션 세트에 대응될 수 있다. representation은 리프리젠테이션으로서 세그먼트가 속한 서비스 퀄리티 또는 어떤 시각의 어떤 시점의 영상인지를 나타낼 수 있다. 예를 들어, representation(v1)은 v1 식별자가 할당된 방향의 영상을 나타낼 수 있다. 마찬가지로 representation(v6)는 v6 식별자가 할당된 방향의 영상을 나타낼 수 있다. segmentURL(…/seg#1)은 전송될 세그먼트와 관련된 주소 정보를 의미할 수 있다.The receiving apparatus can confirm the period, the adaptation set, and the presentation corresponding to the segment to be transmitted using the MPD. For example, a Period included in an MPD can represent an object separated by a time unit in which a segment belongs as a period. An adaptation set is an adaptation set that can represent the type of component (e.g., video component) to which the segment belongs. For example, each partitioned tile of an arbitrary viewpoint image may correspond to one adaptation set. A representation is a representation that can indicate the quality of service to which the segment belongs or at which point in time it is at. For example, the representation (v1) may represent an image in the direction in which the v1 identifier is assigned. Similarly, representation (v6) can represent an image in the direction to which the v6 identifier is assigned. segmentURL (... / seg # 1) may refer to address information associated with the segment to be transmitted.
수신 장치는 S-TSID를 이용하여 세그먼트가 어떠한 전송 세션을 통해 전송되는지를 알 수 있다. 예를 들어, 도 5를 참조하면, @tsi-v1는 전송 세션(v1)을 통하여 세그먼트가 전송된다는 것을 나타낼 수 있다. ScrFlow는 전송될 데이터가 무엇인지를 나타내며, ContentInfo(v1)은 전송될 데이터가 v1 식별자에 대응하는 영상의 세그먼트임을 나타낼 수 있다. 마찬가지로, ContentInfo(v6)은 전송될 데이터가 v6 식별자에 대응하는 영상의 세그먼트임을 나타낼 수 있다.The receiving apparatus can know the transmission session through which the segment is transmitted using the S-TSID. For example, referring to FIG. 5, @ tsi-v1 may indicate that a segment is transmitted through a transmission session (v1). ScrFlow indicates what data to be transmitted, and ContentInfo (v1) can indicate that the data to be transmitted is a segment of the video corresponding to the v1 identifier. Similarly, ContentInfo (v6) may indicate that the data to be transmitted is a segment of the video corresponding to the v6 identifier.
어뎁테이션 세트에는 SRD 필드가 포함될 수 있다. 종래의 SRD 필드는 표 1에 개시되어 있다.The adaptation set may include an SRD field. Conventional SRD fields are shown in Table 1.
표 1을 참조하면, source_id는 소스의 아이디로서 원본 영상 출처를 가리킨다. object_x는 전송하는 타일의 x 좌표를 나타낸다. object_y는 전송하는 타일의 y 좌표를 나타낸다. object_width는 전송하는 타일의 가로 크기를 나타낸다. object_height는 전송하는 타일의 세로 크기를 나타낸다. total_width는 원본 영상의 가로 크기를 나타낸다. total_height는 원본 영상의 세로 크기를 나타낸다. spatial_set_id는 묶음 단위로 전송할 경우에 관한 정보를 나타낸다.Referring to Table 1, source_id indicates the source image source as the source ID. object_x represents the x coordinate of the tile to be transmitted. object_y represents the y coordinate of the tile to be transmitted. object_width represents the horizontal size of the tile to be transmitted. object_height represents the vertical size of the tile to be transmitted. The total_width indicates the width of the original image. total_height represents the vertical size of the original image. The spatial_set_id indicates information on the case of transmission in bundle units.
표 2를 참조하면, 일 실시예에 따라 변형된 SRD 필드의 구조가 설명된다. source_id, object_x, object_y, object_width, object_height, total_width, total_height 및 spatial_set_id는 표 1과 동일하다. ROI 필드는 시점 영상의 분할된 타일이 포함하고 있는 ROI에 관한 정보를 나탄낸다.Referring to Table 2, the structure of a modified SRD field is described according to an embodiment. source_id, object_x, object_y, object_width, object_height, total_width, total_height, and spatial_set_id are the same as those in Table 1. The ROI field gives information about the ROI included in the divided tiles of the view image.
일 실시예에 따르면, HEVC을 이용한 송신 방법은 다중 시점 영상에 포함된 복수의 시점 영상 중에서 ROI를 포함하는 시점 영상의 ROI에 대응하는 타일을 결정하는 단계, ROI에 대응하는 타일에 관한 정보를 송신하는 단계를 포함할 수 있다. 여기서, 타일에 관한 정보는, 타일이 ROI에 대응하는지 여부를 나타내고, SRD 필드에 포함될 수 있다.According to one embodiment, a transmission method using HEVC includes the steps of: determining a tile corresponding to an ROI of a view image including an ROI among a plurality of view images included in a multi view image; transmitting information about a tile corresponding to the ROI . Here, the information on the tile indicates whether or not the tile corresponds to the ROI, and may be included in the SRD field.
도 7는 일 실시예에 따른 영상을 복수의 타일로 분할한 일례를 도시한 도면이다.7 is a diagram illustrating an example of dividing an image according to an embodiment into a plurality of tiles.
도 7을 참조하면 세 명의 남자와 두 명의 여자가 포함된 시점 영상이 개시된다. 시점 영상은 9 개의 타일로 분할될 수 있다. Referring to FIG. 7, a viewpoint image including three men and two women is disclosed. The view image can be divided into 9 tiles.
표 3을 참조하면, 타일 1에 대하여, SRD 필드의 구조의 식별 번호는 2017이다. 식별 번호 2017의 SRD 필드는 시점 영상의 식별 번호, 타일의 x 좌표, 타일의 y 좌표, 타일의 가로 길이, 타일의 세로 길이, 시점 영상의 가로 길이 또는 시점 영상의 세로 길이로 구성될 수 있다.Referring to Table 3, for tile 1, the identification number of the structure of the SRD field is 2017. The SRD field of the identification number 2017 may be composed of the identification number of the view image, the x coordinate of the tile, the y coordinate of the tile, the width of the tile, the length of the tile, the width of the viewpoint image, or the length of the viewpoint image.
타일 1에 대하여, SRD 필드에는 "0, 0, 0, 1, 1, 3, 3, man1"이 저장될 수 있다. 여기서, 시점 영상의 식별 번호는 0, 타일의 x 좌표는 0, 타일의 y 좌표는 0, 타일의 가로 길이는 1, 타일의 세로 길이는 1, 시점 영상의 가로 길이는 3, 시점 영상의 세로 길이는 3, ROI의 대상은 man1을 나타낸다. 타일 2 내지 타일 9도 같은 방식으로 설명될 수 있다.For tile 1, "0, 0, 0, 1, 1, 3, 3, man1" may be stored in the SRD field. Here, the identification number of the view image is 0, the x coordinate of the tile is 0, the y coordinate of the tile is 0, the width of the tile is 1, the length of the tile is 1, the width of the view image is 3, The length is 3, and the object of ROI is man1.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The embodiments described above may be implemented in hardware components, software components, and / or a combination of hardware components and software components. For example, the devices, methods, and components described in the embodiments may be implemented within a computer system, such as, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, such as an array, a programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions. The processing device may execute an operating system (OS) and one or more software applications running on the operating system. The processing device may also access, store, manipulate, process, and generate data in response to execution of the software. For ease of understanding, the processing apparatus may be described as being used singly, but those skilled in the art will recognize that the processing apparatus may have a plurality of processing elements and / As shown in FIG. For example, the processing unit may comprise a plurality of processors or one processor and one controller. Other processing configurations are also possible, such as a parallel processor.
실시예들에서 설명된 구성요소들은 하나 이상의 DSP (digital signal processor), 프로세서, 컨트롤러, ASIC (application specific integrated circuit), FPGA (field programmable gate array)와 같은 프로그래머블 논리 소자, 다른 전자 기기들 및 이것들의 조합 중 하나 이상을 포함하는 하드웨어 구성 요소에 의해 구현될 수 있다. 실시예들에 설명된 과정들 또는 기능들 중 적어도 일부는 소프트웨어에 의해 구현될 수 있고, 해당 소프트웨어는 기록 매체에 기록될 수 있다. 실시예들에서 설명된 구성요소들, 기능들 및 과정들은 하드웨어와 소프트웨어의 조합에 의해 구현될 수 있다.The components described in the embodiments may be implemented by one or more programmable logic devices such as a digital signal processor (DSP), a processor, a controller, an application specific integrated circuit (ASIC), a field programmable gate array (FPGA), other electronic devices, Or a combination of hardware and software. At least some of the processes or functions described in the embodiments may be implemented by software, and the software may be recorded on a recording medium. The components, functions and processes described in the embodiments may be implemented by a combination of hardware and software.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 송신되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may include a computer program, code, instructions, or a combination of one or more of the foregoing, and may be configured to configure the processing device to operate as desired or to process it collectively or collectively Device can be commanded. The software and / or data may be in the form of any type of machine, component, physical device, virtual equipment, computer storage media, or device , Or may be permanently or temporarily embodied in a transmitted signal wave. The software may be distributed over a networked computer system and stored or executed in a distributed manner. The software and data may be stored on one or more computer readable recording media.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to an embodiment may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium. The computer readable medium may include program instructions, data files, data structures, and the like, alone or in combination. Program instructions to be recorded on a computer-readable medium may be those specially designed and constructed for an embodiment or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.Although the embodiments have been described with reference to the drawings, various technical modifications and variations may be applied to those skilled in the art. For example, it is to be understood that the techniques described may be performed in a different order than the described methods, and / or that components of the described systems, structures, devices, circuits, Lt; / RTI > or equivalents, even if it is replaced or replaced.
110: 송신 장치
111: 프로세서
113: 메모리
115: 안테나
120: 수신 장치
121: 프로세서
123: 메모리
125: 안테나
130: 복수의 카메라
140: 오브젝트110: Transmitting device
111: Processor
113: Memory
115: Antenna
120: Receiver
121: Processor
123: Memory
125: Antenna
130: Multiple cameras
140: Object
Claims (5)
상기 ROI에 대응하는 타일에 우선권을 부여하는 단계;
상기 우선권을 기초로 상기 ROI에 대응하는 타일의 송신 환경을 결정하는 단계; 및
상기 송신 환경에 따라 상기 ROI에 대응하는 타일에 관한 정보를 수신 장치로 송신하는 단계
를 포함하고,
상기 타일을 결정하는 단계는, 상기 ROI에 대응하는 타일을 상기 다중 시점 영상 각각에 대하여 결정하고,
상기 우선권을 부여하는 단계는, 상기 다중 시점 영상 각각의 결정된 타일에 높은 우선권을 할당하고 다른 타일들에 대해 낮은 우선권을 할당하고,
상기 송신 환경을 결정하는 단계는, 상기 높은 우선권이 할당된 타일들의 전송 지연 시간을 낮게 설정하고, 상기 낮은 우선권이 할당된 타일들의 전송 지연 시간을 높게 설정하는,
다중 시점 영상의 송신 방법.
Determining a tile corresponding to the ROI of a view image including a region of interest (ROI) among a plurality of viewpoint images included in the multi-viewpoint image;
Assigning a priority to a tile corresponding to the ROI;
Determining a transmission environment of a tile corresponding to the ROI based on the priority; And
Transmitting information on a tile corresponding to the ROI to a receiving apparatus in accordance with the transmission environment
Lt; / RTI >
Wherein the determining the tile comprises: determining a tile corresponding to the ROI for each of the multiple view images,
The step of assigning a priority may include assigning a high priority to a determined tile of each of the multi view images, assigning a low priority to other tiles,
Wherein the determining of the transmission environment comprises setting a transmission delay time of the tiles to which the high priority is allocated to be low and setting a transmission delay time of the tiles to which the low priority is allocated to be high,
A method of transmitting a multi-view image.
상기 ROI에 대응하는 타일의 송신 환경을 결정하는 단계는,
상기 ROI에 대응하는 타일의 해상도를 상기 ROI에 대응하지 않는 타일의 해상도보다 높게 결정하는, 다중 시점 영상의 송신 방법.The method according to claim 1,
Wherein the determining the transmission environment of the tile corresponding to the ROI comprises:
Wherein the resolution of the tile corresponding to the ROI is higher than the resolution of the tile not corresponding to the ROI.
상기 수신 환경에 따라 상기 ROI에 대응하는 타일에 관한 정보를 수신하는 단계
를 포함하고,
상기 ROI에 대응하는 타일(Tile)은 다중 시점 영상에 포함된 복수의 시점 영상 중에서 ROI(region of interest)를 포함하는 시점 영상에 포함된 복수의 타일 중에서 결정되고,
상기 ROI에 대응하는 타일에 상기 우선권이 부여되고,
상기 다중 시점 영상 각각에 대하여 상기 ROI에 대응하는 타일이 결정되고, 상기 다중 시점 영상 각각의 결정된 타일에 높은 우선권이 할당되고 다른 타일들에 대해 낮은 우선권이 할당되고, 상기 높은 우선권이 할당된 타일들의 전송 지연 시간은 낮게 설정되고, 상기 낮은 우선권이 할당된 타일들의 전송 지연 시간은 높게 설정되는,
다중 시점 영상의 수신 방법.
Determining a reception environment of the tile corresponding to the ROI based on the priority; And
Receiving information on a tile corresponding to the ROI according to the reception environment
Lt; / RTI >
A tile corresponding to the ROI is determined from a plurality of tiles included in a view image including a region of interest (ROI) among a plurality of view images included in the multi view image,
The priority is given to a tile corresponding to the ROI,
A tile corresponding to the ROI is determined for each of the multi view images, a high priority is assigned to a determined tile of each of the multi view images, a low priority is assigned to other tiles, The transmission delay time is set to be low and the transmission delay time of the tiles to which the low priority is allocated is set to be high,
A method for receiving a multi-view image.
다중 시점 영상에 포함된 복수의 시점 영상 중에서 ROI를 포함하는 시점 영상의 상기 ROI에 대응하는 타일을 결정하는 단계; 및
상기 ROI에 대응하는 타일에 관한 정보를 송신하는 단계
를 포함하고,
상기 타일에 관한 정보는, 상기 타일이 상기 ROI에 대응하는지 여부를 나타내고, SRD(Spatial Relationship Descriptors) 필드에 포함되고,
상기 타일을 결정하는 단계는, 상기 ROI에 대응하는 타일을 상기 다중 시점 영상 각각에 대하여 결정하고,
상기 다중 시점 영상 각각의 결정된 타일에 높은 우선권이 할당되고 다른 타일들에 대해 낮은 우선권이 할당되고, 상기 높은 우선권이 할당된 타일들의 전송 지연 시간은 낮게 설정되고, 상기 낮은 우선권이 할당된 타일들의 전송 지연 시간은 높게 설정되는,
HEVC를 이용한 다중 시점 영상의 송신 방법.
A transmission method using a HEVC (High Efficient Video Codec)
Determining a tile corresponding to the ROI of a view image including an ROI from a plurality of viewpoint images included in the multi-viewpoint image; And
Transmitting information on a tile corresponding to the ROI
Lt; / RTI >
The information on the tile indicates whether the tile corresponds to the ROI, is included in a spatial relationship descriptor (SRD) field,
Wherein the determining the tile comprises: determining a tile corresponding to the ROI for each of the multiple view images,
A high priority is assigned to a determined tile of each of the multi view images, a low priority is assigned to other tiles, a transmission delay time of the tiles to which the high priority is allocated is set to be low, The delay time is set high,
Multi - view image transmission method using HEVC.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170096748A KR101906066B1 (en) | 2017-07-31 | 2017-07-31 | Method and apparatus for transmitting multiview image |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170096748A KR101906066B1 (en) | 2017-07-31 | 2017-07-31 | Method and apparatus for transmitting multiview image |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101906066B1 true KR101906066B1 (en) | 2018-10-08 |
Family
ID=63864562
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020170096748A KR101906066B1 (en) | 2017-07-31 | 2017-07-31 | Method and apparatus for transmitting multiview image |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101906066B1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11350074B2 (en) | 2019-03-20 | 2022-05-31 | Electronics And Telecommunications Research Institute | Method for processing immersive video and method for producing immersive video |
WO2024042804A1 (en) * | 2022-08-26 | 2024-02-29 | 株式会社Jvcケンウッド | Content selling device, content selling method, and content selling program |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100550105B1 (en) * | 1998-03-20 | 2006-02-08 | 미쓰비시텐키 가부시키가이샤 | Method and apparatus for compressing ad decompressing image |
JP2011176570A (en) * | 2010-02-24 | 2011-09-08 | Nippon Telegr & Teleph Corp <Ntt> | Method and device for decoding multi-resolution video, and program |
-
2017
- 2017-07-31 KR KR1020170096748A patent/KR101906066B1/en active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100550105B1 (en) * | 1998-03-20 | 2006-02-08 | 미쓰비시텐키 가부시키가이샤 | Method and apparatus for compressing ad decompressing image |
JP2011176570A (en) * | 2010-02-24 | 2011-09-08 | Nippon Telegr & Teleph Corp <Ntt> | Method and device for decoding multi-resolution video, and program |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11350074B2 (en) | 2019-03-20 | 2022-05-31 | Electronics And Telecommunications Research Institute | Method for processing immersive video and method for producing immersive video |
WO2024042804A1 (en) * | 2022-08-26 | 2024-02-29 | 株式会社Jvcケンウッド | Content selling device, content selling method, and content selling program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9635252B2 (en) | Live panoramic image capture and distribution | |
US20190387214A1 (en) | Method for transmitting panoramic videos, terminal and server | |
CN110149542B (en) | Transmission control method | |
WO2016202887A1 (en) | Providing low & high quality streams | |
US11694303B2 (en) | Method and apparatus for providing 360 stitching workflow and parameter | |
WO2016112756A1 (en) | Video encoding method, system and server | |
CN109644296A (en) | A kind of video stream transmission method, relevant device and system | |
CN106303663B (en) | live broadcast processing method and device and live broadcast server | |
US10708469B2 (en) | Image processing apparatus, method of controlling the same, non-transitory computer-readable storage medium, and image processing system | |
WO2018126702A1 (en) | Streaming media transmission method applied to virtual reality technology and client | |
CN110798707B (en) | Method, client and server for transmitting media data | |
US10750243B2 (en) | Distribution device, distribution method, reception device, reception method, program, and content distribution system | |
KR101906066B1 (en) | Method and apparatus for transmitting multiview image | |
WO2019048733A1 (en) | Transmission of video content based on feedback | |
CN110662119A (en) | Video splicing method and device | |
CN111434120A (en) | Efficient immersive streaming | |
JP2017123503A (en) | Video distribution apparatus, video distribution method and computer program | |
KR101820359B1 (en) | Method and apparatus for transmitting 360 degree image | |
CN110800306B (en) | Immersive video transmission method | |
JP5520146B2 (en) | Video receiving apparatus and control method thereof | |
US20210160474A1 (en) | System and Method for Preloading Multi-View Video | |
CN104093089A (en) | Cinema program live telecasting system and method | |
CN115349248B (en) | Method, system and device for deploying media processing based on network | |
US20220368762A1 (en) | Method and apparatus for providing media service | |
US20140327781A1 (en) | Method for video surveillance, a related system, a related surveillance server, and a related surveillance camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |