WO2017222301A1 - 부호화 장치 및 방법, 복호화 장치 및 방법 - Google Patents

부호화 장치 및 방법, 복호화 장치 및 방법 Download PDF

Info

Publication number
WO2017222301A1
WO2017222301A1 PCT/KR2017/006528 KR2017006528W WO2017222301A1 WO 2017222301 A1 WO2017222301 A1 WO 2017222301A1 KR 2017006528 W KR2017006528 W KR 2017006528W WO 2017222301 A1 WO2017222301 A1 WO 2017222301A1
Authority
WO
WIPO (PCT)
Prior art keywords
area
padding
reference frame
region
pixel value
Prior art date
Application number
PCT/KR2017/006528
Other languages
English (en)
French (fr)
Inventor
신재섭
류성걸
손세훈
이선영
Original Assignee
주식회사 픽스트리
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020170026692A external-priority patent/KR20180000279A/ko
Application filed by 주식회사 픽스트리 filed Critical 주식회사 픽스트리
Priority to US16/305,952 priority Critical patent/US10812824B2/en
Priority to CN201780038835.8A priority patent/CN109314788B/zh
Publication of WO2017222301A1 publication Critical patent/WO2017222301A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors

Definitions

  • the present invention relates to a technique for encoding and decoding an image, and more particularly, to an encoding apparatus and method, a decoding apparatus and a method for encoding and decoding a 360 degree image.
  • 360-degree video is a format that expresses the 360-degree real world as 2D images using a 360-degree camera or multiple cameras.
  • the 360 degree image is an image corresponding to a sphere conceptually. However, in order to encode an image, it is necessary to convert an image corresponding to a sphere into a planar form.
  • the 360-degree image is an Equictangular format image in which an image corresponding to a sphere is converted into a large rectangular shape, or a cube in which an image corresponding to a sphere is converted into six faces on which the cube is developed. It may be a format image.
  • the 360 degree image has a different characteristic than the normal image, but since a method for encoding the general image is applied, a coding scheme specialized for the 360 degree image is required.
  • An object of the present invention is to provide an efficient encoding apparatus, method, decoding apparatus, and method for a 360 degree image through a process of predicting a motion vector by applying padding suitable for the 360 degree image.
  • a memory for storing instructions for performing encoding on an image; And a processor that encodes the image according to the command, wherein the processor contacts the pixel value of a padding area corresponding to one edge area of the image with the one edge area on a sphere on which the image is projected.
  • the processor contacts the pixel value of a padding area corresponding to one edge area of the image with the one edge area on a sphere on which the image is projected.
  • a pixel value of a padding area corresponding to one edge area of the image is in contact with the one edge area on a sphere on which the image is projected.
  • padding for setting with reference to the other edge region Predicting a motion vector by referring to a pixel value of the padding area; And encoding the image by referring to the motion vector, wherein the image is a 360 degree image.
  • the memory for storing instructions for performing decoding on the encoded data; And a processor for decoding the encoded data according to the command.
  • the processor may further include a pixel value of a padding area corresponding to one edge area of a reference frame corresponding to the encoded data, the other edge area of the image contacting the one edge area on a sphere on which the image is projected.
  • a decoding apparatus is provided which performs a padding set by reference, extracts a motion vector from encoded data, and decodes the encoded data with reference to the motion vector to generate a 360 degree image.
  • the pixel value of a padding area corresponding to one edge area of a reference frame corresponding to the coded data may be displayed on a sphere on which the image is projected. Performing padding which is set with reference to another edge area of the image in contact with one edge area; Extracting a motion vector from the encoded data; Generating a 360 degree image by decoding the encoded data with reference to the motion vector;
  • a decoding method comprising a.
  • the compression performance of the 360-degree image can be improved by predicting an accurate motion vector through padding suitable for the 360-degree image.
  • FIG. 1 is a diagram illustrating an encoding apparatus according to an embodiment of the present invention.
  • FIG. 2 is a flowchart illustrating a process of encoding a 360 degree image by an encoding apparatus according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating a padding area to which padding is applied by an encoding apparatus according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating portions connected to each other in an image corresponding to a sphere in an edge region of an image of an Equirecttangular format received by an encoding apparatus according to an embodiment of the present invention.
  • FIG. 5 is a diagram illustrating a first example of a padding scheme for an image in an Equilex tangular format by an encoding apparatus according to an embodiment of the present invention.
  • FIG. 6 is a diagram illustrating an example in which the encoding apparatus changes the vertical arrangement order of some pixels in a first example of a padding scheme for an image in an Equilex tangular format, according to an embodiment of the present invention.
  • FIG. 7 is a diagram illustrating a second example of a padding scheme for an image in an Equilex tangular format by an encoding apparatus according to an embodiment of the present invention.
  • FIG. 8 is a diagram illustrating an example in which an encoding apparatus changes a vertical arrangement order of some pixels in a second example of a padding scheme for an image in an Equilegal Tangent Format according to an embodiment of the present invention.
  • FIG. 9 is a diagram illustrating a third example of a padding scheme for an image in an Equilex tangular format by an encoding apparatus according to an embodiment of the present invention.
  • FIG. 10 is a diagram illustrating an example in which the encoding apparatus changes the vertical arrangement order of some pixels in a third example of a padding scheme for an image in an Equilegal Tangent Format according to an embodiment of the present invention.
  • FIG. 10 is a diagram illustrating an example in which the encoding apparatus changes the vertical arrangement order of some pixels in a third example of a padding scheme for an image in an Equilegal Tangent Format according to an embodiment of the present invention.
  • FIG. 11 is a diagram illustrating a fourth example of a padding scheme for an image in an Equilex tangular format by an encoding apparatus according to an embodiment of the present invention.
  • FIG. 12 is a diagram illustrating an example in which an encoding apparatus changes a vertical arrangement order of some pixels in a fourth example of a padding scheme for an image in an Equilex tangular format, according to an embodiment of the present invention.
  • FIG. 12 is a diagram illustrating an example in which an encoding apparatus changes a vertical arrangement order of some pixels in a fourth example of a padding scheme for an image in an Equilex tangular format, according to an embodiment of the present invention.
  • FIG. 13 is a view illustrating portions connected to each other in an image corresponding to a sphere among edge regions of an image of a cube format input by an encoding apparatus according to an embodiment of the present invention.
  • FIG. 14 is a diagram illustrating that the encoding apparatus performs padding on one face of a cube format image according to an embodiment of the present invention.
  • 15 is a diagram illustrating that the encoding apparatus performs padding on another face of a cube format image according to an embodiment of the present invention.
  • 16 is a diagram illustrating that the encoding apparatus performs padding using a center point of a cube format image according to an embodiment of the present invention.
  • 17 is a flowchart illustrating a process of encoding a 360 degree image by a decoding apparatus according to an embodiment of the present invention.
  • the 360-degree image described below is an image obtained by capturing an area corresponding to a 360-degree range based on two axes (horizontal axis and vertical axis) such as an Equictangular format image and a cube format image, or a panorama image. It may be an image obtained by photographing an area corresponding to a 360 degree range based on one axis.
  • FIG. 1 is a diagram illustrating an encoding apparatus according to an embodiment of the present invention.
  • an encoding apparatus may include at least one of a processor 110, a memory 120, a storage 130, a user interface input unit 140, and a user interface output unit 150. These elements may be included and they may be in communication with each other via the bus 160.
  • the encoding apparatus may also include a network interface 170 for connecting to an external device through a network or a connection terminal.
  • the processor 110 may be a CPU or a semiconductor device that executes instructions stored in the memory 120 and / or the storage 130.
  • the memory 120 and the storage unit 130 may include various types of volatile / nonvolatile storage media.
  • the memory may include a ROM 124 and a RAM 125.
  • the encoding apparatus may be implemented in the form of a computer system and performs a function of playing an image according to a stored command.
  • FIG. 2 is a flowchart illustrating a process of encoding a 360-degree image by an encoding apparatus according to an embodiment of the present invention
  • FIG. 3 illustrates a padding area to which padding is applied by the encoding apparatus according to an embodiment of the present invention.
  • Drawing. Each step described below is a process performed through each functional unit constituting the encoding device, or the subject of each step is collectively referred to as an encoding device for a brief and clear description of the invention.
  • the encoding apparatus receives a 360 degree image from an external device such as a camera or a storage medium.
  • the encoding device converts the image projected on the sphere into the rectangular flat plane shape or the image projected on the sphere into the cube shape, and converts the cube into the unfolded shape. You can receive an image in one cube format.
  • the encoding apparatus pads the image.
  • the padding is a process of setting each pixel value of the padding area (510 of FIG. 3), which is an area outside the edge of the image within the designated search range from the block, to predict the motion vector.
  • the padding process performed by the encoding apparatus will be described in detail later.
  • the encoding apparatus predicts a motion vector for each block of the image.
  • the encoding apparatus encodes the target block according to the predicted motion vector to generate encoded data.
  • the process of predicting and encoding the motion vector through the image may be a process according to a known method such as a standard. Therefore, the encoded data may include a motion vector for each block.
  • FIG. 4 is a diagram illustrating portions connected to each other in an image corresponding to a sphere in an edge region of an Equilegal Tangular Format image or a panoramic image input by an encoding apparatus according to an embodiment of the present invention.
  • a region corresponding to the left edge of an Equilegal Tangent Format image or a panoramic image is in contact with a region corresponding to the right edge of the image when the image is projected onto a sphere.
  • pixels corresponding to areas corresponding to the upper edge of the Equilegal-Tangular format image or the panoramic image contact each other on the sphere, and pixels corresponding to the areas corresponding to the lower edge of the image contact each other on the sphere.
  • the encoding apparatus performs padding on the padding area that is in contact with the left edge with the pixel value located at the right edge, such that the left and right edges of the image are in contact with each other.
  • an adjacent region another region that is not adjacent to a specific region on the image (not located within a predetermined interval) but is adjacent to a specific region (located within a predetermined interval) in a situation where the image is mapped on a sphere is called an adjacent region.
  • the encoding apparatus may reduce the capacity of the encoded image by encoding the image through the accurately predicted motion vector.
  • FIG. 5 is a diagram illustrating a first example of a padding scheme for an Iquirectangular format image or a panoramic image by an encoding apparatus according to an embodiment of the present invention
  • FIG. 6 is an encoding apparatus according to an embodiment of the present invention.
  • FIG. 1 is a diagram illustrating an example in which the vertical arrangement order of some pixels is changed in a first example of a padding scheme for an Equilegal-type regular image or a panoramic image.
  • the encoding apparatus sets a pixel value of the left padding area 710 of the image to be equal to a pixel value of an area within the number of columns of the left padding area 710 of the image.
  • the encoding apparatus sets the pixel value of the right padding area 720 of the image as the pixel value of the area within the number of columns of the right padding area 720 from the leftmost column of the image.
  • the encoding apparatus may perform padding so that the pixels that are originally in contact with the sphere are in contact with each other.
  • the encoding apparatus corresponds to the number of columns of the rightmost column to the number of columns of the first upper padding area 730 among the pixels corresponding to the area of the row from the uppermost row of the image to the row corresponding to the number of rows of the first upper padding area 730.
  • the pixel value of the first upper padding area 730 is set to the pixel value corresponding to the area up to the column.
  • the encoding apparatus corresponds to the number of columns of the leftmost column to the number of columns of the second upper padding area 740 of the pixels corresponding to the area of the row from the uppermost row of the image to the row corresponding to the number of rows of the second upper padding area 740.
  • the pixel value of the second upper padding area 740 is set to the pixel value corresponding to the area up to the column.
  • the first upper padding area 730 is an area located on the left side of the area where the padding area located on the upper side of the image is divided based on a vertical line passing through the center point of the image
  • the second upper padding area 740 is an image of the image.
  • the padding area located on the upper side may be an area located on the right side of the area obtained by dividing the padding area based on a vertical line passing through the center point of the image.
  • the encoding apparatus corresponds to the number of columns of the rightmost column to the number of columns of the first lower padding area 750 among pixels corresponding to the area of the lowermost row of the image corresponding to the number of rows of the first lower padding area 750.
  • the pixel value of the first lower padding area 750 is set to the pixel value corresponding to the area up to the column.
  • the encoding apparatus corresponds to the number of columns of the leftmost column to the number of columns of the second lower padding area 760 among the pixels corresponding to the area of the lowermost row of the image corresponding to the number of rows of the second lower padding area 760.
  • the pixel value of the second lower padding area 760 is set to the pixel value corresponding to the area up to the column.
  • the first lower padding area 750 is an area located on the left side of the area where the padding area located at the lower side of the image is divided based on a vertical line passing through the center point of the image
  • the second lower padding area 760 is an image of the image.
  • the padding area located on the lower side may be an area located on the right side of the area divided by a vertical line passing through the center point of the image.
  • the encoding apparatus may be provided in the first upper padding area 730, the second upper padding area 740, the first lower padding area 750, and the second lower padding area 760 as shown in FIG. 6.
  • the vertical arrangement order of the included pixels may be reversed compared to the order of the image.
  • FIG. 7 is a diagram illustrating a second example of a padding scheme for an Equirectangular format image or a panoramic image by an encoding apparatus according to an embodiment of the present invention
  • FIG. 8 is an encoding apparatus according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating an example in which the vertical arrangement order of some pixels is changed in a second example of a padding scheme for an Equilegal-type regular image or a panoramic image.
  • the encoding apparatus sets the pixel value of the left padding area 710 of the image to correspond to the pixel value corresponding to the area within the number of columns of the left padding area 710 of the image.
  • the encoding apparatus sets the pixel value of the right padding area 720 of the image as the pixel value corresponding to the area within the number of columns of the right padding area 720 from the leftmost column of the image.
  • the encoding apparatus may perform padding so that the pixels that are originally in contact with the sphere are in contact with each other.
  • the encoding apparatus sets the pixel value of the top padding area 810 to the pixel value corresponding to the area from the top row of the image to the row corresponding to the number of rows of the top padding area 810.
  • the top padding area 810 refers to an area including a pixel located on a virtual vertical line passing through each pixel included in the image among pixels located above the image.
  • the encoding apparatus sets the pixel value of the lowermost padding area 820 to the pixel value corresponding to the area from the lowermost row of the image to the row corresponding to the number of rows of the lowermost padding area 820.
  • the lowermost padding area 820 refers to an area including a pixel located on a virtual vertical line passing through each pixel included in the image among pixels positioned below the image.
  • the encoding apparatus sets the pixel value of an area corresponding to the number of rows and columns of the upper left padding area 830 to the pixel value of the upper left padding area 830 from the pixel located at the top right side of the image.
  • the upper left padding area 830 is the upper left side of the image among the remaining padding areas except for the top padding area 810, the lower padding area 820, the left padding area 810, and the right padding area 820. It means the padding area located in.
  • the encoding apparatus sets a pixel value of an area corresponding to the number of rows and columns of the right upper padding area 840 to the pixel value of the upper right padding area 840 from the pixel located at the upper left side of the image.
  • the upper right side padding area 840 is the upper right side of the image among the remaining padding areas except for the top padding area 810, the lower padding area 820, the left padding area 810, and the right padding area 820. It means the padding area located in.
  • the encoding apparatus sets a pixel value of an area corresponding to the number of rows and columns of the lower left padding area 850 to the pixel value of the lower left padding area 850 from the pixel located at the lower right side of the image.
  • the lower left padding area 850 is the lower left side of the image among the remaining padding areas except for the top padding area 810, the bottom padding area 820, the left padding area 810, and the right padding area 820. It means the padding area located in.
  • the encoding apparatus sets the pixel value of an area corresponding to the number of rows and columns of the right bottom padding area 860 to the pixel value of the right bottom padding area 860 from the pixel located at the left bottom side of the image.
  • the lower right padding area 860 is the lower right side of the image among the remaining padding areas except for the top padding area 810, the lower padding area 820, the left padding area 810, and the right padding area 820. It means the padding area located in.
  • the encoding apparatus may make the vertical arrangement order of the pixels included in the remaining padding areas other than the left padding area 710 and the right padding area 720 as shown in FIG. Can be.
  • FIG. 9 is a diagram illustrating a third example of a padding scheme for an Equirectangular format image or a panoramic image by an encoding apparatus according to an embodiment of the present invention
  • FIG. 10 is an encoding apparatus according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating an example in which the vertical arrangement order of some pixels is changed in a third example of a padding scheme for an Equilegant-type regular image or a panoramic image.
  • the encoding apparatus sets the pixel value of the left padding area 710 of the image as the pixel value corresponding to the area within the number of columns of the left padding area 710 of the image.
  • the encoding apparatus sets the pixel value of the right padding area 720 of the image as the pixel value corresponding to the area within the number of columns of the right padding area 720 from the leftmost column of the image.
  • the encoding apparatus may perform padding so that the pixels that are originally in contact with the sphere are in contact with each other.
  • the encoding apparatus corresponds to the number of columns of the leftmost column to the number of columns of the first upper padding area 730 among the pixels corresponding to the area of the row from the uppermost row of the image to the row corresponding to the number of rows of the first upper padding area 730.
  • the horizontal arrangement order of the pixels corresponding to the area up to the column is arranged in the reverse order, and the pixel values of the first upper padding area 730 are set to the pixel values of the pixels arranged in the reverse order.
  • the encoding apparatus corresponds to the number of columns of the rightmost column to the number of columns of the second upper padding area 740 of the pixels corresponding to the area of the row from the uppermost row of the image to the row corresponding to the number of rows of the second upper padding area 740.
  • the horizontal arrangement order of the pixels corresponding to the area up to the column is arranged in the reverse order, and the pixel value of the second upper padding area 740 is set to the pixel values of the pixels arranged in the reverse order.
  • the first upper padding area 730 is an area located on the left side of the area where the padding area located on the upper side of the image is divided based on a vertical line passing through the center point of the image
  • the second upper padding area 740 is an image of the image.
  • the padding area located on the upper side may be an area located on the right side of the area obtained by dividing the padding area based on a vertical line passing through the center point of the image.
  • the encoding apparatus corresponds to the number of columns of the leftmost column to the number of columns of the first lower padding area 750 among the pixels corresponding to the area of the lowermost row of the image corresponding to the number of rows of the first lower padding area 750.
  • the horizontal arrangement order of the pixels corresponding to the area up to the column is arranged in the reverse order, and the pixel values of the first lower padding area 750 are set to the pixel values of the pixels arranged in the reverse order.
  • the encoding apparatus corresponds to the number of columns of the rightmost column to the number of columns of the second lower padding area 760 among the pixels corresponding to the area of the lowermost row of the image corresponding to the number of rows of the second lower padding area 760.
  • the horizontal arrangement order of the pixels corresponding to the area up to the column is arranged in the reverse order, and the pixel value of the second lower padding area 760 is set to the pixel values of the pixels arranged in the reverse order.
  • the first upper padding area 730 is an area located on the left side of the area where the padding area located on the upper side of the image is divided based on a vertical line passing through the center point of the image
  • the second upper padding area 740 is an image of the image.
  • the padding area located on the upper side may be an area located on the right side of the area obtained by dividing the padding area based on a vertical line passing through the center point of the image.
  • the encoding apparatus may be provided to the first upper padding area 730, the second upper padding area 740, the first lower padding area 750, and the second lower padding area 760 as shown in FIG. 10.
  • the vertical arrangement order of the included pixels may be reversed compared to the order of the image.
  • FIG. 11 is a diagram illustrating a fourth example of a padding scheme for an Equirectangular format image or a panoramic image by an encoding apparatus according to an embodiment of the present invention
  • FIG. 12 is an encoding apparatus according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating an example in which the vertical arrangement order of some pixels is changed in the fourth example of the padding scheme for an Equilegal-type regular format image or a panoramic image.
  • the encoding apparatus sets the pixel value of the left padding area 710 of the image as the pixel value corresponding to the area within the number of columns of the left padding area 710 of the image.
  • the encoding apparatus sets the pixel value of the right padding area 720 of the image as the pixel value corresponding to the area within the number of columns of the right padding area 720 from the leftmost column of the image.
  • the encoding apparatus may perform padding so that the pixels that are originally in contact with the sphere are in contact with each other.
  • the encoding apparatus arranges the horizontal arrangement order of the pixels corresponding to the region from the top row of the image to the row corresponding to the number of rows of the top padding area 810 in reverse order, and the pixel values of each pixel arranged in the reverse order. Is set to the pixel value of the normal padding area 810.
  • the encoding apparatus arranges the horizontal arrangement order of the pixels corresponding to the region from the lowermost row of the image to the row corresponding to the number of rows of the lowermost padding area 820 in the reverse order, and the pixel values of each pixel arranged in the reverse order. Is set to the pixel value of the lowermost padding area 820.
  • the encoding apparatus arranges the horizontal arrangement order of the pixels corresponding to the area corresponding to the number of rows and columns of the upper left padding area 830 from the pixel located at the upper left side of the image in reverse order, and each pixel arranged in reverse order.
  • the pixel value of is set to the pixel value of the upper left padding area 830.
  • the encoding apparatus arranges the horizontal arrangement order of the pixels in the region corresponding to the number of rows and columns of the top right padding region 840 from the pixel located at the top right side of the image in reverse order, and the pixel values of each pixel arranged in the reverse order. Is set to the pixel value of the upper right side padding area 840.
  • the encoding apparatus arranges the horizontal arrangement order of the pixels of the region corresponding to the number of rows and columns of the lower left padding region 850 from the pixel located at the lower right side of the image in reverse order, and the pixel values of each pixel arranged in the reverse order. Is set to the pixel value of the lower left padding area 850.
  • the encoding apparatus arranges the horizontal arrangement order of the pixels of the region corresponding to the number of rows and columns of the right and left padding regions 860 in the reverse order from the pixel located at the lower left side of the image, and the pixels of each pixel arranged in the reverse order.
  • the value is set to the pixel value of the lower right padding area 860.
  • the encoding apparatus may make the vertical arrangement order of the pixels included in the remaining padding areas other than the left padding area 710 and the right padding area 720 in the reverse order of the image order as shown in FIG. 12. Can be.
  • FIG. 13 is a diagram illustrating portions connected to each other in an image corresponding to a sphere among edge regions of an image of a cube format input by an encoding apparatus according to an embodiment of the present invention.
  • a cube format image is an image composed of six faces, and each edge region of the cube having each face on one side is in contact with the other edge region.
  • padding is performed by using two edge regions represented by the same hatching in FIG. 13 as adjacent regions in the image corresponding to the sphere.
  • the encoding apparatus sets each pixel value of the left edge region of the first face 1110 in contact with the upper edge region of the second face 1120 as the pixel value of the upper padding region of the second face 1120.
  • the encoding apparatus may set the pixel value of the left padding area of the first face 1110 as the pixel value of the upper edge area of the second face 1120.
  • the encoding apparatus may refer to a padded pixel value corresponding to the corresponding face.
  • FIG. 14 is a diagram illustrating that an encoding apparatus according to an embodiment of the present invention performs padding on one face of a cube format image
  • FIG. 15 is a diagram illustrating an example of an encoding apparatus according to an embodiment of the present invention.
  • FIG. 1 illustrates that padding is performed on another face.
  • the encoding apparatus may set the pixel value of the left padding area 1220 of the first face 1110 according to the pixel value of the upper edge area 1210 of the second face 1120.
  • the encoding apparatus may set the pixel value of the upper padding area 1310 of the second face 1120 according to the pixel value of the left edge area 1320 of the first face 1110. .
  • the pixel value of the region overlapping between the left padding region 1220 and the upper padding region 1310 is set to the padded pixel value for the first face 1110 and the padded pixel value for the second face 1120, respectively.
  • the encoding apparatus does not pad the entire padding area for the cube format image, but instead pads the padding area corresponding to each face. Therefore, the pixel value of the specific padding area may be set to a different value for each face.
  • the encoding apparatus may be changed to perform a padding process for a cube format image by using a center point when the cube format image is represented in a cube form.
  • a padding process using a center point will be described with reference to FIG. 16.
  • 16 is a diagram illustrating that the encoding apparatus performs padding using a center point of a cube format image according to an embodiment of the present invention.
  • the encoding apparatus when the encoding apparatus is represented in the form of a cube having each face of a cube format image as a face, the encoding apparatus is located in a padding area of each face (the padding area of the face corresponding to the bottom of the cube is 1810).
  • the padding is performed to set the contact point 1840 where the virtual line connecting the point 1820 and the center point 1830 meets any one of the faces to the value of the target point 1820.
  • the center point 1830 refers to the center point on the three-dimensional coordinate system of the cube shape.
  • the encoding apparatus may repeat the process of performing padding using all points located in the padding areas of all faces as target points.
  • 17 is a flowchart illustrating a process of encoding a 360 degree image by a decoding apparatus according to an embodiment of the present invention.
  • the decoding apparatus receives encoded data generated by the encoding apparatus.
  • the decoding apparatus pads the image of the reference frame.
  • the padding is a process of setting each pixel value of the padding area (510 of FIG. 3), which is an area outside the edge of the image within the designated search range from the block, to predict the motion vector.
  • the decoding apparatus may perform padding according to the above-described process with reference to FIGS. 5 to 16.
  • the decoding apparatus extracts a motion vector of a decoding target block that is a block to be decoded from the encoded data.
  • the decoding apparatus decodes the decoding target block according to the motion vector.
  • the decoding process of the decoding target block according to the motion vector may follow a known decoding scheme such as a standard.
  • the above-described decoding apparatus can decode encoded data having a higher compression efficiency than that of a general encoding method for each block by performing search range setting or padding for predicting a motion vector suitable for a 360 degree image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

부호화 장치는 영상을 수신하는 네트워크 인터페이스, 영상에 대한 부호화를 수행하는 명령어를 저장하는 메모리 및 상기 명령어에 따라 영상을 부호화하는 프로세서를 포함하되, 프로세서는, 영상의 일 가장자리 영역에 대응하는 패딩 영역의 픽셀값을 상기 영상이 투영된 구 상에서 상기 일 가장자리 영역과 접하는 영상의 타 가장자리 영역을 참조하여 설정하는 패딩을 수행하고, 패딩 영역의 픽셀값을 참조하여 모션 벡터를 예측하고, 모션 벡터를 참조하여 영상을 부호화하고, 영상은 360도 영상인 것을 특징으로 한다.

Description

부호화 장치 및 방법, 복호화 장치 및 방법
본 발명은 영상을 부호화 및 복호화하는 기술에 관한 것으로 보다 상세하게는 360도 영상을 부호화 및 복호화하는 부호화 장치 및 방법, 복호화 장치 및 방법에 관한 것이다.
360도 영상은 360도 카메라 또는 다수 개의 카메라를 사용하여 360도 현실 세계를 2D 이미지로 표현한 포맷이다. 360도 영상은 개념적으로 구에 대응하는 영상이다. 그러나 영상의 부호화 등을 위해서는 구에 대응하는 영상을 평면의 형태로 변환하여 표현할 필요가 있다. 360도 영상은 구에 대응하는 영상을 큰 직사각형의 형태로 변환한 이퀴렉탱귤러(Equirectangular) 포맷 영상 또는 구에 대응하는 영상을 큐브를 전개한 6개의 페이스(face) 상으로 변환한 큐브(cube) 포맷 영상일 수 있다.
360도 영상은 일반 영상에 비해 상이한 특성을 가지고 있으나, 부호화 방식은 일반 영상을 부호화하기 위한 방식이 적용되고 있기에 360도 영상에 특화된 부호화 방식이 요구된다.
본 발명이 해결하고자 하는 과제는 360도 영상에 적합한 패딩(padding)을 적용하여 모션 벡터를 예측하는 과정을 통해 360도 영상에 대해 효율적인 부호화 장치 및 방법, 복호화 장치 및 방법을 제공하는 것이다.
본 발명의 일 측면에 따르면, 영상에 대한 부호화를 수행하는 명령어를 저장하는 메모리; 및 상기 명령어에 따라 상기 영상을 부호화하는 프로세서;를 포함하되, 상기 프로세서는, 상기 영상의 일 가장자리 영역에 대응하는 패딩 영역의 픽셀값을 상기 영상이 투영된 구 상에서 상기 일 가장자리 영역과 접하는 상기 영상의 타 가장 자리 영역을 참조하여 설정하는 패딩을 수행하고, 상기 패딩 영역의 픽셀값을 참조하여 모션 벡터를 예측하고, 상기 모션 벡터를 참조하여 상기 영상을 부호화하고, 상기 영상은 360도 영상인 것을 특징으로 하는 부호화 장치가 제공된다.
본 발명의 다른 측면에 따르면, 부호화 장치가 영상을 부호화하는 방법에 있어서, 상기 영상의 일 가장자리 영역에 대응하는 패딩 영역의 픽셀값을 상기 영상이 투영된 구 상에서 상기 일 가장자리 영역과 접하는 상기 영상의 타 가장자리 영역을 참조하여 설정하는 패딩을 수행하는 단계; 상기 패딩 영역의 픽셀값을 참조하여 모션 벡터를 예측하는 단계; 및 상기 모션 벡터를 참조하여 상기 영상을 부호화하는 단계;를 포함하되, 상기 영상은 360도 영상인 것을 특징으로 하는 부호화 방법이 제공된다.
본 발명의 또 다른 측면에 따르면, 부호화 데이터에 대한 복호화를 수행하는 명령어를 저장하는 메모리; 및 상기 명령어에 따라 상기 부호화 데이터를 복호화하는 프로세서; 를 포함하되, 상기 프로세서는, 상기 부호화 데이터에 대응하는 레퍼런스 프레임의 일 가장자리 영역에 대응하는 패딩 영역의 픽셀값을 상기 영상이 투영된 구 상에서 상기 일 가장자리 영역과 접하는 상기 영상의 타 가장 자리 영역을 참조하여 설정하는 패딩을 수행하고, 부호화 데이터로부터 모션 벡터를 추출하고, 상기 모션 벡터를 참조하여 상기 부호화 데이터에 대한 복호화를 수행하여 360도 영상을 생성하는 것을 특징으로 하는 복호화 장치가 제공된다.
본 발명의 또 다른 측면에 따르면, 복호화 장치가 부호화 데이터를 복호화하는 방법에 있어서, 상기 부호화 데이터에 대응하는 레퍼런스 프레임의 일 가장자리 영역에 대응하는 패딩 영역의 픽셀값을 상기 영상이 투영된 구 상에서 상기 일 가장자리 영역과 접하는 상기 영상의 타 가장 자리 영역을 참조하여 설정하는 패딩을 수행하는 단계; 상기 부호화 데이터로부터 모션 벡터를 추출하는 단계; 상기 모션 벡터를 참조하여 상기 부호화 데이터에 대한 복호화를 수행하여 360도 영상을 생성하는 단계; 를 포함하는 것을 특징으로 하는 복호화 방법이 제공된다.
상술한 바와 같이 본 발명에 따르면, 360도 영상에 적합한 패딩을 통해 정확한 모션 벡터를 예측함으로써 360도 영상에 대한 압축 성능을 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 부호화 장치를 예시한 도면.
도 2는 본 발명의 일 실시예에 따른 부호화 장치가 360도 영상을 부호화하는 과정을 예시한 순서도.
도 3은 본 발명의 일 실시예에 따른 부호화 장치가 패딩을 적용하는 패딩 영역을 예시한 도면.
도 4는 본 발명의 일 실시예에 따른 부호화 장치가 입력받은 이퀴렉탱귤러 포맷의 영상의 가장자리 영역 중 구 상에 대응시킨 영상에서 서로 연결되는 부분을 표시한 도면.
도 5는 본 발명의 일 실시예에 따른 부호화 장치가 이퀴렉탱귤러 포맷의 영상에 대한 패딩 방식의 제1 예를 예시한 도면.
도 6은 본 발명의 일 실시예에 따른 부호화 장치가 이퀴렉탱귤러 포맷의 영상에 대한 패딩 방식의 제1 예에서 일부 픽셀의 세로 배열 순서를 변경한 예를 예시한 도면.
도 7은 본 발명의 일 실시예에 따른 부호화 장치가 이퀴렉탱귤러 포맷의 영상에 대한 패딩 방식의 제2 예를 예시한 도면.
도 8은 본 발명의 일 실시예에 따른 부호화 장치가 이퀴렉탱귤러 포맷의 영상에 대한 패딩 방식의 제2 예에서 일부 픽셀의 세로 배열 순서를 변경한 예를 예시한 도면.
도 9는 본 발명의 일 실시예에 따른 부호화 장치가 이퀴렉탱귤러 포맷의 영상에 대한 패딩 방식의 제3 예를 예시한 도면.
도 10은 본 발명의 일 실시예에 따른 부호화 장치가 이퀴렉탱귤러 포맷의 영상에 대한 패딩 방식의 제3 예에서 일부 픽셀의 세로 배열 순서를 변경한 예를 예시한 도면.
도 11은 본 발명의 일 실시예에 따른 부호화 장치가 이퀴렉탱귤러 포맷의 영상에 대한 패딩 방식의 제4 예를 예시한 도면.
도 12는 본 발명의 일 실시예에 따른 부호화 장치가 이퀴렉탱귤러 포맷의 영상에 대한 패딩 방식의 제4 예에서 일부 픽셀의 세로 배열 순서를 변경한 예를 예시한 도면.
도 13은 본 발명의 일 실시예에 따른 부호화 장치가 입력받은 큐브 포맷의 영상의 가장자리 영역 중 구 상에 대응시킨 영상에서 서로 연결되는 부분을 표시한 도면.
도 14는 본 발명의 일 실시예에 따른 부호화 장치가 큐브 포맷 영상의 일 페이스에 대한 패딩을 수행한 것을 예시한 도면.
도 15는 본 발명의 일 실시예에 따른 부호화 장치가 큐브 포맷 영상의 타 페이스에 대한 패딩을 수행한 것을 예시한 도면.
도 16은 본 발명의 일 실시예에 따른 부호화 장치가 큐브 포맷 영상의 중심점을 이용하여 패딩을 수행한 것을 예시한 도면.
도 17은 본 발명의 일 실시예에 따른 복호화 장치가 360도 영상을 부호화하는 과정을 예시한 순서도.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
이하 기술하는 360도 영상은 이퀴렉탱귤러(Equirectangular) 포맷 영상, 큐브 포맷 영상 등의 2개의 축(가로축 및 세로축)을 기준으로 360도 범위에 해당하는 영역을 촬영한 영상이거나, 파노라마 영상 등의 1개의 축을 기준으로 360도 범위에 해당하는 영역을 촬영한 영상일 수 있다.
도 1은 본 발명의 일 실시예에 따른 부호화 장치를 예시한 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 부호화 장치는 프로세서(110), 메모리(120), 저장부(130), 사용자 인터페이스 입력부(140) 및 사용자 인터페이스 출력부(150) 중 적어도 하나 이상의 요소를 포함할 수 있으며, 이들은 버스(160)를 통해 서로 통신할 수 있다. 또한, 부호화 장치는 네트워크나 접속 단자를 통해 외부 장치에 접속하기 위한 네트워크 인터페이스(170)를 또한 포함할 수 있다. 프로세서(110)는 메모리(120) 및/또는 저장부(130)에 저장된 명령어를 실행시키는 CPU 또는 반도체 소자일 수 있다. 메모리(120) 및 저장부(130)는 다양한 유형의 휘발성/비휘발성 기억 매체를 포함할 수 있다. 예를 들어, 메모리는 ROM(124) 및 RAM(125)를 포함할 수 있다.
즉, 본 발명의 일 실시예에 따른 부호화 장치는 컴퓨터 시스템의 형태로 구현될 수 있으며, 저장된 명령어에 따라 영상을 재생하는 기능을 수행한다.
도 2는 본 발명의 일 실시예에 따른 부호화 장치가 360도 영상을 부호화하는 과정을 예시한 순서도이고, 도 3은 본 발명의 일 실시예에 따른 부호화 장치가 패딩을 적용하는 패딩 영역을 예시한 도면이다. 이하 설명하는 각 단계는 부호화 장치를 구성하는 각 기능부를 통해 수행되는 과정이나, 발명의 간략하고 명확한 설명을 위해 각 단계의 주체를 부호화 장치로 통칭하도록 한다.
도 2를 참조하면, 단계 210에서 부호화 장치는 카메라, 저장 매체 등의 외부 장치로부터 360도 영상을 입력 받는다. 예를 들어, 부호화 장치는 구 상에 투영되는 영상을 직사각형의 평면 형태로 변환한 이퀴렉탱귤러 포맷의 영상 또는 구 상에 투영되는 영상을 정육면체의 형태로 변환하고, 해당 정육면체를 펼친 형태로 변환한 큐브 포맷의 영상을 입력 받을 수 있다.
단계 220에서 부호화 장치는 영상에 대해 패딩(padding)을 수행한다. 이 때, 패딩은 모션 벡터를 예측하기 위해 블록으로부터 지정된 탐색 범위 내에 있는 영상의 가장자리 바깥 영역인 패딩 영역(도 3의 510)의 각 픽셀값을 설정하는 과정이다. 추후 부호화 장치가 수행하는 패딩 과정을 상세히 설명하도록 한다.
단계 230에서 부호화 장치는 영상의 각 블록에 대한 모션 벡터를 예측한다.
단계 240에서 부호화 장치는 예측된 모션 벡터에 따른 대상 블록의 부호화를 수행하여 부호화 데이터를 생성한다. 이 때, 영상을 통해 모션 벡터를 예측하는 과정 및 부호화은 표준 등의 공지된 방법에 따른 과정일 수 있다. 따라서, 부호화 데이터는 각 블록에 대한 모션 벡터를 포함할 수 있다.
도 4는 본 발명의 일 실시예에 따른 부호화 장치가 입력받은 이퀴렉탱귤러 포맷 영상 또는 파노라마 영상의 가장자리 영역 중 구 상에 대응시킨 영상에서 서로 연결되는 부분을 표시한 도면이다.
도 4를 참조하면, 이퀴렉탱귤러 포맷 영상 또는 파노라마 영상의 좌측 가장자리에 해당하는 영역은 영상의 우측 가장자리에 해당하는 영역과 영상이 구 상에 투영되어 있는 경우 접한다. 또한, 이퀴렉탱귤러 포맷 영상 또는 파노라마 영상의 상측 가장자리에 해당하는 영역에 해당하는 픽셀은 구 상에서 서로 접하고, 영상의 하측 가장자리에 해당하는 영역에 해당하는 픽셀은 구 상에서 서로 접한다. 부호화 장치는 구 상에서 영상의 좌측 가장자리와 우측 가장자리가 접하는 것과 같이 좌측 가장자리에 접한 패딩 영역에 대한 패딩을 우측 가장자리에 위치한 픽셀값으로 수행한다. 이하, 영상 상에서 특정 영역과 인접하지(미리 지정된 간격 이내에 위치하지 않은) 않으나 해당 영상이 구 상에 매핑된 상황에서 특정 영역과 인접한(미리 지정된 간격 이내에 위치한) 타 영역을 인접 영역이라 지칭하도록 한다.
따라서, 이퀴렉탱귤러 포맷 영상 또는 파노라마 영상의 일측에 해당하는 패딩 영역의 픽셀은 구 상에서 접한 영상 상의 영역의 픽셀값에 따라 패딩되는 경우, 부호화 과정에서 예측된 모션 벡터의 정확성을 높일 수 있고, 부호화 장치는 정확하게 예측된 모션 벡터를 통해 영상을 부호화함에 따라 부호화된 영상의 용량을 줄일 수 있다.
이하 도 5 내지 도 8을 참조하여 이퀴렉탱귤러 포맷 영상 또는 파노라마 영상에 대한 패딩 과정을 상세히 설명하도록 한다. 이 때, 이하 설명하는 도 5 내지 도 8에 예시된 원으로 표시된 각 픽셀 중 원의 해칭 및 숫자가 동일한 픽셀들은 서로 같은 픽셀값을 가지는 것을 가지는 것을 가정한다.
도 5는 본 발명의 일 실시예에 따른 부호화 장치가 이퀴렉탱귤러 포맷 영상 또는 파노라마 영상에 대한 패딩 방식의 제1 예를 예시한 도면이고, 도 6은 본 발명의 일 실시예에 따른 부호화 장치가 이퀴렉탱귤러 포맷 영상 또는 파노라마 영상에 대한 패딩 방식의 제1 예에서 일부 픽셀의 세로 배열 순서를 변경한 예를 예시한 도면이다.
도 5를 참조하면, 부호화 장치는 영상의 좌측 패딩 영역(710)의 픽셀값을 영상의 최우측 열부터 좌측 패딩 영역(710)의 열 수 내의 영역의 픽셀값과 같이 설정한다.
또한, 부호화 장치는 영상의 우측 패딩 영역(720)의 픽셀값을 영상의 최좌측 열부터 우측 패딩 영역(720)의 열 수 내의 영역의 픽셀값과 같이 설정한다.
따라서, 부호화 장치는 구 상에서 원래 접해있던 픽셀이 서로 접한 형태가 되도록 패딩을 수행할 수 있다.
부호화 장치는 영상의 최상측 행부터 제1 상측 패딩 영역(730)의 행 수에 해당하는 행까지의 영역에 해당하는 픽셀 중 최우측 열부터 제1 상측 패딩 영역(730)의 열 수에 해당하는 열까지의 영역에 해당하는 픽셀의 값으로 제1 상측 패딩 영역(730)의 픽셀값을 설정한다.
부호화 장치는 영상의 최상측 행부터 제2 상측 패딩 영역(740)의 행 수에 해당하는 행까지의 영역에 해당하는 픽셀 중 최좌측 열부터 제2 상측 패딩 영역(740)의 열 수에 해당하는 열까지의 영역에 해당하는 픽셀의 값으로 제2 상측 패딩 영역(740)의 픽셀값을 설정한다.
이 때, 제1 상측 패딩 영역(730)은 영상의 상측에 위치한 패딩 영역을 영상의 중심점을 지나는 수직선을 기준으로 나눈 영역 중 좌측에 위치하는 영역이고, 제2 상측 패딩 영역(740)은 영상의 상측에 위치한 패딩 영역을 영상의 중심점을 지나는 수직선을 기준으로 나눈 영역 중 우측에 위치하는 영역일 수 있다.
부호화 장치는 영상의 최하측 행부터 제1 하측 패딩 영역(750)의 행 수에 해당하는 행까지의 영역에 해당하는 픽셀 중 최우측 열부터 제1 하측 패딩 영역(750)의 열 수에 해당하는 열까지의 영역에 해당하는 픽셀의 값으로 제1 하측 패딩 영역(750)의 픽셀값을 설정한다.
부호화 장치는 영상의 최하측 행부터 제2 하측 패딩 영역(760)의 행 수에 해당하는 행까지의 영역에 해당하는 픽셀 중 최좌측 열부터 제2 하측 패딩 영역(760)의 열 수에 해당하는 열까지의 영역에 해당하는 픽셀의 값으로 제2 하측 패딩 영역(760)의 픽셀값을 설정한다.
이 때, 제1 하측 패딩 영역(750)은 영상의 하측에 위치한 패딩 영역을 영상의 중심점을 지나는 수직선을 기준으로 나눈 영역 중 좌측에 위치하는 영역이고, 제2 하측 패딩 영역(760)은 영상의 하측에 위치한 패딩 영역을 영상의 중심점을 지나는 수직선을 기준으로 나눈 영역 중 우측에 위치하는 영역일 수 있다.
이 때, 구현 방식에 따라 부호화 장치는 도 6과 같이 제1 상측 패딩 영역(730), 제2 상측 패딩 영역(740), 제1 하측 패딩 영역(750) 및 제2 하측 패딩 영역(760)에 포함되는 픽셀에 대한 세로 배열 순서를 영상의 순서에 비해 역순이 되도록 할 수 있다.
도 7은 본 발명의 일 실시예에 따른 부호화 장치가 이퀴렉탱귤러 포맷 영상 또는 파노라마 영상에 대한 패딩 방식의 제2 예를 예시한 도면이고, 도 8은 본 발명의 일 실시예에 따른 부호화 장치가 이퀴렉탱귤러 포맷 영상 또는 파노라마 영상에 대한 패딩 방식의 제2 예에서 일부 픽셀의 세로 배열 순서를 변경한 예를 예시한 도면이다.
도 7을 참조하면, 부호화 장치는 영상의 좌측 패딩 영역(710)의 픽셀값을 영상의 최우측 열부터 좌측 패딩 영역(710)의 열 수 내의 영역에 해당하는 픽셀값과 같이 설정한다.
또한, 부호화 장치는 영상의 우측 패딩 영역(720)의 픽셀값을 영상의 최좌측 열부터 우측 패딩 영역(720)의 열 수 내의 영역에 해당하는 픽셀값과 같이 설정한다.
따라서, 부호화 장치는 구 상에서 원래 접해있던 픽셀이 서로 접한 형태가 되도록 패딩을 수행할 수 있다.
부호화 장치는 영상의 최상측 행부터 정상측 패딩 영역(810)의 행 수에 해당하는 행까지의 영역에 해당하는 픽셀값으로 정상측 패딩 영역(810)의 픽셀값을 설정한다. 이 때, 정상측 패딩 영역(810)은 영상의 상측에 위치하는 픽셀 중 영상에 포함된 각 픽셀 지나는 가상의 수직선 상에 위치하는 픽셀을 포함하는 영역을 의미한다.
부호화 장치는 영상의 최하측 행부터 정하측 패딩 영역(820)의 행 수에 해당하는 행까지의 영역에 해당하는 픽셀값으로 정하측 패딩 영역(820)의 픽셀값을 설정한다. 이 때, 정하측 패딩 영역(820)은 영상의 하측에 위치하는 픽셀 중 영상에 포함된 각 픽셀 지나는 가상의 수직선 상에 위치하는 픽셀을 포함하는 영역을 의미한다.
부호화 장치는 영상의 최우상측에 위치한 픽셀부터 좌상측 패딩 영역(830)의 행 수 및 열 수에 대응하는 영역의 픽셀값을 좌상측 패딩 영역(830)의 픽셀값으로 설정한다. 이 때, 좌상측 패딩 영역(830)은 정상측 패딩 영역(810), 정하측 패딩 영역(820), 좌측 패딩 영역(810) 및 우측 패딩 영역(820)을 제외한 나머지 패딩 영역 중 영상의 좌상측에 위치한 패딩 영역을 의미한다.
부호화 장치는 영상의 최좌상측에 위치한 픽셀부터 우상측 패딩 영역(840)의 행 수 및 열 수에 대응하는 영역의 픽셀값을 우상측 패딩 영역(840)의 픽셀값으로 설정한다. 이 때, 우상측 패딩 영역(840)은 정상측 패딩 영역(810), 정하측 패딩 영역(820), 좌측 패딩 영역(810) 및 우측 패딩 영역(820)을 제외한 나머지 패딩 영역 중 영상의 우상측에 위치한 패딩 영역을 의미한다.
부호화 장치는 영상의 최우하측에 위치한 픽셀부터 좌하측 패딩 영역(850)의 행 수 및 열 수에 대응하는 영역의 픽셀값을 좌하측 패딩 영역(850)의 픽셀값으로 설정한다. 이 때, 좌하측 패딩 영역(850)은 정상측 패딩 영역(810), 정하측 패딩 영역(820), 좌측 패딩 영역(810) 및 우측 패딩 영역(820)을 제외한 나머지 패딩 영역 중 영상의 좌하측에 위치한 패딩 영역을 의미한다.
부호화 장치는 영상의 최좌하측에 위치한 픽셀부터 우하측 패딩 영역(860)의 행 수 및 열 수에 대응하는 영역의 픽셀값을 우하측 패딩 영역(860)의 픽셀값으로 설정한다. 이 때, 우하측 패딩 영역(860)은 정상측 패딩 영역(810), 정하측 패딩 영역(820), 좌측 패딩 영역(810) 및 우측 패딩 영역(820)을 제외한 나머지 패딩 영역 중 영상의 우하측에 위치한 패딩 영역을 의미한다.
이 때, 구현 방식에 따라 부호화 장치는 도 8과 같이 좌측 패딩 영역(710) 및 우측 패딩 영역(720) 이외 나머지 패딩 영역에 포함되는 픽셀에 대한 세로 배열 순서를 영상의 순서에 비해 역순이 되도록 할 수 있다.
도 9는 본 발명의 일 실시예에 따른 부호화 장치가 이퀴렉탱귤러 포맷 영상 또는 파노라마 영상에 대한 패딩 방식의 제3 예를 예시한 도면이고, 도 10은 본 발명의 일 실시예에 따른 부호화 장치가 이퀴렉탱귤러 포맷 영상 또는 파노라마 영상에 대한 패딩 방식의 제3 예에서 일부 픽셀의 세로 배열 순서를 변경한 예를 예시한 도면이다.
도 9를 참조하면, 부호화 장치는 영상의 좌측 패딩 영역(710)의 픽셀값을 영상의 최우측 열부터 좌측 패딩 영역(710)의 열 수 내의 영역에 해당하는 픽셀값과 같이 설정한다.
또한, 부호화 장치는 영상의 우측 패딩 영역(720)의 픽셀값을 영상의 최좌측 열부터 우측 패딩 영역(720)의 열 수 내의 영역에 해당하는 픽셀값과 같이 설정한다.
따라서, 부호화 장치는 구 상에서 원래 접해있던 픽셀이 서로 접한 형태가 되도록 패딩을 수행할 수 있다.
부호화 장치는 영상의 최상측 행부터 제1 상측 패딩 영역(730)의 행 수에 해당하는 행까지의 영역에 해당하는 픽셀 중 최좌측 열부터 제1 상측 패딩 영역(730)의 열 수에 해당하는 열까지의 영역에 해당하는 픽셀의 수평 배열 순서를 역순으로 배열하고, 역순으로 배열된 픽셀의 픽셀값으로 제1 상측 패딩 영역(730)의 픽셀값을 설정한다.
부호화 장치는 영상의 최상측 행부터 제2 상측 패딩 영역(740)의 행 수에 해당하는 행까지의 영역에 해당하는 픽셀 중 최우측 열부터 제2 상측 패딩 영역(740)의 열 수에 해당하는 열까지의 영역에 해당하는 픽셀의 수평 배열 순서를 역순으로 배열하고, 역순으로 배열된 픽셀의 픽셀값으로 값으로 제2 상측 패딩 영역(740)의 픽셀값을 설정한다.
이 때, 제1 상측 패딩 영역(730)은 영상의 상측에 위치한 패딩 영역을 영상의 중심점을 지나는 수직선을 기준으로 나눈 영역 중 좌측에 위치하는 영역이고, 제2 상측 패딩 영역(740)은 영상의 상측에 위치한 패딩 영역을 영상의 중심점을 지나는 수직선을 기준으로 나눈 영역 중 우측에 위치하는 영역일 수 있다.
부호화 장치는 영상의 최하측 행부터 제1 하측 패딩 영역(750)의 행 수에 해당하는 행까지의 영역에 해당하는 픽셀 중 최좌측 열부터 제1 하측 패딩 영역(750)의 열 수에 해당하는 열까지의 영역에 해당하는 픽셀의 수평 배열 순서를 역순으로 배열하고, 역순으로 배열된 픽셀의 픽셀값으로 제1 하측 패딩 영역(750)의 픽셀값을 설정한다.
부호화 장치는 영상의 최하측 행부터 제2 하측 패딩 영역(760)의 행 수에 해당하는 행까지의 영역에 해당하는 픽셀 중 최우측 열부터 제2 하측 패딩 영역(760)의 열 수에 해당하는 열까지의 영역에 해당하는 픽셀의 수평 배열 순서를 역순으로 배열하고, 역순으로 배열된 픽셀의 픽셀값으로 값으로 제2 하측 패딩 영역(760)의 픽셀값을 설정한다.
이 때, 제1 상측 패딩 영역(730)은 영상의 상측에 위치한 패딩 영역을 영상의 중심점을 지나는 수직선을 기준으로 나눈 영역 중 좌측에 위치하는 영역이고, 제2 상측 패딩 영역(740)은 영상의 상측에 위치한 패딩 영역을 영상의 중심점을 지나는 수직선을 기준으로 나눈 영역 중 우측에 위치하는 영역일 수 있다.
이 때, 구현 방식에 따라 부호화 장치는 도 10과 같이 제1 상측 패딩 영역(730), 제2 상측 패딩 영역(740), 제1 하측 패딩 영역(750) 및 제2 하측 패딩 영역(760)에 포함되는 픽셀에 대한 세로 배열 순서를 영상의 순서에 비해 역순이 되도록 할 수 있다.
도 11은 본 발명의 일 실시예에 따른 부호화 장치가 이퀴렉탱귤러 포맷 영상 또는 파노라마 영상에 대한 패딩 방식의 제4 예를 예시한 도면이고, 도 12는 본 발명의 일 실시예에 따른 부호화 장치가 이퀴렉탱귤러 포맷 영상 또는 파노라마 영상에 대한 패딩 방식의 제4 예에서 일부 픽셀의 세로 배열 순서를 변경한 예를 예시한 도면이다.
부호화 장치는 영상의 좌측 패딩 영역(710)의 픽셀값을 영상의 최우측 열부터 좌측 패딩 영역(710)의 열 수 내의 영역에 해당하는 픽셀값과 같이 설정한다.
또한, 부호화 장치는 영상의 우측 패딩 영역(720)의 픽셀값을 영상의 최좌측 열부터 우측 패딩 영역(720)의 열 수 내의 영역에 해당하는 픽셀값과 같이 설정한다.
따라서, 부호화 장치는 구 상에서 원래 접해있던 픽셀이 서로 접한 형태가 되도록 패딩을 수행할 수 있다.
부호화 장치는 영상의 최상측 행부터 정상측 패딩 영역(810)의 행 수에 해당하는 행까지의 영역에 해당하는 픽셀들의 수평 배열 순서가 역순으로 배열되도록 하고, 역순으로 배열된 각 픽셀의 픽셀값을 정상측 패딩 영역(810)의 픽셀값으로 설정한다.
부호화 장치는 영상의 최하측 행부터 정하측 패딩 영역(820)의 행 수에 해당하는 행까지의 영역에 해당하는 픽셀들의 수평 배열 순서가 역순으로 배열되도록 하고, 역순으로 배열된 각 픽셀의 픽셀값을 정하측 패딩 영역(820)의 픽셀값으로 설정한다.
부호화 장치는 영상의 최좌상측에 위치한 픽셀부터 좌상측 패딩 영역(830)의 행 수 및 열 수에 대응하는 영역에 해당하는 픽셀들의 수평 배열 순서가 역순으로 배열되도록 하고, 역순으로 배열된 각 픽셀의 픽셀값을 좌상측 패딩 영역(830)의 픽셀값으로 설정한다.
부호화 장치는 영상의 최우상측에 위치한 픽셀부터 우상측 패딩 영역(840)의 행 수 및 열 수에 대응하는 영역의 픽셀들의 수평 배열 순서가 역순으로 배열되도록 하고, 역순으로 배열된 각 픽셀의 픽셀값을 우상측 패딩 영역(840)의 픽셀값으로 설정한다.
부호화 장치는 영상의 최우하측에 위치한 픽셀부터 좌하측 패딩 영역(850)의 행 수 및 열 수에 대응하는 영역의 픽셀들의 수평 배열 순서가 역순으로 배열되도록 하고, 역순으로 배열된 각 픽셀의 픽셀값을 좌하측 패딩 영역(850)의 픽셀값으로 설정한다.
부호화 장치는 영상의 최좌하측에 위치한 픽셀부터 우하측 패딩 영역(860)의 행 수 및 열 수에 대응하는 영역의 픽셀들의 수평 배열 순서가 역순으로 배열되도록 하고, 역순으로 배열된 각 픽셀의 픽셀값을 우하측 패딩 영역(860)의 픽셀값으로 설정한다.
이 때, 구현 방식에 따라 부호화 장치는 도 12와 같이 좌측 패딩 영역(710) 및 우측 패딩 영역(720) 이외 나머지 패딩 영역에 포함되는 픽셀에 대한 세로 배열 순서를 영상의 순서에 비해 역순이 되도록 할 수 있다.
지금까지 이퀴렉탱귤러 포맷 영상 또는 파노라마 영상에 대한 패딩 과정을 상세히 설명하였다.
이하 도 13 내지 도 15를 참조하여 큐브 포맷의 영상에 대한 패딩 과정을 상세히 설명하도록 한다.
도 13은 본 발명의 일 실시예에 따른 부호화 장치가 입력받은 큐브 포맷의 영상의 가장자리 영역 중 구 상에 대응시킨 영상에서 서로 연결되는 부분을 표시한 도면이다.
도 13을 참조하면, 큐브 포맷 영상은 6개의 페이스(face)로 구성된 영상으로, 각 페이스를 한 면으로 하는 정육면체에서 각 가장자리 영역은 타 가장자리 영역과 접한다. 부호화 장치는 큐브 포맷 영상을 정육면체로 형성하였을 때, 도 13에서 같은 해칭으로 표현한 두 가장 자리 영역이 구 상에 대응하는 영상에서 인접하는 영역임을 이용하여 패딩을 수행한다.
예를 들어, 부호화 장치는 제2 페이스(1120)의 상측 가장자리 영역과 접하는 제1 페이스(1110)의 좌측 가장 자리 영역의 각 픽셀값을 제2 페이스(1120)의 상측 패딩 영역의 픽셀값으로 설정할 수 있다. 또한, 부호화 장치는 제1 페이스(1110)의 좌측 패딩 영역의 픽셀값을 제2 페이스(1120)의 상측 가장자리 영역의 픽셀값으로 설정할 수 있다.
즉, 부호화 장치는 각 페이스 별 패딩을 각각 수행하고, 특정 페이스 상의 블록의 부호화를 위해 패딩 영역을 참조해야 하는 경우, 해당 페이스에 상응하여 패딩된 픽셀값을 참조할 수 있다.
이하, 도 14 내지 도 15를 참조하여 큐브 포맷 영상에 대한 패딩 과정을 상세히 설명하도록 한다.
도 14는 본 발명의 일 실시예에 따른 부호화 장치가 큐브 포맷 영상의 일 페이스에 대한 패딩을 수행한 것을 예시한 도면이고, 도 15는 본 발명의 일 실시예에 따른 부호화 장치가 큐브 포맷 영상의 타 페이스에 대한 패딩을 수행한 것을 예시한 도면이다.
도 14를 참조하면, 부호화 장치는 제1 페이스(1110)의 좌측 패딩 영역(1220)의 픽셀값을 제2 페이스(1120)의 상측 가장 자리 영역(1210)의 픽셀값에 따라 설정할 수 있다.
또한, 도 15를 참조하면, 부호화 장치는 제2 페이스(1120)의 상측 패딩 영역(1310)의 픽셀값을 제1 페이스(1110)의 좌측 가장 자리 영역(1320)의 픽셀값에 따라 설정할 수 있다.
따라서, 좌측 패딩 영역(1220)과 상측 패딩 영역(1310) 간에 겹치는 영역의 픽셀값은 제1 페이스(1110)에 대해 패딩된 픽셀값과 제2 페이스(1120)에 대해 패딩된 픽셀값으로 각각 설정될 수 있다.
즉, 부호화 장치는 큐브 포맷 영상에 대한 전체 패딩 영역에 대해 패딩을 수행하는 것이 아닌, 각 페이스에 대응하는 패딩 영역에 대해 각각 패딩을 수행한다. 따라서, 특정 패딩 영역의 픽셀값은 페이스별 상이한 값으로 설정될 수 있다.
이 때, 부호화 장치는 도 14 및 도 15를 참조하여 상술한 바와 달리 큐브 포맷 영상에 대한 패딩 과정을 큐브 포맷 영상을 큐브 형태로 나타내었을 때, 중심점을 이용하여 수행하는 것으로 변경될 수 있다. 이하, 중심점을 이용한 패딩 과정을 도 16을 참조하여 설명하도록 한다.
도 16은 본 발명의 일 실시예에 따른 부호화 장치가 큐브 포맷 영상의 중심점을 이용하여 패딩을 수행한 것을 예시한 도면이다.
도 16을 참조하면, 부호화 장치는 큐브 포맷 영상의 각 페이스를 면으로 하는 큐브 형태로 나타내었을 때, 각 페이스의 패딩 영역(큐브의 하단면에 해당하는 페이스의 패딩 영역은 1810임) 내에 위치한 대상점(1820)과 중심점(1830)을 이은 가상의 선이 각 페이스 중 어느 하나와 만나는 접점(1840)을 대상점(1820)의 값으로 설정하는 패딩을 수행한다. 이 때, 중심점(1830)은 큐브 형태의 3차원 좌표계 상 중심점을 의미한다.
부호화 장치는 상술한 바와 같이 모든 페이스의 패딩 영역 내에 위치한 모든 점을 대상점으로 하여 패딩을 수행하는 과정을 반복 수행할 수 있다.
도 17은 본 발명의 일 실시예에 따른 복호화 장치가 360도 영상을 부호화하는 과정을 예시한 순서도이다.
도 17을 참조하면, 단계 2210에서 복호화 장치는 부호화 장치가 생성한 부호화 데이터를 입력 받는다.
단계 2220에서 복호화 장치는 레퍼런스 프레임의 영상에 대해 패딩(padding)을 수행한다. 이 때, 패딩은 모션 벡터를 예측하기 위해 블록으로부터 지정된 탐색 범위 내에 있는 영상의 가장자리 바깥 영역인 패딩 영역(도 3의 510)의 각 픽셀값을 설정하는 과정이다. 이 때, 복호화 장치는 도 5 내지 도 16을 참조하여 상술한 과정에 따라 패딩을 수행할 수 있다.
단계 2230에서 복호화 장치는 부호화 데이터로부터 복호화할 블록인 복호 대상 블록의 모션 벡터를 추출한다.
단계 2240에서 복호화 장치는 모션 벡터에 따른 복호 대상 블록의 복호화를 수행한다. 이 때, 모션 벡터에 따른 복호 대상 블록의 복호화 과정은 표준 등의 공지된 복호화 방식을 따를 수 있다.
따라서, 상술한 복호화 장치는 360도 영상에 적합한 모션 벡터를 예측하기 위한 탐색 범위 설정 또는 패딩을 수행함으로써, 각 블록에 대해 일반적인 부호화 방식에 비해 압축 효율이 높은 부호화 데이터를 복호화할 수 있다.
이제까지 본 발명에 대하여 그 실시 예를 중심으로 살펴보았다. 전술한 실시 예 외의 많은 실시 예들이 본 발명의 특허청구범위 내에 존재한다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예는 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (28)

  1. 영상에 대한 부호화를 수행하는 명령어를 저장하는 메모리; 및
    상기 명령어에 따라 상기 영상을 부호화하는 프로세서;
    를 포함하되,
    상기 프로세서는,
    상기 영상의 일 가장자리 영역에 대응하는 패딩 영역의 픽셀값을 상기 영상이 투영된 구 상에서 상기 일 가장자리 영역과 접하는 상기 영상의 타 가장 자리 영역을 참조하여 설정하는 패딩을 수행하고,
    상기 패딩 영역의 픽셀값을 참조하여 모션 벡터를 예측하고,
    상기 모션 벡터를 참조하여 상기 영상을 부호화하여 부호화 데이터를 생성하고,
    상기 영상은 360도 영상인 것을 특징으로 하는 부호화 장치.
  2. 부호화 장치가 영상을 부호화하는 방법에 있어서,
    상기 영상의 일 가장자리 영역에 대응하는 패딩 영역의 픽셀값을 상기 영상이 투영된 구 상에서 상기 일 가장자리 영역과 접하는 상기 영상의 타 가장자리 영역을 참조하여 설정하는 패딩을 수행하는 단계;
    상기 패딩 영역의 픽셀값을 참조하여 모션 벡터를 예측하는 단계; 및
    상기 모션 벡터를 참조하여 상기 영상을 부호화하는 단계;
    를 포함하되,
    상기 영상은 360도 영상인 것을 특징으로 하는 부호화 방법.
  3. 부호화 데이터에 대한 복호화를 수행하는 명령어를 저장하는 메모리; 및
    상기 명령어에 따라 상기 부호화 데이터를 복호화하는 프로세서;
    를 포함하되,
    상기 프로세서는,
    상기 부호화 데이터에 대응하는 레퍼런스 프레임의 일 가장자리 영역에 대응하는 패딩 영역의 픽셀값을 상기 영상이 투영된 구 상에서 상기 일 가장자리 영역과 접하는 상기 영상의 타 가장 자리 영역을 참조하여 설정하는 패딩을 수행하고,
    상기 부호화 데이터로부터 복호 대상 블록의 모션 벡터를 추출하고,
    상기 모션 벡터 및 상기 패딩 영역의 픽셀값을 참조하여 상기 복호 대상 블록의 복호화를 수행하여 360도 영상을 생성하는 것을 특징으로 하는 복호화 장치.
  4. 제3 항에 있어서,
    상기 프로세서는,
    상기 레퍼런스 프레임이 이퀴렉탱귤러(Equirectangular) 포맷 영상 또는 파노라마(panorama) 포맷 영상인 경우, 상기 레퍼런스 프레임의 좌측 패딩 영역의 픽셀값을 상기 레퍼런스 프레임의 최우측 열부터 상기 좌측 패딩 영역의 열 수 내의 영역에 대응하는 픽셀값과 같이 설정하고,
    상기 레퍼런스 프레임의 우측 패딩 영역의 픽셀값을 상기 레퍼런스 프레임의 최좌측 열부터 상기 우측 패딩 영역의 열 수 내의 영역에 대응하는 픽셀값과 같이 설정하여 패딩을 수행하는 것을 특징으로 하는 복호화 장치.
  5. 제3 항에 있어서,
    상기 프로세서는,
    상기 레퍼런스 프레임의 최상측 행부터 제1 상측 패딩 영역의 행 수에 해당하는 행까지의 영역에 해당하는 픽셀 중 최우측 열부터 상기 제1 상측 패딩 영역의 열 수에 해당하는 열까지의 영역에 해당하는 픽셀의 값으로 상기 제1 상측 패딩 영역의 픽셀값을 설정하고,
    상기 레퍼런스 프레임의 최상측 행부터 제2 상측 패딩 영역의 행 수에 해당하는 행까지의 영역에 해당하는 픽셀 중 최좌측 열부터 상기 제2 상측 패딩 영역의 열 수에 해당하는 열까지의 영역에 해당하는 픽셀의 값으로 상기 제2 상측 패딩 영역의 픽셀값을 설정하고,
    상기 레퍼런스 프레임의 최하측 행부터 제1 하측 패딩 영역의 행 수에 해당하는 행까지의 영역에 해당하는 픽셀 중 최우측 열부터 상기 제1 하측 패딩 영역의 열 수에 해당하는 열까지의 영역에 해당하는 픽셀의 값으로 상기 제1 하측 패딩 영역의 픽셀값을 설정하고,
    상기 레퍼런스 프레임의 최하측 행부터 제2 하측 패딩 영역의 행 수에 해당하는 행까지의 영역에 해당하는 픽셀 중 최좌측 열부터 상기 제2 하측 패딩 영역의 열 수에 해당하는 열까지의 영역에 해당하는 픽셀의 값으로 상기 제2 하측 패딩 영역의 픽셀값을 설정하고,
    상기 제1 상측 패딩 영역은 상기 레퍼런스 프레임의 상측에 위치한 패딩 영역을 상기 레퍼런스 프레임의 중심점을 지나는 수직선을 기준으로 나눈 영역 중 좌측에 위치하는 영역이고, 상기 제2 상측 패딩 영역은 상기 레퍼런스 프레임의 상측에 위치한 패딩 영역을 상기 레퍼런스 프레임의 중심점을 지나는 수직선을 기준으로 나눈 영역 중 우측에 위치하는 영역이고,
    상기 제1 하측 패딩 영역은 상기 레퍼런스 프레임의 하측에 위치한 패딩 영역을 상기 레퍼런스 프레임의 중심점을 지나는 수직선을 기준으로 나눈 영역 중 좌측에 위치하는 영역이고, 상기 제2 하측 패딩 영역은 상기 레퍼런스 프레임의 하측에 위치한 패딩 영역을 상기 레퍼런스 프레임의 중심점을 지나는 수직선을 기준으로 나눈 영역 중 우측에 위치하는 영역인 것을 특징으로 하는 복호화 장치.
  6. 제5 항에 있어서,
    상기 프로세서는,
    상기 제1 상측 패딩 영역, 상기 제2 상측 패딩 영역, 상기 제1 하측 패딩 영역 및 상기 제2 하측 패딩 영역에 패딩된 픽셀의 값의 세로 순서를 역순으로 재배열하는 것을 특징으로 하는 복호화 장치.
  7. 제3 항에 있어서,
    상기 프로세서는,
    상기 레퍼런스 프레임의 최상측 행부터 정상측 패딩 영역의 행 수에 해당하는 행까지의 영역에 해당하는 픽셀값으로 상기 정상측 패딩 영역의 픽셀값을 설정하고,
    상기 레퍼런스 프레임의 최하측 행부터 정하측 패딩 영역의 행 수에 해당하는 행까지의 영역에 해당하는 픽셀값으로 상기 정하측 패딩 영역의 픽셀값을 설정하고,
    상기 정상측 패딩 영역은 상기 레퍼런스 프레임의 상측에 위치하는 픽셀 중 상기 레퍼런스 프레임에 포함된 각 픽셀을 지나는 가상의 수직선 상에 위치하는 픽셀을 포함하는 영역이고,
    상기 정하측 패딩 영역은 상기 레퍼런스 프레임의 하측에 위치하는 픽셀 중 상기 레퍼런스 프레임에 포함된 각 픽셀을 지나는 가상의 수직선 상에 위치하는 픽셀을 포함하는 영역인 것을 특징으로 하는 복호화 장치.
  8. 제7 항에 있어서,
    상기 프로세서는,
    상기 정상측 패딩 영역 및 상기 정하측 패딩 영역에 패딩된 픽셀의 값의 세로 순서를 역순으로 재배열하는 것을 특징으로 하는 복호화 장치.
  9. 제3 항에 있어서,
    상기 프로세서는,
    상기 레퍼런스 프레임의 최상측 행부터 제1 상측 패딩 영역의 행 수에 해당하는 행까지의 영역에 해당하는 픽셀 중 최좌측 열부터 상기 제1 상측 패딩 영역의 열 수에 해당하는 열까지의 영역에 해당하는 픽셀의 수평 배열 순서를 역순으로 배열하고, 역순으로 배열된 상기 픽셀의 픽셀값으로 상기 제1 상측 패딩 영역의 픽셀값을 설정하고,
    상기 레퍼런스 프레임의 최상측 행부터 제2 상측 패딩 영역의 행 수에 해당하는 행까지의 영역에 해당하는 픽셀 중 최우측 열부터 상기 제2 상측 패딩 영역의 열 수에 해당하는 열까지의 영역에 해당하는 픽셀의 수평 배열 순서를 역순으로 배열하고, 역순으로 배열된 상기 픽셀의 픽셀값으로 상기 제2 상측 패딩 영역의 픽셀값을 설정하고,
    상기 레퍼런스 프레임의 최하측 행부터 제1 하측 패딩 영역의 행 수에 해당하는 행까지의 영역에 해당하는 픽셀 중 최좌측 열부터 상기 제1 하측 패딩 영역의 열 수에 해당하는 열까지의 영역에 해당하는 픽셀의 수평 배열 순서를 역순으로 배열하고, 역순으로 배열된 상기 픽셀의 픽셀값으로 상기 제1 하측 패딩 영역의 픽셀값을 설정하고,
    상기 레퍼런스 프레임의 최하측 행부터 제2 하측 패딩 영역의 행 수에 해당하는 행까지의 영역에 해당하는 픽셀 중 최우측 열부터 상기 제2 하측 패딩 영역의 열 수에 해당하는 열까지의 영역에 해당하는 픽셀의 수평 배열 순서를 역순으로 배열하고, 역순으로 배열된 상기 픽셀의 픽셀값으로 상기 제2 하측 패딩 영역의 픽셀값을 설정하고,
    상기 제1 상측 패딩 영역은 상기 레퍼런스 프레임의 상측에 위치한 패딩 영역을 상기 레퍼런스 프레임의 중심점을 지나는 수직선을 기준으로 나눈 영역 중 좌측에 위치하는 영역이고, 상기 제2 상측 패딩 영역은 상기 레퍼런스 프레임의 상측에 위치한 패딩 영역을 상기 레퍼런스 프레임의 중심점을 지나는 수직선을 기준으로 나눈 영역 중 우측에 위치하는 영역이고,
    상기 제1 하측 패딩 영역은 상기 레퍼런스 프레임의 하측에 위치한 패딩 레퍼런스 프레임을 상기 영상의 중심점을 지나는 수직선을 기준으로 나눈 영역 중 좌측에 위치하는 영역이고, 상기 제2 하측 패딩 영역은 상기 레퍼런스 프레임의 하측에 위치한 패딩 영역을 상기 영상의 중심점을 지나는 수직선을 기준으로 나눈 영역 중 우측에 위치하는 영역인 것을 특징으로 하는 복호화 장치.
  10. 제9 항에 있어서,
    상기 프로세서는,
    상기 제1 상측 패딩 영역, 상기 제2 상측 패딩 영역, 상기 제1 하측 패딩 영역 및 상기 제2 하측 패딩 영역에 패딩된 픽셀의 값의 세로 순서를 역순으로 재배열하는 것을 특징으로 하는 복호화 장치.
  11. 제3 항에 있어서,
    상기 프로세서는,
    상기 레퍼런스 프레임의 최상측 행부터 정상측 패딩 영역의 행 수에 해당하는 행까지의 영역에 해당하는 픽셀들의 수평 배열 순서가 역순으로 배열되도록 하고, 역순으로 배열된 각 픽셀의 픽셀값을 상기 정상측 패딩 영역의 픽셀값으로 설정하고,
    상기 레퍼런스 프레임의 최하측 행부터 정하측 패딩 영역의 행 수에 해당하는 행까지의 영역에 해당하는 픽셀들의 수평 배열 순서가 역순으로 배열되도록 하고, 역순으로 배열된 각 픽셀의 픽셀값을 상기 정하측 패딩 영역의 픽셀값으로 설정하고,
    상기 정상측 패딩 영역은 상기 레퍼런스 프레임의 상측에 위치하는 픽셀 중 상기 레퍼런스 프레임에 포함된 각 픽셀 지나는 가상의 수직선 상에 위치하는 픽셀을 포함하는 영역이고,
    상기 정하측 패딩 영역은 상기 레퍼런스 프레임의 하측에 위치하는 픽셀 중 상기 레퍼런스 프레임에 포함된 각 픽셀 지나는 가상의 수직선 상에 위치하는 픽셀을 포함하는 영역인 것을 특징으로 하는 복호화 장치.
  12. 제11 항에 있어서,
    상기 프로세서는,
    상기 정상측 패딩 영역 및 상기 정하측 패딩 영역에 패딩된 픽셀의 값의 세로 순서를 역순으로 재배열하는 것을 특징으로 하는 복호화 장치.
  13. 제3 항에 있어서,
    상기 프로세서는,
    상기 레퍼런스 프레임이 큐브(Cube) 포맷 영상인 경우, 상기 레퍼런스 프레임의 페이스(face)를 한 면으로 하는 정육면체에서 일 페이스의 가장자리 영역과 접하는 타 페이스의 가장자리 영역의 픽셀값을 상기 일 페이스의 패딩 영역의 픽셀값으로 설정하는 것을 특징으로 하는 복호화 장치.
  14. 제13 항에 있어서,
    상기 프로세서는,
    상기 레퍼런스 프레임의 상기 일 페이스에 포함되는 상기 복호 대상 블록을 상기 일 페이스에 대해 패딩된 픽셀값을 참조하여 복호화하는 것을 특징으로 하는 복호화 장치.
  15. 제3 항에 있어서,
    상기 프로세서는,
    상기 레퍼런스 프레임이 큐브(Cube) 포맷 영상인 경우, 상기 레퍼런스 프레임의 페이스(face)를 한 면으로 하는 정육면체에서 일 페이스의 패딩 영역 상의 대상점과 중심점을 이은 선과 접하는 타 페이스의 접점의 값을 상기 대상점의 픽셀값으로 설정하는 것을 특징으로 하는 복호화 장치.
  16. 복호화 장치가 부호화 데이터를 복호화하는 방법에 있어서,
    상기 부호화 데이터에 대응하는 레퍼런스 프레임의 일 가장자리 영역에 대응하는 패딩 영역의 픽셀값을 상기 영상이 투영된 구 상에서 상기 일 가장자리 영역과 접하는 상기 영상의 타 가장 자리 영역을 참조하여 설정하는 패딩을 수행하는 단계;
    상기 부호화 데이터로부터 복호 대상 블록의 모션 벡터 정보를 추출하는 단계;
    상기 모션 벡터 및 상기 패딩 영역의 픽셀값을 참조하여 상기 복호 대상 블록의 복호화를 수행하여 360도 영상을 생성하는 단계;
    를 포함하는 복호화 방법.
  17. 제16 항에 있어서,
    상기 부호화 데이터에 대응하는 레퍼런스 프레임의 일 가장자리 영역에 대응하는 패딩 영역의 픽셀값을 상기 영상이 투영된 구 상에서 상기 일 가장자리 영역과 접하는 상기 영상의 타 가장 자리 영역을 참조하여 설정하는 패딩을 수행하는 단계는,
    상기 레퍼런스 프레임이 이퀴렉탱귤러(Equirectangular) 포맷 영상 또는 파노라마(panorama) 포맷 영상인 경우, 상기 레퍼런스 프레임의 좌측 패딩 영역의 픽셀값을 상기 레퍼런스 프레임의 최우측 열부터 상기 좌측 패딩 영역의 열 수 내의 영역에 대응하는 픽셀값과 같이 설정하는 단계; 및
    상기 레퍼런스 프레임의 우측 패딩 영역의 픽셀값을 상기 레퍼런스 프레임의 최좌측 열부터 상기 우측 패딩 영역의 열 수 내의 영역에 대응하는 픽셀값과 같이 설정하여 패딩을 수행하는 단계
    를 포함하는 복호화 방법.
  18. 제16 항에 있어서,
    상기 레퍼런스 프레임의 일 가장자리 영역에 대응하는 패딩 영역의 픽셀값을 상기 레퍼런스 프레임이 투영된 구 상에서 상기 일 가장자리 영역과 접하는 상기 레퍼런스 프레임의 타 가장자리 영역을 참조하여 설정하는 패딩을 수행하는 단계는,
    상기 레퍼런스 프레임의 최상측 행부터 제1 상측 패딩 영역의 행 수에 해당하는 행까지의 영역에 해당하는 픽셀 중 최우측 열부터 상기 제1 상측 패딩 영역의 열 수에 해당하는 열까지의 영역에 해당하는 픽셀의 값으로 상기 제1 상측 패딩 영역의 픽셀값을 설정하는 단계;
    상기 레퍼런스 프레임의 최상측 행부터 제2 상측 패딩 영역의 행 수에 해당하는 행까지의 영역에 해당하는 픽셀 중 최좌측 열부터 상기 제2 상측 패딩 영역의 열 수에 해당하는 열까지의 영역에 해당하는 픽셀의 값으로 상기 제2 상측 패딩 영역의 픽셀값을 설정하는 단계;
    상기 레퍼런스 프레임의 최하측 행부터 제1 하측 패딩 영역의 행 수에 해당하는 행까지의 영역에 해당하는 픽셀 중 최우측 열부터 상기 제1 하측 패딩 영역의 열 수에 해당하는 열까지의 영역에 해당하는 픽셀의 값으로 상기 제1 하측 패딩 영역의 픽셀값을 설정하는 단계; 및
    상기 레퍼런스 프레임의 최하측 행부터 제2 하측 패딩 영역의 행 수에 해당하는 행까지의 영역에 해당하는 픽셀 중 최좌측 열부터 상기 제2 하측 패딩 영역의 열 수에 해당하는 열까지의 영역에 해당하는 픽셀의 값으로 상기 제2 하측 패딩 영역의 픽셀값을 설정하는 단계;
    를 더 포함하되,
    상기 제1 상측 패딩 영역은 상기 레퍼런스 프레임의 상측에 위치한 패딩 영역을 상기 레퍼런스 프레임의 중심점을 지나는 수직선을 기준으로 나눈 영역 중 좌측에 위치하는 영역이고, 상기 제2 상측 패딩 영역은 상기 레퍼런스 프레임의 상측에 위치한 패딩 영역을 상기 레퍼런스 프레임의 중심점을 지나는 수직선을 기준으로 나눈 영역 중 우측에 위치하는 영역이고,
    상기 제1 하측 패딩 영역은 상기 레퍼런스 프레임의 하측에 위치한 패딩 영역을 상기 레퍼런스 프레임의 중심점을 지나는 수직선을 기준으로 나눈 영역 중 좌측에 위치하는 영역이고, 상기 제2 하측 패딩 영역은 상기 레퍼런스 프레임의 하측에 위치한 패딩 영역을 상기 레퍼런스 프레임의 중심점을 지나는 수직선을 기준으로 나눈 영역 중 우측에 위치하는 영역인 것을 특징으로 하는 복호화 방법.
  19. 제18 항에 있어서,
    상기 레퍼런스 프레임의 일 가장자리 영역에 대응하는 패딩 영역의 픽셀값을 상기 레퍼런스 프레임이 투영된 구 상에서 상기 일 가장자리 영역과 접하는 상기 레퍼런스 프레임의 타 가장자리 영역을 참조하여 설정하는 패딩을 수행하는 단계는,
    상기 제1 상측 패딩 영역, 상기 제2 상측 패딩 영역, 상기 제1 하측 패딩 영역 및 상기 제2 하측 패딩 영역에 패딩된 픽셀의 값의 세로 순서를 역순으로 재배열하는 단계;
    를 더 포함하는 것을 특징으로 하는 복호화 방법.
  20. 제16 항에 있어서,
    상기 레퍼런스 프레임의 일 가장자리 영역에 대응하는 패딩 영역의 픽셀값을 상기 레퍼런스 프레임이 투영된 구 상에서 상기 일 가장자리 영역과 접하는 상기 레퍼런스 프레임의 타 가장자리 영역을 참조하여 설정하는 패딩을 수행하는 단계는,
    상기 레퍼런스 프레임의 최상측 행부터 정상측 패딩 영역의 행 수에 해당하는 행까지의 영역에 해당하는 픽셀값으로 상기 정상측 패딩 영역의 픽셀값을 설정하는 단계; 및
    상기 레퍼런스 프레임의 최하측 행부터 정하측 패딩 영역의 행 수에 해당하는 행까지의 영역에 해당하는 픽셀값으로 상기 정하측 패딩 영역의 픽셀값을 설정하는 단계;
    를 포함하되,
    상기 정상측 패딩 영역은 상기 레퍼런스 프레임의 상측에 위치하는 픽셀 중 상기 레퍼런스 프레임에 포함된 각 픽셀 지나는 가상의 수직선 상에 위치하는 픽셀을 포함하는 영역이고, 상기 정하측 패딩 영역은 상기 레퍼런스 프레임의 하측에 위치하는 픽셀 중 상기 레퍼런스 프레임에 포함된 각 픽셀 지나는 가상의 수직선 상에 위치하는 픽셀을 포함하는 영역인 것을 특징으로 하는 복호화 방법.
  21. 제20 항에 있어서,
    상기 레퍼런스 프레임의 일 가장자리 영역에 대응하는 패딩 영역의 픽셀값을 상기 레퍼런스 프레임이 투영된 구 상에서 상기 일 가장자리 영역과 접하는 상기 레퍼런스 프레임의 타 가장자리 영역을 참조하여 설정하는 패딩을 수행하는 단계는,
    상기 정상측 패딩 영역 및 상기 정하측 패딩 영역에 패딩된 픽셀의 값의 세로 순서를 역순으로 재배열하는 단계
    를 더 포함하는 것을 특징으로 하는 복호화 방법.
  22. 제16 항에 있어서,
    상기 레퍼런스 프레임의 일 가장자리 영역에 대응하는 패딩 영역의 픽셀값을 상기 레퍼런스 프레임이 투영된 구 상에서 상기 일 가장자리 영역과 접하는 상기 레퍼런스 프레임의 타 가장자리 영역을 참조하여 설정하는 패딩을 수행하는 단계는,
    상기 레퍼런스 프레임의 최상측 행부터 제1 상측 패딩 영역의 행 수에 해당하는 행까지의 영역에 해당하는 픽셀 중 최좌측 열부터 제1 상측 패딩 영역의 열 수에 해당하는 열까지의 영역에 해당하는 픽셀의 수평 배열 순서가 역순으로 배열되도록 하고, 역순으로 배열된 상기 픽셀의 픽셀값을 상기 제1 상측 패딩 영역의 픽셀값으로 설정하는 단계;
    상기 레퍼런스 프레임의 최상측 행부터 제2 상측 패딩 영역의 행 수에 해당하는 행까지의 영역에 해당하는 픽셀 중 최우측 열부터 상기 제2 상측 패딩 영역의 열 수에 해당하는 열까지의 영역에 해당하는 픽셀의 수평 배열 순서를 역순으로 배열하고, 역순으로 배열된 상기 픽셀의 픽셀값으로 값으로 상기 제2 상측 패딩 영역의 픽셀값을 설정하는 단계;
    상기 레퍼런스 프레임의 최하측 행부터 제1 하측 패딩 영역의 행 수에 해당하는 행까지의 영역에 해당하는 픽셀 중 최좌측 열부터 상기 제1 하측 패딩 영역의 열 수에 해당하는 열까지의 영역에 해당하는 픽셀의 수평 배열 순서가 역순으로 배열되도록 하고, 역순으로 배열된 상기 픽셀의 픽셀값을 상기 제1 하측 패딩 영역의 픽셀값으로 설정하는 단계; 및
    상기 레퍼런스 프레임의 최하측 행부터 제2 하측 패딩 영역의 행 수에 해당하는 행까지의 영역에 해당하는 픽셀 중 최우측 열부터 상기 제2 하측 패딩 영역의 열 수에 해당하는 열까지의 영역에 해당하는 픽셀의 수평 배열 순서를 역순으로 배열하고, 역순으로 배열된 상기 픽셀의 픽셀값으로 값으로 상기 제2 상측 패딩 영역의 픽셀값을 설정하는 단계;
    를 포함하되,
    상기 제1 상측 패딩 영역은 상기 영상의 상측에 위치한 패딩 영역을 상기 레퍼런스 프레임의 중심점을 지나는 수직선을 기준으로 나눈 영역 중 좌측에 위치하는 영역이고, 상기 제2 상측 패딩 영역은 상기 레퍼런스 프레임의 상측에 위치한 패딩 영역을 상기 레퍼런스 프레임의 중심점을 지나는 수직선을 기준으로 나눈 영역 중 우측에 위치하는 영역이고,
    상기 제1 하측 패딩 영역은 상기 레퍼런스 프레임의 하측에 위치한 패딩 영역을 상기 레퍼런스 프레임의 중심점을 지나는 수직선을 기준으로 나눈 영역 중 좌측에 위치하는 영역이고, 상기 제2 하측 패딩 영역은 상기 레퍼런스 프레임의 하측에 위치한 패딩 영역을 상기 레퍼런스 프레임의 중심점을 지나는 수직선을 기준으로 나눈 영역 중 우측에 위치하는 영역인 것을 특징으로 하는 복호화 방법.
  23. 제22 항에 있어서,
    상기 레퍼런스 프레임의 일 가장자리 영역에 대응하는 패딩 영역의 픽셀값을 상기 레퍼런스 프레임이 투영된 구 상에서 상기 일 가장자리 영역과 접하는 상기 레퍼런스 프레임의 타 가장자리 영역을 참조하여 설정하는 패딩을 수행하는 단계는,
    상기 제1 상측 패딩 영역, 상기 제2 상측 패딩 영역, 상기 제1 하측 패딩 영역 및 상기 제2 하측 패딩 영역에 패딩된 픽셀의 값의 세로 순서를 역순으로 재배열하는 단계;
    를 더 포함하는 것을 특징으로 하는 복호화 방법.
  24. 제16 항에 있어서,
    상기 레퍼런스 프레임의 일 가장자리 영역에 대응하는 패딩 영역의 픽셀값을 상기 레퍼런스 프레임이 투영된 구 상에서 상기 일 가장자리 영역과 접하는 상기 레퍼런스 프레임의 타 가장자리 영역을 참조하여 설정하는 패딩을 수행하는 단계는,
    상기 레퍼런스 프레임의 최상측 행부터 정상측 패딩 영역의 행 수에 해당하는 행까지의 영역에 해당하는 픽셀들의 수평 배열 순서가 역순으로 배열되도록 하고, 역순으로 배열된 각 픽셀의 픽셀값을 상기 정상측 패딩 영역의 픽셀값으로 설정하는 단계; 및
    상기 레퍼런스 프레임의 최하측 행부터 정하측 패딩 영역의 행 수에 해당하는 행까지의 영역에 해당하는 픽셀들의 수평 배열 순서가 역순으로 배열되도록 하고, 역순으로 배열된 각 픽셀의 픽셀값을 상기 정하측 패딩 영역의 픽셀값으로 설정하는 단계;
    를 더 포함하되,
    상기 정상측 패딩 영역은 상기 레퍼런스 프레임의 상측에 위치하는 픽셀 중 상기 레퍼런스 프레임에 포함된 각 픽셀 지나는 가상의 수직선 상에 위치하는 픽셀을 포함하는 영역이고, 상기 정하측 패딩 영역은 상기 레퍼런스 프레임의 하측에 위치하는 픽셀 중 상기 레퍼런스 프레임에 포함된 각 픽셀 지나는 가상의 수직선 상에 위치하는 픽셀을 포함하는 영역인 것을 특징으로 하는 복호화 방법.
  25. 제24 항에 있어서,
    상기 레퍼런스 프레임의 일 가장자리 영역에 대응하는 패딩 영역의 픽셀값을 상기 레퍼런스 프레임이 투영된 구 상에서 상기 일 가장자리 영역과 접하는 상기 레퍼런스 프레임의 타 가장자리 영역을 참조하여 설정하는 패딩을 수행하는 단계는,
    상기 정상측 패딩 영역 및 상기 정하측 패딩 영역에 패딩된 픽셀의 값의 세로 순서를 역순으로 재배열하는 단계를 더 포함하는 것을 특징으로 하는 복호화 방법.
  26. 제16 항에 있어서,
    상기 레퍼런스 프레임의 일 가장자리 영역에 대응하는 패딩 영역의 픽셀값을 상기 레퍼런스 프레임이 투영된 구 상에서 상기 일 가장자리 영역과 접하는 상기 레퍼런스 프레임의 타 가장자리 영역을 참조하여 설정하는 패딩을 수행하는 단계는,
    상기 레퍼런스 프레임이 큐브(Cube) 포맷 영상인 경우, 상기 레퍼런스 프레임의 페이스(face)를 한 면으로 하는 정육면체에서 일 페이스의 가장자리 영역과 접하는 타 페이스의 가장자리 영역의 픽셀값을 상기 일 페이스의 패딩 영역의 픽셀값으로 설정하는 단계인 것을 특징으로 하는 복호화 방법.
  27. 제26 항에 있어서,
    상기 모션 벡터 및 상기 패딩 영역의 픽셀값을 참조하여 상기 복호 대상 블록의 복호화를 수행하여 360도 영상을 생성하는 단계는,
    상기 레퍼런스 프레임의 상기 일 페이스에 포함되는 상기 복호 대상 블록을 상기 일 페이스에 대해 패딩된 픽셀값을 참조하여 복호화하는 단계인 것을 특징으로 하는 복호화 방법.
  28. 제26 항에 있어서,
    상기 레퍼런스 프레임의 일 가장자리 영역에 대응하는 패딩 영역의 픽셀값을 상기 레퍼런스 프레임이 투영된 구 상에서 상기 일 가장자리 영역과 접하는 상기 레퍼런스 프레임의 타 가장자리 영역을 참조하여 설정하는 패딩을 수행하는 단계는,
    상기 레퍼런스 프레임이 큐브(Cube) 포맷 영상인 경우, 상기 레퍼런스 프레임의 페이스(face)를 한 면으로 하는 정육면체에서 일 페이스의 패딩 영역 상의 대상점과 중심점을 이은 선과 접하는 타 페이스의 접점의 값을 상기 대상점의 픽셀값으로 설정하는 것을 특징으로 하는 복호화 방법.
PCT/KR2017/006528 2016-06-21 2017-06-21 부호화 장치 및 방법, 복호화 장치 및 방법 WO2017222301A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/305,952 US10812824B2 (en) 2016-06-21 2017-06-21 Encoding apparatus and method, and decoding apparatus and method
CN201780038835.8A CN109314788B (zh) 2016-06-21 2017-06-21 编码装置和编码方法以及解码装置和解码方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2016-0077512 2016-06-21
KR20160077512 2016-06-21
KR10-2017-0026692 2017-02-28
KR1020170026692A KR20180000279A (ko) 2016-06-21 2017-02-28 부호화 장치 및 방법, 복호화 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2017222301A1 true WO2017222301A1 (ko) 2017-12-28

Family

ID=60784376

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/006528 WO2017222301A1 (ko) 2016-06-21 2017-06-21 부호화 장치 및 방법, 복호화 장치 및 방법

Country Status (1)

Country Link
WO (1) WO2017222301A1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3378229A4 (en) * 2016-08-23 2018-12-26 SZ DJI Technology Co., Ltd. System and method for improving efficiency in encoding/decoding a curved view video
WO2019170156A1 (en) * 2018-03-08 2019-09-12 Mediatek Inc. Adaptive loop filtering method for reconstructed projection-based frame that employs projection layout of 360-degree virtual reality projection
WO2019179418A1 (en) * 2018-03-19 2019-09-26 Mediatek Inc. Method and apparatus of motion vector derivation for vr360 video coding
WO2019182294A1 (ko) * 2018-03-19 2019-09-26 주식회사 케이티 비디오 신호 처리 방법 및 장치
WO2019179489A1 (en) * 2018-03-22 2019-09-26 Mediatek Inc. Sample adaptive offset filtering method for reconstructed projection-based frame that employs projection layout of 360-degree virtual reality projection
WO2020140892A1 (en) * 2019-01-02 2020-07-09 Mediatek Inc. Method for processing projection-based frame
US10986371B2 (en) 2018-03-22 2021-04-20 Mediatek Inc. Sample adaptive offset filtering method for reconstructed projection-based frame that employs projection layout of 360-degree virtual reality projection

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030108099A1 (en) * 1998-06-26 2003-06-12 Takefumi Nagumo Picture encoding method and apparatus, picture decoding method and apparatus and furnishing medium
KR20060015225A (ko) * 2004-08-13 2006-02-16 경희대학교 산학협력단 파노라마 영상의 움직임 추정 및 보상
KR20060050350A (ko) * 2004-08-13 2006-05-19 경희대학교 산학협력단 파노라마 영상의 움직임 추정 및 보상
KR20060050351A (ko) * 2004-08-13 2006-05-19 경희대학교 산학협력단 파노라마 영상의 움직임 추정 및 보상을 위해 가상 영상영역을 생성하는 방법 및 장치
KR20140074377A (ko) * 2011-10-04 2014-06-17 퀄컴 인코포레이티드 비디오 코딩을 위한 모션 벡터 예측자 후보 클리핑 제거

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030108099A1 (en) * 1998-06-26 2003-06-12 Takefumi Nagumo Picture encoding method and apparatus, picture decoding method and apparatus and furnishing medium
KR20060015225A (ko) * 2004-08-13 2006-02-16 경희대학교 산학협력단 파노라마 영상의 움직임 추정 및 보상
KR20060050350A (ko) * 2004-08-13 2006-05-19 경희대학교 산학협력단 파노라마 영상의 움직임 추정 및 보상
KR20060050351A (ko) * 2004-08-13 2006-05-19 경희대학교 산학협력단 파노라마 영상의 움직임 추정 및 보상을 위해 가상 영상영역을 생성하는 방법 및 장치
KR20140074377A (ko) * 2011-10-04 2014-06-17 퀄컴 인코포레이티드 비디오 코딩을 위한 모션 벡터 예측자 후보 클리핑 제거

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3378229A4 (en) * 2016-08-23 2018-12-26 SZ DJI Technology Co., Ltd. System and method for improving efficiency in encoding/decoding a curved view video
GB2584020A (en) * 2018-03-08 2020-11-18 Mediatek Inc Adaptive loop filtering method for reconstructed projection-based frame that employs projection layout of 360-Degree virtual reality projection
WO2019170156A1 (en) * 2018-03-08 2019-09-12 Mediatek Inc. Adaptive loop filtering method for reconstructed projection-based frame that employs projection layout of 360-degree virtual reality projection
GB2584020B (en) * 2018-03-08 2022-05-25 Mediatek Inc Adaptive loop filtering method for reconstructed projection-based frame that employs projection layout of 360-Degree virtual reality projection
TWI685244B (zh) * 2018-03-08 2020-02-11 聯發科技股份有限公司 用於重構的基於投影的幀的適應性環路濾波方法
WO2019179418A1 (en) * 2018-03-19 2019-09-26 Mediatek Inc. Method and apparatus of motion vector derivation for vr360 video coding
WO2019182294A1 (ko) * 2018-03-19 2019-09-26 주식회사 케이티 비디오 신호 처리 방법 및 장치
GB2586095A (en) * 2018-03-22 2021-02-03 Mediatek Inc Sample adaptive offset filtering method for reconstructed projection-based frame that employs projection layout of 360-degree virtual reality projection
CN111936929A (zh) * 2018-03-22 2020-11-13 联发科技股份有限公司 采用360°虚拟现实投影的投影布局的重构的基于投影的帧的样本适应性偏移滤波方法用于重构的基于投影的帧的样本适应性偏移滤波方法
US10986371B2 (en) 2018-03-22 2021-04-20 Mediatek Inc. Sample adaptive offset filtering method for reconstructed projection-based frame that employs projection layout of 360-degree virtual reality projection
WO2019179489A1 (en) * 2018-03-22 2019-09-26 Mediatek Inc. Sample adaptive offset filtering method for reconstructed projection-based frame that employs projection layout of 360-degree virtual reality projection
GB2586095B (en) * 2018-03-22 2023-03-01 Mediatek Inc Sample adaptive offset filtering method for reconstructed projection-based frame that employs projection layout of 360-degree virtual reality projection
WO2020140892A1 (en) * 2019-01-02 2020-07-09 Mediatek Inc. Method for processing projection-based frame
KR20210070299A (ko) * 2019-01-02 2021-06-14 미디어텍 인크. 투영 기반 프레임을 프로세싱하기 위한 방법
KR102453512B1 (ko) 2019-01-02 2022-10-11 미디어텍 인크. 투영 기반 프레임을 프로세싱하기 위한 방법

Similar Documents

Publication Publication Date Title
WO2017222301A1 (ko) 부호화 장치 및 방법, 복호화 장치 및 방법
WO2017007096A1 (en) Image capturing apparatus and method of operating the same
WO2020130309A1 (ko) 영상 마스킹 장치 및 영상 마스킹 방법
WO2011149265A2 (en) New planar prediction mode
WO2015034269A1 (ko) 영상 처리 방법 및 장치
WO2015009064A1 (en) Electronic device for storing image and image storage method thereof
WO2017090986A1 (en) Electronic apparatus and method for controlling electronic apparatus thereof
WO2018084536A1 (ko) 타임 슬라이스 영상 제공 서버, 방법 및 사용자 단말
WO2019164185A1 (en) Electronic device and method for correcting image corrected in first image processing scheme in external electronic device in second image processing scheme
WO2015083971A1 (en) Electronic apparatus and method of controlling the same
WO2011129624A2 (en) Method and apparatus for generating and playing animation message
WO2017213439A1 (ko) 멀티 스티커를 이용한 영상 생성 방법 및 장치
WO2018225949A1 (en) Method and apparatus for determining a motion vector
WO2016060439A1 (ko) 영상 처리 방법 및 장치
WO2016190472A1 (ko) 크로마키를 이용한 증강현실 영상 제작 장치 및 방법
WO2013048105A1 (en) Apparatus for transmitting image data
WO2018101533A1 (ko) 영상 처리 장치 및 방법
WO2019203523A1 (ko) 포인트 클라우드에 관한 데이터를 프로세싱하기 위한 방법 및 장치
WO2019160237A1 (en) Electronic device and method for controlling display of images
WO2015037894A1 (ko) 비디오 메모리의 모니터링을 이용한 영상 처리 장치
WO2019151808A1 (ko) 이미지 센서를 이용한 이미지 획득 과정에서 생성된 압축 속성을 이용하여 이미지를 압축하는 전자 장치 및 그 동작 방법
WO2019203628A1 (ko) 3차원 데이터를 프로세싱하기 위한 방법 및 장치
WO2022080680A1 (ko) 인공지능 기반 이미지 인페인팅 방법 및 디바이스
EP3622710A1 (en) Producing 360 degree image content on rectangular projection in electronic device using padding information
WO2017200259A1 (ko) 비디오 부호화 방법 및 장치, 그 복호화 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17815714

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17815714

Country of ref document: EP

Kind code of ref document: A1