WO2011129602A2 - 3차원 영상 데이터를 부호화하는 방법 및 장치와 복호화 방법 및 장치 - Google Patents

3차원 영상 데이터를 부호화하는 방법 및 장치와 복호화 방법 및 장치 Download PDF

Info

Publication number
WO2011129602A2
WO2011129602A2 PCT/KR2011/002602 KR2011002602W WO2011129602A2 WO 2011129602 A2 WO2011129602 A2 WO 2011129602A2 KR 2011002602 W KR2011002602 W KR 2011002602W WO 2011129602 A2 WO2011129602 A2 WO 2011129602A2
Authority
WO
WIPO (PCT)
Prior art keywords
data
unit
image data
view image
type information
Prior art date
Application number
PCT/KR2011/002602
Other languages
English (en)
French (fr)
Other versions
WO2011129602A3 (ko
Inventor
박홍석
이재준
김용태
이대종
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to EP11769068.5A priority Critical patent/EP2560397A4/en
Priority to US13/641,387 priority patent/US20130028315A1/en
Priority to MX2012011773A priority patent/MX2012011773A/es
Priority to CN201180018811.9A priority patent/CN102870419B/zh
Priority to BR112012026190A priority patent/BR112012026190A2/pt
Priority to JP2013504823A priority patent/JP2013527676A/ja
Publication of WO2011129602A2 publication Critical patent/WO2011129602A2/ko
Publication of WO2011129602A3 publication Critical patent/WO2011129602A3/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Definitions

  • the present invention relates to a method and apparatus for providing a 3D image, and more particularly, to a data encoding method and apparatus and a data decoding method for designating type information of reference view image data and type information of additional view image data with different values. And to an apparatus.
  • a tuner In a conventional digital broadcasting receiver, a tuner is tuned to a physical frequency of a desired channel based on a viewer's input, and then only a signal of a corresponding frequency is selectively extracted.
  • the receiver obtains a transport stream from the extracted signal using the channel decoder and the inverse modulator, processes the obtained transport stream, and finally outputs the transport stream.
  • the receiver processes the packet selectively by checking the PID (Program ID) of the desired packet by referring to the stream type defined in the PMT (Program Mapping Table).
  • the PID indicating the reference view image data and the PID representing the additional view image data are respectively defined in the PMT so that the receiver can selectively acquire the image data necessary for the stereoscopic image.
  • PMT section data In order to provide a stereoscopic image in the receiver, PMT section data must be acquired separately from a transport packet including the image data, and it is difficult to provide a stereoscopic image in a system other than the MPEG-2 transmission system.
  • An object of the present invention for solving the above problems is to provide a method and apparatus for encoding three-dimensional image data with a data unit containing type information, and a method and apparatus for decoding.
  • FIG. 1 is a block diagram of a data encoding apparatus 100 according to an embodiment of the present invention.
  • FIG. 2 shows a hierarchical structure for generating an H.264 / AVC stream according to an embodiment of the present invention.
  • FIG. 3 shows a NAL unit 300 according to one embodiment of the invention.
  • FIG. 5 illustrates an example of a header 510 of a first NAL unit including reference view image data and a header 520 of a second NAL unit including additional view image data according to an embodiment of the present invention.
  • FIG 6 shows an example of an H.264 NAL unit sequence according to an embodiment of the present invention.
  • FIG 7 shows an example of an H.264 NAL unit sequence according to another embodiment of the present invention.
  • FIG 8 illustrates signaling information 800 according to an embodiment of the present invention.
  • FIG. 9 illustrates signaling information 900 according to another embodiment of the present invention.
  • FIG. 11A illustrates an example of a structure of the 'depth_params' field 1022 illustrated in FIG. 10.
  • FIG. 11B is an example of a structure of the 'parallax_params' field 1023 shown in FIG. 10.
  • FIG. 11C is an example of a structure of the 'additional_view_params' field 1024 shown in FIG. 10.
  • FIG. 13 shows an example of an H.264 NAL sequence including signaling information according to an embodiment of the present invention.
  • FIG. 14 shows another example of an H.264 NAL sequence including signaling information according to an embodiment of the present invention.
  • FIG. 15 is a block diagram of a data decoding apparatus 1500 according to an embodiment of the present invention.
  • FIG. 16 illustrates a process of processing data in the data decoding apparatus 1610 and the legacy apparatus 1620 according to an embodiment of the present invention.
  • 17 is a flowchart illustrating a data encoding method according to an embodiment of the present invention.
  • FIG. 18 is a flowchart illustrating a data decoding method according to an embodiment of the present invention.
  • One feature of the present invention for achieving the above object is composed of a header area and a data area, the header area is a data unit containing type information indicating the type of data included in the data area is a three-dimensional image data
  • a method of encoding a video comprising: encoding reference view image data and additional view image data for providing a 3D image; Generating a first data unit by adding a header including first unit type information which is one of type information defined in a legacy system, to the encoded reference view image data; And generating a second data unit by adding a header including second unit type information, which is one of type informations not defined in the legacy system, to the encoded additional view image data.
  • the encoding may further include encoding the next reference view image data by referring to only the previous reference view image data and encoding the next additional view image data by referring to only the previous additional view image data.
  • the first data unit and the second data unit may include a NAL unit according to the H.264 standard.
  • the transmitting may include transmitting the first data unit, the second data unit, and the signaling information.
  • the signaling information may include information indicating that type information of the second data unit including the additional view image data is the second unit type information.
  • the signaling information includes preceding view information indicating image data to be output first among the reference view image data and the additional view image data, multiplexing information indicating a multiplexing method of the reference view image data and the additional view image data, and the reference view point.
  • Configuration ratio information indicating a configuration ratio of the image data and the additional view image data may be included.
  • the transmitting may include transmitting the first data unit and the second data unit through an MPEG-2 transmission system, and the signaling information may be included in a predetermined region in the PMT.
  • a method of providing three-dimensional image data in a data unit comprising a header area and a data area, the header area including type information indicating a type of data included in the data area, wherein the reference point provides a three-dimensional image.
  • Encoding at least one of the image data and the additional view image data Generating a first data unit by adding a header including first unit type information indicating that main picture data exists in a data area to the encoded reference view image data; And generating a second data unit by adding a header including second unit type information indicating that sub-picture data exists in the data area to the information about the additional view image data.
  • the information about the additional view image data may be one of depth map information indicating a distance from the reference position to the object, binocular disparity information between the left eye and the right eye, and the additional view image data.
  • One feature of another embodiment of the present invention includes a header area and a data area, wherein the header area is three-dimensional in a decoding apparatus using a data unit including type information indicating a type of data included in the data area.
  • a method of decoding image data comprising: a first data unit including a header including the first unit type information and reference view image data based on first unit type information which is one of type information defined in a legacy system Obtaining a; Obtaining a second data unit composed of a header including the second unit type information and additional view image data based on second unit type information which is one of type informations not defined in the legacy system; And decoding at least one of the first data unit and the second data unit.
  • One feature of another embodiment of the present invention includes a header area and a data area, wherein the header area includes three-dimensional image data by using a data unit including type information indicating a type of data included in the data area.
  • a decoding method comprising: a first comprising a header including the first unit type information and reference view image data based on first unit type information indicating that data included in a data area in a data unit is main picture data; Obtaining a data unit; Generating a second data unit composed of a header including the second unit type information and additional view image data based on the second unit type information indicating that data included in the data area in the data unit is data for sub-screens; ; And decoding the first data unit and the second data unit.
  • FIG. 1 is a block diagram of a data encoding apparatus 100 according to an embodiment of the present invention.
  • the data encoding apparatus 100 includes an encoder 110 and a unit generator 120.
  • the data encoding apparatus 100 encodes 3D image data for providing a 3D image.
  • the data encoding apparatus 100 encodes reference view image data and additional view image data in order to provide a stereoscopic image to a user.
  • the data encoding apparatus 100 may encode three or more multi-view image data.
  • the encoder 110 encodes reference view image data and additional view image data that provide a 3D image.
  • the encoder 110 encodes image data may vary.
  • the encoder 110 may encode image data according to the H.264 / AVC standard.
  • the encoder 110 encodes the reference view image data and the additional view image data so that the reference view image data and the additional view image data maintain independent reference relationships. Maintaining an independent reference relationship between the reference view image data and the additional view image data refers to the reference view image data when encoding or decoding the reference view image data (that is, does not refer to the additional view image data), and the additional view image. When encoding or decoding the image data, this means that the additional view image data is referred to (ie, does not refer to the reference view image data).
  • some image data of all the image data are encoded without referring to other image data, and the remaining image data is encoded by referring to one or more image data before or after.
  • reference image data encoded without referencing other image data exists only in reference view image data.
  • the one or more additional view image data should refer to the reference view image data. Therefore, in order to decode the additional view image data, one or more image data in the reference view image data must first be decoded.
  • the reference view image data may refer to the additional view image data, and the data decoding apparatus may not independently process only the additional view image data or the reference view image data.
  • the present invention encodes the reference view image data and the additional view image data so that the reference view image data and the additional view image data maintain independent reference relationships, so that the data decoding apparatus does not need to process the reference view image data. Only the reference view image data may be processed without processing only the data or the additional view image data.
  • the unit generator 120 adds a header to each of the encoded reference view image data and the encoded additional view image data to generate data units.
  • the unit generation unit 120 generates a data unit composed of a data area and a header area.
  • the data unit generated by the unit generating unit 120 is independent of the transmission system. That is, the generated data unit can be transmitted using various transmission systems (eg, h.264 / AVC, RTP, MPEG-2, etc.).
  • the unit generation unit 120 includes information indicating the type of data included in the data area in the header area.
  • information indicating the type of data is referred to as unit type information.
  • the unit generation unit 120 allocates unit type information representing the reference view image data and unit type information representing the additional view image data to different values.
  • unit type information representing the reference view image data
  • unit type information representing the additional view image data
  • the unit generator 120 determines the unit type information indicating the reference view image data as the first unit type information which is one of the type information defined in the legacy device, and the unit type indicating the additional view image data.
  • the information is determined as second unit type information, which is one of type informations not defined in the legacy device.
  • the legacy apparatus is a device existing before the data encoding apparatus 100 and the data decoding apparatus to which the present invention is applied, and may be a 2D data encoding apparatus and a decoding apparatus that cannot provide 3D image data. According to an embodiment, in a broader concept, all devices that cannot identify unit type information representing additional view image data are referred to as legacy devices.
  • the unit generation unit 120 generates a data unit conforming to the H.264 / AVC standard.
  • the unit generation unit 120 generates a NAL unit including a data Raw Byte Sequence Payload (RBSP) region and a header region including encoded data.
  • the unit generator 120 includes the first unit type information, which is one of the type information defined in the legacy system, in the header of the NAL unit including the reference view image data, and the header of the NAL unit including the additional view image data. Includes second unit type information, which is one of type information not defined in the legacy device.
  • the unit generation unit 120 determines unit type information indicating the reference view image data as first unit type information corresponding to the main screen data, and subunits the unit type information indicating the additional view image data.
  • the second unit type information corresponding to the usage data is determined.
  • the unit generator 120 generates a first data unit by adding a header including the first unit type information to a data unit including the reference view image data, and generates a second unit in the data unit including the additional view image data. A header including type information is added to generate a second data unit.
  • the sub picture data is used to combine transparency values in units of pixels in the process of displaying the main picture data.
  • the sub picture data is composed of the same number of macro blocks as the main picture data. When necessary, the sub picture data is continuously transmitted to the main picture data, and even if it is not transmitted, the main picture data can be successfully decoded.
  • the sub-screen data is the additional view image data itself, or information that can restore the additional view image data (for example, depth map information indicating a distance from a predetermined position to the object, and binocular disparity between the left and right eyes of the object). Information).
  • the sub-image image data only transmits information on transparency, it is information on monochrome. Since the depth information and the binocular disparity information are also monochromatic information, the depth information and the binocular disparity information can be easily transmitted using the image data for the sub-screen.
  • the unit generation unit 120 generates a NAL unit according to H.264.
  • NAL units can be created.
  • the unit generator 120 may further generate a third data unit including signaling information.
  • the signaling information includes pair information indicating that the reference view image data included in the first data unit and the additional view image data included in the second data unit are a pair of image data.
  • the signaling information includes information indicating what type information is included in the second data unit including additional view image data, preceding view information indicating image data to be output first among the reference view image data and the additional view image data, and the reference view point.
  • the display apparatus may include at least one of multiplexing information indicating a multiplexing method of the image data and the additional view image data, and configuration ratio information indicating a configuration ratio of the reference view image data and the additional view image data.
  • the data encoding apparatus 100 may further include a transmitter (not shown).
  • the transmission unit (not shown) converts the first data unit, the second data unit, and the third data unit according to a transmission system used by the data encoding apparatus 100, and then mounts and transmits the same in a transport container.
  • the transmitter when transmitting a data unit through an MPEG-2 transmission system, the transmitter (not shown) may add a start code indicating the start of specific data such as a picture, a group of pictures (GOP), and the like to the data unit. Adjust the format of the unit to match the transmission system before sending.
  • the transmitter (not shown) may transmit the signaling information mounted on a table defined in an MPEG-2 transmission system such as PMT.
  • FIG. 2 shows a hierarchical structure for generating an H.264 / AVC stream according to an embodiment of the present invention.
  • the H.246 / AVC stream according to one embodiment of the present invention is generated through three layers 210, 220 and 230.
  • the encoding processing layer 210 encodes image data.
  • the encoding processing layer 210 encodes video data 211 such as reference view video data and additional view video data according to the H.264 standard.
  • the encoding processing layer 210 may or may not encode the parameter set such as Picture Parameter Set (PPS), Sequence Parameter Set (SPS), or signaling information 212 such as SEI according to another encoding scheme.
  • PPS Picture Parameter Set
  • SPS Sequence Parameter Set
  • SEI signaling information
  • Network abstraction layer 220 generates NAL units 221, 222.
  • the NAL units 221 and 222 consist of a header and an RBSP.
  • the RBSP is an area in which data is included and includes image data 211 or signaling information 212 encoded by the encoding processing layer.
  • the header contains 'Nal_Unit_Type' which indicates the type of data included in the RBSP. If the RBSP includes reference view image data, the 'Nal_Unit_Type' value has one of the type information defined in the legacy device. If the RBSP includes additional view image data, the 'Nal_Unit_Type' value is not defined in the legacy device. It can have one of the information.
  • the network abstraction layer 220 may modify the NAL units 221 and 222 to suit the transmission system to be used. For example, in the case of using the MPEG-2 transmission system, a transport packet is generated by adding a byte string 234 indicating the start of a picture or the start of a GOP to the NAL units 221 and 222. According to an embodiment, the operation of modifying the NAL units 221 and 222 in accordance with a transmission system to be used may be performed in the transport layer 230 to be described later.
  • the transport layer 230 sends a transport packet.
  • the transport layer 230 may use at least one transport system of H.264 / AVC 231, RTP 232, and MPEG-2 233.
  • FIG. 3 shows a NAL unit 300 according to one embodiment of the invention.
  • the NAL unit 300 is composed of a NAL header 310 and an RBSP 320.
  • the RBSP 320 includes data to be transmitted.
  • the RBSP 320 may include encoded reference view image data, encoded additional view image data, signaling information, and the like.
  • padding bits 330 may be added to RBSP 320.
  • the NAL header 310 includes a nal_ref_idc field 312 and a nal_unit_type field 314.
  • the nal_ref_idc field 312 is information indicating whether data included in the RBSP 320 is used to restore the reference image data.
  • the nal_unit_type field 314 is information indicating the type of data included in the RBSP 320.
  • nal_unit_type field 314 has values of 16 to 18 and 21 to 23 is not described in the H.264 standard.
  • the unit generator 120 sets the nal_unit_type field 314 of the NAL unit including the reference view image data to a value defined in the H.264 standard, such as 1 or 4, and sets the NAL unit of the NAL unit including the additional view image data.
  • Set the nal_unit_type field 314 to a value of 16-18, 21-23 (ie, a value not defined in the H.264 standard).
  • Legacy devices that conform to this version of the standard ie, devices for which the nal_unit_type field 314 is '16 -18, 21-23 'is not defined) cannot interpret NAL units containing additional view image data. Do not judge.
  • the data decoding apparatus ie, when the nal_unit_type field 314 is '16 -18, 21-23 ', the NAL unit is promised to include additional view image data), the additional view image data. Provides a 3D image by processing the included NAL unit.
  • FIG. 5 illustrates an example of a header 510 of a first NAL unit including reference view image data and a header 520 of a second NAL unit including additional view image data according to an embodiment of the present invention.
  • the 'nal_unit_type' field in the header 510 of the first NAL unit has a value of '5'. This indicates that the reference view image data corresponding to the reference image data is included in the RBSP region of the first NAL unit.
  • the 'nal_unit_type' field in the header 520 of the second NAL unit has a value of '16'.
  • the case where the 'nal_unit_type' field value is '16' is set to 'reserved'. That is, the case where the 'nal_unit_type' field value is '16' is not defined in the existing legacy device. This indicates that additional view image data is included in the RBSP region of the second NAL unit.
  • FIG 6 shows an example of an H.264 NAL unit sequence according to an embodiment of the present invention.
  • the unit generation unit 120 uses one of the unit type values defined in the legacy apparatus as a net type value for the reference view image data, and indicates a unit type value indicating additional view image data. As such, it is assumed that one of the unit type values not defined in the legacy device is used.
  • the H.264 NAL unit sequence includes a first NAL unit group 610 and a second NAL unit group 620, and the value of the 'nal_unit_type' field is indicated using parentheses.
  • NAL units 611, 612, 613, and 614 in the first NAL unit group 610 have a 'nal_unit_type' field having a value of '1' or '5'.
  • the NAL unit when the 'nal_unit_type' field is '1', the NAL unit includes image data that is not IDR, and when the 'nal_unit_type' field is '5', it includes image data where the NAL unit is IDR. It can be seen.
  • the first NAL unit group 610 may include reference view image data because the unit type values defined in the legacy device are values.
  • the NAL units 621, 622, 623, 624 in the second NAL unit group 620 have a value of '16' in the 'nal_unit_type' field.
  • the second NAL unit group 620 may include additional view image data.
  • FIG 7 shows an example of an H.264 NAL unit sequence according to another embodiment of the present invention.
  • the unit generator 120 uses a unit type value corresponding to the main image data as a unit type value for the reference view image data, and uses a unit type value for the additional view image data. It is assumed that a unit type value corresponding to the sub-image data is used.
  • the H.264 NAL unit sequence includes a first NAL unit group 710 and a second NAL unit group 720, and the value of the 'nal_unit_type' field is indicated using parentheses.
  • the NAL units 711, 712, 713, 714 in the first NAL unit group 710 have a 'nal_unit_type' field having a value of '1' or '5'.
  • the NAL unit when the 'nal_unit_type' field is '1', the NAL unit includes image data that is not IDR, and when the 'nal_unit_type' field is '5', it includes image data where the NAL unit is IDR. It can be seen.
  • the first NAL unit group 710 may include the reference view image data.
  • the NAL units 721, 722, 723 and 724 in the second NAL unit group 720 have a value of '19' in the 'nal_unit_type' field. Referring to FIG. 4, when the 'nal_unit_type' field is '19', it corresponds to the sub picture data, and thus, the second NAL unit group 720 may include additional view image data.
  • FIG 8 illustrates signaling information according to an embodiment of the present invention.
  • signaling information indicating configuration information (for example, pair information between the reference view image data and the additional view image data) between the reference view image data and the additional view image data is newly defined, and the signaling information is not defined by the legacy apparatus.
  • Unit type information is allocated. Therefore, legacy devices that can only reproduce 2D video will be discarded without processing signaling information.
  • the 'frame0_is_first' field 810 indicates whether a frame including first view image data is transmitted first or a frame including second view image data is transmitted first.
  • the 'frame0_is_L' field 820 indicates whether the frame including the first view image data is left view image data (or reference view image data) or right view image data (or additional view image data).
  • the 'frame0_is_first' field 810 and the 'frame0_is_L' field 820 it may be determined whether the left view image data is transmitted first or the right view image data is transmitted first.
  • the 'field_view_flag' field 830 indicates whether the additional view image data consists of image frames having different reference view image data or different fields within one image frame.
  • the 'additional_view_nal_type' field 840 indicates what type information of the NAL unit including additional view image data is.
  • the 'additional_view_composition_ratio' field 850 indicates a composition ratio of the reference view image data and the additional view image data.
  • FIG. 9 illustrates signaling information 900 according to another embodiment of the present invention.
  • FIG 9 illustrates configuration information between the base view video data and the additional view video data by using one or more fields in the signaling information 900 that are being used.
  • the 'frame_packing_arrangement_type' field 910 indicates a multiplexing method between the reference view image data and the additional view image data.
  • An example of a multiplexing scheme based on the value of the 'frame_packing_arrangement_type' field 910 is described in Table 1 below.
  • Each component plane of the decoded frames contains a "checkerboard 'based on interleaving of corresponding planes of two constituent frames One Each component plane of the decoded frames contains a column based on interleaving of corresponding planes of two constituent frames 2 Each component plane of the decoded frames contains a row based on interleaving of corresponding planes of two constituent frames 3 Each component plane of the decoded frames contains a side-by-side packing arrangement of corresponding planes of two constituent frames 4 Each component plane of the decoded frames contains a top-bottom packing arrangement of corresponding planes of two constituent frames 5 The component planes of the decoded frames in output order form alternating first and second constituent frames
  • the base view image data and the additional view image data are alternately arranged according to the checkerboard method to form one frame.
  • the reference view image data and the additional view image data intersect according to a column to form one frame.
  • the reference view image data and the additional view image data cross each other according to a row to form one frame.
  • the reference view image data is disposed on the left side of the frame and the additional view image data is disposed on the right side of the frame.
  • the reference view image data is disposed above the frame, and the additional view image data is disposed below the frame.
  • the base view image data and the additional view image data are configured as separate frames.
  • the value of the 'frame_packing_arrangement_type' field 910 is set to '5'.
  • the 'current_frame_is_frame0_flag' field 920 indicates whether the first view image data is transmitted first or the second view image data is transmitted first.
  • the 'content_interpretation_type' field 930 indicates whether the first view image data is left view image data or right view image data.
  • the signaling information 900 is a type of SEI and may be transmitted through an NAL unit having a 'nal_unit_type' field value of '6' according to FIG. 4.
  • the H.264 standard provides header information 1000 for sub-picture data, and the header information for the sub-screen data includes a NAL unit having a 'Nal unit type' of FIG. 4 as '13'. Included in the transmission.
  • the header information 1000 includes an 'additional extension flag' field 1010, and when the 'additional extension flag' field 1010 is set to '1', signaling information about additional view image data in the header information 1000. (1020) is present.
  • the 'aux_format_ext_idc' field 1021 indicates the type of information included in the sub picture data.
  • the subscreen data includes depth information.
  • the 'aux_format_ext_idc' field 1021 is '1', the subscreen data includes binocular disparity information. If the aux_format_ext_idc 'field 1021 is' 2', the sub-picture data includes additional view image data.
  • the signaling information 1020 includes the' depth_params' field 1022 and when the 'aux_format_ext_idc' field 1021 is' 1 ', the signaling information 1020 includes' parallax_params' field 1023, and when the 'aux_format_ext_idc' field 1021 is' 2 ', the signaling information 1020 includes the' additional_view_params' field 1024.
  • FIG. 11A illustrates an example of a structure of the 'depth_params' field 1022 illustrated in FIG. 10.
  • FIG. 11B is an example of a structure of the 'parallax_params' field 1023 shown in FIG. 10.
  • FIG. 11C is an example of a structure of the 'additional_view_params' field 1024 shown in FIG. 10.
  • the 'additional_view_nal_type' field 1131 indicates what type information of the NAL unit including additional view image data is.
  • the 'additional_view_is_L' field 1132 indicates whether left view image data is transmitted first or right view image data is transmitted first.
  • the 'additional_view_field_flag' field 1133 indicates whether the additional view image data is composed of image frames having different reference view image data or different fields within one image frame.
  • the 'additional_view_composition_ratio' field 1134 indicates a composition ratio of the reference view image data and the additional view image data.
  • an H.264 / AVC video sequence is transmitted using an MPEG-2 transmission system.
  • PMT a type of a transport packet in which the reference view image data is mounted and a transport packet in which the additional view image data is mounted are designated as 'audio / video stream'.
  • signaling information about the additional view image data is provided through 'AVC_video_descriptor ()' 1200 in the PMT.
  • 'AVC_video_descriptor ()' 1200 includes a 'additional_view_indicator' field 1210.
  • the 'additional_view_indicator' field 1210 is set to '1', it means that signaling information about the additional view video data is included, and if the 'additional_view_indicator' field 1210 is set to '0', signaling about the additional view video data This means no information is included.
  • Signaling information about additional view image data may be included in a next column of the 'additional_view_indicator' field 1210.
  • FIG. 13 shows an example of an H.264 NAL sequence including signaling information according to an embodiment of the present invention.
  • the SEI 1330 includes signaling information about 3D image data.
  • the signaling information includes a 'Nal_Unit_Type' value for the second NAL unit group 1320 including additional view image data.
  • a value of 'Nal_Unit_Type' for the second NAL unit group 1320 is designated as '16'.
  • the data decoding apparatus determines that the 'Nal_Unit_Type' value for the second NAL unit group 1320 is '16' through the SEI 1330, and then obtains a Nal unit having the 'Nal_Unit_Type' value of '16'.
  • FIG. 14 shows another example of an H.264 NAL sequence including signaling information according to an embodiment of the present invention.
  • additional view image data is mounted on the NAL unit group 1420 including the sub view data, and signaling information on the additional view image data is transmitted through the NAL unit 1430 including the SPS_extension.
  • FIG. 15 is a block diagram of a data decoding apparatus 1500 according to an embodiment of the present invention.
  • the data decoding apparatus 1500 includes a data unit acquisition unit 1510 and a decoding unit 1520.
  • the data unit acquisition unit 1510 includes a header area and a data area, and obtains a data unit including type information indicating a type of data included in the data area.
  • a first data unit composed of reference view image data is obtained based on the first unit type information which is one of the type information defined in the legacy system, and the second unit which is one of the type information not defined in the legacy system.
  • a second data unit composed of additional view image data is obtained.
  • data for example, depth information and binocular disparity information
  • additional view image data may be included in the second data unit.
  • the data unit acquisition unit 1510 may further include a third data unit including signaling information.
  • the signaling information includes information on what is second unit type information indicating a data unit including additional view image data, preceding view information indicating image data to be output first among the reference view image data and the additional view image data, and the reference view point. Pair information indicating that the reference view image data and the additional view image data are a pair, such as multiplexing information indicating the multiplexing method of the image data and the additional view image data, and configuration ratio information indicating the composition ratio of the reference view image data and the additional view image data. It includes.
  • the decoder 1520 decodes the first data unit and the second data unit.
  • the legacy device may not know the meaning of the second unit type information.
  • the second unit type information corresponds to a reserved value.
  • the legacy apparatus discards the second data unit without decoding, and processes only the first data unit to provide two-dimensional image data.
  • the data decoding apparatus 1500 since the data decoding apparatus 1500 according to the present invention knows that the second data unit including the second unit type information includes additional view image data, the data decoding apparatus 1500 processes both the first data unit and the second data unit. Three-dimensional image data can be provided.
  • the decoder 1520 decodes the reference view image data included in the first data unit by referring to only previously decoded reference view image data, and decodes the additional view image data included in the second data unit previously decoded. It decodes with reference to only image data. Since the reference view image data and the additional view image data can be decoded without reference to each other, according to an exemplary embodiment, only the reference view image data or the additional view image data may be selectively decoded.
  • the decoder 1520 may decode the first data unit and the second data unit by using signaling information indicating configuration information of the reference view image data and the additional view image data.
  • FIG. 16 illustrates a process of processing data in the data decoding apparatus 1610 and the legacy apparatus 1620 according to an embodiment of the present invention.
  • the 'Nal_Unit_Type' value of the NAL unit including reference view image data is designated as one of '1 to 5'
  • the 'Nal_Unit_Type' value of the NAL unit including additional view image data is one of 'reserved' values. Is designated as '16'.
  • the NAL units 1611 and 1613 include reference view image data
  • the NAL units 1612 and 1614 include additional view image data.
  • the data decoding apparatus 1610 processes both the NAL units 1611 and 1613 including the reference view image data and the NAL units 1612 and 1614 including the additional view image data to provide a 3D image.
  • the legacy device 1620 processes only the NAL units 1611 and 1613 including the reference view image data, and discards the NAL units 1612 and 1614 including the additional view image data. Therefore, according to the legacy device 1620, only two-dimensional image data is output.
  • 17 is a flowchart illustrating a data encoding method according to an embodiment of the present invention.
  • reference view image data and additional view image data for providing a 3D image are encoded.
  • a first data unit including the reference view image data and a second data unit including the additional view image data are generated.
  • the header of the first data unit includes first unit type information indicating that the reference view image data is included in the first data unit, and the header of the second data unit includes additional view image data in the second data unit. Two unit type information is included.
  • One of the unit type information defined in the legacy device and representing the image data may be designated as the first unit type information, and one of the unit type information not defined in the legacy device may be designated as the second unit type information.
  • the unit type information indicating the main image data may be designated as the first unit type information
  • the unit type information indicating the sub image data may be designated as the second unit type information
  • FIG. 18 is a flowchart illustrating a data decoding method according to an embodiment of the present invention.
  • a first data unit including the reference view image data and a second data unit including the additional view image data are obtained.
  • the first data unit and the second data unit are decoded to provide a 3D image.
  • the above-described embodiments of the present invention can be written as a program that can be executed in a computer, and can be implemented in a general-purpose digital computer that operates the program using a computer-readable recording medium.
  • the computer-readable recording medium may be a magnetic storage medium (for example, a ROM, a floppy disk, a hard disk, etc.), an optical reading medium (for example, a CD-ROM, a DVD, etc.) and a carrier wave (for example, the Internet). Storage medium).
  • a magnetic storage medium for example, a ROM, a floppy disk, a hard disk, etc.
  • an optical reading medium for example, a CD-ROM, a DVD, etc.
  • carrier wave for example, the Internet.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

해더 영역과 데이터 영역으로 구성되며 상기 해더 영역에는 상기 데이터 영역에 포함된 데이터의 타입을 나타내는 타입 정보가 포함된 데이터 유닛으로 3차원 영상 데이터를 부호화하는 방법에 있어서, 3차원 영상을 제공하는 기준 시점 영상 데이터 및 부가 시점 영상 데이터를 부호화하고, 레거시 시스템에서 정의된 타입 정보들 중 하나인 제 1 유닛 타입 정보를 포함하는 해더를 부호화된 기준 시점 영상 데이터에 부가하여 제 1 데이터 유닛을 생성하며, 레거시 시스템에서 정의되지 않은 타입 정보들 중 하나인 제 2 유닛 타입 정보를 포함하는 해더를 부호화된 부가 시점 영상 데이터에 부가하여 제 2 데이터 유닛을 생성하는 데이터 부호화 방법 및 장치와 복호화 방법 및 장치가 개시된다.

Description

3차원 영상 데이터를 부호화하는 방법 및 장치와 복호화 방법 및 장치
본 발명은 3차원 영상을 제공하는 방법 및 장치에 관한 것으로, 특히, 기준 시점 영상 데이터에 대한 타입 정보와 부가 시점 영상 데이터에 대한 타입 정보를 상이한 값으로 지정하는 데이터 부호화 방법 및 장치와 데이터 복호화 방법 및 장치에 관한 것이다.
종래의 디지털 방송 수신기에서는 시청자의 입력에 기초하여 튜너를 원하는 채널의 물리적인 주파수에 동조한 후 해당 주파수의 신호만을 선택적으로 추출한다. 수신기는 채널 복호화부와 역변조화부를 이용하여 추출된 신호에서 전송 스트림을 획득한 후, 획득된 전송 스트림을 처리하여 최종적으로 출력한다.
수신기는 PMT(Program Mapping Table)에 정의된 스트림 타입을 참고하여 원하는 패킷의 PID(Program ID)를 확인함으로서 패킷을 선택적으로 처리한다. 특히, 입체 영상의 경우 기준 시점 영상 데이터를 나타내는 PID와 부가 시점 영상 데이터를 나타내는 PID를 각각 PMT에서 정의함으로써 수신기는 입체 영상에 필요한 영상 데이터를 선택적으로 획득할 수 있다.
따라서, 수신기에서 입체 영상을 제공하기 위해서는 영상 데이터가 포함된 전송 패킷과는 별도로 PMT 섹션 데이터를 획득하여야 하며, MPEG-2 전송 시스템이 아닌 시스템에서는 입체 영상을 제공하기가 힘들다.
상기의 문제점을 해결하기 위한 본 발명의 목적은 타입 정보가 포함된 데이터 유닛으로 3차원 영상 데이터를 부호화하는 방법 및 장치와, 복호화하는 방법 및 장치를 제공하는 것이다.
도 1은 본 발명의 일 실시예에 따른 데이터 부호화 장치(100)에 관한 블록도를 나타낸다.
도 2는 본 발명의 일 실시예에 따른 H.264/AVC 스트림을 생성하기 위한 계층 구조를 나타낸다.
도 3은 본 발명의 일 실시예에 따른 NAL 유닛(300)을 나타낸다.
도 4는 nal_unit_type필드(314)의 값에 따른 데이터의 타입을 나타낸다.
도 5는 본 발명의 일 실시예에 따른 기준 시점 영상 데이터를 포함하는 제 1 NAL 유닛의 해더(510)와 부가 시점 영상 데이터를 포함하는 제 2 NAL 유닛의 해더(520)에 관한 일 예를 나타낸다.
도 6은 본 발명의 일 실시예에 따른 H.264 NAL 유닛 시퀀스에 관한 일 예를 나타낸다.
도 7은 본 발명의 다른 실시예에 따른 H.264 NAL 유닛 시퀀스에 관한 일 예를 나타낸다.
도 8은 본 발명의 일 실시예에 따른 시그널링 정보(800)를 나타낸다.
도 9은 본 발명의 다른 실시예에 따른 시그널링 정보(900)를 나타낸다.
도 10은 본 발명의 또 다른 실시예에 따른 시그널링 정보의 일 예이다.
도 11a은 도 10에 도시된 'depth_params'필드(1022)의 구조에 관한 일 예이다.
도 11b은 도 10에 도시된 'parallax_params'필드(1023)의 구조에 관한 일 예이다.
도 11c는 도 10에 도시된 'additional_view_params'필드(1024)의 구조에 관한 일 예이다.
도 12는 본 발명의 일 실시예에 따른 시그널링 정보에 관한 일 예를 나타낸다.
도 13은 본 발명의 일 실시예에 따른 시그널링 정보가 포함된 H.264 NAL 시퀀스에 관한 일 예를 나타낸다.
도 14는 본 발명의 일 실시예에 따른 시그널링 정보가 포함된 H.264 NAL 시퀀스에 관한 다른 예를 나타낸다.
도 15는 본 발명의 일 실시예에 따른 데이터 복호화 장치(1500)에 관한 블록도를 나타낸다.
도 16은 본원 발명의 일 실시예에 따른 데이터 복호화 장치(1610)와 레거시 장치(1620)에서 데이터를 처리하는 과정을 나타낸다.
도 17은 본 발명의 일 실시예에 따른 데이터 부호화 방법에 관한 흐름도를 나타낸다.
도 18은 본 발명의 일 실시예에 따른 데이터 복호화 방법에 관한 흐름도를 나타낸다.
상기의 목적을 달성하기 위한 본 발명의 하나의 특징은, 해더 영역과 데이터 영역으로 구성되며 상기 해더 영역에는 상기 데이터 영역에 포함된 데이터의 타입을 나타내는 타입 정보가 포함된 데이터 유닛으로 3차원 영상 데이터를 부호화하는 방법에 있어서, 3차원 영상을 제공하는 기준 시점 영상 데이터 및 부가 시점 영상 데이터를 부호화하는 단계; 레거시 시스템에서 정의된 타입 정보들 중 하나인 제 1 유닛 타입 정보를 포함하는 해더를 상기 부호화된 기준 시점 영상 데이터에 부가하여 제 1 데이터 유닛을 생성하는 단계; 및 상기 레거시 시스템에서 정의되지 않은 타입 정보들 중 하나인 제 2 유닛 타입 정보를 포함하는 해더를 상기 부호화된 부가 시점 영상 데이터에 부가하여 제 2 데이터 유닛을 생성하는 단계를 포함하는 것이다.
상기 제 1 데이터 유닛 및 상기 제 2 데이터 유닛을 전송 시스템에 기초하여 변환하는 단계; 및 상기 변환된 제 1 데이터 유닛 및 상기 변환된 제 2 데이터 유닛을 전송하는 단계를 더 포함할 수 있다.
상기 부호화하는 단계는, 이전 기준 시점 영상 데이터만을 참조하여 다음 기준 시점 영상 데이터를 부호화하고, 이전 부가 시점 영상 데이터만을 참조하여 다음 부가 시점 영상 데이터를 부호화하는 단계를 더 포함할 수 있다.
상기 제 1 데이터 유닛 및 상기 제 2 데이터 유닛은, H.264 표준에 따른 날 유닛(NAL Unit)을 포함할 수 있다.
상기 제 1 데이터 유닛에 포함된 상기 기준 시점 영상 데이터와 상기 제 2 데이터 유닛에 포함된 상기 부가 시점 영상 데이터가 한 쌍의 영상 데이터임을 나타내는 쌍정보가 포함된 시그널링 정보를 생성하는 단계를 더 포함하고, 상기 전송하는 단계는, 상기 제 1 데이터 유닛, 상기 제 2 데이터 유닛 및 상기 시그널링 정보를 전송하는 단계를 포함할 수 있다.
상기 시그널링 정보는, 상기 부가 시점 영상 데이터를 포함하는 상기 제 2 데이터 유닛의 타입 정보가 상기 제 2 유닛 타입 정보임을 나타내는 정보를 포함할 수 있다.
상기 시그널링 정보는, 상기 기준 시점 영상 데이터와 상기 부가 시점 영상 데이터 중 먼저 출력될 영상 데이터를 나타내는 선행 시점 정보, 상기 기준 시점 영상 데이터와 상기 부가 시점 영상 데이터의 다중화 방식을 나타내는 다중화 정보 및 상기 기준 시점 영상 데이터와 상기 부가 시점 영상 데이터의 구성 비율을 나타내는 구성 비율 정보를 포함할 수 있다.
상기 전송하는 단계는, 상기 제 1 데이터 유닛 및 상기 제 2 데이터 유닛을 MPEG-2 전송 시스템을 통하여 전송하는 단계를 포함하고, 상기 시그널링 정보는, PMT내의 소정 영역에 포함될 수 있다.
상기의 목적을 달성하기 위한 본 발명의 다른 실시예가 갖는 하나의 특징은,
해더 영역과 데이터 영역으로 구성되며 상기 해더 영역에는 상기 데이터 영역에 포함된 데이터의 타입을 나타내는 타입 정보가 포함된 데이터 유닛으로 3차원 영상 데이터를 제공하는 방법에 있어서, 3차원 영상을 제공하는 기준 시점 영상 데이터 및 부가 시점 영상 데이터 중 적어도 하나를 부호화하는 단계; 데이터 영역에 주화면용 데이터가 존재함을 나타내는 제 1 유닛 타입 정보가 포함된 해더를 상기 부호화된 기준 시점 영상 데이터에 부가하여 제 1 데이터 유닛을 생성하는 단계; 및데이터 영역에 부화면용 데이터가 존재함을 나타내는 제 2 유닛 타입 정보가 포함된 해더를 부가 시점 영상 데이터에 관한 정보에 부가하여 제 2 데이터 유닛을 생성하는 단계를 포함하는 것이다.
상기 부가 시점 영상 데이터에 관한 정보는, 기준 위치에서 오브젝트까지의 거리를 나타내는 깊이 맵 정보, 좌안과 우안간의 양안 시차 정보 및 상기 부가 시점 영상 데이터 중 하나일 수 있다.
본 발명의 다른 실시예가 갖는 하나의 특징은, 해더 영역과 데이터 영역으로 구성되며 상기 해더 영역에는 상기 데이터 영역에 포함된 데이터의 타입을 나타내는 타입 정보가 포함된 데이터 유닛을 이용하여 복호화 장치에서 3차원 영상 데이터를 복호화하는 방법에 있어서, 레거시 시스템에서 정의된 타입 정보들 중 하나인 제 1 유닛 타입 정보에 기초하여, 상기 제 1 유닛 타입 정보를 포함하는 해더와 기준 시점 영상 데이터로 구성된 제 1 데이터 유닛을 획득하는 단계; 상기 레거시 시스템에서 정의되지 않은 타입 정보들 중 하나인 제 2 유닛 타입 정보에 기초하여, 상기 제 2 유닛 타입 정보를 포함하는 해더와 부가 시점 영상 데이터로 구성된 제 2 데이터 유닛을 획득하는 단계; 및 상기 제 1 데이터 유닛 및 상기 제 2 데이터 유닛 중 적어도 하나를 복호화하는 단계를 포함하는 것이다.
본 발명의 다른 실시예가 갖는 하나의 특징은, 해더 영역과 데이터 영역으로 구성되며 상기 해더 영역에는 상기 데이터 영역에 포함된 데이터의 타입을 나타내는 타입 정보가 포함된 데이터 유닛을 이용하여 3차원 영상 데이터를 복호화 하는 방법에 있어서, 데이터 유닛내의 데이터 영역에 포함된 데이터가 주화면용 데이터임을 나타내는 제 1 유닛 타입 정보에 기초하여, 상기 제 1 유닛 타입 정보를 포함하는 해더와 기준 시점 영상 데이터로 구성된 제 1 데이터 유닛을 획득하는 단계; 데이터 유닛내의 데이터 영역에 포함된 데이터가 부화면용 데이터임을 나타내는 제 2 유닛 타입 정보에 기초하여, 상기 제 2 유닛 타입 정보를 포함하는 해더와 부가 시점 영상 데이터로 구성된 제 2 데이터 유닛을 생성하는 단계; 및 상기 제 1 데이터 유닛과 상기 제 2 데이터 유닛를 복호화하는 단계를 포함하는 것이다.
이하에서는 첨부된 도면을 참고하여 본 발명의 바람직한 실시 예를 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 데이터 부호화 장치(100)에 관한 블록도를 나타낸다.
본 발명의 일 실시예에 따른 데이터 부호화 장치(100)는 부호화부(110) 및 유닛생성부(120)를 포함한다. 데이터 부호화 장치(100)는 3차원 영상을 제공하기 위한 3차원 영상 데이터를 부호화한다. 본 명세서에서는, 데이터 부호화 장치(100)가 사용자에게 스테레오스코픽 영상을 제공하기 위하여 기준 시점 영상 데이터와 부가 시점 영상 데이터를 부호화하는 것으로 가정한다. 그러나, 실시 예에 따라서는 데이터 부호화 장치(100)가 셋 이상의 다 시점 영상 데이터들을 부호화할 수 있다.
부호화부(110)는 3차원 영상을 제공하는 기준 시점 영상 데이터와 부가 시점 영상 데이터를 부호화한다. 부호화부(110)가 영상 데이터를 부호화하는 방식은 다양할 수 있다. 일 예로, 부호화부(110)는 H.264/AVC 표준에 따라 영상 데이터를 부호화할 수 있다.
부호화부(110)는 기준 시점 영상 데이터와 부가 시점 영상 데이터가 독립적인 참조 관계를 유지하도록 기준 시점 영상 데이터와 부가 시점 영상 데이터를 부호화한다. 기준 시점 영상 데이터와 부가 시점 영상 데이터가 독립적인 참조 관계를 유지한다는 것은 기준 시점 영상 데이터를 부호화하거나 복호화할 때 기준 시점 영상 데이터를 참조하고(즉, 부가 시점 영상 데이터를 참조하지 않고), 부가 시점 영상 데이터를 부호화하거나 복호화 할 때, 부가 시점 영상 데이터를 참조(즉, 기준 시점 영상 데이터를 참조하지 않음)함을 의미한다.
영상 데이터를 부호화할 때 데이터의 양을 감소시키기 위하여, 전체 영상 데이터들 중 일부 영상 데이터는 다른 영상 데이터를 참조하지 않고 부호화하고 나머지 영상 데이터는 이전 또는 이후의 하나 이상의 영상 데이터를 참조하여 부호화한다.
다른 영상 데이터를 참조하지 않고 부호화하는 참조 영상 데이터가 기준 시점 영상 데이터에만 존재한다고 가정해보자. 이 경우, 하나 이상의 부가 시점 영상 데이터는 기준 시점 영상 데이터를 참조하여야 하므로, 부가 시점 영상 데이터를 복호화하기 위해서는 기준 시점 영상 데이터내의 하나 이상의 영상 데이터를 먼저 복호화하여야 한다. 유사하게, 기준 시점 영상 데이터가 부가 시점 영상 데이터를 참조할 수도 있으며, 데이터 복호화 장치에서는 부가 시점 영상 데이터 또는 기준 시점 영상 데이터만을 독립적으로 처리할 수 없을 수 있다.
반면, 본원 발명에서는 기준 시점 영상 데이터와 부가 시점 영상 데이터가 독립적인 참조 관계를 유지하도록 기준 시점 영상 데이터와 부가 시점 영상 데이터를 부호화함으로써, 데이터 복호화 장치에서는 기준 시점 영상 데이터를 처리할 필요 없이 부가 영상 데이터만을 처리하거나, 부가 시점 영상 데이터를 처리할 필요 없이 기준 시점 영상 데이터만을 처리할 수 있다.
유닛생성부(120)는 부호화된 기준 시점 영상 데이터와 부호화된 부가 시점 영상 데이터 각각에 해더를 부가하여 데이터 유닛들을 생성한다. 유닛생성부(120)는 데이터 영역과 해더 영역으로 구성되는 데이터 유닛을 생성한다. 유닛생성부(120)에서 생성되는 데이터 유닛은 전송 시스템에는 독립적이다. 즉, 생성된 데이터 유닛은 다양한 전송 시스템(예를 들면, h.264/AVC, RTP, MPEG-2등)을 사용하여 전송될 수 있다. 데이터 유닛과 전송 시스템이 독립적인 관계를 유지하기 위해서는, PMT와 같은 다른 시그널링 정보 없이 데이터 영역에 포함된 데이터의 타입을 확인할 필요가 있다. 따라서, 유닛생성부(120)는 데이터 영역에 포함된 데이터의 타입을 나타내는 정보를 해더 영역에 포함시킨다. 이하에서는, 설명의 편의를 위하여 데이터의 타입을 나타내는 정보를 유닛 타입 정보로 명명한다.
유닛생성부(120)는 기준 시점 영상 데이터를 나타내는 유닛 타입 정보와 부가 시점 영상 데이터를 나타내는 유닛 타입 정보를 상이한 값으로 할당한다. 이하에서는, 유닛생성부(120)에서 유닛 타입 정보를 할당하는 두 가지 실시예를 설명한다. 그러나, 본원 발명이 여기에 한정되는 것은 아니다.
일 실시예에서, 유닛생성부(120)는 기준 시점 영상 데이터를 나타내는 유닛 타입 정보를 레거시 장치에서 정의된 타입 정보들 중 하나인 제 1 유닛 타입 정보로 결정하고, 부가 시점 영상 데이터를 나타내는 유닛 타입 정보를 레거시 장치에서 정의되지 않은 타입 정보들 중 하나인 제 2 유닛 타입 정보로 결정한다.
레거시 장치는 본원 발명이 적용되는 데이터 부호화 장치(100) 및 데이터 복호화 장치 이전에 존재하는 장치로써, 3차원 영상 데이터를 제공하지 못하는 2차원 데이터 부호화 장치 및 복호화 장치일 수 있다. 실시 예에 따라서는 보다 넓은 개념으로, 부가 시점 영상 데이터를 나타내는 유닛 타입 정보를 식별하지 못하는 모든 장치를 레거시 장치로 명명한다.
유닛생성부(120)가 H.264/AVC 표준에 부합하는 데이터 유닛을 생성하는 경우를 가정해보자. 유닛생성부(120)는 부호화된 데이터가 포함되는 데이터 RBSP(Raw Byte Sequence Payload) 영역과 해더 영역으로 구성되는 NAL 유닛을 생성한다. 유닛생성부(120)는 기준 시점 영상 데이터가 포함된 NAL 유닛의 해더에는 레거시 시스템에서 정의된 타입 정보들 중 하나인 제 1 유닛 타입 정보를 포함시키고, 부가 시점 영상 데이터가 포함된 NAL 유닛의 해더에는 레거시 장치에서 정의되지 않은 타입 정보들 중 하나인 제 2 유닛 타입 정보를 포함시킨다.
다른 실시예에서는, 유닛생성부(120)는 기준 시점 영상 데이터를 나타내는 유닛 타입 정보를 주화면용 데이터에 대응하는 제 1 유닛 타입 정보로 결정하고, 부가 시점 영상 데이터를 나타내는 유닛 타입 정보를 부화면용 데이터에 대응하는 제 2 유닛 타입 정보로 결정한다. 유닛생성부(120)는 기준 시점 영상 데이터가 포함된 데이터 유닛에 제 1 유닛 타입 정보가 포함된 해더를 부가하여 제 1 데이터 유닛을 생성하고, 부가 시점 영상 데이터가 포함된 데이터 유닛에 제 2 유닛 타입 정보가 포함된 해더를 부가하여 제 2 데이터 유닛을 생성한다.
부화면용 데이터는 주화면용 데이터를 디스플레이 하는 과정에서 픽셀 단위로 투명도 값을 조합하기 위하여 사용된다. 부화면용 데이터는 주화면용 데이터와 동일한 개수의 메크로 블록으로 구성된다. 부화면용 데이터는 필요한 경우에 주화면용 데이터에 연속하여 전송되는 것이 일반적이며, 전송되지 않더라도 주화면용 데이터를 성공적으로 복호화 할 수 있다.
부화면용 데이터는 부가 시점 영상 데이터 그 자체이거나, 부가 시점 영상 데이터를 복원할 수 있는 정보(예를 들면, 소정 위치로부터 오브젝트까지의 거리를 나타내는 깊이 맵 정보, 오브젝트에 대한 좌안과 우안간의 양안 시차 정보)를 포함할 수 있다.
부화면용 영상 데이터는 투명도에 대한 정보만을 전달하므로 단색(monochrome)에 대한 정보이다. 깊이 정보 및 양안 시차 정보 역시 단색에 대한 정보이므로, 부화면용 영상 데이터를 이용하여 깊이 정보 및 양안 시차 정보를 용이하게 전송할 수 있다.
유닛생성부(120)가 H.264에 따른 NAL 유닛을 생성하는 경우를 가정해보자. 유닛생성부(120)는 'Nal_Unit_Type' 필드 값을 부화면용 데이터를 나타내는 '19'로 할당하고, 'Nal_Unit_Type=19'를 포함하는 해더를 부가 시점 영상 데이터에 부가하여 부가 시점 영상 데이터가 포함된 NAL 유닛을 생성할 수 있다.
유닛생성부(120)는 시그널링 정보가 포함된 제 3 데이터 유닛을 더 생성할 수 있다. 시그널링 정보에는 제 1 데이터 유닛에 포함된 기준 시점 영상 데이터와 제 2 데이터 유닛에 포함된 부가 시점 영상 데이터가 한 쌍의 영상 데이터임을 나타내는 쌍정보가 포함된다. 일 예로, 시그널링 정보에는 부가 시점 영상 데이터를 포함하는 제 2 데이터 유닛의 타입 정보가 무엇인지를 나타내는 정보, 기준 시점 영상 데이터와 부가 시점 영상 데이터 중 먼저 출력될 영상 데이터를 나타내는 선행 시점 정보, 기준 시점 영상 데이터와 부가 시점 영상 데이터의 다중화 방식을 나타내는 다중화 정보, 기준 시점 영상 데이터와 부가 시점 영상 데이터의 구성 비율을 나타내는 구성 비율 정보 중 적어도 하나를 포함할 수 있다.
데이터 부호화 장치(100)는 전송부(미도시)를 더 포함할 수 있다. 전송부(미도시)는 데이터 부호화 장치(100)가 사용하는 전송 시스템에 따라 제 1 데이터 유닛, 제 2 데이터 유닛 및 제 3 데이터 유닛을 변환한 후, 전송 컨테이너에 탑재하여 전송한다. 일 예로, MPEG-2 전송 시스템을 통하여 데이터 유닛을 전송하는 경우, 전송부(미도시)는 픽처, GOP(Group Of Picture), 등과 같은 특정한 데이터의 시작을 나타내는 시작 부호를 데이터 유닛에 부가하여 데이터 유닛의 형식이 전송 시스템에 부합되도록 조정한 후 전송한다. 이 때, 전송부(미도시)는 시그널링 정보를 PMT와 같은 MPEG-2 전송 시스템에서 정의하는 테이블에 탑재하여 전송할 수 있다.
도 2는 본 발명의 일 실시예에 따른 H.264/AVC 스트림을 생성하기 위한 계층 구조를 나타낸다.
본 발명의 일 실시예에 따른 H.246/AVC 스트림은 3개의 계층(210,220,230)을 통과하여 생성된다.
부호화 처리 계층(210)은 영상 데이터를 부호화한다. 부호화 처리 계층(210)은 기준 시점 영상 데이터와 부가 시점 영상 데이터등의 영상 데이터(211)를 H.264 표준에 따라 부호화한다. 부호화 처리 계층(210)은 PPS(Picture Parameter Set), SPS(Sequence Parameter Set)와 같은 파라미터 셋이나 SEI등과 같은 시그널링 정보(212)를 다른 부호화 방식에 따라서 부호화하거나 부호화하지 않을 수 있다.
네트워크 추상 계층(220)은 NAL 유닛(221,222)을 생성한다. NAL 유닛(221,222)은 해더와 RBSP로 구성된다. RBSP는 데이터가 포함되는 영역으로써, 부호화 처리 계층에서 부호화한 영상 데이터(211) 또는 시그널링 정보(212)가 포함된다. 해더에는 RBSP에 포함되는 데이터의 타입을 나타내는 'Nal_Unit_Type' 가 포함된다. RBSP에 기준 시점 영상 데이터가 포함되면 'Nal_Unit_Type' 값은 레거시 장치에서 정의된 타입 정보들 중 하나의 값을 갖고, RBSP에 부가 시점 영상 데이터가 포함되면 'Nal_Unit_Type' 값은 레거시 장치에서 정의되지 않은 타입 정보들 중 하나를 가질 수 있다.
네트워크 추상 계층(220)은 NAL 유닛(221,222)을 사용할 전송 시스템에 맞게 변형할 수 있다. 일 예로, MPEG-2 전송 시스템을 사용하는 경우에는 픽처의 시작이나 GOP의 시작 등을 나타내는 바이트열(234)를 NAL 유닛(221,222)에 부가하여 전송 패킷을 생성한다. 실시 예에 따라서는 NAL 유닛(221,222)을 사용할 전송 시스템에 맞게 변형하는 작업이 후술할 전송 계층(230)에서 수행될 수도 있다.
전송 계층(230)은 전송 패킷을 전송한다. 전송 계층(230)은 H.264/AVC(231), RTP(232), MPEG-2(233) 중 적어도 하나의 전송 시스템을 사용할 수 있다.
도 3은 본 발명의 일 실시예에 따른 NAL 유닛(300)을 나타낸다.
NAL 유닛(300)은 NAL 해더(310) 및 RBSP(320)로 구성된다.
RBSP(320)에는 전송하고자 하는 데이터가 포함된다. 예를 들어, RBSP(320)에는 부호화된 기준 시점 영상 데이터, 부호화된 부가 시점 영상 데이터, 시그널링 정보 등이 포함될 수 있다.
일 실시예에서는, RBSP(320)에 패딩 비트(330)가 부가될 수 있다.
NAL 해더(310)는 nal_ref_idc필드(312) 및 nal_unit_type필드(314)를 포함한다.
nal_ref_idc필드(312)는 RBSP(320)에 포함된 데이터가 참조 영상 데이터를 복원하는데 사용되는지를 나타내는 정보이다.
nal_unit_type필드(314)는 RBSP(320)에 포함된 데이터의 타입을 나타내는 정보이다.
도 4는 nal_unit_type필드(314)의 값에 따른 데이터의 타입을 나타낸다.
도 4를 참고하면, nal_unit_type필드(314)가 16~18, 21-23의 값을 가지는 경우는 H.264 표준에 기재되어 있지 않다.
유닛생성부(120)는 기준 시점 영상 데이터를 포함하는 NAL 유닛의 nal_unit_type필드(314)를 1 또는 4와 같이 H.264 표준에서 정의된 값으로 설정하고, 부가 시점 영상 데이터를 포함하는 NAL 유닛의 nal_unit_type필드(314)를 16~18, 21-23(즉, H.264 표준에서 정의되지 않은 값)의 값으로 설정한다.
해당 버전의 표준을 따르는 레거시 장치(즉, nal_unit_type필드(314)가 '16~18, 21-23'인 경우가 정의되지 않은 장치)는 부가 시점 영상 데이터를 포함하는 NAL 유닛을 해석할 수 없는 것으로 판단하여 처리하지 않는다.
반면, 본원 발명에 따른 데이터 복호화 장치(즉, nal_unit_type필드(314)가 '16~18, 21-23'인 경우는 NAL 유닛이 부가 시점 영상 데이터를 포함하는 것으로 약속된 장치)는 부가 시점 영상 데이터가 포함된 NAL 유닛을 처리하여 3차원 영상을 제공한다.
도 5는 본 발명의 일 실시예에 따른 기준 시점 영상 데이터를 포함하는 제 1 NAL 유닛의 해더(510)과 부가 시점 영상 데이터를 포함하는 제 2 NAL 유닛의 해더(520)에 관한 일 예를 나타낸다.
제 1 NAL 유닛의 해더(510)내의 'nal_unit_type'필드는 '5'의 값을 가진다. 이는, 제 1 NAL 유닛의 RBSP영역에는 참조 영상 데이터에 해당하는 기준 시점 영상 데이터가 포함됨을 나타낸다.
반면, 제 2 NAL 유닛의 해더(520)내의 'nal_unit_type'필드는'16'의 값을 가진다. 현재 버전의 H.264에서는 'nal_unit_type'필드 값이'16'인 경우를 'reserved'로 설정하고 있다. 즉, 'nal_unit_type'필드 값이'16'인 경우는 기존의 레거시 장치에서는 정의되어 있지 않다. 이는, 제 2 NAL 유닛의 RBSP 영역에는 부가 시점 영상 데이터가 포함됨을 나타낸다.
도 6은 본 발명의 일 실시예에 따른 H.264 NAL 유닛 시퀀스에 관한 일 예를 나타낸다.
도 6에서는 본원 발명의 일 실시예에 따른 유닛생성부(120)가 기준 시점 영상 데이터에 대한 닛 타입 값으로 레거시 장치에서 정의하는 유닛 타입 값들 중 하나를 사용하며 부가 시점 영상 데이터를 나타내는 유닛 타입 값으로 레거시 장치에서 정의하지 않은 유닛 타입 값들 중 하나를 사용하는 것으로 가정한다.
본 발명의 일 실시예에 따른 H.264 NAL 유닛 시퀀스는 제 1 NAL 유닛 그룹(610)과 제 2 NAL 유닛 그룹(620)을 포함하며, 'nal_unit_type'필드의 값을 괄호를 이용하여 표시하였다.
제 1 NAL 유닛 그룹(610)내의 NAL 유닛들(611,612,613,614)은 'nal_unit_type'필드가 '1' 또는 '5'의 값을 갖는다.
도 4를 참고하면, 'nal_unit_type'필드가 '1'인 경우는 NAL 유닛이 IDR이 아닌 영상 데이터를 포함하고, 'nal_unit_type'필드가 '5'인 경우는 NAL 유닛이 IDR인 영상 데이터를 포함함을 알 수 있다. 'nal_unit_type'필드가 '1' 경우와 '5'인 경우는 레거시 장치에서 정의된 유닛 타입 값들이므로 제 1 NAL 유닛 그룹(610)은 기준 시점 영상 데이터를 포함함을 알 수 있다.
또한, 제 2 NAL 유닛 그룹(620)내의 NAL 유닛들(621,622,623,624)은 'nal_unit_type'필드가 '16'의 값을 갖는다.
도 4를 참고하면 'nal_unit_type'필드가 '16'인 경우는 레거시 장치에서 정의되지 않은 유닛 타입 값이므로 제 2 NAL 유닛 그룹(620)은 부가 시점 영상 데이터를 포함함을 알 수 있다.
도 7은 본 발명의 다른 실시예에 따른 H.264 NAL 유닛 시퀀스에 관한 일 예를 나타낸다.
도 7에서는 본원 발명의 다른 실시예에 따른 유닛생성부(120)가 기준 시점 영상 데이터에 대한 유닛 타입 값으로 주영상용 데이터에 대응하는 유닛 타입 값을 사용하며 부가 시점 영상 데이터에 대한 유닛 타입 값으로 부영상용 데이터에 대응하는 유닛 타입 값을 사용하는 것으로 가정한다.
본 발명의 일 실시예에 따른 H.264 NAL 유닛 시퀀스는 제 1 NAL 유닛 그룹(710)과 제 2 NAL 유닛 그룹(720)을 포함하며, 'nal_unit_type'필드의 값을 괄호를 이용하여 표시하였다.
제 1 NAL 유닛 그룹(710)내의 NAL 유닛들(711,712,713,714)은 'nal_unit_type'필드가 '1' 또는 '5'의 값을 갖는다.
도 4를 참고하면, 'nal_unit_type'필드가 '1'인 경우는 NAL 유닛이 IDR이 아닌 영상 데이터를 포함하고, 'nal_unit_type'필드가 '5'인 경우는 NAL 유닛이 IDR인 영상 데이터를 포함함을 알 수 있다. 'nal_unit_type'필드가 '1' 경우와 '5'인 경우는 NAL 유닛에 주영상용 데이터가 포함되므로, 제 1 NAL 유닛 그룹(710)은 기준 시점 영상 데이터를 포함함을 알 수 있다.
또한, 제 2 NAL 유닛 그룹(720)내의 NAL 유닛들(721,722,723,724)은 'nal_unit_type'필드가 '19'의 값을 갖는다. 도 4를 참고하면 'nal_unit_type'필드가 '19'인 경우는 부영상 데이터에 대응하므로, 제 2 NAL 유닛 그룹(720)은 부가 시점 영상 데이터를 포함함을 알 수 있다.
도 8은 본 발명의 일 실시예에 따른 시그널링 정보를 나타낸다.
도 8에서는 기준 시점 영상 데이터와 부가 시점 영상 데이터간의 구성 정보(예를 들면, 기준 시점 영상 데이터와 부가 시점 영상 데이터 간의 쌍정보)를 나타내는 시그널링 정보를 새롭게 정의하고, 시그널링 정보에 레거시 장치에서 정의하지 않은 유닛 타입 정보를 할당하였다. 따라서, 2D 영상만을 재생할 수 있는 레거시 장치에서는 시그널링 정보를 처리하지 않고 폐기할 것이다.
이하에서는, 시그널링 정보내에서 3차원 영상 데이터의 처리와 관련된 필드들을 순차적으로 설명한다.
'frame0_is_first'필드(810)는 제 1 시점 영상 데이터가 포함된 프레임이 먼저 전송되는지, 제 2 시점 영상 데이터가 포함된 프레임이 먼저 전송되는지를 나타낸다.
'frame0_is_L'필드(820)는 제 1 시점 영상 데이터가 포함된 프레임이 좌시점 영상 데이터(또는 기준 시점 영상 데이터)인지 우시점 영상 데이터(또는, 부가 시점 영상 데이터)인지를 나타낸다.
'frame0_is_first'필드(810)와 'frame0_is_L'필드(820)를 참고하여, 좌시점 영상 데이터가 먼저 전송되는지 우시점 영상 데이터가 먼저 전송되는지를 알 수 있다.
'field_view_flag'필드(830)는 부가 시점 영상 데이터가 기준 시점 영상 데이터가 상이한 영상 프레임으로 구성되는지, 하나의 영상 프레임내에서 상이한 필드로 구성되는지를 나타낸다.
'additional_view_nal_type'필드(840)는 부가 시점 영상 데이터를 포함하는 NAL 유닛의 타입 정보가 무엇인지를 나타낸다.
'additional_view_composition_ratio' 필드(850)는 기준 시점 영상 데이터와 부가 시점 영상 데이터의 구성 비율을 나타낸다.
도 9은 본 발명의 다른 실시예에 따른 시그널링 정보(900)를 나타낸다.
도 9에서는 기존에 사용되고 있는 시그널링 정보(900)내의 하나 이상의 필드를 이용하여 기준 시점 영상 데이터와 부가 시점 영상 데이터간의 구성 정보를 나타낸다.
'frame_packing_arrangement_type'필드(910)는 기준 시점 영상 데이터와 부가 시점 영상 데이터간의 다중화 방식을 나타낸다. 'frame_packing_arrangement_type'필드(910)의 값에 따른 다중화 방식에 관한 일 예는 다음의 표 1에서 설명한다.
표 1
value Interpretation
0 Each component plane of the decoded frames contains a "checkerboard' based on interleaving of corresponding planes of two constituent frames
1 Each component plane of the decoded frames contains a column based on interleaving of corresponding planes of two constituent frames
2 Each component plane of the decoded frames contains a row based on interleaving of corresponding planes of two constituent frames
3 Each component plane of the decoded frames contains a side-by-side packing arrangement of corresponding planes of two constituent frames
4 Each component plane of the decoded frames contains a top-bottom packing arrangement of corresponding planes of two constituent frames
5 The component planes of the decoded frames in output order form alternating first and second constituent frames
[표 1]을 참고하면,
'frame_packing_arrangement_type'필드(910)의 값이'0'인 경우에는 기준 시점 영상 데이터와 부가 시점 영상 데이터가 체커보드 방식에 따라 교차적으로 배치되어 하나의 프레임이 구성된다.
'frame_packing_arrangement_type'필드(910)의 값이'1'인 경우에는 기준 시점 영상 데이터와 부가 시점 영상 데이터가 행(column)에 따라 교차되어 하나의 프레임이 구성된다.
'frame_packing_arrangement_type'필드(910)의 값이'2'인 경우에는 기준 시점 영상 데이터와 부가 시점 영상 데이터가 열(row)에 따라 교차되어 하나의 프레임이 구성된다.
'frame_packing_arrangement_type'필드(910)의 값이'3'인 경우에는 기준 시점 영상 데이터가 프레임의 좌측에 배치되고 부가 시점 영상 데이터가 프레임의 우측에 배치된다.
'frame_packing_arrangement_type'필드(910)의 값이'4'인 경우에는 기준 시점 영상 데이터가 프레임의 상측에 배치되고 부가 시점 영상 데이터가 프레임의 하측에 배치된다.
'frame_packing_arrangement_type'필드(910)의 값이'5'인 경우에는 기준 시점 영상 데이터와 부가 시점 영상 데이터가 별도의 프레임으로 구성된다.
본원 발명의 일 실시예에 다른 데이터 부호화 장치(100)에서는 기준 시점 영상 데이터와 부가 시점 영상 데이터를 별도의 프레임으로 구성하므로, 'frame_packing_arrangement_type'필드(910)의 값을 '5'로 설정한다.
'current_frame_is_frame0_flag'필드(920)는 제 1 시점 영상 데이터가 먼저 전송되는지 제 2 시점 영상 데이터가 먼저 전송되는지를 나타낸다.
'content_interpretation_type'필드(930)는 제 1 시점 영상 데이터가 좌 시점 영상 데이터인지 우 시점 영상 데이터인지를 나타낸다.
시그널링 정보(900)는 SEI의 일종으로 도 4에 따른 'nal_unit_type'필드 값이 '6'인 NAL 유닛을 통하여 전송될 수 있다.
도 10은 본 발명의 또 다른 실시예에 따른 시그널링 정보의 일 예이다.
도 10를 참고하면, H.264 표준에서는 부화면용 데이터에 대한 해더 정보(1000)를 제공하며, 부화면용 데이터에 대한 해더 정보는 도 4의 'Nal unit type'이 '13' 인 NAL 유닛에 포함되어 전송된다.
해더 정보(1000)는 'additional extension flag'필드(1010)를 포함하며, 'additional extension flag'필드(1010)가 '1'로 설정되면, 해더 정보(1000)내에 부가 시점 영상 데이터에 관한 시그널링 정보(1020)가 존재한다.
'aux_format_ext_idc' 필드(1021)는 부화면용 데이터에 포함되는 정보의 종류를 나타낸다. 'aux_format_ext_idc' 필드(1021)가 '0'인 경우 부화면용 데이터에는 깊이 정보가 포함되고, 'aux_format_ext_idc' 필드(1021)가 '1'인 경우 부화면용 데이터에는 양안 시차 정보가 포함되고, 'aux_format_ext_idc' 필드(1021)가 '2'인 경우 부화면용 데이터에는 부가 시점 영상 데이터가 포함된다.
'aux_format_ext_idc' 필드(1021)가 '0'인 경우 시그널링 정보(1020)에는 'depth_params'필드(1022)가 포함되고, 'aux_format_ext_idc' 필드(1021)가 '1'인 경우 시그널링 정보(1020)에는 'parallax_params'필드(1023)가 포함되며, 'aux_format_ext_idc'필드(1021)가 '2'인 경우 시그널링 정보(1020)에는 'additional_view_params'필드(1024)가 포함된다.
'depth_params'필드(1022), 'parallax_params'필드(1023) 및 'additional_view_params'필드(1024)의 구조에 관한 자세한 설명은 도 11에서 후술한다.
도 11a은 도 10에 도시된 'depth_params'필드(1022)의 구조에 관한 일 예이다.
도 11b은 도 10에 도시된 'parallax_params'필드(1023)의 구조에 관한 일 예이다.
도 11a에 도시된 'depth_params'필드(1022)와 도 11b에 도시된 'parallax_params'필드(1023)에 대한 설명은 ISO/IEC 23002-3에 도시된 바와 동일하므로 이하에서는 설명을 생략한다.
도 11c는 도 10에 도시된 'additional_view_params'필드(1024)의 구조에 관한 일 예이다.
'additional_view_nal_type'필드(1131)는 부가 시점 영상 데이터를 포함하는 NAL 유닛의 타입 정보가 무엇인지를 나타낸다.
'additional_view_is_L'필드(1132)는 좌시점 영상 데이터가 먼저 전송되는지 우시점 영상 데이터가 먼저 전송되는지를 나타낸다.
'additional_view_field_flag'필드(1133)는 부가 시점 영상 데이터가 기준 시점 영상 데이터가 상이한 영상 프레임으로 구성되는지, 하나의 영상 프레임내에서 상이한 필드로 구성되는지를 나타낸다.
'additional_view_composition_ratio'필드(1134)는 기준 시점 영상 데이터와 부가 시점 영상 데이터의 구성 비율을 나타낸다.
도 12는 본 발명의 일 실시예에 따른 시그널링 정보에 관한 일 예를 나타낸다.
도 12에서는 MPEG-2 전송 시스템을 이용하여 H.264/AVC 영상 시퀀스를 전송하는 경우이다. PMT에는 기준 시점 영상 데이터가 탑재되는 전송 패킷과 부가 시점 영상 데이터가 탑재되는 전송 패킷의 타입이 '오디오/비디오 스트림'으로 지정된다. 다만, 부가 시점 영상 데이터에 관한 시그널링 정보는 PMT내의 'AVC_video_descriptor()'(1200)를 통하여 제공된다.
'AVC_video_descriptor()'(1200)는 'additional_view_indicator'필드(1210)를 포함한다.
'additional_view_indicator'필드(1210)가 '1'로 설정되면, 부가 시점 영상 데이터에 관한 시그널링 정보가 포함됨을 의미하고, 'additional_view_indicator'필드(1210)가 '0'으로 설정되면 부가 시점 영상 데이터에 관한 시그널링 정보가 포함되지 않음을 의미한다.
도 10에 도시된 시그널링 정보(1020)와 같은 부가 시점 영상 데이터에 관한 시그널링 정보가 'additional_view_indicator'필드(1210)의 다음열에 포함될 수 있다.
도 13은 본 발명의 일 실시예에 따른 시그널링 정보가 포함된 H.264 NAL 시퀀스에 관한 일 예를 나타낸다.
SEI(1330)는 3차원 영상 데이터에 관한 시그널링 정보를 포함한다. 시그널링 정보에는 부가 시점 영상 데이터를 포함하는 제 2 NAL 유닛 그룹(1320)에 대한 'Nal_Unit_Type'값이 포함된다.
도 13에서는 제 2 NAL 유닛 그룹(1320)에 대한 'Nal_Unit_Type'값이 '16'으로 지정된다.
데이터 복호화 장치는 SEI(1330)를 통하여 제 2 NAL 유닛 그룹(1320)에 대한 'Nal_Unit_Type'값이 '16'임을 확인한 후, 'Nal_Unit_Type'값이 '16'인 Nal 유닛을 획득한다.
도 14는 본 발명의 일 실시예에 따른 시그널링 정보가 포함된 H.264 NAL 시퀀스에 관한 다른 예를 나타낸다.
도 14에서는 부영상용 데이터가 포함되는 NAL 유닛 그룹(1420)에 부가 시점 영상 데이터를 탑재하고, 부가 시점 영상 데이터에 대한 시그널링 정보를 SPS_extension이 포함된 NAL 유닛(1430)을 통하여 전송한다.
도 15는 본 발명의 일 실시예에 따른 데이터 복호화 장치(1500)에 관한 블록도를 나타낸다.
본 발명의 일 실시예에 따른 데이터 복호화 장치(1500)는 데이터유닛획득부(1510) 및 복호화부(1520)를 포함한다.
데이터유닛획득부(1510)는 해더 영역과 데이터 영역으로 구성되며 해더 영역에는 데이터 영역에 포함된 데이터의 타입을 나타내는 타입 정보가 포함된 데이터 유닛을 획득한다. 특히, 레거시 시스템에서 정의된 타입 정보들 중 하나인 제 1 유닛 타입 정보에 기초하여 기준 시점 영상 데이터로 구성된 제 1 데이터 유닛을 획득하고, 레거시 시스템에서 정의되지 않은 타입 정보들 중 하나인 제 2 유닛 타입 정보에 기초하여, 부가 시점 영상 데이터로 구성된 제 2 데이터 유닛을 획득한다. 실시 예에 따라서는 제 2 데이터 유닛에 부가 시점 영상 데이터가 아닌 부가 시점 영상 데이터를 획득할 수 있는 데이터(예를 들면, 깊이 정보, 양안 시차 정보)가 포함될 수 있다.
데이터유닛획득부(1510)는 시그널링 정보가 포함된 제 3 데이터 유닛을 더 포함할 수 있다. 시그널링 정보에는 부가 시점 영상 데이터를 포함하는 데이터 유닛을 지시하는 제 2 유닛 타입 정보가 무엇인지에 관한 정보, 기준 시점 영상 데이터와 부가 시점 영상 데이터 중 먼저 출력될 영상 데이터를 나타내는 선행 시점 정보, 기준 시점 영상 데이터와 부가 시점 영상 데이터의 다중화 방식을 나타내는 다중화 정보 및 기준 시점 영상 데이터와 부가 시점 영상 데이터의 구성 비율을 나타내는 구성 비율 정보와 같이 기준 시점 영상 데이터와 부가 시점 영상데이터가 한 쌍임을 나타내는 쌍정보를 포함한다.
복호화부(1520)는 제 1 데이터 유닛 및 제 2 데이터 유닛을 복호화한다.
레거시 장치가 제 2 데이터 유닛을 획득하였다면, 레거시 장치는 제 2 유닛 타입 정보의 의미를 알 수 없다. (일 예로, 제 2 유닛 타입 정보는 리저브드 값에 해당한다.) 레거시 장치는 제 2 데이터 유닛을 복호화하지 않고 폐기하고, 제 1 데이터 유닛만을 처리하여 2차원 영상 데이터를 제공할 것이다. 그러나, 본원 발명에 따른 데이터 복호화 장치(1500)는 제 2 유닛 타입 정보를 포함하는 제 2 데이터 유닛에는 부가 시점 영상 데이터가 포함되어 있음을 알고 있으므로 제 1 데이터 유닛과 제 2 데이터 유닛을 모두 처리하여 3차원 영상 데이터를 제공할 수 있다.
복호화부(1520)는 제 1 데이터 유닛에 포함된 기준 시점 영상 데이터를 이전에 복호화된 기준 시점 영상 데이터만을 참조하여 복호화하고, 제 2 데이터 유닛에 포함된 부가 시점 영상 데이터를 이전에 복호화된 부가 시점 영상 데이터만을 참조하여 복호화한다. 기준 시점 영상 데이터와 부가 시점 영상 데이터간의 서로를 참조하지 않고 복호화할 수 있으므로, 실시 예에 따라서는 기준 시점 영상 데이터 또는 부가 시점 영상 데이터만을 선택적으로 복호화할 수 있다.
복호화부(1520)는 기준 시점 영상 데이터와 부가 시점 영상 데이터의 구성 정보를 나타내는 시그널링 정보를 이용하여 제 1 데이터 유닛과 제 2 데이터 유닛을 복호화할 수 있다.
도 16은 본원 발명의 일 실시예에 따른 데이터 복호화 장치(1610)와 레거시 장치(1620)에서 데이터를 처리하는 과정을 나타낸다.
도 16에서 기준 시점 영상 데이터를 포함하는 NAL 유닛의 'Nal_Unit_Type' 값은 '1~5'중 하나로 지정되며, 부가 시점 영상 데이터를 포함하는 NAL 유닛의 'Nal_Unit_Type' 값은 'reserved'된 값들 중 하나인 '16'로 지정된다.
따라서, NAL 유닛(1611,1613)은 기준 시점 영상 데이터를 포함하고, NAL 유닛(1612,1614)는 부가 시점 영상 데이터를 포함한다.
데이터 복호화 장치(1610)는 기준 시점 영상 데이터가 포함된 NAL 유닛(1611,1613)과 부가 시점 영상 데이터가 포함된 NAL 유닛(1612,1614)을 모두 처리하여 3차원 영상을 제공한다.
그러나, 레거시 장치(1620)는 기준 시점 영상 데이터가 포함된 NAL 유닛(1611,1613)만을 처리하고, 부가 시점 영상 데이터가 포함된 NAL 유닛(1612,1614)은 폐기한다. 따라서, 레거시 장치(1620)에 의하면 2차원 영상 데이터만이 출력된다.
도 17은 본 발명의 일 실시예에 따른 데이터 부호화 방법에 관한 흐름도를 나타낸다.
단계 s1710에서는, 3차원 영상을 제공하기 위한 기준 시점 영상 데이터와 부가 시점 영상 데이터를 부호화한다.
단계 s1720에서는, 기준 시점 영상 데이터가 포함된 제 1 데이터 유닛과 부가 시점 영상 데이터가 포함된 제 2 데이터 유닛을 생성한다. 제 1 데이터 유닛의 해더에는 제 1 데이터 유닛에 기준 시점 영상 데이터가 포함되었음을 나타내는 제 1 유닛 타입 정보가 포함되고, 제 2 데이터 유닛의 해더에는 제 2 데이터 유닛에 부가 시점 영상 데이터가 포함됨을 나타내는 제 2 유닛 타입 정보가 포함된다.
제 1 유닛 타입 정보로는 레거시 장치에서 정의되며 영상 데이터를 나타내는 유닛 타입 정보들 중 하나가 지정되며, 제 2 유닛 타입 정보로는 레거시 장치에서 정의되지 않은 유닛 타입 정보들 중 하나가 지정될 수 있다.
다른 예에서는, 제 1 유닛 타입 정보로는 주영상 데이터를 나타내는 유닛 타입 정보가 지정되고, 제 2 유닛 타입 정보로는 부영상 데이터를 나타내는 유닛 타입 정보가 지정될 수 있다.
도 18은 본 발명의 일 실시예에 따른 데이터 복호화 방법에 관한 흐름도를 나타낸다.
단계 s1810에서는, 기준 시점 영상 데이터가 포함된 제 1 데이터 유닛과 부가 시점 영상 데이터가 포함된 제 2 데이터 유닛을 획득한다.
단계 s1820에서는, 제 1 데이터 유닛과 제 2 데이터 유닛을 복호화하여 3차원 영상을 제공한다.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다.
상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (25)

  1. 해더 영역과 데이터 영역으로 구성되며 상기 해더 영역에는 상기 데이터 영역에 포함된 데이터의 타입을 나타내는 타입 정보가 포함된 데이터 유닛으로 3차원 영상 데이터를 부호화하는 방법에 있어서,
    3차원 영상을 제공하는 기준 시점 영상 데이터 및 부가 시점 영상 데이터를 부호화하는 단계;
    레거시 시스템에서 정의된 타입 정보들 중 하나인 제 1 유닛 타입 정보를 포함하는 해더를 상기 부호화된 기준 시점 영상 데이터에 부가하여 제 1 데이터 유닛을 생성하는 단계; 및
    상기 레거시 시스템에서 정의되지 않은 타입 정보들 중 하나인 제 2 유닛 타입 정보를 포함하는 해더를 상기 부호화된 부가 시점 영상 데이터에 부가하여 제 2 데이터 유닛을 생성하는 단계를 포함하는 것을 특징으로 하는 데이터 부호화 방법.
  2. 제 1항에 있어서,
    상기 제 1 데이터 유닛 및 상기 제 2 데이터 유닛을 전송 시스템에 기초하여 변환하는 단계; 및
    상기 변환된 제 1 데이터 유닛 및 상기 변환된 제 2 데이터 유닛을 전송하는 단계를 더 포함하는 것을 특징으로 하는 데이터 부호화 방법.
  3. 제 2항에 있어서, 상기 부호화하는 단계는,
    이전 기준 시점 영상 데이터만을 참조하여 다음 기준 시점 영상 데이터를 부호화하고, 이전 부가 시점 영상 데이터만을 참조하여 다음 부가 시점 영상 데이터를 부호화하는 단계를 더 포함하는 것을 특징으로 하는 데이터 부호화 방법.
  4. 제 1항에 있어서, 상기 제 1 데이터 유닛 및 상기 제 2 데이터 유닛은,
    H.264 표준에 따른 날 유닛(NAL Unit)을 포함하는 것을 특징으로 하는 데이터 부호화 방법.
  5. 제 2항에 있어서,
    상기 제 1 데이터 유닛에 포함된 상기 기준 시점 영상 데이터와 상기 제 2 데이터 유닛에 포함된 상기 부가 시점 영상 데이터가 한 쌍의 영상 데이터임을 나타내는 쌍정보가 포함된 시그널링 정보를 생성하는 단계를 더 포함하고,
    상기 전송하는 단계는, 상기 제 1 데이터 유닛, 상기 제 2 데이터 유닛 및 상기 시그널링 정보를 전송하는 단계를 포함하는 것을 특징으로 하는 데이터 부호화 방법.
  6. 제 5항에 있어서, 상기 시그널링 정보는,
    상기 부가 시점 영상 데이터를 포함하는 상기 제 2 데이터 유닛의 타입 정보가 상기 제 2 유닛 타입 정보임을 나타내는 정보를 포함하는 것을 특징으로 하는 데이터 부호화 방법.
  7. 제 5항에 있어서, 상기 시그널링 정보는,
    상기 기준 시점 영상 데이터와 상기 부가 시점 영상 데이터 중 먼저 출력될 영상 데이터를 나타내는 선행 시점 정보, 상기 기준 시점 영상 데이터와 상기 부가 시점 영상 데이터의 다중화 방식을 나타내는 다중화 정보 및 상기 기준 시점 영상 데이터와 상기 부가 시점 영상 데이터의 구성 비율을 나타내는 구성 비율 정보를 포함하는 것을 특징으로 하는 데이터 부호화 방법.
  8. 제 6항에 있어서,
    상기 전송하는 단계는, 상기 제 1 데이터 유닛 및 상기 제 2 데이터 유닛을 MPEG-2(Moving Picture Experts Group-2) 전송 시스템을 통하여 전송하는 단계를 포함하고,
    상기 시그널링 정보는, PMT(Program Mapping Table)내의 소정 영역에 포함되는 것을 특징으로 하는 데이터 부호화 방법.
  9. 해더 영역과 데이터 영역으로 구성되며 상기 해더 영역에는 상기 데이터 영역에 포함된 데이터의 타입을 나타내는 타입 정보가 포함된 데이터 유닛으로 3차원 영상 데이터를 부호화하는 방법에 있어서,
    3차원 영상을 제공하는 기준 시점 영상 데이터 및 부가 시점 영상 데이터 중 적어도 하나를 부호화하는 단계;
    데이터 영역에 주화면용 데이터가 존재함을 나타내는 제 1 유닛 타입 정보가 포함된 해더를 상기 부호화된 기준 시점 영상 데이터에 부가하여 제 1 데이터 유닛을 생성하는 단계; 및
    데이터 영역에 부화면용 데이터가 존재함을 나타내는 제 2 유닛 타입 정보가 포함된 해더를 부가 시점 영상 데이터에 관한 정보에 부가하여 제 2 데이터 유닛을 생성하는 단계를 포함하는 것을 특징으로 하는 데이터 부호화 방법.
  10. 제 9항에 있어서, 상기 부가 시점 영상 데이터에 관한 정보는,
    기준 위치에서 오브젝트까지의 거리를 나타내는 깊이 맵 정보, 좌안과 우안간의 양안 시차 정보 및 상기 부가 시점 영상 데이터 중 하나인 것을 특징으로 하는 데이터 부호화 방법.
  11. 해더 영역과 데이터 영역으로 구성되며 상기 해더 영역에는 상기 데이터 영역에 포함된 데이터의 타입을 나타내는 타입 정보가 포함된 데이터 유닛을 이용하여 복호화 장치에서 3차원 영상 데이터를 복호화하는 방법에 있어서,
    레거시 시스템에서 정의된 타입 정보들 중 하나인 제 1 유닛 타입 정보에 기초하여, 상기 제 1 유닛 타입 정보를 포함하는 해더와 기준 시점 영상 데이터로 구성된 제 1 데이터 유닛을 획득하는 단계;
    상기 레거시 시스템에서 정의되지 않은 타입 정보들 중 하나인 제 2 유닛 타입 정보에 기초하여, 상기 제 2 유닛 타입 정보를 포함하는 해더와 부가 시점 영상 데이터로 구성된 제 2 데이터 유닛을 획득하는 단계; 및
    상기 제 1 데이터 유닛 및 상기 제 2 데이터 유닛 중 적어도 하나를 복호화하는 단계를 포함하는 것을 특징으로 하는 데이터 복호화 방법.
  12. 제 11항에 있어서, 상기 복호화하는 단계는,
    상기 복호화 장치가 상기 레거시 장치에 해당하는 경우에는, 상기 제 2 데이터 유닛을 폐기하는 단계를 더 포함하는 것을 특징으로 하는 데이터 복호화 방법.
  13. 제 11항에 있어서, 상기 복호화하는 단계는,
    상기 제 1 데이터 유닛에 포함된 상기 기준 시점 영상 데이터를 이전에 복호화된 기준 시점 영상 데이터만을 참조하여 복호화하고, 상기 제 2 데이터 유닛에 포함된 상기 부가 시점 영상 데이터를 이전에 복호화된 부가 시점 영상 데이터만을 참조하여 복호화하는 단계를 포함하는 것을 특징으로 하는 데이터 복호화 방법.
  14. 제 11항에 있어서, 상기 데이터 유닛은,
    H.264 표준에 따른 날 유닛을 포함하는 것을 특징으로 하는 데이터 복호화 방법.
  15. 제 12항에 있어서,
    상기 제 1 데이터 유닛과 상기 제 2 데이터 유닛이 한 쌍의 영상 데이터임을 나타내는 쌍정보가 포함된 시그널링 정보를 수신하는 단계를 더 포함하고,
    상기 복호화하는 단계는, 상기 시그널링 정보에 기초하여 상기 제 1 데이터 유닛 및 상기 제 2 데이터 유닛을 복호화하는 단계를 포함하는 것을 특징으로 하는 데이터 복호화 방법.
  16. 제 15항에 있어서, 상기 시그널링 정보는,
    상기 제 2 데이터 유닛에 상기 제 2 유닛 타입 정보가 할당되었음을 나타내는 정보를 포함하는 것을 특징으로 하는 데이터 복호화 방법.
  17. 제 15항에 있어서, 상기 시그널링 정보는,
    기준 시점 영상 데이터와 부가 시점 영상 데이터 중 먼저 출력될 영상 데이터를 나타내는 선행 시점 정보, 상기 기준 시점 영상 데이터와 상기 부가 시점 영상 데이터의 다중화 방식을 나타내는 다중화 정보 및 상기 기준 시점 영상 데이터와 상기 부가 시점 영상 데이터의 구성 비율을 나타내는 구성 비율 정보를 더 포함하는 것을 특징으로 하는 데이터 복호화 방법.
  18. 제 17항에 있어서,
    상기 제 1 데이터 유닛 및 상기 제 2 데이터 유닛을 MPEG-2 전송 시스템을 통하여 수신하는 단계를 더 포함하고,
    상기 시그널링 정보는, PMT내의 소정 영역에 포함되는 것을 특징으로 하는 데이터 복호화 방법.
  19. 해더 영역과 데이터 영역으로 구성되며 상기 해더 영역에는 상기 데이터 영역에 포함된 데이터의 타입을 나타내는 타입 정보가 포함된 데이터 유닛을 이용하여 3차원 영상 데이터를 복호화 하는 방법에 있어서,
    데이터 유닛내의 데이터 영역에 포함된 데이터가 주화면용 데이터임을 나타내는 제 1 유닛 타입 정보에 기초하여, 상기 제 1 유닛 타입 정보를 포함하는 해더와 기준 시점 영상 데이터로 구성된 제 1 데이터 유닛을 획득하는 단계;
    데이터 유닛내의 데이터 영역에 포함된 데이터가 부화면용 데이터임을 나타내는 제 2 유닛 타입 정보에 기초하여, 상기 제 2 유닛 타입 정보를 포함하는 해더와 부가 시점 영상 데이터로 구성된 제 2 데이터 유닛을 생성하는 단계; 및
    상기 제 1 데이터 유닛과 상기 제 2 데이터 유닛를 복호화하는 단계를 포함하는 것을 특징으로 하는 데이터 복호화 방법.
  20. 제 19항에 있어서, 상기 부가 시점 영상 데이터에 관한 정보는,
    깊이 맵 정보, 양안 시차 정보 및 상기 부가 시점 영상 데이터 중 하나인 것을 특징으로 하는 데이터 복호화 방법.
  21. 해더 영역과 데이터 영역으로 구성되며 상기 해더 영역에는 상기 데이터 영역에 포함된 데이터의 타입을 나타내는 타입 정보가 포함된 데이터 유닛으로 3차원 영상 데이터를 부호화하는 장치에 있어서,
    3차원 영상을 제공하는 기준 시점 영상 데이터 및 부가 시점 영상 데이터를 부호화하는 부호화부; 및
    레거시 시스템에서 정의된 타입 정보들 중 하나인 제 1 유닛 타입 정보를 포함하는 해더를 상기 부호화된 기준 시점 영상 데이터에 부가하여 제 1 데이터 유닛을 생성하고, 상기 레거시 시스템에서 정의되지 않은 타입 정보들 중 하나인 제 2 유닛 타입 정보를 포함하는 해더를 상기 부호화된 부가 시점 영상 데이터에 부가하여 제 2 데이터 유닛을 생성하는 유닛생성부를 포함하는 것을 특징으로 하는 데이터 부호화 장치.
  22. 해더 영역과 데이터 영역으로 구성되며 상기 해더 영역에는 상기 데이터 영역에 포함된 데이터의 타입을 나타내는 타입 정보가 포함된 데이터 유닛으로 3차원 영상 데이터를 제공하는 장치에 있어서,
    3차원 영상을 제공하는 기준 시점 영상 데이터 및 부가 시점 영상 데이터 중 적어도 하나를 부호화하는 부호화부;
    데이터 영역에 주화면용 데이터가 존재함을 나타내는 제 1 유닛 타입 정보가 포함된 해더를 상기 부호화된 기준 시점 영상 데이터에 부가하여 제 1 데이터 유닛을 생성하고, 데이터 영역에 부화면용 데이터가 존재함을 나타내는 제 2 유닛 타입 정보가 포함된 해더를 부가 시점 영상 데이터에 관한 정보에 부가하여 제 2 데이터 유닛을 생성하는 유닛생성부를 포함하는 것을 특징으로 하는 데이터 부호화 장치.
  23. 해더 영역과 데이터 영역으로 구성되며 상기 해더 영역에는 상기 데이터 영역에 포함된 데이터의 타입을 나타내는 타입 정보가 포함된 데이터 유닛을 이용하여 복호화 장치에서 3차원 영상 데이터를 복호화하는 장치에 있어서,
    레거시 시스템에서 정의된 타입 정보들 중 하나인 제 1 유닛 타입 정보에 기초하여, 상기 제 1 유닛 타입 정보를 포함하는 해더와 기준 시점 영상 데이터로 구성된 제 1 데이터 유닛을 획득하고, 상기 레거시 시스템에서 정의되지 않은 타입 정보들 중 하나인 제 2 유닛 타입 정보에 기초하여, 상기 제 2 유닛 타입 정보를 포함하는 해더와 부가 시점 영상 데이터로 구성된 제 2 데이터 유닛을 획득하는 유닛획득부; 및
    상기 제 1 데이터 유닛 및 상기 제 2 데이터 유닛 중 적어도 하나를 복호화하는 복호화부를 포함하는 것을 특징으로 하는 데이터 복호화 장치.
  24. 해더 영역과 데이터 영역으로 구성되며 상기 해더 영역에는 상기 데이터 영역에 포함된 데이터의 타입을 나타내는 타입 정보가 포함된 데이터 유닛을 이용하여 3차원 영상 데이터를 복호화 하는 장치에 있어서,
    데이터 유닛내의 데이터 영역에 포함된 데이터가 주화면용 데이터임을 나타내는 제 1 유닛 타입 정보에 기초하여, 상기 제 1 유닛 타입 정보를 포함하는 해더와 기준 시점 영상 데이터로 구성된 제 1 데이터 유닛을 획득하고, 데이터 유닛내의 데이터 영역에 포함된 데이터가 부화면용 데이터임을 나타내는 제 2 유닛 타입 정보에 기초하여 상기 제 2 유닛 타입 정보를 포함하는 해더와 부가 시점 영상 데이터로 구성된 제 2 데이터 유닛을 획득하는 유닛획득부; 및
    상기 제 1 데이터 유닛과 상기 제 2 데이터 유닛를 복호화하는 복호화부를 포함하는 것을 특징으로 하는 데이터 제공 장치.
  25. 제 1항 내지 제 20항 중 어느 한 항의 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체.
PCT/KR2011/002602 2010-04-14 2011-04-13 3차원 영상 데이터를 부호화하는 방법 및 장치와 복호화 방법 및 장치 WO2011129602A2 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
EP11769068.5A EP2560397A4 (en) 2010-04-14 2011-04-13 PROCESS AND DEVICE FOR ENCRYPTION AND METHOD AND DEVICE FOR DEFINING 3D IMAGE DATA
US13/641,387 US20130028315A1 (en) 2010-04-14 2011-04-13 Three-dimensional image data encoding and decoding method and device
MX2012011773A MX2012011773A (es) 2010-04-14 2011-04-13 Metodo y dispositivo de codificacion de datos de imagen tridimensional y metodo y dispositivo de decodificacion.
CN201180018811.9A CN102870419B (zh) 2010-04-14 2011-04-13 三维图像数据编码方法和装置以及解码方法和装置
BR112012026190A BR112012026190A2 (pt) 2010-04-14 2011-04-13 método de codificar dados de imagem tridimensional (3d) mediante uso de uma unidade de dados que compreende uma área de cabeçalho e uma área de dados, método de decodificar os dados de imagem tridimensional (3d) em um dispositivo mediante uso de uma unidade de dados que compreende uma área de cabeçalho e uma área de dados, método de decodificar dados de imagem tridimensional (3d) mediante uso de uma unidade de dados que compreende uma área de cabeçalho e uma área de dados, equipamento para codificar dados de imagem tridimensional (3d) mediante uso de uma unidade de dados que compreende uma área de cabeçalho e uma área de dados, equipamento para provisão de dados de imagem tridimensional (3d) mediante uso de uma unidade de dados que compreende uma área de cabeçalho e uma área de dados, equipamento para decodificar dados em um dispositivo de decodificação mediante uso de uma unidade de dados que compreende uma área de cabeçalho e uma área de dados, em que informações de tipo indicando um tipo de dados incluídos na área de dados é incluída na área de cabeçalho, equipamento para decodificar dados de imagem tridimensional (3d) mediante uso de uma unidade de dados que compreende uma área de cabeçalho e uma área de dados, e meio de gravação legível por computador
JP2013504823A JP2013527676A (ja) 2010-04-14 2011-04-13 三次元映像データを符号化する方法及びその装置、並びに復号化方法及びその装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US32402310P 2010-04-14 2010-04-14
US61/324,023 2010-04-14
KR1020110033772A KR20110115087A (ko) 2010-04-14 2011-04-12 3차원 영상 데이터를 부호화하는 방법 및 장치와 복호화 방법 및 장치
KR10-2011-0033772 2011-04-12

Publications (2)

Publication Number Publication Date
WO2011129602A2 true WO2011129602A2 (ko) 2011-10-20
WO2011129602A3 WO2011129602A3 (ko) 2012-01-12

Family

ID=45029851

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2011/002602 WO2011129602A2 (ko) 2010-04-14 2011-04-13 3차원 영상 데이터를 부호화하는 방법 및 장치와 복호화 방법 및 장치

Country Status (8)

Country Link
US (1) US20130028315A1 (ko)
EP (1) EP2560397A4 (ko)
JP (1) JP2013527676A (ko)
KR (1) KR20110115087A (ko)
CN (1) CN102870419B (ko)
BR (1) BR112012026190A2 (ko)
MX (1) MX2012011773A (ko)
WO (1) WO2011129602A2 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102523469A (zh) * 2011-12-21 2012-06-27 吉林大学 基于视距感知的小分辨率立体视频自适应解码方法
CN104221368A (zh) * 2012-03-30 2014-12-17 夏普株式会社 图像编码装置、图像解码装置、图像编码方法、图像解码方法以及程序
CN114073073A (zh) * 2019-07-08 2022-02-18 华为技术有限公司 视频译码中的混合nal单元图像约束

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2597877A3 (en) * 2011-11-22 2014-09-17 Samsung Electronics Co., Ltd Supplementary information coding apparatus and method for 3D video
WO2013129158A1 (ja) * 2012-03-01 2013-09-06 ソニー株式会社 送信装置、送信方法および受信装置
KR102115323B1 (ko) * 2012-03-16 2020-05-26 엘지전자 주식회사 영상 정보 저장 방법 및 영상 정보 파싱 방법 그리고 이를 이용하는 장치
WO2014084613A2 (ko) * 2012-11-27 2014-06-05 인텔렉추얼 디스커버리 주식회사 깊이 정보를 이용한 영상 부호화 및 복호화 방법, 그를 이용한 장치 및 영상 시스템
JP2015136060A (ja) * 2014-01-17 2015-07-27 ソニー株式会社 通信装置、通信データ生成方法、および通信データ処理方法
KR101576563B1 (ko) 2015-07-14 2015-12-22 주식회사 위두커뮤니케이션즈 만화컨텐츠의 다국어 자동편집 방법
MX2021011048A (es) * 2019-03-11 2021-11-12 Huawei Tech Co Ltd Limitantes de imagenes de tipo unidad nal mezclada.

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2003092303A1 (ja) * 2002-04-25 2005-09-08 シャープ株式会社 マルチメディア情報生成装置およびマルチメディア情報再生装置
KR100751422B1 (ko) * 2002-12-27 2007-08-23 한국전자통신연구원 스테레오스코픽 비디오 부호화 및 복호화 방법, 부호화 및복호화 장치
KR100585966B1 (ko) * 2004-05-21 2006-06-01 한국전자통신연구원 3차원 입체 영상 부가 데이터를 이용한 3차원 입체 디지털방송 송/수신 장치 및 그 방법
KR100813064B1 (ko) * 2006-05-19 2008-03-14 엘지전자 주식회사 비디오 영상 복호화/부호화 방법 및 장치, 데이터 포맷
KR100716142B1 (ko) * 2006-09-04 2007-05-11 주식회사 이시티 스테레오스코픽 영상 데이터의 전송 방법
KR100864826B1 (ko) * 2006-09-29 2008-10-23 한국전자통신연구원 디지털 방송기반의 3차원 정지영상 서비스 방법 및 장치
CN101170692B (zh) * 2006-10-24 2011-11-02 华为技术有限公司 多视图象编解码方法及编解码器
WO2008054100A1 (en) * 2006-11-01 2008-05-08 Electronics And Telecommunications Research Institute Method and apparatus for decoding metadata used for playing stereoscopic contents
KR101506217B1 (ko) * 2008-01-31 2015-03-26 삼성전자주식회사 스테레오스코픽 영상의 부분 데이터 구간 재생을 위한스테레오스코픽 영상 데이터스트림 생성 방법과 장치, 및스테레오스코픽 영상의 부분 데이터 구간 재생 방법과 장치
KR101472332B1 (ko) * 2008-04-15 2014-12-15 삼성전자주식회사 3차원 디지털 컨텐츠의 제공 방법, 수신 방법 및 그 장치
CN102017640B (zh) * 2008-05-01 2012-11-28 松下电器产业株式会社 再现装置、集成电路与再现方法
KR20100114467A (ko) * 2009-04-15 2010-10-25 한국전자통신연구원 3차원 컨텐츠 데이터를 인코딩/디코딩하기 위한 방법 및 장치

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
None
See also references of EP2560397A4

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102523469A (zh) * 2011-12-21 2012-06-27 吉林大学 基于视距感知的小分辨率立体视频自适应解码方法
CN104221368A (zh) * 2012-03-30 2014-12-17 夏普株式会社 图像编码装置、图像解码装置、图像编码方法、图像解码方法以及程序
CN114073073A (zh) * 2019-07-08 2022-02-18 华为技术有限公司 视频译码中的混合nal单元图像约束
CN114073073B (zh) * 2019-07-08 2023-06-06 华为技术有限公司 一种支持混合nal单元的编解码方法和编解码器
US12041249B2 (en) 2019-07-08 2024-07-16 Huawei Technologies Co., Ltd. Mixed NAL unit picture constraints in video coding

Also Published As

Publication number Publication date
CN102870419A (zh) 2013-01-09
CN102870419B (zh) 2015-10-14
BR112012026190A2 (pt) 2017-11-21
EP2560397A4 (en) 2016-10-05
JP2013527676A (ja) 2013-06-27
MX2012011773A (es) 2012-12-17
EP2560397A2 (en) 2013-02-20
US20130028315A1 (en) 2013-01-31
KR20110115087A (ko) 2011-10-20
WO2011129602A3 (ko) 2012-01-12

Similar Documents

Publication Publication Date Title
WO2011129602A2 (ko) 3차원 영상 데이터를 부호화하는 방법 및 장치와 복호화 방법 및 장치
WO2010117129A2 (en) Broadcast transmitter, broadcast receiver and 3d video data processing method thereof
WO2010147289A1 (en) Broadcast transmitter, broadcast receiver and 3d video processing method thereof
WO2010126221A2 (en) Broadcast transmitter, broadcast receiver and 3d video data processing method thereof
WO2010071291A1 (ko) 3차원 영상신호 처리 방법과 이를 구현하기 위한 영상표시 장치
WO2010064784A2 (ko) 3차원 캡션 디스플레이 방법 및 이를 구현하기 위한 3차원 디스플레이 장치
WO2010087621A2 (en) Broadcast receiver and video data processing method thereof
WO2013154402A1 (en) Receiving apparatus for receiving a plurality of signals through different paths and method for processing signals thereof
WO2012044128A4 (ko) 디스플레이 장치 및 신호 처리 장치와, 그 방법들
WO2012077982A2 (ko) 멀티미디어 컨텐츠를 송수신하는 송신 장치 및 수신 장치와, 그 재생 방법
WO2010041905A2 (ko) 수신 시스템 및 데이터 처리 방법
WO2012177049A2 (en) Method and apparatus for processing broadcast signal for 3-dimensional broadcast service
WO2010085074A2 (en) Three-dimensional subtitle display method and three-dimensional display device for implementing the same
WO2020076058A1 (ko) 3차원 비디오 컨텐츠를 포함하는 미디어 파일을 생성하는 방법 및 장치 및 3차원 비디오 컨텐츠를 재생하는 방법 및 장치
EP2489197A2 (en) Broadcast receiver and 3d video data processing method thereof
WO2012002690A2 (ko) 디지털 수신기 및 디지털 수신기에서의 캡션 데이터 처리 방법
WO2011152633A2 (en) Method and apparatus for processing and receiving digital broadcast signal for 3-dimensional subtitle
WO2010087575A2 (en) Broadcast receiver and 3d video data processing method
WO2011049372A2 (en) Method and apparatus for generating stream and method and apparatus for processing stream
WO2011028024A2 (en) Cable broadcast receiver and 3d video data processing method thereof
WO2013012227A2 (ko) 3d 서비스 처리 방법 및 장치
WO2012121543A2 (ko) 디지털 방송 신호 송/수신 방법 및 장치
WO2011046271A1 (en) Broadcast receiver and 3d video data processing method thereof
WO2010079893A2 (en) Method for processing three dimensional (3d) video signal and digital broadcast receiver for performing the method
WO2016006913A1 (ko) 3d 방송 서비스를 위한 방송 신호 송수신 방법 및 장치

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180018811.9

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11769068

Country of ref document: EP

Kind code of ref document: A2

WWE Wipo information: entry into national phase

Ref document number: MX/A/2012/011773

Country of ref document: MX

ENP Entry into the national phase

Ref document number: 2013504823

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 13641387

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2011769068

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2011769068

Country of ref document: EP

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112012026190

Country of ref document: BR

REG Reference to national code

Ref country code: BR

Ref legal event code: B01E

Ref document number: 112012026190

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112012026190

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20121011