WO2016117964A1 - 풀 다운된 신호 복원을 위한 방송 신호 송수신 방법 및 장치 - Google Patents

풀 다운된 신호 복원을 위한 방송 신호 송수신 방법 및 장치 Download PDF

Info

Publication number
WO2016117964A1
WO2016117964A1 PCT/KR2016/000709 KR2016000709W WO2016117964A1 WO 2016117964 A1 WO2016117964 A1 WO 2016117964A1 KR 2016000709 W KR2016000709 W KR 2016000709W WO 2016117964 A1 WO2016117964 A1 WO 2016117964A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
video data
picture
pull
broadcast signal
Prior art date
Application number
PCT/KR2016/000709
Other languages
English (en)
French (fr)
Inventor
황수진
서종열
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to EP16740436.7A priority Critical patent/EP3249912A4/en
Priority to US15/544,929 priority patent/US10389970B2/en
Publication of WO2016117964A1 publication Critical patent/WO2016117964A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0112—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards corresponding to a cinematograph film standard
    • H04N7/0115—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards corresponding to a cinematograph film standard with details on the detection of a particular field or frame pattern in the incoming video signal, e.g. 3:2 pull-down pattern
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/253—Picture signal generating by scanning motion picture films or slide opaques, e.g. for telecine
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H04N7/0806—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division the signals being two or more video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012—Conversion between an interlaced and a progressive signal

Definitions

  • the present invention relates to a method and apparatus for transmitting and receiving broadcast signals.
  • TV video and theater screenings In terms of shooting and producing moving pictures called moving pictures, it can be divided into two categories: TV video and theater screenings.
  • the theater screening filmed is a method of continuously shooting a traditional still picture and showing it again in the order of time. It is easy to see that one and one of the images becomes a still image.
  • the video that is broadcast on TV is composed of two fields instead of one full picture, only one field can be seen when the two fields are combined. There were many reasons for this.
  • the initial TV transmission technology and CRT performance were not so good because the time for stimulating the fluorescent material with cathode rays was very short.
  • a cinematographic film shot in film is progressive, with 24 images per second (24 fps) taken in sequence, and the 24 frames here represent a pure, undivided picture itself.
  • the result is a much clearer image and the advantage of not losing details even with fast movements.
  • a representative example of a progressive scan method is a computer monitor or a digital TV such as a PDP or LCD, which displays all horizontal lines of an image at one time in one frame. That's the way it is.
  • a digital TV such as a PDP or LCD
  • the interlacing method divides one frame into two fields (called top / bottom, upper / lower, odd / even, etc.) and alternately displays images on the screen.
  • One of the closest relationships with the 3: 2 pull-down progressive scan method is a film made because the original source of almost all DVD movie titles released is film made. Movies are produced at 24 frames per second, unlike NTSC TVs. In the case of original DVDs, 24 frames of original images can be produced directly from a DVD like an original movie. However, since the vast majority of display devices, such as TVs, are currently interlaced, DVDs must be made interlaced according to these interfaces.
  • the conversion of 24 frames of film into 60 fields of video is called 3: 2 pulldown or telecine. This can be summed up by adding one field every two film frames to create five video frames with four film frames. 3: 2 pulldown produces three fields in the first frame and two fields in the second frame.
  • An object of the present invention is to provide a method for recovering a pulled down signal.
  • An object of the present invention is to provide a signaling method for restoring a pulled down signal.
  • a broadcast signal transmission method comprises the steps of pull-down and reconstructing video data, encoding the reconstructed video data, encoding signaling information for the reconstructed video data, and encoding the encoded data.
  • the method may include generating a broadcast signal including the encoded video data and the encoded signaling information and transmitting the generated broadcast signal.
  • the signaling information may include at least one of picture timing information signaling a configuration of the reconstructed video data and pull down information signaling information on a pull-down applied to the reconstructed video data.
  • the picture timing information may include at least one of source scan type information indicating a picture scanning method, picture configuration information indicating a picture configuration information, and copy flag information indicating whether a picture is copied.
  • the pull down information indicates pull down type information indicating a pull-down scheme applied to the reconstructed video data, and a size of a cadence indicating a set of pictures to which pull-down of the same scheme is applied.
  • Cadence size information cadence start information indicating the first picture of the cadence
  • pairing mismatch information indicating whether or not pairing of a picture matches pairing before the video data is reconstructed
  • a duplication flag indicating whether a picture is duplicated. It may include at least one of the information.
  • the picture timing information and the pull down information may be transmitted in a SEI message (Supplemental Enhancement Information).
  • SEI message Supplemental Enhancement Information
  • a method of receiving a broadcast signal including receiving a broadcast signal including video data reconstructed by pull-down and signaling information for the reconstructed video data; And extracting the reconstructed video data and the signaling information and decoding the extracted reconstructed video data using the extracted signaling information.
  • the signaling information may include at least one of picture timing information signaling a configuration of the reconstructed video data and pull down information signaling information on a pull-down applied to the reconstructed video data.
  • the picture timing information may include at least one of source scan type information indicating a picture scanning method, picture configuration information indicating a picture configuration information, and copy flag information indicating whether a picture is copied.
  • the pull down information indicates pull down type information indicating a pull-down scheme applied to the reconstructed video data, and a size of a cadence indicating a set of pictures to which pull-down of the same scheme is applied.
  • Cadence size information cadence start information indicating the first picture of the cadence
  • pairing mismatch information indicating whether or not pairing of a picture matches pairing before the video data is reconstructed
  • a duplication flag indicating whether a picture is duplicated. It may include at least one of the information.
  • the picture timing information and the pull down information may be transmitted in a SEI message (Supplemental Enhancement Information).
  • SEI message Supplemental Enhancement Information
  • the broadcast signal receiving method may include restoring the decoded reconstructed video data to video data before pull-down using the signaling information.
  • the reconstructing may include deleting a duplicate picture from the reconstructed video data by using at least one of the copy flag information included in the picture timing information and the copy flag information included in the pull down information. Adjusting pairing of pictures included in video data from which the duplicated picture is deleted using the picture configuration information and the pairing mismatch information, rearranging the order of pictures, and paired pictures included in the rearranged video data. Restoring the data into one frame.
  • At least one of deleting the duplicated picture and rearranging the order of the pictures may be performed before the decoding step.
  • An apparatus for transmitting broadcast signals includes a pull-down performing unit for pull-down and reconstructing video data, a video encoder for encoding the reconstructed video data, and signaling information for the reconstructed video data. And a signaling encoder for encoding, a broadcast signal generator for generating a broadcast signal including the encoded video data and the encoded signaling information, and a transmitter for transmitting the generated broadcast signal.
  • a broadcast signal receiving apparatus includes a receiver configured to receive a broadcast signal including video data reconstructed by pull-down and signaling information for the reconstructed video data, And an extractor for extracting reconstructed video data and signaling information and a decoder for decoding the extracted reconstructed video data using the extracted signaling information.
  • FIG. 1 is a view showing a broadcast signal transmission method according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating a process of generating 60i video by 3: 2 pulling down 24p video according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating a configuration of pull_down_info according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating a process of reconstructing a 24p video from a 3: 2 pull-down 60i video according to an embodiment of the present invention.
  • FIG. 5 is a diagram illustrating a configuration of a broadcast signal receiving apparatus according to an embodiment of the present invention.
  • FIG. 6 is a view showing a broadcast signal receiving method according to an embodiment of the present invention.
  • FIG. 7 is a diagram illustrating a configuration of a broadcast signal transmission apparatus according to an embodiment of the present invention.
  • FIG. 8 is a diagram illustrating a configuration of a broadcast signal receiving apparatus according to an embodiment of the present invention.
  • FIG. 1 is a view showing a broadcast signal transmission method according to an embodiment of the present invention.
  • a method of transmitting a broadcast signal includes pull down and reconstructing video data (SL1010), encoding the reconstructed video data (SL1020), and signaling information for the reconstructed video data. Encoding (SL1030), generating a broadcast signal including the encoded video data and the encoded signaling information (SL1040) and / or transmitting the generated broadcast signal (SL1050). .
  • the signaling information includes at least one of picture timing information signaling a configuration of the reconstructed video data and pull down information signaling information on pull-down applied to the reconstructed video data. It may include.
  • the picture timing information may indicate information included in the picture timing SEI message.
  • the pull down information may indicate information included in a pull down info SEI message. Detailed description thereof will be described later with reference to FIGS. 3 and 4.
  • the picture timing information includes at least one of source scan type information indicating a picture scanning method, picture configuration information indicating picture configuration information, and duplication flag information indicating whether a picture is duplicated. can do.
  • the source scan type information may indicate information indicated by the source_scan_type element, the picture configuration information by the pic_struct element, and the duplicate flag information by the duplicate_flag element. Detailed description thereof will be described later with reference to FIGS. 4 and 5.
  • the pull-down information includes pull-down type information indicating a pull-down scheme applied to the reconstructed video data, and a cadence indicating a set of pictures to which pull-down of the same scheme is applied.
  • cadence size information indicating the size of the cadence
  • cadence start information indicating the first picture of the cadence
  • pairing mismatch information indicating whether the pairing of the picture matches the pairing before the video data is reconstructed
  • the picture It may include at least one of the replication flag information indicating whether or not to replicate.
  • the pull-down type information may indicate information indicated by the pull_down_type element, the cadence size information of the size_of_cadence element, the cadence start information of the start_of_cadence_flag element, and the pairing mismatch information of the pairing_mismatch_flag element. Detailed description thereof will be described later with reference to FIG. 3.
  • the picture timing information and the pull down information may be transmitted in a SEI message (Supplemental Enhancement Information). Detailed description thereof will be described later with reference to FIGS. 3 and 4.
  • FIG. 2 is a diagram illustrating a process of generating 60i video by 3: 2 pulling down 24p video according to an embodiment of the present invention.
  • a transmitter transmits a progressive video having 24 frames per second (24p) of 24 Hz and 60 fields per second (60i) of 60 Hz. Can be converted to interlace video having a. According to one embodiment of the invention, this process may be referred to as 3: 2 pull-down process.
  • L2010 in this figure shows the progressive video of the original video with 24 frames per second (24p) of 24 Hz.
  • the transmitting end may generate two fields by dividing one frame into odd lines and even lines.
  • the divided odd lines may be referred to as a top field (T)
  • the even lines may be referred to as a bottom file (B).
  • Frame 0 represents the 0th frame
  • Frame 1 the 1st frame
  • Frame 2 the 2nd frame
  • Frame 3 the 3rd frame.
  • L2020 in this figure shows a video obtained by dividing each frame constituting the progressive video source video having a frame rate of 24 Hz (24 frame per second, 24p) into a top field and a bottom field.
  • a transmitter according to an embodiment of the present invention may reconstruct the fields by duplicating at least one divided field and mixing the order of the divided fields.
  • T0 and B0 represent the top field and the bottom field divided in the 0th frame
  • T1 and B1 represent the top field and the bottom field divided in the first frame
  • T2 and B2 are divided in the second frame.
  • the top field and the bottom field are shown
  • T3 and B3 represent the top field and the bottom field divided in the third frame.
  • L2030 in this figure shows interlaced video with 60 field per second (60i) of 60 Hz reconstructed by a 3: 2 pull-down process.
  • ten fields reconstructed by the pull-down process may constitute one set.
  • this set may be named cadence.
  • the T0 field represents the first field that makes up this set.
  • the T0 and B2 fields are duplicated (D), and the T0, B1, T1, B2, T2 and B2 fields are reordered (mismatch, M).
  • the transmitting end may signal whether each reconstructed field is the first field of one reconstructed set (start_of_cadence_flag), whether it is duplicated (duplicate_flag), or whether the order is mixed (pairing_mismatch_flag). Detailed description of the signaling will be described later.
  • the transmitter when the value of the pic_struct element is 9 to 12, the transmitter according to an embodiment of the present invention may generate 10 fields by 3: 2 pulling down 8 consecutive fields.
  • the generated ten fields may be broadcast in 60 interlaced field mode.
  • S may be displayed in the first field among the generated ten fields.
  • D may be displayed in the third and eighth fields among the generated ten fields.
  • M may be displayed in the remaining fields except the first, second, ninth, and tenth fields among the generated ten fields.
  • a picture marked with "S” indicates that the picture includes a start_of cadence_flag element
  • a picture marked with "D” indicates that the picture includes a duplicate_flag element
  • a mark indicated with "M” indicates that the picture includes a pairing_mismatch_flag element.
  • the meaning of including the aforementioned element indicates that the value of the corresponding element is one. Detailed description of the alphabet displayed in each field has been described above.
  • FIG. 3 is a diagram illustrating a configuration of pull_down_info according to an embodiment of the present invention.
  • a prefix SEI (Supplemenntal Enhancemnet Information) NAL (Network Abstraction Information) unit or a suffix SEI NAL unit may include a user_data_registered_itu_t_t35 () SEI message.
  • the user_data_registered_itu_t_t35 () SEI message may include a pull down info SEI message.
  • the pull down info SEI message may include pull_down_info.
  • pull_down_info may be included in every picture.
  • Pull_down_info may include a pull_down_type element, a size_of_cadence element, a start_of_cadence_flag element, a pairing_mismatch_flag element, a duplicate_flag element, and / or a reserved element.
  • the pull_down_type element indicates the type of pull-down applied to the encoded video stream. For example, this element indicates whether the pull-down corresponds to 3: 2, 2: 3 or another type. In an embodiment of the present invention of the previous figure, 3: 2 pull-down has been applied, in which case this element represents a 3: 2 pull-down type.
  • the size_of_cadence element represents the number of pictures included in a sequence of one pull-down pattern.
  • a sequence of one pull-down pattern may be named as one cadence or a set of fields.
  • This element represents the number of pictures from the picture indicated by "S" in the encoding order to the picture immediately before the next picture indicated by "S". In one embodiment of the invention of the preceding figures, the value of this element represents ten.
  • the start_of_cadence_flag element indicates whether the current picture is a start point of a pull-down pattern.
  • the encoder may set the value of this element to 1 for the first picture of one pull-down sequence.
  • the pairing_mismatch_flag element indicates whether a pair of the current top field and the bottom field in the encoded stream matches a pair of the top field and the bottom field in the original sequence. If the value of this element is 1, it indicates that the current field matches a field of parity other than the field that matches the current field in the original video source. That is, a value of 1 of this element indicates that the currently paired fields are fields that do not belong to the same frame. In one embodiment of the present invention of the previous figure, all pictures in one pull-down sequence except the first two pictures and the last two pictures are marked with "M", and the pairing_mismatch_flag element for pictures with "M" is shown. Represents a value of 1.
  • the duplicate_flag element indicates whether the current picture is a repeated or duplicated version of the picture for an existing picture generated as a result of the pull-down.
  • the encoder may set the value of this element to 1 for repeated or duplicated pictures.
  • the value of this element may be the same as the value of the duplicate_flag element in the picture timing SEI message.
  • the reserved element indicates an element for later containing other information.
  • FIG. 4 is a diagram illustrating a process of reconstructing a 24p video from a 3: 2 pull-down 60i video according to an embodiment of the present invention.
  • a receiver can receive 3: 2 pull-down 60i video.
  • L4010 in this figure shows 3: 2 pull-down 60i video received by the receiver.
  • This video may correspond to a signal with a field number per second of 60 Hz.
  • the field marked with "S” represents a field including the start_of_cadence_flag element
  • the field marked with "D” represents a field containing the duplicate_flag element
  • the field marked with "M” represents a field including the pairing_mismatch_flag element.
  • a receiver may remove a field including a duplicate_flag element from the received 3: 2 pull-down 60i video.
  • Step 1 L4020 of this figure represents a video in which a field including a duplicate_flag element is removed from a 3: 2 pull-down 60i video received by a receiver. This video may correspond to a signal that has been reconstructed or not reconstructed in order before encoding with fields per second of 24 Hz.
  • the field marked with "S” represents a field including the start_of_cadence_flag element
  • the field marked with "M” represents a field including the pairing_mismatch_flag element.
  • the receiving end may reverse the order of two adjacent fields including the pairing_mismatch_flag element in the video from which the field including the duplicate_flag element is removed.
  • Step 2 L4030 of this figure shows a video in which two adjacent fields including a pairing_mismatch_flag element are reversed in a video in which a field including a duplicate_flag element is removed. This video may correspond to a signal reconstructed in order before encoding with fields per second of 24 Hz.
  • a receiver may interleave (pair) two fields constituting a frame in a video in which two adjacent fields including a pairing_mismatch_flag element is reversed and restore the same frame.
  • Step 3 L4040 in this figure shows video in which two fields (paired) constituting one frame are restored to one frame.
  • This video may correspond to a progressive video having 24 frame per second (24p) of 24 Hz.
  • FIG. 5 is a diagram illustrating a configuration of a broadcast signal receiving apparatus according to an embodiment of the present invention.
  • the video stream according to an embodiment of the present invention may include a picture timing SEI message and / or a pull down info SEI message.
  • the picture timing SEI message may include a frame_field_info_present_flag element, a pic_struct element, a source_scan_type element, and / or a duplicate_flag element.
  • the pull down info SEI message may include the aforementioned elements.
  • the reception device may use information indicated by the pic_struct element, the source_scan_type element, and / or the duplicate_flag element.
  • values 9 to 12 of the pic_struct element may be used to reconstruct 24p video from 3: 2 pull-down 60i video. Because the values 1 and 2 of the pic_struct element do not carry field-related information, these values may not be used in the bit stream. Values 3 through 6 of the pic_struct element may not be used in the bit stream since all fields having these values are included in one access unit (AU).
  • a receiving device may restore the pull-down video by using a pull down info SEI message.
  • the receiving device may read information related to a picture (a field (or a picture indicated by “S” in the previous figure)) including a start_of_cadence_flag element in the received pull-down video.
  • the receiving device may know the restoration process by using a pull_down_type element and / or a size_of_cadence element.
  • the receiving device may remove the duplicated field (the field marked with "D” in the previous figure) using the duplicate_flag element.
  • the receiving device may reverse the order of two adjacent pictures using the pairing_mismatch_flag element and / or the pic_struct element included in the picture timing SEI message.
  • the pic_struct element may include order information of fields, the receiving device may restore the pulled-down video only when the pairing_mismatch_flag element is signaled.
  • a receiving apparatus may include a demultiplexer (L5010), a decoder (L5020), a swapping adjacent field processor (L5060), a removing duplicated field processor (L5050), and / or an interleaving parity fields processor (L5070).
  • the decoder L5020 may include a video coding layer (VCL) decoder (L5030) and / or a non-VCL decoder (L5040).
  • VCL video coding layer
  • the removing duplicated field processor (L5050) and / or Swapping adjacent field processor (L5060) may be included before the video stream is decoded by the VCL decoder to delete and reverse the fields.
  • the video stream may be included after being decoded by the VCL decoder to delete the field and reverse the order.
  • the demultiplexer L5010 may receive a broadcast signal, parse the SI / PSI signaling information from the received broadcast signal, and output the parsed signal to the decoder. Furthermore, the demultiplexer can parse 3: 2 pull-down 60i video from the broadcast signal and output it to the VCL decoder, and parse the picture timing SEI message and / or pull down info SEI message from the broadcast signal to the Non-VCL decoder. You can print
  • the decoder L5020 may decode the input SI / PSI signaling information, the 3: 2 pull-down 60i video stream, the picture timing SEI message, and / or the pull down info SEI message.
  • the VCL (Video Coding Layer) Decoder (L5030) can decode a 3: 2 pull-down 60i video stream.
  • the non-VCL decoder may decode the input picture timing SEI message and / or the pull down info SEI message.
  • Removing duplicated field processor may remove the duplicated field in the corresponding pull-down sequence using the duplicate_flag element included in the picture timing SEI message and / or the pull down info SEI message.
  • the swapping adjacent field processor may reverse the order of two adjacent pictures by using a pairing_mismatch_flag element included in a pull down info SEI message and / or a pic_struct element included in a picture timing SEI message.
  • the interleaving parity fields processor (L5070) interleaves (pairs) two fields that make up one frame in a sequence in which duplicated fields are deleted and the order of two adjacent pictures is correctly aligned. Can be restored Video output from this processor may correspond to progressive video having 24 frame per second (24p) of 24 Hz.
  • the broadcast signal receiving apparatus When the broadcast signal receiving apparatus according to an embodiment of the present invention generates a 60i video by 3: 2 pull-down the video taken in 24p at the transmitting end and transmits it, the 3: 2 pull-down is performed. It can provide a way to receive 60i video and restore it to the original video at 24p.
  • a receiving device receives a first NAL unit including an access unit delimiter NAL (Network Abstraction Layer) unit, a VPS (Video Parameter Sets) NAL unit, a SPS (Sequence Parameter Sets) NAL unit, PPS (Picture Parameter Sets) NAL units can be received in the order of NAL unit, prefix SEI NAL unit (NAL unit whose nal_unit_type is 39).
  • NAL Network Abstraction Layer
  • VPS Video Parameter Sets
  • SPS Sequence Parameter Sets
  • PPS Picture Parameter Sets
  • the reception device may receive a picture timing SEI message having a payloadType of 1 of a prefix SEI NAL unit, and when the value of the frame_field_info_present_flag element included in the picture timing SEI message is 1, a picture timing SEI message
  • the receiving device uses the pic_struct element included in the picture timing SEI message to determine whether the current picture is a top field or bottom field, whether it is a frame, whether the next or previous field is a top field or bottom field, and / or in what order. You can determine if the field is configured.
  • the receiving device may identify information on whether a corresponding field is the same as a previous field through the duplicate_flag element included in the picture timing SEI message, and may delete the duplicate picture through a removing duplicated field processor.
  • the reception apparatus may further include a pull SIL message of a user_data_registered_itu_t_t35 SEI message having a payloadType of 4 in a prefix SEI NALU having a nal_unit_type of 39 NAL unit header (or suffix SEI NALU having a nal_unit_type of 40).
  • down info SEI message can be received.
  • the receiving device can grasp the cadence structure, and can restore the 3: 2 pull-down interlaced video stream to the original progressive video before encoding at the transmitting end.
  • the receiving device may determine the start field and / or size of the corresponding cadence through the start_flag_of_cadence element and / or the size_of_cadence element included in the pull down info SEI message.
  • cadence may represent one sequence set pulled down with the same pattern.
  • the receiving device may determine what kind of pull-own method the video stream received through the pull_down_type element included in the pull down info SEI message is transmitted video stream. That is, the receiving device may grasp the frame rate (fps) of the original video and the frame rate of the received video through the pull_down_type element.
  • the frame rate of the original video and the frame rate of the pulled-down video may be signaled instead of the pull_down_type element.
  • the receiving device can know how many fields and / or the number of fields should be deleted by repeating the pull_down_type element, the start_flag_of_cadence element, and / or the size_of_cadence element included in the pull down info SEI message, and how many fields are missed. It can be seen that there is a mismatch and / or which field is mismatched.
  • the removing duplicated field processor may delete a picture having a duplicate_flag element of 1 in a corresponding cadence and output only the remaining picture to the next processor.
  • the swapping adjacent field processor disconnects the existing pairing of the current picture (field) based on the value of the pic_struct element included in the picture timing SEI message and based on the current picture. Fields may be recombined by newly pairing the current picture with a field opposite to the field that was paired with, and the recombined fields may be displayed.
  • the receiving device may further receive a pull down info SEI message.
  • FIG. 6 is a view showing a broadcast signal receiving method according to an embodiment of the present invention.
  • the method includes receiving a broadcast signal including reconstructed video data by pull-down and signaling information for the reconstructed video data (SL6010), and receiving the received broadcast signal.
  • the method may include extracting the reconstructed video data and signaling information (SL6020) and / or decoding the extracted reconstructed video data using the extracted signaling information (SL6030). Detailed description thereof has been given above with reference to FIG. 5.
  • the signaling information includes at least one of picture timing information signaling a configuration of the reconstructed video data and pull down information signaling information on pull-down applied to the reconstructed video data. It may include.
  • the picture timing information may indicate information included in the picture timing SEI message.
  • the pull down information may indicate information included in a pull down info SEI message. Detailed description thereof has been given above with reference to FIGS. 3 and 4.
  • the picture timing information includes at least one of source scan type information indicating a picture scanning method, picture configuration information indicating picture configuration information, and duplication flag information indicating whether a picture is duplicated. can do.
  • the source scan type information may indicate information indicated by the source_scan_type element, the picture configuration information by the pic_struct element, and the duplicate flag information by the duplicate_flag element. Detailed description thereof has been given above with reference to FIGS. 4 and 5.
  • the pull-down information includes pull-down type information indicating a pull-down scheme applied to the reconstructed video data, and a cadence indicating a set of pictures to which pull-down of the same scheme is applied.
  • cadence size information indicating the size of the cadence
  • cadence start information indicating the first picture of the cadence
  • pairing mismatch information indicating whether the pairing of the picture matches the pairing before the video data is reconstructed
  • the picture It may include at least one of the replication flag information indicating whether or not to replicate.
  • the pull-down type information may indicate information indicated by the pull_down_type element, the cadence size information of the size_of_cadence element, the cadence start information of the start_of_cadence_flag element, and the pairing mismatch information of the pairing_mismatch_flag element. Detailed description thereof has been given above with reference to FIG. 3.
  • the picture timing information and the pull down information may be transmitted in a SEI message (Supplemental Enhancement Information). Detailed description thereof has been given above with reference to FIGS. 3 and 4.
  • the restoring may include copying from the reconstructed video data using at least one of the copy flag information included in the picture timing information and the copy flag information included in the pull down information. Deleting a picture, adjusting pairing of pictures included in video data from which the duplicated picture is deleted using the picture configuration information and the pairing mismatch information, and / or rearranging the order of pictures. And reconstructing the paired pictures included in the video data into one frame. Detailed description thereof has been given above with reference to FIG. 5.
  • At least one of deleting the duplicated picture and rearranging the order of the pictures may be performed before the decoding step. Detailed description thereof has been given above with reference to FIG. 5.
  • FIG. 7 is a diagram illustrating a configuration of a broadcast signal transmission apparatus according to an embodiment of the present invention.
  • the broadcast signal transmission apparatus L7010 includes a pull-down performing unit L7020 for pull-down and reconstructing video data, a video encoder L7030 for encoding the reconstructed video data, and the reconstruction.
  • It may include a transmission unit (L7060) for transmitting.
  • FIG. 8 is a diagram illustrating a configuration of a broadcast signal receiving apparatus according to an embodiment of the present invention.
  • the broadcast signal receiving apparatus L8010 includes a receiver L8020 for receiving a broadcast signal including reconstructed video data by pull-down and signaling information for the reconstructed video data, and the reception unit. And an extractor L8030 for extracting the reconstructed video data and signaling information from a broadcast signal, and / or a decoder L8040 for decoding the extracted reconstructed video data using the extracted signaling information. .
  • the receiver and / or extractor may represent the aforementioned demultiplexer.
  • the decoder may represent the video decoder described above.
  • a module, unit, or block according to embodiments of the present invention may be a processor / hardware that executes successive procedures stored in a memory (or storage unit). Each step or method described in the above embodiments may be performed by hardware / processors.
  • the methods proposed by the present invention can be executed as code. This code can be written to a processor readable storage medium and thus read by a processor provided by an apparatus according to embodiments of the present invention.
  • Apparatus and method according to the present invention is not limited to the configuration and method of the embodiments described as described above, the above-described embodiments may be selectively all or part of each embodiment so that various modifications can be made It may be configured in combination.
  • the image processing method of the present invention can be implemented as a processor-readable code on a processor-readable recording medium provided in the network device.
  • the processor-readable recording medium includes all kinds of recording devices that store data that can be read by the processor. Examples of the processor-readable recording medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, and the like, and may also be implemented in the form of a carrier wave such as transmission over the Internet. .
  • the processor-readable recording medium can also be distributed over network coupled computer systems so that the processor-readable code is stored and executed in a distributed fashion.
  • the present invention is used in the field of providing a series of broadcast signals.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 풀 다운된 신호 복원을 위한 방송 신호 송수신 방법 및 장치를 제공한다. 본 발명의 일 실시예에 따른 방송 신호 송신 방법은 비디오 데이터를 풀-다운하여 재구성하는 단계, 상기 재구성된 비디오 데이터를 인코딩하는 단계, 상기 재구성된 비디오 데이터를 위한 시그널링 정보를 인코딩하는 단계, 상기 인코딩된 비디오 데이터 및 상기 인코딩된 시그널링 정보를 포함하는 방송 신호를 생성하는 단계 및 상기 생성된 방송 신호를 전송하는 단계를 포함한다.

Description

풀 다운된 신호 복원을 위한 방송 신호 송수신 방법 및 장치
본 발명은 방송 신호를 송수신하는 방법 및 장치에 관한 것이다.
움직이는 사진으로 불리우는 동영상을 촬영하고 제작하는데 있어 크게 두가지로 구분을 하자면 TV 영상물과 극장상영물로 나눌 수 있을 것이다. 우선 필름으로 촬영되는 극장상영물은 전통적인 정지사진을 연속적으로 촬영한 후 이를 다시 시간의 순서에 맞추어 보여주는 방식으로서 영상의 한컷, 한컷은 곧 정지영상이 됨을 쉽게 알 수 있다. 하지만 TV 에서 방영되는 영상은 한컷이 온전한 한 장의 사진이 아니라 두개의 필드로 구성되기 때문에 이 두개의 필드를 합쳐야만 온전한 한 장의 사진을 볼 수 있게 되는 것이다. 이렇게 된 이유는 여러 가지가 있었는데, 우선 초기의 TV 전송기술과 브라운관의 성능이 그다지 좋지 못했기 때문에 음극선으로 형광물질을 자극해서 발광하게 하는 시간이 매우 짧았던 것이 큰 이유였다. NTSC 방식의 경우 1 초에 30 장(29.97 fps)의 프레임이 진행되어야 하므로 하나의 프레임이 나온 후 다음 프레임이 등장할 때까지 적어도 1/30 초 이상 브라운관에 영상이 남아있어야 한다. 하지만 초기 브라운관의 경우 이를 지원하지 못했기 때문에 하나의 프레임을 두개의 필드로 쪼개어 순차적으로(Interlace) 전송하는 편법을 사용하게 된 것이다. 이렇게 함으로써 낮은 성능의 브라운관과 전송방식으로도 영상물을 전송할 수 있는 길이 열리게 되었지만, 빠른 장면의 이동이나 복잡한 영상물의 경우 디테일하게 표현할 수 없다는 약점또한 가지게 된 것이다. 이러한 비월주사방식, 즉 인터레이스 방식은 아직까지도 대다수 TV 에 적용되고 있으며 거의 모든 비디오 영상물은 인터레이스 방식에 맞추어 촬영되고, 편집되고, 방영되고 있다. 한편, 필름으로 촬영되는 극장상영물은 초당 24 장(24 fps)의 영상이 차례대로 지나가면서 보여지는(Progressive) 것이며 여기에서의 24 프레임은 나누어지지 않은 순수한 한 장의 사진 그 자체를 가리킨다. 때문에 훨씬 선명한 영상을 보여줄 수 있으며 빠른 움직임에도 디테일을 잃어버리지 않는다는 장점이 있다.
프로그레시브 스캔 (Progressive Scan)과 인터레이스 스캔(Interlace Scan) 프로그레시브 스캔 방식의 대표적인 예로는 컴퓨터 모니터 혹은 PDP 나 LCD 같은 디지털 TV 등을 들 수 있는데 이 방식은 하나의 프레임을 단 한번에 영상의 모든 수평라인을 표시하는 방식이다. 반면에 현재 우리가 사용하고 있는 TV 같은 경우에는, 그것이 NTSC 방식이든 PAL 방식이든 상관없이 하나의 영상을 표시할 때, 하나의 이미지 프레임에서 수평 라인의 반만을 표시하게 되는데 이를 인터레이스 방식이라고 한다. 즉 인터레이스 방식은 하나의 프레임을 두개의 필드(top/bottom, upper/lower, odd/even 등등으로 불림)로 나누어 순차적으로 번갈아 가며 화면에 이미지를 표시하는 것이다.
3:2 풀다운 프로그레시브 스캔 방식과 가장 밀접한 관계를 갖고 있는 것 중의 하나가 필름으로 제작된 영화인데, 이는 최근 출시되는 거의 모든 DVD 영화 타이틀의 원본 소스가 바로 필름으로 제작된영화이기 때문이다. 영화의 경우 NTSC TV 와는 다르게 초당 24 프레임으로 제작된다. 본래 DVD 의 경우 원본 영화와 같이 24 프레임의 원본 이미지를 곧바로 DVD 로 제작할 수 있다고 한다. 하지만 현재 보급되어 있는 TV 같은 디스플레이 장비의 절대다수가 인터레이스 방식의 장비이기 때문에 현실적으로는 DVD 는 이러한 인터페이스에 맞추어 인터레이스 스캔 방식으로 만들어져야만 한다. 이때 24 프레임의 필름을 60 필드의 비디오로 전환시키는 작업을 3:2 풀 다운 (pulldown) 혹은 텔레시네라고 한다. 이는 2 개의 필름 프레임마다 1 개의 필드를 추가시켜 4 개의 필름 프레임으로 5 개의 비디오 프레임을 만드는 것으로 요약할 수 있다. 3:2 풀다운은 첫 번째 frame에서 3개의 field를 만들어내고, 두 번째 frame에서 2개의 field를 뽑아내는 것이다.
최근 디스플레이 기술의 발전에 따라, 프로그래시브 방식의 디스플레이 장치가 출현하고 있으며, 이에 따라 3:2 풀다운된 비디오를 복원할 수 있는 방법에 대한 연구가 필요하다.
본 발명이 이루고자 하는 과제는, 풀 다운된 신호를 복원하는 방법을 제공하는 것이다.
본 발명이 이루고자 하는 과제는, 풀 다운된 신호를 복원하기 위한 시그널링 방법을 제공하는 것이다.
본 발명의 일 실시예에 따른 방송 신호 송신 방법은 비디오 데이터를 풀-다운하여 재구성하는 단계, 상기 재구성된 비디오 데이터를 인코딩하는 단계, 상기 재구성된 비디오 데이터를 위한 시그널링 정보를 인코딩하는 단계, 상기 인코딩된 비디오 데이터 및 상기 인코딩된 시그널링 정보를 포함하는 방송 신호를 생성하는 단계 및 상기 생성된 방송 신호를 전송하는 단계를 포함할 수 있다.
바람직하게는, 상기 시그널링 정보는 상기 재구성된 비디오 데이터의 구성을 시그널링하는 픽처 타이밍 정보 및 상기 재구성된 비디오 데이터에 적용된 풀-다운에 대한 정보를 시그널링하는 풀 다운 정보 중 적어도 하나를 포함할 수 있다.
바람직하게는, 상기 픽처 타이밍 정보는 픽처의 주사 방식을 나타내는 소스 스캔 타입 정보, 픽처의 구성 정보를 나타내는 픽처 구성 정보 및 픽처의 복제 여부를 나타내는 복제 플래그 정보 중 적어도 하나를 포함할 수 있다.
바람직하게는, 상기 풀 다운 정보는 상기 재구성된 비디오 데이터에 적용된 풀-다운의 방식을 나타내는 풀 다운 타입 정보, 동일한 방식의 풀-다운이 적용되는 픽처들의 집합을 나타내는 케이던스 (cadence)의 크기를 나타내는 케이던스 크기 정보, 상기 케이던스의 첫 번째 픽처를 나타내는 케이던스 시작 정보, 픽처의 페어링 (pairing)이 상기 비디오 데이터가 재구성되기 전의 페어링과 일치하는지 여부를 나타내는 페어링 미스매치 정보, 픽처의 복제 여부를 나타내는 복제 플래그 정보 중 적어도 하나를 포함할 수 있다.
바람직하게는, 상기 픽처 타이밍 정보 및 풀 다운 정보는 SEI 메시지 (Supplemental Enhancement Information)에 포함되어 전송될 수 있다.
본 발명의 다른 일 실시예에 따른 방송 신호 수신 방법은 풀-다운에 의해 재구성된 비디오 데이터 및 상기 재구성된 비디오 데이터를 위한 시그널링 정보를 포함하는 방송 신호를 수신하는 단계, 상기 수신한 방송 신호에서 상기 재구성된 비디오 데이터 및 시그널링 정보를 추출하는 단계 및 상기 추출된 시그널링 정보를 이용하여 상기 추출된 재구성된 비디오 데이터를 디코딩하는 단계를 포함할 수 있다.
바람직하게는, 상기 시그널링 정보는 상기 재구성된 비디오 데이터의 구성을 시그널링하는 픽처 타이밍 정보 및 상기 재구성된 비디오 데이터에 적용된 풀-다운에 대한 정보를 시그널링하는 풀 다운 정보 중 적어도 하나를 포함할 수 있다.
바람직하게는, 상기 픽처 타이밍 정보는 픽처의 주사 방식을 나타내는 소스 스캔 타입 정보, 픽처의 구성 정보를 나타내는 픽처 구성 정보 및 픽처의 복제 여부를 나타내는 복제 플래그 정보 중 적어도 하나를 포함할 수 있다.
바람직하게는, 상기 풀 다운 정보는 상기 재구성된 비디오 데이터에 적용된 풀-다운의 방식을 나타내는 풀 다운 타입 정보, 동일한 방식의 풀-다운이 적용되는 픽처들의 집합을 나타내는 케이던스 (cadence)의 크기를 나타내는 케이던스 크기 정보, 상기 케이던스의 첫 번째 픽처를 나타내는 케이던스 시작 정보, 픽처의 페어링 (pairing)이 상기 비디오 데이터가 재구성되기 전의 페어링과 일치하는지 여부를 나타내는 페어링 미스매치 정보, 픽처의 복제 여부를 나타내는 복제 플래그 정보 중 적어도 하나를 포함할 수 있다.
바람직하게는, 상기 픽처 타이밍 정보 및 풀 다운 정보는 SEI 메시지 (Supplemental Enhancement Information)에 포함되어 전송될 수 있다.
바람직하게는, 상기 방송 신호 수신 방법은 상기 시그널링 정보를 이용하여 상기 디코딩된 재구성된 비디오 데이터를 풀-다운 전의 비디오 데이터로 복원하는 단계를 포함할 수 있다.
바람직하게는, 상기 복원하는 단계는 상기 픽처 타이밍 정보에 포함된 복제 플래그 정보 및 상기 풀 다운 정보에 포함된 복제 플레그 정보 중 적어도 하나를 이용하여 상기 재구성된 비디오 데이터에서 복제된 픽처를 삭제하는 단계, 상기 픽처 구성 정보 및 상기 페어링 미스매치 정보를 이용하여 상기 복제된 픽처가 삭제된 비디오 데이터에 포함된 픽처들의 페어링을 조정하고 픽처들의 순서를 재정렬하는 단계 및 상기 재정렬된 비디오 데이터에 포함된 페어링된 픽처들을 하나의 프레임으로 복원하는 단계를 포함할 수 있다.
바람직하게는, 상기 복제된 픽처를 삭제하는 단계 및 픽처의 순서를 재정렬하는 단계 중 적어도 하나는 상기 디코딩 단계 이전에 수행될 수 있다.
본 발명의 다른 일 실시예에 따른 방송 신호 송신 장치는 비디오 데이터를 풀-다운하여 재구성하는 풀-다운 수행부, 상기 재구성된 비디오 데이터를 인코딩하는 비디오 인코더, 상기 재구성된 비디오 데이터를 위한 시그널링 정보를 인코딩하는 시그널링 인코더, 상기 인코딩된 비디오 데이터 및 상기 인코딩된 시그널링 정보를 포함하는 방송 신호를 생성하는 방송 신호 생성부 및 상기 생성된 방송 신호를 전송하는 전송부를 포함할 수 있다.
본 발명의 다른 일 실시예에 따른 방송 신호 수신 장치는 풀-다운에 의해 재구성된 비디오 데이터 및 상기 재구성된 비디오 데이터를 위한 시그널링 정보를 포함하는 방송 신호를 수신하는 수신부, 상기 수신한 방송 신호에서 상기 재구성된 비디오 데이터 및 시그널링 정보를 추출하는 추출부 및 상기 추출된 시그널링 정보를 이용하여 상기 추출된 재구성된 비디오 데이터를 디코딩하는 디코더를 포함할 수 있다.
본 발명에 따르면, 풀 다운된 신호를 복원하는 방법을 제공할 수 있는 효과가 있다.
본 발명에 따르면, 폴 다원된 신호를 복원하기 위한 시그널링 방법을 제공할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 방송 신호 송신 방법을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따라 24p 비디오를 3:2 풀-다운 (pull-down)하여 60i 비디오를 생성하는 과정을 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 pull_down_info의 구성을 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따라 3:2 풀-다운 (pull-down)된 60i 비디오로부터 24p 비디오를 복원하는 과정을 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 방송 신호 수신 장치의 구성을 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 방송 신호 수신 방법을 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 방송 신호 송신 장치의 구성을 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 방송 신호 수신 장치의 구성을 나타낸 도면이다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시예를 상세하게 설명하지만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
도 1은 본 발명의 일 실시예에 따른 방송 신호 송신 방법을 나타낸 도면이다.
본 발명의 일 실시예에 따른 방송 신호 송신 방법은 비디오 데이터를 풀-다운하여 재구성하는 단계 (SL1010), 상기 재구성된 비디오 데이터를 인코딩하는 단계 (SL1020), 상기 재구성된 비디오 데이터를 위한 시그널링 정보를 인코딩하는 단계 (SL1030), 상기 인코딩된 비디오 데이터 및 상기 인코딩된 시그널링 정보를 포함하는 방송 신호를 생성하는 단계 (SL1040) 및/또는 상기 생성된 방송 신호를 전송하는 단계 (SL1050)를 포함할 수 있다.
본 발명의 다른 일 실시예에 따르면, 상기 시그널링 정보는 상기 재구성된 비디오 데이터의 구성을 시그널링하는 픽처 타이밍 정보 및 상기 재구성된 비디오 데이터에 적용된 풀-다운에 대한 정보를 시그널링하는 풀 다운 정보 중 적어도 하나를 포함할 수 있다. 여기서, 픽처 타이밍 정보는 picture timing SEI message 내에 포함되는 정보를 나타낼 수 있다. 풀 다운 정보는 pull down info SEI message 내에 포함되는 정보를 나타낼 수 있다. 이에 대한 상세한 설명은 도 3, 4에서 후술한다.
본 발명의 다른 일 실시예에 따르면, 상기 픽처 타이밍 정보는 픽처의 주사 방식을 나타내는 소스 스캔 타입 정보, 픽처의 구성 정보를 나타내는 픽처 구성 정보 및 픽처의 복제 여부를 나타내는 복제 플래그 정보 중 적어도 하나를 포함할 수 있다. 여기서, 소스 스캔 타입 정보는 source_scan_type 엘레먼트, 픽처 구성 정보는 pic_struct 엘레먼트, 복제 플래그 정보는 duplicate_flag 엘레먼트가 나타내는 정보를 나타낼 수 있다. 이에 대한 상세한 설명은 도 4, 5에서 후술한다.
본 발명의 다른 일 실시예에 따르면, 상기 풀 다운 정보는 상기 재구성된 비디오 데이터에 적용된 풀-다운의 방식을 나타내는 풀 다운 타입 정보, 동일한 방식의 풀-다운이 적용되는 픽처들의 집합을 나타내는 케이던스 (cadence)의 크기를 나타내는 케이던스 크기 정보, 상기 케이던스의 첫 번째 픽처를 나타내는 케이던스 시작 정보, 픽처의 페어링 (pairing)이 상기 비디오 데이터가 재구성되기 전의 페어링과 일치하는지 여부를 나타내는 페어링 미스매치 정보, 픽처의 복제 여부를 나타내는 복제 플래그 정보 중 적어도 하나를 포함할 수 있다. 여기서, 풀 다운 타입 정보는 pull_down_type 엘레먼트, 케이던스 크기 정보는 size_of_cadence 엘레먼트, 케이던스 시작 정보는 start_of_cadence_flag 엘레먼트, 페어링 미스매치 정보는 pairing_mismatch_flag 엘레먼트가 나타내는 정보를 나타낼 수 있다. 이에 대한 상세한 설명은 도 3에서 후술한다.
본 발명의 다른 일 실시예에 따르면, 상기 픽처 타이밍 정보 및 풀 다운 정보는 SEI 메시지 (Supplemental Enhancement Information)에 포함되어 전송될 수 있다. 이에 대한 상세한 설명은 도 3, 4에서 후술한다.
도 2는 본 발명의 일 실시예에 따라 24p 비디오를 3:2 풀-다운 (pull-down)하여 60i 비디오를 생성하는 과정을 나타낸 도면이다.
본 발명의 일 실시예에 따른 송신단은 24 Hz의 초당 프레임 수 (24 frame per second, 24p)를 갖는 프로그래시브 (progressive) 방식의 비디오를 60 Hz의 초당 필드 수 (60 field per second, 60i)를 갖는 인터레이스 (interlace) 방식의 비디오로 변환할 수 있다. 본 발명의 일 실시예에 따르면, 이 과정은 3:2 풀-다운 과정으로 명명될 수 있다.
이 도면의 L2010은, 24 Hz의 초당 프레임 수 (24 frame per second, 24p)를 갖는 프로그래시브 (progressive) 방식의 원본 비디오를 나타낸다. 본 발명의 일 실시예에 따른 송신단은 하나의 프레임을 홀수줄과 짝수줄로 분할하여 두 개의 필드를 생성할 수 있다. 본 발명의 일 실시예에 따르면, 분할된 홀수줄은 탑 필드 (Top field, T), 짝수줄은 바텀 필드 (Bottom filed, B)로 명명될 수 있다. 이 도면에서, Frame 0은 0번째 프레임, Frame 1은 1번째 프레임, Frame 2는 2번째 프레임, Frame 3은 3번째 프레임을 나타낸다.
이 도면의 L2020은, 24 Hz의 초당 프레임 수 (24 frame per second, 24p)를 갖는 프로그래시브 (progressive) 방식의 원본 비디오를 구성하는 각 프레임을 탑 필드와 바텀 필드로 분할한 비디오를 나타낸다. 본 발명의 일 실시예에 따른 송신단은 적어도 하나의 분할된 필드를 복제하고 분할된 필드들의 순서를 섞어서 필드들을 재구성할 수 있다. 이 도면에서, T0 및 B0는 0번째 프레임에서 분할된 탑 필드 및 바텀 필드를 나타내고, T1 및 B1는 1번째 프레임에서 분할된 탑 필드 및 바텀 필드를 나타내고, T2 및 B2는 2번째 프레임에서 분할된 탑 필드 및 바텀 필드를 나타내고, T3 및 B3는 3번째 프레임에서 분할된 탑 필드 및 바텀 필드를 나타낸다.
이 도면의 L2030은, 3:2 풀-다운 과정에 의해 재구성된 60 Hz의 초당 필드 수 (60 field per second, 60i)를 갖는 인터레이스 (interlace) 방식의 비디오를 나타낸다. 본 발명의 일 실시예에 따르면, 풀-다운 과정에 의해 재구성된 10개의 필드들은 하나의 집합을 구성할 수 있다. 여기서, 이 집합은 케이던스 (cadence)라고 명명될 수 있다. 이 도면에서, T0 필드는 이 집합을 구성하는 첫번째 필드를 나타낸다. 이 도면에서, T0 및 B2 필드는 복제 (duplicate, D)되었고, T0, B1, T1, B2, T2 및 B2 필드는 순서가 재구성 (mismatch, M)되었다. 본 발명의 일 실시예에 따른 송신단은 재구성된 각 필드가 재구성된 하나의 집합의 첫번째 필드인지 여부 (start_of_cadence_flag), 복제되었는지 여부 (duplicate_flag), 순서가 섞였는지 여부 (pairing_mismatch_flag)를 시그널링할 수 있다. 시그널링에 대한 상세한 설명은 후술한다.
이 도면을 참조하면, 본 발명의 일 실시예에 따른 송신단은 pic_struct 엘레먼트의 값이 9 내지 12인 경우, 8개의 연속되는 필드들을 3:2 풀-다운하여 10개의 필드들을 생성할 수 있다. 여기서, 생성된 10개의 필드들은 60 인터레이스드 필드 모드 (60 interlaced field mode)에서 방송될 수 있다. 생성된 10개의 필드들 중에 첫번째 필드에는 "S"가 표시될 수 있다. 생성된 10개의 필드들 중에 세번째 및 여덟번째 필드들에는 "D"가 표시될 수 있다. 생성된 10개의 필드들 중에 첫번째, 두번째, 아홉번째 및 열번째 필드를 제외한 나머지 필드들에는 "M"이 표시될 수 있다. 본 발명의 일 실시예에 따르면, "S" 표시가 된 픽처는 start_of cadence_flag 엘레먼트를 포함하는 픽처임을 나타내고, "D" 표시가 된 픽처는 duplicate_flag 엘레먼트를 포함하는 픽처임을 나타내고, "M" 표시가 된 픽처는 pairing_mismatch_flag 엘레먼트를 포함하는 픽처임을 나타낸다. 여기서, 상술한 엘레먼트를 포함한다는 의미는 해당 엘레먼트의 값이 1임을 나타낸다. 각 필드에 표시된 알파벳에 대한 상세한 설명은 전술하였다.
도 3은 본 발명의 일 실시예에 따른 pull_down_info의 구성을 나타낸 도면이다.
본 발명의 일 실시예에 따르면, prefix SEI (Supplemenntal Enhancemnet Information) NAL (Network Abstraction Information) unit 또는 suffix SEI NAL unit은 user_data_registered_itu_t_t35() SEI message를 포함할 수 있다. 그리고, user_data_registered_itu_t_t35() SEI message은 pull down info SEI message를 포함할 수 있다. 본 발명의 일 실시예에 따르면, pull down info SEI message는 pull_down_info를 포함할 수 있다.
본 발명의 일 실시예에 따르면, pull_down_info는 매 picture에 포함될 수 있다
본 발명의 일 실시예에 따른 pull_down_info는 pull_down_type 엘레먼트, size_of_cadence 엘레먼트, start_of_cadence_flag 엘레먼트, pairing_mismatch_flag 엘레먼트, duplicate_flag 엘레먼트 및/또는 reserved 엘레먼트를 포함할 수 있다.
pull_down_type 엘레먼트는 인코딩된 비디오 스트림에 적용된 풀-다운의 타입을 나타낸다. 예를 들어, 이 엘레먼트는 풀-다운이 3:2, 2:3 또는 다른 타입에 해당하는지를 나타낸다. 이전 도면의 본 발명의 일 실시예는 3:2 풀-다운이 적용되었고, 이 경우, 이 엘레먼트는 3:2 풀-다운 타입을 나타낸다.
size_of_cadence 엘레먼트는 하나의 풀-다운 패턴의 시퀀스에 포함된 픽처들의 개수를 나타낸다. 본 발명의 일 실시예에 따르면 하나의 풀-다운 패턴의 시퀀스는 하나의 케이던스 (cadence) 또는 필드들의 집합으로 명명될 수 있다. 이 엘레먼트는 인코딩 순서 상, "S"로 표시된 픽처로부터 그 다음 "S"로 표시된 픽처의 직전 픽처까지의 픽처들의 개수를 나타낸다. 이전 도면의 본 발명의 일 실시예에서, 이 엘레먼트의 값은 10을 나타낸다.
start_of_cadence_flag 엘레먼트는 현재 픽처가 풀-다운 패턴의 시작점인지 여부를 나타낸다. 본 발명의 일 실시예에 따른 인코더는 하나의 풀-다운 시퀀스의 첫번째 픽처에 대하여 이 엘레먼트의 값을 1로 설정할 수 있다.
pairing_mismatch_flag 엘레먼트는 인코딩된 스트림 내의 현재 탑 필드 및 바텀 필드의 짝 (pair)이 원본 시퀀스 내의 탑 필드 및 바텀 필드의 짝 (pair)과 일치하는지 여부를 나타낸다. 이 엘레먼트의 값이 1이면, 현재 필드는 원본 비디오 소스에서 현재 필드와 일치하는 필드가 아닌 다른 패리티 (parity)의 필드와 일치함을 나타낸다. 즉, 이 엘레먼트의 값 1은 현재 짝지어진 필드들이 같은 프레임에 속하지 않는 필드들임을 나타낸다. 이전 도면의 본 발명의 일 실시예에서, 처음 두 픽처들 및 마지막 두 픽처들을 제외한 하나의 풀-다운 시퀀스 내의 모든 픽처들에는 "M"이 표시되었고, "M"이 표시된 픽처들에 대한 pairing_mismatch_flag 엘레먼트의 값은 1을 나타낸다.
duplicate_flag 엘레먼트는 현재 픽처가 풀-다운의 결과로서 생성된 기 존재한 픽처에 대한 반복되거나 복제된 버전의 픽처인지 여부를 나타낸다. 본 발명의 일 실시예에 따른 인코더는 반복되거나 복제된 픽처에 대하여 이 엘레먼트의 값을 1로 설정할 수 있다. 본 발명의 일 실시예에 따르면, 이 엘레먼트의 값은 picture timing SEI message 내의 duplicate_flag 엘레먼트의 값과 동일할 수 있다.
reserved 엘레먼트는 추후 다른 정보를 담기위한 엘레먼트를 나타낸다.
도 4는 본 발명의 일 실시예에 따라 3:2 풀-다운 (pull-down)된 60i 비디오로부터 24p 비디오를 복원하는 과정을 나타낸 도면이다.
본 발명의 일 실시예에 따른 수신단은 3:2 풀-다운 (pull-down)된 60i 비디오를 수신할 수 있다. 이 도면의 L4010은 수신단이 수신한 3:2 풀-다운 (pull-down)된 60i 비디오를 나타낸다. 이 비디오는 60 Hz의 초당 필드 수를 갖는 신호에 해당할 수 있다. 여기서, "S"가 표시된 필드는 start_of_cadence_flag 엘레먼트를 포함하는 필드를 나타내고, "D"가 표시된 필드는 duplicate_flag 엘레먼트를 포함하는 필드를 나타내고, "M"이 표시된 필드는 pairing_mismatch_flag 엘레먼트를 포함하는 필드를 나타낸다.
본 발명의 일 실시예에 따른 수신단은 수신한 3:2 풀-다운 (pull-down)된 60i 비디오에서 duplicate_flag 엘레먼트를 포함하는 필드를 제거할 수 있다. (Step 1) 이 도면의 L4020은 수신단이 수신한 3:2 풀-다운 (pull-down)된 60i 비디오에서 duplicate_flag 엘레먼트를 포함하는 필드가 제거된 비디오를 나타낸다. 이 비디오는 24 Hz의 초당 필드 수를 갖는 인코딩 전의 순서로 복원되었거나 복원되지 않은 신호에 해당할 수 있다. 여기서, "S"가 표시된 필드는 start_of_cadence_flag 엘레먼트를 포함하는 필드를 나타내고, "M"이 표시된 필드는 pairing_mismatch_flag 엘레먼트를 포함하는 필드를 나타낸다.
본 발명의 일 실시예에 따른 수신단은 duplicate_flag 엘레먼트를 포함하는 필드가 제거된 비디오에서 pairing_mismatch_flag 엘레먼트를 포함하는 인접한 두 필드들의 순서를 뒤바꿀 수 있다. (Step 2) 이 도면의 L4030은 duplicate_flag 엘레먼트를 포함하는 필드가 제거된 비디오에서 pairing_mismatch_flag 엘레먼트를 포함하는 인접한 두 필드들의 순서가 뒤바뀐 비디오를 나타낸다. 이 비디오는 24 Hz의 초당 필드 수를 갖는 인코딩 전의 순서로 복원된 신호에 해당할 수 있다.
본 발명의 일 실시예에 따른 수신단은 pairing_mismatch_flag 엘레먼트를 포함하는 인접한 두 필드들의 순서가 뒤바뀐 비디오에서 하나의 프레임을 구성하는 (짝을 이루는) 두 필드들을 인터리브 (interleave)하여 하나의 프레임으로 복원할 수 있다. (Step 3) 이 도면의 L4040은 하나의 프레임을 구성하는 (짝을 이루는) 두 필드들이 하나의 프레임으로 복원된 비디오를 나타낸다. 이 비디오는 24 Hz의 초당 프레임 수 (24 frame per second, 24p)를 갖는 프로그래시브 (progressive) 방식의 비디오에 해당할 수 있다.
도 5는 본 발명의 일 실시예에 따른 방송 신호 수신 장치의 구성을 나타낸 도면이다.
본 발명의 일 실시예에 따른 비디오 스트림은 picture timing SEI message 및/또는 pull down info SEI message를 포함할 수 있다. picture timing SEI message는 frame_field_info_present_flag 엘레먼트, pic_struct 엘레먼트, source_scan_type 엘레먼트 및/또는 duplicate_flag 엘레먼트를 포함할 수 있다. pull down info SEI message는 전술한 엘레먼트들을 포함할 수 있다.
본 발명의 일 실시예에 따른 수신 장치는 picture timing SEI message 내에 포함된 frame_field_info_present_flag 엘레먼트의 값이 1인 경우, pic_struct 엘레먼트, source_scan_type 엘레먼트 및/또는 duplicate_flag 엘레먼트가 나타내는 정보를 이용할 수 있다. 본 발명의 일 실시예에 따르면, 3:2 풀-다운 (pull-down)된 60i 비디오로부터 24p 비디오를 복원하기 위하여 pic_struct 엘레먼트의 값 9 내지 12가 이용될 수 있다. pic_struct 엘레먼트의 값 1 및 2는 필드 관련 정보를 전송하지 않기 때문에 이 값들은 비트 스트림에서 사용되지 않을 수 있다. pic_struct 엘레먼트의 값 3 내지 6은 이 값들을 갖는 모든 필드들이 하나의 AU (access unit)에 포함되기 때문에 이 값들은 비트 스트림에서 사용되지 않을 수 있다.
본 발명의 일 실시예에 따른 수신 장치는 pull down info SEI message를 이용하여 풀-다운된 비디오를 복원할 수 있다. 수신 장치는 수신한 풀-다운된 비디오에서 start_of_cadence_flag 엘레먼트를 포함하는 픽처 (이전 도면에서 "S"가 표시된 필드 (또는 픽처))와 관련된 정보를 읽을 수 있다. 수신 장치는 pull_down_type 엘레먼트 및/또는 size_of_cadence 엘레먼트를 이용하여 복원 프로세스를 알 수 있다. 수신 장치는 duplicate_flag 엘레먼트를 이용하여 복제된 필드 (이전 도면에서 "D"가 표시된 필드)를 제거할 수 있다. 수신 장치는 pairing_mismatch_flag 엘레먼트 및/또는 picture timing SEI message 내에 포함된 pic_struct 엘레먼트를 이용하여 인접한 두 픽처들의 순서를 뒤바꿀 수 있다. 여기서, pic_struct 엘레먼트는 필드들의 순서 정보를 포함할 수 있기 때문에, pairing_mismatch_flag 엘레먼트가 시그널링되어야 수신 장치는 풀-다운된 비디오를 복원할 수 있다.
본 발명의 일 실시예에 따른 수신 장치는 Demultiplexer (L5010), Decoder (L5020), Swapping adjacent field processor (L5060), Removing duplicated field processor (L5050) 및/또는 Interleaving parity fields processor (L5070)를 포함할 수 있다. Decoder (L5020)는 VCL (Video Coding Layer) Decoder (L5030) 및/또는 Non-VCL Decoder (L5040)를 포함할 수 있다.
본 발명의 일 실시예에 따르면, Removing duplicated field processor (L5050) 및/또는 Swapping adjacent field processor (L5060)는 비디오 스트림이 VCL Decoder에 의해 디코딩되기 전에 포함되어 해당 필드를 삭제하고 순서를 뒤바꿀 수 있고, 또는, 비디오 스트림이 VCL Decoder에 의해 디코딩된 후에 포함되어 해당 필드를 삭제하고 순서를 뒤바꿀 수 있다.
Demultiplexer (L5010)는 방송 신호를 수신하고, 수신된 방송 신호에서 SI/PSI 시그널링 정보를 파싱하여 Decoder로 출력할 수 있다. 나아가, Demultiplexer는 방송 신호에서 3:2 풀-다운된 60i 비디오를 파싱하여 VCL Decoder로 출력할 수 있고, 방송 신호에서 picture timing SEI message 및/또는 pull down info SEI message를 파싱하여 Non-VCL Decoder로 출력할 수 있다.
Decoder (L5020)는 입력된 SI/PSI 시그널링 정보, 3:2 풀-다운된 60i 비디오 스트림, picture timing SEI message 및/또는 pull down info SEI message를 디코딩할 수 있다.
VCL (Video Coding Layer) Decoder (L5030)는 3:2 풀-다운된 60i 비디오 스트림을 디코딩할 수 있다.
Non-VCL Decoder (L5040)는 입력된 picture timing SEI message 및/또는 pull down info SEI message를 디코딩할 수 있다.
Removing duplicated field processor (L5050)는 picture timing SEI message 및/또는 pull down info SEI message에 포함된 duplicate_flag 엘레먼트를 이용하여 해당 풀-다운 시퀀스에서 복제된 필드를 삭제할 수 있다.
Swapping adjacent field processor (L5060)는 pull down info SEI message에 포함된 pairing_mismatch_flag 엘레먼트 및/또는 picture timing SEI message 내에 포함된 pic_struct 엘레먼트를 이용하여 인접한 두 픽처들의 순서를 뒤바꿀 수 있다.
Interleaving parity fields processor (L5070)는 복제된 필드가 삭제되고 인접한 두 픽처들의 순서가 올바로 정렬된 하나의 시퀀스에서 하나의 프레임을 구성하는 (짝을 이루는) 두 필드들을 인터리브 (interleave)하여 하나의 프레임으로 복원할 수 있다. 이 프로세서에서 출력되는 비디오는 24 Hz의 초당 프레임 수 (24 frame per second, 24p)를 갖는 프로그래시브 (progressive) 방식의 비디오에 해당할 수 있다.
본 발명의 일 실시예에 따른 방송 신호 수신 장치는 송신단에서 24p로 찰영된 비디오를 3:2 풀-다운 (pull-down)하여 60i 비디오를 생성하여 이를 전송하였을 때, 3:2 풀-다운된 60i 비디오를 수신하고 이를 24p의 원본 비디오로 복원하는 방법을 제공할 수 있다.
본 발명의 일 실시예에 따른 수신 장치는 Access unit delimiter NAL (Network Abstraction Layer) unit을 포함한 첫 번째 NAL unit을 수신하고, VPS (Video Parameter Sets) NAL unit, SPS (Sequence Parameter Sets) NAL unit, PPS (Picture Parameter Sets) NAL unit, prefix SEI NAL unit (nal_unit_type이 39인 NAL unit) 순서로 NAL unit을 수신할 수 있다.
본 발명의 일 실시예에 따른 수신 장치는 prefix SEI NAL unit의 payloadType이 1인 picture timing SEI message를 수신할 수 있고, picture timing SEI message에 포함된 frame_field_info_present_flag 엘레먼트의 값이 1인 경우, picture timing SEI message에 포함된 source_scan_type 엘레먼트를 통해 현재 픽처가 인터레이스 (interlaced) 형태인지 프로그래시브 (progressive) 형태인지를 파악할 수 있다. 나아가, 수신 장치는 picture timing SEI message에 포함된 pic_struct 엘레먼트를 통해 현재 picture가 탑 필드인지 바텀 필드인지 여부, 프레임인지 여부, 다음 또는 이전의 필드가 탑 필드인지 바텀 필드인지 여부 및/또는 어떤 순서로 구성된 필드인지를 파악할 수 있다. 나아가, 수신 장치는 picture timing SEI message에 포함된 duplicate_flag 엘레먼트를 통해 해당 필드 (field)가 이전의 field와 동일한지에 대한 정보를 파악하여, 중복되는 picture를 Removing duplicated field processor를 통해 삭제하도록 할 수 있다.
예를 들어, source_scan_type = 0, pic_struct = 9-12, duplicate flag = 1인 picture는 removing duplicated field processor에서 삭제되고 삭제된 필드는 다음 프로세서로 출력되지 않는다. 다른 예로, source_scan_type = 0, pic_struct = 9-12, duplicate flag != 1인 픽처는 removing duplicated field processor에서 삭제되지 않고 다음 프로세서 (processor)로 그대로 출력할 수 있다.
본 발명의 일 실시예에 따른 수신 장치는 picture timing SEI message외에 추가로 NAL unit header의 nal_unit_type이 39인 prefix SEI NALU (혹은, nal_unit_type이 40인 suffix SEI NALU)에서 payloadType이 4인 user_data_registered_itu_t_t35 SEI message의 pull down info SEI message를 수신할 수 있다. 이를 통해, 수신 장치는 케이던스 (cadence) 구조를 파악할 수 있고, 3:2 pull-down된 인터레이스드 비디오 스트림 (interlaced video stream)을 송신단에서 인코딩 전의 원본 프로그레시브 비디오로 복원할 수 있다.
본 발명의 일 실시예에 따른 수신 장치는 pull down info SEI message에 포함된 start_flag_of_cadence 엘레먼트 및/또는 size_of_cadence 엘레먼트를 통해 해당 케이던스 (cadence)의 시작 필드 및/또는 크기를 파악할 수 있다. 여기서, 케이던스는 동일한 패턴으로 풀-다운된 하나의 시퀀스 집합을 나타낼 수 있다. 나아가, 수신 장치는 pull down info SEI message에 포함된 pull_down_type 엘레먼트를 통해 수신한 비디오 스트림이 어떤 종류의 pull- own 방식으로 재구성되어 송신된 비디오 스트림인지를 파악할 수 있다. 즉, 수신 장치는 pull_down_type 엘레먼트를 통해 원본 비디오의 프레임 레이트 (frame rate, fps) 및 수신된 비디오의 프레임 레이트를 파악할 수 있다. 본 발명의 다른 일 실시예에 따르면, pull_down_type 엘레먼트 대신 원본 비디오의 프레임 레이트 및 풀-다운된 비디오의 프레임 레이트가 시그널링될 수 있다. 나아가, 수신 장치는 pull down info SEI message에 포함된 pull_down_type 엘레먼트, start_flag_of_cadence 엘레먼트 및/또는 size_of_cadence 엘레먼트를 이용해서 몇 장의 필드 및/또는 몇 번째 필드가 반복되었으므로 삭제되어야 하는지를 알 수 있고, 몇 장의 필드가 미스매치 (mismatch)되는지 및/또는 몇 번째 필드가 미스매치되는지를 알 수 있다.
removing duplicated field processor는 해당 케이던스 (cadence) 내에 duplicate_flag 엘레먼트의 값이 1인 픽처는 삭제하고, 나머지 픽처만을 다음 프로세서로 출력할 수 있다.
swapping adjacent field processor는 현재 픽처가 pairing_mismatch_flag = 1인 경우, picture timing SEI message에 포함되어 있는 pic_struct 엘레먼트의 값을 기반으로, 현재 픽처 (필드)의 기존 페어링 (pairing)을 끊고, 현재 픽처를 기준으로 기존에 페어링되어 있었던 필드의 반대편의 필드와 현재 픽처를 새로 페어링하여 필드들을 재조합할 수 있고, 재조합된 필드들을 디스플레이할 수 있다.
예를 들어, picture timing SEI message의 pic_struct 엘레먼트의 값이 9 내지 12인 경우, 본 발명의 일 실시예에 따른 수신 장치는 pull down info SEI message를 추가로 수신할 수 있다. start_flag_of_cadence = 1, size_of_cadence field = 10, pull_down_type = 3:2 pull-down 방식인 경우, 수신 장치는 10장의 연속된 필드에서 2장의 필드는 버리고, 8장의 필드를 통해 4장의 프레임을 구성해야함을 알 수 있다. 수신 장치는 해당 필드의 duplicate_flag = 1인 경우, 삭제할 필드를 판단하고 해당 필드를 삭제할 수 있다. 수신 장치는 해당 필드의 duplicate_flag = 0인 경우, 해당 필드를 다음 프로세서로 출력할 수 있다. 수신 장치는 paring_mismatch_flag = 1인 경우, picture timing SEI message에 포함되어 있는 pic_struct 엘레먼트의 값을 기반으로, 현재 픽처 (필드)의 기존 페어링 (pairing)을 끊고, 현재 픽처를 기준으로 기존에 페어링되어 있었던 필드의 반대편의 필드와 현재 픽처를 새로 페어링할 수 있다. 예를 들어, pic_struct = 9 (top field paired with previous bottom field in output order)인 경우, 수신 장치는 현재 필드를 현재 필드 다음에 오는 바텀 필드와 페어링시킬 수 있다. pic_struct = 10 (top field paired with previous top field in output order)인 경우, 수신 장치는 현재 필드를 현재 필드 다음에 오는 탑 필드와 페어링시킬 수 있다. pic_struct = 11 (top field paired with next bottom field in output order)인 경우, 수신 장치는 현재 필드를 현재 필드 이전에 오는 바텀 필드와 페어링시킬 수 있다. pic_struct = 10 (top field paired with next top field in output order)인 경우, 수신 장치는 현재 필드를 현재 필드 이전에 오는 탑 필드와 페어링시킬 수 있다.
도 6은 본 발명의 일 실시예에 따른 방송 신호 수신 방법을 나타낸 도면이다.
본 발명의 일 실시예에 따른 방송 신호 수신 방법은 풀-다운에 의해 재구성된 비디오 데이터 및 상기 재구성된 비디오 데이터를 위한 시그널링 정보를 포함하는 방송 신호를 수신하는 단계 (SL6010), 상기 수신한 방송 신호에서 상기 재구성된 비디오 데이터 및 시그널링 정보를 추출하는 단계 (SL6020) 및/또는 상기 추출된 시그널링 정보를 이용하여 상기 추출된 재구성된 비디오 데이터를 디코딩하는 단계 (SL6030)를 포함할 수 있다. 이에 대한 상세한 설명은 도 5에서 전술하였다.
본 발명의 다른 일 실시예에 따르면, 상기 시그널링 정보는 상기 재구성된 비디오 데이터의 구성을 시그널링하는 픽처 타이밍 정보 및 상기 재구성된 비디오 데이터에 적용된 풀-다운에 대한 정보를 시그널링하는 풀 다운 정보 중 적어도 하나를 포함할 수 있다. 여기서, 픽처 타이밍 정보는 picture timing SEI message 내에 포함되는 정보를 나타낼 수 있다. 풀 다운 정보는 pull down info SEI message 내에 포함되는 정보를 나타낼 수 있다. 이에 대한 상세한 설명은 도 3, 4에서 전술하였다.
본 발명의 다른 일 실시예에 따르면, 상기 픽처 타이밍 정보는 픽처의 주사 방식을 나타내는 소스 스캔 타입 정보, 픽처의 구성 정보를 나타내는 픽처 구성 정보 및 픽처의 복제 여부를 나타내는 복제 플래그 정보 중 적어도 하나를 포함할 수 있다. 여기서, 소스 스캔 타입 정보는 source_scan_type 엘레먼트, 픽처 구성 정보는 pic_struct 엘레먼트, 복제 플래그 정보는 duplicate_flag 엘레먼트가 나타내는 정보를 나타낼 수 있다. 이에 대한 상세한 설명은 도 4, 5에서 전술하였다.
본 발명의 다른 일 실시예에 따르면, 상기 풀 다운 정보는 상기 재구성된 비디오 데이터에 적용된 풀-다운의 방식을 나타내는 풀 다운 타입 정보, 동일한 방식의 풀-다운이 적용되는 픽처들의 집합을 나타내는 케이던스 (cadence)의 크기를 나타내는 케이던스 크기 정보, 상기 케이던스의 첫 번째 픽처를 나타내는 케이던스 시작 정보, 픽처의 페어링 (pairing)이 상기 비디오 데이터가 재구성되기 전의 페어링과 일치하는지 여부를 나타내는 페어링 미스매치 정보, 픽처의 복제 여부를 나타내는 복제 플래그 정보 중 적어도 하나를 포함할 수 있다. 여기서, 풀 다운 타입 정보는 pull_down_type 엘레먼트, 케이던스 크기 정보는 size_of_cadence 엘레먼트, 케이던스 시작 정보는 start_of_cadence_flag 엘레먼트, 페어링 미스매치 정보는 pairing_mismatch_flag 엘레먼트가 나타내는 정보를 나타낼 수 있다. 이에 대한 상세한 설명은 도 3에서 전술하였다.
본 발명의 다른 일 실시예에 따르면, 상기 픽처 타이밍 정보 및 풀 다운 정보는 SEI 메시지 (Supplemental Enhancement Information)에 포함되어 전송될 수 있다. 이에 대한 상세한 설명은 도 3, 4에서 전술하였다.
본 발명의 다른 일 실시예에 따르면, 상기 복원하는 단계는 상기 픽처 타이밍 정보에 포함된 복제 플래그 정보 및 상기 풀 다운 정보에 포함된 복제 플레그 정보 중 적어도 하나를 이용하여 상기 재구성된 비디오 데이터에서 복제된 픽처를 삭제하는 단계, 상기 픽처 구성 정보 및 상기 페어링 미스매치 정보를 이용하여 상기 복제된 픽처가 삭제된 비디오 데이터에 포함된 픽처들의 페어링을 조정하고 픽처들의 순서를 재정렬하는 단계 및/또는 상기 재정렬된 비디오 데이터에 포함된 페어링된 픽처들을 하나의 프레임으로 복원하는 단계를 포함할 수 있다. 이에 대한 상세한 설명은 도 5에서 전술하였다.
본 발명의 다른 일 실시예에 따르면, 상기 복제된 픽처를 삭제하는 단계 및 픽처의 순서를 재정렬하는 단계 중 적어도 하나는 상기 디코딩 단계 이전에 수행될 수 있다. 이에 대한 상세한 설명은 도 5에서 전술하였다.
도 7은 본 발명의 일 실시예에 따른 방송 신호 송신 장치의 구성을 나타낸 도면이다.
본 발명의 일 실시예에 따른 방송 신호 송신 장치 (L7010)는 비디오 데이터를 풀-다운하여 재구성하는 풀-다운 수행부 (L7020), 상기 재구성된 비디오 데이터를 인코딩하는 비디오 인코더 (L7030), 상기 재구성된 비디오 데이터를 위한 시그널링 정보를 인코딩하는 시그널링 인코더 (L7040), 상기 인코딩된 비디오 데이터 및 상기 인코딩된 시그널링 정보를 포함하는 방송 신호를 생성하는 방송 신호 생성부 (L7050) 및/또는 상기 생성된 방송 신호를 전송하는 전송부 (L7060)를 포함할 수 있다. 상술한 각 구성이 수행하는 기능에 대한 상세한 설명은 본 발명의 일 실시예에 따른 방송 신호 송신 방법을 나타낸 도면에서 전술하였다.
도 8은 본 발명의 일 실시예에 따른 방송 신호 수신 장치의 구성을 나타낸 도면이다.
본 발명의 일 실시예에 따른 방송 신호 수신 장치 (L8010)는 풀-다운에 의해 재구성된 비디오 데이터 및 상기 재구성된 비디오 데이터를 위한 시그널링 정보를 포함하는 방송 신호를 수신하는 수신부 (L8020), 상기 수신한 방송 신호에서 상기 재구성된 비디오 데이터 및 시그널링 정보를 추출하는 추출부 (L8030) 및/또는 상기 추출된 시그널링 정보를 이용하여 상기 추출된 재구성된 비디오 데이터를 디코딩하는 디코더 (L8040)를 포함할 수 있다. 상술한 각 구성이 수행하는 기능에 대한 상세한 설명은 봉 발명의 일 실시예에 따른 방송 신호 수신 방법을 나타낸 도면에서 전술하였다. 여기서, 수신부 및/또는 추출부는 전술한 Demultiplexer를 나타낼 수 있다. 디코더는 전술한 비디오 디코더를 나타낼 수 있다.
본 발명의 실시예들에 따른 모듈, 유닛 또는 블락은 메모리(또는 저장 유닛)에 저장된 연속된 수행과정들을 실행하는 프로세서/하드웨어일 수 있다. 전술한 실시예에 기술된 각 단계 또는 방법들은 하드웨어/프로세서들에 의해 수행될 수 있다. 또한, 본 발명이 제시하는 방법들은 코드로서 실행될 수 있다. 이 코드는 프로세서가 읽을 수 있는 저장매체에 쓰여질 수 있고, 따라서 본 발명의 실시예들에 따른 장치(apparatus)가 제공하는 프로세서에 의해 읽혀질 수 있다.
설명의 편의를 위하여 각 도면을 나누어 설명하였으나, 각 도면에 서술되어 있는 실시 예들을 병합하여 새로운 실시 예를 구현하도록 설계하는 것도 가능하다. 그리고, 당업자의 필요에 따라, 이전에 설명된 실시 예들을 실행하기 위한 프로그램이 기록되어 있는 컴퓨터에서 판독 가능한 기록 매체를 설계하는 것도 본 발명의 권리범위에 속한다.
본 발명에 따른 장치 및 방법은 상술한 바와 같이 설명된 실시 예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상술한 실시 예들은 다양한 변형이 이루어질 수 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
한편, 본 발명의 영상 처리 방법은 네트워크 디바이스에 구비된 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
다양한 실시예가 본 발명을 실시하기 위한 최선의 형태에서 설명되었다.
본 발명은 일련의 방송 신호 제공 분야에서 이용된다.
본 발명의 사상이나 범위를 벗어나지 않고 본 발명에서 다양한 변경 및 변형이 가능함은 당업자에게 자명하다. 따라서, 본 발명은 첨부된 청구항 및 그 동등 범위 내에서 제공되는 본 발명의 변경 및 변형을 포함하는 것으로 의도된다.

Claims (15)

  1. 비디오 데이터를 풀-다운하여 재구성하는 단계;
    상기 재구성된 비디오 데이터를 인코딩하는 단계;
    상기 재구성된 비디오 데이터를 위한 시그널링 정보를 인코딩하는 단계;
    상기 인코딩된 비디오 데이터 및 상기 인코딩된 시그널링 정보를 포함하는 방송 신호를 생성하는 단계; 및
    상기 생성된 방송 신호를 전송하는 단계;
    를 포함하는 방송 신호 송신 방법.
  2. 제 1 항에 있어서,
    상기 시그널링 정보는 상기 재구성된 비디오 데이터의 구성을 시그널링하는 픽처 타이밍 정보 및 상기 재구성된 비디오 데이터에 적용된 풀-다운에 대한 정보를 시그널링하는 풀 다운 정보 중 적어도 하나를 포함하는 방송 신호 송신 방법.
  3. 제 2 항에 있어서,
    상기 픽처 타이밍 정보는 픽처의 주사 방식을 나타내는 소스 스캔 타입 정보, 픽처의 구성 정보를 나타내는 픽처 구성 정보 및 픽처의 복제 여부를 나타내는 복제 플래그 정보 중 적어도 하나를 포함하는 방송 신호 송신 방법.
  4. 제 3 항에 있어서,
    상기 풀 다운 정보는 상기 재구성된 비디오 데이터에 적용된 풀-다운의 방식을 나타내는 풀 다운 타입 정보, 동일한 방식의 풀-다운이 적용되는 픽처들의 집합을 나타내는 케이던스 (cadence)의 크기를 나타내는 케이던스 크기 정보, 상기 케이던스의 첫 번째 픽처를 나타내는 케이던스 시작 정보, 픽처의 페어링 (pairing)이 상기 비디오 데이터가 재구성되기 전의 페어링과 일치하는지 여부를 나타내는 페어링 미스매치 정보, 픽처의 복제 여부를 나타내는 복제 플래그 정보 중 적어도 하나를 포함하는 방송 신호 송신 방법.
  5. 제 2 항에 있어서,
    상기 픽처 타이밍 정보 및 풀 다운 정보는 SEI 메시지 (Supplemental Enhancement Information)에 포함되어 전송되는 방송 신호 송신 방법.
  6. 풀-다운에 의해 재구성된 비디오 데이터 및 상기 재구성된 비디오 데이터를 위한 시그널링 정보를 포함하는 방송 신호를 수신하는 단계;
    상기 수신한 방송 신호에서 상기 재구성된 비디오 데이터 및 시그널링 정보를 추출하는 단계; 및
    상기 추출된 시그널링 정보를 이용하여 상기 추출된 재구성된 비디오 데이터를 디코딩하는 단계;
    를 포함하는 방송 신호 수신 방법.
  7. 제 6 항에 있어서,
    상기 시그널링 정보는 상기 재구성된 비디오 데이터의 구성을 시그널링하는 픽처 타이밍 정보 및 상기 재구성된 비디오 데이터에 적용된 풀-다운에 대한 정보를 시그널링하는 풀 다운 정보 중 적어도 하나를 포함하는 방송 신호 수신 방법.
  8. 제 7 항에 있어서,
    상기 픽처 타이밍 정보는 픽처의 주사 방식을 나타내는 소스 스캔 타입 정보, 픽처의 구성 정보를 나타내는 픽처 구성 정보 및 픽처의 복제 여부를 나타내는 복제 플래그 정보 중 적어도 하나를 포함하는 방송 신호 수신 방법.
  9. 제 8 항에 있어서,
    상기 풀 다운 정보는 상기 재구성된 비디오 데이터에 적용된 풀-다운의 방식을 나타내는 풀 다운 타입 정보, 동일한 방식의 풀-다운이 적용되는 픽처들의 집합을 나타내는 케이던스 (cadence)의 크기를 나타내는 케이던스 크기 정보, 상기 케이던스의 첫 번째 픽처를 나타내는 케이던스 시작 정보, 픽처의 페어링 (pairing)이 상기 비디오 데이터가 재구성되기 전의 페어링과 일치하는지 여부를 나타내는 페어링 미스매치 정보, 픽처의 복제 여부를 나타내는 복제 플래그 정보 중 적어도 하나를 포함하는 방송 신호 수신 방법.
  10. 제 7 항에 있어서,
    상기 픽처 타이밍 정보 및 풀 다운 정보는 SEI 메시지 (Supplemental Enhancement Information)에 포함되어 전송되는 방송 신호 수신 방법.
  11. 제 9 항에 있어서,
    상기 방송 신호 수신 방법은 상기 시그널링 정보를 이용하여 상기 디코딩된 재구성된 비디오 데이터를 풀-다운 전의 비디오 데이터로 복원하는 단계를 포함하는 방송 신호 수신 방법.
  12. 제 11 항에 있어서, 상기 복원하는 단계는
    상기 픽처 타이밍 정보에 포함된 복제 플래그 정보 및 상기 풀 다운 정보에 포함된 복제 플레그 정보 중 적어도 하나를 이용하여 상기 재구성된 비디오 데이터에서 복제된 픽처를 삭제하는 단계;
    상기 픽처 구성 정보 및 상기 페어링 미스매치 정보를 이용하여 상기 복제된 픽처가 삭제된 비디오 데이터에 포함된 픽처들의 페어링을 조정하고 픽처들의 순서를 재정렬하는 단계; 및
    상기 재정렬된 비디오 데이터에 포함된 페어링된 픽처들을 하나의 프레임으로 복원하는 단계;
    를 포함하는 방송 신호 수신 방법.
  13. 제 12 항에 있어서,
    상기 복제된 픽처를 삭제하는 단계 및 픽처의 순서를 재정렬하는 단계 중 적어도 하나는 상기 디코딩 단계 이전에 수행되는 방송 신호 수신 방법.
  14. 비디오 데이터를 풀-다운하여 재구성하는 풀-다운 수행부;
    상기 재구성된 비디오 데이터를 인코딩하는 비디오 인코더;
    상기 재구성된 비디오 데이터를 위한 시그널링 정보를 인코딩하는 시그널링 인코더;
    상기 인코딩된 비디오 데이터 및 상기 인코딩된 시그널링 정보를 포함하는 방송 신호를 생성하는 방송 신호 생성부; 및
    상기 생성된 방송 신호를 전송하는 전송부;
    를 포함하는 방송 신호 송신 장치.
  15. 풀-다운에 의해 재구성된 비디오 데이터 및 상기 재구성된 비디오 데이터를 위한 시그널링 정보를 포함하는 방송 신호를 수신하는 수신부;
    상기 수신한 방송 신호에서 상기 재구성된 비디오 데이터 및 시그널링 정보를 추출하는 추출부; 및
    상기 추출된 시그널링 정보를 이용하여 상기 추출된 재구성된 비디오 데이터를 디코딩하는 디코더;
    를 포함하는 방송 신호 수신 장치.
PCT/KR2016/000709 2015-01-23 2016-01-22 풀 다운된 신호 복원을 위한 방송 신호 송수신 방법 및 장치 WO2016117964A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP16740436.7A EP3249912A4 (en) 2015-01-23 2016-01-22 Method and device for transmitting and receiving broadcast signal for restoring pulled-down signal
US15/544,929 US10389970B2 (en) 2015-01-23 2016-01-22 Method and device for transmitting and receiving broadcast signal for restoring pulled-down signal

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201562106732P 2015-01-23 2015-01-23
US62/106,732 2015-01-23

Publications (1)

Publication Number Publication Date
WO2016117964A1 true WO2016117964A1 (ko) 2016-07-28

Family

ID=56417416

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/000709 WO2016117964A1 (ko) 2015-01-23 2016-01-22 풀 다운된 신호 복원을 위한 방송 신호 송수신 방법 및 장치

Country Status (3)

Country Link
US (1) US10389970B2 (ko)
EP (1) EP3249912A4 (ko)
WO (1) WO2016117964A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070097259A1 (en) * 2005-10-20 2007-05-03 Macinnis Alexander Method and system for inverse telecine and field pairing
US20090322939A1 (en) * 2008-04-23 2009-12-31 Panasonic Corporation Video scan converter
US20120020413A1 (en) * 2010-07-21 2012-01-26 Qualcomm Incorporated Providing frame packing type information for video coding
US20120162508A1 (en) * 2010-12-28 2012-06-28 Okuda Tadayoshi Video data conversion apparatus
US20140079116A1 (en) * 2012-09-20 2014-03-20 Qualcomm Incorporated Indication of interlaced video data for video coding

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6091776A (en) * 1998-05-26 2000-07-18 C-Cube Microsystems, Inc. Delay balanced video encoder system
US6297848B1 (en) * 1998-11-25 2001-10-02 Sharp Laboratories Of America, Inc. Low-delay conversion of 3:2 pulldown video to progressive format with field averaging
US7075990B2 (en) * 2001-08-28 2006-07-11 Sbc Properties, L.P. Method and system to improve the transport of compressed video data in real time
WO2004052015A1 (ja) * 2002-11-29 2004-06-17 Sony Corporation 符号化装置およびその方法
JP4931034B2 (ja) * 2004-06-10 2012-05-16 株式会社ソニー・コンピュータエンタテインメント 復号装置および復号方法、並びに、プログラムおよびプログラム記録媒体
US8027382B2 (en) * 2006-06-27 2011-09-27 Apple Inc. Pulldown correction for progressive display of audiovisual recordings
US8619190B2 (en) * 2006-09-07 2013-12-31 Texas Instruments Incorporated Film mode detection
US8566695B2 (en) * 2007-03-30 2013-10-22 Sandisk Technologies Inc. Controlling access to digital content
US8897358B2 (en) * 2010-12-22 2014-11-25 Texas Instruments Incorporated 3:2 pull down detection in video
US9565452B2 (en) * 2012-09-28 2017-02-07 Qualcomm Incorporated Error resilient decoding unit association
US20140092992A1 (en) * 2012-09-30 2014-04-03 Microsoft Corporation Supplemental enhancement information including confidence level and mixed content information
US20150264404A1 (en) * 2014-03-17 2015-09-17 Nokia Technologies Oy Method and apparatus for video coding and decoding

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070097259A1 (en) * 2005-10-20 2007-05-03 Macinnis Alexander Method and system for inverse telecine and field pairing
US20090322939A1 (en) * 2008-04-23 2009-12-31 Panasonic Corporation Video scan converter
US20120020413A1 (en) * 2010-07-21 2012-01-26 Qualcomm Incorporated Providing frame packing type information for video coding
US20120162508A1 (en) * 2010-12-28 2012-06-28 Okuda Tadayoshi Video data conversion apparatus
US20140079116A1 (en) * 2012-09-20 2014-03-20 Qualcomm Incorporated Indication of interlaced video data for video coding

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3249912A4 *

Also Published As

Publication number Publication date
EP3249912A1 (en) 2017-11-29
EP3249912A4 (en) 2018-10-24
US20180020185A1 (en) 2018-01-18
US10389970B2 (en) 2019-08-20

Similar Documents

Publication Publication Date Title
JP4645638B2 (ja) 信号送信装置、信号送信方法、信号受信装置及び信号受信方法
US8289445B2 (en) Signal transmitting device and signal transmitting method
WO2012070875A2 (ko) 멀티미디어 시스템에서 다계층 영상을 위한 미디어 파일 생성 방법 및 장치와 이를 이용한 미디어 파일 재생 장치
WO2009107975A1 (en) Image comparison device using personal video recorder and method using the same
WO2010143820A2 (ko) 3차원 pip 영상 제공 장치 및 그 방법
JP4702425B2 (ja) 信号送信装置及び信号送信方法
WO2016129981A1 (ko) 미디어 데이터를 송수신하는 방법 및 장치
WO2013129724A1 (ko) 초고화질 영상 컨텐츠 편집 및 재생을 위한 입출력 시스템
EP1505762A1 (en) Encryption device and decryption device
CN103391417A (zh) 信号发送设备和方法、信号接收设备和方法及信号传输系统
WO2016017961A1 (ko) 방송 신호 송수신 방법 및 장치
CN1310551A (zh) 图象信号再生装置
WO2010150961A1 (ko) 3차원 영상 제공 장치, 표시 장치 및 그 방법
WO2010137849A2 (ko) 영상 처리 방법 및 장치
WO2017171391A1 (ko) 방송 신호 송수신 방법 및 장치
US20140333836A1 (en) Apparatus and method for adding synchronization information to an auxiliary data space in a video signal and synchronizing a video
WO2016117964A1 (ko) 풀 다운된 신호 복원을 위한 방송 신호 송수신 방법 및 장치
JP4910621B2 (ja) 信号処理装置及び信号処理方法
JP6717670B2 (ja) タイムコード送信装置、タイムコード受信装置、映像信号送信装置及び映像信号受信装置
JPH1013828A (ja) 画像符号化方法、画像信号記録媒体、及び画像復号装置
WO2010027142A2 (ko) 다시점 비디오의 송수신 시스템 및 방법
WO2013058455A1 (ko) 비디오 신호의 보조 데이터 공간에 동기 정보를 추가하여 영상을 동기화하는 장치 및 방법
WO2012086990A2 (en) Improvements to subtitles for three dimensional video transmission
WO2012074331A2 (ko) 스테레오스코픽 영상 정보의 전송 방법 및 장치
JP3732916B2 (ja) ディジタル放送受信機

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16740436

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15544929

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2016740436

Country of ref document: EP