WO2021137314A1 - Drm 콘텐츠 병렬 패키징 장치 및 이를 포함하는 drm 콘텐츠 병렬 패키징 시스템 및 drm 콘텐츠 병렬 패키징 방법 - Google Patents

Drm 콘텐츠 병렬 패키징 장치 및 이를 포함하는 drm 콘텐츠 병렬 패키징 시스템 및 drm 콘텐츠 병렬 패키징 방법 Download PDF

Info

Publication number
WO2021137314A1
WO2021137314A1 PCT/KR2019/018770 KR2019018770W WO2021137314A1 WO 2021137314 A1 WO2021137314 A1 WO 2021137314A1 KR 2019018770 W KR2019018770 W KR 2019018770W WO 2021137314 A1 WO2021137314 A1 WO 2021137314A1
Authority
WO
WIPO (PCT)
Prior art keywords
drm
packaging
nal
parallel
content
Prior art date
Application number
PCT/KR2019/018770
Other languages
English (en)
French (fr)
Inventor
신상호
오재호
박윤하
김대수
전재현
조준행
Original Assignee
재단법인 경주스마트미디어센터
주식회사우경정보기술
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인 경주스마트미디어센터, 주식회사우경정보기술 filed Critical 재단법인 경주스마트미디어센터
Priority to JP2020573440A priority Critical patent/JP7245401B2/ja
Publication of WO2021137314A1 publication Critical patent/WO2021137314A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/254—Management at additional data server, e.g. shopping server, rights management server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/254—Management at additional data server, e.g. shopping server, rights management server
    • H04N21/2541—Rights Management

Definitions

  • the present invention relates to a DRM content parallel packaging apparatus capable of reducing the required time and computational amount for DRM packaging regardless of the capacity of video content, a DRM content parallel packaging system including the same, and a DRM content parallel packaging method.
  • DRM is a generic term for technology and service management systems and techniques for protecting the copyright of digital content, and a number of R&D and commercialization services are being performed to protect copyright information in various device environments.
  • DRM technology for video content is largely divided into two types, which provide a safe and efficient DRM service between video content providers and users through DRM packaging for video and complex licensing technology.
  • the existing DRM packaging technology inserts the copyright of a specific content into the content to eradicate illegal copying and unauthorized use of the content. It was only possible for H.264 (up to 4K 60FPS) content, and detailed packaging techniques Scrambling or symmetric key/asymmetric key encryption algorithms were mainly used.
  • a key management policy and system are required to manage them.
  • a secret key since a secret key must exist for each authorized user for a specific content, when the number of content and authorized users increases, the corresponding key will inevitably increase exponentially. Since a more complex type of key management policy must be introduced along with additional requirements, the cost to solve it increases.
  • An object of the present invention is to provide a DRM content parallel packaging apparatus capable of reducing the required time and computational amount for DRM packaging regardless of the capacity of video content, a DRM content parallel packaging system including the same, and a DRM content parallel packaging method.
  • a NAL segmentation module for segmenting video content including a plurality of NAL units (Network Abstraction Layer Unit) into individual NAL units; For each of the plurality of NAL units divided by the NAL partitioning module, the NAL unit is decoded using a CABAC decoder, the DRM metadata is packaged in the QTC data extracted through decoding, and the DRM metadata packaging is completed.
  • a parallel packaging module that encodes
  • a plurality of DRM packaging modules for packaging the DRM metadata may be formed in parallel.
  • Each of the DRM packaging modules includes: decoding means for decoding the NAL unit using a CABAC decoder; packaging means for selecting QTC data from among the data derived as a result of decoding by the decoding means and performing DRM packaging by inserting a bitstream of the selected QTC data and a bitstream of DRM metadata; and encoding means for encoding the NAL unit on which the DRM packaging is performed using a CABAC encoder.
  • the packaging means includes at least among QTCs present in a Y channel expressing luminance among YCbCr channels included in a video frame implementing the video image of the NAL unit. Insertion operation may be performed on one or more bitstreams of QTC and bitstreams of DRM metadata.
  • a shared memory for temporarily storing a plurality of NAL units in which DRM packaging is completed; It may further include a NAL sorting module for arranging a plurality of NAL units temporarily stored in the shared memory.
  • a communication unit for performing wired/wireless communication with the user terminal;
  • a NAL division module that divides video content composed of a plurality of NAL units into individual NAL units, and a CABAC decoder for each of the plurality of NAL units divided by the NAL division module to decode the NAL unit and perform decoding and a parallel packaging unit including a parallel packaging module that packages the DRM metadata in the QTC data extracted through it and encodes the NAL unit in which the DRM metadata packaging is completed.
  • each of the DRM packaging modules includes: decoding means for decoding the NAL unit using a CABAC decoder; packaging means for selecting QTC data from among the data derived as a result of decoding by the decoding means and performing DRM packaging by inserting a bitstream of the selected QTC data and a bitstream of DRM metadata; and encoding means for encoding the NAL unit on which the DRM packaging is performed using a CABAC encoder.
  • the packaging means includes: among QTCs present in a Y channel expressing luminance among YCbCr channels included in a video frame implementing the video image of the NAL unit.
  • An insertion operation may be performed on at least one bitstream of QTC and a bitstream of DRM metadata.
  • the parallel packaging unit includes: a shared memory for temporarily storing a plurality of NAL units for which DRM packaging is completed; It may further include a NAL sorting module for arranging a plurality of NAL units temporarily stored in the shared memory.
  • a computing device it is performed by a computing device, the computing device dividing the image content including a plurality of NAL units into individual NAL units; decoding each of the plurality of divided NAL units using a CABAC decoder; For each of the plurality of divided NAL units, packaging DRM metadata in QTC data among the data obtained through the decoding; and encoding the NAL unit in which the DRM metadata packaging is completed by using a CABAC encoder for each of the plurality of divided NAL units.
  • the packaging of the DRM metadata includes selecting QTC data from among the data derived in the decoding step, and selecting a bitstream of the QTC data and DRM metadata.
  • DRM packaging can be performed by inserting the bitstream of
  • the packaging of the DRM metadata is present in a Y channel expressing luminance among YCbCr channels included in a video frame implementing the video image of the NAL unit.
  • DRM packaging may be performed by performing an insertion operation on the bitstream of at least one QTC and the bitstream of DRM metadata among the QTCs used.
  • the method comprising: temporarily storing a plurality of NAL units in which DRM packaging is completed; It may further include; arranging a plurality of temporarily stored NAL units.
  • DRM packaging is performed in parallel by arranging an appropriate number of DRM packaging modules in parallel to reduce the time required and reduce the time required regardless of capacity. The amount of calculation can be made constant.
  • FIG. 1 and 2 are block diagrams illustrating a DRM content parallel packaging system according to an embodiment of the present invention.
  • FIG. 3 is a block diagram illustrating a configuration of a parallel packaging unit of a DRM content parallel packaging management server according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating a structure of an HEVC-based immersive content bit stream.
  • FIG. 5 is a block diagram illustrating a configuration of a DRM packaging module, which is a configuration of a parallel packaging module.
  • FIG. 6 is a diagram for explaining a DRM packaging process in QTC.
  • FIG. 7 is a diagram schematically illustrating a DRM unpackaging process according to an embodiment of the present invention.
  • FIGS. 8 to 10 are flowcharts illustrating an operation process of a DRM content parallel packaging system according to an embodiment of the present invention.
  • FIG. 11 is a flowchart illustrating a DRM content parallel packaging method according to an embodiment of the present invention.
  • FIG. 12 is a diagram illustrating a computing device according to an embodiment of the present invention.
  • FIG. 1 and 2 are block diagrams illustrating a DRM content parallel packaging system according to an embodiment of the present invention.
  • the DRM content parallel packaging system includes a user terminal 100 and a DRM content parallel packaging management server 200 (hereinafter also referred to as a DRM parallel packaging server).
  • a DRM parallel packaging server hereinafter also referred to as a DRM parallel packaging server.
  • FIG. 2 is a DRM parallel packaging server separately from an external content provider (Contents Provider, CP1 to CP3). A case in which video content is provided is shown at 200 .
  • the video content to be subjected to DRM packaging is not particularly limited, but may be more usefully utilized for large-capacity, high-definition video content.
  • the video content includes a plurality of NAL units (Network Abstraction Layer Units).
  • High-capacity high-definition video content for example, virtual reality content (VR content), augmented reality content (AR content), interactive content, etc., HEVC (High Efficiency Video Codec)-based 4K 120FPS (Frame Per Second) level, or 8K
  • It may be 120 FPS immersive content.
  • it may be an 8K-level immersive content based on HEVC (H.264, H.265).
  • it can be applied to various levels of content, such as 60 to 120 FPS content, 120 to 240 FPS content, as well as 120 FPS content, without limitation.
  • the user terminal 100 refers to a terminal capable of transmitting and receiving various data to and from the DRM parallel packaging server 200 via a wired/wireless communication network according to a user's key operation, and includes a personal computer (PC), a notebook computer, and a personal portable device. It may be any one of an information terminal (PDA: Personal Digital Assistant) and a mobile communication terminal (Mobile Communication Terminal), and a web browser for accessing the DRM parallel packaging server 200 via a wired/wireless communication network and a program for storing It refers to a terminal equipped with a memory, a microprocessor for operating and controlling the execution of a program.
  • PDA Personal Digital Assistant
  • Mobile Communication Terminal Mobile Communication Terminal
  • a user may make a transmission request (download request) for a specific video content to the DRM parallel packaging server 200 through the user terminal 100 .
  • the DRM parallel packaging server 200 When the DRM parallel packaging server 200 receives a transmission request for a specific video content from the user terminal 100, the DRM parallel packaging (hereinafter also referred to as “DRM packaging”) on the video content is transmitted to the user terminal 100 . .
  • the DRM parallel packaging server 200 may pre-package and store a plurality of image contents, and when the DRM parallel packaging server 200 receives a transmission request for a specific image content from the user terminal 100, DRM packaging It is possible to select a corresponding image content from among the image content and transmit it to the user terminal 100 .
  • the DRM parallel packaging server 200 may include a communication unit 210 , a parallel packaging unit 220 , a storage unit 230 , and a control unit (not shown).
  • the communication unit 210 is a communication means for performing a function of interworking with the user terminal 100 and external content providers CP1 to CP3 via a wired/wireless communication network, and performs a function of transmitting and receiving various data.
  • the storage unit 230 stores various data and programs necessary for driving the DRM parallel packaging server 200 .
  • the storage unit 230 may store a plurality of image contents that have not been subjected to DRM packaging or a plurality of image contents that have been subjected to DRM packaging in advance.
  • the storage unit 230 may store a plurality of image contents that have been pre-DRM packaged by the external content providers CP1 to CP3.
  • the parallel packaging unit 220 performs DRM parallel packaging processing on the image content.
  • the parallel packaging unit 220 divides the video content into a plurality of NAL units and performs DRM packaging on each NAL unit.
  • the parallel packaging unit 220 DRM packaging the corresponding image content in response to the transmission request of the user terminal 100 or DRM packaging the plurality of image contents in advance regardless of the transmission request of the user terminal 100 to the storage unit It can be stored in (230).
  • a control unit (not shown) controls the overall function of the DRM parallel packaging server 200 .
  • FIG. 3 is a block diagram illustrating the configuration of the parallel packaging unit 220 of the DRM content parallel packaging management server according to an embodiment of the present invention.
  • the parallel packaging unit 220 may include a NAL division module 221 , a parallel packaging module 222 , a shared memory 223 , and a NAL alignment module 224 .
  • Each of the modules 221 to 224 is a component that performs a predetermined function, and may be implemented as hardware, software, or a combination of hardware and software.
  • the modules 221 to 224 may mean program modules, which may be software components that are executed by a processor to perform predetermined functions.
  • the parallel packaging unit 220 of the DRM parallel packaging server 200 is necessarily described. It may not function as a function, but may be implemented as an independent device. That is, it may be implemented as an independent DRM content parallel packaging device in which the functions of the above modules 221 to 224 are implemented.
  • the NAL unit (Network Abstraction Layer Unit) means an image layer independent of the network. If a NAL unit exists in the image content, the image is transmitted, and even if an error occurs in a specific part, the following This means that it does not interfere with the video.
  • FIG. 4 is a diagram illustrating a bit stream structure of HEVC-based immersive content. 4 shows a bit stream structure of H.264-level video content (hereinafter, H.264), but H.265-level video content may also have a similar structure.
  • H.264 H.264-level video content
  • H.265-level video content may also have a similar structure.
  • H.264 video content was developed for the purpose of network transmission from the beginning, and it is configured including a NAL unit for efficient transmission of video content.
  • an HEVC-based immersive content bit stream includes a NAL unit and a Raw Byte Sequence Payload (RBSP).
  • the RBSP may include a parameter set indicating information such as SPS and PPS and slice data RBSP corresponding to a video coding layer (VCL).
  • VCL represents actual H.264 compressed data, and VCL data is interfaced with the outside through the NAL unit. All data of H.264 is composed of each NAL unit.
  • the video content (H.265 or H.264) has a NAL unit structure.
  • the video itself has a bitstream structure, and the bitstream has a continuous NAL structure (NAL header and RBSP).
  • the NAL unit of H.265 has 64 types of NAL units, and the NAL units having actual image information are numbers 0 to 3 (32 types of NAL). This is called VCL, and the remaining NAL units from 32 to 63 are called non-VCL.
  • the non-VCL usually has various parameter information necessary for video decoding, such as video playback, resolution, frames per second, and start and end of video.
  • the present invention parallelizes the DRM packaging process for the NAL units (No. 0 to No. 31) corresponding to the VCL.
  • the NAL segmentation module 221 divides image content including a plurality of NAL units into individual NAL units using a NAL unit parser.
  • the parallel packaging module 222 decodes the NAL unit using a CABAC decoder for each of the plurality of NAL units divided by the NAL division module 221, and packages the DRM metadata in the QTC data extracted through decoding, and , encodes the NAL unit for which DRM metadata packaging has been completed.
  • the parallel packaging module 222 a plurality of DRM packaging modules 222a to 222n for packaging DRM metadata for each of the divided NAL units are formed in parallel.
  • the parallel packaging module 222 may be performed by utilizing a predefined CPU-based multi-thread.
  • a thread means a unit of work that the CPU independently processes. Usually, the number of cores and the number of threads is the same. In the case of a 4-core 4-thread CPU, 4 tasks (threads) can be processed simultaneously on 4 cores at once. can The number of the plurality of DRM packaging modules 222a to 222n may be the same as the number of cores (the number of threads).
  • Each of the DRM packaging modules (222a to 222n) packages the DRM metadata for each of the plurality of divided NAL units.
  • the DRM packaging modules 222a to 222n will be described later with reference to FIG. 5 .
  • the shared memory 223 temporarily stores a plurality of NAL units on which DRM packaging (decoding, packaging, and encoding) has been completed, and the NAL sorting module 224 aligns the plurality of NAL units temporarily stored in the shared memory 223 .
  • All data of H.264 is composed of each NAL unit, and each NAL unit has a unique serial number.
  • the NAL alignment module 224 may align a plurality of NAL units in which DRM packaging is completed by using the unique serial number of the NAL unit.
  • a flag for order identification is inserted in a predetermined area (eg, head area) of the NAL unit.
  • the flag insertion may be performed at any stage before being stored in the shared memory 223 . For example, this may be performed when the NAL segmentation module 221 divides image content into individual NAL units or when the parallel packaging module 222 performs DRM packaging.
  • each DRM packaging module 222a to 222n there is a time difference between DRM packaging performed by each DRM packaging module 222a to 222n for an individual NAL unit. Accordingly, the order of the NAL units for which encoding is completed may be different from the order of the NAL units included in the original video content. If the NAL units are arranged in the order in which DRM packaging is completed, the original video content cannot be implemented, so a process of temporarily storing and sorting the NAL units in which DRM packaging is completed is required.
  • the DRM packaging modules 222a to 222n will be described with reference to FIG. 5 .
  • 5 is a block diagram showing the configuration of the DRM packaging module (222a ⁇ 222n) as one configuration of the parallel packaging module (222).
  • each of the DRM packaging modules 222a to 222n may include a decoding means 2221 , a packaging means 2222 , and an encoding means 2223 .
  • Each of the means 2221 to 2223 is a component that performs a predetermined function, and may be implemented as hardware, software, or a combination of hardware and software.
  • the means 2221 to 2223 may mean program modules, which may be software components that are executed by a processor to perform predetermined functions.
  • the packaging means 2222 performs DRM packaging by using QTC existing in a YCbCr channel, which is one of the channels expressing the video image. More specifically, the packaging means 2222 performs an XOR operation on at least one QTC among QTCs existing in a Y channel expressing luminance among YCbCr channels and a bitstream of DRM metadata for packaging.
  • the packaging means 2222 selects a YCbCr channel from among several channels, selects some QTCs in a Y channel expressing luminance from among the YCbCr channels, and selects at least one bitstream of the Y channel QTC and a position corresponding thereto.
  • DRM packaging is performed by performing an XOR operation on the DRM metadata bitstream.
  • the Y channel is information about a basic black-and-white image, and a Cb channel and a Cr channel are generated with reference to the Y channel.
  • a color image with the same image quality as the original or with a relatively lower quality compared to the original is generated through lossless or lossy compression according to the method of generation.
  • DRM packaging is performed only for the Y channel using this principle of YCbCr. That is, if packaging is performed on only the Y channel, the Cb channel and Cr channel, which are channels generated by referring to this, are automatically packaged.
  • DRM packaging is performed on the Cb and Cr channels instead of the Y channel among YCbCr, the amount of packaging operation and the required time are increased.
  • DRM packaging is a technology that prevents unauthorized users from viewing the image by increasing the distortion of the image, it can be seen that the increased distortion of the result of the packaged image compared to the original is excellent. Therefore, DRM packaging by the packaging means 2222 is preferably performed for QTC in the Y channel of the YCbCr channel.
  • the encoding means 2223 encodes the video frame on which the DRM packaging has been performed to generate a DRM packaged NAL unit.
  • the encoding means 2223 may be a CABAC encoder that performs a binary arithmetic encoding method that adaptively performs encoding according to surrounding conditions.
  • FIG. 6 is a diagram for explaining a DRM packaging process in QTC.
  • FIG. 6 illustrates a process of inserting DRM metadata into a region selected within a QTC and a process of inserting DRM metadata into the region during the DRM packaging process.
  • One QTC is divided into four regions according to the signal frequency distribution of the corresponding image. The four regions are denoted as LL (Low Low), LH (Low High), HL (High Low) and HH (High High), and the MSB (Most Significant Bit) of the four regions: the bit with the largest digit, that is, the leftmost bit ) Select 1 bit or more bits and perform DRM packaging by performing an XOR operation with the corresponding DRM metadata bitstream.
  • this XOR operation is not necessarily limited to 1 bit MSB and 2 or more bits including the same.
  • the LSB (Least Significant Bit: bit of the smallest digit, that is, the rightmost bit) may be performed for one bit and a part of bits having a larger digit than that.
  • the DRM packaging process illustrated in FIG. 6 exemplifies the result of performing an XOR operation on 2 bits of MSB in the pixel and 2 bits of the DRM metadata bitstream.
  • the DRM unpackaging process is as shown in FIG. 7 as a reverse of the DRM packaging process.
  • the CABAC decoding process on the downloaded or streaming video content (eg, HEVC video file) for which DRM packaging has been completed, select the area performed during packaging for the obtained packaged QTC, and then a legitimate user
  • the data is transmitted and processed through the HEVC decoding process. Due to this, the actual user can unpackage the downloaded or streamed image data in real time, so that the original image can be viewed without delay.
  • FIGS. 8 to 10 are flowcharts illustrating an operation process of a DRM content parallel packaging system according to an embodiment of the present invention.
  • the DRM parallel packaging server 200 provides DRM-packaged video content in a real-time streaming method when there is a need to transmit video content from the user terminal 100 .
  • the user requests transmission of specific video content to the DRM parallel packaging server 200 through the user terminal 100 .
  • the DRM parallel packaging server 200 requests and receives the video content from the corresponding video content provider (CP).
  • the DRM parallel packaging server 200 transmits the video content to the user terminal 100 in real time by DRM packaging processing (S140).
  • S150 In this process, if the DRM parallel packaging server 200 stores the image content by itself, steps S120 to S130 may be omitted.
  • FIG. 9 and 10 show that a plurality of unspecified video contents are DRM-packaged and stored before there is a requirement to transmit the video contents from the user terminal 100, and then, when there is a transmission request through the user terminal 100, DRM packaging in advance.
  • FIG. 9 is a case in which the DRM parallel packaging server 200 performs DRM packaging in advance
  • FIG. 10 is a case in which the image content provider (CP) performs DRM packaging in advance.
  • CP image content provider
  • the DRM parallel packaging server 200 requests and receives the image content from the image content provider (CP).
  • the DRM parallel packaging server 200 stores the video content by DRM packaging processing.
  • S230 When there is a request for image content transmission from the user terminal 100 (S240), the DRM parallel packaging server 200 transmits the image content to the user terminal 100 when the corresponding image content has been pre-DRM packaged. send.
  • S250 If the video content that has not been processed for DRM packaging is requested, the process of FIG. 8 is performed.
  • the DRM parallel packaging server 200 transmits the corresponding image content to the user terminal 100.
  • FIG. 11 is a flowchart illustrating a DRM content parallel packaging method according to an embodiment of the present invention.
  • the image content is not particularly limited, but may be more usefully used for large-capacity, high-quality image content.
  • the video content includes a plurality of NAL units (Network Abstraction Layer Units).
  • High-capacity high-definition video content for example, virtual reality content (VR content), augmented reality content (AR content), interactive content, etc., HEVC (High Efficiency Video Codec)-based 4K 120FPS (Frame Per Second) level, or 8K
  • It may be 120 FPS immersive content.
  • it may be an 8K-level immersive content based on HEVC (H.264, H.265).
  • HEVC High Efficiency Video Codec
  • it may be an 8K-level immersive content based on HEVC (H.264, H.265).
  • it can be applied to various levels of content, such as 60 to 120 FPS content, 120 to 240 FPS content, as well as 120 FPS content, without limitation.
  • decoding is performed using a CABAC decoder for each of a plurality of divided NAL units.
  • S31 If the NAL unit is decoded by the CABAC decoder, five pieces of data are derived for each image frame.
  • the derived data are QTC, general control data, internal prediction data, filter control data, and motion data.
  • QTC data is selected from the data derived as a result of decoding by the CABAC decoder, and DRM-packaged by performing an XOR operation on the DRM metadata and QTC data for a partial region of the QTC data.
  • the DRM metadata packaging step (S32) selects a YCbCr channel from among several channels present in each image frame, selects some QTCs in a Y channel expressing luminance from among the YCbCr channels, and selects at least one of the Y channel QTCs.
  • DRM packaging is performed by performing XOR operation on the bitstream and the DRM metadata bitstream in the corresponding position.
  • a plurality of NAL units for which DRM packaging has been completed are aligned using the unique serial number of the NAL unit.
  • a flag for order identification is inserted in a predetermined area (eg, head area) of the NAL unit, and the NAL units are aligned using the inserted flag.
  • the flag insertion may be performed in any step as long as it is before step S40.
  • the time required and the amount of computation increased in proportion to the capacity of the content when performing DRM packaging for the existing immersive content.
  • the time required and the amount of computation can be made constant regardless of the capacity. Therefore, efficient DRM packaging can be performed for large-capacity, high-definition video content and 8K-class immersive content.
  • the computing device TN100 of FIG. 12 may be a device described herein (eg, a DRM parallel packaging device, a DRM parallel packaging server, etc.).
  • the computing device TN100 may include at least one processor TN110 , a transceiver device TN120 , and a memory TN130 .
  • the computing device TN100 may further include a storage device TN140 , an input interface device TN150 , an output interface device TN160 , and the like.
  • Components included in the computing device TN100 may be connected by a bus TN170 to communicate with each other.
  • the processor TN110 may execute a program command stored in at least one of the memory TN130 and the storage device TN140.
  • the processor TN110 may mean a central processing unit (CPU), a graphics processing unit (GPU), or a dedicated processor on which methods according to an embodiment of the present invention are performed.
  • the processor TN110 may be configured to implement procedures, functions, methods, and the like described in connection with an embodiment of the present invention.
  • the processor TN110 may control each component of the computing device TN100 .
  • Each of the memory TN130 and the storage device TN140 may store various information related to the operation of the processor TN110 .
  • Each of the memory TN130 and the storage device TN140 may be configured as at least one of a volatile storage medium and a non-volatile storage medium.
  • the memory TN130 may include at least one of a read only memory (ROM) and a random access memory (RAM).
  • the transceiver TN120 may transmit or receive a wired signal or a wireless signal.
  • the transceiver TN120 may be connected to a network to perform communication.
  • the present invention may be implemented as a computer program.
  • the present invention may be implemented as a computer program stored in a computer-readable recording medium in order to execute the DRM content parallel packaging method according to the present invention in combination with hardware.
  • the methods according to the embodiment of the present invention may be implemented in the form of a program readable by various computer means and recorded in a computer readable recording medium.
  • the recording medium may include a program command, a data file, a data structure, etc. alone or in combination.
  • the program instructions recorded on the recording medium may be specially designed and configured for the present invention, or may be known and available to those skilled in the art of computer software.
  • the recording medium includes magnetic media such as hard disks, floppy disks and magnetic tapes, optical recording media such as CDROMs and DVDs, and magneto-optical media such as floppy disks. optical media), and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like.
  • Examples of program instructions may include not only machine language such as generated by a compiler, but also a high-level language that can be executed by a computer using an interpreter or the like.
  • Such hardware devices may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 영상 콘텐츠의 용량에 관계없이 DRM 패키징 소요 시간과 연산량을 감소시킬 수 있는 DRM 콘텐츠 병렬 패키징 장치 및 이를 포함하는 DRM 콘텐츠 병렬 패키징 시스템 및 DRM 콘텐츠 병렬 패키징 방법에 관한 것으로, 본 발명의 실시예에 따른 DRM 콘텐츠 병렬 패키징 장치는, 복수개의 NAL 유닛(Network Abstraction Layer Unit)을 포함하여 구성된 영상 콘텐츠를 개개의 NAL 유닛으로 분할하는 NAL 분할 모듈; 상기 NAL 분할 모듈에 의해 분할된 복수개의 NAL 유닛 각각에 대해, CABAC 디코더를 이용하여 NAL 유닛을 디코딩하고, 디코딩을 통해 추출된 QTC 데이터 내에 DRM 메타 데이터를 패키징하고, DRM 메타 데이터 패키징이 완료된 NAL 유닛을 인코딩하는 병렬 패키징 모듈;을 포함한다.

Description

DRM 콘텐츠 병렬 패키징 장치 및 이를 포함하는 DRM 콘텐츠 병렬 패키징 시스템 및 DRM 콘텐츠 병렬 패키징 방법
본 발명은 영상 콘텐츠의 용량에 관계없이 DRM 패키징 소요 시간과 연산량을 감소시킬 수 있는 DRM 콘텐츠 병렬 패키징 장치 및 이를 포함하는 DRM 콘텐츠 병렬 패키징 시스템 및 DRM 콘텐츠 병렬 패키징 방법에 관한 것이다.
최근 5G 기술의 상용화 및 유튜브와 같은 1인 미디어 등의 활성화와 저변 확대로 인해 이와 관련된 디지털 콘텐츠 유통과 배급 관련 플랫폼의 수요가 폭발적으로 증가하고 있고, 관련 산업군이 급성장하고 있다.
그러나, 디지털 콘텐츠 저작권에 대한 인식의 부족으로 인해 무분별한 디지털 콘텐츠의 불법복제와 무단 사용으로 인한 문제점이 크게 대두되기 시작했고, 이로 인해 디지털 저작권 관리(Digital Rights Management, DRM)에 대한 중요성이 대두되고 있다.
DRM은 디지털 콘텐츠의 저작권을 보호하기 위한 기술 및 서비스 관리 체계와 기법을 총칭하는 용어로서 다양한 디바이스 환경에서 저작권 정보를 보호하기 위해 다수의 연구 개발과 상용화 서비스가 수행 중이다. 영상 콘텐츠에 대한 DRM 기술로는 크게 2가지로 나뉘고, 이는 영상에 대해 DRM 패키징을 수행하는 것과 복합 라이선스 기술을 통해 영상 콘텐츠 공급자와 사용자 간에 안전하고 효율적인 DRM 서비스를 제공한다.
기존의 DRM 패키징 기술은 특정 콘텐츠의 저작권을 해당 콘텐츠 내에 삽입하여 콘텐츠의 불법복제와 무단 사용을 근절하는 것으로, H.264(최대 4K 60FPS)급 콘텐츠에 대해서만 수행이 가능했고, 세부 패키징 기법으로는 스크램블링(scrambling) 또는 대칭키/비대칭키 암호 알고리듬 등을 주로 사용하였다.
이로 인해 발생하는 문제점은 다음과 같다.
첫째, DRM 패키징 수행 속도와 연산량에 대한 문제이다. 대칭키/비대칭키 암호 알고리듬의 경우 최근 해당 알고리듬의 안전성을 문제로 비밀키(Secret Key)의 길이가 증가하면서, 암호화 또는 복호화 시 소요되는 속도와 연산량이 기하급수적으로 증가하는 추세이다. 실감형 콘텐츠의 경우 기존의 콘텐츠 대비 최대 8배까지 용량이 증가하기 때문에 암호 알고리듬을 적용할 경우 소요되는 시간과 연산량이 증가하고 이로 인해 관련 분야에서는 별도의 소프트웨어 또는 하드웨어를 새롭게 개발 및 구축하여야 하기 때문에 이를 해결하기 위해 소요되는 비용이 증가하게 된다.
둘째, DRM 패키징에 소요되는 각종 키(key) 관리에 대한 문제이다. 스크램블링 또는 대칭키/비대칭키 암호 알고리듬을 DRM 패키징 시 사용할 경우 이를 관리하기 위한 키 관리 정책과 시스템이 필요하다. 특히, 대칭키 암호 알고리듬의 경우 특정 콘텐츠에 대한 인가된 사용자마다 비밀키가 존재하여야 하기 때문에 콘텐츠와 인가된 사용자가 늘어날 경우 이에 대한 키 역시 기하급수적으로 증가할 수밖에 없게 되고, 이에 대한 키 관리 시스템의 추가 소요와 함께 좀 더 복잡한 형태의 키 관리 정책이 도입되어야 하므로 이를 해결하기 위한 비용이 증가하게 된다.
셋째, 실감형 콘텐츠 메타데이터에 대한 관리 문제이다. 기존의 콘텐츠는 양방향 인터랙션(Interaction) 서비스를 제공하지 않았기 때문에 영상 콘텐츠만 존재하였으나 실감형 콘텐츠의 경우 사람의 오감을 이용하여 실재감과 몰입감을 증대시키는 영상콘텐츠와 양방향 인터랙션이 가능한 메타데이터가 별도로 존재한다.
기존의 DRM 패키징 기법은 이러한 메타데이터에 대한 관리 및 패키징이 불가능하기 때문에 이를 해결하기 위한 새로운 형태의 DRM 콘텐츠 패키징 기술의 개발이 필요한 실정이다.
본 발명은 영상 콘텐츠의 용량에 관계없이 DRM 패키징 소요 시간과 연산량을 감소시킬 수 있는 DRM 콘텐츠 병렬 패키징 장치 및 이를 포함하는 DRM 콘텐츠 병렬 패키징 시스템 및 DRM 콘텐츠 병렬 패키징 방법을 제공하는 것을 목적으로 한다.
본 발명의 실시예에 따른 DRM 콘텐츠 병렬 패키징 장치는,
복수개의 NAL 유닛(Network Abstraction Layer Unit)을 포함하여 구성된 영상 콘텐츠를 개개의 NAL 유닛으로 분할하는 NAL 분할 모듈; 상기 NAL 분할 모듈에 의해 분할된 복수개의 NAL 유닛 각각에 대해, CABAC 디코더를 이용하여 NAL 유닛을 디코딩하고, 디코딩을 통해 추출된 QTC 데이터 내에 DRM 메타 데이터를 패키징하고, DRM 메타 데이터 패키징이 완료된 NAL 유닛을 인코딩하는 병렬 패키징 모듈;을 포함한다.
본 발명의 실시예에 따른 DRM 콘텐츠 병렬 패키징 장치에 있어서, 상기 병렬 패키징 모듈은, 상기 분할된 복수개의 NAL 유닛 각각에 대해, 상기 DRM 메타 데이터를 패키징하는 복수개의 DRM 패키징 모듈이 병렬로 형성될 수 있다. 상기 DRM 패키징 모듈 각각은, CABAC 디코더를 이용하여 상기 NAL 유닛을 디코딩하는 디코딩 수단; 상기 디코딩 수단에 의한 디코딩 결과로 도출된 데이터들 중에서 QTC 데이터를 선택하고, 선택된 QTC 데이터의 비트스트림과 DRM 메타데이터의 비트스트림을 삽입 연산하여 DRM 패키징을 수행하는 패키징 수단; 및, CABAC 인코더를 이용하여 상기 DRM 패키징이 수행된 NAL 유닛을 인코딩하는 인코딩 수단을 포함할 수 있다.
본 발명의 실시예에 따른 DRM 콘텐츠 병렬 패키징 장치에 있어서, 상기 패키징 수단은, 상기 NAL 유닛의 영상 이미지를 구현하는 영상 프레임에 포함된 YCbCr 채널 중에서 휘도를 표현하는 Y 채널에 존재하는 QTC들 중 적어도 하나 이상의 QTC의 비트스트림과 DRM 메타데이터의 비트스트림에 대해 삽입 연산을 수행할 수 있다.
본 발명의 실시예에 따른 DRM 콘텐츠 병렬 패키징 장치에 있어서, DRM 패키징이 완료된 복수개의 NAL 유닛을 일시 저장하는 공유 메모리; 상기 공유 메모리에 일시 저장된 복수개의 NAL 유닛을 정렬하는 NAL 정렬 모듈을 더 포함할 수 있다.
본 발명의 실시예에 따른 DRM 콘텐츠 병렬 패키징 관리 서버는,
사용자 단말기와 유무선 통신을 수행하는 통신부; 복수개의 NAL 유닛을 포함하여 구성된 영상 콘텐츠를 개개의 NAL 유닛으로 분할하는 NAL 분할 모듈과, 상기 NAL 분할 모듈에 의해 분할된 복수개의 NAL 유닛 각각에 대해 CABAC 디코더를 이용하여 NAL 유닛을 디코딩하고 디코딩을 통해 추출된 QTC 데이터 내에 DRM 메타 데이터를 패키징하고 DRM 메타 데이터 패키징이 완료된 NAL 유닛을 인코딩하는 병렬 패키징 모듈을 포함하는 병렬 패키징부;를 포함한다.
본 발명의 실시예에 따른 DRM 콘텐츠 병렬 패키징 관리 서버에 있어서, 상기 병렬 패키징 모듈은, 상기 분할된 복수개의 NAL 유닛 각각에 대해, 상기 DRM 메타 데이터를 패키징하는 복수개의 DRM 패키징 모듈이 병렬로 형성될 수 있다. 상기 DRM 패키징 모듈 각각은, CABAC 디코더를 이용하여 상기 NAL 유닛을 디코딩하는 디코딩 수단; 상기 디코딩 수단에 의한 디코딩 결과로 도출된 데이터들 중에서 QTC 데이터를 선택하고, 선택된 QTC 데이터의 비트스트림과 DRM 메타데이터의 비트스트림을 삽입 연산하여 DRM 패키징을 수행하는 패키징 수단; 및, CABAC 인코더를 이용하여 상기 DRM 패키징이 수행된 NAL 유닛을 인코딩하는 인코딩 수단을 포함할 수 있다.
본 발명의 실시예에 따른 DRM 콘텐츠 병렬 패키징 관리 서버에 있어서, 상기 패키징 수단은, 상기 NAL 유닛의 영상 이미지를 구현하는 영상 프레임에 포함된 YCbCr 채널 중에서 휘도를 표현하는 Y 채널에 존재하는 QTC들 중 적어도 하나 이상의 QTC의 비트스트림과 DRM 메타데이터의 비트스트림에 대해 삽입 연산을 수행할 수 있다.
본 발명의 실시예에 따른 DRM 콘텐츠 병렬 패키징 관리 서버에 있어서, 상기 병렬 패키징부는, DRM 패키징이 완료된 복수개의 NAL 유닛을 일시 저장하는 공유 메모리; 상기 공유 메모리에 일시 저장된 복수개의 NAL 유닛을 정렬하는 NAL 정렬 모듈을 더 포함할 수 있다.
본 발명의 실시예에 따른 DRM 콘텐츠 병렬 패키징 방법은,
컴퓨팅 장치에 의해 수행되며, 컴퓨팅 장치가, 복수개의 NAL 유닛 포함하여 구성된 영상 콘텐츠를 개개의 NAL 유닛으로 분할하는 단계; 분할된 복수개의 NAL 유닛 각각에 대해, CABAC 디코더를 이용하여 디코딩하는 단계; 분할된 복수개의 NAL 유닛 각각에 대해, 상기 디코딩을 통해 획득된 데이터 중에서 QTC 데이터 내에 DRM 메타 데이터를 패키징하는 단계; 분할된 복수개의 NAL 유닛 각각에 대해, CABAC 인코더를 이용하여 상기 DRM 메타 데이터 패키징이 완료된 NAL 유닛을 인코딩하는 단계를 포함한다.
본 발명의 실시예에 따른 DRM 콘텐츠 병렬 패키징 방법에 있어서, 상기 DRM 메타 데이터를 패키징하는 단계는, 상기 디코딩 단계에서 도출된 데이터들 중에서 QTC 데이터를 선택하고, 선택된 QTC 데이터의 비트스트림과 DRM 메타데이터의 비트스트림을 삽입 연산하여 DRM 패키징을 수행할 수 있다.
본 발명의 실시예에 따른 DRM 콘텐츠 병렬 패키징 방법에 있어서, 상기 DRM 메타 데이터를 패키징하는 단계는, 상기 NAL 유닛의 영상 이미지를 구현하는 영상 프레임에 포함된 YCbCr 채널 중에서 휘도를 표현하는 Y 채널에 존재하는 QTC들 중 적어도 하나 이상의 QTC의 비트스트림과 DRM 메타데이터의 비트스트림에 대해 삽입 연산을 수행하여 DRM 패키징할 수 있다.
본 발명의 실시예에 따른 DRM 콘텐츠 병렬 패키징 방법에 있어서, DRM 패키징이 완료된 복수개의 NAL 유닛을 일시 저장하는 단계; 일시 저장된 복수개의 NAL 유닛을 정렬하는 단계;를 더 포함할 수 있다.
기타 본 발명의 다양한 측면에 따른 구현예들의 구체적인 사항은 이하의 상세한 설명에 포함되어 있다.
본 발명의 일 실시예에 따른 DRM 콘텐츠 병렬 패키징 방법 및 DRM 콘텐츠 병렬 패키징 시스템에 의하면,
기존의 실감형 콘텐츠에 대한 DRM 패키징 수행시 콘텐츠의 용량에 비례하여 소요 시간과 연산량이 증가했던 것과는 달리, DRM 패키징 모듈을 적절한 수로 병렬 배치하여 병렬로 DRM 패키징을 수행함으로써 용량에 관계없이 소요시간과 연산량은 일정하게 할 수 있다.
따라서, 대용량 고화질의 영상 콘텐츠, 8K급 실감형 콘텐츠에 대해 효율적인 DRM 패키징을 수행할 수 있다.
도 1 및 도 2는 본 발명의 일 실시예에 따른 DRM 콘텐츠 병렬 패키징 시스템이 도시된 블록도이다.
도 3은 본 발명의 일 실시예에 따른 DRM 콘텐츠 병렬 패키징 관리 서버의 병렬 패키징부 구성이 도시된 블록도이다.
도 4는 HEVC 기반의 실감형 콘텐츠 비트 스트림(bit stream) 구조를 도시한 도면이다.
도 5는 병렬 패키징 모듈의 일 구성인 DRM 패키징 모듈의 구성이 도시된 블록도이다.
도 6은 QTC에서의 DRM 패키징 과정을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 DRM 언패키징 과정이 도식적으로 도시된 도면이다.
도 8 내지 도 10은 본 발명의 일 실시예에 따른 DRM 콘텐츠 병렬 패키징 시스템의 동작 과정이 도시된 순서도이다.
도 11은 본 발명의 일 실시예에 따른 DRM 콘텐츠 병렬 패키징 방법이 도시된 순서도이다.
도 12 본 발명의 실시예에 따른, 컴퓨팅 장치를 나타내는 도면이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예를 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 발명에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 발명에서, '포함하다' 또는 '가지다' 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 이하, 도면을 참조하여 본 발명의 실시예에 따른 DRM 콘텐츠 병렬 패키징 장치 및 이를 포함하는 DRM 콘텐츠 병렬 패키징 시스템 및 DRM 콘텐츠 병렬 패키징 방법을 설명한다.
도 1 및 도 2는 본 발명의 일 실시예에 따른 DRM 콘텐츠 병렬 패키징 시스템이 도시된 블록도이다.
도 1 및 도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 DRM 콘텐츠 병렬 패키징 시스템은, 사용자 단말기(100)와 DRM 콘텐츠 병렬 패키징 관리 서버(200, 이하 DRM 병렬 패키징 서버라고도 함)를 포함한다. 도 1은 DRM 병렬 패키징 서버(200)가 자체적으로 복수개의 영상 콘텐츠를 DB화하여 저장한 경우를 도시하고 있으며, 도 2는 외부의 콘텐츠 제공자(Contents Provider, CP1 ~ CP3)가 별도로 DRM 병렬 패키징 서버(200)로 영상 콘텐츠를 제공하는 경우를 도시하고 있다.
본 발명에서, DRM 패키징의 대상인 영상 콘텐츠는 특별히 한정되지는 않으나, 대용량 고화질의 영상 콘텐츠에 더욱 유용하게 활용될 수 있다. 바람직하게는, 영상 콘텐츠는 복수개의 NAL 유닛(Network Abstraction Layer Unit)을 포함한다. 대용량 고화질 영상 콘텐츠는, 예를 들어 가상현실 콘텐츠(VR 콘텐츠), 증강 현실 콘텐츠(AR 콘텐츠), 양방향 인터랙션 콘텐츠 등, HEVC(High Efficiency Video Codec) 기반의 4K 120FPS(Frame Per Second)급, 또는 8K 120FPS급 실감형 콘텐츠일 수 있다. 구체적으로, HEVC(H.264, H.265) 기반의 8K급 실감형콘텐츠일 수 있다. 물론, 120FPS급 콘텐츠 뿐만 아니라, 60 ~ 120FPS급 콘텐츠, 120 ~ 240FPS급 콘텐츠 등 여러 레벨의 콘텐츠에 제한 없이 적용될 수 있다.
사용자 단말기(100)는 사용자의 키 조작에 따라 유무선 통신망을 경유하여 DRM 병렬 패키징 서버(200)와 각종 데이터를 송수신할 수 있는 단말기를 말하는 것이며, 개인용 컴퓨터(PC: Personal Computer), 노트북, 개인휴대용 정보단말기(PDA: Personal Digital Assistant) 및 이동통신 단말기(Mobile Communication Terminal) 등 중 어느 하나일 수 있으며, 유무선 통신망을 경유하여 DRM 병렬 패키징 서버(200)에 접속하기 위한 웹 브라우저와 프로그램을 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하고 있는 단말기를 의미한다.
사용자는 사용자 단말기(100)를 통해 DRM 병렬 패키징 서버(200)로 특정 영상 콘텐츠에 대한 전송 요청(다운로드 요청)을 할 수 있다.
DRM 병렬 패키징 서버(200)는 사용자 단말기(100)로부터 특정 영상 콘텐츠에 대한 전송 요청을 수신하면, 해당 영상 콘텐츠에 DRM 병렬 패키징(이하 “DRM 패키징”이라고도 함)하여 사용자 단말기(100)로 전송한다. 또는 DRM 병렬 패키징 서버(200)는 미리 복수개의 영상 콘텐츠를 DRM 패키징하여 저장할 수 있으며, DRM 병렬 패키징 서버(200)는 사용자 단말기(100)로부터 특정 영상 콘텐츠에 대한 전송 요청을 수신하면, 미리 DRM 패키징된 영상 콘텐츠 중에서 해당 영상 콘텐츠를 선택하여 사용자 단말기(100)로 전송할 수 있다.
이를 위해 DRM 병렬 패키징 서버(200)는 통신부(210), 병렬 패키징부(220), 저장부(230), 제어부(미도시)를 포함할 수 있다.
통신부(210)는 유무선 통신망을 경유하여 사용자 단말기(100), 외부의 콘텐츠 제공자(CP1 ~ CP3)와 연동하는 기능을 수행하는 통신 수단으로서, 각종 데이터를 송수신하는 기능을 수행한다.
저장부(230)는 DRM 병렬 패키징 서버(200)의 구동에 필요한 각종 데이터 및 프로그램을 저장한다. 실시예에 따라 저장부(230)는 DRM 패키징 처리되지 않은 복수개의 영상 콘텐츠나, 미리 DRM 패키징 처리된 복수개의 영상 콘텐츠를 저장할 수 있다. 또는 저장부(230)는 외부의 콘텐츠 제공자(CP1 ~ CP3)에 의해 미리 DRM 패키징 처리된 복수개의 영상 콘텐츠를 저장할 수 있다.
병렬 패키징부(220)는 영상 콘텐츠에 대해 DRM 병렬 패키징 처리 작업을 수행한다. 병렬 패키징부(220)는 영상 콘텐츠를 복수개의 NAL 유닛으로 분할하고 개개의 NAL 유닛을 DRM 패키징 처리한다. 병렬 패키징부(220)는 사용자 단말기(100)의 전송 요청에 응하여 해당 영상 콘텐츠를 DRM 패키징 처리하거나, 또는 사용자 단말기(100)의 전송 요청과 무관하게 미리 복수개의 영상 콘텐츠를 DRM 패키징 처리하여 저장부(230)에 저장할 수 있다.
제어부(미도시)는 DRM 병렬 패키징 서버(200)의 전반적인 기능을 제어한다.
도 3은 본 발명의 일 실시예에 따른 DRM 콘텐츠 병렬 패키징 관리 서버의 병렬 패키징부(220) 구성이 도시된 블록도이다.
도 3에 도시된 바와 같이, 병렬 패키징부(220)는 NAL 분할 모듈(221), 병렬 패키징 모듈(222), 공유 메모리(223), NAL 정렬 모듈(224)을 포함할 수 있다. 상기의 모듈들(221 ~ 224)은 각각 소정의 기능을 수행하는 구성 요소로서, 하드웨어, 소프트웨어, 혹은 하드웨어와 소프트웨어의 조합으로 구현될 수 있다. 예를 들어, 상기 모듈들(221 ~ 224)은 프로그램 모듈을 의미할 수 있으며, 이는 프로세서(Processor)에 의해 실행되어 소정의 기능을 수행하는, 소프트웨어 구성요소들일 수 있다.
한편, 상기의 모듈들(221 ~ 224)은 DRM 병렬 패키징 서버(200)의 병렬 패키징부(220)를 구성하는 구성 요소로 설명되지만, 반드시 DRM 병렬 패키징 서버(200)의 병렬 패키징부(220)로 기능하는 것이 아니라, 독자적인 장치로 구현될 수도 있다. 즉, 상기의 모듈들(221 ~ 224)의 기능이 구현된 독립적인 DRM 콘텐츠 병렬 패키징 장치로 구현될 수 있다.
NAL 유닛(Network Abstraction Layer Unit)이란, 네트워크(Network)에 독립적인 영상 레이어(Layer)를 의미하는 것으로, 영상 콘텐츠에 NAL 유닛이 존재하면 영상 전송이 되다가 특정 부분에 에러가 발생하여도 뒤에 따라오는 영상에 지장을 주지 않음을 의미한다.
도 4는 HEVC 기반의 실감형 콘텐츠의 비트 스트림(bit stream) 구조를 도시한 도면이다. 도 4는 H.264급 영상 콘텐츠(이하, H.264)의 비트 스트림 구조이나 H.265급 영상 콘텐츠도 이와 유사한 구조를 가질 수 있다.
H.264급 영상 콘텐츠는 시작 단계부터 네트워크 전송을 목적으로 개발된 것으로, 영상 콘텐츠의 효율적인 전송을 위해 NAL 유닛을 포함하여 구성된다.
도 4를 참조하면, HEVC 기반의 실감형 콘텐츠 비트 스트림은 NAL 유닛과 RBSP(Raw Byte Sequence Payload)를 구비한다. RBSP에는 SPS, PPS 등의 정보를 알려주는 파라미터 셋과 VCL(Video Coding Layer)에 해당하는 Slice 데이터 RBSP가 포함될 수 있다. VCL은 실제 H.264 압축된 데이터를 나타내며, VCL 데이터는 NAL 유닛을 통해 외부와 인터페이스가 이루어지게 된다. H.264의 모든 데이터는 각각의 NAL 유닛으로 구성된다.
영상 콘텐츠(H.265 또는 H.264)는 NAL 유닛 구조를 가지고 있다. 영상 자체는 비트스트림 구조를 가지고 있으며, 비트스트림은 연속된 NAL 구조(NAL header와 RBSP)를 띄고 있다. H.265의 NAL 유닛은 64개의 NAL 유닛 종류를 가지고 있으며 실제 영상 정보를 가지고 있는 NAL 유닛은 0번부터 3번(32종의 NAL)이다. 이것을 VCL이라고 하며, 나머지 32번부터 63번까지의 NAL 유닛을 non-VCL이라고 한다. non-VCL은 보통 영상 재생, 해상도, 초당 프레임수, 영상의 시작 및 끝 등 영상 복호화에 필요한 각종 파라미터 정보를 가진다. 본 발명은 VCL에 해당하는 NAL 유닛(0번부터 31번)에 대한 DRM 패키징 과정을 병렬화한다.
NAL 분할 모듈(221)은 NAL 유닛 파서(Parser)를 이용하여 복수개의 NAL 유닛을 포함하여 구성된 영상 콘텐츠를 개개의 NAL 유닛으로 분할한다.
병렬 패키징 모듈(222)은 NAL 분할 모듈(221)에 의해 분할된 복수개의 NAL 유닛 각각에 대해, CABAC 디코더를 이용하여 NAL 유닛을 디코딩하고, 디코딩을 통해 추출된 QTC 데이터 내에 DRM 메타 데이터를 패키징하고, DRM 메타 데이터 패키징이 완료된 NAL 유닛을 인코딩한다.
병렬 패키징 모듈(222)에는, 분할된 복수개의 NAL 유닛 각각에 대해 DRM 메타 데이터를 패키징하는 복수개의 DRM 패키징 모듈(222a ~ 222n)이 병렬로 형성된다. 병렬 패키징 모듈(222)은 사전 정의된 CPU 기반의 다중 스레드(Thread)를 활용하여 수행될 수 있다. 스레드는 CPU가 독립적으로 처리하는 하나의 작업 단위를 의미하는 것으로, 통상 코어 개수와 스레드 개수는 동일하며, 4코어 4스레드 CPU의 경우, 한번에 4개의 코어에서 4가지 작업(스레드)를 동시에 처리할 수 있다. 복수개의 DRM 패키징 모듈(222a ~ 222n)의 개수는 코어의 개수(스레드 개수)와 동일할 수 있다.
각각의 DRM 패키징 모듈(222a ~ 222n)은 분할된 복수개의 NAL 유닛 각각에 대해 DRM 메타 데이터를 패키징한다. DRM 패키징 모듈(222a ~ 222n)에 대해서는 도 5를 참조하여 후술한다.
공유 메모리(223)는 DRM 패키징(디코딩, 패키징, 인코딩)이 완료된 복수개의 NAL 유닛을 일시 저장하고, NAL 정렬 모듈(224)은 공유 메모리(223)에 일시 저장된 복수개의 NAL 유닛을 정렬한다.
H.264의 모든 데이터는 각각의 NAL 유닛으로 구성되며, 각각의 NAL 유닛은 고유의 일련번호를 가진다. NAL 정렬 모듈(224)은 NAL 유닛의 고유 일련번호를 이용하여 DRM 패키징이 완료된 복수개의 NAL 유닛을 정렬할 수 있다.
한편, NAL 유닛을 포함하는 모든 영상 콘텐츠가 고유 일련번호를 가지는 것은 아니다. 이 경우, NAL 정렬 모듈(224)은 정렬을 수행할 수 없게 된다. 이에, 본 발명의 일 실시예에서는 NAL 유닛의 소정 영역(예를 들어, 헤드 영역)에 순서 식별을 위한 플래그를 삽입한다.
플래그 삽입은 공유 메모리(223)에 저장되기 전이면 어느 단계에서 수행되어도 무방하다. 예를 들어, NAL 분할 모듈(221)이 영상 콘텐츠를 개개의 NAL 유닛으로 분할할 때, 또는 병렬 패키징 모듈(222)이 DRM 패키징을 수행할 때, 수행될 수 있다.
개별 NAL 유닛에 대한 각각의 DRM 패키징 모듈(222a ~ 222n)이 수행하는 DRM 패키징은 시간차가 존재한다. 따라서, 인코딩이 완료된 NAL 유닛의 순서는 원래의 영상 콘텐츠에 포함된 NAL 유닛의 순서와 다를 수 있다. DRM 패키징이 완료된 순으로 NAL 유닛을 정렬하면 원래의 영상 콘텐츠를 구현할 수 없으므로, DRM 패키징이 완료된 NAL 유닛을 일시 저장하고, 정렬하는 과정이 필요하다.
도 5를 참조하여 DRM 패키징 모듈(222a ~ 222n)에 대해 설명한다. 도 5는 병렬 패키징 모듈(222)의 일 구성인 DRM 패키징 모듈(222a ~ 222n)의 구성이 도시된 블록도이다.
도 5에 도시된 바와 같이, 각각의 DRM 패키징 모듈(222a ~ 222n)은, 디코딩 수단(2221), 패키징 수단(2222), 인코딩 수단(2223)을 포함할 수 있다. 상기 수단들(2221 ~ 2223)은 각각 소정의 기능을 수행하는 구성 요소로서, 하드웨어, 소프트웨어, 혹은 하드웨어와 소프트웨어의 조합으로 구현될 수 있다. 예를 들어, 상기 수단들(2221 ~ 2223)은 프로그램 모듈을 의미할 수 있으며, 이는 프로세서(Processor)에 의해 실행되어 소정의 기능을 수행하는, 소프트웨어 구성요소들일 수 있다.
패키징 수단(2222)은 영상 이미지를 표현하는 채널 중 하나인 YCbCr 채널에 존재하는 QTC를 이용하여 DRM 패키징을 수행한다. 보다 구체적으로 패키징 수단(2222)은 YCbCr 채널 중에서 휘도를 표현하는 Y 채널에 존재하는 QTC 중 적어도 하나 이상의 QTC와 DRM 메타데이터의 비트스트림에 대해 XOR 연산을 수행하여 패키징한다.
즉, 패키징 수단(2222)은 여러 채널 중에서 YCbCr 채널을 선택하고, YCbCr 채널 중에서 휘도를 표현하는 Y 채널에 있는 일부의 QTC를 선택하고, Y 채널 QTC의 적어도 하나의 비트스트림과 이와 대응하는 위치의 DRM 메타데이터 비트스트림에 대해 XOR 연산을 수행하여 DRM 패키징을 수행한다.
Y 채널은 기본적인 흑백 영상에 대한 정보이고, Y 채널을 참조하여 Cb 채널과 Cr 채널이 생성된다. 이때 생성되는 방법에 따라 무손실 또는 손실압축을 통해 원본과 동일 화질 또는 원본과 비교해 상대적으로 저하된 화질의 컬러 영상이 생성된다. 본 발명에서는 YCbCr의 이러한 원리를 이용해 Y 채널에 대해서만 DRM 패키징을 수행한다. 즉, Y 채널에 대해서만 패키징을 수행시키면 이를 참조하여 생성되는 채널인 Cb 채널과 Cr 채널은 자동적으로 패키징이 되는 효과가 나타난다. 또한, YCbCr 중 Y 채널이 아닌 Cb, Cr 채널에 DRM 패키징을 수행할 경우 패키징 연산량과 소요 시간이 증대된다. 아울러 DRM 패키징은 영상의 왜곡을 증대시켜 인증되지 않은 불법 사용자가 영상을 볼 수 없도록 하는 기술이기 때문에 패키징된 영상의 결과에 대해 원본과 비교해 왜곡이 증대되는 것이 우수하다고 볼 수 있다. 따라서, 패키징 수단(2222)에 의한 DRM 패키징은 YCbCr 채널 중 Y 채널에 있는 QTC에 대해 수행되는 것이 바람직하다.
인코딩 수단(2223)은 DRM 패키징이 수행된 영상 프레임을 인코딩하여 DRM 패키징된 NAL 유닛을 생성한다. 인코딩 수단(2223)은 주위의 상황에 따라 적응적으로 부호화를 수행하는 이진 산술 부호화 방식을 수행하는 CABAC 인코더일 수 있다.
도 6은 QTC에서의 DRM 패키징 과정을 설명하기 위한 도면이다.
도 6은 DRM 패키징 과정 중 QTC 내에 선택되는 영역과 해당 영역에 DRM 메타데이터를 삽입하는 과정을 설명하는 것으로, 하나의 QTC는 해당 영상의 신호 주파수 분포에 따라 4개의 영역으로 나뉜다. 4개의 영역 LL(Low Low), LH(Low High), HL(High Low) 및 HH(High High)로 표기되고, 4개의 영역의 MSB(Most Significant Bit : 가장 큰 자릿수의 비트, 즉 가장 왼쪽 비트) 1비트 또는 그 이상의 비트를 선택하여 이에 대응되는 DRM 메타데이터 비트스트림(Bitstream)과 서로 XOR 연산하여 DRM 패키징을 수행한다. 물론, 이러한 XOR 연산은 반드시 MSB 1비트 및 이를 포함하는 2이상의 비트에 한정되는 것은 아니다. 예를 들어, LSB(Least Significant Bit : 가장 작은 자릿수의 비트, 즉 가장 오른쪽 비트) 1비트 및 그보다 큰 자리수의 비트 일부에 대해 수행될 수도 있다. 도 6에 예시된 DRM 패키징 과정은 픽셀 내 MSB 2비트와 DRM 메타데이터 비트스트림 2비트가 XOR 연산을 수행한 결과를 예시하고 있다.
한편, DRM 언패키징(Unpackaging) 과정은 DRM 패키징 과정을 역으로 수행하는 것으로 도 7에 도시된 바와 같다. DRM 패키징이 완료된 영상 콘텐츠(예를 들어, HEVC 영상 파일)를 다운로드 혹은 스트리밍을 받은 패킷에 대해 CABAC 디코딩 과정을 수행한 후 획득한 패키징된 QTC에 대해 패키징 시 수행한 영역의 선택 후, 합법적인 사용자(Legal Subscriber)가 소유한 DRM 메타데이터 비트스트림과 함께 XOR 연산을 수행하여 언패키징된 QTC를 획득한 후, HEVC 디코딩 과정으로 데이터를 전송하여 처리하게 한다. 이로 인해 실제 사용자가 다운로드 혹은 스트리밍 받은 영상 데이터를 실시간으로 언패키징을 수행하여 지연 시간없이 본래의 영상에 대한 시청이 가능하다.
다음으로, 도 8 내지 도 10을 참조하여 본 발명의 일 실시예에 따른 DRM 콘텐츠 병렬 패키징 시스템의 동작 과정을 설명한다.
도 8 내지 도 10은 본 발명의 일 실시예에 따른 DRM 콘텐츠 병렬 패키징 시스템의 동작 과정이 도시된 순서도이다.
도 8은 사용자 단말기(100)로부터의 영상 콘텐츠 전송 요쳥이 있는 경우, DRM 병렬 패키징 서버(200)가 실시간 스트리밍 방식으로 DRM 패키징된 영상 콘텐츠를 제공하는 시스템이다.
먼저, 사용자는 사용자 단말기(100)를 통해 DRM 병렬 패키징 서버(200)로 특정 영상 콘텐츠 전송을 요청한다. (S110) DRM 병렬 패키징 서버(200)는 해당 영상 콘텐츠 제공자(CP)에게 영상 콘텐츠 제공을 요청하고 이를 수신한다. (S120, S130) DRM 병렬 패키징 서버(200)는 영상 콘텐츠를 DRM 패키징 처리(S140)하여 실시간으로 사용자 단말기(100)로 전송한다. (S150) 이 과정에서 DRM 병렬 패키징 서버(200)가 자체적으로 영상 콘텐츠를 저장하고 있는 경우, S120 ~ S130 단계는 생략될 수 있다.
도 9 및 도 10은 사용자 단말기(100)로부터의 영상 콘텐츠 전송 요쳥이 있기 전에 미리 불특정 복수개의 영상 콘텐츠를 DRM 패키징하여 저장한 후, 사용자 단말기(100)를 통해 전송 요청이 있는 경우, 미리 DRM 패키징된 영상 콘텐츠를 전송하는 시스템으로, 도 9는 DRM 병렬 패키징 서버(200)에서 미리 DRM 패키징 처리하는 경우이고, 도 10은 영상 콘텐츠 제공자(CP)가 미리 DRM 패키징 처리하는 경우이다.
도 9를 참조하면, DRM 병렬 패키징 서버(200)가 영상 콘텐츠 제공자(CP)에게 영상 콘텐츠 제공을 요청하고 이를 수신한다. (S210, S220) DRM 병렬 패키징 서버(200)는 영상 콘텐츠를 DRM 패키징 처리하여 저장한다. (S230) 사용자 단말기(100)로부터의 영상 콘텐츠 전송 요청이 있는 경우(S240), DRM 병렬 패키징 서버(200)는 해당 영상 콘텐츠가 미리 DRM 패키징 처리된 경우, 해당 영상 콘텐츠를 사용자 단말기(100)로 전송한다. (S250) 만약, DRM 패키징 처리되지 않은 영상 콘텐츠가 요청된 경우, 도 8의 과정을 수행한다.
도 10을 참조하면, DRM 병렬 패키징 서버(200)로부터 영상 콘텐츠 제공이 요청(S310)되면 영상 콘텐츠 제공자(CP)는 자체적으로 해당 영상 콘텐츠를 DRM 패키징 처리(S320)하고, DRM 병렬 패키징 서버(200)로 전송한다. (S330) 사용자 단말기(100)로부터의 영상 콘텐츠 전송 요청이 있는 경우(S340), DRM 병렬 패키징 서버(200)는 해당 영상 콘텐츠를 사용자 단말기(100)로 전송한다. (S350)
다음으로, 도 11을 참조하여 본 발명의 일 실시예에 따른 DRM 콘텐츠 병렬 패키징 방법을 설명한다. 도 11은 본 발명의 일 실시예에 따른 DRM 콘텐츠 병렬 패키징 방법이 도시된 순서도이다.
먼저, DRM 패키지를 수행할 영상 콘텐츠를 수신한다. (S10)
영상 콘텐츠는 특별히 한정되지는 않으나, 대용량 고화질의 영상 콘텐츠에 더욱 유용하게 활용될 수 있다. 바람직하게는, 영상 콘텐츠는 복수개의 NAL 유닛(Network Abstraction Layer Unit)을 포함한다. 대용량 고화질 영상 콘텐츠는, 예를 들어 가상현실 콘텐츠(VR 콘텐츠), 증강 현실 콘텐츠(AR 콘텐츠), 양방향 인터랙션 콘텐츠 등, HEVC(High Efficiency Video Codec) 기반의 4K 120FPS(Frame Per Second)급, 또는 8K 120FPS급 실감형 콘텐츠일 수 있다. 구체적으로, HEVC(H.264, H.265) 기반의 8K급 실감형콘텐츠일 수 있다. 물론, 120FPS급 콘텐츠 뿐만 아니라, 60 ~ 120FPS급 콘텐츠, 120 ~ 240FPS급 콘텐츠 등 여러 레벨의 콘텐츠에 제한 없이 적용될 수 있다.
다음, 영상 콘텐츠를 개개의 NAL 유닛으로 분할한다. (S20)
다음, 분할된 복수개의 NAL 유닛 각각에 대해, DRM 패키징을 수행한다. (S30)
구체적으로, 분할된 복수개의 NAL 유닛 각각에 대해 CABAC 디코더를 이용하여 디코딩을 수행한다. (S31) CABAC 디코더로 NAL 유닛을 디코딩하면, 각각의 영상 프레임에 대해 5가지의 데이터가 도출된다. 도출되는 데이터는 QTC, 일반 제어 데이터, 내부 예측 데이터, 필터 제어 데이터, 움직임 데이터이다.
다음, QTC 데이터 내에 DRM 메타 데이터를 패키징한다. (S32)
CABAC 디코더에 의한 디코딩 결과로 도출된 데이터들 중에서 QTC 데이터를 선택하고, QTC 데이터 내 일부 영역에 대해 DRM 메타데이터와 QTC 데이터를 XOR 연산 수행하여 DRM 패키징한다.
DRM 메타 데이터 패키징 단계(S32)는 각각의 영상 프레임에 존재하는 여러 채널 중에서 YCbCr 채널을 선택하고, YCbCr 채널 중에서 휘도를 표현하는 Y 채널에 있는 일부의 QTC를 선택하고, Y 채널 QTC의 적어도 하나의 비트스트림과 이와 대응하는 위치의 DRM 메타데이터 비트스트림에 대해 XOR 연산을 수행하여 DRM 패키징을 수행한다.
다음, DRM 패키징이 수행된 영상 프레임을 CABAC 인코더로 인코딩하여 DRM 패키징된 NAL 유닛을 생성한다. (S33)
다음, DRM 패키징(디코딩, 패키징, 인코딩)이 완료된 복수개의 NAL 유닛을 일시 저장한다. (S40)
다음, 일시 저장된 복수개의 NAL 유닛을 정렬한다. (S50)
NAL 유닛의 고유 일련번호를 이용하여 DRM 패키징이 완료된 복수개의 NAL 유닛을 정렬한다. 또는 NAL 유닛의 소정 영역(예를 들어, 헤드 영역)에 순서 식별을 위한 플래그를 삽입하고, 삽입된 플래그를 이용하여 NAL 유닛을 정렬한다. 플래그 삽입은 S40 단계 전이면 어느 단계에서 수행되어도 무방하다.
상기와 같은, 본 발명의 일 실시예에 따른 DRM 콘텐츠 병렬 패키징 방법 및 DRM 콘텐츠 병렬 패키징 시스템에 의하면, 기존의 실감형 콘텐츠에 대한 DRM 패키징 수행시 콘텐츠의 용량에 비례하여 소요 시간과 연산량이 증가했던 것과는 달리, DRM 패키징 모듈을 적절한 수로 병렬 배치하여 병렬로 DRM 패키징을 수행함으로써 용량에 관계없이 소요시간과 연산량은 일정하게 할 수 있다. 따라서, 대용량 고화질의 영상 콘텐츠, 8K급 실감형 콘텐츠에 대해 효율적인 DRM 패키징을 수행할 수 있다.
도 12는 본 발명의 실시예에 따른, 컴퓨팅 장치를 나타내는 도면이다. 도 12의 컴퓨팅 장치(TN100)는 본 명세서에서 기술된 장치(예, DRM 병렬 패키징 장치, DRM 병렬 패키징 서버 등) 일 수 있다.
도 12의 실시예에서, 컴퓨팅 장치(TN100)는 적어도 하나의 프로세서(TN110), 송수신 장치(TN120), 및 메모리(TN130)를 포함할 수 있다. 또한, 컴퓨팅 장치(TN100)는 저장 장치(TN140), 입력 인터페이스 장치(TN150), 출력 인터페이스 장치(TN160) 등을 더 포함할 수 있다. 컴퓨팅 장치(TN100)에 포함된 구성 요소들은 버스(bus)(TN170)에 의해 연결되어 서로 통신을 수행할 수 있다.
프로세서(TN110)는 메모리(TN130) 및 저장 장치(TN140) 중에서 적어도 하나에 저장된 프로그램 명령(program command)을 실행할 수 있다. 프로세서(TN110)는 중앙 처리 장치(CPU: central processing unit), 그래픽 처리 장치(GPU: graphics processing unit), 또는 본 발명의 실시예에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 프로세서(TN110)는 본 발명의 실시예와 관련하여 기술된 절차, 기능, 및 방법 등을 구현하도록 구성될 수 있다. 프로세서(TN110)는 컴퓨팅 장치(TN100)의 각 구성 요소를 제어할 수 있다.
메모리(TN130) 및 저장 장치(TN140) 각각은 프로세서(TN110)의 동작과 관련된 다양한 정보를 저장할 수 있다. 메모리(TN130) 및 저장 장치(TN140) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(TN130)는 읽기 전용 메모리(ROM: read only memory) 및 랜덤 액세스 메모리(RAM: random access memory) 중에서 적어도 하나로 구성될 수 있다.
송수신 장치(TN120)는 유선 신호 또는 무선 신호를 송신 또는 수신할 수 있다. 송수신 장치(TN120)는 네트워크에 연결되어 통신을 수행할 수 있다.
한편, 본 발명은 컴퓨터프로그램으로 구현될 수도 있다. 본 발명은 하드웨어와 결합되어, 본 발명에 따른 DRM 콘텐츠 병렬 패키징 방법을 실행시키기 위하여, 컴퓨터가 판독 가능한 기록매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다.
본 발명의 실시예에 따른 방법들은 다양한 컴퓨터수단을 통하여 판독 가능한 프로그램 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터구조 등을 단독으로 또는 조합하여 포함할 수 있다.
기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CDROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다.
프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어를 포함할 수 있다.
이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상, 본 발명의 일 실시예에 대하여 설명하였으나, 해당 기술 분야에서 통상의 지식을 가진 자라면 특허청구범위에 기재된 본 발명의 사상으로부터 벗어나지 않는 범위 내에서, 구성 요소의 부가, 변경, 삭제 또는 추가 등에 의해 본 발명을 다양하게 수정 및 변경시킬 수 있을 것이며, 이 또한 본 발명의 권리범위 내에 포함된다고 할 것이다.

Claims (12)

  1. 복수개의 NAL 유닛(Network Abstraction Layer Unit)을 포함하여 구성된 영상 콘텐츠를 개개의 NAL 유닛으로 분할하는 NAL 분할 모듈;
    상기 NAL 분할 모듈에 의해 분할된 복수개의 NAL 유닛 각각에 대해, CABAC 디코더를 이용하여 NAL 유닛을 디코딩하고, 디코딩을 통해 추출된 QTC 데이터 내에 DRM 메타 데이터를 패키징하고, DRM 메타 데이터 패키징이 완료된 NAL 유닛을 인코딩하는 병렬 패키징 모듈;
    을 포함하는 DRM 콘텐츠 병렬 패키징 장치.
  2. 청구항 1에 있어서,
    상기 병렬 패키징 모듈은, 상기 분할된 복수개의 NAL 유닛 각각에 대해, 상기 DRM 메타 데이터를 패키징하는 복수개의 DRM 패키징 모듈이 병렬로 형성되며,
    상기 DRM 패키징 모듈 각각은,
    CABAC 디코더를 이용하여 상기 NAL 유닛을 디코딩하는 디코딩 수단;
    상기 디코딩 수단에 의한 디코딩 결과로 도출된 데이터들 중에서 QTC 데이터를 선택하고, 선택된 QTC 데이터의 비트스트림과 DRM 메타데이터의 비트스트림을 삽입 연산하여 DRM 패키징을 수행하는 패키징 수단; 및,
    CABAC 인코더를 이용하여 상기 DRM 패키징이 수행된 NAL 유닛을 인코딩하는 인코딩 수단
    을 포함하는 DRM 콘텐츠 병렬 패키징 장치.
  3. 청구항 2에 있어서, 상기 패키징 수단은,
    상기 NAL 유닛의 영상 이미지를 구현하는 영상 프레임에 포함된 YCbCr 채널 중에서 휘도를 표현하는 Y 채널에 존재하는 QTC들 중 적어도 하나 이상의 QTC의 비트스트림과 DRM 메타데이터의 비트스트림에 대해 삽입 연산을 수행하여 DRM 패키징하는 DRM 콘텐츠 병렬 패키징 장치.
  4. 청구항 2에 있어서,
    DRM 패키징이 완료된 복수개의 NAL 유닛을 일시 저장하는 공유 메모리;
    상기 공유 메모리에 일시 저장된 복수개의 NAL 유닛을 정렬하는 NAL 정렬 모듈
    을 더 포함하는 DRM 콘텐츠 병렬 패키징 장치.
  5. 사용자 단말기와 유무선 통신을 수행하는 통신부;
    복수개의 NAL 유닛을 포함하여 구성된 영상 콘텐츠를 개개의 NAL 유닛으로 분할하는 NAL 분할 모듈과, 상기 NAL 분할 모듈에 의해 분할된 복수개의 NAL 유닛 각각에 대해 CABAC 디코더를 이용하여 NAL 유닛을 디코딩하고 디코딩을 통해 추출된 QTC 데이터 내에 DRM 메타 데이터를 패키징하고 DRM 메타 데이터 패키징이 완료된 NAL 유닛을 인코딩하는 병렬 패키징 모듈을 포함하는 병렬 패키징부;
    를 포함하는 DRM 콘텐츠 병렬 패키징 관리 서버.
  6. 청구항 5에 있어서,
    상기 병렬 패키징 모듈은, 상기 분할된 복수개의 NAL 유닛 각각에 대해, 상기 DRM 메타 데이터를 패키징하는 복수개의 DRM 패키징 모듈이 병렬로 형성되며,
    상기 DRM 패키징 모듈 각각은,
    CABAC 디코더를 이용하여 상기 NAL 유닛을 디코딩하는 디코딩 수단;
    상기 디코딩 수단에 의한 디코딩 결과로 도출된 데이터들 중에서 QTC 데이터를 선택하고, 선택된 QTC 데이터의 비트스트림과 DRM 메타데이터의 비트스트림을 삽입 연산하여 DRM 패키징을 수행하는 패키징 수단; 및,
    CABAC 인코더를 이용하여 상기 DRM 패키징이 수행된 NAL 유닛을 인코딩하는 인코딩 수단
    을 포함하는 DRM 콘텐츠 병렬 패키징 관리 서버.
  7. 청구항 6에 있어서, 상기 패키징 수단은,
    상기 NAL 유닛의 영상 이미지를 구현하는 영상 프레임에 포함된 YCbCr 채널 중에서 휘도를 표현하는 Y 채널에 존재하는 QTC들 중 적어도 하나 이상의 QTC의 비트스트림과 DRM 메타데이터의 비트스트림에 대해 삽입 연산을 수행하여 DRM 패키징하는 DRM 콘텐츠 병렬 패키징 관리 서버.
  8. 청구항 5에 있어서, 상기 병렬 패키징부는,
    DRM 패키징이 완료된 복수개의 NAL 유닛을 일시 저장하는 공유 메모리;
    상기 공유 메모리에 일시 저장된 복수개의 NAL 유닛을 정렬하는 NAL 정렬 모듈
    을 더 포함하는 DRM 콘텐츠 병렬 패키징 관리 서버.
  9. 컴퓨팅 장치에 의해 수행되며, 컴퓨팅 장치가,
    복수개의 NAL 유닛 포함하여 구성된 영상 콘텐츠를 개개의 NAL 유닛으로 분할하는 단계;
    분할된 복수개의 NAL 유닛 각각에 대해, CABAC 디코더를 이용하여 디코딩하는 단계;
    분할된 복수개의 NAL 유닛 각각에 대해, 상기 디코딩을 통해 획득된 데이터 중에서 QTC 데이터 내에 DRM 메타 데이터를 패키징하는 단계;
    분할된 복수개의 NAL 유닛 각각에 대해, CABAC 인코더를 이용하여 상기 DRM 메타 데이터 패키징이 완료된 NAL 유닛을 인코딩하는 단계
    를 포함하는 DRM 콘텐츠 병렬 패키징 방법.
  10. 청구항 9에 있어서, 상기 DRM 메타 데이터를 패키징하는 단계는,
    상기 디코딩 단계에서 도출된 데이터들 중에서 QTC 데이터를 선택하고, 선택된 QTC 데이터의 비트스트림과 DRM 메타데이터의 비트스트림을 삽입 연산하여 DRM 패키징을 수행하는 것을 특징으로 하는 DRM 콘텐츠 병렬 패키징 방법.
  11. 청구항 10에 있어서, 상기 DRM 메타 데이터를 패키징하는 단계는,
    상기 NAL 유닛의 영상 이미지를 구현하는 영상 프레임에 포함된 YCbCr 채널 중에서 휘도를 표현하는 Y 채널에 존재하는 QTC들 중 적어도 하나 이상의 QTC의 비트스트림과 DRM 메타데이터의 비트스트림에 대해 삽입 연산을 수행하여 DRM 패키징하는 DRM 콘텐츠 병렬 패키징 방법.
  12. 청구항 9에 있어서,
    DRM 패키징이 완료된 복수개의 NAL 유닛을 일시 저장하는 단계;
    일시 저장된 복수개의 NAL 유닛을 정렬하는 단계;
    를 더 포함하는 DRM 콘텐츠 병렬 패키징 방법.
PCT/KR2019/018770 2019-12-30 2019-12-31 Drm 콘텐츠 병렬 패키징 장치 및 이를 포함하는 drm 콘텐츠 병렬 패키징 시스템 및 drm 콘텐츠 병렬 패키징 방법 WO2021137314A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020573440A JP7245401B2 (ja) 2019-12-30 2019-12-31 Ｄｒｍコンテンツ並列パッケージング装置及びそれを含むｄｒｍコンテンツ並列パッケージングシステム及びｄｒｍコンテンツ並列パッケージング方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190178750A KR102302755B1 (ko) 2019-12-30 2019-12-30 Drm 콘텐츠 병렬 패키징 장치 및 이를 포함하는 drm 콘텐츠 병렬 패키징 시스템 및 drm 콘텐츠 병렬 패키징 방법
KR10-2019-0178750 2019-12-30

Publications (1)

Publication Number Publication Date
WO2021137314A1 true WO2021137314A1 (ko) 2021-07-08

Family

ID=76686599

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/018770 WO2021137314A1 (ko) 2019-12-30 2019-12-31 Drm 콘텐츠 병렬 패키징 장치 및 이를 포함하는 drm 콘텐츠 병렬 패키징 시스템 및 drm 콘텐츠 병렬 패키징 방법

Country Status (3)

Country Link
JP (1) JP7245401B2 (ko)
KR (1) KR102302755B1 (ko)
WO (1) WO2021137314A1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070121487A (ko) * 2006-06-21 2007-12-27 한국전자통신연구원 Ｈ．２６４／ａｖｃ 멀티미디어 콘텐츠의 선택적 암호화기능을 갖는 부호화 및 복호화 장치 및 그 방법
KR20140056311A (ko) * 2011-07-28 2014-05-09 퀄컴 인코포레이티드 멀티뷰 비디오 코딩
KR20170136654A (ko) * 2013-01-04 2017-12-11 지이 비디오 컴프레션, 엘엘씨 효율적인 확장가능한 코딩 개념
US20180152721A1 (en) * 2016-11-30 2018-05-31 Qualcomm Incorporated Systems and methods for signaling and constraining a high dynamic range (hdr) video system with dynamic metadata

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5568785A (en) * 1978-11-18 1980-05-23 Clarion Co Ltd Cipher process system for composite color video signal
US7406176B2 (en) 2003-04-01 2008-07-29 Microsoft Corporation Fully scalable encryption for scalable multimedia
KR100814064B1 (ko) 2006-05-26 2008-03-14 에스케이 텔레콤주식회사 Ｄｒｍ 컨텐츠 패키징 방법 및 시스템
JP5143502B2 (ja) 2007-08-27 2013-02-13 Ｎｅｃパーソナルコンピュータ株式会社 トランスコーダ、トランスコーディング方法及びトランスコーディング用プログラム
KR20160102731A (ko) 2015-02-23 2016-08-31 삼성전자주식회사 전자 장치 및 전자 장치의 drm 컨텐츠 제공 방법
CA2998468C (en) * 2015-12-23 2021-02-16 Huawei Technologies Co., Ltd. Method and apparatus for transform coding with block-level transform selection and implicit signaling within hierarchical partitioning
MX2018008395A (es) * 2016-01-15 2018-08-15 Sony Corp Dispositivo de recepcion, dispositivo de transmision y metodo de procesamiento de datos.

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070121487A (ko) * 2006-06-21 2007-12-27 한국전자통신연구원 Ｈ．２６４／ａｖｃ 멀티미디어 콘텐츠의 선택적 암호화기능을 갖는 부호화 및 복호화 장치 및 그 방법
KR20140056311A (ko) * 2011-07-28 2014-05-09 퀄컴 인코포레이티드 멀티뷰 비디오 코딩
KR20170136654A (ko) * 2013-01-04 2017-12-11 지이 비디오 컴프레션, 엘엘씨 효율적인 확장가능한 코딩 개념
US20180152721A1 (en) * 2016-11-30 2018-05-31 Qualcomm Incorporated Systems and methods for signaling and constraining a high dynamic range (hdr) video system with dynamic metadata

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ANONYMOUS: "Digital Rights Management", BITMOVIN, 31 December 2018 (2018-12-31), pages 1 - 16, Retrieved from the Internet <URL:https://bitmovin.com/whitepapers/DRM-State-or-Web-Bitmovin-2018.pdf> [retrieved on 20200915] *

Also Published As

Publication number Publication date
JP2022518988A (ja) 2022-03-18
KR20210085572A (ko) 2021-07-08
KR102302755B1 (ko) 2021-09-16
JP7245401B2 (ja) 2023-03-24

Similar Documents

Publication Publication Date Title
US6061451A (en) Apparatus and method for receiving and decrypting encrypted data and protecting decrypted data from illegal use
EP1110401B1 (en) Secure information distribution system utilizing information segment scrambling
WO2011034378A2 (en) Method and apparatus for encoding and decoding image based on skip mode
US7929698B2 (en) Selective encryption to enable trick play with enhanced security
JPH08163533A (ja) 動画像の暗号化処理方法及び装置及び暗号化された動画像の復号化処理方法及び装置
WO2010044146A1 (ja) 暗号装置及び復号装置及び暗号方法及び復号方法
JP2008235999A (ja) コンテンツ暗号化装置及びそのプログラム、並びに、コンテンツ復号装置及びそのプログラム
US8472625B2 (en) Method and system for protecting 3D video content
KR101145782B1 (ko) 모바일 컨텐츠 서비스를 제공하기 위한 경량화된 비디오 컨텐츠 암호화 및 복호화 방법
KR100840200B1 (ko) Ｈ.２６４ 형식의 동영상 파일의 보호를 위한패키징/언패키징 장치 및 그 방법
WO2021137314A1 (ko) Drm 콘텐츠 병렬 패키징 장치 및 이를 포함하는 drm 콘텐츠 병렬 패키징 시스템 및 drm 콘텐츠 병렬 패키징 방법
EP2700242A2 (en) Apparatus for outputting broadcast recorded by schedule recording and control method thereof
WO2020141823A1 (ko) Drm 콘텐츠 패키징 장치 및 이를 포함하는 drm 콘텐츠 패키징 시스템 및 drm 콘텐츠 패키징 방법
WO2021137633A2 (ko) Drm 콘텐츠 병렬 패키징 장치 및 이를 포함하는 drm 콘텐츠 병렬 패키징 시스템 및 drm 콘텐츠 병렬 패키징 방법
KR20160039922A (ko) 영상처리장치 및 그 제어방법
KR20210143553A (ko) 비디오 암호화 및 복호화 방법 및 장치
KR102477310B1 (ko) Drm 콘텐츠 병렬 패키징 장치 및 이를 포함하는 drm 콘텐츠 병렬 패키징 시스템 및 drm 콘텐츠 병렬 패키징 방법
JP4018305B2 (ja) 画像処理方法及びその装置と記憶媒体
CN116800446A (zh) 一种视频加密、解密方法及装置
JP2002084516A (ja) マルチメディアデータ送信装置及び方法、マルチメディアデータ受信装置及び方法、マルチメディアデータ伝送システム並びに記憶媒体
WO2016060494A1 (ko) 부호화된 비디오 데이터 처리 방법 및 장치, 부호화된 비디오 데이터 생성 방법 및 장치
JPH10229552A (ja) Ｍｐｅｇビデオデータのスクランブル・デスクランブル方法及び供給、再生装置
AU2004224936A1 (en) Encryption of MPEG Bitstreams

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2020573440

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19958636

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19958636

Country of ref document: EP

Kind code of ref document: A1