WO2015167313A1 - 적응적 영상 데이터 압축 방법 및 장치 - Google Patents

적응적 영상 데이터 압축 방법 및 장치 Download PDF

Info

Publication number
WO2015167313A1
WO2015167313A1 PCT/KR2015/004457 KR2015004457W WO2015167313A1 WO 2015167313 A1 WO2015167313 A1 WO 2015167313A1 KR 2015004457 W KR2015004457 W KR 2015004457W WO 2015167313 A1 WO2015167313 A1 WO 2015167313A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
compression
ratio
bits
application
Prior art date
Application number
PCT/KR2015/004457
Other languages
English (en)
French (fr)
Inventor
박영오
최광표
박정훈
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to JP2016563810A priority Critical patent/JP6412953B2/ja
Priority to US15/307,172 priority patent/US10757416B2/en
Priority to CN201580022559.7A priority patent/CN106256126B/zh
Priority to EP15785812.7A priority patent/EP3116228B1/en
Publication of WO2015167313A1 publication Critical patent/WO2015167313A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98—Adaptive-dynamic-range coding [ADRC]

Definitions

  • the present invention relates to a method of setting a reproduction ratio and a compression ratio of an image displayed in an image processing apparatus.
  • the technical problem to be solved by the present invention is to adaptively change the reproduction ratio and compression method of the displayed image data.
  • the reproduction ratio and the compression scheme of the image data are adaptively changed based on the movement of the displayed image data.
  • overall data traffic can be maintained at a predetermined level while maintaining a relatively good image quality by using human visual characteristics.
  • FIG. 1 is a diagram for describing an image data processing apparatus according to an exemplary embodiment.
  • FIG. 2 is a block diagram illustrating a configuration of an apparatus for adaptive image data compression, according to an exemplary embodiment.
  • FIG. 3 is a flowchart illustrating an adaptive image data compression method according to an embodiment.
  • FIG. 4 is a reference diagram for describing a reproduction ratio and a compression ratio applied to image data classified according to a degree of motion, according to an exemplary embodiment.
  • FIG. 5 is a reference diagram for describing a lossless compression method according to an exemplary embodiment.
  • FIG. 6 is a reference diagram for describing bit cutting, according to an exemplary embodiment.
  • FIG. 7 is a reference diagram for explaining an image data compression method using a bit mapping method, according to an exemplary embodiment.
  • FIG. 8 is a reference diagram for describing an image data compression method using a color index method, according to an exemplary embodiment.
  • FIG. 9 is a reference diagram for explaining a method of determining motion information of image data, according to an exemplary embodiment.
  • FIG. 10 is a diagram illustrating an image data transmission and reception system according to an embodiment.
  • a method of compressing image data comprising: determining a reproduction ratio and a compression ratio of the image data based on motion information of the image data; And compressing and outputting the image data based on the determined reproduction ratio and compression ratio.
  • an apparatus for compressing adaptive image data comprising: a compression ratio determiner configured to determine a reproduction ratio and a compression ratio of the image data based on motion information of the image data; And an image data compression unit configured to compress and output the image data based on the determined reproduction ratio and the compression ratio.
  • any part of the specification is to “include” any component, this means that it may further include other components, except to exclude other components unless otherwise stated.
  • the terms “... unit”, “module”, etc. described in the specification mean a unit for processing at least one function or operation, which may be implemented in hardware or software or a combination of hardware and software. .
  • an "application” refers to a set of computer programs designed to perform a particular task.
  • the applications described herein may vary.
  • the application includes a web browser, a camera application, a dictionary application, a translation application, a data transmission application, a music playback application, a video playback application, a message application, a social communicator application, a social media application, a map application, a photo management application, a broadcast application.
  • Game applications exercise support applications, payment applications, memo applications, calendar applications, phone book applications and the like, but is not limited thereto.
  • the image data processing apparatus 100 may be implemented in various forms.
  • the image processing apparatus 100 described in the present specification may be a mobile phone, a smart phone, a laptop computer, a tablet PC, an e-book terminal, a digital broadcasting terminal, PDA (Personal Digital Assistants),
  • PDA Personal Digital Assistants
  • an image data processing apparatus 100 includes an application processor 110, a display unit 120, and a frame buffer 130.
  • the application processor 110 receives the image data and decodes the image data to generate an image frame.
  • the image data received by the application processor 110 may be image data compressed through various compression schemes such as MPEG-2, H.264 / AVC, and High Efficiency Video Codec (HEVC).
  • the image data may be data stored in a memory device included in the image processing apparatus 100 separately from the frame buffer 130.
  • the application processor 110 decodes the received image data and restores pixel values of the image frame.
  • the decompressed frame 132 which is a restored original image frame, is stored in the frame buffer 130.
  • the application processor 110 stores the compressed frame 131 in which the uncompressed frame 132 is compressed in the frame buffer 130.
  • the frame buffer 130 is a memory device that temporarily stores information of an image frame displayed through the display 130.
  • the image frame processed by the application processor 110 is stored in the frame buffer 130.
  • the frame buffer 130 stores data of one image frame in pixel units. That is, the frame buffer 130 includes a plurality of memory units corresponding to each pixel represented by the display 130, and is displayed on the display 130 as image frame information stored in the frame buffer 130.
  • the frame buffer 130 should have a storage space for storing at least one image frame.
  • the application processor 110 and the display unit 120 are connected through a data bus, and the application processor 110 displays the compressed frame 131 or uncompressed frame 132 data stored in the frame buffer 130. To send).
  • the display unit 120 includes a display panel such as a PDP, an LCD, an LED, a panel driver for driving the display panel, and an adaptive decoder 125 for decoding the compressed image data transmitted from the application processor 110.
  • the image data output from the application processor 110 may include data of each pixel matching the X and Y coordinates of the display panel of the display 120, and the data of each pixel may include a plurality of color components.
  • each pixel data may include a plurality of color components of red, green, and blue (RGB).
  • RGB red, green, and blue
  • each of R, G, and B has one byte, that is, 8 bits, and one pixel data of the uncompressed frame 132, which is the original image data, may have a total of 24 bits.
  • the size of the original image data is generally large. Accordingly, the data rate may be limited in consideration of the bandwidth of the data bus between the application processor 110 and the display 120. In addition, even when the bandwidth of the data bus is sufficient, the data rate transmitted between the application processor 110 and the display 120 may be limited to prevent power consumption.
  • the adaptive compressor 115 included in the application processor 110 adjusts a reproduction ratio and a compression ratio of the image data based on the motion information of the image data.
  • the refresh rate means the number of image frames (frame / sec) output during one second.
  • the compression ratio indicates (data size of compressed video frame / data size of original video frame). For example, a compression rate of 1 means that the original image data size is the same as the data size of the compressed image frame, and a compression ratio of 1/4 means that the size of the compressed image data is 1/4 the data size of the original image data. It means when having.
  • the smaller the compression rate is the smaller the data size of the compressed image frame is than the data size of the original image frame. Therefore, the smaller the compression rate is, the more compression is performed on the image data.
  • the compression ratio has a value from 0 to 1. The closer the value of the compression ratio is to 0, the higher the compression ratio. For example, a compression rate of 1/4 shows a higher compression rate than a compression rate of 1/2.
  • the adaptive compressor 115 determines a reproduction ratio inversely proportional to the movement of the image data and a compression ratio proportional to the movement, and compresses the original image frame according to the determined reproduction ratio and the compression ratio. That is, the adaptive compressor 115 determines a relatively small playback rate and a relatively large compression rate as the motion of the image increases, and compresses the original video frame according to the determined playback rate and compression rate. If there is a lot of motion in the image, human vision is relatively insensitive to image quality. In addition, when there is little motion in the image, the human eye has a characteristic of easily recognizing a deterioration in image quality.
  • the data rate has a value of (playback rate) * (data size of one frame). Therefore, it is possible to efficiently use the data band by compressing the image data in accordance with a reproduction ratio inversely proportional to the movement of the image data and a compression ratio proportional to the movement.
  • the adaptive decoder 125 of the display unit 120 decodes and displays the compressed image data compressed and output by the adaptive compressor 115.
  • FIG. 2 is a block diagram illustrating a configuration of an adaptive image data compression apparatus according to an embodiment
  • FIG. 3 is a flowchart illustrating an adaptive image data compression method according to an embodiment.
  • the adaptive image data compression apparatus 200 of FIG. 2 corresponds to the adaptive compression unit 115 of FIG. 1.
  • step 310 the compression rate determiner 210 determines the reproduction ratio and the compression rate of the image data based on the motion information of the image data.
  • the motion information of the image data may be determined in various ways.
  • the compression rate determiner 210 may determine the motion information of the image based on the application type when the current image data is data related to the screen image that is executed by a predetermined application and output to the screen.
  • the application type information may be received through index information indicating the currently executed application.
  • the compression rate determiner 210 is configured to display current image data when the currently executed application mainly displays still or text-oriented data such as an internet browser, a text reader, an e-book reader, a still image viewer, an office program, or a word processor. It can be judged that the movement is small.
  • the compression rate determiner 210 may determine that the current image data has intermediate motion when the currently executed application is an application that mainly displays data with a lot of motion, such as a video player. In addition, the compression rate determiner 210 may determine that the current movement of the image data is the most when the currently executed application is an application that frequently changes the screen, such as a game. The compression rate determiner 210 stages the motion degree according to the application type in advance, and may table and store the motion information in advance as illustrated in Table 1 below, and determine the motion information of the image data.
  • the determination method of the movement level according to the application type may be changed.
  • the image data is classified into three stages according to the degree of movement, so that the image data is classified into first image data having less movement, second image data having intermediate movement, and third image data having many movement.
  • the explanation is centered.
  • the image data is not limited thereto, and may be classified and classified according to the degree of movement.
  • the compression rate determiner 210 may analyze the image data to determine the degree of motion. For example, the compression rate determiner 210 obtains a motion vector of blocks included in the input image frames for a predetermined time, generates a histogram for the motion information according to the size of the motion vector, and determines the size ratio of the motion vector. Therefore, the degree of motion included in the image data can be determined.
  • the present invention is not limited to the above examples, and a method of determining the degree of motion included in the image data may be variously implemented.
  • the compression rate determiner 210 determines a reproduction ratio and a compression rate to be applied to the classified image data. As described above, when the image data is classified into the first to third image data according to the degree of motion of the image data, the compression rate determining unit 210 displays the reproduction ratio and the compression rate applied to the classified image data in the following table. Can be determined as
  • the compression rate determiner 210 determines the first compression ratio having the lowest first reproduction ratio and the smallest compression ratio for the first image data, and the intermediate reproduction ratio for the second image data.
  • a second reproduction ratio having a second compression ratio and a second compression ratio having an intermediate compression ratio are determined, and a third compression ratio having the highest third reproduction ratio and the highest compression ratio is determined for the third image data.
  • the compression rate determiner 210 may set the reproduction ratio in inverse proportion to the movement of the image data, and the compression ratio is proportional to the movement of the image data.
  • the image data compressor 220 compresses the image data according to the determined reproduction ratio and the compression ratio.
  • FIG. 4 is a reference diagram for describing a reproduction ratio and a compression ratio applied to image data classified according to a degree of motion, according to an exemplary embodiment.
  • the image data compressor 220 compresses the image data according to the determined reproduction ratio and the compression ratio.
  • the image data is the first image data having the smallest movement, and the reproduction ratio applied to the first image data is 10 Hz and the compression ratio is 1, the image data compressor 220 losslessly compresses the original image frame and losslessly compresses the image.
  • the frames 410 are output at a reproduction rate of 10 Hz.
  • the data compressor 220 may drop 60 original videos through frame dropping.
  • Only 10 image frames of the frames may be sampled, and the sampled 10 image frames may be compressed and output through a lossless compression method.
  • a lossless compression method various methods may be applied.
  • the sampled image frame may be lossless compressed by applying a differential pulse code modulation (DPCM) method.
  • DPCM differential pulse code modulation
  • the image data compressor 220 may adjust the original image frame at 1/4 ratio.
  • the compressed and compressed image frames 420 are output at a reproduction ratio of 30 Hz.
  • the data compression unit 220 samples only 30 image frames of 60 original image frames through frame dropping, and compresses each of the 30 sampled image frames at a 1/4 ratio. That is, the data compression unit 220 compresses the data size of each of the 30 sampled image frames to have a size 1/4 of the original image frame.
  • the compression method may be implemented through various methods such as bit cutting, bit mapping, and color indexing, which will be described later.
  • the image data compression unit 220 converts the received original image frame by 1/8 ratio.
  • the compressed video frames 430 are output at a reproduction rate of 60 Hz.
  • the frame rate of the original video frame is 60 Hz
  • the frame rate of the original video frame and the determined reproduction ratio are the same.
  • the original video frame may be used as it is without dropping the original video frame.
  • the frame rate of the compressed image data may be adjusted through frame interpolation or upsampling.
  • the image data compression unit 220 interpolates the original video frame to interpolate the image at 120 Hz.
  • a frame is generated, and each image frame is compressed and output according to the determined compression ratio.
  • the compression method may be implemented through various methods such as bit cutting, bit mapping, and color indexing, which will be described later.
  • FIG. 5 is a reference diagram for describing a lossless compression method according to an exemplary embodiment.
  • the image data compressor 220 may reduce the reproduction ratio of the image data and reduce the compression ratio. For example, when the motion of the image data is small, the image data may be lossless compressed instead of being output at a relatively small reproduction ratio.
  • the DPCM scheme is shown in FIG. 5 as a lossless compression scheme.
  • the DPCM method calculates a difference value between pixel value differences constituting each image frame in a row or column direction, and transmits the difference value instead of the pixel value of the original pixel.
  • the image data compressor 220 calculates a pixel value difference between adjacent pixels included in an image frame that is losslessly compressed.
  • the image data compression unit 220 may use the difference value P (1,0) from the pixel value P (0,0) on the left instead of the pixel value P (1,0) included in the original frame 510.
  • -P (0,0) is calculated and used as the information of the pixel value P (1,0).
  • the pixel value of P (0,0) as a reference is used as it is.
  • the pixel value P (1,0) can be restored by adding P (0,0) and the difference values (P (1,0) -P (0,0)).
  • the image data compressor 220 may generate a lossless compressed frame 520 through a DPCM using difference values between adjacent pixels.
  • FIG. 6 is a reference diagram for describing bit cutting, according to an exemplary embodiment.
  • the image data compressor 220 may perform compression by bit truncation that reduces the number of bits of each pixel of the original image data. It is assumed that one pixel data of the original image data is composed of 8 bits for each of RGB888, that is, R, G, and B color components, and has a total data size of 24 bits.
  • the image data compression unit 220 cuts the bits of one pixel of the original image data to have RGB565, that is, 5 bits for the R color component, 6 bits for the G color component, and 5 bits for the B color component. This 24-bit data size can be compressed to 16 bits. In this case the compression ratio is (16/24), i.e. 2/3.
  • binary values of one color component of one pixel are composed of eight bits of b1 to b8 610, b1 is a Most Significant Bit (MSB), and b8 is a LSB (Least).
  • MSB Most Significant Bit
  • b8 is a LSB (Least).
  • the image data compressor 220 cuts a predetermined number of bits 620 from the LSB according to the determined compression ratio, and outputs only 6 bits except the cut bits 620, thereby compressing 8 bits of data into 6 bits.
  • the decoding side receiving the truncated image data may perform decoding by inserting 0 into the truncated binary value portion. The number of bits to be truncated may be determined according to the compression rate.
  • the compression ratio is 1 / M (M is an integer)
  • the total number of bits of one pixel of the original image data is T (T is an integer)
  • the number of bits to be truncated is N (N is an integer).
  • the number of bits to be cut in each color component may be determined based on the determined number of cutting bits N.
  • FIG. As described in the above example, when a total of 8 bits are to be cut by compressing 24 bits of pixel data into 16 bits, 3 bits in an R color component, 2 bits in a G color component, and 2 bits in a B color component may be set.
  • FIG. 7 is a reference diagram for explaining an image data compression method using a bit mapping method, according to an exemplary embodiment.
  • the image data compressor 220 may compress the image data through a bit mapping scheme instead of the bit truncation scheme. For example, when one pixel of the original image frame is represented through 8 bits, one pixel has one of 256 color components of 0 to 255 in total. If 8-bit pixels are compressed to 6-bit, 64 color components can be expressed through 6-bit pixel values. The image data compressor 220 maps the color component 715 of the current pixel of the original image frame represented by 8-bit to one color component 725 of the color components that can be expressed in 6-bit, and corresponds to the mapped color component 725. Image data can be compressed by outputting a value of 6 bits.
  • FIG. 8 is a reference diagram for describing an image data compression method using a color index method, according to an exemplary embodiment.
  • the image data compression unit 220 determines the representable colors using the determined number of bits and indicates an index corresponding to the color of each pixel.
  • Image data can be compressed by outputting a binary value.
  • the number of bits available for representing one pixel of the compressed image data according to the compression rate is n (n is an integer). Except for the case where the compression ratio is 1, n must be smaller than the number of bits of one pixel of the original image frame. 2 ⁇ n colors that can be represented using n bits are called C1 to C (2 ⁇ n), respectively.
  • the image data compressor 220 determines a color closest to the color of the current pixel among 2 ⁇ n colors, and outputs an n-bit color index indicating the determined color.
  • the image data compression unit 220 constructs a color palette including 2 ⁇ n colors, and outputs the image data by outputting n-bit index information representing one color included in the color palette. It can be compressed.
  • the image data compressor 220 compresses the original image frame according to the compression rate determined using the aforementioned various compression methods.
  • the image data compressor 220 may perform lossless compression by applying DPCM to the first image data having small movement.
  • the image data compression unit 220 cuts the bits of at least one binary value among the plurality of color components constituting each pixel with respect to the second image data having the intermediate motion, so that the total number of bits is included in the pixels of the original image frame. Compression can be performed by making it smaller than the number of bits. That is, the original image data is composed of three color components, and the binary values of each of the three color components of one pixel of the original image data are A, B, and C (A, B, and C are integers), respectively.
  • the image data compression unit 220 cuts the bits of at least one binary value of A, B, and C to the second image data. Compression can be performed by making the total number of bits m (m is an integer) of one pixel of M less than M.
  • the image data compressor 220 may compress the third image data having the most movement by using a color indexing method using a color palette. That is, the image data compression unit 220 maps the color of the original image data to one of 2 ⁇ n colors that can be represented by the number n of bits smaller than m (n is an integer), and outputs the color index value composed of n bits.
  • the third image data can be compressed.
  • FIG. 9 is a reference diagram for explaining a method of determining motion information of image data, according to an exemplary embodiment.
  • the compression rate determiner 210 may determine the motion information of the image data based on the type of the application displaying the image data. However, a case where a plurality of applications are simultaneously displayed on the screen image 900 may occur. For example, different types of first and second applications 910 and 920 may be displayed on the screen image 900 as shown in FIG. 9. As described above, when the plurality of applications 910 and 920 are to be displayed on the screen image 900, the compression rate determiner 210 may determine the compression rate based on the most moving application among the plurality of applications.
  • the compression rate determining unit 210 may determine the overall size based on the motion information of the second application with much movement.
  • the screen image 900 may be determined as an image having a lot of movement.
  • FIG. 10 is a diagram illustrating an image data transmission and reception system according to an embodiment.
  • an image data transmission / reception system may include a transmission device for transmitting image data and a reception device for receiving and displaying image data.
  • a transmitting device for transmitting image data is referred to as a first device 1010 and a device for receiving and displaying image data is referred to as a second device 1020.
  • the first device 1010 may include at least one communication module for communicating with the second device 1020.
  • the first device 1010 may include a mobile communication module (eg, 3G, 4G, 5G, etc.), a short range communication module (eg, a Bluetooth communication module, a Bluetooth Low Energy (BLE) communication module, a Wi-Fi communication module, a Zigbee). (Zigbee) communication module, infrared data association (IrDA) communication module, Wi-Fi Direct (WFD) communication module, ultra wideband (UWB) communication module, Ant + communication module, etc.), and home network communication module.
  • a mobile communication module eg, 3G, 4G, 5G, etc.
  • a short range communication module eg, a Bluetooth communication module, a Bluetooth Low Energy (BLE) communication module, a Wi-Fi communication module, a Zigbee.
  • Zigbee Zigbee
  • IrDA infrared data association
  • WFD Wi-Fi Direct
  • the first device 1010 may be implemented in various forms.
  • the first device 1010 described in the present specification may be a mobile phone, a smart phone, a laptop computer, a tablet PC, an e-book device, a digital broadcasting terminal, a personal digital assistant (PDA),
  • PDA personal digital assistant
  • PMP portable multimedia player
  • MP3 player a navigation device
  • MP3 player a digital camera
  • wearable device eg, glasses, a wrist watch
  • the second device 1020 may include at least one communication module for receiving image data transmitted from the first device 1010.
  • the second device 1020 may include a mobile communication module (eg, 3G, 4G, 5G, etc.), a short range communication module (eg, a Bluetooth communication module, a Bluetooth Low Energy (BLE) communication module, a Wi-Fi communication module, a Zigbee). (Zigbee) communication module, infrared data association (IrDA) communication module, Wi-Fi Direct (WFD) communication module, ultra wideband (UWB) communication module, Ant + communication module, etc.), and home network communication module.
  • a mobile communication module eg, 3G, 4G, 5G, etc.
  • a short range communication module eg, a Bluetooth communication module, a Bluetooth Low Energy (BLE) communication module, a Wi-Fi communication module, a Zigbee.
  • Zigbee Zigbee
  • IrDA infrared data association
  • WFD Wi-Fi Direct
  • the second device 1020 may be various types of devices having a display function.
  • the second device 1020 may be a mobile phone, a smart phone, a laptop computer, a tablet PC, an e-book device, a digital broadcasting terminal, a personal digital assistant (PDA), a portable multimedia player (PMP). ), Audio devices, navigation, MP3 players, digital cameras, smart TVs, glasses, wristwatches, home sinks, refrigerators having a communication function, air conditioners, water purifiers, and the like, but is not limited thereto.
  • PDA personal digital assistant
  • PMP portable multimedia player
  • the first device 1010 may perform a function similar to the image data compression apparatus 200 of FIG. 2. That is, the adaptive compression unit 1015 of the first device 1010 determines the reproduction ratio and the compression ratio based on the motion information of the input image data in the same manner as the image data compression apparatus 200 of FIG. 2, and determines the determined reproduction ratio. And compress the image data according to the compression rate, and output the compressed image data to the second device 1020 through the communication module.
  • the adaptive decoder 1025 of the second device 1020 decodes the compressed image data.
  • Method according to an embodiment of the present invention is implemented in the form of program instructions that can be executed by various computer means may be recorded on a computer readable medium.
  • the computer readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • Program instructions recorded on the media may be those specially designed and constructed for the purposes of the present invention, or they may be of the kind well-known and available to those having skill in the computer software arts.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks.
  • Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.

Abstract

영상 데이터를 적응적으로 압축하는 방식이 개시된다. 영상 데이터의 움직임 정보에 기초하여 영상 데이터의 재생 비율 및 압축률을 결정하고, 결정된 재생 비율 및 압축률에 기초하여 영상 데이터가 압축된다.

Description

적응적 영상 데이터 압축 방법 및 장치
본 발명은 영상 처리 장치에서 디스플레이되는 영상의 재생 비율과 압축률을 설정하는 방식에 관한 것이다.
최근 스마트폰이나 태블릿 PC와 같은 멀티미디어 컨텐츠 이용이 가능한 모바일 기기가 증가하고 있다. 일반적으로 모바일 기기를 구성하는 부품들 중에서 가장 많은 전력이 소모되는 부품은 디스플레이 패널이다. 모바일 기기에서 전력 소모량이 많은 영상 데이터를 이용하는 비중이 증가함에 따라서 영상 데이터를 디스플레이하는 방식을 효율적으로 관리할 필요도 증가하고 있다.
본 발명이 해결하고자 하는 기술적 과제는 디스플레이되는 영상 데이터의 재생 비율 및 압축 방식을 적응적으로 변화시키기 위한 것이다.
본 발명의 실시예들에 따르면 디스플레이되는 영상 데이터의 움직임에 기초하여 영상 데이터의 재생 비율 및 압축 방식을 적응적으로 변화시킨다.
본 발명의 실시예들에 따르면 인간의 시각 특성을 이용하여 상대적으로 좋은 화질을 유지하면서 전체적인 데이터 트래픽을 일정 수준에서 유지할 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 데이터 처리 장치를 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 적응적 영상 데이터 압축 장치의 구성을 나타낸 블록도이다.
도 3은 일 실시예에 따른 적응적 영상 데이터 압축 방법을 나타낸 플로우 차트이다.
도 4는 일 실시예에 따른 움직임 정도에 따라서 분류된 영상 데이터에 적용되는 재생 비율 및 압축률을 설명하기 위한 참조도이다.
도 5는 일 실시예에 따른 무손실 압축 방식을 설명하기 위한 참조도이다.
도 6은 일 실시예에 따른 비트 절단을 설명하기 위한 참조도이다.
도 7은 일 실시예에 따른 비트 매핑 방식을 이용한 영상 데이터 압축 방식을 설명하기 위한 참조도이다.
도 8은 일 실시예에 따른 컬러 인덱스 방식을 이용한 영상 데이터 압축 방식을 설명하기 위한 참조도이다.
도 9는 일 실시예에 따른 영상 데이터의 움직임 정보를 판단하는 방식을 설명하기 위한 참조도이다.
도 10은 일 실시예에 따른 영상 데이터 송수신 시스템을 나타낸 도면이다.
일 실시예에 따른 적응적 영상 데이터 압축 방법은 영상 데이터의 움직임 정보에 기초하여, 상기 영상 데이터의 재생 비율 및 압축률을 결정하는 단계; 및 상기 결정된 재생 비율 및 압축률에 기초하여 상기 영상 데이터를 압축하여 출력하는 단계를 포함한다.
일 실시예에 따른 적응적 영상 데이터 압축 장치는 영상 데이터의 움직임 정보에 기초하여, 상기 영상 데이터의 재생 비율 및 압축률을 결정하는 압축률 결정부; 및 상기 결정된 재생 비율 및 압축률에 기초하여 상기 영상 데이터를 압축하여 출력하는 영상 데이터 압축부를 포함하는 것을 특징으로 한다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
명세서 전체에서 “어플리케이션(application)”은 특정한 업무를 수행하기 위해 고안된 일련의 컴퓨터 프로그램 집합을 말한다. 본 명세서에 기술되는 어플리케이션은 다양할 수 있다. 예를 들어, 어플리케이션에는 웹 브라우저, 카메라 어플리케이션, 사전 어플리케이션, 번역 어플리케이션, 데이터 전송 어플리케이션, 음악 재생 어플리케이션, 동영상 재생 어플리케이션, 메시지 어플리케이션, 소셜 커뮤니케이터 어플리케이션, 소셜 미디어 어플리케이션, 지도 어플리케이션, 사진 관리 어플리케이션, 방송 어플리케이션, 게임 어플리케이션, 운동 지원 어플리케이션, 결제 어플리케이션, 메모 어플리케이션, 캘린더 어플리케이션, 폰 북 어플리케이션 등이 있을 수 있으나, 이에 한정되는 것은 아니다.
이하, 첨부의 도면을 참조하여 본 발명의 실시예들에 대하여 구체적으로 설명한다.
도 1은 본 발명의 일 실시예에 따른 영상 데이터 처리 장치를 설명하기 위한 도면이다. 본 발명의 일 실시예에 따른 영상 데이터 처리 장치(100)는 다양한 형태로 구현될 수 있다. 예를 들어, 본 명세서에서 기술되는 영상 처리 장치(100)는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 태블릿 PC, 전자책 단말기, 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션, MP3 플레이어, 디지털 카메라, 착용형 기기(wearable device)(예컨대, 안경, 손목 시계) 등이 있을 수 있으나, 이에 한정되는 것은 아니다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 영상 데이터 처리 장치(100)는 어플리케이션 프로세서(110), 디스플레이부(120) 및 프레임 버퍼(130)를 포함한다.
어플리케이션 프로세서(110)는 영상 데이터를 수신하고 영상 데이터를 복호화하여 영상 프레임을 생성한다. 어플리케이션 프로세서(110)에 의하여 수신되는 영상 데이터는 MPEG-2, H.264/AVC, HEVC(High Efficiency Video Codec)과 같은 다양한 압축 방식을 통해 압축된 영상 데이터일 수 있다. 영상 데이터는 프레임 버퍼(130)와 별도로 영상 처리 장치(100)에 구비된 메모리 장치에 저장된 데이터일 수 있다. 어플리케이션 프로세서(110)는 수신된 영상 데이터를 복호화하고 영상 프레임의 픽셀값을 복원한다. 복원된 원본 영상 프레임인 비압축(decompressed) 프레임(132)은 프레임 버퍼(130)에 저장된다. 또한, 어플리케이션 프로세서(110)는 비압축 프레임(132)을 압축한 압축 프레임(131)을 프레임 버퍼(130)에 저장한다.
프레임 버퍼(130)는 디스플레이부(130)를 통해 표시되는 영상 프레임의 정보를 일시적으로 저장하는 메모리 장치이다. 어플리케이션 프로세서(110)에 의하여 처리된 영상 프레임은 프레임 버퍼(130)에 저장된다. 프레임 버퍼(130)는 하나의 영상 프레임의 데이터를 픽셀 단위로 저장한다. 즉, 프레임 버퍼(130)는 디스플레이부(130)를 통해 표현되는 각 픽셀에 대응되는 복수 개의 기억 단위들을 포함하며, 프레임 버퍼(130)에 저장된 영상 프레임 정보 그대로 디스플레이부(130)에 표시된다. 프레임 버퍼(130)는 적어도 하나의 영상 프레임을 저장할 수 있는 저장 공간을 가져야 한다.
어플리케이션 프로세서(110)와 디스플레이부(120)는 데이터 버스를 통해 연결되며, 어플리케이션 프로세서(110)는 프레임 버퍼(130)에 저장된 압축 프레임(131) 또는 비압축 프레임(132) 데이터를 디스플레이부(120)로 전송한다. 디스플레이부(120)는 PDP, LCD, LED 등의 디스플레이 패널, 디스플레이 패널을 구동하기 위한 패널 구동부 및 어플리케이션 프로세서(110)로부터 전송된 압축 영상 데이터를 복호화하는 적응적 복호화부(125)를 포함한다. 어플리케이션 프로세서(110)에서 출력되는 영상 데이터는 디스플레이부(120)의 디스플레이 패널의 X, Y 좌표에 매칭되는 각 픽셀의 데이터를 포함하며, 각 픽셀의 데이터는 복수 개의 컬러 성분을 포함할 수 있다. 예를 들어, 각 픽셀 데이터는 Red, Green, Blue(RGB)의 복수 개의 컬러 성분을 포함할 수 있다. 트루 컬러의 경우, R,G,B 각각 1바이트(byte), 즉 8bit를 가지며, 원본 영상 데이터인 비압축 프레임(132)의 하나의 픽셀 데이터는 총 24bit를 가질 수 있다.
원본 영상 데이터의 크기(size)는 일반적으로 크다. 따라서, 어플리케이션 프로세서(110)와 디스플레이부(120) 사이의 데이터 버스의 대역폭을 고려하여 데이터 전송률은 제한될 수 있다. 또한, 데이터 버스의 대역폭이 충분한 경우라도, 전력 소모를 방지하기 위하여 어플리케이션 프로세서(110)와 디스플레이부(120) 사이에 전송되는 데이터 전송률은 제한될 수 있다.
일 실시예에 따른 어플리케이션 프로세서(110)에 구비된 적응적 압축부(115)는 영상 데이터의 움직임 정보에 기초하여 영상 데이터의 재생 비율 및 압축률을 조절한다. 재생 비율(refresh rate)이란 1초 동안에 출력되는 영상 프레임의 개수(frame/sec)를 의미한다. 압축률은 (압축 영상 프레임의 데이터 크기/ 원본 영상 프레임의 데이터 크기)를 나타낸다. 예를 들어, 압축률이 1이라는 것은 원본 영상 데이터 크기와 압축 영상 프레임의 데이터 크기가 동일한 경우를 의미하며, 압축률이 1/4라는 것은 압축 영상 데이터의 크기가 원본 영상 데이터의 1/4의 데이터 크기를 갖는 경우를 의미한다. 압축률이 작은 값을 가질수록 원본 영상 프레임의 데이터 크기보다 압축 영상 프레임의 데이터 크기가 감소되는 것이므로, 압축률이 작은 값을 가질수록 영상 데이터에 대하여 보다 많은 압축이 수행되는 것을 의미한다. 이하의 설명에서는 압축률은 0~1까지의 값을 갖는다. 압축률의 값이 0에 가까울수록 높은 압축률을 갖는 것을 나타낸다. 예를 들어, 압축률 1/2에 비하여 압축률 1/4가 더 높은 압축률을 나타낸다.
적응적 압축부(115)는 움직임 정보에 기초하여, 영상 데이터의 움직임에 반비례하는 재생 비율과 움직임에 비례하는 압축률을 결정하고, 결정된 재생 비율 및 압축률에 따라서 원본 영상 프레임을 압축한다. 즉, 적응적 압축부(115)는 영상의 움직임이 클수록 상대적으로 작은 재생 비율 및 상대적으로 큰 압축률을 결정하고, 결정된 재생 비율 및 압축률에 따라서 원본 영상 프레임을 압축한다. 영상에 많은 움직임이 있는 경우 인간의 시각은 상대적으로 화질 저하를 잘 인지하지 못하는 특성이 있다. 또한, 영상에 움직임이 적은 경우, 인간의 시각은 화질 저하를 쉽게 인지하는 특성이 있다. 따라서, 영상의 움직임이 클수록 상대적으로 작은 재생 비율 및 상대적으로 큰 압축률을 이용하여 영상 데이터를 압축하더라도 인간의 시각이 인지하는 화질 열화는 크지 않다. 또한, 데이터 전송률은 (재생 비율)*(하나의 프레임의 데이터 크기)의 값을 갖는다. 따라서, 영상 데이터의 움직임에 반비례하는 재생 비율과 움직임에 비례하는 압축률에 따라서 영상 데이터를 압축함으로써 효율적으로 데이터 대역을 이용하는 것이 가능하다. 디스플레이부(120)의 적응적 복호화부(125)는 적응적 압축부(115)에서 압축되어 출력된 압축 영상 데이터를 복호화하여 표시한다.
이하, 도 1의 적응적 압축부(115)에서 영상 데이터의 재생 비율 및 압축률을 결정하는 방법에 대하여 구체적으로 설명한다.
도 2는 일 실시예에 따른 적응적 영상 데이터 압축 장치의 구성을 나타낸 블록도이며, 도 3은 일 실시예에 따른 적응적 영상 데이터 압축 방법을 나타낸 플로우 차트이다. 도 2의 적응적 영상 데이터 압축 장치(200)는 도 1의 적응적 압축부(115)에 대응된다.
도 2 및 도 3을 참조하면, 단계 310에서, 압축률 결정부(210)는 영상 데이터의 움직임 정보에 기초하여, 영상 데이터의 재생 비율 및 압축률을 결정한다.
영상 데이터의 움직임 정보는 다양한 방식으로 결정될 수 있다. 예를 들어, 압축률 결정부(210)는 현재 영상 데이터가 소정의 어플리케이션에 의하여 실행되어 스크린에 출력되는 스크린 영상에 관한 데이터라고 할 때, 어플리케이션 유형에 기초하여 영상의 움직임 정보를 결정할 수 있다. 어플리케이션 유형 정보는 현재 실행되는 어플리케이션을 나타내는 인덱스 정보를 통해 수신될 수 있다. 압축률 결정부(210)는 현재 실행되는 어플리케이션이 인터넷 브라우저, 텍스트 리더기, 이북 리더기, 정지영상 뷰어, 오피스 프로그램, 워드 프로세서 등과 같이 정지 영상이나 텍스트 위주의 데이터를 주로 표시하는 어플리케이션인 경우 현재 영상 데이터를 움직임이 적은 것으로 판단할 수 있다. 또한, 압축률 결정부(210)는 현재 실행되는 어플리케이션이 동영상 플레이어와 같이 움직임이 많은 데이터를 주로 표시하는 어플리케이션인 경우 현재 영상 데이터를 중간 움직임을 갖는 것으로 판단할 수 있다. 또한, 압축률 결정부(210)는 현재 실행되는 어플리케이션이 게임과 같이 화면 전환이 빈번하게 이루어지는 어플리케이션인 경우 현재 영상 데이터의 움직임이 가장 많은 것으로 판단할 수 있다. 압축률 결정부(210)는 어플리케이션 유형에 따른 움직임 정도를 미리 단계화하여, 다음의 표 1에 예시된 바와 같이 움직임 정보를 미리 테이블화하여 저장하고, 영상 데이터의 움직임 정보를 판단할 수 있다.
표 1
움직임 레벨 해당 어플리케이션
제 1 움직임(움직임 없음) 인터넷 브라우저, 텍스트 리더기, 이북 리더기, 정지영상 뷰어, 오피스 프로그램, 워드 프로세서
제 2 움직임(중간 움직임) 동영상 플레이어, 동영상이 포함된 인터넷 브라우저
제 3 움직임(움직임 큼) 게임
표 1에 한정되지 않고, 어플리케이션 유형에 따른 움직임 레벨의 결정 방식은 변경될 수 있다. 이하의 설명에서는, 설명의 편의상 영상 데이터가 움직임 정도에 따라서 크게 3단계로 분류되어 움직임이 적은 제 1 영상 데이터, 중간 움직임을 갖는 제 2 영상 데이터 및 움직임이 많은 제 3 영상 데이터로 분류된 경우를 중심으로 설명한다. 그러나, 영상 데이터는 이에 한정되지 않고 움직임 정도에 따라서 보다 세분화되어 분류될 수 있다.
압축률 결정부(210)는 영상 데이터를 분석하여 움직임 정도를 판단할 수도 있다. 예를 들어, 압축률 결정부(210)는 소정 시간 동안 입력된 영상 프레임들에 포함된 블록들의 움직임 벡터를 획득하여 움직임 벡터의 크기에 따라서 움직임 정보에 대한 히스토그램을 생성하고, 움직임 벡터의 크기 비율에 따라서 영상 데이터에 포함된 움직임 정도를 판단할 수 있다. 전술한 예들에 한정되지 않고, 영상 데이터에 포함된 움직임 정도를 판단하는 방식은 다양하게 구현될 수 있다.
압축률 결정부(210)는 움직임 정도에 따라 영상 데이터가 분류되면, 분류된 영상 데이터에 적용될 재생 비율 및 압축률을 결정한다. 전술한 예와 같이, 영상 데이터의 움직임 정도에 따라서, 영상 데이터가 제 1 내지 제 3 영상 데이터로 분류된 경우, 압축률 결정부(210)는 분류된 영상 데이터에 적용된 재생 비율 및 압축률을 다음의 표 2와 같이 결정할 수 있다.
표 2
재생 비율 압축률
제 1 영상 데이터 10Hz 1
제 2 영상 데이터 30Hz 1/4
제 3 영상 데이터 60Hz 1/8
표 2에 예시된 바와 같이, 압축률 결정부(210)는 제 1 영상 데이터에 대해서는 가장 낮은 제 1 재생 비율 및 가장 작은 압축률을 갖는 제 1 압축률을 결정하며, 제 2 영상 데이터에 대해서는 중간의 재생 비율을 갖는 제 2 재생 비율 및 중간 압축률을 갖는 제 2 압축률을 결정하고, 제 3 영상 데이터에 대해서는 가장 높은 제 3 재생 비율 및 가장 높은 압축률을 갖는 제 3 압축률을 결정한다. 표 2에 한정되지 않고, 압축률 결정부(210)는 재생 비율은 영상 데이터의 움직임에 반비례하고, 압축률은 영상 데이터의 움직임에 비례하도록 설정할 수 있다.
단계 320에서, 영상 데이터 압축부(220)는 결정된 재생 비율 및 압축률에 따라서 영상 데이터를 압축한다.
도 4는 일 실시예에 따른 움직임 정도에 따라서 분류된 영상 데이터에 적용되는 재생 비율 및 압축률을 설명하기 위한 참조도이다.
영상 데이터가 움직임 정도에 따라서 분류되면, 영상 데이터 압축부(220)는 결정된 재생 비율 및 압축률에 따라서 영상 데이터를 압축한다. 영상 데이터가 가장 움직임이 작은 제 1 영상 데이터이며, 제 1 영상 데이터에 적용되는 재생 비율은 10Hz, 압축률은 1인 경우, 영상 데이터 압축부(220)는 원본 영상 프레임을 무손실 압축하고 무손실 압축된 영상 프레임들(410)을 10Hz의 재생 비율로 출력한다. 일 예로, 원본 영상 프레임이 60Hz의 재생 비율을 갖는 경우, 즉 원본 영상 프레임이 1초에 60개의 영상 프레임으로 이루어진 경우, 데이터 압축부(220)는 프레임 드롭핑(dropping)을 통해 60개의 원본 영상 프레임 중 10개의 영상 프레임만을 샘플링하고, 샘플링된 10개의 영상 프레임을 무손실 압축 방식을 통해 압축하여 출력할 수 있다. 무손실 압축 방식으로는 다양한 방식이 적용될 수 있다. 일 예로, DPCM(Differential Pulse Code Modulation) 방식을 적용하여 샘플링된 영상 프레임을 무손실 압축할 수 있다.
영상 데이터가 중간 움직임을 갖는 제 2 영상 데이터이며, 제 2 영상 데이터에 적용되는 재생 비율은 30Hz, 압축률은 1/4인 경우, 영상 데이터 압축부(220)는 원본 영상 프레임을 1/4 비율로 압축하고 압축된 영상 프레임들(420)을 30Hz의 재생 비율로 출력한다. 전술한 예의 경우, 데이터 압축부(220)는 프레임 드롭핑을 통해 60개의 원본 영상 프레임 중 30개의 영상 프레임만을 샘플링하고, 샘플링된 30개의 영상 프레임 각각을 1/4 비율로 압축한다. 즉, 데이터 압축부(220)는 샘플링된 30개의 영상 프레임 각각의 데이터 크기가 원본 영상 프레임에 비하여 1/4의 크기를 갖도록 압축한다. 압축 방식은 비트 절단이나 비트 매핑, 컬러 인덱싱 방식 등의 다양한 방식을 통해 구현될 수 있으며, 이에 대해서는 후술한다.
영상 데이터가 움직임이 많은 제 3 영상 데이터이며, 제 3 영상 데이터에 적용되는 재생 비율은 60Hz, 압축률은 1/8인 경우, 영상 데이터 압축부(220)는 수신된 원본 영상 프레임을 1/8 비율로 압축하고, 압축된 영상 프레임들(430)을 60Hz의 재생 비율로 출력한다. 전술한 예의 경우, 원본 영상 프레임의 프레임 레이트가 60Hz 이므로, 원본 영상 프레임의 프레임 레이트와 결정된 재생 비율이 동일하다. 이와 같이 원본 영상 프레임과 프레임 레이트의 재생 비율이 동일한 경우에는 원본 영상 프레임의 드롭핑없이 원본 영상 프레임을 그대로 이용할 수 있다. 만약, 원본 영상 프레임의 프레임 레이트에 비하여 결정된 재생 비율이 더 큰 경우 프레임 보간이나 업샘플링을 통해서 압축된 영상 데이터의 프레임 레이트를 조절할 수 있다. 예를 들어, 전술한 예와 같이 원본 영상 프레임의 프레임 레이트가 60Hz이고, 움직임이 많은 영상 데이터에 대해서 결정된 재생 비율이 120Hz라면, 영상 데이터 압축부(220)는 원본 영상 프레임을 보간하여 120Hz의 영상 프레임을 생성하고, 각 영상 프레임을 결정된 압축률에 따라서 압축하여 출력한다. 압축 방식은 비트 절단이나 비트 매핑, 컬러 인덱싱 방식 등의 다양한 방식을 통해 구현될 수 있으며, 이에 대해서는 후술한다.
도 5는 일 실시예에 따른 무손실 압축 방식을 설명하기 위한 참조도이다.
전술한 바와 같이, 현재 영상 데이터가 움직임이 적은 경우, 영상 데이터 압축부(220)는 영상 데이터의 재생 비율을 낮추고 압축률은 감소시킬 수 있다. 일 예로, 영상 데이터의 움직임이 작은 경우, 영상 데이터는 상대적으로 작은 재생 비율로 출력되는 대신에 무손실 압축될 수 있다. 무손실 압축 방식으로 DPCM 방식이 도 5에 도시된다.
DPCM 방식은 행 또는 열 방향으로 각 영상 프레임을 구성하는 픽셀값 차이의 차분값을 계산하고, 원 픽셀의 픽셀값 대신에 차분값을 전송하는 방식이다. 도 5에 도시된 바와 같이, 영상 데이터 압축부(220)는 무손실 압축되는 영상 프레임에 포함된 인접 픽셀들 간의 픽셀값 차이를 계산한다. 예를 들어, 영상 데이터 압축부(220)는 원본 프레임(510)에 포함된 픽셀값 P(1,0) 대신에 좌측의 픽셀값 P(0,0)과의 차이값 (P(1,0)-P(0,0))을 계산하여 픽셀값 P(1,0)의 정보로 이용한다. 이 경우 기준이 되는 P(0,0)의 픽셀값은 원본값 그대로 이용된다. 복호화시에는 P(0,0)과 차이값 (P(1,0)-P(0,0))을 가산하여 픽셀값 P(1,0)을 복원할 수 있다. 이와 같이 영상 데이터 압축부(220)는 인접 픽셀들 사이의 차분값을 이용하는 DPCM을 통해 무손실 압축 프레임(520)을 생성할 수 있다.
도 6은 일 실시예에 따른 비트 절단을 설명하기 위한 참조도이다.
영상 데이터 압축부(220)는 압축률이 결정되면, 원본 영상 데이터의 각 픽셀이 갖는 비트수를 감소시키는 비트 절단(truncation)에 의하여 압축을 수행할 수 있다. 원본 영상 데이터의 하나의 픽셀 데이터가 RGB888, 즉 R, G, B 각 색 성분별로 8bit로 이루어져 총 24bit의 데이터 크기를 갖는다고 가정한다. 영상 데이터 압축부(220)는 RGB565, 즉 R 색 성분은 5bit, G색 성분은 6bit, B색 성분은 5bit의 값을 갖도록 원본 영상 데이터의 하나의 픽셀이 갖는 비트를 절단하여, 원래 하나의 픽셀이 갖던 24bit의 데이터 크기를 16bit로 압축할 수 있다. 이 경우 압축률은 (16/24), 즉 2/3이다.
도 6을 참조하면, 한 픽셀의 하나의 색 성분의 이진값이 도시된 바와 같이 b1 내지 b8(610)의 8개의 비트들로 구성되며, b1을 MSB(Most Significant Bit), b8을 LSB(Least Significant Bit)라고 가정한다. 영상 데이터 압축부(220)는 결정된 압축률에 따라서 LSB부터 소정 개수의 비트들(620)을 절단하고,절단된 비트들(620)을 제외한 나머지 6bit만을 출력함으로써, 8bit의 데이터를 6bit로 압축한다. 이러한 절단된 영상 데이터를 수신한 복호화 측에서는 절단된 이진값 부분에 0을 삽입하여 복호화를 수행할 수 있다. 절단되는 비트의 개수는 압축률에 따라서 결정될 수 있다. 예를 들어, 압축률이 1/M(M은 정수)이며, 원본 영상 데이터의 하나의 픽셀이 갖는 총비트수를 T(T는 정수), 절단되는 비트의 개수를 N(N은 정수)이라고 하면, (T-N)/T=1/M이 되도록 하는 N의 값이 결정된다. 하나의 픽셀이 복수 개의 컬러 성분으로 구성된 경우, 결정된 절단 비트 개수 N에 기초하여 각 컬러 성분에서 절단되어야 하는 비트수를 결정할 수 있다. 전술한 예와 같이, 24bit의 픽셀 데이터를 16bit로 압축하여 총 8bit를 절단해야되는 경우, R색 성분에서 3비트, G 색 성분에서 2비트, B 색 성분에서 2bit가 절단되도록 설정될 수 있다.
도 7은 일 실시예에 따른 비트 매핑 방식을 이용한 영상 데이터 압축 방식을 설명하기 위한 참조도이다.
영상 데이터 압축부(220)는 비트 절단 방식 대신에 비트 매핑 방식을 통해 영상 데이터를 압축할 수 있다. 예를 들어, 원본 영상 프레임의 하나의 픽셀이 8bit를 통해 표현되는 경우, 하나의 픽셀은 0~255의 총 256개의 색성분 중 하나를 갖는다. 만약, 8bit의 픽셀을 6bit로 압축하는 경우, 6bit의 픽셀값을 통해서 표현 가능한 색성분은 0~63의 64개이다. 영상 데이터 압축부(220)는 8bit로 표현된 원본 영상 프레임의 현재 픽셀의 색성분(715)을 6bit로 표현가능한 색성분들 중 하나의 색성분(725)에 매핑시키고, 매핑된 색성분(725)에 대응되는 6bit의 값을 출력함으로써 영상 데이터를 압축할 수 있다.
도 8은 일 실시예에 따른 컬러 인덱스 방식을 이용한 영상 데이터 압축 방식을 설명하기 위한 참조도이다.
영상 데이터 압축부(220)는 압축률에 따라서 영상 데이터의 하나의 픽셀을 표현하는데 이용가능한 비트수가 결정되면, 결정된 비트수를 이용하여 표현 가능한 컬러들을 결정하고, 각 픽셀의 컬러에 대응되는 인덱스를 나타내는 이진값을 출력함으로써 영상 데이터를 압축할 수 있다.
압축률에 따라서 압축된 영상 데이터의 하나의 픽셀을 표현하는데 이용가능한 비트수를 n(n은 정수)이라고 가정한다. 압축률이 1인 경우를 제외하고, n은 원본 영상 프레임의 하나의 픽셀이 갖는 비트수보다 작아야 한다. n개의 비트를 이용하여 표현가능한 2^n 개의 컬러를 각각 C1 내지 C(2^n)라고 한다. 영상 데이터 압축부(220)는 2^n 개의 컬러들 중 현재 픽셀의 컬러에 가장 가까운 컬러를 결정하고, 결정된 컬러를 나타내는 n 비트의 컬러 인덱스를 출력한다. 다시 말해서, 영상 데이터 압축부(220)는 2^n 개의 컬러들을 포함하는 컬러 팔레트(color pallette)를 구성하고, 컬러 팔레트에 포함된 하나의 컬러를 나타내는 n 비트의 인덱스 정보를 출력함으로써 영상 데이터를 압축할 수 있다.
영상 데이터 압축부(220)는 전술한 다양한 압축 방식을 이용하여 결정된 압축률에 따라 원본 영상 프레임을 압축한다. 일 예로, 영상 데이터 압축부(220)는 움직임이 작은 제 1 영상 데이터에 대해서는 DPCM을 적용하여 무손실 압축한다. 그리고, 영상 데이터 압축부(220)는 중간 움직임을 갖는 제 2 영상 데이터에 대해서는 각 픽셀을 구성하는 복수 개의 컬러 성분 중 적어도 하나의 이진값의 비트를 절단하여 전체 비트수가 원본 영상 프레임의 픽셀이 갖는 비트수보다 작도록 함으로써 압축을 수행할 수 있다. 즉, 원본 영상 데이터가 3개의 컬러 성분으로 구성되며, 원본 영상 데이터의 하나의 픽셀이 갖는 3개의 컬러 성분 각각의 이진값은 각각 A, B, C(A, B, C는 정수)이며, 하나의 픽셀의 3개의 컬러 성분 전체의 비트수를 M(M은 정수)이라고 할 때, 영상 데이터 압축부(220)는 A, B, C 중 적어도 하나의 이진값의 비트를 절단하여 제 2 영상 데이터의 하나의 픽셀의 갖는 전체 비트수 m(m은 정수)이 M보다 작도록 함으로써 압축을 수행할 수 있다. 또한, 영상 데이터 압축부(220)는 움직임이 가장 많은 제 3 영상 데이터에 대해서는 컬러 팔레트를 이용한 컬러 인덱싱 방식을 이용하여 압축을 수행할 수 있다. 즉, 영상 데이터 압축부(220)는 m보다 작은 비트수 n(n은 정수)으로 표현가능한 2^n개의 컬러들 중 하나로 원본 영상 데이터의 컬러를 매핑시키고, n개의 비트로 이루어진 컬러 인덱스값으로 출력하여 제 3 영상 데이터를 압축할 수 있다.
도 9는 일 실시예에 따른 영상 데이터의 움직임 정보를 판단하는 방식을 설명하기 위한 참조도이다.
전술한 바와 같이 압축률 결정부(210)는 영상 데이터를 표시하는 어플리케이션의 유형에 기초하여 영상 데이터의 움직임 정보를 결정할 수 있다. 그러나, 스크린 영상(900)에는 복수 개의 어플리케이션이 동시에 디스플레이되는 경우가 발생할 수 있다. 예를 들어, 도 9에 도시된 바와 같이 스크린 영상(900)에는 서로 다른 유형의 제 1 어플리케이션(910) 및 제 2 어플리케이션(920)이 디스플레이될 수 있다. 이와 같이 스크린 영상(900)에 복수 개의 어플리케이션들(910, 920)이 표시되어야 하는 경우, 압축률 결정부(210)는 복수 개의 어플리케이션들 중 가장 움직임이 많은 어플리케이션에 기초하여 압축률을 결정할 수 있다. 예를 들어, 제 1 어플리케이션(910)이 움직임이 적은 인터넷 브라우저이고, 제 2 어플리케이션(920)이 동영상 플레이어인 경우, 압축률 결정부(210)는 움직임이 많은 제 2 어플리케이션의 움직임 정보에 기초하여 전체 스크린 영상(900)이 움직임이 많은 영상으로 판단할 수 있다.
도 10은 일 실시예에 따른 영상 데이터 송수신 시스템을 나타낸 도면이다.
도 10을 참조하면, 일 실시예에 따른 영상 데이터 송수신 시스템은 영상 데이터를 송신하는 송신 디바이스 및 영상 데이터를 수신하여 디스플레이하는 수신 디바이스를 포함할 수 있다. 영상 데이터를 송신하는 송신 측 디바이스를 제 1 디바이스(1010), 영상 데이터를 수신하여 디스플레이하는 디바이스를 제 2 디바이스(1020)로 지칭한다.
본 발명의 일 실시예에 의하면, 제 1 디바이스(1010)는 제 2 디바이스(1020)와 통신하기 위한 적어도 하나의 통신 모듈을 포함할 수 있다. 예를 들어, 제 1 디바이스(1010)는, 이동 통신 모듈(예컨대, 3G, 4G, 5G 등), 근거리 통신 모듈(예컨대, 블루투스 통신 모듈, BLE(Bluetooth Low Energy) 통신 모듈, 와이파이 통신 모듈, 지그비(Zigbee) 통신 모듈, 적외선(IrDA, infrared Data Association) 통신 모듈, WFD(Wi-Fi Direct) 통신 모듈, UWB(ultra wideband) 통신 모듈, Ant+ 통신 모듈 등), 홈 네트워크 통신 모듈 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
본 발명의 일 실시예에 따른 제 1 디바이스(1010)는 다양한 형태로 구현될 수 있다. 예를 들어, 본 명세서에서 기술되는 제 1 디바이스(1010)는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 태블릿 PC, 전자책 단말기, 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션, MP3 플레이어, 디지털 카메라, 착용형 기기(wearable device)(예컨대, 안경, 손목 시계) 등이 있을 수 있으나, 이에 한정되는 것은 아니다.
제 2 디바이스(1020)는 제 1 디바이스(1010)로부터 전송된 영상 데이터를 수신하기 위한 적어도 하나의 통신 모듈을 포함할 수 있다. 예를 들어, 제 2 디바이스(1020)는, 이동 통신 모듈(예컨대, 3G, 4G, 5G 등), 근거리 통신 모듈(예컨대, 블루투스 통신 모듈, BLE(Bluetooth Low Energy) 통신 모듈, 와이파이 통신 모듈, 지그비(Zigbee) 통신 모듈, 적외선(IrDA, infrared Data Association) 통신 모듈, WFD(Wi-Fi Direct) 통신 모듈, UWB(ultra wideband) 통신 모듈, Ant+ 통신 모듈 등), 홈 네트워크 통신 모듈 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
본 발명의 일 실시예에 따르면, 제 2 디바이스(1020)는 디스플레이 기능을 갖는 다양한 형태의 디바이스들일 수 있다. 예를 들어, 제 2 디바이스(1020)는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 태블릿 PC, 전자책 단말기, 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 오디오 장치, 네비게이션, MP3 플레이어, 디지털 카메라, 스마트 TV, 안경, 손목 시계, 홈 싱크, 통신 기능을 갖는 냉장고, 에어컨, 정수기 등이 있을 수 있으나, 이에 한정되는 것은 아니다.
제 1 디바이스(1010)는 도 2의 영상 데이터 압축 장치(200)와 유사한 기능을 수행할 수 있다. 즉,제 1 디바이스(1010)의 적응적 압축부(1015)는 도 2의 영상 데이터 압축 장치(200)와 동일하게 입력 영상 데이터의 움직임 정보에 기초하여 재생 비율 및 압축률을 결정하고, 결정된 재생 비율 및 압축률에 따라 영상 데이터를 압축하고, 압축된 영상 데이터를 통신 모듈을 통해 제 2 디바이스(1020)로 출력한다. 제 2 디바이스(1020)의 적응적 복호화부(1025)는 압축된 영상 데이터를 복호화한다.
본 발명의 일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.

Claims (15)

  1. 적응적 영상 데이터 압축 방법에 있어서,
    영상 데이터의 움직임 정보에 기초하여, 상기 영상 데이터의 재생 비율 및 압축률을 결정하는 단계; 및
    상기 결정된 재생 비율 및 압축률에 기초하여 상기 영상 데이터를 압축하여 출력하는 단계를 포함하는 것을 특징으로 하는 적응적 영상 데이터 압축 방법.
  2. 제 1항에 있어서,
    상기 결정하는 단계는
    상기 영상 데이터의 움직임에 따라서, 상기 영상 데이터의 움직임에 반비례하는 재생 비율과 상기 움직임에 비례하는 압축률을 결정하는 것을 특징으로 하는 적응적 영상 데이터 압축 방법.
  3. 제 1항에 있어서,
    상기 결정하는 단계는
    상기 영상 데이터의 움직임 정보에 기초하여, 상기 영상 데이터를 움직임이 적은 제 1 영상 데이터, 중간 움직임을 갖는 제 2 영상 데이터 및 움직임이 많은 제 3 영상 데이터로 분류하는 단계; 및
    상기 분류된 영상 데이터들 중 제 1 영상 데이터에 대해서는 가장 낮은 제 1 재생 비율 및 가장 작은 압축률을 갖는 제 1 압축률을 결정하며, 제 2 영상 데이터에 대해서는 중간의 재생 비율을 갖는 제 2 재생 비율 및 중간 압축률을 갖는 제 2 압축률을 결정하고, 제 3 영상 데이터에 대해서는 가장 높은 제 3 재생 비율 및 가장 높은 압축률을 갖는 제 3 압축률을 결정하는 것을 특징으로 하는 적응적 영상 데이터 압축 방법.
  4. 제 3항에 있어서,
    상기 제 1 영상 데이터는 무손실 압축 방식을 통해 압축되며, 상기 제 2 영상 데이터는 원영상 데이터의 하나의 픽셀이 갖는 비트수를 감소시키는 비트 절단에 의하여 압축되며, 상기 제 3 영상 데이터는 컬러 인덱스 테이블에 의하여 압축되는 것을 특징으로 하는 적응적 영상 데이터 압축 방법.
  5. 제 4항에 있어서,
    상기 원영상 데이터는 3개의 컬러 성분으로 구성되며, 상기 원영상 데이터의 하나의 픽셀이 갖는 3개의 컬러 성분 각각의 이진값은 각각 A, B, C(A, B, C는 정수)이며, 상기 하나의 픽셀의 3개의 컬러 성분 전체의 비트수를 M(M은 정수)이라고 할 때, 상기 제 2 영상 데이터는 상기 A, B, C 중 적어도 하나의 이진값의 비트를 절단하여 상기 제 2 영상 데이터의 하나의 픽셀의 갖는 전체 비트수 m(m은 정수)이 상기 M보다 작도록 압축되며,
    상기 제 3 영상 데이터는 상기 m보다 작은 비트수 n(n은 정수)으로 표현가능한 2^n개의 컬러들 중 하나로 상기 원영상 데이터의 컬러를 매핑시키고, 상기 n개의 비트로 이루어진 컬러 인덱스값으로 출력됨으로써 압축되는 것을 특징으로 하는 적응적 영상 데이터 압축 방법.
  6. 제 1항에 있어서,
    상기 영상 데이터는 어플리케이션에 의하여 실행되어 스크린에 출력되는 스크린 영상이며, 상기 영상 데이터의 움직임 정보는 상기 어플리케이션의 유형에 기초하여 결정되는 것을 특징으로 하는 적응적 영상 데이터 압축 방법.
  7. 제 6항에 있어서,
    상기 어플리케이션 유형은 정지 영상, 텍스트 및 동영상 중 상기 어플리케이션 실행시 주로 출력되는 영상 데이터의 유형에 따라서 움직임이 적은 제 1 어플리케이션, 중간 움직임을 갖는 제 2 어플리케이션 및 움직임이 많은 제 3 어플리케이션으로 분류되는 것을 특징으로 하는 적응적 영상 데이터 압축 방법.
  8. 제 6항에 있어서,
    상기 스크린에 출력되는 스크린 영상에 복수 개의 어플리케이션이 포함된 경우, 상기 복수 개의 어플리케이션들 중 가장 움직임이 많은 어플리케이션에 기초하여 압축률을 결정하는 것을 특징으로 하는 적응적 영상 데이터 압축 방법.
  9. 적응적 영상 데이터 압축 장치에 있어서,
    영상 데이터의 움직임 정보에 기초하여, 상기 영상 데이터의 재생 비율 및 압축률을 결정하는 압축률 결정부; 및
    상기 결정된 재생 비율 및 압축률에 기초하여 상기 영상 데이터를 압축하여 출력하는 영상 데이터 압축부를 포함하는 것을 특징으로 하는 적응적 영상 데이터 압축 장치.
  10. 제 9항에 있어서,
    상기 압축률 결정부는
    상기 영상 데이터의 움직임에 따라서, 상기 영상 데이터의 움직임에 반비례하는 재생 비율과 상기 움직임에 비례하는 압축률을 결정하는 것을 특징으로 하는 적응적 영상 데이터 압축 장치.
  11. 제 9항에 있어서,
    상기 압축률 결정부는
    상기 영상 데이터의 움직임 정보에 기초하여, 상기 영상 데이터를 움직임이 적은 제 1 영상 데이터, 중간 움직임을 갖는 제 2 영상 데이터 및 움직임이 많은 제 3 영상 데이터로 분류하고, 상기 분류된 영상 데이터들 중 제 1 영상 데이터에 대해서는 가장 낮은 제 1 재생 비율 및 가장 작은 압축률을 갖는 제 1 압축률을 결정하며, 제 2 영상 데이터에 대해서는 중간의 재생 비율을 갖는 제 2 재생 비율 및 중간 압축률을 갖는 제 2 압축률을 결정하고, 제 3 영상 데이터에 대해서는 가장 높은 제 3 재생 비율 및 가장 높은 압축률을 갖는 제 3 압축률을 결정하는 것을 특징으로 하는 적응적 영상 데이터 압축 장치.
  12. 제 11항에 있어서,
    상기 제 1 영상 데이터는 무손실 압축 방식을 통해 압축되며, 상기 제 2 영상 데이터는 원영상 데이터의 하나의 픽셀이 갖는 비트수를 감소시키는 비트 절단에 의하여 압축되며, 상기 제 3 영상 데이터는 컬러 인덱스 테이블에 의하여 압축되는 것을 특징으로 하는 적응적 영상 데이터 압축 장치.
  13. 제 12항에 있어서,
    상기 원영상 데이터는 3개의 컬러 성분으로 구성되며, 상기 원영상 데이터의 하나의 픽셀이 갖는 3개의 컬러 성분 각각의 이진값은 각각 A, B, C(A, B, C는 정수)이며, 상기 하나의 픽셀의 3개의 컬러 성분 전체의 비트수를 M(M은 정수)이라고 할 때, 상기 제 2 영상 데이터는 상기 A, B, C 중 적어도 하나의 이진값의 비트를 절단하여 상기 제 2 영상 데이터의 하나의 픽셀의 갖는 전체 비트수 m(m은 정수)이 상기 M보다 작도록 압축되며,
    상기 제 3 영상 데이터는 상기 m보다 작은 비트수 n(n은 정수)으로 표현가능한 2^n개의 컬러들 중 하나로 상기 원영상 데이터의 컬러를 매핑시키고, 상기 n개의 비트로 이루어진 컬러 인덱스값으로 출력됨으로써 압축되는 것을 특징으로 하는 적응적 영상 데이터 압축 장치.
  14. 제 9항에 있어서,
    상기 영상 데이터는 어플리케이션에 의하여 실행되어 스크린에 출력되는 스크린 영상이며, 상기 영상 데이터의 움직임 정보는 상기 어플리케이션의 유형에 기초하여 결정되는 것을 특징으로 하는 적응적 영상 데이터 압축 장치.
  15. 제 14항에 있어서,
    상기 어플리케이션 유형은 정지 영상, 텍스트 및 동영상 중 상기 어플리케이션 실행시 주로 출력되는 영상 데이터의 유형에 따라서 움직임이 적은 제 1 어플리케이션, 중간 움직임을 갖는 제 2 어플리케이션 및 움직임이 많은 제 3 어플리케이션으로 분류되는 것을 특징으로 하는 적응적 영상 데이터 압축 장치.
PCT/KR2015/004457 2014-05-02 2015-05-01 적응적 영상 데이터 압축 방법 및 장치 WO2015167313A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2016563810A JP6412953B2 (ja) 2014-05-02 2015-05-01 適応的映像データ圧縮方法及びその装置
US15/307,172 US10757416B2 (en) 2014-05-02 2015-05-01 Method and device for adaptively compressing image data
CN201580022559.7A CN106256126B (zh) 2014-05-02 2015-05-01 用于自适应地压缩图像数据的方法和装置
EP15785812.7A EP3116228B1 (en) 2014-05-02 2015-05-01 Method and device for adaptively compressing image data

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2014-0053629 2014-05-02
KR1020140053629A KR101599888B1 (ko) 2014-05-02 2014-05-02 적응적 영상 데이터 압축 방법 및 장치

Publications (1)

Publication Number Publication Date
WO2015167313A1 true WO2015167313A1 (ko) 2015-11-05

Family

ID=54358941

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/004457 WO2015167313A1 (ko) 2014-05-02 2015-05-01 적응적 영상 데이터 압축 방법 및 장치

Country Status (6)

Country Link
US (1) US10757416B2 (ko)
EP (1) EP3116228B1 (ko)
JP (1) JP6412953B2 (ko)
KR (1) KR101599888B1 (ko)
CN (1) CN106256126B (ko)
WO (1) WO2015167313A1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9953613B2 (en) 2015-03-18 2018-04-24 Apple Inc. High speed display interface
CN106936995B (zh) * 2017-03-10 2019-04-16 Oppo广东移动通信有限公司 一种移动终端帧率的控制方法、装置及移动终端
CN107172428B (zh) * 2017-06-06 2019-06-28 西安万像电子科技有限公司 图像的传输方法、装置和系统
KR102444054B1 (ko) * 2017-09-14 2022-09-19 삼성전자주식회사 영상 처리 장치, 영상 처리 방법 및 컴퓨터 판독가능 기록 매체
CN110446041B (zh) * 2018-05-02 2021-11-19 中兴通讯股份有限公司 一种视频编解码方法、装置、系统及存储介质
CN109754443B (zh) * 2019-01-30 2021-04-20 京东方科技集团股份有限公司 图像数据转化方法、装置及存储介质
CN113747167A (zh) * 2020-05-27 2021-12-03 深圳绿米联创科技有限公司 图像压缩编码方法、装置及电子设备
DE102021117397A1 (de) * 2020-07-16 2022-01-20 Samsung Electronics Co., Ltd. Bildsensormodul, bildverarbeitungssystem und bildkomprimierverfahren
CN113596450B (zh) * 2021-06-28 2022-11-11 展讯通信（上海）有限公司 视频图像压缩方法、解压缩方法、处理方法及装置、设备
KR102573201B1 (ko) * 2022-08-19 2023-09-01 (주)에이아이매틱스 이미지 재건 기술 기반 영상 통신 비용 절감 시스템 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030018042A (ko) * 2001-05-10 2003-03-04 소니 가부시끼 가이샤 동화상 부호화 장치
KR20060109828A (ko) * 2005-04-18 2006-10-23 소니 가부시끼 가이샤 화상 신호 처리 장치, 카메라 시스템, 및 화상 신호 처리방법
KR20070090165A (ko) * 2004-11-15 2007-09-05 스미스 마이크로 소프트웨어, 인코포레이티드 디지털 이미지의 무손실 압축을 위한 시스템 및 방법
JP2011050104A (ja) * 2010-11-12 2011-03-10 Hitachi Ltd 符号化映像信号変換方法及び装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6337928B1 (en) 1996-08-26 2002-01-08 Canon Kabushiki Kaisha Image transmission apparatus and method therefor
JPH1066074A (ja) * 1996-08-26 1998-03-06 Canon Inc 画像送信装置
JPH11298890A (ja) * 1998-04-13 1999-10-29 Hitachi Ltd 画像データの圧縮又は伸張方法とその装置、並びに、それを用いた画像伝送システム及び監視システム
US20030189980A1 (en) * 2001-07-02 2003-10-09 Moonlight Cordless Ltd. Method and apparatus for motion estimation between video frames
JP2004023670A (ja) * 2002-06-19 2004-01-22 Nec Corp 画像符号化装置および同方式
JP4586328B2 (ja) * 2002-12-11 2010-11-24 ソニー株式会社 情報処理システム、情報処理装置および方法、記録媒体、並びにプログラム
JP2006074635A (ja) 2004-09-06 2006-03-16 Hitachi Ltd 符号化映像信号変換方法及び装置
JP2006109266A (ja) * 2004-10-07 2006-04-20 Matsushita Electric Ind Co Ltd ビデオ復号化装置
US7397959B1 (en) 2005-01-04 2008-07-08 Smith Micro Software, Inc. Detection and recompression of embedded compressed data inside existing data streams
US7898535B2 (en) 2006-10-31 2011-03-01 Dell Products, Lp System and method for providing dynamic refresh rates for displays
JP2008311831A (ja) * 2007-06-13 2008-12-25 Panasonic Corp 動画像通信装置、動画像通信システムおよび動画像通信用の半導体集積回路
KR101540138B1 (ko) 2007-12-20 2015-07-28 퀄컴 인코포레이티드 적응적 조사영역을 갖는 모션추정 장치 및 방법
US8406296B2 (en) * 2008-04-07 2013-03-26 Qualcomm Incorporated Video refresh adaptation algorithms responsive to error feedback
US20100225640A1 (en) 2009-03-03 2010-09-09 Vieri Carlin J Switching Operating Modes of Liquid Crystal Displays
JP5656575B2 (ja) * 2010-11-11 2015-01-21 三菱電機株式会社 画像符号化装置
US8749541B2 (en) * 2012-04-05 2014-06-10 Apple Inc. Decreasing power consumption in display devices

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030018042A (ko) * 2001-05-10 2003-03-04 소니 가부시끼 가이샤 동화상 부호화 장치
KR20070090165A (ko) * 2004-11-15 2007-09-05 스미스 마이크로 소프트웨어, 인코포레이티드 디지털 이미지의 무손실 압축을 위한 시스템 및 방법
KR20060109828A (ko) * 2005-04-18 2006-10-23 소니 가부시끼 가이샤 화상 신호 처리 장치, 카메라 시스템, 및 화상 신호 처리방법
JP2011050104A (ja) * 2010-11-12 2011-03-10 Hitachi Ltd 符号化映像信号変換方法及び装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3116228A4 *

Also Published As

Publication number Publication date
US10757416B2 (en) 2020-08-25
EP3116228A4 (en) 2017-10-18
KR20150126221A (ko) 2015-11-11
JP6412953B2 (ja) 2018-10-24
JP2017517940A (ja) 2017-06-29
CN106256126B (zh) 2020-04-14
US20170054984A1 (en) 2017-02-23
EP3116228B1 (en) 2020-10-07
KR101599888B1 (ko) 2016-03-04
CN106256126A (zh) 2016-12-21
EP3116228A1 (en) 2017-01-11

Similar Documents

Publication Publication Date Title
WO2015167313A1 (ko) 적응적 영상 데이터 압축 방법 및 장치
US10460699B2 (en) Transitioning between video priority and graphics priority
KR102135841B1 (ko) 높은 다이내믹 레인지 이미지 신호의 생성 및 처리
AU2021201048A1 (en) A method and apparatus of encoding and decoding a color picture
CN103841389B (zh) 一种视频播放方法及播放器
US8184127B2 (en) Apparatus for and method of generating graphic data, and information recording medium
US20180005357A1 (en) Method and device for mapping a hdr picture to a sdr picture and corresponding sdr to hdr mapping method and device
CN107211142B (zh) 对彩色图像进行解码的方法和设备
CN108352076B (zh) 编码和解码方法及对应设备
US7554563B2 (en) Video display control apparatus and video display control method
US20050275603A1 (en) Display apparatus and display system using the same
WO2021004176A1 (zh) 一种图像处理的方法及装置
KR20150002440A (ko) 영상처리장치 및 영상처리방법
US20180103258A1 (en) Video encoding method, video decoding method, video encoder, and video decoder
EP1850290B1 (en) Image processing apparatus and method for preventing degradation of image quality when bit format of image is converted
KR102449634B1 (ko) 적응적 컬러 그레이드 보간 방법 및 디바이스
US20200365098A1 (en) Packing of subpixel rendered data for display stream compression
WO2019092392A1 (en) Method and system for processing display data

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15785812

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2015785812

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015785812

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2016563810

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15307172

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE