WO2019045297A1 - 영상처리장치 및 그 제어방법 - Google Patents

영상처리장치 및 그 제어방법 Download PDF

Info

Publication number
WO2019045297A1
WO2019045297A1 PCT/KR2018/008823 KR2018008823W WO2019045297A1 WO 2019045297 A1 WO2019045297 A1 WO 2019045297A1 KR 2018008823 W KR2018008823 W KR 2018008823W WO 2019045297 A1 WO2019045297 A1 WO 2019045297A1
Authority
WO
WIPO (PCT)
Prior art keywords
processing
unit
signal
post
section
Prior art date
Application number
PCT/KR2018/008823
Other languages
English (en)
French (fr)
Inventor
코스게테츠오
Original Assignee
삼성전자(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자(주) filed Critical 삼성전자(주)
Priority to US16/640,204 priority Critical patent/US11463699B2/en
Publication of WO2019045297A1 publication Critical patent/WO2019045297A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Definitions

  • the present invention relates to an image processing apparatus and a control method thereof, and more particularly, to an image processing apparatus and a control method thereof that can reduce a circuit cost while processing a video signal at a high speed.
  • the length of entropy coding is not constant for each block of the image.
  • the length variation of the entropy coding for each block of the image is very severe. Accordingly, the time taken to decode the video signal encoded by the entropy coding also varies greatly from block to block. This results in a waiting time from decryption to the next processing. And the processing speed of the video signal is slowed down by the waiting time.
  • One of the related techniques was to solve the above problem by using a plurality of decoders themselves.
  • a plurality of decoders are used, there is still a problem that latency is generated in the post-processing unit in each decoder, and there is also a problem that the total number of circuits increases by the number of decoders increased and the cost rises.
  • an object of the present invention is to provide an image processing apparatus capable of reducing a circuit cost while processing a video signal at a high speed.
  • an image processing apparatus including: a video signal receiving unit for receiving a video signal; A first pre-processing unit for sequentially processing a predetermined section of the received video signal to generate a first intermediate signal; A second pre-processing unit arranged in parallel with the first pre-processing unit to sequentially process other sections of the video signal to generate a second intermediate signal; A storage unit for storing the first intermediate signal and the second intermediate signal; And a post-processing unit for performing signal processing on the first and second intermediate signals stored in the storage unit, the size of the interval being determined by the processing speeds of the first pre-processing unit and the second pre- . According to this, the circuit cost can be reduced while processing the video signal at a high speed.
  • the section may include a signal sequentially referenced in the first preprocessor or the second preprocessor. Accordingly, since all the information necessary for signal processing of the corresponding section is not required to be referenced to each other by the first and second preprocessing sections 302 and 303 within the corresponding section, the first and second preprocessing sections 302, and 303 are arranged in parallel is maximized and the processing speed is further improved.
  • the first preprocessing unit and the second preprocessing unit may perform binary arithmetic decoding on the video signal. According to the present invention, since the image processing of the present invention can be performed on an image signal encoded using a binary arithmetic coding entropy coding method, it is possible to reduce the cost while processing image signals at a high speed even for UHD (Ultra High Definition) have.
  • UHD Ultra High Definition
  • first preprocessing unit and the second preprocessing unit process the next section of the video signal while the post-processing unit processes the first and second intermediate signals of the section stored in the storage unit, .
  • the image processing apparatus may include a controller for adjusting the size of the section based on the real-time processing speed of the first pre-processing section, the second pre-processing section, and the post-processing section. Accordingly, even if the processing speeds of the preprocessing units 302 and 303 or the post-processing unit 305 are changed, it is possible to adaptively adjust the processing speed of the image processing apparatus, It is possible to perform image processing at a high speed without image disconnection or loss of an intermediate signal.
  • the image processing apparatus may include a compression unit for compressing the first and second intermediate signals and storing the compressed first and second intermediate signals in the storage unit. According to this, the time required for storing the intermediate signal in the storage unit and reading the intermediate signal from the storage unit can be reduced, thereby improving the image processing performance. In addition, the burden on the hardware can be reduced, which is economical.
  • the compression unit may include a separator for separating and outputting a first portion for performing compression from the first and second intermediate signals. According to the present invention, since data having high compression efficiency and data not having high compression efficiency are separated and compressed, the intermediate signal can be compressed more efficiently, and the image processing performance is further improved.
  • the separator may separate the first portion based on the similarity between the signal amount and the signal.
  • the compressed data output by the compression unit may include at least one of information for the post-processing unit control, information on the predetermined section, and information for decompressing the first part.
  • a method of controlling an image processing apparatus including: receiving a video signal; Sequentially processing a predetermined period of the received video signal to generate a first intermediate signal; Generating a second intermediate signal by sequentially processing another section of the video signal in parallel with the first intermediate signal generation step; Storing the first intermediate signal and the second intermediate signal; And a post-processing step of performing signal processing on the stored first and second intermediate signals, wherein a size of the section corresponds to a processing speed of the first preprocessing unit and the second preprocessing unit and a processing speed of the post-processing unit do. According to this, the circuit cost can be reduced while processing the video signal at a high speed.
  • the interval may include a signal sequentially referenced in the first intermediate signal generation step and the second intermediate signal generation step. Accordingly, since all the information necessary for signal processing of the corresponding section is not required to be referenced to each other by the first and second preprocessing sections 302 and 303 within the corresponding section, the first and second preprocessing sections 302, and 303 are arranged in parallel is maximized and the processing speed is further improved.
  • the first intermediate signal generating step and the second intermediate signal generating step may perform binary arithmetic decoding on the video signal.
  • the image processing of the present invention can be performed on an image signal encoded using a binary arithmetic coding entropy coding method, it is possible to reduce the cost while processing image signals at a high speed even for UHD (Ultra High Definition) have.
  • the first intermediate signal generating step and the second intermediate signal generating step may process the next section of the video signal, respectively.
  • the aero control method may include adjusting the size of the interval based on the real-time processing speed of the first and second intermediate signal generation steps and the post-processing step. Accordingly, even if the processing speeds of the preprocessing units 302 and 303 or the post-processing unit 305 are changed, it is possible to adaptively adjust the processing speed of the image processing apparatus, It is possible to perform image processing at a high speed without image disconnection or loss of an intermediate signal.
  • the control method may include compressing the first and second intermediate signals. According to this, the time required for storing the intermediate signal in the storage unit and reading the intermediate signal from the storage unit can be reduced, thereby improving the image processing performance. In addition, the burden on the hardware can be reduced, which is economical.
  • the compressing may comprise separating a first portion to perform compression from the first and second intermediate signals. According to the present invention, since data having high compression efficiency and data not having high compression efficiency are separated and compressed, the intermediate signal can be compressed more efficiently, and the image processing performance is further improved.
  • the separating step may separate the first part based on the similarity between the signal amount and the signal.
  • the compressed data generated in the compressing step may include at least one of information for controlling the post-processing step, information about the predetermined section, and information for decompressing the first part.
  • a computer program stored in a medium for executing any one of the control methods in combination with an image processing apparatus.
  • the computer program may be stored in a medium in a server and downloaded to the image processing apparatus via a network.
  • FIG. 1 is a block diagram illustrating an image processing apparatus according to an embodiment of the present invention
  • FIG. 2 is a diagram showing the relationship between the length of the entropy coding and the image block in the video signal
  • FIG. 3 is a diagram illustrating a configuration of an image processing apparatus according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating a control method of an image processing apparatus according to an embodiment of the present invention.
  • FIG. 5 is a diagram illustrating an operation of an image processing apparatus according to an embodiment of the present invention.
  • FIG. 6 is a diagram illustrating a control method of an image processing apparatus according to another embodiment of the present invention.
  • FIG. 7 is a diagram illustrating a detailed configuration of a post-processing unit according to an embodiment of the present invention.
  • FIG. 8 is a diagram showing a configuration of an image processing apparatus according to another embodiment of the present invention.
  • FIG. 9 is a diagram illustrating a control method of an image processing apparatus according to another embodiment of the present invention.
  • FIG. 10 is a diagram showing a detailed configuration of a data compression unit according to another embodiment of the present invention.
  • FIG. 11 is a diagram showing a structure of compressed data according to another embodiment of the present invention.
  • FIG. 12 shows a configuration of a decompression unit according to still another embodiment of the present invention.
  • &quot comprising, " " including, " " having ", and the like, Or < / RTI >
  • 'module' or 'sub-module' performs at least one function or operation, and may be implemented in hardware or software, or a combination of hardware and software, And may be implemented as at least one processor.
  • FIG. 1 illustrates an image processing apparatus according to an embodiment of the present invention.
  • the image processing apparatus 100 according to an embodiment of the present invention can be implemented, for example, as a set-top box.
  • the image processing apparatus 100 according to another embodiment of the present invention may be applied to a display device including a display unit such as a smart phone, a tablet, a mobile phone, a smart watch, a head-mounted display, , A computer, a multimedia player, an electronic photo frame, a digital billboard, a large format display (LFD), a digital signage, and the like.
  • the image processing apparatus 100 according to an embodiment of the present invention is not limited thereto, and any apparatus capable of processing a video signal can be used.
  • FIG. 3 is a diagram illustrating a configuration of an image processing apparatus according to an embodiment of the present invention.
  • the image processing apparatus 100 according to an exemplary embodiment of the present invention includes a video signal receiving unit 301, a first preprocessing unit 302, a second preprocessing unit 303, a storage unit 304, .
  • the configuration of the image processing apparatus 100 shown in FIG. 3 is only an example, and the image processing apparatus according to an embodiment of the present invention may be implemented with other configurations. That is, the image processing apparatus according to the embodiment of the present invention may be implemented by adding a configuration other than the configuration shown in FIG. 3, or by excluding some of the configurations shown in FIG.
  • the video signal receiving unit 301 receives the video signal.
  • the video signal receiving unit 301 may include a tuner for receiving a video signal of the same type as a broadcast signal.
  • the tuner can receive and receive a broadcast signal of any one of a plurality of channels selected by the user.
  • the video signal receiving unit 301 may receive a video signal from an external device such as a camera, a server, a USB storage device, a DVD, a computer, or the like.
  • the video signal receiving unit 301 may include a communication unit for communicating with an external device and receiving a video signal.
  • the communication unit is implemented in various ways depending on the external device.
  • the communication unit includes a connection unit for wired communication, and the connection unit transmits / receives signals / data according to standards such as HDMI (High Definition Multimedia Interface), HDMI-CFC (Consumer Electronics Control), USB, And includes at least one connector or terminal corresponding to each of these specifications.
  • the communication unit can perform wired communication with a plurality of servers through a wired LAN (Local Area Network).
  • the communication unit may be implemented by various other communication methods in addition to the connection unit including the connector or terminal for wired connection.
  • it may include an RF circuit for transmitting / receiving an RF (Radio Frequency) signal to perform wireless communication with an external device, and may be a Wi-Fi, a Bluetooth, a Zigbee, USB, Near Field Communication (NFC), or the like.
  • RF Radio Frequency
  • the first preprocessing unit 302 sequentially processes a predetermined section of the video signal received through the video signal receiving unit 301 to generate a first intermediate signal.
  • the predetermined 'interval' of the video signal is a part of the video signal, which is processed by the first preprocessing unit 302 continuously or sequentially, and is generated as a first intermediate signal for storing the result in the storage unit 304 Which is a reference unit in the video signal.
  • the predetermined section include a section corresponding to one or a plurality of frames of an image, a section corresponding to a unit block used in entropy coding or encoding within one frame, and the like.
  • the predetermined period is not limited thereto, and any period corresponding to a part of the video signal is possible.
  • the processing in the first preprocessing section 302 is a processing for sequentially performing a predetermined section of a video signal, for example, a processing for decoding a video signal encoded by entropy coding for a large- Signal processing.
  • preprocessing a processing for sequentially performing a predetermined section of a video signal, for example, a processing for decoding a video signal encoded by entropy coding for a large- Signal processing.
  • the first preprocessing unit 302 may correspond to an entropy decoding unit have.
  • the pretreatment is not limited thereto.
  • the time taken to process each detail unit in the section may not be constant in the preprocessing.
  • the second preprocessing unit 303 is arranged in parallel with the first preprocessing unit 302 and sequentially processes other sections of the video signal received through the video signal receiving unit 301 to generate a second intermediate signal. Otherwise, the description in the first preprocessing section 302 is applied as it is.
  • the storage unit 304 stores the first and second intermediate signals generated by the first preprocessing unit 302 and the second preprocessing unit 303.
  • the storage unit 304 may include a nonvolatile memory such as a flash memory, an EPROM, or an EEPROM, and may include a volatile memory such as a DRAM or SRAM.
  • the post-processing unit 305 performs signal processing on the first and second intermediate signals stored in the storage unit 304.
  • the signal processing (hereinafter, also referred to as "post-processing") in the post-processing unit 305 is performed by the first preprocessing unit 302 or the second preprocessing unit 303, And any signal processing that can be performed on the second intermediate signal.
  • the post-processing unit 305 performs inverse quantization, At least a part of processing such as inverse transform processing, intra prediction, motion compensation, deblocking filter application, sample adaptive offset filter application, But is not limited thereto.
  • FIG. 4 illustrates a control method of an image processing apparatus according to an embodiment of the present invention.
  • the signal receiving unit 301 of the image processing apparatus 100 receives a video signal (S401).
  • the first preprocessing unit 302 of the image processing apparatus 100 sequentially processes a predetermined section of the received video signal to generate a first intermediate signal, (304) (S402).
  • the second preprocessing unit 303 sequentially processes other sections of the video signal to generate a second intermediate signal and stores it in the storage unit 304 (S403).
  • the post-processing unit 305 performs signal processing on the first and second intermediate signals stored in the storage unit 304 (S404).
  • the first and second pre-processing units 302 and 303 (collectively referred to as a pre-processing unit) Processing unit 305 for performing post-processing on the first and second intermediate signals (hereinafter, collectively referred to as "intermediate signals") subjected to the preprocessing on the video signal, And operate independently.
  • the post-processing unit 305 processes the signals of the preprocessing units 302 and 303 while the preprocessing units 302 and 303 process signals of a predetermined interval to generate intermediate signals and store them in the storage unit 304 It is only necessary to check whether there is an intermediate signal to be post processed in the storage unit 304, and the intermediate signal is post-processed without referring to the situation.
  • the post-processing unit 305 is reduced and the video signal processing speed is lower than that of the related art in which the post- .
  • the post-processing unit can have a smaller number of preprocessing units even if the number of the preprocessing units is the same as that of the related art in which each preprocessing unit corresponding to each preprocessing unit has to be separately provided. The video signal processing can be performed economically.
  • the image processing apparatus 100 may be configured such that the storage unit 304 mediates only the preprocessing units 302 and 303 and the postprocessing unit 305, Since the post-processing unit 305 itself does not refer to each other but operates independently of each other, the post-processing unit 305 does not affect the time required for processing the predetermined period by the preprocessing units 302 and 303 I do not accept. Further, since the preprocessing units 302 and 303 sequentially process video signals of a predetermined section, the present invention can also be applied to a video signal that must refer to a processing result of a previous signal in processing a specific signal within a predetermined section Do.
  • the size of the 'section' which is the processing unit of the preprocessing units 302 and 303 corresponds to the processing speed of the preprocessing units 302 and 303 and the processing speed of the post-processing unit 305.
  • the size of the section does not correspond to the processing speed of the preprocessing sections 302 and 303 and the processing speed of the post-processing section 305, even if the processing speed of the post-processing section 305 is faster than the processing speed of the preprocessing sections 302 and 303
  • the amount of the intermediate signal input to the storage unit 304 is smaller than the amount of the intermediate signal input to the storage unit 304 from the storage unit 304
  • the intermediate signal to be processed by the post-processing unit 305 does not remain in the storage unit 304 at a certain point of time because the output of the intermediate signal is small.
  • the processing speed of the preprocessing units 302 and 303 is faster than the processing speed of the post-processing unit 305, when the size of the section processed by the preprocessing units 302 and 303 per unit time is not matched with the processing speed of the post-processing unit 305 , The intermediate signal continues to be accumulated in the storage unit 304. If the accumulated amount of the intermediate signal exceeds the storage capacity of the storage unit, an intermediate signal is generated which is covered with another intermediate signal before being post-processed by the post-processing unit 305, resulting in signal loss. If the size of the section is set so as to correspond to the processing speed of the preprocessing sections 302 and 303 and the processing speed of the post-processing section 305, this phenomenon can be prevented. As a result, image processing can be performed at high speed without image interruption due to the occurrence of a waiting time or loss of an intermediate signal.
  • the image processing apparatus 100 includes two pre-processing units 302 and 303 and one post-processing unit as described above, the number of the preprocessing unit and the post-processing unit is limited thereto It is not.
  • the number of the preprocessing unit and the post-processing unit can be changed depending on the time required for the preprocessing and the time required for the post-processing for the video signal.
  • FIG. 5 illustrates the operation of the image processing apparatus according to an embodiment of the present invention in more detail.
  • FIG. 5 for convenience of description, an example in which the processing unit of the preprocessing units 302 and 303 corresponds to each frame of the image is shown.
  • the section is not limited thereto.
  • the first preprocessing unit 302 of the image processing apparatus 100 processes an image signal corresponding to the Nth frame (or the frame [N]) of the received image signals.
  • the second preprocessing unit 303 arranged in parallel with the first preprocessing unit 302 processes the video signal corresponding to the (N + 1) -th frame.
  • each of the preprocessing units 302 and 303 outputs the intra- And sequentially processes the video signal of each frame.
  • the preprocessing units 302 and 303 generate an intermediate signal after storing the image signals of the respective frames, and store them in the storage unit 304 (1 & cir & Since the size of the video signal corresponding to each entropy-coded frame may be different and the total time taken to decode the same may differ from one video signal to another, even if the size of the video signal is the same, 2 preprocessor 303 simultaneously starts the processing of the video signal of each frame, the time at which each intermediate signal is generated and stored in the storage unit 304 may be different.
  • the post-processing unit 305 reads the intermediate signal from the storage unit 304 and performs signal processing on the intermediate signal . That is, the post-processing unit 305 can perform post-processing without waiting for the processing results of the preprocessing units 302 and 303 each time. However, during the absence of the intermediate signal stored in the storage unit 304, for example, until the first intermediate signal is generated in the preprocessing units 302 and 303 and stored in the storage unit 304, the post- The first image processing time may be delayed. However, after that, it is possible to perform the post-processing independently without waiting for the processing result of the preprocessing units 302 and 303.
  • the post-processing unit 305 processes the video signal of the N-th frame in the first preprocessing unit 302 to generate the N-th intermediate signal and stores the generated N-th intermediate signal in the storage unit 304, It is possible to read the Nth intermediate signal from the storage unit 304 and perform post-processing on the Nth intermediate signal.
  • the post-processing of the (N + 1) th intermediate signal is completed, the (N + 1) th intermediate signal can be read from the storage unit 304 and the post-processing can be continuously performed on the N + 1 intermediate signal.
  • the post-processing unit 305 processes the first and second intermediate signals of the predetermined interval stored in the storage unit 304 as described above, the first preprocessing unit 302 and the second preprocessing unit 303 respectively generate the upper The next section of the video signal can be processed. That is, while the post-processing unit 305 processes the (N + 1) -th intermediate signal corresponding to the video signal of the N-th frame stored in the storage unit 304 and the video signal of the (N + 1) , The first preprocessing unit 302 can process the video signal of the (N + 2) -th frame and the second preprocessing unit 303 can process the video signal of the (N + 3) .
  • the processing speeds of the preprocessing units 302 and 303 and the processing speed of the post-processing unit 305 are balanced, for example, while the post-processing unit 305 processes the intermediate signals corresponding to two frames on average. If the video signals corresponding to one frame can be processed by the video processing apparatuses 302 and 303, the video processing apparatus 100 can perform processing on the video signals without waiting time in the post-processing unit, The image processing speed is improved.
  • the 'processing unit' of the preprocessing units 302 and 303 is sequentially referred to in the preprocessing of the video signals by the preprocessing units 302 and 303 Signal.
  • the contents of the preprocessing to be processed in the preprocessing units 302 and 303 are binary arithmetic decoding
  • a preprocessor for a video signal corresponding to one 'frame' And sequentially refers to the preprocess results for the video signal corresponding to the block. Therefore, in this case, if the predetermined section includes the sequentially referenced signal in preprocessing the video signal, the predetermined section includes each frame.
  • the predetermined section is not limited to correspond to one frame, and it may correspond to a plurality of frames. That is, the preprocessing units 302 and 303 can perform preprocessing with a plurality of frames as a predetermined unit. Accordingly, since all the information necessary for signal processing of the corresponding section is not required to be referenced to each other by the first and second preprocessing sections 302 and 303 within the corresponding section, the first and second preprocessing sections 302, and 303 are arranged in parallel is maximized and the processing speed is further improved.
  • the pre-processing units 302 and 303 may perform binary arithmetic decoding on the received video signal.
  • the post-processing unit 305 may perform the remaining post-processing on the intermediate signal subjected to the binary arithmetic decoding processing.
  • the post-processing unit 305 at this time can be configured as shown in Fig. 7, for example.
  • the post-processing unit 305 includes an inverse quantization unit 701, an inverse transform unit 702, An intra prediction 703, a motion compensation 704, a neighbor data buffer 705, a deblocking filter 706, a sample adaptive offset filter 704, Filter)
  • the configuration of the post-processing unit 305 is not limited thereto. According to the present invention, since the image processing of the present invention can be performed on an image signal encoded using a binary arithmetic coding entropy coding method, it is possible to reduce the cost while processing image signals at a high speed even for UHD (Ultra High Definition) have.
  • UHD Ultra High Definition
  • the image processing apparatus 100 may include a control unit for adjusting the size of a predetermined section based on the real-time processing speed of the preprocessing units 302 and 303 and the post- A control method of the image processing apparatus according to another embodiment of the present invention will be described with reference to FIG.
  • the signal receiving unit 301 of the image processing apparatus 100 receives a video signal (S601). Thereafter, the image processing apparatus 100 sets the sizes of sections to be processed in the preprocessing sections 302 and 303 (S602).
  • the size of the interval may be set to a default value or set to a value used in the immediately preceding image processing.
  • the present invention is not limited thereto.
  • the first preprocessing unit 302 of the image processing apparatus 100 sequentially processes a predetermined section of the received video signal to generate a first intermediate signal, (S603).
  • the second preprocessing unit 303 sequentially processes other sections of the video signal to generate a second intermediate signal and stores it in the storage unit 304 (S604).
  • the post-processing unit 305 performs signal processing on the first and second intermediate signals stored in the storage unit 304 (S605).
  • the control unit of the image processing apparatus 100 includes the preprocessing units 302 and 303 and the postprocessing unit 305 can be measured in real time. Then, based on the measurement result, the control unit determines whether to change the size of the section to be processed in the preprocessing units 302 and 303 (S606), and changes the size of the predetermined section if necessary, The size of the section is changed and processed.
  • the controller does not change the size of the section.
  • the control unit can increase the size of the section to be sequentially processed by each preprocessing unit to 'four frames'.
  • the control unit can increase the size of the section to be sequentially processed by each preprocessing unit to 'six frames'.
  • preprocessing is performed for each image 'block', which is a reference unit used in entropy coding for one frame image
  • an example of performing post-processing are considered.
  • the preprocessing units 302 and 303 perform preprocessing on a video signal in units of a predetermined 'interval' to generate an intermediate signal
  • the post- The post-processing is performed on the intermediate signal generated in the 'interval' unit.
  • the predetermined 'interval' may be one frame in addition to 'block', or may be a plurality of frames. Accordingly, the data size of the intermediate signal stored in the storage unit 304 and read from the storage unit 304 may be much larger than the data size of the existing image 'block'. It may take a long time to store an intermediate signal having a large data size in the storage unit 304 and read it from the storage unit 304. There is also a need for a hardware capable of transmitting and storing data of a large size So that it can become a burden on the cost.
  • the image processing apparatus 100 includes compressors 810 and 820 that compress the pre-processed intermediate signal and store the compressed intermediate signal in the storage unit 304. Furthermore, the image processing apparatus 100 may further include a decompression unit 830 for reading the compressed and stored intermediate signal from the storage unit 304 and decompressing the intermediate signal.
  • compression units 810 and 820 are provided corresponding to the respective preprocessing units. That is, the compression unit includes a compression unit 810 that compresses the first intermediate signal generated by the first preprocessing unit 302, a compression unit 820 that compresses the second intermediate signal generated by the second preprocessing unit 303, .
  • the configuration of the compression unit is not limited thereto, and for example, the compression unit may be provided in a different number than the number of the preprocessing units.
  • the compressing units 810 and 820 can compress the original data in an increasing order of compressibility, for example, in a sequence in which the sum of absolute differences from previous data is minimized.
  • FIG. 9 shows a control method of the image processing apparatus 100 according to still another embodiment of the present invention.
  • FIG. 9 relates to a case where a predetermined section is set on a frame basis, but the predetermined section is not limited to a frame unit in the present invention.
  • the signal receiving unit 301 of the image processing apparatus 100 receives a video signal (S901).
  • the first preprocessing unit 302 of the image processing apparatus 100 sequentially processes the first frame of the received video signal to generate a first intermediate signal (S902).
  • the compression unit 810 compresses the first intermediate signal generated by the first preprocessing unit 302 and stores the compressed first intermediate signal in the storage unit 304 (S903).
  • the second preprocessor 303 sequentially processes another section of the video signal, for example, the second frame to generate a second intermediate signal (S904) .
  • the compression unit 820 compresses the second intermediate signal generated by the second preprocessing unit 302 and stores it in the storage unit 304 (S905).
  • the decompression unit 830 loads the first and second intermediate signals compressed and stored in the storage unit 304 so that the post-processing unit 305 can process the first and second intermediate signals, (S906). Then, the post-processing unit 305 performs signal processing on the decompressed first and second intermediate signals (S907). Further, the post-processing unit 305 may generate a result of the signal processing as an output signal and output it as an image.
  • the time required for storing the intermediate signal in the storage unit and reading the intermediate signal from the storage unit can be reduced, thereby improving the image processing performance.
  • the burden on the hardware can be reduced, which is economical.
  • the image processing apparatus 100 including the compressing units 810 and 820 can perform compression by dividing a portion suitable for compression and a portion not suitable for compression among intermediate signals. This will be described with reference to FIG.
  • the compression units 810 and 820 of the image processing apparatus 100 may include a separation unit 812 for separating and outputting a first portion to be compressed from an intermediate signal.
  • a compression unit 812 for compressing the first part and a compressed data generation unit 813 for receiving the compressed first part and the remaining uncompressed part to generate compressed data.
  • the separating unit 812 discriminates between the portion suitable for compression and the portion not suitable for compression, and the first portion suitable for compression is sent to the compressing unit 812 so that compression is performed. And sends it to the data generation unit 813.
  • the compressed data generation unit 813 receives compressed data for the first part by the compression unit 812 and data for which compression has not been performed by the separation unit 812.
  • the compressed data generation unit 813 generates compressed data therefrom, 304).
  • the intermediate signal can be compressed more efficiently, and the image processing performance is further improved.
  • the separating part 811 can separate the first part based on the similarity between the signal amount and the signal. For example, if the intermediate signal has a large amount of signal and the similarity between the signals is large, the compression efficiency may be higher than the other portions, so that the separator 811 can separate the intermediate signal into the first portion.
  • the compression unit 812 removes the similarity between the coefficient data by DPCM (Differential Pulse-Code Modulation) on the first part, and performs Golomb-Rice Coding Thereby reducing the amount of information.
  • DPCM Different Pulse-Code Modulation
  • the compression unit 812 determines whether or not the coefficient data corresponding to the processed first part are all 0, and if not, outputs All_0_Flag and compressed data after setting All_0_Flag to False , And if it is true, that is, if the coefficient data is all 0, the All_0_Flag is set to True and the compressed data is not output separately.
  • FIG. 11 shows an example of a compressed data structure generated by the compressed data generation unit 813 of the image processing apparatus 100 according to another embodiment of the present invention.
  • the compressed data may include at least one of information for controlling the post processor, information about the predetermined section itself, and information for decompressing the first section.
  • FIG. 11 shows a case where binary arithmetic coding is used as an entropy coding method for an image signal by setting a section corresponding to one image 'frame' to a predetermined section, and when coefficient data is used as a first part to be compressed
  • Compressed data 1100 shown in Fig. 11 includes post-processing unit control information 1110, which is information for post-processing unit control, information on a predetermined section itself Information 1120, a compressed data header 1130 which is information for decompressing the first part, and compressed data 1140.
  • the frame-related information 1120 may include information corresponding to the size of a 'block' that is a unit of entropy coding in a frame, a motion vector, etc., as data other than the first partial data.
  • the compressed data header 1130 which is an example of information for releasing the first partial compression, may include information corresponding to All_0_Flag, Scan Information containing information on a scan direction to be used in decompression, and the like.
  • Compressed data 1100 may also include actually compressed data, e.g., compressed coefficient data 1140. [ However, the compressed data is not limited to such a structure.
  • the compressing units 810 and 820 of the image processing apparatus 100 include the separating unit 811, that is, the compressing units 810 and 820 compress
  • the decompression unit 830 can also be designed to cope with the compression. 12
  • the decompression unit 830 may include a decomposition unit 831, a decompression unit 832, a rearrangement unit 833, and a decompression data generation unit 834, for example.
  • the separating unit 831 of the decompression unit 830 separates the actually compressed data from the compressed data and the not compressed data. For example, when the compressed data stored in the storage unit 304 and input to the decompression unit 830 has the form of FIG. 11, the separation unit 831 extracts the actually compressed data And outputs the restored data to the restored data generation unit 834.
  • the restored data generation unit 834 generates the restored data by using the restored data.
  • the restoring unit 832 receives the compressed coefficient data 1140 from the separating unit 831 and restores the compressed data. More specifically, the restoring unit 832 checks All_0_Flag of the compressed data header 1130. When All_0_Flag is set to True, the restoring unit 832 restores the data by generating and outputting a predetermined number of data corresponding to 0. If All_0_Flag is False If it is set, the Golomb-Rice decoding process is performed and then the DPCM (Differential Pulse-Code Modulation) restoration process is performed.
  • All_0_Flag is set to True
  • the restoring unit 832 restores the data by generating and outputting a predetermined number of data corresponding to 0. If All_0_Flag is False If it is set, the Golomb-Rice decoding process is performed and then the DPCM (Differential Pulse-Code Modulation) restoration process is performed.
  • DPCM Different Pulse-Code Modulation
  • the reordering unit 833 rearranges the restored data so as to have the same arrangement as the data before being compressed.
  • the compressing units 810 and 820 can compress the original data in the order of increasing the compression rate, for example, in order that the sum of the absolute differences from the previous data is minimized.
  • the decompression unit 830 may also rearrange the decompressed data according to the above order so that data having the same arrangement as the data before being compressed can be generated.
  • the reordering unit 833 can use a reordering table, and the values of the reordering table can be changed so as to correspond to various compression sequences.
  • Decompression data generation unit 834 After receiving the decompressed data transmitted from the decomposition unit 831 and the data decompressed through the decompression unit 832 and the reordering unit 833 and having the same arrangement as the original data , And generates restored data, which is the same signal as the intermediate signal before being compressed, and transmits it to the post-processing unit 305.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 영상처리장치에 관한 것으로서, 본 발명의 영상처리장치는, 영상신호를 수신하는 영상신호수신부; 상기 수신된 영상신호의 소정 구간을 순차적으로 처리하여 제1중간신호를 생성하는 제1전처리부; 상기 제1전처리부와 병렬 배치되어 상기 영상신호의 다른 구간을 순차적으로 처리하여 제2중간신호를 생성하는 제2전처리부; 상기 제1중간신호 및 제2중간신호를 저장하는 저장부; 및 상기 저장부에 저장된 제1 및 제2중간신호에 대하여 신호 처리를 수행하는 후처리부를 포함하며, 상기 구간의 크기는 상기 제1전처리부와 제2전처리부의 처리속도 및 상기 후처리부의 처리속도에 대응한다. 이에 의하면, 영상신호를 고속으로 처리하면서도 회로 비용을 절감할 수 있다.

Description

영상처리장치 및 그 제어방법
본 발명은 영상처리장치 및 그 제어방법에 관한 것으로서, 보다 구체적으로는 영상신호를 고속으로 처리하면서도 회로 비용을 절감할 수 있는 영상처리장치 및 그 제어방법에 관한 것이다.
최근 4K-TV의 방송이 시작되고 휴대폰의 화면을 TV 화면에 표시하는 미러링(Mirroring) 기술 등이 보급되면서 대용량의 영상을 처리할 필요성이 높아지고 있다.
그러나 대용량의 영상은 실시간 처리가 어렵다. 엔트로피 코딩(Entropy Coding)으로 부호화된 영상신호를 디코더(Decoder)에서 복호화하는 과정에서 발생하는 병목 현상이 그 주된 이유 중 하나이다.
구체적으로, 대용량 영상에 대한 엔트로피 코딩의 경우, 영상의 각 블록마다 엔트로피 코딩의 길이가 일정하지 않다. 도 2에서와 같이, 영상의 각 블록에 대한 엔트로피 코딩의 길이 변동이 매우 심하다. 그에 따라 엔트로피 코딩으로 부호화된 영상신호를 복호화하는 데 걸리는 시간도 블록마다 편차가 크다. 이는 복호화 이후 그 다음 처리를 수행하기까지의 대기 시간을 초래한다. 그리고 그 대기 시간만큼 영상신호의 처리 속도는 느려진다.
관련기술 중 하나는 디코더 자체를 복수 개 사용하여 위 문제를 해결하려고 하였다. 그러나 디코더를 복수 개 사용하더라도 각 디코더 내의 후처리부에서 대기 시간이 발생하는 문제는 여전하고, 증가된 디코더의 수만큼 전체 회로의 수가 증가하여 비용이 상승하는 문제도 있었다.
이에 본 발명은, 영상신호를 고속으로 처리하면서도 회로 비용을 절감할 수 있는 영상처리장치를 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 영상처리장치는, 영상신호를 수신하는 영상신호수신부; 상기 수신된 영상신호의 소정 구간을 순차적으로 처리하여 제1중간신호를 생성하는 제1전처리부; 상기 제1전처리부와 병렬 배치되어 상기 영상신호의 다른 구간을 순차적으로 처리하여 제2중간신호를 생성하는 제2전처리부; 상기 제1중간신호 및 제2중간신호를 저장하는 저장부; 및 상기 저장부에 저장된 제1 및 제2중간신호에 대하여 신호 처리를 수행하는 후처리부를 포함하며, 상기 구간의 크기는 상기 제1전처리부와 제2전처리부의 처리속도 및 상기 후처리부의 처리속도에 대응한다. 이에 의하면, 영상신호를 고속으로 처리하면서도 회로 비용을 절감할 수 있다.
상기 구간은 상기 제1전처리부 또는 제2전처리부에서 전처리 시 순차 참조되는 신호를 포함할 수 있다. 이에 의하면, 해당 구간의 신호 처리에 필요한 모든 정보가 해당 구간 내에 있어서 제1 및 제2전처리부(302, 303)가 각 처리 시 서로를 참조할 필요가 없게 되므로, 제1 및 제2전처리부(302, 303)가 병렬 배치된 효과는 극대화되고 처리속도는 더욱 향상된다.
상기 제1전처리부 및 제2전처리부는 상기 영상신호에 대하여 이진 산술 복호화 처리를 수행할 수 있다. 이에 의하면, 이진 산술 부호화 엔트로피 코딩 방법을 사용하여 인코딩된 영상신호에 대해서도 본 발명의 영상처리를 할 수 있으므로, UHD(Ultra High Definition)급 영상에 대해서도 고속으로 영상신호를 처리하면서도 비용을 절감할 수 있다.
상기 영상처리장치는 상기 후처리부가 상기 저장부에 저장된 상기 구간의 제1 및 제2중간신호를 처리하는 동안, 상기 제1전처리부 및 상기 제2전처리부는 각각 상기 영상신호의 다음 구간을 처리할 수 있다.
상기 영상처리장치는 상기 제1전처리부와 제2전처리부 및 상기 후처리부의 실시간 처리속도에 기초하여 상기 구간의 크기를 조정하는 제어부를 포함할 수 있다. 이에 의하면, 전처리부(302, 303) 또는 후처리부(305)의 처리 속도가 달라지더라도 이에 적응적으로 영상처리장치의 처리속도를 조정할 수 있게 되어, 후처리부(305)의 대기 시간 발생에 의한 영상 끊김이나 중간신호의 손실 없이 영상처리를 고속으로 수행할 수 있게 된다.
상기 영상처리장치는 상기 제1 및 제2중간신호를 압축하여 상기 저장부에 저장하는 압축부를 포함할 수 있다. 이에 의하면, 중간신호를 저장부에 저장하고 저장부로부터 중간신호를 읽어오는 데 걸리는 시간을 줄일 수 있어서 영상 처리 성능이 향상된다. 또한, 하드웨어의 부담도 줄일 수 있어서 경제적이다.
상기 압축부는 상기 제1 및 제2중간신호로부터 압축을 수행할 제1부분을 분리하여 출력하는 분리부를 포함할 수 있다. 이에 의하면, 압축 효율이 높은 데이터와 그렇지 않은 데이터를 구분하여 압축을 수행함에 따라 보다 효율적으로 중간신호를 압축할 수 있게 되어, 영상 처리 성능은 더욱 향상된다.
상기 분리부는 신호의 양과 신호 사이의 유사성에 기초하여 상기 제1부분을 분리할 수 있다.
상기 압축부가 출력하는 압축데이터는, 상기 후처리부 제어를 위한 정보, 상기 소정 구간에 관한 정보 및 상기 제1부분의 압축을 해제하기 위한 정보 중 적어도 하나를 포함할 수 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 영상처리장치의 제어방법은, 영상신호를 수신하는 단계; 상기 수신된 영상신호의 소정 구간을 순차적으로 처리하여 제1중간신호를 생성하는 단계; 상기 제1중간신호 생성 단계와 병렬적으로 상기 영상신호의 다른 구간을 순차적으로 처리하여 제2중간신호를 생성하는 단계; 상기 제1중간신호 및 제2중간신호를 저장하는 단계; 및 상기 저장된 제1 및 제2중간신호에 대하여 신호 처리를 수행하는 후처리 단계를 포함하며, 상기 구간의 크기는 상기 제1전처리부와 제2전처리부의 처리속도 및 상기 후처리부의 처리속도에 대응한다. 이에 의하면, 영상신호를 고속으로 처리하면서도 회로 비용을 절감할 수 있다.
상기 구간은 제1중간신호 생성 단계 및 제2중간신호 생성 단계 시 순차 참조되는 신호를 포함할 수 있다. 이에 의하면, 해당 구간의 신호 처리에 필요한 모든 정보가 해당 구간 내에 있어서 제1 및 제2전처리부(302, 303)가 각 처리 시 서로를 참조할 필요가 없게 되므로, 제1 및 제2전처리부(302, 303)가 병렬 배치된 효과는 극대화되고 처리속도는 더욱 향상된다.
상기 제1중간신호 생성 단계 및 제2중간신호 생성 단계는 상기 영상신호에 대하여 이진 산술 복호화 처리를 수행할 수 있다. 이에 의하면, 이진 산술 부호화 엔트로피 코딩 방법을 사용하여 인코딩된 영상신호에 대해서도 본 발명의 영상처리를 할 수 있으므로, UHD(Ultra High Definition)급 영상에 대해서도 고속으로 영상신호를 처리하면서도 비용을 절감할 수 있다.
상기 후처리 단계가 실행되는 동안, 상기 제1중간신호 생성 단계 및 제2중간신호 생성 단계는 각각 상기 영상신호의 다음 구간을 처리할 수 있다.
영기 제어방법은, 상기 제1 및 제2중간신호 생성 단계와 상기 후처리 단계의 실시간 처리속도에 기초하여 상기 구간의 크기를 조정하는 단계를 포함할 수 있다. 이에 의하면, 전처리부(302, 303) 또는 후처리부(305)의 처리 속도가 달라지더라도 이에 적응적으로 영상처리장치의 처리속도를 조정할 수 있게 되어, 후처리부(305)의 대기 시간 발생에 의한 영상 끊김이나 중간신호의 손실 없이 영상처리를 고속으로 수행할 수 있게 된다.
상기 제어방법은, 상기 제1 및 제2중간신호를 압축하는 단계를 포함할 수 있다. 이에 의하면, 중간신호를 저장부에 저장하고 저장부로부터 중간신호를 읽어오는 데 걸리는 시간을 줄일 수 있어서 영상 처리 성능이 향상된다. 또한, 하드웨어의 부담도 줄일 수 있어서 경제적이다.
상기 압축하는 단계는 상기 제1 및 제2중간신호로부터 압축을 수행할 제1부분을 분리하는 단계를 포함할 수 있다. 이에 의하면, 압축 효율이 높은 데이터와 그렇지 않은 데이터를 구분하여 압축을 수행함에 따라 보다 효율적으로 중간신호를 압축할 수 있게 되어, 영상 처리 성능은 더욱 향상된다.
상기 분리하는 단계는 신호의 양과 신호 사이의 유사성에 기초하여 상기 제1부분을 분리할 수 있다.
상기 압축하는 단계에서 생성되는 압축데이터는, 상기 후처리 단계의 제어를 위한 정보, 상기 소정 구간에 관한 정보 및 상기 제1부분의 압축을 해제하기 위한 정보 중 적어도 하나를 포함할 수 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 컴퓨터프로그램은, 영상처리장치와 결합되어 상기 제어방법 중 어느 하나의 제어방법을 실행시키기 위하여 매체에 저장된 컴퓨터프로그램이다.
상기 컴퓨터프로그램은 서버 내의 매체에 저장되고 네트워크를 통해 상기 영상처리장치에 다운로드 될 수 있다.
상기한 바와 같이, 본 발명에 의하면, 영상신호를 고속으로 처리하면서도 회로 비용을 절감할 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상처리장치를 나타내는 도면,
도 2는 영상신호 내의 영상 블록과 엔트로피 코딩의 길이 사이의 관계를 나타내는 도면,
도 3은 본 발명의 일 실시예에 따른 영상처리장치의 구성을 나타내는 도면,
도 4는 본 발명의 일 실시예에 따른 영상처리장치의 제어방법을 나타내는 도면,
도 5는 본 발명의 일 실시예에 따른 영상처리장치의 작동을 나타내는 도면,
도 6은 본 발명의 다른 실시예에 따른 영상처리장치의 제어방법을 나타내는 도면,
도 7은 본 발명의 일 실시예에 따른 후처리부의 세부 구성을 나타내는 도면,
도 8은 본 발명의 또 다른 실시예에 따른 영상처리장치의 구성을 나타내는 도면,
도 9는 본 발명의 또 다른 실시예에 따른 영상처리장치의 제어방법을 나타내는 도면,
도 10은 본 발명의 또 다른 실시예에 따른 데이터압축부의 세부 구성을 나타내는 도면,
도 11은 본 발명의 또 다른 실시예에 따른 압축데이터의 구조를 나타내는 도면,
도 12는 본 발명의 또 다른 실시예에 따른 압축해제부의 구성을 나타내는 도면.
이하에서는 첨부 도면을 참조하여 본 발명의 실시예들을 상세히 설명한다. 도면에서 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 구성요소를 지칭하며, 도면에서 각 구성요소의 크기는 설명의 명료성과 편의를 위해 과장되어 있을 수 있다. 다만, 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 이하의 실시예에 설명된 구성 또는 작용으로만 한정되지는 않는다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다.
본 발명의 실시예에서, 제1, 제2 등과 같이 서수를 포함하는 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 본 발명의 실시예에서, '구성되다', '포함하다', '가지다' 등의 용어는 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 또한, 본 발명의 실시예에서, '모듈' 혹은 '부'는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있으며, 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상처리장치를 도시한다. 본 발명의 일 실시예에 따른 영상처리장치(100)는, 예컨대, 셋탑박스로 구현될 수 있다. 또한, 본 발명의 다른 실시예에 따른 영상처리장치(100)는 디스플레이부를 포함한 디스플레이장치, 예컨대, 스마트폰, 태블릿, 모바일폰, 스마트워치, 헤드 마운트형 디스플레이(Head-Mounted Display) 등의 웨어러블 디바이스, 컴퓨터, 멀티미디어 재생기, 전자액자, 디지털 광고판, LFD(Large Format Display), 디지털 싸이니지 등의 장치로 구현될 수 있다. 그러나 본 발명의 일 실시예에 따른 영상처리장치(100)는 이에 한정되지 않고, 영상신호를 처리할 수 있는 장치라면 무엇이든 가능하다.
도 3은 본 발명의 일 실시예에 따른 영상처리장치의 구성을 나타내는 도면이다. 본 발명의 일 실시예에 따른 영상처리장치(100)는 영상신호수신부(301), 제1전처리부(302), 제2전처리부(303), 저장부(304), 후처리부(305)를 포함한다. 다만, 도 3에 도시된 본 영상처리장치(100)의 구성은 하나의 예시일 뿐, 본 발명의 일 실시예에 의한 영상처리장치는 다른 구성으로도 구현될 수 있다. 즉, 본 발명의 일 실시예에 의한 영상처리장치는 도 3에 도시된 구성 외에 다른 구성이 추가되거나, 혹은 도 3에 도시된 구성 중 일부가 배제되어 구현될 수도 있다.
영상신호수신부(301)는 영상신호를 수신한다. 영상신호수신부(301)는 방송신호와 같은 형태의 영상신호를 수신하기 위한 튜너(tuner)를 구비할 수 있다. 튜너는 복수의 채널 중 사용자에 의해 선택된 어느 하나의 채널의 방송신호를 튜닝하여 수신할 수 있다. 또는, 영상신호수신부(301)는 카메라, 서버, USB저장장치, DVD, 컴퓨터 등과 같은 외부장치로부터 영상신호를 수신할 수도 있다.
영상신호수신부(301)는 외부장치와 통신하여 영상신호를 수신하는 통신부를 구비할 수 있다. 통신부는 외부 장치에 따라서 다양한 방식으로 구현된다. 예컨대, 통신부는 유선통신을 위한 접속부를 포함하며, 접속부는 HDMI(High Definition Multimedia Interface), HDMI-CFC(Consumer Electronics Control), USB, 컴포넌트(Component) 등의 규격에 따른 신호/데이터를 송/수신할 수 있으며, 이들 각각의 규격에 대응하는 적어도 하나 이상의 커넥터 또는 단자를 포함한다. 통신부는 유선 LAN(Local Area Network)을 통해 복수의 서버들과 유선 통신을 수행할 수 있다.
통신부는 유선 접속을 위한 커넥터 또는 단자를 포함하는 접속부 이외에도 다양한 다른 통신 방식으로 구현될 수 있다. 예컨대, 외부 장치와 무선 통신을 수행하기 위해 RF(Radio Frequency)신호를 송/수신하는 RF회로를 포함할 수 있으며, Wi-Fi, 블루투스, 지그비(Zigbee), UWB(Ultra-Wide Band), Wireless USB, NFC(Near Field Communication) 중 하나 이상의 통신을 수행하도록 구성될 수 있다.
제1전처리부(302)는 영상신호수신부(301)를 통해 수신된 영상신호의 소정 구간을 순차적으로 처리하여 제1중간신호를 생성한다. 여기서 영상신호의 소정 '구간'이란, 영상신호의 일부로서, 제1전처리부(302)가 연속적 내지 순차적으로 처리하고 그 결과를 저장부(304)에 저장하기 위해 제1중간신호로 생성하는 데 있어서의 기준 단위가 되는 영상신호를 의미한다. 소정 구간의 예로는, 영상 중 하나 또는 복수의 프레임에 대응하는 구간, 한 프레임 내에서 엔트로피 코딩 내지 부호화 시 이용되는 단위 블록에 대응하는 구간 등이 있다. 그러나 소정 구간은 이에 한정되지 않고, 영상신호의 일부에 대응하는 구간이라면 무엇이든 가능하다.
제1전처리부(302)에서의 처리(이하 '전처리'라고도 함)란, 예를 들어 대용량 영상에 대한 엔트로피 코딩으로 부호화된 영상신호를 복호화하는 처리와 같이, 영상 신호의 소정 구간에서 순차적으로 수행되는 신호 처리를 의미한다. 일 예로, 고효율 비디오 코딩(High Efficiency Video Coding, HEVC) 및 H.264 고급 비디오 코딩(H.264 / AVC)과 같은 비디오 디코더의 경우, 제1전처리부(302)는 엔트로피 복호화부에 해당할 수 있다. 그러나 전처리가 이에 한정되는 것은 아니다. 또한, 전처리는 해당 구간 내의 각 세부 단위를 처리하는 데 걸리는 시간이 일정하지 않을 수 있다.
제2전처리부(303)는 제1전처리부(302)와 병렬 배치되어, 영상신호수신부(301)를 통해 수신된 영상신호의 다른 구간을 순차적으로 처리하여 제2중간신호를 생성한다. 그 외에는 제1전처리부(302)에서의 설명이 그대로 적용된다.
저장부(304)는 제1전처리부(302) 및 제2전처리부(303)에서 생성된 제1 및 제2중간신호를 저장한다. 저장부(304)는 플래쉬 메모리(flash memory), EPROM 또는 EEPROM 등의 비휘발성 메모리를 포함할 수 있고, DRAM 또는 SRAM 등의 휘발성 메모리를 포함할 수도 있다.
후처리부(305)는 저장부(304)에 저장된 제1 및 제2중간신호에 대하여 신호 처리를 수행한다. 후처리부(305)에서의 신호 처리(이하 '후처리'라고도 함)는, 제1전처리부(302) 또는 제2전처리부(303)에서 처리된 후 저장부(304)에 저장된 신호인 제1 및 제2중간신호에 대하여 수행할 수 있는 신호 처리라면 무엇인든 가능하다. 예를 들어, 고효율 비디오 코딩(High Efficiency Video Coding, HEVC) 및 H.264 고급 비디오 코딩(H.264 / AVC)과 같은 비디오 디코더의 경우, 후처리부(305)는 역 양자화처리(Inverse Quantization), 역 변환 처리(Inverse Transform), 인트라 예측(Intra Prediction), 움직임 보상(Motion Compensation), 디블로킹 필터(Deblocking Filter) 적용, 샘플 적응 오프셋 필터(Sample Adaptive Offset Filter) 적용 등의 처리 중 적어도 일부를 포함할 수 있으나, 이에 한정되는 것은 아니다.
도 4는 본 발명의 일 실시예에 따른 영상처리장치의 제어방법을 도시한다. 본 발명의 일 실시예에 따른 영상처리장치(100)의 신호수신부(301)는 영상신호를 수신한다(S401). 영상신호가 수신되면, 본 발명의 일 실시예에 따른 영상처리장치(100)의 제1전처리부(302)는 수신된 영상신호의 소정 구간을 순차적으로 처리하여 제1중간신호를 생성하고 이를 저장부(304)에 저장한다(S402). 동시에, 제2전처리부(303)는 영상신호의 다른 구간을 순차적으로 처리하여 제2중간신호를 생성하고 이를 저장부(304)에 저장한다(S403). 한편, 후처리부(305)는 저장부(304)에 저장된 제1 및 제2중간신호에 대하여 신호 처리를 수행한다(S404).
이상과 같이 본 발명의 일 실시예에 따른 영상처리장치(100)에 의하면, 영상신호에 대하여 전처리를 수행하는 제1 및 제2전처리부(302, 303; 이하 통칭하여 '전처리부'라고도 함)와, 영상신호에 대해 전처리가 수행된 제1 및 제2중간신호(이하 통칭하여 '중간신호'라고도 함)에 대하여 후처리를 수행하는 후처리부(305)가 매번 서로를 참조하거나 대기하지 않고 기능적으로 분리되어 독립적으로 작동한다. 즉, 전처리부(302, 303)에서 소정 구간의 신호를 처리하여 중간신호를 생성하고 이를 저장부(304)에 저장하는 동안, 후처리부(305)는 전처리부(302, 303)의 처리 과정이나 상황을 참조할 필요 없이, 저장부(304)에 후처리할 중간신호가 있는지 여부만을 판단하여 중간신호에 대한 후처리를 수행한다.
그 결과, 엔트로피 코딩의 단위 블록마다 전처리부의 처리 결과를 기다린 후에야 비로소 후처리를 수행할 수 있었던 관련기술과 달리, 그리고 해당 블록에 대한 전처리부의 처리 시간이 일정하지 않을 경우 그 처리가 언제 끝날지 예상할 수 없어 계속적으로 후처리부를 대기상태에 두어야만 했던 관련기술과 달리, 본 발명의 일 실시예에 의한 영상처리장치(100)에 의하면, 후처리부(305)의 대기 시간이 줄어들고 영상신호 처리 속도가 향상된다. 또한, 각 전처리부마다 그에 대응하는 후처리부를 개별적으로 구비해야 했던 관련기술에 비하여, 전처리부의 개수가 동일하더라도 후처리부는 그보다 적은 개수를 구비할 수 있으므로 전체 회로의 규모가 감소하여 보다 적은 비용으로 경제적으로 영상신호 처리를 수행할 수 있다.
또한, 본 발명의 일 실시예에 따른 영상처리장치(100)는, 저장부(304)가 전처리부(302, 303)와 후처리부(305)를 매개할 뿐, 전처리부(302, 303)와 후처리부(305) 자체는 서로를 참조하지 않고 각자가 독립적으로 작동하므로, 전처리부(302, 303)에서 소정 구간을 처리하는 데 걸리는 시간이 구간마다 일정하지 않더라도 후처리부(305)는 이에 영향을 받지 않는다. 나아가, 전처리부(302, 303)는 소정 구간의 영상신호를 순차적으로 처리하므로, 소정 구간 내의 특정 신호를 처리함에 있어서 그 이전 신호에 대한 처리 결과를 참조해야만 하는 영상신호에 대해서도 본 발명은 적용 가능하다.
전처리부(302, 303)의 처리 단위인 '구간'의 크기는 전처리부(302,303)의 처리속도 및 후처리부(305)의 처리속도에 대응된다. 구간의 크기가 전처리부(302,303)의 처리속도 및 후처리부(305)의 처리속도에 대응하지 않을 경우, 예를 들어 전처리부(302,303)의 처리속도보다 후처리부(305)의 처리속도가 빠름에도, 전처리부(302, 303)가 단위 시간당 처리하는 구간의 크기가 후처리부(305)의 처리 속도를 따라가지 못할 경우, 저장부(304)에 입력되는 중간신호의 양보다 저장부(304)로부터 출력되는 중간신호의 양이 적으므로 일정 시점이 되면 후처리부(305)가 처리할 중간신호가 저장부(304)에 남아있지 않는 현상이 발생하게 된다. 반대로, 전처리부(302,303)의 처리속도가 후처리부(305)의 처리속도보다 빠름에도 전처리부(302, 303)가 단위 시간당 처리하는 구간의 크기를 후처리부(305)의 처리 속도에 맞추지 않을 경우, 저장부(304)에는 계속하여 중간신호가 쌓이게 된다. 이렇게 쌓이는 중간신호의 양이 저장부의 저장용량을 넘게 되면 후처리부(305)에 의해 후처리되기 전에 다른 중간신호로 덮어씌워지는 중간신호가 발생하므로 신호 손실이 초래된다. 구간의 크기가 전처리부(302,303)의 처리속도 및 후처리부(305)의 처리속도에 대응되도록 설정되면, 이러한 현상 발생을 방지할 수 있다. 그 결과 대기 시간 발생에 의한 영상 끊김이나 중간신호의 손실 없이 영상처리를 고속으로 수행할 수 있다.
이상에서는 본 발명의 일 실시예에 의한 영상처리장치(100)가 2개의 전처리부(302, 303)와 1개의 후처리부를 구비한 경우를 설명하였으나, 전처리부와 후처리부의 개수가 이에 한정되는 것은 아니다. 영상신호에 대하여 전처리에 걸리는 시간과 후처리에 걸리는 시간에 따라 전처리부와 후처리부의 개수는 얼마든지 변경 가능하다.
도 5는 본 발명의 일 실시예에 따른 영상처리장치의 작동을 보다 구체적으로 도시한다. 도 5에서는 설명의 편의상 전처리부(302, 303)의 처리 단위인 구간이 영상의 각 프레임에 해당하는 예를 도시하였다. 그러나 구간이 이에 한정되는 것은 아니다.
본 발명의 일 실시예에 따른 영상처리장치(100)의 제1전처리부(302)는 수신된 영상신호 중 제N프레임(또는 프레임[N])에 해당하는 영상신호를 처리한다. 이와 동시에, 제1전처리부(302)와 병렬 배치된 제2전처리부(303)는 제N+1프레임에 해당하는 영상신호를 처리한다. 여기서 전처리부(302, 303)에서 수행되는 처리의 내용이 예를 들어, 각 영상 프레임 내의 영상 블록 별로 엔트로피 코딩된 신호를 복호화하는 것일 경우, 각 전처리부(302, 303)는 각 프레임 내 영상 블록에 해당하는 신호를 순차적으로 처리함으로써 각 프레임의 영상신호를 처리한다. 이후 각 전처리부(302, 303)는 각 프레임의 영상신호에 대한 처리가 끝나면 중간신호를 생성하여 이를 저장부(304)에 저장한다(①, ②). 여기서 엔트로피 코딩된 각 프레임에 대응하는 영상신호의 크기가 다를수 있고, 영상신호의 크기가 동일하더라도 이를 복호화하는 데 걸리는 총 시간이 프레임의 영상신호마다 다를 수도 있으므로, 제1전처리부(302)와 제2전처리부(303)가 동시에 각 프레임의 영상신호에 대한 처리를 시작했더라도 각 중간신호가 생성되어 저장부(304)에 저장되는 시점은 다를 수 있다.
위와 같이 각 전처리부(302, 303)가 각 프레임의 영상신호에 대한 처리를 수행하는 것과 별개로, 후처리부(305)는 저장부(304)로부터 중간신호를 읽어와 그에 대해 신호 처리를 수행할 수 있다. 즉, 후처리부(305)는 전처리부(302, 303)의 처리 결과를 매번 기다리지 않고 후처리를 수행할 수 있다. 다만, 저장부(304)에 저장된 중간신호가 없는 동안, 예를 들어 최초의 중간신호가 전처리부(302, 303)에서 생성되어 저장부(304)에 저장되기까지는 후처리부(305)가 일정 시간 대기해야 하므로 그만큼 최초의 영상처리 시간이 지연될 수 있다. 그러나 그 이후로는 전처리부(302, 303)의 처리 결과를 기다리지 않고 독립적으로 후처리를 수행할 수 있다.
다시 도 5를 참조하면 후처리부(305)는, 제1전처리부(302)에서 제N프레임의 영상신호를 처리하여 제N중간신호를 생성하고 이를 저장부(304)에 저장하게 되면, 저장된 위 제N중간신호를 저장부(304)로부터 읽어와 그에 대해 후처리를 수행할 수 있다. 그리고 제N중간신호에 대한 후처리가 끝나면 바로 제N+1중간신호를 저장부(304)로부터 읽어와 연속적으로 그에 대해 후처리를 수행할 수 있다(③, ④).
한편, 후처리부(305)가 위와 같이 저장부(304)에 저장된 소정 구간의 제1 및 제2중간신호를 처리하는 동안, 제1전처리부(302) 및 제2전처리부(303)는 각각 위 영상신호의 다음 구간을 처리할 수 있다. 즉, 후처리부(305)가 저장부(304)에 저장된 제N프레임의 영상신호에 대응하는 제N중간신호 및 제N+1프레임의 영상신호에 대응하는 제N+1중간신호를 처리하는 동안, 제1전처리부(302)는 제N+2프레임의 영상신호를 처리할 수 있고, 동시에 제2전처리부(303)는 제N+3프레임의 영상신호를 처리할 수 있다(⑤, ⑥). 전처리부(302, 303)의 처리속도와 후처리부(305)의 처리속도가 균형을 이루면, 예를 들어 평균적으로 후처리부(305)에서 2개의 프레임에 대응하는 중간신호를 처리하는 동안 각 전처리부(302, 303)에서는 각 1개의 프레임에 대응하는 영상신호를 처리할 수 있으면, 위 영상처리장치(100)는 후처리부에서의 대기 시간 없이 영상신호에 대하여 처리를 수행할 수 있고 관련기술에 비해 영상 처리 속도가 향상된다.
본 발명의 일 실시예에 따른 영상처리장치(100)에 있어서, 전처리부(302, 303)의 처리 단위인 '구간'은, 전처리부(302, 303)에서 영상신호를 전처리함에 있어서 순차 참조되는 신호를 포함할 수 있다. 예를 들어, 전처리부(302, 303)에서 처리될 전처리의 내용이 이진 산술 복호화 처리(Binary Arithmetic Decoding)일 경우, 영상의 한 '프레임'에 대응하는 영상신호를 전처리기 위해서는 해당 프레임 내의 이전 영상 블록에 대응하는 영상신호에 대한 전처리 결과를 순차 참조한다. 따라서 이 경우 소정 구간이 영상신호를 전처리함에 있어서 순차 참조되는 신호를 포함한다면, 소정 구간은 각 프레임을 포함하게 된다. 그러나 소정 구간이 하나의 프레임에 대응하는 것으로 한정되는 것은 아니고, 복수의 프레임에 대응하는 것도 가능하다. 즉, 전처리부(302, 303)는 복수의 프레임을 소정 단위로 하여 전처리를 수행할 수 있다. 이에 의하면, 해당 구간의 신호 처리에 필요한 모든 정보가 해당 구간 내에 있어서 제1 및 제2전처리부(302, 303)가 각 처리 시 서로를 참조할 필요가 없게 되므로, 제1 및 제2전처리부(302, 303)가 병렬 배치된 효과는 극대화되고 처리속도는 더욱 향상된다.
본 발명의 일 실시예에 따른 영상처리장치(100)에 있어서, 전처리부(302, 303)는 수신된 영상신호에 대하여 이진 산술 복호화 처리(Binary Arithmetic Decoding)를 수행할 수 있다. 이 경우 후처리부(305)는 이진 산술 복호화 처리된 중간신호에 대하여 나머지 후처리를 수행할 수 있다. 이 때의 후처리부(305)는, 예를 들어, 도 7과 같이 구성될 수 있다. 즉, 전처리부(302, 303)가 이진 산술 복호화 처리를 수행하는 경우, 후처리부(305)는 역 양자화부(Inverse Quantization)(701), 역 변환부(Inverse Transform)(702), 인트라 예측부(Intra Prediction)(703), 움직임 보상부(Motion Compensation)(704), 인접 데이터 버퍼(Neighbor Data Buffer)(705), 디블로킹 필터(Deblocking Filter)(706), 샘플 적응 오프셋 필터(Sample Adaptive Offset Filter)(707)를 포함할 수 있다. 그러나 후처리부(305)의 구성이 이에 한정되는 것은 아니다. 이에 의하면, 이진 산술 부호화 엔트로피 코딩 방법을 사용하여 인코딩된 영상신호에 대해서도 본 발명의 영상처리를 할 수 있으므로, UHD(Ultra High Definition)급 영상에 대해서도 고속으로 영상신호를 처리하면서도 비용을 절감할 수 있다.
본 발명의 다른 실시예에 따른 영상처리장치(100)는, 전처리부(302, 303) 및 후처리부(305)의 실시간 처리속도에 기초하여 소정 구간의 크기를 조정하는 제어부를 포함할 수 있다. 도 6을 참조하여 이러한 본 발명의 다른 실시예에 따른 영상처리장치의 제어방법을 설명한다.
본 발명의 다른 실시예에 따른 영상처리장치(100)의 신호수신부(301)는 영상신호를 수신한다(S601). 이후 영상처리장치(100)는 전처리부(302, 303)에서 순차 처리할 구간의 크기를 설정한다(S602). 전처리부(302, 303) 및 후처리부(305)의 실시간 처리속도를 아직 감지하기 전일 경우, 구간의 크기는 기본값으로 설정되거나 직전 영상처리 시 사용한 값으로 설정될 수 있으나, 이에 한정되는 것은 아니다.
다음으로 본 발명의 다른 실시예에 의한 영상처리장치(100)의 제1전처리부(302)는 수신된 영상신호의 소정 구간을 순차적으로 처리하여 제1중간신호를 생성하고 이를 저장부(304)에 저장한다(S603). 동시에, 제2전처리부(303)는 영상신호의 다른 구간을 순차적으로 처리하여 제2중간신호를 생성하고 이를 저장부(304)에 저장한다(S604). 한편, 후처리부(305)는 저장부(304)에 저장된 제1 및 제2중간신호에 대하여 신호 처리를 수행한다(S605).
위와 같이 전처리부(302) 및 후처리부(305)가 각자의 처리를 수행하는 동안, 본 발명의 다른 실시예에 의한 영상처리장치(100)의 제어부는 전처리부(302, 303) 및 후처리부(305)의 실시간 처리속도를 측정할 수 있다. 이후 그 측정 결과에 기초하여 제어부는 전처리부(302, 303)에서 순차 처리할 구간의 크기를 변경할 것인지를 판단하여(S606), 변경이 필요할 경우 소정 구간의 크기를 변경하여 향후 전처리부(302, 303)의 처리 시 구간의 크기가 변경되어 처리되도록 한다.
예를 들어, 구간의 크기가 '3개의 프레임'으로 설정되어 제1전처리부(302) 및 제2전처리부(303)에서 각각 단위 시간 당 '3개의 프레임'을 순차 처리하는 경우, 후처리부(305)의 처리속도가 단위 시간 당 '6개의 프레임'이라면 전처리부(302, 303)에서 처리할 구간의 크기를 변경할 필요는 없으므로, 제어부는 구간의 크기를 변경하지 않는다.
그러나 후처리부(305) 처리 속도의 실시간 측정 결과 후처리부(305)의 처리속도가 단위 시간 당 '8개의 프레임'으로 증가했다면, 전처리부(302, 303) 처리속도의 합이 후처리부(305)의 처리속도에 미치지 못하는 상태가 된다. 그 상태가 누적되면 후처리부(305)가 처리할 중간신호가 저장부(304)에 남아있지 않는 현상이 발생하게 되어 후처리부(305)에서 대기 시간이 발생하게 되고 그만큼 영상신호 처리 속도는 감소한다. 따라서 이 경우 (전처리부의 처리 가능 속도 이내일 경우) 제어부는 각 전처리부에서 순차 처리할 구간의 크기를 '4개의 프레임'으로 증가시킬 수 있다.
반대로 처리부(305) 처리 속도의 실시간 측정 결과 후처리부(305)의 처리속도가 단위 시간 당 '4개의 프레임'으로 감소했다면, 전처리부(302, 303) 처리속도의 합이 후처리부(305)의 처리속도보다 빠른 상태가 된다. 그 상태가 누적되면 후처리부(305)에 의해 후처리되기 전에 다른 중간신호로 덮어씌워지는 중간신호가 발생하여 신호 손실이 초래될 수 있다. 따라서 이 경우 (전처리부의 처리 가능 속도 이내일 경우) 제어부는 각 전처리부에서 순차 처리할 구간의 크기를 '6개의 프레임'으로 증가시킬 수 있다.
이에 의하면, 전처리부(302, 303) 또는 후처리부(305)의 처리 속도가 달라지더라도 이에 적응적으로 영상처리장치의 처리속도를 조정할 수 있게 되어, 후처리부(305)의 대기 시간 발생에 의한 영상 끊김이나 중간신호의 손실 없이 영상처리를 고속으로 수행할 수 있게 된다.
한편, 본 발명과 대비되는 관련기술로서, 예를 들어 이진 산술 복호화 처리 시 디코더 자체를 복수 개 구비하는 기술의 경우, 하나의 프레임 영상에 대한 엔트로피 코딩 시 이용되는 기준 단위인 영상 '블록'별로 전처리 및 후처리를 수행하는 예를 고려한다. 이러한 관련기술과 대비하여 본 발명의 일 실시예에 의하면, 전처리부(302, 303)는 소정 '구간' 단위로 영상신호에 대해 전처리를 수행하여 중간신호를 생성하고, 후처리부(305)도 소정 '구간' 단위로 생성된 중간신호에 대해 후처리를 수행한다. 여기서 소정 '구간'은 '블록' 외에도 하나의 프레임이 될 수도 있고 나아가 복수의 프레임이 될 수도 있다. 따라서 저장부(304)에 저장되고 저장부(304)로부터 읽어오는 중간신호의 데이터 크기는 기존의 영상 '블록'의 데이터 크기보다 훨씬 클 수 있다. 데이터의 크기가 큰 중간신호를 저장부(304)에 저장하고 이를 저장부(304)로부터 읽어오는 데에는 많은 시간이 소요될 수 있고, 하드웨어적으로도 큰 크기의 데이터를 전송 및 저장할 수 있는 회로가 필요하게 되어 비용적으로도 부담이 될 수 있다.
이를 해결하기 위한 본 발명의 또 다른 실시예에 의한 영상처리장치(100)의 구성을 도 8이 도시한다. 본 발명의 또 다른 실시예에 의한 영상처리장치(100)는 전처리된 중간신호를 압축하여 저장부(304)에 저장하는 압축부(810, 820)를 포함한다. 나아가 영상처리장치(100)는 압축되어 저장된 중간신호를 저장부(304)로부터 읽어와 그 압축을 해제하는 압축해제부(830)를 더 포함할 수 있다.
도 8에서 압축부(810, 820)는 각 전처리부에 대응하여 마련되어 있다. 즉, 압축부는 제1전처리부(302)에서 생성된 제1중간신호를 압축하는 압축부(810)와, 제2전처리부(303)에서 생성된 제2중간신호를 압축하는 압축부(820)로 구성되어 있다. 그러나 압축부의 구성이 이에 한정되는 것은 아니고, 예를 들어 압축부는 전처리부의 개수와 다른 개수가 구비될 수 있다. 또한, 압축부(810, 820)는 압축 효율을 높이기 위하여 원 데이터에 대하여 압축률이 높아지는 순서, 예를 들어 이전 데이터와의 절대치 차분의 총합이 최소화되는 순서로 압축을 수행할 수 있다.
도 9는 본 발명의 또 다른 실시예에 의한 영상처리장치(100)의 제어방법을 도시한다. 도 9는 소정 구간이 프레임 단위로 설정된 경우에 관한 것이나, 본 발명에서 소정 구간이 프레임 단위로 한정되는 것은 아니다.
본 발명의 또 다른 실시예에 의한 영상처리장치(100)의 신호수신부(301)는 영상신호를 수신한다(S901). 영상신호가 수신되면, 영상처리장치(100)의 제1전처리부(302)는 수신된 영상신호의 제1프레임을 순차적으로 처리하여 제1중간신호를 생성한다(S902). 그리고 압축부(810)는 제1전처리부(302)에서 생성된 제1중간신호를 압축하여 저장부(304)에 저장한다(S903).
위와 같이 제1중간신호가 생성되고 압축되어 저장되는 동안, 제2전처리부(303)는 영상신호의 다른 구간, 예를 들어 제2프레임을 순차적으로 처리하여 제2중간신호를 생성한다(S904). 그리고 압축부(820)는 제2전처리부(302)에서 생성된 제2중간신호를 압축하여 저장부(304)에 저장한다(S905).
한편, 압축해제부(830)는 후처리부(305)가 제1 및 제2중간신호를 처리할 수 있도록, 저장부(304)에 압축되어 저장된 제1 및 제2중간신호를 로딩하여 압축을 해제한다(S906). 그러면 후처리부(305)는 압축이 해제된 제1 및 제2중간신호에 대하여 신호 처리를 수행한다(S907). 나아가 후처리부(305)는 신호 처리의 결과를 출력 신호로 생성하여 영상으로 출력되도록 할 수도 있다.
이에 의하면, 중간신호를 저장부에 저장하고 저장부로부터 중간신호를 읽어오는 데 걸리는 시간을 줄일 수 있어서 영상 처리 성능이 향상된다. 또한, 하드웨어의 부담도 줄일 수 있어서 경제적이다.
압축부(810, 820)를 포함한 본 발명의 또 다른 실시예에 의한 영상처리장치(100)는 중간신호 중 압축에 적합한 부분과 그렇지 않은 부분을 나누어 압축을 수행할 수 있다. 도 10을 참조하여 이를 설명한다.
본 발명의 또 다른 실시예에 의한 영상처리장치(100)의 압축부(810, 820)는 중간신호로부터 압축을 수행할 제1부분을 분리하여 출력하는 분리부(812)를 포함할 수 있다. 나아가 제1부분에 대해서 압축을 수행하는 압축부(812)와, 압축된 제1부분과 압축되지 않은 나머지 부분을 수신하여 압축데이터를 생성하는 압축데이터생성부(813)를 포함할 수 있다.
이 경우 분리부(812)는 중간신호 중 압축에 적합한 부분과 그렇지 않은 부분을 판별하여, 압축에 적합한 제1부분은 압축부(812)로 보내어 압축이 수행되도록 하고, 그렇지 않은 나머지 부분은 바로 압축데이터생성부(813)로 보낸다. 압축부(812)에 의해 제1부분에 대해 압축이 수행된 데이터와 분리부(812)로부터 압축이 수행되지 않은 데이터를 수신한 압축데이터생성부(813)는 그로부터 압축데이터를 생성하여 저장부(304)로 전송한다.
이에 의하면, 압축 효율이 높은 데이터와 그렇지 않은 데이터를 구분하여 압축을 수행함에 따라 보다 효율적으로 중간신호를 압축할 수 있게 되어, 영상 처리 성능은 더욱 향상된다.
분리부(811)에서 중간신호로부터 제1부분을 분리하는 일 예로서, 분리부(811)는 신호의 양과 신호 사이의 유사성에 기초하여 제1부분을 분리할 수 있다. 예를 들어, 중간신호 중 신호의 양이 많고 신호 사이의 유사성이 많은 부분의 경우 이를 압축하면 압축 효율이 다른 부분에 비해 높을 수 있으므로 분리부(811)는 이를 제1부분으로 분리할 수 있다.
예를 들어, 영상신호에 대한 엔트로피 코딩 방법으로 이진 산술 부호화가 사용된 경우, 그에 대해 이진 산술 복호화 처리가 수행된 중간신호 중에서는 영상신호의 변환 계수에 관한 데이터(이른바 Coefficient Data)가 신호의 양이 많고 신호 사이의 유사성이 많은 부분에 해당할 수 있으므로 이를 제1부분으로 할 수 있다. 이 경우 이러한 제1부분을 압축하는 일 예를 보다 구체적으로 설명하면, 압축부(812)는 제1부분에 대하여 DPCM(Differential Pulse-Code Modulation)으로 Coefficient Data 간의 유사성을 제거하고, Golomb-Rice Coding으로 정보량을 감소시킨다. 이후 압축부(812)는 위 처리된 제1부분에 대하여 Coefficient data가 모두 0인 경우에 해당하는지 여부를 판단하여, 그에 해당하지 않는 경우 All_0_Flag를 False로 설정한 뒤 All_0_Flag와 압축된 데이터를 출력하고, 그에 해당하는 경우, 즉 Coefficient Data가 모두 0인 경우에는 All_0_Flag를 True로 설정하여 출력하고 압축된 데이터는 별도로 출력하지 않는다.
도 11은 본 발명의 또 다른 실시예에 따른 영상처리장치(100)의 압축데이터생성부(813)가 생성하는 압축데이터 구조의 일 예를 도시한다. 압축데이터는, 후처리부 제어를 위한 정보, 소정 구간 자체에 관한 정보 및 제1부분의 압축을 해제하기 위한 정보 중 적어도 하나를 포함할 수 있다. 예를 들어 도 11은 하나의 영상 '프레임'에 대응하는 구간을 소정 구간으로 설정하고 영상신호에 대한 엔트로피 코딩 방법으로 이진 산술 부호화가 사용된 경우, 그리고 압축을 수행할 제1부분으로 Coefficient Data를 분리한 경우에 생성되는 압축데이터의 일 예를 나타낸 도면으로서, 도 11의 압축데이터(1100)는, 후처리부 제어를 위한 정보인 후처리부 제어정보(1110), 소정 구간 자체에 관한 정보인 프레인 관련정보(1120), 제1부분의 압축을 해제하기 위한 정보인 압축 데이터 헤더(1130), 압축된 데이터(1140)을 포함한다.
여기서 프레임 관련정보(1120)은 제1부분 데이터 이외의 데이터로서, 프레임 내에서 엔트로피 코딩의 단위가 되는 '블록'의 크기, 모션 벡터 등에 대응하는 정보를 포함할 수 있다. 또한 제1부분 압축을 해제하기 위한 정보의 일 예인 압축 데이터 헤더(1130)는, All_0_Flag, 압축 해제 시 사용할 스캔 방향에 관한 정보를 담고 있는 Scan Information 등에 대응하는 정보를 포함할 수 있다. 압축데이터(1100)는 실제로 압축된 데이터, 예를 들어 Compressed Coefficient Data(1140)도 포함할 수 있다. 그러나 압축데이터가 이러한 구조에 한정되는 것은 아니다.
한편, 본 발명의 또 다른 실시예에 따른 영상처리장치(100)의 압축부(810, 820)가 분리부(811)를 포함할 경우, 즉, 압축부(810, 820)가 중간신호 중 압축에 적합한 부분과 그렇지 않은 부분을 나누어 압축을 수행할 경우, 압축해제부(830)도 이에 대응하도록 설계될 수 있다. 일 예로, 도 12와 같이, 압축해제부(830)는 분리부(831), 복원부(832), 재배열부(833), 복원데이터생성부(834)를 포함할 수 있다.
압축해제부(830)의 분리부(831)는 압축데이터로부터 실제로 압축된 데이터와 그렇지 않은 데이터를 분리한다. 압축해제부(830)에 입력되는 데이터이자 저장부(304)에 저장되어 있는 압축데이터가 도 11의 형태를 띠는 경우를 예를 들면, 분리부(831)는 압축데이터 중 실제로 압축된 데이터인 Compressed Coefficient Data(1140)을 분리하여 이를 복원부(832)로 전송하고, 나머지 데이터는 복원데이터생성부(834)로 전송한다.
복원부(832)는 분리부(831)로부터 Compressed Coefficient Data(1140)를 수신하여 압축된 데이터를 복원한다. 구체적으로, 복원부(832)는 압축 데이터 헤더(1130)의 All_0_Flag을 확인하여, All_0_Flag가 True로 설정된 경우에는 0에 대응하는 데이터를 소정 개수 생성하여 출력하는 것으로 데이터를 복원하고, All_0_Flag가 False으로 설정된 경우에는 Golomb-Rice Decoding 처리를 수행한 후 DPCM(Differential Pulse-Code Modulation) 복원 처리를 수행한다.
재배열부(833)는 복원된 데이터를 재배열하여 압축되기 이전 데이터와 동일한 배열을 가진 데이터가 되도록 한다. 앞서 살펴본 바와 같이, 압축부(810, 820)에서는 압축 효율을 높이기 위하여 원 데이터에 대하여 압축률이 높아지는 순서, 예를 들어 이전 데이터와의 절대치 차분의 총합이 최소화되는 순서로 압축을 수행할 수 있는데, 이 경우 압축해제부(830)에서도 압축 복원된 데이터를 위 순서에 따라 재배열해야 압축되기 이전 데이터와 동일한 배열을 가진 데이터를 생성할 수 있다. 이를 위하여 재배열부(833)는 재배열 테이블을 사용할 수 있고, 다양한 압축 순서에 대응할 수 있도록 재배열 테이블의 값은 변경될 수 있다.
복원데이터생성부(834) 분리부(831)에서 전송된 비압축 데이터 및, 복원부(832)와 재배열부(833)를 거치며 압축이 해제되고 원 데이터와 동일한 배열을 갖게 된 데이터를 수신한 후, 압축되기 이전의 중간신호와 동일한 신호인 복원데이터를 생성하여 이를 후처리부(305)로 전송한다.

Claims (15)

  1. 영상처리장치에 있어서,
    영상신호를 수신하는 영상신호수신부;
    상기 수신된 영상신호의 소정 구간을 순차적으로 처리하여 제1중간신호를 생성하는 제1전처리부;
    상기 제1전처리부와 병렬 배치되어 상기 영상신호의 다른 구간을 순차적으로 처리하여 제2중간신호를 생성하는 제2전처리부;
    상기 제1중간신호 및 제2중간신호를 저장하는 저장부; 및
    상기 저장부에 저장된 제1 및 제2중간신호에 대하여 신호 처리를 수행하는 후처리부를 포함하며,
    상기 구간의 크기는 상기 제1전처리부와 제2전처리부의 처리속도 및 상기 후처리부의 처리속도에 대응하는 영상처리장치.
  2. 제1항에 있어서,
    상기 구간은 상기 제1전처리부 또는 제2전처리부에서 전처리 시 순차 참조되는 신호를 포함하는 영상처리장치.
  3. 제1항에 있어서,
    상기 제1전처리부 및 제2전처리부는 상기 영상신호에 대하여 이진 산술 복호화 처리를 수행하는 영상처리장치.
  4. 제1항에 있어서,
    상기 후처리부가 상기 저장부에 저장된 상기 구간의 제1 및 제2중간신호를 처리하는 동안, 상기 제1전처리부 및 상기 제2전처리부는 각각 상기 영상신호의 다음 구간을 처리하는 영상처리장치.
  5. 제1항에 있어서,
    상기 제1전처리부와 제2전처리부 및 상기 후처리부의 실시간 처리속도에 기초하여 상기 구간의 크기를 조정하는 제어부를 포함하는 영상처리장치.
  6. 제1항에 있어서,
    상기 제1 및 제2중간신호를 압축하여 상기 저장부에 저장하는 압축부를 포함하는 영상처리장치.
  7. 제6항에 있어서,
    상기 압축부는 상기 제1 및 제2중간신호로부터 압축을 수행할 제1부분을 분리하여 출력하는 분리부를 포함하는 영상처리장치.
  8. 제7항에 있어서,
    상기 분리부는 신호의 양과 신호 사이의 유사성에 기초하여 상기 제1부분을 분리하는 영상처리장치.
  9. 제6항에 있어서,
    상기 압축부가 출력하는 압축데이터는, 상기 후처리부 제어를 위한 정보, 상기 소정 구간에 관한 정보 및 상기 제1부분의 압축을 해제하기 위한 정보 중 적어도 하나를 포함하는 영상처리장치.
  10. 영상처리장치의 제어방법에 있어서,
    영상신호를 수신하는 단계;
    상기 수신된 영상신호의 소정 구간을 순차적으로 처리하여 제1중간신호를 생성하는 단계;
    상기 제1중간신호 생성 단계와 병렬적으로 상기 영상신호의 다른 구간을 순차적으로 처리하여 제2중간신호를 생성하는 단계;
    상기 제1중간신호 및 제2중간신호를 저장하는 단계; 및
    상기 저장된 제1 및 제2중간신호에 대하여 신호 처리를 수행하는 후처리 단계를 포함하며,
    상기 구간의 크기는 상기 제1전처리부와 제2전처리부의 처리속도 및 상기 후처리부의 처리속도에 대응하는 영상처리장치의 제어방법.
  11. 제10항에 있어서,
    상기 구간은 제1중간신호 생성 단계 및 제2중간신호 생성 단계 시 순차 참조되는 신호를 포함하는 영상처리장치의 제어방법.
  12. 제10항에 있어서,
    상기 제1중간신호 생성 단계 및 제2중간신호 생성 단계는 상기 영상신호에 대하여 이진 산술 복호화 처리를 수행하는 영상처리장치의 제어방법.
  13. 제10항에 있어서,
    상기 후처리 단계가 실행되는 동안, 상기 제1중간신호 생성 단계 및 제2중간신호 생성 단계는 각각 상기 영상신호의 다음 구간을 처리하는 영상처리장치의 제어방법.
  14. 제10항에 있어서,
    상기 제1 및 제2중간신호 생성 단계와 상기 후처리 단계의 실시간 처리속도에 기초하여 상기 구간의 크기를 조정하는 단계를 포함하는 영상처리장치의 제어방법.
  15. 제10항에 있어서,
    상기 제1 및 제2중간신호를 압축하는 단계를 포함하는 영상처리장치의 제어방법.
PCT/KR2018/008823 2017-08-30 2018-08-03 영상처리장치 및 그 제어방법 WO2019045297A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/640,204 US11463699B2 (en) 2017-08-30 2018-08-03 Image processing apparatus and control method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170109775A KR102459734B1 (ko) 2017-08-30 2017-08-30 영상처리장치 및 그 제어방법
KR10-2017-0109775 2017-08-30

Publications (1)

Publication Number Publication Date
WO2019045297A1 true WO2019045297A1 (ko) 2019-03-07

Family

ID=65527680

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/008823 WO2019045297A1 (ko) 2017-08-30 2018-08-03 영상처리장치 및 그 제어방법

Country Status (3)

Country Link
US (1) US11463699B2 (ko)
KR (1) KR102459734B1 (ko)
WO (1) WO2019045297A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100775217B1 (ko) * 2006-06-01 2007-11-12 (주) 엘지텔레콤 휴대형 카메라의 유사성 기반 사진압축방법
KR100999505B1 (ko) * 2009-05-15 2010-12-09 이승훈 매크로블록 기반의 데이터 병렬 처리를 수행하는 동영상 인코딩/디코딩 장치
JP2011077564A (ja) * 2008-04-13 2011-04-14 Thomson Canopus Co Ltd 映像および音声データの符号化装置とその符号化方法、及びビデオ編集システム
KR101485219B1 (ko) * 2012-02-22 2015-01-29 한양대학교 산학협력단 영상 디코딩 장치 및 방법
JP6023596B2 (ja) * 2013-01-24 2016-11-09 株式会社日立情報通信エンジニアリング 画像符号化装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6023596B2 (ja) 1978-07-14 1985-06-08 東洋電機製造株式会社 交流電動機の回転方向制御装置
KR20200023501A (ko) * 2011-12-19 2020-03-04 소니 주식회사 화상 처리 장치 및 방법
US9661339B2 (en) 2014-01-21 2017-05-23 Intel Corporation Multi-core architecture for low latency video decoder
US9860535B2 (en) * 2015-05-20 2018-01-02 Integrated Device Technology, Inc. Method for time-dependent visual quality encoding for broadcast services
US10334277B2 (en) * 2016-09-02 2019-06-25 Qualcomm Incorporated Signaling target display parameters of color remapping information supplemental enhancement information messages

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100775217B1 (ko) * 2006-06-01 2007-11-12 (주) 엘지텔레콤 휴대형 카메라의 유사성 기반 사진압축방법
JP2011077564A (ja) * 2008-04-13 2011-04-14 Thomson Canopus Co Ltd 映像および音声データの符号化装置とその符号化方法、及びビデオ編集システム
KR100999505B1 (ko) * 2009-05-15 2010-12-09 이승훈 매크로블록 기반의 데이터 병렬 처리를 수행하는 동영상 인코딩/디코딩 장치
KR101485219B1 (ko) * 2012-02-22 2015-01-29 한양대학교 산학협력단 영상 디코딩 장치 및 방법
JP6023596B2 (ja) * 2013-01-24 2016-11-09 株式会社日立情報通信エンジニアリング 画像符号化装置

Also Published As

Publication number Publication date
US20200186803A1 (en) 2020-06-11
US11463699B2 (en) 2022-10-04
KR102459734B1 (ko) 2022-10-28
KR20190023665A (ko) 2019-03-08

Similar Documents

Publication Publication Date Title
RU2479937C2 (ru) Устройство и способ обработки информации
US20210044839A1 (en) Encoding method and apparatus and decoding method and apparatus
CN109076246B (zh) 使用图像数据校正掩码的视频编码方法和系统
US8098941B2 (en) Method and apparatus for parallelization of image compression encoders
JP4138056B2 (ja) マルチスタンダード脱圧縮及び／又は圧縮装置
WO2011142569A2 (en) Method and apparatus for transmitting and receiving layered coded video
CN104126304A (zh) 图像处理装置和方法
JPH05207460A (ja) 画像信号の多重化伝送装置及びシステム
WO2012033344A2 (ko) 효과적인 화면내 예측모드 집합 선택을 이용한 영상 부호화/복호화 방법 및 장치
US10382773B1 (en) Video data encoding using reference picture lists
CN101094412A (zh) 视频信号编码系统和方法以及视频输出和信号转换装置
US20100316123A1 (en) Moving image coding device, imaging device and moving image coding method
WO2012161556A2 (ko) 무선 통신 시스템에서의 데이터 전송률 조절 방법 및 장치
US20150139614A1 (en) Input/output system for editing and playing ultra-high definition image
US20210289231A1 (en) Method, apparatus and medium for decoding or encoding
WO2016114539A1 (ko) 영상의 부호화 및 복호화 방법 및 장치
WO2021196994A1 (zh) 编码的方法及装置、终端和存储介质
US11095890B2 (en) Memory-efficient filtering approach for image and video coding
WO2019045297A1 (ko) 영상처리장치 및 그 제어방법
WO2016006746A1 (ko) 초고해상도 영상 처리를 위한 장치
WO2012141551A2 (ko) 멀티 트랙 비디오를 사용한 고속 스케일러블 비디오 코딩 장치 및 방법
JP2002010265A (ja) 送信装置およびその方法と受信装置およびその方法
WO2010140864A2 (ko) 스테레오 영상 처리 장치 및 방법
WO2016060478A1 (en) Method and apparatus for video processing with complexity information
CN102123280B (zh) 解码方法及解码装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18851753

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18851753

Country of ref document: EP

Kind code of ref document: A1