WO2022220552A1 - 전자 장치 및 그 제어 방법 - Google Patents

전자 장치 및 그 제어 방법 Download PDF

Info

Publication number
WO2022220552A1
WO2022220552A1 PCT/KR2022/005298 KR2022005298W WO2022220552A1 WO 2022220552 A1 WO2022220552 A1 WO 2022220552A1 KR 2022005298 W KR2022005298 W KR 2022005298W WO 2022220552 A1 WO2022220552 A1 WO 2022220552A1
Authority
WO
WIPO (PCT)
Prior art keywords
frame
frequency
low
block
obtaining
Prior art date
Application number
PCT/KR2022/005298
Other languages
English (en)
French (fr)
Inventor
임형준
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to CN202280027921.XA priority Critical patent/CN117121468A/zh
Priority to EP22788408.7A priority patent/EP4274207A4/en
Priority to US17/846,138 priority patent/US11800240B2/en
Publication of WO2022220552A1 publication Critical patent/WO2022220552A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H04N5/213—Circuitry for suppressing or minimising impulsive noise
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators

Definitions

  • the present invention relates to an electronic device and a method for controlling the same, and more particularly, to an electronic device for performing image processing and a method for controlling the same.
  • FIG. 1 the sharpness improvement method most commonly used in the image processing field is shown in FIG. 1 .
  • a high-frequency component is extracted by applying a high-frequency band filter to an input frame included in an image, and then added to the input frame to amplify the high-frequency component of the input frame.
  • a high-frequency component When a high-frequency component is added to the input frame, it is possible to obtain an output frame with increased sharpness and improved image quality. For example, as the high frequency component is amplified compared to the input frame, the boundary of the object in the frame becomes clearer and the fine detail signal on the surface of the object is amplified, so that the overall sharpness of the frame can be improved.
  • the flicker phenomenon is distortion (artifacts) that occurs when an image is provided through an electronic device. Users who receive the image are more sensitive to image quality deterioration (or distortion) due to the flicker phenomenon than to improve clarity due to amplification of high-frequency components. recognize
  • the present disclosure has been made in accordance with the above-described needs, and an object of the present disclosure is to provide an electronic device and a method for controlling the same that minimize the occurrence of a flicker while improving image sharpness.
  • an electronic device is configured to display and based on low-frequency information corresponding to a first frame and low-frequency information corresponding to a second frame among a plurality of frames included in an input image. obtaining a low-frequency variation, obtaining a high-frequency variation based on high-frequency information corresponding to the first frame and high-frequency information corresponding to the second frame, and obtaining a weight based on a difference between the low-frequency variation and the high-frequency variation, and , applying the weight to the high frequency frame corresponding to the second frame, obtaining an output frame corresponding to the second frame based on the second frame and the high frequency frame to which the weight is applied, and using the obtained output frame and a processor for controlling the display to display.
  • the weight is in inverse proportion to the difference value, and the difference value may be obtained by differentiating the low-frequency variation from the high-frequency variation.
  • the processor is configured to include first low-frequency information of a first block among a plurality of blocks included in the first frame and a second block of a second block corresponding to the first block among a plurality of blocks included in the second frame.
  • a low-frequency variation is obtained based on the low-frequency information
  • a high-frequency variation is obtained based on the first high-frequency information of the first block and the second high-frequency information of the second block, and based on the difference between the low-frequency variation and the high-frequency variation to obtain a first weight
  • apply the first weight to the high-frequency block corresponding to the second block and output corresponding to the second block based on the second block and the high-frequency block to which the first weight is applied blocks can be obtained.
  • the processor compares the low frequency variation amount and the high frequency variation amount corresponding to each of the plurality of blocks included in the second frame to obtain a plurality of weights, and assigns each weight among the plurality of weights to the second frame It can be applied to a corresponding block among a plurality of blocks included in the high-frequency frame.
  • the processor is configured to add a pixel value included in the second block and a corresponding pixel value among the high frequency blocks to obtain the output block, , when the difference between the low frequency variation amount and the high frequency variation amount is equal to or greater than a second threshold value, the second block may be obtained as the output block.
  • the processor may obtain the output block as the output block based on the first weight.
  • the processor applies a first high frequency band filter (HPF) to the second frame to obtain the high frequency frame corresponding to the second frame, and applies a low frequency band filter (LPF) to the second frame.
  • HPF high frequency band filter
  • LPF low frequency band filter
  • the low frequency information corresponding to the second frame may be obtained, and a second high frequency band filter may be applied to the second frame to obtain the high frequency information corresponding to the second frame.
  • the processor may obtain the weight based on a ratio of the amount of change in the high frequency to the amount of change in the low frequency.
  • the processor applies a low frequency band filter to the second frame to obtain a low frequency frame less than a threshold frequency corresponding to the second frame and the low frequency information, and based on a difference between the second frame and the low frequency frame
  • a low frequency band filter to the second frame to obtain a low frequency frame less than a threshold frequency corresponding to the second frame and the low frequency information, and based on a difference between the second frame and the low frequency frame
  • the processor based on the low-frequency information obtained from the first frame, the first threshold frequency or more and including a frequency less than the second threshold frequency, the low-frequency variation may be obtained.
  • a method of controlling an electronic device based on low-frequency information corresponding to a first frame and low-frequency information corresponding to a second frame among a plurality of frames included in an input image to obtain a low-frequency variation, obtaining a high-frequency variation based on high-frequency information corresponding to the first frame and high-frequency information corresponding to the second frame, weighting based on a difference between the low-frequency variation and the high-frequency variation obtaining, applying the weight to a high frequency frame corresponding to the second frame, obtaining an output frame corresponding to the second frame based on the second frame and the high frequency frame to which the weight is applied; and displaying the obtained output frame.
  • the weight may be inversely proportional to a difference value obtained by differentiating the low-frequency variation from the high-frequency variation.
  • the obtaining of the low-frequency variation may include: first low-frequency information of a first block among a plurality of blocks included in the first frame and a first block corresponding to the first block among a plurality of blocks included in the second frame. and obtaining a low-frequency variation based on second low-frequency information of two blocks, wherein the obtaining of the high-frequency variation includes first high-frequency information of the first block and second high-frequency information of the second block to obtain a high-frequency variation, wherein the step of obtaining the weight includes obtaining a first weight based on a difference between the low-frequency variation and the high-frequency variation, and the applying includes: and applying the first weight to the high-frequency block corresponding to the second block, wherein the obtaining the output frame includes applying the first weight to the second block based on the second block and the high-frequency block to which the first weight is applied. It may include obtaining a corresponding output block.
  • the obtaining of the weights includes obtaining a plurality of weights by comparing low-frequency variation and high-frequency variation corresponding to each of the plurality of blocks included in the second frame, and applying the weights includes:
  • the method may include applying each weight among a plurality of weights to a corresponding block among a plurality of blocks included in the high frequency frame corresponding to the second frame.
  • the obtaining of the output frame may include adding a pixel value included in the second block and a corresponding pixel value among the high frequency blocks when the difference between the low frequency variation amount and the high frequency variation amount is less than or equal to a first threshold value.
  • the method may include obtaining an output block and obtaining the second block as the output block when a difference between the low frequency variation amount and the high frequency variation amount is equal to or greater than a second threshold value.
  • the step of obtaining the output frame may include, if the difference between the low-frequency variation from the high-frequency variation exceeds the first threshold value and is less than the second threshold value, based on the difference between the low-frequency variation from the high-frequency variation. and obtaining the output block based on the obtained first weight.
  • control method may further include obtaining the high frequency frame corresponding to the second frame by applying a first high frequency band filter (HPF) to the second frame, wherein the obtaining of the low frequency variation includes: and acquiring a low-frequency frame corresponding to the second frame and the low-frequency information by applying a low-frequency band filter (LPF) to the second frame, wherein the acquiring of the high-frequency variation includes: and obtaining the high-frequency information corresponding to the second frame by applying a second high-frequency band filter, wherein the obtaining of the high-frequency frame to which the weight is applied includes: the low-frequency variation amount and the weight obtained based on the high-frequency variation amount is applied to the high frequency frame to obtain the high frequency frame to which the weight is applied.
  • HPF high frequency band filter
  • the obtaining of the output frame may include obtaining the weight based on a ratio of the amount of change in the high frequency to the amount of change in the low frequency.
  • the obtaining of the low-frequency variation includes applying a low-frequency band filter to the second frame to obtain a low-frequency frame less than a threshold frequency corresponding to the second frame and the low-frequency information
  • the high-frequency variation may include acquiring the high-frequency frame and the high-frequency information of the critical frequency or higher corresponding to the second frame based on a difference between the second frame and the low-frequency frame.
  • the obtaining of the low-frequency variation includes: obtaining the low-frequency variation based on the low-frequency information obtained from the second frame and the low-frequency information above the first threshold frequency and less than the second threshold frequency obtained from the first frame; , and the obtaining of the output frame may include obtaining the weight based on a value obtained by dividing the amount of change in the low frequency from the amount of change in the high frequency.
  • the occurrence of a flicker phenomenon may be minimized by differentially amplifying a high frequency component in consideration of a change amount of frequency energy according to time.
  • the image may be divided into a plurality of regions, and a high frequency component may be differentially amplified for each of the plurality of regions.
  • 1 is a view for explaining a method of amplifying a high frequency image of an image according to the prior art.
  • FIG. 2 is a block diagram illustrating a configuration of an electronic device according to an embodiment of the present disclosure.
  • 3 is a view for explaining low-frequency information and high-frequency information according to an embodiment of the present disclosure.
  • 4A and 4B are diagrams for explaining a low-frequency frame and a high-frequency frame according to an embodiment of the present disclosure.
  • FIG. 5 is a view for explaining a low-frequency variation and a high-frequency variation according to an embodiment of the present disclosure.
  • FIG. 6 is a graph for explaining a function for obtaining a weight according to an embodiment of the present disclosure.
  • FIGS. 7A and 7B are diagrams for explaining a plurality of blocks included in a frame according to an embodiment of the present disclosure.
  • 7C is a diagram for explaining a weight according to an embodiment of the present disclosure.
  • FIG. 8 is a view for explaining low-frequency information and high-frequency information according to another embodiment of the present disclosure.
  • FIG. 9 is a detailed block diagram illustrating the configuration of an electronic device according to an embodiment of the present disclosure.
  • FIG. 10 is a flowchart illustrating a method of controlling an electronic device according to an embodiment of the present disclosure.
  • Embodiments of the present disclosure may apply various transformations and may have various embodiments, and specific embodiments will be illustrated in the drawings and described in detail in the detailed description. However, this is not intended to limit the scope of the specific embodiments, and it should be understood to include all transformations, equivalents and substitutions included in the spirit and scope of the disclosure. In describing the embodiments, if it is determined that a detailed description of a related known technology may obscure the subject matter, the detailed description thereof will be omitted.
  • a "module” or “unit” performs at least one function or operation, and may be implemented as hardware or software, or a combination of hardware and software.
  • a plurality of “modules” or a plurality of “units” are integrated into at least one module and implemented with at least one processor (not shown) except for “modules” or “units” that need to be implemented with specific hardware.
  • 1 is a view for explaining a method of amplifying a high frequency image of an image according to the prior art.
  • an electronic device acquires a high-frequency frame I HF corresponding to an input frame I by using a high-frequency band filter (or a high-pass filter (HPF)). . Then, the electronic device according to the related art may acquire the output frame O by adding the obtained high frequency frame I HF to the input frame I.
  • a high-frequency band filter or a high-pass filter (HPF)
  • HPF high-pass filter
  • the output frame O is an amplified high-frequency component of the input frame I, and may have improved sharpness and image quality compared to the input frame I.
  • the conventional image processing technology amplifies the high-frequency component of each of a plurality of frames included in the input image, the high-frequency fluctuation between successive frames increases, and as a result, the image quality deteriorates rather than the image sharpness improvement for the user receiving the image.
  • distortion, and a flicker phenomenon are mainly recognized.
  • FIG. 2 is a block diagram illustrating a configuration of an electronic device according to an embodiment of the present disclosure.
  • the electronic device 100 includes a display 110 and a processor 120 .
  • the electronic device 100 may be implemented as a TV, but is not limited thereto, and a smart phone, a tablet PC, a notebook PC, a head mounted display (HMD), a near eye display (NED), a large format display (LFD), Any device having a display function, such as a digital signage (digital signage), a digital information display (DID), a video wall, and a projector display, is applicable without limitation.
  • a smart phone a tablet PC, a notebook PC, a head mounted display (HMD), a near eye display (NED), a large format display (LFD),
  • HMD head mounted display
  • NED near eye display
  • LFD large format display
  • Any device having a display function such as a digital signage (digital signage), a digital information display (DID), a video wall, and a projector display, is applicable without limitation.
  • the display 110 includes a liquid crystal display (LCD), an organic light-emitting diode (OLED), a liquid crystal on silicon (LCoS), a digital light processing (DLP), and a quantum dot (QD) display. It can be implemented in various types of displays such as panels, quantum dot light-emitting diodes (QLEDs), micro light-emitting diodes ( ⁇ LEDs), and mini LEDs.
  • the display 110 is implemented as a touch screen combined with a touch sensor, a flexible display, a rollable display, a three-dimensional display (3D display), a display in which a plurality of display modules are physically connected, etc. it might be
  • the processor 120 controls the overall operation of the electronic device 100 .
  • the processor 120 may be implemented as a digital signal processor (DSP), a microprocessor, or a timing controller (T-CON) that processes a digital image signal.
  • DSP digital signal processor
  • a central processing unit (CPU), a micro controller unit (MCU), a micro processing unit (MPU), a controller, an application processor (AP), or a communication processor (communication) processor (CP)) may include one or more of an ARM processor, or may be defined by a corresponding term
  • the processor 120 is a SoC (System on Chip), LSI (large scale integration) in which a processing algorithm is embedded. It may be implemented in the form of a field programmable gate array (FPGA).
  • SoC System on Chip
  • LSI large scale integration
  • an output frame O is obtained by adding a high frequency frame I HF obtained from an input frame I to an input frame I.
  • the processor 120 measures the flicker intensity, and differentiates the high frequency frame I HF obtained from the input frame I according to the measured flicker intensity to the input frame I It is possible to obtain an output frame O by adding
  • the flicker intensity means that as the high-frequency component of the input frame I is amplified, the high-frequency fluctuation between successive frames increases, and thus the flicker phenomenon that is expected to occur is numerically predicted (or expressed). can do.
  • the processor 120 receives the high frequency frame I HF obtained from the input frame I. After the weak adjustment, an output frame O may be obtained in addition to the input frame I. Accordingly, the occurrence of the flicker phenomenon can be prevented.
  • the processor 120 inputs the high frequency frame I HF obtained from the input frame I.
  • an output frame (O) may be obtained. Accordingly, the sharpness, image quality, etc. of the output frame O may be improved compared to the input frame I.
  • 3 is a view for explaining low-frequency information and high-frequency information according to an embodiment of the present disclosure.
  • the processor 120 may obtain a low-frequency frame corresponding to the first frame among a plurality of frames included in the input image by using the low-frequency band filter (LPF) (S310). Subsequently, the processor 120 may acquire low-frequency information based on the low-frequency frame corresponding to the first frame. For example, the processor 120 may obtain frequency information less than a threshold frequency from the first frame.
  • the threshold frequency may correspond to the filter strength of the low frequency band filter.
  • the processor 120 may obtain a high frequency frame corresponding to the first frame by using a high frequency band filter (HPF) ( S320 ). Subsequently, the processor 120 may acquire high frequency information based on the high frequency frame corresponding to the first frame. For example, the processor 120 may obtain high frequency information of a threshold frequency or higher from the first frame.
  • the threshold frequency may correspond to the filter strength of the low frequency band filter or the filter strength of the high frequency band filter as described above.
  • each of the low-frequency information and the high-frequency information may be referred to as a low-frequency component and a high-frequency component, but for convenience of description, they will be collectively referred to as low-frequency information and high-frequency information in various embodiments below.
  • the first frame may mean a frame corresponding to time t-1 among a plurality of frames included in the input image.
  • the processor 120 may acquire a high frequency frame corresponding to a first frame by using a high frequency band filter (HPF).
  • HPF high frequency band filter
  • the first frame is acquired in step S310
  • a differential frame by subtracting the low frequency frame, that is, a high frequency frame.
  • the processor 120 may store low-frequency information and high-frequency information corresponding to the first frame acquired in steps S310 and S320 at time t-1 in a memory (not shown).
  • the processor 120 may obtain a low-frequency frame corresponding to the second frame among a plurality of frames included in the input image by using the low-frequency band filter (LPF) ( S310 ). Subsequently, the processor 120 may acquire low-frequency information based on the low-frequency frame corresponding to the second frame. For example, the processor 120 may obtain low frequency information less than a threshold frequency from the second frame.
  • LPF low-frequency band filter
  • the processor 120 may obtain a high frequency frame corresponding to the second frame by using a high frequency band filter (HPF) ( S320 ). Subsequently, the processor 120 may acquire high frequency information based on the high frequency frame corresponding to the second frame. For example, the processor 120 may obtain high frequency information of a threshold frequency or higher from the second frame.
  • HPF high frequency band filter
  • the second frame may refer to a frame corresponding to time t among a plurality of frames included in the input image, that is, a frame temporally consecutive to the first frame.
  • the low-frequency frame and the high-frequency frame acquired at time t-1 and time t are described with reference to FIGS. 4A and 4B .
  • 4A and 4B are diagrams for explaining a low-frequency frame and a high-frequency frame according to an embodiment of the present disclosure.
  • the processor 120 At time t-1, the processor 120 generates a low-frequency frame ((I LF(t-1) )(1-1) corresponding to the first frame (I (t-1) )(1). and a high-frequency frame ((I HF(t-1) )(1-2).
  • the processor 120 may acquire low frequency information based on the low frequency frame 1-1 corresponding to the first frame 1 .
  • the processor 120 may obtain low-frequency information based on Equation (1).
  • (x, y) is the pixel coordinates in the frame
  • I LF (x, y) is the (x, y) pixel value or frequency value of the low-frequency frame
  • E LF is the low-frequency information (or, low-frequency energy, Low-frequency power, hereinafter collectively referred to as low-frequency information).
  • the processor 120 may acquire the high frequency information based on the high frequency frame 1-2 corresponding to the first frame 1 .
  • a pixel value or frequency value of a pixel, E HF means high-frequency information (or, hereinafter, high-frequency energy and high-frequency power, collectively referred to as high-frequency information) of a high-frequency frame.
  • the processor 120 is a second frame (I (t) ) (2) corresponding to the low-frequency frame ((I LF(t) ) (2-1) and the high-frequency frame ( (I HF(t) )(2-2) can be obtained.
  • the processor 120 may obtain the low-frequency frame 2-1 corresponding to the second frame 2 and low-frequency information corresponding to the second frame 2 based on Equation 1.
  • the processor 120 may acquire the high frequency information corresponding to the second frame 2 based on the high frequency frame 2 - 2 corresponding to the second frame 2 and Equation 2 .
  • Equations 1 and 2 obtain the low-frequency information E LF and the high-frequency information E HF based on the absolute value of the pixel value of each of the plurality of pixels or the sum of the absolute values of the frequency values of each of the plurality of pixels.
  • this is an example and is not limited thereto.
  • high-frequency information as the sum of squares of pixel values or frequency values of each of a plurality of pixels
  • the processor 120 is the low-frequency information (E LF (t-1)) obtained from the first frame (1) and the low-frequency information (E LF (t)) obtained from the second frame (2) Based on the low-frequency variation may be obtained (S330).
  • the processor 120 generates a high frequency information based on the high frequency information E HF (t-1) obtained from the first frame 1 and the high frequency information E HF (t) obtained from the second frame 2 ).
  • a change amount may be obtained (S340).
  • FIG. 5 is a view for explaining a low-frequency variation and a high-frequency variation according to an embodiment of the present disclosure.
  • the processor 120 determines the low frequency information E LF (t-1) obtained from the first frame 1 at time t-1 and the low frequency information obtained from the second frame 2 at time t. Based on the difference in the information E LF (t), a low frequency variation ⁇ E LF corresponding to the second frame may be obtained.
  • the processor 120 determines the high frequency information E HF (t-1) obtained from the first frame 1 at time t-1 and the high frequency information ⁇ E HF obtained from the second frame 2 at time t. Based on the difference (t)), it is possible to obtain a high frequency change amount ⁇ E HF corresponding to the second frame 2 .
  • the processor 120 may measure the flicker intensity based on the low frequency variation ⁇ E LF and the high frequency variation ⁇ E HF ( S350 ).
  • the flicker intensity indicates the degree of adjustment of the intensity of the high frequency frame I HF for improving clarity in addition to the input frame I, it may be expressed as a weight.
  • a weight for convenience of description.
  • FIG. 6 is a graph for explaining a function for obtaining a weight according to an embodiment of the present disclosure.
  • Each of the low-frequency change amount ⁇ E LF and the high-frequency change amount ⁇ E HF means a temporal change amount of low-frequency energy and a temporal change amount of high-frequency energy.
  • the processor 120 calculates the flicker intensity, only the high-frequency variation ⁇ E HF may be considered, but the processor 120 according to an embodiment of the present disclosure provides a low-frequency variation ⁇ E LF and a high-frequency variation ⁇ E HF ) can of course be considered.
  • the flicker intensity may be calculated by considering both the low-frequency variation ( ⁇ E LF ) and the high-frequency variation ( ⁇ E HF ).
  • the processor 120 may obtain the flicker intensity, ie, a weight, based on Equation 4 below.
  • the value of F has a value of 0 to 1, and the function f(x) may be a one-dimensional function that outputs a value proportional to x.
  • the F value may have a larger value as the high frequency variation ⁇ E HF is greater than the low frequency variation ⁇ E LF .
  • the sigmoid function and ReLU function shown in FIG. 6 are only an example, and the processor 120 has various types of functions f ( x) can be used to obtain the F value.
  • f ( x) can be used to obtain the F value.
  • the processor 120 obtains a weight based on the difference between the low-frequency change amount ⁇ E LF and the high-frequency change amount ⁇ E HF , and the high-frequency frame ((I HF(t ) ) ) (2-2) may be weighted to obtain a weighted high frequency frame.
  • the processor 120 has been described as acquiring the F value and the weight (1-F) based on the difference between the low-frequency variation from the high-frequency variation, but this is an example and is not limited thereto. to be.
  • the processor 120 may obtain the F value and the weight (1-F) based on the ratio of the low-frequency variation to the high-frequency variation. For example, if the ratio of the high-frequency variation to the low-frequency variation is greater than or equal to the threshold ratio, the processor 120 may predict that the high-frequency variation is greater than the low-frequency variation (eg, ⁇ E HF > ⁇ E LF ), so that the flicker intensity is high. have.
  • the processor 120 may obtain an F value and a weight (1-F) based on the ratio of the high frequency variation to the low frequency variation.
  • the F value may increase in proportion as the ratio of the low frequency variation ( ⁇ E LF ) to the high frequency variation ( ⁇ E HF ) increases.
  • the weight according to various embodiments of the present disclosure is assumed to be (1-F), but this is only an example, and the weight means various values having an inverse relationship with the F value, such as (1/F). Of course, it is also possible.
  • the processor 120 substitutes the high-frequency frame ((I HF(t) )(2-2) and the weight (1-F) of the second frame 2 into Equation 5, A third frame may be acquired ( S360 of FIG. 3 ).
  • I HF(t) ' denotes a high-frequency frame to which a weight (1-F) is applied
  • I HF(t) denotes a high-frequency frame 2-2 of the second frame 2 .
  • the processor 120 may obtain an output frame O based on the high frequency frame I HF(t) ′ to which the weight 1-F is applied and the second frame 2 ( S370 of FIG. 3 ). ). This is expressed by Equation 6 as follows.
  • I is the input frame, that is, the second frame (2) at time t, (1-F) * I HF(t) is the high frequency frame frame to which weight (1-F) is applied at time t (I HF(t) ') means
  • the processor 120 performs the flicker
  • the intensity of the high-frequency frame 2-2 of the second frame 2 may be adjusted based on the intensity, that is, the weight 1-F, and merged with the second frame 2 .
  • the processor 120 generates low-frequency information E LF (t-1) of the first frame 1 corresponding to time t-1 and low-frequency information of the second frame 2 corresponding to time t.
  • a high frequency variation ⁇ E HF is obtained based on the high frequency information E HF (t) of the second frame 2 to be
  • the description has been made on the assumption that a weight (1-F) corresponding to the frame (2) is obtained.
  • the F value may increase and the weight 1-F may decrease.
  • the processor 120 obtains a weight (1-F) corresponding to each of a plurality of consecutive frames included in the input image, and obtains an output frame (O) corresponding to each of the plurality of frames.
  • a weight (1-F) corresponding to each of a plurality of consecutive frames included in the input image
  • O output frame
  • the processor 120 determines the low frequency information E LF (t) of the second frame 1 corresponding to the time t and the low frequency information E LF ( t+) of the third frame corresponding to the time t+1. 1)), the low frequency variation ⁇ E LF is obtained, and the high frequency information E HF (t) of the second frame 2 corresponding to time t and the high frequency information of the third frame corresponding to time t+1 A high-frequency variation ⁇ E HF is obtained based on the information E HF (t+1), and then a weight 1 corresponding to the third frame based on the low-frequency variation ⁇ E LF and the high-frequency variation ⁇ E HF .
  • -F can be obtained.
  • f(x) is a ReLU function, a one-dimensional function that outputs a value proportional to x.
  • the processor 120 sets the weight obtained based on the difference between the low-frequency variation from the high-frequency variation to the second frame.
  • the processor 120 determines that the second frame 2 and the high frequency frame I HF(t) ) of the second frame 2 (2-2) ) to obtain an output frame (O).
  • the processor 120 determines that the difference between the low-frequency variation and the high-frequency variation is less than 0, that is, if there is no difference, the high-frequency frame (I HF(t) ) (2-) of the second frame 2 and the second frame 2 2) can be summed to obtain an output frame (O).
  • the processor 120 determines that the second frame 2 and the high-frequency frame of the second frame 2 (I HF(t) ) Without summing (2-2), the second frame (2) may be obtained as the output frame (O).
  • the processor 120 divides each of the first frame and the second frame into blocks of a preset size, and weights 1-F corresponding to each of the plurality of blocks. can also be obtained.
  • weights 1-F corresponding to each of the plurality of blocks.
  • FIGS. 7A and 7B are diagrams for explaining a plurality of blocks included in a frame according to an embodiment of the present disclosure.
  • the processor 120 may classify a first frame 1 corresponding to a time t-1 and a second frame 2 corresponding to a time t in units of blocks having a preset size.
  • the preset size may be variously changed according to the size of the memory, the resource of the electronic device 100, the resolution of the input image, and the like.
  • the processor 120 may divide the first frame 1 into blocks of a preset size to obtain a total of 3600 blocks, 80 horizontally and 45 vertically. Also, the processor 120 may divide the second frame 2 into a total of 3600 blocks. Specific numbers are examples for convenience of description and are not limited thereto.
  • the processor 120 obtains a low-frequency variation based on low-frequency information of a first block among a plurality of blocks included in the first frame 1 and low-frequency information of a second block among a plurality of blocks included in the second frame. can do.
  • the processor 120 determines the second of a plurality of blocks included in the low-frequency frame ((I LF(t-1) )(1-1) of the first frame 1 corresponding to the time t-1. Based on the low-frequency information of the second block among a plurality of blocks included in the low-frequency frame ((I LF(t) ) (2-1) of the second frame 2 corresponding to the low-frequency information of one block and the time t A change amount may be obtained, where the second block may be a block corresponding in position to the first block.
  • the processor 120 determines the high frequency of the first block among a plurality of blocks included in the high frequency frame ((I HF(t-1) )1-2 of the first frame 1 corresponding to the time t-1. To obtain a high frequency variation amount based on the information and the high frequency information of the second block among a plurality of blocks included in the high frequency frame ((I HF(t) ) 2-2) of the second frame 2 corresponding to the time t. can
  • the processor 120 may obtain a low frequency variation amount and a high frequency variation amount corresponding to each of a plurality of blocks.
  • the processor 120 may obtain the low-frequency variation and the high-frequency variation for each block shown at the bottom of FIG. 7B based on Equation 7 below.
  • B denotes a block
  • the processor 120 acquires the low frequency information E LF corresponding to the block by summing the pixel values or frequency values of each of the plurality of pixels included in the block B, and in the block B
  • the high frequency information E HF corresponding to the block may be obtained by summing pixel values or frequency values of each of a plurality of included pixels.
  • the processor 120 may obtain the amount of energy change according to time for each block, ie, the low frequency change amount ⁇ E LF and the high frequency change amount ⁇ E HF , based on Equation 3 .
  • the processor 120 may obtain flicker intensities for each block based on the low frequency variation ⁇ E LF and the high frequency variation ⁇ E HF , that is, an F value and a weight (1-F). A detailed description thereof will be made with reference to FIG. 7C .
  • 7C is a diagram for explaining a weight according to an embodiment of the present disclosure.
  • the processor 120 obtains a low-frequency variation ( ⁇ E LF ) based on the low-frequency information of the first block and the low-frequency information of the second block, and based on the high-frequency information of the first block and the high-frequency information of the second block Thus, a high frequency variation ( ⁇ E HF ) can be obtained.
  • ⁇ E LF low-frequency variation
  • ⁇ E HF high frequency variation
  • the processor 120 may obtain a first weight corresponding to the second block based on the low frequency variation ⁇ E LF and the high frequency variation ⁇ E HF .
  • the processor 120 determines the flicker intensity corresponding to each of the plurality of blocks based on the low-frequency variation ⁇ E LF and the high-frequency variation ⁇ E HF for each block included in the second frame 2 . That is, the weight (1-F) can be obtained.
  • the processor 120 obtains a weight (1-F) based on Equation (4), and the weight (1-F) may have a value of 0 to 1.
  • a light color means that the weight (1-F) value corresponding to the block is close to 1
  • a dark color means that the weight (1-F) value corresponding to the block is close to 0.
  • the processor 120 identifies the amount of energy change (eg, the low-frequency change ( ⁇ E LF ) and the high-frequency change ( ⁇ E HF )) for each of the plurality of blocks included in the frame, and the high-frequency change amount rather than the low-frequency change amount ( ⁇ E LF )
  • the amount of energy change eg, the low-frequency change ( ⁇ E LF ) and the high-frequency change ( ⁇ E HF )
  • the processor 120 identifies the amount of energy change (eg, the low-frequency change ( ⁇ E LF ) and the high-frequency change ( ⁇ E HF )) for each of the plurality of blocks included in the frame, and the high-frequency change amount rather than the low-frequency change amount ( ⁇ E LF )
  • a block with a large ( ⁇ E HF ) is predicted to cause flicker, and the block can prevent the occurrence of flicker by minimizing amplification of high-frequency components.
  • the processor 120 determines that the F value corresponding to the block becomes 1, and the weight (1-F) ) becomes 0, and the high frequency component may not be amplified based on Equation (6).
  • the F value becomes 0, the weight (1-F) becomes 1, and sharpness, detail, image quality, etc. can be improved by summing the block and the high-frequency components of the block.
  • the block having a large difference between the high frequency variation ( ⁇ E HF ) and the low frequency variation ( ⁇ E LF ) has a bright color because the weight (1-F) value is close to 0, and the high frequency variation ( ⁇ E HF ) and low frequency
  • a block with a small difference in the amount of change ( ⁇ E LF ) may have a dark color because the weight (1-F) value is close to 1.
  • this is an example, and it goes without saying that specific numbers and colors may be variously changed.
  • the processor 120 applies a first weight corresponding to the second block to a high frequency block corresponding to the second block among a plurality of blocks included in the high frequency frame to apply the first weight to the high frequency block.
  • the high-frequency block to which the first weight is applied includes a second block among a plurality of high-frequency blocks included in a high-frequency frame ((I HF(t) )(2-2) corresponding to the second frame 2 and It may be a high-frequency block corresponding to a location.
  • the processor 120 may obtain a high frequency block to which a weight is applied based on Equation 5 above. Referring to Equation 5, it is as follows.
  • I HF(t) ' is the high-frequency block to which the first weight is applied
  • I HF(t) is the high-frequency block included in the high-frequency frame 2-2 of the second frame 2
  • (1-F) is the second 2 It means the first weight corresponding to the second block included in the frame (2).
  • the processor 120 may obtain an output block based on the second block included in the second frame 2 and the high frequency block to which the first weight is applied. For example, the processor 120 may obtain an output block by summing pixel values included in the second block and corresponding pixel values among the high frequency blocks to which the first weight is applied.
  • the processor 120 calculates a weight corresponding to each of a plurality of blocks included in the high frequency frame ((I HF(t) ) 2-2 of the second frame 2 based on Equation 5.
  • the processor 120 may obtain the output frame O by summing the second frame 2 and the weighted high frequency frame I HF(t) ′.
  • FIG. 8 is a view for explaining low-frequency information and high-frequency information according to another embodiment of the present disclosure.
  • the processor 120 may obtain low-frequency information and high-frequency information by using a plurality of filters.
  • FIG. 8 will be described on the assumption that an output frame O corresponding to the second frame 2 is obtained by using the second frame 2 as the input frame I at time t for convenience of explanation.
  • the processor 120 may obtain the low frequency frame I LF corresponding to the second frame 2 by using the low frequency band filter LPF.
  • the processor 120 obtains the first high frequency frame I HF1 corresponding to the second frame 2 using the first high frequency band filter HPF, and uses the second high frequency band filter to obtain the second frame.
  • the second high frequency frame I HF2 corresponding to (2) may be obtained.
  • the processor 120 may acquire the low-frequency information E LF based on the low-frequency frame I LF , and acquire the high-frequency information E HF based on the second high-frequency frame I HF2 .
  • the processor 120 obtains a low-frequency variation ( ⁇ E LF ) and a high-frequency variation ( ⁇ E HF ) corresponding to the second frame based on the low-frequency information (E LF ) and the high-frequency information (E HF ), and a weight (1-F) can be obtained.
  • ⁇ E LF low-frequency variation
  • ⁇ E HF high-frequency variation
  • the processor 120 applies a weight (1-F) to the first high frequency frame (I HF1 ) obtained by using the first high frequency band filter to obtain a weighted high frequency frame, and the second frame (2) and the third frame may be summed to obtain an output frame (O).
  • the filtering intensity of each of the first high frequency band filter HPF and the second high frequency band filter may be different.
  • the first high frequency band filter may have a relatively lower filtering strength than the second high frequency band filter.
  • this is an example and is not limited thereto.
  • the output frame O obtained using the configuration shown in FIG. 8 may be the same as the output frame O of FIG. 3 . have.
  • the processor 120 may obtain low frequency information equal to or greater than the first threshold frequency and less than the second threshold frequency from the first frame. Also, the processor 120 may obtain medium frequency information from the second frame.
  • the processor 120 uses a plurality of filters (eg, a low frequency band filter (LPF), a high frequency band filter (HPF), or a band pass filter (BPF), etc.) of different intensities among a plurality of frames.
  • Low frequency information equal to or greater than the first threshold frequency and less than the second threshold frequency corresponding to the first frame may be obtained.
  • the processor 120 may acquire low frequency information equal to or greater than the first threshold frequency and less than the second threshold frequency corresponding to the second frame.
  • the low frequency information may be referred to as medium frequency information equal to or greater than the first threshold frequency and less than the second threshold frequency, but hereinafter, for convenience of description, medium frequency information, which is differentiated from high frequency information, will be collectively referred to as low frequency information.
  • the processor 120 may acquire a low frequency variation amount based on low frequency information equal to or greater than the first threshold frequency and less than the second threshold frequency corresponding to each of the first frame and the second frame.
  • the processor 120 may obtain a weight based on the low-frequency variation and the high-frequency variation. For example, the processor 120 may obtain a weight based on a value obtained by subtracting the low frequency variation from the high frequency variation.
  • FIG. 9 is a detailed block diagram illustrating the configuration of an electronic device according to an embodiment of the present disclosure.
  • the electronic device 100 may include a display 110 , a processor 120 , a memory 130 , a communication interface 140 , an operation interface 150 , and an input/output interface 160 .
  • a duplicate description of the components described in FIG. 2 will be omitted.
  • the memory 130 included in the electronic device 100 includes a ROM (eg, electrically erasable programmable read-only memory (EEPROM)) and a RAM included in the processor 140 . It may be implemented as an internal memory such as (RAM), or may be implemented as a memory separate from the processor 140 . In this case, the memory 130 may be implemented in the form of a memory embedded in the electronic device 100 or may be implemented in the form of a memory detachable from the electronic device 100 according to the purpose of data storage. For example, data for driving the electronic device 100 is stored in a memory embedded in the electronic device 100 , and data for an extended function of the electronic device 100 is detachable from the electronic device 100 . It can be stored in any available memory.
  • ROM electrically erasable programmable read-only memory
  • RAM random access memory
  • the memory 130 may be implemented in the form of a memory embedded in the electronic device 100 or may be implemented in the form of a memory detachable from the electronic device 100 according to the purpose of data storage.
  • a volatile memory eg, dynamic RAM (DRAM), static RAM (SRAM), or synchronous dynamic RAM (SDRAM), etc.
  • non-volatile memory non-volatile memory
  • OTPROM one time programmable ROM
  • PROM programmable ROM
  • EPROM erasable and programmable ROM
  • EEPROM electrically erasable and programmable ROM
  • mask ROM flash ROM, flash memory (such as NAND flash or NOR flash, etc.)
  • flash memory such as NAND flash or NOR flash, etc.
  • SSD solid state drive
  • a removable memory in the electronic device 100 a memory card (eg, a compact flash (CF), SD ( secure digital), Micro-SD (micro secure digital), Mini-SD (mini secure digital), xD (extreme digital), MMC (multi-media card), etc.), external memory that can be connected to the USB port (e.g., USB memory) and the like.
  • USB port e.g., USB memory
  • the memory 130 may store the low-frequency information E LF and the high-frequency information E HF obtained from a frame corresponding to each time point, and then In order to obtain a weight F (or flicker intensity) of a frame corresponding to a viewpoint, low-frequency information E LF and high-frequency information E HF obtained from a frame corresponding to a previous viewpoint may be loaded. Also, the number of blocks dividing the frame may be proportional to the size of the storage space of the memory 130 .
  • Communication interface 140 is an AP-based Wi-Fi (Wi-Fi, Wireless LAN network), Bluetooth (Bluetooth), Zigbee (Zigbee), wired / wireless LAN (Local Area Network), WAN ( Wide Area Network), Ethernet, IEEE 1394, HDMI (High-Definition Multimedia Interface), USB (Universal Serial Bus), MHL (Mobile High-Definition Link), AES/EBU (Audio Engineering Society/ European Broadcasting Union) , an external device (eg, a source device, an external user terminal), an external storage medium (eg, USB memory), an external server (eg, Web hard), etc., to transmit or receive data by performing communication.
  • Wi-Fi Wi-Fi, Wireless LAN network
  • Bluetooth Bluetooth
  • Zigbee Zigbee
  • wired / wireless LAN Local Area Network
  • WAN Wide Area Network
  • Ethernet IEEE 1394
  • HDMI High-Definition Multimedia Interface
  • USB Universal Serial Bus
  • MHL Mobile High-Definition Link
  • AES/EBU Audio
  • the electronic device 100 may receive an image including a plurality of frames from an external device through the communication interface 140 , and transmit the image-processed output frame O to the external device. can also be sent to
  • the manipulation interface 150 may be implemented as a device such as a button, a touch pad, a mouse, and a keyboard, or may be implemented as a touch screen capable of performing the above-described display function and manipulation input function together.
  • the button may be various types of buttons such as a mechanical button, a touch pad, a wheel, etc. formed in an arbitrary area such as the front, side, or rear of the exterior of the main body of the electronic device 100 .
  • Input/output interface 160 is HDMI (High Definition Multimedia Interface), MHL (Mobile High-Definition Link), USB (Universal Serial Bus), DP (Display Port), Thunderbolt (Thunderbolt), VGA (Video Graphics Array) port,
  • the interface may be any one of an RGB port, a D-subminiature (D-SUB), and a digital visual interface (DVI).
  • the input/output interface 160 may input/output at least one of audio and video signals.
  • the input/output interface 160 may include a port for inputting and outputting only an audio signal and a port for inputting and outputting only a video signal as separate ports, or may be implemented as a single port for inputting and outputting both an audio signal and a video signal.
  • FIG. 10 is a flowchart illustrating a method of controlling an electronic device according to an embodiment of the present disclosure.
  • a method of controlling an electronic device first acquires a low frequency variation based on low frequency information obtained from a first frame among a plurality of frames included in an input image and low frequency information obtained from a second frame (S1010).
  • a high frequency variation is obtained based on the high frequency information obtained from the first frame and the high frequency information obtained from the second frame ( S1020 ).
  • the high frequency frame to which the weight is applied is obtained by applying the weight obtained based on the difference between the low frequency variation amount and the high frequency variation amount to the high frequency frame corresponding to the second frame ( S1030 ).
  • an output frame corresponding to the second frame is obtained based on the second frame and the high frequency frame to which the weight is applied ( S1040 ). Then, the obtained output frame is displayed (S1050).
  • the step S1030 of obtaining the high frequency frame to which the weight is applied may include obtaining a weight inversely proportional to the difference value of the low frequency variation from the high frequency variation.
  • the control method further includes dividing each of the first frame and the second frame into blocks of a preset size, and the step S1010 of obtaining the low frequency variation is included in the first frame.
  • Step S1020 of obtaining includes obtaining a high-frequency variation based on high-frequency information of a first block and high-frequency information of a second block
  • step S1030 of obtaining a weighted high-frequency frame includes: obtaining a high-frequency block to which the first weight is applied by applying a first weight obtained based on the difference to a high-frequency block corresponding to a second block among a plurality of blocks included in the high-frequency frame;
  • Step S1040 may include obtaining an output block corresponding to the second block based on the second block and the high frequency block to which the
  • the step S1030 of obtaining a weighted high frequency frame may include: obtaining a plurality of weights by comparing low frequency variation and high frequency variation corresponding to each of a plurality of blocks included in the second frame;
  • the method may include obtaining a high frequency frame to which a plurality of weights are applied by applying a weight corresponding to each of a plurality of blocks included in the frame.
  • step S1040 of obtaining an output frame if the difference between the low-frequency variation and the high-frequency variation is less than or equal to the first threshold value, the pixel value included in the second block and the corresponding pixel value among the high-frequency blocks are summed. and obtaining the second block as an output block when the difference between the low-frequency variation and the high-frequency variation is equal to or greater than a second threshold value.
  • step S1040 of obtaining an output frame if the difference between the low-frequency variation from the high-frequency variation exceeds the first threshold and is less than the second threshold, the difference between the low-frequency variation from the high-frequency variation is based on the value and obtaining an output block based on the obtained first weight.
  • the control method further includes obtaining a high-frequency frame corresponding to the second frame by applying a first high-frequency band filter (HPF) to the second frame, S1010 acquiring a low-frequency variation
  • the step includes obtaining a low-frequency frame and low-frequency information corresponding to the second frame by applying a low-frequency band filter (LPF) to the second frame
  • the step S1020 of obtaining a high-frequency variation includes: and obtaining high-frequency information corresponding to the second frame by applying a high-frequency band filter
  • step S1030 of obtaining the high-frequency frame to which a weight is applied includes applying a weight obtained based on the low-frequency variation and the high-frequency variation to the high-frequency frame. to obtain a high frequency frame to which a weight is applied.
  • the step S1040 of obtaining the output frame according to an embodiment of the present disclosure may include obtaining a weight based on a ratio of the amount of change in the high frequency to the amount of change in the low frequency.
  • the step S1010 of obtaining the low-frequency variation includes obtaining a low-frequency frame and low-frequency information less than a threshold frequency corresponding to the second frame by applying a low-frequency band filter to the second frame,
  • the step S1020 of acquiring the high-frequency variation may include acquiring a high-frequency frame and high-frequency information of a threshold frequency or higher corresponding to the second frame based on a difference between the second frame and the low-frequency frame.
  • the step S1010 of obtaining a low-frequency variation includes the low-frequency information obtained from the low-frequency information obtained from the second frame and the low-frequency information above the first threshold frequency and less than the second threshold frequency obtained from the first frame.
  • the step of obtaining the variation may include; step S1040 of obtaining the output frame may include obtaining a weight based on a value obtained by subtracting the low frequency variation from the high frequency variation.
  • the various embodiments described above may be implemented in a recording medium readable by a computer or a similar device using software, hardware, or a combination thereof.
  • the embodiments described herein may be implemented by the processor itself.
  • embodiments such as the procedures and functions described in this specification may be implemented as separate software modules. Each of the software modules may perform one or more functions and operations described herein.
  • computer instructions for performing the processing operation of the electronic device 100 according to various embodiments of the present disclosure described above may be stored in a non-transitory computer-readable medium. have.
  • the specific device performs the processing operation in the electronic device 100 according to the various embodiments described above.
  • the non-transitory computer-readable medium refers to a medium that stores data semi-permanently, rather than a medium that stores data for a short moment, such as a register, cache, memory, etc., and can be read by a device.
  • Specific examples of the non-transitory computer-readable medium may include a CD, DVD, hard disk, Blu-ray disk, USB, memory card, ROM, and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)

Abstract

전자 장치가 개시된다. 전자 장치는, 디스플레이 및 입력 영상에 포함된 복수의 프레임 중 제1 프레임으로부터 획득된 저주파 정보 및 제2 프레임으로부터 획득된 저주파 정보에 기초하여 저주파 변화량을 획득하고, 제1 프레임으로부터 획득된 고주파 정보 및 제2 프레임으로부터 획득된 고주파 정보에 기초하여 고주파 변화량을 획득하고, 제2 프레임에 대응되는 고주파 프레임에 저주파 변화량 및 고주파 변화량의 차이에 기초하여 획득된 가중치를 적용하여 가중치가 적용된 고주파 프레임을 획득하고, 제2 프레임 및 가중치가 적용된 고주파 프레임에 기초하여 제2 프레임에 대응되는 출력 프레임을 획득하고, 획득된 출력 프레임을 표시하도록 디스플레이를 제어하는 프로세서를 포함한다.

Description

전자 장치 및 그 제어 방법
본 발명은 전자 장치 및 그 제어 방법에 관한 것으로, 보다 상세하게는 영상 처리를 수행하는 전자 장치 및 그 제어 방법에 관한 것이다.
입력 영상의 선명도를 향상시키는 영상 처리를 수행한 뒤, 이를 출력하는 다양한 장치 및 방법이 개발되고 있다.
특히, 영상 처리 분야에서 가장 보편적으로 이용되는 선명도 향상 방법은 도 1과 같다.
도 1을 참조하면, 영상에 포함된 입력 프레임에 고주파 대역 필터를 적용하여 고주파 성분을 추출한 뒤, 이를 입력 프레임에 더함으로써 입력 프레임의 고주파 성분을 증폭시킬 수 있다.
입력 프레임에 고주파 성분이 더해지면, 선명도가 증가하고 화질이 개선된 출력 프레임을 획득할 수 있다. 예를 들어, 입력 프레임 대비 고주파 성분이 증폭됨에 따라 프레임 내 오브젝트의 경계선이 보다 뚜렷해지고, 오브젝트 표면의 미세 디테일 신호가 증폭되므로, 프레임의 전반적인 선명도가 향상될 수 있다.
다만, 이와 같은 방법을 이용하여 획득된 출력 프레임은 프레임 내 고주파 성분이 증폭된 상태이므로, 전 프레임 또는 후 프레임 간의 고주파 변동이 커지는 문제가 있다.
영상에 포함된 복수의 프레임들 간의 고주파 변동이 커지면, 영상이 재생되는 동안에 플리커(flicker) 현상이 발생하는 문제가 있다. 플리커 현상은 전자 장치를 통한 영상 제공 시에 발생하는 왜곡(artifacts)으로, 영상을 제공받는 사용자는 고주파 성분의 증폭으로 인한 선명도 향상 보다, 플리커 현상으로 인한 화질 열화(또는, 왜곡)를 보다 민감하게 인지한다.
따라서, 프레임의 선명도를 향상시키면서도, 영상에 포함된 복수의 프레임들 간의 고주파 변동을 최소화하여 플리커 현상의 발생을 방지하기 위한 영상 처리 방법에 대한 필요성이 증대되었다.
본 개시는 상술한 필요성에 따른 것으로, 본 개시의 목적은 영상의 선명도를 개선하면서도, 플리커 현상의 발생을 최소화하는 전자 장치 및 그 제어 방법을 제공함에 있다.
본 개시의 상술한 목적을 달성하기 위한 일 실시 예에 따르면 전자 장치는, 디스플레이 및 입력 영상에 포함된 복수의 프레임 중 제1 프레임에 대응되는 저주파 정보 및 제2 프레임에 대응되는 저주파 정보에 기초하여 저주파 변화량을 획득하고, 상기 제1 프레임에 대응되는 고주파 정보 및 상기 제2 프레임에 대응되는 고주파 정보에 기초하여 고주파 변화량을 획득하고, 상기 저주파 변화량 및 상기 고주파 변화량의 차이에 기초하여 가중치를 획득하고, 상기 제2 프레임에 대응되는 고주파 프레임에 상기 가중치를 적용하고, 상기 제2 프레임 및 상기 가중치가 적용된 고주파 프레임에 기초하여 상기 제2 프레임에 대응되는 출력 프레임을 획득하고, 상기 획득된 출력 프레임을 표시하도록 상기 디스플레이를 제어하는 프로세서를 포함한다.
여기서, 상기 가중치는, 차분 값에 반비례하며, 상기 차분 값은, 상기 고주파 변화량에서 상기 저주파 변화량을 차분하여 획득될 수 있다.
또한, 상기 프로세서는, 상기 제1 프레임에 포함된 복수의 블록 중 제1 블록의 제1 저주파 정보 및 상기 제2 프레임에 포함된 복수의 블록 중 상기 제1 블록에 대응되는 제2 블록의 제2 저주파 정보에 기초하여 저주파 변화량을 획득하고, 상기 제1 블록의 제1 고주파 정보 및 상기 제2 블록의 제2 고주파 정보에 기초하여 고주파 변화량을 획득하고, 상기 저주파 변화량 및 상기 고주파 변화량의 차이에 기초하여 제1 가중치를 획득하고, 상기 제2 블록에 대응되는 고주파 블록에 상기 제1 가중치를 적용하며, 상기 제2 블록 및 상기 제1 가중치가 적용된 고주파 블록에 기초하여 상기 제2 블록에 대응되는 출력 블록을 획득할 수 있다.
여기서, 상기 프로세서는, 상기 제2 프레임에 포함된 복수의 블록 각각에 대응되는 저주파 변화량 및 고주파 변화량을 비교하여 복수의 가중치를 획득하고, 상기 복수의 가중치 중 각 가중치를, 상기 제2 프레임에 대응되는 상기 고주파 프레임에 포함된 복수의 블록 중 대응되는 블록에 적용할 수 있다.
또한, 상기 프로세서는, 상기 저주파 변화량과 상기 고주파 변화량의 차이가 제1 임계 값 이하이면, 상기 제2 블록에 포함된 픽셀 값 및 상기 고주파 블록 중 대응되는 픽셀 값을 합산하여 상기 출력 블록을 획득하고, 상기 저주파 변화량과 상기 고주파 변화량의 차이가 제2 임계 값 이상이면, 상기 제2 블록을 상기 출력 블록으로 획득할 수 있다.
여기서, 상기 프로세서는, 상기 저주파 변화량과 상기 고주파 변화량의 차이가 상기 제1 임계 값을 초과하고 상기 제2 임계 값 미만이면, 상기 제1 가중치에 기초하여 상기 출력 블록으로 획득할 수 있다.
또한, 상기 프로세서는, 상기 제2 프레임에 제1 고주파 대역 필터(HPF)를 적용하여 상기 제2 프레임에 대응되는 상기 고주파 프레임을 획득하고, 상기 제2 프레임에 저주파 대역 필터(LPF)를 적용하여 상기 제2 프레임에 대응되는 상기 저주파 정보를 획득하고, 상기 제2 프레임에 제2 고주파 대역 필터를 적용하여 상기 제2 프레임에 대응되는 상기 고주파 정보를 획득할 수 있다.
또한, 상기 프로세서는, 상기 저주파 변화량 대비 상기 고주파 변화량의 비율에 기초하여 상기 가중치를 획득할 수 있다.
또한, 상기 프로세서는, 상기 제2 프레임에 저주파 대역 필터를 적용하여 상기 제2 프레임에 대응되는 임계 주파수 미만의 저주파 프레임 및 상기 저주파 정보를 획득하고, 상기 제2 프레임 및 상기 저주파 프레임 간 차이에 기초하여, 상기 임계 주파수 이상의 주파수를 포함하는, 상기 제2 프레임에 대응되는 고주파 프레임 및 상기 고주파 정보를 획득할 수 있다.
또한, 상기 프로세서는, 상기 제1 프레임으로부터 획득된 상기 저주파 정보에 기초하여, 제1 임계 주파수 이상이고 제2 임계 주파수 미만의 주파수를 포함하는, 상기 저주파 변화량을 획득할 수 있다.
본 개시의 상술한 목적을 달성하기 위한 일 실시 예에 따르면 전자 장치의 제어 방법은, 입력 영상에 포함된 복수의 프레임 중 제1 프레임에 대응되는 저주파 정보 및 제2 프레임에 대응되는 저주파 정보에 기초하여 저주파 변화량을 획득하는 단계, 상기 제1 프레임에 대응되는 고주파 정보 및 상기 제2 프레임에 대응되는 고주파 정보에 기초하여 고주파 변화량을 획득하는 단계, 상기 저주파 변화량 및 상기 고주파 변화량의 차이에 기초하여 가중치를 획득하는 단계, 상기 제2 프레임에 대응되는 고주파 프레임에 상기 가중치를 적용하는 단계, 상기 제2 프레임 및 상기 가중치가 적용된 고주파 프레임에 기초하여 상기 제2 프레임에 대응되는 출력 프레임을 획득하는 단계 및 상기 획득된 출력 프레임을 표시하는 단계를 포함한다.
여기서, 상기 가중치는, 상기 고주파 변화량에서 상기 저주파 변화량을 차분하여 획득된 차분 값에 반비례할 수 있다.
또한, 상기 저주파 변화량을 획득하는 단계는, 상기 제1 프레임에 포함된 복수의 블록 중 제1 블록의 제1 저주파 정보 및 상기 제2 프레임에 포함된 복수의 블록 중 상기 제1 블록에 대응되는 제2 블록의 제2 저주파 정보에 기초하여 저주파 변화량을 획득하는 단계를 포함하고, 상기 고주파 변화량을 획득하는 단계는, 상기 제1 블록의 제1 고주파 정보 및 상기 제2 블록의 제2 고주파 정보에 기초하여 고주파 변화량을 획득하는 단계를 포함하고, 상기 가중치를 획득하는 단계는, 상기 저주파 변화량 및 상기 고주파 변화량의 차이에 기초하여 제1 가중치를 획득하는 단계를 포함하고, 상기 적용하는 단계는, 상기 제2 블록에 대응되는 고주파 블록에 상기 제1 가중치를 적용하는 단계를 포함하고, 상기 출력 프레임을 획득하는 단계는, 상기 제2 블록 및 상기 제1 가중치가 적용된 고주파 블록에 기초하여 상기 제2 블록에 대응되는 출력 블록을 획득하는 단계를 포함할 수 있다.
여기서, 상기 가중치를 획득하는 단계는, 상기 제2 프레임에 포함된 복수의 블록 각각에 대응되는 저주파 변화량 및 고주파 변화량을 비교하여 복수의 가중치를 획득하는 단계를 포함하며, 상기 적용하는 단계는, 상기 복수의 가중치 중 각 가중치를, 상기 제2 프레임에 대응되는 상기 고주파 프레임에 포함된 복수의 블록 중 대응되는 블록에 적용하는 단계를 포함할 수 있다.
또한, 상기 출력 프레임을 획득하는 단계는, 상기 저주파 변화량과 상기 고주파 변화량의 차이가 제1 임계 값 이하이면, 상기 제2 블록에 포함된 픽셀 값 및 상기 고주파 블록 중 대응되는 픽셀 값을 합산하여 상기 출력 블록을 획득하는 단계 및 상기 저주파 변화량과 상기 고주파 변화량의 차이가 제2 임계 값 이상이면, 상기 제2 블록을 상기 출력 블록으로 획득하는 단계를 포함할 수 있다.
여기서, 상기 출력 프레임을 획득하는 단계는, 상기 고주파 변화량에서 상기 저주파 변화량을 차분한 값이 상기 제1 임계 값을 초과하고 상기 제2 임계 값 미만이면, 상기 고주파 변화량에서 상기 저주파 변화량을 차분한 값에 기초하여 획득된 상기 제1 가중치에 기초하여 상기 출력 블록을 획득하는 단계를 포함할 수 있다.
또한, 제어 방법은, 상기 제2 프레임에 제1 고주파 대역 필터(HPF)를 적용하여 상기 제2 프레임에 대응되는 상기 고주파 프레임을 획득하는 단계를 더 포함하고, 상기 저주파 변화량을 획득하는 단계는, 상기 제2 프레임에 저주파 대역 필터(LPF)를 적용하여 상기 제2 프레임에 대응되는 저주파 프레임 및 상기 저주파 정보를 획득하는 단계를 포함하고, 상기 고주파 변화량을 획득하는 단계는, 상기 제2 프레임에 제2 고주파 대역 필터를 적용하여 상기 제2 프레임에 대응되는 상기 고주파 정보를 획득하는 단계를 포함하고, 상기 가중치가 적용된 고주파 프레임을 획득하는 단계는, 상기 저주파 변화량 및 상기 고주파 변화량에 기초하여 획득된 가중치를 상기 고주파 프레임에 적용하여 상기 가중치가 적용된 고주파 프레임을 획득하는 단계를 포함할 수 있다.
또한, 상기 출력 프레임을 획득하는 단계는, 상기 저주파 변화량 대비 상기 고주파 변화량의 비율에 기초하여 상기 가중치를 획득하는 단계를 포함할 수 있다.
또한, 상기 저주파 변화량을 획득하는 단계는, 상기 제2 프레임에 저주파 대역 필터를 적용하여 상기 제2 프레임에 대응되는 임계 주파수 미만의 저주파 프레임 및 상기 저주파 정보를 획득하는 단계를 포함하고, 상기 고주파 변화량을 획득하는 단계는, 상기 제2 프레임 및 상기 저주파 프레임 간 차이에 기초하여 상기 제2 프레임에 대응되는 상기 임계 주파수 이상의 고주파 프레임 및 상기 고주파 정보를 획득하는 단계를 포함할 수 있다.
상기 저주파 변화량을 획득하는 단계는, 상기 제1 프레임으로부터 획득된 제1 임계 주파수 이상이고 제2 임계 주파수 미만의 상기 저주파 정보 및 상기 제2 프레임으로부터 획득된 저주파 정보에 기초하여 저주파 변화량을 획득하는 단계;를 포함하고, 상기 출력 프레임을 획득하는 단계는, 상기 고주파 변화량에서 상기 상기 저주파 변화량을 차분한 값에 기초하여 상기 가중치를 획득하는 단계를 포함할 수 있다.
본 개시의 다양한 실시 예들에 따르면, 시간에 따른 주파수 에너지의 변화량을 고려하여 고주파 성분의 증폭을 차등적을 수행하여 플리커 현상의 발생을 최소화할 수 있다.
선명도, 디테일, 화질 등이 개선된 영상을 제공할 수 있고, 화질 열화 정도는 최소화할 수 있다.
영상을 복수의 영역으로 구분하여, 복수의 영역 별로 고주파 성분을 차등적으로 증폭시킬 수 있다.
도 1은 종래 기술에 따라 영상의 고주파를 증폭시키는 방법을 설명하기 위한 도면이다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 설명하기 위한 블록도이다.
도 3은 본 개시의 일 실시 예에 따른 저주파 정보 및 고주파 정보를 설명하기 위한 도면이다.
도 4a 및 4b는 본 개시의 일 실시 예에 따른 저주파 프레임 및 고주파 프레임을 설명하기 위한 도면이다.
도 5는 본 개시의 일 실시 예에 따른 저주파 변화량 및 고주파 변화량을 설명하기 위한 도면이다.
도 6은 본 개시의 일 실시 예에 따른 가중치를 획득하기 위한 함수를 설명하기 위한 그래프이다.
도 7a 및 7b는 본 개시의 일 실시 예에 따른 프레임에 포함된 복수의 블록을 설명하기 위한 도면이다.
도 7c는 본 개시의 일 실시 예에 따른 가중치를 설명하기 위한 도면이다.
도 8은 본 개시의 다른 실시 예에 따른 저주파 정보 및 고주파 정보를 설명하기 위한 도면이다.
도 9는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 설명하기 위한 상세 블록도이다.
도 10은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 개시에 대해 구체적으로 설명하기로 한다.　
본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 개시의 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 개시된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시 예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 개시에서 "모듈" 혹은 "부"는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈" 혹은 복수의 "부"는 특정한 하드웨어로 구현될 필요가 있는 "모듈" 혹은 "부"를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.　그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 종래기술에 따라 영상의 고주파를 증폭시키는 방법을 설명하기 위한 도면이다.
도 1을 참조하면, 종래 기술에 따른 전자 장치는 고주파 대역 필터(또는, 고역 통과 필터(High pass filter: HPF))를 이용하여 입력 프레임(I)에 대응되는 고주파 프레임(IHF)을 획득한다. 이어서, 종래 기술에 따른 전자 장치는 획득된 고주파 프레임(IHF)을 입력 프레임(I)에 더하여 출력 프레임(O)을 획득할 수 있다.
여기서, 출력 프레임(O)은 입력 프레임(I)의 고주파 성분이 증폭된 것으로, 입력 프레임(I) 보다 선명도, 화질 등이 개선될 수 있다.
다만, 종래의 영상 처리 기술은 입력 영상에 포함된 복수의 프레임 각각의 고주파 성분을 증폭시키므로, 연속된 프레임들 간의 고주파 변동이 증가하고, 이로 인하여 영상을 제공받는 사용자가 영상의 선명도 향상보다 화질 열화, 왜곡, 플리커(Flicker) 현상(예를 들어, 프레임 전환 시에 디스플레이의 깜빡임) 등을 주로 인지하는 문제가 있다.
이하에서는, 본 개시의 다양한 실시 예에 따라 플리커 발생을 방지하면서, 입력 프레임의 선명도, 화질 등을 개선시키는 영상 처리 방법을 설명하도록 한다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 설명하기 위한 블록도이다.
도 2를 참조하면 전자 장치(100)는 디스플레이(110) 및 프로세서(120)를 포함한다.
여기서, 전자 장치(100)는 TV로 구현될 수 있으나, 이에 한정되는 것은 아니며 스마트 폰, 태블릿 PC, 노트북 PC, HMD(Head mounted Display), NED(Near Eye Display), LFD(large format display), Digital Signage(디지털 간판), DID(Digital Information Display), 비디오 월(video wall), 프로젝터 디스플레이 등과 같이 디스플레이 기능을 갖춘 장치라면 한정되지 않고 적용 가능하다.
본 개시의 일 실시 예에 따른 디스플레이(110)는 LCD(liquid crystal display), OLED(organic light-emitting diode), LCoS(Liquid Crystal on Silicon), DLP(Digital Light Processing), QD(quantum dot) 디스플레이 패널, QLED(quantum dot light-emitting diodes) μLED(Micro light-emitting diodes), Mini LED 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 한편, 디스플레이(110)는 터치 센서와 결합된 터치 스크린, 플렉시블 디스플레이(flexible display), 롤러블 디스플레이(rollable display), 3차원 디스플레이(3D display), 복수의 디스플레이 모듈이 물리적으로 연결된 디스플레이 등으로 구현될 수도 있다.
프로세서(120)는 전자 장치(100)의 전반적인 동작을 제어한다.
일 실시 예에 따라 프로세서(120)는 디지털 영상 신호를 처리하는 디지털 시그널 프로세서(digital signal processor(DSP), 마이크로 프로세서(microprocessor), T-CON(Timing controller)으로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), 컨트롤러(controller), 어플리케이션 프로세서(application processor(AP)), 또는 커뮤니케이션 프로세서(communication processor(CP)), ARM 프로세서 중 하나 또는 그 이상을 포함하거나, 해당 용어로 정의될 수 있다. 또한, 프로세서(120)는 프로세싱 알고리즘이 내장된 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, FPGA(Field Programmable gate array) 형태로 구현될 수도 있다.
도 1을 참조하면, 종래 기술은 입력 프레임(I)으로부터 획득된 고주파 프레임(IHF)을 입력 프레임(I)에 더하여 출력 프레임(O)을 획득하였다.
이에 반해, 본 개시의 다양한 실시 예에 따른 프로세서(120)는 플리커 강도를 측정하고, 측정된 플리커 강도에 따라 입력 프레임(I)으로부터 획득된 고주파 프레임(IHF)을 입력 프레임(I)에 차등적으로 더하여 출력 프레임(O)을 획득할 수 있다.
여기서, 플리커 강도는, 입력 프레임(I)의 고주파 성분이 증폭됨에 따라 연속된 프레임들 간의 고주파 변동이 증가하며, 이로 인하여 발생이 예상되는 플리커 현상을 수치적으로 예측(또는, 표현)한 것을 의미할 수 있다.
예를 들어, 프로세서(120)는 플리커 강도에 기초하여 입력 프레임(I)의 고주파 성분이 증폭됨에 따라 플리커 현상이 강하게 발생할 것으로 예측되면, 입력 프레임(I)으로부터 획득된 고주파 프레임(IHF)을 약하게 조정한 뒤, 입력 프레임(I)에 더하여 출력 프레임(O)을 획득할 수 있다. 이에 따라, 플리커 현상의 발생을 방지할 수 있다.
다른 예로, 프로세서(120)는 플리커 강도에 기초하여 입력 프레임(I)의 고주파 성분이 증폭되어도 플리커 현상이 발생하지 않을 것으로 예측되면, 입력 프레임(I)으로부터 획득된 고주파 프레임(IHF)을 입력 프레임(I)에 더하여 출력 프레임(O)을 획득할 수 있다. 이에 따라, 출력 프레임(O)의 선명도, 화질 등은 입력 프레임(I) 보다 개선될 수 있다.
이하에서는, 플리커 강도를 측정하는 다양한 실시 예에 대해 설명하도록 한다.
도 3은 본 개시의 일 실시 예에 따른 저주파 정보 및 고주파 정보를 설명하기 위한 도면이다.
<t-1 시점>
t-1 시점에서, 프로세서(120)는 저주파 대역 필터(LPF)를 이용하여 입력 영상에 포함된 복수의 프레임 중 제1 프레임에 대응되는 저주파 프레임을 획득할 수 있다(S310). 이어서, 프로세서(120)는 제1 프레임에 대응되는 저주파 프레임에 기초하여 저주파 정보를 획득할 수 있다. 일 예로, 프로세서(120)는 제1 프레임으로부터 임계 주파수 미만의 주파수 정보를 획득할 수 있다. 여기서, 임계 주파수는 저주파 대역 필터의 필터 강도에 대응될 수 있다.
또한, 프로세서(120)는 고주파 대역 필터(HPF)를 이용하여 제1 프레임에 대응되는 고주파 프레임을 획득할 수 있다(S320). 이어서, 프로세서(120)는 제1 프레임에 대응되는 고주파 프레임에 기초하여 고주파 정보를 획득할 수 있다. 일 예로, 프로세서(120)는 제1 프레임으로부터 임계 주파수 이상의 고주파 정보를 획득할 수 있다. 여기서, 임계 주파수는 상술한 바와 같이 저주파 대역 필터의 필터 강도 또는, 고주파 대역 필터의 필터 강도에 대응될 수 있다.
한편, 저주파 정보 및 고주파 정보 각각은 저주파 성분 및 고주파 성분으로 불릴 수도 있으나, 설명의 편의상 이하 다양한 실시 예에서는 저주파 정보 및 고주파 정보로 통칭하도록 한다.
여기서, 제1 프레임은 입력 영상에 포함된 복수의 프레임 중 t-1 시점에 대응되는 프레임을 의미할 수 있다.
도 3을 참조하면, 일 실시 예에 따른 프로세서(120)는 고주파 대역 필터(HPF)를 이용하여 제1 프레임에 대응되는 고주파 프레임을 획득할 수도 있고, 다른 예로, 제1 프레임에 S310 단계에서 획득된 저주파 프레임을 뺀 차분 프레임 즉, 고주파 프레임을 획득할 수도 있음은 물론이다.
한편, 본 개시의 일 실시 예에 따른 프로세서(120)는 t-1 시점에서 S310 및 S320 단계에서 획득된 제1 프레임에 대응되는 저주파 정보 및 고주파 정보를 메모리(미도시)에 저장할 수 있다.
<t 시점>
t 시점에서, 프로세서(120)는 저주파 대역 필터(LPF)를 이용하여 입력 영상에 포함된 복수의 프레임 중 제2 프레임에 대응되는 저주파 프레임을 획득할 수 있다(S310). 이어서, 프로세서(120)는 제2 프레임에 대응되는 저주파 프레임에 기초하여 저주파 정보를 획득할 수 있다. 예를 들어, 프로세서(120)는 제2 프레임으로부터 임계 주파수 미만의 저주파 정보를 획득할 수 있다.
또한, 프로세서(120)는 고주파 대역 필터(HPF)를 이용하여 제2 프레임에 대응되는 고주파 프레임을 획득할 수 있다(S320). 이어서, 프로세서(120)는 제2 프레임에 대응되는 고주파 프레임에 기초하여 고주파 정보를 획득할 수 있다. 예를 들어, 프로세서(120)는 제2 프레임으로부터 임계 주파수 이상의 고주파 정보를 획득할 수 있다.
여기서, 제2 프레임은 입력 영상에 포함된 복수의 프레임 중 t 시점에 대응되는 프레임 즉, 제1 프레임에 시간적으로 연속하는 프레임을 의미할 수 있다.
t-1 시점 및 t 시점에서 획득된 저주파 프레임 및 고주파 프레임을 도면을 이용하여 설명하면 도 4a 및 도 4b와 같다.
도 4a 및 4b는 본 개시의 일 실시 예에 따른 저주파 프레임 및 고주파 프레임을 설명하기 위한 도면이다.
도 4a를 참조하면, t-1 시점에서 프로세서(120)는 제1 프레임(I(t-1))(1)에 대응되는 저주파 프레임((ILF(t-1))(1-1) 및 고주파 프레임((IHF(t-1))(1-2)을 획득할 수 있다.
일 실시 예에 따른 프로세서(120)는 제1 프레임(1)에 대응되는 저주파 프레임(1-1)에 기초하여 저주파 정보를 획득할 수 있다.
예를 들어, 프로세서(120)는 수학식 1에 기초하여 저주파 정보를 획득할 수 있다.
[수학식 1]
Figure PCTKR2022005298-appb-img-000001
여기서, (x, y)는 프레임 내 픽셀 좌표, ILF (x, y)는 저주파 프레임의 (x, y) 픽셀의 값 또는 주파수 값, ELF는 저주파 프레임의 저주파 정보(또는, 저주파 에너지, 저주파 파워 이하, 저주파 정보로 통칭한다)를 의미한다.
또한, 프로세서(120)는 제1 프레임(1)에 대응되는 고주파 프레임(1-2)에 기초하여 고주파 정보를 획득할 수 있다.
[수학식 2]
Figure PCTKR2022005298-appb-img-000002
여기서, (x, y)는 프레임 내 픽셀 좌표, I(x, y)는 입력 프레임의 (x, y) 픽셀의 픽셀 값 또는 주파수 값, IHF (x, y)는 고주파 프레임의 (x, y) 픽셀의 픽셀 값 또는 주파수 값, EHF는 고주파 프레임의 고주파 정보(또는, 고주파 에너지, 고주파 파워 이하, 고주파 정보로 통칭한다)를 의미한다.
이어서, 도 4b를 참조하면, t 시점에서 프로세서(120)는 제2 프레임(I(t))(2)에 대응되는 저주파 프레임((ILF(t))(2-1) 및 고주파 프레임((IHF(t))(2-2)을 획득할 수 있다.
일 실시 예에 따른 프로세서(120)는 제2 프레임(2)에 대응되는 저주파 프레임(2-1) 및 수학식 1에 기초하여 제2 프레임(2)에 대응되는 저주파 정보를 획득할 수 있다.
또한, 프로세서(120)는 제2 프레임(2)에 대응되는 고주파 프레임(2-2) 및 수학식 2에 기초하여 제2 프레임(2)에 대응되는 고주파 정보를 획득할 수 있다.
한편, 수학식 1 및 2는 복수의 픽셀 각각의 픽셀 값의 절대 값, 또는 복수의 픽셀 각각의 주파수 값의 절대 값의 합에 기초하여 저주파 정보(ELF) 및 고주파 정보(EHF)를 획득하는 것으로 나타내었으나, 이는 일 예시이며 이에 한정되지 않음은 물론이다. 예를 들어, 복수의 픽셀 각각의 픽셀 값 또는 주파수 값의 제곱의 합으로 저주파 정보(예를 들어, ELF=∑(x, y) { |ILF (x, y)| 2 }) 및 고주파 정보(예를 들어, EHF=∑(x, y) { |IHF (x, y)| 2 })를 획득할 수도 있음은 물론이다.
도 3으로 돌아와서, 프로세서(120)는 제1 프레임(1)으로부터 획득된 저주파 정보(ELF(t-1)) 및 제2 프레임(2)으로부터 획득된 저주파 정보(ELF(t))에 기초하여 저주파 변화량을 획득할 수 있다(S330).
또한, 프로세서(120)는 제1 프레임(1)으로부터 획득된 고주파 정보(EHF(t-1)) 및 제2 프레임(2)으로부터 획득된 고주파 정보(EHF(t))에 기초하여 고주파 변화량을 획득할 수 있다(S340).
저주파 변화량 및 고주파 변화량을 획득하는 단계를 도면을 이용하여 설명하면 도 5와 같다.
도 5는 본 개시의 일 실시 예에 따른 저주파 변화량 및 고주파 변화량을 설명하기 위한 도면이다.
도 5를 참조하면, 프로세서(120)는 t-1 시점에서 제1 프레임(1)으로부터 획득된 저주파 정보(ELF(t-1))와 t 시점에서 제2 프레임(2)으로부터 획득된 저주파 정보(ELF(t))의 차이에 기초하여 제2 프레임에 대응되는 저주파 변화량(σELF)을 획득할 수 있다.
또한, 프로세서(120)는 t-1 시점에서 제1 프레임(1)으로부터 획득된 고주파 정보(EHF(t-1))와 t 시점에서 제2 프레임(2)으로부터 획득된 고주파 정보(δEHF(t))의 차이에 기초하여 제2 프레임(2)에 대응되는 고주파 변화량(δEHF)을 획득할 수 있다.
도 5를 수학식으로 표현하면 하기의 수학식 3과 같다.
[수학식 3]
Figure PCTKR2022005298-appb-img-000003
Figure PCTKR2022005298-appb-img-000004
도 3으로 돌아와서, 프로세서(120)는 저주파 변화량(δELF) 및 고주파 변화량(δEHF)에 기초하여 플리커 강도를 측정할 수 있다(S350).
여기서, 플리커 강도는 입력 프레임(I)에 더하여 선명도를 향상시키기 위한 고주파 프레임(IHF)의 세기 조정 정도를 나타내므로 가중치로 나타낼 수도 있고, 이하에서는 설명의 편의를 위해 가중치로 통칭하도록 한다.
도 6은 본 개시의 일 실시 예에 따른 가중치를 획득하기 위한 함수를 설명하기 위한 그래프이다.
저주파 변화량(δELF) 및 고주파 변화량(δEHF) 각각은, 저주파 에너지의 시간적 변화량 및 고주파 에너지의 시간적 변화량을 의미한다.
본 개시의 일 실시 예에 따라, 고주파 에너지의 변화량이 저주파 에너지의 변화량 보다 클수록(예를 들어, δEHF > δELF) 플리커 강도가 높음을 상정하여 설명한다.
또한, 프로세서(120)가 플리커 강도를 산출함에 있어서, 고주파 변화량(δEHF) 만을 고려할 수도 있으나, 본 개시의 일 실시 예에 따른 프로세서(120)는 저주파 변화량(δELF) 및 고주파 변화량(δEHF)을 모두 고려할 수도 있음은 물론이다.
저주파 변화량(δELF) 및 고주파 변화량(δEHF)이 모두 크다면, 프레임 전환 시에 플리커가 발생하는 것이 아니라, 프레임 내 오브젝트의 움직임, 장면의 전환이 발생한 상황일 수 있으므로, 프로세서(120)는 저주파 변화량(δELF) 및 고주파 변화량(δEHF)을 모두 고려하여 플리커 강도를 산출할 수 있다.
일 예로, 프로세서(120)는 하기의 수학식 4에 기초하여 플리커 강도 즉, 가중치를 획득할 수 있다.
[수학식 4]
Figure PCTKR2022005298-appb-img-000005
여기서, 함수 f(x)의 일 예시는 도 6에 도시된 그래프를 참조하여 설명하도록 한다.
F 값은 0 내지 1의 값을 가지며, 함수 f(x)는 x와 비례한 값을 출력하는 1차원 함수일 수 있다. 예를 들어, F 값은 고주파 변화량(δEHF)이 저주파 변화량(δELF) 보다 클수록 큰 값을 가질 수 있다.
한편, 도 6에 도시된 Sigmoid 함수, ReLU 함수는 일 예시에 불과하며, 프로세서(120)는 고주파 변화량(δEHF)이 저주파 변화량(δELF) 보다 클수록 F 값이 증가하는 다양한 형태의 함수 f(x)를 이용하여 F 값을 획득할 수 있다. 고주파 변화량(δEHF)과 저주파 변화량(δELF)의 차이가 클수록 F 값이 비례하여 증가하면, 가중치(1-F)는 고주파 변화량(δEHF)과 저주파 변화량(δELF)의 차이와 반비례 관계임은 물론이다.
도 3으로 돌아와서, 프로세서(120)는 저주파 변화량(δELF) 및 고주파 변화량(δEHF)의 차이에 기초하여 가중치를 획득하고, 제2 프레임(2)에 대응되는 고주파 프레임((IHF(t))(2-2)에 가중치를 적용하여 가중치가 적용된 고주파 프레임을 획득할 수 있다.
한편, 상술한 예시에서는, 프로세서(120)가 고주파 변화량에서 저주파 변화량을 차분한 값에 기초하여 F 값 및, 가중치(1-F)를 획득하는 것으로 설명하였으나, 이는 일 예시이며 이에 한정되지 않음은 물론이다.
다른 예로, 프로세서(120)는 저주파 변화량 대비 고주파 변화량의 비율에 기초하여 F 값 및 가중치(1-F)를 획득할 수도 있다. 예를 들어, 저주파 변화량 대비 고주파 변화량의 비율이 임계 비율 이상이면, 프로세서(120)는 고주파 변화량이 저주파 변화량 보다 크므로(예를 들어, δEHF > δELF), 플리커 강도가 높을 것으로 예상할 수 있다. 프로세서(120)는 저주파 변화량 대비 고주파 변화량의 비율에 기초하여 F 값 및 가중치(1-F)를 획득할 수 있다. 여기서, F 값은 저주파 변화량(δELF) 대비 고주파 변화량(δEHF)의 비율이 증가할수록 비례하여 증가할 수 있다.
한편, 본 개시의 다양한 실시 예에 따른 가중치를 (1-F)로 상정하여 설명하였으나, 이는 예시에 불과하며, 가중치는 (1/F)와 같이, F 값과 반비례 관계를 가지는 다양한 값을 의미할 수도 있음은 물론이다.이어서, 프로세서(120)는 제2 프레임(2)의 고주파 프레임((IHF(t))(2-2)과 가중치(1-F)을 수학식 5에 대입하여 제3 프레임을 획득할 수 있다(도 3의 S360).
[수학식 5]
Figure PCTKR2022005298-appb-img-000006
여기서, IHF(t)'은 가중치(1-F)가 적용된 고주파 프레임, IHF(t)은 제2 프레임(2)의 고주파 프레임(2-2)을 의미한다.
이어서, 프로세서(120)는 가중치(1-F)가 적용된 고주파 프레임(IHF(t)')과 제2 프레임(2)에 기초하여 출력 프레임(O)을 획득할 수 있다(도 3의 S370). 이를 수학식 6으로 나타내면 다음과 같다.
[수학식 6]
Figure PCTKR2022005298-appb-img-000007
여기서, I는 입력 프레임 즉, t 시점에서 제2 프레임(2), (1-F) * IHF(t)는 t 시점에서 가중치(1-F)가 적용된 고주파 프레임 프레임(IHF(t)')을 의미한다.
수학식 5 및 6에서 알 수 있듯, 제2 프레임(2) 및 제2 프레임(2)의 고주파 프레임(2-2)을 합산하여 출력 프레임(O)을 획득함에 있어서, 프로세서(120)는 플리커 강도 즉, 가중치(1-F)에 기초하여 제2 프레임(2)의 고주파 프레임(2-2)의 강도를 조정하여 제2 프레임(2)과 병합할 수 있다.
상술한 실시 예에서는 프로세서(120)가 t-1 시점에 대응되는 제1 프레임(1)의 저주파 정보(ELF(t-1))와 t 시점에 대응되는 제2 프레임(2)의 저주파 정보(ELF(t))에 기초하여 저주파 변화량(δELF)을 획득하고, t-1 시점에 대응되는 제1 프레임(1)의 고주파 정보(EHF(t-1))와 t 시점에 대응되는 제2 프레임(2)의 고주파 정보(EHF(t))에 기초하여 고주파 변화량(δEHF)을 획득하고, 이어서, 저주파 변화량(δELF) 및 고주파 변화량(δEHF)에 기초하여 제2 프레임(2)에 대응되는 가중치(1-F)를 획득하는 경우를 상정하여 설명하였다. 일 실시 예에 따라 저주파 변화량(δELF) 및 고주파 변화량(δEHF)의 차이가 클수록 F 값은 증가하고, 가중치(1-F)는 감소할 수 있다.
다만, 이는 일 예시이며 프로세서(120)는 입력 영상에 포함된 연속하는 복수의 프레임 각각에 대응되는 가중치(1-F)를 획득하고, 복수의 프레임 각각에 대응되는 출력 프레임(O)을 획득할 수 있음은 물론이다.
예를 들어, 프로세서(120)가 t 시점에 대응되는 제2 프레임(1)의 저주파 정보(ELF(t))와 t+1 시점에 대응되는 제3 프레임의 저주파 정보(ELF(t+1))에 기초하여 저주파 변화량(δELF)을 획득하고, t 시점에 대응되는 제2 프레임(2)의 고주파 정보(EHF(t))와 t+1 시점에 대응되는 제3 프레임의 고주파 정보(EHF(t+1))에 기초하여 고주파 변화량(δEHF)을 획득하고, 이어서, 저주파 변화량(δELF) 및 고주파 변화량(δEHF)에 기초하여 제3 프레임에 대응되는 가중치(1-F)를 획득할 수 있음은 물론이다.
한편, 일 실시 예에 따라 f(x)가 ReLU 함수, x와 비례한 값을 출력하는 1차원 함수인 경우를 상정할 수 있다. 이 경우, 프로세서(120)는 고주파 변화량에서 저주파 변화량을 차분한 값이 제1 임계 값을 초과하고, 제2 임계 값 미만이면, 고주파 변화량에서 저주파 변화량을 차분한 값에 기초하여 획득된 가중치를 제2 프레임(2)의 고주파 프레임(IHF(t))(2-2)에 적용하여 가중치(1-F)가 적용된 고주파 프레임(IHF(t)')을 획득할 수 있다.
다른 예로, 프로세서(120)는 저주파 변화량 및 고주파 변화량의 차이가 제1 임계 값 미만이면, 제2 프레임(2)과 제2 프레임(2)의 고주파 프레임(IHF(t))(2-2)을 합산하여 출력 프레임(O)을 획득할 수 있다.
즉, 프로세서(120)는 저주파 변화량 및 고주파 변화량의 차이가 0 미만, 즉, 차이가 없으면, 제2 프레임(2)과 제2 프레임(2)의 고주파 프레임(IHF(t))(2-2)을 합산하여 출력 프레임(O)을 획득할 수 있다.
또 다른 예로, 프로세서(120)는 고주파 변화량에서 저주파 변화량을 차분한 값의 차이가 제2 임계 값 이상이면, 제2 프레임(2)과 제2 프레임(2)의 고주파 프레임(IHF(t))(2-2)을 합산하지 않고, 제2 프레임(2)을 출력 프레임(O)으로 획득할 수 있다.
도 2로 돌아와서, 본 개시의 일 실시 예에 따른 프로세서(120)는 제1 프레임 및 제2 프레임 각각을 기 설정된 크기의 블록 단위로 구분하고, 복수의 블록 각각에 대응되는 가중치(1-F)를 획득할 수도 있다. 이하에서는, 각 블록 별 가중치(1-F)를 획득하는 다양한 실시 예를 설명하도록 한다.
도 7a 및 7b는 본 개시의 일 실시 예에 따른 프레임에 포함된 복수의 블록을 설명하기 위한 도면이다.
도 7a를 참조하면, 프로세서(120)는 t-1 시점에 대응되는 제1 프레임(1) 및 t 시점에 대응되는 제2 프레임(2)을 기 설정된 크기의 블록 단위로 구분할 수 있다. 여기서, 기 설정된 크기는, 메모리의 크기, 전자 장치(100)의 자원(resource), 입력 영상의 해상도(resolution) 등에 따라 다양하게 변경될 수 있음은 물론이다.
예를 들어, 프로세서(120)는 제1 프레임(1)을 기 설정된 크기의 블록 단위로 구분하여, 가로 80개, 세로 45개 총 3600개의 블록을 획득할 수 있다. 또한, 프로세서(120)는 제2 프레임(2)도 총 3600개의 블록으로 구분할 수 있다. 구체적인 숫자는 설명의 편의를 위한 일 예시이며 이에 한정되지 않음은 물론이다.
이어서, 프로세서(120)는 제1 프레임(1)에 포함된 복수의 블록 중 제1 블록의 저주파 정보 및 제2 프레임에 포함된 복수의 블록 중 제2 블록의 저주파 정보에 기초하여 저주파 변화량을 획득할 수 있다.
이에 대한 설명은 도 7b를 참조하여 하도록한다.
도 7b를 참조하면, 프로세서(120)는 t-1 시점에 대응되는 제1 프레임(1)의 저주파 프레임((ILF(t-1))(1-1)에 포함된 복수의 블록 중 제1 블록의 저주파 정보와 t 시점에 대응되는 제2 프레임(2)의 저주파 프레임((ILF(t))(2-1)에 포함된 복수의 블록 중 제2 블록의 저주파 정보에 기초하여 저주파 변화량을 획득할 수 있다. 여기서, 제2 블록은 제1 블록과 위치 상 대응되는 블록일 수 있다.
또한, 프로세서(120)는 t-1 시점에 대응되는 제1 프레임(1)의 고주파 프레임((IHF(t-1))(1-2)에 포함된 복수의 블록 중 제1 블록의 고주파 정보와 t 시점에 대응되는 제2 프레임(2)의 고주파 프레임((IHF(t))(2-2)에 포함된 복수의 블록 중 제2 블록의 고주파 정보에 기초하여 고주파 변화량을 획득할 수 있다.
일 실시 예에 따른 프로세서(120)는 복수의 블록 각각에 대응되는 저주파 변화량 및 고주파 변화량을 획득할 수 있다.
프로세서(120)는 도 7b의 하단에 도시된 복수의 블록 별 저주파 변화량 및 고주파 변화량을 하기의 수학식 7에 기초하여 획득할 수 있다.
[수학식 7]
Figure PCTKR2022005298-appb-img-000008
Figure PCTKR2022005298-appb-img-000009
여기서, B는 블록을 의미하며, 프로세서(120)는 블록 B에 포함된 복수의 픽셀 각각의 픽셀 값, 또는 주파수 값을 합산하여 블록에 대응되는 저주파 정보(ELF)를 획득하고, 블록 B에 포함된 복수의 픽셀 각각의 픽셀 값, 또는 주파수 값을 합산하여 블록에 대응되는 고주파 정보(EHF)를 획득할 수 있다.
이어서, 프로세서(120)는 수학식 3에 기초하여 블록 별 시간에 따른 에너지 변화량 즉, 저주파 변화량(δELF) 및 고주파 변화량(δEHF)을 획득할 수 있다.
일 실시 예에 따른 프로세서(120)는 저주파 변화량(δELF) 및 고주파 변화량(δEHF)에 기초하여 복수의 블록 별 플리커 강도 즉, F값 및 가중치(1-F)를 획득할 수 있다. 이에 대한 구체적인 설명은 도 7c를 참조하여 하도록 한다.
도 7c는 본 개시의 일 실시 예에 따른 가중치를 설명하기 위한 도면이다.
일 실시 예에 따른 프로세서(120)는 제1 블록의 저주파 정보 및 제2 블록의 저주파 정보에 기초하여 저주파 변화량(δELF)획득하고, 제1 블록의 고주파 정보 및 제2 블록의 고주파 정보에 기초하여 고주파 변화량(δEHF)을 획득할 수 있다.
이어서, 프로세서(120)는 저주파 변화량(δELF) 및 고주파 변화량(δEHF)에 기초하여 제2 블록에 대응되는 제1 가중치를 획득할 수 있다.
도 7c를 참조하면, 프로세서(120)는 제2 프레임(2)에 포함된 복수의 블록 별 저주파 변화량(δELF) 및 고주파 변화량(δEHF)에 기초하여, 복수의 블록 각각에 대응되는 플리커 강도 즉, 가중치(1-F)를 획득할 수 있다.
여기서, 프로세서(120)는 수학식 4에 기초하여 가중치(1-F)를 획득하며, 가중치(1-F)는 0 내지 1의 값을 가질 수 있다.
도 7c를 참조하면, 밝은 색은 블록에 대응되는 가중치(1-F) 값이 1에 가까움을 의미하며, 어두운 색은 블록에 대응되는 가중치(1-F) 값이 0에 가까움을 의미할 수 있다.
일 예로, 프로세서(120)는 프레임에 포함된 복수의 블록 별로 에너지 변화량(예를 들어, 저주파 변화량(δELF) 및 고주파 변화량(δEHF))을 식별하고, 저주파 변화량(δELF) 보다 고주파 변화량(δEHF)이 큰 블록을 플리커가 발생할 것으로 예측하고, 해당 블록은 고주파 성분의 증폭을 최소화하여 플리커 발생을 방지할 수 있다.
예를 들어, 프로세서(120)는 고주파 변화량(δEHF)에서 저주파 변화량(δELF)을 차분한 값이 제2 임계 값보다 크면, 해당 블록에 대응되는 F값은 1이 되며, 가중치(1-F)는 0이 되며, 수학식 6에 기초하여 고주파 성분이 증폭되지 않을 수 있다.
다른 예로, 프로세서(120)는 고주파 변화량(δEHF)에서 저주파 변화량(δELF)을 차분한 값이 제1 임계 값보다 작으면(예를 들어, 저주파 변화량(δELF)과 고주파 변화량(δEHF)이 동일하면), F값은 0이 되며, 가중치(1-F)는 1이 되며, 해당 블록과 해당 블록의 고주파 성분을 합산하여 선명도, 디테일, 화질 등을 개선시킬 수 있다.
도 7c를 참조하면, 고주파 변화량(δEHF)과 저주파 변화량(δELF)의 차이가 큰 블록은 가중치(1-F) 값이 0에 가까우므로 밝은 색상을 띄며, 고주파 변화량(δEHF)과 저주파 변화량(δELF)의 차이가 크지 않은 블록은 가중치(1-F) 값이 1에 가까우므로 어두운 색상을 띌 수 있다. 다만, 이는 일 예시이며 구체적인 숫자 및 색상은 다양하게 변경될 수 있음은 물론이다.
본 개시의 일 실시 예에 따른 프로세서(120)는 제2 블록에 대응되는 제1 가중치를 고주파 프레임에 포함된 복수의 블록 중 제2 블록에 대응되는 고주파 블록에 적용하여 제1 가중치가 적용된 고주파 블록을 획득할 수 있다. 도 7b를 참조하면, 제1 가중치가 적용된 고주파 블록은 제2 프레임(2)에 대응되는 고주파 프레임((IHF(t))(2-2)에 포함된 복수의 고주파 블록 중 제2 블록과 위치 상 대응되는 고주파 블록일 수 있다.
일 예로, 프로세서(120)는 상술한 수학식 5에 기초하여 가중치가 적용된 고주파 블록을 획득할 수 있다. 수학식 5를 참고하면 하기와 같다.
[수학식 5]
Figure PCTKR2022005298-appb-img-000010
여기서, IHF(t)'은 제1 가중치가 적용된 고주파 블록, IHF(t)은 제2 프레임(2)의 고주파 프레임(2-2)에 포함된 고주파 블록, (1-F)는 제2 프레임(2)에 포함된 제2 블록에 대응되는 제1 가중치를 의미한다.
이어서, 프로세서(120)는 제2 프레임(2)에 포함된 제2 블록과 제1 가중치가 적용된 고주파 블록에 기초하여 출력 블록을 획득할 수 있다. 예를 들어, 프로세서(120)는 제2 블록에 포함된 픽셀 값 및 제1 가중치가 적용된 고주파 블록 중 대응되는 픽셀 값을 합산하여 출력 블록을 획득할 수 있다.
일 실시 예에 따른 프로세서(120)는 수학식 5에 기초하여 제2 프레임(2)의 고주파 프레임((IHF(t))(2-2)에 포함된 복수의 블록 각각에 대응되는 가중치를 적용하여 가중치가 적용된 고주파 프레임(IHF(t)')을 획득할 수 있다. 여기서, 가중치가 적용된 고주파 프레임(IHF(t)') 은 복수의 블록 각각에 대응되는 가중치가 적용된 고주파 블록들의 조합이고, 프로세서(120)는 제2 프레임(2)과 가중치가 적용된 고주파 프레임(IHF(t)')을 합산하여 출력 프레임(O)을 획득할 수 있다.
도 8은 본 개시의 다른 실시 예에 따른 저주파 정보 및 고주파 정보를 설명하기 위한 도면이다.
도 8을 참조하면, 본 개시의 다른 실시 예에 따른 프로세서(120)는 복수의 필터를 이용하여 저주파 정보 및 고주파 정보를 획득할 수 있다. 도 8은 설명의 편의를 위해 t 시점에서 제2 프레임(2)을 입력 프레임(I)으로 하여 제2 프레임(2)에 대응되는 출력 프레임(O)을 획득하는 경우를 상정하여 설명하도록 한다.
일 실시 예에 따른 프로세서(120)는 저주파 대역 필터(LPF)를 이용하여 제2 프레임(2)에 대응되는 저주파 프레임(ILF)을 획득할 수 있다.
또한, 프로세서(120)는 제1 고주파 대역 필터(HPF)를 이용하여 제2 프레임(2)에 대응되는 제1 고주파 프레임(IHF1)을 획득하며, 제2 고주파 대역 필터를 이용하여 제2 프레임(2)에 대응되는 제2 고주파 프레임(IHF2)을 획득할 수 있다.
이어서, 프로세서(120)는 저주파 프레임(ILF)에 기초하여 저주파 정보(ELF)를 획득하고, 제2 고주파 프레임(IHF2)에 기초하여 고주파 정보(EHF)를 획득할 수 있다.
프로세서(120)는 저주파 정보(ELF) 및 고주파 정보(EHF)에 기초하여 제2 프레임에 대응되는 저주파 변화량(δELF) 및 고주파 변화량(δEHF)을 획득하며, 가중치(1-F)를 획득할 수 있다.
이어서, 프로세서(120)는 제1 고주파 대역 필터를 이용하여 획득된 제1 고주파 프레임(IHF1)에 가중치(1-F)를 적용하여 가중치가 적용된 고주파 프레임을 획득하며, 제2 프레임(2) 및 제3 프레임을 합산하여 출력 프레임(O)을 획득할 수 있다.
여기서, 제1 고주파 대역 필터(HPF) 및 제2 고주파 대역 필터 각각의 필터링 강도가 상이할 수 있다. 예를 들어, 제1 고주파 대역 필터는 제2 고주파 대역 필터 보다 상대적으로 낮은 필터링 강도를 가질 수 있다. 다만, 이는 일 예시이며 이에 한정되지 않음은 물론이다. 다른 예로, 제1 고주파 대역 필터와 제2 고주파 대역 필터의 필터링 강도가 동일하면, 도 8에 도시된 구성을 이용하여 획득된 출력 프레임(O)은 도 3의 출력 프레임(O)과 동일할 수 있다.
한편, 본 개시의 다른 실시 예에 따라, 프로세서(120)는 제1 프레임으로부터 제1 임계 주파수 이상이고, 제2 임계 주파수 미만의 저주파 정보를 획득할 수 있다. 또한, 프로세서(120)는 제2 프레임으로부터 중주파 정보를 획득할 수 있다.
예를 들어, 프로세서(120)는 서로 다른 강도의 복수의 필터(예를 들어, 저주파 대역 필터(LPF), 고주파 대역 필터(HPF) 또는 밴드 패스 필터(BPF) 등)을 이용하여 복수의 프레임 중 제1 프레임에 대응되는 제1 임계 주파수 이상이고 제2 임계 주파수 미만의 저주파 정보를 획득할 수 있다. 또한, 프로세서(120)는 제2 프레임에 대응되는 제1 임계 주파수 이상이고 제2 임계 주파수 미만의 저주파 정보를 획득할 수 있다.
여기서, 저주파 정보는 제1 임계 주파수 이상이고 제2 임계 주파수 미만의 중주파 정보로 불릴 수도 있으나, 이하에서는 설명의 편의상 고주파 정보와 차별되는, 중주파 정보를 저주파 정보로 통칭하도록 한다.
이어서, 프로세서(120)는 제1 프레임과 제2 프레임 각각에 대응되는 제1 임계 주파수 이상이고 제2 임계 주파수 미만의 저주파 정보에 기초하여 저주파 변화량을 획득할 수 있다.
이어서, 프로세서(120)는 저주파 변화량과 고주파 변화량에 기초하여 가중치를 획득할 수 있다. 예를 들어, 프로세서(120)는 고주파 변화량에서 저주파 변화량을 차분한 값에 기초하여 가중치를 획득할 수 있다.
도 9는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 설명하기 위한 상세 블록도이다.
도 9를 참조하면, 전자 장치(100)는 디스플레이(110), 프로세서(120), 메모리(130), 통신 인터페이스(140), 조작 인터페이스(150) 및 입출력 인터페이스(160)를 포함할 수 있다. 도 2에서 설명한 구성 요소에 대한 중복된 설명은 생략하도록 한다.
본 개시의 일 실시 예에 따라 전자 장치(100)에 구비된 메모리(130)는 프로세서(140)에 포함된 롬(ROM)(예를 들어, EEPROM(electrically erasable programmable read-only memory)), 램(RAM) 등의 내부 메모리로 구현되거나, 프로세서(140)와 별도의 메모리로 구현될 수도 있다. 이 경우, 메모리(130)는 데이터 저장 용도에 따라 전자 장치(100)에 임베디드된 메모리 형태로 구현되거나, 전자 장치(100)에 탈부착이 가능한 메모리 형태로 구현될 수도 있다. 예를 들어, 전자 장치(100)의 구동을 위한 데이터의 경우 전자 장치(100)에 임베디드된 메모리에 저장되고, 전자 장치(100)의 확장 기능을 위한 데이터의 경우 전자 장치(100)에 탈부착이 가능한 메모리에 저장될 수 있다. 한편, 전자 장치(100)에 임베디드된 메모리의 경우 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)) 중 적어도 하나로 구현되고, 전자 장치(100)에 탈부착이 가능한 메모리의 경우 메모리 카드(예를 들어, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital), MMC(multi-media card) 등), USB 포트에 연결가능한 외부 메모리(예를 들어, USB 메모리) 등과 같은 형태로 구현될 수 있다.
특히 본 개시의 일 실시 예에 따른 프로세서(120)의 제어에 따라 메모리(130)는 각 시점에 대응되는 프레임으로부터 획득된 저주파 정보(ELF) 및 고주파 정보(EHF)를 저장할 수 있고, 다음 시점에 대응되는 프레임의 가중치(F)(또는, 플리커 강도)를 획득하기 위해 이전 시점에 대응되는 프레임으로부터 획득된 저주파 정보(ELF) 및 고주파 정보(EHF)를 로드할 수 있다. 또한, 프레임을 구분하는 블록의 개수는 메모리(130)의 저장 공간 크기에 비례할 수도 있다.
본 개시의 일 실시 예에 따른 통신 인터페이스(140)는 AP 기반의 Wi-Fi(와이파이, Wireless LAN 네트워크), 블루투스(Bluetooth), 지그비(Zigbee), 유/무선 LAN(Local Area Network), WAN(Wide Area Network), 이더넷(Ethernet), IEEE 1394, HDMI(High-Definition Multimedia Interface), USB(Universal Serial Bus), MHL(Mobile High-Definition Link), AES/EBU(Audio Engineering Society/ European Broadcasting Union), 옵티컬(Optical), 코액셜(Coaxial) 등과 같은 통신 방식을 통해 외부 장치(예를 들어, 소스 장치, 외부 사용자 단말), 외부 저장 매체(예를 들어, USB 메모리), 외부 서버(예를 들어 웹 하드) 등과 통신을 수행하여 데이터를 전송하거나, 수신할 수 있다.
특히, 본 개시의 일 실시 예에 따른 전자 장치(100)는 통신 인터페이스(140)를 통해 외부 장치로부터 복수의 프레임을 포함하는 영상을 수신할 수 있고, 영상 처리된 출력 프레임(O)을 외부 장치로 전송할 수도 있다.
조작 인터페이스(150)는 버튼, 터치 패드, 마우스 및 키보드와 같은 장치로 구현되거나, 상술한 디스플레이 기능 및 조작 입력 기능도 함께 수행 가능한 터치 스크린으로도 구현될 수 있다. 여기서, 버튼은 전자 장치(100)의 본체 외관의 전면부나 측면부, 배면부 등의 임의의 영역에 형성된 기계적 버튼, 터치 패드, 휠 등과 같은 다양한 유형의 버튼이 될 수 있다.
입출력 인터페이스(160)는 HDMI(High Definition Multimedia Interface), MHL (Mobile High-Definition Link), USB (Universal Serial Bus), DP(Display Port), 썬더볼트(Thunderbolt), VGA(Video Graphics Array)포트, RGB 포트, D-SUB(D-subminiature), DVI(Digital Visual Interface) 중 어느 하나의 인터페이스일 수 있다.
입출력 인터페이스(160)는 오디오 및 비디오 신호 중 적어도 하나를 입출력 할 수 있다.
구현 예에 따라, 입출력 인터페이스(160)는 오디오 신호만을 입출력하는 포트와 비디오 신호만을 입출력하는 포트를 별개의 포트로 포함하거나, 오디오 신호 및 비디오 신호를 모두 입출력하는 하나의 포트로 구현될 수 있다.
도 10은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
본 개시의 일 실시 예에 따른 전자 장치의 제어 방법은, 우선 입력 영상에 포함된 복수의 프레임 중 제1 프레임으로부터 획득된 저주파 정보 및 제2 프레임으로부터 획득된 저주파 정보에 기초하여 저주파 변화량을 획득한다(S1010).
이어서, 제1 프레임으로부터 획득된 고주파 정보 및 제2 프레임으로부터 획득된 고주파 정보에 기초하여 고주파 변화량을 획득한다(S1020).
이어서, 제2 프레임에 대응되는 고주파 프레임에 저주파 변화량 및 고주파 변화량의 차이에 기초하여 획득된 가중치를 적용하여 가중치가 적용된 고주파 프레임을 획득한다(S1030).
이어서, 제2 프레임 및 가중치가 적용된 고주파 프레임에 기초하여 제2 프레임에 대응되는 출력 프레임을 획득한다(S1040). 이어서, 획득된 출력 프레임을 표시한다(S1050).
여기서, 가중치가 적용된 고주파 프레임을 획득하는 S1030 단계는, 고주파 변화량에서 저주파 변화량을 차분한 값에 반비례하는 가중치를 획득하는 단계를 포함할 수 있다.
본 개시의 일 실시 예에 따른 제어 방법은, 제1 프레임 및 제2 프레임 각각을 기 설정된 크기의 블록 단위로 구분하는 단계를 더 포함하고, 저주파 변화량을 획득하는 S1010 단계는, 제1 프레임에 포함된 복수의 블록 중 제1 블록의 저주파 정보 및 제2 프레임에 포함된 복수의 블록 중 제1 블록에 대응되는 제2 블록의 저주파 정보에 기초하여 저주파 변화량을 획득하는 단계를 포함하고, 고주파 변화량을 획득하는 S1020 단계는, 제1 블록의 고주파 정보 및 제2 블록의 고주파 정보에 기초하여 고주파 변화량을 획득하는 단계를 포함하고, 가중치가 적용된 고주파 프레임을 획득하는 S1030 단계는, 저주파 변화량 및 고주파 변화량의 차이에 기초하여 획득된 제1 가중치를 고주파 프레임에 포함된 복수의 블록 중 제2 블록에 대응되는 고주파 블록에 적용하여 제1 가중치가 적용된 고주파 블록을 획득하는 단계를 포함하고, 출력 프레임을 획득하는 S1040 단계는, 제2 블록 및 제1 가중치가 적용된 고주파 블록에 기초하여 제2 블록에 대응되는 출력 블록을 획득하는 단계를 포함할 수 있다.
본 개시의 일 실시 예에 따라 가중치가 적용된 고주파 프레임을 획득하는 S1030 단계는, 제2 프레임에 포함된 복수의 블록 각각에 대응되는 저주파 변화량 및 고주파 변화량을 비교하여 복수의 가중치를 획득하는 단계 및 고주파 프레임에 포함된 복수의 블록 각각에 대응되는 가중치를 적용하여 복수의 가중치가 적용된 고주파 프레임을 획득하는 단계를 포함할 수 있다.
본 개시의 일 실시 예에 따라 출력 프레임을 획득하는 S1040 단계는, 저주파 변화량과 고주파 변화량의 차이가 제1 임계 값 이하이면, 제2 블록에 포함된 픽셀 값 및 고주파 블록 중 대응되는 픽셀 값을 합산하여 출력 블록을 획득하는 단계 및 저주파 변화량과 고주파 변화량의 차이가 제2 임계 값 이상이면, 제2 블록을 출력 블록으로 획득하는 단계를 포함할 수 있다.
본 개시의 일 실시 예에 따른 출력 프레임을 획득하는 S1040 단계는, 고주파 변화량에서 저주파 변화량을 차분한 값이 제1 임계 값을 초과하고 제2 임계 값 미만이면, 고주파 변화량에서 저주파 변화량을 차분한 값에 기초하여 획득된 제1 가중치에 기초하여 출력 블록을 획득하는 단계를 포함할 수 있다.
본 개시의 일 실시 예에 따른 제어 방법은, 제2 프레임에 제1 고주파 대역 필터(HPF)를 적용하여 제2 프레임에 대응되는 고주파 프레임을 획득하는 단계를 더 포함하고, 저주파 변화량을 획득하는 S1010 단계는, 제2 프레임에 저주파 대역 필터(LPF)를 적용하여 제2 프레임에 대응되는 저주파 프레임 및 저주파 정보를 획득하는 단계를 포함하고, 고주파 변화량을 획득하는 S1020 단계는, 제2 프레임에 제2 고주파 대역 필터를 적용하여 제2 프레임에 대응되는 고주파 정보를 획득하는 단계를 포함하고, 가중치가 적용된 고주파 프레임을 획득하는 S1030 단계는, 저주파 변화량 및 고주파 변화량에 기초하여 획득된 가중치를 고주파 프레임에 적용하여 가중치가 적용된 고주파 프레임을 획득하는 단계를 포함할 수 있다.
본 개시의 일 실시 예에 따른 출력 프레임을 획득하는 S1040 단계는, 저주파 변화량 대비 고주파 변화량의 비율에 기초하여 가중치를 획득하는 단계를 포함할 수 있다.
본 개시의 일 실시 예에 따른 저주파 변화량을 획득하는 S1010 단계는, 제2 프레임에 저주파 대역 필터를 적용하여 제2 프레임에 대응되는 임계 주파수 미만의 저주파 프레임 및 저주파 정보를 획득하는 단계를 포함하고, 고주파 변화량을 획득하는 S1020 단계는, 제2 프레임 및 저주파 프레임 간 차이에 기초하여 제2 프레임에 대응되는 임계 주파수 이상의 고주파 프레임 및 고주파 정보를 획득하는 단계를 포함할 수 있다.
본 개시의 일 실시 예에 따라 저주파 변화량을 획득하는 S1010 단계는, 제1 프레임으로부터 획득된 제1 임계 주파수 이상이고 제2 임계 주파수 미만의 저주파 정보 및 제2 프레임으로부터 획득된 저주파 정보에 기초하여 저주파 변화량을 획득하는 단계;를 포함하고, 출력 프레임을 획득하는 S1040 단계는, 고주파 변화량에서 저주파 변화량을 차분한 값에 기초하여 가중치를 획득하는 단계;를 포함할 수 있다.
다만, 본 개시의 다양한 실시 예들은 전자 장치 뿐 아니라, 디스플레이를 구비하는 모든 유형의 전자 장치에 적용될 수 있음은 물론이다.
한편, 이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 일부 경우에 있어 본 명세서에서 설명되는 실시 예들이 프로세서 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 동작을 수행할 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 전자 장치(100)의 프로세싱 동작을 수행하기 위한 컴퓨터 명령어(computer instructions)는 비일시적 컴퓨터 판독 가능 매체(non-transitory computer-readable medium) 에 저장될 수 있다. 이러한 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 명령어는 특정 기기의 프로세서에 의해 실행되었을 때 상술한 다양한 실시 예에 따른 전자 장치(100)에서의 처리 동작을 특정 기기가 수행하도록 한다.
비일시적 컴퓨터 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 비일시적 컴퓨터 판독 가능 매체의 구체적인 예로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 있을 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (15)

  1. 디스플레이; 및
    입력 영상에 포함된 복수의 프레임 중 제1 프레임에 대응되는 저주파 정보 및 제2 프레임에 대응되는 저주파 정보에 기초하여 저주파 변화량을 획득하고,
    상기 제1 프레임에 대응되는 고주파 정보 및 상기 제2 프레임에 대응되는 고주파 정보에 기초하여 고주파 변화량을 획득하고,
    상기 저주파 변화량 및 상기 고주파 변화량의 차이에 기초하여 가중치를 획득하고,
    상기 제2 프레임에 대응되는 고주파 프레임에 상기 가중치를 적용하고,
    상기 제2 프레임 및 상기 가중치가 적용된 고주파 프레임에 기초하여 상기 제2 프레임에 대응되는 출력 프레임을 획득하고,
    상기 획득된 출력 프레임을 표시하도록 상기 디스플레이를 제어하는 프로세서;를 포함하는 전자 장치.
  2. 제1항에 있어서,
    상기 가중치는, 차분 값에 반비례하며,
    상기 차분 값은,
    상기 고주파 변화량에서 상기 저주파 변화량을 차분하여 획득된, 전자 장치.
  3. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 프레임에 포함된 복수의 블록 중 제1 블록의 제1 저주파 정보 및 상기 제2 프레임에 포함된 복수의 블록 중 상기 제1 블록에 대응되는 제2 블록의 제2 저주파 정보에 기초하여 저주파 변화량을 획득하고,
    상기 제1 블록의 제1 고주파 정보 및 상기 제2 블록의 제2 고주파 정보에 기초하여 고주파 변화량을 획득하고,
    상기 저주파 변화량 및 상기 고주파 변화량의 차이에 기초하여 제1 가중치를 획득하고,
    상기 제2 블록에 대응되는 고주파 블록에 상기 제1 가중치를 적용하며,
    상기 제2 블록 및 상기 제1 가중치가 적용된 고주파 블록에 기초하여 상기 제2 블록에 대응되는 출력 블록을 획득하는, 전자 장치.
  4. 제3항에 있어서,
    상기 프로세서는,
    상기 제2 프레임에 포함된 복수의 블록 각각에 대응되는 저주파 변화량 및 고주파 변화량을 비교하여 복수의 가중치를 획득하고,
    상기 복수의 가중치 중 각 가중치를, 상기 제2 프레임에 대응되는 상기 고주파 프레임에 포함된 복수의 블록 중 대응되는 블록에 적용하는, 전자 장치.
  5. 제3항에 있어서,
    상기 프로세서는,
    상기 저주파 변화량과 상기 고주파 변화량의 차이가 제1 임계 값 이하이면, 상기 제2 블록에 포함된 픽셀 값 및 상기 고주파 블록 중 대응되는 픽셀 값을 합산하여 상기 출력 블록을 획득하고,
    상기 저주파 변화량과 상기 고주파 변화량의 차이가 제2 임계 값 이상이면, 상기 제2 블록을 상기 출력 블록으로 획득하는, 전자 장치.
  6. 제5항에 있어서,
    상기 프로세서는,
    상기 저주파 변화량과 상기 고주파 변화량의 차이가 상기 제1 임계 값을 초과하고 상기 제2 임계 값 미만이면, 상기 제1 가중치에 기초하여 상기 출력 블록으로 획득하는, 전자 장치.
  7. 제1항에 있어서,
    상기 프로세서는,
    상기 제2 프레임에 제1 고주파 대역 필터(HPF)를 적용하여 상기 제2 프레임에 대응되는 상기 고주파 프레임을 획득하고,
    상기 제2 프레임에 저주파 대역 필터(LPF)를 적용하여 상기 제2 프레임에 대응되는 상기 저주파 정보를 획득하고,
    상기 제2 프레임에 제2 고주파 대역 필터를 적용하여 상기 제2 프레임에 대응되는 상기 고주파 정보를 획득하는, 전자 장치.
  8. 제1항에 있어서,
    상기 프로세서는,
    상기 저주파 변화량 대비 상기 고주파 변화량의 비율에 기초하여 상기 가중치를 획득하는, 전자 장치.
  9. 제1항에 있어서,
    상기 프로세서는,
    상기 제2 프레임에 저주파 대역 필터를 적용하여 상기 제2 프레임에 대응되는 임계 주파수 미만의 저주파 프레임 및 상기 저주파 정보를 획득하고,
    상기 제2 프레임 및 상기 저주파 프레임 간 차이에 기초하여, 상기 임계 주파수 이상의 주파수를 포함하는, 상기 제2 프레임에 대응되는 고주파 프레임 및 상기 고주파 정보를 획득하는, 전자 장치.
  10. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 프레임으로부터 획득된 상기 저주파 정보에 기초하여, 제1 임계 주파수 이상이고 제2 임계 주파수 미만의 주파수를 포함하는, 상기 저주파 변화량을 획득하는, 전자 장치.
  11. 전자 장치의 제어 방법에 있어서,
    입력 영상에 포함된 복수의 프레임 중 제1 프레임에 대응되는 저주파 정보 및 제2 프레임에 대응되는 저주파 정보에 기초하여 저주파 변화량을 획득하는 단계;
    상기 제1 프레임에 대응되는 고주파 정보 및 상기 제2 프레임에 대응되는 고주파 정보에 기초하여 고주파 변화량을 획득하는 단계;
    상기 저주파 변화량 및 상기 고주파 변화량의 차이에 기초하여 가중치를 획득하는 단계;
    상기 제2 프레임에 대응되는 고주파 프레임에 상기 가중치를 적용하는 단계;
    상기 제2 프레임 및 상기 가중치가 적용된 고주파 프레임에 기초하여 상기 제2 프레임에 대응되는 출력 프레임을 획득하는 단계; 및
    상기 획득된 출력 프레임을 표시하는 단계;를 포함하는 제어 방법.
  12. 제11항에 있어서,
    상기 가중치는, 상기 고주파 변화량에서 상기 저주파 변화량을 차분하여 획득된 차분 값에 반비례하는, 제어 방법.
  13. 제11항에 있어서,
    상기 저주파 변화량을 획득하는 단계는,
    상기 제1 프레임에 포함된 복수의 블록 중 제1 블록의 제1 저주파 정보 및 상기 제2 프레임에 포함된 복수의 블록 중 상기 제1 블록에 대응되는 제2 블록의 제2 저주파 정보에 기초하여 저주파 변화량을 획득하는 단계;를 포함하고,
    상기 고주파 변화량을 획득하는 단계는,
    상기 제1 블록의 제1 고주파 정보 및 상기 제2 블록의 제2 고주파 정보에 기초하여 고주파 변화량을 획득하는 단계;를 포함하고,
    상기 가중치를 획득하는 단계는,
    상기 저주파 변화량 및 상기 고주파 변화량의 차이에 기초하여 제1 가중치를 획득하는 단계;를 포함하고,
    상기 적용하는 단계는,
    상기 제2 블록에 대응되는 고주파 블록에 상기 제1 가중치를 적용하는 단계;를 포함하고,
    상기 출력 프레임을 획득하는 단계는,
    상기 제2 블록 및 상기 제1 가중치가 적용된 고주파 블록에 기초하여 상기 제2 블록에 대응되는 출력 블록을 획득하는 단계;를 포함하는, 제어 방법.
  14. 제13항에 있어서,
    상기 가중치를 획득하는 단계는,
    상기 제2 프레임에 포함된 복수의 블록 각각에 대응되는 저주파 변화량 및 고주파 변화량을 비교하여 복수의 가중치를 획득하는 단계;를 포함하며,
    상기 적용하는 단계는,
    상기 복수의 가중치 중 각 가중치를, 상기 제2 프레임에 대응되는 상기 고주파 프레임에 포함된 복수의 블록 중 대응되는 블록에 적용하는 단계;를 포함하는, 제어 방법.
  15. 제13항에 있어서,
    상기 출력 프레임을 획득하는 단계는,
    상기 저주파 변화량과 상기 고주파 변화량의 차이가 제1 임계 값 이하이면, 상기 제2 블록에 포함된 픽셀 값 및 상기 고주파 블록 중 대응되는 픽셀 값을 합산하여 상기 출력 블록을 획득하는 단계; 및
    상기 저주파 변화량과 상기 고주파 변화량의 차이가 제2 임계 값 이상이면, 상기 제2 블록을 상기 출력 블록으로 획득하는 단계;를 포함하는, 제어 방법.
PCT/KR2022/005298 2021-04-13 2022-04-12 전자 장치 및 그 제어 방법 WO2022220552A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202280027921.XA CN117121468A (zh) 2021-04-13 2022-04-12 电子装置及其控制方法
EP22788408.7A EP4274207A4 (en) 2021-04-13 2022-04-12 ELECTRONIC DEVICE AND ITS CONTROL METHOD
US17/846,138 US11800240B2 (en) 2021-04-13 2022-06-22 Electronic apparatus and control method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0047787 2021-04-13
KR1020210047787A KR20220141543A (ko) 2021-04-13 2021-04-13 전자 장치 및 그 제어 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/846,138 Continuation US11800240B2 (en) 2021-04-13 2022-06-22 Electronic apparatus and control method thereof

Publications (1)

Publication Number Publication Date
WO2022220552A1 true WO2022220552A1 (ko) 2022-10-20

Family

ID=83640503

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/005298 WO2022220552A1 (ko) 2021-04-13 2022-04-12 전자 장치 및 그 제어 방법

Country Status (2)

Country Link
KR (1) KR20220141543A (ko)
WO (1) WO2022220552A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140135968A (ko) * 2012-03-05 2014-11-27 톰슨 라이센싱 초해상도화를 수행하는 방법 및 장치
KR20150090515A (ko) * 2014-01-29 2015-08-06 삼성전자주식회사 고주파수 성분의 위상 변조를 통한 영상 질감 향상 방법 및 그 장치
KR101590765B1 (ko) * 2009-07-21 2016-02-19 삼성전자주식회사 다중 대역 합성 필터를 이용한 고해상도 영상 획득 장치 및 방법
KR20170026375A (ko) * 2014-06-25 2017-03-08 톰슨 라이센싱 이미지 프로세싱 방법 및 디바이스
KR20180097342A (ko) * 2017-02-23 2018-08-31 한국전자통신연구원 영상 아티팩트를 최소화하는 초해상도 영상 선명화 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101590765B1 (ko) * 2009-07-21 2016-02-19 삼성전자주식회사 다중 대역 합성 필터를 이용한 고해상도 영상 획득 장치 및 방법
KR20140135968A (ko) * 2012-03-05 2014-11-27 톰슨 라이센싱 초해상도화를 수행하는 방법 및 장치
KR20150090515A (ko) * 2014-01-29 2015-08-06 삼성전자주식회사 고주파수 성분의 위상 변조를 통한 영상 질감 향상 방법 및 그 장치
KR20170026375A (ko) * 2014-06-25 2017-03-08 톰슨 라이센싱 이미지 프로세싱 방법 및 디바이스
KR20180097342A (ko) * 2017-02-23 2018-08-31 한국전자통신연구원 영상 아티팩트를 최소화하는 초해상도 영상 선명화 방법 및 장치

Also Published As

Publication number Publication date
KR20220141543A (ko) 2022-10-20

Similar Documents

Publication Publication Date Title
WO2020197018A1 (en) Image processing apparatus and image processing method thereof
WO2021029505A1 (en) Electronic apparatus and control method thereof
WO2017131348A1 (en) Electronic apparatus and controlling method thereof
WO2016076497A1 (ko) 메타 데이터에 기초하여 영상을 디스플레이하는 방법 및 디바이스, 그에 따른 기록매체
WO2021020670A1 (en) Electronic device and control method thereof
WO2020050609A1 (en) Display apparatus and method for controlling thereof
WO2019022387A1 (en) DISPLAY APPARATUS AND METHOD OF CONTROLLING THE SAME
WO2020159185A1 (en) Electronic device and control method thereof
WO2018097506A1 (en) Display apparatus and control method thereof
WO2022050558A1 (ko) 전자 장치 및 그 제어 방법
WO2019226025A1 (ko) 디스플레이를 통해 어플리케이션의 콘텐트를 표시하는 방법 및 전자 장치
WO2019088481A1 (ko) 전자 장치 및 그의 영상 보정 방법
WO2016017906A1 (ko) 디스플레이 장치, 디스플레이 보정 장치, 디스플레이 보정 시스템 및 디스플레이 보정 방법
WO2022220552A1 (ko) 전자 장치 및 그 제어 방법
WO2020231243A1 (en) Electronic device and method of controlling thereof
WO2021054511A1 (ko) 전자 장치 및 그 제어 방법
WO2020045834A1 (en) Electronic apparatus and control method thereof
WO2018093198A1 (en) Image processing apparatus and control method thereof
WO2020135051A1 (zh) 显示面板的画面优化方法、装置及计算机可读存储介质
WO2020138630A1 (en) Display apparatus and image processing method thereof
WO2020067645A1 (en) Electronic apparatus and control method thereof
WO2020054927A1 (ko) 전자 장치 및 그 제어 방법
WO2022108201A1 (ko) 영상을 제공하는 방법 및 이를 지원하는 전자 장치
WO2021251585A1 (ko) 복수의 디스플레이 모듈을 각각 인식하기 위한 전자 장치 및 멀티 디스플레이 인식 방법
WO2020080701A1 (en) Electronic apparatus and control method thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22788408

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022788408

Country of ref document: EP

Effective date: 20230731

NENP Non-entry into the national phase

Ref country code: DE