WO2020111387A1 - 영상 처리 장치 및 그 영상 처리 방법 - Google Patents

영상 처리 장치 및 그 영상 처리 방법 Download PDF

Info

Publication number
WO2020111387A1
WO2020111387A1 PCT/KR2019/001798 KR2019001798W WO2020111387A1 WO 2020111387 A1 WO2020111387 A1 WO 2020111387A1 KR 2019001798 W KR2019001798 W KR 2019001798W WO 2020111387 A1 WO2020111387 A1 WO 2020111387A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
image frame
pixel block
area
processor
Prior art date
Application number
PCT/KR2019/001798
Other languages
English (en)
French (fr)
Inventor
임형준
강석주
조성인
문영수
이승준
이시영
Original Assignee
삼성전자주식회사
서강대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 서강대학교산학협력단 filed Critical 삼성전자주식회사
Priority to US17/279,182 priority Critical patent/US11741570B2/en
Publication of WO2020111387A1 publication Critical patent/WO2020111387A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H04N21/440272—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA for performing aspect ratio conversion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/0122—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal the input and the output signals having different aspect ratios

Definitions

  • the present disclosure relates to an image processing apparatus and an image processing method thereof, and more particularly, to an image processing apparatus and an image processing method for obtaining an output image by retargeting an input image.
  • the present disclosure is in accordance with the above-described needs, and an object of the present disclosure is to provide an image processing apparatus and an image processing method capable of acquiring an output image by adjusting an aspect ratio of an input image without image distortion through similar pixel padding. .
  • An image processing apparatus for achieving the above object includes a processor for obtaining an output image frame by retargeting an image frame input through the input unit and the input unit, the processor comprising: Based on the information on the output image frame and the input image frame, an area to pad a pixel value is identified, and a first pixel block is identified based on a target pixel area included in the identified area, and the first pixel A second pixel block is identified based on the pixel value included in the block, and the target pixel area is padded based on the pixel value included in the second pixel block to obtain the output image frame.
  • the processor scales the input image frame based on the aspect ratio of the input image frame, identifies the area to be padded based on information about the scaled image frame and the output image frame, and scales the The second pixel block can be identified in the image frame.
  • the processor may identify the second pixel block by searching for a pixel block having a pixel value similar to or greater than a threshold value of the pixel value included in the first pixel block.
  • the processor may identify a foreground region in the input image frame, and perform re-search when the second pixel block is found in at least one of the foreground region or the adjacent region.
  • the processor may pad pixels included in the first pixel block with pixel values of corresponding pixels among pixels included in the second pixel block.
  • the processor for some pixels having a pixel value among the pixels included in the first pixel block, as a pixel value calculated based on the pixel value of the corresponding pixel value and the corresponding pixel among the second pixel blocks Can be replaced.
  • the processor may pad a pixel included in the target pixel area with a pixel value of a corresponding pixel among pixels included in the second pixel block.
  • the processor may acquire motion information of the input image frame and blur a region padded with the pixel value based on the motion information.
  • the processor blurs the padded area of the pixel value if the motion information is greater than or equal to a threshold, and the motion information If is less than the threshold value, the pixel value may maintain a padded area.
  • the processor may pad the target pixel area of each of a plurality of frames included in a predetermined frame period with a pixel value included in the second pixel block.
  • the processor can control the display to display the obtained output image frame.
  • the image processing method of the image processing apparatus for obtaining an output image frame by retargeting an image frame according to an embodiment of the present invention, padding a pixel value based on the information on the output image frame and the input image frame Identifying a region to be performed, identifying a first pixel block based on a target pixel region included in the identified region, identifying a second pixel block based on a pixel value included in the first pixel block, and And acquiring the output image frame by padding the target pixel area based on a pixel value included in the second pixel block.
  • the step of identifying the second pixel block scales the input image frame based on the aspect ratio of the input image frame, and pads the input image frame based on information about the scaled image frame and the output image frame. An area may be identified, and the second pixel block may be identified in the scaled image frame.
  • the second pixel block may be identified by searching for a pixel block having a pixel value having a similarity or higher than a pixel value included in the first pixel block.
  • the step of identifying the second pixel block may identify a foreground area in the input image frame, and perform re-search when the second pixel block is found in at least one of the foreground area or the adjacent area.
  • pixels included in the first pixel block may be padded with pixel values of corresponding pixels among pixels included in the second pixel block.
  • the step of acquiring the output image frame is based on a pixel value of a corresponding pixel among a corresponding pixel value and a pixel among some pixels having a pixel value among pixels included in the first pixel block. Can be replaced with the calculated pixel value.
  • a pixel included in the target pixel area may be padded with a pixel value of a corresponding pixel among pixels included in the second pixel block.
  • the method may further include obtaining motion information of the input image frame and blurring a region padded with the pixel value based on the motion information.
  • the step of blurring when the foreground area in the input image frame is included in the padded area of the pixel value, if the motion information is greater than or equal to a threshold, blurring of the pixel value padded area is performed. If the motion information is less than the threshold, the pixel value may be padded.
  • the target pixel area of each of a plurality of frames included in a predetermined frame period may be padded with pixel values included in the second pixel block.
  • a non-transitory computer that stores a computer instruction that causes the image processing device to perform an operation when executed by a processor of an image processing device that obtains an output image frame by retargeting an image frame according to an embodiment of the present invention
  • the operation identifies an area to pad a pixel value based on the information on the output image frame and the input image frame, and is based on a target pixel region included in the identified region. Identifying a pixel block, identifying a second pixel block based on a pixel value included in the first pixel block, and padding the target pixel area based on a pixel value included in the second pixel block And obtaining the output image frame.
  • an output image by adjusting the aspect ratio of the input image without image distortion. For example, there is no possibility of losing the main area of the video, and it is possible to maintain temporal consistency in video content.
  • FIG. 1 is a view for explaining an implementation example of an image processing apparatus according to an embodiment of the present disclosure.
  • FIG. 2 is a block diagram showing the configuration of an image processing apparatus according to an embodiment of the present disclosure.
  • FIG. 3 is a view for explaining an aspect ratio adjustment method according to an embodiment of the present disclosure.
  • 4A to 4F are diagrams for describing a pixel padding method according to an embodiment of the present disclosure.
  • 5A and 5B are diagrams for describing a pixel padding method according to another embodiment of the present disclosure.
  • FIG. 6 is a diagram illustrating a pixel padding method according to another embodiment of the present invention.
  • FIGS. 7A and 7B are diagrams for describing a pixel padding method according to another embodiment of the present invention.
  • 8A to 8C are diagrams for describing a blur processing method according to another embodiment of the present disclosure.
  • FIG. 9 is a block diagram illustrating an image processing method according to an embodiment of the present disclosure.
  • FIG. 10 is a diagram illustrating an implementation example of an image processing apparatus according to another embodiment of the present disclosure.
  • FIG. 11 is a flowchart illustrating an image processing method according to an embodiment of the present invention.
  • Embodiments of the present disclosure may apply various transformations and may have various embodiments, and specific embodiments are illustrated in the drawings and described in detail in the detailed description. However, this is not intended to limit the scope of the specific embodiments, it should be understood to include all transformations, equivalents, or substitutes included in the disclosed spirit and scope of technology. In the description of the embodiments, when it is determined that the detailed description of the related known technology may obscure the subject matter, the detailed description is omitted.
  • first and second may be used to describe various components, but the components should not be limited by the terms. The terms are only used to distinguish one component from other components.
  • module or “unit” performs at least one function or operation, and may be implemented in hardware or software, or a combination of hardware and software.
  • a plurality of “modules” or a plurality of “parts” are integrated into at least one module except for “modules” or “parts” that need to be implemented with specific hardware to be implemented with at least one processor (not shown). Can be.
  • FIG. 1 is a view for explaining an implementation example of an image processing apparatus according to an embodiment of the present disclosure.
  • the image processing apparatus 100 may be implemented as a TV or a set-top box as illustrated in FIG. 1, but is not limited thereto, and is not limited to a smart phone, a tablet PC, a notebook PC, a head mounted display (HMD), and a NED (Near) Limited to devices with image processing and/or display capabilities, such as Eye Display), Large Format Display (LFD), Digital Signage (Digital Signage), Digital Information Display (DID), video wall, projector display, camera, etc. Not applicable.
  • a smart phone a tablet PC, a notebook PC, a head mounted display (HMD), and a NED (Near) Limited to devices with image processing and/or display capabilities, such as Eye Display), Large Format Display (LFD), Digital Signage (Digital Signage), Digital Information Display (DID), video wall, projector display, camera, etc. Not applicable.
  • the image processing apparatus 100 may receive various compressed images or images of various resolutions.
  • the image processing apparatus 100 includes a Moving Picture Experts Group (MPEG) (eg, MP2, MP4, MP7, etc.), a joint photographic coding experts group (JPEG), Advanced Video Coding (AVC), H.264 , H.265, HEVC (High Efficiency Video Codec), and the like.
  • MPEG Moving Picture Experts Group
  • JPEG Joint photographic coding experts group
  • AVC Advanced Video Coding
  • H.264 H.264
  • H.265 High Efficiency Video Codec
  • the image processing apparatus 100 may receive any one of SD (Standard Definition), HD (High Definition), Full HD, and Ultra HD images.
  • retargeting processing for matching the resolution of the input image to the output resolution is required. For example, if the resolution of the input image is HD or Full HD image and the output resolution is Ultra HD, the image is retargeted according to the output resolution. In this case, there is a problem in that image distortion occurs as the aspect ratio (aspect ratio) of the input image is adjusted to the aspect ratio of the output image.
  • FIG. 2 is a block diagram showing the configuration of an image processing apparatus according to an embodiment of the present disclosure.
  • the image processing apparatus 100 includes an input unit 110 and a processor 120.
  • the input unit 110 receives various types of content.
  • the input unit 110 is AP-based Wi-Fi (Wi-Fi, Wireless LAN network), Bluetooth (Bluetooth), Zigbee (Zigbee), wired/wireless LAN (Local Area Network), WAN, Ethernet, IEEE 1394, HDMI (High Definition Multimedia Interface), MHL (Mobile High-Definition Link), USB (Universal Serial Bus), DP (Display Port), Thunderbolt, VGA (Video Graphics Array) port, RGB port, D-SUB ( From external devices (e.g., source devices), external storage media (e.g., USB), external servers (e.g., web hard) through communication methods such as D-subminiature (DVI), Digital Visual Interface (DVI), etc.
  • Video signals can be input by streaming or download.
  • the video signal may be a digital signal, but is not limited thereto.
  • the processor 120 controls the overall operation of the image processing apparatus 100.
  • the processor 120 may be implemented as a digital signal processor (DSP), a microprocessor, or a time controller (TCON) that processes digital image signals. No, a central processing unit (CPU), micro controller unit (MCU), micro processing unit (MPU), controller, application processor (AP), or communication processor (communication processor (CP)), one or more of the ARM processors, or may be defined by a corresponding term.
  • the processor 140 may be implemented with a system on chip (SoC) with processing algorithms and large scale integration (LSI). It may be implemented in the form of a field programmable gate array (FPGA).
  • SoC system on chip
  • LSI large scale integration
  • FPGA field programmable gate array
  • the processor 120 retargets the image frame input through the input unit 110, that is, adjusts the aspect ratio to obtain an output image frame.
  • the processor 120 may identify an area to pad pixel values based on information on an output image frame and an input image frame.
  • the information on the output image frame may be resolution information of the output image frame.
  • the processor 120 identifies an area to pad a pixel value based on an input image frame and retargeting information, and a first pixel block (or first pixel) based on a target pixel area included in the identified area Area).
  • the retargeting information may include resolution information of an input video frame and resolution information of an output video frame.
  • the retargeting information may include the aspect ratio of the input video frame and the aspect ratio of the output video frame.
  • the retargeting information may include aspect ratio adjustment information of the input image frame calculated based on the resolution information of the input image frame and the resolution information of the output image frame.
  • the processor 120 may scale an input image frame based on the aspect ratio of the input image frame, and identify an area to pad pixel values based on information about the scaled image frame and the output image frame.
  • the processor 120 may identify the 300 pixel length regions 331 and 332 of the scaled image frame as the regions to be padded (hereinafter, referred to as pixel padding regions).
  • the processor 120 may identify the first pixel block based on the target pixel area in the identified area.
  • the target pixel area may include at least one pixel.
  • the target pixel area may include a plurality of pixels.
  • the target pixel area includes one pixel.
  • the processor 120 may identify a first pixel block of a predetermined size including a target pixel area as a center pixel.
  • the preset size may be various sizes such as 3*3, 5*5, and 7*7, but in the following description, a case of obtaining a 5*5 pixel block is assumed for convenience of description.
  • the pixel block may be implemented as a patch, for example.
  • the processor 120 identifies the second pixel block (or second pixel area) based on the pixel value included in the first pixel block, and determines the target pixel area based on the pixel value included in the second pixel block. It can be padded.
  • the second pixel block may be the same size as the first pixel block, but is not limited thereto.
  • the processor 120 may identify a second pixel block by searching for a pixel block having a pixel value similar to or greater than a threshold value of the pixel value included in the first pixel block.
  • Most images are characterized by self-similarity, which is the basis of the fractal theory. That is, on the assumption that another region similar to one region is included in the image, a pixel region having a high similarity may be identified as a second pixel block after measuring similarity with respect to other regions in the image.
  • the processor 120 may pad the pixel included in the target pixel area with a pixel value of a corresponding pixel among pixels included in the second pixel block, according to an embodiment. For example, if the pixel at position (3, 3) in the first pixel block of the 5*5 form is the target pixel area, the processor 120 may display the corresponding pixel in the second pixel block of the 5*5 form (3, 3) It can be padded with the pixel value of the corresponding pixel of the position.
  • the processor 120 may pad the pixels included in the first pixel block with pixel values of corresponding pixels among pixels included in the second pixel block, according to another embodiment.
  • the processor 120 may also pad pixels included in the first pixel block with pixel values of the second pixel block. That is, each pixel included in the first pixel block may be padded with a pixel value at a corresponding position included in the second pixel block.
  • the processor 120 is a pixel value calculated based on the pixel value of the corresponding pixel value and the corresponding pixel among the second pixel block, for some pixels having a pixel value among the pixels included in the first pixel block Can be replaced.
  • the processor 120 sums the pixel values of the corresponding pixel value and the corresponding pixel among the second pixel blocks for some pixels having a pixel value among the pixels included in the first pixel block, and then adds the summed values. It can be replaced by the pixel value calculated by dividing by the number of sums.
  • the processor 120 may identify a foreground area in the input image frame, and when a second pixel block is found in at least one of the foreground area or the adjacent area, perform a re-search to search for a new second pixel block.
  • the processor 120 may acquire motion information of an input image frame, and blur a region padded with pixel values based on the motion information.
  • the motion information may be global motion information indicating motion of the entire screen.
  • the global motion information may be calculated in consideration of various values, such as a change in pixel values of the entire input image frame, a change in at least one pixel block included in the input image frame, for example, a change in pixel values of a plurality of pixel blocks. have.
  • the processor 120 when the identified foreground area is included in the padded area of the pixel value, if the motion information is greater than or equal to the threshold, the processor 120 blurs the padded area of the pixel value, and the motion information is the threshold value. If less than, the pixel value may maintain the padded area.
  • the foreground area refers to a part that is the object of perception (or the area where the viewer's gaze is concentrated most closely captured by the camera) in one scene with two areas that border the boundary line, and the rest of the area is the background. It can be an area.
  • the retargeting described above is performed.
  • the fallback technique which applies uniform scaling, can be used instead of draping. In this case, it is possible to effectively prevent the severe deterioration of image quality.
  • 4A to 4F are diagrams for describing a pixel padding method according to an embodiment of the present disclosure.
  • the first pixel when the pixel padding area 331 is identified as illustrated in FIG. 4A, the first pixel based on the target pixel area 411 in the identified area 331 as illustrated in FIG. 4B.
  • Block 410 can be identified.
  • the target pixel area 411 is illustrated as including one pixel, it is needless to say that a plurality of pixels may be included in some cases.
  • the size of the first pixel block 410 is assumed to be 5*5 for convenience of description.
  • a pixel block having a pixel value similar to that of the first pixel block 410 is searched based on the pixel value included in the first pixel block 410, as shown in FIG. 4C. do.
  • a similar pixel block may be searched using a cost function for determining similarity.
  • a cost function for determining similarity at least one of Mean Square Error (MSE), Sum of absolute difference (SAD), Median Absolute Deviation (MAD), and correlation may be used, but is not limited thereto.
  • the MSE of the pixel blocks may be calculated, and a patch having a high similarity from the MSE perspective, that is, a patch having a small MSE difference may be searched to identify the similar pixel block.
  • a similar pixel block may be identified based on the sum of pixel value differences included in both pixel blocks. In this case, a pixel value difference may be calculated for a position where a pixel value exists in both pixel blocks.
  • similar pixel blocks may be identified based on the total number of foreground pixels in adjacent pixel blocks.
  • a similar pixel block may be identified using a difference from a pixel value calculated in a previous frame.
  • the pixel values corresponding to the target pixel region 411 may be identified.
  • the target pixel area 411 may be padded based on the identified pixel value.
  • the first pixel block 410 is a second pixel block. It is also possible to pad with a pixel value of 420. That is, each pixel included in the first pixel block 410 may be padded with a pixel value at a corresponding position included in the second pixel block 420.
  • FIG. 5B in the case of pixels 430 overlapping with the existing pixel values in the first pixel block 410, the accumulated pixel values are accumulated after the existing pixel values and newly padded pixel values are accumulated. It can be filled with the pixel value divided by the number of times.
  • Pixel values to be padded may be calculated in various ways, such as values.
  • the processor 120 may pad a target pixel area of each of a plurality of frames included in the same scene section with a pixel value included in the second pixel block. For example, as a pixel value of a relative position relative to a first pixel in a second pixel block determined in a first frame among a plurality of frames included in the same scene section, a target pixel area of the remaining frame may be searched and padded. Accordingly, relative positions of pixel values to be used in the pixel padding area 331 in the plurality of frames included in the same scene section may be the same.
  • pixel values of the same relative position may be displayed in the same scene section.
  • determining the pixel value of the pixel padding area 331 by applying an appropriate weight to the subsequent frames It is possible.
  • the processor 120 may search for a new similar pixel block through the above-described operation to pad the target pixel area.
  • pixel padding may be performed in the current scene using the same relative positions of pixels used for padding in the previous scene.
  • pixel padding may be performed by using the same pixel position value moved in padding in a plurality of previous scenes in the current scene according to the image characteristics of each scene.
  • FIG. 6 is a diagram illustrating a pixel padding method according to another embodiment of the present invention.
  • an output image may be obtained by multiplying each pixel block included in the pixel block 410 in which the pixel value is padded with a preset weight. have.
  • FIGS. 7A and 7B are diagrams for describing a pixel padding method according to another embodiment of the present invention.
  • a pixel padding area in which a pixel value is padded may be blurred based on motion information of an input image frame.
  • the processor 120 may blur the pixel padding region based on the location of the foreground region identified in the input image frame and motion information of the input image frame.
  • the foreground area 810 includes the pixel value in the pixel padding area 331, as illustrated in FIG. 8A, if the motion information of the corresponding frame is less than a threshold, the pixel value is padded.
  • the region 331 may be maintained.
  • the processor 120 may pad the pixel value when the motion information of the corresponding frame is greater than or equal to a threshold value.
  • the region 331 may be blurred.
  • 8A to 8C are diagrams for describing a blur processing method according to another embodiment of the present disclosure.
  • the processor 120 may apply a low-pass filter that filters high-frequency components.
  • the processor 120 may perform Gaussian blurring (or Gaussian filtering).
  • Gaussian blurring is a method of blurring using a Gaussian filter based on a Gaussian probability distribution.
  • a Gaussian filter is applied to the pixel padding region 331, high-frequency components are blocked and subjected to blur processing.
  • the Gaussian filter may have a form in which the weight of the x-axis has a large weight and a weight decreases toward the +/- part.
  • the center of the mask 80 may have a large weight, and a weight may be reduced toward the edge of the mask 80.
  • the numerical values shown in FIG. 6A are examples, and it is needless to say that the filtering values depend on the sigma value of the Gaussian function.
  • the processor 120 may apply the Gaussian mask 80 to each pixel value included in the pixel padding area 331 to perform Gaussian blur processing on the pixel padding area 331. Specifically, the processor 120 may move the Gaussian mask 80 so that each pixel value included in the pixel padding area 331 is located in the center of the Gaussian mask 80, and perform filtering on each pixel value. have.
  • the processor 120 may perform filtering on the pixel value located at the boundary of the pixel padding area 331 based on the mirrored pixel value. For example, when filtering is performed by positioning the pixel value at the (1,1) position of the pixel padding area 331 in the center of the Gaussian mask 80, the pixel at the boundary position as shown in FIG. 8C. Filtering may be performed by mirroring the values to generate a virtual patch 90 centered on the P1 value, and then placing the P1 value at the center of the Gaussian mask 80. However, in FIG.
  • the processor 120 may perform Gaussian filtering on all pixel values included in the pixel padding area 331 to obtain a blurred pixel padding area 331.
  • FIG. 9 is a block diagram illustrating an image processing method according to an embodiment of the present disclosure.
  • a foreground region may be detected and motion information (eg, global motion information) may be acquired based on the n-1th frame and the nth frame ( S910).
  • motion information eg, global motion information
  • a padding block for padding the target pixel block may be searched in consideration of the detected position of the foreground region (S920 ). Thereafter, the image of the pixel padding block 331 is filled in using the pixel values of the searched similar pixel block (S930).
  • the pixel padding block 331 may be maintained or blurred according to the global motion information and the position of the foreground area (S940).
  • FIG. 10 is a diagram illustrating an implementation example of an image processing apparatus according to another embodiment of the present disclosure.
  • the image processing apparatus 100 ′ includes a communication unit 110, a processor 120, a display 130, a memory 140, and a user interface 150.
  • the display 130 may be implemented as various types of displays, such as a liquid crystal display (LCD), organic light emitting diodes (OLED) display, light emitting diodes (LED), and plasma display panel (PDP).
  • the display 160 may also include a driving circuit, a backlight unit, and the like, which may be implemented in a form such as a-si TFT, low temperature poly silicon (LTPS) TFT, or organic TFT (OTFT).
  • the display 130 may be implemented as a touch screen combined with a touch sensor, a flexible display, or a 3D display.
  • the display 130 may include a display panel for outputting an image, as well as a bezel for housing the display panel.
  • the bezel may include a touch sensor (not shown) for sensing user interaction.
  • the processor 120 may control the display 130 to display the processed image according to various embodiments of the present disclosure.
  • the processor 120 may perform a graphic processing function (video processing function). For example, the processor 120 may generate a screen including various objects, such as icons, images, and text, by using an operation unit (not shown) and a rendering unit (not shown).
  • the calculation unit (not shown) may calculate attribute values such as coordinate values, shapes, sizes, colors, etc. to be displayed according to the layout of the screen based on the received control command.
  • the rendering unit (not shown) may generate screens of various layouts including objects based on attribute values calculated by the calculation unit (not shown).
  • the processor 120 may perform various image processing such as decoding, scaling, noise filtering, frame rate conversion, and resolution conversion for video data.
  • the processor 120 may perform processing on audio data. Specifically, the processor 120 may perform various processes such as decoding or amplifying audio data, noise filtering, and the like.
  • the memory 140 may store data necessary for various embodiments of the present disclosure.
  • the memory 140 may be implemented as an internal memory such as a ROM (eg, electrically erasable programmable read-only memory (EEPROM), RAM) included in the processor 120, or a processor It may be implemented as a separate memory from 120.
  • the memory 140 may be implemented in the form of a memory embedded in the image processing apparatus 100 according to a data storage purpose, or may be implemented in a form of a removable memory in the image processing apparatus 100.
  • data for driving the image processing apparatus 100 is stored in a memory embedded in the image processing apparatus 100, and in the case of data for an extension function of the image processing apparatus 100, the image processing apparatus 100 ) Can be stored in a removable memory.
  • volatile memory eg, dynamic RAM (DRAM), static RAM (SRAM), or synchronous dynamic RAM (SDRAM)
  • non-volatile memory non-volatile memory
  • OTPROM one time programmable ROM
  • PROM programmable ROM
  • EPROM erasable and programmable ROM
  • EEPROM electrically erasable and programmable ROM
  • mask ROM mask ROM
  • flash ROM flash memory
  • flash memory e.g.
  • NAND flash or NOR flash Etc. NAND flash or NOR flash Etc.
  • NOR flash Etc. hard drive
  • SSD solid state drive
  • CF compact flash
  • CF compact flash
  • CF compact flash
  • Secure digital SD
  • micro secure digital micro-SD
  • mini secure digital mini-SD
  • extreme digital xD
  • MMC multi-media card
  • USB port e.g. For example, USB memory
  • the user interface 150 may be implemented as a device such as a button, a touch pad, a mouse and a keyboard, or may be implemented as a touch screen capable of performing the above-described display function and manipulation input function.
  • the button may be various types of buttons, such as a mechanical button, a touch pad, a wheel, etc., formed in an arbitrary region, such as a front portion, a side portion, or a rear portion of the body exterior of the image processing apparatus 100.
  • the image processing apparatus 100 may additionally include a tuner and a demodulator according to an implementation example.
  • a tuner may receive a radio frequency (RF) broadcast signal by tuning a channel selected by a user or all pre-stored channels among radio frequency (RF) broadcast signals received through an antenna.
  • RF radio frequency
  • the demodulator may receive and demodulate the digital IF signal (DIF) converted by the tuner to perform channel decoding and the like.
  • DIF digital IF signal
  • FIG. 11 is a flowchart illustrating an image processing method according to an embodiment of the present invention.
  • an area to pad pixel values is identified based on information on an output image frame and an input image frame (S1110 ).
  • the first pixel block is identified based on the target pixel area included in the identified area (S1120).
  • the second pixel block is identified based on the pixel value included in the first pixel block (S1130 ), and the target pixel region is padded based on the pixel value included in the second pixel block to obtain an output image frame ( S1140).
  • step S1130 of identifying the second pixel block the input image frame is scaled based on the aspect ratio of the input image frame, and an area to be padded is identified based on information about the scaled image frame and the output image frame,
  • the second pixel block may be identified in the scaled image frame.
  • the second pixel block may be identified by searching for a pixel block having a pixel value having a similarity or higher than a threshold value included in the first pixel block.
  • step S1130 of identifying the second pixel block the foreground region is identified in the input image frame, and re-search may be performed when the second pixel block is searched in at least one of the foreground region or the adjacent region.
  • pixels included in the first pixel block may be padded with pixel values of corresponding pixels among pixels included in the second pixel block.
  • step S1140 of obtaining an output image frame for some pixels having a pixel value among pixels included in the first pixel block, the pixel value of the corresponding pixel among the corresponding pixel value and the second pixel block is calculated. Can be replaced with pixel values.
  • a pixel included in a target pixel area may be padded with a pixel value of a corresponding pixel among pixels included in a second pixel block.
  • the method may further include obtaining motion information of an input image frame and blurring a region padded with pixel values based on the motion information.
  • the pixel value is padded, and if the motion information is below the threshold, the pixel value You can keep this padded area.
  • a target pixel area of each of a plurality of frames included in a predetermined frame period may be padded with pixel values included in the second pixel block.
  • the aspect ratio of the input image may be adjusted based on the output information of the display, an area to be padded with pixel values based on the image having the aspect ratio adjusted, and the obtained output image frame may be displayed through the display.
  • the existing cropping-based method (a technique of cutting out only a part of the region based on the horizontal or vertical axis of the image regardless of image characteristics), seam carving-based method (seams that are not important in the image) It can also be achieved by increasing or decreasing the area with the found line and adjusting the aspect ratio) or warping-based method (the technique of adjusting the desired aspect ratio by partially increasing or decreasing the image depending on the importance by determining the importance for each pixel in the image) It is possible to minimize distortion of video content while maintaining temporal coherency.
  • various embodiments of the present disclosure can be applied not only to an image processing apparatus, but also to any image processing apparatus capable of image processing, such as an image receiving apparatus such as a set-top box and a display apparatus such as a TV.
  • various embodiments of the present disclosure described above may be performed through an embedded server provided in the image processing apparatus, or at least one external server among the image processing apparatus and the display apparatus.
  • various embodiments described above may be implemented by software including instructions stored in a machine-readable storage media (machine).
  • the device may include an image processing apparatus (eg, an image processing apparatus (A)) according to the disclosed embodiments as an apparatus capable of invoking stored instructions from a storage medium and operating according to the invoked instructions.
  • the processor may perform functions corresponding to the instructions directly or using other components under the control of the processor, which may include code generated or executed by a compiler or interpreter.
  • the storage medium readable by the device may be provided in the form of a non-transitory storage medium, where'non-transitory' means that the storage medium does not contain a signal and is tangible. It does not distinguish between data being stored semi-permanently or temporarily on the storage medium.
  • a method according to various embodiments described above may be provided as being included in a computer program product.
  • Computer program products can be traded between sellers and buyers as products.
  • the computer program product may be distributed online in the form of a device-readable storage medium (eg, compact disc read only memory (CD-ROM)) or through an application store (eg, Play StoreTM).
  • a storage medium such as a memory of a manufacturer's server, an application store's server, or a relay server, or may be temporarily generated.
  • each of the components may be composed of a singular or a plurality of entities, and some of the sub-components of the aforementioned sub-components may be omitted, or other subs Components may be further included in various embodiments.
  • some components eg, modules or programs
  • operations performed by a module, program, or other component may be sequentially, parallelly, repeatedly, or heuristically executed, at least some operations may be executed in a different order, omitted, or other operations may be added. You can.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)

Abstract

영상 처리 장치가 개시된다. 영상 처리 장치는, 입력부 및, 입력부를 통해 입력된 영상 프레임을 리타겟팅하여 출력 영상 프레임을 획득하는 프로세서를 포함하며, 프로세서는,출력 영상 프레임에 대한 정보 및 입력 영상 프레임에 기초하여 픽셀 값을 패딩할 영역을 식별하고, 식별된 영역에 포함된 대상 픽셀 영역을 기준으로 제1 픽셀 블럭을 식별하고, 제1 픽셀 블럭에 포함된 픽셀 값에 기초하여 제2 픽셀 블럭을 식별하고, 제2 픽셀 블럭에 포함된 픽셀 값에 기초하여 대상 픽셀 영역을 패딩하여 출력 영상 프레임을 획득할 수 있다.

Description

영상 처리 장치 및 그 영상 처리 방법
본 개시는 영상 처리 장치 및 그 영상 처리 방법에 관한 것으로, 더욱 상세하게는 입력 영상을 리타겟팅 처리하여 출력 영상을 획득하는 영상 처리 장치 및 그 영상 처리 방법에 관한 것이다.
전자 기술의 발달에 힘입어 다양한 유형의 전자기기가 개발 및 보급되고 있다. 특히, 가정, 사무실, 공공 장소 등 다양한 장소에서 이용되는 디스플레이 장치는 최근 수년 간 지속적으로 발전하고 있다.
최근에는 고해상도 영상 서비스, 실시간 스트리밍 서비스에 대한 요구가 크게 증가하고 있다.
경우에 따라 입력 영상의 해상도와 출력 해상도가 상이한 경우 입력 영상을 출력 해상도에 맞추기 위한 영상 처리를 적용한다. 다만 입력 영상의 해상도와 출력 해상도의 종횡비(가로세로비율)가 동일한 경우에는 영상 왜곡이 없으나, 종횡비가 상이한 경우 종횡비 조정으로 인해 영상 왜곡이 발생하게 되는 문제점이 있다.
본 개시는 상술한 필요성에 따른 것으로, 본 개시의 목적은, 유사 픽셀 패딩을 통해 영상 왜곡 없이 입력 영상의 종횡비를 조정하여 출력 영상을 획득할 수 있는 영상 처리 장치 및 그 영상 처리 방법을 제공함에 있다.
이상과 같은 목적을 달성하기 위한 본 개시의 일 실시 예에 따른 영상 처리 장치는, 입력부 및 상기 입력부를 통해 입력된 영상 프레임을 리타겟팅하여 출력 영상 프레임을 획득하는 프로세서를 포함하며, 상기 프로세서는, 상기 출력 영상 프레임에 대한 정보 및 상기 입력 영상 프레임에 기초하여 픽셀 값을 패딩할 영역을 식별하고, 상기 식별된 영역에 포함된 대상 픽셀 영역을 기준으로 제1 픽셀 블럭을 식별하고, 상기 제1 픽셀 블럭에 포함된 픽셀 값에 기초하여 제2 픽셀 블럭을 식별하고, 상기 제2 픽셀 블럭에 포함된 픽셀 값에 기초하여 상기 대상 픽셀 영역을 패딩하여 상기 출력 영상 프레임을 획득한다.
이 경우, 상기 프로세서는, 상기 입력 영상 프레임의 종횡비에 기초하여 상기 입력 영상 프레임을 스케일링하고, 상기 스케일링된 영상 프레임 및 상기 출력 영상 프레임에 대한 정보에 기초하여 상기 패딩할 영역을 식별하고, 상기 스케일링된 영상 프레임에서 상기 제2 픽셀 블럭을 식별할 수 있다.
또한, 상기 프로세서는, 상기 제1 픽셀 블럭에 포함된 픽셀 값과 유사도가 임계 값 이상인 픽셀 값을 가지는 픽셀 블럭을 탐색하여 상기 제2 픽셀 블럭을 식별할 수 있다.
또한, 상기 프로세서는, 상기 입력 영상 프레임에서 전경 영역을 식별하고, 상기 전경 영역 또는 인접 영역 중 적어도 하나에서 상기 제2 픽셀 블럭이 탐색되면 재 탐색을 수행할 수 있다.
또한, 상기 프로세서는, 상기 제1 픽셀 블럭에 포함된 픽셀들을 상기 제2 픽셀 블럭에 포함된 픽셀들 중 대응되는 픽셀들의 픽셀 값으로 패딩할 수 있다.
또한, 상기 프로세서는, 상기 제1 픽셀 블럭에 포함된 픽셀들 중 픽셀 값을 가지는 일부 픽셀에 대해, 해당 픽셀 값 및 상기 제2 픽셀 블럭 중 대응되는 픽셀의 픽셀 값에 기초하여 산출된 픽셀 값으로 대체할 수 있다.
또한, 상기 프로세서는, 상기 대상 픽셀 영역에 포함된 픽셀을 상기 제2 픽셀 블럭에 포함된 픽셀들 중 대응되는 픽셀의 픽셀 값으로 패딩할 수 있다.
또한, 상기 프로세서는, 상기 입력 영상 프레임의 모션 정보를 획득하고, 상기 모션 정보에 기초하여 상기 픽셀 값이 패딩된 영역을 블러링 처리할 수 있다.
또한, 상기 프로세서는, 상기 입력 영상 프레임에서 전경 영역이 상기 픽셀 값이 패딩된 영역에 포함되는 경우, 상기 모션 정보가 임계값 이상이면 상기 픽셀 값이 패딩된 영역을 블러링 처리하고, 상기 모션 정보가 상기 임계값 미만이면 상기 픽셀 값이 패딩된 영역을 유지할 수 있다.
또한, 상기 프로세서는, 기설정된 프레임 구간 내에 포함된 복수의 프레임 각각의 상기 대상 픽셀 영역을 상기 제2 픽셀 블럭에 포함된 픽셀 값으로 패딩할 수 있다.
또한, 디스플레이를 더 포함하며, 상기 프로세서는, 상기 획득된 출력 영상 프레임을 디스플레이하도록 상기 디스플레이를 제어할 수 있다.
한편, 본 발명의 일 실시 예에 따른 영상 프레임을 리타겟팅하여 출력 영상 프레임을 획득하는 영상 처리 장치의 영상 처리 방법은, 상기 출력 영상 프레임에 대한 정보 및 상기 입력 영상 프레임에 기초하여 픽셀 값을 패딩할 영역을 식별하고, 상기 식별된 영역에 포함된 대상 픽셀 영역을 기준으로 제1 픽셀 블럭을 식별하는 단계, 상기 제1 픽셀 블럭에 포함된 픽셀 값에 기초하여 제2 픽셀 블럭을 식별하는 단계 및, 상기 제2 픽셀 블럭에 포함된 픽셀 값에 기초하여 상기 대상 픽셀 영역을 패딩하여 상기 출력 영상 프레임을 획득하는 단계를 포함할 수 있다.
이 경우, 상기 제2 픽셀 블럭을 식별하는 단계는, 상기 입력 영상 프레임의 종횡비에 기초하여 상기 입력 영상 프레임을 스케일링하고, 상기 스케일링된 영상 프레임 및 상기 출력 영상 프레임에 대한 정보에 기초하여 상기 패딩할 영역을 식별하고, 상기 스케일링된 영상 프레임에서 상기 제2 픽셀 블럭을 식별할 수 있다.
또한, 상기 제2 픽셀 블럭을 식별하는 단계는, 상기 제1 픽셀 블럭에 포함된 픽셀 값과 유사도가 임계 값 이상인 픽셀 값을 가지는 픽셀 블럭을 탐색하여 상기 제2 픽셀 블럭을 식별할 수 있다.
또한, 상기 제2 픽셀 블럭을 식별하는 단계는, 상기 입력 영상 프레임에서 전경 영역을 식별하고, 상기 전경 영역 또는 인접 영역 중 적어도 하나에서 상기 제2 픽셀 블럭이 탐색되면 재 탐색을 수행할 수 있다.
또한, 상기 출력 영상 프레임을 획득하는 단계는, 상기 제1 픽셀 블럭에 포함된 픽셀들을 상기 제2 픽셀 블럭에 포함된 픽셀들 중 대응되는 픽셀들의 픽셀 값으로 패딩할 수 있다.
또한, 상기 출력 영상 프레임을 획득하는 단계는, 상기 제1 픽셀 블럭에 포함된 픽셀들 중 픽셀 값을 가지는 일부 픽셀에 대해, 해당 픽셀 값 및 상기 제2 픽셀 블럭 중 대응되는 픽셀의 픽셀 값에 기초하여 산출된 픽셀 값으로 대체할 수 있다.
또한, 상기 출력 영상 프레임을 획득하는 단계는, 상기 대상 픽셀 영역에 포함된 픽셀을 상기 제2 픽셀 블럭에 포함된 픽셀들 중 대응되는 픽셀의 픽셀 값으로 패딩할 수 있다.
또한, 상기 입력 영상 프레임의 모션 정보를 획득하고, 상기 모션 정보에 기초하여 상기 픽셀 값이 패딩된 영역을 블러링 처리하는 단계를 더 포함할 수 있다.
또한, 상기 블러링 처리하는 단계는, 상기 입력 영상 프레임에서 전경 영역이 상기 픽셀 값이 패딩된 영역에 포함되는 경우, 상기 모션 정보가 임계값 이상이면 상기 픽셀 값이 패딩된 영역을 블러링 처리하고, 상기 모션 정보가 상기 임계값 미만이면 상기 픽셀 값이 패딩된 영역을 유지할 수 있다.
또한, 상기 출력 영상 프레임을 획득하는 단계는, 기설정된 프레임 구간 내에 포함된 복수의 프레임 각각의 상기 대상 픽셀 영역을 상기 제2 픽셀 블럭에 포함된 픽셀 값으로 패딩할 수 있다.
또한, 본 발명의 일 실시 예에 따른 영상 프레임을 리타겟팅하여 출력 영상 프레임을 획득하는 영상 처리 장치의 프로세서에 의해 실행되는 경우 상기 영상 처리 장치가 동작을 수행하도록 하는 컴퓨터 명령을 저장하는 비일시적 컴퓨터 판독 가능 매체에 있어서, 상기 동작은, 상기 출력 영상 프레임에 대한 정보 및 상기 입력 영상 프레임에 기초하여 픽셀 값을 패딩할 영역을 식별하고, 상기 식별된 영역에 포함된 대상 픽셀 영역을 기준으로 제1 픽셀 블럭을 식별하는 단계, 상기 제1 픽셀 블럭에 포함된 픽셀 값에 기초하여 제2 픽셀 블럭을 식별하는 단계 및, 상기 제2 픽셀 블럭에 포함된 픽셀 값에 기초하여 상기 대상 픽셀 영역을 패딩하여 상기 출력 영상 프레임을 획득하는 단계를 포함할 수 있다.
본 개시의 다양한 실시 예에 따르면, 영상 왜곡 없이 입력 영상의 종횡비를 조정하여 출력 영상을 획득할 수 있게 된다. 예를 들어, 영상의 주요 영역을 손실할 가능성이 없고, 비디오 컨텐츠 내 시간적 일관성을 유지할 수 있게 된다.
도 1은 본 개시의 일 실시 예에 따른 영상 처리 장치의 구현 예를 설명하기 위한 도면이다.
도 2는 본 개시의 일 실시 예에 따른 영상 처리 장치의 구성을 나타내는 블럭도이다.
도 3은 본 개시의 일 실시 예에 따른 종횡비 조정 방법을 설명하기 위한 도면이다.
도 4a 내지 도 4f는 본 개시의 일 실시 예에 따른 픽셀 패딩 방법을 설명하기 위한 도면들이다.
도 5a 및 도 5b는 본 개시의 다른 실시 예에 따른 픽셀 패딩 방법을 설명하기 위한 도면들이다.
도 6은 본 발명의 또 다른 실시 예에 따른 픽셀 패딩 방법을 설명하기 위한 도면이다.
도 7a 및 도 7b는 본 발명의 다른 실시 예에 따른 픽셀 패딩 방법을 설명하기 위한 도면이다.
도 8a 내지 도 8c는 본 개시의 다른 실시 예에 따른 블러링 처리 방법을 설명하기 위한 도면들이다.
도 9는 본 개시의 일 실시 예에 따른 영상 처리 방법을 설명하기 위한 블럭도이다.
도 10은 본 개시의 다른 실시 예에 따른 영상 처리 장치의 일 구현 예를 나타내는 도면이다.
도 11은 본 발명의 일 실시 예에 따른 영상 처리 방법을 설명하기 위한 흐름도이다.
-
이하에서는 첨부 도면을 참조하여 본 개시를 상세히 설명한다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 개시에 대해 구체적으로 설명하기로 한다.　
본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 개시의 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 개시된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시 예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
A 및 B 중 적어도 하나라는 표현은 "A" 또는 "B" 또는 "A 및 B" 중 어느 하나를 나타내는 것으로 이해되어야 한다.
본 개시에서 "모듈" 혹은 "부"는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈" 혹은 복수의 "부"는 특정한 하드웨어로 구현될 필요가 있는 "모듈" 혹은 "부"를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 본 개시의 일 실시 예에 따른 영상 처리 장치의 구현 예를 설명하기 위한 도면이다.
영상 처리 장치(100)는 도 1에 도시된 바와 같이 TV 또는 set-top box 로 구현될 수 있으나, 이에 한정되는 것은 아니며 스마트 폰, 태블릿 PC, 노트북 PC, HMD(Head mounted Display), NED(Near Eye Display), LFD(large format display), Digital Signage(디지털 간판), DID(Digital Information Display), 비디오 월(video wall), 프로젝터 디스플레이, 카메라 등과 같이 영상 처리 및/또는 디스플레이 기능을 갖춘 장치라면 한정되지 않고 적용 가능하다.
영상 처리 장치(100)는 다양한 압축 영상 또는 다양한 해상도의 영상을 수신할 수 있다. 예를 들어, 영상 처리 장치(100)는 MPEG(Moving Picture Experts Group)(예를 들어, MP2, MP4, MP7 등), JPEG(joint photographic coding experts group), AVC(Advanced Video Coding), H.264, H.265, HEVC(High Efficiency Video Codec) 등으로 압축된 형태로 영상을 수신할 수 있다. 또는 영상 처리 장치(100)는 SD(Standard Definition), HD(High Definition), Full HD, Ultra HD 영상 중 어느 하나의 영상을 수신할 수 있다.
일 실시 예에 따라 입력되는 영상의 해상도와 출력 해상도가 종횡비가 상이한 경우, 입력 영상의 해상도를 출력 해상도에 맞추기 위한 리타겟팅(retargeting) 처리가 요구된다. 예를 들어, 입력 영상의 해상도는 HD 또는 Full HD 영상이고 출력 해상도는 Ultra HD인 경우 출력 해상도에 맞추어 영상을 리타겟팅(retargeting) 처리하게 된다. 이 경우, 입력 영상의 종횡비(가로세로비율)를 출력 영상의 종횡비에 맞게 조정함에 따라 영상 왜곡이 발생하게 되는 문제점이 있다.
이에 따라 본 개시에서는 입력 영상의 해상도와 출력 해상도의 종횡비가 상이한 경우 영상 왜곡을 최소화할 수 있는 다양한 실시 예에 대해 설명하도록 한다.
도 2는 본 개시의 일 실시 예에 따른 영상 처리 장치의 구성을 나타내는 블럭도이다.
도 2에 따르면, 영상 처리 장치(100)는 입력부(110) 및 프로세서(120)를 포함한다.
입력부(110)는 다양한 타입의 컨텐츠를 입력받는다. 예를 들어 입력부(110)는 AP 기반의 Wi-Fi(와이파이, Wireless LAN 네트워크), 블루투스(Bluetooth), 지그비(Zigbee), 유/무선 LAN(Local Area Network), WAN, 이더넷, IEEE 1394, HDMI(High Definition Multimedia Interface), MHL (Mobile High-Definition Link), USB (Universal Serial Bus), DP(Display Port), 썬더볼트(Thunderbolt), VGA(Video Graphics Array)포트, RGB 포트, D-SUB(D-subminiature), DVI(Digital Visual Interface) 등과 같은 통신 방식을 통해 외부 장치(예를 들어, 소스 장치), 외부 저장 매체(예를 들어, USB), 외부 서버(예를 들어 웹 하드) 등으로부터 스트리밍 또는 다운로드 방식으로 영상 신호를 입력받을 수 있다. 여기서, 영상 신호는 디지털 신호가 될 수 있으나 이에 한정되는 것은 아니다.
프로세서(120)는 영상 처리 장치(100)의 전반적인 동작을 제어한다.
일 실시 예에 따라 프로세서(120)는 디지털 영상 신호를 처리하는 디지털 시그널 프로세서(digital signal processor(DSP), 마이크로 프로세서(microprocessor), TCON(Time controller)으로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), 컨트롤러(controller), 어플리케이션 프로세서(application processor(AP)), 또는 커뮤니케이션 프로세서(communication processor(CP)), ARM 프로세서 중 하나 또는 그 이상을 포함하거나, 해당 용어로 정의될 수 있다. 또한, 프로세서(140)는 프로세싱 알고리즘이 내장된 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, FPGA(Field Programmable gate array) 형태로 구현될 수도 있다.
프로세서(120)는 입력부(110)를 통해 입력된 영상 프레임을 리타겟팅 즉, 종횡비를 조정하여 출력 영상 프레임을 획득한다.
구체적으로, 프로세서(120)는 출력 영상 프레임에 대한 정보 및 입력 영상 프레임에 기초하여 픽셀 값을 패딩할 영역을 식별할 수 있다. 여기서, 출력 영상 프레임에 대한 정보는, 출력 영상 프레임의 해상도 정보가 될 수 있다.
예를 들어, 프로세서(120)는 입력 영상 프레임 및 리타겟팅 정보에 기초하여 픽셀 값을 패딩할 영역을 식별하고, 식별된 영역에 포함된 대상 픽셀 영역을 기준으로 제1 픽셀 블럭(또는 제1 픽셀 영역)을 식별할 수 있다. 여기서, 리타겟팅 정보는, 입력 영상 프레임의 해상도 정보 및 출력 영상 프레임의 해상도 정보를 포함할 수 있다. 또는, 리타겟팅 정보는, 입력 영상 프레임의 종횡비 및 출력 영상 프레임의 종횡비를 포함할 수 있다. 또는, 리타겟팅 정보는, 입력 영상 프레임의 해상도 정보 및 출력 영상 프레임의 해상도 정보에 기초하여 산출된 입력 영상 프레임의 종횡비 조정 정보를 포함할 수 있다.
일 예에 따라 프로세서(120)는 입력 영상 프레임의 종횡비에 기초하여 입력 영상 프레임을 스케일링하고, 스케일링된 영상 프레임 및 출력 영상 프레임에 대한 정보에 기초하여 픽셀 값을 패딩할 영역을 식별할 수 있다.
예를 들어, 도 3에 도시된 바와 같이 프로세서(120)는 입력 영상 프레임(310)의 해상도가 SD(720 x 480)이고, 출력 영상 프레임의 해상도가 4K UHD(3,840 x 2,160)인 경우, 가로 비율 및 세로 비율을 4.5 배(2160/480) 스케일링할 수 있다. 이 경우, 스케일링된 영상(320)의 세로 길이는 출력 영상 프레임에 맞지만, 가로 길이는 3840-3240(720*4.5)=600 만큼 부족하게 된다. 이 경우, 프로세서(120)는 스케일링된 영상 프레임의 가로 세로 각각 300 픽셀 길이 영역(331, 332)을 픽셀 값을 패딩할 영역(이하, 픽셀 패딩 영역)으로 식별할 수 있다.
프로세서(120)는 픽셀 패딩 영역이 식별되면 식별된 영역에서 대상 픽셀 영역을 기준으로 제1 픽셀 블럭을 식별할 수 있다. 여기서, 대상 픽셀 영역은 적어도 하나의 픽셀을 포함할 수 있다. 대상 픽셀 영역은 복수 개의 픽셀을 포함할 수 도 있으나, 이하에서는 설명의 편의를 위하여 대상 픽셀 영역이 하나의 픽셀을 포함하는 경우를 상정하여 설명하도록 한다.
일 실시 예에 따라, 프로세서(120)는 픽셀 값을 패딩할 대상 픽셀 영역이 식별되면, 해당 대상 픽셀 영역을 중심 픽셀로 하며 주변 픽셀을 포함하는 기설정된 크기의 제1 픽셀 블럭을 식별할 수 있다. 여기서, 기설정된 크기는 3*3, 5*5, 7*7 등 다양한 크기가 될 수 있으나, 이하에서는 설명의 편의를 위하여 5*5 픽셀 블럭을 획득하는 경우를 상정하여 설명하도록 한다. 여기서, 픽셀 블럭은 예를 들어 패치로 구현될 수 있다.
이어서, 프로세서(120)는 제1 픽셀 블럭에 포함된 픽셀 값에 기초하여 제2 픽셀 블럭(또는 제2 픽셀 영역)을 식별하고, 제2 픽셀 블럭에 포함된 픽셀 값에 기초하여 대상 픽셀 영역을 패딩할 수 있다. 여기서, 제2 픽셀 블럭은 제1 픽셀 블럭의 크기와 동일할 수 있으나, 이에 한정되는 것은 아니다.
일 실시 예에 따라 프로세서(120)는 제1 픽셀 블럭에 포함된 픽셀 값과 유사도가 임계 값 이상인 픽셀 값을 가지는 픽셀 블럭을 탐색하여 제2 픽셀 블럭을 식별할 수 있다. 대부분의 영상은 프렉탈 이론의 기반이 되는 자기 유사성이라는 특징을 가지고 있다. 즉, 영상 내에 일 영역과 유사한 다른 영역이 포함되어 있다는 가정 하에, 영상 내의 다른 영역에 대하여 유사도를 측정한 후 유사도가 높은 픽셀 영역을 제2 픽셀 블럭으로 식별할 수 있다.
제2 픽셀 블럭이 식별되면, 일 실시 예에 따라 프로세서(120)는 대상 픽셀 영역에 포함된 픽셀을 제2 픽셀 블럭에 포함된 픽셀들 중 대응되는 픽셀의 픽셀 값으로 패딩할 수 있다. 예를 들어, 프로세서(120)는 5*5 형태의 제1 픽셀 블럭에서 (3, 3) 위치의 픽셀이 대상 픽셀 영역인 경우, 해당 픽셀을 5*5 형태의 제2 픽셀 블럭에서 (3, 3) 위치의 대응되는 픽셀의 픽셀 값으로 패딩할 수 있다.
제2 픽셀 블럭이 식별되면, 다른 실시 예에 따라 프로세서(120)는 제1 픽셀 블럭에 포함된 픽셀들을 제2 픽셀 블럭에 포함된 픽셀들 중 대응되는 픽셀들의 픽셀 값으로 패딩할 수 있다. 예를 들어, 프로세서(120)는 제1 픽셀 블럭에 포함된 픽셀들을 제2 픽셀 블럭의 픽셀 값으로 패딩하는 것도 가능하다. 즉, 제1 픽셀 블럭에 포함된 각 픽셀을 제2 픽셀 블럭에 포함된 대응되는 위치의 픽셀 값으로 패딩할 수 있다.
이 경우, 프로세서(120)는 제1 픽셀 블럭에 포함된 픽셀들 중 픽셀 값을 가지는 일부 픽셀에 대해, 해당 픽셀 값 및 제2 픽셀 블럭 중 대응되는 픽셀의 픽셀 값에 기초하여 산출된 픽셀 값으로 대체할 수 있다. 예를 들어, 프로세서(120)는 제1 픽셀 블럭에 포함된 픽셀들 중 픽셀 값을 가지는 일부 픽셀에 대해 해당 픽셀 값 및 제2 픽셀 블럭 중 대응되는 픽셀의 픽셀 값을 합산한 후 합산된 값을 합산 횟수로 나누어 산출된 픽셀 값으로 대체할 수 있다.
한편, 프로세서(120)는 입력 영상 프레임에서 전경 영역을 식별하고, 전경 영역 또는 인접 영역 중 적어도 하나에서 제2 픽셀 블럭이 탐색되면 재 탐색을 수행하여 새로운 제2 픽셀 블럭을 탐색할 수 있다.
또한 프로세서(120)는 입력 영상 프레임의 모션 정보를 획득하고, 모션 정보에 기초하여 픽셀 값이 패딩된 영역을 블러링 처리할 수 있다. 여기서, 모션 정보는, 화면 전체의 모션을 나타내는 글로벌 모션 정보일 수 있다. 예를 들어, 글로벌 모션 정보는, 입력 영상 프레임 전체의 픽셀 값 변화량, 입력 영상 프레임에 포함된 적어도 하나의 픽셀 블럭, 예를 들어 복수의 픽셀 블럭의 픽셀 값 변화량 등 다양한 값을 고려하여 산출될 수 있다.
일 실시 예에 따라 프로세서(120)는 식별된 전경 영역이 픽셀 값이 패딩된 영역에 포함되는 경우, 모션 정보가 임계값 이상이면 픽셀 값이 패딩된 영역을 블러링 처리하고, 모션 정보가 임계값 미만이면 픽셀 값이 패딩된 영역을 유지할 수 있다. 여기서, 전경 영역이란 경계선을 접하는 두 영역이 있는 한 장면에서 지각의 대상이 되는 부분(또는 카메라에 의해 가장 세밀하게 포착되어 보는 사람의 시선이 집중되는 영역)을 의미하며, 그 밖의 나머지 영역은 배경 영역이 될 수 있다.
다른 실시 예에 따라 프로세서(120)는 씬이 변경된 후 첫 번째 프레임에서 전경이 영상의 양쪽 끝 쪽에 존재하는 것으로 식별되면, 상술한 리타겟팅 ㅊ처철처리 대신 uniform scaling을 적용하는 fallback 기법을 이용할 수 있다. 이 경우 극심한 화질 저하는 효과적으로 방지 할 수 있게 된다.
예를 들어, 하기 표 1과 같이 케이스 별로 본 발명의 다양한 실시 예를 적용할 수 있다.
Cases Detection criteria Operation Example
Foreground in padded area at the start frame FG ratio in side area Uniform scaling (until the next scene change)
Appearance of foreground in padded area GM=0 FG ratio in padded area & warping blocks Maintaining padded area Scrolling text, foreground moving
GM≠0 Blurring on padded area
Zoom in / out High matching cost Blurring on padded area
Rapid camera translation (mag. GM ↑)
여기서, FG: foreground, GM: global motion, Mag.: magnitude
도 4a 내지 도 4f는 본 개시의 일 실시 예에 따른 픽셀 패딩 방법을 설명하기 위한 도면들이다.
본 개시의 일 실시 예에 따르면, 도 4a에 도시된 바와 같이 픽셀 패딩 영역(331)이 식별되면 도 4b에 도시된 바와 식별된 영역(331)에서 대상 픽셀 영역(411)을 기준으로 제1 픽셀 블럭(410)을 식별할 수 있다. 여기서, 대상 픽셀 영역(411)이 하나의 픽셀을 포함하는 것으로 도시하였으나, 경우에 따라 복수 개의 픽셀을 포함할 수 있음은 물론이다. 또한, 제1 픽셀 블럭(410)의 크기는 설명의 편의를 위하여 5*5인 경우로 상정하였다.
제1 픽셀 블럭(410)이 식별되면, 도 4c에 도시된 바와 같이 제1 픽셀 블럭(410)에 포함된 픽셀 값에 기초하여 제1 픽셀 블럭(410)과 유사한 픽셀 값을 가지는 픽셀 블럭을 탐색한다. 예를 들어, 유사성을 판단하는 비용 함수(cost function)를 이용하여 유사 픽셀 블럭을 탐색할 수 있다. 유사성을 판단하는 비용 함수로는 MSE(Mean Square Error), SAD(Sum of absolute difference), MAD(Median Absolute Deviation), correlation 중 적어도 하나가 이용될 수 있으나, 이에 한정되는 것은 아니다. 일 예로, MSE를 적용하는 경우, 픽셀 블럭들의 MSE를 산출하고, MSE 관점에서 유사도가 높은 패치 즉, MSE 차이가 작은 패치를 탐색하여 유사 픽셀 블럭을 식별할 수 있다. 다른 예로, 양 픽셀 블럭에 포함된 픽셀 값 차이의 합에 기초하여 유사 픽셀 블럭을 식별할 수 있다. 이 경우, 양 픽셀 블럭에서 픽셀 값이 존재하는 위치에 대해서는 픽셀 값 차이를 산출할 수 있다. 또 다른 예로, 인접 픽셀 블럭 내 전경 픽셀의 전체 수에 기초하여 유사 픽셀 블럭을 식별할 수 있다. 또 다른 예로, 이전 프레임에서 계산된 픽셀 값과의 차이를 이용하여 유사 픽셀 블럭을 식별할 수 있다.
도 4d에 도시된 바와 같이 제1 픽셀 블럭(410)과 유사한 픽셀 값을 가지는 제2 픽셀 블럭(420)이 식별되면, 도 4e에 도시된 바와 같이 제2 픽셀 블럭(420)에 포함된 픽셀 값에서 대상 픽셀 영역(411)에 대응되는 픽셀 값을 식별할 수 있다. 이어서, 도 4f에 도시된 바와 같이 식별된 픽셀 값에 기초하여 대상 픽셀 영역(411)을 패딩할 수 있다.
일 실시 예에 따르면, 도 4f에 도시된 바와 같이 대상 픽셀 영역(411) 만을 패딩할 수도 있으나, 다른 실시 예에 따르면, 도 5a에 도시된 바와 같이 제1 픽셀 블럭(410)을 제2 픽셀 블럭(420)의 픽셀 값으로 패딩하는 것도 가능하다. 즉, 제1 픽셀 블럭(410)에 포함된 각 픽셀을 제2 픽셀 블럭(420)에 포함된 대응되는 위치의 픽셀 값으로 패딩할 수 있다. 이 경우, 도 5b에 도시된 바와 같이 제1 픽셀 블럭(410)에서 기존 픽셀 값들과 겹치는 픽셀들(430)의 경우, 기존 픽셀 값들 및 새로 패딩되는 픽셀 값들이 축적한 후 축적된 픽셀 값을 축적된 횟수로 나눈 픽셀 값으로 채워질 수 있다. 다만, 이에 한정되는 것은 아니며, 양자 중 최대 또는 최소 값, 제1 가중치가 적용된 기존 픽셀 값 및 제2 가중치가 적용된 새로 패딩되는 픽셀 값의 평균 값, 양자 중 최대 또는 최소 값에 제3 가중치를 적용한 값 등과 같이 다양한 방식으로 패딩될 픽셀 값이 산출될 수 있다.
한편, 상술한 다양한 실시 예들은, 기설정된 프레임 구간 단위(예를 들어, 씬 단위)로 수행될 수 있다. 일 실시 예에 따라, 프로세서(120)는 동일한 씬 구간에 포함된 복수의 프레임 각각의 대상 픽셀 영역을 제2 픽셀 블럭에 포함된 픽셀 값으로 패딩할 수 있다. 예를 들어, 동일한 씬 구간에 포함된 복수의 프레임 중 첫 번째 프레임에서 결정된 제2 픽셀 블럭에서 제 1 픽셀 기준 상대적 위치의 픽셀 값으로, 나머지 프레임의 대상 픽셀 영역을 탐색하여 패딩할 수 있다. 이에 따라 동일한 씬 구간에 포함된 복수의 프레임에서 픽셀 패딩 영역(331)에 사용될 픽셀 값의 상대적 위치는 동일할 수 있다. 즉, 동일한 씬 구간에는 동일한 상대적 위치의 픽셀 값이 디스플레이될 수 있다. 다른 실시 예에 따르면, 동일한 씬 구간에서 첫 번째 프레임에 포함된 픽셀 패딩 영역(331)의 픽셀 값이 결정되면, 이후 프레임에 적절한 가중치를 적용하여 픽셀 패딩 영역(331)의 픽셀 값을 결정하는 것도 가능하다.
한편, 프로세서(120)는 씬이 변경되면, 상술한 동작을 통해 새로운 유사 픽셀 블럭을 탐색하여 대상 픽셀 영역을 패딩할 수 있다. 다만, temporal coherency(시간적 일관성)을 유지하기 위하여, 이전 씬에서 패딩을 위해 사용되는 픽셀의 상대적 위치를 동일하게 이용하여 현재 씬에서 픽셀 패딩을 수행할 수도 있다. 또는, 각 씬의 영상 특성에 따라 복수의 이전 씬에서 패딩에 이동된 픽셀 위치 값을 동일하게 현재 씬에서 이용하여 픽셀 패딩을 수행할 수도 있다.
도 6은 본 발명의 또 다른 실시 예에 따른 픽셀 패딩 방법을 설명하기 위한 도면이다.
도 6에 도시된 바에 따르면, 도 4f(또는 도 5a)와 같은 픽셀 값 패딩 후, 픽셀 값이 패딩된 픽셀 블럭(410)에 포함된 각 픽셀 블럭에 기설정된 가중치를 곱하여 출력 영상을 획득할 수 있다.
도 7a 및 도 7b는 본 발명의 다른 실시 예에 따른 픽셀 패딩 방법을 설명하기 위한 도면이다.
본 개시의 다른 실시 예에 따르면, 입력 영상 프레임의 모션 정보에 기초하여 픽셀 값이 패딩된 픽셀 패딩 영역을 블러링 처리할 수 있다. 구체적으로, 프로세서(120)는 입력 영상 프레임에서 식별된 전경 영역의 위치 및 입력 영상 프레임의 모션 정보에 기초하여 픽셀 패딩 영역을 블러링 처리할 수 있다.
일 예로, 도 8a에 도시된 바와 같이 프로세서(120)는 전경 영역(810)이 픽셀 값이 픽셀 패딩 영역(331)에 포함되는 경우, 해당 프레임의 모션 정보가 임계값 미만이면 픽셀 값이 패딩된 영역(331)을 유지할 수 있다.
다른 예로, 도 8b에 도시된 바와 같이 프로세서(120)는 전경 영역(820)이 픽셀 값이 픽셀 패딩 영역(331)에 포함되는 경우, 해당 프레임의 모션 정보가 임계값 이상이면 픽셀 값이 패딩된 영역(331)을 블러링 처리할 수 있다.
도 8a 내지 도 8c는 본 개시의 다른 실시 예에 따른 블러링 처리 방법을 설명하기 위한 도면들이다.
본 개시의 다른 실시 예에 따라 픽셀 패딩 영역(331)을 블러링 처리하기 위해, 프로세서(120)는 고주파 성분을 필터링하는 저주파 통과 필터를 적용할 수 있다. 예를 들어, 프로세서(120)는 가우시안 블러링(또는 가우시안 필터링) 처리를 할 수 있다. 가우시안 블러링은 가우시안 확률 분포에 기초한 가우시안 필터를 이용하여 블러 처리하는 방법으로, 가우시안 필터를 픽셀 패딩 영역(331)에 적용하게 되면 고주파 성분은 차단되어 블러 처리가 된다.
예를 들어, 가우시안 필터는 도 8a에 도시된 바와 같이 x축의 0은 가중치가 크고, +/- 부분로 갈수록 가중치가 적어지는 형태가 될 수 있고, 이러한 가우시안 필터를 5*6 형태의 마스크(80)에 적용하면 마스크(80) 중심은 가중치가 크고, 마스크(80)의 가장자리로 갈수록 가중치가 적어지는 형태가 될 수 있다. 다만 도 6a에 도시된 수치는 예로 든 것이며, 필터링 수치는 가우시안 함수의 시그마 값에 따라 달라짐은 물론이다.
프로세서(120)는 도 8b에 도시된 바와 같이 가우시안 마스크(80)를 픽셀 패딩 영역(331)에 포함된 각 픽셀 값에 적용하여 픽셀 패딩 영역(331)를 가우시안 블러링 처리할 수 있다. 구체적으로, 프로세서(120)는 픽셀 패딩 영역(331)에 포함된 각 픽셀 값이 가우시안 마스크(80)의 중심에 위치하도록 가우시안 마스크(80)를 이동시켜 가며 각 픽셀 값에 대해 필터링을 수행할 수 있다.
이 경우, 프로세서(120)는 픽셀 패딩 영역(331)의 경계에 위치한 픽셀 값에 대해서는 미러링한 픽셀 값에 기초하여 필터링을 수행할 수 있다. 예를 들어, 픽셀 패딩 영역(331)의 (1,1) 위치의 픽셀 값 즉 P1을 가우시안 마스크(80)의 중심에 위치시켜 필터링을 수행하는 경우에는 도 8c에 도시된 바와 같이 경계 위치의 픽셀 값들을 미러링하여 P1 값을 중심으로 하는 가상의 패치(90)를 생성한 후 P1 값을 가우시안 마스크(80)의 중심에 위치시켜 필터링을 수행할 수 있다. 다만, 도 6c에서는 설명의 편의를 위하여 3*3 픽셀 블럭을 기반으로 3*3 가우시안 마스크(80) 및 3*3 의 형태로 패치(90)를 이용하는 경우로 설명하였으나 6a 및 6b와 같이 5*5 가우시안 마스크 및 패치가 이용될 수 있음은 물론이다.
이와 같이 프로세서(120)는 픽셀 패딩 영역(331)에 포함된 모든 픽셀 값들에 대한 가우시안 필터링을 수행하여, 블러링된 픽셀 패딩 영역(331)을 획득할 수 있다.
도 9는 본 개시의 일 실시 예에 따른 영상 처리 방법을 설명하기 위한 블럭도이다.
도 9에 도시된 바에 따르면, n 번째 프레임이 입력되면, 전경 영역을 검출하고, n-1 번째 프레임 및 n 번째 프레임에 기초하여 모션 정보(예를 들어, 글로벌 모션 정보)를 획득할 수 있다(S910).
이어서, 검출된 전경 영역의 위치를 고려하여 대상 픽셀 블럭을 패딩하기 위한 패딩 블럭을 탐색할 수 있다(S920). 이 후, 탐색된 유사 픽셀 블럭의 픽셀 값을 이용하여 픽셀 패딩 블럭(331)의 영상을 채워나간다(in-painting)(S930).
한편, 글로벌 모션 정보 및 전경 영역의 위치에 따라 픽셀 패딩 블럭(331)을 유지하거나 블러링 처리할 수도 있다(S940).
도 10은 본 개시의 다른 실시 예에 따른 영상 처리 장치의 일 구현 예를 나타내는 도면이다.
도 10에 따르면, 영상 처리 장치(100')는 통신부(110), 프로세서(120), 디스플레이(130), 메모리(140) 및 사용자 인터페이스(150)를 포함한다.
디스플레이(130)는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, LED(Light Emitting Diodes), PDP(Plasma Display Panel) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 디스플레이(160) 내에는 a-si TFT, LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로, 백라이트 유닛 등도 함께 포함될 수 있다. 한편, 디스플레이(130)는 터치 센서와 결합된 터치 스크린, 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 등으로 구현될 수 있다.
또한, 본 개시의 일 실시 예에 따른, 디스플레이(130)는 영상을 출력하는 디스플레이 패널뿐만 아니라, 디스플레이 패널을 하우징하는 베젤을 포함할 수 있다. 특히, 본 개시의 일 실시예에 따른, 베젤은 사용자 인터렉션을 감지하기 위한 터치 센서(미도시)를 포함할 수 있다.
프로세서(120)는 본 개시의 다양한 실시 예에 따라 처리된 영상을 디스플레이하도록 디스플레이(130)를 제어할 수 있다.
일 예에 따라 프로세서(120)는 그래픽 처리 기능(비디오 처리 기능)을 수행할 수 있다. 예를 들어, 프로세서(120)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성할 수 있다. 여기서, 연산부(미도시)는 수신된 제어 명령에 기초하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산할 수 있다. 그리고, 렌더링부(미도시)는 연산부(미도시)에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성할 수 있다. 또한, 프로세서(120)는 비디오 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다.
다른 예에 따라, 프로세서(120)는 오디오 데이터에 대한 처리를 수행할 수 있다. 구체적으로, 프로세서(120)는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다.
메모리(140)는 본 개시의 다양한 실시 예를 위해 필요한 데이터를 저장할 수 있다. 예를 들어, 메모리(140)는 프로세서(120)에 포함된 롬(ROM)(예를 들어, EEPROM(electrically erasable programmable read-only memory)), 램(RAM) 등의 내부 메모리로 구현되거나, 프로세서(120)와 별도의 메모리로 구현될 수도 있다. 이 경우, 메모리(140)는 데이터 저장 용도에 따라 영상 처리 장치(100)에 임베디드된 메모리 형태로 구현되거나, 영상 처리 장치(100)에 탈부착이 가능한 메모리 형태로 구현될 수도 있다. 예를 들어, 영상 처리 장치(100)의 구동을 위한 데이터의 경우 영상 처리 장치(100)에 임베디드된 메모리에 저장되고, 영상 처리 장치(100)의 확장 기능을 위한 데이터의 경우 영상 처리 장치(100)에 탈부착이 가능한 메모리에 저장될 수 있다. 한편, 영상 처리 장치(100)에 임베디드된 메모리의 경우 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)) 중 적어도 하나로 구현되고, 영상 처리 장치(100)에 탈부착이 가능한 메모리의 경우 메모리 카드(예를 들어, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital), MMC(multi-media card) 등), USB 포트에 연결가능한 외부 메모리(예를 들어, USB 메모리) 등과 같은 형태로 구현될 수 있다.
사용자 인터페이스(150)는 버튼, 터치 패드, 마우스 및 키보드와 같은 장치로 구현되거나, 상술한 디스플레이 기능 및 조작 입력 기능도 함께 수행 가능한 터치 스크린으로도 구현될 수 있다. 여기서, 버튼은 영상 처리 장치(100)의 본체 외관의 전면부나 측면부, 배면부 등의 임의의 영역에 형성된 기계적 버튼, 터치 패드, 휠 등과 같은 다양한 유형의 버튼이 될 수 있다.
한편, 영상 처리 장치(100)는 구현 예에 따라 튜너 및 복조부를 추가적으로 포함할 수 있다.
튜너(미도시)는 안테나를 통해 수신되는 RF(Radio Frequency) 방송 신호 중 사용자에 의해 선택된 채널 또는 기 저장된 모든 채널을 튜닝하여 RF 방송 신호를 수신할 수 있다.
복조부(미도시)는 튜너에서 변환된 디지털 IF 신호(DIF)를 수신하여 복조하고, 채널 복호화 등을 수행할 수도 있다.
도 11은 본 발명의 일 실시 예에 따른 영상 처리 방법을 설명하기 위한 흐름도이다.
도 11에 도시된 영상 처리 방법에 따르면, 우선 출력 영상 프레임에 대한 정보 및 입력 영상 프레임에 기초하여 픽셀 값을 패딩할 영역을 식별한다(S1110).
이어서, 식별된 영역에 포함된 대상 픽셀 영역을 기준으로 제1 픽셀 블럭을 식별한다(S1120).
이어서, 제1 픽셀 블럭에 포함된 픽셀 값에 기초하여 제2 픽셀 블럭을 식별하고(S1130), 제2 픽셀 블럭에 포함된 픽셀 값에 기초하여 대상 픽셀 영역을 패딩하여 출력 영상 프레임을 획득한다(S1140).
이 경우, 제2 픽셀 블럭을 식별하는 S1130 단계에서는, 입력 영상 프레임의 종횡비에 기초하여 입력 영상 프레임을 스케일링하고, 스케일링된 영상 프레임 및 출력 영상 프레임에 대한 정보에 기초하여 패딩할 영역을 식별하고, 스케일링된 영상 프레임에서 제2 픽셀 블럭을 식별할 수 있다.
또한, 제2 픽셀 블럭을 식별하는 S1130 단계에서는, 제1 픽셀 블럭에 포함된 픽셀 값과 유사도가 임계 값 이상인 픽셀 값을 가지는 픽셀 블럭을 탐색하여 제2 픽셀 블럭을 식별할 수 있다.
또한, 제2 픽셀 블럭을 식별하는 S1130 단계에서는, 입력 영상 프레임에서 전경 영역을 식별하고, 전경 영역 또는 인접 영역 중 적어도 하나에서 제2 픽셀 블럭이 탐색되면 재 탐색을 수행할 수 있다.
또한, 출력 영상 프레임을 획득하는 S1140 단계에서는, 제1 픽셀 블럭에 포함된 픽셀들을 제2 픽셀 블럭에 포함된 픽셀들 중 대응되는 픽셀들의 픽셀 값으로 패딩할 수 있다.
또한, 출력 영상 프레임을 획득하는 S1140 단계에서는, 제1 픽셀 블럭에 포함된 픽셀들 중 픽셀 값을 가지는 일부 픽셀에 대해, 해당 픽셀 값 및제2 픽셀 블럭 중 대응되는 픽셀의 픽셀 값에 기초하여 산출된 픽셀 값으로 대체할 수 있다.
또한, 출력 영상 프레임을 획득하는 S1140 단계에서는, 대상 픽셀 영역에 포함된 픽셀을 제2 픽셀 블럭에 포함된 픽셀들 중 대응되는 픽셀의 픽셀 값으로 패딩할 수 있다.
또한 입력 영상 프레임의 모션 정보를 획득하고, 모션 정보에 기초하여 픽셀 값이 패딩된 영역을 블러링 처리하는 단계를 더 포함할 수 있다.
이 경우, 입력 영상 프레임에서 전경 영역이 픽셀 값이 패딩된 영역에 포함되는 경우, 모션 정보가 임계값 이상이면 상기 픽셀 값이 패딩된 영역을 블러링 처리하고, 모션 정보가 임계값 미만이면 픽셀 값이 패딩된 영역을 유지할 수 있다.
또한, 출력 영상 프레임을 획득하는 S1140 단계에서는, 기설정된 프레임 구간 내에 포함된 복수의 프레임 각각의 대상 픽셀 영역을 제2 픽셀 블럭에 포함된 픽셀 값으로 패딩할 수 있다.
또한, 디스플레이의 출력 정보에 기초하여 입력 영상의 종횡비를 조정하고, 종횡비가 조정된 영상에 기초하여 픽셀 값을 패딩할 영역을 식별하며, 획득된 출력 영상 프레임을 디스플레이를 통해 디스플레이할 수 있다.
상술한 다양한 실시 예들에 따르면, 기존 cropping 기반 방법(영상 특성에 관계 없이 영상의 가로 혹은 세로 축을 기준으로 일부 영역만 잘라내는 기법), seam carving 기반 방법(영상 내에 중요하지 않은 연결된 선 (seam) 들을 찾아 찾아진 선이 있는 영역을 늘리거나 줄여 종횡비를 조정하는 기법) 혹은 warping 기반 방법(영상 내 픽셀별로 중요도를 판단하여 중요도에 따라서 부분적으로 영상을 늘리거나 줄여 원하는 종횡비를 조정하는 기법)에서도 달성할 수 없었던 시간적 일관성(temporal coherency)을 유지하면서 영상 컨텐츠의 왜곡을 최소화할 수 있게 된다.
다만, 본 개시의 다양한 실시 예들은 영상 처리 장치 뿐 아니라, 셋탑 박스와 같은 영상 수신 장치, TV와 같은 디스플레이 장치 등 영상 처리가 가능한 모든 영상 처리 장치에 적용될 수 있음은 물론이다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 영상 처리 장치에 설치 가능한 어플리케이션 형태로 구현될 수 있다.
또한, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 영상 처리 장치에 대한 소프트웨어 업그레이드, 또는 하드웨어 업그레이드 만으로도 구현될 수 있다.
또한, 상술한 본 개시의 다양한 실시 예들은 영상 처리 장치에 구비된 임베디드 서버, 또는 영상 처리 장치 및 디스플레이 장치 중 적어도 하나의 외부 서버를 통해 수행되는 것도 가능하다.
한편, 본 개시의 일시 예에 따르면, 이상에서 설명된 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 영상 처리 장치(예: 영상 처리 장치(A))를 포함할 수 있다. 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 프로세서의 제어 하에 다른 구성요소들을 이용하여 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
또한, 본 개시의 일 실시 예에 따르면, 이상에서 설명된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
또한, 상술한 다양한 실시 예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시 예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

Claims (15)

  1. 입력부; 및
    상기 입력부를 통해 입력된 영상 프레임을 리타겟팅하여 출력 영상 프레임을 획득하는 프로세서;를 포함하며,
    상기 프로세서는,
    상기 출력 영상 프레임에 대한 정보 및 상기 입력 영상 프레임에 기초하여 픽셀 값을 패딩할 영역을 식별하고, 상기 식별된 영역에 포함된 대상 픽셀 영역을 기준으로 제1 픽셀 블럭을 식별하고,
    상기 제1 픽셀 블럭에 포함된 픽셀 값에 기초하여 제2 픽셀 블럭을 식별하고, 상기 제2 픽셀 블럭에 포함된 픽셀 값에 기초하여 상기 대상 픽셀 영역을 패딩하여 상기 출력 영상 프레임을 획득하는, 영상 처리 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 입력 영상 프레임의 종횡비에 기초하여 상기 입력 영상 프레임을 스케일링하고, 상기 스케일링된 영상 프레임 및 상기 출력 영상 프레임에 대한 정보에 기초하여 상기 패딩할 영역을 식별하고, 상기 스케일링된 영상 프레임에서 상기 제2 픽셀 블럭을 식별하는, 영상 처리 장치.
  3. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 픽셀 블럭에 포함된 픽셀 값과 유사도가 임계 값 이상인 픽셀 값을 가지는 픽셀 블럭을 탐색하여 상기 제2 픽셀 블럭을 식별하는, 영상 처리 장치.
  4. 제3항에 있어서,
    상기 프로세서는,
    상기 입력 영상 프레임에서 전경 영역을 식별하고, 상기 전경 영역 또는 인접 영역 중 적어도 하나에서 상기 제2 픽셀 블럭이 탐색되면 재 탐색을 수행하는, 영상 처리 장치.
  5. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 픽셀 블럭에 포함된 픽셀들을 상기 제2 픽셀 블럭에 포함된 픽셀들 중 대응되는 픽셀들의 픽셀 값으로 패딩하는, 영상 처리 장치.
  6. 제5항에 있어서,
    상기 프로세서는,
    상기 제1 픽셀 블럭에 포함된 픽셀들 중 픽셀 값을 가지는 일부 픽셀에 대해, 해당 픽셀 값 및 상기 제2 픽셀 블럭 중 대응되는 픽셀의 픽셀 값에 기초하여 산출된 픽셀 값으로 대체하는, 영상 처리 장치.
  7. 제1항에 있어서,
    상기 프로세서는,
    상기 대상 픽셀 영역에 포함된 픽셀을 상기 제2 픽셀 블럭에 포함된 픽셀들 중 대응되는 픽셀의 픽셀 값으로 패딩하는, 영상 처리 장치.
  8. 제1항에 있어서,
    상기 프로세서는,
    상기 입력 영상 프레임의 모션 정보를 획득하고, 상기 모션 정보에 기초하여 상기 픽셀 값이 패딩된 영역을 블러링 처리하는, 영상 처리 장치.
  9. 제8항에 있어서,
    상기 프로세서는,
    상기 입력 영상 프레임에서 전경 영역이 상기 픽셀 값이 패딩된 영역에 포함되는 경우, 상기 모션 정보가 임계값 이상이면 상기 픽셀 값이 패딩된 영역을 블러링 처리하고, 상기 모션 정보가 상기 임계값 미만이면 상기 픽셀 값이 패딩된 영역을 유지하는, 영상 처리 장치.
  10. 제1항에 있어서,
    상기 프로세서는,
    기설정된 프레임 구간 내에 포함된 복수의 프레임 각각의 상기 대상 픽셀 영역을 상기 제2 픽셀 블럭에 포함된 픽셀 값으로 패딩하는, 영상 처리 장치.
  11. 제1항에 있어서,
    디스플레이;를 더 포함하며,
    상기 프로세서는,
    상기 획득된 출력 영상 프레임을 디스플레이하도록 상기 디스플레이를 제어하는, 영상 처리 장치.
  12. 입력 영상 프레임을 리타겟팅하여 출력 영상 프레임을 획득하는 영상 처리 장치의 영상 처리 방법에 있어서,
    상기 출력 영상 프레임에 대한 정보 및 상기 입력 영상 프레임에 기초하여 픽셀 값을 패딩할 영역을 식별하고, 상기 식별된 영역에 포함된 대상 픽셀 영역을 기준으로 제1 픽셀 블럭을 식별하는 단계;
    상기 제1 픽셀 블럭에 포함된 픽셀 값에 기초하여 제2 픽셀 블럭을 식별하는 단계; 및
    상기 제2 픽셀 블럭에 포함된 픽셀 값에 기초하여 상기 대상 픽셀 영역을 패딩하여 상기 출력 영상 프레임을 획득하는 단계;를 포함하는 영상 처리 방법.
  13. 제12항에 있어서,
    상기 제2 픽셀 블럭을 식별하는 단계는,
    상기 입력 영상 프레임의 종횡비에 기초하여 상기 입력 영상 프레임을 스케일링하고, 상기 스케일링된 영상 프레임 및 상기 출력 영상 프레임에 대한 정보에 기초하여 상기 패딩할 영역을 식별하고, 상기 스케일링된 영상 프레임에서 상기 제2 픽셀 블럭을 식별하는, 영상 처리 방법.
  14. 제12항에 있어서,
    상기 제2 픽셀 블럭을 식별하는 단계는,
    상기 제1 픽셀 블럭에 포함된 픽셀 값과 유사도가 임계 값 이상인 픽셀 값을 가지는 픽셀 블럭을 탐색하여 상기 제2 픽셀 블럭을 식별하는, 영상 처리 방법.
  15. 영상 프레임을 리타겟팅하여 출력 영상 프레임을 획득하는 영상 처리 장치의 프로세서에 의해 실행되는 경우 상기 영상 처리 장치가 동작을 수행하도록 하는 컴퓨터 명령을 저장하는 비일시적 컴퓨터 판독 가능 매체에 있어서, 상기 동작은,
    상기 출력 영상 프레임에 대한 정보 및 상기 입력 영상 프레임에 기초하여 픽셀 값을 패딩할 영역을 식별하고, 상기 식별된 영역에 포함된 대상 픽셀 영역을 기준으로 제1 픽셀 블럭을 식별하는 단계;
    상기 제1 픽셀 블럭에 포함된 픽셀 값에 기초하여 제2 픽셀 블럭을 식별하는 단계; 및
    상기 제2 픽셀 블럭에 포함된 픽셀 값에 기초하여 상기 대상 픽셀 영역을 패딩하여 상기 출력 영상 프레임을 획득하는 단계;를 포함하는 비일시적 컴퓨터 판독 가능 매체.
PCT/KR2019/001798 2018-11-29 2019-02-14 영상 처리 장치 및 그 영상 처리 방법 WO2020111387A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/279,182 US11741570B2 (en) 2018-11-29 2019-02-14 Image processing device and image processing method of same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0151429 2018-11-29
KR1020180151429A KR102641163B1 (ko) 2018-11-29 2018-11-29 영상 처리 장치 및 그 영상 처리 방법

Publications (1)

Publication Number Publication Date
WO2020111387A1 true WO2020111387A1 (ko) 2020-06-04

Family

ID=70852147

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/001798 WO2020111387A1 (ko) 2018-11-29 2019-02-14 영상 처리 장치 및 그 영상 처리 방법

Country Status (3)

Country Link
US (1) US11741570B2 (ko)
KR (1) KR102641163B1 (ko)
WO (1) WO2020111387A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102611017B1 (ko) * 2021-09-23 2023-12-07 주식회사 토비스 진동 보정 기능을 제공하는 디스플레이 장치 및 그의 제어 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120082336A (ko) * 2011-01-13 2012-07-23 삼성전자주식회사 배경 픽셀 확장 및 배경 우선 패치 매칭을 사용하는 멀티 뷰 렌더링 장치 및 방법
KR20150122767A (ko) * 2013-03-05 2015-11-02 퀄컴 인코포레이티드 상이한 종횡비를 갖는 공간 스케일러빌리티를 위한 계층간 참조 화상 구성
KR20160027760A (ko) * 2014-09-02 2016-03-10 삼성전자주식회사 디스플레이 장치, 시스템 및 그 제어 방법
KR20180042627A (ko) * 2016-10-18 2018-04-26 삼성전자주식회사 영상 처리 장치 및 그 영상 처리 방법
KR20180080120A (ko) * 2017-01-02 2018-07-11 주식회사 케이티 비디오 신호 처리 방법 및 장치

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4103073B2 (ja) 2001-01-09 2008-06-18 ミクロナス ミュニッヒ ゲーエムベーハー ビデオ信号を変換する方法および装置
US6987882B2 (en) 2002-07-01 2006-01-17 Xerox Corporation Separation system for Multiple Raster Content (MRC) representation of documents
AU2003265075A1 (en) 2002-10-22 2004-05-13 Koninklijke Philips Electronics N.V. Image processing unit with fall-back
CN1922055B (zh) * 2004-02-20 2012-06-20 夏普株式会社 车载显示装置、车载显示系统和车辆
CN101208723A (zh) 2005-02-23 2008-06-25 克雷格·萨默斯 用于3维照相机和3维视频的自动场景建模
KR101090067B1 (ko) * 2007-11-14 2011-12-07 삼성전자주식회사 영상처리장치 및 그 제어방법
US9245043B2 (en) * 2009-12-23 2016-01-26 Fuji Xerox Co., Ltd. Embedded media markers and systems and methods for generating and using them
US9582928B2 (en) 2011-01-13 2017-02-28 Samsung Electronics Co., Ltd. Multi-view rendering apparatus and method using background pixel expansion and background-first patch matching
US8789095B2 (en) * 2012-05-15 2014-07-22 At&T Intellectual Property I, Lp Apparatus and method for providing media content
US8917329B1 (en) * 2013-08-22 2014-12-23 Gopro, Inc. Conversion between aspect ratios in camera
KR20170097745A (ko) 2014-12-22 2017-08-28 톰슨 라이센싱 재귀적 계층적 프로세스를 사용하여 외삽된 이미지를 생성하기 위한 장치 및 방법
US10841491B2 (en) 2016-03-16 2020-11-17 Analog Devices, Inc. Reducing power consumption for time-of-flight depth imaging
CN109690471B (zh) * 2016-11-17 2022-05-31 谷歌有限责任公司 使用取向元数据的媒体渲染

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120082336A (ko) * 2011-01-13 2012-07-23 삼성전자주식회사 배경 픽셀 확장 및 배경 우선 패치 매칭을 사용하는 멀티 뷰 렌더링 장치 및 방법
KR20150122767A (ko) * 2013-03-05 2015-11-02 퀄컴 인코포레이티드 상이한 종횡비를 갖는 공간 스케일러빌리티를 위한 계층간 참조 화상 구성
KR20160027760A (ko) * 2014-09-02 2016-03-10 삼성전자주식회사 디스플레이 장치, 시스템 및 그 제어 방법
KR20180042627A (ko) * 2016-10-18 2018-04-26 삼성전자주식회사 영상 처리 장치 및 그 영상 처리 방법
KR20180080120A (ko) * 2017-01-02 2018-07-11 주식회사 케이티 비디오 신호 처리 방법 및 장치

Also Published As

Publication number Publication date
KR20200064833A (ko) 2020-06-08
US20220005153A1 (en) 2022-01-06
KR102641163B1 (ko) 2024-02-28
US11741570B2 (en) 2023-08-29

Similar Documents

Publication Publication Date Title
WO2020138680A1 (en) Image processing apparatus and image processing method thereof
WO2021029505A1 (en) Electronic apparatus and control method thereof
WO2016032292A1 (en) Photographing method and electronic device
WO2019156524A1 (en) Image processing apparatus and image processing method thereof
WO2020204277A1 (en) Image processing apparatus and image processing method thereof
WO2020226317A1 (en) Image processing apparatus and image processing method thereof
WO2018155824A1 (en) Display apparatus and control method thereof
WO2020197018A1 (en) Image processing apparatus and image processing method thereof
AU2018323576B2 (en) Display apparatus and image processing method thereof
WO2021137437A1 (en) Display apparatus and control method thereof
WO2018048171A1 (en) Image processing apparatus and recording medium
WO2017026705A1 (ko) 360도 3d 입체 영상을 생성하는 전자 장치 및 이의 방법
WO2018164527A1 (en) Display apparatus and control method thereof
WO2016036073A1 (ko) 디스플레이 장치, 시스템 및 그 제어 방법
WO2020213886A1 (en) Electronic apparatus and controlling method thereof
WO2016052908A1 (en) Transmitter, receiver, and control method thereof
WO2020111387A1 (ko) 영상 처리 장치 및 그 영상 처리 방법
WO2020138630A1 (en) Display apparatus and image processing method thereof
WO2021054511A1 (ko) 전자 장치 및 그 제어 방법
WO2021172744A1 (ko) 전자 장치 및 그 제어 방법
WO2015060584A1 (en) Method and apparatus for accelerating inverse transform, and method and apparatus for decoding video stream
WO2022260273A1 (ko) 전자 장치 및 그 제어 방법
WO2018093198A1 (en) Image processing apparatus and control method thereof
WO2024053849A1 (ko) 전자 장치 및 그 영상 처리 방법
EP4136610A1 (en) Hdr tone mapping based on creative intent metadata and ambient light

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19888639

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19888639

Country of ref document: EP

Kind code of ref document: A1