WO2023214616A1 - 단말기에서 모아레 패턴을 제거하는 장치 및 방법 - Google Patents

단말기에서 모아레 패턴을 제거하는 장치 및 방법 Download PDF

Info

Publication number
WO2023214616A1
WO2023214616A1 PCT/KR2022/010438 KR2022010438W WO2023214616A1 WO 2023214616 A1 WO2023214616 A1 WO 2023214616A1 KR 2022010438 W KR2022010438 W KR 2022010438W WO 2023214616 A1 WO2023214616 A1 WO 2023214616A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
channel image
moiré
sample
sample region
Prior art date
Application number
PCT/KR2022/010438
Other languages
English (en)
French (fr)
Inventor
김문철
오병준
이규호
김규석
Original Assignee
(주)에이앤아이
한국공학대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)에이앤아이, 한국공학대학교산학협력단 filed Critical (주)에이앤아이
Publication of WO2023214616A1 publication Critical patent/WO2023214616A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4084—Scaling of whole images or parts thereof, e.g. expanding or contracting in the transform domain, e.g. fast Fourier transform [FFT] domain scaling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]

Definitions

  • the present invention relates to terminals, and particularly to an apparatus and method for removing moiré patterns in terminals.
  • a display device may include at least one of a television, a monitor, and a portable terminal.
  • a display device displays specific information.
  • a method of storing such specific information is to capture specific information on the display device using a camera installed in the terminal, create an image, and store the generated image.
  • moiré refers to the phenomenon of generating a low-frequency pattern by invading the low-frequency band of the image when the frequency of the subject is greater than 1/2 of the camera's sampling frequency, and the pattern generated by moiré interference is called a moiré pattern.
  • moiré patterns are included in an image, there is a problem in that it is difficult for users to accurately interpret specific information included in the image.
  • One embodiment of the present invention proposes an apparatus and method for removing moiré patterns included in an image in a terminal so that a user can accurately interpret specific information included in the image.
  • an apparatus for removing moiré patterns in a terminal converts a first image including the screen of a display device into a plurality of channel image data, and divides the area of the screen from the channel image data.
  • an image generator that generates a plurality of sample region channel image data by extracting the sample region represented;
  • a moiré detection and filter generation unit that generates a compensation filter by considering harmonic characteristics of a moiré signal function representing the moiré pattern included in the sample area channel image data;
  • a moiré filtering unit configured to generate a plurality of filtered sample region channel image data by applying the compensation filter to the sample region channel image data; and an image output unit that generates a second image from which the moire pattern has been removed using the filtered sample area channel image data, and outputs the second image through a display unit.
  • a method for removing a moire pattern in a terminal includes an image generator converting a first image including a screen of a display device into a plurality of channel image data, and converting the first image including the screen of the display device into a plurality of channel image data, and A process of generating a plurality of sample area channel image data by extracting a sample area representing an area of the screen, wherein a moiré detection and filter generation unit generates a harmonic of a moiré signal function representing the moiré pattern included in the sample area channel image data.
  • One embodiment of the present invention removes the moiré pattern included in the image in the terminal, allowing the user to accurately interpret specific information included in the image.
  • FIG. 1 is a block diagram of a moiré pattern removal device according to an embodiment of the present invention.
  • Figure 2 is a diagram showing a sample area according to an embodiment of the present invention.
  • Figure 3 is a diagram illustrating a compensation filter according to an embodiment of the present invention.
  • Figure 4 is a diagram illustrating a first image including a moiré pattern and a second image from which the moiré pattern has been removed, according to an embodiment of the present invention.
  • 5A and 5B are flowcharts of removing a moiré pattern in a moiré pattern removal device according to an embodiment of the present invention.
  • Figure 6 is a flowchart of generating a compensation filter in a moiré pattern removal device according to an embodiment of the present invention.
  • Embodiments of the present invention can be modified in various ways and have various embodiments, and specific embodiments will be illustrated in the drawings and described in detail in the detailed description. However, this is not intended to limit the scope to specific embodiments, and should be understood to include all transformations, equivalents, and substitutes included in the spirit and technical scope of the invention. In describing the embodiments, if it is determined that a detailed description of related known technology may obscure the point, the detailed description will be omitted.
  • a 'module' or 'unit' performs at least one function or operation, and may be implemented as hardware or software, or as a combination of hardware and software.
  • a plurality of 'modules' or a plurality of 'units' are integrated into at least one module and implemented by at least one processor (not shown), except for 'modules' or 'units' that need to be implemented with specific hardware. It can be.
  • a part when a part is said to be “connected” to another part, this means not only when it is “directly connected” but also when it is “electrically connected” with another element in between. Also includes. Additionally, when a part "includes" a certain component, this means that it may further include other components, rather than excluding other components, unless specifically stated to the contrary.
  • the terminal may be any device equipped with a camera, and the terminal may be called a portable terminal, a mobile terminal, a communication terminal, a portable communication terminal, a portable mobile terminal, etc.
  • terminals include smartphones, mobile phones, TVs, display devices, vehicle head units, laptop computers, laptop computers, tablet computers, PMPs (Personal Media Players), PDAs (Personal Digital Assistants), digital cameras, etc. there is.
  • the terminal may be implemented as a pocket-sized portable communication terminal with wireless communication functionality.
  • the terminal may be a flexible device or a flexible display device.
  • a terminal includes a digital camera for photographing a screen of a display device and a moiré pattern removal device for removing a moiré pattern.
  • a digital camera (not shown) captures an image displayed on a display device at the user's request, generates multiple channel images of the captured image, and outputs the multiple channel images to a moiré pattern removal device.
  • a digital camera can be a small or medium format camera.
  • a moiré pattern removal device removes moiré patterns included in images captured using multiple channel images.
  • FIG. 1 is a block diagram of a moiré pattern removal device according to an embodiment of the present invention.
  • the moire pattern removal device includes an image generator 101, an image rotation angle detection unit 103, an image rotation unit 105, an image interpolation unit 107, a detailed information detection unit 109, and a moiré detection and filter. It includes a generation unit 111 and a moiré filtering unit 113. And the moiré pattern removal device includes a detailed information restoration unit 115, a blur compensation unit 117, an image restoration unit 119, and an image output unit 121.
  • the image generator 101 receives multiple channel images from a digital camera (not shown), converts the input channel images into multiple channel image data, and arranges the converted channel image data. Save it as And the image generator 101 outputs the stored channel image data to the rotation angle detector 103.
  • the multiple channel images may be tristimulus X, Y and Z channel images.
  • the X channel image may be one of the red, green, and blue channel images.
  • the Y channel image may be one channel image among red, green, and blue channel images excluding the X channel image.
  • the Z channel image may be one of the red, green and blue channel images excluding the X and Y channel images.
  • the X channel image may be a red channel image.
  • the Y channel image may be a green channel image.
  • the Z channel image may be a blue channel image.
  • the multiple channel image data corresponds to multiple channel images and may be tristimulus X, Y, and Z channel image data.
  • the image rotation angle detection unit 103 receives channel image data from the image generation unit 101, and determines the tilt of the sample (screen of the display device) included in the image taken in one channel image data among the input channel image data. Confirm.
  • one channel image data may be Y channel image data.
  • the image rotation angle detection unit 103 calculates a rotation parameter to return the confirmed tilt to its original position.
  • the image rotation angle detection unit 103 extracts each sample area from the channel image data and generates a plurality of sample area channel image data.
  • the sample area may represent the screen area of a display device.
  • the sample area may represent the screen area of the display device included in the captured image 201, as shown in FIG. 2 .
  • each of the sample area channel image data may be generated by cropping the sample area from the channel image data.
  • the image rotation angle detection unit 103 outputs sample area channel image data and rotation parameters to the image rotation unit 105.
  • the image rotation unit 105 receives sample area channel image data and rotation parameters from the image rotation angle detection unit 103. And the image rotation unit 105 applies a rotation parameter to each of the sample region channel image data to rotate each of the sample region channel image data, thereby generating a plurality of rotated sample region channel image data. Additionally, the image rotation unit 105 outputs the rotation sample area channel image data to the image interpolation unit 107.
  • the image rotation unit 105 outputs the sample area channel image data to the image interpolation unit 107 without rotating the sample area channel image data.
  • the pre-designated rotation angle can be freely selected, and for general purposes, it may be an angle of 0.5 to 1 degree.
  • the image interpolation unit 107 receives rotation sample area channel image data from the image rotation unit 105. And the image interpolation unit 107 uses a boundary compensation (Watershed) algorithm to generate boundary parameters for detecting a boundary line in one of the rotating sample region channel image data.
  • one rotation sample area channel image data may be rotation sample area channel image data for the Y channel.
  • the image interpolation unit 107 applies boundary parameters to each of the remaining rotating sample area channel image data to identify a specific area included in the rotating sample area channel image data and generates location information for the identified specific area.
  • the specific area may include at least one of a camera area, a bad pixel area, a bad line area, and a MURA area.
  • the mura area can represent an area where local brightness fluctuations occur due to the phenomenon of light leaking and spreading.
  • the image interpolation unit 107 uses the location information of the specific area to check some image data of the rotating sample area channel image data located around the specific area in the rotating sample area channel image data. Additionally, the image interpolator 107 uses some image data of the rotated sample region channel image data to interpolate a specific region included in each of the rotated sample region channel image data to generate a plurality of interpolated sample region channel image data.
  • the image interpolation unit 107 outputs the interpolated sample area channel image data to the moiré detection and filter generation unit 111 and the detailed information detection unit 109. Additionally, the image interpolation unit 107 outputs channel image data included in a specific area among the location information of the specific area and channel image data of the rotation sample area to the image restoration unit 119.
  • the specific area information may include location information of the specific area and channel image data included in the specific area among the rotation sample area channel image data.
  • the detailed information detection unit 109 receives interpolated sample area channel image data from the image interpolation unit 107. And the detailed information detection unit 109 detects and stores detailed information from the interpolated sample area channel image data. For example, detailed information may include channel image data corresponding to fine and detailed components, such as scratches that occur on the screen of a display device, and location information where the components are located. This detail is created to preserve components that may be distorted when filtering to remove moiré patterns. Additionally, the detailed information detection unit 109 outputs interpolated sample area channel image data and detailed information to the moiré filtering unit 113, and outputs the detailed information to the detailed information restoration unit 115.
  • the moiré model function which models the moiré pattern and formalizes it as a function, can be expressed as Equation 1 below.
  • m(x) may represent a Moiré model function in the spatial domain.
  • x may represent spatial coordinates within the sample area.
  • g(x, ⁇ ) may represent an actual moiré pattern due to optical defocus, which is Gaussian blur.
  • T 1 may represent 1/2 of the basic period of the moiré pattern.
  • T 2 may be 2T 1 . * is convolution.
  • M(f) may represent the frequency domain transformed Moiré spectrum of the Moiré model function.
  • the moiré spectrum repeatedly appears in the form of a sink function with a period of f n2 at k*f2 (an integer multiple of k), and the moiré spectrum is a sync function based on the moiré fundamental frequency f 1 and the degree of defocus (G(f)).
  • the amplitude is determined by
  • the moiré detection and filter generation unit 111 receives interpolated sample area channel image data from the image interpolation unit 107. And the moiré detection and filter generation unit 111 extracts a region of interest (Rectangle Of Interest, hereinafter referred to as 'ROI') located at the center from each of the interpolated sample area channel image data and creates a plurality of regions corresponding to the plurality of channels. Generate center area channel image data.
  • the center area channel image data may be X, Y, and Z center area channel image data corresponding to X, Y, and Z channel images.
  • the moiré detection and filter generation unit 111 performs FFT on each of the center region channel image data to derive moiré spectra in multiple frequency domains.
  • the moiré detection and filter generation unit 111 may select a specific channel, for example, Y, among By calculating the spectrum average, it can be commonly used to detect moiré in the vertical and horizontal directions of all channel images. That is, the moiré detection and filter generation unit 111 averages the moiré spectra in the frequency domain and derives the moiré average spectrum of a plurality of channels.
  • the moiré detection and filter generation unit 111 generates a peak spectrum using the moiré average spectrum.
  • the moiré detection and filter generation unit 111 forcibly replaces the DC component with an adjacent low-frequency spectrum value to prevent misdetection of the peak component due to the DC component of the original image.
  • the moiré detection and filter generation unit 111 may perform pre-processing median filtering to remove spectral noise on the moiré average spectrum to derive a peak spectrum from which peak extraction is easy.
  • the moiré detection and filter generation unit 111 confirms a signal having a peak value (hereinafter referred to as 'peak point') in the peak spectrum.
  • the moire detection and filter generation unit 111 may check the position of the peak point 303 in the peak spectrum 301, as shown in FIG. 3. If there is no peak point in the peak spectrum, the moiré detection and filter generation unit 111 determines that a moiré signal does not exist in the sample area channel image data, and sends the sample area channel image data to the image output unit 121. Print out. Afterwards, the image output unit 121 generates an image using the sample area channel image data and outputs the generated image through a display unit (not shown).
  • the moiré detection and filter generation unit 111 designs a compensation filter to compensate for the moiré pattern using the position of the peak point.
  • the moiré detection and filter generation unit 111 confirms the peak point in the peak spectrum.
  • the moiré detection and filter generation unit 111 may check the peak point 303 in the peak spectrum 301, as shown in FIG. 3 .
  • the common position difference between one or more detected peak points is multiplied by an integer multiple to determine the positions of the new final peak points.
  • the moiré detection and filter generation unit 111 determines the bandwidth of the filter to be applied to all pixels in the sample area of the terminal and the number of pixels in the sample area.
  • a bandwidth filter of 1/2 the sampling frequency is created by considering the areas where the peak point is located (hereinafter referred to as 'peak area') (linear scaling of the filter). For example, as shown in FIG. 3, the moiré detection and filter generation unit 111 creates a bandwidth filter 1/2 of the sampling frequency in consideration of the bandwidth of the filter to be applied to all pixels in the sample area and multiple peak areas. (305) can be generated.
  • the moiré detection and filter generation unit 111 designs a compensation filter according to the size of the sample area, based on the generated filter, taking into account the scaling and characteristics of the sink function shape that repeatedly advances in the center area. Create. For example, as shown in FIG. 3, the moiré detection and filter generation unit 111 scales the generated filter based on the center area of the sample area and repeats the scaled filter left and right to select the sampling frequency band. Compensation filters can be designed up to.
  • the moiré detection and filter generation unit 111 outputs the generated compensation filter to the moiré filtering unit 113.
  • the moiré filtering unit 113 receives interpolated sample area channel image data and detailed information from the detailed information detection unit 109, and receives a compensation filter from the moiré detection and filter generation unit 111. Additionally, the moiré filtering unit 113 generates interpolated partial sample region channel image data by excluding detailed information from the interpolated sample region channel image data. Then, the moiré filtering unit 113 generates filtered sample region channel image data by applying a compensation filter in the frequency domain of each of the interpolated partial sample region channel image data.
  • the moiré filtering unit 113 performs FFT on one of the interpolated partial sample region channel image data in the horizontal direction to interpolate some sample region channel image data in the horizontal frequency domain. creates . And the moiré filtering unit 113 applies the horizontal frequency filter of the compensation filter to the interpolated partial sample region channel image data in the horizontal frequency domain to generate filtered interpolated partial sample region channel image data in the horizontal frequency domain. do. And the moiré filtering unit 113 performs an inverse fast Fourier transform (hereinafter referred to as 'IFFT') on the interpolated partial sample region channel image data filtered in the horizontal frequency domain to transform the filtered interpolation portion in the horizontal frequency domain. Generate image data with filtered horizontally filtered and interpolated channels for some sample regions.
  • 'IFFT' inverse fast Fourier transform
  • the moiré filtering unit 113 performs an FFT on the horizontally filtered interpolated partial sample region channel image data in the vertical direction to generate horizontally filtered interpolated partial sample region channel image data in the vertical frequency domain. And the moiré filtering unit 113 applies the vertical frequency filter of the compensation filter to the horizontally filtered interpolated partial sample area channel image data in the vertical frequency domain to obtain vertical and horizontal filtered data in the vertical frequency domain. Interpolate some sample area channels to generate image data. And the moiré filtering unit 113 performs IFFT on the vertically and horizontally filtered interpolated partial sample region channel image data to generate vertically and horizontally filtered interpolated partial sample region channel image data filtered in the vertical spatial domain. .
  • the vertically and horizontally filtered interpolated partial sample region channel image data may be interpolated partial sample region channel image data in which a moiré pattern is filtered out of the interpolated partial sample region channel image data.
  • the moiré filtering unit 113 repeatedly performs this operation to generate a plurality of filtered interpolated partial sample region channel image data corresponding to a plurality of interpolated sample region channel image data. Then, the moiré filtering unit 113 outputs the filtered interpolated partial sample area channel image data to the detailed information restoration unit 115.
  • the detailed information restoration unit 115 receives filtered sample area channel image data from the moiré filtering unit 113 and receives detailed information from the detailed information detection unit 109. Then, the detailed information restoration unit 115 restores detailed information to each of the filtered interpolated partial sample region channel image data to generate filtered interpolated sample region channel image data. Then, the detailed information restoration unit 115 outputs the filtered interpolated sample area channel image data to the blur compensation unit 117. That is, the detailed information restoration unit 115 restores the detailed information removed by the moiré filtering unit 113 from each of the filtered interpolated partial sample area channel image data.
  • the blur compensation unit 117 receives filtered interpolated sample area channel image data from the detailed information restoration unit 115. In addition, the blur compensation unit 117 corrects blurred edges due to defocus in each of the filtered interpolation sample area channel image data using a predetermined threshold to create an improved interpolation sample area channel. Generate image data. And the blur compensation unit 117 outputs the improved interpolated sample area channel image data to the image restoration unit 119.
  • the image restoration unit 119 receives improved interpolation sample area channel image data from the detailed information restoration unit 115, and inputs location information of a specific area and channel image data included in the specific area from the image interpolation unit 107. Receive. And the image restoration unit 119 restores a specific area to each of the improved interpolated sample area channel image data using the location information of the specific area and the channel image data included in the specific area, thereby generating a plurality of improved sample area channel image data. create them. And the image restoration unit 119 outputs the improved sample area channel image data to the image output unit 121. That is, the image restoration unit 119 restores a specific region interpolated by the image interpolation unit 107 from each of the improved interpolation sample area channel image data.
  • the image output unit 121 receives the improved sample area channel image data from the image restoration unit 119, generates an image using the improved sample area channel image data, and then generates the image through the display unit (not shown). Print the image.
  • the moiré pattern removal device extracts the screen of the display device from the captured image to generate a first sample area image, and removes the moiré pattern from the generated sample area image to generate and display the second sample area image. do.
  • the moiré pattern removal device may remove the moiré pattern from the first sample area image 401 to generate a second sample area image 403 and then display it.
  • One embodiment of the present invention removes the moiré pattern included in the image captured by the terminal, allowing the user to accurately interpret specific information included in the image.
  • 5A and 5B are flowcharts of removing a moiré pattern in a moiré pattern removal device according to an embodiment of the present invention.
  • the image generator 101 of the moiré pattern removal device converts channel images input from a digital camera (not shown) into a plurality of channel image data, and converts the converted channels into a plurality of channel image data. Save image data as an array.
  • the image rotation angle detection unit 103 of the moiré pattern removal device extracts each sample area from the channel image data and generates a plurality of sample area channel image data.
  • the sample area may represent the screen area of the display device included in the captured image 201, as shown in FIG. 2 .
  • the image rotation angle detection unit 103 calculates a rotation parameter using one channel image data among the channel image data. For example, the image rotation angle detection unit 103 checks the tilt of the sample (screen of the display device) included in the image captured in one channel image data among the channel image data. And the image rotation angle detection unit 103 calculates a rotation parameter for rotating the captured image by the confirmed tilt.
  • step 507 the image rotation unit 105 of the moiré pattern removal device rotates each of the sample region channel image data by applying a rotation parameter to each of the sample region channel image data, thereby generating a plurality of rotated sample region channel image data. At this time, if the rotation parameter is less than the pre-specified rotation angle, the image rotation unit 105 does not rotate the sample area channel image data and proceeds to step 509.
  • step 509 the image interpolation unit 107 of the moiré pattern removal device interpolates the rotated sample region channel image data to generate a plurality of interpolated sample region channel image data.
  • the image interpolation unit 107 uses a boundary compensation (Watershed) algorithm to generate boundary parameters for detecting a boundary line in one of the rotating sample region channel image data.
  • a boundary compensation Watershed
  • the image interpolation unit 107 applies boundary parameters to each of the remaining rotating sample region channel image data to identify a specific region included in the rotating sample region channel image data and generates location information for the identified specific region.
  • the specific area may include at least one of a camera area, a bad pixel area, a bad line area, and a MURA area.
  • the image interpolation unit 107 uses the location information of the specific area to check some channel image data of the rotating sample area channel image data located around the specific area in the rotating sample area channel image data. In addition, the image interpolation unit 107 uses some channel image data of the rotated sample region channel image data to interpolate a specific region included in each of the rotated sample region channel image data to generate a plurality of interpolated sample region channel image data. .
  • step 511 the detailed information detection unit 109 of the moiré pattern removal device detects and stores detailed information from the interpolated sample area channel image data.
  • step 513 the moiré detection and filter generation unit 111 of the moiré pattern removal device generates a compensation filter using the interpolated sample area image data. From now on, the operation of the moiré detection and filter generation unit 111 will be described in detail with reference to 5 6.
  • the moire detection and filter generation unit 111 extracts an ROI located at the center from each of the interpolated sample region channel image data and extracts a plurality of center region channels corresponding to the plurality of channels. Generate image data.
  • the moiré detection and filter generation unit 111 extracts a moiré average spectrum by performing FFT on each of the center region channel image data. For example, the moiré detection and filter generation unit 111 may perform FFT on each line of the center region channel image data to derive a number of moiré spectra corresponding to the center region channel image data in the frequency domain. Additionally, the moiré detection and filter generation unit 111 may average the moiré spectra to derive a moiré average spectrum. At this time, the moiré detection and filter generation unit 111 calculates the noise standard deviation in the frequency domain from the moiré average spectrum.
  • the moiré detection and filter generation unit 111 generates a peak spectrum using the moiré average spectrum.
  • the moiré detection and filter generation unit 111 performs median filtering or similar average filtering on the moiré average spectrum as a line process to remove spectral noise to obtain a smoothed spectrum for easy peak extraction, Through this, the peak spectrum can be derived.
  • the moiré detection and filter generation unit 111 determines the peak point in the peak spectrum using the noise standard deviation. For example, the moiré detection and filter generation unit 111 may check the peak point 303 in the peak spectrum 301, as shown in FIG. 3 .
  • step 609 the moiré detection and filter generation unit 111 designs a compensation filter using the peak point.
  • the common position difference between one or more detected peak points is multiplied by an integer multiple to determine the positions of the new final peak points.
  • the moiré detection and filter generation unit 111 Since the final peak point was extracted from the center area of the sample area, the moiré detection and filter generation unit 111 generates a filter by considering the bandwidth of the filter to be applied to all pixels in the sample area and the multiple peak areas included in the sample area. do. For example, as shown in FIG. 3, the moiré detection and filter generation unit 111 generates the filter 305 by considering the bandwidth of the filter to be applied to all pixels in the sample area and the positions of multiple peak areas. can do.
  • the moiré detection and filter generation unit 111 designs a compensation filter in the form of a sink function that repeats scaling and advances in the center area based on the generated filter to design a compensation filter according to the size of the sample area. For example, as shown in FIG. 3, the moiré detection and filter generation unit 111 scales the generated filter based on the center area of the sample area and repeats the scaled filter left and right to create a compensation filter. can be designed.
  • the moiré filtering unit 113 of the moiré pattern removal device applies a compensation filter to the interpolated partial sample region channel image data from which detailed information is excluded to generate a plurality of filtered interpolated partial sample region channel image data. Generate channel image data. At this time, the moire filtering unit 113 generates interpolated partial sample region channel image data by excluding detailed information from the interpolated sample region channel image data. Then, the moiré filtering unit 113 generates filtered sample region channel image data by applying a compensation filter in the frequency domain of each of the interpolated partial sample region channel image data.
  • the moiré filtering unit 113 performs FFT on one of the interpolated partial sample region channel image data in the horizontal direction to interpolate some sample region channel image data in the horizontal frequency domain. creates . And the moiré filtering unit 113 applies the horizontal frequency filter of the compensation filter to the interpolated partial sample region channel image data in the horizontal frequency domain to generate filtered interpolated partial sample region channel image data in the horizontal frequency domain. do. And the moiré filtering unit 113 performs IFFT on the interpolated partial sample region channel image data filtered in the horizontal frequency domain to generate horizontally filtered interpolated partial sample region channel image data filtered in the horizontal spatial domain. .
  • the moiré filtering unit 113 performs an FFT on the horizontally filtered interpolated partial sample region channel image data in the vertical direction to generate horizontally filtered interpolated partial sample region channel image data in the vertical frequency domain. And the moire filtering unit 113 applies the vertical frequency filter of the compensation filter to the horizontal filtered interpolation in the vertical frequency domain and some sample area channel image data to perform vertical and horizontal filtered interpolation in the vertical frequency domain. Generate image data from some sample area channels. And the moiré filtering unit 113 performs IFFT on the vertically and horizontally filtered interpolated partial sample region channel image data to generate vertically and horizontally filtered interpolated partial sample region channel image data filtered in the vertical spatial domain. .
  • the moiré filtering unit 113 repeatedly performs this operation to generate a plurality of filtered interpolated partial sample region channel image data corresponding to a plurality of interpolated sample region channel image data.
  • step 517 the detailed information restoration unit 115 of the moiré pattern removal device restores detailed information to each of the filtered interpolated partial sample region channel image data to generate filtered interpolated sample region channel image data.
  • step 519 the blur compensation unit 117 of the moiré pattern removal device corrects the blurred edge portion due to defocus in each of the filtered interpolation sample area channel image data using a predetermined threshold to create an improved interpolation sample area. Generate channel image data.
  • step 521 the image restoration unit 119 of the moiré pattern removal device restores a specific area to each of the improved interpolated sample area channel image data using the location information of the specific area and the channel image data included in the specific area, thereby restoring a plurality of specific areas. Generates improved sample area channel image data.
  • step 523 the image output unit 121 of the moiré pattern removal device generates an image using the improved sample area channel image data and outputs the generated image through a display unit (not shown).
  • an embodiment of the present invention removes the moiré pattern included in the image in the terminal, allowing the user to accurately interpret specific information included in the image.
  • the image generator converts a first image including the screen of a display device into a plurality of channel image data, and extracts a sample area representing the area of the screen from the channel image data.
  • the moiré detection and filter generation unit may generate a compensation filter by considering the harmonic characteristics of the moiré signal function representing the moiré pattern included in the sample area channel image data.
  • the moiré filtering unit may generate a plurality of filtered sample region channel image data by applying the compensation filter to the sample region channel image data. Thereafter, the image output unit may generate a second image from which the moiré pattern has been removed using the filtered sample area channel image data, and output the second image through the display unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

단말기에서 모아레 패턴을 제거하는 장치 및 방법은, 디스플레이 기기의 화면을 포함하는 제1이미지를 다수의 채널 이미지 데이터들로 변환하고, 상기 채널 이미지 데이터들에서 상기 화면의 영역을 나타내는 시료 영역을 추출하여 다수의 시료 영역 채널 이미지 데이터들을 생성하는 이미지 생성부; 상기 시료 영역 채널 이미지 데이터들에 포함된, 상기 모아레 패턴을 나타내는 모아레 신호 함수의 하모닉 특성을 고려하여 보상용 필터를 생성하는 모아레 검출 및 필터 생성부; 상기 시료 영역 채널 이미지 데이터들에 상기 보상용 필터를 적용하여 다수의 필터링된 시료 영역 채널 이미지 데이터들을 생성하는 모아레 필터링부; 및 상기 필터링된 시료 영역 채널 이미지 데이터들을 이용하여 상기 모아레 패턴이 제거된 제2이미지를 생성하고, 표시부를 통해 상기 제2이미지를 출력하는 이미지 출력부를 포함한다.

Description

단말기에서 모아레 패턴을 제거하는 장치 및 방법
본 발명은 단말기에 관한 것으로, 특히, 단말기에서 모아레 패턴을 제거하는 장치 및 방법에 관한 것이다.
현대 사회에서 사람들이 일상생활에서 살아가는데 다양한 종류의 디스플레이 기기가 사용된다. 예를 들면, 디스플레이 기기는 텔레비전, 모니터 및 휴대 단말기 중 적어도 하나를 포함할 수 있다.
한편, 디스플레이 기기는 특정 정보를 표시한다. 이러한 특정 정보를 저장하는 방법은 단말기에 구비된 카메라를 이용하여 디스플레이 기기의 특정 정보를 촬영하여 이미지를 생성하고, 생성된 이미지를 저장하는 것이다.
그러나 디스플레이 장치를 단말기의 카메라로 촬영하는 경우, 이미지에 모아레(moire)가 나타날 수 있다. 여기서, 모아레는 피사체의 주파수가 카메라의 표본화 주파수의 1/2보다 큰 경우, 영상의 저주파 대역으로 침범하여 저주파성 패턴을 생성하는 현상을 의미하고, 모아레 간섭에 의해 발생하는 패턴을 모아레 패턴라고 한다. 이러한 모아레 패턴이 이미지에 포함되는 경우, 사용자는 이미지에 포함된 특정 정보를 정확하게 해석하기 어려운 문제점이 있었다.
따라서, 이러한 문제점을 해결하기 위한 방안의 필요성이 대두하였다.
본 발명의 일 실시 예는 사용자가 이미지에 포함된 특정 정보를 정확하게 해석할 수 있도록 단말기에서 이미지에 포함된 모아레 패턴을 제거하는 장치 및 방법을 제안한다.
본 발명의 일 실시 예에 따른, 단말기에서 모아레 패턴을 제거하는 장치는 디스플레이 기기의 화면을 포함하는 제1이미지를 다수의 채널 이미지 데이터들로 변환하고, 상기 채널 이미지 데이터들에서 상기 화면의 영역을 나타내는 시료 영역을 추출하여 다수의 시료 영역 채널 이미지 데이터들을 생성하는 이미지 생성부; 상기 시료 영역 채널 이미지 데이터들에 포함된, 상기 모아레 패턴을 나타내는 모아레 신호 함수의 하모닉 특성을 고려하여 보상용 필터를 생성하는 모아레 검출 및 필터 생성부; 상기 시료 영역 채널 이미지 데이터들에 상기 보상용 필터를 적용하여 다수의 필터링된 시료 영역 채널 이미지 데이터들을 생성하는 모아레 필터링부; 및 상기 필터링된 시료 영역 채널 이미지 데이터들을 이용하여 상기 모아레 패턴이 제거된 제2이미지를 생성하고, 표시부를 통해 상기 제2이미지를 출력하는 이미지 출력부를 포함한다.
본 발명의 일 실시 예에 따른, 단말기에서 모아레 패턴을 제거하는 방법은 이미지 생성부가, 디스플레이 기기의 화면을 포함하는 제1이미지를 다수의 채널 이미지 데이터들로 변환하고, 상기 채널 이미지 데이터들에서 상기 화면의 영역을 나타내는 시료 영역을 추출하여 다수의 시료 영역 채널 이미지 데이터들을 생성하는 과정, 모아레 검출 및 필터 생성부가, 상기 시료 영역 채널 이미지 데이터들에 포함된, 상기 모아레 패턴을 나타내는 모아레 신호 함수의 하모닉 특성을 고려하여 보상용 필터를 생성하는 과정, 모아레 필터링부가, 상기 시료 영역 채널 이미지 데이터들에 상기 보상용 필터를 적용하여 다수의 필터링된 시료 영역 채널 이미지 데이터들을 생성하는 과정, 및 이미지 출력부가, 상기 필터링된 시료 영역 채널 이미지 데이터들을 이용하여 상기 모아레 패턴이 제거된 제2이미지를 생성하고, 표시부를 통해 상기 제2이미지를 출력하는 과정을 포함한다.
본 발명의 일 실시 예는 단말기에서 이미지에 포함된 모아레 패턴을 제거하여 사용자가 이미지에 포함된 특정 정보를 정확하게 해석할 수 있다.
그 외에 본 발명의 실시 예로 인해 얻을 수 있거나 예측되는 효과에 대해서는 본 발명의 실시 예에 대한 상세한 설명에서 직접적 또는 암시적으로 개시하도록 한다. 즉, 본 발명의 실시 예에 따라 예측되는 다양한 효과에 대해서는 후술될 상세한 설명 내에서 개시될 것이다.
도 1은 본 발명의 일 실시 예에 따른 모아레 패턴 제거 장치의 블록 구성도이다.
도 2는 본 발명의 일 실시 예에 따른 시료 영역을 나타내는 도면이다.
도 3은 본 발명의 일 실시 예에 따른 보상용 필터를 도시한 도면이다.
도 4는 본 발명의 일 실시 예에 따른 모아레 패턴이 포함된 제1이미지와 모아레 패턴이 제거된 제2이미지를 도시한 도면이다.
도 5a 및 5b는 본 발명의 일 실시 예에 따른 모아레 패턴 제거 장치에서 모아레 패턴을 제거하는 흐름도이다.
도 6은 본 발명의 일 실시 예에 따른 모아레 패턴 제거 장치에서 보상용 필터를 생성하는 흐름도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명의 실시 예에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당하는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 발명의 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 발명된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시 예들을 설명함에서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명의 실시 예에서 '모듈' 혹은 '부'는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 '모듈' 혹은 복수의 '부'는 특정한 하드웨어로 구현될 필요가 있는 '모듈' 혹은 '부'를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
본 발명의 실시 예에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 발명의 실시 예에서 단말기는 카메라를 구비하는 임의의 장치일 수 있으며, 단말기는 휴대 단말기, 이동 단말기, 통신 단말기, 휴대용 통신 단말기, 휴대용 이동 단말기 등으로 칭할 수 있다.
예를 들어, 단말기는 스마트폰, 휴대폰, TV, 디스플레이 장치, 차량용 헤드 유닛, 노트북 컴퓨터, 랩톱 컴퓨터, 태블릿(Tablet) 컴퓨터, PMP(Personal Media Player), PDA(Personal Digital Assistants), 디지털 카메라 등 일수 있다. 단말기는 무선 통신 기능을 갖는 포켓 사이즈의 휴대용 통신 단말로서 구현될 수 있다. 또한, 단말기는 플렉서블 장치 또는 플렉서블 디스플레이 장치일 수 있다.
본 발명의 일 실시 예에 따른 단말기는 디스플레이 기기의 화면을 촬영하기 위한 디지털 카메라와 모아레 패턴을 제거하기 위한 모아레 패턴 제거 장치를 포함한다.
디지털 카메라(미도시)는 사용자의 요청에 따라 디스플레이 기기에 표시된 이미지를 촬영하여 촬영된 이미지의 다수의 채널 이미지들을 생성하고, 생성된 다수의 채널 이미지들을 모아레 패턴 제거 장치로 출력한다. 예를 들면, 디지털 카메라는 소형 또는 중형 카메라일 수 있다.
모아레 패턴 제거 장치는 다수의 채널 이미지들을 이용하여 촬영된 이미지에 포함된 모아레 패턴을 제거한다.
도 1은 본 발명의 일 실시 예에 따른 모아레 패턴 제거 장치의 블록 구성도이다.
도 1을 참조하면, 모아레 패턴 제거 장치는 이미지 생성부(101)와 이미지 회전 각도 검출부(103)와 이미지 회전부(105)와 이미지 보간부(107)와 세부 정보 검출부(109)와 모아레 검출 및 필터 생성부(111)와 모아레 필터링부(113)를 포함한다. 그리고 모아레 패턴 제거 장치는 세부 정보 복원부(115)와 블러 보상부(117)와 이미지 복원부(119)와 이미지 출력부(121)를 포함한다.
각 구성요소를 살펴보면, 이미지 생성부(101)는 디지털 카메라(미도시)로부터 다수의 채널 이미지들을 입력받으며, 입력된 채널 이미지들을 다수의 채널 이미지 데이터들로 변환하고, 변환된 채널 이미지 데이터들을 배열로 저장한다. 그리고 이미지 생성부(101)는 저장된 채널 이미지 데이터들을 회전 각도 검출부(103)로 출력한다.
예를 들면, 다수의 채널 이미지는 삼자극치 X, Y 및 Z 채널 이미지들일 수 있다. 예를 들면, X 채널 이미지는 붉은색, 녹색 및 푸른색 채널 이미지들 중에서 한 채널 이미지일 수 있다. Y 채널 이미지는 X 채널 이미지를 제외한 붉은색, 녹색 및 푸른색 채널 이미지들 중에서 한 채널 이미지일 수 있다. Z 채널 이미지는 X 및 Y 채널 이미지들을 제외한 붉은색, 녹색 및 푸른색 채널 이미지들 중에서 한 채널 이미지일 수 있다. 예를 들면, X 채널 이미지는 붉은색 채널 이미지일 수 있다. Y 채널 이미지는 녹색 채널 이미지일 수 있다. Z 채널 이미지는 푸른색 채널 이미지일 수 있다.
예를 들면, 다수의 채널 이미지 데이터들은 다수의 채널 이미지에 대응되며, 삼자극치 X, Y 및 Z 채널 이미지 데이터들일 수 있다.
이미지 회전 각도 검출부(103)는 이미지 생성부(101)로부터 채널 이미지 데이터들을 입력받고, 입력된 채널 이미지 데이터들 중에서 한 채널 이미지 데이터에서 촬영된 이미지에 포함된 시료(디스플레이 기기의 화면)의 기울기를 확인한다. 예를 들면, 한 채널 이미지 데이터는 Y 채널 이미지 데이터일 수 있다. 그리고 이미지 회전 각도 검출부(103)는 확인된 기울기를 원위치 시키기 위한 회전 파라미터를 계산한다.
또한, 이미지 회전 각도 검출부(103)는 채널 이미지 데이터들에서 시료 영역을 각각 추출하여 다수의 시료 영역 채널 이미지 데이터들을 생성한다. 예를 들면, 시료 영역은 디스플레이 기기의 화면 영역을 나타낼 수 있다. 예를 들면, 시료 영역은 도 2에 도시된 바와 같이, 촬영된 이미지(201)에 포함된 디스플레이 기기의 화면 영역을 나타낼 수 있다. 예를 들면, 시료 영역 채널 이미지 데이터들 각각은 채널 이미지 데이터에서 시료 영역만큼 추출(crop)하여 생성된 것일 수 있다. 또한, 이미지 회전 각도 검출부(103)는 시료 영역 채널 이미지 데이터들과 회전 파라미터를 이미지 회전부(105)로 출력한다.
이미지 회전부(105)는 이미지 회전 각도 검출부(103)로부터 시료 영역 채널 이미지 데이터들과 회전 파라미터를 입력 받는다. 그리고 이미지 회전부(105)는 시료 영역 채널 이미지 데이터들 각각에 회전 파라미터를 적용하여 시료 영역 채널 이미지 데이터들 각각을 회전시킴으로써 다수의 회전 시료 영역 채널 이미지 데이터들을 생성한다. 또한, 이미지 회전부(105)는 회전 시료 영역 채널 이미지 데이터들을 이미지 보간부(107)로 출력한다.
한편, 회전 파라미터가 미리 지정된 회전 각도 미만인 경우, 이미지 회전부(105)는 시료 영역 채널 이미지 데이터들을 회전시키지 않은 채 시료 영역 채널 이미지 데이터들을 이미지 보간부(107)로 출력한다. 예를 들면, 미리 지정된 회전 각도는 자유롭게 선정 가능하며, 일반적인 용도로 0.5 내지 1도 중 한 각도일 수 있다.
이미지 보간부(107)는 이미지 회전부(105)로부터 회전 시료 영역 채널 이미지 데이터들을 입력 받는다. 그리고 이미지 보간부(107)는 경계선보상(Watershed) 알고리즘을 이용하여 회전 시료 영역 채널 이미지 데이터들 중에서 한 회전 시료 영역 채널 이미지 데이터에서 경계선을 검출하기 위한 경계선 파라미터를 생성한다. 예를 들면, 한 회전 시료 영역 채널 이미지 데이터는 Y 채널에 대한 회전 시료 영역 채널 이미지 데이터일 수 있다.
또한, 이미지 보간부(107)는 나머지 회전 시료 영역 채널 이미지 데이터들 각각에 경계선 파라미터를 적용하여 회전 시료 영역 채널 이미지 데이터들에 포함된 특정 영역을 확인하고, 확인된 특정 영역의 위치 정보를 생성한다. 예를 들면, 특정 영역은 카메라 영역, 불량화소 영역, 불량 라인 영역 및 무라(MURA) 영역 중 적어도 하나를 포함할 수 있다. 예를 들면, 무라 영역은 빛이 새어나와 번지는 현상으로 국부영역 밝기변동이 발생한 영역을 나타낼 수 있다.
또한, 이미지 보간부(107)는 특정 영역의 위치 정보를 이용하여 회전 시료 영역 채널 이미지 데이터들에서 특정 영역의 주변에 위치하는 회전 시료 영역 채널 이미지 데이터들의 일부 이미지 데이터들을 확인한다. 또한, 이미지 보간부(107)는 회전 시료 영역 채널 이미지 데이터들의 일부 이미지 데이터들을 이용하여 회전 시료 영역 채널 이미지 데이터들 각각에 포함된 특정 영역을 보간하여 다수의 보간 시료 영역 채널 이미지 데이터들을 생성한다.
또한, 이미지 보간부(107)는 보간 시료 영역 채널 이미지 데이터들을 모아레 검출 및 필터 생성부(111)와 세부 정보 검출부(109)로 출력한다. 또한, 이미지 보간부(107)는 특정 영역의 위치 정보 및 회전 시료 영역 채널 이미지 데이터들 중에서 특정 영역에 포함된 채널 이미지 데이터들을 이미지 복원부(119)로 출력한다. 예를 들면, 특정 영역 정보는 특정 영역의 위치 정보 및 회전 시료 영역 채널 이미지 데이터들 중에서 특정 영역에 포함된 채널 이미지 데이터들을 포함할 수 있다.
세부 정보 검출부(109)는 이미지 보간부(107)로부터 보간 시료 영역 채널 이미지 데이터들을 입력 받는다. 그리고 세부 정보 검출부(109)는 보간 시료 영역 채널 이미지 데이터들에서 세부 정보를 검출하여 저장한다. 예를 들면, 세부 정보는 디스플레이 기기의 화면 상에 발생한 스크래치와 같은 미세하고 세세한 성분에 해당하는 채널 이미지 데이터들과 해당 성분이 위치하는 위치 정보를 포함할 수 있다. 이러한 세부 정보는 모아레 패턴을 제거하기 위해 필터링을 수행할 시에 왜곡될 수 있는 성분을 보존하기 위해 생성된다. 또한, 세부 정보 검출부(109)는 보간 시료 영역 채널 이미지 데이터들과 세부 정보를 모아레 필터링부(113)로 출력하고, 세부 정보를 세부 정보 복원부(115)로 출력한다.
한편, 모아레 패턴을 모델화하여 함수로 수식화한 모아레 모델 함수는 다음과 같은 수학식 1로 나타날 수 있다.
Figure PCTKR2022010438-appb-img-000001
Figure PCTKR2022010438-appb-img-000002
Figure PCTKR2022010438-appb-img-000003
예를 들면, m(x)는 공간 영역에서의 모아레 모델 함수를 나타낼 수 있다. x는 시료 영역 내 공간 좌표를 나타낼 수 있다.
Figure PCTKR2022010438-appb-img-000004
는 구형파인 이상적인 모아레 패턴의 한 주기의 기본 함수를 나타낼 수 있다. g(x,σ)는 가우시안 블러인 광학적 초점 흐림(defocus) 등에 따른 실제 모아레 패턴을 나타낼 수 있다.
Figure PCTKR2022010438-appb-img-000005
는 모아레 패턴의 반복적 특성을 기술한 임펄스 함수를 나타낼 수 있다. T1은 모아레 패턴의 기본주기의 1/2을 나타낼 수 있다. T2는 2T1일 수 있다. *은 컨볼루션(convolution)이다.
그리고 모아레 모델 함수에 고속 푸리에 변환(Fast Fourier Transform, 이하 'FFT'라 한다)을 수행하면, 모아레 모델 함수의 주파수 영역 변환된 모아레 스펙트럼이 도출된다. 모아레 스펙트럼은 다음과 같은 수학식 2로 나타날 수 있다.
Figure PCTKR2022010438-appb-img-000006
예를 들면, M(f)는 모아레 모델 함수의 주파수 영역 변환된 모아레 스펙트럼을 나타낼 수 있다.
즉, 모아레 스펙트럼은 k*f2(k의 정수배) 위치에서 fn2 주기의 싱크 함수 형태가 반복적으로 나타나며, 모아레 스펙트럼은 모아레 기본 주파수 f1에 의한 싱크 함수와 초점 흐림 정도(G(f))에 의해 진폭이 결정된다.
이러한 점을 고려하여, 모아레 검출 및 필터 생성부(111)는 이미지 보간부(107)로부터 보간 시료 영역 채널 이미지 데이터들을 입력 받는다. 그리고 모아레 검출 및 필터 생성부(111)는 보간 시료 영역 채널 이미지 데이터들 각각에서 중심에 위치하는 관심 영역(Rectangle Of Interest, 이하 'ROI'라 한다)을 추출하여 다수의 채널들에 대응하는 다수의 중심 영역 채널 이미지 데이터들을 생성한다. 예를 들면, 중심 영역 채널 이미지 데이터들은 X, Y, Z 채널 이미지들에 대응하는 X, Y, Z 중심 영역 채널 이미지 데이터들일 수 있다.
그리고 모아레 검출 및 필터 생성부(111)는 중심 영역 채널 이미지 데이터들 각각에 FFT를 수행하여 다수의 주파수 영역의 모아레 스펙트럼들을 도출한다. 예를 들면, 모아레 검출 및 필터 생성부(111)는 검출속도를 향상하기 위하여 XYZ 중 특정 채널 하나, 예를 들어, Y를 선정할 수 있으며, 선정 영역에 대해 수평라인별로 고속퓨리에 변환 후, 라인스펙트럼 평균을 구하여 모든 채널 영상의 수직 수평 방향 모아레 검출에 공통으로 사용할 수 있다. 즉, 모아레 검출 및 필터 생성부(111)는 주파수 영역의 모아레 스펙트럼들을 평균화하여 다수의 채널들의 모아레 평균 스펙트럼을 도출한다.
그리고 모아레 검출 및 필터 생성부(111)는 모아레 평균 스펙트럼을 이용하여 피크 스펙트럼을 생성한다. 이때, 모아레 검출 및 필터 생성부(111)는 원본 영상의 DC 성분에 의한 피크 성분 오검출을 방지하기 위해, DC 성분을 인접한 저주파 스펙트럼 값으로 강제로 대치한다. 예를 들면, 모아레 검출 및 필터 생성부(111)는 모아레 평균 스펙트럼에, 스펙트럼 잡음 제거를 위한 선처리 메디안 필터링(Median Filtering)을 수행하여 피크 추출이 용이한 피크 스펙트럼을 도출할 수 있다.
그리고 모아레 검출 및 필터 생성부(111)는 피크 스펙트럼에서 피크(Peak) 값을 가지는 신호(이하 '피크점'라 한다)을 확인한다. 예를 들면, 모아레 검출 및 필터 생성부(111)는, 도 3에 도시된 바와 같이, 피크 스펙트럼(301)에서 피크점(303)의 위치를 확인할 수 있다. 만일, 피크 스펙트럼에 피크점이 존재하지 않으면, 모아레 검출 및 필터 생성부(111)는 시료 영역 채널 이미지 데이터들에 모아레 신호가 존재하지 않는다고 결정하고, 시료 영역 채널 이미지 데이터들을 이미지 출력부(121)로 출력한다. 이후에, 이미지 출력부(121)는 시료 영역 채널 이미지 데이터들을 이용하여 한 이미지를 생성하고, 표시부(미도시)를 통해 생성된 이미지를 출력한다.
이와 달리, 모아레 검출 및 필터 생성부(111)는 피크점이 존재하면, 피크점의 위치를 이용하여 모아레 패턴을 보상하기 위한 보상용 필터를 디자인한다.
좀 더 자세히 설명하면, 모아레 검출 및 필터 생성부(111)는 피크 스펙트럼에서 피크점을 확인한다. 예를 들면, 모아레 검출 및 필터 생성부(111)는, 도 3에 도시된 바와 같이, 피크 스펙트럼(301)에서 피크점(303)을 확인할 수 있다. 그리고 모아레 주파수의 하모닉 주파수 특성을 고려하여 고조파 형태로 보상용 필터를 디자인하기 위해 검출된 한 개 이상의 피크점들간의 공통적 위치 차이를 정수배만큼 곱하여 새로운 최종 피크점들의 위치를 결정한다.
최종 피크점은 시료 영역의 중심 영역(즉, 시료 영역의 일부 화소)에서 추출하였으므로, 모아레 검출 및 필터 생성부(111)는 단말기의 시료 영역의 전체 화소에 적용할 필터의 대역폭과 시료 영역에서 다수의 피크점이 위치하는 영역(이하, '피크 영역'이라 한다)들을 고려하여 표본화 주파수의 1/2 대역폭 필터를 생성한다 (필터의 리니어 스케일링(linear scaling)). 예를 들면, 모아레 검출 및 필터 생성부(111)는, 도 3에 도시된 바와 같이, 시료 영역의 전체 화소에 적용할 필터의 대역폭과 다수의 피크 영역들을 고려하여 표본화 주파수의 1/2 대역폭 필터(305)를 생성할 수 있다.
그리고 모아레 검출 및 필터 생성부(111)는 시료 영역의 크기에 맞추어 보상용 필터를 디자인하기 위해 생성된 필터를 기반으로 스케일링 및 중심 영역에서 반복되어 나아가는 싱크 함수 형태의 특성을 고려하여 보상용 필터를 생성한다. 예를 들면, 모아레 검출 및 필터 생성부(111)는, 도 3에 도시된 바와 같이, 시료 영역의 중심 영역을 기준으로 생성된 필터를 스케일링하고, 스케일링된 필터를 좌, 우로 반복시켜 표본화 주파수 대역까지 보상용 필터를 디자인할 수 있다.
이후에, 모아레 검출 및 필터 생성부(111)는 생성된 보상용 필터를 모아레 필터링부(113)로 출력한다.
모아레 필터링부(113)는 세부 정보 검출부(109)로부터 보간 시료 영역 채널 이미지 데이터들과 세부 정보를 입력받고, 모아레 검출 및 필터 생성부(111)로부터 보상용 필터를 입력 받는다. 그리고 모아레 필터링부(113)는 보간 시료 영역 채널 이미지 데이터들에서 세부 정보를 제외하여 보간 일부 시료 영역 채널 이미지 데이터들을 생성한다. 그리고 모아레 필터링부(113)는 보간 일부 시료 영역 채널 이미지 데이터들 각각의 주파수 영역에서 보상용 필터를 적용하여 필터링된 시료 영역 채널 이미지 데이터들을 생성한다.
좀 더 자세히 설명하면, 모아레 필터링부(113)는 보간 일부 시료 영역 채널 이미지 데이터들 중 한 보간 일부 시료 영역 채널 이미지 데이터를 수평 방향으로 FFT를 수행하여 수평 방향 주파수 영역의 보간 일부 시료 영역 채널 이미지 데이터를 생성한다. 그리고 모아레 필터링부(113)는 수평 방향 주파수 영역의 보간 일부 시료 영역 채널 이미지 데이터에 보상용 필터의 수평 방향의 주파수 필터를 적용하여 수평 방향의 주파수 영역에서 필터링된 보간 일부 시료 영역 채널 이미지 데이터를 생성한다. 그리고 모아레 필터링부(113)는 수평 방향의 주파수 영역에서 필터링된 보간 일부 시료 영역 채널 이미지 데이터에 역고속 푸리에 변환(Inverse Fast Fourier Transform, 이하 'IFFT'라 한다)을 수행하여 수평 방향의 공간 영역에서 필터링된 수평 방향 필터링된 보간 일부 시료 영역 채널 이미지 데이터를 생성한다.
그리고 모아레 필터링부(113)는 수평 방향 필터링된 보간 일부 시료 영역 채널 이미지 데이터를 수직 방향으로 FFT를 수행하여 수직 방향의 주파수 영역에서 수평 방향 필터링된 보간 일부 시료 영역 채널 이미지 데이터를 생성한다. 그리고 모아레 필터링부(113)는 수직 방향의 주파수 영역에서 수평 방향 필터링된 보간 일부 시료 영역 채널 이미지 데이터에 보상용 필터의 수직 방향의 주파수 필터를 적용하여 수직 방향의 주파수 영역에서 수직 및 수평 방향 필터링된 보간 일부 시료 영역 채널 이미지 데이터를 생성한다. 그리고 모아레 필터링부(113)는 수직 및 수평 방향 필터링된 보간 일부 시료 영역 채널 이미지 데이터에 IFFT를 수행하여 수직 방향의 공간 영역에서 필터링된 수직 및 수평 방향 필터링된 보간 일부 시료 영역 채널 이미지 데이터를 생성한다. 예를 들면, 수직 및 수평 방향 필터링된 보간 일부 시료 영역 채널 이미지 데이터는 보간 일부 시료 영역 채널 이미지 데이터에서 모아레 패턴이 필터링된 보간 일부 시료 영역 채널 이미지 데이터일 수 있다.
모아레 필터링부(113)는 이러한 동작을 반복적으로 수행하여 다수의 보간 시료 영역 채널 이미지 데이터들에 대응하는 다수의 필터링된 보간 일부 시료 영역 채널 이미지 데이터들을 생성한다. 그리고 모아레 필터링부(113)는 필터링된 보간 일부 시료 영역 채널 이미지 데이터들을 세부 정보 복원부(115)로 출력한다.
세부 정보 복원부(115)는 모아레 필터링부(113)로부터 필터링된 시료 영역 채널 이미지 데이터들을 입력받고, 세부 정보 검출부(109)로부터 세부 정보를 입력 받는다. 그리고 세부 정보 복원부(115)는 필터링된 보간 일부 시료 영역 채널 이미지 데이터들 각각에 세부 정보를 복원하여 필터링된 보간 시료 영역 채널 이미지 데이터들을 생성한다. 그리고 세부 정보 복원부(115)는 필터링된 보간 시료 영역 채널 이미지 데이터들을 블러 보상부(117)로 출력한다. 즉, 세부 정보 복원부(115)는 필터링된 보간 일부 시료 영역 채널 이미지 데이터들 각각에서 모아레 필터링부(113)에서 제거된 세부 정보를 복원한다.
블러 보상부(117)는 세부 정보 복원부(115)로부터 필터링된 보간 시료 영역 채널 이미지 데이터들을 입력 받는다. 그리고 블러 보상부(117)는 미리 지정된 임계값을 이용하여 필터링된 보간 시료 영역 채널 이미지 데이터들 각각에서 초점 흐림으로 인해 불선명(blur)한 에지(edge) 부분을 보정하여 개선된 보간 시료 영역 채널 이미지 데이터들을 생성한다. 그리고 블러 보상부(117)는 개선된 보간 시료 영역 채널 이미지 데이터들을 이미지 복원부(119)로 출력한다.
이미지 복원부(119)는 세부 정보 복원부(115)로부터 개선된 보간 시료 영역 채널 이미지 데이터들을 입력받고, 이미지 보간부(107)로부터 특정 영역의 위치 정보 및 특정 영역에 포함된 채널 이미지 데이터들을 입력 받는다. 그리고 이미지 복원부(119)는 특정 영역의 위치 정보 및 특정 영역에 포함된 채널 이미지 데이터들을 이용하여 개선된 보간 시료 영역 채널 이미지 데이터들 각각에 특정 영역을 복원하여 다수의 개선된 시료 영역 채널 이미지 데이터들을 생성한다. 그리고 이미지 복원부(119)는 개선된 시료 영역 채널 이미지 데이터들을 이미지 출력부(121)로 출력한다. 즉, 이미지 복원부(119)는 개선된 보간 시료 영역 채널 이미지 데이터들 각각에서 이미지 보간부(107)에서 보간된 특정 영역을 복원한다.
이미지 출력부(121)는 이미지 복원부(119)로부터 개선된 시료 영역 채널 이미지 데이터들을 입력받고, 개선된 시료 영역 채널 이미지 데이터들을 이용하여 한 이미지를 생성한 후, 표시부(미도시)를 통해 생성된 이미지를 출력한다.
이러한 구성을 통해, 모아레 패턴 제거 장치는 촬영한 이미지에서 디스플레이 기기의 화면을 추출하여 제1시료 영역 이미지를 생성하고, 생성된 시료 영역 이미지에서 모아레 패턴을 제거하여 제2시료 영역 이미지를 생성하여 표시한다. 예를 들면, 모아레 패턴 제거 장치는, 도 4에 도시된 바와 같이, 제1시료 영역 이미지(401)에서 모아레 패턴을 제거하여 제2시료 영역 이미지(403)를 생성한 후, 표시할 수 있다.
본 발명의 일 실시 예는 단말기의 촬상에서 촬상된 이미지에 포함된 모아레 패턴을 제거하여 사용자가 이미지에 포함된 특정 정보를 정확하게 해석할 수 있다.
도 5a 및 5b는 본 발명의 일 실시 예에 따른 모아레 패턴 제거 장치에서 모아레 패턴을 제거하는 흐름도이다.
도 5a 및 5b를 참조하면, 모아레 패턴 제거 장치의 이미지 생성부(101)는, 501 단계에서, 디지털 카메라(미도시)로부터 입력된 채널 이미지들을 다수의 채널 이미지 데이터들로 변환하고, 변환된 채널 이미지 데이터들을 배열로 저장한다.
503 단계에서, 모아레 패턴 제거 장치의 이미지 회전 각도 검출부(103)는 채널 이미지 데이터들에서 시료 영역을 각각 추출하여 다수의 시료 영역 채널 이미지 데이터들을 생성한다. 예를 들면, 시료 영역은, 도 2에 도시된 바와 같이, 촬영된 이미지(201)에 포함된 디스플레이 기기의 화면 영역을 나타낼 수 있다.
505 단계에서, 이미지 회전 각도 검출부(103)는 채널 이미지 데이터들 중에서 한 채널 이미지 데이터를 이용하여 회전 파라미터를 계산한다. 예를 들면, 이미지 회전 각도 검출부(103)는 채널 이미지 데이터들 중에서 한 채널 이미지 데이터에서 촬영된 이미지에 포함된 시료(디스플레이 기기의 화면)의 기울기를 확인한다. 그리고 이미지 회전 각도 검출부(103)는 확인된 기울기만큼 촬영된 이미지를 회전시키기 위한 회전 파라미터를 계산한다.
507 단계에서, 모아레 패턴 제거 장치의 이미지 회전부(105)는 시료 영역 채널 이미지 데이터들 각각에 회전 파라미터를 적용하여 시료 영역 채널 이미지 데이터들 각각을 회전시킴으로써 다수의 회전 시료 영역 채널 이미지 데이터들을 생성한다. 이때, 회전 파라미터가 미리 지정된 회전 각도 미만인 경우, 이미지 회전부(105)는 시료 영역 채널 이미지 데이터들을 회전시키지 않고, 509 단계를 진행한다.
509 단계에서, 모아레 패턴 제거 장치의 이미지 보간부(107)는 회전 시료 영역 채널 이미지 데이터들을 보간하여 다수의 보간 시료 영역 채널 이미지 데이터들을 생성한다.
좀 더 자세히 설명하면, 이미지 보간부(107)는 경계선보상(Watershed) 알고리즘을 이용하여 회전 시료 영역 채널 이미지 데이터들 중에서 한 회전 시료 영역 채널 이미지 데이터에서 경계선을 검출하기 위한 경계선 파라미터를 생성한다.
그리고 이미지 보간부(107)는 나머지 회전 시료 영역 채널 이미지 데이터들 각각에 경계선 파라미터를 적용하여 회전 시료 영역 채널 이미지 데이터들에 포함된 특정 영역을 확인하고, 확인된 특정 영역의 위치 정보를 생성한다. 예를 들면, 특정 영역은 카메라 영역, 불량화소 영역, 불량 라인 영역 및 무라(MURA) 영역 중 적어도 하나를 포함할 수 있다.
또한, 이미지 보간부(107)는 특정 영역의 위치 정보를 이용하여 회전 시료 영역 채널 이미지 데이터들에서 특정 영역의 주변에 위치하는 회전 시료 영역 채널 이미지 데이터들의 일부 채널 이미지 데이터들을 확인한다. 또한, 이미지 보간부(107)는 회전 시료 영역 채널 이미지 데이터들의 일부 채널 이미지 데이터들을 이용하여 회전 시료 영역 채널 이미지 데이터들 각각에 포함된 특정 영역을 보간하여 다수의 보간 시료 영역 채널 이미지 데이터들을 생성한다.
511 단계에서, 모아레 패턴 제거 장치의 세부 정보 검출부(109)는 보간 시료 영역 채널 이미지 데이터들에서 세부 정보를 검출하여 저장한다.
513 단계에서, 모아레 패턴 제거 장치의 모아레 검출 및 필터 생성부(111)는 보간 시료 영역 이미지 데이터들을 이용하여 보상용 필터를 생성한다. 이제부터, 5 6을 참조하여 모아레 검출 및 필터 생성부(111)의 동작을 자세히 설명하고자 한다.
도 6을 참조하면, 모아레 검출 및 필터 생성부(111)는, 601 단계에서, 보간 시료 영역 채널 이미지 데이터들 각각에서 중심에 위치하는 ROI를 추출하여 다수의 채널들에 대응하는 다수의 중심 영역 채널 이미지 데이터들을 생성한다.
603 단계에서, 모아레 검출 및 필터 생성부(111)는 중심 영역 채널 이미지 데이터들 각각에 FFT를 수행하여 모아레 평균 스펙트럼을 추출한다. 예를 들면, 모아레 검출 및 필터 생성부(111)는 중심 영역 채널 이미지 데이터들의 라인별로 FFT를 수행하여 주파수 영역에서의 중심 영역 채널 이미지 데이터들에 대응하는 다수의 모아레 스펙트럼들을 도출할 수 있다. 그리고 모아레 검출 및 필터 생성부(111)는 모아레 스펙트럼들을 평균화하여 모아레 평균 스펙트럼을 도출할 수 있다. 이때, 모아레 검출 및 필터 생성부(111)는 모아레 평균 스펙트럼에서 주파수 영역의 잡음 표준 편차를 계산한다.
605 단계에서, 모아레 검출 및 필터 생성부(111)는 모아레 평균 스펙트럼을 이용하여 피크 스펙트럼을 생성한다. 예를 들면, 모아레 검출 및 필터 생성부(111)는 모아레 평균 스펙트럼에, 스펙트럼 잡음 제거를 위한 선처리로 메디안 필터링(Median Filtering) 혹은 유사한 평균 필터링을 수행하여 피크 추출이 용이한 평활화 된 스펙트럼을 구하고, 이를 통해 피크 스펙트럼을 도출할 수 있다.
607 단계에서, 모아레 검출 및 필터 생성부(111)는 잡음 표준 편차를 이용하여 피크 스펙트럼에서 피크점을 결정한다. 예를 들면, 모아레 검출 및 필터 생성부(111)는, 도 3에 도시된 바와 같이, 피크 스펙트럼(301)에서 피크점(303)을 확인할 수 있다.
609 단계에서, 모아레 검출 및 필터 생성부(111)는 피크점을 이용하여 보상용 필터를 디자인한다.
좀 더 자세히 설명하면, 모아레 주파수의 하모닉 주파수 특성을 고려하여 고조파 형태로 보상용 필터를 디자인하기 위해 검출된 한 개 이상의 피크점들간의 공통적 위치 차이를 정수배만큼 곱하여 새로운 최종 피크점들의 위치를 결정한다.
최종 피크점은 시료 영역의 중심 영역에서 추출하였으므로, 모아레 검출 및 필터 생성부(111)는 시료 영역의 전체 화소에 적용할 필터의 대역폭과 시료 영역에 포함된 다수의 피크 영역들을 고려하여 필터를 생성한다. 예를 들면, 모아레 검출 및 필터 생성부(111)는, 도 3에 도시된 바와 같이, 시료 영역의 전체 화소에 적용할 필터의 대역폭과 다수의 피크 영역들의 위치들을 고려하여 필터(305)를 생성할 수 있다.
그리고 모아레 검출 및 필터 생성부(111)는 시료 영역의 크기에 맞추어 보상용 필터를 디자인하기 위해 생성된 필터를 기반으로 스케일링 및 중심 영역에서 반복되어 나아가는 싱크 함수 형태의 보상용 필터를 디자인한다. 예를 들면, 모아레 검출 및 필터 생성부(111)는, 도 3에 도시된 바와 같이, 시료 영역의 중심 영역을 기준으로 생성된 필터를 스케일링하고, 스케일링된 필터를 좌, 우로 반복시켜 보상용 필터를 디자인할 수 있다.
다시 도 5로 돌아와서, 515 단계에서, 모아레 패턴 제거 장치의 모아레 필터링부(113)는 세부 정보가 제외된 보간 일부 시료 영역 채널 이미지 데이터들에 보상용 필터를 적용하여 다수의 필터링된 보간 일부 시료 영역 채널 이미지 데이터들을 생성한다. 이때, 모아레 필터링부(113)는 보간 시료 영역 채널 이미지 데이터들에서 세부 정보를 제외하여 보간 일부 시료 영역 채널 이미지 데이터들을 생성한다. 그리고 모아레 필터링부(113)는 보간 일부 시료 영역 채널 이미지 데이터들 각각의 주파수 영역에서 보상용 필터를 적용하여 필터링된 시료 영역 채널 이미지 데이터들을 생성한다.
좀 더 자세히 설명하면, 모아레 필터링부(113)는 보간 일부 시료 영역 채널 이미지 데이터들 중 한 보간 일부 시료 영역 채널 이미지 데이터를 수평 방향으로 FFT를 수행하여 수평 방향 주파수 영역의 보간 일부 시료 영역 채널 이미지 데이터를 생성한다. 그리고 모아레 필터링부(113)는 수평 방향 주파수 영역의 보간 일부 시료 영역 채널 이미지 데이터에 보상용 필터의 수평 방향의 주파수 필터를 적용하여 수평 방향의 주파수 영역에서 필터링된 보간 일부 시료 영역 채널 이미지 데이터를 생성한다. 그리고 모아레 필터링부(113)는 수평 방향의 주파수 영역에서 필터링된 보간 일부 시료 영역 채널 이미지 데이터에 IFFT를 수행하여 수평 방향의 공간 영역에서 필터링된 수평 방향 필터링된 보간 일부 시료 영역 채널 이미지 데이터를 생성한다.
그리고 모아레 필터링부(113)는 수평 방향 필터링된 보간 일부 시료 영역 채널 이미지 데이터를 수직 방향으로 FFT를 수행하여 수직 방향의 주파수 영역에서 수평 방향 필터링된 보간 일부 시료 영역 채널 이미지 데이터를 생성한다. 그리고 모아레 필터링부(113)는 수직 방향 주파수 영역의 수평 방향 필터링된 보간 일부 시료 영역 채널 이미지 데이터에 보상용 필터의 수직 방향의 주파수 필터를 적용하여 수직 방향의 주파수 영역에서 수직 및 수평 방향 필터링된 보간 일부 시료 영역 채널 이미지 데이터를 생성한다. 그리고 모아레 필터링부(113)는 수직 및 수평 방향 필터링된 보간 일부 시료 영역 채널 이미지 데이터에 IFFT를 수행하여 수직 방향의 공간 영역에서 필터링된 수직 및 수평 방향 필터링된 보간 일부 시료 영역 채널 이미지 데이터를 생성한다.
모아레 필터링부(113)는 이러한 동작을 반복적으로 수행하여 다수의 보간 시료 영역 채널 이미지 데이터들에 대응하는 다수의 필터링된 보간 일부 시료 영역 채널 이미지 데이터들을 생성한다.
517 단계에서, 모아레 패턴 제거 장치의 세부 정보 복원부(115)는 필터링된 보간 일부 시료 영역 채널 이미지 데이터들 각각에 세부 정보를 복원하여 필터링된 보간 시료 영역 채널 이미지 데이터들을 생성한다.
519 단계에서, 모아레 패턴 제거 장치의 블러 보상부(117)는 미리 지정된 임계값을 이용하여 필터링된 보간 시료 영역 채널 이미지 데이터들 각각에서 초점 흐림으로 인해 불선명한 에지 부분을 보정하여 개선된 보간 시료 영역 채널 이미지 데이터들을 생성한다.
521 단계에서, 모아레 패턴 제거 장치의 이미지 복원부(119)는 특정 영역의 위치 정보 및 특정 영역에 포함된 채널 이미지 데이터들을 이용하여 개선된 보간 시료 영역 채널 이미지 데이터들 각각에 특정 영역을 복원하여 다수의 개선된 시료 영역 채널 이미지 데이터들을 생성한다.
523 단계에서, 모아레 패턴 제거 장치의 이미지 출력부(121)는 개선된 시료 영역 채널 이미지 데이터들을 이용하여 한 이미지를 생성하고, 표시부(미도시)를 통해 생성된 이미지를 출력한다.
이러한 과정을 통해, 본 발명의 일 실시 예는 단말기에서 이미지에 포함된 모아레 패턴을 제거하여 사용자가 이미지에 포함된 특정 정보를 정확하게 해석할 수 있다.
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.
예를 들면, 모아레 패턴 제거 장치에서, 이미지 생성부는 디스플레이 기기의 화면을 포함하는 제1이미지를 다수의 채널 이미지 데이터들로 변환하고, 상기 채널 이미지 데이터들에서 상기 화면의 영역을 나타내는 시료 영역을 추출하여 다수의 시료 영역 채널 이미지 데이터들을 생성할 수 있다. 그리고 모아레 검출 및 필터 생성부는, 상기 시료 영역 채널 이미지 데이터들에 포함된, 상기 모아레 패턴을 나타내는 모아레 신호 함수의 하모닉 특성을 고려하여 보상용 필터를 생성할 수 있다. 또한, 모아레 필터링부는, 상기 시료 영역 채널 이미지 데이터들에 상기 보상용 필터를 적용하여 다수의 필터링된 시료 영역 채널 이미지 데이터들을 생성할 수 있다. 이후에, 이미지 출력부는, 상기 필터링된 시료 영역 채널 이미지 데이터들을 이용하여 상기 모아레 패턴이 제거된 제2이미지를 생성하고, 표시부를 통해 상기 제2이미지를 출력할 수 있다.

Claims (12)

  1. 디스플레이 기기의 화면을 포함하는 제1이미지를 다수의 채널 이미지 데이터들로 변환하고, 상기 채널 이미지 데이터들에서 상기 화면의 영역을 나타내는 시료 영역을 추출하여 다수의 시료 영역 채널 이미지 데이터들을 생성하는 이미지 생성부;
    상기 시료 영역 채널 이미지 데이터들에 포함된, 상기 모아레 패턴을 나타내는 모아레 신호 함수의 하모닉 특성을 고려하여 보상용 필터를 생성하는 모아레 검출 및 필터 생성부;
    상기 시료 영역 채널 이미지 데이터들에 상기 보상용 필터를 적용하여 다수의 필터링된 시료 영역 채널 이미지 데이터들을 생성하는 모아레 필터링부; 및
    상기 필터링된 시료 영역 채널 이미지 데이터들을 이용하여 상기 모아레 패턴이 제거된 제2이미지를 생성하고, 표시부를 통해 상기 제2이미지를 출력하는 이미지 출력부를 포함하는 단말기에서 모아레 패턴을 제거하는 장치.
  2. 제1항에 있어서,
    상기 모아레 검출 및 필터 생성부는, 상기 시료 영역 채널 이미지 데이터들에서 중심에 위치하는 관심 영역을 추출하여 다수의 중심 영역 채널 이미지 데이터들을 생성하며, 상기 중심 영역 채널 이미지 데이터들에 고속 푸리에 변환을 수행하여 주파수 영역의 다수의 모아레 스펙트럼들을 생성하고, 상기 모아레 스펙트럼들을 평균화 하여 모아레 평균 스펙트럼을 생성하며, 상기 모아레 평균 스펙트럼에서 잡음 표준 편차를 계산하고, 상기 모아레 평균 스펙트럼에 선처리 메디안 필터링을 수행하여 피크 스펙트럼을 생성하며, 상기 잡음 표준 편차를 이용하여 상기 피크 스펙트럼에서 복수의 피크점들을 확인하고, 상기 피크점들 중에서 인접한 피크점들 간의 공통적 위치 차이를 정수배하여 피크점의 최종 위치를 계산하며, 상기 피크점의 최종 위치와 상기 보상용 필터의 대역폭과 상기 시료 영역에 포함된, 상기 피크점이 존재하는 다수의 피크 영역들을 고려하여 필터를 생성하고, 상기 중심 영역을 기준으로 상기 필터가 좌, 우로 반복되게 진행하는 상기 보상형 필터를 생성하는 것을 특징으로 하는 단말기에서 모아레 패턴을 제거하는 장치.
  3. 제1항에 있어서,
    상기 시료 영역 채널 이미지 데이터들 중에서 한 시료 영역 채널 이미지 데이터를 이용하여 상기 이미지의 회전 각도를 나타내는 회전 파라미터를 계산하는 이미지 회전 각도 검출부; 및
    상기 회전 파라미터를 이용하여 상기 시료 영역 채널 이미지 데이터들을 회전시키는 이미지 회전부를 더 포함하는 단말기에서 모아레 패턴을 제거하는 장치.
  4. 제1항에 있어서,
    미리 지정된 보간법을 통해 상기 시료 영역 채널 이미지 데이터들을 보간하여 다수의 보간 시료 영역 채널 이미지 데이터들을 생성하는 이미지 보간부; 및
    상기 보간 시료 영역 채널 이미지 데이터들에서 세부 정보를 검출하는 세부 정보 검출부를 더 포함하는 단말기에서 모아레 패턴을 제거하는 장치.
  5. 제4항에 있어서,
    상기 모아레 필터링부는, 상기 보간 시료 영역 채널 이미지 데이터들에서 상기 세부 정보를 제외하여 다수의 보간 일부 시료 영역 채널 이미지 데이터들을 생성하고, 상기 보간 일부 시료 영역 채널 이미지 데이터들에 상기 보상용 필터를 적용하여 다수의 필터링된 보간 일부 시료 영역 채널 이미지 데이터들을 생성하는 것을 특징으로 하는 단말기에서 모아레 패턴을 제거하는 장치.
  6. 제5항에 있어서,
    상기 필터링된 보간 일부 시료 영역 채널 이미지 데이터들에 상기 세부 정보를 복원하여 다수의 필터링된 보간 시료 영역 채널 이미지 데이터들을 생성하는 세부 정보 복원부;
    상기 필터링된 보간 시료 영역 채널 이미지 데이터들에서 블러를 보상하여 다수의 개선된 보간 시료 영역 채널 이미지 데이터들을 생성하는 블러 보상부; 및
    상기 개선된 보간 시료 영역 채널 이미지 데이터들에 상기 특정 영역 정보를 복원하여 다수의 개선된 시료 영역 채널 이미지 데이터들을 생성하는 이미지 복원부를 더 포함하는 단말기에서 모아레 패턴을 제거하는 장치.
  7. 이미지 생성부가, 디스플레이 기기의 화면을 포함하는 제1이미지를 다수의 채널 이미지 데이터들로 변환하고, 상기 채널 이미지 데이터들에서 상기 화면의 영역을 나타내는 시료 영역을 추출하여 다수의 시료 영역 채널 이미지 데이터들을 생성하는 과정,
    모아레 검출 및 필터 생성부가, 상기 시료 영역 채널 이미지 데이터들에 포함된, 상기 모아레 패턴을 나타내는 모아레 신호 함수의 하모닉 특성을 고려하여 보상용 필터를 생성하는 과정,
    모아레 필터링부가, 상기 시료 영역 채널 이미지 데이터들에 상기 보상용 필터를 적용하여 다수의 필터링된 시료 영역 채널 이미지 데이터들을 생성하는 과정, 및
    이미지 출력부가, 상기 필터링된 시료 영역 채널 이미지 데이터들을 이용하여 상기 모아레 패턴이 제거된 제2이미지를 생성하고, 표시부를 통해 상기 제2이미지를 출력하는 과정을 포함하는 단말기에서 모아레 패턴을 제거하는 방법.
  8. 제7항에 있어서,
    상기 보상용 필터를 생성하는 과정은,
    상기 시료 영역 채널 이미지 데이터들에서 중심에 위치하는 관심 영역을 추출하여 다수의 중심 영역 채널 이미지 데이터들을 생성하는 과정,
    상기 중심 영역 채널 이미지 데이터들에 고속 푸리에 변환을 수행하여 주파수 영역의 다수의 모아레 스펙트럼들을 생성하는 과정,
    상기 모아레 스펙트럼들을 평균화하여 모아레 평균 스펙트럼을 생성하며, 상기 모아레 평균 스펙트럼에서 잡음 표준 편차를 계산하는 과정,
    상기 모아레 평균 스펙트럼에 선처리 메디안 필터링을 수행하여 피크 스펙트럼을 생성하는 과정,
    상기 잡음 표준 편차를 이용하여 상기 피크 스펙트럼에서 복수의 피크점들을 확인하고, 상기 피크점들 중에서 인접한 피크점들 간의 공통적 위치 차이를 정수 배하여 피크점들의 최종 위치를 계산하는 과정,
    상기 피크점의 최종 위치와 상기 보상용 필터의 대역폭과 상기 시료 영역에 포함된, 상기 피크점이 존재하는 다수의 피크 영역들을 고려하여 필터를 생성하는 과정, 및
    상기 중심 영역을 기준으로 상기 필터가 좌, 우로 반복되게 진행하는 상기 보상형 필터를 생성하는 과정을 포함하는 것을 특징으로 하는 단말기에서 모아레 패턴을 제거하는 방법.
  9. 제7항에 있어서,
    상기 시료 영역 채널 이미지 데이터들을 생성하는 과정 이후에, 이미지 회전 각도 검출부가, 상기 시료 영역 채널 이미지 데이터들 중에서 한 시료 영역 채널 이미지 데이터를 이용하여 상기 이미지의 회전 각도를 나타내는 회전 파라미터를 계산하는 과정, 및
    이미지 회전부가, 상기 회전 파라미터를 이용하여 상기 시료 영역 채널 이미지 데이터들을 회전시키는 과정을 더 포함하는 단말기에서 모아레 패턴을 제거하는 방법.
  10. 제7항에 있어서,
    상기 시료 영역 채널 이미지 데이터들을 생성하는 과정 이후에, 이미지 보간부가, 미리 지정된 보간법을 통해 상기 시료 영역 채널 이미지 데이터들을 보간하여 다수의 보간 시료 영역 채널 이미지 데이터들을 생성하는 과정, 및
    세부 정보 검출부가, 상기 보간 시료 영역 채널 이미지 데이터들에서 세부 정보를 검출하는 과정을 더 포함하는 단말기에서 모아레 패턴을 제거하는 방법.
  11. 제10항에 있어서,
    상기 필터링된 시료 영역 채널 이미지 데이터들을 생성하는 과정은,
    상기 보간 시료 영역 채널 이미지 데이터들에서 상기 세부 정보를 제외하여 다수의 보간 일부 시료 영역 채널 이미지 데이터들을 생성하는 과정, 및
    상기 보간 일부 시료 영역 채널 이미지 데이터들에 상기 보상용 필터를 적용하여 다수의 필터링된 보간 일부 시료 영역 채널 이미지 데이터들을 생성하는 과정을 포함하는 것을 특징으로 하는 단말기에서 모아레 패턴을 제거하는 방법.
  12. 제11항에 있어서,
    세부 정보 복원부가, 상기 필터링된 보간 일부 시료 영역 채널 이미지 데이터들에 상기 세부 정보를 복원하여 다수의 필터링된 보간 시료 영역 채널 이미지 데이터들을 생성하는 과정,
    블러 보상부가, 상기 필터링된 보간 시료 영역 채널 이미지 데이터들에서 블러를 보상하여 다수의 개선된 보간 시료 영역 채널 이미지 데이터들을 생성하는 과정, 및
    이미지 복원부가, 상기 개선된 보간 시료 영역 채널 이미지 데이터들에 상기 특정 영역 정보를 복원하여 다수의 개선된 시료 영역 채널 이미지 데이터들을 생성하는 과정을 더 포함하는 단말기에서 모아레 패턴을 제거하는 방법.
PCT/KR2022/010438 2022-05-03 2022-07-18 단말기에서 모아레 패턴을 제거하는 장치 및 방법 WO2023214616A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020220055061A KR102617103B1 (ko) 2022-05-03 2022-05-03 단말기에서 모아레 패턴을 제거하는 장치 및 방법
KR10-2022-0055061 2022-05-03

Publications (1)

Publication Number Publication Date
WO2023214616A1 true WO2023214616A1 (ko) 2023-11-09

Family

ID=88646534

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/010438 WO2023214616A1 (ko) 2022-05-03 2022-07-18 단말기에서 모아레 패턴을 제거하는 장치 및 방법

Country Status (2)

Country Link
KR (1) KR102617103B1 (ko)
WO (1) WO2023214616A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090073085A1 (en) * 2007-09-18 2009-03-19 Fujifilm Corporation Image display device, moire preventing film, optical filter, plasma display filter, and image display panel
KR20090080381A (ko) * 2008-01-21 2009-07-24 삼성전자주식회사 디지털 이미징 기기의 모아레 제거장치 및 방법
KR20160148438A (ko) * 2015-06-16 2016-12-26 한화테크윈 주식회사 영상 처리 장치, 영상 처리 방법, 및 촬영 장치
KR20180055300A (ko) * 2016-11-16 2018-05-25 한화에어로스페이스 주식회사 컬러 모아레 저감 방법 및 이를 이용한 영상 처리 장치
KR102327758B1 (ko) * 2020-10-22 2021-11-18 동국대학교 산학협력단 다중 도메인 딥러닝을 이용한 영상 내 모아레 무늬 제거 장치 및 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5340021B2 (ja) * 2009-05-07 2013-11-13 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
KR20110029001A (ko) * 2009-09-14 2011-03-22 삼성전자주식회사 베이어 영상에서의 이미지 처리 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090073085A1 (en) * 2007-09-18 2009-03-19 Fujifilm Corporation Image display device, moire preventing film, optical filter, plasma display filter, and image display panel
KR20090080381A (ko) * 2008-01-21 2009-07-24 삼성전자주식회사 디지털 이미징 기기의 모아레 제거장치 및 방법
KR20160148438A (ko) * 2015-06-16 2016-12-26 한화테크윈 주식회사 영상 처리 장치, 영상 처리 방법, 및 촬영 장치
KR20180055300A (ko) * 2016-11-16 2018-05-25 한화에어로스페이스 주식회사 컬러 모아레 저감 방법 및 이를 이용한 영상 처리 장치
KR102327758B1 (ko) * 2020-10-22 2021-11-18 동국대학교 산학협력단 다중 도메인 딥러닝을 이용한 영상 내 모아레 무늬 제거 장치 및 방법

Also Published As

Publication number Publication date
KR20230155312A (ko) 2023-11-10
KR102617103B1 (ko) 2023-12-27

Similar Documents

Publication Publication Date Title
US8073246B2 (en) Modifying color and panchromatic channel CFA image
KR101303415B1 (ko) 가중된 기울기들을 이용하여 이미지 데이터를 디모자이킹하기 위한 시스템 및 방법
WO2021080233A1 (ko) 이미지 복원 방법 및 장치
EP1010138A1 (en) Device profiles for use in a digital image processing system
KR20030057465A (ko) 플리커 보정 장치, 플리커 보정 방법 및 플리커 보정프로그램을 저정한 기록 매체
Gourrame et al. A zero-bit Fourier image watermarking for print-cam process
KR20050091094A (ko) 동영상 신호의 워터마크 임베딩 및 검출
CN110517206B (zh) 彩色摩尔纹消除方法及装置
US20080239155A1 (en) Low Complexity Color De-noising Filter
Lukac et al. Single-sensor camera image processing
Wu et al. Color restoration from digital camera data by pattern matching
JPWO2009087725A1 (ja) 画像データ生成装置、画像データ生成方法、および画像データ生成プログラム
WO2023214616A1 (ko) 단말기에서 모아레 패턴을 제거하는 장치 및 방법
Hirakawa et al. Spatio-spectral color filter array design for enhanced image fidelity
US20090324127A1 (en) Method and System for Automatic Red-Eye Correction
WO2020055196A1 (en) Apparatus and methods for generating high dynamic range media, based on multi-stage compensation of motion
Kim et al. On recent results in demosaicing of Samsung 108MP CMOS sensor using deep learning
KR100869134B1 (ko) 이미지 처리장치 및 방법
US8073280B2 (en) Image processing apparatus and image processing program for correcting image degradation
WO2022255523A1 (ko) 멀티 스케일 객체 이미지 복원 방법 및 장치
Wei et al. Estimation of rescaling factor and detection of image splicing
WO2022158611A1 (ko) 초음파 센서를 활용한 수중 환경 영상의 보정 방법
US20230122083A1 (en) Image processing apparatus, image processing method, and program
WO2022075825A1 (en) Methods and systems for denoising media frames captured in low-light environment
US20230169750A1 (en) Method of and System for Capturing Color Images

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22940857

Country of ref document: EP

Kind code of ref document: A1