WO2025249752A1 - 전자 장치 및 제어방법 - Google Patents

전자 장치 및 제어방법

Info

Publication number
WO2025249752A1
WO2025249752A1 PCT/KR2025/004811 KR2025004811W WO2025249752A1 WO 2025249752 A1 WO2025249752 A1 WO 2025249752A1 KR 2025004811 W KR2025004811 W KR 2025004811W WO 2025249752 A1 WO2025249752 A1 WO 2025249752A1
Authority
WO
WIPO (PCT)
Prior art keywords
feature information
frequency domain
electronic device
obtaining
converted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/KR2025/004811
Other languages
English (en)
French (fr)
Inventor
박영인
박은병
남승태
함철희
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Sungkyunkwan University
Original Assignee
Samsung Electronics Co Ltd
Sungkyunkwan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020240101003A external-priority patent/KR20250172266A/ko
Application filed by Samsung Electronics Co Ltd, Sungkyunkwan University filed Critical Samsung Electronics Co Ltd
Publication of WO2025249752A1 publication Critical patent/WO2025249752A1/ko
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—Three-dimensional [3D] image rendering
    • G06T15/50—Lighting effects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators

Definitions

  • the present disclosure relates to an electronic device and a control method thereof, and more particularly, to an operation of an electronic device and a control method thereof for solving an aliasing problem.
  • 3D rendering is an image processing method that creates and provides an image at a specific point in time based on modeled virtual object information.
  • the present disclosure requests a method to reduce the aliasing problem by adding a learning process in the frequency domain before implementing 3D rendering.
  • An electronic device may acquire a plurality of images including an object, acquire first feature information of the object in a spatial domain based on the acquired plurality of images, convert the acquired first feature information into second feature information in a frequency domain, duplicate the second feature information to acquire a plurality of second feature information, and apply a filter to each of the plurality of second feature information to acquire a plurality of third feature information having different resolutions.
  • the above processor can obtain second feature information transformed into a frequency domain using at least one of a discrete wavelet transform (DWT), a discrete cosine transform (DCT), or a fast Fourier transform (FFT).
  • DWT discrete wavelet transform
  • DCT discrete cosine transform
  • FFT fast Fourier transform
  • the processor can obtain frequency band-specific feature information by performing a discrete wavelet transform (DWT) on the obtained first feature information, and can obtain second feature information converted into a frequency domain by applying a discrete cosine transform (DCT) or a fast Fourier transform (FFT) to the obtained frequency band-specific feature information.
  • DWT discrete wavelet transform
  • DCT discrete cosine transform
  • FFT fast Fourier transform
  • the processor can obtain the plurality of third feature information by applying LPF to the second feature information converted into the frequency domain, if the processor can obtain a filtering coefficient based on the second feature information converted into the frequency domain.
  • the processor when it is not possible to obtain a filtering coefficient based on the second feature information converted into the frequency domain, may obtain feature information decomposed by resolution by performing a Discrete Wavelet Transform (DWT) on the first feature information, obtain second feature information converted into the frequency domain data by performing a Discrete Cosine Transform (DCT) on the feature information decomposed by resolution, obtain filtering coefficients based on the obtained second feature information, and obtain the plurality of third feature information by applying a LPF.
  • DWT Discrete Wavelet Transform
  • DCT Discrete Cosine Transform
  • the above processor can filter the replicated second feature information with a LPF according to a conversion method for converting into a frequency domain.
  • the above processor may repeat the process of filtering the replicated second feature information multiple times for each resolution when filtering the replicated second feature information with an LPF.
  • the processor can obtain a plurality of fourth feature information based on the plurality of third feature information, activation function, and mask value, and convert the obtained plurality of fourth feature information into a spatial domain to obtain a plurality of images with different resolutions.
  • a method for controlling an electronic device comprises: a step of obtaining first characteristic information of the object in a spatial domain based on the obtained plurality of images; a step of converting the obtained first information into second characteristic information in a frequency domain; a step of obtaining a plurality of pieces of second characteristic information by replicating the second characteristic information; and a step of obtaining a plurality of pieces of third characteristic information having different resolutions by applying a filter to each of the plurality of pieces of second characteristic information.
  • It may include a step of obtaining second feature information transformed into a frequency domain using at least one of a Discrete Wavelet Transform (DWT), a Discrete Cosine Transform (DCT), or a Fast Fourier Transformation (FFT).
  • DWT Discrete Wavelet Transform
  • DCT Discrete Cosine Transform
  • FFT Fast Fourier Transformation
  • the method may include a step of obtaining feature information for each frequency band by performing a Discrete Wavelet Transform (DWT) on the obtained first feature information; and a step of obtaining second feature information converted into a frequency domain by applying a Discrete Cosine Transform (DCT) or Fast Fourier Transformation (FFT) to the obtained feature information for each frequency band.
  • DWT Discrete Wavelet Transform
  • DCT Discrete Cosine Transform
  • FFT Fast Fourier Transformation
  • a step of obtaining the plurality of third feature information by applying a LPF to the second feature information converted into the frequency domain may be included.
  • the method may include: a step of obtaining feature information decomposed by resolution by performing a Discrete Wavelet Transform (DWT) on the first feature information; a step of obtaining second feature information converted into the frequency domain data by performing a Discrete Cosine Transform (DCT) on the feature information decomposed by resolution; and a step of obtaining filtering coefficients based on the obtained second feature information and applying a LPF to obtain the plurality of third feature information.
  • DWT Discrete Wavelet Transform
  • DCT Discrete Cosine Transform
  • It may include a step of filtering the replicated second feature information with a LPF according to a conversion method for converting into a frequency domain.
  • the method may include a step of repeating the process of filtering the replicated feature information multiple times for each resolution.
  • the method may include: a step of obtaining a plurality of fourth feature information based on the plurality of third feature information, an activation function, and a mask value; and a step of converting the obtained plurality of fourth feature information into a spatial domain to obtain a plurality of images with different resolutions.
  • FIG. 1 is a block diagram showing the configuration of an electronic device according to one embodiment of the present disclosure.
  • FIG. 2 is a drawing for explaining a process of obtaining characteristic information of an object according to one embodiment of the present disclosure.
  • FIG. 3 is a diagram for explaining a process of converting feature information of an object acquired in a spatial domain into a frequency domain according to one embodiment of the present disclosure.
  • FIG. 4 is a diagram for explaining a process of replicating feature information converted into a frequency domain according to one embodiment of the present disclosure.
  • FIGS. 5 to 7 are drawings for explaining a process of applying a LPF (Low Pass Filter) to a plurality of replicated feature information according to one embodiment of the present disclosure.
  • LPF Low Pass Filter
  • FIG. 8 is a flowchart illustrating a method for acquiring multiple images with different resolutions based on multiple third feature information according to one embodiment of the present disclosure.
  • FIG. 9 is a drawing for explaining a method for obtaining multiple images with different resolutions of multiple third feature information according to one embodiment of the present disclosure.
  • FIG. 10 is a flowchart for explaining the operation of an electronic device according to one embodiment of the present disclosure.
  • FIG. 11 is a flowchart for explaining a method for controlling an electronic device according to one embodiment of the present disclosure.
  • first means “first,” “second,” and the like used herein are used to distinguish various components from each other, regardless of order or importance. Therefore, these terms do not limit the order or importance of the components.
  • first component could be renamed the second component, and similarly, the second component could be renamed the first component, without departing from the scope of the rights set forth in this document.
  • one component e.g., a first component
  • another component e.g., a second component
  • a component e.g., a first component
  • a component e.g., a first component
  • another component e.g., a second component
  • no other component e.g., a third component
  • FIG. 1 is a block diagram illustrating a configuration of an electronic device (100) according to at least one embodiment of the present disclosure.
  • the electronic device (100) includes a memory (110) and a processor (120). Meanwhile, the configuration of the electronic device (100) illustrated in FIG. 1 is merely an embodiment, and it is to be understood that some configurations may be added depending on the type of the electronic device (100).
  • the electronic device (100) may be implemented as a server, but this is merely an embodiment, and may be implemented as another electronic device (e.g., a television, a digital video disk (DVD) player, a media box (e.g., Samsung HomeSync TM , Apple TVTM, or Google TVTM), a game console (e.g., XboxTM, PlayStationTM), a camcorder, a VR headset, an AR headset, a 3D scanner, smart glasses, an electronic picture frame, etc.).
  • a television e.g., a digital video disk (DVD) player, a media box (e.g., Samsung HomeSync TM , Apple TVTM, or Google TVTM), a game console (e.g., XboxTM, PlayStationTM), a camcorder, a VR headset, an AR headset, a 3D scanner, smart glasses, an electronic picture frame, etc.).
  • DVD digital video disk
  • media box e.g., Samsung HomeSync TM , Apple TVTM, or Google TVTM
  • the memory (110) can store an operating system (OS) for controlling the overall operation of components of the electronic device (100) and instructions or data related to components of the electronic device (100).
  • OS operating system
  • the memory (110) can store multiple images.
  • the memory (110) can store multiple images containing an object to obtain characteristic information about the object.
  • the electronic device (100) may include a camera, and may store images acquired by the camera in the memory (110).
  • the feature information of the object acquired in the spatial domain is defined as first feature information (220), the feature information obtained by converting the first feature information (220) into the frequency domain is defined as second feature information (310), the feature information obtained by applying a filter to multiple replicated second feature information (310-1, 310-2 ... 310-n) is defined as third feature information (510-1, 510-2 ... 510-n), the feature information obtained by applying an activation function and mask value (910-1 ... 910-n) to the third feature information (510-1, 510-2 ... 510-n) is defined as fourth feature information (920-1 ... 910-n), and the feature information obtained by converting the fourth feature information (920-1 ... 910-n) back into the spatial domain is defined as multiple images (930-1 ... 930-n).
  • the memory (110) can store data required to process third feature information (510-1, 510-2 ... 510-n) of an object having a different resolution in the frequency domain when the first feature information (220) of the object is converted from the spatial domain to the frequency domain.
  • the memory (110) can store data for an image acquisition module (121), an image feature information acquisition module (122), a frequency domain conversion module (123), a second feature information duplication module (124), a filtering module (125), a mask application module (126), an activation function application module (127), and a plurality of image information acquisition modules (128) to acquire the third feature information (510-1, 510-2 ... 510-n) of the object.
  • the processor (120) can load the image acquisition module (121), the image feature information acquisition module (122), the frequency domain conversion module (123), the second feature information duplication module (124), the filtering module (125), the mask application module (126), the activation function application module (127), and the plurality of image information acquisition modules (128) stored in the memory (110), as illustrated in FIG. 1.
  • the memory (110) may include nonvolatile memory capable of maintaining stored information even when power is cut off, and volatile memory requiring continuous power supply to maintain the stored information.
  • Data for performing various operations such as a module for acquiring multiple image data containing an object or first characteristic information of an object, and a module for converting characteristic information of an object from a spatial domain to a frequency domain, may be stored in the nonvolatile memory.
  • the memory (110) may be implemented in various forms, such as volatile memory (e.g., dynamic RAM (DRAM), static RAM (SRAM), or synchronous dynamic RAM (SDRAM)), non-volatile memory (e.g., one time programmable ROM (OTPROM), programmable ROM (PROM), erasable and programmable ROM (EPROM), electrically erasable and programmable ROM (EEPROM), mask ROM, flash ROM, flash memory (e.g., NAND flash or NOR flash), hard drive, or solid state drive (SSD)).
  • volatile memory e.g., dynamic RAM (DRAM), static RAM (SRAM), or synchronous dynamic RAM (SDRAM)
  • non-volatile memory e.g., one time programmable ROM (OTPROM), programmable ROM (PROM), erasable and programmable ROM (EPROM), electrically erasable and programmable ROM (EEPROM), mask ROM, flash ROM, flash memory (e.g.,
  • the processor (120) is electrically connected to the memory (110) and can control the overall functions and operations of the electronic device (100).
  • the processor (120) may include one or more processors. Specifically, the one or more processors may include one or more of a Central Processing Unit (CPU), a Graphics Processing Unit (GPU), an Accelerated Processing Unit (APU), a Many Integrated Core (MIC), a Digital Signal Processor (DSP), a Neural Processing Unit (NPU), a hardware accelerator, or a machine learning accelerator.
  • the processor (120) may control one or any combination of other components of the electronic device, and may perform operations related to communication or data processing.
  • the one or more processors may execute one or more programs or instructions stored in a memory. For example, the one or more processors may perform a method according to an embodiment of the present disclosure by executing one or more instructions stored in a memory.
  • One or more processors may be implemented as a single core processor including one core, or may be implemented as one or more multicore processors including multiple cores (e.g., homogeneous multicores or heterogeneous multicores).
  • processors may include internal processor memory, such as cache memory or on-chip memory, and a common cache shared by the multiple cores may be included in the multicore processor.
  • each of the multiple cores (or some of the multiple cores) included in the multicore processor may independently read and execute a program instruction for implementing a method according to an embodiment of the present disclosure, or all (or some) of the multiple cores may be linked to read and execute a program instruction for implementing a method according to an embodiment of the present disclosure.
  • the processor (120) can acquire a plurality of images including an object by executing at least one instruction, acquire first feature information (220) of the object in a spatial domain based on the acquired plurality of images, convert the acquired first feature information (220) into second feature information (310) in a frequency domain, duplicate the second feature information (310) to acquire a plurality of second feature information (310-1, 310-2 ... 310-n), and apply a filter to each of the plurality of second feature information (310-1, 310-2 ... 310-n) to acquire a plurality of third feature information (510-1 ... 510-n) having different resolutions.
  • the image acquisition module (121) can acquire multiple images containing objects.
  • the image acquisition module (121) can acquire multiple images containing objects via a camera or can acquire multiple images containing objects from an external device.
  • each of the multiple images can be an image containing one or more objects.
  • the object feature information acquisition module (122) can acquire first feature information (220) of an object as illustrated in FIG. 2.
  • the first feature information (220) may be information representing geometric information of an object (e.g., vertex, edge, face, color of the object, scale of the object (ratio of size of the object for each axis).
  • the feature information may be called a feature map, feature value, feature matrix, characteristic distribution, etc.
  • the object feature information acquisition module (122) can acquire first feature information (220) of an object by combining feature information (210-1, 210-2, 210-3) on each axis of the spatial domain.
  • the first characteristic information (220) of the object in FIG. 2 is depicted as a rectangle, but the first characteristic information (220) is a vector matrix structure (i.e., a matrix structure having vectors as elements).
  • the object feature information acquisition module (122) can acquire the first feature information (220) of the object using a vector matrix decomposition method.
  • Vector matrix decomposition is a method used in data compression, which decomposes the original matrix into several elements to make data processing easier.
  • There are methods for decomposing vectors and matrices such as singular value decomposition (SVD), eigen decomposition, and QR decomposition.
  • Singular value decomposition (SVD) is a method for decomposing an arbitrary m * n matrix A into the product of three matrices.
  • Eigen decomposition is a method for decomposing a matrix into eigenvalues and eigenvectors, and is mainly used for symmetric matrices.
  • QR decomposition is a method for decomposing a given matrix into two matrices Q and R.
  • QR decomposition can use the Gram-Schmidt regularization method or the Householder transform method.
  • the Gram-Schmidt normalization method is a method to obtain Q and R by orthogonalizing and normalizing the column vectors of a given matrix.
  • the Householder transformation is a method to decompose a matrix into an orthogonal matrix and an upper triangular matrix by reflecting the given vectors in the direction of a new vector.
  • the object feature information acquisition module (122) can acquire first feature information (220) of an object in a spatial domain in a grid manner.
  • data can be managed by dividing a three-dimensional space into uniform grids.
  • data can be stored and queried by dividing the space into grids of uniform size, and each grid cell can have a fixed size.
  • the resolution of the grid is already defined and can be set to a fixed size.
  • the object feature information obtaining module (122) can obtain the first feature information (220) using another method such as the Octree method, the Tri method (Triangular Mesh), Implicit Neural Representations, or Point-based Methods.
  • the Octree method is a tree-structured data structure that efficiently divides and represents 3D space.
  • the object feature information obtaining module (122) can obtain the first feature information (220) by repeatedly dividing the 3D space into eight volumes of equal size using the Octree method.
  • the Tri method (Triangular Mesh) is a method of expressing the 3D space as a mesh composed of triangles. A 3D surface can be represented using points and triangles. Each triangle is defined by a connection of three points, and these can be used to directly represent the space.
  • the object feature information obtaining module (122) can obtain the first feature information (220) using the Tri method (Triangular Mesh).
  • the frequency domain conversion module (123) can convert the feature information (220) of an object in the spatial domain into feature information (310) of an object in the frequency domain. This will be described later with reference to FIG. 3.
  • the frequency domain transformation module (123) can transform the first feature information (220) into the second feature information (310) by using at least one of the following transformation methods: Discrete Wavelet Transform (DWT), Discrete Cosine Transform (DCT), or Fast Fourier Transformation (FFT), as illustrated in FIG. 3.
  • DWT Discrete Wavelet Transform
  • DCT Discrete Cosine Transform
  • FFT Fast Fourier Transformation
  • the frequency domain transformation module (123) can transform the first feature information (220) obtained in the spatial domain through the Discrete Wavelet Transform (DWT) method to obtain feature information for each frequency band, and then apply Discrete Cosine Transform (DCT) or Fast Fourier Transformation (FFT) to the obtained feature information for each frequency band to convert it into second feature information.
  • DWT Discrete Wavelet Transform
  • DCT Discrete Cosine Transform
  • FFT Fast Fourier Transformation
  • the frequency domain conversion module (123) can apply a DWT conversion method (Discrete Wavelet Transform) to the first feature information (220) to divide it into a high-frequency filter and a low-frequency filter, and convert it into the frequency domain.
  • a signal passing through the low-frequency filter can be decomposed into rough information, and a signal passing through the high-frequency filter can be decomposed into detailed information.
  • the frequency domain conversion module (123) can divide the signal passing through the low-frequency filter into two parts again using a high-frequency filter and a low-frequency filter, and repeatedly decompose the low-frequency components to analyze the rough structure of the signal in increasingly more detail.
  • the frequency domain transformation module (123) can transform into the frequency domain using the DCT transformation method (Discrete Cosine Transform).
  • DCT transformation method Discrete Cosine Transform
  • energy is concentrated on low-frequency components, so data can be compressed.
  • image data is input, the image can generally be expressed as a matrix of pixel values.
  • the image can usually be divided into blocks of 8x8 or 16x16 size and processed.
  • the frequency domain transformation module (123) can perform DCT transformation on each block, and among the frequency components obtained as a result of the DCT transformation, the low-frequency components mainly represent rough information of the block, and the high-frequency components can represent detailed information of the block.
  • the frequency components obtained as a result of the DCT transformation can be quantized using an appropriate quantization table to perform further compression.
  • the frequency domain transformation module (123) can transform the first feature information (220) into the frequency domain using the FFT transformation method (Fast Fourier Transform).
  • the FFT transformation method (Fast Fourier Transform) is a type of divide-and-conquer algorithm that can recursively perform calculations while reducing the signal size by half.
  • the frequency domain transformation module (123) can obtain the magnitude and phase information of the signal transformed into the frequency domain using the FFT transformation method on the first feature information (220), i.e., the second feature information (310).
  • the frequency domain conversion module (123) can convert the first feature information (220) into a frequency domain using a DWT conversion method and a DCT conversion method.
  • the frequency domain conversion module (123) can apply the DWT conversion method to the first feature information (220) to extract multiple resolution components, and apply the DCT conversion method to some of the extracted components to convert them into a frequency domain.
  • the frequency domain transformation module (123) can extract low-frequency components and high-frequency components (i.e., low-resolution data and multiple high-resolution detailed components) by using the Discrete Wavelet Transform (DWT) transformation method on the first feature information (220).
  • the frequency domain transformation module (123) can obtain data of each resolution level converted into the frequency domain by applying the Discrete Wavelet Transform (DWT) transformation method to the data of each resolution level obtained by the Discrete Wavelet Transform (DWT) transformation method.
  • the frequency domain transformation module (123) can maintain data to be preserved at each resolution level by using the Discrete Wavelet Transform (DWT) transformation method and the Discrete Cosine Transform (DCT) transformation method.
  • the frequency domain transformation module (123) may obtain high-frequency components and low-frequency components at each resolution level using the Discrete Wavelet Transform (DWT) transformation method for the first feature information (220), and apply FFT (Fast Fourier Transformation) to each of the obtained low-frequency components and high-frequency components to transform them into the frequency domain.
  • DWT Discrete Wavelet Transform
  • FFT Fast Fourier Transformation
  • the frequency domain conversion module (123) may convert the first feature information (220) into a frequency domain using an FFT conversion method, and then additionally use a DCT conversion method for the main frequency information.
  • the frequency domain transformation module (123) transforms the second feature information (310) into the frequency domain using the transformation methods of Discrete Wavelet Transform (DWT), Discrete Cosine Transform (DCT), and Fast Fourier Transformation (FFT) has been described above.
  • DWT Discrete Wavelet Transform
  • DCT Discrete Cosine Transform
  • FFT Fast Fourier Transformation
  • STFT Short-Time Fourier Transform
  • CWT Continuous Wavelet Transform
  • Fractional Fourier Transform Fractional Fourier Transform
  • the second feature information replication module (124) can replicate the second feature information (310) into a plurality of second feature information (310-1, 310-2...310-n), as illustrated in FIG. 4.
  • the filtering module (125) can filter a plurality of second feature information (310-1, 310-2...310-n) to obtain a plurality of third feature information (510-1...510-n). This will be described with reference to FIG. 5.
  • the filtering module (125) can apply a Scale 0 LPF (520-1) to the feature information (310-1) to obtain the feature information (510-1) with the highest resolution. Since the Scale 0 LPF (520-1) is applied to the highest resolution scale of the data, the finest details of the data can be preserved. The filtering module (125) can obtain the highest resolution feature information (510-1) containing fine and subtle details by applying the Scale 0 LPF (520-1) to the feature information (310-1).
  • the filtering module (125) can apply a Scale 3 LPF (520-n) to the feature information (310-n) to obtain the feature information (510-n) with the lowest resolution. Since the Scale 3 LPF (520-n) is applied to the lowest resolution scale of the data, the overall structure of the data can be preserved. The filtering module (125) can obtain the feature information (510-n) with the lowest resolution by applying the Scale 3 LPF (520-n) to the feature information (310-n).
  • each of the plurality of second characteristic information (310-1, 310-2...310-n) are described above on the assumption that they are different filters, but they may be the same filter.
  • the filtering module (125) can perform filtering using the filtering coefficients obtained according to the conversion method used in the frequency domain conversion module (123). The method for obtaining the filtering coefficients will be described below with reference to FIG. 6.
  • the filtering module (125) can determine whether a filtering coefficient can be obtained based on the second feature information (310) converted into the frequency domain (S610).
  • a LPF Low Pass Filter
  • the filtering module (125) can apply the LPF based on the obtained filtering coefficients without applying the Discrete Wavelet Transform method in the process of converting into the frequency domain.
  • the filtering module (125) cannot obtain a filtering coefficient based on the second feature information (310) converted to the frequency domain (S610-N)
  • the filtering coefficient can be obtained by applying DWT to the first feature information (220) and then applying DCT (S630).
  • the first feature information (220) when converted into the frequency domain, low-frequency components and high-frequency components may not be accurately separated, or most of the energy may be concentrated in the low-frequency components, making it difficult to obtain filtering coefficients.
  • the filtering module (125) can obtain feature information decomposed by resolution (low-frequency component and high-frequency component feature information by resolution) according to the DWT conversion method, and then apply DCT to a specific resolution to extract a filtering coefficient.
  • the filtering module (125) can apply LPF to a plurality of second feature information (310-1, 310-2 ... 310-n) based on the obtained filtering coefficient (S620).
  • the filtering module (125) can filter the replicated second feature information (310-1...310-n) according to a conversion method for converting the first feature information (220) into the frequency domain.
  • the filtering module (125) may filter a plurality of second feature information (310-1...310-n) with a Left-top Gaussian Kernel when the first feature information (220) is converted into the second feature information (310) through a DCT (Discrete Cosine Transform) transformation method.
  • the Left-top Gaussian Kernel method is one of the Gaussian filters, and may be used to adjust the frequency component of the second feature information (310) when the first feature information (220) is converted into the second feature information (310) in the frequency domain through a DCT (Discrete Cosine Transform) transformation method.
  • the filtering module (125) may filter the plurality of second feature information (310-1...310-n) with center Gaussian when the first feature information (220) is converted into the second feature information (310) through the FFT (Fast Fourier Transform) conversion method.
  • FFT Fast Fourier Transform
  • the filtering module (125) may obtain feature information decomposed by resolution using the Discrete Wavelet Transform (DWT) method on the first feature information (220), and may convert the feature information decomposed by resolution into second feature information (310) using the Discrete Cosine Transform (DCT) method.
  • the filtering module (125) may filter using a Left-top Gaussian Kernel.
  • LPF low-pass filter
  • the filtering module (125) may perform filtering by presetting the standard deviation to a specific value. However, since it is difficult to calculate an exact standard deviation, the filtering module (125) may set the standard deviation to N/2n.
  • N is the dimension of the DCT (Discrete Cosine Transform) domain (i.e., the number of samples of the DCT-transformed signal), and n is a reduction factor for reducing the resolution. If the standard deviation is large, a filter including a wide frequency band may be generated, and if the standard deviation is small, a filter including a narrow frequency band may be generated.
  • the coefficients of the LPF may be generated based on the standard deviation. In the case of a Gaussian LPF, the larger the standard deviation, the larger the filter size, and at this time, the coefficients of the filter may give more weight to surrounding values.
  • the filtering module (125) can filter by setting the standard deviation as a learnable parameter. If the standard deviation is a learnable parameter, the size and shape of the filter applied to the plurality of second feature information (310-1, 310-2... 310-n) can be adjusted.
  • the filtering module (125) can set the standard deviation using the gradient descent method by setting the standard deviation as a learnable parameter.
  • the filtering module (125) can define a loss function, calculate the gradient for the standard deviation of the LPF (Low Pass Filter) using the backpropagation algorithm, and then adjust the standard deviation of the LPF (Low Pass Filter) using the calculated gradient to obtain the standard deviation.
  • the filtering module (125) can set a standard deviation that can perform precise filtering on the second feature information (310-1...310-n) by starting from an initially set value and adjusting it to fit the pattern of the second feature information (310-1...310-n).
  • the filtering module (125) filters the replicated second feature information with a LPF (Low Pass Filter) as illustrated in FIG. 7, the process of filtering the replicated feature information by resolution can be repeated multiple times to set a standard deviation.
  • LPF Low Pass Filter
  • the filtering module (125) can set the standard deviation for each resolution and then update the standard deviation. In Phase 1, the filtering module (125) can set the standard deviation value for each resolution to an arbitrary value (710-1, 710-2...710-n). When the filtering module (125) filters a plurality of second feature information (310-1...310-n) in Phase 1, less smoothing is applied, so that high-resolution detailed information can remain.
  • the filtering module (125) can filter after slightly increasing the standard deviation.
  • the filtering module (125) can filter the plurality of second feature information (310-1...310-n) based on the increased standard deviation (720-1, 720-2, 720-3, 720-4).
  • the filtering module (125) filters the plurality of second feature information (310-1...310-n) in Phase 2, more high-frequency components can be removed and low-frequency components can be maintained compared to Phase 1.
  • the filtering module (125) can filter by updating the standard deviation. As a result of repeating up to Phase n, the filtering module (125) can filter using a large standard deviation.
  • a LPF Low Pass Filter
  • a LPF Low Pass Filter
  • the activation function application module (127) can obtain a plurality of fourth feature information (920-1...920-n) based on a plurality of third feature information (510-1...510-n), and the plurality of image information acquisition modules (128) can obtain a plurality of image information (930-1...930-n) converted into a spatial domain based on a plurality of fourth feature information (920-1...920-n). This will be described later with reference to FIG. 8.
  • the activation function application module (127) can obtain a plurality of fourth feature information (920-1 ... 920-n) based on a plurality of third feature information (510-1 ... 510-n), activation function, and mask values (910-1 ... 910-n) (S810).
  • the mask application module (126) can apply a mask value (910-1 ... 910-n) to a plurality of third feature information (510-1 ... 510-n). By applying the mask value (910-1 ... 910-n) to a plurality of third feature information (510-1 ... 510-n), a specific portion of the data can be emphasized or suppressed.
  • the mask application module (126) may obtain continuous mask values (910-1 ... 910-n) and apply the mask values to a plurality of third feature information (510-1 ... 510-n).
  • the mask values (910-1 ... 910-n) may be expressed as continuous values between 0 and 1.
  • the mask application module (126) applies the mask values (910-1 ... 910-n) to a plurality of third feature information (510-1 ... 510-n)
  • the closer the mask values (910-1 ... 910-n) are to 0, the less emphasized the area to which the mask values (910-1 ... 910-n) are applied may be.
  • the mask value (910-1 ... 910-n) is 0.8
  • the area to which the mask value (910-1 ... 910-n) is applied can be maintained by 80%
  • the mask value (910-1 ... 910-n) is 0.2
  • the area to which the mask value (910-1 ... 910-n) is applied can be maintained by only 20%.
  • the mask application module (126) may obtain a binary mask value (910-1 ... 910-n) and apply the mask value to a plurality of third feature information (510-1 ... 510-n). That is, the mask value (910-1 ... 910-n) may be set to 0 or 1. For example, when the mask value (910-1 ... 910-n) is 1, the mask application module (126) may apply the mask value (910-1 ... 910-n) to maintain the area to which the mask value is applied.
  • the mask application module (126) can suppress the area to which the mask value is applied by applying the mask value (910-1 ... 910-n) when the mask value (910-1 ... 910-n) is 0.
  • the mask application module (126) can apply the mask values (910-1 ... 910-n) based on a specific threshold value when the mask values (910-1 ... 910-n) are binary.
  • the mask application module (126) can apply the mask values by setting pixels larger than the threshold value to 1 and pixels smaller than the threshold value to 0.
  • the mask application module (126) can apply mask values (910-1 ... 910-n) for each resolution based on a plurality of third feature information (510-1 ... 510-n) having different resolutions.
  • the feature information of the lowest resolution includes the overall and general characteristics of the object, and the mask application module (126) can set the mask values (910-1 ... 910-n) applied at the lowest resolution.
  • the mask values (910-1 ... 910-n) applied at the lowest resolution are set, the mask values (910-1 ... 910-n) applied at the next lower resolution can be set based on the mask values (910-1 ... 910-n) set first.
  • the mask application module (126) can apply mask values (910-1...910-n) to multiple third feature information (510-1...510-n) by hierarchically processing resolutions from low resolution to high resolution.
  • the mask application module (126) can apply mask values (910-1...910-n) by considering a low-resolution mask (910-n) and a high-resolution mask (910-1).
  • the low-resolution mask contains less detailed information of the data
  • the high-resolution mask can contain detailed information. Since the low-resolution image contains important information, the high-resolution image (930-1) can be learned based on the low-resolution mask (920-n) value. At this time, the mask value can be hierarchically updated at each stage where the resolution increases.
  • the activation function application module (127) can apply an activation function to a plurality of third feature information (510-1 ... 510-n) to which mask values (910-1 ... 910-n) are applied.
  • a plurality of fourth feature information (920-1 ... 920-n) can be obtained.
  • the activation function application module (127) can obtain multiple fourth feature information (920-1...920-n) by using the sigmoid function among the activation functions.
  • the sigmoid function nonlinearly transforms the input value and outputs the output, and the resulting value can be a value between 0 and 1.
  • the sigmoid function can be frequently used as an activation function in binary classification problems.
  • the activation function application module (127) can obtain the fourth feature information (920-1...920-n) by using the ReLU function, Tanh (Hyperbolic Tangent) function, Softmax function, etc. among the activation functions.
  • the spatial domain conversion module (128) can convert a plurality of fourth feature information (920-1 ... 920-n) from the frequency domain to the spatial domain to obtain a plurality of image information (930-1 ... 930-n) (S820).
  • the spatial domain transformation module (128) can transform a plurality of fourth feature information (920-1...920-n) into a spatial domain using an inverse Fourier transform (IFT) method or an inverse discrete cosine transform (IDCT) method.
  • IFT inverse Fourier transform
  • IDCT inverse discrete cosine transform
  • the inverse Fourier transform is a fundamental method for transforming signals from the frequency domain to the spatial domain, allowing the original signal to be reconstructed from its frequency components.
  • the inverse discrete cosine transform is the reverse process of the discrete cosine transform (DCT), allowing the frequency components to be restored back to the spatial domain of the signal, allowing the original signal to be reconstructed.
  • the spatial domain transformation module (128) can acquire multiple low-resolution images and multiple high-resolution images.
  • FIG. 10 is a flowchart for explaining the operation of an electronic device (100) according to one embodiment of the present disclosure.
  • the electronic device (100) can acquire multiple images containing an object (S1010).
  • the multiple images containing the object can be acquired through a camera or from memory (110).
  • the multiple images containing the object can be acquired from a separate external device.
  • the electronic device (100) can acquire first characteristic information of an object in a spatial domain based on the acquired multiple images (S1011).
  • the "object” can refer to any visually expressible entity included in the frame.
  • the object can be an object such as a desk, a chair, or a telephone, as well as a visually expressible concept.
  • the electronic device (100) can convert the acquired feature information (220) into a frequency domain (S1012). At this time, the electronic device (100) can convert the acquired first feature information (220) into a frequency domain according to the method described above in FIG. 3.
  • the electronic device (100) can replicate the acquired second characteristic information (310) into a plurality of second characteristic information (310-1 ... 310-n) (S1013).
  • the case where the electronic device (100) replicates the acquired second characteristic information (310) into a plurality of second characteristic information (310-1 ... 310-n) identical to the second characteristic information (310) has been described above, but the plurality of second characteristic information (310-1 ... 310-n) may not be identical.
  • the electronic device (100) can obtain a plurality of third feature information (510-1 ... 510-n) having different resolutions by applying a filter to each of the replicated second feature information (310-1 ... 310-n) (S1014). Specifically, the electronic device (100) can obtain third feature information (510-1 ... 510-n) implemented in high resolution from third feature information implemented in low resolution by applying a filter to each of the replicated second feature information (310-1 ... 310-n).
  • the electronic device (100) can obtain a plurality of fourth feature information (920-1 ... 920-n) synthesized based on the mask values (910-1 ... 910-n) and the activation function from the acquired plurality of third feature information (510-1 ... 510-n) (S1015).
  • the electronic device (100) can apply the mask values (910-1 ... 910-n) to the acquired plurality of third feature information (510-1 ... 510-n).
  • the mask values (910-1 ... 910-n) can emphasize or suppress frequency components.
  • the electronic device (100) can obtain a plurality of fourth feature information (920-1 ... 920-n) synthesized by inputting the third feature information (310-1 ... 310-n) to which the weights (1010-1 ... 1010-n) are applied to the activation function.
  • the electronic device (100) can convert the acquired plurality of fourth feature information (920-1 ... 920-n) into a spatial domain to acquire a plurality of images (930-1 ... 930-n) (S1016). Specifically, the electronic device (100) can convert the plurality of fourth feature information (920-1 ... 920-n) expressed in a frequency domain into a spatial domain to implement 3D modeling.
  • the electronic device (100) can obtain a 3D image with reduced aliasing problems by obtaining multiple images (930-1...930-n) of various resolutions.
  • FIG. 11 is a flowchart illustrating a method for controlling an electronic device (100) according to one embodiment of the present disclosure. Meanwhile, any description overlapping with FIG. 10 will be omitted.
  • the electronic device (100) can acquire multiple images including an object (S1110).
  • the electronic device (100) can acquire multiple images including an object from a camera or an external device.
  • the electronic device (100) can acquire first characteristic information (220) of the object in the spatial domain based on the acquired multiple images (S1120).
  • the first characteristic information (220) of the object includes geometric information of the object, etc., and can be acquired through a vector matrix decomposition method.
  • the electronic device (100) can convert the acquired first characteristic information (220) into second characteristic information (310) in the frequency domain (S1130). Since the method for converting into the frequency domain has been described above in FIG. 3, a detailed description thereof will be omitted.
  • the electronic device (100) can replicate the second characteristic information (310) into a plurality of second characteristic information (310-1 ... 310-n) (S1140).
  • a low pass filter LPF
  • the electronic device (100) can obtain a plurality of third feature information (510-1 ... 510-n) having different resolutions by applying a filter to each of the replicated second feature information (310-1 ... 310-n) (S1150). That is, when applying a LPF (Low Pass Filter) to the plurality of replicated second feature information (310-1 ... 310-n), a method corresponding to a method of converting into a frequency domain can be selected. When applying a LPF (Low Pass Filter), a detailed description will be omitted since the method of obtaining the size of the LPF (Low Pass Filter) has been described above with reference to FIGS. 5 and 6.
  • the methods according to various embodiments of the present disclosure may be provided as included in a computer program product.
  • the computer program product may be traded as a commodity between a seller and a buyer.
  • the computer program product may be distributed in the form of a machine-readable storage medium (e.g., compact disc read only memory (CD-ROM)), or may be distributed online (e.g., downloaded or uploaded) through an application store (e.g., Play StoreTM) or directly between two user (20) devices (e.g., smartphones).
  • CD-ROM compact disc read only memory
  • an application store e.g., Play StoreTM
  • smartphones e.g., smartphones.
  • At least a portion of the computer program product may be temporarily stored or temporarily generated in a machine-readable storage medium, such as the memory of a manufacturer's server, an application store's server, or a relay server.
  • the methods according to various embodiments of the present disclosure may be implemented as software including commands stored in a machine-readable storage medium that can be read by a machine (e.g., a computer).
  • the device is a device that can call commands stored from the storage medium and operate according to the called commands, and may include a server device or an electronic device according to the disclosed embodiments.
  • a device-readable storage medium may be provided in the form of a non-transitory readable recording medium.
  • the term “non-transitory readable recording medium” simply means a tangible device that does not contain signals (e.g., electromagnetic waves). This term does not distinguish between cases where data is stored semi-permanently in the storage medium and cases where data is stored temporarily.
  • a “non-transitory storage medium” may include a buffer in which data is temporarily stored.
  • the processor may perform the function corresponding to the instruction directly or by using other components under the control of the processor.
  • the instruction may include code generated or executed by a compiler or interpreter.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)

Abstract

전자 장치는 적어도 하나의 인스트럭션을 저장하는 메모리 및 메모리와 연결되어 전자 장치를 제어하는 프로세서를 포함하며, 프로세서는, 적어도 하나의 인스트럭션을 실행함으로써, 오브젝트를 포함하는 복수의 이미지를 획득하고, 획득된 복수의 이미지를 기초로 공간 도메인에서 오브젝트의 제1 특징 정보를 획득하고, 획득된 제1 특징 정보를 주파수 도메인의 제2 특징 정보로 변환하고, 제2 특징 정보를 복제하여 복수의 제2 특징 정보를 획득하고, 복수의 제2 특징 정보 각각에 필터를 적용하여 해상도가 다른 복수의 제3 특징 정보를 획득한다.

Description

전자 장치 및 제어방법
본 개시는 전자 장치 및 그 제어방법에 관한 것으로, 더욱 상세하게는 알리아싱(aliasing) 문제를 해결하기 위한 전자 장치 및 그 제어방법의 동작에 대한 것이다.
3D 렌더링은 모델링된 가상의 오브젝트 정보에 기초하여, 특정 시점에서의 영상을 생성하여 제공하는 영상 처리이다.
3D 렌더링 과정에서 신호 또는 이미지의 해상도가 높지 않은 경우, 원래 신호 또는 이미지에 존재하지 않는 왜곡 내지 잘못된 정보가 나타나는 알리아싱(aliasing) 문제가 존재한다.
알리아싱(aliasing) 문제를 해결하기 위하여, 수퍼 샘플링(super sampling), 프리 필터링(pre-filtering)의 방식이 존재하였다. 다만, 수퍼 샘플링(super sampling)은 학습 시간이 오래 걸리는 문제가 있으며, 프리 필터링(pre-filtering)은 MLP(Multi-Layer Perception)에 의존하므로 학습 시간이 오래 걸리는 문제가 있다.
따라서, 알리아싱(aliasing) 문제와 학습 시간이 오래 걸리는 문제를 해결하는 방안으로 본 개시에서는 3D 렌더링을 구현하기 전 주파수 도메인에서의 학습 과정을 추가하여 알리아싱(aliasing) 문제를 줄이기 위한 방안의 모색이 요청된다.
본 개시의 일 실시예에 따른 전자 장치는 오브젝트를 포함하는 복수의 이미지를 획득하고, 상기 획득된 복수의 이미지를 기초로 공간 도메인에서 상기 오브젝트의 제1 특징 정보를 획득하고, 상기 획득된 제1 특징 정보를 주파수 도메인의 제2 특징 정보로 변환하고, 상기 제2 특징 정보를 복제하여 복수의 제2 특징 정보를 획득하고, 상기 복수의 제2 특징 정보 각각에 필터를 적용하여 해상도가 다른 복수의 제3 특징 정보를 획득할 수 있다.
상기 프로세서는, 이산 웨이블릿 변환(Discrete Wavelet Transform; DWT), 이산 코사인 변환(Discrete Cosine Transform; DCT) 또는 FFT(Fast Fourier Transformation) 중 적어도 하나를 이용하여 주파수 도메인으로 변환된 제2 특징 정보를 획득할 수 있다.
상기 프로세서는, 상기 획득된 제1 특징 정보를 이산 웨이블릿 변환(Discrete Wavelet Transform; DWT) 변환하여, 주파수 대역 별 특징 정보를 획득하고, 상기 획득된 주파수 대역 별 특징 정보에 이산 코사인 변환(Discrete Cosine Transform; DCT) 또는 FFT(Fast Fourier Transformation)를 적용하여 주파수 영역으로 변환된 제2 특징 정보를 획득할 수 있다.
상기 프로세서는, 상기 주파수 도메인으로 변환된 제2 특징 정보에 기초하여 필터링 계수를 획득할 수 있는 경우, 상기 주파수 도메인으로 변환된 제2 특징 정보에 LPF를 적용하여 상기 복수의 제3 특징 정보를 획득할 수 있다.
상기 프로세서는, 상기 주파수 도메인으로 변환된 제2 특징 정보에 기초하여 필터링 계수를 획득할 수 없는 경우, 상기 제1 특징 정보를 이산 웨이블릿 변환(Discrete Wavelet Transform; DWT)하여 해상도 별 분해된 특징 정보를 획득하고, 상기 해상도 별 분해된 특징 정보를 이산 코사인 변환(Discrete Cosine Transform; DCT) 변환하여 상기 주파수 도메인 데이터로 변환된 제2 특징 정보를 획득하고, 획득된 제2 특징 정보에 기초하여 필터링 계수를 획득하고, LPF를 적용하여 상기 복수의 제3 특징 정보를 획득할 수 있다.
상기 프로세서는, 주파수 도메인으로 변환하는 변환 방법에 따라 상기 복제된 제2 특징 정보를 LPF로 필터링할 수 있다.
상기 프로세서는, 상기 복제된 제2 특징 정보를 LPF로 필터링하는 경우, 해상도 별로 상기 복제된 제2 특징 정보를 필터링하는 과정을 복수 회 반복할 수 있다.
상기 프로세서는, 상기 복수의 제3 특징 정보, 활성화 함수 및 마스크 값에 기초하여 복수의 제4 특징 정보를 획득하고, 상기 획득한 복수의 제4 특징 정보를 공간 도메인으로 변환하여 해상도가 다른 복수의 이미지를 획득할 수 있다.
본 개시의 일 실시예에 따른 전자 장치의 제어방법에 있어서, 상기 획득된 복수의 이미지를 기초로 공간 도메인에서 상기 오브젝트의 제1 특징 정보를 획득하는 단계; 상기 획득된 제1 정보를 주파수 도메인의 제2 특징 정보로 변환하는 단계; 상기 제2 특징 정보를 복제하여 복수의 제2 특징 정보를 획득하는 단계; 및 상기 복수의 제2 특징 정보 각각에 필터를 적용하여 해상도가 다른 복수의 제3 특징 정보를 획득하는 단계; 를 포함한다.
이산 웨이블릿 변환(Discrete Wavelet Transform; DWT), 이산 코사인 변환(Discrete Cosine Transform; DCT) 또는 FFT(Fast Fourier Transformation) 중 적어도 하나를 이용하여 주파수 도메인으로 변환된 제2 특징 정보를 획득하는 단계;를 포함할 수 있다.
상기 획득된 제1 특징 정보를 이산 웨이블릿 변환(Discrete Wavelet Transform; DWT) 변환하여, 주파수 대역 별 특징 정보를 획득하는 단계; 및 상기 획득된 주파수 대역 별 특징 정보에 이산 코사인 변환(Discrete Cosine Transform; DCT) 또는 FFT(Fast Fourier Transformation)를 적용하여 주파수 영역으로 변환된 제2 특징 정보를 획득하는 단계;를 포함할 수 있다.
상기 주파수 도메인으로 변환된 제2 특징 정보에 기초하여 필터링 계수를 획득할 수 있는 경우, 상기 주파수 도메인으로 변환된 제2 특징 정보에 LPF를 적용하여 상기 복수의 제3 특징 정보를 획득하는 단계;를 포함할 수 있다.
상기 주파수 도메인으로 변환된 제2 특징 정보에 기초하여 필터링 계수를 획득할 수 없는 경우, 상기 제1 특징 정보를 이산 웨이블릿 변환(Discrete Wavelet Transform; DWT)하여 해상도 별 분해된 특징 정보를 획득하는 단계; 상기 해상도 별 분해된 특징 정보를 이산 코사인 변환(Discrete Cosine Transform; DCT) 변환하여 상기 주파수 도메인 데이터로 변환된 제2 특징 정보를 획득하는 단계; 및 획득된 제2 특징 정보에 기초하여 필터링 계수를 획득하고, LPF를 적용하여 상기 복수의 제3 특징 정보를 획득하는 단계;를 포함할 수 있다.
주파수 도메인으로 변환하는 변환 방법에 따라 상기 복제된 제2 특징 정보를 LPF로 필터링하는 단계;를 포함할 수 있다.
상기 복제된 제2 특징 정보를 LPF로 필터링하는 경우, 해상도 별로 상기 복제된 특징 정보를 필터링하는 과정을 복수 회 반복하는 단계;를 포함할 수 있다.
상기 복수의 제3 특징 정보, 활성화 함수 및 마스크 값에 기초하여 복수의 제4 특징 정보를 획득하는 단계; 및 상기 획득한 복수의 제4 특징 정보를 공간 도메인으로 변환하여 해상도가 다른 복수의 이미지를 획득하는 단계;를 포함할 수 있다.
도 1은 본 개시의 일 실시예에 따른, 전자 장치의 구성을 나타내는 블록도이며,
도 2는 본 개시의 일 실시예에 따른, 오브젝트의 특징 정보를 획득하는 과정을 설명하기 위한 도면이며,
도 3은 본 개시의 일 실시예에 따른, 공간 도메인에서 획득한 오브젝트의 특징 정보를 주파수 도메인으로 변환하는 과정을 설명하기 위한 도면이며,
도 4는 본 개시의 일 실시예에 따른, 주파수 도메인으로 변환된 특징 정보를 복제하는 과정을 설명하기 위한 도면이며,
도 5 내지 도 7는 본 개시의 일 실시예에 따른, 복제된 복수의 특징 정보에 LPF(Low Pass Filter)를 적용하는 과정을 설명하기 위한 도면이며,
도 8은 본 개시의 일 실시예에 따른, 복수의 제3 특징 정보를 기초로 해상도가 다른 복수의 이미지를 획득하는 방법을 설명하기 위한 흐름도이며,
도 9는 본 개시의 일 실시예에 따른, 복수의 제3 특징 정보를 해상도가 다른 복수의 이미지를 획득하는 방법을 설명하기 위한 도면이며,
도 10는 본 개시의 일 실시예에 따른, 전자 장치의 동작을 설명하기 위한 흐름도이며,
도 11은 본 개시의 일 실시예에 따른, 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
이하, 본 발명의 다양한 실시 예에 대해서, 첨부된 도면을 참조하여 설명한다. 본 명세서에 기재된 내용은, 본 발명의 범위를 특정한 실시 형태로 한정하려는 것이 아니며, 실시 예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 동일 또는 유사한 참조 부호가 사용될 수 있다.
또한, 본 명세서에서 사용된 "제1," "제2," 등의 표현들은 다양한 구성요소들을, 순서나 중요도에 상관없이, 각 구성요소들을 서로 구분하기 위해 사용된다. 따라서, 이러한 표현에 의해 해당 구성요소들의 순서나 중요도가 한정되는 것은 아니다. 예를 들면, 본 문서에 기재된 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 바꾸어 명명될 수 있다.
또한, 본 명세서에서 하나의 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 기능적 또는 통신적으로(operatively or communicatively) 연결(coupled)되어 있다거나, 접속되어(connected to) 있다고 언급하는 것은, 각 구성요소들이 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 간접적으로 연결되는 경우까지 모두 포함할 수 있다는 것으로 이해되어야 한다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 어떤 구성요소와 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 명세서(disclosure)에서 사용된 용어들은, 임의의 실시 예를 설명하기 위해 사용된 것으로, 다른 실시 예의 범위를 한정하려는 의도가 아닐 수 있다. 또한, 본 명세서에서는 설명의 편의상 단수 표현을 사용할 수도 있으나, 이는 문맥상 명백하게 다르게 뜻하지 않는 한, 복수 표현까지 포함하는 의미로 해석될 수 있다. 또한, 본 명세서에서 사용되는 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 명세서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 명세서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 명세서에서 정의된 용어일지라도 본 명세서의 실시 예들을 배제하도록 해석될 수 없다.
이하에서는 첨부한 도면을 참고하여 본 개시에 따른 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
도 1은 본 개시의 적어도 하나의 실시 예에 따른, 전자 장치(100)의 구성을 나타내기 위한 블록도이다. 전자 장치(100)는 메모리(110) 및 프로세서(120)를 포함한다. 한편, 도 1에 도시된 전자 장치(100)의 구성은 일 실시예에 불과할 뿐, 전자 장치(100)의 유형에 따라 일부 구성이 추가될 수 있음은 물론이다. 본 개시의 일 실시예에 따른, 전자 장치(100)는 서버로 구현될 수 있으나, 이는 일 실시예에 불과할 뿐, 다른 전자 장치(예를 들면, 텔레비전, DVD(digital video disk) 플레이어, 미디어 박스(예: 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 게임 콘솔(예: XboxTM, PlayStationTM), 캠코더, VR 헤드셋, AR 헤드셋, 3D 스캐너, 스마트 글라스 또는 전자 액자 등)으로 구현될 수 있다.
메모리(110)는 전자 장치(100) 의 구성요소들의 전반적인 동작을 제어하기 위한 운영체제(OS: Operating System) 및 전자 장치(100)의 구성요소와 관련된 인스트럭션 또는 데이터를 저장할 수 있다.
메모리(110)는 복수 개의 이미지를 저장할 수 있다. 메모리(110)는 오브젝트의 특징 정보를 획득하기 위해 오브젝트가 포함된 복수 개의 이미지를 저장할 수 있다. 도 1에는 도시되지 않았으나, 전자 장치(100)는 카메라가 포함될 수 있으며, 카메라가 획득한 이미지를 메모리(110)에 저장할 수 있다.
한편, 설명의 편의를 위하여, 공간 도메인에서 획득한 오브젝트의 특징 정보를 제1 특징 정보(220), 제1 특징 정보(220)를 주파수 도메인으로 변환한 특징 정보를 제2 특징 정보(310), 복수의 복제된 제2 특징 정보(310-1, 310-2 … 310-n)에 필터를 적용한 특징 정보를 제3 특징 정보(510-1, 510-2 … 510-n), 제3 특징 정보(510-1, 510-2 … 510-n)에 활성화 함수 및 마스크 값(910-1 …910-n)을 적용한 특징 정보를 제4 특징 정보(920-1 …910-n), 제4 특징 정보(920-1 …910-n)를 다시 공간 도메인으로 변환한 복수의 이미지(930-1 … 930-n)로 정의하여 후술한다.
메모리(110)는 오브젝트의 제1 특징 정보(220)가 공간 도메인에서 주파수 도메인으로 변환되는 경우, 주파수 도메인에서 해상도가 다른 오브젝트의 제3 특징 정보(510-1, 510-2 … 510-n)를 처리하기 위해 필요한 데이터를 저장할 수 있다. 메모리(110)는 오브젝트의 제3 특징 정보(510-1, 510-2 … 510-n)를 획득하기 위하여 이미지 획득 모듈(121), 이미지 특징 정보 획득 모듈(122), 주파수 영역 변환 모듈(123), 제2 특징 정보 복제 모듈(124), 필터링 모듈(125), 마스크 적용 모듈(126), 활성화 함수 적용 모듈(127) 및 복수의 이미지 정보 획득 모듈(128)에 대한 데이터를 저장할 수 있다. 오브젝트의 제3 특징 정보(510-1, 510-2 … 510-n)를 획득하기 위한 이벤트가 발생되면, 프로세서(120)는 도 1에 도시된 바와 같이, 메모리(110)에 저장된 이미지 획득 모듈(121), 이미지 특징 정보 획득 모듈(122), 주파수 영역 변환 모듈(123), 제2 특징 정보 복제 모듈(124) 및 필터 링 모듈(125), 마스크 적용 모듈(126), 활성화 함수 적용 모듈(127) 및 복수의 이미지 정보 획득 모듈(128)을 로딩할 수 있다.
한편, 메모리(110)는 전력 공급이 중단되더라도 저장된 정보를 유지할 수 있는 비휘발성 메모리 및 저장된 정보를 유지하기 위해서는 지속적인 전력 공급이 필요한 휘발성 메모리를 포함할 수 있다. 오브젝트가 포함된 복수의 이미지 데이터 또는 오브젝트의 제1 특징 정보를 획득하기 위한 모듈, 오브젝트의 특징 정보를 공간 도메인에서 주파수 도메인으로 변환하는 모듈과 같이 각종 동작을 수행하기 위한 데이터는 비휘발성 메모리에 저장될 수 있다.
메모리(110)는 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)) 등 다양한 형태로 구현될 수 있다.
프로세서(120)는 메모리(110)와 전기적으로 연결되어 전자 장치(100)의 전반적인 기능 및 동작을 제어할 수 있다.
프로세서(120)는 하나 이상의 프로세서를 포함할 수 있다. 구체적으로, 하나 이상의 프로세서는 CPU (Central Processing Unit), GPU (Graphics Processing Unit), APU (Accelerated Processing Unit), MIC (Many Integrated Core), DSP (Digital Signal Processor), NPU (Neural Processing Unit), 하드웨어 가속기 또는 머신 러닝 가속기 중 하나 이상을 포함할 수 있다. 프로세서(120)는 전자 장치의 다른 구성요소 중 하나 또는 임의의 조합을 제어할 수 있으며, 통신에 관한 동작 또는 데이터 처리를 수행할 수 있다. 하나 이상의 프로세서는 메모리에 저장된 하나 이상의 프로그램 또는 명령어(instruction)을 실행할 수 있다. 예를 들어, 하나 이상의 프로세서는 메모리에 저장된 하나 이상의 명령어를 실행함으로써, 본 개시의 일 실시 예에 따른 방법을 수행할 수 있다.
하나 이상의 프로세서는 하나의 코어를 포함하는 단일 코어 프로세서(single core processor)로 구현될 수도 있고, 복수의 코어(예를 들어, 동종 멀티 코어 또는 이종 멀티 코어)를 포함하는 하나 이상의 멀티 코어 프로세서(multicore processor)로 구현될 수도 있다. 하나 이상의 프로세서가 멀티 코어 프로세서로 구현되는 경우, 멀티 코어 프로세서에 포함된 복수의 코어 각각은 캐시 메모리, 온 칩(On-chip) 메모리와 같은 프로세서 내부 메모리를 포함할 수 있으며, 복수의 코어에 의해 공유되는 공통 캐시가 멀티 코어 프로세서에 포함될 수 있다. 또한, 멀티 코어 프로세서에 포함된 복수의 코어 각각(또는 복수의 코어 중 일부)은 독립적으로 본 개시의 일 실시예에 따른 방법을 구현하기 위한 프로그램 명령을 판독하여 수행할 수도 있고, 복수의 코어 전체(또는 일부)가 연계되어 본 개시의 일 실시예에 따른 방법을 구현하기 위한 프로그램 명령을 판독하여 수행할 수도 있다.
특히, 프로세서(120)는 적어도 하나의 인스트럭션을 실행함으로써, 오브젝트를 포함하는 복수의 이미지를 획득하고, 획득된 복수의 이미지를 기초로 공간 도메인에서 오브젝트의 제1 특징 정보(220)를 획득하고, 획득된 제1 특징 정보(220)를 주파수 도메인의 제2 특징 정보(310)로 변환하고, 제2 특징 정보(310)를 복제하여 복수의 제2 특징 정보(310-1, 310-2 … 310-n)를 획득하고, 복수의 제2 특징 정보(310-1, 310-2 … 310-n) 각각에 필터를 적용하여 해상도가 다른 복수의 제3 특징 정보(510-1 … 510-n)를 획득할 수 있다.
이하에서는, 도 2 내지 도 11를 참조하여 프로세서(120)에 의해 제어되는 전자 장치(100)의 동작에 대해 더욱 상세히 설명하기로 한다.
우선, 이미지 획득 모듈(121)은 오브젝트가 포함된 복수의 이미지를 획득할 수 있다. 이미지 획득 모듈(121)은 카메라를 통해 오브젝트가 포함된 복수의 이미지를 획득하거나 외부 장치로부터 오브젝트가 포함된 복수의 이미지를 획득할 수도 있다. 이 때, 복수의 이미지 각각은 하나 이상의 오브젝트를 포함한 이미지가 될 수 있다.
오브젝트 특징 정보 획득 모듈(122)은 도 2에 도시된 바와 같이 오브젝트의 제1 특징 정보(220)를 획득할 수 있다.
제1 특징 정보(220)는 오브젝트의 기하학적 정보(예를 들어, 버텍스(Vertex), 엣지(Edge), 페이스(Face), 오브젝트의 색상, 오브젝트의 스케일(각 축에 대한 오브젝트의 크기 비율)을 나타내는 정보일 수 있다. 여기서 특징 정보는 특징 맵, 특징 값, 특징 매트릭스, 특성 분포 등으로 불릴 수 있다.
오브젝트 특징 정보 획득 모듈(122)은 공간 도메인의 각 축에서의 특징 정보(210-1, 210-2, 210-3)를 조합하여 오브젝트의 제1 특징 정보(220)를 획득할 수 있다.
설명의 편의를 위하여 도 2에서 오브젝트의 제1 특징 정보(220)는 직사각형으로 도시하였지만, 제1 특징 정보(220)는 vector matrix structure(즉, 벡터를 요소로 가지는 행렬 구조)이다.
오브젝트 특징 정보 획득 모듈(122)은 벡터 행렬 분해 방식(Vector matrix decomposition)을 사용하여 오브젝트의 제1 특징 정보(220)를 획득할 수 있다.
벡터 행렬 분해 방식(Vector matrix decomposition)이란 데이터의 압축에서 사용되는 방법으로, 원래의 행렬을 몇 개의 요소로 분해하여 데이터의 처리를 쉽게 만드는 방법이다. 벡터와 행렬을 분해하는 방법에는, 특이 값 분해(Singular Value Decomposition; SVD), 고유값 분해(Eigen Decomposition), QR Decomposition과 같은 방법이 있다. 특이 값 분해(Singular Value Decomposition; SVD)는 임의의 m * n 행렬 A를 세 개의 행렬의 곱으로 분해하는 방식이다. 고유값 분해(Eigen Decomposition)는 행렬을 고유값과 고유벡터로 분해하는 방식으로, 주로 대칭 행렬에서 사용된다. QR Decomposition은 주어진 행렬을 두 개의 행렬 Q와 R로 분해하는 방법으로, Q는 직교 행렬로, 열벡터가 서로 직교하고 크기가 1이다. R은 상삼각 행렬로, 주대각선 아래의 모든 요소가 0이다. QR Decomposition은 Gram-Schmidt 정규화 방법 또는 Householder 변환 방법을 사용할 수 있다. Gram-Schmidt 정규화 방법은 주어진 행렬의 열벡터를 직교화하고 정규화하여 Q와 R을 얻는 방법이다. Householder 변환은 행렬을 주어진 벡터를 새로운 벡터 방향으로 반사시키는 과정을 통해, 행렬을 직교 행렬과 상삼각 행렬로 분해하는 방법이다.
제1 특징 정보(220)를 획득하는 일 실시예로, 오브젝트 특징 정보 획득 모듈(122)은 Grid 방식으로 공간 도메인에서 오브젝트의 제1 특징 정보(220)를 획득할 수 있다. 제1 특징 정보(220)를 Grid 방식으로 획득하는 경우, 3차원 공간을 균일한 격자(grid)로 나누어 데이터를 관리할 수 있다. 즉, 공간을 균일한 크기의 격자로 분할하여 데이터를 저장하고 쿼리할 수 있으며, 각 격자 셀은 고정된 크기를 가질 수 있다. 격자의 해상도는 이미 정의되어 있으며, 고정된 크기로 설정될 수 있다.
제1 특징 정보(220)를 획득하는 또다른 실시예로, 오브젝트 특징 정보 획득 모듈(122)은 Octree 방식, Tri 방식(Triangular Mesh), Implicit Neural Representations 또는 Point-based Methods 등 다른 방식을 이용하여 제1 특징 정보(220)를 획득할 수 있다. Octree 방식은 3D 공간을 효율적으로 분할하고 표현하는 트리 구조의 데이터 구조이다. 오브젝트 특징 정보 획득 모듈(122)은 Octree 방식을 사용하여 3차원 공간을 반복적으로 8개의 동일한 크기의 부피로 나누어, 제1 특징 정보(220)를 획득할 수 있다. Tri 방식(Triangular Mesh)은 3차원 공간을 삼각형으로 이루어진 메쉬(mesh)로 표현하는 방식이다. 점(point)와 삼각형(triangle)을 이용하여 3차원 표면을 나타낼 수 있다. 각 삼각형은 세 점의 연결로 정의되며, 이들은 공간을 직접적으로 나타내는데 사용될 수 있다. 오브젝트 특징 정보 획득 모듈(122)은 Tri 방식(Triangular Mesh)을 사용하여 제1 특징 정보(220)를 획득할 수 있다.
주파수 도메인 변환 모듈(123)은 공간 도메인에서의 오브젝트의 특징 정보(220)를 주파수 도메인에서의 오브젝트의 특징 정보(310)로 변환할 수 있다. 이에 대해서는 도 3을 참조하여 후술하도록 한다.
주파수 도메인 변환 모듈(123)은 도 3에 도시된 바와 같이 제1 특징 정보(220)에 이산 웨이블릿 변환(Discrete Wavelet Transform; DWT), 이산 코사인 변환(Discrete Cosine Transform; DCT) 또는 FFT(Fast Fourier Transformation) 중 적어도 하나의 변환 방법을 이용하여 제2 특징 정보(310)로 변환할 수 있다.
주파수 도메인 변환 모듈(123)은 공간 도메인에서 획득된 제1 특징 정보(220)를 이산 웨이블릿 변환 방법(Discrete Wavelet Transform; DWT)을 통해 변환하여, 주파수 대역 별 특징 정보를 획득한 후, 획득된 주파수 대역 별 특징 정보에 이산 코사인 변환(Discrete Cosine Transform; DCT) 또는 FFT(Fast Fourier Transformation)를 적용하여 제2 특징 정보로 변환할 수 있다.
일 실시예로, 주파수 도메인 변환 모듈(123)은 제1 특징 정보(220)에 DWT 변환 방법(Discrete Wavelet Transform)을 적용하여 고주파 필터와 저주파 필터로 나누며, 주파수 도메인으로 변환할 수 있다. 저주파 필터를 통과한 신호는 대략적인 정보, 고주파 필터를 통과한 신호는 세부 정보로 분해될 수 있다. 주파수 도메인 변환 모듈(123)은 저주파 필터를 통과한 신호를 다시 고주파 필터와 저주파 필터를 사용하여 두 부분으로 나누어, 저주파 성분을 반복적으로 분해하여 신호의 대략적인 구조를 점점 더 세밀하게 분석할 수 있다.
또다른 실시예로, 주파수 도메인 변환 모듈(123)은 DCT 변환 방법(Discrete Cosine Transform)을 사용하여 주파수 도메인으로 변환할 수 있다. DCT 변환 방법(Discrete Cosine Transform)으로 제1 특징 정보(220)를 제2 특징 정보(310)로 변환하는 경우, 저주파 성분에 에너지를 집중시키므로, 데이터를 압축할 수 있다. 이미지 데이터가 입력된 경우, 이미지는 일반적으로 픽셀 값의 행렬로 표현될 수 있다. 이미지는 보통 8x8 또는 16x16 크기의 블록으로 나누어 처리할 수 있다. 주파수 도메인 변환 모듈(123)은 각 블록에 대해 DCT 변환을 수행할 수 있으며, DCT 변환 결과로 얻어진 주파수 성분 중, 저주파 성분은 주로 블록의 대략적인 정보를 나타내고 고주파 성분은 블록의 세부 정보를 나타낼 수 있다. DCT 변환 결과로 얻어진 주파수 성분에 적절한 양자화(quantization) 테이블을 사용하여 양자화하여 추가 압축할 수 있다.
또다른 실시예로, 주파수 도메인 변환 모듈(123)은 제1 특징 정보(220)에 FFT 변환 방법(Fast Fourier Transform)을 사용하여 주파수 도메인으로 변환할 수 있다. FFT 변환 방법(Fast Fourier Transform)은 분할 정복 알고리즘의 일종으로, 신호의 크기를 반으로 줄이면서 재귀적으로 계산을 수행할 수 있다. 주파수 도메인 변환 모듈(123)은 제1 특징 정보(220)에 FFT 변환 방법을 사용하여 주파수 도메인으로 변환된 신호의 크기와 위상 정보, 즉 제2 특징 정보(310)를 획득할 수 있다.
또다른 실시예로, 주파수 도메인 변환 모듈(123)은 제1 특징 정보(220)에 DWT 변환 방법 및 DCT 변환 방법을 사용하여 주파수 도메인으로 변환할 수 있다. 주파수 도메인 변환 모듈(123)은 제1 특징 정보(220)에 DWT 변환 방법을 적용하여 여러 해상도 성분을 추출하고, 추출된 성분 중 일부 성분에 DCT 변환 방법을 적용하여 주파수 도메인으로 변환할 수 있다.
구체적으로, 주파수 도메인 변환 모듈(123)은 제1 특징 정보(220)에 DWT 변환 방법(Discrete Wavelet Transform)을 사용하여 저주파 성분 및 고주파 성분(즉, 저해상도 데이터 및 여러 고해상도 세부 성분들)으로 추출할 수 있다. 주파수 도메인 변환 모듈(123)은 이산 웨이블릿 변환 방법(Discrete Wavelet Transform; DWT)으로 획득한 해상도 별 데이터에 DCT(Discrete Wavelet Transform) 변환 방법을 적용하여 주파수 도메인으로 변환된 각 해상도 레벨의 데이터를 획득할 수 있다. 주파수 도메인 변환 모듈(123)은 DWT(Discrete Wavelet Transform) 변환 방법 및 DCT(Discrete Cosine Transform) 변환 방법을 사용하여 각 해상도 레벨에서 보존해야 할 데이터를 유지할 수 있다.
또다른 실시예로, 주파수 도메인 변환 모듈(123)은 제1 특징 정보(220)를 DWT(Discrete Wavelet Transform) 변환 방법을 이용하여 각 해상도 레벨에서 고주파 성분과 저주파 성분을 획득하고, 획득된 각 저주파 성분과 고주파 성분에 대해 FFT(Fast Fourier Transformation)를 적용하여 주파수 도메인으로 변환할 수 있다.
또다른 실시예로, 주파수 도메인 변환 모듈(123)은 제1 특징 정보(220)에 FFT 변환 방법을 이용하여 주파수 도메인으로 변환한 후, 주요 주파수 정보에 대해 추가적으로 DCT 변환 방법을 이용할 수 있다.
주파수 도메인 변환 모듈(123)이 DWT(Discrete Wavelet Transform), DCT(Discrete Cosine Transform), FFT(Fast Fourier Transformation)의 변환 방법을 이용하여 제2 특징 정보(310)를 주파수 도메인으로 변환하는 경우에 대해 상술하였다. 다만, 이는 일 실시예일 뿐, 주파수 도메인 변환 모듈(123)은 STFT(Short-Time Fourier Transform), CWT(Continuous Wavelet Transform), FrFT(Fractional Fourier Transform) 등의 변환 방법을 이용하여 제1 특징 정보(220)를 제2 특징 정보(310)로 변환할 수 있다.
제2 특징 정보 복제 모듈(124)은 도 4에 도시된 바와 같이, 제2 특징 정보(310)를 복수의 제2 특징 정보(310-1, 310-2 … 310-n)로 복제할 수 있다.
필터링 모듈(125)은 복수의 제2 특징 정보(310-1, 310-2 … 310-n)를 필터링하여 복수의 제3 특징 정보(510-1 … 510-n)를 획득할 수 있다. 이에 대해서는 도 5를 참조하여 설명하기로 한다.
필터링 모듈(125)은 해상도가 가장 높은 특징 정보(510-1)를 획득하기 위하여 특징 정보(310-1)에 Scale 0 LPF(520-1)를 적용할 수 있다. Scale 0 LPF(520-1)는 데이터의 가장 높은 해상도 스케일에 적용되므로, 데이터의 가장 세밀한 세부 사항을 보존할 수 있다. 필터링 모듈(125)은 특징 정보(310-1)에 Scale 0 LPF(520-1)를 적용하여, 미세하고 세밀한 세부 사항을 담고 있는 가장 고해상도의 특징 정보(510-1)를 획득할 수 있다.
그에 반해, 필터링 모듈(125)은 해상도가 가장 낮은 특징 정보(510-n)를 획득하기 위하여 특징 정보(310-n)에 Scale 3 LPF(520-n)를 적용할 수 있다. Scale 3 LPF(520-n)는 데이터의 가장 낮은 해상도 스케일에 적용되므로, 데이터의 전체적인 구조를 보존할 수 있다. 필터링 모듈(125)은 특징 정보(310-n)에 Scale 3 LPF(520-n)를 적용하여, 가장 저해상도의 특징 정보(510-n)를 획득할 수 있다.
한편, 복수의 제2 특징 정보(310-1, 310-2 … 310-n) 각각에 적용되는 필터는 다른 필터인 경우를 전제로 상술하였으나, 같은 필터일 수 있다.
필터링 모듈(125)은 주파수 도메인 변환 모듈(123)에서 사용된 변환 방법에 따라 획득한 필터링 계수를 이용하여 필터링 할 수 있다. 필터링 계수를 획득하는 방법에 대해서는 이하 도 6을 참조하여 설명하기로 한다.
필터링 모듈(125)은 주파수 도메인으로 변환된 제2 특징 정보(310)에 기초하여 필터링 계수를 획득할 수 있는지 판단할 수 있다(S610).
필터링 모듈(125)이 주파수 도메인으로 변환된 제2 특징 정보(310)에 기초하여 필터링 계수를 획득할 수 있는 경우(S610-Y), 복수의 제2 특징 정보(310-1, 310-2 … 310-n)에 LPF(Low Pass Filter)를 적용할 수 있다(S620). 필터링 모듈(125)은 필터링 계수를 획득할 수 있는 경우, 주파수 도메인으로 변환하는 과정에서 이산 웨이블릿 변환 방법(Discrete Wavelet Transform)을 적용하지 않고 획득한 필터링 계수를 기초로 LPF를 적용할 수 있다.
필터링 모듈(125)이 주파수 도메인으로 변환된 제2 특징 정보(310)에 기초하여 필터링 계수를 획득할 수 없는 경우(S610-N), 제1 특징 정보(220)에 DWT 를 적용한 후 DCT 적용하여 필터링 계수를 획득할 수 있다(S630).
예를 들어, 제1 특징 정보(220)가 주파수 도메인으로 변환되는 경우, 저주파 성분과 고주파 성분이 정확하게 분리되지 않거나, 대부분의 에너지가 저주파 성분에 집중되어 필터링 계수 획득이 어려울 수 있다.
필터링 모듈(125)이 필터링 계수를 획득할 수 없는 경우, 필터링 모듈(125)은 DWT 변환 방법에 따라 해상도 별 분해된 특징 정보(해상도 별 저주파 성분과 고주파 성분 특징 정보)를 획득한 후, 특정 해상도에 대해 DCT를 적용하여, 필터링 계수를 추출할 수 있다. 필터링 모듈(125)은 획득한 필터링 계수를 기초로 복수의 제2 특징 정보(310-1, 310-2 … 310-n)에 LPF를 적용할 수 있다(S620).
필터링 모듈(125)은 제1 특징 정보(220)를 주파수 도메인으로 변환하는 변환 방법에 따라, 복제된 제2 특징 정보(310-1 … 310-n)에 필터링할 수 있다.
일 실시예로, 필터링 모듈(125)은 제1 특징 정보(220)가 DCT (Discrete Cosine Transform)의 변환 방법을 통해 제2 특징 정보(310)로 변환된 경우, 복수의 제2 특징 정보(310-1 … 310-n)에 Left-top Gaussian Kernel로 필터링할 수 있다. Left-top Gaussian Kernel 방법은 가우시안 필터(Gaussian Filter) 중 하나의 필터로서, 제1 특징 정보(220)가 DCT(Discrete Cosine Transform) 변환 방법으로 주파수 도메인의 제2 특징 정보(310)로 변환된 경우, 제2 특징 정보(310)의 주파수 성분을 조절하기 위해 사용될 수 있다.
또다른 실시예로, 필터링 모듈(125)은 제1 특징 정보(220)가 FFT(Fast Fourier Transform)의 변환 방법을 통해 제2 특징 정보(310)로 변환된 경우, 복수의 제2 특징 정보(310-1 … 310-n)에 center Gaussian로 필터링할 수 있다. Center Gaussian의 필터를 사용하는 경우, 주파수 도메인에서 중심 주변의 주파수 성분이 강조될 수 있다. 주파수 도메인에서 주파수의 값이 원점을 중심으로 가까울수록 절대값이 높게 나타나므로, center Gaussian 필터를 적용한 경우 원점 주변의 주파수 성분이 강조될 수 있다.
다른 실시예로, 필터링 모듈(125)은 제1 특징 정보(220)에 이산 웨이블릿 변환 방법(Discrete Wavelet Transform; DWT)을 이용하여 해상도 별 분해된 특징 정보를 획득하고, 해상도 별 분해된 특징 정보에 이산 코사인 변환(Discrete Cosine Transform; DCT)방법을 사용하여 제2 특징 정보(310)로 변환될 수 있다. 이 때, 필터링 모듈(125)은 Left-top Gaussian Kernel로 필터링할 수 있다.
해상도 별로 복제된 특징 정보(310-1 … 310-n)를 필터링하는 경우 정확한 표준편차를 기초로 LPF(Low Pass Filter) 적용하는 것이 요구된다. 이하 표준편차를 결정하는 방법에 대해 후술하도록 한다.
일 실시예로, 필터링 모듈(125)은 표준편차를 특정 값으로 미리 설정하여 필터링 할 수 있다. 다만, 정확한 표준편차를 계산하는 것은 어렵기 때문에, 필터링 모듈(125)은 표준 편차를 N/2n으로 설정할 수 있다. N은 DCT(Discrete Cosine Transform) 도메인의 차원(즉, DCT 변환된 신호의 샘플 수), n은 해상도를 줄이는 비율(reduction factor)이다. 표준 편차가 큰 경우 넓은 주파수 대역을 포함하는 필터가 생성되고, 표준 편차가 작으면 좁은 주파수 대역을 포함하는 필터가 생성될 수 있다. LPF의 계수는 표준 편차를 기반으로 생성될 수 있다. Gaussian LPF의 경우, 표준 편차가 클수록 필터의 크기가 커지며, 이 때 필터의 계수는 주변 값에 더 많은 가중치를 부여할 수 있다.
또다른 실시예로, 필터링 모듈(125)은 표준 편차를 학습 가능한 매개변수(learnable parameter)로 설정하여 필터링할 수 있다. 표준 편차가 학습 가능한 매개변수인 경우, 복수의 제2 특징 정보(310-1, 310-2 … 310-n)에 적용되는 필터의 크기와 형태를 조절할 수 있다. 필터링 모듈(125)은 표준편차를 학습 가능한 매개변수로 설정하여 경사 하강법을 사용하여 표준편차를 설정할 수 있다. 필터링 모듈(125)은 손실 함수를 정의하고, 역전파 알고리즘을 사용하여 LPF(Low Pass Filter)의 표준편차에 대한 그래디언트를 계산한 후, 계산된 그래디언트를 이용하여 LPF(Low Pass Filter)의 표준편차를 조정하여, 표준편차를 획득할 수 있다. 필터링 모듈(125)은 표준편차를 초기에 설정된 값에서 시작하여, 제2 특징 정보(310-1 … 310-n)의 패턴에 맞게 조정하여 획득하여, 제2 특징 정보(310-1 … 310-n)에 대해 정교한 필터링을 할 수 있는 표준편차를 설정할 수 있다.
다른 실시예로, 필터링 모듈(125)은 도 7에 도시된 바와 같이 복제된 제2 특징 정보를 LPF(Low Pass Filter)로 필터링하는 경우, 해상도 별로 복제된 특징 정보를 필터링하는 과정을 복수 회 반복하여 표준편차를 설정할 수 있다.
필터링 모듈(125)은 해상도 별 표준편차를 설정한 후, 표준편차를 업데이트할 수 있다. 필터링 모듈(125)은 Phase 1에서는 해상도 별 표준편차 값을 임의의 값(710-1, 710-2 … 710-n)으로 설정할 수 있다. 필터링 모듈(125)이 Phase 1에서 복수의 제2 특징 정보(310-1 … 310-n)에 필터링한 경우, 적은 스무딩이 적용되어, 고해상도의 세부 정보가 남을 수 있다.
Phase 2에서 필터링 모듈(125)은 표준편차를 조금 증가시킨 후, 필터링할 수 있다. 필터링 모듈(125)은 복수의 제2 특징 정보(310-1 … 310-n)에 증가시킨 표준편차(720-1, 720-2, 720-3, 720-4)를 기초로 필터링할 수 있다. 필터링 모듈(125)이 Phase 2에서 복수의 제2 특징 정보(310-1 … 310-n)에 필터링한 경우에는 Phase 1보다 더 많은 고주파 성분이 제거되고, 저주파 성분이 유지될 수 있다.
Phase 1 및 phase 2의 과정을 단계별로 n번 반복하여, 필터링 모듈(125) 은 표준편차를 업데이트하여 필터링할 수 있다. Phase n까지 반복된 결과, 필터링 모듈(125)은 큰 표준편차를 이용하여 필터링할 수 있다. 또한, 복수의 제2 특징 정보(310-1 … 310-n)에 큰 표준편차를 이용하여 LPF(Low Pass Filter)를 적용한 경우, 가장 많은 고주파 성분이 제거되고, 저해상도의 정보가 남을 수 있다.
활성화 함수 적용 모듈(127)은 복수의 제3 특징 정보(510- 1… 510-n)를 기초로 복수의 제4 특징 정보(920-1 … 920-n)를 획득할 수 있으며, 복수의 이미지 정보 획득 모듈(128)은 복수의 제4 특징 정보(920-1 … 920-n)를 기초로 공간 도메인으로 변환된 복수의 이미지 정보(930-1 … 930-n)를 획득할 수 있다. 이에 대해서는 도 8을 참조하여 후술하도록 한다.
활성화 함수 적용 모듈(127)은 복수의 제3 특징 정보(510-1 … 510-n), 활성화 함수 및 마스크 값(910-1 … 910-n)에 기초하여 복수의 제4 특징 정보(920-1 … 920-n)을 획득할 수 있다(S810).
복수의 제3 특징 정보(510-1 … 510-n)에 마스크 값(910-1 … 910-n)을 적용하는 과정에서, 마스크 값(910-1 … 910-n)을 획득하는 방법에 대해서는 도 9를 참조하여 후술하기로 한다.
마스크 적용 모듈(126)은 복수의 제3 특징 정보(510-1 … 510-n)에 마스크 값(910-1 … 910-n)을 적용할 수 있다. 복수의 제3 특징 정보(510-1 … 510-n)에 마스크 값(910-1 … 910-n)을 적용하여, 데이터의 특정 부분을 강조하거나 억제할 수 있다.
일 실시예로, 마스크 적용 모듈(126)은 연속적(continuous)인 마스크 값(910-1 … 910-n)을 획득하여, 복수의 제3 특징 정보(510-1 … 510-n)에 마스크 값을 적용할 수 있다. 마스크 값(910-1 … 910-n)은 0과 1사이의 연속 값으로 표현될 수 있다. 마스크 적용 모듈(126)은 복수의 제3 특징 정보(510-1 … 510-n)에 마스크 값(910-1 … 910-n)을 적용하는 경우, 마스크 값(910-1 … 910-n)은 0에 가까울수록, 마스크 값(910-1 … 910-n)이 적용된 영역은 덜 강조될 수 있다. 마스크 값(910-1 … 910-n)이 1에 가까울수록, 마스크 값(910-1 … 910-n)이 적용된 영역은 더 강조될 수 있다. 일 예로, 마스크 값(910-1 … 910-n)이 0.8인 경우 마스크 값(910-1 … 910-n)이 적용된 영역은 80%가 유지되고, 마스크 값(910-1 … 910-n)이 0.2인 경우 마스크 값(910-1 … 910-n)이 적용된 영역은 20%만 유지될 수 있다.
또다른 실시예로, 마스크 적용 모듈(126)은 이진적(binary)인 마스크 값(910-1 … 910-n)을 획득하여, 복수의 제3 특징 정보(510-1 … 510-n)에 마스크 값을 적용할 수 있다. 즉, 마스크 값(910-1 … 910-n)은 0 또는 1로 설정될 수 있다. 일 예로, 마스크 적용 모듈(126)은 마스크 값(910-1 … 910-n)이 1인 경우 마스크 값(910-1 … 910-n)을 적용하여 마스크 값이 적용된 영역을 유지할 수 있다.
마스크 적용 모듈(126)은 마스크 값(910-1 … 910-n)이 0인 경우 마스크 값(910-1 … 910-n)을 적용하여 마스크 값이 적용된 영역을 억제할 수 있다.
마스크 적용 모듈(126)은 마스크 값(910-1 … 910-n)이 이진적(binary)인 경우에 특정 임계값을 기준으로 마스크 값(910-1 … 910-n)을 적용할 수 있다. 마스크 적용 모듈(126)은 임계값보다 큰 픽셀은 1로, 작은 픽셀은 0으로 설정하여 적용할 수 있다.
또다른 실시예로, 마스크 적용 모듈(126)은 해상도가 다른 복수의 제3 특징 정보(510-1 … 510-n)에 기초하여 마스크 값(910-1 … 910-n)을 해상도 별로 적용할 수 있다. 가장 저해상도의 특징 정보는 오브젝트의 전체적이고 일반적인 특징을 포함하며, 마스크 적용 모듈(126)은 가장 저해상도에서 적용되는 마스크 값(910-1 … 910-n)을 설정할 수 있다. 가장 저해상도에서 적용되는 마스크 값(910-1 … 910-n)이 설정된 경우, 먼저 설정된 마스크 값(910-1 … 910-n)을 기초로 그 다음 저해상도에서 적용되는 마스크 값(910-1 … 910-n)을 설정할 수 있다. 마스크 적용 모듈(126)은 저해상도부터 고해상도까지의 해상도를 계층적으로 처리하여 복수의 제3 특징 정보(510-1… 510-n)에 마스크 값(910-1 … 910-n)을 적용할 수 있다.
마스크 적용 모듈(126)은 저해상도의 마스크(910-n)와 고해상도의 마스크 (910-1)를 고려하여 마스크 값(910-1 … 910-n)을 적용할 수 있다. 저해상도의 마스크는 데이터의 덜 상세한 정보를 포함하며, 고해상도의 마스크는 세부적인 정보를 포함할 수 있다. 저해상도의 이미지는 중요한 정보를 담고 있으므로, 저해상도의 마스크(920-n) 값을 기초로 고해상도 이미지(930-1)를 학습할 수 있다. 이 때, 해상도가 증가하는 각 단계에서 계층적으로 마스크 값을 업데이트할 수 있다.
활성화 함수 적용 모듈(127)은 마스크 값(910-1 … 910-n)이 적용된 복수의 제3 특징 정보(510-1 … 510-n)에 활성화 함수를 적용할 수 있다. 제3 특징 정보(510-1 … 510-n)에 활성화 함수를 적용하여 복수의 제4 특징 정보(920-1 … 920-n)를 획득할 수 있다.
활성화 함수 적용 모듈(127)은 활성화 함수 중 시그모이드(sigmoid) 함수를 사용하여 복수의 제4 특징 정보(920-1 … 920-n)를 획득할 수 있다. 시그모이드(sigmoid) 함수란, 입력 값을 비선형적으로 변환하여 출력하며, 결과값은 0과 1사이의 값이 될 수 있다. 시그모이드 함수는 이진 분류 문제에서 활성화 함수로 자주 사용될 수 있다.
다만, 이는 일 실시예일 뿐, 활성화 함수 적용 모듈(127)은 활성화 함수 중 ReLU 함수, Tanh(Hyperbolic Tangent)함수, Softmax 함수 등을 사용하여, 제4 특징 정보(920-1 … 920-n)를 획득할 수 있다.
공간 도메인 변환 모듈(128)은 복수의 제4 특징 정보(920-1 … 920-n)를 주파수 도메인에서 공간 도메인으로 변환하여 복수의 이미지 정보(930-1 … 930- n)를 획득할 수 있다(S820).
공간 도메인 변환 모듈(128)은 복수의 제4 특징 정보(920-1 … 920-n)에 역 푸리에 변환 방법(Inverse Fourier Transform, IFT) 또는 역 이산 코사인 변환 방법(Inverse Discrete Cosine Transform, IDCT)을 이용하여 공간 도메인으로 변환할 수 있다.
역 푸리에 변환 방법(Inverse Fourier Transform, IFT)은 주파수 도메인에서 신호를 공간 도메인으로 변환하는 기본 방법으로, 주파수 성분으로부터 원래의 신호를 복원할 수 있다. 역 이산 코사인 변환 방법(Inverse Discrete Cosine Transform, IDCT)은 이산 코사인 변환(DCT)의 반대 과정으로, 주파수 성분을 다시 신호의 공간 도메인으로 복원하여 원래의 신호를 재구성할 수 있다.
공간 도메인 변환 모듈(128)은 복수 개의 저해상도 이미지 및 복수 개의 고해상도 이미지를 획득할 수 있다.
도 10은 본 개시의 일 실시예에 따른, 전자 장치(100)의 동작을 설명하기 위한 흐름도이다.
우선, 전자 장치(100)는 오브젝트를 포함하는 복수의 이미지를 획득할 수 있다(S1010). 이 때, 오브젝트를 포함하는 복수의 이미지는 카메라를 통해 획득하거나, 메모리(110)로부터 획득할 수 있다. 또는 별도의 외부 장치로부터 오브젝트를 포함하는 복수의 이미지를 획득할 수 있다.
전자 장치(100)는 획득된 복수의 이미지를 기초로 공간 도메인에서 오브젝트의 제1 특징 정보를 획득할 수 있다(S1011). 이 때, 오브젝트란 프레임에 포함된 시각적으로 표현 가능한 모든 것을 의미할 수 있다. 즉, 오브젝트는 책상, 의자, 전화기와 같은 사물은 물론이고 시각적으로 표현 가능한 개념도 될 수 있다.
전자 장치(100)는 획득된 특징 정보(220)를 주파수 도메인으로 변환할 수 있다(S1012). 이 때, 전자 장치(100)는 획득된 제1 특징 정보(220)를 도 3에서 상술한 주파수 도메인으로 변환하는 방법에 따라 변환할 수 있다.
전자 장치(100)는 획득된 제2 특징 정보(310)를 복수의 제2 특징 정보(310-1 … 310-n)로 복제할 수 있다(S1013). 전자 장치(100)가 획득된 제2 특징 정보(310)를 제2 특징 정보(310)와 동일한 복수의 제2 특징 정보(310-1 … 310-n)로 복제하는 경우에 대해 상술하였으나, 복수의 제2 특징 정보(310-1 … 310-n)가 동일하지 않을 수 있다.
전자 장치(100)는 복제된 제2 특징 정보(310-1 … 310-n) 각각에 필터를 적용하여 해상도가 다른 복수의 제3 특징 정보(510-1 … 510-n)를 획득할 수 있다(S1014). 구체적으로, 전자 장치(100)는 복제된 제2 특징 정보(310-1 … 310-n) 각각에 필터를 적용하여 저해상도로 구현된 제3 특징 정보부터 고해상도로 구현된 제3 특징 정보(510-1 … 510-n)를 획득할 수 있다.
전자 장치(100)는 획득된 복수의 제3 특징 정보(510-1 … 510-n)에 마스크 값(910-1 …910-n) 및 활성화 함수에 기초하여 합성된 복수의 제4 특징 정보(920-1 … 920-n)를 획득할 수 있다(S1015). 전자 장치(100)는 획득된 복수의 제3 특징 정보(510-1 … 510-n)에 마스크 값(910-1 …910-n)을 적용할 수 있다. 이 때, 마스크 값(910-1 …910-n)은 주파수 성분을 강조하거나 억제할 수 있다. 전자 장치(100)는 가중치(1010-1 … 1010-n)가 적용된 제3 특징 정보(310-1 … 310-n)를 활성화 함수에 입력하여 합성된 복수의 제4 특징 정보(920-1 … 920-n)를 획득할 수 있다.
전자 장치(100)는 획득된 복수의 제4 특징 정보(920-1 … 920-n)를 공간 도메인으로 변환하여 복수의 이미지(930-1 ... 930-n)를 획득할 수 있다(S1016). 구체적으로, 전자 장치(100)는 3D 모델링을 구현하기 위하여 주파수 도메인으로 표현된 복수의 제4 특징 정보(920-1 … 920-n)을 공간 도메인으로 변환할 수 있다.
전자 장치(100)는 다양한 해상도의 복수의 이미지(930-1 … 930-n)를 획득하여, 알리아싱(aliasing) 문제가 절감된 3D 이미지를 획득할 수 있다.
도 11은 본 개시의 일 실시예에 따른, 전자 장치(100)의 제어 방법을 설명하기 위한 흐름도이다. 한편, 도 10과 중복되는 설명은 생략하기로 한다.
전자 장치(100)는 오브젝트를 포함하는 복수의 이미지를 획득할 수 있다(S1110). 전자 장치(100)는 카메라, 외부 장치로부터 오브젝트를 포함하는 복수의 이미지를 획득할 수 있다.
전자 장치(100)는 획득된 복수의 이미지를 기초로 공간 도메인에서 상기 오브젝트의 제1 특징 정보(220)를 획득할 수 있다(S1120). 오브젝트의 제1 특징 정보(220)는 오브젝트의 기하학적 정보 등을 포함하며, 벡터 행렬 분해 방식을 통해 획득할 수 있다.
전자 장치(100)는 획득된 제1 특징 정보(220)를 주파수 도메인의 제2 특징 정보(310)로 변환할 수 있다(S1130). 주파수 도메인으로 변환하는 방법에 대해서는 도 3에서 상술한 바 있으므로, 자세한 설명은 생략한다.
전자 장치(100)는 제2 특징 정보(310)를 복수의 제2 특징 정보(310-1 … 310-n)로 복제할 수 있다(S1140). 제2 특징 정보(310)를 복수의 제2 특징 정보(310-1 … 310-n)으로 복제하여, LPF(Low Pass Filter)를 적용할 수 있다.
전자 장치(100)는 복제된 제2 특징 정보(310-1 … 310-n) 각각에 필터를 적용하여 해상도가 다른 복수의 제3 특징 정보(510-1 … 510-n)를 획득할 수 있다(S1150). 즉, 복제된 복수의 제2 특징 정보(310-1 … 310-n)에 LPF(Low Pass Filter)를 적용하는 경우 주파수 도메인으로 변환된 방법에 대응되는 방법을 선택할 수 있다. LPF(Low Pass Filter)를 적용하는 경우, LPF(Low Pass Filter)의 크기를 구하는 방법에 대해서는 도 5 내지 도 6에서 상술한 바 있으므로 자세한 설명은 생략한다.
또한, 본 개시의 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자(20) 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
본 개시의 다양한 실시 예에 따른 방법은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 서버 장치 또는 전자 장치를 포함할 수 있다.
한편, 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 판독 가능 기록 매체의 형태로 제공될 수 있다. 여기서, '비일시적 판독 가능 기록 매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
상기 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접 또는 상기 프로세서의 제어 하에 다른 구성요소들을 이용하여 상기 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시가 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.

Claims (15)

  1. 전자 장치에 있어서,
    적어도 하나의 인스트럭션을 저장하는 메모리; 및
    상기 메모리와 연결되어 상기 전자 장치를 제어하는 프로세서;를 포함하며,
    상기 프로세서는, 상기 적어도 하나의 인스트럭션을 실행함으로써,
    오브젝트를 포함하는 복수의 이미지를 획득하고,
    상기 획득된 복수의 이미지를 기초로 공간 도메인에서 상기 오브젝트의 제1 특징 정보를 획득하고,
    상기 획득된 제1 특징 정보를 기초로 변환한 주파수 도메인의 제2 특징 정보를 복제하여 복수의 제2 특징 정보를 획득하고,
    상기 복수의 제2 특징 정보 각각에 필터를 적용하여 해상도가 다른 복수의 제3 특징 정보를 획득하는 전자 장치.
  2. 제 1항에 있어서,
    상기 프로세서는,
    이산 웨이블릿 변환(Discrete Wavelet Transform; DWT), 이산 코사인 변환(Discrete Cosine Transform; DCT) 또는 FFT(Fast Fourier Transformation) 중 적어도 하나를 이용하여 주파수 도메인으로 변환된 제2 특징 정보를 획득하는 전자 장치.
  3. 제 2항에 있어서,
    상기 프로세서는,
    상기 획득된 제1 특징 정보를 이산 웨이블릿 변환(Discrete Wavelet Transform; DWT) 변환하여, 주파수 대역 별 특징 정보를 획득하고,
    상기 획득된 주파수 대역 별 특징 정보에 이산 코사인 변환(Discrete Cosine Transform; DCT) 또는 FFT(Fast Fourier Transformation)를 적용하여 주파수 영역으로 변환된 제2 특징 정보를 획득하는 전자 장치.
  4. 제 1항에 있어서,
    상기 프로세서는,
    상기 주파수 도메인으로 변환된 제2 특징 정보에 기초하여 필터링 계수를 획득할 수 있는 경우,
    상기 주파수 도메인으로 변환된 제2 특징 정보를 이산 코사인 변환(Discrete Cosine Transform; DCT)을 적용하여 상기 복수의 제3 특징 정보를 획득하는 전자 장치.
  5. 제 1항에 있어서,
    상기 프로세서는,
    상기 주파수 도메인으로 변환된 제2 특징 정보에 기초하여 필터링 계수를 획득할 수 없는 경우,
    상기 제1 특징 정보를 이산 웨이블릿 변환(Discrete Wavelet Transform; DWT)하여 해상도 별 분해된 특징 정보를 획득하고,
    상기 해상도 별 분해된 특징 정보를 이산 코사인 변환(Discrete Cosine Transform; DCT) 변환하여 상기 주파수 도메인 데이터로 변환된 제2 특징 정보 및 필터링 계수를 획득하고,
    상기 복수의 제2 특징 정보에 LPF를 적용하여 상기 복수의 제3 특징 정보를 획득하는 전자 장치.
  6. 제 1항에 있어서,
    상기 프로세서는,
    주파수 도메인으로 변환하는 변환 방법에 따라 상기 복제된 제2 특징 정보를 LPF로 필터링하는 전자 장치.
  7. 제 6항에 있어서,
    상기 프로세서는,
    상기 복제된 제2 특징 정보를 LPF로 필터링하는 경우,
    해상도 별로 상기 복제된 복수의 제2 특징 정보를 필터링하는 과정을 복수 회 반복하는 전자 장치.
  8. 제 1항에 있어서,
    상기 프로세서는,
    상기 복수의 제3 특징 정보, 활성화 함수 및 마스크 값에 기초하여 복수의 제4 특징 정보를 획득하고,
    상기 획득한 복수의 제4 특징 정보를 공간 도메인으로 변환하여 해상도가 다른 복수의 이미지를 획득하는 전자 장치.
  9. 전자 장치의 제어방법에 있어서,
    오브젝트를 포함하는 복수의 이미지를 획득하는 단계;
    상기 획득된 복수의 이미지를 기초로 공간 도메인에서 상기 오브젝트의 제1 특징 정보를 획득하는 단계;
    상기 획득된 제1 특징 정보를 기초로 변환한 주파수 도메인의 제2 특징 정보를 복제하여 복수의 제2 특징 정보를 획득하는 단계; 및
    상기 복수의 제2 특징 정보 각각에 필터를 적용하여 해상도가 다른 복수의 제3 특징 정보를 획득하는 단계;를 포함하는 제어방법.
  10. 제 9항에 있어서,
    이산 웨이블릿 변환(Discrete Wavelet Transform; DWT), 이산 코사인 변환(Discrete Cosine Transform; DCT) 또는 FFT(Fast Fourier Transformation) 중 적어도 하나를 이용하여 주파수 도메인으로 변환된 제2 특징 정보를 획득하는 단계;를 포함하는 제어방법.
  11. 제 10항에 있어서,
    상기 획득된 제1 특징 정보를 이산 웨이블릿 변환(Discrete Wavelet Transform; DWT) 변환하여, 주파수 대역 별 특징 정보를 획득하는 단계; 및
    상기 획득된 주파수 대역 별 특징 정보에 이산 코사인 변환(Discrete Cosine Transform; DCT) 또는 FFT(Fast Fourier Transformation)를 적용하여 주파수 영역으로 변환된 제2 특징 정보를 획득하는 단계;를 포함하는 제어방법.
  12. 제 9항에 있어서,
    상기 주파수 도메인으로 변환된 제2 특징 정보에 기초하여 필터링 계수를 획득할 수 있는 경우,
    상기 주파수 도메인으로 변환된 제2 특징 정보에 LPF를 적용하여 상기 복수의 제3 특징 정보를 획득하는 단계;를 포함하는 제어방법.
  13. 제 9항에 있어서,
    상기 주파수 도메인으로 변환된 제2 특징 정보에 기초하여 필터링 계수를 획득할 수 없는 경우,
    상기 제1 특징 정보를 이산 웨이블릿 변환(Discrete Wavelet Transform; DWT)하여 해상도 별 분해된 특징 정보를 획득하는 단계;
    상기 해상도 별 분해된 특징 정보를 이산 코사인 변환(Discrete Cosine Transform; DCT) 변환하여 상기 주파수 도메인 데이터로 변환된 제2 특징 정보를 획득하는 단계; 및
    획득된 제2 특징 정보에 기초하여 필터링 계수를 획득하고, LPF를 적용하여 상기 복수의 제3 특징 정보를 획득하는 단계;를 포함하는 제어방법.
  14. 제 9항에 있어서,
    주파수 도메인으로 변환하는 변환 방법에 따라 상기 복제된 제2 특징 정보를 LPF로 필터링하는 단계;를 포함하는 제어방법.
  15. 제 14항에 있어서,
    상기 복제된 제2 특징 정보를 LPF로 필터링하는 경우,
    해상도 별로 상기 복제된 제2 특징 정보를 필터링하는 과정을 복수 회 반복하는 단계;를 포함하는 제어방법.
PCT/KR2025/004811 2024-05-31 2025-04-09 전자 장치 및 제어방법 Pending WO2025249752A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2024-0071838 2024-05-31
KR20240071838 2024-05-31
KR1020240101003A KR20250172266A (ko) 2024-05-31 2024-07-30 전자 장치 및 제어방법
KR10-2024-0101003 2024-07-30

Publications (1)

Publication Number Publication Date
WO2025249752A1 true WO2025249752A1 (ko) 2025-12-04

Family

ID=97870774

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2025/004811 Pending WO2025249752A1 (ko) 2024-05-31 2025-04-09 전자 장치 및 제어방법

Country Status (1)

Country Link
WO (1) WO2025249752A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010078707A (ko) * 1999-12-03 2001-08-21 오길록 주파수 공간상에서의 가보 필터를 이용한 질감표현방법 및질감기반 영상 검색방법
CN101655907A (zh) * 2009-08-28 2010-02-24 大连鑫奇辉科技有限公司 机车司机行车状态监控智能报警系统
KR20190047243A (ko) * 2017-10-27 2019-05-08 현대자동차주식회사 카메라 렌즈 오염 경고 장치 및 방법
KR102309343B1 (ko) * 2020-04-01 2021-10-06 세종대학교산학협력단 딥러닝 기반의 초고해상도 지표투과 레이더 이미지 생성을 통한 주파수-파수 분석 방법 및 장치
CN116109597A (zh) * 2023-02-10 2023-05-12 平安科技（深圳）有限公司 图像篡改区域检测方法、装置、电子设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010078707A (ko) * 1999-12-03 2001-08-21 오길록 주파수 공간상에서의 가보 필터를 이용한 질감표현방법 및질감기반 영상 검색방법
CN101655907A (zh) * 2009-08-28 2010-02-24 大连鑫奇辉科技有限公司 机车司机行车状态监控智能报警系统
KR20190047243A (ko) * 2017-10-27 2019-05-08 현대자동차주식회사 카메라 렌즈 오염 경고 장치 및 방법
KR102309343B1 (ko) * 2020-04-01 2021-10-06 세종대학교산학협력단 딥러닝 기반의 초고해상도 지표투과 레이더 이미지 생성을 통한 주파수-파수 분석 방법 및 장치
CN116109597A (zh) * 2023-02-10 2023-05-12 平安科技（深圳）有限公司 图像篡改区域检测方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
Xiao et al. Lossless image compression based on integer Discrete Tchebichef Transform
Dony Karhunen-loeve transform
JP4515263B2 (ja) 映像符号化のための低複雑性単一化変換
WO2020231013A1 (en) Electronic apparatus and controlling method thereof
CN116309173B (zh) 视频质量增强方法、装置、设备及存储介质
JP2812168B2 (ja) 形状データ圧縮方法および形状データ伸長方法
Xiao et al. Self-organizing map-based color palette for high-dynamic range texture compression
CN113570511B (zh) 图像修复方法、装置、设备及介质
WO2025249752A1 (ko) 전자 장치 및 제어방법
CN113935967A (zh) 一种无参考光场图像质量评价方法
CN116503524B (zh) 一种虚拟形象的生成方法、系统、装置及存储介质
WO2022060001A1 (ko) 영상 처리 장치 및 그 동작방법
Andrews Two-dimensional transforms
Olevskyi et al. Raster image processing using 2D Padé-type approximations
KR20250172266A (ko) 전자 장치 및 제어방법
CN113744164B (zh) 一种快速夜间低照度图像增强方法、系统及相关设备
CN114493971B (zh) 媒体数据转换模型训练、数字水印嵌入方法和装置
WO2022186500A1 (ko) 영상 처리 장치 및 그 동작 방법
CN113436083A (zh) 视频处理方法及相关产品
Lee et al. CUDA-based JPEG2000 encoding scheme
WO2022039542A1 (ko) 전자 장치 및 이의 제어 방법
Osorno-Ortiz et al. Implementation of the image super-resolution DWT based algorithm on Raspberry Pi platform for real-time applications
Dixit et al. Image Quality Improvements Using Quantization Matrices of Standard Digital Cameras in DCT Based Compressor
Bhama et al. Parallelism for the faster implementation of the KL transform for image compression
Seales et al. Content analysis of compressed video

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 25816166

Country of ref document: EP

Kind code of ref document: A1