WO2019078520A1 - 전자 장치 및 그의 제어방법 - Google Patents

전자 장치 및 그의 제어방법 Download PDF

Info

Publication number
WO2019078520A1
WO2019078520A1 PCT/KR2018/011774 KR2018011774W WO2019078520A1 WO 2019078520 A1 WO2019078520 A1 WO 2019078520A1 KR 2018011774 W KR2018011774 W KR 2018011774W WO 2019078520 A1 WO2019078520 A1 WO 2019078520A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
pattern
minimum
shifting
block pattern
Prior art date
Application number
PCT/KR2018/011774
Other languages
English (en)
French (fr)
Inventor
이성오
주은정
정민효
곽영민
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of WO2019078520A1 publication Critical patent/WO2019078520A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/12—Shadow map, environment map

Definitions

  • the present disclosure relates to an electronic device and a control method thereof, and more particularly, to an electronic device capable of detecting a minimum pattern for texture mapping and a control method thereof.
  • texture mapping technique is generally used to express virtual contents similar to or higher quality than reality. This technique applies a formula or a two-dimensional picture to a three-dimensional object ≪ / RTI >
  • Texture mapping techniques can produce high quality final rendered images with fewer operations, and allow for a variety of expressions on the surface of other objects.
  • the present disclosure is in accordance with the foregoing needs, and it is an object of the present disclosure to provide an electronic device and a control method thereof capable of detecting a minimum pattern for texture mapping.
  • a method of controlling an electronic device including receiving an image in which a plurality of patterns are repeatedly arranged, extracting a block pattern from the received image, Detecting a minimum pattern in the extracted block pattern, and generating layout structure information on the detected minimum pattern.
  • the step of detecting the minimum pattern may include obtaining a first image and a second image by dividing the block pattern by half when the extracted block pattern is a minimum block pattern, shifting the second image by a line unit When the deformed image corresponds to the first image, either the first image or the second image can be detected as the minimum pattern.
  • the step of detecting the minimum pattern may determine whether the extracted block pattern is a minimum block pattern based on the extracted symmetry of the block pattern.
  • the layout structure information of the minimum pattern may include information on a shifting ratio of the second image to be associated with the first image.
  • the second image can be deformed by shifting in a longitudinal direction in units of lines.
  • the step of detecting the minimum pattern may be performed by shifting the second image in the horizontal direction by shifting it, if the first image and the second image are obtained by horizontally dividing the image.
  • the step of detecting the minimum pattern may include shifting the second image sequentially in units of lines until it is deformed so as to correspond to the first image, and shifting the shifted second image, The shifting can be stopped and the extracted block pattern can be determined as the minimum pattern.
  • the step of detecting the minimum pattern may include obtaining the first image and the second image by dividing the block pattern in the horizontal direction when the extracted block pattern is the minimum block pattern, The second image is sequentially shifted line by line, and if the second image transformed by shifting becomes the same as the pre-deformation second image, the block pattern is divided in the longitudinal direction to acquire the third image and the fourth image, When the fourth image is shifted line by line and the modified image corresponds to the third image, either the third image or the fourth image can be detected as the minimum pattern.
  • the step of detecting the minimum pattern may include sequentially shifting the fourth image in units of a line until it is deformed so as to correspond to the third image, and shifting the shifted fourth image into a fourth image The shifting can be stopped and the extracted block pattern can be determined as the minimum pattern.
  • the step of detecting the minimum pattern may include obtaining the first image and the second image by dividing the block pattern by half, and shifting the second image by the line unit, The image generated based on the average pixel value of the first image and the second image can be determined as the minimum pattern.
  • control method may further include performing texture mapping for a virtual object by arranging the minimum pattern based on the layout structure information of the minimum pattern.
  • an electronic device includes a communication unit that receives an image in which a plurality of patterns are repeatedly arranged, and a communication unit that extracts a block pattern from the received image, detects a minimum pattern in the extracted block pattern And a processor for generating layout structure information on the detected minimum pattern.
  • the processor obtains the first image and the second image by dividing the block pattern into halves, shifts the second image line by line, When the first image is associated with the first image, either the first image or the second image can be detected as the minimum pattern.
  • the processor can determine whether the extracted block pattern is a minimum block pattern based on the extracted symmetry of the block pattern.
  • the processor may shift the second image in a longitudinal direction by shifting it in a line unit.
  • the processor can shift the second image by shifting it in a horizontal direction in units of lines.
  • the processor sequentially shifts the second image in units of lines until it is deformed to correspond to the first image, and when the second image transformed by shifting becomes the same as the second image before transformation, And determine the extracted block pattern as the minimum pattern.
  • the processor obtains the first image and the second image by dividing the block pattern in the horizontal direction, and outputs the second image and the second image until they are deformed to correspond to the first image And the second image transformed by the shifting becomes the same as the second image before the deformation, the third image and the fourth image are obtained by dividing the block pattern in the longitudinal direction, and the fourth image is obtained If the deformed image corresponds to the third image by shifting in a line unit, either the third image or the fourth image can be detected as the minimum pattern.
  • the processor obtains the first image and the second image by dividing the block pattern into halves, shifts the second image line by line, When an image is associated with one image, an image generated based on the average pixel value of the first image and the second image can be determined as a minimum pattern.
  • the control method includes: when an image in which a plurality of patterns are repeatedly arranged is received, Extracting a block pattern in the extracted block pattern, detecting a minimum pattern in the extracted block pattern, and generating layout structure information on the detected minimum pattern.
  • FIG. 1 is a flowchart illustrating a method of controlling an electronic device according to an embodiment of the present disclosure
  • FIGS. 2 to 6 are diagrams for explaining various examples of a method of reproducing an entire image using a unit pattern
  • FIGS. 7 to 8 are flowcharts for explaining a minimum pattern detection method according to an embodiment of the present disclosure.
  • FIGS. 9 to 11 are diagrams for explaining a minimum pattern detection method according to an embodiment of the present disclosure.
  • 12A to 12B are diagrams for explaining examples of various arrangements for arranging a minimum pattern
  • FIG. 13 is a block diagram for explaining the configuration of an electronic device according to an embodiment of the present disclosure.
  • FIG. 14 is a block diagram for explaining a configuration of an electronic device according to another embodiment of the present disclosure.
  • ordinal numbers such as “first ", " second ", etc. may be used for distinguishing between elements. These ordinals are used to distinguish between identical or similar components, and the use of such ordinal numbers should not be construed as limiting the meaning of the term. For example, the components associated with such an ordinal number should not be limited in their order of use or placement order by their numbers. If necessary, each ordinal number may be used interchangeably.
  • modules such as "module, “ unit, “ or “ part, “ and the like are terms used to refer to components that perform at least one function or operation, Or may be implemented as a combination of hardware and software. It should also be understood that a plurality of “ modules “, “ units “, “ parts “, etc. may be integrated into at least one module or chip, . ≪ / RTI >
  • a part when a part is connected to another part, this includes not only a direct connection but also an indirect connection through another medium. Also, the meaning that a part includes an element does not exclude other elements, but may include other elements, unless specifically stated otherwise.
  • FIG. 1 is a flow chart for explaining a control method of an electronic device according to an embodiment of the present disclosure.
  • an electronic device receives an image in which a plurality of patterns are repeatedly arranged (S110).
  • An image in which a plurality of patterns are repeatedly arranged may be, for example, an image generated by scanning a sheet, cloth or the like in which a plurality of patterns are repeatedly arranged, by a scanner, or photographing with a camera.
  • the present invention is not limited to the image that is scanned or photographed from an actual object, but an artificially produced image may be applicable, for example, using graphic editing software.
  • the electronic device 100 can receive an image in which a plurality of patterns are repeatedly arranged through various communication methods. For example, a local area network (LAN) or an Internet network, and can receive and receive through a USB (Universal Serial Bus) port.
  • LAN local area network
  • USB Universal Serial Bus
  • step S110 may be omitted.
  • the electronic device can extract a block pattern from the received image (S120).
  • the block pattern can be extracted as a rectangular shape based on the repeatability of the pattern in the received image, and the whole image can be reproduced when the block pattern is repeatedly arranged. 2 to 4, when an image in which a plurality of patterns are repeatedly arranged is input as shown in FIG. 2, the electronic device can extract a block pattern as shown in FIG. 3 based on the repeatability of patterns in an image .
  • the block pattern can be repeatedly arranged vertically and horizontally as shown in FIG. 4 to reproduce the entire image.
  • the electronic apparatus roughly estimates a rectangular region to be repeated by assuming a repetition period in terms of a horizontal / vertical axis from an image in which a plurality of patterns are repeatedly arranged, It is possible to extract the block pattern.
  • various known algorithms can be used to extract block patterns.
  • steps S110 to S120 may be omitted.
  • the block pattern is extracted based on the repeatability in terms of the horizontal and vertical axes, it may not be the minimum pattern.
  • the minimum pattern of the image of Fig. 2 is the image of Fig.
  • this arrangement is referred to as a half-drop shape
  • the electronic device performs a process of detecting a minimum pattern in the extracted block pattern (S130).
  • FIG. 7 first, for example, an image as shown in FIG. 2 in which a plurality of patterns are repeatedly arranged is received. Then, a repetitive pattern detection algorithm is applied to the received image (S510), and a block pattern as shown in FIG. 3, for example, is extracted. Then, a processing operation for detecting the minimum pattern is performed.
  • a process of determining whether a block pattern is a minimum block pattern is performed. Although it is possible to reproduce the original image when the block pattern is repeatedly arranged, it may not be the minimum block pattern. That is, a smaller block pattern can be extracted even in the block pattern.
  • the electronic device can determine whether the block pattern is the minimum block pattern based on the symmetry of the block pattern. Specifically, the block pattern is divided in half by vertical (or horizontal) (S520) to obtain the left (or upper) image and the right (or lower) image.
  • the electronic device measures the similarity between the left (or upper) image and the right (or lower) image (S530). If it is determined that the degree of similarity is equal to or larger than the predetermined threshold (S540, Y), the process repeats from the step S520 to the left (or upper) image. The right (or lower) image may be repeated from step S520.
  • the image restored in half is restored (S550), and the restored image is determined as the minimum block pattern.
  • the minimum block pattern is determined when the similarity is less than the threshold value. If the image before division by half is stored, the image restoration procedure (S550) may be omitted.
  • the block pattern 10 is divided into halves, for example, as shown in FIG. 9, so that the left image 11 and the right image 12 are divided into halves And compares the similarity of the two. Since the degree of similarity is equal to or greater than the preset threshold value, either one of them is selected and divided into halves and the similarity is again compared. For example, the left image 11 is selected, and the left image 11 is divided into halves, for example, as shown in FIG. 10 to obtain the upper image 13 and the lower image 15, and the similarities of the two images are compared. Since the degree of similarity is equal to or greater than a predetermined threshold value, either one of them is selected and divided into halves and the similarity is compared again.
  • either the upper image 13 or the lower image 15 is determined as the minimum block pattern.
  • the lower image 15 is determined as the minimum block pattern.
  • FIG. 8 is a flow chart following FIG. 7; FIG.
  • the electronic device divides the minimum block pattern in half (S610) in the vertical (or horizontal) direction to obtain the left (or upper) image and the right (or lower) image.
  • the electronic device divides the minimum block pattern in half (S610) in the vertical (or horizontal) direction to obtain the left (or upper) image and the right (or lower) image.
  • any one of the obtained two images is referred to as a first image and the other is referred to as a second image.
  • the electronic device determines whether the first image and the second image are based on one of them and transforms the other to make the image similar to the reference image. For example, the electronic device deforms the second image by shifting it in a line unit (S620). If the first image and the second image are vertically divided, they are shifted in the vertical direction (upward or downward). If they are horizontally divided, they are shifted in the horizontal direction (leftward or rightward). The height of the line may be set to correspond to one pixel height of the second image.
  • the second image shifted and deformed is the same as the original image, that is, the second image before shifting and deformed (S630, N). If not, the first image is compared with the modified second image, (S650). If the similarity is equal to or larger than the predetermined threshold value (S660, Y), it is determined that the first image and the modified second image correspond to each other, and either the first image or the second image is determined as the minimum pattern.
  • the first block 16 and the second block 17 are obtained by dividing the minimum block pattern 15 in the vertical direction, for example, A shifting process is performed in which the image 17 is sequentially shifted upward from the bottom line. For example, in the second image 17, the lowest line of the height corresponding to one pixel is shifted up and compared with the first image. If the similarity is less than the predetermined threshold value, the lowest line of the height corresponding to one pixel is shifted up and compared with the first image 16. This process is repeated until the first image is similar to a predetermined threshold value or more. In the example of Fig.
  • the second image 17 is shifted upward in a line unit, and when 50% of the second image is shifted upward, it is transformed into the image 18 corresponding to the first image, 16 and the second image 17 is determined as the minimum pattern. And a shifting ratio of 50% may be stored as layout structure information for the determined minimum pattern.
  • the height of the shifted line corresponds to the height of one pixel.
  • the height of the line can be set as needed. The smaller the height of the line, the longer the processing time may be, but the accuracy can be increased.
  • shifting in the upward direction has been described in the above example, the shifting may be made in the downward direction.
  • shifting since the minimum block pattern 15 is vertically divided, shifting is performed in the vertical direction, but in the horizontal direction, shifting is performed in the horizontal direction.
  • shifting may be performed in which the leftmost line of the image is sequentially shifted to the right or the rightmost line of the image is sequentially shifted to the left.
  • any one of the first image or the second image is determined as the minimum pattern.
  • the generated image can be used as a minimum pattern by performing additional processing for improving image quality using one image and the second image.
  • an image generated based on the average pixel value of the first image and the second image may be determined as a minimum pattern.
  • the following processes can be performed.
  • an image matching process may be performed to match positions on the space such that the difference between the overlapping pixel values of the first image and the second image is minimized.
  • An image blending process can then be performed.
  • one final value is determined by merging the overlapping values in pixel or subpixel units, and the average value may be determined as a final value for each pixel.
  • a process of applying a filter e.g., a median filter
  • a seam removal process can be performed.
  • join line elimination algorithm can be performed so that the difference between the pixel values of the extending boundary portion is minimized.
  • additional techniques such as debluring, super resolution, etc. can be used to generate minimal patterns with improved final image quality.
  • noise, color variation, and a process of converting an image into a plane can compensate for the degradation in image quality that can be caused by causes such as blur, vignette, and exposure differences.
  • the shifting ratio of the second image becomes 100%
  • the first image does not correspond to the first image.
  • the shifting is stopped and restored to the minimum block pattern before dividing by half (S640), and the minimum block pattern is determined as the minimum pattern.
  • the reconstruction process may be omitted.
  • the image quality enhancement process can be additionally performed using the other image.
  • an image is generated on the basis of the average pixel values of the two minimum block patterns divided in step S520 in the same manner as in the case of forming the image by taking the average pixel values of the first and second images described above,
  • the image can be determined as a minimum pattern.
  • the minimum pattern is determined by dividing the minimum block pattern in only one direction. However, if the minimum pattern is not found when dividing the block in the horizontal direction, the block is retried in the vertical direction. Conversely, if the minimum pattern is not found when dividing in the vertical direction, it is tried again in the horizontal direction.
  • the first image and the second image are obtained by dividing the minimum block pattern in the horizontal direction (or the vertical direction), and the second image is sequentially shifted line by line until it is deformed to correspond to the first image , And when the second image transformed by shifting becomes the same as the second pre-deformation image, the third block and the fourth image are obtained by dividing the minimum block pattern in the vertical direction (or the horizontal direction) And the deformed image corresponds to the third image, either the third image or the fourth image can be detected as the minimum pattern.
  • the fourth image is sequentially shifted line by line until it is deformed to correspond to the third image, and when the fourth image transformed by shifting becomes the same as the fourth image before the transformation, shifting is stopped,
  • the pattern can be determined as the minimum pattern.
  • the minimum pattern is detected as described above, and layout structure information on the detected minimum pattern is generated (S140).
  • the electronic device may generate layout structure information including information on the ratio and layout type of the shifting calculated as described above.
  • the information on the layout type is information indicating in which direction the information should be arranged.
  • the arrangement may be a drop shape as shown in FIG. 12 (a), and a minimum pattern may be detected as a result of shifting in the horizontal direction
  • the arrangement type may be a brick shape as shown in FIG. 12 (b).
  • the electronic device stores layout structure information for the minimum pattern and the minimum pattern that are detected, and uses it for text mapping. For example, the electronic device can perform texture mapping for a virtual object by arranging a minimum pattern based on layout structure information of a minimum pattern.
  • Computer instructions for performing the processing operations in an electronic device according to various embodiments of the present disclosure described above may be stored in a non-transitory computer-readable medium.
  • the computer instructions stored in the non-volatile computer-readable medium cause the particular device to perform the processing operations in the electronic device according to the various embodiments described above when executed by the processor of the particular device.
  • Non-transitory computer readable media is a medium that stores data for a short period of time, such as a register, cache, memory, etc., but semi-permanently stores data and is readable by the device.
  • Specific examples of non-transitory computer readable media include CD, DVD, hard disk, Blu-ray disk, USB, memory card, ROM, and the like.
  • FIG. 13 is a block diagram illustrating an electronic device according to an embodiment of the present disclosure capable of performing a control method according to various embodiments of the present disclosure described above.
  • the electronic device 100 includes a communication unit 110 and a processor 120.
  • the electronic device 100 may be a mobile phone, a smart phone, a desktop computer, a notebook computer, a tablet, a device for digital broadcasting, a PDA (personal digital assistant), a portable multimedia player (PMP), a navigation device, a digital signage But is not limited thereto.
  • PDA personal digital assistant
  • PMP portable multimedia player
  • the communication unit 110 is configured to perform communication with an external device.
  • the communication unit 110 is formed for connecting the electronic device 100 to an external device and is connected to a terminal device through a local area network (LAN) Or may be connected through a wireless communication port.
  • LAN local area network
  • the electronic device 100 can receive an image through the communication unit 110.
  • Processor 120 is a configuration for controlling the overall operation of electronic device 100.
  • the processor 120 may be implemented as a CPU, an ASIC, a SoC, a MICOM, or the like.
  • the processor 120 may perform the processing operation in the control method of the electronic device described above with reference to Figs. 1 to 12B.
  • the processor 120 can extract a block pattern from the received image.
  • the processor 120 may extract a square-shaped block pattern based on the repeatability of the pattern in the received image.
  • the processor 120 may determine whether the extracted block pattern is a minimum block pattern. For example, the processor 120 may determine whether the extracted block pattern is a minimum block pattern based on whether the extracted block pattern is symmetrical or vertically symmetric. The processor 120 can obtain the minimum block pattern by dividing the block pattern until the left-right symmetry or the up-down symmetry disappears.
  • the processor 120 obtains the first image and the second image by dividing the minimum block pattern into halves, shifts the second image line by line, and if the modified image corresponds to the first image, Any one of the first image and the second image can be determined as a minimum pattern.
  • the processor 120 sequentially compares the second image with the first image while shifting the second image sequentially in the vertical direction (downward or upward direction) line by line. If the deformed second image corresponds to the first image, that is, if the deformed second image is similar to a predetermined threshold or more, the processor 120 can detect either the first image or the second image with a minimum pattern.
  • the processor 120 compares the second image with the first image by sequentially shifting the second image in the horizontal direction (left or right direction) line by line. If the deformed second image corresponds to the first image, that is, if the deformed second image is similar to a predetermined threshold or more, the processor 120 can detect either the first image or the second image with a minimum pattern.
  • the processor 120 sequentially shifts the second image line by line until it is deformed to correspond to the first image and if the second image transformed by the shifting becomes the same as the second image before the transformation,
  • the pattern can be determined as a minimum pattern.
  • the processor 120 obtains the first image and the second image by dividing the minimum block pattern in the horizontal direction (or the vertical direction), sequentially shifts the second image in units of lines until it is deformed to correspond to the first image , And when the second image transformed by the shifting is the same as the second image before the deformation, the block image is divided into a longitudinal direction (or a horizontal direction) to obtain a third image and a fourth image, When the shifted image corresponds to the third image, either the third image or the fourth image can be detected as the minimum pattern.
  • the processor 120 may generate information on the ratio of the shifting performed until the second picture corresponds to the first picture and information on the direction of the shifting as layout structure information for the detected minimum pattern.
  • the processor 120 obtains the first image and the second image by dividing the minimum block pattern into halves and shifts the second image line by line so that if the modified image corresponds to the first image, The image generated based on the average pixel value of the image can be determined as the minimum pattern.
  • the processor 120 may perform texture mapping using the layout pattern information for the minimum pattern and the minimum pattern that have been detected. For example, the processor 120 can reproduce a repeated pattern on a virtual object by copying and generating a plurality of detected minimum patterns, and arranging a plurality of minimum patterns based on the arrangement structure information.
  • FIG. 14 is a diagram for explaining the configuration of the electronic device 100 according to another embodiment of the present disclosure.
  • the electronic device 100 may include a communication unit 110, a processor 120, a user interface unit 130, a camera 140, a display 150, and a memory 160.
  • the description of the communication unit 110 and the processor 120 of FIG. 13 may be applied to the communication unit 110 and the processor 120 of FIG.
  • the electronic device 100 may be a mobile phone, a smart phone, a desktop computer, a notebook computer, a tablet, a device for digital broadcasting, a PDA (personal digital assistant), a portable multimedia player (PMP), a navigation device, a digital signage But is not limited thereto.
  • PDA personal digital assistant
  • PMP portable multimedia player
  • the communication unit 110 is configured to perform communication with an external device and may include an input / output port.
  • the input / output port may include, for example, a USB port, an HDMI port, a component input port, and the like.
  • the communication unit 110 can perform communication with an external device through various communication methods.
  • the communication unit 110 may include a Wi-Fi chip, a Bluetooth chip, a wireless communication chip, an NFC chip, and the like.
  • the Wi-Fi chip and the Bluetooth chip communicate with each other using the WiFi method and the Bluetooth method, respectively.
  • various connection information such as an SSID and a session key may be transmitted and received first, and communication information may be used to transmit and receive various information.
  • the wireless communication chip refers to a chip that performs communication according to various communication standards such as IEEE, ZigBee, 3G (3rd Generation), 3rd Generation Partnership Project (3GPP), LTE (Long Term Evolution)
  • the NFC chip refers to a chip operating in an NFC (Near Field Communication) system using 13.56 MHz band among various RF-ID frequency bands such as 135 kHz, 13.56 MHz, 433 MHz, 860 to 960 MHz, and 2.45 GHz.
  • the electronic device 100 can receive an image in which a plurality of patterns are arranged from the external device through the communication unit 110.
  • the external device may be an image reading device such as a scanner and a camera.
  • the user interface unit 130 functions to enable a user to set or select various functions supported by the electronic device 100.
  • the user interface unit 101 may be implemented as an input device such as a mouse, a keyboard, a button, a touch pad, or the like. Depending on the type of user input, it may be implemented as a microphone for receiving voice, a motion sensor for receiving motion, or the like.
  • the display 150 is a structure for displaying various screens.
  • a cathode ray tube (CRT), a plasma display panel (PDP), an organic light emitting diode (OLED), a transparent OLED (TOLED), and the like may be used as the display 150.
  • the display 150 and the touch sensor may be combined to form a touch screen capable of sensing a user's touch operation.
  • the camera 140 may be used to capture an object on which a plurality of patterns are arranged in order to obtain a minimum pattern.
  • the memory 160 stores various data and programs necessary for driving the electronic device 100.
  • the memory 160 may store input / output signals or data according to driving of the communication unit 110, the user interface unit 130, the camera 140, and the display 150.
  • the memory 160 may be implemented, for example, as a non-volatile memory, a volatile memory, a flash memory, a hard disk drive (HDD), or a solid state drive (SSD).
  • the memory 160 may be implemented not only as a storage medium in the electronic device 100 but also as an external storage medium such as a micro SD card, a USB memory, or a web server via a network.
  • the processor 120 controls the overall operation of the electronic device 100 and the signal flow between the internal components of the electronic device 100 and performs the function of processing the data.
  • the processor 120 includes a RAM 121, a ROM 122, a CPU 123 and a bus 124.
  • the RAM 121, the ROM 122, the CPU 123, and the like may be connected to each other via a bus 124.
  • the processor 130 may be implemented as a SoC (System On Chip).
  • the CPU 123 accesses the memory 160 and performs booting using the O / S stored in the memory 160. [ And performs various operations using various programs, contents, data stored in the memory 160, and the like.
  • the ROM 122 stores a command set for booting the system and the like.
  • the CPU 123 copies the O / S stored in the memory 160 to the RAM 121 according to the command stored in the ROM 122, executes the O / .
  • the CPU 123 copies various application programs stored in the memory 160 to the RAM 121, executes the application program copied to the RAM 121, and performs various operations.
  • the processor 120 may detect a minimum pattern from an image in which a plurality of patterns are arranged, generate layout structure information for the minimum pattern, and store the layout structure information in the memory 160.
  • the texture mapping may be performed using the minimum pattern and layout structure information stored in the memory 160.
  • the pattern of the original image is a pattern other than a block type, for example, a pattern such as a block / Brick / Drop / Hexagon
  • By finding a pattern having a minimum size it is possible to eliminate the possibility that the minimum unit pattern to be represented by the same color / shape / pattern is expressed differently. Therefore, high quality can be assured when reconstructing a final tiling image.
  • the quality of the minimum pattern itself can be improved by applying an image quality improvement algorithm such as correcting the color and increasing the resolution by utilizing a plurality of minimum patterns obtained by dividing the block pattern.
  • it is reduced to a minimum pattern having a size of 50% or less than the size of the block pattern, thereby exhibiting the effect of reducing the time for registration and the memory storage space when registered when registering in the memory storage space.

Abstract

텍스처 매핑을 위한 최소 패턴을 검출할 수 있는 전자 장치 및 전자 장치의 제어 방법이 개시된다. 본 제어 방법은, 복수의 패턴이 반복적으로 배치되는 영상을 수신받는 단계, 수신된 영상에서 블락 패턴을 추출하는 단계, 추출된 블락 패턴에서 최소 패턴을 검출하는 단계 및 검출된 최소 패턴에 대한 배치 구조 정보를 생성하는 단계를 포함한다.

Description

전자 장치 및 그의 제어방법
본 개시는 전자 장치 및 그의 제어방법에 대한 것으로, 더욱 상세하게는 텍스처 매핑을 위한 최소 패턴을 검출할 수 있는 전자 장치 및 그의 제어방법에 대한 것이다.
컴퓨터 그래픽스의 발전과 유관 산업 분야의 부상으로 비디오 게임, 3D 애니메이션, 실사 영화 속 특수효과와 같은 미디어 엔터테인먼트 분야는 물론 건축 시각화, 제품 3D 모델링, 각종 시뮬레이터와 같은 일반적인 산업 분야에서도 가상 컨텐츠를 렌더링하는 기술이 널리 이용되고 있었다.
사물의 색상, 질감을 표현하는 데 있어, 보다 실재와 유사하거나 높은 품질의 가상 컨텐츠를 표현하기 위해 일반적으로 텍스처 매핑 기법을 활용하며, 이 기법은 수식이나 2차원의 그림을 3차원의 물체에 적용하는 다양한 방법을 지칭한다.
텍스처 매핑 기법은 보다 적은 연산으로 높은 품질의 최종 렌더링 이미지를 제작할 수 있으며, 기타 사물의 표면에 대한 다양한 표현을 가능하게 한다.
예컨대, 가상 의복을 재현하는 경우에 있어서 텍스처 매핑을 하는 경우, 많은 수의 실제 의복의 직물이 반복 패턴(repeated pattern)으로 이루어져 있기 때문에 이에 대한 별도의 처리가 필요하였다. 끊긴 곳 없이(seamless) 이어지는 반복 패턴을 손쉽게 획득하는 것이 사실성이 높은 가상 의복을 재현하는 경우 중요한 문제로 대두되었다.
본 개시는 상술한 필요성에 따른 것으로, 본 개시의 목적은 텍스처 매핑을 위한 최소 패턴을 검출할 수 있는 전자 장치 및 그의 제어방법을 제공함에 있다.
이상과 같은 목적을 달성하기 위한 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법은, 복수의 패턴이 반복적으로 배치되는 영상을 수신받는 단계, 상기 수신된 영상에서 블락 패턴을 추출하는 단계, 상기 추출된 블락 패턴에서 최소 패턴을 검출하는 단계 및 상기 검출된 최소 패턴에 대한 배치 구조 정보를 생성하는 단계를 포함한다.
이 경우, 상기 최소 패턴을 검출하는 단계는, 상기 추출된 블락 패턴이 최소 블락 패턴이면 상기 블락 패턴을 반으로 나누어 제1 화상과 제2 화상을 획득하고, 상기 제2 화상을 라인 단위로 쉬프팅하여 변형된 화상이 상기 제1 화상과 대응되면, 상기 제1 화상과 상기 제2 화상 중 어느 하나를 상기 최소 패턴으로 검출할 수 있다.
이 경우, 상기 최소 패턴을 검출하는 단계는, 상기 추출된 블락 패턴의 대칭성에 기초하여 상기 추출된 블락 패턴이 최소 블락 패턴인지 여부를 판단할 수 있다.
한편, 상기 최소 패턴의 배치 구조 정보는, 상기 제1 화상과 대응되도록 하는 상기 제2 화상의 쉬프팅 비율에 대한 정보를 포함할 수 있다.
한편, 상기 최소 패턴을 검출하는 단계는, 상기 제1 화상과 제2 화상이 세로로 나뉘어 획득된 것이면, 상기 제2 화상을 세로 방향으로 라인 단위로 쉬프팅하여 변형시킬 수 있다.
한편, 상기 최소 패턴을 검출하는 단계는, 상기 제1 화상과 제2 화상이 가로로 나뉘어 획득된 것이면, 상기 제2 화상을 가로 방향으로 라인 단위로 쉬프팅하여 변형시킬 수 있다.
한편, 상기 최소 패턴을 검출하는 단계는, 상기 제1 화상과 대응되도록 변형될 때까지 상기 제2 화상을 라인 단위로 순차적으로 쉬프팅하고, 쉬프팅에 의해 변형된 제2 화상이 변형 전 제2 화상과 동일해지면 쉬프팅을 중단하고 상기 추출된 블락 패턴을 상기 최소 패턴으로 결정할 수 있다.
한편, 상기 최소 패턴을 검출하는 단계는, 상기 추출된 블락 패턴이 최소 블락 패턴이면 상기 블락 패턴을 가로 방향으로 나누어 제1 화상과 제2 화상을 획득하고, 상기 제1 화상과 대응되도록 변형될 때까지 상기 제2 화상을 라인 단위로 순차적으로 쉬프팅하고, 쉬프팅에 의해 변형된 제2 화상이 변형 전 제2 화상과 동일해지면 상기 블락 패턴을 세로 방향으로 나누어 제3 화상과 제4 화상을 획득하고, 상기 제4 화상을 라인 단위로 쉬프팅하여 변형된 화상이 상기 제3 화상과 대응되면, 상기 제3 화상과 상기 제4 화상 중 어느 하나를 상기 최소 패턴으로 검출할 수 있다.
이 경우, 상기 최소 패턴을 검출하는 단계는, 상기 제3 화상과 대응되도록 변형될 때까지 상기 제4 화상을 라인 단위로 순차적으로 쉬프팅하고, 쉬프팅에 의해 변형된 제4 화상이 변형 전 제4 화상과 동일해지면 쉬프팅을 중단하고 상기 추출된 블락 패턴을 상기 최소 패턴으로 결정할 수 있다.
한편, 상기 최소 패턴을 검출하는 단계는, 상기 추출된 블락 패턴이 최소 블락 패턴이면 상기 블락 패턴을 반으로 나누어 제1 화상과 제2 화상을 획득하고, 상기 제2 화상을 라인 단위로 쉬프팅하여 변형된 화상이 상기 제1 화상과 대응되면, 상기 제1 화상과 제2 화상의 평균 픽셀 값을 기초로 생성된 영상을 최소 패턴으로 결정할 수 있다.
한편, 본 실시 예에 따른 제어 방법은, 상기 최소 패턴의 배치 구조 정보를 기초로 상기 최소 패턴을 나열하여 가상 물체에 대한 텍스처 매핑을 수행하는 단계를 더 포함할 수 있다.
한편, 본 개시의 일 실시 예에 따른 전자 장치는, 복수의 패턴이 반복적으로 배치되는 영상을 수신받는 통신부 및 상기 수신된 영상에서 블락 패턴을 추출하고, 상기 추출된 블락 패턴에서 최소 패턴을 검출하고, 상기 검출된 최소 패턴에 대한 배치 구조 정보를 생성하는 프로세서를 포함한다.
이 경우, 상기 프로세서는, 상기 추출된 블락 패턴이 최소 블락 패턴이면 상기 블락 패턴을 반으로 나누어 제1 화상과 제2 화상을 획득하고, 상기 제2 화상을 라인 단위로 쉬프팅하여 변형된 화상이 상기 제1 화상과 대응되면, 상기 제1 화상과 상기 제2 화상 중 어느 하나를 상기 최소 패턴으로 검출할 수 있다.
이 경우, 상기 프로세서는, 상기 추출된 블락 패턴의 대칭성에 기초하여 상기 추출된 블락 패턴이 최소 블락 패턴인지 여부를 판단할 수 있다.
한편, 상기 프로세서는, 상기 제1 화상과 제2 화상이 세로로 나뉘어 획득된 것이면, 상기 제2 화상을 세로 방향으로 라인 단위로 쉬프팅하여 변형시킬 수 있다.
한편, 상기 프로세서는, 상기 제1 화상과 제2 화상이 가로로 나뉘어 획득된 것이면, 상기 제2 화상을 가로 방향으로 라인 단위로 쉬프팅하여 변형시킬 수 있다.
한편, 상기 프로세서는, 상기 제1 화상과 대응되도록 변형될 때까지 상기 제2 화상을 라인 단위로 순차적으로 쉬프팅하고, 쉬프팅에 의해 변형된 제2 화상이 변형 전 제2 화상과 동일해지면 쉬프팅을 중단하고 상기 추출된 블락 패턴을 상기 최소 패턴으로 결정할 수 있다.
한편, 상기 프로세서는, 상기 추출된 블락 패턴이 최소 블락 패턴이면 상기 블락 패턴을 가로 방향으로 나누어 제1 화상과 제2 화상을 획득하고, 상기 제1 화상과 대응되도록 변형될 때까지 상기 제2 화상을 라인 단위로 순차적으로 쉬프팅하고, 쉬프팅에 의해 변형된 제2 화상이 변형 전 제2 화상과 동일해지면 상기 블락 패턴을 세로 방향으로 나누어 제3 화상과 제4 화상을 획득하고, 상기 제4 화상을 라인 단위로 쉬프팅하여 변형된 화상이 상기 제3 화상과 대응되면, 상기 제3 화상과 상기 제4 화상 중 어느 하나를 상기 최소 패턴으로 검출할 수 있다.
한편, 상기 프로세서는, 상기 추출된 블락 패턴이 최소 블락 패턴이면 상기 블락 패턴을 반으로 나누어 제1 화상과 제2 화상을 획득하고, 상기 제2 화상을 라인 단위로 쉬프팅하여 변형된 화상이 상기 제1 화상과 대응되면, 상기 제1 화상과 제2 화상의 평균 픽셀 값을 기초로 생성된 영상을 최소 패턴으로 결정할 수 있다.
한편, 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 실행하기 위한 프로그램을 포함하는 기록매체에 있어서, 상기 제어 방법은, 복수의 패턴이 반복적으로 배치되는 영상이 수신되면, 상기 수신된 영상에서 블락 패턴을 추출하는 단계, 상기 추출된 블락 패턴에서 최소 패턴을 검출하는 단계 및 상기 검출된 최소 패턴에 대한 배치 구조 정보를 생성하는 단계를 포함한다.
도 1은 본 개시의 일 실시 예에 따른 전자장치의 제어방법을 설명하기 위한 흐름도,
도 2 내지 도 6은 단위 패턴을 이용해 전체 이미지를 재현하는 방식의 다양한 예를 설명하기 위한 도면,
도 7 내지 도 8은 본 개시의 일 실시 예에 따른 최소 패턴 검출 방법을 설명하기 위한 흐름도,
도 9 내지 도 11은 본 개시의 일 실시 예에 따른 최소 패턴 검출 방법을 설명하기 위한 도면,
도 12a 내지 도 12b는 최소 패턴을 배열하는 다양한 배열 형태의 예시를 설명하기 위한 도면,
도 13은 본 개시의 일 실시 예에 따른 전자장치의 구성을 설명하기 위한 블럭도, 그리고
도 14는 본 개시의 또 다른 실시 예에 따른 전자장치의 구성을 설명하기 위한 블럭도이다.
본 개시에 대하여 구체적으로 설명하기에 앞서, 본 명세서 및 도면의 기재 방법에 대하여 설명한다.
본 명세서 및 청구범위에서 사용되는 용어는 본 개시의 다양한 실시 예들에서의 기능을 고려하여 일반적인 용어들을 선택하였다 하지만, 이러한 용어들은 당해 기술 분야에 종사하는 기술자의 의도나 법률적 또는 기술적 해석 및 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 일부 용어는 출원인이 임의로 선정한 용어도 있다. 이러한 용어에 대해서는 본 명세서에서 정의된 의미로 해석될 수 있으며, 구체적인 용어 정의가 없으면 본 명세서의 전반적인 내용 및 당해 기술 분야의 통상적인 기술 상식을 토대로 해석될 수도 있다.
또한, 본 명세서에 첨부된 각 도면에 기재된 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 부품 또는 구성요소를 나타낸다. 설명 및 이해의 편의를 위해서 서로 다른 실시 예들에서도 동일한 참조번호 또는 부호를 사용하여 설명한다. 즉, 복수의 도면에서 동일한 참조 번호를 가지는 구성요소를 모두 도시되어 있다고 하더라도, 복수의 도면들이 하나의 실시 예를 의미하는 것은 아니다.
또한, 본 명세서 및 청구범위에서는 구성요소들 간의 구별을 위하여 "제1", "제2" 등과 같이 서수를 포함하는 용어가 사용될 수 있다. 이러한 서수는 동일 또는 유사한 구성요소들을 서로 구별하기 위하여 사용하는 것이며 이러한 서수 사용으로 인하여 용어의 의미가 한정 해석되어서는 안 된다. 일 예로, 이러한 서수와 결합된 구성요소는 그 숫자에 의해 사용 순서나 배치 순서 등이 제한되어서는 안 된다. 필요에 따라서는, 각 서수들은 서로 교체되어 사용될 수도 있다.
본 명세서에서 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 개시의 실시 예에서 "모듈", "유닛", "부(part)" 등과 같은 용어는 적어도 하나의 기능이나 동작을 수행하는 구성요소를 지칭하기 위한 용어이며, 이러한 구성요소는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈", "유닛", "부(part)" 등은 각각이 개별적인 특정한 하드웨어로 구현될 필요가 있는 경우를 제외하고는, 적어도 하나의 모듈이나 칩으로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.
또한, 본 개시의 실시 예에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적인 연결뿐 아니라, 다른 매체를 통한 간접적인 연결의 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 포함한다는 의미는, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하, 첨부된 도면을 이용하여 본 개시에 대하여 구체적으로 설명한다.
도 1은 본 개시의 일 실시 예에 따른 전자 장치의 제어방법을 설명하기 위한 흐름도이다.
도 1을 참고하면, 먼저 전자 장치는 복수의 패턴이 반복적으로 배치되는 영상을 수신받는다(S110).
복수의 패턴이 반복적으로 배치되는 영상은 예를 들어 복수의 패턴이 반복적으로 배치된 시트, 옷감 등을 스캐너로 스캔하거나, 카메라로 촬영하여 생성된 영상일 수 있다. 실제 사물을 스캔하거나 촬영한 영상에 한정되는 것은 아니고, 예컨대 그래픽 편집 소프트웨어를 이용하여 인위적으로 제작된 영상도 해당될 수 있다.
전자 장치(100)는 복수의 패턴이 반복적으로 배치되는 영상을 다양한 통신 방식을 통해 수신받을 수 있다. 예컨대, 근거리 통신망(LAN: Local Area Network), 인터넷망을 통해 수신받을 수 있고, USB(Universal Serial Bus) 포트를 통하여 수신받을 수 있다.
전자 장치의 메모리에 복수의 패턴이 반복적으로 배치되는 영상이 기 저장되어 있는 경우라면 S110 단계는 생략될 수 있다.
그리고 전자 장치는 수신된 영상에서 블락 패턴을 추출할 수 있다(S120). 블락 패턴은 수신된 영상에서 패턴의 반복성을 기초로 사각형 형태로 추출될 수 있으며, 블락 패턴을 반복적으로 배열되면 전체 영상을 재현할 수 있다. 도 2 내지 도 4를 참고하여 설명하자면, 전자 장치는 도 2와 같이 복수의 패턴이 반복적으로 배치되는 영상이 입력되면, 영상 내 패턴의 반복성을 기초로 도 3과 같은 블락 패턴을 추출할 수 있다. 그리고 블락 패턴을 도 4와 같이 가로 세로로 반복 배치해서 전체 영상을 재현할 수 있다.
일 예로, 전자 장치는 복수의 패턴이 반복적으로 배치되는 영상을 가로/세로 축 관점에서 반복의 주기를 추측하여 반복이 되는 사각형 영역을 대략 추측하고, 이후 가로/세로 축의 평행 이동을 통해 정확한 반복위치를 찾는 과정으로 블락 패턴을 추출할 수 있다. 이 밖에도 공지의 다양한 알고리즘을 사용하여 블락 패턴을 추출할 수 있다.
블락 패턴이 전자 장치에 기저장되어 있는 경우라면 S110 내지 S120 단계는 생략될 수 있다.
한편, 블락 패턴은 가로, 세로 축 관점에서의 반복성을 기초로 추출되는 것이기 때문에 최소 패턴이 아닐 수 있다. 예컨대, 도 2의 영상의 최소 패턴은 도 5의 영상이다. 도 5의 영상을 도 6과 같이 어긋나게 배치함으로써(이와 같은 배치 형태를 하프 드롭 형태라고 함), 도 2의 원본 영상과 같은 반복 패턴을 재현할 수 있다.
텍스처 맵핑 시, 도 3과 같은 블락 패턴을 이용하는 것보다, 도 5와 같이 작은 크기의 최소패턴을 이용하게 되면 메모리 공간을 효율적으로 이용할 수 있으며, GPU에 업로드 하는 시간도 단축될 수 있다. 현재 일반적으로 영화 및 차세대 게임의 경우 4k 이상의 해상도를 가진 텍스처 이미지를 사용하는 경우가 많기 때문에, 도 3과 같은 블락 패턴을 다수 이용해 테라바이트 수준으로 장면을 구성하는 경우 전체적인 낭비가 발생할 수 있다. 또한, 도 3과 같은 블락 패턴은 블락 패턴 안에 복수 개의 최소 패턴이 존재하기 때문에, 복수 개의 최소 패턴 각각이 서로 동일한 색감을 가지지 못하는 경우, 도 4처럼 배열하였을 때, 균일하게 반복되어야 할 부분들이 얼룩지게 보이는 색상 불일치 문제가 발생할 수 있다. 이러한 이유에서도 최소 패턴을 찾는 것이 필요하다.
따라서, 전자 장치는 추출된 블락 패턴에서 최소 패턴을 검출하는 과정을 수행한다(S130).
이하 도 7 내지 도 8의 흐름도를 참고하여 최소 패턴을 검출하는 동작의 일 실시 예를 설명하도록 한다.
도 7을 참고하면, 먼저 복수의 패턴이 반복적으로 배치된 예컨대 도 2와 같은 영상을 수신한다. 그리고 수신된 영상에 반복 패턴 검출 알고리즘을 적용하여(S510), 예컨대 도 3과 같은 블락 패턴을 추출한다. 이후, 최소 패턴을 검출하는 처리 동작이 수행된다.
먼저, 블락 패턴이 최소 블락 패턴인지를 알아보는 과정을 수행한다. 블락 패턴을 반복 배열하였을 때 원본 영상을 재현할 수 있는 것이긴 하지만, 그것이 최소 블락 패턴은 아닐 수 있기 때문이다. 즉, 블락 패턴에서도 더 작은 블락 패턴이 추출될 수 있다.
전자 장치는 블락 패턴의 대칭성에 기초하여 블락 패턴이 최소 블락 패턴인지 여부를 판단할 수 있다. 구체적으로, 블락 패턴을 세로(또는 가로)로 반으로 나누어(S520), 왼쪽(또는 위쪽) 화상 및 오른쪽(또는 아래쪽) 화상을 획득한다.
그리고 전자 장치는 왼쪽(또는 위쪽) 화상과 오른쪽(또는 아래쪽) 화상 간의 유사도를 측정한다(S530). 유사도가 기 설정된 임계값 이상인 것으로 판단되면(S540, Y), 왼쪽(또는 위쪽) 화상으로 다시 S520 단계부터 반복한다. 오른쪽(또는 아래쪽) 화상으로 다시 S520 단계부터 반복하여도 무방하다.
유사도 측정 결과 유사도가 임계값 미만인 것으로 판단되면(S540, N), 반으로 나누었던 영상을 다시 합치는 영상 복원을 하여(S550), 복원된 영상을 최소 블락 패턴으로 결정한다. 세로로도 나누어 보고 가로로도 나누어 보았을 때 모두 유사도가 임계값 미만인 경우에 최소 블락 패턴으로 결정한다. 반으로 나누기 이전의 영상을 저장해 두고 있는 경우라면, 영상 복원 과정(S550)은 생략될 수 있다.
상술한 S510 내지 S550의 처리 과정을 도 9 내지 도 10의 예시를 통해 설명하자면, 도 9에서와 같이 블락 패턴(10)을 예컨대 세로로 반으로 나누어 왼쪽 화상(11)과 오른쪽 화상(12)을 획득하고, 이 둘의 유사도를 비교한다. 유사도가 기설정된 임계값 이상이므로 둘 중 어느 하나를 택해서 반으로 나누어 다시 유사도를 비교하는 과정을 반복한다. 예컨대 왼쪽 화상(11)을 택하여, 도 10에서와 같이 왼쪽 화상(11)을 예컨대 가로로 반으로 나누어 위쪽 화상(13)과 아래쪽 화상(15)을 획득하고 이 둘의 유사도를 비교한다. 유사도가 기설정된 임계값 이상이므로 둘 중 어느 하나를 택하여 반으로 나누어 다시 유사도를 비교하는 과정을 반복한다. 가로로도 나누어 보고, 세로로도 나누어 유사도를 비교한 결과, 유사도가 기 설정된 임계치 미만이라고 판단되면 위쪽 화상(13) 또는 아래쪽 화상(15) 중 어느 하나를 최소 블락 패턴으로 결정한다. 도 10의 예시에선 아래쪽 화상(15)을 최소 블락 패턴으로 결정하였다.
최소 블락 패턴이 찾아졌으면, 그 안에서 최소 패턴을 찾는 과정을 수행한다. 이에 대해선 도 8을 참고하여 설명하도록 한다. 도 8은 도 7에서 이어지는 흐름도이다.
도 8을 참고하면, 전자 장치는 최소 블락 패턴을 세로(또는 가로)로 반으로 나누어(S610), 왼쪽(또는 위쪽) 화상 및 오른쪽(또는 아래쪽) 화상을 획득한다. 이하 설명의 편의를 위해 상기 획득된 두 개의 화상 중 어느 하나를 제1 화상이라 명명하고 다른 하나를 제2 화상이라 명명한다.
전자 장치는 제1 화상과 제2 화상 중 어느 하나를 기준으로 두고, 다른 하나를 변형시켜서 기준으로 둔 화상과 유사해지는지를 확인한다. 예컨대, 전자 장치는 제2 화상을 라인 단위로 쉬프팅하여 변형한다(S620). 제1 화상과 제2 화상을 세로로 나누었다면 세로 방향(위 또는 아래 방향)으로 쉬프팅하고, 가로로 나누었다면 가로 방향(왼쪽 또는 오른쪽 방향)으로 쉬프팅한다. 라인의 높이는 제2 화상의 한 개의 픽셀 높이에 해당되도록 설정될 수 있다.
쉬프팅되어 변형된 제2 화상이 원본 화상, 즉 쉬프팅하여 변형하기 이전의 제2 화상과 동일한지를 판단하여, 동일하지 않다면(S630, N), 제1 화상과 변형된 제2 화상을 비교해서 유사도를 측정한다(S650). 유사도가 기 설정된 임계값 이상인 경우(S660, Y), 제1 화상과 변형된 제2 화상이 서로 대응되는 것으로 판단하고, 제1 화상과 제2 화상 중 어느 하나를 최소 패턴으로서 결정한다.
라인 단위로 쉬프팅하는 것에 대해 좀 더 설명하자면, 도 11에 도시한 바와 같이 최소 블락 패턴(15)을 예컨대 세로 방향으로 나누어 제1 화상(16)과 제2 화상(17)을 획득하고, 제2 화상(17)의 맨 아래쪽 라인부터 순차적으로 위로 옮겨붙이는 쉬프팅 과정을 수행한다. 예컨대, 제2 화상(17)에서 한 픽셀에 해당하는 높이의 가장 아래쪽 라인을 위로 옮겨 붙이고 제1 화상과 비교한다. 유사도가 기 설정된 임계값 미만이면 다시 한 픽셀에 해당하는 높이의 가장 아래쪽 라인을 위로 옮겨 붙이고 제1 화상(16)과 비교한다. 이와 같은 과정을 제1 화상과 기 설정된 임계값 이상으로 유사해질 때까지 반복한다. 도 11의 예시에선 제2 화상(17)을 라인 단위로 위쪽으로 쉬프팅시켜서 제2 화상의 50%가 위쪽으로 쉬프팅되었을 때 제1 화상과 대응되는 화상(18)으로 변형되었고, 따라서 제1 화상(16)과 제2 화상(17) 중 어느 하나가 최소 패턴으로서 결정된다. 그리고 쉬프팅 비율 50%는 상기 결정된 최소 패턴에 대한 배치 구조 정보로서 저장될 수 있다.
상술한 예시에선 쉬프팅되는 라인의 높이가 하나의 픽셀의 높이에 해당하는 것으로 설명하였으나, 이는 일 예일 뿐, 라인의 높이는 필요에 맞게 설정될 수 있다. 라인의 높이를 작게 설정할수록 처리 시간이 오래 걸릴 수 있으나, 정확도를 높일 수 있다.
상술한 예시에선 위쪽 방향으로의 쉬프팅을 설명하였으나, 쉬프팅은 아래쪽 방향으로 이루어질 수도 있다. 한편, 상술한 예시에선 최소 블락 패턴(15)을 세로로 나누었기 때문에 세로 방향으로 쉬프팅이 이루어지지만, 가로 방향으로 나눈 경우에는 가로 방향으로 쉬프팅이 이루어진다. 가로 방향으로 나눈 경우에는 예컨대, 영상의 가장 왼쪽 라인을 오른쪽으로 순차적으로 옮기거나, 영상의 가장 오른쪽 라인을 왼쪽으로 순차적으로 옮기는 쉬프팅이 수행될 수 있다.
한편, 상술한 예시에선 제1 화상 또는 제2 화상 중 어느 하나를 최소 패턴으로 결정하는 것으로 설명하였으나, 또 다른 실시 예에 따르면, 제1 화상 또는 제2 화상 그대로를 최소 패턴으로써 이용하기보단, 제1 화상과 제2 화상을 이용하여 이미지 품질 향상을 위한 추가의 처리를 수행하여 생성된 화상을 최소 패턴으로 이용할 수 있다.
일 예로, 제1 화상과 제2 화상의 평균 픽셀 값을 기초로 생성된 영상을 최소 패턴으로 결정할 수 있다. 이 과정에선 다음과 같은 과정들이 수행될 수 있다. 먼저, 제1 화상과 제2 화상의 중복되는 픽셀 값들 간의 차이가 최소가 되도록 공간상의 위치를 일치시키는 이미지 정합 처리가 수행될 수 있다. 그 다음으로 이미지 병합(blending) 처리가 수행될 수 있다. 이미지 병합 처리에선 픽셀 또는 서브 픽셀 단위로 중복되는 값들을 병합하여 하나의 최종 값이 결정되는데, 각 픽셀마다 평균값을 최종 값으로 결정할 수 있다. 이 외에도 노이즈 제거를 위해 필터(예컨대 미디언 필터)를 적용하는 과정이 수행될 수 있다. 마지막으로 경계선 제거(seam removal) 처리가 수행될 수 있다. 최종 이미지는 좌우 또는 위아래로 확장해서 사용하기 때문에 경계 부분의 접합선이 없어야 한다. 따라서 확장하는 경계 부분의 픽셀 값의 차이가 최소가 되도록 접합선 제거 알고리즘을 수행할 수 있다. 이 밖에도 추가적으로 디블러링(debluring), 초해상도(super resolution) 등의 기법을 이용해서 최종 이미지 품질이 향상된 최소 패턴을 생성할 수 있다.
본 실시 예에 따르면, 스캐너와 카메라 등으로 생성한 영상에서 발생할 수 있는 노이즈, 컬러 베리에이션(color variation), 평면으로 이미지를 변환하는 과정(방사 왜곡 보정(radial distortion correction)과 대상 평면에서 수직으로 촬영하지 않을 때 필요), 블러(blur), 비네트(vignette), 노출 차이(exposure differences) 등의 원인으로 인해 발행할 수 있는 화질 저하를 보상할 수 있다.
다시 도 8로 돌아와 설명을 이어가도록 한다. 쉬프팅된 제2 화상이 원본 화상, 즉 쉬프팅하여 변형하기 이전의 제2 화상과 동일한지를 판단하여, 동일하다고 판단된 경우(S630, Y), 이 경우는 제2 화상의 쉬프팅 비율이 100%가 될 때까지도 제1 화상과 대응되지 않은 경우이다. 다시 말해, 반으로 나누기 전의 최소 블락 패턴이 최소 패턴이었음을 의미한다. 따라서, 쉬프팅을 중단하고, 반으로 나누기 전인 최소 블락 패턴으로 복원해서(S640), 그 최소 블락 패턴을 최소 패턴으로서 결정한다. 최소 블락 패턴이 본래 형태로 저장되어 있는 경우라면 복원 과정은 생략될 수 있다. 또 다른 실시 예에 따르면, 최소 블락 패턴이 원본 영상에서 반으로 나뉜 한쪽의 영상인 경우(S520 단계 참고), 다른 한쪽의 영상을 이용해서 화질 향상 처리를 추가적으로 수행할 수 있다. 예컨대, 앞서 설명한 제1 화상과 제2 화상의 평균 픽셀 값을 취하여 화상을 형성한 것과 마찬가지 방식으로, S520 단계에서 나뉘어진 두 개의 최소 블락 패턴의 평균 픽셀 값을 기초로 영상을 생성해서, 생성된 영상을 최소 패턴으로 결정할 수 있다.
한편, 상술한 예시에선 최소 블락 패턴을 어느 한 방향으로만 나누어서 최소 패턴을 결정하는 것으로 설명하였으나, 가로 방향으로 나누었을 때 최소 패턴이 찾아지지 않았다면 세로 방향으로 나누어서 재시도한다. 반대로, 세로 방향으로 나누었을 때 최소 패턴이 찾아지지 않았다면 가로 방향으로 나누어 재시도한다.
다시 말해, 최소 블락 패턴을 가로 방향(또는 세로 방향)으로 나누어 제1 화상과 제2 화상을 획득하고, 상기 제1 화상과 대응되도록 변형될 때까지 상기 제2 화상을 라인 단위로 순차적으로 쉬프팅하고, 쉬프팅에 의해 변형된 제2 화상이 변형 전 제2 화상과 동일해지면 상기 최소 블락 패턴을 세로 방향(또는 가로 방향)으로 나누어 제3 화상과 제4 화상을 획득하고, 상기 제4 화상을 라인 단위로 쉬프팅하여 변형된 화상이 상기 제3 화상과 대응되면, 상기 제3 화상과 상기 제4 화상 중 어느 하나를 상기 최소 패턴으로 검출할 수 있다.
이 경우, 상기 제3 화상과 대응되도록 변형될 때까지 상기 제4 화상을 라인 단위로 순차적으로 쉬프팅하고, 쉬프팅에 의해 변형된 제4 화상이 변형 전 제4 화상과 동일해지면 쉬프팅을 중단하고 최소 블락 패턴을 최소 패턴으로서 결정할 수 있다.
다시 도 1을 참고하여 계속 설명하면, 상술한 바와 같이 최소 패턴을 검출하고, 검출된 최소 패턴에 대한 배치 구조 정보를 생성한다(S140). 예컨대, 전자 장치는 상술한 것과 같이 산출된 쉬프팅의 비율과 배치 형태에 대한 정보를 포함하는 배치 구조 정보를 생성할 수 있다. 배치 형태에 대한 정보는 어떤 방향으로 배치해야하는 지를 나타내는 정보이다. 예컨대, 세로 방향으로 쉬프팅이 수행된 결과로 최소 패턴이 검출된 것이라면 배치 형태는 도 12(a)에 도시한 바와 같이 드롭 형태일 수 있고, 가로 방향으로 쉬프팅이 수행된 결과로 최소 패턴이 검출된 것이라면 배치 형태는 도 12(b)에 도시한 바와 같이 브릭 형태일 수 있다.
전자 장치는 검출된 최소 패턴과 최소 패턴에 대한 배치 구조 정보를 저장하고, 이를 텍스트 매핑에 이용한다. 예컨대, 전자 장치는 최소 패턴의 배치 구조 정보를 기초로 최소 패턴을 나열해서 가상 물체에 대한 텍스처 매핑을 수행할 수 있다.
상술한 본 개시의 다양한 실시 예들에 따른 전자 장치에서의 처리동작을 수행하기 위한 컴퓨터 명령어(computer instructions)는 비일시적 컴퓨터 판독 가능 매체(non-transitory computer-readable medium) 에 저장될 수 있다. 이러한 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 명령어는 특정 기기의 프로세서에 의해 실행되었을 때 상술한 다양한 실시 예에 따른 전자 장치에서의 처리 동작을 상기 특정 기기가 수행하도록 한다.
비일시적 컴퓨터 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 비일시적 컴퓨터 판독 가능 매체의 구체적인 예로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 있을 수 있다.
예컨대, 복수의 패턴이 반복적으로 배치되는 영상이 수신되면, 상기 수신된 영상에서 블락 패턴을 추출하는 단계, 상기 추출된 블락 패턴에서 최소 패턴을 검출하는 단계 및 상기 검출된 최소 패턴에 대한 배치 구조 정보를 생성하는 단계를 포함하는 전자 장치의 제어방법을 수행하는 프로그램이 기록된 비일시적 컴퓨터 판독 가능 매체가 제공될 수 있다.
도 13은 상술한 본 개시의 다양한 실시 예에 따른 제어방법을 실행할 수 있는 본 개시의 일 실시 예에 따른 전자 장치를 설명하기 위한 블럭도이다.
도 13을 참고하면 전자 장치(100)는 통신부(110)와 프로세서(120)를 포함한다.
전자 장치(100)는 휴대폰, 스마트폰, 데스크톱 컴퓨터, 노트북 컴퓨터, 태블릿(tablet), 디지털방송용 디바이스, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션, 디지털 사이니지(Digital Signage) 등의 장치로 구현될 수 있으나, 이에 제한되는 것은 아니다.
통신부(110)는 외부 장치와 통신을 수행하기 위한 구성이다. 통신부(110)는 전자 장치(100)를 외부 장치와 연결하기 위해 형성되고, 근거리 통신망(LAN: Local Area Network) 및 인터넷망을 통해 단말장치에 접속되는 형태뿐만 아니라, USB(Universal Serial Bus) 포트 또는 무선 통신 포트를 통하여 접속되는 형태도 가능하다.
통신부(110)를 통해 전자 장치(100)는 영상을 수신할 수 있다. 예컨대, 통신부(110)를 통해 스캐너로부터 스캔 영상을 수신할 수 있고, 카메라로부터 촬영 영상을 수신할 수 있다.
프로세서(120)는 전자 장치(100)의 전반적인 동작을 제어하기 위한 구성이다. 프로세서(120)는 CPU, ASIC, SoC, MICOM 등으로 구현될 수 있다.
프로세서(120)는 앞서 도 1 내지 도 12b를 참고하여 설명한 전자 장치의 제어방법에서의 처리 동작을 수행할 수 있다.
예컨대, 프로세서(120)는 통신부(110)를 통해 복수의 패턴이 반복적으로 배치되는 영상이 수신되면, 수신된 영상에서 블락 패턴을 추출할 수 있다. 예컨대, 프로세서(120)는 수신된 영상 내에서의 패턴의 반복성을 기초로 사각형태의 블락 패턴을 추출할 수 있다.
그리고 프로세서(120)는 추출된 블락 패턴이 최소 블락 패턴인지 판단할 수 있다. 예컨대 프로세서(120)는 추출된 블락 패턴의 좌우 대칭성 또는 상하 대칭성이 있는지에 기초하여 최소 블락 패턴인지 판단할 수 있다. 프로세서(120)는 좌우 대칭 또는 상하 대칭이 없어질 때까지 블락 패턴을 나누어 최소 블락 패턴을 획득할 수 있다.
최소 블락 패턴이 획득되면, 프로세서(120)는 최소 블락 패턴을 반으로 나누어 제1 화상과 제2 화상을 획득하고, 제2 화상을 라인 단위로 쉬프팅하여 변형된 화상이 제1 화상과 대응되면, 제1 화상과 제2 화상 중 어느 하나를 최소 패턴으로 결정할 수 있다.
예컨대, 제1 화상과 제2 화상이 세로로 나뉘어 획득된 것이면, 프로세서(120)는 제2 화상을 세로 방향(아래 또는 위 방향)으로 라인 단위로 순차적으로 쉬프팅하면서 제1 화상과 비교한다. 변형된 제2 화상이 제1 화상과 대응되면, 즉 기 설정된 임계치 이상으로 유사하면, 프로세서(120)는 제1 화상과 제2 화상 중 어느 하나를 최소 패턴으로 검출할 수 있다.
예컨대, 제1 화상과 제2 화상이 가로로 나뉘어 획득된 것이면, 프로세서(120)는 제2 화상을 가로 방향(왼쪽 또는 오른쪽 방향)으로 라인 단위로 순차적으로 쉬프팅하면서 제1 화상과 비교한다. 변형된 제2 화상이 제1 화상과 대응되면, 즉 기 설정된 임계치 이상으로 유사하면, 프로세서(120)는 제1 화상과 제2 화상 중 어느 하나를 최소 패턴으로 검출할 수 있다.
프로세서(120)는 제1 화상과 대응되도록 변형될 때까지 제2 화상을 라인 단위로 순차적으로 쉬프팅하고, 쉬프팅에 의해 변형된 제2 화상이 변형 전 제2 화상과 동일해지면 쉬프팅을 중단하고 최소 블락 패턴을 최소 패턴으로 결정할 수 있다.
프로세서(120)는 최소 블락 패턴을 가로 방향(또는 세로 방향)으로 나누어 제1 화상과 제2 화상을 획득하고, 제1 화상과 대응되도록 변형될 때까지 제2 화상을 라인 단위로 순차적으로 쉬프팅하고, 쉬프팅에 의해 변형된 제2 화상이 변형 전 제2 화상과 동일해지면 상기 블락 패턴을 세로 방향(또는 가로 방향)으로 나누어 제3 화상과 제4 화상을 획득하고, 상기 제4 화상을 라인 단위로 쉬프팅하여 변형된 화상이 상기 제3 화상과 대응되면, 상기 제3 화상과 상기 제4 화상 중 어느 하나를 상기 최소 패턴으로 검출할 수 있다.
그리고 프로세서(120)는 제2 화상이 제1 화상과 대응될 때까지 이루어진 쉬프팅의 비율에 대한 정보 및 쉬프팅의 방향에 대한 정보를, 검출된 최소 패턴에 대한 배치 구조 정보로서 생성할 수 있다.
프로세서(120)는 최소 블락 패턴을 반으로 나누어 제1 화상과 제2 화상을 획득하고, 제2 화상을 라인 단위로 쉬프팅하여 변형된 화상이 제1 화상과 대응되면, 상기 제1 화상과 제2 화상의 평균 픽셀 값을 기초로 생성된 영상을 최소 패턴으로 결정할 수 있다.
프로세서(120)는 검출된 최소 패턴과 최소 패턴에 대한 배치 구조 정보를 이용하여 텍스처 매핑을 수행할 수 있다. 예컨대, 프로세서(120)는 검출된 최소 패턴을 복사하여 복수 개 생성하고, 복수 개의 최소 패턴을 배치 구조 정보에 기초하여 배치함으로써 가상 물체 상에 반복 패턴을 재현할 수 있다.
도 14는 본 개시의 또 다른 실시 예에 따른 전자 장치(100)의 구성을 설명하기 위한 도면이다.
도 14를 참고하면 전자 장치(100)는 통신부(110), 프로세서(120), 사용자인터페이스부(130), 카메라(140), 디스플레이(150), 메모리(160)를 포함할 수 있다. 도 13의 통신부(110)와 프로세서(120)에 대한 설명은 도 14의 통신부(110)와 프로세서(120)에도 적용될 수 있다.
전자 장치(100)는 휴대폰, 스마트폰, 데스크톱 컴퓨터, 노트북 컴퓨터, 태블릿(tablet), 디지털방송용 디바이스, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션, 디지털 사이니지(Digital Signage) 등의 장치로 구현될 수 있으나, 이에 제한되는 것은 아니다.
통신부(110)는 외부 장치와 통신을 수행하기 위한 구성으로, 입출력 포트를 포함할 수 있다. 입출력 포트는 예컨대 USB 포트, HDMI 포트, 컴포넌트 입력 포트 등을 포함할 수 있다.
통신부(110)는 다양한 통신 방식으로 외부 장치와 통신을 수행할 수 있다. 예컨대 통신부(110)는 와이파이 칩, 블루투스 칩, 무선 통신 칩, NFC 칩 등을 포함할 수 있다. 와이파이 칩, 블루투스 칩은 각각 WiFi 방식, 블루투스 방식으로 통신을 수행한다. 와이파이 칩이나 블루투스 칩을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신 칩은 IEEE, 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다. NFC 칩은 135kHz, 13.56MHz, 433MHz, 860~960MHz, 2.45GHz 등과 같은 다양한 RF-ID 주파수 대역들 중에서 13.56MHz 대역을 사용하는 NFC(Near Field Communication) 방식으로 동작하는 칩을 의미한다.
전자 장치(100)는 통신부(110)를 통해 복수의 패턴이 배치된 영상을 외부 장치로부터 수신할 수 있다. 여기서 외부 장치는 스캐너, 카메라 등의 화상 독취 장치일 수 있다.
사용자 인터페이스부(130)는 전자 장치(100)에서 지원하는 각종 기능을 사용자가 설정 또는 선택할 수 있도록 하는 기능을 한다.
사용자 인터페이스부(101)는 마우스, 키보드, 버튼, 터치 패드 등과 같은 입력 장치로 구현될 수 있다. 사용자 입력의 형태에 따라, 음성을 수신하는 마이크, 모션을 수신하는 모션 센서 등으로 구현될 수도 있다.
디스플레이(150)는 다양한 화면을 표시하기 위한 구성이다. 디스플레이(150)는 예컨대, LCD(Liquid Crystal Display)로 구현될 수 있으며, 경우에 따라 CRT(cathode-ray tube), PDP(plasma display panel), OLED(organic light emitting diodes), TOLED(transparent OLED) 등으로 구현될 수 있다. 또한, 디스플레이(150)와 터치 센서가 결합되어 사용자의 터치 조작을 감지할 수 있는 터치스크린 형태로 구현될 수도 있다.
카메라(140)는 피사체를 촬영하여 촬영 영상을 생성하기 위한 구성으로서, 최소 패턴을 얻기 위해 복수의 패턴이 배치된 물체를 촬영하기 위한 용도로 사용될 수 있다.
메모리(160)는 전자 장치(100)의 구동에 필요한 각종 데이터, 프로그램을 저장한다. 메모리(160)는 통신부(110), 사용자인터페이스부(130), 카메라(140), 디스플레이(150)의 구동에 따른 입출력 신호 또는 데이터를 저장할 수 있다.
메모리(160)는 예컨대 비휘발성 메모리, 휘발성 메모리, 플래시메모리(flash-memory), 하드디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 등으로 구현될 수 있다. 한편, 메모리(160)는 전자 장치(100) 내의 저장 매체뿐만 아니라, 외부 저장 매체, 예를 들어, micro SD 카드, USB 메모리 또는 네트워크를 통한 웹 서버(Web server) 등으로 구현될 수 있다.
프로세서(120)는 전자 장치(100)의 전반적인 동작 및 전자 장치(100)의 내부 구성요소들 사이의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행한다.
프로세서(120)는 RAM(121), ROM(122), CPU(123) 및 버스(124)를 포함한다. RAM(121), ROM(122), CPU(123) 등은 버스(124)를 통해 서로 연결될 수 있다. 프로세서(130)는 SoC(System On Chip)로 구현될 수 있다.
CPU(123)는 메모리(160)에 액세스하여, 메모리(160)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고 메모리(160)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.
ROM(122)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴 온 명령이 입력되어 전원이 공급되면, CPU(123)는 ROM(122)에 저장된 명령어에 따라 메모리(160)에 저장된 O/S를 RAM(121)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, CPU(123)는 메모리(160)에 저장된 각종 애플리케이션 프로그램을 RAM(121)에 복사하고, RAM(121)에 복사된 애플리케이션 프로그램을 실행시켜 각종 동작을 수행한다.
예컨대 프로세서(120)는 복수의 패턴이 배치된 영상으로부터 최소 패턴을 검출하고, 최소 패턴에 대한 배치 구조 정보를 생성하여 메모리(160)에 저장할 수 있다. 그리고 메모리(160)에 저장된 최소 패턴과 배치 구조 정보를 이용하여 텍스처 매핑을 수행할 수 있다.
상술한 실시 예의 전자 장치 및 전자 장치의 제어방법에 따르면 원본 영상의 패턴이 블락 형태가 아닌 다른 종류, 예컨대, 브릭/드랍/헥사곤(Block/Brick/Drop/Hexagon)과 같은 종류의 패턴인 경우, 블락보다 더 작은 최소 단위인 브릭 또는 드롭 형태의 최소 패턴을 찾을 수 있다. 최소의 사이즈를 갖는 패턴을 찾음으로써, 같은 색/모양/무늬로 표현되어야 할 최소단위의 무늬가 다르게 표현될 여지를 제거할 수 있다. 따라서 최종적으로 타일링 이미지로 재구성했을 때에 높은 품질을 보장할 수 있다. 또한, 블락 패턴을 분할하여 얻어진 여러 장의 최소 패턴을 활용하여 컬러를 보정하고, 해상도를 높이는 등의 영상 품질 향상 알고리즘을 적용함으로써 최소 패턴 자체의 품질이 향상될 수 있다. 또한 블락 패턴의 크기보다 50% 혹은 그 이하 사이즈의 최소 패턴으로 줄어들게 됨으로써, 메모리 저장 공간에 등록할 때에, 등록을 위한 시간 및 등록되었을 때 메모리 저장공간을 줄이는 효과를 나타낼 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

Claims (15)

  1. 전자 장치의 제어 방법에 있어서,
    복수의 패턴이 반복적으로 배치되는 영상을 수신받는 단계;
    상기 수신된 영상에서 블락 패턴을 추출하는 단계;
    상기 추출된 블락 패턴에서 최소 패턴을 검출하는 단계; 및
    상기 검출된 최소 패턴에 대한 배치 구조 정보를 생성하는 단계;를 포함하는 제어 방법.
  2. 제1항에 있어서,
    상기 최소 패턴을 검출하는 단계는,
    상기 추출된 블락 패턴이 최소 블락 패턴이면 상기 블락 패턴을 반으로 나누어 제1 화상과 제2 화상을 획득하고, 상기 제2 화상을 라인 단위로 쉬프팅하여 변형된 화상이 상기 제1 화상과 대응되면, 상기 제1 화상과 상기 제2 화상 중 어느 하나를 상기 최소 패턴으로 검출하는 제어 방법.
  3. 제2항에 있어서,
    상기 최소 패턴을 검출하는 단계는,
    상기 추출된 블락 패턴의 대칭성에 기초하여 상기 추출된 블락 패턴이 최소 블락 패턴인지 여부를 판단하는 제어 방법.
  4. 제2항에 있어서,
    상기 최소 패턴의 배치 구조 정보는,
    상기 제1 화상과 대응되도록 하는 상기 제2 화상의 쉬프팅 비율에 대한 정보를 포함하는 제어 방법.
  5. 제2항에 있어서,
    상기 최소 패턴을 검출하는 단계는,
    상기 제1 화상과 제2 화상이 세로로 나뉘어 획득된 것이면, 상기 제2 화상을 세로 방향으로 라인 단위로 쉬프팅하여 변형시키는 제어 방법.
  6. 제2항에 있어서,
    상기 최소 패턴을 검출하는 단계는,
    상기 제1 화상과 제2 화상이 가로로 나뉘어 획득된 것이면, 상기 제2 화상을 가로 방향으로 라인 단위로 쉬프팅하여 변형시키는 제어 방법.
  7. 제2항에 있어서,
    상기 최소 패턴을 검출하는 단계는,
    상기 제1 화상과 대응되도록 변형될 때까지 상기 제2 화상을 라인 단위로 순차적으로 쉬프팅하고, 쉬프팅에 의해 변형된 제2 화상이 변형 전 제2 화상과 동일해지면 쉬프팅을 중단하고 상기 추출된 블락 패턴을 상기 최소 패턴으로 결정하는 제어 방법.
  8. 제1항에 있어서,
    상기 최소 패턴을 검출하는 단계는,
    상기 추출된 블락 패턴이 최소 블락 패턴이면 상기 블락 패턴을 가로 방향으로 나누어 제1 화상과 제2 화상을 획득하고, 상기 제1 화상과 대응되도록 변형될 때까지 상기 제2 화상을 라인 단위로 순차적으로 쉬프팅하고, 쉬프팅에 의해 변형된 제2 화상이 변형 전 제2 화상과 동일해지면 상기 블락 패턴을 세로 방향으로 나누어 제3 화상과 제4 화상을 획득하고, 상기 제4 화상을 라인 단위로 쉬프팅하여 변형된 화상이 상기 제3 화상과 대응되면, 상기 제3 화상과 상기 제4 화상 중 어느 하나를 상기 최소 패턴으로 검출하는 제어 방법.
  9. 제8항에 있어서,
    상기 최소 패턴을 검출하는 단계는,
    상기 제3 화상과 대응되도록 변형될 때까지 상기 제4 화상을 라인 단위로 순차적으로 쉬프팅하고, 쉬프팅에 의해 변형된 제4 화상이 변형 전 제4 화상과 동일해지면 쉬프팅을 중단하고 상기 추출된 블락 패턴을 상기 최소 패턴으로 결정하는 제어 방법.
  10. 제1항에 있어서,
    상기 최소 패턴을 검출하는 단계는,
    상기 추출된 블락 패턴이 최소 블락 패턴이면 상기 블락 패턴을 반으로 나누어 제1 화상과 제2 화상을 획득하고, 상기 제2 화상을 라인 단위로 쉬프팅하여 변형된 화상이 상기 제1 화상과 대응되면, 상기 제1 화상과 제2 화상의 평균 픽셀 값을 기초로 생성된 영상을 최소 패턴으로 결정하는 제어 방법.
  11. 제1항에 있어서,
    상기 최소 패턴의 배치 구조 정보를 기초로 상기 최소 패턴을 나열하여 가상 물체에 대한 텍스처 매핑을 수행하는 단계;를 더 포함하는 제어 방법.
  12. 전자 장치에 있어서,
    복수의 패턴이 반복적으로 배치되는 영상을 수신받는 통신부; 및
    상기 수신된 영상에서 블락 패턴을 추출하고, 상기 추출된 블락 패턴에서 최소 패턴을 검출하고, 상기 검출된 최소 패턴에 대한 배치 구조 정보를 생성하는 프로세서;를 포함하는 전자 장치.
  13. 제12항에 있어서,
    상기 프로세서는,
    상기 추출된 블락 패턴이 최소 블락 패턴이면 상기 블락 패턴을 반으로 나누어 제1 화상과 제2 화상을 획득하고, 상기 제2 화상을 라인 단위로 쉬프팅하여 변형된 화상이 상기 제1 화상과 대응되면, 상기 제1 화상과 상기 제2 화상 중 어느 하나를 상기 최소 패턴으로 검출하는 전자 장치.
  14. 제13항에 있어서,
    상기 프로세서는,
    상기 추출된 블락 패턴의 대칭성에 기초하여 상기 추출된 블락 패턴이 최소 블락 패턴인지 여부를 판단하는 전자 장치.
  15. 제13항에 있어서,
    상기 프로세서는,
    상기 제1 화상과 제2 화상이 세로로 나뉘어 획득된 것이면, 상기 제2 화상을 세로 방향으로 라인 단위로 쉬프팅하여 변형시키는 전자 장치.
PCT/KR2018/011774 2017-10-18 2018-10-05 전자 장치 및 그의 제어방법 WO2019078520A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170134984A KR102507669B1 (ko) 2017-10-18 2017-10-18 전자 장치 및 그의 제어방법
KR10-2017-0134984 2017-10-18

Publications (1)

Publication Number Publication Date
WO2019078520A1 true WO2019078520A1 (ko) 2019-04-25

Family

ID=66174579

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/011774 WO2019078520A1 (ko) 2017-10-18 2018-10-05 전자 장치 및 그의 제어방법

Country Status (2)

Country Link
KR (1) KR102507669B1 (ko)
WO (1) WO2019078520A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000076424A (ja) * 1998-09-03 2000-03-14 Fujitsu Ltd テクスチャ圧縮・復元方法及び装置
KR100374604B1 (ko) * 2000-05-31 2003-03-04 삼성전자주식회사 영상의 패턴 반복 기술 방법 및 그 영상 응집화 방법
JP3726442B2 (ja) * 1997-09-01 2005-12-14 コニカミノルタビジネステクノロジーズ株式会社 画像特徴量比較装置および画像特徴量比較プログラムを記録した記録媒体
KR20160031948A (ko) * 2014-09-15 2016-03-23 삼성전자주식회사 데이터 프로세싱 방법 및 디바이스
KR20170035154A (ko) * 2015-09-22 2017-03-30 삼성전자주식회사 텍스쳐를 처리하는 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3726442B2 (ja) * 1997-09-01 2005-12-14 コニカミノルタビジネステクノロジーズ株式会社 画像特徴量比較装置および画像特徴量比較プログラムを記録した記録媒体
JP2000076424A (ja) * 1998-09-03 2000-03-14 Fujitsu Ltd テクスチャ圧縮・復元方法及び装置
KR100374604B1 (ko) * 2000-05-31 2003-03-04 삼성전자주식회사 영상의 패턴 반복 기술 방법 및 그 영상 응집화 방법
KR20160031948A (ko) * 2014-09-15 2016-03-23 삼성전자주식회사 데이터 프로세싱 방법 및 디바이스
KR20170035154A (ko) * 2015-09-22 2017-03-30 삼성전자주식회사 텍스쳐를 처리하는 방법 및 장치

Also Published As

Publication number Publication date
KR20190043217A (ko) 2019-04-26
KR102507669B1 (ko) 2023-03-09

Similar Documents

Publication Publication Date Title
EP3192255B1 (en) Communication apparatus, method of controlling communication apparatus, non-transitory computer-readable storage medium
CN105282475A (zh) 移动字幕检测与补偿方法及系统
WO2019045499A1 (en) IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, AND COMPUTER-READABLE RECORDING MEDIUM
WO2013039347A1 (ko) 영상 처리 장치 및 그 영상 처리 방법
EP3857506A1 (en) Image processing apparatus and image processing method thereof
US9640142B2 (en) Apparatus for detecting region of interest and method thereof
WO2016099186A1 (en) Display apparatus and controlling method
WO2019066273A1 (ko) 전자칠판 및 그 제어방법
WO2021096110A1 (en) Display apparatus and control method thereof
WO2014014263A2 (en) Image data scaling method and image display apparatus
AU2018323576B2 (en) Display apparatus and image processing method thereof
WO2016052908A1 (en) Transmitter, receiver, and control method thereof
WO2021107291A1 (en) Electronic apparatus and control method thereof
WO2018164527A1 (en) Display apparatus and control method thereof
WO2016036073A1 (ko) 디스플레이 장치, 시스템 및 그 제어 방법
WO2019088476A1 (en) Image processing apparatus, method for processing image and computer-readable recording medium
WO2014104685A1 (en) Display apparatus and method for providing menu thereof
WO2016114574A2 (ko) 패치 쉬프트를 이용한 텍스처 필터링 방법 및 장치
WO2018080204A1 (ko) 영상처리장치, 영상처리방법 및 컴퓨터 판독가능 기록 매체
WO2019078520A1 (ko) 전자 장치 및 그의 제어방법
WO2011053060A2 (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
CN103135955A (zh) 一种超大分辨率的拼接屏同步机
WO2021172744A1 (ko) 전자 장치 및 그 제어 방법
WO2020138630A1 (en) Display apparatus and image processing method thereof
WO2018056640A1 (en) Display apparatus and input method thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18868688

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18868688

Country of ref document: EP

Kind code of ref document: A1