KR100957191B1 - Method and system for generating hidden picture puzzles image - Google Patents

Method and system for generating hidden picture puzzles image Download PDF

Info

Publication number
KR100957191B1
KR100957191B1 KR1020080065220A KR20080065220A KR100957191B1 KR 100957191 B1 KR100957191 B1 KR 100957191B1 KR 1020080065220 A KR1020080065220 A KR 1020080065220A KR 20080065220 A KR20080065220 A KR 20080065220A KR 100957191 B1 KR100957191 B1 KR 100957191B1
Authority
KR
South Korea
Prior art keywords
image
object image
background image
similarity
feature points
Prior art date
Application number
KR1020080065220A
Other languages
Korean (ko)
Other versions
KR20100005262A (en
Inventor
이인권
윤종철
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020080065220A priority Critical patent/KR100957191B1/en
Publication of KR20100005262A publication Critical patent/KR20100005262A/en
Application granted granted Critical
Publication of KR100957191B1 publication Critical patent/KR100957191B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/60Rotation of whole images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

숨은그림찾기 이미지 제작 방법 및 시스템이 개시된다. 본 발명에 따른 숨은그림찾기 이미지 제작 방법은, (a) 배경 이미지와 숨은그림찾기의 대상이 되는 물체 이미지를 마련하는 단계; (b) 상기 배경 이미지와 상기 물체 이미지를 비교하여 상기 배경 이미지에 상기 물체 이미지가 삽입될 위치와 상기 물체 이미지의 회전량을 결정하는 단계; 및 (c) 상기 결정된 위치 및 회전량에 따라 상기 배경 이미지에 상기 물체 이미지를 삽입하는 단계를 포함하는 것을 특징으로 한다. 이러한 본 발명에 의하면 미리 마련된 배경 이미지와 숨은그림찾기의 대상이 되는 물체 이미지와의 비교를 통하여 숨은그림찾기 이미지를 자동적으로 제작할 수 있다.Disclosed are a method and a system for producing a hidden object image. Hidden image finding method according to the present invention comprises the steps of (a) preparing a background image and the object image to be the object of the hidden object; (b) comparing the background image with the object image to determine a position at which the object image is to be inserted into the background image and an amount of rotation of the object image; And (c) inserting the object image into the background image according to the determined position and rotation amount. According to the present invention, it is possible to automatically produce a hidden object image through a comparison between the background image prepared in advance and the object image to be the object of the hidden object search.

Description

숨은그림찾기 이미지 제작 방법 및 시스템{Method and system for generating hidden picture puzzles image}Method and system for generating hidden picture puzzles image}

본 발명은 숨은그림찾기 퍼즐 제작에 관한 것으로서, 보다 상세하게는 이미지 분석을 통하여 자동적으로 숨은그림찾기 이미지를 제작하는 방법 및 시스템에 관한 것이다. The present invention relates to a hidden object puzzle, and more particularly, to a method and system for automatically producing a hidden object image through image analysis.

숨은그림찾기 퍼즐은 여러 개의 물체가 하나의 배경에 숨겨진 이미지로 구성되며 교육, 광고, 유희적 목적으로 신문이나 잡지의 구성요소로 사용되고 있다. 특히 대부분의 신문에는 풍자 및 유희의 목적으로 매일 새로운 숨은그림찾기 퍼즐을 제공하고 있으며, 이는 신문을 보는 구독자의 입장에서 주요한 유희적 요소가 되고 있다. Hidden Object Puzzle consists of images hidden in a single background, and is used as a newspaper or magazine component for educational, advertising, and entertainment purposes. In particular, most newspapers provide new hidden object puzzles every day for the purpose of satire and play, which is a major playful element for the subscribers of the newspaper.

일반적인 숨은그림찾기 퍼즐의 제작 과정을 살펴보면, 전문적인 작가가 직접 배경 이미지 및 숨겨질 물체들을 대략적으로 스케치하고, 둘 간의 형태 연계성을 분석하여 발견되기 힘든 위치를 선택한 후, 최종적인 드로잉 과정을 수행하게 된다. In the process of creating a general hidden object puzzle, a professional artist sketches a background image and an object to be hidden, analyzes the shape linkage between the two, selects a location that is difficult to find, and then performs a final drawing process. do.

이러한 숨은그림찾기 퍼즐의 제작을 위해서는 작가에게 기본적인 작화 능력 을 비롯하여 형태 인지 능력, 공간 인지 능력, 공간 기억력 등의 고도의 이미지 분석 능력이 요구된다. 따라서 비전문가에 의한 숨은그림찾기 퍼즐의 제작은 쉽지 않으며, 이러한 전문 기술에 대해 신문과 잡지 등에서는 항상 제작비를 소비하면서 새로운 작품을 연재하고 있다. 그러나 컴퓨터에 의한 이미지 분석을 통하여 자동적으로 숨은그림찾기 이미지를 제작하려는 시도는 전혀 이루어지지 않고 있는 실정이다. In order to produce such hidden picture puzzles, the artist requires advanced image analysis skills such as basic drawing ability, form recognition ability, spatial recognition ability, and spatial memory. Therefore, the production of hidden object puzzles by non-professionals is not easy, and newspapers and magazines always publish new works while producing them. However, no attempt has been made to automatically create a hidden object image through computer image analysis.

본 발명이 이루고자 하는 기술적 과제는 이미지 분석을 통하여 숨은그림찾기 이미지를 자동적으로 생성할 수 있는 숨은그림찾기 이미지 제작 방법 및 시스템을 제공하는 데 있다.The technical problem to be achieved by the present invention is to provide a method and system for producing a hidden object image to automatically create a hidden object image through image analysis.

상기 기술적 과제를 해결하기 위하여 본 발명에 따른 숨은그림찾기 이미지 제작 방법은, (a) 배경 이미지와 숨은그림찾기의 대상이 되는 물체 이미지를 마련하는 단계; (b) 상기 배경 이미지와 상기 물체 이미지를 비교하여 상기 배경 이미지에 상기 물체 이미지가 삽입될 위치와 상기 물체 이미지의 회전량을 결정하는 단계; 및 (c) 상기 결정된 위치 및 회전량에 따라 상기 배경 이미지에 상기 물체 이미지를 삽입하는 단계를 포함하는 것을 특징으로 한다.In order to solve the above technical problem, the method for producing a hidden object image finding method according to the present invention comprises the steps of: (a) providing a background image and an object image to be the object of the hidden object image search; (b) comparing the background image with the object image to determine a position at which the object image is to be inserted into the background image and an amount of rotation of the object image; And (c) inserting the object image into the background image according to the determined position and rotation amount.

여기서, 상기 (b) 단계는, (b1) 상기 배경 이미지와 물체 이미지로부터 특징점들을 추출하는 단계; (b2) 상기 추출된 특징점들 각각에 대하여 형태 기술자를 생성하는 단계; 및 (b3) 상기 생성된 형태 기술자를 이용하여 상기 삽입될 위치와 회전량을 결정하는 단계를 포함할 수 있다.Here, the step (b) may include (b1) extracting feature points from the background image and the object image; (b2) generating a shape descriptor for each of the extracted feature points; And (b3) determining the position and amount of rotation to be inserted using the generated form descriptor.

또한, 상기 (b) 단계는, 상기 배경 이미지 및 상기 물체 이미지를 라인 드로잉 형태로 변환하는 단계를 더 포함하고, 상기 (b1) 단계는 상기 변환된 배경 이미지 및 물체 이미지로부터 상기 특징점들을 추출할 수 있다.The step (b) may further include converting the background image and the object image into a line drawing form, and the step (b1) may extract the feature points from the converted background image and the object image. have.

또한, 상기 (b3) 단계는, (b31) 상기 배경 이미지로부터 추출된 특징점들 각각에 대한 형태 기술자와 상기 물체 이미지로부터 추출된 특징점들 각각에 대한 형태 기술자 간의 유사도를 구하는 단계; 및 (b32) 상기 구해진 유사도를 이용하여 상기 배경 이미지에 상기 물체 이미지가 삽입될 위치를 결정하고, 상기 결정된 위치에서의 상기 회전량을 결정하는 단계를 포함할 수 있다.In addition, the step (b3), (b31) obtaining a similarity between the shape descriptor for each of the feature points extracted from the background image and the shape descriptor for each of the feature points extracted from the object image; And (b32) determining a position at which the object image is to be inserted into the background image by using the obtained similarity, and determining the rotation amount at the determined position.

또한, 상기 형태 기술자는 해당 특징점을 중심으로 상기 해당 특징점에 이웃하는 특징점들의 분포를 거리와 회전량에 따른 2차원 히스토그램으로 표현될 수 있다. 이때 상기 형태 기술자에서 상기 해당 특징점에 대하여 주축이 선택되고 상기 선택된 주축이 상기 회전량에 따른 히스토그램의 기준이 될 수 있으며, 상기 해당 특징점에 대한 주축은 PCA 기법을 사용하여 선택될 수 있다.In addition, the shape descriptor may express a distribution of feature points neighboring the feature point in a two-dimensional histogram according to distance and rotation amount around the feature point. In this case, a main axis may be selected for the corresponding feature point in the form descriptor, and the selected main axis may be a reference of the histogram according to the rotation amount, and the main axis for the corresponding feature point may be selected using a PCA technique.

또한, 상기 (b32) 단계는, (b321) 상기 배경 이미지로부터 추출된 특징점들 각각에 대하여 상기 구해진 유사도를 최대로 하는 특징점 쌍을 결정하고 이때의 유사도 값을 정의하는 단계; 및 (b322) 상기 정의된 유사도 값을 이용하여 물체 이미지가 삽입될 위치를 결정하고, 상기 결정된 위치에서의 상기 회전량을 결정하는 단계를 포함할 수 있다.In addition, the step (b32), (b321) for each of the feature points extracted from the background image to determine a pair of feature points maximizing the obtained similarity and define the similarity value at this time; And (b322) determining a position at which the object image is to be inserted using the defined similarity value, and determining the rotation amount at the determined position.

또한, 상기 (b322) 단계는, 상기 정의된 유사도 값을 보간하여 유사도 맵을 형성하는 단계; 상기 형성된 유사도 맵에서 유사도 값이 최대인 지점을 상기 물체 이미지가 삽입될 위치로 결정하는 단계; 및 상기 유사도 값이 최대인 지점에 인접한 특징점에 대하여 상기 결정된 특징점 쌍의 형태 기술자 간의 주축의 차이를 이용하여 상기 회전량을 결정하고, 상기 결정된 특징점 쌍의 형태 기술자 간의 스케일의 차이를 이용하여 물체 이미지의 스케일 양을 결정하는 단계를 포함할 수 있다. In addition, the step (b322) may include: forming a similarity map by interpolating the defined similarity values; Determining a point at which the similarity value is maximum in the formed similarity map as a position where the object image is to be inserted; And determining the amount of rotation by using a difference in principal axes between the shape descriptors of the determined pair of feature points with respect to a feature point adjacent to a point where the similarity value is maximum, and using the difference in scale between the shape descriptors of the determined pair of feature points. Determining the scale amount of.

또한, 상기 (b32) 단계는, 상기 배경 이미지로부터 추출된 특징점들 각각에 대하여, 상기 특징점 쌍을 이루는 상기 배경 이미지의 특징점과 상기 물체 이미지의 특징점 각각의 이웃에 있는 소정 개수의 특징점의 형태 기술자 간의 유사도를 고려하여 상기 정의된 유사도를 수정하는 단계를 더 포함하고, 상기 (b322) 단계는 상기 수정된 유사도 값을 이용하여 물체 이미지가 삽입될 위치를 결정할 수 있다. In addition, the step (b32), for each of the feature points extracted from the background image, between the feature descriptor of the background image forming the pair of feature points and the shape descriptor of a predetermined number of feature points in the neighborhood of each feature point of the object image The method may further include modifying the defined similarity in consideration of the similarity, and the step (b322) may determine a position where an object image is to be inserted using the modified similarity value.

또한, 상기 정의된 유사도를 수정하는 단계는, 상기 특징점 쌍을 이루는 상기 배경 이미지의 특징점과 상기 물체 이미지의 특징점의 형태 기술자 간의 스케일 차이를 더 고려하여 상기 정의된 유사도를 수정할 수 있다.In addition, in the modifying the defined similarity, the defined similarity may be corrected by further considering a scale difference between the feature point of the background image constituting the feature point pair and the shape descriptor of the feature point of the object image.

또한, 상기 숨은그림찾기 이미지 제작 방법은, 상기 삽입된 물체 이미지를 어파인 변환을 사용하여 변형하는 단계를 더 포함할 수 있다. The method for producing a hidden object image may further include transforming the inserted object image using an affine transformation.

상기 기술적 과제를 해결하기 위하여 본 발명에 따른 숨은그림찾기 이미지 제작 시스템은, 배경 이미지와 숨은그림찾기의 대상이 되는 물체 이미지가 저장되는 저장부; 상기 배경 이미지와 상기 물체 이미지를 비교하여 상기 배경 이미지에 상기 물체 이미지가 삽입될 위치와 상기 물체 이미지의 회전량을 결정하는 형태 매칭부; 및 상기 결정된 위치 및 회전량에 따라 상기 배경 이미지에 상기 물체 이미지를 삽입하는 이미지 삽입부를 포함하는 것을 특징으로 한다. In order to solve the above technical problem, the system for producing a hidden object image finder, the storage unit for storing the background image and the object image to be the object of the hidden object finder; A shape matching unit comparing the background image with the object image to determine a position at which the object image is to be inserted into the background image and an amount of rotation of the object image; And an image inserting unit inserting the object image into the background image according to the determined position and rotation amount.

여기서, 상기 형태 매칭부는, 상기 배경 이미지와 물체 이미지로부터 특징점들을 추출하고 상기 추출된 특징점들 각각에 대하여 형태 기술자를 생성하며, 상기 생성된 형태 기술자를 이용하여 상기 삽입될 위치와 회전량을 결정할 수 있다.Here, the shape matching unit extracts feature points from the background image and the object image, generates a shape descriptor for each of the extracted feature points, and determines the position and the rotation amount to be inserted using the generated shape descriptor. have.

또한, 상기 형태 매칭부는, 상기 배경 이미지 및 상기 물체 이미지를 라인 드로잉 형태로 변환한 후, 상기 변환된 배경 이미지 및 물체 이미지로부터 상기 특징점들을 추출할 수 있다.The shape matching unit may convert the background image and the object image into a line drawing form, and then extract the feature points from the converted background image and the object image.

또한, 상기 형태 매칭부는, 상기 배경 이미지로부터 추출된 특징점들 각각에 대한 형태 기술자와 상기 물체 이미지로부터 추출된 특징점들 각각에 대한 형태 기술자 간의 유사도를 구하고, 상기 구해진 유사도를 이용하여 상기 배경 이미지에 상기 물체 이미지가 삽입될 위치를 결정하고, 상기 결정된 위치에서의 상기 회전량을 결정할 수 있다.The shape matching unit may obtain a similarity between the shape descriptor of each of the feature points extracted from the background image and the shape descriptor of each of the feature points extracted from the object image. The position at which the object image is to be inserted can be determined, and the rotation amount at the determined position can be determined.

또한, 상기 이미지 삽입부는, 상기 삽입된 물체 이미지를 어파인 변환을 사용하여 변형할 수 있다.The image inserting unit may transform the inserted object image using an affine transformation.

상기 기술적 과제를 해결하기 위하여 상기된 본 발명에 따른 숨은그림찾기 이미지 제작 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다. In order to solve the above technical problem, there is provided a computer-readable recording medium having recorded thereon a program for executing the above-described hidden object image producing method according to the present invention.

상기된 본 발명에 위하면, 미리 마련된 배경 이미지와 숨은그림찾기의 대상이 되는 물체 이미지와의 비교를 통하여 숨은그림찾기 이미지를 자동적으로 제작할 수 있다.According to the present invention described above, it is possible to automatically produce a hidden object image through the comparison between the background image prepared in advance and the object image of the object to find hidden objects.

이하에서는 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이하 설명 및 첨부된 도면들에서 실질적으로 동일한 구성요소들은 각각 동일한 부호들로 나타냄으로써 중복 설명을 생략하기로 한다. 또한 본 발명을 설명함에 있어 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략하기로 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description and the accompanying drawings, substantially the same components are denoted by the same reference numerals, and redundant description will be omitted. In addition, in the following description of the present invention, if it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted.

도 1은 본 발명의 일 실시예에 따른 숨은그림찾기 이미지 제작 방법의 흐름도이다. 1 is a flowchart of a method for manufacturing a hidden object image according to an embodiment of the present invention.

도 1을 참조하면, 우선 110단계에서 배경 이미지와 숨은그림찾기의 대상이 되는 물체 이미지를 마련한다. 여기서, 배경 이미지는 일반적인 카메라로 촬영된 실사 이미지 또는 직접 그려진 이미지 등 어떠한 형태의 이미지도 가능하며, 컬러 이미지 및 흑백 이미지 모두가 될 수 있다. 배경 이미지는 다수 개가 미리 마련되고, 사용자에 의해 그중에서 숨은그림찾기 이미지의 제작을 위해 선택되어질 수 있다.Referring to FIG. 1, in operation 110, an object image that is a target of a background image and a hidden picture is prepared. Here, the background image may be any type of image, such as a live image taken by a general camera or a directly drawn image, and may be both a color image and a black and white image. A plurality of background images may be prepared in advance, and may be selected by the user for the production of hidden object images.

숨은그림찾기의 대상이 되는 물체 이미지 역시 실사 이미지 또는 직접 그려진 이미지 등의 형태가 될 수 있으며, 임의의 이미지로부터 특정 물체를 분리시킴으로써 정의될 수도 있다. 물체 이미지 역시 다수 개가 미리 마련되어 있어서 그중에서 배경 이미지에 숨겨질 물체 이미지로서 사용자에 의해 선택되어지거나, 임의로 자동으로 선택되어질 수 있다.The object image, which is the object of the hidden object search, may also be in the form of a live image or a directly drawn image, or may be defined by separating a specific object from an arbitrary image. A plurality of object images are also provided in advance, and among them, an object image to be hidden in the background image may be selected by the user or may be automatically selected arbitrarily.

120단계에서, 배경 이미지와 물체 이미지를 비교하여 배경 이미지에 물체 이 미지가 삽입될 위치와 그 위치에서의 물체 이미지의 회전량, 그리고 물체 이미지의 스케일 양을 결정한다. 본 단계는 배경 이미지에 특정 물체 이미지를 효과적으로 숨기기 위하여 물체 이미지의 위치, 회전, 크기의 변형을 결정하기 위한 단계이다.In operation 120, the background image and the object image are compared to determine a position at which the object image is to be inserted into the background image, an amount of rotation of the object image at that position, and an amount of scale of the object image. This step is to determine the position, rotation, and deformation of the object image so as to effectively hide the specific object image in the background image.

130단계에서, 상기 120단계에서 결정된 위치, 회전량, 스케일 양에 따라 배경 이미지에 물체 이미지를 삽입한다. 본 단계에서 물체 이미지가 삽입된 결과 형성된 이미지에서는 삽입된 물체 이미지 부분이 매끄럽지 않을 수 있으므로, 140단계에서 물체 이미지에 적절한 변형을 가하여 삽입된 부분을 자연스럽게 한다. In step 130, the object image is inserted into the background image according to the position, rotation amount, and scale amount determined in step 120. Since the inserted object image portion may not be smooth in the image formed as a result of the object image being inserted in this step, the inserted portion is naturally modified by applying an appropriate deformation to the object image in step 140.

도 2는 도 1의 상기 120단계의 보다 구체적인 일 실시예를 나타낸 흐름도이다. 2 is a flowchart illustrating a more specific embodiment of step 120 of FIG. 1.

도 2를 참조하면, 우선 210단계에서 배경 이미지와 물체 이미지를 라인 드로잉(line drawing) 형태로 변환한다. 라인 드로잉 형태로의 변환은 손으로 그린 듯한 효과를 얻기 위한 것이다. 이를 위해 이미지의 편향치 값을 기반으로 하는 외곽선 탐색 기법을 사용하는데, 예를 들어 Coherent Line Drawing 기법을 사용할 수 있다. Coherent Line Drawing 기법은 문헌 [Henry Kang, S. Lee, and C. Chui. Coherent line drawing. In Proc. NPAR, pages 43-50, 2007.]에 자세히 설명되어 있으므로, 구체적인 설명은 생략한다. 도 3을 참조하면, (a)는 상기된 110단계에서 마련된 배경 이미지를, (b)는 이 배경 이미지가 라인 드로잉 형태로 변환된 배경 이미지를 나타낸다. 숨겨질 물체 이미지 역시 라인 드로잉 형태로 변환된다. 다만 배경 이미지와 물체 이미지가 본래 라인 드로잉 형태의 이미지라면 본 단계는 생략될 수 있다.Referring to FIG. 2, in operation 210, the background image and the object image are converted into a line drawing form. The conversion to the line drawing form is intended to achieve a hand-drawn effect. For this purpose, we use the outline search method based on the deflection value of the image. For example, we can use the Coherent Line Drawing method. Coherent line drawing techniques are described in Henry Kang, S. Lee, and C. Chui. Coherent line drawing. In Proc. NPAR, pages 43-50, 2007.], so detailed description is omitted. Referring to FIG. 3, (a) shows a background image prepared in step 110 described above, and (b) shows a background image obtained by converting the background image into a line drawing form. The object image to be hidden is also converted to line drawing. However, if the background image and the object image are originally line drawing images, this step may be omitted.

다음으로 220단계에서, 라인 드로잉 형태로 변환된 배경 이미지와 물체 이미지로부터 특징점을 추출한다. 여기서 특징점 추출 기법으로는 예를 들어 Harris corner 검출 기법이 사용될 수 있다. Harris corner 검출 기법에 관하여는 문헌 [C. Harris and M.J. Stephens. A combined corner and edge detector. In Alvey Vision Conference, pages 147-152, 1998.]에 자세히 설명되어 있으므로 구체적인 설명은 생략한다. 도 4를 참조하면, (a)는 라인 드로잉 형태의 물체 이미지를, (b)는 이 물체 이미지에서 특징점이 추출된 결과를 나타낸다.Next, in step 220, feature points are extracted from the background image and the object image converted into the line drawing form. Here, as the feature extraction method, for example, a Harris corner detection method may be used. For Harris corner detection techniques, see C. Harris and M.J. Stephens. A combined corner and edge detector. In Alvey Vision Conference, pages 147-152, 1998.]. Referring to FIG. 4, (a) shows an object image in the form of a line drawing, and (b) shows a result of extracting feature points from the object image.

다음으로 230단계에서, 상기 220단계에서 추출된 특징점들 각각에 대하여 형태 기술자(shape descriptor)를 생성한다. 본 실시예에서는 형태 기술자로서 각 특징점을 중심으로 이웃하는 특징점들의 분포를 거리와 회전량에 따른 2차원 히스토그램으로 표현하는 기법을 사용하는데, 이는 문헌 [S. Belongie, J. Malik, and J. Puzicha. Shape matching and object recognition using shape contexts. IEEE Trans. Pat. Anal. Mach. Int., 24(4):509-22, 2002.]에 자세히 설명되어 있다.Next, in step 230, a shape descriptor is generated for each of the feature points extracted in step 220. In the present embodiment, as a shape descriptor, a method of representing a distribution of neighboring feature points around each feature point as a two-dimensional histogram according to distance and rotation amount is used. Belongie, J. Malik, and J. Puzicha. Shape matching and object recognition using shape contexts. IEEE Trans. Pat. Anal. Mach. Int., 24 (4): 509-22, 2002.

다만 숨은그림찾기에서는 배경 이미지에 숨겨질 물체 이미지는 숨겨질 위치에서 임의의 회전량을 가질 수 있기 때문에 배경 이미지와 비교하기 위해서는 회전에 독립적인 형태 기술자가 요구된다. 따라서 본 실시예에서는 어떤 특징점에 대하여 주가 되는 축을 선택하여 회전량에 따른 히스토그램의 기준으로 삼는다. 이때 주가 되는 축을 선택하기 위하여 PCA(principal component analysis) 기법이 사용될 수 있다. 도 5를 참조하면, (a)는 PCA 기법을 사용하여 도 4에 도시된 특징점 p i 에 대하여 주가 되는 축이 선택된 결과를 나타내고, (b)는 선택된 축을 기준으로 하여 거리와 회전량에 따라 생성된 2차원 히스토그램으로 표현된 형태 기술자를 나타낸다. 여기서 형태 기술자의 정의를 위해 거리를 4개의 구간으로 나누고 회전량을 8개 구간으로 나누어 32개 구간의 히스토그램을 형성하였다. 또한 거리에 대한 구간의 경우 최대 거리를 물체 이미지의 특징점 모두가 포함되는 구간으로 정의하였고 각 구간의 범위는 로그 형식으로 차등을 둠으로써 가까이에 있는 특징점들의 중요도를 높였다. 그러나 거리 또는 회전량에 따른 구간의 개수와 범위는 다양한 형태로 이루어질 수 있음은 물론이다. However, in the hidden object search, the object image to be hidden in the background image can have an arbitrary amount of rotation at the hidden position. Therefore, a shape descriptor that is independent of rotation is required to be compared with the background image. Therefore, in this embodiment, the main axis is selected for a certain feature point, and the reference is made to the histogram according to the rotation amount. In this case, a principal component analysis (PCA) technique may be used to select a major axis. Referring to FIG. 5, (a) shows a result of selecting a major axis for the feature point p i shown in FIG. 4 using the PCA technique, and (b) generates the distance and rotation amount based on the selected axis. The shape descriptor represented by the two-dimensional histogram. To define the shape descriptor, the distance was divided into four sections and the rotation amount was divided into eight sections to form a histogram of 32 sections. In the case of the distance section, the maximum distance was defined as a section that includes all the feature points of the object image, and the range of each section was increased in the log form to increase the importance of nearby feature points. However, the number and range of sections according to the distance or the amount of rotation may be made in various forms.

물체 이미지와 마찬가지로 배경 이미지에서도 각 특징점에 대하여 형태 기술자가 생성된다. 도 6을 참조하면, (a)는 라인 드로잉 형태의 배경 이미지를, (b)는 이 배경 이미지의 한 특징점에 대하여 생성된 2차원 히스토그램으로 표현된 형태 기술자를 나타낸다.Like object images, shape descriptors are created for each feature point in the background image. Referring to FIG. 6, (a) shows a background image in the form of a line drawing, and (b) shows a shape descriptor represented by a two-dimensional histogram generated for one feature point of this background image.

다시 도 2를 참조하면, 240단계에서, 상기 230단계에서 생성된 배경 이미지로부터의 형태 기술자와 물체 이미지로부터의 형태 기술자를 이용하여 물체 이미지가 삽입될 위치, 회전량 및 스케일 양을 결정한다. Referring back to FIG. 2, in step 240, the shape descriptor from the background image and the shape descriptor from the object image generated in operation 230 are used to determine the position, amount of rotation, and scale amount to be inserted.

도 7은 상기된 도 2의 240단계의 보다 구체적인 일 실시예를 나타낸 흐름도이다. 7 is a flowchart illustrating a more specific embodiment of step 240 of FIG. 2 described above.

이하에서는, 편의상 물체 이미지를 O, 배경 이미지를 B 라 표현하고 물체 이미지의 특징점에 대한 히스토그램의 k 번째 구간(32개 구간으로 나누었다면, k=1, ..., 32)에 포함된 특징점의 개수를 O i (k) 라 하자. 여기서 i 는 물체 이미지의 특징점의 인덱스를 나타낸다. 그리고 배경 이미지로부터 추출된 특징점들을 q j 라 나타내고, 배경 이미지의 특징점에 대한 히스토그램의 k 번째 구간에 포함된 특징점의 개수를 B j (k) 라 하자. 여기서, j 는 배경 이미지의 특징점의 인덱스를 나타낸다. Hereinafter, for convenience, the object image is represented by O , the background image is represented by B , and the feature points included in the kth section ( k = 1, ..., 32) of the histogram with respect to the feature points of the object image are divided into 32 sections. Let the number be O i (k) . Where i represents the index of the feature point of the object image. The feature points extracted from the background image are denoted by q j , and the number of feature points included in the k th section of the histogram of the feature points of the background image is denoted by B j (k) . Here, j represents the index of the feature point of the background image.

도 7을 참조하면, 710단계에서, 배경 이미지로부터 추출된 특징점들 각각에 대한 형태 기술자와 물체 이미지로부터 추출된 특징점들 각각에 대한 형태 기술자 간의 유사도를 구한다. 각 형태 기술자는 중심의 특징점을 기준으로 하는 지역적 형태 정보를 함유하고 있으므로 각 형태 기술자 쌍

Figure 112008048645458-pat00001
의 지역적 유사도가 구해질 수 있으며, 예를 들어 다음 수학식을 이용하여 구해질 수 있다.Referring to FIG. 7, in operation 710, a similarity between the shape descriptor of each feature point extracted from a background image and the shape descriptor of each feature point extracted from an object image is obtained. Each form descriptor contains local form information based on the central feature points, so each form descriptor pair
Figure 112008048645458-pat00001
The local similarity of can be obtained, for example, by using the following equation.

Figure 112008048645458-pat00002
Figure 112008048645458-pat00002

여기서,

Figure 112008048645458-pat00003
는 배경 이미지 상의 특징점 j 에 대한 형태 기술자와 물체 이미지 상의 특징점 i 에 대한 형태 기술자 간의 유사도를 의미한다. here,
Figure 112008048645458-pat00003
Denotes the similarity between the shape descriptor for the feature point j on the background image and the shape descriptor for the feature point i on the object image.

그리고 720단계에서, 배경 이미지로부터의 각 특징점 j 에 대하여 가장 유사한 특징점 쌍, 즉 상기 유사도 D 를 최대로 하는 특징점 쌍 O i B j 를 결정하고, 다음 수학식에서와 같이 이 때의 유사도 값 S j 를 정의한다.In operation 720, the most similar feature point pairs, i.e., feature point pairs O i and B j maximizing the similarity D , are determined for each feature point j from the background image, and the similarity value S j at this time is expressed as in the following equation. Define.

Figure 112008048645458-pat00004
Figure 112008048645458-pat00004

배경 이미지 상의 특징점 j 에 가장 유사한 물체 이미지 상의 특징점의 인덱스를 I(j) 라 하면, 이제 우리는 배경 이미지 상의 각 특징점 j 에 대한 가장 유사한 특징점 쌍

Figure 112008048645458-pat00005
를 얻게 된 것이다. If the index of the feature point on the object image that is most similar to the feature point j on the background image is I (j) , now we have the most similar feature point pair for each feature point j on the background image.
Figure 112008048645458-pat00005
To get.

한편, 상기 정의된 유사도 값은, 730단계에서

Figure 112008048645458-pat00006
의 이웃에 있는 특징점의 형태 기술자와 B j 의 이웃에 있는 특징점의 형태 기술자 간의 유사도를 고려하여 수정될 수 있다. 본 단계에서는, 특징점 쌍을 이루는 특징점
Figure 112008048645458-pat00007
B j 에 대하여 각각 이웃에 있는 소정 개수 T개의 특징점들 각각에 대한 형태 기술자
Figure 112008048645458-pat00008
Figure 112008048645458-pat00009
를 검출하고, 검출된 특징점의 형태 기술자 간의 유사도를 고려하여 상기 정의된 유사도 값 S j 를 개선한다. 다음 수학식은 S j 로부터 수정된 유사도 값
Figure 112008048645458-pat00010
를 구하기 위한 식을 나타낸다. On the other hand, the defined similarity value, in step 730
Figure 112008048645458-pat00006
It may be modified in consideration of the similarity between the shape descriptor of the feature point in the neighborhood of and the shape descriptor of the feature point in the neighborhood of B j . In this step, the feature points that make up the feature point pair
Figure 112008048645458-pat00007
Shape descriptors for each of a predetermined number of T feature points each adjacent to and B j
Figure 112008048645458-pat00008
And
Figure 112008048645458-pat00009
Is detected and the similarity value S j defined above is improved in consideration of the similarity between the shape descriptors of the detected feature points. The following equation is the similarity value modified from S j
Figure 112008048645458-pat00010
The formula for obtaining is shown.

Figure 112008048645458-pat00011
Figure 112008048645458-pat00011

여기서,

Figure 112008048645458-pat00012
B j 의 이웃하는 t 번째 특징점과
Figure 112008048645458-pat00013
에 이웃하는 t 번째 특징점에 대하여 상기된 수학식 1에 따라 구해진 유사도를 의미한다. 따라 서 우변의 첫 번째 항은 B j
Figure 112008048645458-pat00014
간의 이웃의 유사도를 반영하게 된다. here,
Figure 112008048645458-pat00012
Is the neighboring t th feature point of B j
Figure 112008048645458-pat00013
A similarity obtained according to Equation 1 described above with respect to a t-th feature point neighboring to. So the first term on the right side is B j and
Figure 112008048645458-pat00014
It will reflect the similarity of neighbors.

그리고 두 번째 항에서 스케일 차이 함수

Figure 112008048645458-pat00015
는 물체 이미지와 배경 이미지 내의 목표 영역(삽입될 영역) 간의 스케일 차이를 나타내기 위한 함수이고 w는 미리 정의된 가중치 값이다.
Figure 112008048645458-pat00016
는 예를 들어 다음 수학식과 같이 표현될 수 있다. And the scale difference function in the second term
Figure 112008048645458-pat00015
Is a function for representing the scale difference between the object image and the target region (the region to be inserted) in the background image and w is a predefined weight value.
Figure 112008048645458-pat00016
For example, may be expressed as the following equation.

Figure 112008048645458-pat00017
Figure 112008048645458-pat00017

여기서,

Figure 112008048645458-pat00018
Figure 112008048645458-pat00019
는 각각 B j
Figure 112008048645458-pat00020
내의 히스토그램 디스크의 반지름을 나타낸다. 스케일 차이 함수
Figure 112008048645458-pat00021
는 두 반지름 간의 차이가 작아질수록 그 값이 증가하게 된다. 두 번째 항은 물체 이미지와 목표 영역 간의 크기의 차이가 매우 다를 때 서로 매칭되지 않게 함으로써 숨겨질 물체가 과도하게 스케일링될 가능성을 줄이는 역할을 하게 된다. here,
Figure 112008048645458-pat00018
And
Figure 112008048645458-pat00019
Are B j and
Figure 112008048645458-pat00020
Indicates the radius of the histogram disk in the disk. Scale difference function
Figure 112008048645458-pat00021
The value increases as the difference between the two radii decreases. The second term serves to reduce the possibility of an overscaled object being hidden by not matching each other when the difference in size between the object image and the target area is very different.

이제 740단계에서, 상기 730단계에서 수정된 유사도 값을 이용하여 물체 이미지가 삽입될 위치를 결정하고, 그 위치에서의 물체 이미지의 회전량과 스케일 양을 결정한다. 상기 730단계는 생략될 수 있고, 그렇다면 본 단계에서는 상기 720단계에서 정의된 유사도 값을 이용하여 물체 이미지가 삽입될 위치가 결정될 것이다. In operation 740, the position at which the object image is inserted is determined using the similarity value modified in operation 730, and the amount of rotation and scale amount of the object image at the position is determined. Step 730 may be omitted, and in this step, the position where the object image is to be inserted is determined using the similarity value defined in step 720.

도 8은 상기된 도 7의 740단계의 보다 구체적인 일 실시예를 나타낸 흐름도이다. 8 is a flowchart illustrating a more specific embodiment of step 740 of FIG. 7 described above.

810단계에서, 상기 유사도 값들을 보간하여 부드러운 형태의 유사도 맵을 생성한다. 여기서, 보간 기법으로는 굴곡을 최소화하는 TPS(thin-plate spline) 보간 기법이 사용될 수 있다. 도 9는 TPS 보간 기법을 사용하여 생성된 유사도 맵을 나타낸다. 도 9를 참조하면, 붉은 색으로 표시된 부분은 유사도가 높음을 의미하고 푸른색으로 표시된 부분은 유사도가 낮음을 의미한다. In operation 810, the similarity values are interpolated to generate a smooth similarity map. Here, a thin-plate spline (TPS) interpolation technique may be used as the interpolation technique to minimize bending. 9 shows a similarity map generated using the TPS interpolation technique. Referring to FIG. 9, the portion marked in red means that the similarity is high, and the portion marked in blue means that the similarity is low.

다음으로 820단계에서, 유사도 맵에서 유사도 값이 최대인 지점을 물체 이미지가 삽입될 위치로 결정한다. Next, in step 820, the point where the similarity value is maximum in the similarity map is determined as the position where the object image is to be inserted.

그리고 830단계에서, 상기 820단계에서 결정된 지점에 가장 인접한 특징점에서의 특징점 쌍의 형태 기술자 간의 주축의 차이를 이용하여 물체 이미지의 회전량을 결정하고 형태 기술자 간의 스케일의 차이, 예를 들어 히스토그램 디스크의 반지름의 차이를 이용하여 물체 이미지의 스케일 양을 결정한다. 예를 들어 회전량은 형태 기술자 쌍의 주축 간의 각도 차이로 결정될 수 있고 스케일 양은 형태 기술자 쌍의 히스토그램 디스크 간의 비율로 결정될 수 있다. 즉, 형태 기술자 쌍을 B j

Figure 112008048645458-pat00022
라 하면,
Figure 112008048645458-pat00023
의 주축을 B j 에 일치되도록 회전시키는 것이다. 그리고 스케일 양은 B j
Figure 112008048645458-pat00024
의 히스토그램 디스크 간의 반지름의 비율로 결정될 수 있다. In operation 830, the amount of rotation of the object image may be determined using the difference in the principal axes between the shape descriptors of the pair of feature points at the feature point closest to the point determined in operation 820. The difference in the radius is used to determine the scale amount of the object image. For example, the amount of rotation can be determined by the angular difference between the major axes of the shape descriptor pairs and the scale amount can be determined by the ratio between the histogram disks of the shape descriptor pairs. That is, pairs of shape descriptors with B j
Figure 112008048645458-pat00022
Say,
Figure 112008048645458-pat00023
It is to rotate the main axis of to match B j . And the scale amount is B j and
Figure 112008048645458-pat00024
Can be determined as the ratio of the radius between the histogram disks.

다시 도 1을 참조하면, 130단계에서는 상기 결정된 물체 이미지의 삽입될 위치, 회전량, 스케일 양에 따라 배경 이미지에 물체 이미지를 삽입한다. 도 10은 배 경 이미지의 도 9에서 붉은색으로 표시된 부분에 물체 이미지를 회전하고 스케일링하여 삽입한 결과를 자세히 나타낸 모습이다. 도 10을 참조하면, 삽입된 물체 이미지와 배경 이미지 간에 불일치하는 갭이 나타나 있음을 알 수 있다.Referring back to FIG. 1, in step 130, the object image is inserted into the background image according to the determined position, rotation amount, and scale amount of the object image. FIG. 10 is a detailed view illustrating a result of rotating and scaling an object image and inserting the object image in a portion shown in red in FIG. 9. Referring to FIG. 10, it can be seen that there is a discrepancy gap between the inserted object image and the background image.

140단계에서는, 물체 이미지에 적절한 변형을 가하여 삽입된 부분을 자연스럽게 한다. 이하에서는 이러한 140단계의 보다 구체적인 실시예를 설명한다.In step 140, an appropriate deformation is applied to the object image to smooth the inserted portion. Hereinafter, a more specific embodiment of the 140 step will be described.

본 실시예에서는 물체 이미지가 가지는 고유한 특성을 유지하기 위해 물체의 변형을 어파인 변환(affine transform)을 사용하여 정의한다. 예컨대, 현재 삽입된 위치에서 물체 이미지의 특징점과 배경 이미지의 특징점 간의 쌍들을 정의하고, 각 쌍에 대한 어파인 변환 행렬을 반복적인 최적화 과정을 통해 구하고, 이렇게 구해진 어파인 변환 행렬을 물체 이미지에 다시 적용한다. 다만 어떤 특징점 쌍들은 부정확한 어파인 변환 행렬을 생성하여 최적화 과정을 방해할 수 있으므로 이러한 특징점 쌍들은 무시한다. 도 11은 물체 이미지의 특징점과 배경 이미지의 특징점의 쌍들을 나타내는 것으로서, 붉은색으로 나타낸 점은 부정확한 특징점 쌍을 나타낸다. 도 12는 어파인 변환 행렬을 사용하여, 삽입된 물체 이미지를 변형한 결과를 나타낸다. 도 12를 참조하면, 도 10에 비하여 보다 자연스럽게 물체 이미지가 배경 이미지에 삽입되어 있음을 알 수 있다. In this embodiment, the deformation of the object is defined using an affine transform in order to maintain the unique characteristics of the object image. For example, define pairs between the feature point of the object image and the background image at the currently inserted position, obtain the affine transformation matrix for each pair through iterative optimization, and then return the resulting affine transformation matrix to the object image. Apply. However, some feature pairs may generate incorrect affine transformation matrices and interfere with the optimization process, so these feature pairs are ignored. FIG. 11 illustrates pairs of feature points of an object image and feature points of a background image, and the points indicated in red represent incorrect feature point pairs. 12 illustrates a result of modifying an inserted object image using an affine transformation matrix. 12, it can be seen that the object image is more naturally inserted into the background image than in FIG. 10.

나아가, 배경 이미지에 모든 물체 이미지가 삽입되면, 다시 한번 Coherent Line Drawing 기법을 사용하여 외곽선 검출을 수행함으로써 불연속적인 에지를 연결하고 보다 균일한 형태의 숨은그림찾기 이미지를 생성할 수 있다.Furthermore, once all object images have been inserted into the background image, the edge detection can be performed once again using the Coherent Line Drawing technique to connect discontinuous edges and generate a more uniform hidden object image.

도 13은 본 발명의 일 실시예에 따른 숨은그림찾기 이미지 제작 시스템의 블 록도이다. 도 13을 참조하면, 본 실시예에 따른 숨은그림찾기 이미지 제작 시스템은 저장부(10), 형태 매칭부(20), 이미지 삽입부(30), 배경 이미지 선택부(40)를 포함하여 이루어진다.13 is a block diagram of a hidden object image production system according to an embodiment of the present invention. Referring to FIG. 13, the hidden object image producing system according to the present exemplary embodiment includes a storage unit 10, a shape matching unit 20, an image inserting unit 30, and a background image selecting unit 40.

저장부(10)에는 배경 이미지와 숨은그림찾기의 대상이 되는 물체 이미지가 저장된다. 저장부(10)에 저장되는 배경 이미지의 물체 이미지는 상기된 110단계에서 설명된 이미지와 동일하므로, 구체적인 설명은 생략한다.The storage unit 10 stores a background image and an object image that is a target of hidden object search. Since the object image of the background image stored in the storage unit 10 is the same as the image described in step 110 described above, a detailed description thereof will be omitted.

이미지 선택부(40)는 사용자의 입력에 따라 저장부(10)로부터 배경 이미지와 그 배경 이미지에 삽입할 물체 이미지를 선택한다. 숨은그림찾기 이미지 제작 시스템은 사용자의 배경 이미지와 물체 이미지의 선택을 위하여 저장부(10)에 저장된 배경 이미지와 물체 이미지들을 디스플레이부(미도시)를 통하여 사용자가 볼 수 있도록 제공하여 줄 수 있다.The image selector 40 selects a background image and an object image to be inserted into the background image from the storage unit 10 according to a user's input. The hidden object image producing system may provide a background image and an object image stored in the storage unit 10 to be viewed by a user through a display unit (not shown) for selecting a background image and an object image of the user.

형태 매칭부(20)는 이미지 선택부(40)에 의해 선택된 배경 이미지와 물체 이미지를 비교하여 배경 이미지에 물체 이미지가 삽입될 위치, 물체 이미지의 회전량, 그리고 물체 이미지의 스케일 양을 결정한다. 형태 매칭부(20)의 보다 구체적인 동작은 상기된 120단계에 관하여 설명된 바와 동일하므로 구체적인 설명은 생략한다.The shape matching unit 20 compares the background image selected by the image selecting unit 40 with the object image to determine a position where the object image is to be inserted in the background image, the amount of rotation of the object image, and the scale amount of the object image. The more detailed operation of the shape matching unit 20 is the same as described with respect to step 120 described above, and thus a detailed description thereof will be omitted.

형태 매칭부(20)에 의해 물체 이미지가 삽입될 위치, 회전량, 스케일 양이 결정되면 이미지 삽입부(30)는 결정된 위치, 회전량, 스케일 양에 따라서 배경 이미지에 물체 이미지를 삽입하고, 삽입된 물체 이미지를 어파인 변환을 사용하여 변형함으로써 삽입된 부분을 자연스럽게 처리한다. 이미지 삽입부(30)의 보다 구체적 인 동작은 상기된 130단계 및 140단계에 관하여 설명된 바와 동일하므로 구체적인 설명은 생략한다. When the position, rotation amount and scale amount to be inserted into the object image are determined by the shape matching unit 20, the image insertion unit 30 inserts the object image into the background image according to the determined position, rotation amount and scale amount, and inserts the image. The inserted object image is transformed using affine transformation to naturally process the inserted part. More specific operations of the image inserter 30 are the same as those described above with respect to operations 130 and 140, and thus a detailed description thereof will be omitted.

한편, 본 실시예에 따른 숨은그림찾기 이미지 제작 시스템에서, 형태 매칭부(20)는 다수 개의 물체 이미지들을 저장부(10)로부터 가져와서 배경 이미지와 물체 이미지들 각각의 형태 기술자의 비교를 통해 유사도를 결정하고, 이미지 선택부(40)가 그들 중에서 유사도가 높은 순의 미리 정해진 소정 개수의 물체 이미지를 선택하면, 형태 매칭부(20)는 선택된 각 물체 이미지에 대하여 삽입될 위치, 회전량, 스케일 양을 결정하고, 이미지 삽입부(30)는 각 물체 이미지를 배경 이미지에 삽입하도록 구현될 수도 있다. Meanwhile, in the hidden object image manufacturing system according to the present embodiment, the shape matching unit 20 takes a plurality of object images from the storage unit 10 and compares the background images with the shape descriptors of the object images for comparison. When the image selection unit 40 selects a predetermined number of object images in the order of high similarity among them, the shape matching unit 20 determines the position, amount of rotation and scale to be inserted for each selected object image. To determine the amount, the image inserter 30 may be implemented to insert each object image into a background image.

도 14 및 도 15는 이미지 선택부(40)에 의해 선택된 물체 이미지들이 숨겨져 생성된 숨은그림찾기 이미지를 나타낸다. 도 16은 물체 이미지로서 알파벳 G, R, A, P, H, I, C, S가 숨겨져 생성된 숨은그림찾기 이미지를 나타낸다. 14 and 15 show a hidden object image generated by hiding object images selected by the image selector 40. 16 illustrates a hidden object image generated by hiding alphabets G, R, A, P, H, I, C, and S as object images.

상술한 본 발명에 의하면, 기존에 수작업으로 이루어져 왔던 숨은그림찾기 이미지의 제작을 미리 마련된 배경 이미지와 물체 이미지를 가지고 자동으로 생성할 수 있으며, 그리기에 능숙하지 않은 비전문가도 손쉽게 숨은그림찾기 이미지를 제작할 수 있다. According to the present invention described above, it is possible to automatically create a hidden image finder image that has been made by hand with a pre-arranged background image and an object image, and a non-expert who is not good at drawing can easily produce a hidden object image. Can be.

한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광 학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다.Meanwhile, the above-described embodiments of the present invention can be written as a program that can be executed in a computer, and can be implemented in a general-purpose digital computer that operates the program using a computer-readable recording medium. The computer-readable recording medium may include a magnetic storage medium (eg, ROM, floppy disk, hard disk, etc.), an optical reading medium (eg, CD-ROM, DVD, etc.) and a carrier wave (eg, internet Storage medium).

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.So far I looked at the center of the preferred embodiment for the present invention. Those skilled in the art will appreciate that the present invention can be implemented in a modified form without departing from the essential features of the present invention. Therefore, the disclosed embodiments should be considered in descriptive sense only and not for purposes of limitation. The scope of the present invention is shown in the claims rather than the foregoing description, and all differences within the scope will be construed as being included in the present invention.

도 1은 본 발명의 일 실시예에 따른 숨은그림찾기 이미지 제작 방법의 흐름도이다. 1 is a flowchart of a method for manufacturing a hidden object image according to an embodiment of the present invention.

도 2는 도 1의 120단계의 보다 구체적인 일 실시예를 나타낸 흐름도이다. 2 is a flowchart illustrating a more specific embodiment of step 120 of FIG. 1.

도 3은 미리 마련된 배경 이미지와 이 배경 이미지가 라인 드로잉 형태로 변환된 배경 이미지를 나타낸다. 3 shows a background image prepared in advance and a background image obtained by converting the background image into a line drawing form.

도 4는 라인 드로잉 형태의 물체 이미지와 이 물체 이미지에서 특징점이 추출된 결과를 나타낸다.4 shows an object image in the form of a line drawing and a result of extracting feature points from the object image.

도 5는 본 발명의 일 실시예에 따른 형태 기술자를 나타낸다. 5 shows a form descriptor according to an embodiment of the present invention.

도 6은 라인 드로잉 형태의 배경 이미지와 이 배경 이미지의 한 특징점에 대하여 생성된 형태 기술자를 나타낸다.6 shows a background image in the form of a line drawing and a shape descriptor generated for one feature point of this background image.

도 7은 도 2의 240단계의 보다 구체적인 일 실시예를 나타낸 흐름도이다.7 is a flowchart illustrating a more specific embodiment of step 240 of FIG. 2.

도 8은 도 7의 740단계의 보다 구체적인 일 실시예를 나타낸 흐름도이다. 8 is a flowchart illustrating a more specific embodiment of step 740 of FIG. 7.

도 9는 본 발명의 일 실시예에 따라 생성된 유사도 맵을 나타낸다. 9 illustrates a similarity map generated according to an embodiment of the present invention.

도 10은 배경 이미지에 물체 이미지를 회전하고 스케일링하여 삽입한 결과를 자세히 나타낸 모습이다. 10 is a view showing in detail the result of inserting by rotating and scaling the object image to the background image.

도 11은 물체 이미지의 특징점과 배경 이미지의 특징점의 쌍들을 나타낸 도면이다. 11 is a diagram illustrating pairs of feature points of an object image and feature points of a background image.

도 12는 어파인 변환 행렬을 사용하여, 삽입된 물체 이미지를 변형한 결과를 나타낸다. 12 illustrates a result of modifying an inserted object image using an affine transformation matrix.

도 13은 본 발명의 일 실시예에 따른 숨은그림찾기 이미지 제작 시스템의 블록도이다. 13 is a block diagram of a hidden object image production system according to an embodiment of the present invention.

도 14 내지 도 16은 선택된 물체 이미지들이 숨겨져 생성된 숨은그림찾기 이미지를 나타낸다.14 to 16 show hidden object images generated by hiding selected object images.

Claims (18)

(a) 배경 이미지와 숨은그림찾기의 대상이 되는 물체 이미지를 마련하는 단계;(a) providing a background image and an image of an object to be hidden object search; (b) 상기 배경 이미지와 상기 물체 이미지를 비교하여 상기 배경 이미지에 상기 물체 이미지가 삽입될 위치와 상기 물체 이미지의 회전량을 결정하는 단계; 및(b) comparing the background image with the object image to determine a position at which the object image is to be inserted into the background image and an amount of rotation of the object image; And (c) 상기 결정된 위치 및 회전량에 따라 상기 배경 이미지에 상기 물체 이미지를 삽입하는 단계를 포함하고,(c) inserting the object image into the background image according to the determined position and amount of rotation, 상기 (b) 단계는, In step (b), (b1) 상기 배경 이미지와 물체 이미지로부터 특징점들을 추출하는 단계;(b1) extracting feature points from the background image and the object image; (b2) 상기 추출된 특징점들 각각에 대하여 형태 기술자를 생성하는 단계; 및(b2) generating a shape descriptor for each of the extracted feature points; And (b3) 상기 생성된 형태 기술자를 이용하여 상기 삽입될 위치와 회전량을 결정하는 단계를 포함하는 것을 특징으로 하는 숨은그림찾기 이미지 제작 방법.and (b3) determining the position to be inserted and the amount of rotation using the generated shape descriptor. 삭제delete 제1항에 있어서,The method of claim 1, 상기 (b) 단계는, In step (b), 상기 배경 이미지 및 상기 물체 이미지를 라인 드로잉 형태로 변환하는 단계를 더 포함하고,Converting the background image and the object image into a line drawing form; 상기 (b1) 단계는 상기 변환된 배경 이미지 및 물체 이미지로부터 상기 특징점들을 추출하는 것을 특징으로 하는 숨은그림찾기 이미지 제작 방법.The step (b1) is a method for producing a hidden object image, characterized in that for extracting the feature points from the converted background image and the object image. 제1항에 있어서,The method of claim 1, 상기 (b3) 단계는, Step (b3), (b31) 상기 배경 이미지로부터 추출된 특징점들 각각에 대한 형태 기술자와 상기 물체 이미지로부터 추출된 특징점들 각각에 대한 형태 기술자 간의 유사도를 구하는 단계; 및(b31) obtaining a similarity between the shape descriptor for each feature point extracted from the background image and the shape descriptor for each feature point extracted from the object image; And (b32) 상기 구해진 유사도를 이용하여 상기 배경 이미지에 상기 물체 이미지가 삽입될 위치를 결정하고, 상기 결정된 위치에서의 상기 회전량을 결정하는 단계를 포함하는 것을 특징으로 하는 숨은그림찾기 이미지 제작 방법.and (b32) determining a position at which the object image is to be inserted into the background image by using the obtained similarity, and determining the rotation amount at the determined position. 제4항에 있어서,The method of claim 4, wherein 상기 형태 기술자는 해당 특징점을 중심으로 상기 해당 특징점에 이웃하는 특징점들의 분포를 거리와 회전량에 따른 2차원 히스토그램으로 표현하는 것을 특징으로 하는 숨은그림찾기 이미지 제작 방법.And the shape descriptor expresses a distribution of feature points neighboring the feature points in a two-dimensional histogram according to distance and rotation amount based on the feature points. 제5항에 있어서,The method of claim 5, 상기 형태 기술자에서 상기 해당 특징점에 대하여 주축이 선택되고 상기 선택된 주축이 상기 회전량에 따른 히스토그램의 기준이 되는 것을 특징으로 하는 숨은그림찾기 이미지 제작 방법.The method for producing a hidden object image, characterized in that the main axis is selected with respect to the corresponding feature point in the form descriptor and the selected main axis is a reference of the histogram according to the rotation amount. 제6항에 있어서,The method of claim 6, 상기 해당 특징점에 대한 주축은 PCA 기법을 사용하여 선택되는 것을 특징으로 하는 숨은그림찾기 이미지 제작 방법.The method for producing a hidden object image, characterized in that the principal axis for the corresponding feature point is selected using a PCA technique. 제6항에 있어서,The method of claim 6, 상기 (b32) 단계는,Step (b32), (b321) 상기 배경 이미지로부터 추출된 특징점들 각각에 대하여 상기 구해진 유사도를 최대로 하는 특징점 쌍을 결정하고 이때의 유사도 값을 정의하는 단계; 및(b321) determining a feature point pair that maximizes the obtained similarity with respect to each of the feature points extracted from the background image, and defining similarity values at this time; And (b322) 상기 정의된 유사도 값을 이용하여 물체 이미지가 삽입될 위치를 결정하고, 상기 결정된 위치에서의 상기 회전량을 결정하는 단계를 포함하는 것을 특징으로 하는 숨은그림찾기 이미지 제작 방법.and (b322) determining a position at which an object image is to be inserted using the defined similarity value, and determining the amount of rotation at the determined position. 제8항에 있어서,The method of claim 8, 상기 (b322) 단계는, The step (b322), 상기 정의된 유사도 값을 보간하여 유사도 맵을 형성하는 단계;Interpolating the defined similarity values to form a similarity map; 상기 형성된 유사도 맵에서 유사도 값이 최대인 지점을 상기 물체 이미지가 삽입될 위치로 결정하는 단계; 및Determining a point at which the similarity value is maximum in the formed similarity map as a position where the object image is to be inserted; And 상기 유사도 값이 최대인 지점에 인접한 특징점에 대하여 상기 결정된 특징점 쌍의 형태 기술자 간의 주축의 차이를 이용하여 상기 회전량을 결정하고, 상기 결정된 특징점 쌍의 형태 기술자 간의 스케일의 차이를 이용하여 물체 이미지의 스케일 양을 결정하는 단계를 포함하는 것을 특징으로 하는 숨은그림찾기 이미지 제작 방법.The amount of rotation is determined by using a difference between major axes of the shape descriptors of the determined pair of feature points with respect to a feature point adjacent to a point where the similarity value is the maximum, and the scale difference between the shape descriptors of the determined feature point pairs is used to determine an object image. A method for producing a hidden object image comprising determining a scale amount. 제8항에 있어서,The method of claim 8, 상기 (b32) 단계는,Step (b32), 상기 배경 이미지로부터 추출된 특징점들 각각에 대하여, 상기 특징점 쌍을 이루는 상기 배경 이미지의 특징점과 상기 물체 이미지의 특징점 각각의 이웃에 있는 소정 개수의 특징점의 형태 기술자 간의 유사도를 고려하여 상기 정의된 유사도를 수정하는 단계를 더 포함하고,For each of the feature points extracted from the background image, the defined similarity is determined in consideration of the similarity between the feature points of the background image constituting the feature point pairs and the shape descriptors of a predetermined number of feature points adjacent to each of the feature points of the object image. Further includes modifying 상기 (b322) 단계는 상기 수정된 유사도 값을 이용하여 물체 이미지가 삽입될 위치를 결정하는 것을 특징으로 하는 숨은그림찾기 이미지 제작 방법.The step (b322) is a method for producing a hidden object image, characterized in that for determining the position to insert the object image using the modified similarity value. 제10항에 있어서,The method of claim 10, 상기 정의된 유사도를 수정하는 단계는, Modifying the similarity defined above, 상기 특징점 쌍을 이루는 상기 배경 이미지의 특징점과 상기 물체 이미지의 특징점의 형태 기술자 간의 스케일 차이를 더 고려하여 상기 정의된 유사도를 수정하는 것을 특징으로 하는 숨은그림찾기 이미지 제작 방법.The method for manufacturing a hidden picture search image, characterized in that for modifying the defined similarity by further considering the scale difference between the feature point of the background image constituting the feature point pair and the shape descriptor of the feature point of the object image. 제1항에 있어서,The method of claim 1, 상기 삽입된 물체 이미지를 어파인 변환을 사용하여 변형하는 단계를 더 포함하는 것을 특징으로 하는 숨은그림찾기 이미지 제작 방법.And transforming the inserted object image using an affine transformation. 제1항, 제3 내지 제12항 중 어느 한 항에 기재된 숨은그림찾기 이미지 제작 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.A computer-readable recording medium having recorded thereon a program for executing the method for producing a hidden object image according to any one of claims 1 to 13. 배경 이미지와 숨은그림찾기의 대상이 되는 물체 이미지가 저장되는 저장부;A storage unit for storing the background image and the object image to be hidden object search; 상기 배경 이미지와 상기 물체 이미지를 비교하여 상기 배경 이미지에 상기 물체 이미지가 삽입될 위치와 상기 물체 이미지의 회전량을 결정하는 형태 매칭부; 및A shape matching unit comparing the background image with the object image to determine a position at which the object image is to be inserted into the background image and an amount of rotation of the object image; And 상기 결정된 위치 및 회전량에 따라 상기 배경 이미지에 상기 물체 이미지를 삽입하는 이미지 삽입부를 포함하고,An image inserting unit inserting the object image into the background image according to the determined position and rotation amount; 상기 형태 매칭부는, 상기 배경 이미지와 물체 이미지로부터 특징점들을 추출하고 상기 추출된 특징점들 각각에 대하여 형태 기술자를 생성하며, 상기 생성된 형태 기술자를 이용하여 상기 삽입될 위치와 회전량을 결정하는 것을 특징으로 하는 숨은그림찾기 이미지 제작 시스템.The shape matching unit extracts feature points from the background image and the object image, generates a shape descriptor for each of the extracted feature points, and determines the position and amount of rotation to be inserted using the generated shape descriptor. Hidden Objects Image Creation System. 삭제delete 제14항에 있어서,The method of claim 14, 상기 형태 매칭부는, 상기 배경 이미지 및 상기 물체 이미지를 라인 드로잉 형태로 변환한 후, 상기 변환된 배경 이미지 및 물체 이미지로부터 상기 특징점들을 추출하는 것을 특징으로 하는 숨은그림찾기 이미지 제작 시스템.And the shape matching unit extracts the feature points from the converted background image and the object image after converting the background image and the object image into a line drawing form. 제14항에 있어서,The method of claim 14, 상기 형태 매칭부는, 상기 배경 이미지로부터 추출된 특징점들 각각에 대한 형태 기술자와 상기 물체 이미지로부터 추출된 특징점들 각각에 대한 형태 기술자 간의 유사도를 구하고, 상기 구해진 유사도를 이용하여 상기 배경 이미지에 상기 물체 이미지가 삽입될 위치를 결정하고, 상기 결정된 위치에서의 상기 회전량을 결정하는 것을 특징으로 하는 숨은그림찾기 이미지 제작 시스템.The shape matching unit obtains a similarity between a shape descriptor for each feature point extracted from the background image and a shape descriptor for each feature point extracted from the object image, and uses the obtained similarity to add the object image to the background image. And determine the position to be inserted, and determine the rotation amount at the determined position. 제14항에 있어서,The method of claim 14, 상기 이미지 삽입부는, 상기 삽입된 물체 이미지를 어파인 변환을 사용하여 변형하는 것을 특징으로 하는 숨은그림찾기 이미지 제작 시스템.The image inserting unit, the hidden object image creation system, characterized in that for modifying the inserted object image using affine transformation.
KR1020080065220A 2008-07-07 2008-07-07 Method and system for generating hidden picture puzzles image KR100957191B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080065220A KR100957191B1 (en) 2008-07-07 2008-07-07 Method and system for generating hidden picture puzzles image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080065220A KR100957191B1 (en) 2008-07-07 2008-07-07 Method and system for generating hidden picture puzzles image

Publications (2)

Publication Number Publication Date
KR20100005262A KR20100005262A (en) 2010-01-15
KR100957191B1 true KR100957191B1 (en) 2010-05-11

Family

ID=41814666

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080065220A KR100957191B1 (en) 2008-07-07 2008-07-07 Method and system for generating hidden picture puzzles image

Country Status (1)

Country Link
KR (1) KR100957191B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180060837A (en) 2016-11-29 2018-06-07 경남대학교 산학협력단 Method for make art map using wrong picture search

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9792449B2 (en) 2012-05-31 2017-10-17 Fleur De Lis Group, Llc Cryptic notes and related methods
US9356784B2 (en) * 2012-05-31 2016-05-31 Fleur De Lis Group, Llc Cryptic notes and related apparatus and methods
CN108876755B (en) * 2018-06-28 2021-09-28 大连海事大学 Improved method for constructing color background of gray level image
KR20230105104A (en) 2022-01-03 2023-07-11 (주)루노소프트 Method for painting story based on finding hidden pictures, and server for providing service thereof

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09330414A (en) * 1996-06-12 1997-12-22 Yoshihiko Nomura Picture matching method and device therefor
KR20000054864A (en) * 1999-02-01 2000-09-05 김영환 Multimedia data retrieval method and appratus using shape information
KR20010102718A (en) * 2000-05-08 2001-11-16 박기업 Apparatus and method for an animation image synthesis
KR20020053257A (en) * 2000-12-27 2002-07-05 윤종용 Image matching method based on straight line

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09330414A (en) * 1996-06-12 1997-12-22 Yoshihiko Nomura Picture matching method and device therefor
KR20000054864A (en) * 1999-02-01 2000-09-05 김영환 Multimedia data retrieval method and appratus using shape information
KR20010102718A (en) * 2000-05-08 2001-11-16 박기업 Apparatus and method for an animation image synthesis
KR20020053257A (en) * 2000-12-27 2002-07-05 윤종용 Image matching method based on straight line

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180060837A (en) 2016-11-29 2018-06-07 경남대학교 산학협력단 Method for make art map using wrong picture search

Also Published As

Publication number Publication date
KR20100005262A (en) 2010-01-15

Similar Documents

Publication Publication Date Title
CN109618222B (en) A kind of splicing video generation method, device, terminal device and storage medium
Ji et al. Deep view morphing
CN109034077B (en) Three-dimensional point cloud marking method and device based on multi-scale feature learning
US8682107B2 (en) Apparatus and method for creating 3D content for oriental painting
JP2022527143A (en) 3D object modeling method, image processing method, image processing device
JP5236055B2 (en) Apparatus and method for providing augmented reality (AR) using markers
KR100957191B1 (en) Method and system for generating hidden picture puzzles image
AU2018202767B2 (en) Data structure and algorithm for tag less search and svg retrieval
JP5470607B2 (en) Computer system and method for aligning images / charts
CN102859535A (en) Daisy descriptor generation from precomputed scale-space
CN105474213A (en) System and method for creating navigable views of ordered images
JP6106799B2 (en) System and method for describing an image outline
CN104616247B (en) A kind of method for map splicing of being taken photo by plane based on super-pixel SIFT
US11914841B2 (en) Automatic generation of stylized icons
Zhang et al. Automatic generation of synthetic datasets from a city digital twin for use in the instance segmentation of building facades
Liu et al. Name your style: An arbitrary artist-aware image style transfer
RU2673015C1 (en) Methods and systems of optical recognition of image series characters
Onizuka et al. Landmark-guided deformation transfer of template facial expressions for automatic generation of avatar blendshapes
JP4224093B2 (en) Texture filtering apparatus, texture mapping apparatus, method and program
KR101242659B1 (en) Method for searching images
CN111652025B (en) Face processing and live broadcasting method and device, electronic equipment and storage medium
Lee et al. Single image summarization of 3D animation using depth images
US11657511B2 (en) Heuristics-based detection of image space suitable for overlaying media content
Xu et al. Edge-guided generative adversarial network for image inpainting
CN111652978B (en) Grid generation method and device, electronic equipment and storage medium

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130311

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140401

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150429

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160610

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee