KR20070009174A

KR20070009174A - Image extraction combination system and the method, and the image search method which uses it

Info

Publication number: KR20070009174A
Application number: KR1020050064256A
Authority: KR
Inventors: 황후; 이정헌
Original assignee: 황후
Priority date: 2005-07-15
Filing date: 2005-07-15
Publication date: 2007-01-18
Also published as: KR100737974B1

Abstract

An apparatus and a method for image extraction and composition, and an image search method using the same are provided to apply an image segmentation algorithm capable of applying color information and texture information together to original images, thereby extracting and composing a specific image object with the minimum time by a simple process using a mouse or a keyboard and easily searching composite images by using a characteristic value generated in the image segmentation process. An apparatus for image extraction and composition comprises the followings: a client(100) which extracts and composes a specific image object of original images by applying image segmentation algorithm to the original images and provides a user interface related to a graphic interface to search the original images or composite images by using a characteristic value generated in the image segmentation process; and a server(200) which generates and stores the composite images by applying a composite method suitable for each status to the original images and layer images according to the original images, extracted from the client(100), and the layer images which a user wants to compose and provides a function for searching the original images or the composite images by storing the characteristic value generated in the image segmentation process.

Description

Image extraction combination system and the method, And the image search method which uses it}

도 1은 본 발명의 바람직한 일 실시예에 따른 이미지 분리 합성 장치의 전체 내부 블럭 구성을 나타내는 도면이다.1 is a view showing the entire internal block configuration of the image separation composition apparatus according to an embodiment of the present invention.

도 2a,b는 본 발명의 바람직한 일 실시에에 따른 이미지 분리 방법을 나타내는 순서도이다.2A and 2B are flowcharts illustrating an image separation method according to an exemplary embodiment of the present invention.

도 3은 본 발명의 바람직한 일 실시예에 따른 이미지 합성 방법을 나타내는 순서도이다.3 is a flowchart illustrating an image compositing method according to an exemplary embodiment of the present invention.

도 4는 본 발명의 다른 바람직한 일 실시예에 따른 이미지 검색 방법을 나타내는 순서도이다.4 is a flowchart illustrating an image retrieval method according to another exemplary embodiment of the present invention.

*** 도면의 주요부분에 대한 부호의 설명 ****** Explanation of symbols for main parts of drawing ***

100 : 클라이언트 105 : 서버 연결모듈100: client 105: server connection module

110 : 메모리 관리모듈 115 : 일반 이미지 로딩모듈110: memory management module 115: general image loading module

120 : 이미지 뷰어모듈 125 : 계층이미지 로딩모듈120: image viewer module 125: hierarchical image loading module

130 : 계층이미지 정보 생성모듈 135 : 세그멘테이션 모듈130: layer image information generation module 135: segmentation module

140 : 세그멘테이션 영역 선택기모듈 145 : 특징값 생성모듈140: segmentation area selector module 145: feature value generation module

150 : 특징값 검색 요청모듈 160 : 편집기 모듈150: feature value search request module 160: editor module

165 : 프린트 모듈 170 : 정보 입력기165: print module 170: information input

175 : 사용자 이미지리스트 모듈 180 : 사용자D/B 175: user image list module 180: user D / B

200 : 서버 220 : 계층이미지 콘텐츠DB 서버200: server 220: hierarchical image content DB server

230 : 회원정보 관리서버 240 : 사용자 합성이미지DB 서버230: member information management server 240: user composite image DB server

250 : 사용자 합성이미지 특징값DB 서버 250: user composite image feature value DB server

260 : 사용자 합성이미지 특징값 검색엔진260: User composite image feature value search engine

본 발명은 이미지 분리 합성 장치 및 방법, 그리고 그것을 이용한 이미지 검색방법에 관한 것이다. The present invention relates to an image separation synthesizing apparatus and method, and an image retrieval method using the same.

더욱 상세하게는 디지털 카메라, 웹카메라, 휴대폰 카메라 등의 촬영수단을 이용하여 촬영된 사진 이미지에 칼라 정보와 질감 정보를 함께 적용할 수 있는 이미지 세그멘테이션 알고리즘을 적용하여 사진 이미지 안의 특정 이미지 객체을 편리하게 분리하고 합성할 수 있는 이미지 분리 합성 장치와 그 방법, 그리고 그것을 이용한 이미지 검색방법에 관한 것이다.More specifically, by using an image segmentation algorithm that can apply color information and texture information to photographic images taken using digital cameras, web cameras, mobile phone cameras, etc., it is convenient to separate specific image objects in photographic images. The present invention relates to an image separation synthesizing apparatus and method, and an image retrieval method using the same.

일반적으로 디지털 카메라, 웹카메라, 휴대폰 카메라 등을 이용하여 다양한 피사체를 촬영한 후, 촬영된 사진 이미지에 다양한 효과를 주어 전자앨범, 스티커 사진 등을 만든다. 또한, 촬영된 사진 이미지를 이용하여 다양한 합성 작업들을 하고 있는데, 원하는 부분만을 신속하고 정확하게 분리해 낼 수 있는 편집기술은 블로그 서비스 및 다양한 웹서비스에서 필요한 기술로 대두되고 있다. In general, after photographing various subjects using a digital camera, a web camera, a mobile phone camera, etc., various effects are applied to the photographed photo image to make an electronic album, a sticker photo, and the like. In addition, various compositing works are performed using photographed photographic images. Editing technology capable of quickly and accurately separating only a desired part has emerged as a necessary technology in blog services and various web services.

하지만, 디지털 카메라를 이용하여 촬영된 인물 이미지나 자연 이미지의 경우, 사진 이미지 안에 특정 이미지 부분만을 분리하기 위한 이미지 편집작업은 최소한 몇 분 이상이 소요되고, 전문가들이라 하여도 시간이 많이 걸리는 작업이다. 특히, 초보자들에게는 매우 어려운 작업이다.However, in the case of a portrait image or a natural image photographed using a digital camera, an image editing operation for separating only a specific image part in a photographic image takes at least a few minutes and is time consuming even for professionals. This is especially difficult for beginners.

한편, 이러한 이미지를 자동적으로 분리하는 방법에는 영역 생성방법에 따라 픽셀기반, 영역기반, 에지 기반 이미지 세그멘테이션 방법이 있다. 픽셀 기반 세그멘테이션 방법은 픽셀 단위로 영역을 구분하는 방법으로 일반적으로 칼라 히스토그램의 1개 이상의 임계치를 통해 각각의 픽셀들이 어느 영역의 원소인지를 구분하는 방법이다. 영역기반 세그멘테이션 방법은 씨앗(seed) 영역을 찾아 낸 후, 그 씨앗 영역을 인접 픽셀 혹은 인접영역과 비교하여 영역을 확장하는 방법과 영역을 분할하거나 병합하는 과정을 통해 이미지를 나누는 방법을 사용한다. 반면, 에지 기반 세그멘테이션 방법은 영역기반 이미지 세그멘테이션이 씨앗 영역을 찾아내는 것과는 달리 에지를 먼저 잡아내는 방법을 사용한다. 추출한 에지는 에지 연결과정을 통해 영역을 생성하게 된다. 영역기반과 에지기반은 둘 다 지역적으로 인접한 픽셀들을 영역으로 판단하므로 영역기반 이미지 검색을 위한 영역생성이 가능하다.On the other hand, there are pixel-based, region-based, and edge-based image segmentation methods according to region generation methods. The pixel-based segmentation method is a method of dividing regions by pixel units. In general, one or more thresholds of a color histogram are used to distinguish elements of which regions each pixel is. Area-based segmentation method finds a seed area and compares the seed area with neighboring pixels or adjacent areas to expand the area and divides the image by dividing or merging the areas. The edge-based segmentation method, on the other hand, uses the method of catching the edge first, unlike the area-based image segmentation that finds the seed region. The extracted edge creates an area through the edge connection process. Region-based and edge-based both determine locally adjacent pixels as regions, enabling region generation for region-based image retrieval.

하지만, 범용적인 목적의 칼라 이미지 세그멘테이션은 많은 어려움이 존재하는데, 이는 이미지 내에 많은 칼라 정보와 함께 질감 정보가 포함되어 있어 명확한 에지를 판단하기 어렵기 때문이다. 특정분야의 이미지는 오브젝트와 배경간의 구별이 쉽고 단순 칼라를 가진다는 장점이 있어 손쉬운 세그멘테이션이 가능하다. 그러나 범용적인 분야에서의 이미지 세그멘테이션은 영역구분이 쉽지 않기 때문에 많은 선처리 과정이 필요한 문제점이 있었다. However, general purpose color image segmentation has many difficulties, because texture information is included in the image with a lot of color information, so it is difficult to determine a clear edge. Images in a particular field have the advantage of being easy to distinguish between objects and backgrounds and having simple colors, allowing easy segmentation. However, image segmentation in the general field has a problem that requires a lot of preprocessing because it is not easy to distinguish the area.

본 발명은 상술한 바와 같은 문제점을 해결하기 위해 안출된 것으로, 다양한 촬영수단으로 촬영된 사진의 원본이미지를 칼라 정보와 질감 정보를 함께 적용할 수 있는 이미지 세크멘이션 알고리즘을 적용하여 최소의 시간으로 편리하게 특정 이미지 객체를 분리하고 합성할 수 있는 이미지 분리 합성 및 그 방법을 제공하는 데 있다.The present invention has been made to solve the problems described above, by applying an image segmentation algorithm that can apply the color information and the texture information to the original image of the photograph taken by various photographing means to a minimum time An object of the present invention is to provide an image separation composition and a method for easily separating and compositing a specific image object.

다른 목적으로는, 상기와 같이 이미지 세그멘테이션을 적용하는 과정에서 생성되는 특징값을 이용하여 합성이미지를 쉽게 검색할 수 있는 이미지 검색방법을 제공하는 데 그 목적이 있다.Another object of the present invention is to provide an image retrieval method for easily retrieving a composite image by using feature values generated in the process of applying image segmentation as described above.

상술한 바와 같은 목적은, 다양한 촬영수단을 이용하여 촬영된 컬러 이미지들 중 사용자가 분리를 원하는 이미지 객체를 분리하고 합성하는 장치와 방법, 그리고 그것을 이용한 이미지 검색방법에 있어서, 개인PC, PDA, 휴대폰 등에 탑재되어 디지털 카메라, 스캐너, 웹카메라, 휴대폰 카메라 등으로 촬영되어 입력된 원본이미지에 이미지 세그멘테이션 알고리즘을 적용하여 원본이미지 중 분리하고자 하는 특정 이미지 객체를 분리 및 합성하고, 상기 세그멘테이션 처리과정에서 발생하 는 특징값을 이용하여 원본이미지 또는 합성이미지를 검색하기 위한 그래픽 인터페이스와 관련된 사용자 인터페이스를 제공하는 클라이언트 및 상기 클라이언트에 의해 분리된 원본이미지와 합성하고자 하는 계층이미지에 따라 원본이미지와 계층이미지를 각 상태에 맞는 합성방법을 적용하여 합성이미지를 생성하고 저장하며, 상기 세그멘테이션 처리과정에서 생성되는 특징값을 저장하여 상기 원본이미지 또는 합성이미지를 검색할 수 있는 기능을 제공하는 서버를 포함하여 이루어지는 이미지 분리 합성 장치가 제공되고, An object as described above is an apparatus and method for separating and synthesizing an image object that a user wants to separate among color images photographed using various photographing means, and an image retrieval method using the same. The image segmentation algorithm is applied to the original image photographed with a digital camera, scanner, web camera, mobile phone camera, etc. to separate and synthesize a specific image object to be separated from the original image, and to generate the segmentation process. A client providing a user interface related to a graphic interface for retrieving the original image or the composite image using the feature value, and the original image and the hierarchical image according to the hierarchical image to be combined with the original image separated by the client.The image separation and synthesis device comprising a server providing a function of generating and storing a composite image by applying a synthesis method, and storing a feature value generated during the segmentation process to retrieve the original image or the composite image. Is provided,

촬영한 이미지들 중 분리하고자 하는 원본이미지를 읽어들이는 단계와, 원본이미지를 이미지 세그멘테이션(Segmentation) 알고리즘을 적용하여 유사한 픽셀들을 하나의 구역으로 설정한 후 유사한 영역들을 구분짓고 구분지은 영역은 영역의 평균 칼라값으로 채우는 단계와, 좌측과 우측으로 양분된 화면 인터페이스의 좌측에 세그멘테이션 처리를 한 이미지를 출력하는 단계와, 좌측 출력된 영역 중 세그멘테이션 영역을 선택하여, 우측의 영역에 선택되어 출력된 해당 원본이미지의 영상을 확인하고 원하는 부분만을 선택하는 단계와, 원본이미지에서 원하는 객체 부분의 분리가 완성되면 분리된 이미지를 파일로 저장하거나 이미지 합성 서비스를 위한 이미지 파일로 이용하는 단계를 포함하여 이루어지는 이미지 분리 방법이 제공되고,The steps of reading the original image to be separated from the photographed images and applying the image segmentation algorithm to the original image to set similar pixels as one zone, then distinguishing and distinguishing the similar areas Filling with an average color value; outputting an image subjected to segmentation on the left side of the screen interface divided into left and right sides; and selecting a segmentation area from the left output area, Image separation including checking the image of the original image and selecting only the desired part, and storing the separated image as a file or using it as an image file for image composition service when separation of the desired object part from the original image is completed Method is provided,

사용자가 클라이언트를 이용하여 서버에 접속하면 계층이미지들의 리스트를 썸네일 이미지 형태로 보여주는 단계와, 이미지 합성을 하기 원하는 하나의 계층이미지를 선택하여 다운로드 한 후 계층이미지를 파싱하여 파일의 내용에 맞게 계층 구조로 위치시키는 단계와, 합성하고자 하는 원본이미지를 로딩하여 하나의 계층을 할당하여 위치시키고, 상기 원본이미지에서 원하는 부분을 분리하기 위해 세그멘테이션 처리를 수행하여 분리된 이미지를 생성하는 단계와, 분리된 이미지를 상기 계층이미지와 매칭하여 크기 및 잡음 제거 등의 편집을 통하여 최종 합성이미지를 생성하는 단계와, 상기 최종 합성이미지를 계층이미지 정보에 맞게 생성하여 상기 최종 합성이미지와 관련 정보(계층이미지 정보, 특징값)를 상기 서버로 전송하여 저장하는 단계를 포함하여 이루어지는 이미지 합성 방법이 제공되고,When the user connects to the server by using the client, a step of showing a list of hierarchical images in the form of thumbnail images, selecting and downloading one hierarchical image to be combined with the image, and parsing the hierarchical image to match the contents of the file Positioning an image, loading an original image to be synthesized, assigning and placing one layer, and performing a segmentation process to separate a desired portion from the original image, creating a separated image; and Generating a final composite image by editing the size and noise by matching the hierarchical image, and generating the final composite image according to hierarchical image information, and generating the final composite image and related information (layer image information, features). Value) is sent to the server for storage. This image synthesis method is provided comprising a,

상기 사용자가 클라이언트를 이용하여 검색하고자 하는 이미지를 입력하는 단계와, 상기 입력된 이미지를 세그멘테이션 처리하여 특징값을 생성하는 단계와, 상기 생성된 특징값을 상기 서버로 전송하여 유사한 이미지 검색을 요청하는 단계와, 상시 수신된 특징값을 이용하여 유사한 합성이미지를 검색하여 유사한 합성이미지 리스트를 상기 클라이언트로 전송하는 단계와, 상기 전송받은 유사한 합성이미지 리스트 중 찾고자 하는 이미지를 선택하는 단계를 포함하여 이루어지는 이미지 검색방법을 제공함으로써 달성된다.Inputting an image to be searched by the user using a client, segmenting the input image to generate a feature value, and transmitting the generated feature value to the server to request a similar image search And retrieving a similar composite image using the constantly received feature values and transmitting a similar composite image list to the client, and selecting an image to be searched among the received similar composite image lists. By providing a search method.

이하, 도면을 참조하여 본 발명의 바람직한 일 실시예에 따른 이미지 분리 합성 시스템 및 그 방법에 대하여 더욱 상세하게 설명한다.Hereinafter, an image separation synthesis system and a method thereof according to an exemplary embodiment of the present invention will be described in more detail with reference to the accompanying drawings.

원본이미지에서 특정이미지 객체를 자동적으로 분리하는 이미지 세그멘테이션 방법은 영역생성 방법에 따라 픽셀기반, 영역기반, 에지기반 이미지 세그멘테이 션 방법 등이 있지만, 본 발명의 바람직한 일 실시예에 사용되는 이미지 세그멘테이션은 먼저 에지를 추출한 후 에지를 연결하여 영역을 생성하는 에지 기반 이미지 세그멘테이션 방법을 사용한다.The image segmentation method for automatically separating a specific image object from the original image includes a pixel-based, region-based, and edge-based image segmentation method according to the region generation method, but the image segmentation method used in the preferred embodiment of the present invention. Uses an edge-based image segmentation method that first extracts edges and then concatenates the edges to create regions.

본 발명의 바람직한 일 실시예에 사용되어지는 상기 에지 기반 이미지 세그멘테이션 방법은 최초 양자화를 통해 칼라 수를 줄이고 양자화 된 이미지를 Fisher의 클래스 선형 판별식을 이용하여 이미지의 전체적인 에지를 보여주는 그레이 레벨의 이미지를 생성하게 된다. 이렇게 얻은 그레이 레벨 에지 이미지를 윈도우 단위의 임계치 비교를 통해 이진 에지 이미지로 변환하게 되고, 상기 이진 에지 이미지는 잡음제거와 함께 끊어진 에지 정보를 끊어진 방향에서 가장 가까운 에지를 연결하여 끊어지지 않은 에지 이미지를 생성하고 유사한 인접영역을 합병하는 작업을 통해 최종적인 세그멘테이션 결과를 얻게되는 방법이다. The edge-based image segmentation method used in the preferred embodiment of the present invention reduces the number of colors through the initial quantization and uses the Fisher's class linear discriminant to display the gray level image showing the overall edge of the image. Will be created. The gray level edge image thus obtained is converted into a binary edge image through a threshold comparison in a window unit, and the binary edge image is connected with the edge closest to the broken direction by removing the broken edge information with noise reduction to obtain an unbroken edge image. By creating and merging similar neighbors, the final segmentation results are obtained.

상기 에지 기반 이미지 세그멘테이션(이하에서는 본 발명의 설명을 간편하게 하기 위해 '이미지 세그멘테이션'이라 한다) 방법에 대한 상세한 설명은 본 발명의 이미지 분리방법에서 더욱 상세하게 설명하기로 한다. A detailed description of the edge-based image segmentation method (hereinafter referred to as 'image segmentation' to simplify the description of the present invention) will be described in detail in the image separation method of the present invention.

도 1은 본 발명의 바람직한 일 실시예에 따른 이미지 분리 합성 장치의 전체 내부 블럭 구성을 나타내는 도면이다. 도 2를 참조하여 더욱 상세하게 설명하면,1 is a view showing the entire internal block configuration of the image separation composition apparatus according to an embodiment of the present invention. Referring to Figure 2 in more detail,

먼저 본 발명의 장치는 클라이언트(100), 서버(200), 유무선인터넷(300) 등으로 구성된다.First, the apparatus of the present invention includes a client 100, a server 200, a wired and wireless Internet 300, and the like.

상기 클라이언트(100)는 일반 사용자들이 디지털 카메라, 웹카메라, 휴대폰 카메라 등으로 개인 이미지나 자연 이미지 등을 촬영하여 저장할 수 있고, 유무선 인터넷(300)을 통하여 상기 서버(200)에 접속할 수 있는 개인PC, PDA, 휴대폰 등을 포함하는 단말기에 탑재된 사용자 인터페이스로서, 상기 디지털 카메라, 웹카메라, 휴대폰 카메라 등으로 촬영된 외부의 원본이미지를 입력받아 원본이미지 중에서 상기 사용자가 분리하고자 하는 부분을 선택하여 분리하고, 또한 합성하고자 하는 계층이미지를 상기 서버(200)로부터 다운받거나 상기 클라이언(100)가 탑재된 단말기내에 저장된 다수의 원본이미지를 이용하여 합성이미지를 생성하는 기능과, 상기 세그멘테이션 처리과정에서 발생하는 특징값을 이용하여 원본이미지 또는 합성이미지를 검색하기 위한 그래픽 인터페이스를 제공하는 기능을 수행한다.The client 100 may be stored by the general user to take a personal image or a natural image with a digital camera, a web camera, a mobile phone camera, and the like, and to access the server 200 through a wired or wireless Internet (300). A user interface mounted on a terminal including a PDA, a mobile phone, etc., and receives an external original image photographed by the digital camera, a web camera, a mobile phone camera, etc., and selects and separates a portion to be separated by the user from the original image. In addition, the hierarchical image to be synthesized is downloaded from the server 200 or a composite image is generated using a plurality of original images stored in a terminal on which the client 100 is mounted, and the segmentation process is generated. To retrieve the original or composite image using the feature value It serves to provide a graphical interface.

상기 서버(200)는 다수의 데이타베이스 서버들을 포함하여 구성되고, 유무선 인터넷(300)으로 접속하는 상기 클라이언트(100)와 이미지 분리 및 합성에 필요한 데이터 통신을 수행하는데, 상기 클라이언트(100)에 의해 분리된 원본이미지와 합성하고자 하는 계층이미지를 미리 생성하여 저장하고, 상기 계층이미지에 따라 원본이미지와 계층이미지를 각 상태에 맞는 합성 방법을 적용하여 합성된 계층이미지를 생성할 수 있도록 하고, 상기 합성된 계층이미지와 계층이미지 정보를 저장하고 제공하는 기능과 상기 세그멘테이션 처리과정에서 생성되는 특징값을 저장하여 상기 원본이미지 또는 합성이미지를 검색할 수 있는 기능을 제공한다.The server 200 includes a plurality of database servers, and performs data communication necessary for image separation and composition with the client 100 connected to the wired / wireless internet 300, by the client 100. Create and store a layered image to be synthesized with the original image separated in advance, and generate a layered image synthesized by applying a composition method suitable for each state according to the layered image. And a function of storing and providing the hierarchical layer information and the hierarchical image information, and a function of retrieving the original image or the composite image by storing the feature values generated during the segmentation process.

상기 유무선 인터넷(300)은 상기 개인PC, PDA, 셀룰라폰과 PCS폰을 포함하는 휴대폰 등을 이용하여 상기 서버(200)에 접속할 수 있는 유무선 네트워크의 기반체계를 사용하기 때문에 별도의 설명은 생략한다.Since the wired / wireless Internet 300 uses an infrastructure of a wired / wireless network that can be connected to the server 200 by using a personal PC, a PDA, a cellular phone and a mobile phone including a PCS phone, a separate description will be omitted. .

상기 본 발명의 구성인 클라이언트(100)에 대해 더욱 상세하게 설명하면,Referring to the client 100 in the configuration of the present invention in more detail,

상기 클라이언트(100)는 서버 연결모듈(105), 메모리 관리모듈(110), 일반 이미지 로딩모듈(115), 이미지 뷰어모듈(120), 계층이미지 로딩모듈(125), 계층이미지 정보 생성모듈(130), 세그멘테이션 모듈(135), 세그멘테이션 영역 선택기 모듈(140), 특징값 생성모듈(145), 특징값 검색 요청모듈(150), 편집기 모듈(160), 프린트 모듈(165), 정보 입력기(170), 사용자 이미지 리스트 요청모듈(175), 사용자 DB(180) 등을 더 포함하여 구성된다.The client 100 includes a server connection module 105, a memory management module 110, a general image loading module 115, an image viewer module 120, a layer image loading module 125, and a layer image information generating module 130. ), Segmentation module 135, segmentation region selector module 140, feature value generation module 145, feature value search request module 150, editor module 160, print module 165, information input device 170. It further comprises a user image list request module 175, the user DB (180).

상기 서버 연결모듈(105)은 유무선 인터넷을 통하여 서비스를 하는 상기 서버(200)와 통신을 하기 위한 연결 및 자료 전달 역할을 수행한다.The server connection module 105 performs a connection and data transfer role for communicating with the server 200 serving a service through a wired or wireless Internet.

상기 메모리 관리모듈(110)은 사용자가 이미지 합성 작업을 하는 동안 사용되는 계층이미지와 일반이미지의 원본 및 결과 이미지를 유지하고 관리하기 위한 일을 수행한다.The memory management module 110 maintains and manages the original and the resultant images of the hierarchical image and the general image used during the image compositing operation.

상기 일반 이미지 로딩모듈(115)은 사용자가 이미지 합성에 사용하고자 디지털 카메라로 촬영한 이미지나 일반적인 이미지 파일을 상기 클라이언트(100)가 탑재된 단말기의 사용자 DB(180)로부터 로딩하여 상기 메모리 관리모듈(110)에 의해 하나의 계층으로 위치시키는 일을 수행한다.The general image loading module 115 loads an image or a general image file photographed by a digital camera by a user for use in compositing an image from the user DB 180 of a terminal equipped with the client 100 and the memory management module ( 110) to position into a layer.

상기 이미지 뷰어모듈(120)은 계층이미지나 사용자가 사용하고자 하는 이미지들을 모니터에서 볼 수 있도록 디스플레이 해주는 역할을 수행한다.The image viewer module 120 serves to display a hierarchical image or an image that a user wants to use on a monitor.

상기 계층이미지 로딩모듈(125)은 사용자가 선택한 계층이미지를 상기 서버(200)로부터 다운로드 받아 압축되어 있는 형식을 디코딩이나 파싱하여 상기 메모 리 관리모듈(110)에 의해 계층적으로 위치시키는 일을 수행한다.The hierarchical image loading module 125 performs hierarchical positioning by the memory management module 110 by decoding or parsing the compressed format by downloading the hierarchical image selected by the user from the server 200. do.

상기 계층이미지 정보 생성모듈(130)은 이미지 합성 서비스를 위하여 만들어진 계층이미지 형식에 맞추어 상기 메모리 관리모듈(110)에 의해 사용자가 작업한 파일을 사용자 합성이미지DB 서버(240)에 등록하기 위해서 계층이미지 정보를 생성하는 기능을 수행한다.The hierarchical image information generation module 130 registers a file, which the user works by the memory management module 110, in the user composite image DB server 240 according to the hierarchical image format created for the image synthesis service. Function to generate information.

상기 세그멘테이션 모듈(135)은 본 발명의 에지 기반 이미지 세그멘테이션 알고리즘이 적용된 모듈로서, 일반이미지에서 원하는 영역을 쉽게 분리하기 위하여 유사하다고 여겨지는 영역을 다양한 기준에 의해 하나의 영역을 구분지으며 전체 이미지를 일정 개수의 영역으로 구분 짓는 과정을 수행하고, 이미지 검색을 위한 특징값 생성을 위해 사용자 합성이미지 특징값DB 서버(250)에 저장되어 있는 특징값과 동일한 영역 구분 작업을 수행하는 세그멘테이션 처리과정을 수행한다.The segmentation module 135 is a module to which the edge-based image segmentation algorithm of the present invention is applied. In order to easily separate a desired area from a general image, the segmentation module 135 classifies an entire area by dividing a single area by various criteria. A segmentation process is performed, and a segmentation process is performed to perform the same area classification as the feature value stored in the user composite image feature value DB server 250 to generate a feature value for image retrieval. .

상기 세그멘테이션 영역 선택기 모듈(140)은 상기 세그멘테이션 모듈(135)을 통하여 생성된 결과물 이미지에서 사용자가 원하는 영역을 쉽게 선택하여 분리할 수 있도록 마우스나 키보드와 같은 인터페이스를 통하여 구분되어진 영역을 선택함으로써 분리하고자 하는 영역이 결정되게 하는 세그멘테이션 영역 선택 정보를 생성한다.The segmentation region selector module 140 may separate the segmented region selector module 140 by selecting a segmented region through an interface such as a mouse or a keyboard so that the user may easily select and separate a desired region from the resultant image generated by the segmentation module 135. Segmentation area selection information is generated which allows an area to be determined to be determined.

상기 특징값 생성모듈(145)은 상기 에지 기반 이미지 세그멘테이션 처리 과정을 통하여 생성되는 각 세그먼트의 상관관계에 의한 평균 칼라값과 위치값으로 구성된 특징값을 생성하여 검색을 위한 데이터로 제공한다.The feature value generation module 145 generates a feature value including an average color value and a position value based on a correlation of each segment generated through the edge-based image segmentation process, and provides the feature value as data for retrieval.

상기 특징값 검색 요청모듈(150)은 사용자 합성이미지 특징값 검색엔진(260) 에 검색을 위한 상기 특징값을 전달하고 유사한 합성이미지 검색을 요청한다.The feature value search request module 150 transmits the feature value for searching to the user composite image feature value search engine 260 and requests a similar composite image search.

상기 편집기 모듈(160)은 계층이미지의 세부적인 조정을 위한 일반적인 이미지 편집기능을 제공한다.The editor module 160 provides a general image editing function for detailed adjustment of the hierarchical image.

상기 프린트 모듈(165)은 합성된 결과 이미지를 사진 프린트를 원하는 형태(스티커 사진, 일반사진 등)로 출력하기 위한 기능을 수행한다.The print module 165 performs a function for outputting the synthesized result image in a desired form (sticker picture, general picture, etc.).

상기 정보 입력기(170)는 계층이미지의 이미지 합성 서비스에 필요한 이미지에 대한 정보를 입력하기 위한 기능 및 인터페이스를 제공한다.The information input unit 170 provides a function and an interface for inputting information about an image required for an image combining service of a hierarchical image.

상기 사용자 이미지 리스트 요청모듈(175)은 사용자 합성이미지 특징값 검색엔진(260)을 통하여 얻어진 인덱스 정보를 기초로 해당되는 실제 합성이미지 정보를 요청하여 다운로드 받는 역할을 수행한다. The user image list request module 175 requests and downloads the actual composite image information based on the index information obtained through the user composite image feature value search engine 260.

사용자 DB(180)는 상기 디지털 카메라, 웹카메라, 휴대폰 카메라 등으로 촬영된 원본이미지를 저장하여 제공하고 또한, 상기 클라이언트(100)에서 합성된 계층이미지를 저장한다.The user DB 180 stores and provides the original image photographed by the digital camera, the web camera, the mobile phone camera, and the like, and also stores the layered image synthesized by the client 100.

다음으로, 본 발명의 구성요소인 상기 서버(200)에 대해 설명하면, Next, the server 200 which is a component of the present invention will be described.

상기 서버(200)는 계층이미지 콘텐츠DB 서버(220), 회원정보 관리서버(230), 사용자 합성이미지DB 서버(240), 사용자 합성이미지 특징값DB 서버(250), 사용자 합성이미지 특징값 검색엔진(260) 등을 포함하여 구성된다.The server 200 includes a hierarchical image content DB server 220, a member information management server 230, a user composite image DB server 240, a user composite image feature value DB server 250, and a user composite image feature value search engine. 260 and the like.

상기 계층이미지 콘텐츠DB 서버(220)는 이미지 합성 서비스의 기본이 되는 배경화면이 되주기 위한 다양한 이미지를 계층이미지로 생성한 후 분류하여 저장하 고 관리한다.The hierarchical image content DB server 220 generates various images as hierarchical images to serve as a background screen that is the basis of an image synthesis service, classifies, stores, and manages them.

상기 회원정보 관리서버(230)는 인증된 사용자만 이미지 합성 서비스를 받을 수 있도록 관리한다.The member information management server 230 manages only an authenticated user to receive an image composition service.

상기 사용자 합성이미지DB 서버(240)는 사용자가 이미지 합성 서비스를 이용하여 사용자 사진을 합성한 후 발생하는 결과 이미지들을 저장하고 관리한다.The user composite image DB server 240 stores and manages the result images generated after the user synthesizes the user photo using the image synthesis service.

상기 사용자 합성이미지 특징값DB 서버(250)는 사용자가 만든 합성 이미지들 중에 찾고자 하는 이미지를 빠르게 찾기 위한 각 합성이미지의 특징값 정보를 저장하고 관리한다.The user composite image feature value DB server 250 stores and manages feature value information of each composite image for quickly finding an image to be searched among user-generated composite images.

상기 사용자 합성이미지 특징값 검색엔진(260)은 상기 특징값을 이용하여 상기 사용자가 만든 합성이미지들 중에 찾고자 하는 이미지를 빠르게 찾기 위해 유사한 합성 이미지를 검색하는 기능을 수행한다.The user composite image feature value search engine 260 performs a function of searching for a similar composite image to quickly find an image to be searched among the composite images created by the user using the feature value.

이하에서는, 상기와 같이 구성된 이미지 분리 합성 장치를 이용하여 이미지를 분리하는 방법과 합성하는 방법, 그리고 이미지 검색방법을 더욱 상세하게 설명한다.Hereinafter, a method of separating, synthesizing an image, and an image retrieval method using the image separation and synthesizing apparatus configured as described above will be described in more detail.

도 2a와 b는 본 발명의 바람직한 일 실시에에 따른 이미지 분리 방법을 나타내는 순서도이다. 도 2a와 b를 참조하여 더욱 상세하게 설명하면, 2A and 2B are flowcharts illustrating an image separation method according to an exemplary embodiment of the present invention. Referring to Figure 2a and b in more detail,

사용자는 본 발명의 상기 클라이언트(100)가 탑재된 개인PC를 이용하여 디지털 카메라나 웹카메라, 원본사진을 스캔하여 저장하고 있는 다수의 이미지들 중에 서 분리하고자 하는 원본이미지를 선택하게 되면 일반이미지 로딩모듈(115)에 의해 상기 원본이미지가 로딩되고 이미지 뷰어모듈(120)에 의해 상기 사용자의 개인PC에 디스플레이된다(S302). When a user selects an original image to be separated from a plurality of images stored by scanning and storing a digital camera, a web camera, or an original photo using a personal PC equipped with the client 100 of the present invention, the general image loading The original image is loaded by the module 115 and displayed on the user's personal PC by the image viewer module 120 (S302).

상기 로딩된 원본이미지는 세그멘테이션 모듈(135)에 의해 이미지 세그멘테이션 과정을 거치게 되는데, The loaded original image is subjected to an image segmentation process by the segmentation module 135.

상기 원본이미지를 이미지 내에 주된 24개 칼라를 잡아 칼라 맵에 저장하고 원본이미지를 칼라 맵에 저장된 24개의 칼라를 통해 표현하는 이미지 양자화 처리과정을 거쳐 칼라 정보를 저장하는 칼라 맵과 칼라 번호로 이루어진 인덱스 이미지를 생성한다(S304).An index consisting of a color map and a color number that stores color information through an image quantization process of capturing the 24 main colors in the original image and storing them in a color map and expressing the original image through the 24 colors stored in the color map. An image is generated (S304).

상기 생성된 인덱스 이미지는 에지를 추출하기 위한 정보로 사용되는데, 다양한 질감 성분의 존재로 인해 정확한 에지 판단이 어렵기 때문에 인접픽셀간의 정보를 비교하는 것이 아니라 좀 더 넓은 범위의 윈도우에서 그 칼라 정보의 분포를 통해 에지를 판단하기 위하여 Fisher의 선형 판별식을 적용하는데, 상기 Fisher의 선평 판별식은 두개의 클래스로 이루어진 d차원 점들의 집합이 1차원의 직선에 맵핑될 때, 두 클래스를 가장 잘 나누는 직선의 기울기를 찾는 알고리즘으로, 상기 인덱스 이미지는 양자화된 칼라의 개수를 클래스로 2차원 점으로 나타낼 수 있다. 상기 이미지 양자화 과정에서 총 24개의 칼라를 추출하였으므로 총 24개의 클래스를 가진 2차원 점에 대해 상기 Fisher의 선형 판별식을 사용하여 이미지의 각 픽셀은 해당 크기의 윈도우에 포함되는 인접 픽셀과의 선형 판별식을 통해 에지 정도를 판단하게 된다.The generated index image is used as information for extracting an edge, and since accurate edge determination is difficult due to the presence of various texture components, the color information of the color information is not compared between adjacent pixels, but rather than comparing information between adjacent pixels. Fisher's linear discriminant is applied to determine the edge through the distribution, which is a straight line dividing the two classes best when a set of two-dimensional d-dimensional points is mapped to a straight line in one dimension. In the algorithm for finding the slope of, the index image may represent the number of quantized colors as a two-dimensional point as a class. Since a total of 24 colors were extracted during the image quantization process, each pixel of the image was linearly determined from adjacent pixels included in a window of a corresponding size using Fisher's linear discriminant for a two-dimensional point having a total of 24 classes. The formula determines the edge level.

상기와 같이 Fisher의 선형 판별식을 상기 인덱스 이미지에 적용하여 생성된 값에 0에서 255사이의 값으로 확장하여 그레이 레벨의 에지 이미지를 생성한다(S306).As described above, Fisher's linear discriminant is extended to a value between 0 and 255 in a value generated by applying the linear discrimination equation to the index image (S306).

상기 그레이 레벨의 에지 이미지를 영역과 경계로 명확히 구분하기 위하여 이진 정보를 가지는 이미지로 변환하여야 하는데, 상기 Fisher의 선형 판별식으로 생성된 그레이 레벨 이미지는 지역적으로 에지의 밝기가 다르게 나타나기 때문에 윈도우 단위(11*11 등)로 지역적인 임계치를 구해 이진 에지 이미지를 생성한다(S308).In order to clearly distinguish the gray level edge image into an area and a boundary, the gray level image generated by the Fisher's linear discriminant is differently displayed in the unit of window because the brightness of the edge is locally different. 11 * 11, etc.) to obtain a local threshold to generate a binary edge image (S308).

상기와 같이 윈도우 단위로 지역적인 임계치를 이용해 생성된 이진 에지 이미지는 뚜렷한 에지의 형태와 함께 잡음성분이 많이 존재하게 된다. 따라서, 이러한 잡음이 포함된 이진 에지 이미지에서 명확한 에지만을 남기고 불필요한 잡음을 제거하기 위해 형태연산(morphological operation)인 열림(Opening)연산을 사용하여 잡음을 제거하게 되는데, 열림연산은 침식(erosion)작업 후 팽창(dilation)작업을 연속적으로 수행한다.As described above, the binary edge image generated by using the local threshold value in the window unit has a lot of noise components along with a distinct edge shape. Therefore, in order to remove unnecessary noise while leaving only a clear edge in a binary edge image including such noise, a noise is removed by using an opening operation, which is a morphological operation, which is an erosion operation. Dilation is then performed continuously.

상기 침식작업은 침식연산에 사용하는 블록의 원점을 이진 이미지의 해당 픽셀에 맞춘 후 해당 픽셀과 위쪽 그리고 오른쪽 픽셀이 모두 1인 픽셀은 남기고 그렇지 못한 픽셀은 0으로 바꾸어 상기 이진 에지 이미지의 잡음성분을 제거하고 오브젝트를 줄여주고, 상기 팽창작업은 이진 에지 이미지의 해당 픽셀과 팽창연산에 사용할 블록의 원점을 맞추고 원점과 픽셀이 모두 1값을 가지면 왼쪽, 위쪽 그리고 왼쪽 위의 픽셀을 모두 1로 바꾸어 작은 틈을 채워주고 오브젝트를 확장 해주어 주 요 이진 에지 이미지의 형태만을 잡고 불필요한 잡음을 제거한다. 하지만, 상기와 같이 생성된 이진 에지 이미지 경계의 굵기가 가변적일 경우에는 경계가 끊어졌는지를 판단하기 어렵기 때문에 끊어진 경계 판단 이전에 각 경계의 굵기를 1로 줄이기 위한 Thinning처리 과정을 수행하게 되는데 본 발명의 바람직한 일 실시예에서는 이진 에지 이미지의 x축과 y축을 한번씩 체크하는 2-pass 알고리즘을 사용하여 각 경계의 굵기를 1로 줄이고, 끊어진 에지 정보를 끊어진 방향에서 가장 가까운 에지를 연결하여 이진 에지 이미지를 생성한다(S310).The erosion operation sets the origin of the block used for the erosion operation to the corresponding pixel of the binary image, and then leaves the pixel with the pixel 1 and the upper and right pixels all 1, and replaces the pixel with the nonzero pixel with 0, thereby reducing the noise component of the binary edge image. Remove and reduce the object, and the expansion operation matches the corresponding pixel in the binary edge image and the block to be used for the expansion operation.If both the origin and the pixel have a value of 1, the left, top, and upper left pixels are all reduced to 1 It fills the gaps and extends the object, eliminating unnecessary noise only by the shape of the main binary edge image. However, when the thickness of the binary edge image boundary generated as described above is variable, it is difficult to determine whether the boundary is broken. Therefore, a thinning process is performed to reduce the thickness of each boundary to 1 before determining the broken boundary. In a preferred embodiment of the present invention, using a 2-pass algorithm that checks the x-axis and the y-axis of the binary edge image once, the thickness of each boundary is reduced to 1, and the broken edge information is connected to the edge closest to the broken direction. An image is generated (S310).

상기에서 생성된 이진 에지 이미지는 에지 연결과정에서 불필요한 영역을 생성하므로 에지로 둘러 쌓인 영역은 각 영역을 구분하기 위해 영역에 포함되는 픽셀 값에 영역 번호를 부여하고 영역 번호를 통해 각 영역의 크기와 원본이미지의 평균 RGB 칼라를 구하여 유사한 영역간의 칼라를 동일하게 한 후 동일 칼라 사이의 에지를 제거하는 방법으로 영역을 병합한다(S312). Since the generated binary edge image generates an unnecessary area in the edge joining process, the area surrounded by the edge is given an area number to the pixel value included in the area to distinguish each area, and the size and size of each area are determined by the area number. Areas are merged by obtaining an average RGB color of the original image to equalize colors between similar areas and then removing edges between the same colors (S312).

영역간의 유사성 계산은 평균 RGB의 유클리드 거리계산으로 구하는 것이 바람직하고, 이 과정에서 특징값 생성모듈은 각 세그먼트(영역)들의 상관관계에서 생성된 평균 칼라값과 위치값으로 구성된 특징값을 생성하여 임시 저장 공간에 트리형식으로 저장하게 된다.It is preferable to calculate the similarity between regions by calculating the Euclidean distance of the average RGB. In this process, the feature value generation module generates a temporary feature value composed of the average color value and the position value generated from the correlation of each segment (area). It will be stored in tree format in the storage space.

상기의 과정을 거쳐 이미지 세그멘테이션 처리가 완료되면 이미지 뷰어모듈(120)에 의해 상기 사용자의 개인PC에는 좌측화면과 우측화면으로 구분된 화면이 디스플레이되고, 상기 좌측화면에는 세그멘테이션 처리된 원본이미지가 디스플레이된다(S314). 물론, 상기 사용자로 하여금 원하는 영역을 정확하게 선택할 수 있게 하기 위해 원본이미지를 출력하거나 원본이미지 위에 세그멘테이션 처리된 영역의 외곽선 만을 오버래핑(Overlappong)하여 출력할 수도 있다. When the image segmentation processing is completed through the above process, a screen divided into a left screen and a right screen is displayed on the personal PC of the user by the image viewer module 120, and the original image segmented on the left screen is displayed. (S314). Of course, in order to allow the user to accurately select the desired area, the original image may be output or may be output by overlapping only the outline of the segmented area on the original image.

상기 사용자가 개인PC에 도시된 좌측화면에 세그멘테이션 처리된 원본이미지 중 분리하고자 하는 원본이미지의 특정 부분을 마우스나 키보드로 선택을 하게 되면, 세그멘테이션 영역 선택기 모듈(140)에 의해 상기 우측화면에는 좌측화면에서 선택된 세그멘테이션 영역에 해당하는 원본이미지의 영역이 디스플레이되고, 상기 사용자는 우측화면을 확인하면서 분리하고자 하는 특정 이미지를 계속적으로 선택하면 된다(S316). When the user selects a specific part of the original image to be separated from the original image segmented on the left screen shown in the personal PC by using a mouse or a keyboard, the segmentation area selector module 140 displays the left screen on the right screen. An area of the original image corresponding to the segmentation area selected in is displayed, and the user may continuously select a specific image to be separated while checking the right screen (S316).

좌측화면에 옵션을 두어 사용자의 편의에 따라 선택적으로 보여줄 수도 있고, 너무 작게 설정되어 있는 영역의 경우 축소/확대하면서 정확하고 신속하게 선택할 수도 있다.Options can be displayed on the left screen for the user's convenience, or the area set too small can be selected quickly and accurately while zooming in and out.

상기 사용자는 마우스나 키보드를 이용하여 분리를 원하는 부분을 모두 분리할 때까지 반복하여 원하는 영역의 분리를 마무리하게 된다(S318).The user repeats the separation of the desired area by repeatedly removing all the portions to be separated using the mouse or the keyboard (S318).

상기 사용자는 상기와 같이 분리하던 중 우측화면에서 분리된 영역에 잘못 선택된 부분이 있는 경우에는(S320), 상기 세그멘테이션 영역 선택기 모듈(140)에 의해 제공되는 선택 해제 도구를 이용하여 세그멘테이션의 처리된 해당 영역을 클릭하여 영역을 지우게 된다(S322).If the user has an incorrectly selected portion in the separated area on the right screen while separating as described above (S320), the corresponding segmentation of the segmentation using the selection deactivation tool provided by the segmentation area selector module 140 is performed. The area is deleted by clicking on the area (S322).

그러나, 세그멘테이션 처리의 이상으로 유사 영역의 분리가 정확히 이루어지지 않은 영역에 대해서는(S324) 그 영역 부분만 매개변수가 다른 세그멘테이션 처리를 재 수행한 후 영역 설정을 다시하면 된다(S326). 그래도 정확히 분리가 되지 않으면 수동으로 해당 영역을 분리하거나 지우는 기능을 수행하면 된다.However, for an area in which similar areas are not separated correctly due to an abnormal segmentation process (S324), the region setting may be performed again after performing segmentation processing with different parameters only in the area part (S326). If it is not separated correctly, you can manually remove or delete the area.

키보드나 휴대폰의 경우는, 정확히 원하는 영역을 선택하는 것이 어렵지만, 세그멘테이션 결과 이미지를 확대하여 그 분리된 공간에 숫자를 출력하도록 하여 상기 사용자는 키와 (+)키나 (확인)키를 이용하여 영역을 분리할 수 있고, 다른 방법으로는 키보드의 (탭)키나 핸드폰의 (메뉴) 키 등을 눌러서 좌측의 상단으로부터 선택된 영역들이 이동되도록 하여 해당되는 영역의 경우(+)키나 (확인)키를 이용하여 영역을 분리하도록 하는 것이 바람직하다.In the case of a keyboard or a mobile phone, it is difficult to select the desired area, but the segmentation result image is enlarged so that numbers are output in the separated space so that the user can select an area using the key and the (+) key or the (OK) key. Alternatively, you can press the (Tab) key on the keyboard or the (Menu) key on the mobile phone to move the selected area from the upper left side, and use the (+) key or the (OK) key for the corresponding area. It is desirable to separate the regions.

상기 좌측화면의 세그멘테이션 처리된 원본이미지에서 원하는 객체 부분을 선택하고 우측화면에서 원하는 부분의 분리가 완성되면 분리된 이미지를 파일로 사용자 DB에 저장하면 된다(S328). When the desired object part is selected from the segmented original image on the left screen and the separation of the desired part on the right screen is completed, the separated image may be stored as a file in the user DB (S328).

도 3은 본 발명의 바람직한 일 실시예에 따른 이미지 합성 방법을 나타내는 순서도이다. 도 3을 참조하여 더욱 상세하게 설명하면,3 is a flowchart illustrating an image compositing method according to an exemplary embodiment of the present invention. Referring to Figure 3 in more detail,

먼저, 본 발명의 시스템 관리자는 다양한 원본이미지를 이용하여 계층이미지를 생성한 후 계층이미지와 정보를 계층이미지 콘텐츠DB 서버(220)에 저장하고 있다. First, the system administrator of the present invention generates a hierarchical image using various original images and stores the hierarchical image and information in the hierarchical image content DB server 220.

사용자는 상기 클라이언트(100)가 탑재된 개인PC를 이용하여 상기 서버(200)에 접속하면 회원정보 관리서버(230)에 의해 사용자의 인증을 받고, 계층이미지 콘텐츠DB 서버(220)에 의해 썸네일의 형태로 보여주는 다양한 계층이미지들의 리스트를 확인한다(S502).When the user connects to the server 200 using the personal PC on which the client 100 is mounted, the user is authenticated by the member information management server 230 and the thumbnail image is displayed by the hierarchical image content DB server 220. Check the list of various hierarchical images shown in the form (S502).

상기 사용자가 이미지 합성을 하기 원하는 하나의 계층이미지를 선택하게 되면 서버 연결모듈(105)을 통하여 선택된 계층이미지 파일을 상기 사용자 개인PC의 임시 저장 장소로 자동적으로 다운로드 되고(S504),When the user selects one hierarchical image to be combined with the image, the hierarchical image file selected through the server connection module 105 is automatically downloaded to the temporary storage location of the user personal PC (S504),

상기 다운로드된 계층이미지는 계층이미지 로딩모듈(125)에 의해 파싱되어 파일의 내용에 맞게 메모리 관리모듈(110)에 의해 계층 구조로 위치시키게 된다(S506).The downloaded hierarchical image is parsed by the hierarchical image loading module 125 and placed in a hierarchical structure by the memory management module 110 according to the contents of the file (S506).

상기 사용자가 합성하고자 하는 원본이미지를 일반이미지 로딩모듈(120)에 의해 로딩시키면 메모리 관리모듈(110)에 의해 상기 계층 구조에서 하나의 계층을 할당하여 위치시키게 된다(S508).When the user loads the original image to be synthesized by the general image loading module 120, the memory management module 110 allocates and positions one layer in the hierarchical structure (S508).

로딩된 원본이미지에서 상기 사용자가 원하는 부분을 분리하기 위하여 세그멘테이션 모듈을 실행시켜 영역 구분 과정을 진행하고, 특징값 생성모듈(145)은 세그멘테이션 과정 중에 생기는 각 세그먼트들의 상관관계를 이용한 특징값(평균 칼라값과 위치값)을 임시 저장 공간에 트리형식으로 저장하게 된다(S510). 상기 사용자는 마우스나 키보드를 이용하여 분리를 원하는 부분을 모두 분리할 때까지 반복하여 원하는 영역의 분리를 마무리하면 된다.In order to separate the desired part from the loaded original image, a segmentation module is executed to perform a region classification process, and the feature value generation module 145 uses a feature value (average color) using the correlation between the segments generated during the segmentation process. Value and location value) are stored in a temporary format in a tree format (S510). The user may repeat the separation of the desired area by repeatedly removing all the parts to be separated using a mouse or a keyboard.

상기 사용자가 원하는 부분을 선택하여 분리된 이미지를 기존에 읽어들인 계층이미지와 매칭시키고 편집기 모듈(160)을 이용하여 크기 및 잡음 제거 등의 편집과정을 거쳐 최종 합성이미지가 생성된다. 상기 편집기 모듈(160)을 이용한 편집 과정이 끝나면 최종 합성이미지의 어색함을 없애기 위한 그림자 처리 및 블랜딩 처리를 상기 사용자의 선택에 의하여 처리할 수도 있다. 상기 최종 합성이미지는 메 모리 관리모듈(110)에 의해 사용자DB에 저장하거나 최종 합성이미지 정보를 상기 서버(200)에 저장하기 전에 계층이미지 정보에 맞게 생성하게 된다(S512).The user selects the desired part to match the separated image with the previously read hierarchical image, and the final composite image is generated through an editing process such as size and noise removal using the editor module 160. After the editing process using the editor module 160, shadow processing and blending processing to remove awkwardness of the final composite image may be processed by the user's selection. The final composite image is stored in the user DB by the memory management module 110 or before the final composite image information is stored in the server 200 (S512).

상기 최종 합성이미지를 상기 서버(200)에 저장하기 위해서는 상기 사용자가 클라이언트(100)를 이용하여 서버에 접속한 후 계층이미지 리스트를 요청하고(S514), In order to store the final composite image in the server 200, the user requests a hierarchical image list after accessing the server using the client 100 (S514),

상기 서버(200)는 계층이미지 리스트를 썸네일 이미지 형식으로 상기 클라이언트(100)로 전송하게 되고(S516), 상기 사용자는 사용자 이미지 리스트 요청모듈(175)에 의해 수신된 계층이미지 리스트를 확인하여 저장하고자 하는 부분을 선택하게 되면 상기 최종 합성이미지와 계층이미지 정보, 그리고 특징값을 상기 서버(200)로 전송하게 된다(S518). The server 200 transmits the hierarchical image list to the client 100 in the form of a thumbnail image (S516), and the user checks and stores the hierarchical image list received by the user image list request module 175. When the part is selected, the final composite image, hierarchical image information, and feature values are transmitted to the server 200 (S518).

상기 서버(200)는 최종 합성이미지는 사용자 합성이미지DB 서버(240)에 저장하고, 상기 계층이미지 정보는 계층이미지 콘텐츠DB 서버(220)에 저장하고, 상기 특징값은 사용자 합성이미지 특징값DB 서버(250)에 저장하게 된다(S520). The server 200 stores the final composite image in the user composite image DB server 240, the hierarchical image information is stored in the hierarchical image content DB server 220, and the feature value is a user composite image feature value DB server. In operation 250, the stored data is stored at 250.

도 4는 본 발명의 다른 바람직한 일 실시예에 따른 이미지 검색방법을 나타내는 순서도이다. 도 4를 참조하여 더욱 상세하게 설명하면,4 is a flowchart illustrating an image retrieval method according to another exemplary embodiment of the present invention. Referring to Figure 4 in more detail,

도 3의 이미지 합성 방법에 의하여 합성되어 상기 서버(200)에 저장된 합성이미지를 검색하고자 할 경우에, 상기 사용자는 클라이언트(100)를 이용하여 사용자 합성이미지DB 서버(240)에서 찾고자 하는 이미지 파일을 사용자 DB(180)에서 로딩하고(S602).In the case where the composite image synthesized by the image combining method of FIG. 3 is to be searched for and stored in the server 200, the user uses the client 100 to retrieve an image file to be searched by the user composite image DB server 240. Load from the user DB (180) (S602).

상기 사용자 DB(180)에서 로딩시킨 이미지에서 특징값을 추출하기 위하여 합성된 부분에 대한 세그멘테이션 모듈(135)을 실행시켜 특징값을 추출하게 된다. 상기 클라이언트에서 생성된 특징값을 상기 사용자 합성이미지 특징값DB 서버(250)로 전송하여 유사한 합성이미지 검색을 요청하게 되면(S604),In order to extract the feature value from the image loaded by the user DB 180, the segmentation module 135 for the synthesized part is executed to extract the feature value. When the feature value generated in the client is transmitted to the user composite image feature value DB server 250 to request a similar composite image search (S604),

상기 사용자 합성이미지 특징값DB 서버(250)는 사용자 합성이미지 특징값 검색엔진(260)으로부터 유사한 합성이미지 검색을 요청하고 상기 사용자 합성이미지 특징값 검색엔진(260)에서 검색된 유사한 합성이미지 리스트를 전송받게 된다(S606).The user composite image feature value DB server 250 requests a similar composite image search from the user composite image feature value search engine 260 and receives a similar composite image list retrieved from the user composite image feature value search engine 260. (S606).

상기 사용자 합성이미지 특징값DB 서버(250)는 전송받은 유사한 합성이미지 리스트를 상기 클라이언트(100)로 전송하게 되고, 상기 사용자는 유사한 합성이미지 리스트 중 찾고자 하는 이미지를 선택하면된다(S608).The user composite image feature value DB server 250 transmits the received similar composite image list to the client 100, and the user selects an image to be searched among the similar composite image lists (S608).

상기 단계에서는 동일한 합성이미지가 없을 경우, 출력된 유사한 합성이미지 리스트를 선택하여 반복적인 질의를 던져 찾고자 하는 합성이미지를 검색할 수도 있다.In the above step, if there is no identical composite image, the synthesized image to be searched may be searched by selecting an output similar composite image list by throwing a repetitive query.

이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술 사상과 아래에 기재될 특허 청구범위의 균등 범위 내에서 다양한 수정 및 변형이 가능함은 물론이다. As described above, although the present invention has been described by way of limited embodiments and drawings, the present invention is not limited thereto and is intended by those skilled in the art to which the present invention pertains. Of course, various modifications and variations are possible within the scope of equivalent claims.

상술한 바와 같이 본 발명인 이미지 분리 합성 장치 및 방법, 그리고 이미지 검색방법은, 다양한 촬영수단으로 촬영된 사진의 원본이미지를 칼라 정보와 질감 정보를 함께 적용할 수 있는 이미지 세크멘이션 알고리즘을 적용하여 마우스나 키보드의 간단한 절차에 의해 최소의 시간으로 편리하게 특정 이미지 객체를 분리 및 합성 할 수 있는 효과가 있고,As described above, the inventors of the present invention provide an apparatus and method for separating images, and an image retrieval method by applying an image segmentation algorithm that can apply color information and texture information to an original image of a photograph taken by various photographing means. By using the simple procedure on the keyboard, it is possible to conveniently separate and synthesize specific image objects in a minimum amount of time.

다른 효과로는 합성이미지와 관련된 정보만을 데이타베이스에 저장함으로써 유무선 네트워크를 통한 통신을 효율적으로 사용할 수 있고, 이미지 세그멘테이션을 적용하는 과정에서 생성되는 특징값을 이용하여 합성이미지를 쉽게 검색할 수 있는 효과가있다.Another effect is that the information related to the composite image is stored in the database so that communication through wired and wireless networks can be efficiently used, and the composite image can be easily retrieved by using feature values generated in the process of applying image segmentation. There is.

Claims

An apparatus for separating and synthesizing an image object that a user wants to separate among color images photographed using various photographing means,

It is mounted on personal PC, PDA, mobile phone, etc. and separates and synthesizes the specific image object to be separated from the original image by applying image segmentation algorithm to the original image captured and input by digital camera, scanner, web camera, mobile phone camera, etc. A client providing a user interface related to a graphic interface for retrieving an original image or a composite image by using feature values generated in the segmentation process; And

According to the original image separated by the client and the hierarchical image to be synthesized, the original image and the hierarchical image are generated and stored by applying a synthesis method suitable for each state, and store the feature values generated in the segmentation process. A server providing a function of searching the original image or the composite image; Image separation compositing device comprising a.

The method of claim 1, wherein the client is

A server connection module configured to perform a connection and data transmission role for communicating with the server performing a service through a wired or wireless Internet;

A memory management module configured to maintain and manage a hierarchical structure of the original and resultant images of the hierarchical image and the general image used while the user is performing image compositing;

The user loads a general image file from the user DB for use in compositing the image and locates it as one layer by the memory management module, or loads the image to be compared for searching in the user synthesized image DB server. General image loading module;

An image viewer module for displaying a hierarchical image or an image desired to be used by a user on a monitor;

A user image list request module configured to request and download actual composite image information based on index information obtained through a user composite image feature value search engine;

A hierarchical image loading module for hierarchically placing the hierarchical image selected by the user from the user DB or downloading and downloading the compressed image from the server and hierarchically placing the hierarchical image by the memory management module;

A hierarchical image information generation module for generating hierarchical image information to register a file, which the user works by the memory management module, in the user composite image DB server according to the hierarchical image format created for the image synthesis service;

An information input unit for providing a function and an interface for inputting information on an image required for an image synthesis service of a hierarchical image;

A feature value generation module for generating feature values necessary for image retrieval through segmentation processing by the segmentation module;

A feature value search request module for delivering a feature value for a search to a user composite image feature value search engine and performing a search request;

In order to easily separate the desired area from the original image, the area that is considered similar is divided into one area by various image segmentation algorithms (pixel-based, area-based, edge-based, etc.) and the whole image is divided into a certain number of areas. A segmentation module configured to perform an area discrimination operation identical to the feature value stored in the user composite image feature value DB server to generate a feature value for image retrieval;

Generate segmentation region selection information to determine the region to be separated by selecting the divided region through an interface such as a mouse or a keyboard so that the user can easily select and separate the desired region from the result image generated by the segmentation module. A segmentation region selector module;

An editor module for providing a general image editing function for detailed adjustment of the hierarchical image; And

A print module for outputting the synthesized result image in a desired form (sticker photo, general photo, etc.); Image separation compositing system consisting of more.

The method of claim 1, wherein the server

A hierarchical image content DB server for storing and managing hierarchical image contents provided as a background of compositing which is the basis of an image combining service;

A member information management server for managing only an authenticated user to receive a service;

A user composite image DB server for storing and managing result images generated after the user synthesizes the user photo using the service;

A user composite image feature value DB server for storing and managing feature value information for quickly finding an image to be searched among user-generated composite images; And

A user composite image search engine for searching similar data to quickly find an image among user-generated composite images; Image separation compositing system consisting of more.

In the method for separating the image object that the user wants to separate from the color images photographed using various photographing means,

(a) reading the original image to be separated from the photographed images;

(b) setting similar pixels to one region by applying an image segmentation algorithm to the original image, dividing the similar regions and filling the divided regions with an average color value of the region;

(c) outputting an image subjected to segmentation processing on the left side of the screen interface divided into left and right sides;

(d) selecting a segmentation region from the left output region, checking an image of a corresponding original image selected and outputted on the right region, and selecting only a desired portion;

(e) when the separation of the desired object part from the original image is completed, storing the separated image as a file or using the image file for an image composition service; Image separation method comprising a.

The method of claim 4, wherein step (b)

(b-1) generating an index image by reducing the number of colors through the image quantization process of the original image;

(b-2) generating a gray level edge image by applying Fisher's linear discriminant to the index image;

(b-3) converting the gray level edge image into a binary edge image through a threshold comparison in units of windows;

(b-4) removing noise by performing an opening operation of the binary edge image;

(b-5) generating a binary edge image by connecting the edges closest to each other in the broken direction with the broken edge information through the thinning process of the noise-removed binary edge image;

(b-6) merging similar adjacent regions with the connected binary edge images to obtain an average color value; Image separation method further comprises a.

The method of claim 4, wherein step (c)

An image separation method characterized by outputting the original image or overlapping only the outline of the segmented area on the original image so that the user can select the desired area accurately.

The method of claim 4, wherein step (d)

The image separation method further comprises the step of re-establishing the region after performing segmentation processing with different parameters only in the region portion for the region where the similar region is not correctly separated due to the segmentation processing. .

In the method of separating and synthesizing the image object that the user wants to separate from the color images photographed using various photographing means,

(A) displaying a list of hierarchical images in the form of thumbnail images when the user accesses a server using a client;

(B) selecting and downloading one hierarchical image to be synthesized, and parsing the hierarchical image to locate the hierarchical structure according to the contents of the file;

(C) loading the original image to be synthesized, assigning and placing one layer, and performing segmentation processing to separate a desired portion from the original image, thereby generating a separated image;

(D) matching the separated image with the hierarchical image to generate a final composite image through editing such as size and noise reduction;

(E) generating the final composite image in accordance with hierarchical image information, and transmitting the final composite image and related information (hierarchical image information and feature values) to the server and storing the final composite image; Image synthesis method comprising a.

The method of claim 8, wherein step (C)

Generating feature values (average color values and position values) using correlations between segments generated during segmentation processing and storing them in temporary storage space and images to be separated by segmentation processing using mouse or keyboard And selecting a region.

The method of claim 8, wherein in the step (E), storing in the server

(G-1) the user requesting a hierarchical image list using a client;

(G-2) transmitting the hierarchical image list to the client;

(G-3) selecting one hierarchical image list to which a composite image is to be stored from the hierarchical image list;

(G-4) downloading the composite image and the related information (hierarchical image information, feature value) and storing in the related server; Image synthesis method further comprises.

In the method for retrieving the stored composite image by separating and synthesizing the image object that the user wants to separate from among the color images photographed using various shooting means,

(AA) inputting an image to be searched by the user using a client;

(BB) segmenting the input image to generate feature values;

(CC) requesting a similar image search by transmitting the generated feature value to the server;

(DD) searching for a similar composite image using the constantly received feature value and transmitting a similar composite image list to the client;

(EE) selecting an image to be searched from the received similar composite image list; Image search method comprising a.

The method of claim 11, wherein the (EE) step

Selecting the outputted similar composite image list to search for the composite image to be searched by repetitive querying, and transmitting and confirming the user information that generated the composite image of the selected image to the client; Image search method further comprises.