KR20110032537A - Unsupervised foreground segmentation method and system using background elimination and graph cut techniques - Google Patents

Unsupervised foreground segmentation method and system using background elimination and graph cut techniques Download PDF

Info

Publication number
KR20110032537A
KR20110032537A KR1020090090077A KR20090090077A KR20110032537A KR 20110032537 A KR20110032537 A KR 20110032537A KR 1020090090077 A KR1020090090077 A KR 1020090090077A KR 20090090077 A KR20090090077 A KR 20090090077A KR 20110032537 A KR20110032537 A KR 20110032537A
Authority
KR
South Korea
Prior art keywords
image
region
background
resizing
segmentation
Prior art date
Application number
KR1020090090077A
Other languages
Korean (ko)
Other versions
KR101245957B1 (en
Inventor
박기태
문영식
이정호
장경현
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to KR1020090090077A priority Critical patent/KR101245957B1/en
Publication of KR20110032537A publication Critical patent/KR20110032537A/en
Application granted granted Critical
Publication of KR101245957B1 publication Critical patent/KR101245957B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation

Abstract

PURPOSE: An unsupervised image segmentation method and a system thereof are provided to extract an interest object region from a candidate area by using a graph cut algorithm. CONSTITUTION: A resizing unit(101) resizes an original image of preset size. A background eliminating unit(104) eliminates the background region of the image. An object candidate detecting unit(105) detects an object candidate region in which the background region is removed. An interested-object extraction unit(106) extracts an interested object entity region from the object candidate region by using a graph cut algorithm.

Description

배경 제거와 그래프 컷을 이용한 비교사 영상 분할 방법 및 시스템{UNSUPERVISED FOREGROUND SEGMENTATION METHOD AND SYSTEM USING BACKGROUND ELIMINATION AND GRAPH CUT TECHNIQUES}Uncomposed Image Segmentation Method and System Using Background Removal and Graph Cuts {UNSUPERVISED FOREGROUND SEGMENTATION METHOD AND SYSTEM USING BACKGROUND ELIMINATION AND GRAPH CUT TECHNIQUES}

본 발명은 영상을 유사한 영역으로 나누는 영상 분할 및 주요 객체 영역을 추출하는 기술로서 영상 처리 분야의 기반 기술이다. 본 발명은 영상 검색, 영상 분류, 정지 영상 및 동영상 압축(JPEG-2000, MPEG-4, H.264), 디지털 워터마킹, 객체 인식 등 영상 내의 관심 객체를 자동으로 추출하는 기술을 요구하는 모든 영상 처리 분야와 관련이 있다. The present invention is a technology for image segmentation and main object region extraction that divides an image into similar regions, and is a technology underlying the field of image processing. In the present invention, all images requiring a technique of automatically extracting an object of interest in an image, such as image retrieval, image classification, still image and video compression (JPEG-2000, MPEG-4, H.264), digital watermarking, object recognition, etc. It is related to the field of treatment.

영상 분할 기술은 영상을 유사한 특징을 가지는 영역으로 분할하는 기술이고, 배경 제거 기술은 영상에서 배경 영역을 추정하고 제거하여 객체 후보 영역을 검출하는 기술이며, 객체 추출 기술은 영상에서 객체 영역만을 정확히 추출하는 기술이다.Image segmentation technology divides an image into regions with similar characteristics, and background removal technique is a technique of detecting object candidate regions by estimating and removing a background region from an image, and object extraction technique accurately extracts only an object region from an image. It is a technique to do.

이러한 종래의 영상 분할 및 객체 추출 기법은 ⅰ) 사용자가 객체 후보 영역을 직접 지정해주어야만 하고, ⅱ) 특정 부류의 영상 또는 자연 영상에 대하여 학습이 필요하며, ⅲ) 다중 객체의 추출이 어렵고, ⅳ) 연산량이 많아 처리속도가 느 리다는 문제점이 존재한다.Such conventional image segmentation and object extraction techniques require the user to designate an object candidate region directly, ii) learn a specific class of images or natural images, and iii) make it difficult to extract multiple objects. ) There is a problem that the processing speed is slow due to a large amount of computation.

본 발명은 배경 영역을 효과적으로 제거하여 객체 후보 영역을 검출하고 검출된 후보 영역으로부터 그래프 컷 알고리즘을 사용하여 관심 객체 영역을 추출하는 비교사 영상 분할 방법 및 시스템을 제공한다.The present invention provides a method and system for comparative image segmentation that detects an object candidate region by effectively removing a background region and extracts an object region of interest using a graph cut algorithm from the detected candidate region.

본 발명의 일실시예에 따른 비교사(unsupervised) 영상 분할 방법은 영상의 배경 영역을 제거하여 객체 후보 영역을 검출하는 단계와, 그래프 컷 알고리즘(Graph Cut Algorithm)을 이용하여 상기 객체 후보 영역으로부터 관심 객체 영역을 추출하는 단계를 포함한다.An unsupervised image segmentation method according to an embodiment of the present invention includes detecting an object candidate region by removing a background region of an image, and using the graph cut algorithm to remove an object candidate region from the object candidate region. Extracting the object area.

본 발명의 일측에 따르면, 상기 비교사 영상 분할 방법은 입력 영상인 원본 영상을 기설정된 크기로 리사이징(resizing)하여 리사이징 영상을 생성하는 단계를 더 포함하고, 상기 영상의 배경 영역을 제거하는 단계는 상기 원본 영상 및 상기 리사이징 영상 각각의 배경 영역을 제거하는 단계를 포함하는 것을 특징으로 하는 비교사 영상 분할 방법이 제공된다.According to an aspect of the present invention, the method for dividing the non-comparative image may further include generating a resized image by resizing an original image, which is an input image, to a predetermined size, and removing the background region of the image. The method of claim 1, further comprising removing a background region of each of the original image and the resizing image.

또한 본 발명의 일측에 따르면, 상기 비교사 영상 분할 방법은 상기 원본 영상 및 상기 리사이징 영상 각각에 비등방성 확산 필터(Anisotropic diffusion filter)를 적용하여 두 개의 영상을 생성하는 단계와, 상기 두 개의 영상에 대하여 각각 JSEG(J-value segmentation) 알고리즘을 이용하여 영상 분할을 수행하는 단계를 더 포함하고, 상기 원본 영상 및 상기 리사이징 영상 각각의 배경 영역을 제거 하는 단계는 상기 영상 분할이 수행된 두 개의 영상 각각의 배경 영역을 제거하는 단계를 포함하는 것을 특징으로 하는 비교사 영상 분할 방법이 제공된다.According to an aspect of the present invention, the non-comparative image segmentation method may be configured to generate two images by applying an anisotropic diffusion filter to each of the original image and the resizing image, and to the two images. And performing image segmentation using JS-value segmentation (JSEG) algorithms, respectively, and removing the background region of each of the original image and the resizing image, respectively. There is provided a non-comparative image segmentation method comprising the step of removing a background area of a.

또한 본 발명의 일측에 따르면, 상기 영상 분할이 수행된 두 개의 영상 각각의 배경 영역을 제거하는 단계는 상기 영상 분할이 수행된 두 개의 영상 각각의 가장자리에 인접한 영역들을 배경 영역으로 제거하는 단계를 포함하는 것을 특징으로 하는 비교사 영상 분할 방법이 제공된다.According to an aspect of the present invention, removing the background region of each of the two images on which the image segmentation has been performed includes removing regions adjacent to the edge of each of the two images on which the image segmentation has been performed as the background region. There is provided a non-competitive image segmentation method characterized in that.

또한 본 발명의 일측에 따르면, 상기 리사이징 영상은 상기 원본 영상보다 작은 크기의 영상이며, 상기 객체 후보 영역을 검출하는 단계는 상기 배경 영역이 제거된 리사이징 영상을 상기 원본 영상의 크기로 복원하는 단계와, 상기 배경 영역이 제거된 원본 영상과 상기 복원된 영상의 논리적 AND 연산을 통해 객체 후보 영역을 검출하는 단계를 포함하는 것을 특징으로 하는 비교사 영상 분할 방법이 제공된다.According to an aspect of the present invention, the resizing image is an image having a smaller size than the original image, and the detecting of the object candidate region may include reconstructing the resizing image from which the background region is removed to the size of the original image; And detecting an object candidate region through a logical AND operation of the original image from which the background region is removed and the reconstructed image.

본 발명의 다른 실시예에 따르면, 입력 영상에 대하여 영상 분할을 수행하는 단계와, 상기 영상 분할이 수행된 입력 영상의 가장자리에 인접한 영역을 배경 영역으로 제거하는 단계와, 상기 배경 영역이 제거된 객체 후보 영역을 검출하는 단계와, 그래프 컷 알고리즘(Graph Cut Algorithm)을 이용하여 상기 객체 후보 영역으로부터 관심 객체 영역을 추출하는 단계를 포함하는 비교사 영상 분할 방법이 제공된다.According to another embodiment of the present invention, performing image segmentation on an input image, removing a region adjacent to an edge of the input image on which the image segmentation is performed, as a background region, and an object from which the background region is removed. There is provided a comparative image segmentation method comprising detecting a candidate region and extracting an object region of interest from the object candidate region using a graph cut algorithm.

본 발명의 또 다른 실시예에 따르면, 영상의 배경 영역을 제거하는 배경 제거부와, 상기 배경 영역이 제거된 객체 후보 영역을 검출하는 객체 후보 검출부와, 그래프 컷 알고리즘을 이용하여 상기 객체 후보 영역으로부터 관심 객체 영역을 추출하는 관심 객체 추출부를 포함하는 비교사 영상 분할 시스템이 제공된다.According to another embodiment of the present invention, a background removal unit for removing a background region of an image, an object candidate detection unit for detecting an object candidate region from which the background region is removed, and a graph cut algorithm from the object candidate region A comparative company image segmentation system including an object-of-interest extractor for extracting an object-of-interest region is provided.

본 발명에 따르면, 배경 영역을 효과적으로 제거하여 객체 후보 영역을 검출하고 검출된 후보 영역으로부터 그래프 컷 알고리즘을 사용하여 관심 객체 영역을 추출함으로써, 사용자의 개입 없이 영상에서 다수의 객체 영역을 자동으로 추출할 수 있는 비교사 영상 분할 방법 및 시스템이 제공된다.According to the present invention, an object candidate region is detected by effectively removing a background region and an object region of interest is extracted from the detected candidate region using a graph cut algorithm, thereby automatically extracting a plurality of object regions from an image without user intervention. A non-compliance image segmentation method and system are provided.

이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시예를 상세하게 설명하지만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings and the contents described in the accompanying drawings, but the present invention is not limited or limited to the embodiments.

도 1은 본 발명에 따른 비교사 영상 분할 시스템의 전체 구성을 도시한 블록도이다. 1 is a block diagram showing the overall configuration of a non-competitive image segmentation system according to the present invention.

도 1에 도시된 바와 같이, 본 발명에 따른 비교사 영상 분할 시스템(100)은 리사이징부(101), 필터 적용부(102), 영상 분할부(103), 배경 제거부(104), 객체 후보 검출부(105) 및 관심 객체 추출부(106)를 포함한다. 또한, 객체 후보 검출부(105)는 영상 복원부(111) 및 논리 연산부(112)를 포함한다.As shown in FIG. 1, the non-comparative image segmentation system 100 according to the present invention includes a resizing unit 101, a filter applying unit 102, an image divider unit 103, a background remover 104, and an object candidate. The detector 105 and the object-of-interest extractor 106 are included. In addition, the object candidate detector 105 includes an image reconstruction unit 111 and a logic operation unit 112.

본 발명에 따른 비교사 영상 분할 시스템(100)은 도 2의 비교사 영상 분할 방법을 수행할 수 있으며, 따라서 도 1에 도시된 각 구성요소의 동작은 이하 도 2와 도 3을 참조하여 설명하도록 한다.The non-comparative image segmentation system 100 according to the present invention may perform the non-comparative image segmentation method of FIG. 2. Therefore, the operation of each component illustrated in FIG. do.

도 2는 본 발명에 따른 비교사 영상 분할 방법을 도시한 흐름도이고, 도 3은 비교사 영상 분할 방법의 각 과정에 따른 결과를 예시하는 도면이다.FIG. 2 is a flowchart illustrating a non-comparative image segmentation method according to the present invention, and FIG. 3 is a diagram illustrating a result of each process of the non-comparative image segmentation method.

단계(S201)에서 리사이징부(101)는 입력 영상인 원본 영상을 기설정된 크기로 리사이징(resizing)하여 리사이징 영상을 생성한다. 이 경우 리사이징 영상은 상기 원본 영상보다 작은 크기의 영상일 수 있다. 예컨대, 도 3과 같이 리사이징부(101)는 원본 영상의 1/4 크기의 영상(quarter-sized image)을 생성할 수 있다.In step S201, the resizing unit 101 generates a resizing image by resizing an original image, which is an input image, to a predetermined size. In this case, the resizing image may be an image having a smaller size than the original image. For example, as illustrated in FIG. 3, the resizing unit 101 may generate a quarter-sized image of the original image.

단계(S202)에서 필터 적용부(102)는 상기 원본 영상 및 상기 리사이징 영상 각각에 비등방성 확산 필터(Anisotropic diffusion filter)를 적용하여 두 개의 영상을 생성한다.In operation S202, the filter applying unit 102 generates two images by applying an anisotropic diffusion filter to each of the original image and the resizing image.

비등방성 확산 필터에 관해서는 공지된 논문(PERONA, P. and MALIK, J.: 'Scale-space and edge detection using anisotropic diffusion', IEEE Trans. on Pattern Analysis and Machine Intelligence, 1990, 12, (7), pp. 800-810) 등을 통해 잘 알려져 있으므로, 본 명세서에서는 비등방성 확산 필터에 관한 자세한 설명은 생략한다.For anisotropic diffusion filters, known papers (PERONA, P. and MALIK, J .: 'Scale-space and edge detection using anisotropic diffusion', IEEE Trans.on Pattern Analysis and Machine Intelligence, 1990, 12, (7) , pp. 800-810), and so on, detailed description of the anisotropic diffusion filter will be omitted.

비등방성 확산 필터를 적용하는 이유는 다음의 단계(S203)에서 영상을 분할할 때 사용되는 JSEG(J-value segmentation) 알고리즘이 자연 영상에 대하여 비교적 우수한 결과를 보이지만, 영상 잡음(noise), 색상, 질감 등의 영향으로 인하여 영상이 과분할(over-segmentation) 될 수 있는 단점을 보완하기 위함이다.The reason for applying the anisotropic diffusion filter is that the JSEG (J-value segmentation) algorithm used when segmenting the image in the next step (S203) shows a relatively good result with respect to the natural image, but the image noise, color, This is to compensate for the disadvantage that the image may be over-segmented due to the influence of texture.

단계(S203)에서 영상 분할부(103)는 상기 두 개의 영상에 대하여 각각 JSEG(J-value segmentation) 알고리즘을 이용하여 영상 분할을 수행한다. 도 3에 JSEG 알고리즘을 이용한 영상 분할의 결과가 예시적으로 도시되어 있다.In operation S203, the image segmentation unit 103 performs image segmentation on the two images by using a J-value segmentation (JSEG) algorithm. 3 shows the results of image segmentation using the JSEG algorithm.

JSEG 알고리즘에 관해서는 공지된 논문(Deng, Y. and MANJUNATH, B. S.: 'Unsupervised segmentation of color-texture regions in images and video', IEEE Trans. on Pattern Analysis and Machine Intelligence, 2001, 23, (8), pp. 800-810) 등을 통해 잘 알려져 있으므로, 본 명세서에서는 JSEG 알고리즘에 관한 자세한 설명은 생략한다.As for the JSEG algorithm, known papers (Deng, Y. and MANJUNATH, BS: 'Unsupervised segmentation of color-texture regions in images and video', IEEE Trans.on Pattern Analysis and Machine Intelligence, 2001, 23, (8), pp. 800-810), the detailed description of the JSEG algorithm is omitted herein.

단계(S204)에서 배경 제거부(104)는 상기 영상 분할이 수행된 두 개의 영상 각각의 배경 영역을 제거한다. 이 경우, 배경 제거부(104)는 상기 영상 분할이 수행된 두 개의 영상 각각의 가장자리에 인접한 영역들을 배경 영역으로 제거할 수 있다. 도 3에 배경 영역이 제거된 결과가 예시적으로 도시되어 있다.In operation S204, the background remover 104 removes a background area of each of the two images in which the image segmentation is performed. In this case, the background remover 104 may remove regions adjacent to the edges of each of the two images in which the image segmentation is performed, as the background region. 3 shows the result of removing the background area by way of example.

객체 후보 검출부(105)는 상기 배경 영역이 제거된 객체 후보 영역을 검출하는데, 이를 위해 객체 후보 검출부(105)는 영상 복원부(111)와 논리 연산부(112)를 포함한다.The object candidate detector 105 detects an object candidate region from which the background region has been removed. For this purpose, the object candidate detector 105 includes an image reconstruction unit 111 and a logic operation unit 112.

단계(S205)에서 영상 복원부(111)는 상기 배경 영역이 제거된 리사이징 영상을 상기 원본 영상의 크기로 복원한다. 도 3에 원본 영상 크기로 복원된 결과가 예시적으로 도시되어 있다.In operation S205, the image reconstructor 111 reconstructs the resized image from which the background region is removed to the size of the original image. 3 shows the result of restoring to the original image size by way of example.

단계(S206)에서 논리 연산부(112)는 상기 배경 영역이 제거된 원본 영상과 상기 복원된 영상의 논리적 AND 연산을 통해 객체 후보 영역을 검출한다.In operation S206, the logical operation unit 112 detects an object candidate region through a logical AND operation of the original image from which the background region is removed and the restored image.

배경 영역이 복잡한 질감 영역으로 구성되어 있는 경우에 영상의 가장자리에 인접해 있지 않은 배경 영역이 효과적으로 제거되지 못하는 결과와, 관심 객체와 배경의 경계 부분이 점진적으로 변화되는 부분에서는 관심 객체의 일부 영역이 배경 영역으로 제거되는 결과가 나타날 수 있다. When the background area is composed of complex texture areas, the background area that is not adjacent to the edge of the image is not effectively removed, and the area of the object of interest and the background where the boundary between the object and the background are gradually changed are partially removed. This may result in removal to the background area.

그러므로, 배경 영역을 효과적으로 제거하고 정확한 객체 후보 영역을 추출하기 위하여, 단계(S204)의 결과인 가장자리를 제거한 원본 영상과 리사이징된 영상을 원본 영상의 크기로 복원한 영상의 AND 연산을 통해 객체 후보 영역을 결정한다. 도 3에 AND 연산을 통해 결정된 객체 후보 영역이 예시적으로 도시되어 있다.Therefore, in order to effectively remove the background region and extract the correct object candidate region, the object candidate region is subjected to the AND operation of the original image from which the edges resulting from step S204 and the resized image are restored to the size of the original image. Determine. 3 illustrates an object candidate region determined by an AND operation.

AND 연산은 두 개의 영상을 결합(combining)하기 위한 것으로서, 예컨대 아래의 수학식 1과 같이 수행될 수 있다. 이러한 AND 연산에 따라 대부분의 배경 영역들을 효과적으로 제거함으로써 객체 후보 영역이 검출될 수 있다.The AND operation is for combining two images, and may be performed as shown in Equation 1 below. According to this AND operation, the object candidate area can be detected by effectively removing most background areas.

Figure 112009058463144-PAT00001
Figure 112009058463144-PAT00001

수학식 1에서 COR(x,y)는 두 개의 영상을 결합하여 결정된 객체 후보 영역을 나타내는 이미지이고, OI(x,y)와 RI(x,y)는 원본 영상과 복원된 영상으로부터 배경 영역들이 제거된 이미지 각각을 나타낸다.In Equation 1, COR (x, y) is an image representing an object candidate region determined by combining two images, and OI (x, y) and RI (x, y) are background regions from an original image and a reconstructed image. Represent each of the removed images.

단계(S207)에서 관심 객체 추출부(106)는 그래프 컷 알고리즘(Graph Cut Algorithm)을 이용하여 상기 객체 후보 영역으로부터 최종적인 관심 객체 영역을 추출한다.In operation S207, the object-of-interest extractor 106 extracts the final object-of-interest object region from the object candidate region by using a graph cut algorithm.

그래프 컷 알고리즘은 한 영상을 객체와 배경 영역으로 분할하기 위해 반복적인 그래프 컷 기법에 기반하고 있으며, 그래프 컷 내에서 에너지의 최소화 형태 로 표현된다. 그래프 컷 알고리즘에 대해서는 공지된 논문(ROTHER, C. KOLMOGOROV, V., and BLAKE, A.: 'GrabCut - Interative foreground extraction using iterated graph cut', ACM Trans. on Graphics, 2004, 23, (3), pp. 309-314) 등을 통해 당업자에게 잘 알려져 있으므로, 자세한 설명은 생략한다.The graph cut algorithm is based on an iterative graph cut technique for dividing an image into an object and a background area, and is expressed in the form of energy minimization in the graph cut. For a graph cut algorithm, a well-known paper (ROTHER, C. KOLMOGOROV, V., and BLAKE, A .: 'GrabCut-Interactive foreground extraction using iterated graph cut', ACM Trans. On Graphics, 2004, 23, (3), pp. 309-314) and the like are well known to those skilled in the art, detailed description thereof will be omitted.

그래프 컷 기법을 적용하기 위해서는 관심 객체 영역을 분할하기 위해서 사용자에 의해 관심 객체 영역을 포함하는 사각형 형태의 초기 영역이 설정되어야 한다. 본 발명에서는 단계(S206)에서 배경 제거에 의해 자동으로 검출된 객체 후보 영역을 초기 영역으로 설정하여 사용자의 개입 없이도 자동으로 관심 객체 영역을 추출할 수 있다.In order to apply the graph cut technique, a rectangular initial region including an object region of interest must be set by a user in order to divide the object region of interest. In the present invention, the object candidate region automatically detected by the background removal in step S206 may be set as the initial region to automatically extract the object of interest without user intervention.

도 4와 도 5는 테스트 영상에 종래의 방법을 적용한 실험 결과와 본 발명에 따른 방법을 적용한 실험 결과를 비교한 도면이다. 4 and 5 are diagrams comparing the experimental results of applying the conventional method to the test image and the experimental results of applying the method according to the present invention.

도 4와 도 5에서 좌측에 위치한 것이 테스트 영상이고, 중간에 위치한 것이 종래의 방법을 적용한 실험 결과이며, 우측에 위치한 것이 본 발명에 따른 방법을 적용한 실험 결과이다. 종래의 방법으로는 공지된 논문(KANG, S., PARK, S., Yoo, H., SHIN, Y., and JANG, D.: 'Development of expert system for extraction of the objects of interest', Expert System with Applications, 2009, 36, (2), pp. 7210-7218)의 방법을 사용하였다.In FIG. 4 and FIG. 5, the left side is a test image, and the middle side is a test result of applying the conventional method, and the right side is an experimental result of applying the method according to the present invention. Conventional methods include known articles (KANG, S., PARK, S., Yoo, H., SHIN, Y., and JANG, D .: 'Development of expert system for extraction of the objects of interest', Expert System with Applications, 2009, 36, (2), pp. 7210-7218).

도 4와 도 5를 참조하면, 본 발명에 따른 방법이 종래의 방법에 비해 정확하게 관심 객체 영역을 추출하고 있으며, 다중 객체 영역의 추출도 매우 우수함을 확인할 수 있다.4 and 5, it can be seen that the method according to the present invention extracts the object region of interest more accurately than the conventional method, and the extraction of the multiple object regions is also very good.

도 6은 본 발명에 따른 방법의 성능을 평가한 실험 결과를 도시한 도면이다.6 shows experimental results of evaluating the performance of the method according to the invention.

도 6의 실험 결과에 의하면, 본 발명에 따른 방법의 정밀도(precision), 리콜(recall), 정확도(accuracy)가 평균적으로 95.6%, 89.8%, 85.4%의 우수한 관심 객체 추출 결과를 보여주고 있다.According to the experimental results of FIG. 6, the precision, recall, and accuracy of the method according to the present invention show excellent results of object extraction of 95.6%, 89.8%, and 85.4% on average.

본 발명에 따른 비교사 영상 분할 방법은 영상 검색, 영상 분류, 영상 압축, 워터마킹, 객체 인식 등 영상 처리 기술을 필요로 하는 다양한 분야에 적용될 수 있다.The non-comparative image segmentation method according to the present invention may be applied to various fields requiring image processing techniques such as image search, image classification, image compression, watermarking, object recognition, and the like.

일례로, 영상 검색 기술의 경우 영상에 포함된 객체는 사람의 고수준 개념을 표현하기에 적절하며 영상의 내용에 관한 핵심 정보를 제공한다. 영상 검색 기술의 사용자는 질의 영상에 포함된 객체에 기반을 두고 동일한 객체 또는 유사한 객체를 포함하는 다른 영상을 검색하고자 한다. 따라서 영상을 객체 단위로 접근할 수 있는 기술을 요구한다. 본 발명에 따른 비교사 영상 분할 방법은 영상 검색 기술에서 영상으로부터 관심 객체를 자동으로 추출하는 기술로서 활용이 가능하다.For example, in the image retrieval technology, an object included in an image is suitable for representing a high level concept of a person and provides key information about the content of the image. A user of an image retrieval technique may search for another image including the same object or a similar object based on an object included in a query image. Therefore, there is a need for a technology that can access images in units of objects. The non-comparative image segmentation method according to the present invention may be utilized as a technique for automatically extracting an object of interest from an image in an image search technique.

다른 예로, 본 발명에 따른 비교사 영상 분할 방법을 영상 합성 및 편집 기술에 적용이 가능하며 보다 편리한 사용자 인터페이스를 제공하는데 활용될 수 있다. 또한, 휴대 장치들의 다양한 해상도와 화질에 따라 적합한 영상을 제공하기 위하여 자동으로 영상을 변환하는 기술인 Image Adaptation 기술에 활용이 가능하다.As another example, the non-comparative image segmentation method according to the present invention may be applied to image synthesis and editing techniques and may be used to provide a more convenient user interface. In addition, the present invention can be used for image adaptation technology, which is a technology for automatically converting an image to provide an appropriate image according to various resolutions and image quality of portable devices.

또 다른 예로, 영상 압축 기술의 경우 최근 널리 사용되는 영상 압축 표준 MPEG4는 비디오 객체 평면(video object plane)의 구성을 통해 객체 단위의 압축 기법을 제공하고 있다. 또한 아직은 널리 사용되고 있지는 않으나 기존 정지 영상 압축 기술에 비해 우수한 성능을 보이는 JPEG2000은 관심 영역(ROI: Region Of Interest) 별로 접근이 가능한 기술을 제공한다. 본 발명에 따른 비교사 영상 분할 방법은 영상의 주요 객체를 분리해줌으로써 이와 같은 영상 압축 기술을 이용하여 효과적인 압축이 가능하게 하는데 적용이 가능하다.As another example, in the video compression technology, the video compression standard MPEG4, which is widely used recently, provides a compression method of an object unit through the construction of a video object plane. In addition, JPEG2000, which is not yet widely used but performs better than existing still image compression technology, provides a technology accessible by region of interest (ROI). Non-comparative image segmentation method according to the present invention can be applied to enable effective compression using such image compression technology by separating the main object of the image.

본 발명에 따른 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Embodiments according to the present invention can be implemented in the form of program instructions that can be executed by various computer means can be recorded on a computer readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. Program instructions recorded on the media may be those specially designed and constructed for the purposes of the present invention, or they may be of the kind well-known and available to those having skill in the computer software arts. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks. Magneto-optical media, and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like. The hardware device described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. As described above, the present invention has been described by way of limited embodiments and drawings, but the present invention is not limited to the above embodiments, and those skilled in the art to which the present invention pertains various modifications and variations from such descriptions. This is possible.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined not only by the claims below but also by the equivalents of the claims.

도 1은 본 발명에 따른 비교사 영상 분할 시스템의 전체 구성을 도시한 블록도이다.1 is a block diagram showing the overall configuration of a non-competitive image segmentation system according to the present invention.

도 2는 본 발명에 따른 비교사 영상 분할 방법을 도시한 흐름도이다.2 is a flowchart illustrating a method of segmenting a non-traditional image according to the present invention.

도 3은 비교사 영상 분할 방법의 각 과정에 따른 결과를 예시하는 도면이다.3 is a diagram illustrating a result according to each process of a comparative image segmentation method.

도 4와 도 5는 테스트 영상에 종래의 방법을 적용한 실험 결과와 본 발명에 따른 방법을 적용한 실험 결과를 비교한 도면이다.4 and 5 are diagrams comparing the experimental results of applying the conventional method to the test image and the experimental results of applying the method according to the present invention.

도 6은 본 발명에 따른 방법의 성능을 평가한 실험 결과를 도시한 도면이다.6 shows experimental results of evaluating the performance of the method according to the invention.

<도면의 주요 부분에 대한 부호의 설명><Explanation of symbols for the main parts of the drawings>

100: 비교사 영상 분할 시스템100: comparative video segmentation system

101: 리사이징부101: resizing unit

102: 필터 적용부102: filter application unit

103: 영상 분할부103: image segmentation unit

104: 배경 제거부104: background remover

105: 객체 후보 검출부105: object candidate detector

106: 관심 객체 추출부106: object of interest extraction unit

111: 영상 복원부111: image restoration unit

112: 논리 연산부112: logical operation unit

Claims (12)

영상의 배경 영역을 제거하여 객체 후보 영역을 검출하는 단계; 및Detecting an object candidate area by removing a background area of an image; And 그래프 컷 알고리즘(Graph Cut Algorithm)을 이용하여 상기 객체 후보 영역으로부터 관심 객체 영역을 추출하는 단계Extracting an object region of interest from the object candidate region using a graph cut algorithm 를 포함하는 것을 특징으로 하는 비교사(unsupervised) 영상 분할 방법.Comparing (unsupervised) image segmentation method comprising a. 제1항에 있어서,The method of claim 1, 상기 비교사 영상 분할 방법은, The comparative company image segmentation method, 입력 영상인 원본 영상을 기설정된 크기로 리사이징(resizing)하여 리사이징 영상을 생성하는 단계를 더 포함하고,And resizing the original image, which is an input image, to a predetermined size to generate a resizing image. 상기 영상의 배경 영역을 제거하는 단계는,Removing the background area of the image, 상기 원본 영상 및 상기 리사이징 영상 각각의 배경 영역을 제거하는 단계를 포함하는 것을 특징으로 하는 비교사 영상 분할 방법.And removing a background area of each of the original image and the resizing image. 제2항에 있어서,The method of claim 2, 상기 비교사 영상 분할 방법은,The comparative company image segmentation method, 상기 원본 영상 및 상기 리사이징 영상 각각에 비등방성 확산 필터(Anisotropic diffusion filter)를 적용하여 두 개의 영상을 생성하는 단계; 및Generating two images by applying an anisotropic diffusion filter to each of the original image and the resizing image; And 상기 두 개의 영상에 대하여 각각 JSEG(J-value segmentation) 알고리즘을 이용하여 영상 분할을 수행하는 단계Performing image segmentation on each of the two images using a J-value segmentation (JSEG) algorithm 를 더 포함하고,More, 상기 원본 영상 및 상기 리사이징 영상 각각의 배경 영역을 제거하는 단계는,Removing the background area of each of the original image and the resizing image, 상기 영상 분할이 수행된 두 개의 영상 각각의 배경 영역을 제거하는 단계를 포함하는 것을 특징으로 하는 비교사 영상 분할 방법.And removing a background area of each of the two images on which the image segmentation has been performed. 제3항에 있어서,The method of claim 3, 상기 영상 분할이 수행된 두 개의 영상 각각의 배경 영역을 제거하는 단계는,Removing the background area of each of the two images in which the image segmentation is performed, 상기 영상 분할이 수행된 두 개의 영상 각각의 가장자리에 인접한 영역들을 배경 영역으로 제거하는 단계를 포함하는 것을 특징으로 하는 비교사 영상 분할 방법.And removing a region adjacent to an edge of each of the two images in which the image segmentation is performed, as a background region. 제2항 내지 제4항 중 어느 한 항에 있어서,The method according to any one of claims 2 to 4, 상기 리사이징 영상은 상기 원본 영상보다 작은 크기의 영상이며,The resizing image is an image of a smaller size than the original image, 상기 객체 후보 영역을 검출하는 단계는,The detecting of the object candidate area may include: 상기 배경 영역이 제거된 리사이징 영상을 상기 원본 영상의 크기로 복원하는 단계; 및Restoring a resizing image from which the background region has been removed to a size of the original image; And 상기 배경 영역이 제거된 원본 영상과 상기 복원된 영상의 논리적 AND 연산 을 통해 객체 후보 영역을 검출하는 단계Detecting an object candidate region through a logical AND operation of the original image from which the background region is removed and the reconstructed image 를 포함하는 것을 특징으로 하는 비교사 영상 분할 방법.Comparative company image segmentation method comprising a. 제5항에 있어서,The method of claim 5, 상기 그래프 컷 알고리즘을 이용하여 객체 후보 영역으로부터 관심 객체 영역을 추출하는 단계는,Extracting the object of interest region from the object candidate region using the graph cut algorithm, 상기 객체 후보 영역을 상기 그래프 컷 기법의 적용을 위한 초기 영역으로 설정하는 단계; 및Setting the object candidate area as an initial area for applying the graph cut technique; And 상기 그래프 컷 알고리즘을 적용하여 상기 객체 후보 영역으로부터 자동으로 상기 관심 객체 영역을 추출하는 단계Automatically extracting the object of interest region from the object candidate region by applying the graph cut algorithm 를 포함하는 것을 특징으로 하는 비교사 영상 분할 방법.Comparative company image segmentation method comprising a. 입력 영상에 대하여 영상 분할을 수행하는 단계;Performing image segmentation on the input image; 상기 영상 분할이 수행된 입력 영상의 가장자리에 인접한 영역을 배경 영역으로 제거하는 단계;Removing a region adjacent to an edge of the input image on which the image segmentation is performed, as a background region; 상기 배경 영역이 제거된 객체 후보 영역을 검출하는 단계; 및Detecting an object candidate area from which the background area is removed; And 그래프 컷 알고리즘(Graph Cut Algorithm)을 이용하여 상기 객체 후보 영역으로부터 관심 객체 영역을 추출하는 단계Extracting an object region of interest from the object candidate region using a graph cut algorithm 를 포함하는 것을 특징으로 하는 비교사(unsupervised) 영상 분할 방법.Comparing (unsupervised) image segmentation method comprising a. 영상의 배경 영역을 제거하는 배경 제거부;A background remover which removes a background area of the image; 상기 배경 영역이 제거된 객체 후보 영역을 검출하는 객체 후보 검출부; 및An object candidate detector configured to detect an object candidate region from which the background region is removed; And 그래프 컷 알고리즘(Graph Cut Algorithm)을 이용하여 상기 객체 후보 영역으로부터 관심 객체 영역을 추출하는 관심 객체 추출부An object-of-interest extracting unit which extracts an object-of-interest region from the object candidate region using a graph cut algorithm 를 포함하는 것을 특징으로 하는 비교사(unsupervised) 영상 분할 시스템.Comparing (unsupervised) image segmentation system comprising a. 제8항에 있어서,The method of claim 8, 상기 비교사 영상 분할 시스템은, The comparative company image segmentation system, 입력 영상인 원본 영상을 기설정된 크기로 리사이징(resizing)하여 리사이징 영상을 생성하는 리사이징부를 더 포함하고,Resizing unit for resizing the original image as an input image to a predetermined size to generate a resizing image, 상기 배경 제거부는 상기 원본 영상 및 상기 리사이징 영상 각각의 배경 영역을 제거하는 것을 특징으로 하는 비교사 영상 분할 시스템.And the background remover removes a background area of each of the original image and the resizing image. 제9항에 있어서,10. The method of claim 9, 상기 비교사 영상 분할 시스템은,The comparative company image segmentation system, 상기 원본 영상 및 상기 리사이징 영상 각각에 비등방성 확산 필터(Anisotropic diffusion filter)를 적용하여 두 개의 영상을 생성하는 필터 적용부; 및A filter applying unit generating two images by applying an anisotropic diffusion filter to each of the original image and the resizing image; And 상기 두 개의 영상에 대하여 각각 JSEG(J-value segmentation) 알고리즘을 이용하여 영상 분할을 수행하는 영상 분할부Image segmentation unit for performing image segmentation on each of the two images using a J-value segmentation (JSEG) algorithm 를 더 포함하고,More, 상기 배경 제거부는 상기 영상 분할이 수행된 두 개의 영상 각각의 배경 영역을 제거하는 것을 특징으로 하는 비교사 영상 분할 시스템.And the background remover removes a background area of each of the two images on which the image segmentation is performed. 제10항에 있어서,The method of claim 10, 상기 배경 제거부는 상기 영상 분할이 수행된 두 개의 영상 각각의 가장자리에 인접한 영역들을 배경 영역으로 제거하는 것을 특징으로 하는 비교사 영상 분할 시스템.And the background remover removes regions adjacent to edges of each of the two images on which the image segmentation is performed, as a background region. 제9항 내지 제11항 중 어느 한 항에 있어서,The method according to any one of claims 9 to 11, 상기 리사이징 영상은 상기 원본 영상보다 작은 크기의 영상이며,The resizing image is an image of a smaller size than the original image, 상기 객체 후보 검출부는,The object candidate detector, 상기 배경 영역이 제거된 리사이징 영상을 상기 원본 영상의 크기로 복원하는 영상 복원부; 및An image restoring unit for restoring a resizing image from which the background region is removed to a size of the original image; And 상기 배경 영역이 제거된 원본 영상과 상기 복원된 영상의 논리적 AND 연산을 통해 객체 후보 영역을 검출하는 논리 연산부A logical operation unit for detecting an object candidate region through a logical AND operation of the original image from which the background region is removed and the reconstructed image 를 포함하는 것을 특징으로 하는 비교사 영상 분할 시스템.Comparative company image segmentation system comprising a.
KR1020090090077A 2009-09-23 2009-09-23 Unsupervised foreground segmentation method and system using background elimination and graph cut techniques KR101245957B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090090077A KR101245957B1 (en) 2009-09-23 2009-09-23 Unsupervised foreground segmentation method and system using background elimination and graph cut techniques

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090090077A KR101245957B1 (en) 2009-09-23 2009-09-23 Unsupervised foreground segmentation method and system using background elimination and graph cut techniques

Publications (2)

Publication Number Publication Date
KR20110032537A true KR20110032537A (en) 2011-03-30
KR101245957B1 KR101245957B1 (en) 2013-03-21

Family

ID=43937275

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090090077A KR101245957B1 (en) 2009-09-23 2009-09-23 Unsupervised foreground segmentation method and system using background elimination and graph cut techniques

Country Status (1)

Country Link
KR (1) KR101245957B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101349699B1 (en) * 2012-06-29 2014-01-10 에스케이플래닛 주식회사 Apparatus and method for extracting and synthesizing image
US9111356B2 (en) 2012-01-20 2015-08-18 Korea Advanced Institute Of Science And Technology Image segmentation method using higher-order clustering, system for processing the same and recording medium for storing the same
KR20150104288A (en) * 2014-03-05 2015-09-15 에스케이플래닛 주식회사 Image identification apparatus, method thereof and computer readable medium having computer program recorded therefor
WO2015182904A1 (en) * 2014-05-26 2015-12-03 에스케이텔레콤 주식회사 Area of interest studying apparatus and method for detecting object of interest

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101812664B1 (en) 2016-10-28 2017-12-27 한국과학기술원 Method and apparatus for extracting multi-view object with fractional boundaries

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9111356B2 (en) 2012-01-20 2015-08-18 Korea Advanced Institute Of Science And Technology Image segmentation method using higher-order clustering, system for processing the same and recording medium for storing the same
KR101349699B1 (en) * 2012-06-29 2014-01-10 에스케이플래닛 주식회사 Apparatus and method for extracting and synthesizing image
KR20150104288A (en) * 2014-03-05 2015-09-15 에스케이플래닛 주식회사 Image identification apparatus, method thereof and computer readable medium having computer program recorded therefor
WO2015182904A1 (en) * 2014-05-26 2015-12-03 에스케이텔레콤 주식회사 Area of interest studying apparatus and method for detecting object of interest

Also Published As

Publication number Publication date
KR101245957B1 (en) 2013-03-21

Similar Documents

Publication Publication Date Title
KR101245957B1 (en) Unsupervised foreground segmentation method and system using background elimination and graph cut techniques
KR101082665B1 (en) Apparatus and method for extracting interest object
Tajeripour et al. Developing a novel approach for content based image retrieval using modified local binary patterns and morphological transform.
Wagh et al. Text detection and removal from image using inpainting with smoothing
Wu et al. Salient region detection improved by principle component analysis and boundary information
Parida et al. Transition region based single and multiple object segmentation of gray scale images
CN111614974B (en) Video image restoration method and system
Abdulla et al. An improved image quality algorithm for exemplar-based image inpainting
Chi et al. Enhancing textural differences using wavelet-based texture characteristics morphological component analysis: A preprocessing method for improving image segmentation
Sravanthi et al. Brain tumor detection using image processing
Shirai et al. Character shape restoration of binarized historical documents by smoothing via geodesic morphology
Sreedevi et al. Ngfica based digitization of historic inscription images
Hu et al. Extracting Maya Glyphs from degraded ancient documents via image segmentation
Bresson Image segmentation with variational active contours
Wan et al. Statistical multiscale image segmentation via alpha-stable modeling
Charles et al. Object segmentation within microscope images of palynofacies
Khatib et al. A hybrid multilevel text extraction algorithm in scene images
Felhi et al. Multiscale stroke-based page segmentation approach
Grossauer Inpainting of movies using optical flow
Grzegorzek et al. Texture-Based text detection in digital images with wavelet features and Support Vector Machines
Chang et al. Texture-based color image segmentation using local contrast information
Tabib et al. Deep learning-based filtering of images for 3d reconstruction of heritage sites
Wu et al. Region covariance based total variation optimization for structure-texture decomposition
Park et al. Unsupervised foreground segmentation using background elimination and graph cut techniques
Xiao et al. An effective graph and depth layer based RGB-D image foreground object extraction method

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160118

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee