KR101394895B1 - Ｂｌｏｃｋ Ｃｌｕｓｔｅｒｉｎｇ 을 이용한 관심영역기반 자동객체분할방법 및 자동객체분할시스템 - Google Patents

Ｂｌｏｃｋ Ｃｌｕｓｔｅｒｉｎｇ 을 이용한 관심영역기반 자동객체분할방법 및 자동객체분할시스템 Download PDF

Info

Publication number
KR101394895B1
KR101394895B1 KR1020120113457A KR20120113457A KR101394895B1 KR 101394895 B1 KR101394895 B1 KR 101394895B1 KR 1020120113457 A KR1020120113457 A KR 1020120113457A KR 20120113457 A KR20120113457 A KR 20120113457A KR 101394895 B1 KR101394895 B1 KR 101394895B1
Authority
KR
South Korea
Prior art keywords
cluster
background
information
block
area
Prior art date
Application number
KR1020120113457A
Other languages
English (en)
Other versions
KR20140047331A (ko
Inventor
나인섭
김수형
오강한
김광복
Original Assignee
전남대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전남대학교산학협력단 filed Critical 전남대학교산학협력단
Priority to KR1020120113457A priority Critical patent/KR101394895B1/ko
Publication of KR20140047331A publication Critical patent/KR20140047331A/ko
Application granted granted Critical
Publication of KR101394895B1 publication Critical patent/KR101394895B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 Block Clustering 알고리즘을 이용하여 객체를 자동으로 배경으로부터 분할하는 것으로, 본 발명에 의해서 종래의 GrabCut 실시에서 사용자에 의해 객체에 대한 정보를 제공하는 단점을 보완하여 자동화시킴으로써 사용자의 편의성 및 효율성을 증대시키는 Block Clustering 을 이용한 자동객체분할방법에 관한 것이다.
이와 같은 본 발명의 특징은 배경과 객체의 분할정보를 포함한 영상정보에 대해서 객체의 관심영역을 추정하는 객체관심영역추정단계를 포함하는데, 상기 객체관심영역추정단계는, 영상의 군집분산정보를 분석하여 분산영역의 크기에 따라 군집을 분별하고, 영상을 소정 개수의 블록으로 분할하고 개별 블록 내의 객체면적과 배경면적, 그리고 블록의 색상평균값에 따라서 객체군집과 배경군집으로 판별하는 것을 특징으로 한다.

Description

Ｂｌｏｃｋ Ｃｌｕｓｔｅｒｉｎｇ 을 이용한 관심영역기반 자동객체분할방법 및 자동객체분할시스템{OBJECT SEGMENTATION USING BLOCK CLUSTERING BASED ON AUTOMATIC INITIAL REGION OF INTEREST ESTIMATION}
본 발명은 Block Clustering 알고리즘을 이용하여 객체를 자동으로 배경으로부터 분할하는 것으로, 본 발명에 의해서 종래의 GrabCut 실시에서 사용자에 의해 객체에 대한 정보를 제공하는 단점을 보완하여 자동화시킴으로써 사용자의 편의성 및 효율성을 도모하도록 하였습니다. 그리하여 이러한 본 발명에 의하여 "문자", "지문", "포스터" 등 다양한 분야에서 이용하는 영상정보에 대해 매우 복잡한 배경과 불특정한 모양의 객체를 가진 물체를 자동분할하기 때문에 인식하는 객체가 불특정한 모양이 된다하여도 효과적으로 응용하여 적용할 수 있는 기술인 것이다.
최근 고성능의 모바일 폰(스마트폰, 스마트패드, 또는 넷북) 등이 등장하고 사람들은 모바일 폰을 통해 고화질의 영상정보를 획득할 수 있게 되었다. 그리고 이것들을 응용할 수 있는 어플리케이션이 다수 등장하고 있다. 정의되지 않은 물체의 영상정보를 획득하고 이것을 인식하려는 연구는 지난 10여 년간 활발히 진행되어져 오고 있다. 무엇인가를 인식하기 위해서 좋은 특징정보가 필요하다. 그리고 좋은 특징정보는 배경으로부터 완벽히 분할된 객체로부터 나오는 것이 정설이다.
이처럼 객체를 배경으로부터 완벽히 분할하여 추출하기 위해서 그동안 사용자가 미리 객체에 해당하는 관심영역을 지정해서 처리하도록 시행되어져 온 것이다. 이처럼 사용자가 미리 객체에 해당하는 관심영역을 지정하게 되면, 사용자가 원하는 것을 지정할 수도 있겠으나, 수많은 영상을 처리하려고 할 때에는 사용자 지정에 한계가 있는 것이다. 특히 다수 영상으로 구성된 복합영상(동영상 등)을 편집하려고 할 때에는 사용자가 일일이 하나하나 지정하기에는 무리가 따르게 되는 문제점이 있는 것이다.
상기와 같은 문제점을 해소하기 위한 본 발명은 GrabCut 알고리즘의 단점인 사용자에 의해 객체의 사전정보를 미리 제공해야 하는 과정을 본 발명에 의해 자동으로 객체의 관심영역을 추정하여 자동화시키는데 주요 목적이 있는 것이다.
그리고 본 발명의 다른 목적은, 영상처리분야에서 객체를 분리하는 알고리즘을 적용하기에 앞서 객체후보의 정보를 자동화로 분할시킴으로써 객체의 정보를 깨끗하게 추출하는 것이다.
또한 본 발명의 또 다른 목적은, 본 발명이 적용되어 영상에서 객체를 자동으로 분할시킴으로써 깨끗하게 분할된 객체정보를 GrabCut 알고리즘의 추정과정에 자동화시키는데 있다.
상기와 같은 목적을 달성하기 위한 본 발명은, 영상의 객체후보정보 및 배경정보를 분석하는 객체정보분석단계; 배경과 객체의 분할정보를 포함한 영상정보에 대해서 객체의 관심영역을 추정하는 객체관심영역추정단계; 및 상기 객체관심영역추정단계에 의해 분석된 객체의 관심영역의 정보를 이용하여 GrabCut 알고리즘에 의해 객체를 분할하는 GrabCut처리단계를 포함하는 것을 특징으로 하는 자동객체분할방법을 제공한다.
또한 본 발명은, 배경과 객체의 분할정보를 포함한 영상정보에 대해서 객체의 관심영역을 추정하는 객체관심영역추정단계를 포함하는데, 상기 객체관심영역추정단계는, 영상의 군집분산정보를 분석하여 분산영역의 크기에 따라 군집을 분별하고, 영상을 소정 개수의 블록으로 분할하고 개별 블록 내의 객체면적과 배경면적, 그리고 블록의 색상평균값에 따라서 객체군집과 배경군집으로 판별하는 것을 특징으로 하는 자동객체분할방법을 제공한다.
이에 본 발명의 바람직한 실시예에 있어서, 상기 객체관심영역추정단계는: 영상정보에 대해서 배경군집, 중립군집, 객체군집에 대해 라벨링처리 및 객체의 영역추정을 수행하는 군집라벨링처리단계를 포함하는 것을 특징으로 한다.
그리고 본 발명의 바람직한 실시예에 있어서, 상기 군집라벨링처리단계는: 영상의 배경, 중립, 객체로 분석된 배경군집, 중립군집, 객체군집에 대해 라벨링하기 위해 각 군집의 분산정보를 분석하는 군집분산정보분석단계; 및 영상의 외곽영역정보를 분석하는 외곽정보분석단계를 포함하는 것을 특징으로 한다.
또한 본 발명의 바람직한 실시예에 있어서, 상기 군집분산정보분석단계는 배경군집, 중립군집, 객체군집 중에서 분산영역이 큰 군집을 배경군집으로 판별하고, 분산영역이 작은 군집을 객체군집으로 판별하는 것을 특징으로 한다.
아울러 본 발명의 바람직한 실시예에 있어서, 상기 객체관심영역추정단계는: 객체 영역의 정보를 포함한 영상을 소정의 개수의 블록으로 분할하고 블록으로 분할된 영상에서 객체의 관심영역을 추정하는 블록클러스터링처리단계를 포함하는 것을 특징으로 한다.
그리고 본 발명의 바람직한 실시예에 있어서, 상기 블록클러스터링처리단계는, 개별 블록에서 객체군집에 해당하는 블록내 객체면적값, 개별 블록에서 배경군집에 해당하는 블록내 배경면적값을 산출하는 블록별면적산출단계; 개별 블록별 색상평균값에 대해 객체군집의 평균색상값과의 거리, 개별 블록별 색상평균값에 대해 배경군집의 평균색상값과의 거리를 산출하는 블록색상정보산출단계; 및 상기 블록별면적산출단계와 블록색상정보산출단계에 의해 산출된 개별 블록에서의 객체면적, 배경면적, 색상값의 비교에 의해 개별 블록을 객체군집 또는 배경군집으로 라벨링처리하는 개별블록라벨링단계를 포함하는 것을 특징으로 한다.
이에 더하여 본 발명은, 영상의 객체정보 및 배경정보를 분석하는 객체정보분석부; 배경과 객체의 분할정보를 포함한 영상정보에 대해서 객체의 관심영역을 추정하는 객체관심영역추정부; 및 상기 객체관심영역추정부에 의해 분석된 객체의 관심영역의 정보를 이용하여 GrabCut 알고리즘에 의해 객체를 분할하는 GrabCut처리부를 포함하고, 상기 객체관심영역추정부는, 영상의 군집분산정보를 분석하여 분산영역의 크기에 따라 군집을 분별하고, 영상을 소정 개수의 블록으로 분할하고 개별 블록 내의 객체면적과 배경면적, 그리고 블록의 색상평균값에 따라서 객체군집과 배경군집으로 판별하는 것을 특징으로 하는 자동객체분할시스템을 제공한다.
이러한 본 발명의 바람직한 실시예에 있어서, 상기 객체관심영역추정부는: 영상정보에 대해서 배경군집, 중립군집, 객체군집에 대해 라벨링처리 및 객체의 영역추정을 수행하는 군집라벨링처리부; 및 객체 영역의 정보를 포함한 영상을 소정의 개수의 블록으로 분할하고 블록으로 분할된 영상에서 객체의 관심영역을 추정하는 블록클러스터링처리부를 포함하는 것을 특징으로 한다.
그리고 본 발명의 바람직한 실시예에 있어서, 상기 군집라벨링처리부는: 영상의 배경, 중립, 객체로 분석된 배경군집, 중립군집, 객체군집에 대해 라벨링하기 위해 각 군집의 분산정보를 분석하는 군집분산정보분석부; 영상의 외곽영역정보를 분석하는 외곽정보분석부; 및 상기 중립군집에 대해 배경군집 또는 객체군집으로 라벨링처리하는 중립군집라벨링부를 포함하는 것을 특징으로 한다.
나아가 본 발명의 바람직한 실시예에 있어서, 상기 블록클러스터링처리부는: 개별 블록에서 객체군집에 해당하는 블록내 객체면적값, 개별 블록에서 배경군집에 해당하는 블록내 배경면적값을 산출하는 블록별면적산출부; 개별 블록별 색상평균값에 대해 객체군집의 평균색상값과의 거리, 개별 블록별 색상평균값에 대해 배경군집의 평균색상값과의 거리를 산출하는 블록색상정보산출부; 및 상기 블록별면적산출부와 블록색상정보산출부에 의해 산출된 개별 블록에서의 객체면적, 배경면적, 색상값의 비교에 의해 개별 블록을 객체군집 또는 배경군집으로 라벨링처리하는 개별블록라벨링부를 포함하는 것을 특징으로 한다.
상기와 같이 구성되는 본 발명의 우수한 효과는 영상처리 분야에서 유용하게 쓰이는 GrabCut 알고리즘의 최대 단점인 사용자에 의해 사전정보를 제공해야 하는 과정을 자동화시킨 거시다.
이에 본 발명의 또 다른 효과는, 입력 영상에서 객체의 관심영역의 정보를 자동으로 산출하여 영상처리를 수행하는 것으로, 자동화과정을 시키면서도 사용자가 일일이 지정하는 수동처리에 대비하여도 성능 및 편차값의 차이가 거의 없을 정도로 효과가 탁월하다는 것이다.
이처럼 입력 영상의 객체정보를 분할하기 위해 객체의 관심영역을 자동으로 추정하는 본 발명의 특징기술은 바람직한 적용응용예인 GrabCut 알고리즘의 실시예에서뿐만 아니라 다양한 영상처리 및 영상정보처리의 알고리즘에서도 응용되어 실시됨으로써, 영상정보에서 객체 정보의 처리효율을 증대시키는 효과가 있는 것이다.
도 1은 본 발명에 따른 자동객체분할방법이 처리되는 과정에 대한 순서도이다.
도 2는 본 발명에 따른 자동객체분할방법 중 GMM처리단계가 적용된 객체정보분석단계의 처리결과에 대한 예시도이다.
도 3은 본 발명에 따른 자동객체분할방법 중 객체관심영역추정단계 중에서 군집라벨링처리단계에 의해 영상이 객체군집, 배경군집, 중립군집으로 분별된 상태의 예시도이다.
도 4는 본 발명에 따른 자동객체분할방법 중 객체관심영역추정단계 중에서 블록클러스터링처리단계에 의해 영상이 다수 블록으로 분할되어 객체군집과 배경군집으로 분별된 상태의 예시도이다.
도 5는 본 발명에 따른 자동객체분할방법 중 객체정보분석단계와 객체관심영역추정단계 이후 GrabCut처리단계의 결과에 대한 예시도이다.
도 5의 (a)는 입력영상이고, (b)는 군집정보에 대한 분산정보, 외곽정보분석에 따른 영상이며, (c)는 block clustering의 예시도이고, (d)는 block clustering 결과 영상이며, (e)는 객체의 관심영역 설정 예시도이고, (f)는 GrabCut 결과 영상이다.
도 6은 본 발명에 따른 자동객체분할시스템에 대한 구성도이다.
도 7은 본 발명에 따른 자동객체분할방법에 대한 처리순서도이다.
이하 첨부되는 도면을 참조하여 상세히 설명한다.
즉 본 발명에 따른 GrabCut 기반의 Block Clustering을 이용한 자동객체분할방법 및 자동객체분할시스템(10)은 첨부된 도 1 내지 도 7 등에서와 같이, 배경과 객체의 분할정보를 포함한 영상정보에 대해서 객체의 관심영역을 추정하는 객체관심영역추정단계(S300)를 포함하여 수행하도록 구비된 것이다.
즉 도 3의 아래 영상과 같이 입력된 대상이 되는 전체 영상에 대해, 분석해야 하는 객체의 영상을 분별하기 위해 객체관심영역추정단계(S300)가 수행되는 것이다. 이를 위해 영상 정보 중에서 객체에 해당하는 부분을 관심영역으로 추정하도록 함으로써, 객체관심영역추정단계(S300) 이후 처리되는 영상 처리과정에서 손쉽게 객체를 판별하여 처리하는 것이다.
이에 객체관심영역추정단계(S300)는, 영상의 군집분산정보를 분석하여 분산영역의 크기에 따라 군집을 분별하고, 영상을 소정 개수의 블록으로 분할하고 개별 블록 내의 객체면적과 배경면적, 그리고 블록의 색상평균값에 따라서 객체군집과 배경군집으로 판별하는 것을 특징으로 하는 것이다.
그리고 본 발명에서의 자동객체분할방법은 GrabCut 기반을 주요 내용을 하고 있는 것이다. 이러한 객체관심영역추정단계(S300)가 포함되어 이용될 수 있는 실시예로 GrabCut 처리에 따른 영상의 전체 처리 과정의 예를 살펴보면 다음과 같이 적용될 수 있을 것이다. 물론 후술되는 K-means 알고리즘의 이용, GMM 처리의 이용으로 본 발명에 따른 객체관심영역추정의 실시를 위해 사전 처리의 과정을 이루고, 또한 본 발명에 따른 객체관심영역추정에 의해 객체의 관심영역을 추정한 자료를 이용하여 GrabCut 알고리즘을 수행하는 것이 본 발명에서의 바람직한 입력 영상의 처리 실시예인 것이다. 이러한 본 발명에 따른 자동객체분할 기술의 적용은 K-means 알고리즘, GMM 처리, GrabCut 알고리즘 등을 비롯하여 다양한 영상정보 처리에 본 발명의 기술이 응용되어 적용되어 실시될 수도 있을 것이다.
이에 우선 본 발명의 바람직한 실시예에 따른 처리과정을 보면, 영상의 객체정보 및 배경정보를 분석하는 객체정보분석단계(S200)가 수행된다.
이러한 상기 객체정보분석단계(S200)는 좀더 세분하면, K-means 알고리즘에 의해 대상이 되는 영상에 대한 군집화알고리즘을 수행하는 K-means 클러스터링단계(S210)와, 혼합가중치(mixture weight)에 따른 GMM알고리즘의 수행으로 대상이 되는 영상을 "배경", "중립", "객체"로 하여 영상을 분할하는 GMM처리단계(S220)를 포함하여 수행된다.
그리고 영상의 객체정보 및 배경정보를 분석하는 객체정보분석부(20)가 마련되고, 이러한 객체정보분석부(20)에 의하여 객체정보분석단계(S200), K-means 클러스터링단계(S210), GMM처리단계(S220) 등이 수행될 것이다.
다음으로 배경과 객체의 분할정보를 포함한 영상정보에 대해서 객체의 관심영역을 추정하는 객체관심영역추정단계(S300)가 수행되는 것이며, 이러한 객체관심영역추정단계(S300)에 대한 좀더 상세한 설명은 하기에서 하기로 한다.
또한 상기 객체관심영역추정단계(S300)에 의해 분석된 객체의 관심영역의 정보를 이용하여 GrabCut 알고리즘에 의해 객체를 분할하는 GrabCut처리단계(S400)가 수행되는 것이다.
그리고 상기 객체관심영역추정부(30)에 의해 분석된 객체의 관심영역의 정보를 이용하여 GrabCut 알고리즘에 의해 객체를 분할하는 GrabCut처리부(40)가 마련되는 것이며, 이러한 GrabCut처리부(40)에 의해 GrabCut처리단계(S400)가 수행될 것이다.
또한 객체관심영역추정단계(S300)의 수행으로, 배경과 객체의 분할정보를 포함한 영상정보에 대해서 객체의 관심영역을 추정하는 객체관심영역추정부(30)가 마련될 것이다.
즉 이러한 상기 객체관심영역추정부(30)에 의하여, 영상의 군집분산정보를 분석하여 분산영역의 크기에 따라 군집을 분별하고, 영상을 소정 개수의 블록으로 분할하고 개별 블록 내의 객체면적과 배경면적, 그리고 블록의 색상평균값에 따라서 객체군집과 배경군집으로 판별하는 것이다.
이와 같이 마련되는 본 발명에 있어서, GrabCut 기반의 Block Clustering을 이용한 자동객체분할방법 및 자동객체분할시스템(10)의 세부 구성을 상세히 살펴보기로 한다.
즉 상기 객체관심영역추정단계(S300)는, 영상정보에 대해서 배경군집, 중립군집, 객체군집에 대해 라벨링처리 및 객체의 영역추정을 수행하는 군집라벨링처리단계(S310)를 포함하는 것이다.
또한 상기 객체관심영역추정단계(S300)는, 객체 영역의 정보를 포함한 영상을 소정의 개수의 블록으로 분할하고 블록으로 분할된 영상에서 객체의 관심영역을 추정하는 블록클러스터링처리단계(S320)도 함께 포함하여 실시될 수 있을 것이다.
그리고 이러한 객체관심영역추정단계(S300)를 수행하는 객체관심영역추정부(30)는, 영상정보에 대해서 배경군집, 중립군집, 객체군집에 대해 라벨링처리 및 객체의 영역추정을 수행하는 군집라벨링처리부(31) 및 객체 영역의 정보를 포함한 영상을 소정의 개수의 블록으로 분할하고 블록으로 분할된 영상에서 객체의 관심영역을 추정하는 블록클러스터링처리부(32) 등을 포함한다. 그리하여 군집라벨링처리부(31)에 의해 군집라벨링처리단계(S310)를 수행하고, 블록클러스터링처리부(32)에 의해 블록클러스터링처리단계(S320) 등을 수행하는 것이다.
또한 상기 군집라벨링처리단계(S310)는, 영상의 배경, 중립, 객체로 분석된 배경군집, 중립군집, 객체군집에 대해 라벨링하기 위해 각 군집의 분산정보를 분석하는 군집분산정보분석단계(S311) 및 영상의 외곽영역정보를 분석하는 외곽정보분석단계(S312) 등을 포함하는 것이다.
이에 상기 군집분산정보분석단계(S311)는 배경군집, 중립군집, 객체군집 중에서 분산영역이 큰 군집을 배경군집으로 판별하고, 분산영역이 작은 군집을 객체군집으로 판별하는 것이다. 또한 상기 군집라벨링처리부(31)에는, 군집분산정보분석단계(S311)의 처리에 의해 영상의 배경, 중립, 객체로 분석된 배경군집, 중립군집, 객체군집에 대해 라벨링하기 위해 각 군집의 분산정보를 분석하는 군집분산정보분석부(311)가 마련될 것이다.
그리고 이러한 상기 군집분산정보분석단계(S311)는 수학식 2에 의해 각 군집의 분산정보를 산출하는 단계가 수행될 것이다.
(수학식 2)
Figure 112012082990421-pat00001
,
('area'는 영상(클래스) 전체 면적, x와 y는 클래스에서 축들, C는 클래스,
Figure 112012082990421-pat00002
와
Figure 112012082990421-pat00003
는 두 축의 평균값).
그리고 외곽정보분석단계(S312)의 처리에 의해 영상의 외곽영역정보를 분석하는 외곽정보분석부(312)가 마련될 것이다. 이에 상기 외곽정보분석단계(S312)는 수학식 4에 의해 각 군집의 외곽정보를 산출하는 단계가 수행될 것이다.
(수학식 4)
Figure 112012082990421-pat00004
,
(G는 각 군집 정보(each Gaussian area), τ는 외곽영역(total boundary region)).
아울러 상기 중립군집에 대해 수학식 5에 의해 배경군집 또는 객체군집으로 라벨링처리하는 중립군집라벨링단계(S313)가 수행될 것이다. 그리고 이러한 중립군집라벨링단계(S313) 수행에 대해 상기 중립군집에 대해 배경군집 또는 객체군집으로 라벨링처리하는 중립군집라벨링부(313)가 마련된다.
(수학식 5)
Figure 112012082990421-pat00005
(foreground는 객체군집, background는 배경군집,
Figure 112012082990421-pat00006
는 중립영역의 분산,
Figure 112012082990421-pat00007
는 외곽영역 안에서 중립영역이 차지하고 있는 면적값,
Figure 112012082990421-pat00008
와
Figure 112012082990421-pat00009
는 각각 객체의 분산과 배경의 분산,
Figure 112012082990421-pat00010
와
Figure 112012082990421-pat00011
는 각각 외곽영역 안에 객체와 배경이 차지하고 있는 면적값).
다음으로 상기 객체관심영역추정단계(S300) 중에서, 객체 영역의 정보를 포함한 영상을 소정의 개수의 블록으로 분할하고 블록으로 분할된 영상에서 객체의 관심영역을 추정하는 블록클러스터링처리단계(S320)는, 개별 블록에서 객체군집에 해당하는 블록내 객체면적값, 개별 블록에서 배경군집에 해당하는 블록내 배경면적값을 산출하는 블록별면적산출단계(S321)와, 개별 블록별 색상평균값에 대해 객체군집의 평균색상값과의 거리, 개별 블록별 색상평균값에 대해 배경군집의 평균색상값과의 거리를 산출하는 블록색상정보산출단계(S322), 그리고 상기 블록별면적산출단계(S321)와 블록색상정보산출단계(S322)에 의해 산출된 개별 블록에서의 객체면적, 배경면적, 색상값의 비교에 의해 개별 블록을 객체군집 또는 배경군집으로 라벨링처리하는 개별블록라벨링단계(S323) 등을 포함하여 수행하는 것이다.
또한 객체관심영역추정부(30) 중에서 객체 영역의 정보를 포함한 영상을 소정의 개수의 블록으로 분할하고 블록으로 분할된 영상에서 객체의 관심영역을 추정하는 블록클러스터링처리부(32)는, 개별 블록에서 객체군집에 해당하는 블록내 객체면적값, 개별 블록에서 배경군집에 해당하는 블록내 배경면적값을 산출하는 블록별면적산출부(321)와, 개별 블록별 색상평균값에 대해 객체군집의 평균색상값과의 거리, 개별 블록별 색상평균값에 대해 배경군집의 평균색상값과의 거리를 산출하는 블록색상정보산출부(322), 그리고 상기 블록별면적산출부(321)와 블록색상정보산출부(322)에 의해 산출된 개별 블록에서의 객체면적, 배경면적, 색상값의 비교에 의해 개별 블록을 객체군집 또는 배경군집으로 라벨링처리하는 개별블록라벨링부(323) 등을 포함하여 마련된 것이다.
그리고 상기 블록별면적산출단계(S321)는 수학식 6에 의하여 개별 블록에 대한 객체면적값, 배경면적값을 산출하는 것이다.
(수학식 6)
Figure 112012082990421-pat00012
(
Figure 112012082990421-pat00013
는 개별 블록 중에서 객체의 면적값,
Figure 112012082990421-pat00014
는 개별 블록 중에서 배경의 면적값,
Figure 112012082990421-pat00015
는 객체의 면적값,
Figure 112012082990421-pat00016
는 배경의 면적값,
Figure 112012082990421-pat00017
는 분할된 영상의 개별 블록),
또한 상기 블록색상정보산출단계(S322)는 수학식 7, 수학식 8에 의하여 개별 블록의 색상평균값에 대해 객체군집과 배경군집 각각의 평균색상값을 산출하는 것이다.
(수학식 7)
Figure 112012082990421-pat00018
,
(
Figure 112012082990421-pat00019
는 개별 블록의 평균색상과 객체의 평균색상의 거리,
Figure 112012082990421-pat00020
는 개별 블록의 평균색상과 배경의 평균색상의 거리,
Figure 112012082990421-pat00021
는 각 블록의 평균색상,
Figure 112012082990421-pat00022
는 객체의 평균색상,
Figure 112012082990421-pat00023
는 배경의 평균색상).
(수학식 8)
Figure 112012082990421-pat00024
,
(
Figure 112012082990421-pat00025
는 normalization 된 개별 블록과 객체 사이의 평균색상거리,
Figure 112012082990421-pat00026
는 normalization 된 개별 블록과 배경 사이의 평균색상거리).
그리고 상기 개별블록라벨링단계(S323)는 수학식 9에 의하여 개별 블록을 객체군집 또는 배경군집으로 라벨링처리하는 것이다.
(수학식 9)
Figure 112012082990421-pat00027

이와 같이 블록클러스터링처리단계(S320)의 블록별면적산출단계(S321), 블록색상정보산출단계(S322), 개별블록라벨링단계(S323)를 수행하여 객체군집과 배경군집이 판별되고 라벨링되어 객체의 관심영역을 추정하게 된다. 이처럼 객체의 관심영역이 추정된 영상 정보를 제공받은 GrabCut처리부(40)에 의하여 GrabCut처리단계(S400)를 수행함으로써, 도 5의 오른쪽 그림에서와 같이 객체의 결과영상 정보를 산출하게 된다.
이와 같이 마련되는 본 발명에 따른 GrabCut 기반의 Block Clustering을 이용한 자동객체분할방법 및 자동객체분할시스템(10)을 첨부된 도면들을 이용하여 설명하면 다름과 같다.
먼저 도 1에서와 같이 Initial Segmentation 과정(객체정보분석단계)으로 RGB 색상으로 구성된 영상 정보를 입력받는다. 그리고 K-means 알고리즘과 GMM 알고리즘을 이용하여 객체에 대한 대략적인 정보를 획득하게 된다. 이후 Automatic Initial Region of Interest Estimation using block clustering(객체관심영역추정단계) 과정에서 앞 과정에서 얻어진 분석정보를 이용하여 객체와 배경으로 대표되는 군집영역을 라벨링처리한 다음, Block Clustering 알고리즘에 의해 객체에 대한 관심영역을 산출하게 된다. 마지막으로 Object Segmentation 과정(GrabCut처리단계)에서는 앞 과정에서 얻어진 영상객체의 관심영역정보를 제공받아 GrabCut 알고리즘에 의해 배경으로부터 분할된 객체의 정보를 획득하는 것이다.
1) Initial Segmentation
이러한 일련의 과정 중에서 먼저 객체정보분석단계(S200, Initial Segmentation) 과정을 살펴보기로 한다. 이러한 객체정보분석단계는 입력되는 영상에서 객체(배경)에 대한 대략적인 정보를 얻기 위한 것이다.
a. K-means clustering
K-means clustering algorithm(K-means 클러스터링단계)은 객체에 대한 정보가 없더라도 비슷한 성분끼리 라벨링하는 대표적인 군집화 알고리즘이다. 여기서 K-means clustering algorithm은 다음 파트에서 사용될 GMM 알고리즘의 초기 파라메터 (평균, 공분산 등)를 추정하는데 사용된다.
b. GMM clustering
GMM(Gaussian Mixture Model) clustering algorithm(GMM처리단계)은 주어진 표본 자료 집합의 분포 밀도를 단 하나의 확률 밀도 함수로 모델링하는 방법을 개선한 밀도 추정방법으로, 복수 개의 가우시안 확률밀도 함수로 자료 분포를 모형화하는 방법이다. 전체 확률 밀도 함수가 M 개인 GMM은 수학식 1과 같이 표현된다.
Figure 112012082990421-pat00028
여기서 x는 D-dimensional (R, G, B) continuous-valued 자료,
Figure 112012082990421-pat00029
(i = 1, ......, M)는 자료 x에 대해서
Figure 112012082990421-pat00030
(평균벡터) 째 성분 파라미터
Figure 112012082990421-pat00031
(공분산)로 이루어진 확률밀도함수를 의미하며,
Figure 112012082990421-pat00032
는 혼합 가중치(mixture weight)이다.
본 발명에서 GMM 알고리즘은 앞의 K-means clustering 과정에 의해 얻어진 GMM 초기 값을 이용하여 입력영상을 "배경군집", "중립군집", "객체군집"으로 대표되는 3개의 군집으로 분할하고, 최적화시키기 위해서 EM(Expectation - Maximization) algorithm을 사용한다. 도 2는 이러한 GMM 처리단계에 의해 3개의 군집으로 분할된 영상을 보여주는 것이다.
2) Automatic Initial Region of Interest Estimation using Block clustering
본 Automatic Initial Region of Interest Estimation using Block clustering(객체관심영역추정단계)는 앞 과정(객체정보분석단계, Initial Segmentation)의 결과를 이용하여 수행하는 것이며, 영상 객체 주변의 관심영역을 설정하는 것이다. 이러한 과정의 결과정보는 다음 과정인 GrabCut의 관심영역을 자동으로 그릴 때 사용되는 것이다.
a. Labeling class
본 Labeling class 과정(군집라벨링처리단계)는 앞 과정인 Initial Segmentation(객체정보분석단계)에서 입력된 영상을 3개의 군집으로 나눈 GMM 처리의 결과를 객체군집, 배경군집, 중립군집 등으로 라벨링 처리하는 것이다. 이를 위해 각 군집들의 분산정보와 함께 영상의 외곽영역 정보를 분석하게 된다.
먼저 각 군집들을 포함하는 클래스의 분산정보를 이용하는 것으로, 분산정보의 분석을 통하여 볼 때 배경군집은 객체군집보다 큰 분산을 이루게 된다(군집분산정보분석단계). 다음으로 외곽영역 정보체크를 수행함에 의하여, 배경군집에 해당하는 군집 부분은 외곽영역에 분포하게 되므로 외곽영역 정보를 분석함으로써 배경군집을 분석할 수 있을 것이다(외곽정보분석단계).
이에 수학식 2는 각 군집의 픽셀정보를 분석하여 분산정보를 획득하는 식이다.
Figure 112012082990421-pat00033
여기서 'area'는 영상(클래스) 전체 면적, x와 y는 클래스에서 축들, C는 클래스,
Figure 112012082990421-pat00034
와
Figure 112012082990421-pat00035
는 두 축의 평균값이 된다.
이러한 수학식 2에서 얻어진 각 군집들의 분산값을 normalization 하기 위해 수학식 3을 이용한다.
Figure 112012082990421-pat00036
이러한 분산값의 처리에 의하면 배경군집의 분산값이 크게 되고 반면 제일 작은 분산값은 객체군집으로 판별될 것이므로, 각각의 분산값 정보로 하여 "배경군집"과, "객체군집"으로 라벨링 처리하는 것이다.
다음으로 외곽영역 정보를 판별하는 것으로 수학식 4를 이용한다.
Figure 112012082990421-pat00037
여기서 G는 각 군집 정보(each Gaussian area), τ는 외곽영역(total boundary region)이다.
이에 FG(Foreground, 객체군집)과 BG(Background, 배경군집)의 크기를 비교하여 계산 결과가 더 작게 나온 쪽으로 입력 픽셀을 라벨링한다. 이것은 수학식 4와 같이 표현된다. 이러한 수학식 4는 각 군집이 외곽영역 안에서 어느 정도 영역을 차지하고 있는가를 측정하는 것이다.
이상의 수학식 2 내지 수학식 4 등에 의해서 얻어진 정보를 이용하여, 분산값이 가장 큰 값을 지닌 군집을 "배경군집"으로, 작은 값을 갖는 군집을 "객체군집"으로 라벨링한다. 또한 중간 값은 "중립군집"으로 영역을 산출한다.
다음 과정은 중립군집이 되는 영역을 배경군집이 아니면 객체군집으로 라벨링하는 과정이다(중립군집라벨링단계). 이에 수학식 5는 중립군집에 대해 앞서 얻어진 배경군집과 객체군집의 값과의 유클리디안 거리를 계산하여 더 가까운 쪽으로 라벨링처리하는 것이다.
Figure 112012082990421-pat00038
여기서 foreground는 객체군집, background는 배경군집,
Figure 112012082990421-pat00039
는 중립영역의 분산,
Figure 112012082990421-pat00040
는 외곽영역 안에서 중립영역이 차지하고 있는 면적값,
Figure 112012082990421-pat00041
와
Figure 112012082990421-pat00042
는 각각 객체의 분산과 배경의 분산,
Figure 112012082990421-pat00043
와
Figure 112012082990421-pat00044
는 각각 외곽영역 안에 객체와 배경이 차지하고 있는 면적값이다.
도 3은 앞선 GMM 처리단계에 의한 영상을 군집라벨링처리단계에 의해 배경군집, 객체군집, 그리고 중립군집(배경 또는 객체)으로 라벨링 처리하여 객체 영역을 추정한 결과를 나타낸 예시도이다.
b. Block clustering
본 Block clustering(블록클러스터링처리단계)는 앞선 과정(군집라벨링처리단계)에서 추정된 영상을 소정 수의 블록으로 분할하여 처리함으로써 객체군집의 영역 정보를 처리하여, 이후 GrabCut의 처리시 객체의 관심영역을 설정하기 위한 것이다.
먼저 입력된 영상을 소정의 수의 블록으로 나누게 된다. 본 발명에서 예시하고 있는 실시예시에서는 10 * 10, 즉 100개의 블록으로 나누어 처리하는 것으로 예시할 수 있으며, 이러한 블록의 수는 처리되는 영상의 상태나 용량, 처리 시스템의 상태 등에 따라 알맞게 정하여질 수 있을 것이다.
이처럼 소정 수로 나눈 각 블록은 객체 주변의 사각형(관심영역)을 설정하기 위해 이전 과정(군집라벨링처리단계, Labeling Class)에서의 영상 처리 결과 정보를 이용하여, 배경군집, 객체군집으로 라벨링한다.
다음으로 각 블록들에 대해서 2가지 특징요소를 산출하게 된다. 첫째는 각 군집이 개별 블록 내에서 차지하고 있는 면적값을 산출한다. 두 번째는 개별 블록 내의 색상평균에 대해서, 객체군집으로 대표되는 블록의 색상평균 및 배경군집으로 대표되는 블록의 색상평균 등과의 거리를 비교한다. 이 과정은 수학식 6 내지 수학식 8 등에 의해서 처리된다.
Figure 112012082990421-pat00045
여기서
Figure 112012082990421-pat00046
는 개별 블록 중에서 객체의 면적값(each Gaussian),
Figure 112012082990421-pat00047
는 개별 블록 중에서 배경의 면적값(each Gaussian),
Figure 112012082990421-pat00048
는 객체의 면적값,
Figure 112012082990421-pat00049
는 배경의 면적값,
Figure 112012082990421-pat00050
는 분할된 영상의 개별 블록이다.
즉 수학식 6에 의해 개별 블록 안에 객체와 배경이 각각 어느 정도 면적을 차지하는가를 산출하게 된다.
Figure 112012082990421-pat00051
여기서
Figure 112012082990421-pat00052
는 개별 블록의 평균색상과 객체의 평균색상의 거리,
Figure 112012082990421-pat00053
는 개별 블록의 평균색상과 배경의 평균색상의 거리,
Figure 112012082990421-pat00054
는 각 블록의 평균색상,
Figure 112012082990421-pat00055
는 객체의 평균색상,
Figure 112012082990421-pat00056
는 배경의 평균색상이다.
그리고 이것을 normalization을 하기 위해 수학식 8을 이용한다.
Figure 112012082990421-pat00057
여기서
Figure 112012082990421-pat00058
는 normalization 된 개별 블록과 객체 사이의 평균색상거리,
Figure 112012082990421-pat00059
는 normalization 된 개별 블록과 배경 사이의 평균색상거리가 된다.
이처럼 개별 블록들에 대해 객체와 배경이 차지하는 면적(Bf, Bg)과 개별 블록들의 평균색상에 대해 객체의 블록의 평균색상 및 배경의 블록의 평균색상 등과의 거리 등을 적용한 수학식 9를 이용하여 해당 블록을 객체군집과 배경군집으로 라벨링 처리하는 것이다.
Figure 112012082990421-pat00060
이상의 과정을 거치게 되면 최종적인 객체군집 주변의 관심영역(도 7의 오른쪽에서 두 번째 그림에서 사각형)의 데이터를 산출하게 되는 것이며, 도 4의 그림들은 이러한 Block Clustering의 처리 과정을 보여주는 것이다.
3) Object Segmentation
이러한 Object Segmentation(GrabCut처리단계)는 앞선 과정(객체관심영역추정단계)에 의해서 추정된 객체의 관심영역에 대해 GrabCut 알고리즘을 이용해서 객체를 분할하는 것이다. 이에 적용되는 일반적인 GrabCut algorithm을 적용함에 있어서, 영상에서 객체를 분할하는데 강력한 알고리즘인 것으로 본 발명에서는 GrabCut 알고리즘을 이용하기에 앞서 객체의 관심영역을 설정함에 관리자에 의한 지정하는 종래기술의 문제점에 대해서, 본 발명에 따른 자동객체분할방법을 적용함으로써, 객체의 관심영역 설정과정을 자동화하는 것이다.
4) 유효 실험예
이상에서와 같이 마련되는 본 발명에 따른 GrabCut 기반의 Block Clustering을 이용한 자동객체분할방법(자동객체분할시스템)을 적용하여 분석하는 영상 및 처리의 과정의 예로는 도 5의 예시와 같다. 또한 본 발명에 적용될 수 있는 영상은 250X210부터 450X420 까지를 비롯한 다양한 크기의 영상을 사용할 수 있을 것이다.
본 발명에 대한 유효 실험예로는 영상의 객체 주위의 관심영역을 직접 그려서 나온 결과(original)와, 본 발명에 의해서 자동으로 분할된 객체의 관심영역의 설정에 의한 결과(proposed method)를 이용하였다.
이러한 두 가지 방법에 의해서 분할된 영상(segmented image)들은 Ground truth 영상과 비교하여 수학식 10을 이용하여 점수를 만들었다. 수학식 10을 보면 Ground truth 영상과 분할된 영상(segmented image)이 유사할수록 스코어 S가 1에 근접함을 알 수 있다.
Figure 112012082990421-pat00061
아래 표 1은 수학식 10에 의해서 모든 영상에 대해 계산한 결과이다. 두 가지로 나누어지는데 average는 평균이고 standard deviation은 표준편차이다. 평균의 경우 높을수록 좋고 표준편차는 낮을수록 높은 성능을 지닌다고 할 것이다.
method average standard deviation
Grab Cut (original) 0.94 0.03
proposed method 0.90 0.04
실험결과를 보면 original GrabCut, 즉 사용자에 의해 관심영역이 지정된 종래의 실시의 경우와, 본 발명에 의해 제안된 방법에 의한 처리에 있어서 성능이 거의 유사하게 나옴을 알 수 있다. 즉 본 발명에 의한 방법을 이용하더라도 종래 사용자가 일일이 지정하는 것처럼 유사하게 나오는 반면 본 발명에 의해서는 자동을 처리되고 빠르게 처리되므로 보다 효율이 월등한 것이라고 볼 것이다. 따라서 본 발명에서는 전 과정을 자동화시켰고 성능 또한 original GrabCut과 유사하게 나옴으로써 실제적으로 성능이 향상된 것임을 알 수 있다.
이상으로 본 발명의 실시예에 대하여 상세히 설명하였으나, 이는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 일실시예를 기재한 것이므로, 상기 실시예의 기재에 의하여 본 발명의 기술적 사상이 제한적으로 해석되어서는 아니 된다.
10 : 자동객체분할시스템 20 : 객체정보분석부
30 : 객체관심영역추정부 31 : 군집라벨링처리부
311 : 군집분산정보분석부 312 : 외곽정보분석부
313 : 중립군집라벨링부 32 : 블록클러스터링처리부
321 : 블록별면적산출부 322 : 블록색상정보산출부
323 : 개별블록라벨링부
40 : GrabCut처리부

Claims (15)

  1. 영상의 객체정보 및 배경정보를 분석하는 객체정보분석단계;
    배경과 객체의 분할정보를 포함한 영상정보에 대해서 객체의 관심영역을 추정하는 객체관심영역추정단계; 및
    상기 객체관심영역추정단계에 의해 분석된 객체의 관심영역의 정보를 이용하여 GrabCut 알고리즘에 의해 객체를 분할하는 GrabCut처리단계;
    를 갖되,
    상기 객체관심영역추정단계는:
    영상정보에 대해서 배경군집, 중립군집, 객체군집에 대해 라벨링처리 및 객체의 영역추정을 수행하는 군집라벨링처리단계;
    를 포함하는 것을 특징으로 하는 자동객체분할방법.
  2. 배경과 객체의 분할정보를 포함한 영상정보에 대해서 객체의 관심영역을 추정하는 객체관심영역추정단계를 포함하는데,
    상기 객체관심영역추정단계는,
    영상의 군집분산정보를 분석하여 분산영역의 크기에 따라 군집을 분별하고,
    영상을 소정 개수의 블록으로 분할하고 개별 블록 내의 객체면적과 배경면적, 그리고 블록의 색상평균값에 따라서 객체군집과 배경군집으로 판별하는 것을 특징으로 하는 자동객체분할방법.
  3. 제 2항에 있어서,
    상기 객체관심영역추정단계는:
    영상정보에 대해서 배경군집, 중립군집, 객체군집에 대해 라벨링처리 및 객체의 영역추정을 수행하는 군집라벨링처리단계;
    를 포함하는 것을 특징으로 하는 자동객체분할방법.
  4. 제 1항 또는 제 3항에 있어서,
    상기 군집라벨링처리단계는:
    영상의 배경, 중립, 객체로 분석된 배경군집, 중립군집, 객체군집에 대해 라벨링하기 위해 각 군집의 분산정보를 분석하는 군집분산정보분석단계; 및
    영상의 외곽영역정보를 분석하는 외곽정보분석단계;
    를 포함하는 것을 특징으로 하는 자동객체분할방법.
  5. 제 4항에 있어서,
    상기 군집분산정보분석단계는 배경군집, 중립군집, 객체군집 중에서 분산영역이 큰 군집을 배경군집으로 판별하고, 분산영역이 작은 군집을 객체군집으로 판별하는 것을 특징으로 하는 자동객체분할방법.
  6. 제 4항에 있어서,
    상기 군집분산정보분석단계는 수학식 2에 의해 각 군집의 분산정보를 산출하는 단계; 및
    (수학식 2)
    Figure 112012082990421-pat00062
    ,
    ('area'는 영상(클래스) 전체 면적, x와 y는 클래스에서 축들, C는 클래스,
    Figure 112012082990421-pat00063
    와
    Figure 112012082990421-pat00064
    는 두 축의 평균값),
    상기 외곽정보분석단계(S312)는 수학식 4에 의해 각 군집의 외곽정보를 산출하는 단계;
    (수학식 4)
    Figure 112012082990421-pat00065
    ,
    (G는 각 군집 정보(each Gaussian area), τ는 외곽영역(total boundary region)),
    를 포함하는 것을 특징으로 하는 자동객체분할방법.
  7. 제 1항 또는 제 3항에 있어서,
    상기 중립군집에 대해 수학식 5에 의해 배경군집 또는 객체군집으로 라벨링처리하는 중립군집라벨링단계;
    (수학식 5)
    Figure 112013107798639-pat00066

    (foreground는 객체군집, background는 배경군집,
    Figure 112013107798639-pat00067
    는 중립영역의 분산,
    Figure 112013107798639-pat00068
    는 외곽영역 안에서 중립영역이 차지하고 있는 면적값,
    Figure 112013107798639-pat00069
    와
    Figure 112013107798639-pat00070
    는 각각 객체의 분산과 배경의 분산,
    Figure 112013107798639-pat00071
    와
    Figure 112013107798639-pat00072
    는 각각 외곽영역 안에 객체와 배경이 차지하고 있는 면적값),
    를 포함하는 것을 특징으로 하는 자동객체분할방법.
  8. 제 1항 또는 제 2항에 있어서,
    상기 객체관심영역추정단계는:
    객체 영역의 정보를 포함한 영상을 소정의 개수의 블록으로 분할하고 블록으로 분할된 영상에서 객체의 관심영역을 추정하는 블록클러스터링처리단계;
    를 포함하는 것을 특징으로 하는 자동객체분할방법.
  9. 제 8항에 있어서,
    상기 블록클러스터링처리단계는,
    개별 블록에서 객체군집에 해당하는 블록내 객체면적값, 개별 블록에서 배경군집에 해당하는 블록내 배경면적값을 산출하는 블록별면적산출단계;
    개별 블록별 색상평균값에 대해 객체군집의 평균색상값과의 거리, 개별 블록별 색상평균값에 대해 배경군집의 평균색상값과의 거리를 산출하는 블록색상정보산출단계; 및
    상기 블록별면적산출단계와 블록색상정보산출단계에 의해 산출된 개별 블록에서의 객체면적, 배경면적, 색상값의 비교에 의해 개별 블록을 객체군집 또는 배경군집으로 라벨링처리하는 개별블록라벨링단계;
    를 포함하는 것을 특징으로 하는 자동객체분할방법.
  10. 제 9항에 있어서,
    상기 블록별면적산출단계는 수학식 6에 의하여 개별 블록에 대한 객체면적값, 배경면적값을 산출하고,
    상기 블록색상정보산출단계는 수학식 7, 수학식 8에 의하여 개별 블록의 색상평균값에 대해 객체군집과 배경군집 각각의 평균색상값을 산출하며,
    상기 개별블록라벨링단계는 수학식 9에 의하여 개별 블록을 객체군집 또는 배경군집으로 라벨링처리하는 것을 특징으로 하는 자동객체분할방법.

    (수학식 6)
    Figure 112012082990421-pat00073
    ,
    (
    Figure 112012082990421-pat00074
    는 개별 블록 중에서 객체의 면적값,
    Figure 112012082990421-pat00075
    는 개별 블록 중에서 배경의 면적값,
    Figure 112012082990421-pat00076
    는 객체의 면적값,
    Figure 112012082990421-pat00077
    는 배경의 면적값,
    Figure 112012082990421-pat00078
    는 분할된 영상의 개별 블록),
    (수학식 7)
    Figure 112012082990421-pat00079
    ,
    (
    Figure 112012082990421-pat00080
    는 개별 블록의 평균색상과 객체의 평균색상의 거리,
    Figure 112012082990421-pat00081
    는 개별 블록의 평균색상과 배경의 평균색상의 거리,
    Figure 112012082990421-pat00082
    는 각 블록의 평균색상,
    Figure 112012082990421-pat00083
    는 객체의 평균색상,
    Figure 112012082990421-pat00084
    는 배경의 평균색상),
    (수학식 8)
    Figure 112012082990421-pat00085
    ,
    (
    Figure 112012082990421-pat00086
    는 normalization 된 개별 블록과 객체 사이의 평균색상거리,
    Figure 112012082990421-pat00087
    는 normalization 된 개별 블록과 배경 사이의 평균색상거리),
    (수학식 9)
    Figure 112012082990421-pat00088
    .
  11. 제 1항에 있어서,
    상기 객체정보분석단계는:
    K-means 알고리즘에 의해 대상이 되는 영상에 대한 군집화알고리즘을 수행하는 K-means 클러스터링단계; 및
    혼합가중치(mixture weight)에 따른 GMM알고리즘의 수행으로 대상이 되는 영상을 "배경", "중립", "객체"로 하여 영상을 분할하는 GMM처리단계;
    를 포함하는 것을 특징으로 하는 자동객체분할방법.
  12. 영상의 객체정보 및 배경정보를 분석하는 객체정보분석부;
    배경과 객체의 분할정보를 포함한 영상정보에 대해서 객체의 관심영역을 추정하는 객체관심영역추정부; 및
    상기 객체관심영역추정부에 의해 분석된 객체의 관심영역의 정보를 이용하여 GrabCut 알고리즘에 의해 객체를 분할하는 GrabCut처리부;
    를 포함하고,
    상기 객체관심영역추정부는,
    영상의 군집분산정보를 분석하여 분산영역의 크기에 따라 군집을 분별하고,
    영상을 소정 개수의 블록으로 분할하고 개별 블록 내의 객체면적과 배경면적, 그리고 블록의 색상평균값에 따라서 객체군집과 배경군집으로 판별하는 것을 특징으로 하는 자동객체분할시스템.
  13. 제 12항에 있어서,
    상기 객체관심영역추정부는:
    영상정보에 대해서 배경군집, 중립군집, 객체군집에 대해 라벨링처리 및 객체의 영역추정을 수행하는 군집라벨링처리부; 및
    객체 영역의 정보를 포함한 영상을 소정의 개수의 블록으로 분할하고 블록으로 분할된 영상에서 객체의 관심영역을 추정하는 블록클러스터링처리부;
    를 포함하는 것을 특징으로 하는 자동객체분할시스템.
  14. 제 13항에 있어서,
    상기 군집라벨링처리부는:
    영상의 배경, 중립, 객체로 분석된 배경군집, 중립군집, 객체군집에 대해 라벨링하기 위해 각 군집의 분산정보를 분석하는 군집분산정보분석부;
    영상의 외곽영역정보를 분석하는 외곽정보분석부; 및
    상기 중립군집에 대해 배경군집 또는 객체군집으로 라벨링처리하는 중립군집라벨링부;
    를 포함하는 것을 특징으로 하는 자동객체분할시스템.
  15. 제 13항에 있어서,
    상기 블록클러스터링처리부는:
    개별 블록에서 객체군집에 해당하는 블록내 객체면적값, 개별 블록에서 배경군집에 해당하는 블록내 배경면적값을 산출하는 블록별면적산출부;
    개별 블록별 색상평균값에 대해 객체군집의 평균색상값과의 거리, 개별 블록별 색상평균값에 대해 배경군집의 평균색상값과의 거리를 산출하는 블록색상정보산출부; 및
    상기 블록별면적산출부와 블록색상정보산출부에 의해 산출된 개별 블록에서의 객체면적, 배경면적, 색상값의 비교에 의해 개별 블록을 객체군집 또는 배경군집으로 라벨링처리하는 개별블록라벨링부;
    를 포함하는 것을 특징으로 하는 자동객체분할시스템.
KR1020120113457A 2012-10-12 2012-10-12 Ｂｌｏｃｋ Ｃｌｕｓｔｅｒｉｎｇ 을 이용한 관심영역기반 자동객체분할방법 및 자동객체분할시스템 KR101394895B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120113457A KR101394895B1 (ko) 2012-10-12 2012-10-12 Ｂｌｏｃｋ Ｃｌｕｓｔｅｒｉｎｇ 을 이용한 관심영역기반 자동객체분할방법 및 자동객체분할시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120113457A KR101394895B1 (ko) 2012-10-12 2012-10-12 Ｂｌｏｃｋ Ｃｌｕｓｔｅｒｉｎｇ 을 이용한 관심영역기반 자동객체분할방법 및 자동객체분할시스템

Publications (2)

Publication Number Publication Date
KR20140047331A KR20140047331A (ko) 2014-04-22
KR101394895B1 true KR101394895B1 (ko) 2014-05-14

Family

ID=50653941

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120113457A KR101394895B1 (ko) 2012-10-12 2012-10-12 Ｂｌｏｃｋ Ｃｌｕｓｔｅｒｉｎｇ 을 이용한 관심영역기반 자동객체분할방법 및 자동객체분할시스템

Country Status (1)

Country Link
KR (1) KR101394895B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107730528A (zh) * 2017-10-28 2018-02-23 天津大学 一种基于grabcut算法的交互式图像分割与融合方法
US10163000B2 (en) 2015-01-14 2018-12-25 Samsung Electronics Co., Ltd. Method and apparatus for determining type of movement of object in video

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104021566A (zh) * 2014-06-24 2014-09-03 天津大学 基于GrabCut算法的舌诊图像自动分割方法
CN106651898B (zh) * 2016-11-08 2019-05-28 河海大学 一种基于蒙版插值的快速Grabcut算法
CN110348277A (zh) * 2018-11-30 2019-10-18 浙江农林大学 一种基于自然背景下的树种图像识别方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090084460A (ko) * 2008-02-01 2009-08-05 삼성전자주식회사 동영상의 객체 경계 추정 방법
KR20110043279A (ko) * 2009-10-21 2011-04-27 한양대학교 산학협력단 관심 객체 추출 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090084460A (ko) * 2008-02-01 2009-08-05 삼성전자주식회사 동영상의 객체 경계 추정 방법
KR20110043279A (ko) * 2009-10-21 2011-04-27 한양대학교 산학협력단 관심 객체 추출 장치 및 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
오강한 외3, "GMM 기법과 RGB 클러스터링을 결합한 꽃 영역 분할", 한국정보과학회 학술발표논문집 Vol.38, No.2(B), pp.415-418, 2011.11. *
오강한 외3, "관심영역 추정 및 색상/거리 특징기반 분류기를 이용한 꽃 영역 자동 분할", 정보과학회논문지, 소프트웨어 및 응용 제39권 제9호, pp.759-766, 2012.09. *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10163000B2 (en) 2015-01-14 2018-12-25 Samsung Electronics Co., Ltd. Method and apparatus for determining type of movement of object in video
CN107730528A (zh) * 2017-10-28 2018-02-23 天津大学 一种基于grabcut算法的交互式图像分割与融合方法

Also Published As

Publication number Publication date
KR20140047331A (ko) 2014-04-22

Similar Documents

Publication Publication Date Title
US10497121B2 (en) Method and system for extracting a main subject of an image
KR101394895B1 (ko) Ｂｌｏｃｋ Ｃｌｕｓｔｅｒｉｎｇ 을 이용한 관심영역기반 자동객체분할방법 및 자동객체분할시스템
Chang et al. Nuclear segmentation in H&E sections via multi-reference graph cut (MRGC)
EP1699016A2 (en) Method and apparatus for automated analysis of biological specimen
CA2557122A1 (en) A system and method for toboggan based object segmentation using divergent gradient field response in images
Wuest et al. Region based segmentation of QuickBird multispectral imagery through band ratios and fuzzy comparison
CN106127735B (zh) 一种设施蔬菜边缘清晰类叶面病斑分割方法及装置
WO2007044037A1 (en) Robust perceptual color identification
US20180228426A1 (en) Image Processing System and Method
Bora et al. A new approach towards clustering based color image segmentation
Galsgaard et al. Circular hough transform and local circularity measure for weight estimation of a graph-cut based wood stack measurement
Lee et al. Blurred image region detection and segmentation
CN106909883A (zh) 一种基于ros的模块化手部区域检测方法和装置
Michail et al. Detection of centroblasts in h&e stained images of follicular lymphoma
Nguyen et al. Using contextual information to classify nuclei in histology images
JP2019514115A5 (ko)
Molina-Giraldo et al. Image segmentation based on multi-kernel learning and feature relevance analysis
Cai et al. Co-segmentation of aircrafts from high-resolution satellite images
JP2013097584A (ja) 画像処理装置、方法及びプログラム
JP2016081472A (ja) 画像処理装置、画像処理方法及びプログラム
JP6429323B2 (ja) オブジェクト抽出方法および装置
Gim et al. A novel framework for white blood cell segmentation based on stepwise rules and morphological features
CN109977816B (zh) 一种信息处理方法、装置、终端及存储介质
Kang et al. Automatic image segmentation using saliency detection and superpixel graph cuts
Sánchez-Galán et al. Recognition of multiple panamanian watermelon varieties based on feature extraction analysis

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170427

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180427

Year of fee payment: 5