KR100294924B1 - 영상분할 장치 및 방법 - Google Patents

영상분할 장치 및 방법 Download PDF

Info

Publication number
KR100294924B1
KR100294924B1 KR1019990023948A KR19990023948A KR100294924B1 KR 100294924 B1 KR100294924 B1 KR 100294924B1 KR 1019990023948 A KR1019990023948 A KR 1019990023948A KR 19990023948 A KR19990023948 A KR 19990023948A KR 100294924 B1 KR100294924 B1 KR 100294924B1
Authority
KR
South Korea
Prior art keywords
regions
area
region
areas
image
Prior art date
Application number
KR1019990023948A
Other languages
English (en)
Other versions
KR20010003590A (ko
Inventor
강동중
이성덕
김지연
김창용
서양석
Original Assignee
윤종용
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 윤종용, 삼성전자 주식회사 filed Critical 윤종용
Priority to KR1019990023948A priority Critical patent/KR100294924B1/ko
Priority to US09/562,029 priority patent/US6606408B1/en
Priority to JP2000188851A priority patent/JP2001043380A/ja
Publication of KR20010003590A publication Critical patent/KR20010003590A/ko
Application granted granted Critical
Publication of KR100294924B1 publication Critical patent/KR100294924B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/162—Segmentation; Edge detection involving graph-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

본 발명은 영상분할 장치 및 방법에 관한 것으로, 영상분할 장치는 입력 영상의 색신호를 소정 신호들을 기반으로하는 색공간으로 변환하여 입력 영상의 색화소들이 색공간에서 차지하는 위치에 따라 입력 영상을 복수의 영역으로 분할하는 초기 영상 분할부; 분할된 영역들의 수평적 인접관계 및 수직적 포함관계에 따라 분할된 영역들을 복수의 계층으로 나누고, 각 계층내에서 인접하는 영역들을 그루핑하여 영역그룹을 형성하며 각 계층마다 형성된 영역그룹들간의 수직적 포함관계를 추출하는 영역 구조화부; 및 각 영역들의 수평적 인접관계 및 영역그룹들간의 수직적 포함관계에 따라 각 영역들의 결합순위를 결정하고, 결정된 결합순위에 따라 인접 영역간 결합여부를 평가하며 평가된 두 영역이 실질적으로 동일 영역으로 판단되면 두 영역을 결합하는 과분할 영역 결합부를 포함함을 특징으로한다.
본 발명에 따르면, 영상분할 시 RAG에서 비록 인접하는 영역관계를 나타내더라도 그 계층적 구조에 따라 결합이 배제되거나 결합 순위가 재배치되어 영역상호간의 구조적 포함(surrounding) 관계를 추출함으로써, 하이라이트 영역과 같이 색신호의 유사성이 성립하지 않는 두 영역간에서도 포함관계의 성립으로부터 그 상호 관계를 유추할 수 있다.

Description

영상분할 장치 및 방법{Apparatus and method for image segmentation}
본 발명은 영상분할 장치 및 방법에 관한 것으로, 특히 카메라 센서로부터 입력된 영상이나 비디오 영상에서 동일한 색의 물체 영역을 분할하거나 의미있는 영상영역을 추출하는 영상분할 장치 및 방법에 관한 것이다.
일반적으로 영상은 R,G,B의 3가지 신호로 이루어져있고, 영상분할은 입력 색신호로 이루어진 영상에서 동일색 영역이나 동일 물체 영역을 추출한다. 이러한 영상추출 데이터는 객체기반 영상정보 처리를 위한 영상분석, 영상압축, 영상인식 그리고 자동화 응용 등과 같은 디지털 영상처리와 관련된 분야에서 유용하게 사용될 수 있다. 색신호에 기반한 대부분의 영상영역 분할 방법은 보통 입력 색신호를 여러 다른 형태의 색공간으로 투영하여 그 밀집도를 추출하거나 영상영역에서의 각 색화소들의 공간 인접성(local adjacency)등을 이용하여 분할한다. 이러한 영역분할 방법에 있어서 문제점은 영상 형성에 관계하는 다양한 환경과 조건으로 인한 복잡성과 영상 분할 방법의 한계등으로 인해 동일물체나 동일색 영역의 물체라도 입력된 영상에서 동일한 색특성을 나타나지 않는다는 것에 있다. 이러한 색특성은 영상영역 분할시 과도하게 많은 잡음영역을 유발시키며, 잡음 영역은 그 색특성이나 밝기 특성이 원래 물체의 색특성과 전혀 다르거나 상당한 일탈을 나타내면서 존재하게 된다.
상술한 문제점을 해결하기위해서 셰티니(R. Schettini, Pattern Recognition Letter 14: 1993)와 베버리지(R. Beveridge, IJCV 2: 1989)는 초기 영상분할 후 발생한 잡음영역을 각 분할영역이 가지고 있는 색정보를 사용하여 제거하는 방법을사용하였다. 이러한 방법은 주로 색공간에서 유클리디안 거리(Eucledian distance) 또는 확률적 거리(probabilistic distance) 등을 통해 인접 영역과의 거리를 측정하여 보다 가까운 색차를 나타내는 인접 영역과 융합시키는 것이다. 그러나 이 방법들은 다음과 같은 문제점을 갖는다.
1. 동일물체나 동일칼라에서 분할된 두 인접한 영상영역에서조차도 많은 경우 색정보의 유사성이 나타나지 않아 결합이 어려워진다.
2. 인접 영역간의 순차적 영역융합은 그 융합 순서에 따라 결과가 크게 달라진다.
3. 모든 인접 영역들에 대해 결합 평가를 다 수행해 주어야 한다.
4. 각 초기분할 영역이 영상에서 차지하는 중요도나 크기, 영역간의 구조적인 포함 정보등을 전혀 사용할 수 없다.
영상을 형성하는 중요한 요소들로는 조명(illuminant), 물체의 형상(shape) 및 이들의 기하학적인 상호 배치(geometry), 관찰자나 영상입력장치의 상호 위치등이 있다. 이상적인 영상분할은 이러한 영상 형성의 여러 조건에도 불구하고 인간의 인지와 유사한 형태로 의미 있는 물체나 동일색 영역을 배경이나 다른 물체와 효과적으로 분할 해 내는 것이다. 일반적으로 동일물체나 동일 칼라를 이루는 배경 또는 물체의 경우, 다양하게 발생하는 상호 공간 배치와 물체 자체형상의 영향으로 음영영역이나 그림자 영역이 발생하게 되며 이러한 영역들은 영상분할을 어렵게 만드는 주 요인들이 된다. 즉, 칼라 또는 밝기분포 정보를 이용하여 영상영역 분할시 이러한 영역들은 독립된 칼라 특성이나 밝기 분포를 가지기 때문에 독립적인 영역으로 추출된다. 그러나 이렇게 추출된 영역을 제거하여 영상을 분할한다면, 영상에서 의미있는 물체의 분리에 큰 영향이 미치며 분할작업이 어렵게된다. 예를 들면, 음영영역을 제거하기위해 색공간에서 인접한 물체 영역과의 색정보의 유사성을 이용하였으나, 보통 음영영역에서 색정보는 전체적인 색강도 약화에 의해 사라지거나 영상 잡음의 영향으로 색정보의 일관성이 사라지게 된다. 따라서 색정보의 유사성만을 이용하는 방법으로는 효과적으로 주변 영역들을 결합시키기가 힘들게 된다. 이러한 경우 영역들 사이의 에지정보 등의 기하학적 정보나 상호 배치관계, 인접하는 정도 등의 위상학적 정보(topological information)가 유용하게 사용된다.
또한 셰티니가 지적한 것처럼 초기 영역 분할후 주로 영상영역간의 인접조건을 나타내는 그라프(RAG: Region Adjacent Graph; Matas, Int. Conf. on Computer Vision, 1995)를 이용하여 후처리함으로써 영역을 결합하는 방법이 있다. 그러나 이러한 수평구조의 인접조건으로는 유사한 특성을 나타내는 영역들간의 결합순서를 결정하기가 힘들게 된다. 예를 들어, 초기 영역분할 후 발생하는 영역들간의 관계를 RAG로 나타내면, 각 영역들을 나타내는 노드들 및 서로 접하는 영역들에 대해 노드들을 연결하는 가지들로 이루어진 이진 그라프(binary graph)들이 형성된다. 형성된 그라프들은 각 가지들의 방향성이 없는 수평구조의 그라프가 된다. 어느 한 영역이, 그 영역과 접하는 여러 개의 다른 영역들을 가지고 있다고 가정한다면 그 영역을 어느 영역과 먼저 결합 시켜야 하는지가 관심사가 된다. 비록 영역 Ri가 Rj와 가장 유사한 색특성을 보여서 Ri가 Rj와 융합되고 마찬가지로 Rj는 Rk와 색특성이가장 유사해서 융합된다고 할때, Ri와 Rk는 색특성이 서로 다를 수 있다는 것이다. 서로 다른 결합순서는 완전히 다른 분할 결과를 줄 수 있다. 따라서 영역결합이 순차적(sequential)으로 수행되기 힘들게 되는 상황이 나타나게 된다.
로젠펠드(Rosenfeld, Digital Picture Processing, Academic Press, 1982)는 상술한 문제점을 해결하기위해 두 영역들간의 가장 유사한 쌍(pair)들을 결합시키고 다시 RAG를 갱신시키는 방법의 반복을 통해 영역 결합의 순서를 개선하였으나, 이 방법 역시 수평구조의 그라프로부터 발생되는 문제를 여전히 갖고있다. 또한 RAG에 기반한 영역 결합시 인접 영역의 중요성에 대한 정보가 전혀 없으므로 모든 인접 영역에 대해 동일하게 결합시험 및 평가를 동시에 수행해야하는 문제점도 있다.
본 발명이 이루고자하는 기술적 과제는 초기 영상영역 분할의 결과로부터 영역상호간의 계층적 결합구조(hierarchical region structure)를 도입하고 이러한 계층 구조를 이용하여 영역 결합순서를 재배치하고 계층적 포함관계를 추출하여 잡음 영역을 발견하고, 이를 제거하는 영상분할 장치 및 방법을 제공하는데 있다.
도 1은 본 발명에 따른 영상분할 장치에 대한 블록도이다.
도 2a는 도 1의 장치에 입력되는 입력 영상이다.
도 2b 내지 도 2d는 도 1의 초기 영상 분할부의 각 동작 결과를 도시한 것이다.
도 3은 도 2d에 도시된 영상으로부터 RAG을 작성한 결과를 보인 것이다.
도 4는 도 3에 도시된 바와 같은 RAG정보와 영역상호간의 포함관계가 동시에 고려된 수직적 구조를 도시한 것이다.
도 5a 및 도 5b는 도 2a의 입력 영상에 대한 종래 및 본 발명에 따른 영상분할 결과를 도시한 것이다.
도 6a는 도 2a의 영상과는 다른 시험 영상이다.
도 6b는 초기 분할된 영상이다.
도 6c는 각 물체의 에지 특성을 도시한 것이다.
도 6d는 종래의 RAG만을 고려한 경우의 영역 분할 결과이다.
도 6e는 본 발명에 따른 영역 분할 결과이다.
상기 기술적 과제를 이루기위한, 본 발명은 입력 영상의 색신호를 소정 신호들을 기반으로하는 색공간으로 변환하여 상기 입력 영상의 색화소들이 상기 색공간에서 차지하는 위치에 따라 상기 입력 영상을 복수의 영역으로 분할하는 초기 영상 분할부; 분할된 영역들의 수평적 인접관계 및 수직적 포함관계에 따라 분할된 영역들을 복수의 계층으로 나누고, 각 계층내에서 인접하는 영역들을 그루핑하여 영역그룹을 형성하며 각 계층마다 형성된 영역그룹들간의 수직적 포함관계를 추출하는 영역 구조화부; 및 각 영역들의 수평적 인접관계 및 상기 영역그룹들간의 수직적 포함관계에 따라 각 영역들의 결합순위를 결정하고, 결정된 결합순위에 따라 인접 영역간 결합여부를 평가하며 평가된 두 영역이 실질적으로 동일 영역으로 판단되면 상기 두 영역을 결합하는 과분할 영역 결합부를 포함함을 특징으로한다.
상기 기술적 과제를 이루기위한, 본 발명은 입력 영상의 색신호를, 소정 신호들을 기반으로하는 색공간으로 변환하여 상기 입력 영상의 화소들이 상기 색공간에서 차지하는 위치에 따라 상기 입력 영상을 복수의 영역으로 분할하는 초기 영상 분할 단계; 및 분할된 영역들의 수평적 인접관계 및 수직적 포함관계에 따라 분할된 영역들을 복수의 계층으로 나누고, 각 계층내에서 인접한 영역들을 그루핑하여 영역그룹으로 형성하며 각 계층마다 형성된 영역그룹들간의 포함관계를 추출하여 인접 영역들의 결합 순위 및 결합여부를 판단하며, 판단 대상 영역들이 실질적으로 동일 영역으로 판단되면 상기 영역들을 결합하는 후처리 단계를 포함함을 특징으로한다.
이하에서 첨부된 도면을 참조하여 본 발명의 실시예를 보다 상세히 설명하기로 한다.
도 1은 본 발명에 따른 영상분할 장치에 대한 블록도이다. 도 1에 따른 영상분할 장치는 초기 영역분할부(100), 영역 구조화부(110) 및 과분할 영역 결합부(120)를 포함한다.
초기 영역분할부(100)는 카메라나 비디오로부터 입력되는 영상을 동일 색이나 동일 영역에 따라 분할한다. 영역 구조화부(110)는 분할된 영역정보로부터 각 영역들의 계층적 영역정보를 추출하고, 추출된 계층적 영역정보에 따라 각 영역들을 구조화한다. 영역 결합부(120)는 구조화된 영역정보로부터 영역간 결합순위를 결정하고, 대상이 되는 영역경계를 결합한다.
초기 영역분할부(100)는 색신호 변환부(101), 투영부(102), 모드 위치(mode position) 검출부(103) 및 색영역 결정부(104)를 구비한다.
영역 구조화부(110)는 연결화소추출(blob coloring)부(111), 영역 경계추적부(112), 계층 추출부(113), 영역그룹 형성부(114) 및 수직 영역그룹 탐색부(115)를 구비한다.
과분할 영역 결합부(120)는 영역간 결합순위 결정부(121), 영역경계 평가부(122) 및 영역 결합부(123)를 구비한다.
상기 구성에 따른 동작은 다음과 같다.
색신호 변환부(101)는 입력 영상의 색신호인 적색, 녹색, 및 청색(R,G,B) 신호를 인간의 인지특성과 유사한 휘도 및 색도(L,u,v) 신호로 변환한다. 투영부(102)는 변환된 L,u,v 신호를 3차원 색공간으로 투영하여 동일색이나 동일물체 영역에 대해서는 하나의 밀집공간을 형성한다. 모드 위치 검출부(103)는, 예를 들어, 평균값 찾기 알고리듬(mean seek algorithm)과 같은 방법으로 색특성에 따라 형성된 밀집분포 데이터들의 평균 위치, 즉 동일색 영역의 평균 L,u,v의 색특성을 표현하는 모드 위치를 검출한다. 색영역 결정부(104)는 검출된 위치에서 결정된 분포의 폭을 결정한다. 이 때, 결정된 폭에 포함되는 색화소들은 동일 영역을 표현한다고 가정한다.
연결화소 추출부(111)는 색영역 결정부(104)에서 결정된 모드들과 그 모드 분포에 포함되는 화소들을 다시 영상공간으로 재투영하여 연결화소들(blob)을 추출한다. 이 때, 영상공간에서 각 색화소들의 기하학적 또는 위상학적 상관성들만을 따로 추출하기는 어렵다. 이러한 영상 데이터 기반 접근법(image data driven approaches)의 한계점 때문에 필연적으로 과분할된 영역들이 추출된다.
도 2a 내지 도 2d는 상술한 과정의 일례를 도시한 것이다. 도 2a는 칼라 카메라에서 출력된 원래 영상이며, 도 2b는 도 2a의 영상을 분할한 결과이다. 도 2c는 분할된 영역의 경계를 나타낸 것이고, 도 2d는 분할된 영역들에 대해 차례로 순번을 붙인 결과이다. 도 2d에 따르면, 원영상이 5~6개 정도의 색영역을 가지고 있음에도 불구하고 영상이 과도하게 분할되어있다.
영역 경계추적부(112)는 연결화소로부터 형성된 영역들의 RAG을 작성한다. 도 3은 도 2d에 도시된 영상으로부터 RAG을 작성한 결과를 보인 것이다. 번호를 포함하고있는 작은 원들은 연결영역을 나타내는 노드들이고, 서로 인접하는 영역들은 해당 영역의 노드들 사이를 연결하는 가지(tree)를 갖는다. 이러한 RAG 특성은 각 노드들과 가지들이 서로 동일한 중요성을 가지고 수평적 연결구조를 갖는데 있다.
계층 추출부(113)는 작성된 RAG의 각 노드들의 구조적인 깊이(structural depth)를 추출하여 각 노드들을 계층화한다. 영역그룹 형성부(114)는 각 계층에 포함된 노드들이 그 계층에 속하는 다른 노드들과 인접하면 인접노드들끼리, 인접하지않으면 독립적으로 그루핑한다. 수직 영역그룹 탐색부(115)는 영역그룹 형성부(114)에서 각 계층마다 형성된 영역그룹간의 수직적인 포함관계를 탐색한다. 일반적으로 RAG를 이용하는 경우, 각 노드들이 수평적으로 연결되어있기 때문에 단지 순서화된 연결번호의 인덱스를 따라 차례로 인접영역들간의 관계를 시험하게된다. 이 때, 각 영역들간의 영상에서 차지하는 중요도, 결합관계나 포함관계 등은 전혀 고려되지 않으므로 셰티니나 베버리지가 지적한 것처럼 시험되는 인접 연결쌍의 순서에 따라 전혀 다른 결과들이 나타나게 되며 일관적인 결과를 보장하기가 힘들게 된다. 따라서, 본 발명에서는 상술한 바와 같은 수직 계층화를 이용한 영역 결합은 각 계층에 포함된 영역 요소들의 결합관계를 우선적으로 시험하고, 각 계층사이에서 발생하는 인접영역요소들을 시험하므로 영상영역에서 차지하는 영역의 구성이나 포함관계에 따라 순서화된 결합구조를 형성하게 된다. 이러한 결합순서는 인간의 인지적 특성과 유사한 형태로 결합이 진행되게 하며 수평구조의 RAG와 비교하여 일관적인 영역 결합관계를 주게된다.
각 영역의 계층적 결합관계는 다음 식들과 같이 정의된다. 먼저, 연결화소(blob) 영역 σ는 다음 식과 같은 조건을 만족하는 화소들의 집합으로 구성된다.
수학식 1의 연결 제한 조건 C(p,q,f)가 이웃 화소가 4 또는 8근방 형태로 연결되어있을 조건을 나타낸다고 할 때, 다음 식과 같이 정의된다.
영역가 영역에 의해 둘러싸여 있음을 나타내는 구조적 포함(,)은 다음 식을 만족한다.
영역가 영역가 서로 인접함을 나타내는 인접(,)은 다음을 만족한다.
영역가 영역가 서로 상관이 없이 독립적인 경우, 독립(,)는 다음 식을 만족한다.
RAG로부터 상술한 수학식들을 만족하는 수직 계층화된 영역 포함구조가 추출된다.
도 4는 도 3에 도시된 바와 같은 RAG정보와 영역상호간의 포함관계가 동시에 고려된 수직적 구조를 도시한 것이다. 영상에서의 모든 구성영역들은 0번의 최외각 테두리에 의해 둘러싸여 있으므로, 0번 영역이 최상위의 제1계층(401)이 된다. 다음으로, 0번 영역에 인접하면서 서로 수평적으로 연결된 영역들이 제2계층(402)을 이루며, 이러한 영역들은 하나의 영역 그룹을 형성하게 된다. 영역 그룹내에서는 동일한 수평 결합구조를 형성하게 된다. 제2계층(402)은 다시 제3계층(403)들을 포함한다. 제3계층(403)은 8, 12 및 13번 영역들로 이루어진 영역그룹과 2번, 9번 영역으로 이루어진 3개의 독립적인 영역그룹들로 이루어진다. 다음, 제4계층(404)은 다시 제3계층에 의해 포함관계가 성립하는 영역들로 이루어진다. 제5계층(405)은 최고 깊이를 갖는다. 도시된 바에 따르면 노드들 사이의 가지는 수평적 결합관계를 나타내고, 화살표는 수직적 포함관계를 나타낸다.
영역간 결합순위 결정부(121)는 영역들 사이에 발생한 수평적 RAG 및 수직 구조화된 영역관계 정보로부터 영역간 결합순위를 결정한다. 영역경계 평가부(122)는 물체의 에지 강도 및 경계의 균일성(주파수 특성)을 평가하여 두 영역의 결합여부를 결정한다. 영역 결합부(123)는 두 영역을 하나의 영역으로 결합한다.
결합순위는, 예를 들어, 인접영역간에 상술한 수학식 4를 만족하는 인접관계가 성립되더라도 계층이 달라지면 결합순위가 뒤로 밀릴 수 있다. 또한, 동일 계층에 속하면서도 서로 인접조건이 만족되는 영역이나 영역그룹들은 결합순위가 우선될 수 있으며, 서로 다른 계층들 사이에 포함관계가 성립되는 영역들도 그 결합여부가 검증될 수 있다. 결합순위가 결정되면, 영역의 경계를 평가하고 영역을 결합한다. 비교를 위해 도 3에 도시된 RAG만을 기반으로 한 경우와 본 발명에 따른 계층적 결합관계를 기반으로 한 경우의 영역 경계 평가 및 영역 결합을 각각 설명하기로 한다.
도 3의 수평 RAG에서 보여진 바와 같이 10번과 1번 영역은 인접조건이 성립된다. 이 때 RAG를 기반으로 영역 결합순위를 결정하면 1번과 9번 영역이 먼저 평가되고, 1번과 10번 그리고 9번과 10번의 형태로 결합이 평가된다. 이 때 1번과 9번 그리고 9번과 10번의 경계 평가는 각 영역들이 결합하는 형태로 나타나고(즉, 인접 경계 특성이 낮은 에지 강도와 불규칙한 경계 특성을 나타낸다), 1번과 10번은 서로 다른 영역으로 결정된다. 따라서, 1번과 9번은 동일 영역으로 결합된다. 9번과 10번이 동일 영역으로 결합될 때, 1번과 10번을 평가하기 이전에 이미 1번과 9번의 결합이 발생되었으므로 9번과 10번 영역의 결합은 인접 세 영역이 동시에 결합되는 결과를 가져다준다. 즉, 순차적인 결합평가에 의해 1번, 9번 및 10번의 결합조건이 발생된다. 이러한 결과가 도 5a에 도시되어 있다. 도 5a에 따르면, 바닥부분과 벽 부분이 동일 영역으로 결합되어있음을 알 수 있다.
한편, 도 4에 도시된 계층적 결합관계에 따르면 9번 영역은 제3계층(403)에해당되고 1번 및 10번 영역은 제2계층(402)에 속하므로, 비록 9번 영역이 1번 및 10번 영역과 인접조건이 발생하고 있지만 초기 결합 평가에서 제외된다. 이러한 형태로 결합 평가에서 제외된 영역들은 각 계층 내에서 영역 결합 평가가 완료된 후, 다시 계층간 포함관계를 평가할 때 고려될 수 있다. 즉, 영역의 계층적 정보는 자신을 둘러싸는 다른 영역들이 대해 자신의 계층과 같거나 한 단계 상위 계층에 속하는 영역들의 관계만을 고려하게 된다. 도 5b는 계층적 결합관계에 따라 결합된 영역들을 도시한 것이다.
도 6a 내지 도 6e는 하나의 시험 영상에 대한 종래 및 본 발명에 의한 영상분할 결과를 각각 도시한 것이다. 도 6a는 원 영상이며, 도 6b는 초기 분할된 영상이다. 도 6c는 각 물체의 에지 특성을 도시한 것이다. 도 6d는 종래의 RAG만을 고려한 경우의 영역 분할 결과이고, 도 6e는 본 발명에 따른 영역 분할 결과이다. 도 6d와 도 6e를 비교해보면, 본 발명에 따른 결과가 RAG만을 고려한 경우보다 영역 분할이 정확함을 알 수 있다.
본 발명에 따르면, 영상분할 시 RAG 외에 수직적 계층 구조를 고려함으로써 보다 정확하게 분할할 수 있다. 즉, RAG에서 비록 인접하는 영역관계를 나타내더라도 그 계층적 구조에 따라 결합이 배제되거나 결합 순위가 재배치되어 영역상호간의 구조적 포함(surrounding) 관계를 추출함으로써, 하이라이트 영역과 같이 색신호의 유사성이 성립하지 않는 두 영역간에서도 포함관계의 성립으로부터 그 상호 관계를 유추할 수 있다. 또한, 하이라이트나 잡음 영역 등에 대해 단순포함관계 등의 구조 정보가 추출되므로 색신호 해석(chromatic similarity analysis) 등의 결합을 통해 상호 관계 해석의 유추가 가능하다. 또한, 계층관계 추출시 발생하는 영역간 경계 정보, 물체의 에지 강도, 경계의 균일성 평가를 위한 데이터 또는 인접 영역이 접하는 경계 비율과 같이 추후 다양하게 활용가능한 정보도 추출할 수 있다.

Claims (9)

  1. 입력 영상의 색신호를 소정 신호들을 기반으로하는 색공간으로 변환하여 상기 입력 영상의 색화소들이 상기 색공간에서 차지하는 위치에 따라 상기 입력 영상을 복수의 영역으로 분할하는 초기 영상 분할부;
    분할된 영역들의 수평적 인접관계 및 수직적 포함관계에 따라 분할된 영역들을 복수의 계층으로 나누고, 각 계층내에서 인접하는 영역들을 그루핑하여 영역그룹을 형성하며 각 계층마다 형성된 영역그룹들간의 수직적 포함관계를 추출하는 영역 구조화부; 및
    각 영역들의 수평적 인접관계 및 상기 영역그룹들간의 수직적 포함관계에 따라 각 영역들의 결합순위를 결정하고, 결정된 결합순위에 따라 인접 영역간 결합여부를 평가하며 평가된 두 영역이 실질적으로 동일 영역으로 판단되면 상기 두 영역을 결합하는 과분할 영역 결합부를 포함함을 특징으로하는 영상분할 장치.
  2. 제1항에 있어서, 상기 영역 구조화부는
    분할된 각 영역들에 대해 상기 입력 영상에서 연결화소(blob)를 추출하는 연결화소 추출부;
    추출된 연결화소들로부터 형성된 영역들의 경계를 찾고, 찾아진 경계에 따라 상기 영역들간의 수평적 인접관계를 찾는 영역 경계추적부;
    상기 입력 영상의 배경을 나타내는 영역부터 시작해서 순차적으로 각 영역간 포함관계를 조사하고, 조사된 포함관계에 따라 상기 각 영역들을 복수의 계층으로 나누는 계층 추출부;
    각 계층을 구성하는 영역들이 그 계층에 속하는 다른 영역들과 인접하는지를 조사하여 인접한다면 해당 영역들을 그루핑하여 영역그룹을 형성하고, 인접하지않는다면 하나의 영역으로 구성되는 영역그룹으로 형성하는 영역그룹 형성부; 및
    각 계층마다 형성된 영역그룹들간의 수직적 포함관계를 추출하는 수직 영역그룹 탐색부를 구비함을 특징으로하는 영상분할 장치.
  3. 제2항에 있어서, 상기 연결화소 추출부는
    연결화소 영역 σ를 다음의 수학식
    을 만족하는 화소들의 집합으로 추출하는 수단을 구비함을 특징으로하고,
    상기 연결 제한조건은 다음의 수학식
    만족하는 영상분할 장치.
  4. 제3항에 있어서, 상기 계층 추출부는
    상기 영역간 포함관계를 구조적 포함(,)이라고 할 때, 구조적 포함(,)은 다음 수학식
    의 만족여부에 따라 판별하는 수단을 구비함을 특징으로하는 영상분할 장치.
  5. 제4항에 있어서, 상기 영역그룹 형성부는
    각 계층에 속하는 영역들이 인접한 경우를 인접(,)로, 인접하지않은 경우를 독립(,)로 나타낼 때, 인접(,) 및 독립(,)은 각각 다음의 수학식
    을 만족하는지에 따라 판별하는 수단을 구비함을 특징으로하는 영상분할 장치.
  6. 제1항에 있어서, 상기 과분할 영역 결합부는
    상기 각 영역들의 수평적 인접관계 및 영역그룹들간의 수직적 포함관계에 따라 인접영역간 결합순위를 결정하는 결합순위 결정부;
    결정된 결합순위에 따라 영역의 결합여부를 판단하는 영역경계 평가부; 및
    상기 영역경계 평가부에서 영역 결합이 타당하다고 판단되면 해당 영역들을 결합하는 영역 결합부를 구비함을 특징으로하는 영상분할 장치.
  7. 입력 영상의 색신호를, 소정 신호들을 기반으로하는 색공간으로 변환하여 상기 입력 영상의 화소들이 상기 색공간에서 차지하는 위치에 따라 상기 입력 영상을 복수의 영역으로 분할하는 초기 영상 분할 단계; 및
    분할된 영역들의 수평적 인접관계 및 수직적 포함관계에 따라 분할된 영역들을 복수의 계층으로 나누고, 각 계층내에서 인접한 영역들을 그루핑하여 영역그룹으로 형성하며 각 계층마다 형성된 영역그룹들간의 포함관계를 추출하여 인접 영역들의 결합 순위 및 결합여부를 판단하며, 판단 대상 영역들이 실질적으로 동일 영역으로 판단되면 상기 영역들을 결합하는 후처리 단계를 포함함을 특징으로하는 영상분할 방법.
  8. 제7항에 있어서, 상기 후처리 단계의 결합순위 판단은
    판단하고자하는 영역을 둘러싼 영역들중 상기 판단하고자하는 영역이 속하는 계층의 영역들 또는 한단계 상위 계층에 속하는 영역들에 대해서 이루어짐을 특징으로하는 영상분할 방법.
  9. 제7항에 있어서, 상기 후처리 단계의 결합 평가는
    상기 인접 영역간 에지 강도 또는 경계의 균일성을 판단함을 특징으로하는 영상분할 방법.
KR1019990023948A 1999-06-24 1999-06-24 영상분할 장치 및 방법 KR100294924B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1019990023948A KR100294924B1 (ko) 1999-06-24 1999-06-24 영상분할 장치 및 방법
US09/562,029 US6606408B1 (en) 1999-06-24 2000-05-01 Image segmenting apparatus and method
JP2000188851A JP2001043380A (ja) 1999-06-24 2000-06-23 映像分割装置及びその方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019990023948A KR100294924B1 (ko) 1999-06-24 1999-06-24 영상분할 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20010003590A KR20010003590A (ko) 2001-01-15
KR100294924B1 true KR100294924B1 (ko) 2001-07-12

Family

ID=19594901

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019990023948A KR100294924B1 (ko) 1999-06-24 1999-06-24 영상분할 장치 및 방법

Country Status (3)

Country Link
US (1) US6606408B1 (ko)
JP (1) JP2001043380A (ko)
KR (1) KR100294924B1 (ko)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3913985B2 (ja) * 1999-04-14 2007-05-09 富士通株式会社 文書画像中の基本成分に基づく文字列抽出装置および方法
JP4605987B2 (ja) * 2000-08-28 2011-01-05 セイコーエプソン株式会社 プロジェクタ、画像処理方法および情報記憶媒体
US7184054B2 (en) * 2003-01-21 2007-02-27 Hewlett-Packard Development Company, L.P. Correction of a projected image based on a reflected image
US7295700B2 (en) * 2003-10-24 2007-11-13 Adobe Systems Incorporated Object extraction based on color and visual texture
US7536048B2 (en) * 2004-01-15 2009-05-19 Xerox Corporation Method and apparatus for automatically determining image foreground color
US20050254546A1 (en) * 2004-05-12 2005-11-17 General Electric Company System and method for segmenting crowded environments into individual objects
US7376272B2 (en) * 2004-06-14 2008-05-20 Xerox Corporation Method for image segmentation to identify regions with constant foreground color
JP4506409B2 (ja) * 2004-10-27 2010-07-21 株式会社デンソー 領域分割方法及び装置、画像認識処理装置、プログラム、記録媒体
US20060228021A1 (en) * 2005-04-06 2006-10-12 Marco Leoni Method and system for producing fabrics with a large number of colors
EP1890268A1 (en) * 2005-06-07 2008-02-20 Sony Corporation Image processing device and image processing method and computer program
JP4730775B2 (ja) * 2005-12-14 2011-07-20 株式会社リコー 画像処理装置
JP2008059081A (ja) * 2006-08-29 2008-03-13 Sony Corp 画像処理装置及び画像処理方法、並びにコンピュータ・プログラム
US8374234B2 (en) * 2006-09-29 2013-02-12 Francis S. J. Munoz Digital scaling
US9299229B2 (en) * 2008-10-31 2016-03-29 Toshiba Global Commerce Solutions Holdings Corporation Detecting primitive events at checkout
JP5772446B2 (ja) * 2010-09-29 2015-09-02 株式会社ニコン 画像処理装置及び画像処理プログラム
KR101223046B1 (ko) 2011-02-08 2013-01-17 경북대학교 산학협력단 정지장면의 연속프레임 영상에 기반한 영상분할장치 및 방법
JP5771442B2 (ja) * 2011-05-09 2015-08-26 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
KR102238693B1 (ko) * 2014-06-20 2021-04-09 삼성전자주식회사 포인트 클라우드에서 특징 영역을 추출하는 방법 및 장치

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08221567A (ja) * 1995-02-10 1996-08-30 Fuji Photo Film Co Ltd 色領域分離方法
US5852673A (en) * 1996-03-27 1998-12-22 Chroma Graphics, Inc. Method for general image manipulation and composition
US6236736B1 (en) * 1997-02-07 2001-05-22 Ncr Corporation Method and apparatus for detecting movement patterns at a self-service checkout terminal
US6516100B1 (en) * 1998-10-29 2003-02-04 Sharp Laboratories Of America, Inc. Method for image characterization using color and texture statistics with embedded spatial information

Also Published As

Publication number Publication date
US6606408B1 (en) 2003-08-12
KR20010003590A (ko) 2001-01-15
JP2001043380A (ja) 2001-02-16

Similar Documents

Publication Publication Date Title
KR100294924B1 (ko) 영상분할 장치 및 방법
CN100514367C (zh) 基于彩色分割的立体3d重构系统和方法
KR100698334B1 (ko) 디지털 이미지 세그먼테이션 방법 및 장치
EP3007132B1 (en) Method and apparatus for generating superpixel clusters
CN103927785B (zh) 一种面向近景摄影立体影像数据的特征点匹配方法
US9971951B2 (en) Method and apparatus for generating superpixel clusters
Du et al. Double-channel guided generative adversarial network for image colorization
JP2005513632A (ja) 水源方法を使用したイメージの分割
JP2009236811A (ja) 画像処理装置および画像処理方法並びにプログラム
CN110942062B (zh) 图像验证码生成方法、介质、装置和计算设备
US20040161152A1 (en) Automatic natural content detection in video information
JP2006221525A (ja) オブジェクト検索システムおよび方法
EP3067859A1 (en) Method and apparatus for generating a superpixel cluster
KR101655036B1 (ko) 애너글리프 영상 복원 및 깊이 지도 생성 방법 및 시스템
Wangenheim et al. Color image segmentation guided by a color gradient network
Qin et al. Enhanced depth estimation for hand-held light field cameras
JP4579646B2 (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び記憶媒体
JP4698926B2 (ja) 画像における相対ｚオーダリングを決定する方法、および相対ｚオーダリングの使用方法
Hale Unsupervised threshold for automatic extraction of dolphin dorsal fin outlines from digital photographs in darwin (digital analysis and recognition of whale images on a network)
US11676334B2 (en) Method and apparatus for plenoptic point clouds generation
CN108109150B (zh) 图像分割方法、终端
JP2006221523A (ja) オブジェクト領域抽出システムおよび方法
JP2004258750A (ja) 画像の特徴ベクトルのクラスタリング方法および装置
Marcotegui Residual approach on a hierarchical segmentation
Devaux et al. Region-based segmentation of color images: application to aerial image cartography

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20080312

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee