KR101086402B1

KR101086402B1 - 영상 분할 방법

Info

Publication number: KR101086402B1
Application number: KR1020040068612A
Authority: KR
Inventors: 임동근
Original assignee: 삼성전자주식회사
Priority date: 2004-08-30
Filing date: 2004-08-30
Publication date: 2011-11-25
Also published as: KR20060019913A; US20060045336A1; US7512270B2

Abstract

본 발명은 영상 분할 방법에 관한 것으로, 보다 구체적으로는 계층적 메쉬 구조를 이용한 영상 분할 방법에 관한 것이다. 본 발명에 따른 영상 분할 방법은, 영상 분할하고자 하는 객체가 포함되는 관심영역을 지정하는 단계; 관심 영역 내에서 객체의 에지를 탐색하는 단계; 탐색된 에지에 기초한 계층적 메쉬 구조를 이용하여 객체의 메쉬 경계선을 탐색하고 메쉬 크기를 한 계층 축소한 후 탐색된 메쉬 경계선의 주변 영역을 이용하여 메쉬 경계선을 보정하는 과정을, 소정의 정밀도를 얻을 때까지 반복적으로 수행하는 단계; 및 보정된 메쉬 경계선의 내부 영역을 채우는 마스크를 생성하여 객체를 마스킹 하는 단계를 포함하는 것을 특징으로 한다. 이에 따라, 계층적 메쉬 구조를 이용하여 계산량을 줄이고, 정확하고 연속적인 객체 경계선(object boundary)을 찾을 수 있다.

Description

영상 분할 방법{Method of image segmentation}

도 1은 본 발명의 바람직한 실시예에 따라 계층적 메쉬 구조를 이용한 영상 분할 방법을 나타내는 플로차트,

도 2는 본 발명에 따라 관심 영역을 지정하는 방법(102)을 나타내는 도면,

도 3은 본 발명에 따라 에지를 탐색(104)하고 메쉬 크기를 계층화(106 및 114)하는 방법을 나타내는 도면,

도 4는 본 발명에 따른 계층적 메쉬 구조를 이용하여 복잡한 모양의 객체의 경계선을 보정하는 방법을 나타내는 도면,

도 5는 본 발명에 따른 메쉬를 구성(108)하는 방법의 일 예를 나타내는 도면,

도 6은 도 5에 도시된 방법에 따라 구성된 메쉬의 일 예를 나타내는 도면,

도 7은 본 발명에 따른 메쉬 구조로부터 객체의 메쉬 경계선을 탐색하는 방법(110)으로서, 좌수법 및 우수법을 설명하기 위한 도면,

도 8은 도 7에 도시된 메쉬 경계선 탐색 방법(110)에서 방향 인덱스에 따른 탐색 우선순위표를 나타낸 도면,

도 9는 본 발명에 따른 객체의 메쉬 경계선 탐색(110)의 일 예를 나타내는 도면,

도 10은 본 발명에 따라 두 개의 계층에서 계층적 메쉬 구조를 이용하여 영상 분할되는 과정(106 내지 114)을 나타내는 도면,

도 11은 영상분할에 있어서 조각화(fragmentation) 문제의 일 예를 나타내는 도면,

도 12는 실제 영상에서 조각화 문제가 발생한 경우의 일 예를 나타내는 도면,

도 13은 본 발명에 따라 계층적 메쉬 구조를 이용하여 조각화 문제를 해결하는 방법을 설명하는 도면,

도 14는 본 발명과 종래 기술의 메쉬 구성을 위한 계산량을 비교하기 위한 도면,

도 15는 본 발명에 따른 영상 분할 방법에서 상위 계층과 하위 계층의 메쉬 구성을 나타내는 도면,

도 16 내지 도 18은 본 발명에 따른 계층적 메쉬 구조를 이용한 영상 분할 의 결과를 나타내는 다양한 실시예들이다.

본 발명은 영상 분할 방법에 관한 것으로, 보다 구체적으로는 계층적 메쉬 구조를 이용한 영상 분할 방법에 관한 것이다.

영상 분할(image segmentation)이란, 영상의 구성 요소인 픽셀을 분류하여 영상 내에서 객체의 경계선을 찾아 객체를 추출하는 기술을 말한다. 예를 들어, 영상 중에 대상 물체의 형태 및 크기를 알려면 객체와 배경의 2개의 영역으로 분할하지 않으면 안 된다. 객체(object)는 영상 해석과 표현에 있어서 중요한 역할을 한다. 특히, MPEG-4 비주얼 표준은 영상을 객체 단위로 부호화한다. 이러한 기술을 객체기반부호화(object-based coding)라고 한다. 필요에 따라 객체를 조합, 제거, 변형하는 등의 객체에 대한 다양한 편집기술을 이용하여 영상을 재생산하거나 효율적으로 압축할 수 있다.

예를 들어, 일기도와 같은 가상 화면을 배경으로 날씨를 전달하는 일기예보의 경우나, 버추얼 스튜디오와 같은 다른 배경화면에 객체를 조합하여 영상을 보기 좋게 가공하여 보여 주는 경우와 같이, 영상 분할을 이용한 응용 예들을 흔히 볼 수 있다. 이러한 응용을 가능하게 하는 핵심 기술이 바로, 원하는 객체만을 추출하고 다른 배경의 화면에 결합하는 영상 분할 기술이다.

그러나, 각 영상의 명확한 경계가 없으며, 각각의 특징이 틀리므로 컴퓨터를 이용한 영상 분할 처리는 어려운 공학적 문제이다. 현재까지는 영상에서 밝기값(luminance), 에지 정보(edge), 혹은 기하학적 정보와 같은 영상의 특성에 기반 하여 비슷한 값을 가지는 영역(homogeneous region)을 구분해내고, 구분해낸 영역들 중 비슷한 특성을 가지는 영역들을 서로 결합하여, 결합된 영역들 전체를 사용하여 영상을 마스킹(masking)하는 기술이 개발되어 왔다.

현재까지 개발된 대표적인 영상 분할 알고리즘들로서, 경계값 처리법, 영역확장법, 분할 통합법, 워터쉐드법, 에지에 기반한 방법 등이 있다. 각각의 방법들 은 나름대로의 특성과 응용분야를 가진다.

먼저, 경계값 처리법(threshold)은, 경계값을 사용하여 경계값보다 큰 부분과 작은 부분으로 나누어서 객체를 구분하는 방법이다. 그러나, 경계값 처리법은 사실상 자연 영상에는 적용하기 어렵고 이진 영상에만 적용할 수 있으며, 영상의 특정한 관심영역 부분만을 추출할 수 없다는 문제점이 있다.

다음으로, 영역확장법(region growing)은, 영상내의 임의의 위치를 씨드(seed)로 하여 이 씨드를 중심으로 밝기값, 에지, 컬러 등의 비슷한 특성을 가지는 영역을 찾아내는 방법이다. 즉, 처리되고 있는 소영역과 그에 인접한 소영역이 서로 같은 특징을 가지고 있는 경우에 각 영역을 하나의 영역으로 통합하는 것으로, 특징이 같은 영역을 조금씩 성장시켜 최종적으로는 영상전체에 대하여 영역 분할을 하는 방법이다.

분할 통합법(split-and-merge)은, 영역을 잘게 나누어서 비슷한 특성을 가지는 크기까지 만든 후, 주변 영역과 비교하여 비슷한 특성을 가지면 두 영역을 결합해 나가는 방법이다.

그러나, 전술한 영역 확장법이나 분할 통합법은 영상 전체를 탐색하여 같은 특성을 가지는 영역을 찾아내기 위하여 많은 계산량과 반복을 요구하며, 이러한 노력에도 불구하고 원하는 정밀도의 객체를 추출해내기 어렵다는 문제점이 있다.

한편, 워터쉐드법(watershed)은, 개선된 형태의 영역 확장법으로서, 복수개의 씨드(seed)를 사용하여 동시에 많은 영역으로 분리하고 재결합하는 과정을 반복 수행함으로써 점점 원하는 정밀도에 근접하는 방법이다. 그러나, 원하는 정밀도의 영상분할을 위해 많은 계산량을 요구한다. 또한, 영상의 경계에서 조각화 문제가 발생할 수 있다. 즉, 객체의 일부가 잘리거나 다른 객체의 부분이 포함되는 문제가 발생할 수 있다. 나아가, 연속적인 객체의 경계선을 찾기 위하여 많은 계산량을 요구하며 때로는 연속된 경계선을 찾는데 실패하기도 한다.

전술한 바와 같이 현재까지 개발된 영상 분할 기술들은 객체를 추출하기 위하여 많은 계산량을 요구하는 반면, 조각화가 발생하여 객체의 일부가 잘리거나 다른 객체의 일부가 잘못 포함되기도 하며, 연속된 경계선을 찾을 수 없는 등, 객체를 정확하게 추출하지 못하는 문제점이 있다.

따라서, 본 발명이 이루고자 하는 기술적 과제는 전술한 문제점을 해결하기 위하여, 계층적 메쉬 구조를 이용한 영상 분할 방법을 제공하는 것이다. 즉, 계층적 메쉬 구조를 이용하여 계산량을 줄이고, 정확하고 연속적인 객체 경계선(object boundary)을 찾을 수 있는 영상 분할 방법을 제공하는 것이다.

전술한 기술적 과제는, 영상 분할하고자 하는 객체가 포함되는 관심영역을 지정하는 단계; 관심 영역 내에서 객체의 에지를 탐색하는 단계; 탐색된 에지에 기초한 계층적 메쉬 구조를 이용하여 객체의 메쉬 경계선을 탐색하고 메쉬 크기를 한 계층 축소한 후 탐색된 메쉬 경계선의 주변 영역을 이용하여 메쉬 경계선을 보정하는 과정을, 소정의 정밀도를 얻을 때까지 반복적으로 수행하는 단계; 및 보정된 메쉬 경계선의 내부 영역을 채우는 마스크를 생성하여 객체를 마스킹 하는 단계를 포 함하는 것을 특징으로 하는 영상 분할 방법에 의해 달성된다.

상기 관심영역은 객체가 포함되는 원, 타원, 다각형, 또는 사용자가 그린 선으로 구분되는 적어도 하나의 영역이 결합되어 지정되는 것이 바람직하다.

또한, 상기 객체의 메쉬 경계선을 탐색하는 단계는, 초기 메쉬 크기를 지정하는 단계; 지정된 메쉬크기에 따라 에지에 기초한 메쉬를 구성하는 단계; 및 구성된 메쉬로부터 메쉬 경계선을 탐색하는 단계를 포함하는 것이 바람직하다.

또한, 상기 메쉬 경계선을 보정하는 단계는, 메쉬 크기를 한 계층 축소하고 축소된 메쉬 크기를 기초로 하여 메쉬 경계선이 포함되는 후보 노드를 탐색하는 단계; 및 탐색된 후보 노드를 씨앗으로 하여 메쉬 경계선 주변의 소정의 영역까지 영역을 확장하는 단계를 포함하는 것이 바람직하다.

또한, 상기 메쉬 경계선을 탐색하는 단계는, 좌수법 및 우수법에 기초하여 정의된, 현재 메쉬 블록으로부터 다음의 에지를 포함하는 메쉬 블록을 탐색하는 우선순위에 따라, 객체의 모든 경계를 방문할 때까지 메쉬 경계선을 탐색하는 것이 바람직하며,

상기 우선순위는, 이전 메쉬 블록으로부터 현재 메쉬 블록으로의 움직임 방향을 참조하여, 움직임 방향에 직교하는 가상선을 기준으로 좌수법 및 우수법에 따라 정의되는 것이 바람직하다.

또한, 상기 메쉬 경계선을 탐색하는 단계는 사슬 부호화(chain coding) 방법을 이용하는 것이 바람직하다.

또한, 상기 영역을 확장하는 단계는, 바로 이전 계층의 탐색된 후보 노드를 씨앗(seed)으로 하는 지역적인 영역확장(region growing) 방법을 이용하는 것이 바람직하다.

또한, 상기 소정의 정밀도는, 반복적으로 상위 계층에서 하위 계층으로 메쉬 크기가 축소된 결과, 현재 계층의 메쉬 크기가 소정의 임계값과 같아지는 정도의 정밀도를 나타내는 것이 바람직하며, 특히, 임계값은 하나의 픽셀의 크기를 나타내는 것이 바람직하다.

한편, 본 발명의 다른 분야에 따르면, 전술한 기술적 과제는 전술한 영상 분할 방법을 수행하는 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체에 의해 달성된다.

이하 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다.

도 1은 본 발명의 바람직한 실시예에 따른 영상 분할 방법을 나타내는 플로차트이다.

도 1을 참조하면, 본 발명에 따라 효율적으로 영상을 분할하는 방법은, 영상 분할하고자 하는 객체가 포함되는 관심영역을 지정하는 과정(102 단계)과, 관심 영역 내에서 객체의 에지를 탐색하는 과정(104 단계), 그리고 탐색된 에지에 기초한 계층적 메쉬 구조를 이용하여(108 단계) 객체의 메쉬 경계선을 탐색하고(110 단계) 메쉬 크기를 한 계층 축소한 후(114 단계) 탐색된 메쉬 경계선의 주변 영역을 이용하여 메쉬 경계선을 보정하는 과정(116 및 118 단계)을 소정의 정밀도를 얻을 때까지(112 단계) 반복적으로 수행하는 과정, 및 보정된 메쉬 경계선의 내부 영역을 채 우는 마스크를 생성하여(120 단계) 객체를 영상 마스킹 하는 과정(122 단계)을 포함한다.

먼저, 추출하기 원하는 객체가 포함된 관심영역을 지정한다(102 단계). 관심영역은 사용자로부터 입력받는 것이 일반적이다. 기계는 어느 것이 추출되기 원하는 객체인지를 명확히 알기 어렵기 때문이다.

다음으로, 관심영역에서 객체의 대강의 윤곽을 파악하기 위하여 에지를 탐색한다(104 단계). 소벨의 에지 탐지기(Sobel's Edge Detector)가 대표적이나, 다른 에지 탐색 방법을 사용할 수도 있다.

또한, 영상을 분할하기 위하여 초기 메쉬 크기를 지정한다(106 단계). 예를 들면, 32x32 픽셀 단위나, 16x16 픽셀 단위나, 8x8 픽셀 단위와 같이 적절한 초기 메쉬의 크기를 지정할 수 있다. 초기의 메쉬 크기는 108 단계에서 118 단계까지를 반복하는 과정에서 한 계층씩 축소된다. 예를 들어, 제1 계층, 즉 초기 메쉬 크기가 32x32 픽셀단위라고 가정하면, 제2 계층의 메쉬 크기는 그 절반인 16x16으로 축소된다. 제3 계층의 메쉬 크기는 다시 그 절반인 8x8로 줄고, 제4 계층의 메쉬 크기는 4x4, 제5 계층의 메쉬 크기는 2x2, 마지막으로 제6 계층의 메쉬 크기는 1x1로 줄어든다. 메쉬 크기가 1x1 픽셀 단위인 경우 루프의 반복을 중지하고, 영상을 마스킹(masking)하게 된다. 이하에서는 이와 같이 메쉬의 크기를 절반으로 줄여가면서 영상 분할을 반복하는 것을 "계층적 메쉬 구조를 이용한 영상 분할"이라고 약칭한다.

이제, 지정된 메쉬의 크기를 기초로 하여 104 단계에서 탐색한 에지를 이용 하여 메쉬를 구성한다(108 단계). 구성된 메쉬는 현재 계층에서 대략적인 객체의 윤곽을 나타낸다. 또한, 구성된 메쉬 구조를 기초로 경계선을 탐색한다(110 단계). 특히, 본 발명에서는 후술하는 좌수법 및 우수법을 이용하여 경계선을 탐색한다. 이 방법에 의하면 끊김 없이 연속적인 경계선을 찾을 수 있다.

다음으로, 현재의 메쉬크기를 한 계층 축소하고(114 단계), 다음 계층의 후보 노드를 탐색한다(116 단계). 탐색된 후보 노드를 씨드(seed)로 하여 후술하는 영역 확장(region growing)을 실시한다(118 단계). 즉, 후보 노드를 씨드로 하여 에지, 평균값, 컬러 등의 다른 영상특성을 가지는 경계까지 영역을 사방으로 확장한다. 탐색된 메쉬 경계선 주변의 소정의 영역까지 확장한 후, 다음 단계의 메쉬를 구성하고 경계선을 탐색하는 단계를 수행함으로써, 객체의 일부가 잘리거나 다른 객체의 일부가 잘못 포함되는 경우에도 경계선을 보정할 수 있다. 이하에서는 전술한 단계(114 내지 118 단계)를 "메쉬의 경계선을 보정하는 단계"라고 약칭한다. 보정의 결과, 원하는 정밀도를 얻을 때까지 루프(108 단계 내지 118 단계)가 반복 수행된다. 예를 들면, 도 1에 도시된 바와 같이, 메쉬 크기가 1x1 픽셀 단위인 경우 루프의 반복을 중지하고, 영상을 마스킹 하게 된다. 물론, 이 루프는 필요에 따라 반복되지 않을 수도 있고, 미리 반복 회수를 지정하고 그 회수 내에서 원하는 결과에 도달했을 때 반복을 중지할 수도 있다.

이제, 원하는 정밀도에 도달한 경우(112 단계)에는 메쉬 경계선 안쪽의 내부 영역을 채우는 마스크를 생성하고(120 단계), 객체 영상을 마스킹 한다(122). 이에 따라 영상으로부터 원하는 객체를 정확하게 추출할 수 있다.

전술한 바와 같이, 종래의 영상분할 방법들은 연속적인 객체의 경계선을 찾기 위하여 많은 계산량을 요구하며 때로는 연속된 경계선을 찾는데 실패하기도 한다. 이러한 문제점을 해결하기 위하여 본 발명에서는 계층적 메쉬 구조를 이용한 영상분할 방법을 제안한다.

즉, 제안된 영상 분할 방법은, 메쉬 구조로 표현된 객체 자체가 아니라 객체의 경계선, 즉 메쉬 경계선을 탐색하여 처리한다. 따라서, 객체 내부에 대해서는 불필요한 탐색을 하지 않고, 객체의 경계선에 대해서만 처리하여 종래의 영상 분할 방법보다 계산량을 줄일 수 있다. 또한, 계층적 메쉬 구조를 이용함으로써, 원하는 정밀도의 객체가 구해지면 어느 계층에서라도 처리 동작을 멈출 수 있으므로, 불필요한 연산을 줄일 수 있다.

또한, 제안된 영상 분할 방법은, 메쉬 구조로 표현된 각 계층에서 초기에 설정된 경계선 예측값을 보정하기 위하여 객체 경계선 주변 탐색을 수행한다. 즉, 상대적으로 큰 메쉬를 사용하는 상위 계층에서 보다 작은 메쉬를 사용하는 하위 계층으로 메쉬 크기를 줄여가며 계층적으로 경계선을 보정하기 때문에 객체의 일부분이 잘려 나가거나, 객체가 아닌 부분이 포함된 경우에도 객체를 보다 정확하게 추출할 수 있다.

나아가, 제안된 영상 분할 방법은 상위 계층에서 경계선의 연결성을 미리 예측함으로써 보다 정확하고 연속적인 객체 경계선(object boundary)을 찾을 수 있다. 이때, 연결된 형태의 경계선을 찾기 위하여 이전 계층의 결과를 씨드(seed)로 하는 지역적인 영역확장(region growing) 방법을 사용한다.

이와 같이, 본 발명에 따른 계층적 메쉬 구조를 이용한 영상 분할 방법은, 계층이 낮아짐에 따라 연산에 사용되는 대상의 수를 줄여 계산량을 줄이고, 또한 이전 계층의 결과를 이용함으로써 안정된 영상분할을 할 수 있다.

이하에서는 본 발명에 따른 계층적 메쉬 구조를 이용한 영상 분할 방법을 보다 구체적으로 설명한다.

도 2는 본 발명에 따라 관심 영역을 지정하는 방법(102)을 나타내는 도면이다.

객체의 복잡성과 모호성 때문에 자동 분할 알고리즘들은 특수한 환경에서만 사용된다. 따라서, 영상 분할의 초기에는 사용자가 영상으로부터 분할하고자 하는 객체가 포함된 관심 영역(region of interest)을 지정하는 것이 일반적이다. 즉, 영상에서 의미 있는 객체들을 관심영역으로 지정할 수 있다.

도 2를 참조하면, 다양한 크기의 사각형, 다각형, 원, 타원, 또는 손으로 그려진 선 등이 관심영역을 정의하기 위하여 사용될 수 있다. 다양한 모양을 이용하여 지정된 복수의 영역들을 교집합, 합집합, XOR와 같은 규칙을 적용하여 하나의 관심 영역으로 결합할 수 있다. 이와 같이, 사용자가 관심 영역을 지정함으로써, 영상에 복수의 객체가 포함되는 경우라도, 사용자가 관심을 둔 중요성이 높은 객체를 우선적으로 관심영역으로 지정하고 분할할 수 있다.

도 3은 본 발명에 따라 에지를 탐색(104)하고 메쉬 크기를 계층화(106 및 114)하는 방법을 나타내는 도면이다.

에지를 탐색하는 방법은 일반적으로 알려진 알고리즘을 사용할 수 있다. 예 를 들면, 소벨의 에지 탐지기(Sobel's Edge Detector)와 같은 알고리즘을 사용할 수 있다. 에지를 탐색한 결과, 객체의 대강의 윤곽을 알 수 있다. 그러나, 이 윤곽은 개별적인 에지들의 조각으로 거칠게(roughly) 표현된 것이므로, 객체의 연속적인 경계선을 표현하지는 못한다. 개별적인 에지들의 조각으로부터 연결된 객체의 경계선을 알아내기 위하여 본 발명에서 계층적 메쉬 구조를 이용한다.

도 3을 참조하면, 지정된 관심 영역으로부터 에지를 예측하고, 예측된 에지에 대하여 계층적으로 메쉬를 구성하는 과정과 경계선 연결 과정이 도시된다.

보다 구체적으로 예를 들어, k 계층에서는 네 개의 메쉬 블록 중 3개의 메쉬 블록에서 에지를 탐색할 수 있다. 메쉬 구조는 각 후보 블록(i. j)들의 무게 중심점(centroid)을 연결함으로써 얻어진다. 따라서, 메쉬를 구성하기 위해서는 먼저 에지가 포함된 메쉬 블록들, 즉 후보 블록(i, j)들의 무게 중심점을 구해야 한다. 무게 중심점 (Cx, Cy)은 다음과 같은 수학식을 이용하여 구할 수 있다.

수학식 1 및 수학식 2에서, i와 j는 메쉬 블록들 중 에지가 포함된 후보 블록들을 지시하기 위한 인덱스이며, BS는 메쉬 블록의 크기를 나타내고, E( , )는 에지 정보를 의미한다. 영상간에서 밝기값은 쉽게 변화하지만, 에지값은 밝기값의 영향을 많이 받지 않고 변화가 적기 때문에 에지 정보를 사용하는 것이 바람직하다.

전술한 수학식 1 및 수학식 2에 따라 구해진 에지가 포함된 후보 블록들의 무게 중심점들을 모두 연결하면 메쉬를 구성할 수 있다.

다시 도 3을 참조하면, k 계층에서의 에지가 포함된 후보 블록은 3개이며, 각 후보블록들에 대하여 전술한 수학식에 따라 무게중심점(Cx, Cy)을 구하여 3개의 노드점으로 표시한 예가 도시되어 있다. 다음으로, 메쉬 크기를 절반으로 줄인 k+1 계층에서의 에지가 포함된 후보 블록들은 7개이며, 각 후보 블록들에 대하여 전술한 수학식에 따라 무게 중심점을 구하여 7개의 노드점으로 표시한다. 이제, 메쉬 크기를 다시 절반으로 줄인 k+2 계층에서의 에지가 포함된 후보 블록들은 15개이며, 역시 15개의 노드점을 표시할 수 있다. 도 3에 도시된 바와 같이, 메쉬의 크기가 줄어드는 계층화가 진행됨에 따라 보다 정확한 객체의 경계선을 탐색할 수 있다.

도 4는 본 발명에 따른 계층적 메쉬 구조를 이용하여 복잡한 모양의 객체의 경계선을 보정하는 방법을 나타내는 도면이다.

도 4를 참조하면, 해안선과 같은 좀 더 복잡한 객체의 경계선을 탐색하는 예를 보여주고 있다. 메쉬 크기가 상대적으로 큰 상위 계층에서 메쉬 크기가 보다 작은 하위 계층으로 계층화가 진행됨에 따라, 단계적으로 보다 정확한 객체의 경계선을 탐색할 수 있다.

도 5는 본 발명에 따른 메쉬를 구성(108)하는 방법의 일 예를 나타내는 도면이다.

메쉬를 구성하는 방법은 다양한데, 특히, 델루니 삼각형(Delaunay triangulation)을 이용하는 방법이 대표적 예이다. 도 5를 참조하면, 간단하고 정규화된 삼각형 구조로서, 8개의 연결선 정보를 사용하여 삼각형 메쉬 구조를 만드는 방법이 도시되어 있다. 각 꼭지점들의 위치는 전술한 수학식 1 및 수학식 2를 이용하여 구할 수 있다.

도 6은 도 5에 도시된 방법에 따라 구성된 메쉬의 일 예를 나타내는 도면이다.

도 6을 참조하면, 델루니 삼각형을 이용하여 영상을 표현한 예가 도시되어 있다. i, j는 각 메쉬 블록을 지시하는 인덱스를 나타낸다. 전술한 바와 같이 104 단계에서 구한 단편적인 에지들이 포함된 메쉬 후보 블록들로부터 각 무게 중심점을 구하여, 각 무게 중심점을 도 5에서 도시한 방법에 따라 연결하여 메쉬를 구성(108 단계)한 결과이다. 구성된 메쉬를 통해 영상내의 객체의 영역을 알 수 있다.

이하에서는 구성된 메쉬로부터 경계선을 탐색하는 방법을 설명한다.

도 7은 본 발명에 따른 메쉬 구조로부터 객체의 메쉬 경계선을 탐색하는 방법(110 단계)으로서, 좌수법 및 우수법을 설명하기 위한 도면이다.

도 7의 (a)를 참조하면, 방향 인덱스(DIR)란, 이전 블록으로부터 현재 블록으로의 움직임 방향을 수치화 하여 저장하는 변수를 말한다. 즉, 이전 블록으로부터 현재 블록으로의 움직임 방향을 그림과 같이 화살표로 표시하는 경우, 가능한 모든 방향에 대하여 1부터 8까지의 숫자를 지정하여 저장하는 것이다. 방향 인덱스 정보는 후술할 경계선 탐색을 위한 우선순위표에서 사용된다.

한편, 도 7의 (b)의 상단을 참조하면, 좌수법에 따라 경계선을 탐색하는 우선 순위가 도시된다. 여기서, 화살표는 전술한 방향 인덱스를 가리키며, 도 7의 (a)의 방식을 따르면 "1"이라는 방향 인덱스 값(DIR)을 갖는다. 방향 인덱스에 직교하는 가상선을 기준으로 우측에서 시작하여 좌측으로 탐색의 우선순위가 낮아진다. 이해를 돕기 위해, 각 블록들의 탐색의 우선순위를 숫자로 표시하였다. 숫자가 작을수록 우선순위는 높다고 가정한다. 상단 좌측의 경우, 가상선(일점쇄선으로 표시함)의 우측으로부터 탐색의 우선순위가 숫자로 표시되어 있다. 상단 우측에는 "4"라는 방향 인덱스 값을 갖는 경우의 탐색 우선순위가 숫자로 표시되어 있다.

동일한 방식으로, 도 7의 (b)의 하단을 참조하면, 우수법에 따라 경계선을 탐색하는 우선 순위가 도시된다. 다만, 가상선의 우측으로부터 좌측으로 갈수록 우선순위가 낮아진다는 것만 다를 뿐이다.

도 7의 (a)에 도시된 각 방향 인덱스에 따라 좌수법과 우수법에 따른 우선순위를 한눈에 알 수 있도록 우선순위표를 작성할 수 있다. 도 8은 도 7에 도시된 메쉬 경계선 탐색 방법에서 방향 인덱스에 따른 탐색 우선순위표를 나타낸 도면이 다. 도 8을 참조하면, 좌수법과 우수법에 따라, 그리고 8 방향의 방향 인덱스에 따라 경계선 탐색의 우선순위가 일목요연하게 도시되어 있다.

도 9는 본 발명에 따른 객체의 메쉬 경계선 탐색의 일 예를 나타내는 도면이다.

전술한 우선순위표를 이용하여 메쉬의 경계선을 탐색하는 과정은 다음과 같다.

1) 영상의 왼쪽 위부터 래스터 스캔(raster scan)을 수행하면서, 가장 먼저 발견되는 에지가 포함된 블록을 찾는다. 찾은 블록의 위치를 시작 위치로 하여 먼저 좌수법 또는 우수법을 적용하여 경계선을 탐색한다.

2) 현재 위치에서 전술한 우선순위표에 따라 에지가 포함된 메쉬 블록을 탐색한다. 만약, 더 이상 에지가 포함된 블록을 찾지 못하면, 객체의 바닥 경계에 도달하였다는 의미이므로, 가장 최근의 시작점으로 되돌아가서 반대로 우수법 또는 좌수법을 적용하여 다른 방향을 탐색한다. 이러한 탐색 과정은 객체의 모든 바닥 경계를 방문할 때까지 반복된다.

3) 특히, 각 에지가 포함된 메쉬 블록에서는 전술한 방향 인덱스 값(DIR)을 기초로 하여 전술한 우선 순위 표에 따라 다음 번의 에지가 포함된 메쉬 블록을 탐색한다.

4) 객체의 메쉬 경계선 탐색이 종료되면, 한 계층 아래로 메쉬 블록의 크기를 줄이고, 구해진 객체의 경계선을 따라서 지역적인 영역확장을 수행하는데, 확장 범위는 이전 계층에서의 블록 크기로 제한된다.

5) 전술한 과정은 픽셀 단위의 정밀도 또는 사용자가 원하는 정밀도를 얻을 때까지 반복된다.

도 9를 참조하면, 도 6에 도시되었던 메쉬 구조로부터 메쉬의 경계선을 탐색하는 과정이 도시된다.

먼저, 래스터 스캔을 하다가 가장 먼저 발견되는 에지가 포함된 블록은 (0,5)위치의 메쉬 블록이다. 여기서부터 좌수법과 우수법을 적용하여 경계선을 탐색한 결과가 도 9의 (b)에 도시된다.

예를 들어, 도 9의 (a)에서 좌측의 점선으로 둘러싸인 영역에서의 경계선 탐색 방법을 살펴보자. 현재 블록은 (2,4)의 위치이고, 이전 블록은 (1,5)인 경우이다. 경계선을 찾기 위한 블록의 탐색 순서는 점선 화살표로 표시된 이전 블록으로부터 현재 블록으로의 움직임 방향인 방향 인덱스에 따라 결정된다. 이 경우, 도 7에서 살펴본 바와 같이 "6" 방향 인덱스를 가지며, 이에 대응하는 도 8에 도시된 우선순위표를 참조하면, 도 9의 (a)의 좌측 상단에 표시된 바와 같이 좌측 상단부터 탐색 우선순위를 가진다. 이 우선순위에 따라 에지가 포함된 경계선을 탐색하면, 우선순위 1에 해당하는 (1,3) 위치의 블록을 찾을 수 있다.

동일한 방식으로 나머지 블록들에 대해서도 방향 인덱스에 따른 우선순위표를 참조하여 메쉬의 경계선을 탐색할 수 있다. 그 결과는 도 9의 (b)에 도시되어 있다. 특히, 12번째의 (8,2)위치의 블록과 17번째의 (8,2)는 동일한 블록을 가리키게 된다. 이는 추출하고자 하는 개체 외에 폐곡선으로 된 잔가지가 존재한다는 의미이므로, 도 9의 (b)에서 "A"라고 표시된 부분은 경계선 부분에서 제외하는 것 이 바람직하다. 또한, 18번째의 (9,1)위치의 블록에서는 더 이상 에지를 포함한 블록을 찾을 수 없어 객체의 바닥 경계에 도달했다는 의미이므로, 처음 위치의 블록으로 돌아가 우수법에 따라 경계선 탐색을 계속한다. 즉, 19번째부터는 처음 탐색을 시작한 (0,5) 위치로부터 우수법에 따라 탐색을 계속한다.

요약하면, 경계선 탐색은 좌수법으로 시작되어 18번째의 위치에서 영상의 바닥 경계면에 이르며, 다시 이전의 출발지점인 0번째 위치로 되돌아가서 반대방향으로 우수법을 적용하여 경계선 탐색을 계속한다. 특히, 13번에서 16번 사이에서 발견되는 부가적인 잔 가지선들은 제거되고 닫힌 형태의 경계선이 나오도록 처리된다. 이 때 좌수법을 먼저 적용할 것인가 우수법을 먼저 적용할 것인가는 선택사항일뿐이다.

한편, 본 발명에 따른 좌우수법을 사용한 경계선을 탐색하는 방법은 그밖에 다양한 분야에 응용될 수 있는 개선된 사슬 부호화 방법(chain coding)이다. 이 방법은 이진 영상뿐만 아니라 일반적인 자연 영상에도 사용할 수 있다는 장점이 있다.

이제, 탐색된 경계선의 블록들을 후보 영역으로 삼아, 소정의 영역까지 영역확장을 실시한다(118 단계). 영역 확장(region growing)은 후보 영역을 씨드(seed)로 삼아 에지, 평균값, 컬러 등의 다른 영상특성을 가지는 경계까지 영역을 사방으로 확장한다. 영역 확장된 결과는 다음 계층의 경계선 탐색결과를 보정하는 역할을 한다. 왜냐하면 상위 계층에서 잘못 잘려진 객체의 부분을 다시 되찾아주는 역할을 하기 때문이다.

도 10은 두 개의 계층에서 본 발명에 따른 계층적 메쉬 구조를 이용하여 영상 분할되는 과정을 나타내는 도면이다.

도 10을 참조하면, 상단 좌측의 첫 번째 그림은 k계층에서 메쉬를 구성하기 위하여 에지가 포함된 후보 블록들을 구한 결과를 보여준다. 다음, 상단 중앙의 그림은 후보 블록들의 무게중심점을 구하여 메쉬를 구성한 결과를 보여준다. 메쉬의 경계부분뿐만 아니라 객체의 내부에도 메쉬가 구성된 것을 알 수 있다. 다음으로 상단 우측 그림은 메쉬의 경계선을 탐색하고, 메쉬의 크기를 한 계층 축소한 경우의 에지가 포함된 후보 블록들을 나타낸다. 다음으로, 하단 좌측 그림은 k+1 계층에서 경계선을 보정하기 위해서 에지가 포함된 블록들 주변의 소정의 영역까지 영역을 확장한 결과를 보여준다. 이 때, 확장되는 영역은 상단 좌측의 k계층의 블록 크기까지로 제한된다. 다음으로, 하단 중앙의 그림은, 메쉬를 구성한 예를 보여주며, 하단 우측 그림은 메쉬의 경계선을 탐색하고 메쉬의 크기를 한 계층 축소한 경우의 후보 블록들을 나타낸다. 이러한 과정을 메쉬의 크기가 1 픽셀단위가 될 때까지 또는 원하는 정밀도를 얻을 때까지 반복한다.

도 11은 영상분할에 있어서 조각화(fragmentation) 문제의 일 예를 나타내는 도면이다.

영상 내에서 객체의 경계선을 찾다 보면, 중요도를 잘못 지정하거나 객체 경계선의 에지 정보가 제대로 설정되지 않아 경계선이 연속되지 않고 끊어지는 문제가 발생한다. 이를 조각화(fragmentation) 문제라고 한다. 도 11을 참조하면, 조각화 문제가 발생하는 과정이 도시된다. 즉, 에지 값이 작아 주변의 값들과 구분 되지 않아 중간에 경계선이 끊어지는 부분이 발생한다.

도 12는 실제 영상에서 조각화 문제가 발생한 경우의 일 예를 나타내는 도면이다. 도 12를 참조하면, 에지 정보가 약한 부분의 경계선이 끊기거나, 다른 객체에 포함된 에지로 인해 잔가지 에지가 발생하는 예를 보여준다.

도 13은 본 발명에 따라 계층적 메쉬 구조를 이용하여 조각화 문제를 해결하는 방법을 설명하는 도면이다.

도 13을 참조하면, 본 발명에서 제안한 영상분할 방법은 계층적 메쉬구조를 이용함으로써, 상위 계층에서 객체 경계선의 연결성을 미리 예측할 수 있게 된다. 따라서, 하위 계층에서도 보다 정확하고 연속적인 객체 경계선(object boundary)을 찾을 수 있다. 도 13의 좌측과 같이 하위 계층에서는 예측하기 어려운 에지가 끊어진 부분도 우측과 같이 메쉬 크기가 보다 큰 상위계층에서는 쉽게 예측할 수 있다. 따라서, 본 발명과 같이 상대적으로 메쉬 크기가 큰 상위계층에서 보다 메쉬 크기가 작은 하위 계층으로 경계선 탐색을 수행하는 경우에는, 에지 정보가 약한 부분도 보다 정확하고 연속적인 객체 경계선을 예측하고 탐색할 수 있다.

도 14는 본 발명과 종래 기술의 메쉬 구성을 위한 계산량을 비교하기 위한 도면이다.

도 14를 참조하면, 좌측은 종래 기술에 따른 메쉬 구성을 보여 주고, 우측은 객체의 경계선을 이용한 본 발명에 따른 메쉬 구성을 보여 준다. 종래 기술은 객체의 경계선과 관련 없는 객체의 내부에 대해서도 불필요한 연산이 수행되므로 계산량이 증가하는 문제점이 있다. 반면, 우측의 본 발명의 경우는 객체의 경계선에 대해서만 연산이 수행되므로 종래 기술에 비해 상대적으로 계산량을 줄일 수 있다.

도 15는 본 발명에 따른 영상 분할 방법에서 상위 계층과 하위 계층의 메쉬 구성을 나타내는 도면이다.

도 15를 참조하면, 본 발명에서 제안한 영상분할 방법은, 각 계층마다 객체의 경계선을 탐색하는 과정을 거침으로써, 계층화가 진행됨에 따라 연산에 사용되는 대상의 수를 줄일 수 있다. 따라서, 연산의 복잡도 및 계산량을 줄일 수 있다. 또한, 이전 계층의 경계선 탐색 결과를 이용함으로써 안정된 영상분할을 할 수 있다. 도 15에서 상단의 각각의 메쉬 구조는 하단의 각각의 메쉬 경계선으로 정리된다. 즉, 경계선 탐색 과정을 거침으로써, 계층화가 진행됨에 따라 연산량이 줄어드는 것을 알 수 있다.

도 16 내지 도 18은 본 발명에 따라 계층적 메쉬 구조를 이용한 영상 분할 의 결과를 나타내는 다양한 실시예들이다.

도 16을 참조하면, 여러 계층을 거쳐 원하는 객체를 추출해내는 과정이 도시되어 있다. 계층화가 진행되는 동안, 각 그림에 표시된 메쉬 블록의 크기가 점점 줄어들며, 이에 따라 보다 정확한 객체의 경계선을 얻게 되는 것을 알 수 있다. 맨 마지막 단계에는 구해진 객체 경계선 내부의 영역을 마스킹 하여 원하는 객체를 추출할 수 있다.

도 17 및 도 18도 동일한 방식으로 계층화가 진행됨에 따라 보다 정확한 객체 경계선을 탐색하여 원하는 객체를 추출하는 과정을 보여준다. 이와 같이, 본 발명에 따른 영상 분할 방법은, 객체의 일부분이 잘려 나가거나 객체가 아닌 부분 이 포함된 경우에도 상대적으로 큰 메쉬를 사용하는 상위계층에서 보다 작은 메쉬를 사용하는 하위 계층으로 경계선을 보정하기 때문에 객체를 보다 정확하게 찾을 수 있다. 즉, 상위 계층에서 객체 경계선의 연결성을 예측함으로써 보다 정확하고 연속적인 객체 경계선(object boundary)을 찾을 수 있다.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 하드디스크, 플로피디스크, 플래쉬 메모리, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드로서 저장되고 실행될 수 있다.

이상의 설명은 본 발명의 일 실시예에 불과할 뿐, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 본질적 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현할 수 있을 것이다. 따라서, 본 발명에 따른 실시예에 한정되지 않고 특허 청구범위에 기재된 내용과 동등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.

전술한 바와 같이 본 발명에 따르면, 계층적 메쉬 구조를 이용한 영상 분할 방법이 제공된다. 이에 따라, 계층적 메쉬 구조를 이용하여 계산량을 줄이고, 정 확하고 연속적인 객체 경계선(object boundary)을 찾을 수 있다.

즉, 본 발명에서 제안한 영상분할 방법은, 각 계층마다 객체의 경계선을 탐색하는 과정을 거침으로써, 상위 레벨에서 경계선의 연결성을 예측하여 보다 정확하고 연속적인 객체 경계선(object boundary)을 찾을 수 있다. 또한, 끊김 없이 연속적인 경계선을 찾기 위하여 이전 계층의 경계선 탐색 결과를 씨드(seed)로 하여 영역확장(region growing)을 함으로써, 객체의 경계선을 보다 정확하게 보정할 수 있다. 나아가, 각 계층이 진행됨에 따라 연산에 사용되는 대상의 수를 줄임으로써 복잡도를 낮추며 이전 계층의 결과를 이용함으로써 안정된 영상분할을 할 수 있다.

Claims

영상 분할하고자 하는 객체가 포함되는 관심영역을 지정하는 단계;

상기 관심 영역 내에서 상기 객체의 에지를 탐색하는 단계;

상기 탐색된 에지에 기초한 계층적 메쉬 구조를 이용하여 상기 객체의 메쉬 경계선을 탐색하고 메쉬 크기를 한 계층 축소한 후 상기 탐색된 메쉬 경계선의 주변 영역을 이용하여 상기 메쉬 경계선을 보정하는 과정을, 소정의 정밀도를 얻을 때까지 반복적으로 수행하는 단계; 및

상기 보정된 메쉬 경계선의 내부 영역을 채우는 마스크를 생성하여 상기 객체를 마스킹 하는 단계를 포함하는 것을 특징으로 하는 영상 분할 방법.
제1항에 있어서,

상기 관심영역은 상기 객체가 포함되는 원, 타원, 다각형, 또는 사용자가 그린 선으로 구분되는 적어도 하나의 영역이 결합되어 지정되는 것을 특징으로 하는 영상 분할 방법.
제1항에 있어서,

상기 객체의 메쉬 경계선을 탐색하는 단계는,

초기 메쉬 크기를 지정하는 단계;

지정된 메쉬크기에 따라 상기 에지에 기초한 메쉬를 구성하는 단계; 및

구성된 메쉬로부터 상기 메쉬 경계선을 탐색하는 단계를 포함하는 것을 특징으로 하는 영상 분할 방법.
제3항에 있어서,

상기 메쉬 경계선을 보정하는 단계는,

상기 메쉬 크기를 한 계층 축소하고 축소된 메쉬 크기를 기초로 하여 상기 메쉬 경계선이 포함되는 후보 노드를 탐색하는 단계; 및

탐색된 후보 노드를 씨앗으로 하여 상기 메쉬 경계선의 주변 영역을 확장하는 단계를 포함하는 것을 특징으로 하는 영상 분할 방법.
제3항에 있어서,

상기 메쉬 경계선을 탐색하는 단계는, 좌수법 및 우수법에 기초하여 정의된, 현재 메쉬 블록으로부터 다음의 에지를 포함하는 메쉬 블록을 탐색하는 우선순위에 따라, 상기 객체의 모든 경계를 방문할 때까지 상기 메쉬 경계선을 탐색하는 것을 특징으로 하는 영상 분할 방법.
제5항에 있어서,

상기 우선순위는, 이전 메쉬 블록으로부터 현재 메쉬 블록으로의 움직임 방향을 참조하여, 상기 움직임 방향에 직교하는 가상선을 기준으로 상기 좌수법 및 우수법에 따라 정의되는 것을 특징으로 하는 영상 분할 방법.
제6항에 있어서,

상기 메쉬 경계선을 탐색하는 단계는 사슬 부호화(chain coding) 방법을 이용하는 것을 특징으로 하는 영상 분할 방법.
제4항에 있어서,

상기 영역을 확장하는 단계는, 바로 이전 계층의 탐색된 후보 노드를 씨앗(seed)으로 하는 지역적인 영역확장(region growing) 방법을 이용하는 것을 특징으로 하는 영상 분할 방법.
제1항에 있어서,

상기 소정의 정밀도는, 반복적으로 상위 계층에서 하위 계층으로 메쉬 크기가 축소된 결과, 현재 계층의 메쉬 크기가 소정의 임계값과 같아지는 정도의 정밀도를 나타내는 것을 특징으로 하는 영상 분할 방법.
제9항에 있어서,

상기 임계값은 하나의 픽셀의 크기를 나타내는 것을 특징으로 하는 영상 분할 방법.
제1항 내지 제10항 중 어느 한 항에 기재된 영상 분할 방법을 수행하는 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체.