KR100917148B1 - 영역확장을 기반으로 지형지물의 영상을 추출하여 판정하는 방법 - Google Patents

Abstract

본 발명은 영상을 추출하여 판정하는 방법에 관한 것으로서, 특히 위성이나 항공으로 촬영한 사진에서 특정한 지형 및 지물을 인식하여 판정하기 위해 영역확장을 기반으로 지형지물을 추출하여 판정하는 방법으로서, 촬영된 영상으로부터 목표 지형 및 지물 영역의 검출하는 검출과정 및; 검출 결과로 검출된 목표 지형 및 지물의 유형을 판정하는 판정과정을 포함하여 구성되어 영상 노이즈 제거를 위한 전처리 과정이 불필요하여 빠른 영상 처리를 제공하는 효과가 있다.

영상, 블록 매트릭스, 템플리트 데이터베이스.

Description

영역확장을 기반으로 지형지물의 영상을 추출하여 판정하는 방법{EXTRACT AND JUDGE IMAGE OF TOPOGRAPHY BASED ON DOMAIN EXPANSION}

도 1은 상기 영상으로부터 목표 지형 및 지물 영역의 검출하는 과정을 보여주는 순서도.

도 2는 검출 결과로 검출된 목표 지형 및 지물의 유형을 판정하는 과정을 보여주는 순서도.

도 3은 영상 블록화를 통해 블록화된 영상을 보여주는 화면 예시도.

도 4는 블록 매트릭스 생성을 보여주는 블록 매트릭스의 예시도.

도 5는 블록 병합 시에 블록을 검사하는 순서를 보여주는 예시도.

도 6은 인접한 블록값에서 복수의 후보 영역을 생성하는 것을 구체적으로 보여주는 예시도.

도 7은 블록 매트릭스에서 복수 목표 영역을 추출하여 영상으로 표시한 화면 예시도.

도 8은 복수 개의 목표 영역들을 MBR로 표시한 것을 보여주는 예시도.

도 9는 GLCM(Grey Level Co-occurrence Matrix) 매트리스 생성을 보여주는 예시도.

도 10은 목표 영역을 검출하기 위한 시스템(TRES)에 의한 실험 예를 보여주 는 화면 예시도.

도 11은 원 영상에 대한 결함유형 검출실험의 결과를 보여주는 그래프.

도 12는 회전 변형을 적용한 경우 결함유형 검출실험의 결과를 보여주는 그래프.

본 발명은 영상처리에 관한 것으로, 특히 위성이나 항공으로 촬영한 사진에서 특정한 지형 및 지물을 인식하여 판정하기 위해 영역확장을 기반으로 지형지물을 추출하여 판정하는 방법에 관한 것이다.

일반적으로, 영상 세그멘테이션 기법은 임계값(threshold)에 기초한 방법과 경계선에 기초한 방법, 영역에 기초한 방법 및 이들을 합성한 방법으로 구분할 수 있다.

상기 임계값에 기초한 방법은 영상이 두 가지의 확연히 구분되는 영역이 있을 때 양호한 세그멘테이션을 제공하지만, 영상의 각 영역의 경계가 모호하거나 영상이 다수의 특성을 갖는 영역을 포함하고 있을 때는 성능에 제한을 받는다.

한편, 상기 경계선에 기초한 방법은 두 영역의 경계선에서 픽셀 값의 차이가 명확하다는 가정 하에 Sobel 이나 Robert 연산자 혹은 Canny 연산자 등을 사용하여 에지를 검출하고 이 에지를 영역의 경계선 검출에 이용하는 것이다.

그러나 상기 경계선에 기초한 방법으로 검출된 에지는 경계선 그 자체는 아 니고 단지 경계선의 후보일 뿐이며, 이로부터 경계선을 추출하기 위해서는 에지 추적(edge tracking), 간격 채움(gap filling) 혹은 완화 처리(smoothing) 등의 후속 과정을 필요로 한다는 복잡함이 있었다.

상기 영역에 기초한 방법은 동일 영역에 속하는 인접한 픽셀들이 비슷한 색상, 밝기, 질감 등의 특성이 있다는 가정에 기초하며, 대표적인 기법으로 분리 및 병합(split and merge) 방법이 있다.

상기 분리 및 병합 방법에서는 처음에 초기 픽셀(seed pixel)을 선택하고, 상기 초기 픽셀로부터 시작하여 비슷한 특성을 갖는 인접한 픽셀을 병합하면서 영상을 세그멘테이션함으로써, 상당히 만족스러운 세그멘테이션 성능을 보여주지만, 초기 픽셀의 선택이 전체 성능에 영향을 미치게 되므로 적절한 초기 픽셀을 선택하기 위하여 여러 가지의 영상의 특성에 관한 요소를 이용해야 한다는 번거로움이 있었다.

마지막으로, 상기 세 방법을 합성하여 Pavlidis는 먼저 영역 확장 방법을 사용하여 영역을 구분한 후, 대비(contrast), 그레디언트(gradient) 및 경계선의 모양 등에 따라서 영역 사이의 에지를 제거하거나 수정함으로써 세그멘테이션을 하였고, Chu는 여러 가지 채널로부터 획득한 에지 지도(edge map)와 세그멘테이션을 통합하는 최적화 기법을 도입하였다.

그러나 상기와 같은 종래의 방법들은 영상이 불명확하고, 목표물체의 윤곽이 뚜렷하지 않은 상황에서는 제대로 작동하지 않으므로 복잡한 자연 영상을 배경으로 특정 지형지물을 검출하기에는 적합하지 않다는 문제점이 있었다.

한편, 특수한 응용 분야의 영상 세그멘테이션 기법으로써 자연 영상에 포함되어있는 텍스트를 추출하기 위해 명암도를 이용하여 배경 영상에서 텍스트를 분리하는 기법들이 연구되어왔으나, 상기 기법들은 대개 텍스트의 특성상 주변의 배경으로부터 명확하게 구분되는 점을 이용하기 때문에 목표 물체가 뚜렷하지 않고 노이즈가 많이 포함된 영상의 세그멘테이션에는 적용하기가 어렵다는 문제점이 있었다.

또한, 종래에는 인간의 얼굴을 인식하기 위해, 얼굴의 다양한 기하학적 특징 및 템플리트 정합 등을 이용하여, 얼굴로부터 추출한 복수 개의 특징 결합 및 유사도 공간을 이용한 온라인 얼굴 검증 시스템이 개발되었으며, 전체 특징(global feature)과 국지적 특징(local feature)을 결합하여 얼굴을 인식하는 방법, 그리고 서로 다른 얼굴 검증 알고리즘을 결합한 방법 등이 연구되었으나, 이 또한 얼굴의 고유한 특성에 의존하는 방법으로써 역시 자연영상에서인 목표 물체를 인식하는데에는 적합하지 않다는 문제점이 있었다.

본 발명은 상기와 같은 문제점을 해결하기 위해 제안된 것으로, 복수 개의 픽셀을 묶은 대표값으로 표현되는 블록 단위로 영역을 생성하여, 노이즈 제거를 위한 전처리 과정을 생략하여 과잉 세그멘테이션을 방지하는 영역확장을 기반으로 지형지물의 영상을 추출하여 판정하는 방법을 제공함에 있다.

본 발명의 다른 목적은 대상 영역에서 복수 개의 목표 대상을 효율적으로 검출할 수 있는 영역확장을 기반으로 지형지물의 영상을 추출하여 판정하는 방법을 제공함에 있다.

상기와 같은 목적을 달성하기 위하여, 본 발명에 의한 영역확장을 기반으로 지형지물의 영상을 추출하여 판정하는 방법은, 영상을 추출하여 판정하는 방법에 있어서, 촬영된 영상으로부터 목표 지형 및 지물 영역의 검출하는 검출과정 및; 검출 결과로 검출된 목표 지형 및 지물의 유형을 판정하는 판정과정을 포함하여 구성된다.

바람직하게, 상기 촬영된 영상은 위성 또는 항공 등 높은 고도에서 촬영된 자연 영상인 질의 영상이다.

바람직하게, 상기 검출과정은 상기 질의 영상을 블록으로 나누는 영상 블록화 단계와; 상기 나눠진 각 블록에 명암도를 할당하여 매트릭스를 생성하는 블록 매트릭스 생성단계와; 상기 명암도에 따라 블록들을 병합하여 복수 개의 후보 지형 및 지물 영역을 생성하는 후보영역 생성단계 및; 상기 생성된 복수 개의 후보 영역 중 노이즈로 간주되는 비목표 영역을 제거하고 인접 영역을 병합하여, 목표 영역의 지형 및 지물을 검출하는 영역 검출단계를 포함하여 구성된다.

바람직하게, 상기 블록화 단계는 상기 촬영된 영상을 가로 p개와 세로 q개의 블록으로 나눈다.

바람직하게, 상기 블록 매트릭스생성 단계는 상기 블록을 양자화하는 단계와; 상기 양자화된 블록의 명암 평균값에 따라 기 설정된 평균값으로 구분하는 단계 및; 상기 평균값을 2차원으로 배열하는 매트릭스를 생성하는 블록 매트릭스 생성 단계를 포함하여 구성된다.

바람직하게, 상기 양자화 단계는 상기 영상의 각 블록에 대해서 상기 블록을 n 단계의 명암도로 표현하여 영상을 간소화한다.

바람직하게, 상기 목표 영역은 상기 촬영된 영상에서 주변보다 명암이 높거나 낮게 나타나는 블록이다.

바람직하게, 상기 비목표 영역은 상기 촬영된 영상에서 특정 명암으로 넓게 분포되어 주변환경이라고 판단되는 블록이다.

바람직하게, 상기 후보영역 생성단계는 상기 촬영된 영상의 중심에 위치하는 블록에서 시작하여 외부의 나선방향으로 인접한 블록들을 검사하는 단계 및; 상기 인접한 블록이 목표 영역의 블록이면 각 블록별로 병합하는 병합단계를 포함하여 구성된다.

바람직하게, 상기 인접 영역을 병합하는 것은 상기 영역 간 최소 경계 사각형(minimum bounding retangle, MBR) 및 중심 간의 거리를 검사하여 병합한다.

바람직하게, 상기 판정과정은 이미 알려진 목표 지형 및 지물에 대하여 4가지의 특징을 추출하는 추출 단계와; 상기 추출된 4가지 특징을 데이터베이스에 저장하여 템플리트 데이터베이스구축단계와; 목표로 하는 상기 질의 영상에서 4 가지 특징을 추출하는 단계와; 상기 추출된 상기 질의 영상의 4가지 특징값과 상기 템플리트 데이터베이스에 기 저장된 이미 알려진 목표 지형 및 지물에 대한 4가지 특징값들의 유사성 비교(Similarity comparison)를 통하여 정합과정을 수행하는 템플리트 정합단계 및; 상기 템플리트 정합 결과유형을 판정하는 판정단계를 포함하여 구성된다.

바람직하게, 상기 4가지의 특징은 상기 목표 영역에 대한 실제 목표 영역의 넓이 비율과, 상기 목표 영역에 대한 실제 목표 영역의 무게중심과, 질감 특징을 이용한 대조(Contrast)값 및 질감 특징을 이용한 ASM (angular second moment) 값으로서 상기 넓이 비율과 무게중심은 목표 영역의 대략적인 형태를 알 수 있게 하고, 상기 대조값과 상기 ASM은 상기 목표 영역의 질감을 알 수 있게 하는 것이다.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명한다.

본 발명을 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명은 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다.

본 발명은 위성이나 항공으로 촬영한 불명료한 영상으로부터 영상 세그멘테이션 방법을 이용하여 건물이나 인공 구조물 등의 지형 및 지물 영역을 검출하여 템플리트 정합 기법을 이용하여 특정한 지형 및 지물의 유형을 판정하기 위한 것으로서, 크게 영상으로부터 목표 지형 및 지물 영역의 검출하는 과정과 검출 결과로 검출된 목표 지형 및 지물의 유형을 판정하는 과정으로 구성된다.

다음의 도 1은 상기 영상으로부터 목표 지형 및 지물 영역의 검출하는 과정을 보여주는 순서도(10)이고, 도 2는 검출 결과로 검출된 목표 지형 및 지물의 유형을 판정하는 과정을 보여주는 순서도(20)이다.

먼저, 도 1을 참조하면, 촬영된 질의 영상(S11)을 3x3 블록으로 나누고(S12), 각 블록의 명암도를 고려하여 각 블록에 4가지 레벨의 명암도 중 하나를 할당하여 블록 매트릭스를 생성한다(S13). 그 후, 명암도에 따라 블록들을 병합하여 복수 개의 후보 지형 및 지물 영역을 생성한다(S14). 상기 생성된 후보 영역 중 노이즈로 간주되는 영역을 제거하고 인접 영역을 병합하여, 목표 지형 및 지물 영역을 검출한다(S15).

상기 도 1의 과정에 의해 검출된 목표 지형 및 지물은 다음의 도 2에 도시된 과정에 따라 그 유형을 판정된다.

도 2를 참조하면, 본 발명에 따른 검출된 목표 지형 및 지물의 유형을 판정하는 과정은 크게 템플리트 데이터베이스를 구축하는 선행처리 과정과 질의로 주어진 영상에서 상기 도 1의 과정을 거쳐 검출된 지형 및 지물의 유형을 판정하는 과정의 두 부분으로 구성된다.

즉, 본 발명에 따른 검출된 목표 지형 및 지물의 유형을 판정하는 과정은 우선 템플리트 데이터베이스를 구축하는 선행과정이 수행된다.

상기 템플리트 데이터베이스 구축과정은 이미 알려진 목표 지형 및 지물(S21)에 대하여 4가지의 특징을 추출하고(S22), 데이터베이스 저장 과정을 거쳐 템플리트 데이터베이스를 구축한다(S23).

그 후, 질의로 주어진 영상을 상기 도 1의 과정을 통해 검출된 지형 및 지물의 유형을 판정하는 과정이 수행된다.

상기 검출된 지형 및 지물의 유형을 판정하는 과정은 상기 도 1의 과정을 거쳐 검출된 지형 및 지물(S24)에 대하여 S22 과정에서와 마찬가지로 4가지 특징을 추출한다(S25). 상기 추출된 4가지 특징값과 템플리트 데이터베이스에 기 저장된 지형 및 지물의 특징값들과의 유사성 비교(Similarity comparison)를 통하여 템플리트 정합 과정이 수행된다(S26). 상기 템플리트 정합 결과 상기 도 1의 과정을 거쳐 검출된 지형 및 지물에 대하여 대공포, 미사일, 건물 등의 유형을 판정한다(S27).

상술한 바와 같은 도 1 및 도 2의 방법으로 구성되는 본 발명에 따른 복수의 목표 영상을 추출하고 판정 과정들을 다음과 같이 상세히 기술한다.

도 1을 참조하면, 우선 위성 또는 항공 등 높은 고도에서 촬영된 자연 영상(질의 영상)을 복수의 블록으로 구분하기 위해 영상 블록화(S11)를 실시한다.

상기 영상 블록화(S11)를 실시하기 위해 우선 MxN 크기의 영상을 pxq (1≤p≤M, 1≤q≤N) 크기의 블록으로 나눈다. 그러면, 원 영상은 m=M/p, n=N/q이라 할 때 mxn 개의 블록으로 분할되게 되며, 이때 M/p와 N/q 가 정수가 아닐 경우 영상의 우측 끝과 아래쪽 끝의 잔여 영상은 제외한다.

그 후, 다음의 [수학식 1]로부터 블록 (i, j)의 평균 밝기 I_i,j를 산출한다(단, 0≤i≤m-1, 0≤j≤n-1).

바람직하게 상기 [수학식 1]에서 Hist(h,v)는 영상의 좌표 (h,v)에 위치한 픽셀의 밝기 히스토그램 값을 나타낸다.

도 3은 도 1의 영상 블록화(S11)를 통해 블록화된 영상을 보여주는 화면 예시도이다.

도 3을 참조하면, (가)원 영상에서 상기 [수학식 1]에 의해 블록의 평균 밝기가 산출되어 180x180의 영상을 3x3의 블록 크기로 (나)블록화된 영상을 보여준다.

도 3의 (나)에 도시된 블록화된 영상은 각 블록의 평균값들이 부가되어 60x60 크기의 2차원 배열에 저장되는 블록 매트릭스가 생성된다.

도 4는 도 1의 블록 매트릭스 생성(S12)을 보여주는 예로서, 도 3 (나)블록화된 영상에 기인하여 블록 매트릭스를 생성한 예를 보여주는 블록 매트릭스의 예시도이다.

도 4를 참조하면, 상기 블록 매트릭스는 도 3의 (나)에 도시된 블록화된 영상의 각 블록에 대해서 4 단계(4-level)의 영상 양자화 단계를 거친다.

바람직하게 영상 양자화 단계는 각 블록을 4-level(2 bit)의 명암도로 표현하여 영상을 간소화하는 것이다.

즉, 블록의 평균 명암도가 196 이상이면 그 블록의 대표값을 0 (level 00)으로, 128 이상 196 미만이면 대표값을 1(level 01)로, 64 이상 128 미만이면 대표값을 2(level 10)로, 64 미만이면 대표값을 3(level 11)으로 표현한다.

상기 영상 양자화 단계를 거쳐 만들어진 2차원 배열을 블록 매트릭스라 명하며 이 후의 모든 영상처리는 이 블록 매트릭스만을 기초로 한다.

또한, 도 4를 참조하면, 상기 블록 매트릭스에서 각 블록은 그 블록의 양자 화 값으로써 0, 1, 2 또는 3의 값을 갖게 되며 0, 2, 3의 값을 갖는 블록들을 목표(target) 블록으로, 1의 값을 갖는 블록들은 비목표 블록(non-target)으로 나누며, 지형/지물은 대부분 목표 블록들로 이루어진다.

이 후에 블록 병합 및 복수영역 생성은 목표 블록들만을 고려한다. 블록 병합 시에 목표 블록만을 대상으로 하는 것은 영상에서 찾고자 하는 지형/지물 영역이 대개 주변보다 명암이 높거나 낮게 나타나기 때문에 비목표 블록들은 대상에서 배제시켜 성능을 높이기 위함이다.

도 5는 도 1의 블록병합 및 복수의 후보영역 생성(S13)을 보여주는 예로서, 상기 블록 병합 시에 블록을 검사하는 순서를 보여주는 예시도이다.

도 5를 참조하면, 블록들을 검사하는 순서는 도시된 것과 같이, 나선형의 화살표 방향으로 이루어진다. 왜냐하면, 목표 영역이 영상의 중간 부근에서 발생하는 경우가 많은 점을 고려하여 영상의 중심 블록에서부터 시작되기 때문이다.

따라서, 도 5에 도시된 나선형의 화살표 방향과 순서로 주변 블록들을 검사하면서 인접한 목표 블록들을 각 영역으로 병합하여 복수 개의 영역을 생성해간다.

바람직하게, 블록 간의 인접은 어떤 목표 블록의 좌, 우, 상, 하 방향에 또 다른 목표 블록이 있을 경우 이들은 인접한 블록으로 간주하는 것이다.

도 6은 도 1의 블록병합 및 복수의 후보영역 생성과정(S13)을 보여주는 예로서, 인접한 블록값에서 복수의 후보 영역을 생성하는 것을 구체적으로 보여주는 예시도이다.

예를 들어, 도 6과 같이 목표 블록이 1,3,4,6,8,12, 비목표 블록이 2,5,7,9,10,11로 이루어진 영상이 있을 경우의 영역 생성은 다음과 같이 이루어진다.

우선 영상의 중심에 있는 블록 6번에서부터 주변 블록들을 검사해간다. 이때 한번 방문한 블록은 대상에서 제외한다. 상기 6번 블록이 목표 블록이므로 인접한 5,7,2,10 블록들을 대상으로 블록 병합을 시작한다.

먼저, 영역 r₁를 생성한 후 6번 블록을 r₁에 포함한다. 그리고 인접한 블록 5,7,2,10 이 모두 평균값 1의 비목표 블록이므로 블록 병합은 끝나고 영역 r₁의 생성을 마친 후, 다음 블록 7번으로 이동한다. 7번 블록은 비목표 블록이므로 영역 생성 절차 없이 다음 블록 11번으로 이동한다.

마찬가지로 11,10,9,5 번 모두 비목표 블록이므로 1번 블록에서부터 다시 블록 병합 및 영역 생성을 시작한다. 새로운 영역 r₂를 생성 후에 1번을 r₂에 넣는다. 인접한 목표 블록이 없으므로 영역 r₂ 생성을 마친 후, 다음 블록 3번으로 이동한다. 영역 r₃을 생성 후에 3번을 r₃에 넣는다. 인접한 목표 블록 4번이 있으므로 4번, 4번 영역에 인접한 목표 블록 8번, 8번의 인접한 목표 블록 12번을 모두 r₃에 넣는다. 모든 블록을 방문했으므로 영역 생성을 마친다.

상술한 과정은 다음의 [표 1]에 기재된 알고리즘 ImageSegmentation과 Recursive Algorithm MergeBlock을 통해 진행된다.

[ImageSegmentation]

[Recursive Algorithm MergeBlock]

Input: 원 영상 I 블록크기 결정자 p,q Output: 목표영역의 집합 R Step1: // 영상 블록화 원 영상을 블록크기 pxq로 분할하여 블록화 영상 BI를 생성 Step2: // 블록 병합 및 복수 영역 생성 영역 집합 R = ø // 영역 집합의 초기화 queue Q ← 방문할 블록의 순서 모든 블록의 VISIT_FLAG ← OFF blk = deQueue(Q) while (Q is not empty) if (VISIT_FLAG(blk) is OFF & blk is a target block) then 영역 rgn을 blk로 초기화하여 생성 rgn = MergeBlock(blk, rgn) R = R ∪ rgn end if blk = deQueue(Q) end while Step3: return R

Input: BLOCK blk, REGION rgn Output: REGION rgn Step1: // 블록 blk 가 이미 방문한 블록인 지, target block 인 지 검사 if (VISIT_FLAG(blk) is OFF & blk is a target block) then blk를 rgn에 포함시킴 VISIT_FLAG(blk) ON MergeBlock(RIGHT(blk), rgn) // blk의 오른쪽 블록 병합 MergeBlock(LEFT(blk), rgn) // blk의 왼쪽 블록 병합 MergeBlock(UP(blk), rgn) // blk의 위쪽 블록 병합 MergeBlock(DOWN(blk), rgn) // blk의 아래쪽 블록 병합 end if Step2: return rgn

상기 알고리즘들을 이용하여 복수의 영역이 생성되면, 생성된 영역들 중에서 도 1의 목표 지형/지물 영역 검출(S14)이 진행된다.

본 발명에 따른 영역확장을 기반으로 지형지물을 추출하여 판정하는 방법은 복수 개의 영역을 생성한 후, 생성된 영역들 중에서 지형/지물의 목표 영역을 결정해야 한다.

이를 위해 본 발명의 일 실시 예에서는 추출된 복수 개의 영역들을 대상으로 영역 간의 최소 경계 사각형 (minimum bounding rectangle) 및 중심 간의 거리를 검사하여 특정 조건에 맞는 영역들을 병합시킨 후에, 목표 영역의 결정은 병합된 영역들 중에서 일정크기 이상의 영역을 목표 영역으로 결정하는 방법을 사용하였다.

즉, 영역 R1 및 R2의 최소 경계 사각형을 각각 MBR_R1, MBR_R2 라하고, 중심 좌표를 각각 C_R1, C_R2 라 하고 두 목표 객체 간의 거리를 dist(*,*)라 하면, τ₁, τ2를 각각 임계값(threshold)이라 할 때, 영역 간의 병합 판정 조건은 다음의 [수학식 2]와 같다.

상기 [수학식 2]에서 dist(MBR_R1, MBR_R2)은 두 최소 경계 사각형 간의 최소거리이며, 다음의 [수학식 3]으로 정의된다.

상기 [수학식 3]에서, MBR.L과 MBR.H는 각각 최소 경계 사각형 MBR의 저점과 고점의 좌표이며, d는 차원을 나타내는 인덱스이고 영상의 경우는 2차원이므로 d=2가 된다.

바람직하게, 상기 임계값 τ₁, τ₂ 는 실험적으로 정해진다.

도 7은 블록 매트릭스에서 복수 목표 영역을 추출하여 영상으로 표시한 화면 예시도이며, 상기 도 4에 도시된 블록 매트릭스에서 상술한 일련의 과정을 거쳐 복수의 영역을 추출하여 영상으로 표시한 것이다.

다음은 도 7과 같이 추출된 복수 영역에서 지형/지물의 영역에 대한 특징을 추출하는 방법에 대해 기술한다.

상술한 바와 같이, 지형/지물의 영역에 대한 특징값으로써 다음의 4 가지를 사용한다.

우선, (1) 목표 영역의 MBR에 대한 실제 목표 영역(target region: TR)의 넓이 비율(f₁), (2) 목표 영역의 MBR 에 대한 실제 목표 영역의 무게중심 (f₂), (3) 질감 특징을 이용한 Contrast 값 (f₃), (4) 질감 특징을 이용한 ASM (angular second moment) 값 (f₄). 이 중 f₁, f₂는 영역의 대략적인 형태를, 그리고 f₃, f₄는 영역의 대략적인 형태와 영역이 어떠한 질감을 갖는지를 알 수 있게 하며, 이 특징값들은 지형/지물의 유형을 결정하는데 사용된다.

도 8의 (가) 복수 영역은 복수 개의 목표 영역들을 MBR로 표시한 것이다.

바람직하게, 이와 같이 표시된 특징 추출은 영역 병합 후 최종적으로 결정된 목표 영역에 대해서 이루어진다.

즉, (나) 목표 영역과 같이 검은색 사각형은 목표 영역의 MBR을, 흰색은 실제 목표 영역을 나타낸다.

[수학식 4]는 이와 같은 목표 영역의 MBR에 대한 실제 목표 영역의 넓이 비 율을 표현하는 식이다.

이를 참조하면 목표 영역의 MBR에 대한 실제 목표 영역의 넓이 비율(f₁: tr_ratio)은 MBR 내의 전체 블록의 개수(# of blocks in MBR)에 대한 실제 목표 영역 내의 블록 개수 (# of blocks in TR)의 비율을 나타낸다.

[수학식 5]는 목표 영역의 MBR 에 대한 실제 목표 영역의 무게중심을 표현하는 식이다.

이를 참조하면, 목표 영역의 MBR 에 대한 실제 목표 영역의 무게중심(f₂)은 실제 목표 영역의 무게중심이 되는 지점의 MBR의 원점에 대한 상대 좌표값 (C_x, C_y)을 벡터량 C로 나타낸다.

도 9는 본 발명의 일 실시 예에 따른 GLCM(Grey Level Co-occurrence Matrix) 매트리스 생성의 일 예를 도시한다.

도 9를 참조하면, 본 발명의 일 실시 예에 따른 GLCM(Grey Level Co- occurrence Matrix) 매트리스는 질감 특징인 f₃와 f₄ 는 MBR 내에서 블록의 변화 정도와 정렬 정도를 나타내는 것으로서 GLCM을 이용하여 Contrast와 ASM을 결정한다.

상기 GLCM은 인접 블록 간의 그레이 값의 변화 발생 빈도를 이차원 매트릭스로 나타낸 것인데 회전에 불변(rotation invariant)한 값을 갖게 하기 위해서 0^o, 45^o, 90^o, 135^o 의 4방향에 대해서 매트릭스를 생성한다.

도 9에 도시된 (가)의 4x4 블록 크기의 예제 영상이 0, 1, 2, 3의 4단계의 그레이 값으로 표현되어 있고 각 블록의 밝기값의 대표값이 상기 도 9와 같다고 하면 GLCM의 생성은 다음과 같다.

즉, 0^o 방향의 GLCM 생성은 framework matrix에서 왼쪽에서 오른쪽 방향 또는 오른쪽에서 왼쪽 방향에 대해서 그레이 값의 변화를 고려해야 하는데 각 밝기값에 따라 발생 빈도를 계산하면, (0,0)은 4건, (0,1)은 2건, (0,2)는 1건, (0,3)은 0건, (1,0)은 2건, (1,1)은 4건, (1,2)는 0건, (1,3)은 0건, (2,0)은 1건, (2,1)은 0건, (2,2)는 6건, (2,3)은 1건, (3,0)은 0건, (3,1)은 0건, (3,2)는 1건, (3,3)은 2건이 된다. 나머지 45^o, 90^o, 135^o 방향에 대해서도 각 방향성을 고려하여 본 발명에 따른 GLCM을 생성하여 (다)-(바)와 같은 4개의 매트릭스를 생성할 수 있다.

본 발명의 일 실시 예에서는 GLCM을 각 영역의 블록 매트릭스에 적용하여 Contrast와 ASM 값을 계산하여 영역의 특징값으로 사용한다. 상기 GLCM에서 질감은 각 셀 값의 가중치 합으로 계산되는데 가중치를 어떻게 주느냐에 따라 상이한 의미 를 갖게 된다. 이를 위해 본 발명의 일 실시 예에서는 회전 변형에 견고한 특성을 갖게 하기 위해 0^o, 45^o, 90^o, 135^o 회전 각각에 대하여 cont 값과 asm 값을 구한 후, 이들 각각의 평균값을 계산하여 최종 f₃와 f₄의 값으로 정한다.

상기 Contrast와 ASM을 계산하는 식은 다음의 [수학식 6]과 [수학식 7]로 표현한다.

상기 [수학식 6] 및 [수학식 7]을 참조하면, P_i,j 는 GLCM의 셀 값을, i와 j는 매트릭스에서의 행과 열의 인덱스를 나타낸다. 상기 f₃에서는 i와 j 값 차이의 제곱의 가중치를 부여함으로써 f₃은 영상 내에 밝기의 변화가 심한 경우에는 큰 값을 그렇지 않은 경우에는 작은 값을 가지게 되어 영상의 Contrast를 나타내는 척도가 된다. 상기 f₄는 매트릭스 셀의 모든 값에 대하여 제곱의 합을 구하기 때문에 특정 셀의 값이 상대적으로 큰 경우에 높은 값을 가지게 된다. 그러므로 f₄는 영상 내 에 특정한 방향의 변화가 있을 경우, 즉 정렬 정도가 큰 경우에 큰 값을 가지게 되며 영상의 방향성을 나타내는 척도가 된다.

다음의 [표 2]은 본 발명의 일 실시 예에 다른 템플리트 데이터베이스의 일 예를 보여준다.

상기 [표 1]에 기재된 본 발명의 일 실시 예에 따른 템플리트 데이터베이스는 자주 발생하는 기준 목표 지형/지물 영상에 대하여 미리 추출한 특징값을 저장해 놓은 데이터베이스로서, 추출한 특징인 f₁, f₂, f₃ 및 f₄는 목표 지형/지물의 유형을 결정하기 위하여 사용된다.

[표 2]을 참조하면, 상기 목표 유형 결정은 촬영된 질의 영상으로부터 추출한 특징값과 템플리트 데이터베이스 내의 기준 지형/지물 영상의 특징값 사이의 유사도(similarity) 계산을 통하여 이루어진다.

바람직하게 유사도는 영상의 목표 영역의 특징값과 템플리트 데이터베이스의 각 템플리트의 특징값 간의 거리 함수로써 표현되며 거리가 가까울수록 유사도가 높아지게 된다.

또한, 상기 목표 유형 결정은 데이터베이스 내의 기준 지형/지물 영상과의 거리 중 가장 작은 거리 값을 갖는 기준 지형/지물 영상과 매칭시켜 목표 유형을 결정하게 된다.

다음의 [수학식 8]은 영상의 목표 영역 R과 템플릿 데이터베이스의 각 템플리트 T와의 거리 dist(R, T)를 계산하는 식이다.

상기 [수학식 8]에 있어서, d_i 는 특징 i 에 대한 R 과 T의 거리 함수를 나타내며, n은 추출하는 특징의 개수(n=4), w_i 는 특징 i 에 대한 가중치를 의미한다 (∑w_i=1).

또한, 상기 [수학식 8]에서 각 특징에 대한 거리 함수 d_i 는 다음의 [수학식 9]에 의해 계산된다.

상기 [수학식 9]에서 d₁은 목표 영역의 MBR에 대한 실제 목표 영역의 넓이 비율을 거리 값으로 나타낸 것이며, d₂의 C_R과 C_T는 각각 R 과 T의 목표 영역의 MBR에 대한 중심의 좌표를 나타내는 벡터량이며, 따라서 d₂는 이 두 벡터 간의 유클리디안 거리가 된다. 또한, d₃ 및 d₄는 각각 R 과 T 에 대한 Contrast 및 ASM 값의 차이를 정규화(normalization)하여 거리 함수로 나타낸 것이다.

도 10은 상술한 본 발명의 목표 영역을 검출하기 위한 시스템(TRES)에 의한 실험 예를 보여주는 화면 예시도이다.

도 10을 참조하면, 도시된 화면 예시도 중 (가) 부분은 질의 영상을 브라우징할 수 있는 영상 뷰어, (나) 부분은 질의 영상 내에 포함된 결함 영역을 추출하여 MBR로 표시한 것이며, (다) 부분은 질의 영상 내의 각 결함 영역을 추출하여 이진 영상으로 표시한 화면이다.

상기 실험의 목표는 첫째, 테스트 영상에서 결함 영역을 검출하는 것이고, 둘째, 검출한 결함 영역을 분석하여 그 결함 영역에 포함된 결함이 쿠닉, 피트, 실, 기포, 이물 중 어느 유형에 속하는지 결함 유형을 결정하는 것이다.

상기 실험에서 사용된 테스트 영상은 결함 검출 시스템에서 사용되는 영상이 일반적으로 일정 비율 확대된 대용량 영상임을 고려하여 1000x1000 픽셀 크기의 영상으로 하였으며 각 결함 유형을 포함하는 45개의 영상을 사용하였다.

또한, 영상의 회전 변형에 견고함을 입증하기 위하여 테스트 영상 내의 결함을 30^o, 60^o, 90^o 로 회전한 변환된 영상에 대해서도 실험을 수행하였다.

상기 실험에서 실제 결함 영역과 잡음의 크기를 고려하여 블록 사이즈는 3x3 픽셀로 정하였고 결함 영역 결정에 있어서 5개 미만의 블록을 포함한 영역은 결함 영역 결정에서 배제시켜 영상의 잡음을 제거할 수 있게 하였다.

또한, 결함 유형 결정을 위한 템플리트 데이터베이스는 각 영상에 대하여 결함을 추출하여 육안으로 결함 유형을 결정하고, 이 결함 영역으로부터 특징값(f₁~f₄)을 추출하여 상기 [표 2]에서 보인 바와 같은 템플리트 데이터베이스를 구축하였다. 결함 영역의 유사도 계산에 필요한 가중치는 결함 유형 간의 유사도 차이를 최대화하기 위하여 특징값 f₁, f₂, f₃, f₄의 가중치 실험을 통하여 각 특징값에 대해 0.35, 0.15, 0.25, 0.25로 가중치를 정하였다.

상기 목표 영역을 검출하기 위한 시스템(TRES)을 이용한 실험 결과, 테스트 영상에서 결함 영역을 검출하는 첫 번째 실험에서 45개의 테스트 영상에서 모든 결 함 영역을 빠른 시간 (평균 0.64초) 안에 검출하였다 (Precision=1, Recall=1).

또한, 검출한 결함 영역을 분석하여 결함 유형을 결정하는 두 번째 실험에서, 변형하기 전의 원 영상에 대한 실험에서는 도 11에 도시한 바와 같이 Precision 은 0.87-1.0의 분포를 보이고 평균 0.96이며, Recall의 경우 0.85-1.0, 평균 0.95로 결함 검출의 정확도가 양호한 것을 관찰할 수 있다.

마지막으로, 회전 변형을 적용한 경우의 결함 유형 검출 실험에서는 도 12에 도시한 바와 같이 Precision 은 0.86-1.0의 분포를 보이고 평균 0.95 을 나타냈으며, Recall의 경우 0.60-1.0, 평균 0.89로 정확도가 원 영상의 경우에 비해서는 다소 저하되나 그 차이가 미미하여 제안한 기법이 회전 변환에 대하여 견고함을 알 수 있다. 그러나 회전 변환 실험에서 쿠닉 유형의 경우Recall 이 0.60으로 비교적 정확도가 낮은 결과를 보이고 있는데, 이는 쿠닉인 경우에는 크기가 미세한 다수의 결함이 산재하여 분포하는 경향을 보임으로써, 아주 작은 결함이 잡음으로 간주되기 때문에 나타나는 현상이다.

그리고, 본 발명은 도면에 도시 된 실시 예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서,본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

이상에서 설명한 바와 같이, 본 발명에 따른 영역확장을 기반으로 지형지물 의 영상을 추출하여 판정하는 방법은, 노이즈 제거를 위한 전처리 과정을 생략하여 과잉 세그멘테이션을 방지하는 효과가 있다.

또한 본 발명에 따른 영역확장을 기반으로 지형지물의 영상을 추출하여 판정하는 방법은 대상 영역에서 복수 개의 목표 대상을 효율적으로 검출하는 효과가 있다.

Claims (12)

1. 영상을 추출하여 판정하는 방법에 있어서,

   촬영된 영상으로부터 목표 지형 및 지물 영역의 검출하는 검출과정 및;

   검출 결과로 검출된 목표 지형 및 지물의 유형을 판정하는 판정과정을 포함하여 구성되고,

   상기 검출과정은

   상기 촬영된 영상을 블록으로 나누는 영상 블록화 단계;

   상기 나눠진 각 블록에 명암도를 할당하여 매트릭스를 생성하는 블록 매트릭스 생성단계;

   상기 명암도에 따라 블록들을 병합하여 복수 개의 후보 지형 및 지물 영역을 생성하는 후보영역 생성단계 및;

   상기 생성된 복수 개의 후보 영역 중 노이즈로 간주되는 비목표 영역을 제거하고 인접 영역을 병합하여, 목표 영역의 지형 및 지물을 검출하는 영역 검출단계를 포함하여 구성되는 것을 특징으로 하는 영역확장을 기반으로 지형지물의 영상을 추출하여 판정하는 방법.
2. 제1항에 있어서, 상기 촬영된 영상은

   위성 또는 항공을 이용하여 지면보다 높은 고도에서 촬영된 자연 영상인 것을 특징으로 하는 영역확장을 기반으로 지형지물의 영상을 추출하여 판정하는 방법.
3. 삭제
4. 제1항에 있어서, 상기 블록화 단계는

   상기 촬영된 영상을 가로 p개와 세로 q개의 블록으로 나누는 것을 특징으로 하는 영역확장을 기반으로 지형지물의 영상을 추출하여 판정하는 방법.
5. 제1항에 있어서, 상기 블록 매트릭스생성 단계는

   상기 블록을 양자화하는 단계와;

   상기 양자화된 블록의 명암 평균값에 따라 상기 양자화된 블록을 기 설정된 평균값으로 구분하는 단계 및;

   상기 평균값을 2차원으로 배열하는 매트릭스를 생성하는 블록 매트릭스 생성 단계를 포함하여 구성되는 것을 특징으로 하는 영역확장을 기반으로 지형지물의 영상을 추출하여 판정하는 방법.
6. 제5항에 있어서, 상기 양자화 단계는

   상기 촬영된 영상의 각 블록에 대해서 상기 블록을 n단계의 명암도로 표현하여 영상을 간소화하는 것을 특징으로 하는 영역확장을 기반으로 지형지물의 영상을 추출하여 판정하는 방법.
7. 제1항에 있어서, 상기 목표 영역은

   상기 촬영된 영상에서 주변보다 명암이 높거나 낮게 나타나는 블록인 것을 특징으로 하는 영역확장을 기반으로 지형지물의 영상을 추출하여 판정하는 방법.
8. 삭제
9. 제1항에 있어서, 상기 후보영역 생성단계는

   상기 촬영된 영상의 중심에 위치하는 블록에서 시작하여 외부의 나선방향으로 인접한 블록들을 검사하는 단계 및;

   상기 인접한 블록이 목표 영역의 블록이면 각 블록별로 병합하는 병합단계를 포함하여 구성되는 것을 특징으로 하는 영역확장을 기반으로 지형지물의 영상을 추출하여 판정하는 방법.
10. 제1항에 있어서, 상기 인접 영역을 병합하는 것은

    상기 인접 영역 간 최소 경계 사각형(minimum bounding retangle, MBR) 및 중심 간의 거리를 검사하여 병합하는 것을 특징으로 하는 영역확장을 기반으로 지형지물의 영상을 추출하여 판정하는 방법.
11. 제1항에 있어서, 상기 판정과정은

    이미 알려진 목표 지형 및 지물에 대하여 4가지의 특징을 추출하는 추출 단계와;

    상기 추출된 4가지 특징을 데이터베이스에 저장하여 템플리트 데이터베이스구축단계와;

    목표로 하는 상기 촬영된 영상에서 4 가지 특징을 추출하는 단계와;

    상기 추출된 상기 촬영된 영상의 4가지 특징과 상기 템플리트 데이터베이스에 기 저장된 이미 알려진 목표 지형 및 지물에 대한 4가지 특징들의 유사성 비교(Similarity comparison)를 통하여 정합과정을 수행하는 템플리트 정합단계 및;

    상기 템플리트 정합 결과유형을 판정하는 판정단계를 포함하여 구성되는 것을 특징으로 하는 영역확장을 기반으로 지형지물의 영상을 추출하여 판정하는 방법.
12. 삭제

Images