KR100210400B1 - 쿼드트리에 따른 거리영상 분류방법 - Google Patents

Abstract

본 발명은 거리영상(range image)을 입력받아 쿼드트리(quadtree)에 의해 분할한 후 분할된 영상을 다시 병합(merging)하므로써 영역화한 후, 그 영역화 결과에 따라 라벨을 부여하는 거리영상 분류방법에 관한 것으로, 상기 분할된 영상을 다시 병합하는 과정이, 쿼드트리에 의해 분할된 인접한 두 영역의 경계면에서 소정 수의 인접한 화소를 양영역에서 동일하게 추출하는 단계(S31)와; 상기 추출된 n개의 화소에 대해, 하나 걸러 인접한 화소간의 거리를 구하는 단계(S32); 상기 구해진 두 거리의 차를 소정의 문턱치와 비교하여 두 거리의 차가 모두 문턱치 이하이면 상기 분할된 두 영역을 병합하고, 문턱치 이하가 아니면 병합하지 않고 다른 영역에 대해 상기 거리를 구하고 비교하는 단계들을 반복하는 단계로 이루어져 사용자가 원하는 이미지 화일을 라벨에 의해 검색할 수 있으므로 방대한 이미지 화일의 분류 및 검색을 용이하게 할 수 있는 효과가 있다.

Description

쿼드트리에 따른 거리영상 분류방법

본 발명은 거리 영상 데이타를 쿼드트리(quadtree)에 의해 분류하여 라벨을 부여하고, 부여된 라벨에 따라 저장된 영상데이타를 인덱스 가능하도록 한 후, 사용자가 원하는 키워드를 입력하면 이에 따라 최적의 라벨을 검색하여 원하는 거리 영상 데이타를 찾을 수 있도록 하는 거리영상 분류방법에 관한 것이다.

일반적으로 거리 영상(range image)은 임의의 화면(즉, 프레임)을 구성하는 픽셀들의 데이타가 R, G, B와 같은 색의 크기값을 갖는 것이 아니고, 특정한 기준으로부터의 거리 데이타로만 이루어진 영상 데이타 화일로서, 산업용 로보트 분야에서 널리 사용된다. 즉, 거리영상이란 각 화소의 값이 물체 표면의 각 점들의 3차원 좌표, 또는 기준평면으로부터의 각 점에 이르는 거리(range)의 형태로 주어지는 영상을 의미하며, 거리영상을 취득할 수 있는 장치를 레인지 파인더(range finder)라고 한다. 레인지 파인더(range finder)는 여러가지 형태의 것이 사용되나 보통 레이져(lazer)를 이용하는 것이 많다. 레이져 레인지 파인더(lazer range finder)의 출력은 2차원 행렬의 형태로 저장되어 레인지 로우 파일(range raw file)을 생성하며, 레인지 로우 화일은 각종 디스크에 저장되어 있을 수 있다.

그런데 이러한 거리 영상 화일이 무수히 존재할 경우에 사용자가 이들 중 원하는 화일을 쉽게 찾을 수 있도록 저장시에 적절하게 분류하여 라벨을 부여할 필요가 있다. 이와 같이 라벨을 부여한 후 라벨에 의해 저장위치를 찾을 수 있도록 한다면, 비교적 원하는 거리 영상 화일을 찾기가 용이할 것이다.

그러나 종래에는 거리 영상 화일에 라벨을 부여할 경우에 사람이 일일이 거리 영상 화일의 종류를 수동으로 분류한 후, 거리 영상 화일을 담은 플로피 디스켓 혹은 카세트 테이프에 종이등을 이용하여 라벨을 부여하였기 때문에 분류기준이 정확하지 못하고, 검색하기도 불편하였다.

이에 본 발명은 다수의 거리 영상 화일들에 대해서 쿼드트리(quadtree)에 의해 영역화(segmentation)를 수행하여 자동으로 라벨을 부여한 후, 이 라벨에 의해 인덱스가 가능하도록 영상 데이터를 영상 저장장치에 저장하고, 그 라벨은 별도의 택스트(text) 화일로 저장하므로써 키워드에 따라 사용자가 원하는 거리 영상 화일들을 손 쉽게 검색할 수 있도록 하기 위한 거리영상 분류방법을 제공하는데 그 목적이 있다.

상기와 같은 목적을 달성하기 위하여 본 발명의 방법은, 거리영상(range image)을 입력받아 쿼드트리(quadtree)에 의해 분할한 후 분할된 영상을 다시 병합(merging)하므로써 영역화한 후, 그 영역화 결과에 따라 라벨을 부여하는 거리영상 분류방법에 있어서, 상기 분할된 영상을 다시 병합하는 과정이, 쿼드트리에 의해 분할된 인접한 두 영역의 경계면에서 소정 수의 인접한 화소를 양영역에서 동일하게 추출하는 단계와; 상기 추출된 n개의 화소에 대해, 하나 걸러 인접한 화소간의 거리를 구하는 단계; 상기 구해진 두 거리의 차를 소정의 문턱치와 비교하여 두거리의 차가 모두 문턱치이하이면 상기 분할된 두 영역을 병합하고, 문턱치이하가 아니면 병합하지 않고 다른 영역에 대해 상기 거리를 구하고 비교하는 단계들을 반복하는 것을 특징으로 한다.

도 1은 본 발명이 적용되는 거리영상 분류 및 검색장치를 도시한 블럭도,

도 2는 본 발명에 따라 거리영상에 라벨을 부여하는 방법을 도시한 흐름도,

도 3은 도 2에 도시된 병합단계의 세부 흐름도,

도 4는 쿼드트리(quadtree)를 설명하기 위하여 도시한 도면,

도 5a 내지 5c는 쿼드트리에 의해 분할된 영역을 본 발명에 따라 병합(merging)하는 것을 설명하기 위한 도면이다.

* 도면의 주요부분에 대한 부호의 설명

10: 영상저장 제어부12: 영상저장장치

14: 라벨생성 및 해석부16: 영상검색부

18: 라벨저장 제어부20: 라벨 저장장치

22: 영상입출력부

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 자세히 설명하기로 한다.

일반적으로 방대한 양의 데이타 베이스는 주로 문서(택스트)형식으로 이루어져 있다. 사용자는 이러한 데이타 베이스에서 원하는 문자나 문장들을 텍스트 서치 프로그램(text search program)을 이용하여 쉽게 빨리 검색할 수 있다. 그러나 이러한 데이타 베이스가 문자가 아닌 영상에 의해 구축되어야 할 때는 영상 데이타를 직접 검색하는 것이 불가능하므로 영상에서 텍스트 형식의 정보를 추출하여 이를 별도로 저장한 후 이 택스트 형식의 정보를 이용하여 검색하는 것이 보다 신속하다. 이와 같이 임의의 영상을 처리하여 이 영상의 특징을 나타내는 추출된 정보를, 대응하는 영상의 라벨(label)이라 한다.

또한, 라벨에 의해 지정된 특정한 영상 화일들은 영상저장장치상에 저장됨에 있어서 인덱스(index)에 의해 그 위치가 지정되어 있다. 따라서 라벨들과 그 라벨들에 대응하는 인덱스들의 각 쌍을 테이블(이를 라벨-인덱스 테이블이라 한다)로 만들어 놓으면, 라벨에 의해 지정된 임의의 영상을 이 테이블(label-index table)에 의해 쉽게 찾을 수 있다.

본 발명은 영상저장장치에 저장된 다수의 거리영상 데이타 화일들을 소정의 시퀀스에 따라 영역화하여 라벨을 부여한 후, 앞서 설명한 바와 같은 라벨-인덱스 테이블을 형성하여 사용자가 원하는 영상의 특성을 키워드로 입력(혹은, 직접 라벨을 입력할 수도 있다)하면 해당 거리 영상 화일들을 찾아 주도록 된 것이다.

이와 같은 본 발명에 따른 거리영상 분류방법이 적용되기에 바람직한 거리영상 분류 및 검색장치는 도 1에 도시된 바와 같이, 영상입출력부(22), 영상저장제어부(10), 영상저장장치(12), 라벨생성 및 해석부(14), 영상검색부(16), 라벨 저장제어부(18), 라벨 저장장치(20)로 구성되어 있다.

도 1을 참조하면, 영상입출력부(22)는 도시되지 않은 외부의 디바이스(예컨대, 모니터 혹은 레인지 파인더 등)로/로부터 거리 영상 화일의 데이타를 입출력하고, 영상 저장장치(12) 및 라벨 저장장치(20)는 하드디스크(HDD)와 같은 대용량의 데이타 저장장치로서 구현된다. 이때 영상저장장치(12)와 라벨 저장장치(20)는 하나의 하드디스크상에 영역을 달리하여 구현되거나 다른 2개의 하드디스크로 각각 구현될 수도 있다. 영상저장장치(12)에는 다수의 거리 영상의 이미지 화일들이 로 화일(raw file)형태로 저장되며, 영상 저장제어부(10)에 의해 데이타가 지정된 어드레스상에 저장된다.

영상 저장 제어부(10)는 새로운 거리 영상이 입력되면, 인덱스(index)를 부여하여 영상저장장치(12)의 해당 위치에 데이타를 저장하게 함과 아울러 새로운 거리영상의 데이타와 이 데이타가 저장된 곳을 지시하는 인덱스를 라벨 생성및 해석부(14)로 전달한다. 또한 라벨 생성 및 해석부(14)로부터 인덱스가 입력되면 영상저장장치(12)의 해당 영상데이타를 읽어와 영상 입출력부(22)로 출력한다.

라벨 생성 및 해석부(14)는 영상 저장제어부(10)로부터 입력된 거리 영상 화일을 소정의 시퀀스에 따라 영역화하여 라벨을 생성하고, 이 라벨과 입력된 거리영상의 저장위치를 나타내는 인덱스를 쌍으로 하는 라벨-인덱스 테이블을 형성한다. 이러한 라벨-인덱스 테이블은 새로운 거리영상이 입력될 때마다 갱신되어 영상저장장치(12)에 저장된 모든 이미지 화일과 라벨이 일대일로 매칭될 수 있게 한다. 그리고 영상검색부(16)로부터 검색된 라벨이 입력되면 상기 라벨-인덱스 테이블로부터 해당 인덱스를 찾아 영상 저장제어부(10)로 출력한다.

라벨 저장제어부(18)는 라벨 생성 및 해석부(14)로부터 입력되는 라벨들을 라벨저장장치(20)에 저장하고, 영상 검색부(16)로부터 서치명령이 입력되면 라벨 저장장치(20)에 저장된 라벨들을 읽어 영상 검색부(16)로 전달한다.

영상검색부(16)는 사용자가 도시되지 않은 키보드로부터 입력한 키워드에 따라 하나의 라벨을 형성하고(만일, 라벨형태로 직접 입력되면 그 라벨을 이용한다), 라벨 저장제어부(16)에 서치명령을 출력하여 라벨 저장장치(20)에 저장된 모든 라벨들과 키워드에 의해 형성된 라벨을 비교하여 일정 서치조건에 맞는 라벨들을 찾아내고, 찾아진 이 라벨들은 라벨 생성 및 해석부(14)로 출력한다.

이어서, 이와 같이 구성되는 분류 및 검색장치에서 본 발명에 따라 거리영상을 분류하는 방법을 도 2의 흐름도를 참조하여 설명한다.

먼저 본 발명이 적용되는 거리 영상분류 및 검색장치는 거리영상을 분류하여 라벨을 생성하는 분류과정과, 사용자가 입력한 키워드로부터 임의의 거리영상을 찾는 검색과정으로 크게 구분할 수 있다.

1. 분류과정(라벨생성)

본 발명에 따라 라벨을 생성하는 과정은 도 2에 도시된 바와 같이, 거리영상을 입력하는 단계(S1)와; 입력된 영상을 쿼드트리에 의해 분할하는 단계(S2); 분할된 영상을 병합하는 단계(S3); 병합이 완료되면 영역화하는 단계(S4); 영역화된 결과에 따라 라벨을 부여하는 단계(S5)로 구성된다.

거리영상을 입력하는 단계(S1)에서는 레인지 파인더 등에 의해 얻어진 거리영상을 영상저장장치에 저장하기 위해 입력한다. 이때 거리영상을 검색하기 쉽도록 본 발명에 따라 거리영상을 분류할 필요가 있으므로 입력된 거리영상을 쿼드트리 분할한다.

쿼드트리(quadtree)에 의한 영상분할은 도 4에 도시된 바와 같이, 입력영상을 4등분하면서 점차 계층적으로 세분화되어 가는 것으로, T-피라미드의 변형이다. 쿼드트리의 장점은 이미지를 가산하거나 물체영역을 계산하기가 용이하다는 것이고, 단점은 물체의 상대적인 크기와 방향, 및 위치에 의존한다는 것이다. 즉, 동일한 물체라도 조금만 시프트되면 쿼드트리 표현에서는 전혀 다르게 나타날 수도 있다.

도 4를 참조하면, 하나의 전체 영역은 0, 1, 2, 3의 4개의 영역으로 분할되고, 영역 1은 다시 10, 11, 12, 13으로 분할되며, 12 영역은 다시 120, 121, 122, 123으로 분할된다. 이와 같이 분할된 영역은 도 4에 도시된 바와 같이, 트리구조에 의해 계층적으로 표현된다.

이어서 쿼드트리에 의해 분할된 영역은 영역 병합단계(S3)에서 다시 병합되므로써 거리영상이 영역화되게 된다.

쿼드트리에 의해 분할된 영역을 본 발명에 따라 병합하는 단계(S3)는 도 3에 도시된 바와 같이, 쿼드트리에 의해 분할된 인접한 두 영역(A,B)의 경계면에서 소정 수의 인접한 화소를 양 영역에서 동일하게 추출하는 단계(S31)와; 상기 추출된 n개의 화소에 대해, 하나 걸러 인접한 화소간의 거리를 구하는 단계(S32); 상기 구해진 두 거리의 차를 소정의 문턱치와 비교하여 두 거리의 차가 모두 문턱치 이하이면 상기 분할된 두 영역을 병합하는 단계(S33,S34); 및 상기 두거리의 차가 문턱치 이하가 아니면 병합하지 않고 다른 영역에 대해 상기 거리를 구하고 비교하는 단계들을 반복하는 단계(S33,45)로 이루어진다.

도 5a 내지 5c는 쿼드트리에 의해 분할된 영역을 본 발명에 따라 병합(merging)하는 것을 설명하기 위한 도면이다.

쿼드트리에 의해 분할된 인접한 임의의 두 영역이 도 5a에 도시된 바와 같다면, 종래에는 두 개의 영역(A,B: 혹은 윈도우)을 합한 경우의 분산과 같은 균일성 검사함수를 적용하여 병합여부를 결정하였다. 이와 같이 균일성 검사함수를 이용할 경우, 경계영역뿐만 아니라 전체 영역에 대해 계산을 해야하므로 계산량이 증가하였다.

그러나 본 발명에서는 두 영역의 경계면을 중심으로 소정 수의 화소들만을 이용하여 병합여부를 결정하므로 계산과정이 단순해진다.

즉, 본 발명의 바람직한 실시예에서는 두 영역(A,B)의 경계면에서 경계면의 화소(p3)를 중심으로 좌측면(영역 A)에서 2개의 인접화소(p1,p2)를 선택하고, 우측면(영역 B)에서 인접한 2개의 화소(p4, p5)를 선택한다. 이와 같이 경계 화소(p3)를 중심으로 좌,우 동수로 추출된 화소들을 배열하면 도 5b 혹은 도 5c와 같다. 이때 도 5b는 인접한 화소들의 크기(즉, 밝기값)가 동일한 경우이고, 도 5c는 경계면에서는 높고 경계면에서 멀어질수록 작아지는 경우이다.

도 5b의 경우에 p1-p3, p2-p4, p3-p5 간의 간격(거리)을 구한다. 이어서 p1-3간의 거리에서 p2-4간의 거리를 감산한 후, 그 절대값이 소정의 문턱치(T)보다 작은지를 비교하고(), p2-4간의 거리에서 p3-5간의 거리를 감산한 후 그 절대값이 소정의 문턱치(T)보다 작은 지를 비교하며(), p1-3간의 거리에서 p3-5간의 거리를 감산한 후 그 절대값이 소정의 문턱치보다 작은지를 비교한다(). 상기 비교결과 각각 두 거리간의 차가 문턱치(T) 이하이면 쿼드트리에 의해 분할된 두 영역을 병합한다.

도 5c의 경우에도 5개의 화소에 대해 도 5b에서와 같이 화소간 거리를 구한 후 각 구해진 거리의 차를 문턱치(T)와 비교하여 분할여부를 결정한다. 이때 도 5c의 경우에는 p2-4간의 거리와 p1-3간의 거리의 차의 절대값이 문턱치보다 크므로 두 영역은 병합하지 않는다().

이어서 라벨링단계(S5)에서는 쿼드트리에 의한 분할 및 병합에 의해 얻어진 영역화의 결과에 따라 해당 거리 영상을 특정하는 특성들을 라벨로 나타낸다. 예컨대, 각 거리영상에서의 영역의 갯수, 각 영역의 화소수, 모양, 최소 사각형의 크기를 라벨로 이용할 수 있다.

2.검색과정

검색과정에서는 이미 분류되어 라벨이 부여된 후 영상저장장치에 저장된 거리영상들 중 원하는 이미지 화일을 찾는 것이다. 그런데 본 발명에서는 영상저장장치(12)에 저장된 이미지 화일들에 일대일로 대응하는 라벨을 별도의 라벨 저장장치(20)에 저장해 놓았으므로 사용자가 원하는 키워드로부터 라벨을 형성하고, 이 라벨을 라벨 저장장치(20)에 저장된 라벨들과 비교하여 서치조건에 맞는 라벨을 찾아낸다. 여기서 서치조건은 영역화의 결과 들중에서 몇가지 원하는 특성을 포함하는 모든 영상들을 찾기 위하여 라벨에 적절한 표시(예컨대, 제한특성중 무시하고자 하는 특성을 *로 표시한다)를 하는 것이다.

즉, 사용자가 원하는 형태의 영역을 가진 영상을 사용자가 키보드를 통해 입력하면, 이에 관련된 라벨들을 찾을 수 있다. 이때 사용자는 영역화 결과에 의해 얻어진 라벨 목록을 보고, 자신이 원하는 영상에 해당 가능한 라벨을 직접 입력할 수도 있다. 여기서 라벨은 텍스트형태로 저장되어 있으므로, 일일이 영상을 확인하지 않더라도 기존의 택스트 서치 프로그램을 이용하여 쉽게 서치할 수 있다.

이와 같이 검색된 라벨은 라벨 생성 및 해석부(14)에 의해 인덱스로 변환되어 영상저장장치(12)에 저장된 해당 이미지 화일을 불러 오는데 사용된다. 이때 검색된 이미지 화일은 영상입출력부(22)를 통해 도시되지 않은 모니터로 출력하여 화면으로 확인할 수 있다.

이상에서 살펴본 바와 같이 본 발명에 따른 거리 영상 분류 및 검색장치는 거리영상을 자동으로 분류하여 라벨링한 후 지정된 위치에 저장하고, 택스트 화일로 된 라벨을 검색을 위해 별도로 보관한 후 사용자가 원하는 이미지 화일을 라벨에 의해 검색할 수 있으므로 방대한 이미지 화일의 분류 및 검색을 용이하게 할 수 있는 효과가 있다. 특히 이러한 기술은 산업현장에서 많은 거리영상을 취급하는 로보트분야에 유용하게 응용될 수 있다.

Claims (1)

1. 거리영상(range image)을 입력받아 쿼드트리(quadtree)에 의해 분할한 후 분할된 영상을 병합(merging)하므로써 영역화한 후, 그 영역화 결과에 따라 라벨을 부여하는 거리영상 분류방법에 있어서,

   상기 분할된 영상을 병합하는 과정이,

   쿼드트리에 의해 분할된 인접한 두 영역의 경계면에서 소정 수의 인접한 화소를 양영역에서 동일하게 추출하는 단계(S31)와; 상기 추출된 n개의 화소에 대해, 하나 걸러 인접한 화소들간의 거리를 구하는 단계(S32); 상기 구해진 두 거리의 차를 소정의 문턱치와 비교하여 두 거리의 차가 모두 문턱치 이하이면 상기 분할된 두 영역을 병합하고, 문턱치 이하가 아니면 병합하지 않고 다른 영역에 대해 상기 거리를 구하고 비교하는 단계들을 반복(S33∼35)하는 쿼드트리에 따른 거리영상 분류방법.