KR100506095B1

KR100506095B1 - 지능형 시스템에 있어서 표식검출방법 및 장치

Info

Publication number: KR100506095B1
Application number: KR10-2003-0081232A
Authority: KR
Inventors: 한우섭; 노경식; 권웅; 심영보; 오연택; 박기철
Original assignee: 삼성전자주식회사
Priority date: 2003-11-17
Filing date: 2003-11-17
Publication date: 2005-08-03
Also published as: US20050107947A1; US7606416B2; KR20050047410A; JP2005149509A

Abstract

지능형 시스템에 있어서 표식검출방법 및 장치가 개시된다. 표식검출방법은 (a) 하나의 프레임영상에 대하여 제1 산포도에 따른 가중 샘플링방식을 이용하여 프레임 영상의 전체영역으로 설정되는 제1 샘플링영역에 대하여 N개의 샘플블럭을 생성하고, 각 샘플블럭과 미리 정의된 표식모델간의 특징량을 비교하여 1차 검출을 수행하는 단계; 및 (b) 제2 산포도에 따른 가중 샘플링방식을 이용하여 상기 1차 검출 수행결과 얻어지는 상기 표식모델의 대략적인 위치를 중심으로 설정되는 제2 샘플링영역에 대하여 N개의 샘플블럭을 생성하고, 각 샘플블럭과 미리 정의된 표식모델간의 특징량을 비교하여 2차 검출을 수행하는 단계로 이루어진다.

Description

지능형 시스템에 있어서 표식검출방법 및 장치{Method and apparatus of landmark detection in intelligent system}

본 발명은 지능형 시스템(Intelligent System)의 자율주행을 위하여 표식을 이용하여 지능형 시스템의 현재 위치를 추정하기 위한 방법 및 장치에 관한 것이다.

최근 들어 무인항공기, 무인차량 및 모바일 로봇과 같은 자율주행시스템(Intelligent Vehicle System), 무인감시시스템, 지능형 교통시스템(Intelligent Transportation System) 등과 같은 지능형 시스템에 대한 관심이 높아짐에 따라서 이에 대하여 활발한 연구가 진행되고 있다. 특히, 지능형 시스템의 자기 위치를 인식하는 로컬라이제이션(localization)에 대하여 다양한 방법이 제안되고 있다. 최근에는 로컬라이제이션을 위하여 비젼 기술을 기반으로 하여 인공 혹은 자연적인 표식을 이용한 방법들이 많이 제안되고 있다.

표식을 이용하는 방법 중 자연표식을 이용한 방식은 인공표식을 이용하는 방식보다 좀 더 일반적인 방식으로 실내나 실외 모두에 적합한 방식이다. 자연표식은 임의의 장면에 대해서 자연표식 자체가 지니고 있는 기하학적인 혹은 광학적인 특성을 고려하여 장면내에서 선택되며, 지능형 시스템은 자연표식의 특성이나 특징량 등을 이용하여 표식을 인식한다. 하지만, 자연표식을 이용한 방식은 실제 환경에서 최적의 표식 추출이 어렵다는 단점이 있다.

반면, 인공표식을 이용한 방식은 실내 환경에서 지능형 시스템의 자기 위치 추정에 필요한 매우 간단하고 효과적인 방식이다. 지능형 시스템은 미리 표식모델이나 표식모델의 특정량 등을 모델링하고, 주행 중 영상내에서 인공표식을 찾아낸다. 따라서, 인공표식을 이용하는 방식에 있어서 표식의 형태나 특징량의 선택, 검출방식 등이 중요하다. 많은 표식모델이 검출 알고리즘과 결합되어 제안되었는데, 그 예로는 바코드와 같은 특정형태를 지닌 표식모델이나 Briggs 등에 의한 흑백 자기유사(self-similar) 패턴을 들 수 있다. 그러나, 이와 같이 특정의 형태정보를 이용하는 방식의 경우에는 영상처리결과에 매우 의존적이기 때문에 영상내의 잡음이나 부정확한 초점에 따른 번짐효과(blurring phenomenon) 등에 의해 낮은 인식성공율을 보이게 된다.

한편, 표식검출을 위해서는 복잡한 환경하에서도 실시간으로 물체 추적이 가능하다고 알려져 있는 CONDENSATION(CONditional DENSity propagATION) 알고리즘을 사용하는데, 이 경우 매 프레임영상에서 샘플링영역이 프레임 전체 영상으로 일정하고, 산포도 역시 초기에 설정된 값을 매 프레임영상에서 일정하게 사용하게 됨으로써 표식검출에 많은 시간이 걸릴 뿐 아니라, 산포도를 큰 값으로 설정한 경우에는 검출의 정확도가 떨어지는 문제점이 있다. CONDENSATION 알고리즘에 대해서는 M.Isard와 A.Blake에 의한 논문 "CONDENSATION-conditional density propagation for visual tracking", Int. J. Computer Vision, 1998에 자세히 기재되어 있다.

따라서, 본 발명이 이루고자 하는 기술적 과제는 프레임영상의 전체 영역을 샘플링영역으로 설정하고 산포도값을 크게 설정하여 수행하는 1차 검출과 표적의 대략적인 위치를 중심으로 하는 소정영역을 샘플링영역으로 설정하고 산포도값을 적게 설정하여 수행하는 2차 검출을 순차적으로 수행함으로써 잡음에 둔감하면서도 정확성을 향상시킨 표식검출방법 및 장치를 제공하는데 있다.

또한, 본 발명이 이루고자 하는 다른 기술적 과제는 1차 검출 및 2차 검출시 각 프레임영상에서 적용되는 산포도를 현재 프레임영상에서 얻어지는 최대매칭확률을 이용하여 적응적으로 가변시킴으로써 정확성을 향상시킨 표식검출방법 및 장치를 제공하는데 있다.

또한, 본 발명이 이루고자 하는 또 다른 기술적 과제는 표식모델의 칼라 히스토그램을 현재 프레임영상에서 얻어지는 매칭확률, 현재 프레임영상에서 사용된 샘플블럭의 칼라 히스토그램 및 현재 프레임영상에서 사용된 표식모델의 칼라 히스토그램을 이용하여 갱신함으로써 조명변화에 대한 강인성을 향상시킨 표식검출방법 및 장치를 제공하는데 있다.

상기 기술적 과제들을 달성하기 위하여 본 발명에 따른 지능형 시스템에 있어서 표식검출방법은 (a) 하나의 프레임영상에 대하여 제1 산포도에 따른 가중 샘플링방식을 이용하여 프레임 영상의 전체영역으로 설정되는 제1 샘플링영역에 대하여 N개의 샘플블럭을 생성하고, 각 샘플블럭과 미리 정의된 표식모델간의 특징량을 비교하여 1차 검출을 수행하는 단계; 및 (b) 제2 산포도에 따른 가중 샘플링방식을 이용하여 상기 1차 검출 수행결과 얻어지는 상기 표식모델의 대략적인 위치를 중심으로 설정되는 제2 샘플링영역에 대하여 N개의 샘플블럭을 생성하고, 각 샘플블럭과 미리 정의된 표식모델간의 특징량을 비교하여 2차 검출을 수행하는 단계를 포함하는 것을 특징으로 한다.

상기 기술적 과제들을 달성하기 위하여 본 발명에 따른 지능형 시스템에 있어서 표식검출장치는 하나의 프레임영상에 대하여 제1 산포도에 따른 가중 샘플링방식을 이용하여 프레임 영상의 전체영역으로 설정되는 제1 샘플링영역에 대하여 N개의 샘플블럭을 생성하고, 각 샘플블럭과 미리 정의된 표식모델간의 특징량을 비교하여 1차 검출을 수행하는 1차 검출부; 및 제2 산포도에 따른 가중 샘플링방식을 이용하여 상기 1차 검출 수행결과 얻어지는 상기 표식모델의 대략적인 위치를 중심으로 설정되는 제2 샘플링영역에 대하여 N개의 샘플블럭을 생성하고, 각 샘플블럭과 미리 정의된 표식모델간의 특징량을 비교하여 2차 검출을 수행하는 2차 검출부를 포함하는 것을 특징으로 한다.

상기 표식검출방법은 바람직하게는 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체로 구현할 수 있다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 일실시예에 대하여 상세히 설명하기로 한다.

도 1은 본 발명에 따른 지능형 시스템에 있어서 표식검출장치의 구성을 나타내는 블럭도로서, 영상입력부(110), 스위칭부(130), 표식검출부(150), 표식추적부(170) 및 제어부(190)로 이루어지며, 표식검출부(150)는 도 2에 도시된 바와 같이 1차 검출부(210)와 2차 검출부(230)로 이루어진다. 여기서, 스위칭부(130), 표식추적부(170) 및 제어부(190)는 옵션으로 구비될 수 있는 구성요소이다. 도 1 및 도 2를 참조하여 본 발명에 따른 표식검출장치의 동작을 설명하기로 한다.

도 1 및 도 2를 참조하면, 영상입력부(110)는 카메라에 의해 촬상된 영상을 프레임 단위로 입력받는다.

스위칭부(130)는 제어부(190)의 절환제어에 따라서, 즉 표식검출부(130) 또는 표식추적부(150)의 검출결과 또는 추적결과에 따라서 영상입력부(110)로부터 제공되는 현재 프레임 영상을 표식검출부(130) 또는 표식추적부(150)로 제공한다. 이전 프레임영상에서 표식이 검출되거나 추적된 경우에는 현재 프레임영상을 표식추적부(150)로 제공하고, 표식이 검출되지도 추적되지도 않은 경우에는 현재 프레임영상을 표식검출부(130)로 제공한다.

표식검출부(150)에서는 입력되는 현재 프레임 영상에 대하여 표식을 검출하기 위한 것으로서, 이때 찾고자 하는 표식의 예로는 특정 컬러 한가지만을 사용할 수도 있으나, 본 실시예에서는 특정 컬러가 반복적이고 대칭적인 형태로 배열된 패턴을 사용한다. 이때, 표식검출에는 CONDENSATION(CONditional DENSity propATION) 알고리즘을 사용한다. 1차 검출부(210)에서는 제1 산포도, 예를 들면 50을 갖는 확률분포가 이루어지도록 하고, 2차 검출부(230)에서 제2 산포도, 예를 들면 10에 의해 확률분포가 이루어지도록 한다. 즉, 산포도의 차이에 의하여 1차 검출부(210)는 2차 검출부(230)에 비하여 검출의 정확도가 떨어진다. 1차 검출부(210)에서는 칼라영상의 전체 프레임을 샘플링 영역으로 설정하고, 산포도를 큰 값으로 설정하여 거친 검출(coarse detection)을 수행하고, 그 결과 표식의 대략적인 위치를 추정하고, 2차 검출부(230)에서는 표식의 대략적인 위치를 중심으로 소정 영역을 샘플링 영역으로 설정하고, 산포도를 작은 값으로 설정하여 미세 검출(fine detection)을 수행한다.

표식추적부(170)에서는 이전 프레임 영상에서 표식이 검출되거나 추적된 경우 제어부(190)로부터 제공되는 이전 프레임 영상에서 검출된 표식의 위치를 중심으로 현재 프레임 영상에서 소정의 영역을 설정하고, 설정된 영역에 대하여 표식추적을 수행한다. 표식추적에 대해서도 표식검출에 사용된 CONDENSATION 알고리즘을 사용하며, 표식검출부(150)의 2차 검출부(230)와 유사한 동작을 수행한다. 이와 같이 표식이 검출된 이후의 프레임영상에 대해서 표식추적을 적용하게 되면, 표식이 검출된 부분에 대하여 표식이 존재할 확률을 높게 산정하므로, 가려짐이 발생할 경우 또는 일정 시간동안 사라졌을 경우에도 강인한 성능을 발휘할 수 있다.

제어부(190)에서는 표식검출부(130) 또는 표식추적부(150)의 검출결과 또는 추적결과를 입력으로 하여, 표식검출의 성공여부 또는 표식추적의 성공여부에 따라서 영상입력부(110)로부터 제공되는 현재 프레임영상을 표식검출부(150)와 표식추적부(170) 중 하나로 제공하는 절환제어신호를 스위칭부(130)로 출력한다. 또한, 표식검출부(130)에서 표식검출이 성공한 경우 또는 표식추적부(150)에서 표식추적이 성공한 경우 검출 또는 추적된 표식의 위치 좌표값을 표식추적부(150)로 제공한다.

한편, 스위칭부(130), 표식추적부(170) 및 제어부(190)가 구비되지 않은 경우에는, 영상입력부(110)로부터 제공되는 매 프레임영상은 표식검출부(150)로 제공되어 제1 산포도를 이용한 가중 샘플링방식에 의한 1차 표식검출과정과 제2 산포도를 이용한 가중 샘플링방식에 의한 2차 표식검출과정이 순차적으로 수행되어진다.

도 3은 도 2에 있어서 표식검출부(150)의 1차 검출부(210) 및 2차 검출부(230)의 동작을 설명하는 흐름도로서, 여기서, 1차 검출부(210)와 2차 검출부(230)는 적용되는 산포도가 예를 들어 50과 10으로 서로 상이하고, 샘플링 영역이 상이할 뿐 기본적인 동작은 동일하다.

도 3을 참조하면, 311 단계에서는 산포도를 소정 값으로 설정한다. 만약, 1차 검출부(210)인 경우에는 산포도를 큰 값으로, 2차 검출부(230)인 경우에는 산포도를 작은 값, 예를 들면 제1 검출부(210)의 산포도의 1/5 정도의 값으로 설정한다.

313 단계에서는 샘플링 영역을 설정하는데, 1차 검출부(210)인 경우에는 입력되는 프레임 영상 전체를, 2차 검출부(230)인 경우에는 1차 검출부(210)에 의해 추정되는 표식의 대략적인 위치를 중심으로 하는 소정 영역을 샘플링 영역으로 설정한다.

315 단계에서는 카메라로부터 촬상된 현재 프레임의 칼라영상을 입력받는다. 여기서, 칼라영상은 조명변화에 의한 밝기값 변화를 극복하기 위해서 색도컬러공간으로 변환한다. 색도컬러공간으로의 변환을 통하여 빠르고 효과적으로 밝기값 성분을 제거함으로써 어두운 조명하에서도 강인하게 동작할 수 있다. 입력되는 RGB 칼라영상으로부터 색도컬러공간으로의 변환은 다음 수학식 1과 같이 이루어진다.

한편, 본 실시예에 적용되는 표식으로는 회전되어 있거나 부분적으로 가려져 있거나 또는 거리에 따라 크기가 바뀌는 경우에도 전체적인 특성을 유지할 수 있도록 도 6에서와 같이 특정 컬러가 반복적이고 대칭적인 형태로 배열된 패턴을 사용한다. 이와 같은 컬러의 배열은 실제 환경에서 발생할 수 있는 기하학적이며 광학적인 문제들에 대하여 강인한 성능을 갖도록 한다. 하나의 표식을 이루는 컬러의 수는 색도컬러공간 상에서 가장 큰 거리를 갖는 2 내지 4개의 컬러인 것이 바람직하다.

317 단계에서는 CONDENSATION 알고리즘에 기반하여 초기단계 즉, 첫번째 프레임영상에서 미리 정의된 표식모델에 대하여 정상상태에서의 칼라 히스토그램을 획득한다. 319 단계에서는 CONDENSATION 알고리즘에 기반하여 초기단계 즉, 첫번째 프레임에서 N개의 샘플블럭을 생성하여 프레임 영상내에서 랜덤하게 분포시킨다. 여기서는 샘플블럭의 수(N)를 50으로 설정하며, 샘플블럭 및 표식모델의 크기도 임의로 설정할 수 있다.

321 단계에서는 모든 샘플블럭의 특징량을 산출한다. 정의된 표식모델을 안정적으로 검출하고 추적하기 위해서는 적절한 표식의 특징량을 선택하는 것이 중요하다. 표식의 특정한 외곽 형태정보나 에지정보를 이용할 경우 영상내 잡음이나 번짐효과에 위해 표식검출이 실패할 가능성이 있으므로, 본 실시예에서는 영상왜곡에 강인하며 작은 계산량으로 추출될 수 있는 칼라 히스토그램을 사용한다. 칼라 히스토그램에는 표식내의 전역 칼라 히스토그램(global color histogram)과 행 또는 열이 갖는 부분 칼라 히스토그램(local color histogram)이 있다. 전역 칼라 히스토그램은 일정 영역내의 전체적인 칼라 유사도를 측정할 수 있는 척도로 사용될 수 있고, 서로 다른 패턴이라도 유사한 전역 칼라 히스토그램을 보일 수 있기 때문에 도 7에 도시된 바와 같이 특정 영상 열이나 행을 따라서 정의된 부분 칼라 히스토그램을 병행하여 사용한다.

이와 같은 히스토그램은 계산이 쉬울 뿐 아니라 표식이 갖는 칼라 패턴의 기하학적 특성과 맞물려 표식모델이 회전되어 있거나 혹은 영상내에서 크기 변화가 발생하여도 표식의 전역 칼라 히스토그램과 부분 칼라 히스토그램은 불변한 성질을 가진다. 또한, 히스토그램 특성은 매우 빠른 수행속도로 추출이 가능하기 때문에 실시간 구현에 적합하며, 영상처리의 영향을 거의 받지 않기 때문에 잡음이나 번짐 등과 같은 현상에 강인하다. 따라서, 자율주행 로봇과 같은 지능형 시스템은 어떠한 상황에서도 이와 같은 특징량을 비교함으로써 장면안에서 원하는 표식모델을 검출하고 추적할 수 있다.

323 단계에서는 각 샘플블럭과 표식모델의 유사도를 측정하는데, 이때 칼라 히스토그램간의 유사도를 나타내는 히스토그램 교집합(histogram intersection)을 사용한다. 히스토그램 교집합을 사용하면, 샘플블럭(i)와 표식모델(j) 간의 유사도(M(i,j))는 다음 수학식 2와 같이 나타낼 수 있다.

여기서, GHI와 LHI는 각각 전역 히스토그램 교집합과 부분 히스토그램 교집합을 나타내며, 다음 수학식 3 및 4와 같이 나타낼 수 있다.

여기서, gh와 lh는 각각 전역 히스토그램과 부분 히스토그램을 나타낸다. 그리고, (r,g)는 색도칼라공간에서 칼라 히스토그램의 빈의 좌표를 나타내고, w와 h는 부분 히스토그램의 행과 열의 번호를 나타낸다.

325 단계에서는 323 단계에서 산출된 유사도를 이용하여 샘플블럭(i)과 표식모델(j)간의 매칭확률(prob(i,j))을 다음 수학식 5와 같이 산출한다.

여기서, N은 전체 샘플블럭의 수를 나타낸다.

327 단계에서는 현재 프레임에서 표식모델의 위치를 325 단계에서 산출된 N개의 매칭확률(prob(i,j))의 무게 중심으로 추정한다.

329 단계에서는 327 단계에서 추정된 위치에서의 표식모델의 칼라 히스토그램과 미리 정의된 표식모델의 칼라 히스토그램을 비교하여 표식검출 성공여부를 판단한다. 즉, 두 칼라 히스토그램의 차이가 소정값보다 같거나 적으면 표식검출에 성공한 것으로 판단하여 331 단계에서 검출된 표식 위치값을 출력한다. 한편, 두 칼라 히스토그램의 차이가 소정값보다 크면 333 단계로 진행하여 현재 프레임이 마지막 단계인가를 판단한다.

333 단계에서는 현재 프레임이 마지막 단계 즉, 마지막 프레임인 경우에는 335 단계에서 표식검출 실패로 결정하고, 현재 프레임이 마지막 프레임이 아닌 경우에는 337 단계에서 (t+1)번째 프레임에서 사용될 표식모델의 칼라 히스토그램()을 샘플블럭들이 가지는 칼라 히스토그램과 샘플블럭들의 매칭확률을 이용하여 다음 수학식 6과 같이 갱신한다.

여기서, α는 가중치값으로서, 이 값을 크게 설정할 경우 시스템의 적응성은 향상되나, 강인성이 저하된다. 는 t번째 프레임영상에서 표식모델(j)의 칼라 히스토그램을 나타내며, 는 k번째 샘플블럭의 칼라 히스토그램을 나타낸다. 이와 같은 표식모델의 칼라 히스토그램의 갱신을 통해 조명이 바뀌는 경우에도 강인한 검출성능을 보일 수 있다.

339 단계에서는 산포도를 조정한다. 산포도 조정과 관련해서는 도 4 및 도 5를 참조하여 좀 더 세부적으로 설명하기로 한다. 산포도 조정단계는 옵션으로 구비될 수 있다. 341 단계에서는 339 단계에서 조정된 산포도를 적용하고, CONDENSATION 알고리즘에 의거한 가중 샘플링을 이용하여 다음 프레임에서 사용될 N개의 샘플블럭을 생성하여 321 단계로 복귀한다.

도 4는 도 3에 있어서 산포도 조정단계(339)의 제1 실시예를 보여주는 흐름도이다.

도 4를 참조하면, 411 단계에서는 i번째 프레임에서 얻어진 각 샘플블럭(i)과 표식모델(j)간의 매칭확률에 대한 최대매칭확률과 소정의 문턱치를 비교한다. 최대매칭확률은 각각의 샘플블럭이 표식모델과 매칭될 확률을 모두 합산한 누적확률로서, 이 값을 미리 설정된 문턱치와 비교할 때 문턱치보다 크면 제대로 수렴되어 매칭되었음을 의미하고, 그렇지 않다면 매칭되지 않았음을 의미한다.

413 단계에서는 411 단계에서의 비교결과, 최대매칭확률이 문턱치보다 적은 경우에는 현재 산포도를 소정단위, 예를 들면 0.5 만큼 증가시키고, 415 단계에서는 411 단계에서의 비교결과, 최대매칭확률이 문턱치보다 같거나 큰 경우에는 현재 산포도를 소정단위, 예를 들면 0.5 만큼 감소시켜 (i+1)번째 프레임에 적용한다.

도 5는 도 3에 있어서 산포도 조정단계(339)의 제2 실시예를 보여주는 흐름도로서, 제1 실시예에서는 누적확률에 따라서 두 단계로 산포도를 조정하였으나, 제2 실시예에서는 함수관계에 의하여 점진적으로 변화시키는 방법을 사용한다. 즉, 누적확률이 높을수록 정확하게 매칭되어 있음을 의미하므로, 좁은 영역에서 보다 자세히 추적하기 위해 산포도를 낮추는 즉, 반비례하는 적절한 함수를 이용하여 산포도를 결정한다.

도 5를 참조하면, 511 단계에서는 실제 산포도를 소정의 스케일팩터를 최대매칭확률로 나눈 값으로 다시 산출한다.

513 단계에서는 실제 산포도를 소정의 최대 산포도와 비교하여, 실제 산포도가 최대산포도보다 같거나 큰 경우에는 515 단계에서 (i+1)번째 프레임영상에 적용될 산포도를 최대산포도로 설정하고, 실제 산포도가 최대산포도보다 작은 경우에는 517 단계에서 산포도에 대한 조정없이 341 단계로 진행한다.

본 발명에서 적용된 CONDENSATION 알고리즘에 의거한 가중 샘플링의 예를 도 8a 및 도 8b를 참조하여 설명하면 다음과 같다.

도 8a는 전체 샘플블럭의 수(N)가 10인 경우, i번째 프레임영상에서 프레임 영상내에 분포된 샘플블럭(B1~B10)의 예를 보여주며, 각 샘플블럭에 대한 매칭확률은 다음 표 1과 같이 나타낼 수 있다.

샘플블럭	매칭확률
B1	0.11
B2	0.03
B3	0.21
B4	0.09
B5	0.13
B6	0.15
B7	0.08
B8	0.11
B9	0.04
B10	0.05
계	1.00

도 8b는 상기와 같은 매칭확률에 따라서 (i+1)번째 프레임영상에서 가중 샘플링에 의해 생성되는 샘플블럭의 형태를 나타내며, 다음 표 2와 같이 10개의 샘플블럭들이 생성된다.

샘플블럭	매칭확률	다음 프레임영상에서 생성되는 샘플블럭
B1	0.11	1
B2	0.03	0
B3	0.21	3
B4	0.09	1
B5	0.13	1
B6	0.15	1
B7	0.08	1
B8	0.11	1
B9	0.04	0
B10	0.05	1
계	1.00	10

즉, (i+1)번째 프레임영상에서는 i번째 프레임영상에서 매칭확률이 최대인 샘플블럭(B3)에 대하여 3개의 샘플블럭(B'3)이 생성되어짐을 알 수 있다.

도 9a 내지 도 9d는 본 발명에서 제안된 표식 검출방법을 실험한 결과를 보여주는 도면이다. 이때, 조명변화가 존재하고 많은 칼라 물체가 존재하는 환경에서 하나의 표식을 부착하여 실험을 수행하였다. 도면에서 하얀 사각형은 샘플블럭을 나타내며, 본 실험에서는 50개의 샘플블럭을 사용하였다.

도 9a를 참조하면, 샘플블럭들은 전체 영상에 대해 광범위하게 흩어져 있고, 각 샘플블럭들은 각각 표식모델과의 유사도를 반영하는 확률값을 가지게 된다. 도 9b 및 도 9c를 살펴보면 샘플블럭들은 프레임 수가 증가됨에 따라서 확률값에 의해 점점 표식쪽으로 전파되어 감을 알 수 있다. 사실성 샘플블럭들이 표식쪽으로 이동하는 것이 아니라 새로운 샘플블럭들이 표식의 위치에 가깝도록 새롭게 형성되는 것이다. 표식검출의 최종 결과는 도 9d에 도시된 바와 같으며, 하얀 작은 사각형이 표식의 중심좌표를 나타낸다.

상기한 본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플라피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

상술한 바와 같이 본 발명에 따르면, 프레임영상의 전체 영역을 샘플링영역으로 설정하고 산포도값을 크게 설정하여, 1차 검출을 수행하여 표적의 대략적인 위치를 추정한 다음, 표적의 대략적인 위치를 중심으로 하는 소정영역을 샘플링영역으로 설정하고 산포도값을 적게 설정하여, 2차 검출을 순차적으로 수행함으로써 표식검출에 소요되는 시간을 단축할 수 있을 뿐 아니라 동시에 정확도를 향상시킬 수 있다.

또한, 1차 검출 및 2차 검출시 각 프레임에서 적용되는 산포도값을 현재 프레임영상에서 얻어지는 최대매칭확률을 이용하여 적응적으로 가변시킴으로써 검출의 정확도를 향상시킬 수 있다.

또한, 표식모델의 특징량 예를 들면, 칼라 히스토그램을 현재 프레임에서 얻어지는 매칭확률, 현재 프레임에서 사용된 샘플블럭의 칼라 히스토그램 및 현재 프레임영상에서 사용된 표식모델의 칼라 히스토그램을 이용하여 갱신함으로써 조명변화에 강인한 검출성능을 보장할 수 있다.

이와 같은 표식검출방법은 무인감시시스템에서 사람을 추적하거나, ITS에서 챠량을 추적하거나, IVS에서 자동 차간거리 제어를 위하여 선행차량을 추적하거나, 지능제어를 위하여 특정목적물을 추적하는 등 다양한 분야에 적용가능하다.

이상 도면과 명세서에서 최적 실시예들이 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

도 1은 본 발명에 따른 지능형 시스템의 표식검출장치의 구성을 나타내는 블럭도,

도 2는 도 1에 있어서 표식검출부의 세부적인 구성을 나타내는 블럭도,

도 3은 도 1 및 도 2에 있어서 1차 검출부 및 2차 검출부의 동작을 설명하는 흐름도,

도 4는 도 3에 있어서 산포도 조정단계의 제1 실시예를 보여주는 흐름도,

도 5는 도 3에 있어서 산포도 조정단계의 제2 실시예를 보여주는 흐름도,

도 6은 본 발명에서 사용되는 표식모델의 일예를 나타낸 도면,

도 7은 부분 칼라 히스토그램을 설명하는 도면,

도 8a 및 도 8b는 본 발명에서 적용되는 CONDENSATION 알고리즘의 가중 샘플링을 설명하기 위한 도면, 및

도 9a 내지 도 9d는 본 발명에 따른 표식검출방법을 적용한 경우 표식검출 과정을 보여주는 도면이다.

Claims

(a) 하나의 프레임영상에 대하여 제1 산포도에 따른 가중 샘플링방식을 이용하여 프레임 영상의 전체영역으로 설정되는 제1 샘플링영역에 대하여 N개의 샘플블럭을 생성하고, 각 샘플블럭과 미리 정의된 표식모델간의 특징량을 비교하여 1차 검출을 수행하는 단계; 및

(b) 제2 산포도에 따른 가중 샘플링방식을 이용하여 상기 1차 검출 수행결과 얻어지는 상기 표식모델의 대략적인 위치를 중심으로 설정되는 제2 샘플링영역에 대하여 N개의 샘플블럭을 생성하고, 각 샘플블럭과 미리 정의된 표식모델간의 특징량을 비교하여 2차 검출을 수행하는 단계를 포함하는 것을 특징으로 하는 지능형 시스템에 있어서 표식검출방법.
제1 항에 있어서, 상기 제1 산포도는 상기 제2 산포도보다 큰 값임을 특징으로 하는 지능형 시스템에 있어서 표식검출방법.
제1 항에 있어서, 상기 제1 및 제2 산포도는 현재 프레임영상에서의 누적확률에 따라서 적응적으로 가변시켜 다음 프레임영상에 적용하는 것을 특징으로 하는 지능형 시스템에 있어서 표식검출방법.
제1 항에 있어서, 상기 제1 및 제2 산포도는 현재 프레임영상에서의 누적확률과 소정의 문턱치와의 비교결과에 따라서 증가 또는 감소시켜 다음 프레임영상에 적용하는 것을 특징으로 하는 지능형 시스템에 있어서 표식검출방법.
제1 항에 있어서, 상기 제1 및 제2 산포도는 현재 프레임영상에서의 실제 산포도와 미리 정의된 최대산포도와의 비교결과에 따라서 결정하여 다음 프레임영상에 적용하는 것을 특징으로 하는 지능형 시스템에 있어서 표식검출방법.
제1 항에 있어서, 상기 (a) 및 (b) 단계에서는 상기 표식모델의 특징량을 현재 프레임영상에서 샘플블럭들이 가지는 특징량과 샘플블럭들과 표식모델간의 매칭확률 및 현재 프레임영상에서 사용된 표식모델의 특징량을 이용하여 갱신하는 것을 특징으로 하는 지능형 시스템에 있어서 표식검출방법.
제6 항에 있어서, 상기 특징량은 칼라 히스토그램인 것을 특징으로 하는 지능형 시스템에 있어서 표식검출방법.
제1 항에 있어서, 상기 (a) 단계는

(a1) 상기 제1 샘플링영역에서 N 개의 샘플블럭을 매 프레임영상에 대하여 생성하는 단계;

(a2) 매 프레임영상에서 상기 N개의 샘플블럭과 상기 표식모델의 칼라 히스토그램을 산출하여 상기 N개의 샘플블럭과 상기 표식모델의 유사도를 산출하는 단계;

(a3) 매 프레임영상에서 상기 N개의 샘플블럭과 상기 표식모델의 유사도를 이용하여 각 샘플블럭과 상기 표식모델의 매칭확률을 산출하여 상기 표식모델의 위치를 추정하는 단계;

(a4) 상기 표식모델의 칼라 히스토그램을 현재 프레임영상에서 샘플블럭들이 가지는 칼라 히스토그램과 샘플블럭들과 표식모델간의 매칭확률 및 현재 프레임영상에서 사용된 표식모델의 칼라 히스토그램을 이용하여 갱신하는 단계; 및

(a5) 현재 프레임영상에서의 누적확률을 이용하여 제1 산포도를 조정하는 단계를 포함하는 것을 특징으로 하는 지능형 시스템에 있어서 표식검출방법.
제1 항에 있어서, 상기 (b) 단계는

(b1) 상기 제2 샘플링영역에서 N 개의 샘플블럭을 매 프레임영상에 대하여 생성하는 단계;

(b2) 매 프레임영상에서 상기 N개의 샘플블럭과 상기 표식모델의 칼라 히스토그램을 산출하여 상기 N개의 샘플블럭과 상기 표식모델의 유사도를 산출하는 단계;

(b3) 매 프레임영상에서 상기 N개의 샘플블럭과 상기 표식모델의 유사도를 이용하여 각 샘플블럭과 상기 표식모델의 매칭확률을 산출하여 상기 표식모델의 위치를 추정하는 단계;

(b4) 상기 표식모델의 칼라 히스토그램을 현재 프레임영상에서 샘플블럭들이 가지는 칼라 히스토그램과 샘플블럭들과 표식모델간의 매칭확률 및 현재 프레임영상에서 사용된 표식모델의 칼라 히스토그램을 이용하여 갱신하는 단계; 및

(b5) 현재 프레임영상에서의 누적확률을 이용하여 제2 산포도를 조정하는 단계를 포함하는 것을 특징으로 하는 지능형 시스템에 있어서 표식검출방법.
제1 항 내지 제9 항중 어느 한 항에 기재된 방법을 실행할 수 있는 컴퓨터로 읽을 수 있는 기록매체.
하나의 프레임영상에 대하여 제1 산포도에 따른 가중 샘플링방식을 이용하여 프레임 영상의 전체영역으로 설정되는 제1 샘플링영역에 대하여 N개의 샘플블럭을 생성하고, 각 샘플블럭과 미리 정의된 표식모델간의 특징량을 비교하여 1차 검출을 수행하는 1차 검출부; 및

제2 산포도에 따른 가중 샘플링방식을 이용하여 상기 1차 검출 수행결과 얻어지는 상기 표식모델의 대략적인 위치를 중심으로 설정되는 제2 샘플링영역에 대하여 N개의 샘플블럭을 생성하고, 각 샘플블럭과 미리 정의된 표식모델간의 특징량을 비교하여 2차 검출을 수행하는 2차 검출부를 포함하는 것을 특징으로 하는 지능형 시스템에 있어서 표식검출장치.
제11 항에 있어서, 상기 1차 검출부는 매 프레임영상에서 상기 N개의 샘플블럭과 상기 표식모델의 칼라 히스토그램을 이용하여 산출되는 유사도로부터 각 샘플블럭과 상기 표식모델의 매칭확률을 산출하여 상기 표식모델의 위치를 추정하고, 매칭확률에 근거한 가중 샘플링방식에 의거하여 다음 프레임영상에서 적용되는 N 개의 샘플블럭을 생성하는 것을 특징으로 하는 지능형 시스템에 있어서 표식검출장치.
제12 항에 있어서, 상기 1차 검출부는 상기 표식모델의 칼라 히스토그램을 현재 프레임영상에서 샘플블럭들이 가지는 칼라 히스토그램과 샘플블럭들과 표식모델간의 매칭확률 및 현재 프레임영상에서 사용된 표식모델의 칼라 히스토그램을 이용하여 갱신하는 기능을 더 수행하는 것을 특징으로 지능형 시스템에 있어서 표식검출장치.
제12 항에 있어서, 상기 1차 검출부는 현재 프레임영상에서의 누적확률을 이용하여 제1 산포도를 조정하는 기능을 더 수행하는 것을 특징으로 하는 지능형 시스템에 있어서 표식검출장치.
제11 항에 있어서, 상기 2차 검출부는 매 프레임영상에서 상기 N개의 샘플블럭과 상기 표식모델의 칼라 히스토그램을 이용하여 산출되는 유사도로부터 각 샘플블럭과 상기 표식모델의 매칭확률을 산출하여 상기 표식모델의 위치를 추정하고, 매칭확률에 근거한 가중 샘플링방식에 의거하여 다음 프레임영상에서 적용되는 N 개의 샘플블럭을 생성하는 것을 특징으로 하는 지능형 시스템에 있어서 표식검출장치.
제15 항에 있어서, 상기 2차 검출부는 상기 표식모델의 칼라 히스토그램을 현재 프레임영상에서 샘플블럭들이 가지는 칼라 히스토그램과 샘플블럭들과 표식모델간의 매칭확률 및 현재 프레임영상에서 사용된 표식모델의 칼라 히스토그램을 이용하여 갱신하는 기능을 더 수행하는 것을 특징으로 지능형 시스템에 있어서 표식검출장치.
제15 항에 있어서, 상기 2차 검출부는 현재 프레임영상에서의 누적확률을 이용하여 제2 산포도를 조정하는 기능을 더 수행하는 것을 특징으로 하는 지능형 시스템에 있어서 표식검출장치.
제12 항 내지 제17 항 중 어느 한 항에 있어서, 상기 제1 산포도는 상기 제2 산포도보다 큰 값임을 특징으로 하는 지능형 시스템에 있어서 표식검출장치.