KR100438818B1

KR100438818B1 - 2차원 물체 이미지의 표현자 생성방법 및 2차원 물체 이미지의인식방법

Info

Publication number: KR100438818B1
Application number: KR10-1998-0037313A
Authority: KR
Inventors: 노경식
Original assignee: 삼성전자주식회사
Priority date: 1998-09-10
Filing date: 1998-09-10
Publication date: 2004-07-16
Also published as: KR20000019293A

Abstract

본 발명은 영상을 이용한 응용분야에서 영상의 인식 및 추적에 유용하게 사용되는 2차원 물체 이미지를 표현하는 표현자를 생성하는 방법 및 2차원 물체 이미지의 인식방법에 관한 것으로서, 본 발명에 의한 영상에 포함된 2차원 물체 이미지를 표현하는 표현자를 생성하는 방법은 (a) 영상에 포함된 물체 이미지의 외곽선을 구하는 단계; (b) 외곽선을 n등분한 점들의 좌표들을 구하는 단계; (c) 좌표들에 의한 투사불변량을 구하는 단계; (d) n등분한 점들을 상기 외곽선을 따라 같은 방향으로 소정의 동일한 길이만큼 이동시키고, 이동된 n등분한 점들의 좌표에 의한 투사불변량을 구하는 단계; 및 (e) 이동된 n등분한 점들이 각각 (b)단계의 좌표에 도달될 때까지 (d) 단계를 계속하는 단계를 포함함을 특징으로 한다.

본 발명에 의하면, 영상을 취득하는 과정에서의 비선형적인 특성에 나타나는 상황에서도 큰 영향을 받지 않고 2차원 물체 이미지를 표현할 수 있으며, 노이즈 또는 영상의 경사각도의 변화에도 견실하게 2차원 물체 이미지를 인식할 수 있다.

Description

2차원 물체 이미지의 표현자 생성방법 및 2차원 물체 이미지의 인식방법

본 발명은 영상 데이터를 처리하는 방법에 관한 것으로서, 특히 자동화 시스템(Automation System), 지능적 차량 시스템(Intelligent Vehicle System) 등과 같은 영상을 이용한 응용분야에서 영상의 인식 및 추적에 유용하게 사용되는 2차원 물체 이미지를 표현하는 표현자를 생성하는 방법 및 2차원 물체 이미지의 인식방법에 관한 것이다.

도 1은 일반적인 영상 취득 장치인 시.시.디(Charge Coupled Device:이하에서 CCD라 한다) 카메라를 도시하고 있으며, 도 2는 도 1에 의한 CCD 카메라를 수학적으로 모델링한 핀홀(Pin-Hole) 카메라 모델을 도시하고 있다.

도 2에 의한 핀홀 카메라 모델에서 영상을 취득하는 투사변환(Projective Transformation)식은 다음과 같이 표현된다.

여기서, (u,v,1)은 영상면에서 정의된 점의 좌표이고, (X,Y,Z,1)은 물체 좌표계에서 대응하는 점의 좌표이고, t_ij는 물체면과 영상면 사이의 변형 매트릭스의 ij번째 요소이다.

대상 물체 이미지가 평면인 경우(2차원, Z=0)에는 수학식 1은 다음과 같이 표현된다.

이와 같이 대상 물체로부터 영상을 취득하는 과정은 비선형이다. 그런데, 종래의 2차원 물체 이미지 표현방법에서는 수학식 2에 의해 표현된 비선형적 투사변환식을 직접 취급하지 않고, 다음과 같은 선형화한 식을 사용한다.

선형화된 수학식 3이 성립하기 위한 조건은 도 3에 도시된 바와 같이 물체의 크기(S₀)에 비하여 카메라로부터 물체까지의 거리(S)가 매우 커야 한다는 것이다.

이와 같이 종래의 기술은 선형화된 수학식 3을 이용하여 2차원 물체 이미지를 표현한 표현자(descriptor)를 제안하였다. 대표적인 선형화 표현자로는 퓨리에 표현자(Fourier Descriptor)가 있는데, 이 표현자는 2차원 물체 이미지의 외곽선을 2차원 퓨리에 변환하여 얻은 퓨리에 계수들로 그 물체 이미지를 표현하여 인식에 사용하였다. 그런데, 이 방법은 기본적으로 비선형성이 잘 나타나지 않는 조건, 즉 카메라와 물체 사이의 거리가 먼 경우에만 적용이 가능하고, 카메라와 물체 사이의 거리가 짧은 경우에는 적용하기 어려운 문제점을 가지고 있다. 또한, 퓨리에 계수를 계산하기 위해서는 물체 이미지의 중심점을 구하여야 하는데, 그 중심점을 견실(robust)하고, 정확하게 구하는 것은 매우 어렵다.

본 발명은 상기의 문제점을 해결하기 위하여 창작된 것으로서, 영상을 취득하는 과정에서의 비선형적인 특성에 큰 영향을 받지 않고, 노이즈 또는 영상의 경사각도의 변화에도 견실한 2차원 물체 이미지를 표현하는 표현자를 생성하는 방법 및 2차원 물체 이미지의 인식방법을 제공함을 그 목적으로 한다.

도 1은 CCD 카메라의 외관도이다.

도 2는 핀홀 카메라 모델을 도시한 것이다.

도 3은 선형화 조건이 성립되는 형상을 도시한 것이다.

도 4는 물체와 영상면 상의 좌표계 및 투사관계를 도시한 것이다.

도 5는 본 발명에 의한 2차원 물체 이미지를 표현하는 표현자의 생성과정을 도시한 흐름도이다.

도 6은 2차원 물체 이미지의 예를 도시한 것이다.

도 7은 도 6의 물체 이미지에 대한 투사불변형 표현자를 도시한 것이다.

도 8은 본 발명에 의한 입력된 영상에 포함된 2차원 물체 이미지의 인식과정을 도시한 흐름도이다.

도 9는 본 발명에 의한 투사불변형 표현자의 노이즈에 의한 영향을 분석한 것이다.

도 10은 본 발명에 의한 투사불변형 표현자의 경사각에 의한 영향을 분석한 것이다.

도 11은 물체 인식에 이용되는 40개의 2차원 물체 이미지의 모델을 도시한 것이다.

도 12는 도 11의 각 물체 이미지에 대한 투사불변형 표현자를 도시한 것이다.

도 13은 투사불변형 표현자를 이용한 2차원 물체 이미지의 인식에 관한 실험결과를 도시한 것이다.

상기의 목적을 달성하기 위하여, 본 발명에 의한 영상에 포함된 2차원 물체 이미지를 표현하는 표현자를 생성하는 방법은 (a) 영상에 포함된 물체 이미지의 외곽선을 구하는 단계; (b) 상기 외곽선을 n등분한 점들의 좌표들을 구하는 단계; (c) 상기 좌표들에 의한 투사불변량을 구하는 단계; (d) 상기 n등분한 점들을 상기 외곽선을 따라 같은 방향으로 소정의 동일한 길이만큼 이동시키고, 이동된 n등분한 점들의 좌표에 의한 투사불변량을 구하는 단계; 및 (e) 상기 이동된 n등분한 점들이 각각 상기 (b)단계의 좌표에 도달될 때까지 상기(d) 단계를 계속하는 단계를 포함함을 특징으로 한다.

상기의 다른 목적을 달성하기 위하여, 본 발명에 의한 입력된 영상에 포함된 2차원 물체 이미지를 인식하는 방법은 (a) 입력된 영상에 포함된 2차원 물체 이미지에 관한 투사불변형 표현자 I_i를 구하는 단계; (b) 모델 영상의 투사불변형 표현자 I_m을 구하는 단계; (c) 상기 I_i의 시작점을 소정의 단위구간 만큼 이동시키면서, 단위구간 만큼 시작점이 이동된 I_i와 I_m의 유사도를 구하는 과정을 상기 I_i의 시작점이 최초의 위치에 도달할 때까지 반복하는 단계; 및 (d) 상기 (c) 단계에서 구한 유사도들 중에서 최대값이 상기 유사도가 소정의 문턱값보다 큰 경우에는 상기 입력된 영상에 포함된 2차원 물체 이미지와 상기 모델 영상이 매칭된 것으로 인식하는 단계를 포함하는 것을 특징으로 한다.

이하에서 첨부된 도면을 참조하여 본 발명을 상세히 설명한다.

먼저, 도 4에 의한 물체와 영상면 상에서, 본 발명의 기본 요소인 투사불변량(Projective Invariant)은 다음과 같이 표현된다.

여기서, P는 물체점이고, q는 대응하는 영상점이다. 그리고, det(·)는 다음과 같다.

이 투사불변량은 수학식 2와 같은 비선형 변형하에서 불변하는 량으로써, 물체 인식을 위해 이용된다.

이하에서, 도 5 및 도 6을 참조하여 본 발명에 의한 2차원 물체 이미지의 투사불변형 표현자를 생성하는 과정을 설명한다. 먼저, 2차원 물체 이미지의 외곽선을 생성한다(500 단계). 2차원 물체 이미지의 외곽선을 5등분한다. 5등분한 점들의 좌표(X₁(1), X₂(1), X₃(1), X₄(1), X₅(1))를 구하여(510 단계), 투사불변량을 수학식 4에 의해 계산한다(520 단계). 이 점들을 각각 외곽선을 따라 외곽선 길이의 1/N배 만큼 이동하면서 각 점들이 최초의 위치에 도달할 때까지 반복하여 수학식 4에 의한 투사불변량을 구한다(520 단계 내지 540 단계).

도 6의 물체 이미지에 대하여 계산된 투사불변형 표현자는 도 7에 도시된다.

외곽선을 N등분하고 외곽선을 따라 5등분한 점들을 외곽선 길이의 1/N배 만큼씩 이동하면서 투사불변량을 구하는 과정을 식으로 나타내면 다음과 같다.

이하에서는 본 발명에 의한 투사불변형 표현자를 이용한 2차원 물체 이미지를 인식하는 과정을 도 8을 참조하여 설명한다. 두 물체가 같은 물체인지를 확인하는 것을 매칭이라고 하며, 매칭은 본 발명에 의한 2차원 물체 이미지의 두 표현자를 비교함으로써 이루어진다.

먼저, 입력된 영상에 포함된 2차원 물체 이미지에 관한 투사불변형 표현자 I_i와 모델 영상의 투사불변형 표현자 I_m을 구한다(800 , 810 단계). 다음의 수식과 같이 정의된 투사불변형 표현자 I_i와 모델 영상의 투사불변형 표현자 I_m의 유사도(Similarity)를 구한다(820 단계).

그 다음, I_i또는 I_m의 시작점을 1 만큼 증가시키면서 그 시작점이 최초의 시작점과 일치할 때까지 반복하여 수학식 6에 의한 유사도를 구한다(820 단계 내지 840 단계). 이와 같이 구한 유사도들 중 최대값이 미리 정한 문턱값(Threshold Value)보다 크면 매칭이 이루어진 것으로 한다(850 단계 내지 870 단계).

수학식 6에서의 ΔI와 매칭 여부를 결정하기 위한 문턱값은 본 발명이 실시되는 환경 및 요구되는 정밀도 등에 의해 적절한 값이 선택된다.

본 발명에 의한 투사불변형 표현자가 노이즈나 경사각(slant angle)의 변화에 대하여 견고하게 물체 이미지를 표현하는 것을 보여기 위한 실험결과는 도 9와 도 10에 의해 도시되어 있다.

그리고, 도 11은 본 발명에 의한 표현자를 이용하여 물체인식을 실시하기 위하여 선택한 2차원 물체 이미지의 모델들을 도시하며, 도 12는 도 11의 물체 이미지들에 대하여 본 발명에 의하여 계산된 표현자들을 도시한다.

도 13은 임의의 입력에 대하여 인식을 수행한 결과를 도시한다. 도 13에서 좌측의 그림들은 2차원 물체 이미지의 모델들이고, 가운데 그림들은 각각 좌측의 그림에 도시된 모델의 외곽선(점선으로 표시됨)과 입력된 영상에 포함된 물체 이미지의 외곽선(실선으로 표시됨)을 도시한 것이다. 그리고, 우측의 그림들은 각각 좌측의 그림에 도시된 모델의 표현자(실선으로 표시됨)와 입력된 영상에 포함된 물체 이미지의 표현자(점선으로 표시됨)를 비교하여 도시한 것이다.

Claims

영상에 포함된 2차원 물체 이미지를 표현하는 표현자를 생성하는 방법에 있어서,

(a) 영상에 포함된 물체 이미지의 외곽선을 구하는 단계;

(b) 상기 외곽선을 n등분한 점들의 좌표들을 구하는 단계;

(c) 상기 좌표들에 의한 투사불변량을 구하는 단계;

(d) 상기 n등분한 점들을 상기 외곽선을 따라 같은 방향으로 소정의 동일한 길이만큼 이동시키고, 이동된 n등분한 점들의 좌표에 의한 투사불변량을 구하는 단계; 및

(e) 상기 이동된 n등분한 점들이 각각 상기 (b)단계의 좌표에 도달될 때까지 상기(d) 단계를 계속하는 단계를 포함함을 특징으로 하는 2차원 물체 이미지를 표현하는 표현자의 생성방법.
제1항에서, 상기 (d) 단계에서의 소정의 동일한 길이는,

상기 외곽선을 N등분할 때, 외곽선 길이의 1/N배임을 특징으로 하는 2차원 물체 이미지를 표현하는 표현자의 생성방법.
제2항에서,

상기 n은 5이고,

상기 투사불변량은 수학식

에 의해 구하는 것을 특징으로 하는 2차원 물체 이미지를 표현하는 표현자의 생성방법.
입력된 영상에 포함된 2차원 물체 이미지를 인식하는 방법에 있어서,

(a) 입력된 영상에 포함된 2차원 물체 이미지에 관한 투사불변형 표현자 I_i를 구하는 단계;

(b) 모델 영상의 투사불변형 표현자 I_m을 구하는 단계;

(c) 상기 I_i의 시작점을 소정의 단위구간 만큼 이동시키면서, 단위구간 만큼 시작점이 이동된 I_i와 I_m의 유사도를 구하는 과정을 상기 I_i의 시작점이 최초의 위치에 도달할 때까지 반복하는 단계; 및

(d) 상기 (c) 단계에서 구한 유사도들 중에서 최대값이 상기 유사도가 소정의 문턱값보다 큰 경우에는 상기 입력된 영상에 포함된 2차원 물체 이미지와 상기 모델 영상이 매칭된 것으로 인식하는 단계를 포함하는 것을 특징으로 하는 입력된 영상에 포함된 2차원 물체 이미지의 인식방법.
제4항에서, 상기 (c) 단계는

상기 I_m의 시작점을 소정의 단위구간 만큼 이동시키면서, 단위구간 만큼 시작점이 이동된 I_i와 I_m의 유사도를 구하는 과정을 상기 I_m의 시작점이 최초의 위치에 도달할 때까지 반복하는 단계임을 특징으로 하는 입력된 영상에 포함된 2차원 물체 이미지의 인식방법.
제4항 또는 제5항에서, 상기 (c) 단계에서의 I_i와 I_m의 유사도 similarity(I_m,I_i)는 수학식

에 의해 구하는 것을 특징으로 하는 입력된 영상에 포함된 2차원 물체 이미지의 인식방법.