KR102173955B1

KR102173955B1 - 객체 추적을 위한 특징점 검출 장치 및 그 방법

Info

Publication number: KR102173955B1
Application number: KR1020190032168A
Authority: KR
Inventors: 정윤호; 조재찬; 김현; 이두현
Original assignee: 한국항공대학교산학협력단
Priority date: 2019-03-21
Filing date: 2019-03-21
Publication date: 2020-11-04
Also published as: KR20200119922A

Abstract

본 발명은 객체 추적을 위한 특징점 검출 장치 및 그 방법을 개시한다. 즉, 본 발명은 입력 영상으로부터 추출된 이미지 패치에 가우시안 스무딩을 적용하고, 가우시안 스무딩이 적용된 계수 행렬에 대한 고유 다항식을 근거로 고윳값을 산출하고, 입력 영상에 대한 영상 경계 처리를 수행하여 특징점 후보군을 선정하고, 선정된 특징점 후보군에 대한 고윳값 비교를 통해 상기 선정된 특징점 후보군에서 근접 후보군을 제외하고, 근접 후보군이 제외된 특징점 후보군 중에서 중복 후보군을 제외하여 최종 특징점의 좌표를 출력함으로써, 객체 추적에서 우수한 성능을 보이는 Shi-Tomasi 알고리즘과 성능은 유사하면서도 복잡도를 줄이고 연산량을 감소시켜 전체적으로 운용 효율을 향상시킬 수 있다.

Description

객체 추적을 위한 특징점 검출 장치 및 그 방법{Apparatus of detecting feature point for tracking object and method thereof}

본 발명은 객체 추적을 위한 특징점 검출 장치 및 그 방법에 관한 것으로서, 특히 입력 영상으로부터 추출된 이미지 패치에 가우시안 스무딩을 적용하고, 가우시안 스무딩이 적용된 계수 행렬에 대한 고유 다항식을 근거로 고윳값을 산출하고, 입력 영상에 대한 영상 경계 처리를 수행하여 특징점 후보군을 선정하고, 선정된 특징점 후보군에 대한 고윳값 비교를 통해 상기 선정된 특징점 후보군에서 근접 후보군을 제외하고, 근접 후보군이 제외된 특징점 후보군 중에서 중복 후보군을 제외하여 최종 특징점의 좌표를 출력하는 객체 추적을 위한 특징점 검출 장치 및 그 방법에 관한 것이다.

최근 영상을 이용하여 정보 획득, 식별, 추적 등을 수행하는 영상 처리 기술은 의료, 생체 인식, 군사, 공장 자동화 등 여러 분야에서 활용되며 많은 연구가 진행되고 있다.

이러한 영상 처리 기술에는 활용하고자 하는 목적에 따라 화질 개선 알고리즘, 물체 검출 알고리즘, 추적 알고리즘 등 다양한 알고리즘이 존재한다. 그 중 객체 추적 알고리즘은 영상 내 물체의 움직임을 궤적 정보로 나타내는 영상 처리 기술로, 감시 카메라, 드론 비행 안정화, 차량용 ADAS(Advanced Driver Assistance System) 등 다양한 응용에서 활용된다.

대부분의 객체 추적 알고리즘이 적용되는 드론 비행 안정화 및 차량용 ADAS 응용 분야에서는 탑재 중량 및 전력 소모와 같은 제한된 재원이 존재하며, 안전을 위한 실시간 처리 기능이 필수적으로 요구된다. 하지만, 객체 추적 알고리즘은 영상 내에서의 특징점을 추출 및 선별하는 알고리즘과 선별된 특징점들의 이동거리를 연산하여 추적하는 알고리즘 등 다수의 복잡한 알고리즘들이 결합하므로, 많은 처리 시간이 소요된다. 이에 실시간 처리가 요구되는 응용에 활용하려면, 처리 시간을 단축하기 위해 구성되는 알고리즘 일부를 하드웨어로 구현하여 가속화할 필요성이 있다. 특히 특징점 검출 알고리즘은 영상 내 모든 픽셀 정보를 분석하여야 하므로 많은 처리 시간이 소요되기 때문에, 하드웨어로 구현할 경우 전체 시스템의 수행 시간 여유를 크게 확보할 수 있다.

상기 특징점 검출 알고리즘에는 SUSAN(Smallest Univalue Segment Assimilating Nucleus), SIFT(Scale-Invariant Feature Transform), Harris 코너 알고리즘 등이 존재한다. 상기 SUSAN 알고리즘은 주변 픽셀들의 명암값 유사도를 통해 특징 가능성을 계산하며, 상기 SIFT 알고리즘은 가우시안 스무딩된 영상의 차를 사용하여 스케일에 불변한 특징점을 검출한다. 두 알고리즘 모두 각 응용에서 우수한 성능을 보이지만, Harris 알고리즘에 비해 많은 계산을 요구하기 때문에 구현 복잡도가 큰 단점이 있다. 이에 비해 Harris 알고리즘은 주변 픽셀들과의 명암값 제곱차의 합을 이용하여 특징점을 검출하는 방식으로, 계산이 간단하여 다양한 구현 결과들이 제안되었다. 하지만, 상기 Harris 알고리즘은 객체 추적 시 아핀(affine) 변환의 유사성(similarity) 체크에서 효과적이지 않다. 또한, 상기 Harris 알고리즘과 유사한 방식인 Shi-Tomasi 알고리즘은 추적 응용에서 영상 내 물체의 아핀 변환에 견고하며 추적 성능도 뛰어난 장점이 있다. 하지만, 상기 Shi-Tomasi 알고리즘은 특징점 추출 단계에서의 복잡한 고윳값 계산과 선별 단계에서의 정렬과 거리 계산에 많은 메모리 액세스가 요구되므로, 하드웨어 구현에 있어서 복잡도 및 전력 소모 측면에서 비효율적이다.

한국등록특허 제10-1905000호 [제목: 이미지 데이터의 보정 방법, 장치 및 컴퓨터-판독가능 저장 매체에 저장된 컴퓨터 프로그램]

본 발명의 목적은 입력 영상으로부터 추출된 이미지 패치에 가우시안 스무딩을 적용하고, 가우시안 스무딩이 적용된 계수 행렬에 대한 고유 다항식을 근거로 고윳값을 산출하고, 입력 영상에 대한 영상 경계 처리를 수행하여 특징점 후보군을 선정하고, 선정된 특징점 후보군에 대한 고윳값 비교를 통해 상기 선정된 특징점 후보군에서 근접 후보군을 제외하고, 근접 후보군이 제외된 특징점 후보군 중에서 중복 후보군을 제외하여 최종 특징점의 좌표를 출력하는 객체 추적을 위한 특징점 검출 장치 및 그 방법을 제공하는 데 있다.

본 발명의 실시예에 따른 객체 추적을 위한 특징점 검출 장치는 입력 영상에서 x 방향과 y 방향으로의 명암차를 각각 계산하여 x 방향 미분값과 y 방향 미분값을 각각 산출하는 미분기; 상기 미분기로부터 산출된 x 방향 미분값과 y 방향 미분값을 근거로 계수 행렬에 해당하는 각 원소를 산출하는 곱셈기; 상기 곱셈기로부터 출력되는 상기 계수 행렬에 포함되는 각 원소에 가우시안 스무딩을 각각 적용하여 가중치가 적용된 계수 행렬을 생성하는 가우시안 필터; 상기 가중치가 적용된 계수 행렬을 근거로 이차 방정식 형태의 고유 다항식을 생성하고, 상기 생성된 고유 다항식에 대해 근의 공식을 적용하여 복수의 고윳값을 산출하고, 상기 산출된 복수의 고윳값 중에서 최솟값을 선택하고, 상기 선택된 최솟값을 갖는 고윳값을 미리 설정된 임계값과 비교하고, 상기 비교 결과, 상기 고윳값이 상기 임계값보다 클 때, 상기 고윳값과 관련한 픽셀을 특징점 후보로 포함하는 제 1 특징점 후보군을 선정하는 고윳값 계산부; 상기 입력 영상의 미리 설정된 외곽 영역에 대해 영상 경계 처리를 수행하여 제 2 특징점 후보군을 선정하는 영상 경계 및 임계값 체크 처리부; 상기 선정된 제 2 특징점 후보군에 포함된 복수의 특징점 후보에 대해서, 고윳값 비교를 통해 근접 후보군을 제외한 복수의 특징점 후보를 포함하는 제 3 특징점 후보군을 선정하는 비최대 억제 처리부; 및 상기 선정된 제 3 특징점 후보군에 대해서 미리 설정된 크기의 연속된 다른 영역 내 특징점 후보군 중에서 중복 후보군을 제외하여 최종 특징점의 좌표를 출력하는 영역 체크 처리부를 포함할 수 있다.

본 발명과 관련된 일 예로서 상기 미분기는, 상기 입력 영상으로부터 특정 픽셀에 대한 이미지 패치를 추출하고, 상기 추출된 이미지 패치를 x 방향과 y 방향으로 각각 미분하여 상기 이미지 패치에 대한 x 방향 미분값과 y 방향 미분값을 포함하는 복수의 미분값을 각각 산출할 수 있다.

본 발명과 관련된 일 예로서 상기 미분기는, 상기 추출된 이미지 패치에 미리 설정된 소벨 필터를 적용하여 상기 이미지 패치에 대한 x 방향 미분값과 y 방향 미분값을 포함하는 복수의 미분값을 각각 산출할 수 있다.

본 발명과 관련된 일 예로서 상기 곱셈기는, 상기 미분기로부터 산출된 x 방향 미분값을 두 개의 입력으로 하여 곱셈 연산을 수행하고, 상기 곱셈 연산 수행에 따른 제 1 출력값을 출력하고, 상기 미분기로부터 산출된 x 방향 미분값과 y 방향 미분값을 입력으로 하여 곱셈 연산을 수행하고, 상기 곱셈 연산 수행에 따른 제 2 출력값을 출력하고, 상기 미분기로부터 산출된 y 방향 미분값을 두 개의 입력으로 하여 곱셈 연산을 수행하고, 상기 곱셈 연산 수행에 따른 제 3 출력값을 출력할 수 있다.

본 발명과 관련된 일 예로서 상기 가우시안 필터는, 상기 곱셈기로부터 출력되는 상기 계수 행렬에 포함되는 복수의 원소에 미리 설정된 가중치를 곱하여 상기 가중치가 적용된 계수 행렬을 생성할 수 있다.

본 발명과 관련된 일 예로서 상기 가중치가 적용된 계수 행렬은, 다음의 수학식으로 표시되며,

, 여기서, 상기 Zw는 상기 가중치가 적용된 계수 행렬을 나타내고, 상기 w는 가중치를 나타내고, 상기

는 이미지 패치를 x 방향으로 미분한 값의 제곱을 나타내고, 상기

는 이미지 패치를 x 방향으로 미분한 값과 y 방향으로 미분한 값의 곱을 나타내고, 상기

는 이미지 패치를 y 방향으로 미분한 값의 제곱을 나타낼 수 있다.

본 발명과 관련된 일 예로서 상기 고윳값 계산부는, 상기 가중치가 적용된 2×2 크기의 계수 행렬에 포함된 복수의 원소에 대해서, 다음의 수학식으로 표시되는 고유 다항식을 생성하며,

, 여기서, 상기 변수 p는 상기

를 나타내고, 상기 변수 r은 상기

를 나타내고, 상기 변수 q는 상기

를 나타낼 수 있다.

본 발명과 관련된 일 예로서 상기 고윳값 계산부는, 상기 비교 결과, 상기 고윳값이 상기 임계값보다 작거나 같을 때, 상기 고윳값과 관련한 픽셀을 특징점 후보에서 제외할 수 있다.

본 발명과 관련된 일 예로서 상기 영상 경계 및 임계값 체크 처리부는, 상기 선정된 복수의 특징점 후보를 포함하는 제 1 특징점 후보군 중에서, 상기 입력 영상에서 미리 설정된 픽셀 수만큼의 외곽 영역에 포함된 적어도 하나의 특징점 후보를 제외한 복수의 특징점 후보를 포함하는 제 2 특징점 후보군을 선정할 수 있다.

본 발명과 관련된 일 예로서 상기 비최대 억제 처리부는, 미리 설정된 영역 내에 포함된 상기 제 2 특징점 후보군에 포함된 특징점 후보의 고윳값과 복수의 다른 성분 간의 고윳값을 비교할 수 있다.

본 발명과 관련된 일 예로서 상기 비최대 억제 처리부는, 상기 비교 결과, 상기 영역 내에 포함된 특징점 후보의 고윳값이 상기 영역 내에 포함된 상기 특징점 후보에 인접한 복수의 다른 성분의 고윳값보다 모두 클 때, 상기 특징점 후보를 상기 제 3 특징점 후보군에 포함시킬 수 있다.

본 발명과 관련된 일 예로서 상기 비최대 억제 처리부는, 상기 비교 결과, 상기 영역 내에 포함된 특징점 후보의 고윳값이 상기 영역 내에 포함된 상기 특징점 후보에 인접한 복수의 다른 성분의 고윳값보다 작은 경우가 있을 때, 상기 특징점 후보를 상기 제 3 특징점 후보군에서 제외시킬 수 있다.

본 발명과 관련된 일 예로서 상기 영역 체크 처리부는, 상기 입력 영상을 미리 설정된 크기의 연속된 다른 영역으로 분류하는 제어기; 상기 비최대 억제 처리부로부터 출력되는 비최대 억제를 거친 복수의 특징점 후보와 상기 제어기로부터 출력되는 복수의 인에이블 신호를 근거로 상기 분류된 연속된 다른 영역 내에서 가장 먼저 들어온 특징점에 대한 복수의 틱 신호를 각각 출력하는 복수의 영역 블록 처리부; 상기 복수의 틱 신호에 대한 OR 연산을 수행하는 OR 게이트; 및 상기 복수의 틱 신호에 대한 OR 연산 결과 및 상기 복수의 특징점 후보와 관련한 위치 정보에 대한 AND 연산을 수행하여 최종 검출된 특징점의 좌표를 출력하는 AND 게이트를 포함할 수 있다.

본 발명의 실시예에 따른 객체 추적을 위한 특징점 검출 방법은 미분기에 의해, 입력 영상에서 x 방향과 y 방향으로의 명암차를 각각 계산하여 x 방향 미분값과 y 방향 미분값을 각각 산출하는 단계; 곱셈기에 의해, 상기 미분기로부터 산출된 x 방향 미분값과 y 방향 미분값을 근거로 계수 행렬에 해당하는 각 원소를 산출하는 단계; 가우시안 필터에 의해, 상기 곱셈기로부터 출력되는 상기 계수 행렬에 포함되는 각 원소에 가우시안 스무딩을 각각 적용하여 가중치가 적용된 계수 행렬을 생성하는 단계; 고윳값 계산부에 의해, 상기 가중치가 적용된 계수 행렬을 근거로 이차 방정식 형태의 고유 다항식을 생성하는 단계; 상기 고윳값 계산부에 의해, 상기 생성된 고유 다항식에 대해 근의 공식을 적용하여 복수의 고윳값을 산출하는 단계; 상기 고윳값 계산부에 의해, 상기 산출된 복수의 고윳값 중에서 최솟값을 선택하는 단계; 상기 고윳값 계산부에 의해, 상기 선택된 최솟값을 갖는 고윳값을 미리 설정된 임계값과 비교하는 단계; 상기 비교 결과, 상기 고윳값이 상기 임계값보다 클 때, 상기 고윳값 계산부에 의해, 상기 고윳값과 관련한 픽셀을 특징점 후보로 포함하는 제 1 특징점 후보군을 선정하는 단계; 영상 경계 및 임계값 체크 처리부에 의해, 상기 입력 영상의 미리 설정된 외곽 영역에 대해 영상 경계 처리를 수행하여 제 2 특징점 후보군을 선정하는 단계; 비최대 억제 처리부에 의해, 상기 선정된 제 2 특징점 후보군에 포함된 복수의 특징점 후보에 대해서, 고윳값 비교를 통해 근접 후보군을 제외한 복수의 특징점 후보를 포함하는 제 3 특징점 후보군을 선정하는 단계; 및 영역 체크 처리부에 의해, 상기 선정된 제 3 특징점 후보군에 대해서 미리 설정된 크기의 연속된 다른 영역 내 특징점 후보군 중에서 중복 후보군을 제외하여 최종 특징점의 좌표를 출력하는 단계를 포함할 수 있다.

본 발명과 관련된 일 예로서 상기 x 방향 미분값과 y 방향 미분값을 포함하는 각각 산출하는 단계는, 상기 입력 영상으로부터 특정 픽셀에 대한 이미지 패치를 추출하는 과정; 및 상기 추출된 이미지 패치를 x 방향과 y 방향으로 각각 미분하여 상기 이미지 패치에 대한 x 방향 미분값과 y 방향 미분값을 포함하는 복수의 미분값을 각각 산출하는 과정을 포함할 수 있다.

본 발명과 관련된 일 예로서 상기 x 방향 미분값과 y 방향 미분값을 포함하는 각각 산출하는 단계는, 상기 입력 영상으로부터 특정 픽셀에 대한 이미지 패치를 추출하는 과정; 및 상기 추출된 이미지 패치에 미리 설정된 소벨 필터를 적용하여 상기 이미지 패치에 대한 x 방향 미분값과 y 방향 미분값을 포함하는 복수의 미분값을 각각 산출하는 과정을 포함할 수 있다.

본 발명과 관련된 일 예로서 상기 계수 행렬에 해당하는 각 원소를 산출하는 단계는, 상기 미분기로부터 산출된 x 방향 미분값을 두 개의 입력으로 하여 곱셈 연산을 수행하고, 상기 곱셈 연산 수행에 따른 제 1 출력값을 출력하는 과정; 상기 미분기로부터 산출된 x 방향 미분값과 y 방향 미분값을 입력으로 하여 곱셈 연산을 수행하고, 상기 곱셈 연산 수행에 따른 제 2 출력값을 출력하는 과정; 및 상기 미분기로부터 산출된 y 방향 미분값을 두 개의 입력으로 하여 곱셈 연산을 수행하고, 상기 곱셈 연산 수행에 따른 제 3 출력값을 출력하는 과정을 포함할 수 있다.

본 발명과 관련된 일 예로서 상기 가중치가 적용된 계수 행렬을 생성하는 단계는, 상기 곱셈기로부터 출력되는 상기 계수 행렬에 포함되는 복수의 원소에 미리 설정된 가중치를 곱하여 다음의 수학식으로 표시되는 상기 가중치가 적용된 계수 행렬을 생성하며,

본 발명과 관련된 일 예로서 상기 고유 다항식을 생성하는 단계는, 상기 가중치가 적용된 2×2 크기의 계수 행렬에 포함된 복수의 원소에 대해서, 다음의 수학식으로 표시되는 고유 다항식을 생성하며,

, 여기서, 상기 변수 p는 상기

를 나타내고, 상기 변수 r은 상기

를 나타내고, 상기 변수 q는 상기

를 나타낼 수 있다.

본 발명과 관련된 일 예로서 상기 비교 결과, 상기 고윳값이 상기 임계값보다 작거나 같을 때, 상기 고윳값 계산부에 의해, 상기 고윳값과 관련한 픽셀을 특징점 후보에서 제외하는 단계를 더 포함할 수 있다.

본 발명과 관련된 일 예로서 상기 입력 영상의 미리 설정된 외곽 영역에 대해 영상 경계 처리를 수행하여 제 2 특징점 후보군을 선정하는 단계는, 상기 선정된 복수의 특징점 후보를 포함하는 제 1 특징점 후보군 중에서, 상기 입력 영상에서 미리 설정된 픽셀 수만큼의 외곽 영역에 포함된 적어도 하나의 특징점 후보를 제외한 복수의 특징점 후보를 포함하는 제 2 특징점 후보군을 선정할 수 있다.

본 발명과 관련된 일 예로서 상기 제 3 특징점 후보군을 선정하는 단계는, 미리 설정된 영역 내에 포함된 상기 제 2 특징점 후보군에 포함된 특징점 후보의 고윳값과 복수의 다른 성분 간의 고윳값을 비교하는 과정; 상기 비교 결과, 상기 영역 내에 포함된 특징점 후보의 고윳값이 상기 영역 내에 포함된 상기 특징점 후보에 인접한 복수의 다른 성분의 고윳값보다 모두 클 때, 상기 특징점 후보를 상기 제 3 특징점 후보군에 포함하는 과정; 및 상기 비교 결과, 상기 영역 내에 포함된 특징점 후보의 고윳값이 상기 영역 내에 포함된 상기 특징점 후보에 인접한 복수의 다른 성분의 고윳값보다 작은 경우가 있을 때, 상기 특징점 후보를 상기 제 3 특징점 후보군에서 제외하는 과정을 포함할 수 있다.

본 발명과 관련된 일 예로서 상기 최종 특징점의 좌표를 출력하는 단계는, 상기 입력 영상을 미리 설정된 크기의 연속된 다른 영역으로 분류하는 과정; 상기 비최대 억제 처리부로부터 출력되는 비최대 억제를 거친 복수의 특징점 후보와 복수의 인에이블 신호를 근거로 상기 분류된 연속된 다른 영역 내에서 가장 먼저 들어온 특징점에 대한 복수의 틱 신호를 각각 출력하는 과정; 상기 복수의 틱 신호에 대한 OR 연산을 수행하는 과정; 및 상기 복수의 틱 신호에 대한 OR 연산 결과 및 상기 복수의 특징점 후보와 관련한 위치 정보에 대한 AND 연산을 수행하여 최종 검출된 특징점의 좌표를 출력하는 과정을 포함할 수 있다.

본 발명의 실시예에 따른 객체 추적을 위한 특징점 검출 장치는 입력 영상에서 x 방향과 y 방향으로의 명암차를 각각 계산하여 복수의 미분값을 산출하는 미분기; 상기 미분기로부터 산출된 복수의 미분값을 근거로 계수 행렬에 해당하는 각 원소를 산출하는 곱셈기; 상기 곱셈기로부터 출력되는 상기 계수 행렬에 포함되는 각 원소에 가우시안 스무딩을 각각 적용하여 가중치가 적용된 계수 행렬을 생성하는 가우시안 필터; 상기 가중치가 적용된 계수 행렬을 근거로 고윳값을 산출하고, 상기 고윳값과 관련한 픽셀을 특징점 후보로 포함하는 제 1 특징점 후보군을 선정하는 고윳값 계산부; 상기 입력 영상의 미리 설정된 외곽 영역에 대해 영상 경계 처리를 수행하여 제 2 특징점 후보군을 선정하는 영상 경계 및 임계값 체크 처리부; 상기 선정된 제 2 특징점 후보군에 포함된 복수의 특징점 후보에 대해서, 고윳값 비교를 통해 근접 후보군을 제외한 복수의 특징점 후보를 포함하는 제 3 특징점 후보군을 선정하는 비최대 억제 처리부; 및 상기 선정된 제 3 특징점 후보군에 대해서 미리 설정된 크기의 연속된 다른 영역 내 특징점 후보군 중에서 중복 후보군을 제외하여 최종 특징점의 좌표를 출력하는 영역 체크 처리부를 포함할 수 있다.

본 발명과 관련된 일 예로서 상기 미분기는, 상기 입력 영상으로부터 특정 픽셀에 대한 이미지 패치를 추출하고, 상기 추출된 이미지 패치에 미리 설정된 소벨 필터를 적용하여 상기 복수의 미분값을 산출할 수 있다.

본 발명과 관련된 일 예로서 상기 곱셈기는, 상기 미분기로부터 산출된 복수의 미분값 간의 곱셈 연산을 통해 상기 계수 행렬에 해당하는 각 원소를 산출할 수 있다.

본 발명의 실시예에 따른 객체 추적을 위한 특징점 검출 방법은 미분기에 의해, 입력 영상에서 x 방향과 y 방향으로의 명암차를 각각 계산하여 복수의 미분값을 산출하는 단계; 곱셈기에 의해, 상기 미분기로부터 산출된 복수의 미분값을 근거로 계수 행렬에 해당하는 각 원소를 산출하는 단계; 가우시안 필터에 의해, 상기 곱셈기로부터 출력되는 상기 계수 행렬에 포함되는 각 원소에 가우시안 스무딩을 각각 적용하여 가중치가 적용된 계수 행렬을 생성하는 단계; 고윳값 계산부에 의해, 상기 가중치가 적용된 계수 행렬을 근거로 고윳값을 산출하고, 상기 고윳값과 관련한 픽셀을 특징점 후보로 포함하는 제 1 특징점 후보군을 선정하는 단계; 영상 경계 및 임계값 체크 처리부에 의해, 상기 입력 영상의 미리 설정된 외곽 영역에 대해 영상 경계 처리를 수행하여 제 2 특징점 후보군을 선정하는 단계; 비최대 억제 처리부에 의해, 상기 선정된 제 2 특징점 후보군에 포함된 복수의 특징점 후보에 대해서, 고윳값 비교를 통해 근접 후보군을 제외한 복수의 특징점 후보를 포함하는 제 3 특징점 후보군을 선정하는 단계; 및 영역 체크 처리부에 의해, 상기 선정된 제 3 특징점 후보군에 대해서 미리 설정된 크기의 연속된 다른 영역 내 특징점 후보군 중에서 중복 후보군을 제외하여 최종 특징점의 좌표를 출력하는 단계를 포함할 수 있다.

본 발명과 관련된 일 예로서 상기 복수의 미분값을 산출하는 단계는, 상기 입력 영상으로부터 특정 픽셀에 대한 이미지 패치를 추출하는 과정; 및 상기 추출된 이미지 패치를 x 방향과 y 방향으로 각각 미분하여 상기 이미지 패치에 대한 x 방향 미분값과 y 방향 미분값을 포함하는 복수의 미분값을 각각 산출하는 과정을 포함할 수 있다.

본 발명과 관련된 일 예로서 상기 복수의 미분값을 산출하는 단계는, 상기 입력 영상으로부터 특정 픽셀에 대한 이미지 패치를 추출하는 과정; 및 상기 추출된 이미지 패치에 미리 설정된 소벨 필터를 적용하여 상기 복수의 미분값을 산출하는 과정을 포함할 수 있다.

본 발명과 관련된 일 예로서 상기 계수 행렬에 해당하는 각 원소를 산출하는 단계는, 상기 미분기로부터 산출된 복수의 미분값 간의 곱셈 연산을 통해 상기 계수 행렬에 해당하는 각 원소를 산출할 수 있다.

본 발명은 입력 영상으로부터 추출된 이미지 패치에 가우시안 스무딩을 적용하고, 가우시안 스무딩이 적용된 계수 행렬에 대한 고유 다항식을 근거로 고윳값을 산출하고, 입력 영상에 대한 영상 경계 처리를 수행하여 특징점 후보군을 선정하고, 선정된 특징점 후보군에 대한 고윳값 비교를 통해 상기 선정된 특징점 후보군에서 근접 후보군을 제외하고, 근접 후보군이 제외된 특징점 후보군 중에서 중복 후보군을 제외하여 최종 특징점의 좌표를 출력함으로써, 객체 추적에서 우수한 성능을 보이는 Shi-Tomasi 알고리즘과 성능은 유사하면서도 복잡도를 줄이고 연산량을 감소시켜 전체적으로 운용 효율을 향상시킬 수 있는 효과가 있다.

도 1은 본 발명의 실시예에 따른 객체 추적을 위한 특징점 검출 장치의 구성을 나타낸 블록도이다.
도 2는 본 발명의 실시예에 따른 가우시안 필터의 구조를 나타낸 도이다.
도 3은 본 발명의 실시예에 따른 상기 라인 버퍼의 데이터 플로우의 예시를 나타낸 도이다.
도 4는 본 발명의 실시예에 따른 영역 체크 처리부(700)의 구성을 나타낸 도이다.
도 5는 Harris 알고리즘의 특징 가능성 임계값의 예를 나타낸 도이다.
도 6은 Shi-Tomasi 알고리즘의 고윳값 임계값의 예를 나타낸 도이다.
도 7은 본 발명의 실시예에 따른 간소화한 특징점 검출 알고리즘의 임계값의 예를 나타낸 도이다.
도 8은 본 발명의 실시예에 따른 간소화한 특징점 검출 알고리즘과 Harris 알고리즘과 Shi-Tomasi 알고리즘에서의 객체 추적 성능 비교 결과를 나타낸 도이다.
도 9 내지 도 10은 본 발명의 실시예에 따른 객체 추적을 위한 특징점 검출 방법을 나타낸 흐름도이다.
도 11은 본 발명의 실시예에 따른 이미지 패치의 예를 나타낸 도이다.

본 발명에서 사용되는 기술적 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.

또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서 "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.

또한, 본 발명에서 사용되는 제 1, 제 2 등과 같이 서수를 포함하는 용어는 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 유사하게 제 2 구성 요소도 제 1 구성 요소로 명명될 수 있다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.

도 1은 본 발명의 실시예에 따른 객체 추적을 위한 특징점 검출 장치(10)의 구성을 나타낸 블록도이다.

도 1에 도시한 바와 같이, 객체 추적을 위한 특징점 검출 장치(10)는 미분기(100), 곱셈기(200), 가우시안 필터(300), 고윳값 계산부(400), 영상 경계 및 임계값 체크 처리부(500), 비최대 억제 처리부(600) 및 영역 체크 처리부(700)로 구성된다. 도 1에 도시된 특징점 검출 장치(10)의 구성 요소 모두가 필수 구성 요소인 것은 아니며, 도 1에 도시된 구성 요소보다 많은 구성 요소에 의해 특징점 검출 장치(10)가 구현될 수도 있고, 그보다 적은 구성 요소에 의해서도 특징점 검출 장치(10)가 구현될 수도 있다.

상기 미분기(differentiator)(100)는 입력 영상(또는 원본 영상/이미지)에서 x 방향과 y 방향으로의 명암차(또는 미분값)를 각각 계산한다.

즉, 상기 미분기(100)는 상기 입력 영상으로부터 특정 픽셀에 대한 이미지 패치(image patch)를 추출한다.

또한, 상기 미분기(100)는 상기 추출된 이미지 패치를 x 방향과 y 방향으로 각각 미분하여 상기 이미지 패치에 대한 x 방향 미분값(gx)과 y 방향 미분값(gy)을 포함하는 복수의 미분값을 각각 산출(또는 계산)한다.

즉, 상기 미분기(100)는 상기 추출된 이미지 패치에 미리 설정된 소벨(sobel) 필터(예를 들어 x 방향에 대한 소벨 필터, y 방향에 대한 소벨 필터 등 포함)를 적용하여 상기 이미지 패치에 대한 x 방향 미분값(gx)과 y 방향 미분값(gy)을 포함하는 복수의 미분값을 각각 산출한다.

상기 곱셈기(multiplier)(200)는 상기 미분기(100)로부터 산출된 복수의 미분값(gx, gy)을 근거로 계수 행렬(Z)에 해당하는 각 원소(또는 성분)를 산출한다.

즉, 상기 곱셈기(200)는 상기 미분기(100)로부터 산출된 x 방향 미분값(gx)과 y 방향 미분값(gy)을 근거로 다음의 [수학식 1]에 따른 계수 행렬(Z)을 구성하는 각 원소를 산출한다.

여기서, 상기 계수 행렬(Z)은 가로와 세로 방향으로의 명암값 변화에 따른 자기 상관 함수 행렬을 나타낸다.

상기 가우시안 필터(gaussian filter)(300)는 상기 곱셈기(200)로부터 출력되는 상기 계수 행렬에 포함되는 각 원소(또는 성분)에 가우시안 스무딩을 각각 적용하여 가중치가 적용된 계수 행렬(Zw)을 생성한다.

즉, 상기 가우시안 필터(300)는 상기 곱셈기(200)로부터 출력되는 상기 계수 행렬에 포함되는 복수의 원소에 미리 설정된 가중치(w)를 곱하여, 다음의 [수학식 2]로 표시되는 상기 가중치가 적용된 계수 행렬(Zw)을 생성한다.

도 2는 본 발명의 실시예에 따른 가우시안 필터(300)의 구조를 나타낸 도이다.

상기 도 2에 도시된 바와 같이, 상기 가우시안 필터(300)는 복수의 레지스터(register)(예를 들어 레지스터 A, B, C, D, E, F, G, H, I 등 포함)(310), 복수의 라인 버퍼(line buffer)(320), 복수의 시프터(shifter)(330) 및 가산 트리(adder tree)(340)로 구성된다. 도 2에 도시된 가우시안 필터(300)의 구성 요소 모두가 필수 구성 요소인 것은 아니며, 도 2에 도시된 구성 요소보다 많은 구성 요소에 의해 가우시안 필터(300)가 구현될 수도 있고, 그보다 적은 구성 요소에 의해서도 가우시안 필터(300)가 구현될 수도 있다.

즉, 영상 데이터(또는 입력 영상에 대응하는 영상 데이터/픽셀 데이터)가 로우(row) 방향으로 순차적으로 입력되면, 상기 영상 데이터는 상기 레지스터 I, H, G를 통과하면서 첫 번째 행의 라인 버퍼에 저장된다. 이후, 다음 컬럼(column)의 영상 데이터가 로우 방향으로 순차적으로 입력되면, 첫 번째 행의 라인 버퍼에 저장된 영상 데이터는 다시 레지스터 F, E, D를 통과하며 두 번째 행의 라인 버퍼에 저장되고, 다음 컬럼의 영상 데이터는 상기 레지스터 I, H, G를 통과하면서 첫 번째 행의 라인 버퍼에 저장된다. 이때, 상기 라인 버퍼(320)의 크기는 입력 영상의 로우 크기에 따라 결정되며, 상기 라인 버퍼(320)를 통해 데이터를 재사용함으로써 외부 메모리를 사용하지 않고도 실시간으로 3×3 이미지 패치의 소벨 연산을 수행할 수 있다.

도 3은 본 발명의 실시예에 따른 상기 라인 버퍼(320)의 데이터 플로우의 예시를 나타내며, 상기 미분기(100)와 상기 비최대 억제 처리부(600)도 상기 라인 버퍼(320)와 동일한 구조로 설계할 수 있다.

이와 같이, 상기 입력 영상에 포함되는 잡음 또는 추적하기 어려운 일정 크기 이하의 특징(또는 특성)에 대응하고 정확도를 높이기 위해서, 계수 행렬(Z)의 각각의 원소에 가중치 함수(또는 가우시안 스무딩)를 적용하여 상기 가중치가 적용된 계수 행렬(Zw)을 생성할 수 있다.

상기 고윳값 계산부(eigenvalue calculator)(400)는 상기 가우시안 필터(300)로부터 출력되는 가중치가 적용된 계수 행렬(Zw)에 대해 이차 방정식 형태의 고유 다항식을 생성한다.

이때, 상기 고윳값 계산부(400)는 특징점 후보군을 선별하기 위해서 상기 가중치가 적용된 계수 행렬과 관련한 2개의 고윳값의 계산 및 비교가 필요하지만, 행렬의 고유 다항식과 이차 방정식에 대한 근의 공식을 사용하여, 하나의 식으로 간소화할 수 있다.

즉, 상기 고윳값 계산부(400)는 상기 가중치가 적용된 2×2 크기의 계수 행렬(Zw)에 포함된 복수의 원소에 대해서, 상기

를 변수 p라 하고, 상기

를 변수 r이라 하고, 상기

를 변수 q라 할 경우, 상기 가중치가 적용된 계수 행렬(Zw)에 대한 고유 다항식을 다음의 [수학식 3]으로 나타낼 수 있다.

또한, 상기 고윳값 계산부(400)는 상기 생성된 고유 다항식에 대해 근의 공식을 적용하여 복수의 고윳값(eigenvalue)을 산출한다.

또한, 명암 변화가 작은 경우, 상기 가중치가 적용된 계수 행렬(Zw)은 잡음(noise)에 큰 영향을 받기 때문에 객체 추적에 유리한 특징점이 되지 못한다. 따라서, 이러한 픽셀을 배제하고 객체 추적에 유리한 안정적인 특징점을 선별하기 위해서, 상기 고윳값 계산부(400)는 특징점을 결정하는 기준 선정을 위해 상기 산출된 복수의 고윳값 중에서 작은 값을 선택한다.

즉, 상기 고윳값 계산부(400)는 상기 산출된 복수의 고윳값 중에서 최솟값을 선택한다.

또한, 상기 고윳값 계산부(400)는 다음의 [수학식 4]와 같이, 상기 선택된 최솟값을 갖는 고윳값(또는 고윳값)을 미리 설정된 임계값(예를 들어 λ_TH)과 비교한다.

상기 비교 결과, 상기 고윳값이 상기 임계값보다 작거나 같은 경우, 상기 고윳값 계산부(400)는 상기 고윳값과 관련한 해당 픽셀을 특징점 후보로 선정하지 않는다.

또한, 상기 비교 결과, 상기 고윳값이 상기 임계값보다 큰 경우, 상기 고윳값 계산부(400)는 상기 고윳값과 관련한 해당 픽셀을 특징점 후보로 선정한다.

이와 같이, 상기 입력 영상에 포함된 모든 픽셀에 대해서 상기 미분기(100), 상기 곱셈기(200), 상기 가우시안 필터(300) 및 상기 고윳값 계산부(400)에 따른 각각의 기능을 수행하여, 복수의(또는 하나 이상의) 특징점 후보를 포함하는 제 1 특징점 후보군을 선정한다.

상기 영상 경계 및 임계값 체크 처리부(Boundary/Threshold Checking Unit)(500)는 상기 입력 영상의 미리 설정된 외곽 영역(또는 테두리 영역)에 대해 영상 경계 처리를 수행한다.

즉, 상기 영상 경계 및 임계값 체크 처리부(500)는 상기 선정된 복수의(또는 하나 이상의) 특징점 후보를 포함하는 제 1 특징점 후보군 중에서, 상기 입력 영상에서 미리 설정된 픽셀 수(예를 들어 10 픽셀)만큼의 외곽 영역에 포함된 적어도 하나의 특징점 후보를 제외(또는 배제)한 복수의(또는 하나 이상의) 특징점 후보를 포함하는 제 2 특징점 후보군을 선정한다.

이와 같이, 상기 영상 경계 및 임계값 체크 처리부(500)는 특징점이 영상 경계가 아닌 중앙에 있도록 하기 위해서 임계값 처리 후 발생한 경계 부근의 후보군(또는 특징점/특징점 후보)은 객체 추적 초반에 영상 밖으로 소실되기 때문에 불필요하므로, 상기 제 1 특징점 후보군 중에서 경계 부근의 특징점을 제거함으로써, 이후 수행되는 특징점 선별 및 객체 추적에서의 불필요한 연산을 줄이거나 방지할 수 있다.

또한, 상기 영상 경계 및 임계값 체크 처리부(500)는 계산되는 고윳값의 범위가 영상 밝기에 따라 변화하는 특성을 고려하여, 상기 고윳값과 비교하는 임계값 또한 유동적으로(또는 가변 가능하도록) 설계할 수 있다.

상기 비최대 억제 처리부(Non-maximum Suppression Unit)(600)는 상기 선정된 제 2 특징점 후보군에 포함된 복수의(또는 하나 이상의) 특징점 후보에 대해서, 고윳값 비교를 통해 근접 후보군을 제외한 복수의(또는 하나 이상의) 특징점 후보를 포함하는 제 3 특징점 후보군을 선정한다.

즉, 상기 비최대 억제 처리부(600)는 미리 설정된 영역 내(또는 마스크 내)(예를 들어 5×5 이미지 패치)에 대해서, 해당 영역 내에 포함된 특징점 후보의 고윳값과 복수의 다른 성분 간의 고윳값을 비교한다.

상기 비교 결과, 해당 영역 내에 포함된 특징점 후보의 고윳값이 해당 영역 내에 포함된 상기 특징점 후보에 인접한 복수의 다른 성분의 고윳값보다 모두 큰 경우, 상기 비최대 억제 처리부(600)는 해당 특징점 후보를 상기 제 3 특징점 후보군에 포함시킨다.

또한, 상기 비교 결과, 해당 영역 내에 포함된 특징점 후보의 고윳값이 해당 영역 내에 포함된 상기 특징점 후보에 인접한 복수의 다른 성분의 고윳값보다 작은 경우가 있는 경우(또는 상기 복수의 다른 성분의 고윳값 중 적어도 하나에서 상기 특징점 후보의 고윳값보다 큰 경우가 있는 경우/특징 픽셀을 중심을 한 마스크 또는 영역 내에서 다른 픽셀의 고윳값이 큰 경우가 있는 경우), 상기 비최대 억제 처리부(600)는 해당 특징점 후보(또는 해당 특정 픽셀)를 상기 제 3 특징점 후보군에서 제외(또는 배제)시킨다.

이와 같이, 상기 비최대 억제 처리부(600)는 객체 추적 결과가 좋은 특징점만을 검출하기 위해서는 추적하기 어려운 후보군(또는 특징점)을 배제하는 선별 단계가 필요하며, 특징점들이 서로 가까이 있게 되면 추적 과정에서 서로 다른 영향을 미치기 때문에, 앞서 선정된 상기 제 2 특징점 후보군에 포함된 복수의 특징점 후보 중에서 일정 거리 내의 후보군은 제외하고, 남은 복수의 특징점 후보를 포함하는 상기 제 3 특징점 후보군을 선정할 수 있다.

상기 영역 체크 처리부(Region Checking Unit)(700)는 상기 선정된 제 3 특징점 후보군에 대해서 미리 설정된 크기의 연속된 다른 영역 내 특징점 후보군 중에서 중복 후보군을 제외하여 최종 특징점의 좌표를 출력한다.

도 4는 본 발명의 실시예에 따른 영역 체크 처리부(700)의 구성을 나타낸 도이다.

상기 도 4에 도시된 바와 같이, 상기 영역 체크 처리부(700)는 제어기(710), 복수의 영역 블록 처리부(720), OR 게이트(730) 및 AND 게이트(740)로 구성된다. 도 4에 도시된 영역 체크 처리부(700)의 구성 요소 모두가 필수 구성 요소인 것은 아니며, 도 4에 도시된 구성 요소보다 많은 구성 요소에 의해 영역 체크 처리부(700)가 구현될 수도 있고, 그보다 적은 구성 요소에 의해서도 영역 체크 처리부(700)가 구현될 수도 있다.

상기 제어기(controller)(710)는 상기 입력 영상을 미리 설정된 크기의 연속된 다른 영역(또는 블록)(예를 들어 미리 설정된 크기의 분류되는 N개의 영역/블록, N은 자연수)으로 분류(또는 구분)한다.

또한, 상기 제어기(710)는 상기 분류된 다른 영역(또는 블록)을 제어한다.

또한, 상기 제어기(710)는 상기 비최대 억제 처리부(600)로부터 출력되는 비최대 억제를 거친 복수의 특징점 후보 각각에 대한 인에이블 신호(또는 복수의 인에이블 신호/복수의 제어 신호)를 출력한다.

상기 복수의 영역 블록 처리부(720)는 상기 비최대 억제 처리부(600)로부터 출력되는 비최대 억제를 거친 복수의 특징점 후보와 상기 제어기(710)로부터 출력되는 복수의 인에이블 신호를 근거로 상기 분류된 연속된 다른 영역 내에서 가장 먼저 들어온 특징점에 대한 복수의 틱 신호(tick signal)를 각각 출력한다.

즉, 상기 비최대 억제를 거친 각각의 특징점 후보군의 신호가 순차적으로 입력될 때, 각각의 영역을 담당하는 해당 영역 블록 처리부(720)는 상기 제어기(710)가 출력하는 제어 신호(또는 인에이블 신호)에 따라 동작하여, 해당 다른 영역 내에 가장 먼저 들어온 특징점에 대한 틱 신호를 출력한다. 이때, 상기 영역 블록 처리부(720)는 픽셀 개수를 세는 로우 카운터(row counter)와 컬럼 카운터(column counter)를 이용하여 출력할 특징점의 위치를 제어할 수 있다.

상기 OR 게이트(730)는 상기 복수의 영역 블록 처리부(720)로부터 출력되는 상기 복수의 틱 신호에 대한 OR 연산을 수행하고, 상기 복수의 틱 신호에 대한 OR 연산 결과를 출력한다.

상기 AND 게이트(740)는 상기 복수의 틱 신호에 대한 OR 연산 결과 및 상기 제어기(710)로부터 출력되는 해당 복수의 특징점 후보와 관련하여 위치 정보에 대한 AND 연산을 수행하여 최종 검출된 특징점의 좌표(또는 상기 영역 체크 처리부(700)의 결과인 특징점의 좌표)를 출력한다.

이와 같이, 상기 영역 체크 처리부(700)는 효과적인 선별을 하면서도 연산량(또는 계산량)과 메모리 액세스를 줄이기 위해서 상기 입력 영상을 일정 크기의 연속된 다른 영역으로 구분하고, 해당 다른 영역 내에서 가장 먼저 입력받은 특징점 후보를 해당 다른 영역과 관련한 특징점 검출 결과로 출력함에 따라, 유클리드 거리 계산을 하지 않고도 일정 거리 이상 떨어진 특징점을 검출할 수 있다.

또한, Shi-Tomasi 알고리즘의 특징점 선별이 정렬과 유클리드 거리 계산을 필요로 하며, 고윳값 크기에 따른 정렬 과정과 모든 특징점 후보에 대해 유클리드 거리 계산 과정을 수행하게 되어 많은 연산 시간과 메모리 액세스고 요구되는데 반해, 본 발명에 따른 상기 비최대 억제 처리부(600)는 큰 고윳값의 근접 후보군을 제거하는 비최대 억제 과정을 적용하고, 상기 영역 체크 처리부(700)는 영역 내 후보군에 대한 중복 체크 과정을 적용하여 효율적인 특징점을 선별할 수 있다.

본 발명의 실시예에 따른 간소화한 특징점 검출 알고리즘의 성능 평가를 위해서 객체 추적을 위한 특징점 검출 장치(10)와 Harris 알고리즘과 Shi-Tomasi 알고리즘 간의 결과를 비교하였다.

도 5에 도시된 Harris 알고리즘의 특징 가능성 임계값과 도 6에 도시된 Shi-Tomasi 알고리즘의 고윳값 임계값은 각 알고리즘의 검출된 특징점의 개수가 비슷하도록 설정하였다.

도 7에 도시된 바와 같이, 본 발명의 실시예에 따른 간소화한 특징점 검출 알고리즘이 적용된 특징점 검출 장치(10)는 특징점 검출이 상기 도 5에 도시된 Shi-Tomasi 알고리즘과 유사한 성능을 보임을 확인할 수 있다.

또한, 일정 방향으로 움직이는 카메라로 촬영한 영상에 대해 본 발명의 실시예에 따른 간소화한 특징점 검출 알고리즘과 Harris 알고리즘과 Shi-Tomasi 알고리즘을 각각 적용한 후, 검출된 특징점들에 대해 KLT(Kanade Lucas Tomasi) 추적 알고리즘을 적용하여 객체 추적 성능을 비교하였다.

도 8은 본 발명의 실시예에 따른 간소화한 특징점 검출 알고리즘과 Harris 알고리즘과 Shi-Tomasi 알고리즘에서의 객체 추적 성능 비교 결과를 나타낸 것으로, 본 발명의 실시예에 따른 간소화한 특징점 검출 알고리즘(도 8에서 녹색으로 표시)의 결과는 Harris 알고리즘(도 8에서 빨간색으로 표시)의 결과보다 더 우수한 성능을 나타내며, Shi-Tomasi 알고리즘(도 8에서 파란색으로 표시)의 결과와 동일한 방향 및 거리로 추적이 이루어짐을 확인할 수 있다.

이와 같이, 본 발명의 실시예에 따른 간소화한 특징점 검출 알고리즘이 적용된 특징점 검출 장치(10)는 객체 추적에서 우수한 성능을 보이는 Shi-Tomasi 알고리즘과 성능은 유사하면서도 복잡도를 줄이고 연산량을 감소시켜 전체적으로 운용 효율을 향상시킬 수 있다.

또한, 상기 특징점 검출 장치(10)는 verilog-HDL을 이용하여 RTL(register-transfer level) 설계 후, Xilinx Virtex-7 xc7vx1140tflg1930-1 FPGA(Field Programmable Gate Array) 디바이스에서 구현 및 검증하였다.

[표 1]은 Virtex-7 FPGA 기반의 특징점 검출 장치(10)의 구현 결과를 나타낸다.

	제안된 특징점 검출 장치
FPGA Device	Xilinx Virtex-7 xc7vx1140tflg1930-1
Logic Slices	1,307
DSP 48s	5
Embedded Memory	86.91Kbit
Frequency	114MHz

상기 [표 1]에 나타낸 바와 같이, 상기 특징점 검출 장치(10)는 총 1,307개의 로직 슬라이스들과, 5개의 DSP 48s와, 86.91Kbit의 메모리로 구현되는 것을 확인하였다.

한 장의 영상 크기만큼의 클록 사이클(clock cycles)을 프레임 사이클(frame cycles)이라 할 때, 특징점 검출 과정에서 약 1.01 프레임 사이클이 소요된다. 즉, 114MHz의 동작 주파수에서 1920×1080 FHD(Full HD) 영상에 대해 54 fps(frame per seconds)로 처리가 가능하다.

[표 2]는 본 발명의 실시예에 따른 특징점 검출 장치(10)와 기존 FPGA 기반의 특징점 검출기 설계와의 처리 속도에 대한 비교 결과를 나타낸다.

Methods	Frequency	Resolution	FPS
비교 대상 1	135	1920×1080	22
비교 대상 2	134	1920×1080	24
비교 대상 3	100	1920×1080	44
본 발명	114	1920×1080	54

여기서, 상기 비교 대상 1은 T. Dinh et. al, "High throughput FPGA architecture for corner detection in traffic images"(2014 IEEE Fifth ICCE, Aug. 2014, pp. 297-302.)을 참조하고, 상기 비교 대상 2는 F. Brenot, P. Fillatreau and J. Piat, "FPGA based accelerator for visual features detection"(2015 IEEE International Workshop of ECMSM, June. 2015)을 참조하고, 상기 비교 대상 3은 A. Aguilar-Gonzalez, M. Arias-Estrada and F. Berry, "Robust feature extraction algorithm suitable for real-time embedded applications"(Journal of Real-Time Image Processing, vol. Journal of Real-Time Image Processing, vol. 14, no. 3, pp. 647-665, Mar. 2018.)을 참조한다.

상기 [표 2]에 나타낸 바와 같이, 본 발명의 실시예에 따른 특징점 검출 장치(10)는 기존 FPGA 기반 특징점 검출 구조보다 우수한 처리 속도는 나타내며, 1920×1080 FHD 영상에 대해 114MHz의 동작 주파수에서 54 fps로 실시간 동작 가능함을 확인할 수 있다.

이와 같이, 입력 영상으로부터 추출된 이미지 패치에 가우시안 스무딩을 적용하고, 가우시안 스무딩이 적용된 계수 행렬에 대한 고유 다항식을 근거로 고윳값을 산출하고, 입력 영상에 대한 영상 경계 처리를 수행하여 특징점 후보군을 선정하고, 선정된 특징점 후보군에 대한 고윳값 비교를 통해 상기 선정된 특징점 후보군에서 근접 후보군을 제외하고, 근접 후보군이 제외된 특징점 후보군 중에서 중복 후보군을 제외하여 최종 특징점의 좌표를 출력할 수 있다.

이하에서는, 본 발명에 따른 객체 추적을 위한 특징점 검출 방법을 도 1 내지 도 11을 참조하여 상세히 설명한다.

도 9 내지 도 10은 본 발명의 실시예에 따른 객체 추적을 위한 특징점 검출 방법을 나타낸 흐름도이다.

먼저, 미분기(100)는 입력 영상(또는 원본 영상/이미지)에서 x 방향과 y 방향으로의 명암차(또는 미분값)를 각각 계산한다.

즉, 상기 미분기(100)는 상기 입력 영상으로부터 특정 픽셀에 대한 이미지 패치를 추출한다.

일 예로, 도 11에 도시된 바와 같이, 상기 미분기(100)는 480×640 크기의 제 1 입력 영상에 대해서, 2×2 위치에 해당하는 482번째 픽셀과 관련해서 미리 설정된 단위인 3×3 크기의 제 482 이미지 패치(1100)를 추출한다.

또한, 상기 미분기(100)는 상기 추출된 제 482 이미지 패치에 x 방향에 대한 제 1 소벨 필터와 y 방향에 대한 제 2 소벨 필터를 각각 적용하여 제 1 미분값(gx482) 및 제 2 미분값(gy482)을 각각 산출한다(S910).

이후, 곱셈기(200)는 상기 미분기(100)로부터 산출된 복수의 미분값(gx, gy)을 근거로 계수 행렬(Z)에 해당하는 각 원소(또는 성분)를 산출한다.

즉, 상기 곱셈기(200)는 상기 미분기(100)로부터 산출된 x 방향 미분값(gx)과 y 방향 미분값(gy)을 근거로 앞선 [수학식 1]에 따른 계수 행렬(Z)을 구성하는 각 원소를 산출한다. 여기서, 상기 계수 행렬(Z)은 가로와 세로 방향으로의 명암값 변화에 따른 자기 상관 함수 행렬이다.

일 예로, 상기 곱셈기(200)에 포함된 제 1 곱셈기(200)는 상기 미분기(100)로부터 산출된 제 1 미분값(gx482)을 두 개의 입력으로 하여 곱셈 연산을 수행하고, 상기 곱셈 연산 수행에 따른 제 1 출력값(예를 들어

)을 출력한다.

또한, 상기 곱셈기(200)에 포함된 제 2 곱셈기(200)는 상기 미분기(100)로부터 산출된 제 1 미분값(gx482)과 제 2 미분값(gy482)을 입력으로 하여 곱셈 연산을 수행하고, 상기 곱셈 연산 수행에 따른 제 2 출력값(예를 들어

)을 출력한다.

또한, 상기 곱셈기(200)에 포함된 제 3 곱셈기(200)는 상기 미분기(100)로부터 산출된 제 2 미분값(gy482)을 두 개의 입력으로 하여 곱셈 연산을 수행하고, 상기 곱셈 연산 수행에 따른 제 3 출력값(예를 들어

)을 출력한다(S920).

이후, 가우시안 필터(300)는 상기 곱셈기(200)로부터 출력되는 상기 계수 행렬에 포함되는 각 원소(또는 성분)에 가우시안 스무딩을 각각 적용하여 가중치가 적용된 계수 행렬(Zw)을 생성한다.

즉, 상기 가우시안 필터(300)는 상기 곱셈기(200)로부터 출력되는 상기 계수 행렬에 포함되는 복수의 원소에 미리 설정된 가중치(w)를 곱하여, 앞선 [수학식 2]로 표시되는 상기 가중치가 적용된 계수 행렬(Zw)을 생성한다.

일 예로, 상기 가우시안 필터(300)에 포함된 제 1 가우시안 필터(300)는 상기 제 1 곱셈기로부터 출력되는 제 1 출력값(예를 들어

)에 미리 설정된 가중치(w)를 곱하여, 제 1 가우시안 출력값(예를 들어

)을 출력한다.

또한, 상기 가우시안 필터(300)에 포함된 제 2 가우시안 필터(300)는 상기 제 2 곱셈기로부터 출력되는 제 2 출력값(예를 들어

)에 상기 미리 설정된 가중치(w)를 곱하여, 제 2 가우시안 출력값(예를 들어

)을 출력한다.

또한, 상기 가우시안 필터(300)에 포함된 제 3 가우시안 필터(300)는 상기 제 3 곱셈기로부터 출력되는 제 3 출력값(예를 들어

)에 상기 미리 설정된 가중치(w)를 곱하여, 제 3 가우시안 출력값(예를 들어

)을 출력한다.

또한, 상기 가우시안 필터(300)는 상기 제 1 가우시안 필터 내지 제 3 가우시안 필터로부터 각각 출력되는 제 1 가우시안 출력값 내지 제 3 가우시안 출력값을 이용해서, 상기 [수학식 2]로 표시되는 상기 가중치가 적용된 계수 행렬(Zw)을 생성한다(S930).

이후, 고윳값 계산부(400)는 상기 가우시안 필터(300)로부터 출력되는 가중치가 적용된 계수 행렬(Zw)에 대해 이차 방정식 형태의 고유 다항식을 생성한다.

를 변수 p라 하고, 상기

를 변수 r이라 하고, 상기

를 변수 q라 할 경우, 상기 가중치가 적용된 계수 행렬(Zw)에 대한 고유 다항식을 앞선 [수학식 3]으로 나타낼 수 있다.

일 예로, 상기 고윳값 계산부(400)는 상기 산출된 2×2 크기의 상기 가중치가 적용된 계수 행렬(Zw)에 포함된 복수의 원소에 대해서 이차 방정식 형태의 제 1 고유 다항식(예를 들어

)을 생성한다(S940).

이후, 상기 고윳값 계산부(400)는 상기 생성된 고유 다항식에 대해 근의 공식을 적용하여 복수의 고윳값(eigenvalue)을 산출한다.

일 예로, 상기 고윳값 계산부(400)는 상기 이차 방정식 형태의 제 1 고유 다항식(

)에 대해 근의 공식을 적용하여 제 1 고윳값(예를 들어

) 및 제 2 고윳값(예를 들어

)을 각각 산출한다.

또한, 상기 고윳값 계산부(400)는 상기 산출된 제 1 고윳값 및 제 2 고윳값 중에서 최솟값인 상기 제 1 고윳값을 선택한다(S950).

이후, 상기 고윳값 계산부(400)는 앞선 [수학식 4]와 같이, 상기 선택된 최솟값을 갖는 고윳값(또는 고윳값)을 미리 설정된 임계값(예를 들어 λ_TH)과 비교한다.

일 예로, 상기 고윳값 계산부(400)는 상기 선택된 최솟값을 갖는 제 1 고윳값(예를 들어

) 을 상기 미리 설정된 임계값(예를 들어 λ_TH)과 비교한다.

또한, 상기 비교 결과, 상기 제 1 고윳값이 상기 임계값보다 클 때, 상기 고윳값 계산부(400)는 상기 제 1 고윳값과 관련한 482번째 픽셀을 특징점 후보로 선정한다.

이와 같이, 상기 고윳값 계산부(400)는 상기 480×640 크기의 제 1 입력 영상에 포함된 307,200개의 픽셀에 대해서 특징점 후보 여부를 각각 판단하고, 100개의 특징점 후보를 포함하는 제 1 특징점 후보군을 선정한다(S960).

이후, 영상 경계 및 임계값 체크 처리부(500)는 상기 입력 영상의 미리 설정된 외곽 영역(또는 테두리 영역)에 대해 영상 경계 처리를 수행한다.

일 예로, 상기 영상 경계 및 임계값 체크 처리부(500)는 상기 선정된 제 1 특징점 후보군에 포함된 100개의 특징점 후보 중에서, 상기 480×640 크기의 제 1 입력 영상에서 미리 설정된 픽셀 수인 10 픽셀만큼의 테두리 영역에 포함된 30개의 특징점 후보를 제외하고 남은 70개의 특징점 후보를 포함하는 제 2 특징점 후보군을 선정한다(S970).

이후, 비최대 억제 처리부(600)는 상기 선정된 제 2 특징점 후보군에 포함된 복수의(또는 하나 이상의) 특징점 후보에 대해서, 고윳값 비교를 통해 근접 후보군을 제외한 복수의(또는 하나 이상의) 특징점 후보를 포함하는 제 3 특징점 후보군을 선정한다.

일 예로, 상기 비최대 억제 처리부(600)는 상기 제 2 특징점 후보군에 포함된 70개의 특징점 후보와 관련한 5×5 형태의 70개의 영역에 대해서, 각 영역별로 해당 영역에 포함된 특징점 후보의 고윳값과 해당 특징점 후보에 인접한 나머지 24개의 성분에 대한 고윳값을 비교한다.

또한, 상기 비최대 억제 처리부(600)는 상기 비교 결과를 근거로 상기 제 2 특징점 후보군에 포함된 70개의 특징점 후보 중에서 인접한 나머지 24개의 성분에 대한 고윳값보다 작은 고윳값을 갖는 20개의 특징점 후보를 제외하고 남은 50개의 특징점 후보를 포함하는 제 3 특징점 후보군을 선정한다(S980).

이후, 영역 체크 처리부(700)는 상기 선정된 제 3 특징점 후보군에 대해서 미리 설정된 크기의 연속된 다른 영역 내 특징점 후보군 중에서 중복 후보군을 제외하여 최종 특징점의 좌표를 출력한다.

즉, 상기 영역 체크 처리부(700)는 상기 입력 영상을 미리 설정된 크기의 연속된 다른 영역으로 분류(또는 구분)한다.

또한, 상기 영역 체크 처리부(700)는 상기 비최대 억제 처리부(600)로부터 출력되는 비최대 억제를 거친 복수의 특징점 후보와 복수의 인에이블 신호를 근거로 상기 분류된 연속된 다른 영역 내에서 가장 먼저 들어온 특징점에 대한 복수의 틱 신호를 각각 출력한다.

또한, 상기 영역 체크 처리부(700)는 상기 복수의 틱 신호에 대한 OR 연산을 수행한다.

또한, 상기 영역 체크 처리부(700)는 상기 복수의 틱 신호에 대한 OR 연산 결과 및 해당 복수의 특징점 후보와 관련한 위치 정보에 대한 AND 연산을 수행하여 최종 검출된 특징점의 좌표를 출력한다.

이와 같이, 상기 영역 체크 처리부(700)는 효과적인 선별을 하면서도 연산량(또는 계산량)과 메모리 액세스를 줄이기 위해서 상기 입력 영상을 일정 크기의 연속된 다른 영역으로 구분하고, 해당 다른 영역 내에서 가장 먼저 입력받은 특징점 후보를 해당 다른 영역과 관련한 특징점 검출 결과로 출력한다.

일 예로, 상기 영역 체크 처리부(700)는 상기 480×640 크기의 제 1 입력 영상을 미리 설정된 크기의 연속된 복수의 다른 영역으로 분류한다.

또한, 상기 영역 체크 처리부(700)는 상기 분류된 복수의 다른 영역 각각에 대해서, 상기 제 3 특징점 후보군에 포함된 50개의 특징점 후보에 대해서 해당 특징점 후보와 관련한 영역 내에서 가장 먼저 들어온 특징점에 대한 복수의 틱 신호를 각각 출력하고, 상기 출력된 복수의 틱 신호에 대한 OR 연산 기능을 수행하고, 상기 OR 연산 기능 수행 결과와 해당 특징점 후보와 관련한 위치 정보에 대해 AND을 수행하여, 상기 OR 연산 기능 수행 결과가 미리 설정된 값(예를 들어 '1')을 포함하는 경우 상기 특징점 후보와 관련한 위치 정보에 따라 해당 특징점의 좌표를 출력한다.

이와 같이, 상기 영역 체크 처리부(700)는 상기 제 3 특징점 후보군에 포함된 50개의 특징점 후보에 대한 중복 영역 제거를 통해, 도 6에 도시된 바와 같이, 총 48개의 특징점의 좌표를 각각 출력한다(S990).

본 발명의 실시예는 앞서 설명된 바와 같이, 입력 영상으로부터 추출된 이미지 패치에 가우시안 스무딩을 적용하고, 가우시안 스무딩이 적용된 계수 행렬에 대한 고유 다항식을 근거로 고윳값을 산출하고, 입력 영상에 대한 영상 경계 처리를 수행하여 특징점 후보군을 선정하고, 선정된 특징점 후보군에 대한 고윳값 비교를 통해 상기 선정된 특징점 후보군에서 근접 후보군을 제외하고, 근접 후보군이 제외된 특징점 후보군 중에서 중복 후보군을 제외하여 최종 특징점의 좌표를 출력하여, 객체 추적에서 우수한 성능을 보이는 Shi-Tomasi 알고리즘과 성능은 유사하면서도 복잡도를 줄이고 연산량을 감소시켜 전체적으로 운용 효율을 향상시킬 수 있다.

전술된 내용은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

10: 객체 추적을 위한 특징점 검출 장치 100: 미분기
200: 곱셈기 300: 가우시안 필터
400: 고윳값 계산부
500: 영상 경계 및 임계값 체크 처리부 600: 비최대 억제 처리부
700: 영역 체크 처리부 310: 복수의 레지스터
320: 복수의 라인 버퍼 330: 복수의 시프터
340: 가산 트리 710: 제어기
720: 복수의 영역 블록 처리부 730: OR 게이트
740: AND 게이트

Claims

입력 영상에서 x 방향과 y 방향으로의 명암차를 각각 계산하여 x 방향 미분값과 y 방향 미분값을 각각 산출하는 미분기;
상기 미분기로부터 산출된 x 방향 미분값과 y 방향 미분값을 근거로 계수 행렬에 해당하는 각 원소를 산출하는 곱셈기;
상기 곱셈기로부터 출력되는 상기 계수 행렬에 포함되는 각 원소에 가우시안 스무딩을 각각 적용하여 가중치가 적용된 계수 행렬을 생성하는 가우시안 필터;
상기 가중치가 적용된 계수 행렬을 근거로 이차 방정식 형태의 고유 다항식을 생성하고, 상기 생성된 고유 다항식에 대해 근의 공식을 적용하여 복수의 고윳값을 산출하고, 상기 산출된 복수의 고윳값 중에서 최솟값을 선택하고, 상기 선택된 최솟값을 갖는 고윳값을 미리 설정된 임계값과 비교하고, 상기 비교 결과, 상기 고윳값이 상기 임계값보다 클 때, 상기 고윳값과 관련한 픽셀을 특징점 후보로 포함하는 제 1 특징점 후보군을 선정하는 고윳값 계산부;
상기 입력 영상의 미리 설정된 외곽 영역에 대해 영상 경계 처리를 수행하여 제 2 특징점 후보군을 선정하는 영상 경계 및 임계값 체크 처리부;
상기 선정된 제 2 특징점 후보군에 포함된 복수의 특징점 후보에 대해서, 고윳값 비교를 통해 근접 후보군을 제외한 복수의 특징점 후보를 포함하는 제 3 특징점 후보군을 선정하는 비최대 억제 처리부; 및
상기 선정된 제 3 특징점 후보군에 대해서 미리 설정된 크기의 연속된 다른 영역 내 특징점 후보군 중에서 중복 후보군을 제외하여 최종 특징점의 좌표를 출력하는 영역 체크 처리부를 포함하고,
상기 영역 체크 처리부는,
상기 입력 영상을 미리 설정된 크기의 연속된 다른 영역으로 분류하는 제어기;
상기 비최대 억제 처리부로부터 출력되는 비최대 억제를 거친 복수의 특징점 후보와 상기 제어기로부터 출력되는 복수의 인에이블 신호를 근거로 상기 분류된 연속된 다른 영역 내에서 가장 먼저 들어온 특징점에 대한 복수의 틱 신호를 각각 출력하는 복수의 영역 블록 처리부;
상기 복수의 틱 신호에 대한 OR 연산을 수행하는 OR 게이트; 및
상기 복수의 틱 신호에 대한 OR 연산 결과 및 상기 복수의 특징점 후보와 관련한 위치 정보에 대한 AND 연산을 수행하여 최종 검출된 특징점의 좌표를 출력하는 AND 게이트를 포함하는 것을 특징으로 하는 객체 추적을 위한 특징점 검출 장치.
제 1 항에 있어서,
상기 미분기는,
상기 입력 영상으로부터 특정 픽셀에 대한 이미지 패치를 추출하고, 상기 추출된 이미지 패치를 x 방향과 y 방향으로 각각 미분하여 상기 이미지 패치에 대한 x 방향 미분값과 y 방향 미분값을 포함하는 복수의 미분값을 각각 산출하는 것을 특징으로 하는 객체 추적을 위한 특징점 검출 장치.
제 2 항에 있어서,
상기 미분기는,
상기 추출된 이미지 패치에 미리 설정된 소벨 필터를 적용하여 상기 이미지 패치에 대한 x 방향 미분값과 y 방향 미분값을 포함하는 복수의 미분값을 각각 산출하는 것을 특징으로 하는 객체 추적을 위한 특징점 검출 장치.
제 1 항에 있어서,
상기 곱셈기는,
상기 미분기로부터 산출된 x 방향 미분값을 두 개의 입력으로 하여 곱셈 연산을 수행하고, 상기 곱셈 연산 수행에 따른 제 1 출력값을 출력하고, 상기 미분기로부터 산출된 x 방향 미분값과 y 방향 미분값을 입력으로 하여 곱셈 연산을 수행하고, 상기 곱셈 연산 수행에 따른 제 2 출력값을 출력하고, 상기 미분기로부터 산출된 y 방향 미분값을 두 개의 입력으로 하여 곱셈 연산을 수행하고, 상기 곱셈 연산 수행에 따른 제 3 출력값을 출력하는 것을 특징으로 하는 객체 추적을 위한 특징점 검출 장치.
제 1 항에 있어서,
상기 가우시안 필터는,
상기 곱셈기로부터 출력되는 상기 계수 행렬에 포함되는 복수의 원소에 미리 설정된 가중치를 곱하여 상기 가중치가 적용된 계수 행렬을 생성하는 것을 특징으로 하는 객체 추적을 위한 특징점 검출 장치.
제 5 항에 있어서,
상기 가중치가 적용된 계수 행렬은,
다음의 수학식으로 표시되며,

여기서, 상기 Zw는 상기 가중치가 적용된 계수 행렬을 나타내고, 상기 w는 가중치를 나타내고, 상기
는 이미지 패치를 x 방향으로 미분한 값의 제곱을 나타내고, 상기
는 이미지 패치를 x 방향으로 미분한 값과 y 방향으로 미분한 값의 곱을 나타내고, 상기
는 이미지 패치를 y 방향으로 미분한 값의 제곱을 나타내는 것을 특징으로 하는 객체 추적을 위한 특징점 검출 장치.
제 6 항에 있어서,
상기 고윳값 계산부는,
상기 가중치가 적용된 2×2 크기의 계수 행렬에 포함된 복수의 원소에 대해서, 다음의 수학식으로 표시되는 고유 다항식을 생성하며,

여기서, 상기 변수 p는 상기
를 나타내고, 상기 변수 r은 상기
를 나타내고, 상기 변수 q는 상기
를 나타내는 것을 특징으로 하는 객체 추적을 위한 특징점 검출 장치.
제 1 항에 있어서,
상기 고윳값 계산부는,
상기 비교 결과, 상기 고윳값이 상기 임계값보다 작거나 같을 때, 상기 고윳값과 관련한 픽셀을 특징점 후보에서 제외하는 것을 특징으로 하는 객체 추적을 위한 특징점 검출 장치.
제 1 항에 있어서,
상기 영상 경계 및 임계값 체크 처리부는,
상기 선정된 복수의 특징점 후보를 포함하는 제 1 특징점 후보군 중에서, 상기 입력 영상에서 미리 설정된 픽셀 수만큼의 외곽 영역에 포함된 적어도 하나의 특징점 후보를 제외한 복수의 특징점 후보를 포함하는 제 2 특징점 후보군을 선정하는 것을 특징으로 하는 객체 추적을 위한 특징점 검출 장치.
제 1 항에 있어서,
상기 비최대 억제 처리부는,
미리 설정된 영역 내에 포함된 상기 제 2 특징점 후보군에 포함된 특징점 후보의 고윳값과 복수의 다른 성분 간의 고윳값을 비교하는 것을 특징으로 하는 객체 추적을 위한 특징점 검출 장치.
제 10 항에 있어서,
상기 비최대 억제 처리부는,
상기 비교 결과, 상기 영역 내에 포함된 특징점 후보의 고윳값이 상기 영역 내에 포함된 상기 특징점 후보에 인접한 복수의 다른 성분의 고윳값보다 모두 클 때, 상기 특징점 후보를 상기 제 3 특징점 후보군에 포함하는 것을 특징으로 하는 객체 추적을 위한 특징점 검출 장치.
제 10 항에 있어서,
상기 비최대 억제 처리부는,
상기 비교 결과, 상기 영역 내에 포함된 특징점 후보의 고윳값이 상기 영역 내에 포함된 상기 특징점 후보에 인접한 복수의 다른 성분의 고윳값보다 작은 경우가 있을 때, 상기 특징점 후보를 상기 제 3 특징점 후보군에서 제외하는 것을 특징으로 하는 객체 추적을 위한 특징점 검출 장치.
삭제
미분기에 의해, 입력 영상에서 x 방향과 y 방향으로의 명암차를 각각 계산하여 x 방향 미분값과 y 방향 미분값을 각각 산출하는 단계;
곱셈기에 의해, 상기 미분기로부터 산출된 x 방향 미분값과 y 방향 미분값을 근거로 계수 행렬에 해당하는 각 원소를 산출하는 단계;
가우시안 필터에 의해, 상기 곱셈기로부터 출력되는 상기 계수 행렬에 포함되는 각 원소에 가우시안 스무딩을 각각 적용하여 가중치가 적용된 계수 행렬을 생성하는 단계;
고윳값 계산부에 의해, 상기 가중치가 적용된 계수 행렬을 근거로 이차 방정식 형태의 고유 다항식을 생성하는 단계;
상기 고윳값 계산부에 의해, 상기 생성된 고유 다항식에 대해 근의 공식을 적용하여 복수의 고윳값을 산출하는 단계;
상기 고윳값 계산부에 의해, 상기 산출된 복수의 고윳값 중에서 최솟값을 선택하는 단계;
상기 고윳값 계산부에 의해, 상기 선택된 최솟값을 갖는 고윳값을 미리 설정된 임계값과 비교하는 단계;
상기 비교 결과, 상기 고윳값이 상기 임계값보다 클 때, 상기 고윳값 계산부에 의해, 상기 고윳값과 관련한 픽셀을 특징점 후보로 포함하는 제 1 특징점 후보군을 선정하는 단계;
영상 경계 및 임계값 체크 처리부에 의해, 상기 입력 영상의 미리 설정된 외곽 영역에 대해 영상 경계 처리를 수행하여 제 2 특징점 후보군을 선정하는 단계;
비최대 억제 처리부에 의해, 상기 선정된 제 2 특징점 후보군에 포함된 복수의 특징점 후보에 대해서, 고윳값 비교를 통해 근접 후보군을 제외한 복수의 특징점 후보를 포함하는 제 3 특징점 후보군을 선정하는 단계; 및
영역 체크 처리부에 의해, 상기 선정된 제 3 특징점 후보군에 대해서 미리 설정된 크기의 연속된 다른 영역 내 특징점 후보군 중에서 중복 후보군을 제외하여 최종 특징점의 좌표를 출력하는 단계를 포함하고,
상기 최종 특징점의 좌표를 출력하는 단계는,
상기 입력 영상을 미리 설정된 크기의 연속된 다른 영역으로 분류하는 과정;
상기 비최대 억제 처리부로부터 출력되는 비최대 억제를 거친 복수의 특징점 후보와 복수의 인에이블 신호를 근거로 상기 분류된 연속된 다른 영역 내에서 가장 먼저 들어온 특징점에 대한 복수의 틱 신호를 각각 출력하는 과정;
상기 복수의 틱 신호에 대한 OR 연산을 수행하는 과정; 및
상기 복수의 틱 신호에 대한 OR 연산 결과 및 상기 복수의 특징점 후보와 관련한 위치 정보에 대한 AND 연산을 수행하여 최종 검출된 특징점의 좌표를 출력하는 과정을 포함하는 것을 특징으로 하는 객체 추적을 위한 특징점 검출 방법.
제 14 항에 있어서,
상기 x 방향 미분값과 y 방향 미분값을 포함하는 각각 산출하는 단계는,
상기 입력 영상으로부터 특정 픽셀에 대한 이미지 패치를 추출하는 과정; 및
상기 추출된 이미지 패치를 x 방향과 y 방향으로 각각 미분하여 상기 이미지 패치에 대한 x 방향 미분값과 y 방향 미분값을 포함하는 복수의 미분값을 각각 산출하는 과정을 포함하는 것을 특징으로 하는 객체 추적을 위한 특징점 검출 방법.
제 14 항에 있어서,
상기 x 방향 미분값과 y 방향 미분값을 포함하는 각각 산출하는 단계는,
상기 입력 영상으로부터 특정 픽셀에 대한 이미지 패치를 추출하는 과정; 및
상기 추출된 이미지 패치에 미리 설정된 소벨 필터를 적용하여 상기 이미지 패치에 대한 x 방향 미분값과 y 방향 미분값을 포함하는 복수의 미분값을 각각 산출하는 과정을 포함하는 것을 특징으로 하는 객체 추적을 위한 특징점 검출 방법.
제 14 항에 있어서,
상기 계수 행렬에 해당하는 각 원소를 산출하는 단계는,
상기 미분기로부터 산출된 x 방향 미분값을 두 개의 입력으로 하여 곱셈 연산을 수행하고, 상기 곱셈 연산 수행에 따른 제 1 출력값을 출력하는 과정;
상기 미분기로부터 산출된 x 방향 미분값과 y 방향 미분값을 입력으로 하여 곱셈 연산을 수행하고, 상기 곱셈 연산 수행에 따른 제 2 출력값을 출력하는 과정; 및
상기 미분기로부터 산출된 y 방향 미분값을 두 개의 입력으로 하여 곱셈 연산을 수행하고, 상기 곱셈 연산 수행에 따른 제 3 출력값을 출력하는 과정을 포함하는 것을 특징으로 하는 객체 추적을 위한 특징점 검출 방법.
제 14 항에 있어서,
상기 가중치가 적용된 계수 행렬을 생성하는 단계는,
상기 곱셈기로부터 출력되는 상기 계수 행렬에 포함되는 복수의 원소에 미리 설정된 가중치를 곱하여 다음의 수학식으로 표시되는 상기 가중치가 적용된 계수 행렬을 생성하며,

여기서, 상기 Zw는 상기 가중치가 적용된 계수 행렬을 나타내고, 상기 w는 가중치를 나타내고, 상기
는 이미지 패치를 x 방향으로 미분한 값의 제곱을 나타내고, 상기
는 이미지 패치를 x 방향으로 미분한 값과 y 방향으로 미분한 값의 곱을 나타내고, 상기
는 이미지 패치를 y 방향으로 미분한 값의 제곱을 나타내는 것을 특징으로 하는 객체 추적을 위한 특징점 검출 방법.
제 18 항에 있어서,
상기 고유 다항식을 생성하는 단계는,
상기 가중치가 적용된 2×2 크기의 계수 행렬에 포함된 복수의 원소에 대해서, 다음의 수학식으로 표시되는 고유 다항식을 생성하며,

여기서, 상기 변수 p는 상기
를 나타내고, 상기 변수 r은 상기
를 나타내고, 상기 변수 q는 상기
를 나타내는 것을 특징으로 하는 객체 추적을 위한 특징점 검출 방법.
제 14 항에 있어서,
상기 비교 결과, 상기 고윳값이 상기 임계값보다 작거나 같을 때, 상기 고윳값 계산부에 의해, 상기 고윳값과 관련한 픽셀을 특징점 후보에서 제외하는 단계를 더 포함하는 것을 특징으로 하는 객체 추적을 위한 특징점 검출 방법.
제 14 항에 있어서,
상기 입력 영상의 미리 설정된 외곽 영역에 대해 영상 경계 처리를 수행하여 제 2 특징점 후보군을 선정하는 단계는,
상기 선정된 복수의 특징점 후보를 포함하는 제 1 특징점 후보군 중에서, 상기 입력 영상에서 미리 설정된 픽셀 수만큼의 외곽 영역에 포함된 적어도 하나의 특징점 후보를 제외한 복수의 특징점 후보를 포함하는 제 2 특징점 후보군을 선정하는 것을 특징으로 하는 객체 추적을 위한 특징점 검출 방법.
제 14 항에 있어서,
상기 제 3 특징점 후보군을 선정하는 단계는,
미리 설정된 영역 내에 포함된 상기 제 2 특징점 후보군에 포함된 특징점 후보의 고윳값과 복수의 다른 성분 간의 고윳값을 비교하는 과정;
상기 비교 결과, 상기 영역 내에 포함된 특징점 후보의 고윳값이 상기 영역 내에 포함된 상기 특징점 후보에 인접한 복수의 다른 성분의 고윳값보다 모두 클 때, 상기 특징점 후보를 상기 제 3 특징점 후보군에 포함하는 과정; 및
상기 비교 결과, 상기 영역 내에 포함된 특징점 후보의 고윳값이 상기 영역 내에 포함된 상기 특징점 후보에 인접한 복수의 다른 성분의 고윳값보다 작은 경우가 있을 때, 상기 특징점 후보를 상기 제 3 특징점 후보군에서 제외하는 과정을 포함하는 것을 특징으로 하는 객체 추적을 위한 특징점 검출 방법.
삭제
입력 영상에서 x 방향과 y 방향으로의 명암차를 각각 계산하여 복수의 미분값을 산출하는 미분기;
상기 미분기로부터 산출된 복수의 미분값을 근거로 계수 행렬에 해당하는 각 원소를 산출하는 곱셈기;
상기 곱셈기로부터 출력되는 상기 계수 행렬에 포함되는 각 원소에 가우시안 스무딩을 각각 적용하여 가중치가 적용된 계수 행렬을 생성하는 가우시안 필터;
상기 가중치가 적용된 계수 행렬을 근거로 고윳값을 산출하고, 상기 고윳값이 임계값 보다 큰 경우에 해당하는 픽셀을 특징점 후보로 포함하는 제 1 특징점 후보군을 선정하는 고윳값 계산부;
상기 입력 영상의 미리 설정된 외곽 영역에 대해 영상 경계 처리를 수행하여 제 2 특징점 후보군을 선정하는 영상 경계 및 임계값 체크 처리부;
상기 선정된 제 2 특징점 후보군에 포함된 복수의 특징점 후보에 대해서, 고윳값 비교를 통해 근접 후보군을 제외한 복수의 특징점 후보를 포함하는 제 3 특징점 후보군을 선정하는 비최대 억제 처리부; 및
상기 선정된 제 3 특징점 후보군에 대해서 미리 설정된 크기의 연속된 다른 영역 내 특징점 후보군 중에서 중복 후보군을 제외하여 최종 특징점의 좌표를 출력하는 영역 체크 처리부를 포함하고,
상기 영역 체크 처리부는,
상기 입력 영상을 미리 설정된 크기의 연속된 다른 영역으로 분류하는 제어기;
상기 비최대 억제 처리부로부터 출력되는 비최대 억제를 거친 복수의 특징점 후보와 상기 제어기로부터 출력되는 복수의 인에이블 신호를 근거로 상기 분류된 연속된 다른 영역 내에서 가장 먼저 들어온 특징점에 대한 복수의 틱 신호를 각각 출력하는 복수의 영역 블록 처리부;
상기 복수의 틱 신호에 대한 OR 연산을 수행하는 OR 게이트; 및
상기 복수의 틱 신호에 대한 OR 연산 결과 및 상기 복수의 특징점 후보와 관련한 위치 정보에 대한 AND 연산을 수행하여 최종 검출된 특징점의 좌표를 출력하는 AND 게이트를 포함하는 객체 추적을 위한 특징점 검출 장치.
제 24 항에 있어서,
상기 미분기는,
상기 입력 영상으로부터 특정 픽셀에 대한 이미지 패치를 추출하고, 상기 추출된 이미지 패치를 x 방향과 y 방향으로 각각 미분하여 상기 이미지 패치에 대한 x 방향 미분값과 y 방향 미분값을 포함하는 복수의 미분값을 각각 산출하는 것을 특징으로 하는 객체 추적을 위한 특징점 검출 장치.
제 24 항에 있어서,
상기 미분기는,
상기 입력 영상으로부터 특정 픽셀에 대한 이미지 패치를 추출하고, 상기 추출된 이미지 패치에 미리 설정된 소벨 필터를 적용하여 상기 복수의 미분값을 산출하는 것을 특징으로 하는 객체 추적을 위한 특징점 검출 장치.
제 24 항에 있어서,
상기 곱셈기는,
상기 미분기로부터 산출된 복수의 미분값 간의 곱셈 연산을 통해 상기 계수 행렬에 해당하는 각 원소를 산출하는 것을 특징으로 하는 객체 추적을 위한 특징점 검출 장치.
제 24 항에 있어서,
상기 가우시안 필터는,
상기 곱셈기로부터 출력되는 상기 계수 행렬에 포함되는 복수의 원소에 미리 설정된 가중치를 곱하여 상기 가중치가 적용된 계수 행렬을 생성하는 것을 특징으로 하는 객체 추적을 위한 특징점 검출 장치.
제 24 항에 있어서,
상기 고윳값 계산부는,
상기 가중치가 적용된 계수 행렬을 근거로 이차 방정식 형태의 고유 다항식을 생성하고, 상기 생성된 고유 다항식에 대해 근의 공식을 적용하여 복수의 고윳값을 산출하고, 상기 산출된 복수의 고윳값 중에서 최솟값을 선택하고, 상기 선택된 최솟값을 갖는 고윳값을 미리 설정된 임계값과 비교하고, 상기 비교 결과, 상기 고윳값이 상기 임계값보다 클 때, 상기 고윳값과 관련한 픽셀을 특징점 후보로 포함하는 제 1 특징점 후보군을 선정하는 것을 특징으로 하는 객체 추적을 위한 특징점 검출 장치.
제 29 항에 있어서,
상기 고윳값 계산부는,
상기 비교 결과, 상기 고윳값이 상기 임계값보다 작거나 같을 때, 상기 고윳값과 관련한 픽셀을 특징점 후보에서 제외하는 것을 특징으로 하는 객체 추적을 위한 특징점 검출 장치.
제 24 항에 있어서,
상기 영상 경계 및 임계값 체크 처리부는,
상기 선정된 복수의 특징점 후보를 포함하는 제 1 특징점 후보군 중에서, 상기 입력 영상에서 미리 설정된 픽셀 수만큼의 외곽 영역에 포함된 적어도 하나의 특징점 후보를 제외한 복수의 특징점 후보를 포함하는 제 2 특징점 후보군을 선정하는 것을 특징으로 하는 객체 추적을 위한 특징점 검출 장치.
제 24 항에 있어서,
상기 비최대 억제 처리부는,
미리 설정된 영역 내에 포함된 상기 제 2 특징점 후보군에 포함된 특징점 후보의 고윳값과 복수의 다른 성분 간의 고윳값을 비교하는 것을 특징으로 하는 객체 추적을 위한 특징점 검출 장치.
제 32 항에 있어서,
상기 비최대 억제 처리부는,
상기 비교 결과, 상기 영역 내에 포함된 특징점 후보의 고윳값이 상기 영역 내에 포함된 상기 특징점 후보에 인접한 복수의 다른 성분의 고윳값보다 모두 클 때, 상기 특징점 후보를 상기 제 3 특징점 후보군에 포함하는 것을 특징으로 하는 객체 추적을 위한 특징점 검출 장치.
제 32 항에 있어서,
상기 비교 결과, 상기 영역 내에 포함된 특징점 후보의 고윳값이 상기 영역 내에 포함된 상기 특징점 후보에 인접한 복수의 다른 성분의 고윳값보다 작은 경우가 있을 때, 상기 특징점 후보를 상기 제 3 특징점 후보군에서 제외하는 것을 특징으로 하는 객체 추적을 위한 특징점 검출 장치.
삭제
미분기에 의해, 입력 영상에서 x 방향과 y 방향으로의 명암차를 각각 계산하여 복수의 미분값을 산출하는 단계;
곱셈기에 의해, 상기 미분기로부터 산출된 복수의 미분값을 근거로 계수 행렬에 해당하는 각 원소를 산출하는 단계;
가우시안 필터에 의해, 상기 곱셈기로부터 출력되는 상기 계수 행렬에 포함되는 각 원소에 가우시안 스무딩을 각각 적용하여 가중치가 적용된 계수 행렬을 생성하는 단계;
고윳값 계산부에 의해, 상기 가중치가 적용된 계수 행렬을 근거로 고윳값을 산출하고, 상기 고윳값이 임계값보다 큰 경우에 해당하는 픽셀을 특징점 후보로 포함하는 제 1 특징점 후보군을 선정하는 단계;
영상 경계 및 임계값 체크 처리부에 의해, 상기 입력 영상의 미리 설정된 외곽 영역에 대해 영상 경계 처리를 수행하여 제 2 특징점 후보군을 선정하는 단계;
비최대 억제 처리부에 의해, 상기 선정된 제 2 특징점 후보군에 포함된 복수의 특징점 후보에 대해서, 고윳값 비교를 통해 근접 후보군을 제외한 복수의 특징점 후보를 포함하는 제 3 특징점 후보군을 선정하는 단계; 및
영역 체크 처리부에 의해, 상기 선정된 제 3 특징점 후보군에 대해서 미리 설정된 크기의 연속된 다른 영역 내 특징점 후보군 중에서 중복 후보군을 제외하여 최종 특징점의 좌표를 출력하는 단계를 포함하고,
상기 최종 특징점의 좌표를 출력하는 단계는,
상기 입력 영상을 미리 설정된 크기의 연속된 다른 영역으로 분류하는 과정;
상기 비최대 억제 처리부로부터 출력되는 비최대 억제를 거친 복수의 특징점 후보와 복수의 인에이블 신호를 근거로 상기 분류된 연속된 다른 영역 내에서 가장 먼저 들어온 특징점에 대한 복수의 틱 신호를 각각 출력하는 과정;
상기 복수의 틱 신호에 대한 OR 연산을 수행하는 과정; 및
상기 복수의 틱 신호에 대한 OR 연산 결과 및 상기 복수의 특징점 후보와 관련한 위치 정보에 대한 AND 연산을 수행하여 최종 검출된 특징점의 좌표를 출력하는 과정을 포함하는 객체 추적을 위한 특징점 검출 방법.
제 36 항에 있어서,
상기 복수의 미분값을 산출하는 단계는,
상기 입력 영상으로부터 특정 픽셀에 대한 이미지 패치를 추출하는 과정; 및
상기 추출된 이미지 패치를 x 방향과 y 방향으로 각각 미분하여 상기 이미지 패치에 대한 x 방향 미분값과 y 방향 미분값을 포함하는 복수의 미분값을 각각 산출하는 과정을 포함하는 것을 특징으로 하는 객체 추적을 위한 특징점 검출 방법.
제 36 항에 있어서,
상기 복수의 미분값을 산출하는 단계는,
상기 입력 영상으로부터 특정 픽셀에 대한 이미지 패치를 추출하는 과정; 및
상기 추출된 이미지 패치에 미리 설정된 소벨 필터를 적용하여 상기 복수의 미분값을 산출하는 과정을 포함하는 것을 특징으로 하는 객체 추적을 위한 특징점 검출 방법.
제 36 항에 있어서,
상기 계수 행렬에 해당하는 각 원소를 산출하는 단계는,
상기 미분기로부터 산출된 복수의 미분값 간의 곱셈 연산을 통해 상기 계수 행렬에 해당하는 각 원소를 산출하는 것을 특징으로 하는 객체 추적을 위한 특징점 검출 방법.
제 36 항에 있어서,
상기 가중치가 적용된 계수 행렬을 생성하는 단계는,
상기 곱셈기로부터 출력되는 상기 계수 행렬에 포함되는 복수의 원소에 미리 설정된 가중치를 곱하여 상기 가중치가 적용된 계수 행렬을 생성하는 것을 특징으로 하는 객체 추적을 위한 특징점 검출 방법.
제 36 항에 있어서,
상기 제 1 특징점 후보군을 선정하는 단계는,
상기 가중치가 적용된 계수 행렬을 근거로 이차 방정식 형태의 고유 다항식을 생성하는 과정;
상기 생성된 고유 다항식에 대해 근의 공식을 적용하여 복수의 고윳값을 산출하는 과정;
상기 산출된 복수의 고윳값 중에서 최솟값을 선택하는 과정;
상기 선택된 최솟값을 갖는 고윳값을 미리 설정된 임계값과 비교하는 과정; 및
상기 비교 결과, 상기 고윳값이 상기 임계값보다 클 때, 상기 고윳값 계산부에 의해, 상기 고윳값과 관련한 픽셀을 특징점 후보로 포함하는 제 1 특징점 후보군을 선정하는 과정을 포함하는 것을 특징으로 하는 객체 추적을 위한 특징점 검출 방법.
제 41 항에 있어서,
상기 제 1 특징점 후보군을 선정하는 단계는,
상기 비교 결과, 상기 고윳값이 상기 임계값보다 작거나 같을 때, 상기 고윳값 계산부에 의해, 상기 고윳값과 관련한 픽셀을 특징점 후보에서 제외하는 과정을 더 포함하는 것을 특징으로 하는 객체 추적을 위한 특징점 검출 방법.
제 36 항에 있어서,
상기 제 2 특징점 후보군을 선정하는 단계는,
상기 선정된 복수의 특징점 후보를 포함하는 제 1 특징점 후보군 중에서, 상기 입력 영상에서 미리 설정된 픽셀 수만큼의 외곽 영역에 포함된 적어도 하나의 특징점 후보를 제외한 복수의 특징점 후보를 포함하는 제 2 특징점 후보군을 선정하는 것을 특징으로 하는 객체 추적을 위한 특징점 검출 방법.
제 36 항에 있어서,
상기 제 3 특징점 후보군을 선정하는 단계는,
미리 설정된 영역 내에 포함된 상기 제 2 특징점 후보군에 포함된 특징점 후보의 고윳값과 복수의 다른 성분 간의 고윳값을 비교하는 과정; 및
상기 비교 결과, 상기 영역 내에 포함된 특징점 후보의 고윳값이 상기 영역 내에 포함된 상기 특징점 후보에 인접한 복수의 다른 성분의 고윳값보다 모두 클 때, 상기 특징점 후보를 상기 제 3 특징점 후보군에 포함하는 과정을 포함하는 것을 특징으로 하는 객체 추적을 위한 특징점 검출 방법.
삭제