KR102018773B1

KR102018773B1 - Ａｋｂｉｎｇ을 이용한 영상의 객체 후보 검출 장치 및 방법

Info

Publication number: KR102018773B1
Application number: KR1020180008043A
Authority: KR
Inventors: 김은태; 백정현
Original assignee: 연세대학교 산학협력단
Priority date: 2018-01-23
Filing date: 2018-01-23
Publication date: 2019-09-05
Also published as: KR20190089489A

Abstract

본 발명은 AK SVM의 출력을 이진 벡터들의 연산으로 근사화시키고, 이러한 AK SVM을 BING에 적용시켜 입력 영상에서 객체 후보를 검출하는 객체 후보 검출 장치 및 방법을 제안한다. 본 발명에 따른 장치는 입력 영상으로부터 얻은 NG 특징 맵과 관련된 화소들의 NG 값들과 기준값을 연산하여 얻은 근사값들을 기초로 화소들에 대하여 인덱스 정보들을 산출하는 인덱스 정보 산출부; 화소들 중에서 기준 화소가 선택될 때마다 기준 화소의 인덱스 정보를 기초로 기준 화소에 인접하는 인접 화소의 인덱스 정보를 갱신하는 인덱스 정보 갱신부; 및 화소들의 인덱스 정보들이 갱신되면 화소들 중에서 선택된 제1 화소와 관련된 제1 벡터 및 화소들 중에서 선택된 제2 화소와 관련된 제2 벡터 사이의 내적을 기초로 입력 영상에서 적어도 하나의 객체 후보를 검출하는 객체 후보 검출부를 포함한다.

Description

ＡＫＢＩＮＧ을 이용한 영상의 객체 후보 검출 장치 및 방법 {Apparatus and method for detecting object candidate of image using Additive Kernel BING}

본 발명은 객체 후보를 검출하는 장치 및 방법에 관한 것이다. 보다 상세하게는, 영상에서 객체 후보를 검출하는 장치 및 방법에 관한 것이다.

BING(Binarized Normed Gradients)은 영상 기반 후보군 제안 방법들 중 하나로, 모든 영역의 후보군들에 점수를 부여하여, 높은 점수의 후보군을 최종 후보군으로 제안하는 방법을 말한다.

BING은 엣지 정보를 담고 있는 NG(Normed Gradients) 특징을 기반으로 선형(linear) SVM(Support Vector Machine)을 이용하여 점수를 매긴다. 이러한 BING은 특징을 추출하고 점수를 연산하는 모든 과정을 원자 조작을 이용한 연산으로 근사화를 했기 때문에 빠른 속도로 처리가 가능한 잇점이 있다.

그런데 BING에 선형 SVM 대신 커널(kernel) SVM을 적용하면 BING의 정확도도 향상시킬 수가 있다. 그러나 커널 SVM은 각 입력 데이터마다 서포트 벡터(support vector)와의 연산이 필요하기 때문에 연산 시간이 오래 걸리는 문제점이 있다.

한국등록특허 제1,569,411호 (공고일 : 2015.11.27.)

본 발명은 상기한 문제점을 해결하기 위해 안출된 것으로서, AK(Additive Kernel) SVM(Support Vector Machine)의 출력을 이진 벡터들의 연산으로 근사화시키고, 이러한 AK SVM을 BING(Binarized Normed Gradients)에 적용시켜 입력 영상에서 객체 후보를 검출하는 객체 후보 검출 장치 및 방법을 제안하는 것을 목적으로 한다.

그러나 본 발명의 목적은 상기에 언급된 사항으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

본 발명은 상기한 목적을 달성하기 위해 안출된 것으로서, 입력 영상으로부터 얻은 NG(Normed Gradient) 특징 맵(feature map)과 관련된 화소들의 NG 값들과 기준값을 연산하여 얻은 근사값들을 기초로 상기 화소들에 대하여 인덱스 정보들을 산출하는 인덱스 정보 산출부; 상기 화소들 중에서 기준 화소가 선택될 때마다 상기 기준 화소의 인덱스 정보를 기초로 상기 기준 화소에 인접하는 인접 화소의 인덱스 정보를 갱신하는 인덱스 정보 갱신부; 및 상기 화소들의 인덱스 정보들이 갱신되면 상기 화소들 중에서 선택된 제1 화소와 관련된 제1 벡터 및 상기 화소들 중에서 선택된 제2 화소와 관련된 제2 벡터 사이의 내적을 기초로 상기 입력 영상에서 적어도 하나의 객체 후보(object candidate)를 검출하는 객체 후보 검출부를 포함하는 것을 특징으로 하는 영상의 객체 후보 검출 장치를 제안한다.

또한 본 발명은 입력 영상으로부터 얻은 NG(Normed Gradient) 특징 맵(feature map)과 관련된 화소들의 NG 값들과 기준값을 연산하여 얻은 근사값들을 기초로 상기 화소들에 대하여 인덱스 정보들을 산출하는 단계; 상기 화소들 중에서 기준 화소가 선택될 때마다 상기 기준 화소의 인덱스 정보를 기초로 상기 기준 화소에 인접하는 인접 화소의 인덱스 정보를 갱신하는 단계; 및 상기 화소들의 인덱스 정보들이 갱신되면 상기 화소들 중에서 선택된 제1 화소와 관련된 제1 벡터 및 상기 화소들 중에서 선택된 제2 화소와 관련된 제2 벡터 사이의 내적을 기초로 상기 입력 영상에서 적어도 하나의 객체 후보(object candidate)를 검출하는 단계를 포함하는 것을 특징으로 하는 영상의 객체 후보 검출 방법을 제안한다.

본 발명은 상기한 목적 달성을 위한 구성들을 통하여 다음과 같은 효과를 얻을 수 있다.

첫째, 영상에서 후보군을 선출할 때에 처리 속도와 정확도를 동시에 향상시킬 수 있다.

둘째, 본 발명을 ADAS(Advanced Driver Assistance System)에 적용할 경우 차량이 빠르고 정확하게 보행자를 인식할 수 있으며, 이에 따른 차량 사고를 감축시킬 수 있다.

도 1은 룩업 테이블을 이용한 테이블 연산을 보여주는 예시도이다.
도 2 및 도 3은 룩업 테이블을 이용한 테이블 연산에 가중치를 반영하여 근사화시켜 입력값에 대한 출력값을 구하는 과정을 보여주는 예시도들이다.
도 4 내지 도 6은 W × H 크기를 가지는 NG 특징 맵을 이용하여 i_x,y와 R_x,y를 업데이트하는 과정을 보여주는 예시도들이다
도 7은 본 발명의 바람직한 실시예에 따른 객체 후보 검출 장치의 내부 구성을 개략적으로 도시한 개념도이다.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.

기존의 영상 기반 후보군 제안 방법은 NG(Normed Gradients) 특징을 기반으로 선형(linear) SVM(Support Vector Machine)을 이용하여 산출된 점수를 토대로 후보군을 제안한다. 여기서 NG는 그래디언트(gradient)의 유클리디언 놈(Euclidean norm)을 의미한다. 그러나 이러한 방법은 정확도가 다소 떨어지는 문제점이 있다.

본 발명에서는 빠른 처리 속도와 함께 높은 정확도를 얻기 위해 BING(Binarized Normed Gradients)에 애디티브 커널(additive kernel) SVM을 적용시킨 AKBING(Additive Kernel Binarized Normed Gradients) 알고리즘을 제안한다.

AK SVM을 이용하면 커널을 이용한 성능의 우수성을 지니면서 빠른 연산이 가능하다. 본 발명에서 제안하는 알고리즘은 선형 SVM보다 강인한 성능을 보이는 AK SVM을 BING에 적용함으로써 BING의 빠른 처리 속도를 유지하면서 유효한 후보군을 효과적으로 선출(정확도 향상)하는 것이 가능해진다.

이하 도면들을 참조하여 본 발명(AKBING을 이용한 후보군 제안)을 자세하게 설명한다.

SVM은 강인한 성능을 가진 이진 분류기로서, 많은 분야에서 다양하게 쓰이고 있다. 기존의 선형 SVM은 각 클래스 사이의 마진(margin)을 최대화하는 초평면(hyperplane)을 구하는 문제로 볼 수 있다.

하지만 선형 SVM의 경우 비선형 데이터에 대해서는 성능이 저하된다는 단점이 있다. 이를 해결하기 위해 커널을 이용한 커널 SVM이 제안되었다. 커널 SVM의 경우, 최적화 문제는 훈련용 데이터 세트(training dataset)를 기초로 다음 수학식 1과 같이 나타낼 수 있다.

먼저 훈련용 데이터 세트는 다음과 같이 나타낼 수 있다.

S = {(g⁽ⁱ⁾, y⁽ⁱ⁾)}_i=1 ^L

상기에서 g⁽ⁱ⁾와 y⁽ⁱ⁾는 훈련 데이터로서, g⁽ⁱ⁾ = [g₁ ⁽ⁱ⁾, g₂ ⁽ⁱ⁾, …, g_N ⁽ⁱ⁾]^T ∈ R^N이며 y⁽ⁱ⁾ ∈ {-1, +1}이다. i는 인덱스를 의미하며, L은 입력 데이터의 개수를 의미한다.

최적화 문제는 이러한 훈련용 데이터 세트를 기초로 다음과 같이 나타낼 수 있다.

위 최적화 식에서 K는 커널 행렬을 의미한다. K는 다음과 같이 수식으로 나타낼 수 있다.

K_i,j = κ(g⁽ⁱ⁾, g^(j)) = φ(g⁽ⁱ⁾)·φ(g^(j)) ∈ R

또한 α는 커널(Kernel) SVM에 대한 최적화에 이용되는 이중 변수(dual variable)을 의미한다. 위 최적화의 결과로 α는 다음과 같이 산출된다.

α = [α⁽¹⁾, α⁽²⁾, …, α^(L)]^T ∈ R

커널 SVM의 분류식은 위의 α를 가지고 다음 수학식 2와 같이 나타낼 수 있다.

상기에서 b는 바이어스(bias)를 의미하며, b ∈ R이다. 또한 κ는 커널 트릭(kernel trick)을 의미한다.

수학식 2에서 확인할 수 있는 바와 같이, 커널 SVM은 선형 SVM과 달리 테스트 샘플 하나 분류시 모든 트레이닝 데이터와의 커널 연산이 필요하다. 따라서 커널 SVM은 모든 트레이닝 데이터를 지니고 다녀야 하는 문제점이 있으며, 위와 같은 이유로 매 샘플 분류시 테스팅 시간과 연산이 오래 걸린다는 단점도 지닌다.

애디티브 커널(additive kernel)은 이러한 연산적인 문제점을 해결하기 위해 제안된 것이다. 애디티브 커널은 다음 수학식 3과 같이 커널의 값이 데이터의 차원별 커널값의 합으로 이루어진 커널을 의미한다.

상기에서 κ_n(g_n, z_n)은 각 차원의 커널값을 의미한다. g와 z는 각각 다음과 같이 나타낼 수 있다.

g = {g₁, g₂, …, g_N} ∈ R^N

z = {z₁, z₂, …, z_N} ∈ R^N

상기에서 N은 커널의 개수를 의미한다.

애디티브 커널의 가장 큰 장점은 테스팅 분류 과정에 필요한 연산량을 테이블을 이용하여 매우 간단한 연산으로 줄일 수 있다는 점이다. 커널 SVM의 분류식은 애디티브 커널의 특성을 이용하여 다음 수학식 4와 같이 차원별 1차원 함수값의 합으로 변환될 수 있다.

수학식 4에서 확인할 수 있는 바와 같이, 1차원 함수 h_n(g_n)은 커널 SVM 최적화의 결과로 나온 α, 트레이닝 데이터 g⁽ⁱ⁾와 y⁽ⁱ⁾ 등으로 구성되기 때문에, 미리 모든 입력에 대한 출력값들을 테이블로 만들어 테스트 시에 사용할 수 있다.

즉, 각 차원마다의 1차원 함수 h_n(g_n)에 대한 출력값들을 표로 만들어 놓으면, 테스트로 들어온 값에 대해 따로 출력값을 계산할 필요 없이 입력값에 해당하는 테이블 값으로 간단하게 출력값을 구할 수 있다.

도 1은 룩업 테이블(LUT)을 이용한 테이블 연산을 보여주는 예시도이다. 도 1은 테이블 연산(LUT_n(g_n))을 통해 입력값(g_n)에 대한 출력값(h_n(g_n))을 구하는 과정을 나타낸 것이다.

g = [g₁, g₂, …, g₆₄] ∈ [0, 255]⁶⁴

BING의 경우 위의 수식에서 보는 바와 같이 64차원의 NG 특징들을 사용하는데, AK SVM을 이용하면 하나의 후보군마다 64번의 테이블 연산이 반복되어야 한다. 이를 효율적으로 바꾸기 위해서는 테이블 연산을 간소화시키는 과정이 필요하다.

본 발명에서는 해당 입력값에 대한 출력값을 가져오는 테이블 연산에 가중치(weight)를 곱하는 형태로 근사화시킨다. 도 2 및 도 3은 룩업 테이블을 이용한 테이블 연산에 가중치를 반영하여 근사화시켜 입력값에 대한 출력값을 구하는 과정을 보여주는 예시도들이다.

도 2는 테이블 값을 8개의 값으로 근사화시킨 경우의 예시이다. 도 2에서 도면부호 110은 LUT_n을 의미하며, 도면부호 120은 근사화된 LUT_n을 의미한다. 도 2에서 볼 수 있듯이 테이블이 완만한 곡선 형태를 가지기 때문에 8개의 값으로도 적은 오차로 근사화시킬 수 있다. 테이블 LUT_n을 8개의 값으로 근사화시킨 것을 LUT8_n이라 할 때, 근사화된 테이블을 통한 연산은 다음 수학식 5에 기재된 바와 같이 8개의 벡터끼리의 내적 형태로 바꿀 수 있다.

상기에서 g_n은 n차원 NG 특징(nth dimension NG value)을 의미하며, xi_n은 이진 인덱스 벡터(binarized index vector)를 의미한다. xi_n은 다음 수학식 6과 같이 정의된다.

상기에서 ┗ ┛는 바닥 함수(floor function)을 의미한다. 도 3은 <LUT8_n,xi_n>을 이용하여 h_n(g_n)을 구하는 과정을 보여주고 있다.

NG 특징들은 앞서 설명한 바와 같이 모두 64차원이기 때문에, 64개의 근사화된 테이블과 이진 인덱스 벡터를 다음 수학식 7에 기재된 바와 같이 하나의 벡터로 연결시킬 수 있다.

그리고 AK SVM의 출력은 다음 수학식 8과 같이 근사화시킬 수 있다.

원자 조작(atomic operation)의 빠른 연산 효과를 얻기 위해 LUT를 이진 벡터의 선형 조합으로 근사화시키면 다음 수학식 9와 같다.

상기에서 N_L은 이진 벡터의 개수를 의미하며, N_L ≤ 512이다. a_Lj는 j번째 이진 벡터로 a_Lj ∈ {-1, 1}⁵¹²이며, β_Lj는 각 이진 벡터에 해당하는 상수를 의미한다.

수학식 9의 LUT를 수학식 8에 대입하면 다음 수학식 10과 같다.

상기에서 XI는 XI = [xi₁, xi₂, …, xi₆₃, xi₆₄]이며, 각 차원마다 하나의 1을 가지고 있다. 따라서 |XI|는 입력 데이터 g에 상관 없이 항상 64로 동일하다.

또한 a_Lj ⁺는 a_Lj ⁺ ∈ {1, 0}⁵¹²이며, 다음 수학식 11을 통해 구할 수 있다.

최종적인 AK BING에 대한 출력값 계산식은 다음 수학식 11과 같다.

상기에서 N_w는 이진 벡터의 개수를 의미하며, N_w ≤ 64이다.

<a_Lj ⁺, XI>는 이진 벡터들끼리의 연산이기 때문에 원자 조작 연산으로 빠른 연산이 가능하다. 또한 수학식 12에서 입력으로 들어가는 XI도 이진 벡터를 이용한 원자 조작 즉 비트 시프트(bitwise shift)를 이용하여 효율적으로 빠르게 추출할 수 있다.

도 4 내지 도 6은 W × H 크기를 가지는 NG 특징 맵(g^W×H)을 이용하여 i_x,y와 R_x,y를 업데이트하는 과정을 보여주는 예시도들이다. 여기서 i_x,y는 각각의 xi_n을 의미하며, R_x,y는 각 i_x,y에 인접하는 8개의 xi_n들의 집합(collection)을 의미한다. 일례로 R_x,y는 [xi₁, xi₂, …, xi₇, xi₈], [xi₉, xi₁₀, …, xi₁₅, xi₁₆] 등과 같이 나타낼 수 있다.

첫번째 픽셀이 g_1,1 = 133일 때, NG 값은 수학식 6을 토대로 계산할 때 8개의 근사화 값들(도 2 및 도 3 참조) 중에서 좌측에서 다섯번째 값(fifth interval)에 해당하므로, xi₁ = [0 0 0 0 1 0 0 0]으로 인코딩된다. 마찬가지로 다음 픽셀이 g_2,1 = 97일 때, NG 값은 8개의 근사화 값들 중에서 좌측에서 네번째 값(fourth interval)에 해당하므로, xi₂ = [0 0 0 1 0 0 0 0]으로 인코딩된다.

루프 계산(loop computation)을 피하기 위해, 동일 열(row)에서 인접하는 8개의 LUT 인덱스들([xi₁, xi₂, …, xi₇, xi₈])은 INT64(64개의 변수들)에서 상호 연결된다. 일례로 R_1,1의 마지막 8비트들은 도 4의 도면부호 210에 도시된 바와 같이 xi₁ = [0 0 0 0 1 0 0 0]이며, R_2,1의 마지막 16비트들은 도 4의 도면부호 220에 도시된 바와 같이 xi₁ = [0 0 0 0 1 0 0 0]과 xi₂ = [0 0 0 1 0 0 0 0]로 상호 연결된다. 이러한 연결의 결과로서 AK BING 특징들로 R_1,1, R_2,1 등을 획득할 수 있다.

본 발명에서 i_x,y는 BYTE(8개의 변수들)로 구할 수 있으며, R_x,y는 INT64(64개의 변수들)로 구할 수 있다.

i_x,y는 NG 값 g_x,y의 8비트 인덱스로 구할 수 있으며, 비트 시프트(BITWISE SHIFT)와 곱셈(multiplication)을 이용하여 g_x,y로부터 직접 산출할 수 있다. R_x,y는 비트 시프트(BITWISE SHIFT), 비트 앤드(BITWISE AND) 등의 비트 연산(bitwise operation)을 이용하여 R_x,y에 인접하는 것으로서 i_x-1,y를 가지는 R_x-1,y로부터 업데이트될 수 있다.

도 4에 도시된 과정을 다시 한번 정리하여 보면 다음과 같다.

먼저 W × H 크기를 가진 NG 이미지(8비트)가 주어졌을 때, 같은 크기를 가지는 8비트 이미지 i와 64비트 이미지 R을 만들어 준다.

이후 i의 각 픽셀 i_x,y에 같은 위치의 g_x,y 값에 대한 8bit 크기의 이진 인덱스를 넣어 준다.

이후 64비트인 R_x,y에는 왼쪽에 위치한 R_x-1,y에 8비트인 i_x,y를 비트 시프트로 삽입하여 준다.

도 4를 참조하여 설명한 과정을 이용하여 반복하면 최종적으로 도 5와 같은 형태를 가지게 된다. 도 5는 NG 특징 맵으로부터 추출된 R 매트릭스를 업데이트하는 과정을 보여주는 예시도이다.

도 5에서 볼 수 있듯이, R_x,y에는 해당 위치를 기준으로 하여 왼쪽 8개의 이진 인덱스를 담게 된다. 따라서 최종적인 XI는 도 6에 도시된 바와 같이 해당 위치를 기준으로 하여 세로 8개의 R_x,y를 하나로 이어줌으로써 추출될 수 있다. 즉 최종적인 XI는 R_x,y에 [R_x,y-7, R_x,y-6, …, R_x,y-2, R_x,y-1]를 상호 연결시킴으로써 추출될 수 있다.

본 발명에서 제안하는 방법은 모든 i_x,y와 R_x,y를 옆에서 인접한 특징에 하나 혹은 8개의 이진 bit를 BITWISE SHIFT를 통해 업데이트하기 때문에 효율적으로 XI를 추출할 수 있다.

이상 설명한 본 발명에서 제안하는 방법을 알고리즘으로 나타내어 보면 다음과 같다.

Algorithm : Score computation of AKBING W × H positions

Input: normed gradient map g^W×H

Ouput: score matrix s^W×H

Initialize: R^W×H = {0}^W×H, s^W×H = {0}^W×H

// Compute R_x,y ^W×H of the top 7 rows

for y = 1 to 7 do

for x = 1 to W do

If x =1 do

R_x,y ^W×H = ({0}⁶⁴ ≪ 8)|i_x,y

else

R_x,y ^W×H = (R_x-1,y ≪ 8)|i_x,y

end

// Compute score s_x,y

// using [R_x,y-7 ^W×H, R_x,y-6 ^W×H, …, R_x,y-1 ^W×H, R_x,y ^W×H]

for y = 8 to H do

for x = 1 to W do

If x = 1 do

R_x,y ^W×H = ({0}⁶⁴ ≪ 8)|i_x,y

else

R_x,y ^W×H = (R_x-1,y ≪ 8)|i_x,y

end

XI = [R_x,y-7 ^W×H, R_x,y-6 ^W×H, …, R_x,y-1 ^W×H, R_x,y ^W×H]

end

본 발명은 이상 설명한 바와 같이 애디티브 커널을 이용한 BING(AK BING)을 통해 후보군을 제안하는 방법에 관한 것이다. AK SVM은 테이블을 이용한 연산이 필요한데, 본 발명에서는 이를 BING의 원자 조작처럼 이진 벡터들의 연산으로 근사화하는 방법을 개발함으로써 BING과 비슷한 속도를 지니면서 기존보다 정확도를 개선시킬 수가 있다.

이상 도 1 내지 도 6을 참조하여 본 발명의 일실시 형태에 대하여 설명하였다. 이하에서는 이러한 일실시 형태로부터 추론 가능한 본 발명의 바람직한 형태에 대하여 설명한다.

도 7은 본 발명의 바람직한 실시예에 따른 객체 후보 검출 장치의 내부 구성을 개략적으로 도시한 개념도이다. 도 7에 따르면, 객체 후보 검출 장치(300)는 인덱스 정보 산출부(310), 인덱스 정보 갱신부(320), 객체 후보 검출부(330), 전원부(340) 및 주제어부(350)를 포함한다.

전원부(340)는 객체 후보 검출 장치(300)를 구성하는 각 구성에 전원을 공급하는 기능을 수행한다.

주제어부(350)는 객체 후보 검출 장치(300)를 구성하는 각 구성의 전체 작동을 제어하는 기능을 수행한다.

인덱스 정보 산출부(310)는 입력 영상으로부터 얻은 NG(Normed Gradient) 특징 맵(feature map)과 관련된 화소들의 NG 값들과 기준값을 연산하여 얻은 근사값들을 기초로 화소들에 대하여 인덱스 정보들을 산출하는 기능을 수행한다. 인덱스 정보 산출부(310)는 g_x,y로부터 i_x,y를 업데이트하는 과정에서 상기한 기능을 수행할 수 있다.

인덱스 정보 산출부(310)는 인덱스 정보들을 이진수 형태의 인덱스 정보들로 산출할 수 있다.

인덱스 정보 산출부(310)는 이진수 중에서 선택되는 어느 하나의 수를 한 개 포함하여 인덱스 정보들을 이진수 형태의 인덱스 정보들로 산출할 수 있다. 인덱스 정보 산출부(310)는 근사값들의 크기에 따라 어느 하나의 수의 위치를 변경하여 인덱스 정보들을 이진수 형태의 인덱스 정보들로 산출할 수 있다.

인덱스 정보 산출부(310)는 비트 연산(bitwise operation)을 이용하여 인덱스 정보들을 이진수 형태의 인덱스 정보들로 산출할 수 있다. 인덱스 정보 산출부(310)는 비트 연산으로 비트 시프트(BITWISE SHIFT)를 이용할 수 있다.

인덱스 정보 산출부(310)는 바닥 함수(floor function)를 이용하여 NG 값들과 기준값을 연산하여 근사값들을 산출할 수 있다. 인덱스 정보 산출부(310)는 NG 값들을 기준값으로 나눈 값에 바닥 함수를 적용하여 근사값들을 산출할 수 있다.

인덱스 정보 갱신부(320)는 화소들 중에서 기준 화소가 선택될 때마다 기준 화소의 인덱스 정보를 기초로 기준 화소에 인접하는 인접 화소의 인덱스 정보를 갱신하는 기능을 수행한다. 인덱스 정보 갱신부(320)는 i_x,y로부터 R_x,y를 업데이트하는 과정에서 상기한 기능을 수행할 수 있다.

인덱스 정보 갱신부(320)는 이전보다 비트 수가 증가된 인덱스 정보를 획득할 때 기준 화소의 인덱스 정보를 기초로 인접 화소의 인덱스 정보를 갱신할 수 있다. 일례로 인덱스 정보 갱신부(320)를 8비트에서 64비트로 비트 수가 증가된 인덱스 정보를 획득할 때 상기한 기능을 수행할 수 있다.

인덱스 정보 갱신부(320)는 비트 연산을 이용하여 기준 화소의 인덱스 정보를 인접 화소의 인덱스 정보에 삽입하여 인접 화소의 인덱스 정보를 갱신할 수 있다. 인덱스 정보 갱신부(320)는 비트 연산으로 비트 시프트와 비트 앤드(BITWISE AND)를 이용할 수 있다.

인덱스 정보 갱신부(320)는 기준 화소의 인덱스 정보를 인접 화소의 인덱스 정보 앞에 삽입하여 인접 화소의 인덱스 정보를 갱신할 수 있다.

인덱스 정보 갱신부(320)는 인접 화소의 인덱스 정보를 갱신할 때 인접 화소와 동일 행에 위치하는 화소를 기준 화소로 이용할 수 있다.

객체 후보 검출부(330)는 인덱스 정보 갱신부(320)에 의해 화소들의 인덱스 정보들이 갱신되면 화소들 중에서 선택된 제1 화소와 관련된 제1 벡터 및 화소들 중에서 선택된 제2 화소와 관련된 제2 벡터 사이의 내적을 기초로 입력 영상에서 적어도 하나의 객체 후보(object candidate)를 검출하는 기능을 수행한다. 객체 후보 검출부(330)는 수학식 12를 기초로 상기한 기능을 수행할 수 있다.

객체 후보 검출부(330)는 제1 벡터와 제2 벡터 사이의 내적, 화소들과 관련된 벡터들의 개수, 벡터들과 관련된 상수들을 기초로 화소들에 대해 점수(score)를 계산하며, 이 점수를 기초로 입력 영상에서 객체 후보를 검출할 수 있다.

이상 설명한 객체 후보 검출 장치(300)는 주행하고 있는 차량에서 전방에 위치하는 보행자를 검출할 때 작동할 수 있다.

다음으로 객체 후보 검출 장치(300)의 작동 방법에 대하여 설명한다.

먼저 인덱스 정보 산출부(310)는 입력 영상으로부터 얻은 NG(Normed Gradient) 특징 맵(feature map)과 관련된 화소들의 NG 값들과 기준값을 연산하여 얻은 근사값들을 기초로 화소들에 대하여 인덱스 정보들을 산출한다(STEP A).

이후 인덱스 정보 갱신부(320)는 화소들 중에서 기준 화소가 선택될 때마다 기준 화소의 인덱스 정보를 기초로 기준 화소에 인접하는 인접 화소의 인덱스 정보를 갱신한다(STEP B).

화소들의 인덱스 정보들이 갱신되면, 객체 후보 검출부(330)는 화소들 중에서 선택된 제1 화소와 관련된 제1 벡터 및 화소들 중에서 선택된 제2 화소와 관련된 제2 벡터 사이의 내적을 기초로 입력 영상에서 적어도 하나의 객체 후보(object candidate)를 검출한다(STEP C).

이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 기록매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 기록매체로서는 자기 기록매체, 광 기록매체 등이 포함될 수 있다.

또한, 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 상세한 설명에서 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims

입력 영상으로부터 얻은 NG(Normed Gradient) 특징 맵(feature map)과 관련된 화소들의 NG 값들과 기준값을 연산하여 얻은 근사값들을 기초로 상기 화소들에 대하여 인덱스 정보들을 산출하는 인덱스 정보 산출부;
상기 화소들 중에서 기준 화소가 선택될 때마다 상기 기준 화소의 인덱스 정보를 기초로 상기 기준 화소에 인접하는 인접 화소의 인덱스 정보를 갱신하는 인덱스 정보 갱신부; 및
상기 화소들의 인덱스 정보들이 갱신되면 상기 화소들 중에서 선택된 제1 화소와 관련된 제1 벡터 및 상기 화소들 중에서 선택된 제2 화소와 관련된 제2 벡터 사이의 내적을 기초로 상기 입력 영상에서 적어도 하나의 객체 후보(object candidate)를 검출하는 객체 후보 검출부를 포함하며,
상기 인덱스 정보 산출부는 입력값과 출력값을 매칭한 룩업 테이블을 이용하며, 상기 NG 값들을 상기 입력값으로 하고 상기 출력값을 가져오는 테이블 연산에 가중치를 곱하는 형태로 상기 NG 값들을 근사화하는 것을 특징으로 하는 영상의 객체 후보 검출 장치.
제 1 항에 있어서,
상기 인덱스 정보 산출부는 상기 인덱스 정보들을 이진수 형태의 인덱스 정보들로 산출하는 것을 특징으로 하는 영상의 객체 후보 검출 장치.
제 1 항에 있어서,
상기 인덱스 정보 산출부는 이진수 중에서 선택되는 어느 하나의 수를 한 개 포함하여 상기 인덱스 정보들을 이진수 형태의 인덱스 정보들로 산출하는 것을 특징으로 하는 영상의 객체 후보 검출 장치.
제 3 항에 있어서,
상기 인덱스 정보 산출부는 상기 근사값들의 크기에 따라 상기 어느 하나의 수의 위치를 변경하여 상기 인덱스 정보들을 상기 이진수 형태의 인덱스 정보들로 산출하는 것을 특징으로 하는 영상의 객체 후보 검출 장치.
제 1 항에 있어서,
상기 인덱스 정보 산출부는 비트 연산(bitwise operation)을 이용하여 상기 인덱스 정보들을 이진수 형태의 인덱스 정보들로 산출하는 것을 특징으로 하는 영상의 객체 후보 검출 장치.
제 5 항에 있어서,
상기 인덱스 정보 산출부는 상기 비트 연산으로 비트 시프트(BITWISE SHIFT)를 이용하는 것을 특징으로 하는 영상의 객체 후보 검출 장치.
제 1 항에 있어서,
상기 인덱스 정보 산출부는 바닥 함수(floor function)를 이용하여 상기 NG 값들과 상기 기준값을 연산하여 상기 근사값들을 산출하는 것을 특징으로 하는 영상의 객체 후보 검출 장치.
제 7 항에 있어서,
상기 인덱스 정보 산출부는 상기 NG 값들을 상기 기준값으로 나눈 값에 상기 바닥 함수를 적용하여 상기 근사값들을 산출하는 것을 특징으로 하는 영상의 객체 후보 검출 장치.
제 1 항에 있어서,
상기 인덱스 정보 갱신부는 이전보다 비트 수가 증가된 인덱스 정보를 획득할 때 상기 기준 화소의 인덱스 정보를 기초로 상기 인접 화소의 인덱스 정보를 갱신하는 것을 특징으로 하는 영상의 객체 후보 검출 장치.
제 1 항에 있어서,
상기 인덱스 정보 갱신부는 비트 연산을 이용하여 상기 기준 화소의 인덱스 정보를 상기 인접 화소의 인덱스 정보에 삽입하여 상기 인접 화소의 인덱스 정보를 갱신하는 것을 특징으로 하는 영상의 객체 후보 검출 장치.
제 10 항에 있어서,
상기 인덱스 정보 갱신부는 상기 비트 연산으로 비트 시프트와 비트 앤드(BITWISE AND)를 이용하는 것을 특징으로 하는 영상의 객체 후보 검출 장치.
제 10 항에 있어서,
상기 인덱스 정보 갱신부는 상기 기준 화소의 인덱스 정보를 상기 인접 화소의 인덱스 정보 앞에 삽입하여 상기 인접 화소의 인덱스 정보를 갱신하는 것을 특징으로 하는 영상의 객체 후보 검출 장치.
제 1 항에 있어서,
상기 인덱스 정보 갱신부는 상기 인접 화소의 인덱스 정보를 갱신할 때 상기 인접 화소와 동일 행에 위치하는 화소를 상기 기준 화소로 이용하는 것을 특징으로 하는 영상의 객체 후보 검출 장치.
제 1 항에 있어서,
상기 객체 후보 검출부는 상기 제1 벡터와 상기 제2 벡터 사이의 내적, 상기 화소들과 관련된 벡터들의 개수, 상기 벡터들과 관련된 상수들을 기초로 상기 화소들에 대해 점수(score)를 계산하며, 상기 점수를 기초로 상기 입력 영상에서 상기 객체 후보를 검출하는 것을 특징으로 하는 영상의 객체 후보 검출 장치.
제 1 항에 있어서,
상기 객체 후보 검출 장치는 주행하고 있는 차량에서 전방에 위치하는 보행자를 검출할 때 작동하는 것을 특징으로 하는 영상의 객체 후보 검출 장치.
입력 영상으로부터 얻은 NG(Normed Gradient) 특징 맵(feature map)과 관련된 화소들의 NG 값들과 기준값을 연산하여 얻은 근사값들을 기초로 상기 화소들에 대하여 인덱스 정보들을 산출하는 단계;
상기 화소들 중에서 기준 화소가 선택될 때마다 상기 기준 화소의 인덱스 정보를 기초로 상기 기준 화소에 인접하는 인접 화소의 인덱스 정보를 갱신하는 단계; 및
상기 화소들의 인덱스 정보들이 갱신되면 상기 화소들 중에서 선택된 제1 화소와 관련된 제1 벡터 및 상기 화소들 중에서 선택된 제2 화소와 관련된 제2 벡터 사이의 내적을 기초로 상기 입력 영상에서 적어도 하나의 객체 후보(object candidate)를 검출하는 단계를 포함하며,
상기 인덱스 정보들을 산출하는 단계는 입력값과 출력값을 매칭한 룩업 테이블을 이용하며, 상기 NG 값들을 상기 입력값으로 하고 상기 출력값을 가져오는 테이블 연산에 가중치를 곱하는 형태로 상기 NG 값들을 근사화하는 것을 특징으로 하는 영상의 객체 후보 검출 방법.