KR20190089489A - Apparatus and method for detecting object candidate of image using Additive Kernel BING - Google Patents
Apparatus and method for detecting object candidate of image using Additive Kernel BING Download PDFInfo
- Publication number
- KR20190089489A KR20190089489A KR1020180008043A KR20180008043A KR20190089489A KR 20190089489 A KR20190089489 A KR 20190089489A KR 1020180008043 A KR1020180008043 A KR 1020180008043A KR 20180008043 A KR20180008043 A KR 20180008043A KR 20190089489 A KR20190089489 A KR 20190089489A
- Authority
- KR
- South Korea
- Prior art keywords
- index information
- pixels
- pixel
- object candidate
- adjacent
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G06K9/00362—
-
- G06K9/38—
-
- G06K9/481—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/469—Contour-based spatial representations, e.g. vector-coding
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 객체 후보를 검출하는 장치 및 방법에 관한 것이다. 보다 상세하게는, 영상에서 객체 후보를 검출하는 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for detecting object candidates. More particularly, the present invention relates to an apparatus and method for detecting an object candidate in an image.
BING(Binarized Normed Gradients)은 영상 기반 후보군 제안 방법들 중 하나로, 모든 영역의 후보군들에 점수를 부여하여, 높은 점수의 후보군을 최종 후보군으로 제안하는 방법을 말한다.Binarized Normed Gradients (BING) is one of the proposed methods for video-based candidates. It gives a score to candidates in all areas, and suggests candidates with high scores as final candidates.
BING은 엣지 정보를 담고 있는 NG(Normed Gradients) 특징을 기반으로 선형(linear) SVM(Support Vector Machine)을 이용하여 점수를 매긴다. 이러한 BING은 특징을 추출하고 점수를 연산하는 모든 과정을 원자 조작을 이용한 연산으로 근사화를 했기 때문에 빠른 속도로 처리가 가능한 잇점이 있다.BING is scored using a linear SVM (Support Vector Machine) based on the NG (Normed Gradients) feature containing edge information. Such a BING has the advantage of processing at a high speed since all the processes of extracting features and calculating scores are approximated by operations using atom manipulation.
그런데 BING에 선형 SVM 대신 커널(kernel) SVM을 적용하면 BING의 정확도도 향상시킬 수가 있다. 그러나 커널 SVM은 각 입력 데이터마다 서포트 벡터(support vector)와의 연산이 필요하기 때문에 연산 시간이 오래 걸리는 문제점이 있다.However, applying kernel SVM instead of linear SVM to BING can improve the accuracy of BING. However, since the kernel SVM requires operation with a support vector for each input data, the calculation time is long.
본 발명은 상기한 문제점을 해결하기 위해 안출된 것으로서, AK(Additive Kernel) SVM(Support Vector Machine)의 출력을 이진 벡터들의 연산으로 근사화시키고, 이러한 AK SVM을 BING(Binarized Normed Gradients)에 적용시켜 입력 영상에서 객체 후보를 검출하는 객체 후보 검출 장치 및 방법을 제안하는 것을 목적으로 한다.SUMMARY OF THE INVENTION The present invention has been conceived to solve the problems described above, and it is an object of the present invention to approximate an output of an AK (Additive Kernel) SVM (Support Vector Machine) by the operation of binary vectors, apply AK SVM to Binarized Normed Gradients And an object candidate detecting apparatus and method for detecting an object candidate in an image.
그러나 본 발명의 목적은 상기에 언급된 사항으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.However, the objects of the present invention are not limited to those mentioned above, and other objects not mentioned can be clearly understood by those skilled in the art from the following description.
본 발명은 상기한 목적을 달성하기 위해 안출된 것으로서, 입력 영상으로부터 얻은 NG(Normed Gradient) 특징 맵(feature map)과 관련된 화소들의 NG 값들과 기준값을 연산하여 얻은 근사값들을 기초로 상기 화소들에 대하여 인덱스 정보들을 산출하는 인덱스 정보 산출부; 상기 화소들 중에서 기준 화소가 선택될 때마다 상기 기준 화소의 인덱스 정보를 기초로 상기 기준 화소에 인접하는 인접 화소의 인덱스 정보를 갱신하는 인덱스 정보 갱신부; 및 상기 화소들의 인덱스 정보들이 갱신되면 상기 화소들 중에서 선택된 제1 화소와 관련된 제1 벡터 및 상기 화소들 중에서 선택된 제2 화소와 관련된 제2 벡터 사이의 내적을 기초로 상기 입력 영상에서 적어도 하나의 객체 후보(object candidate)를 검출하는 객체 후보 검출부를 포함하는 것을 특징으로 하는 영상의 객체 후보 검출 장치를 제안한다.SUMMARY OF THE INVENTION The present invention has been made in order to achieve the above object, and it is an object of the present invention to provide an image processing apparatus and a method thereof, which are capable of obtaining, based on approximate values obtained by calculating NG values and reference values of pixels related to an NG (Normed Gradient) feature map, An index information calculation unit for calculating index information; An index information updating unit updating the index information of the adjacent pixels adjacent to the reference pixel based on the index information of the reference pixel every time the reference pixel is selected from the pixels; And updating at least one object in the input image based on an inner product between a first vector associated with a first pixel selected from the pixels and a second vector associated with a second pixel selected from the pixels, And an object candidate detecting unit for detecting an object candidate.
또한 본 발명은 입력 영상으로부터 얻은 NG(Normed Gradient) 특징 맵(feature map)과 관련된 화소들의 NG 값들과 기준값을 연산하여 얻은 근사값들을 기초로 상기 화소들에 대하여 인덱스 정보들을 산출하는 단계; 상기 화소들 중에서 기준 화소가 선택될 때마다 상기 기준 화소의 인덱스 정보를 기초로 상기 기준 화소에 인접하는 인접 화소의 인덱스 정보를 갱신하는 단계; 및 상기 화소들의 인덱스 정보들이 갱신되면 상기 화소들 중에서 선택된 제1 화소와 관련된 제1 벡터 및 상기 화소들 중에서 선택된 제2 화소와 관련된 제2 벡터 사이의 내적을 기초로 상기 입력 영상에서 적어도 하나의 객체 후보(object candidate)를 검출하는 단계를 포함하는 것을 특징으로 하는 영상의 객체 후보 검출 방법을 제안한다.According to another aspect of the present invention, there is provided an image processing method comprising the steps of: calculating index information on the pixels based on approximate values obtained by calculating NG values and reference values of pixels related to an NG (Normed Gradient) feature map obtained from an input image; Updating index information of an adjacent pixel adjacent to the reference pixel based on index information of the reference pixel every time a reference pixel is selected among the pixels; And updating at least one object in the input image based on an inner product between a first vector associated with a first pixel selected from the pixels and a second vector associated with a second pixel selected from the pixels, And detecting a candidate of an object candidate.
본 발명은 상기한 목적 달성을 위한 구성들을 통하여 다음과 같은 효과를 얻을 수 있다.The present invention can achieve the following effects through the configurations for achieving the above object.
첫째, 영상에서 후보군을 선출할 때에 처리 속도와 정확도를 동시에 향상시킬 수 있다.First, the processing speed and accuracy can be improved at the same time when the candidate group is selected from the image.
둘째, 본 발명을 ADAS(Advanced Driver Assistance System)에 적용할 경우 차량이 빠르고 정확하게 보행자를 인식할 수 있으며, 이에 따른 차량 사고를 감축시킬 수 있다.Second, when the present invention is applied to an ADAS (Advanced Driver Assistance System), a vehicle can recognize a pedestrian quickly and accurately, thereby reducing vehicle accidents.
도 1은 룩업 테이블을 이용한 테이블 연산을 보여주는 예시도이다.
도 2 및 도 3은 룩업 테이블을 이용한 테이블 연산에 가중치를 반영하여 근사화시켜 입력값에 대한 출력값을 구하는 과정을 보여주는 예시도들이다.
도 4 내지 도 6은 W × H 크기를 가지는 NG 특징 맵을 이용하여 ix,y와 Rx,y를 업데이트하는 과정을 보여주는 예시도들이다
도 7은 본 발명의 바람직한 실시예에 따른 객체 후보 검출 장치의 내부 구성을 개략적으로 도시한 개념도이다.1 is an exemplary diagram showing a table operation using a lookup table.
FIGS. 2 and 3 are exemplary diagrams illustrating a process of approximating a table operation using a lookup table by weighting and obtaining an output value for an input value.
FIGS. 4 to 6 are exemplary diagrams illustrating a process of updating i x, y, and R x, y using an NG feature map having a W × H size
FIG. 7 is a conceptual diagram schematically illustrating an internal configuration of an object candidate detection apparatus according to a preferred embodiment of the present invention.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the drawings, the same reference numerals are used to designate the same or similar components throughout the drawings. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. In addition, the preferred embodiments of the present invention will be described below, but it is needless to say that the technical idea of the present invention is not limited thereto and can be variously modified by those skilled in the art.
기존의 영상 기반 후보군 제안 방법은 NG(Normed Gradients) 특징을 기반으로 선형(linear) SVM(Support Vector Machine)을 이용하여 산출된 점수를 토대로 후보군을 제안한다. 여기서 NG는 그래디언트(gradient)의 유클리디언 놈(Euclidean norm)을 의미한다. 그러나 이러한 방법은 정확도가 다소 떨어지는 문제점이 있다.Based on the score calculated using linear SVM (Support Vector Machine) based on the NG (Normed Gradients) feature, the proposed method of the existing image based candidate group proposes a candidate group. Where NG denotes the Euclidean norm of the gradient. However, this method has a problem that the accuracy is somewhat low.
본 발명에서는 빠른 처리 속도와 함께 높은 정확도를 얻기 위해 BING(Binarized Normed Gradients)에 애디티브 커널(additive kernel) SVM을 적용시킨 AKBING(Additive Kernel Binarized Normed Gradients) 알고리즘을 제안한다.In the present invention, AKBING (Additive Kernel Binarized Normed Gradients) algorithm, in which an additive kernel SVM is applied to Binary (Binarized Normed Gradients) in order to obtain high accuracy with high processing speed, is proposed.
AK SVM을 이용하면 커널을 이용한 성능의 우수성을 지니면서 빠른 연산이 가능하다. 본 발명에서 제안하는 알고리즘은 선형 SVM보다 강인한 성능을 보이는 AK SVM을 BING에 적용함으로써 BING의 빠른 처리 속도를 유지하면서 유효한 후보군을 효과적으로 선출(정확도 향상)하는 것이 가능해진다.With AK SVM, it is possible to perform fast operation with excellent performance using the kernel. The algorithm proposed in the present invention is able to effectively select candidates (improve accuracy) while maintaining the fast processing speed of BING by applying AK SVM having stronger performance than linear SVM to BING.
이하 도면들을 참조하여 본 발명(AKBING을 이용한 후보군 제안)을 자세하게 설명한다.Hereinafter, the present invention (proposal of candidates using AKBING) will be described in detail with reference to the drawings.
SVM은 강인한 성능을 가진 이진 분류기로서, 많은 분야에서 다양하게 쓰이고 있다. 기존의 선형 SVM은 각 클래스 사이의 마진(margin)을 최대화하는 초평면(hyperplane)을 구하는 문제로 볼 수 있다.SVM is a binary classifier with robust performance, which is used in many fields. The existing linear SVM can be regarded as a problem of obtaining a hyperplane that maximizes the margin between classes.
하지만 선형 SVM의 경우 비선형 데이터에 대해서는 성능이 저하된다는 단점이 있다. 이를 해결하기 위해 커널을 이용한 커널 SVM이 제안되었다. 커널 SVM의 경우, 최적화 문제는 훈련용 데이터 세트(training dataset)를 기초로 다음 수학식 1과 같이 나타낼 수 있다.However, linear SVM has a disadvantage that the performance is degraded for nonlinear data. To solve this problem, kernel SVM using kernel has been suggested. In the case of the kernel SVM, the optimization problem can be expressed as
먼저 훈련용 데이터 세트는 다음과 같이 나타낼 수 있다.First, the training data set can be expressed as follows.
S = {(g(i), y(i))}i=1 L S = {(g (i) , y (i) )} i = 1 L
상기에서 g(i)와 y(i)는 훈련 데이터로서, g(i) = [g1 (i), g2 (i), …, gN (i)]T ∈ RN이며 y(i) ∈ {-1, +1}이다. i는 인덱스를 의미하며, L은 입력 데이터의 개수를 의미한다.In the g (i) and y (i) is a training data, g (i) = [g 1 (i), g 2 (i), ... , g N (i) ] T ∈ R N and y (i) ∈ {-1, +1}. i denotes an index, and L denotes the number of input data.
최적화 문제는 이러한 훈련용 데이터 세트를 기초로 다음과 같이 나타낼 수 있다.The optimization problem can be expressed on the basis of this training data set as follows.
위 최적화 식에서 K는 커널 행렬을 의미한다. K는 다음과 같이 수식으로 나타낼 수 있다.In the above optimization equation, K means the kernel matrix. K can be expressed by the following equation.
Ki,j = κ(g(i), g(j)) = φ(g(i))·φ(g(j)) ∈ R K i, j = κ (g (i), g (j)) = φ (g (i)) · φ (g (j)) ∈ R
또한 α는 커널(Kernel) SVM에 대한 최적화에 이용되는 이중 변수(dual variable)을 의미한다. 위 최적화의 결과로 α는 다음과 같이 산출된다.Also, α means a dual variable used for optimization of the kernel SVM. As a result of the above optimization, α is calculated as follows.
α = [α(1), α(2), …, α(L)]T ∈ Rα = [α (1) , α (2) , ... , α (L) ] T ∈ R
커널 SVM의 분류식은 위의 α를 가지고 다음 수학식 2와 같이 나타낼 수 있다.The classification equation of the kernel SVM can be expressed as the following equation (2) with the above α.
상기에서 b는 바이어스(bias)를 의미하며, b ∈ R이다. 또한 κ는 커널 트릭(kernel trick)을 의미한다.Where b is the bias and b ∈ R. Also, κ means kernel trick.
수학식 2에서 확인할 수 있는 바와 같이, 커널 SVM은 선형 SVM과 달리 테스트 샘플 하나 분류시 모든 트레이닝 데이터와의 커널 연산이 필요하다. 따라서 커널 SVM은 모든 트레이닝 데이터를 지니고 다녀야 하는 문제점이 있으며, 위와 같은 이유로 매 샘플 분류시 테스팅 시간과 연산이 오래 걸린다는 단점도 지닌다.As can be seen from Equation (2), unlike the linear SVM, the kernel SVM requires a kernel operation with all the training data in one test sample. Therefore, there is a problem that the kernel SVM has to carry all the training data. In addition, the testing time and the calculation are long when each sample is classified.
애디티브 커널(additive kernel)은 이러한 연산적인 문제점을 해결하기 위해 제안된 것이다. 애디티브 커널은 다음 수학식 3과 같이 커널의 값이 데이터의 차원별 커널값의 합으로 이루어진 커널을 의미한다.An additive kernel is proposed to solve these computational problems. The additive kernel means a kernel in which the value of the kernel is the sum of kernel-level values of the data as shown in Equation (3).
상기에서 κn(gn, zn)은 각 차원의 커널값을 의미한다. g와 z는 각각 다음과 같이 나타낼 수 있다.In the above, κ n (g n , z n ) denotes a kernel value of each dimension. g and z can be expressed as follows.
g = {g1, g2, …, gN} ∈ RN g = {g 1 , g 2 , ... , g N } ∈ R N
z = {z1, z2, …, zN} ∈ RN z = {z 1 , z 2 , ... , z N } ∈ R N
상기에서 N은 커널의 개수를 의미한다.Where N is the number of kernels.
애디티브 커널의 가장 큰 장점은 테스팅 분류 과정에 필요한 연산량을 테이블을 이용하여 매우 간단한 연산으로 줄일 수 있다는 점이다. 커널 SVM의 분류식은 애디티브 커널의 특성을 이용하여 다음 수학식 4와 같이 차원별 1차원 함수값의 합으로 변환될 수 있다.The main advantage of the additive kernel is that it can reduce the amount of computation required for the testing classification process to a very simple operation using tables. The classification equation of the kernel SVM can be converted into the sum of the one-dimensional function values by dimension as shown in Equation (4) using the characteristics of the additive kernel.
수학식 4에서 확인할 수 있는 바와 같이, 1차원 함수 hn(gn)은 커널 SVM 최적화의 결과로 나온 α, 트레이닝 데이터 g(i)와 y(i) 등으로 구성되기 때문에, 미리 모든 입력에 대한 출력값들을 테이블로 만들어 테스트 시에 사용할 수 있다.As can be seen from
즉, 각 차원마다의 1차원 함수 hn(gn)에 대한 출력값들을 표로 만들어 놓으면, 테스트로 들어온 값에 대해 따로 출력값을 계산할 필요 없이 입력값에 해당하는 테이블 값으로 간단하게 출력값을 구할 수 있다.In other words, if the output values of the one-dimensional function h n (g n ) for each dimension are set as a table, the output value can be easily obtained as the table value corresponding to the input value without calculating the output value separately for the test input value .
도 1은 룩업 테이블(LUT)을 이용한 테이블 연산을 보여주는 예시도이다. 도 1은 테이블 연산(LUTn(gn))을 통해 입력값(gn)에 대한 출력값(hn(gn))을 구하는 과정을 나타낸 것이다.1 is an exemplary diagram showing a table operation using a lookup table (LUT). 1 shows a process of obtaining an output value h n (g n ) for an input value g n through a table operation (LUT n (g n )).
g = [g1, g2, …, g64] ∈ [0, 255]64 g = [g 1, g 2 , ... , g 64 ] ∈ [0, 255] 64
BING의 경우 위의 수식에서 보는 바와 같이 64차원의 NG 특징들을 사용하는데, AK SVM을 이용하면 하나의 후보군마다 64번의 테이블 연산이 반복되어야 한다. 이를 효율적으로 바꾸기 위해서는 테이블 연산을 간소화시키는 과정이 필요하다.In the case of BING, 64 NG features are used as shown in the above equation. If AK SVM is used, 64 table operations must be repeated for each candidate group. To change this efficiently, it is necessary to simplify the table operation.
본 발명에서는 해당 입력값에 대한 출력값을 가져오는 테이블 연산에 가중치(weight)를 곱하는 형태로 근사화시킨다. 도 2 및 도 3은 룩업 테이블을 이용한 테이블 연산에 가중치를 반영하여 근사화시켜 입력값에 대한 출력값을 구하는 과정을 보여주는 예시도들이다.In the present invention, a table operation for obtaining an output value of a corresponding input value is approximated by multiplying it by a weight. FIGS. 2 and 3 are exemplary diagrams illustrating a process of approximating a table operation using a lookup table by weighting and obtaining an output value for an input value.
도 2는 테이블 값을 8개의 값으로 근사화시킨 경우의 예시이다. 도 2에서 도면부호 110은 LUTn을 의미하며, 도면부호 120은 근사화된 LUTn을 의미한다. 도 2에서 볼 수 있듯이 테이블이 완만한 곡선 형태를 가지기 때문에 8개의 값으로도 적은 오차로 근사화시킬 수 있다. 테이블 LUTn을 8개의 값으로 근사화시킨 것을 LUT8n이라 할 때, 근사화된 테이블을 통한 연산은 다음 수학식 5에 기재된 바와 같이 8개의 벡터끼리의 내적 형태로 바꿀 수 있다.FIG. 2 is an example of a table value approximated by eight values. In FIG. 2,
상기에서 gn은 n차원 NG 특징(nth dimension NG value)을 의미하며, xin은 이진 인덱스 벡터(binarized index vector)를 의미한다. xin은 다음 수학식 6과 같이 정의된다.Refers to g n are n dimensional features NG (NG n th dimension value) in the, and, xi n means a binary index vector (binarized index vector). xi n is defined by the following Equation (6).
상기에서 ┗ ┛는 바닥 함수(floor function)을 의미한다. 도 3은 <LUT8n,xin>을 이용하여 hn(gn)을 구하는 과정을 보여주고 있다.In the above, ┗┛ denotes a floor function. FIG. 3 shows a process of obtaining h n (g n ) using <
NG 특징들은 앞서 설명한 바와 같이 모두 64차원이기 때문에, 64개의 근사화된 테이블과 이진 인덱스 벡터를 다음 수학식 7에 기재된 바와 같이 하나의 벡터로 연결시킬 수 있다.Since the NG features are all 64-dimension as described above, 64 approximated tables and binary index vectors can be connected to one vector as shown in Equation (7).
그리고 AK SVM의 출력은 다음 수학식 8과 같이 근사화시킬 수 있다.And the output of the AK SVM can be approximated as shown in Equation (8).
원자 조작(atomic operation)의 빠른 연산 효과를 얻기 위해 LUT를 이진 벡터의 선형 조합으로 근사화시키면 다음 수학식 9와 같다.To approximate the LUT with a linear combination of binary vectors to obtain fast computational effects of atomic operation,
상기에서 NL은 이진 벡터의 개수를 의미하며, NL ≤ 512이다. aLj는 j번째 이진 벡터로 aLj ∈ {-1, 1}512이며, βLj는 각 이진 벡터에 해당하는 상수를 의미한다.In the above, N L means the number of binary vectors, and N L ? 512. a Lj is a jth binary vector, a Lj ∈ { -1,1 } 512 , and β Lj is a constant corresponding to each binary vector.
수학식 9의 LUT를 수학식 8에 대입하면 다음 수학식 10과 같다.Substituting the LUT of Equation (9) into Equation (8) yields Equation (10).
상기에서 XI는 XI = [xi1, xi2, …, xi63, xi64]이며, 각 차원마다 하나의 1을 가지고 있다. 따라서 |XI|는 입력 데이터 g에 상관 없이 항상 64로 동일하다.In the XI is XI = [xi 1, xi 2 , ... , xi 63 , xi 64 ], and one for each dimension. Thus, | XI | is always equal to 64 regardless of the input data g.
또한 aLj +는 aLj + ∈ {1, 0}512이며, 다음 수학식 11을 통해 구할 수 있다.Also, a Lj + is a Lj + ∈ {1, 0} 512 and can be obtained by the following equation (11).
최종적인 AK BING에 대한 출력값 계산식은 다음 수학식 11과 같다.The output value calculation formula for the final AK BING is shown in Equation (11).
상기에서 Nw는 이진 벡터의 개수를 의미하며, Nw ≤ 64이다.Where N w denotes the number of binary vectors, and N w ≤ 64.
<aLj +, XI>는 이진 벡터들끼리의 연산이기 때문에 원자 조작 연산으로 빠른 연산이 가능하다. 또한 수학식 12에서 입력으로 들어가는 XI도 이진 벡터를 이용한 원자 조작 즉 비트 시프트(bitwise shift)를 이용하여 효율적으로 빠르게 추출할 수 있다.<a Lj +, XI> is capable of fast operation with atomic operation since the operation between the operation of the binary vector. Also, the XI input to the input in Equation (12) can be efficiently and quickly extracted using atomic operation using a binary vector, i.e., bitwise shift.
도 4 내지 도 6은 W × H 크기를 가지는 NG 특징 맵(gW×H)을 이용하여 ix,y와 Rx,y를 업데이트하는 과정을 보여주는 예시도들이다. 여기서 ix,y는 각각의 xin을 의미하며, Rx,y는 각 ix,y에 인접하는 8개의 xin들의 집합(collection)을 의미한다. 일례로 Rx,y는 [xi1, xi2, …, xi7, xi8], [xi9, xi10, …, xi15, xi16] 등과 같이 나타낼 수 있다.Figs. 4 to 6 are exemplary diagrams showing a process of updating i x, y and R x, y using an NG feature map (g W x H ) having a W x H size. Here, i x, y means each xi n , and R x, y means a collection of 8 x i n adjacent to each i x, y . For example, R x, y is [x i 1 , x i 2 , ... , xi 7 , xi 8 ], [xi 9 , xi 10 , ... , xi 15 , xi 16 ], and so on.
첫번째 픽셀이 g1,1 = 133일 때, NG 값은 수학식 6을 토대로 계산할 때 8개의 근사화 값들(도 2 및 도 3 참조) 중에서 좌측에서 다섯번째 값(fifth interval)에 해당하므로, xi1 = [0 0 0 0 1 0 0 0]으로 인코딩된다. 마찬가지로 다음 픽셀이 g2,1 = 97일 때, NG 값은 8개의 근사화 값들 중에서 좌측에서 네번째 값(fourth interval)에 해당하므로, xi2 = [0 0 0 1 0 0 0 0]으로 인코딩된다.When the first pixel is g 1,1 = 133, the NG value corresponds to the fifth interval from the left of the eight approximation values (see FIGS. 2 and 3) when calculating based on
루프 계산(loop computation)을 피하기 위해, 동일 열(row)에서 인접하는 8개의 LUT 인덱스들([xi1, xi2, …, xi7, xi8])은 INT64(64개의 변수들)에서 상호 연결된다. 일례로 R1,1의 마지막 8비트들은 도 4의 도면부호 210에 도시된 바와 같이 xi1 = [0 0 0 0 1 0 0 0]이며, R2,1의 마지막 16비트들은 도 4의 도면부호 220에 도시된 바와 같이 xi1 = [0 0 0 0 1 0 0 0]과 xi2 = [0 0 0 1 0 0 0 0]로 상호 연결된다. 이러한 연결의 결과로서 AK BING 특징들로 R1,1, R2,1 등을 획득할 수 있다.To avoid loop computation, the eight adjacent LUT indices ([xi 1 , xi 2 , ..., xi 7 , xi 8 ]) in the same row are mapped to each other in INT64 (64 variables) . For example, the last 8 bits of R 1,1 are xi 1 = [0 0 0 0 1 0 0 0] as shown at 210 in FIG. 4, and the last 16 bits of R 2,1 are Are interconnected by xi 1 = [0 0 0 0 1 0 0 0] and xi 2 = [0 0 0 1 0 0 0 0] as shown at 220. As a result of this connection, we can obtain R 1,1 , R 2,1 and so on with AK BING features.
본 발명에서 ix,y는 BYTE(8개의 변수들)로 구할 수 있으며, Rx,y는 INT64(64개의 변수들)로 구할 수 있다.In the present invention, i x, y can be obtained by BYTE (eight variables), and R x, y can be obtained by INT 64 (64 variables).
ix,y는 NG 값 gx,y의 8비트 인덱스로 구할 수 있으며, 비트 시프트(BITWISE SHIFT)와 곱셈(multiplication)을 이용하여 gx,y로부터 직접 산출할 수 있다. Rx,y는 비트 시프트(BITWISE SHIFT), 비트 앤드(BITWISE AND) 등의 비트 연산(bitwise operation)을 이용하여 Rx,y에 인접하는 것으로서 ix-1,y를 가지는 Rx-1,y로부터 업데이트될 수 있다.i x, y can be obtained by an 8-bit index of the NG value g x, y , and can be directly calculated from g x, y using a bit shift (BITWISE SHIFT) and a multiplication. R x, y are adjacent to R x, y using a bitwise operation such as BITWISE SHIFT, BITWISE AND, etc. , and R x-1, y . < / RTI >
도 4에 도시된 과정을 다시 한번 정리하여 보면 다음과 같다.The process shown in FIG. 4 can be summarized as follows.
먼저 W × H 크기를 가진 NG 이미지(8비트)가 주어졌을 때, 같은 크기를 가지는 8비트 이미지 i와 64비트 이미지 R을 만들어 준다.First, given an NG image (8 bits) with W × H size, it creates an 8-bit image i and a 64-bit image R with the same size.
이후 i의 각 픽셀 ix,y에 같은 위치의 gx,y 값에 대한 8bit 크기의 이진 인덱스를 넣어 준다.Then, each pixel i x, y of i is given an 8-bit binary index for the g x, y values at the same position.
이후 64비트인 Rx,y에는 왼쪽에 위치한 Rx-1,y에 8비트인 ix,y를 비트 시프트로 삽입하여 준다.Then, R x, y, which is 64 bits, inserts R x-1 located at the left side, i x, y which is 8 bit at y , as bit shifts.
도 4를 참조하여 설명한 과정을 이용하여 반복하면 최종적으로 도 5와 같은 형태를 가지게 된다. 도 5는 NG 특징 맵으로부터 추출된 R 매트릭스를 업데이트하는 과정을 보여주는 예시도이다.If the process is repeated using the process described with reference to FIG. 4, the final shape is as shown in FIG. 5 is an exemplary diagram showing a process of updating the R matrix extracted from the NG feature map.
도 5에서 볼 수 있듯이, Rx,y에는 해당 위치를 기준으로 하여 왼쪽 8개의 이진 인덱스를 담게 된다. 따라서 최종적인 XI는 도 6에 도시된 바와 같이 해당 위치를 기준으로 하여 세로 8개의 Rx,y를 하나로 이어줌으로써 추출될 수 있다. 즉 최종적인 XI는 Rx,y에 [Rx,y-7, Rx,y-6, …, Rx,y-2, Rx,y-1]를 상호 연결시킴으로써 추출될 수 있다.As shown in FIG. 5, R x, y contains eight left binary indexes based on the corresponding position. Accordingly, the final XI can be extracted by connecting eight R x, y in the vertical direction on the basis of the position as shown in FIG. I.e. final XI is R x, y in the [R x, y-7, R x, y-6, ... , R x, y-2 , R x, y-1 ].
본 발명에서 제안하는 방법은 모든 ix,y와 Rx,y를 옆에서 인접한 특징에 하나 혹은 8개의 이진 bit를 BITWISE SHIFT를 통해 업데이트하기 때문에 효율적으로 XI를 추출할 수 있다.The method proposed in the present invention efficiently extracts XI since all i x, y and R x, y are updated by one or eight binary bits to the side adjacent feature through BITWISE SHIFT.
이상 설명한 본 발명에서 제안하는 방법을 알고리즘으로 나타내어 보면 다음과 같다.The algorithm proposed by the present invention described above is described as follows.
Algorithm : Score computation of AKBING W × H positionsAlgorithm: Score computation of AKBING W × H positions
Input: normed gradient map gW×H Input: normed gradient map g W x H
Ouput: score matrix sW×H Ouput: score matrix s W x H
Initialize: RW×H = {0}W×H, sW×H = {0}W×H Initialize: R W × H = {0} W × H , s W × H = {0} W × H
// Compute Rx,y W×H of the top 7 rows// Compute R x, y W x H of the top 7 rows
for y = 1 to 7 dofor y = 1 to 7 do
for x = 1 to W do for x = 1 to W do
If x =1 do If x = 1 do
Rx,y W×H = ({0}64 ≪ 8)|ix,y R x, y W x H = ({0} 64 & lt ; 8) | i x, y
else else
Rx,y W×H = (Rx-1,y ≪ 8)|ix,y R x, y W x H = (R x-1, y? 8) | x, y
end end
end end
endend
// Compute score sx,y // Compute score s x, y
// using [Rx,y-7 W×H, Rx,y-6 W×H, …, Rx,y-1 W×H, Rx,y W×H]// using [Rx , y- 7WxH , Rx, y- 6WxH , ... , R x, y-1 W x H , R x, y W x H ]
for y = 8 to H dofor y = 8 to H do
for x = 1 to W do for x = 1 to W do
If x = 1 do If x = 1 do
Rx,y W×H = ({0}64 ≪ 8)|ix,y R x, y W x H = ({0} 64 & lt ; 8) | i x, y
else else
Rx,y W×H = (Rx-1,y ≪ 8)|ix,y R x, y W x H = (R x-1, y? 8) | x, y
end end
XI = [Rx,y-7 W×H, Rx,y-6 W×H, …, Rx,y-1 W×H, Rx,y W×H]XI = [Rx , y- 7WxH , Rx, y- 6WxH , ... , R x, y-1 W x H , R x, y W x H ]
end end
endend
본 발명은 이상 설명한 바와 같이 애디티브 커널을 이용한 BING(AK BING)을 통해 후보군을 제안하는 방법에 관한 것이다. AK SVM은 테이블을 이용한 연산이 필요한데, 본 발명에서는 이를 BING의 원자 조작처럼 이진 벡터들의 연산으로 근사화하는 방법을 개발함으로써 BING과 비슷한 속도를 지니면서 기존보다 정확도를 개선시킬 수가 있다.The present invention relates to a method for proposing a candidate group through BING (AK BING) using an additive kernel as described above. AK SVM requires calculation using a table. In the present invention, by developing a method of approximating the operation of binary vectors such as atom manipulation of BING, the accuracy of BING can be improved and the accuracy can be improved.
이상 도 1 내지 도 6을 참조하여 본 발명의 일실시 형태에 대하여 설명하였다. 이하에서는 이러한 일실시 형태로부터 추론 가능한 본 발명의 바람직한 형태에 대하여 설명한다.DESCRIPTION OF THE PREFERRED EMBODIMENTS One embodiment of the present invention has been described with reference to Figs. Best Mode for Carrying Out the Invention Hereinafter, preferred forms of the present invention that can be inferred from the above embodiment will be described.
도 7은 본 발명의 바람직한 실시예에 따른 객체 후보 검출 장치의 내부 구성을 개략적으로 도시한 개념도이다. 도 7에 따르면, 객체 후보 검출 장치(300)는 인덱스 정보 산출부(310), 인덱스 정보 갱신부(320), 객체 후보 검출부(330), 전원부(340) 및 주제어부(350)를 포함한다.FIG. 7 is a conceptual diagram schematically illustrating an internal configuration of an object candidate detection apparatus according to a preferred embodiment of the present invention. 7, the object
전원부(340)는 객체 후보 검출 장치(300)를 구성하는 각 구성에 전원을 공급하는 기능을 수행한다.The power supply unit 340 performs a function of supplying power to the respective constituent elements of the object
주제어부(350)는 객체 후보 검출 장치(300)를 구성하는 각 구성의 전체 작동을 제어하는 기능을 수행한다.The
인덱스 정보 산출부(310)는 입력 영상으로부터 얻은 NG(Normed Gradient) 특징 맵(feature map)과 관련된 화소들의 NG 값들과 기준값을 연산하여 얻은 근사값들을 기초로 화소들에 대하여 인덱스 정보들을 산출하는 기능을 수행한다. 인덱스 정보 산출부(310)는 gx,y로부터 ix,y를 업데이트하는 과정에서 상기한 기능을 수행할 수 있다.The index information calculation unit 310 calculates index information on pixels based on approximate values obtained by calculating NG values and reference values of pixels related to an NG (Normed Gradient) feature map obtained from an input image . The index information calculation unit 310 may perform the above-mentioned function in updating i x, y from g x, y .
인덱스 정보 산출부(310)는 인덱스 정보들을 이진수 형태의 인덱스 정보들로 산출할 수 있다.The index information calculation unit 310 may calculate index information as index information in binary form.
인덱스 정보 산출부(310)는 이진수 중에서 선택되는 어느 하나의 수를 한 개 포함하여 인덱스 정보들을 이진수 형태의 인덱스 정보들로 산출할 수 있다. 인덱스 정보 산출부(310)는 근사값들의 크기에 따라 어느 하나의 수의 위치를 변경하여 인덱스 정보들을 이진수 형태의 인덱스 정보들로 산출할 수 있다.The index information calculation unit 310 may include any one of binary numbers to calculate index information as index information in binary form. The index information calculation unit 310 may calculate the index information as index information in binary form by changing the position of any one number according to the magnitude of the approximate values.
인덱스 정보 산출부(310)는 비트 연산(bitwise operation)을 이용하여 인덱스 정보들을 이진수 형태의 인덱스 정보들로 산출할 수 있다. 인덱스 정보 산출부(310)는 비트 연산으로 비트 시프트(BITWISE SHIFT)를 이용할 수 있다.The index information calculation unit 310 may calculate index information as index information in binary form using a bitwise operation. The index information calculation unit 310 may use a bit shift (BITWISE SHIFT) as a bit operation.
인덱스 정보 산출부(310)는 바닥 함수(floor function)를 이용하여 NG 값들과 기준값을 연산하여 근사값들을 산출할 수 있다. 인덱스 정보 산출부(310)는 NG 값들을 기준값으로 나눈 값에 바닥 함수를 적용하여 근사값들을 산출할 수 있다.The index information calculation unit 310 may calculate approximate values by calculating the NG values and the reference value using a floor function. The index information calculation unit 310 may calculate approximate values by applying a floor function to a value obtained by dividing the NG values by the reference value.
인덱스 정보 갱신부(320)는 화소들 중에서 기준 화소가 선택될 때마다 기준 화소의 인덱스 정보를 기초로 기준 화소에 인접하는 인접 화소의 인덱스 정보를 갱신하는 기능을 수행한다. 인덱스 정보 갱신부(320)는 ix,y로부터 Rx,y를 업데이트하는 과정에서 상기한 기능을 수행할 수 있다.The index information updating unit 320 updates the index information of the adjacent pixels adjacent to the reference pixel based on the index information of the reference pixel every time the reference pixel is selected from among the pixels. The index information updating unit 320 may perform the above-mentioned function in updating R x, y from i x, y .
인덱스 정보 갱신부(320)는 이전보다 비트 수가 증가된 인덱스 정보를 획득할 때 기준 화소의 인덱스 정보를 기초로 인접 화소의 인덱스 정보를 갱신할 수 있다. 일례로 인덱스 정보 갱신부(320)를 8비트에서 64비트로 비트 수가 증가된 인덱스 정보를 획득할 때 상기한 기능을 수행할 수 있다.The index information updating unit 320 can update the index information of the adjacent pixels based on the index information of the reference pixel when acquiring the index information whose bit number is increased than before. For example, the index information updater 320 can perform the above-described function when acquiring index information whose bit number is increased from 8 bits to 64 bits.
인덱스 정보 갱신부(320)는 비트 연산을 이용하여 기준 화소의 인덱스 정보를 인접 화소의 인덱스 정보에 삽입하여 인접 화소의 인덱스 정보를 갱신할 수 있다. 인덱스 정보 갱신부(320)는 비트 연산으로 비트 시프트와 비트 앤드(BITWISE AND)를 이용할 수 있다.The index information updating unit 320 may update the index information of the adjacent pixels by inserting the index information of the reference pixel into the index information of the adjacent pixel by using the bit operation. The index information updating unit 320 can use bit shift and bitwise AND as bit operations.
인덱스 정보 갱신부(320)는 기준 화소의 인덱스 정보를 인접 화소의 인덱스 정보 앞에 삽입하여 인접 화소의 인덱스 정보를 갱신할 수 있다.The index information updating unit 320 may update the index information of the adjacent pixels by inserting the index information of the reference pixels before the index information of the adjacent pixels.
인덱스 정보 갱신부(320)는 인접 화소의 인덱스 정보를 갱신할 때 인접 화소와 동일 행에 위치하는 화소를 기준 화소로 이용할 수 있다.The index information updating unit 320 can use the pixel located on the same row as the adjacent pixel as the reference pixel when updating the index information of the adjacent pixel.
객체 후보 검출부(330)는 인덱스 정보 갱신부(320)에 의해 화소들의 인덱스 정보들이 갱신되면 화소들 중에서 선택된 제1 화소와 관련된 제1 벡터 및 화소들 중에서 선택된 제2 화소와 관련된 제2 벡터 사이의 내적을 기초로 입력 영상에서 적어도 하나의 객체 후보(object candidate)를 검출하는 기능을 수행한다. 객체 후보 검출부(330)는 수학식 12를 기초로 상기한 기능을 수행할 수 있다.When the index information of the pixels is updated by the index information updater 320, the object candidate detector 330 detects a first vector associated with the first pixel selected from the pixels and a second vector associated with the second pixel selected from among the pixels. And detects at least one object candidate in the input image based on the inner product. The object candidate detection unit 330 can perform the above function based on Equation (12).
객체 후보 검출부(330)는 제1 벡터와 제2 벡터 사이의 내적, 화소들과 관련된 벡터들의 개수, 벡터들과 관련된 상수들을 기초로 화소들에 대해 점수(score)를 계산하며, 이 점수를 기초로 입력 영상에서 객체 후보를 검출할 수 있다.The object candidate detection unit 330 calculates a score for the pixels based on the inner product between the first vector and the second vector, the number of vectors related to the pixels, constants related to the vectors, The object candidate can be detected from the input image.
이상 설명한 객체 후보 검출 장치(300)는 주행하고 있는 차량에서 전방에 위치하는 보행자를 검출할 때 작동할 수 있다.The object
다음으로 객체 후보 검출 장치(300)의 작동 방법에 대하여 설명한다.Next, an operation method of the object
먼저 인덱스 정보 산출부(310)는 입력 영상으로부터 얻은 NG(Normed Gradient) 특징 맵(feature map)과 관련된 화소들의 NG 값들과 기준값을 연산하여 얻은 근사값들을 기초로 화소들에 대하여 인덱스 정보들을 산출한다(STEP A).First, the index information calculation unit 310 calculates index information for the pixels based on the approximate values obtained by calculating the NG values and the reference values of the pixels related to the NG (feature map) feature map obtained from the input image ( STEP A).
이후 인덱스 정보 갱신부(320)는 화소들 중에서 기준 화소가 선택될 때마다 기준 화소의 인덱스 정보를 기초로 기준 화소에 인접하는 인접 화소의 인덱스 정보를 갱신한다(STEP B).The index information updating unit 320 updates the index information of the adjacent pixels adjacent to the reference pixel based on the index information of the reference pixel every time the reference pixel is selected among the pixels (STEP B).
화소들의 인덱스 정보들이 갱신되면, 객체 후보 검출부(330)는 화소들 중에서 선택된 제1 화소와 관련된 제1 벡터 및 화소들 중에서 선택된 제2 화소와 관련된 제2 벡터 사이의 내적을 기초로 입력 영상에서 적어도 하나의 객체 후보(object candidate)를 검출한다(STEP C).When the index information of the pixels is updated, the object candidate detecting unit 330 detects at least one of the first vector associated with the first pixel selected from the pixels and the second vector associated with the second pixel selected from the pixels, One object candidate is detected (STEP C).
이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 기록매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 기록매체로서는 자기 기록매체, 광 기록매체 등이 포함될 수 있다.It is to be understood that the present invention is not limited to these embodiments, and all elements constituting the embodiment of the present invention described above are described as being combined or operated in one operation. That is, within the scope of the present invention, all of the components may be selectively coupled to one or more of them. In addition, although all of the components may be implemented as one independent hardware, some or all of the components may be selectively combined to perform a part or all of the functions in one or a plurality of hardware. As shown in FIG. In addition, such a computer program may be stored in a computer readable medium such as a USB memory, a CD disk, a flash memory, etc., and read and executed by a computer to implement an embodiment of the present invention. As the recording medium of the computer program, a magnetic recording medium, an optical recording medium, or the like can be included.
또한, 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 상세한 설명에서 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Furthermore, all terms including technical or scientific terms have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs, unless otherwise defined in the Detailed Description. Commonly used terms, such as predefined terms, should be interpreted to be consistent with the contextual meanings of the related art, and are not to be construed as ideal or overly formal, unless expressly defined to the contrary.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.It will be apparent to those skilled in the art that various modifications, substitutions and substitutions are possible, without departing from the scope and spirit of the invention as disclosed in the accompanying claims. will be. Therefore, the embodiments disclosed in the present invention and the accompanying drawings are intended to illustrate and not to limit the technical spirit of the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments and the accompanying drawings . The scope of protection of the present invention should be construed according to the following claims, and all technical ideas within the scope of equivalents should be construed as falling within the scope of the present invention.
Claims (16)
상기 화소들 중에서 기준 화소가 선택될 때마다 상기 기준 화소의 인덱스 정보를 기초로 상기 기준 화소에 인접하는 인접 화소의 인덱스 정보를 갱신하는 인덱스 정보 갱신부; 및
상기 화소들의 인덱스 정보들이 갱신되면 상기 화소들 중에서 선택된 제1 화소와 관련된 제1 벡터 및 상기 화소들 중에서 선택된 제2 화소와 관련된 제2 벡터 사이의 내적을 기초로 상기 입력 영상에서 적어도 하나의 객체 후보(object candidate)를 검출하는 객체 후보 검출부
를 포함하는 것을 특징으로 하는 영상의 객체 후보 검출 장치.An index information calculation unit for calculating index information on the pixels based on approximate values obtained by calculating NG values and reference values of pixels related to an NG (Normed Gradient) feature map obtained from an input image;
An index information updating unit updating the index information of the adjacent pixels adjacent to the reference pixel based on the index information of the reference pixel every time the reference pixel is selected from the pixels; And
Wherein when the index information of the pixels is updated, based on an inner product between a first vector associated with a first pixel selected from the pixels and a second vector associated with a second pixel selected from the pixels, an object candidate detector for detecting an object candidate,
And an object candidate detection unit for detecting an object candidate of an image.
상기 인덱스 정보 산출부는 상기 인덱스 정보들을 이진수 형태의 인덱스 정보들로 산출하는 것을 특징으로 하는 영상의 객체 후보 검출 장치.The method according to claim 1,
Wherein the index information calculation unit calculates the index information as index information in a binary number format.
상기 인덱스 정보 산출부는 이진수 중에서 선택되는 어느 하나의 수를 한 개 포함하여 상기 인덱스 정보들을 이진수 형태의 인덱스 정보들로 산출하는 것을 특징으로 하는 영상의 객체 후보 검출 장치.The method according to claim 1,
Wherein the index information calculation unit includes one of the binary numbers and calculates the index information as index information in binary form.
상기 인덱스 정보 산출부는 상기 근사값들의 크기에 따라 상기 어느 하나의 수의 위치를 변경하여 상기 인덱스 정보들을 상기 이진수 형태의 인덱스 정보들로 산출하는 것을 특징으로 하는 영상의 객체 후보 검출 장치.The method of claim 3,
Wherein the index information calculation unit changes the position of any one of the numbers according to the magnitude of the approximate values, and calculates the index information as the index information of the binary number type.
상기 인덱스 정보 산출부는 비트 연산(bitwise operation)을 이용하여 상기 인덱스 정보들을 이진수 형태의 인덱스 정보들로 산출하는 것을 특징으로 하는 영상의 객체 후보 검출 장치.The method according to claim 1,
Wherein the index information calculation unit calculates the index information as binary index information using a bitwise operation.
상기 인덱스 정보 산출부는 상기 비트 연산으로 비트 시프트(BITWISE SHIFT)를 이용하는 것을 특징으로 하는 영상의 객체 후보 검출 장치.6. The method of claim 5,
Wherein the index information calculation unit uses a bit shift (BITWISE SHIFT) as the bit operation.
상기 인덱스 정보 산출부는 바닥 함수(floor function)를 이용하여 상기 NG 값들과 상기 기준값을 연산하여 상기 근사값들을 산출하는 것을 특징으로 하는 영상의 객체 후보 검출 장치.The method according to claim 1,
Wherein the index information calculation unit calculates the approximate values by calculating the NG values and the reference value using a floor function.
상기 인덱스 정보 산출부는 상기 NG 값들을 상기 기준값으로 나눈 값에 상기 바닥 함수를 적용하여 상기 근사값들을 산출하는 것을 특징으로 하는 영상의 객체 후보 검출 장치.8. The method of claim 7,
Wherein the index information calculation unit calculates the approximate values by applying the floor function to a value obtained by dividing the NG values by the reference value.
상기 인덱스 정보 갱신부는 이전보다 비트 수가 증가된 인덱스 정보를 획득할 때 상기 기준 화소의 인덱스 정보를 기초로 상기 인접 화소의 인덱스 정보를 갱신하는 것을 특징으로 하는 영상의 객체 후보 검출 장치.The method according to claim 1,
Wherein the index information updating unit updates the index information of the adjacent pixel based on the index information of the reference pixel when acquiring index information in which the number of bits is increased.
상기 인덱스 정보 갱신부는 비트 연산을 이용하여 상기 기준 화소의 인덱스 정보를 상기 인접 화소의 인덱스 정보에 삽입하여 상기 인접 화소의 인덱스 정보를 갱신하는 것을 특징으로 하는 영상의 객체 후보 검출 장치.The method according to claim 1,
Wherein the index information updating unit updates the index information of the adjacent pixels by inserting the index information of the reference pixels into the index information of the adjacent pixels using a bit operation.
상기 인덱스 정보 갱신부는 상기 비트 연산으로 비트 시프트와 비트 앤드(BITWISE AND)를 이용하는 것을 특징으로 하는 영상의 객체 후보 검출 장치.11. The method of claim 10,
Wherein the index information updating unit uses bit shift and bitwise AND in the bit operation.
상기 인덱스 정보 갱신부는 상기 기준 화소의 인덱스 정보를 상기 인접 화소의 인덱스 정보 앞에 삽입하여 상기 인접 화소의 인덱스 정보를 갱신하는 것을 특징으로 하는 영상의 객체 후보 검출 장치.11. The method of claim 10,
Wherein the index information updating unit updates the index information of the adjacent pixels by inserting the index information of the reference pixels before the index information of the adjacent pixels.
상기 인덱스 정보 갱신부는 상기 인접 화소의 인덱스 정보를 갱신할 때 상기 인접 화소와 동일 행에 위치하는 화소를 상기 기준 화소로 이용하는 것을 특징으로 하는 영상의 객체 후보 검출 장치.The method according to claim 1,
Wherein the index information updating unit uses a pixel located on the same row as the adjacent pixel as the reference pixel when updating the index information of the adjacent pixel.
상기 객체 후보 검출부는 상기 제1 벡터와 상기 제2 벡터 사이의 내적, 상기 화소들과 관련된 벡터들의 개수, 상기 벡터들과 관련된 상수들을 기초로 상기 화소들에 대해 점수(score)를 계산하며, 상기 점수를 기초로 상기 입력 영상에서 상기 객체 후보를 검출하는 것을 특징으로 하는 영상의 객체 후보 검출 장치.The method according to claim 1,
Wherein the object candidate detection unit calculates a score for the pixels based on an inner product between the first vector and the second vector, a number of vectors related to the pixels, constants related to the vectors, And detects the object candidate in the input image based on the score.
상기 객체 후보 검출 장치는 주행하고 있는 차량에서 전방에 위치하는 보행자를 검출할 때 작동하는 것을 특징으로 하는 영상의 객체 후보 검출 장치.The method according to claim 1,
Wherein the object candidate detecting apparatus operates when detecting a pedestrian positioned ahead in the vehicle in which the vehicle is traveling.
상기 화소들 중에서 기준 화소가 선택될 때마다 상기 기준 화소의 인덱스 정보를 기초로 상기 기준 화소에 인접하는 인접 화소의 인덱스 정보를 갱신하는 단계; 및
상기 화소들의 인덱스 정보들이 갱신되면 상기 화소들 중에서 선택된 제1 화소와 관련된 제1 벡터 및 상기 화소들 중에서 선택된 제2 화소와 관련된 제2 벡터 사이의 내적을 기초로 상기 입력 영상에서 적어도 하나의 객체 후보(object candidate)를 검출하는 단계
를 포함하는 것을 특징으로 하는 영상의 객체 후보 검출 방법.Calculating index information for the pixels based on approximate values obtained by calculating NG values and normalized values of pixels related to an NG (Normed Gradient) feature map obtained from an input image;
Updating index information of an adjacent pixel adjacent to the reference pixel based on index information of the reference pixel every time a reference pixel is selected among the pixels; And
Wherein when the index information of the pixels is updated, based on an inner product between a first vector associated with a first pixel selected from the pixels and a second vector associated with a second pixel selected from the pixels, a step of detecting an object candidate
And detecting the candidate of the object of the image.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180008043A KR102018773B1 (en) | 2018-01-23 | 2018-01-23 | Apparatus and method for detecting object candidate of image using Additive Kernel BING |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180008043A KR102018773B1 (en) | 2018-01-23 | 2018-01-23 | Apparatus and method for detecting object candidate of image using Additive Kernel BING |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20190089489A true KR20190089489A (en) | 2019-07-31 |
KR102018773B1 KR102018773B1 (en) | 2019-09-05 |
Family
ID=67473762
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180008043A KR102018773B1 (en) | 2018-01-23 | 2018-01-23 | Apparatus and method for detecting object candidate of image using Additive Kernel BING |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102018773B1 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20130067758A (en) * | 2011-12-14 | 2013-06-25 | 한국전자통신연구원 | Apparatus and method for detecting human by using svm learning |
KR20140090777A (en) * | 2013-01-10 | 2014-07-18 | 한국전자통신연구원 | Method for detecting and recogniting object using local binary patterns and apparatus thereof |
KR101569411B1 (en) | 2015-04-01 | 2015-11-27 | 주식회사 피엘케이 테크놀로지 | Pedestrian realization apparatus and method |
KR101772676B1 (en) * | 2017-03-31 | 2017-08-29 | (주) 엠브이텍 | Method and device for detecting connected pixels in image |
-
2018
- 2018-01-23 KR KR1020180008043A patent/KR102018773B1/en active IP Right Grant
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20130067758A (en) * | 2011-12-14 | 2013-06-25 | 한국전자통신연구원 | Apparatus and method for detecting human by using svm learning |
KR20140090777A (en) * | 2013-01-10 | 2014-07-18 | 한국전자통신연구원 | Method for detecting and recogniting object using local binary patterns and apparatus thereof |
KR101569411B1 (en) | 2015-04-01 | 2015-11-27 | 주식회사 피엘케이 테크놀로지 | Pedestrian realization apparatus and method |
KR101772676B1 (en) * | 2017-03-31 | 2017-08-29 | (주) 엠브이텍 | Method and device for detecting connected pixels in image |
Also Published As
Publication number | Publication date |
---|---|
KR102018773B1 (en) | 2019-09-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Cheng et al. | Boundary-preserving mask r-cnn | |
CN109117848B (en) | Text line character recognition method, device, medium and electronic equipment | |
Hannuna et al. | DS-KCF: a real-time tracker for RGB-D data | |
AU2019200270B2 (en) | Concept mask: large-scale segmentation from semantic concepts | |
CN107239786B (en) | Character recognition method and device | |
US20170330068A1 (en) | Devices, systems, and methods for feature encoding | |
CN112560980B (en) | Training method and device of target detection model and terminal equipment | |
US20190244028A1 (en) | System and Method for Detecting Objects in Video Sequences | |
Srivastava et al. | CNN-based salient features in HSI image semantic target prediction | |
JP6612486B1 (en) | Learning device, classification device, learning method, classification method, learning program, and classification program | |
CN115731189B (en) | Enteroscopy image lesion recognition method and device, electronic equipment and storage medium | |
Zhou et al. | Scale adaptive kernelized correlation filter tracker with feature fusion | |
CN111126049B (en) | Object relation prediction method, device, terminal equipment and readable storage medium | |
US20180342071A1 (en) | Moving object tracking apparatus, moving object tracking method, and computer program product | |
Vaidya et al. | Hardware efficient modified CNN architecture for traffic sign detection and recognition | |
US10853972B2 (en) | Apparatus for processing image and method thereof | |
KR102018773B1 (en) | Apparatus and method for detecting object candidate of image using Additive Kernel BING | |
KR20210113738A (en) | Learning method and image cassification method using multi-scale feature map | |
Long et al. | Spectrum decomposition in Gaussian scale space for uneven illumination image binarization | |
JP6485072B2 (en) | Image search apparatus, image search method, and image search program | |
Said et al. | A cost-effective, fast, and robust annotation tool | |
JP2003150898A (en) | Method for detecting patten position in image, device, program and recording medium recorded with program | |
KR101748412B1 (en) | Method and apparatus for detecting pedestrian using joint aggregated channel features | |
Jaiswal et al. | US Traffic Sign Recognition by Using Partial OCR and Inbuilt Dictionary | |
Sharma et al. | Online training of discriminative parameter for object tracking-by-detection in a video |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right |