KR101453713B1 - 객체 인식 방법 및 그 장치 - Google Patents

객체 인식 방법 및 그 장치 Download PDF

Info

Publication number
KR101453713B1
KR101453713B1 KR1020140012145A KR20140012145A KR101453713B1 KR 101453713 B1 KR101453713 B1 KR 101453713B1 KR 1020140012145 A KR1020140012145 A KR 1020140012145A KR 20140012145 A KR20140012145 A KR 20140012145A KR 101453713 B1 KR101453713 B1 KR 101453713B1
Authority
KR
South Korea
Prior art keywords
corner point
corner
input image
image
points
Prior art date
Application number
KR1020140012145A
Other languages
English (en)
Inventor
김신덕
정현섭
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020140012145A priority Critical patent/KR101453713B1/ko
Application granted granted Critical
Publication of KR101453713B1 publication Critical patent/KR101453713B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/2163—Partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

객체 인식 방법 및 그 장치가 개시된다. 객체 인식 방법은 입력 영상에서 복수의 코너점을 검출하는 단계; 입력 영상의 에지 거리를 기반으로 상기 검출된 코너점에 대한 코너점 가중치를 각각 계산하는 단계; 입력 영상과 상기 입력 영상을 회전한 회전 영상과의 차이를 이용하여 코너점 회전 민감도를 계산하는 단계; 코너점 가중치와 코너점 회전 민감도를 이용하여 검출된 코너점들 중 적어도 하나를 특징점으로 추출하는 단계; 및 추출된 특징점을 이용하여 객체를 인식하는 단계를 포함한다.

Description

객체 인식 방법 및 그 장치{Object recognition method and apparatus}
본 발명은 영상에서 코너점을 이용하여 객체를 인식할 수 있는 방법 및 그 장치에 관한 것이다.
정보통신 기술의 급속한 발전으로 모바일 장치는 단순한 전화 기능 이외에, 다양한 멀티미디어 기능이 탑재되는 등 사용 영역이 지속적으로 확대되고 있으며, 이와 더불어 영상의 해석과 인식에 대한 사용자의 요구 사항 또한 증가하고 있는 실적이다.
그러나, 모바일 장치는 CPU와 메모리의 제한적인 성능으로 인해, 고사양의 컴퓨터와 같이 영상을 기반으로 한 객체 인식을 위해 많은 계산량을 지원하지 못하는 단점이 있다.
본 발명은 연산이 복잡하지 않으며, 움직임이 동반되는 객체의 특징을 빠르게 추출하여 실시간 처리가 가능한 객체 인식 방법 및 그 장치를 제공하기 위한 것이다.
본 발명의 일 측면에 따르면, 영상에서 코너점을 이용하여 객체를 인식할 수 있는 방법이 제공된다.
본 발명의 일 실시예에 따르면, 입력 영상에서 복수의 코너점을 검출하는 단계; 상기 입력 영상의 에지 거리를 기반으로 상기 검출된 코너점에 대한 코너점 가중치를 각각 계산하는 단계; 상기 입력 영상과 상기 입력 영상을 회전한 회전 영상과의 차이를 이용하여 코너점 회전 민감도를 계산하는 단계; 상기 코너점 가중치와 상기 코너점 회전 민감도를 이용하여 상기 검출된 코너점들 중 적어도 하나를 특징점으로 추출하는 단계; 및 상기 추출된 특징점을 이용하여 객체를 인식하는 단계를 포함하는 객체 인식 방법이 제공될 쉬 있다.
상기 코너점에 대한 가중치를 계산하는 단계 이전에, 상기 입력 영상을 N개의 영역으로 분할하는 단계를 더 포함하되,
상기 에지 거리는 상기 분할된 영역의 대각선 거리이다.
상기 코너점을 검출하는 단계 이전에, 상기 입력 영상을 그레이스케일 영상으로 변환하는 단계를 선행할 수 있다.
상기 코너점 가중치를 계산하는 단계는, 상기 분할된 영역의 에지 거리와 상기 코너점에서 상기 에지까지의 거리를 이용하여 계산될 수 있다.
상기 코너점 가중치는 하기 수식을 이용하여 계산되되,
Figure 112014010441481-pat00001
여기서, i는 각 코너점을 나타내고,
Figure 112014010441481-pat00002
는 각 코너점에 대한 코너점 가중치를 나타내며,
Figure 112014010441481-pat00003
는 코너점이 위치된 영역의 대각선 길이를 나타내고,
Figure 112014010441481-pat00004
는 코너점에서 에지까지의 거리를 나타낸다.
상기 코너점 회전 민감도를 계산하는 단계는, 상기 입력 영상을 일정 각도 단위로 회전한 영상과 상기 입력 영상간의 픽셀값의 차이값을 계산하는 단계; 및 상기 계산된 차이값 중 가장 큰 차이값을 상기 코너점 회전 민감도로 도출하는 단계를 포함할 수 있다.
상기 차이값을 계산하는 단계는, 상기 입력 영상에서 상기 코너점을 일정 크기의 영상으로 자른 후 일정 각도로 회전한 영상으로 계산될 수 있다.
상기 코너점 회전 민감도는 하기 수식을 이용하여 계산되되,
Figure 112014010441481-pat00005
여기서,
Figure 112014010441481-pat00006
이고,
Figure 112014010441481-pat00007
이며,
Figure 112014010441481-pat00008
이고, i는 0 ~ 360도로 영상의 회전 각도를 나타내며,
Figure 112014010441481-pat00009
는 입력 영상의 각 픽셀을 나타내고,
Figure 112014010441481-pat00010
는 회전 영상의 각 픽셀을 나타내고, m과 n은 X축 및 Y축 픽셀을 나타낸다.
상기 특징점을 추출하는 단계는, 상기 코너점에 대해 상기 코너점 가중치와 상기 코너점 회전 민감도를 합산하는 단계; 및 상기 합산한 결과값이 최소인 적어도 코너점을 상기 특징점으로 추출하는 단계를 포함할 수 있다.
상기 특징점을 추출하는 단계는, 상기 분할된 영역별로 상기 합산한 결과값이 최소인 적어도 하나의 코너점을 상기 특징점으로 추출할 수 있다.
상기 특징점을 추출하는 단계 이후에, 상기 특징점과 다른 특징점을 연결한 에지 정보 및 상기 특징점의 주변 픽셀 정보를 특징점 패턴 정보로 생성하는 단계를 더 포함할 수 있다.
상기 객체를 인식하는 단계는, 상기 특징점 패턴 정보를 더 이용하여 상기 객체를 인식할 수 있다.
상기 주변 픽셀 정보는 상기 특징점을 기준으로 주변의 일정 크기의 픽셀값과 상기 픽셀값을 합산한 전체 픽셀값을 포함한다.
상기 객체를 인식하는 단계는, 상기 특징점의 주변 픽셀 정보를 기저장된 객체의 특징점의 주변 픽셀 정보와 1차 비교하여 오차범위 이내이면, 상기 에지 정보와 기저장된 객체의 에지 정보를 2차 비교하여 객체를 인식할 수 있다.
본 발명의 다른 측면에 따르면, 영상에서 코너점을 이용하여 객체를 인식할 수 있는 장치가 제공된다.
본 발명의 일 실시예에 따르면, 입력 영상에서 복수의 코너점을 검출하는 코너점 검출부; 상기 검출된 코너점에 대한 코너점 가중치 및 코너점 회전 민감도를 계산하고, 상기 계산된 코너점 가중치 및 코너점 회전 민감도를 이용하여 특징점을 추출하는 특징점 추출부; 및 상기 추출된 특징점을 이용하여 객체를 인식하는 단계를 포함하는 객체 인식 장치가 제공될 수 있다.
상기 특징점 추출부는, 상기 입력 영상을 복수의 영역으로 분할하고, 상기 분할된 영역의 에지 거리를 기반으로 상기 코너점에 대한 코너점 가중치를 각각 계산하고, 상기 입력 영상과 상기 입력 영상을 일정 각도 단위로 회전한 영상과의 차이값을 이용하여 코너점 회전 민감도를 계산할 수 있다.
본 발명의 일 실시예에 따른 객체 인식 방법 및 그 장치를 제공함으로써, 연산이 복잡하지 않으며, 움직임이 동반되는 객체의 특징을 빠르게 추출하여 실시간 처리가 가능한 이점이 있다.
도 1은 본 발명의 일 실시예에 따른 객체 인식 방법을 나타낸 순서도.
도 2 내지 도 4는 본 발명의 일 실시예에 따른 임계치 변화에 따라 검출되는 코너점의 변화를 설명하기 위해 도시한 도면.
도 5는 본 발명의 일 실시예에 따른 코너점 최적화를 설명하기 위해 도시한 도면.
도 6은 본 발명의 일 실시예에 따른 코너점 검출 결과를 예시한 도면.
도 7은 본 발명의 일 실시예에 따른 코너점 최적화를 수행한 결과를 도시한 도면.
도 8은 본 발명의 일 실시예에 따른 코너점 가중치 계산을 설명하기 위해 도시한 도면.
도 9는 본 발명의 일 실시예에 따른 회전 각도별 영상을 나타낸 도면.
도 10은 본 발명의 일 실시예에 따른 코너점을 이용하여 추출된 특징점을 검출한 결과를 나타낸 도면.
도 11은 본 발명의 일 실시예에 따른 객체 인식 장치의 내부 구성을 개략적으로 도시한 블록도.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 본 발명의 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 객체 인식 방법을 나타낸 순서도이고, 도 2 내지 도 4는 본 발명의 일 실시예에 따른 임계치 변화에 따라 검출되는 코너점의 변화를 설명하기 위해 도시한 도면이며, 도 5는 본 발명의 일 실시예에 따른 코너점 최적화를 설명하기 위해 도시한 도면이고, 도 6은 본 발명의 일 실시예에 따른 코너점 검출 결과를 예시한 도면이며, 도 7은 본 발명의 일 실시예에 따른 코너점 최적화를 수행한 결과를 도시한 도면이고, 도 8은 본 발명의 일 실시예에 따른 코너점 가중치 계산을 설명하기 위해 도시한 도면이며, 도 9는 본 발명의 일 실시예에 따른 회전 각도별 영상을 나타낸 도면이고, 도 10은 본 발명의 일 실시예에 따른 코너점을 이용하여 추출된 특징점을 검출한 결과를 나타낸 도면이다.
단계 110에서 객체 인식 장치(100)는 영상을 입력받는다.
예를 들어, 객체 인식 장치(100)는 카메라를 통해 객체를 촬영한 영상을 입력받을 수 있다.
단계 115에서 객체 인식 장치(100)는 입력된 영상을 그레이스케일 영상으로 변환한다.
예를 들어, 객체 인식 장치(100)는 칼라 영상의 각 픽셀의 각 성분값(예를 들어, R, G, B)을 미리 설정된 각 성분별 변환 가중치를 곱한 후 이를 합산하여 그레이스케일값으로 변환할 수 있다.
이외에도, 칼라 영상을 그레이스케일 영상으로 변환하는 방법은 매우 다양하며, 공지된 그레이스케일 영상으로 변환하는 다른 방법들도 제한없이 적용될 수 있다.
단계 120에서 객체 인식 장치(100)는 변환된 그레이스케일 영상에서 코너점을 검출한다. 예를 들어, 객체 인식 장치(100)는 변환된 그레이스케일 영상에서 모든 방향으로 밝기가 급격하게 변화는 픽셀을 코너점으로 검출할 수 있다.
본 발명의 일 실시예에 따른 객체 인식 장치(100)는 Moravec, 해리스-스티븐, Shi and Tomasi, FAST 등과 같이 공지된 알고리즘을 이용하여 코너점을 검출할 수 있다.
예를 들어, 객체 인식 장치(100)는 하기 수 1을 이용하여 각 픽셀에 대한 코너 응답함수 값을 도출할 수 있다.
Figure 112014010441481-pat00011
여기서, k는 상수값을 나타내고,
Figure 112014010441481-pat00012
는 2 x 2 행렬로 하기 수 2와 같다.
Figure 112014010441481-pat00013
여기서, I(x,y)는 그레이 레벨의 밀도(gray level intensity)를 나타낸다.
행렬
Figure 112014010441481-pat00014
의 두개의 고유값을
Figure 112014010441481-pat00015
과
Figure 112014010441481-pat00016
라고 하면, 두개의 고유값의 크기에 따라 픽셀이 평탄 영역인지 경계선인지 코너 포인트인지를 결정할 수 있다. 즉, 임의의 픽셀에서 행렬
Figure 112014010441481-pat00017
의 두개의 고유값이 크다면, 임의의 방향을 갖는 작은 변화는 그레이값의 변화로 나타나게 되며, 코너점의 경우 그레이값의 변화가 평탄한 영역에 비해 크게 나타나는 것을 알 수 있다. 또한,
Figure 112014010441481-pat00018
이고,
Figure 112014010441481-pat00019
를 나타낸다.
즉, 객체 인식 장치(100)는 그레이스케일로 변환된 영상의 모든 픽셀에 대해 코너 응답 함수값을 계산하고, 임계값을 조정하여 복수의 코너점을 추출할 수 있다.
도 2 내지 도 4에는 코너 응답 함수값에 대한 임계치 변화에 따른 코너점의 변경을 예시한 도면이다.
도 2 내지 도 4에서 도시된 바와 같이, 임계치가 변동되는 경우, 검출되는 코너점도 변경되는 것을 알 수 있다.
예를 들어, 도 2는 임계치를 1로 설정한 경우, 검출된 코너점을 도시한 도면이고, 도 3은 임계치를 56으로 설정한 경우 검출된 코너점을 도시한 도면이며, 도 3은 임계치를 89로 설정한 경우 검출된 코너점을 도시한 도면이다.
도 2에서 보여지는 바와 같이, 코너 응답 함수값의 임계치를 너무 작게 설정하는 경우 영상에서 코너점이 과도하게 검출되는 것을 알 수 있으며, 도 4에서 보여지는 바와 같이, 임계치를 너무 높게 설정하는 경우, 영상에서 코너점이 너무 적게 검출되는 것을 알 수 있다. 이에 따라, 객체 인식 장치(100)는 각 픽셀에 대한 코너 응답 함수값에 대한 임계치를 적정하게 조정하여 검출되는 코너점을 조정할 수 있다.
도 2 내지 도 4에서 보여지는 바와 같이, 임계치는 56, 66과 같이 중간값에 근접하도록 설정되는 경우 코너점이 적정하게 검출되는 것을 알 수 있다.
단계 125에서 객체 인식 장치(100)는 검출된 코너점에 대해 최적화를 수행한다.
도 2 내지 도 4에서 도시된 바와 같이, 영상에서 객체의 특정 위치에 대해 코너점이 복수개가 선정될 수 있다. 이에 따라, 객체 인식 장치(100)는 각 코너점을 중심으로 가중치 필터를 적용하여 코너점을 최적화할 수 있다. 여기서, 가중치 필터의 크기는 예를 들어, 5 x 5일 수 있다.
예를 들어, 객체 인식 장치(100)는 임계치를 동적으로 조정하여 5 x 5 픽셀 내부에 다른 코너점에 대한 중복을 확인한다. 즉, 객체 인식 장치(100)는 기준 임계치값(예를 들어, 제1 임계치값)에서 검출된 코너점을 기준으로, 5 x 5 내부에 최소한의 중복이 발생할 때까지 임계치값을 동적으로 조정하여 코너점을 최적화할 수 있다. 이를 통해, 객체로부터 검출된 코너점 중 객체 인식 가능성이 높은 코너점들만 남게 된다. 도 5에는 코너점을 최적화하는 방법이 예시되어 있다.
도 6에는 추출된 코너점이 예시되어 있으며, 추출된 코너점에 대해 최적화를 수행한 결과가 도 7에 예시되어 있다. 도 6 및 도 7에서 보여지는 바와 같이, 코너점에 대한 최적화를 수행함으로써 특정 영역에서의 중복 검출된 코너점을 조정할 수 있다.
다시, 도 1을 참조하면, 단계 130에서 객체 인식 장치(100)는 영상을 N개의 영역으로 분할한다. 여기서, N은 2이상의 자연수일 수 있다.
영상을 N개의 영역으로 분할하는 이유는 코너점을 특징점으로 추출시, 한 영역에 특징점이 과도하게 몰리는 것은 객체 인식 성능에 문제를 발생시킨다. 이에, 영상의 전체 영역에서 특징점이 고르게 분포되도록 하여 객체 인식 성능을 높이기 위해 영상을 N개의 영역으로 분할하여 특징점 추출을 위한 코너점을 조정할 수 있다.
단계 135에서 객체 인식 장치(100)는 분할된 각 영역에 분포된 각 코너점에 대한 가중치(이하, 코너점 가중치라 칭함)를 계산한다.
예를 들어, 객체 인식 장치(100)가 영상을 도 8에 도시된 바와 같이, 4분면으로 분할하였다고 가정하다. 이때, 가중치는 분할된 각 영역의 에지 거리(여기서, 에지 거리는 분할된 영역의 대각선 거리를 나타냄)와 각 코너점에서 에지로의 거리를 이용하여 각 코너점에 대한 코너점 가중치를 계산할 수 있다.
이를 수식으로 나타내면 수 3과 같다.
Figure 112014010441481-pat00020
여기서, i는 각 코너점을 나타내고,
Figure 112014010441481-pat00021
는 각 코너점에 대한 코너점 가중치를 나타내며,
Figure 112014010441481-pat00022
는 코너점이 위치된 영역의 대각선 길이를 나타내고,
Figure 112014010441481-pat00023
는 에지(코너점이 위치된 영역의 대각선)에서 각 코너점까지의 거리를 나타낸다.
단계 140에서 객체 인식 장치(100)는 코너점 회전 민감도를 각각 도출한다.
객체 인식 장치(100)는 검출된 코너점에 대해 각 코너점이 회전시 발생할 픽셀간의 색간섭 효과가 최소인 코너점을 특징점으로 추출하기 위해 코너점 회전 민감도를 도출한다.
예를 들어, 객체 인식 장치(100)는 입력 영상과 입력 영상을 일정 각도 단위로 회전한 회전 영상의 차이값(픽셀값의 차이값)을 도출한 후 차이값이 가장 큰 차이값을 코너점 회전 민감도로 도출할 수 있다.
이때, 객체 인식 장치(100)는 영상에서 각 코너점을 일정 크기(예를 들어, 30 x 30)로 자른 후 잘라낸 각 영상에 대한 코너점 회전 민감도를 각각 도출할 수 있다.
이를 수식으로 나타내면, 수 4와 같다.
Figure 112014010441481-pat00024
여기서,
Figure 112014010441481-pat00025
이고,
Figure 112014010441481-pat00026
이며,
Figure 112014010441481-pat00027
이고, i는 0 ~ 360도로 영상의 회전 각도를 나타낸다. 또한,
Figure 112014010441481-pat00028
는 입력 영상의 각 픽셀을 나타내고,
Figure 112014010441481-pat00029
는 회전 영상의 각 픽셀을 나타낸다. m과 n은 X축 및 Y축 픽셀을 나타낸다.
이와 같이, 객체 인식 장치(100)는 입력 영상에서 각 코너점을 일정 크기로 자른 후 회전된 영상과 입력 영상과의 차이를 이용하여 코너점 회전 민감도를 각각 도출할 수 있다.
도 9에는 입력 영상을 30도씩 회전한 경우 코너점의 픽셀 변화를 도시한 도면이다.
객체 인식 장치(100)는 도 9에 도시된 바와 같이, 입력 영상을 30도씩 회전하여 11개 영상에 대해 입력 영상(0도 영상)과 회전된 영상간의 차이값(픽셀 차이값)을 도출하여 가장 큰 차이값을 코너점 회전 민감도로써 도출할 수 있다.
단계 145에서 객체 인식 장치(100)는 각 코너점에 코너점 가중치 및 코너점 회전 민감도를 이용하여 특징점을 추출한다.
이를 수식으로 나타내면 수 5와 같다.
Figure 112014010441481-pat00030
일반적으로, 특징점은 영상 회전에 따른 변화가 적어야 하며, 영상 전체에 특징점이 고르게 퍼져 있는 경우 객체 인식의 좋은 결과를 얻을 수 있다. 따라서, 객체 인식 장치(100)는 코너점 가중치와 코너점 회전 민감도를 합산한 후 임계치 이하인 코너점들을 특징점으로 추출할 수 있다.
예를 들어, 객체 인식 장치(100)는 각 코너점에 코너점 가중치와 코너점 회전 민감도를 합산한 후 최소값을 찾아 특징점으로 추출할 수 있다.
도 10에는 도 7의 코너점들 중 추출된 특징점이 예시되어 있다.
도 10에는 각 분할된 분면(4분면)에서 각각 하나의 특징점이 추출된 일 예가 도시되어 있다.
단계 150에서 객체 인식 장치(100)는 추출된 각 특징점에 대한 패턴 정보(특징점 패턴 정보라 칭하기로 함)를 생성한다.
여기서, 특징점 패턴 정보는 해당 특징점과 다른 특징점과의 에지 정보, 해당 특징점 주변 픽셀 정보를 포함한다. 예를 들어, 에지 정보는 해당 특징점과 다른 특징점들을 연결한 에지 정보일 수 잇다. 또한, 특징점 주변 픽셀 정보는 특징점을 기준으로 일정 크기(예를 들어, 25 x 25) 주변 픽셀값들과 이를 합산한 전체 픽셀값을 포함할 수 있다.
단계 155에서 객체 인식 장치(100)는 추출된 각 특징점을 기반으로 특징점 패턴 정보와 기저장된 특징점 패턴 정보를 비교하여 객체를 인식한다.
여기서, 각 객체에 대한 적어도 하나의 특징점 및 특징점 패턴 정보는 도 1의 단계 110 내지 단계 155와 동일한 방법으로 도출되어 사전 저장되므로 이에 대한 별도의 설명은 생략하기로 한다.
도 11은 본 발명의 일 실시예에 따른 객체 인식 장치의 내부 구성을 개략적으로 도시한 블록도이다.
도 11을 참조하면, 본 발명의 일 실시예에 따른 객체 인식 장치(100)는 입력부(1110), 전처리부(1115), 코너점 검출부(1120), 특징점 추출부(1125), 객체 인식부(1130)를 포함하여 구성된다.
입력부(1110)는 입력 영상을 입력받기 위한 수단이다.
예를 들어, 입력부(1110)는 카메라 등을 통해 촬영된 영상을 입력받을 수 있다.
전처리부(1115)는 객체 인식을 위한 특징점 추출을 위해, 입력 영상을 그레이스케일 영상으로 변환하기 위한 수단이다.
코너점 검출부(1120)는 입력 영상에서 Shi-tomasi 코너 검출 알고리즘을 기반으로 복수의 코너점을 검출하기 위한 수단이다. 예를 들어, 코너점 검출부(1120)는 코너 응답 함수값을 도출한 후 코너 응답 함수값을 기반으로 임계치 이상인 픽셀을 대상으로 코너점을 검출할 수 있다.
특징점 추출부(1125)는 검출된 코너점을 이용하여 적어도 하나의 특징점을 추출하기 위한 수단이다.
이를 위해, 특징점 추출부(1125)는 우선 검출된 코너점에 대해 최적화를 수행할 수 있다. 이는 이미 전술한 바와 동일하므로 중복되는 설명은 생략하기로 한다.
또한, 특징점 추출부(1125)는 입력 영상을 N개의 영역으로 분할하고, 분할된 영역마다 에지 거리를 도출한 후 이를 이용하여 각 코너점에 대한 코너점 가중치를 각각 계산할 수 있다. 이어, 특징점 추출부(1125)는 영상 회전에 따른 각 코너점에 대한 색간섭 효과를 확인하기 위해 일정 각도 단위로 회전한 영상과 입력 영상간의 픽셀값의 차이값을 계산하여 코너점 회전 민감도를 도출할 수 있다.
이어, 특징점 추출부(1125)는 도출된 코너점 가중치와 코너점 회전 민감도를 합산한 후 각 분할된 영역에서 합산된 결과값이 최소인 적어도 하나의 코너점을 특징점으로 추출할 수 있다.
특징점 추출부(1125)는 특징점 추출이 완료된 후 추출된 특징점에 대한 특징점 패턴 정보를 생성할 수 있다. 여기서, 특징점 패턴 정보는 이미 전술한 바와 같이, 하나의 특징점과 다른 특징점을 연결한 에지 정보, 해당 특징점 주변 픽셀 정보를 포함한다. 주변 픽셀 정보는 해당 특징점 주변의 일정 크기의 픽셀값과 해당 픽셀값들을 모두 합산한 전체 픽셀값을 포함할 수 있다.
객체 인식부(1130)는 추출된 특징점과 DB에 저장된 각 객체에 대한 특징점을 이용하여 객체를 인식하기 위한 수단이다.
객체 인식부(1130)는 추출된 특징점에 대한 특징점 패턴 정보와 DB에 기저장된 특징점 패턴 정보를 비교하여 객체를 인식할 수 있다.
객체 인식부(1130)는 객체 인식 효율을 높이기 위해 특징점의 주변 픽셀 정보를 이용하여 유사도가 높은 특징점을 대상으로 에지 정보를 비교하여 일치하는 경우, 객체를 인식할 수 있다.
이를 위해, 사전에 각 객체별로 특징점과 특징점 패턴 정보가 매핑되어 저장되어 있음은 당연하다. 특징점과 특징점 패턴 정보를 추출/생성하는 방법은 도 1에서 설명한 바와 동일하므로 중복되는 설명은 생략하기로 한다.
한편, 본 발명의 실시예에 따른 영상의 코너점을 이용하여 객체를 인식할 수 있는 방법은 다양한 전자적으로 정보를 처리하는 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 저장 매체에 기록될 수 있다. 저장 매체는 프로그램 명령, 데이터 파일, 데이터 구조등을 단독으로 또는 조합하여 포함할 수 있다.
저장 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 저장 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 전자적으로 정보를 처리하는 장치, 예를 들어, 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 객체 인식 장치
1110: 입력부
1115: 전처리부
1120: 코너점 검출부
1125: 특징점 추출부
1130: 객체 인식부

Claims (18)

  1. 입력 영상에서 복수의 코너점을 검출하는 단계;
    상기 입력 영상의 에지 거리를 기반으로 상기 검출된 코너점에 대한 코너점 가중치를 각각 계산하는 단계;
    상기 입력 영상과 상기 입력 영상을 회전한 회전 영상과의 차이를 이용하여 코너점 회전 민감도를 계산하는 단계;
    상기 코너점 가중치와 상기 코너점 회전 민감도를 이용하여 상기 검출된 코너점들 중 적어도 하나를 특징점으로 추출하는 단계; 및
    상기 추출된 특징점을 이용하여 객체를 인식하는 단계를 포함하는 객체 인식 방법.
  2. 제1 항에 있어서,
    상기 코너점에 대한 가중치를 계산하는 단계 이전에,
    상기 입력 영상을 N개의 영역으로 분할하는 단계를 더 포함하는 객체 인식 방법.
  3. 제2 항에 있어서,
    상기 에지 거리는 상기 분할된 영역의 대각선 거리인 것을 특징으로 하는 객체 인식 방법.
  4. 제1 항에 있어서,
    상기 코너점을 검출하는 단계 이전에,
    상기 입력 영상을 그레이스케일 영상으로 변환하는 단계를 선행하는 것을 특징으로 하는 객체 인식 방법.
  5. 제2 항에 있어서,
    상기 코너점 가중치를 계산하는 단계는,
    상기 분할된 영역의 에지 거리와 상기 코너점에서 상기 에지까지의 거리를 이용하여 계산되는 것을 특징으로 하는 객체 인식 방법.
  6. 제1 항에 있어서,
    상기 코너점 가중치는 하기 수식을 이용하여 계산되는 것을 특징으로 하는 객체 인식 방법.
    Figure 112014010441481-pat00031

    여기서, i는 각 코너점을 나타내고,
    Figure 112014010441481-pat00032
    는 각 코너점에 대한 코너점 가중치를 나타내며,
    Figure 112014010441481-pat00033
    는 코너점이 위치된 영역의 대각선 길이를 나타내고,
    Figure 112014010441481-pat00034
    는 코너점에서 에지까지 거리를 나타냄.
  7. 제1 항에 있어서,
    상기 코너점 회전 민감도를 계산하는 단계는,
    상기 입력 영상을 일정 각도 단위로 회전한 영상과 상기 입력 영상간의 픽셀값의 차이값을 계산하는 단계; 및
    상기 계산된 차이값 중 가장 큰 차이값을 상기 코너점 회전 민감도로 설정하는 단계를 포함하는 객체 인식 방법.
  8. 제7 항에 있어서,
    상기 차이값을 계산하는 단계는,
    상기 입력 영상에서 상기 코너점을 일정 크기의 영상으로 자른 후 일정 각도로 회전한 영상으로 계산되는 것을 특징으로 하는 객체 인식 방법.
  9. 제7 항에 있어서,
    상기 코너점 회전 민감도는 하기 수식을 이용하여 계산되는 것을 특징으로 하는 객체 인식 방법.
    Figure 112014010441481-pat00035

    여기서,
    Figure 112014010441481-pat00036
    이고,
    Figure 112014010441481-pat00037
    이며,
    Figure 112014010441481-pat00038
    이고, i는 0 ~ 360도로 영상의 회전 각도를 나타내며,
    Figure 112014010441481-pat00039
    는 입력 영상의 각 픽셀을 나타내고,
    Figure 112014010441481-pat00040
    는 회전 영상의 각 픽셀을 나타내고, . m과 n은 X축 및 Y축 픽셀을 나타냄.
  10. 제2 항에 있어서,
    상기 특징점을 추출하는 단계는,
    상기 코너점에 대해 상기 코너점 가중치와 상기 코너점 회전 민감도를 합산하는 단계; 및
    상기 합산한 결과값이 최소인 적어도 코너점을 상기 특징점으로 추출하는 단계를 포함하는 것을 특징으로 하는 객체 인식 방법.
  11. 제10 항에 있어서,
    상기 특징점을 추출하는 단계는,
    상기 N개의 분할된 영역 각각에 대한 상기 합산한 결과값이 최소인 적어도 하나의 코너점을 상기 특징점으로 추출하는 것을 특징으로 하는 객체 인식 방법.
  12. 제1 항에 있어서,
    상기 특징점을 추출하는 단계 이후에,
    상기 특징점과 다른 특징점을 연결한 에지 정보 및 상기 특징점의 주변 픽셀 정보를 특징점 패턴 정보로 생성하는 단계를 더 포함하는 객체 인식 방법.
  13. 제12 항에 있어서,
    상기 객체를 인식하는 단계는,
    상기 특징점 패턴 정보를 더 이용하여 상기 객체를 인식하는 것을 특징으로 하는 객체 인식 방법.
  14. 제12 항에 있어서,
    상기 주변 픽셀 정보는 상기 특징점을 기준으로 주변의 일정 크기의 픽셀값과 상기 픽셀값을 합산한 전체 픽셀값인 것을 특징으로 하는 객체 인식 방법.
  15. 제12 항에 있어서,
    상기 객체를 인식하는 단계는,
    상기 특징점의 주변 픽셀 정보를 기저장된 객체의 특징점의 주변 픽셀 정보와 1차 비교하여 오차범위 이내이면, 상기 에지 정보와 기저장된 객체의 에지 정보를 2차 비교하여 객체를 인식하는 것을 특징으로 하는 객체 인식 방법.
  16. 제1 항 내지 제15 항 중 어느 하나의 항에 따른 방법을 수행하기 위한 프로그램 코드를 기록한 기록매체 제품.
  17. 입력 영상에서 복수의 코너점을 검출하는 코너점 검출부;
    상기 검출된 코너점에 대한 코너점 가중치 및 코너점 회전 민감도를 계산하고, 상기 계산된 코너점 가중치 및 코너점 회전 민감도를 이용하여 특징점을 추출하는 특징점 추출부; 및
    상기 추출된 특징점을 이용하여 객체를 인식하는 단계를 포함하는 객체 인식 장치.
  18. 제17 항에 있어서,
    상기 특징점 추출부는,
    상기 입력 영상을 복수의 영역으로 분할하고, 상기 분할된 영역의 에지 거리를 기반으로 상기 코너점에 대한 코너점 가중치를 각각 계산하고,
    상기 입력 영상과 상기 입력 영상을 일정 각도 단위로 회전한 영상과의 차이값을 이용하여 코너점 회전 민감도를 계산하는 것을 특징으로 하는 객체 인식 장치.
KR1020140012145A 2014-02-03 2014-02-03 객체 인식 방법 및 그 장치 KR101453713B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140012145A KR101453713B1 (ko) 2014-02-03 2014-02-03 객체 인식 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140012145A KR101453713B1 (ko) 2014-02-03 2014-02-03 객체 인식 방법 및 그 장치

Publications (1)

Publication Number Publication Date
KR101453713B1 true KR101453713B1 (ko) 2014-10-22

Family

ID=51998483

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140012145A KR101453713B1 (ko) 2014-02-03 2014-02-03 객체 인식 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR101453713B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113744177A (zh) * 2020-05-28 2021-12-03 中科寒武纪科技股份有限公司 图像的角点检测方法、装置和存储介质
CN114445568A (zh) * 2021-12-21 2022-05-06 武汉中海庭数据技术有限公司 一种直行转弯复合箭头的检测提取方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050022306A (ko) * 2003-08-29 2005-03-07 삼성전자주식회사 영상에 기반한 사실감 있는 3차원 얼굴 모델링 방법 및 장치
KR100691855B1 (ko) 2005-12-29 2007-03-12 고려대학교 산학협력단 영상정보의 특징 추출장치 및 그 방법
KR100785339B1 (ko) 2006-11-16 2007-12-17 중앙대학교 산학협력단 형상인식장치 및 방법
KR20110076723A (ko) * 2009-12-29 2011-07-06 한국전자통신연구원 시선 추적 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050022306A (ko) * 2003-08-29 2005-03-07 삼성전자주식회사 영상에 기반한 사실감 있는 3차원 얼굴 모델링 방법 및 장치
KR100691855B1 (ko) 2005-12-29 2007-03-12 고려대학교 산학협력단 영상정보의 특징 추출장치 및 그 방법
KR100785339B1 (ko) 2006-11-16 2007-12-17 중앙대학교 산학협력단 형상인식장치 및 방법
KR20110076723A (ko) * 2009-12-29 2011-07-06 한국전자통신연구원 시선 추적 장치 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113744177A (zh) * 2020-05-28 2021-12-03 中科寒武纪科技股份有限公司 图像的角点检测方法、装置和存储介质
CN114445568A (zh) * 2021-12-21 2022-05-06 武汉中海庭数据技术有限公司 一种直行转弯复合箭头的检测提取方法及系统

Similar Documents

Publication Publication Date Title
US10453204B2 (en) Image alignment for burst mode images
CN110807473B (zh) 目标检测方法、装置及计算机存储介质
KR101548928B1 (ko) 불변적인 시각적 장면 및 객체 인식
KR101988384B1 (ko) 이미지 매칭 장치, 이미지 매칭 시스템 및 이미지 매칭 방법
KR101929560B1 (ko) 이미지 에지 검출 방법 및 장치
KR102330322B1 (ko) 영상 특징 추출 방법 및 장치
US8538164B2 (en) Image patch descriptors
KR101533925B1 (ko) 적외선 영상에서 소형 표적 검출 방법 및 그 장치
JP6432162B2 (ja) 画像照合方法、画像照合装置、モデルテンプレート生成方法、モデルテンプレート生成装置、およびプログラム
US9626552B2 (en) Calculating facial image similarity
KR101362631B1 (ko) 머리 인식 방법
US9245198B2 (en) Object recognition by comparison of patterns against map of image
KR102369412B1 (ko) 홍채 인식 장치 및 방법
KR20190053602A (ko) 얼굴 인증 방법 및 장치
CN108875504B (zh) 基于神经网络的图像检测方法和图像检测装置
US9489742B2 (en) Apparatus, method and computer-readable recording medium for detecting moving object using depth map
CN108875506B (zh) 人脸形状点跟踪方法、装置和系统及存储介质
KR20200020107A (ko) 기계학습을 이용한 획 기반 수기 서명 인증 방법 및 시스템
KR101453713B1 (ko) 객체 인식 방법 및 그 장치
KR101931271B1 (ko) 싱글 포워드 패스를 이용한 얼굴 인식 방법 및 이를 위한 장치
Cannas et al. Panchromatic imagery copy-paste localization through data-driven sensor attribution
JP2024018980A (ja) 顔認識におけるラップされた攻撃の検出
KR101482850B1 (ko) 손 모양 인식 방법 및 그 장치
KR102564477B1 (ko) 객체 검출 방법 및 장치
KR102480973B1 (ko) 물체 존재 여부 판단 방법, 장치, 시스템 및 컴퓨터 프로그램

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee