KR101169340B1 - 영상 처리 시스템에서의 객체 인식 방법 및 시스템 - Google Patents

영상 처리 시스템에서의 객체 인식 방법 및 시스템 Download PDF

Info

Publication number
KR101169340B1
KR101169340B1 KR1020100051308A KR20100051308A KR101169340B1 KR 101169340 B1 KR101169340 B1 KR 101169340B1 KR 1020100051308 A KR1020100051308 A KR 1020100051308A KR 20100051308 A KR20100051308 A KR 20100051308A KR 101169340 B1 KR101169340 B1 KR 101169340B1
Authority
KR
South Korea
Prior art keywords
feature information
extracted
extracting
recognizing
global
Prior art date
Application number
KR1020100051308A
Other languages
English (en)
Other versions
KR20110131727A (ko
Inventor
이민호
우정우
이원오
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Priority to KR1020100051308A priority Critical patent/KR101169340B1/ko
Publication of KR20110131727A publication Critical patent/KR20110131727A/ko
Application granted granted Critical
Publication of KR101169340B1 publication Critical patent/KR101169340B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details

Abstract

전역 및 지역 특징 정보를 동시에 고려함으로써 객체의 일부가 가려지거나, 객체가 이동하거나 또는 객체의 크기가 변화되어도 객체를 인식할 수 있는 본 발명의 일 측면에 따른 영상 처리 시스템에서의 객체 인식 방법은 입력 영상에 포함된 객체의 후보 영역으로부터 전역 특징(global feature) 정보를 추출하는 단계; 상기 추출된 전역 특징정보를 이용하여 상기 객체를 인식하는 단계; 상기 인식된 객체가 해당 객체가 아닌 경우, 상기 후보 영역으로부터 지역 특징(local feature) 정보를 추출하는 단계; 및 상기 추출된 지역 특징 정보를 이용하여 상기 객체를 재인식하는 단계를 포함한다.

Description

영상 처리 시스템에서의 객체 인식 방법 및 시스템{Method and System for Recognizing an Object in an Image Processing System}
본 발명은 영상 처리에 관한 것으로서 보다 상세하게는 전역 및 지역 특징 정보를 이용하여 입력 영상에 포함된 객체를 인식하는 영상 처리 시스템에서의 객체 인식 방법 및 시스템에 관한 것이다.
촬영 장치 예를 들어, 카메라, 감시 카메라, 휴대용 단말기 등을 통해 획득한 정지 영상이나 동영상에서 객체를 인식하는 기법에는 사용자의 관심이 높은 얼굴이나 자동차, 자연물 등에 대한 객체 인식 기법 등이 있다.
객체 인식 기법에는 객체를 포함하는 영상을 분석하는데 일반적으로 사용되는 두 가지 방법으로 전역 특징 기반 기법과 지역 특징 기반 기법이 있다.
전역 특징 기반 기법은 객체 영상을 표현할 수 있는 간단한 방법으로, 전역 특징 기반 기법이 후보 영역 인식에 민감한 반면에, 지역 특징 기반 기법은 객체의 이동(translations) 및 가려짐(occlusions)에 강건하다.
그러나, 객체 인식 기법으로 전역 또는 지역 특징 정보 한 가지만을 이용하여 왔기 때문에 실제 영상으로부터 객체의 인식이 제한적이며, 객체의 크기 변화, 객체의 이동, 가려짐 등의 다양한 환경 변화에 의해 객체 인식의 신뢰도가 떨어지는 문제점이 있다.
본 발명은 상술한 문제점을 해결하기 위한 것으로서, 전역 및 지역 특징 정보를 동시에 고려함으로써 실제 영상으로부터 객체를 인식할 수 있는 영상 처리 시스템에서의 객체 인식 방법 및 시스템을 제공하는 것을 기술적 과제로 한다.
또한, 본 발명은 전역 및 지역 특징 정보를 동시에 고려함으로써 객체의 일부가 가려지거나, 객체가 이동하거나 또는 객체의 크기가 변화되어도 객체를 인식할 수 있는 영상 처리 시스템에서의 객체 인식 방법 및 시스템을 제공하는 것을 다른 기술적 과제로 한다.
상술한 목적을 달성하기 위한 본 발명의 일 측면에 따른 영상 처리 시스템에서의 객체 인식 방법은 입력 영상에 포함된 객체의 후보 영역으로부터 전역 특징(global feature) 정보를 추출하는 단계; 상기 추출된 전역 특징정보를 이용하여 상기 객체를 인식하는 단계; 상기 인식된 객체가 해당 객체가 아닌 경우, 상기 후보 영역으로부터 지역 특징(local feature) 정보를 추출하는 단계; 및 상기 추출된 지역 특징 정보를 이용하여 상기 객체를 재인식하는 단계를 포함한다.
일 실시예에 있어서, 상기 전역 특징 정보를 추출하는 단계는, 상기 후보 영역으로부터 방향 맵(orientation map)을 추출하는 단계; 및 상기 추출된 방향 맵을 이용하여 상기 전역 특징 정보를 추출하는 단계를 포함하는 것을 특징으로 한다.
여기서, 상기 방향 맵은, 소벨 필터(sobel filter)를 이용하여 추출되는 것을 특징으로 한다.
또한, 상기 전역 특징 정보는, 상기 방향 맵으로부터 C1 특징(feature)을 변형한 방향성분 특징 정보를 이용하는 GIST 알고리즘을 이용하여 추출되는 것을 특징으로 한다.
여기서, 상기 방향성분 특징 정보는 상기 방향 맵으로부터 생성되는 것을 특징으로 한다.
일 실시예에 있어서, 상기 지역 특징 정보를 추출하는 단계는, 상기 후보 영역으로부터 상향식 선택적 주의 집중 모델을 이용하여 특징점을 추출하는 단계; 및 상기 추출된 특징점의 방향 맵을 이용하여 상기 지역 특징 정보를 추출하는 단계를 포함하는 것을 특징으로 한다.
일 실시예에 있어서, 상기 객체를 인식 및 재인식하는 단계는, SVM(Support Vector Machine)을 이용하여 상기 추출된 전역 특징 정보 및 지역 특징 정보를 분류하고, 상기 분류된 전역 특징 정보 및 지역 특징 정보로부터 상기 객체를 인식 및 재인식을 하는 것을 특징으로 한다.
상술한 목적을 달성하기 위한 본 발명의 다른 측면에 따른 영상 처리 시스템에서의 객체 인식 시스템은 입력 영상에 포함된 객체의 후보 영역으로부터 전역 특징(global feature) 정보를 추출하고, 상기 추출된 전역 특징 정보를 이용하여 상기 객체를 인식하는 객체 인식부; 상기 인식된 객체가 해당 객체인지 여부를 판단하는 객체 판단부; 및 상기 인식된 객체가 상기 해당 객체가 아닌 경우, 상기 후보 영역으로부터 지역 특징(local feature) 정보를 추출하고, 상기 추출된 지역 특징 정보를 이용하여 상기 객체를 재인식하는 객체 재인식부를 포함한다.
일 실시예에 있어서, 상기 객체 인식부는, 상기 후보 영역으로부터 방향 맵(orientation map)을 추출하고, 상기 추출된 방향 맵을 이용하여 상기 전역 특징 정보를 추출하는 것을 특징으로 한다.
여기서, 상기 방향 맵은, 소벨 필터(sobel filter)를 이용하여 추출되는 것을 특징으로 한다.
또한, 상기 전역 특징 정보는, 상기 방향 맵으로부터 윤곽선의 방향성분 특징 정보를 이용하는 C1 특징(feature)을 변형한 방향성분 특징 정보를 이용하는 GIST 알고리즘을 이용하여 추출되는 것을 특징으로 한다.
일 실시예에 있어서, 상기 객체 재인식부는, 상기 후보 영역으로부터 상향식 선택적 주의 집중 모델을 이용하여 특징점을 추출하고, 상기 추출된 특징점의 방향 맵을 이용하여 상기 지역 특징 정보를 추출하는 것을 특징으로 한다.
일 실시예에 있어서, 상기 객체 인식부 및 상기 객체 재인식부는, SVM(Support Vector Machine)을 이용하여 상기 추출된 전역 특징 정보 또는 지역 특징 정보를 분류하고, 상기 분류된 전역 특징 정보 또는 지역 특징 정보로부터 상기 객체를 인식 또는 재인식을 하는 것을 특징으로 하는 영상 처리 시스템에서의 객체 인식 방법.
본 발명에 따르면, 전역 및 지역 특징 정보를 동시에 고려함으로써 실제 영상으로부터 객체를 인식할 수 있는 효과가 있다.
또한, 본 발명에 따르면, 전역 및 지역 특징 정보를 동시에 고려함으로써 객체의 일부가 가려지거나, 객체가 이동하거나 또는 객체의 크기가 변화되어도 객체를 인식할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 영상 처리 시스템에서의 객체 인식 시스템의 개략적인 블럭도이다.
도 2는 본 발명의 일 실시예에 따른 객체 인식부에서 전역 특징 정보를 추출하는 구현예를 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 객체 재인식부에서 지역 특징 정보를 추출하기 위해 돌출 영역으로부터 지역 특징 정보를 추출하는 구현예를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 객체 인식 시스템과 종래 기술에 따른 전역 특징 정보만을 이용하는 객체 인식 시스템과의 객체 인식률을 비교한 그래프이다.
도 5는 본 발명의 일 실시예에 따른 영상 처리 시스템에서의 객체 인식 방법을 보여주는 플로우차트이다.
이하 첨부된 도면을 참조하여 본 발명의 실시예에 대해 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 영상 처리 시스템에서의 객체 인식 시스템의 개략적인 블럭도이다. 도 1에 도시된 객체 인식 시스템(100)은 객체 후보 영역 입력부(110), 객체 인식부(120), 객체 판단부(130), 객체 재인식부(140) 및 최종 객체 출력부(150)를 포함한다.
객체 후보 영역 입력부(110)는 객체 후보 영역 검출 시스템(미도시)에 의해 검출된 객체의 후보 영역에 대한 정보를 입력받는다.
여기서, 객체 후보 영역 검출 시스템은 촬영부에 의해 촬영된 정지 또는 동영상의 입력 영상에 포함된 객체의 후보 영역을 검출하고, 검출된 후보 영역에 대한 정보를 생성한다. 본 발명의 일 실시예에 따르면 객체 후보 영역 검출 시스템이 객체 인식 시스템의 외부 시스템으로 구현되어 있으나, 본 발명의 다른 실시예에 따르면, 객체 후보 영역 검출 시스템과 객체 인식 시스템이 하나의 시스템으로 구현될 수 있다.
또한, 객체 후보 영역 검출 시스템은 입력 영상에 포함된 객체의 후보 영역을 검출하고, 검출된 객체의 후보 영역에 대한 정보를 생성한다. 이를 위해 본 발명의 일 실시예에 따르면, 객체 후보 영역 검출 시스템은 촬영부, 영상 입력부, 영상 처리부를 포함할 수 있으며, 본 발명은 이에 국한되지 않고, 다양하게 시스템 구현이 가능하다.
촬영부는 정지 또는 동영상을 촬영하고, 촬영한 영상을 영상 입력부로 제공한다. 이를 위해, 촬영부는 촬영을 위한 렌즈, 빛의 양을 조절하기 위한 조리개 등으로 구성될 수 있다. 또한, 촬영부는 감시 카메라, 디지털 카메라, 휴대폰 단말기용 카메라 등 다양한 촬영 장치일 수 있다.
영상 입력부는 촬영부에 의해 촬영된 영상을 수신하며, 수신한 입력 영상을 전기적 신호로 변환하여 영상 처리부로 제공한다. 한편, 영상 입력부는 CCD(Charge Coupled Diode)나 CMOS 이미지 센서로 구성될 수 있거나, 외로부터 영상을 수신하는 수신부로 구성될 수 있다.
영상 처리부는 영상 입력부로부터 제공된 입력 영상에 포함된 객체의 후보 영역을 검출하며, 검출된 객체의 후보 영역을 레이블링하여 후보 영역에 대한 정보를 생성할 수 있다.
본 발명의 일 실시예에 따른 영상 시스템에서의 객체 인식 시스템(100)은 전역 특징 기반 기법은 후보 영역 인식에 민감한 반면에, 지역 특징 기반 기법은 객체의 이동 및 가려짐에 강건하기 때문에, 객체의 후보 영역으로부터 전역 특징 정보 및 지역 특징 정보를 모두 추출하여 객체를 인식하는 것이다.
객체 인식부(120)는 입력 영상에 포함된 객체의 후보 영역으로부터 전역 특징(global feature) 정보를 추출하고, 추출된 전역 특징 정보를 이용하여 객체를 인식한다.
이는, 전역 특징 기반 기법이 후보 영역 인식에 민감하기 때문에, 객체가 잘 구분(segment)되어 있는 경우, 지역 특징 기반 기법보다는 전역 특징 기반 기법이 더 신뢰할 만한 기능을 수행하기 때문이다.
일 실시예에 있어서, 객체 인식부(120)는 객체의 후보 영역으로부터 방향 맵(orientation map)을 추출하고, 추출된 방향 맵을 이용하여 전역 특징 정보를 추출한다. 여기서, 방향 맵은 소벨 필터(sobel filter)를 이용하여 추출될 수 있다.
여기서, 소벨 필터는 윤곽선을 검출하는 필터로서, 윤곽선 검출은 미분 연산자에 의한 밝기 값의 변화를 이용하여 찾아내는 것인데, 편미분 연산을 이용하여 미분 값을 구하기도 한다. 하지만, 직접적인 계산보다는 마스크를 이용하여 빠른 연산을 하는 것이 더욱 효과적일 수 있다. 마스크를 이용한 연산의 특징은 마스크 내의 모든 픽셀의 합은 '0'이라는 점이다. 소벨 필터는 비선형 연산자로서 사용하는 마스크 창(Mask Window)영역의 양 끝단에 속한 화소들 사이의 합의 차이를 구한 후 이를 수평과 수직 방향에 대하여 평균 크기를 구함으로써 경계 부위를 강조하는 기능을 수행한다. 소벨 필터는 일반적으로 3×3 크기의 창으로 정의될 수 있으며, 잡음에 강하고 굵은 영상을 나타내는 특성을 가지고 있다.
일 실시예에 있어서, 객체 인식부(120)는 방향 맵으로부터 C1 특징(feature)을 변형한 방향성분 특징 정보를 이용하는 GIST 알고리즘을 이용하여 전역 특징 정보를 추출한다. 다시 말해, 방향 맵으로부터 윤곽선의 방향성분 특징정보를 이용하는 수정된 GIST 알고리즘을 이용하여 전역 특징 정보를 추출하는 것이다.
기존의 방향 특징 추출 방법 중의 하나로 HMAX 모델이 있는데, 이 모델은 Riesenhunber과 Poggio(1999)에 의해 제안되었다. 이러한, HMAX 모델은 Hubel과 Wiesel의 논문(1968)에 기반한 V1 단순(simple) 및 복합(complex) 세포(cells)와 유사하게 명명된 S1, C1, S2 및 C2로 레이블(label)된 4개의 계층적 피드 포워드 레이어(hierarchical feed-forward layers)로 구성되며, 생물학적으로 인간의 시각령(visual cortex) 메커니즘에 기반하고 있다. C1 특징은 스케일(scale) 및 객체의 이동(translation)에 강건한 특성을 가지고 있는 것으로 알려져 있다.
또한, GIST 알고리즘이란 Torralba and A. Oliva(2006)에 의해 제안된 알고리즘으로, 일반적인 GIST 알고리즘은 영상의 배경 내에서 가려짐(occlusion) 및 혼잡(clutter)에 매우 민감한 특성을 가지고 있다.
그러나, 본 발명의 일 실시예에 따른 객체 인식부(120)는 일반적인 GIST 알고리즘이 아닌, C1 특징을 변형한 방향성분 특징 정보를 이용하는 GIST 알고리즘(이하 '변형된 GIST 알고리즘'이라 함)을 이용하고 있다.
구체적으로, 객체 인식부(120)는 입력 영상에 포함된 객체의 후보 영역의 의미적 정보(semantic information)를 고려하기 위해, 입력 영상을 4×4 서브 영역들(sub-regions)로 분할(divide)하고, 방향성분 특징정보의 3개의 계층(layers)은 각각의 서브 영역 내에서 다양한 방향들과 스케일을 가지고 있는 소벨 필터(Sobel filter)를 이용하여 생성한다.
일 실시예에 있어서, 방향성분 특징 정보를 생성하기 위해서는, 먼저 객체 인식부(120)는 V1 단순 세포(simple cells)에 대응되는 방향 맵(orientation map)을 추출한다. 방향 맵은 입력 영상을 다양한 스케일을 가진 소벨 필터를 이용함으로써 획득될 수 있다.
본 발명의 일 실시예에 따른 객체 인식부(120)는 예를 들어, 3×3, 5×5, 7×7, 9×9, 11×11, 13×13과 같은 5개의 다른 스케일을 가진 소벨 필터를 사용한다. 8개의 방향 정보로 구성된 제1계층(Layer 1)은 소벨 필터의 스케일이 각각 3×3, 5×5일 경우 계산되며, 제2계층(Layer 2)는 소벨 필터의 스케일이 각각 7×7, 19×9일 경우 계산되며, 제3계층(Layer 3)는 소벨 필터의 스케일이 각각 11×11, 13×13일 경우 계산된다.
또한, 방향성분 특징 정보를 생성하기 위해, 다음으로 객체 인식부(120)는 방향 맵들로부터 방향성분 특징 정보를 생성한다. 각각의 계층에 대한 서브 샘플링(sub-sampling)은 예를 들어, 제1계층에서 8×8, 제2계층에서 10×10, 제3계층에서 12×12와 같이 다른 스케일의 세포들을 가진 50% 오버랩(overlap)된 격자(grid) 이상으로 최대값을 취함으로써 적용된다.
도 2는 본 발명의 일 실시예에 따른 객체 인식부에서 전역 특징 정보를 추출하는 구현예를 설명하기 위한 도면이다.
도 2에 도시된 바와 같이, 객체 인식부(120)는 객체의 후보 영역(112)으로부터 3개 계층의 방향성분 특징정보를 추출(122,124,126)하고, 추출된 방향 성분 특징 정보들(122,124,126)로부터 전역 특징 정보(128)를 추출한다. 제1계층의 방향성분 특징 정보들(122)은 8개의 방향에 대한 방향 맵이고, 제2계층의 방향성분 특징 정보들(124)은 6개의 방향에 대한 방향 맵이고, 제3계층의 방향성분 특징 정보들(126)은 4개의 방향에 대한 방향 맵인 것을 알 수 있다.
다시 말해, 전역 특징은 각각의 서브 영역의 평균 방향성분 특징정보 값으로 구성되며, 변형된 GIST 알고리즘은 객체게 몇몇의 픽셀들에서 이동하는 경우, 일반적인 GIST 알고리즘보다 더 강건하다. 이는 객체의 이동 및 크기 변화에 내성이 있는 복합 세포에 대응되는 C1 특징을 변형한 방향성분 특징 정보는 최대 풀링 연산(pooling operation)을 이용함으로써 획득되기 때문이다.
다시 도 1을 참조하면, 일 실시예에 있어서, 객체 인식부(120)는 SVM(Support Vector Machine)을 이용하여 추출된 전역 특징 정보를 분류하고, 분류된 전역 특징 정보로부터 객체를 인식한다.
여기서, SVM(support vector machine)은 기본적으로 두 범주를 갖는 관측값들을 분류하는 방법으로, 주어진 데이터들을 가능한 멀리 두 개의 집단으로 분리시키는 최적의 초평면(Hyperplane)을 찾는 것이 SVM의 목적이다.
두 범주에 속하는 선형분리 가능한 데이터를 분류하는 선형분류함수는 일반적으로 매우 많이 존재하므로 SVM은 이러한 많은 분류함수 중에서 어떤 함수를 최적의 분류함수로 선택하는 것이 좋은가 하는 문제를 생각하는 것에서부터 출발한다. 분류함수인 일차 직선을 데이터 점과 만날 때까지 확장한 거리를 마진(margin)이라 정의하면, 크기가 최대인 마진의 중심을 이등분 하는 초평면을 '최적분류 초평면(OSH)'이라 하고, 마진을 이루는 영역에 접하고 있는 데이터들을 'Support Vector'라고 한다.
객체 판단부(130)는 객체 인식부(120)에 의해 인식된 객체가 해당 객체인지 여부를 판단한다. 예를 들어, 객체 판단부(130)는 객체 인식부(120)에 의해 인식된 객체가 차량에 해당하는지 또는 보행자에 해당하는지를 판단하는 것이다. 또한, 본 발명의 객체 판단부(130)는 차량 또는 보행자에 해당하는 객체를 판단하는 것에 국한되지 않고, 다양한 객체에 대한 판단을 수행할 수 있다.
객체 재인식부(140)는 객체 판단부(130)에 의해 인식된 객체가 해당 객체가 아닌 것으로 판단된 경우, 입력 영상에 포함된 객체의 후보 영역으로부터 지역 특징(local feature) 정보를 추출하고, 추출된 지역 특징 정보를 이용하여 객체를 재인식한다.
이는, 지역 특징 기반 기법은 객체의 이동 및 가려짐에 강건하기 때문에 영상 내 이동(translation) 및 가려짐(occlusions)이 없는 영상이 객체를 모두 포함하고 있는 경우, 전역 특징 기반 기법보다는 지역 특징 기반 기법이 더 신뢰할 만한 기능을 수행하기 때문이다.
일 실시예에 있어서, 객체 재인식부(140)는 입력 영상에 포함된 객체의 후보 영역으로부터 상향식 선택적 주의 집중 모델(bottom-up selective attention model)을 이용하여 특징점을 추출하고, 추출된 특징점의 방향 맵을 이용하여 지역 특징 정보를 추출한다.
여기서, 상향식 선택적 주의 집중 모델은 인간의 생물학적인 선택적 주의 집중 모델을 기반으로 하고 있다. 돌출점들(salient points)들은 마스크오프(mask-off) 연산(operation)을 이용한 돌출맵(saliency map)에 의해 추출된다. 그리고, 돌출 영역(salient region)의 크기는 엔트로피 최대화(EM:Entropy Maximization) 알고리즘에 의해 계산될 수 있다. 일반적인 돌출맵 모델들은 명암(Intensity), 방향(edge), GR 및 BY 용소와 같은 몇가지 특징들들 고려한다. 그러나, 본 발명의 일 실시예에 따른 객체 재인식부(140)는 색상(color) 정보는 객체의 특징(feature)에 유용하지 않기 때문에, 명암 및 방향과 같이 단지 두 가지 특징만을 고려한다.
구체적으로, 객체 재인식부(140)는 각각의 돌출 영역의 특징을 상술한 변형된 GIST 알고리즘과 동일하게 처리함으로써 추출한다. 또한, 지역 특징 정보 추출에 전역 특징 정보 추출과 동일하게 방향성분 특징 정보를 이용하기 때문에, 본 발명의 일 실시예에 따른 객체 인식 시스템은 계산의 복잡도를 감소시킬 수 있다.
한편, 각각의 영상에는 다수의 지역 특징(local features)이 존재하기 때문에, 모든 지역 특징들을 직접 이용할 필요는 없다. 따라서, 본 발명의 일 실시예에 따른 영상 재인식부(140)는 지역 특징들에 대한 코드북을 생성한다. 유사한 코드북(similar codebook) 엔트리(entries)는 특정 임계값(threshold) t 이상을 제거하여 실행될 수 있다. 코드북 엔트리 사이의 유사도를 수학식으로 표현하면 아래와 같다.
Figure 112010035052369-pat00001
여기서, X 와 Y는 한 쌍의 데이터 집합,
Figure 112010035052369-pat00002
는 샘플 평균(mean), s는 샘플 표준 편차(standard deviation)를 의미한다.
본 발명의 일 실시예에 따른 영상 재인식부(140)는 특정 임계값을 0.8로 설정할 수 있다. 코드북 엔트리는 각각의 돌출 영역에서의 지역 특징들을 비교함으로써 영상의 지역 특징들을 추출하기 위한 기초로 사용된다. 영상의 지역 특징은 모든 돌출 영역의 특징들 방향으로 각각의 코드북 엔트리의 최대 상관 계수(maximum correlation coefficient)로 구성되어 있으며, 영상의 지역 특징을 수학식으로 표현하면 아래와 같다.
Figure 112010035052369-pat00003
도 3은 본 발명의 일 실시예에 따른 객체 재인식부에서 지역 특징 정보를 추출하기 위해 돌출 영역으로부터 지역 특징 정보를 추출하는 구현예를 설명하기 위한 도면이다.
도 3에 도시된 바와 같이, 객체 재인식부(140)는 객체의 후보 영역으로부터 추출된 각각의 돌출 영역(114)으로부터 3개 계층의 방향성분 특징 정보들(142,144,146)을 추출하고, 추출된 방향성분 특징 정보들(142,144,146)로부터 지역 특징 정보(148)를 추출한다. 제1계층의 방향성분 특징 정보들(142)은 8개의 방향에 대한 방향성분 특징 정보이고, 제2계층의 방향성분 특징 정보들(144)은 6개의 방향에 대한 방향성분 특징 정보이고, 제3계층의 방향성분 특징 정보들(146)은 4개의 방향에 대한 방향성분 특징 정보인 것을 알 수 있다.
다시 말해, 본 발명의 일 실시예에 따른 객체 재인식부(140)는 객체의 후보 영역으로부터 추출된 각각의 돌출 영역으로부터 다수의 지역 특징 정보를 추출한다.
다시 도 1을 참조하면, 일 실시예에 있어서, 객체 재인식부(140)는 SVM(Support Vector Machine)을 이용하여 추출된 지역 특징 정보를 분류하고, 분류된 지역 특징 정보로부터 객체를 재인식한다.
여기서, SVM(support vector machine)은 기본적으로 두 범주를 갖는 관측값들을 분류하는 방법으로, 주어진 데이터들을 가능한 멀리 두 개의 집단으로 분리시키는 최적의 초평면(Hyperplane)을 찾는 것이 SVM의 목적이다.
최종 객체 출력부(150)는 객체 인식부(120) 및 객체 재인식부(140)에서 인식된 객체를 최종적으로 출력한다.
한편, 본 발명의 일 실시예에 따른 영상 처리 시스템에서의 객체 인식 시스템은 지능형 로롯, 지능형 자동차, 감시 카메라 등 다양한 분야에 적용이 가능하며, 본 발명에 기재된 실시예에 국한되지 않는다.
도 4는 본 발명의 일 실시예에 따른 객체 인식 시스템과 종래 기술에 따른 전역 특징 정보만을 이용하는 객체 인식 시스템과의 객체 인식률을 비교한 그래프이다.
도 4에 도시된 바와 같이, 도 4의 (a)는 객체가 잘 구분(segment)되어 있는 경우로서, 차량 및 보행자에 대한 객체 인식률이 전역 및 지역 특징 정보 복합적으로 이용함으로써, 98.15%에서 100%로 증가한 것을 확인할 수 있다. 그러나, 배경(background) 영상들에 대한 객체 인식률은 94.14%에서 84.26%로 감소한 것을 확인할 수 있다. 예를 들어, 운전 보조 시스템에서, 부정 오류(false negative) 결과는 긍정 오류(false positive) 결과보다 더 위험하다. 이는 부정 오류 결과는 운전자의 부주의로 인해 교통 사고를 야기할 수 있기 때문이다. 도 4의 (b)는 객체가 부분적으로 가려진 경우로서, 차량 및 보행자에 대한 객체 인식률이 종래 기술보다 대폭 증가한 것을 확인할 수 있다.
5는 본 발명의 일 실시예에 따른 영상 처리 시스템에서의 객체 인식 방법을 보여주는 플로우차트이다.
먼저, 검출된 객체의 후보 영역에 대한 정보를 입력 받는다(S500).
본 발명의 일 실시예에 따른 영상 시스템에서의 객체 인식 방법은 전역 특징 기반 기법은 후보 영역 인식에 민감한 반면에, 지역 특징 기반 기법은 객체의 이동 및 가려짐에 강건하기 때문에, 객체의 후보 영역으로부터 전역 특징 정보 및 지역 특징 정보를 모두 추출하여 객체를 인식하는 것이다.
다음으로, 입력 받은 객체의 후보 영역으로부터 전역 특징(global feature) 정보를 추출한다(S510). 이는, 전역 특징 기반 기법이 후보 영역 인식에 민감하기 때문에, 객체가 잘 구분(segment)되어 있는 경우, 지역 특징 기반 기법보다는 전역 특징 기반 기법이 더 신뢰할 만한 기능을 수행하기 때문이다.
일 실시예에 있어서, 전역 특징 정보를 추출하는 단계는 객체의 후보 영역으로부터 방향 맵(orientation map)을 추출하고, 추출된 방향 맵을 이용하여 전역 특징 정보를 추출한다. 여기서, 방향 맵은 소벨 필터(sobel filter)를 이용하여 추출될 수 있다.
여기서, 소벨 필터는 윤곽선을 검출하는 필터로서, 윤곽선 검출은 미분 연산자에 의한 밝기 값의 변화를 이용하여 찾아내는 것인데, 편미분 연산을 이용하여 미분 값을 구하기도 한다. 소벨 필터는 비선형 연산자로서 사용하는 마스크 창(Mask Window)영역의 양 끝단에 속한 화소들 사이의 합의 차이를 구한 후 이를 수평과 수직 방향에 대하여 평균 크기를 구함으로써 경계 부위를 강조하는 기능을 수행한다.
일 실시예에 있어서, 전역 특징 정보는 방향 맵으로부터 C1 특징(feature)을 변형한 방향성분 특징 정보를 이용하는 GIST 알고리즘을 이용하여 추출된다. 다시 말해, 방향 맵으로부터 윤곽선의 방향성분 특징 정보를 이용하는 수정된 GIST 알고리즘을 이용하여 전역 특징 정보를 추출하는 것이다.
여기서, C1 특징을 변형한 방향성분 특징 정보는 스케일(scale) 및 객체의 이동(translation)에 강건한 특성을 가지고 있는 것으로 알려져 있다.
또한, GIST 알고리즘이란 Torralba and A. Oliva(2006)에 의해 제안된 알고리즘으로, 일반적인 GIST 알고리즘은 영상의 배경 내에서 가려짐(occlusion) 및 혼잡(clutter)에 매우 민감한 특성을 가지고 있다.
그러나, 본 발명의 일 실시예에 따른 객체 인식 방법은 일반적인 GIST 알고리즘이 아닌, C1 특징을 이용하는 GIST 알고리즘(이하 '변형된 GIST 알고리즘'이라 함)을 이용하고 있다.
구체적으로, 입력 영상에 포함된 객체의 후보 영역의 의미적 정보(semantic information)를 고려하기 위해, 입력 영상을 4×4 서브 영역들(sub-regions)로 분할(divide)하고, 방향성분 특징 정보의 3개의 계층(layers)은 각각의 서브 영역 내에서 다양한 방향들과 스케일을 가지고 있는 소벨 필터(Sobel filter)를 이용하여 생성한다.
일 실시예에 있어서, 방향성분 특징 정보를 생성하기 위해서는, 먼저 V1 단순 세포(simple cells)에 대응되는 방향 맵(orientation map)을 추출한다. 방향 맵은 입력 영상을 다양한 스케일을 가진 소벨 필터를 이용함으로써 획득할 수 있다.
본 발명의 일 실시예에 따른 객체 인식 방법은 예를 들어, 3×3, 5×5, 7×7, 9×9, 11×11, 13×13 과 같은 5개의 다른 스케일을 가진 소벨 필터를 사용한다. 8개의 방향 정보로 구성된 제1계층(Layer 1)은 소벨 필터의 스케일이 각각 3×3, 5×5일 경우 계산되며, 제2계층(Layer 2)는 소벨 필터의 스케일이 각각 7×7, 9×9일 경우 계산되며, 제3계층(Layer 3)는 소벨 필터의 스케일이 각각 11×11, 13×13일 경우 계산된다.
또한, 방향성분 특징 정보를 생성하기 위해, 다음으로 방향 맵들로부터 방향 성분 특징 정보를 생성한다. 각각의 계층에 대한 서브 샘플링(sub-sampling)은 예를 들어, 제1계층에서 8×8, 제2계층에서 10×10, 제3계층에서 12×12와 같이 다른 스케일의 세포들을 가진 50% 오버랩(overlap)된 격자(grid) 이상으로 최대값을 취함으로써 적용된다.
다음으로, 추출된 전역 특징정보를 이용하여 객체를 인식한다(S520).
일 실시예에 있어서, 객체 인식 단계(S520)는 SVM(Support Vector Machine)을 이용하여 추출된 전역 특징 정보를 분류하고, 분류된 전역 특징 정보로부터 객체를 인식한다.
여기서, SVM(support vector machine)은 기본적으로 두 범주를 갖는 관측값들을 분류하는 방법으로, 주어진 데이터들을 가능한 멀리 두 개의 집단으로 분리시키는 최적의 초평면(Hyperplane)을 찾는 것이 SVM의 목적이다.
인식된 객체가 해당 객체인지 여부를 판단한다(S530). 예를 들어, 인식된 객체가 차량에 해당하는지 또는 보행자에 해당하는지를 판단하는 것이다. 또한, 본 발명의 객체 인식 방법은 차량 또는 보행자에 해당하는 객체를 판단하는 것에 국한되지 않고, 다양한 객체에 대한 판단을 수행할 수 있다.
다음으로, 인식된 객체가 해당 객체가 아닌 것으로 판단된 경우, 객체의 후보 영역으로부터 지역 특징(local feature) 정보를 추출한다(S540).
이는, 지역 특징 기반 기법은 객체의 이동 및 가려짐에 강건하기 때문에 영상 내 이동(translation) 및 가려짐(occlusions)이 없는 영상이 객체를 모두 포함하고 있는 경우, 전역 특징 기반 기법보다는 지역 특징 기반 기법이 더 신뢰할 만한 기능을 수행하기 때문이다.
일 실시예에 있어서, 지역 특징 정보를 추출하는 단계(S540)는 입력 영상에 포함된 객체의 후보 영역으로부터 상향식 선택적 주의 집중 모델(bottom-up selective attention model)을 이용하여 특징점을 추출하고, 추출된 특징점의 방향 맵을 이용하여 지역 특징 정보를 추출한다.
여기서, 상향식 선택적 주의 집중 모델은 인간의 생물학적인 선택적 주의 집중 모델을 기반으로 하고 있다. 돌출점들(salient points)들은 마스크오프(mask-off) 연산(operation)을 이용한 돌출맵(saliency map)에 의해 추출된다. 그리고, 돌출 영역(salient region)의 크기는 엔트로피 최대화(EM:Entropy Maximization) 알고리즘에 의해 계산될 수 있다. 일반적인 돌출맵 모델들은 명암(Intensity), 방향(edge), GR 및 BY 용소와 같은 몇가지 특징들들 고려한다. 그러나, 본 발명의 일 실시예에 따른 객체 재인식부(140)는 색상(color) 정보는 객체의 특징(feature)에 유용하지 않기 때문에, 명암 및 방향과 같이 단지 두 가지 특징만을 고려한다.
구체적으로, 각각의 돌출 영역의 특징을 상술한 변형된 GIST 알고리즘과 동일하게 처리함으로써 추출한다. 또한, 전역 및 특징 정보 추출에 동일한 방향성분 특징 정보를 이용하기 때문에, 본 발명의 일 실시예에 따른 객체 인식 방법은 계산의 복잡도를 감소시킬 수 있다.
한편, 각각의 영상에는 다수의 지역 특징(local features)이 존재하기 때문에, 모든 지역 특징들을 직접 이용할 필요는 없다. 따라서, 본 발명의 일 실시예에 따른 객체 인식 방법은 지역 특징들에 대한 코드북을 생성한다. 유사한 코드북(similar codebook) 엔트리(entries)는 특정 임계값(threshold) t 이상을 제거하여 실행될 수 있다.
코드북 엔트리는 각각의 돌출 영역에서의 지역 특징들을 비교함으로써 영상의 지역 특징들을 추출하기 위한 기초로 사용된다. 영상의 지역 특징은 모든 돌출 영역의 특징들 방향으로 각각의 코드북 엔트리의 최대 상관 계수(maximum correlation coefficient)로 구성되어 있다.
다음으로, 추출된 지역 특징 정보를 이용하여 객체를 재인식한다(S550).
일 실시예에 있어서, 객체 인식 단계(S550)는 SVM(Support Vector Machine)을 이용하여 추출된 지역 특징 정보를 분류하고, 분류된 지역 특징 정보로부터 객체를 인식한다.
여기서, SVM(support vector machine)은 기본적으로 두 범주를 갖는 관측값들을 분류하는 방법으로, 주어진 데이터들을 가능한 멀리 두 개의 집단으로 분리시키는 최적의 초평면(Hyperplane)을 찾는 것이 SVM의 목적이다.
마지막으로, S520 단계에서 인식된 객체 또는 S550 계에서 재인식된 객체를 최종적으로 출력한다(S560).
한편, 상술한 영상 처리 시스템에서의 객체 인식 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터로 판독 가능한 기록 매체에 기록될 수 있다. 이때, 컴퓨터로 판독 가능한 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 한편, 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터로 판독 가능한 기록매체에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM, DVD와 같은 광기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 한편, 이러한 기록매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다.
또한, 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
한편, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.
그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100 : 객체 인식 시스템 110 : 객체 후보 영역 입력부
120 : 객체 인식부 130 : 객체 판단부
140 : 객체 재인식부 150 : 최종 객체 출력부

Claims (13)

  1. 입력 영상에 포함된 객체의 후보 영역으로부터 전역 특징(global feature) 정보를 추출하는 단계;
    상기 추출된 전역 특징정보를 이용하여 상기 객체를 인식하는 단계;
    상기 인식된 객체가 해당 객체가 아닌 경우, 상기 후보 영역으로부터 지역 특징(local feature) 정보를 추출하는 단계; 및
    상기 추출된 지역 특징 정보를 이용하여 상기 객체를 재인식하는 단계를 포함하며,
    상기 지역 특징 정보를 추출하는 단계는,
    상기 후보 영역으로부터 상향식 선택적 주의 집중 모델을 이용하여 특징점을 추출하는 단계; 및
    상기 추출된 특징점의 방향 맵을 이용하여 상기 지역 특징 정보를 추출하는 단계를 포함하는 것을 특징으로 하는 영상 처리 시스템에서의 객체 인식 방법.
  2. 제 1 항에 있어서,
    상기 전역 특징 정보를 추출하는 단계는,
    상기 후보 영역으로부터 방향 맵(orientation map)을 추출하는 단계; 및
    상기 추출된 방향 맵을 이용하여 상기 전역 특징 정보를 추출하는 단계를 포함하는 것을 특징으로 하는 영상 처리 시스템에서의 객체 인식 방법.
  3. 제 2 항에 있어서,
    상기 방향 맵은,
    소벨 필터(sobel filter)를 이용하여 추출되는 것을 특징으로 하는 영상 처리 시스템에서의 객체 인식 방법.
  4. 제 2 항에 있어서,
    상기 전역 특징 정보는,
    상기 방향 맵으로부터 C1 특징(feature)을 변형한 방향성분 특징 정보를 이용하는 GIST 알고리즘을 이용하여 추출되는 것을 특징으로 하는 영상 처리 시스템에서의 객체 인식 방법.
  5. 제 4 항에 있어서,
    상기 방향성분 특징 정보는 상기 방향 맵으로부터 생성되는 것을 특징으로 하는 영상 처리 시스템에서의 객체 인식 방법.
  6. 삭제
  7. 제 1 항에 있어서,
    상기 객체를 인식 및 재인식하는 단계는,
    SVM(Support Vector Machine)을 이용하여 상기 추출된 전역 특징 정보 및 지역 특징 정보를 분류하고, 상기 분류된 전역 특징 정보 및 지역 특징 정보로부터 상기 객체를 인식 및 재인식을 하는 것을 특징으로 하는 영상 처리 시스템에서의 객체 인식 방법.
  8. 입력 영상에 포함된 객체의 후보 영역으로부터 전역 특징(global feature) 정보를 추출하고, 상기 추출된 전역 특징 정보를 이용하여 상기 객체를 인식하는 객체 인식부;
    상기 인식된 객체가 해당 객체인지 여부를 판단하는 객체 판단부; 및
    상기 인식된 객체가 상기 해당 객체가 아닌 경우, 상기 후보 영역으로부터 지역 특징(local feature) 정보를 추출하고, 상기 추출된 지역 특징 정보를 이용하여 상기 객체를 재인식하는 객체 재인식부를 포함하며,
    상기 객체 재인식부는,
    상기 후보 영역으로부터 상향식 선택적 주의 집중 모델을 이용하여 특징점을 추출하고, 상기 추출된 특징점의 방향 맵을 이용하여 상기 지역 특징 정보를 추출하는 것을 특징으로 하는 영상 처리 시스템에서의 객체 인식 시스템.
  9. 제 8 항에 있어서,
    상기 객체 인식부는,
    상기 후보 영역으로부터 방향 맵(orientation map)을 추출하고, 상기 추출된 방향 맵을 이용하여 상기 전역 특징 정보를 추출하는 것을 특징으로 하는 영상 처리 시스템에서의 객체 인식 시스템.
  10. 제 9 항에 있어서,
    상기 방향 맵은,
    소벨 필터(sobel filter)를 이용하여 추출되는 것을 특징으로 하는 영상 처리 시스템에서의 객체 인식 시스템.
  11. 제 9 항에 있어서,
    상기 전역 특징 정보는,
    상기 방향 맵으로부터 C1 특징(feature)을 변형한 방향성분 특징정보를 이용하는 GIST 알고리즘을 이용하여 추출되는 것을 특징으로 하는 영상 처리 시스템에서의 객체 인식 시스템.
  12. 삭제
  13. 제 8 항에 있어서,
    상기 객체 인식부 및 상기 객체 재인식부는,
    SVM(Support Vector Machine)을 이용하여 상기 추출된 전역 특징 정보 또는 지역 특징 정보를 분류하고, 상기 분류된 전역 특징 정보 또는 지역 특징 정보로부터 상기 객체를 인식 또는 재인식을 하는 것을 특징으로 하는 영상 처리 시스템에서의 객체 인식 시스템.
KR1020100051308A 2010-05-31 2010-05-31 영상 처리 시스템에서의 객체 인식 방법 및 시스템 KR101169340B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100051308A KR101169340B1 (ko) 2010-05-31 2010-05-31 영상 처리 시스템에서의 객체 인식 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100051308A KR101169340B1 (ko) 2010-05-31 2010-05-31 영상 처리 시스템에서의 객체 인식 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20110131727A KR20110131727A (ko) 2011-12-07
KR101169340B1 true KR101169340B1 (ko) 2012-07-30

Family

ID=45500054

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100051308A KR101169340B1 (ko) 2010-05-31 2010-05-31 영상 처리 시스템에서의 객체 인식 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR101169340B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220061632A (ko) 2020-11-06 2022-05-13 연세대학교 산학협력단 자기 집중 모듈 및 이를 이용한 정규화 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113505736A (zh) * 2021-07-26 2021-10-15 浙江大华技术股份有限公司 对象的识别方法及装置、存储介质、电子装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
논문 1 : 한국과학기술원, 2002

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220061632A (ko) 2020-11-06 2022-05-13 연세대학교 산학협력단 자기 집중 모듈 및 이를 이용한 정규화 방법

Also Published As

Publication number Publication date
KR20110131727A (ko) 2011-12-07

Similar Documents

Publication Publication Date Title
US11527055B2 (en) Feature density object classification, systems and methods
Xu et al. Detection of sudden pedestrian crossings for driving assistance systems
Giannoukos et al. Operator context scanning to support high segmentation rates for real time license plate recognition
KR101188584B1 (ko) 카메라와 레이저 스캐너를 이용한 차량 전방 물체 판별장치
Wali et al. Comparative survey on traffic sign detection and recognition: a review
KR101818129B1 (ko) 나선 신경망 기법을 이용한 보행자 인식 장치 및 방법
Malik et al. Detection and recognition of traffic signs from road scene images
Varghese et al. An efficient algorithm for detection of vacant spaces in delimited and non-delimited parking lots
Sugiharto et al. Traffic sign detection based on HOG and PHOG using binary SVM and k-NN
Maldonado-Bascon et al. Traffic sign recognition system for inventory purposes
KR100977259B1 (ko) 다중 기울기 히스토그램을 이용한 사람 탐색 및 추적 방법
KR101169340B1 (ko) 영상 처리 시스템에서의 객체 인식 방법 및 시스템
Kim Detection of traffic signs based on eigen-color model and saliency model in driver assistance systems
EP2583216B1 (en) Method of predetermined road object recognition in images and vehicle driving assistance device
Hossen et al. License plate detection and recognition system based on morphological approach and feed-forward neural network
KR101936108B1 (ko) 교통 표지판 탐지 방법 및 장치
Lee et al. Automatic number recognition for bus route information aid for the visually-impaired
Chen et al. Learning‐based method for lane detection using regionlet representation
Alanazi Embedded System Based Raspberry Pi 4 for Text Detection and Recognition.
Duan et al. Cascade feature selection and coarse-to-fine mechanism for nighttime multiclass vehicle detection
Karthiprem et al. Recognizing the moving vehicle while driving on Indian roads
aSamantha et al. Vision based pedestrian detection using histogram of oriented gradients, adaboost & linear support vector machines
Kortli et al. High-reliability vehicle detection and lane collision warning system
Deshpande et al. Pedestrian detection
Manoharan et al. Detection of unstructured roads from a single image for autonomous navigation applications

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150624

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160617

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170621

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180626

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190627

Year of fee payment: 8