KR101727432B1 - 단계별 영상을 이용한 객체 인식 성능 향상 장치 및 방법 - Google Patents

단계별 영상을 이용한 객체 인식 성능 향상 장치 및 방법 Download PDF

Info

Publication number
KR101727432B1
KR101727432B1 KR1020160063341A KR20160063341A KR101727432B1 KR 101727432 B1 KR101727432 B1 KR 101727432B1 KR 1020160063341 A KR1020160063341 A KR 1020160063341A KR 20160063341 A KR20160063341 A KR 20160063341A KR 101727432 B1 KR101727432 B1 KR 101727432B1
Authority
KR
South Korea
Prior art keywords
image
size
search
adjusted
object candidate
Prior art date
Application number
KR1020160063341A
Other languages
English (en)
Inventor
김대곤
김용진
이찬연
Original Assignee
(주)베라시스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)베라시스 filed Critical (주)베라시스
Priority to KR1020160063341A priority Critical patent/KR101727432B1/ko
Application granted granted Critical
Publication of KR101727432B1 publication Critical patent/KR101727432B1/ko

Links

Images

Classifications

    • G06K9/36—
    • G06K9/46—
    • G06K9/56—
    • G06K2009/4666—

Landscapes

  • Image Analysis (AREA)

Abstract

객체 인식기의 성능과 처리 속도를 향상시키도록 하는 단계별 영상을 이용한 객체 인식 성능 향상 장치 및 방법을 제시한다. 제시된 장치는 카메라로부터 영상을 입력받는 영상 입력부, 영상 입력부로부터의 영상내의 관심영역을 각 단계별로 크기 조정된 소정의 영상으로 생성하고 각 단계별 크기 조정된 영상에 대하여 특징점 정보를 추출하고 특징점 정보를 근거로 각 단계별 크기 조정된 영상을 교차 탐색하여 각각의 크기 조정된 영상에서의 객체 후보를 검출하는 객체 후보 검출부, 및 객체 후보 검출부로부터의 검출 결과를 근거로 해당 객체를 판단하고 이를 출력하는 판단 및 출력부를 포함한다.

Description

단계별 영상을 이용한 객체 인식 성능 향상 장치 및 방법{Apparatus and method for improving the performance of object recognition function using an image in Multi-Step}
본 발명은 단계별 영상을 이용한 객체 인식 성능 향상 장치 및 방법에 관한 것으로, 보다 상세하게는 지역 이진 패턴(Local Binary Pattern; LBP)을 이용하여 객체의 특징점을 생성하고 이를 통해 객체 인식을 수행하도록 하는 단계별 영상을 이용한 객체 인식 성능 향상 장치 및 방법에 관한 것이다.
본 발명에 관한 연구는 산업통산자원부 산업핵심기술개발사업의 연구비 지원(과제번호: 10042633, 세부과제명: 거리분해능 10cm 수준의 3차원 Lidar 센서 시스템 개발)에 의해 수행되었다.
종래 폐쇄회로 시스템(CCTV) 또는 디지털 카메라로부터 입력된 영상에서 물체, 차량 혹은 사람 등과 같은 대상체를 인식하기 위해, 먼저 대상체의 특징(feature)을 정의, 추출, 및 학습 과정을 수행한다. 다음으로, 학습 결과를 검출기 또는 분류기에서 사용함으로써 물체를 자동으로 인식한다.
이러한 자동 인식 시스템에서 어떤 특징을 어떻게 추출하는가는 매우 중요한 요소들로 인식기의 성능에 매우 큰 영향을 미치지만, 불행하게도 현재까지 상용화 수준의 성능을 만족하는 특징에 대한 가이드라인은 제시되지 못하고 있는 실정이다.
현재 인식기(분류기)의 특징으로 널리 사용되는 Haar 특징, HoG(Histogram of oriented Gradient) 특징, 그리고 LBP(Local Binary Pattern) 특징 또한 앞서 언급한 바와 크게 다르지 않은 상황이다.
따라서, 인식기의 성능 및 처리 속도 등을 향상시키기 위해서는 특징을 정의하고 이를 추출하는 방법에 대한 다각적 연구가 필요하다. 특히 객체의 종류가 차량인 경우에도 이를 식별하기 위한 연구도 필요한 실정이다.
또한, 종래 관심 객체 검출 또는 인식을 위해 bootstrap, boosting 또는 adaboosting 알고리즘을 사용하였다. 이들 알고리즘과 더불어 Haar, HoG(Histogram of oriented Gradient), 또는 LBP(Local Binary Pattern) 등의 특징을 함께 사용한다. 이들 특징과 결합한 boosting 계열의 알고리즘은 학습 속도는 말할 것도 없고 분류(검출)속도가 매우 느린 치명적인 단점을 갖는다. 특히, 전역 탐색의 경우 분류 속도가 현저히 저하되고 인식률이 매우 낮아진다.
선행기술 1 : 대한민국 공개특허 제10-2014-0044173호(객체 영상 인식 장치 및 객체 영상 인식 방법) 선행기술 2 : 대한민국 등록특허 제10-1374726호(특징 기술자 생성 장치 및 방법, 그를 이용한 영상 객체 인식 장치 및 방법)
본 발명은 상기한 종래의 문제점을 해결하기 위해 제안된 것으로, 객체 인식기의 성능과 처리 속도를 향상시키도록 하는 단계별 영상을 이용한 객체 인식 성능 향상 장치 및 방법을 제공함에 그 목적이 있다.
상기와 같은 목적을 달성하기 위하여 본 발명의 바람직한 실시양태에 따른 단계별 영상을 이용한 객체 인식 성능 향상 장치는, 카메라로부터 영상을 입력받는 영상 입력부; 상기 영상 입력부로부터의 영상내의 관심영역을 각 단계별로 크기 조정된 소정의 영상으로 생성하고, 상기 각 단계별 크기 조정된 영상에 대하여 특징점 정보를 추출하고, 상기 특징점 정보를 근거로 각 단계별 크기 조정된 영상을 교차 탐색하여 각각의 크기 조정된 영상에서의 객체 후보를 검출하는 객체 후보 검출부; 및 상기 객체 후보 검출부로부터의 검출 결과를 근거로 해당 객체를 판단하고 이를 출력하는 판단 및 출력부;를 포함한다.
상기 객체 후보 검출부는, 특징점 정보를 추출하기 위해 LBP 기반의 특징 추출을 수행할 수 있다.
상기 각 단계별로 크기 조정된 영상은 10단계의 크기 조정된 영상을 포함할 수 있고, 상기 10단계의 크기 조정된 영상중에서 중간 크기로 조정된 영상(R5)은 상기 영상 입력부로부터 최초로 제공받은 영상의 관심영역 사이즈에 해당하는 크기의 영상이고, 상기 영상(R5)을 중심으로 영상(R4), 영상(R3), 영상(R2), 영상(R1)으로 갈수록 영상내의 객체 사이즈가 점진적으로 커질 수 있고, 상기 영상(R5)을 중심으로 영상(R6), 영상(R7), 영상(R8), 영상(R9), 영상(R10)으로 갈수록 영상내의 객체 사이즈가 점진적으로 작아질 수 있다.
상기 객체 후보 검출부는, 상기 중간 크기로 조정된 영상(R5)부터 탐색을 수행하여 작은 크기로 조정된 영상과 큰 크기로 조정된 영상을 교차하면서 탐색을 수행할 수 있다.
상기 객체 후보 검출부는, 상기 교차 탐색중에 각 단계별 크기 조정된 영상중에서 인식된 객체 후보의 누적 개수가 기설정된 임계치 이상이 되는 영상이 있을 경우 탐색을 종료할 수 있다.
상기 객체 후보 검출부는, 상기 중간 크기로 조정된 영상(R5)에 비해 객체 사이즈가 큰 크기로 조정된 영상(R1 ~ R4)에서는 탐색 포인트의 간격을 늘리고, 상기 중간 크기로 조정된 영상(R5)에 비해 객체 사이즈가 작은 크기로 조정된 영상(R6 ~ R10)에서는 탐색 포인트의 간격을 줄여 탐색을 수행할 수 있다.
그리고, 본 발명의 바람직한 실시양태에 따른 단계별 영상을 이용한 객체 인식 성능 향상 방법은, 영상 입력부가, 카메라로부터 영상을 입력받는 단계; 객체 후보 검출부가, 상기 영상내의 관심영역을 각 단계별로 크기 조정된 소정의 영상으로 생성하는 단계; 상기 객체 후보 검출부가, 상기 각 단계별 크기 조정된 영상에 대하여 특징점 정보를 추출하는 단계; 상기 객체 후보 검출부가, 상기 특징점 정보를 근거로 각 단계별 크기 조정된 영상을 교차 탐색하여 각각의 크기 조정된 영상에서의 객체 후보를 검출하는 단계; 및 판단 및 출력부가, 상기 검출하는 단계에서의 검출 결과를 근거로 해당 객체를 판단하고 이를 출력하는 단계;를 포함한다.
이러한 구성의 본 발명에 따르면, 기존의 LBP 특징들에 대한 학습을 통해 영상의 단계(STAGE)에 따라 LBP 주요 특징점 생성 방법을 선별하고, 선별된 LBP 특징점들을 객체 인식에 활용함으로써, 객체 인식 또는 검증시 에러 발생을 억제하고 인식률을 향상시킬 뿐만 아니라 변경된 LBP 특징점 생성 방법을 이용함에 따라 발생하는 연산 시간이 길어지는 문제를 극복할 수 있다.
도 1은 본 발명의 실시예에 따른 단계별 영상을 이용한 객체 인식 성능 향상 장치의 구성도이다.
도 2는 본 발명의 실시예에 따른 단계별 영상을 이용한 객체 인식 성능 향상 방법을 설명하기 위한 플로우차트이다.
도 3은 도 2의 설명에 채용되는 도면이다.
도 4는 도 2에서 객체 후보 검출 과정을 보다 상세히 설명하기 위한 플로우차트이다.
도 5 및 도 6은 도 4의 설명에 채용되는 도면들이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 실시예에 따른 단계별 영상을 이용한 객체 인식 성능 향상 장치의 구성도이다.
본 발명의 실시예에 따른 단계별 영상을 이용한 객체 인식 성능 향상 장치는, 영상 입력부(10), 객체 후보 검출부(20), 및 판단 및 출력부(30)를 포함한다.
영상 입력부(10)는 카메라로부터 영상을 입력받는다. 이때의 영상은 캡쳐된 영상일 수 있다.
객체 후보 검출부(20)는 영상 입력부(10)로부터의 영상내의 관심영역(ROI)을 10단계의 크기 조정된 영상(R1 ~ R10)으로 생성할 수 있다. 객체 후보 검출부(20)는 객체의 크기를 정확히 알 수 없으므로 영상내 관심영역을 10단계의 크기 조정된 영상(R1 ~ R10)으로 생성할 수 있다. 예를 들어, 10단계의 크기 조정된 영상(R1 ~ R10)중에서 R5는 원본 영상(즉, 영상 입력부(10)로부터 최초로 제공받은 영상)의 관심영역(ROI) 사이즈에 해당하는 크기의 영상이다. 그리고, 영상(R5)을 중심으로 R4, R3, R2, R1으로 갈수록 영상내의 객체 사이즈가 점진적으로 커지고, 영상(R5)을 중심으로 R6, R7, R8, R9, R10으로 갈수록 영상내의 객체 사이즈가 점진적으로 작아진다. 상술한 설명에서는 10단계로 한정하여 설명하였으나, 크기 조정된 영상의 개수는 가감될 수 있다.
그리고, 객체 후보 검출부(20)는 각 단계별 크기 조정된 영상(R1 ~ R10)에 대하여 특징점 정보를 추출하고, 특징점 정보를 근거로 각 단계별 크기 조정된 영상을 교차 탐색하여 각각의 크기 조정된 영상(R1 ~ R10)에서의 객체 후보를 검출한다.
여기서, 특징점 정보를 추출하기 위해 LBP 기반의 특징 추출을 수행할 수 있다. 다시 말해서, Local Binary Pattern(LBP) 템플릿 매칭을 이용한 객체 인식기에서 인식률을 높이기 위하여 주어진 입력 영상을 작은 크기의 블록으로 분할하고, 각 블록에서 구해진 LBP 히스토그램을 블록 특징으로 사용된다. Local Binary Pattern 기반의 특징 추출은 텍스처 분석 분야에서 먼저 사용된 방법으로서, 조명의 변화에 안정적이고 계산이 빠른 장점을 보임에 따라 최근에는 객체 검출과 인식에 활용되고 있다. 이때, 입력 영상은 작은 블록으로 분할되며 각 블록에서 LBP 히스토그램이 추출된다. 분류기는 블록간의 히스토그램의 유사도를 기반으로 전체 영상의 유사도를 계산함으로써 미리 저장된 모델들 중 가장 유사한 모델로 분류할 수 있다. 본 발명에서는 크기 조정된 영상(R1 ~ R10)을 통해서 추출된 특징점 정보를 이용해서 블록에서 참조하는 특징점 추출 방식을 제안함으로써 기존의 방법들보다 인식률을 높이게 된다. 기본적인 LBP 연산자는 3 x 3 마스크를 사용하기 때문에 보다 큰 스케일에서의 구조적 특징을 나타내지 못하므로 이러한 특징을 보완하기 위하여 다른 크기의 마스크를 사용한다. LBP 연산자에 의해 추출된 영상의 히스토그램 H는 다음과 같이 정의된다.
Figure 112016049725648-pat00001
여기서, n은 LBP에 의하여 산출되는 가능한 레이블의 수이고, x는 x축의 위치이고, y는 y축의 위치이다.
그리고, I(A)는 다음과 같은 함수이다.
Figure 112016049725648-pat00002
히스토그램은 LBP로 표현되는 미세 텍스처의 분포를 나타낸다. 효과적인 객체 검출을 위하여 입력 영상은 m×n 개의 작은 영역, 즉, 블록 R0, R0, ,R0으로 분할되고, 블록 R0에서의 히스토그램은 다음과 같다.
Figure 112016049725648-pat00003
Figure 112016049725648-pat00004
각 화소에서 추출된 LBP는 화소 수준에서의 미세 텍스처를 나타내고, 블록에서의 LBP 히스토그램은 블록 수준에서의 특징 기술자가 되어 모든 블록에서의 히스토그램을 연결한 히스토그램은 영상 전체에 대한 특징 기술자로 사용할 수 있다.
객체 후보 검출부(20)는 이와 같은 LBP 기반의 특징 추출을 수행한다.
그리고, 객체 후보 검출부(20)에서의 교차 탐색에 대해 설명한다. 실제 물체크기보다 조금 크게 관심영역(ROI)이 설정된다고 가정하고, 객체 후보 검출부(20)는 중간 크기로 조정된 영상(R5)부터 탐색을 수행하여 작은 크기로 조정된 영상과 큰 크기로 조정된 영상을 교차하면서 탐색을 수행한다. 다시 말해서, 상술한 교차 탐색은 R5 → R6 → R4 → R7 → R3 → R8 → R2 → R9 → R1 → R10의 순으로 탐색됨을 의미한다.
그리고, 객체 후보 검출부(20)는 이와 같은 교차 탐색중에 각 단계별 크기 조정된 영상중에서 인식된 객체 후보의 누적 개수가 기설정된 임계치(예컨대, 10개) 이상이 되는 영상이 있을 경우 탐색을 종료한다.
특히, 객체 후보 검출부(20)는 객체 사이즈가 큰 크기로 조정된 영상(예컨대, R1 ~ R4)에서는 탐색 포인트의 간격을 늘리고, 객체 사이즈가 작은 크기로 조정된 영상(R6 ~ R10)에서는 탐색 포인트의 간격을 줄여 탐색을 수행함으로써 인식기 성능과 처리 속도를 향상시킨다.
객체 후보 검출부(20)는 다양한 객체 후보에 대한 특징점 정보가 미리 데이터베이스화되어 있다. 예를 들어, 보행자, 차량 등에 대한 특징점 정보가 미리 데이터베이스화되어 있을 수 있다. 특히, 차량의 경우에는 차종별로 특징점 정보가 미리 데이터베이스화되어 있을 수 있다. 따라서, 크기 조정된 영상(R1 ~ R10)에서의 교차 탐색중에 각각의 영상(R1 ~ R10)별로 인식되는 객체 후보의 수가 달라질 수 있다. 예를 들어, 영상(R5)에서는 4개의 객체 후보(예컨대, 아반테 차량, 소나타 차량, 그랜저 차량, 에쿠스 차량)를 검출하였으나, 영상(R6)에서는 2개의 객체 후보를 더 검출할 수 있고, 영상(R4)에서는 영상(R6)에 비해 3개의 객체 후보를 더 검출할 수 있고, 영상(R7)에서는 영상(R4)에 비해 2개의 객체 후보를 더 검출할 수 있다. 이와 같이, 영상(R7)에서는 모두 11개의 객체 후보가 누적되어 검출되므로, 객체 후보 검출부(20)는 영상(R7)까지만 탐색하고 더 이상의 탐색은 하지 않는다.
물론, 객체 후보 검출부(20)는 크기 조정된 영상(R1 ~ R10)에 대한 교차 탐색시 보행자의 특징점 정보를 근거로 해당 영상(R1 ~ R10)을 교차 탐색할 수 있다. 앞서의 설명(즉, 차량의 특징점 정보를 근거로 교차 탐색한 경우)과 비교하여 볼 때 보행자의 특징점 정보를 근거로 해당 영상(R1 ~ R10)을 교차 탐색하게 되면 인식되는 객체 후보의 수가 매우 적을 것이다.
판단 및 출력부(30)는 객체 후보 검출부(20)로부터의 검출 결과를 근거로 해당 객체를 판단하고 이를 출력한다. 즉, 객체 후보 검출부(20)에서 차량에 대한 객체 후보를 10개 이상 검출하고 이러한 사실을 판단 및 출력부(30)에게 알려줌으로써, 판단 및 출력부(30)는 원영상내의 관심영역(ROI)의 객체는 차량인 것으로 판단한다.
도 2는 본 발명의 실시예에 따른 단계별 영상을 이용한 객체 인식 성능 향상 방법을 설명하기 위한 플로우차트이고, 도 3은 도 2의 설명에 채용되는 도면이고, 도 4는 도 2에서 객체 후보 검출 과정을 보다 상세히 설명하기 위한 플로우차트이고, 도 5 및 도 6은 도 4의 설명에 채용되는 도면들이다.
먼저, 객체 후보 검출부(20)가 영상 입력부(10)로부터 영상(예컨대, 캡쳐된 영상)을 입력받는다.
그리고 나서, 객체 후보 검출부(20)는 도 3에서와 같이 영상 입력부(10)로부터의 영상내의 관심영역(ROI)을 10단계의 크기 조정된 영상(R1 ~ R10)으로 생성한다(S10). 도 3에서, 중간 크기의 영상(R5)은 원본 영상(즉, 영상 입력부(10)로부터 최초로 제공받은 영상)의 관심영역(ROI) 사이즈에 해당하는 크기의 영상이다. 그리고, 영상(R5)을 중심으로 R4, R3, R2, R1으로 갈수록 영상내의 객체 사이즈가 점진적으로 커지고, 영상(R5)을 중심으로 R6, R7, R8, R9, R10으로 갈수록 영상내의 객체 사이즈가 점진적으로 작아진다. 상술한 설명에서는 10단계로 한정하여 설명하였으나, 크기 조정된 영상의 개수는 가감될 수 있다.
이후, 객체 후보 검출부(20)는 각 단계별 크기 조정된 영상(R1 ~ R10)에 대하여 특징점 정보를 생성(추출)한다(S20). 객체 후보 검출부(20)는 상술한 바와 같은 LBP 기반의 특징 추출을 수행한다.
그리고, 객체 후보 검출부(20)는 특징점 정보를 근거로 각 단계별 크기 조정된 영상을 교차 탐색하여 각각의 크기 조정된 영상(R1 ~ R10)에서의 객체 후보를 검출한다(S30). 여기서, 객체 후보 검출에 대해 도 4의 플로우차트를 참조하여 설명하면 다음과 같다. 10단계의 크기 조정된 영상(R1 ~ R10)에 대해 객체 후보를 검출하는데(S32, S34), 중간 크기로 조정된 영상(R5)부터 탐색을 수행하여 작은 크기로 조정된 영상과 큰 크기로 조정된 영상을 교차하면서 탐색을 수행한다. 다시 말해서, 상술한 교차 탐색은 R5 → R6 → R4 → R7 → R3 → R8 → R2 → R9 → R1 → R10의 순으로 탐색됨을 의미한다. 그리고, 객체 후보 검출부(20)는 이와 같은 교차 탐색중에 각 단계별 크기 조정된 영상중에서 인식된 객체 후보의 누적 개수가 기설정된 임계치(예컨대, 10개) 이상이 되는 영상이 있을 경우 탐색을 종료한다(S36, S38).
상술한 객체 후보 검출부(20)에서의 교차 탐색중에, 각각의 영상(R1 ~ R10)별로 인식되는 객체 후보의 수는 달라질 수 있다. 예를 들어, 도 5에서와 같이 중간 크기의 영상(R5)에서는 4개의 객체 후보(예컨대, 아반테 차량, 소나타 차량, 그랜저 차량, 에쿠스 차량)를 검출하였으나, 영상(R6)에서는 2개의 객체 후보를 더 검출하였다. 영상(R4)에서는 영상(R6)에 비해 3개의 객체 후보를 더 검출하고, 영상(R7)에서는 영상(R4)에 비해 2개의 객체 후보를 더 검출하였다. 이와 같이, 영상(R7)에서는 모두 11개의 객체 후보가 누적되어 검출되므로, 객체 후보 검출부(20)는 영상(R7)까지만 탐색하고 더 이상의 탐색은 하지 않는다.
특히, 상술한 교차 탐색에 있어서, 최초의 탐색 영상인 영상(R5)에 대하여 특징점을 근거로 하는 객체 후보 검출시에는 도 6에서의 시작 단계에서와 같은 탐색 포인트의 간격으로 객체 후보를 검출할 수 있다. 도 6의 시작 단계에서는 2칸 마다 하나씩을 탐색 포인트로 한다. 즉, 회오리 모양으로 탐색하는데, 왼쪽 상단의 블록에서 오른쪽 상단의 블록 방향으로 이동하고 다시 오른쪽 하단의 블록 방향으로 이동한 후에 왼쪽 하단의 블록 방향으로 이동하고 다시 왼쪽 중간의 블록 방향으로 이동하여 중앙의 블록 방향으로 이동할 수 있다. 그리고, 영상(R6)에 대한 객체 후보 검출시에는 도 6에서의 보통 단계에서와 같은 탐색 포인트의 간격으로 객체 후보를 검출할 수 있다. 도 6에서의 보통 단계에서도 회오리 모양으로 탐색한다. 그리고, 영상(R4)에 대한 객체 후보 검출시에는 도 6에서의 낮은 단계에서와 같은 탐색 포인트의 간격으로 객체 후보를 검출할 수 있다. 도 6에서의 낮은 단계에서도 회오리 모양으로 탐색한다. 그리고, 영상(R7)에 대한 객체 후보 검출시에는 도 6에서의 높은 단계에서와 같은 탐색 포인트의 간격으로 객체 후보를 검출할 수 있다. 도 6에서의 높은 단계에서도 회오리 모양으로 탐색한다. 이와 같이, 객체 사이즈가 큰 크기로 조정된 영상(예컨대, R1 ~ R4)에서는 탐색 포인트의 간격을 늘리고, 객체 사이즈가 작은 크기로 조정된 영상(R6 ~ R10)에서는 탐색 포인트의 간격을 줄여 탐색을 수행함으로써 인식기 성능과 처리 속도를 향상시킨다.
이후, 판단 및 출력부(30)는 객체 후보 검출부(20)로부터의 검출 결과를 근거로 해당 객체를 판단하고 이를 출력한다(S40). 즉, 객체 후보 검출부(20)에서 차량에 대한 객체 후보를 10개 이상 검출하고 이러한 사실을 판단 및 출력부(30)에게 알려줌으로써, 판단 및 출력부(30)는 원영상내의 관심영역(ROI)의 객체가 차량인 것으로 판단하고 이를 알린다.
이상에서와 같이 도면과 명세서에서 최적의 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로, 본 기술 분야의 통상의 지식을 가진자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.
10 : 영상 입력부
20 : 객체 후보 검출부
30 : 판단 및 출력부

Claims (6)

  1. 카메라로부터 영상을 입력받는 영상 입력부;
    상기 영상 입력부로부터의 영상내의 관심영역을 각 단계별로 크기 조정된 소정의 영상으로 생성하고, 상기 각 단계별 크기 조정된 영상에 대하여 특징점 정보를 추출하고, 상기 특징점 정보를 근거로 각 단계별 크기 조정된 영상을 교차 탐색하여 각각의 크기 조정된 영상에서의 객체 후보를 검출하는 객체 후보 검출부; 및
    상기 객체 후보 검출부로부터의 검출 결과를 근거로 해당 객체를 판단하고 이를 출력하는 판단 및 출력부;를 포함하고, 상기 객체 후보 검출부는, 특징점 정보를 추출하기 위해 LBP 기반의 특징 추출을 수행하며,
    상기 각 단계별로 크기 조정된 영상은 10단계의 크기 조정된 영상을 포함하고,
    상기 10단계의 크기 조정된 영상중에서 중간 크기로 조정된 영상(R5)은 상기 영상 입력부로부터 최초로 제공받은 영상의 관심영역 사이즈에 해당하는 크기의 영상이고,
    상기 영상(R5)을 중심으로 영상(R4), 영상(R3), 영상(R2), 영상(R1)으로 갈수록 영상내의 객체 사이즈가 점진적으로 커지고,
    상기 영상(R5)을 중심으로 영상(R6), 영상(R7), 영상(R8), 영상(R9), 영상(R10)으로 갈수록 영상내의 객체 사이즈가 점진적으로 작아지는 것을 특징으로 하며,
    상기 객체 후보 검출부는,
    상기 중간 크기로 조정된 영상(R5)부터 탐색을 수행하여 작은 크기로 조정된 영상과 큰 크기로 조정된 영상을 교차하면서 탐색을 수행하고,
    상기 객체 후보 검출부는,
    상기 교차 탐색중에 각 단계별 크기 조정된 영상중에서 인식된 객체 후보가 기설정된 임계치 이상이 되는 영상이 있을 경우 탐색을 종료하는 것을 특징으로 하는 단계별 영상을 이용한 객체 인식 성능 향상 장치.
  2. 삭제
  3. 청구항 1에 있어서,
    상기 객체 후보 검출부는,
    상기 중간 크기로 조정된 영상(R5)에 비해 객체 사이즈가 큰 크기로 조정된 영상(R1 ~ R4)에서는 탐색 포인트의 간격을 늘리고, 상기 중간 크기로 조정된 영상(R5)에 비해 객체 사이즈가 작은 크기로 조정된 영상(R6 ~ R10)에서는 탐색 포인트의 간격을 줄여 탐색을 수행하는 것을 특징으로 하는 단계별 영상을 이용한 객체 인식 성능 향상 장치.
  4. 영상 입력부가, 카메라로부터 영상을 입력받는 단계;
    객체 후보 검출부가, 상기 영상내의 관심영역을 각 단계별로 크기 조정된 소정의 영상으로 생성하는 단계;
    상기 객체 후보 검출부가, 상기 각 단계별 크기 조정된 영상에 대하여 특징점 정보를 추출하는 단계;
    상기 객체 후보 검출부가, 상기 특징점 정보를 근거로 각 단계별 크기 조정된 영상을 교차 탐색하여 각각의 크기 조정된 영상에서의 객체 후보를 검출하는 단계; 및
    판단 및 출력부가, 상기 검출하는 단계에서의 검출 결과를 근거로 해당 객체를 판단하고 이를 출력하는 단계;를 포함하고, 상기 특징점 정보를 추출하는 단계는, LBP 기반의 특징 추출을 수행하며,
    상기 각 단계별로 크기 조정된 영상은 10단계의 크기 조정된 영상을 포함하고,
    상기 10단계의 크기 조정된 영상중에서 중간 크기로 조정된 영상(R5)은 상기 영상 입력부로부터 최초로 제공받은 영상의 관심영역 사이즈에 해당하는 크기의 영상이고,
    상기 영상(R5)을 중심으로 영상(R4), 영상(R3), 영상(R2), 영상(R1)으로 갈수록 영상내의 객체 사이즈가 점진적으로 커지고,
    상기 영상(R5)을 중심으로 영상(R6), 영상(R7), 영상(R8), 영상(R9), 영상(R10)으로 갈수록 영상내의 객체 사이즈가 점진적으로 작아지는 것을 특징으로 하고,
    상기 객체 후보를 검출하는 단계는,
    상기 중간 크기로 조정된 영상(R5)부터 탐색을 수행하여 작은 크기로 조정된 영상과 큰 크기로 조정된 영상을 교차하면서 탐색을 수행하고,
    상기 객체 후보를 검출하는 단계는,
    상기 교차 탐색중에 각 단계별 크기 조정된 영상중에서 인식된 객체 후보가 기설정된 임계치 이상이 되는 영상이 있을 경우 탐색을 종료하는 것을 특징으로 하는 단계별 영상을 이용한 객체 인식 성능 향상 방법.
  5. 삭제
  6. 청구항 4에 있어서,
    상기 객체 후보를 검출하는 단계는,
    상기 중간 크기로 조정된 영상(R5)에 비해 객체 사이즈가 큰 크기로 조정된 영상(R1 ~ R4)에서는 탐색 포인트의 간격을 늘리고, 상기 중간 크기로 조정된 영상(R5)에 비해 객체 사이즈가 작은 크기로 조정된 영상(R6 ~ R10)에서는 탐색 포인트의 간격을 줄여 탐색을 수행하는 것을 특징으로 하는 단계별 영상을 이용한 객체 인식 성능 향상 방법.
KR1020160063341A 2016-05-24 2016-05-24 단계별 영상을 이용한 객체 인식 성능 향상 장치 및 방법 KR101727432B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160063341A KR101727432B1 (ko) 2016-05-24 2016-05-24 단계별 영상을 이용한 객체 인식 성능 향상 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160063341A KR101727432B1 (ko) 2016-05-24 2016-05-24 단계별 영상을 이용한 객체 인식 성능 향상 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101727432B1 true KR101727432B1 (ko) 2017-04-14

Family

ID=58579339

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160063341A KR101727432B1 (ko) 2016-05-24 2016-05-24 단계별 영상을 이용한 객체 인식 성능 향상 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101727432B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102439678B1 (ko) * 2021-03-09 2022-09-01 최지훈 Cctv와 라이다센서를 이용한 통합 관리 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101374726B1 (ko) 2012-06-27 2014-03-17 한국과학기술원 특징 기술자 생성 장치 및 방법, 그를 이용한 영상 객체 인식 장치 및 방법
KR20140044173A (ko) 2012-10-04 2014-04-14 한국전자통신연구원 객체 영상 인식 장치 및 객체 영상 인식 방법
KR101491461B1 (ko) * 2013-08-02 2015-02-23 포항공과대학교 산학협력단 공분산 기술자를 이용하는 물체 인식 방법 및 장치
KR20160044668A (ko) * 2014-10-15 2016-04-26 서울시립대학교 산학협력단 얼굴 식별 방법, 얼굴 식별 장치 및 이 방법을 실행시키는 컴퓨터 프로그램

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101374726B1 (ko) 2012-06-27 2014-03-17 한국과학기술원 특징 기술자 생성 장치 및 방법, 그를 이용한 영상 객체 인식 장치 및 방법
KR20140044173A (ko) 2012-10-04 2014-04-14 한국전자통신연구원 객체 영상 인식 장치 및 객체 영상 인식 방법
KR101491461B1 (ko) * 2013-08-02 2015-02-23 포항공과대학교 산학협력단 공분산 기술자를 이용하는 물체 인식 방법 및 장치
KR20160044668A (ko) * 2014-10-15 2016-04-26 서울시립대학교 산학협력단 얼굴 식별 방법, 얼굴 식별 장치 및 이 방법을 실행시키는 컴퓨터 프로그램

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102439678B1 (ko) * 2021-03-09 2022-09-01 최지훈 Cctv와 라이다센서를 이용한 통합 관리 시스템

Similar Documents

Publication Publication Date Title
CN110414507B (zh) 车牌识别方法、装置、计算机设备和存储介质
Teoh et al. Symmetry-based monocular vehicle detection system
CN108171196B (zh) 一种人脸检测方法及装置
Kheyrollahi et al. Automatic real-time road marking recognition using a feature driven approach
Du et al. Automatic license plate recognition (ALPR): A state-of-the-art review
KR101617681B1 (ko) 히스토그램들을 갖는 다중 층 연결 요소들을 사용하는 텍스트 검출
Kaur et al. Number plate recognition using OCR technique
Islam et al. Automatic vehicle number plate recognition using structured elements
Kulkarni et al. Text detection and recognition: a review
Gilly et al. A survey on license plate recognition systems
Elbamby et al. Real-time automatic multi-style license plate detection in videos
Pervej et al. Real-time computer vision-based bangla vehicle license plate recognition using contour analysis and prediction algorithm
Giri Text information extraction and analysis from images using digital image processing techniques
Angelika Mulia et al. YOLOv8 and Faster R-CNN Performance Evaluation with Super-resolution in License Plate Recognition
KR101727432B1 (ko) 단계별 영상을 이용한 객체 인식 성능 향상 장치 및 방법
KR101733288B1 (ko) 방향정보를 이용한 객체 검출기 생성 방법, 이를 이용한 객체 검출 장치 및 방법
Al-Shemarry et al. Identifying License Plates in Distorted Vehicle Images: Detecting Distorted Vehicle Licence Plates Using a Novel Preprocessing Methods With Hybrid Feature Descriptors
JP5447164B2 (ja) 移動体識別装置、コンピュータプログラム及び移動体識別方法
Shaout et al. A smart traffic sign recognition system
JP4849262B2 (ja) ナンバープレート抽出システム、ナンバープレート抽出装置、ナンバープレート抽出方法及びプログラム
Puri et al. Ssd based vehicle number plate detection and recognition
KR20220043316A (ko) 영상 워핑을 이용한 번호판 검출 장치 및 방법
Gaikwad et al. Video scene segmentation to separate script
KR101169340B1 (ko) 영상 처리 시스템에서의 객체 인식 방법 및 시스템
NGUYEN License plate detection and refinement based on deep convolutional neural network

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant