KR101976952B1 - 움직임 벡터를 이용한 객체 검출 시스템 및 그 방법 - Google Patents

움직임 벡터를 이용한 객체 검출 시스템 및 그 방법 Download PDF

Info

Publication number
KR101976952B1
KR101976952B1 KR1020170144369A KR20170144369A KR101976952B1 KR 101976952 B1 KR101976952 B1 KR 101976952B1 KR 1020170144369 A KR1020170144369 A KR 1020170144369A KR 20170144369 A KR20170144369 A KR 20170144369A KR 101976952 B1 KR101976952 B1 KR 101976952B1
Authority
KR
South Korea
Prior art keywords
background
motion
motion vector
candidate region
motion field
Prior art date
Application number
KR1020170144369A
Other languages
English (en)
Inventor
정경훈
이강
Original Assignee
재단법인 다차원 스마트 아이티 융합시스템 연구단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인 다차원 스마트 아이티 융합시스템 연구단 filed Critical 재단법인 다차원 스마트 아이티 융합시스템 연구단
Priority to KR1020170144369A priority Critical patent/KR101976952B1/ko
Application granted granted Critical
Publication of KR101976952B1 publication Critical patent/KR101976952B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 주행 중인 기준 차량에서 획득되는 영상 정보를 기반으로, 움직임 벡터의 패턴으로 구성되는 배경 움직임 필드에 따른 객체 후보 영역을 추출하여 객체를 인식하는 움직임 벡터를 이용한 객체 검출 시스템 및 그 방법에 관한 것으로서, 영상 프레임에서 배경 및 객체를 분리하며, 객체 후보 영역을 추출하는 과정의 계산량을 최소화할 수 있다.

Description

움직임 벡터를 이용한 객체 검출 시스템 및 그 방법{SYSTEM AND METHOD FOR DETECTING OBJECT USING MOTION VECTOR}
본 발명은 움직임 벡터를 이용한 객체 검출 시스템 및 그 방법에 관한 것으로서, 보다 상세하게는 주행 중인 기준 차량에서 획득되는 영상 정보를 기반으로, 움직임 벡터의 패턴으로 구성되는 배경 움직임 필드에 따른 객체 후보 영역을 추출하여 객체를 인식하는 기술에 관한 것이다.
최근에는 차량 내부 기기에 다양한 ADAS(Advanced Driver Assistance System, 첨단 운전자 지원 시스템) 기술이 접목되고 있다. 현재 차량에 많이 사용되는 ADAS 기술은 차선이탈감지(Lane Departure Warning; LDW), 전방추돌감지(Forward Collision Warning; FCW), 전방차량출발알림(Forward Vehicle Start Alarm; FVSA) 등이 있다. 그 외의 ADAS 기능으로는 사각지대감지(Blind Spot Detection; BSD), 보행자 감지(Pedestrian Detection), 교통신호 감지(Traffic Signal Detection) 등이 있다.
이 때, ADAS 기술을 구현하기 위해서는 차량 또는 보행자의 객체를 검출하는 기술이 필수적이다.
기존에는 차량 객체를 검출하는 방법으로, 차량의 그림자를 이용하는 방법과 수평 에지를 이용하는 방법 등이 알려져 있다.
상기 차량의 그림자를 이용하는 방법은 차량과 도로가 만나는 지점에서 발생하는 그림자를 이용하여 차량 후보 영역을 설정하고, 설정된 후보 영역의 대칭성을 검사하여 차량을 검출하는 것이다. 또한, 상기 수평 에지를 이용하는 방법은 차량을 촬영한 영상을 통해 수평 에지를 획득하고, 수평 에지가 일정 부분 나타나는 영역을 차량의 후보 영역으로 설정하여 차량 후보 영역과 차량 템플릿을 이용한 차량을 검출하는 것이다.
다만, 종래의 차량의 그림자를 이용하는 방법은 야간의 환경이나 비가 오는 환경에서는 그림자의 발생이 현저히 떨어지고 이로 인해 차량 후보 영역이 줄어드는 한계가 존재하였다. 또한, 종래의 수평 에지를 이용하는 방법은 주행 중인 차량에서 촬영한 프레임의 영상 데이터에는 수평 에지가 너무 많이 발생하기 때문에, 이를 극복하기 위해 도로 색이나 도로 영역에 대한 정보를 이용하고 있으나 굽은 길이나 오르막 또는 내리막 길에서는 차량 검출 성능에 문제가 발생한다는 한계가 존재하였다.
이러한 종래 기술의 한계를 극복하기 위해, 등록특허인 한국등록특허 제10­0630088호는 '옵티컬 플로우를 이용한 차량 감시 장치 및 방법'에 관한 기술로, Lucas­Kanade 방법으로 옵티컬 플로우(optical flow)를 산출하는 방법을 개시한다.
나아가, 한국등록특허 제10­0630088호는 현재의 차량에서의 속도 및 핸들 각도에 따른 배경 옵티컬 플로우를 미리 획득하여 저장하고, 옵티컬 플로우를 이용하여 움직임 벡터를 획득하며, 차량을 검출 및 추적하는 구성을 개시하고 있다. 다만, 한국등록특허 제10­0630088호에 개시된 방법을 이용하여 옵티컬 플로우를 산출하는 경우, 방사형의 움직임 벡터 필드를 획득하는 대신에 평탄한 영역에서의 움직임 벡터는 (0.0)이 획득되는 알고리즘의 오류가 발생한다.
또한, 한국등록특허 제10­0630088호는 차량의 속도 및 핸들 각도에 따른 배경 옵티컬 플로우를 사용하는 방법이므로, 영상 전체에 대한 움직임 벡터를 획득함으로써, 많은 계산량을 필요로 한다는 한계가 존재하였다.
한국등록특허 제10­0630088호(2006.09.22 등록), "옵티컬 플로우를 이용한 차량 감시 장치 및 방법"
본 발명의 목적은 영상 프레임에서 배경 및 객체를 분리하며, 객체 후보 영역을 추출하는 과정의 계산량을 최소화할 수 있는 기술을 제공하고자 한다.
또한, 본 발명의 목적은 기준 차량의 속도 정보 및 영상 정보를 기반으로, 배경 움직임 필드 추정 및 객체 후보 영역 추출의 과정을 반복하여 객체 후보 영역을 추출함으로써, 객체 인식의 정확도를 향상시킬 수 있는 기술을 제공하고자 한다.
또한, 본 발명의 목적은 영상 정보를 기반으로, 다양한 특징 추출 기법을 적용하여 배경 영역에서 특징점을 추출하고, 식별 기법을 적용하여 객체를 식별함으로써, 기준 차량의 속도 정보가 없이도 배경 움직임 필드를 추정할 수 있는 기술을 제공하고자 한다.
본 발명의 실시예에 따른 영상 정보를 기반으로 객체를 검출하는 객체 검출 시스템에 있어서, 주행 중인 기준 차량에서 획득되는 상기 영상 정보를 기반으로, 상기 기준 차량에 따른 움직임 벡터의 패턴으로부터 배경 움직임 필드를 추정하고, 기 설정한 임계값을 비교하여 객체 후보 영역을 추출하는 추출부 및 상기 추출된 객체 후보 영역에서 상기 객체를 인식하는 인식부를 포함한다.
상기 추출부는 영상 프레임 내 소실점을 기준으로 상기 기준 차량의 움직임에 따른 복수의 상기 움직임 벡터를 획득하고, 상기 움직임 벡터의 패턴으로부터 상기 배경 움직임 필드를 추정하는 배경 움직임 필드 추정부 및 상기 추정된 배경 움직임 필드와 상기 기 설정한 임계값을 비교하며, 비교 결과에 따른 상기 임계값을 초과하는 경우, 상기 객체 후보 영역임을 판단하는 객체 후보 영역 추출부를 포함할 수 있다.
상기 배경 움직임 필드 추정부는 상기 소실점을 기준으로, 상기 기준 차량의 움직임에 따른 배경 움직임 벡터 및 상기 객체의 움직임에 따른 객체 움직임 벡터를 포함하는 상기 움직임 벡터를 획득하고, 상기 움직임 벡터의 패턴으로부터 상기 배경 움직임 필드를 추정할 수 있다.
상기 객체 움직임 벡터는 상기 객체의 움직임에 의해 생성되는 것으로, 상기 배경 움직임 필드와 상반된 방향 및 크기를 나타낼 수 있다.
상기 배경 움직임 필드 추정부는 상기 기준 차량의 차량 상태 정보로부터 속도를 감지하고, 상기 소실점을 기준으로 상기 기준 차량의 속도에 따른 배경 움직임 벡터의 크기를 획득하여 상기 배경 움직임 필드를 추정할 수 있다.
상기 차량 상태 정보는 상기 기준 차량의 주행에 따라, 상기 기준 차량 내 OBD(On Board Diagnostics) 단자로부터 수집될 수 있다.
상기 배경 움직임 필드 추정부는 상기 기준 차량의 속도를 감지하지 못하는 경우, 상기 영상 프레임 내 배경에 해당하는 배경 영역에서의 특징점을 추출하고, 상기 특징점의 움직임 벡터를 산출하여 보간법(interpolation)을 통해 상기 배경 움직임 필드를 추정할 수 있다.
상기 인식부는 머신러닝(machine learning) 기법을 이용하여 상기 객체 후보 영역에서의 차량 또는 보행자의 상기 객체를 인식할 수 있다.
본 발명의 다른 실시예에 따른 영상 정보를 기반으로 객체를 검출하는 객체 검출 시스템에 있어서, 기준 차량에 포함된 카메라, 상기 카메라로부터 획득되는 영상 정보를 저장하는 메모리, 주행 중인 상기 기준 차량에서 획득되는 상기 영상 정보를 기반으로, 상기 기준 차량에 따른 움직임 벡터의 패턴으로부터 배경 움직임 필드를 추정하고, 기 설정한 임계값을 비교하여 객체 후보 영역을 추출하는 추출부 및 상기 추출된 객체 후보 영역에서 상기 객체를 인식하는 인식부를 포함한다.
본 발명의 실시예에 따른 영상 정보를 기반으로 객체를 검출하는 객체 검출 시스템의 동작 방법에 있어서, 주행 중인 기준 차량에서 획득되는 상기 영상 정보를 기반으로, 상기 기준 차량에 따른 움직임 벡터의 패턴으로부터 배경 움직임 필드를 추정하는 단계, 상기 추정된 배경 움직임 필드와 기 설정한 임계값을 비교하여 객체 후보 영역을 추출하는 단계 및 상기 추출된 객체 후보 영역에서 상기 객체를 인식하는 단계를 포함한다.
상기 배경 움직임 필드를 추정하는 단계는 영상 프레임 내 소실점을 기준으로 상기 기준 차량의 움직임에 따른 배경 움직임 벡터 및 상기 객체의 움직임에 따른 객체 움직임 벡터를 포함하는 상기 움직임 벡터를 획득하고, 상기 움직임 벡터의 패턴으로부터 상기 배경 움직임 필드를 추정할 수 있다.
상기 객체 움직임 벡터는 상기 객체의 움직임에 의해 생성되는 것으로, 상기 배경 움직임 필드와 상반된 방향 및 크기를 나타낼 수 있다.
상기 배경 움직임 필드를 추정하는 단계는 상기 기준 차량의 차량 상태 정보로부터 속도를 감지하고, 상기 소실점을 기준으로 상기 기준 차량의 속도에 따른 상기 배경 움직임 벡터의 크기를 획득하여 상기 배경 움직임 필드를 추정할 수 있다.
상기 배경 움직임 필드를 추정하는 단계는 상기 기준 차량의 속도를 감지하지 못하는 경우, 상기 영상 프레임 내 배경에 해당하는 배경 영역에서의 특징점을 추출하고, 상기 특징점의 움직임 벡터를 산출하여 보간법(interpolation)을 통해 상기 배경 움직임 필드를 추정할 수 있다.
상기 객체 후보 영역을 추출하는 단계는 상기 추정된 배경 움직임 필드와 상기 기 설정한 임계값을 비교하며, 비교 결과에 따른 상기 임계값을 초과하는 경우, 상기 객체 후보 영역임을 판단할 수 있다.
상기 객체를 인식하는 단계는 머신러닝(machine learning) 기법을 이용하여 상기 객체 후보 영역에서의 차량 또는 보행자의 상기 객체를 인식할 수 있다.
본 발명의 실시예에 따르면, 영상 프레임에서 배경 및 객체를 분리하며, 객체 후보 영역을 추출하는 과정의 계산량을 최소화할 수 있다.
또한, 본 발명의 실시예에 따르면, 기준 차량의 속도 정보 및 영상 정보를 기반으로, 배경 움직임 필드 추정 및 객체 후보 영역 추출의 과정을 반복하여 객체 후보 영역을 추출함으로써, 객체 인식의 정확도를 향상시킬 수 있다.
또한, 본 발명의 실시예에 따르면, 영상 정보를 기반으로, 다양한 특징 추출 기법을 적용하여 배경 영역에서 특징점을 추출하고, 식별 기법을 적용하여 객체를 식별함으로써, 기준 차량의 속도 정보가 없이도 배경 움직임 필드를 추정할 수 있다.
도 1은 본 발명의 실시예에 따른 객체 검출 시스템의 구성을 블록도로 도시한 것이다.
도 2는 본 발명의 실시예에 따른 추출부의 세부 구성을 블록도로 도시한 것이다.
도 3은 본 발명의 실시예에 따른 기준 차량의 예를 도시한 것이다.
도 4a 및 도 4b는 본 발명의 실시예에 따른 영상 정보에서 배경 움직임 필드를 형성한 결과 이미지의 예를 도시한 것이다.
도 5a 및 도 5b는 속도 변화에 따른 옵티컬 플로우(optical flow)의 예를 도시한 것이다.
도 6은 본 발명의 실시예에 따른 객체 검출 방법의 흐름도를 도시한 것이다.
도 7은 본 발명의 실시예에 따른 배경 움직임 필드를 추정하는 단계의 세부 과정의 흐름도를 도시한 것이다.
도 8은 본 발명의 다른 실시예에 따른 객체 검출 시스템의 구성을 블록도로 도시한 것이다.
이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
또한, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 바람직한 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 시청자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 실시예에 따른 객체 검출 시스템의 구성을 블록도로 도시한 것이다.
도 1을 참조하면, 본 발명의 실시예에 따른 객체 검출 시스템(100)은 주행 중인 기준 차량에서 획득되는 영상 정보를 기반으로, 움직임 벡터의 패턴으로 구성되는 배경 움직임 필드에 따른 객체 후보 영역을 추출하여 객체를 인식한다.
이에 따른, 본 발명의 실시예에 따른 객체 검출 시스템(100)은 추출부(110) 및 인식부(120)를 포함한다.
본 발명의 실시예에 따른 객체 검출 시스템(100)은 기준 차량 내 포함된 전방 카메라, 후방 카메라 및 블랙박스 중 적어도 어느 하나로부터 실시간으로 획득되는 영상 정보를 이용하여 배경 움직임 필드를 추정하고, 객체 후보 영역을 추출하며, 추출된 객체 후보 영역에서 객체를 인식한다.
이 때, 전방 카메라, 후방 카메라 및 블랙박스 중 적어도 어느 하나는 기준 차량의 주행에 따른 감시 영역을 촬영하여 영상데이터를 출력할 수 있다. 실시예에 따라서, 전방 카메라, 후방 카메라 및 블랙박스 중 적어도 어느 하나는 전체 입력 영상에서 움직이는 객체에 대한 정보를 획득하기 위해 입력되는 영상데이터를 디지털화 하고, 디지털화된 영상데이터의 노이즈를 제거하기 위하여 필터링을 수행할 수 있다. 이 때, 필터링을 수행하기 위해 전방 카메라, 후방 카메라 및 블랙박스 중 적어도 어느 하나는 가우시언 필터, 미디어 필터 등 입력데이터의 노이즈 성분을 제거하기 위한 노이즈 제거 필터를 이용함을 특징으로 한다. 이후, 전방 카메라, 후방 카메라 및 블랙박스 중 적어도 어느 하나는 필터링을 통하여 입력된 영상데이터를 보정하고, 본 발명의 실시예에 따른 객체 검출 시스템(100)은 보정된 영상 정보를 획득할 수 있다.
이하에서는 도 2를 참조하여 본 발명의 실시예에 따른 객체 검출 시스템(100)의 추출부(110)에 대해 상세히 설명하고자 한다.
도 2는 본 발명의 실시예에 따른 추출부의 세부 구성을 블록도로 도시한 것이다.
도 2를 참조하면, 추출부(110)는 주행 중인 기준 차량에서 획득되는 영상 정보를 기반으로, 기준 차량에 따른 움직임 벡터의 패턴으로부터 배경 움직임 필드를 추정하고, 기 설정한 임계값을 비교하여 객체 후보 영역을 추출한다.
이에 따른, 추출부(110)는 배경 움직임 필드 추정부(111) 및 객체 후보 영역 추출부(112)를 포함할 수 있다.
배경 움직임 필드 추정부(111)는 영상 정보의 영상 프레임 내 소실점을 기준으로, 기준 차량의 움직임에 따른 복수의 움직임 벡터를 획득하고, 움직임 벡터의 패턴으로부터 배경 움직임 필드를 추정할 수 있다.
이 때, 영상 프레임은 영상 정보에서 획득되는 매 순간의 프레임일 수 있다.
예를 들면, 배경 움직임 필드 추정부(111)는 영상 정보의 영상 프레임 내 차선 등의 직선을 검출하고, 검출된 직선 성분에 기초하여 소실점을 검출할 수 있다. 소실점은 좌/우/상/하의 영역 분리 및 움직임 벡터의 패턴을 획득하기 위해 반드시 필요한 특징점으로써 영상 프레임에서 검출된 차선 등의 직선 성분에 의해 추출이 가능하다.
배경 움직임 필드 추정부(111)는 검출된 소실점을 기준으로 기준 차량의 움직임에 따른 배경 움직임 벡터 및 객체의 움직임에 따른 객체 움직임 벡터를 포함하는 움직임 벡터를 획득하고, 움직임 벡터의 패턴으로부터 배경 움직임 필드를 추정할 수 있다. 이 때, 상기 움직임 벡터는 전방 카메라로부터 획득된 전방영상인 경우, 또는 후방 카메라로부터 획득된 후방영상인 경우에 따라 상이하게 획득될 수 있다. 예를 들면, 후방영상인 경우, 움직임 벡터는 바깥쪽에서 중앙(소실점)으로 향하는 방향으로 형성될 수 있으며, 전방영상인 경우, 움직임 벡터는 중앙(소실점)에서 바깥쪽으로 향하는 방향으로 형성될 수 있다. 나아가, 기준 차량의 속도 변화가 빨라질수록 벡터의 크기는 상대적으로 크게 표시될 수 있으며, 벡터의 크기가 커질수록 상대 속도 또한 증가하는 것으로 인지하고, 이와 반대인 경우에는 상대속도가 감소하는 것으로 인지한다.
또한, 기준 차량의 속도와 객체의 속도 차이에 따른 배경 움직임 벡터 및 객체 움직임 벡터의 크기가 서로 상이할 수 있으며, 예를 들면, 객체 움직임 벡터는 움직임 벡터의 패턴으로 구성된 배경 움직임 필드와 상이한 방향 및 크기를 나타낼 수 있다.
나아가, 배경 움직임 필드 추정부(111)는 기준 차량의 속도를 획득하는 경우와, 획득하지 못하는 경우 각각에서의 배경 움직임 필드를 추정할 수 있다.
제1 실시예에 따른 기준 차량의 속도를 획득하는 경우, 배경 움직임 필드 추정부(111)는 기준 차량의 차량 상태 정보로부터 속도를 감지하고, 영상 프레임 내 소실점을 기준으로 기준 차량의 속도에 따른 배경 움직임 벡터의 크기를 획득하여 배경 움직임 필드를 추정할 수 있다.
이 때, 본 발명의 실시예에 따른 객체 검출 시스템(100)는 기준 차량 내 OBD(On Board Diagnostics) 단자에 연결되어 OBD 데이터인 차량 상태 정보를 획득할 수 있다. 예를 들면, 본 발명의 실시예에 따른 객체 검출 시스템(100)은 복수의 핀 배열 형태와 통신 방식을 포함하는 커넥터(connector)를 이용하여 기준 차량 내 OBD 단자에 연결될 수 있으며, 기준 차량의 표준 동작 및 비표준 동작에 의해 OBD 단자에서 발생하는 차량 상태 정보를 수집할 수 있다. 실시예에 따라서, 객체 검출 시스템(100)은 OBD 단자에 연결되는 OBD 단말기(On­Board Diagnostics terminal) 또는 OBD 스캐너(On­Board Diagnostics scanner)를 포함할 수 있다.
즉, 제1 실시예에 따른 배경 움직임 필드 추정부(111)는 기준 차량의 OBD 단자로부터 획득되는 차량 상태 정보로부터 속도를 획득하고, 영상 프레임 내 소실점으로부터 방사 형태로 형성되는 움직임 벡터의 크기를 획득하여 배경 움직임 필드를 추정할 수 있다.
제2 실시예에 따른 기준 차량의 속도를 획득하지 못하는 경우, 배경 움직임 필드 추정부(111)는 영상 프레임만을 이용하여 소실점을 획득하여 배경 움직임 필드를 추정할 수 있다.
예를 들면, 본 발명의 실시예에 따른 객체 검출 시스템(100)에서 기준 차량의 속도를 감지하지 못하는 경우, 배경 움직임 필드 추정부(111)는 영상 프레임에서 배경에 해당하는 배경 영역의 특징점을 추출하고, 추출된 특징점의 움직임 벡터를 산출하여 보간법(interpolation)을 통해 배경 움직임 필드를 추정할 수 있다. 이 때, 배경 움직임 필드 추정부(111)는 영상 프레임 내 소실점을 획득하여 보다 정확한 배경 움직임 필드를 추정할 수도 있다.
객체 후보 영역 추출부(112)는 추정된 배경 움직임 필드와 기 설정한 임계값을 비교하며, 비교 결과에 따른 임계값을 초과하는 경우, 객체 후보 영역을 판단할 수 있다.
예를 들면, 객체 후보 영역 추출부(112)는 배경 움직임 필드 추정부(111)에 의해 추정된 영상 프레임 별 배경 움직임 필드를 적용하며, 프레임 별 배경 움직임 필드의 차이값이 기 설정한 임계값을 초과하는 경우, 객체 후보 영역임을 판단할 수 있다. 이 과정에서 본 발명의 실시예에 따른 객체 검출 시스템(100)은 획득된 영상 정보의 넓은 탐색 영역에서의 움직임 벡터를 추정할 필요 없이, 배경 움직임 필드 추정부(111)에 의해 추정된 배경 움직임 필드 내 움직임 벡터의 적절성 여부를 판단함으로써, 계산량을 최소화할 수 있다.
이 때, 상기 객체 후보 영역은 영상 프레임 중 배경 영역 외에 보행자 또는 차량의 객체를 나타내는 영역이다. 또한, 상기 임계값은 보행자 또는 차량 각각의 객체에 대한 움직임 벡터의 패턴에 의해 설정된 것으로, 다양한 실시예에 따라 설정되므로 한정된 값은 아니다.
다시 도 1을 참조하면, 본 발명의 실시예에 따른 객체 검출 시스템(100)의 인식부(120)는 추출된 객체 후보 영역에서 객체를 인식한다.
인식부(120)는 템플릿 매칭 기법 또는 머신러닝(machine learning) 기법을 이용하여 객체 후보 영역에서의 차량 또는 보행자의 객체를 인식할 수 있다.
일 실시 예로, 인식부(120)는 보행자 또는 차량의 객체 검출을 위해 객체 후보 영역과 미리 저장된 차량 및 보행자 각각의 템플릿(Template)과의 유사도(correlation) 검사를 수행하여 객체를 인식할 수 있다. 실시예에 따라서, 본 발명의 실시예에 따른 객체 검출 시스템(100)은 차종에 대한 영상 정보를 이용하여 차량의 종류에 대한 평균값을 획득하여 구성된 템플릿 및 보행자의 형태에 의해 구성된 템플릿을 저장하여 유지할 수 있으며, 인식부(120)는 구성된 템플릿을 이용하여 보행자 또는 차량을 인식할 수 있다. 예를 들어, 템플릿은 SUV, 승용차, 버스 및 트럭 중 적어도 어느 하나 이상의 차량 종류에 대한 템플릿 및 보행자의 형태, 형상 및 성별 중 적어도 어느 하나에 대한 템플릿을 포함할 수 있다.
다른 예로, 인식부(120)는 Harris 코너(Harris Corner), Shi­Tomasi 코너(Shi­Tomasi Corner), SUSAN, FAST 등을 적용하여 객체 후보 영역에서 특징점을 추출하고, SVM(Support Vector Machine) 기법, Adaboost 기법 또는 인공신경망(Artificial Neural Network; ANN) 기법 등의 머신 러닝 (machine learning) 기법 중 적어도 어느 하나를 적용하여 차량 또는 보행자를 식별함으로써, 객체 후보 영역에서 객체가 위치하는지 여부를 감지 및 인식할 수 있다.
도 3은 본 발명의 실시예에 따른 기준 차량의 예를 도시한 것이다.
도 3을 참조하면, 기준 차량(10)은 후방 카메라(310)를 포함할 수 있으며, 본 발명의 실시예에 따른 객체 검출 시스템은 후방 카메라(310)로부터 획득된 영상 정보를 이용하여 움직임 벡터의 패턴에 따른 배경 움직임 필드를 추정하고, 추정된 배경 움직임 필드로부터 객체 후보 영역을 추출하여 객체를 인식한다.
이 때, 후방 카메라(310)는 기준 차량(10)의 후방을 향해 미리 설정된 각도에 따른 시야의 영상 정보를 획득한다. 이 때, 후방 카메라는 본 발명의 실시예에 따른 객체 검출 시스템에 의해 고화질의 영상 정보 또는 저화질의 영상 정보를 선택적으로 획득할 수 있다.
실시예에 따라서, 본 발명의 실시예에 따른 객체 검출 시스템은 후방 카메라(310)뿐만 아니라, 후방 카메라, 전방 카메라, 측면 카메라 및 블랙박스(Black­Box) 중 적어도 어느 하나 이상, 또는 중복되는 상기 하나 이상에 의해 획득된 영상 정보를 이용하여 움직임 벡터의 패턴에 따른 배경 움직임 필드를 추정하고, 추정된 배경 움직임 필드로부터 객체 후보 영역을 추출하여 객체를 인식할 수 있으므로, 도 3에 도시된 후방 카메라에 한정되는 것은 아니다.
도 4a 및 도 4b는 본 발명의 실시예에 따른 영상 정보에서 배경 움직임 필드를 형성한 결과 이미지의 예를 도시한 것이다.
보다 상세하게는, 도 4a는 본 발명의 실시예에 따른 영상 정보 내 소실점을 포함하는 결과 이미지의 예를 도시한 것이고, 도 4a는 본 발명의 실시예에 따른 움직임 벡터의 패턴으로 구성된 배경 움직임 필드를 포함하는 결과 이미지의 예를 도시한 것이다.
도 4a를 참조하면, 본 발명의 실시예에 따른 객체 검출 시스템은 기준 차량 내 후방 카메라로부터 획득된 영상 정보를 기반으로, 영상 정보의 영상 프레임 내 차선 등의 직선을 검출하고, 검출된 직선 성분에 기초하여 소실점을 검출할 수 있다. 소실점은 좌/우/상/하의 영역 분리 및 움직임 벡터의 패턴을 획득하기 위해 반드시 필요한 특징점으로써 영상 프레임에서 검출된 차선 등의 직선 성분에 의해 추출이 가능하다.
도 4b를 참조하면, 본 발명의 실시예에 따른 객체 검출 시스템은 도 4a에서 검출된 소실점의 중심으로 향하며, 중앙 영역에서의 크기는 작고, 외곽으로 갈수록 크기가 커지는 패턴의 움직임 벡터를 획득할 수 있다. 이 때, 움직임 벡터는 기준 차량의 속도에 따라 생성되는 배경 움직임 벡터 및 객체(왼쪽 부근의 차량 객체)의 속도에 따라 생성되는 객체 움직임 벡터를 포함하며, 속도가 빨라지는 경우 크기가 상대적으로 크게 표시되고, 속도가 감소하는 경우 상대적으로 작게 표시된다.
이러한 움직임 벡터의 패턴을 통해 본 발명의 실시예에 따른 객체 검출 시스템은 배경 움직임 필드를 구성할 수 있다. 실시예에 따라서, 도 4b에 도시된 바와 같이, 객체(왼쪽 부근의 차량 객체)가 존재하는 경우, 객체의 움직임에 의해 객체 움직임 벡터가 형성되며, 상기 객체 움직임 벡터는 배경 움직임 필드와 상이한 방향 또는 크기를 나타낸다.
이후, 본 발명의 실시예에 따른 객체 검출 시스템은 배경 움직임 필드와 상이한 방향 또는 크기를 나타내는 객체 움직임 벡터에 따른 객체 후보 영역(410)를 추출하고, 템플릿 매칭 기법 또는 머신러닝(machine learning) 기법을 이용하여 차량 또는 보행자의 객체를 인식한다.
예를 들면, 본 발명의 실시예에 따른 객체 검출 시스템은 Harris 코너(Harris Corner), Shi­Tomasi 코너(Shi­Tomasi Corner), SUSAN, FAST 등을 적용하여 객체 후보 영역에서 특징점을 추출하고, SVM(Support Vector Machine) 기법, Adaboost 기법 또는 인공신경망(Artificial Neural Network; ANN) 기법 등의 머신 러닝 (machine learning) 기법 중 적어도 어느 하나를 적용하여 차량 또는 보행자를 식별함으로써, 객체 후보 영역에서 객체가 위치하는지 여부를 감지 및 인식할 수 있다.
이에 따라서, 본 발명의 실시예에 따른 객체 검출 시스템은 영상 프레임 내 모든 위치(또는 영역)에서 배경 움직임 필드(또는 옵티컬 플로우)를 계산하지 않고도 객체의 존재가 예상되는 위치 및 크기를 포함하는 객체 후보 영역(410)을 추출하여 객체를 인식함으로써, 계산량을 최소화하는 효과를 제공한다.
도 5a 및 도 5b는 속도 변화에 따른 옵티컬 플로우(optical flow)의 예를 도시한 것이다.
보다 상세하게는, 도 5a 및 도 5b는 본 발명의 실시예에 따른 객체 검출 시스템에서, 기준 차량의 움직임(또는 속도)에 의한 움직임 벡터의 옵티컬 플로우 변화를 나타낸 것이다.
도 5a 및 도 5b에 도시된 바와 같이 소실점을 중심으로, 소실점(중앙)으로부터 외곽으로 향하는 옵티컬 플로우의 패턴 중에서 점선(510 및 520)을 비교해 보면, 기준 차량의 속도의 변화가 빨라질수록 도 5a에서의 움직임 벡터(510)에 비해 도 5b에서의 움직임 벡터(520)의 크기가 상대적으로 크게 표시된다. 이와 같이, 옵티컬 플로우의 패턴은 기준 차량에 대한 속도가 따라 서로 다르게 형성될 수 있다.
다만, 본 발명의 실시예에 따른 객체 검출 시스템은 기준 차량의 속도 정보가 없이도 영상 정보로부터 배경 움직임 필드(또는 배경 옵티컬 플로우)를 추정할 수 있다.
예를 들면, 본 발명의 실시예에 따른 객체 검출 시스템은 기준 차량의 속도를 감지하지 못하는 경우, 영상 정보의 영상 프레임에서 배경에 해당하는 배경 영역의 특징점을 추출하고, 추출된 특징점의 움직임 벡터를 산출하여 보간법(interpolation)을 통해 배경 움직임 필드를 추정할 수 있다. 이 때, 객체 검출 시스템은 영상 프레임 내 소실점을 획득하여 보다 정확한 배경 움직임 필드를 추정할 수도 있다.
즉, 본 발명의 실시예에 따른 객체 검출 시스템은 기준 차량의 영상 정보만으로도 도 5b에 도시된 바와 같은 움직임 벡터(520)를 포함하는 배경 움직임 필드를 추정할 수 있다. 이에 따라서, 본 발명의 실시예에 따른 객체 검출 시스템은 기준 차량의 속도 정보의 유무에 무관하게 정확도 높은 객체 후보 영역을 추출하여 객체를 인식할 수 있는 효과를 제공한다.
도 6은 본 발명의 실시예에 따른 객체 검출 방법의 흐름도를 도시한 것이다.
도 6에 도시된 객체 검출 방법은 도 1에 도시된 본 발명의 실시예에 따른 객체 검출 시스템에 의해 수행된다.
도 6을 참조하면, 단계 610에서 주행 중인 기준 차량에서 획득되는 영상 정보를 기반으로, 기준 차량에 따른 움직임 벡터의 패턴으로부터 배경 움직임 필드를 추정한다.
단계 610은 영상 정보의 영상 프레임 내 소실점을 기준으로, 기준 차량의 움직임에 따른 복수의 움직임 벡터를 획득하고, 움직임 벡터의 패턴으로부터 배경 움직임 필드를 추정하는 단계일 수 있다.
예를 들면, 단계 610에서, 본 발명의 실시예에 따른 객체 검출 방법은 영상 정보의 영상 프레임 내 차선 등의 직선을 검출하고, 검출된 직선 성분에 기초하여 소실점을 검출할 수 있다. 소실점은 좌/우/상/하의 영역 분리 및 움직임 벡터의 패턴을 획득하기 위해 반드시 필요한 특징점으로써 영상 프레임에서 검출된 차선 등의 직선 성분에 의해 추출이 가능하다.
이후, 단계 610은 검출된 소실점을 기준으로 기준 차량의 움직임에 따른 배경 움직임 벡터 및 객체의 움직임에 따른 객체 움직임 벡터를 포함하는 움직임 벡터를 획득하고, 움직임 벡터의 패턴으로부터 배경 움직임 필드를 추정할 수 있다. 이 때, 상기 움직임 벡터는 전방 카메라로부터 획득된 전방영상인 경우, 또는 후방 카메라로부터 획득된 후방영상인 경우에 따라 상이하게 획득될 수 있다. 예를 들면, 후방영상인 경우, 움직임 벡터는 바깥쪽에서 중앙(소실점)으로 향하는 방향으로 형성될 수 있으며, 전방영상인 경우, 움직임 벡터는 중앙(소실점)에서 바깥쪽으로 향하는 방향으로 형성될 수 있다. 나아가, 기준 차량의 속도 변화가 빨라질수록 벡터의 크기는 상대적으로 크게 표시될 수 있으며, 벡터의 크기가 커질수록 상대 속도 또한 증가하는 것으로 인지하고, 이와 반대인 경우에는 상대속도가 감소하는 것으로 인지한다.
또한, 기준 차량의 속도와 객체의 속도 차이에 따른 배경 움직임 벡터 및 객체 움직임 벡터의 크기가 서로 상이할 수 있으며, 예를 들면, 객체 움직임 벡터는 움직임 벡터의 패턴으로 구성된 배경 움직임 필드와 상이한 방향 및 크기를 나타낼 수 있다.
나아가, 단계 610은 기준 차량의 속도를 획득하는 경우와, 획득하지 못하는 경우 각각에서의 배경 움직임 필드를 추정할 수 있다.
제1 실시예에 따른 기준 차량의 속도를 획득하는 경우, 단계 610은 기준 차량의 차량 상태 정보로부터 속도를 감지하고, 영상 프레임 내 소실점을 기준으로 기준 차량의 속도에 따른 배경 움직임 벡터의 크기를 획득하여 배경 움직임 필드를 추정할 수 있다. 이 때, 상기 차량 상태 정보는 기준 차량 내 OBD(On Board Diagnostics) 단자에서 수집되는 OBD 데이터일 수 있다.
제2 실시예에 따른 기준 차량의 속도를 획득하지 못하는 경우, 단계 610은 영상 프레임에서 배경에 배경 영역의 특징점을 추출하고, 추출된 특징점의 움직임 벡터를 산출하여 보간법(interpolation)을 통해 배경 움직임 필드를 추정할 수 있다. 이 때, 단계 610은 영상 프레임 내 소실점을 획득하여 보다 정확한 배경 움직임 필드를 추정할 수도 있다.
단계 620에서 추정된 배경 움직임 필드와 기 설정한 임계값을 비교하여 객체 후보 영역을 추출한다.
예를 들면, 단계 620은 추정된 배경 움직임 필드와 기 설정한 임계값을 비교하며, 비교 결과에 따른 임계값을 초과하는 경우, 객체 후보 영역을 판단하는 단계일 수 있다. 이 때, 상기 객체 후보 영역은 영상 프레임 중 배경 영역 외에 보행자 또는 차량의 객체를 나타내는 영역이다. 또한, 상기 임계값은 보행자 또는 차량 각각의 객체에 대한 움직임 벡터의 패턴에 의해 설정된 것으로, 다양한 실시예에 따라 설정되므로 한정된 값은 아니다.
단계 630에서 추출된 객체 후보 영역에서 객체를 인식한다.
단계 630은 템플릿 매칭 기법 또는 머신러닝(machine learning) 기법을 이용하여 객체 후보 영역에서의 차량 또는 보행자의 객체를 인식하는 단계일 수 있다.
예를 들면, 단계 630은 Harris 코너(Harris Corner), Shi­Tomasi 코너(Shi­Tomasi Corner), SUSAN, FAST 등을 적용하여 객체 후보 영역에서 특징점을 추출하고, SVM(Support Vector Machine) 기법, Adaboost 기법 또는 인공신경망(Artificial Neural Network; ANN) 기법 중 적어도 어느 하나를 적용하여 차량 또는 보행자를 식별함으로써, 객체 후보 영역에서 객체가 위치하는지 여부를 감지 및 인식할 수 있다.
도 7은 본 발명의 실시예에 따른 배경 움직임 필드를 추정하는 단계의 세부 과정의 흐름도를 도시한 것이다.
보다 상세하게는, 도 7은 기준 차량의 속도를 감지하지 못하는 경우, 배경 움직임 필드를 추정하는 단계의 세부 과정에 대한 흐름도를 도시한 것이다.
예를 들면, 도 6에 도시된 단계 610에서 기준 차량의 속도를 감지하지 못하는 경우, 단계 711에서 본 발명의 실시예에 따른 객체 검출 방법은 영상 정보의 영상 프레임에서 배경에 해당하는 배경 영역의 특징점을 추출할 수 있다. 이 때, 특징점(keypoint)은 영상 정보의 영상 프레임에서 객체, 차선 및 배경을 구분하는 식별이 용이한 지점으로, 특징점 추출 알고리즘에 의해 추출될 수 있다.
단계 712에서 추출된 특징점의 움직임 벡터를 산출할 수 있다. 예를 들면, 단계 712은 영상 프레임 내 복수의 특징점의 움직임 벡터를 산출하는 단계로, 중앙 영역에서의 크기는 작고, 외곽으로 갈수록 크기가 상대적으로 커지는 패턴의 움직임 벡터를 획득할 수 있다.
단계 713에서 영상 프레임 내 소실점을 추출할 수 있다. 예를 들면, 단계 713은 영상 정보의 영상 프레임 내 차선 등의 직선을 검출하고, 검출된 직선 성분에 기초하여 소실점을 검출할 수 있다. 소실점은 좌/우/상/하의 영역 분리 및 움직임 벡터의 패턴을 획득하기 위해 반드시 필요한 특징점으로써 영상 프레임에서 검출된 차선 등의 직선 성분에 의해 추출이 가능하다.
다만, 실시예에 따라서, 단계 713 이후에 단계 712가 수행될 수도 있다. 즉, 단계 712 및 단계 713의 순서는 이에 한정되지 않는다.
이후, 단계 714에서 추출된 특징점의 움직임 벡터를 산출하여 보간법(interpolation)을 통해 배경 움직임 필드를 추정할 수 있다.
이후, 본 발명의 실시예에 따른 객체 검출 방법은 도 6에 도시된 단계 620을 통해 객체 후보 영역을 추출하고, 단계 630에서 객체를 인식한다.
즉, 도 7에 도시된 과정에 따라 본 발명의 실시예에 따른 객체 검출 방법은 기준 차량의 영상 정보만으로도 배경 움직임 필드를 추정하여 객체 후보 영역을 추출함으로써, 기준 차량의 속도 정보의 유무에 무관하게 정확도 높은 객체 후보 영역을 추출하여 객체를 인식할 수 있는 효과를 제공한다.
도 8은 본 발명의 다른 실시예에 따른 객체 검출 시스템의 구성을 블록도로 도시한 것이다.
도 8을 참조하면, 본 발명의 다른 실시예에 따른 객체 검출 시스템(800)은 주행 중인 기준 차량에서 획득되는 영상 정보를 기반으로, 움직임 벡터의 패턴으로 구성되는 배경 움직임 필드에 따른 객체 후보 영역을 추출하여 객체를 인식한다.
이에 따른, 본 발명의 다른 실시예에 따른 객체 검출 시스템(800)은 카메라(810), 메모리(820), 추출부(830) 및 인식부(840)를 포함한다.
카메라(810)는 기준 차량에 포함된다. 예를 들면, 카메라(810)는 기준 차량의 후방, 전방 또는 측방을 향해 미리 설정된 각도에 따른 영상 정보를 획득할 수 있으며, 카메라(810)는 단안 카메라일 수 있다.
메모리(820)는 카메라(810)로부터 획득되는 영상 정보를 저장한다.
이 때, 도면에는 도시하지 않았지만, 본 발명의 다른 실시예에 따른 객체 검출 시스템(800)은 기준 차량의 전방을 향해 미리 설정된 각도에 따른 영상 정보를 획득하는 전방 카메라, 기준 차량의 후방을 향해 미리 설정된 각도에 따른 영상 정보를 획득하는 후방 카메라, 기준 차량의 좌/우 측방을 향해 미리 설정된 각도에 따른 영상 정보를 획득하는 측면 카메라, 및 블랙박스(Black­Box) 중 적어도 어느 하나 이상을 더 포함할 수 있다. 따라서, 메모리(820)는 전방 카메라, 후방 카메라, 측면 카메라 및 블랙박스 중 적어도 어느 하나 이상에 의해 획득되는 영상 정보를 저장할 수 있다.
추출부(830)는 주행 중인 기준 차량에서 획득되는 영상 정보를 기반으로, 기준 차량에 따른 움직임 벡터의 패턴으로부터 배경 움직임 필드를 추정하고, 기 설정한 임계값을 비교하여 객체 후보 영역을 추출한다.
인식부(840)는 추출된 객체 후보 영역에서 객체를 인식한다.
다만, 추출부(830) 및 인식부(840)는 앞서 도시한 도 1을 통해 상세히 설명하였으므로, 이하에서는 생략하기로 한다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD­ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기­광 매체(magneto­optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
10: 기준 차량
100, 800: 객체 검출 시스템
310: 카메라
410: 객체 후보 영역

Claims (17)

  1. 영상 정보를 기반으로 객체를 검출하는 객체 검출 시스템에 있어서,
    주행 중인 기준 차량에서 획득되는 상기 영상 정보를 기반으로, 상기 기준 차량에 따른 움직임 벡터의 패턴으로부터 배경 움직임 필드를 추정하고, 기 설정한 임계값을 비교하여 객체 후보 영역을 추출하는 추출부; 및
    상기 추출된 객체 후보 영역에서 상기 객체를 인식하는 인식부를 포함하되,
    상기 추출부는
    영상 프레임 내 소실점을 기준으로 상기 기준 차량의 움직임에 따른 복수의 상기 움직임 벡터를 획득하고, 상기 움직임 벡터의 패턴으로부터 상기 배경 움직임 필드를 추정하는 배경 움직임 필드 추정부; 및
    상기 추정된 배경 움직임 필드와 상기 기 설정한 임계값을 비교하며, 비교 결과에 따른 상기 임계값을 초과하는 경우, 상기 객체 후보 영역임을 판단하는 객체 후보 영역 추출부를 포함하며,
    상기 배경 움직임 필드 추정부는
    상기 기준 차량의 OBD 데이터인 차량 상태 정보로부터 속도를 감지하는 경우, 상기 소실점을 기준으로 상기 기준 차량의 속도에 따른 배경 움직임 벡터의 크기를 획득하여 상기 배경 움직임 필드를 추정하고, 상기 기준 차량의 속도를 감지하지 못하는 경우, 상기 영상 프레임 내 배경에 해당하는 배경 영역에서의 특징점을 추출하고, 상기 특징점의 움직임 벡터를 산출하여 보간법(interpolation)을 통해 상기 배경 움직임 필드를 추정하는 것을 특징으로 하는, 객체 검출 시스템.
  2. 삭제
  3. 제1항에 있어서,
    상기 배경 움직임 필드 추정부는
    상기 소실점을 기준으로, 상기 기준 차량의 움직임에 따른 배경 움직임 벡터 및 상기 객체의 움직임에 따른 객체 움직임 벡터를 포함하는 상기 움직임 벡터를 획득하고, 상기 움직임 벡터의 패턴으로부터 상기 배경 움직임 필드를 추정하는 것을 특징으로 하는 객체 검출 시스템.
  4. 제3항에 있어서,
    상기 객체 움직임 벡터는
    상기 객체의 움직임에 의해 생성되는 것으로, 상기 배경 움직임 필드와 상반된 방향 및 크기를 나타내는 것을 특징으로 하는 객체 검출 시스템.
  5. 삭제
  6. 제1항에 있어서,
    상기 차량 상태 정보는
    상기 기준 차량의 주행에 따라, 상기 기준 차량 내 OBD(On Board Diagnostics) 단자로부터 수집되는 객체 검출 시스템.
  7. 삭제
  8. 제1항에 있어서,
    상기 인식부는
    머신러닝(machine learning) 기법을 이용하여 상기 객체 후보 영역에서의 차량 또는 보행자의 상기 객체를 인식하는 객체 검출 시스템.
  9. 삭제
  10. 영상 정보를 기반으로 객체를 검출하는 객체 검출 시스템의 동작 방법에 있어서,
    주행 중인 기준 차량에서 획득되는 상기 영상 정보를 기반으로, 상기 기준 차량에 따른 움직임 벡터의 패턴으로부터 배경 움직임 필드를 추정하는 단계;
    상기 추정된 배경 움직임 필드와 기 설정한 임계값을 비교하여 객체 후보 영역을 추출하는 단계; 및
    상기 추출된 객체 후보 영역에서 상기 객체를 인식하는 단계를 포함하되,
    상기 배경 움직임 필드를 추정하는 단계는
    영상 프레임 내 소실점을 기준으로 상기 기준 차량의 움직임에 따른 배경 움직임 벡터 및 상기 객체의 움직임에 따른 객체 움직임 벡터를 포함하는 상기 움직임 벡터를 획득하고, 상기 움직임 벡터의 패턴으로부터 상기 배경 움직임 필드를 추정하며,
    상기 기준 차량의 OBD 데이터인 차량 상태 정보로부터 속도를 감지하는 경우, 상기 소실점을 기준으로 상기 기준 차량의 속도에 따른 상기 배경 움직임 벡터의 크기를 획득하여 상기 배경 움직임 필드를 추정하고, 상기 기준 차량의 속도를 감지하지 못하는 경우, 상기 영상 프레임 내 배경에 해당하는 배경 영역에서의 특징점을 추출하고, 상기 특징점의 움직임 벡터를 산출하여 보간법(interpolation)을 통해 상기 배경 움직임 필드를 추정하는 것을 특징으로 하는, 객체 검출 방법.
  11. 삭제
  12. 제10항에 있어서,
    상기 객체 움직임 벡터는
    상기 객체의 움직임에 의해 생성되는 것으로, 상기 배경 움직임 필드와 상반된 방향 및 크기를 나타내는 것을 특징으로 하는 객체 검출 방법.
  13. 삭제
  14. 삭제
  15. 제10항에 있어서,
    상기 객체 후보 영역을 추출하는 단계는
    상기 추정된 배경 움직임 필드와 상기 기 설정한 임계값을 비교하며, 비교 결과에 따른 상기 임계값을 초과하는 경우, 상기 객체 후보 영역임을 판단하는 객체 검출 방법.
  16. 제10항에 있어서,
    상기 객체를 인식하는 단계는
    머신러닝(machine learning) 기법을 이용하여 상기 객체 후보 영역에서의 차량 또는 보행자의 상기 객체를 인식하는 객체 검출 방법.
  17. 제10항, 제12항, 제15항 및 제16항 중 어느 한 항의 방법을 수행하기 위하여 컴퓨터로 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램.
KR1020170144369A 2017-11-01 2017-11-01 움직임 벡터를 이용한 객체 검출 시스템 및 그 방법 KR101976952B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170144369A KR101976952B1 (ko) 2017-11-01 2017-11-01 움직임 벡터를 이용한 객체 검출 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170144369A KR101976952B1 (ko) 2017-11-01 2017-11-01 움직임 벡터를 이용한 객체 검출 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR101976952B1 true KR101976952B1 (ko) 2019-05-09

Family

ID=66546293

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170144369A KR101976952B1 (ko) 2017-11-01 2017-11-01 움직임 벡터를 이용한 객체 검출 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR101976952B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210116186A (ko) * 2020-03-11 2021-09-27 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. 장애물 검출 방법, 장치, 전자 기기 및 저장 매체
WO2023182570A1 (ko) * 2022-03-24 2023-09-28 주식회사 넥스트칩 차량의 조향각 계산 방법 및 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100630088B1 (ko) 2004-12-28 2006-09-27 삼성전자주식회사 옵티컬 플로우를 이용한 차량 감시 장치 및 방법
KR100909741B1 (ko) * 2002-05-09 2009-07-29 파나소닉 주식회사 감시장치, 감시방법
KR20130015973A (ko) * 2011-08-05 2013-02-14 엘지전자 주식회사 소실점 및 광류를 기반으로 한 검출 장치 및 검출 방법
KR20160065703A (ko) * 2014-12-01 2016-06-09 계명대학교 산학협력단 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100909741B1 (ko) * 2002-05-09 2009-07-29 파나소닉 주식회사 감시장치, 감시방법
KR100630088B1 (ko) 2004-12-28 2006-09-27 삼성전자주식회사 옵티컬 플로우를 이용한 차량 감시 장치 및 방법
KR20130015973A (ko) * 2011-08-05 2013-02-14 엘지전자 주식회사 소실점 및 광류를 기반으로 한 검출 장치 및 검출 방법
KR20160065703A (ko) * 2014-12-01 2016-06-09 계명대학교 산학협력단 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210116186A (ko) * 2020-03-11 2021-09-27 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. 장애물 검출 방법, 장치, 전자 기기 및 저장 매체
KR102407504B1 (ko) * 2020-03-11 2022-06-13 아폴로 인텔리전트 드라이빙 테크놀로지(베이징) 컴퍼니 리미티드 장애물 검출 방법, 장치, 전자 기기 및 저장 매체
US11468689B2 (en) 2020-03-11 2022-10-11 Apollo Intelligent Driving Technology (Beijing) Co., Ltd. Method and apparatus for detecting obstacle, electronic device and storage medium
WO2023182570A1 (ko) * 2022-03-24 2023-09-28 주식회사 넥스트칩 차량의 조향각 계산 방법 및 장치
KR20230138699A (ko) * 2022-03-24 2023-10-05 주식회사 넥스트칩 차량의 조향각 계산 방법 및 장치
KR102590863B1 (ko) 2022-03-24 2023-10-19 주식회사 넥스트칩 차량의 조향각 계산 방법 및 장치

Similar Documents

Publication Publication Date Title
Wu et al. Lane-mark extraction for automobiles under complex conditions
CN112997187B (zh) 基于鸟瞰图点云的二维对象边界框信息估计
Farag et al. Road lane-lines detection in real-time for advanced driving assistance systems
KR101609303B1 (ko) 카메라 캘리브레이션 방법 및 그 장치
EP3007099B1 (en) Image recognition system for a vehicle and corresponding method
KR101176693B1 (ko) 거리센서를 이용한 차선인식 방법 및 그 시스템
KR101848019B1 (ko) 차량 영역 검출을 통한 차량 번호판 검출 방법 및 장치
WO2014002692A1 (ja) ステレオカメラ
Suddamalla et al. A novel algorithm of lane detection addressing varied scenarios of curved and dashed lanemarks
WO2016059643A1 (en) System and method for pedestrian detection
JP5107154B2 (ja) 運動推定装置
KR101976952B1 (ko) 움직임 벡터를 이용한 객체 검출 시스템 및 그 방법
KR101880850B1 (ko) 도로 주행 영상에서 채도와 명도의 상관관계와 시간적 필터링을 이용한 안개 검출 방법 및 시스템
EP4113377A1 (en) Use of dbscan for lane detection
US11704911B2 (en) Apparatus and method for identifying obstacle around vehicle
Webster et al. Improved raindrop detection using combined shape and saliency descriptors with scene context isolation
US20180268228A1 (en) Obstacle detection device
US11323633B2 (en) Automated creation of a freeform mask for automotive cameras
KR101595317B1 (ko) 차량의 정밀 측위를 위한 노면 표시 검출 방법 및 그 시스템
KR102172849B1 (ko) 동영상에서 근접해오는 차량 검출 시스템 및 그 방법
Bhope et al. Use of image processing in lane departure warning system
KR101437228B1 (ko) 입체영상에서의 외곽선 가중치 기반 장애물 영역 검출 장치 및 방법
KR102045026B1 (ko) 차선 인식 장치 및 방법
US10846840B2 (en) Image recognition device
JP4075879B2 (ja) 車両用衝突警報装置及び車両用衝突警報方法

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20171101

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20181022

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20190423

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20190502

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20190502

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20230213