KR20190007758A - 영상 처리 시스템 및 그에 의한 영상 처리 방법 - Google Patents
영상 처리 시스템 및 그에 의한 영상 처리 방법 Download PDFInfo
- Publication number
- KR20190007758A KR20190007758A KR1020170089166A KR20170089166A KR20190007758A KR 20190007758 A KR20190007758 A KR 20190007758A KR 1020170089166 A KR1020170089166 A KR 1020170089166A KR 20170089166 A KR20170089166 A KR 20170089166A KR 20190007758 A KR20190007758 A KR 20190007758A
- Authority
- KR
- South Korea
- Prior art keywords
- motion vector
- moving object
- grid
- vector
- residual
- Prior art date
Links
- 238000012545 processing Methods 0.000 title abstract description 58
- 238000003672 processing method Methods 0.000 title abstract description 3
- 239000013598 vector Substances 0.000 claims abstract description 284
- 238000000034 method Methods 0.000 claims abstract description 24
- 238000001914 filtration Methods 0.000 claims description 24
- 230000002093 peripheral effect Effects 0.000 claims description 4
- 230000001902 propagating effect Effects 0.000 claims description 4
- 230000000644 propagated effect Effects 0.000 claims 1
- 238000001514 detection method Methods 0.000 description 80
- 239000000284 extract Substances 0.000 description 11
- 238000000605 extraction Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 230000004913 activation Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- VOOFUNKBLIGEBY-AQRCPPRCSA-N (2s)-2-[[(2s)-2-[[(2s)-2-[[(2s)-5-amino-2-[[(2s)-5-amino-2-[[(2s)-2-amino-4-methylpentanoyl]amino]-5-oxopentanoyl]amino]-5-oxopentanoyl]amino]-4-methylpentanoyl]amino]-4-methylpentanoyl]amino]-3-phenylpropanoic acid Chemical compound CC(C)C[C@H](N)C(=O)N[C@@H](CCC(N)=O)C(=O)N[C@@H](CCC(N)=O)C(=O)N[C@@H](CC(C)C)C(=O)N[C@@H](CC(C)C)C(=O)N[C@H](C(O)=O)CC1=CC=CC=C1 VOOFUNKBLIGEBY-AQRCPPRCSA-N 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 3
- 101100435580 Pimpla hypochondriaca vpr2 gene Proteins 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000002187 spin decoupling employing ultra-broadband-inversion sequences generated via simulated annealing Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/001—Image restoration
- G06T5/002—Denoising; Smoothing
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
본 발명의 실시예들은 영상 처리 시스템 및 그에 의한 영상 처리 방법을 개시한다.
본 발명의 일 실시예에 따른 영상처리장치의 이동체 검출 방법은, 영상에 복수의 그리드들을 구성하는 단계; 영상의 특징점들을 추출하는 단계; 상기 특징점들 각각의 제1 모션벡터를 기초로 상기 그리들 각각의 그리드 모션벡터를 추정하는 단계; 상기 그리드 모션벡터를 기초로 상기 특징점들 각각의 제2 모션벡터를 추정하는 단계; 및 상기 제1 모션벡터와 상기 제2 모션벡터의 차이를 기초로 이동체를 검출하는 단계;를 포함한다.
본 발명의 일 실시예에 따른 영상처리장치의 이동체 검출 방법은, 영상에 복수의 그리드들을 구성하는 단계; 영상의 특징점들을 추출하는 단계; 상기 특징점들 각각의 제1 모션벡터를 기초로 상기 그리들 각각의 그리드 모션벡터를 추정하는 단계; 상기 그리드 모션벡터를 기초로 상기 특징점들 각각의 제2 모션벡터를 추정하는 단계; 및 상기 제1 모션벡터와 상기 제2 모션벡터의 차이를 기초로 이동체를 검출하는 단계;를 포함한다.
Description
본 실시예들은 영상 처리 시스템 및 그에 의한 영상 처리 방법에 관한 것이다.
최근 차량의 안전 운행을 위한 ADAS(advanced drive assist system) 관련 연구가 지속적으로 이루어지고 있다. 또한, 차량에는 다양한 용도의 카메라가 장착되는 추세이다. 예를 들어, 차선 검출, 차량 검출, 표지판 검출 등을 목적으로 하는 전방 카메라, 후방 주차 보조를 위한 후방 카메라, 차량 주변의 상황을 판단하기 위한 AVM(around view monitoring)과 같은 시스템의 장착이 점차 증가하고 있다.
Meshflow: Minimum Latency Online Video Stabilization (ECCV 2016)
본 발명이 실시예들은 이동하는 카메라 주변의 이동체를 실시간 검출할 수 있는 방법을 제공한다.
본 발명의 일 실시예에 따른 영상처리장치의 이동체 검출 방법은, 영상에 복수의 그리드들을 구성하는 단계; 영상의 특징점들을 추출하는 단계; 상기 특징점들 각각의 제1 모션벡터를 기초로 상기 그리들 각각의 그리드 모션벡터를 추정하는 단계; 상기 그리드 모션벡터를 기초로 상기 특징점들 각각의 제2 모션벡터를 추정하는 단계; 및 상기 제1 모션벡터와 상기 제2 모션벡터의 차이를 기초로 이동체를 검출하는 단계;를 포함한다.
상기 그리드 모션벡터 추정 단계는, 각 특징점의 모션벡터를 주변의 그리드들로 전파하는 단계; 각 그리드에 축적된 모션벡터들을 기초로 그리드별 제1 대표 모션벡터를 추정하는 단계; 및 각 그리드와 주변 그리드들의 상기 제1 대표 모션벡터들을 기초로 그리드별 제2 대표 모션벡터를 추정하는 단계;를 포함할 수 있다.
상기 제2 모션벡터 추정 단계는, 상기 그리드 모션벡터의 보간을 기초로 상기 특징점들 각각의 제2 모션벡터를 추정하는 단계;를 포함할 수 있다.
상기 이동체 검출 단계는, 각 특징점의 제1 모션벡터와 제2 모션벡터의 차이를 나타내는 잔여벡터를 산출하는 단계; 각 특징점의 잔여벡터를 주변의 그리드들로 전파하는 단계; 각 그리드에 축적된 잔여벡터들의 1차 필터링 및 각 그리드와 주변 그리드들의 잔여벡터들의 2차 필터링에 의해 그리드의 잔여벡터를 추정하는 단계; 및 기 설정된 잔여벡터 조건을 만족하는 그리드의 집합을 후보 이동체로 검출하는 단계;를 포함할 수 있다.
상기 이동체 검출 단계는, 상기 특징점의 잔여벡터에서 노이즈를 제거하는 단계;를 더 포함할 수 있다.
상기 이동체 검출 단계는, 긱 특징점의 제1 모션벡터와 제2 모션벡터의 차이를 나타내는 잔여벡터를 산출하는 단계; 및 임계치 이상의 크기를 갖는 잔여벡터의 해당 특징점의 주변 픽셀들의 집합을 후보 이동체로 검출하는 단계;를 포함할 수 있다.
상기 이동체 검출 단계는, 상기 특징점의 잔여벡터에서 노이즈를 제거하는 단계;를 더 포함할 수 있다.
상기 방법은, 적어도 하나의 후보 이동체에서 기 정해진 조건을 만족하는 후보 이동체를 검출하는 단계;를 더 포함할 수 있다.
상기 방법은, 상기 추출된 특징점들 중 크기 임계치 이상의 크기를 갖는 제1 모션벡터의 비율이 개수 임계치 이상이면 상기 영상을 획득하는 장치가 정지 상태라고 판단하는 단계;를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 영상처리장치는, 영상의 특징점들을 추출하고, 상기 특징점들 각각의 제1 모션벡터를 추정하는 특징점추출부; 상기 영상에 복수의 그리드들을 구성하고, 상기 특징점들 각각의 제1 모션벡터를 기초로 상기 그리들 각각의 그리드 모션벡터를 추정하고, 상기 그리드 모션벡터를 기초로 상기 특징점들 각각의 제2 모션벡터를 추정하는 모션추정부; 및 상기 제1 모션벡터와 상기 제2 모션벡터의 차이를 기초로 이동체를 검출하는 이동체검출부;를 포함한다.
상기 모션추정부는, 각 특징점의 모션벡터를 주변의 그리드들로 전파하고, 각 그리드에 축적된 모션벡터들을 기초로 그리드별 제1 대표 모션벡터를 추정하고, 각 그리드와 주변 그리드들의 상기 제1 대표 모션벡터들을 기초로 그리드별 제2 대표 모션벡터를 추정할 수 있다.
상기 모션추정부는, 상기 그리드 모션벡터의 보간을 기초로 상기 특징점들 각각의 제2 모션벡터를 추정할 수 있다.
상기 이동체검출부는, 각 특징점의 제1 모션벡터와 제2 모션벡터의 차이를 나타내는 잔여벡터를 산출하고, 각 특징점의 잔여벡터를 주변의 그리드들로 전파하고, 각 그리드에 축적된 잔여벡터들의 1차 필터링 및 각 그리드와 주변 그리드들의 잔여벡터들의 2차 필터링에 의해 그리드의 잔여벡터를 추정하고, 기 설정된 잔여벡터 조건을 만족하는 그리드의 집합을 후보 이동체로 검출할 수 있다.
상기 이동체검출부는, 상기 특징점의 잔여벡터에서 노이즈를 제거할 수 있다.
상기 이동체검출부는, 각 특징점의 제1 모션벡터와 제2 모션벡터의 차이를 나타내는 잔여벡터를 산출하고, 임계치 이상의 크기를 갖는 잔여벡터의 해당 특징점의 주변 픽셀들의 집합을 후보 이동체로 검출할 수 있다.
상기 이동체검출부는, 상기 특징점의 잔여벡터에서 노이즈를 제거할 수 있다.
상기 이동체검출부는, 적어도 하나의 후보 이동체에서 기 정해진 조건을 만족하는 후보 이동체를 검출할 수 있다.
상기 장치는, 상기 추출된 특징점들 중 크기 임계치 이상의 크기를 갖는 제1 모션벡터의 비율이 개수 임계치 이상이면 상기 영상을 획득하는 장치가 정지 상태라고 판단하는 상태추정부;를 더 포함할 수 있다.
본 발명의 실시예들은 이동하는 카메라 주변의 이동체 검출 결과를 실시간으로 제공할 수 있다. 또한 본 발명의 실시예들은 모션 노이즈에 강한 이동체 검출 결과를 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 처리 시스템을 개략적으로 나타낸 도면이다.
도 2는 도 1의 영상처리장치의 구성을 개략적으로 도시한 블록도이다.
도 3a 내지 도 3c는 본 발명의 일 실시예에 따른 특징점 매칭의 예를 도시하고 있다.
도 4a 및 도 4b는 본 발명의 일 실시예에 따른 모션벡터 전파를 설명하는 도면이다.
도 5는 본 발명의 일 실시예에 따른 모션벡터의 1차 필터링을 설명하는 예시 도면이다.
도 6은 본 발명의 일 실시예에 따른 모션벡터의 2차 필터링을 설명하는 예시 도면이다.
도 7은 본 발명의 일 실시예에 따른 잔여 플로우의 일 예를 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 그리드 기반 이동체 검출을 설명하는 예시이다.
도 9는 본 발명의 일 실시예에 따른 픽셀 기반 이동체 검출을 설명하는 예시이다.
도 10은 본 발명의 일 실시예에 따른 후보 이동체 필터링 조건의 예시도이다.
도 11은 본 발명의 일 실시예에 따른 이동체 검출 방법을 개략적으로 설명하는 흐름도이다.
도 12는 메쉬 플로우를 추정하는 방법을 개략적으로 도시한 흐름도이다.
도 13은 잔여 플로우를 추정하는 방법을 개략적으로 도시한 흐름도이다.
도 14는 본 발명의 일 실시예에 따른 그리드 기반 후보 이동체 검출 방법(S106a)을 개략적으로 설명하는 흐름도이다.
도 15는 본 발명의 일 실시예에 따른 픽셀 기반 후보 이동체 검출 방법(S106b)을 개략적으로 설명하는 흐름도이다.
도 2는 도 1의 영상처리장치의 구성을 개략적으로 도시한 블록도이다.
도 3a 내지 도 3c는 본 발명의 일 실시예에 따른 특징점 매칭의 예를 도시하고 있다.
도 4a 및 도 4b는 본 발명의 일 실시예에 따른 모션벡터 전파를 설명하는 도면이다.
도 5는 본 발명의 일 실시예에 따른 모션벡터의 1차 필터링을 설명하는 예시 도면이다.
도 6은 본 발명의 일 실시예에 따른 모션벡터의 2차 필터링을 설명하는 예시 도면이다.
도 7은 본 발명의 일 실시예에 따른 잔여 플로우의 일 예를 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 그리드 기반 이동체 검출을 설명하는 예시이다.
도 9는 본 발명의 일 실시예에 따른 픽셀 기반 이동체 검출을 설명하는 예시이다.
도 10은 본 발명의 일 실시예에 따른 후보 이동체 필터링 조건의 예시도이다.
도 11은 본 발명의 일 실시예에 따른 이동체 검출 방법을 개략적으로 설명하는 흐름도이다.
도 12는 메쉬 플로우를 추정하는 방법을 개략적으로 도시한 흐름도이다.
도 13은 잔여 플로우를 추정하는 방법을 개략적으로 도시한 흐름도이다.
도 14는 본 발명의 일 실시예에 따른 그리드 기반 후보 이동체 검출 방법(S106a)을 개략적으로 설명하는 흐름도이다.
도 15는 본 발명의 일 실시예에 따른 픽셀 기반 후보 이동체 검출 방법(S106b)을 개략적으로 설명하는 흐름도이다.
이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다. 또한, 본 발명의 원리, 관점 및 실시예들 뿐만 아니라 특정 실시예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한, 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.
따라서, 프로세서 또는 이와 유사한 개념으로 표시된 기능 블록을 포함하는 도면에 도시된 다양한 소자의 기능은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 능력을 가진 하드웨어의 사용으로 제공될 수 있다. 프로세서에 의해 제공될 때, 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다. 또한, 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니 되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지 관용의 다른 하드웨어도 포함될 수 있다.
상술한 목적, 특징 및 장점들은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 더욱 분명해 질 것이다. 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략하거나 간략하게 설명하는 것으로 한다.
한편, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하, 첨부된 도면을 참조하여 바람직한 실시예에 따른 본 발명을 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 영상 처리 시스템을 개략적으로 나타낸 도면이다.
본 발명의 일 실시예에 영상 처리 시스템(10)은 주행 장치 또는 자동 주행 장치(예를 들어, 차량, 로봇 등)에 구현될 수 있다. 이하에서는 차량에 영상 처리 시스템(10)이 구현된 예로서 설명한다.
도 1을 참조하면, 영상 처리 시스템(10)은 영상획득장치(100), 영상처리장치(300) 및 디스플레이(500)를 포함할 수 있다.
영상획득장치(100)는 주행 중인 차량에 부착된 영상 인식 장치로서, 예를 들어, 차량의 주변 영상을 획득하는 카메라일 수 있다. 영상획득장치(100)는 하나 이상의 센서들이 단독 또는 융합된 형태로 이용될 수 있다. 영상획득장치(100)는 차량의 전방, 후방, 또는 측방에 설치될 수 있으며, 적절한 위치에 선택 장착이 가능하다. 차량은 오토바이와 같은 2륜차, 세단과 같은 4륜차는 물론 기차 등을 포함할 수 있다.
다른 실시예에에서, 영상획득장치(100)는 특정 장소의 고정된 위치에 배치되고, 촬영 범위가 고정된 단일 고정식 카메라 또는 팬(Pan)/틸트(Tilt)/줌(Zoom) 기능을 갖는 PTZ 카메라일 수 있다.
영상처리장치(300)는 영상획득장치(100)로부터 영상을 입력 받고, 영상의 배경 모션을 기초로 이동체를 검출할 수 있다. 영상처리장치(300)는 이동체를 제외한 부분의 이차원 모션(즉, 배경 모션)을 추정하고, 추정된 배경 모션과 특징점 대응(즉, 픽셀 모션)을 비교하여 이동체를 검출할 수 있다. 영상처리장치(300)는 검출된 이동체를 영상에 식별 가능하게 표시할 수 있다.
영상처리장치(300)는 영상 신호를 디스플레이(500)의 규격에 맞는 신호로 출력하는 신호 처리를 수행할 수 있다. 예를 들어, 영상처리장치(300)는 감마 보정(Gamma Correction), 색필터 배열보간(color filter array interpolation), 색 매트릭스(color matrix), 색보정(color correction), 색 향상(color enhancement) 등의 화질 개선을 위한 영상 신호 처리를 수행할 수 있다.
디스플레이(500)는 영상처리장치(300)로부터 출력되는 영상을 사용자에게 제공함으로써, 사용자가 디스플레이되는 영상을 모니터링할 수 있도록 한다. 디스플레이 장치(500)는 액정 디스플레이 패널(LCD), 유기 발광 디스플레이 패널(OLED), 전기 영동 디스플레이 패널(EPD) 등으로 이루어질 수 있다. 디스플레이 장치(500)는 사용자의 터치를 통하여 입력을 받을 수 있도록 터치스크린 형태로 구비되어, 사용자 입력 인터페이스로서 동작할 수 있다.
영상처리장치(300) 및 디스플레이(500)는 차량의 내부에 설치될 수 있다. 다른 실시예에서, 영상처리장치(300)는 영상획득장치(100)에 포함될 수 있다.
도 2는 도 1의 영상처리장치의 구성을 개략적으로 도시한 블록도이다.
도 2를 참조하면, 영상처리장치(300)는 특징점 추출부(310), 상태 추정부(330), 모션 추정부(350) 및 이동체 검출부(370)를 포함할 수 있다.
특징점 추출부(310)는 영상으로부터 특징점을 추출할 수 있다. 특징점 추출부(310)는 코너(corners), 에지(edges), 외곽선(contours), 교차점(line intersections) 등을 특징점으로 추출할 수 있다.
특징점 추출부(310)는 최대한 배경에서의 특징점 대응관계를 추출하며, 인접한 영상 간 대응관계를 추출한다. 특징점 추출부(310)는 이전 영상의 특징점에 대응하는 현재 영상의 특징점을 추적하고, 두 개의 영상 간에 대응하는 특징점들의 대응관계를 추출할 수 있다. 특징점 추출부(310)는 특징점 매칭에 의해 두 개의 영상 간에 대응하는 특징점들을 연결한 모션벡터를 생성할 수 있다. 모션벡터는 시간적으로 다른 2개의 영상에 나타나는 외견상 모션의 크기 및 방향을 포함하는 모션 정보이다. 이하 특징점들의 모션벡터 집합을 특징점 플로우(Feature Flow)라 한다.
특징점 추출부(310)는 Fast feature detector와 Pyramidal KLT feature tracker를 사용하여 특징점 대응관계를 추출할 수 있다. 특징점 추출부(310)는 잘못된 특징점 대응을 제거하기 위하여 Grid 기반의 Homography-RANSAC 필터링을 수행할 수 있다. 그러나, 본 발명의 실시예에서는 특징점 추출 및 매칭 알고리즘을 특별히 제한하지 않으며, SIFT 알고리즘, HARRIS 코너 알고리즘, SUSAN 알고리즘 등 다양한 특징점 추출 및 매칭 알고리즘을 이용할 수 있다.
도 3a 내지 도 3c는 본 발명의 일 실시예에 따른 특징점 매칭의 예를 도시하고 있다. 도 3a와 같이, 특징점 추출부(310)는 이전 영상(t-1)의 특징점(p')에 대응하는 현재 영상(t)의 특징점(p)을 찾고, 도 3b와 같이 현재 영상(t)의 특징점(p)에서의 모션벡터(vp=p-p')를 산출할 수 있다. 도 3c는 특징점 추출부(310)에 의해 현재 영상(t)에서 추출된 복수의 특징점(p)들을 도시한다. 각 특징점은 모션 정보를 갖고 있다.
상태 추정부(330)는 특징점 대응 관계를 이용하여 영상획득장치(310) 또는 영상획득장치(310)가 장착된 장치(이하, '차량'이라 함)의 상태가 이동 상태인지 정지 상태인지를 추정할 수 있다. 상태 추정부(330)는 현재 영상에서 추출된 전체 특징점들 중 모션벡터의 크기, 즉 이동량(모션량)이 이동량 임계치(THm) 이상인 특징점의 비율(r)을 확인할 수 있다. 특징점의 전체 갯수를 N, 이동량 임계치(THm) 이상의 이동량을 가지는 특징점의 개수를 a라 할 때 특징점 대응 비율(r)은 하기 식(1)과 같다.
상태 추정부(330)는 특징점 대응 비율(r)이 비율 임계치(THr) 이상이면 차량이 정지 상태라고 판단할 수 있다. 상태 추정부(330)는 차량이 정지 상태인 경우 특징점 추출 결과를 초기화할 수 있다.
모션 추정부(350)는 특징점의 모션벡터(이하, '제1 모션벡터'라 함)를 기초로 그리드의 모션벡터를 추정할 수 있다.
모션 추정부(350)는 입력되는 영상에 메쉬 그리드를 구성할 수 있다. 모션 추정부(350)는 영상에 MxN(M, N은 1 이상의 정수) 개의 그리드를 구성할 수 있다. 모션 추정부(350)는 특징점 추출 전에 또는 후에 그리드를 구성할 수 있다.
모션 추정부(350)는 특징점 추출에 의해 추정된 특징점 매칭 정보(또는 특징점 대응 정보)를 그리드 기반으로 전파할 수 있다. 모션 추정부(350)는 그리드 내의 특징점 대응 정보를 미리 정해진 영역의 주변 그리드로 전파할 수 있다.
모션 추정부(350)는 각 특징점의 제1 모션벡터를 주변 그리드들로 전파할 수 있다. 즉, 모션 추정부(350)는 각 특징점의 제1 모션벡터를 주변 그리드들에 할당할 수 있다. 모션 추정부(350)는 각 특징점의 제1 모션벡터를 주변 그리드들의 꼭지점(vertex)에 할당할 수 있다. 모션 추정부(350)는 특징점을 중심으로 하는 소정의 제1 영역 내의 그리드들의 꼭지점에 해당 특징점의 제1 모션벡터를 할당할 수 있다. 제1 영역은 직사각형, 정사각형, 원형, 타원형 등으로 설정되어, 해당 특징점이 속하는 그리드를 중심으로 상하좌우 소정 개수의 그리드들을 커버할 수 있다. 모션벡터가 할당되는 꼭지점은 그리드의 4개의 꼭지점들 중 하나로서, 모든 그리드들의 동일한 위치의 꼭지점에 모션벡터가 할당될 수 있다.
도 4a 및 도 4b는 본 발명의 일 실시예에 따른 모션벡터 전파를 설명하는 도면이다. 도 4a와 같이, 현재 영상(t)의 일 특징점(p)이 속하는 그리드를 중심으로 하는 타원형의 제1 영역(A1)이 설정되고, 도 4b와 같이, 제1 영역(A1) 내의 12개의 그리드들 각각의 우하 꼭지점에 특징점(p)의 제1 모션벡터(vp)가 할당되고 있다.
모션 추정부(350)는 모든 특징점들에 대해서 각 특징점의 제1 모션벡터를 주변 그리드들 각각의 꼭지점에 할당할 수 있다. 이에 따라 각 그리드의 꼭지점에는 적어도 하나의 제1 모션벡터가 할당되어 주변 특징점들의 대응 정보를 가질 수 있다. 그리드들의 모션벡터 집합을 메쉬 플로우(Mesh Flow)라 한다.
모션 추정부(350)는 각 그리드에 축적된 모션 정보의 노이즈를 제거하고, 이동체가 메쉬 플로우에 주는 영향을 최소화하기 위해 모션벡터 필터링을 수행할 수 있다. 즉, 메쉬 플로우는 이동체를 효과적으로 배제하고 배경의 모션을 희박하게(sparse) 추정한 정보이다.
모션 추정부(350)는 하나의 그리드에 할당된 하나 이상의 제1 모션벡터들을 필터링할 수 있다. 모션 추정부(350)는 제1 필터(f1)를 이용하여 그리드에 할당된 하나 이상의 제1 모션벡터들 중 기 설정된 조건을 만족하는 하나의 제1 모션벡터를 선택할 수 있다. 1차 필터링에 의해 각 그리드에 할당된 제1 모션벡터를 제1 대표 모션벡터라 한다.
모션 추정부(350)는 그리드에 할당된 하나 이상의 제1 모션벡터들 중 가장 주도적인 제1 모션벡터를 제1 대표 모션벡터로서 선택할 수 있다. 여기서 주도적인 제1 모션벡터는 중앙값(중간 값)을 갖는 모션벡터, 빈도 수가 가장 큰 모션벡터, 평균 값 또는 가중 평균 값을 갖는 모션벡터 등일 수 있다. 중앙값을 갖는 모션벡터란 복수의 모션벡터들을 오름차순 또는 내림차순으로 나열할 때 가운데 위치하는 모션벡터일 수 있다. 모션 추정부(350)는 모션벡터의 1차 필터링을 통해 그리드에 축적된 모션 정보의 노이즈를 제거할 수 있다.
도 5는 본 발명의 일 실시예에 따른 모션벡터의 1차 필터링을 설명하는 예시 도면이다. 도 5를 참조하면, 모션 추정부(350)는 그리드 꼭지점(g)에 누적된 9개의 제1 모션벡터(vp)들(a)에 제1 필터(f1)를 적용하여 그리드의 제1 대표 모션벡터(vpr1)를 추정할 수 있다. 도 5의 예에서, 모션 추정부(350)는 모션벡터의 크기 및 방향을 고려하여 좌측부터 우측으로 누적된 제1 모션벡터(vp)들을 나열(b)하고, 가운데에 위치하는 중앙값을 갖는 제1 모션벡터를 그리드의 제1 대표 모션벡터(vpr1)로서 선택하고 있다.
모션 추정부(350)는 복수의 그리드들에 할당된 제1 모션벡터들을 필터링할 수 있다. 모션 추정부(350)는 제2 필터(f2)를 이용하여 소정의 제2 영역 내의 그리드들에 할당된 제1 모션벡터들(즉, 제1 대표 모션벡터들) 중 기 설정된 조건을 만족하는 하나의 제1 대표 모션벡터를 제2 대표 모션벡터로서 선택할 수 있다.
모션 추정부(350)는 제1 대표 모션벡터가 할당된 각 그리드를 중심으로 소정의 제2 영역을 설정할 수 있다. 제2 영역은 해당 그리드를 중심으로 kxl(k, l은 1 이상의 정수) 개의 그리드들을 커버할 수 있다. 모션 추정부(350)는 제2 필터(f2)를 이용하여 제2 영역 내의 해당 그리드와 주변 그리드들에 할당된 제1 대표 모션벡터들 중 가장 주도적인 제1 대표 모션벡터를 제2 대표 모션벡터로서 선택할 수 있다. 여기서 주도적인 제1 대표 모션벡터는 복수의 제1 대표 모션벡터들 중에서 중앙값(중간 값)을 갖는 모션벡터, 빈도 수가 가장 큰 모션벡터, 평균 값 또는 가중 평균 값을 갖는 모션벡터 등일 수 있다. 제2 대표 모션벡터가 그리드의 모션벡터일 수 있다. 모션 추정부(350)는 모션벡터의 2차 필터링을 통해 일정 영역에서 가장 주도적인 모션을 추출하므로 이동체가 메쉬 플로우에 주는 영향을 최소화할 수 있다.
도 6은 본 발명의 일 실시예에 따른 모션벡터의 2차 필터링을 설명하는 예시 도면이다. 도 6을 참조하면, 모션 추정부(350)는 제2 영역(A2) 내의 그리드들의 꼭지점에 할당된 15개의 제1 대표 모션벡터(vpr1)들에 제2 필터(f2)를 적용하여 그리드의 제2 대표 모션벡터(vpr2)를 추정할 수 있다. 도 6의 예에서, 모션 추정부(350)는 제2 영역(A2) 내에서 가장 주도적인 제1 대표 모션벡터(vpr1)를 제2 영역(A2) 내의 모든 그리드들에 할당하는 방식으로 제2 대표 모션벡터(vpr2)를 선택하고 있다.
이동체 검출부(370)는 그리드의 모션벡터들을 보간하여 특징점 위치에서의 모션벡터(이하, '제2 모션벡터'라 함)를 추정할 수 있다. 특징점들의 제2 모션벡터의 집합을 보간된 메쉬 플로우라 한다.
이동체 검출부(370)는 특징점의 제2 모션벡터와 제1 모션벡터의 차이인 잔여벡터를 산출하고, 잔여벡터를 기초로 이동체를 검출할 수 있다. 특징점들의 잔여벡터의 집합을 잔여 플로우(Residual Flow)라 한다. 잔여 플로우(R)는 하기 식 (2)와 같이 특징점 플로우(F)와 보간된 메쉬 플로우(M')의 차이로 표현할 수 있다. 잔여 플로우의 크기가 클수록 이동체라고 판단할 수 있다.
R = F - M' ... (2)
이동체 검출부(370)는 오차가 큰 잔여벡터(일관성이 현저하게 낮은 벡터), 크기가 작은 잔여벡터 등을 제거하고 분별력 있는 잔여벡터를 부각시킴으로써 노이즈를 제거할 수 있다. 이동체 검출부(370)는 패널티 함수(Penalty Function)를 적용하여 노이즈를 제거할 수 있다. 패널티 함수(Penalty Function)는 공지의 연산 방법이므로 상세한 설명은 생략한다.
도 7은 본 발명의 일 실시예에 따른 잔여 플로우의 일 예를 나타낸 도면이다. 도 7에서는 잔여벡터의 크기만을 도시하였다. 도 7에 도시된 바와 같이 잔여 플로우에 패널티 함수를 적용함으로써 임계치 이상의 잔여벡터는 더 큰 값을 갖고 임계치보다 낮는 잔여벡터는 더 작은 값을 갖거나 제거되는 방식으로 잔여 플로우의 노이즈를 제거할 수 있다.
이동체 검출부(370)는 잔여벡터를 기초로 적어도 하나의 후보 이동체를 검출할 수 있다.
일 실시예에서, 이동체 검출부(370)는 그리드 기반으로 후보 이동체를 검출할 수 있다.
이동체 검출부(370)는 잔여 플로우에 메쉬 그리드를 구성할 수 있다. 잔여 플로우에 구성된 메쉬 그리드의 크기 및 개수는 모션 추정부(350)에서 영상에 구성된 메쉬 그리드의 크기 및 개수와 동일 또는 상이할 수 있다. 예를 들어, 영상에 구성된 메쉬 그리드에 비해 잔여 플로우에 구성된 메쉬 그리드의 크기가 더 작고 개수가 더 많을 수 있다. 이동체 검출부(370)는 잔여 플로우에 M'xN'(M', N'은 1 이상의 정수) 개의 그리드를 구성할 수 있다.
이동체 검출부(370)는 각 특징점의 잔여벡터를 주변 그리드들로 전파할 수 있다. 이동체 검출부(370)는 각 특징점의 잔여벡터를 주변 그리드들의 꼭지점(vertex)에 할당할 수 있다. 이동체 검출부(370)는 특징점을 중심으로 하는 소정의 제3 영역 내의 그리드들의 꼭지점에 해당 특징점의 잔여벡터를 할당할 수 있다. 제3 영역은 직사각형, 정사각형, 원형, 타원형 등으로 설정되어, 해당 특징점이 속하는 그리드를 중심으로 상하좌우 소정 개수의 그리드들을 커버할 수 있다. 잔여벡터가 할당되는 꼭지점은 그리드의 4개의 꼭지점들 중 하나로서, 모든 그리드들의 동일한 위치의 꼭지점에 잔여벡터가 할당될 수 있다.
이동체 검출부(370)는 모든 특징점들의 잔여벡터를 주변 그리드들 각각의 꼭지점에 할당할 수 있다. 이에 따라 각 그리드의 꼭지점에는 적어도 하나의 잔여벡터가 할당될 수 있다.
이동체 검출부(370)는 잔여벡터 필터링을 수행하여 노이즈를 제거할 수 있다.
이동체 검출부(370)는 하나의 그리드에 할당된 하나 이상의 잔여벡터들을 필터링할 수 있다. 이동체 검출부(370)는 제3 필터(f3)를 이용하여 그리드에 할당된 하나 이상의 잔여벡터들 중 기 설정된 조건을 만족하는 하나의 잔여벡터를 1차 선택할 수 있다. 이동체 검출부(370)는 그리드에 할당된 하나 이상의 잔여벡터들 중 장 주도적인 잔여벡터를 1차 선택할 수 있다. 여기서 주도적인 잔여벡터는 복수의 잔여벡터들 중에서 중앙값(중간 값)을 갖는 모션벡터, 빈도 수가 가장 큰 모션벡터, 평균 값 또는 가중 평균 값을 갖는 모션벡터 등일 수 있다.
이동체 검출부(370)는 복수의 그리드들에 할당된 잔여벡터들을 필터링할 수 있다. 이동체 검출부(370)는 제4 필터(f4)를 이용하여 소정의 제4 영역 내의 그리드들에 할당된 잔여벡터들 중 기 설정된 조건을 만족하는 하나의 잔여벡터를 2차 선택할 수 있다. 이동체 검출부(370)는 1차 선택된 잔여벡터가 할당된 각 그리드를 중심으로 소정의 제4 영역을 설정할 수 있다. 제4 영역은 해당 그리드를 중심으로 k'xl'(k', l'은 1 이상의 정수) 개의 그리드들을 커버할 수 있다. 이동체 검출부(370)는 제4 필터(f4)를 이용하여 제4 영역 내의 해당 그리드와 주변 그리드들에 1차 선택되어 할당된 잔여벡터들 중 가장 주도적인 잔여벡터를 2차 선택할 수 있다. 여기서 주도적인 잔여벡터는 복수의 잔여벡터들 중에서 중앙값(중간 값)을 갖는 모션벡터, 빈도 수가 가장 큰 모션벡터, 평균 값 또는 가중 평균 값을 갖는 모션벡터 등일 수 있다.
이동체 검출부(370)는 잔여벡터의 조건을 만족하는 그리드들의 집합을 후보 이동체로 검출할 수 있다. 이동체 검출부(370)는 크기 임계치(THs) 이상인 크기를 갖는 잔여벡터들이 속하고 공간적으로 인접한 그리드들을 클러스터링할 수 있다.
도 8은 본 발명의 일 실시예에 따른 그리드 기반 이동체 검출을 설명하는 예시이다. 도 8은 영상의 일부에 대한 도면이다.
이동체 검출부(370)는 각 그리드에서 해당 그리드(G)를 중심으로 그리드 주변 소정 영역(GM) 내의 잔여벡터들의 크기를 나타내는 히스토그램을 생성할 수 있다. 이동체 검출부(370)는 각 그리드에서의 히스토그램으로부터 크기 임계치(THs) 이상인 크기를 갖는 잔여벡터의 개수가 개수 임계치(THn) 이상인 그리드를 선택할 수 있다. 이동체 검출부(370)는 선택된 그리드들 중 인접한 그리드들을 클러스터링한 그리드 집합(S1, S2)을 설정할 수 있다. 이동체 검출부(370)는 그리드 집합을 포함하는 직사각형(rectangle)을 후보 이동체로서 검출하고 영상에 표시할 수 있다.
그리드 기반 후보 이동체 검출 실시예는 필터링을 수행함에 따라 환경 변화에 강인한 이동체 검출 결과를 제공할 수 있어, 첨단 운전자 보조장치용 이동객체 탐지에 이용할 수 있다.
다른 실시예에서, 이동체 검출부(370)는 픽셀 기반으로 후보 이동체를 검출할 수 있다.
도 9는 본 발명의 일 실시예에 따른 픽셀 기반 이동체 검출을 설명하는 예시이다. 도 9는 영상의 일부에 대한 도면이다.
이동체 검출부(370)는 활성화 맵을 생성할 수 있다. 활성화 맵은 영상과 같은 크기로 생성될 수 있다. 이동체 검출부(370)는 잔여 플로우에서 크기 임계치(THs) 이상인 크기를 갖는 잔여벡터(잔여벡터의 특징점)의 위치에 대응하는 활성화 맵의 대응 위치로부터 소정 반경 내의 픽셀들을 선택할 수 있다. 이동체 검출부(370)는 선택된 픽셀들에 모폴로지 연산을 수행할 수 있다. 이동체 검출부(370)는 선택된 픽셀들의 집합을 포함하는 직사각형(rectangle)을 후보 이동체로서 영상에 표시할 수 있다.
픽셀 기반 후보 이동체 검출 실시예는 잔여벡터의 위치 중심으로 이동체를 검출하는 것으로, 그리드 기반 후보 이동체 검출 실시예에 비해 연산량 및 연산 시간이 짧아 수행 속도가 빠르다. 이에 따라 픽셀 기반 후보 이동체 검출은 실시간 이동체 검출에 적합하여, 지능형 감시 시스템 또는 모바일 플랫폼에 이용할 수 있다.
본 발명의 실시예는 애플리케이션의 용도에 따라 적절한 후보 이동체 검출 실시예를 적용하여 최적의 이동체 검출 결과를 제공할 수 있다.
이동체 검출부(370)는 애플리케이션의 용도에 따라 그리드 기반 또는 픽셀 기반으로 검출된 적어도 하나의 후보 이동체를 필터링할 수 있다. 필터링 조건은 애플리케이션 용도에 따라 적어도 하나 설정될 수 있다.
필터링 조건은 후보 이동체의 크기, 방향 및 속도, 탐지 연속성, 관심 영역(Region of Interest, ROI) 등을 포함할 수 있다. 예를 들어, 특정 환경에서 나타나는 이동체의 크기, 이동방향 및 속도를 후보 이동체의 크기, 이동방향 및 속도 임계치로 적용할 수 있다. 차량의 이동 중에 주기적으로 움직이는 나무나 강물에 반사된 빛에 의한 영향을 최소화하기 위해 시공간으로 유사한 영역에서 이동체가 연속적으로 검출되는 빈도를 후보 이동체의 탐지 연속성을 판단하는 빈도 임계치로 적용할 수 있다. 또한 이동체 검출 영역을 관심 영역으로 제한함으로써 오탐률을 감소시킬 수 있다.
일 실시예에서, 이동체 검출부(370)는 저속(예를 들어, 30km/h 이하)으로 이동하는 차량으로 접근하는 이동체 검출을 위해 후보 이동체의 방향을 필터링할 수 있다.
다른 실시예에서, 이동체 검출부(370)는 영상을 복수로 분할하고, 분할 영역마다 후보 이동체의 방향을 다르게 필터링할 수 있다. 이동체 검출부(370)는 각도(angle, θ) 설정으로 방향을 필터링할 수 있다.
도 10은 본 발명의 일 실시예에 따른 후보 이동체 필터링 조건의 예시도이다. 도 10에 도시된 바와 같이, 이동체 검출부(370)는 영상을 삼분할하고, 차량이 주행하고 있는 중앙 부분(IC)은 방향이 θ1 및 θ2 내인 후보 이동체들로 필터링하여 차량에서 멀어지는 이동체, 즉 차량의 좌우로 이동하는 이동체를 검출할 수 있다. 차량의 우측 부분(IR)은 방향이 θ2 내인 후보 이동체들로 필터링하여 차량으로 접근하는 이동체를 검출할 수 있다. 유사하게, 차량의 좌측 부분(IL)은 방향이 θ1 내인 후보 이동체들로 필터링하여 차량으로 접근하는 이동체를 검출할 수 있다.
도 11은 본 발명의 일 실시예에 따른 이동체 검출 방법을 개략적으로 설명하는 흐름도이다. 도 11에 도시된 이동체 검출 방법은 도 2에 도시된 영상처리장치에 의해 수행될 수 있다. 이하에서는 도 1 내지 도 10에서 설명한 내용과 중복하는 내용의 상세한 설명은 생략한다.
도 11을 참조하면, 영상처리장치(300)는 입력되는 현재 영상으로부터 특징점을 추출할 수 있다. 영상처리장치(300)는 인접하는 영상, 즉 이전 영상과 현재 영상 간의 특징점 매칭을 통해 대응하는 특징점 쌍을 추출하고, 특징점 대응 관계를 추정할 수 있다(S101). 영상처리장치(300)는 현재 영상에서 특징점 쌍의 대응 관계 정보, 즉 특징점의 모션 정보인 모션벡터(제1 모션벡터)를 추정할 수 있다.
영상처리장치(300)는 특징점 대응 관계를 이용하여 차량의 상태, 즉 차량에 구비된 카메라의 상태가 이동 상태인지 정지 상태인지를 추정할 수 있다(S102). 영상처리장치(300)는 전체 특징점들 중 모션벡터의 크기가 이동량 임계치(THm) 이상인 특징점의 비율인 특징점 대응 비율(r)이 비율 임계치(THr) 이상이면 카메라가 정지 상태라고 판단할 수 있다.
영상처리장치(300)는 카메라가 정지 상태이면, 이동체 검출을 위한 후속 단계를 수행하지 않고, 신규 입력되는 영상에 대한 특징점 추출 단계로 복귀할 수 있다.
영상처리장치(300)는 카메라가 이동 상태이면, 메쉬 그리드의 모션, 즉 배경 모션인 메쉬 플로우를 추정할 수 있다(S103). 도 12는 메쉬 플로우를 추정하는 방법을 개략적으로 도시한 흐름도이다.
도 12를 함께 참조하면, 영상처리장치(300)는 영상에 메쉬 그리드를 구성하고, 특징점의 제1 모션벡터를 주변 그리드들로 전파할 수 있다(S113). 영상처리장치(300)는 특징점을 중심으로 하는 영역 내의 그리드들의 꼭지점에 해당 특징점의 제1 모션벡터를 할당할 수 있다.
영상처리장치(300)는 그리드마다 할당된 하나 이상의 제1 모션벡터들을 1차 필터링하여 각 그리드에 제1 대표 모션벡터를 할당할 수 있다(S133). 영상처리장치(300)는 하나의 그리드에 축적된 복수의 제1 모션벡터들 중 기 설정된 조건을 만족하는 제1 모션벡터를 제1 대표 모션벡터로 1차 필터링할 수 있다.
영상처리장치(300)는 일정 영역 내 그리드들의 제1 모션벡터들을 2차 필터링하여 각 그리드에 제2 대표 모션벡터를 할당할 수 있다(S153). 영상처리장치(300)는 해당 그리드를 중심으로 하는 소정의 영역 내의 그리드들의 제1 모션벡터들(즉, 제1 대표 모션벡터들)을 2차 필터링하여 해당 그리드에 제2 대표 모션벡터를 할당할 수 있다. 영상처리장치(300)는 소정의 영역 내의 그리드들의 제1 대표 모션벡터들 중 기 설정된 조건을 만족하는 제1 대표 모션벡터를 제2 대표 모션벡터로 2차 필터링할 수 있다.
영상처리장치(300)는 제2 대표 모션벡터를 그리드의 모션벡터로 하고, 그리드들의 모션벡터 집합인 메쉬 플로우(Mesh Flow)를 추정할 수 있다.
영상처리장치(300)는 메쉬 플로우로부터 잔여 플로우를 추정할 수 있다(S104). 도 13은 잔여 플로우를 추정하는 방법을 개략적으로 도시한 흐름도이다.
도 13을 함께 참조하면, 영상처리장치(300)는 그리드의 모션벡터를 보간하여 특징점 위치에서의 모션벡터(제2 모션벡터)를 추정할 수 있다(S114).
영상처리장치(300)는 특징점 위치에서의 제2 모션벡터와 제1 모션벡터의 차이인 잔여벡터를 산출함으로써 특징점들의 잔여벡터 집합인 잔여 플로우를 추정할 수 있다(S134).
영상처리장치(300)는 잔여 플로우의 노이즈를 제거하여 분별력 있는 잔여벡터를 부각시킬 수 있다(S105). 영상처리장치(300)는 패널티 함수(Penalty Function)를 적용하여 노이즈를 제거할 수 있다.
영상처리장치(300)는 잔여 플로우로부터 후보 이동체를 검출할 수 있다(S106).
도 14는 본 발명의 일 실시예에 따른 그리드 기반 후보 이동체 검출 방법(S106a)을 개략적으로 설명하는 흐름도이다.
도 14를 함께 참조하면, 영상처리장치(300)는 잔여 플로우에 메쉬 그리드를 구성할 수 있다(S116).
영상처리장치(300)는 각 잔여벡터를 주변 그리드들로 전파할 수 있다(S126). 영상처리장치(300)는 특징점을 중심으로 하는 소정 영역 내의 그리드들의 꼭지점에 해당 특징점의 잔여벡터를 할당할 수 있다.
영상처리장치(300)는 그리드마다 할당된 하나 이상의 잔여벡터들을 1차 필터링하여 각 그리드에 하나의 잔여벡터를 선택 및 할당할 수 있다(S136).
영상처리장치(300)는 소정 영역 내 그리드들의 잔여벡터들을 2차 필터링하여 각 그리드에 하나의 잔여벡터를 선택 및 할당할 수 있다(S146).
영상처리장치(300)는 잔여벡터의 조건을 만족하는 그리드들의 집합을 후보 이동체로 검출할 수 있다(S156). 영상처리장치(300)는 해당 그리드를 중심으로 하는 소정 영역 내에 크기 임계치(THs) 이상인 크기를 갖는 잔여벡터들의 개수가 개수 임계치(THn) 이상인 해당 그리드를 선택하고, 선택된 그리드의 집합을 후보 이동체로서 검출할 수 있다.
도 15는 본 발명의 일 실시예에 따른 픽셀 기반 후보 이동체 검출 방법(S106b)을 개략적으로 설명하는 흐름도이다.
도 15를 함께 참조하면, 영상처리장치(300)는 영상과 같은 크기의 활성화 맵을 생성할 수 있다(S166).
영상처리장치(300)는 잔여 플로우에서 크기 임계치(THs) 이상의 크기를 갖는 잔여벡터에 대응하는 활성화 맵의 대응 위치로부터 소정 반경 내의 픽셀들을 선택할 수 있다(S176).
영상처리장치(300)는 인접하는 선택된 픽셀들을 연결한 픽셀 집합을 후보 이동체로 검출할 수 있다(S186).
영상처리장치(300)는 애플리케이션 용도에 따라 검출된 적어도 하나의 후보 이동체를 필터링할 수 있다(S107).
학습을 통한 이동체 검출은 이동체의 종류가 제한적인 경우 주로 사용되며, 대량의 객체 데이터베이스를 기반으로 검출하려는 객체의 특징을 학습한 후 검출한다. 이에 따라 검출 성능 향상을 위해 많은 데이터베이스 자료가 있어야 하며 불특정 다수의 이동체 검출에 적합하지 않다.
광류 영상 분할(Optical flow segmentation) 기반의 이동체 검출은 주변과 다른 광류 흐름을 보이는 분할 영역을 이동체라고 판단하는 기법으로, 정확한 객체 검출을 위해 복잡도가 높고 수행 시간이 오래 걸리는 광류 추출 방법과 영상 분할 방법을 사용해야 한다. 이에 따라 방법의 복잡도로 인하여 실시간 어플리케이션에 적합하지 않다.
본 발명의 실시예들은 메쉬 플로우를 이용하여 이동 카메라에서 추정된 배경 정보와 픽셀 흐름과의 차이를 기초로 이동체를 검출한다. 따라서, 본 발명의 실시예들은 광류 추출 방법에 비해 연산량 및 연산 시간이 단축될 수 있다.
본 발명의 실시예들에 따른 이동체 검출 방법은 첨단 운전자 보조 시스템(Advanced Driver's Assistant System, ADAS)에서 저속으로 이동하는 차량으로 접근하는 이동체 검출에 적용할 수 있다. 또한 본 발명의 실시예에 따른 이동체 검출 방법은 지능형 감시 시스템에서 카메라와 다른 모션을 보이는 이동체 검출에 적용할 수 있다.
본 발명의 실시예들에 따른 이동체 검출 방법은 이동 장치에 구비되어 이동 장치의 이동에 따른 카메라의 움직임이 있는 경우 획득된 영상뿐만 아니라 고정된 위치에 구비되고 카메라의 움직임(외부 환경에 의한 카메라 움직임 또는 카메라의 패닝/틸팅에 따른 움직임)이 있는 경우에 획득된 영상에 대해도 적용될 수 있다.
본 발명에 따른 이동체 검출 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
본 발명은 첨부된 도면에 도시된 일 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 수 있을 것이다. 따라서, 본 발명의 진정한 보호 범위는 첨부된 청구 범위에 의해서만 정해져야 할 것이다.
Claims (20)
- 영상에 복수의 그리드들을 구성하는 단계;
영상의 특징점들을 추출하는 단계;
상기 특징점들 각각의 제1 모션벡터를 기초로 상기 그리들 각각의 그리드 모션벡터를 추정하는 단계;
상기 그리드 모션벡터를 기초로 상기 특징점들 각각의 제2 모션벡터를 추정하는 단계; 및
상기 제1 모션벡터와 상기 제2 모션벡터의 차이를 기초로 이동체를 검출하는 단계;를 포함하는 영상처리장치의 이동체 검출 방법. - 제1항에 있어서, 상기 그리드 모션벡터 추정 단계는,
각 특징점의 모션벡터를 주변의 그리드들로 전파하는 단계;
각 그리드에 축적된 모션벡터들을 기초로 그리드별 제1 대표 모션벡터를 추정하는 단계; 및
각 그리드와 주변 그리드들의 상기 제1 대표 모션벡터들을 기초로 그리드별 제2 대표 모션벡터를 추정하는 단계;를 포함하는 영상처리장치의 이동체 검출 방법. - 제1항에 있어서, 상기 제2 모션벡터 추정 단계는,
상기 그리드 모션벡터의 보간을 기초로 상기 특징점들 각각의 제2 모션벡터를 추정하는 단계;를 포함하는 영상처리장치의 이동체 검출 방법. - 제1항에 있어서, 상기 이동체 검출 단계는,
각 특징점의 제1 모션벡터와 제2 모션벡터의 차이를 나타내는 잔여벡터를 산출하는 단계;
각 특징점의 잔여벡터를 주변의 그리드들로 전파하는 단계;
각 그리드에 축적된 잔여벡터들의 1차 필터링 및 각 그리드와 주변 그리드들의 잔여벡터들의 2차 필터링에 의해 그리드의 잔여벡터를 추정하는 단계; 및
기 설정된 잔여벡터 조건을 만족하는 그리드의 집합을 후보 이동체로 검출하는 단계;를 포함하는 영상처리장치의 이동체 검출 방법. - 제4항에 있어서, 상기 이동체 검출 단계는,
상기 특징점의 잔여벡터에서 노이즈를 제거하는 단계;를 더 포함하는 영상처리장치의 이동체 검출 방법. - 제4항에 있어서,
적어도 하나의 후보 이동체에서 기 정해진 조건을 만족하는 후보 이동체를 검출하는 단계;를 더 포함하는 영상처리장치의 이동체 검출 방법. - 제1항에 있어서, 상기 이동체 검출 단계는,
긱 특징점의 제1 모션벡터와 제2 모션벡터의 차이를 나타내는 잔여벡터를 산출하는 단계; 및
임계치 이상의 크기를 갖는 잔여벡터의 해당 특징점의 주변 픽셀들의 집합을 후보 이동체로 검출하는 단계;를 포함하는 영상처리장치의 이동체 검출 방법. - 제7항에 있어서, 상기 이동체 검출 단계는,
상기 특징점의 잔여벡터에서 노이즈를 제거하는 단계;를 더 포함하는 영상처리장치의 이동체 검출 방법. - 제7항에 있어서,
적어도 하나의 후보 이동체에서 기 정해진 조건을 만족하는 후보 이동체를 검출하는 단계;를 포함하는 영상처리장치의 이동체 검출 방법. - 제1항에 있어서,
상기 추출된 특징점들 중 크기 임계치 이상의 크기를 갖는 제1 모션벡터의 비율이 개수 임계치 이상이면 상기 영상을 획득하는 장치가 정지 상태라고 판단하는 단계;를 더 포함하는 영상처리장치의 이동체 검출 방법. - 영상의 특징점들을 추출하고, 상기 특징점들 각각의 제1 모션벡터를 추정하는 특징점추출부;
상기 영상에 복수의 그리드들을 구성하고, 상기 특징점들 각각의 제1 모션벡터를 기초로 상기 그리들 각각의 그리드 모션벡터를 추정하고, 상기 그리드 모션벡터를 기초로 상기 특징점들 각각의 제2 모션벡터를 추정하는 모션추정부; 및
상기 제1 모션벡터와 상기 제2 모션벡터의 차이를 기초로 이동체를 검출하는 이동체검출부;를 포함하는 영상처리장치. - 제11항에 있어서, 상기 모션추정부는,
각 특징점의 모션벡터를 주변의 그리드들로 전파하고, 각 그리드에 축적된 모션벡터들을 기초로 그리드별 제1 대표 모션벡터를 추정하고, 각 그리드와 주변 그리드들의 상기 제1 대표 모션벡터들을 기초로 그리드별 제2 대표 모션벡터를 추정하는, 영상처리장치. - 제11항에 있어서, 상기 모션추정부는,
상기 그리드 모션벡터의 보간을 기초로 상기 특징점들 각각의 제2 모션벡터를 추정하는, 영상처리장치. - 제11항에 있어서, 상기 이동체검출부는,
각 특징점의 제1 모션벡터와 제2 모션벡터의 차이를 나타내는 잔여벡터를 산출하고, 각 특징점의 잔여벡터를 주변의 그리드들로 전파하고, 각 그리드에 축적된 잔여벡터들의 1차 필터링 및 각 그리드와 주변 그리드들의 잔여벡터들의 2차 필터링에 의해 그리드의 잔여벡터를 추정하고, 기 설정된 잔여벡터 조건을 만족하는 그리드의 집합을 후보 이동체로 검출하는, 영상처리장치. - 제14항에 있어서, 상기 이동체검출부는,
상기 특징점의 잔여벡터에서 노이즈를 제거하는, 영상처리장치. - 제14항에 있어서, 상기 이동체검출부는,
적어도 하나의 후보 이동체에서 기 정해진 조건을 만족하는 후보 이동체를 검출하는, 영상처리장치. - 제11항에 있어서, 상기 이동체검출부는,
각 특징점의 제1 모션벡터와 제2 모션벡터의 차이를 나타내는 잔여벡터를 산출하고, 임계치 이상의 크기를 갖는 잔여벡터의 해당 특징점의 주변 픽셀들의 집합을 후보 이동체로 검출하는, 영상처리장치. - 제17항에 있어서, 상기 이동체검출부는,
상기 특징점의 잔여벡터에서 노이즈를 제거하는, 영상처리장치. - 제17항에 있어서, 상기 이동체검출부는,
적어도 하나의 후보 이동체에서 기 정해진 조건을 만족하는 후보 이동체를 검출하는, 영상처리장치. - 제11항에 있어서,
상기 추출된 특징점들 중 크기 임계치 이상의 크기를 갖는 제1 모션벡터의 비율이 개수 임계치 이상이면 상기 영상을 획득하는 장치가 정지 상태라고 판단하는 상태추정부;를 더 포함하는 영상처리장치.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170089166A KR102369802B1 (ko) | 2017-07-13 | 2017-07-13 | 영상 처리 시스템 및 그에 의한 영상 처리 방법 |
| US15/841,965 US10719942B2 (en) | 2017-07-13 | 2017-12-14 | Real-time image processing system and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170089166A KR102369802B1 (ko) | 2017-07-13 | 2017-07-13 | 영상 처리 시스템 및 그에 의한 영상 처리 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190007758A true KR20190007758A (ko) | 2019-01-23 |
| KR102369802B1 KR102369802B1 (ko) | 2022-03-04 |
Family
ID=64999050
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170089166A KR102369802B1 (ko) | 2017-07-13 | 2017-07-13 | 영상 처리 시스템 및 그에 의한 영상 처리 방법 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US10719942B2 (ko) |
| KR (1) | KR102369802B1 (ko) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10567724B2 (en) * | 2018-04-10 | 2020-02-18 | GM Global Technology Operations LLC | Dynamic demosaicing of camera pixels |
| CN112150496B (zh) * | 2020-09-24 | 2023-06-02 | 平安科技（深圳）有限公司 | 照片处理方法、装置、电子设备及可读存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006180479A (ja) * | 2004-12-21 | 2006-07-06 | Samsung Electronics Co Ltd | ビデオ監視システムにおけるカメラ／物体の動き区分及び客体抽出装置並びにその方法 |
| US20090169059A1 (en) * | 2006-03-01 | 2009-07-02 | Bernd Kleinjohann | Motion Analysis in Digital Image Sequences |
| US20090220173A1 (en) * | 2005-10-12 | 2009-09-03 | Active Optics Pty Limited | Image processing method and system |
| US20120106642A1 (en) * | 2010-10-29 | 2012-05-03 | Lsi Corporation | Motion Estimation for a Video Transcoder |
| KR20160142137A (ko) * | 2015-06-02 | 2016-12-12 | 에스케이하이닉스 주식회사 | 움직이는 객체 검출 장치 및 방법 |
| JP2017098884A (ja) * | 2015-11-27 | 2017-06-01 | カシオ計算機株式会社 | 移動検出装置、移動検出方法、及び、プログラム |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100946935B1 (ko) | 2003-06-02 | 2010-03-09 | 삼성전자주식회사 | 이동체의 위치검출장치 |
| JP4835960B2 (ja) | 2009-04-24 | 2011-12-14 | 村田機械株式会社 | 移動体システム |
| EP2701093B1 (en) | 2012-08-20 | 2016-06-22 | Honda Research Institute Europe GmbH | Sensing system and method for detecting moving objects |
| KR101460317B1 (ko) | 2013-04-01 | 2014-11-14 | 중앙대학교 산학협력단 | 불안정한 카메라 환경에서의 이동 객체 검출 장치 및 방법 |
-
2017
- 2017-07-13 KR KR1020170089166A patent/KR102369802B1/ko active IP Right Grant
- 2017-12-14 US US15/841,965 patent/US10719942B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006180479A (ja) * | 2004-12-21 | 2006-07-06 | Samsung Electronics Co Ltd | ビデオ監視システムにおけるカメラ／物体の動き区分及び客体抽出装置並びにその方法 |
| US20090220173A1 (en) * | 2005-10-12 | 2009-09-03 | Active Optics Pty Limited | Image processing method and system |
| US20090169059A1 (en) * | 2006-03-01 | 2009-07-02 | Bernd Kleinjohann | Motion Analysis in Digital Image Sequences |
| US20120106642A1 (en) * | 2010-10-29 | 2012-05-03 | Lsi Corporation | Motion Estimation for a Video Transcoder |
| KR20160142137A (ko) * | 2015-06-02 | 2016-12-12 | 에스케이하이닉스 주식회사 | 움직이는 객체 검출 장치 및 방법 |
| JP2017098884A (ja) * | 2015-11-27 | 2017-06-01 | カシオ計算機株式会社 | 移動検出装置、移動検出方法、及び、プログラム |
Non-Patent Citations (1)
| Title |
|---|
| Meshflow: Minimum Latency Online Video Stabilization (ECCV 2016) |
Also Published As
| Publication number | Publication date |
|---|---|
| US10719942B2 (en) | 2020-07-21 |
| KR102369802B1 (ko) | 2022-03-04 |
| US20190019298A1 (en) | 2019-01-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10452931B2 (en) | Processing method for distinguishing a three dimensional object from a two dimensional object using a vehicular system | |
| CN112292711B (zh) | 关联lidar数据和图像数据 | |
| US10261574B2 (en) | Real-time detection system for parked vehicles | |
| Wu et al. | Lane-mark extraction for automobiles under complex conditions | |
| KR20210107570A (ko) | 어떤 대상의 자기 동작 추정을 위한 방법 | |
| CN107038723B (zh) | 棒状像素估计方法和系统 | |
| Fossati et al. | Real-time vehicle tracking for driving assistance | |
| US10388008B2 (en) | Detection of lens contamination using expected edge trajectories | |
| US20160104047A1 (en) | Image recognition system for a vehicle and corresponding method | |
| US8406472B2 (en) | Method and system for processing image data | |
| JP2013109760A (ja) | 対象検知方法及び対象検知システム | |
| WO2020154990A1 (zh) | 目标物体运动状态检测方法、设备及存储介质 | |
| US20180150703A1 (en) | Vehicle image processing method and system thereof | |
| WO2018061976A1 (ja) | 画像処理装置 | |
| Aziz et al. | Implementation of vehicle detection algorithm for self-driving car on toll road cipularang using Python language | |
| JP2015510171A (ja) | 衝突時間を演算することを可能にする方法と装置、並びにコンピュータプログラム、コンピュータ可読媒体、及びコンピュータ | |
| Berriel et al. | A particle filter-based lane marker tracking approach using a cubic spline model | |
| JP2016224585A (ja) | 路面標示検出装置、障害要素検出装置、車線検出装置、車線検出方法及びプログラム | |
| KR20180027242A (ko) | 무인 차량을 위한 주변 환경 매핑 방법 및 장치 | |
| KR102369802B1 (ko) | 영상 처리 시스템 및 그에 의한 영상 처리 방법 | |
| US20210049382A1 (en) | Non-line of sight obstacle detection | |
| Balisavira et al. | Real-time object detection by road plane segmentation technique for ADAS | |
| KR20180047149A (ko) | 충돌 위험 경고 장치 및 방법 | |
| Ijeri et al. | Traffic Control System Using Image Proccesing | |
| Unno et al. | Vehicle motion tracking using symmetry of vehicle and background subtraction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| N231 | Notification of change of applicant | ||
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |