KR20150077654A - 객체 검출 장치, 차량용 객체 검출 장치 및 이들의 방법 - Google Patents

객체 검출 장치, 차량용 객체 검출 장치 및 이들의 방법 Download PDF

Info

Publication number
KR20150077654A
KR20150077654A KR1020130166368A KR20130166368A KR20150077654A KR 20150077654 A KR20150077654 A KR 20150077654A KR 1020130166368 A KR1020130166368 A KR 1020130166368A KR 20130166368 A KR20130166368 A KR 20130166368A KR 20150077654 A KR20150077654 A KR 20150077654A
Authority
KR
South Korea
Prior art keywords
frame
background
movement amount
current frame
vehicle
Prior art date
Application number
KR1020130166368A
Other languages
English (en)
Other versions
KR101537559B1 (ko
Inventor
황태호
김동순
권진산
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020130166368A priority Critical patent/KR101537559B1/ko
Publication of KR20150077654A publication Critical patent/KR20150077654A/ko
Application granted granted Critical
Publication of KR101537559B1 publication Critical patent/KR101537559B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G06T5/94—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

객체 검출 방법이 개시된다. 이 방법은 옵티컬 플로우 방식을 이용하여 모든 화소들에 대한 이전 프레임과 현재 프레임 사이에서의 평균 이동량를 계산하는 과정과 계산된 평균 이동량만큼 상기 이전 프레임의 배경 프레임의 배경 이동량을 보상하여, 배경 이동량이 보상된 상기 배경 프레임을 상기 현재 프레임의 배경 프레임으로 구성하는 과정과, 상기 옵티컬 플로우 방식을 이용하여 상기 현재 프레임과 상기 구성된 배경 프레임 간의 각 화소들의 이동량을 계산하는 과정 및 기 설정된 임계치 이상의 이동량에 해당하는 각 화소들의 좌표값을 계산하여, 검출된 좌표값을 상기 현재 프레임 내의 객체 영역으로 검출하는 과정을 포함한다.

Description

객체 검출 장치, 차량용 객체 검출 장치 및 이들의 방법{DEVICE FOR DETECTING OBJECT, DEVICE FOR DETECTING OBJECT FOR VEHICLE AND METHOD THEREOF}
본 발명은 객체 검출 장치, 차량용 객체 검출 장치 및 이들의 방법에 관한 것으로서, 보다 상세하게는 카메라와 같은 영상 획득 수단이 이동하는 환경에서 획득된 영상 내의 배경으로부터 객체를 검출하는 객체 검출 장치 및 이의 방법에 관한 것이다.
일반적으로 영상 정보만을 이용하여 움직이는 물체 또는 사람과 같은 객체를 검출하는 방법에는 옵티컬 플로우(optical flow) 기술과 배경 분리(background subtraction) 기술이 대표적이다.
옵티컬 플로우 기술은 두 영상 프레임 사이에서 각 화소들이 움직인 방향과 거리 벡터를 계산하여 비슷한 형질을 가지는 벡터들을 군집하는 방법으로 객체를 검출하는 방식이다.
배경 분리 방법은 영상 프레임을 순차적으로 입력받아서, 프레임 단위로 각 영상 프레임의 화소값 정보를 누적하여 배경 프레임을 만들고 움직이는 물체 부분을 현재 프레임과 배경 프레임의 차이가 큰 부분으로 정의하여, 이러한 차이에 기초해 객체를 검출하는 방식이다.
그러나, 상기와 같은 종래의 기술들은 모두 한 장소에 고정 설치된 카메라, 예를 들어 CCTV에서 수집된 영상에 대해서만 움직이는 객체를 오류 없이 찾아낼 수 있으며, 카메라가 움직임으로써 배경도 함께 움직이는 일반적인 영상에 대해서는 벡터들을 군집하지 못하거나 화소값의 차이로 인해 배경 프레임을 누적하지 못하고 객체를 정확히 찾을 수 없는 문제점이 있다.
따라서, 본 발명의 목적은 카메라와 같은 영상 획득 수단이 이동하는 환경에서 획득된 영상에서 객체를 오류 없이 검출하는 객체 검출 장치, 차량용 객체 검출 장치 및 이의 방법을 제공하는 데 있다.
상기와 같은 목적을 달성하기 위한 본 발명의 일면에 따른 객체 검출 방법은, 옵티컬 플로우 방식을 이용하여 이전 프레임과 현재 프레임 간의 각 화소들의 평균 이동량를 계산하는 과정과, 계산된 평균 이동량만큼 상기 이전 프레임의 배경 프레임의 배경 이동량을 보상하여, 배경 이동량이 보상된 상기 배경 프레임을 상기 현재 프레임의 배경 프레임으로 구성하는 과정과, 상기 옵티컬 플로우 방식을 이용하여 상기 현재 프레임과 상기 구성된 배경 프레임 간의 각 화소들의 이동량을 계산하는 과정 및 기 설정된 임계치 이상의 이동량에 해당하는 각 화소들의 좌표값을 계산하여, 검출된 좌표값을 상기 현재 프레임 내의 객체 영역으로 검출하는 과정을 포함한다.
본 발명의 다른 일면에 따른 객체 검출 장치는, 이동 환경에서 주변 상황을 촬영하여 이전 프레임과 현재 프레임을 순차적으로 출력하는 영상 획득부와, 옵티컬 플로우 방식을 이용하여 이전 프레임과 현재 프레임 간의 각 화소들의 평균 이동량를 계산하고, 계산된 평균 이동량만큼 상기 이전 프레임의 배경 프레임의 배경 이동량을 보상하여, 배경 이동량이 보상된 상기 배경 프레임을 상기 현재 프레임의 배경 프레임으로 추출하는 배경 추출부 및 상기 옵티컬 플로우 방식을 이용하여 상기 현재 프레임과 상기 보상된 배경 프레임 간의 각 화소들의 이동량을 계산하고, 기 설정된 임계치 이상의 이동량에 해당하는 각 화소들의 좌표값을 계산하여, 검출된 좌표값을 상기 현재 프레임 내의 객체 영역으로 검출하는 객체 검출부를 포함한다.
본 발명의 또 다른 일면에 따른 차량용 객체 검출 장치에 있어서, 상기 차량 주행 중에 상기 차량의 주변 상황을 촬영하여 이전 프레임과 현재 프레임을 순차적으로 출력하는 영상 획득부와, 옵티컬 플로우 방식을 이용하여 이전 프레임과 현재 프레임 간의 각 화소들의 평균 이동량를 계산하고, 계산된 평균 이동량만큼 상기 이전 프레임의 배경 프레임의 배경 이동량을 보상하여, 배경 이동량이 보상된 상기 배경 프레임을 상기 현재 프레임의 배경 프레임으로 추출하는 배경 추출부 및 상기 옵티컬 플로우 방식을 이용하여 상기 현재 프레임과 상기 보상된 배경 프레임 간의 각 화소들의 이동량을 계산하고, 상기 차량 내의 전자 제어 유닛으로부터 제공되는 차량의 주행 속도값에 따라 임계치를 결정하고, 결정된 상기 임계치 이상의 이동량에 해당하는 각 화소들의 좌표값을 계산하여, 검출된 좌표값을 상기 현재 프레임 내의 객체 영역으로 검출하는 객체 검출부를 포함한다.
본 발명의 또 다른 일면에 따른 차량용 객체 검출 장치를 이용한 객체 검출 방법에 있어서, 상기 차량 주행 중에 상기 차량의 주변 상황을 촬영하여 이전 프레임과 현재 프레임을 순차적으로 출력하는 과정과, 옵티컬 플로우 방식을 이용하여 이전 프레임과 현재 프레임 간의 각 화소들의 평균 이동량를 계산하고, 계산된 평균 이동량만큼 상기 이전 프레임의 배경 프레임의 배경 이동량을 보상하여, 배경 이동량이 보상된 상기 배경 프레임을 상기 현재 프레임의 배경 프레임으로 추출하는 과정 및 상기 옵티컬 플로우 방식을 이용하여 상기 현재 프레임과 상기 보상된 배경 프레임 간의 각 화소들의 이동량을 계산하고, 상기 차량 내의 전자 제어 유닛으로부터 제공되는 차량의 주행 속도값에 따라 임계치를 결정하고, 결정된 상기 임계치 이상의 이동량에 해당하는 각 화소들의 좌표값을 계산하여, 검출된 좌표값을 상기 현재 프레임 내의 객체 영역으로 검출하는 과정을 포함한다.
본 발명에 의하면, 이동하는 카메라에서 획득한 영상에서 배경의 이동량을 계산하고, 계산된 이동량만큼 영상을 보정하여 카메라의 이동에 따른 배경 오차를 보상하여 배경을 추출함으로써, 카메라가 이동하는 환경에서 배경의 움직임이 그대로 반영한 상태로 객체를 추출함에 따른 객체 검출 오차를 줄일 수 있다. 또한 옵티컬 플로우와 배경 분리 방법을 결합함으로써, 움직이는 객체 검출의 정확도를 효율적으로 높일 수 있다.
도 1은 본 발명의 일 실시 예에 따른 객체 검출 장치의 내부 구성을 개략적으로 보여주는 블록도이다.
도 2는 도 1에 도시된 배경 추출부의 구성을 보여주는 블록도이다.
도 3은 도 1에 도시된 객체 검출부의 구성을 보여주는 블록도이다.
도 4는 도 1에 도시된 객체 검출부의 다른 실시 예를 보여주는 블록도이다.
도 5는 도 1에 도시된 객체 검출부의 또 다른 실시 예를 보여주는 블록도이다.
도 6은 본 발명의 일 실시 예에 따른 객체 검출 방법을 보여주는 순서도이다.
본 발명은 움직이는 카메라에서 촬영한 영상에서 배경의 이동량을 계산하고,
이동량만큼 영상을 움직여 카메라의 움직임을 보상한 배경을 추출함으로써, 배경의 움직임이 그대로 반영되는 종래 기술과는 달리, 움직임이 보상된 배경과 입력 영상을 이용하여 움직이는 객체를 검출하는 방법을 제공한다. 또한 옵티컬 플로우와 배경 분리 방법을 결합하여 움직이는 객체 검출의 정확도를 높이는 방법을 제공한다. 이렇게 함으로써, 카메라의 시점이 이동 중에도 배경의 움직임을 보상하면서 움직이는 객체를 검출 할 수 있으므로, 팬 틸트 기능이 있는 CCTV나 자동차의 전후방카메라 등과 같이 카메라가 이동하는 환경에서 취득한 영상에서 움직이는 객체를 찾아 사용자에게 경고하는 등의 후속 처리를 위한 다양한 기술분야에서 활용될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 일 실시 예에 대해 상세히 설명하기로 한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 용이하게 이해할 수 있도록 제공되는 것이며, 본 발명은 청구항의 기재에 의해 정의된다. 한편, 본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자 이외의 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
도 1은 본 발명의 일 실시 예에 따른 객체 검출 장치의 구성을 개략적으로 보여주는 블록도이다.
본 발명의 일 실시 예에 따른 객체 검출 장치는(100)는 옵티컬 플로우 방식을 이용하여 카메라가 움직이는 환경에서 프레임간에서 발생하는 배경 이동량을 보상하고, 옵티컬 플로우 방식을 이용하여 현재 프레임과 보상된 배경 이동량에 따라 구성된 배경 프레임 간의 이동량에 기초해 영상 내의 객체를 검출한다.
이를 위해, 본 발명의 일 실시 예에 따른 객체 검출 장치는(100)는 도 1에 도시된 바와 같이, 영상 획득부(110), 프레임 메모리(120), 배경 추출부(130) 및 객체 검출부(140)를 포함한다.
영상 획득부(110)는 주변 상황을 촬영하여 이전 영상 프레임(I(n-1): 이하, 이전 프레임이라 한다.)과 현재 영상 프레임(I(n): 이하, 현재 프레임)의 영상을 순차적으로 출력하는 구성으로서, 팬 틸트 기능을 갖는 카메라 또는 차량에 장착되는 전후방 카메라일 수 있으며, 이에 특별히 한정되지 않고, 이동 환경에서 주변 상황을 촬영할 수 있는 모든 종류의 촬영 수단을 포함한다.
프레임 메모리(120)는 상기 영상 획득부(110)로부터 현재 프레임(I(n))을 입력받아서 일시적으로 저장하는 일종의 버퍼로서, 상기 현재 프레임(I(n))의 입력에 따라 이전에 저장된 이전 프레임(I(n-1))을 출력한다.
배경 추출부(130)는 상기 영상 획득부(110)로부터의 현재 프레임(I(n))과 프레임 메모리(120)로부터의 이전 프레임(I(n-1))을 입력받고, 이전 프레임(I(n-1))과 현재 프레임(I(n)) 간의 옵티컬 플로우를 이용하여 상기 이전 프레임(I(n-1))에 포함된 이전의 배경 영상 프레임(B(n-1): 이하, 이전 배경 프레임이라 한다.)을 보상하고, 보상된 이전의 배경 프레임 (B(n-1)')을 현재의 프레임의 배경 프레임(B(n))으로서 추출(분리 또는 구성)한다. 이에 대한 구체적인 설명은 아래의 도 2를 참조하여 상세히 설명하기로 한다.
객체 검출부(140)는 배경 추출부(130)로부터의 보상된 배경 프레임(B(n-1)' 또는 B(n))과 상기 현재 프레임(I(n)) 간의 옵티컬 플로우를 이용하여 상기 현재 프레임(I(n)) 내의 객체 영역을 검출한다. 이에 대한 구체적인 설명은 아래의 도 3 내지 도 5를 참조하여 상세히 설명하기로 한다.
먼저, 도 1에 도시된 배경 추출부(130)의 일 실시 예에 대해 상세히 설명한다.
도 2는 도 1에 도시된 배경 추출부의 구성을 보여주는 블록도이다.
도 2를 참조하면, 배경 추출부(130)은 제1 옵티컬 플로우(OF) 계산부(132), 배경 OF 기준값 생성부(134), 배경 보상부(136) 및 프레임 메모리(138)를 포함한다.
제1 OF 계산부(132)는 모든 화소들에 대해 이전 프레임(I(n-1))과 현재 프레임(I(n)) 사이에서의 이동량(옵티컬 플로우값 또는 이동 벡터값)을 계산하고, 계산된 결과를 현재 프레임(I(n))에 대한 제1 OF 프레임(OF1(n))으로서 출력한다. 이때, 출력되는 제1 OF 프레임(OF1(n))는 배경 이동량과 객체 이동량을 모두 포함한 형태로 출력된다. 일례로, 이동량의 계산은 T.Brox에 의해 제안된 "High accuracy optical flow estimation based on a theory for warping" 방법에 따라 계산될 수 있다.
배경 OF 기준값 생성부(134)는 제1 OF 프레임(OF1(n))에 포함된 배경 이동량과 객체 이동량 중에서 배경 이동량을 분리(추출 또는 검출)하여 이를 이전 프레임(I(n-1))의 배경 프레임(B(n-1))을 보상하기 위한 기준값(REF)으로 생성한다. 이를 위해, 배경 OF 기준값 생성부(134)는 제1 OF 프레임(OF1(n)) 내의 모든 화소들의 이동량을 크기 순으로 배열하고, 크기 순으로 배열된 이동량을 일정 단위의 구간으로 등분하는 과정을 수행한다. 이후, 등분된 구간들 중 가장 많은 이동량이 분포한 구간을 선정하고, 선정된 상기 구간 내에 분포한 이동량들의 평균치(또는 평균 이동량)를 상기 배경 OF 기준값(RFE)으로 생성한다. 예컨대, 제1 OF 프레임(OF1(n)) 내의 최대 이동량(최대 옵티컬 플로우값 또는 최대 이동 벡터값)과 최소 이동량(최소 옵티컬 플로우값 또는 최소 이동 벡터값) 사이 구간을 100 등분하여 모든 화소들에 대한 이동량을 등분된 구간들로 분류한 후, 가장 많은 개수의 이동량들을 포함하고 있는 구간을 선정하고, 선정된 구간의 중앙값 또는 평균값을 이전 프레임(I(n-1))의 배경 프레임(B(n-1))을 보상하기 위한 기준값(RFE)으로 사용한다. 이를 히스토그램 상에서 살펴보면, 히스토그램 상 최대빈도 구간의 중앙값이다.
배경 보상부(136)는 배경 OF 기준값 생성부(134)로부터의 상기 배경 OF 기준값(RFE)을 이용하여 뒷단의 프레임 메모리(138)로부터의 이전 프레임(I(n-1))의 배경 프레임(B(n-1))을 보상하는 구성으로서, 상기 배경 OF 기준값(RFE)인 평균 이동량만큼 상기 이전 프레임(I(n-1))의 배경 프레임(B(n-1)) 내에 존재하는 각 화소들을 이동량을 보상한다. 만일, 프레임 메모리(138)에 이전에 보상된 배경 프레임이 없는 경우, 즉, 최초 프레임 자체를 이전에 구성한(생성한 또는 분리한) 배경 프레임으로 간주한다. 이렇게 보상된 배경 프레임(B(n-1)')을 구성한 배경 보상부(136)는 영상 획득부(110)로부터의 현재 프레임(I(n))을 더 입력 받아서, 상기 보상된 배경 프레임(B(n-1)')의 화소들을 상기 입력 받은 현재 프레임(I(n))의 대응하는 화소들의 화소값으로 대체(맵핑 또는 보상)한다. 이렇게 함으로써, 배경 이동량이 보상된 최종 배경 프레임을 분리 추출한다. 이때, 상기 보상된 배경 프레임(B(n-1)')의 화소들을 현재 프레임(I(n))의 대응하는 화소들의 화소값에 그대로 대체(맵핑 또는 보상)하지 않고, 현재 프레임(I(n))의 대응하는 화소들의 화소값을 사전에 설정한 학습 계수(예컨대, 0.1)만큼 곱한 화소값으로 보상하고, 상기 보상된 배경 프레임(B(n-1)')의 화소들을 상기 학습 계수에 의해 보상된 화소값으로 대체(맵핑 또는 보상)할 수도 있다. 즉, B(n)의 화소값은, 이동시킨 B(n-1) 프레임을 기준으로 특정 위치에 있는 화소값에, I(n)의 해당 위치의 화소값과 이동된 B(n-1)프레임에서의 화소값과의 차이와 학습계수를 곱한 결과값을 더한 값과 같다. 이를 수학식으로 표현하면, 아래의 수학식 1과 같다.
Figure pat00001
여기서, k는 학습 계수이다.
이하, 상기 배경 추출부(130)에 의해 분리 추출된 배경 프레임을 이용하여 객체 영역을 추출하는 객체 추출부(140)에 대해 상세히 설명하기로 한다.
도 3은 도 1에 도시된 객체 검출부의 구성을 보여주는 블록도이다.
도 3을 참조하면, 객체 검출부(140)는 제2 OF 계산부(142) 및 객체 영역 분리부(144)를 포함한다.
제2 OF 계산부(142)는 상기 배경 추출부(130)로부터의 배경 이동량이 보상된 배경 프레임(B(n))과 상기 영상 획득부(110)로부터의 현재 프레임(I(n))을 입력 받아서, 옵티컬 플로우를 이용하여 모든 화소들에 대해 상기 배경 프레임(B(n))과 현재 프레임(I(n)) 간의 이동량을 계산하여, 상기 현재 프레임(I(n))에 대한 제2 OP 프레임(OF2(n))을 출력한다. 여기서, 제2 OP 프레임(OF2(n))은 앞에서 설명한 제1 OF 계산부(132)로부터 출력되는 제1 OP 프레임(OF2(n))와는 달리 배경 이동량이 보상된 배경 프레임(B(n))을 현재 프레임(I(n))의 배경 프레임으로 간주할 수 있으므로, 현재 프레임(I(n))의 객체를 구성하는 화소들의 이동량이 두드러지게 나타난 형태로 출력될 것이다.
객체 영역 분리부(144)는 설계자에 의해 설정된 임계값(TH)을 이용하여 제2 OP 프레임(OF2(n)) 내의 객체 영역을 분리 추출한다. 예컨대, 상기 임계값 이상에 해당하는 각 화소들의 좌표값을 계산하여, 검출된 좌표값을 상기 현재 프레임 내의 객체 영역으로 검출할 수 있다. 이때, 배경 분리 마스크를 이용하여 객체 검출의 정확도를 높일 수 있다. 이에 대한 설명은 아래의 도 4를 참조하여 설명하기로 한다.
도 4는 도 1에 도시된 객체 검출부의 다른 실시 예를 보여주는 블록도이다.
도 4에 도시된 다른 실시 예에 따른 객체 검출부(140)는 도 3의 실시 예에 마스크 생성부(146)와 필터부(148)를 추가한 점을 제외하면, 도 3의 실시 예와 동일한 동작 및 기능을 수행한다.
마스크 생성부(146)는 객체 검출의 정확도를 높이기 위해, 배경 분리 마스크를 생성하는 구성으로서, 현재 프레임(I(n))과 배경 이동량이 보상된 배경 프레임(B(n))을 입력받아서, 이들 프레임들의 차이에 해당하는 마스크 프레임(47)을 생성하고, 이를 상기 배경 분리 마스크로 출력한다.
필터부(148)는 상기 마스트 생성부(146)로부터의 마스크 프레임(47)을 이용하여 객체 영역 분리부(144)로부터 출력되는 객체 영역에 포함된 노이즈를 필터링 한다. 이렇게 함으로써, 객체 검출의 정확도를 높일 수 있다.
한편, 객체 영역 분리부(144)에 적용되는 임계값(TH)을 카메라의 이동 속도를 고려하여 다양하게 설정함으로써, 객체 검출의 정확도를 높일 수도 있다. 이에 대해서는 도 5를 참조하여 설명하기로 한다.
도 5는 도 1에 도시된 객체 검출부의 또 다른 실시 예를 보여주는 블록도이다.
도 5에서는 본 발명의 객체 검출 장치(100)가 차량에 탑재된 경우, 차량의 주행 속도 즉, 차량에 장착된 카메라의 이동 속도에 따라 임계치(TH)가 조정되는 예를 설명한 것이다. 본 발명의 객체 검출 장치(100)가 차량에 적용되는 경우, 본 발명의 또 다른 실시 예에 따른 객체 검출부(140)는 CAN 통신 또는 LIN 통신과 같은 차량 내의 네트워크 통신(40)을 통해 차량 내의 전자 제어 유닛(200)으로부터 차량의 주행 속도를 제공받을 수 있다.
상기 전자 제어 유닛(200)으로부터 차량이 주행 속도를 제공받는 객체 검출부(140)는 도 3에 도시된 구성들에 추가로 임계값 생성부(149)를 더 포함할 수 있다. 이러한 임계값 생성부(149)는 설계자에 의해 설정된 기준 속도(예컨대, 10 Km/h)와 전자 제어 유닛(200)로부터 수신된 차량의 주행 속도를 비교하고, 차량의 주행 속도가 상기 기준속도보다 낮으며, 제1 임계치(TH1)를 상기 객체 영역 분리부(144)로 출력하고, 반대로 차량의 주행 속도가 상기 기준속도보다 높으면, 상기 제1 임계치(TH1)보다 큰 제2 임계치(TH2)를 상기 객체 영역 분리부(144)으로 출력한다. 그러면, 객체 영역 분리부(144)는 현재의 차량 주행 속도 즉, 카메라의 이동 속도에 따라 임계치를 조절하여 제2 OF 프레임(OF2(n)) 내이 객체 영역을 적응적으로 검출할 수 있다. 차량의 속도가 높은 경우, 즉, 카메라의 이동속도가 높은 환경에서 획득된 프레임들의 경우, 그 인접한 프레임들 간의 옵티컬 플로우의 이동량 편차는 크므로, 이런 경우에, 낮은 임계치를 적용하게 되면, 정확한 객체 검출이 어렵다. 반대로 카메라의 이동속도가 낮은 환경에서 획득된 프레임들의 경우, 인접한 프레임들 간의 옵티컬 플로우의 이동량 편차는 작으므로, 이런 경우에 높은 임계치를 적용하게 되면, 마찬가지로 정확한 객체 검출이 어렵다. 그러나, 본 발명에서는 위와 같이, 카메라의 이동속도가 높은 경우에는 높은 임계치를 적용하고, 반대의 경우에는 낮은 임계치를 적용함으로써, 객체 검출의 정확도를 높일 수 있다.
본 실시 예에서는, 객체 검출의 정확도를 높이기 위한 방안으로, 도 4와 도 5의 2가지 실시 예를 제시하고 있지만, 이들 실시 예들의 결합을 통해 객체 검출의 정확도를 더욱 높일 수 도 있다. 이러한 결합된 실시 예는 당업자라면 도 4와 도 5의 설명을 통해 충분히 구현할 수 있는 것이므로, 이에 대한 구체적인 설명은 생략하기로 한다.
도 6은 본 발명의 일 실시 예에 따른 객체 검출 방법을 보여주는 순서도로서, 도 6에 도시된 각 단계의 수행 주체는 도 1 내지 도 5의 설명을 통해 명확히 이해될 수 있으므로, 아래의 설명에서는 각 단계의 수행 주체를 언급하지 않는다.
도 6을 참조하면, 먼저, S610에서, 옵티컬 플로우 방식을 이용하여 모든 화소들에 대한 이전 프레임과 현재 프레임 사이에서의 평균 이동량을 계산하는 과정이 수행된다. 평균 이동량을 계산하는 과정은 이전 프레임과 현재 프레임 간의 각 화소들의 이동량를 계산하여, 상기 각 화소들의 이동량을 크기 순으로 배열하는 과정과, 크기 순으로 배열된 이동량을 일정 단위의 구간으로 등분하고, 등분된 구간들 중 가장 많은 이동량이 분포한 구간을 선정하는 과정 및 선정된 상기 구간 내에 분포한 이동량들의 평균치를 상기 평균 이동량으로 계산하는 과정을 포함한다.
이어, S620에서, 계산된 평균 이동량만큼 상기 이전 프레임의 배경 프레임의 배경 이동량을 보상하여, 배경 이동량이 보상된 상기 배경 프레임을 상기 현재 프레임의 배경 프레임으로 구성하는 과정이 수행된다. 이 과정은 상기 현재 프레임의 배경 프레임 내의 각 화소들의 화소값을 추출하는 과정과, 추출된 상기 화소값과, 상기 화소값의 위치에 해당하는 상기 보상된 배경 프레임의 화소값의 차이에 기 설정된 학습 계수를 연산하는 과정 및 상기 연산 결과에 따른 화소값을 상기 보상된 배경 프레임 내의 각 화소들의 화소값으로 대체하는 과정을 포함한다.
이어, S630에서, 상기 화소값으로 대체된 배경 프레임을 현재 프레임 내의 배경 프레임의 구성하는 과정이 수행된다.
이어, S640에서, 상기 옵티컬 플로우 방식을 이용하여 상기 현재 프레임과 상기 구성된 배경 프레임 간의 각 화소들의 이동량을 계산하는 과정이 수행된 후, S650에서, 기 설정된 임계치 이상의 이동량에 해당하는 각 화소들의 좌표값을 계산하여, 검출된 좌표값을 상기 현재 프레임 내의 객체 영역으로 검출하는 과정이 수행된다. 이때, 객체 영역의 검출 정확도를 높이기 위해, 상기 보상된 배경 프레임과 현재 프레임 간이 차이에 해당하는 마스크 프레임을 생성하는 과정과, 상기 검출된 객체 영역을 상기 마스크 프레임을 이용하여 필터링하는 과정 및 필터링된 상기 객체 영역을 상기 현재 프레임 내의 최종 객체 영역으로 검출하는 과정이 더 수행될 수 있다. 선택적으로, 카메라의 이동 속도값에 따라 상기 임계치를 적응적으로 조절하는 과정이 더 수행될 수 있다. 예컨대, 차량에 탑재된 카메라의 경우, 차량의 주행 속도가 상기 기준속도보다 낮으며, 제1 임계치(TH1) 이상의 이동량에 해당하는 각 화소들의 좌표값을 객체 영역으로 검출하고, 차량의 주행 속도가 상기 기준속도보다 높으면, 상기 제1 임계치(TH1)보다 큰 제2 임계치(TH2) 이상이 이동량에 해당하는 각 화소들의 좌표값을 객체 영역으로 검출할 수 있다.
이상 설명한 바와 같이, 본 발명은 옵티컬 플로우를 이용한 배경 분리 방법을 제공함으로써, 영상에서 두 개의 연속적인 프레임을 입력 받아 옵티컬 플로우를 통해 영상 화소 전체의 이동량(또는, 이동 벡터)를 계산하고, 계산 결과 동일한 이동량의 개수를 기준으로 예컨대, 7할 이상을 차지하는 이동량을 이전 프레임에 역으로 적용하여 배경의 움직임을 보상한다. 그러면, 보상된 이전 프레임과 현재 프레임을 이용하여 통해 배경 프레임을 분리한다. 분리된 배경 프레임과 현재 프레임을 다시 옵티컬 플로우를 통해 이동하는 객체들에 대한 군집화된 이동량(벡터)를 얻는다. 군집의 개수에 따라 선형적으로 이동체를 구분하는 이동량의 기준값(벡터 경계값)을 자동 결정하여 이동량이 가장 큰 소수의 군집들만 결정한다. 결정된 군집들에 대해 배경 분리 마스크와 같은 이미지 노이즈 저감 필터들을 적용하고, 배경 프레임과 현재 프레임을 배경 분리 방법을 통해 얻은 배경 분리 마스크를 결정된 군집에 적용하여 정확도를 높인다. 마스크 프레임까지 통과한 군집에 한해 군집들의 이동량(벡터) 위치를 원본 영상의 좌표계로 변환하여 출력함으로써, 최종 객체 영역을 검출한다.
이제까지 본 발명의 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (8)

  1. 옵티컬 플로우 방식을 이용하여 모든 화소들에 대한 이전 프레임과 현재 프레임 사이에서의 평균 이동량를 계산하는 과정;
    계산된 평균 이동량만큼 상기 이전 프레임의 배경 프레임의 배경 이동량을 보상하여, 배경 이동량이 보상된 상기 배경 프레임을 상기 현재 프레임의 배경 프레임으로 구성하는 과정;
    상기 옵티컬 플로우 방식을 이용하여 상기 현재 프레임과 상기 구성된 배경 프레임 간의 각 화소들의 이동량을 계산하는 과정; 및
    기 설정된 임계치 이상의 이동량에 해당하는 각 화소들의 좌표값을 계산하여, 검출된 좌표값을 상기 현재 프레임 내의 객체 영역으로 검출하는 과정
    을 포함하는 객체 검출 방법.
  2. 제1항에 있어서, 상기 평균 이동량을 계산하는 과정은,
    이전 프레임과 현재 프레임 간의 각 화소들의 이동량를 계산하여, 상기 각 화소들의 이동량을 크기 순으로 배열하는 과정;
    크기 순으로 배열된 이동량을 일정 단위의 구간으로 등분하고, 등분된 구간들 중 가장 많은 이동량이 분포한 구간을 선정하는 과정; 및
    선정된 상기 구간 내에 분포한 이동량들의 평균치를 상기 평균 이동량으로 계산하는 과정;
    을 포함하는 객체 검출 방법
  3. 제1항에 있어서, 상기 배경 프레임으로 구성하는 과정은,
    상기 현재 프레임의 배경 프레임 내의 각 화소들의 화소값을 추출하는 과정;
    추출된 상기 화소값에 기 설정된 학습 계수를 연산한 보상된 화소값을 계산하는 과정; 및
    상기 보상된 화소값을 상기 배경 이동량이 보상된 배경 프레임 내의 각 화소들의 화소값으로 대체하는 과정;
    을 포함하는 객체 검출 방법.
  4. 제1항에 있어서, 상기 현재 프레임 내의 객체 영역으로 검출하는 과정은,
    상기 보상된 배경 프레임과 현재 프레임 간이 차이에 해당하는 마스크 프레임을 생성하는 과정;
    상기 검출된 객체 영역을 상기 마스크 프레임을 이용하여 필터링하는 과정; 및
    필터링된 상기 객체 영역을 상기 현재 프레임 내의 최종 객체 영역으로 검출하는 과정;
    을 포함하는 객체 검출 방법.
  5. 제1항에 있어서, 상기 기 설정된 임계치는,
    상기 이전 프레임과 현재 프레임을 획득하는 카메라의 이동 속도값에 따라 결정되는 것인 객체 검출 방법.
  6. 이동 환경에서 주변 상황을 촬영하여 이전 프레임과 현재 프레임을 순차적으로 출력하는 영상 획득부;
    옵티컬 플로우 방식을 이용하여 모든 화소들에 대해 이전 프레임과 현재 프레임 사이에서의 평균 이동량를 계산하고, 계산된 평균 이동량만큼 상기 이전 프레임의 배경 프레임의 배경 이동량을 보상하여, 배경 이동량이 보상된 상기 배경 프레임을 상기 현재 프레임의 배경 프레임으로 추출하는 배경 추출부; 및
    상기 옵티컬 플로우 방식을 이용하여 상기 현재 프레임과 상기 보상된 배경 프레임 간의 각 화소들의 이동량을 계산하고, 기 설정된 임계치 이상의 이동량에 해당하는 각 화소들의 좌표값을 계산하여, 검출된 좌표값을 상기 현재 프레임 내의 객체 영역으로 검출하는 객체 검출부
    를 포함하는 객체 추출 장치.
  7. 차량에 탑재된 차량용 객체 검출 장치에 있어서,
    상기 차량 주행 중에 상기 차량의 주변 상황을 촬영하여 이전 프레임과 현재 프레임을 순차적으로 출력하는 영상 획득부;
    옵티컬 플로우 방식을 이용하여 모든 화소들에 대해 이전 프레임과 현재 프레임 사이에서의 평균 이동량를 계산하고, 계산된 평균 이동량만큼 상기 이전 프레임의 배경 프레임의 배경 이동량을 보상하여, 배경 이동량이 보상된 상기 배경 프레임을 상기 현재 프레임의 배경 프레임으로 추출하는 배경 추출부; 및
    상기 옵티컬 플로우 방식을 이용하여 상기 현재 프레임과 상기 보상된 배경 프레임 간의 각 화소들의 이동량을 계산하고, 상기 차량 내의 전자 제어 유닛으로부터 제공되는 차량의 주행 속도값에 따라 임계치를 결정하고, 결정된 상기 임계치 이상의 이동량에 해당하는 각 화소들의 좌표값을 계산하여, 검출된 좌표값을 상기 현재 프레임 내의 객체 영역으로 검출하는 객체 검출부
    를 포함하는 객체 추출 장치.
  8. 차량에 탑재된 차량용 객체 검출 장치를 이용한 객체 검출 방법에 있어서,
    상기 차량 주행 중에 상기 차량의 주변 상황을 촬영하여 이전 프레임과 현재 프레임을 순차적으로 출력하는 과정
    옵티컬 플로우 방식을 이용하여 모든 화소들에 대해 이전 프레임과 현재 프레임 사이에서의 평균 이동량를 계산하고, 계산된 평균 이동량만큼 상기 이전 프레임의 배경 프레임의 배경 이동량을 보상하여, 배경 이동량이 보상된 상기 배경 프레임을 상기 현재 프레임의 배경 프레임으로 추출하는 과정; 및
    상기 옵티컬 플로우 방식을 이용하여 상기 현재 프레임과 상기 보상된 배경 프레임 간의 각 화소들의 이동량을 계산하고, 상기 차량 내의 전자 제어 유닛으로부터 제공되는 차량의 주행 속도값에 따라 임계치를 결정하고, 결정된 상기 임계치 이상의 이동량에 해당하는 각 화소들의 좌표값을 계산하여, 검출된 좌표값을 상기 현재 프레임 내의 객체 영역으로 검출하는 과정;
    을 포함하는 차량에 탑재된 차량용 객체 검출 장치를 이용한 객체 검출 방법.
KR1020130166368A 2013-12-30 2013-12-30 객체 검출 장치, 차량용 객체 검출 장치 및 이들의 방법 KR101537559B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130166368A KR101537559B1 (ko) 2013-12-30 2013-12-30 객체 검출 장치, 차량용 객체 검출 장치 및 이들의 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130166368A KR101537559B1 (ko) 2013-12-30 2013-12-30 객체 검출 장치, 차량용 객체 검출 장치 및 이들의 방법

Publications (2)

Publication Number Publication Date
KR20150077654A true KR20150077654A (ko) 2015-07-08
KR101537559B1 KR101537559B1 (ko) 2015-07-20

Family

ID=53790364

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130166368A KR101537559B1 (ko) 2013-12-30 2013-12-30 객체 검출 장치, 차량용 객체 검출 장치 및 이들의 방법

Country Status (1)

Country Link
KR (1) KR101537559B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170032033A (ko) * 2015-09-14 2017-03-22 한화테크윈 주식회사 전경 추출 방법 및 장치
CN107796760A (zh) * 2016-09-05 2018-03-13 豪夫迈·罗氏有限公司 信号漂移确定与校正
WO2018097627A1 (ko) * 2016-11-23 2018-05-31 엘지이노텍(주) 차량 주행 정보를 이용한 이미지 분석 방법, 장치, 시스템, 프로그램 및 저장 매체
KR20200094814A (ko) * 2019-01-16 2020-08-10 연세대학교 산학협력단 학습 영상 유효성 검증 장치 및 방법
KR20210040323A (ko) * 2020-06-28 2021-04-13 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. 동영상의 키 식별자 식별 방법, 장치, 기기, 저장 매체 및 컴퓨터 프로그램

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102015939B1 (ko) * 2018-09-27 2019-08-28 주식회사 크라우드웍스 인공지능 영상 학습을 위한 동영상의 학습 대상 프레임 이미지 샘플링 방법, 장치, 프로그램 및 그 영상 학습 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0944681A (ja) * 1995-08-01 1997-02-14 Matsushita Electric Ind Co Ltd 移動物体領域検出装置
US7266220B2 (en) * 2002-05-09 2007-09-04 Matsushita Electric Industrial Co., Ltd. Monitoring device, monitoring method and program for monitoring

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170032033A (ko) * 2015-09-14 2017-03-22 한화테크윈 주식회사 전경 추출 방법 및 장치
CN107796760A (zh) * 2016-09-05 2018-03-13 豪夫迈·罗氏有限公司 信号漂移确定与校正
CN107796760B (zh) * 2016-09-05 2021-12-10 豪夫迈·罗氏有限公司 信号漂移确定与校正
WO2018097627A1 (ko) * 2016-11-23 2018-05-31 엘지이노텍(주) 차량 주행 정보를 이용한 이미지 분석 방법, 장치, 시스템, 프로그램 및 저장 매체
US10909693B2 (en) 2016-11-23 2021-02-02 Lg Innotek Co., Ltd. Image analysis method, device, system, and program, which use vehicle driving information, and storage medium
KR20200094814A (ko) * 2019-01-16 2020-08-10 연세대학교 산학협력단 학습 영상 유효성 검증 장치 및 방법
KR20210040323A (ko) * 2020-06-28 2021-04-13 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. 동영상의 키 식별자 식별 방법, 장치, 기기, 저장 매체 및 컴퓨터 프로그램
US11748986B2 (en) 2020-06-28 2023-09-05 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and apparatus for recognizing key identifier in video, device and storage medium

Also Published As

Publication number Publication date
KR101537559B1 (ko) 2015-07-20

Similar Documents

Publication Publication Date Title
KR101537559B1 (ko) 객체 검출 장치, 차량용 객체 검출 장치 및 이들의 방법
KR101310213B1 (ko) 깊이 영상의 품질 개선 방법 및 장치
US9916646B2 (en) System and method for processing input images before generating a high dynamic range image
KR102182695B1 (ko) 영상 잡음 제거 장치 및 방법
US9600898B2 (en) Method and apparatus for separating foreground image, and computer-readable recording medium
US9202263B2 (en) System and method for spatio video image enhancement
US20120019728A1 (en) Dynamic Illumination Compensation For Background Subtraction
US10867166B2 (en) Image processing apparatus, image processing system, and image processing method
JP2017191608A (ja) 対象識別方法、対象識別装置、及び分類器訓練方法
US11132538B2 (en) Image processing apparatus, image processing system, and image processing method
KR20130057283A (ko) 팬틸트줌 카메라를 이용한 물체 탐지 장치 및 방법
WO2008020598A1 (fr) Dispositif et procédé de détection d'un nombre d'objets
JPWO2016021147A1 (ja) 画像から移動体の滞留を検出するための画像処理システム、画像処理方法及び記録媒体
KR20110136152A (ko) 필터링에 기반하여 고스트가 없는 ｈｄｒｉ를 생성하는 장치 및 방법
KR20170038144A (ko) 어텐션 검출 장치 및 어텐션 검출 방법
KR20130119706A (ko) 이미지 센서를 이동시켜 영상 블러 현상을 보상하는 방법 및 시스템
US20110085026A1 (en) Detection method and detection system of moving object
US20160035107A1 (en) Moving object detection
JP2014110020A (ja) 画像処理装置、画像処理方法および画像処理プログラム
US20210049773A1 (en) Image-based target tracking
JPWO2018179119A1 (ja) 映像解析装置、映像解析方法およびプログラム
KR20140045834A (ko) 단일객체의 크기를 추정하는 영상 감시장치 및 방법
KR20130068182A (ko) 장면 중요 영역 판단 방법 및 이러한 방법을 사용하는 장치
KR101505360B1 (ko) 시차 탐색 범위 추정 장치 및 방법
US20160093062A1 (en) Method and apparatus for estimating absolute motion values in image sequences

Legal Events

Date Code Title Description
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180627

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190708

Year of fee payment: 5