KR101199940B1 - 이동체 탑재형 영상 추적 장치 - Google Patents

이동체 탑재형 영상 추적 장치 Download PDF

Info

Publication number
KR101199940B1
KR101199940B1 KR1020100128245A KR20100128245A KR101199940B1 KR 101199940 B1 KR101199940 B1 KR 101199940B1 KR 1020100128245 A KR1020100128245 A KR 1020100128245A KR 20100128245 A KR20100128245 A KR 20100128245A KR 101199940 B1 KR101199940 B1 KR 101199940B1
Authority
KR
South Korea
Prior art keywords
tracking
image
unit
displacement
position value
Prior art date
Application number
KR1020100128245A
Other languages
English (en)
Other versions
KR20120066901A (ko
Inventor
최종찬
민경원
손행선
이선영
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020100128245A priority Critical patent/KR101199940B1/ko
Publication of KR20120066901A publication Critical patent/KR20120066901A/ko
Application granted granted Critical
Publication of KR101199940B1 publication Critical patent/KR101199940B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Abstract

본 발명은 자동차와 같이 주행하는 이동체에 탑재된 영상취득 장치(카메라)에서 입력된 영상 내에서 검지된 각종 오브젝트(차량, 보행자 등)에 대해 안정적인 추적을 수행하기 위한 효과적인 영상 추적 장치를 구현하기 위한 방법에 관한 것으로 보다 자세하게는 이동체의 이동시 노면 등과 같은 각종 내외적인 불연속 요소에 의해 발생되는 각종 변위 성분에 대해 영상내의 오브젝트에 대해 안정적으로 이동경로를 추적하여 최종적으로 이동체의 추돌방지 및 회피를 수행하기 위한 장치 및 방법에 관한 것이다.
이를 위해 본 발명의 영상 추적 장치는 외부의 영상을 획득하는 영상 획득부, 획득한 상기 영상에서 오브젝트를 검지하여 오브젝트의 위치 정보인 오브젝트 측정 위치값을 출력하는 오브젝트 검지부, 상기 오브젝트 검지부로부터 제공받은 영상에서 오브젝트가 포함되어 있지 않으면, 상기 오브젝트 검지부로부터 기 제공받은 오브젝트가 포함된 영상을 기반으로 추정한 오브젝트의 위치 정보인 오브젝트 추적 위치값을 출력하는 오브젝트 추적부, 입력된 상기 오브젝트 검지부의 오브젝트 측정 위치값과 상기 오브젝트 추적부의 오브젝트 추적 위치값 중 어느 하나를 선택하여 출력하는 출력 선택부를 포함한다.

Description

이동체 탑재형 영상 추적 장치{Apparatus for image tracking}
본 발명은 자동차와 같이 주행하는 이동체에 탑재된 영상취득 장치(카메라)에서 입력된 영상 내에서 검지된 각종 오브젝트(차량, 보행자 등)에 대해 안정적인 추적을 수행하기 위한 효과적인 영상 추적 장치를 구현하기 위한 방법에 관한 것으로 보다 자세하게는 이동체의 이동시 노면 등과 같은 각종 내외적인 불연속 요소에 의해 발생되는 각종 변위 성분에 대해 영상내의 오브젝트에 대해 안정적으로 이동경로를 추적하여 최종적으로 이동체의 추돌방지 및 회피를 수행하기 위한 장치 및 방법에 관한 것이다.
이동체에 탑재된 영상기반의 추돌방지, 회피 시스템은 일반적으로 영상획득부, 영상 감지부 및 감지 결과에 따라 획득된 영상에서 감지된 오브젝트의 추돌 가능성 여부를 경보하는 경보 장치로 구성된다.
주행하는 이동체는 불연속적인 노면상태, 기계적인 진동, 구동장치의 가, 감속 등과 같은 외부의 다양한 요소에 의해 진동(흔들림)이 발생된다. 이로 인해 차량 내부에 장착된 카메라로부터 획득되는 영상 또한 이러한 진동에 의해 유사한 흔들림(변위)이 발생되며 이러한 요소들에 의해 검지된 오브젝트에 대한 안정적인 추적을 방해하게 된다.
흔들림이 발생되는 영상을 보정하기 위한 기술로는 영상 안정화(image stabilization) 기술이 있다.
영상 안정화 기술은 이와 같이 촬영 시 카메라가 흔들릴 때 깨끗하고 선명한 영상을 얻을 수 있는 기술로서, 촬영된 영상에서 발생하는 원치 않은 흔들림을 제거하기 위해 적용된다.
기존의 영상 안정화를 위해서는 자이로 센서(gyro sensor) 또는 유동 프리즘을 이용한 기계적 방식이 널리 사용되어 왔는데, 기계적 방식은 자이로 센서가 카메라 움직임의 각속도를 감지하여 카메라 렌즈를 각속도가 생성되는 반대 방향으로 움직임으로써 영상의 흔들림을 보상하거나, 유동 프리즘에 의해 입사되는 빛의 각도를 조절하여 카메라의 떨림을 보상함으로써 영상의 흔들림을 제거하는 방식이다.
이러한 보상 기법은 일반적으로 영상 획득부 내의 구동 메커니즘과 연동되어 움직이게 되므로 디지털 카메라, 캠코더 등과 같이 영상 획득부 내에 이러한 보상기능이 구현되어 있는 일부의 시스템을 제외하고 일반적인 영상 획득부(카메라)에서는 이러한 기능을 구현할 수 없다는 문제점이 있다.
또한 이러한 기계적 방식에 대응하여 최근에는 입력된 영상신호에서 프레임 간의 움직임 추정을 통하여 흔들림을 검출하고, 이에 대응하여 움직임이 보상된 영상 데이터를 적용하는 디지털 영상 안정화 기술 또한 사용되고 있다. 이러한 디지털 영상 안정화 기술은 추가적인 센서를 사용하지 않음으로써 기계적 방식에 비해 저렴하고 정확도가 높다는 장점이 있으나 계산 속도가 느리고 알고리즘이 복잡하여 실시간 처리가 어렵다는 단점이 있다.
본 발명이 해결하려는 과제는 자동차 및 로봇 등과 같이 주행하는 이동체에 탑재된 영상취득장치(카메라)에서 입력된 영상 내에서 검지된 각종 오브젝트(차량, 보행자 등)에 대해 안정적인 추적을 수행하는 영상추적 장치를 제안함에 있다.
본 발명이 해결하려는 다른 과제는 이동체의 이동 과정에서 발생되는 다양한 변위 성분을 전체 영상 모두에 적용하는 것이 아니라 영상 내에서 검출하고자 하는 해당 오브젝트에 대해서만 진행함으로써 최종적인 영상 추돌방지 시스템의 구현에 요구되는 연산량을 감소시켜 실시간성을 강화하는 영상추적 장치를 제안함에 있다.
본 발명이 해결하려는 또 다른 과제는 상대적으로 저렴한 가격으로 구현이 가능한 영상추적 장치를 제안함에 있다.
이를 위해 본 발명의 영상 추적 장치는 외부의 영상을 획득하는 영상 획득부, 획득한 상기 영상에서 오브젝트를 검지하여 오브젝트의 위치 정보인 오브젝트 측정 위치값을 출력하는 오브젝트 검지부, 상기 오브젝트 검지부로부터 제공받은 영상에서 오브젝트가 포함되어 있지 않으면, 상기 오브젝트 검지부로부터 기 제공받은 오브젝트가 포함된 영상을 기반으로 추정한 오브젝트의 위치 정보인 오브젝트 추적 위치값을 출력하는 오브젝트 추적부, 입력된 상기 오브젝트 검지부의 오브젝트 측정 위치값과 상기 오브젝트 추적부의 오브젝트 추적 위치값 중 어느 하나를 선택하여 출력하는 출력 선택부를 포함한다.
이를 위해 본 발명의 영상 추적 장치는 외부의 영상을 획득하는 영상 획득부, 획득한 상기 영상에서 오브젝트를 검지하여 오브젝트의 위치 정보인 오브젝트 측정 위치값을 출력하는 오브젝트 검지부, 상기 오브젝트 검지부로부터 제공받은 영상에서 오브젝트가 포함되어 있지 않으면, 상기 오브젝트 검지부로부터 기 제공받은 오브젝트가 포함된 영상을 기반으로 추정한 오브젝트의 위치 정보인 오브젝트 추적 위치값을 출력하는 오브젝트 추적부, 입력된 상기 오브젝트 검지부의 오브젝트 측정 위치값과 상기 오브젝트 추적부의 오브젝트 추적 위치값 중 어느 하나를 선택하여 출력하는 출력 선택부, 상기 출력 선택부에서 출력된 오브젝트의 위치값에 따라 경보를 발생하는 경보 발생장치를 포함하며, 상기 특정 영상의 특징정보를 저장한다.
본 발명에 따른 영상 추적 장치는 입력되는 모든 영상에 대해 영상 안정화를 먼저 수행한 후 이를 영상 검지기의 입력으로 사용하여 검지하고자 하는 오브젝트를 검지한 후 해당 오브젝트에 대해 영상 추적을 수행하는 기존 시스템과 비교하여 최종적인 추적 결과를 발생시키기 위해 요구되는 연산량을 감소시킬 수 있다.
또한, 본 발명에 따른 영상 추적 장치는 자이로 센서(gyro sensor) 또는 유동 프리즘의 구동을 통해 입력되는 영상을 보정하는 기계적인 보정장치가 영상획득장치 내에 탑재되어야 하는 영상 안정화 방식에 비해 이러한 장치가 내장되지 않은 일반적인 영상 획득장치를 이용하여도 해당 오브젝트에 대해 안정적인 영상의 추적이 가능하다.
도 1은 본 발명의 일실시 예에 따른 영상 추적 장치의 구성을 도시한 블록도이며,
도 2는 본 발명의 일실시 예에 따른 영상 추적 장치를 구성하고 있는 오브젝트 추적부의 동작을 도시한 흐름도이며,
도 3은 본 발명의 일실시 예에 따른 영상 추적 장치를 구성하고 있는 변위주기 필터의 동작을 도시한 흐름도이며,
도 4는 본 발명의 일실시 예에 따른 영상 추적 장치의 구성을 도시한 다른 블록도이다.
전술한, 그리고 추가적인 본 발명의 양상들은 첨부된 도면을 참조하여 설명되는 바람직한 실시 예들을 통하여 더욱 명백해질 것이다. 이하에서는 본 발명의 이러한 실시 예를 통해 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 설명하기로 한다.
도 1은 본 발명의 일실시 예에 따른 영상 추적 장치의 구성을 도시한 블록도이다. 이하 도 1을 이용하여 본 발명의 일실시 예에 따른 영상 추적 장치에 대해 상세하게 알아보기로 한다.
도 1에 의하면, 영상 추적 장치는 영상 취득부(100), 오브젝트 검지부(102), 오브젝트 추적부(104), 경보 발생장치(106)를 포함한다. 물론 상술한 구성 이외에 다른 구성이 추가될 수 있음은 자명하다.
영상 취득부(100)는 차량의 내부 또는 외부에 장착되어 차량 주변의 영상을 일정한 해상도로 획득한다. 일반적으로 영상 취득부(100)는 도 1에 도시되어 있는 바와 같이 카메라를 이용한다.
오브젝트 검지부(102)는 영상 취득부(100)로부터 획득된 영상 정보를 이용하여 검지하고자 하는 오브젝트를 검지한다. 오브젝트 검지부(102)는 기 학습된 특정 영상의 특징정보와 입력 영상과 비교하여 그 비교 결과가 미리 설정된 임계값을 넘지 않는 경우 오브젝트를 검지하고자 하는 오브젝트로 선정한다. 특정 영상은 차량이나 보행자의 에지 영상 등을 포함한다.
오브젝트 검지부(102)는 SVM, 신경망, Template Matching, Fuzzy Logic등과 같은 다양한 연산 방법을 이용하여 구현된다. 영상 검지부의 오브젝트 검지 과정에서 조도 변화 등과 같은 영상 취득부(100)의 입력조건 변화, 해당 오브젝트의 가림, 해당 오브젝트의 회전 등의 다양한 요소에 의해 검지하고자 하는 오브젝트에 대한 검지가 실패하는 검지 오류 상황이 발생될 수 있다. 이에 따라 본 발명은 검지 오류 상황에서도 안정적으로 검지된 오브젝트의 존재 유무를 예측하고, 예상되는 위치값을 지정하는 방안을 제안한다. 즉, 영상 취득부(100)에서 오브젝트의 위치값에 따라 해당 오브젝트가 차량에 근접한 상태인지, 멀리 떨어져 있는 상태인지 여부를 판단한다. 해당 오브젝트가 차량에 근접한 상태이면 충돌 위험이 있음을 의미한다. 이하에서는 설명의 편의를 위해 오브젝트 검지부(102)에서 검지한 오브젝트의 위치값을 측정 위치값이라 하며, 오브젝트 추적부(104)에서 추적한 오브젝트의 위치값을 추적 위치값이라 한다.
오브젝트 추적부(104)는 추적 필터를 이용하여 구현되며, 일정 기간동안 발생되는 검지 오류 상황에서 안정적으로 검지된 오브젝트의 존재 유무를 예측하고, 예상되는 추적 위치값을 산출한다.
추적필터는 알파-베타(Alpha-Beta) 추적필터, 칼만(Kalman) 추적필터 등이 있으며 기본적인 원리는 하기 수학식 1과 같이 같다.
Figure 112010082642614-pat00001
Figure 112010082642614-pat00002
Figure 112010082642614-pat00003
Figure 112010082642614-pat00004
Figure 112010082642614-pat00005
(
Figure 112010082642614-pat00006
Figure 112010082642614-pat00007
)
수학식 1에 의하면, Alpha-Beta 추적 필터는 이전 타임 슬롯까지 측정된 값을 기준으로 하여 현재 타임 슬롯의 값을 예측한다. 즉 Alpha-Beta 추적 필터의 경우 수학식 1에서와 같이 예측된 값은 실제 측정된 값과 비교하여 그 오차값(γ)을 계산하고 이를 기 정의된 상수를 갖는 게인 Alpha와 Beta를 곱하여 업데이트 하며 이 값은 다시 수학식 1에서 다음 타임 슬롯의 추정을 위한 입력값 (xk -1)로 이용된다.
Alpha-Beta 추적필터가 기 정의된 상수값을 이용하는데 반하여 Kalman 추적 필터 유사한 과정을 적용하나, 귀납적인 상태 보정 과정에서 고정된 상수를 이용하는 대신 연역적으로 예측된 공분산 값을 적용하여 가변적인 게인을 적용한다.
따라서 오브젝트 검지부(102)를 통해 검지된 각각의 오브젝트는 오브젝트 추적부(104)를 구성하고 있는 추적(Tracking) 필터에 할당되며, 각각의 추적 필터는 해당 오브젝트가 검지되면 최초의 위치를 기준으로 하여 초기화를 수행하고 시간상으로 다음번의 타임 슬롯에 검지되는 위치의 변위값를 이용하여 그 다음번의 검지 위치를 예측한다. 이러한 과정은 앞서 설명한 바와 같이 검지하고자하는 오브젝트에 대해 검지 오류 상황이 발생하였을 경우 유효하게 위치를 추정하기 위한 수단으로 사용된다.
경보 발생장치(106)는 오브젝트 검지부(102)에서 측정한 오브젝트 측정 위치값 또는 오브젝트 추적부(104)에서 추적한 오브젝트 추적 위치값과 경보 발생 기준을 비교한다. 경보 발생장치(106)는 오브젝트 검지부(102)에서 측정한 오브젝트 측정 위치값 또는 오브젝트 추적부(104)에서 추적한 오브젝트 추적 위치값이 경보 발생 기준에 부합하면 경보를 발생한다.
이와 더불어 불연속적인 노면 상황(비포장도로, 과속방지턱)과 같은 물리적인 변화 요소에 의해 x,y,z축으로의 변위(진동)가 발생되었을 경우 이동체 내에 장착된 카메라는 이동체의 물리적인 위치가 변경됨으로써 주요 카메라 지오메트리 또한 변경되게 된다. 따라서 비록 오브젝트 검지부(102)에서 감지하고자 하는 오브젝트가 안정적으로 검지되었다 하더라도 영상 내에서 검지되는 오브젝트의 위치는 카메라 지오메트리에 따라 영상 내에서 상대적인 위치를 차지하게 되므로 검지되는 오브젝트의 위치 또한 이러한 물리적인 변화에 따라 급격하게 변화되게 되게 된다.
이러한 급격한 위치 변화는 영상기반의 추돌방지, 회피 시스템에서 감지된 오브젝트의 추돌 가능성 여부를 경보하는 경보 발생장치(106)의 성능을 크게 저하시킬 수 있다.
따라서 본 발명에서는 검지 오류 상황이 발생하는 경우 외에 불연속적인 노면 상황(비포장도로, 과속방지턱)과 같은 물리적인 변화 요소에 의해 일정이상의 변위(실험적인 경험치에 의해 결정)가 발생되었을 경우 오브젝트 검지부(102)에서 출력되는 오브젝트의 측정 위치값을 오브젝트 추적부(104)의 오브젝트 추적 위치값으로 대체한다.
도 2는 본 발명의 일실시 예에 따른 오브젝트 추적부(104)에서 수행되는 동작을 도시한 흐름도이다. 이하 도 2를 이용하여 본 발명의 일실시 예에 따른 오브젝트 추적부(104)에서 수행되는 동작에 대해 상세하게 알아보기로 한다.
S200단계에서 오브젝트 검지부(102)는 영상 취득부(100)에서 취득한 영상에서 오브젝트를 검지하고, 검지한 오브젝트를 오브젝트 추적부(104)로 제공한다.
S202단계에서 오브젝트 추적부(104)는 추적 필터를 구동한다.
S204단계에서 오브젝트 추적부(104)는 추적 필터의 초기값을 설정한다. 추적 필터의 초기값은 영상 추적 장치 구동 이전에 미리 설정할 수 있다. 추적 필터의 초기값은 오브젝트 감지부에서 출력된 위치(x,y) 및 3축 자이로 센서의 출력(x,y,z 각 방향으로의 기울기), 3축 가속센서의 변위(x,y,z방향으로의 변위: 가속도 센서의 출력을 적분하면 속도, 속도를 다시 적분하여 변위 측정)를 포함한다. 이 중에서 변위를 측정할 때 차량의 가감속에 의한 변위 발생분은 빼 주어야 하므로 x,y 방향에 대해서는 스티어링 앵글센서(차량 바퀴의 회전 각도를 측정)와 휠스피드센서(차량의 가속도 측정)의 값을 측정하여 해당값을 가속도센서의 1차 적분값에서 미리 뺀 후 변위를 측정하거나, 가속도센서의 2차 적분값(변위)에서 스티어링 앵글센서와 휠스피드 센서의 계산으로 도출되는 변위값을 빼서 변위의 차분을 계산하는 방식을 적용한다.
S206단계에서 오브젝트 추적부(104)는 수학식 1을 이용하여 오브젝트 추적 위치값을 일정시간 간격(타임 슬롯간격)으로 업데이트한다.
S208단계에서 오브젝트 추적부(104)는 검지 오류 상황이 발생하였는지 여부를 판단한다. 오브젝트 추적부(104)는 검지 오류 상황이 발생하지 않았으면 S210단계로 이동하고, 검지 오류 상황이 발생하면 S216단계로 이동한다.
S210단계에서 오브젝트 추적부(104)는 S210단계에서 변위가 발생하였는지 여부를 판단한다. 오브젝트 추적부(104)는 변위가 발생하였으면 S212단계로 이동하고, 변위가 발생하지 않았으면 218단계로 이동한다.
S212단계에서 오브젝트 추적부(104)는 발생된 변위가 임계치 이상인지 판단한다. 오브젝트 추적부(104)는 발생된 변위가 임계치 이상이면 S214단계로 이동하고, 임계치 이하이면 S218단계로 이동한다.
S214단계에서 오브젝트 추적부(104)는 변위주기 필터를 구동한다. 변위주기 필터에 대해서는 도 3에서 알아보기로 한다.
S216단계에서 오브젝트 추적부(104)는 수학식 1에 의해 산출한 오브젝트 추적 위치값을 출력하며, S218단계에서 오브젝트 추적부(104)는 오브젝트 검지부(102)로부터 제공받은 영상에서 추출한 오브젝트 측정 위치값을 출력한다.
이와 같이 본 발명의 오브젝트 추적부(104)는 검지 오류 상황이 발생하는 경우 외에 불연속적인 노면 상황(비포장도로, 과속방지턱)과 같은 물리적인 변화 요소에 의해 일정이상의 변위(실험적인 경험치에 의해 결정)가 발생되었을 경우에도 오브젝트 검지부(102)에서 출력되는 오브젝트의 측정 위치값을 오브젝트 추적부(104)의 오브젝트 추적 위치값으로 대체한다.
불연속적인 노면의 상태는 비포장도로와 같은 경우 일정 시간동안 반복적으로 진행 될 수 있으나 공로상의 과속방지턱과 같은 경우는 1회에 한정되는 경우가 대부분이므로 이러한 진동의 경우에 언제까지 추적필터의 값을 이용하여 실제 검지된 오브젝트의 위치를 대체할 것인지를 결정하는 것이 중요하다.
본 발명에서는 이를 위해 일반적으로 공공도로상에서 발견되는 과속방지턱을 기준으로 하여 초기값을 재설정하는 변위주기 필터를 이용하여 이러한 문제점을 해결한다.
변위 주기 추적필터는 그 초기값을 과속방지턱을 이동체가 일정 속도로 지나는 경우 예상되는 변위 주기를 초기값으로 한다. 이러한 변위의 발생 과정이 지속적으로 진행되는 경우 변위주기 필터의 업데이트를 수행하여 앞서의 추적필터 다음번 변위가 완료되는 시점까지 오브젝트 검지부(102)에서 검지되는 오브젝트의 측정 위치값을 대체한다.
이때 만일 변위발생 주기가 당초 설정된 초기값의 이내에서 발생되면 변위주기 필터의 값은 앞서의 추적 필터의 업데이트 과정에 따라 연속적으로 업데이트 되나 변위발생이 당초 설정된 초기값 주기를 넘는 경우에도 발생되지 않으면 변위주기 필터의 값은 초기값으로 대체된다.
도 3은 본 발명의 일실시 예에 따른 변위주기 필터를 포함하고 있는 영상추적 장치에서 수행되는 동작을 도시한 흐름도이다. 이하 도 3을 이용하여 본 발명의 일실시 예에 따른 변위주기 필터를 포함하고 있는 영상추적 장치에서 수행되는 동작에 대해 알아보기로 한다.
S300단계에서 영상추적 장치는 초기값을 설정한다. 초기값은 1차 변위가 발생한 후 2차 변위가 발생할 때까지의 시간을 의미하며, 본 발명과 관련하여 연속하여 설치되어 있는 과속 방지턱을 이동하는 소요되는 시간을 의미한다.
S302단계에서 영상추적 장치는 변위주기 필터를 구동하여 추적을 시작한다.
S304단계에서 영상추적 장치는 1차 변위가 발생하였는지 여부를 판단한다. 1차 변위가 발생하였으면 306단계로 이동하며, 1차 변위가 발생하지 않았으면 302단계로 이동한다.
S306단계에서 영상추적 장치는 발생된 1차 변위가 임계치 이상인지 여부를 판단한다. 임계치 이상이면 S308단계로 이동하고, 임계치 이하이면 S302단계로 이동한다. 동시에 오브젝트 추적부(104)는 1차 변위가 임계치 이상이면 추정한 오브젝트 추적 위치값을 출력하고, 오브젝트 감지부는 1차 변위가 임계치 이하이면 감지한 오브젝트 측정 위치값을 출력한다. 이를 위해 본 발명은 오브젝트 추적부(104)의 추적 위치값과 오브젝트 감지부의 측정 위치값의 출력을 선택하기 위한 출력 선택부를 부가할 수 있다.
S308단계에서 영상추적 장치는 설정된 시간 이내에 2차 변위가 발생하였는지 판단한다. 설정된 시간 이내에 2차 변위가 발생하였으면 S310단계로 이동하고, 설정된 시간 이내에 2차 변위가 발생하지 않았으면 S302단계로 이동한다. 동시에 오브젝트 추적부(104)는 설정된 시간이 이내이면 추정한 오브젝트 추적 위치값을 출력하고, 오브젝트 감지부는 설정된 시간이 경과하면 감지한 오브젝트 측정 위치값을 출력한다.
S310단계에서 영상추적 장치는 발생된 2차 변위가 임계값 이상인 지 판단한다. 임계값 이상이면 S312단계로 이동하여 변위주기를 업데이트하고 임계값 이하면 S308단계로 이동한다.
도 4는 본 발명의 일실시 예에 따른 영상추적 장치를 도시한 다른 블록도이다. 이하 도 4를 이용하여 본 발명의 일실시 예에 따른 영상추적 장치에 대해 상세하게 알아보기로 한다.
도 4에 의하면 영상추적 장치는 영상 취득부(100), 오브젝트 검지부(102), 오브젝트 추적부(104), 센서부(400), 비교부, 변위주기 필터, 출력 선택부, 경보 발생장치(106)를 포함한다. 물론 상술한 구성 이외에 다른 구성이 더 포함될 수 있음은 자명하다.
영상 취득부(100)는 차량의 내부 또는 외부에 장착되어 차량 주변의 영상을 일정한 해상도로 획득한다. 영상 취득부(100)에서 취득된 영상은 오브젝트 감지부로 제공된다. 오브젝트 검지부(102)는 영상 취득부(100)로부터 제공받은 영상 정보를 이용하여 검지하고자 하는 오브젝트를 검지한다. 오브젝트 검지부(102)는 기 학습된 특정 영상의 특징정보와 입력 영상과 비교하여 그 비교 결과가 미리 설정된 임계값을 넘지 않는 경우 오브젝트를 검지하고자 하는 오브젝트로 선정한다. 오브젝트 검지부(102)에서 검지한 오브젝트 관련 정보는 오브젝트 추적부(104) 및 출력 선택부로 제공된다.
오브젝트 추적부(104)는 상술한 바와 같이 Alpha-Beta 추적필터, Kalman 필터 등의 위치추적 알고리즘이 내장되어 추적 연산을 수행한다. 오브젝트 추적부(104)에서 수행되는 상세한 동작은 상술한 바와 같다. 오브젝트 추적부(104)에서 추적한 오브젝트 추적 위치값은 출력 선택부로 제공된다.
센서부(400)는 위치 추정을 위한 자이로, 가속센서를 포함하며 이와 더불어 지자기센서, 틸트센서, 자속센서 등과 같은 다양한 형태의 보조 측정 수단을 포함한다. 비교부(402)는 설정된 방식에 의해 선정된 임계치와 센서부(400)로부터 수신한 측정 변위를 비교한다. 비교부(402)는 센서부(400)로부터 수신한 측정 변위가 임계치보다 큰 경우에는 변위주기 필터(404)를 구동하기 위한 신호를 출력한다.
변위주기 필터(404)는 도 3에서 설명한 바와 같이 일정이상의 변위가 발생하였을 경우 변위발생 주기를 업데이트한다. 또한 변위주기 필터(404)는 출력 선택부(406)에서 출력할 오브젝트 위치값에 대한 정보를 제공한다. 즉, 변위주기 필터(404)는 오브젝트 검지부(102)에서 측정한 오브젝트 측정 위치값과 오브젝트 추적부(104)에서 추적한 오브젝트 추적 위치값 중 어느 하나의 값을 출력하도록 지시하는 제어 정보를 출력 선택부(406)로 제공한다.
출력 선택부(406)는 변위주기 필터(404)의 제어 정보에 따라 오브젝트 검지부(102)에서 측정한 오브젝트 측정 위치값과 오브젝트 추적부(104)에서 추적한 오브젝트 추적 위치값 중 어느 하나를 출력한다.
경보 발생장치(106)는 오브젝트 검지부(102)에서 측정한 오브젝트 측정 위치값 또는 오브젝트 추적부(104)에서 추적한 오브젝트 추적 위치값과 경보 발생 기준을 비교한다. 경보 발생장치(106)는 오브젝트 검지부(102)에서 측정한 오브젝트 측정 위치값 또는 오브젝트 추적부(104)에서 추적한 오브젝트 추적 위치값이 경보 발생 기준에 부합하면 경보를 발생한다.
이하 출력 선택부(406)에서 출력되는 정보에 대해 알아보면 다음과 같다. 센서부(400)를 통해 변위 성분이 발생되었을 경우 이는 비교부(402)를 통해 기 설정된 임계치와 비교한다. 만일 입력된 변위 성분이 임계치에 비해 큰 경우 변위주기 필터(404)를 구동하여 설정된 주기동안 출력 선택부(406)를 제어하여 오브젝트 추적부(104)와 오브젝트 검지부(102)에서 출력되는 위치값 중 오브젝트 추적부(104)의 추적 위치값을 출력하게 된다.
또한 변위주기 필터(404)는 비교부의 값의 임계치 이상으로 출력될 때 센서부(400)를 통해 입력되는 변위의 주기를 업데이트한다. 만일 센서부(400)를 통해 입력되는 변위의 주기가 변위주기 필터(404) 내에 기 설정된 변위 주기보다 크게 되면 출력 선택부(406)의 출력 경로를 기존 오브젝트 추적부(104)에서 오브젝트 검지부(102)의 측정 위치값을 내보내는 경로로 선택하도록 조정한다.
본 발명은 도면에 도시된 일실시 예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.
100: 영상 취득부 102: 오브젝트 검지부
104: 오브젝트 추적부 106: 경보 발생장치
400: 센서부 402: 비교부
404: 변위주기 필터 406: 출력 선택부

Claims (7)

  1. 외부의 영상을 획득하는 영상 획득부;
    획득한 상기 영상에서 오브젝트를 검지하여 오브젝트의 위치 정보인 오브젝트 측정 위치값을 출력하는 오브젝트 검지부;
    상기 오브젝트 검지부로부터 제공받은 영상에서 오브젝트가 포함되어 있지 않으면, 상기 오브젝트 검지부로부터 기 제공받은 오브젝트가 포함된 영상을 기반으로 추정한 오브젝트의 위치 정보인 오브젝트 추적 위치값을 출력하는 오브젝트 추적부;
    입력된 상기 오브젝트 검지부의 오브젝트 측정 위치값과 상기 오브젝트 추적부의 오브젝트 추적 위치값 중 어느 하나를 선택하여 출력하는 출력 선택부를 포함하며,
    상기 오브젝트의 변위를 측정할 경우 차량을 포함한 이동체의 가감속에 의한 변위 발생분을 차감하며, 상기 이동체가 차량인 경우 스티어링 앵글 센서로부터 차량 바퀴의 회전 각도 정보를 수신하며, 휠스피드 센서로부터 차량의 가속도 정보를 수신함을 특징으로 하는 영상 추적 장치.
  2. 제 1항에 있어서, 상기 출력 선택부는,
    상기 오브젝트 검지부에서 검지한 오브젝트의 위치에 대한 변위값과 기 설정된 임계치에 따라 상기 오브젝트 검지부의 오브젝트 측정 위치값과 상기 오브젝트 추적부의 오브젝트 추적 위치값 중 어느 하나를 출력함을 특징으로 하는 영상 추적 장치.
  3. 제 2항에 있어서, 상기 출력 선택부는,
    상기 오브젝트 검지부에서 검지한 오브젝트의 위치에 대한 변위값이 기 설정된 임계치 이상이면 상기 오브젝트 추적부의 오브젝트 추적 위치값을 출력하고, 상기 오브젝트 검지부에서 검지한 오브젝트의 위치에 대한 변위값이 기 설정된 임계치 이하이면 상기 오브젝트 검지부의 오브젝트 측정 위치값을 출력함을 특징으로 하는 영상 추적 장치.
  4. 제 3항에 있어서, 상기 출력 선택부는,
    상기 오브젝트 검지부에서 검지한 오브젝트의 위치에 대한 변위값이 기 설정된 임계치 이상이고, 설정된 시간이 경과되면 상기 오브젝트 검지부의 오브젝트 측정 위치값을 출력함을 특징으로 하는 영상 추적 장치.
  5. 제 1항에 있어서, 상기 오브젝트 추적부는,
    추적 필터를 포함하며, 상기 추적 필터는 오브젝트 감지부에서 출력된 위치(x,y), 3축 자이로 센서의 출력(x,y,z 각 방향으로의 기울기) 및 3축 가속센서의 변위(x,y,z방향으로의 변위)와 관련된 초기값을 설정함을 특징으로 하는 영상 추적 장치.
  6. 제 5항에 있어서,
    상기 출력 선택부에서 출력된 오브젝트의 위치값에 따라 경보를 발생하는 경보 발생장치를 포함함을 특징으로 하는 영상 추적 장치.
  7. 외부의 영상을 획득하는 영상 획득부;
    획득한 상기 영상에서 오브젝트를 검지하여 오브젝트의 위치 정보인 오브젝트 측정 위치값을 출력하는 오브젝트 검지부;
    상기 오브젝트 검지부로부터 제공받은 영상에서 오브젝트가 포함되어 있지 않으면, 상기 오브젝트 검지부로부터 기 제공받은 오브젝트가 포함된 영상을 기반으로 추정한 오브젝트의 위치 정보인 오브젝트 추적 위치값을 출력하는 오브젝트 추적부;
    입력된 상기 오브젝트 검지부의 오브젝트 측정 위치값과 상기 오브젝트 추적부의 오브젝트 추적 위치값 중 어느 하나를 선택하여 출력하는 출력 선택부;
    상기 출력 선택부에서 출력된 오브젝트의 위치값에 따라 경보를 발생하는 경보 발생장치를 포함하며, 기 학습된 특정 영상의 특징정보를 저장하며,
    상기 오브젝트의 변위를 측정할 경우 차량을 포함한 이동체의 가감속에 의한 변위 발생분을 차감하며, 상기 이동체가 차량인 경우 스티어링 앵글 센서로부터 차량 바퀴의 회전 각도 정보를 수신하며, 휠스피드 센서로부터 차량의 가속도 정보를 수신함을 특징으로 하는 영상 추적 장치.
KR1020100128245A 2010-12-15 2010-12-15 이동체 탑재형 영상 추적 장치 KR101199940B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100128245A KR101199940B1 (ko) 2010-12-15 2010-12-15 이동체 탑재형 영상 추적 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100128245A KR101199940B1 (ko) 2010-12-15 2010-12-15 이동체 탑재형 영상 추적 장치

Publications (2)

Publication Number Publication Date
KR20120066901A KR20120066901A (ko) 2012-06-25
KR101199940B1 true KR101199940B1 (ko) 2012-11-09

Family

ID=46686107

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100128245A KR101199940B1 (ko) 2010-12-15 2010-12-15 이동체 탑재형 영상 추적 장치

Country Status (1)

Country Link
KR (1) KR101199940B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101896715B1 (ko) 2012-10-31 2018-09-07 현대자동차주식회사 주변차량 위치 추적 장치 및 방법
KR102094360B1 (ko) * 2018-06-11 2020-03-30 동국대학교 산학협력단 영상 기반 힘 예측 시스템 및 그 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100443678B1 (ko) * 2001-09-29 2004-08-09 엘지전자 주식회사 영상내의 오브젝트 영역 추출방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100443678B1 (ko) * 2001-09-29 2004-08-09 엘지전자 주식회사 영상내의 오브젝트 영역 추출방법

Also Published As

Publication number Publication date
KR20120066901A (ko) 2012-06-25

Similar Documents

Publication Publication Date Title
JP4052650B2 (ja) 障害物検出装置、方法及びプログラム
US8594378B2 (en) 3D object detecting apparatus and 3D object detecting method
CN109564098B (zh) 自身位置推定方法及自身位置推定装置
WO2013132947A1 (ja) 距離算出装置及び距離算出方法
WO2015119301A1 (en) Image processing device, device control system, and computer-readable storage medium
US9098750B2 (en) Gradient estimation apparatus, gradient estimation method, and gradient estimation program
JP2019003613A (ja) 車両の車両カメラを較正するための方法および装置
EP3503532A1 (en) Electronic device, imageing system, and program
KR101199940B1 (ko) 이동체 탑재형 영상 추적 장치
JP3633469B2 (ja) 車間距離設定装置
JP6398218B2 (ja) 自己位置算出装置及び自己位置算出方法
JP2019007739A (ja) 自己位置推定方法及び自己位置推定装置
KR102493994B1 (ko) 영상 흔들림 보정 기능을 구비한 자동차용 영상 저장 장치
CN109309785B (zh) 拍摄控制装置以及拍摄控制方法
KR102438705B1 (ko) 영상 흔들림 보정 기능을 구비한 이륜차용 영상 저장 장치
JP4026641B2 (ja) 物体検出装置、および物体検出方法
JP2017102832A (ja) 車両ピッチ角推定装置
JP6747176B2 (ja) 画像処理装置、撮影装置、プログラム、機器制御システム及び機器
JP2009087336A (ja) 障害物検出方法
JP7169075B2 (ja) 撮像制御装置および撮像制御方法
JP2011055342A (ja) 車両用撮像装置
JP2007272461A (ja) 運動推定装置、方法及びプログラム
JP4196211B2 (ja) 画像処理装置及び画像処理方法
US20230417575A1 (en) Orientation calculation apparatus, orientation calculation method, imaging apparatus including orientation calculation apparatus, and method for controlling same
JP7412254B2 (ja) 物体認識装置および物体認識方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150626

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20161107

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20191001

Year of fee payment: 8