KR101480626B1

KR101480626B1 - 스테레오 카메라를 이용한 물체 추적 장치 및 방법

Info

Publication number: KR101480626B1
Application number: KR20130077395A
Authority: KR
Inventors: 최진하
Original assignee: 현대자동차주식회사
Priority date: 2013-07-02
Filing date: 2013-07-02
Publication date: 2015-01-08

Abstract

본 발명은 스테레오 카메라를 이용한 물체 추적 장치 및 방법에 관한 것으로, 본 발명에 따른 장치는 차량 전방에 대한 제1 영상을 촬영하는 제1 카메라, 상기 제1 영상의 특정 영역에 대해 줌 인-아웃(zoom in-out)하여 제2 영상을 촬영하는 제2 카메라, 상기 제1 카메라 및 상기 제2 카메라 구동 시 상기 제2 카메라에 대한 설정 계수에 따라 상기 제2 카메라의 줌 인-아웃을 제어하는 구동 제어부, 및 상기 구동 제어부의 제어에 따라 상기 제1 카메라 및 상기 제2 카메라에 의해 획득된 상기 제1 영상 및 상기 제2 영상으로부터 상기 차량 주변의 물체를 추적하는 트래킹부를 포함한다.

Description

스테레오 카메라를 이용한 물체 추적 장치 및 방법{Apparatus and method for tracking object using stereo camera}

본 발명은 스테레오 카메라를 이용한 물체 추적 장치 및 방법에 관한 것으로, 스테레오 카메라에 서로 다른 렌즈 타입의 카메라를 구비하여 각 카메라에 의해 획득된 영상으로부터 물체를 추적하는 기술에 관한 것이다.

일반적으로 전방 카메라 시스템은 원거리로 갈수록 거리 정확도가 떨어져 원거리의 물체를 확인하는 것이 어렵다.

스테레오 카메라의 경우에는 매칭 알고리즘을 사용하여 물체의 분류 및 거리 측정에 있어서 단렌즈 카메라에 비해 거리 정확도가 향상되기는 하나, 스테레오 카메라 역시 근거리 영역의 정확도는 증가하지만, 원거리 영역의 정확도는 크게 향상되지 않는다는 문제가 있다.

줌렌즈 카메라를 이용하는 경우에는 원거리 영역의 거리 정확도가 향상되어 물체 추적이 용이하긴 하나, 이는 컷오프 영역에 위치한 차량을 감시할 수 없기 때문에, 근거리의 좌, 우 영역에 대해서는 감시가 어렵게 된다.

본 발명의 목적은, 스테레오 카메라에 서로 다른 렌즈 타입의 카메라를 구비하여 각 카메라에 의해 획득된 영상으로부터 물체를 추적하도록 하는 스테레오 카메라를 이용한 물체 추적 장치 및 방법을 제공함에 있다.

특히, 본 발명의 목적은, 스테레오 카메라에 단렌즈 카메라와 줌렌즈 카메라를 각각 구비하여 줌인 영상을 통해 거리 정확도의 단점을 보완하고, 줌인 영상에서 컷오프된 물체에 대해서도 추적이 가능하도록 한 스테레오 카메라를 이용한 물체 추적 장치 및 방법을 제공함에 있다.

상기의 목적을 달성하기 위한 본 발명에 따른 스테레오 카메라를 이용한 물체 추적 장치는, 차량 전방에 대한 제1 영상을 촬영하는 제1 카메라, 상기 제1 영상의 특정 영역에 대해 줌 인-아웃(zoom in-out)하여 제2 영상을 촬영하는 제2 카메라, 상기 제1 카메라 및 상기 제2 카메라 구동 시 상기 제2 카메라에 대한 설정 계수에 따라 상기 제2 카메라의 줌 인-아웃을 제어하는 구동 제어부, 및 상기 구동 제어부의 제어에 따라 상기 제1 카메라 및 상기 제2 카메라에 의해 획득된 상기 제1 영상 및 상기 제2 영상으로부터 상기 차량 주변의 물체를 추적하는 트래킹부를 포함하는 것을 특징으로 한다.

한편, 상기의 목적을 달성하기 위한 본 발명에 따른 스테레오 카메라를 이용한 물체 추적 방법은, 차량 전방에 대한 제1 영상을 촬영하는 제1 카메라 및 상기 제1 영상의 특정 영역에 대해 줌 인-아웃(zoom in-out)하여 제2 영상을 촬영하는 제2 카메라를 구동하는 단계, 상기 제2 카메라에 대한 설정 계수에 따라 상기 제2 카메라의 줌 인-아웃을 제어하는 단계, 상기 설정 계수에 따라 상기 제1 영상을 보간(interpolation)하여 상기 보간된 제1 영상과 상기 제2 영상을 매칭시키는 단계, 및 상기 제1 영상 및 상기 제2 영상으로부터 상기 차량 주변의 물체를 추적하는 단계를 포함하는 것을 특징으로 한다.

본 발명에 따르면, 스테레오 카메라에 단렌즈 카메라와 줌렌즈 카메라를 각각 구비하여 각 카메라에 의해 획득된 영상으로부터 물체를 추적함으로써 줌렌즈 카메라에 의해 획득한 영상을 통해 물체 추적의 정확도를 향상시키고, 단렌즈 카메라에 의해 획득한 영상으로부터 줌인 영상에 대한 거리 정확도의 단점을 보완할 수 있는 이점이 있다.

도 1은 본 발명에 따른 스테레오 카메라를 이용한 물체 추적 장치의 구성을 도시한 블록도이다.
도 2는 도 1의 스테레오 카메라를 도시한 예시도이다.
도 3 및 도 5는 본 발명에 따른 스테레오 카메라를 이용한 물체 추적 장치의 동작을 설명하는데 참조되는 예시도이다.
도 6은 본 발명에 따른 스테레오 카메라를 이용한 물체 추적 방법에 대한 동작 흐름을 도시한 순서도이다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 설명하도록 한다.

도 1은 본 발명에 따른 스테레오 카메라를 이용한 물체 추적 장치의 구성을 도시한 블록도이다. 도 1에 도시된 바와 같이, 본 발명에 따른 스테레오 카메라를 이용한 물체 추적 장치(이하, '물체 추적 장치'라 칭한다.)는 신호 처리부(10), 스테레오 카메라(20), 저장부(30), 계수 설정부(40), 구동 제어부(50), 영상 처리부(60) 및 트래킹부(70)를 포함한다. 여기서, 신호 처리부(10)는 물체 추적 장치의 각 부 간의 신호를 처리한다.

스테레오 카메라(20)는 제1 카메라(21) 및 제2 카메라(25)를 포함하며, 여기서 제1 카메라(21) 및 제2 카메라(25)는 서로 다른 타입의 카메라인 것으로 한다, 구체적으로, 제1 카메라(21)는 단렌즈 카메라로서, 차량 전방에 대한 제1 영상을 촬영한다. 또한, 제2 카메라(25)는 줌렌즈 카메라로서, 제2 카메라(25)에 적용되는 줌렌즈의 배율은 실시 형태에 따라 달라질 수 있다. 이때, 제2 카메라(25)는 제1 영상의 특정 영역에 대해 줌 인-아웃하여 제2 영상을 촬영한다. 여기서, 특정 영역은 사전에 설정된 것으로 한다.

저장부(30)는 스테레오 카메라(20)의 구동을 위한 설정값이 저장될 수 있으며, 물체 추적 장치의 동작을 위한 설정값이 저장될 수 있다. 또한, 저장부(30)는 제1 카메라(21) 및 제2 카메라(25)에 의해 획득된 제1 영상 및 제2 영상이 저장될 수 있으며, 영상 처리부(60)에 의해 보간된 제1 영상과 제2 영상의 정합(matching) 결과가 저장될 수도 있다.

계수 설정부(40)는 제2 카메라(25)의 줌 인-아웃 실행을 위한 계수를 설정한다. 여기서, 설정 계수는 제1 영상에서 줌 인-아웃을 실행하기 위한 특정 영역의 위치 및 크기가 포함될 수 있으며, 제1 영상에 대한 제2 영상의 줌 인 배수가 포함될 수도 있다.

구동 제어부(50)는 제1 카메라(21) 및 제2 카메라(25)의 구동을 제어한다. 특히, 계수 설정부(40)는 제1 카메라(21) 및 제2 카메라(25) 구동 시 계수 설정부(40)에 의해 설정된 설정 계수에 따라 제2 카메라(25)의 줌 인-아웃을 제어한다. 일 예로서, 구동 제어부(50)는 특정 영역의 위치 및 크기를 기준으로 해당 영역에 대해 제2 카메라(25)가 줌 인하도록 제어할 수 있다. 여기서, 특정 영역은 제1 카메라(21)의 촬영 영역 내인 것으로 한다. 또한, 구동 제어부(50)는 설정 계수에 따라 제 카메라가 특정 영역을 줌 인하는 경우에 n배 줌 인 하도록 제어할 수 있다.

영상 처리부(60)는 제1 영상과 제2 영상을 정합한다. 이때, 영상 처리부(60)는 제2 카메라(25)에 대한 설정 계수에 근거하여 제1 영상을 보간(interpolation)하고, 보간된 제1 영상과 제2 영상을 정합하도록 한다. 이때, 보간된 제1 영상과 제2 영상을 정합하는 방식은 일반적으로 이용되고 있는 영상 정합 방식이라면 어느 것이든 적용가능하다. 따라서, 본 발명에서는 영상 정합 방식에 대한 구체적인 설명은 생략하도록 한다.

트래킹부(70)는 구동 제어부(50)의 제어에 따라 제1 카메라(21)에 의해 획득된 제1 영상 및 제2 카메라(25)에 의해 획득된 제2 영상으로부터 차량 주변의 물체를 추적한다. 트래킹부(70)는 보간된 제1 영상으로부터 물체를 추적할 수도 있다. 이때, 트래킹부(70)는 기 설정된 특정 영역 내에 위치한 물체에 대해서는 제2 영상을 토대로 트래킹을 수행하고, 특정 영역 외의 영역에 위치한 물체에 대해서는 제1 영상 또는 보간된 제1 영상을 토대로 트래킹을 수행하도록 한다.

여기서, 트래킹부(70)에서의 물체 추적 방식은 어느 하나에 한정되는 것은 아니며, 일반적으로 이용되고 있는 추적 방식이라면 어느 것이든 적용 가능하다. 트래킹부(70)에 의한 물체 추적 결과는 차량에 구비된 출력수단(미도시)을 통해 출력될 수 있다.

도 2는 도 1의 스테레오 카메라를 도시한 예시도이다. 도 2에 도시된 바와 같이, 본 발명에 따른 스테레오 카메라(20)는 단렌즈 카메라인 제1 카메라(21)와 줌렌즈 카메라인 제2 카메라(25)를 구비하는 것으로 한다. 물론, 실시 형태에 따라 세 개 이상의 서로 다른 타입 또는 서로 다른 배율의 카메라가 구비될 수도 있다.

여기서, 제2 카메라(25)는 제1 카메라(21)의 촬영 영역 중 기 설정된 특정 영역을 줌 인하여 제2 영상을 획득할 수 있다. 이때, 특정 영역의 크기, 위치 및 줌 인 배율에 대한 설정 계수는 사전에 설정된 것으로 한다. 따라서, 제2 카메라(25)는 사전에 설정된 줌 인 배율을 고정 배율로 적용하여 특정 영역을 줌 인함으로써 제2 영상을 촬영한다.

이 경우, 제2 카메라(25)는 제1 카메라(21)의 촬영 영역 중 기 설정된 특정 영역만을 줌 인 하기 때문에, 제2 영상으로부터는 특정 영역을 제외한 영역의 영상을 포함하지는 않는다. 따라서, 특정 영역에 대해서는 제2 영상을 통해 물체를 추적하고, 특정 영역 외의 영역에 대해서는 제1 카메라(21)에 의해 촬영된 제1 영상을 통해 물체를 추적한다.

도 3 및 도 5는 본 발명에 따른 스테레오 카메라를 이용한 물체 추적 장치의 동작을 설명하는데 참조되는 예시도이다.

도 3은 제1 영상 및 제2 영상을 매칭하는 동작을 나타낸 것이다. 도 3을 참조하면, (a)는 제1 영상을 나타낸 것이고, (b)는 제2 카메라의 줌 인 배율에 따라 보간한 제1 영상을 나타낸 것이다. 또한, (c)는 제2 영상을 나타낸 것이다. 여기서, (c)에 도시된 제2 영상은 (a)에 도시된 제1 영상에서의 특정 영역(A)을 기 설정된 배율에 따라 줌 인 한 영상으로서, 제1 영상과 제2 영상의 매칭 시 영상 간 이질감을 최소화하기 위해서는 제2 영상의 줌 인 배율 만큼 제1 영상을 보간해야한다. 따라서, (b)와 같이 보간된 제1 영상과 제2 영상을 매칭하게 된다.

도 4는 제1 영상과 제2 영상의 실제 이미지를 나타낸 것으로서, 제1 카메라는 차량 전방에 대한 제1 영상을 촬영하고, 제1 영상에서 기 설정된 특정 영역(A)을 기 설정된 배율에 따라 줌 인 한 제2 영상이 제2 카메라에 의해 촬영된다. 따라서, 사용자는 제1 영상에서 특정 영역에 위치한 물체를 확대한 제2 영상을 통해 해당 특정 영역의 물체를 좀 더 명확하게 확인하는 것이 가능하다.

물론, 도 5에 도시된 바와 같이, 제2 영상은 특정 영역(A)을 일정 배율로 확대한 영상이기 때문에 물체 추적이 용이하긴 하나, 제2 영상으로부터는 특정 영역(A) 외의 영역(B)에 대해서는 물체 추적이 용이하지 못하다. 따라서, 본 발명에 따른 물체 추적 장치는 특정 영역(A)에 대해서는 제2 영상을 통해 물체를 추적하고, 그 외의 영역(B)에 대해서는 제1 영상을 통해 물체를 추적함으로써 전방의 물체 추적이 용이하도록 한다. 이때, 물체 추적 장치는 'B' 영역 중에서도 물체 출현 빈도가 높은 'C1' 및 'C2' 영역 위주로 트래킹을 수행할 수 있다.

상기와 같이 구성되는 본 발명에 따른 스테레오 카메라를 이용한 물체 추적 장치의 동작 흐름을 보다 상세히 설명하면 다음과 같다.

도 6은 본 발명에 따른 스테레오 카메라를 이용한 물체 추적 방법에 대한 동작 흐름을 도시한 순서도이다. 도 6에 도시된 바와 같이, 물체 추적 장치는 제1 카메라 및 제2 카메라를 통해 차량 전방 영상을 촬영하기 이전에 스테레오 카메라, 특히, 줌렌즈 카메라인 제2 카메라에 대한 줌 인-아웃 계수를 설정한다(S100). 여기서, 줌 인-아웃 계수는 줌 인-아웃을 수행하기 위한 특정 영역의 위치, 크기 및 줌 인 배율 등을 포함할 수 있다.

이후, 물체 추적 장치는 제1 카메라 및 제2 카메라를 구동하고(S110), 'S100' 과정에서의 설정 계수에 따라 제2 카메라가 줌 인 하도록 한다(S120).

물체 추적 장치는 제1 카메라 및 제2 카메라에 의해 영상이 촬영되면, 촬영된 영상을 매칭하고(S130), 제 카메라에 의해 촬영된 영상을 통해 줌 인 영역을 모니터링하고(S140), 제 카메라를 통해 줌인 영역 외의 영역을 모니터링 하여(S150), 자차 주변에 위치한 주변 차량을 트래킹한다(S160).

이상과 같이 본 발명에 의한 스테레오 카메라를 이용한 물체 추적 장치 및 방법은 예시된 도면을 참조로 설명하였으나, 본 명세서에 개시된 실시예와 도면에 의해 본 발명은 한정되지 않고, 기술사상이 보호되는 범위 이내에서 응용될 수 있다.

10: 신호 처리부 20: 스테레오 카메라
21: 제1 카메라 25: 제2 카메라
30: 저장부 40: 계수 설정부
50: 구동 제어부 60: 영상 처리부
70: 트래킹부

Claims

차량 전방에 대한 제1 영상을 촬영하는 제1 카메라;
상기 제1 영상의 특정 영역에 대해 줌 인-아웃(zoom in-out)하여 제2 영상을 촬영하는 제2 카메라;
상기 제1 카메라 및 상기 제2 카메라 구동 시 상기 제2 카메라에 대한 설정 계수에 따라 상기 제2 카메라의 줌 인-아웃을 제어하는 구동 제어부;
상기 구동 제어부의 제어에 따라 상기 제1 카메라 및 상기 제2 카메라에 의해 획득된 상기 제1 영상 및 상기 제2 영상을 정합하는 영상 처리부; 및
상기 영상 처리부에 의해 정합된 상기 제1 영상 및 상기 제2 영상으로부터 상기 차량 주변의 물체를 추적하는 트래킹부
를 포함하는 스테레오 카메라를 이용한 물체 추적 장치.
청구항 1에 있어서,
상기 제2 카메라의 줌 인-아웃 실행을 위한 계수를 설정하는 계수 설정부를 더 포함하는 것을 특징으로 하는 스테레오 카메라를 이용한 물체 추적 장치.
청구항 2에 있어서,
상기 설정 계수는,
상기 특정 영역의 위치, 크기 및 상기 제1 영상에 대한 상기 제2 영상의 줌 인 배수 중 적어도 하나를 포함하는 것을 특징으로 하는 스테레오 카메라를 이용한 물체 추적 장치.
삭제
청구항 1에 있어서,
상기 영상 처리부는,
상기 제2 카메라에 대한 설정 계수에 따라 상기 제1 영상을 보간(interpolation)하는 것을 특징으로 하는 스테레오 카메라를 이용한 물체 추적 장치.
청구항 1에 있어서,
상기 트래킹부는,
상기 제1 영상으로부터 상기 특정 영역을 제외한 영역에 위치한 물체를 추적하는 것을 특징으로 하는 스테레오 카메라를 이용한 물체 추적 장치.
청구항 1에 있어서,
상기 트래킹부는,
상기 제2 영상으로부터 상기 특정 영역에 위치한 물체를 추적하는 것을 특징으로 하는 스테레오 카메라를 이용한 물체 추적 장치.
청구항 1에 있어서,
상기 제1 카메라는 단렌즈 카메라이고,
상기 제2 카메라는 줌렌즈 카메라인 것을 특징으로 하는 스테레오 카메라를 이용한 물체 추적 장치.
차량 전방에 대한 제1 영상을 촬영하는 제1 카메라 및 상기 제1 영상의 특정 영역에 대해 줌 인-아웃(zoom in-out)하여 제2 영상을 촬영하는 제2 카메라를 구동하는 단계;
상기 제2 카메라에 대한 설정 계수에 따라 상기 제2 카메라의 줌 인-아웃을 제어하는 단계;
상기 설정 계수에 따라 상기 제1 영상을 보간(interpolation)하여 상기 보간된 제1 영상과 상기 제2 영상을 매칭시키는 단계; 및
상기 제1 영상 및 상기 제2 영상으로부터 상기 차량 주변의 물체를 추적하는 단계를 포함하는 것을 특징으로 하는 스테레오 카메라를 이용한 물체 추적 방법.
청구항 9에 있어서,
상기 차량 주변의 물체를 추적하는 단계는,
상기 제1 영상으로부터 상기 특정 영역을 제외한 영역에 위치한 물체를 추적하고, 상기 제2 영상으로부터 상기 특정 영역에 위치한 물체를 추적하는 것을 특징으로 하는 스테레오 카메라를 이용한 물체 추적 방법.