KR100434877B1 - 변이 움직임 벡터를 이용한 스테레오 물체 추적 방법 및장치 - Google Patents

변이 움직임 벡터를 이용한 스테레오 물체 추적 방법 및장치 Download PDF

Info

Publication number
KR100434877B1
KR100434877B1 KR10-2002-0015915A KR20020015915A KR100434877B1 KR 100434877 B1 KR100434877 B1 KR 100434877B1 KR 20020015915 A KR20020015915 A KR 20020015915A KR 100434877 B1 KR100434877 B1 KR 100434877B1
Authority
KR
South Korea
Prior art keywords
stereo
image
motion vector
stereo object
tracking
Prior art date
Application number
KR10-2002-0015915A
Other languages
English (en)
Other versions
KR20030076906A (ko
Inventor
김은수
임송택
Original Assignee
(주)맥스소프트
김은수
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)맥스소프트, 김은수 filed Critical (주)맥스소프트
Priority to KR10-2002-0015915A priority Critical patent/KR100434877B1/ko
Publication of KR20030076906A publication Critical patent/KR20030076906A/ko
Application granted granted Critical
Publication of KR100434877B1 publication Critical patent/KR100434877B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/285—Analysis of motion using a sequence of stereo image pairs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Abstract

변이 움직임 벡터를 이용한 스테레오 물체 추적 방법 및 장치에 관한 것이다. 본 발명에 따른 방법 및 장치는 블록 정합을 이용하여 상기 스테레오 물체의 영상 변이를 추정하고, 상기 영상 변이로부터 변이 움직임 벡터를 추출하고, 상기 변이 움직임 벡터를 이용하여 이동한 상기 스테레오 물체의 이동 정보를 계산하며, 상기 이동 정보를 팬/틸트부에 전송한다. 그 결과 본 발명은 스테레오 입력 영상에서 추출된 변이 정보만을 이용하여 이동 물체의 실시간 스테레오 물체 추적뿐만 아니라 3차원적 입체 영상 디스플레이에도 사용될 수 있다.

Description

변이 움직임 벡터를 이용한 스테레오 물체 추적 방법 및 장치{METHOD AND APPARATUS FOR TRACKING STEREO OBJECT USING DIPARITY MOTION VECTOR}
본 발명은 변이 움직임 벡터를 이용한 스테레오 물체 추적 방법 및 장치에 관한 것이다.
최근, 보다 자연스럽고 현실감 있는 비전 시스템의 요구가 증가함에 따라 3차원 물체 추적 및 인식 기술에 대한 많은 연구들이 수행되고 있다. 이러한 스테레오 물체 추적 시스템에서는 인간의 시각 시스템(HVS : human visual system)과 같은 양안 시차(binocular disparity)에 의해 입력된 스테레오 영상으로부터 효과적으로 3차원 입체 정보를 추출해 냄으로써 표적물체의 위치를 찾아내는 것이 기본적인 과제라 할 수 있다.
그러나, 이러한 양안 시차에 의한 스테레오 물체 추적 시스템에서 양안의 초점이 맞지 않는 경우 관찰자는 입체감을 느끼기가 어려울 뿐만 아니라 초점이 일치하지 않기 때문에 눈의 피로를 느끼게 되는 문제점이 있다.
따라서, 일반적인 2차원 물체 추적 시스템과 달리 스테레오 입체 물체 추적 시스템에서는 인간 시각 시스템의 눈동자 움직임과 유사하게 물체를 추적하기 위하여 카메라와 물체의 거리에 따라 스테레오 카메라의 주시각(convergence angle)을 제어하는 동시에 움직이는 물체를 연속적으로 추적할 수 있는 팬/틸트(pan/tilt) 기능을 가지고 있을 것이 요구된다.
즉, 스테레오 물체 추적 시스템은 추적 물체의 움직임에 의해 발생되는 상대적 이동 거리 값에 따라 스테레오 카메라의 팬/틸트를 제어해 줌으로써 추적 물체를 항상 좌, 우 카메라 시야(FOV: field of view)의 중앙에 위치하도록 하여야 한다.
또한, 스테레오 물체 추적 시스템은 주시각을 제어함으로써 추적 물체가 겹쳐 보이지 않도록 하여야 하기 때문에 스테레오 카메라의 주시각 제어 및 팬/틸트 제어가 스테레오 물체 추적 시스템의 가장 중요한 요소라 할 수 있다.
따라서, 본 발명은 종래 기술의 제반 문제점을 해결하기 위하여 안출한 것으로서, 본 발명의 일 목적은 스테레오 물체 추적을 위한 시차 정보를 이용한 스테레오 물체 추적 방법 및 장치를 제공함에 있다.
또한 본 발명의 다른 목적은 순차적인 변이 벡터로부터 변이 움직임 벡터(DMV: disparity motion vector)를 추출한 다음 이를 효과적으로 이용하여 각 프레임에서 표적 물체가 존재하는 영역과 그것의 위치 좌표를 검출할 수 있는 스테레오 물체 추적 방법 및 장치를 제공함에 있다.
또한, 본 발명의 또 다른 목적은 프레임간 표적 물체의 이동 거리 좌표를 이용하여 최종적으로 팬/틸트부를 제어해 줌으로써 표적 물체를 추적할 수 있는 스테레오 물체 추적 방법 및 장치를 제공함에 있다.
도 1은 본 발명의 바람직한 일 실시예에 따른 도 1에 도시된 바와 같이, 본 발명에 따른 변이 정보를 이용한 스테레오 물체 추적 장치의 블록 구성도.
도 2는 본 발명의 바람직한 일 실시예에 따른 입력부의 예시도.
도 3은 본 발명의 바람직한 일 실시예에 따른 변이 움직임 벡터에 기초한 스테레오 물체 추적 방법에 대한 순서도.
도 4는 본 발명의 바람직한 일 실시예에 따른 폭주식 카메라의 구조를 나타낸 도면.
도 5는 본 발명의 바람직한 일 실시예에 따른 에피폴라 선상의 대응되는 블록을 알아보기 위한 복도 영상의 일부분을 나타낸 도면.
도 6은 본 발명의 바람직한 일 실시예에 따른 후보 영역으로부터 이동 물체의 검출 과정을 나타낸 예시도.
도 7은 본 발명의 바람직한 일 실시예에 따른 사용한 실험 스테레오 영상과 이를 통해 추정된 변이 지도를 나타낸 도면.
도 8은 본 발명의 바람직한 일 실시예에 따른 팬/틸트부의 제어에 의해 이동물체가 추적된 후의 스테레오 입력 영상을 나타낸 도면.
도 9는 본 발명의 바람직한 일 실시예에 따른 표 3의 결과를 3차원 공간상에 나타낸 도면.
<도면의 주요부분에 대한 부호의 설명>
3 : 스테레오 영상 입력부
5 : 팬/틸트부
9 : 프레임 그레버
11 : 제어부
상술한 목적들을 달성하기 위하여 본 발명의 바람직한 실시예에 따르면, 스테레오 물체를 추적하는 방법 및 장치에 있어서, 블록 정합을 이용하여 상기 스테레오 물체의 영상 변이를 추정하고, 상기 영상 변이로부터 변이 움직임 벡터를 추출하고, 상기 변이 움직임 벡터를 이용하여 이동한 상기 스테레오 물체의 이동 정보를 계산하며, 상기 이동 정보를 팬/틸트부에 전송하되, 상기 팬/틸트부에서 상기 스테레오 물체의 실시간 추적 및 주시각 제어가 이루어지는 것을 특징으로 하는 변이 움직임 벡터를 이용한 스테레오 물체를 추적하는 방법 및 상기 방법에 상응하는 장치가 제공된다.
여기서, 블록 정합을 이용하여 스테레오 물체의 영상 변이를 추정하는 것은상기 스테레오 물체의 영상 중 일방의 영상을 블록 단위로 나누고, 상기 스테레오 물체의 영상 중 타방의 영상에서 비용 함수를 최소로 하는 위치를 추출하고, 상기 일방의 영상과 타방의 영상의 이동량을 상기 블록의 영상 변이값으로 결정하는 것일 수 있다.
또한, 상기 변이 움직임 벡터는 변이 벡터간의 움직임 차이값이다.
또한, 상기 변이 움직임 벡터를 이용하여 이동한 상기 스테레오 물체의 이동 정보를 계산하는 것은, 후보 영역을 설정하고, 상기 후보 영역에서 실 영역을 판단하며, 상기 실 영역의 좌표값을 계산하여 상기 스테레오 물체의 이동 정보를 계산하되, 상기 스테레오 물체의 이동 정보는 상기 스테레오 물체의 이동 거리 및 이동 방향인 것일 수 있다.
또한, 상기 실 영역을 판단하는 것은 T-1 프레임에서의 후보 영역 1, 후보 영역 1'와 T 프레임에서의 후보 영역 2, 후보 영역 2' 간의 비용 함수를 계산하고, 상기 비용 함수값이 최소가 되는 두 영역을 각 프레임에서의 실 영역으로 판단하되
상기 비용 함수를 계산하는 수학식은
인 것일 수 있다.
이하, 본 발명에 따른 변이 정보를 이용한 스테레오 물체추적 방법 및 장치의 바람직한 실시예를 첨부 도면을 참조하여 보다 상세히 설명한다.
도 1은 본 발명의 바람직한 일 실시예에 따른 도 1에 도시된 바와 같이, 본 발명에 따른 변이 정보를 이용한 스테레오 물체 추적 장치의 블록 구성도이다.
도 1을 참조하면, 본 장치는 입력부(1)와 처리부(7)로 구성되고, 입력부는 스테레오 영상 입력부(3)와 팬/틸트부(5)로 구성된다.
스테레오 영상 입력부(3)는 물체의 영상을 입력하는 역할을 하며 일반적으로 CCD카메라가 사용된다. 팬/틸트부(5)는 정위치에서 스테레오 영상 입력부(3)를 상, 하, 좌, 우로 움직이는 역할을 한다.
처리부(7)는 프레임 그레버(frame grabber)(9)와 제어부(11)로 구성된다. 프레임 그레버(9)는 알아이에스씨이(RISC) 아키텍처들을 갖는 고속 디지털 신호 처리(DSP)와 병렬처리를 위한 다중 프로세서 시스템, 큰 램(RAM) 저장장치 용량들, 정교한 소프트웨어 라이브러리들, 상호 작용하는 사용자 인터페이스들 및 호환가능한 프로그래밍 툴들을 포함한다. 그 결과 프레임 그레버(9)는 다양한 영상 소스들로부터의 정보를 처리하고 영상 정보를 빠르고 효율적으로 저장하며 사용자에게 그래픽 사용자 인터페이스(GUI)를 제공하는 역할을 한다. 제어부(11)는 프레임 그레버를 제어하고 처리된 화상을 이용하는 역할을 한다.
도 2는 본 발명의 바람직한 일 실시예에 따른 입력부의 예시도이다. 도 2를 참조하면, 참조번호 13은 스테레오 영상 입력부를 나타내고, 참조번호 15는 팬/틸트부를 나타낸다.
도 3은 본 발명의 바람직한 일 실시예에 따른 변위 움직임 벡터(Disparity Moving Vector, 이하 DMV라 함)에 기초한 스테레오 물체 추적 방법에 대한 순서도이다.
도 3을 참조하면, 스테레오 물체추적 방법은 변이 추정 단계(31), 이동 물체의 검출 및 좌표 추출 단계(39), 스테레오 물체 추적 단계(45)로 구성되어 있다.
변이 추정 단계(31)에서, 제어부는 좌영상(31)과 우영상(35)의 변이 추정(disparity estimation)(37)을 하게 된다. 본 발명의 바람직한 일 실시예에 의하면, 비용 함수는 MAD(minimum mean square error)가 사용될 수 있다. MAD에 관하 수학식 1은 다음과 같다.
여기서, Nx, Ny는 블록의 크기를 나타내며, IL(m,j), IR(m+i, m+j)는 좌측영상(33)의 좌표와 그것에 대응되는 우측영상(35)의 좌표를 각각 나타낸다.
변이 추정에 대해 이하 더욱 구체적으로 살펴본다. 도 4는 본 발명의 바람직한 일 실시예에 따른 폭주식 카메라의 구조를 나타낸 도면이다. 여기서 폭주식 카메라란 카메라의 두 초점이 외계에 있는 한 점을 주시할 때, 두 초점의 주시선이 그 한 점에 집합하는 카메라를 말한다.
도 4를 참조하면, 공간상의 임의의 점 P(x,y,z)(10)는 좌, 우 카메라 렌즈의중심인 OL(103), OR(105)을 통해 좌, 우 영상 평면인 PL(113), PR(115)로 투영된다. 이때, 점 P(x,y,z)(101)와 두 카메라 렌즈의 중심인 OL(103), OR(105)이 이루는 평면을 에피폴라 평면(epipolar plane)한다. 그리고 에피??라 평면과 각 투영 영상이 이루는 교선을 에피폴라 선(epipolar line)(111)이라고 한다. 그리고 CL(107), CR(109)은 각각 좌, 우 평면의 중심을 나타낸다.
여기서, 주어진 좌, 우 두 영상평면의 두 점인 PL(113)과 PR(115)이 3차원 공간상의 한 점 P(x,y,z)(101)로 부터 투영된 것임을 밝히는 과정을 대응점 문제(correspondence problem) 또는 변이 추정(disparity estimation)이라고 하고 이때, PL(113)과 PR(115)의 상대적인 위치 차이를 변이(disparity)라고 한다.
제어부는 위와 같은 폭주식 카메라 구조에서 변이를 찾기 위해 교정(rectification)과정을 수행한다. 그 결과 제어부는 수평 변이를 갖는 스테레오 영상으로 분석할 수 있다. 즉, 에피폴라 선이 두 영상에 대해 평행하게 되므로, 제어부는 점 PL(113)에 해당하는 대응점 PR(115)을 에피폴라 선(111)상에서 1차원적으로 탐색하여 찾을 수 있다. 따라서, 이러한 교정 과정과 에피폴라 제약조건(epipolar constraint)을 통해, 제어부는 좌영상의 에피폴라 선(111) 위에 있는 어느 점이든 우 영상의 에피폴라 선(111) 위의 한 점에 대응시킬 수 있게 된다.
도 5는 본 발명의 바람직한 일 실시예에 따른 에피폴라 선상의 대응되는 블록을 알아보기 위한 복도(corridor) 영상의 일부분을 나타낸 도면이다.
도 5를 참조하면, 좌측 영상을 고정된 크기의 블록으로 나눈 후 이에 대응하는 우측 영상의 에피폴라 선(211)상에 존재하는 일정한 탐색 범위(±Sx)(205, 207) 내의 블록에서 일치점(corresponding point)을 찾는 과정을 보여주고 있다. 제어부는 좌측 영상을 Nx(201), Ny(203) 크기의 블록으로 나눈다. 그리고 제어부는, 탐색 범위(±Sx)(205, 207)내에서 후보 블록들의 비용 함수를 계산하게 되고 이 비용 함수 값들 중에서 가장 적은 값을 가지는 블록을 정합된 블록으로 결정하게 된다. 여기서 di(209)는 기준 영상(좌 영상)에서 비용 함수를 적용하여 최소가 되는 우 영상의 블록(정합된 블록)까지의 벡터을 말한다. 즉 di(209)는 기준영상(좌 영상)의 기준 블록(블록 정합을 시작한 블록)의 대표 변이 값이다.
다시 도 3을 참조하면, 이동 물체의 검출 및 좌표 추출 단계(39)에서 제어부는 후보 영역을 검출(41)하고 표적 물체(43)를 추출하게 된다. 즉, 제어부는 변이 추정 단계(31)로부터 구한 변이 벡터 시퀸스(disparity vector sequence)로부터 변이 벡터 간의 움직임 차이값인 DMV를 추출할 수 있다. 그리고, 제어부는 이러한 DMV 값을 효과적으로 이용함으로써 이동 물체의 영역과 그 좌표 값을 얻을 수 있다. 즉, T-1 프레임의 변이 벡터와 T 프레임의 변이 벡터 사이의 관계는 마치 기존의 2차원 비디오 영상 시퀀스에서 연속된 두 프레임 사이의 관계와 같기 때문에 DMV 값은 물체에 대한 3차원 입체 정보뿐만 아니라 추적 물체의 위치 정보도 포함하고 있다.
구체적으로 도 6을 참조하여 살펴보도록 한다. 도 6은 본 발명의 바람직한 일 실시예에 따른 후보 영역(candidate area)으로부터 이동 물체의 검출 과정을 나타낸 예시도이다. 즉, 도 6은 변이 지도에 나타난 후보 영역들에서 실제 물체가 있는 영역을 판단하여 물체를 검출하는 과정을 나타낸 도면이다.
여기서 후보 영역이란, 물체의 움직임 때문에 생기는 영역을 말한다. T-1 프레임의 변이벡터를 Dp(303)라고 하고 T 프레임의 변이벡터를 Dc(305)라고 할 때, Dp(303)와 Dc(305)을 비교해 보면 물체의 움직임 때문에 변이 벡터간의 변화가 큰 벡터들의 영역이 Dp(303)에서 2개, Dc(305)에서 2개가 각각 나타난다.
또한, 각각 2개의 영역들은 연속된 변이 벡터간의 비교를 통하여 찾아낸 영역이기 때문에 T-1 프레임에서의 후보 영역 1(Cand 1)(315)과 후보 영역 1'(Cand 1')(317)은 T 프레임에서의 후보 영역 2(Cand 2)(319)와 후보 영역 2'(Cand 2')(321)과 서로 유사한 위치에서 발견되게 된다. 따라서 제어부는 이렇게 얻어진 4개의 영역 중 물체가 있는 실 영역(real area)을 각각 찾아내어 물체의 거리 좌표를 얻게 되고 물체의 이동 방향을 얻을 수 있다.
또한, 제어부는 4개의 후보 영역 중 물체가 존재하는 2개의 영역은 서로 비슷한 값을 가지게 되기 때문에 유사도 측정으로 물체가 존재하는 실 영역(real area)과 물체가 존재하진 않지만 실제 물체가 있는 영역에 의해 상대적으로 값이 변하여 검출되는 허 영역(false area)을 구분 할 수 있다.
상기에서 언급한 바와 같이 본 발명의 바람직한 일 실시예에 의하면, 제어부는 이러한 두 영역의 유사도 값을 비교하는 비용 함수로서 초기 변이 정보를 찾아낼 때 사용했던 MAD 방법과 유사한 방법을 사용할 수 있다.
일반적으로, 제어부는 실제 물체가 존재하는 2개의 영역간에는 높은 상관치가 나타난다는 사실을 이용하여 실 영역을 검출할 수 있다. 즉, 제어부는 수학식 2와 같이 후보 영역들간에 비용 함수(301)를 적용하여 그 값이 최소가 되는 두 영역을 각 프레임에서의 실 영역으로 판단한다(323). 비용 함수(301)에 관한 수학식 2 내지 수학식 5는 다음과 같다.
그리고 제어부는 각 실 영역의 좌표를 구해 이들 좌표값의 차이인 표적 물체의 상대적 이동 거리를 얻어낸다. 그 결과 제어부는 두 영역의 좌표값 차이를 통해 표적 물체의 이동 방향을 찾을 수 있다(325). 결국, 제어부는 수학식 2 내지 수학식 5와 같은 4가지 조합의 경우에 대해 그 값이 최소가 되는 경우를 선택하고 그 비용함수를 구성하고 있는 두 후보 영역을 각 프레임에서의 실 영역으로 결정하게 된다.
일단, 실제의 물체 영역이 각 프레임에서 검출되면, 제어부는 그 위치 좌표 및 스테레오 물체의 이동 정보 등을 계산한다. 여기서 스테레오 물체의 이동 정보란 두 실 영역간의 이동 거리 좌표값과 표적 물체의 이동 방향을 의미한다. 그리고 제어부는 계산 결과를 팬/틸트부로 전달한다.
다시 도 3을 참조하면, 스테레오 물체 추적 단계(45)에서 제어부는 팬/틸트 제어 및 물체 추적을 수행하고(47), 스테레오 영상을 갱신한다(49). 이하에서 더욱 구체적으로 살펴보도록 한다.
제어부는 이동 물체의 검출 및 좌표 추출 단계(39)에서 구한 표한 물체의 이동거리 좌표값과 이동 방향를 바탕으로 이동 물체의 실시간 추적 및 주시각 제어를 수행한다.
예를 들어, 만약 계산결과 수학식 3이 최소값을 가질 경우 후보 영역 1(Cand 1)과 후보 영역 2'(Cand 2')가 각 프레임에서 실 영역을 결정한다. 따라서, 제어부는 팬/틸트의 제어값을 얻어내기 위해 후보 영역 1(Cand 1)과 후보 영역 2(Cand 2′)의 시작 좌표 및 마지막 좌표값을 각각 구하게 된다. 그 후 제어부는 두 프레임 좌표간의 차이값인 이동 거리값을 그것들의 중앙 좌표에서 구한다. 그리고 제어부는 상기 이동 거리값을 포함하는 제어 신호를 팬/틸트부로 전송한다. 그 결과 이러한 제어 신호에 의해 팬/틸트부는 물체를 추적하게 된다. 즉, 제어부는 이동 물체를 다시 입력 영상의 중앙에 위치시키고 스테레오 시차를 제거시키게 된다.
따라서, 스테레오 카메라의 영상은 다시 초기화되고 다음 프레임의 입력 신호를 받아들여 위의 변이 추정 단계(31), 이동 물체의 검출 및 좌표 추출 단계(39) 및 스테레오 물체 추적 단계(45)를 다시 반복 수행하게 된다. 또한, 이 변이 정보가 좌우 스테레오 영상 중 하나와 수신측에 전송되면 중간 시점 합성(IVR: intermediate view reconstruction) 기법을 사용하여 이동 물체의 3차원적 입체 디스플레이 또한 가능하게 된다.
그 결과 본 발명에 의한 변이 정보를 이용한 물체 추적 방법 및 장치는 연속적으로 들어오는 스테레오 입력 영상의 시퀀스로부터 변이 추정을 통하여 변이 벡터를 구하고, 각각의 변이 벡터들의 움직임 추정을 통하여 DMV를 구한 다음 후보 영역을 찾아내게 된다. 그리고, 후보 영역으로 부터 표적 물체가 있는 실 영역을 찾아내어 좌표값를 추출하게 되며, 추출된 좌표로부터 물체의 이동 거리 및 이동 방향을 구해 최종적으로 주시각 및 팬/틸트부의 제어가 이루어지게 된다.
본 발명의 실시에 의한 예시도를 통해 본 발명에 대해 더욱 구체적으로 살펴본다.
도 7은 본 발명의 바람직한 일 실시예에 따른 사용한 실험 스테레오 영상과 이를 통해 추정된 변이 지도를 나타낸 도면이다.
도 7에서 (a)는 1번째 프레임의 입력된 좌영상을, (b)는 1번째 프레임의 입력된 우영상을, (d)는 2번째 프레임의 입력된 좌영상을, (e)는 2번째 프레임의 입력된 우영상을 각각 나타낸 것이다. 그리고, (c)와 (f)는 각각 1번째 프레임과 2번째 프레임의 스테레오 영상간에 변이 추정을 통하여 얻어진 변이 지도를 각각 나타낸 것이다.
본 발명의 바람직한 일 실시예로, 입력 영상은 256×256 영상 7 프레임을 사용하였으며, 변이 추정에 사용된 블록 크기는 4×4 로, 변이 벡터의 탐색 구간 ±32 을 적용하여 변이를 추정하였다. 이동 물체를 검출하기 위해서 먼저 제어부는 변이 지도들에서 후보 영역들을 찾아내게 된다. 표 1은 변이 추정 단계에서 구한 변이 지도들의 비교에 의해서 발견된 후보 영역들의 좌표값을 나타낸 것이다.
<표 1>
표 1은 제어부는 DMV를 통하여 검출된 후보 영역의 좌표값으로, 시작 좌표 (x,y)는 후보영역의 좌측 상단 부분이고, 끝 좌표 (x,y)는 후보영역의 우측 하단 부분의 좌표이며, 중앙 좌표 (x,y)는 이것들의 중앙 좌표를 나타낸다.
표 2는 후보 영역들 간에 비용 함수를 적용하여 구한 함수값의 결과를 나타낸 것이다. 제어부는 표 2로부터 비용함수 값이 최소가 되는 경우를 선택하여 두개의 실 영역을 찾아내게 된다.
<표 2>
비용 함수의 적용 결과 정확한 추정이 이루어진다면 실제 물체가 있는 두 영역의 값은 다른 후보 영역들에 비해서 최소의 값을 가지게 된다. 왜냐하면 물체에 해당되는 변이값은 연속되는 입력 영상 사이에서는 거의 같기 때문이다. 따라서, 표 2에 나타난 것과 같이 후보 영역들간의 비용 함수를 적용한 결과 그 값이 최소가 되는 경우는 Cand 2 - Cand 1'이 된다. 그 결과 제어부는 두 영역인 Cand 1′와 Cand 2를 실제 물체 영역으로 판단하게 된다. 따라서, 제어부의 제어 신호에 의한 팬/틸트부는 후보 영역의 센터값의 차이가 영보다 큰 경우는 오른쪽과 위쪽으로 그리고, 영보다 작은 경우는 왼쪽과 아래쪽으로 이동한다. 여기의 경우 Cand 1′와 Cand 2의 차이값이 (-57, 4)이므로, 왼쪽으로 57 픽셀(pixel)만큼, 위쪽으로 4 픽셀만큼의 값만큼 팬/틸트부가 움직이게 된다.
도 8은 본 발명의 바람직한 일 실시예에 따른 팬/틸트부의 제어에 의해 이동 물체가 추적된 후의 스테레오 입력 영상을 나타낸 도면이다. 도 8을 참조하면, 도 8의 (a)와 (b)는 도 7의 (a), (b)와 (d), (e)인 1번째와 2번째 프레임의 스테레오 입력 영상에 DMV 기반의 추적 알고리즘을 적용하여 입력으로 들어온 2번째 프레임의 추적 후의 스테레오 영상을 나타낸 영상이다. 또한, 도 8의 (c)는 도 8의 (a)와 (b)를 합성영상을 보여준 것이다.
먼저, 도 8의 (a), (b)의 결과를 그림 6의 (a), (b)와 비교해 보면 추적 전에는 물체의 이동으로 물체가 입력 영상의 중심에서 이탈되어 있었으나 추적 후에는 다시 영상의 중심으로 이동한 것을 볼 수 있다. 이는 제안된 기법을 통해 효과적으로 팬/틸트부가 제어되어 스테레오 물체 추적이 이루어지고 있다는 것을 의미한다. 그리고, 도 8의 (c)에서 보면 중앙의 표적 물체는 하나로 보이고 기타 주변 물체는 좌, 우 영상이 겹쳐서 보임을 알 수 있다. 이는 제안된 기법에 의해 스테레오 카메라의 주시각이 제어되어 표적 물체의 스테레오 시차가 효과적으로 제거되었음을 보여주는 것이다.
도 8의 (d), (e)와 도 8의 (g), (h)는 같은 방법으로 물체가 추적된 3번째, 4번째 프레임의 스테레오 입력 영상을 각각 나타낸 것이다. 그리고 도 8의 (f), (i)는 그것들의 합성 영상을 각각 나타낸 것이다. 3, 4번째 프레임 본 발명에 의해 효과적으로 팬/틸트부가 제어되어 물체가 영상의 중앙에 위치하고 합성영상 역시 스테레오 시차가 제거됨을 볼 수 있다.
표 3는 실제 물체의 이동 거리와 본 발명을 이용한 실험을 통하여 얻어진 물체의 이동 거리를 비교한 것이다. 표 3에서 보여주는 바와 같이 이동 거리의 에러가 단지 0∼2 픽셀 정도로 작음을 확인할 수 있었다.
<표 3>
또한, 도 9는 본 발명의 바람직한 일 실시예에 따른 표 3의 결과를 3차원 공간상에 나타낸 도면이다. 도 9를 참조하면, 도 9는 여기서 표 2의 절대 좌표값만을 고려하여, 물체의 누적 이동 거리를 실제값(901)과 실험값(903)의 경우에 대하여 비교하여 나타내었다.
표 4은 물체의 추적 에러율을 나타낸 것이다.
<표 4>
여기서, 에러율은 실제 물체 이동치와 추적 실험 결과치 사이의 차이의 절대치를 실제 물체의 이동치로 나누어 준 값이다. 추적 결과 평균 에러율이 약 3.29 %로 나타났다. 따라서, 이상의 실험 결과를 통해 본 발명에 의한 DMV를 이용한 스테레오 물체 추적 방법 및 장치는 실제적인 스테레오 물체 추적 시스템에 적용할 수 있음이 자명하다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
본 발명에 따른 변이 움직임 벡터를 이용한 스테레오 물체 추적 방법 및 장치는 이동된 스테레오 물체의 영역과 그것의 위치 좌표를 효과적으로 검출할 수 있는 효과가 있다.
또한 본 발명은 위치 정보를 이용하여 팬/틸트부를 제어함으로써 최종적으로 스테레오 물체를 추적할 수 있는 효과가 있다.
또한 본 발명은 단지 스테레오 입력 영상에서 추출된 변이 정보만을 이용하여 이동 물체의 실시간 스테레오 물체 추적뿐만 아니라 3차원적 입체 영상 디스플레이에도 사용될 수 있는 효과가 있다.

Claims (10)

  1. 스테레오 물체를 추적하는 방법에 있어서,
    블록 정합을 이용하여 상기 스테레오 물체의 영상 변이를 추정하는 단계;
    상기 영상 변이로부터 변이 움직임 벡터를 추출하는 단계;
    상기 변이 움직임 벡터를 이용하여 이동한 상기 스테레오 물체의 이동 정보를 계산하는 단계; 및
    상기 이동 정보를 팬/틸트부에 전송하는 단계를 포함하되,
    상기 팬/틸트부에서 상기 스테레오 물체의 실시간 추적 및 주시각 제어가 이루어지는 것
    을 특징으로 하는 변이 움직임 벡터를 이용한 스테레오 물체를 추적하는 방법.
  2. 제1항에서 있어서,
    블록 정합을 이용하여 스테레오 물체의 영상 변이를 추정하는 단계는
    상기 스테레오 물체의 영상 중 일방의 영상을 블록 단위로 나누는 단계;
    상기 스테레오 물체의 영상 중 타방의 영상에서 비용 함수를 최소로 하는 위치를 추출하는 단계;
    상기 일방의 영상과 타방의 영상의 이동량을 상기 블록의 영상 변이값으로결정하는 단계를 포함하는 것
    을 특징으로 하는 변이 움직임 벡터를 이용한 스테레오 물체를 추적하는 방법.
  3. 제1항에 있어서,
    상기 변이 움직임 벡터는 변이 벡터간의 움직임 차이값인 것
    을 특징으로 하는 변이 움직임 벡터를 이용한 스테레오 물체를 추적하는 방법.
  4. 제1항에 있어서,
    상기 변이 움직임 벡터를 이용하여 이동한 상기 스테레오 물체의 이동 정보를 계산하는 단계는
    후보 영역을 설정하는 단계;
    상기 후보 영역에서 실 영역을 판단하는 단계;
    상기 실 영역의 좌표값을 계산하여 상기 스테레오 물체의 이동 정보를 계산하는 단계를 포함하되,
    상기 스테레오 물체의 이동 정보는 상기 스테레오 물체의 이동 거리 및 이동 방향인 것
    을 특징으로 하는 변이 움직임 벡터를 이용한 스테레오 물체를 추적하는 방법.
  5. 제4항에 있어서,
    실 영역을 판단하는 단계는
    T-1 프레임에서의 후보 영역 1, 후보 영역 1'와 T 프레임에서의 후보 영역 2, 후보 영역 2' 간의 비용 함수를 계산하는 단계; 및
    상기 비용 함수값이 최소가 되는 두 영역을 각 프레임에서의 실 영역으로 판단하는 단계를 포함하되,
    상기 비용 함수를 계산하는 수학식은
    인 것
    을 특징으로 하는 변이 움직임 벡터를 이용한 스테레오 물체를 추적하는 방법.
  6. 스테레오 물체를 추적하는 장치에 있어서,
    블록 정합을 이용하여 상기 스테레오 물체의 영상 변이를 추정하는 수단;
    상기 영상 변이로부터 변이 움직임 벡터를 추출하는 수단;
    상기 변이 움직임 벡터를 이용하여 이동한 상기 스테레오 물체의 이동 정보를 계산하는 수단; 및
    상기 이동 정보를 팬/틸트부에 전송하는 수단을 포함하되,
    상기 팬/틸트부에서 상기 스테레오 물체의 실시간 추적 및 주시각 제어가 이루어지는 것
    을 특징으로 하는 변이 움직임 벡터를 이용한 스테레오 물체를 추적하는 장치.
  7. 제1항에서 있어서,
    블록 정합을 이용하여 스테레오 물체의 영상 변이를 추정하는 수단은
    상기 스테레오 물체의 영상 중 일방의 영상을 블록 단위로 나누는 수단;
    상기 스테레오 물체의 영상 중 타방의 영상에서 비용 함수를 최소로 하는 위치를 추출하는 수단;
    상기 일방의 영상과 타방의 영상의 이동량을 상기 블록의 영상 변이값으로 결정하는 수단을 포함하는 것
    을 특징으로 하는 변이 움직임 벡터를 이용한 스테레오 물체를 추적하는 장치.
  8. 제1항에 있어서,
    상기 변이 움직임 벡터는 변이 벡터간의 움직임 차이값인 것
    을 특징으로 하는 변이 움직임 벡터를 이용한 스테레오 물체를 추적하는 장치.
  9. 제1항에 있어서,
    상기 변이 움직임 벡터를 이용하여 이동한 상기 스테레오 물체의 이동 정보를 계산하는 수단은
    후보 영역을 설정하는 수단;
    상기 후보 영역에서 실 영역을 판단하는 수단;
    상기 실 영역의 좌표값을 계산하여 상기 스테레오 물체의 이동 정보를 계산하는 수단을 포함하되,
    상기 스테레오 물체의 이동 정보는 상기 스테레오 물체의 이동 거리 및 이동 방향인 것
    을 특징으로 하는 변이 움직임 벡터를 이용한 스테레오 물체를 추적하는 장치.
  10. 제4항에 있어서,
    실 영역을 판단하는 수단은
    T-1 프레임에서의 후보 영역 1, 후보 영역 1'와 T 프레임에서의 후보 영역 2, 후보 영역 2' 간의 비용 함수를 계산하는 수단; 및
    상기 비용 함수값이 최소가 되는 두 영역을 각 프레임에서의 실 영역으로 판단하는 수단을 포함하되,
    상기 비용 함수를 계산하는 수학식은
    인 것
    을 특징으로 하는 변이 움직임 벡터를 이용한 스테레오 물체를 추적하는 장치.
KR10-2002-0015915A 2002-03-23 2002-03-23 변이 움직임 벡터를 이용한 스테레오 물체 추적 방법 및장치 KR100434877B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-2002-0015915A KR100434877B1 (ko) 2002-03-23 2002-03-23 변이 움직임 벡터를 이용한 스테레오 물체 추적 방법 및장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2002-0015915A KR100434877B1 (ko) 2002-03-23 2002-03-23 변이 움직임 벡터를 이용한 스테레오 물체 추적 방법 및장치

Publications (2)

Publication Number Publication Date
KR20030076906A KR20030076906A (ko) 2003-09-29
KR100434877B1 true KR100434877B1 (ko) 2004-06-07

Family

ID=32226036

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2002-0015915A KR100434877B1 (ko) 2002-03-23 2002-03-23 변이 움직임 벡터를 이용한 스테레오 물체 추적 방법 및장치

Country Status (1)

Country Link
KR (1) KR100434877B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8559515B2 (en) 2005-09-21 2013-10-15 Samsung Electronics Co., Ltd. Apparatus and method for encoding and decoding multi-view video
US8983121B2 (en) 2010-10-27 2015-03-17 Samsung Techwin Co., Ltd. Image processing apparatus and method thereof
KR101373718B1 (ko) * 2012-10-31 2014-03-14 성균관대학교산학협력단 3차원 영상에 대한 깊이 추정을 위한 스테레오 매칭 장치 및 방법, 및 상기 스테레오 매칭을 통한 3차원 영상 스트림 전송 장치 및 재생 장치
US9224060B1 (en) * 2013-09-17 2015-12-29 Amazon Technologies, Inc. Object tracking using depth information

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06347265A (ja) * 1993-06-07 1994-12-20 N T T Data Tsushin Kk 移動物体監視装置
JPH07162730A (ja) * 1993-12-09 1995-06-23 Ibiden Co Ltd 移動体撮像装置
KR19990008978A (ko) * 1997-07-05 1999-02-05 정용배 동적피사체의 실시간 입체 영상 디스플레이 시스템
JPH11331828A (ja) * 1998-05-12 1999-11-30 Sharp Corp 自動追尾装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06347265A (ja) * 1993-06-07 1994-12-20 N T T Data Tsushin Kk 移動物体監視装置
JPH07162730A (ja) * 1993-12-09 1995-06-23 Ibiden Co Ltd 移動体撮像装置
KR19990008978A (ko) * 1997-07-05 1999-02-05 정용배 동적피사체의 실시간 입체 영상 디스플레이 시스템
JPH11331828A (ja) * 1998-05-12 1999-11-30 Sharp Corp 自動追尾装置

Also Published As

Publication number Publication date
KR20030076906A (ko) 2003-09-29

Similar Documents

Publication Publication Date Title
US7825948B2 (en) 3D video conferencing
CN106920259B (zh) 一种定位方法及系统
US20080212835A1 (en) Object Tracking by 3-Dimensional Modeling
KR100799990B1 (ko) 2차원 영상의 3차원 영상 변환 장치 및 방법
JP4909991B2 (ja) フレーム毎かつピクセル毎コンピュータ映像用カメラフレーム合致モデル生成グラフィックス画像
JPH1098646A (ja) 被写体抽出方式
JPH0935061A (ja) 画像処理方法
JPH0719832A (ja) 複数画像の対応点抽出方法
EP3706070A1 (en) Processing of depth maps for images
KR100574227B1 (ko) 카메라 움직임을 보상한 객체 움직임 추출 장치 및 그 방법
JP3103478B2 (ja) 複眼撮像装置
KR100434877B1 (ko) 변이 움직임 벡터를 이용한 스테레오 물체 추적 방법 및장치
Bae et al. A new stereo object tracking system using disparity motion vector
KR20110025020A (ko) 입체 영상 시스템에서 입체 영상 디스플레이 장치 및 방법
KR20100131814A (ko) 입체영상 카메라의 관심물체 주시각 제어방법 및 장치
US20030076982A1 (en) Multiple hypothesis method of optical flow
JPH1042273A (ja) 三次元位置認識利用システム
Lim et al. Implementation of disparity information-based 3D object tracking
Lim et al. New approach for three-dimensional object tracking and display system
Le Coat et al. Modelling the optical-flow with projective-transform approximation for large camera movements
Lee et al. Implementation of the DMV-based stereo object tracking system
JP2001175860A (ja) フィードバック処理のある３次元物体認識装置及び方法並びに記録媒体
Jin et al. Cooperatively resolving occlusion between real and virtual in multiple video sequences
Ko et al. Implementation of disparity information‐based 3D object tracking
Ko et al. Implementation of the DMV-based 3D target tracking and monitoring system

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee