KR20050066400A - 다시점 영상 및 깊이 정보를 이용한 3차원 객체 추적 장치및 그 방법 - Google Patents

다시점 영상 및 깊이 정보를 이용한 3차원 객체 추적 장치및 그 방법 Download PDF

Info

Publication number
KR20050066400A
KR20050066400A KR1020030097683A KR20030097683A KR20050066400A KR 20050066400 A KR20050066400 A KR 20050066400A KR 1020030097683 A KR1020030097683 A KR 1020030097683A KR 20030097683 A KR20030097683 A KR 20030097683A KR 20050066400 A KR20050066400 A KR 20050066400A
Authority
KR
South Korea
Prior art keywords
image
camera
depth
view
area
Prior art date
Application number
KR1020030097683A
Other languages
English (en)
Other versions
KR100544677B1 (ko
Inventor
엄기문
안충현
이수인
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020030097683A priority Critical patent/KR100544677B1/ko
Publication of KR20050066400A publication Critical patent/KR20050066400A/ko
Application granted granted Critical
Publication of KR100544677B1 publication Critical patent/KR100544677B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/005—Aspects relating to the "3D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)

Abstract

1. 청구범위에 기재된 발명이 속하는 기술분야
본 발명은 다시점 영상 및 깊이 정보를 이용한 3차원 객체 추적 장치 및 그 방법에 관한 것임.
2. 발명이 해결하려고 하는 기술적 과제
본 발명은 장면내 객체의 차폐 영역이 발생하는 경우에도 효과적으로 객체를 추적 가능하고, 스테레오 영상으로부터 변이 추출에 소요되는 계산량과 시간을 절약할 수 있도록 Depth 카메라를 이용한 깊이 정보 및 다시점 영상을 이용하여 동영상내 객체 검출 및 객체의 3차원 움직임을 추적할 수 있는 3차원 객체 추적 장치 및 그 방법을 제공하고자 함.
3. 발명의 해결 방법의 요지
본 발명은, 3차원 객체 추적 장치에 있어서, 적어도 두 개의 비디오 카메라들(다시점 카메라)로부터 동일 시간에 취득된 영상의 프레임 데이터를 저장하고 있는 다시점 비디오 저장수단; 상기 적어도 두 개의 비디오 카메라 중 깊이(depth) 카메라로부터 동일시간에 취득된 적어도 하나의 깊이 맵(depth map) 데이터를 저장하고 있는 깊이 맵 저장수단; 각 시점의 카메라 초점 거리를 포함하는 카메라 정보, 시점간 위치와 방향에 대한 기반행렬을 구하기 위한 카메라 보정수단; 상기 카메라 정보와 상기 기반행렬, 이전 프레임과 현재 프레임의 다시점 영상 및 상기 깊이 맵 데이터를 이용하여, 영상내 배경으로부터 움직이는 객체 영역을 추출하기 위한 객체 영역 추출수단; 추출된 객체 영역의 움직임 객체를 검출하여, 이 객체의 3차원 운동 벡터들을 구하기 위한 객체 움직임 추정수단; 및 상기 객체 영역에서 차폐 영역을 검출하여, 이전 프레임과 현재 프레임의 역방향 움직임 추정을 통해 차폐로 인해 가려진 객체의 위치를 추정하기 위한 차폐 영역 처리수단을 포함함.
4. 발명의 중요한 용도
본 발명은 동영상 객체 검출 및 움직임 추정 기술 등에 이용됨.

Description

다시점 영상 및 깊이 정보를 이용한 3차원 객체 추적 장치 및 그 방법{Apparatus and method for the 3D object tracking using multi-view and depth cameras}
본 발명은 동영상 객체 검출 및 추적 기술분야에 관한 것으로, 특히 두 시점 이상의 다시점 비디오 카메라와 3차원 거리 정보(depth information)를 구할 수 있는 카메라(이하, "Depth 카메라"라 함)를 이용하여 동영상내에 움직이는 객체(object)를 검출하고, 이 객체의 3차원 운동(motion, x,y,z 방향) 벡터들을 구함으로써, 객체를 효과적으로 추적할 수 있는 3차원 객체 추적 장치 및 그 방법에 관한 것이다.
종래의 동영상내 객체 검출 및 추적 방식은, 대부분 순차적으로 입력되는 2차원 동영상으로부터 차영상, 모델, 특징점 등의 특징을 구하고 이들 화소의 움직임을 구함으로써, 객체의 움직임을 추출하는 방식이었다. 즉, 객체가 없을 때의 배경만 존재할 경우의 영상과, 객체가 출현했을 때의 영상과의 색차이를 이용하거나, 단순히 영상간의 차이를 구하여 움직임 영역을 검출하였다. 예를 들면, 각 프레임마다 이전 프레임과 현재 프레임의 차이를 구하는 차영상 비교에 의한 배경과 객체 분리 방법, 사전에 정의된 모델의 특징을 이용한 모델 기반(model-based) 방법, 프레임간 각 화소의 밝기 변화를 구하는 광류(optical flow), 영상을 여러 개의 블록으로 나누고 연속하는 두 프레임 사이에서 가장 유사한 블록(block)을 찾아내는 블록 정합(block matching) 방법 등이 있다.
이러한 종래의 동영상내 객체 검출 및 추적 기술들 중, 차영상에 의한 방법은 배경 영상의 밝기 변화에 민감한 문제점이 있으며, 모델 기반(model-based)에 의한 방법은 객체 영역에 대한 샘플링을 통하여 객체의 색과 경계, 모양 등에 대한 모델링을 통해 모델을 생성하고 이 모델과 영상내 객체 영역의 비교를 통하여 가장 유사한 객체 영역을 찾는 방법으로서, 영상 내 객체에서 상대적 명암 또는 변형이 발생할 경우 정합이 제대로 되지 않는 단점이 있다. 한편, 광류(optical flow)에 의한 방법은 국부적인 시공간 경사(gradient)와 속도 사이의 관계를 구는 방법으로서, 주변 밝기 변화에 민감하고, 블록 정합(block matching) 방법은 영상내 블록간에 정합을 수행하여 가장 유사한 블록을 찾는 방법으로서, 광류와 마찬가지로 주변 밝기 변화에 민감하고, 계산량이 많다는 단점이 있다.
이러한 종래의 객체 추적 방법들은 3차원 공간상의 객체가 투영된 2차원 영상만을 이용하기 때문에, 2차원적인(x,y 방향) 객체의 움직임만을 구할 수밖에 없었다. 또한, 대부분 하나만의 시점을 갖는 영상만을 이용하기 때문에, 객체의 차폐가 발생할 경우 추적이 불가능하게 되는 경우가 발생하였다. 따라서, 최근에는 하나 이상의 시점을 이용하여 객체를 추적하는 방법으로서, 스테레오 카메라로부터 취득된 동영상을 이용하여 두 영상간 변이 정보(disparity information)와 카메라간의 위치 관계 등을 이용하여 차폐 영역 문제를 해결하고, 3차원 움직임 정보까지 구하려는 연구가 활발히 이루어지고 있다. 그러나, 이 역시 변이 정보의 추출에 있어 많은 계산량과 차폐 영역으로 인한 정확도 저하 등의 새로운 문제점이 대두되고 있다.
따라서, 영상 객체 추적 기술분야에 있어서, 종래의 2차원 객체 추적 기술 및 스테레오 영상을 이용한 3차원 객체 추적 기술의 문제점을 해결할 수 있는 방안이 절실히 요구된다.
본 발명은, 상기와 같은 요구에 부응하기 위하여 제안된 것으로, 장면내 객체의 차폐 영역이 발생하는 경우에도 효과적으로 객체를 추적 가능하고, 스테레오 영상으로부터 변이 추출에 소요되는 계산량과 시간을 절약할 수 있도록 Depth 카메라를 이용한 깊이 정보 및 다시점 영상을 이용하여 동영상내 객체 검출 및 객체의 3차원 움직임을 추적할 수 있는 3차원 객체 추적 장치 및 그 방법을 제공하는데 그 목적이 있다.
상기 목적을 달성하기 위한 본 발명은, 3차원 객체 추적 장치에 있어서, 적어도 두 개의 비디오 카메라들(다시점 카메라)로부터 동일 시간에 취득된 영상의 프레임 데이터를 저장하고 있는 다시점 비디오 저장수단; 상기 적어도 두 개의 비디오 카메라 중 깊이(depth) 카메라로부터 동일시간에 취득된 적어도 하나의 깊이 맵(depth map) 데이터를 저장하고 있는 깊이 맵 저장수단; 각 시점의 카메라 초점 거리를 포함하는 카메라 정보, 시점간 위치와 방향에 대한 기반행렬을 구하기 위한 카메라 보정수단; 상기 카메라 정보와 상기 기반행렬, 이전 프레임과 현재 프레임의 다시점 영상 및 상기 깊이 맵 데이터를 이용하여, 영상내 배경으로부터 움직이는 객체 영역을 추출하기 위한 객체 영역 추출수단; 추출된 객체 영역의 움직임 객체를 검출하여, 이 객체의 3차원 운동 벡터들을 구하기 위한 객체 움직임 추정수단; 및 상기 객체 영역에서 차폐 영역을 검출하여, 이전 프레임과 현재 프레임의 역방향 움직임 추정을 통해 차폐로 인해 가려진 객체의 위치를 추정하기 위한 차폐 영역 처리수단을 포함하여 이루어진 것을 특징으로 한다.
또한, 본 발명은 상기 기반행렬을 이용하여, 다시점 카메라로 취득된 영상의 에피폴라 선이 일치하도록 보정하기 위한 다시점 영상 보정수단을 더 포함하여 이루어진 것을 특징으로 한다.
또한, 본 발명은 추출된 객체의 움직임을 화면에 디스플레이하기 위한 객체 움직임 디스플레이수단을 더 포함하여 이루어진 것을 특징으로 한다.
또한, 본 발명은 객체가 영상으로부터 벗어날 경우에 대비하여 객체가 영상 내에서 가운데 영역에 위치하도록 상기 다시점 카메라의 위치를 조정하기 위한 다시점 카메라 제어 및 구동수단을 더 포함하여 이루어진 것을 특징으로 한다.
한편, 본 발명은 3차원 객체 추적 장치에 적용되는 3차원 객체 추적 방법에 있어서, 적어도 두 개의 비디오 카메라들(다시점 카메라)로부터 동일 시간에 취득된 영상의 프레임 데이터와, 상기 적어도 두 개의 비디오 카메라 중 깊이(depth) 카메라로부터 동일시간에 취득된 적어도 하나의 깊이 맵(depth map) 데이터로부터 각 시점의 카메라 초점 거리를 포함하는 카메라 정보, 시점간 위치와 방향에 대한 기반행렬을 구하는 카메라 보정단계; 상기 카메라 정보와 상기 기반행렬, 이전 프레임과 현재 프레임의 다시점 영상 및 상기 깊이 맵 데이터를 이용하여, 영상내 배경으로부터 움직이는 객체 영역을 추출하기 위한 객체 영역 추출단계; 추출된 객체 영역의 움직임 객체를 검출하여, 이 객체의 3차원 운동 벡터들을 구하기 위한 객체 움직임 추정단계; 및 상기 객체 영역에서 차폐 영역을 검출하여, 이전 프레임과 현재 프레임의 역방향 움직임 추정을 통해 차폐로 인해 가려진 객체의 위치를 추정하기 위한 차폐 영역 처리단계를 포함하여 이루어진 것을 특징으로 한다.
또한, 본 발명은 상기 기반행렬을 이용하여, 기준 카메라에 의해 취득된 영상의 에피폴라 선과 다른 시점의 카메라들에 의해 취득된 영상의 에피폴라 선이 일치하도록 영상을 보정하여, 두 영상간에 변이 지도를 구하거나, 움직임 추정시에 탐색 영역을 줄이는 다시점 영상 보정단계를 더 포함하여 이루어진 것을 특징으로 한다.
또한, 본 발명은 추출된 객체의 움직임을 3차원 공간상에 궤적 형태로 화면 표시하거나, 2차원 평면상에 투영하여 그 궤적을 화면 표시하는 객체 움직임 디스플레이단계를 더 포함하여 이루어진 것을 특징으로 한다.
또한, 본 발명은 객체가 영상으로부터 벗어날 경우에 대비하여 객체가 영상 내에서 가운데 영역에 위치하도록 상기 다시점 카메라의 위치를 조정하기 위한 다시점 카메라 조정단계를 더 포함하여 이루어진 것을 특징으로 한다.
본 발명은 동영상 데이터 상에서 움직이고 있는 객체를 검출하고 3차원 공간상의 그 움직임을 추적하는 기술로서, 특히 입력된 세 개 이상의 다시점 동영상 프레임과 한 시점에 대한 Depth 정보, 각 카메라간의 위치 정보 등을 이용하여 추적하고 있는 객체에 대한 z-방향 움직임도 구할 수 있으며, 프레임간 Depth 정보의 변화 및 영상 밝기 정보의 변화 분석을 통하여 차폐 영역 검출 및 객체의 움직임 벡터를 구함으로써, 차폐 영역에 대한 처리가 가능하고, 신속하게 움직임을 검출할 수 있다.
본 발명에서는 종래의 양안 카메라에 획득된 스테레오 영상으로부터 얻어지는 변이 맵(disparity map)이 가지는 단점인 많은 계산 시간 및 경계에서의 부정확도 문제를 해결하기 위하여, Depth 카메라로부터 얻어진 깊이 맵(depth map)을 이용함으로써 빠르고 신뢰성 높은 3차원 정보를 구할 수 있으며, 얻어진 깊이 맵을 3차원 움직임 추정에 이용함으로써 종래의 영상내 특징을 이용한 객체 추적 방식에 비해 보다 정확한 움직임 추정을 할 수 있으며, 또한 다시점 영상을 이용함으로써 객체의 차폐(occlusion)가 존재하더라도 보다 정확하게 객체의 움직임을 구할 수 있다.
상술한 목적, 특징들 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다.
도 1 은 본 발명에 따른 3차원 객체 추적 장치의 일실시예 구성도이다.
도 1에 도시된 바와 같이, 본 발명에 따른 3차원 객체 추적 장치는, 적어도 두 개(바람직하게는 3개 이상)의 비디오 카메라들(다시점 카메라)(11)로부터 동일 시간에 취득된 영상의 프레임 데이터를 저장하고 있는 다시점 비디오 저장부(12)와, 적어도 두 개(바람직하게는 3개 이상)의 비디오 카메라 중 깊이(depth) 카메라(11)로부터 동일시간에 취득된 적어도 하나의 깊이 맵(depth map) 데이터를 저장하고 있는 깊이 맵 저장부(13)와, 각 시점의 카메라 초점 거리를 포함하는 카메라 정보, 시점간 위치와 방향에 대한 기반행렬을 구하기 위한 카메라 보정부(14)와, 카메라 정보와 기반행렬, 이전 프레임과 현재 프레임의 다시점 영상 및 깊이 맵 데이터를 이용하여, 영상내 배경으로부터 움직이는 객체 영역을 추출하기 위한 객체 영역 추출부(16)와, 추출된 객체 영역의 움직임 객체를 검출하여, 이 객체의 3차원 운동 벡터들을 구하기 위한 객체 움직임 추정부(17)와, 객체 영역에서 차폐 영역을 검출하여, 이전 프레임과 현재 프레임의 역방향 움직임 추정을 통해 차폐로 인해 가려진 객체의 위치를 추정하기 위한 차폐 영역 처리부(18)를 포함한다. 또한, 기반행렬을 이용하여 다시점 카메라(11)로 취득된 영상의 에피폴라 선이 일치하도록 보정하기 위한 다시점 영상 보정부(15)를 더 포함한다. 또한, 추출된 객체의 움직임을 화면에 디스플레이하기 위한 객체 움직임 디스플레이부(19)를 더 포함한다. 또한, 객체가 영상으로부터 벗어날 경우에 대비하여 객체가 영상 내에서 가운데 영역에 위치하도록 다시점 카메라(11)의 위치를 조정하기 위한 다시점 카메라 제어 및 구동부(20)를 더 포함한다.
다시점 비디오 저장부(12) 및 깊이 맵(depth map) 저장부(13)는 여러 개의 비디오 카메라와 1개의 깊이(depth) 카메라로부터 얻어진 비디오 영상을 비디오 테이프나 프레임 캡쳐 장치 등의 데이터 저장장치에 저장하며, 저장된 영상 정보는 카메라 보정부(14), 다시점 영상 보정부(15), 객체 영역 추출부(16), 객체 움직임 추정부(17)에서 입력으로 사용하게 된다.
카메라 보정부(14)는 카메라(11)로부터의 거리를 알고 있는 여러 영상간의 특징점을 추출한 후, 이 특징점들의 대응관계와 실제거리 정보를 이용하여, 상호 변환을 하기 위한 회전 행렬과 이동행렬을 구한다. 또한, 카메라 보정 기법을 통하여 초점 거리 등의 카메라 정보를 구한다. 이러한 정보는 객체 움직임 추정부(17)에서의 객체 움직임 추정시에, 차폐 영역 발생된 경우 차폐 영역이 발생하지 않은 다른 시점의 카메라를 이용하여 객체 추적을 계속하는데 사용된다.
다시점 영상 보정부(15)에서는 카메라 보정부(14)에서 구해진 카메라 변환 행렬(기반행렬)을 이용하여, 기준 카메라에 대하여 나머지 카메라들에 의해 취득된 영상의 에피폴라 선(Epipolar Line)을 기준 영상의 행과 평행이 되도록 해준다. 이렇게 함으로써 객체 추적 및 스테레오 정합시 탐색 영역과 시간을 줄일 수 있게 해준다.
객체 영역 추출부(16)는 순차적으로 입력되는 현재 영상과 이전에 입력된 영상의 밝기 및 깊이 차변화를 이용한 객체와 배경 화소의 판단 기준에 의해 객체 영역의 화소를 추출하고, 이 화소들을 모두 포함하는 경계 사각형(bounding box)을 현재 또는 다음 프레임에 대해 씌우고, 그 시작점과 끝점의 좌표를 버퍼에 저장하게 된다. 이는 객체 움직임 다음 프레임에서 움직임 벡터를 구하는데 사용된다.
객체 움직임 추정부(17)에서는 객체 영역 추출부(16)에서 추출된 현재 프레임에서의 객체 영역과 다음 프레임의 객체 영역을 비교하여, 두 영역 중 작은 행과 열 크기를 갖는 블록에 대해 다음 프레임에서 검출된 블록 영역내 점들을 블록의 중심으로 선택하여 이동시켜가면서 가장 유사도가 높은 블록의 위치를 검출한다. 이때, 각 블록의 중심점 사이의 이동 벡터를 x, y 방향의 움직임 벡터로 검출하게 된다. 이때, 유사도가 미리 정한 임계치보다 작거나, 검출된 블록에 대해 역방향 정합을 하였을 때, 원래의 블록 중심과의 위치 차이가 특정 개수의 화소이내인 경우에만 블록내에서는 차폐 영역이 없다고 간주하여 중심점의 이동벡터를 구하고, 만약 그렇지 않으면 해당 영역을 차폐 영역 처리부(18)에서 차폐 영역으로 검출하게 된다.
도 2 는 본 발명에 따른 3차원 객체 추적 방법에 대한 일실시예 흐름도로서, 다시점 카메라 및 깊이(depth) 카메라를 이용한 동영상내에 움직이는(moving) 객체(object)를 검출하고, 이 객체의 3차원 운동(motion, x,y,z 방향) 벡터들을 구함으로써 객체를 효과적으로 추적할 수 있는 절차를 나타낸다.
우선, 다시점 카메라(11) 및 깊이(depth) 카메라(11)를 통해 객체 추적 대상 영상을 취득하여(201), 취득된 동영상 데이터와 깊이 맵 데이터는 동기가 맞춰진 상태로, 동영상 비디오 데이터는 다시점 비디오 저장부(12)에 저장되며, 깊이 맵 데이터는 깊이 맵 데이터 저장부(13)에 저장된다(202). 이때, 각 데이터는 동일 시간에 취득된 데이터가 입력되도록 하기 위하여, 서로 동기가 맞춰진 상태로 다음 단계로 입력되거나, 데이터 저장장치에 저장된다.
이후, 카메라 보정부(12)에서는 각 시점의 카메라(11)의 초점 거리, 위치와 방향에 대한 정보를 구하기 위하여, 취득된 영상으로부터 코너점 추출 기법이나 사용자에 의한 선택에 의하여 특징점을 추출하고, 각 시점 영상에서의 대응점을 구한다. 예를 들면, 세 시점의 영상을 이용할 경우, 가운데 카메라(11)에 의해 취득된 영상을 기준 영상으로 사용할 경우, 기준 영상에 대해 특징점을 화면 전체에 골고루 분포되도록 추출한 후, 이 점들에 대한 대응점을 특징 기반 정합 방법에 의해 나머지 두 시점의 영상에서 찾아낸다. 그리고, 찾아진 대응점을 기준으로 기준 영상과 나머지 시점 영상들 간의 상호 변환 행렬(fundamental matrix, 회전 및 이동 행렬)을 구한다. 이렇게 함으로써, 다음 영상에서 객체의 차폐가 발생하였더라도 다른 시점의 객체 위치를 투영(mapping)함으로써 가려진 객체의 위치를 추정할 수 있다. 또한, 카메라 보정 기법을 사용하여 카메라 초점 거리 등의 카메라에 대한 기본 정보도 구하게 된다(203). 이때, 구해진 카메라 정보 및 시점간 상호 변환 행렬 데이터는 데이터 저장장치 또는 컴퓨터 메모리상에 저장된다.
여기서, 필요한 경우, 다시점 영상 보정부(15)는 카메라 보정부(14)에서 구해진 기반 행렬(fundamental matrix)을 이용하여, 기준 카메라에 의해 취득된 영상의 에피폴라 선(epipolar line)과 다른 시점의 카메라들에 의해 취득된 영상의 에피폴라 선이 일치하도록 영상을 보정하여(204), 두 영상간에 변이 지도를 구하거나, 움직임 추정시에 탐색 영역을 줄여 주도록 한다.
다음으로, 상기의 과정으로부터 구해진 카메라 정보와 기반 행렬, 이전 프레임과 현재 프레임의 다시점 영상 및 깊이(depth) 카메라에 의해 취득된 깊이 맵 데이터들은 객체 영역 추출부(16)로 입력되어, 객체 영역 추출부(16)에서는 현재 프레임과 이전 프레임 사이에서 일어난 객체의 움직임에 대한 정보(객체 영역 추출 정보)를 계산한다(205).
객체 영역 추출은 다음과 같은 과정으로 이루어진다.
먼저, 현재 프레임이 첫 번째 프레임인 경우인지 아닌지를 조사한다. 만약, 현재 프레임이 첫 번째 프레임이면, 다음 프레임으로 진행한다. 그렇지 않으면, 하기의 [수학식 1]에 주어진 바와 같은 객체 화소 판단 기준을 사용하여 객체 화소를 추출한다.
if((curr_depth〉Th1) AND
(image_diff〉Th2) AND Object
Otherwise Background
상기 [수학식 1]에서, "curr_depth"는 현재 프레임에서의 현재 화소 위치에 해당하는 깊이 맵의 값, "image_diff"는 현재 프레임과 이전 프레임의 현재 화소 위치에 해당하는 밝기 또는 색의 절대값 차이, 그리고 "depth_diff"는 현재 프레임과 이전 프레임의 현재 화소 위치에 해당하는 깊이 맵 값의 절대값 차이를 의미하며, "Th1, Th2"는 임계치로서 영상에 따라 경험적으로 결정되는 값들이다. 상기 [수학식 1]에 의하여 현재 프레임의 각 화소는 객체 또는 배경 화소로 분류된다. 그러나, 이 규칙에 의한 객체와 배경 화소의 분리는 잡음 또는 일부 화소들의 배경과 객체의 색깔 차이가 적음으로 인해 일부 화소에서 오류를 발생할 수 있다. 따라서, 본 발명에서는 위 규칙에 의해 분류된 화소들의 위치를 분석하여 이들을 모두 포함하는 최소의 사각형 영역(bounding box)을 설정하고, 이를 객체 영역으로 선택한다. 이때, 선택된 사각형 영역의 중심을 구하여 이를 추적할 객체의 궤적을 계산하는데 사용한다. 이렇게 선택된 객체 영역의 좌표를 기록하고, 이를 객체 움직임 추정부(17)로 전달한다.
이어서, 객체 움직임 추정부(17)에서는 객체 영역 추출부(16)에서 얻어진 객체 영역의 네 끝점 좌표 및 중심 좌표를 이용하여, 다음의 세 가지 방법 중 하나의 방법을 사용하여 추출된 객체 영역에 대한 움직임 벡터를 구한다(206).
첫 번째 방법은, 구해진 객체 영역의 위치와 동일한 위치의 영역을 이전 프레임에 설정하고, 이 영역내 각 화소 위치마다 추출된 객체 영역의 중심을 위치 시킨 후, 유사함수를 계산하여 가장 유사도가 높은 블록의 위치를 선택한다. 이때, 선택된 블록 중심 사이의 이동 벡터를 객체 영역의 움직임 벡터(x,y 방향)로 선택하여 이를 데이터 저장장치에 기록하거나, 다시점 카메라 제어 및 구동부(20)로 전달하여 카메라를 제어하는 기준으로 사용될 수 있다.
두 번째 방법은, 프레임간 움직임이 크지 않다는 가정하에 상기 객체 영역 추출 규칙을 현재 프레임과 이전 프레임에 모두 적용하여 객체 영역을 개별적으로 추출한다. 이렇게 개별적으로 추출된 객체 영역의 위치와 크기는 서로 다를 가능성이 높으므로, 이 두 영역의 유사도 판단은 두 객체 영역이 차지하는 영역의 크기가 3×3 이상일 때, 두 영역에서 공통적으로 차지하는 영역으로 유사도 계산을 위한 창틀을 사용한다.
세 번째 방법은, 객체의 이동 속도를 고려하여 추출된 객체 영역에서 일정 화소수 만큼 4 방향으로 확장한 탐색 영역을 설정한 다음, 이 영역내에서 광류(optical flow)를 계산하는 방법이다. 이 방법은 추출된 객체 영역 주변의 일정 크기의 영역에서 광류를 계산하므로, 움직임 벡터를 신속하게 추출할 수 있다는 장점이 있으나, 실제 객체의 위치가 후보 탐색 영역에서 벗어나 있을 경우 오류를 발생시키는 단점이 있다.
이러한 세 가지 방법 중의 하나(또는 여러 개 벡터의 평균값)에 의해 구해진 x, y 방향 움직임 벡터들은 객체 영역내에서 다른 움직임 벡터들에 비해 방향이나 크기가 일정 값 이상 크게 벗어나는 벡터들(outliers)을 제외한 후 데이터 저장장치에 저장된다.
한편, z 방향 운동 정보는 상기 과정에서 구해진 객체 영역 및 x,y 움직임 벡터로부터 이전 프레임과 현재 프레임 사이의 객체 영역들 사이의 깊이 변화(gradient) 값을 계산하여 저장한다. 이때, 두 프레임 사이의 추출된 객체 영역 크기가 서로 다를 경우에는, 각각 평균 깊이 값을 구하여 그 값의 차이를 객체의 대표 깊이 변화량(z 방향 motion)으로 저장한다. 이 차이를 실제 거리로 환산하기 위해서 카메라 정보 및 깊이 맵 데이터의 스케일링 등이 수행될 수 있다. 혹은, 객체와 배경이 모두 포함된 장면(scene)에서의 z 방향 motion을 구하여 이 차이를 저장할 수도 있다. 즉, 객체의 움직임과 관계없이 이전 프레임과 현재 프레임의 depth 차이를 구하여 그 부호와 크기를 저장하면, 전체 장면내 z 방향 움직임 정보를 추정할 수 있다.
이때, 객체 움직임 추정부(17)에서 움직임 벡터 계산시에 차폐(occlusion)가 발생할 수 있는데, 이 차폐 영역의 검출을 위해서 차폐 영역 처리부(18)에서는 추출된 객체 영역 블록을 이전 프레임과 현재 프레임 사이에 블록 정합이나 광류를 통해 구해진 두 대응 블록 또는 대응 화소의 역방향 움직임 추정을 행한다(207). 즉, 이전 프레임과 현재 프레임의 역할을 바꾸어 움직임 추정을 행하고, 이 결과 구해진 움직임 벡터의 위치가 원래의 영상 위치와 동일하면 차폐가 일어나지 않았다고 판단하여 다음 단계로 진행하고, 동일하지 않으면 차폐가 일어났다고 판단하여 구해진 움직임 벡터를 무시하고, 차폐되지 않은 다른 시점의 영상으로부터 구해진 움직임 벡터를 카메라 정보 및 기반 행렬을 통해 투영하여 현재 프레임에서의 위치를 계산한다. 이렇게 함으로써 현재 프레임에서는 가려진 객체의 위치를 저장할 수 있고, 객체가 수 프레임후에 다시 나타날 때까지 계속 추적을 행할 수 있다.
다음으로, 상기 추출된 객체의 움직임 벡터는 사용자에게 보여주기 위하여, 객체 움직임 디스플레이부(19)에서 구해진 x,y,z 위치 정보의 변화를 3차원 공간상에 궤적(trajectory) 형태로 표현하거나, 2차원 평면상에 투영하여 그 궤적을 표현하는 등의 여러 가지 형태로 보여진다(208).
또한, 추출된 움직임 벡터는 다음 프레임에서 객체 영역 추출부(16)로 입력되어, 상기한 객체와 배경의 분리 규칙의 부가 조건으로 사용되어 좀더 정확한 객체 영역 분리에 사용된다.
한편, 추출된 객체의 3차원 움직임 벡터는 카메라 정보와 함께 다시점 카메라 제어 및 구동부(20)로 입력되어, 다시점 카메라(11)로 취득된 영상에서의 객체 위치가 어느 한쪽으로 치우쳐서 다음 프레임에서 사라지는 현상을 방지하기 위하여, 다시점 카메라 제어 및 구동부(20)에서 객체가 영상의 중심 부근에 위치하도록 다시점 카메라(11)의 위치를 조정하기 위한 카메라의 이동량 계산에 사용된다(209).
한편, 상기 객체 영역 추출 과정(205) 및 객체 움직임 추정 과정(206)은 각 시점 영상에서 독립적으로 수행 가능하며, 차폐 영역 추출시에만 상호 연동된다. 각 영상에서의 깊이 맵은 모든 시점에서 깊이(depth) 카메라가 장착된 경우에는 그로부터 얻어진 깊이(depth) 카메라로부터 얻어진 영상을 이용하고, 만약 일부 시점에서만 깊이 맵 취득이 가능할 경우에는 이 시점의 깊이 맵을 카메라 정보와 기반 행렬을 이용하여 다른 시점으로 투영 변환하여 사용한다. 이렇게 변환된 깊이 맵은 비어 있는 곳을 가질 수 있기 때문에, 이 영역에 대해서는 주위의 깊이(depth) 값을 보간(interpolation)하여 사용한다.
상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다.
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.
상기한 바와 같은 본 발명은, 영상의 밝기 차이 외에 3차원 깊이 맵을 이용함으로써 보다 정확하고, 배경만 존재하는 영상만을 별도로 촬영해야 하는 불편을 해결할 수 있으므로 실제 영상에 쉽게 적용 가능하며, 여러 시점의 카메라를 이용하여 객체 추적을 수행하므로 차폐 영역이 발생하였을 경우에도 추출된 객체 영역의 상호 추정 비교에 의해 검출 가능하며, 이럴 경우 다른 시점의 움직임 벡터를 카메라간의 상호 위치관계를 나타내는 기반 행렬을 이용하여 투영함으로써 가려진 객체 영역의 위치를 추정할 수 있는 효과가 있다.
도 1 은 본 발명에 따른 3차원 객체 추적 장치의 일실시예 구성도.
도 2 는 본 발명에 따른 3차원 객체 추적 방법에 대한 일실시예 흐름도.
* 도면의 주요 부분에 대한 부호 설명
11 : 비디오 카메라 12 : 다시점 비디오 저장부
13 : 깊이 맵 저장부 14 : 카메라 보정부
15 : 영상 보정부 16 : 객체 영상 추출부
17 : 객체 움직임 추정부 18 : 차폐 영역 처리부
19 : 객체 움직임 디스플레이부 20 : 다시점 카메라 제어 및 구동부

Claims (13)

  1. 3차원 객체 추적 장치에 있어서,
    적어도 두 개의 비디오 카메라들(다시점 카메라)로부터 동일 시간에 취득된 영상의 프레임 데이터를 저장하고 있는 다시점 비디오 저장수단;
    상기 적어도 두 개의 비디오 카메라 중 깊이(depth) 카메라로부터 동일시간에 취득된 적어도 하나의 깊이 맵(depth map) 데이터를 저장하고 있는 깊이 맵 저장수단;
    각 시점의 카메라 초점 거리를 포함하는 카메라 정보, 시점간 위치와 방향에 대한 기반행렬을 구하기 위한 카메라 보정수단;
    상기 카메라 정보와 상기 기반행렬, 이전 프레임과 현재 프레임의 다시점 영상 및 상기 깊이 맵 데이터를 이용하여, 영상내 배경으로부터 움직이는 객체 영역을 추출하기 위한 객체 영역 추출수단;
    추출된 객체 영역의 움직임 객체를 검출하여, 이 객체의 3차원 운동 벡터들을 구하기 위한 객체 움직임 추정수단; 및
    상기 객체 영역에서 차폐 영역을 검출하여, 이전 프레임과 현재 프레임의 역방향 움직임 추정을 통해 차폐로 인해 가려진 객체의 위치를 추정하기 위한 차폐 영역 처리수단
    을 포함하는 다시점 영상 및 깊이 정보를 이용한 3차원 객체 추적 장치.
  2. 제 1 항에 있어서,
    상기 기반행렬을 이용하여, 다시점 카메라로 취득된 영상의 에피폴라 선이 일치하도록 보정하기 위한 다시점 영상 보정수단
    을 더 포함하는 다시점 영상 및 깊이 정보를 이용한 3차원 객체 추적 장치.
  3. 제 2 항에 있어서,
    상기 다시점 영상 보정수단은,
    상기 기반행렬을 이용하여, 기준 카메라에 의해 취득된 영상의 에피폴라 선과 다른 시점의 카메라들에 의해 취득된 영상의 에피폴라 선이 일치하도록 영상을 보정하여, 두 영상간에 변이 지도를 구하거나, 움직임 추정시에 탐색 영역을 줄이는 것을 특징으로 하는 다시점 영상 및 깊이 정보를 이용한 3차원 객체 추적 장치.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    추출된 객체의 움직임을 화면에 디스플레이하기 위한 객체 움직임 디스플레이수단
    을 더 포함하는 다시점 영상 및 깊이 정보를 이용한 3차원 객체 추적 장치.
  5. 제 4 항에 있어서,
    객체가 영상으로부터 벗어날 경우에 대비하여 객체가 영상 내에서 가운데 영역에 위치하도록 상기 다시점 카메라의 위치를 조정하기 위한 다시점 카메라 제어 및 구동수단
    을 더 포함하는 다시점 영상 및 깊이 정보를 이용한 3차원 객체 추적 장치.
  6. 제 4 항에 있어서,
    상기 객체 영역 추출수단은,
    이전 프레임과 현재 프레임간 영상 및 깊이 맵 데이터를 사용하여 다음의 규칙에 의해 영상내 화소를 객체와 배경 화소로 분류하는 것을 특징으로 하는 다시점 영상 및 깊이 정보를 이용한 3차원 객체 추적 장치.
    if((curr_depth〉Th1) AND
    (image_diff〉Th2) AND Object
    Otherwise Background
    (여기서, "curr_depth"는 현재 프레임에서의 현재 화소 위치에 해당하는 깊이 맵의 값, "image_diff"는 현재 프레임과 이전 프레임의 현재 화소 위치에 해당하는 밝기 또는 색의 절대값 차이, 그리고 "depth_diff"는 현재 프레임과 이전 프레임의 현재 화소 위치에 해당하는 깊이 맵 값의 절대값 차이, "Th1, Th2"는 임계치로서 영상에 따라 경험적으로 결정되는 값임)
  7. 제 4 항에 있어서,
    상기 객체 움직임 추정수단은,
    이전 프레임에서 추출된 객체 영역 블록을 현재 프레임상에서 씌우고, 그 블록의 중심 화소를 현재 프레임의 동일 영역내 각 화소마다 위치시켜 이동하면서 유사함수를 계산하여, 이전 프레임의 객체 영역 블록과 가장 유사한 블록을 선택함으로써 객체의 움직임 벡터를 계산하는 것을 특징으로 하는 다시점 영상 및 깊이 정보를 이용한 3차원 객체 추적 장치.
  8. 제 4 항에 있어서,
    상기 객체 움직임 추정수단은,
    추출된 현재 프레임에서의 객체 영역과 다음 프레임의 객체 영역을 비교하여, 두 영역 중 작은 행과 열 크기를 갖는 블록에 대해 다음 프레임에서 검출된 블록 영역내 점들을 블록의 중심으로 선택하여 이동시켜가면서 유사함수를 계산하고, 이중 가장 유사도가 가장 높은 블록의 위치를 객체의 위치로 저장하고, 그 이동량을 객체의 움직임 벡터로 저장하여, 객체 존재 가능성이 큰 영역만 탐색함으로써 계산시간을 줄이면서 좀더 정밀한 움직임 벡터를 구하는 것을 특징으로 하는 다시점 영상 및 깊이 정보를 이용한 3차원 객체 추적 장치.
  9. 제 4 항에 있어서,
    상기 차폐 영역 처리수단은,
    차폐 영역으로 판단된 프레임에 대한 객체의 움직임 벡터를 무시하고, 객체가 차폐되지 않은 다른 시점 영상에서 구해진 움직임 벡터를 카메라 정보와 기반 행렬을 통한 투영에 의해 객체의 위치와 움직임 벡터를 구하는 것을 특징으로 하는 다시점 영상 및 깊이 정보를 이용한 3차원 객체 추적 장치.
  10. 3차원 객체 추적 장치에 적용되는 3차원 객체 추적 방법에 있어서,
    적어도 두 개의 비디오 카메라들(다시점 카메라)로부터 동일 시간에 취득된 영상의 프레임 데이터와, 상기 적어도 두 개의 비디오 카메라 중 깊이(depth) 카메라로부터 동일시간에 취득된 적어도 하나의 깊이 맵(depth map) 데이터로부터 각 시점의 카메라 초점 거리를 포함하는 카메라 정보, 시점간 위치와 방향에 대한 기반행렬을 구하는 카메라 보정단계;
    상기 카메라 정보와 상기 기반행렬, 이전 프레임과 현재 프레임의 다시점 영상 및 상기 깊이 맵 데이터를 이용하여, 영상내 배경으로부터 움직이는 객체 영역을 추출하기 위한 객체 영역 추출단계;
    추출된 객체 영역의 움직임 객체를 검출하여, 이 객체의 3차원 운동 벡터들을 구하기 위한 객체 움직임 추정단계; 및
    상기 객체 영역에서 차폐 영역을 검출하여, 이전 프레임과 현재 프레임의 역방향 움직임 추정을 통해 차폐로 인해 가려진 객체의 위치를 추정하기 위한 차폐 영역 처리단계
    를 포함하는 다시점 영상 및 깊이 정보를 이용한 3차원 객체 추적 방법.
  11. 제 10 항에 있어서,
    상기 기반행렬을 이용하여, 기준 카메라에 의해 취득된 영상의 에피폴라 선과 다른 시점의 카메라들에 의해 취득된 영상의 에피폴라 선이 일치하도록 영상을 보정하여, 두 영상간에 변이 지도를 구하거나, 움직임 추정시에 탐색 영역을 줄이는 다시점 영상 보정단계
    를 더 포함하는 다시점 영상 및 깊이 정보를 이용한 3차원 객체 추적 방법.
  12. 제 10 항 또는 제 11 항에 있어서,
    추출된 객체의 움직임을 3차원 공간상에 궤적 형태로 화면 표시하거나, 2차원 평면상에 투영하여 그 궤적을 화면 표시하는 객체 움직임 디스플레이단계
    를 더 포함하는 다시점 영상 및 깊이 정보를 이용한 3차원 객체 추적 방법.
  13. 제 12 항에 있어서,
    객체가 영상으로부터 벗어날 경우에 대비하여 객체가 영상 내에서 가운데 영역에 위치하도록 상기 다시점 카메라의 위치를 조정하기 위한 다시점 카메라 조정단계
    를 더 포함하는 다시점 영상 및 깊이 정보를 이용한 3차원 객체 추적 방법.
KR1020030097683A 2003-12-26 2003-12-26 다시점 영상 및 깊이 정보를 이용한 3차원 객체 추적 장치및 그 방법 KR100544677B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020030097683A KR100544677B1 (ko) 2003-12-26 2003-12-26 다시점 영상 및 깊이 정보를 이용한 3차원 객체 추적 장치및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020030097683A KR100544677B1 (ko) 2003-12-26 2003-12-26 다시점 영상 및 깊이 정보를 이용한 3차원 객체 추적 장치및 그 방법

Publications (2)

Publication Number Publication Date
KR20050066400A true KR20050066400A (ko) 2005-06-30
KR100544677B1 KR100544677B1 (ko) 2006-01-23

Family

ID=37257480

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020030097683A KR100544677B1 (ko) 2003-12-26 2003-12-26 다시점 영상 및 깊이 정보를 이용한 3차원 객체 추적 장치및 그 방법

Country Status (1)

Country Link
KR (1) KR100544677B1 (ko)

Cited By (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100738097B1 (ko) * 2005-09-23 2007-07-12 삼성전자주식회사 3차원 디스플레이를 위한 쿼리의 효율적 처리 방법 및 장치
KR100745691B1 (ko) * 2005-12-08 2007-08-03 한국전자통신연구원 차폐영역 검출을 이용한 양안 또는 다시점 스테레오 정합장치 및 그 방법
KR100795482B1 (ko) * 2006-11-23 2008-01-16 광주과학기술원 다시점 비디오에서 영상 정렬을 이용하여 상이한 시점의화면들을 압축 또는 복호하는 인코더와 인코딩하는 방법,디코더와 디코딩하는 방법 및 이를 이용한 저장매체
KR100891549B1 (ko) * 2007-05-22 2009-04-03 광주과학기술원 깊이 카메라를 이용하여 보완한 깊이 정보 생성 방법 및장치, 그리고 그 방법을 수행하는 프로그램이 기록된 기록매체
KR100922429B1 (ko) * 2007-11-13 2009-10-16 포항공과대학교 산학협력단 스테레오 영상을 이용한 사람 검출 방법
KR100931311B1 (ko) * 2006-12-04 2009-12-11 한국전자통신연구원 프레임 간 깊이 연속성 유지를 위한 깊이 추정 장치 및 그방법
KR100933304B1 (ko) * 2007-08-30 2009-12-22 중앙대학교 산학협력단 단일 카메라를 이용한 객체 정보 추정기, 그 방법, 상기 추정기를 포함하는 멀티미디어 기기 및 컴퓨터 기기, 및 상기 방법을 수행하기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록매체
WO2009157714A3 (en) * 2008-06-24 2010-03-25 Samsung Electronics Co., Ltd. Method and apparatus for processing three dimensional video data
KR20110003891A (ko) * 2009-07-06 2011-01-13 엘지이노텍 주식회사 자동 초점 조절을 이용한 영상촬상장치의 공간감지장치 및 공간감지방법
WO2011136405A1 (ko) * 2010-04-28 2011-11-03 (주)아이티엑스시큐리티 3ｄ 카메라를 이용한 영상인식장치 및 방법
WO2011136407A1 (ko) * 2010-04-28 2011-11-03 (주)아이티엑스시큐리티 스테레오 카메라를 이용한 영상인식장치 및 방법
KR101109695B1 (ko) * 2010-10-20 2012-01-31 주식회사 아이닉스 고속 오토 포커스 제어 장치 및 그 방법
WO2012133962A1 (ko) * 2011-03-25 2012-10-04 (주)아이티엑스시큐리티 스테레오 카메라를 이용한 3차원 동작 인식장치 및 인식방법
KR101320177B1 (ko) * 2011-10-24 2013-10-23 강원대학교산학협력단 깊이 센서를 이용한 팔 운동 측정 방법 및 이를 기록한 기록매체
WO2013155984A1 (en) * 2012-04-19 2013-10-24 Huawei Technologies Co., Ltd. Using depth information to assist motion compensation-based video coding
KR101337423B1 (ko) * 2012-09-18 2013-12-06 전남대학교산학협력단 깊이 정보와 움직임 정보를 이용한 움직임 객체 검출 및 추적방법
WO2014003602A1 (en) * 2012-06-29 2014-01-03 Obschestvo S Ogranichennoy Otvetstvennostyu "Computer Vision Systems" Stereo-approach distance and speed meter
KR101373604B1 (ko) * 2013-02-15 2014-03-12 전자부품연구원 다중 교정 기법을 이용한 카메라 교정 방법 및 이를 적용한 영상 시스템
KR101373718B1 (ko) * 2012-10-31 2014-03-14 성균관대학교산학협력단 3차원 영상에 대한 깊이 추정을 위한 스테레오 매칭 장치 및 방법, 및 상기 스테레오 매칭을 통한 3차원 영상 스트림 전송 장치 및 재생 장치
KR101371275B1 (ko) * 2012-11-05 2014-03-26 재단법인대구경북과학기술원 스테레오 영상 기반 다중 객체 추적 방법 및 이의 프로그램을 기록한 기록매체
KR101383988B1 (ko) * 2012-11-28 2014-04-10 정영규 3차원 카메라를 이용한 객체 인식 시스템 및 방법
WO2014062663A1 (en) * 2012-10-15 2014-04-24 Intel Corporation System and method for combining data from multiple depth cameras
WO2014084614A1 (ko) * 2012-11-27 2014-06-05 인텔렉추얼 디스커버리 주식회사 깊이 정보를 이용한 부호화/복호화 방법 및 장치
US8781256B2 (en) 2008-06-25 2014-07-15 Samsung Electronics Co., Ltd. Method to match color image and depth image using feature points
US8861874B2 (en) 2010-05-11 2014-10-14 Samsung Electronics Co., Ltd. Apparatus and method of encoding 3D image
KR101502683B1 (ko) * 2013-05-23 2015-03-17 경북대학교 산학협력단 3차원 센서를 이용한 강사 추적 시스템
CN104463906A (zh) * 2014-11-11 2015-03-25 广东中星电子有限公司 一种物体跟踪装置及其跟踪方法
KR101509012B1 (ko) * 2013-04-12 2015-04-06 조철연 구간 단위 강사 추적촬영시스템 및 그 방법
WO2015057038A1 (ko) * 2013-10-18 2015-04-23 엘지전자 주식회사 멀티-뷰 비디오의 디코딩 방법 및 장치
US9165211B2 (en) 2010-10-20 2015-10-20 Samsung Electronics Co., Ltd. Image processing apparatus and method
US9330470B2 (en) 2010-06-16 2016-05-03 Intel Corporation Method and system for modeling subjects from a depth map
US9477303B2 (en) 2012-04-09 2016-10-25 Intel Corporation System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
KR101694890B1 (ko) * 2016-03-29 2017-01-13 주식회사 비젼인 다시점 이차원 영상을 활용한 영상처리 시스템 및 방법
US9661227B2 (en) 2012-05-15 2017-05-23 Samsung Electronics Co., Ltd. Method, circuit and system for stabilizing digital image
KR20180022349A (ko) * 2016-08-24 2018-03-06 민코넷주식회사 카메라 정보 보정 방식의 게임 영상 리플레이 방법
US9910498B2 (en) 2011-06-23 2018-03-06 Intel Corporation System and method for close-range movement tracking
KR20190027435A (ko) * 2017-09-07 2019-03-15 동의대학교 산학협력단 평면모델링을 통한 깊이 영상 부호화에서 움직임 추정 방법 및 장치와 비일시적 컴퓨터 판독가능 기록매체
CN110163183A (zh) * 2019-05-30 2019-08-23 北京旷视科技有限公司 目标检测算法的评估方法、装置、计算机设备和存储介质
US11048333B2 (en) 2011-06-23 2021-06-29 Intel Corporation System and method for close-range movement tracking
KR20230020845A (ko) 2021-08-04 2023-02-13 현대자동차주식회사 전자장치 및 그의 객체 추적 방법

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100953076B1 (ko) 2007-12-13 2010-04-13 한국전자통신연구원 객체 또는 배경 분리를 이용한 다시점 정합 방법 및 장치
EP2348732A4 (en) * 2008-11-10 2012-05-09 Lg Electronics Inc METHOD AND DEVICE FOR PROCESSING VIDEO SIGNAL BY INTER-VIEW PREDICTION
KR101030317B1 (ko) 2008-12-10 2011-04-19 재단법인대구경북과학기술원 스테레오 비전을 이용하여 장애물을 추적하는 장치 및 방법
KR101203478B1 (ko) 2010-08-30 2012-11-21 전자부품연구원 유효구간 자동설정을 통한 유효대상 추출방법
US9367731B2 (en) * 2012-05-23 2016-06-14 Intel Corporation Depth gradient based tracking
KR101336139B1 (ko) 2012-06-11 2013-12-05 동의대학교 산학협력단 깊이 카메라를 이용한 움직임 추정 시스템 및 방법
KR101367673B1 (ko) 2012-07-03 2014-03-03 한밭대학교 산학협력단 깊이 카메라 정보를 이용한 색상 영상 시퀀스에 대한 움직임 추정 영역 설정 방법 및 그 설정 시스템
EP3011737A4 (en) 2013-06-20 2017-02-22 Thomson Licensing Method and device for detecting an object
KR102018528B1 (ko) 2015-11-18 2019-09-05 한국전자통신연구원 가변형 안테나 및 전파신호 탐지 장치
KR102415912B1 (ko) * 2020-09-24 2022-06-30 건양대학교 산학협력단 개인정보 보호 기능을 갖는 인공지능 생활 모니터링 시스템
KR102367782B1 (ko) 2021-07-12 2022-02-25 주식회사 인텔리빅스 객체추적장치 및 그 장치의 구동방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11252587A (ja) * 1998-03-03 1999-09-17 Matsushita Electric Ind Co Ltd 物体追跡装置
JP2001012946A (ja) * 1999-06-30 2001-01-19 Toshiba Corp 動画像処理装置及び方法
JP2001319235A (ja) * 2000-05-10 2001-11-16 Fumitake Onda モーションデータ作成装置
KR100331050B1 (ko) * 2000-06-01 2002-04-19 송종수 동영상 데이터상의 객체 추적 방법
JP2002024807A (ja) * 2000-07-07 2002-01-25 National Institute Of Advanced Industrial & Technology 物体運動追跡手法及び記録媒体
KR100480780B1 (ko) * 2002-03-07 2005-04-06 삼성전자주식회사 영상신호로부터 대상물체를 추적하는 방법 및 그 장치

Cited By (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100738097B1 (ko) * 2005-09-23 2007-07-12 삼성전자주식회사 3차원 디스플레이를 위한 쿼리의 효율적 처리 방법 및 장치
KR100745691B1 (ko) * 2005-12-08 2007-08-03 한국전자통신연구원 차폐영역 검출을 이용한 양안 또는 다시점 스테레오 정합장치 및 그 방법
KR100795482B1 (ko) * 2006-11-23 2008-01-16 광주과학기술원 다시점 비디오에서 영상 정렬을 이용하여 상이한 시점의화면들을 압축 또는 복호하는 인코더와 인코딩하는 방법,디코더와 디코딩하는 방법 및 이를 이용한 저장매체
KR100931311B1 (ko) * 2006-12-04 2009-12-11 한국전자통신연구원 프레임 간 깊이 연속성 유지를 위한 깊이 추정 장치 및 그방법
KR100891549B1 (ko) * 2007-05-22 2009-04-03 광주과학기술원 깊이 카메라를 이용하여 보완한 깊이 정보 생성 방법 및장치, 그리고 그 방법을 수행하는 프로그램이 기록된 기록매체
KR100933304B1 (ko) * 2007-08-30 2009-12-22 중앙대학교 산학협력단 단일 카메라를 이용한 객체 정보 추정기, 그 방법, 상기 추정기를 포함하는 멀티미디어 기기 및 컴퓨터 기기, 및 상기 방법을 수행하기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록매체
KR100922429B1 (ko) * 2007-11-13 2009-10-16 포항공과대학교 산학협력단 스테레오 영상을 이용한 사람 검출 방법
WO2009157714A3 (en) * 2008-06-24 2010-03-25 Samsung Electronics Co., Ltd. Method and apparatus for processing three dimensional video data
US8781256B2 (en) 2008-06-25 2014-07-15 Samsung Electronics Co., Ltd. Method to match color image and depth image using feature points
KR20110003891A (ko) * 2009-07-06 2011-01-13 엘지이노텍 주식회사 자동 초점 조절을 이용한 영상촬상장치의 공간감지장치 및 공간감지방법
WO2011136407A1 (ko) * 2010-04-28 2011-11-03 (주)아이티엑스시큐리티 스테레오 카메라를 이용한 영상인식장치 및 방법
WO2011136405A1 (ko) * 2010-04-28 2011-11-03 (주)아이티엑스시큐리티 3ｄ 카메라를 이용한 영상인식장치 및 방법
KR101139389B1 (ko) * 2010-04-28 2012-04-27 주식회사 아이티엑스시큐리티 스테레오 카메라를 이용한 영상인식장치 및 방법
KR101148029B1 (ko) * 2010-04-28 2012-05-24 주식회사 아이티엑스시큐리티 3ｄ 카메라를 이용한 영상인식장치 및 방법
US8861874B2 (en) 2010-05-11 2014-10-14 Samsung Electronics Co., Ltd. Apparatus and method of encoding 3D image
US9330470B2 (en) 2010-06-16 2016-05-03 Intel Corporation Method and system for modeling subjects from a depth map
KR101109695B1 (ko) * 2010-10-20 2012-01-31 주식회사 아이닉스 고속 오토 포커스 제어 장치 및 그 방법
US9165211B2 (en) 2010-10-20 2015-10-20 Samsung Electronics Co., Ltd. Image processing apparatus and method
WO2012133962A1 (ko) * 2011-03-25 2012-10-04 (주)아이티엑스시큐리티 스테레오 카메라를 이용한 3차원 동작 인식장치 및 인식방법
US11048333B2 (en) 2011-06-23 2021-06-29 Intel Corporation System and method for close-range movement tracking
US9910498B2 (en) 2011-06-23 2018-03-06 Intel Corporation System and method for close-range movement tracking
KR101320177B1 (ko) * 2011-10-24 2013-10-23 강원대학교산학협력단 깊이 센서를 이용한 팔 운동 측정 방법 및 이를 기록한 기록매체
US9477303B2 (en) 2012-04-09 2016-10-25 Intel Corporation System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
WO2013155984A1 (en) * 2012-04-19 2013-10-24 Huawei Technologies Co., Ltd. Using depth information to assist motion compensation-based video coding
US9584806B2 (en) 2012-04-19 2017-02-28 Futurewei Technologies, Inc. Using depth information to assist motion compensation-based video coding
US9661227B2 (en) 2012-05-15 2017-05-23 Samsung Electronics Co., Ltd. Method, circuit and system for stabilizing digital image
WO2014003602A1 (en) * 2012-06-29 2014-01-03 Obschestvo S Ogranichennoy Otvetstvennostyu "Computer Vision Systems" Stereo-approach distance and speed meter
KR101337423B1 (ko) * 2012-09-18 2013-12-06 전남대학교산학협력단 깊이 정보와 움직임 정보를 이용한 움직임 객체 검출 및 추적방법
WO2014062663A1 (en) * 2012-10-15 2014-04-24 Intel Corporation System and method for combining data from multiple depth cameras
KR20150043463A (ko) * 2012-10-15 2015-04-22 인텔 코포레이션 다수의 심도 카메라들로부터의 데이터를 결합하기 위한 시스템 및 방법
KR101373718B1 (ko) * 2012-10-31 2014-03-14 성균관대학교산학협력단 3차원 영상에 대한 깊이 추정을 위한 스테레오 매칭 장치 및 방법, 및 상기 스테레오 매칭을 통한 3차원 영상 스트림 전송 장치 및 재생 장치
KR101371275B1 (ko) * 2012-11-05 2014-03-26 재단법인대구경북과학기술원 스테레오 영상 기반 다중 객체 추적 방법 및 이의 프로그램을 기록한 기록매체
WO2014084614A1 (ko) * 2012-11-27 2014-06-05 인텔렉추얼 디스커버리 주식회사 깊이 정보를 이용한 부호화/복호화 방법 및 장치
KR101383988B1 (ko) * 2012-11-28 2014-04-10 정영규 3차원 카메라를 이용한 객체 인식 시스템 및 방법
KR101373604B1 (ko) * 2013-02-15 2014-03-12 전자부품연구원 다중 교정 기법을 이용한 카메라 교정 방법 및 이를 적용한 영상 시스템
KR101509012B1 (ko) * 2013-04-12 2015-04-06 조철연 구간 단위 강사 추적촬영시스템 및 그 방법
KR101502683B1 (ko) * 2013-05-23 2015-03-17 경북대학교 산학협력단 3차원 센서를 이용한 강사 추적 시스템
WO2015057038A1 (ko) * 2013-10-18 2015-04-23 엘지전자 주식회사 멀티-뷰 비디오의 디코딩 방법 및 장치
US10045048B2 (en) 2013-10-18 2018-08-07 Lg Electronics Inc. Method and apparatus for decoding multi-view video
CN104463906B (zh) * 2014-11-11 2018-09-28 广东中星电子有限公司 一种物体跟踪装置及其跟踪方法
CN104463906A (zh) * 2014-11-11 2015-03-25 广东中星电子有限公司 一种物体跟踪装置及其跟踪方法
KR101694890B1 (ko) * 2016-03-29 2017-01-13 주식회사 비젼인 다시점 이차원 영상을 활용한 영상처리 시스템 및 방법
KR20180022349A (ko) * 2016-08-24 2018-03-06 민코넷주식회사 카메라 정보 보정 방식의 게임 영상 리플레이 방법
KR20190027435A (ko) * 2017-09-07 2019-03-15 동의대학교 산학협력단 평면모델링을 통한 깊이 영상 부호화에서 움직임 추정 방법 및 장치와 비일시적 컴퓨터 판독가능 기록매체
CN110163183A (zh) * 2019-05-30 2019-08-23 北京旷视科技有限公司 目标检测算法的评估方法、装置、计算机设备和存储介质
KR20230020845A (ko) 2021-08-04 2023-02-13 현대자동차주식회사 전자장치 및 그의 객체 추적 방법

Also Published As

Publication number Publication date
KR100544677B1 (ko) 2006-01-23

Similar Documents

Publication Publication Date Title
KR100544677B1 (ko) 다시점 영상 및 깊이 정보를 이용한 3차원 객체 추적 장치및 그 방법
US10430995B2 (en) System and method for infinite synthetic image generation from multi-directional structured image array
US11727626B2 (en) Damage detection from multi-view visual data
KR101725060B1 (ko) 그래디언트 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
US9300947B2 (en) Producing 3D images from captured 2D video
US9165211B2 (en) Image processing apparatus and method
KR101776621B1 (ko) 에지 기반 재조정을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
KR101784183B1 (ko) ADoG 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
US9672634B2 (en) System and a method for tracking objects
KR100888081B1 (ko) 2차원 영상 신호의 3차원 영상 신호로의 변환 절차 및 변환장치
KR100953076B1 (ko) 객체 또는 배경 분리를 이용한 다시점 정합 방법 및 장치
CN109472820B (zh) 单目rgb-d相机实时人脸重建方法及装置
EP1857978A1 (en) Method, system and computer product for deriving three-dimensional information progressivly from a streaming video sequence
JP2018113021A (ja) 情報処理装置およびその制御方法、プログラム
El Ansari et al. Temporal consistent real-time stereo for intelligent vehicles
KR20170015299A (ko) 배경 추적을 통한 오브젝트 추적 및 분할을 위한 방법 및 장치
US11972556B2 (en) Mobile multi-camera multi-view capture
CN110738667A (zh) 一种基于动态场景的rgb-d slam方法和系统
KR101682137B1 (ko) 텍스처 및 움직임 감지를 사용한 시간적으로-일관된 변이 추정을 위한 방법 및 장치
Cagalaban et al. Multiple object tracking in unprepared environments using combined feature for augmented reality applications
Engler et al. Recursive 3D scene estimation with multiple camera pairs
KR101269022B1 (ko) 광흐름 기법을 이용한 스테레오 매칭 방법
KR20170077429A (ko) 동영상 분석 기반 주목도 지도 생성 방법 및 시스템
Pushpa et al. Multiple object detection and tracking in cluttered region with rational mobile area
KR20210142518A (ko) 동적 물체 탐지 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20110104

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20111208

Year of fee payment: 20