KR20050061115A - 카메라 움직임을 보상한 객체 움직임 추출 장치 및 그 방법 - Google Patents

카메라 움직임을 보상한 객체 움직임 추출 장치 및 그 방법 Download PDF

Info

Publication number
KR20050061115A
KR20050061115A KR1020030093206A KR20030093206A KR20050061115A KR 20050061115 A KR20050061115 A KR 20050061115A KR 1020030093206 A KR1020030093206 A KR 1020030093206A KR 20030093206 A KR20030093206 A KR 20030093206A KR 20050061115 A KR20050061115 A KR 20050061115A
Authority
KR
South Korea
Prior art keywords
camera
motion
coordinate system
movement
transformation
Prior art date
Application number
KR1020030093206A
Other languages
English (en)
Other versions
KR100574227B1 (ko
Inventor
권형진
허남호
안충현
이수인
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020030093206A priority Critical patent/KR100574227B1/ko
Publication of KR20050061115A publication Critical patent/KR20050061115A/ko
Application granted granted Critical
Publication of KR100574227B1 publication Critical patent/KR100574227B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Abstract

1. 청구범위에 기재된 발명이 속하는 기술분야
본 발명은 카메라 움직임을 보상한 객체 움직임 추출 장치 및 그 방법에 관한 것임.
2. 발명이 해결하려고 하는 기술적 과제
본 발명은 카메라와 객체의 움직임이 제 각각인 동적환경에서, 카메라 움직임을 보상한 각 객체의 순수 움직임(3차원 움직임)만을 분리할 수 있는 객체 움직임 추출 장치 및 그 방법을 제공하고자 함.
3. 발명의 해결 방법의 요지
본 발명은, 영상 객체 움직임 추출 장치에 있어서, 적어도 두 개의 영상프레임에서 영상의 움직임정보를 이용하여 객체와 배경영역을 분할하기 위한 움직임 분할수단; 각 영상프레임마다 상기 배경영역에서 내부 카메라 파라미터(카메라 좌표계)를 구하기 위한 카메라 캘리브레이션수단; 각 영상프레임당 상기 카메라 좌표계간의 카메라 움직임을 구하기 위한 카메라 움직임 추정수단; 각 영상프레임마다 상기 카메라 좌표계와 각 객체 좌표계 사이의 변환을 구하기 위한 카메라/객체 좌표계 변환수단; 및 카메라/객체간 좌표변환과 영상프레임간의 카메라 좌표변환으로부터 객체의 움직을 구하기 위한 객체 움직임 추정수단을 포함함.
4. 발명의 중요한 용도
본 발명은 카메라 움직임에서 객체 움직임을 분리하는 장치 등에 이용됨.

Description

카메라 움직임을 보상한 객체 움직임 추출 장치 및 그 방법{Apparatus and method for separating object motion from camera motion}
본 발명은 객체 움직임 추정 기술분야에 관한 것으로, 특히 카메라와 객체의 움직임이 제 각각인 동적환경에서, 카메라 움직임을 보상한 각 객체의 순수 움직임(3차원 움직임)만을 분리할 수 있는 객체 움직임 추출 장치 및 그 방법에 관한 것이다.
영상으로부터 3차원 공간을 복원하는 문제는 컴퓨터 비젼 분야에서 큰 비중을 차지하며, 이를 위한 여러 방법들이 현재 연구 진행되고 있다. 그러나, 이들 방법들은 보통 카메라와 객체 둘 중 하나를 고정시킨 환경으로 제한하거나, 카메라와 객체가 모두 움직이는 환경에서는 객체를 추적하는 방법만 제시할 뿐, 추적으로부터 객체만의 움직임을 분리하는 방법은 아직 제안되고 있지 않다.
여기서, 고정된 환경으로부터 카메라를 움직여 3차원 환경을 복원하는 방법은, SFM(Structure from Motion)이라 하여 오랫동안 연구되어 왔다. SFM은 카메라 캘리브레이션(calibration)을 수행한 후 3차원 구조를 복원하는 방법과, 카메라 캘리브레이션 정보없이 비보정된 카메라(uncalibrated camera)로부터 3차원 구조를 복원하는 두 가지 방법이 대표적이다.
첫 번째, 카메라 캘리브레이션(calibration)을 수행한 후 3차원 구조를 복원하는 방법은, 카메라 캘리브레이션 파라미터를 미리 안다고 가정한다. 이를 위해서, 센서를 사용하여 미리 측정하거나, 3차원 절대좌표를 알고 있는 마커(marker)로부터 카메라를 위치를 구하는 카메라 캘리브레이션을 수행한다. 이렇게 카메라의 3차원 위치를 알고 있다면, 공간상의 서로 다른 위치에서 획득한 영상을 이용하여 3차원 정보를 추출할 수 있다. 즉, 카메라의 보정 정보(calibration parameter)를 사용하여 3차원 공간상의 좌표와 영상상의 화소 좌표계 사이의 카메라 모델을 세운 후, 이 모델을 이용하여 카메라의 내부 변수(intrinsic parameter)와 외부 변수(extrinsic(pose) parameter)를 추출한 후 3차원정보를 추출한다.
두 번째, 카메라 캘리브레이션 정보없이 비보정된 카메라(uncalibrated camera)로부터 3차원 구조를 복원하는 방법은, 보정정보없이 영상만으로 3차원 복원으로 두 영상 사이에 존재하는 사영 투영하의 정보를 이용하는 방법이다. 이 방법은 두 영상 사이의 기하학적인 관계를 나타내는 기반(fundamental) 행렬을 구한 후 3차원 정보를 구한다. 이는 투영시의 카메라 모델에 관한 기하학적인 에피폴라 제약 조건(epipolar constraint)를 이용하는 것이다. 에피폴라 제약 조건의 수학적인 표현은 기반(fundamental) 행렬에 해당하며, 이는 사영 투영하의 두 영상 사이의 강체 제약 조건을 나타낸다. 그러나, 여기서 구해진 정보는 메트릭(metric)에 관한 정보가 아니라, 사영 변환(projective transform)하의 정보이다.
이와 같이, 비록 종래에도 영상으로부터 3차원 환경을 복원하는 다양한 방법들이 존재하였지만, 카메라나 객체 둘 중 어느 하나는 고정된 환경이며, 둘 다 움직이는 동적환경하에서 3차원 환경의 복원 시도는 아직 이루어지지 않았다. 따라서, 동적환경하에서 종래의 방법을 이용할 경우, 카메라와 객체의 움직임이 혼합된 형태로 표현되어서, 실제 객체의 움직임과는 차이가 있다. 따라서, 카메라와 객체의 움직임이 제 각각인 동적환경에서, 각 객체의 순수 움직임을 분리할 수 있는 방안이 절실히 요구된다.
본 발명은, 상기와 같은 요구에 부응하기 위하여 제안된 것으로, 카메라와 객체의 움직임이 제 각각인 동적환경에서, 카메라 움직임을 보상한 각 객체의 순수 움직임(3차원 움직임)만을 분리할 수 있는 객체 움직임 추출 장치 및 그 방법을 제공하는데 그 목적이 있다.
상기 목적을 달성하기 위한 본 발명은, 영상 객체 움직임 추출 장치에 있어서, 적어도 두 개의 영상프레임에서 영상의 움직임정보를 이용하여 객체와 배경영역을 분할하기 위한 움직임 분할수단; 각 영상프레임마다 상기 배경영역에서 내부 카메라 파라미터(카메라 좌표계)를 구하기 위한 카메라 캘리브레이션수단; 각 영상프레임당 상기 카메라 좌표계간의 카메라 움직임을 구하기 위한 카메라 움직임 추정수단; 각 영상프레임마다 상기 카메라 좌표계와 각 객체 좌표계 사이의 변환을 구하기 위한 카메라/객체 좌표계 변환수단; 및 카메라/객체간 좌표변환과 영상프레임간의 카메라 좌표변환으로부터 객체의 움직을 구하기 위한 객체 움직임 추정수단을 포함하여 이루어진 것을 특징으로 한다.
한편, 본 발명은 영상 객체 움직임 추출 장치에 적용되는 객체 움직임 추출 방법에 있어서, 적어도 두 개의 영상프레임에서 영상의 움직임정보를 이용하여 객체와 배경영역을 분할하기 위한 움직임 분할단계; 각 영상프레임마다 상기 배경영역에서 내부 카메라 파라미터(카메라 좌표계)를 구하기 위한 카메라 캘리브레이션단계; 각 영상프레임당 상기 카메라 좌표계간의 카메라 움직임을 구하기 위한 카메라 움직임 추정단계; 각 영상프레임마다 상기 카메라 좌표계와 각 객체 좌표계 사이의 변환을 구하기 위한 카메라/객체 좌표계 변환단계; 및 카메라/객체간 좌표변환과 영상프레임간의 카메라 좌표변환으로부터 객체의 움직을 구하기 위한 객체 움직임 추정단계를 포함하여 이루어진 것을 특징으로 한다.
또한, 본 발명은 상기 분리된 객체의 움직임을 절대 좌표계에서 표시하는 객체 움직임 표시단계를 더 포함하여 이루어진 것을 특징으로 한다.
본 발명은 카메라와 객체가 모두 움직이는 동적환경에서, 카메라와 객체의 움직임이 반영된 영상 시퀀스에서 카메라와 객체의 움직임을 분리하고자 한다. 이때, 객체만의 움직임을 분리하려면, 먼저 카메라의 3차원 움직임을 영상에 투영된 2차원 움직임으로부터 복원하여야 한다. 그러면, 객체의 움직임은 카메라와 객체의 움직임이 모두 반영되어 투영된 영상상의 움직임으로부터 카메라의 움직임을 분리함으로써 구할 수 있다.
본 발명에서는 이러한 동적환경에서 움직이는 객체의 3차원 움직임을 복원하는 것으로서, 기존의 정적환경에서 3차원 움직임을 복원하는 방법에도 적용하기 위해 객체와 배경을 분할하는 전처리 과정과, 카메라와 객체 움직임을 분리하는 후처리 과정을 통하여 동적환경으로 쉽게 일반화하였다.
상술한 목적, 특징들 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다.
이해를 돕기 위하여, 본 발명의 기술적인 원리를 전체적으로 설명하면 다음과 같다.
일반적으로, 보정정보 없이 영상만으로 3차원 복원으로 두 영상 사이에 존재하는 사영 투영하의 정보를 이용할 때, 구해지는 정보는 메트리(metric)에 관한 정보가 아니라, 사영 변환(projective transform)하의 정보이다.
따라서, 메트릭(metric) 복원을 하려면, 씬 제약조건(scene constraint)(즉, 평면상의 점이나 라인, 라인과 평면의 수직 또는 수평 조건 등)을 가지고 있어야 한다. 이러한 씬 제약조건을 일반화하여 제약조건을 모두 가지고 있는 기하학적 객체인 평행 육면체(parallelepiped)로부터의 투영이 있다면, 카메라 내부 파라미터를 구할 수 있으므로, 메트릭(metric) 복원을 할 수 있다. 그러나, 영상으로부터 씬 제약 조건을 추출할 수 없다면, 사영 변환하의 복원만이 가능하다. 또한, 메트릭(metric) 복원을 하기 위하여 반드시 평행 육면체를 사용하지 않고, 평행한 라인의 교점인 소실점과 카메라의 내부 파라미터를 제한시킴으로써 구할 수 있다. 최근 출시되는 카메라의 경우, 사각형 픽셀(square pixel)이나 제로 왜도(zero skewness)의 조건을 만족하므로, 이러한 조건을 아는 경우 부분적인 씬 제약조건만 가지고도 메트릭(metric) 복원을 할 수 있다.
따라서, 본 발명에서는 완전한 씬 제약조건을 만족시키기 위하여 평행 육면체(parallelepiped) 등의 3차원 구조를 미리 아는 마커(marker) 영상으로의 투영을 통하여 카메라 내부 파라미터를 구하거나, 부분적 씬 제약조건과 미리 알고 있는 카메라 내부 파라미터 정보를 이용하여 나머지 카메라 내부 파라미터(초점거리, principal point 위치)를 구하여, 메트릭(metric) 복원을 한다. 또한, 카메라 내부 파라미터를 구하였으면, 움직이는 객체의 좌표계를 아는 경우, 객체와 카메라 좌표계 사이의 변환을 구할 수 있다. 따라서, 본 발명에서는 각 객체마다 그 위에 3차원 메트릭(metric) 구조를 아는 특징점들을 포함하거나, 2차원 메트릭(metric) 구조위에 놓여 있는(한 평면상의 점으로 parameterization할 수 있는) 적어도 네 점을 이용하여 각 객체와 카메라 좌표계 변환을 구해낸다.
그러나, 환경하의 객체도 움직이는 경우에는(즉, 동적환경에서는), 위의 방법으로 3차원 복원을 할 수가 없는데, 그 이유는 두 뷰로부터 3차원 위치를 정하는 삼각법(triangulation)이 성립할 수 없기 때문이다. 만약, 배경영역으로부터 구해진 에피폴라 제약조건(epipolar constraint)을 그대로 이용한다면, 객체, 카메라 움직임이 하나로 반영된다. 바꿔 말하면, 에피폴라 제약조건(epipolar constraint)이 카메라의 움직임에만 관련있는 배경영역과 카메라 움직임과 객체 움직임 모두에 관련있는 객체 영역에 대해 다르게 나타나게 된다.
따라서, 본 발명에서는 객체와 카메라의 움직임의 분리시, 크게 카메라 움직임을 구하는 과정(도 2의 202,203)과, 이 카메라의 움직임을 이용하여 객체의 움직임을 분리하는 과정(도 2의 204,205)으로 나눈다. 이를 위해서, 카메라만의 움직임으로 나타나는 배경과 카메라와 객체의 움직임으로 나타나는 객체의 영역을 분할하는 과정(201)이 필수적이다.
이러한 분할을 가정하면, 분할된 배경영역은 기존의 SFM 방법을 이용하여 메트릭(metric) 복원이 가능하며, 복원하는 도중 카메라의 움직임도 알아 낼 수 있다(203). 또한, 객체의 경우는 평면 위에 있는 적어도 네 점과 배경에서 구해진 카메라 내부 파라미터를 이용하여 객체와 카메라 좌표계간의 강체 변환을 구할 수 있으므로(204), 좌표계 변환을 이용한 본 발명을 사용하여 객체의 움직임도 구할 수 있다(205). 이러한 분할을 하기 위해서 가장 좋은 경우는, 3차원 구조를 알고 있는 평행 육면체와 같은 마커(marker)가 존재하여 이로부터 카메라 캘리브레이션 및 객체 좌표계를 구해내는 것이다. 그러나, 마커(marker)의 조건을 완화시켜, 점, 라인의 평행, 수직관계를 미리 알고 있는 배경을 통해 카메라 내부 파라미터를 알아내는 셀프 캘리브레이션이 가능하고, 객체위에는 평면위의 적어도 네 점의 대응점만 알 수 있어도 본 발명을 사용하면 가능하다.
한편, 객체 위나 배경에 이러한 좌표계를 줄 수 있는 마커(marker)와 부분적 씬 제약조건을 주는 특징(feature)이 없는 경우에는, 유클리디안(Euclidean) 모션을 구해내지 못하고, 사영변환하의 모션밖에 알아 낼 수 없다. 따라서, 본 발명에서는 가장 많은 정보가 주어지는 각 객체와 배경에 좌표계를 줄 수 있는 마커(marker)가 존재하는 경우와, 조건을 완화하여 셀프 캘리브레이션 가능한 제약조건이 존재하는 환경하에서, 제약조건을 통해 카메라 내부 파라미터 및 움직임을 알아내고, 카메라와 객체간의 좌표계 변환을 통해 객체의 움직임을 알아낸다. 또한, 영상만으로 객체와 배경을 구분할 수 없는 경우에도, 수동으로 최소한의 국소 대응 영역을 지정하면 영역안에서 가장 정합이 잘되는 대응점이나 라인을 구해내어 에피폴라 제약조건(epipolar constraint)이나 씬 제약조건을 구한다. 이처럼 수동으로 대응점을 지정하는 것은, 알고리즘으로 구한 대응점이 실제와 다른 경우, 사용자가 interactive하게 대응점을 수정하여 자동 알고리즘이 실패하는 경우에 손쉽게 정확한 제약조건을 구할 수도 있게 한다.
마지막으로, 씬 제약조건을 만족하는 특징점이 없거나 부족한 영상의 경우를 위하여, 씬 대신 카메라 제약조건을 주어 객체 모션분리를 할 수 있게 한다. 씬 제약조건처럼 다양한 카메라 제약조건이 나올 수 있겠지만, 본 발명에서는 고정된 스테레오 카메라 한 쌍을 이용한다. 여기서, 고정의 의미는 카메라가 움직일 때, 두 카메라의 상대적인 시점(orientation)이 변하지 않고, 카메라 내부 파라미터도 변하지 않음을 뜻한다. 이러한 경우, 스테레오 카메라의 움직임은 무한평면(plane at infinity)을 결정하는 것이 되어, 싱글 카메라에서 3개의 소실점을 준것과 동치이며, 기존 SFM에서 어파인(affine) 복원까지 가능하게 된다. 이로부터 메트릭(metric) 복원을 하려면 "image of absolute conic"의 제약조건을 이용한 셀프 캘리브레이션을 이용하면 가능하다. 이러면, 결국 두 카메라의 상대적 외부 시점(orientation) 및 내부 파라미터를 구하게 된다. 그 다음은, 배경으로 분류된 모든 픽셀에 대해 대응점을 스테레오 정합을 통해 삼각법을 통해 픽셀의 3차원 좌표를 구하게 되며, 3차원 좌표를 구하면, 객체 위 대응점은 두 프레임 사이의 3차원 좌표변환을 하나의 강체 변환으로 표현하여, 객체의 움직임을 손쉽게 구하게 된다.
도 1 은 본 발명에 따른 카메라 움직임을 보상한 객체 움직임 추출 장치의 일실시예 구성도로서, 카메라 및 객체의 모션 분리 구조를 나타낸다.
도 3 은 동적 환경에서 두 장의 영상에서 나타나는 객체와 카메라간의 좌표계 변환 관계를 나타내는 것으로, 객체 움직임은 두 객체 좌표계의 변환으로 나타내며, 이 변환은 나머지 3개의 변환을 구해내면 선형합성 변환에 의해 구할 수 있다. 도 3에서, C1은 첫 번째 영상의 카메라 센타(카메라 좌표계 원점)의 위치, C2 는 두 번째 영상의 카메라 센타(카메라 좌표계 원점)의 위치, O1은 첫 번째 영상획득시 객체 좌표계 원점의 위치, 그리고 O2는 두 번째 영상획득시 객체 좌표계 원점의 위치를 각각 나타낸다.
본 발명에서는 카메라와 객체가 모두 움직이는 동적환경하에서, 카메라와 객체의 움직임이 반영된 영상 시퀀스로부터 카메라와 객체의 움직임을 분리한다.
이를 위해, 먼저 정지된 배경으로부터 카메라의 움직임 정보를 추출한다. 그리고, 추출된 카메라 움직임을 이용하여 객체만의 움직임을 분리한다. 이는 기존 방법을 이용하여, 정지된 환경에서 카메라 움직임과 환경의 3차원 구조를 복원할 수 있다. 또한, 객체에 좌표계를 줄 수 있는 마커(marker)가 있을 경우, 객체와 카메라간 강체변환도 기존 방법으로 구해낼 수 있다. 그러나, 기존 방법의 경우, 객체의 움직임을 구해내려면 정지된 배경으로부터 객체 좌표계의 움직임을 알아내야 하며, 이러한 경우 직접 정지된 절대좌표계로부터 객체 좌표계의 움직임을 매프레임마다 구하거나, 절대좌표계에 대한 카메라 좌표계의 움직임과 카메라 좌표계에 대한 객체좌표계의 변환을 구해 이들의 선형변환으로부터 간접적으로 절대좌표계로부터 객체 좌표계로의 변환을 매프레임마다 구해내야 한다. 이것이 가능하려면, 매프레임마다 절대좌표계를 나타내는 마커(marker)가 보여야 하는데, 이를 만족하려면 항상 마커(marker)가 보이도록 카메라 움직임을 제한시켜야 한다. 그러나, 카메라가 고정되었어도 객체가 마커(marker)를 가리게 되면, 객체 움직임을 구해내는 것이 불가능하게 된다.
그러나, 본 발명에서는 움직임을 구하고자 하는 객체에 초점을 맞추어 배경의 마커(marker)가 보이지 않거나, 마커(marker)가 없어 객체 좌표계의 움직임을 정지된 절대좌표계로부터 변환을 알지 못하더라도, 카메라 움직임과 객체와 카메라간 변환을 구하고, 이들의 선형합성변환으로 객체의 움직임을 구할 수 있다. 이는 절대좌표계를 주는 캘리브레이션 타겟이 없어도 임의로 첫 번째 영상의 카메라 위치 등으로 주고 객체의 움직임을 구할 수 있게 되고, 항상 보이지 않더라도 캘리브레이션 타겟이나 씬 제약조건이 존재한다면 이를 함께 사용하여 카메라 움직임정보를 보다 정확하게 구해낼 수 있게 할 수 있다. 단지, 모호성이 없이 유일한 객체 좌표계를 잡을 수 있는 객체위의 마커(marker)가 존재한다는 제약조건만 만족시키면 된다. 본 발명에 제시한 가장 손쉬운 마커(marker)는 평면위에 거울 대칭성을 지니지 않은 네 점이다. 또한, 만약 객체의 표면이 평평치 않고 곡선의 형상이라 하더라도 가상으로 자른 평면의 단면위의 네 점 이상을 마커(marker)로 지정해 놓으면, 그 객체의 움직임을 구해 낼 수 있음을 의미한다. 또한, 객체에 이런 마커(marker) 마저도 없는 경우에는 카메라에 제약조건을 주어 객체의 움직임을 구해내게 한다.
이로써, 카메라 움직임과 독립적으로 움직이는 객체에 대해서는 카메라 프레임에 대한 상대적인 움직임밖에 얻을 수 없었던 종래의 기술을 개선하여, 객체만의 움직임을 분리하고, 화면에 출력할 수 있게 됨으로써 정적 환경이상의 동적환경하에서 3차원 복원을 가능하게 한다.
도 1 및 도 3을 참조하여, 상기와 같은 특징을 갖는 본 발명에 따른 카메라 움직임을 보상한 영상 객체 움직임 추출 장치의 구성을 살펴보면, 적어도 두 개의 영상프레임(I1,I2)에서 영상의 움직임정보를 이용하여 객체와 배경영역을 분할하기 위한 움직임 분할부(11)와, 각 영상프레임마다 배경영역에서 내부 카메라 파라미터(카메라 좌표계)(K1,K2)를 구하기 위한 카메라 캘리브레이션부(12)와, 각 영상프레임당 카메라 좌표계간의 카메라 움직임(즉, I1에서 I2로의 카메라 움직임을 나타내는 강체 변환 )을 구하기 위한 카메라 움직임 추정부(13)와, 각 영상프레임마다 카메라 좌표계와 각 객체 좌표계 사이의 변환(즉, 각 영상에서 카메라/객체간 강체 변환 )을 구하기 위한 좌표계 변환부(14)와, 카메라/객체간 좌표변환(즉, 각 영상에서 카메라/객체간 강체 변환 )과 영상프레임간의 카메라 좌표변환(즉, I1에서 I2로의 카메라 움직임을 나타내는 강체 변환 )으로부터 객체의 움직임(즉, I1에서 I2로의 객체 움직임을 나타내는 강체 변환 )을 구하기 위한 객체 움직임 추정부(15)를 포함한다.
여기서, 객체 움직임 추정부(15)에서 분리된 객체의 움직임은 절대좌표계에 표시 가능하다. 따라서, 본 발명은 카메라와 객체의 움직임이 제 각각인 동적환경에서, 각 객체의 순수 움직임을 분리하여, 분리된 객체의 움직임만을 절대 좌표계에서 표시할 수 있다.
움직임 분할부(11)는 고정된 배경과 독립적으로 움직이는 객체의 영역을 분류함에 있어서, 배경과 객체에 이를 구분하는 마커(marker)가 있을 경우, 배경의 마커(marker)들의 에피폴라 제약조건(epipolar constraint)에 의해 에피폴(epipole)을 구하고, 그 에피폴(epipole)로 수렴하지 않는 이상치 픽셀(outlier pixel)을 분류하여, 배경과 나머지를 분류한다. 또한, 나머지 영역에 대해, 각 객체의 마커(marker)들에 대해 배경 분류 과정과 동일한 과정을 수행하여 해당 객체의 영역을 분류한다.
그리고, 움직임 분할부(11)는 고정된 배경과 독립적으로 움직이는 객체의 영역을 분류함에 있어서, 배경에 마커(marker)가 없는 경우, 에피폴라 제약조건(epipolar constraint)을 구하기 위해 사용자가 수동으로 두 프레임 영상에서 대응영역을 지정하면 그 영역안에서 가장 로컬 매칭(local matching)이 잘되는 대응점을 구하고(특징점 정합), 특징점으로 구한 에피폴(epipole)로 수렴하는 픽셀들을 배경으로 분류한다. 그리고, 배경이 아닌 이상치(outlier) 픽셀에 대해 배경 분류 과정과 동일과 과정을 수행하여 각 객체의 영역을 분류한다.
카메라 캘리브레이션부(12)는 카메라 내부 파라미터를 추출함에 있어서, 절대 좌표계에 대한 3차원 카메라 좌표계 및 카메라 내부 변수를 구하고(카메라 캘리브레이션), 3차원 절대 좌표계에 관한 정보가 없는 경우, 씬 제약조건이나 두 장 이상의 영상에서 특징점의 대응관계를 이용하여 카메라 내부 파라미터만을 구한다(셀프 캘리브레이션).
카메라 움직임 추정부(13)는 각 영상프레임당 카메라 좌표계간의 카메라 움직임을 계산함에 있어서, 3차원 절대 좌표계에 관한 정보가 있는 경우, 카메라 외부 파라미터로부터 카메라의 회전, 병진 움직임을 구하고, 절대 좌표계에 관한 정보가 없는 경우, 카메라 캘리브레이션부(12)에서 구한 카메라 내부 파라미터와 배경영역의 에피폴라 제약조건(epipolar constraint)으로부터 카메라의 회전, 병진 움직임을 구한다.
좌표계 변환부(14)는 카메라와 각 객체 좌표계간 변환을 통해 최소한의 점을 사용하여 객체 좌표계에 대한 카메라 좌표계의 자세를 계산한다. 이때, 절대 좌표계를 알 수 있는 3차원 표식이 없는 경우, 카메라 캘리브레이션부(12)의 결과를 이용하여 고정된 배경의 영역안의 화소만을 이용하여 세 개 이상의 영상프레임을 사용하여 카메라 내부 변수를 구하고(셀프 캘리브레이션), 셀프 캘리브레이션으로부터 구해진 카메라 파라미터와 객체상의 적어도 6개의 점(평면 위의 점인 경우 4개)의 대응점을 가지는 객체 좌표계를 이용하여 카메라와 객체간의 변환을 구한다.
객체 움직임 추정부(15)는 카메라 움직임과 좌표계 변환의 선형변환으로 객체의 3차원 움직임을 계산한다. 즉, 카메라 움직임 추정부(13)에서 구한 카메라 좌표계간의 변환과 좌표계 변환부(14)에서 구한 카메라와 객체간의 좌표계 변환의 결합 변환으로부터 객체의 움직임을 구한다.
상기와 같은 구성을 갖는 본 발명에 따른 카메라 움직임을 보상한 영상 객체 움직임 추출 장치의 동작을 도 2을 참조하여 살펴보기로 한다.
먼저, 움직임 분할부(11)에서 객체와 배경영역의 분할을 한다(201).
만약, 미리 알고 있는 마커(marker)가 있으면, 두 장에서 마커(marker)의 대응점들의 에피폴라 제약조건(epipolar constraint)을 만족하는 대응점 쌍(pairs)으로 분류를 한다.
한편, 마커(marker)가 없는 경우, 에피폴라 제약조건(epipolar constraint)을 만족하는 최소한의 대응점 쌍(pairs)을 수동/자동을 정해주고, 배경/객체 여부를 결정해준다.
그밖에, 좀 더 정확한 경계(motion boundary)는 다른 특징들(예를 들면, contour, color)를 결합하여 보정해준다.
이후, 분할된 배경과 객체의 영역에 대해 다음 과정을 거친다.
우선, 카메라 캘리브레이션부(12)에서는 배경에서 카메라 내부 파라미터를 얻어낸다(202).
만약, 마커(marker)가 주어진 경우, 이로부터 캘리브레이션을 하여 카메라 내부/외부 파라미터를 얻어내, 외부 파라미터로부터 카메라의 움직임을 즉시 구하고, 내부 파라미터를 객체의 pose estimation(객체와 카메라간 강체변환)에 이용한다.
그러나, 마커(marker)가 주어지지 않은 경우, 배경의 영역에서부터 자동으로 셀프 캘리브레이션을 하여야 한다. 이 방법은 기존의 비보정(uncalibrated) 카메라로부터의 SFM 방법을 이용하는데, 사영복원으로부터 메트릭 복원하려면 제약조건이 필요하다. 이때, 제약조건에는 앞서 설명한 유클리디안 공간의 정보(수직, 평행 조건 등) 같은 씬 제약조건, 카메라 모션정보 같은 카메라 외부변수 제약조건, 마지막으로 카메라 내부변수 제약조건 등이 있다. 보통 카메라 CCD를 정사각형 픽셀(pixel)로 간주하여 zero skew, aspect ratio=1로 제한시키면, 구해야 하는 파라미터는 principal point 2개와 focal length 1개만 구하면 된다. 보통, principal point를 영상 센터나 그 근처로 두고, focal length만 근사화하여 구한다. 이때, 근사화할 적절한 cost function을 주어 최적화를 수행하여 셀프 캘리브레이션을 수행한다.
이렇게 하여 카메라 내부변수(내부 파라미터)를 구하면(202), 메트릭 복원을 한 것이 되며, 구해진 유클리디안 사영행렬로부터 행렬 분할(matrix decomposition)을 하면 내부 파라미터 행렬과 외부 파라미터 행렬로 분할하게 되며, 카메라 움직임 추정부(13)에서는 이로부터 카메라의 위치를 구하게 된다(203).
이 방법 말고도 카메라 내부파라미터를 구하였으면, 에피폴라 제약조건(epipolar constraint)을 나타내는 기반행렬(fundamental matrix)로부터 두 카메라의 내부 파라미터 행렬을 분할하여 외부 파라미터만을 나타내는 행렬을 구해내게 되며, 이중 회전행렬의 직교성(orthogonality)을 이용하여 SVD(Singular Value Decomposition) 등의 방법을 사용하여 카메라의 위치를 나타내는 회전과 병진 운동성분을 구해낼 수도 있다. 그러면, 두 카메라의 위치를 나타내는 행렬들의 선형변환에 의해 카메라 움직임을 구해낸 것이 된다.
이제, 남은 부분은 객체의 움직임인데, 먼저 좌표계 변환부(14)에서는 카메라 캘리브레이션부(12)에서 구한 카메라 내부 파라미터로부터 얻은 카메라 사영모델을 이용하여 카메라와 객체 좌표계간의 변환, 즉 객체 좌표계에 대한 카메라의 pose 추정을 각 프레임마다 한다(204).
마지막으로, 객체 움직임 추정부(15)에서 객체의 움직임을 미리 구해진 카메라 객체간 변환 2개와 카메라 움직임의 선형변환으로 구한다(205).
기존의 방법에서는 객체의 위치(좌표계)를 절대좌표계에 대한 카메라 좌표계와 카메라와 객체간 좌표계 변환의 선형변환으로 구했으나, 이를 위해서는 절대좌표계의 원점이 항상보여야 한다. 그러나, 동적환경의 경우 카메라가 움직여 원점이 시야에서 사라지거나, 객체가 자유롭게 움직여 원점을 가리는 것 등이 빈번하게 발생하므로 제약이 많은 기존 방법을 보완하여, 본 발명은 원점을 굳이 정하지 않고도 객체의 움직임을 구할 수 있는 방법을 제시하였다.
도 3 은 객체의 움직임(좌표계 변환)이 카메라의 움직임과 객체와 카메라간 좌표계 변환들의 선형 변환으로부터 구해질 수 있음을 보여준다. 이들은 강체 변환으로 수학적으로 group에 속하며, 한 변환에 대한 역변환에 유일한 group의 성질때문에 객체의 움직임은 나머지 세 변환에 의해 유일하게 결정된다.
정리해 보면, 본 발명은 크게 3개의 경우로 나누어 각각에 대해 객체의 움직임을 분리하는 방법을 제안하였다.
첫째, 객체와 배경에 마커(marker)가 있는 경우, 배경의 마커(marker)로부터 카메라 캘리브레이션을 하여 카메라와 배경간 좌표계 변환 및 카메라의 움직임을 구해내는 제1 과정, 객체의 마커(marker)로부터 카메라 객체간 좌표계 변환을 알아내는 제2 과정, 상기 제1 과정의 카메라와 배경간 좌표계 변환과 상기 제2 과정의 카메라 객체간 좌표계 변환의 선형 변환으로 객체와 배경간 좌표계 변환, 즉 객체의 움직임을 알아내는 제3 과정으로 나눌 수 있다.
둘째, 객체에 한 평면위의 적어도 4점(일반적 3차원 공간은 6점)과, 배경에는 씬 제약조건을 가지고 있을 경우, 배경에서 씬 제약조건으로부터 카메라 내부 파라미터를 알아내기 위해 카메라 셀프 캘리브레이션하는 제1 과정, 상기 제1 과정에서 구해진 내부 파라미터를 이용하여 배경의 특징점으로 구한 에피폴라 제약조건(epipolar constraint)에서 카메라 움직임을 알아내는 제2 과정, 카메라 내부 파라미터와 평면 위의 적어도 4점으로부터 카메라와 객체간 좌표계를 알아내는 제3 과정, 상기 제2 및 제3 과정의 결과를 이용하여 객체의 움직임을 알아내는 제4 과정으로 나눌 수 있다.
셋째, 객체와 배경에 마커(marker)가 없는 경우에, 상대적인 시점(orientation)과 내부 파라미터가 고정된 스테레오 카메라를 사용하여 객체의 움직임을 복원하는 방법을 제시한다. 이는 캘리브레이션 타겟이나 씬 제약조건을 줄 수 없는 환경에서도 객체의 순수 움직임을 분리하기 위해 상대적 시점(orientation)과 내부 파라미터가 고정된 스테레오 카메라를 이용하여 카메라 제약조건을 줌으로써 가능하다.
즉, 스테레오 영상 쌍(pair)마다 사영복원(projective reconstruction)하는 제1 과정, 두 개의 사영복원 사이의 변환행렬을 배경, 객체 각각에 대해 구하는 제2 과정, 상기 제2 과정에서 구해진 변환행렬로부터 무한평면(plane at infinity)을 계산하여 어파인 복원(affine reconstruction)하는 제3 과정, 배경영역에서 메트릭(metric) 복원을 위해 셀프 캘리브레이션(Self-calibration)하고 이로부터 카메라 움직임을 구하는 제4 과정, 각 객체마다 메트릭(metric) 복원을 하고 이로부터 직접 객체 움직임을 구하는 제5 과정으로 나눌 수 있다.
이상에서와 같이, 본 발명은 하나(또는 한 쌍)의 카메라를 이용한 연속된 이미지의 해석을 통하여 3차원 공간상에 존재하는 움직이는 물체의 3차원 움직임을 복원할 수 있다. 이는 궁극적으로 카메라의 운동에 의한 동적 영상을 해석하여 카메라에 대해 상대적인 운동을 하는 물체의 검출과 그 물체의 3차원 공간상의 움직임 정보를 복원하는 것을 뜻한다.
기존의 영상기반 모델링 기법 등은 정적환경에서만 3차원 구조의 복원이 가능하나, 본 발명은 일반적인 동적환경까지 3차원 구조를 복원함을 의미한다.
기존의 3차원 구조를 복원하는 방법은 정교한 복원을 위하여 특수한 장비를 사용하며 대표적으로 레이저를 이용한 Structured Light 등이 있다. 이러한 방법은 대개 값비싼 장비가 필요하며 적용환경이 실내로 제한되는 등의 단점을 지니는 반면, 영상을 이용하는 방법들은 이러한 제한에 비교적 자유로운 편이다. 그러나, 이러한 영상을 이용하는 방법도 움직이는 객체의 구조를 복원하려면 카메라를 위치를 고정하는 등의 제한을 가해야 한다. 하지만, 실제의 환경은 이러한 제한을 가할 수 없는 동적환경이 무수히 존재한다. 예를 들어, 도로상의 차에서 다른 차와 충돌 검사, 운동경기에서의 선수나 공을 추적하는 영상, 무인 상점에서의 감시(surveillance)를 위한 움직이는 사람의 검출 및 추적 등이 있다.
이러한 동적환경에서 얻어진 영상에서 단순히 움직이는 물체의 검출이 아니라, 본 발명에서와 같이 그 움직임을 3차원 복원을 매프레임마다 해낸다면 유용한 정보를 제공할 수 있게 된다. 예를 들어, 도로상에서 카메라와 물체간 거리를 매프레임마다 알 수 있으므로, 차량의 자율 주행 시스템과 연동하여 차의 속도를 제어(control)할 수 있다. 또한, 액티브(active) 카메라 시스템에 쓰이면, 타겟(target) 객체의 움직임에 따라 카메라 시스템에 움직임이나 줌잉(zooming) 피드백을 주어 타겟을 놓치지 않고 추적이 가능하게 하는 등의 여러 분야에서 유용하게 사용될 수 있다.
상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다.
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.
상기한 바와 같은 본 발명은, 하나(또는 한 쌍)의 카메라를 이용한 연속된 이미지의 해석을 통하여 3차원 공간상에 존재하는 움직이는 물체의 3차원 움직임을 복원할 수 있는 효과가 있다.
이를 통해, 본 발명은 카메라 위치를 고정하는 등의 제한을 가하지 않고도, 혹은 제한을 가할 수 없는 환경, 예를 들어 도로상에서 차간 충돌검사, 운동경기에서의 선수나 공을 추적하는 영상, 무인 상점에서의 감시(surveillance)를 위한 움직이는 사람의 검출 및 추적 등에 활용 가능하며, 액티브(active) 카메라 시스템에 쓰이면, 객체의 움직임에 따라 카메라 시스템에 움직임이나 줌잉(zooming) 피드백을 주어 객체를 놓치지 않고 추적이 가능한 효과가 있다.
도 1 은 본 발명에 따른 카메라 움직임을 보상한 객체 움직임 추출 장치의 일실시예 구성도.
도 2 는 본 발명에 따른 카메라 움직임을 보상한 객체 움직임 추출 방법에 대한 일실시예 흐름도.
도 3 은 본 발명에 이용되는 동적환경에서 두 장의 영상에서 나타나는 객체와 카메라간의 좌표계 변환 관계를 나타낸 일실시예 설명도.
* 도면의 주요 부분에 대한 부호 설명
11 : 움직임 분할부 12 : 카메라 캘리브레이션부
13 : 카메라 움직임 추정부 14 : 좌표계 변환부
15 : 객체 움직임 추정부

Claims (12)

  1. 영상 객체 움직임 추출 장치에 있어서,
    적어도 두 개의 영상프레임에서 영상의 움직임정보를 이용하여 객체와 배경영역을 분할하기 위한 움직임 분할수단;
    각 영상프레임마다 상기 배경영역에서 내부 카메라 파라미터(카메라 좌표계)를 구하기 위한 카메라 캘리브레이션수단;
    각 영상프레임당 상기 카메라 좌표계간의 카메라 움직임을 구하기 위한 카메라 움직임 추정수단;
    각 영상프레임마다 상기 카메라 좌표계와 각 객체 좌표계 사이의 변환을 구하기 위한 카메라/객체 좌표계 변환수단; 및
    카메라/객체간 좌표변환과 영상프레임간의 카메라 좌표변환으로부터 객체의 움직을 구하기 위한 객체 움직임 추정수단
    을 포함하는 카메라 움직임을 보상한 객체 움직임 추출 장치.
  2. 제 1 항에 있어서,
    상기 움직임 분할수단은,
    고정된 배경과 독립적으로 움직이는 객체의 영역을 분류함에 있어서, 배경과 객체에 이를 구분하는 마커(marker)가 있을 경우, 배경의 마커(marker)들의 에피폴라 제약조건(epipolar constraint)에 의해 에피폴(epipole)을 구하고, 그 에피폴(epipole)로 수렴하지 않는 이상치 픽셀(outlier pixel)을 분류하여, 배경과 나머지를 분류하며, 나머지 영역에 대해, 각 객체의 마커(marker)들에 대해 배경 분류 과정과 동일한 과정을 수행하여 해당 객체의 영역을 분류하는 것을 특징으로 하는 카메라 움직임을 보상한 객체 움직임 추출 장치.
  3. 제 1 항에 있어서,
    상기 움직임 분할수단은,
    고정된 배경과 독립적으로 움직이는 객체의 영역을 분류함에 있어서, 배경에 마커(marker)가 없는 경우, 에피폴라 제약조건(epipolar constraint)을 구하기 위해 사용자가 수동으로 두 프레임 영상에서 대응영역을 지정하면 그 영역안에서 가장 로컬 매칭(local matching)이 잘되는 대응점을 구하고(특징점 정합), 특징점으로 구한 에피폴(epipole)로 수렴하는 픽셀들을 배경으로 분류하며, 배경이 아닌 이상치(outlier) 픽셀에 대해 배경 분류 과정과 동일한 과정을 수행하여 각 객체의 영역을 분류하는 것을 특징으로 하는 카메라 움직임을 보상한 객체 움직임 추출 장치.
  4. 제 1 항에 있어서,
    상기 카메라 캘리브레이션수단은,
    카메라 내부 파라미터를 추출함에 있어서, 절대 좌표계에 대한 3차원 카메라 좌표계 및 카메라 내부 변수를 구하고(카메라 캘리브레이션), 3차원 절대 좌표계에 관한 정보가 없는 경우, 씬 제약조건이나 두 장 이상의 영상에서 특징점의 대응관계를 이용하여 카메라 내부 파라미터만을 구하는(셀프 캘리브레이션) 것을 특징으로 하는 카메라 움직임을 보상한 객체 움직임 추출 장치.
  5. 제 1 항에 있어서,
    상기 카메라 움직임 추정수단은,
    각 영상프레임당 카메라 좌표계간의 카메라 움직임을 계산함에 있어서, 3차원 절대 좌표계에 관한 정보가 있는 경우, 카메라 외부 파라미터로부터 카메라의 회전, 병진 움직임을 구하고, 절대 좌표계에 관한 정보가 없는 경우, 상기 카메라 캘리브레이션수단에서 구한 카메라 내부 파라미터와 배경영역의 에피폴라 제약조건(epipolar constraint)으로부터 카메라의 회전, 병진 움직임을 구하는 것을 특징으로 하는 카메라 움직임을 보상한 객체 움직임 추출 장치.
  6. 제 1 항에 있어서,
    상기 카메라/객체 좌표계 변환수단은,
    카메라와 각 객체 좌표계간 변환을 통해 최소한의 점을 사용하여 객체 좌표계에 대한 카메라 좌표계의 자세를 계산하되, 이때 절대 좌표계를 알 수 있는 3차원 표식이 없는 경우, 상기 카메라 캘리브레이션수단의 결과를 이용하여 고정된 배경의 영역안의 화소만을 이용하여 세 개 이상의 영상프레임을 사용하여 카메라 내부 변수를 구하고(셀프 캘리브레이션), 셀프 캘리브레이션으로부터 구해진 카메라 파라미터와 객체상의 적어도 6개의 점(평면 위의 점인 경우 4개)의 대응점을 가지는 객체 좌표계를 이용하여 카메라와 객체간의 변환을 구하는 것을 특징으로 하는 카메라 움직임을 보상한 객체 움직임 추출 장치.
  7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
    상기 객체 움직임 추정수단은,
    카메라 움직임과 좌표계 변환의 선형변환으로 객체의 3차원 움직임을 계산하되, 상기 카메라 움직임 추정수단에서 구한 카메라 좌표계간의 변환과 상기 카메라/객체 좌표계 변환수단에서 구한 카메라와 객체간의 좌표계 변환의 결합 변환으로부터 객체의 움직임을 구하는 것을 특징으로 하는 카메라 움직임을 보상한 객체 움직임 추출 장치.
  8. 영상 객체 움직임 추출 장치에 적용되는 객체 움직임 추출 방법에 있어서,
    적어도 두 개의 영상프레임에서 영상의 움직임정보를 이용하여 객체와 배경영역을 분할하기 위한 움직임 분할단계;
    각 영상프레임마다 상기 배경영역에서 내부 카메라 파라미터(카메라 좌표계)를 구하기 위한 카메라 캘리브레이션단계;
    각 영상프레임당 상기 카메라 좌표계간의 카메라 움직임을 구하기 위한 카메라 움직임 추정단계;
    각 영상프레임마다 상기 카메라 좌표계와 각 객체 좌표계 사이의 변환을 구하기 위한 카메라/객체 좌표계 변환단계; 및
    카메라/객체간 좌표변환과 영상프레임간의 카메라 좌표변환으로부터 객체의 움직을 구하기 위한 객체 움직임 추정단계
    를 포함하는 카메라 움직임을 보상한 객체 움직임 추출 방법.
  9. 제 8 항에 있어서,
    상기 분리된 객체의 움직임을 절대 좌표계에서 표시하는 객체 움직임 표시단계
    를 더 포함하는 카메라 움직임을 보상한 객체 움직임 추출 방법.
  10. 제 8 항 또는 제 9 항에 있어서,
    상기 객체의 움직임을 구할 때,
    객체와 배경에 마커(marker)가 있는 경우,
    배경의 마커(marker)로부터 카메라 캘리브레이션을 하여, 카메라와 배경간 좌표계 변환 및 카메라의 움직임을 구해내는 카메라 캘리브레이션 단계;
    객체의 마커(marker)로부터 카메라 객체간 좌표계 변환을 알아내는 좌표계 변환단계; 및
    상기 카메라 캘리브레이션 단계의 카메라와 배경간 좌표계 변환과 상기 좌표계 변환단계의 카메라 객체간 좌표계 변환의 선형 변환으로 객체와 배경간 좌표계 변환, 즉 객체의 움직임을 알아내는 객체 움직임 추정단계
    를 포함하는 카메라 움직임을 보상한 객체 움직임 추출 방법.
  11. 제 8 항 또는 제 9 항에 있어서,
    상기 객체의 움직임을 구할 때,
    객체에 한 평면위의 적어도 4점(일반적 3차원 공간은 6점)과, 배경에는 씬 제약조건을 가지고 있을 경우,
    배경에서 씬 제약조건으로부터 카메라 내부 파라미터를 알아내기 위해 카메라 셀프 캘리브레이션하는 셀프 캘리브레이션 단계;
    상기 셀프 캘리브레이션 단계에서 구해진 내부 파라미터를 이용하여 배경의 특징점으로 구한 에피폴라 제약조건(epipolar constraint)에서 카메라 움직임을 알아내는 카메라 움직임 추정단계;
    카메라 내부 파라미터와 평면 위의 적어도 4점으로부터 카메라와 객체간 좌표계를 알아내는 좌표계 변환단계; 및
    상기 카메라 움직임 추정단계 및 상기 좌표계 변환단계의 결과를 이용하여 객체의 움직임을 알아내는 객체 움직임 추정단계
    를 포함하는 카메라 움직임을 보상한 객체 움직임 추출 방법.
  12. 제 8 항 또는 제 9 항에 있어서,
    상기 객체의 움직임을 구할 때,
    객체와 배경에 마커(marker)가 없는 경우, 상대적인 시점(orientation)과 내부 파라미터가 고정된 스테레오 카메라를 사용하여 객체의 움직임을 복원하되,
    스테레오 영상 쌍(pair)마다 사영복원(projective reconstruction)하는 사영복원단계,
    두 개의 사영복원 사이의 변환행렬을 배경, 객체 각각에 대해 구하는 변환행렬 추출단계;
    상기 변환행렬 추출단계에서 구해진 변환행렬로부터 무한평면(plane at infinity)을 계산하여 어파인 복원(affine reconstruction)하는 어파인 복원단계;
    배경영역에서 메트릭(metric) 복원을 위해 셀프 캘리브레이션(Self-calibration)하고, 이로부터 카메라 움직임을 구하는 카메라 움직임 추정단계; 및
    각 객체마다 메트릭(metric) 복원을 하고 이로부터 직접 객체 움직임을 구하는 객체 움직임 추정단계
    를 포함하는 카메라 움직임을 보상한 객체 움직임 추출 방법.
KR1020030093206A 2003-12-18 2003-12-18 카메라 움직임을 보상한 객체 움직임 추출 장치 및 그 방법 KR100574227B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020030093206A KR100574227B1 (ko) 2003-12-18 2003-12-18 카메라 움직임을 보상한 객체 움직임 추출 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020030093206A KR100574227B1 (ko) 2003-12-18 2003-12-18 카메라 움직임을 보상한 객체 움직임 추출 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20050061115A true KR20050061115A (ko) 2005-06-22
KR100574227B1 KR100574227B1 (ko) 2006-04-26

Family

ID=37253732

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020030093206A KR100574227B1 (ko) 2003-12-18 2003-12-18 카메라 움직임을 보상한 객체 움직임 추출 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR100574227B1 (ko)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100803611B1 (ko) * 2006-11-28 2008-02-15 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
KR100831941B1 (ko) * 2007-07-30 2008-05-23 (주)이미지프로텍 카메라의 광역 움직임 정보 추출방법
KR101309519B1 (ko) * 2012-02-21 2013-09-24 중앙대학교 산학협력단 객체 추적 장치 및 방법
KR101373718B1 (ko) * 2012-10-31 2014-03-14 성균관대학교산학협력단 3차원 영상에 대한 깊이 추정을 위한 스테레오 매칭 장치 및 방법, 및 상기 스테레오 매칭을 통한 3차원 영상 스트림 전송 장치 및 재생 장치
KR101451133B1 (ko) * 2010-02-10 2014-10-15 삼성테크윈 주식회사 모션 트래킹을 위한 영상 처리 방법 및 장치
KR20150013537A (ko) * 2012-05-18 2015-02-05 톰슨 라이센싱 파노라마 픽처 처리
US9161027B2 (en) 2012-10-29 2015-10-13 Electronics And Telecommunications Research Institute Method and apparatus for providing camera calibration
US9639913B2 (en) 2012-11-05 2017-05-02 Morpho, Inc. Image processing device, image processing method, image processing program, and storage medium
WO2019083068A1 (ko) * 2017-10-27 2019-05-02 한양대학교 산학협력단 투구 연습을 통한 3차원 정보 획득 시스템 및 카메라 파라미터 산출 방법
KR20190069958A (ko) * 2017-12-12 2019-06-20 연세대학교 산학협력단 동적 객체 검출 장치 및 방법

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100815159B1 (ko) * 2005-12-08 2008-03-19 한국전자통신연구원 다수의 카메라를 이용한 손 추적 3 차원 입력 장치 및 그방법
CN102256061B (zh) * 2011-07-29 2013-06-05 武汉大学 一种二维三维混合的视频稳定方法
KR101842546B1 (ko) * 2011-12-14 2018-03-28 한국전자통신연구원 실감 효과 검출 장치 및 방법
KR101446422B1 (ko) * 2013-04-05 2014-10-30 고려대학교 산학협력단 영상 감시 시스템 및 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2418810C (en) * 2001-06-15 2010-10-05 Sony Corporation Image processing apparatus and method and image pickup apparatus

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100803611B1 (ko) * 2006-11-28 2008-02-15 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
KR100831941B1 (ko) * 2007-07-30 2008-05-23 (주)이미지프로텍 카메라의 광역 움직임 정보 추출방법
KR101451133B1 (ko) * 2010-02-10 2014-10-15 삼성테크윈 주식회사 모션 트래킹을 위한 영상 처리 방법 및 장치
KR101309519B1 (ko) * 2012-02-21 2013-09-24 중앙대학교 산학협력단 객체 추적 장치 및 방법
KR20150013537A (ko) * 2012-05-18 2015-02-05 톰슨 라이센싱 파노라마 픽처 처리
US9161027B2 (en) 2012-10-29 2015-10-13 Electronics And Telecommunications Research Institute Method and apparatus for providing camera calibration
KR101373718B1 (ko) * 2012-10-31 2014-03-14 성균관대학교산학협력단 3차원 영상에 대한 깊이 추정을 위한 스테레오 매칭 장치 및 방법, 및 상기 스테레오 매칭을 통한 3차원 영상 스트림 전송 장치 및 재생 장치
US9639913B2 (en) 2012-11-05 2017-05-02 Morpho, Inc. Image processing device, image processing method, image processing program, and storage medium
WO2019083068A1 (ko) * 2017-10-27 2019-05-02 한양대학교 산학협력단 투구 연습을 통한 3차원 정보 획득 시스템 및 카메라 파라미터 산출 방법
US11166005B2 (en) 2017-10-27 2021-11-02 Industry-University Cooperation Foundation Hanyang University Three-dimensional information acquisition system using pitching practice, and method for calculating camera parameters
KR20190069958A (ko) * 2017-12-12 2019-06-20 연세대학교 산학협력단 동적 객체 검출 장치 및 방법

Also Published As

Publication number Publication date
KR100574227B1 (ko) 2006-04-26

Similar Documents

Publication Publication Date Title
CN108717712B (zh) 一种基于地平面假设的视觉惯导slam方法
CN110728715B (zh) 一种智能巡检机器人摄像机角度自适应调整方法
CN110568447B (zh) 视觉定位的方法、装置及计算机可读介质
US10789765B2 (en) Three-dimensional reconstruction method
US8208029B2 (en) Method and system for calibrating camera with rectification homography of imaged parallelogram
KR101961001B1 (ko) 단일-카메라 거리 추정
Clipp et al. Robust 6dof motion estimation for non-overlapping, multi-camera systems
JP3054681B2 (ja) 画像処理方法
US11348267B2 (en) Method and apparatus for generating a three-dimensional model
Dorfmüller Robust tracking for augmented reality using retroreflective markers
US20090167843A1 (en) Two pass approach to three dimensional Reconstruction
US20130176392A1 (en) Method And System For Determining Camera Parameters From A Long Range Gradient Based On Alignment Differences In Non-Point Image Landmarks
US20120308114A1 (en) Voting strategy for visual ego-motion from stereo
Nair et al. Moving obstacle detection from a navigating robot
KR100574227B1 (ko) 카메라 움직임을 보상한 객체 움직임 추출 장치 및 그 방법
KR101544021B1 (ko) 3차원 지도 생성 장치 및 3차원 지도 생성 방법
US20100128972A1 (en) Stereo matching processing system, stereo matching processing method and recording medium
KR20220113781A (ko) 환경의 지형을 측정하는 방법
KR102065337B1 (ko) 비조화비를 이용하여 대상체의 이동 정보를 측정하는 장치 및 방법
CN111402315A (zh) 一种自适应调整双目摄像机基线的三维距离测量方法
JP2005141655A (ja) ３次元モデリング装置及び３次元モデリング方法
JP3221384B2 (ja) 三次元座標計測装置
Mair et al. Efficient camera-based pose estimation for real-time applications
CN113011212B (zh) 图像识别方法、装置及车辆
Thangarajah et al. Vision-based registration for augmented reality-a short survey

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120330

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20130325

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20150417

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20160420

Year of fee payment: 11

LAPS Lapse due to unpaid annual fee