KR20140108828A - 카메라 트래킹 장치 및 방법 - Google Patents

카메라 트래킹 장치 및 방법 Download PDF

Info

Publication number
KR20140108828A
KR20140108828A KR1020130022520A KR20130022520A KR20140108828A KR 20140108828 A KR20140108828 A KR 20140108828A KR 1020130022520 A KR1020130022520 A KR 1020130022520A KR 20130022520 A KR20130022520 A KR 20130022520A KR 20140108828 A KR20140108828 A KR 20140108828A
Authority
KR
South Korea
Prior art keywords
feature point
dimensional
feature points
unit
feature
Prior art date
Application number
KR1020130022520A
Other languages
English (en)
Inventor
유정재
장경호
김해동
김혜선
반윤지
김명하
변주희
장호욱
남승우
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020130022520A priority Critical patent/KR20140108828A/ko
Priority to US14/102,096 priority patent/US20140241576A1/en
Publication of KR20140108828A publication Critical patent/KR20140108828A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 카메라 트래킹 장치로, 입력되는 2차원 영상을 복호화하여 하나 이상의 영상 프레임을 획득하는 시퀀스 영상 입력부와, 상기 시퀀스 영상 입력부에 의해 획득된 영상 프레임 각각에서 특징점을 추출하고, 상기 추출된 특징점과 이전 영상 프레임에서 추출된 특징점들을 비교하여, 유사하다고 판단되는 특징점들을 연결하여 특징점 궤적을 획득하는 2차원 특징점 추적부와, 상기 2차원 특징점 추적부에 의해 획득된 특징점 궤적을 복원하는 3차원 복원부를 포함한다.

Description

카메라 트래킹 장치 및 방법{APPARATUS AND METHOD OF CAMERA TRACKING}
본 발명은 카메라 트래킹 장치 및 방법으로, 입력된 2차원 동영상으로부터 영상이 촬영될 당시의 카메라 움직임 및 정적 배경 영역에 포함되는 특징점들의 3차원 좌표를 예측하는 장치 및 방법에 관한 것이다.
영상 기반 카메라 트래킹이란 입력된 2차원 동영상으로부터 카메라 움직임 정보 및 정적 배경 영역의 3차원 포인트 정보를 추출하는 기술을 의미한다.
영화, 광고 방송 콘텐츠 등의 제작과정에서 CG(Computer Graphic) 요소를 실사 영상에 삽입하는 합성시스템은 촬영 카메라의 움직임 정보를 인지하고, 그 움직임 정보에 따라 CG 작업 공간에서 가상의 카메라를 동일한 방식으로 이동시키며, CG 객체를 랜더링해야 한다. 이때, 사용되는 카메라 움직임 정보와 실제 촬영 당시의 카메라 움직임이 정확히 일치해야만 실사 영상과 CG 요소가 동일한 공간에서 촬영된 것과 같은 효과를 줄 수 있다. 따라서, 촬영 당시의 카메라의 이동, 회전 정보를 추출하는 영상 기반 카메라 트래킹 작업이 필요하다.
영화 제작 현장에서는 Boujou, PFtrack와 같은 상용 매치무빙 소프트웨어를 이용하여 카메라 트래킹 작업을 해결하는 것이 일반적이다. 이러한 카메라 트래킹 은 입력된 2차원 동영상으로부터 양안 시차 입체영상을 생성하는 2D to 3D 입체변환 작업으로, 로토스코핑(Rotoscoping), 깊이지도 생성, 홀 페인팅의 3단계로 구성된다. 입체 영상 시청시의 피로감을 줄이기 위해서는 깊이지도(depth map) 생성단계에서 카메라 움직임으로 인한 움직임 시차(motion parallax)와 양안 시차(stereoscopic parallax)간에 일관성있는 깊이감을 생성해야 한다. 이를 위해 깊이지도 생성단계에서는 먼저 입력된 2차원 동영상에서 카메라 트래킹을 수행하여 3차원 공간에서 카메라 움직임과 배경영역의 포인트 좌표를 계산하고, 이러한 공간정보와 일관된 깊이 지도를 반자동 또는 수작업 방식으로 생성한다.
Multiple-View Geometry(MVG)에 기반한 카메라 트래킹 방식은 입력된 시퀀스 영상으로부터 2차원 특징점 궤적을 추출하는 2차원 특징점 추적(feature tracking) 단계, 이러한 특징점 궤적의 3차원 공간에서의 일관된 기하학적 특성을 이용하여 카메라 움직임 정보 및 3차원 포인트 좌표를 계산하는 3차원 복원 단계, 그리고 최적화를 위한 무리조정(Bundle Adjustment) 단계로 구성된다.
2차원 특징점 추적 단계에서는 추적을 위한 최적의 특징점을 검출하고 피라미드 영상에서의 LKT ( Lucas Kanade Tomsi ) 추적을 활용하는 특징점 추적(Feature tracking)방식이 많이 이용되었다. 근래에는 긴 카메라 중심 이동거리(base-line)에 강인한 SIFT ( Scale Invariant Feature Transform ) 와 속도를 향상시킨 SURF (Speed Up Robust Feature ) 등이 개발되어 카메라 트래킹 및 증강현실 애플리케이션 등에 활용되고 있다. 3차원 복원 단계는 Hartley가 추출된 2차원 특징점 궤적으로부터 필수행렬(fundamental matrix)과 사영행렬(projection matrix)를 계산하여 카메라 움직임 및 3차원 포인트를 계산하는 Structure from Motion(이하 SfM) 방식을 집대성하였으며, Pollefeys는 핸드헬드 캠코더 동영상을 입력으로 하는 영상 기반 카메라 트래킹 기술을 발표하였다. 3단계 무리조정 단계에서는 희소행렬(sparse matrix)을 이용하여 예측된 카메라 정보와 3차원 포인트에 의해 다시 사영된 추정위치와 2차원 추적 단계에서의 관찰 위치 간의 오차를 최소화하는 희소 무리조정(sparse bundle adjustment) 방식이 사용된다.
CG/실사 합성 및 2D to 3D 입체변환 작업에서 고품질의 결과물을 얻기 위해서는 동적 객체에 의한 정적 배경 가려짐(occulsion), 흐려짐(Blurring) 등과 같은 다양한 2차원 동영상 입력 조건에서 카메라 트래킹 및 3차원 복원이 가능해야 한다. 즉, 신뢰도 높은 3차원 복원 결과물을 얻기 위해서는 위와 같은 문제 상황에서 파편처럼 끊어지는 특징점 궤적을 자동으로 연결하는 기능이 필요하다. 또한, 카메라의 갑작스러운 흔들림 등으로 인해 대부분의 특징점 궤적이 끊어지는 경우 3차원 복원을 수행하면 해당 프레임의 전후로 단절된 독립된 2개의 3차원 복원 결과를 얻게 되는 문제가 있다.
본 발명은 동적 객체에 의한 정적 배경 가려짐(occulsion), 흐려짐(Blurring) 등과 같은 다양한 2차원 동영상 입력 조건에서 파편적으로 끊어지는 특징점 궤적을 자동으로 연결하여 3차원 복원의 정확도 및 효율성을 개선하기 위한 카메라 트래킹 장치 및 방법을 제안한다.
본 발명은 카메라의 갑작스러운 흔들림 등으로 인해 대부분의 특징점 궤적이 끊어지는 경우에 발생되는 단절된 독립된 2개의 3차원 복원 결과를 방지하기 위한 카메라 트래킹 장치 및 방법을 제안한다.
본 발명은 카메라 트래킹 장치로, 입력되는 2차원 영상을 복호화하여 하나 이상의 영상 프레임을 획득하는 시퀀스 영상 입력부와, 상기 시퀀스 영상 입력부에 의해 획득된 영상 프레임 각각에서 특징점을 추출하고, 상기 추출된 특징점과 이전 영상 프레임에서 추출된 특징점들을 비교하여, 유사하다고 판단되는 특징점들을 연결하여 특징점 궤적을 획득하는 2차원 특징점 추적부와, 상기 2차원 특징점 추적부에 의해 획득된 특징점 궤적을 복원하는 3차원 복원부를 포함한다.
본 발명은 카메라 트래킹 방법으로, 입력되는 2차원 영상을 복호화하여 하나 이상의 영상 프레임을 획득하는 단계와, 상기 획득된 영상 프레임 각각에서 특징점을 추출하고, 상기 추출된 특징점과 이전 영상 프레임에서 추출된 특징점들을 비교하여, 유사하다고 판단되는 특징점들을 연결하여 특징점 궤적을 추적하는 단계와, 상기 획득된 특징점 궤적을 3차원으로 복원하는 단계를 포함한다.
본 발명은 영상 기반 카메라 트래킹 장치를 이용할 경우 동적 객체에 의한 정적 배경 가려짐(occulsion), 흐려짐(Blurring) 등으로 파편적으로 끊어지는 특징점 궤적을 자동으로 연결하여 결과적으로 특징점 궤적이 존재하는 프레임 영역의 카메라 중심거리(base-line)를 확장하게 되어 삼각법에 의해 계산된 3차원 포인트의 정확도가 향상된다.
또한, 카메라의 갑작스러운 흔들림 등으로 인해 대부분의 특징점 궤적이 끊어지는 경우, 기존의 카메라 트래킹 방식으로 3차원 복원을 수행하면 해당 프레임의 전후로 단절된 2개의 3차원 복원 결과를 얻게 되는 문제가 있었다. 본 발명에서는 이러한 상황에서 효율적으로 다수의 특징점들을 집단적으로 연결하는 편집 기능을 제공함으로써 상기 문제 상황에서도 일관된 3차원 복원 결과를 얻는 것이 가능하다.
또한, 개선된 키프레임 선택 방법을 제공함으로써 입력된 동영상을 3차원 복원하기 위해 최소 갯수의 키프레임 구간 복원을 처리하며 일부 프레임 구간에서 카메라의 이동(translation) 없이 순수 회전(rotation) 움직임만 존재하는 동영상에 대해서도 자동으로 처리 가능하다.
또한, 본 발명의 결과물은 CG/실사 합성 작업 및 입력된 2차원 동영상으로부터 양안시차( Stereoscopic) 입체 동영상을 생성하는 2D to 3D 입체변환 작업에서 입력 2차원 동영상으로부터 3차원 공간 정보를 추출하기 위한 수단으로 활용될 수 있다.
도 1은 본 발명의 일 실시 예에 따른 카메라 트래킹 장치의 구성도이다.
도 2a 및 도 2b는 마스크 영역 생성의 일 예를 도시한 도면이다.
도 3은 블록 영역에 따라 차별화된 신규 특징점을 추가하는 예시도이다.
도 4는 프레임별 특징점 궤적 분포의 일 예이다.
도 5a 내지 도 5d는 특징점 궤적 선택의 예시도이다.
도 6a 및 도 6b는 사라진 다수의 특징점들이 재관찰되는 경우의 예시도이다.
도 7a 및 도 7b는 선택 영역의 대략적인 위치 및 형태 변화 지정을 도시한 도면이다.
도 8a 및 도 8b는 매칭 범위 및 매칭 결과를 도시한 도면이다.
도 9는 본 발명의 일 실시 예에 따른 3차원 복원부의 상세 구성을 도시한 도면이다.
도 10a 및 도 10b는 2차원 특징점 추적 및 3차원 복원, 무리조정 결과 가시화한 도면이다.
도 11은 본 발명의 일 실시 예에 따른 카메라 트래킹 방법을 설명하기 위한 순서도이다.
이하, 첨부된 도면을 참조하여 기술되는 바람직한 실시 예를 통하여 본 발명을 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 기술하기로 한다.
본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명 실시 예들의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
명세서 전반에 걸쳐 사용되는 용어들은 본 발명 실시 예에서의 기능을 고려하여 정의된 용어들로서, 사용자 또는 운용자의 의도, 관례 등에 따라 충분히 변형될 수 있는 사항이므로, 이 용어들의 정의는 본 발명의 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시 예에 따른 카메라 트래킹 장치의 구성도이다.
도 1을 참조하면, 카메라 트래킹 장치는 시퀀스 영상 입력부(110), 2차원 특징점 추적 준비부(120), 2차원 특징점 추적부(130), 3차원 복원 준비부(140), 3차원 복원부(150), 무리조정부(160) 및 결과 출력부(170)를 포함한다.
우선, 이해를 돕기 위한 본 발명의 개략적인 특징에 대해 언급하면, 2차원 특징점 추적부(130)에서는 Good features, LKT를 이용하는 광류 추정(Optical Flow Estimation) 방식이 아닌 각각의 프레임에서 SURF와 같은 특징점을 검출한 후, 전후 프레임 또는 일정 범위 내의 인접 프레임에서 유사한 특징점을 찾아 연결하는 특징 매칭(feature matching) 방식을 사용한다. 이러한 방식은 2차원 특징점 추적부(130)에서 전경 객체에 의한 가려짐, 흐려짐 등으로 인해 궤적이 끊어지는 특징점을 일정 시간 범위 내에서 자동으로 재연결 가능하다는 장점이 있다. 또한, 2차원 특징점 추적 후, 3차원 복원 준비부(140)에서 극심한 카메라 흔들림, 흐려짐 등으로 인해 다수의 특징점들이 집단적으로 사라진 후, 일정 시간 경과 후에 재관찰되는 경우, 작업자의 GUI 개입을 통하여 끊어진 카메라 궤적을 연결 가능하다는 장점을 갖는다. 이하 발명의 구체적인 설명에서는 편의상 SURF 특징점 검출 및 매칭을 예시로 설명하겠지만, SIFT를 비롯한 유사 특징점 검출, 매칭 방식을 활용하여도 본 발명의 효과를 얻을 수 있다.
도 1을 참조하면, 시퀀스 영상 입력부(110)는 입력되는 2차원 영상을 로딩하여 복호화하고, 사용할 프레임별 영상 데이터를 획득한다. 여기서, 2차원 영상은 JPG, TIF 등의 연속된 2차원 스틸 영상 또는 Mpeg, AVI, MOV 등의 2차원 동영상일 수 있다. 따라서, 시퀀스 영상 입력부(110)는 각각의 영상 포맷에 적합하도록 복호화를 수행한다.
2차원 특징점 추적 준비부(120)는 2차원 특징점 추적부(130)에서 사용될 알고리즘 파라미터 값을 조정하고, 마스크 영역을 생성한다. 이때, 조정되는 파라미터들은 특징점 검출의 민감도, 매칭할 인접 프레임 범위, 매칭 임계값 등이 포함될 수 있다. 또한, 최종 카메라 트래킹 결과물의 정확도 향상 및 연산 속도 향상을 위해서는 3차원 복원에서 사용될 2차원 특징점 궤적이 동적인 전경 객체 영역이 아닌 정적인 배경 영역에서만 추출되어야 하므로, 동적인 전경 객체 영역이 마스킹된다. 이에 대한 상세한 설명은 도 2를 참조하여 후술하기로 한다.
2차원 특징점 추적부(130)는 시퀀스 영상 입력부(110)에 의해 획득된 영상 프레임들 각각에서 특징점을 추출하고, 추출된 특징점을 이전 영상 프레임에서 추출된 특징점과 비교하여, 유사하다고 판단되는 특징점들을 연결하여 특징점 궤적을 획득한다. 일 실시 예에 따라, 2차원 특징점 추적부(130)는 SURF(Speeded Up Robust Features) 특징점을 추출하고, 특징점들 간의 SURF descriptor를 비교하는 SURF matching을 수행하여 발견된 유사 특징점을 연결한다. SURF matching에 대한 상세한 설명은 후술하기로 한다.
또한, 2차원 특징점 추적부(130)는 현재 프레임에서 검출된 특징점들 중 인접 프레임과의 비교 후에도 연결되지 않은 특징점들을 현재 프레임에서 새롭게 발견된 신규 특징점으로 간주하여, 현재 프레임에서부터 시작되는 새로운 특징점 궤적으로 추가한다. 이때, 모든 신규 특징점을 추가하는 것이 아니라, 입력 영상을 소정 개수의 블록들로 구분하고, 각 블록별로 소정 개수의 특징점 궤적을 포함할 수 있도록 신규 특징점을 추가된다. 이에 대한 상세한 설명은 도 3을 참조하여 후술하기로 한다.
2차원 특징점 추적부(130)는 추가된 신규 특징점을 이전 프레임에서의 특징점과 비교하여 연결한다.
2차원 특징점 추적부(130)는 전술한 바와 같은 연결에 의한 특징점 궤적을 획득하는데, 특징점 궤적 분포에 대해 도 4를 참조하여 후술하기로 한다.
3차원 복원 준비부(140)는 3차원 복원부(150)를 위한 옵션을 조정하고, 파라미터 값을 지정한다. 이를 위해 3차원 복원 준비부(140)는 영상 픽셀 크기 및 Film Back(영상을 촬영한 카메라 내부 CCD 센서의 물리적인 크기)을 영상 파일로부터 자동으로 로딩하여 화면에 디스플레이하고 하고, 사용자로부터의 입력을 통해 조정하도록 할 수 있다. 또한, 카메라 움직임 및 초점거리에 대한 사전 정보에 대해서도 사용자의 입력을 통해 조정한다.
또한, 3차원 복원 준비부(140)는 2차원 특징점 추적부(130)의 결과를 사용자가 편집하도록 할 수 있다. 이에 대해 두 가지 편집 기능을 제공한다.
첫 번째 편집 기능으로, 3차원 복원 준비부(140)는 특징점 블록(상하, 좌우 일정 범위 내의 특징점 주변 영역 픽셀)의 변화 또는 특징점 추적부(130)의 정량적인 결과인 오차 그래프를 화면에 디스플레이하고, 사용자의 입력에 의해 불필요한 특징점 궤적들을 선택하고 제거하도록 한다. 이에 대한 상세한 설명은 도 5를 참조하여 후술하기로 한다.
두 번째 편집 기능으로, 극심한 카메라 흔들림, 카메라에 근접한 전경객체에 의한 가려짐 등으로 인해 대부분의 특징점 궤적이 단절된 경우, 3차원 복원 준비부(140)는 화면에 편집 UI를 디스플레이하고, 사용자 입력에 의해 다수의 특징점들을 그룹 매칭하고 연결하도록 한다. 이에 대한 상세한 설명은 도 6 내지 도 8의 단계별 예시도를 들어 후술하기로 한다.
3차원 복원부(150)는 상기 획득된 특징점 궤적을 3차원으로 복원한다. 3차원 복원부(150)의 상세 구성을 도 9를 참조하여 후술하기로 한다.
무리조정부(160)는 2차원 특징점 추적부(130)에서 획득한 모든 프레임에서 특징점 궤적 좌표와 3차원 복원부(150)에서 계산된 결과에 따라 사영시켰을 때의 추정 좌표간의 오차합이 최소가 되도록 3차원 복원부(150)의 계산 결과값을 조정한다.
결과 출력부(170)는 2차원 특징점 추적부(130)의 결과인 특징점 궤적을 영상 평면에 중첩시켜 화면에 디스플레이하고, 무리조정부(160)의 결과인 카메라 움직임 정보와 3차원 포인트를 3차원 공간상에서 도시한다. 결과 출력부(170)에 의해 출력되는 화면을 도 10을 참조하여 후술하기로 한다.
그러면, 도 2 내지 도 10을 참조하여 본 발명의 구성에 대해 좀 더 상세히 살펴보기로 한다.
도 2a 및 2b는 마스크 영역 생성의 일 예를 도시한 도면이다.
마스크 영역은 영상에서 동적인 전경 객체 영역으로, 동적인 전경 객체 영역이란 사람, 동물, 자동차와 같이 움직이는 객체가 2차원 영상에서 점유하는 영역을 의미한다. 반대로, 정적인 배경 영역이란 건물, 산, 나무, 벽과 같이 고정된 배경 요소가 2차원 영상에서 점유하는 영역을 의미한다.
2차원 특징점 추적 준비부(120)는 사용자로부터 입력된 정보에 따라, 도 2a에 도시된 바와 같이 마스크 키프레임을 지정하고, 각각의 마스크 키프레임에서의 마스크 영역을 구성하는 컨트롤 포인트 위치를 지정한다. 그리고, 2차원 특징점 추적 준비부(120)는 도 2b에 도시된 바와 같이 마스크 영역 전체의 회전, 이동 정보를 부여하여 마스크 영역을 생성한다. 또한, 키프레임들간의 영역 프레임에서는 선형 보간법으로 컨트롤 포인트 위치를 계산하여 마스크 영역을 생성한다. 또한, 마스크 영역은 동적인 전경 객체 영역을 포함하는 유사한 다른 방식으로 생성될 수 있으며, 미리 추출된 객체 레이어 영역 정보가 임포팅되는 방식으로 사용될 수도 있다.
다음으로 SURF matching에 대해 상세히 살펴보기로 한다. 본 실시 예에서는 편의상 SURF matching을 사용하였으나 이와 다른 특징점 검출 및 매칭 방식을 사용하여도 유사하게 본 발명의 목적을 달성할 수 있다.
SURF matching은 영상 간의 기하학적 일관성을 고려하지 않고, 각각의 특징점 주변 영역 픽셀에서의 유사도만 고려하므로 필수행렬 및 호모그래피행렬을 계산하여 외재(outlier)하는 특징점 쌍은 배제하고, 내재(inlier)하는 특징점 쌍들만을 연결한다. 구체적으로 설명하면, 두 인접 프레임 t, t+1 프레임 간에 검출된 SURF 특징점을 SURF descriptor를 비교하여 다수의 특징점 쌍을 획득하고, 이들을 입력으로 RANSAC 알고리즘을 수행하여 t, t+1 프레임 영상 간의 필수행렬 및 호모그래피행렬을 계산한다. 계산된 필수행렬과 호모그래피 행렬중 inlier 특징점 쌍 갯수가 더 많은 행렬을 기준행렬로 간주하고, inlier로 분류된 특징점 쌍들에 대해서 t+1 프레임에서 특징점 궤적을 연장하고, outlier로 분류된 특징점 쌍들은 연결하지 않는다. 필수행렬, 호모그래피 행렬을 계산하는 방법과 RANSAC 알고리즘, inlier, outlier 개념은 알려진 내용이므로, 여기서는 상세한 설명을 생략한다.
또한, t, t+1 프레임 영상 간에 필수행렬이 기준행렬인 경우 해당 프레임간의 카메라 움직임을 이동+회전(translation + rotation)으로 기록하고, 호모그래피 행렬이 기준행렬인 경우 회전(rotation)으로 기록하며, 이 기록된 정보는 이후 3차원 복원부(150)에서 활용된다.
t프레임에서 유사 특징점이 발견되지 않은 t+1 프레임에서 검출된 특징점들은 2차원 특징점 추적 준비부(120)에서 설정한 인접 프레임 범위 안에서, 가까운 프레임부터 순차적으로 해당 프레임에서 끊어진 특징점 궤적 중 유사한 특징점이 존재했었는지 탐색하여 연결한다.
이 과정에서 outlier를 배제하기 위해서 하기의 <수학식 1>을 이용하여 호모그래피 행렬을 누적하여 inlier로 분류된 특징점 쌍들만을 연결한다.
<수학식 1>
Figure pat00001
예컨대, t 프레임과 t+M 프레임간에 N개의 특징점 쌍들이 발견되면. 누적 호모그래피 행렬 Ht ,t+M을 상기 <수학식 1>과 같이 계산하고, 이러한 Ht ,t+M에서 inlier로 분류되는 특징점 쌍들만을 t, t+M 프레임간에 연결한다.
도 3은 블록 영역에 따라 차별화된 신규 특징점을 추가하는 예시도이다.
도 3을 참조하면, 블록 21, 22, 31에는 현재 포함되는 특징점 궤적이 거의 없는 상태이므로, 신규 특징점들이 새로운 특징점 궤적으로 추가된다. 그러나, 블록 43, 44, 45에는 이미 충분한 특징점 궤적이 포함되므로, 신규 특징점이 있더라도 추가되지 않는다. 이러한 방식으로 특징점 궤적을 추가함으로써 가급적 공간적으로 균일하게 특징점 궤적이 분포할 수 있도록 신규 특징점을 추가한다.
도 4는 상기의 방식으로 끊어진 특징점 궤적을 연결했을 때 최종적으로 구해지는 프레임별 특징점 궤적 분포의 일 예이다.
도 4를 참조하면, 특징점 궤적들은 입력된 시퀀스 영상의 90프레임에서 새롭게 추가된 것들이다. 세로축은 특징점 궤적의 인덱스 축이며 가로축은 프레임이다. Natural35175는 90프레임에서 추가된 후, 2프레임 동안 관찰되지 않다가 93프레임에서부터 재관찰되면서, 23프레임 동안 일관되게 추적되고, 이후 다시 나타났다가 사라지기를 수차례 반복한다.
2차원 특징점 추적부(130)의 이러한 특성은 동적 객체에 의한 정적 배경 가려짐(occulsion), 흐려짐(Blurring) 등과 같은 용인으로 인해 특징점 궤적이 끊어지고, 수 프레임 후 동일 특징점이 다시 관찰되었을 때 자동으로 연결한다. 결과적으로 각각의 특징점 궤적이 존재하는 영상들의 카메라 중심거리(base-line)가 길어지는 효과가 발생하고, 3차원 복원부(150)에서 해당 특징점 궤적의 3차원 좌표를 계산할 때 정확도를 향상시키는 효과를 얻는다.
도 5a 내지 도 5d는 특징점 궤적 선택의 예시도이다.
도 5를 참조하면, 3차원 복원 준비부(140)의 첫 번째 편집 기능인 영상 창 또는 오차 그래프 창에서 제거할 특징점 궤적들을 선택하는 방법의 예를 도시한다.
도 5a 및 도 5b에 도시된 바와 같이, 사용자가 볼 수 있도록 특징점 궤적들이 디스플레이된 화면을 디스플레이하고, 사용자로부터의 입력에 따라 범위를 지정하여 특징점 궤적들을 선택할 수 있다. 도 5 (c),(d)에 도시된 바와 같이, 사용자로부터 오차 그래프 창에서 범위를 지정하여 해당 범위 안에 오차 그래프가 걸치는 특징점 궤적들을 선택할 수 있다.
또한, 두 가지 선택방법을 단계적으로 결합하여 사용할 수 있다. 도 5의 (a), (b)에 도시된 바와 같이, 영상에서 고려할 특징점 군을 먼저 설정하고, 오차 그래프 창에서 선택된 특징점 군에 대한 오차 그래프만을 도시한 후 도 5의 (c),(d)에 도시된 바와 같이, 오차그래프 창에서 범위를 설정하여 제거할 특징점들을 선택한다.
반대로, 도 5c 및 도 5d에 도시된 바와 같이, 오차 그래프 창에서 고려한 특징점 궤적 군을 우선 설정하고, 해당 군에 속하는 특징점 궤적들만을 영상 창에서 도시하고 선택하여 제거할 특징점 궤적들을 선택할 수 있다.
도 6a 및 도 6b는 다수의 사라진 특징점들이 재관찰되는 경우의 예시도이다.
도 6a는 5프레임에서의 특징점 위치이고, 도 6b는 21 프레임에서의 특징점 위치를 도시하고 있다. 5 프레임에서 관찰되었던 특징점들이 이후 몇 프레임동안 극심한 블러링으로 인해 모두 사라지고, 21프레임에서 특징점들로 다시 검출된 경우가 도시된다.
도 7a 및 도 7b는 선택 영역의 대략적인 위치 및 형태 변화 지정을 도시한 도면이다. 여기서는 GUI를 통하여 작업자가 그룹 매칭을 수행할 특징점 그룹을 선택하고, 두 프레임간 특징점 그룹의 변위를 대략적으로 지정하는 예를 도시한다.
도 7a는 5프레임 영상에서의 선택 영역을 도시한 도면이고, 도 7의 (b)는 21 프레임 영상에서 선택 영역이 배치된 도면이다.
도 7a에 도시된 점선 박스는 작업자로부터 GUI를 이용하여 그룹 매칭을 수행할 특징점 그룹 영역으로 설정된 영역이다.
도 7b를 참조하면, 5 프레임 영상에서 설정한 선택영역 내의 영상이 21 프레임 영상에서 중첩되어 보이면서, 5프레임에서의 선택 영역이 21프레임에서 배치될 위치를 대략적으로 지정하는 모습이다. 작업자는 도 7b의 GUI를 이용하여 선택영역에 대하여 2차원 projective transformation를 나타내는 3X3 호모그래피 행렬 H group를 정의한다.
도 8a 및 도 8b는 매칭 범위 및 매칭 결과를 도시한 도면이다.
도 8a를 참조하며, 내부가 채워져 있는 포인트는 앞서 계산된 Hgroup에 따라 5프레임에서 선택된 특징점들 {x}5의 21프레임에서의 추정 위치 {x' } 5를 도시한 모습이고, 내부가 채워져 있지 않은 포인트는 21프레임에서 검출된 특징점{x}21들이다. 이때, {x}5,{x' } 5의 x, x' 5 에 대해 x' ~ H group*x 관계가 성립된다. 도 8a의 점선 박스는 {x' } 5의 각 특징점 좌표 주변으로 매칭을 수행할 탐색 범위를 도시하며, 이 범위 내에 {x}21에 포함되는 특징점이 존재하는 경우 SURF deccriptor matching을 수행하여 가장 유사한 특징점을 찾아 동일 특징점 궤적으로 연결한다.
탐색 범위내에 {x}21에 속하는 특징점이 존재하지 않거나, 존재하더라도 가장 유사한 특징점과의 매칭 결과로 얻어진 유사도가 일정한 임계(threshold) 값 이하이면 해당 특징점 궤적은 21프레임에서 연결하지 않는다.
도 8b의 화살표는 이러한 매칭 과정을 거쳐 동일 특징점 궤적으로 확인된 포인트간의 관계를 화살표로 도시한 모습이다.
도 9는 본 발명의 일 실시 예에 따른 3차원 복원부의 상세 구성을 도시한 도면이다.
도 9를 참조하면, 3차원 복원부(150)는 세부적으로 키프레임 선택부(151), 초기구간 복원부(152), 연속구간 복원부(153), 카메라 사영행렬 계산부(154) 및 3차원 복원 조정부(155)를 포함한다.
키프레임 선택부(151)는 수 프레임에서 수십 프레임 간격으로 키프레임을 추출한다. 초기구간 복원부(152)는 최초 두 키프레임으로 이루어진 구간에서 3차원 복원을 수행한다. 연속구간 복원부(153)는 초기구간 이후로 이어지는 키프레임 구간에서 3차원 복원을 확장한다. 카메라 사영행렬 계산부(154)는 키프레임을 제외한 나머지 중간 프레임들에서의 카메라 사영행렬을 계산한다.
3차원 복원 조정부(155)에서는 전체 프레임에서의 카메라 사영행렬과 복원 3차원 포인트 좌표를 재사영 오차(reprojection error)합이 최소가 되도록 최적화 한다.
이때 키프레임들에 의해서 구분되는 구간은 최초 3차원 복원을 수행하고 이후 단계적으로 확장해 가는 기준이 된다. 그런데, MVG(Multiple-View Geometry)의 SfM(Structure from Motion)에 기반하여 2차원 영상으로 3차원 복원을 하는 알고리즘 결과의 정확도는 촬영 카메라의 이동(translation)으로 인해 발생하는 움직임 시차(motion parallax)량에 의존한다. 그러므로, 키프레임들에 의해서 구분되는 각각의 프레임 구간들이 일정량 이상의 카메라 이동량을 포함할 수 있도록 키프레임 선택부에서 키프레임들을 선택해야 한다.
키프레임 선택부(151)에서는 먼저 1프레임을 첫번째 키프레임 Key1로 간주하고, 하기의 <수학식 2>에서 계산된 R을 계산하여 두번째 키프레임 Key2로 설정한다.
<수학식 2>
Figure pat00002
상기 <수학식 2>에서 x는 영상 평면에서의 좌표 (x,y)T 이며, (x,y)는 2차원 특징점 추적부(130)의 결과인 특징점 궤적의 가로축, 세로축 좌표를 의미한다. Median()은 입력받은 원소들을 크기순으로 정렬하였을 때 순서상 중앙에 배치되는 원소를 반환하는 함수이다.
상기 <수학식 2>에 의해, Key1, Key2 가 계산된 후, 다시 Key2를 <수학식 2>에서의 시작프레임 1프레임으로 간주하고, <수학식 2>에서 다시 R을 계산하여 세번째 키프레임 Key3 = Key2 +R로 설정하며, 이러한 작업을 반복하여 전체 프레임 구간에서 키프레임들을 계산한다.
초기구간 복원부(152)는 키프레임 선택부(151)에서 계산된 Key1, Key2 프레임에서 두 프레임에서 관찰되는 특징점 궤적들을 추출하여 두 프레임에서의 특징점 좌표 집합 {x}key1 ,{x}key2를 구성하고, 이로부터 기본행렬(essential matrix)을 계산하고, 다시 이로부터 두 프레임에서의 카메라 사영행렬 Pkey1 ,Pkey2를 계산하고 삼각법에 의해서 {x}key1 ,{x}key2에 대응하는 {X}key1 , key2를 계산하여 {X}old로 설정한다. 이때 x는 영상 평면에서의 좌표 (x,y)T이며 X는 3차원 공간에서의 좌표 (X,Y,Z)T이다. x 는 2차원 특징점 추적부(130)의 결과인 특징점 궤적의 좌표를 의미하고 X는 3차원 공간에서 복원된 좌표를 의미한다.
연속구간 복원부(153)는 초기 구간 이후의 프레임 구간 Keyn +1에서 관찰되는 특징점 좌표 집합 {x}key _n+ 1와 이전 구간에서 복원된 {X}old 중 교차되는 정보를 이용하여 P key _n+1을 계산한다. 그리고 {x}key _n ,{x}key _n+1중 {X}old 와 교차되지 않은 데이터들로부터 {X}new를 새롭게 계산하고 {X}old ={X}old +{X}new로 갱신하며 이러한 작업을 1 < n < Nkey-1 인 모든 n에 대해서 반복한다. (Nkey 은 키프레임 갯수)
카메라 사영행렬 갱신부(154)는 키프레임을 제외한 프레임들에서의 카메라 사영행렬을 계산한다. 키프레임 제외한 각각의 프레임, Fcur에서 관찰된 특징점 좌표 {x}cur와 연속구간 복원부(153)에서 계산된 {X}old 간에 교차되는 정보의 2차원, 3차원 대응 관계로부터 카메라 사영행렬 P cur를 계산한다.
3차원 복원부(150)에서는 모든 프레임에서의 카메라 사영행렬 집합 {P} 에 최적화도록 복원된 3차원 포인트 집합 {X}old 를 조정한다.
무리조정부(160)에서는 2D 특징점 추적부에서 얻어진 모든 프레임에서 특징점 궤적 좌표 {x}와 3D 복원부에서 계산된 {X}old 를 {P} 에 따라 사영시켰을때의 추정 좌표간의 오차합이 최소가 되도록 {X}old, {P}의 값을 조정하며 구현을 위한 구체적인 내용은 [1]의 Appendix 6을 참조하기 바란다.
결과 출력부(170)는 2D 특징점 추적부의 결과인 특징점 궤적을 영상 평면에 중첩시켜 도시하고(도 10a) 무리조정부의 결과인 카메라 움직임 정보와 3D 포인트를 3차원 공간상에서 도시한다. 도 10b 또한 특징점 궤적과 카메라 움직임, 3차원 포인트 데이터를 Maya, NukeX와 같은 상용툴에서 임포팅 가능한 포맷으로 변환하여 엑스포팅하는 기능을 제공한다.
도 10a 및 도 10b는 2차원 특징점 추적 및 3차원 복원, 무리조정 결과 가시화한 도면이다.
도 11은 본 발명의 일 실시 예에 따른 카메라 트래킹 방법을 설명하기 위한 순서도이다.
도 11을 참조하면, 1010 단계에서 카메라 트래킹 장치는 입력되는 2차원 영상을 로딩하여 복호화하고, 사용할 프레임별 영상 데이터를 획득한다. 여기서, 2차원 영상은 JPG, TIF 등의 연속된 2차원 스틸 영상 또는 Mpeg, AVI, MOV 등의 2차원 동영상일 수 있다. 따라서, 각각의 영상 포맷에 적합하도록 복호화된다.
1020 단계에서 카메라 트래킹 장치는 2차원 특징점 추적 단계에서 사용될 알고리즘 파라미터 값을 조정하고, 마스크 영역을 생성한다. 이때, 조정되는 파라미터들은 특징점 검출의 민감도, 매칭할 인접 프레임 범위, 매칭 임계값 등이 포함될 수 있다. 또한, 최종 카메라 트래킹 결과물의 정확도 향상 및 연산 속도 향상을 위해서는 3차원 복원에서 사용될 2차원 특징점 궤적이 동적인 전경 객체 영역이 아닌 정적인 배경 영역에서만 추출되어야 하므로, 동적인 전경 객체 영역이 마스킹된다.
1030 단계에서 카메라 트래킹 장치는 상기 획득된 영상 프레임들 각각에서 특징점을 추출하고, 추출된 특징점을 이전 영상 프레임에서 추출된 특징점과 비교하여, 유사하다고 판단되는 특징점들을 연결하여 특징점 궤적을 획득한다. 일 실시 예에 따라, SURF(Speeded Up Robust Features) 특징점을 추출하고, 특징점들 간의 SURF descriptor를 비교하는 SURF matching을 수행하여 발견된 유사 특징점을 연결한다. 또한, 카메라 트래킹 장치는 현재 프레임에서 검출된 특징점들 중 인접 프레임과의 비교 후에도 연결되지 않은 특징점들을 현재 프레임에서 새롭게 발견된 신규 특징점으로 간주하여, 현재 프레임에서부터 시작되는 새로운 특징점 궤적으로 추가한다. 이때, 모든 신규 특징점을 추가하는 것이 아니라, 입력 영상을 소정 개수의 블록들로 구분하고, 각 블록별로 소정 개수의 특징점 궤적을 포함할 수 있도록 신규 특징점을 추가된다. 상기 추가된 신규 특징점들은 이전 프레임에서의 특징점과 비교하여 연결된다.
1040 단계에서 카메라 트래킹 장치는 3차원 복원 단계를 위한 옵션을 조정하고, 파라미터 값을 지정한다. 이를 위해 영상 픽셀 크기 및 Film Back을 영상 파일로부터 자동으로 로딩하여 화면에 디스플레이하고 하고, 사용자로부터의 입력을 통해 조정하도록 할 수 있다. 또한, 카메라 움직임 및 초점거리에 대한 사전 정보에 대해서도 사용자의 입력을 통해 조정한다.
또한, 카메라 트래킹 장치는 2차원 특징점 추적 결과를 사용자가 편집하도록 할 수 있다. 이에 대해 두 가지 편집 기능을 제공한다.
첫 번째 편집 기능으로, 카메라 트래킹 장치는 특징점 블록(상하, 좌우 일정 범위 내의 특징점 주변 영역 픽셀)의 변화 또는 2차원 특징점 추적에 따른 정량적인 결과인 오차 그래프를 화면에 디스플레이하고, 사용자의 입력에 의해 불필요한 특징점 궤적들을 선택하고 제거하도록 한다.
두 번째 편집 기능으로, 극심한 카메라 흔들림, 카메라에 근접한 전경객체에 의한 가려짐 등으로 인해 대부분의 특징점 궤적이 단절된 경우, 카메라 트래킹 장치는 화면에 편집 UI를 디스플레이하고, 사용자 입력에 의해 다수의 특징점들을 그룹 매칭하고 연결하도록 한다.
1050 단계에서 카메라 트래킹 장치는 상기 획득된 특징점 궤적을 3차원으로 복원한다. 도면에는 도시되어 있지 않지만, 1050 단계는 하나 이상의 프레임에서 소정 갯수의 프레임 간격으로 키프레임을 추출하는 단계와, 최초 두 개의 키프레임으로 이루어진 초기 구간에서 3차원 복원을 수행하는 단계와, 초기 구간 이후의 키프레임 구간에서 3차원 복원을 확장하는 단계와, 상기 키프레임을 제외한 나머지 중간 프레임들에서의 카메라 사영행렬을 계산하는 단계와, 전체 프레임에서의 카메라 사영행렬과 복원 3차원 포인트 좌표를 재사영 오차(reprojection error)합을 최소화하는 단계를 포함한다.
1060 단계에서 카메라 트래킹 장치는 2차원 특징점 추적 단계에서 획득한 모든 프레임에서 특징점 궤적 좌표와 3차원 복원 단계에서 계산된 결과에 따라 사영시켰을 때의 추정 좌표간의 오차합이 최소가 되도록 3차원 복원 단계의 계산 결과값을 조정한다.
1070 단계에서 카메라 트래킹 장치는 2차원 특징점 추적 결과인 특징점 궤적을 영상 평면에 중첩시켜 화면에 디스플레이하고, 무리 조정의 결과인 카메라 움직임 정보와 3차원 포인트를 3차원 공간상에서 도시한다.

Claims (15)

  1. 입력되는 2차원 영상을 복호화하여 하나 이상의 영상 프레임을 획득하는 시퀀스 영상 입력부와,
    상기 시퀀스 영상 입력부에 의해 획득된 영상 프레임 각각에서 특징점을 추출하고, 상기 추출된 특징점과 이전 영상 프레임에서 추출된 특징점들을 비교하여, 유사하다고 판단되는 특징점들을 연결하여 특징점 궤적을 획득하는 2차원 특징점 추적부와,
    상기 2차원 특징점 추적부에 의해 획득된 특징점 궤적을 복원하는 3차원 복원부를 포함함을 특징으로 하는 카메라 트래킹 장치.
  2. 제 1항에 있어서, 상기 2차원 특징점 추적부는
    특징점을 추출하고, 특징점들간의 구분을 위해 특징점 형태를 표현하는 디스크립터(descriptor)를 비교하는 매칭(matching)을 수행하여 발견된 유사 특징점을 연결함을 특징으로 하는 카메라 트래킹 장치.
  3. 제 1항에 있어서, 상기 특징점 추적부는
    필수행렬 및 호모그래피 행렬을 계산하여, 외재(outlier)된 특징점 쌍은 배제하고, 내재(inlier)된 특징점 쌍들만을 연결함을 특징으로 하는 카메라 트래킹 장치.
  4. 제 1항에 있어서, 상기 특징점 추적부는
    입력 영상을 소정 개수의 블록으로 구분하고, 각 블록별로 소정 개수의 신규 특징점을 추가함을 특징으로 하는 카메라 트래킹 장치.
  5. 제 1항에 있어서, 상기 특징점 추적부는
    특징점 궤적이 끊어진 후, 수 프레임 이후에 상기 끊어진 특징점 궤적과 동일 특징점이 재관찰될 경우, 재관찰된 특징점들 중 누적 호모그래피 행렬을 고려하여 인라이어로 분류되는 특징점들을 재연결함을 특징으로 하는 카메라 트래킹 장치.
  6. 제 1항에 있어서,
    상기 3차원 복원을 위한 옵션을 조정하고, 파라미터 값을 지정하는 3차원 복원 준비부를 더 포함함을 특징으로 하는 카메라 트래킹 장치.
  7. 제 6항에 있어서, 상기 3차원 복원 준비부는
    사용자의 입력에 따라 상기 2차원 특징점 추적부에 의해 획득된 특징점 궤적을 편집하되, 화면에 특징점 블록의 변화 또는 특징점 추적부의 정량적인 결과인 오차 그래프를 디스플레이하고, 사용자의 입력에 의해 불필요한 특징점 궤적들을 선택 및 제거함을 특징으로 하는 카메라 트래킹 장치.
  8. 제 6항에 있어서, 상기 3차원 복원 준비부는
    사용자의 입력에 따라 상기 2차원 특징점 추적부에 의해 획득된 특징점 궤적을 편집하되, 특징점 궤적이 단절되는 경우 화면에 편집 사용자 인터페이스를 디스플레이하고, 사용자의 입력에 의해 다수의 특징점들을 그룹 매칭하여 연결함을 특징으로 하는 카메라 트래킹 장치.
  9. 제 1항에 있어서, 상기 3차원 복원부는
    하나 이상의 프레임에서 소정 갯수의 프레임 간격으로 키프레임을 추출하는 키프레임 선택부와,
    최초 두 개의 키프레임으로 이루어진 초기 구간에서 3차원 복원을 수행하는 초기구간 복원부와,
    초기 구간 이후의 키프레임 구간에서 3차원 복원을 확장하는 연속 구간 복원부와,
    상기 키프레임을 제외한 나머지 중간 프레임들에서의 카메라 사영행렬을 계산하는 카메라 사영행렬 계산부와,
    전체 프레임에서의 카메라 사영행렬과 복원 3차원 포인트 좌표를 재사영 오차(reprojection error)합이 최소화하는 3차원 복원 조정부를 포함함을 특징으로 하는 카메라 트래킹 장치.
  10. 입력되는 2차원 영상을 복호화하여 하나 이상의 영상 프레임을 획득하는 단계와,
    상기 획득된 영상 프레임 각각에서 특징점을 추출하고, 상기 추출된 특징점과 이전 영상 프레임에서 추출된 특징점들을 비교하여, 유사하다고 판단되는 특징점들을 연결하여 특징점 궤적을 추적하는 단계와,
    상기 획득된 특징점 궤적을 3차원으로 복원하는 단계를 포함함을 특징으로 하는 카메라 트래킹 방법.
  11. 제 10항에 있어서,
    상기 특징점 궤적을 추적하는 단계에서 사용될 알고리즘 파라미터 값을 조정하고, 마스크 영역을 생성하는 단계를 더 포함함을 특징으로 하는 카메라 트래킹 방법.
  12. 제 10항에 있어서, 상기 특징점 궤적을 추적하는 단계는
    현재 프레임에서 검출된 특징점들 중 연결되지 않은 특징점들을 현재 프레임에서부터 시작되는 새로운 특징점 궤적으로 추가함을 특징으로 하는 카메라 트래킹 방법.
  13. 제 10항에 있어서,
    상기 3차원 복원을 위한 옵션을 조정하고, 파라미터 값을 지정하는 3차원 복원 준비 단계를 더 포함함을 특징으로 하는 카메라 트래킹 방법.
  14. 제 13항에 있어서, 상기 3차원 복원 준비 단계는
    사용자의 입력에 따라 상기 2차원 특징점 추적부에 의해 획득된 특징점 궤적을 편집하되, 특징점 궤적이 단절되는 경우 화면에 편집 사용자 인터페이스를 디스플레이하고, 사용자의 입력에 의해 다수의 특징점들을 그룹 매칭하여 연결함을 특징으로 하는 카메라 트래킹 방법.
  15. 제 10항에 있어서, 상기 3차원으로 복원하는 단계는
    하나 이상의 프레임에서 소정 갯수의 프레임 간격으로 키프레임을 추출하는 단계와,
    최초 두 개의 키프레임으로 이루어진 초기 구간에서 3차원 복원을 수행하는 단계와,
    초기 구간 이후의 키프레임 구간에서 3차원 복원을 확장하는 단계와,
    상기 키프레임을 제외한 나머지 중간 프레임들에서의 카메라 사영행렬을 계산하는 단계와,
    전체 프레임에서의 카메라 사영행렬과 복원 3차원 포인트 좌표를 재사영 오차(reprojection error)합을 최소화하는 단계를 포함함을 특징으로 하는 카메라 트래킹 방법.
KR1020130022520A 2013-02-28 2013-02-28 카메라 트래킹 장치 및 방법 KR20140108828A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130022520A KR20140108828A (ko) 2013-02-28 2013-02-28 카메라 트래킹 장치 및 방법
US14/102,096 US20140241576A1 (en) 2013-02-28 2013-12-10 Apparatus and method for camera tracking

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130022520A KR20140108828A (ko) 2013-02-28 2013-02-28 카메라 트래킹 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20140108828A true KR20140108828A (ko) 2014-09-15

Family

ID=51388196

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130022520A KR20140108828A (ko) 2013-02-28 2013-02-28 카메라 트래킹 장치 및 방법

Country Status (2)

Country Link
US (1) US20140241576A1 (ko)
KR (1) KR20140108828A (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017078213A1 (ko) * 2015-11-05 2017-05-11 경북대학교 산학협력단 촬영영상에서의 움직임 객체 검출 방법 및 이를 이용한 차량 승하차 사고 예방 시스템
CN108122245A (zh) * 2016-11-30 2018-06-05 华为技术有限公司 一种目标行为描述方法、装置和监控设备
CN108564617A (zh) * 2018-03-22 2018-09-21 深圳岚锋创视网络科技有限公司 多目相机的三维重建方法、装置、vr相机和全景相机
WO2019135462A1 (ko) * 2018-01-05 2019-07-11 동국대학교 산학협력단 번들 조정 알고리즘을 이용한 립모션과 hmd 사이의 캘리브레이션 방법 및 장치
CN111578839A (zh) * 2020-05-25 2020-08-25 北京百度网讯科技有限公司 障碍物坐标处理方法、装置、电子设备及可读存储介质
KR20210069686A (ko) * 2018-11-15 2021-06-11 소니그룹주식회사 사용자 지정 초기화 포인트에 기반한 개체 추적

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2506338A (en) 2012-07-30 2014-04-02 Sony Comp Entertainment Europe A method of localisation and mapping
KR20150049535A (ko) * 2013-10-30 2015-05-08 삼성전자주식회사 전자장치 및 그 이용방법
GB2524960B (en) * 2014-04-04 2019-05-15 Imagineer Systems Ltd Processing of digital motion images
US10410429B2 (en) * 2014-05-16 2019-09-10 Here Global B.V. Methods and apparatus for three-dimensional image reconstruction
US9648303B1 (en) * 2015-12-15 2017-05-09 Disney Enterprises, Inc. Systems and methods for facilitating three-dimensional reconstruction of scenes from videos
US10600290B2 (en) * 2016-12-14 2020-03-24 Immersion Corporation Automatic haptic generation based on visual odometry
US10866102B2 (en) * 2016-12-23 2020-12-15 X Development Llc Localization of robotic vehicles
CN106875437B (zh) * 2016-12-27 2020-03-17 北京航空航天大学 一种面向rgbd三维重建的关键帧提取方法
US11493930B2 (en) 2018-09-28 2022-11-08 Intrinsic Innovation Llc Determining changes in marker setups for robot localization
CN110517319B (zh) 2017-07-07 2022-03-15 腾讯科技（深圳）有限公司 一种相机姿态信息确定的方法及相关装置
CN110073403A (zh) * 2017-11-21 2019-07-30 深圳市大疆创新科技有限公司 输出影像生成方法、设备及无人机
CN108898630B (zh) * 2018-06-27 2020-12-15 清华-伯克利深圳学院筹备办公室 一种三维重建方法、装置、设备和存储介质
CN109493415A (zh) * 2018-09-20 2019-03-19 北京大学 一种航拍影像三维重建的全局运动初始化方法和系统
US10824160B2 (en) 2018-09-28 2020-11-03 X Development Llc Robot localization with co-located markers
US10852740B2 (en) 2018-09-28 2020-12-01 X Development Llc Determining the orientation of flat reflectors during robot mapping
CN111127524A (zh) * 2018-10-31 2020-05-08 华为技术有限公司 一种轨迹跟踪与三维重建方法、系统及装置
CN109712170B (zh) * 2018-12-27 2021-09-07 广东省智能制造研究所 基于视觉惯性里程计的环境对象追踪方法和装置
CN109741245B (zh) * 2018-12-28 2023-03-17 杭州睿琪软件有限公司 平面信息的插入方法及装置
CN109740513B (zh) * 2018-12-29 2020-11-27 青岛小鸟看看科技有限公司 一种动作行为分析方法和装置
CN110490222B (zh) * 2019-07-05 2022-11-04 广东工业大学 一种基于低性能处理器设备的半直接视觉定位方法
CN110443838B (zh) * 2019-07-09 2023-05-05 中山大学 一种用于立体图像拼接的关联图构造方法
CN110415336B (zh) * 2019-07-12 2021-12-14 清华大学 高精度人体体态重建方法及系统
TWI732374B (zh) * 2019-12-10 2021-07-01 財團法人工業技術研究院 物件辨識方法及裝置
CN111539995B (zh) * 2020-03-19 2022-07-05 尚特杰电力科技有限公司 一种基于特征点轨迹的多目标跟踪方法
CN112633096A (zh) * 2020-12-14 2021-04-09 深圳云天励飞技术股份有限公司 客流的监测方法、装置、电子设备及存储介质
CN113284224B (zh) * 2021-04-20 2024-06-18 北京行动智能科技有限公司 基于单纯码的自动建图方法和装置、定位方法及设备
KR20230030996A (ko) * 2021-08-26 2023-03-07 현대자동차주식회사 객체 추적 장치 및 방법
CN113838089B (zh) * 2021-09-20 2023-12-15 哈尔滨工程大学 一种基于特征匹配算法的气泡轨迹跟踪方法
CN114041878A (zh) * 2021-10-19 2022-02-15 山东建筑大学 骨关节置换手术机器人的ct图像的三维重建方法及系统
CN114463409B (zh) * 2022-02-11 2023-09-26 北京百度网讯科技有限公司 图像深度信息的确定方法、装置、电子设备和介质
CN114627249B (zh) * 2022-05-13 2022-10-21 思看科技(杭州)股份有限公司 三维扫描系统及三维扫描方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017078213A1 (ko) * 2015-11-05 2017-05-11 경북대학교 산학협력단 촬영영상에서의 움직임 객체 검출 방법 및 이를 이용한 차량 승하차 사고 예방 시스템
CN108122245A (zh) * 2016-11-30 2018-06-05 华为技术有限公司 一种目标行为描述方法、装置和监控设备
CN108122245B (zh) * 2016-11-30 2021-11-30 华为技术有限公司 一种目标行为描述方法、装置和监控设备
WO2019135462A1 (ko) * 2018-01-05 2019-07-11 동국대학교 산학협력단 번들 조정 알고리즘을 이용한 립모션과 hmd 사이의 캘리브레이션 방법 및 장치
CN108564617A (zh) * 2018-03-22 2018-09-21 深圳岚锋创视网络科技有限公司 多目相机的三维重建方法、装置、vr相机和全景相机
KR20210069686A (ko) * 2018-11-15 2021-06-11 소니그룹주식회사 사용자 지정 초기화 포인트에 기반한 개체 추적
CN111578839A (zh) * 2020-05-25 2020-08-25 北京百度网讯科技有限公司 障碍物坐标处理方法、装置、电子设备及可读存储介质
CN111578839B (zh) * 2020-05-25 2022-09-20 阿波罗智联(北京)科技有限公司 障碍物坐标处理方法、装置、电子设备及可读存储介质

Also Published As

Publication number Publication date
US20140241576A1 (en) 2014-08-28

Similar Documents

Publication Publication Date Title
KR20140108828A (ko) 카메라 트래킹 장치 및 방법
US11632533B2 (en) System and method for generating combined embedded multi-view interactive digital media representations
US12020355B2 (en) Artificially rendering images using viewpoint interpolation and extrapolation
US10719939B2 (en) Real-time mobile device capture and generation of AR/VR content
US10540773B2 (en) System and method for infinite smoothing of image sequences
US10726560B2 (en) Real-time mobile device capture and generation of art-styled AR/VR content
US10242474B2 (en) Artificially rendering images using viewpoint interpolation and extrapolation
US9940541B2 (en) Artificially rendering images using interpolation of tracked control points
WO2018047687A1 (ja) 三次元モデル生成装置及び三次元モデル生成方法
US20170148186A1 (en) Multi-directional structured image array capture on a 2d graph
KR100931311B1 (ko) 프레임 간 깊이 연속성 유지를 위한 깊이 추정 장치 및 그방법
US20170193693A1 (en) Systems and methods for generating time discrete 3d scenes
CN112270736B (zh) 增强现实处理方法及装置、存储介质和电子设备
US10861213B1 (en) System and method for automatic generation of artificial motion blur
CN106683163B (zh) 一种视频监控的成像方法及系统
CN111402412A (zh) 数据采集方法及装置、设备、存储介质
KR102464271B1 (ko) 포즈 획득 방법, 장치, 전자 기기, 저장 매체 및 프로그램
Bleyer et al. Temporally consistent disparity maps from uncalibrated stereo videos
JP2022031304A (ja) 動画変換システム、動画変換方法及び動画変換プログラム
JP2007053621A (ja) 画像生成装置
JP5906165B2 (ja) 仮想視点画像合成装置、仮想視点画像合成方法及び仮想視点画像合成プログラム
CN104463958A (zh) 基于视差图融合的三维超分辨率方法
KR101794709B1 (ko) 임의 시점의 영상 생성 방법, 이를 수행하기 위한 기록 매체 및 장치
WO2018043437A1 (ja) 画像距離算出装置および画像距離算出用プログラムを記録したコンピュータ読み取り可能な非一過性の記録媒体
JP2020057038A (ja) 変更画素領域抽出装置、画像処理システム、変更画素領域抽出方法、画像処理方法及びプログラム

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid