KR101221449B1 - 카메라간 영상 보정 장치 및 방법 - Google Patents

카메라간 영상 보정 장치 및 방법 Download PDF

Info

Publication number
KR101221449B1
KR101221449B1 KR1020090026454A KR20090026454A KR101221449B1 KR 101221449 B1 KR101221449 B1 KR 101221449B1 KR 1020090026454 A KR1020090026454 A KR 1020090026454A KR 20090026454 A KR20090026454 A KR 20090026454A KR 101221449 B1 KR101221449 B1 KR 101221449B1
Authority
KR
South Korea
Prior art keywords
camera
dynamic marker
video
marker
dynamic
Prior art date
Application number
KR1020090026454A
Other languages
English (en)
Other versions
KR20100108021A (ko
Inventor
김종성
김혜미
김재헌
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020090026454A priority Critical patent/KR101221449B1/ko
Priority to US12/549,650 priority patent/US8405717B2/en
Publication of KR20100108021A publication Critical patent/KR20100108021A/ko
Application granted granted Critical
Publication of KR101221449B1 publication Critical patent/KR101221449B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 광학식 모션 캡쳐 시스템에서 동적 마커를 기반으로 모션 캡쳐 카메라와 고해상도 비디오 촬영 카메라를 보정(calibration)하는 방법에 관한 것으로, 별도의 카메라 보정 장치의 사용이나 보정용 마커를 카메라 혹은 배경에 부착함이 없이 모션 캡쳐 대상 물체 상에 부착된 동적 마커만을 이용하여 현장에서 촬영에 사용된 고해상도 비디오 촬영 카메라를 정확하게 보정을 할 수 있도록 한다. 즉, 본 발명은 광학식 모션 캡쳐 카메라를 통하여 복원되는 동적 마커의 3차원 모션 캡쳐 데이터를 3차원 보정 데이터로 저장하고, 현장에서 동시에 녹화된 고해상도 비디오에서 동적 마커의 위치를 추적(tracking)하여 이를 2차원 보정 데이터로 저장하여, 이를 일대일 대응시켜 보정을 수행시킴으로써, 촬영 카메라의 공간상 이동과 회전에 관련된 외부 인자뿐만 아니라 고해상도 카메라 렌즈와 관련된 내부 인자들도 동시에 보정되도록 하여, 광학식 모션 캡쳐 시스템에서 3차원 모션 캡쳐 데이터와 고해상도 촬영 비디오의 합성을 통한 HD 방송 및 영화에 사용 가능한 고해상도 3D 콘텐츠 제작에 필요한 고해상도 비디오 촬영 카메라 보정의 정확성과 안정성을 확보할 수 있다.
모션 캡쳐, 합성, 촬영 카메라, 보정, 마커, 추적, 고해상도, HD, 3D 콘텐츠

Description

카메라간 영상 보정 장치 및 방법{APPARATUS AND METHOD FOR CALIBRATING IMAGE BETWEEN CAMERAS}
본 발명은 애니메이션, 영화, 광고, 게임 등과 같은 3D 콘텐츠(contents) 제작에서 가장 폭 넓게 사용되고 있는 광학식 모션 캡쳐 시스템(motion capture system)에서 대상 물체(target object)의 3차원 모션 복원에 사용되는 모션 캡쳐 카메라(motion capture camera)와 대상 물체 움직임을 현장에서 녹화하는 고해상도 비디오 촬영 카메라 사이의 보정 방법에 관한 것이며, 보다 상세하게는 어떠한 별도의 카메라 보정장치를 사용하거나 카메라에 보정용 마커(marker)를 부착하지 않고서도, 모션 캡쳐 대상 물체 상에 부착된 동적 마커(dynamic marker)만을 이용한 모션 캡쳐 카메라와 고해상도 비디오 촬영 카메라간 정확한 보정을 통해, 모션 캡쳐 카메라로부터 복원된 대상 물체의 3차원 모션 데이터와 고해상도 비디오 촬영 카메라로 현장에서 촬영된 대상 물체 움직임의 고해상도 비디오 동영상의 합성이 정확하게 이루어질 수 있도록 하는 동적 마커를 이용한 카메라간 영상 보정 장치 및 방법에 관한 것이다.
본 발명은 지식경제부 및 정보통신연구진흥원의 IT신성장동력기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2007-S-051-02, 과제명: 디지털 크리쳐 제작 S/W 개발].
통상적으로, 모션 캡쳐 카메라와 고해상도 비디오 촬영 카메라의 보정 기술은 3D 콘텐츠 제작 분야에서 대상 물체의 3차원 모션 캡쳐 데이터를 기반으로 하는 컴퓨터 그래픽 애니메이션(computer graphic animation)을 현장에서 동시에 촬영된 비디오 동영상에 정확하게 합성하여 보다 사실적이고 현장감 있는 HD 방송 및 영화에 사용할 수 있는 고해상도 3D 콘텐츠를 제작하는데 반드시 필요한 기술이다.
종래의 광학식 모션 캡쳐 시스템에서 모션 캡쳐 카메라와 비디오 촬영 카메라를 보정하기 위한 기술은 사전에 카메라 보정을 위해 제작된 별도의 카메라 보정 기구를 사용하는 보정 기구 방식과 촬영 카메라 혹은 배경에 보정용 마커를 부착하여 모션 캡쳐 카메라로 하여금 카메라에 부착된 보정용 마커의 3차원 위치를 함께 복원하여 카메라를 보정하는 마커 부착 방식으로 구분된다.
그러나, 이러한 종래의 보정 기구 방식이나 마커 부착 방식은 촬영 카메라 보정을 위하여 별도의 보정 기구나 보정용 마커의 사전 제작 과정이나 복잡한 설치 과정을 거쳐야 하는 제약이 따르며, 촬영 장소나 조건에 따라서 각기 다른 보정 기구를 사용해야 한다거나 마커 부착 방식을 변경해야 하는 어려운 점이 있다.
즉, 예를 들면, 보정 기구 방식의 경우 모션 캡쳐 공간이 넓어 비디오 촬영 카메라가 먼 거리에서 대상 물체를 촬영해야 한다면 정확하고 안정된 카메라 보정을 위해서는 카메라 보정 기구 역시 먼 거리에서도 잘 관찰될 수 있는 크기가 큰 보정 기구를 사용해야 하며, 반대의 경우에는 가까이에서 보정 기구가 보일 수 있도록 작은 크기의 보정 기구를 사용해야 한다. 또한, 마커 부착 방식의 경우에는 모션 캡쳐 카메라와 촬영 카메라가 멀어지는 경우에는 마커가 부착된 영역이 크도록, 반대로 가까워지는 경우에는 마커가 부착된 영역이 작도록 마커 부착 방식을 변경해 주어야 하는 등 보정용 마커의 사전 제작 과정이 복잡한 문제점이 있었다.
한편, 상기와 같은 모션 캡쳐 카메라와 촬영 카메라의 보정 기술은 촬영 카메라의 내부 인자가 사전에 보정된 상수(Constant)가 아닌 경우에는 적용하기 어려운 점이 있다. 예를 들면, 마커 부착 방식의 경우에는 방식 자체의 특성상 촬영 카메라의 공간상 이동과 회전에 관련된 카메라 외부 인자는 보정할 수 있으나, 고해상도 카메라 렌즈와 관련된 카메라 내부 인자는 보정할 수 없으며, 보정 기구 방식 또한 내부 인자를 보정하기 위해서는 별도의 보정 과정이 필요하다.
이러한, 어려움 때문에 종례의 보정 기술에서는 카메라 내부 인자를 사전에 모두 보정된 상수로 가정한다. 하지만, 고해상도 비디오 촬영 카메라를 사용할 경우에는 내부 인자 값에 작은 변화라도 있으면 정확하게 카메라를 보정할 수 없으므로 반드시 카메라 내부 인자도 변수(variable)로서 카메라 외부 인자와 함께 보정되어야 한다.
따라서 본 발명은 광학식 모션 캡쳐 시스템에서 별도의 카메라 보정 기구를 사용하거나 카메라에 별도의 마커를 부착하지 않고, 모션 캡쳐 대상 물체 상에 부착된 동적 마커만을 이용하여 모션 캡쳐 카메라를 통해 복원된 대상 물체의 3차원 모션 데이터와 현장에서 고해상도 비디오 촬영 카메라를 이용하여 동시에 녹화한 대상 물체 움직임의 고해상도 비디오 동영상과의 안정적이고 정확한 합성이 가능하도록 함으로써, 보다 사실적이고 현장감 있는 고해상도 3D 콘텐츠 제작을 가능하도록 하는 카메라간 영상 보정 장치 및 방법을 제공하고자 한다.
상술한 본 발명은 카메라간 영상을 보정하는 장치로서, 모션 캡쳐 카메라와 비디오 촬영 카메라에서 촬영된 영상으로부터 동적 마커를 검출하는 검출부와, 상기 모션 캡쳐 카메라를 통하여 촬영된 상기 동적 마커의 3차원 위치 데이터를 복원하여 3차원 카메라 보정 데이터로 저장하는 3차원 위치 복원부와, 상기 비디오 촬영 카메라를 통하여 촬영된 상기 동적 마커의 2차원 위치를 추적하여 2차원 카메라 보정데이터로 저장하는 2차원 위치 추적부와, 상기 동적 마커의 3차원 위치 데이터와 2차원 위치 데이터를 일대일 대응되도록 정합시키는 정합부와, 상기 동적 마커의 공간 좌표계상 3차원 위치를 상기 비디오 촬영 카메라의 좌표계상 좌표로 변환하는 보정부를 포함한다.
또한, 상기 검출부는, 상기 동적 마커가 포함된 영상에서 상기 동적 마커를 중심으로 일정 영역을 상기 동적 마커의 추적을 위한 템플릿으로 설정하고, 상기 설정된 템플릿으로부터 상기 동적 마커를 검출하며, 상기 보정부는, 상기 비디오 촬영 카메라의 내부인자를 상수로 설정하고, 상기 동적 마커의 공간 좌표계상 3차원 위치를 상기 비디오 촬영 카메라 좌표계상 좌표로 1차 변환하고, 상기 내부인자를 변수로 설정하여 보정한 후, 상기 보정된 내부 인자값에 따라 상기 동적 마커의 공간 좌표계상 3차원 위치를 상기 비디오 촬영 카메라의 좌표계상 좌표로 2차 변환하는 것을 특징으로 한다.
또한, 본 발명은 카메라간 영상을 보정하는 방법으로서, 모션 캡쳐 카메라와 비디오 촬영 카메라에서 촬영된 영상으로부터 동적 마커를 검출하는 단계와, 상기 모션 캡쳐 카메라를 통하여 촬영된 상기 동적 마커의 3차원 위치 데이터를 복원하여 3차원 카메라 보정 데이터로 저장하는 단계와, 상기 비디오 촬영 카메라를 통하여 촬영된 상기 동적 마커의 2차원 위치를 추적하여 2차원 카메라 보정데이터로 저장하는 단계와, 상기 동적 마커의 3차원 위치 데이터와 2차원 위치 데이터가 일대일 대응되도록 정합시키는 단계와, 상기 동적 마커의 공간 좌표계상 3차원 위치를 상기 비디오 촬영 카메라의 좌표계상 좌표로 변환시키는 단계를 포함한다.
또한, 상기 동적 마커의 좌표 변환 단계는, 상기 비디오 촬영 카메라의 내부인자를 상수로 설정하고, 상기 동적 마커의 공간 좌표계상 3차원 위치를 상기 비디오 촬영 카메라의 좌표계상 좌표로 1차 변환하는 단계와, 상기 내부인자를 변수로 설정하여 보정하고, 상기 보정된 내부 인자값에 따라 상기 동적 마커의 공간 좌표계상 3차원 위치를 상기 비디오 촬영 카메라의 좌표계상 좌표로 2차 변환하는 단계를 포함한다.
상기한 바와 같이 본 발명에서는 광학식 모션 캡쳐 시스템에서 별도의 카메라 보정 기구를 사용하거나 카메라 혹은 배경에 보정을 위한 마커를 부착함이 없이, 모션 캡쳐 카메라에서 복원된 동적 마커의 3차원 데이터와 현장에서 녹화된 고해상도 비디오 상에서 추적된 동적 마커의 2차원 데이터를 직접 이용하여, 3차원 모션 캡쳐 데이터와 고해상도 비디오의 합성을 가능하도록 함으로써, HD 방송 및 영화에서 사용 가능한 고해상도 3D 콘텐츠 제작에 필요한 정확하고 안정적인 비디오 촬영 카메라의 보정이 가능한 이점이 있다.
또한, 본 발명에서는 모션 캡쳐 카메라와 고해상도 비디오 촬영 카메라의 보정을 위하여 모션 캡쳐 및 촬영의 대상이 되는 물체에 부착된 동적 마커 데이터를 직접 이용하기 때문에 기존 방법에서 문제가 되던 보정 기구의 크기 및 위치, 마커 부착 방식의 제약을 해결할 수 있는 이점이 있다. 또한, 본 발명에서는 촬영 카메라의 3차원 공간상에서의 이동과 회전에 해당되는 카메라의 외부 인자뿐만 아니라 비디오 촬영 카메라 렌즈와 관련된 내부 인자까지 동시에 보정할 수 있기 때문에 고해상도 비디오 촬영 카메라의 보정에 의한 합성의 안정성과 정확성을 보다 향상시킬 수 있는 이점이 있다.
이하, 첨부된 도면을 참조하여 본 발명의 동작 원리를 상세히 설명한다. 하기에서 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 실시 예에 따른 광학식 모션 캡쳐 시스템에서 모션 캡쳐 카메라와 고해상도 비디오 촬영 카메라간 촬영 대상 물체에 부착되는 동적 마커를 이용한 영상 보정 개념을 도시한 것이다.
동작을 살펴보면, 본 발명에서는 도 1에서와 같이, 대상 물체(106)의 3차원 움직임을 복원해주기 위한 모션 캡쳐 카메라(102)와 현장에서 대상 물체(106)의 움직임을 고해상도로 동시에 촬영하기 위한 고해상도의 비디오 촬영 카메라(100)가 연결된 광학식 모션 캡쳐 시스템에서, 별도의 카메라 보정 기구를 사용하거나 보정용 마커를 카메라 혹은 배경에 부착하는 대신 대상 물체(106)에 다수의 동적 마커(104)를 부착시킨다.
이어, 동적 마커(104)가 부착된 대상 물체에 대해 모션 캡쳐 카메라(102)와 고해상도의 비디오 촬영 카메라(100)를 통한 촬영이 수행되며, 모션 캡쳐와 촬영의 대상이 되는 대상 물체(106)에 부착되는 동적 마커(104)에서 3차원 보정 데이터와 2차원 보정 데이터를 직접 추출하여 모션 캡쳐 카메라(102)와 고해상도의 비디오 촬영 카메라(100)를 보정을 수행하는 것이다.
즉, 고해상도의 비디오 촬영 카메라(100)의 내부 인자와 외부 인자를 보정한 후, 동적 마커(104)의 공간 좌표계상 3차원 위치를 고해상도의 비디오 촬영 카메라(100)의 카메라 좌표계상 좌표로 변환함으로써, 모션 캡쳐 카메라(102)와 고해상도의 비디오 촬영 카메라(100)간 보정을 수행하게 된다.
도 2는 본 발명의 실시 예에 따른 모션 캡쳐 카메라(102)와 고해상도의 비디오 촬영 카메라(100)간 영상을 보정하는 장치의 블록 구성을 도시한 것으로, 본 발명의 영상 보정 장치는 검출부(200)와, 3차원 위치 복원부(202)와, 2차원 위치 추적부(204)와, 정합부(206)와 보정부(208) 등을 포함한다.
이하, 도 2를 참조하여, 본 발명의 카메라간 영상 보정 장치의 각 구성 요소에서의 동작을 상세히 설명하기로 한다.
먼저, 검출부(200)는 모션 캡쳐 카메라(102)와 고해상도의 비디오 촬영 카메라(100)에서 촬영된 영상으로부터 동적 마커(104)를 검출한다. 이때, 검출부(200)는 고해상도의 비디오 촬영 카메라(100)로부터 촬영된 영상 중 동적 마커(104)가 포함된 영상에서 동적 마커(104)를 중심으로 일정 영역을 동적 마커(104)의 추적을 위한 템플릿(template)으로 설정하고, 템플릿으로부터 동적 마커(104)를 검출한다.
3차원 위치 복원부(202)는 모션 캡쳐 카메라(102)를 통하여 촬영된 동적 마커(104)의 모션 캡쳐 데이터로부터 동적 마커(104)의 3차원 위치 데이터를 복원하여 3차원 카메라 보정 데이터로 저장한다. 2차원 위치 추적부(204)는 고해상도의 비디오 촬영 카메라(100)를 통하여 촬영된 동적 마커(104)의 영상에서 동적 마커(104)의 2차원 위치를 추적하여 2차원 카메라 보정데이터로 저장한다. 정합 부(206)는 동적 마커(104)의 3차원 위치 데이터와 2차원 위치 데이터를 일대일 대응되도록 정합시킨다.
보정부(208)는 동적 마커(104)의 공간 좌표계상 3차원 위치를 고해상도의 비디오 촬영 카메라(100)의 좌표계상 좌표로 변환한다. 즉, 보정부(208)는, 비디오 촬영 카메라(100)의 내부인자를 상수로 설정하고, 동적 마커(104)의 공간 좌표계상 3차원 위치를 고해상도의 비디오 촬영 카메라(100)의 카메라 좌표계상 좌표로 1차 변환하고, 내부인자를 변수로 설정하여 보정한다. 이어, 보정된 내부 인자값에 따라 동적 마커(104)의 공간 좌표계상 3차원 위치를 고해상도의 비디오 촬영 카메라(100)의 카메라 좌표계상 좌표로 2차 변환한다.
도 3은 본 발명의 실시 예에 따른 모션 캡쳐 카메라(102)와 고해상도의 비디오 촬영 카메라(100)간 보정을 수행하는 동작 제어 흐름을 도시한 것이다. 이하, 도 1, 도 2 및 도 3을 참조하여 본 발명의 실시 예를 상세히 설명하기로 한다.
먼저, 대상 물체(106)에 모션 캡쳐용 동적 마커(104)를 부착한다(S300). 이때, 대상 물체(106)에 부착되는 동적 마커(104)는 카메라 보정 기구에 부착되는 고정된, 즉 정적인 마커와는 달리 대상 물체의 움직임에 따라 그 3차원 위치 값이 가변적인 움직이는 동적 마커(104)이며, 동적 마커(104)를 부착하는 위치나 사용되는 동적 마커(104)의 수에는 어떠한 제약이 없다.
이어서, 모션 캡쳐 카메라(102)와 고해상도의 비디오 촬영 카메라(100)를 이용하여 대상 물체(106)의 움직임, 구체적으로는 대상 물체(106)에 부착된 동적 마커(104)의 위치 변화에 대한 모션 캡쳐와 고해상도 비디오 촬영을 동시에 수행한 다(S302).
이때, 실제로 모션 캡쳐에 사용되는 모션 캡쳐 카메라(102)는 두 대 이상이 되어야 하며, 모션 캡쳐에 사용되는 모션 캡쳐 카메라(102)의 대수가 많을수록 더욱 정확하고 안정적으로 모션 캡쳐를 수행할 수 있다. 또한, 고해상도 비디오 촬영에 사용되는 비디오 촬영 카메라(100)의 대수에도 제한이 없으며, 비디오 촬영 카메라(100)가 두 대 이상일 경우에는 각각의 비디오 촬영 카메라에 본 발명에서 제안된 촬영 카메라 보정 방법을 동일하게 적용하여 각각의 비디오 촬영 카메라를 보정할 수 있다.
또한, 고속(60Hz이상)으로 모션 캡쳐를 수행하는 모션 캡쳐 카메라(102)와 저속(30Hz이하)으로 비디오를 녹화하는 비디오 촬영 카메라(100) 사이의 동기화(synchronization)를 위하여 젠락(gen-lock)을 통해 모션 캡쳐 카메라(102)와 비디오 촬영 카메라(100)의 내부 클락(clock)을 먼저 동기화 한 후, 타임 코드(time-code)를 이용하여 모션 캡쳐 카메라(102)와 비디오 촬영 카메라(100)의 녹화 시작 시간과 종료 시간이 동일하도록 하는 방법을 사용한다. 이와 함께, 모션 캡쳐 카메라(102)의 동작 속도를 비디오 촬영 카메라(100)의 녹화 속도의 정수배가 되도록 함으로써 간단한 샘플링(sampling)을 통하여 비디오 각 프레임에 해당하는 모션 캡쳐 데이터를 쉽게 정합시킬 수 있도록 한다.
이어, 위와 같이, 동적 마커(104)가 부착된 대상 물체(106)에 대한 모션 캡쳐 카메라(102)로부터의 모션 캡쳐 데이터와 비디오 촬영 카메라(100)로부터의 동적 마커(104)를 포함한 영상이 검출부(200)를 통해 검출되는 경우, 3차원 위치 복 원부(202)는 모션 캡쳐 카메라(102)를 통하여 녹화된 동적 마커(104)의 모션 캡쳐 데이터로부터 모든 동적 마커(104)의 3차원 위치 데이터를 복원하여 3차원 카메라 보정 데이터로 저장한다(S304). 이때, 3차원 카메라 보정 데이터에는 각각의 동적 마커(104)를 구별하기 위한 레이블(label)과, 복원된 동적 마커(104)가 모션 캡쳐 카메라에 의해 녹화된 시점을 나타낼 수 있도록 해당 3차원 모션 캡쳐 데이터에서의 프레임 번호도 함께 저장하도록 한다.
이어서, 2차원 위치 추적부(204)는 녹화된 고해상도 비디오 데이터로부터 모든 동적 마커(104)의 영상에서의 2차원 위치를 추적(tracking)하여 그 결과를 2차원 카메라 보정 데이터로 저장한다(S306). 이때, 2차원 카메라 보정 데이터에는 동적 마커(104)의 2차원 위치 값과 함께 해당 레이블, 촬영 비디오 데이터에서의 프레임 번호를 함께 저장한다.
이때, 영상에서 동적 마커(104)를 추적할 때에는, 단순한 형태와 칼라(color), 작은 크기로 만들어진 동적 마커(104)도 영상에서 정확하고 안정적으로 추적될 수 있도록 하기 위해서, 실제 촬영된 비디오 영상에서 동적 마커(104)를 중심으로 한 일정 영역을 각 동적 마커(104)의 추적을 위한 템플릿(template)으로 이용한다. 이러한 템플릿이 조명 변화나 노이즈(noise), 가려짐에 강인할 수 있도록 한 장의 영상이 아닌 다수의 영상으로 템플릿을 구성하여 동적 마커(104)가 비디오에서 안정적이고 정확하게 추적될 수 있도록 한다. 또한, 템플릿 정합(matching)을 통한 동적 마커(104)의 추적이 대상 물체(106)의 움직임 속도에도 적응적으로 대응할 수 있도록, 템플릿의 정합을 위한 탐색 영역을 고정시키지 않고 가변적으로 변 할 수 있도록 한다.
다음으로, 정합부(206)는 모션 캡쳐 카메라(102)를 통하여 복원된 모든 동적 마커(104)의 3차원 위치 데이터와 고해상도 촬영 비디오에서 추적된 2차원 위치 데이터를 3차원 카메라 보정 데이터와 2차원 카메라 보정 데이터에 저장된 레이블과 프레임 번호 정보를 이용하여 일대일 대응이 되도록 정합한다(S308). 여기에서 모션 캡쳐 카메라(102)의 동작 속도는 비디오 촬영 카메라(100)의 녹화 속도의 정수배이므로 간단한 샘플링 연산을 통하여 정합되는 데이터를 찾을 수 있다.
이어서, 보정부(208)는 모션 캡쳐 카메라(102)와 비디오 촬영 카메라(100)의 보정에 필요한 카메라 외부 인자와 내부 인자를 계산한다. 여기에서 카메라 보정은 모션 캡쳐 데이터, 즉 동적 마커의 3차원 위치를 고해상도 촬영 비디오 영상 위에 오버레이(overlay) 하여 시각화하기 위한 것이다.
이를 위해서는 먼저 도 4에서 도시한 바와 같이 3차원 모션 캡쳐 데이터의 좌표 기준이 되는 공간 좌표계(Os)(402)에서 비디오 촬영 카메라의 이동 t=(tX, tY, tZ)과 회전 w=(wX, wY, wZ)로 표현되는 자세 정보를 나타내는 카메라 외부 인자를 계산하여 공간 좌표계(402) 상의 동적 마커(104)의 3차원 위치 좌표를 비디오 촬영 카메라(100)의 카메라 좌표계(Oc)(400) 상의 좌표로 변환해야 한다.
또한, 카메라 좌표계(400) 상의 좌표로 변환된 동적 마커(104)의 3차원 좌표를 비디오 촬영 카메라(100)의 카메라 좌표계(400) 상의 영상 좌표로 변환하기 위해서 비디오 촬영 카메라(100)의 내부 인자를 계산해야 한다. 여기에서, 카메라 내 부 인자는 도 5에서 도시한 바와 같이 비디오 촬영 카메라(100)의 렌즈의 초점 거리(Focal Length), 렌즈의 광 중심(optical center, c), 렌즈의 방사방향의 왜곡(radial distortion, dr), 렌즈의 접선방향의 왜곡(tangential distortion, dt)를 포함한다.
실제, 카메라 렌즈 왜곡에 따른 이상적인 영상 좌표 x u와 실제 영상 좌표 x d로의 변위(displacement)는 고해상도의 비디오 촬영 카메라(100) 보정의 정확성에 큰 영향을 주게 된다. 이와 같이, 비디오 촬영 카메라(100)의 해상도가 높은 경우에는 내부 인자의 작은 변화에도 마커의 영상 좌표가 크게 영향을 받게 됨으로, 내부 인자를 상수가 아닌 변수로 하여 외부 인자와 함께 동시에 보정해야 정확하고 안정적인 보정 결과를 얻을 수 있다.
즉, 상기한 비디오 촬영 카메라(100)의 외부 인자와 내부 인자의 보정을 위하여, 먼저 내부 인자를 상수로 가정한 후 외부 인자를 먼저 보정한다(S310). 이때, 외부 인자를 먼저 보정하는 이유는 상수 값이 제조사로부터 제공되는 카메라 내부 인자와는 달리 카메라 외부 인자는 항상 가변적인 변수이기 때문이다. 이러한 비디오 촬영 카메라(100) 외부 변수는 동적 마커(104)의 공간상의 3차원 위치 X와 실제 영상 위의 2차원 위치 x d 사이의 기하학적인 관계로부터 유도되는 수학식을 선형적인 대수학적 방법을 통해서 계산한다.
여기에서, 본 발명은 보정 기구 방법이나 마커 부착 방법과는 다르게, 비디오 오버레이 대상이 되는 대상 물체(106) 상 동적 마커(104)의 3차원 위치와 실제 합성되어야할 비디오 동영상 위의 2차원 위치를 직접 카메라 보정에 이용함으로써 합성에 필요한 카메라 보정의 안정성과 정확성을 보장해 줄 수 있다.
다음으로, 비디오 촬영 카메라(100)의 내부 인자를 변수로 설정한 후, 상기한 비디오 촬영 카메라(100)의 외부 인자 보정을 통하여 계산된 외부 인자와 비디오 촬영 카메라(100)의 렌즈와 관련된 내부 인자의 상수 값을 초기 값으로 하여, 모든 동적 마커(104)의 3차원 위치 X를 상기한 비디오 촬영 카메라(100)의 외부 인자와 내부 인자를 통하여 영상에 투영(projection)했을 시 추정되는 2차원 위치와 실제 추적된 2차원 위치 x d 와의 차이가 최소화되도록 보정한다(S312).
이때, 모든 동적 마커(104)의 3차원 위치 X를 상기한 비디오 촬영 카메라(100)의 외부 인자와 내부 인자를 통하여 영상에 투영(projection)했을 시 추정되는 2차원 위치와 실제 추적된 2차원 위치 x d 와의 차이가 최소화되도록 하는 보정에 있어서는, 추정되는 2차원 위치와 실제 추적된 2차원 위치 x d 와의 차이를 최소화하도록 유도되는 에러 함수 수학식의 에러 값을 최소로 만드는 비디오 촬영 카메라(100)의 외부 인자와 내부 인자를 비선형 최적화 방법을 통해서 계산할 수 있다.
한편 상술한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시될 수 있다. 따라서 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위에 의해 정하여져야 한다.
도 1은 본 발명의 실시 예에 따른 동적 마커를 이용한 모션 캡쳐 카메라와 고해상도 비디오 촬영 카메라간 보정 동작 개념도,
도 2는 본 발명의 실시 예에 따른 모션 캡쳐 카메라와 고해상도 비디오 촬영 카메라간 보정을 위한 영상 보정 장치의 블록 구성도,
도 3은 본 발명의 실시 예에 따른 모션 캡쳐 카메라와 고해상도 비디오 촬영 카메라간 보정 동작 제어 흐름도,
도 4는 본 발명의 실시 예에 따른 동적 마커의 공간 좌표계를 카메라 좌표계로 변환하는 개념도,
도 5는 본 발명의 실시 예에 따른 고해상도 비디오 촬영 카메라의 내부 인자 보정 동작 개념도.
<도면의 주요 부호에 대한 간략한 설명>
100 : 비디오 촬영 카메라 102 : 모션 캡쳐 카메라
104 : 동적 마커 200 : 검출부
202 : 3차원 위치 복원부 204 : 2차원 위치 추적부
206 : 정합부 208 : 보정부

Claims (20)

  1. 모션 캡쳐 카메라와 비디오 촬영 카메라에서 촬영된 영상으로부터 동적 마커를 검출하는 검출부와,
    상기 모션 캡쳐 카메라를 통하여 촬영된 상기 동적 마커의 3차원 위치 데이터를 복원하여 3차원 카메라 보정 데이터로 저장하는 3차원 위치 복원부와,
    상기 비디오 촬영 카메라를 통하여 촬영된 상기 동적 마커의 2차원 위치 데이터를 추적하여 2차원 카메라 보정데이터로 저장하는 2차원 위치 추적부와,
    상기 동적 마커의 3차원 위치 데이터와 2차원 위치 데이터를 일대일 대응되도록 정합시키는 정합부와,
    상기 동적 마커의 공간 좌표계상 3차원 위치를 상기 비디오 촬영 카메라의 좌표계상 좌표로 변환하는 보정부를 포함하되,
    상기 3차원 카메라 보정 데이터는, 상기 동적 마커를 구별하기 위한 레이블 정보와 상기 동적 마커가 상기 모션 캡쳐 카메라에 의해 녹화된 시점을 나타내는 프레임 번호를 포함하는
    카메라간 영상 보정장치.
  2. 제 1 항에 있어서,
    상기 검출부는,
    상기 동적 마커가 포함된 영상에서 상기 동적 마커를 중심으로 일정 영역을 상기 동적 마커의 추적을 위한 템플릿으로 설정하고, 상기 설정된 템플릿으로부터 상기 동적 마커를 검출하는 카메라간 영상 보정장치.
  3. 제 2 항에 있어서,
    상기 검출부는,
    영상 프레임별로 다른 위치에 설정되는 템플릿의 위치를 이전 영상 프레임과의 템플릿 정합을 통해 검출하는 카메라간 영상 보정장치.
  4. 제 3 항에 있어서,
    상기 검출부는,
    상기 동적 마커가 포함된 영상내 상기 템플릿을 탐색하기 위한 영역의 크기를 상기 동적 마커의 움직임 속도에 따라 가변적으로 설정하는 카메라간 영상 보정장치.
  5. 삭제
  6. 삭제
  7. 제 1 항에 있어서,
    상기 2차원 카메라 보정 데이터는,
    상기 동적 마커를 구별하기 위한 레이블 정보를 포함하는 카메라간 영상 보정장치.
  8. 제 7 항에 있어서,
    상기 2차원 카메라 보정 데이터는
    상기 동적 마커가 상기 비디오 촬영 카메라에 의해 녹화된 시점을 나타내는 프레임 번호를 포함하는 카메라간 영상 보정장치.
  9. 제 1 항에 있어서,
    상기 보정부는,
    상기 비디오 촬영 카메라의 내부인자를 상수로 설정하고, 상기 동적 마커의 공간 좌표계상 3차원 위치를 상기 비디오 촬영 카메라 좌표계상 좌표로 1차 변환하고, 상기 내부인자를 변수로 설정하여 보정한 후, 상기 보정된 내부 인자값에 따라 상기 동적 마커의 공간 좌표계상 3차원 위치를 상기 비디오 촬영 카메라의 좌표계상 좌표로 2차 변환하는 카메라간 영상 보정장치.
  10. 제 9 항에 있어서,
    상기 비디오 촬영 카메라의 내부인자는,
    상기 비디오 촬영 카메라의 렌즈의 초점거리, 상기 렌즈의 광 중심, 상기 렌즈의 방사방향의 왜곡 또는 상기 렌즈의 접선방향의 왜곡을 포함하는 카메라간 영상 보정장치.
  11. 모션 캡쳐 카메라와 비디오 촬영 카메라에서 촬영된 영상으로부터 동적 마커를 검출하는 단계와,
    상기 모션 캡쳐 카메라를 통하여 촬영된 상기 동적 마커의 3차원 위치 데이터를 복원하여 3차원 카메라 보정 데이터로 저장하는 단계와,
    상기 비디오 촬영 카메라를 통하여 촬영된 상기 동적 마커의 2차원 위치 데이터를 추적하여 2차원 카메라 보정데이터로 저장하는 단계와,
    상기 동적 마커의 3차원 위치 데이터와 2차원 위치 데이터가 일대일 대응되도록 정합시키는 단계와,
    상기 동적 마커의 공간 좌표계상 3차원 위치를 상기 비디오 촬영 카메라의 좌표계상 좌표로 변환시키는 단계를 포함하되,
    상기 3차원 카메라 보정 데이터는, 상기 동적 마커를 구별하기 위한 레이블 정보와 상기 동적 마커가 상기 모션 캡쳐 카메라에 의해 녹화된 시점을 나타내는 프레임 번호를 포함하는
    카메라간 영상 보정 방법.
  12. 제 11 항에 있어서,
    상기 동적 마커를 검출하는 단계는,
    영상 프레임별 일정 영역에 상기 동적 마커의 추적을 위한 템플릿을 설정하는 단계와,
    상기 설정된 템플릿으로부터 상기 동적 마커를 검출하는 단계
    를 포함하는 카메라간 영상 보정 방법.
  13. 제 12 항에 있어서,
    상기 템플릿은,
    상기 동적 마커를 중심으로 일정 영역의 크기로 설정되며, 영상 프레임별 상기 템플릿의 위치 탐색을 위해 이전 영상 프레임의 템플릿과 정합이 수행되는 카메라간 영상 보정 방법.
  14. 제 13 항에 있어서,
    상기 템플릿의 위치 탐색 시, 상기 템플릿의 위치를 탐색하기 위해 설정되는 영역의 크기는, 영상 프레임간 상기 동적 마커의 움직임 속도에 따라 가변적으로 설정되는 카메라간 영상 보정 방법.
  15. 삭제
  16. 삭제
  17. 제 11 항에 있어서,
    상기 2차원 카메라 보정 데이터는,
    상기 동적 마커를 구별하기 위한 레이블 정보를 포함하는 카메라간 영상 보정 방법.
  18. 제 17 항에 있어서,
    상기 2차원 카메라 보정 데이터는
    상기 동적 마커가 상기 비디오 촬영 카메라에 의해 녹화된 시점을 나타내는 프레임 번호를 포함하는 카메라간 영상 보정 방법.
  19. 제 11 항에 있어서,
    상기 동적 마커의 좌표 변환 단계는,
    상기 비디오 촬영 카메라의 내부인자를 상수로 설정하고, 상기 동적 마커의 공간 좌표계상 3차원 위치를 상기 비디오 촬영 카메라의 좌표계상 좌표로 1차 변환하는 단계와,
    상기 내부인자를 변수로 설정하여 보정하고, 상기 보정된 내부 인자에 따라 상기 동적 마커의 공간 좌표계상 3차원 위치를 상기 비디오 촬영 카메라의 좌표계상 좌표로 2차 변환하는 단계
    를 포함하는 카메라간 영상 보정 방법.
  20. 제 19 항에 있어서,
    상기 비디오 촬영 카메라의 내부인자는,
    상기 비디오 촬영 카메라의 렌즈의 초점거리, 상기 렌즈의 광 중심, 상기 렌즈의 방사방향의 왜곡 또는 상기 렌즈의 접선방향의 왜곡을 포함하는 카메라간 영상 보정 방법.
KR1020090026454A 2009-03-27 2009-03-27 카메라간 영상 보정 장치 및 방법 KR101221449B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020090026454A KR101221449B1 (ko) 2009-03-27 2009-03-27 카메라간 영상 보정 장치 및 방법
US12/549,650 US8405717B2 (en) 2009-03-27 2009-08-28 Apparatus and method for calibrating images between cameras

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090026454A KR101221449B1 (ko) 2009-03-27 2009-03-27 카메라간 영상 보정 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20100108021A KR20100108021A (ko) 2010-10-06
KR101221449B1 true KR101221449B1 (ko) 2013-01-11

Family

ID=42783698

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090026454A KR101221449B1 (ko) 2009-03-27 2009-03-27 카메라간 영상 보정 장치 및 방법

Country Status (2)

Country Link
US (1) US8405717B2 (ko)
KR (1) KR101221449B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200142391A (ko) 2019-06-12 2020-12-22 (주)코어센스 광학식 위치 추적 시스템의 3차원 마커 좌표 추정 방법
KR20200142392A (ko) 2019-06-12 2020-12-22 (주)코어센스 동위의 3차원 마커 사이의 회전 및 이동 위치 추정 방법

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8121361B2 (en) 2006-05-19 2012-02-21 The Queen's Medical Center Motion tracking system for real time adaptive imaging and spectroscopy
US20120020518A1 (en) * 2009-02-24 2012-01-26 Shinya Taguchi Person tracking device and person tracking program
KR101335391B1 (ko) * 2010-04-12 2013-12-03 한국전자통신연구원 영상 합성 장치 및 그 방법
TWI528224B (zh) * 2010-11-15 2016-04-01 財團法人資訊工業策進會 三維動態操控方法及裝置
EP2747641A4 (en) 2011-08-26 2015-04-01 Kineticor Inc METHOD, SYSTEMS AND DEVICES FOR SCAN INTERNAL MOTION CORRECTION
US9338447B1 (en) * 2012-03-14 2016-05-10 Amazon Technologies, Inc. Calibrating devices by selecting images having a target having fiducial features
US8786707B1 (en) * 2012-03-19 2014-07-22 Google Inc. Pattern-free camera calibration for mobile devices with accelerometers
US9083945B2 (en) 2012-04-06 2015-07-14 Adobe Systems Incorporated Keyframe selection for robust video-based structure from motion
US9317928B2 (en) 2012-04-06 2016-04-19 Adobe Systems Incorporated Detecting and tracking point features with primary colors
WO2013155203A2 (en) * 2012-04-13 2013-10-17 Lightcraft Technology Llc Hybrid precision tracking
EP2709064B1 (en) 2012-07-18 2019-06-26 AGT International GmbH Image processing to derive movement characteristics for a plurality of queue objects
EP2709058B1 (en) * 2012-07-18 2015-09-02 AGT International GmbH Calibration of camera-based surveillance systems
DE102012107153A1 (de) * 2012-08-03 2014-02-27 Hendrik Fehlis Vorrichtung und Verfahren zur Bestimmung der Eigenlage einer bildaufnehmenden Kamera
US10327708B2 (en) 2013-01-24 2019-06-25 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US9305365B2 (en) 2013-01-24 2016-04-05 Kineticor, Inc. Systems, devices, and methods for tracking moving targets
US9717461B2 (en) 2013-01-24 2017-08-01 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
CN109008972A (zh) 2013-02-01 2018-12-18 凯内蒂科尔股份有限公司 生物医学成像中的实时适应性运动补偿的运动追踪系统
CN103745452B (zh) * 2013-11-26 2014-11-26 理光软件研究所（北京）有限公司 相机外参评估方法、装置、相机外参标定方法和装置
CN105765490B (zh) * 2014-01-03 2020-03-10 英特尔公司 用于用户界面控制的系统和技术
KR102265109B1 (ko) 2014-01-24 2021-06-15 삼성전자주식회사 영상 처리 방법 및 장치
CN104933755B (zh) * 2014-03-18 2017-11-28 华为技术有限公司 一种静态物体重建方法和系统
CN106572810A (zh) 2014-03-24 2017-04-19 凯内蒂科尔股份有限公司 去除医学成像扫描的预期运动校正的系统、方法和装置
KR102085228B1 (ko) 2014-03-27 2020-03-05 한국전자통신연구원 깊이 센서의 깊이 보정을 위한 이미지 처리방법 및 그 장치
CN105282418B (zh) * 2014-06-25 2019-07-12 株式会社昭特制作所 照相机控制装置以及照相机控制方法
CN104063854B (zh) * 2014-07-11 2015-05-06 中国人民解放军国防科学技术大学 一种镜面参数约束模糊核的折反射全向图像复原方法
US9942450B2 (en) 2014-07-11 2018-04-10 Agt International Gmbh Automatic time signature-based video matching for a camera network
EP3188660A4 (en) 2014-07-23 2018-05-16 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
TWI577493B (zh) 2014-12-26 2017-04-11 財團法人工業技術研究院 校正方法與應用此方法的自動化設備
US9554121B2 (en) * 2015-01-30 2017-01-24 Electronics And Telecommunications Research Institute 3D scanning apparatus and method using lighting based on smart phone
US9943247B2 (en) 2015-07-28 2018-04-17 The University Of Hawai'i Systems, devices, and methods for detecting false movements for motion correction during a medical imaging scan
US9697867B2 (en) * 2015-09-25 2017-07-04 Intel Corporation Interactive adaptive narrative presentation
WO2017091479A1 (en) 2015-11-23 2017-06-01 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
CN105701827B (zh) * 2016-01-15 2019-04-02 中林信达（北京）科技信息有限责任公司 可见光相机与红外相机的参数联合标定方法及装置
CN106546230B (zh) * 2016-11-01 2021-06-22 北京墨土科技有限公司 定位点布置方法及装置、测定定位点三维坐标的方法及设备
DE102017208526A1 (de) * 2017-05-19 2018-11-22 Signum Bildtechnik GmbH Marker basierter Kamera-Tracker
WO2019083068A1 (ko) * 2017-10-27 2019-05-02 한양대학교 산학협력단 투구 연습을 통한 3차원 정보 획득 시스템 및 카메라 파라미터 산출 방법
CN110290456A (zh) * 2019-05-20 2019-09-27 深圳壹账通智能科技有限公司 目标对象的定位方法及装置
CN111862242B (zh) * 2020-07-29 2023-11-03 北京轻威科技有限责任公司 光学惯性混合动作捕捉设备的标定系统和方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030013092A (ko) * 2001-08-07 2003-02-14 삼성전자주식회사 이동물체 자동 추적장치 및 방법
KR100480780B1 (ko) * 2002-03-07 2005-04-06 삼성전자주식회사 영상신호로부터 대상물체를 추적하는 방법 및 그 장치
KR20080050283A (ko) * 2006-12-02 2008-06-05 한국전자통신연구원 3차원 모션 데이터 생성을 위한 상관 관계 추출 방법과이를 이용한 실사 배경 영상에 인체형 캐릭터의 용이한합성을 위한 모션 캡쳐 시스템 및 방법

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US550A (en) * 1838-01-09 Improvement in machines for breaking flax and hemp
US5889550A (en) 1996-06-10 1999-03-30 Adaptive Optics Associates, Inc. Camera tracking system
AU2001249517A1 (en) * 2000-03-27 2001-10-08 Massachusetts General Hospital Method and system for viewing kinematic and kinetic information
US7127081B1 (en) * 2000-10-12 2006-10-24 Momentum Bilgisayar, Yazilim, Danismanlik, Ticaret, A.S. Method for tracking motion of a face
US20040104935A1 (en) * 2001-01-26 2004-06-03 Todd Williamson Virtual reality immersion system
KR100507780B1 (ko) 2002-12-20 2005-08-17 한국전자통신연구원 고속 마커프리 모션 캡쳐 장치 및 방법
US20050088515A1 (en) * 2003-10-23 2005-04-28 Geng Z. J. Camera ring for three-dimensional (3D) surface imaging
KR100588042B1 (ko) * 2004-01-14 2006-06-09 한국과학기술연구원 인터액티브 프레젠테이션 시스템
US8009192B2 (en) * 2006-05-17 2011-08-30 Mitsubishi Electric Research Laboratories, Inc. System and method for sensing geometric and photometric attributes of a scene with multiplexed illumination and solid states optical devices
US8340398B2 (en) 2006-12-02 2012-12-25 Electronics And Telecommunications Research Institute Correlation extract method for generating 3D motion data, and motion capture system and method for easy composition of humanoid character on real background image using the same

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030013092A (ko) * 2001-08-07 2003-02-14 삼성전자주식회사 이동물체 자동 추적장치 및 방법
KR100480780B1 (ko) * 2002-03-07 2005-04-06 삼성전자주식회사 영상신호로부터 대상물체를 추적하는 방법 및 그 장치
KR20080050283A (ko) * 2006-12-02 2008-06-05 한국전자통신연구원 3차원 모션 데이터 생성을 위한 상관 관계 추출 방법과이를 이용한 실사 배경 영상에 인체형 캐릭터의 용이한합성을 위한 모션 캡쳐 시스템 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200142391A (ko) 2019-06-12 2020-12-22 (주)코어센스 광학식 위치 추적 시스템의 3차원 마커 좌표 추정 방법
KR20200142392A (ko) 2019-06-12 2020-12-22 (주)코어센스 동위의 3차원 마커 사이의 회전 및 이동 위치 추정 방법

Also Published As

Publication number Publication date
US8405717B2 (en) 2013-03-26
KR20100108021A (ko) 2010-10-06
US20100245593A1 (en) 2010-09-30

Similar Documents

Publication Publication Date Title
KR101221449B1 (ko) 카메라간 영상 보정 장치 및 방법
KR101335391B1 (ko) 영상 합성 장치 및 그 방법
CN108734739A (zh) 用于时间对齐标定、事件标注、数据库生成的方法及装置
US9635251B2 (en) Visual tracking using panoramas on mobile devices
AU2013257788B2 (en) A system for mixing or compositing in real-time, computer generated 3D objects and a video feed from a film camera
TWI530909B (zh) 影像合成系統及方法
CN102714696B (zh) 图像处理装置、图像处理方法及摄影装置
US20030202120A1 (en) Virtual lighting system
CN104584032A (zh) 混合式精确跟踪
JP3109469B2 (ja) 画像入力装置
US20170374256A1 (en) Method and apparatus for rolling shutter compensation
US10880474B1 (en) Systems and methods for mobile imaging
CN102959938B (zh) 图像处理方法和设备
CN111899276A (zh) 一种基于双目事件相机的slam方法及系统
JP2011049733A (ja) カメラキャリブレーション装置および映像歪み補正装置
CN103500471A (zh) 实现高分辨率增强现实系统的方法
US20160127617A1 (en) System for tracking the position of the shooting camera for shooting video films
CN112396639A (zh) 图像对齐方法
CN112312041B (zh) 基于拍摄的图像校正方法、装置、电子设备及存储介质
Chen Capturing fast motion with consumer grade unsynchronized rolling-shutter cameras
US20180053304A1 (en) Method and apparatus for detecting relative positions of cameras based on skeleton data
CN110785792A (zh) 3d建模方法、电子设备、存储介质及程序产品
KR102225321B1 (ko) 복수 영상 센서로부터 취득한 영상 정보와 위치 정보 간 연계를 통한 도로 공간 정보 구축을 위한 시스템 및 방법
KR101741150B1 (ko) 영상에디팅을 수행하는 영상촬영장치 및 방법
KR20100128620A (ko) 파노라믹 동영상 생성 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20151228

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170621

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20171226

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20181226

Year of fee payment: 7