KR102329098B1 - 볼류메트릭 비디오의 3차원 객체 위치 정합을 위한 위치표식을 이용한 다시점 동영상 촬영 시스템 및 3차원 객체 동영상 합성방법 - Google Patents

볼류메트릭 비디오의 3차원 객체 위치 정합을 위한 위치표식을 이용한 다시점 동영상 촬영 시스템 및 3차원 객체 동영상 합성방법 Download PDF

Info

Publication number
KR102329098B1
KR102329098B1 KR1020210046819A KR20210046819A KR102329098B1 KR 102329098 B1 KR102329098 B1 KR 102329098B1 KR 1020210046819 A KR1020210046819 A KR 1020210046819A KR 20210046819 A KR20210046819 A KR 20210046819A KR 102329098 B1 KR102329098 B1 KR 102329098B1
Authority
KR
South Korea
Prior art keywords
current
frame
center point
current frame
plane
Prior art date
Application number
KR1020210046819A
Other languages
English (en)
Inventor
민병왕
박승규
Original Assignee
엠앤앤에이치 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엠앤앤에이치 주식회사 filed Critical 엠앤앤에이치 주식회사
Priority to KR1020210046819A priority Critical patent/KR102329098B1/ko
Priority to KR1020210118050A priority patent/KR102387479B1/ko
Application granted granted Critical
Publication of KR102329098B1 publication Critical patent/KR102329098B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

피사체와 함께 촬영되는 위치 표식들을 이용하여 3차원 객체의 위치와 방향의 재정합이 가능한 다시점 동영상 촬영 시스템 및 3차원 객체 동영상 합성방법이 제공된다. 본 발명에 따른 다시점 동영상 촬영 시스템은 피사체가 위치하는 촬영공간의 바닥에 고정되는 m개의 위치 표식(Fiducial Marker)들과, 피사체와 m개의 위치 표식들을 다시점 동영상 촬영하는 n개의 다시점 카메라들과, n개의 다시점 카메라들이 촬영한 다시점 동영상 중 현재 시점에 해당하는 프레임(이하, '현재 프레임'이라 한다)을 생성하고, 현재 프레임과 기준 프레임에 포함된 m개의 위치 표식들을 이용하여 현재 프레임과 기준 프레임의 위치와 방향을 일치시키는 볼류메트릭 비디오 합성 장치를 포함한다.

Description

볼류메트릭 비디오의 3차원 객체 위치 정합을 위한 위치표식을 이용한 다시점 동영상 촬영 시스템 및 3차원 객체 동영상 합성방법 {Multiview video shooting System using Fiducial Markers for 3-Dimensional Object Registration of Volumetric Video Capture and Method of Composing 3-Dimensional Object Video}
본 발명은 볼류메트릭 비디오의 3차원 객체에 대한 위치 재정합을 위한 다시점 동영상 촬영 시스템 및 3차원 객체 동영상 합성방법에 관한 것으로서, 보다 상세하게는, 피사체와 함께 촬영되는 위치 표식들을 이용하여 3차원 객체의 위치와 방향의 재정합이 가능한 다시점 동영상 촬영 시스템 및 3차원 객체 동영상 합성방법에 관한 것이다.
다시점 동영상 촬영 기술은 촬영 대상을 동영상으로 촬영하여 새로운 3차원 모델을 생성하는 기술로서, 스틸 사진을 이용한 영화 또는 게임 산업에서 3차원 모델을 생성하는 다시점 사진 촬영 기술과는 다른 분야에 해당한다.
다시점 영상 촬영 및 그 영상의 정합을 이용하여, 3차원 외형을 복원하는 기술을 포토그래메트리(photogrammetry)라고 한다. 이 기술은 다수의 카메라로 다양한 각도에서 피사체를 동영상으로 촬영한 후 합성하면, 3차원 형상으로 움직임을 복원할 수 있다. 3차원 피사체가 생성되도록 동영상을 합성할 때, 각각의 시간마다 생성된 피사체들이 정확한 위치에 정합될 수 있어야 한다.
다시점 동영상 촬영 결과를 이용하여 3차원 피사체를 합성하기 위해서는 촬영하는 카메라 위치를 알고 있는 것이 중요하다. 카메라 위치를 결정하는 방법 중 하나로서 촬영된 영상을 바탕으로 카메라 위치를 추정하여 3차원 피사체를 합성하는 방법이 있다.
이를 위하여 모든 카메라의 촬영 시점 동기화를 최대한 맞추지만, 다양한 환경요인으로 인하여 촬영 시점 동기화를 완벽하게 맞출 수 없으므로, 촬영된 영상을 특징점 분석을 통해 카메라 위치를 역으로 추정하여 재정렬한다.
도 1은 종래기술에 따른 다시점 동영상 촬영기술에 관한 것이다. 도 1에 도시된 종래기술에 따른 다시점 동영상 촬영기술은 재정렬된 카메라 위치로 인해 카메라 위치가 이동하게 되며, 이로써 3차원 피사체의 위치 또한 도 1에 도시된 바와 같이 움직임이 발생하게 된다. 즉, 종래기술에 따르면 카메라들 간에 이상적으로 완벽한 촬영 동기화가 되어 있지 않으므로, 동적 피사체의 정합을 위하여 재정렬된 가상의 카메라 위치는 지속적으로 변하게 되며, 이로써 피사체의 위치 오류가 발생하고 합성된 3차원 피사체가 왜곡되거나 뒤틀림이 발생하게 된다.
국내 등록특허 제 10-2213073호(2021.02.01. 등록)
전술한 문제점을 해결하기 위하여 본 발명이 이루고자 하는 기술적 과제는, 피사체와 함께 촬영되는 위치 표식들을 이용하여 볼류메트릭 비디오의 3차원 객체의 위치와 방향을 재정합시킴으로서 피사체의 왜곡을 보정할 수 있는 다시점 동영상 촬영 시스템의 구현 및 보정 방법을 제시하는데 있다.
본 발명의 해결과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 실시예에 따른 다시점 동영상 촬영 시스템은,피사체가 위치하는 촬영공간의 바닥에 고정되는 m개의 위치 표식(Fiducial Marker)들; 상기 피사체와 m개의 위치 표식들을 다시점 동영상 촬영하는 n개의 다시점 카메라들; 상기 n개의 다시점 카메라들이 촬영한 다시점 동영상 중 현재 시점에 해당하는 프레임(이하, '현재 프레임'이라 한다)을 생성하고, 상기 현재 프레임과 기준 프레임에 포함된 m개의 위치 표식들을 이용하여 상기 현재 프레임과 기준 프레임의 위치와 방향을 일치시키는 볼류메트릭 비디오 합성 장치;를 포함할 수 있다.
상기 볼류메트릭 비디오 합성 장치는, 상기 n개의 다시점 카메라들이 촬영한 다시점 동영상 중 현재 시점에 해당하는 n개의 이미지들을 합성하여 3차원의 현재 프레임을 생성하는 프레임 생성부; 상기 현재 프레임에 포함된 m개의 위치 표식들(이하, '현재 위치 표식들'이라 한다)의 중심점과 상기 기준 프레임에 포함된 m개의 위치 표식들(이하, '기준 위치 표식들'이라 한다)의 중심점을 일치시키는 중심점 일치부; 상기 현재 위치 표식들로부터 산출되는 평면 벡터(이하, '현재 평면 벡터'라 한다)와 기준 위치 표식들로부터 산출되는 평면 벡터(이하, '기준 평면 벡터'라 한다)의 방향이 일치하도록 상기 현재 프레임을 수직 방향으로 회전시켜 상기 현재 프레임과 기준 프레임의 평면 방향을 일치시키는 평면 방향 일치부; 및 평면 방향이 일치된 현재 프레임과 기준 프레임에 존재하는 피사체의 정면 방향이 일치하도록 상기 현재 프레임을 수평 방향으로 회전시키는 정면 방향 일치부;를 포함할 수 있다.
상기 중심점 일치부는, 상기 현재 위치 표식들에 위치하는 특징점들의 좌표를 이용하여 현재 위치 표식들 각각의 중심좌표를 산출하고, 상기 산출된 m개의 중심좌표에 의해 형성되는 다각형의 중심점(이하, '현재 중심점'이라 한다)을 산출하는 중심점 산출부; 및 상기 중심점 산출부에서 산출되는 현재 중심점과 상기 기준 위치 표식들로부터 기산출된 중심점(이하, '기준 중심점'이라 한다)을 일치하도록 현재 프레임의 위치를 보정하는 위치 보정부;를 포함할 수 있다.
상기 평면 방향 일치부는, 상기 현재 위치 표식들의 단위 벡터들을 이용하여 현재 평면 벡터를 산출하는 평면 벡터 산출부; 상기 기준 평면 벡터와 현재 평면 벡터 간의 회전각도를 산출하는 회전각도 산출부; 및 상기 현재 프레임의 공간을 상기 일치된 중심점을 기준으로 상기 산출된 회전각도로 회전시켜 상기 현재 프레임과 기준 프레임의 평면 방향을 일치시키는 평면 방향 보정부;를 포함할 수 있다.
상기 정면 방향 일치부는, 상기 평면 방향 일치부에서 산출되는 회전각도 중 요 방향의 회전각도를 이용하여 정면 방향으로 회전하기 위한 회전행렬을 산출하는 회전행렬 산출부; 및 상기 현재 프레임의 공간을 상기 평면 방향이 일치된 중심점을 기준으로 상기 산출된 회전행렬만큼 회전시켜 상기 현재 프레임과 기준 프레임의 피사체가 바라보는 정면 방향을 일치시키는 정면 방향 보정부;를 포함할 수 있다.
상기 m개의 위치 표식들은, 각각, 검은색과 흰색으로 이루어진 내부 영역과, 상기 검은색과 흰색과 바닥의 색상을 제외한 색상으로 이루어진 외부 영역을 포함하고, 상기 m개의 위치 표식들의 외부 영역의 색상은 서로 다른 것일 수 있다.
본 발명의 다른 실시예에 따른 3차원 객체 동영상 합성 방법은, (A) 볼류메트릭 비디오 합성 장치가, n개의 다시점 카메라들이 피사체가 위치하는 촬영공간의 바닥에 고정되는 m개의 위치 표식(Fiducial Marker)들을 포함하도록 상기 피사체를 촬영한 다시점 동영상을 수신하는 단계; 및 (B) 상기 볼류메트릭 비디오 합성 장치가, 상기 n개의 다시점 카메라들에 의해 촬영된 다시점 동영상 중 현재 시점에 해당하는 프레임(이하, '현재 프레임'이라 한다)을 생성하고, 상기 현재 프레임과 기준 프레임에 포함된 m개의 위치 표식들을 이용하여 상기 현재 프레임과 기준 프레임의 위치와 방향을 일치시키는 단계;를 포함할 수 있다.
상기 (B) 단계는, (B1) 상기 볼류메트릭 비디오 합성 장치가, 상기 n개의 다시점 카메라들이 촬영한 다시점 동영상 중 현재 시점에 해당하는 n개의 이미지들을 합성하여 3차원의 현재 프레임을 생성하는 단계; (B2) 상기 볼류메트릭 비디오 합성 장치가, 상기 현재 프레임에 포함된 m개의 위치 표식들(이하, '현재 위치 표식들'이라 한다)의 중심점과 상기 기준 프레임에 포함된 m개의 위치 표식들(이하, '기준 위치 표식들'이라 한다)의 중심점을 일치시키는 단계; (B3) 상기 볼류메트릭 비디오 합성 장치가, 상기 현재 위치 표식들로부터 산출되는 평면 벡터(이하, '현재 평면 벡터'라 한다)와 기준 위치 표식들로부터 산출되는 평면 벡터(이하, '기준 평면 벡터'라 한다)의 방향이 일치하도록 상기 현재 프레임을 수직 방향으로 회전시켜 상기 현재 프레임과 기준 프레임의 평면 방향을 일치시키는 단계; 및 (B4) 상기 볼류메트릭 비디오 합성 장치가, 평면 방향이 일치된 현재 프레임과 기준 프레임에 존재하는 피사체의 정면 방향이 일치하도록 상기 현재 프레임을 수평 방향으로 회전시키는 단계;를 포함할 수 있다.
상기 (B2) 단계는, (B21) 상기 현재 위치 표식들에 위치하는 특징점들의 좌표를 이용하여 현재 위치 표식들 각각의 중심좌표를 산출하고, 상기 산출된 m개의 중심좌표에 의해 형성되는 다각형의 중심점(이하, '현재 중심점'이라 한다)을 산출하는 단계; 및 (B22) 상기 중심점 산출부에서 산출되는 현재 중심점과 상기 기준 위치 표식들로부터 기산출된 중심점(이하, '기준 중심점'이라 한다)을 일치하도록 현재 프레임의 위치를 보정하는 단계;를 포함할 수 있다.
상기 (B3) 단계는, (B31) 상기 현재 위치 표식들의 단위 벡터들을 이용하여 현재 평면 벡터를 산출하는 단계; (B32) 상기 기준 평면 벡터와 현재 평면 벡터 간의 회전각도를 산출하는 단계; 및 (B33) 상기 현재 프레임의 공간을 상기 일치된 중심점을 기준으로 상기 산출된 회전각도로 회전시켜 상기 현재 프레임과 기준 프레임의 평면 방향을 일치시키는 단계;를 포함할 수 있다.
상기 (B4) 단계는, (B41) 상기 평면 방향 일치부에서 산출되는 회전각도 중 요 방향의 회전각도를 이용하여 정면 방향으로 회전하기 위한 회전행렬을 산출하는 단계; 및 (B42) 상기 현재 프레임의 공간을 상기 평면 방향이 일치된 중심점을 기준으로 상기 산출된 회전행렬만큼 회전시켜 상기 현재 프레임과 기준 프레임의 피사체가 바라보는 정면 방향을 일치시키는 단계;를 포함할 수 있다.
상기 m개의 위치 표식들은, 각각, 검은색과 흰색으로 이루어진 내부 영역과, 상기 검은색과 흰색과 바닥의 색상을 제외한 색상으로 이루어진 외부 영역을 포함하고, 상기 m개의 위치 표식들의 외부 영역의 색상은 서로 다른 것일 수 있다.
본 발명의 또 다른 실시예에 따른 볼류메트릭 비디오 합성장치는, n개의 다시점 카메라들이 촬영한 다시점 동영상 중 현재 시점에 해당하는 n개의 이미지들을 합성하여 3차원의 현재 프레임을 생성하는 프레임 생성부; 상기 현재 프레임에 포함된 m개의 위치 표식들(이하, '현재 위치 표식들'이라 한다)의 중심점과 기준 프레임에 포함된 m개의 위치 표식들(이하, '기준 위치 표식들'이라 한다)의 중심점을 일치시키는 중심점 일치부; 상기 현재 위치 표식들로부터 산출되는 평면 벡터(이하, '현재 평면 벡터'라 한다)와 기준 위치 표식들로부터 산출되는 평면 벡터(이하, '기준 평면 벡터'라 한다)의 방향이 일치하도록 상기 현재 프레임을 수직 방향으로 회전시켜 상기 현재 프레임과 기준 프레임의 평면 방향을 일치시키는 평면 방향 일치부; 및 평면 방향이 일치된 현재 프레임과 기준 프레임에 존재하는 피사체의 정면 방향이 일치하도록 상기 현재 프레임을 수평 방향으로 회전시키는 정면 방향 일치부;를 포함할 수 있다.
상기 중심점 일치부는, 상기 현재 위치 표식들에 위치하는 특징점들의 좌표를 이용하여 현재 위치 표식들 각각의 중심좌표를 산출하고, 상기 산출된 m개의 중심좌표에 의해 형성되는 다각형의 중심점(이하, '현재 중심점'이라 한다)을 산출하는 중심점 산출부; 및 상기 중심점 산출부에서 산출되는 현재 중심점과 상기 기준 위치 표식들로부터 기산출된 중심점(이하, '기준 중심점'이라 한다)을 일치하도록 현재 프레임의 위치를 보정하는 위치 보정부;를 포함할 수 있다.
상기 평면 방향 일치부는, 상기 현재 위치 표식들의 단위 벡터들을 이용하여 현재 평면 벡터를 산출하는 평면 벡터 산출부; 상기 기준 평면 벡터와 현재 평면 벡터 간의 회전각도를 산출하는 회전각도 산출부; 및 상기 현재 프레임의 공간을 상기 일치된 중심점을 기준으로 상기 산출된 회전각도로 회전시켜 상기 현재 프레임과 기준 프레임의 평면 방향을 일치시키는 평면 방향 보정부;를 포함할 수 있다.
상기 정면 방향 일치부는, 상기 평면 방향 일치부에서 산출되는 회전각도 중 요 방향의 회전각도를 이용하여 정면 방향으로 회전하기 위한 회전행렬을 산출하는 회전행렬 산출부; 및 상기 현재 프레임의 공간을 상기 평면 방향이 일치된 중심점을 기준으로 상기 산출된 회전행렬만큼 회전시켜 상기 현재 프레임과 기준 프레임의 피사체가 바라보는 정면 방향을 일치시키는 정면 방향 보정부;를 포함할 수 있다.
상기 m개의 위치 표식들은, 각각, 검은색과 흰색으로 이루어진 내부 영역과, 상기 검은색과 흰색과 바닥의 색상을 제외한 색상으로 이루어진 외부 영역을 포함하고, 상기 m개의 위치 표식들의 외부 영역의 색상은 서로 다른 것일 수 있다.
본 발명에 따르면, 다시점 동영상 촬영 시 촬영공간의 바닥에 다수의 위치 표식들을 고정시킨 후, 다수의 위치 표식들이 포함되도록 피사체를 동영상 촬영하고, 촬영된 다수의 동영상들로부터 생성되는 볼류메트릭 비디오 3차원 객체의 현재 프레임의 위치와 방향을 위치 표식들을 이용하여 기준 프레임에 정합시킴으로써 3차원 객체의 뒤틀림 현상, 위치 어긋남 현상 등을 해결할 수 있다.
또한, 본 발명에 따르면, 다수의 위치 표식들에 발광소자를 구비하여 발광소자가 발광한 순간을 기준으로 다수의 동영상들의 재생 시점을 일치시킴으로써 영상 동기화를 할 수 있다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 객체의 위치 또는 방향이 어긋난 다시점 동영상의 일 예를 도시한 도면,
도 2는 본 발명의 실시 예에 따른 다시점 동영상 촬영 시스템을 도시한 개념도,
도 3은 촬영공간에 구비된 제1 내지 제3위치 표식들(110~130)의 색정보를 설명하기 위한 예시도,
도 4는 제1 내지 제3위치 표식들(110~130) 중 내부 영역의 다양한 형태를 보여주는 예시도,
도 5는 도 2에 도시된 프로세서(360)를 도시한 블록도,
도 6은 3개의 중심좌표(RB1, RR1, RM1)에 의해 형성되는 삼각형과 삼각형의 현재 중심점(C1)을 보여주는 예시도,
도 7은 평면 벡터를 설명하기 위한 예시도,
도 8은 중심점과 평면 방향을 보정하는 동작을 설명하기 위한 예시도,
도 9는 피치, 롤, 용 방향을 보여주는 도면,
도 10은 제1 내지 제3발광장치들(410~430)이 구비된 제1 내지 제3위치 표식들(110~130)의 예시도,
도 11은 본 발명의 일 실시 예에 따른 볼류메트릭 비디오 합성장치가 다시점 3차원 객체를 생성 및 보정하는 방법을 설명하기 위한 흐름도,
도 12는 본 발명의 다른 실시 예에 따른 볼류메트릭 비디오 합성장치의 볼류메트릭 비디오 합성방법을 설명하기 위한 흐름도,
도 13은 도 12의 S1230단계, S1240단계 및 S1250단계를 자세히 도시한 흐름도,
도 14는 본 발명의 실시예에 따른 볼류메트릭 비디오를 개략적으로 설명하기 위한 도면, 그리고,
도 15는 본 발명의 실시예에 따른 볼류메트릭 비디오의 합성결과에 의해 3차원 객체 동영상이 생성되는 결과를 설명하기 위해 개략적으로 도식화한 도면이다.
이상의 본 발명의 목적들, 다른 목적들, 특징들 및 이점들은 첨부된 도면과 관련된 이하의 바람직한 실시 예들을 통해서 쉽게 이해될 것이다. 그러나 본 발명은 여기서 설명되는 실시 예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시 예들은 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다.
어떤 경우에는, 발명을 기술하는 데 있어서 흔히 알려졌으면서 발명과 크게 관련 없는 부분들은 본 발명을 설명하는 데 있어 별 이유 없이 혼돈이 오는 것을 막기 위해 기술하지 않음을 미리 언급해 둔다.
본 명세서에서 제1, 제2 등의 용어가 구성요소들을 기술하기 위해서 사용된 경우, 이들 구성요소들이 이 같은 용어들에 의해서 한정되어서는 안 된다. 이들 용어들은 단지 어느 구성요소를 다른 구성요소와 구별시키기 위해서 사용되었을 뿐이다. 여기에 설명되고 예시되는 실시 예들은 그것의 상보적인 실시 예들도 포함한다.
또한, 제1 엘리먼트 (또는 구성요소)가 제2 엘리먼트(또는 구성요소) 상(ON)에서 동작 또는 실행된다고 언급될 때, 제1 엘리먼트(또는 구성요소)는 제2 엘리먼트(또는 구성요소)가 동작 또는 실행되는 환경에서 동작 또는 실행되거나 또는 제2 엘리먼트(또는 구성요소)와 직접 또는 간접적으로 상호 작용을 통해서 동작 또는 실행되는 것으로 이해되어야 할 것이다.
어떤 엘리먼트, 구성요소, 장치, 또는 시스템이 프로그램 또는 소프트웨어로 이루어진 구성요소를 포함한다고 언급되는 경우, 명시적인 언급이 없더라도, 그 엘리먼트, 구성요소, 장치, 또는 시스템은 그 프로그램 또는 소프트웨어가 실행 또는 동작하는데 필요한 하드웨어(예를 들면, 메모리, CPU 등)나 다른 프로그램 또는 소프트웨어(예를 들면 운영체제나 하드웨어를 구동하는데 필요한 드라이버 등)를 포함하는 것으로 이해되어야 할 것이다.
또한, 본 명세서에서 '부', '모듈', '서버', '시스템', '플랫폼', '장치' 또는 '단말' 등의 용어는 하드웨어 및 해당 하드웨어에 의해 구동되거나 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 지칭하는 것으로 의도될 수 있다. 예를 들어, 여기서 하드웨어는 CPU 또는 다른 프로세서(processor)를 포함하는 데이터 처리 기기일 수 있다. 또한, 하드웨어에 의해 구동되는 소프트웨어는 실행중인 프로세스, 피사체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다.
또한, 상기 용어들은 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것이 아님은 본 발명의 기술분야의 평균적 전문가에게는 용이하게 추론될 수 있다.
이하, 본 발명에서 실시하고자 하는 구체적인 기술내용에 대해 첨부도면을 참조하여 상세하게 설명하기로 한다.
도 2에 도시된 다시점 동영상 촬영 시스템의 각각의 구성은 기능 및 논리적으로 분리될 수 있음을 나타내는 것이며, 반드시 각각의 구성이 별도의 물리적 장치로 구분되거나 별도의 코드로 작성됨을 의미하는 것은 아님을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
도 2는 본 발명의 실시 예에 따른 다시점 동영상 촬영 시스템을 도시한 개념도이다.
도 2를 참조하면, 본 발명의 실시 예에 따른 다시점 동영상 촬영 시스템은 m개의 위치 표식(Fiducial Marker)들(110~130), n개의 다시점 카메라들(210~280) 및 볼류메트릭 비디오 합성장치(300)를 포함할 수 있다.
m개의 위치 표식들(110~130)은 피사체가 위치하는 촬영공간의 바닥에 고정되도록 구비되고, 평면을 구현하기 위해 m은 3 이상의 정수일 수 있다. 이하에서는 m개의 위치 표식들(110~130)로서 제1 내지 제3위치 표식들(110~130)을 예로 들어 설명한다.
도 3은 촬영공간에 구비된 제1 내지 제3위치 표식들(110~130)의 색정보를 설명하기 위한 예시도이다.
도 3을 참조하면, 제1 내지 제3위치 표식들(110~130)은, 각각, 제1 내지 제3내부 영역과 제1 내지 제3외부 영역을 포함한다. 제1 내지 제3내부 영역들은 검은색과 흰색으로 이루어지며, 서로 동일하거나 다를 수 있다. 제1 내지 제3외부 영역들은 검은색, 흰색, 그리고, 바닥의 색(녹색)을 제외한 색상으로 이루어지며, 서로 다른 색으로 구현된다. 제1 내지 제3외부 영역들은 3차원 객체가 생성된 프레임에서 배경 또는 바닥과의 분리가 가능하도록 하기 위하여 녹색과 보색인 색일 수 있으며, 예를 들어, 각각 빨강색(R), 파랑색(B) 및 마젠타색(M)일 수 있다.
도 4는 제1 내지 제3위치 표식들(110~130) 중 내부 영역의 다양한 형태를 보여준다.
도 4를 참조하면, 제1 내지 제3위치 표식들(110~130)은 특징점 추출을 위한 위치표지 형상으로 제작될 수 있다. 특징점의 조건은 물체의 형태나 크기, 위치가 변해도 쉽게 식별이 가능하고, 카메라의 시점 또는 조명이 변해도 영상에서 특징점이 추출된 지점을 찾아낼 수 있어야 한다. 따라서, 제1 내지 제3위치 표식들(110~130)의 형태는 이러한 조건을 고려하여 디자인된 문양이 사용된다.
다시 도 2를 참조하면, n개(n은 4 이상의 정수)의 다시점 카메라들(210~280)은 피사체와 제1 내지 제3위치 표식들(110~130)을 다시점 동영상 촬영하도록 n개의 고정 프레임에 설치되거나 고정 프레임들 사이에 설치될 수 있다. 도 2의 경우, 한 개의 고정 프레임의 상측에 2개, 중간에 2개, 하단에 1개의 다시점 동영상 촬영을 위한 카메라들이 설치되고, 고정 프레임들 사이에 정방향카메라가 설치된다. 본 발명의 실시 예에서는 제1 내지 제8다시점 카메라들(210~280)을 예로 들어 설명한다. 제1 내지 제8다시점 카메라들(210~280)은 피사체를 서로 다른 위치, 즉, 서로 다른 시점에서 촬영한다.
8개의 고정 프레임들과 촬영공간의 바닥을 포함하는 주변은 녹색 크로마키로 환경을 통제하여 피사체와 제1 내지 제3위치 표식들(110~130)로부터 특징점(Feature Point) 추출이 이루어질 수 있도록 한다.
볼류메트릭 비디오 합성장치(300)는 제1 내지 제8다시점 카메라들(210~280)의 촬영 영상을 이용하여 3차원 객체로 합성하며, 합성하기 위해서는 각 카메라의 위치를 아는 것이 중요하다. 카메라 위치를 결정하는 방식은 두 가지가 있다.
첫째, 실제 카메라의 촬영 위치를 볼류메트릭 비디오 합성장치(300)에 입력하는 방식이다. 이는 일반적이고 합리적인 방법이지만, 카메라 동기화가 이상적으로 동작해야 한다.
둘째, 다수의 다시점 카메라들(210~280)로부터 촬영된 영상을 바탕으로 카메라 위치를 추정하여 3차원 객체를 합성하는 방식이다.
본 발명의 실시 예에서는 두번째 방식으로 촬영 영상을 이용하여 카메라 위치를 추정한 후, 이 위치를 바탕으로 3차원 객체를 합성하여 3차원의 프레임을 생성하는 방식에 적용될 수 있으며, 제1 내지 제3위치 표식들(110~130)을 이용하여 3차원의 프레임들 간의 위치와 방향을 보정하여 3차원 객체들을 동기화할 수 있다. 즉, 제1 내지 제8다시점 카메라들(210~280) 간에 이상적으로 완벽한 촬영동기화가 이루어져 있지 않으므로, 동적 피사체의 정합을 위해 재정렬된 가상의 카메라 위치는 지속적으로 변하게 된다. 따라서, 볼류메트릭 비디오 합성장치(300)는 바닥에 고정된 제1 내지 제3위치 표식들(110~130)을 이용하여 피사체의 위치 오류와 합성된 프레임들 간 뒤틀림을 보정할 수 있다.
이를 위하여, 볼류메트릭 비디오 합성장치(300)는 제1 내지 제8다시점 카메라들(210~280)이 촬영한 다시점 동영상 중 현재 시점에 해당하는 프레임(이하, '현재 프레임'이라 한다)을 생성하고, 현재 프레임과 기준 프레임에 포함된 m개의 위치 표식들을 이용하여 현재 프레임과 기준 프레임의 위치(즉, 중심점)와 방향(즉, 수직방향과 수평방향)을 일치시킬 수 있다.
도 2를 참조하면, 볼류메트릭 비디오 합성장치(300)는 통신 인터페이스부(310), 사용자 인터페이스부(320), 저장부(330), 이미지 처리부(340), 메모리(350) 및 프로세서(360)를 포함할 수 있다.
통신 인터페이스부(310)는 제1 내지 제8다시점 카메라들(210~280)과 유무선 통신가능하도록 연결되어 제1 내지 제8다시점 카메라들(210~280)이 촬영한 동영상을 수신할 수 있다. 또는 제1 내지 제8다시점 카메라들(210~280)이 촬영한 동영상은 별도의 커넥터(미도시)를 통해 입력받을 수도 있다.
사용자 인터페이스부(320)는 사용자와 볼류메트릭 비디오 합성장치(300) 간의 명령이나 정보 전달을 위한 인터페이싱 경로를 제공한다. 사용자 인터페이스부(320)는 마우스, 키보드, 모니터 등의 장치를 포함한다.
저장부(330)는 제1 내지 제8다시점 카메라들(210~280)이 촬영한 동영상(이하, '제1 내지 제8동영상'이라 한다)과, 프로세서(360)에서 위치와 방향이 보정된 프레임들을 저장할 수 있다.
이미지 처리부(340)는 저장부(330)에 저장된 제1 내지 제8동영상을 처리하여 동일한 시점에 촬영된 제1 내지 제8스틸 이미지를 획득한 후 프로세서(360)로 전달할 수 있다. 예를 들어, 이미지 처리부(340)는 제1 내지 제8다시점 동영상의 특징점 분석을 통해 카메라 위치를 추정하고, 추정된 카메라 위치로 제1 내지 제8다시점 카메라들(210~280)의 위치를 정렬한다. 이미지 처리부(340)는 정렬된 카메라 위치를 이용하여 포인트 클라우드를 생성하며, 이 때 동일한 시점에 촬영된 제1 내지 제8스틸 이미지 별로 포인트 클라우드를 생성한 후 프로세서(360)로 전달할 수 있다.
메모리(350)는 휘발성 메모리 및/또는 비휘발성 메모리를 포함할 수 있다. 메모리(350)에는 예를 들어, 다시점 동영상 보정 장치(300)가 제공하는 동작, 기능 등을 구현 및/또는 제공하기 위하여, 구성요소들(310~350)에 관계된 명령 또는 데이터, 하나 이상의 프로그램 및/또는 소프트웨어, 운영체제 등이 저장될 수 있다.
메모리(350)에 저장되는 프로그램은 동영상에 포함된 제1 내지 제3위치 표식들(110~130)을 이용하여 피사체의 위치와 방향을 보정하기 위한 보정 프로그램을 포함할 수 있다.
프로세서(360)는 메모리(350)에 저장된 하나 이상의 프로그램을 실행하여 볼류메트릭 비디오 합성장치(300)의 전반적인 동작을 제어한다. 사용자 인터페이스부(320)를 통해 보정 프로그램의 실행이 요청되면, 프로세서(360)는 보정 프로그램을 실행한 후 저장부(330)에 저장된 제1 내지 제8동영상을 스틸 이미지 단위로 처리하여 동일한 시점에 촬영된 제1 내지 제8스틸 이미지를 생성하도록 이미지 처리부(340)를 제어하는 CPU(중앙처리장치)를 포함할 수 있다.
그리고, 프로세서(360)는 제1 내지 제8스틸 이미지를 합성하여 1개의 3차원 객체를 포함하는 프레임을 시간 순서에 따라 순차적으로 생성하고, 각 프레임(즉, 현재 프레임)과 기준 프레임에 포함된 m개의 위치 표식들을 이용하여 현재 프레임과 기준 프레임의 위치(중심점)와 방향(수직방향, 수평방향)을 일치시킬 수 있다. 기준 프레임은 첫번째로 생성되는 프레임이고, 현재 프레임은 기준 프레임의 위치 및 방향과 일치시키기 위해 순차적으로 생성되는 프레임일 수 있다.
이하에서는 프로세서(360)가 다시점 동영상의 위치와 방향을 프레임 단위로 보정하는 동작에 대해 도 5를 참조하여 설명한다.
도 5는 도 2에 도시된 프로세서(360)를 도시한 블록도이다.
도 5를 참조하면, 프로세서(360)는 프레임 생성부(362), 중심점 일치부(364), 평면 방향 일치부(366) 및 정면 방향 일치부(368)를 포함할 수 있다.
프레임 생성부(362)는 이미지 처리부(340)로부터 동일한 시점에 촬영된 제1 내지 제8스틸 이미지들의 포인트 클라우드가 입력될 때마다 입력되는 제1 내지 제8스틸 이미지들(즉, 포인트 클라우드)을 합성하여 3차원 객체를 포함하는 프레임을 생성할 수 있다. 프레임을 생성하는 시점의 단위, 즉, 주기는 사전에 정해질 수 있으며, 최초로 생성되는 프레임을 기준 프레임(f0)이라 하고, 그 이후 생성되는 다수의 프레임들 각각을 현재 프레임이라 한다. 즉, 다수의 프레임들 중 기준 프레임을 기준으로 위치와 방향을 보정하기 위한 대상 프레임을 현재 프레임(f1)이라 할 수 있다.
따라서, 프레임 생성부(362)는 제1 내지 제8다시점 카메라들(210~280)이 촬영한 다시점 동영상 중 현재 시점에 해당하는 제1 내지 제8스틸 이미지들을 합성하여 3차원의 현재 프레임을 생성할 수 있다. 프레임 생성부(362)의 동작은 상술한 이미지 처리부(340)에서 수행할 수도 있다.
중심점 일치부(364)는 현재 프레임에 포함된 제1 내지 제3위치 표식들(이하, '제1 내지 제3현재 위치 표식들'이라 한다)의 중심점(C1)과 기준 프레임에 포함된 제1 내지 제3위치 표식들(이하, '제1 내지 제3기준 위치 표식들'이라 한다)의 중심점(C0)을 일치시킬 수 있다.
이를 위하여, 중심점 일치부(364)는 중심점 산출부(364a) 및 위치 보정부(364b)를 포함한다.
중심점 산출부(364a)는 현재 프레임에 포함된 제1 내지 제3현재 위치 표식들에 위치하는 특징점들의 좌표를 이용하여 제1 내지 제3현재 위치 표식들 각각의 중심좌표(RB1, RR1, RM1)를 산출한다.
[수학식 1]은 위치 표식들 각각의 중심좌표를 구하기 위한 식의 일 예이다.
Figure 112021058991616-pat00001
[수학식 1]에서 R(x,y,z)는 위치 표식의 중심좌표, Xi는 각 위치 표식에 존재하는 특징점의 x 좌표값, Yi는 각 위치 표식에 존재하는 특징점의 y 좌표값, Zi는 각 위치 표식에 존재하는 특징점의 z 좌표값, N은 각 위치 표식의 특징점 좌표의 개수이다.
[수학식 1]에 의해 제1 내지 제3현재 위치 표식들 각각의 중심좌표(RB1, RR1, RM1)가 산출되면, 중심점 산출부(364a)는 산출된 3개의 중심좌표(RB1, RR1, RM1)에 의해 형성되는 삼각형의 중심점(이하, '현재 중심점'이라 한다)(C1)을 산출할 수 있다. 도 6은 3개의 중심좌표(RB1, RR1, RM1)에 의해 형성되는 삼각형과 삼각형의 현재 중심점(C1)을 보여주는 예시도이다.
[수학식 2]는 현재 중심점을 구하기 위한 식이다.
Figure 112021058991616-pat00002
[수학식 2]에서 C(x,y,z)는 제1 내지 제3현재 위치 표식들의 중심좌표의 평균(즉, 현재 중심점), Bx, By, Bz는 [수학식 1]에 의해 산출된 제1현재 프레임의 중심좌표 RB1의 값, Rx, Ry, Rz는 [수학식 1]에 의해 산출된 제2현재 프레임의 중심좌표 RR2의 값, Mx, My, Mz는 [수학식 1]에 의해 산출된 제3현재 프레임의 중심좌표 RM1의 값이다.
위치 보정부(364b)는 중심점 산출부(364a)에서 산출되는 현재 중심점과 제1 내지 제3기준 위치 표식들로부터 기산출된 중심점(이하, '기준 중심점'이라 한다)(C0)이 일치하도록 현재 프레임을 이동시켜 현재 프레임의 위치를 보정할 수 있다. 기준 중심점(C0)도 현재 중심점(C1)과 동일한 방식으로 기산출된다.
평면 방향 일치부(366)는 제1 내지 제3현재 위치 표식들로부터 산출되는 평면 벡터(이하, '현재 평면 벡터'라 한다)와 제1 내지 제3기준 위치 표식들로부터 산출되는 평면 벡터(이하, '기준 평면 벡터'라 한다)의 방향이 일치하도록 현재 프레임을 수직 방향으로 회전시킨다. 이로써 현재 프레임(f1)과 기준 프레임(f0)의 평면 방향이 일치한다.
이를 위하여, 평면 방향 일치부(366)는 평면 벡터 산출부(366a), 회전각도 산출부(366b) 및 평면 방향 보정부(366c)를 포함할 수 있다.
평면 벡터 산출부(366a)는 제1 내지 제3현재 위치 표식들의 단위 벡터들을 이용하여 현재 평면 벡터를 산출할 수 있다.
도 7은 평면 벡터를 설명하기 위한 예시도이다.
평면 벡터 산출부(366a)는 현재 프레임(f1)에서 두 개의 벡터, 예를 들어, 파랑색과 마젠타색을 가지는 제2 및 제3현재 위치 표식들(120, 130)의 벡터(
Figure 112021058991616-pat00003
)의 단위 벡터(BM') 파랑색과 빨강색을 가지는 제2 및 제1현재 위치 표식들(120, 110)의 벡터(
Figure 112021058991616-pat00004
)의 단위 벡터(BR')를 구한다. 평면 벡터 산출부(366a)는 두 단위벡터 BM'와 BR'의 외적을 구하여 현재 프레임의 법선 벡터인 현재 평면 벡터(NV1)를 산출한다.
도 7의 (b)에서 a와 b를 각각 벡터
Figure 112021058991616-pat00005
과
Figure 112021058991616-pat00006
이라고 하면, 평면 벡터 산출부(366a)는 두 벡터(
Figure 112021058991616-pat00007
과
Figure 112021058991616-pat00008
)의 외적인 a x b 또는 b x a 중 하나로부터 법선의 방향, 즉, 평면의 법선 벡터인 평면 벡터(NV)를 산출한다.
회전각도 산출부(366b)는 현재 프레임(f1)의 평면 벡터인 현재 평면 벡터(NV1)와 기준 프레임(f0)의 평면 벡터인 기준 평면 벡터(NV0) 간의 회전각도 (rx, ry, rz)를 산출할 수 있다.
[수학식 3]은 회전각도 (rx, ry, rz)를 산출하기 위한 식이다.
Figure 112021058991616-pat00009
회전각도 산출부(366b)는 현재 평면 벡터(NV1)와 평면 벡터(NV0)를 위치 보정부(364b)에 의해 보정된 중심점에 일치시킨 후, 아크탄젠트 함수인 atan2()를 이용하여 두 프레임(f0, f1)의 기준 평면 벡터(NV0)와 현재 평면 벡터(NV1) 간의 회전각도 (rx, ry, rz)를 산출할 수 있다.
도 8은 중심점과 평면 방향을 보정하는 동작을 설명하기 위한 예시도이다.
평면 방향 보정부(366c)는 현재 프레임(f1)의 공간을 위치 보정부(364b)에서 일치된 중심점을 기준으로 [수학식 3]에 의해 산출된 회전각도 (rx, ry, rz)를 이용하여 rad_plans(rx, ry, rz)로 회전시켜 상기 현재 프레임과 기준 프레임의 평면 방향을 도 8과 같이 일치시킬 수 있으며, 평면방향으로 회전시킬 때 rx와 rz=0 도로 설정하고 회전행렬(Ry)를 구할 수 있다.
대부분의 경우, 중심점과 평면 방향(즉, 수직 방향)이 일치되어도 피사체(예를 들어, 사람의 얼굴)의 방향, 즉, 정면 방향(즉, 수평 방향)은 도 8에 도시된 것처럼 일치하지 않는다.
따라서, 정면 방향의 정합을 위해, 정면 방향 일치부(368)는 평면 방향이 일치된 현재 프레임(f1)과 기준 프레임(f0)에 존재하는 피사체의 정면 방향이 일치하도록 현재 프레임(f1)을 수평 방향으로 회전시킬 수 있다.
이를 위하여, 정면 방향 일치부(368)는 회전행렬 산출부(368a) 및 정면 방향 보정부(368b)를 포함한다.
회전행렬 산출부(368a)는 평면 방향 일치부(366)에서 산출되는 회전각도 중 도 9에 도시된 요(yaw) 방향의 회전각도(rz)를 이용하여 정면 방향으로 회전하기 위한 회전행렬을 산출할 수 있다.
Figure 112021058991616-pat00010
회전행렬 산출부(368a)는 산출된 회전각도 (rx, ry, rz)를 (0, 0, rz)로 설정한 후, [수학식 4]의 Rz를 구하는 식에 대입하여 회전행렬(Rz)를 산출할 수 있다. Rx와 Rz는 중심점과 수직 방향(즉, 평면 방향)에서 일치시켰다.
[수학식 4]는 회전행렬을 산출하는 식의 일 예로서, 공간회전을 위한 공간으로서 x, y, z 공간 외 다른 공간(예를 들어, 로드리게스 회전 공식을 위한 좌표공간)을 이용할 경우, [수학식 4]가 아닌 다른 수식과 알고리즘을 이용할 수도 있다.
정면 방향 보정부(368b)는 현재 프레임(f1)의 공간을 평면 방향이 일치된 중심점을 기준으로 회전행렬(Rz)만큼 수평 방향으로 회전시켜 현재 프레임(f1)과 기준 프레임(f0)의 피사체가 바라보는 정면 방향을 일치시킨다. 이로써, 현재 프레임(f1)과 기준 프레임(f0)의 위치(중심점)와 방향(수직 방향과 수평 방향, 또는 평면 방향과 정면 방향)이 일치하도록 보정 또는 정합되어 3차원 객체의 뒤틀림 현상을 제거된 3차원 동영상을 제공할 수 있다.
상술한 볼류메트릭 비디오 합성 장치(300)는 매 프레임(즉, 현재 프레임)마다 기준 프레임과 비교하여, 현재 프레임(f1)과 기준 프레임(f0)의 위치(중심점)와 방향(수직 방향과 수평 방향, 또는 평면 방향과 정면 방향)이 일치하도록 보정함으로써 위치와 방향이 정합되어 뒤틀림 현상을 제거된 3차원 동영상을 제공할 수 있다.
한편, 3차원 객체를 만들기 위해서는 다시점의 영상에서 촬영한 시간이 동일해야 한다. 이를 위하여, 볼류메트릭 비디오 합성 장치(300)는 제1 내지 제3발광장치들(410~430)을 이용할 수 있다.
도 10은 제1 내지 제3발광장치들(410~430)이 구비된 제1 내지 제3위치 표식들(110~130)의 예시도이다.
도 10을 참조하면, 볼류메트릭 비디오 합성 장치(300)는 제1 내지 제3위치 표식들(110~130)에 구비되는 제1 내지 제3발광장치들(410~430)을 이용하여 제1 내지 제8다시점 카메라들(210~280)에서 촬영되는 동영상을 동기화할 수 있다. 실제로 제1 내지 제8다시점 카메라들(210~280)마다 촬영이 시작되는 시점이 약간씩 다를 수 있으며, 이 시점이 정확하게 일치되어야 볼류메트릭 3D 객체를 생성할 수 있다.
제1 내지 제3발광장치들(410~430)은 제1 내지 제3위치 표식들(110~130)의 일부에 부착된 후, 발광기능을 제어하는 스위치에 의해 온오프된다. 제1 내지 제3발광장치들(410~430)은 LED(Light Emitting Diode) 소자, 적외선 LED, 플리커(Flicker) 현상이 없는 전구 등 다양한 장치들 중 하나가 사용될 수 있다. 플리커는 전원의 교류 전기가 전구의 밝기를 변화시켜 220V/60Hz의 전기에서 1초에 120번 깜박이는 현상으로서, 역률이 0.9 이상인 LED 전구를 이용하면 전구의 밝기의 변화가 거의 없는 전구로, 플리커가 없다고 할 수 있다.
이미지 처리부(340)는 제1 내지 제8다시점 카메라들(210~280) 각각의 촬영 영상을 재생하여, 불빛이 발광한 순간을 기준으로 재생 시점을 일치시켜 영상을 동기화한 후 상술한 동작을 수행할 수 있다.
도 11은 본 발명의 일 실시 예에 따른 볼류메트릭 비디오 합성 장치(300)가 다시점 3차원 객체를 생성 및 보정하는 방법을 설명하기 위한 흐름도이다.
도 11을 참조하면, 볼류메트릭 비디오 합성 장치(300)는 제1 내지 제8다시점 카메라들(210~280)을 이용하여 제1 내지 제3위치 표식들(110~130)과 피사체를 동영상 촬영하는 다시점 동영상 촬영을 수행한다(S1110).
볼류메트릭 비디오 합성 장치(300)는 S1110단계에서 획득되는 제1 내지 제8다시점 동영상의 특징점 분석을 통해 카메라 위치를 추정한다(S1120). 카메라 위치를 추정하는 방식은 주지된 기술을 사용하므로 상세한 설명은 생략한다.
볼류메트릭 비디오 합성 장치(300)는 S1120단계에서 추정된 카메라 위치로 제1 내지 제8다시점 카메라들(210~280)의 위치를 정렬하고, 정렬된 카메라 위치를 이용하여 포인트 클라우드를 생성하며, 이 때 동일한 시점에 촬영된 제1 내지 제8스틸 이미지 별로 포인트 클라우드를 생성한다(S1130).
볼류메트릭 비디오 합성 장치(300)는 S1130단계에서 생성되는 포인트 클라우드를 합성하여 3차원 객체를 생성한다(S1140). 즉, 다시점 동영상 보정 장치(300)는 동일한 시점에 해당하는 제1 내지 제8스틸 이미지들을 합성한 3차원 프레임(현재 프레임)을 생성한다.
볼류메트릭 비디오 합성 장치(300)는 S1140단계에서 생성되는 3차원 형태의 현재 프레임에 포함된 제1 내지 제3위치 표식들 이미지를 이용하여 현재 프레임(f1)의 위치와 방향을 보정하여 기준 프레임과 정합할 수 있다(S1150). 볼류메트릭 비디오 합성 장치(300)는 모든 현재 프레임의 위치와 방향이 기준 프레임과 정합될 때까지 S1150단계를 반복수행한다.
도 12는 본 발명의 다른 실시 예에 따른 볼류메트릭 비디오 합성 장치(300)의 다시점 동영상 보정 방법을 설명하기 위한 흐름도, 도 13은 도 12의 S1230단계, S1240단계 및 S1250단계를 자세히 도시한 흐름도이다.
도 12 및 도 13을 참조하면, 볼류메트릭 비디오 합성 장치(300)는 제1 내지 제8다시점 카메라들(210~280)로 제1 내지 제3위치 표식들(110~130)과 피사체를 포함하는 공간을 다시점 동영상 촬영하여 정해진 주기마다 8개의 스틸 이미지를 획득할 수 있다(S1210).
볼류메트릭 비디오 합성 장치(300)는 8개의 스틸 이미지들을 합성하여 1개의 현재 프레임(f1)을 생성한다(S1220).
볼류메트릭 비디오 합성 장치(300)는 현재 프레임(f1)에 포함된 3개의 현재 위치 표식들의 중심점과 기준 프레임(f0)에 포함된 3개의 기준 위치 표식들의 중심점을 일치시킨다(S1230).
S1230단계를 자세히 설명하면, 볼류메트릭 비디오 합성 장치(300)는 현재 위치 표식들에 위치하는 특징점들의 좌표를 이용하여 현재 위치 표식들 각각의 중심좌표(RB1, RR1, RM1)를 산출한다(S1232).
볼류메트릭 비디오 합성 장치(300)는 S1232단계에서 산출된 3개 이상의 중심좌표(RB1, RR1, RM1)에 의해 형성되는 현재 중심점(C1)을 산출한다(S1234).
볼류메트릭 비디오 합성 장치(300)는 S1234단계에서 산출되는 현재 중심점(C1)과 기준 위치 표식들로부터 기산출된 기준 중심점(C0)이 일치하도록 현재 프레임(f1)의 위치를 보정한다(S1236).
이후, 볼류메트릭 비디오 합성 장치(300)는 현재 위치 표식들로부터 산출되는 현재 평면 벡터와 기준 위치 표식들로부터 산출되는 기준 평면 벡터의 방향이 일치하도록 현재 프레임을 수직 방향으로 회전시킨다(S1240). 이로써 현재 프레임과 기준 프레임의 평면 방향이 일치하게 된다.
S1240단계를 자세히 설명하면, 볼류메트릭 비디오 합성 장치(300)는 현재 위치 표식들의 단위 벡터들을 이용하여 현재 프레임의 평면 벡터인 현재 평면 벡터를 산출한다(S1242).
볼류메트릭 비디오 합성 장치(300)는 S1242단계에서 산출된 현재 평면 벡터와 기산출된 기준 프레임의 기준 평면 벡터 간의 회전각도 (rx, ry, rz)를 산출한다(S1244).
볼류메트릭 비디오 합성 장치(300)는 현재 프레임의 공간을 S1240단계에서 일치된 중심점을 기준으로 S1244단계에서 산출된 회전각도 (rx, ry, rz)로 회전시킨다(S1246). 이로써 현재 프레임과 기준 프레임의 평면 방향이 일치하게 된다.
이후, 볼류메트릭 비디오 합성 장치(300)는 S1240단계에서 평면 방향이 일치된 현재 프레임과 기준 프레임에 존재하는 피사체의 정면 방향이 일치하도록 현재 프레임을 수평 방향으로 회전시킨다(S1250).
S1250단계를 자세히 설명하면, 볼류메트릭 비디오 합성 장치(300)는 S1244단계에서 산출되는 회전각도 (rx, ry, rz) 중 yaw 방향의 회전각도(rz)를 이용하여 현재 프레임을 정면 방향으로 회전하기 위한 회전행렬을 산출한다(S1252).
다시점 동영상 보정 장치(300)는 현재 프레임의 공간을 평면 방향이 일치된 중심점을 기준으로 S1252단계에서 산출된 회전행렬만큼 회전시켜 현재 프레임과 기준 프레임의 피사체가 바라보는 정면 방향을 일치시킨다(S1254).
도 14 내지 도 15를 참조하여 본 발명의 실시예에 따른 다시점 동영상 촬영시스템에서 3차원 객체 위치 정합의 대상이 되는 볼류메트릭 비디오와 볼류메트릭 비디오의 합성결과에 의한 3차원 객체 동영상 합성방법에 대해 설명하면 다음과 같다.
도 14는 본 발명의 실시예에 따른 볼류메트릭 비디오를 개략적으로 설명하기 위한 도면이고, 도 15는 본 발명의 실시예에 따른 볼류메트릭 비디오의 합성결과에 의해 3차원 객체 동영상이 생성되는 결과를 설명하기 위해 개략적으로 도식화한 도면이다.
도면에 도시된 바와 같이, 본 명세서에 기재된 볼류메트릭 비디오는 다시점 카메라에 의해 촬영된 현재 시점에 해당하는 스틸 이미지들의 합성과 표면모델링을 통해 구현된 평면다각형 메쉬들을 이용해 생성된 3차원의 프레임들을 가리킬 수 있으며, 상기 볼류메트릭 비디오의 위치와 방향을 앞서 상술한 본 발명의 실시예에 따라 보정함으로써, 즉, 볼류메트릭 비디오를 합성한 결과에 의해 본 발명에 따라 최종적으로 구하고자 하는 이상적인 상태의 3차원 객체 동영상이 생성될 수 있다.
상기와 같이, 본 발명은, 다시점 동영상 촬영 시 촬영공간의 바닥에 다수의 위치 표식들을 고정시킨 후, 다수의 위치 표식들이 포함되도록 피사체를 동영상 촬영하고, 촬영된 다수의 동영상들로부터 생성되는 볼류메트릭 비디오 3차원 객체의 현재 프레임의 위치와 방향을 위치 표식들을 이용하여 기준 프레임에 정합시킴으로써 3차원 객체의 뒤틀림 현상, 위치 어긋남 현상 등을 해결할 수 있다.
또한, 본 발명에 따르면, 다수의 위치 표식들에 발광소자를 구비하여 발광소자가 발광한 순간을 기준으로 다수의 동영상들의 재생 시점을 일치시킴으로써 영상 동기화를 할 수 있다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다.
110~130: 제1 내지 제3위치 표식들
210~280: 제1 내지 제8다시점 카메라들
300: 볼류메트릭 비디오 합성 장치
310: 통신 인터페이스부
320: 사용자 인터페이스부
330: 저장부
340: 이미지 처리부
350: 메모리
360: 프로세서

Claims (17)

  1. 피사체가 위치하는 촬영공간의 바닥에 고정되는 m개의 위치 표식(Fiducial Marker)들;
    상기 피사체와 m개의 위치 표식들을 다시점 동영상 촬영하는 n개의 다시점 카메라들;
    상기 n개의 다시점 카메라들이 촬영한 다시점 동영상 중 현재 시점에 해당하는 프레임(이하, '현재 프레임'이라 한다)을 생성하고, 상기 현재 프레임과 기준 프레임에 포함된 m개의 위치 표식들을 이용하여 상기 현재 프레임과 기준 프레임의 위치와 방향을 일치시키는 볼류메트릭 비디오 합성 장치;를 포함하고,
    상기 m개의 위치 표식들은, 각각,
    검은색과 흰색으로 이루어진 내부 영역과, 상기 검은색과 흰색과 바닥의 색상을 제외한 색상으로 이루어진 외부 영역을 포함하고,
    상기 m개의 위치 표식들의 외부 영역의 색상은 서로 다른 것을 특징으로 하는 다시점 동영상 촬영 시스템.
  2. 제1항에 있어서,
    상기 볼류메트릭 비디오 합성 장치는,
    상기 n개의 다시점 카메라들이 촬영한 다시점 동영상 중 현재 시점에 해당하는 n개의 이미지들을 합성하여 3차원의 현재 프레임을 생성하는 프레임 생성부;
    상기 현재 프레임에 포함된 m개의 위치 표식들(이하, '현재 위치 표식들'이라 한다)의 중심점과 상기 기준 프레임에 포함된 m개의 위치 표식들(이하, '기준 위치 표식들'이라 한다)의 중심점을 일치시키는 중심점 일치부;
    상기 현재 위치 표식들로부터 산출되는 평면 벡터(이하, '현재 평면 벡터'라 한다)와 기준 위치 표식들로부터 산출되는 평면 벡터(이하, '기준 평면 벡터'라 한다)의 방향이 일치하도록 상기 현재 프레임을 수직 방향으로 회전시켜 상기 현재 프레임과 기준 프레임의 평면 방향을 일치시키는 평면 방향 일치부; 및
    평면 방향이 일치된 현재 프레임과 기준 프레임에 존재하는 피사체의 정면 방향이 일치하도록 상기 현재 프레임을 수평 방향으로 회전시키는 정면 방향 일치부;를 포함하는 것을 특징으로 하는 다시점 동영상 촬영 시스템.
  3. 제2항에 있어서,
    상기 중심점 일치부는,
    상기 현재 위치 표식들에 위치하는 특징점들의 좌표를 이용하여 현재 위치 표식들 각각의 중심좌표를 산출하고, 상기 산출된 m개의 중심좌표에 의해 형성되는 다각형의 중심점(이하, '현재 중심점'이라 한다)을 산출하는 중심점 산출부; 및
    상기 중심점 산출부에서 산출되는 현재 중심점과 상기 기준 위치 표식들로부터 기산출된 중심점(이하, '기준 중심점'이라 한다)을 일치하도록 현재 프레임의 위치를 보정하는 위치 보정부;를 포함하는 것을 특징으로 하는 다시점 동영상 촬영 시스템.
  4. 제2항에 있어서,
    상기 평면 방향 일치부는,
    상기 현재 위치 표식들의 단위 벡터들을 이용하여 현재 평면 벡터를 산출하는 평면 벡터 산출부;
    상기 기준 평면 벡터와 현재 평면 벡터 간의 회전각도를 산출하는 회전각도 산출부; 및
    상기 현재 프레임의 공간을 상기 일치된 중심점을 기준으로 상기 산출된 회전각도로 회전시켜 상기 현재 프레임과 기준 프레임의 평면 방향을 일치시키는 평면 방향 보정부;를 포함하는 것을 특징으로 하는 다시점 동영상 촬영 시스템.
  5. 제2항에 있어서,
    상기 정면 방향 일치부는,
    상기 평면 방향 일치부에서 산출되는 회전각도 중 요 방향의 회전각도를 이용하여 정면 방향으로 회전하기 위한 회전행렬을 산출하는 회전행렬 산출부; 및
    상기 현재 프레임의 공간을 상기 평면 방향이 일치된 중심점을 기준으로 상기 산출된 회전행렬만큼 회전시켜 상기 현재 프레임과 기준 프레임의 피사체가 바라보는 정면 방향을 일치시키는 정면 방향 보정부;를 포함하는 것을 특징으로 하는 다시점 동영상 촬영 시스템.
  6. 삭제
  7. (A) 볼류메트릭 비디오 합성 장치가, n개의 다시점 카메라들이 피사체가 위치하는 촬영공간의 바닥에 고정되는 m개의 위치 표식(Fiducial Marker)들을 포함하도록 상기 피사체를 촬영한 다시점 동영상을 수신하는 단계; 및
    (B) 상기 볼류메트릭 비디오 합성 장치가, 상기 n개의 다시점 카메라들에 의해 촬영된 다시점 동영상 중 현재 시점에 해당하는 프레임(이하, '현재 프레임'이라 한다)을 생성하고, 상기 현재 프레임과 기준 프레임에 포함된 m개의 위치 표식들을 이용하여 상기 현재 프레임과 기준 프레임의 위치와 방향을 일치시키는 단계;를 포함하고,
    상기 m개의 위치 표식들은, 각각,
    검은색과 흰색으로 이루어진 내부 영역과, 상기 검은색과 흰색과 바닥의 색상을 제외한 색상으로 이루어진 외부 영역을 포함하고,
    상기 m개의 위치 표식들의 외부 영역의 색상은 서로 다른 것을 특징으로 하는 3차원 객체 동영상 합성 방법.
  8. 제7항에 있어서,
    상기 (B) 단계는,
    (B1) 상기 볼류메트릭 비디오 합성 장치가, 상기 n개의 다시점 카메라들이 촬영한 다시점 동영상 중 현재 시점에 해당하는 n개의 이미지들을 합성하여 3차원의 현재 프레임을 생성하는 단계;
    (B2) 상기 볼류메트릭 비디오 합성 장치가, 상기 현재 프레임에 포함된 m개의 위치 표식들(이하, '현재 위치 표식들'이라 한다)의 중심점과 상기 기준 프레임에 포함된 m개의 위치 표식들(이하, '기준 위치 표식들'이라 한다)의 중심점을 일치시키는 단계;
    (B3) 상기 볼류메트릭 비디오 합성 장치가, 상기 현재 위치 표식들로부터 산출되는 평면 벡터(이하, '현재 평면 벡터'라 한다)와 기준 위치 표식들로부터 산출되는 평면 벡터(이하, '기준 평면 벡터'라 한다)의 방향이 일치하도록 상기 현재 프레임을 수직 방향으로 회전시켜 상기 현재 프레임과 기준 프레임의 평면 방향을 일치시키는 단계; 및
    (B4) 상기 볼류메트릭 비디오 합성 장치가, 평면 방향이 일치된 현재 프레임과 기준 프레임에 존재하는 피사체의 정면 방향이 일치하도록 상기 현재 프레임을 수평 방향으로 회전시키는 단계;를 포함하는 것을 특징으로 하는 3차원 객체 동영상 합성 방법.
  9. 제8항에 있어서,
    상기 (B2) 단계는,
    (B21) 상기 현재 위치 표식들에 위치하는 특징점들의 좌표를 이용하여 현재 위치 표식들 각각의 중심좌표를 산출하고, 상기 산출된 m개의 중심좌표에 의해 형성되는 다각형의 중심점(이하, '현재 중심점'이라 한다)을 산출하는 단계; 및
    (B22) 상기 중심점 산출단계에서 산출되는 현재 중심점과 상기 기준 위치 표식들로부터 기산출된 중심점(이하, '기준 중심점'이라 한다)을 일치하도록 현재 프레임의 위치를 보정하는 단계;를 포함하는 것을 특징으로 하는 3차원 객체 동영상 합성 방법
  10. 제8항에 있어서,
    상기 (B3) 단계는,
    (B31) 상기 현재 위치 표식들의 단위 벡터들을 이용하여 현재 평면 벡터를 산출하는 단계;
    (B32) 상기 기준 평면 벡터와 현재 평면 벡터 간의 회전각도를 산출하는 단계; 및
    (B33) 상기 현재 프레임의 공간을 상기 일치된 중심점을 기준으로 상기 산출된 회전각도로 회전시켜 상기 현재 프레임과 기준 프레임의 평면 방향을 일치시키는 단계;를 포함하는 것을 특징으로 하는 3차원 객체 동영상 합성 방법.
  11. 제8항에 있어서,
    상기 (B4) 단계는,
    (B41) 상기 평면 방향 일치부에서 산출되는 회전각도 중 요 방향의 회전각도를 이용하여 정면 방향으로 회전하기 위한 회전행렬을 산출하는 단계; 및
    (B42) 상기 현재 프레임의 공간을 상기 평면 방향이 일치된 중심점을 기준으로 상기 산출된 회전행렬만큼 회전시켜 상기 현재 프레임과 기준 프레임의 피사체가 바라보는 정면 방향을 일치시키는 단계;를 포함하는 것을 특징으로 하는 3차원 객체 동영상 합성 방법.
  12. 삭제
  13. n개의 다시점 카메라들이 촬영한 다시점 동영상 중 현재 시점에 해당하는 n개의 이미지들을 합성하여 3차원의 현재 프레임을 생성하는 프레임 생성부;
    상기 현재 프레임에 포함된 m개의 위치 표식들(이하, '현재 위치 표식들'이라 한다)의 중심점과 기준 프레임에 포함된 m개의 위치 표식들(이하, '기준 위치 표식들'이라 한다)의 중심점을 일치시키는 중심점 일치부;
    상기 현재 위치 표식들로부터 산출되는 평면 벡터(이하, '현재 평면 벡터'라 한다)와 기준 위치 표식들로부터 산출되는 평면 벡터(이하, '기준 평면 벡터'라 한다)의 방향이 일치하도록 상기 현재 프레임을 수직 방향으로 회전시켜 상기 현재 프레임과 기준 프레임의 평면 방향을 일치시키는 평면 방향 일치부; 및
    평면 방향이 일치된 현재 프레임과 기준 프레임에 존재하는 피사체의 정면 방향이 일치하도록 상기 현재 프레임을 수평 방향으로 회전시키는 정면 방향 일치부;를 포함하고,
    상기 m개의 위치 표식들은, 각각,
    검은색과 흰색으로 이루어진 내부 영역과, 상기 검은색과 흰색과 바닥의 색상을 제외한 색상으로 이루어진 외부 영역을 포함하고,
    상기 m개의 위치 표식들의 외부 영역의 색상은 서로 다른 것을 특징으로 하는 볼류메트릭 비디오 합성장치
  14. 제 13항에 있어서,
    상기 중심점 일치부는,
    상기 현재 위치 표식들에 위치하는 특징점들의 좌표를 이용하여 현재 위치 표식들 각각의 중심좌표를 산출하고, 상기 산출된 m개의 중심좌표에 의해 형성되는 다각형의 중심점(이하, '현재 중심점'이라 한다)을 산출하는 중심점 산출부; 및
    상기 중심점 산출부에서 산출되는 현재 중심점과 상기 기준 위치 표식들로부터 기산출된 중심점(이하, '기준 중심점'이라 한다)을 일치하도록 현재 프레임의 위치를 보정하는 위치 보정부;를 포함하는 것을 특징으로 하는 볼류메트릭 비디오 합성장치
  15. 제13항에 있어서,
    상기 평면 방향 일치부는,
    상기 현재 위치 표식들의 단위 벡터들을 이용하여 현재 평면 벡터를 산출하는 평면 벡터 산출부;
    상기 기준 평면 벡터와 현재 평면 벡터 간의 회전각도를 산출하는 회전각도 산출부; 및
    상기 현재 프레임의 공간을 상기 일치된 중심점을 기준으로 상기 산출된 회전각도로 회전시켜 상기 현재 프레임과 기준 프레임의 평면 방향을 일치시키는 평면 방향 보정부;를 포함하는 것을 특징으로 하는 볼류메트릭 비디오 합성장치
  16. 제13항에 있어서,
    상기 정면 방향 일치부는,
    상기 평면 방향 일치부에서 산출되는 회전각도 중 요 방향의 회전각도를 이용하여 정면 방향으로 회전하기 위한 회전행렬을 산출하는 회전행렬 산출부; 및
    상기 현재 프레임의 공간을 상기 평면 방향이 일치된 중심점을 기준으로 상기 산출된 회전행렬만큼 회전시켜 상기 현재 프레임과 기준 프레임의 피사체가 바라보는 정면 방향을 일치시키는 정면 방향 보정부;를 포함하는 것을 특징으로 하는 볼류메트릭 비디오 합성장치
  17. 삭제
KR1020210046819A 2021-04-09 2021-04-09 볼류메트릭 비디오의 3차원 객체 위치 정합을 위한 위치표식을 이용한 다시점 동영상 촬영 시스템 및 3차원 객체 동영상 합성방법 KR102329098B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210046819A KR102329098B1 (ko) 2021-04-09 2021-04-09 볼류메트릭 비디오의 3차원 객체 위치 정합을 위한 위치표식을 이용한 다시점 동영상 촬영 시스템 및 3차원 객체 동영상 합성방법
KR1020210118050A KR102387479B1 (ko) 2021-04-09 2021-09-05 볼류메트릭 비디오의 3차원 객체 위치 정합을 위한 다시점 동영상 촬영 시스템 및 3차원 객체 동영상 합성방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210046819A KR102329098B1 (ko) 2021-04-09 2021-04-09 볼류메트릭 비디오의 3차원 객체 위치 정합을 위한 위치표식을 이용한 다시점 동영상 촬영 시스템 및 3차원 객체 동영상 합성방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020210118050A Division KR102387479B1 (ko) 2021-04-09 2021-09-05 볼류메트릭 비디오의 3차원 객체 위치 정합을 위한 다시점 동영상 촬영 시스템 및 3차원 객체 동영상 합성방법

Publications (1)

Publication Number Publication Date
KR102329098B1 true KR102329098B1 (ko) 2022-02-23

Family

ID=80495440

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020210046819A KR102329098B1 (ko) 2021-04-09 2021-04-09 볼류메트릭 비디오의 3차원 객체 위치 정합을 위한 위치표식을 이용한 다시점 동영상 촬영 시스템 및 3차원 객체 동영상 합성방법
KR1020210118050A KR102387479B1 (ko) 2021-04-09 2021-09-05 볼류메트릭 비디오의 3차원 객체 위치 정합을 위한 다시점 동영상 촬영 시스템 및 3차원 객체 동영상 합성방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020210118050A KR102387479B1 (ko) 2021-04-09 2021-09-05 볼류메트릭 비디오의 3차원 객체 위치 정합을 위한 다시점 동영상 촬영 시스템 및 3차원 객체 동영상 합성방법

Country Status (1)

Country Link
KR (2) KR102329098B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150125243A (ko) * 2014-04-30 2015-11-09 주식회사 이에스엠연구소 다시점 카메라가 획득한 영상을 정합하는 방법 및 다시점 카메라 제어 시스템
KR102213073B1 (ko) 2019-08-07 2021-02-08 포디리플레이코리아 주식회사 영상기반 다시점 촬영 시스템 및 이의 제어 방법
KR20210027482A (ko) * 2018-07-12 2021-03-10 인터디지털 브이씨 홀딩스 인코포레이티드 볼류메트릭 비디오 전송을 위한 방법들 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150125243A (ko) * 2014-04-30 2015-11-09 주식회사 이에스엠연구소 다시점 카메라가 획득한 영상을 정합하는 방법 및 다시점 카메라 제어 시스템
KR20210027482A (ko) * 2018-07-12 2021-03-10 인터디지털 브이씨 홀딩스 인코포레이티드 볼류메트릭 비디오 전송을 위한 방법들 및 장치
KR102213073B1 (ko) 2019-08-07 2021-02-08 포디리플레이코리아 주식회사 영상기반 다시점 촬영 시스템 및 이의 제어 방법

Also Published As

Publication number Publication date
KR102387479B1 (ko) 2022-04-18

Similar Documents

Publication Publication Date Title
US10430995B2 (en) System and method for infinite synthetic image generation from multi-directional structured image array
Zhang et al. Mediapipe hands: On-device real-time hand tracking
US20190220991A1 (en) Multi-directional structured image array capture on a 2d graph
EP3018903B1 (en) Method and system for projector calibration
Joo et al. Panoptic studio: A massively multiview system for social motion capture
US10421012B2 (en) System and method for tracking using multiple slave servers and a master server
Yang et al. Model-based head pose tracking with stereovision
US9013559B2 (en) System, method and program for capturing images from a virtual viewpoint
JP4297197B2 (ja) キャリブレーション処理装置、およびキャリブレーション処理方法、並びにコンピュータ・プログラム
CN112258574B (zh) 标注位姿信息的方法、装置及计算机可读存储介质
WO2018002698A1 (en) System and method for tracking using multiple slave servers and a master server
CN111427452B (zh) 控制器的追踪方法及vr系统
TW202101374A (zh) 影像的深度圖之處理
CN112711327A (zh) 信息处理装置、信息处理方法及存储介质
JP2017037426A (ja) 情報処理装置、情報処理方法、プログラム
KR102329098B1 (ko) 볼류메트릭 비디오의 3차원 객체 위치 정합을 위한 위치표식을 이용한 다시점 동영상 촬영 시스템 및 3차원 객체 동영상 합성방법
US8224025B2 (en) Group tracking in motion capture
US20240054739A1 (en) Information processing apparatus, information processing method, and storage medium
CN111752386B (zh) 一种空间定位方法、系统及头戴式设备
WO2023201996A1 (zh) 数字人表情及其模型生成方法、装置和vr设备的外挂系统
JP2022012398A (ja) 情報処理装置、情報処理方法、及びプログラム
JP3860287B2 (ja) 動き抽出処理方法，動き抽出処理装置およびプログラム記憶媒体
US20160037143A1 (en) Method and device for automatically generating and projecting multi-surface images
CN116760960B (zh) 一种多设备投影成像方法及系统
CN108769458A (zh) 一种深度视频场景分析方法