KR20160115043A

KR20160115043A - 영상 촬영 장치의 촬영 속도 증가 방법

Info

Publication number: KR20160115043A
Application number: KR1020150041711A
Authority: KR
Inventors: 장주용; 김진서; 김희권; 박순찬; 박지영; 심광현; 유문욱; 장호욱; 정혁
Original assignee: 한국전자통신연구원
Priority date: 2015-03-25
Filing date: 2015-03-25
Publication date: 2016-10-06
Also published as: US20160286200A1; KR102238794B1; US10212412B2

Abstract

본 발명은 둘 이상의 촬영 장치를 조합하여 영상을 촬영하고 촬영된 영상을 이용하여 영상을 생성, 제공함으로써 촬영 장치의 촬영 속도를 증가시키는 방법 및 그 촬영 장치를 제공하는 것으로서, 본 발명의 일실시예에 따르면, RGB 영상 취득 장치와 뎁스 영상 취득 장치가 시간적으로 교대로 촬영을 하며 영상을 획득한다. 그리고 교대로 촬영함에 따라 번갈아가며 획득되는 제1 RGB 영상과 제1 뎁스 영상에 각각 대응하는 제2 뎁스 영상과 제2 RGB 영상을 합성하여 함께 출력함으로써 실제적인 촬영 속도를 두 배 증가시키는 방법을 제공한다.

Description

영상 촬영 장치의 촬영 속도 증가 방법 {METHOD FOR INCREASING FILM SPEED OF VIDEO CAMERA}

본 발명은 영상 정보를 취득하는 촬영 장치의 촬영 속도를 증가시키는 방법 및 그 방법에 의하여 촬영 속도가 증가된 촬영 장치에 관한 것으로서, 구체적으로는, 둘 이상의 촬영 장치를 조합하여 영상을 촬영하고 촬영된 영상을 이용하여 영상을 생성, 제공함으로써 촬영 속도를 증가시키는 방법과 촬영 속도가 증가된 촬영 장치에 관한 것이다.

카메라나 캠코더와 같은 영상 정보를 취득하는 장치에 있어서 촬영 속도는 그 촬영 장치의 활용 범위를 결정짓는 매우 중요한 요소 중 하나이다.

예컨대, 골프 스윙과 같이 매우 빠른 동작을 촬영하는 경우 촬영 장치의 촬영 속도가 충분히 높지 않으면 촬영된 영상에 사용자의 자세한 동작을 충분히 포함하지 못하여 만족스럽지 못한 정보를 얻게 된다.

종래의 경우, 빠른 동작을 촬영함에 있어서 만족스러운 정보를 얻기 위하여 촬영 속도가 충분히 높은 고가의 촬영 장비를 사용하는 것이 일반적이나 이는 경제적인 측면에서 문제가 되며, 경제적인 이유로 일반적인 촬영 장비를 사용하는 경우에는 만족스러운 결과를 얻지 못하는 문제가 있다.

따라서 종래와 같이 고가의 촬영 장비를 이용하여 빠른 동작을 촬영하고 만족스러운 정보를 얻을 수는 있으나, 경제적인 측면을 고려할 때 고가의 촬영 장비가 아닌 일반적인 촬영 장비를 사용하더라도 촬영 속도를 높일 수 있는 기술이 요구되며 그 활용도 또한 높다고 볼 수 있다.

본 발명은 전술한 문제점을 해결하기 위하여, RGB 영상을 획득하는 촬영 장치와 뎁스 영상을 촬영하는 장치를 이용하여 교대로 영상을 획득하고, 획득된 영상을 이용하여 영상이 획득되는 시간 사이의 영상을 생성, 제공함으로써 촬영 속도가 증가된 촬영 장치 및 그 방법을 제공하는 것을 목적으로 한다.

본 발명의 일면에 따르면, 시간 t-1에서의 제1 뎁스 영상을 획득하는 단계; 시간 t에서의 제1 RGB 영상을 획득하는 단계; 시간 t+1에서의 제2 뎁스 영상을 획득하는 단계; 상기 제1 뎁스 영상과 상기 제1 RGB 영상을 이용하여 시간 t에서의 뎁스 영상을 생성하는 단계; 상기 제1 RGB 영상과 상기 제2 뎁스 영상을 이용하여 시간 t+1에서의 RGB 영상을 생성하는 단계; 및 상기 제1 RGB 영상과 상기 시간 t에서의 뎁스 영상을 시간 t에서의 결과 영상으로 출력하고, 상기 제2 뎁스 영상과 상기 시간 t+1에서의 RGB 영상을 시간 t+1에서의 결과 영상으로 출력하는 단계를 포함하는 영상 촬영 장치의 촬영 속도 증가 방법을 제공한다.

본 발명의 다른 일면에 따르면, 시간 t-1에서의 제1 뎁스 영상을 획득하는 단계; 시간 t에서의 제1 RGB 영상을 획득하는 단계; 상기 제1 뎁스 영상을 RGB 카메라 시점으로 투사하여 시간 t-1에서의 제2 뎁스 영상을 생성하는 단계; 상기 제2 뎁스 영상과 상기 제1 RGB 영상 사이의 모션 벡터를 추정하는 단계; 상기 추정된 모션 벡터를 이용하여 상기 제2 뎁스 영상으로부터 시간 t에서의 제3 뎁스 영상을 렌더링하는 단계; 상기 제3 뎁스 영상을 뎁스 카메라 시점으로 투사하여 시간 t에서의 제4 뎁스 영상을 생성하는 단계; 및 상기 제1 RGB 영상과 상기 제4 뎁스 영상을 시간 t에서의 결과 영상으로 출력하는 단계를 포함하는 영상 촬영 장치의 촬영 속도 증가 방법을 제공한다.

상기 제1 뎁스 영상을 RGB 카메라 시점으로 투사하여 시간 t-1에서의 제2 뎁스 영상을 생성하는 단계는, 뎁스 카메라의 내부 파라미터를 이용하여 상기 제1 뎁스 영상의 각 픽셀에 대응하는 3차원 좌표를 계산하는 단계; 및 상기 계산된 3차원 좌표를 RGB 카메라와 상기 뎁스 카메라 사이의 외부 파라미터를 이용하여 상기 RGB 카메라의 영상 평면으로 투사하는 단계를 포함한다.

상기 제2 뎁스 영상과 상기 제1 RGB 영상 사이의 모션 벡터를 추정하는 단계는, 상기 제1 RGB 영상의 각 픽셀에 대하여 상기 제2 뎁스 영상의 탐색 영역 내에 존재하는 픽셀들과 매칭을 수행하여 상기 모션 벡터를 계산한다.

본 발명의 다른 일면에 따르면, 시간 t-1에서의 제1 RGB 영상을 획득하는 단계; 시간 t에서의 제1 뎁스 영상을 획득하는 단계; 상기 제1 뎁스 영상을 RGB 카메라 시점으로 투사하여 시간 t에서의 제2 뎁스 영상을 생성하는 단계; 상기 제1 RGB 영상과 상기 제2 뎁스 영상 사이의 모션 벡터를 추정하는 단계; 상기 추정된 모션 벡터를 이용하여 상기 제1 RGB 영상으로부터 시간 t에서의 제2 RGB 영상을 렌더링하는 단계; 및 상기 제1 뎁스 영상과 상기 제2 RGB 영상을 시간 t에서의 결과 영상으로 출력하는 단계를 포함하는 영상 촬영 장치의 촬영 속도 증가 방법을 제공한다.

상기 제1 뎁스 영상을 RGB 카메라 시점으로 투사하여 시간 t에서의 제2 뎁스 영상을 생성하는 단계는, 뎁스 카메라의 내부 파라미터를 이용하여 상기 제1 뎁스 영상의 각 픽셀에 대응하여 3차원 좌표를 계산하는 단계; 및 상기 계산된 3차원 좌표를 RGB 카메라와 상기 뎁스 카메라 사이의 외부 파라미터를 이용하여 상기 RGB 카메라의 영상 평면으로 투사하는 단계를 포함한다.

상기 제1 RGB 영상과 상기 제2 뎁스 영상 사이의 모션 벡터를 추정하는 단계는, 상기 제1 RGB 영상의 각 픽셀에 대하여 상기 제2 뎁스 영상의 탐색 영역 내에 존재하는 픽셀들과 매칭을 수행하여 상기 모션 벡터를 계산한다.

본 발명에 따르면, 종래의 동기화된 RGB 및 뎁스 영상을 출력하는 촬영 장치에 비하여 촬영 속도를 두 배 증가시킴으로써 동일한 시간 간격 동안 두 배의 영상을 획득할 수 있는 이점을 제공한다. 또한, 두 배의 영상을 동일한 시간 간격에서 획득함에 따라 빠른 동작을 촬영하기 위해 고가의 장비를 사용하지 않아도 되도록 함으로써 촬영 장치에 소모되는 비용을 감소시킬 수 있는 이점을 제공한다.

도 1은 본 발명의 일실시예에 따른 영상 촬영 장치가 뎁스 영상과 RGB 영상을 획득하는 시점을 나타낸 도면이다.
도 2 내지 도 4는 본 발명의 일실시예에 따른 영상 촬영 장치의 촬영 속도 증가 방법의 과정을 나타낸 흐름도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술 되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 기재에 의해 정의된다.

한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자에 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가함을 배제하지 않는다. 이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명하기로 한다.

본 발명은 둘 이상의 촬영 장치가 시간적으로 번갈아가며 영상을 획득하는 것을 전제로 하며, 본 발명의 일실시예에 따르면, 뎁스 영상을 취득하는 장치와 RGB 영상을 취득하는 장치가 교대로 촬영하며 영상을 획득한다.

도 1은 본 발명의 일실시예에 따른 촬영 장치의 뎁스 카메라와 RGB 카메라가 영상을 획득하는 시점을 나타낸 것으로서, 도 1에 도시된 바와 같이, t-1 시점에서 뎁스 카메라가 뎁스 영상을 획득하고 t 시점에서는 RGB 카메라가 RGB 영상을 획득하며, t-1 시점에서 RGB 영상이 획득되었다면 t 시점에서는 뎁스 영상이 획득될 수 있다.

즉, 본 발명은 교대로 촬영을 하며 영상을 획득하는 두 종류의 카메라가 획득한 영상을 이용하여 영상이 획득되지 않는 시점의 영상을 생성함으로써 촬영 속도를 두 배로 증가시키는 방법 및 그 촬영 장치를 제공하는 것으로서, 이하에서는, 도 2 내지 도 4를 참조하여 본 발명의 일실시예에 따른 영상 촬영 장치의 촬영 속도 증가 방법을 설명한다.

도 2 내지 도 4는 본 발명의 일실시예에 따른 영상 촬영 장치의 촬영 속도 증가 방법의 과정을 나타낸 것으로서, 도 2는 본 발명의 전체적인 흐름을 나타낸 것이고, 도 3은 뎁스 영상이 획득되지 않는 시점에서 뎁스 영상을 생성하는 실시예를 나타낸 것이며, 도 4는 RGB 영상이 획득되지 않는 시점에서 RGB 영상을 생성하는 실시예를 나타낸 것이다.

도 2를 참조하여 뎁스 카메라와 RGB 카메라로 구성된 영상 촬영 장치의 촬영 속도 증가 방법의 각 단계를 설명하면 다음과 같다.

영상 촬영 장치의 뎁스 카메라가 시간 t-1에서의 제1 뎁스 영상을 획득한다(S100). 그리고 RGB 카메라가 시간 t에서의 제1 RGB 영상을 획득하며(S120), 뎁스 카메라가 시간 t+1에서의 제2 뎁스 영상을 획득한다(S140).

시간 t-1에서의 제1 뎁스 영상과 시간 t에서의 제1 RGB 영상을 이용하여 시간 t에서의 뎁스 영상을 생성한다(S160). 그리고 시간 t에서의 제1 RGB 영상과 시간 t+1에서의 제2 뎁스 영상을 이용하여 시간 t+1에서의 RGB 영상을 생성한다(S180).

따라서 시간 t에서는 RGB 카메라에 의해 획득된 제1 RGB 영상과 제1 뎁스 영상, 제1 RGB 영상을 이용하여 생성된 뎁스 영상을 함께 출력하고, 시간 t+1에서는 뎁스 카메라에 의해 획득된 제2 뎁스 영상과 제1 RGB 영상, 제2 뎁스 영상을 이용하여 생성된 RGB 영상을 함께 출력한다.

즉, 뎁스 영상과 RGB 영상을 시간적으로 번갈아가며 획득함에 따라 해당 시점에서 획득되지 않은 뎁스 영상이나 RGB 영상을 이전 시점의 영상과 동일 시점에서 획득된 다른 영상을 이용하여 합성하고 제공함으로써, 촬영 장치의 촬영 속도를 두 배 증가시킬 수 있도록 한다.

이하에서, 도 3을 참조하여 뎁스 영상이 획득되지 않는 시점에서 뎁스 영상을 생성하는 과정을 설명한다.

본 발명의 일실시예에 따른 촬영 장치의 뎁스 카메라가 시간 t-1에서의 제1 뎁스 영상을 획득한다(S200). 그리고 RGB 카메라가 시간 t에서의 제1 RGB 영상을 획득한다(S210).

제1 뎁스 영상을 RGB 카메라 시점으로 투사하여 제2 뎁스 영상을 생성한다(S220).

구체적으로, 뎁스 카메라의 내부 파라미터를 활용하여 제1 뎁스 영상의 각 픽셀에 대응하는 3차원 좌표를 계산하는 방법을 사용할 수 있다. 이 경우, 계산된 3차원 좌표를 RGB 카메라와 뎁스 카메라 사이의 외부 파라미터를 활용하여 RGB 카메라의 영상 평면으로 투사한다.

RGB 카메라 시점으로 투사되어 생성된 제2 뎁스 영상과 제1 RGB 영상 사이의 모션 벡터를 추정한다(S230).

모션 벡터는 제1 RGB 영상의 각 픽셀에 대하여 뎁스 영상의 탐색 영역 내에 존재하는 픽셀들과 매칭을 수행하여 아래 수학식 1에 따라 계산될 수 있다. 두 영상의 모달리티(Modality)가 다르므로 매칭 대상인 두 패치 사이의 상호 정보량(Mutual Information)을 사용하여 대응 관계를 찾아낼 수 있다.

추정된 모션 벡터를 이용하여 제2 뎁스 영상으로부터 시간 t에서의 제3 뎁스 영상을 렌더링한다(S240).

즉, 시간 t-1에서의 영상과 모션 정보를 사용하여 시간 t에서의 영상을 렌더링을 통해 생성할 수 있으며, 아래 수학식 2를 통해 생성할 수 있다.

여기서,

는 픽셀 좌표이며,

는 픽셀

에서의 모션 벡터이다.

생성된 제3 뎁스 영상은 RGB 카메라의 영상 평면으로 투사된 영상이므로, 제3 뎁스 영상을 뎁스 카메라의 영상 평면으로 재투사하여 시간 t에서의 제4 뎁스 영상을 생성한다(S250).

그리고 시간 t에서 RGB 카메라를 통해 획득된 제1 RGB 영상과 생성된 시간 t에서의 제4 뎁스 영상을 시간 t에서의 결과 영상으로 출력한다.

따라서 뎁스 카메라에 의해 영상이 획득되지 않는 시점에서도 뎁스 영상을 생성하고 출력함으로써, 실제적으로 촬영 속도가 두 배 증가된 영상을 제공할 수 있게 된다.

도 4는 RGB 영상이 획득되지 않는 시점에서 RGB 영상을 생성하고 출력하는 실시예를 나타낸 것이다.

RGB 카메라가 시간 t-1에서의 제1 RGB 영상을 획득한다(S300). 그리고 뎁스 카메라가 시간 t에서의 제1 뎁스 영상을 획득한다(S320).

시간 t에서의 제1 뎁스 영상을 RGB 카메라 시점으로 투사하여 시간 t에서의 제2 뎁스 영상을 생성한다(S340).

생성된 제2 뎁스 영상과 제1 RGB 영상 사이의 모션 벡터를 추정하고(S360), 추정된 모션 벡터를 이용하여 제1 RGB 영상으로부터 시간 t에서의 제2 RGB 영상을 렌더링한다(S380).

뎁스 영상을 RGB 카메라 시점으로 투사하는 방법과 모션 벡터를 추정하는 방법은 도 2를 통해 설명한 것과 동일하며, 시간 t에서의 결과 영상으로 뎁스 카메라를 통해 획득된 제1 뎁스 영상과 제1 RGB 영상으로부터 렌더링된 제2 RGB 영상을 출력한다.

따라서 RGB 영상이 획득되지 않는 시점에서의 RGB 영상을 생성하고 제공함으로써, 촬영 속도가 두 배로 증가된 영상을 제공할 수 있게 된다.

이상의 설명은 본 발명의 기술적 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면, 본 발명의 본질적 특성을 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능하다. 따라서, 본 발명에 표현된 실시예들은 본 발명의 기술적 사상을 한정하는 것이 아니라, 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 권리범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 특허청구범위에 의하여 해석되어야 하고, 그와 동등하거나, 균등한 범위 내에 있는 모든 기술적 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims

시간 t-1에서의 제1 뎁스 영상을 획득하는 단계;
시간 t에서의 제1 RGB 영상을 획득하는 단계;
상기 제1 뎁스 영상을 RGB 카메라 시점으로 투사하여 시간 t-1에서의 제2 뎁스 영상을 생성하는 단계;
상기 제2 뎁스 영상과 상기 제1 RGB 영상 사이의 모션 벡터를 추정하는 단계;
상기 추정된 모션 벡터를 이용하여 상기 제2 뎁스 영상으로부터 시간 t에서의 제3 뎁스 영상을 렌더링하는 단계; 및
상기 제3 뎁스 영상을 뎁스 카메라 시점으로 투사하여 시간 t에서의 제4 뎁스 영상을 생성하는 단계
를 포함하는 영상 촬영 장치의 촬영 속도 증가 방법.
제1항에 있어서, 상기 제1 뎁스 영상을 RGB 카메라 시점으로 투사하여 시간 t-1에서의 제2 뎁스 영상을 생성하는 단계는,
뎁스 카메라의 내부 파라미터를 이용하여 상기 제1 뎁스 영상의 각 픽셀에 대응하는 3차원 좌표를 계산하는 단계; 및
상기 계산된 3차원 좌표를 RGB 카메라와 상기 뎁스 카메라 사이의 외부 파라미터를 이용하여 상기 RGB 카메라의 영상 평면으로 투사하는 단계를 포함하는 것
인 영상 촬영 장치의 촬영 속도 증가 방법.
제1항에 있어서, 상기 제2 뎁스 영상과 상기 제1 RGB 영상 사이의 모션 벡터를 추정하는 단계는,
상기 제1 RGB 영상의 각 픽셀에 대하여 상기 제2 뎁스 영상의 탐색 영역 내에 존재하는 픽셀들과 매칭을 수행하여 상기 모션 벡터를 계산하는 것
인 영상 촬영 장치의 촬영 속도 증가 방법.
제1항에 있어서,
상기 제1 RGB 영상과 상기 제4 뎁스 영상을 시간 t에서의 결과 영상으로 출력하는 단계
를 더 포함하는 영상 촬영 장치의 촬영 속도 증가 방법.
시간 t-1에서의 제1 RGB 영상을 획득하는 단계;
시간 t에서의 제1 뎁스 영상을 획득하는 단계;
상기 제1 뎁스 영상을 RGB 카메라 시점으로 투사하여 시간 t에서의 제2 뎁스 영상을 생성하는 단계;
상기 제1 RGB 영상과 상기 제2 뎁스 영상 사이의 모션 벡터를 추정하는 단계; 및
상기 추정된 모션 벡터를 이용하여 상기 제1 RGB 영상으로부터 시간 t에서의 제2 RGB 영상을 렌더링하는 단계
를 포함하는 영상 촬영 장치의 촬영 속도 증가 방법.
제5항에 있어서, 상기 제1 뎁스 영상을 RGB 카메라 시점으로 투사하여 시간 t에서의 제2 뎁스 영상을 생성하는 단계는,
뎁스 카메라의 내부 파라미터를 이용하여 상기 제1 뎁스 영상의 각 픽셀에 대응하여 3차원 좌표를 계산하는 단계; 및
상기 계산된 3차원 좌표를 RGB 카메라와 상기 뎁스 카메라 사이의 외부 파라미터를 이용하여 상기 RGB 카메라의 영상 평면으로 투사하는 단계를 포함하는 것
인 영상 촬영 장치의 촬영 속도 증가 방법.
제5항에 있어서, 상기 제1 RGB 영상과 상기 제2 뎁스 영상 사이의 모션 벡터를 추정하는 단계는,
상기 제1 RGB 영상의 각 픽셀에 대하여 상기 제2 뎁스 영상의 탐색 영역 내에 존재하는 픽셀들과 매칭을 수행하여 상기 모션 벡터를 계산하는 것
인 영상 촬영 장치의 촬영 속도 증가 방법.
제5항에 있어서,
상기 제1 뎁스 영상과 상기 제2 RGB 영상을 시간 t에서의 결과 영상으로 출력하는 단계
를 더 포함하는 영상 촬영 장치의 촬영 속도 증가 방법.
시간 t-1에서의 제1 뎁스 영상을 획득하는 단계;
시간 t에서의 제1 RGB 영상을 획득하는 단계;
시간 t+1에서의 제2 뎁스 영상을 획득하는 단계;
상기 제1 뎁스 영상과 상기 제1 RGB 영상을 이용하여, 시간 t에서의 뎁스 영상을 생성하는 단계; 및
상기 제1 RGB 영상과 상기 제2 뎁스 영상을 이용하여, 시간 t+1에서의 RGB 영상을 생성하는 단계
를 포함하는 영상 촬영 장치의 촬영 속도 증가 방법.
제9항에 있어서, 상기 시간 t에서의 뎁스 영상을 생성하는 단계는,
상기 제1 뎁스 영상을 RGB 카메라 시점으로 투사하여 생성된 뎁스 영상과 상기 제1 RGB 영상 사이의 모션 벡터를 추정하고, 추정된 모션 벡터를 이용하여 상기 시간 t에서의 뎁스 영상을 생성하는 것
인 영상 촬영 장치의 촬영 속도 증가 방법.
제10항에 있어서, 상기 시간 t에서의 뎁스 영상을 생성하는 단계는,
뎁스 카메라의 내부 파라미터를 이용하여 상기 제1 뎁스 영상의 각 픽셀에 대응하는 3차원 좌표를 계산하고, 계산된 3차원 좌표를 RGB 카메라와 상기 뎁스 카메라 사이의 외부 파라미터를 이용하여 상기 RGB 카메라의 영상 평면에 투사하여 뎁스 영상을 생성하는 단계를 포함하는 것
인 영상 촬영 장치의 촬영 속도 증가 방법.
제10항에 있어서, 상기 시간 t에서의 뎁스 영상을 생성하는 단계는,
상기 제1 RGB 영상의 각 픽셀에 대하여 상기 제1 뎁스 영상을 RGB 카메라 시점으로 투사하여 생성된 뎁스 영상의 탐색 영역 내에 존재하는 픽셀들과 매칭을 수행하여 상기 모션 벡터를 계산하는 단계를 포함하는 것
인 영상 촬영 장치의 촬영 속도 증가 방법.
제10항에 있어서, 상기 시간 t에서의 뎁스 영상을 생성하는 단계는,
상기 추정된 모션 벡터를 이용하여 생성된 뎁스 영상을 뎁스 카메라의 영상 평면으로 재투사하여 상기 시간 t에서의 뎁스 영상을 생성하는 단계를 포함하는 것
인 영상 촬영 장치의 촬영 속도 증가 방법.
제9항에 있어서, 상기 시간 t+1에서의 RGB 영상을 생성하는 단계는,
상기 제2 뎁스 영상을 RGB 카메라 시점으로 투사하여 생성된 뎁스 영상과 상기 제1 RGB 영상 사이의 모션 벡터를 추정하고, 추정된 모션 벡터를 이용하여 상기 시간 t+1에서의 RGB 영상을 생성하는 것
인 영상 촬영 장치의 촬영 속도 증가 방법.
제14항에 있어서, 상기 시간 t+1에서의 RGB 영상을 생성하는 단계는,
뎁스 카메라의 내부 파라미터를 이용하여 상기 제2 뎁스 영상의 각 픽셀에 대응하는 3차원 좌표를 계산하고, 계산된 3차원 좌표를 RGB 카메라와 상기 뎁스 카메라 사이의 외부 파라미터를 이용하여 상기 RGB 카메라의 영상 평면으로 투사하여 뎁스 영상을 생성하는 단계를 포함하는 것
인 영상 촬영 장치의 촬영 속도 증가 방법.
제14항에 있어서, 상기 시간 t+1에서의 RGB 영상을 생성하는 단계는,
상기 제1 RGB 영상의 각 픽셀에 대하여 상기 제2 뎁스 영상을 RGB 카메라 시점으로 투사하여 생성된 뎁스 영상의 탐색 영역 내에 존재하는 픽셀들과 매칭을 수행하여 상기 모션 벡터를 계산하는 단계를 포함하는 것
인 영상 촬영 장치의 촬영 속도 증가 방법.
제9항에 있어서, 상기 시간 t에서의 뎁스 영상을 생성하는 단계는,
시간 t에서의 제1 RGB 영상을 획득하고 상기 시간 t에서의 뎁스 영상이 획득되지 않은 것이 확인되면, 상기 제1 뎁스 영상과 상기 제1 RGB 영상을 이용하여 상기 시간 t에서의 뎁스 영상을 생성하는 것
인 영상 촬영 장치의 촬영 속도 증가 방법.
제9항에 있어서, 상기 시간 t+1에서의 RGB 영상을 생성하는 단계는,
시간 t+1에서의 제2 뎁스 영상을 획득하고 상기 시간 t+1에서의 RGB 영상이 획득되지 않은 것이 확인되면, 상기 제1 RGB 영상과 상기 제2 뎁스 영상을 이용하여 상기 시간 t+1에서의 RGB 영상을 생성하는 것
인 영상 촬영 장치의 촬영 속도 증가 방법.
제9항에 있어서,
상기 제1 RGB 영상과 상기 시간 t에서의 뎁스 영상을 시간 t에서의 결과 영상으로 출력하고, 상기 제2 뎁스 영상과 상기 시간 t+1에서의 RGB 영상을 시간 t+1에서의 결과 영상으로 출력하는 단계
를 더 포함하는 영상 촬영 장치의 촬영 속도 증가 방법.