KR102630707B1

KR102630707B1 - 3d 인식장치 및 프로젝터를 활용한 동영상 촬영을 위한 장치 및 방법

Info

Publication number: KR102630707B1
Application number: KR1020220095401A
Authority: KR
Inventors: 황두영
Original assignee: 비젼온칩 주식회사; 주식회사 티비디엑스
Priority date: 2022-08-01
Filing date: 2022-08-01
Publication date: 2024-01-30

Abstract

3D 인식장치 및 프로젝터를 활용한 동영상 촬영장치는, 출사할 영상을 외부 장치 또는 내부 메모리로부터 독출하여 영상을 출사하는 프로젝터; 동영상을 제작하기 위한 카메라 및 상기 프로젝터가 대상물에 대해 가시 프로젝터 영상을 투사하는 가시 프로젝션 주기와 상기 가시 프로젝터 영상의 투사를 중지하고, 촬영할 대상물의 상태를 3D로 감지하는 감지 주기를 잔상현상 유지기간 범위 내에서 번갈아 수행되도록 제어하는 기능을 포함하는 제어부를 포함하며, 상기 제어부는 상기 감지주기에서 상기 프로젝터 또는 카메라로 대상물의 상태를 3D로 scanning 한 신호를 받아서, 미리 설정된 제어프로그램에 따라 제어 영상신호를 생성하여 다음 가시 프로젝션 주기에 상기 프로젝터의 영상에 상기 제어 영상신호를 포함하여 출력하는 것을 특징으로 한다.

Description

3D 인식장치 및 프로젝터를 활용한 동영상 촬영을 위한 장치 및 방법{Method and device for moving picture device using projector and 3D recognition device}

본 발명은 3D 인식장치 및 프로젝터를 활용한 동영상 촬영을 위한 장치 및 방법 에 관한 것이다.

인터넷의 활용도가 높아짐에 따라 인터넷을 이용한 교육이나, 홍보, 광고활동에 동영상 자료를 많이 활용하고 있다.

일반적으로 녹화된 영상을 해당 사이트에서 고객이 찾아보는 방식을 주로 활용하며, 드물게 실시간 스트리밍으로 진행하기도 한다. 보통 기본 강의는 녹화로 진행하고, 질의응답은 스트리밍으로 진행하기도 한다.

이 경우 동영상 효과를 높이고 설명의 편이성을 높이기 위해 미리 녹화된 영상을 프로젝터를 통해 칠판이나 데스크에 투영하고 이를 설명하는 동영상을 촬영하는 방식이 사용된다.

이에 대한 다양한 연구들이 진행되고 있지만, 그 중 프로젝션 방식으로 실사물 위에 프로젝터로 디지털 정보를 그대로 투사하여 실사물 위에서 다양한 멀티미디어 콘텐츠가 동작되는 효과도 얻을 수 있다.

이는 실사물을 보면서 실감 있는 부가 정보를 체험할 수 있는 장점을 가진다.

한편 학습의 이해도를 가장 높이는 방법은 교사나 전달자가 칠판을 이용하여 강의 하듯이 직접 프로젝터 내용을 그리면서 설명하는 것이 더 효과적일 경우가 있다.

이 경우 프로젝터 내용의 동영상에 동시에 같이 녹화가 되면, 전달자의 의도하였던 강의 효과가 떨어질 수 있다.

이에 대한 방법으로 프로젝터를 이용하여 촬영을 한 후에 촬영 후에 크로마키 기법이나, 일부 배경을 제거하는 보정 기법 등을 통하여 프로젝터 영상을 제거하는 방법을 활용할 수 있으나, 이는 별도의 추가 작업 시간이 소요되어 비효율적이다.

따라서 프로젝터로 디지털 정보를 그대로 투사하면서 교사나 동영상 제작자는 프로젝터 투영물을 이용하여 동영상을 제작을 하되, 실제 제작물에서는 프로젝터로 비춰진 영상이 실시간으로 촬영되지 않도록 하는 방법이 필요하다.

또한, 프로젝션된 투영물이 현재 진행중인 제작물에 대한 작업의 진행 과정에서의 미진한 부분을 표시하여 주면 작업자는 더 효과적으로 제작물을 제작할 수 있게 된다. 위와 같은 입체적인 진행과정은 깊이 영상을 취득하는 스테레오 카메라에 의해 취득될 수 있다.

또한, 입체적인 작업의 경우 이와 같은 진행부분 및 미진한 부분은 스테레오 카메라 또는 가시광 혹은 적외선 구조광 프로젝션을 이용한 3차원 스캐너를 통하여 취득될 수 있다.

본 발명에 대한 배경기술은 대한민국 등록특허 10-0987645호(프로젝터를 이용하여 개인용 패널에 동영상 강의를 제공하기 위한 동영상 제공 장치)에 개시된 바 있다

대한민국 등록특허 10-0987645호(프로젝터를 이용하여 개인용 패널에 동영상 강의를 제공하기 위한 동영상 제공 장치) 대한민국 등록특허 10-1135810호(스테레오 카메라에 의한 영상 깊이 정보 추출방법 및 장치) 대한민국 등록특허 10-1792343호(마이크로 렌즈 어레이를 이용한 매트릭스 광원 패턴 조사 적외선 프로젝터 모듈 및 이를 이용한 3차원 스캐너)

본 발명은 프로젝터로 디지털 정보를 그대로 투사하면서 동영상 제작자는 프로젝션된 투영물을 이용하여 동영상을 제작을 하되, 제작물에서는 프로젝터로 비춰진 영상이 실시간으로 촬영되지 않도록 하는 방법 및 장치를 제공하는 것이다.

본 발명의 또 다른 목적은 프로젝터로 디지털 정보를 그대로 투사하면서 동영상 제작자는 프로젝션된 투영물을 이용하여 동영상을 제작을 하되 감지주기에서 프로젝터 또는 카메라로 대상물의 상태를 3D로 scanning한 신호를 받아서, 미리 설정된 제어프로그램에 따라 제어영상신호를 생성하여 다음 가시 프로젝션 주기에 상기 프로젝터의 영상에 상기 제어영상신호를 포함하여 출력하는 방법 "G 장치를 제공하는 것이다.

본 발명의 목적은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.

본 발명의 일 측면에 따르면, 3D 인식장치 및 프로젝터를 활용한 동영상 촬영장치는, 출사할 영상을 외부 장치 또는 내부 메모리로부터 독출하여 영상을 출사하는 프로젝터; 동영상을 제작하기 위한 카메라 및 상기 프로젝터가 대상물에 대해 가시 프로젝터 영상을 투사하는 가시 프로젝션 주기와 상기 가시 프로젝터 영상의 투사를 중지하고, 촬영할 대상물의 상태를 3D로 감지하는 감지 주기를 잔상현상 유지기간 범위 내에서 번갈아 수행되도록 제어하는 기능을 포함하는 제어부를 포함하며, 상기 제어부는 상기 감지주기에서 상기 프로젝터 또는 카메라로 대상물의 상태를 3D로 scanning 한 신호를 받아서, 미리 설정된 제어프로그램에 따라 제어 영상신호를 생성하여 다음 가시 프로젝션 주기에 상기 프로젝터의 영상에 상기 제어 영상신호를 포함하여 출력하는 것을 특징으로 한다.

또한, 상기 제어부는 사용자가 상기 가시 프로젝션 주기와 상기 감지주기와 상기 카메라의 동영상 촬영 구간의 타임 스케줄 조건을 선택적으로 입력하여 제어할 수 있는 입력부를 더 포함하는 것을 특징으로 한다.

또한, 상기 제어부는 상기 프로젝션 프레임 주기를 30~ 35ms 범위에서 설정하고, 상기 감지주기의 타임구간을 15~18ms 범위에서 설정하는 것을 특징으로 한다.

또한, 상기 제어부는 상기 카메라의 동영상 촬영구간의 촬영 노출 프레임 시간은 상기 감지주기 내에 설정하되, 이전 가시 프로젝션 주기가 끝나는 시점과 다음 가시 프로젝션 주기가 시작하는 시점에서 2.5~3.5ms의 지연 시간을 제외하고 설정하는 것을 특징으로 한다.

또한, 상기 카메라는 3D 인식장치를 가진 스테레오 카메라이며, 상기 제어부는 상기 감지주기 내에서 상기 스테레오 카메라에 의한 대상물에 대한 3D 스캐닝을 수행하는 스캐닝 타임구간 및 상기 스테레오 카메라에 의해 동영상을 촬영하는 동영상 촬영구간이 동시에 설정되도록 제어하고, 상기 제어 영상신호는 상기 scanning 한 신호의 깊이 영상으로부터 상기 대상물의 프로그램된 목표치와의 차이값를 산출하여, 상기 차이값에 따라 색깔의 명도에 차이를 가지는 제어 영상신호를 생성하는 것을 특징으로 한다.

또한, 상기 프로젝터는 3D 인식장치를 가진 RGB-IR 프로젝터이며, 상기 제어부는 상기 감지주기 내에서 상기 RGB-IR 프로젝터의 적외선(IR)에 의해 상기 대상물에 대한 3D 스캐닝을 수행하는 스캐닝 타임구간 및 상기 카메라에 의해 동영상을 촬영하는 동영상 촬영구간이 동시에 설정되도록 제어하는 것을 특징으로 한다.

또한, 상기 프로젝터는 3D 인식장치를 가진 RGB-IR 프로젝터이며, 상기 제어부는 상기 감지주기에 상기 RGB-IR 프로젝터에 의해 대상물에 대한 3D 스캐닝을 수행하는 제2스캐닝 타임주기 및 상기 제2스캐닝 타임주기에 이어서 상기 카메라에 의해 동영상을 촬영하는 동영상 촬영주기가 수행되도록 설정하되, 상기 가시 프로젝션 주기의 타임구간은 20~50ms, 상기 감지주기의 타임구간은 30~100ms 범위에서 설정되며, 상기 제2스캐닝 타임주기는 10 ~ 25ms, 상기 동영상 촬영주기는 20~50ms의 타임구간을 가지는 것을 특징으로 하고, 상기 동영상 촬영주기에서 상기 카메라기 동영상을 촬영하는 동영상 촬영구간은 상기 스캐닝 타임주기가 끝난 후 및 상기 가시 프로젝션 주기가 시작되기 전 2.5~3.5ms의 딜레이 타임을 두고 설정하는 것을 특징으로 한다.

또한, 상기 프로젝터는 3D 인식장치를 가진 RGB-IR 프로젝터이며, 상기 제어부는 상기 감지주기 내에 상기 RGB-IR 프로젝터의 적외선(IR)에 의해 상기 대상물에 대한 3D 스캐닝을 수행하는 스캐닝 타임구간을 설정하고, 상기 가시 프로젝션 주기에 상기 카메라에 의해 동영상을 촬영하는 동영상 촬영구간이 설정되도록 제어하는 것을 특징으로 한다.

본 발명의 또 다른 측면에 따르면, 3D 인식장치 및 프로젝터를 활용한 동영상 촬영장치가 동영상을 촬영하는 방법에 있어서, 상기 촬영장치는, 출사할 영상을 외부 장치 또는 내부 메모리로부터 독출하여 영상을 출사하는 프로젝터; 동영상을 제작하기 위한 카메라 및 상기 프로젝터가 대상물에 대해 가시 프로젝터 영상을 투사하는 가시 프로젝션 주기와 상기 가시 프로젝터 영상의 투사를 중지하고, 촬영할 대상물의 상태를 3D로 감지하는 감지 주기를 잔상현상 유지기간 범위 내에서 번갈아 수행되도록 제어하는 기능을 포함하는 제어부를 포함하며,

상기 방법은, a) 상기 제어부가 상기 가시 프로젝션 주기 및 감지 주기에 대한 타임 스케줄을 설정하는 단계; b) 상기 제어부가 상기 가시 프로젝션 주기 또는 감지주기에 동영상 제작에 필요한 카메라의 동영상 촬영구간 및 스캐닝 타임구간을 설정하는 단계; c) 상기 프로젝터 및 카메라에 대해 가시 프로젝터 주기, 감지주기, 동영상 촬영구간 및 스캐닝 타임구간을 동기화하여 일치시키는 단계; 및 d) 프로젝터를 활용한 동영상 촬영을 위한 장치의 촬영을 수행하는 촬영단계; 를 포함하는 것을 특징으로 하되, 상기 제어부는, 상기 감지주기에서 상기 프로젝터 또는 카메라로 대상물의 상태를 3D로 scanning 한 신호를 받아서, 미리 설정된 제어프로그램에 따라 제어 영상신호를 생성하여 다음 가시 프로젝션 주기에 상기 프로젝터의 영상에 상기 제어 영상신호를 포함하여 출력하는 것을 특징으로 한다.

또한, 상기 프로젝터는 3D 인식장치를 가진 RGB-IR 프로젝터이며, 상기 제어부는 상기 감지주기 내에 상기 RGB-IR 프로젝터의 적외선(IR)에 의해 상기 대상물에 대한 3D 스캐닝을 수행하는 스캐닝 타임구간을 설정하고, 상기 가시 프로젝션 주기에 상기 동영상 촬영구간이 설정되도록 제어하되, 미리 설정된 제어프로그램에서는 인체를 인식하도록 프로그램이 되며, 감지주기에서 scanning 한 신호를 받은 후, 다음 가시 프로젝션 주기에서 투사되는 제어 영상신호에서는 인체로 인식된 부분에만 조명을 투사하여 배경이 동영상의 촬영 영상에서 보이지 않도록 하는 것을 특징으로 한다.

또한, 상기 프로젝터는 3D 인식장치를 가진 RGB-IR 프로젝터이며, 상기 제어부는 상기 감지주기 내에 상기 RGB-IR 프로젝터의 적외선(IR)에 의해 상기 대상물에 대한 3D 스캐닝을 수행하는 스캐닝 타임구간을 설정하고, 상기 가시 프로젝션 주기에 상기 동영상 촬영구간이 설정되도록 제어하되, 미리 설정된 제어프로그램에서는 인체의 얼굴 부분을 인식하도록 프로그램이 되며, 감지주기에서 scanning 한 신호를 받은 후, 다음 가시 프로젝션 주기에서 투사되는 제어 영상신호에서는 인체의 얼굴로 인식된 부분에만 조명을 투사하여 동영상 촬영을 수행하도록 제어하는 것을 특징으로 한다.

또한, 상기 프로젝터는 3D 인식장치를 가진 RGB-IR 프로젝터이며, 상기 제어부는 상기 감지주기 내에 상기 RGB-IR 프로젝터의 적외선(IR)에 의해 상기 대상물에 대한 3D 스캐닝을 수행하는 스캐닝 타임구간을 설정하고, 상기 가시 프로젝션 주기에 상기 동영상 촬영구간이 설정되도록 제어하되, 미리 설정된 제어프로그램에서는 인체의 양측 눈 부분을 인식하도록 프로그램이 되며. 감지주기에서 scanning 한 신호를 받은 후, 다음 가시 프로젝션 주기에서 투사되는 제어 영상신호에서는 인체의 얼굴로 인식된 부분에만 조명을 투사하여 동영상 촬영을 수행하도록 제어하는 것을 특징으로 한다.

본 발명의 일 실시 예에 따르면, 프로젝션된 영상을 이용하여 설명프로그램, 강의 등 목적에 필요한 동영상을 카메라로 제작할 때, 사용자에게는 프로젝션 영상이 지속적으로 투사된 것으로 인식되면서, 카메라에 의한 동영상에는 상기 프로젝션 영상이 나타나지 않도록 하는 프로젝터를 활용한 동영상 촬영을 위한 장치 및 방법을 제공할 수 있다.

본 발명의 일 실시 예에서는 프로젝션 영상을 이용하여 설명프로그램, 강의 등 목적에 필요한 동영상을 카메라로 제작할 때, 사용자에게는 프로젝션 영상이 지속적으로 투사된 것으로 인식되면서, 카메라에 의한 동영상에는 상기 프로젝션 영상이 나타나지 않거나, 또는 일부 구간에만 나타나도록 하는 프로젝터를 활용한 동영상 촬영을 위한 장치 및 방법을 제공할 수 있다.

본 발명의 일 실시 예에 따르면, 3D스캐닝 장치로부터 현재 대상물의 제작 상태를 스캐닝하여 목표치에 대한 차이값을 산출하고, 프로젝터의 투사 영상을 이용하여 차이값에 의한 제어영상신호는 프로그램된 목표치와의 깊이 scanning된 대상물의 차이값에 따라 명암의 차이를 두어 출사하거나, 또는 색깔의 차이로 출사할 수 있다.

본 발명의 일 실시 예에 따르면, 동영상의 촬영된 영상에서는 프로젝터에서 투사되는 제어영상신호에 대해서는 나타나지 않고 조각되는 대상물의 진행 결과만 나타내는 효과를 가지면서, 제작 유저는 상기 제어영상신호를 보고 어느 부분을 얼마나 더 깎거나, 파내야 할 지를 쉽게 알 수 있어서 능률적으로 조각 작업을 수행할 수 있다.

본 발명의 일 실시 예에 따르면, 감지주기에 IR Project를 통해 3D 대상물을 3D Scanning하고, scanning한 신호를 받아서, 미리 설정된 제어프로그램에 따라 제어영상신호를 생성하고, 다음 이어지는 가시 프로젝션 주기에 상기 프로젝터의 영상에 상기 제어영상신호를 포함하여 출력할 수 있다.

본 발명의 일 실시 예에 따르면, RGB-IR 프로젝터는 감지주기에서 scanning한 신호를 받아서 다음 가시 프로젝션 주기에서 투사되는 제어영상신호에서는 프로그램에 의해 설정된 인식된 부분에만 조명을 투사하거나, 제어하여 촬영된 영상에 대해, virtual make-up 효과, 가상 액세서리를 착용 효과 및 특수 배경효과 등을 가질 수 있다.

도 1은 본 발명의 일 실시 예에 따른 프로젝터를 활용한 동영상 촬영을 위한 장치의 블록도를 도시한 것이다.
도 2는 본 발명의 제1 실시 예에 따른 프로젝터를 활용한 동영상 촬영을 위한 장치(100)가 하나의 기기에 일체형으로 구성된 것을 도시한 것이다.
도 3은 본 발명의 제1 실시 예에 따른 프로젝터를 활용한 동영상 촬영을 위한 프로젝터와 카메라의 동작 타이밍도를 도시한 것이다.
도 4는 본 발명의 다양한 실시 예에 따른 프로젝터를 활용한 동영상 촬영을 위한 프로젝터와 카메라의 동작 타이밍도를 도시한 것이다.
도 5는 본 발명의 제1 실시 예에 따른 프로젝터로 투사된 프로젝션 영상이 사용자에게 보이는 이미지를 나타낸다.
도 6은 본 발명의 제1 실시 예에 따른 프로젝터를 활용한 동영상 촬영 방법에 의해 촬영한 영상을 나타낸 것이다.
도 7 내지 9는 본 발명의 제1 실시 예에 따른 프로젝터를 활용한 동영상 촬영 방법을 활용하여 그림 가이드 그리드를 투영하는 화면을 제공하고 이를 이용하여 그림 작업을 하는 예를 도시한 것이다.
도 10은 본 발명의 제2-1 실시 예에 따른 프로젝터 및 3D 인식장치를 활용한 동영상 촬영을 위한 장치를 도시한 것이다.
도 11은 본 발명의 제2-1실시 예에 따른 프로젝터 및 3D 인식장치를 활용한 동영상 촬영을 위한 장치의 동작 타이밍도를 도시한 것이다.
도 12는 본 발명의 제2 실시 예에 따른 프로젝터 및 3D 인식장치를 활용한 동영상 촬영을 위한 장치의 촬영방법에 의한 입체 조각 제작방법의 예를 도시한 것이다.
도 13은 본 발명의 또 다른 제2-2 실시 예에 따른 프로젝터 및 3D 인식장치를 활용한 동영상 촬영을 위한 장치의 동작 타이밍도를 도시한 것이다.
도 14는 본 발명의 일 실시 예에 따른 RGB-IR 프로젝터의 내부 구조의 예를 도시한 것이다.
도 15는 본 발명의 일 실시 예에 따른 RGB-IR 프로젝터 및 카메라를 이용한 동영상 촬영장치의 예를 도시한 것이다.
도 16은 본 발명의 제2-3 실시 예에 따른 프로젝터 및 3D 인식장치를 활용한 동영상 촬영을 위한 장치의 동작 타이밍도를 도시한 것이다.
도 17은 본 발명의 제2-4 실시 예에 따른 프로젝터 및 3D 인식장치를 활용한 동영상 촬영을 위한 장치의 동작 타이밍도를 도시한 것이다.
도 18 내지 21은 본 발명의 2-4 실시 예에 따라 촬영된 영상의 예를 도시한 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 출원에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

또한, 본 발명의 실시 예의 구성 요소를 설명하는 데 있어서, 제1, 제2 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 '연결', '결합' 또는 '접속'된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결, 결합 또는 접속될 수 있지만, 그 구성 요소와 그 다른 구성요소 사이에 또 다른 구성 요소가 '연결', '결합' 또는 '접속'될 수도 있다고 이해되어야 할 것이다.

이하 본 발명의 구현에 따른 증강현실을 활용한 정치교육 방법 및 시스템에 대하여 상세하게 설명한다.

본 발명의 일 실시 예에서는 교사나 동영상 제작자가 프로젝터로 디지털 정보를 그대로 투사한, 프로젝션 투영물을 이용하여 동영상을 제작을 하되, 실제 제작물에서는 프로젝터로 비춰진 영상이 실시간으로 촬영되지 않도록 하는 방법을 제공한다.

사람이 물건을 볼 때 신호가 없어져도 잠깐 동안 화면에 영상이 남아 있거나 화면의 영상이 없어져도 시각에는 남아 있는 잔상 현상이 발생한다. 잔상을 느끼는 시간은 1/16초 정도로 짧은 시간이다.

따라서 1/16초 이하의 속도 간격으로 프로젝션 영상이 간헐적으로 정지하여도 프로젝터 영상을 이용하는 사용자는 프로젝터 영상이 지속적으로 투사된 것으로 인식하게 되어 실제 동영상 제작이나 강의에 대해서 불편을 느끼지 못한다.

본 발명의 일 실시 예에서는 위와 같은 잔상을 느끼는 시간을 착안하여, 프로젝션 영상을 이용하여 설명프로그램, 강의 등 목적에 필요한 동영상을 카메라로 제작할 때, 사용자에게는 프로젝터의 영상이 지속적으로 투사된 것으로 인식되면서, 카메라에 의한 동영상에는 상기 프로젝터의 영상이 나타나지 않도록 상기 프로젝션 영상 프레임 주기 중에 주기적으로 일정 간격으로 영상 투사를 비출사하는 비출사 프레임 타임을 포함하는 것을 특징으로 한다. 그리고 카메라 촬영 타이밍은 상기 비출사 프레임 타임 내에서 촬영 동작이 이루어 지도록 제어를 하는 것을 특징으로 한다.

예를 들면, 사용자가 세계지도 프로젝터의 영상을 이용하여 세계 지도에 관한 설명프로그램, 강의 등 목적에 필요한 동영상을 카메라로 제작할 때, 제작보드에 비춰지는 세계지도의 윤곽을 따라 스크린보드판에 마커로 세계지도를 그려가면서 동영상을 제작할 수 있다. 이 경우 카메라로 촬영되는 동영상에는 상기 프로젝션 된 영상은 나타나지 않으면서 사용자의 설명과 사용자에 의해 그려지는 세계지도 윤곽만 나타나도록 할 수 있다.

또는 사용자가 잘 그려진 그림 프로젝션 영상을 이용하여 미술수업에 관한 설명프로그램, 강의 등 목적에 필요한 동영상을 카메라로 제작하거나, 동영상을 송출할 때, 스크린보드판에 비춰지는 잘 그려진 그림 프로젝션된 영상의 윤곽을 따라 스크린보드판에 마커로 필요한 그림을 그려가면서 동영상을 제작할 수 있다. 이 경우 카메라로 촬영되는 동영상에는 상기 그림 프로젝션 영상은 나타나지 않으면서 사용자의 설명과 사용자에 의해 그려지는 그림 윤곽만 나타나도록 할 수 있다. 이에 따라 이를 시청하는 시청자는 상기 사용자가 상당한 미술 실력을 갖춘 것으로 인식되어 시청률을 높일 수 있게 될 것이다.

[제1실시 예: 프로젝터를 활용한 동영상 촬영을 위한 장치]

도 1은 본 발명의 일 실시 예에 따른 프로젝터를 활용한 동영상 촬영을 위한 장치의 블록도를 도시한 것이다.

본 발명의 일 실시 예에 따른 프로젝터를 활용한 동영상 촬영을 위한 장치(100)는 출사할 영상을 외부 장치 또는 내부 메모리로부터 독출하여 영상을 출사하는 프로젝터(110), 동영상을 제작하기 위한 카메라(120) 및 상기 프로젝터(110)의 프로젝션(projection) 주기와 상기 카메라(120)의 동영상 촬영(exposure)구간 주기를 제어하는 제어부(150)를 포함한다.

본 발명의 일 실시 예에 따른 프로젝터를 활용한 동영상 촬영을 위한 장치(100)는 하나의 기기 하우징에 프로젝터(110), 카메라(200) 및 제어부(500)가 모두 내장된 일체형 기기일 수 있다.

도 2는 본 발명의 제1 실시 예에 따른 프로젝터를 활용한 동영상 촬영을 위한 장치(100)가 하나의 기기에 일체형으로 구성된 것을 도시한 것이다.

또는 프로젝터(110), 카메라(120) 및 제어부(150)가 각각 별개의 장치로 구성될 수 있다. 이 경우 상기 제어부(150)의 장치로는 PC를 포함할 수 있다.

본 발명의 일 실시 예에 따르면, 상기 장치(10) 또는 제어부(150)는 사용자가 프로젝터(110)의 프로젝션 주기와 상기 카메라(120)의 동영상 촬영구간 주기의 타임 스케줄 조건을 선택적으로 입력하여 제어할 수 있는 입력부(155)를 더 포함할 수 있다.

도 3은 본 발명의 제1 실시 예에 따른 프로젝터를 활용한 동영상 촬영을 위한 프로젝터와 카메라의 동작 타이밍도를 도시한 것이다.

도 3에서 상단은 프로젝터의 프로젝션 주기를 나타낸 것이고, 하단은 카메라의 촬영 주기를 나타낸다.

도 3을 참조하면, 제어부(150)는 프로젝터(110)의 프로젝션(projection) 프레임 주기(Td)에 프로젝션이 투사되는 프로젝션 주기(Ta)와 프로젝션이 투사되지 않는 비출사 프로젝션 주기가 번갈아 수행되도록 프로젝터의 프로젝션 프레임 주기에 대한 타임 스케줄을 제어한다. 본 발명의 일 실시 예에 따르면, 상기 비출사 프로젝션 주기의 설정시간은 프로젝션(projection) 프레임 주기(Td)의 40 ~ 60% 범위에서 제어하는 것을 특징으로 한다. 그리고 카메라의 동영상 촬영구간(Tc)은 상기 프로젝터(110)의 비출사 프로젝션 주기 내에서 비출사 프로젝션 주기 설정시간의 50 ~ 70%의 구간에서 촬영동작이 이루어 지도록 동영상 촬영구간 주기를 제어한다.

본 발명의 일 실시 예에 따른 프로젝션(projection) 프레임 주기(Td)는 잔상 유지 현상을 고려하여 20 ~ 50ms의 범위에서 일정한 주기를 갖도록 설정하는 것을 특징으로 한다.

본 발명의 일 실시 예에 따른 프로젝터를 활용한 동영상 촬영을 위한 장치의 촬영방법은 다음과 같다.

먼저, 1a) 동영상 제작에 필요한 프로젝터의 프로젝션(projection) 프레임 주기(Td)에 대한 타임 스케줄을 설정하는 단계가 수행된다.

상기 1a) 단계에서 프로젝터의 프로젝션(projection) 프레임 주기(Td)의 설정시간은 20 ~ 50ms의 범위에서 설정하고, 상기 프로젝션(projection) 프레임 주기(Td)에는 매 주기마다 프로젝션이 투사되는 프로젝션 주기(Ta)와 상기 출사타임에 이어서 프로젝션이 투사되지 않는 비출사 프로젝션 주기가 포함하도록 설정한다. 이때, 상기 비출사 프로젝션 주기의 설정시간은 프로젝션(projection) 프레임 주기(Td)의 40 ~60% 범위에서 제어하는 것을 특징으로 한다.

다음은 1b) 동영상 제작에 필요한 카메라의 촬영 주기를 설정하는 단계가 수행된다. 상기 카메라의 촬영 주기는 상기 프로젝터(110)의 비출사 프로젝션 주기 내에서 비출사 프로젝션의 설정시간보다 작은 동영상 촬영구간(exposure)에서 촬영동작이 이루어 지도록 동영상 촬영구간(Tc)을 설정한다.

본 발명의 일 실시 예에 따른 동영상 촬영구간(Tc)은 상기 비출사 프로젝션 주기 설정시간의 50~70%의 구간에서 설정된다.

다음은, 1c) 상기 프로젝터(110)와 상기 카메라(120)를 스크린보드판에 맞추어 세팅을 하고 상기 프로젝터(110)의 출사주기와 상기 카메라(120)의 동영상 촬영구간의 프레임 주기를 일치시키는 동기화 단계가 수행된다.

상기 프로젝터(110)의 프로젝션 주기와 상기 카메라(120)의 동영상 촬영구간 주기의 프레임이 일치하지 않으면, 카메라에 프로젝터 영상 패턴이 입력되는 경우가 발생된다. c) 단계에서는 프로젝터가 패턴광을 출사하는 프로젝션 주기 및 비출사 프로젝션 주기와 카메라가 영상을 획득하는 동영상 촬영 구간의 프레임 주기가 일치하도록 조정하는 과정이 수행된다.

한편, 획득하는 영상의 해상도가 변경되거나 노출 시간이 바뀌는 등 카메라에서 영상을 획득하는 시간이 변경되면 카메라와 프로젝터 간의 동기화가 틀려질 수 있다. 따라서 이 과정은 필요에 따라 또는 주변 여건에 따라 카메라의 노출환경이 변경이 되면, 수시로 수행될 수 있다.

상기 동기화 단계 후에는 본 발명의 일 실시 예에 따른 1d) 프로젝터를 활용한 동영상 촬영을 위한 장치의 촬영을 수행하는 촬영단계가 수행된다.

본 발명의 또 다른 실시 예에 따르면, 상기 촬영단계에서 사용자의 선택에 따라 필요 시 1e) 상기 입력부(155)를 통하여 상기 프로젝션(projection) 프레임 주기의 프로젝션 주기(Ta)와 비출사 프로젝션 주기 비율을 조정하여 촬영된 동영상에 프로젝션 영상이 나타나도록 제어하는 단계를 더 포함할 수 있다.

본 발명의 일 실시 예에 따르면, 상기 비출사 프로젝션 주기의 설정타임을 프로젝션(projection) 프레임 주기의 35% 미만으로 줄이게 되면, 촬영된 동영상에 프로젝션 영상이 나타나기 시작한다.

본 발명의 바람직한 일 실시 예에서는 상기 e) 단계는 필요 시 사용자의 선택에 따라 일부 구간에서 상기 비출사 타임구간을 프로젝션(projection) 프레임 주기의 0 ~ 35% 범위에서 수행되도록 제어한다.

상기 1e) 단계는 동영상의 제작 목적에 따라 중간에 프로젝션 영상이 삽입되는 것이 더 효과적일 경우에 적용될 수 있다.

도 4는 본 발명의 다양한 실시 예에 따른 프로젝터를 활용한 동영상 촬영을 위한 프로젝터와 카메라의 동작 타이밍도를 도시한 것이다.

도 4는 유튜브 콘텐츠 제작, 실시간 강의 동영상 또는 기록용 동영상 콘텐츠 제작 시 움직이는 투사체에 대해 다양한 실험결과, 본 발명의 일 실시 예에 따른 프로젝터를 활용한 동영상 촬영을 위한 장치에서 바람직한 프로젝터와 카메라의 동작 타이밍도를 도시한 것이다

도 4를 참조하면, 제어부(150)는 프로젝터(110)의 바람직한 프로젝션(projection) 프레임 주기(Td)의 설정시간은 30~ 35ms 범위에서 번갈아 이어지도록 설정하고, 프로젝터(110)의 프로젝션 주기(Ta)의 타임구간은 프로젝션(projection) 프레임 주기(Td)의 매 주기마다 15~ 18ms, 비출사 프로젝션 주기의 타임구간은 상기 프로젝션 주기(Ta)에 이어서 15~18ms 범위에서 설정한다. 또한, 비출사 프로젝션 주기의 구간 내에서 동영상 촬영구간(Tc)은, 이전 출사타임이 끝나는 시점과 다음 출사타임이 시작하는 시점에서 2.5~3.5ms의 지연 시간(Tb)을 제외하고 설정한다. 또한, 본 발명의 일 실시 예에 따른 동영상 촬영구간(exposure) 시간(Tc)은 1 ~ 10ms에서 설정한다. 영상을 촬영하는 환경의 밝기가 밝은 경우 Exposure Time을 매우 줄여야 한다. 바람직한 촬영 노출 프레임(exposure) 시간은 9 ~10ms에서 설정할 수 있으며 1ms 이하의 Exposure Time을 사용하는 경우도 수시로 발생할 수 있어서, 본 발명의 일 실시 예에 따른 촬영 노출 프레임(exposure) 시간은 1 ~ 10ms 범위 내에서 설정되도록 제어된다.

도 5 내지 6은 본 발명의 제1 실시 예에 따른 프로젝터를 활용한 동영상 촬영을 위한 장치를 이용하여 인물그림을 그리는 예를 도시한 것이다.

도 5는 본 발명의 제1 실시 예에 따른 프로젝터로 투사된 프로젝션 영상이 사용자에게 보이는 이미지를 나타낸다.

도 6은 본 발명의 일 실시 예에 따른 프로젝터를 활용한 동영상 촬영 방법에 의해 촬영한 영상을 나타낸 것이다. 도 6을 참조하면, 사용자가 도 5에서 보이는 프로젝터로 투사된 프로젝션 영상을 따라 스크린보드판에 인물그림을 그리는 이미지를 촬영한 영상에는 사용자에 의해 그려지는 인물윤곽은 촬영이 되고, 프로젝터로 투사된 프로젝션 영상은 촬영된 영상에 나타나지 않은 것을 알 수 있다.

도 7 내지 9는 본 발명의 제1 실시 예에 따른 프로젝터를 활용한 동영상 촬영 방법을 활용하여 그림 가이드 그리드를 투영하는 화면을 제공하고 이를 이용하여 그림 작업을 하는 예를 도시한 것이다.

도 7은 인물화 grid를 제공하고 인물을 그리는 예로서 실제 촬영된 영상에는 그려진 인물만 나타나고 grid는 나타나지 않도록 할 수 있다.

도 8은 프로젝터로부터 프로젝션 되는 그리드를 나타내고, 도 9는 원근 투영용 그리드를 이용하여 건물 스케치를 그리는 예를 도시한 것이다.

도 9를 참조하면, 실제 촬영된 영상에는 그려진 건물 윤곽만 나타나고 grid는 나타나지 않도록 하는 효과를 가진다.

[제2실시 예: 프로젝터 및 3D 인식장치를 활용한 동영상 촬영을 위한 장치]

본 발명의 또 다른 제2실시 예에서는 제1실시 예와 유사하게 잔상현상을 이용하여 동영상 촬영을 위한 장치 및 방법에 대해 설명한다.

본 발명의 제2실시 예에서는 출사할 영상을 외부 장치 또는 내부 메모리로부터 독출하여 영상을 출사하는 프로젝터; 동영상을 제작하기 위한 카메라 및 상기 프로젝터가 대상물에 대해 가시 프로젝터 영상을 투사하는 가시 프로젝션 주기와 상기 가시 프로젝터 영상의 투사를 중지하고, 상기 대상물의 상태를 3D로 감지하는 감지 주기를 제어하는 제어부를 포함하며,

상기 제어부(150)는 상기 감지주기에서 3D 인식기능을 포함하는 프로젝터 또는 3D 인식기능을 포함하는 카메라로 대상물의 상태를 3D로 scanning 한 신호를 받아서, 미리 설정된 제어프로그램에 따라 제어 영상신호를 생성하고, 다음 가시 프로젝션 주기에 상기 프로젝터의 영상에 상기 제어 영상신호를 포함하여 출력하는 것을 특징으로 한다.

또한, 본 발명의 본 발명의 제2실시 예에서 제어부(150)는 상기 가시 프로젝션 주기와 상기 감지 주기가 잔상현상 유지시간(1/16sec 이하) 범위 내에서 번갈아 수행되도록 제어한다.

본 발명의 일 실시 예에서 상기 가시 프로젝션 주기와 상기 감지 주기는 각각 15~25 ms의 타임구간 범위 내에서 번갈아 수행되도록 설정될 수 있다.

바람직한 실시 예에서는 상기 가시 프로젝션 주기의 타임구간은 16.5ms, 상기 감지 주기의 타임구간 16.5ms로 설정될 수 있다.

본 발명의 일 실시 예에 따른 3D 인식기능을 포함하는 프로젝터는 프로젝션과 적외선 투사를 통해 투사 및 대상물의 깊이 영상을 scanning 하는 RGB IR DLP projector를 포함할 수 있다.

본 발명의 일 실시 예에 따른 3D 인식기능을 포함하는 카메라는 동영상 촬영 및 양안 시차를 이용하여 깊이 영상을 scanning 하는 스테레오 카메라를 포함할 수 있다(Konstantin Schauwecker Nerian Vision GmbH. “Real-Time Stereo Vision on FPGAs with SceneScan” Forum Bildverarbeitung 2018, pp. 339-350. PDF version is available from Arxiv.org, https://nerian.com/applications/scientific-applications/real-time-stereo-vision-on-fpgas-with-scenescan/ 참조). 또한, 제어부(150)는 상기 감지주기 내에서 카메라의 동영상 촬영타임 구간을 포함하도록 제어하되, 상기 동영상 촬영타임 구간은 상기 프로젝션 주기 타임구간의 50 ~70% 범위에서 제어하는 것을 특징으로 한다.

도 10은 본 발명의 제2-1 실시 예에 따른 3D 인식장치 및 프로젝터를 활용한 동영상 촬영을 위한 장치를 도시한 것이다.

도 11은 본 발명의 제2-1실시 예에 따른 3D 인식장치 및 프로젝터를 활용한 동영상 촬영을 위한 장치의 동작 타이밍도를 도시한 것이다.

본 발명의 제2-1 실시 예에 따른 3D 인식장치 및 프로젝터를 활용한 동영상 촬영을 위한 장치는 출사할 영상을 외부 장치 또는 내부 메모리로부터 독출하여 영상을 출사하는 프로젝터(110), 동영상을 제작하기 위한 3D 인식장치를 가진 2개의 영상입력부를 포함하는 스테레오 카메라(121, 122) 및 상기 프로젝터(110)의 가시 프로젝션 주기와 감지주기가 번갈아 수행되도록 제어하고, 상기 감지주기 내에서 대상물에 대한 스캐닝 타임구간 및 상기 카메라(120)의 동영상 촬영구간이 겹쳐서 설정되도록 제어하고, 상기 스테레오 카메라(121, 122)로부터 현재 진행중인 대상물의 상태를 3D로 scanning 한 신호를 받아서, 미리 설정된 제어프로그램에 따라 제어 영상신호를 생성하여 다음에 이어지는 가시 프로젝션 주기에서 프로젝터(110)의 출력에 포함되도록 제어하는 기능을 포함하는 제어부(150)를 포함한다.

본 발명의 2-1 실시 예에 따른 제어 영상신호는 상기 scanning 한 신호의 깊이 영상으로부터 상기 대상물의 프로그램된 목표치와의 차이값를 산출하여, 상기 차이값에 따른 제어 영상신호를 생성하는 것을 특징으로 한다. 예를 들면, 제어 영상신호는 대상물의 목표치와의 깊이 차이값에 따라 명도의 차이를 두어 출사하거나, 또는 색깔의 차이로 출사할 수 있다.

본 발명의 제2-1실시 예에 따른 3D 인식장치 및 프로젝터를 활용한 동영상 촬영을 위한 장치는 하나의 기기 하우징에 프로젝터(110), 스테레오 카메라(121, 122) 및 제어부(500)가 모두 내장된 일체형 기기일 수 있다.

또는 상기 제어부(150)는 별도 장치로 구성될 수 있다.

본 발명의 제2실시 예에 따른 3D 인식장치 및 프로젝터를 활용한 동영상 촬영을 위한 장치는 가시 프로젝션 주기와 감지 주기가 번갈아 수행된다.

본 발명의 제2-1실시 예에 따른 3D 인식장치 및 프로젝터를 활용한 동영상 촬영을 위한 장치에서 상기 감지 주기 내에 대상물체에 대한 스캐닝 프레임 타임구간 및 상기 카메라(121, 122)의 동영상 촬영구간(exposure)을 포함한다.

도 11을 참조하면, 본 발명의 제2-1실시 예에 따른 3D 인식장치 및 프로젝터를 활용한 동영상 촬영을 위한 장치의 감지주기에서 상기 스캐닝 타임구간과 동영상 촬영(exposure) 구간은 동일한 동작타임으로 동작되도록 설정될 수 있다.

본 발명의 일 실시 예에 따르면, 상기 스캐닝 타임구간과 동영상 촬영구간은 상기 감지주기의 타임 구간 내에 설정하되, 이전 가시 프로젝션 주기가 끝나는 시점과 다음 가시 프로젝션 주기가 시작하는 시점에서 2.5~3.5ms의 지연 시간(Tb)을 제외하고 설정한다.

본 발명의 제2실시 예에 따른 3D 인식장치 및 프로젝터를 활용한 동영상 촬영을 위한 장치의 촬영방법은 다음과 같다.

먼저, 2a) 동영상 제작에 필요한 가시 프로젝션(visible projection) 주기 및 감지 주기에 대한 타임 스케줄을 설정하는 단계가 수행된다.

상기 2a) 단계에서 가시 프로젝션 주기 및 감지주기는 각각 15~25ms의 타임구간 범위 내에서 번갈아 수행되도록 설정한다. 상기 제어부(150)는 가시 프로젝션 주기에는 매 주기마다 프로젝션이 투사되도록 설정되고, 상기 감지 주기에서는 프로젝션이 투사되지 않게 프로젝션은 정지하도록 제어한다. 본 발명의 바람직한 실시 예에 따르면, 상기 가시 프로젝션 주기는 16.5ms 및 감지주기는 16.5ms의 범위에서 번갈아 수행되도록 설정될 수 있다. 다음은 2b) 상기 제어부가 상기 가시 프로젝션 주기 또는 감지 주기에 동영상 제작에 필요한 카메라의 동영상 촬영구간 및 스캐닝 타임구간을 설정하는 단계가 수행된다. 본 발명의 일 실시 예에서 상기 감지주기에서 대상물에 대한 상태를 스캐닝을 수행하도록 하는 스캐닝 타임구간과 상기 카메라의 동영상 촬영구간이 동시에 겹쳐져서 포함하도록 설정한다.

본 발명의 또 다른 실시 예에서는 상기 제어부는 상기 감지주기 내에 스캐닝 타임구간을 설정하고, 상기 가시 프로젝션 주기에 동영상 촬영구간이 설정할 수 있다.

본 발명의 바람직한 실시 예에서는 상기 스캐닝 타임구간과 동영상 촬영구간은 상기 가시 프로젝션 주기가 끝난 후 및 시작 전 3ms의 딜레이 타임을 두고 1~16ms 범위에서 설정되는 것을 특징으로 한다.

본 발명의 일 실시 예에 따르면, 상기 스캐닝 타임구간과 동영상 촬영구간은 동영상 촬영시 주변 환경에 따라 조절하여 설정될 수 있다. 예를 들면, 주변환경이 밝은 경우 Exposure Time을 짧게 조절되는 것이 바람직하다.

즉, 본 발명의 제2-1실시 예에 따른 3D 인식장치 및 프로젝터를 활용한 동영상 촬영을 위한 장치에서는 대상물의 상태에 대한 스캐닝 타임구간 및 상기 카메라(121, 122)의 동영상 촬영 구간은 동일한 타임주기로 수행된다.

다음은, 2c) 상기 프로젝터(110)와 상기 스테레오 카메라(121, 122)를 대상물에 맞추어 세팅을 하고 상기 프로젝터(110)의 가시 프로젝션 주기와 상기 스테레오 카메라(121, 122)의 동영상 촬영구간 및 스캐닝 타임구간의 프레임주기를 일치시키는 동기화 단계가 수행된다.

상기 동기화 단계 후에는 본 발명의 일 실시 예에 따른 2d) 프로젝터를 활용한 프로젝션, 동영상 촬영을 위한 촬영 및 3D 스캐닝을 수행하는 촬영단계가 수행된다.

본 발명의 제2-1실시 예에서는 상기 2d)의 촬영단계에서 상기 제어부(150)에서 상기 스테레오 카메라(121, 122)의 동영상 촬영구간(exposure) 주기에서 상기 스테레오 카메라(121, 122)에서 3D 스캐닝 된 영상을 이용하여 상기 대상물의 목표치와의 차이를 산출하고 차이값에 의한 차이 신호영상을 다음 프레임의 가시 프로젝션 주기에서 프로젝션 영상에 포함하여 출사하는 과정이 포함되는 것을 특징으로 한다.

본 발명의 또 다른 실시 예에 따르면, 상기 촬영단계에서 사용자의 선택에 따라 필요 시 2e) 상기 입력부(155)를 통하여 상기 가시 프로젝션 주기와 동영상 촬영구간(exposure) 주기의 타임구간 비율을 조정하여 촬영된 동영상에 프로젝션 영상이 나타나도록 제어하는 단계를 더 포함할 수 있다.

본 발명의 일 실시 예에 따르면, 상기 동영상 촬영구간(exposure) 주기의 타임구간을 가시 프로젝션(projection) 주기의 35% 미만으로 줄이게 되면, 촬영된 동영상에 프로젝션 영상이 나타나기 시작한다.

본 발명의 바람직한 일 실시 예에서는 상기 2e) 단계는 필요 시 사용자의 선택에 따라 일부 구간에서 상기 동영상 촬영구간(exposure) 주기를 가시 프로젝션 주기의 0 ~ 35% 범위에서 수행되도록 제어할 수 있다.

상기 2e) 단계는 동영상의 제작 목적에 따라 중간에 프로젝션 영상이 삽입되는 것이 더 효과적일 경우에 적용될 수 있다.

도 12는 본 발명의 제2-1 실시 예에 따른 3D 인식장치 및 프로젝터를 활용한 동영상 촬영을 위한 장치의 촬영방법에 의한 입체 조각 제작방법의 예를 도시한 것이다.

도 12를 참조하면, (a)는 스테레오 카메라(121, 122)에서 동영상 제작을 위해 촬영된 영상을 나타내고 (c)는 스테레오 카메라(121, 122)에서 3D 스캐닝 된 영상을 나타낸다. 도 12(b)는 가시 프로젝션 주기에 프로젝션에서 제어부에서 산출한 차이값에 의한 제어 영상신호를 red 색으로 포함하여 투사한 예를 나타낸다. 본 발명의 제2-1실시 예에 따르면, 상기 차이값에 의한 제어 영상신호는 프로그램된 목표치와의 깊이 scanning된 대상물의 차이값에 따라 명암의 차이를 두어 출사하거나, 또는 색깔의 차이로 출사할 수 있다.

이에 따라 제2-1실시 예에 따른 동영상 제작에 따르면, 동영상의 촬영된 영상에서는 상기 제어 영상신호에 대해서는 나타나지 않고 조각되는 대상물의 진행 결과만 나타내는 효과를 가지면서, 제작 유저는 상기 제어 영상신호를 보고 어느 부분을 얼마나 더 깎거나, 파내야 할지를 쉽게 알 수 있어서 능률적으로 조각 작업을 수행할 수 있다.

도 13은 본 발명의 또 다른 제2-2 실시 예에 따른 3D 인식장치 및 프로젝터를 활용한 동영상 촬영을 위한 장치의 동작 타이밍도를 도시한 것이다.

도 13의 제2-2실시 예는 3D 인식장치로 제2-1실시 예의 프로젝터 및 스테레오 카메라(121, 122) 대신 RGB에 적외선 채널을 추가한 3D 인식기능을 포함하는 프로젝터 및 카메라를 이용한 동영상 촬영 장치를 특징으로 한다.

본 발명의 일 실시 예에 따른 RGB에 적외선 채널을 추가한 3D 인식기능을 포함하는 프로젝터의 IR채널은 RGB 3색 LED와 함께 투사되거나, 또는 제어신호에 의해 IR 채널을 별도로 운영할 수 있다. IR LED 는 눈에 안보이고 Image Sensor의 감도특성이 좋은 1400nm 이하 대역의 근적외선 Spectrum을 가진 LED를 사용한다.

상기 RGB에 적외선 채널을 추가한 3D 인식기능을 포함하는 프로젝터는 RGB-IR DLP 프로젝터(이하 “RGB-IR 프로젝터” 라 한다.)

도 13을 참조하면, 제2-2 실시 예에서 제어부(150)는 가시 프로젝션 주기와 상기 감지 주기가 잔상현상 유지시간(1/16 sec) 범위 내에서 번갈아 수행되도록 제어한다. 가시 프로젝션 주기 구간에서는 RGB-IR 프로젝터는 RGB 프로젝션만 투사하거나, 또는 RGB 프로젝션 및 IR 채널을 함께 투사를 한다. 그리고 감지주기 구간에서는 카메라의 동영상 촬영과 함께 RGB-IR 프로젝터는 IR 채널로 적외선(IR)에 의해 3D scanning 센싱을 수행한다.

도 14는 본 발명의 일 실시 예에 따른 RGB-IR 프로젝터의 내부 구조의 예를 도시한 것이다.

도 15는 본 발명의 일 실시 예에 따른 RGB-IR 프로젝터 및 카메라를 이용한 동영상 촬영장치의 예를 도시한 것이다.

도 14, 15를 참조하면, 본 발명의 제2-2 실시 예에 따른 장치는 사람 눈에 보이지 않는 IR 광원과 가시광선을 함께 Projection 할 수 있는 RGB-IR DLP 프로젝터 및 상기 RGB-IR DLP 프로젝터와 Calibration된 Camera를 포함하도록 구성된다.

본 발명의 제2-2 실시 예에 따른 3D 프로젝터 및 카메라를 활용한 동영상 촬영을 위한 장치는 가시 프로젝션 주기와 감지 주기가 번갈아 수행된다.

본 발명의 2-2 실시 예에 따른 3D 프로젝터 및 카메라를 활용한 동영상 촬영을 위한 장치는 감지 주기에서 스캐닝 타임구간 동안 대상물에 적외선을 투사하여 반사되는 scanning 신호를 수신하여 제어부(150)로 전송한다.

본 발명의 제2-2 실시 예에 따른 장치에서는 감지주기에 IR Project를 통해 3D 대상물을 3D Scanning하고, scanning 한 신호를 받아서, 미리 설정된 제어프로그램에 따라 제어 영상신호를 생성하고, 다음 이어지는 가시 프로젝션 주기에 상기 프로젝터의 영상에 상기 제어 영상신호를 포함하여 출력하는 것을 특징으로 한다.

또한, 본 발명의 제2-2 실시 예에 따른 장치에서는 감지주기에 카메라(camera)에 의해 동영상을 촬영하는 동영상 촬영(exposure) 구간을 포함한다.

본 발명의 제2-2 실시 예에 따른 3D 프로젝터 및 카메라를 활용한 동영상 촬영을 위한 장치에서 상기 감지주기 내에 대상물에 대해 3D 프로젝터의 IR에 의해 3D scanning을 하는 스캐닝 타임 구간 및 상기 카메라(camera)에 의해 동영상을 촬영하는 동영상 촬영구간이 겹쳐지도록 설정된다.

상기 제2-2실시 예에서 가시 프로젝션 주기와 감지주기는 제2-1실시 예와 동일하게 수행될 수 있다.

상기 제2-2실시 예에 따른 장치에서 스캐닝 타임구간은 상기 감지주기와 동일하거나, 적게 설정될 수 있다.

또한, 상기 감지주기 내에서 상기 동영상 촬영 구간은 상기 가시 프로젝션 주기가 끝난 후 및 상기 가시 프로젝션 주기가 시작되기 전 2.5~3.5ms의 딜레이 타임을 두고 상기 감지주기의 타임 구간의 50 ~70% 범위에서 설정하는 것을 특징으로 한다.

도 16은 본 발명의 제2-3 실시 예에 따른 3D 인식장치 및 프로젝터를 활용한 동영상 촬영을 위한 장치의 동작 타이밍도를 도시한 것이다.

본 발명의 제2-3 실시 예에 따른 장치의 구성은 제2-2 실시 예와 동일한 장치로 구성될 수 있다.

제2-2 실시 예의 감지주기 내에서 스캐닝 타임 구간과 동영상 촬영 구간의 시간대가 겹치도록 타임스케줄을 설정하였으나, 제2-3 실시 예에서는 감지주기(Tr) 내에서 스캐닝 타임주기(ts) 및 스캐닝 타임주기(ts)에 이어서 동영상 촬영주기(tm)가 수행되도록 분할하여 설정한 것을 특징으로 한다.

제2-3 실시 예에서는 제어부는 가시 프로젝션 주기(Tv)의 타임구간은 20~50ms, 감지주기(Tr)의 타임구간은 상기 가시 프로젝션 주기 타임구간의 150~200%인 30~100ms로 설정되며, 상기 가시 프로젝션 주기(Tv)와 감지주기(Tr)는 번갈아 수행되도록 설정된다.

또한, 상기 감지주기(Tr)에서 상기 스캐닝 타임주기(ts)는 가시 프로젝션 주기(Tv) 타임구간의 50~100%인 의 타임구간을 가지도록 설정이 되고, 상기 동영상 촬영 주기(tm)는 상기 가시 프로젝션 주기(Tv) 타임구간과 동일하게 설정된다. 또한, 상기 동영상 촬영주기(tm)에서 실제 카메라기 동영상을 촬영하는 동영상 촬영구간(tc)은 상기 스캐닝 타임주기(ts)가 끝난 후 및 상기 가시 프로젝션 주기(Tv)가 시작되기 전 2.5~3.5ms의 딜레이 타임을 두고 상기 동영상 촬영주기(tm)의 타임 구간의 50 ~70% 범위에서 설정하는 것을 특징으로 한다.

도 16의 2-3실시 예를 참조하면, IR 프로젝터와 카메라를 통해 대상물을 3D scsnning을 하고, 3D scanning을 통해 획득된 정보를 다음 이어지는 가시 프로젝션 주기를 통해 사용자에게 가시광선을 통하여 유용한 정보를 제공할 수 있다.

도 17은 본 발명의 제2-4 실시 예에 따른 3D 인식장치 및 프로젝터를 활용한 동영상 촬영을 위한 장치의 동작 타이밍도를 도시한 것이다.

본 발명의 제2-4 실시 예에 따른 장치의 구성은 제2-2 실시 예와 동일한 장치로 구성될 수 있다.

제2-2 실시 예에서는 감지주기 내에서 스캐닝 타임구간과 동영상 촬영구간의 시간 대가 겹치도록 타임 스케줄을 설정하였으나, 제2-4 실시 예에서는 RGB-IR 프로젝터로부터 RGB 가시광선이 투사되는 가시 프로젝션 주기에 상기 카메라에 의해 동영상이 촬영되는 동영상 촬영구간을 설정하고, 감지주기 내에 RGB-IR 프로젝터의 IR 채널에 의해 3D scanning가 수행되는 스캐닝 타임구간을 설정한 것을 특징으로 한다.

제2-4 실시 예에서 제어부는 가시 프로젝션 주기의 타임구간은 20~50ms로 설정되고, 감지주기의 타임구간은 상기 가시 프로젝션 주기 타임구간과 동일한 타임을 가지도록 설정되며, 상기 가시 프로젝션 주기와 감지주기는 번갈아 수행되도록 설정된다.

또한, 상기 감지주기에서 상기 RGB-IR 프로젝터에서 3D scanning이 수행되는 스캐닝 타임구간은 상기 감지주기 타임구간의 50~100%의 타임구간을 가지도록 설정이 된다.

또한, 상기 가시 프로젝션 주기에 RGB-IR 프로젝터로부터 RGB 가시광선이 투사되도록 제어되고, 상기 가시 프로젝션 주기에서 카메라(camera)에 의한 동영상을 촬영하는 동영상 촬영구간은 상기 감지주기가 끝난 후 및 상기 감지주기가 시작되기 전 2.5~3.5ms의 딜레이 타임을 두고 상기 가시 프로젝션 주기에 타임 구간의 50 ~70% 범위에서 설정하는 것을 특징으로 한다.

제2-4실시 예에서 상기 제어부는 감지주기에 IR Project를 통해 3D 대상물을 3D Scanning하고, scanning 한 신호를 받아서, 미리 설정된 제어프로그램에 따라 제어 영상신호를 생성하고, 다음 이어지는 가시 프로젝션 주기에 상기 프로젝터의 영상에 상기 제어 영상신호를 포함하여 출력하는 것을 특징으로 한다.

도 18 내지 21은 본 발명의 2-4 실시 예에 따라 촬영된 영상의 예를 도시한 것이다.

도 18을 참조하면, 미리 설정된 제어프로그램에서는 인체를 인식하도록 프로그램이 되며, 제어부는 감지주기에서 scanning 한 신호를 받아서 다음 가시 프로젝션 주기에서 투사되는 제어 영상신호에서는 인체로 인식된 부분에만 조명을 투사하여 배경이 촬영 영상에서 보이지 않도록 할 수 있다.

도 19를 참조하면, 미리 설정된 제어프로그램에서는 인체의 얼굴 부분을 인식하도록 프로그램이 되며, 제어부는 감지주기에서 scanning 한 신호를 받아서 다음 가시 프로젝션 주기에서 투사되는 제어 영상신호에서는 인체의 얼굴로 인식된 부분에만 조명을 비추어서 촬영을 하도록 제어하여 virtual make-up 효과를 줄 수 있다.

도 20을 참조하면, 도 19와 반대로 얼굴에만 조명을 비추지 않도록 제어를 하여 얼굴을 가릴 수 있는 효과를 줄 수 있다.

또한, 도 21을 참조하면, 미리 설정된 제어프로그램에서는 인체의 양측 눈 부분을 인식하도록 프로그램이 되며, 제어부는 감지주기에서 scanning 한 신호를 받아서 다음 가시 프로젝션 주기에서 투사되는 제어 영상신호에서는 인체의 양측 눈 부분으로 인식된 부분에 설정된 액세서리 조명을 비추어서 동영상 촬영을 수행하도록 제어하여 가상 액세서리를 착용한 것과 같은 특수 효과를 줄 수 있다.

110: 프로젝터
120: 카메라
121, 122: 스테레오 카메라의 영상입력부
150: 제어부
155: 입력부

Claims

3D 인식장치 및 프로젝터를 활용한 동영상 촬영장치에 있어서,
상기 3D 인식장치 및 프로젝터를 활용한 동영상 촬영장치는
출사할 영상을 외부 장치 또는 내부 메모리로부터 독출하여 영상을 출사하는 프로젝터; 동영상을 제작하기 위한 카메라 및 상기 프로젝터가 대상물에 대해 가시 프로젝터 영상을 투사하는 가시 프로젝션 주기와 상기 가시 프로젝터 영상의 투사를 중지하고, 촬영할 대상물의 상태를 3D로 감지하는 감지 주기를 잔상현상 유지기간의 범위 내에서 번갈아 수행되도록 제어하는 기능을 포함하는 제어부를 포함하며,
상기 제어부는 상기 감지주기에서 상기 프로젝터 또는 카메라로 대상물의 상태를 3D로 scanning 한 신호를 받아서, 미리 설정된 제어프로그램에 따라 제어 영상신호를 생성하여 다음 가시 프로젝션 주기에 상기 프로젝터의 영상에 상기 제어 영상신호를 포함하여 출력하는 것을 특징으로 하는 3D 인식장치 및 프로젝터를 활용한 동영상 촬영장치.
제1항에 있어서,
상기 제어부는
사용자가 상기 가시 프로젝션 주기와 상기 감지주기와 상기 카메라의 동영상 촬영 구간의 타임 스케줄 조건을 선택적으로 입력하여 제어할 수 있는 입력부를 더 포함하는 것을 특징으로 하는 3D 인식장치 및 프로젝터를 활용한 동영상 촬영장치.
제1항에 있어서,
상기 제어부는 상기 가시 프로젝션 주기를 30 ~ 35ms 범위에서 설정하고,
상기 감지주기의 타임구간을 15~18ms 범위에서 설정하는 것을 특징으로 하는 3D 인식장치 및 프로젝터를 활용한 동영상 촬영장치.
제3항에 있어서,
상기 제어부는 상기 카메라의 동영상 촬영구간의 촬영 노출 프레임 시간은 상기 감지주기 내에 설정하되, 이전 가시 프로젝션 주기가 끝나는 시점과 다음 가시 프로젝션 주기가 시작하는 시점에서 2.5 ~ 3.5ms의 지연 시간을 제외하고 설정하는 것을 특징으로 하는 3D 인식장치 및 프로젝터를 활용한 동영상 촬영장치.
제1항에 있어서,
상기 카메라는 3D 인식장치를 가진 스테레오 카메라이며,
상기 제어부는 상기 감지주기 내에서 상기 스테레오 카메라에 의한 대상물에 대한 3D 스캐닝을 수행하는 스캐닝 타임구간 및 상기 스테레오 카메라에 의해 동영상을 촬영하는 동영상 촬영구간이 동시에 설정되도록 제어하고, 상기 제어 영상신호는 상기 scanning 한 신호의 깊이 영상으로부터 상기 대상물의 프로그램된 목표치와의 차이값를 산출하여, 상기 차이값에 따라 색깔의 명도에 차이를 가지는 제어 영상신호를 생성하는 것을 특징으로 하는 3D 인식장치 및 프로젝터를 활용한 동영상 촬영장치.
제1항에 있어서,
상기 프로젝터는 3D 인식장치를 가진 RGB-IR 프로젝터이며,
상기 제어부는 상기 감지주기 내에서 상기 RGB-IR 프로젝터의 적외선(IR)에 의해 상기 대상물에 대한 3D 스캐닝을 수행하는 스캐닝 타임구간 및 상기 카메라에 의해 동영상을 촬영하는 동영상 촬영구간이 동시에 설정되도록 제어하는 것을 특징으로 하는 3D 인식장치 및 프로젝터를 활용한 동영상 촬영장치.
제1항에 있어서,
상기 프로젝터는 3D 인식장치를 가진 RGB-IR 프로젝터이며
상기 감지주기에 상기 RGB-IR 프로젝터에 의해 대상물에 대한 3D 스캐닝을 수행하는 제2스캐닝 타임주기 및 상기 제2스캐닝 타임주기에 이어서 상기 카메라에 의해 동영상을 촬영하는 동영상 촬영주기가 번갈아 수행되도록 설정하되,
상기 가시 프로젝션 주기의 타임구간은 20~50ms, 상기 감지주기의 타임구간은 30 ~ 100ms범위에서 설정되며,
상기 제2스캐닝 타임주기는 10 ~ 25ms, 상기 동영상 촬영주기는 20 ~ 50ms의 타임구간을 가지는 것을 특징으로 하고,
상기 동영상 촬영주기에서 상기 카메라가 동영상을 촬영하는 동영상 촬영구간은 상기 제2스캐닝 타임주기가 끝난 후 및 상기 가시 프로젝션 주기가 시작되기 전 2.5 ~ 3.5ms의 딜레이 타임을 두고 설정하는 것을 특징으로 하는 3D 인식장치 및 프로젝터를 활용한 동영상 촬영장치.
제1항에 있어서,
상기 프로젝터는 3D 인식장치를 가진 RGB-IR 프로젝터이며,
상기 제어부는 상기 감지주기 내에 상기 RGB-IR 프로젝터의 적외선(IR)에 의해 상기 대상물에 대한 3D 스캐닝을 수행하는 스캐닝 타임구간을 설정하고, 상기 가시 프로젝션 주기에 상기 카메라에 의해 동영상을 촬영하는 동영상 촬영구간이 설정되도록 제어하는 것을 특징으로 하는 3D 인식장치 및 프로젝터를 활용한 동영상 촬영장치.
3D 인식장치 및 프로젝터를 활용한 동영상 촬영장치가 동영상을 촬영하는 방법에 있어서,
상기 촬영장치는,
출사할 영상을 외부 장치 또는 내부 메모리로부터 독출하여 영상을 출사하는 프로젝터; 동영상을 제작하기 위한 카메라 및 상기 프로젝터가 대상물에 대해 가시 프로젝터 영상을 투사하는 가시 프로젝션 주기와 상기 가시 프로젝터 영상의 투사를 중지하고, 촬영할 대상물의 상태를 3D로 감지하는 감지 주기를 잔상현상 유지기간 범위 내에서 번갈아 수행되도록 제어하는 기능을 포함하는 제어부를 포함하며,
상기 방법은
a) 상기 제어부가 상기 가시 프로젝션 주기 및 감지 주기에 대한 타임 스케줄을 설정하는 단계;
b) 상기 제어부가 상기 가시 프로젝션 주기 또는 감지주기에 동영상 제작에 필요한 카메라의 동영상 촬영구간 및 스캐닝 타임구간을 설정하는 단계;
c) 상기 제어부가 상기 프로젝터 및 카메라에 대해 가시 프로젝터 주기, 감지주기, 동영상 촬영구간 및 스캐닝 타임구간을 동기화하여 일치시키는 단계; 및
d) 프로젝터를 활용한 동영상 촬영을 위한 장치의 촬영을 수행하는 촬영단계;
를 포함하는 것을 특징으로 하되,
상기 제어부는
상기 감지주기에서 상기 프로젝터 또는 카메라로 대상물의 상태를 3D로 scanning 한 신호를 받아서, 미리 설정된 제어프로그램에 따라 제어 영상신호를 생성하여 다음 가시 프로젝션 주기에 상기 프로젝터의 영상에 상기 제어 영상신호를 포함하여 출력하는 것을 특징으로 하는 3D 인식장치 및 프로젝터를 활용한 동영상 촬영방법.
제9항에 있어서,
상기 프로젝터는 3D 인식장치를 가진 RGB-IR 프로젝터이며,
상기 제어부는 상기 감지주기 내에 상기 RGB-IR 프로젝터의 적외선(IR)에 의해 상기 대상물에 대한 3D 스캐닝을 수행하는 스캐닝 타임구간을 설정하고, 상기 가시 프로젝션 주기에 상기 동영상 촬영구간이 설정되도록 제어하되,
미리 설정된 제어프로그램에서는 인체를 인식하도록 프로그램이 되며, 감지주기에서 scanning 한 신호를 받은 후, 다음 가시 프로젝션 주기에서 투사되는 제어 영상신호에서는 인체로 인식된 부분에만 조명을 투사하여 배경이 동영상의 촬영 영상에서 보이지 않도록 하는 것을 특징으로 하는 3D 인식장치 및 프로젝터를 활용한 동영상 촬영방법.
제9항에 있어서,
상기 프로젝터는 3D 인식장치를 가진 RGB-IR 프로젝터이며,
상기 제어부는 상기 감지주기 내에 상기 RGB-IR 프로젝터의 적외선(IR)에 의해 상기 대상물에 대한 3D 스캐닝을 수행하는 스캐닝 타임구간을 설정하고, 상기 가시 프로젝션 주기에 상기 동영상 촬영구간이 설정되도록 제어하되,
미리 설정된 제어프로그램에서는 인체의 얼굴 부분을 인식하도록 프로그램이 되며, 감지주기에서 scanning 한 신호를 받은 후, 다음 가시 프로젝션 주기에서 투사되는 제어 영상신호에서는 인체의 얼굴로 인식된 부분에만 조명을 투사하여 동영상 촬영을 수행하도록 제어하는 것을 특징으로 하는 3D 인식장치 및 프로젝터를 활용한 동영상 촬영방법
제9항에 있어서,
상기 프로젝터는 3D 인식장치를 가진 RGB-IR 프로젝터이며,
상기 제어부는 상기 감지주기 내에 상기 RGB-IR 프로젝터의 적외선(IR)에 의해 상기 대상물에 대한 3D 스캐닝을 수행하는 스캐닝 타임구간을 설정하고, 상기 가시 프로젝션 주기에 상기 동영상 촬영구간이 설정되도록 제어하되,
미리 설정된 제어프로그램에서는 인체의 양측 눈 부분을 인식하도록 프로그램이 되며. 감지주기에서 scanning 한 신호를 받은 후, 다음 가시 프로젝션 주기에서 투사되는 제어 영상신호에서는 인체의 얼굴로 인식된 부분에만 조명을 투사하여 동영상 촬영을 수행하도록 제어하는 것을 특징으로 하는 3D 인식장치 및 프로젝터를 활용한 동영상 촬영방법.