KR20210015436A - 프로젝션을 수행하는 서버, 방법 및 컴퓨터 프로그램 - Google Patents

프로젝션을 수행하는 서버, 방법 및 컴퓨터 프로그램 Download PDF

Info

Publication number
KR20210015436A
KR20210015436A KR1020190094279A KR20190094279A KR20210015436A KR 20210015436 A KR20210015436 A KR 20210015436A KR 1020190094279 A KR1020190094279 A KR 1020190094279A KR 20190094279 A KR20190094279 A KR 20190094279A KR 20210015436 A KR20210015436 A KR 20210015436A
Authority
KR
South Korea
Prior art keywords
real object
image
matrix
screen
feature value
Prior art date
Application number
KR1020190094279A
Other languages
English (en)
Inventor
정종원
최강현
김이길
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR1020190094279A priority Critical patent/KR20210015436A/ko
Publication of KR20210015436A publication Critical patent/KR20210015436A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G06T7/596—Depth or shape recovery from multiple images from stereo images from three or more stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/327—Calibration thereof

Abstract

프로젝션을 수행하는 서버는 스크린을 촬영하는 깊이 카메라로부터 스크린 상에서 이동하는 실제 객체에 대한 깊이 영상 및 색상 영상을 수신하는 수신부, 수신된 깊이 영상 및 색상 영상에 기초하여 실제 객체의 특징값을 추출하고, 상기 추출된 특징값을 트래킹하는 트래킹부, 트래킹된 특징값에 기초하여 깊이 카메라의 관계 행렬을 추정하는 파라미터 추정부, 추정된 관계 행렬에 기초하여 실제 객체에 대한 변위값를 추정하는 변위값 추정부, 프로젝터의 프러스텀(Frustum) 영역 내에서 이동하는 가상 객체에 추정된 변위값을 적용하는 적용부 및 프로젝터로부터 스크린 및 스크린 상에서 이동하는 실제 객체로 변위값이 적용된 가상 객체에 대한 영상을 투사하는 투사부를 포함할 수 있다.

Description

프로젝션을 수행하는 서버, 방법 및 컴퓨터 프로그램{SERVER, METHOD AND COMPUTER PROGRAM FOR OPERATING PROJECTION}
본 발명은 프로젝션을 수행하는 서버, 방법 및 컴퓨터 프로그램에 관한 것이다.
차세대 이동통신인 5G가 사용화되면서 AR/VR 등의 다양한 실감 미디어 서비스가 주목받고 있다. 기존의 AR/VR 서비스의 경우에는 사용자가 AR/VR 컨텐츠의 시청을 위해서 스마트 글라스 또는 HMD 장치를 착용해야하는 불편함이 있었다.
이러한 AR/VR 서비스의 한계를 극복하기 위해 프로젝터 기반의 XR(Extended Reality)/ MR(Mixed Reality)의 형태의 실감 미디어 서비스가 등장했다.
도 1을 참조하면, 기존의 프로젝터 기반의 XR/MR 서비스는 프로젝터(10)와 고정된 벽면(또는 스크린)(30) 간의 프로젝션을 진행하고, 프로젝션이 되는 벽면(또는 스크린)(30)에서 사용자의 입력을 센싱하여 컨텐츠와 상호작용을 제공한다. 사용자와 상호작용하기 위해서는 사용자의 입력을 인식하는 센서 장치(20)가 벽면(또는 스크린)(30)에 고정되어 있어야 한다. 이는, 고정된 벽면(또는 스크린)(30)에서만 사용자와의 인터랙션이 가능하다는 한계가 있다. 또한, 이동 가능한 객체에 대하여는 XR/MR 서비스의 적용이 불가능하기 때문에 몰입감 있는 체험을 제공하는 데에 한계가 있다.
예를 들어, AR/VR 서비스의 경우, 사용자의 눈앞에 지구본 등을 두고 돌려보며 몰입감 높은 체험을 할 수 있지만, 기존의 XR/MR 서비스는 벽면(또는 스크린)에 단순한 지구본을 놓고 돌려보는 형태로 제공될 수 밖에 없어 몰입감이 상대적으로 떨어질 수 밖에 없다.
한국등록특허공보 제1691880호 (2016.12.27. 등록)
본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 스크린 상에서 이동하는 실제 객체에 대한 깊이 영상 및 색상 영상으로부터 추정된 실제 객체에 대한 변위값을 프로젝터의 프러스텀(Frustum) 영역 내에서 이동하는 가상 객체에 적용하고, 실제 객체를 대상으로 해당 가상 객체에 대한 영상을 투사함으로써 실제 객체와 가상 객체 간의 인터랙션을 수행하고, 더욱 몰입감 있는 확장현실 서비스를 제공하고자 한다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면에 따른 프로젝션을 수행하는 서버는 스크린을 촬영하는 깊이 카메라로부터 상기 스크린 상에서 이동하는 실제 객체에 대한 깊이 영상 및 색상 영상을 수신하는 수신부; 상기 수신된 깊이 영상 및 색상 영상에 기초하여 상기 실제 객체의 특징값을 추출하고, 상기 추출된 특징값을 트래킹하는 트래킹부; 상기 트래킹된 특징값에 기초하여 상기 깊이 카메라의 관계 행렬을 추정하는 파라미터 추정부; 상기 추정된 관계 행렬에 기초하여 상기 실제 객체에 대한 변위값를 추정하는 변위값 추정부; 프로젝터의 프러스텀(Frustum) 영역 내에서 이동하는 가상 객체에 상기 추정된 변위값을 적용하는 적용부; 및 상기 프로젝터로부터 상기 스크린 및 상기 스크린 상에서 이동하는 실제 객체로 상기 변위값이 적용된 가상 객체에 대한 영상을 투사하는 투사부를 포함할 수 있다.
본 발명의 제 2 측면에 따른 프로젝션 수행 서버에 의해 프로젝션을 수행하는 방법은 스크린을 촬영하는 깊이 카메라로부터 상기 스크린 상에서 이동하는 실제 객체에 대한 깊이 영상 및 색상 영상을 수신하는 단계; 상기 수신된 깊이 영상 및 색상 영상에 기초하여 상기 실제 객체의 특징값을 추출하고, 상기 추출된 특징값을 트래킹하는 단계; 상기 트래킹된 특징값에 기초하여 상기 깊이 카메라의 관계 행렬을 추정하는 단계; 상기 추정된 관계 행렬에 기초하여 상기 실제 객체에 대한 변위값를 추정하는 단계; 프로젝터의 프러스텀(Frustum) 영역 내에서 이동하는 가상 객체에 상기 추정된 변위값을 적용하는 단계; 및 상기 프로젝터로부터 상기 스크린 및 상기 스크린 상에서 이동하는 실제 객체로 상기 변위값이 적용된 가상 객체에 대한 영상을 투사하는 단계를 포함할 수 있다.
본 발명의 제 3 측면에 따른 프로젝션 수행 서버에 의해 프로젝션을 수행하는 명령어들의 시퀀스를 포함하는 매체에 저장된 컴퓨터 프로그램은 컴퓨팅 장치에 의해 실행될 경우, 스크린을 촬영하는 깊이 카메라로부터 상기 스크린 상에서 이동하는 실제 객체에 대한 깊이 영상 및 색상 영상을 수신하고, 상기 수신된 깊이 영상 및 색상 영상에 기초하여 상기 실제 객체의 특징값을 추출하고, 상기 추출된 특징값을 트래킹하고, 상기 트래킹된 특징값에 기초하여 상기 깊이 카메라의 관계 행렬을 추정하고, 상기 추정된 관계 행렬에 기초하여 상기 실제 객체에 대한 변위값를 추정하고, 프로젝터의 프러스텀(Frustum) 영역 내에서 이동하는 가상 객체에 상기 추정된 변위값을 적용하고, 상기 프로젝터로부터 상기 스크린 및 상기 스크린 상에서 이동하는 실제 객체로 상기 변위값이 적용된 가상 객체에 대한 영상을 투사하도록 하는 명령어들의 시퀀스를 포함할 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본 발명을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 기재된 추가적인 실시예가 존재할 수 있다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 본 발명은 스크린 상에서 이동하는 실제 객체에 대한 깊이 영상 및 색상 영상으로부터 추정된 실제 객체에 대한 변위값을 프로젝터의 프러스텀(Frustum) 영역 내에서 이동하는 가상 객체에 적용하고, 실제 객체를 대상으로 해당 가상 객체에 대한 영상을 투사함으로써 기존에 2차원 공간에서 제공되던 확장현실 서비스를 3차원 공간에서도 가능하도록 구현할 수 있다.
또한, 본 발명은 사용자가 고정된 스크린에 투사되는 가상 객체와 상호작용을 할 수 있을 뿐만 아니라, 실제 객체를 대상으로 실제 객체의 이동 및 회전에 따라 해당 가상 객체에 대한 영상을 투사함으로써 실제 객체와 가상 객체 간에도 상호작용이 이루어지고, 이에 따라 더욱 몰입감 있는 확장현실 서비스의 체험을 제공할 수 있다.
도 1은 종래의 확장현실 서비스 제공 방법을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른, 확장현실 서비스 제공 시스템의 구성도이다.
도 3은 본 발명의 일 실시예에 따른, 도 2에 도시된 프로젝션 수행 서버의 블록도이다.
도 4는 본 발명의 일 실시예에 따른, 프로젝터 및 깊이 카메라 간의 캘리브레이션의 수행 방법을 설명하기 위한 도면이다.
도 5a 내지 5b는 종래의 깊이 영상을 이용한 인터랙션 방법 및 본 발명의 깊이 영상을 이용한 인터랙션 방법을 비교설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른, 캘리브레이션 수행 방법을 나타낸 흐름도이다.
도 7은 본 발명의 일 실시예에 따른, 프로젝션을 수행하는 방법을 나타낸 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다.
본 명세서에 있어서 단말 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말 또는 디바이스에서 수행될 수도 있다.
이하, 첨부된 구성도 또는 처리 흐름도를 참고하여, 본 발명의 실시를 위한 구체적인 내용을 설명하도록 한다.
도 2는 본 발명의 일 실시예에 따른, 확장현실 서비스 제공 시스템의 구성도이다.
도 2를 참조하면, 확장현실 서비스 제공 시스템은 프로젝션 수행 서버(100), 깊이 카메라(110) 및 프로젝터(120)를 포함할 수 있다. 다만, 이러한 도 2의 확장현실 서비스 제공 시스템은 본 발명의 일 실시예에 불과하므로 도 2를 통해 본 발명이 한정 해석되는 것은 아니며, 본 발명의 다양한 실시예들에 따라 도 2와 다르게 구성될 수도 있다.
일반적으로, 도 2의 확장현실 서비스 제공 시스템의 각 구성요소들은 네트워크(미도시)를 통해 연결된다. 네트워크는 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷 (WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다. 무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 블루투스 통신, 적외선 통신, 초음파 통신, 가시광 통신(VLC: Visible Light Communication), 라이파이(LiFi) 등이 포함되나 이에 한정되지는 않는다.
프로젝터(120)는 스크린(130)과 소정 거리 이격되도록 스크린(130)의 정면 방향에 배치될 수 있다. 또한, 프로젝터(120)는 스크린(130) 및 스크린(130) 상에서 이동하는 실제 객체(140)로 가상 객체(150)에 대한 영상을 투사할 수 있다.
깊이 카메라(110)는 스크린(130)의 3차원 위치 및 색상 정보를 획득할 수 있고, 스크린(130) 상에서 이동하는 실제 객체(140)에 대한 3차원 위치를 실시간으로 추적할 수 있다.
깊이 카메라(110)는 프로젝션 수행 서버(100)에게 스크린(130) 상에서 이동하는 실제 객체(140)에 대하여 촬영된 깊이 영상 및 색상 영상을 실시간으로 전송할 수 있다.
프로젝션 수행 서버(100)는 프로젝터(120) 및 깊이 카메라(110) 간에 캘리브레이션을 수행할 수 있다. 예를 들어, 프로젝션 수행 서버(100)는 확장현실 서비스 제공 시스템이 최초로 구축되거나 스크린(130), 프로젝터(120) 및 깊이 카메라(110) 중 적어도 하나가 교체되거나 위치가 변경될 경우, 프로젝터(120) 및 깊이 카메라(110) 간에 캘리브레이션을 수행할 수 있다.
프로젝션 수행 서버(100)는 프로젝터(120)로부터 스크린(130)으로 투사된 기설정된 패턴에 대한 패턴 영상을 깊이 카메라(110)로부터 수신하면, 수신된 패턴 영상에 대한 3차원 좌표를 기반으로 프로젝터(120) 및 깊이 카메라(110) 간에 캘리브레이션을 수행할 수 있다.
프로젝션 수행 서버(100)는 깊이 카메라(110)로부터 수신된 스크린(130) 상에서 이동하는 실제 객체(140)에 대한 깊이 영상 및 색상 영상에 기초하여 실제 객체(140)의 특징값을 추출하고, 추출된 특징값을 트래킹할 수 있다. 여기서, 실제 객체(140)의 특징값은 예를 들어, 2차원 영상에서 실제 객체(140)에 대한 픽셀별 이동 위치좌표, 자세 위치좌표 등을 포함할 수 있다.
예를 들어, 프로젝션 수행 서버(100)는 제 1 시점(T 시점)에 해당하는 실제 객체(140)에 대한 깊이 영상 및 색상 영상의 프레임으로부터 실제 객체(140)의 제 1 특징값을 추출하고, 제 1 시점의 이전 시점인 제 2 시점(T-1 시점)에 해당하는 실제 객체(140)에 대한 깊이 영상 및 색상 영상의 프레임으로부터 실제 객체(140)의 제 2 특징값을 추출할 수 있다. 프로젝션 수행 서버(100)는 추출된 제 1 특징값 및 추출된 제 2 특징값을 이용하여 실제 객체의 움직임을 트래킹할 수 있다.
프로젝션 수행 서버(100)는 트래킹된 실제 객체(140)에 대한 특징값에 기초하여 깊이 카메라(110)의 관계 행렬을 추정할 수 있다.
프로젝션 수행 서버(100)는 추정된 관계 행렬에 기초하여 실제 객체(140)에 대한 변위값을 추정할 수 있다.
프로젝션 수행 서버(100)는 프로젝터의 프러스텀(Frustum) 영역 내에서 이동하는 가상 객체(150)에 실제 객체(140)에 대한 변위값을 적용한 후, 프로젝터(120)로부터 스크린(130) 및 스크린(130) 상에서 이동하는 실제 객체(140)로 실제 객체(140)에 대한 변위값이 적용된 가상 객체(150)에 대한 영상을 투사시키도록 프로젝터(120)를 제어할 수 있다.
이를 통해, 본 발명은 실제 객체(140)의 움직임(이동 또는 회전)에 대한 정보가 반영된 가상 객체(150)에 대한 영상을 실제 객체(140)를 향해서 프로젝션함으로써 실제 객체(140)와 가상 객체(150) 간의 컨텐츠 인터랙션이 가능하도록 구현할 수 있어 사용자로 하여금 더욱 몰입감있게 확장현실 서비스를 체험할 수 있도록 한다.
이하에서는 도 2의 확장현실 서비스 제공 시스템의 각 구성요소의 동작에 대해 보다 구체적으로 설명한다. 도 3은 본 발명의 일 실시예에 따른, 도 2에 도시된 프로젝션 수행 서버(100)의 블록도이다.
도 3을 참조하면, 프로젝션 수행 서버(100)는 생성부(300), 수신부(310), 트래킹부(320), 파라미터 추정부(330), 변위값 추정부(340), 적용부(350) 및 투사부(360)를 포함할 수 있다. 다만, 도 3에 도시된 프로젝션 수행 서버(100)는 본 발명의 하나의 구현 예에 불과하며, 도 3에 도시된 구성요소들을 기초로 하여 여러 가지 변형이 가능하다.
프로젝터(120) 및 깊이 카메라(110) 간의 캘리브레이션의 수행 방법은 도 4를 참조하여 설명하기로 한다.
도 4를 참조하면, 생성부(300)는 프로젝터(120)로부터 스크린(130)으로 투사된 기설정된 패턴(400)에 대한 패턴 영상을 깊이 카메라(110)로부터 수신하고, 수신된 패턴 영상에 대해 3차원 좌표를 생성할 수 있다. 여기서, 깊이 카메라(110)는 스크린(130)에 투사된 기설정된 패턴(400)을 인식 및 촬영한 후, 촬영된 기설정된 패턴(400)에 대한 패턴 영상을 프로젝션 수행 서버(100)에게 전송하게 된다. 여기서, 프로젝터(120)에 의해 스크린(130)으로 투사된 기설정된 패턴(400)은 실제 규격화된 크기를 갖지 않아도 되며, 프로젝터(120)의 프러스텀 영역(410)의 생성에 필요한 엣지 정보를 탐색하기 위해 이용될 수 있다.
생성부(300)는 패턴 영상으로부터 복수의 모서리에 대응하는 엣지 정보를 추출하고, 추출된 엣지 정보에 기초하여 3차원 좌표를 생성할 수 있다.
생성부(300)는 추출된 엣지 정보에 기초하여 투사 영역에 대한 각 모서리에 대응하는 3차원 좌표(X, Y, Z)를 [수학식 1]을 통하여 계산할 수 있다. 여기서, 3차원 좌표(X, Y, Z) 중, Z좌표값은 깊이 카메라(110)와 스크린(130) 간의 거리로부터 도출될 수 있다. X좌표값 및 Y좌표값은 도출된 Z좌표값을 [수학식 1]에 대입하면 계산될 수 있다.
[수학식 1]
Figure pat00001
Figure pat00002
여기서, x 및 y는 패턴 영상의 영상 좌표이고, FOVx 및 FOVy 는 x축 및 y축의 시야각(Field of View)이고, width 및 height는 깊이 카메라(110)의 영상 크기이다.
생성부(300)는 생성된 사영 영역에 대한 복수의 모서리 각각에 대응하는 3차원 좌표에 기초하여 가상 객체(150) (즉, 3D 실감 영상) 가 투영될 프로젝터(120)의 프러스텀 영역(410)을 생성할 수 있다.
생성부(300)는 [수학식 2]를 통해 복수의 모서리 각각에 대응하는 3차원 좌표를 이용하여 근 평면(Near Plane)에 해당하는 상 평면(top near), 하 평면(bottom near), 좌 평면(left near), 우 평면(right near)를 계산하여 프로젝터(120)의 프러스텀 영역(410)을 생성할 수 있다.
[수학식 2]
Figure pat00003
Figure pat00004
Figure pat00005
Figure pat00006
Figure pat00007
Figure pat00008
,
Figure pat00009
생성부(300)는 생성된 프로젝터(120)의 프러스텀 영역(410)에 맞추어 프로젝터(120) 및 깊이 카메라(110) 간의 캘리브레이션을 수행할 수 있다. 여기서, 프로젝터(120)의 프러스텀 영역(410)은 확장현실 서비스를 3차원적으로 제공할 수 있는 공간이 될 수 있다.
이하에서는, 실제 객체(140)의 트래킹을 통해 실제 객체(140)에 대한 정보를 획득하고, 이를 이용하여 사용자 인터랙션 및 가상 객체(150)에 대한 영상을 투사하는 방법에 대하여 설명하기로 한다.
수신부(310)는 스크린(130)을 촬영하는 깊이 카메라(110)로부터 스크린(130) 상에서 이동하는 실제 객체(140)에 대한 깊이 영상 및 색상 영상을 실시간으로 수신할 수 있다.
트래킹부(320)는 실시간으로 수신된 깊이 영상으로부터 실제 객체(140)를 탐색할 수 있다. 예를 들어, 트래킹부(320)는 수신된 깊이 영상을 엣지 바이너리 영상으로 변환한 후, 엣지 바이너리 영상을 통해 실제 객체(140)의 엣지 정보를 추출할 수 있다. 트래킹부(320)는 추출된 실제 객체(140)의 엣지 정보에 기반하여 실제 객체(140)를 트래킹하고, 실제 객체(140)의 자세 정보를 추정할 수 있다. 여기서, 실제 객체(140)의 자세 정보를 추정하는 이유는 가상 객체(150)에 대한 영상의 프로젝션을 위해 실제 객체(140)의 위치 및 회전에 해당하는 6차원 정보가 필요하기 때문이다. 예를 들어, 트래킹부(320)는 제 1 시점의 이전 시점인 제 2 시점에 해당하는 엣지 바이너리 영상과 제 1 시점에 해당하는 엣지 바이너리 영상을 비교하여 실제 객체(140)의 이동 위치 및 자세 정보에 대한 변화를 트래킹할 수 있다. 예를 들어, 트래킹부(320)는 제 1 시점에 해당하는 엣지 바이너리 영상으로부터 실제 객체(140)에 대한 엣지 키포인트를 추출하고, 제 2 시점에 해당하는 엣지 바이너리 영상으로부터 실제 객체(140)에 대한 엣지 키포인트를 추출한 후, 각 추출된 엣지 키포인트를 비교하여 실제 객체(140)의 이동 위치 및 자세 정보에 대한 변화 정도를 계산할 수 있다.
트래킹부(320)는 깊이 카메라(110)로부터 수신된 깊이 영상 및 색상 영상에 기초하여 실제 객체(140)의 특징값을 추출하고, 추출된 특징값을 트래킹할 수 있다.
트래킹부(320)는 깊이 영상으로부터 실제 객체(140)의 엣지 정보를 모니터링하고, 색상 영상으로부터 실제 객체(140)의 특징값을 추출하고, 추출된 특징값을 트래킹할 수 있다. 예를 들어, 트래킹부(320)는 엣지 필터링을 통해 깊이 영상으로부터 실제 객체(140)의 엣지 정보를 필터링할 수 있다. 다른 예로, 색상 영상으로부터 필터링된 실제 객체(140)의 엣지 정보는 깊이 영상으로부터 모니터링된 실제 객체(140)의 엣지 정보에 대한 2D 엣지 좌표의 보정에 사용될 수도 있다. 이는, 깊이 영상과 함께 색상 영상을 이용하면, 깊이 영상의 해상도가 높아지기 때문에 깊이 영상으로부터 추출된 엣지 정보가 보완될 수 있다.
트래킹부(320)는 모니터링된 실제 객체(140)의 엣지 정보 및 트래킹된 실제 객체(140)의 특징값을 비교하여 트래킹된 실제 객체(140)의 특징값을 검증할 수 있다.
구체적으로, 트래킹부(320)는 제 1 시점(T 시점)에 해당하는 색상 영상의 프레임으로부터 실제 객체(140)의 제 1 특징값을 추출하고, 제 1 시점의 이전 시점인 제 2 시점(T-1 시점)에 해당하는 색상 영상의 프레임으로부터 실제 객체(140)의 제 2 특징값을 추출할 수 있다. 트래킹부(320)는 추출된 제 1 특징값 및 추출된 제 2 특징값을 이용하여 실제 객체(140)의 움직임을 트래킹할 수 있다.
트래킹부(320)는 제 1 시점에 해당하는 색상 영상에서의 실제 객체(140)의 제 1 특징값 및 제 2 시점에 해당하는 색상 영상에서의 실제 객체(140)의 제 2 특징값에 기초한 산출된 트래킹 결과와, 제 1 시점에 해당하는 깊이 영상의 실제 객체(140)의 엣지 정보와 제 2 시점에 해당하는 깊이 영상의 실제 객체(140)의 엣지 정보에 기초하여 산출된 모니터링 결과를 비교하여 트래킹 결과에 대한 오류를 확인하고, 확인된 오류를 보완할 수 있다. 이를 통해, 가상 객체(150)가 실제 객체(140)의 트래킹에 따라가지 못함에 따라 실제 객체(140)와 가상 객체(150) 간의 인터랙션이 불가능한 상황이 발생할 수 있는 오류를 사전에 막을 수 있다. 이처럼, 본 발명은 실제 객체(140)를 향해 가상 객체(150)에 대한 영상을 투영시킬 때, 실제 객체(140)의 위치 이동 및 회전 이동에 따라 가상 객체(150)에 대한 영상도 실제 객체(140)를 따라가도록 함으로써 실제 객체(140)와 가상 객체(150) 간의 인터랙션이 가능하게 되어 더욱 몰입감 있는 확장현실 서비스의 체험을 제공할 수 있다.
파라미터 추정부(330)는 트래킹된 특징값에 기초하여 깊이 카메라(110)의 관계 행렬을 추정할 수 있다. 일반적인 관계 행렬 추정은 전체 영상에 대한 특징을 활용하기 때문에 실제 객체에 대한 자세 정보를 획득하기 어려우나, 본 발명은 색상 영상으로부터 트래킹된 실제 객체(140)의 특징값을 이용함으로써 관계 행렬로부터 실제 객체(140)의 자세 정보를 추정할 수 있다.
파라미터 추정부(330)는 제 1 시점에 해당하는 색상 영상에서의 실제 객체(140)의 제 1 특징값 및 제 2 시점에 해당하는 색상 영상에서의 실제 객체(140)의 제 2 특징값에 대한 행렬 연산을 통해 깊이 카메라(110)의 관계 행렬을 추정할 수 있다.
예를 들어, 파라미터 추정부(330)는 제 1 시점에 해당하는 색상 영상으로부터 트래킹된 실제 객체(140)의 제 1 특징값 및 제 2 시점에 해당하는 색상 영상으로부터 트래킹된 실제 객체(140)의 제 2 특징값을 카메라 모델식(수학식 3)에 대입하여 깊이 카메라(110)의 관계 행렬을 추정할 수 있다.
[수학식 3]
Figure pat00010
여기서,
Figure pat00011
는 제 1 시점의 이전 시점인 제 2 시점에 해당하는 실제 객체(140)의 제 2 특징값이고,
Figure pat00012
는 제 1 시점에 해당하는 실제 객체(140)의 제 1 특징값이고, E는 각 특징값 간의 관계성을 나타내는 깊이 카메라(110)의 관계 행렬을 나타낸 행렬이고, [수학식 4]를 통해 도출된다.
[수학식 4]
Figure pat00013
여기서, U는
Figure pat00014
이고, V는
Figure pat00015
에 대한 고유 벡터이다.
변위값 추정부(340)는 추정된 관계 행렬에 기초하여 실제 객체(140)에 대한 변위값를 추정할 수 있다. 여기서, 실제 객체(140)에 대한 변위값은 실제 객체(140)의 위치 및 자세 정보(3차원 좌표 및 오일러 각도를 포함)에 대응될 수 있다. 예를 들어, 실제 객체(140)에 대한 변위값은 실제 객체(140)에 대하여 3차원 직각　좌표계에서 X축 중심의 좌우 회전(roll), Y축 중심의 앞뒤 회전(pitch), Z축 중심의 위아래 회전(yaw) 동작과 앞뒤(forward/back,　surge), 좌우(left/right,　sway), 위아래(up/down,　heave) 병진 동작(translational　motion)을 포함하는 6DoF(Degrees Of Freedm)값을 포함할 수 있다.
구체적으로, 변위값 추정부(340)는 추정된 관계 행렬에 대한 특이값 분해를 통해 깊이 카메라(110)에 대한 회전 행렬 및 이동 행렬을 추정할 수 있다.
변위값 추정부(340)는 [수학식 4]의 관계 행렬을 나타낸 행렬 E에 대하여 특이값 분해를 수행하여 행렬 U 및 행렬 V를 도출하고, 도출된 행렬 U 및 행렬 V을 [수학식 5]에 대입하여 깊이 카메라(110)에 대한 회전 행렬 및 이동 행렬을 추정할 수 있다. 여기서, 깊이 카메라(110)에 대한 회전 행렬 및 이동 행렬은 깊이 카메라(110)에 대한 외부 파라미터에 해당할 수 있다.
[수학식 5]
Figure pat00016
Figure pat00017
여기서, R은 깊이 카메라(110)에 대한 회전 행렬이고, [t]는 깊이 카메라(110)에 대한 이동행렬이다.
변위값 추정부(340)는 도출된 깊이 카메라(110)에 대한 회전 행렬 및 이동 행렬을 역변환하여 실제 객체(140)의 회전 행렬 및 이동 행렬을 역추정할 수 있다.
변위값 추정부(340)는 [수학식 5]로부터 획득된 깊이 카메라(110)에 대한 회전 행렬 및 이동 행렬을 [수학식 6]과 같이 역변환함으로써 역변환된 회전행렬 및 이동행렬을 실제 객체(140)에 대한 변위값으로 사용할 수 있다.
[수학식 6]
Figure pat00018
Figure pat00019
적용부(350)는 프로젝터(120)의 프러스텀(Frustum) 영역 내에서 이동하는 가상 객체(150)(프로젝터(120)에 의해 투사된 영상에 포함된 가상 객체)에 실체 객체(140)에 대한 변위값을 적용할 수 있다.
적용부(350)는 역추정된 실제 객체(140)의 회전 행렬 및 이동 행렬을 가상 객체(150)에 적용할 수 있다. 예를 들어, 적용부(350)는 제 1 시점에 얻은 실체 객체(140)에 대한 변위값을 제 1 시점(T 시점)의 이후 시점인 제 3 시점(T+1 시점)의 영상 프레임에 포함된 가상 객체(150)에 적용할 수 있다.
투사부(360)는 프로젝터(120)로부터 스크린(130) 및 스크린(130) 상에서 이동하는 실체 객체(140)를 향해 실체 객체(140)에 대한 변위값이 적용된 가상 객체(150)에 대한 영상을 투사할 수 있다.
본 발명은 깊이 카메라(110), 프로젝터(120) 및 프로젝터(120)의 프러스텀 영역을 깊이 카메라 좌표계 기준의 가상 공간에 배치하고, 실제 객체(140)에 대한 깊이 카메라(110)의 깊이 영상 및 색상 영상으로부터 획득된 실제 객체(140)에 대한 변위값을 가상 객체(150)에 적용시킴으로써 기존의 2차원 공간에서 이루어졌던 확장현실 서비스를 3차원 공간에서 가능하도록 구현할 수 있고, 이를 통해, 더욱 몰입감있는 실제 객체 기반의 확장현실 서비스를 제공할 수 있다.
한편, 당업자라면, 생성부(300), 수신부(310), 트래킹부(320), 파라미터 추정부(330), 변위값 추정부(340), 적용부(350) 및 투사부(360) 각각이 분리되어 구현되거나, 이 중 하나 이상이 통합되어 구현될 수 있음을 충분히 이해할 것이다.
도 5a 내지 5b는 종래의 깊이 영상을 이용한 인터랙션 방법 및 본 발명의 깊이 영상을 이용한 인터랙션 방법을 비교설명하기 위한 도면이다.
도 5a를 참조하면, 종래에는 깊이 카메라(500)로부터 수신된 오브젝트(502)에 대한 깊이 영상을 이용하여 깊이 변위 기반의 오브젝트(502)에 대한 2차원 영상좌표를 획득하고, 획득된 오브젝트(502)에 대한 2차원 영상좌표에 기초하여 프로젝터(504)로부터 해당 오브젝트(502)로 실감 영상을 투영함으로써 2차원적인 인터랙션을 구현했었다.
도 5b를 참조하면, 본 발명은 깊이 카메라(110)로부터 수신된 실제 객체(506)에 대한 깊이 영상 및 색상 영상을 이용하여 이동하는 실제 객체(506)를 트래킹하고, 제 1 시점에 해당하는 영상 및 제 1 시점의 이전 시점인 제 2 시점에 해당하는 영상 간의 실제 객체(506)의 특징값을 추정하고, 추정된 실제 객체(506)의 특징값에 따른 깊이 카메라(110)의 관계 행렬을 이용하여 실제 객체(506)에 대한 변위값(6DoF)을 추정한 후, 실제 객체(506)에 대한 변위값을 가상 객체에 적용시켜 3차원적으로 실제 객체(506)와 가상 객체 간의 인터랙션이 가능하도록 구현할 수 있다.
도 6은 본 발명의 일 실시예에 따른, 캘리브레이션 수행 방법을 나타낸 흐름도이다.
도 6을 참조하면, 단계 S601에서 프로젝션 수행 서버(100)는 프로젝터(120)로부터 스크린(130)으로 투사된 기설정된 패턴에 대한 패턴 영상을 깊이 카메라(110)로부터 수신할 수 있다.
단계 S603에서 프로젝션 수행 서버(100)는 패턴 영상으로부터 복수의 모서리 각각에 대응하는 엣지 정보를 추출할 수 있다.
단계 S605에서 프로젝션 수행 서버(100)는 추출된 복수의 모서리 각각에 대응하는 엣지 정보에 기초하여 각 모서리에 대응하는 3차원 좌표를 생성할 수 있다.
단계 S607에서 프로젝션 수행 서버(100)는 복수의 모서리 각각에 대응하는 3차원 좌표에 기초하여 가상 객체(150)가 투영될 프로젝터(120)의 프러스텀 영역을 생성할 수 있다.
단계 S609에서 프로젝션 수행 서버(100)는 생성된 프러스텀 영역에 맞추어 프로젝터(120) 및 깊이 카메라(110) 간의 캘리브레이션을 수행할 수 있다.
상술한 설명에서, 단계 S601 내지 S609는 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
도 7은 본 발명의 일 실시예에 따른, 프로젝션을 수행하는 방법을 나타낸 흐름도이다.
도 7을 참조하면, 단계 S701에서 프로젝션 수행 서버(100)는 스크린(130)을 촬영하는 깊이 카메라(110)로부터 스크린(130) 상에서 이동하는 실제 객체(140)에 대한 깊이 영상 및 색상 영상을 수신할 수 있다.
단계 S703에서 프로젝션 수행 서버(100)는 수신된 실제 객체(140)에 대한 깊이 영상 및 색상 영상에 기초하여 실제 객체(140)의 특징값(예컨대, 실제 객체(140)의 이동 위치좌표, 자세 위치좌표 등)을 추출하고, 추출된 특징값을 트래킹할 수 있다.
단계 S705에서 프로젝션 수행 서버(100)는 트래킹된 실제 객체(140)의 특징값에 기초하여 깊이 카메라(110)의 관계 행렬을 추정할 수 있다.
단계 S707에서 프로젝션 수행 서버(100)는 추정된 관계 행렬에 기초하여 실제 객체(140)에 대한 변위값을 추정할 수 있다.
단계 S709에서 프로젝션 수행 서버(100)는 프로젝터(120)의 프러스텀 영역 내에서 이동하는 가상 객체(150)에 실제 객체(140)에 대한 변위값을 적용할 수 있다.
단계 S711에서 프로젝션 수행 서버(100)는 프로젝터(120)로부터 스크린(130) 및 스크린(130) 상에서 이동하는 실제 객체(140)로 실제 객체(140)에 대한 변위값이 적용된 가상 객체(150)에 대한 영상을 투사할 수 있다.
상술한 설명에서, 단계 S701 내지 S711은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 프로젝션 수행 서버
110: 깊이 카메라
120: 프로젝터
130: 스크린
140: 실제 객체
300: 생성부
310: 수신부
320: 트래킹부
330: 파라미터 추정부
340: 변위값 추정부
350: 적용부
360: 투사부

Claims (19)

  1. 프로젝션을 수행하는 서버에 있어서,
    스크린을 촬영하는 깊이 카메라로부터 상기 스크린 상에서 이동하는 실제 객체에 대한 깊이 영상 및 색상 영상을 수신하는 수신부;
    상기 수신된 깊이 영상 및 색상 영상에 기초하여 상기 실제 객체의 특징값을 추출하고, 상기 추출된 특징값을 트래킹하는 트래킹부;
    상기 트래킹된 특징값에 기초하여 상기 깊이 카메라의 관계 행렬을 추정하는 파라미터 추정부;
    상기 추정된 관계 행렬에 기초하여 상기 실제 객체에 대한 변위값을 추정하는 변위값 추정부;
    프로젝터의 프러스텀(Frustum) 영역 내에서 이동하는 가상 객체에 상기 추정된 변위값을 적용하는 적용부; 및
    상기 프로젝터로부터 상기 스크린 및 상기 스크린 상에서 이동하는 실제 객체로 상기 변위값이 적용된 가상 객체에 대한 영상을 투사하는 투사부
    를 포함하는 것인, 프로젝션 수행 서버.
  2. 제 1 항에 있어서,
    상기 트래킹부는
    상기 깊이 영상으로부터 상기 실제 객체의 엣지 정보를 모니터링하고, 상기 색상 영상으로부터 상기 실제 객체의 특징값을 트래킹하고, 상기 모니터링된 엣지 정보 및 상기 트래킹된 실제 객체의 특징값을 비교하여 상기 트래킹된 실제 객체의 특징값을 검증하는 것인, 프로젝션 수행 서버.
  3. 제 2 항에 있어서,
    상기 트래킹부는 제 1 시점에 해당하는 상기 색상 영상의 프레임으로부터 상기 실제 객체의 제 1 특징값을 추출하고, 상기 제 1 시점의 이전 시점인 제 2 시점에 해당하는 상기 색상 영상의 프레임으로부터 상기 실제 객체의 제 2 특징값을 추출하고, 상기 추출된 제 1 특징값 및 상기 추출된 제 2 특징값을 이용하여 상기 실제 객체의 움직임을 트래킹하는 것인, 프로젝션 수행 서버.
  4. 제 3 항에 있어서,
    상기 파라미터 추정부는 상기 제 1 특징값 및 상기 제 2 특징값에 대한 행렬 연산을 통해 상기 깊이 카메라의 관계 행렬을 추정하는 것인, 프로젝션 수행 서버.
  5. 제 4 항에 있어서,
    상기 변위값 추정부는 상기 추정된 관계 행렬에 대한 특이값 분해를 통해 상기 깊이 카메라에 대한 회전 행렬 및 이동 행렬을 추정하고, 상기 추정된 깊이 카메라에 대한 회전 행렬 및 이동 행렬을 역변환하여 상기 실제 객체의 회전 행렬 및 이동 행렬을 역추정하는 것인, 프로젝션 수행 서버.
  6. 제 5 항에 있어서,
    상기 적용부는 상기 역추정된 실제 객체의 회전 행렬 및 이동 행렬을 상기 가상 객체에 적용하는 것인, 프로젝션 수행 서버.
  7. 제 1 항에 있어서,
    상기 프로젝터로부터 상기 스크린으로 투사된 기설정된 패턴에 대한 패턴 영상을 상기 깊이 카메라로부터 수신하고, 상기 수신된 패턴 영상에 대해 3차원 좌표를 생성하는 생성부
    를 더 포함하는 것인, 프로젝션 수행 서버.
  8. 제 7 항에 있어서,
    상기 생성부는 상기 패턴 영상으로부터 복수의 모서리에 대응하는 엣지 정보를 추출하고, 상기 추출된 엣지 정보에 기초하여 상기 3차원 좌표를 생성하는 것인, 프로젝션 수행 서버.
  9. 제 8 항에 있어서,
    상기 생성부는 상기 생성된 복수의 모서리 각각에 대응하는 3차원 좌표에 기초하여 상기 가상 객체가 투영될 상기 프러스텀 영역을 생성하여 상기 프로젝터 및 상기 깊이 카메라 간의 캘리브레이션을 수행하는 것인, 프로젝션 수행 서버.
  10. 프로젝션 수행 서버에 의해 프로젝션을 수행하는 방법에 있어서,
    스크린을 촬영하는 깊이 카메라로부터 상기 스크린 상에서 이동하는 실제 객체에 대한 깊이 영상 및 색상 영상을 수신하는 단계;
    상기 수신된 깊이 영상 및 색상 영상에 기초하여 상기 실제 객체의 특징값을 추출하고, 상기 추출된 특징값을 트래킹하는 단계;
    상기 트래킹된 특징값에 기초하여 상기 깊이 카메라의 관계 행렬을 추정하는 단계;
    상기 추정된 관계 행렬에 기초하여 상기 실제 객체에 대한 변위값를 추정하는 단계;
    프로젝터의 프러스텀(Frustum) 영역 내에서 이동하는 가상 객체에 상기 추정된 변위값을 적용하는 단계; 및
    상기 프로젝터로부터 상기 스크린 및 상기 스크린 상에서 이동하는 실제 객체로 상기 변위값이 적용된 가상 객체에 대한 영상을 투사하는 단계
    를 포함하는 것인, 프로젝션 수행 방법.
  11. 제 10 항에 있어서,
    상기 실제 객체의 특징값을 트래킹하는 단계는
    상기 깊이 영상으로부터 상기 실제 객체의 엣지 정보를 모니터링하여 상기 색상 영상으로부터 상기 실제 객체의 특징값을 트래킹하는 단계 및
    상기 모니터링된 엣지 정보 및 상기 트래킹된 실제 객체의 특징값을 비교하여 상기 트래킹된 실제 객체의 특징값을 검증하는 단계를 포함하는 것인, 프로젝션 수행 방법.
  12. 제 11 항에 있어서,
    상기 실제 객체의 특징값을 트래킹하는 단계는
    제 1 시점에 해당하는 상기 색상 영상의 프레임으로부터 상기 실제 객체의 제 1 특징값을 추출하는 단계;
    상기 제 1 시점의 이전 시점인 제 2 시점에 해당하는 상기 색상 영상의 프레임으로부터 상기 실제 객체의 제 2 특징값을 추출하는 단계;
    상기 추출된 제 1 특징값 및 상기 추출된 제 2 특징값을 이용하여 상기 실제 객체의 움직임을 트래킹하는 단계를 포함하는 것인, 프로젝션 수행 방법.
  13. 제 12 항에 있어서,
    상기 관계 행렬을 추정하는 단계는
    상기 제 1 특징값 및 상기 제 2 특징값에 대한 행렬 연산을 통해 상기 깊이 카메라의 관계 행렬을 추정하는 단계를 포함하는 것인, 프로젝션 수행 방법.
  14. 제 13 항에 있어서,
    상기 실제 객체에 대한 변위값를 추정하는 단계는
    상기 추정된 관계 행렬에 대한 특이값 분해를 통해 상기 깊이 카메라에 대한 회전 행렬 및 이동 행렬을 추정하는 단계 및
    상기 추정된 깊이 카메라에 대한 회전 행렬 및 이동 행렬을 역변환하여 상기 실제 객체의 회전 행렬 및 이동 행렬을 역추정하는 단계를 포함하는 것인, 프로젝션 수행 방법.
  15. 제 14 항에 있어서,
    상기 추정된 변위값을 적용하는 단계는
    상기 역추정된 실제 객체의 회전 행렬 및 이동 행렬을 상기 가상 객체에 적용하는 단계를 포함하는 것인, 프로젝션 수행 방법.
  16. 제 10 항에 있어서,
    상기 프로젝터로부터 상기 스크린으로 투사된 기설정된 패턴에 대한 패턴 영상을 상기 깊이 카메라로부터 수신하는 단계 및
    상기 수신된 패턴 영상에 대해 3차원 좌표를 생성하는 단계를 더 포함하는 것인, 프로젝션 수행 방법.
  17. 제 16 항에 있어서,
    상기 수신된 패턴 영상에 대해 3차원 좌표를 생성하는 단계는
    상기 패턴 영상으로부터 복수의 모서리에 대응하는 엣지 정보를 추출하는 단계; 및
    상기 추출된 엣지 정보에 기초하여 상기 3차원 좌표를 생성하는 단계를 포함하는 것인, 프로젝션 수행 방법.
  18. 제 17 항에 있어서,
    상기 생성된 복수의 모서리 각각에 대응하는 3차원 좌표에 기초하여 상기 가상 객체가 투영될 상기 프러스텀 영역을 생성하여 상기 프로젝터 및 상기 깊이 카메라 간의 캘리브레이션을 수행하는 단계를 포함하는 것인, 프로젝션 수행 방법.
  19. 프로젝션 수행 서버에 의해 프로젝션을 수행하는 명령어들의 시퀀스를 포함하는 매체에 저장된 컴퓨터 프로그램에 있어서,
    상기 컴퓨터 프로그램은 컴퓨팅 장치에 의해 실행될 경우,
    스크린을 촬영하는 깊이 카메라로부터 상기 스크린 상에서 이동하는 실제 객체에 대한 깊이 영상 및 색상 영상을 수신하고,
    상기 수신된 깊이 영상 및 색상 영상에 기초하여 상기 실제 객체의 특징값을 추출하고, 상기 추출된 특징값을 트래킹하고,
    상기 트래킹된 특징값에 기초하여 상기 깊이 카메라의 관계 행렬을 추정하고,
    상기 추정된 관계 행렬에 기초하여 상기 실제 객체에 대한 변위값를 추정하고,
    프로젝터의 프러스텀(Frustum) 영역 내에서 이동하는 가상 객체에 상기 추정된 변위값을 적용하고,
    상기 프로젝터로부터 상기 스크린 및 상기 스크린 상에서 이동하는 실제 객체로 상기 변위값이 적용된 가상 객체에 대한 영상을 투사하도록 하는 명령어들의 시퀀스를 포함하는, 매체에 저장된 컴퓨터 프로그램.
KR1020190094279A 2019-08-02 2019-08-02 프로젝션을 수행하는 서버, 방법 및 컴퓨터 프로그램 KR20210015436A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190094279A KR20210015436A (ko) 2019-08-02 2019-08-02 프로젝션을 수행하는 서버, 방법 및 컴퓨터 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190094279A KR20210015436A (ko) 2019-08-02 2019-08-02 프로젝션을 수행하는 서버, 방법 및 컴퓨터 프로그램

Publications (1)

Publication Number Publication Date
KR20210015436A true KR20210015436A (ko) 2021-02-10

Family

ID=74561362

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190094279A KR20210015436A (ko) 2019-08-02 2019-08-02 프로젝션을 수행하는 서버, 방법 및 컴퓨터 프로그램

Country Status (1)

Country Link
KR (1) KR20210015436A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024064304A1 (en) * 2022-09-21 2024-03-28 Lucasfilm Entertainment Company Ltd. LLC Latency reduction for immersive content production systems

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101691880B1 (ko) 2015-09-23 2017-01-03 (주) 이즈커뮤니케이션즈 자동 캘리브레이션 기능이 구비된 인터액티브 시스템 및 인터액티브 시스템의 자동 캘리브레이션 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101691880B1 (ko) 2015-09-23 2017-01-03 (주) 이즈커뮤니케이션즈 자동 캘리브레이션 기능이 구비된 인터액티브 시스템 및 인터액티브 시스템의 자동 캘리브레이션 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024064304A1 (en) * 2022-09-21 2024-03-28 Lucasfilm Entertainment Company Ltd. LLC Latency reduction for immersive content production systems

Similar Documents

Publication Publication Date Title
EP3786890B1 (en) Method and apparatus for determining pose of image capture device, and storage medium therefor
US9886774B2 (en) Photogrammetric methods and devices related thereto
CN109791608B (zh) 映射摘要和本地化
US11315328B2 (en) Systems and methods of rendering real world objects using depth information
US9269003B2 (en) Diminished and mediated reality effects from reconstruction
JP2019536170A (ja) 仮想的に拡張された視覚的同時位置特定及びマッピングのシステム及び方法
US8441518B2 (en) Imaging apparatus, imaging control method, and recording medium
US20150243035A1 (en) Method and device for determining a transformation between an image coordinate system and an object coordinate system associated with an object of interest
US10521919B2 (en) Information processing device and information processing method for applying an optimization model
KR20130058424A (ko) 특징점의 삼차원 위치 계산 장치 및 방법
US8531505B2 (en) Imaging parameter acquisition apparatus, imaging parameter acquisition method and storage medium
CN112083403B (zh) 用于虚拟场景的定位追踪误差校正方法及系统
Lan et al. Development of a virtual reality teleconference system using distributed depth sensors
JP2021523455A (ja) 顔に対する射影歪み補正
CN104040593A (zh) 用于3d模型变形的方法和装置
CN115349140A (zh) 基于多种特征类型的有效定位
Wang et al. A novel binocular vision system for accurate 3-D reconstruction in large-scale scene based on improved calibration and stereo matching methods
KR20210015436A (ko) 프로젝션을 수행하는 서버, 방법 및 컴퓨터 프로그램
CN115861145B (zh) 一种基于机器视觉的图像处理方法
CN109644263B (zh) 第一智能设备及其连接方法以及具有存储功能的装置
US11417063B2 (en) Determining a three-dimensional representation of a scene
KR20150040194A (ko) 하이브리드 카메라에 기초한 동공 추적을 이용한 홀로그램 표시 장치 및 방법
KR20220020103A (ko) 실감형 미디어 컨텐츠를 제공하는 서버, 방법 및 컴퓨터 프로그램
KR20230082949A (ko) 동적 프로젝션을 수행하는 장치
KR20230021904A (ko) 2차원 영상을 이용하여 3차원 모델을 생성하는 3차원 모델 생성 장치, 방법 및 컴퓨터 프로그램

Legal Events

Date Code Title Description
A201 Request for examination