KR20220125873A - Ar 프로젝션 맵핑 시스템 - Google Patents

Ar 프로젝션 맵핑 시스템 Download PDF

Info

Publication number
KR20220125873A
KR20220125873A KR1020210029113A KR20210029113A KR20220125873A KR 20220125873 A KR20220125873 A KR 20220125873A KR 1020210029113 A KR1020210029113 A KR 1020210029113A KR 20210029113 A KR20210029113 A KR 20210029113A KR 20220125873 A KR20220125873 A KR 20220125873A
Authority
KR
South Korea
Prior art keywords
projection
space
image
projector
mapping
Prior art date
Application number
KR1020210029113A
Other languages
English (en)
Inventor
김제석
Original Assignee
(주)네오인터넷
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)네오인터넷 filed Critical (주)네오인터넷
Priority to KR1020210029113A priority Critical patent/KR20220125873A/ko
Publication of KR20220125873A publication Critical patent/KR20220125873A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3147—Multi-projection systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/145—Housing details, e.g. position adjustments thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut

Abstract

본 발명은 바닥면, 정면, 좌측면, 우측면을 포함하는 프로젝션 공간에 있어서, 상기 프로젝션 공간에 설치된 하나 이상의 오브젝트와, 상기 오브젝트의 입체 형상을 스캐닝하는 3D 스캐너와, 상기 3D 스캐너를 통해 얻어진 오브젝트의 입체 형상에 대해 프로젝션 맵핑 이펙트 또는 영상을 투사하는 제1프로젝터와, 상기 프로젝션 공간의 정면에 프로젝션 맵핑 영상을 투사하는 제2프로젝터와, 상기 프로젝션 공간의 좌측면 또는 우측면 중 어느 한 면에 프로젝션 맵핑 영상을 투사하는 제3프로젝터와, 상기 프로젝션 공간의 좌측면 또는 우측면 중 영상이 투사되지 않는 어느 한 면에 설치된 거울면, 및 상기 오브젝트의 입체 형상에 투사되는 이펙트 또는 영상을 생성하고 제어하는 영상 제어부를 포함하는 AR 프로젝션 맵핑 시스템을 제공한다.

Description

AR 프로젝션 맵핑 시스템 {AR projection mapping system}
본 발명은 AR 프로젝션 맵핑 시스템에 관한 것으로서, 상세하게는 실내 또는 실외의 특정 공간에 마련되며 오브젝트와 투사 벽면을 선택적으로 제어하여 프로젝션 영상을 투사하는 새로운 증강현실 프로젝션 매칭 시스템을 제안한다.
프로젝션 맵핑은 대상물의 표면에 빛으로 이루어진 영상을 투사하여 변화를 줌으로써, 현실에 존재하는 대상이 다른 성격을 가진 것처럼 보이도록 하는 기술이다. 프로젝션 맵핑을 통해 오브젝트에 구현한 그래픽은 공간에 대한 증강현실의 영상을 덧입혀 보다 확장된 공간감과 실제감을 불러일으킨다.
영상 투사 공간이나 장소만 제공이 된다면 다른 디스플레이 장치 등 전자 매체에 비해 저렴하고 짧은 시간에 더욱 화려하고 경이적인 퍼포먼스를 구현할 수 있는 장점 때문에 프로젝션 맵핑이 다양한 분야에서 각광받고 있으며, 주로 전시, 광고나 홍보, 패션쇼, 익스테리어 미디어 아트, 인테리어 디스플레이, 비쥬얼 퍼포먼스 등에서 뛰어난 효과를 발휘한다.
반면 프로젝션 맵핑은 관람시점에 따른 왜곡과 착시에 대해 고려해야 하며, 관람자의 시각선이 프로젝터의 위치에 근접할수록 영상의 왜곡은 줄어들고 영상 구성요소가 공간의 깊이감을 억제하는 역할을 한다. 또한 피사체에 투사되는 이미지를 다른 공간에 재사용하고자 할 때 그 모양이나 크기가 다르므로 사용하기가 어려운 단점도 존재한다.
프로젝션 맵핑을 할 때 중점을 둬야 할 몇 가지가 있는데 그 중 하나가 시스템 설계이다. 프로젝터를 이용한 프로젝션 맵핑은 크게 하드웨어(H/W)와 소프트웨어(S/W) 두 가지로 구성된다. 영상을 투사하는 프로젝터와 제어할 수 있는 컴퓨터 및 플레이어 등이 하드웨어를 구성하고 그 내부에서 영상을 컨트롤할 수 있는 툴 프로그램이 있다. 이러한 기술적 요소들은 프로젝션 영상이 투사되는 공간과의 관계에서 시스템의 효용성 및 그에 따른 프로젝션 맵핑의 가치가 높아질 수 있다.
종래에 프로젝션 맵핑과 관련된 다양한 기술이 제안되었는데, 예를 들어 공개특허 10-2019-0067070호에 따르면 가상 공간에서의 프로젝션 맵핑 시스템이 제안되었다. 이 기술은 프로젝션 맵핑 시스템이 가상 공간에서 모델링에 비디오 텍스쳐를 프로젝션 맵핑하는 방법으로서, 사용자에 의해 입력된 파일 다이얼로그, 좌표 정보, 프로젝터 정보를 수신하면 3D 모델링을 호출하여 모델링 정보를 확인한다. 좌표 정보에 대응하는 위치에 빔 프로젝터를 생성하고, 파일 다이얼로그에 포함되어 있는 비디오 파일을 호출한 후, 생성된 빔 프로젝터에 대한 빔 프로젝터 정보와 비디오 파일의 텍스쳐를 토대로 3D 모델링에 비디오 텍스쳐를 프로젝션 맵핑하며, 프로젝션 맵핑한 렌더링 결과를 사용자에게 디스플레이한다.
또한, 등록특허 10-1734655호에 따르면, 기존 촬영데이터의 공간값을 분석하여 가상공간이 생성되는 1단계; 카메라 데이터를 도출하는 2단계; 기존 촬영데이터의 환경데이터를 가상공간에 대입하여 적용하고 카메라 프로젝션 맵핑 소스를 생성하는 3단계; 실사 촬영데이터를 도출하고 카메라 프로젝션 맵핑 소스에 로토스코핑 기법을 적용하여 기존 촬영데이터에 대입하고 합성하는 4단계; 변위지도를 생성하여 변위지도와 기존 촬영데이터의 입체값을 매칭하여 최종 결과물을 도출하는 5단계; 로 이루어지는 360°실사 VR 콘텐츠 제작공정에서 프로젝션 맵핑을 활용한 VFX 후반작업 적용 방법을 제안하였으며, 실사 VR 콘텐츠에 대한 사용자의 몰입에 방해되는 요소를 제거하고 기존 영상에서 활용되던 다양한 후반작업 기술을 접목하고 있다.
또한, 등록특허 10-1465497호에 따르면 동적 프로젝션 매핑 시, 영상이 투사되는 객체의 일면에 설치된 복수의 동작 감지 센서로부터 센싱 값을 수신하고, 센싱 값에 기초하여 객체의 이동 값 및 회전 값을 검출하고, 이동 값 및 회전 값에 기초하여 영상을 객체에 투사하는 프로젝터의 이동 및 투사각을 제어하는 기술을 제안하고 있다.
이와 같은 종래의 프로젝션 맵핑 기술은 주로 콘텐츠 제어나 프로젝션 맵핑 프로세스에 중점을 두어 개발되었으며, 프로젝션 맵핑 공간의 설계 및 이와 관련된 시스템의 효율적 구성에는 관심을 두고 있지 않고 있다. 프로젝션 맵핑 시스템은 영상이 투사되는 공간의 설계, 공간 내에 설치된 오브젝트와의 배치 형태 등이 중요하며 공간 내에 투사되는 프로젝션 콘텐츠의 질 및 프로젝션에 따른 증강현실적 효과를 향상시킬 수 있다.
본 발명은 전술한 기술적 배경하에서 창안된 것으로, 본 발명의 목적은 공감각적 프로젝션 맵핑 효과를 극대화시킬 수 있는 새로운 시스템을 제공하는 것이다.
본 발명의 다른 목적은 프로젝션 맵핑 공간에서 투사 영상 콘텐츠의 입체감과 몰입도를 배가시킬 수 있는 프로젝션 맵핑 시스템을 제공하는 것이다.
본 발명의 또 다른 목적은 카페나 전시장 등 단일 공간은 물론, 상호 구획되며 인접한 복수의 공간에서 증강현실적 프로젝션 맵핑 콘텐츠의 구현이 가능한 새로운 시스템을 제공하는 것이다.
기타, 본 발명의 또 다른 목적 및 기술적 특징은 이하의 상세한 설명에서 보다 구체적으로 제시될 것이다.
상기 목적을 달성하기 위하여, 본 발명은 바닥면, 정면, 좌측면, 우측면을 포함하는 프로젝션 공간에 있어서, 상기 프로젝션 공간에 설치된 하나 이상의 오브젝트와, 상기 오브젝트의 입체 형상을 스캐닝하는 3D 스캐너와, 상기 3D 스캐너를 통해 얻어진 오브젝트의 입체 형상에 대해 프로젝션 맵핑 이펙트 또는 영상을 투사하는 제1프로젝터와, 상기 프로젝션 공간의 정면에 프로젝션 맵핑 영상을 투사하는 제2프로젝터와, 상기 프로젝션 공간의 좌측면 또는 우측면 중 어느 한 면에 프로젝션 맵핑 영상을 투사하는 제3프로젝터와, 상기 프로젝션 공간의 좌측면 또는 우측면 중 영상이 투사되지 않는 어느 한 면에 설치된 거울면, 및 상기 오브젝트의 입체 형상에 투사되는 이펙트 또는 영상을 생성하고 제어하는 영상 제어부를 포함하는 AR 프로젝션 맵핑 시스템을 제공한다.
본 발명에 있어서, 상기 프로젝션 공간에 설치되는 오브젝트는 형태와 모양이 다른 복수의 오브젝트가 위치를 달리하여 배치될 수 있다.
본 발명에 있어서, 상기 프로젝션 공간이 공간 상부면을 포함하는 경우 상부면인 천정은 검은 색으로 처리되어 있는 것이 바람직하다.
또한, 본 발명의 AR 프로젝션 맵핑 시스템에 있어서, 상기 프로젝션 공간은 바닥면, 정면, 좌측면, 우측면을 각각 포함하는 제1프로젝션 공간과 제2프로젝션 공간이 인접하여 배치될 수 있으며, 이 경우 제1프로젝션 공간과 제2프로젝션 공간은 각각 오브젝트, 3D 스캐너, 제1프로젝터, 제2프로젝터, 제3프로젝터, 거울면, 및 영상 제어부를 포함할 수 있다.
본 발명에 있어서 복수의 프로젝션 공간이 인접하여 배치되는 경우, 제1프로젝션 공간과 제2프로젝션 공간은 이용자가 공간 내 진입하여 이동하는 방향에 대해 마주보는 벽면에 거울면이 설치될 수 있다.
본 발명에 따르면, 실내외 3차원 공간에서 몰입감이 뛰어나고 입체적인 투사 영상을 만끽할 수 있는 증강현실 콘텐츠를 제공할 수 있다.
또한, 본 발명은 다양한 오브젝트에 대해 선택적인 프로젝션 맵핑을 진행하면서 주변 공간에 부가적인 영상을 투사함으로써 새로운 증강현실적 프로젝션 맵핑이 가능하다.
또한, 본 발명의 프로젝션 맵핑 시스템은 공간 활용성을 극대화하면서, 오브젝트에 선택적으로 투사되는 영상 및 벽면에 투사되는 영상, 거울면을 통해 얻게 되는 반사 영상 등이 조화되어 환상적인 프로젝션 맵핑 효과를 만끽할 수 있다.
본 발명의 프로젝션 맵핑 시스템은 박물관이나 미술관 등에서 공연, 전시 등과 관련한 공감각적 콘텐츠를 구현할 수 있고, 사운드와 영상이 조화된 증강현실 프로젝션 맵핑을 통해 카페나 레스토랑, 교육 시설, 기타 각종 건물 내외에서 다양한 프로젝션 맵핑 서비스를 제공할 수 있다.
도 1은 본 발명의 일실시예에 따른 프로젝션 맵핑 시스템이 설치된 공간을 보인 평면 모식도
도 2는 프로젝션 맵핑에 의한 증강현실 영상 구현 모습을 보인 모식도
도 3은 본 발명의 프로젝션 맵핑 프로세스를 보인 순서도
도 4a 및 4b는 본 발명에 따라 실제 구현된 프로젝션 맵핑 공간을 보인 사진
도 5a 및 5b는 본 발명에 따라 프로젝션 맵핑 증강현실 영상이 구현된 사진
도 6은 본 발명의 다른 실시예에 따른 프로젝션 맵핑 시스템이 설치된 공간을 보인 평면 모식도
본 발명은 영상 투사 공간의 설계 및 영상 콘텐츠의 조화를 고려한 새로운 증강현실 프로젝션 맵핑 시스템을 제안한다.
프로젝션 맵핑은 건물의 외벽뿐만 아니라 인테리어 공간, 다양한 형태의 오브젝트 등 프로젝터에 의해 영사시킬 수 있는 모든 것들을 스크린으로 사용할 수 있는데, 본 발명은 2차원의 사각 프레임에 제한된 영상 재현을 3차원의 실제 공간으로 확장하는 것과 더불어 투사 공간 및 시스템 설계를 통해 프로젝션 맵핑의 증강현실적 효과를 극대화시킨다.
실감 체험형 프로젝션 맵핑 콘텐츠를 제공하기 위하여, 본 발명에서는 적어도 세 개의 투사면이 포함된 공간을 마련하고, 공간 내에 동물이나 기하학적 구조물 등 입체 오브젝트를 배치하며, 이렇게 구성된 공간에서 오브젝트의 형태를 스캔하여 프로젝터를 통해 오브젝트에만 선택적으로 이펙트 또는 영상을 매핑한다. 또한, 프로젝션 공간 내 서로 다른 위치에 프로젝터를 배치하여 오브젝트 이외의 벽면에 서로 다른 영상 콘텐츠를 투사하는 한편, 거울면을 배치하여 공간감을 확장시키고 공간 내부 색상을 변화시켜 공간에 대한 몰입감을 증가시킨다.
이를 위하여 본 발명의 시스템에서 맵핑 방식은 프로젝션 맵핑 공간 내의 이차원 평면에 영상을 투사하는 제1맵핑과 공간 내 설치된 3차원 오브젝트에 영상을 투사하는 제2맵핑을 병행하며, 제1맵핑은 다시 각도가 다르게 배치된 둘 이상의 평면에 서로 다른 영상 콘텐츠를 투사하여 전체적으로 증강현실적 입체감을 향상시킨다. 제2맵핑의 경우 3D 스캐너를 이용하여 프로젝터 시야 내에 해당하는 공간을 카메라로 스캔하고 공간 내 배치된 3차원 오브젝트의 스캔된 이미지의 원하는 부위에 선택적으로 영상 혹은 이펙트를 맵핑하여 프로젝터를 통해 영상을 투사한다. 스캔된 오브젝트의 위치 및 형태에 따라 원하는 영상이나 이펙트를 매칭시키는 소프트웨어를 포함하는 영상 제어부를 포함할 수 있으며, 영상 제어부를 통해 콘텐츠 생성하거나 미리 준비된 콘텐츠를 영상 제어부에 연동하여 오브젝트에 투사되는 콘텐츠를 제어할 수도 있다.
프로젝터를 이용한 영상 프로젝션 매핑 시스템은 크게 하드웨어와 소프트웨어로 구성되는데 영상을 투사하는 프로젝터와 제어할 수 있는 컴퓨터 및 플레이어 등의 하드웨어와 투사되는 영상 콘텐츠의 생성 및 형태 변화 등을 컨트롤하는 각종 툴 프로그램이 있다. 본 발명에서는 기본적으로 프로젝션 공간 내 설치된 오브젝트의 스캔 및 콘텐츠 제어를 위한 스캐너와 영상 제어부를 포함하며, 오브젝트에 선택적으로 영상 콘텐츠를 투사하는 프로젝터 및 공간 내 다른 벽면에 별도의 영상 콘텐츠를 투사하는 복수의 프로젝터를 더 포함한다.
도 1을 참조하면 본 발명의 일실시예에 따른 프로젝션 맵핑 시스템이 설치된 공간(100)을 보인 평면 모식도로서, 본 발명에 따른 AR 프로젝션 맵핑 시스템은 바닥면, 정면(110), 좌측면(120), 우측면(130)을 포함하는 프로젝션 공간에 있어서, 상기 프로젝션 공간에 설치된 하나 이상의 오브젝트(210)와, 상기 오브젝트의 입체 형상을 스캐닝하는 3D 스캐너(400)와, 프로젝션 공간 내부에 영상을 투사하는 복수의 프로젝터를 포함한다.
프로젝션 맵핑 공간은 예를 들어, 건물 내부의 개별 공간 또는 실외의 구획된 공간이 이용될 수 있으며, 바닥면에 대해 실질적으로 수직인 적어도 세 개의 면을 포함하여 외부와 구별될 수 있는 독립적인 공간인 것이 바람직하다. 이러한 공간은 프로젝터를 통해 투사되는 영상의 시인성을 위하여 외부 조명이 없거나 조도가 낮은 상태로 유지되는 것이 좋다.
오브젝트부(200)는 프로젝션 맵핑 공간의 바닥면에 설치되거나 특정 벽면에 입체적으로 설치된 개별 형상의 물체 또는 인공적인 형상의 구조물을 포함할 수 있다. 프로젝션 맵핑에 의해 각 오브젝트(210)에 독립적인 영상이 투사되도록 제어하기 위하여 오브젝트들은 상호 이격적으로 배치되는 것이 바람직하다. 오브젝트는 이차원 또는 삼차원 구조물일 수 있고 표면에 독자적인 무늬나 특정 모양이 포함될 수도 있으며, 각 오브젝트들이 예를 들어 기하학적 형태의 구조물, 예술 작품, 자연물 등 상호 연관된 주제의 형상일 수도 있다. 또한, 필요에 따라 프로젝션 공간 내에서 공중에 떠 있는 형태로 배치될 수도 있고 이동거리가 규칙적으로 변화하는 동적 구조물일 수도 있다.
프로젝션 맵핑 공간 내의 후방은 개방될 수도 있고, 좌측면 또는 우측면과 부분적으로 분리된 채로 독자적인 벽면(후면, 140)일 수도 있다. 또한, 프로젝션 맵핑 공간의 상부는 개방될 수도 있고 천정면이 포함될 수도 있는데, 공간 내 후방과 상부가 개방되더라도 본 발명의 시스템을 구성하는 각 요소들이 설치되거나 위치를 고정할 수 있는 프레임 등의 수단이 포함되는 것이 바람직하다.
본 발명의 AR 프로젝션 맵핑 시스템에 있어서, 프로젝션 공간의 좌측면 또는 우측면 중 어느 한면에는 영상이 투사되지 않고 거울면(125)을 구성한다. 이 거울면은 예를 들어 프로젝션 맵핑 공간의 좌측면 전체를 포괄하는 거울을 설치할 수 있다. 프로젝션 맵핑 공간 내에 위치한 이용자는 거울면을 통해 실제 공간(S11)과 동일한 이미지를 시각적으로 확인할 수 있으며, 거울면에서 인식되는 가상 공간(S12)을 통해 프로젝션 맵핑 공간이 확장되는 것을 경험할 수 있다.
또한 상기 거울면은 프로젝션 공간의 좌측면 또는 우측면 중 영상이 투사되지 않는 어느 한 면에 설치될 수 있고, 좌측면과 우측면을 각각 영상 투사면과 비투사면으로 분리하여, 공간의 좌측면 및 우측면의 비투사면에 각각 거울면을 형성하는 것도 가능하다. 또한, 필요에 따라 프로젝션 공간 내에 정면 또는 후면, 바닥면 또는 상부면(천정)의 일부 또는 전부를 거울면으로 구성할 수도 있다.
이와 같이 프로젝션 공간 내에 일부 벽면을 거울면으로 구성함으로써 프로젝션 공간의 3차원적 특성을 더욱 배가시키며 공간의 확장성에 따른 프로젝션 영상의 입체감 및 증강현실적 기능을 향상시킬 수 있다.
오브젝트의 입체 형상을 스캐닝하는 3D 스캐너(400)는 오브젝트가 설치된 면 또는 공간의 반대편 벽면에 설치될 수 있으며, 필요에 따라 하나 이상의 스캐너를 배치하여 각 오브젝트의 위치 및 방향에 대해 프로젝션 맵핑을 수행할 수 있다. 오브젝트 스캔을 위한 장치는 예를 들어 구조광(structured light)을 이용하는 3D 스캐너가 사용될 수 있다.
본 발명의 프로젝션 맵핑 시스템은 오브젝트에 대한 선택적인 영상 투사와 프로젝션 공간 내부에 부가적인 영상을 투사하여 증강현실적 효과를 높이기 위해 복수의 프로젝터를 포함한다. 먼저, 상기 3D 스캐너를 통해 얻어진 오브젝트의 입체 형상에 대해 프로젝션 맵핑 이펙트 또는 영상을 투사하기 위해 제1프로젝터(310)를 포함하는데, 제1프로젝터는 3D 스캐너와 동일한 또는 인접한 위치에 설치되며 두 장치가 상호 기능적 내지 전자적으로 연동되어 맵핑 결과 및 콘텐츠 제어 동작이 공유될 수 있다. 도 1에서 3D 스캐너와 제1프로젝터는 프로젝션 맵핑 공간의 정면 근처에 설치된 복수의 오브젝트에 대한 선택적인 영상 투사를 위해 공간 내 반대쪽 후면(140)에 배치되어 있다.
제1프로젝터와 더불어, 프로젝션 맵핑 공간 내에 추가적인 영상 투사를 위해 제2프로젝터와 제3프로젝터가 더 포함되는데, 예를 들어 제2프로젝터(320)는 프로젝션 공간의 정면에 프로젝션 맵핑 영상을 투사하도록 제1프로젝터와 동일한 후면에 배치되어 있고, 제3프로젝터(330)는 프로젝션 공간의 우측면에 프로젝션 맵핑 영상을 투사하도록 프로젝션 공간의 거울면이 설치된 좌측면에 설치되어 있다.
각각의 프로젝터는 투사되는 오브젝트 또는 벽면에 원하는 영상을 맵핑하고 투사할 수 있도록 바닥면으로부터 소정 높이로 배치되는 것이 바람직하며, 증강현실적 영상의 고도화를 위해 각 프로젝터가 하나 이상의 보조 프로젝터를 더 포함하여 프로젝션 영상을 제공할 수도 있다.
본 발명의 프로젝션 맵핑 시스템은 상기 오브젝트의 입체 형상에 투사되는 이펙트 또는 영상을 생성하고 제어하는 영상 제어부를 포함한다. 또한 영상 제어부는 오브젝트에 선택적으로 콘텐츠를 제공하는 제1영상 제어부와 함께 각 벽면에 투사되는 영상을 생성하고 제어하는 제2영상 제어부를 포함할 수 있으며, 각 영상 제어부는 각 프로젝터와 연동되거나 하나의 통합적인 영상 제어부로 구성할 수도 있다. 이러한 본 발명의 시스템은 각 프로젝터와 3D 스캐너 이외에 프로세서와 메모리가 내장된 스캐닝 제어 컴퓨터, 스캐닝용 컬러 카메라, 콘텐츠 생성 및 제어용 소프트웨어를 포함할 수 있으며, 이러한 장치들은 예를 들어 3D 스캐너와 영상 제어부에 함께 그 기능이 구현되도록 할 수도 있다. 한편, 장소가 협소한 공간에서는 일반렌즈를 가진 프로젝터로는 투사거리가 나오지 않아 원하는 사이즈를 커버하기 힘든 경우가 있는데, 이 경우 단초점 렌즈를 가진 프로젝터를 사용하여 짧은 투사거리에서도 원하는 크기의 화면을 맵핑 할 수 있다.
도 2는 프로젝션 맵핑에 의한 증강현실 영상 구현 모습을 보인 모식도로서, 정면 투사 영상(L110), 바닥면 투사 영상(L120), 우측면 투사 영상(L130), 및 오브젝트 투사 영상(L210)을 보이고 있다. 정면 투사 영상은 제2프로젝터, 우측면 투사 영상은 제3프로젝터를 통해 구현할 수 있고, 바닥면 투사 영상은 제2프로젝터로 함께 구현하거나 별도의 프로젝터를 후면(140) 또는 좌측면(120)에 설치하여 구현할 수도 있다. 각 오브젝트에는 독립적인 영상이 투사될 수 있으며, 제1프로젝터로 복수의 오브젝트를 동시에 맵핑된 영상이 투사되도록 하거나, 보조 프로젝터를 통해 각 오브젝트별로 맵핑된 영상을 투사하는 것도 가능하다.
프로젝션 공간에 설치되는 오브젝트는 형태와 모양이 다른 복수의 오브젝트가 위치를 달리하여 배치될 수 있으며, 각각의 오브젝트에 맵핑된 이펙트 또는 영상이 독립적으로 제어된다. 오브젝트에 선택적으로 투사되는 제1프로젝션 영상과, 정면에 투사되는 제2프로젝션 영상 및 좌측면 또는 우측면 중 어느 하나의 벽면에 투사되는 제3프로젝션 영상이 상호 조화되어 입체적이고 환상적인 영상 분위기를 연출할 수 있다. 이와 같이 개별적으로 제어된 복수의 투사 영상 콘텐츠와 더불어 프로젝션 맵핑의 몰입도를 향상시키기 위해 상기 프로젝션 공간의 천정은 검은 색으로 처리되어 있는 것이 바람직한데, 예를 들어 공간 내 벽면에 검은 천을 부착하거나 검은 도료로 천정 면을 도포할 수 있다.
본 발명에 따른 프로젝션 맵핑 시스템을 통해 미술관이나 박물관 내의 실내 공간의 특정 구역에 복합적인 영상을 투사하여 가상 공간을 만들어 낼 수 있고, 이에 따라 평범한 벽면이나 공간이 예술적인 공간으로 변화될 수 있다. 또한, 상업용 실내 공간 등에서도 인테리어 시공을 하지 않아도 공간의 분위기를 바꿔줄 수 있는 효과가 있다.
본 발명의 프로젝션 맵핑 시스템은 기본적으로 프로젝션 공간 내에 복수의 오브젝트를 설치하여 독립적인 이펙트 또는 영상을 오브젝트에 맵핑하고 투사하는 한편, 공간 내 복수의 벽면에 또 다른 영상을 맵핑하고 투사하는데 특징이 있다. 이러한 피투사체 및 투사 영상의 복합화를 통해 프로젝션 맵핑의 증강현실적 공감각 효과를 극대화시킬 수 있으며, 본 발명의 프로젝션 맵핑 프로세스의 일례를 도 3을 참고하여 설명한다.
먼저, 투사 대상 공간을 설계하고 공간 내 오브젝트를 배치한다(단계 S110). 공간의 설계는 전술한 바와 같으며, 오브젝트의 종류 및 형태는 프로젝션 맵핑을 통해 구현하는 분위기 및 주제와 관련하여 결정될 수 있다. 특히 오브젝트의 형태와 구성, 배치 구조 등은 오브젝트에 선택적으로 맵핑되는 투사 영상의 제어 및 그에 따른 효과 측면에서 매우 중요하다.
공간이 설계되고 오브젝트를 배치한 후, 복수의 프로젝터를 영상 구현 및 제어 방식에 맞게 배치하고, 오브젝트의 설치 위치 및 형태를 고려하여 3D 스캐너를 배치한다(단계 S120). 각 장치의 배치 과정에서 추가로 필요한 장비를 함께 설치하며 각 장비간 물리적 및 전기적 연결을 완료한다. 장치의 배치가 완료된 후 오브젝트에 대한 스캐닝 작업을 수행한다(단계 S130). 전체 프로젝션 공간을 3차원적으로 스캐닝하면서 오브젝트의 위치 및 구조를 파악한 후, 오브젝트에 투사될 영상 또는 이펙트 등의 콘텐츠를 맵핑한다(단계 S140). 이와 더불어 프로젝션 공간 내 각 벽면에 투사될 영상 또는 이펙트와 관련된 콘텐츠를 맵핑한다(단계 S150). 투사 영상 콘텐츠 등은 미리 준비된 데이타를 각 장비에 내장하여 해당 투사체 또는 투사면에 적합하도록 제어할 수 있으며, 이러한 작업은 전술한 영상 제어부를 통해 소프트웨어적으로 수행할 수 있다. 오브젝트 맵핑과 벽면 맵핑은 순서를 바꾸어 진행하여도 무방하다.
각 콘텐츠의 생성 및 맵핑은 프로젝션 공간의 일 벽면에 설치된 거울면을 고려하여 공간감과 몰입감, 증강현실적 효과를 고려하여 수행하는 것이 좋다. 콘텐츠 맵핑이 완료된 후, 각 프로젝터로부터 영상을 투사하여 전체적인 조화 및 효과를 검증한다(단계 S160).
도 4a 및 4b는 본 발명에 따라 실제 구현된 프로젝션 맵핑 공간을 보이고 있다. 프로젝션 매핑을 위한 공간 구성은 스테이지에 해당하는 바닥면을 기준으로 기본적으로 정면 및 좌우측면을 포함하고 있다. 또한, 프로젝션의 몰입도를 올리기 위해 천장을 검은 천으로 가려 전체적으로 어두운 환경을 조성하였다. 바닥면애는 오브젝트로서 다양한 동물 형태의 모형들과 바닥을 장식할 인조 넝쿨을 세팅하였다. 또한, 프로젝션 공간이 넓어보이는 효과를 내기 위해 왼쪽 벽에 거울을 세팅하였다. 이와 같은 공간에서 프로젝션 매핑을 위한 장비로서 바닥면에 영상을 투사할 프로젝터 1대와 정면에 영상을 투사할 프로젝터 1대를 공간의 후방 벽면에 설치하였으며, 오른쪽 벽면에 영상을 투사할 2대의 프로젝터를 좌측 거울면 위쪽에 세팅하였다. 또한, 3D 스캐너는 바닥면 및 정면 투사용 프로젝터에 인접하여 설치하였다.
도 5a 및 5b는 본 발명에 따라 프로젝션 맵핑 증강현실 영상이 구현된 모습을 보이고 있다. 프로젝션을 위해 구성된 공간에서 미리 제작하여 배치한 동물형 물체들을 스캐너의 카메라로 이미지를 스캔하였고, 사전에 제작한 이펙트 및 영상 콘텐츠를 영상 제어부를 통해 각 프로젝터에 저장하고 재생하였으며, 오브젝트에 해당하는 동물형 물체들에만 별도의 이펙트 및 영상을 맵핑하였다. 또한 정면 벽과 바닥면, 오른쪽 벽면에도 프로젝터 영상을 투사하여 뒷 면을 제외한 공간 전체를 프로젝션 영상으로 커버하였다.
이러한 프로젝션 맵핑을 통해 숲 속 동물들이라는 주제에 맞추어 동물형 물체에 매핑을 하였고, 어두운 공간을 통해 몰입감을 올리는 한편 좌측에 배치한 거울면으로 인하여 전체적인 공간이 확장되어 보이는 효과를 얻었다.
도 6은 본 발명의 다른 실시예에 따른 프로젝션 맵핑 시스템이 설치된 공간을 보인 평면 모식도이다.
본 실시예에서 프로젝션 공간(100)은 바닥면, 정면, 좌측면, 우측면을 각각 포함하는 제1프로젝션 공간(S11)과 제2프로젝션 공간(S21)이 인접하여 배치되어 있다. 제1프로젝션 공간과 제2프로젝션 공간은 각각 오브젝트(200a, 200b), 3D 스캐너(400a, 400b), 제1프로젝터(310a, 310b), 제2프로젝터(320a, 320b), 제3프로젝터, 거울면(125a, 125b), 및 영상 제어부(미도시)를 포함하고 있다. 각 공간에서 서로 다른 다양한 오브젝트를 설치하고 각 오브젝트에 대해 선택적인 프로젝션 맵핑을 진행함과 더불어 주변 공간에 부가적인 영상을 투사함으로써 스토리가 있는 증강현실적 프로젝션 맵핑이 가능하다. 각 개별 공간에 배치된 거울면으로 인하여 독립적인 가상 공간(S12, S22)이 각 실제 공간에 마련되며, 오브젝트의 종류와 형태 및 오브젝트에 맵핑되어 구현되는 프로젝션 영상에 따라 서로 다른 느낌과 분위기의 프로젝션 맵핑 효과를 제공할 수 있다.
이와 같은 복수의 프로젝션 맵핑용 공간에서 제1프로젝션 공간과 제2프로젝션 공간에는 이용자가 공간 내 진입하여 이동하는 방향(M)에 대해 마주보는 벽면에 거울면이 설치되어 있다. 이용자는 동선을 고려하여 배치된 거울면으로 인하여 정지 상태는 물론 이용자가 동적 움직임을 동반하여 프로젝션 맵핑 공간에 있을 때 보다 깊이 있는 공간감과 몰입감을 경험할 수 있다.
또한, 인접한 프로젝션 공간은 둘 이상의 복수 공간을 포함할 수 있으며, 예를 들어 직선 구조, 꺾인 통로 구조, 원형 구조 등으로 공간 형태를 설계할 수 있다. 복수의 공간 중 개별 공간에는 특정 주제의 오브젝트를 각각 배치하고 해당 주제에 적합한 영상 및 이펙트 콘텐츠를 맵핑하여 영화나 드라마에서 얻을 수 있는 감동을 체험할 수 있다. 뿐만 아니라, 실내외 3차원 공간에서 몰입감이 높은 입체 투사 영상 및 콘텐츠를 제공하기 위해 복수의 프로젝션 공간을 인접하여 구조적으로 배치하는 한편, 전술한 거울면의 위치 또는 크기를 다르게 배치하여 증강현실적 효과를 극대화할 수 있다.
특히 오브젝트에 선택적으로 맵핑된 프로젝션 이펙트 또는 영상은 사운드 콘텐츠와 조화되기에 적합하며, 이러한 시청각적 콘텐츠를 통해 박물관이나 미술관 에서 공연 및 전시와 연계된 공감각적 콘텐츠를 구현할 수 있다. 또한, 사운드와 영상이 조화된 증강현실 프로젝션 맵핑을 통해 카페나 레스토랑, 교육 시설, 기타 각종 건물의 문화적 가치를 높일 수 있을 것으로 기대된다.
이상에서 바람직한 실시예를 통하여 본 발명을 예시적으로 설명하였으나, 본 발명은 이와 같은 특정 실시예에만 한정되는 것은 아니며 본 발명에서 제시한 기술적 사상, 구체적으로는 특허청구범위에 기재된 범주 내에서 다양한 형태로 수정, 변경, 또는 개선될 수 있을 것이다.
100:프로젝션 맵핑 공간 110:정면
120:좌측면 125:거울면
130:우측면 140:후면
200:오브젝트부 210:개별 오브젝트
310:제1프로젝터 320:제2프로젝터
330:제3프로젝터 400:3D 스캐너
L110:정면 투사 영상 L120:바닥면 투사 영상
L130:측면 투사 영상 L210:오브젝트 투사 영상
S11,S21:실제 공간 S12,S22:가상 공간

Claims (5)

  1. 바닥면, 정면, 좌측면, 우측면을 포함하는 프로젝션 공간에 있어서,
    상기 프로젝션 공간에 설치된 하나 이상의 오브젝트와,
    상기 오브젝트의 입체 형상을 스캐닝하는 3D 스캐너와,
    상기 3D 스캐너를 통해 얻어진 오브젝트의 입체 형상에 대해 프로젝션 맵핑 이펙트 또는 영상을 투사하는 제1프로젝터와,
    상기 프로젝션 공간의 정면에 프로젝션 맵핑 영상을 투사하는 제2프로젝터와,
    상기 프로젝션 공간의 좌측면 또는 우측면 중 어느 한 면에 프로젝션 맵핑 영상을 투사하는 제3프로젝터와,
    상기 프로젝션 공간의 좌측면 또는 우측면 중 영상이 투사되지 않는 어느 한 면에 설치된 거울면, 및
    상기 오브젝트의 입체 형상에 투사되는 이펙트 또는 영상을 생성하고 제어하는 영상 제어부를 포함하는
    AR 프로젝션 맵핑 시스템.
  2. 제1항에 있어서,
    상기 프로젝션 공간에 설치되는 오브젝트는 형태와 모양이 다른 복수의 오브젝트가 위치를 달리하여 배치되는 것을 특징으로 하는 AR 프로젝션 맵핑 시스템.
  3. 제1항에 있어서,
    상기 프로젝션 공간의 천정은 검은 색으로 처리되어 있는 것을 특징으로 하는 AR 프로젝션 맵핑 시스템.
  4. 제1항에 있어서,
    상기 프로젝션 공간은 바닥면, 정면, 좌측면, 우측면을 각각 포함하는 제1프로젝션 공간과 제2프로젝션 공간이 인접하여 배치되며,
    제1프로젝션 공간과 제2프로젝션 공간은 각각 오브젝트, 3D 스캐너, 제1프로젝터, 제2프로젝터, 제3프로젝터, 거울면, 및 영상 제어부를 포함하는 것을 특징으로 하는 AR 프로젝션 맵핑 시스템.
  5. 제4항에 있어서,
    상기 제1프로젝션 공간과 제2프로젝션 공간은 이용자가 공간 내 진입하여 이동하는 방향에 대해 마주보는 벽면에 거울면이 설치되어 있는 것을 특징으로 하는 AR 프로젝션 맵핑 시스템.
KR1020210029113A 2021-03-04 2021-03-04 Ar 프로젝션 맵핑 시스템 KR20220125873A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210029113A KR20220125873A (ko) 2021-03-04 2021-03-04 Ar 프로젝션 맵핑 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210029113A KR20220125873A (ko) 2021-03-04 2021-03-04 Ar 프로젝션 맵핑 시스템

Publications (1)

Publication Number Publication Date
KR20220125873A true KR20220125873A (ko) 2022-09-15

Family

ID=83281763

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210029113A KR20220125873A (ko) 2021-03-04 2021-03-04 Ar 프로젝션 맵핑 시스템

Country Status (1)

Country Link
KR (1) KR20220125873A (ko)

Similar Documents

Publication Publication Date Title
Raskar et al. Shader lamps: Animating real objects with image-based illumination
US7068274B2 (en) System and method for animating real objects with projected images
US7019748B2 (en) Simulating motion of static objects in scenes
US6930681B2 (en) System and method for registering multiple images with three-dimensional objects
US6677956B2 (en) Method for cross-fading intensities of multiple images of a scene for seamless reconstruction
CN102449680B (zh) 信息呈现装置
Low et al. Life-sized projector-based dioramas
JP4548413B2 (ja) 表示システム、動画化方法およびコントローラ
KR20140010872A (ko) 메인 영상의 시각적 요소를 확장시키는 다면 상영 시스템
Grau et al. A combined studio production system for 3-D capturing of live action and immersive actor feedback
US20070126864A1 (en) Synthesizing three-dimensional surround visual field
US11514654B1 (en) Calibrating focus/defocus operations of a virtual display based on camera settings
US20030038822A1 (en) Method for determining image intensities of projected images to change the appearance of three-dimensional objects
KR20070111495A (ko) 준 3차원 화상을 생성하는 디스플레이 장치
US20070126932A1 (en) Systems and methods for utilizing idle display area
KR20130060158A (ko) 영상 처리 장치 및 방법
CN106125491A (zh) 多投影系统
JP2021182374A (ja) コンテンツ生成方法、コンテンツ投影方法、プログラム及びコンテンツ生成システム
JP2018092503A (ja) 屋内光シミュレーションシステム、屋内光シミュレーション方法及びプログラム
Lee et al. A new projection-based exhibition system for a museum
Takatori et al. Large-scale projection-based immersive display: The design and implementation of largespace
KR100943292B1 (ko) 영상 투사 시스템 및 그를 이용한 영상 투사 방법
KR20220125873A (ko) Ar 프로젝션 맵핑 시스템
WO2022080260A1 (ja) 設置情報取得方法、補正方法、プログラム、及び設置情報取得システム
KR102654323B1 (ko) 버추얼 프로덕션에서 2차원 이미지의 입체화 처리를 위한 방법, 장치 및 시스템

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right