KR102300285B1 - Ar 기반 컨텐츠 3d 매핑 방법 및 시스템 - Google Patents

Abstract

본 발명은 AR 컨텐츠를 오브젝트에 매핑하는 방법에 있어서, 출력 모듈 및 카메라 모듈을 포함하는 프로젝터가 존재하는 상태에서, 매핑 시스템이 상기 프로젝터의 상기 출력 모듈을 이용하여 상기 오브젝트의 표면에 대해 스트라이프 패턴 이미지를 출력하는 단계; 상기 매핑 시스템이, 상기 프로젝터의 상기 카메라 모듈을 이용하여 상기 오브젝트의 표면에 출력된 상기 스트라이프 패턴 이미지를 스캔하여 스캔 데이터를 생성하는 단계; 상기 매핑 시스템은, 상기 스캔 데이터에 기반해 상기 오브젝트에 대응하는 매핑영역을 연산하고, 상기 매핑영역에 매핑된 이미지 또는 영상을 상기 오브젝트에 대한 상기 AR 컨텐츠로서 AR 라이브러리에 업데이트하거나 출력용 프로젝터를 통해 상기 오브젝트에 상기 AR 컨텐츠를 출력하는 단계를 포함하는 것을 특징으로 하는 방법을 개시한다.

Description

AR 기반 컨텐츠 3D 매핑 방법 및 시스템{METHOD FOR MAPPING AR-BASED CONTENT AND SYSTEM USING THE SAME}

본 발명은 AR 기반 컨텐츠 3D 매핑 방법 및 시스템에 있어서, 프로젝션 맵핑 현장에서 매핑 대상을 분석 후 매핑을 수행하고 이에 대한 수정이 가능한 솔루션을 제공하고, 각도 변화 등에 따른 상이 왜곡되는 현상에 신속히 대응하며 현장 대응시간을 최소화할 수 있는 인공지능 기반의 AR 컨텐츠 매핑 방법 및 시스템에 관한 것이다.

공간 인식 및 영상에 관한 기술이 발전하면서 VR, AR 등의 가상으로 생성한 환경 또는 컨텐츠를 사용자에게 제공하는 기술이 개발되었고, 최근에는 다양한 분야에 적용되고 있다.

가상현실(VR·virtual reality)과 현실 세계에 가상정보를 더해 보여주는 기술인 증강현실(AR·augmented reality)을 혼합한 기술은 혼합현실(MR·mixed reality)이라고 한다. VR과 AR, MR은 모두 실제로 존재하지 않은 현실을 구현해 사람이 이를 인지할 수 있도록 하는 기술이라는 점에서 공통점이 있다. 다만 AR은 실제 현실에 가상의 정보를 더해 보여주는 방식이고, VR은 모두 허구의 상황이 제시된다는 점에서 차이가 있다. MR은 AR과 VR을 혼합해 현실 배경에 현실과 가상의 정보를 혼합시켜 제공하는데, 대용량 데이터를 처리할 수 있는 기술이 필요하다.

AR의 경우는 현실의 배경에 영상을 통한 가상의 컨텐츠를 출력함에 있어, 사용자의 단말에 이를 구연하는 방법도 있으나, 최근에는 현실의 배경에 프로젝터를 통한 AR 컨텐츠를 출력하여 별도의 스크린 없이 시각적으로 AR 컨텐츠를 인식할 수 있는 기술이 개발되어 적용되는 초기에 있다. 실제로, 캠핑장, 레스토랑, 건물 내외 조경 등에서는 프로젝터를 통한 AR 컨텐츠를 출력하는 기술이 이용되고 있다.

이러한 AR 기술이 도입되고 있음에도 불구하고, 도 1에서 볼 수 있듯이 이러한 컨텐츠를 현실에 적용함에 있어서 3D 모델링에 긴 시간이 소요되고, 실시간으로 작업/수정이 불가하며, AR 컨텐츠가 부족하며, 높은 유지관리 비용이 요구되며, 현실의 배경의 변화에 따른 출력되는 컨텐츠가 왜곡되는 등의 문제점이 있었다.

이를 해결하기 위해, 본 발명자는 실시간 스캔/뎁스 추출 기술, 실시간 마스킹/와핑 기술, AR 라이브러리, 실시간 원격관리 시스템 등을 포함하는 AR 기반 컨텐츠 3D 매핑 방법 및 시스템을 제안하고자 한다.

따라서, 본 발명은 상기한 바와 같은 문제점을 해결하기 위한 것으로서, AR 컨텐츠를 3D 매핑함에 있어서, 시스템이 더 간단하고 정확하게 현실의 배경의 변화를 감지해 적응적으로 컨텐츠를 출력할 수 있는 방법 및 시스템을 제공하고자 한다.

상기한 문제를 해결하기 위한 본 발명의 일 실시 예에 따라 AR 컨텐츠를 오브젝트에 매핑하는 방법에 있어서, 출력 모듈 및 카메라 모듈을 포함하는 프로젝터가 존재하는 상태에서, 매핑 시스템이 상기 프로젝터의 상기 출력 모듈을 이용하여 상기 오브젝트의 표면에 대해 스트라이프 패턴 이미지를 출력하는 단계; 상기 매핑 시스템이, 상기 프로젝터의 상기 카메라 모듈을 이용하여 상기 오브젝트의 표면에 출력된 상기 스트라이프 패턴 이미지를 스캔하여 스캔 데이터를 생성하는 단계; 상기 매핑 시스템은, 상기 스캔 데이터에 기반해 상기 오브젝트에 대응하는 매핑영역을 연산하고, 상기 매핑영역에 매핑된 이미지 또는 영상을 상기 오브젝트에 대한 상기 AR 컨텐츠로서 AR 라이브러리에 업데이트하거나 출력용 프로젝터를 통해 상기 오브젝트에 상기 AR 컨텐츠를 출력하는 단계를 포함하는 것을 특징으로 하는 방법을 고려할 수 있다.

본 발명의 일 실시 예에 따라 AR 컨텐츠를 오브젝트에 매핑하는 매핑 시스템에 있어서, 출력 모듈 및 카메라 모듈을 포함하고, 상기 출력 모듈을 이용하여 상기 오브젝트의 표면에 대해 스트라이프 패턴 이미지를 출력하며, 상기 카메라 모듈을 이용하여 상기 오브젝트의 표면에 출력된 상기 스트라이프 패턴 이미지를 스캔하여 스캔 데이터를 생성하는 프로젝터; 상기 AR 컨텐츠를 저장하는 AR 라이브러리; 및 상기 스캔 데이터에 기반해 상기 오브젝트에 대응하는 매핑영역을 연산하고, 상기 매핑영역에 매핑된 이미지 또는 영상을 상기 오브젝트에 대한 상기 AR 컨텐츠로서 상기 AR 라이브러리에 업데이트하거나 출력용 프로젝터를 통해 상기 오브젝트에 상기 AR 컨텐츠를 출력하는 매핑 장치를 포함하는 매핑 시스템을 고려할 수 있다.

본 발명에 따르면, AR 컨텐츠를 3D 매핑함에 있어서, 시스템이 더 간단하고 정확하게 현실의 배경의 변화를 감지해 적응적으로 컨텐츠를 출력하여 안정적으로 AR 컨텐츠를 출력할 수 있게 할 수 있다.

한편, 본 발명의 효과는 이상에서 언급한 효과들로 제한되지 않으며, 이하에서 설명할 내용으로부터 통상의 기술자에게 자명한 범위 내에서 다양한 효과들이 포함될 수 있다.

도 1은 본 발명의 일 실시 예에 따른 AR 컨텐츠 기반 매핑 시스템의 설명을 위한 개념도이다.
도 2는 본 발명의 일 실시 예에 따른 AR 컨텐츠 기반 매핑 시스템의 블록도이다.
도 3은 본 발명의 일 실시예에 따라 AR 컨텐츠 라이브러리에 포함된 AR 컨텐츠들을 예시적으로 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따라 프로젝터가 AR 컨텐츠를 오브젝트에 출력하기 까지의 과정을 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따라 출력 모듈의 출력 이미지 및 카메라 모듈의 스캔 이미지를 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따라 스캔 데이터가 생성되는 과정을 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따라 오브젝트를 기준으로 복수의 프로젝터가 출력하는 모습을 예시적으로 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따라 오브젝트를 기준으로 2개의 프로젝터가 출력하는 모습을 예시적으로 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 따라 오브젝트의 모션에 따라 AR 컨텐츠가 변경되는 모습을 나타낸 도면이다.
도 10은 본 발명의 일 실시예에 따라 오브젝트에 대한 AR 컨텐츠를 나타내는 도면이다.
도 11은 일 실시예에 따라 3차원 모델 생성을 위한 차르코 보드를 나타낸 도면이다.

이하, 첨부된 도면들을 참조하여 본 발명에 따른 'AR 기반 컨텐츠 3D 매핑 방법 및 시스템'을 상세하게 설명한다. 설명하는 실시 예들은 본 발명의 기술사상을 당업자가 용이하게 이해할 수 있도록 제공되는 것으로 이에 의해 본 발명이 한정되지 않는다. 또한, 첨부된 도면에 표현된 사항들은 본 발명의 실시 예들을 쉽게 설명하기 위해 도식화된 도면으로 실제로 구현되는 형태와 상이할 수 있다.

한편, 이하에서 표현되는 각구성부는 본 발명을 구현하기 위한 예일 뿐이다. 따라서, 본 발명의 다른 구현에서는 본 발명의 사상 및 범위를 벗어나지 않는 범위에서 다른 구성부가 사용될 수 있다.

또한, 각구성부는 순전히 하드웨어 또는 소프트웨어의 구성만으로 구현될 수도 있지만, 동일 기능을 수행하는 다양한 하드웨어 및 소프트웨어 구성들의 조합으로 구현될 수도 있다. 또한, 하나의 하드웨어 또는 소프트웨어에 의해 둘 이상의 구성부들이 함께 구현될 수도 있다.

또한, 어떤 구성요소들을 '포함'한다는 표현은, '개방형'의 표현으로서 해당구성요소들이 존재하는 것을 단순히 지칭할 뿐이며, 추가적인 구성요소들을 배제하는 것으로 이해되어서는 안된다.

도 1에서 살펴볼 수 있듯이, 기존에는 많은 작업시간 소요, 실시간 작업/수정 불가, AR 콘텐츠 부족, 높은 유지관리 비용 등의 문제가 있었다. 이를 해결하기 위해 본 발명은 실시간 스캔/뎁스 추출 기술, 실시간 마스킹/와핑 기술, AR 라이브러리 개발, 실시간 원격관리시스템 등을 기초로 하여 실시간 3D 프로젝션 매핑 솔루션을 고려하고 있다.

상기 3D 프로젝션 매핑 솔루션은 AR 게임, AR 컨텐츠 등을 이용하여 다양한 서비스(ex 캠핑장, 공원, 아파트, 놀이터, 건물 내외 조경 등)를 제공할 수 있다. 아래에서는, 상기 3D 프로젝션 매핑 솔루션을 제공하는 매핑 시스템(100)에 대해서 살펴보도록 하겠다.

도 2는 본 발명의 일 실시 예에 따른 AR 컨텐츠 기반 매핑 시스템의 블록도이다.

도 2를 참조하면, 본 발명의 일 실시 예에 따른 AR 컨텐츠 기반 매핑 시스템(100)은 프로젝터(110), 매핑 장치(120), AR 라이브러리(130) 등을 포함하며, 오브젝트에 대한 AR 컨텐츠를 생성, 저장, 출력 등을 수행할 수 있다.

여기서, 상기 프로젝터(110)는 오브젝트에 대한 스캔 데이터를 생성하거나, 현장에 설치되어 AR 컨텐츠 등을 출력할 수 있는 기기(출력용 프로젝터)이며, 매핑 장치(120), AR 라이브러리(130) 등과 정보를 송수신할 수 있는 통신 모듈, 스트라이프 패턴 이미지를 출력하는 출력 모듈, 스캔 기능을 가지는 카메라 모듈(RGB-D 카메라 등) 등도 포함할 수 있다. 또한, 후술하겠지만 프로젝터(110)의 위치 내지 각도 등의 변화를 감지하는 변화감지센서를 포함할 수도 있다.

프로젝터(110)는 운영시 외부에 설치되므로 기상 변화 등으로부터 보호가 필요하다. 이에 따라 항온/항습이 가능한 하우징으로 구성될 수 있을 것이다. 상기 프로젝터(110)는 별도의 온도/습도 감지센서를 포함하여 일정 범위를 벗어나는 온도/습도를 감지하는 경우, 이를 사용자의 단말(200) 등에 알릴 수 있다.

참고로, 본 발명의 시스템(100)에서는 복수의 프로젝터(110)를 고려할 수도 있으며, 이에 따라 각 프로젝터(110)는 화면이 겹치는 부분을 교정해주는 이미지 블렌딩(Image blending) 기능 및 왜곡된 이미지를 보정하는 와핑(Image warping) 기능을 가질 수 있다. 프로젝터(110)에 대해서는 본 발명의 프로세스와 함께 뒤에서 보다 자세히 살펴보기로 한다.

매핑 장치(120)의 경우 상기 프로젝터(110)로부터 획득한 스캔 데이터를 이용하여 매핑영역을 연산할 수 있는 기기로서, PC, 휴대폰, 태블릿 PC 등 프로세서를 포함하여 작업을 수행할 수 있는 전자 기기이면 상기 매핑 장치(120)에 해당할 수 있다.

또한, 상기 AR 라이브러리(130)는 복수의 AR 컨텐츠를 포함할 수 있는 저장소로서 통신 기능이 존재하는 일종의 데이터베이스에 해당할 수 있으며, 통신을 수행할 수 있는 클라우드 서버 등에 해당할 수도 있다. 따라서, 매핑 장치(120), 프로젝터(110) 등뿐만 아니라 다른 전자 기기 역시 상기 AR 라이브러리(클라우드 서버)에 저장되어 있는 복수의 AR 컨텐츠를 이용하거나, 새로운 AR 컨텐츠를 업로드할 수 있을 것이다. 경우에 따라서는 상기 AR 라이브러리(130)는 상기 매핑 장치(120)에 포함된 일종의 내부 메모리(저장 모듈)에 해당할 수도 있다.

도 3은 본 발명의 일 실시예에 따라 AR 라이브러리를 예시적으로 나타내는 도면이다.

상기 AR 라이브러리(130)는 복수의 AR 컨텐츠를 저장할 수 있고, 상기 복수의 AR 컨텐츠는 컨텐츠 저작도구툴을 포함하는 매핑 장치(120)에 의해 조작이 가능할 수 있다. 구체적으로, 상기 복수의 AR 컨텐츠는 AR 라이브러리(130)에 기저장되거나 현장에서 실시간으로 생성될 수 있다. 참고로, 저장된 AR 컨텐츠는 임의의 오브젝트를 대상으로 복수의 방향 중 어느 하나의 방향에서의 단면에 출력될 이미지 또는 영상에 해당할 수 있으며, 대개 제작이 완료된 컨텐츠에 해당할 수 있을 것이다. 또한, 후술하겠지만 매핑 장치(120) 또는 단말 등을 이용하여 상기 복수의 AR 컨텐츠를 컨텐츠 저작도구를 이용하여 오브젝트가 위치한 현장에서 실시간으로 수정/변경할 수도 있다.

본 발명의 일 실시예에 의할 때, 매핑 시스템(100)은 AR 라이브러리(130)가 제공하는 복수의 AR 컨텐츠를 이용하고자 하는 작업자에게 과금을 청구하고, 이에 동의하는 작업자의 매핑 장치(120) 내지 단말 등에 복수의 AR 컨텐츠 이용 권한을 제공할 수 있다. 경우에 따라서는, 복수의 AR 컨텐츠 중 일부(ex 소정 시간 이상의 영상 등)에 대해서만 과금을 청구할 수도 있다.

매핑 시스템(100)은 작업자의 매핑장치(120) 또는 단말(200)로 하여금 오브젝트에 대해 프로젝터(110)에서 출력되는 AR 컨텐츠를 실시간으로 변경하도록 할 수 있다. AR 기반 컨텐츠 3D 매핑 시스템(100)은 작업자로 하여금 AR 라이브러리(130)에 저장된 복수의 AR 컨텐츠 중에서 변경하도록 할 수도 있고, 선택된 어느 하나의 AR 컨텐츠의 색깔, 위치 등을 변경(제한된 범위 내)하도록 할 수도 있다.

AR 라이브러리(130)에 저장된 상기 각각의 AR 컨텐츠들은 스캔 대상인 오브젝트 전체에 대한 디스플레이에 해당할 수도 있지만, 경우에 따라서는 스캔 대상인 오브젝트의 일부에 대한 디스플레이에 해당할 수도 있다. 예를 들어, 사람 모형의 오브젝트가 스캔된 경우, 상기 사람 모형에 입힐 수 있는 옷 또는 모자 등이 사람의 특정 부위에 AR 컨텐츠로서 디스플레이될 수도 있는 것이다.

도 4는 본 발명의 일 실시예에 따라 프로젝터가 AR 컨텐츠를 오브젝트에 출력하기까지의 과정을 나타낸 도면이다.

도 5는 본 발명의 일 실시예에 따라 출력 모듈의 출력 이미지 및 카메라 모듈의 스캔 이미지를 나타내는 도면이다.

우선, 도 5(a)에서 볼 수 있듯이 매핑 시스템(100)의 프로젝터(110)는 출력 모듈을 이용하여 오브젝트의 표면에 대해 스트라이프 패턴 이미지를 출력(S210)할 수 있다.

상기 스트라이프 패턴 이미지는 오브젝트의 표면에 출력되는 이미지로서 제1색의 선(ex 검정색), 제2 색의 선(ex 흰색)이 교차하는 패턴으로 이루어질 수 있다. 또한, 상기 스트라이프 패턴 이미지는 동작하지 않는 이미지 및 동작하는 영상을 모두 포함하는 개념으로서, 즉 줄무늬 패턴에 해당하는 그림, 영상 등을 모두 포함할 수 있다.

참고로, 도 5(a)에서는 출력 모듈(Light Projector)과 카메라 모듈(Camera)가 분리되어 있으나, 대개는 도 5(b)와 같이 출력 모듈(Light Projector)과 카메라 모듈(Camera)이 하나의 프로젝터(110)에 포함되고 프로젝터(110) 내에서 스캔 데이터 및 3D 모델이 생성될 수도 있다.

다음으로, 매핑 시스템(100)의 프로젝터(110)는 카메라 모듈을 이용하여 오브젝트의 표면에 출력된 스트라이프 패턴 이미지를 스캔할 수 있고, 이를 통해 스캔 데이터를 생성(S220)할 수 있다.

도 5(a)에서 확인할 수 있듯이, 오브젝트의 경우 외형적으로 굴곡이 존재할 수 있고 이에 따라 표면에 출력되는 스트라이프 패턴 역시 굴곡이 발생할 수 있다. 참고로, 한 개의 일직선을 출력하는 레이저 등의 경우 일직선에 대해서만 굴곡이 발생하므로, 오브젝트 전체의 3D 모델을 생성하기 위해 오브젝트 또는 레이저 등을 계속해서 회전하거나 움직여야 하였다. 즉, 오브젝트의 3D 모델을 측정하기 위해서는 한 개의 일직선(ex 레이저 등)을 오브젝트의 전면(360도)에 대해 회전시키면서 출력하여 측정해야 하는 것이다.

반면에, 본 발명의 스트라이프 패턴의 경우에는 일정 영역(ex 사각 영역)에 대해 복수의 선을 포함하고 있으므로 해당 영역에 포함된 복수의 선의 굴곡을 나타내고 오브젝트의 3D 모델을 생성을 위한 스캔 데이터를 생성할 수 있다. 즉, 한 개의 레이저 대신 한 번에 여러 갈래의 줄무늬(스트라이프 패턴)를 통해 굴곡을 측정하므로 오브젝트 또는 카메라의 이동 필요성을 최소화하고 빠르게 3D 모델을 위한 스캔 데이터를 생성할 수 있다.

아래에서는 도 6과 함께 스캔 데이터에 대해서 보다 자세히 살펴보도록 하겠다. 도 6은 본 발명의 일 실시예에 따라 스캔 데이터가 생성되는 과정을 나타낸 도면이다.

전술한 바와 같이, 프로젝터(110)의 출력 모듈에서 출력되는 스트라이프 패턴은 제1색(ex 검정색)의 선과 제2색(ex 흰색)의 선이 교차하는 형태로 이루어져 있다. 상기 프로젝터(110)에서는 출력하는 스트라이프 패턴 이미지에 포함된 제1색의 선의 개수 및 제2색의 선의 개수를 순차적으로 증가시킬 수 있다.

구체적으로는 상기 제1색의 선의 개수 및 제2색의 선의 개수 각각은 2^k-1개에 해당할 수 있다. 상기 k는 1이상의 자연수이므로 제1색의 선, 제2색의 선 각각의 개수는 1, 2, 4, 8, 16, 32 순으로 증가할 수 있을 것이다. 예를 들어, 1차적으로 출력되는 스트라이프 패턴에는 제1색, 제2색의 선이 각각 1개씩이고, 2차적으로 출력되는 스트라이프 패턴에는 제1색, 제2색의 선이 각각 2개씩, 3차적으로 출력되는 스트라이프 패턴에는 제1색, 제2색의 선이 각각 4개씩이 될 수 있는 것이다.

상기 스트라이프 패턴 이미지에 포함된 제1색 및 제2색의 선의 개수의 최대값은 스캔 기능을 수행하는 카메라 모듈의 성능 내지 오브젝트의 크기에 따라 달라질 수 있다. 즉, 성능이 좋은 카메라 모듈에 해당할수록 제1색 및 제2색 선의 개수의 최대값이 더 크고, 오브젝트의 크기가 클수록 제1색 및 제2색 선의 개수의 최대값이 더 클 수 있다.

매핑 시스템(100)은 스캔 이미지 상의 상기 제1색의 선의 개수 및 제2색의 선의 개수가 증가됨에 따라 오브젝트 상의 특정 지점에 출력되는 색깔의 변화 추이를 특정 지점의 스캔 데이터로 포함하여 생성할 수 있다. 상기 스캔 데이터를 생성하는 과정은 스캔 데이터를 획득한 프로젝터(110) 내부에서 진행될 수도 있고, 경우에 따라서는 스캔 데이터를 전달받은 매핑 장치(120)에서 진행될 수도 있다.

도 6에서 볼 수 있듯이, 매핑 시스템(100)은 스트라이프 패턴 내 선의 개수를 증가시키면서 각각에 대해 스캔 이미지를 획득할 수 있다. 이때, 어느 하나의 특정 지점(도 6에서는 흰원)을 기준으로 살펴보면, 1차 이미지에서는 특정 지점이 검정색(제1색), 2차 이미지에서는 특정 지점이 흰색(제2색), 3차 이미지에서는 특정 지점이 검정색(제1색), 4차 이미지에서는 특정 지점이 흰색(제2색), 5차 이미지에서는 특정 지점이 검정색(제1색), 6차 이미지에서는 특정 지점이 검정색(제1색), 7차 이미지에서는 특정 지점이 검정색(제1색), 8차 이미지에서는 특정 지점이 흰색(제2색)인 것을 확인할 수 있다.

결국, 특정 지점에서의 스트라이프 패턴 내 출력되는 색깔의 변화 추이를 살펴보면, 검정색, 흰색, 검정색, 흰색, 검정색, 검정색, 검정색, 흰색이 반복되며, 검정색을 '0', 흰색을 '1'로 표기하면 특정 지점의 스캔 데이터는 '01010001'로 설정될 수 있고, stripe 81(2진수인 01010001을 10진수로 나타낸 값)로 나타낼 수도 있다.

결국, 스캔 데이터를 이용하여 가상 공간에서의 오브젝트(3D 모델)를 나타낼 수 있을 것이다. 오브젝트에 포함된 복수의 지점 각각에 대해서 상기 스캔 데이터를 획득하는 경우, 상기 복수의 지점 각각의 굴곡의 형태 등을 확인할 수 있고 오브젝트 전체의 외형까지 확인할 수 있기 때문이다. 위와 같이, 스트라이프 패턴을 이용하는 방식은 일종의 구조광 방식에 해당하며, 본 발명에서는 이를 통해 오브젝트의 외형을 확인할 수 있다.

또한, 다른 실시예에 의할 때, QR 코드와 체스보드를 합쳐서 만들어진 차르코 보드(Charuco board)를 이용할 수도 있다. 도 11은 일 실시예에 따라 3차원 모델 생성을 위한 차르코 보드를 나타낸 도면이다.

상기 차르코 보드를 이용하면 일반 체스보드를 이용한 방식들 보다 빠르게 보드 내부의 코너 좌표를 찾을 수 있다. 도 11(a)는 차르코 보드이고 도 11(b)는 차르코 보드에서 내부 코너를 추정한 것으로 이에 대한 월드 좌표계가 표시되어 있다.

먼저, RGB-D 카메라를 이용하여 3차원 모델을 생성하기 위해 각 카메라에서 체스보드를 촬영한 RGB 이미지를 획득할 수 있다. 상기 이미지를 이용하여 초기 좌표변환 파라미터를 계산하며, 상기 RGB 영상에서 검출한 차르코 보드 내부 코너에 대해 3차원 좌표(픽셀 좌표)를 획득할 수 있다.

깊이 영상과 RGB영상간의 캘리브레이션(calibration)을 진행하고, 깊이 영상에서 내부 코너의 픽셀값에 해당하는 위치의 깊이 값을 이용하여 3차원 좌표를 구할 수 있다. 이때, 깊이 이미지를 이용하여 카메라마다 포인트 클라우드를 생성할 수 있고, 획득한 포인트 클라우드에서 저장해 둔 체스보드의 내부 코너 픽셀 좌표의 3차원 좌표에 대해 반복적인 연산을 수행하여 좌표들 사이의 거리가 최소화되는 좌표변환 파라미터를 획득할 수 있다. 즉, 카메라끼리의 매칭점을 이용하여 포인트 클라우드 정합을 위한 좌표변환 파라미터를 획득할 수 있는 것이다. 다음으로, 오브젝트 메쉬 데이터와 포인트 클라우드를 클라우드 연산을 통해 매칭하고, 결국은 오브젝트의 외형을 확인할 수 있을 것이다.

참고로, 차르코 보드 등을 이용한 3D 매핑과 관련해서는 “체적형 객체 촬영을 위한 RGB-D 카메라 기반의 포인트 클라우드 정합 알고리즘(방송공학회논문지 제24권 제5호, 2019년 9월)” “다시점 RGB-D 카메라를 이용한 실시간 3차원 체적 모델의 생성(방송공학회논문지 제25권 제3호, 2020년 5월)” 등이 고려될 수 있다.

매핑 시스템(100)은 오브젝트에 포함된 복수의 지점 각각에 대해 상기 스캔 데이터를 생성하고, 이에 기반하여 오브젝트에 대응하는 매핑영역을 연산할 수 있다. 상기 매핑영역을 연산하는 과정도 매핑 장치(120) 또는 프로젝터(110)에서 수행될 수 있다.

상기 매핑영역은 오브젝트의 표면 전체 중 일부 표면에 해당하며 상기 프로젝터(110)의 출력 모듈 내지 카메라 모듈을 이용하여 스캔 데이터를 획득가능한 영역에 해당할 것이다. 즉, 상기 매핑영역은 오브젝트의 표면 전체(360도) 중 프로젝터(110)의 출력 모듈의 스트라이프 패턴이 출력되는 영역이거나, 오브젝트의 표면 전체(360도) 중 프로젝터(110)의 카메라 모듈의 스캔이 가능한 영역을 의미할 수 있다.

상기 스트라이프 패턴을 출력하는 출력 모듈 및 스캔 이미지를 획득하는 카메라 모듈은 상기 프로젝터(110)의 내부에 함께 포함될 수 있으며, 대개 도 5(b)에서 보는 바와 같이 같은 선상의 다른 위치에 포함될 수 있다. 즉, 출력 모듈 및 카메라 모듈이 오브젝트를 바라보며 일렬로 위치할 수 있는 것이다.

다음으로, 매핑 시스템(100)은 매핑영역에 매핑된 이미지 또는 영상을 오브젝트에 대한 AR 컨텐츠로서 AR 라이브러리(130)에 업데이트하거나 출력용 프로젝터를 통해 상기 오브젝트에 AR 컨텐츠를 출력할 수 있다(S230).

일 실시예에 의할 때, 상기 출력용 프로젝터(110)는 전술한 스캔 데이터를 생성하는 프로젝터(110)에 해당할 수 있다. 즉, 오브젝트가 위치한 현장에서 프로젝터(110)가 스캔 데이터를 생성하여 3D 모델을 형성하고 매핑영역을 연산하며, 연산된 매핑영역에 실시간으로 AR 컨텐츠를 출력하는 과정을 모두 수행할 수 있는 것이다.

또한, 다른 실시예에 의할 때, 상기 출력용 프로젝터(110)는 스캔 데이터가 생성된 후 AR 컨텐츠만을 출력하는 프로젝터(110)에 해당할 수도 있다. 즉, 이미 기존의 프로젝터(110)가 오브젝트에 대한 스캔 데이터 등을 생성하여 3D 모델을 형성하며 AR 컨텐츠까지 모두 생성된 상태에서, 현장에 위치한 출력용 프로젝터(110)가 AR 컨텐츠를 출력할 수도 있는 것이다.

매핑 시스템(100)의 매핑 장치(120)는 산출된 매핑영역에 매핑하도록 영상 내지 이미지 등을 편집할 수 있고 상기 편집된 영상 내지 이미지가 AR 컨텐츠에 해당할 것이다. 상기 AR 컨텐츠는 상기 AR 라이브러리(130)에 저장되거나, 출력용 프로젝터(110)를 통해 오브젝트에 출력될 수 있다. 상기 AR 컨텐츠는 아파트 모형의 오브젝트에 출력되는 아파트 단지 영상, 나무 모형의 오브젝트에 출력되는 벚꽃 나무 이미지 등 다양한 영상 내지 이미지를 포함할 수 있다.

하나의 프로젝터(110)를 이용하여 오브젝트에 대한 매핑영역을 연산하는 경우, 해당 프로젝터(110) 방향의 단면에 대해서만 매핑영역 연산이 가능할 수 있다. 이에 따라, 본 발명에서는 복수의 프로젝터(110)를 이용하여 매핑영역을 연산하는 프로세스를 고려할 수 있고, 도 7 내지 도 8과 함께 살펴보도록 하겠다.

도 7은 본 발명의 일 실시예에 따라 오브젝트를 기준으로 복수의 프로젝터가 출력하는 모습을 예시적으로 나타낸 도면이다.

도 8은 본 발명의 일 실시예에 따라 오브젝트를 기준으로 2개의 프로젝터가 출력하는 모습을 예시적으로 나타낸 도면이다.

우선, 복수 개의 프로젝터(110)가 존재하고, 상기 복수 개의 프로젝터는 제1 프로젝터 및 제2 프로젝터를 포함한다고 상정할 수 있다.

매핑 시스템(100)은 상기 제1 프로젝터를 이용하여 상기 오브젝트를 기준으로 제1 방향에서의 제1 스캔 데이터를 생성하고, 상기 제2 프로젝터를 이용하여 상기 오브젝트를 기준으로 제2 방향에서의 제2 스캔 데이터를 생성할 수 있다.

즉, 매핑 시스템(100)은 제1 프로젝터의 출력 모듈을 이용하여 오브젝트를 기준으로 제1 방향에서 스트라이프 패턴을 출력하고, 제1 프로젝터의 카메라 모듈을 이용하여 제1 방향에서 제1 스캔 데이터를 생성할 수 있다. 또한, 매핑 시스템(100)은 제2 프로젝터의 출력 모듈을 이용하여 오브젝트를 기준으로 제2 방향에서 스트라이프 패턴을 출력하고, 제2 프로젝터의 카메라 모듈을 이용하여 제2 방향에서 제2 스캔 데이터를 생성할 수 있다. 매핑 시스템(100)은 상기 제1 스캔 데이터 및 상기 제2 스캔 데이터 등을 통해 3D 모델을 형성할 수 있을 것이다.

또한, 매핑 시스템(100)의 제1 프로젝터 또는 매핑 장치(120)는 제1 스캔 데이터를 기초로 오브젝트의 제1 매핑영역을 연산하고, 제2 프로젝터 또는 매핑 장치(120)가 제2 스캔 데이터를 기초로 오브젝트의 제2 매핑영역을 연산할 수 있다. 제1 매핑영역, 제2 매핑영역 하나씩은 어느 하나의 방향의 단면(굴곡, 외형 등을 나타냄)에만 해당하나, 상기 복수의 매핑영역은 오브젝트의 전체 표면을 커버하므로 이를 통해 상기 오브젝트의 3D 모델(굴곡, 외형 등을 나타냄)을 추출할 수 있을 것이다.

구체적으로, 오브젝트를 기준으로 제1 방향에 출력용 프로젝터가 존재하고, 상기 출력용 프로젝터는 제1 매핑영역에 제1 AR 컨텐츠를 출력한다고 상정할 수 있다. 참고로, 본 발명에서 고려되는 프로젝터(110, 출력용 프로젝터도 포함됨)들은 자이로스코프, GPS 센서 등 자세 내지 위치 등을 감지하는 변화감지센서를 포함하고 있다.

이때, 출력용 프로젝터에 포함된 센서를 통해 오브젝트와 출력용 오브젝터의 상대적 위치에 변화가 발생하여 오브젝트를 기준으로 제2 방향에 출력용 프로젝터가 위치한다는 변경 정보를 감지한 경우, 매핑 시스템(100)은 변경 정보에 기초하여 출력용 프로젝터로 하여금 제2 매핑영역에 제2 AR 컨텐츠를 출력하도록 할 수 있다.

예를 들면, 출력용 프로젝터의 출력 방향이 오브젝트(ex 나무 형상)의 제1 매핑영역(ex 나뭇잎 영역)이고, 이에 대해 나뭇잎 이미지를 출력하고 있는 중에 출력용 프로젝터의 각도가 변경되어 출력 방향이 제2 매핑영역(ex 나무 기둥 영역)으로 변경될 수 있다. 이때, 매핑 시스템(100)은 상기 변경 정보를 감지하고, 이를 기초로 출력용 프로젝터로 하여금 제2 매핑영역에 나무 기둥 이미지를 출력하도록 할 수 있다.

위 실시예는 오브젝트에 대해 복수의 방향(제1, 2 방향 등)으로 스캔/뎁스 추출/매핑 프로세스가 이루어져, 복수의 방향 각각에 대해 AR 컨텐츠(제1 특정 AR 컨텐츠, 제2 특정 AR 컨텐츠)가 생성되어 있고, AR 라이브러리(130)에 기저장되어 있기 때문에 가능할 것이다.

상기 복수의 방향에서 출력하는 프로젝터와 관련하여 도 7 및 도 8과 함께 다시 살펴보도록 하겠다.

도 7은 본 발명의 일 실시예에 따라 오브젝트를 기준으로 복수의 프로젝터가 출력하는 모습을 예시적으로 나타낸 도면이다.

도 8은 본 발명의 일 실시예에 따라 오브젝트를 기준으로 2개의 프로젝터가 출력하는 모습을 예시적으로 나타낸 도면이다.

도 7에서는 직육면체 형상의 오브젝트 하나만을 나타내고 있고, 도 8에서는 삼각뿔 및 직육면체가 합쳐진 형상의 오브젝트 하나만을 나타내고 있다. 상기 도면들과 달리, 상기 스캔되는 대상은 다양한 형상의 오브젝트(ex 단순 벽면, 나무 형상의 오브젝트, 바위 형상의 오브젝트, 마네킹 형상의 오브젝트 등), 복수의 오브젝트를 포함하는 배경 등도 포함할 수 있다.

도 7에서 볼 수 있듯이, 프로젝터(110)는 오브젝트를 기준으로 복수의 방향 각각에서 상기 오브젝트를 포함하는 배경에 대해 스캔 및 캘리브레이션(Calibration)을 수행할 수 있다. 여기서, 캘리브레이션은 배경에 포함된 오브젝트들을 보다 잘 표현하기 위한 교정 과정을 의미할 수 있다.

설명의 편의상 상기 복수의 방향이 적어도 제1 방향 및 제2 방향을 포함하고 있다고 할 수 있고, 도 8에서 볼 수 있듯이 상기 방향 각각은 오브젝트를 시작점(기준)으로 가리키는 방향을 의미할 수 있다. 물론, 경우에 따라서는 프로젝터(110)를 시작점(기준)으로 방향 각각을 설정할 수도 있을 것이다.

이때, 프로젝터(110)는 상기 제1 방향에서 스캔한 상기 오브젝트에 대해 스캔 데이터를 생성하고, 이에 기반하여 제1 매핑영역을 연산할 수 있다. 또한, 프로젝터(110)는 상기 제2 방향에서 스캔한 상기 오브젝트에 대해 스캔 데이터를 생성하고, 이에 기반하여 제2 매핑영역을 연산할 수 있다.

구체적으로, 프로젝터(110)는 오브젝트를 기준으로 제1 방향에서 배경 이미지를 획득(스캔)할 수 있고, 배경에 포함된 오브젝트에 대한 제1 매핑영역(ex 사각형 및 삼각형)에서 스캔 데이터 즉, 뎁스(depth) 데이터를 추출할 수 있다.

상기 뎁스는 프로젝터(110)와 오브젝트 사이의 거리 등을 고려한 데이터로 입체적인 효과를 제공하고 3D 모델을 추출할 수 있도록 할 수 있다. 결국, 프로젝터(110)는 상기 제1 매핑영역에서 추출한 뎁스를 이용하여 제1 방향에 대응하는 오브젝트의 3D 모델(가상 공간에서 점, 선, 면으로 표현됨)을 추출할 수 있는 것이다.

또한, 프로젝터(110)는 오브젝트를 기준으로 제2 방향에서 대응하는 오브젝트의 3D 모델(가상 공간에서 점, 선, 면으로 표현됨)을 추출하기 위하여 제2 방향에서 스캔한 배경 이미지 중 오브젝트에 대한 제2 매핑영역(ex 사각형 및 삼각형)에서 추출한 뎁스를 이용할 수도 있다.

상기 도 8과는 다르게 상기 제1 방향에 해당하는 오브젝트의 모습과 상기 제2 방향에 해당하는 오브젝트의 모습이 각각 상이한 경우, 더 많은 방향에서 각각의 3D 모델을 추출하는 것이 오브젝트의 모습을 나타내는 것에 더욱 효과적일 수 있을 것이다.

위에서는 제1 방향 및 제2 방향에 대해서만 서술하였으나, 이에 한정되지 않고 추가적인 여러 다른 방향에서 상기 오브젝트에 대해 스캔하고, 3D 모델을 추출할 수도 있을 것이다. 여러 방향에서의 모델을 추출할수록 360도 전체를 고려하는 정확한 3D 모델이 획득될 수 있을 것이다. 따라서, 오브젝트 또는 프로젝터(110)의 위치 및 방향이 변경되어도 변경된 각도에 대응하는 AR 컨텐츠를 오브젝트에 재맵핑이 바로 가능한 것이다.

상기 프로젝터(110)가 오브젝트에 대해 스캔 데이터(뎁스) 등을 연산하여 3D 모델을 추출하는 과정은 프로젝터(110)가 설치된 현장에서 실시간으로 진행될 수 있으며, 추출된 3D 모델은 매핑 장치(120)에 전달될 수 있고, AR 라이브러리(130)에 업로드될 수도 있다.

참고로, 상기 도 7 및 도 8에서 진행되는 복수의 방향(다중 채널)에서의 3D 모델 추출 과정은 단일 프로젝터(110)에 의해 위치 및 방향을 변경하면서 수행될 수도 있고, 복수의 방향 각각에 대해 복수의 프로젝터(110)를 이용할 수도 있다.

한편, 프로젝터(110)의 스캔 방식은 다양한 방식을 채택할 수 있다. 접촉식 3D 스캔 방식, 장거리, 중단거리 및 단거리 비접촉식 3D 스캔 방식을 이용할 수도 있고, 구체적인 측정 스캐너 및 스캔 방식으로 Touch Prove를 이용한 인코딩 방식, 레이저 방식 3차원 스캐너(TOP(Time of Flight) 방식, Phase-shift 방식, Online Waveform Analysis 방식, 광 삼각법 방식), 광학방식 3차원 스캐너(백색광 방식, 변조광 방식), PHOTO, 광학방식 3차원 스캐너(Handheld Real Time 방식), 광학방식, 레이저 방식(Pattern Projection 방식, Line Scanning 방식), 사진방식 스캐너(Photogrammetry 방식), Real Time 스캐너(Kinect Fusion 방식) 중 적어도 어느 하나를 이용할 수도 있다. 본 발명의 일 실시 예에 따르면, 상기 프로젝터(110)는 레이저 스캔 방식으로 레이저를 조사하고 회신되는 레이저를 통해 특정 좌표까지의 거리를 측정해 특정 포인트의 좌표를 생성하고, 이를 취합해 배경좌표를 포함하는 스캔데이터를 생성할 수도 있다.

본 발명에서 서술하는 상기 배경은 단순히 주위 공간뿐만 아니라 다양한 오브젝트를 포함할 수 있다. 여기서, 오브젝트는 나무, 바위 등의 자연물, 마네킹, 조각상, 모형 등의 인공물, 건물 외관 등 다양할 수 있으며, 현실적으로 존재하는 오브젝트(물체)면 모두 본 발명의 배경으로 포함될 수 있다. 또한, 상기 배경은 하나의 오브젝트를 의미할 수도 있지만, 복수의 오브젝트를 의미할 수도 있다.

본 발명의 다른 실시 예에 따르면, 전술한 바와 같이 상기 프로젝터(110)는 상기 배경을 4분할하여 스캔할 수 있다. 상기 프로젝터(110)는 상기 배경을 스캔하여 3D 스캔데이터를 생성할 때 스캔 시간 및 랜더링 시간을 중첩시켜 시간을 단축하여 가장 효율적으로 스캔을 수행할 수 있다. 참고로, 상기 배경(오브젝트 포함)은 4분할 이상으로 구분하여 스캔할 수 있으며, 이는 배경 또는 오브젝트의 종류 등 경우에 따라 달라질 수 있다.

이때, 프로젝터(110)는 시작점 및 종료점으로 사용될 수 있는 기준 점을 지정할 수 있다. 상기 프로젝터(110)는 적어도 하나 이상의 상기 기준점을 지정할 수 있다. 바람직하게는 상기 프로젝터(110)는 3~4개의 상기 기준점을 지정할 수 있다. 상기 프로젝터(110)는 상기 기준점 중 하나를 시작점으로 선택하여 스캔을 시작할 수 있다. 상기 프로젝터(110)는 상기 기준점 중 하나를 종료점으로 선택하여 상기 시작점에서 상기 종료점 방향으로 스캔할 수 있다. 상기 프로젝터(110)는 상기 기준점 중 상기 시작점 및 상기 종료점과 나머지 기준점을 꼭지점으로 하는 영역을 스캔할 수 있다. 상기 프로젝터(110)는 상기 분할하여 스캔한 결과를 조합하여 상기 오브젝트의 3D 모델을 생성할 수 있는 것이다.

또한, 본 발명의 다른 실시예에 의할 때 상기 프로젝터(110)는 분할된 영역을 결합하여 상기 배경의 3D 이미지를 생성할 수 있다. 상기 프로젝터(110)는 분할된 상기 영역 중 중심으로 선택한 영역을 중심영역이라고 하고 인접한 영역을 인접영역, 상기 중심영역의 스캔 결과에서 인접영역을 스캔한 부분을 초과 영역이라고 할 때, 상기 초과 영역 및 상기 인접영역의 복수의 법선 벡터를 추출하고, 복수의 상기 법선벡터가 일치하는 부분을 합치시켜 상기 중심영역과 상기 인접영역을 결합할 수 있다. 상기 프로젝터(110)는 상기 인접영역의 초과영역과 상기 중심영역의 법선벡터를 비교하여 상기 결합의 타당성을 검증할 수 있다. 상기 타당성 검증 결과 결합이 잘못된 경우 상기 프로젝터(110)는 상기 중심영역을 다른 인접영역과 결합할 수 있다.

다음으로, 매핑 장치(120)는 상기 스캔 데이터에 기반해 매핑영역을 연산할 수 있다. 여기서, 매핑 장치(120)는 프로젝터(110)와 연동되어 작업자의 조작(마스킹, 매핑 등)이 가능한 장치로서 PC, 모바일 단말 등 다양한 기기에 해당할 수 있다. 상기 매핑영역은 AR 컨텐츠가 출력될 영역을 의미하며 대개 특정 각도에서 바라본 배경(오브젝트)의 단면을 의미할 수 있다.

구체적으로, 매핑 장치(120)는 오브젝트의 3D 모델을 나타내는 스캔 데이터를 기초로 하여 배경 이미지 중 오브젝트를 나타내는 영역(매핑 영역)에 대해서 마스킹(ex 베이어 커브 마스킹, 마스크 밸류 등)을 수행할 수 있다. 즉, 오브젝트를 나타내는 영역만을 배경 이미지에서 분리하여 선택할 수 있는 것이다. 매핑 장치(120)는 상기 마스킹한 영역(매핑 영역)에 대한 정보를 상기 AR 라이브러리(130)에 업로드할 수 있다.

또한, 매핑 장치(120)는 마스킹된 영역에 대해 선택한 이미지 또는 영상 등을 매핑할 수 있다. 상기 이미지 또는 영상은 작업자가 새로이 획득할 수도 있지만, 상기 AR 라이브러리(130)에 업로드되어 있던 AR 컨텐츠 중 어느 하나에 해당할 수도 있다.

구체적으로, 매핑 장치(120)는 획득한 3D 모델을 기초로 작업자로 하여금 AR 라이브러리(130)에 저장되어 있던 AR 컨텐츠 또는 직접 획득한 이미지, 영상 등에 대해 실시간으로 수정/변경을 할 수 있도록 지원할 수 있다. 상기 매핑 장치(120) 역시 상기 프로젝터(110)와 마찬가지로 현장에 위치할 수 있으므로, 오브젝트(배경)에 대해 실시간으로 스캔, 매핑 등이 이루어질 수 있다.

AR 라이브러리(130)에는 복수의 AR 컨텐츠가 존재(도 3 참조)하고 지속적으로 업데이트될 수 있다. 상기 AR 컨텐츠는 이미지, 영상, 패턴 등 프로젝터(130)가 출력할 수 있는 모든 디스플레이적 요소를 의미하며, AR 라이브러리(130)에서는 복수의 AR 컨텐츠들을 테마/카테고리 별로 다양하게 저장하고 관리할 수 있으며, 이에 따라 매핑 장치(120) 등에서 작업자가 매핑 작업시 필요한 컨텐츠를 용이하게 선택할 수 있다.

또한, 상기 AR 라이브러리(130)는 여러 복수의 오브젝트 각각에 대한 AR 컨텐츠를 포함할 수 있다. 예를 들어, 오브젝트가 로봇 모형인 경우 AR 컨텐츠는 건담 형상의 이미지가 될 수 있고, 오브젝트가 빌딩 모형인 경우 AR 컨텐츠는 빌딩이 햇빛에 반사되는 영상 등에 해당할 수 있다.

또한, AR 라이브러리(130)는 오브젝트 각각을 기준으로 복수의 방향 중 어느 하나의 방향에서의 오브젝트의 단면에 출력될 이미지 또는 영상에 해당하는 AR 컨텐츠를 포함할 수도 있다. 예를 들어, 마네킹 모형의 오브젝트가 존재하는 경우, 사람의 정면 이미지, 사람의 옆면 이미지, 사람의 뒷면 이미지 등이 AR 컨텐츠에 포함될 수 있는 것이다.

또한, 일 실시예에 의할 때, AR 라이브러리(130)에 포함된 복수의 AR 컨텐츠 중 일부를 매핑 장치(120)가 작업자에게 제안할 수 있다. 예를 들어, 매핑 대상인 오브젝트가 위치하는 상황(ex 계절, 날씨, 장소 등), 오브젝트와 관련 이용 고객들의 정보(ex 연령대, 성별, 감성 정보 등)에 따라 맞춤형 AR 컨텐츠를 일부 제안하고, 매핑되도록 지원할 수 있다. 예를 들어, 오브젝트가 위치하는 곳에서의 날씨가 안개가 있다면, AR 라이브러리(130)는 시각적으로 보다 선명한 AR 컨텐츠들을 제안할 수 있고, 오브젝트와 관련 이용 고객들의 성별 대다수가 여성이라면, 보다 화려한 색상(ex 1개의 이미지에 3개 이상의 색상 포함)을 가지는 이미지를 AR 컨텐츠로서 제안할 수 있는 것이다.

한편, 오브젝트의 모션 및 프로젝터(110)의 모션 각각의 변화를 감지가능한 변화감지센서는 상기 프로젝터(110)와 연결되어 통신을 수행하거나, 상기 프로젝터(110)의 내부에 포함될 수 있다.

상기 변화감지 센서는 상기 오브젝트 및 프로젝터(110) 사이의 거리, 각도 등의 변화 발생 여부를 감지할 수 있다. 상기 오브젝트에 변화가 발생하여 좌표(오브젝트와 프로젝트 사이의 상대적 좌표)가 변경된 상태에서 기설정된 좌표대로 AR 컨텐츠를 출력하면 영상이 왜곡된 AR 컨텐츠가 출력될 수 있어, 상기 변화감지 센서는 이러한 변화를 감지하고 상기 프로젝터(110) 및 상기 매핑 장치(120)에 상기 오브젝트의 재스캔 및 오브젝트 좌표의 재연산을 요청할 수 있다. 상기 변화감지 센서는 시간의 흐름에 따라 상기 배경의 변화를 감지하여, 상기 배경의 재스캔 및 상기 AR 컨텐츠를 매핑할 배경 좌표를 재연산 요청할 수 있다. 예를 들어, 상기 변화감지센서는 상기 1초 간격으로 상기 배경 이미지에서 특징을 추출해 변화 발생 여부를 감지할 수 있다.

또한, 상기 변화감지센서는 배경의 변화 발생 여부만이 아니라 AR 컨텐츠를 출력하는 프로젝터(110)의 변화 발생 여부(ex 프로젝터(110)가 기울어지는 경우, 프로젝터(110)가 이동하는 경우 등)도 감지할 수 있다. 또는, 프로젝터(110)에서 출력된 AR 컨텐츠의 위치 등의 변화(ex 오브젝트를 기준으로 이동 방향, 이동한 거리 등)를 감지할 수 있을 것이다.

즉, 프로젝터(110)의 위치 내지 각도 등이 변화되는 경우 출력되는 AR 컨텐츠 역시 위치 내지 각도가 변경될 수밖에 없고, 이를 변화감지센서에서 감지할 수 있는 것이다. 따라서, 프로젝터(110)의 무게에 의해 카메라 각도가 기울어져 AR 컨텐츠가 부정확한 위치에 출력되는 경우에도, 변화감지센서에서는 이를 감지할 수 있고 배경(오브젝트)에 대해 정확한 위치에 AR 컨텐츠가 출력되도록 지원할 수 있다.

상기 변화감지센서는 상기 배경의 이미지를 CNN(Convolutional Neural Network)에 통과시켜 특징을 추출하고, 추출된 특징에서 변화가 감지되는 경우 상기 프로젝터(110)로 하여금 상기 오브젝트를 재스캔하도록 하고, 상기 매핑 영역(즉, 배경좌표)을 재연산하도록 요청할 수 있다. 상기 변화감지센서는 상기 배경의 이미지를 캡쳐할 수 있다. 상기 변화감지센서는 캡쳐한 상기 이미지를 상기 CNN에 통과시켜 특징을 추출할 수 있다. 상기 변화감지센서는 일정 시간 간격으로 상기 오브젝트의 이미지를 획득해 CNN에 통과시켜 특징을 추출할 수 있다. 상기 변화감지센서는 반복적으로 상기 배경 이미지에서 추출된 특징을 이전에 추출된 특징과 비교해 변화 발생 여부를 감지할 수 있다.

참고로, 매핑 장치(120)와는 별개로 사용자의 단말(200)이 존재할 수 있는데, 상기 사용자의 단말(200)은 프로젝터(110), AR 라이브러리(130) 등과 연동되어 정보를 송수신하거나, 명령을 내릴 수 있다. 또한, 사용자가 상기 프로젝터(110)가 설치된 현장에 위치하지 않고서도, AR 컨텐츠 관련 명령 메시지를 전달할 수 있다. 즉, 모바일 등을 통해 작업자는 간편하게 실시간으로 프로젝터(110)에서의 출력을 제어할 수 있는 것이다.

위에서는 사용자의 단말(200)을 매핑 장치(120)와 별개로 보았으나, 상기 사용자의 단말(200)과 매핑 장치(120)는 하나의 기기에 해당할 수도 있다. 즉, 매핑 장치(120) 또는 사용자의 단말(200)이 하나의 기기로서 오브젝트에 대해 마스킹, 매핑, 제어 등의 프로세스를 진행할 수 있는 것이다.

도 9는 본 발명의 일 실시예에 따라 오브젝트의 모션에 따라 AR 컨텐츠가 변경되는 모습을 나타낸 도면이다.

첫번째 사진은 프로젝터(110)에 의해 출력되기 전의 모습을 나타낸 것으로 오브젝트의 형상만을 나타내고 있다. 상기 오브젝트는 노트르담 대성당의 형상을 가지고 있다.

두번째 사진은 프로젝터(110)에 의해 어느 일방향(ex 제1 방향)으로 AR 컨텐츠가 출력되는 모습을 나타내고 있다. 상기 AR 컨텐츠(ex 제1 특정 AR 컨텐츠)는 오브젝트의 일방향에 대응하도록 노트르담 대성당의 지붕, 창문, 뾰쪽 탑 등의 이미지를 나타내고 있다.

세번째 사진은 오브젝트의 위치(또는 각도)가 변경된 모습을 나타낸 것으로서, 오브젝트의 형상과 프로젝션(110)에서 출력되는 AR 컨텐츠가 매칭되지 않는 모습을 나타내고 있다. 출력되는 지붕, 창문, 뾰쪽 탑 등의 위치가 오브젝트와 매칭되지 않고, AR 컨텐츠의 일부(도면상 원으로 표현)는 오브젝트 밖에 출력되고 있다.

네번째 사진은 변화감지센서를 통해 오브젝트의 모션에 변화가 발생하였음을 감지하고, 변경된 오브젝트의 위치(좌표)에 대응하는 방향에 따라 프로젝터(110)를 통해 AR 컨텐츠(ex 제2 특정 AR 컨텐츠)를 출력하는 모습을 나타내고 있다. 이때의 AR 컨텐츠는 기존 출력 AR 컨텐츠(ex 제1 특정 AR 컨텐츠)와는 상이하며, 각각 서로 다른 각도에서의 노트르담 대성당을 나타내는 이미지에 해당할 수 있다. 물론, 상기 제1 특정 AR 컨텐츠 및 제2 특정 AR 컨텐츠는 미리 생성되어 AR 라이브러리(130)에 저장된 AR 컨텐츠에 해당할 수도 있고, 현장에서 미리 생성된 AR 컨텐츠일 수도 있을 것이다.

결국, 도 9의 4개의 사진은 오브젝트 또는 프로젝터(110) 등의 모션 변화에도 변화감지센서를 통해 변경된 오브젝트의 모션(ex 위치, 자세)에 매칭하는 AR 컨텐츠를 출력하는 과정을 나타내고 있다.

또 다른 실시예에 의할 때, 프로젝터(110)가 출력 중인 상태에서, 상기 매핑 장치(120)는 연산된 매핑 영역의 좌표를 산출할 수 있다. 또한, 상기 매핑 장치(120)는 상기 프로젝터(110)로부터 상기 오브젝트 (배경)까지의 거리에 따른 평면 출력되는 영상의 영상좌표 및 출력되는 영상의 왜곡 정도를 계산할 수 있다.

상기 매핑 장치(120)는 상기 영상의 왜곡이 최소화되도록 상기 오브젝트의 좌표와 매칭되는 평면 출력되는 영상의 영상좌표를 평면출력 기준상에서 이동시킬 수 있고, 이들이 일치하도록 설정할 수 있다. 예를 들어, 상기 오브젝트좌표(배경좌표)와 매칭되는 상기 영상좌표가 (122, 67)인데, 왜곡을 최소화하기 위해서 평면상에서 (115, 73)으로 이동해야 한다면, 상기 (115, 73)를 매칭될 좌표로 설정하고, 상기 (122, 67) 좌표를 상기 (115, 73) 좌표로 이동시키면서 주변의 영상도 상기 영상좌표가 상기 매칭되는 좌표로 이동함에 따른 변화를 반영하여 출력될 수 있다. 상기 매핑 장치(120)가 상기 매칭되는 좌표를 연산하면, 상기 출력영상의 영상좌표는 1 대 1 대칭되는 상기 매칭되는 좌표로 이동될 수 있다.

또한, 상기 프로젝터(110)는 상기 AR 컨텐츠를 출력할 수 있다. 상기 AR 컨텐츠는 일정한 간격으로 구분되는 x축 및 y축 좌표로 표시되는 영상좌표를 포함할 수 있다. 상기 프로젝터(110)는 상기 AR 컨텐츠의 영상좌표를 상기 오브젝트(배경)좌표에 맞춰 이동시킨 상태로 출력할 수 있다. 이때, 상기 AR 컨텐츠는 평면상에서는 왜곡된 형태이나 상기 오브젝트좌표(배경좌표)에 출력되면 정상적인 AR 컨텐츠 영상으로 출력될 수 있다.

또한, 오브젝트의 위치 또는 자세 등이 변경된 경우, 프로젝터(110)에서는 상기 오브젝트에 대해 재스캔하고, 상기 매핑 장치(120)는 재스캔한 데이터에서 오브젝트의 외형을 나타내는 상기 오브젝트좌표(배경좌표)의 변화량에 따라 상기 매핑좌표의 재연산 필요 여부를 결정할 수 있다. 참고로, 상기 오브젝트좌표는 스캔한 오브젝트의 외곽 라인에 위치한 임의의 소정 지점을 의미하며 개수 역시 설정에 따라 달라질 수 있다.

상기 매핑 장치(120)는 상기 재스캔한 스캔데이터에 따른 상기 오브젝트좌표(배경좌표)의 변화에 따른 상기 AR 컨텐츠의 왜곡 정도가 다시 오브젝트좌표(배경좌표)를 연산할 필요가 있는지 여부를 판단할 수 있다. 상기 매핑 장치(120)는 상기 재스캔한 스캔데이터상에서 변화가 발생한 상기 오브젝트좌표(배경좌표)의 수가 7개 이상인 경우 상기 오브젝트좌표(배경좌표)의 재연산이 필요하다고 판단할 수 있다. 상기 매핑 장치(120)는 변화가 발생한 상기 오브젝트좌표(배경좌표)의 수가 7개 이하인 경우에도 어느 하나의 상기 오브젝트좌표(배경좌표)의 변화량의 최대치가 인접한 두개의 오브젝트좌표(배경좌표)간 최단거리의 절반 이상인 경우(수식 {|a - b| / 2 < = α} 을 만족하는 경우, 이때 a, b는 변경 전 서로간 인접한 임의의 오브젝트좌표(배경좌표), α는 어느 하나의 오브젝트좌표(배경좌표)의 변화량의 최대치) 상기 오브젝트좌표(배경좌표)의 재연산이 필요하다고 판단할 수 있다.

상기 프로젝터(110)는 일정 시간 간격으로 스캔할 수 있고, 매핑 장치(120)는 일정 시간 간격 이내의 변화량에 따라 상기 오브젝트좌표(배경좌표)의 재연산 필요 여부를 결정할 수 있다. 예를 들어, 상기 매핑 장치(120)는 5초 이내에 변화가 발생한 상기 배경좌표의 수가 7개 이상인 경우 상기 오브젝트좌표(배경좌표)의 재연산이 필요하다고 판단할 수 있다. 또한, 예를 들어 상기 매핑 장치(120)는 5초 이내에 변화가 발생한 상기 배경좌표의 수가 7개 이하인 경우에도 어느 하나의 오브젝트좌표(배경좌표)의 변화량의 최대치가 인접한 두개의 오브젝트좌표(배경좌표)간 최단거리의 절반 이상인 경우 상기 오브젝트좌표(배경좌표)의 재연산이 필요하다고 판단할 수 있다.

도 10은 본 발명의 일 실시예에 따라 오브젝트에 대한 AR 컨텐츠를 나타내는 도면이다.

프로젝터(110)가 현실의 배경(오브젝트 포함)을 스캔하여 3D 모델를 생성한 뒤, 매핑 장치(120)에서 해당 배경에 적합한 AR 컨텐츠를 생성하고 AR 라이브러리(130)에 저장할 수 있다. 예를 들어, 모델하우스 등에 전시된 아파트 조형물에 대해서 프로젝터(110)가 스캔하여 스캔 데이터 및 3D 모델을 생성한 경우, 매핑 장치(120)에서는 AR 라이브러리(130)에 저장된 복수의 AR 컨텐츠 또는 직접 획득한 이미지/영상 등을 통해 상기 아파트 조형물의 크기, 모양 등에 적합한 여러 개의 AR 컨텐츠(ex 1층부터 꼭대기층까지 순서대로 불이 켜지면서 전체 뷰를 보여주는 영상 등)를 생성하고, AR 라이브러리(130)에 저장할 수 있다.

또한, 도 10의 좌측 그림과 같이 나무 형상의 오브젝트에 대해 스캔 데이터를 획득한 경우, 매칭 장치(120)는 나무의 색깔, 바람에 흔들리는 정도 등을 나타내는 여러 AR 컨텐츠를 생성할 수 있고, 도 10의 우측 그림과 같이 마을 전경에 대한 모형 형상의 오브젝트에 대한 스캔 데이터를 획득한 경우, 매핑 장치(120)는 바다에 햇빛이 비치는 모습, 밤낮이 바뀌는 모습 등을 여러 AR 컨텐츠로서 생성할 수 있다. 또한, 도 10의 아래 그림과 같이 경복궁 배경에 대해 스캔 데이터를 획득한 경우, 매핑 장치(120)는 경복궁의 밤을 밝히는 레이져 쇼를 여러 AR 컨텐츠로서 생성할 수 있다.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통 상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

100: 매핑 시스템
110: 프로젝터
120: 매핑 장치
130: AR 라이브러리

Claims (8)

1. AR 컨텐츠를 오브젝트에 매핑하는 방법에 있어서,
   출력 모듈 및 카메라 모듈을 포함하는 프로젝터가 존재하는 상태에서,
   (a) 매핑 시스템이 상기 프로젝터의 상기 출력 모듈을 이용하여 상기 오브젝트의 표면에 대해 스트라이프 패턴 이미지를 출력하는 단계;
   (b) 상기 매핑 시스템이, 상기 프로젝터의 상기 카메라 모듈을 이용하여 상기 오브젝트의 표면에 출력된 상기 스트라이프 패턴 이미지를 스캔하여 스캔 데이터를 생성하는 단계;
   (c) 상기 매핑 시스템은, 상기 스캔 데이터에 기반해 상기 오브젝트에 대응하는 매핑영역을 연산하고, 상기 매핑영역에 매핑된 이미지 또는 영상을 상기 오브젝트에 대한 상기 AR 컨텐츠로서 AR 라이브러리에 업데이트하거나 출력용 프로젝터를 통해 상기 오브젝트에 상기 AR 컨텐츠를 출력하는 단계;
   를 포함하고,
   상기 프로젝터가 복수 개이고, 상기 복수 개의 프로젝터가 제1 프로젝터 및 제2 프로젝터를 포함하며, 자세 내지 위치를 감지하는 변화감지센서를 포함하고, 상기 변화감지센서는 자이로스코프, GPS 센서 중 적어도 하나를 포함하는 상태에서,
   상기 매핑 시스템은,
   상기 제1 프로젝터를 이용하여 상기 오브젝트를 기준으로 제1 방향에서의 제1 스캔 데이터를 생성하고, 상기 제2 프로젝터를 이용하여 상기 오브젝트를 기준으로 제2 방향에서의 제2 스캔 데이터를 생성하며,
   상기 제1 스캔 데이터를 기초로 제1 매핑영역을 연산하고 상기 제2 스캔 데이터를 기초로 제2 매핑영역을 연산하며,
   상기 오브젝트를 기준으로 상기 제1 방향에 상기 출력용 프로젝터가 존재하고, 상기 출력용 프로젝터는 상기 제1 매핑영역에 제1 AR 컨텐츠를 출력하는 상태에서,
   상기 오브젝트와 상기 출력용 프로젝터의 상대적 위치에 변화가 발생하여 상기 오브젝트를 기준으로 상기 제2 방향에 상기 출력용 프로젝터가 위치한다는 변경 정보를 감지한 경우,
   상기 매핑 시스템은, 상기 변경 정보에 기초하여 상기 출력용 프로젝터로 하여금 상기 제2 매핑영역에 제2 AR 컨텐츠를 출력하도록 하고,
   상기 변화감지 센서는 i) 배경의 변화를 감지하여 상기 배경의 재스캔 및 상기 AR 컨텐츠를 매핑할 배경 좌표를 재연산 요청하거나, ii) 상기 AR 컨텐츠를 출력하는 상기 출력용 프로젝터의 변화 발생 여부를 감지하는 것을 특징으로 하는 방법.
2. 삭제
3. 삭제
4. 제1항에 있어서,
   상기 오브젝트의 표면에 출력되는 상기 스트라이프 패턴 이미지가 제1색의 선, 제2 색의 선이 교차하는 패턴으로 이루어진 상태에서,
   상기 매핑 시스템은,
   상기 스트라이프 패턴 이미지에 포함된 상기 제1색의 선의 개수 및 상기 제2 색의 선의 개수를 순차적으로 증가시키고,
   상기 제1색의 선의 개수 및 상기 제2 색의 선의 개수가 증가됨에 따라 상기 오브젝트 상의 특정 지점에 출력되는 색깔의 변화 추이를 상기 특정 지점의 상기 스캔 데이터로 생성하는 것을 특징으로 하는 방법.
5. 제4항에 있어서,
   상기 제1색의 선의 개수 및 상기 제2색의 선의 개수 각각은 2^k-1개(단, k는 1이상의 자연수)에 해당하는 것을 특징으로 하는 방법.
6. 제1항에 있어서,
   상기 AR 라이브러리는, 복수의 방향 중 어느 하나의 방향에서의 상기 오브젝트의 단면에 출력될 이미지 또는 영상에 해당하는 AR 컨텐츠를 포함하고, 상기 AR 라이브러리에 포함된 복수의 AR 컨텐츠들은 컨텐츠 저작도구툴을 포함하는 매핑 장치에 의해 조작이 가능한 것을 특징으로 하는 방법.
7. 제1항에 있어서,
   상기 프로젝터에 포함된 상기 출력 모듈 및 상기 카메라 모듈은 상기 오브젝트를 바라보며 일렬로 위치하는 것을 특징으로 하는 방법.
8. AR 컨텐츠를 오브젝트에 매핑하는 매핑 시스템에 있어서,
   출력 모듈 및 카메라 모듈을 포함하고, 상기 출력 모듈을 이용하여 상기 오브젝트의 표면에 대해 스트라이프 패턴 이미지를 출력하며, 상기 카메라 모듈을 이용하여 상기 오브젝트의 표면에 출력된 상기 스트라이프 패턴 이미지를 스캔하여 스캔 데이터를 생성하는 프로젝터;
   상기 AR 컨텐츠를 저장하는 AR 라이브러리; 및
   상기 스캔 데이터에 기반해 상기 오브젝트에 대응하는 매핑영역을 연산하고, 상기 매핑영역에 매핑된 이미지 또는 영상을 상기 오브젝트에 대한 상기 AR 컨텐츠로서 상기 AR 라이브러리에 업데이트하거나 출력용 프로젝터를 통해 상기 오브젝트에 상기 AR 컨텐츠를 출력하는 매핑 장치;
   를 포함하고,
   상기 프로젝터가 복수 개이고, 상기 복수 개의 프로젝터가 제1 프로젝터 및 제2 프로젝터를 포함하며, 자세 내지 위치를 감지하는 변화감지센서를 포함하고, 상기 변화감지센서는 자이로스코프, GPS 센서 중 적어도 하나를 포함하는 상태에서,
   상기 매핑 장치는,
   상기 제1 프로젝터를 이용하여 상기 오브젝트를 기준으로 제1 방향에서의 제1 스캔 데이터를 생성하고, 상기 제2 프로젝터를 이용하여 상기 오브젝트를 기준으로 제2 방향에서의 제2 스캔 데이터를 생성하며,
   상기 제1 스캔 데이터를 기초로 제1 매핑영역을 연산하고 상기 제2 스캔 데이터를 기초로 제2 매핑영역을 연산하며,
   상기 오브젝트를 기준으로 상기 제1 방향에 상기 출력용 프로젝터가 존재하고, 상기 출력용 프로젝터는 상기 제1 매핑영역에 제1 AR 컨텐츠를 출력하는 상태에서,
   상기 오브젝트와 상기 출력용 프로젝터의 상대적 위치에 변화가 발생하여 상기 오브젝트를 기준으로 상기 제2 방향에 상기 출력용 프로젝터가 위치한다는 변경 정보를 감지한 경우,
   상기 매핑 장치는, 상기 변경 정보에 기초하여 상기 출력용 프로젝터로 하여금 상기 제2 매핑영역에 제2 AR 컨텐츠를 출력하도록 하고,
   상기 변화감지 센서는 i) 배경의 변화를 감지하여 상기 배경의 재스캔 및 상기 AR 컨텐츠를 매핑할 배경 좌표를 재연산 요청하거나, ii) 상기 AR 컨텐츠를 출력하는 상기 출력용 프로젝터의 변화 발생 여부를 감지하는 것을 특징으로 하는 매핑 시스템.

Images