KR20160109867A - 표면윤곽 변화를 고려한 동적 프로젝션 매핑 방법 - Google Patents

표면윤곽 변화를 고려한 동적 프로젝션 매핑 방법 Download PDF

Info

Publication number
KR20160109867A
KR20160109867A KR1020150035045A KR20150035045A KR20160109867A KR 20160109867 A KR20160109867 A KR 20160109867A KR 1020150035045 A KR1020150035045 A KR 1020150035045A KR 20150035045 A KR20150035045 A KR 20150035045A KR 20160109867 A KR20160109867 A KR 20160109867A
Authority
KR
South Korea
Prior art keywords
additional image
projector
virtual
surface area
virtual object
Prior art date
Application number
KR1020150035045A
Other languages
English (en)
Other versions
KR101684270B1 (ko
Inventor
최재광
Original Assignee
주식회사 레드로버
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 레드로버 filed Critical 주식회사 레드로버
Priority to KR1020150035045A priority Critical patent/KR101684270B1/ko
Publication of KR20160109867A publication Critical patent/KR20160109867A/ko
Application granted granted Critical
Publication of KR101684270B1 publication Critical patent/KR101684270B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor

Abstract

본 발명은 동적 프로젝션 매핑 방법에 관한 것으로, 보다 상세하게는 객체의 표면윤곽이 변화하더라도 그 변화에 맞추어 객체의 표면에 부가이미지를 매핑하여 투사할 수 있는 동적 프로젝션 매핑방법에 관한 것이다.
본 발명에 따른 동적 프로젝션 매핑방법은 실제객체의 표면에 마커들을 부착하는 단계; 위치검출센서를 이용하여 실제객체에 부착된 마커들의 좌표정보를 검출하여 상기 실제객체의 위치 및 모양정보를 검출하는 단계; 상기 실제 객체의 위치 및 모양정보를 이용하여 매쉬로 이루어진 입체 가상객체를 생성하는 단계; 상기 입체 가상객체의 매쉬 교차점들의 좌표정보인 매쉬좌표정보를 검출하는 단계; 상기 가상객체에 덧입혀질 부가이미지 데이터를 생성하고 상기 부가이미지에 상기 매쉬좌표정보와 매칭된 좌표정보를 부여하여 상기 가상객체에 덧입히는 단계; 가상카메라의 위치정보를 상기 실제객체에 부가이미지를 투사할 프로젝터의 위치정보에 일치시킨 상태에서 상기 가상카메라로 상기 부가이미지가 덧입혀진 가상객체를 촬영하는 단계; 상기 가상카메라에서 촬영된 상기 부가이미지를 상기 프로젝터로 송신하면 상기 프로젝터는 수신된 부가이미지를 상기 실제객체에 투사하는 단계;를 포함하는 것을 특징으로 한다.

Description

표면윤곽 변화를 고려한 동적 프로젝션 매핑 방법{Method for dynamic projection mapping considering the change of surface-appearance}
본 발명은 동적 프로젝션 매핑 방법에 관한 것으로, 보다 상세하게는 객체의 표면윤곽이 변화하더라도 그 변화에 맞추어 객체의 표면에 부가이미지를 매핑하여 투사할 수 있는 동적 프로젝션 매핑방법에 관한 것이다.
동적 프로젝션 매핑 기술은 최근 신상품 출시회 등의 이벤트시 고객들에 강한 인상을 심어주고 제품의 참신함과 새로움을 극대화해 보여주기 위한 방법으로 많이 채택되어 사용되고 있다.
좀 더 구체적으로는 동적 프로젝션 매핑이란 움직이는 대상물에 특정한 부가이미지를 투사할 때 대상물 또는 대상 객체가 움직이는 물체인 경우에도 해당 대상물을 따라가면서 해당 대상물에 원하는 부가이미지를 투사하여 계속 보여줄 수 있도록 하는데 많이 사용되고 있다.
동적 프로젝션 매핑방법과 관련된 종래기술로는 등록특허 제 10-1465497 호가 있다.
도 1은 동적 프로젝션 매핑과 관련된 종래기술인 등록특허 제 10-1465497 호의 구성을 보여주는 도면이다.
도 1을 참조하면, 종래의 동적 프로젝션 매핑장치는 영상이 투사되는 객체의 일면에 설치된 복수의 동작 감지 센서가 감지한 센싱 값을 수신하고 수신된 상기 센싱 값에 기초하여 상기 객체의 이동 값 및 회전 값을 검출하고, 상기 이동 값 및 회전 값에 기초하여, 상기 영상을 상기 객체에 투사하는 프로젝터의 이동 및 투사각을 제어하는 것을 특징으로 한다.
그러나 종래의 이러한 동적 프로젝션 매핑장치는 영상을 투사하고자 하는 객체가 일정한 면을 갖는 경우에 적용되는 기술로서 각 면마다 서로 다른 프로젝터에서 영상을 투사하는 구조로 되어 있다.
따라서, 사람 얼굴과 같이 단순히 몇 개의 면으로 분할하여 영상을 투사할 수 없는 경우에는 아주 많은 면으로 분할하여 영상을 투사할 수 밖에 없게 되고 결과적으로는 아주 많은 프로젝터가 필요하게 된다는 문제점이 있었다.
또한 사람 얼굴에 부가적인 이미지나 영상을 덧입히고자 할 경우 사람이 걸어서 움직여서 얼굴의 위치가 변하거나 사람의 표정이 변하여 얼굴의 표면윤곽이 달라지는 경우 여기에 덧입혀지는 부가적인 이미지나 영상이 왜곡되어 얼굴 표면과 정확하게 매칭되지 않는다는 문제점이 있었다.
한국등록특허 제 10-1465497 호
본 발명은 상기의 문제점을 해결하기 위해 창안된 것으로 본 발명에 따르면, 사람과 같은 대상 객체가 걸어서 움직여서 얼굴의 위치가 변하거나 사람의 표정이 변하여 얼굴의 표면윤관이 달라지는 경우 여기에 덧입혀지는 부가적인 이미지나 영상 역시 이 변화를 반영하여 줌으로써 대상 객체에 투사되는 부가이미지가 왜곡되지 않고 자연스럽게 대상 객체에 투사될 수 있도록 하는 동적 프로젝션 매핑방법이 제공된다.
본 발명의 실시예에 따른 동적 프로젝션 매핑방법은 키넥트 센서를 이용하여 실제객체의 위치 및 모양정보를 검출하는 단계; 상기 실제객체의 위치 및 모양정보를 이용하여 매쉬로 이루어진 입체 가상객체를 생성하는 단계; 상기 입체 가상객체의 매쉬 교차점들의 좌표정보인 매쉬좌표정보를 부여하는 단계; 상기 가상객체에 덧입혀질 부가이미지 데이터를 생성하고 상기 부가이미지에 상기 매쉬좌표정보와 매칭된 좌표정보를 부여하여 상기 가상객체에 덧입히는 단계; 가상카메라의 위치정보를 상기 실제객체에 부가이미지를 투사할 프로젝터의 위치정보에 일치시킨 상태에서 상기 가상카메라로 상기 부가이미지가 덧입혀진 가상객체를 촬영하는 단계; 상기 가상카메라에서 촬영된 상기 부가이미지를 상기 프로젝터로 송신하면 상기 프로젝터는 수신된 부가이미지를 상기 실제객체에 투사하는 단계;를 포함하는 것을 특징으로 한다.
본 발명의 실시예에 따른 또 다른 동적 프로젝션 매핑방법은 실제객체의 표면에 마커들을 부착하는 단계; 위치검출센서를 이용하여 실제객체에 부착된 마커들의 좌표정보를 검출하여 상기 실제객체의 위치 및 모양정보를 검출하는 단계; 상기 실제 객체의 위치 및 모양정보를 이용하여 매쉬로 이루어진 입체 가상객체를 생성하는 단계; 상기 입체 가상객체의 매쉬 교차점들의 좌표정보인 매쉬좌표정보를 검출하는 단계; 상기 가상객체에 덧입혀질 부가이미지 데이터를 생성하고 상기 부가이미지에 상기 매쉬좌표정보와 매칭된 좌표정보를 부여하여 상기 가상객체에 덧입히는 단계; 가상카메라의 위치정보를 상기 실제객체에 부가이미지를 투사할 프로젝터의 위치정보에 일치시킨 상태에서 상기 가상카메라로 상기 부가이미지가 덧입혀진 가상객체를 촬영하는 단계; 상기 가상카메라에서 촬영된 상기 부가이미지를 상기 프로젝터로 송신하면 상기 프로젝터는 수신된 부가이미지를 상기 실제객체에 투사하는 단계;를 포함하는 것을 특징으로 한다.
바람직한 실시예에 있어서, 상기 실제객체의 위치정보 검출단계에서는 실제객체의 위치정보와 함께 상기 실제객체에 영상을 투사하는 프로젝터의 위치정보를 함께 검출한다.
바람직한 실시예에 있어서, 상기 실제객체에 상기 부가이미지를 투사하기 위해 N 개의 프로젝터가 서로 다른 위치에 설치되고, 상기 부가이미지가 덧입혀진 가상객체의 표면영역을 N개로 분할하고, N개의 가상카메라를 이용하여 각 가상카메라의 위치정보를 상기 각 프로젝터의 위치정보에 일치시킨 상태에서 상기 분할된 N개의 가상객체의 표면영역을 각각의 가상카메라에서 촬영하고, 상기 N개의 가상카메라에서 촬영된 N개의 부가이미지를 상기 각각의 프로젝터로 송신하면 상기 N개의 프로젝터는 각각 수신된 부가이미지를 상기 실제객체에 투사한다.
바람직한 실시예에 있어서, 상기 부가이미지가 덧입혀진 가상객체의 표면영역을 N개로 분할할 때 상기 가상객체의 매쉬분할된 각 면의 노말벡터를 기준으로 하여 분할한다.
바람직한 실시예에 있어서, 상기 부가이미지가 덧입혀진 가상객체의 표면영역을 2개로 분할하고 좌우 방향으로 배열된 2개의 프로젝터를 이용하여 실제객체에 부가이미지를 투사하고, 상기 노말벡터가 0~90도인 표면영역의 부가이미지는 좌측에 위치하는 프로젝터에서 투사하고, 노말벡터가 90~180인 표면영역의 부가이미지는 우측에 위치하는 프로적터에서 투사한다.
바람직한 실시예에 있어서, 상기 부가이미지가 덧입혀진 가상객체의 표면영역을 3개로 분할하고 좌우 방향으로 배열된 3개의 프로젝터를 이용하여 실제객체에 부가이미지를 투사하고, 상기 노말벡터가 20~160도인 표면영역의 부가이미지는 중앙에 위치하는 프로젝터에서 투사하고, 노말벡터가 0~20도인 표면영역의 부가이미지는 좌측에 위치하는 프로젝터에서 투사하고, 노말벡터가 160~180인 표면영역의 부가이미지는 우측에 위치하는 프로적터에서 투사한다.
바람직한 실시예에 있어서, 상기 노말벡터가 10~170도인 표면영역의 부가이미지는 중앙에 위치하는 프로젝터에서 투사하고, 노말벡터가 0~10도인 표면영역의 부가이미지는 좌측에 위치하는 프로젝터에서 투사하고, 노말벡터가 170~180인 표면영역의 부가이미지는 우측에 위치하는 프로젝터에서 투사한다.
바람직한 실시예에 있어서, 상기 노말벡터가 30~150도인 표면영역의 부가이미지는 중앙에 위치하는 프로젝터에서 투사하고, 노말벡터가 0~30도인 표면영역의 부가이미지는 좌측에 위치하는 프로젝터에서 투사하고, 노말벡터가 150~180인 표면영역의 부가이미지는 우측에 위치하는 프로적터에서 투사한다.
바람직한 실시예에 있어서, 위치검출센서를 이용하여 실제객체의 위치정보를 검출하는 단계에서는 광학 센서를 이용하여 상기 실제객체의 위치정보를 검출한다.
본 발명에 따르면, 사람과 같은 대상 객체가 걸어서 움직여서 얼굴의 위치가 변하거나 사람의 표정이 변하여 얼굴의 표면윤관이 달라지는 경우에도 여기에 덧입혀지는 부가적인 이미지나 영상 역시 이러한 변화를 반영하여 줌으로써 대상 객체에 투사되는 부가이미지가 왜곡되지 않고 자연스럽게 대상 객체에 투사될 수 있다는 장점이 있다.
또한, 본 발명에 따르면 센서를 이용하여 객체와 프로젝터의 위치정보를 모두 검출함으로써 가상카메라와 프로젝터의 정렬을 용이하게 할 수 있다는 장점이 있다.
도 1은 종래의 동적 프로젝션 매핑장치의 구성을 보여주는 도면,
도 2는 본 발명의 일실시예에 따른 프로젝션 매핑방법을 설명하기 위한 도면,
도 3은 실제 객체에 마커를 부착한 상태를 보여주는 도면,
도 4는 매쉬로 이루어진 가상객체의 예를 보여주는 도면,
도 5는 가상객체에 부가이미지가 덧입혀지는 것을 설명하기 위한 도면,
도 6은 는 본 발명의 제 2실시예에 따른 프로젝션 매핑방법을 설명하기 위한 도면,
도 7은 본 발명의 제 4실시예에 따른 프로젝션 매핑방법에서 프로젝터가 한대인 경우를 설명하기 위한 도면,
도 8은 본 발명의 제 4실시예에 따른 프로젝션 매핑방법에서 프로젝터가 한대인 경우를 설명하기 위한 도면이다.
이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
[제 1실시예]
도 2는 본 발명의 일실시예에 따른 프로젝션 매핑방법을 설명하기 위한 도면, 도 3은 실제 객체에 마커를 부착한 상태를 보여주는 도면, 도 4는 매쉬로 이루어진 가상객체의 예를 보여주는 도면, 도 5는 가상객체에 부가이미지가 덧입혀지는 것을 설명하기 위한 도면이다.
도면들을 참조하면, 본 발명의 실시예에 따른 표면윤곽 변화를 고려한 동적 프로젝션 매핑방법은 위치검출센서(400)를 이용하여 실제객체(900)의 위치 및 모양정보를 검출하는 단계(S110), 상기 실제객체(900)의 위치 및 모양정보를 이용하여 매쉬로 이루어진 입체 가상객체(800)를 생성하는 단계(S120), 상기 입체 가상객체(800)의 매쉬 교차점들의 좌표정보인 매쉬좌표정보를 부여하는 단계(S130), 상기 가상객체(800)에 덧입혀질 부가이미지 데이터를 생성하고 상기 부가이미지에 상기 매쉬좌표정보와 매칭된 좌표정보를 부여하여 상기 가상객체(800)에 덧입히는 단계(S140), 가상카메라의 위치정보를 상기 실제객체(900)에 부가이미지를 투사할 프로젝터(500)의 위치정보에 일치시킨 상태에서 상기 가상카메라로 상기 부가이미지가 덧입혀진 가상객체(800)를 촬영하는 단계(S150) 및 상기 가상카메라에서 촬영된 상기 부가이미지를 상기 프로젝터(500)로 송신하면 상기 프로젝터(500)는 수신된 부가이미지를 상기 실제객체(900)에 투사하는 단계(S160)로 이루어진다.
본 발명의 일실시예에 따른 프로젝션 매핑방법에서는 실제객체(900)가 사람의 얼굴부분이라고 하면 사람의 얼굴을 장식하기 위한 부가이미지 또는 부가영상을 프로젝터(500)를 이용하여 사람의 얼굴에 투사한다. 그런데 사람의 얼굴 위치나 사람 얼굴의 표정이 고정되어 있는 것이 아니라 순간순간 변하게 된다. 본 발명은 사람 얼굴의 위치 및 사람 얼굴의 표정이 움직이는 경우에 이처럼 계속 변하는 사람얼굴의 위치 및 얼굴 표정을 반영하여 사람의 얼굴에 부가이미지 또는 부가영상을 투사함으로써 좀 더 현실감 있고 생동감있는 무대 연출이 가능하도록 한다.
이를 위해 본 발명의 일실시예에 따른 프로젝션 매핑방법에서는 먼저, 실제객체(900)인 사람의 얼굴의 위치 및 모양정보를 획득해야 한다.
이러한 위치 및 모양정보를 획들하기 위해서는 키넥트 센서를 활용할 수도 있고 아니면 실제객체(900) 즉 사람 얼굴의 표면에 별도의 마커들(450)을 다수 개 부착하고 광센서를 이용하여 이들 마커들(4500에 광을 조사하여 돌아오는 광의 특성을 읽어들여 객체의 위치 및 모양정보를 획득할 수도 있다.
다음 위치검출센서(400)를 이용하여 획득한 상기 실제객체(900)의 위치 및 모양정보를 이용하여 매쉬로 이루어진 입체의 가상객체(800)를 생성한다. 상기 가상객체(800)는 매쉬의 각 교차점들이 연결되어 형상을 이루게 되는데, 상기 입체 가상객체(800)의 매쉬 교차점들은 각각 서로 다른 좌표값들을 갖게 되고 이러한 각 좌표값들은 상기 가상객체(800)의 매쉬좌표정보가 된다.
본 발명의 일실시예에서는 예를 들면 사람의 얼굴에 수염을 그려준다던가 아니면 다른 어떤 장식을 주는 효과를 주는 것이 가능하게 하고 특히 사람의 얼굴이 움직이거나 표정이 변했을 때에도 왜곡 없이 이러한 장식효과를 나타날 수 있도록 해준다.
이를 위해 상기 가상객체(800)에 덧입혀질 부가이미지 데이터를 만들어야 한다. 그리고 이러한 부가이미지가 가상객체(800)가 움직이거나 가상객체(800)의 모양이나 형상이 변경되었을 때에도 가상객체(800)의 표면과 이격되거나 분리되지 않고 자연스럽게 보여지도록 하기 위해서는 상기 가상객체(800)의 움직임에 따라 상기 부가이미지도 상기 가상객체(800)의 표면에서 상기 가상객체(800)의 움직임과 동일하게 움직이도록 해야 한다.
이렇게 가상객체(800)의 움직임과 상기 부가이미지의 움직임을 동기화해야 상기 가상객체(800)가 어떻게 움직이더로도 상기 부가이미지가 상기 가상객체(800)의 표면에서 자연스럽게 함께 변화될 수 있다.
상기 가상객체(800)의 움직임과 상기 부가이미지의 움직임을 동기화하기 위해서 본 발명의 일실시예에서는 상기 부가이미지에 상기 매쉬좌표정보와 매칭된 좌표정보를 부여한다. 즉, 상기 부가이미지를 상기 가상객체(800)의 표면에 정합한 상태에서 상기 가상객체(800)의 표면에 형성된 매쉬를 상기 부가이미지에 동일하게 형성시킨다.
이렇게 부가이미지의 매쉬와 상기 가상객체(800) 표면의 매쉬를 동일하게 만들어주면 결과적으로 상기 가상객체(800) 표면의 각 매쉬의 교차점의 좌표값과 상기 부가이미지에 형성된 각 매쉬의 교차점의 좌표값은 같아지게 되고, 즉 상기 가상객체(800)의 매쉬좌표정보는 상기 부가이미지의 매쉬좌표정보와 동일하게 되고 이를 달리 표현하면 상기 부가이미지와 상기 매쉬좌표정보는 매칭(matching)된다.
이렇게 부가이미지의 매쉬좌표정보와 상기 가상객체(800)의 매쉬좌표정보를 매칭하면, 손쉽게 상기 부가이미지를 상기 가상객체(800)에 덧입힐 수 있다. 즉 동일한 좌표계 상에 상기 부가이미지의 매쉬좌표정보와 상기 가상객체(800)의 매쉬좌표정보를 표현하게 되면 자연스럽게 상기 부가이미지는 상기 가상객체(800)의 표면에 덧입혀지게 된다.
다음 가상카메라(미도시)를 이용하여 상기 부가이미지가 덧입혀진 가상객체(800)를 촬영한다. 이때 상기 가상카메라와 상기 가상객체(800)의 상대적인 위치는 실제객체(900)에 부가이미지를 투사할 프로젝터(500)와 상기 실체객체의 상대적인 위치와 동일해야 한다. 즉, 상기 프로젝터(500)에서 상기 실제객체(900)에 부가이미지를 투사하는 거리 및 각도는 상기 가상카메라에서 상기 가상객체(800)를 촬영하는 거리 및 각도와 동일하다.
이를 위해서 상기 가상카메라의 위치정보를 상기 실제객체(900)에 부가이미지를 투사할 프로젝터(500)의 위치정보에 일치시키고, 상기 가상객체(800)의 위치정보와 상기 실제객체(900)의 위치정보를 일치시킨 상태에서 상기 가상카메라로 상기 부가이미지가 덧입혀진 가상객체(800)를 촬영한다.
이렇게 가상카메라가 상기 가상객체(800) 또는 상기 부가이미지를 촬영하면 결국 상기 프로젝터(500)의 위치에서 상기 실제객체(900)를 촬영하는 것과 동일한 효과를 얻을 수 있다.
다음 상기 가상카메라에서 촬영된 상기 부가이미지를 상기 프로젝터(500)로 송신한다. 이렇게 송신된 부가이미지를 수신한 상기 프로젝터는 수신된 부가이미지를 상기 실제객체(900)에 투사한다.
[ 제 2실시예]
이때 부가이미지를 실체객체에 투사할 때, 프로젝터(500) 한 대를 이용하여 투사하거나 또는 3개의 프로젝터(500)를 이용하여 투사할 수도 있다. 또는 그 이상의 프로젝터(500)를 이용하여 투사하는 것도 가능하다.
본 발명의 제 2실시예에서는 세 대의 프로젝터(500, 510, 520)를 이용하여 상기 부가이미지를 투사하는 경우를 설명한다.
도 6은 는 본 발명의 제 2실시예에 따른 프로젝션 매핑방법을 설명하기 위한 도면,
도 6을 참조하면 세 대의 프로젝터(500, 510, 520)를 이용하여 실제객체(900)에 부가이미지를 투사하는 구성을 보여준다.
세 대의 프로젝터(500, 510, 520)를 이용하여 상기 부가이미지를 실제객체(900)에 투사하기 위해서는 각 프로젝터(500, 510, 520)에서 투사하는 이미지가 각각 달라야 한다. 이를 위해 먼저 부가이미지를 세 개의 영역으로 분리한 후 세 개로 분리된 각각의 부가이미지를 각각의 프로젝터(500, 510, 520)가 투사하는 방식을 사용하여야 한다.
상기 실제객체(900)에 상기 부가이미지를 투사하기 위해 세 대의 프로젝터(500, 510, 520)가 서로 다른 위치에 설치되고, 상기 부가이미지가 덧입혀진 가상객체(800)의 표면영역을 세 개로 분리한다. 이때 가상객체(800)의 표면영역을 분리할 수도 있고 아니면 단순히 부가이미지를 세 개로 분리할 수도 있다.
상기 부가이미지가 덧입혀진 가상객체(800)의 표면영역을 세 개로 분할할 때 상기 가상객체(800)의 매쉬분할된 각 면의 노말벡터를 기준으로 하여 분할한다.
즉, 노말벡터의 값에 따라 노말벡터가 0~20도인 영역, 노말벡터가 20~160도인 영역 그리고 노말벡터가 160~180도인 영역 이렇게 세 개의 영역으로 분리할 수 있다.
또는 노말벡터의 값에 따라 노말벡터가 0~10도인 영역, 노말벡터가 10~170도인 영역 그리고 노말벡터가 170~180도인 영역 이렇게 세 개의 영역으로 분리할 수 있다.
또는 노말벡터의 값에 따라 노말벡터가 0~30도인 영역, 노말벡터가 30~150도인 영역 그리고 노말벡터가 150~180도인 영역 이렇게 세 개의 영역으로 분리할 수도 있다.
이렇게 세 개의 영역으로 분할된 부가이미지는 상기 노말벡터가 90도인 부분이 포함되어 있는 영역의 부가이미지 중앙부분은 중앙에 위치하는 프로젝터(500)에서 투사하고, 노말벡터가 0도에서 상기 부가이미지 중앙부분까지의 영역인 부가이미지 좌측부분은 좌측에 위치하는 프로젝터(510)에서 투사하고, 상기 부가이미지 중앙부분에서 노말벡터가 180도까지의 영역인 부가이미지 우측부분은 좌측에 위치하는 프로젝터(520)에서 투사하도록 한다.
이렇게 부가이미지를 세 개의 영역으로 분리하면 가상카메라로 부가이미지를 촬영할 때에도 세 개의 가상카메라를 이용하여 세 개로 분리된 각 부가이미지를 촬영하여야 한다.
먼저, 각 가상카메라의 위치정보를 상기 각 프로젝터(500)의 위치정보에 일치시키고, 이 상태에서 상기 분할된 세 개의 가상객체(800)의 표면영역을 각각의 가상카메라에서 촬영한다.상기 세 개의 가상카메라에서 촬영된 세 개의 부가이미지를 상기 각각의 프로젝터(500)로 송신하면 상기 세 대의 프로젝터(500)는 각각 수신된 부가이미지를 상기 실제객체(900)에 투사하게 된다.
[ 제 3실시예]
이때 부가이미지를 실체객체에 투사할 때, 두 대의 프로젝터(500)를 이용하여 투사할 수도 있다.
본 발명의 제 3실시예에서는 두 대의 프로젝터(500)를 이용하여 상기 부가이미지를 투사하는 경우를 설명한다.
두 대의 프로젝터(500)를 이용하여 상기 부가이미지를 실제객체(900)에 투사하기 위해서는 상기 부가이미지를 두 개로 분할하여야 한다. 상기 제 2실시예에서와 동일하게 상기 가상객체(800)의 매쉬분할된 각 면의 노말벡터를 기준으로 하여 분할한다.
즉, 노말벡터의 값에 따라 노말벡터가 0~90도인 영역, 노말벡터가 90~180도인 영역으로 분리한다.
상기 부가이미지 또는 상기 부가이미지가 덧입혀진 가상객체(800)의 표면영역을 2개로 분할하고 좌우 방향으로 배열된 두 대의 프로젝터(500)를 이용하여 실제객체(900)에 부가이미지를 투사한다. 상기 노말벡터가 0~90도인 표면영역의 부가이미지는 좌측에 위치하는 프로젝터(500)에서 투사하고, 노말벡터가 90~180인 표면영역의 부가이미지는 우측에 위치하는 프로적터에서 투사한다.
이렇게 부가이미지를 두 개의 영역으로 분리하면 가상카메라로 부가이미지를 촬영할 때에도 두 개의 가상카메라를 이용하여 두 개로 분리된 각 부가이미지를 촬영하여야 한다.
먼저, 각 가상카메라의 위치정보를 상기 각 프로젝터(500)의 위치정보에 일치시키고, 이 상태에서 상기 분할된 두 개의 가상객체(800)의 표면영역을 각각의 가상카메라에서 촬영한다. 상기 두 개의 가상카메라에서 촬영된 두 개의 부가이미지를 상기 각각의 프로젝터(500)로 송신하면 상기 두 대의 프로젝터(500)는 각각 수신된 부가이미지를 상기 실제객체(900)에 투사하게 된다.
[제 4실시예]
본 발명의 제 4실시예에서는 위치검출센서(400)가 실제객체(900)를 기준으로 볼 때 상기 프로젝보다 더 멀리 떨어진 곳에 위치하여 상기 위치검출센서(400)가 상기 실제객체(900)의 위치정보뿐만 아니라 상기 프로젝터(500)의 위치정보까지 검출하는 경우를 설명한다.
도 7은 본 발명의 제 4실시예에 따른 프로젝션 매핑방법에서 프로젝터(500)가 한대인 경우를 설명하기 위한 도면이고 도 8은 본 발명의 제 4실시예에 따른 프로젝션 매핑방법에서 프로젝터(500)가 한대인 경우를 설명하기 위한 도면이다.
도면들을 참조하면 위치검출센서(400)가 상기 프로젝터(500)보다 후면에 위치하고, 상기 실제객체(900)의 위치정보 검출단계에서 실제객체(900)의 위치정보와 함께 상기 실제객체(900)에 영상을 투사하는 프로젝터(500)의 위치정보를 함께 검출한다.
상기 가상카메라를 이용하여 상기 가상객체(800)를 촬영할 때 위에서 설명한 바와 같이 상기 가상카메라의 위치정보를 상기 프로젝터(500)의 위치정보와 일치시켜야 한다. 이때 프로젝터(500)의 위치정보는 사람이 직접 입력하여 주던가 아니면 프로젝터(500)의 위치를 변화시켜가면서 상기 프로젝터(500)의 위치와 상기 가상카메라의 위치를 정렬하는 과정을 거쳐야만 한다.
그런데 이렇게 프로젝터(500)의 위치정보를 위치검출센서(400)에서 검출하게 되면 상기 가상카메라를 이용하여 상기 가상객체(800)를 촬영할 때 상기 위치검출센서(400)에서 검출된 프로젝터(500)의 위치정보를 그대로 사용할 수 있기 때문에 위의 실시예들에서와 같이 프로젝터(500)의 위치정보를 사람이 직접 입력하여 주던가 아니면 프로젝터(500)의 위치를 변화시켜가면서 상기 프로젝터(500)의 위치와 상기 가상카메라의 위치를 정렬하는 과정을 거칠 필요가 없게 된다.
이상에서는 본 발명의 바람직한 실시예를 예시적으로 설명하였으나, 본 발명의 범위는 이와 같은 특정 실시예에만 한정되는 것은 아니며, 특허청구범위에 기재된 범주 내에서 적절하게 변경 가능한 것이다.
400 : 위치검출센서 450 : 마커
500, 510, 520 : 프로젝터
800, 800' : 가상객체 850 : 부가이미지
900 : 실제객체

Claims (10)

  1. 키넥트 센서를 이용하여 실제객체의 위치 및 모양정보를 검출하는 단계;
    상기 실제객체의 위치 및 모양정보를 이용하여 매쉬로 이루어진 입체 가상객체를 생성하는 단계;
    상기 입체 가상객체의 매쉬 교차점들의 좌표정보인 매쉬좌표정보를 부여하는 단계;
    상기 가상객체에 덧입혀질 부가이미지 데이터를 생성하고 상기 부가이미지에 상기 매쉬좌표정보와 매칭된 좌표정보를 부여하여 상기 가상객체에 덧입히는 단계;
    가상카메라의 위치정보를 상기 실제객체에 부가이미지를 투사할 프로젝터의 위치정보에 일치시킨 상태에서 상기 가상카메라로 상기 부가이미지가 덧입혀진 가상객체를 촬영하는 단계;
    상기 가상카메라에서 촬영된 상기 부가이미지를 상기 프로젝터로 송신하면 상기 프로젝터는 수신된 부가이미지를 상기 실제객체에 투사하는 단계;를 포함하는 것을 특징으로 하는 표면윤곽 변화를 고려한 동적 프로젝션 매핑 방법.
  2. 실제객체의 표면에 마커들을 부착하는 단계;
    위치검출센서를 이용하여 실제객체에 부착된 마커들의 좌표정보를 검출하여 상기 실제객체의 위치 및 모양정보를 검출하는 단계;
    상기 실제 객체의 위치 및 모양정보를 이용하여 매쉬로 이루어진 입체 가상객체를 생성하는 단계;
    상기 입체 가상객체의 매쉬 교차점들의 좌표정보인 매쉬좌표정보를 검출하는 단계;
    상기 가상객체에 덧입혀질 부가이미지 데이터를 생성하고 상기 부가이미지에 상기 매쉬좌표정보와 매칭된 좌표정보를 부여하여 상기 가상객체에 덧입히는 단계;
    가상카메라의 위치정보를 상기 실제객체에 부가이미지를 투사할 프로젝터의 위치정보에 일치시킨 상태에서 상기 가상카메라로 상기 부가이미지가 덧입혀진 가상객체를 촬영하는 단계;
    상기 가상카메라에서 촬영된 상기 부가이미지를 상기 프로젝터로 송신하면 상기 프로젝터는 수신된 부가이미지를 상기 실제객체에 투사하는 단계;를 포함하는 것을 특징으로 하는 표면윤곽 변화를 고려한 동적 프로젝션 매핑 방법.
  3. 제 1항 또는 제 2항에 있어서,
    상기 실제객체의 위치정보 검출단계에서는 실제객체의 위치정보와 함께 상기 실제객체에 영상을 투사하는 프로젝터의 위치정보를 함께 검출하는 것을 특징으로 하는 표면윤곽 변화를 고려한 동적 프로젝션 매핑 방법.
  4. 제 1항 또는 제 2에 있어서,
    상기 실제객체에 상기 부가이미지를 투사하기 위해 N 개의 프로젝터가 서로 다른 위치에 설치되고,
    상기 부가이미지가 덧입혀진 가상객체의 표면영역을 N개로 분할하고,
    N개의 가상카메라를 이용하여 각 가상카메라의 위치정보를 상기 각 프로젝터의 위치정보에 일치시킨 상태에서 상기 분할된 N개의 가상객체의 표면영역을 각각의 가상카메라에서 촬영하고,
    상기 N개의 가상카메라에서 촬영된 N개의 부가이미지를 상기 각각의 프로젝터로 송신하면 상기 N개의 프로젝터는 각각 수신된 부가이미지를 상기 실제객체에 투사하는 것을 특징으로 하는 표면윤곽 변화를 고려한 동적 프로젝션 매핑 방법.
  5. 제 4항에 있어서,
    상기 부가이미지가 덧입혀진 가상객체의 표면영역을 N개로 분할할 때 상기 가상객체의 매쉬분할된 각 면의 노말벡터를 기준으로 하여 분할하는 것을 특징으로 하는 표면윤곽 변화를 고려한 동적 프로젝션 매핑 방법.
  6. 제 5항에 있어서,
    상기 부가이미지가 덧입혀진 가상객체의 표면영역을 2개로 분할하고 좌우 방향으로 배열된 2개의 프로젝터를 이용하여 실제객체에 부가이미지를 투사하고,
    상기 노말벡터가 0~90도인 표면영역의 부가이미지는 좌측에 위치하는 프로젝터에서 투사하고, 노말벡터가 90~180인 표면영역의 부가이미지는 우측에 위치하는 프로적터에서 투사하는 것을 특징으로 하는 표면윤곽 변화를 고려한 동적 프로젝션 매핑 방법.
  7. 제 5에 있어서,
    상기 부가이미지가 덧입혀진 가상객체의 표면영역을 3개로 분할하고 좌우 방향으로 배열된 3개의 프로젝터를 이용하여 실제객체에 부가이미지를 투사하고,
    상기 노말벡터가 20~160도인 표면영역의 부가이미지는 중앙에 위치하는 프로젝터에서 투사하고, 노말벡터가 0~20도인 표면영역의 부가이미지는 좌측에 위치하는 프로젝터에서 투사하고, 노말벡터가 160~180인 표면영역의 부가이미지는 우측에 위치하는 프로적터에서 투사하는 것을 특징으로 하는 표면윤곽 변화를 고려한 동적 프로젝션 매핑 방법.
  8. 제 5항에 있어서,
    상기 노말벡터가 10~170도인 표면영역의 부가이미지는 중앙에 위치하는 프로젝터에서 투사하고, 노말벡터가 0~10도인 표면영역의 부가이미지는 좌측에 위치하는 프로젝터에서 투사하고, 노말벡터가 170~180인 표면영역의 부가이미지는 우측에 위치하는 프로적터에서 투사하는 것을 특징으로 하는 표면윤곽 변화를 고려한 동적 프로젝션 매핑 방법.
  9. 제 5항에 있어서,
    상기 노말벡터가 30~150도인 표면영역의 부가이미지는 중앙에 위치하는 프로젝터에서 투사하고, 노말벡터가 0~30도인 표면영역의 부가이미지는 좌측에 위치하는 프로젝터에서 투사하고, 노말벡터가 150~180인 표면영역의 부가이미지는 우측에 위치하는 프로적터에서 투사하는 것을 특징으로 하는 표면윤곽 변화를 고려한 동적 프로젝션 매핑 방법.
  10. 제 1항 또는 제 2항에 있어서,
    위치검출센서를 이용하여 실제객체의 위치정보를 검출하는 단계에서는 광학 센서를 이용하여 상기 실제객체의 위치정보를 검출하는 것을 특징으로 하는 표면윤곽 변화를 고려한 동적 프로젝션 매핑 방법.
KR1020150035045A 2015-03-13 2015-03-13 표면윤곽 변화를 고려한 동적 프로젝션 매핑 방법 KR101684270B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150035045A KR101684270B1 (ko) 2015-03-13 2015-03-13 표면윤곽 변화를 고려한 동적 프로젝션 매핑 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150035045A KR101684270B1 (ko) 2015-03-13 2015-03-13 표면윤곽 변화를 고려한 동적 프로젝션 매핑 방법

Publications (2)

Publication Number Publication Date
KR20160109867A true KR20160109867A (ko) 2016-09-21
KR101684270B1 KR101684270B1 (ko) 2016-12-20

Family

ID=57080577

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150035045A KR101684270B1 (ko) 2015-03-13 2015-03-13 표면윤곽 변화를 고려한 동적 프로젝션 매핑 방법

Country Status (1)

Country Link
KR (1) KR101684270B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11772276B2 (en) 2020-01-02 2023-10-03 Universal City Studios Llc Systems and methods for optical performance captured animated figure with real-time reactive projected media

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009506442A (ja) * 2005-08-26 2009-02-12 ソニー株式会社 顔の動きのデータの撮影及び処理
KR101265711B1 (ko) * 2011-11-30 2013-05-20 주식회사 이미지넥스트 3ｄ 차량 주변 영상 생성 방법 및 장치
KR101465497B1 (ko) 2013-07-09 2014-11-26 성균관대학교산학협력단 동적 프로젝션 매핑 장치 및 시스템과 그 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009506442A (ja) * 2005-08-26 2009-02-12 ソニー株式会社 顔の動きのデータの撮影及び処理
KR101265711B1 (ko) * 2011-11-30 2013-05-20 주식회사 이미지넥스트 3ｄ 차량 주변 영상 생성 방법 및 장치
KR101465497B1 (ko) 2013-07-09 2014-11-26 성균관대학교산학협력단 동적 프로젝션 매핑 장치 및 시스템과 그 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11772276B2 (en) 2020-01-02 2023-10-03 Universal City Studios Llc Systems and methods for optical performance captured animated figure with real-time reactive projected media

Also Published As

Publication number Publication date
KR101684270B1 (ko) 2016-12-20

Similar Documents

Publication Publication Date Title
US11928838B2 (en) Calibration system and method to align a 3D virtual scene and a 3D real world for a stereoscopic head-mounted display
TWI722280B (zh) 用於多個自由度之控制器追蹤
KR101761751B1 (ko) 직접적인 기하학적 모델링이 행해지는 hmd 보정
CN113412614B (zh) 使用深度图像的三维定位
JP6340017B2 (ja) 被写体と３次元仮想空間をリアルタイムに合成する撮影システム
US9759918B2 (en) 3D mapping with flexible camera rig
JP6377863B2 (ja) 反射マップ表現による奥行きマップ表現の増補
US9986228B2 (en) Trackable glasses system that provides multiple views of a shared display
KR20200012043A (ko) 인사이드-아웃 위치, 사용자 신체 및 환경 추적을 갖는 가상 및 혼합 현실을 위한 머리 장착 디스플레이
JP2018511098A (ja) 複合現実システム
US20120026376A1 (en) Anamorphic projection device
KR20150093831A (ko) 혼합 현실 환경에 대한 직접 상호작용 시스템
JP2002213947A (ja) ターゲット位置を測定するシステム及びその方法
CN102959616A (zh) 自然交互的交互真实性增强
JP2009223331A (ja) 光投影装置、照明装置
US11915453B2 (en) Collaborative augmented reality eyewear with ego motion alignment
TW201738847A (zh) 組裝指示系統及組裝指示方法
GB2494697A (en) Viewing home decoration using markerless augmented reality
Caarls et al. Augmented reality for art, design and cultural heritage—system design and evaluation
KR101962543B1 (ko) 마커 인식 기반 증강현실 생성 시스템 및 방법
KR101684270B1 (ko) 표면윤곽 변화를 고려한 동적 프로젝션 매핑 방법
KR102185322B1 (ko) 적외선 스테레오 카메라를 이용한 위치 검출 시스템
CN104700392B (zh) 虚拟影像定位方法及其装置
KR20090000777A (ko) 감각형 오브젝트를 이용한 증강현실 시스템 및 증강현실제공 방법
Piérard et al. I-see-3d! an interactive and immersive system that dynamically adapts 2d projections to the location of a user's eyes

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant