KR101684270B1 - Method for dynamic projection mapping considering the change of surface-appearance - Google Patents

Method for dynamic projection mapping considering the change of surface-appearance Download PDF

Info

Publication number
KR101684270B1
KR101684270B1 KR1020150035045A KR20150035045A KR101684270B1 KR 101684270 B1 KR101684270 B1 KR 101684270B1 KR 1020150035045 A KR1020150035045 A KR 1020150035045A KR 20150035045 A KR20150035045 A KR 20150035045A KR 101684270 B1 KR101684270 B1 KR 101684270B1
Authority
KR
South Korea
Prior art keywords
additional image
projector
virtual
surface area
projected
Prior art date
Application number
KR1020150035045A
Other languages
Korean (ko)
Other versions
KR20160109867A (en
Inventor
최재광
Original Assignee
주식회사 레드로버
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 레드로버 filed Critical 주식회사 레드로버
Priority to KR1020150035045A priority Critical patent/KR101684270B1/en
Publication of KR20160109867A publication Critical patent/KR20160109867A/en
Application granted granted Critical
Publication of KR101684270B1 publication Critical patent/KR101684270B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Projection Apparatus (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

본 발명은 동적 프로젝션 매핑 방법에 관한 것으로, 보다 상세하게는 객체의 표면윤곽이 변화하더라도 그 변화에 맞추어 객체의 표면에 부가이미지를 매핑하여 투사할 수 있는 동적 프로젝션 매핑방법에 관한 것이다.
본 발명에 따른 동적 프로젝션 매핑방법은 실제객체의 표면에 마커들을 부착하는 단계; 위치검출센서를 이용하여 실제객체에 부착된 마커들의 좌표정보를 검출하여 상기 실제객체의 위치 및 모양정보를 검출하는 단계; 상기 실제 객체의 위치 및 모양정보를 이용하여 매쉬로 이루어진 입체 가상객체를 생성하는 단계; 상기 입체 가상객체의 매쉬 교차점들의 좌표정보인 매쉬좌표정보를 검출하는 단계; 상기 가상객체에 덧입혀질 부가이미지 데이터를 생성하고 상기 부가이미지에 상기 매쉬좌표정보와 매칭된 좌표정보를 부여하여 상기 가상객체에 덧입히는 단계; 가상카메라의 위치정보를 상기 실제객체에 부가이미지를 투사할 프로젝터의 위치정보에 일치시킨 상태에서 상기 가상카메라로 상기 부가이미지가 덧입혀진 가상객체를 촬영하는 단계; 상기 가상카메라에서 촬영된 상기 부가이미지를 상기 프로젝터로 송신하면 상기 프로젝터는 수신된 부가이미지를 상기 실제객체에 투사하는 단계;를 포함하는 것을 특징으로 한다.The present invention relates to a dynamic projection mapping method, and more particularly, to a dynamic projection mapping method capable of mapping an additional image to a surface of an object in accordance with a change of a surface contour of an object, thereby projecting the additional image.
A dynamic projection mapping method according to the present invention includes the steps of: attaching markers to a surface of an actual object; Detecting position and shape information of the actual object by detecting coordinate information of markers attached to the actual object using the position detection sensor; Generating a three-dimensional virtual object made of a mesh using the position and shape information of the actual object; Detecting mesh coordinate information which is coordinate information of mesh intersections of the three-dimensional virtual object; Generating additional image data to be added to the virtual object, adding coordinate information matched with the mesh coordinate information to the additional image, and adding the additional image data to the virtual object; Capturing a virtual object with the additional image added to the virtual camera while the position information of the virtual camera matches the position information of the projector to project the additional image to the actual object; And projecting the received additional image to the actual object when the additional image captured by the virtual camera is transmitted to the projector.

Description

표면윤곽 변화를 고려한 동적 프로젝션 매핑 방법{Method for dynamic projection mapping considering the change of surface-appearance}[0001] The present invention relates to a dynamic projection mapping method,

본 발명은 동적 프로젝션 매핑 방법에 관한 것으로, 보다 상세하게는 객체의 표면윤곽이 변화하더라도 그 변화에 맞추어 객체의 표면에 부가이미지를 매핑하여 투사할 수 있는 동적 프로젝션 매핑방법에 관한 것이다.The present invention relates to a dynamic projection mapping method, and more particularly, to a dynamic projection mapping method capable of mapping an additional image to a surface of an object in accordance with a change of a surface contour of an object, thereby projecting the additional image.

동적 프로젝션 매핑 기술은 최근 신상품 출시회 등의 이벤트시 고객들에 강한 인상을 심어주고 제품의 참신함과 새로움을 극대화해 보여주기 위한 방법으로 많이 채택되어 사용되고 있다.Dynamic projection mapping technology has recently been used as a way to impress customers and to maximize the novelty and novelty of products at the time of events such as new product launches.

좀 더 구체적으로는 동적 프로젝션 매핑이란 움직이는 대상물에 특정한 부가이미지를 투사할 때 대상물 또는 대상 객체가 움직이는 물체인 경우에도 해당 대상물을 따라가면서 해당 대상물에 원하는 부가이미지를 투사하여 계속 보여줄 수 있도록 하는데 많이 사용되고 있다.More specifically, dynamic projection mapping is often used to project additional images desired to a moving object while continuing to follow the object, even when the object or object is moving, in projecting a specific additional image to a moving object have.

동적 프로젝션 매핑방법과 관련된 종래기술로는 등록특허 제 10-1465497 호가 있다.A prior art related to the dynamic projection mapping method is the registration number 10-1465497.

도 1은 동적 프로젝션 매핑과 관련된 종래기술인 등록특허 제 10-1465497 호의 구성을 보여주는 도면이다.BRIEF DESCRIPTION OF THE DRAWINGS Figure 1 is a diagram showing the configuration of the prior art No. 10-1465497 related to dynamic projection mapping.

도 1을 참조하면, 종래의 동적 프로젝션 매핑장치는 영상이 투사되는 객체의 일면에 설치된 복수의 동작 감지 센서가 감지한 센싱 값을 수신하고 수신된 상기 센싱 값에 기초하여 상기 객체의 이동 값 및 회전 값을 검출하고, 상기 이동 값 및 회전 값에 기초하여, 상기 영상을 상기 객체에 투사하는 프로젝터의 이동 및 투사각을 제어하는 것을 특징으로 한다.Referring to FIG. 1, a conventional dynamic projection mapping device receives a sensing value sensed by a plurality of motion sensing sensors installed on one side of an object to which an image is projected, and calculates a movement value and a rotation And controls the movement and projection angle of the projector to project the image on the object based on the movement value and the rotation value.

그러나 종래의 이러한 동적 프로젝션 매핑장치는 영상을 투사하고자 하는 객체가 일정한 면을 갖는 경우에 적용되는 기술로서 각 면마다 서로 다른 프로젝터에서 영상을 투사하는 구조로 되어 있다.However, the conventional dynamic projection mapping apparatus is applied to a case where an object to be projected has a certain plane, and the projected image is projected from a different projector for each plane.

따라서, 사람 얼굴과 같이 단순히 몇 개의 면으로 분할하여 영상을 투사할 수 없는 경우에는 아주 많은 면으로 분할하여 영상을 투사할 수 밖에 없게 되고 결과적으로는 아주 많은 프로젝터가 필요하게 된다는 문제점이 있었다.Therefore, when an image can not be projected by dividing the image into a plurality of planes, such as a human face, it is difficult to project an image by dividing the image into a large number of planes. As a result, a large number of projectors are required.

또한 사람 얼굴에 부가적인 이미지나 영상을 덧입히고자 할 경우 사람이 걸어서 움직여서 얼굴의 위치가 변하거나 사람의 표정이 변하여 얼굴의 표면윤곽이 달라지는 경우 여기에 덧입혀지는 부가적인 이미지나 영상이 왜곡되어 얼굴 표면과 정확하게 매칭되지 않는다는 문제점이 있었다.In addition, if you want to add additional images or images to the face of a person, if a person changes their face position by walking, or the face of a person changes and the contour of the face changes, the additional image or image added to the face is distorted There is a problem in that it does not exactly match the face surface.

한국등록특허 제 10-1465497 호Korean Patent No. 10-1465497

본 발명은 상기의 문제점을 해결하기 위해 창안된 것으로 본 발명에 따르면, 사람과 같은 대상 객체가 걸어서 움직여서 얼굴의 위치가 변하거나 사람의 표정이 변하여 얼굴의 표면윤관이 달라지는 경우 여기에 덧입혀지는 부가적인 이미지나 영상 역시 이 변화를 반영하여 줌으로써 대상 객체에 투사되는 부가이미지가 왜곡되지 않고 자연스럽게 대상 객체에 투사될 수 있도록 하는 동적 프로젝션 매핑방법이 제공된다.
SUMMARY OF THE INVENTION The present invention has been made to solve the above-mentioned problems, and it is an object of the present invention to provide an image processing apparatus and a method for processing a face image, A dynamic projection mapping method is provided in which an additional image projected on a target object is projected on a target object without being distorted by reflecting the change.

본 발명의 실시예에 따른 동적 프로젝션 매핑방법은 키넥트 센서를 이용하여 실제객체의 위치 및 모양정보를 검출하는 단계; 상기 실제객체의 위치 및 모양정보를 이용하여 매쉬로 이루어진 입체 가상객체를 생성하는 단계; 상기 입체 가상객체의 매쉬 교차점들의 좌표정보인 매쉬좌표정보를 부여하는 단계; 상기 가상객체에 덧입혀질 부가이미지 데이터를 생성하고 상기 부가이미지에 상기 매쉬좌표정보와 매칭된 좌표정보를 부여하여 상기 가상객체에 덧입히는 단계; 가상카메라의 위치정보를 상기 실제객체에 부가이미지를 투사할 프로젝터의 위치정보에 일치시킨 상태에서 상기 가상카메라로 상기 부가이미지가 덧입혀진 가상객체를 촬영하는 단계; 상기 가상카메라에서 촬영된 상기 부가이미지를 상기 프로젝터로 송신하면 상기 프로젝터는 수신된 부가이미지를 상기 실제객체에 투사하는 단계;를 포함하는 것을 특징으로 한다.According to an embodiment of the present invention, there is provided a dynamic projection mapping method comprising: detecting position and shape information of an actual object using a Kinect sensor; Generating a three-dimensional virtual object made of a mesh using the position and shape information of the actual object; Providing mesh coordinate information that is coordinate information of mesh intersections of the three-dimensional virtual object; Generating additional image data to be added to the virtual object, adding coordinate information matched with the mesh coordinate information to the additional image, and adding the additional image data to the virtual object; Capturing a virtual object with the additional image added to the virtual camera while the position information of the virtual camera matches the position information of the projector to project the additional image to the actual object; And projecting the received additional image to the actual object when the additional image captured by the virtual camera is transmitted to the projector.

본 발명의 실시예에 따른 또 다른 동적 프로젝션 매핑방법은 실제객체의 표면에 마커들을 부착하는 단계; 위치검출센서를 이용하여 실제객체에 부착된 마커들의 좌표정보를 검출하여 상기 실제객체의 위치 및 모양정보를 검출하는 단계; 상기 실제 객체의 위치 및 모양정보를 이용하여 매쉬로 이루어진 입체 가상객체를 생성하는 단계; 상기 입체 가상객체의 매쉬 교차점들의 좌표정보인 매쉬좌표정보를 검출하는 단계; 상기 가상객체에 덧입혀질 부가이미지 데이터를 생성하고 상기 부가이미지에 상기 매쉬좌표정보와 매칭된 좌표정보를 부여하여 상기 가상객체에 덧입히는 단계; 가상카메라의 위치정보를 상기 실제객체에 부가이미지를 투사할 프로젝터의 위치정보에 일치시킨 상태에서 상기 가상카메라로 상기 부가이미지가 덧입혀진 가상객체를 촬영하는 단계; 상기 가상카메라에서 촬영된 상기 부가이미지를 상기 프로젝터로 송신하면 상기 프로젝터는 수신된 부가이미지를 상기 실제객체에 투사하는 단계;를 포함하는 것을 특징으로 한다.Another dynamic projection mapping method according to an embodiment of the present invention includes: attaching markers to a surface of an actual object; Detecting position and shape information of the actual object by detecting coordinate information of markers attached to the actual object using the position detection sensor; Generating a three-dimensional virtual object made of a mesh using the position and shape information of the actual object; Detecting mesh coordinate information which is coordinate information of mesh intersections of the three-dimensional virtual object; Generating additional image data to be added to the virtual object, adding coordinate information matched with the mesh coordinate information to the additional image, and adding the additional image data to the virtual object; Capturing a virtual object with the additional image added to the virtual camera while the position information of the virtual camera matches the position information of the projector to project the additional image to the actual object; And projecting the received additional image to the actual object when the additional image captured by the virtual camera is transmitted to the projector.

바람직한 실시예에 있어서, 상기 실제객체의 위치정보 검출단계에서는 실제객체의 위치정보와 함께 상기 실제객체에 영상을 투사하는 프로젝터의 위치정보를 함께 검출한다.In a preferred embodiment of the present invention, the location information of the actual object is detected together with the location information of the actual object and the location information of the projector that projects the image to the real object.

바람직한 실시예에 있어서, 상기 실제객체에 상기 부가이미지를 투사하기 위해 N 개의 프로젝터가 서로 다른 위치에 설치되고, 상기 부가이미지가 덧입혀진 가상객체의 표면영역을 N개로 분할하고, N개의 가상카메라를 이용하여 각 가상카메라의 위치정보를 상기 각 프로젝터의 위치정보에 일치시킨 상태에서 상기 분할된 N개의 가상객체의 표면영역을 각각의 가상카메라에서 촬영하고, 상기 N개의 가상카메라에서 촬영된 N개의 부가이미지를 상기 각각의 프로젝터로 송신하면 상기 N개의 프로젝터는 각각 수신된 부가이미지를 상기 실제객체에 투사한다.In a preferred embodiment, N projectors are installed at different positions in order to project the additional image to the actual object, the surface area of the virtual object to which the additional image is superimposed is divided into N, Wherein the virtual camera is used to capture the surface area of the divided N virtual objects in a state in which the position information of each virtual camera is matched to the position information of each of the projectors, When an image is transmitted to each of the projectors, the N projectors each project the received additional image on the real object.

바람직한 실시예에 있어서, 상기 부가이미지가 덧입혀진 가상객체의 표면영역을 N개로 분할할 때 상기 가상객체의 매쉬분할된 각 면의 노말벡터를 기준으로 하여 분할한다.In a preferred embodiment, when dividing the surface area of the virtual object into which the additional image is embedded, the virtual object is divided on the basis of the normal vector of each face of the virtual object.

바람직한 실시예에 있어서, 상기 부가이미지가 덧입혀진 가상객체의 표면영역을 2개로 분할하고 좌우 방향으로 배열된 2개의 프로젝터를 이용하여 실제객체에 부가이미지를 투사하고, 상기 노말벡터가 0~90도인 표면영역의 부가이미지는 좌측에 위치하는 프로젝터에서 투사하고, 노말벡터가 90~180인 표면영역의 부가이미지는 우측에 위치하는 프로적터에서 투사한다.In a preferred embodiment, the surface area of the virtual object including the additional image is divided into two, and the additional image is projected onto the actual object using two projectors arranged in the left and right direction, and the normal vector is 0 to 90 degrees The additional image of the surface area is projected from the projector located on the left side, and the additional image of the surface area where the normal vector is 90 to 180 is projected on the right side.

바람직한 실시예에 있어서, 상기 부가이미지가 덧입혀진 가상객체의 표면영역을 3개로 분할하고 좌우 방향으로 배열된 3개의 프로젝터를 이용하여 실제객체에 부가이미지를 투사하고, 상기 노말벡터가 20~160도인 표면영역의 부가이미지는 중앙에 위치하는 프로젝터에서 투사하고, 노말벡터가 0~20도인 표면영역의 부가이미지는 좌측에 위치하는 프로젝터에서 투사하고, 노말벡터가 160~180인 표면영역의 부가이미지는 우측에 위치하는 프로적터에서 투사한다.In a preferred embodiment, the surface area of the virtual object including the additional image is divided into three, and the additional image is projected onto the actual object using three projectors arranged in the left-right direction, and the normal vector is 20 to 160 degrees The additional image of the surface area is projected from the projector located at the center, the additional image of the surface area of the normal vector of 0 to 20 degrees is projected from the projector located on the left, and the additional image of the surface area of the normal vector of 160 to 180 And projected from a professional red spot located on the right side.

바람직한 실시예에 있어서, 상기 노말벡터가 10~170도인 표면영역의 부가이미지는 중앙에 위치하는 프로젝터에서 투사하고, 노말벡터가 0~10도인 표면영역의 부가이미지는 좌측에 위치하는 프로젝터에서 투사하고, 노말벡터가 170~180인 표면영역의 부가이미지는 우측에 위치하는 프로젝터에서 투사한다.In a preferred embodiment, the additional image of the surface area in which the normal vector is 10 to 170 degrees is projected from the projector located at the center, and the additional image of the surface area where the normal vector is 0 to 10 degrees is projected from the projector located on the left , The additional image of the surface area in which the normal vector is 170 to 180 is projected from the projector located on the right side.

바람직한 실시예에 있어서, 상기 노말벡터가 30~150도인 표면영역의 부가이미지는 중앙에 위치하는 프로젝터에서 투사하고, 노말벡터가 0~30도인 표면영역의 부가이미지는 좌측에 위치하는 프로젝터에서 투사하고, 노말벡터가 150~180인 표면영역의 부가이미지는 우측에 위치하는 프로적터에서 투사한다.In a preferred embodiment, the additional image of the surface area in which the normal vector is 30 to 150 degrees is projected from the projector located in the center, and the additional image in the surface area in which the normal vector is 0 to 30 degrees is projected from the projector located on the left side , And the additional image of the surface area in which the normal vector is 150 to 180 is projected on the prolocator located on the right side.

바람직한 실시예에 있어서, 위치검출센서를 이용하여 실제객체의 위치정보를 검출하는 단계에서는 광학 센서를 이용하여 상기 실제객체의 위치정보를 검출한다.
In a preferred embodiment, in the step of detecting position information of an actual object using a position detecting sensor, position information of the real object is detected using an optical sensor.

본 발명에 따르면, 사람과 같은 대상 객체가 걸어서 움직여서 얼굴의 위치가 변하거나 사람의 표정이 변하여 얼굴의 표면윤관이 달라지는 경우에도 여기에 덧입혀지는 부가적인 이미지나 영상 역시 이러한 변화를 반영하여 줌으로써 대상 객체에 투사되는 부가이미지가 왜곡되지 않고 자연스럽게 대상 객체에 투사될 수 있다는 장점이 있다.According to the present invention, even when a face object is changed by moving a target object such as a person, or the face of the face is changed or the facial contour of the face is changed, additional images or images added thereto also reflect such changes, There is an advantage that the additional image projected on the object can be projected on the target object naturally without being distorted.

또한, 본 발명에 따르면 센서를 이용하여 객체와 프로젝터의 위치정보를 모두 검출함으로써 가상카메라와 프로젝터의 정렬을 용이하게 할 수 있다는 장점이 있다.
According to the present invention, it is possible to easily align the virtual camera and the projector by detecting both the position information of the object and the projector using the sensor.

도 1은 종래의 동적 프로젝션 매핑장치의 구성을 보여주는 도면,
도 2는 본 발명의 일실시예에 따른 프로젝션 매핑방법을 설명하기 위한 도면,
도 3은 실제 객체에 마커를 부착한 상태를 보여주는 도면,
도 4는 매쉬로 이루어진 가상객체의 예를 보여주는 도면,
도 5는 가상객체에 부가이미지가 덧입혀지는 것을 설명하기 위한 도면,
도 6은 는 본 발명의 제 2실시예에 따른 프로젝션 매핑방법을 설명하기 위한 도면,
도 7은 본 발명의 제 4실시예에 따른 프로젝션 매핑방법에서 프로젝터가 한대인 경우를 설명하기 위한 도면,
도 8은 본 발명의 제 4실시예에 따른 프로젝션 매핑방법에서 프로젝터가 한대인 경우를 설명하기 위한 도면이다.1 is a view showing a configuration of a conventional dynamic projection mapping apparatus,
2 is a diagram for explaining a projection mapping method according to an embodiment of the present invention;
FIG. 3 is a view showing a state where a marker is attached to an actual object;
4 is a view showing an example of a virtual object made of a mesh,
5 is a diagram for explaining how virtual objects are added with additional images;
6 is a diagram for explaining a projection mapping method according to a second embodiment of the present invention,
7 is a view for explaining a case where a single projector is used in the projection mapping method according to the fourth embodiment of the present invention,
8 is a diagram for explaining a case where a single projector is used in the projection mapping method according to the fourth embodiment of the present invention.

이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
Hereinafter, embodiments according to the present invention will be described in detail with reference to the accompanying drawings. However, the present invention is not limited to or limited by the embodiments. Like reference symbols in the drawings denote like elements.

[제 1실시예][First Embodiment]

도 2는 본 발명의 일실시예에 따른 프로젝션 매핑방법을 설명하기 위한 도면, 도 3은 실제 객체에 마커를 부착한 상태를 보여주는 도면, 도 4는 매쉬로 이루어진 가상객체의 예를 보여주는 도면, 도 5는 가상객체에 부가이미지가 덧입혀지는 것을 설명하기 위한 도면이다.FIG. 2 is a view for explaining a projection mapping method according to an embodiment of the present invention. FIG. 3 is a view showing a state where a marker is attached to an actual object, FIG. 4 is a view showing an example of a virtual object made of a mesh, 5 is a diagram for explaining how additional images are added to a virtual object.

도면들을 참조하면, 본 발명의 실시예에 따른 표면윤곽 변화를 고려한 동적 프로젝션 매핑방법은 위치검출센서(400)를 이용하여 실제객체(900)의 위치 및 모양정보를 검출하는 단계(S110), 상기 실제객체(900)의 위치 및 모양정보를 이용하여 매쉬로 이루어진 입체 가상객체(800)를 생성하는 단계(S120), 상기 입체 가상객체(800)의 매쉬 교차점들의 좌표정보인 매쉬좌표정보를 부여하는 단계(S130), 상기 가상객체(800)에 덧입혀질 부가이미지 데이터를 생성하고 상기 부가이미지에 상기 매쉬좌표정보와 매칭된 좌표정보를 부여하여 상기 가상객체(800)에 덧입히는 단계(S140), 가상카메라의 위치정보를 상기 실제객체(900)에 부가이미지를 투사할 프로젝터(500)의 위치정보에 일치시킨 상태에서 상기 가상카메라로 상기 부가이미지가 덧입혀진 가상객체(800)를 촬영하는 단계(S150) 및 상기 가상카메라에서 촬영된 상기 부가이미지를 상기 프로젝터(500)로 송신하면 상기 프로젝터(500)는 수신된 부가이미지를 상기 실제객체(900)에 투사하는 단계(S160)로 이루어진다.Referring to the drawings, a dynamic projection mapping method considering surface contour change according to an embodiment of the present invention includes a step (S110) of detecting position and shape information of an actual object 900 using a position detection sensor 400, A step S 120 of generating a three-dimensional virtual object 800 composed of a mesh using the position and shape information of the actual object 900 (S120), a step of assigning mesh coordinate information, which is coordinate information of the mesh intersections of the three- A step S140 of generating additional image data to be added to the virtual object 800 and adding coordinate information matched with the mesh coordinate information to the additional image to add the virtual image to the virtual object 800, , A virtual object 800 in which the additional image is superimposed is photographed by the virtual camera in a state where the position information of the virtual camera is matched with the position information of the projector 500 to project the additional image to the real object 900 In step S150, when the additional image photographed by the virtual camera is transmitted to the projector 500, the projector 500 performs step S160 of projecting the received additional image on the real object 900. [

본 발명의 일실시예에 따른 프로젝션 매핑방법에서는 실제객체(900)가 사람의 얼굴부분이라고 하면 사람의 얼굴을 장식하기 위한 부가이미지 또는 부가영상을 프로젝터(500)를 이용하여 사람의 얼굴에 투사한다. 그런데 사람의 얼굴 위치나 사람 얼굴의 표정이 고정되어 있는 것이 아니라 순간순간 변하게 된다. 본 발명은 사람 얼굴의 위치 및 사람 얼굴의 표정이 움직이는 경우에 이처럼 계속 변하는 사람얼굴의 위치 및 얼굴 표정을 반영하여 사람의 얼굴에 부가이미지 또는 부가영상을 투사함으로써 좀 더 현실감 있고 생동감있는 무대 연출이 가능하도록 한다.In the projection mapping method according to an exemplary embodiment of the present invention, when the actual object 900 is a face portion of a person, an additional image or an additional image for decorating a face of a person is projected onto a human face using the projector 500 . However, the face position of the person or the facial expression of the human face is not fixed but changed instantaneously. The present invention reflects the position and facial expression of a continuously changing human face when the position of the human face and the facial expression of the human face are moved, so that the additional image or additional image is projected on the face of the person, thereby realizing a more realistic and lively stage presentation .

이를 위해 본 발명의 일실시예에 따른 프로젝션 매핑방법에서는 먼저, 실제객체(900)인 사람의 얼굴의 위치 및 모양정보를 획득해야 한다.To this end, in the projection mapping method according to an embodiment of the present invention, first, the position and shape information of a face of a person, which is an actual object 900, should be acquired.

이러한 위치 및 모양정보를 획들하기 위해서는 키넥트 센서를 활용할 수도 있고 아니면 실제객체(900) 즉 사람 얼굴의 표면에 별도의 마커들(450)을 다수 개 부착하고 광센서를 이용하여 이들 마커들(4500에 광을 조사하여 돌아오는 광의 특성을 읽어들여 객체의 위치 및 모양정보를 획득할 수도 있다.In order to create such position and shape information, a Kinect sensor may be used, or a plurality of separate markers 450 may be attached to a face of a real object 900, that is, a human face, And the position and shape information of the object can be obtained by reading the characteristic of the returning light.

다음 위치검출센서(400)를 이용하여 획득한 상기 실제객체(900)의 위치 및 모양정보를 이용하여 매쉬로 이루어진 입체의 가상객체(800)를 생성한다. 상기 가상객체(800)는 매쉬의 각 교차점들이 연결되어 형상을 이루게 되는데, 상기 입체 가상객체(800)의 매쉬 교차점들은 각각 서로 다른 좌표값들을 갖게 되고 이러한 각 좌표값들은 상기 가상객체(800)의 매쉬좌표정보가 된다.Dimensional virtual object 800 formed of a mesh by using the position and shape information of the actual object 900 acquired using the position detection sensor 400. [ The intersection points of the virtual objects 800 are connected to each other to form a shape. The mesh intersections of the three-dimensional virtual object 800 have different coordinate values, And becomes the mesh coordinate information.

본 발명의 일실시예에서는 예를 들면 사람의 얼굴에 수염을 그려준다던가 아니면 다른 어떤 장식을 주는 효과를 주는 것이 가능하게 하고 특히 사람의 얼굴이 움직이거나 표정이 변했을 때에도 왜곡 없이 이러한 장식효과를 나타날 수 있도록 해준다.In an embodiment of the present invention, for example, it is possible to draw a beard on a person's face or to give an effect of giving a different decoration, and even when a person's face moves or a facial expression changes, It can help.

이를 위해 상기 가상객체(800)에 덧입혀질 부가이미지 데이터를 만들어야 한다. 그리고 이러한 부가이미지가 가상객체(800)가 움직이거나 가상객체(800)의 모양이나 형상이 변경되었을 때에도 가상객체(800)의 표면과 이격되거나 분리되지 않고 자연스럽게 보여지도록 하기 위해서는 상기 가상객체(800)의 움직임에 따라 상기 부가이미지도 상기 가상객체(800)의 표면에서 상기 가상객체(800)의 움직임과 동일하게 움직이도록 해야 한다.To this end, additional image data to be added to the virtual object 800 should be created. In order to allow the virtual object 800 to be displayed without being separated or separated from the surface of the virtual object 800 even when the virtual object 800 is moved or the shape or shape of the virtual object 800 is changed, The additional image should be moved in the same manner as the movement of the virtual object 800 on the surface of the virtual object 800 according to the movement of the virtual object 800. [

이렇게 가상객체(800)의 움직임과 상기 부가이미지의 움직임을 동기화해야 상기 가상객체(800)가 어떻게 움직이더로도 상기 부가이미지가 상기 가상객체(800)의 표면에서 자연스럽게 함께 변화될 수 있다.In this way, the movement of the virtual object 800 and the movement of the additional image can be synchronized so that the additional image can be changed naturally on the surface of the virtual object 800 even as the virtual object 800 moves.

상기 가상객체(800)의 움직임과 상기 부가이미지의 움직임을 동기화하기 위해서 본 발명의 일실시예에서는 상기 부가이미지에 상기 매쉬좌표정보와 매칭된 좌표정보를 부여한다. 즉, 상기 부가이미지를 상기 가상객체(800)의 표면에 정합한 상태에서 상기 가상객체(800)의 표면에 형성된 매쉬를 상기 부가이미지에 동일하게 형성시킨다.In order to synchronize the movement of the virtual object 800 with the motion of the additional image, coordinate information matched with the mash coordinate information is added to the additional image. That is, the additional image is matched to the surface of the virtual object 800, and a mesh formed on the surface of the virtual object 800 is formed in the additional image.

이렇게 부가이미지의 매쉬와 상기 가상객체(800) 표면의 매쉬를 동일하게 만들어주면 결과적으로 상기 가상객체(800) 표면의 각 매쉬의 교차점의 좌표값과 상기 부가이미지에 형성된 각 매쉬의 교차점의 좌표값은 같아지게 되고, 즉 상기 가상객체(800)의 매쉬좌표정보는 상기 부가이미지의 매쉬좌표정보와 동일하게 되고 이를 달리 표현하면 상기 부가이미지와 상기 매쉬좌표정보는 매칭(matching)된다.If the mesh of the additional image and the mesh of the surface of the virtual object 800 are made the same, the coordinate value of the intersection point of each mesh on the surface of the virtual object 800 and the coordinate value of the intersection point of each mesh formed on the additional image That is, the mesh coordinate information of the virtual object 800 becomes the same as the mesh coordinate information of the additional image. In other words, the additional image and the mesh coordinate information are matched.

이렇게 부가이미지의 매쉬좌표정보와 상기 가상객체(800)의 매쉬좌표정보를 매칭하면, 손쉽게 상기 부가이미지를 상기 가상객체(800)에 덧입힐 수 있다. 즉 동일한 좌표계 상에 상기 부가이미지의 매쉬좌표정보와 상기 가상객체(800)의 매쉬좌표정보를 표현하게 되면 자연스럽게 상기 부가이미지는 상기 가상객체(800)의 표면에 덧입혀지게 된다.By matching the mesh coordinate information of the additional image with the mesh coordinate information of the virtual object 800, the virtual object 800 can be easily superimposed with the additional image. That is, if the mesh coordinate information of the additional image and the mesh coordinate information of the virtual object 800 are represented on the same coordinate system, the additional image is naturally added to the surface of the virtual object 800.

다음 가상카메라(미도시)를 이용하여 상기 부가이미지가 덧입혀진 가상객체(800)를 촬영한다. 이때 상기 가상카메라와 상기 가상객체(800)의 상대적인 위치는 실제객체(900)에 부가이미지를 투사할 프로젝터(500)와 상기 실체객체의 상대적인 위치와 동일해야 한다. 즉, 상기 프로젝터(500)에서 상기 실제객체(900)에 부가이미지를 투사하는 거리 및 각도는 상기 가상카메라에서 상기 가상객체(800)를 촬영하는 거리 및 각도와 동일하다.And photographs the virtual object 800 in which the additional image is superimposed using the next virtual camera (not shown). In this case, the relative positions of the virtual camera and the virtual object 800 should be the same as the relative positions of the actual object 900 and the projector 500 to project the additional image. That is, the distance and the angle at which the additional image is projected from the projector 500 to the actual object 900 are the same as the distance and angle at which the virtual object 800 is photographed by the virtual camera.

이를 위해서 상기 가상카메라의 위치정보를 상기 실제객체(900)에 부가이미지를 투사할 프로젝터(500)의 위치정보에 일치시키고, 상기 가상객체(800)의 위치정보와 상기 실제객체(900)의 위치정보를 일치시킨 상태에서 상기 가상카메라로 상기 부가이미지가 덧입혀진 가상객체(800)를 촬영한다.The position information of the virtual camera 800 is matched with the position information of the projector 500 to project the additional image to the actual object 900 and the position information of the virtual object 800 and the position And photographs the virtual object 800 in which the additional image is superimposed on the virtual camera while the information is matched.

이렇게 가상카메라가 상기 가상객체(800) 또는 상기 부가이미지를 촬영하면 결국 상기 프로젝터(500)의 위치에서 상기 실제객체(900)를 촬영하는 것과 동일한 효과를 얻을 수 있다.When the virtual camera 800 captures the virtual object 800 or the additional image, it is possible to obtain the same effect as shooting the actual object 900 at the position of the projector 500. [

다음 상기 가상카메라에서 촬영된 상기 부가이미지를 상기 프로젝터(500)로 송신한다. 이렇게 송신된 부가이미지를 수신한 상기 프로젝터는 수신된 부가이미지를 상기 실제객체(900)에 투사한다.
And then transmits the additional image photographed by the virtual camera to the projector 500. [ Upon receiving the additional image thus transmitted, the projector projects the received additional image on the real object 900.

[ 제 2실시예][Second Embodiment]

이때 부가이미지를 실체객체에 투사할 때, 프로젝터(500) 한 대를 이용하여 투사하거나 또는 3개의 프로젝터(500)를 이용하여 투사할 수도 있다. 또는 그 이상의 프로젝터(500)를 이용하여 투사하는 것도 가능하다.At this time, when the additional image is projected onto the entity object, it may be projected using one projector 500 or three projectors 500. [ It is also possible to project the image by using the projector 500 or more.

본 발명의 제 2실시예에서는 세 대의 프로젝터(500, 510, 520)를 이용하여 상기 부가이미지를 투사하는 경우를 설명한다.In the second embodiment of the present invention, the case of projecting the additional image using the three projectors 500, 510, and 520 will be described.

도 6은 는 본 발명의 제 2실시예에 따른 프로젝션 매핑방법을 설명하기 위한 도면,6 is a diagram for explaining a projection mapping method according to a second embodiment of the present invention,

도 6을 참조하면 세 대의 프로젝터(500, 510, 520)를 이용하여 실제객체(900)에 부가이미지를 투사하는 구성을 보여준다.Referring to FIG. 6, an additional image is projected onto an actual object 900 using three projectors 500, 510, and 520.

세 대의 프로젝터(500, 510, 520)를 이용하여 상기 부가이미지를 실제객체(900)에 투사하기 위해서는 각 프로젝터(500, 510, 520)에서 투사하는 이미지가 각각 달라야 한다. 이를 위해 먼저 부가이미지를 세 개의 영역으로 분리한 후 세 개로 분리된 각각의 부가이미지를 각각의 프로젝터(500, 510, 520)가 투사하는 방식을 사용하여야 한다.In order to project the additional image to the actual object 900 using the three projectors 500, 510 and 520, images projected from the respective projectors 500, 510 and 520 must be different. In order to do this, the additional image must be divided into three regions, and then each of the additional images separated by the three projectors 500, 510 and 520 should be used.

상기 실제객체(900)에 상기 부가이미지를 투사하기 위해 세 대의 프로젝터(500, 510, 520)가 서로 다른 위치에 설치되고, 상기 부가이미지가 덧입혀진 가상객체(800)의 표면영역을 세 개로 분리한다. 이때 가상객체(800)의 표면영역을 분리할 수도 있고 아니면 단순히 부가이미지를 세 개로 분리할 수도 있다.Three projectors 500, 510 and 520 are installed at different positions in order to project the additional image to the actual object 900 and the surface area of the virtual object 800 to which the additional image is superimposed is divided into three do. At this time, the surface area of the virtual object 800 may be separated, or simply the additional image may be divided into three.

상기 부가이미지가 덧입혀진 가상객체(800)의 표면영역을 세 개로 분할할 때 상기 가상객체(800)의 매쉬분할된 각 면의 노말벡터를 기준으로 하여 분할한다.When dividing the surface area of the virtual object 800 into which the additional image is superimposed, by dividing the normal vector of each face of the virtual object 800 by the mesh.

즉, 노말벡터의 값에 따라 노말벡터가 0~20도인 영역, 노말벡터가 20~160도인 영역 그리고 노말벡터가 160~180도인 영역 이렇게 세 개의 영역으로 분리할 수 있다.That is, the region can be divided into three regions, ie, a region having a normal vector of 0 to 20 degrees, a region having a normal vector of 20 to 160 degrees, and a region having a normal vector of 160 to 180 degrees according to a value of a normal vector.

또는 노말벡터의 값에 따라 노말벡터가 0~10도인 영역, 노말벡터가 10~170도인 영역 그리고 노말벡터가 170~180도인 영역 이렇게 세 개의 영역으로 분리할 수 있다.Or a region having a normal vector of 0 to 10 degrees, a region having a normal vector of 10 to 170 degrees, and a region having a normal vector of 170 to 180 degrees according to the value of the normal vector.

또는 노말벡터의 값에 따라 노말벡터가 0~30도인 영역, 노말벡터가 30~150도인 영역 그리고 노말벡터가 150~180도인 영역 이렇게 세 개의 영역으로 분리할 수도 있다.Or a region having a normal vector of 0 to 30 degrees, a region having a normal vector of 30 to 150 degrees, and a region having a normal vector of 150 to 180 degrees according to the value of the normal vector.

이렇게 세 개의 영역으로 분할된 부가이미지는 상기 노말벡터가 90도인 부분이 포함되어 있는 영역의 부가이미지 중앙부분은 중앙에 위치하는 프로젝터(500)에서 투사하고, 노말벡터가 0도에서 상기 부가이미지 중앙부분까지의 영역인 부가이미지 좌측부분은 좌측에 위치하는 프로젝터(510)에서 투사하고, 상기 부가이미지 중앙부분에서 노말벡터가 180도까지의 영역인 부가이미지 우측부분은 좌측에 위치하는 프로젝터(520)에서 투사하도록 한다.The additional image divided into the three regions is projected by the projector 500 positioned at the center of the additional image center portion of the region including the portion where the normal vector is 90 degrees, The projector 520 projects the left part of the additional image, which is the area up to the part of the image, on the left side of the projector 510, and the right side part of the additional image, .

이렇게 부가이미지를 세 개의 영역으로 분리하면 가상카메라로 부가이미지를 촬영할 때에도 세 개의 가상카메라를 이용하여 세 개로 분리된 각 부가이미지를 촬영하여야 한다.When the additional image is divided into three regions, each additional image separated by the three virtual cameras should be photographed even when the additional image is photographed by the virtual camera.

먼저, 각 가상카메라의 위치정보를 상기 각 프로젝터(500)의 위치정보에 일치시키고, 이 상태에서 상기 분할된 세 개의 가상객체(800)의 표면영역을 각각의 가상카메라에서 촬영한다.상기 세 개의 가상카메라에서 촬영된 세 개의 부가이미지를 상기 각각의 프로젝터(500)로 송신하면 상기 세 대의 프로젝터(500)는 각각 수신된 부가이미지를 상기 실제객체(900)에 투사하게 된다.
First, the position information of each virtual camera is matched with the position information of each projector 500, and the surface area of the divided three virtual objects 800 is photographed by each virtual camera in this state. When the three additional images photographed by the virtual camera are transmitted to the respective projectors 500, the three projectors 500 project the received additional images to the actual object 900. [

[ 제 3실시예][Third Embodiment]

이때 부가이미지를 실체객체에 투사할 때, 두 대의 프로젝터(500)를 이용하여 투사할 수도 있다.At this time, when the additional image is projected onto the entity object, the two projectors 500 may be used to project the additional image.

본 발명의 제 3실시예에서는 두 대의 프로젝터(500)를 이용하여 상기 부가이미지를 투사하는 경우를 설명한다.In the third embodiment of the present invention, the case of projecting the additional image using two projectors 500 will be described.

두 대의 프로젝터(500)를 이용하여 상기 부가이미지를 실제객체(900)에 투사하기 위해서는 상기 부가이미지를 두 개로 분할하여야 한다. 상기 제 2실시예에서와 동일하게 상기 가상객체(800)의 매쉬분할된 각 면의 노말벡터를 기준으로 하여 분할한다.In order to project the additional image to the actual object 900 using the two projectors 500, the additional image must be divided into two parts. As in the second embodiment, the normal vector of each face of the virtual object 800 is segmented.

즉, 노말벡터의 값에 따라 노말벡터가 0~90도인 영역, 노말벡터가 90~180도인 영역으로 분리한다.That is, the normal vector is divided into 0 to 90 degrees and the normal vector is 90 to 180 degrees according to the value of the normal vector.

상기 부가이미지 또는 상기 부가이미지가 덧입혀진 가상객체(800)의 표면영역을 2개로 분할하고 좌우 방향으로 배열된 두 대의 프로젝터(500)를 이용하여 실제객체(900)에 부가이미지를 투사한다. 상기 노말벡터가 0~90도인 표면영역의 부가이미지는 좌측에 위치하는 프로젝터(500)에서 투사하고, 노말벡터가 90~180인 표면영역의 부가이미지는 우측에 위치하는 프로적터에서 투사한다.The additional image is projected onto the actual object 900 by dividing the surface area of the virtual object 800 in which the additional image or the additional image is embedded and dividing the surface area into two and using the two projectors 500 arranged in the left and right direction. The additional image of the surface area having the normal vector of 0 to 90 degrees is projected from the projector 500 located on the left side and the additional image of the surface area having the normal vector of 90 to 180 is projected on the right side of the professional red object.

이렇게 부가이미지를 두 개의 영역으로 분리하면 가상카메라로 부가이미지를 촬영할 때에도 두 개의 가상카메라를 이용하여 두 개로 분리된 각 부가이미지를 촬영하여야 한다.When the additional image is divided into two regions, each additional image separated by the two virtual cameras should be photographed even when the additional image is photographed by the virtual camera.

먼저, 각 가상카메라의 위치정보를 상기 각 프로젝터(500)의 위치정보에 일치시키고, 이 상태에서 상기 분할된 두 개의 가상객체(800)의 표면영역을 각각의 가상카메라에서 촬영한다. 상기 두 개의 가상카메라에서 촬영된 두 개의 부가이미지를 상기 각각의 프로젝터(500)로 송신하면 상기 두 대의 프로젝터(500)는 각각 수신된 부가이미지를 상기 실제객체(900)에 투사하게 된다.
First, the position information of each virtual camera is matched with the position information of each projector 500, and the surface area of the divided virtual objects 800 is photographed by each virtual camera in this state. When the two additional images photographed by the two virtual cameras are transmitted to the respective projectors 500, the two projectors 500 project the received additional images to the actual object 900.

[제 4실시예][Fourth Embodiment]

본 발명의 제 4실시예에서는 위치검출센서(400)가 실제객체(900)를 기준으로 볼 때 상기 프로젝보다 더 멀리 떨어진 곳에 위치하여 상기 위치검출센서(400)가 상기 실제객체(900)의 위치정보뿐만 아니라 상기 프로젝터(500)의 위치정보까지 검출하는 경우를 설명한다.In the fourth embodiment of the present invention, when the position detection sensor 400 is located farther from the actual object 900 than the project, the position detection sensor 400 detects the position of the actual object 900 As well as the position information of the projector 500 will be described.

도 7은 본 발명의 제 4실시예에 따른 프로젝션 매핑방법에서 프로젝터(500)가 한대인 경우를 설명하기 위한 도면이고 도 8은 본 발명의 제 4실시예에 따른 프로젝션 매핑방법에서 프로젝터(500)가 한대인 경우를 설명하기 위한 도면이다.FIG. 7 is a view for explaining a case where a projector 500 is included in the projection mapping method according to the fourth embodiment of the present invention, and FIG. 8 is a diagram for explaining a case where the projector 500 in the projection mapping method according to the fourth embodiment of the present invention, Fig.

도면들을 참조하면 위치검출센서(400)가 상기 프로젝터(500)보다 후면에 위치하고, 상기 실제객체(900)의 위치정보 검출단계에서 실제객체(900)의 위치정보와 함께 상기 실제객체(900)에 영상을 투사하는 프로젝터(500)의 위치정보를 함께 검출한다.Referring to the drawings, a position detection sensor 400 is located behind the projector 500 and detects the position of the real object 900 in the position information detection step of the real object 900, And detects the position information of the projector 500 projecting the image together.

상기 가상카메라를 이용하여 상기 가상객체(800)를 촬영할 때 위에서 설명한 바와 같이 상기 가상카메라의 위치정보를 상기 프로젝터(500)의 위치정보와 일치시켜야 한다. 이때 프로젝터(500)의 위치정보는 사람이 직접 입력하여 주던가 아니면 프로젝터(500)의 위치를 변화시켜가면서 상기 프로젝터(500)의 위치와 상기 가상카메라의 위치를 정렬하는 과정을 거쳐야만 한다.When the virtual object 800 is photographed using the virtual camera, the position information of the virtual camera must match the position information of the projector 500 as described above. At this time, the position information of the projector 500 needs to be input manually or the position of the projector 500 and the position of the virtual camera should be aligned while changing the position of the projector 500.

그런데 이렇게 프로젝터(500)의 위치정보를 위치검출센서(400)에서 검출하게 되면 상기 가상카메라를 이용하여 상기 가상객체(800)를 촬영할 때 상기 위치검출센서(400)에서 검출된 프로젝터(500)의 위치정보를 그대로 사용할 수 있기 때문에 위의 실시예들에서와 같이 프로젝터(500)의 위치정보를 사람이 직접 입력하여 주던가 아니면 프로젝터(500)의 위치를 변화시켜가면서 상기 프로젝터(500)의 위치와 상기 가상카메라의 위치를 정렬하는 과정을 거칠 필요가 없게 된다.
When the position information of the projector 500 is detected by the position detecting sensor 400, when the virtual object 800 is photographed using the virtual camera, the position of the projector 500 detected by the position detecting sensor 400 The position information of the projector 500 can be directly inputted by a person or the position of the projector 500 can be changed while the position information of the projector 500 is being changed as in the above embodiments, There is no need to perform a process of aligning the positions of the virtual cameras.

이상에서는 본 발명의 바람직한 실시예를 예시적으로 설명하였으나, 본 발명의 범위는 이와 같은 특정 실시예에만 한정되는 것은 아니며, 특허청구범위에 기재된 범주 내에서 적절하게 변경 가능한 것이다.
While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, is intended to cover various modifications and equivalent arrangements included within the spirit and scope of the invention.

400 : 위치검출센서 450 : 마커
500, 510, 520 : 프로젝터
800, 800' : 가상객체 850 : 부가이미지
900 : 실제객체 400: Position detection sensor 450: Marker
500, 510, 520: Projector
800, 800 ': virtual object 850: additional image
900: Physical object

Claims (10)

키넥트 센서를 이용하여 실제객체의 위치 및 모양정보를 검출하는 단계;
상기 실제객체의 위치 및 모양정보를 이용하여 매쉬로 이루어진 입체 가상객체를 생성하는 단계;
상기 입체 가상객체의 매쉬 교차점들의 좌표정보인 매쉬좌표정보를 부여하는 단계;
상기 가상객체에 덧입혀질 부가이미지 데이터를 생성하고 상기 부가이미지에 상기 매쉬좌표정보와 매칭된 좌표정보를 부여하여 상기 가상객체에 덧입히는 단계;
가상카메라의 위치정보를 상기 실제객체에 부가이미지를 투사할 프로젝터의 위치정보에 일치시킨 상태에서 상기 가상카메라로 상기 부가이미지가 덧입혀진 가상객체를 촬영하는 단계;
상기 가상카메라에서 촬영된 상기 부가이미지를 상기 프로젝터로 송신하면 상기 프로젝터는 수신된 부가이미지를 상기 실제객체에 투사하는 단계;를 포함하고,
상기 실제객체에 상기 부가이미지를 투사하기 위해 복수 개(N 개)의 프로젝터가 서로 다른 위치에 설치되고,
상기 부가이미지가 덧입혀진 가상객체의 표면영역을 복수 개(N 개)로 분할하고,
복수 개(N 개)의 가상카메라를 이용하여 각 가상카메라의 위치정보를 상기 각 프로젝터의 위치정보에 일치시킨 상태에서 상기 분할된 복수 개(N 개)의 가상객체의 표면영역을 각각의 가상카메라에서 촬영하고,
상기 복수 개(N 개)의 가상카메라에서 촬영된 복수 개(N 개)의 부가이미지를 상기 각각의 프로젝터로 송신하면 상기 복수 개(N 개)의 프로젝터는 각각 수신된 부가이미지를 상기 실제객체에 투사하는 것을 특징으로 하는 표면윤곽 변화를 고려한 동적 프로젝션 매핑 방법.
Detecting position and shape information of an actual object using a Kinect sensor;
Generating a three-dimensional virtual object made of a mesh using the position and shape information of the actual object;
Providing mesh coordinate information that is coordinate information of mesh intersections of the three-dimensional virtual object;
Generating additional image data to be added to the virtual object, adding coordinate information matched with the mesh coordinate information to the additional image, and adding the additional image data to the virtual object;
Capturing a virtual object with the additional image added to the virtual camera while the position information of the virtual camera matches the position information of the projector to project the additional image to the actual object;
And projecting the received additional image to the actual object when the additional image photographed by the virtual camera is transmitted to the projector,
A plurality of (N) projectors are installed at different positions in order to project the additional image to the actual object,
Dividing a surface area of a virtual object to which the additional image is added into a plurality of (N)
(N) virtual cameras are used to match the positional information of each virtual camera with the positional information of each projector, and the surface area of the divided plurality of (N) ≪ / RTI >
When a plurality of (N) additional images photographed by the plurality of (N) virtual cameras are transmitted to the respective projectors, the plurality of (N) projectors respectively transmit the received additional images to the actual objects Wherein the projected image is projected on the surface of the substrate.
실제객체의 표면에 마커들을 부착하는 단계;
위치검출센서를 이용하여 실제객체에 부착된 마커들의 좌표정보를 검출하여 상기 실제객체의 위치 및 모양정보를 검출하는 단계;
상기 실제 객체의 위치 및 모양정보를 이용하여 매쉬로 이루어진 입체 가상객체를 생성하는 단계;
상기 입체 가상객체의 매쉬 교차점들의 좌표정보인 매쉬좌표정보를 검출하는 단계;
상기 가상객체에 덧입혀질 부가이미지 데이터를 생성하고 상기 부가이미지에 상기 매쉬좌표정보와 매칭된 좌표정보를 부여하여 상기 가상객체에 덧입히는 단계;
가상카메라의 위치정보를 상기 실제객체에 부가이미지를 투사할 프로젝터의 위치정보에 일치시킨 상태에서 상기 가상카메라로 상기 부가이미지가 덧입혀진 가상객체를 촬영하는 단계;
상기 가상카메라에서 촬영된 상기 부가이미지를 상기 프로젝터로 송신하면 상기 프로젝터는 수신된 부가이미지를 상기 실제객체에 투사하는 단계;를 포함하고,
상기 실제객체에 상기 부가이미지를 투사하기 위해 복수 개(N 개)의 프로젝터가 서로 다른 위치에 설치되고,
상기 부가이미지가 덧입혀진 가상객체의 표면영역을 복수 개(N 개)로 분할하고,
복수 개(N 개)의 가상카메라를 이용하여 각 가상카메라의 위치정보를 상기 각 프로젝터의 위치정보에 일치시킨 상태에서 상기 분할된 복수 개(N 개)의 가상객체의 표면영역을 각각의 가상카메라에서 촬영하고,
상기 복수 개(N 개)의 가상카메라에서 촬영된 복수 개(N 개)의 부가이미지를 상기 각각의 프로젝터로 송신하면 상기 복수 개(N 개)의 프로젝터는 각각 수신된 부가이미지를 상기 실제객체에 투사하는 것을 특징으로 하는 표면윤곽 변화를 고려한 동적 프로젝션 매핑 방법.
Attaching markers to a surface of an actual object;
Detecting position and shape information of the actual object by detecting coordinate information of markers attached to the actual object using the position detection sensor;
Generating a three-dimensional virtual object made of a mesh using the position and shape information of the actual object;
Detecting mesh coordinate information which is coordinate information of mesh intersections of the three-dimensional virtual object;
Generating additional image data to be added to the virtual object, adding coordinate information matched with the mesh coordinate information to the additional image, and adding the additional image data to the virtual object;
Capturing a virtual object with the additional image added to the virtual camera while the position information of the virtual camera matches the position information of the projector to project the additional image to the actual object;
And projecting the received additional image to the actual object when the additional image photographed by the virtual camera is transmitted to the projector,
A plurality of (N) projectors are installed at different positions in order to project the additional image to the actual object,
Dividing a surface area of a virtual object to which the additional image is added into a plurality of (N)
(N) virtual cameras are used to match the positional information of each virtual camera with the positional information of each projector, and the surface area of the divided plurality of (N) ≪ / RTI >
When a plurality of (N) additional images photographed by the plurality of (N) virtual cameras are transmitted to the respective projectors, the plurality of (N) projectors respectively transmit the received additional images to the actual objects Wherein the projected image is projected on the surface of the substrate.
제 1항 또는 제 2항에 있어서,
상기 실제객체의 위치정보 검출단계에서는 실제객체의 위치정보와 함께 상기 실제객체에 영상을 투사하는 프로젝터의 위치정보를 함께 검출하는 것을 특징으로 하는 표면윤곽 변화를 고려한 동적 프로젝션 매핑 방법.
3. The method according to claim 1 or 2,
Wherein the step of detecting the position of the real object together with the position information of the actual object and the position information of the projector projecting the image to the real object are detected together.
삭제delete 제 1항 또는 제 2항에 있어서,
상기 부가이미지가 덧입혀진 가상객체의 표면영역을 복수 개(N 개)로 분할할 때 상기 가상객체의 매쉬분할된 각 면의 노말벡터를 기준으로 하여 분할하는 것을 특징으로 하는 표면윤곽 변화를 고려한 동적 프로젝션 매핑 방법.
3. The method according to claim 1 or 2,
Wherein when dividing the surface area of the virtual object including the additional image into a plurality of (N) surface areas, the virtual object is divided on the basis of the normal vector of each surface of the virtual object divided by the mesh. Projection mapping method.
제 5항에 있어서,
상기 부가이미지가 덧입혀진 가상객체의 표면영역을 2개로 분할하고 좌우 방향으로 배열된 2개의 프로젝터를 이용하여 실제객체에 부가이미지를 투사하고,
상기 노말벡터가 0~90도인 표면영역의 부가이미지는 좌측에 위치하는 프로젝터에서 투사하고, 노말벡터가 90~180인 표면영역의 부가이미지는 우측에 위치하는 프로적터에서 투사하는 것을 특징으로 하는 표면윤곽 변화를 고려한 동적 프로젝션 매핑 방법.
6. The method of claim 5,
Dividing the surface area of the virtual object in which the additional image is embedded into two, projecting the additional image to the actual object using two projectors arranged in the left and right direction,
Wherein the additional image of the surface area in which the normal vector is 0 to 90 degrees is projected from the projector located on the left side and the additional image of the surface area in which the normal vector is 90 to 180 is projected on the right side projecting place Dynamic projection mapping method considering contour change.
제 5항에 있어서,
상기 부가이미지가 덧입혀진 가상객체의 표면영역을 3개로 분할하고 좌우 방향으로 배열된 3개의 프로젝터를 이용하여 실제객체에 부가이미지를 투사하고,
상기 노말벡터가 20~160도인 표면영역의 부가이미지는 중앙에 위치하는 프로젝터에서 투사하고, 노말벡터가 0~20도인 표면영역의 부가이미지는 좌측에 위치하는 프로젝터에서 투사하고, 노말벡터가 160~180인 표면영역의 부가이미지는 우측에 위치하는 프로적터에서 투사하는 것을 특징으로 하는 표면윤곽 변화를 고려한 동적 프로젝션 매핑 방법.
6. The method of claim 5,
Dividing the surface area of the virtual object including the additional image into three, projecting the additional image to the actual object using three projectors arranged in the left and right direction,
The additional image of the surface area having the normal vector of 20 to 160 degrees is projected from the projector located at the center, the additional image of the surface area having the normal vector of 0 to 20 degrees is projected from the projector positioned on the left, Wherein the additional image of the surface area of 180 is projected on the right side of the projector.
제 5항에 있어서,
상기 노말벡터가 10~170도인 표면영역의 부가이미지는 중앙에 위치하는 프로젝터에서 투사하고, 노말벡터가 0~10도인 표면영역의 부가이미지는 좌측에 위치하는 프로젝터에서 투사하고, 노말벡터가 170~180인 표면영역의 부가이미지는 우측에 위치하는 프로적터에서 투사하는 것을 특징으로 하는 표면윤곽 변화를 고려한 동적 프로젝션 매핑 방법.
6. The method of claim 5,
The additional image of the surface area having the normal vector of 10 to 170 degrees is projected from the projector located at the center and the additional image of the surface area having the normal vector of 0 to 10 degrees is projected from the projector positioned on the left side, Wherein the additional image of the surface area of 180 is projected on the right side of the projector.
제 5항에 있어서,
상기 노말벡터가 30~150도인 표면영역의 부가이미지는 중앙에 위치하는 프로젝터에서 투사하고, 노말벡터가 0~30도인 표면영역의 부가이미지는 좌측에 위치하는 프로젝터에서 투사하고, 노말벡터가 150~180인 표면영역의 부가이미지는 우측에 위치하는 프로적터에서 투사하는 것을 특징으로 하는 표면윤곽 변화를 고려한 동적 프로젝션 매핑 방법.
6. The method of claim 5,
The additional image of the surface area having the normal vector of 30 to 150 degrees is projected from the projector positioned at the center, the additional image of the surface area having the normal vector of 0 to 30 degrees is projected from the projector positioned on the left, Wherein the additional image of the surface area of 180 is projected on the right side of the projector.
제 1항 또는 제 2항에 있어서,
위치검출센서를 이용하여 실제객체의 위치정보를 검출하는 단계에서는 광학 센서를 이용하여 상기 실제객체의 위치정보를 검출하는 것을 특징으로 하는 표면윤곽 변화를 고려한 동적 프로젝션 매핑 방법.
3. The method according to claim 1 or 2,
Wherein the step of detecting the position information of the real object using the position detection sensor detects the position information of the real object using an optical sensor.
KR1020150035045A 2015-03-13 2015-03-13 Method for dynamic projection mapping considering the change of surface-appearance KR101684270B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150035045A KR101684270B1 (en) 2015-03-13 2015-03-13 Method for dynamic projection mapping considering the change of surface-appearance

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150035045A KR101684270B1 (en) 2015-03-13 2015-03-13 Method for dynamic projection mapping considering the change of surface-appearance

Publications (2)

Publication Number Publication Date
KR20160109867A KR20160109867A (en) 2016-09-21
KR101684270B1 true KR101684270B1 (en) 2016-12-20

Family

ID=57080577

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150035045A KR101684270B1 (en) 2015-03-13 2015-03-13 Method for dynamic projection mapping considering the change of surface-appearance

Country Status (1)

Country Link
KR (1) KR101684270B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11772276B2 (en) 2020-01-02 2023-10-03 Universal City Studios Llc Systems and methods for optical performance captured animated figure with real-time reactive projected media

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009506442A (en) * 2005-08-26 2009-02-12 ソニー株式会社 Capture and process facial movement data
KR101265711B1 (en) * 2011-11-30 2013-05-20 주식회사 이미지넥스트 3d vehicle around view generating method and apparatus

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101465497B1 (en) 2013-07-09 2014-11-26 성균관대학교산학협력단 Apparatus and system for dynamic projection mapping and method thereof

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009506442A (en) * 2005-08-26 2009-02-12 ソニー株式会社 Capture and process facial movement data
KR101265711B1 (en) * 2011-11-30 2013-05-20 주식회사 이미지넥스트 3d vehicle around view generating method and apparatus

Also Published As

Publication number Publication date
KR20160109867A (en) 2016-09-21

Similar Documents

Publication Publication Date Title
US11928838B2 (en) Calibration system and method to align a 3D virtual scene and a 3D real world for a stereoscopic head-mounted display
TWI722280B (en) Controller tracking for multiple degrees of freedom
CN113412614B (en) Three-dimensional localization using depth images
KR101761751B1 (en) Hmd calibration with direct geometric modeling
CN106643699B (en) Space positioning device and positioning method in virtual reality system
JP6340017B2 (en) An imaging system that synthesizes a subject and a three-dimensional virtual space in real time
US9759918B2 (en) 3D mapping with flexible camera rig
US9986228B2 (en) Trackable glasses system that provides multiple views of a shared display
EP3008691B1 (en) Head-mountable apparatus and systems
KR20200012043A (en) Head-mounted display for virtual and mixed reality with inside-out positional, user body and environment tracking
JP2002213947A (en) System for measuring position of target, and method therefor
JP2014241155A (en) Method for providing descriptor as at least one feature of image, and method for matching feature
US20120026376A1 (en) Anamorphic projection device
KR20150093831A (en) Direct interaction system for mixed reality environments
US11915453B2 (en) Collaborative augmented reality eyewear with ego motion alignment
TW201738847A (en) Assembly instruction system and assembly instruction method
Caarls et al. Augmented reality for art, design and cultural heritage—system design and evaluation
CN112912936A (en) Mixed reality system, program, mobile terminal device, and method
KR101962543B1 (en) System and method for generating augmented reality based on marker detection
KR101684270B1 (en) Method for dynamic projection mapping considering the change of surface-appearance
KR102185322B1 (en) System for detecting position using ir stereo camera
KR20090000777A (en) Augmented reality system using tangible object and method for providing augmented reality
CN104700392B (en) Virtual image positioning method and device
Piérard et al. I-see-3d! an interactive and immersive system that dynamically adapts 2d projections to the location of a user's eyes
US10885663B2 (en) Method for setting a viewing direction in a representation of a virtual environment

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant