WO2016182167A1 - 평면 도안 입체화 구현 장치 - Google Patents

평면 도안 입체화 구현 장치 Download PDF

Info

Publication number
WO2016182167A1
WO2016182167A1 PCT/KR2016/000534 KR2016000534W WO2016182167A1 WO 2016182167 A1 WO2016182167 A1 WO 2016182167A1 KR 2016000534 W KR2016000534 W KR 2016000534W WO 2016182167 A1 WO2016182167 A1 WO 2016182167A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
virtual image
sketch
virtual
color
Prior art date
Application number
PCT/KR2016/000534
Other languages
English (en)
French (fr)
Inventor
최우철
Original Assignee
주식회사 아이아라
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아이아라 filed Critical 주식회사 아이아라
Publication of WO2016182167A1 publication Critical patent/WO2016182167A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics

Definitions

  • the present invention relates to a 3D augmented planar stereoscopic apparatus for displaying a 3D augmented planar stereoscopic apparatus.
  • Augmented Reality is one of virtual reality that combines the real world that the user sees with the virtual world with additional information in one image.
  • AR a concept that complements the real world with a virtual world, uses a virtual environment made of computer graphics, but the main role is the real environment.
  • Computer graphics play a role in providing additional information necessary for the real environment. This means that the distinction between the real environment and the virtual screen is blurred by overlapping the 3D virtual image on the live image that the user sees.
  • Augmented reality a concept that complements the real world with a virtual world, uses a virtual environment made of computer graphics, but the main role is the real environment.
  • Computer graphics play a role in providing additional information necessary for the real environment. This means that the distinction between the real environment and the virtual screen is blurred by overlapping the three-dimensional (3D) virtual image on the live image that the user is viewing.
  • Virtual reality technology immerses the user in the virtual environment and cannot see the real environment.
  • augmented reality technology which is a mixture of real environment and virtual objects, allows the user to see the real environment, providing better realism and additional information. For example, when the camera is illuminated with a smartphone camera, information such as the location and phone number of a nearby store is displayed as a stereoscopic image.
  • An object of the present invention is to provide a 3D augmented planar stereoscopic implementation apparatus for displaying a planar stereoscopic display.
  • the technical problem of the present invention is to enable each user to configure a three-dimensional coating of their own color.
  • An embodiment of the present invention is a sketch picture, and a marker of the shape surrounding the 2D sketch picture is printed, 2D flat paper that can receive a color over the 2D sketch picture from the user; And generating a captured image by capturing a 2D sketch drawing in the marker printed on the 2D plane paper, extracting a 3D virtual image matching the captured image, and recording the chapter image in color texture information in the 3D virtual image to color. And a user terminal for generating and displaying the additional 3D virtual image.
  • the user terminal may include a 3D virtual image database storing a plurality of 3D virtual images with a unique number;
  • a 2D sketch figure database storing images of 3D virtual images viewed from the front as 2D sketch figures with respective unique numbers;
  • a camera for photographing the 2D flat paper;
  • a capture image generation unit for capturing a sketch picture in the marker of the 2D plane paper to generate a capture image;
  • a 3D virtual image acquisition unit for acquiring a 3D virtual image matching the 2D sketch image from the 3D virtual image database when there is a 2D sketch image having the same shape as the captured image;
  • a color-added 3D virtual image generating unit configured to generate the color-added 3D virtual image by recording the chapter image in color texture information provided in the provided 3D virtual image;
  • An image synthesizer configured to display the color-added 3D virtual image on a background image photographed by the camera;
  • a planar stereoscopic application execution unit configured to perform stereoscopic driving by controlling a captured image generator
  • the image synthesizing unit may determine and display a size, a direction, and a position at which a color-added 3D virtual image is overlapped based on a marker recognized in real time by the camera.
  • the user terminal includes a three-dimensional position sensor for detecting the three-dimensional movement coordinates of the user terminal, wherein the image synthesis unit, perspective change with respect to the color-added 3D virtual image according to the three-dimensional movement coordinates of the user terminal Can be displayed.
  • the planar stereoscopic implementation apparatus includes a 3D virtual image registration server that allocates and registers a 3D virtual image for each 2D sketch image, and the user terminal includes the 2D sketch image having the same shape as the captured image.
  • the 3D virtual image registration server may transmit a unique number of the 2D sketch figure to the 3D virtual image registration server to receive a 3D virtual image matching the 2D sketch figure from the 3D virtual image registration server.
  • the 3D virtual image registration server may include a 3D virtual image storage unit which allocates and registers a 3D virtual image for each unique number of each 2D sketch picture; And a 3D option image storage unit registering a 3D option image whose display state is changed by a user's operation for each unique number of each 2D sketch figure, wherein the user terminal provides a 3D virtual image matching the 2D sketch figure.
  • the user terminal When receiving, it is provided with a 3D option image allocated to the 2D sketch picture, and the color-added 3D virtual image and the 3D option image may be displayed by being synthesized with the background image photographed by the camera.
  • the user terminal may move the 3D virtual image or change and display the 3D option image.
  • the color painted by the user in the plan view may be coated and three-dimensionally displayed, which may cause the user's interest.
  • users can enjoy art education and hobbies by painting their own colors and making them three-dimensional.
  • FIG. 1 is a photograph showing a 2D flat paper drawn 2D sketch drawing according to an embodiment of the present invention.
  • Figure 2 is a picture showing a user coloring a 2D sketch picture according to an embodiment of the present invention.
  • FIG. 3 is a photograph showing a state of driving a planar stereoscopic application installed in the user terminal according to an embodiment of the present invention.
  • FIG. 4 is a photograph illustrating a state of photographing 2D flat paper through a user terminal according to an embodiment of the present invention
  • FIG. 5 is a photo showing a state in which a 3D virtual image is displayed on the display window of the user terminal according to an embodiment of the present invention.
  • FIG. 6 is a photograph showing a state of the 3D virtual image displayed on the display window of the user terminal according to an embodiment of the present invention.
  • FIG. 7 is a system configuration diagram of a planarization stereoscopic implementation device according to an embodiment of the present invention.
  • FIG. 8 is a block diagram of a user terminal according to an embodiment of the present invention.
  • Figure 9 is an example photo for a function called UV in the 3D production tool.
  • 10 to 12 are views illustrating a state in which a color-added 3D virtual image is superimposed and displayed on a real-time background screen taken by a camera according to an embodiment of the present invention.
  • FIG. 13 is a system configuration diagram of a planar stereoscopic implementation device equipped with a 3D virtual image registration server according to an embodiment of the present invention.
  • FIG. 14 is a block diagram of a 3D virtual image registration server according to an embodiment of the present invention.
  • the present invention is a sketch picture, and a marker of the shape surrounding the 2D sketch picture is printed, 2D flat paper that can receive a color over the 2D sketch picture from the user;
  • FIG. 1 is a picture showing a 2D flat paper is drawn a 2D sketch picture according to an embodiment of the present invention
  • Figure 2 is a picture showing a user coloring a 2D sketch picture according to an embodiment of the present invention
  • 3 is a photograph showing a state of driving a planar stereoscopic application installed in the user terminal according to an embodiment of the present invention
  • Figure 4 is a view showing a state of photographing 2D plane paper through the user terminal in accordance with an embodiment of the present invention
  • 5 is a picture showing a 3D virtual image displayed on the display window of the user terminal according to an embodiment of the present invention
  • Figure 6 is a 3D virtual displayed on the display window of the user terminal according to an embodiment of the present invention
  • 7 is a photograph showing a state of an image
  • FIG. 7 is a system configuration diagram of an apparatus for implementing planar stereoscopic implementation according to an embodiment of the present invention.
  • a specific marker is recorded in the 2D flat paper 10 on which a picture painted by a user is drawn.
  • a 3D virtual image which is a 3D graphic model connected to a sketch drawing drawn in the marker, is displayed on the captured image of the 2D plane paper 10.
  • a 2D sketch is printed on the 2D flat paper 10 such as paper.
  • sketches of 2D characters such as dinosaurs and dogs are printed on 2D flat paper 10 as 2D sketch pictures.
  • the 2D flat paper 10 is printed with markers that surround the 2D sketch drawing.
  • the 2D flat paper 10 may be sold with a sketch picture printed or provided free of charge.
  • the 2D sketch picture printed on the 2D flat paper 10 is a picture registered in the user terminal 100.
  • a marker refers to providing size, direction, and position information on which a 3D virtual image, which is a 3D graphic model connected with itself, is present on a 2D plane. Since the marker may have a shape surrounding the 2D sketch picture, the marker may have various shapes such as a rectangular frame, a circular frame, and a triangular frame. In some cases, you do not have to enclose a 2D sketch figure and only have a shape that can be identified and displayed only in part.
  • a user may color a 2D sketch picture printed on the 2D flat paper 10 using crayons, paints, color pens, highlighters, and the like. Therefore, each user can complete the painting by coloring the color of their choice.
  • planar stereoscopic application installed in the user terminal 100 is touched to be driven to drive the 2D sketch of the 2D flat paper 10 painted by the user as shown in FIG. 4.
  • the camera 110 of the user terminal 100 Regarding the camera 110 of the user terminal 100.
  • FIG. 4 when the 2D sketch of the 2D flat paper 10 painted by the user is recognized as the camera 110 of the user terminal 100, the user terminal 100 is shown in FIG. 5. As shown in the figure, a 3D virtual image having a color that matches the painted 2D sketch is displayed in three dimensions. Therefore, when the user looks at the display window of the user terminal 100, as shown in FIG. 6, the 3D virtual image associated with the 2D sketch figure is superimposed on the captured image of the 2D flat paper 10. As shown in FIG. 4, when the 2D sketch of the 2D flat paper 10 painted by the user is recognized as the camera 110 of the user terminal 100, the user terminal 100 is shown in FIG. 5. As shown in the figure, a 3D virtual image having a color that matches the painted 2D sketch is displayed in three dimensions. Therefore, when the user looks at the display window of the user terminal 100, as shown in FIG. 6, the 3D virtual image associated with the 2D sketch figure is superimposed on the captured image of the 2D flat paper 10. As shown in FIG.
  • the user can paint each color and view the result as a 3D virtual image, which is a 3D graphic model. This can improve children's emotions while providing them with fun and interest.
  • the user terminal 100 will be described with reference to FIGS. 8 to 12.
  • FIG. 8 is a block diagram illustrating a user terminal according to an embodiment of the present invention.
  • the user terminal 100 of the present invention will be described with reference to a smartphone (smart phone) as an example, but not only a smartphone, but also a desktop PC (tablet PC), tablet PC (tablet PC), slate PC (slate PC), notebook A computer, a digital broadcasting terminal, a personal digital assistant (PDA), a portable multimedia player (PMP), a navigation device, a digital camera 110, and the like may be used.
  • a smartphone smart phone
  • tablet PC tablet PC
  • slate PC slate PC
  • notebook A computer a digital broadcasting terminal
  • PDA personal digital assistant
  • PMP portable multimedia player
  • navigation device a digital camera 110
  • digital camera 110 digital camera 110
  • the terminal to which the present invention is applicable is not limited to the above-described type, and of course, may include all terminals capable of communicating with external devices.
  • a smart phone is an intelligent terminal that adds a computer support function such as internet communication and information retrieval to a mobile phone, and may install an application desired by a user.
  • Smartphones combine the advantages of mobile phones and personal digital assistants (PDAs), integrating data communication functions such as calendaring, fax transmission and reception, and Internet access. Not only can you connect directly to the Internet using the wireless Internet, but you can also access it in various ways using a variety of browsing programs.
  • PDAs personal digital assistants
  • applications applications
  • the user terminal 100 of the present invention downloads and installs a planar stereoscopic application (tentative name) from an application store server such as Google Market or Apple Store.
  • the user terminal 100 generates a captured image by capturing a 2D sketch drawing in a marker printed on the 2D flat paper 10 by driving the installed planar stereoscopic application, and extracting a 3D virtual image matching the captured image.
  • a chapter image is recorded in the color texture information in the 3D virtual image to generate and display a color-added 3D virtual image.
  • the user terminal 100 includes a 3D virtual image database 120, a 2D sketch image database 130, a camera 110, a captured image generator 150, and a 3D virtual image acquirer. 160, a color-added 3D virtual image generating unit 170, an image synthesizing unit 180, and a planar stereoscopic application executing unit 190 may be included.
  • the positioning sensor 140 may further include.
  • the 3D virtual image database 120 is a database storing a plurality of 3D virtual images with a unique number.
  • the 3D virtual image may correspond to a 3D graphic model of a 3D character such as a dog, a dinosaur, or a person, and may correspond to various 3D virtual images other than the character.
  • the 3D virtual image may be registered and stored in the 3D virtual image database 120 provided in the user terminal 100. Alternatively, the 3D virtual image may be separately stored and utilized in the 3D virtual image registration server 200 which will be described later.
  • the 2D sketch figure database 130 is a database (DB) that stores images when viewing 3D virtual images from the front as 2D sketch figures with their unique numbers.
  • 3D virtual images which are 3D models, are stored as 2D sketch images when viewed from the front.
  • Table 1 below shows an example of a storage table of the 2D sketch drawing database 130.
  • the 3D virtual image database 120 and the 2D sketch drawing database 130 may include a hard disk drive, a solid state drive, a flash memory, a compact flash card, A module capable of inputting / outputting information such as an SD card (Secure Digital Card), an SM card (Smart Media Card), an MMC card (Multi-Media Card), or a Memory Stick, which may be provided inside the device or separately. It may be provided in the apparatus.
  • the camera 110 photographs the 2D flat paper 10 from the upper front side.
  • the 2D flat paper 10 is photographed and provided to the captured image generating unit 150 as an image file.
  • the camera 110 may include a lens assembly, a filter, a photoelectric conversion module, and an analog / digital conversion module.
  • the lens assembly includes a zoom lens, a focus lens and a compensation lens.
  • the focal length of the lens may be moved under the control of the focus motor MF.
  • the filter is composed of an optical low pass filter. Infra-Red cut filter may be included.
  • Optical low pass filter Optical Low Pass Filter
  • Infra-Red cut filter Infra-red cut filter blocks the infrared component of the incident light.
  • the photoelectric conversion module may include an imaging device such as a charge coupled device (CCD) or a complementary metal-oxide-semiconductor (CMOS).
  • CMOS complementary metal-oxide-semiconductor
  • the photoelectric conversion module converts light from the optical system OPS into an electrical analog signal.
  • the analog / digital conversion module may include a correlation double sampler and analog-to-digital converter (CDS-ADC) device.
  • the analog / digital conversion module processes the analog signal from the photoelectric conversion module (OEC), removes the high frequency noise, adjusts the amplitude, and converts the digital signal into a digital signal.
  • the capture image generator 150 captures a sketch picture in the marker of the 2D planar paper 10 to generate a capture image. In other words, the entire interior of the marker is captured and generated as a captured image. The captured image will have color information. If nothing is painted it will have white information, if it has been painted it will have information about the painted color.
  • the 3D virtual image acquisition unit 160 determines whether there is a 2D sketch picture having the same shape as the captured image. As a result of the determination, when there is a 2D sketch picture having the same shape as the captured image, a 3D virtual image matching the 2D sketch picture is acquired from the 3D virtual image database 120. For example, if the captured image is a dog, if there is a dog 2D sketch picture having the same shape as the dog, a dog 3D virtual image matching the dog 2D sketch picture is acquired from the 3D virtual image database 120.
  • the color-added 3D virtual image generating unit 170 records the color of the chapter image in the color texture information in the provided 3D virtual image and adds the color to the 3D virtual image (hereinafter referred to as 'color-added 3D virtual image').
  • a 3D virtual image which is generally a 3D graphic model, includes data called material representing a color, a texture, and the like of the 3D graphic model, and surface texture data is contained in the material data.
  • Surface texture data usually has an image extension (jpg, png, psd, etc.) and puts the captured image captured by the camera 110 to capture the surface texture data.
  • FIG. 9 is an exemplary photograph of a function called UV in a known 3D production tool, and the UV function is to control how surface texture data is to be applied to a 3D graphic model.
  • the 3D graphic model is made up of faces one by one.
  • the planes laid out in 3D coordinates can be unfolded into a plane to determine which face to place on the surface texture.
  • the present invention utilizes 2D flat paper 10, which is an offline print, as surface texture data, to unfold the 3D graphic model in a plane, and to arrange a face for each part (head, body, eyes, etc.) as shown in the left figure of FIG. To show the appearance.
  • This structure is called mapping and can be seen as a real-time UV mapping technology. Therefore, the present invention is called off-line through the camera 110.
  • the image synthesizing unit 180 synthesizes the color-added 3D virtual image to the background image photographed by the camera 110 and displays it on the touch screen panel. At this time, a color-added 3D virtual image is synthesized and displayed based on the marker. When the size, direction, and position information of the color-added 3D virtual image are set based on the marker, the color-added 3D virtual image is displayed on the basis of the marker of the real-time background image of the camera 110 according to the set criteria. . That is, the image synthesizing unit 180 determines and displays a size, a direction, and a position at which the color-added 3D virtual image is overlapped based on a marker recognized in real time by the camera 110.
  • the center point of the 3D virtual image may be disposed at the center of the inside of the rectangular frame of the marker.
  • the center point of the 3D virtual image can be aligned with the center point of the quadrant area inside the rectangular frame of the marker.
  • the center point of the 3D virtual image can be arranged to match, and the center point of the 3D virtual image can be placed at the center point of the quadrant region inside the marker's rectangular frame, and the 3D virtual point at the center point of the quadrant region inside the rectangular frame of the marker. You can place the center point of the image.
  • the 2D flat paper 10 on which the marker is drawn is recognized and a 3D virtual image with color is displayed based on the coordinate value of the marker. Therefore, when the 2D flat paper 10 is moved, the 3D virtual image with color is also displayed by moving the marker. As a result, the color-added 3D virtual image can be made to appear integrally with the 2D flat paper 10.
  • the color-added 3D virtual image is displayed on the display window of the user terminal 100, which may be implemented as a touch screen panel.
  • the touch screen panel is a display window provided on the front of the user terminal 100 to display a work screen by providing a touch screen screen capable of simultaneously performing input and display. Display a Graphic User Interface (GUI) for communicating with a user.
  • GUI Graphic User Interface
  • the keyboard layout keyboard which is an input unit is overlapped and displayed on the work screen in a graphic form. The position and transparency of the keyboard layout input window can be adjusted by the user.
  • the touch screen panel is not only a screen display means but also an input means for detecting a touch by a touch means such as a touch pen or a finger.
  • the touch screen panel may be implemented as a touch panel of any one of a resistive film type, a capacitive type, an infrared type, and an ultrasonic type.
  • the planar three-dimensional application execution unit 190 installed in the user terminal 100 includes a captured image generator 150, a 3D virtual image acquirer 160, a color-added 3D virtual image generator 170, and an image synthesizer ( 180 are controlled to perform stereoscopic driving. That is, the plan drawing stereoscopic application execution unit 190 generates a captured image by capturing a 2D sketch drawing in a marker printed on the 2D planar paper 10, extracts a 3D virtual image matching the captured image, and then generates a 3D virtual image. The control is performed to generate and display a color-added 3D virtual image by recording a chapter image in the color texture information in the image.
  • the color-added 3D virtual image displayed on the user terminal 100 may three-dimensionally look at the color-added 3D virtual image according to the change of the position coordinate of the user terminal 100. For example, when the position of the user terminal 100 photographing the 2D flat paper 10 is not changed, a color-added 3D virtual image is displayed as shown in FIG. 10, and the user terminal as shown in FIG. 11. When the location of the image 100 is changed, the rear portion of the color-added 3D virtual image may be displayed as much as the position is changed, and thus may be displayed in three dimensions.
  • the color-added 3D virtual image displayed on the user terminal 100 may be displayed with a perspective according to the change of the position coordinate of the user terminal 100.
  • the user terminal 100 may include a three-dimensional position sensor 140 for detecting the three-dimensional movement coordinates of the user terminal 100.
  • the three-dimensional positioning sensor 140 is implemented as a sensor capable of identifying three-dimensional coordinates such as a gyro sensor, the user terminal 100 can detect the movement of the three-dimensional coordinates on the X, Y, Z axis. have. Therefore, the image synthesizing unit 180 may change the perspective of the color-added 3D virtual image according to the three-dimensional movement coordinates of the user terminal 100 and display it.
  • the center point of the color-added 3D virtual image is matched with the center of the marker and displayed, if the user terminal 100 later moves away from the center of the marker, as shown in FIG. As much as the color can be added to reflect the 3D virtual image.
  • planar stereoscopic implementation device described with reference to FIGS. 7 and 8 described an example in which the 3D virtual image database 120 stored in the user terminal 100 is used.
  • the present invention is not limited thereto, and as illustrated in FIG. 13, 3D virtual images stored in a separate 3D virtual image registration server 200 connected to the wired / wireless communication network 300 may be implemented.
  • the wired / wireless communication network 300 transmits the unique number of the captured image captured from the user terminal 100 to the virtual image registration server, and transmits the 3D virtual image assigned to the unique number of the captured image from the virtual image registration server to the user terminal 100.
  • a wireless mobile communication network including a base transceiver station (BTS), a mobile switching center (MSC), and a home location register (HLR) is provided. Data communication is possible.
  • a mobile radio communication network may include, but is not limited to, a base station (BTS), a mobile switching center (MSC), and a home location register (HLR).
  • wired / wireless communication network 300 may be implemented as a wired communication network, it may be implemented as a network communication network, and data communication may be performed according to an Internet protocol such as Transmission Control Protocol / Internet Protocol (TCP / IP).
  • TCP / IP Transmission Control Protocol / Internet Protocol
  • the 3D virtual image registration server 200 allocates and registers and stores a 3D virtual image for each 2D sketch picture, and provides the same to the user terminal 100.
  • the user terminal 100 transmits a unique number of the 2D sketch picture to the 3D virtual image registration server 200 and matches the 3D virtual picture with the 2D sketch picture. Is received from the 3D virtual image registration server 200 is utilized in the synthesis of color-added 3D virtual image.
  • the 3D virtual image registration server 200 will be described in detail with reference to FIG. 13.
  • the 3D virtual image registration server 200 may include a server communication unit 230, a 3D virtual image storage unit 210, and a 3D option image storage unit 220.
  • the server communication unit 230 supports protocols of hardware and software for communicating with the user terminal 100.
  • the server communication unit 230 may perform data communication according to an Internet protocol such as, for example, Transmission Control Protocol / Internet Protocol (TCP / IP).
  • TCP / IP Transmission Control Protocol / Internet Protocol
  • the 3D virtual image storage unit 210 is a memory in which a 3D virtual image is allocated and registered for each unique number of each 2D sketch figure.
  • the 3D virtual image which is a 3D graphic model that matches each 2D sketch figure of various characters such as a dog, a dinosaur, and a car, is stored.
  • the 2D sketch of the 3D option image may or may not be displayed on the 2D planar paper 10.
  • the 3D option video database is a memory in which a 3D option video whose display mode is changed by user operation is registered and stored for each unique number of each 2D sketch picture.
  • a 3D option image of a soccer ball may be allocated and stored in the case of a 2D sketch of a dog
  • a 3D option image of a traffic light may be allocated and stored in a case of a 2D sketch of a car. 10 to 12, the 3D option image of the tree may be allocated and stored.
  • the 3D option image is used to implement augmented reality as a 3D graphic model like a 3D virtual image.
  • the user terminal 100 When the user terminal 100 receives the 3D virtual image matching the 2D sketch figure, the user terminal 100 is provided with the 3D option image allocated to the 2D sketch figure, and the color-added 3D virtual image and the 3D option image to the camera 110.
  • the image is synthesized and displayed on the background image captured by the image.
  • the 3D option image of a soccer ball assigned to the dog is received together to display a 3D option image of a soccer ball near the 3D virtual image of the dog which is superimposed on the background image.
  • the 3D virtual image of the vehicle the 3D option image of the traffic lights allocated together may be received together, and the 3D option image of the traffic light may be displayed together near the 3D virtual image of the vehicle displayed on the background image.
  • the user terminal 100 may move the 3D virtual image or change and display the 3D option image.
  • the 3D virtual image of the dog is displayed as a playing image or barked or displayed as an operation and audio. Can be.
  • the 3D virtual image of the dog runs to the 3D option image of the soccer ball Kick the ball and get rid of it.
  • the 3D option image of the cake may be eaten and removed.
  • the present invention can be applied to the field of a 3D augmented planar stereoscopic implementation apparatus for stereoscopic display of a planar stereoscopic implementation apparatus.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 평면 도안 입체화 구현 장치로서, 평면 도안을 입체화하여 표시하는 3D 증강의 평면 도안 입체화 구현 장치에 관한 것이다. 본 발명의 실시 형태는 스케치 그림과, 상기 2D 스케치 그림을 둘러싸는 형태의 마커가 인쇄되어 있으며, 사용자로부터 상기 2D 스케치 그림에 대해서 색상 덧칠을 받을 수 있는 2D 평면지; 및 상기 2D 평면지에 인쇄된 마커내의 2D 스케치 그림을 캡쳐하여 캡쳐 이미지를 생성하며, 상기 캡쳐 이미지와 매칭되는 3D 가상 영상을 추출하여, 3D 가상 영상내에 있는 색상 텍스쳐 정보에 상기 챕쳐 이미지를 기록하여 색상 첨가 3D 가상 영상을 생성하여 표시하는 사용자 단말기;를 포함할 수 있다.

Description

평면 도안 입체화 구현 장치
본 발명은 평면 도안 입체화 구현 장치로서, 평면 도안을 입체화하여 표시하는 3D 증강의 평면 도안 입체화 구현 장치에 관한 것이다.
AR(Augmented Reality, 증강현실)은 사용자가 눈으로 보는 현실세계와 부가정보를 갖는 가상세계를 합쳐 하나의 영상으로 보여주는 가상현실의 하나이다. 현실세계를 가상세계로 보완해주는 개념인 AR은, 컴퓨터 그래픽으로 만들어진 가상환경을 사용하지만 주역은 현실환경이다. 컴퓨터 그래픽은 현실환경에 필요한 정보를 추가 제공하는 역할을 한다. 사용자가 보고 있는 실사 영상에 3차원 가상영상을 겹침(overlap)으로써 현실환경과 가상화면과의 구분이 모호해지도록 한다는 뜻이다.
현실 세계를 가상 세계로 보완해주는 개념인 증강현실은 컴퓨터 그래픽으로 만들어진 가상환경을 사용하지만 주역은 현실환경이다. 컴퓨터 그래픽은 현실환경에 필요한 정보를 추가 제공하는 역할을 한다. 사용자가 보고 있는 실사 영상에 3차원(3D) 가상 영상을 겹침(overlap)으로써 현실환경과 가상화면과의 구분이 모호해지도록 한다는 뜻이다.
가상현실기술은 가상환경에 사용자를 몰입하게 하여 실제환경을 볼 수 없다. 하지만 실제환경과 가상의 객체가 혼합된 증강현실기술은 사용자가 실제환경을 볼 수 있게 하여 보다 나은 현실감과 부가 정보를 제공한다. 예를 들어 스마트폰 카메라로 주변을 비추면 인근에 있는 상점의 위치, 전화번호 등의 정보가 입체영상으로 표기된다.
그러나, 종래에는 주로 현실 세계의 실시간 영상에 미리 등록된 3차원(3D)의 가상 영상을 겹쳐서 보여줄 뿐이지, 3차원 가상 영상을 사용자가 참여하여 구성할 수 없었다. 예를 들어, 각 개인이 3차원 가상 영상의 표면에 색상을 입히고 싶어도 불가능하기 때문에, 모든 사용자들은 동일한 색상을 가지는 3차원(3D)의 가상 영상만을 감상할 수 있을 뿐이었다.
본 발명의 기술적 과제는 평면 도안을 입체화하여 표시하는 3D 증강의 평면 도안 입체화 구현 장치를 제공하는데 있다. 또한 본 발명의 기술적 과제는 사용자 개개인이 자신만의 색상을 입힌 입체화를 구성할 수 있도록 하는데 있다.
본 발명의 실시 형태는 스케치 그림과, 상기 2D 스케치 그림을 둘러싸는 형태의 마커가 인쇄되어 있으며, 사용자로부터 상기 2D 스케치 그림에 대해서 색상 덧칠을 받을 수 있는 2D 평면지; 및 상기 2D 평면지에 인쇄된 마커내의 2D 스케치 그림을 캡쳐하여 캡쳐 이미지를 생성하며, 상기 캡쳐 이미지와 매칭되는 3D 가상 영상을 추출하여, 3D 가상 영상내에 있는 색상 텍스쳐 정보에 상기 챕쳐 이미지를 기록하여 색상 첨가 3D 가상 영상을 생성하여 표시하는 사용자 단말기;를 포함할 수 있다.
상기 사용자 단말기는, 복수의 3D 가상 영상을 고유 번호와 함께 저장한 3D 가상 영상 데이터베이스; 3D 가상 영상들을 정면에서 바라볼 때의 이미지들을 2D 스케치 그림으로서 각각의 고유 번호와 함께 저장한 2D 스케치 그림 데이터베이스; 상기 2D 평면지를 촬영하는 카메라; 상기 2D 평면지의 마커 내의 스케치 그림을 캡쳐하여 캡쳐 이미지를 생성하는 캡쳐 이미지 생성부; 상기 캡쳐 이미지와 동일한 형상을 가지는 2D 스케치 그림이 있는 경우, 상기 2D 스케치 그림과 매칭되는 3D 가상 영상을 상기 3D 가상 영상 데이터베이스로부터 취득하는 3D 가상 영상 취득부; 제공받은 3D 가상 영상내에 있는 색상 텍스쳐 정보에 상기 챕쳐 이미지를 기록하여 색상 첨가 3D 가상 영상을 생성하는 색상 첨가 3D 가상 영상 생성부; 상기 색상 첨가 3D 가상 영상을 상기 카메라에 의해 촬영되는 배경 영상에 합성하여 표시하는 영상 합성부; 및 캡쳐 이미지 생성부, 3D 가상 영상 취득부, 색상 첨가 3D 가상 영상 생성부, 및 영상 합성부를 제어하여 입체화 구동을 수행하는 평면 도안 입체 어플리케이션 실행부;를 포함할 수 있다.
상기 영상 합성부는, 상기 카메라에 의해 실시간으로 인식되는 마커를 기준으로 색상 첨가 3D 가상 영상이 겹쳐질 크기, 방향 및 위치를 결정하여 표시함을 특징으로 할 수 있다.
상기 사용자 단말기는, 사용자 단말기의 3차원 이동 좌표를 파악하는 3차원 위치 파악 센서;를 포함하며, 상기 영상 합성부는, 상기 사용자 단말기의 3차원 이동 좌표에 따라 상기 색상 첨가 3D 가상 영상에 대해 원근감 변화를 주며 표시할 수 있다.
상기 평면 도안 입체화 구현 장치는, 각 2D 스케치 그림마다 3D 가상 영상을 할당하여 등록한 3D 가상 영상 등록 서버;를 포함하며, 상기 사용자 단말기는, 캡쳐 이미지와 동일한 형상을 가지는 2D 스케치 그림이 있는 경우, 상기 3D 가상 영상 등록 서버에 상기 2D 스케치 그림의 고유 번호를 전송하여, 상기 2D 스케치 그림과 매칭되는 3D 가상 영상을 상기 3D 가상 영상 등록 서버로부터 제공받을 수 있다.
상기 3D 가상 영상 등록 서버는, 각 2D 스케치 그림의 고유 번호마다 3D 가상 영상을 할당하여 등록한 3D 가상 영상 저장부; 및 사용자 조작에 의해 표시 모습이 변화되는 3D 옵션 영상을 각 2D 스케치 그림의 고유 번호마다 등록한 3D 옵션 영상 저장부;를 포함하며, 상기 사용자 단말기는, 상기 2D 스케치 그림과 매칭되는 3D 가상 영상을 제공받을 때 2D 스케치그림에 할당된 3D 옵션 영상을 함께 제공받으며, 상기 색상 첨가 3D 가상 영상 및 3D 옵션 영상을 상기 카메라에 의해 촬영되는 배경 영상에 합성하여 표시할 수 있다.
상기 사용자 단말기는, 터치스크린에 표시되는 3D 가상 영상 및 3D 옵션 영상 중에서 어느 하나라도 사용자의 터치가 있는 경우, 상기 3D 가상 영상을 이동시키거나, 상기 3D 옵션 영상을 변화시켜 표시할 수 있다.
본 발명의 실시 형태에 따르면 평면 도안에 사용자가 칠한 색상을 입혀서 입체화하여 표시할 수 있어, 사용자의 흥미를 유발할 수 있다. 또한 사용자 개개인이 자신만의 색상을 칠하여 입체화함으로써, 미술 교육 및 취미 생활을 즐길 수 있다.
도 1은 본 발명의 실시예에 따른 2D 스케치 그림이 그려진 2D 평면지를 도시한 사진.
도 2는 본 발명의 실시예에 따라 사용자가 2D 스케치 그림에 색칠을 칠하는 모습을 도시한 사진.
도 3은 본 발명의 실시예에 따라 사용자 단말기에 설치된 평면 도안 입체화 어플리케이션을 구동시키는 모습을 도시한 사진.
도 4는 본 발명의 실시예에 따라 사용자 단말기를 통해 2D 평면지를 촬영하는 모습을 도시한 사진,
도 5는 본 발명의 실시예에 따라 사용자 단말기의 표시창에 3D 가상 영상이 표시된 모습을 도시한 사진.
도 6은 본 발명의 실시예에 따라 사용자 단말기의 표시창에 표시되는 3D 가상 영상의 모습을 도시한 사진.
도 7은 본 발명의 실시예에 따른 평면 도안화 입체화 구현 장치의 시스템 구성도.
도 8은 본 발명의 실시예에 따른 사용자 단말기의 구성 블록도.
도 9는 3D 제작툴에서 UV라는 기능에 대한 예시 사진.
도 10 내지 도 12는 본 발명의 실시예에 따라 카메라에 의해 찍히는 실시간 배경 화면에 색상 첨가 3D 가상 영상이 겹쳐져 표시되는 모습을 도시한 그림.
도 13은 본 발명의 실시예에 따라 3D 가상 영상 등록 서버가 구비된 평면 도안화 입체화 구현 장치의 시스템 구성도.
도 14는 본 발명의 실시예에 따른 3D 가상 영상 등록 서버의 구성 블록도.
본 발명은 스케치 그림과, 상기 2D 스케치 그림을 둘러싸는 형태의 마커가 인쇄되어 있으며, 사용자로부터 상기 2D 스케치 그림에 대해서 색상 덧칠을 받을 수 있는 2D 평면지; 및
상기 2D 평면지에 인쇄된 마커내의 2D 스케치 그림을 캡쳐하여 캡쳐 이미지를 생성하며, 상기 캡쳐 이미지와 매칭되는 3D 가상 영상을 추출하여, 3D 가상 영상내에 있는 색상 텍스쳐 정보에 상기 챕쳐 이미지를 기록하여 색상 첨가된 색상 첨가 3D 가상 영상을 생성하여 표시하는 사용자 단말기;를 포함하는 평면 도안 입체화 구현 장치를 제공한다.
이하, 이 발명이 속하는 기술분야에서 통상의 지식을 갖는 자가 이 발명을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 이 발명의 가장 바람직한 실시예를 첨부된 도면을 참조로 하여 상세히 설명하기로 한다. 이 발명의 목적, 작용 효과를 포함하여 기타 다른 목적들, 특징점들, 그리고 동작상의 이점들이 바람직한 실시예의 설명에 의해서 보다 명확해질 것이다. 하기에서 각 도면의 구성요소들에 참조부호를 부가함에 있어 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다.
도 1은 본 발명의 실시예에 따른 2D 스케치 그림이 그려진 2D 평면지를 도시한 사진이고, 도 2는 본 발명의 실시예에 따라 사용자가 2D 스케치 그림에 색칠을 칠하는 모습을 도시한 사진이고, 도 3은 본 발명의 실시예에 따라 사용자 단말기에 설치된 평면 도안 입체화 어플리케이션을 구동시키는 모습을 도시한 사진이고, 도 4는 본 발명의 실시예에 따라 사용자 단말기를 통해 2D 평면지를 촬영하는 모습을 도시한 사진이고, 도 5는 본 발명의 실시예에 따라 사용자 단말기의 표시창에 3D 가상 영상이 표시된 모습을 도시한 사진이고, 도 6은 본 발명의 실시예에 따라 사용자 단말기의 표시창에 표시되는 3D 가상 영상의 모습을 도시한 사진이고, 도 7은 본 발명의 실시예에 따른 평면 도안화 입체화 구현 장치의 시스템 구성도이다.
본 발명은, 카메라(110)를 통해 촬영하고 촬영된 실시간 영상을 재생장치가 화면에 디스플레이함에 있어서, 사용자에 의해 색칠이 칠해진 그림이 그려진 2D 평면지(10) 내에 특정 마커(marker)가 기록되어 있으며, 촬영된 영상 내에서 특정 마커가 인지되면 해당 마커내에 그려진 스케치 그림과 연결된 3차원 그래픽 모델인 3D 가상 영상을 실제 영상을, 2D 평면지(10)의 촬영한 영상 위에 겹쳐서 표시하는 것이다.
상술하면, 도 1에 도시한 바와 같이 종이와 같은 2D 평면지(10)에는 2D 스케치 그림이 인쇄되어 있다. 예를 들어, 공룡, 강아지와 같은 2D 캐릭터의 스케치가 2D 스케치 그림으로서 2D 평면지(10)에 인쇄되어 있다. 이러한 2D 평면지(10)에는, 스케치 그림이외에, 2D 스케치 그림을 둘러싸는 형태의 마커가 인쇄되어 있다. 2D 평면지(10)는 스케치 그림이 인쇄되어 판매되거나 무료로 제공될 수 있다.
여기서, 2D 평면지(10)에 인쇄된 2D 스케치 그림은, 사용자 단말기(100)에 등록되어 있는 그림이다. 또한 마커(marker)란, 2차원 평면 위에 존재하면서, 자신과 연결된 3차원 그래픽 모델인 3D 가상 영상이 그려질 크기, 방향 및 위치 정보를 제공하는 것을 말한다. 마커는 2D 스케치 그림을 둘러싸는 형태를 가지면 되기 때문에, 사각틀, 원형틀, 삼각틀 등과 같은 다양한 형태를 가질 수 있다. 경우에 따라서는 2D 스케치 그림을 둘러싸지 않고 일부에만 표시되어 식별할 수 있는 형상을 가지기만 하면 된다.
사용자는 도 2에 도시한 바와 같이 크레용, 물감, 색상펜, 형광펜 등을 이용하여 2D 평면지(10)에 인쇄된 2D 스케치 그림에 대하여 색상을 칠할 수 있다. 따라서 사용자별로 자신이 원하는 색상으로 그림을 색칠하여 완성할 수 있다.
그 후, 도 3에 도시한 바와 같이 사용자 단말기(100)에 설치된 평면 도안 입체화 어플리케이션을 터치하여 구동시켜, 도 4에 도시한 바와 같이 사용자에 의하여 그림 색칠된 2D 평면지(10)의 2D 스케치 그림에 대하여 사용자 단말기(100)의 카메라(110)로 인식하도록 한다.
도 4에 도시한 바와 같이 사용자에 의하여 그림 색칠된 2D 평면지(10)의 2D 스케치 그림에 대하여 사용자 단말기(100)의 카메라(110)로서 인식을 하면, 사용자 단말기(100)는, 도 5에 도시한 바와 같이 그림 칠해진 2D 스케치 그림과 일치하는 색상을 가지는 3D 가상 영상을 입체적으로 표시한다. 따라서 사용자는 사용자 단말기(100)의 표시창을 쳐다 보게 되면, 도 6에 도시한 바와 같이 2D 평면지(10)의 촬영 영상 위에 2D 스케치 그림에 연관된 3D 가상 영상이 겹쳐져 보이게 된다.
따라서 사용자는 각자 색상을 칠하고, 그의 결과를 3차원 그래픽 모델인 3D 가상 영상으로 볼 수 있게 된다. 따라서 어린이들에게 재미와 흥미를 제공함과 동시에 어린이들의 정서를 향상시킬 수 있다. 이하 도 8 내지 도 12와 함께 사용자 단말기(100)에 대하여 상술한다.
도 8은 본 발명의 실시예에 따른 사용자 단말기의 구성 블록도이다.
본 발명의 사용자 단말기(100)는, 도면에서는 스마트폰(smart phone)을 예로 들어 설명하나, 스마트폰만 아니라 데스크탑 PC(desktop PC), 태블릿 PC(tablet PC), 슬레이트 PC(slate PC), 노트북 컴퓨터(notebook computer), 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 내비게이션(Navigation), 디지털 카메라(110)(Digital Camera) 등이 해당될 수 있다. 물론, 본 발명이 적용 가능한 단말기는 상술한 종류에 한정되지 않고, 외부 장치와 통신이 가능한 단말기를 모두 포함할 수 있음은 당연하다.
참고로, 여기서 스마트폰(smart phone)이라 함은 휴대전화에 인터넷 통신과 정보검색 등 컴퓨터 지원 기능을 추가한 지능형 단말기로서 사용자가 원하는 어플리케이션을 설치할 수 있다. 스마트폰은 휴대폰과 개인휴대단말기(personal digital assistant; PDA)의 장점을 결합한 것으로, 휴대폰 기능에 일정관리, 팩스 송·수신 및 인터넷 접속 등의 데이터 통신기능을 통합시킨 것이다. 무선인터넷을 이용하여 인터넷에 직접 접속할 수 있을 뿐 아니라 여러 가지 브라우징 프로그램을 이용하여 다양한 방법으로 접속할 수 있다. 또한, 기존의 휴대폰과는 달리 수백여 종의 다양한 어플리케이션(응용프로그램)을 사용자가 원하는 대로 설치하고 추가 또는 삭제할 수 있어, 사용자가 원하는 어플리케이션을 직접 제작할 수도 있으며, 다양한 어플리케이션을 통하여 자신에게 알맞은 인터페이스를 구현할 수 있다.
본 발명의 사용자 단말기(100)는, 구글 마켓이나 애플 스토어와 같은 어플리케이션 스토어 서버에서 평면 도안 입체화 어플리케이션(가칭)을 다운로드받아 설치한다. 사용자 단말기(100)는, 설치된 평면 도안 입체화 어플리케이션을 구동시켜, 2D 평면지(10)에 인쇄된 마커내의 2D 스케치 그림을 캡쳐하여 캡쳐 이미지를 생성하며, 캡쳐 이미지와 매칭되는 3D 가상 영상을 추출하여, 3D 가상 영상내에 있는 색상 텍스쳐 정보에 챕쳐 이미지를 기록하여 색상 첨가 3D 가상 영상을 생성하여 표시한다.
이를 위하여 도 8에 도시한 바와 같이 사용자 단말기(100)는, 3D 가상 영상 데이터베이스(120), 2D 스케치 그림 데이터베이스(130), 카메라(110), 캡쳐 이미지 생성부(150), 3D 가상 영상 취득부(160), 색상 첨가 3D 가상 영상 생성부(170), 영상 합성부(180), 및 평면 도안 입체 어플리케이션 실행부(190)를 포함할 수 있다. 이밖에 위치 파악 센서(140)를 더 포함할 수 있다.
3D 가상 영상 데이터베이스(120)는 복수의 3D 가상 영상을 고유 번호와 함께 저장한 데이터베이스이다. 이러한 3D 가상 영상은, 강아지, 공룡, 사람 등의 3차원 캐릭터의 3차원 그래픽 모델이 해당될 수 있으며, 캐릭터가 아닌 다양한 3차원 가상 영상이 해당될 수 있다. 3D 가상 영상은 사용자 단말기(100)에 마련되는 3D 가상 영상 데이터베이스(120)에 등록 저장될 수 있으며, 다른 실시예로서 후술할 3D 가상 영상 등록 서버(200)에 별도로 저장되어 활용될 수 있다.
2D 스케치 그림 데이터베이스(130)는, 3D 가상 영상들을 정면에서 바라볼 때의 이미지들을 2D 스케치 그림으로서 각각의 고유 번호와 함께 저장한 데이터베이스(DB;database)이다. 3차원 입체 모델인 3D 가상 영상들을 정면에서 바라볼 때의 이미지들을 2D 스케치 그림으로서 저장하는 것이다. 참고로, 하기의 [표 1]에 2D 스케치 그림 데이터베이스(130)의 저장 테이블 예시를 도시하였다.
고유 번호 2D 스케치 그림 관련되는 3D 가상 영상
Ox10ab 강아지 2D 스케치 그림 강아지 3D 가상 영상
Ox10ac 공룡 2D 스케치 그림 공룡 3D 가상 영상
Ox10ad 자동차 2D 스케치 그림 자동차 3D 가상 영상
......... ......... .........
이러한 3D 가상 영상 데이터베이스(120) 및 2D 스케치 그림 데이터베이스(130)는, 하드디스크 드라이브(Hard Disk Drive), SSD 드라이브(Solid State Drive), 플래시메모리(Flash Memory), CF카드(Compact Flash Card), SD카드(Secure Digital Card), SM카드(Smart Media Card), MMC 카드(Multi-Media Card) 또는 메모리 스틱(Memory Stick) 등 정보의 입출력이 가능한 모듈로서 장치의 내부에 구비되어 있을 수도 있고, 별도의 장치에 구비되어 있을 수도 있다.
카메라(110)는, 2D 평면지(10)를 상측 정면에서 촬영한다. 2D 평면지(10)를 촬영하여, 이미지 파일로서 캡쳐 이미지 생성부(150)에 제공한다. 참고로, 카메라(110)는, 렌즈 어셈블리, 필터, 광전 변환 모듈, 및 아날로그/디지털 변환 모듈을 포함할 수 있다. 렌즈 어셈블리는 줌 렌즈, 포커스 렌즈 및 보상 렌즈를 포함한다. 포커스 모터(MF)의 제어에 따라 렌즈의 촛점 거리가 이동될 수 있다. 필터는, 광학적 저역통과필터(Optical Low Pass Filter)와. 적외선 차단 필터(Infra-Red cut Filter)를 포함할 수 있다. 광학적 저역통과필터(Optical Low Pass Filter)로서 고주파 성분의 광학적 노이즈를 제거하며, 적외선 차단 필터(Infra-Red cut Filter)는 입사되는 빛의 적외선 성분을 차단한다. 광전 변환 모듈은 CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal-Oxide- Semiconductor) 등의 촬상 소자를 포함하여 이루어질 수 있다. 광전 변환 모듈은 광학계(OPS)로부터의 빛을 전기적 아날로그 신호로 변환시킨다. 아날로그/디지털 변환 모듈은 CDS-ADC(Correlation Double Sampler and Analog-to-Digital Converter) 소자를 포함하여 이루어질 수 있다. 아날로그/디지털 변환 모듈(미도시)은 광전 변환 모듈(OEC)로부터의 아날로그 신호를 처리하여, 그 고주파 노이즈를 제거하고 진폭을 조정한 후, 디지털 신호로 변환시킨다.
캡쳐 이미지 생성부(150)는, 2D 평면지(10)의 마커 내의 스케치 그림을 캡쳐하여 캡쳐 이미지(capture image)를 생성한다. 즉, 마커의 내부를 전부 캡쳐하여 캡쳐 이미지로서 생성한다. 캡쳐 이미지는 색상 정보를 가지게 된다. 만약 아무것도 칠해지지 않았다면 흰색 정보를 가질 것이며, 색상이 칠해졌다면 칠해진 색상에 대한 정보를 가지게 된다.
3D 가상 영상 취득부(160)는, 캡쳐 이미지와 동일한 형상을 가지는 2D 스케치 그림이 있는지를 판단한다. 판단 결과, 캡쳐 이미지와 동일한 형상을 가지는 2D 스케치 그림이 있는 경우, 2D 스케치 그림과 매칭되는 3D 가상 영상을 3D 가상 영상 데이터베이스(120)로부터 취득한다. 예를 들어, 캡쳐 이미지가 강아지인 경우, 강아지와 동일한 형상을 가지는 강아지 2D 스케치 그림이 있다면, 강아지 2D 스케치 그림과 매칭되는 강아지 3D 가상 영상을 3D 가상 영상 데이터베이스(120)로부터 취득한다.
색상 첨가 3D 가상영상 생성부(170)는, 제공받은 3D 가상 영상내에 있는 색상 텍스쳐 정보에 챕쳐 이미지의 색상을 기록하여 색상이 첨가된 3D 가상 영상(이하, '색상 첨가 3D 가상 영상'이라 함)을 생성한다. 상술하면, 일반적으로 3D 그래픽 모델인 3D 가상 영상에는, 3D 그래픽 모델의 색이나 질감 등을 표현해주는 메테리얼(Material)이란 데이터가 있으며, 메테리얼 데이터에는 표면 텍스쳐(Texture) 데이터가 들어가 있다. 표면 텍스쳐 데이터는 보통 이미지 확장자(jpg,png,psd 등...)를 가지고 있고 이러한 표면 텍스쳐 데이터를, 카메라(110)를 통해 촬영하여 캡쳐한 캡쳐 이미지를 넣어 주는 것이다.
참고로 도 9는 공지된 3D 제작툴에서 UV라는 기능에 대한 예시 사진이며, UV 기능은 표면 텍스쳐(Texture) 데이터를 3D 그래픽 모델에 어떻게 씌울건지 조절이 가능하도록 하는 것이다. 사진과 같이 3D 그래픽 모델은 하나하나 면으로 이루어져 있으며 도 9의 오른쪽을 보면 3D 좌표로 놓여있는 면들을 평면으로 펼쳐서 어느 면을 표면 텍스쳐(Texture)에 어느 위치에 배치할지 정할 수 있습니다.
본 발명은 오프라인 인쇄물인 2D 평면지(10)를 표면 텍스쳐 데이터로 활용하여 3D 그래픽 모델을 평면으로 펼치고 부위마다 면을 배치(머리,몸,눈 등등)하여 도 9의 왼쪽 그림처럼 그대로 표면 텍스쳐 데이터를 씌운 모습을 보여주는 것이다. 이러한 구조를 매핑(Mapping)이라고 하며 결국 실시간 UV 매핑 기술이라 볼 수 있다. 따라서 본 발명은 카메라(110)를 통해 오프라인에서 불러오게 된다.
영상 합성부(180)는 색상 첨가 3D 가상 영상을 카메라(110)에 의해 촬영되는 배경 영상에 합성하여 터치스크린 패널에 표시한다. 이때, 마커를 기준으로 색상 첨가 3D 가상 영상을 합성하여 표시한다. 색상 첨가 3D 가상 영상이 그려질 크기, 방향 및 위치 정보를 마커를 기준으로 설정해 놓은 경우, 이러한 설정된 기준에 따라 카메라(110)의 실시간 배경 영상의 마커를 기준으로 색상 첨가 3D 가상 영상을 겹쳐서 표시한다. 즉, 영상 합성부(180)는, 카메라(110)에 의해 실시간으로 인식되는 마커를 기준으로 색상 첨가 3D 가상 영상이 겹쳐질 크기, 방향 및 위치를 결정하여 표시한다.
예를 들어, 마커의 사각틀 내부의 정중앙에 3D 가상 영상의 중심점을 배치할 수 있다. 이밖에 마커의 사각틀 내부를 4등분 영역으로 구분하여 마커의 사각틀 내부의 1사분면 영역의 중심점에 3D 가상 영상의 중심점을 일치시켜 배치할 수 있으며, 마찬가지로, 마커의 사각틀 내부의 2사분면 영역의 중심점에 3D 가상 영상의 중심점을 일치시켜 배치할 수 있으며, 또한 마커의 사각틀 내부의 3사분면 영역의 중심점에 3D 가상 영상의 중심점을 배치할 수 있으며, 또한 마커의 사각틀 내부의 4사분면 영역의 중심점에 3D 가상 영상의 중심점을 배치할 수 있다.
따라서 마커가 그려진 2D 평면지(10)를 인식하여 마커의 좌표값을 기준으로 색상 첨가 3D 가상 영상을 띄워주기 때문에, 2D 평면지(10)를 움직이면 색상 첨가 3D 가상 영상 역시 마커를 기준으로 움직여 표시되기 때문에, 색상 첨가 3D 가상 영상이 2D 평면지(10)와 일체로 보이도록 하는 느낌을 주게 된다.
참고로, 색상 첨가 3D 가상 영상이 표시되는 사용자 단말기(100)의 표시창에 표시되는데, 이러한 표시창은 터치 스크린 패널로 구현될 수 있다. 터치 스크린 패널은, 입력과 표시를 동시에 수행할 수 있는 터치 스크린 화면을 제공하여 사용자 단말기(100)의 전면에 마련되어 작업 화면을 표시하는 표시창이다. 사용자와의 소통을 위한 그래픽 유저 인터페이스(GUI;Graphic User Interface)를 표시한다. 이러한 터치 스크린 패널로 구현되는 경우, 입력부인 자판 배열 키보드가 그래픽 형태로 작업 화면에 오버랩(overlap)되어 표시된다. 자판 배열 입력창의 위치 및 투명도는 사용자에 의해 조절이 가능하다. 터치 스크린 패널이라 함은, 화면 표시 수단일 뿐만 아니라 터치펜이나 손가락 등의 터치 수단에 의하여 터치를 감지하는 입력 수단이다. 터치 스크린 패널은, 저항막 방식, 정전 용량 방식, 적외선 방식, 초음파 방식 중 어느 하나의 방식의 터치 패널로 구현될 수 있다.
사용자 단말기(100)에 설치된 평면 도안 입체 어플리케이션 실행부(190)은, 캡쳐 이미지 생성부(150), 3D 가상 영상 취득부(160), 색상 첨가 3D 가상 영상 생성부(170), 영상 합성부(180)를 각각 제어하여 입체화 구동을 수행하게 한다. 즉, 평면 도안 입체 어플리케이션 실행부(190)는, 2D 평면지(10)에 인쇄된 마커내의 2D 스케치 그림을 캡쳐하여 캡쳐 이미지를 생성하며, 캡쳐 이미지와 매칭되는 3D 가상 영상을 추출하여, 3D 가상 영상내에 있는 색상 텍스쳐 정보에 챕쳐 이미지를 기록하여 색상 첨가 3D 가상 영상을 생성하여 표시하는 제어를 수행한다.
또한 사용자 단말기(100)에 표시되는 색상 첨가 3D 가상 영상은, 사용자 단말기(100)의 위치 좌표 변화에 따라 색상 첨가 3D 가상 영상을 입체적으로 살펴볼 수 있다. 예를 들어, 2D 평면지(10)를 촬영하는 사용자 단말기(100)의 위치를 변화시키지 않을 때는 도 10에 도시한 바와 같이 색상 첨가 3D 가상 영상이 표시되며, 도 11에 도시한 바와 같이 사용자 단말기(100)의 위치를 다르게 할 때는 위치 변화된 만큼 색상 첨가 3D 가상 영상의 뒷부분을 표시할 수 있어 입체적으로 표시될 수 있다.
또한 사용자 단말기(100)에 표시되는 색상 첨가 3D 가상 영상은, 사용자 단말기(100)의 위치 좌표 변화에 따라 원근감을 가지며 표시될 수 있다. 이를 위해 사용자 단말기(100)는, 사용자 단말기(100)는, 사용자 단말기(100)의 3차원 이동 좌표를 파악하는 3차원 위치 파악 센서(140)를 포함할 수 있다. 상기의 3차원 위치 파악 센서(140)는, 자이로 센서와 같은 3차원 좌표를 파악할 수 있는 센서로 구현되어, 사용자 단말기(100)가 X,Y,Z축 상의 3차원 좌표의 움직임을 감지할 수 있다. 따라서 영상 합성부(180)는, 사용자 단말기(100)의 3차원 이동 좌표에 따라 색상 첨가 3D 가상 영상에 대해 원근감 변화를 주며 표시할 수 있다. 예를 들어, 색상 첨가 3D 가상 영상의 중심점을 마커의 정중앙에 일치시켜 표시한 경우, 추후에 사용자 단말기(100)가 마커의 정중앙에서 멀어지도록 하면, 도 12에 도시한 바와 같이 멀어지는 3차원 이동 좌표만큼 색상 첨가 3D 가상 영상을 반영하여 표시할 수 있다.
한편, 상기의 도 7 및 도 8에서 설명한 평면 도안 입체화 구현 장치는, 사용자 단말기(100) 내에 저장된 3D 가상 영상 데이터베이스(120)를 활용한 예를 설명하였다. 본 발명은 이에 한정되지 않고 도 13에 도시한 바와 같이 유무선 통신망(300)에 연결된 별도의 3D 가상 영상 등록 서버(200)에 저장된 3D 가상 영상을 전송받아 구현할 수 있다.
유무선 통신망(300)은, 사용자 단말기(100)로부터 캡쳐한 캡쳐 이미지의 고유 번호를 가상 영상 등록 서버에 전송하며, 캡쳐 이미지의 고유 번호에 할당된 3D 가상 영상을 가상 영상 등록 서버로부터 사용자 단말기(100)에 전송하는 유선 또는 무선 통신망이다. 이러한 유무선 통신망(300)이 무선 통신망으로 구현되는 경우, 기지국(BTS;Base Transceiver Station), 이동교환국(MSC;Mobile Switching Center), 및 홈 위치 등록기(HLR;Home Location Register) 으로 이루어진 무선 이동통신망을 이용하여 데이터 통신을 할 수 있다. 참고로, 이동 통신망(mobile radio communication network)은 기지국(BTS), 이동교환국(MSC), 홈 위치 등록기(HLR) 이외에, 무선 패킷 데이터의 송수신을 가능하게 하는 액세스 게이트웨이(Access Gateway), PDSN(Packet Data Serving Node) 등과 같은 구성 요소를 추가로 포함할 수 있다. 또한 유무선 통신망(300)이 유선 통신망으로 구현되는 경우, 네트워크 통신망으로 구현될 수 있는데 TCP/IP(Transmission Control Protocol/Internet Protocol) 등의 인터넷 프로토콜에 따라서 데이터 통신이 이루어질 수 있다.
3D 가상 영상 등록 서버(200)는, 각 2D 스케치 그림마다 3D 가상 영상을 할당하여 등록하여 저장하고 있어 사용자 단말기(100)에 제공한다. 사용자 단말기(100)는, 캡쳐 이미지와 동일한 형상을 가지는 2D 스케치 그림이 있는 경우, 3D 가상 영상 등록 서버(200)에 상기 2D 스케치 그림의 고유 번호를 전송하여, 2D 스케치 그림과 매칭되는 3D 가상 영상을 3D 가상 영상 등록 서버(200)로부터 제공받아 색상 첨가 3D 가상 영상의 합성에 활용한다. 이하, 도 13과 함께 3D 가상 영상 등록 서버(200)에 대하여 상술한다.
도 14는 본 발명의 실시예에 따른 3D 가상 영상 등록 서버의 구성 블록도이다. 3D 가상 영상 등록 서버(200)는, 서버 통신부(230), 3D 가상 영상 저장부(210), 및 3D 옵션 영상 저장부(220)를 포함할 수 있다.
서버 통신부(230)는, 사용자 단말기(100)와 통신하는 하드웨어 및 소프트웨어의 프로토콜을 지원한다. 서버 통신부(230)는, 예컨대, TCP/IP(Transmission Control Protocol/Internet Protocol) 등의 인터넷 프로토콜에 따라서 데이터 통신이 이루어질 수 있다.
3D 가상 영상 저장부(210)는, 각 2D 스케치 그림의 고유 번호마다 3D 가상 영상을 할당하여 등록한 메모리이다. 사용자 단말기(100)에 저장된 3D 가상 영상 데이터베이스(120)와 마찬가지로, 강아지, 공룡, 자동차 등과 같은 다양한 캐릭터의 2D 스케치 그림마다 매칭되는 3차원 그래픽 모델인 3D 가상 영상을 저장하고 있다. 참고로 3D 옵션 영상의 2D 스케치 그림은 2D 평면지(10)에 표시될 수도 있으며, 표시 안되어 있을 수도 있다.
3D 옵션 영상 데이터베이스는, 사용자 조작에 의해 표시 모습이 변화되는 3D 옵션 영상을 각 2D 스케치 그림의 고유 번호마다 등록하여 저장한 메모리이다. 예를 들어, 강아지의 2D 스케치 그림의 경우에는 축구공의 3D 옵션 영상이 할당되어 저장되며, 자동차의 2D 스케치 그림의 경우에는 신호등의 3D 옵션 영상이 할당되어 저장될 수 있다. 또한 도 10 내지 도 12에 도시한 바와 같이 나무의 3D 옵션 영상이 할당되어 저장될 수 있다. 이러한 3D 옵션 영상은 3D 가상 영상과 같이 3차원 그래픽 모델로서 증강 현실 구현에 사용된다.
사용자 단말기(100)는, 2D 스케치 그림과 매칭되는 3D 가상 영상을 제공받을 때 2D 스케치그림에 할당된 3D 옵션 영상을 함께 제공받으며, 상기 색상 첨가 3D 가상 영상 및 3D 옵션 영상을 카메라(110)에 의해 촬영되는 배경 영상에 합성하여 표시한다. 예를 들어, 강아지의 3D 가상 영상을 제공받을 경우 함께 할당된 축구공의 3D 옵션 영상을 함께 수신하여, 배경 영상에 겹쳐서 표시되는 강아지의 3D 가상 영상 근처에 축구공의 3D 옵션 영상을 함께 표시할 수 있다. 마찬가지로, 자동차의 3D 가상 영상을 제공받을 경우 함께 할당된 신호등의 3D 옵션 영상을 함께 수신하여, 배경 영상에 겹쳐서 표시되는 자동차의 3D 가상 영상의 근처에 신호등의 3D 옵션 영상을 함께 표시할 수 있다.
사용자 단말기(100)는, 터치스크린에 표시되는 3D 가상 영상 및 3D 옵션 영상 중에서 어느 하나라도 사용자의 터치가 있는 경우, 3D 가상 영상을 이동시키거나, 상기 3D 옵션 영상을 변화시켜 표시할 수 있다.
예를 들어, 사용자 단말기(100)의 터치스크린에 표시되는 강아지의 3D 가상 영상을 사용자가 터치한 경우, 강아지의 3D 가상 영상이 뛰어 노는 영상으로 표시되도록 하거나 짖거나 하는 동작 및 오디오로서 표시되도록 할 수 있다.
또한 사용자 단말기(100)의 터치스크린에 표시되는 강아지의 3D 가상 영상의 근처에 있는 축구공의 3D 옵션 영상을 사용자가 터치한 경우, 강아지의 3D 가상 영상이 축구공의 3D 옵션 영상에 달려가서 축구공을 차버려서 없애버릴 수 있다. 축구공이 아닌 케익과 같이 먹는 3D 옵션 영상인 경우, 케익의 3D 옵션 영상을 먹어치워 없애버릴 수 있다.
상술한 본 발명의 설명에서의 실시예는 여러가지 실시가능한 예중에서 당업자의 이해를 돕기 위하여 가장 바람직한 예를 선정하여 제시한 것으로, 이 발명의 기술적 사상이 반드시 이 실시예만 의해서 한정되거나 제한되는 것은 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위내에서 다양한 변화와 변경 및 균등한 타의 실시예가 가능한 것이다.
본 발명은 평면 도안 입체화 구현 장치로서, 평면 도안을 입체화하여 표시하는 3D 증강의 평면 도안 입체화 구현 장치 분야에 적용할 수 있다.

Claims (7)

  1. 스케치 그림과, 상기 2D 스케치 그림을 둘러싸는 형태의 마커가 인쇄되어 있으며, 사용자로부터 상기 2D 스케치 그림에 대해서 색상 덧칠을 받을 수 있는 2D 평면지; 및
    상기 2D 평면지에 인쇄된 마커내의 2D 스케치 그림을 캡쳐하여 캡쳐 이미지를 생성하며, 상기 캡쳐 이미지와 매칭되는 3D 가상 영상을 추출하여, 3D 가상 영상내에 있는 색상 텍스쳐 정보에 상기 챕쳐 이미지를 기록하여 색상 첨가된 색상 첨가 3D 가상 영상을 생성하여 표시하는 사용자 단말기;
    를 포함하는 평면 도안 입체화 구현 장치.
  2. 청구항 1에 있어서, 상기 사용자 단말기는,
    복수의 3D 가상 영상을 고유 번호와 함께 저장한 3D 가상 영상 데이터베이스;
    3D 가상 영상들을 정면에서 바라볼 때의 이미지들을 2D 스케치 그림으로서 각각의 고유 번호와 함께 저장한 2D 스케치 그림 데이터베이스;
    상기 2D 평면지를 촬영하는 카메라;
    상기 2D 평면지의 마커 내의 스케치 그림을 캡쳐하여 캡쳐 이미지를 생성하는 캡쳐 이미지 생성부;
    상기 캡쳐 이미지와 동일한 형상을 가지는 2D 스케치 그림이 있는 경우, 상기 2D 스케치 그림과 매칭되는 3D 가상 영상을 상기 3D 가상 영상 데이터베이스로부터 취득하는 3D 가상 영상 취득부;
    제공받은 3D 가상 영상내에 있는 색상 텍스쳐 정보에 상기 챕쳐 이미지를 기록하여 색상 첨가 3D 가상 영상을 생성하는 색상 첨가 3D 가상 영상 생성부;
    상기 색상 첨가 3D 가상 영상을 상기 카메라에 의해 촬영되는 배경 영상에 합성하여 표시하는 영상 합성부; 및
    캡쳐 이미지 생성부, 3D 가상 영상 취득부, 색상 첨가 3D 가상 영상 생성부, 및 영상 합성부를 제어하여 입체화 구동을 수행하는 평면 도안 입체 어플리케이션 실행부;
    를 포함하는 평면 도안 입체화 구현 장치.
  3. 청구항 2에 있어서, 상기 영상 합성부는,
    상기 카메라에 의해 실시간으로 인식되는 마커를 기준으로 색상 첨가 3D 가상 영상이 겹쳐질 크기, 방향 및 위치를 결정하여 표시함을 특징으로 하는 평면 도안 입체화 구현 장치.
  4. 청구항 2에 있어서,
    상기 사용자 단말기는, 사용자 단말기의 3차원 이동 좌표를 파악하는 3차원 위치 파악 센서;를 포함하며,
    상기 영상 합성부는, 상기 사용자 단말기의 3차원 이동 좌표에 따라 상기 색상 첨가 3D 가상 영상에 대해 원근감 변화를 주며 표시하는 평면 도안 입체화 구현 장치.
  5. 청구항 1에 있어서, 상기 평면 도안 입체화 구현 장치는,
    각 2D 스케치 그림마다 3D 가상 영상을 할당하여 등록한 3D 가상 영상 등록 서버;를 포함하며,
    상기 사용자 단말기는, 캡쳐 이미지와 동일한 형상을 가지는 2D 스케치 그림이 있는 경우, 상기 3D 가상 영상 등록 서버에 상기 2D 스케치 그림의 고유 번호를 전송하여, 상기 2D 스케치 그림과 매칭되는 3D 가상 영상을 상기 3D 가상 영상 등록 서버로부터 제공받는 평면 도안 입체화 구현 장치.
  6. 청구항 5에 있어서, 상기 3D 가상 영상 등록 서버는,
    각 2D 스케치 그림의 고유 번호마다 3D 가상 영상을 할당하여 등록한 3D 가상 영상 저장부; 및
    사용자 조작에 의해 표시 모습이 변화되는 3D 옵션 영상을 각 2D 스케치 그림의 고유 번호마다 등록한 3D 옵션 영상 저장부;를 포함하며,
    상기 사용자 단말기는, 상기 2D 스케치 그림과 매칭되는 3D 가상 영상을 제공받을 때 2D 스케치그림에 할당된 3D 옵션 영상을 함께 제공받으며, 상기 색상 첨가 3D 가상 영상 및 3D 옵션 영상을 상기 카메라에 의해 촬영되는 배경 영상에 합성하여 표시하는 평면 도안 입체화 구현 장치.
  7. 청구항 5에 있어서, 상기 사용자 단말기는,
    터치스크린에 표시되는 3D 가상 영상 및 3D 옵션 영상 중에서 어느 하나라도 사용자의 터치가 있는 경우, 상기 3D 가상 영상을 이동시키거나, 상기 3D 옵션 영상을 변화시켜 표시하는 평면 도안 입체화 구현 장치.
PCT/KR2016/000534 2015-05-12 2016-01-19 평면 도안 입체화 구현 장치 WO2016182167A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020150065969A KR101576538B1 (ko) 2015-05-12 2015-05-12 평면 도안 입체화 구현 장치
KR10-2015-0065969 2015-05-12

Publications (1)

Publication Number Publication Date
WO2016182167A1 true WO2016182167A1 (ko) 2016-11-17

Family

ID=55083864

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/000534 WO2016182167A1 (ko) 2015-05-12 2016-01-19 평면 도안 입체화 구현 장치

Country Status (2)

Country Link
KR (1) KR101576538B1 (ko)
WO (1) WO2016182167A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116958332A (zh) * 2023-09-20 2023-10-27 南京竹影数字科技有限公司 基于图像识别的纸张绘图实时映射3d模型的方法及系统

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101725194B1 (ko) 2016-03-08 2017-04-12 주식회사 아이아라 통신 단말기간 식별 방법
KR101751178B1 (ko) * 2016-03-22 2017-06-28 (주)디지엔터테인먼트 스케치 서비스 제공 시스템 및 그 제공 방법
KR102473478B1 (ko) 2017-08-16 2022-12-05 삼성전자주식회사 전자 장치 및 그의 제어 방법
KR102199686B1 (ko) * 2018-10-24 2021-01-07 디에스글로벌(주) 위치정보 및 시간정보 기반의 ar 컨텐츠 제공 방법 및 시스템
KR102343562B1 (ko) * 2019-09-20 2021-12-27 (주)셀빅 스케치 기반의 캐릭터를 가상환경의 활동 캐릭터로 생성하기 위한 스케치 기반의 활동캐릭터 생성 방법
KR102264803B1 (ko) * 2019-12-12 2021-06-15 주식회사 옐로테일 이미지에서 캐릭터를 추출하여 캐릭터 애니메이션을 생성하는 방법 및 이를 이용한 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110091126A (ko) * 2010-02-05 2011-08-11 에스케이텔레콤 주식회사 도서형 증강현실에서 페이지 전환에 따른 증강현실 방법 및 시스템, 이를 구현하기 위한 증강현실 처리장치
KR20110136026A (ko) * 2010-06-14 2011-12-21 주식회사 비즈모델라인 증강현실 데이터 최적화 시스템
KR101470757B1 (ko) * 2013-09-30 2014-12-08 세종대학교산학협력단 증강현실 서비스 제공 방법 및 장치

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9049162B2 (en) 2010-11-16 2015-06-02 Tibco Software Inc. Compression of message information transmitted over a network

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110091126A (ko) * 2010-02-05 2011-08-11 에스케이텔레콤 주식회사 도서형 증강현실에서 페이지 전환에 따른 증강현실 방법 및 시스템, 이를 구현하기 위한 증강현실 처리장치
KR20110136026A (ko) * 2010-06-14 2011-12-21 주식회사 비즈모델라인 증강현실 데이터 최적화 시스템
KR101470757B1 (ko) * 2013-09-30 2014-12-08 세종대학교산학협력단 증강현실 서비스 제공 방법 및 장치

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CT TRENDS: IMAGE: "Implemented 3D Animation from Drawing on Paper, colAR", COLLABORATION OF CT CULTURE AND TECHNOLOGY, vol. 36, May 2014 (2014-05-01), pages 82 - 87 *
PARK, JEONG HWAN ET AL.: "Exploring Augmented Reality Applications for Geography Learning: Focused on Marker Based Methods", vol. 48, no. 6, December 2013 (2013-12-01), pages 994 - 1008 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116958332A (zh) * 2023-09-20 2023-10-27 南京竹影数字科技有限公司 基于图像识别的纸张绘图实时映射3d模型的方法及系统
CN116958332B (zh) * 2023-09-20 2023-12-22 南京竹影数字科技有限公司 基于图像识别的纸张绘图实时映射3d模型的方法及系统

Also Published As

Publication number Publication date
KR101576538B1 (ko) 2015-12-21

Similar Documents

Publication Publication Date Title
WO2016182167A1 (ko) 평면 도안 입체화 구현 장치
WO2009102138A2 (ko) 개인화 및 협업을 위한 테이블탑-모바일 증강현실 시스템과 증강현실을 이용한 상호작용방법
WO2014133278A1 (en) Apparatus and method for positioning image area using image sensor location
WO2016000309A1 (zh) 基于穿戴设备的增强现实方法及系统
TW201225637A (en) A 3-D camera
WO2013162235A1 (ko) 포인터가 불필요한 3차원 가상 객체 정보 획득 장치
CN106723987A (zh) 智能讲台
CN206323415U (zh) 一种带可旋转摄像头的电子设备
WO2013162236A1 (ko) 포인터를 표시하지 않는 투명 디스플레이 가상 터치 장치
US10869009B2 (en) Interactive display
CN106657455A (zh) 一种带可旋转摄像头的电子设备
WO2019135634A1 (en) Method and apparatus to navigate a virtual content displayed by a virtual reality (vr) device
WO2015126022A1 (ko) 완구 조립영상 제공방법
CN114529606A (zh) 位姿检测方法及装置、电子设备和存储介质
CN106293099A (zh) 手势识别方法及系统
WO2013025011A1 (ko) 공간 제스처 인식을 위한 신체 트래킹 방법 및 시스템
WO2018110978A1 (ko) 영상합성 시스템 및 영상합성방법
WO2015199470A1 (ko) 머리 착용형 컬러 깊이 카메라를 활용한 손 위치 추정 장치 및 방법, 이를 이용한 맨 손 상호작용 시스템
CN104134070A (zh) 交互式对象追踪系统及其交互式对象与追踪方法
CN107493431A (zh) 一种图像拍摄合成方法、终端及计算机可读存储介质
WO2020017937A1 (en) Method and electronic device for recommending image capture mode
WO2023038369A1 (en) Semantic three-dimensional (3d) building augmentation
WO2015133669A1 (ko) 무대 연출 시스템
WO2021075878A1 (ko) 증강현실 기록물 서비스 제공 방법 및 사용자 단말
WO2017026834A1 (ko) 반응형 영상 생성방법 및 생성프로그램

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16792813

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 11.04.2018)

122 Ep: pct application non-entry in european phase

Ref document number: 16792813

Country of ref document: EP

Kind code of ref document: A1