KR101496761B1 - 3D Model Control System and Method Based on multi-screen Projection - Google Patents

3D Model Control System and Method Based on multi-screen Projection Download PDF

Info

Publication number
KR101496761B1
KR101496761B1 KR20140110716A KR20140110716A KR101496761B1 KR 101496761 B1 KR101496761 B1 KR 101496761B1 KR 20140110716 A KR20140110716 A KR 20140110716A KR 20140110716 A KR20140110716 A KR 20140110716A KR 101496761 B1 KR101496761 B1 KR 101496761B1
Authority
KR
South Korea
Prior art keywords
model
image
marker
control command
projection plane
Prior art date
Application number
KR20140110716A
Other languages
Korean (ko)
Inventor
한탁돈
서종훈
심진욱
박제희
채승호
김동철
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR20140110716A priority Critical patent/KR101496761B1/en
Application granted granted Critical
Publication of KR101496761B1 publication Critical patent/KR101496761B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/54—Accessories
    • G03B21/56—Projection screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1645—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being suitable to be used in combination with an external overhead projector
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation

Abstract

The present invention relates to a three dimension (3D) model control system based on multi-screen projection and a method for the same. The present invention provides a 3D projection control system based on projection, in which a 3D module subject to a normalization work is projected by a projection device so that a user can view the 3D model projected onto a predetermined multiple screens, and the user can check, control, and modify the projected 3D model through an intuitive user interface, so that even a general person can easily check and modify the 3D model without expert knowledge on expert design program through the intuitive user interface. Accordingly, the user can view the 3D model through the projection onto a predetermined plane in a workplace while carrying the 3D model control system. In addition, a plurality of workers related to a work can simultaneously check and modify the design in real time in terms of various viewing angles and viewing points while cooperating with each other.

Description

다면 스크린 프로젝션 기반 휴대용 3차원 모델 제어 시스템 및 그 방법{3D Model Control System and Method Based on multi-screen Projection}TECHNICAL FIELD [0001] The present invention relates to a three-dimensional model control system and a method thereof,

본 발명은 증강현실을 이용한 3차원 모델 제어 시스템에 관한 것이다.The present invention relates to a three-dimensional model control system using an augmented reality.

증강현실은 신호처리를 통하여 생성된 정보를 현실에 표시하고 이를 사용자가 컨트롤할 수 있게 함으로써 사용자가 원하는 정보를 취득할 수 있도록 하는 기술이다. 이러한 증강현실 기술은 방송, 제조공정처리, 건축설계, 게임 및 모바일 솔루션 분야에서 다양한 형태로 개발되어 활용되고 있다.Augmented reality is a technology that enables the user to obtain desired information by displaying the information generated through the signal processing in a real world and allowing the user to control it. These augmented reality technologies have been developed and used in various forms in broadcasting, manufacturing process processing, architectural design, game and mobile solution.

예를 들면 증강현실 기술은 실제의 2차원 또는 3차원 지도에 현재 교통 정보나 사용자가 위치하고 있는 장소 주변의 생활 정보들을 표시하는 방식으로 상용화되고 있다.For example, augmented reality technology is being commercialized in a way that displays current traffic information or living information around a place where a user is located on an actual two-dimensional or three-dimensional map.

건설이나 제품 제조 공정에서 많이 사용되고 있는 3차원 모델 기술은, 현실에서 건축하려고 하는 구조물이나 제조하려고 하는 제품의 설계를 컴퓨터를 이용하여 3차원으로 진행하고, 설계에 따른 구조물 또는 제품을 3차원으로 다양한 계층과 관점에서 확인하고, 설계를 수정할 수 있도록 하는 기술이다. 이와 같은 3차원 모델 기술을 통해 사용자는 2차원의 설계도면 만을 이용하여 설계 작업을 하는 것과 비교하였을 때, 보다 효율적이고 편리한 방식으로 설계 작업을 할 수 있다.Three-dimensional model technology, which is widely used in construction and product manufacturing processes, is a three-dimensional modeling of a structure to be built or a product to be manufactured in a three-dimensional manner using a computer. It is a technology that enables to identify from the hierarchy and viewpoint, and modify the design. This 3D modeling technique enables users to design in a more efficient and convenient way when compared with design work using only 2D design drawings.

기존의 3차원 모델 기술은 주로 사용자가 컴퓨터에서 동작하는 전문 설계 프로그램을 통하여 키보드나 마우스 또는 펜을 사용하여 3차원 모델을 설계하고, 모니터 화면을 통하여 설계 결과물인 3차원 모델을 확인하는 방식으로 이루어졌다. 그 결과 기존의 3차원 모델 기술에는, 전문 설계 프로그램에 대한 지식을 가지지 못하고 있는 일반인이 설계물을 확인하고 및 수정하는 작업을 하기 어렵고, 또한 작업 현장에서 실시간으로 설계물을 확인하여 작업하거나, 다수의 작업 관련자들이 동시에 설계물을 확인하면서 작업을 진행하기 어렵다는 문제점이 있다.The existing three-dimensional model technology is mainly designed by a user to design a three-dimensional model using a keyboard, a mouse or a pen through a specialized design program operating on a computer, and to check a three-dimensional model of the design result through a monitor screen lost. As a result, it is difficult for the general person who does not have knowledge of the specialized design program to check and modify the design, and to check the design in real time at the work site, There is a problem that it is difficult to carry out the work while simultaneously confirming the design of the work related persons.

본 발명이 이루고자 하는 과제는, 사용자가 임의의 다면 스크린에 투영하여 볼 수 있도록 정규화 작업을 거친 3차원 모델을 프로젝션 장치를 이용하여 투영하고, 사용자가 직관적인 사용자 인터페이스를 통하여 투영된 3차원 모델을 확인하고 제어하고 수정할 수 있도록 함으로써, 전문 설계 프로그램에 대한 전문적인 지식이 없는 일반인이 직관적인 사용자 인터페이스를 통하여 손쉽게 확인 및 수정할 수 있고, 작업 현장에서 휴대하면서 임의의 면에 투영하여 볼 수 있고, 또한 다수의 작업 관련자들이 다양한 시각과 관점에서 동시에 실시간으로 설계를 확인하고 수정하여 협업할 수 있는, 다면 스크린 프로젝션 기반 3차원 모델 제어 시스템 및 그 방법을 제공하는데 있다.SUMMARY OF THE INVENTION The object of the present invention is to provide a three-dimensional model which is projected on a screen of a user to be projected on a screen of a user and projected using a projection apparatus, The user can easily check and modify the information through an intuitive user interface without any expert knowledge of the professional design program, and can project the image on an arbitrary plane while carrying it on the worksite, There is provided a multi-screen projection-based three-dimensional model control system and a method thereof, in which a plurality of work related persons can simultaneously check and modify a design in real time in various perspectives and viewpoints and collaborate.

상기 해결하고자 하는 과제를 달성하기 위해, 본 발명의 일 실시예에 따른 휴대용 프로젝션 기반 모델 제어 시스템은 특정 패턴을 가지는 인식표인 마커; 영상을 투영하고자 하는 영상투영면에 위치된 상기 마커를 촬영하는 카메라부; 사용자가 처리하려는 특정 모델에 대한 사용자의 제어 명령을 입력받아 모델제어명령을 생성하는 제어명령처리부; 및 상기 카메라부에서 촬영된 상기 마커를 인식하고, 상기 제어명령처리부에서 생성된 모델제어명령에 따라 상기 모델을 제어하고 상기 모델에 대한 정보를 처리하고, 상기 인식된 마커의 정보를 이용하여 상기 영상투영면에 투영할 상기 모델에 대한 영상을 생성하는 영상처리부를 포함할 수 있다.According to an aspect of the present invention, there is provided a portable projection-based model control system including: a marker, which is an identification tag having a specific pattern; A camera unit for photographing the marker positioned on an image projection plane to project an image; A control command processor for receiving a user control command for a specific model to be processed by a user and generating a model control command; And a control unit that recognizes the marker photographed by the camera unit, controls the model according to a model control command generated by the control command processing unit, processes information about the model, And an image processing unit for generating an image for the model to be projected on the projection plane.

여기서 휴대용 프로젝션 기반 모델 제어 시스템은 상기 영상처리부에서 생성된 영상을 상기 영상투영면에 투영하는 영상투영부를 더 포함하는 것을 특징으로 할 수 있다.Here, the portable projection-based model control system may further include an image projection unit for projecting the image generated by the image processing unit onto the image projection plane.

일 실시예에 있어서, 상기 카메라부는 사용자가 상기 영상투영면을 터치 하는 동작이나 손 또는 손가락의 동작을 촬영하는 것을 특징으로 할 수 있다.In one embodiment, the camera unit may photograph a user's operation of touching the image projection plane, or a motion of a hand or a finger.

일 실시예에 있어서, 상기 모델제어명령은 상기 모델을 2차원 또는 3차원으로 회전하는 명령 또는 상기 모델의 크기를 스케일링하는 명령 또는 상기 모델의 구성 요소 중 일부를 선택하는 명령 또는 상기 모델을 수정하는 명령을 포함하는 것을 특징으로 할 수 있다.In one embodiment, the model control command is a command to rotate the model two-dimensionally or three-dimensionally, or a command to scale the size of the model or a command to select some of the components of the model, And a command to be executed.

일 실시예에 있어서, 휴대용 프로젝션 기반 모델 제어 시스템은 사용자의 손 또는 손가락의 동작을 인식하는 센서부를 더 포함하고, 여기서 상기 제어명령처리부는 상기 센서부로부터 사용자의 제어 명령을 입력받아 상기 모델제어명령을 생성하는 것을 특징으로 할 수 있다.In one embodiment, the portable projection-based model control system further includes a sensor unit for recognizing the operation of a user's hand or finger, wherein the control command processing unit receives a user's control command from the sensor unit, To generate the image.

일 실시예에 있어서, 휴대용 프로젝션 기반 모델 제어 시스템은 사용자가 상기 모델을 제어하기 위한 명령을 입력하는 입력단말기부를 더 포함하고, 여기서 상기 제어명령처리부는 상기 입력단말기부로부터 사용자의 제어 명령을 입력받아 상기 모델제어명령을 생성하는 것을 특징으로 할 수 있다.In one embodiment, the portable projection-based model control system further includes an input terminal unit for inputting a command for the user to control the model, wherein the control command processing unit receives a control command of the user from the input terminal unit And generates the model control command.

일 실시예에 있어서, 상기 제어명령처리부는 상기 카메라부에서 촬영된 사용자의 동작을 인식하여 상기 모델제어명령을 생성하는 것을 특징으로 할 수 있다.In one embodiment, the control command processing unit recognizes an operation of a user photographed by the camera unit and generates the model control command.

일 실시예에 있어서, 상기 영상처리부는, 상기 영상투영면에 위치된 상기 마커를 검출하여 인식하는 마커인식부; 상기 제어명령처리부에서 생성한 상기 모델제어명령에 따라 상기 모델을 제어하고 상기 모델에 대한 정보를 처리하는 모델처리부; 및 상기 모델처리부에서 제어된 상기 모델과 처리된 상기 모델에 대한 정보를 포함하는 모델 영상 컨텐츠를 생성하고, 상기 모델 영상 컨텐츠와 상기 마커인식부에서 인식된 상기 마커의 정보를 이용하여 상기 영상투영면에 투영할 상기 모델의 투영영상을 생성하는 투영영상생성부를 포함할 수 있다.In one embodiment, the image processing unit includes a marker recognition unit for detecting and recognizing the marker positioned on the image projection plane; A model processing unit for controlling the model according to the model control command generated by the control command processing unit and processing information about the model; And generating model image contents including information on the model controlled by the model processing unit and the processed model, and generating the model image contents based on the model image contents and the marker information recognized by the marker recognition unit, And a projection image generation unit that generates a projection image of the model to be projected.

일 실시예에 있어서, 상기 모델처리부는 상기 모델제어명령에 따라, 상기 모델을 2차원 또는 3차원으로 회전하거나, 상기 모델의 크기를 스케일링하거나, 상기 모델의 구성 요소 중 일부를 선택하거나, 상기 모델을 수정하는 제어 동작을 수행하는 것을 특징으로 할 수 있다.In one embodiment, the model processing unit may be configured to rotate the model two-dimensionally or three-dimensionally according to the model control command, to scale the size of the model, to select some of the components of the model, And a control operation of modifying the control signal.

일 실시예에 있어서, 상기 모델처리부는 상기 모델제어명령에 따라, 상기 모델의 구조 정보 및 구성 개체 정보를 처리하는 것을 특징으로 할 수 있다.In one embodiment, the model processing unit processes the structure information of the model and the configuration entity information according to the model control command.

일 실시예에 있어서, 상기 투영영상생성부는 상기 마커인식부에서 인식된 상기 마커의 모양과 크기 정보를 이용하여, 상기 마커가 위치된 상기 영상투영면의 좌표를 산출하고, 상기 영상투영부의 좌표를 산출하고, 상기 영상투영면의 좌표와 상기 영상투영부의 좌표 간의 공간변환행렬을 생성하고, 상기 모델 영상 컨텐츠를 상기 생성된 공간변환행렬을 이용하여 변환하여, 상기 영상투영면에 투영할 상기 모델의 투영영상을 생성하는 것을 특징으로 할 수 있다.In one embodiment, the projection image generation unit may calculate the coordinates of the image projection plane on which the marker is located, using the shape and size information of the marker recognized by the marker recognition unit, and calculate coordinates of the image projection unit And generates a spatial transformation matrix between the coordinates of the image projection plane and the coordinates of the image projection unit and transforms the model image content using the generated spatial transformation matrix to obtain a projection image of the model to be projected on the image projection plane And the like.

일 실시예에 있어서, 상기 영상투영부는 일정한 패턴의 켈리브레이션 영상을 상기 영상투영면에 투영하고, 상기 카메라부는 상기 영상투영면에 투영된 상기 켈리브레이션 영상을 촬영하고, 상기 투영영상생성부는 상기 촬영된 켈리브레이션 영상의 정보를 이용하여 상기 영상투영부와 상기 카메라부 간의 사전 좌표 보정 작업을 하는 것을 특징으로 할 수 있다.In one embodiment, the image projection unit projects a calibration image of a predetermined pattern onto the image projection plane, the camera unit captures the calibration image projected on the image projection plane, and the projection image generation unit generates a calibration image of the captured calibration image And performing pre-coordinate correction between the image projection unit and the camera unit using the information.

일 실시예에 있어서, 상기 투영영상생성부는 상기 사전 좌표 보정 작업의 정보를 이용하여 상기 영상투영부의 좌표를 산출하는 것을 특징으로 할 수 있다.In one embodiment, the projection image generation unit may calculate the coordinates of the image projection unit using information of the prior coordinate correction operation.

일 실시예에 있어서, 상기 마커는, 상기 모델을 특정하고, 영상을 투영하고자 하는 제1영상투영면에 표시될 제1영상을 생성하기 위하여 상기 제1영상투영면에 위치되어 사용되는 제1마커; 및 영상을 투영하고자 하는 제2영상투영면에 표시될 제2영상을 생성하기 위하여 상기 제2영상투영면에 위치되어 사용되는 제2마커를 포함하는 것을 특징으로 할 수 있다.In one embodiment, the marker comprises: a first marker positioned on the first image projection plane for identifying the model and generating a first image to be displayed on a first image projection plane for projection of the image; And a second marker positioned on the second image projection plane to generate a second image to be displayed on a second image projection plane for projecting the image.

일 실시예에 있어서, 상기 마커인식부는, 상기 제1마커를 일정한 주기로 반복하여 인식하고, 상기 제2마커를 적어도 한번 인식하는 것을 특징으로 하고, 상기 투영영상생성부는, 상기 제1영상투영면에 대하여는 일정한 주기로 반복하여 제1공간변환행렬을 새롭게 생성하여 상기 제1영상투영면에 투영할 상기 모델의 제1투영영상을 생성하고, 상기 제2영상투영면에 대하여는 적어도 한번 제2공간변환행렬을 생성하여, 상기 생성된 제2공간변환행렬을 이용하여 상기 제2영상투영면에 투영할 상기 모델의 제2투영영상을 생성하는 것을 특징으로 할 수 있다.In one embodiment, the marker recognizing unit recognizes the first marker repeatedly at a predetermined cycle, and recognizes the second marker at least once, wherein the projection image generating unit generates the projection image for the first image projection plane Generating a first projection image of the model to be projected onto the first image projection plane by generating a first spatial transformation matrix repeatedly at a predetermined period to generate a second spatial transformation matrix at least once for the second image projection plane, And a second projection image of the model to be projected onto the second image projection plane is generated using the generated second spatial transformation matrix.

일 실시예에 있어서, 상기 제어명령처리부는 상기 카메라부에서 촬영된 상기 제1마커가 상기 제1영상투영면에서 회전하는 경우 상기 모델을 상기 제1마커의 회전에 따라 회전시키는 상기 모델제어명령을 생성하는 것을 특징으로 할 수 있다.In one embodiment, the control command processing unit generates the model control command that rotates the model according to the rotation of the first marker when the first marker photographed by the camera unit rotates on the first image projection plane .

상기 해결하고자 하는 과제를 달성하기 위해, 본 발명의 또 다른 실시예에 따른 휴대용 프로젝션 기반 모델 제어 방법은 영상을 투영하고자 하는 영상투영면에 위치된 특정한 패턴을 가지는 인식표인 마커를 카메라를 이용하여 촬영하고 상기 마커를 인식하는 마커인식 단계; 사용자가 처리하려는 특정 모델에 대한 사용자의 제어 명령을 입력하는 제어명령입력 단계; 상기 제어명령입력 단계에서 입력된 명령에 따라 미리 정해진 모델제어명령을 생성하는 제어명령처리 단계; 상기 모델제어명령에 따라 상기 모델을 제어하고 상기 모델에 대한 정보를 처리하는 모델처리 단계; 상기 영상투영면에 투영할 상기 모델의 투영영상을 생성하는 투영영상생성 단계; 및 프로젝터를 이용하여 상기 모델의 투영영상을 상기 영상투영면에 투영하는 영상투영 단계를 포함할 수 있다.According to another aspect of the present invention, there is provided a portable projection-based model control method for photographing a marker, which is an identification tag having a specific pattern positioned on an image projection plane to project an image, using a camera A marker recognition step of recognizing the marker; A control command input step of inputting a user control command for a specific model to be processed by a user; A control command processing step of generating a predetermined model control command in accordance with the command input in the control command input step; A model processing step of controlling the model according to the model control command and processing information about the model; A projection image generation step of generating a projection image of the model to be projected on the image projection plane; And an image projection step of projecting the projection image of the model onto the image projection plane using a projector.

일 실시예에 있어서, 상기 모델처리 단계는 상기 모델제어명령에 따라, 상기 모델을 2차원 또는 3차원으로 회전하거나, 상기 모델의 크기를 스케일링하거나, 상기 모델의 구성 요소 중 일부를 선택하거나, 상기 모델을 수정하는 동작을 수행하고, 상기 모델의 구조 정보 및 구성 개체 정보를 처리하는 것을 특징으로 할 수 있다.In one embodiment, the model processing step may include rotating the model two-dimensionally or three-dimensionally according to the model control command, scaling the size of the model, selecting a part of the components of the model, And an operation of modifying the model, and processing the structure information and the constituent entity information of the model.

일 실시예에 있어서, 상기 투영영상생성 단계는 상기 모델처리 단계에서 제어된 상기 모델과 처리된 상기 모델에 대한 정보를 포함하는 모델 영상 컨텐츠를 생성하고, 상기 모델 영상 컨텐트와 상기 마커인식 단계에서 인식된 상기 마커의 정보를 이용하여 상기 영상투영면에 투영할 상기 모델의 투영영상을 생성하는 것을 특징으로 할 수 있다.In one embodiment, the projected image generation step may generate model image content including information on the model and the processed model, the model being controlled in the model processing step, and recognizing And generating a projection image of the model to be projected on the image projection plane using the information of the marker.

일 실시예에 있어서, 상기 투영영상생성 단계는 상기 마커인식 단계에서 인식된 상기 마커의 모양과 크기 정보를 이용하여, 상기 마커가 위치된 상기 영상투영면의 좌표를 산출하고, 상기 프로젝터 공간의 좌표를 산출하고, 상기 영상투영면의 좌표와 상기 프로젝터 공간의 좌표 간의 공간변환행렬을 생성하고, 상기 모델 영상 컨텐츠를 상기 생성된 공간변환행렬을 이용하여 변환하여, 상기 영상투영면에 투영할 상기 모델의 투영영상을 생성하는 것을 특징으로 할 수 있다.In one embodiment, the projected image generation step may include calculating the coordinates of the image projection plane on which the marker is located using the shape and size information of the marker recognized in the marker recognition step, And generates a spatial transformation matrix between the coordinates of the image projection plane and the coordinates of the projector space and transforms the model image content using the generated spatial transformation matrix to generate a projection image of the model to be projected onto the image projection plane To generate the image.

일 실시예에 있어서, 상기 투영영상생성 단계는 상기 프로젝터로 상기 영상투영면에 일정한 패턴의 켈리브레이션 영상을 투영하고, 상기 카메라로 상기 투영된 켈리브레이션 영상을 촬영하고, 상기 촬영된 켈리브레이션 영상의 정보를 이용하여 상기 프로젝터와 상기 카메라 간의 사전 좌표 보정 작업을 하고, 상기 사전 좌표 보정 작업의 정보를 이용하여 상기 프로젝터 공간의 좌표를 산출하는 것을 특징으로 할 수 있다.In one embodiment, the projected image generating step may include projecting a calibration image of a predetermined pattern onto the image projection plane with the projector, capturing the projected calibration image with the camera, and using the information of the captured calibration image And the coordinates of the projector space are calculated using the information of the prior coordinate correction work.

본 발명에 의하면, 다면 스크린 프로젝션 기반 휴대용 3차원 모델 제어 시스템에 있어서, 사용자가 임의의 다면 스크린에 투영하여 볼 수 있도록 정규화 작업을 거친 3차원 모델을 프로젝션 장치를 이용하여 투영하고, 사용자가 직관적인 사용자 인터페이스를 통하여 투영된 3차원 모델을 확인하고 제어하고 수정할 수 있도록 함으로써, 전문 설계 프로그램에 대한 전문적인 지식이 없는 일반인이 직관적인 사용자 인터페이스를 통하여 손쉽게 확인 및 수정할 수 있고, 작업 현장에서 휴대하면서 임의의 면에 투영하여 볼 수 있고, 또한 다수의 작업 관련자들이 다양한 시각과 관점에서 동시에 실시간으로 설계를 확인하고 수정하여 협업할 수 있는 효과가 있다.According to the present invention, in a multi-screen screen projection-based portable three-dimensional model control system, a three-dimensional model that has undergone a normalization operation so as to be projected on an arbitrary multi-screen can be projected by a user using a projection apparatus, By enabling the user to check, control and modify the projected 3D model through the user interface, the general person who does not have the expert knowledge of the professional design program can easily check and modify through the intuitive user interface, And it is also effective to allow a plurality of work related persons to simultaneously check and modify the design in real time from various perspectives and perspectives to collaborate.

도1은 본 발명의 일 실시예에 따른 휴대용 프로젝션 기반 모델 제어 시스템의 블록도이다.
도2는 본 발명에 따른 휴대용 프로젝션 기반 모델 제어 시스템의 동작을 설명하는 참고도이다.
도3은 본 발명에 따른 휴대용 프로젝션 기반 모델 제어 시스템 중 영상처리부의 동작을 설명하기 위한 참고도이다.
도4는 본 발명에 따른 휴대용 프로젝션 기반 모델 제어 시스템 중 영상처리부가 마커를 이용하여 영상투영면에 투영할 모델의 영상을 생성하는 동작을 설명하기 위한 참고도이다.
도5는 본 발명에 따른 휴대용 프로젝션 기반 모델 제어 시스템 중 영상처리부가 마커를 이용하여 영상투영면에 투영할 모델의 영상을 생성하는 동작을 설명하기 위한 참고도이다.
도6은 본 발명에 따른 휴대용 프로젝션 기반 모델 제어 시스템 중 제어명령부의 모델제어명령에 따라 영상처리부가 모델을 제어하는 동작을 설명하기 위한 참고도이다.
도7은 본 발명에 따른 휴대용 프로젝션 기반 모델 제어 시스템 중 제어명령부의 모델제어명령에 따라 영상처리부가 모델의 정보를 수정하는 동작을 설명하기 위한 참고도이다.
도8은 본 발명의 또 다른 실시예에 따른 휴대용 프로젝션 기반 모델 제어 방법의 흐름도이다.1 is a block diagram of a portable projection-based model control system in accordance with an embodiment of the present invention.
2 is a reference diagram illustrating the operation of a portable projection-based model control system in accordance with the present invention.
3 is a reference diagram for explaining the operation of the image processing unit of the portable projection-based model control system according to the present invention.
FIG. 4 is a reference diagram for explaining an operation of generating an image of a model to be projected on an image projection plane using a marker of an image processing unit in the portable projection-based model control system according to the present invention.
FIG. 5 is a reference view for explaining an operation of generating an image of a model to be projected on an image projection plane using a marker of the image processing unit in the portable projection-based model control system according to the present invention.
6 is a reference diagram for explaining an operation of controlling an image processing unit model according to a model control command of a control command unit among the portable projection-based model control system according to the present invention.
FIG. 7 is a reference diagram for explaining an operation of modifying the information of the image processing unit model according to the model control command of the control command unit among the portable projection-based model control system according to the present invention.
8 is a flowchart of a portable projection-based model control method according to another embodiment of the present invention.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the drawings, the same reference numerals are used to designate the same or similar components throughout the drawings. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. In addition, the preferred embodiments of the present invention will be described below, but it is needless to say that the technical idea of the present invention is not limited thereto and can be variously modified by those skilled in the art.

도1은 본 발명의 일 실시예에 따른 휴대용 프로젝션 기반 모델 제어 시스템의 블록도이다.1 is a block diagram of a portable projection-based model control system in accordance with an embodiment of the present invention.

본 발명의 일 실시예에 따른 휴대용 프로젝션 기반 모델 제어 시스템은 마커(100), 카메라부(200), 제어명령처리부(300), 영상처리부(400), 영상투영부(500), 센서부(600), 입력단말기부(700)를 포함할 수 있다. 이상의 실시예는 최적의 실시예이고, 센서부(600)와 입력단말기부(700)는 필요에 따라 생략될 수 있고, 본 발명의 또 다른 실시예에 따른 휴대용 프로젝션 기반 모델 제어 시스템은 마커(100), 카메라부(200), 제어명령처리부(300), 영상처리부(400), 영상투영부(500)를 포함할 수 있다. 이하에서는 상기 최적의 실시예에 대하여 상술한다.The portable projection-based model control system according to an embodiment of the present invention includes a marker 100, a camera unit 200, a control command processing unit 300, an image processing unit 400, an image projection unit 500, a sensor unit 600 ), And an input terminal unit 700. The sensor unit 600 and the input terminal unit 700 may be omitted as necessary, and the portable projection-based model control system according to another embodiment of the present invention may include a marker 100 A camera unit 200, a control command processing unit 300, an image processing unit 400, and an image projection unit 500. Hereinafter, the optimal embodiment will be described in detail.

마커(100)는 특정 패턴을 가지는 인식표이다.The marker 100 is an identification tag having a specific pattern.

여기서 마커(100)는 사각형의 격자무늬에 일부는 검정색으로 나머지는 흰색으로 채워진 패턴을 가지는 마커가 될 수 있다. 여기서 마커(100)는 서로 다른 두 가지 이상의 색 또는 서로 구별되는 밝기를 가지는 격자무늬 패턴을 가질 수 있다. 여기서 마커(100)는 격자무늬 이외에도 일정한 면을 가지고, 면 상에서 상호 구별이 가능한 색 또는 밝기를 가지는 특정한 패턴을 가지는 다양한 종류의 마커가 사용될 수 있다.Here, the marker 100 may be a marker having a pattern of a rectangular grid pattern, a portion of which is black, and the rest of which is filled with white. Here, the marker 100 may have a grid pattern having two or more different colors or different brightnesses. Here, the marker 100 may have various types of markers having a specific surface in addition to the lattice pattern and having a specific pattern having a color or brightness that can be distinguished from each other on the surface.

여기서 마커(100)는 영상을 투영하고자 하는 영상투영면에 위치되는 것이 바람직하고, 필요에 따라 지속적으로 상기 영상투영면에 위치하거나, 또는 일정 시간 동안 위치한 이후 제거될 수 있다.Here, the marker 100 is preferably positioned on the image projection plane on which the image is to be projected, and may be continuously positioned on the image projection plane or may be removed after it is positioned for a predetermined time.

카메라부(200)는 영상을 투영하고자 하는 상기 영상투영면에 위치된 마커(100)를 촬영한다.The camera unit 200 photographs the marker 100 positioned on the image projection plane on which the image is to be projected.

여기서 상기 영상투영면은 사용자가 영상투영부(500)를 통하여 영상을 투영할 면을 의미하며, 이는 준비된 프로젝터 용 스크린이 될 수도 있고, 수직으로 되어 있는 임의의 벽면이나 종이면, 수평으로 되어 있는 바닥면이나 종이 면이나 책상 면 등, 영상을 투영하여 볼 수 있는 임의의 모든 면이 될 수 있다. 그리고 상기 영상투영면은 평면이 될 수 있고 곡면이 될 수도 있다.Here, the image projection surface refers to a surface on which the user projects an image through the image projection unit 500. The image projection surface may be a prepared screen for a projector, a vertical wall or paper surface, It can be any surface that can be seen by projecting the image, such as a face, a paper face, or a desk face. The image projection plane may be a plane or a curved surface.

여기서 영상투영면은 2개 이상의 분리되어 있거나 각이 져서 구분이 가능한 다수의 면 또는 구부러진 형태의 하나의 면이 될 수 있다. 이와 같이 영상투영면이 다수의 면이 되는 경우, 다수의 마커(100)를 각 면에 위치시키고, 영상처리부(400)에서 마커(100)들의 정보를 이용하여 각 면에 투영될 영상을 각각 변환작업을 통하여 생성하도록 할 수 있다. 이에 대하여는 이하 영상처리부(400)를 설명하는 부분에서 상세히 설명한다.Here, the image projection plane may be a plurality of planes that are two or more separate or angularly distinguishable, or one plane of a bent shape. When the image projection plane is a plurality of planes, a plurality of markers 100 are positioned on each plane, and the images to be projected on each plane are converted by the image processing unit 400 using the information of the markers 100, As shown in FIG. This will be described in detail below with reference to the image processing unit 400. FIG.

여기서 카메라부(200)는 사용자가 상기 영상투영면을 터치하는 동작이나 손 또는 손가락의 동작을 촬영할 수 있다. 여기서 사용자는 본 발명에 따른 휴대용 프로젝션 기반 모델 제어 시스템을 이용함에 있어서, 상기 영상투영면을 터치하거나 손 또는 손가락의 동작으로 모델을 제어할 수 있는데, 사용자가 상기 영상투영면을 터치하는 동작을 카메라부(200)가 촬영하여 그 동작을 시스템에 입력할 수 있다. 이에 관하여는 아래에서 제어명령처리부(300)를 설명하면서 보다 상세히 설명한다.Here, the camera unit 200 can photograph a user's operation of touching the image projection plane, or a motion of a hand or a finger. Here, the user may use the portable projection-based model control system according to the present invention to control the model by touching the image projection plane or operating the hand or the finger. 200 can take an image and input the operation to the system. The control command processing unit 300 will be described in more detail below.

본 발명에 따른 휴대용 프로젝션 기반 모델 제어 시스템은 이상과 같이 미리 고정되어 있는 면이 아닌 임의의 모든 면을 상기 영상투영면으로 사용함으로써, 사용자가 휴대하면서 원하는 작업환경에서 이용할 수 있는 모델 제어 시스템을 제공할 수 있다. 또한 예를 들어 사용자는 작업현장에 위치하는 임의의 두 면을 상기 영상투영면으로 선택하고 상기 영상투영면을 통하여 모델을 제어하는 동작을 수행하고 그 결과를 실시간으로 확인할 수 있다. 바람직하게는 사용자가 상기 영상투영면으로 선택하는 두 면은 벽면과 벽면에 수직으로 위치하는 바닥면 또는 책상면이 될 수 있다.The portable projection-based model control system according to the present invention provides a model control system that can be used in a desired working environment while the user is carrying it by using any of the surfaces not previously fixed as the image projection plane as described above . In addition, for example, the user can select any two surfaces located on a work site as the image projection plane, control the model through the image projection plane, and check the results in real time. Preferably, the two surfaces selected by the user as the image projection surface may be a bottom surface or a desk surface positioned perpendicular to the wall surface and the wall surface.

또한 여기서 카메라부(200)는 영상투영부(500)와 결착이 되어 영상투영부(500)가 이동함에 따라 같은 방향을 바라보고 영상투영부(500)가 투영하는 영상을 촬영할 수 있도록 하는 것이 바람직하다. 그리고 이와 같은 결착을 통하여 이하에서 상술할 바와 같이 카메라부(200)와 영상투영부(500) 간의 사전 좌표 보정(켈리브레이션) 작업을 보다 효율적으로 진행할 수 있다.Here, it is preferable that the camera unit 200 is engaged with the image projection unit 500, so that the image projection unit 500 can look at the same direction as the image projection unit 500 moves and can capture an image projected by the image projection unit 500 Do. As described above, the pre-coordinate correction (calibration) operation between the camera unit 200 and the image projection unit 500 can be performed more efficiently through the coupling.

제어명령처리부(300)는 사용자가 처리하려는 특정 모델에 대한 사용자의 제어 명령을 입력받아 모델제어명령을 생성한다.The control command processing unit 300 receives a user's control command for a specific model to be processed by the user and generates a model control command.

여기서 상기 모델은 3차원의 모델이 될 수도 있고 2차원의 모델이 될 수도 있다. 그리고 여기서 모델은 건축 설계 모델이 될 수도 있고, 제품 설계 모델이 될 수도 있고, 일정한 구조와 형태를 가지는 다양한 종류의 모델이 될 수 있다. 예를 들어 건축 설계 모델인 경우 상기 모델은, 3차원의 건축물 정보와, 건축물을 구성하는 벽, 기둥, 층계 등 각 구성요소에 관한 정보 즉 예를 들면 벽면의 넓이나 기둥의 높이 등의 정보와, 평면도 등을 포함하는 건축물의 도면 정보와, 건축물 내에 위치된 각종 가구와 소품에 관한 정보 즉 예를 들면 가구의 위치와 가구의 부피 정보 등을 포함하는 건축 설계 모델이 될 수 있다.Here, the model may be a three-dimensional model or a two-dimensional model. Here, the model can be a building design model, a product design model, or a variety of models having a certain structure and form. For example, in the case of the architectural design model, the model includes three-dimensional building information, information about each constituent element such as a wall, a column, and a stairway constituting the building, for example, information such as a wall width, , A floor plan, and the like, and information on various furniture and props located within the building, for example, a building design model including the location of the furniture and the volume information of the furniture.

여기서 상기 모델제어명령은 상기 모델을 제어하기 위하여 미리 약속하는 제어명령으로 사용자가 원하는 바에 따라 다양한 종류의 명령을 정의할 수 있다. 예를 들어 상기 모델제어명령은 모델을 2차원 또는 3차원으로 회전하는 명령, 모델의 크기를 스케일링하는 명령이 될 수 있다. 또한 예를 들어 상기 모델제어명령은 모델의 구성 요소 또는 구성 개체를 선택하거나 모델의 특정 레이어를 선택하는 명령, 모델의 도면을 선택하고 그에 관한 정보를 표시하는 명령이 될 수 있다. 또한 예를 들어 상기 모델제어명령은 상기 선택된 모델의 구성 개체, 레이어, 도면에 관한 정보를 수정하는 명령 또는 상기 모델의 구조 정보를 수정하고 처리하는 명령이 될 수 있다.Here, the model control command may define various kinds of commands according to a user's desire with a control command that is predetermined in order to control the model. For example, the model control command may be an instruction to rotate the model two-dimensionally or three-dimensionally, or an instruction to scale the size of the model. For example, the model control command may be a command for selecting a component or a configuration object of the model or selecting a specific layer of the model, and a command for selecting a drawing of the model and displaying information about the model. For example, the model control command may be an instruction to modify information about a configuration object, a layer, or a drawing of the selected model, or an instruction to modify and process the structure information of the model.

예를 들어 상기 모델제어명령은 건축물에 관한 3차원 모델을 사용자가 여러 방향에서 볼 수 있도록 3차원으로 회전하는 명령이 될 수 있다.For example, the model control command may be a command to rotate the three-dimensional model of the building three-dimensionally so that the user can view the three-dimensional model in various directions.

또한 예를 들어 건축물 설계 모델을 다루는 사용자는 3차원의 설계 모델을 필요에 따라 확대하거나 축소하여 볼 필요가 있으므로, 이와 같은 경우 상기 모델제어명령은 상기 모델을 사용자가 원하는 비율로 확대하거나 축소하는 명령이 될 수 있다.Also, for example, a user who deals with a building design model needs to enlarge or reduce a three-dimensional design model as needed. Therefore, in this case, the model control command is a command to enlarge or reduce the model at a desired ratio .

또한 예를 들어 건축물 설계 모델을 다루는 사용자는 건축 공정 중 설계 모델의 특정 도면 정보에 접근할 필요가 있으므로, 이와 같은 경우 상기 모델제어명령은 상기 모델의 특정 도면을 선택하여 해당 도면을 표시하고 또한 해당 도면의 구성에 대한 정보를 표시하는 명령이 될 수 있다.Also, for example, a user who deals with a building design model needs to access specific drawing information of a design model in a building process. In this case, the model control command selects a specific drawing of the model, displays the corresponding drawing, And may be an instruction to display information on the configuration of the drawing.

또한 예를 들어 사용자는 설계 모델을 수정할 필요가 있으므로, 이와 같은 경우 상기 모델제어명령은 상기 모델의 구성 요소 중 일부를 선택하여 이동시키거나 그 내용을 수정하거나 또는 상기 모델에 구성 요소를 추가하거나 삭제하는 등의 수정 명령이 될 수 있다.Also, for example, since the user needs to modify the design model, in this case, the model control command selects and moves some of the components of the model, modifies the contents of the model, or adds or deletes components And the like.

여기서 제어명령처리부(300)는 카메라부(200)에서 촬영된 사용자의 동작을 인식하여 상기 모델제어명령을 생성할 수 있다. 여기서 카메라부(200)는 사용자가 상기 영상투영면을 터치하는 동작을 촬영하고, 제어명령처리부(300)는 위와 같이 촬영된 사용자의 움직임 정보를 해석하여 상기 모델에 대하여 미리 약속된 모델제어명령을 생성할 수 있다. 예를 들어 사용자가 상기 영상투영면에 표시된 상기 모델의 영상에서 상기 모델의 일부분을 손가락이나 펜으로 터치하는 경우, 카메라부(200)는 그러한 사용자의 움직임을 촬영하고, 제어명령처리부(300)는 위와 같이 촬영된 사용자의 터치 동작을 해석하여, 터치된 상기 모델의 일부분을 선택하는 동작을 수행하는 모델제어명령을 생성할 수 있다. 그리고 이어서 사용자가 펜이나 손가락을 이용하여 상기 선택된 일부분을 수정하는 동작을 행하는 경우, 제어명령처리부(300)는 그에 따라 상기 선택된 모델의 일부분을 수정하는 동작을 수행하는 모델제어명령을 생성할 수 있다.Here, the control command processing unit 300 can recognize the operation of the user photographed by the camera unit 200 and generate the model control command. Here, the camera unit 200 captures an operation of the user to touch the image projection plane, and the control command processing unit 300 analyzes the motion information of the user photographed as described above, and generates a promised model control command for the model can do. For example, when a user touches a part of the model with a finger or a pen on the image of the model displayed on the image projection plane, the camera unit 200 photographs the movement of the user, and the control command processing unit 300 And a model control command for performing an operation of interpreting the touch operation of the photographed user and selecting a part of the touched model can be generated. Then, when the user performs an operation of modifying the selected part using a pen or a finger, the control command processing unit 300 may generate a model control command for performing an operation of modifying a part of the selected model accordingly .

영상처리부(400)는 카메라부(200)에서 촬영된 마커(100)를 인식하고, 제어명령처리부(300)에서 생성된 상기 모델제어명령에 따라 상기 모델을 제어하고 상기 모델에 대한 정보를 처리하고, 상기 인식된 마커(100)의 정보를 이용하여 영상투영부(500)가 상기 영상투영면에 투영할 상기 모델에 대한 영상을 생성한다. 영상처리부(400)는 이하에서 영상처리부(400)에 대한 도면과 함께 보다 상세히 설명한다.The image processing unit 400 recognizes the marker 100 photographed by the camera unit 200 and controls the model according to the model control command generated by the control command processing unit 300 and processes the information about the model And generates an image for the model to be projected on the image projection plane by the image projection unit 500 using the information of the recognized marker 100. [ The image processing unit 400 will be described in more detail with reference to the drawings of the image processing unit 400 hereinafter.

영상투영부(500)는 영상처리부(400)에서 생성된 영상을 상기 영상투영면에 투영한다. 여기서 영상투영부(500)는 면에 빛을 이용하여 영상을 투영하는 빔 프로젝터가 될 수 있다. The image projecting unit 500 projects the image generated by the image processing unit 400 onto the image projection plane. Here, the image projecting unit 500 may be a beam projector that projects an image using light on a surface.

여기서 본 발명에 따른 휴대용 프로젝션 기반 모델 제어 시스템은 영상처리부(400)에서 마커(100)를 이용한 공간 좌표 변환 연산을 수행하여 상기 모델에 대한 영상을 생성하고, 하나의 프로젝터만을 구비한 영상투영부(500)를 이용하여 위 영상을 적어도 두개의 상기 영상투영면에 한 번에 투영함으로써, 서로 구별되고 각자 표시 내용을 조절할 수 있는 모델에 관한 적어도 두개의 영상을 상기 영상투영면에 각각 표시할 수 있다.In the portable projection-based model control system according to the present invention, an image for the model is generated by performing a spatial coordinate conversion operation using the marker 100 in the image processing unit 400, and an image projection unit 500) to project at least two images on the image projection surface at one time, thereby displaying at least two images related to a model that can be distinguished from each other and can adjust their display contents, respectively, on the image projection plane.

센서부(600)는 사용자의 손 또는 손가락의 동작 등 사용자의 다양한 움직임을 인식할 수 있다.The sensor unit 600 can recognize various motions of the user such as an operation of the user's hand or a finger.

여기서 센서부(600)가 동작할 경우, 제어명령처리부(300)는 센서부(600)로부터 사용자의 제어 명령을 입력받아 상기 모델제어명령을 생성할 수 있다.Here, when the sensor unit 600 operates, the control command processing unit 300 may receive the user's control command from the sensor unit 600 and generate the model control command.

여기서 사용자가 양 손이나 한 손 또는 손가락을 이용하여 미리 약속된 움직임을 하는 경우, 센서부(600)는 이와 같은 사용자의 움직임을 인식하고 그 움직임을 해석하여 사용자의 움직임 정보를 제어명령처리부(300)에 전달하고, 제어명령처리부(300)는 센서부(600)로부터 입력받은 사용자의 움직임 정보를 다시 해석하여 미리 약속된 움직임에 해당하는 상기 모델에 대한 모델제어명령을 생성할 수 있다.In this case, when the user makes a predetermined movement using both hands, one hand, or a finger, the sensor unit 600 recognizes the movement of the user and analyzes the movement of the user to transmit the user's motion information to the control command processor 300 The control command processing unit 300 may analyze the motion information of the user inputted from the sensor unit 600 and generate a model control command for the model corresponding to the promised motion.

예를 들어 사용자가 양 손을 들어 공중에서 회전시키는 동작을 하는 경우 모델을 회전시키기로 미리 약속하였다면, 센서부(600)는 사용자의 양 손이 회전하는 움직임을 인식하여 이를 제어명령처리부(300)에 전달하고, 제어명령처리부(300)는 이러한 사용자의 움직임에 따라 상기 모델을 회전시키는 내용에 해당하는 상기 모델제어명령을 생성하여 영상처리부(400)에 보낼 수 있다.For example, if the user holds both hands and rotates the robot in the air, the sensor unit 600 recognizes the movement of both hands of the user, and transmits the rotation to the control command processing unit 300 And the control command processing unit 300 generates the model control command corresponding to the content for rotating the model according to the movement of the user and sends the model control command to the image processing unit 400.

입력단말기부(700)는 사용자가 상기 모델을 제어하기 위한 명령을 입력하는 장치이다.The input terminal unit 700 is a device for the user to input a command for controlling the model.

여기서 입력단말기부(700)가 사용되는 경우, 제어명령처리부(300)는 입력단말기부(700)로부터 사용자의 제어 명령을 입력받아 상기 모델제어명령을 생성할 수 있다.Here, when the input terminal unit 700 is used, the control command processing unit 300 may receive the user control command from the input terminal unit 700 and generate the model control command.

여기서 입력단말기부(700)는 센서를 이용하여 위치를 인식하고 디지털로 문서화가 가능한 펜이나, 화면 디스플레이와 화면 터치가 가능한 휴대폰이나 테블릿이 될 수 있다. 예를 들어 사용자가 휴대폰이나 테블릿에 표시된 상기 모델에 대한 영상을 손가락이나 터치펜을 이용하여 회전시키는 화면 터치 동작을 수행하는 경우, 제어명령처리부(300)는 휴대폰이나 테블릿으로부터 위와 같은 사용자의 입력 정보를 전달받아, 이를 해석하여 모델 회전에 해당하는 상기 모델제어명령을 생성할 수 있다. 또한 예를 들어 사용자가 위치 인식 가능한 디지털 펜을 이용하여, 상기 영상투영면에 표시된 모델의 구성 객체를 이동시키는 동작을 수행하는 경우, 제어명령처리부(300)는 상기 디지털 펜으로부터 정보를 전달받아 이를 해석하여 모델 이동에 해당하는 상기 모델제어명령을 생성할 수 있다.Here, the input terminal unit 700 may be a pen capable of recognizing a position using a sensor and capable of digitally documenting, or a mobile phone or a tablet capable of screen display and screen touch. For example, when the user performs a screen touch operation to rotate an image of the model displayed on the mobile phone or the tablet using a finger or a touch pen, the control command processing unit 300 receives the above- And receives the input information and analyzes the input information to generate the model control command corresponding to the model rotation. For example, when the user moves the component object of the model displayed on the image projection plane using the position-recognizable digital pen, the control command processing unit 300 receives the information from the digital pen, Thereby generating the model control command corresponding to the model movement.

이하에서는 영상처리부(400)의 동작에 대하여 보다 상세히 설명한다.Hereinafter, the operation of the image processing unit 400 will be described in more detail.

도1에서와 같이 영상처리부(400)는 마커인식부(410), 모델처리부(420), 투영영상생성부(430)을 포함할 수 있다.As shown in FIG. 1, the image processing unit 400 may include a marker recognition unit 410, a model processing unit 420, and a projection image generation unit 430.

마커인식부(410)는 상기 영상투영면에 위치된 마커(100)를 검출하여 인식한다. 여기서 마커인식부(410)는 카메라부(200)가 촬영한 상기 영상투영면에 위치된 마커(100)의 영상을 입력받아, 상기 마커(100)의 영상으로부터 마커(100)를 검출할 수 있다.The marker recognition unit 410 detects and recognizes the marker 100 positioned on the image projection plane. The marker recognition unit 410 receives the image of the marker 100 located on the image projection plane captured by the camera unit 200 and detects the marker 100 from the image of the marker 100. [

모델처리부(420)는 제어명령처리부(300)에서 생성한 상기 모델제어명령에 따라 상기 모델을 제어하고 상기 모델에 대한 정보를 처리한다.The model processing unit 420 controls the model according to the model control command generated by the control command processing unit 300 and processes information about the model.

여기서 모델처리부(420)는 상술한 바와 같은 상기 모델제어명령의 내용에 따라 상기 모델을 제어할 수 있다. 예를 들면 모델처리부(420)는 상기 모델제어명령의 내용에 따라 상기 모델을 2차원 또는 3차원으로 회전하거나, 상기 모델의 크기를 스케일링하거나, 상기 모델의 구성 요소 중 일부를 선택하거나, 상기 모델을 수정하는 제어 동작을 수행할 수 있다.Here, the model processing unit 420 may control the model according to the contents of the model control command as described above. For example, the model processing unit 420 rotates the model two-dimensionally or three-dimensionally according to the content of the model control command, scales the size of the model, selects a part of the components of the model, May be performed.

예를 들어 사용자는 상기 모델의 특정 평면 도면을 확인하고자 할 때에, 입력단말기부(700)를 통하여 상기 모델의 특정 층의 평면 도면을 선택할 수 있고, 제어명령처리부(300)는 그와 같은 내용의 상기 모델제어명령을 생성하고, 모델처리부(420)는 상기 모델제어명령에 따라 상기 모델의 특정 평면 도면을 선택할 수 있다. 또한 사용자가 상기 모델의 특정 평면 도면을 수정하고자 할 때에, 입력단말기부(700)를 통하여 상기 모델의 특정 평면 도면을 수정할 수 있고, 제어명령처리부(300)는 그와 같은 내용의 상기 모델제어명령을 생성하고, 모델처리부(420)는 상기 모델제어명령에 따라 상기 모델의 특정 평면 도면을 수정할 수 있다.For example, when the user wants to check a specific plane drawing of the model, the user can select a plane drawing of a specific layer of the model through the input terminal unit 700, and the control command processing unit 300 The model processing unit 420 generates the model control command, and the model processing unit 420 can select the specific plane drawing of the model according to the model control command. Further, when the user desires to modify the specific plane drawing of the model, the specific plane drawing of the model can be modified through the input terminal unit 700, and the control command processing unit 300 can receive the model control command And the model processing unit 420 may modify the specific plane drawing of the model according to the model control command.

여기서 모델처리부(420)는 상술한 바와 같은 상기 모델제어명령에 따라, 상기 모델의 구조 정보 및 구성 개체 정보를 처리할 수 있다.Here, the model processing unit 420 may process the structure information and the constituent entity information of the model according to the model control command as described above.

예를 들어 모델처리부(420)에서 처리하는 상기 모델에 관한 정보는 상기 모델이 3차원 건축 설계 모델인 경우, 설계 모델의 특정 층의 평면도 정보가 될 수 있고, 설계 모델의 벽면, 바닥면의 형태나 넓이나 길이와 같은 구조 정보가 될 수 있고, 설계 모델에 배치되어 있는 가구의 위치, 모양, 부피 등 구성 개체에 관한 정보가 될 수 있다. 여기서 모델처리부(420)는 이상과 같은 상기 모델에 관한 정보를 저장하고 선택하고 수정하고 획득하고 표시하는 등의 처리 작업을 할 수 있다.For example, when the model is a three-dimensional architectural design model, the information on the model processed by the model processing unit 420 may be information on the floor plan of a specific layer of the design model, Or structure information such as area or length, and may be information about the constituent entity such as the position, shape, and volume of furniture placed in the design model. Here, the model processing unit 420 can perform processing operations such as storing, selecting, modifying, acquiring, and displaying information on the model as described above.

투영영상생성부(430)는 모델처리부(420)에서 제어된 상기 모델과 처리된 상기 모델에 대한 정보를 포함하는 모델 영상 컨텐츠를 생성하고, 상기 모델 영상 컨텐츠와 마커인식부(410)에서 인식된 마커(100)의 정보를 이용하여 상기 영상투영면에 투영할 상기 모델의 투영영상을 생성할 수 있다.The projection image generation unit 430 generates model image content including the model controlled by the model processing unit 420 and information about the processed model and outputs the model image content to the marker recognition unit 410, The projection image of the model to be projected on the image projection plane can be generated using the information of the marker 100. [

여기서 투영영상생성부(430)는 마커인식부(410)에서 인식된 마커(100)의 모양과 크기 정보를 이용하여, 마커(100)가 위치된 상기 영상투영면의 좌표를 산출하고, 영상투영부(500)의 좌표를 산출하고, 상기 영상투영면의 좌표와 영상투영부(500)의 좌표 간의 공간변환행렬을 생성하고, 상기 모델 영상 컨텐츠를 상기 생성된 공간변환행렬을 이용하여 변환하여, 상기 영상투영면에 투영할 상기 모델의 투영영상을 생성하는 것이 바람직하다.The projection image generation unit 430 calculates the coordinates of the image projection plane on which the marker 100 is positioned by using the shape and size information of the marker 100 recognized by the marker recognition unit 410, A spatial transformation matrix between the coordinates of the image projection plane and the coordinates of the image projection unit 500 is generated, and the model image content is transformed using the generated spatial transformation matrix, It is preferable to generate a projection image of the model to be projected on the projection plane.

여기서 상기 공간변환행렬은 바람직하게는 Affine 변환을 수행하는 변환 행렬일 수 있다. 여기서 Affine 변환은 한 좌표공간을 다른 좌표공간으로 변환시키는 변환으로, 선형 변환과 평행 이동 변환의 합으로 이루어진다. Wherein the spatial transformation matrix is preferably a transformation matrix that performs an Affine transformation. Here, the Affine transformation is a transformation that transforms one coordinate space into another coordinate space, which is the sum of the linear transformation and the translational transformation.

예를 들어 이와 같은 Affine 변환은 하기 수학식 1과 같은 각 좌표 공간 간의 변환 연산을 통해 수행될 수 있다.For example, such an Affine transformation can be performed through a transformation operation between coordinate spaces as shown in the following Equation (1).

Figure 112014080443031-pat00001
Figure 112014080443031-pat00001

(여기서 X는 Affine 변환의 대상이 되는 공간의 좌표이고, Y는 Affine 변환된 공간의 좌표이고, L은 선형 변환 행렬이고, P는 평행이동 변환 벡터이다)(Where X is the coordinates of the space to be subjected to the affine transformation, Y is the coordinates of the space in which the Affine transformation is performed, L is the linear transformation matrix, and P is the translation transformation vector)

투영영상생성부(430)가 이상과 같이 공간변환행렬을 적용한 모델의 변환 작업을 수행함으로써, 상기 영상투영면의 기울기나 위치에 따라 적합하게 조정된 상기 모델의 영상이 생성되며, 영상투영부(500)가 위와 같이 변환을 통해 조정된 영상을 투영하여, 사용자가 상기 모델의 영상을 볼 수 있다.The projection image generation unit 430 performs a conversion operation of the model to which the spatial transformation matrix is applied as described above so that an image of the model appropriately adjusted according to the tilt or position of the image projection plane is generated, ) Projects the adjusted image through the conversion as above, so that the user can view the image of the model.

여기서 투영영상생성부(430)는 사전에 다음과 같은 과정을 거쳐 사전에 영상투영부(500)와 카메라부(200) 간의 좌표 보정 작업을 수행할 수 있다.Here, the projection image generation unit 430 may perform a coordinate correction operation between the image projection unit 500 and the camera unit 200 in advance through the following process.

먼저 영상투영부(500)는 일정한 패턴의 켈리브레이션 영상을 상기 영상투영면에 투영하고, 다음으로 카메라부(200)는 상기 영상투영면에 투영된 상기 켈리브레이션 영상을 촬영하고, 다음으로 투영영상생성부(430)는 상기 촬영된 켈리브레이션 영상의 정보를 이용하여 영상투영부(500)와 카메라부(200) 간의 사전 좌표 보정 작업을 할 수 있다.First, the image projecting unit 500 projects a calibration image of a predetermined pattern onto the image projection plane. Next, the camera unit 200 captures the calibration image projected on the image projection plane, and then the projection image generation unit 430 Can perform a prior coordinate correction operation between the image projection unit 500 and the camera unit 200 using the information of the captured calibration image.

여기서 투영영상생성부(430)는 위와 같은 상기 사전 좌표 보정 작업에서 얻어진 정보를 이용하여 영상투영부(500)의 좌표를 산출할 수 있다.Here, the projection image generation unit 430 can calculate the coordinates of the image projection unit 500 using the information obtained in the above-described prior coordinate correction operation.

여기서 상기 켈리브레이션 영상은 격자무늬로 하는 것이 바람직하다. 영상투영부(500)가 투영한 상기 켈리브레이션 영상이 상기 영상투영면에 투영된 결과를 이용하여 영상투영부(500)와 카메라부(200) 간의 좌표 정보가 획득될 수 있고, 그에 따라 사전 좌표 보정 작업이 이루어질 수 있다. 그리고 이러한 사전 좌표 보정 작업 정보를 이용하여 영상투영부(500)의 좌표를 산출할 수 있다.The calibration image is preferably a grid pattern. The coordinate information between the image projection unit 500 and the camera unit 200 can be obtained using the result of the calibration image projected by the image projection unit 500 on the image projection plane, Can be achieved. The coordinates of the image projection unit 500 can be calculated using the prior coordinate correction operation information.

도2 내지 도5는 본 발명에 따른 휴대용 프로젝션 기반 모델 제어 시스템의 일 실시예로, 상기 영상투영면을 2개의 면으로 하고, 2개의 마커(100)를 이용하여 구현한 2면 프로젝션 기반 모델 제어 시스템의 동작을 설명하기 위한 참고도들이다.2 to 5 illustrate a portable projection-based model control system according to an embodiment of the present invention. The two-sided projection-based model control system implemented by using two markers 100, As shown in FIG.

여기서 마커(100)는 상기 모델을 특정하고, 영상을 투영하고자 하는 제1영상투영면에 표시될 제1영상을 생성하기 위하여 상기 제1영상투영면에 위치되어 사용되는 제1마커와, 영상을 투영하고자 하는 제2영상투영면에 표시될 제2영상을 생성하기 위하여 상기 제2영상투영면에 위치되어 사용되는 제2마커를 포함할 수 있다.Here, the marker 100 specifies the model and includes a first marker positioned on the first image projection plane to generate a first image to be displayed on the first image projection plane to project the image, And a second marker positioned on the second image projection surface to generate a second image to be displayed on the second image projection plane.

여기서 마커인식부(410)는 상기 제1마커를 일정한 주기로 반복하여 인식하고, 상기 제2마커를 적어도 1회 인식하고, 투영영상생성부(430)는, 상기 제1영상투영면에 대하여는 일정한 주기로 반복하여 제1공간변환행렬을 새롭게 생성하여 상기 제1영상투영면에 투영할 상기 모델의 제1투영영상을 생성하고, 상기 제2영상투영면에 대하여는 적어도 1회 제2공간변환행렬을 생성하여, 상기 생성된 제2공간변환행렬을 이용하여 상기 제2영상투영면에 투영할 상기 모델의 제2투영영상을 생성할 수 있다. 여기서 마커인식부(410)는 상기 제2마커를 1회 인식하고, 투영영상생성부(430)는 상기 제2영상투영면에 대하여 1회 제2공간변환행렬을 생성하여 상기 생성된 제2공간변환행렬을 계속 이용하여 상기 제2영상투영면에 투영할 상기 모델의 제2투영영상을 생성할 수도 있다.Here, the marker recognizing unit 410 repeatedly recognizes the first marker at a predetermined period, recognizes the second marker at least once, and the projection image generating unit 430 repeatedly repeats the first image projection plane at a predetermined cycle Generating a first spatial transformation matrix to generate a first projection image of the model to be projected onto the first image projection plane, generating a second spatial transformation matrix at least once for the second image projection plane, And a second projection image of the model to be projected onto the second image projection plane using the second spatial transformation matrix. Here, the marker recognition unit 410 recognizes the second marker once, the projection image generation unit 430 generates a second spatial transformation matrix once for the second image projection plane, and outputs the generated second spatial transformation matrix The second projection image of the model to be projected onto the second image projection plane may be generated by continuously using the matrix.

도2는 위와 같이 제1마커와 제2마커를 이용하는 2면 프로젝션 기반 모델 제어 시스템의 동작을 설명하는 참고도이다. 도2를 참고하면 카메라부(200)와 결착이 되어 있는 영상투영부(500)가 수평의 바닥면인 제1영상투영면(a100)과 수직의 벽면인 제2영상투영면(a200)에 제1영상(a110)와 제2영상(a210)을 각각 투영하고, 여기서 제1마커(a120)는 제1영상투영면(a100) 상에 위치하고 있다.FIG. 2 is a reference diagram for explaining the operation of the two-sided projection-based model control system using the first marker and the second marker as described above. Referring to FIG. 2, the image projection unit 500 coupled to the camera unit 200 includes a first image projection plane a100, which is a horizontal bottom plane, and a second image projection plane a200, (a110) and a second image (a210), respectively, where the first marker a120 is positioned on the first image projection plane a100.

본 발명에 따른 휴대용 프로젝션 기반 모델 제어 시스템은 이와 같이 임의의 면을 사용자가 선택하여 상기 영상투영면으로 정하고, 상기 정해진 영상투영면에 상기 모델의 투영영상을 투영할 수 있다. 즉 상기 영상투영면은 미리 고정된 면이 아닌 사용자가 정하는 임의의 면이 될 수 있고, 하나 이상의 복수의 면이 될 수 있다. 이와 같이 임의의 복수의 면을 상기 영상투영면으로 하는 휴대용 모델 제어 시스템을 구현하기 위하여, 본 발명에 따른 휴대용 프로젝션 기반 모델 제어 시스템은 상술한 바와 같이, 마커(100)를 사용자가 정하는 상기 영상투영면에 위치시키고, 카메라부(200)를 이용하여 마커(100)를 촬영하고, 영상처리부(400)를 통하여 마커(100)가 위치한 상기 영상투영면의 위치 정보를 파악하여 상기 영상투영면에 투영할 상기 모델의 투영영상을 생성할 수 있다. 예를 들어 2면 프로젝션 기반 모델 제어 시스템은 위와 같이 2개의 마커(100)와 2개의 영상투영면을 이용하여 구현될 수 있다.In the portable projection-based model control system according to the present invention, the user can select an arbitrary plane as the image projection plane, and project the projection image of the model on the predetermined image projection plane. That is, the image projection plane may be any plane determined by the user other than the fixed plane, and may be one or more than one plane. In order to implement a portable model control system in which a plurality of arbitrary plural planes are used as the image projection plane, the portable projection-based model control system according to the present invention is configured such that the marker 100 is displayed on the image projection plane defined by the user The marker 100 is photographed by using the camera unit 200 and the position information of the image projection plane on which the marker 100 is located is detected through the image processing unit 400 to detect the position of the marker 100 on the image projection plane, A projection image can be generated. For example, the two-sided projection-based model control system can be implemented using the two markers 100 and two image projection planes as described above.

도3은 위와 같은 2면 프로젝션 기반 모델 제어 시스템에서, 투영영상생성부(430)가 아직 상기 공간변환행렬을 통한 변환 작업을 수행하기 이전에, 영상투영부(500)가 투영한 백지 영상을 나타내는 참고도이다. 도3을 참고하면, 상기 공간변환행렬을 통한 변환 작업을 수행하기 이전에는 제1영상투영면(a100)과 제2영상투영면(a200)의 공간적 배치에 따라 투영되는 제1영상(a110)과 제2영상(a210)이 찌그러져 표시되기 때문에 상기 공간변환행렬을 통한 변환 작업이 수행될 필요가 있다. 여기서 제1마커(a120)는 제1영상투영면(a100) 상에 위치하고 있다. FIG. 3 is a diagram illustrating a blank image projected by the image projection unit 500 before the projection image generation unit 430 performs a conversion operation through the space transformation matrix in the above-described two-sided projection-based model control system. It is a reference diagram. Referring to FIG. 3, before performing the transformation through the spatial transformation matrix, a first image a 110 and a second image a 210 projected according to the spatial arrangement of the first image projection plane a 100 and the second image projection plane a 200, Since the image a 210 is distorted and displayed, the conversion operation through the spatial transformation matrix needs to be performed. Here, the first marker a120 is positioned on the first image projection plane a100.

도4를 참고하면 투영영상생성부(430)가 상기 공간변환행렬을 통한 변환 작업을 수행한 이후 제1영상투영면(a100)과 제2영상투영면(a200)에 투영한 백지 영상인 제1영상(a110)과 제2영상(a210)이 사각형으로 정규화되어 표시되고 있다. 여기서 수평면인 제1영상투영면(a100)에 위치하고 있는 마커(100)(Ph0, Ph1, Ph2, Ph3을 이은 점에 해당하는 부분)가 제1마커(a120)이고, 수직면인 제2영상투영면(a200)에 위치하고 있는 마커(100)(Pv0, Pv1, Pv2, Pv3을 이은 점에 해당하는 부분)가 제2마커(a220)이다.Referring to FIG. 4, after the projection image generation unit 430 performs a conversion operation using the space transformation matrix, the first image (a 100) and the second image (a 200) projected on the first image projection plane a 100 and the second image projection plane a 200 a110 and the second image a210 are normalized by a square. Here, the marker 100 (corresponding to the point connecting Ph0, Ph1, Ph2, and Ph3) located on the first image projection plane a100 which is a horizontal plane is the first marker a120 and the second image projection plane a200 The marker 100 (corresponding to the points connecting Pv0, Pv1, Pv2, and Pv3) located in the second marker a220 is the second marker a220.

도5를 참고하면, 백지 영상 대신 상기 모델 영상 컨텐츠를 적용하였을 때, 투영영상생성부(430)가 생성한 상기 모델의 제1투영영상과 제2투영영상을 각각 제1영상투영면(a100)과 제2영상투영면(a200)에 투영한 결과, 제1영상(a110)과 제2영상(210)이 표시되고 있다. 여기서 제1마커(a120)는 제1영상투영면(a100) 상에 위치하고 있다.5, when the model image content is applied instead of the blank image, the first projection image and the second projection image of the model generated by the projection image generation unit 430 are respectively referred to as a first image projection plane a100, As a result of projecting onto the second image projection plane a200, the first image a110 and the second image 210 are displayed. Here, the first marker a120 is positioned on the first image projection plane a100.

여기서 제어명령처리부(300)는 카메라부(200)에서 촬영된 상기 제1마커가 상기 제1영상투영면 상에서 회전하는 경우, 상기 모델을 상기 제1마커의 회전에 따라 회전시키는 상기 모델제어명령을 생성할 수 있다.The control command processing unit 300 generates the model control command to rotate the model according to the rotation of the first marker when the first marker photographed by the camera unit 200 rotates on the first image projection plane can do.

여기서 상기 제1영상투영면은 주로 상기 모델의 평면도와 모델에 대한 정보를 표시하면서, 사용자가 터치하여 상기 모델의 제어에 관한 명령을 입력하는 역할을 하는 면이 될 수 있다. 따라서 제1영상투영면에 위치한 상기 제1마커가 회전하거나 이동함에 따라 상기 모델이 회전하거나 이동하는 동작이 구현되는 것이 바람직하다. 따라서 상기 제1마커는 상기 제1영상투영면에 계속 위치하는 것이 바람직하고, 상기 제1마커의 움직임을 인식하기 위하여 마커인식부(410)는 상기 제1마커를 일정한 주기로 반복하여 인식하고, 투영영상생성부(430)는 상기 제1마커의 움직임에 따라 상기 제1공간변환행렬을 새롭게 생성하여, 상기 제1영상투영면에 투영될 상기 모델의 투영영상을 새롭게 생성하는 것이 바람직하다. 여기서 일정한 주기로 상기 제1마커를 인식하고 상기 제1공간변환행렬을 생성하고 상기 모델의 투영영상을 생성하는 동작은 매 프레임 단위로 수행될 수 있다.Here, the first image projection plane may be a plane that displays a plane view of the model and information about the model, and a user touches and inputs a command related to the control of the model. Accordingly, it is preferable that the model rotates or moves as the first marker positioned on the first image projection plane rotates or moves. Accordingly, it is preferable that the first marker is continuously positioned on the first image projection plane. To recognize the movement of the first marker, the marker recognition unit 410 repeatedly recognizes the first marker at a predetermined period, The generating unit 430 may newly generate the first spatial transformation matrix according to the movement of the first marker and newly generate a projection image of the model to be projected on the first image projection plane. Here, the operation of recognizing the first marker at a predetermined period, generating the first spatial transformation matrix and generating a projection image of the model may be performed every frame.

그리고 상기 제2영상투영면은 주로 상기 모델의 구조도와 모델에 대한 정보를 표시하는 역할을 하는 면이 될 수 있다. 따라서 상기 제2영상투영면에 대하여는 동작 중에 사용자가 그 위치를 변동하지 않기 때문에, 상기 제2마커를 처음에 제2영상투영면 상에 위치시켜 제2영상투영면에 대한 상기 제2공간변환행렬을 계산한 이후 계속적으로 동일한 제2공간변환행렬을 적용하여 상기 모델의 제2투영영상을 생성하는 것이 바람직하다. 여기서 상기 제2마커는 처음 상기 제2공간변환행렬을 계산할 때만 제2영상투영면 상에 위치시킨 이후 이동될 수 있다.The second image projection plane may be a plane that mainly serves to display information on the structure and model of the model. Therefore, since the user does not change the position of the second image projection plane during operation, the second marker is initially positioned on the second image projection plane and the second spatial transformation matrix for the second image projection plane is calculated And then continuously applying the same second spatial transformation matrix to generate a second projection image of the model. Wherein the second marker can be moved after locating on the second image projection plane only when calculating the first spatial transformation matrix for the first time.

도6는 센서부(600)가 인식한 사용자의 동작에 따라, 제어명령부(300)가 생성한 모델제어명령에 따라, 영상처리부(400)가 모델을 제어하는 동작을 설명하기 위한 참고도이다. 도6을 참고하면 (a)는 사용자가 손(a300)을 이용하여 제2영상(a210)에 표시된 모델을 회전하는 것을 나타내고, (b)는 사용자가 손(a300)을 이용하여 제2영상(a210)에 표시된 모델을 스케일링 하는 것을 나타내고, (c)는 사용자가 손가락(a400)을 이용하여 제2영상(a210)에 표시된 모델을 스케일링 하는 것을 나타내고, 여기서 제2영상(a210)과 함께 아래 쪽에 제1영상(110)이 표시되고 있다.6 is a reference diagram for explaining an operation of the image processing unit 400 to control the model according to the model control command generated by the control command unit 300 according to the operation of the user recognized by the sensor unit 600 . 6A shows that the user rotates the model displayed on the second image a 210 using the hand a300 and FIG. 6B shows that the user rotates the model displayed on the second image a 210 using the hand a300. (a210), and (c) shows that the user scales the model displayed on the second image a210 using the finger a400, wherein the second image a210 is displayed on the lower side The first image 110 is displayed.

도7은 카메라부(200)가 촬영한 사용자의 터치 동작이나 센서부(600) 인식한 사용자의 손 또는 손가락의 움직임이나, 입력단말부(700)를 이용한 사용자의 정보 입력에 따라, 제어명령부(300)가 모델제어명령을 생성하고, 상기 생성된 모델제어명령에 따라 영상처리부(400)가 모델의 정보를 수정하는 동작을 설명하기 위한 참고도이다. 도7을 참고하면, 사용자는 입력단말부(700)인 펜을 이용하여 제1영상(a110)을 터치하여 제2영상(a210)에 표시된 모델의 특정 구성 개체를 선택하고, 해당 구성 개체에 대한 정보를 수정하는 작업을 수행하고 있다. 여기서 도7의 (a)는 사용자가 선택한 개체를 이동하는 동작을 나타내고 있고, 도7의 (b)는 사용자가 특정 개체를 도면에 추가하는 수정 동작을 나타내고 있다.7 is a block diagram illustrating the operation of the control unit 100 according to the touch operation of the user captured by the camera unit 200, the movement of the user's hand or finger recognizing the sensor unit 600, or the input of information of the user using the input terminal unit 700. [ The model processing unit 300 generates a model control command and the image processing unit 400 modifies the model information according to the generated model control command. 7, a user touches a first image a110 using a pen, which is an input terminal unit 700, to select a specific configuration object of the model displayed on the second image a210, We are in the process of modifying information. Here, FIG. 7A shows an operation of moving an object selected by the user, and FIG. 7B shows a modification operation in which a user adds a specific object to the drawing.

도8은 본 발명의 또 다른 실시예에 따른 휴대용 프로젝션 기반 모델 제어 방법의 흐름도이다.8 is a flowchart of a portable projection-based model control method according to another embodiment of the present invention.

본 발명의 일 실시예에 따른 휴대용 프로젝션 기반 모델 제어 방법은 마커인식 단계(S100), 제어명령입력 단계(S200), 제어명령처리 단계(S300), 모델처리 단계(S400), 투영영상생성 단계(S500), 영상투영 단계(S600)를 포함할 수 있다. 상기 각 단계의 동작은 상술한 본 발명의 일 실시예에 따른 휴대용 프로젝션 기반 모델 제어 시스템의 동작 방법대로 동작할 수 있다. 따라서 이하에서는 상술한 설명과 중복되는 부분은 생략하고 설명한다.The portable projection-based model control method according to an exemplary embodiment of the present invention includes a marker recognition step S100, a control command input step S200, a control command processing step S300, a model processing step S400, S500), and an image projection step (S600). The operation of each of the above steps can be operated according to the operation method of the portable projection-based model control system according to the embodiment of the present invention described above. Therefore, the following description will not be repeated.

마커인식 단계(S100)는 영상을 투영하고자 하는 영상투영면에 위치된 특정한 패턴을 가지는 인식표인 마커를 카메라를 이용하여 촬영하고 상기 마커를 인식한다.In the marker recognition step S100, a marker, which is an identification tag having a specific pattern positioned on an image projection plane to be projected, is photographed using a camera and the marker is recognized.

제어명령입력 단계(S200)는 사용자가 처리하려는 특정 모델에 대한 사용자의 제어 명령을 입력한다.The control command input step (S200) inputs the user's control command for the specific model to be processed by the user.

제어명령처리 단계(S300)는 제어명령입력 단계(S200)에서 입력된 명령에 따라 미리 정해진 모델제어명령을 생성한다.The control command processing step (S300) generates a predetermined model control command according to the command input in the control command input step (S200).

모델처리 단계(S400)는 상기 모델제어명령에 따라 상기 모델을 제어하고 상기 모델에 대한 정보를 처리한다.The model processing step S400 controls the model according to the model control command and processes information about the model.

여기서 모델처리 단계(S400)는 상기 모델제어명령에 따라, 상기 모델을 2차원 또는 3차원으로 회전하거나, 상기 모델의 크기를 스케일링하거나, 상기 모델의 구성 요소 중 일부를 선택하거나, 상기 모델을 수정하는 동작을 수행하고, 상기 모델의 구조 정보 및 구성 개체 정보를 처리할 수 있다.Herein, the model processing step S400 may include rotating the model two-dimensionally or three-dimensionally according to the model control command, scaling the size of the model, selecting a part of the components of the model, And can process the structure information and the constituent entity information of the model.

투영영상생성 단계(S500)는 상기 영상투영면에 투영할 상기 모델의 투영영상을 생성한다.The projection image generation step S500 generates a projection image of the model to be projected on the image projection plane.

영상투영 단계(S600)는 프로젝터를 이용하여 상기 모델의 투영영상을 상기 영상투영면에 투영한다.In the image projection step S600, a projection image of the model is projected onto the image projection plane using a projector.

여기서 투영영상생성 단계(S500)는 모델처리 단계(S400)에서 제어된 상기 모델과 처리된 상기 모델에 대한 정보를 포함하는 모델 영상 컨텐츠를 생성하고, 상기 모델 영상 컨텐트와 마커인식 단계(S100)에서 인식된 상기 마커의 정보를 이용하여 상기 영상투영면에 투영할 상기 모델의 투영영상을 생성하는 것이 바람직하다.Here, the projected image generation step S500 generates model image content including information on the model and the processed model, which are controlled in the model processing step S400, and in the marker image recognition step S100 And generates a projection image of the model to be projected on the image projection plane using the recognized marker information.

여기서 상기 투영영상생성 단계(S500)는 마커인식 단계(S100)에서 인식된 상기 마커의 모양과 크기 정보를 이용하여, 상기 마커가 위치된 상기 영상투영면의 좌표를 산출하고, 상기 프로젝터 공간의 좌표를 산출하고, 상기 영상투영면의 좌표와 상기 프로젝터 공간의 좌표 간의 공간변환행렬을 생성하고, 상기 모델 영상 컨텐츠를 상기 생성된 공간변환행렬을 이용하여 변환하여, 상기 영상투영면에 투영할 상기 모델의 투영영상을 생성할 수 있다.Here, the projection image generation step S500 may calculate the coordinates of the image projection plane on which the marker is located by using the shape and size information of the marker recognized in the marker recognition step S100, And generates a spatial transformation matrix between the coordinates of the image projection plane and the coordinates of the projector space and transforms the model image content using the generated spatial transformation matrix to generate a projection image of the model to be projected onto the image projection plane Can be generated.

여기서 투영영상생성 단계(S500)는 상기 영상투영면에 상기 프로젝터를 이용하여 일정한 패턴의 켈리브레이션 영상을 투영한 후 상기 카메라를 이용하여 상기 투영된 영상을 촬영하고, 상기 촬영된 켈리브레이션 영상의 정보를 이용하여 상기 프로젝터와 상기 카메라 간의 사전 좌표 보정 작업을 하고, 상기 사전 좌표 보정 작업의 정보를 이용하여 상기 프로젝터 공간의 좌표를 산출할 수 있다.Here, the projection image generation step S500 may include projecting a calibration image of a predetermined pattern using the projector on the image projection plane, capturing the projection image using the camera, and using the information of the captured calibration image Coordinate calculations between the projector and the camera can be performed, and coordinates of the projector space can be calculated using the information of the prior coordinate correction operation.

이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. It is to be understood that the present invention is not limited to these embodiments, and all elements constituting the embodiment of the present invention described above are described as being combined or operated in one operation. That is, within the scope of the present invention, all of the components may be selectively coupled to one or more of them.

또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 기록매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 기록매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.In addition, although all of the components may be implemented as one independent hardware, some or all of the components may be selectively combined to perform a part or all of the functions in one or a plurality of hardware. As shown in FIG. In addition, such a computer program may be stored in a computer readable medium such as a USB memory, a CD disk, a flash memory, etc., and read and executed by a computer to implement an embodiment of the present invention. As the recording medium of the computer program, a magnetic recording medium, an optical recording medium, a carrier wave medium, and the like can be included.

또한, 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 상세한 설명에서 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Furthermore, all terms including technical or scientific terms have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs, unless otherwise defined in the Detailed Description. Commonly used terms, such as predefined terms, should be interpreted to be consistent with the contextual meanings of the related art, and are not to be construed as ideal or overly formal, unless expressly defined to the contrary.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.It will be apparent to those skilled in the art that various modifications, substitutions and substitutions are possible, without departing from the scope and spirit of the invention as disclosed in the accompanying claims. will be. Therefore, the embodiments disclosed in the present invention and the accompanying drawings are intended to illustrate and not to limit the technical spirit of the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments and the accompanying drawings . The scope of protection of the present invention should be construed according to the following claims, and all technical ideas within the scope of equivalents should be construed as falling within the scope of the present invention.

Claims (21)

휴대용 프로젝션 기반 모델 제어 시스템에 있어서,
사용자가 지정하는 임의의 영상투영면에 위치하고 이동이 가능하고, 특정 패턴을 가지는 인식표인 마커;
상기 영상투영면에 위치된 상기 마커를 촬영하는 카메라부;
사용자가 처리하려는 특정 모델에 대한 사용자의 제어 명령을 입력받아 모델제어명령을 생성하는 제어명령처리부; 및
상기 카메라부에서 촬영된 상기 마커를 인식하고, 상기 제어명령처리부에서 생성된 모델제어명령에 따라 상기 모델을 제어하고 상기 모델에 대한 정보를 처리하고, 상기 인식된 마커의 정보를 이용하여 상기 영상투영면에 투영할 상기 모델에 대한 영상을 생성하는 영상처리부를 포함하고,
상기 영상처리부는 상기 마커를 이용하여 상기 모델을 특정하고, 상기 인식된 마커의 모양과 크기를 이용하여, 상기 마커가 위치한 상기 영상투영면의 위치를 산출하고, 상기 산출된 상기 영상투영면의 위치 정보를 이용하여, 상기 영상투영면에 투영할 상기 모델에 대한 영상을 생성하는 것을 특징으로 하는 휴대용 프로젝션 기반 모델 제어 시스템.A portable projection-based model control system,
A marker which is located on an arbitrary image projection plane designated by the user and is movable and which is an identification tag having a specific pattern;
A camera unit for photographing the marker positioned on the image projection plane;
A control command processor for receiving a user control command for a specific model to be processed by a user and generating a model control command; And
The control unit recognizes the marker photographed by the camera unit, controls the model according to the model control command generated by the control command processing unit, processes information on the model, And an image processor for generating an image for the model to be projected on the image,
The image processing unit specifies the model using the marker, calculates the position of the image projection plane on which the marker is located, using the shape and size of the recognized marker, and outputs the calculated position information of the image projection plane To generate an image for the model to be projected on the image projection plane. 제1항에 있어서,
상기 영상처리부에서 생성된 영상을 상기 영상투영면에 투영하는 영상투영부를 더 포함하는 것을 특징으로 하는 휴대용 프로젝션 기반 모델 제어 시스템.The method according to claim 1,
And an image projection unit for projecting the image generated by the image processing unit onto the image projection plane. 제1항 또는 제2항 중 어느 하나의 항에 있어서,
상기 카메라부는 사용자가 상기 영상투영면을 터치하는 동작이나 손 또는 손가락의 동작을 촬영하는 것을 특징으로 하는 휴대용 프로젝션 기반 모델 제어 시스템.The method according to any one of claims 1 to 3,
Wherein the camera section photographs an operation of touching the image projection plane or a movement of a hand or a finger by a user. 제1항 또는 제2항 중 어느 하나의 항에 있어서,
상기 모델제어명령은 상기 모델을 2차원 또는 3차원으로 회전하는 명령 또는 상기 모델의 크기를 스케일링하는 명령 또는 상기 모델의 구성 요소 중 일부를 선택하는 명령 또는 상기 모델을 수정하는 명령을 포함하는 것을 특징으로 하는 휴대용 프로젝션 기반 모델 제어 시스템.The method according to any one of claims 1 to 3,
The model control command includes a command for rotating the model two-dimensionally or three-dimensionally or a command for scaling the size of the model or a command for selecting a part of the elements of the model or an instruction for modifying the model A portable projection based model control system. 제1항 또는 제2항 중 어느 하나의 항에 있어서,
사용자의 손 또는 손가락의 동작을 인식하는 센서부를 더 포함하고,
상기 제어명령처리부는 상기 센서부로부터 사용자의 제어 명령을 입력받아 상기 모델제어명령을 생성하는 것을 특징으로 하는 휴대용 프로젝션 기반 모델 제어 시스템.The method according to any one of claims 1 to 3,
Further comprising a sensor unit for recognizing an operation of a user's hand or a finger,
Wherein the control command processing unit receives the control command of the user from the sensor unit and generates the model control command. 제1항 또는 제2항 중 어느 하나의 항에 있어서,
사용자가 상기 모델을 제어하기 위한 명령을 입력하는 입력단말기부를 더 포함하고,
상기 제어명령처리부는 상기 입력단말기부로부터 사용자의 제어 명령을 입력받아 상기 모델제어명령을 생성하는 것을 특징으로 하는 휴대용 프로젝션 기반 모델 제어 시스템.The method according to any one of claims 1 to 3,
Further comprising an input terminal unit for inputting a command for the user to control the model,
Wherein the control command processing unit receives the control command of the user from the input terminal unit and generates the model control command. 제1항 또는 제2항 중 어느 하나의 항에 있어서,
상기 제어명령처리부는 상기 카메라부에서 촬영된 사용자의 동작을 인식하여 상기 모델제어명령을 생성하는 것을 특징으로 하는 휴대용 프로젝션 기반 모델 제어 시스템.The method according to any one of claims 1 to 3,
Wherein the control command processing unit recognizes an operation of a user photographed by the camera unit and generates the model control command. 제2항에 있어서, 상기 영상처리부는,
상기 영상투영면에 위치된 상기 마커를 검출하여 인식하는 마커인식부;
상기 제어명령처리부에서 생성한 상기 모델제어명령에 따라 상기 모델을 제어하고 상기 모델에 대한 정보를 처리하는 모델처리부; 및
상기 모델처리부에서 제어된 상기 모델과 처리된 상기 모델에 대한 정보를 포함하는 모델 영상 컨텐츠를 생성하고, 상기 모델 영상 컨텐츠와 상기 마커인식부에서 인식된 상기 마커의 정보를 이용하여 상기 영상투영면에 투영할 상기 모델의 투영영상을 생성하는 투영영상생성부를 포함하는 것을 특징으로 하는 휴대용 프로젝션 기반 모델 제어 시스템.The image processing apparatus according to claim 2,
A marker recognition unit for detecting and recognizing the marker positioned on the image projection plane;
A model processing unit for controlling the model according to the model control command generated by the control command processing unit and processing information about the model; And
Generating model image contents including information on the model controlled by the model processing unit and the processed model, and projecting the model image content on the image projection plane using the model image content and the information of the marker recognized by the marker recognition unit And a projection image generation unit for generating a projection image of the model to be displayed on the portable projection-type model control system. 제8항에 있어서,
상기 모델처리부는 상기 모델제어명령에 따라, 상기 모델을 2차원 또는 3차원으로 회전하거나, 상기 모델의 크기를 스케일링하거나, 상기 모델의 구성 요소 중 일부를 선택하거나, 상기 모델을 수정하는 제어 동작을 수행하는 것을 특징으로 하는 휴대용 프로젝션 기반 모델 제어 시스템.9. The method of claim 8,
The model processing unit may perform a control operation for rotating the model two-dimensionally or three-dimensionally according to the model control command, scaling the size of the model, selecting a part of the components of the model, or modifying the model Based model control system. 제8항에 있어서,
상기 모델처리부는 상기 모델제어명령에 따라, 상기 모델의 구조 정보 및 구성 개체 정보를 처리하는 것을 특징으로 하는 휴대용 프로젝션 기반 모델 제어 시스템.9. The method of claim 8,
Wherein the model processing unit processes structure information and configuration object information of the model according to the model control command. 제8항에 있어서, 상기 투영영상생성부는,
상기 마커인식부에서 인식된 상기 마커의 모양과 크기 정보를 이용하여, 상기 마커가 위치된 상기 영상투영면의 좌표를 산출하고,
상기 영상투영부의 좌표를 산출하고,
상기 영상투영면의 좌표와 상기 영상투영부의 좌표 간의 공간변환행렬을 생성하고,
상기 모델 영상 컨텐츠를 상기 생성된 공간변환행렬을 이용하여 변환하여, 상기 영상투영면에 투영할 상기 모델의 투영영상을 생성하는 것을 특징으로 하는 휴대용 프로젝션 기반 모델 제어 시스템.The apparatus of claim 8, wherein the projection image generator comprises:
Calculating coordinates of the image projection plane on which the marker is located using the shape and size information of the marker recognized by the marker recognition unit,
The coordinates of the image projection unit are calculated,
Generating a spatial transformation matrix between the coordinates of the image projection plane and the coordinates of the image projection unit,
And transforms the model image content using the generated spatial transformation matrix to generate a projection image of the model to be projected on the image projection plane. 제11항에 있어서,
상기 영상투영부는 일정한 패턴의 켈리브레이션 영상을 상기 영상투영면에 투영하고,
상기 카메라부는 상기 영상투영면에 투영된 상기 켈리브레이션 영상을 촬영하고,
상기 투영영상생성부는 상기 촬영된 켈리브레이션 영상의 정보를 이용하여 상기 영상투영부와 상기 카메라부 간의 사전 좌표 보정 작업을 하는 것을 특징으로 하는 휴대용 프로젝션 기반 모델 제어 시스템.12. The method of claim 11,
Wherein the image projection unit projects a calibration pattern of a predetermined pattern onto the image projection plane,
Wherein the camera unit captures the calibration image projected on the image projection plane,
Wherein the projection image generation unit performs a pre-coordinate correction operation between the image projection unit and the camera unit using the information of the captured calibration image. 제12항에 있어서,
상기 투영영상생성부는 상기 사전 좌표 보정 작업의 정보를 이용하여 상기 영상투영부의 좌표를 산출하는 것을 특징으로 하는 휴대용 프로젝션 기반 모델 제어 시스템.13. The method of claim 12,
Wherein the projection image generation unit calculates the coordinates of the image projection unit using the information of the prior coordinate correction operation. 제11항 또는 제12항 중 어느 하나의 항에 있어서, 상기 마커는,
상기 모델을 특정하고, 영상을 투영하고자 하는 제1영상투영면에 표시될 제1영상을 생성하기 위하여 상기 제1영상투영면에 위치되어 사용되는 제1마커; 및
영상을 투영하고자 하는 제2영상투영면에 표시될 제2영상을 생성하기 위하여 상기 제2영상투영면에 위치되어 사용되는 제2마커를 포함하는 것을 특징으로 하는 휴대용 프로젝션 기반 모델 제어 시스템 13. The method according to any one of claims 11 to 12,
A first marker positioned on the first image projection plane for identifying the model and generating a first image to be displayed on a first image projection plane for projecting the image; And
And a second marker positioned and used on the second image projection plane to generate a second image to be displayed on a second image projection plane for projection of an image, 제14항에 있어서,
상기 마커인식부는, 상기 제1마커를 일정한 주기로 반복하여 인식하고, 상기 제2마커를 적어도 한번 인식하는 것을 특징으로 하고,
상기 투영영상생성부는, 상기 제1영상투영면에 대하여는 일정한 주기로 반복하여 제1공간변환행렬을 새롭게 생성하여 상기 제1영상투영면에 투영할 상기 모델의 제1투영영상을 생성하고, 상기 제2영상투영면에 대하여는 적어도 한번 제2공간변환행렬을 생성하여, 상기 생성된 제2공간변환행렬을 이용하여 상기 제2영상투영면에 투영할 상기 모델의 제2투영영상을 생성하는 것을 특징으로 하는 휴대용 프로젝션 기반 모델 제어 시스템.15. The method of claim 14,
Wherein the marker recognition unit repeatedly recognizes the first marker at a constant cycle and recognizes the second marker at least once,
Wherein the projection image generation unit generates a first projection image of the model to be projected onto the first image projection plane by newly generating a first spatial transformation matrix by repeating the first image projection plane at a predetermined period, Based on the second spatial transformation matrix, a second projection image of the model to be projected onto the second image projection plane using the generated second spatial transformation matrix, Control system. 제15항에 있어서,
상기 제어명령처리부는 상기 카메라부에서 촬영된 상기 제1마커가 상기 제1영상투영면에서 회전하는 경우 상기 모델을 상기 제1마커의 회전에 따라 회전시키는 상기 모델제어명령을 생성하는 것을 특징으로 하는 휴대용 프로젝션 기반 모델 제어 시스템.16. The method of claim 15,
Wherein the control command processing unit generates the model control command to rotate the model according to the rotation of the first marker when the first marker photographed by the camera unit rotates on the first image projection plane Projection - based model control system. 휴대용 프로젝션 기반 모델 제어 방법에 있어서,
사용자가 지정하는 임의의 영상투영면에 위치하고 이동이 가능하고, 특정한 패턴을 가지는 인식표인 마커를 카메라를 이용하여 촬영하고 상기 마커를 인식하는 마커인식 단계;
사용자가 처리하려는 특정 모델에 대한 사용자의 제어 명령을 입력하는 제어명령입력 단계;
상기 제어명령입력 단계에서 입력된 명령에 따라 미리 정해진 모델제어명령을 생성하는 제어명령처리 단계;
상기 모델제어명령에 따라 상기 모델을 제어하고 상기 모델에 대한 정보를 처리하는 모델처리 단계;
상기 마커를 이용하여 상기 모델을 특정하고, 상기 인식된 마커의 모양과 크기를 이용하여, 상기 마커가 위치한 상기 영상투영면의 위치를 산출하고, 상기 산출된 상기 영상투영면의 위치 정보를 이용하여, 상기 영상투영면에 투영할 상기 모델의 투영영상을 생성하는 투영영상생성 단계; 및
프로젝터를 이용하여 상기 모델의 투영영상을 상기 영상투영면에 투영하는 영상투영 단계를 포함하는 것을 특징으로 하는 휴대용 프로젝션 기반 모델 제어 방법. A portable projection-based model control method,
A marker recognition step of photographing a marker, which is located on an arbitrary image projection plane designated by the user and is movable and is an identification tag having a specific pattern, using a camera and recognizing the marker;
A control command input step of inputting a user control command for a specific model to be processed by a user;
A control command processing step of generating a predetermined model control command in accordance with the command input in the control command input step;
A model processing step of controlling the model according to the model control command and processing information about the model;
The marker is used to specify the model, the position of the image projection plane on which the marker is located is calculated using the shape and size of the recognized marker, and using the calculated position information of the image projection plane, A projection image generation step of generating a projection image of the model to be projected on an image projection plane; And
And projecting the projection image of the model onto the image projection plane using a projector. 제17항에 있어서,
상기 모델처리 단계는 상기 모델제어명령에 따라, 상기 모델을 2차원 또는 3차원으로 회전하거나, 상기 모델의 크기를 스케일링하거나, 상기 모델의 구성 요소 중 일부를 선택하거나, 상기 모델을 수정하는 동작을 수행하고, 상기 모델의 구조 정보 및 구성 개체 정보를 처리하는 것을 특징으로 하는 휴대용 프로젝션 기반 모델 제어 방법.18. The method of claim 17,
The model processing step may include an operation of rotating the model two-dimensionally or three-dimensionally, scaling the size of the model, selecting a part of the components of the model, or modifying the model according to the model control command And processes the structure information and the configuration entity information of the model. 제17항에 있어서,
상기 투영영상생성 단계는 상기 모델처리 단계에서 제어된 상기 모델과 처리된 상기 모델에 대한 정보를 포함하는 모델 영상 컨텐츠를 생성하고, 상기 모델 영상 컨텐트와 상기 마커인식 단계에서 인식된 상기 마커의 정보를 이용하여 상기 영상투영면에 투영할 상기 모델의 투영영상을 생성하는 것을 특징으로 하는 휴대용 프로젝션 기반 모델 제어 방법. 18. The method of claim 17,
Wherein the generating of the projection image comprises generating model image contents including information on the model and the processed model controlled in the model processing step and storing the model image content and the information of the marker recognized in the marker recognition step And a projection image of the model to be projected onto the image projection plane is generated using the projection model. 제19항에 있어서, 상기 투영영상생성 단계는,
상기 마커인식 단계에서 인식된 상기 마커의 모양과 크기 정보를 이용하여, 상기 마커가 위치된 상기 영상투영면의 좌표를 산출하고,
상기 프로젝터 공간의 좌표를 산출하고,
상기 영상투영면의 좌표와 상기 프로젝터 공간의 좌표 간의 공간변환행렬을 생성하고,
상기 모델 영상 컨텐츠를 상기 생성된 공간변환행렬을 이용하여 변환하여, 상기 영상투영면에 투영할 상기 모델의 투영영상을 생성하는 것을 특징으로 하는 휴대용 프로젝션 기반 모델 제어 방법.20. The method of claim 19,
Calculating coordinates of the image projection plane on which the marker is located using the shape and size information of the marker recognized in the marker recognition step,
Calculating coordinates of the projector space,
Generating a spatial transformation matrix between the coordinates of the image projection plane and the coordinates of the projector space,
And converting the model image content using the generated spatial transformation matrix to generate a projection image of the model to be projected on the image projection plane. 제20항에 있어서,
상기 투영영상생성 단계는 상기 프로젝터로 상기 영상투영면에 일정한 패턴의 켈리브레이션 영상을 투영하고, 상기 카메라로 상기 투영된 켈리브레이션 영상을 촬영하고, 상기 촬영된 켈리브레이션 영상의 정보를 이용하여 상기 프로젝터와 상기 카메라 간의 사전 좌표 보정 작업을 하고, 상기 사전 좌표 보정 작업의 정보를 이용하여 상기 프로젝터 공간의 좌표를 산출하는 것을 특징으로 하는 휴대용 프로젝션 기반 모델 제어 방법.21. The method of claim 20,
Wherein the projected image generating step includes the steps of projecting a calibration image of a predetermined pattern onto the image projection plane with the projector, photographing the projected calibration image with the camera, and using the information of the captured calibration image, And a coordinate of the projector space is calculated using the information of the prior coordinate correction operation.
KR20140110716A 2014-08-25 2014-08-25 3D Model Control System and Method Based on multi-screen Projection KR101496761B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20140110716A KR101496761B1 (en) 2014-08-25 2014-08-25 3D Model Control System and Method Based on multi-screen Projection

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20140110716A KR101496761B1 (en) 2014-08-25 2014-08-25 3D Model Control System and Method Based on multi-screen Projection

Publications (1)

Publication Number Publication Date
KR101496761B1 true KR101496761B1 (en) 2015-02-27

Family

ID=52594634

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20140110716A KR101496761B1 (en) 2014-08-25 2014-08-25 3D Model Control System and Method Based on multi-screen Projection

Country Status (1)

Country Link
KR (1) KR101496761B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101798165B1 (en) * 2016-06-29 2017-11-15 경북대학교 산학협력단 System and method for facilitate construction using an augmented realty
CN108762704A (en) * 2018-05-17 2018-11-06 深圳创维－Rgb电子有限公司 Method, apparatus, display equipment and the storage medium of multihead display
WO2020107123A1 (en) * 2018-11-29 2020-06-04 Ha Hieu Thuan Charles Projection device for displaying construction plans

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001028046A (en) * 1999-07-15 2001-01-30 Sharp Corp Image recognizing device
KR20090000777A (en) * 2007-04-02 2009-01-08 광주과학기술원 Augmented reality system using tangible object and method for providing augmented reality
KR20100100058A (en) * 2009-03-05 2010-09-15 동서대학교산학협력단 A projector-camera system for real-time geometric correction of deformable surface
KR20140057087A (en) * 2012-11-02 2014-05-12 삼성전자주식회사 System and method for providing image related to image displayed on device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001028046A (en) * 1999-07-15 2001-01-30 Sharp Corp Image recognizing device
KR20090000777A (en) * 2007-04-02 2009-01-08 광주과학기술원 Augmented reality system using tangible object and method for providing augmented reality
KR20100100058A (en) * 2009-03-05 2010-09-15 동서대학교산학협력단 A projector-camera system for real-time geometric correction of deformable surface
KR20140057087A (en) * 2012-11-02 2014-05-12 삼성전자주식회사 System and method for providing image related to image displayed on device

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101798165B1 (en) * 2016-06-29 2017-11-15 경북대학교 산학협력단 System and method for facilitate construction using an augmented realty
CN108762704A (en) * 2018-05-17 2018-11-06 深圳创维－Rgb电子有限公司 Method, apparatus, display equipment and the storage medium of multihead display
WO2020107123A1 (en) * 2018-11-29 2020-06-04 Ha Hieu Thuan Charles Projection device for displaying construction plans

Similar Documents

Publication Publication Date Title
JP7231306B2 (en) Method, Apparatus and System for Automatically Annotating Target Objects in Images
US11308347B2 (en) Method of determining a similarity transformation between first and second coordinates of 3D features
CA3016539C (en) Image processing method, display device, and inspection system
US9495802B2 (en) Position identification method and system
EP3143596B1 (en) Method and apparatus for scanning and printing a 3d object
US7755608B2 (en) Systems and methods of interfacing with a machine
US9513716B2 (en) Bimanual interactions on digital paper using a pen and a spatially-aware mobile projector
JP6264834B2 (en) Guide method, information processing apparatus, and guide program
KR100869447B1 (en) Apparatus and method for indicating a target by image processing without three-dimensional modeling
JP5201096B2 (en) Interactive operation device
KR20140112064A (en) Virtual ruler
US20160247320A1 (en) Scene Modification for Augmented Reality using Markers with Parameters
CN105637559A (en) Structural modeling using depth sensors
Chan et al. Enabling beyond-surface interactions for interactive surface with an invisible projection
CN106683177B (en) Based on interaction roaming type house decoration data interactive method and device
US20130113920A1 (en) Determining position in a projection capture system
EP3014398A1 (en) Recognizing interactions with hot zones
JP2003270719A (en) Projection method, projector, and method and system for supporting work
KR100971667B1 (en) Apparatus and method for providing realistic contents through augmented book
KR101496761B1 (en) 3D Model Control System and Method Based on multi-screen Projection
JP2006098256A (en) Three-dimensional surface model preparing system, image processing system, program, and information recording medium
KR20190048506A (en) Method and apparatus for providing virtual room
KR20220014513A (en) 3D Model Control System and Method Based on multi-screen Projection
JP2010033397A (en) Image composition device and method
Bunnun et al. In-situ interactive image-based model building for augmented reality from a handheld device

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee