KR20170090199A - Apparatus for vibration generating in augmented reality environment using three-dimensional model and method thereof - Google Patents

Apparatus for vibration generating in augmented reality environment using three-dimensional model and method thereof Download PDF

Info

Publication number
KR20170090199A
KR20170090199A KR1020160010762A KR20160010762A KR20170090199A KR 20170090199 A KR20170090199 A KR 20170090199A KR 1020160010762 A KR1020160010762 A KR 1020160010762A KR 20160010762 A KR20160010762 A KR 20160010762A KR 20170090199 A KR20170090199 A KR 20170090199A
Authority
KR
South Korea
Prior art keywords
vibration
dimensional
control computer
data
model
Prior art date
Application number
KR1020160010762A
Other languages
Korean (ko)
Other versions
KR101800612B1 (en
Inventor
허상훈
Original Assignee
허상훈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 허상훈 filed Critical 허상훈
Priority to KR1020160010762A priority Critical patent/KR101800612B1/en
Publication of KR20170090199A publication Critical patent/KR20170090199A/en
Application granted granted Critical
Publication of KR101800612B1 publication Critical patent/KR101800612B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H04N13/0203—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

The present invention relates to a vibration generation apparatus in an augmented reality environment using a three-dimensional model and a method thereof. The vibration generation apparatus comprises: a three-dimensional model; a table storing the three-dimensional model; a three-dimensional camera which captures an image of the three-dimensional model; a projector which projects a predetermined image to the three-dimensional model; a control computer which identifies a vibration generation location when data change, generates a vibration generation control signal, controls vibration generation in the vibration generation location, renders pre-stored image content in accordance with determination of a color to be rendered and brightness when data do not change, and projects the rendered image content to the three-dimensional model by the projector; and a plurality of vibration units which are operated based on the vibration generation control signal input from the control computer and transmits vibration to the three-dimensional model. Accordingly, the vibration generation apparatus provides tactile information besides visual information to users using the augmented reality and thus can generate an interaction scenario at a higher level rather than simply providing visual change. The vibration generation apparatus draws users new interest and can increase users concentration.

Description

3차원 모형을 이용한 증강현실 환경에서의 진동발생장치 및 그 방법{Apparatus for vibration generating in augmented reality environment using three-dimensional model and method thereof}BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to an apparatus for generating vibration in an augmented reality environment using a three-dimensional model,

본 발명은 3차원 모형 위에 구현되는 증강현실 환경을 이용하는 사용자들이 시각정보와 함께 촉각정보를 느낄 수 있도록 하는 3차원 모형을 이용한 증강현실 환경에서의 진동발생장치 및 그 방법에 관한 것이다.The present invention relates to an apparatus and method for generating a vibration in an augmented reality environment using a three-dimensional model that allows users using an augmented reality environment implemented on a three-dimensional model to feel tactile information together with visual information.

최근 들어 영상산업의 비약적 발전으로 인해 3차원 영상을 이용한 기술의 개발이 활발하게 이루어지고 있다. 즉 텔레비전이나 스크린을 통한 2차원 평면이 아닌 3차원으로 영상을 확인할 수 있게 된 것이다.In recent years, due to the rapid development of the video industry, the development of technologies using 3D images has been actively performed. In other words, it is possible to check the image in three dimensions rather than two-dimensional plane through television or screen.

3차원 영상을 위한 장치로는 홀로그래피, 3차원 디스플레이 장치(예를 들어, 3D 안경), 증강현실(Augmented Reality) 등이 대표적이다.Examples of devices for three-dimensional imaging include holography, a three-dimensional display device (for example, 3D glasses), and augmented reality.

홀로그래피는 위상이 갖추어진 레이저 광선을 이용하여 렌즈 없이 한 장의 사진으로 입체상을 촬영, 재생하는 방법 또는 이것을 응용한 광학 기술이고, 3차원 디스플레이 장치는 인간의 양안 시차를 이용하여 3차원 영상을 감상하도록 하는 장치이며, 증강 현실은 실제환경과 가상의 객체가 혼합되어 사용자가 눈으로 보는 현실세계에 가상 물체를 겹쳐 보여주는 기술로서 가상현실 기술에 비하여 보다 나은 현실감과 부가 정보를 제공한다.Holography is a technique of photographing and reproducing a three-dimensional image with a single photograph using a laser beam having a phase, without using a lens, or optical technology using the same. The three-dimensional display device is a three- The augmented reality is a technique of superimposing a virtual object on the real world of a user by mixing a real environment and a virtual object, and provides a better sense of reality and additional information than a virtual reality technique.

이 중에서 홀로그래피나 3차원 디스플레이 장치는 영상이 표시되는 영역의 깊이, 모양 등의 지형정보를 참조하여 영상을 입체적으로 표시하는 기술이 아니기 때문에 사용자가 자유롭게 영상이 표시되는 3차원 영역을 생성하고, 이렇게 생성된 3차원 영역에 원하는 영상을 투사하여 표시하는 형태의 3차원 영상 구현방식을 얻을 수 없었다.Among them, the holography or the three-dimensional display device is not a technique for displaying the image in three dimensions by referring to the topographic information such as the depth and the shape of the area in which the image is displayed, so that the user can freely create a three- Dimensional image realizing method of projecting and displaying a desired image in the generated three-dimensional region can not be obtained.

또한, 실제환경과 가상의 객체가 혼합된 증강현실 기술은 사용자가 실제환경을 볼 수 있게 하여 홀로그래피나 3차원 디스플레이 장치에서 얻을 수 없는 현실감을 제공할 수 있지만, 시각정보 이외에 촉각 등의 다른 정보를 사용자들에게 전달하는 데에는 한계가 있었다.In addition, augmented reality technology in which a real environment and a virtual object are mixed can provide a reality that can not be obtained by a holography or a three-dimensional display device by allowing a user to view the real environment. However, in addition to visual information, There was a limit to delivering to users.

대한민국 등록특허공보 제10-1299191호Korean Patent Publication No. 10-1299191 대한민국 공개특허공보 제10-1998-0050467호Korean Patent Publication No. 10-1998-0050467

본 발명은, 모래와 같은 입상물(粒狀物)을 이용한 3차원 모형 위에 프로젝션 매핑을 통해 구현되는 증강현실 환경에서 사용자에게 촉각을 통한 피드백을 제공할 수 있는 3차원 모형을 이용한 증강현실 환경에서의 진동발생장치 및 그 방법을 제공한다.The present invention relates to an augmented reality environment using a three-dimensional model capable of providing tactile feedback to a user in an augmented reality environment implemented through projection mapping on a three-dimensional model using granular objects such as sand And a method of the same.

본 발명의 일 실시예에 따른 3차원 모형을 이용한 증강현실 환경에서의 진동발생장치는, 3차원 모형과, 3차원 모형이 수납되는 테이블과, 테이블에 수납된 3차원 모형을 촬영하는 3차원 카메라와, 3차원 모형에 사전에 설정되어 있는 영상을 투사하는 프로젝터와, 장치 구동시 3차원 카메라를 초기화하고, 기 저장된 3차원 엔진 구동용 프로그램인 OpenGL(Open Graphics Library)을 초기화하여 프로젝터와 동기화하고, 3차원 카메라로부터 입력되는 촬영 데이터를 토대로 3차원 버텍스(vertex) 데이터를 생성한 후 3차원 버텍스 데이터와 3차원 카메라와의 거리를 토대로 렌더링(rendering)될 색상 및 밝기를 결정하고, 3차원 카메라로부터 입력되는 촬영 데이터를 분석하여 기 설정되어 있는 진동발생지점의 데이터 변화가 발생되는지를 판단하고, 판단결과 기 설정되어 있는 진동발생지점의 데이터 변화가 발생되면 진동발생위치의 확인, 진동발생 제어신호의 생성 및 진동발생위치에서의 진동발생을 제어하고, 진동발생위치에서의 진동발생 처리 이후 또는 기 설정되어 있는 진동발생지점의 데이터 변화가 발생되지 않으면 렌더링될 색상 및 밝기의 결정에 따라 기저장되어 있는 영상 컨텐츠를 렌더링하여 프로젝터를 통해 3차원 모형에 투사하도록 제어하는 제어 컴퓨터, 그리고 테이블 내부에 상호 간격을 두고 다수 개 구비되며, 제어 컴퓨터로부터 입력되는 진동발생 제어신호를 토대로 구동되어 3차원 모형에 진동을 전달하는 진동부를 포함할 수 있다.An apparatus for generating vibration in an augmented reality environment using a three-dimensional model according to an embodiment of the present invention includes a three-dimensional model, a table in which a three-dimensional model is stored, a three- A projector for projecting an image set in advance in the 3D model, and a 3D camera for initializing the 3D camera when driving the apparatus, initializing an OpenGL (Open Graphics Library) which is a program for driving a previously stored 3D engine, Dimensional vertex data based on the photographic data input from the three-dimensional camera, determines the color and brightness to be rendered based on the distance between the three-dimensional vertex data and the three-dimensional camera, It is determined whether or not data change of a predetermined vibration occurrence point occurs, and if it is determined as a result of the determination When the data change of the vibration occurrence point occurs, it is possible to check the vibration occurrence position, to generate the vibration occurrence control signal and to control the vibration occurrence at the vibration occurrence position, and to control the vibration occurrence after the vibration occurrence process at the vibration occurrence position, A control computer for rendering the previously stored image contents according to the determination of the color and brightness to be rendered when the data change of the point does not occur and controlling the projection to the 3D model via the projector, And a vibration unit that is driven based on the vibration generation control signal input from the control computer and transmits vibration to the three-dimensional model.

이때 상술한 제어 컴퓨터는, 3차원 카메라 및 OpenGL 초기화를 처리하고 3차원 카메라로부터 입력되는 촬영 데이터와 3차원 카메라의 시야각, 왜곡계수를 포함한 내부 파라미터를 기반으로 3차원 버텍스 데이터를 생성하고 생성된 3차원 버텍스 데이터와 3차원 카메라로부터의 거리정보를 토대로 렌더링될 색상 및 밝기를 결정하며 렌더링될 색상 및 밝기정보를 토대로 3차원 모형에 투사될 영상을 렌더링하여 프로젝터로 출력하는 영상 처리부와, 프로젝터를 통해 3차원 모형에 투사되는 다수 개의 영상 컨텐츠를 저장하고 있으며 진동부 각각의 위치별 좌표정보를 저장하고 있는 데이터베이스와, 3차원 카메라에서 촬영한 촬영 데이터를 분석하여 기 설정되어 있는 진동발생지점의 데이터 변화가 발생되는지를 판단하고 기 설정되어 있는 진동발생지점의 데이터 변화가 발생되면 데이터베이스에 저장된 좌표정보를 토대로 진동발생지점의 위치를 확인하고 확인된 위치에서 진동을 발생시키기 위한 진동발생 제어신호를 생성하며 생성된 진동발생 제어신호를 해당 위치의 진동부로 출력하는 진동 분석부, 그리고 영상 처리부에서의 3차원 카메라 및 OpenGL 초기화 처리, 3차원 카메라로 촬영한 촬영 데이터를 토대로 한 3차원 버텍스 데이터 생성, 3차원 버텍스 데이터를 토대로 한 렌더링될 색상 및 밝기의 결정, 3차원 모형에 투사될 영상의 렌더링을 제어하며 진동 분석부에서의 기 설정되어 있는 진동발생지점의 데이터 변화를 토대로 한 진동발생지점의 위치확인 및 진동발생 제어신호의 생성과 출력을 제어하는 제어부를 포함할 수 있다.The control computer processes the 3D camera and OpenGL initialization, generates 3D vertex data based on the imaging parameters input from the 3D camera, the internal parameters including the viewing angle and the distortion coefficient of the 3D camera, Determining a color and a brightness to be rendered based on the 3D vertex data and the distance information from the 3D camera, rendering an image to be projected on the 3D model based on the color and brightness information to be rendered, and outputting the image to a projector; A database storing a plurality of image contents projected on a three-dimensional model and storing coordinate information of each position of the vibration unit, and a data change detecting unit for analyzing the photographing data taken by the three- Of the vibration occurrence point, When the data change occurs, the position of the vibration generating point is confirmed based on the coordinate information stored in the database, the vibration generating control signal for generating the vibration at the identified position is generated, and the generated vibration generating control signal is outputted to the vibration part 3-D vertex data generation based on photographed data photographed by a 3-D camera, 3) Determination of color and brightness to be rendered based on 3-D vertex data, 3) The control unit controls the rendering of the image to be projected on the 3D model and controls the generation of the vibration generation control signal and the output of the vibration generation point based on the data change of the predetermined vibration generation point in the vibration analysis unit can do.

그리고 3차원 모형은, 모래를 포함한 입상물로서 실시간 이동이나 변경 조작이 가능하며, 실시간 이동이나 변경에 따라 프로젝터를 통해 변화되는 영상이 투사되는 것이 바람직하다.In addition, the three-dimensional model is preferably a granular object containing sand, and it is preferable that real-time movement or change operation is possible, and an image which is changed through the projector according to real-time movement or change is projected.

그리고 제어 컴퓨터에서 수행하는 OpenGL 초기화는, 시야각(field of view), 광축의 위치를 포함한 내부 파라미터, 및 3차원 카메라로부터의 상대적 위치, 회전을 포함한 외부 파라미터의 초기화를 토대로 한 프로젝터와의 동기화이다.The OpenGL initialization performed by the control computer is synchronized with the projector based on the initialization of the external parameters including the relative position from the 3D camera, the rotation, the internal parameters including the field of view, the position of the optical axis, and the rotation.

그리고 진동부는, 제어 컴퓨터의 제어를 토대로 하나 이상 동시에 구동 가능하도록 구성할 수 있다.The vibrating unit can be configured to be capable of driving at least one of them at the same time based on the control of the control computer.

또한, 본 발명의 일 실시예에 따른 3차원 모형을 이용한 증강현실 환경에서의 진동발생방법은, (1) 제어 컴퓨터는, 장치의 구동이 이루어지면 3차원 모형을 촬영하는 3차원 카메라를 초기화하고, 기 저장된 3차원 엔진 구동용 프로그램인 OpenGL을 초기화하여 3차원 모형에 영상을 투사하는 프로젝터를 동기화하는 단계와, (2) 제어 컴퓨터는, 3차원 카메라로부터 입력되는 촬영 데이터를 토대로 3차원 버텍스 데이터를 생성하고, 3차원 버텍스 데이터와 3차원 카메라와의 거리를 토대로 렌더링될 색상 및 밝기를 결정하는 단계와, (3) 제어 컴퓨터는, 3차원 카메라로부터 입력되는 촬영 데이터를 토대로 기 설정되어 있는 진동발생지점의 데이터 변화가 발생되는지를 판단하는 단계와, (4) (3) 단계의 판단결과 기 설정되어 있는 진동발생지점의 데이터 변화가 발생되면, 제어 컴퓨터는 진동발생위치의 확인, 진동발생 제어신호의 생성 및 3차원 모형의 진동발생위치에서의 진동부를 통한 진동발생을 처리하는 단계와, (5) (4) 단계 이후 또는 (3) 단계의 판단결과 기 설정되어 있는 진동발생지점의 데이터 변화가 발생되지 않으면, 제어 컴퓨터는 (2) 단계에서 결정된 렌더링될 색상 및 밝기에 따라 기저장되어 있는 영상 컨텐츠를 렌더링하여 프로젝터를 통해 3차원 모형에 투사하는 단계, 그리고 (6) 제어 컴퓨터는 장치의 구동이 종료될 때까지 (2) 단계 이후를 반복 처리하는 단계를 포함할 수 있다.In addition, a method for generating vibration in an augmented reality environment using a three-dimensional model according to an embodiment of the present invention includes: (1) a control computer initializes a three-dimensional camera that captures a three- Dimensional projected image; (2) initializing OpenGL, which is a previously stored three-dimensional engine driving program, to synchronize a projector projecting an image onto a three-dimensional model; and (2) Dimensional color space, and determining the color and brightness to be rendered on the basis of the distance between the three-dimensional vertex data and the three-dimensional camera. (3) The control computer generates a predetermined vibration based on the photographing data input from the three- (4) judging whether or not a data change of a vibration occurrence point, which has been set in step (3) (5) after the step (4), or (3) after the step (4), the control computer performs the steps of (1) The control computer renders the previously stored image contents according to the color and brightness to be rendered determined in the step (2), and transmits the three-dimensional model And (6) the control computer may repeat the step (2) and thereafter until the driving of the apparatus is terminated.

그리고 (1) 단계는, (1-1) 장치가 구동되면, 제어 컴퓨터는 3차원 모형을 촬영하는 3차원 카메라를 초기화하는 단계와, (1-2) 제어 컴퓨터는, 3차원 엔진 구동용 프로그램인 OpenGL을 초기화하는 단계와, (1-3) 제어 컴퓨터는, 시야각, 광축의 위치를 포함한 OpenGL의 내부 파라미터를 초기화하는 단계, 그리고 (1-4) 제어 컴퓨터는, 3차원 카메라로부터의 상대적 위치, 회전을 포함한 OpenGL의 외부 파라미터를 초기화하는 단계를 포함할 수 있다.In step (1), (1-1) when the apparatus is driven, the control computer initializes a three-dimensional camera for photographing a three-dimensional model; and (1-2) (1 - 3) the control computer initializes the internal parameters of the OpenGL including the viewing angle and the position of the optical axis, and (1 - 4) the control computer sets the relative position , And initializing the external parameters of OpenGL, including rotation.

그리고 (2) 단계는, (2-1) 제어 컴퓨터는, 3차원 카메라로부터 3차원 모형을 촬영한 촬영 데이터를 수신하는 단계와, (2-2) 제어 컴퓨터는, (2-1) 단계를 통해 수신한 3차원 카메라의 촬영 데이터와 3차원 카메라의 시야각, 왜곡계수를 포함한 내부 파라미터를 기반으로 3차원 버텍스 데이터를 생성하는 단계, 그리고 (2-3) 제어 컴퓨터는, (2-2) 단계에서 생성된 3차원 버텍스 데이터와 3차원 카메라로부터의 거리정보를 토대로 렌더링될 색상 및 밝기를 결정하는 단계를 포함할 수 있다.(2-1) receiving the photographed data of the three-dimensional model from the three-dimensional camera; and (2-2) the control computer performing the step (2-1) (3-2) generating three-dimensional vertex data based on imaging parameters of the three-dimensional camera received through the three-dimensional camera and internal parameters including a viewing angle and a distortion coefficient of the three-dimensional camera, and (2-3) And determining the color and brightness to be rendered based on the three-dimensional vertex data and the distance information from the three-dimensional camera.

그리고 (4) 단계는, (4-1) (3) 단계의 판단결과 기 설정되어 있는 진동발생지점의 데이터 변화가 발생되면, 제어 컴퓨터는 데이터베이스에 저장된 좌표정보를 토대로 진동발생지점의 위치를 확인하는 단계와, (4-2) 제어 컴퓨터는, (4-1) 단계에서 확인된 진동발생지점의 위치에 진동을 발생시키기 위한 진동발생 제어신호를 생성하는 단계, 그리고 (4-3) 제어 컴퓨터는, (4-2) 단계에서 생성된 진동발생 제어신호를 해당 위치의 진동부로 출력하여 진동을 발생시키는 단계를 포함할 수 있다.In step (4), when the data change of the predetermined vibration occurrence point occurs as a result of the determination in step (4-1) (3), the control computer confirms the position of the vibration occurrence point based on the coordinate information stored in the database (4-2) generating a vibration generation control signal for generating vibration at a position of the vibration generation point identified in the step (4-1); and (4-3) May include generating a vibration by outputting the vibration generation control signal generated in the step (4-2) to the vibration unit at the corresponding position.

그리고 (5) 단계에서 프로젝터를 통해 영상이 투사되는 3차원 모형은, 모래를 포함한 입상물로서 사용자의 조작에 따른 실시간 이동이나 변경 조작이 가능하며, 실시간 이동이나 변경에 따라 프로젝터를 통해 변화되는 영상이 투사될 수 있다.The three-dimensional model in which the image is projected through the projector in the step (5) is a granular object including sand, and it is possible to perform real-time movement or change operation according to the user's manipulation. Can be projected.

그리고 (4) 단계를 통해 기 설정되어 있는 진동발생지점의 데이터 변화를 토대로 3차원 모형의 진동발생을 처리할 때, 기 설정되어 있는 진동발생지점 중 하나 이상에서 데이터 변화가 동시에 발생되면, 제어 컴퓨터는 데이터 변화가 동시에 발생된 각각의 진동발생지점에 위치한 진동부를 통해 진동발생을 처리할 수 있다.When processing the vibration generation of the 3D model on the basis of the data change of the vibration occurrence point preset in the step (4), if the data change occurs at the same time in one or more of the predetermined vibration occurrence points, Can process the occurrence of the vibration through the vibration part located at each vibration generation point where the data change occurs at the same time.

이상에서와 같이 본 발명의 3차원 모형을 이용한 증강현실 환경에서의 진동발생장치 및 그 방법에 따르면, 모래와 같은 입상물을 이용한 3차원 모형 위에 구현되는 증강현실 환경을 이용하는 사용자들에게 시각정보 이외에 촉각정보를 제공함으로써, 단순히 시각적 변화만을 제공하였던 것에서 벗어나 한 차원 높은 인터랙션(interaction) 시나리오의 구성이 가능하며, 이에 따라 사용자들에게 새로운 재미와 흥미를 유도하여 집중력을 높일 수 있는 효과가 있다.As described above, according to the apparatus and method for generating vibration in the augmented reality environment using the three-dimensional model of the present invention, users who use the augmented reality environment implemented on a three-dimensional model using granular materials such as sand By providing the tactile information, it is possible to construct a one-dimensional interaction scenario apart from simply providing a visual change, and thus it is possible to increase the concentration by inducing new fun and interest to users.

도 1은 본 발명의 일 실시예에 따른 3차원 모형을 이용한 증강현실 환경에서의 진동발생장치의 구성을 개략적으로 나타낸 도면이다.
도 2는 도 1의 제어 컴퓨터의 구성을 상세하게 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 3차원 모형을 이용한 증강현실 환경에서의 진동발생방법의 동작과정을 나타낸 순서도이다.
도 4 내지 도 6은 도 3의 각 서브루틴의 동작과정을 상세하게 나타낸 순서도이다.1 is a view schematically showing a configuration of a vibration generator in an augmented reality environment using a three-dimensional model according to an embodiment of the present invention.
2 is a detailed view of the configuration of the control computer of FIG.
3 is a flowchart illustrating an operation procedure of a vibration generating method in an augmented reality environment using a three-dimensional model according to an embodiment of the present invention.
FIGS. 4 to 6 are flow charts showing the operation of each subroutine of FIG. 3 in detail.

이하, 첨부된 도면을 참조하여 본 발명의 3차원 모형을 이용한 증강현실 환경에서의 진동발생장치 및 그 방법을 상세하게 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 여기에서 설명하는 실시예에 한정되지 않는다. 명세서 전체를 통하여 유사한 부분에 대해서는 동일한 도면 부호를 붙였다.Hereinafter, an apparatus and method for generating vibration in an augmented reality environment using a three-dimensional model of the present invention will be described in detail with reference to the accompanying drawings. The present invention may be embodied in many different forms and is not limited to the embodiments described herein. Like parts are designated with like reference numerals throughout the specification.

도 1은 본 발명의 일 실시예에 따른 3차원 모형을 이용한 증강현실 환경에서의 진동발생장치의 구성을 개략적으로 나타낸 도면이다.1 is a view schematically showing a configuration of a vibration generator in an augmented reality environment using a three-dimensional model according to an embodiment of the present invention.

도시된 바와 같이 본 발명의 장치는, 3차원 모형(100), 테이블(200), 3차원 카메라(300), 프로젝터(400), 제어 컴퓨터(500), 진동부(600) 등으로 구성된다.As shown in the figure, the apparatus of the present invention includes a 3D model 100, a table 200, a 3D camera 300, a projector 400, a control computer 500, a vibration unit 600, and the like.

3차원 모형(100)은 모래를 포함한 입상물로서, 사용자의 조작에 따라 실시간 이동이나 변경 조작이 가능하며, 실시간 이동이나 변경에 따라 프로젝터(400)를 통해 변화되는 영상이 투사된다.The 3D model 100 is a granular object including sand. The 3D model 100 can be moved in real time or changed according to the user's manipulation. The changed image is projected through the projector 400 according to real-time movement or change.

테이블(200)은 상부가 개방되어 있고, 내부 공간에 3차원 모형(100)이 수납되며, 내부 바닥에 상하좌우 일정한 간격을 두고 진동부(600)가 구비된다.The table 200 is opened at an upper portion thereof, and the 3D model 100 is accommodated in the inner space, and the vibrating unit 600 is provided on the inner bottom at regular intervals at upper, lower, left and right sides.

3차원 카메라(300)는 테이블(200)에 수납된 3차원 모형(100)을 촬영하고, 촬영 데이터를 제어 컴퓨터(500)로 출력한다.The three-dimensional camera 300 photographs the three-dimensional model 100 stored in the table 200, and outputs the photographed data to the control computer 500.

프로젝터(400)는 제어 컴퓨터(500)의 제어를 토대로 3차원 모형(100)에 사전에 설정되어 있는 영상을 투사한다.The projector 400 projects an image preset in the three-dimensional model 100 based on the control of the control computer 500.

제어 컴퓨터(500)는 장치 구동시 3차원 카메라(300)를 초기화하고, 기 저장된 3차원 엔진 구동용 프로그램인 OpenGL을 초기화하여 프로젝터(400)와 동기화한다. 그리고 3차원 카메라(300)로부터 입력되는 촬영 데이터를 토대로 3차원 버텍스 데이터를 생성한 후 3차원 버텍스 데이터와 3차원 카메라(300)와의 거리를 토대로 렌더링될 색상 및 밝기를 결정(예를 들어, 촬영 데이터를 각 픽셀별로 사전에 정해진 영상 데이터에 따라 깊이, 모양, 색상 등으로 치환하는 작업)한다.The control computer 500 initializes the three-dimensional camera 300 when the apparatus is driven, initializes the pre-stored three-dimensional engine driving program OpenGL, and synchronizes with the projector 400. Dimensional vertex data based on the photographic data input from the three-dimensional camera 300, and determines the color and brightness to be rendered based on the distance between the three-dimensional vertex data and the three-dimensional camera 300 (for example, And replacing data with depth, shape, and color according to predetermined image data for each pixel).

그리고 3차원 카메라(300)로부터 입력되는 촬영 데이터를 분석하여 기 설정되어 있는 진동발생지점의 데이터 변화가 발생되는지를 판단하고, 판단결과 기 설정되어 있는 진동발생지점의 데이터 변화가 발생되면 진동발생위치의 확인, 진동발생 제어신호의 생성 및 진동발생위치에서의 진동발생을 제어한다.Then, it is determined whether or not data change of a predetermined vibration occurrence point occurs by analyzing the photographing data input from the three-dimensional camera 300. If a change in data of a preset vibration occurrence point occurs, Generation of the vibration generation control signal, and generation of vibration at the vibration generation position.

그리고 진동발생위치에서의 진동발생 처리 이후 또는 기 설정되어 있는 진동발생지점의 데이터 변화가 발생되지 않으면, 렌더링될 색상 및 밝기의 결정에 따라 기저장되어 있는 영상 컨텐츠를 렌더링하여 프로젝터(400)를 통해 3차원 모형에 투사하도록 제어한다.After the vibration generation process at the vibration generation position or when the data change of the predetermined vibration generation point does not occur, the previously stored image contents are rendered according to the determination of the color and brightness to be rendered, To be projected onto a three-dimensional model.

이때, 제어 컴퓨터(500)에서 수행하는 OpenGL 초기화는, 시야각, 광축의 위치를 포함한 내부 파라미터, 및 3차원 카메라로부터의 상대적 위치, 회전을 포함한 외부 파라미터의 초기화를 토대로 한 프로젝터(400)와의 동기화이다. 이와 같이 OpenGL 초기화를 수행하는 이유는 프로젝터(400)의 광축이 3차원 카메라(300)의 광축에 대비하여 뒤틀려 있기 때문이다. 즉 프로젝터(400)는 수평방향의 광축을 기준으로 할 때 상부 방향으로 치우쳐 영상을 투사하는 반면, 3차원 카메라(300)는 수평방향의 광축을 기준으로 상하 일정한 폭으로 영상을 촬영하기 때문에 광축의 차이가 발생되어 이를 조정하기 위함이다.At this time, the OpenGL initialization performed by the control computer 500 is synchronized with the projector 400 based on the initialization of the external parameters including the relative position from the three-dimensional camera and the rotation, the internal parameters including the viewing angle, the position of the optical axis . The reason for performing the OpenGL initialization in this manner is that the optical axis of the projector 400 is distorted relative to the optical axis of the three-dimensional camera 300. In other words, the projector 400 projects the image biased toward the upper direction with respect to the optical axis in the horizontal direction, whereas the three-dimensional camera 300 photographs the image with a predetermined width up and down with respect to the optical axis in the horizontal direction, This is to make a difference and adjust it.

진동부(600)는 테이블(200) 내부에 상호 간격을 두고 다수 개 구비되며, 제어 컴퓨터(500)로부터 입력되는 진동발생 제어신호를 토대로 구동되어 3차원 모형(100)의 특정 지점에 진동을 전달한다.A plurality of vibration units 600 are provided in the table 200 at mutually spaced intervals and are driven based on the vibration generation control signal input from the control computer 500 to transmit vibration to specific points of the three- do.

즉 진동부(600)는 증강현실로 투사되는 영상 컨텐츠의 맥락에 맞추어 3차원 모형(100)에 진동을 전달하는 것이다. 예를 들어, 모래 위에 지형의 이미지를 투사하고 사용자가 이 모래를 파헤치면 지진 혹은 화산 폭발이 일어나는 시나리오가 있다고 할 때, 진동부(600)를 구성하는 진동모터를 통해 지진 혹은 화산폭발하는 영상에 맞춰 모래에 진동을 가하는 것이다.That is, the vibration unit 600 transmits the vibration to the 3D model 100 in accordance with the context of the image contents projected to the augmented reality. For example, if there is a scenario in which an image of a terrain is projected on the sand and a user digs the sand, there is a scenario in which an earthquake or a volcanic eruption occurs. In the case of an earthquake or volcanic eruption through a vibration motor constituting the vibration unit 600 It is to apply vibration to the sand.

또한, 진동부(600)는 제어 컴퓨터(500)의 제어를 토대로 하나 이상 동시에 구동 가능하도록 구성할 수도 있다. 즉 다수의 사용자가 기 설정되어 있는 진동발생지점의 3차원 모형(100)에 변형을 가하면 동시에 진동을 발생할 수 있도록 하는 것이다.In addition, the vibration unit 600 may be configured to be capable of simultaneously driving at least one based on the control of the control computer 500. [ That is, when a plurality of users deforms the three-dimensional model 100 of the predetermined vibration generating point, the vibration can be generated at the same time.

도 2는 상술한 도 1의 제어 컴퓨터(500)의 구성을 보다 상세하게 나타낸 도면이다.Fig. 2 is a diagram showing the configuration of the control computer 500 of Fig. 1 described above in more detail.

도시된 바와 같이 본 발명의 제어 컴퓨터(500)는, 영상 처리부(510), 진동 분석부(520), 데이터베이스(530), 제어부(540) 등으로 구성된다.As shown in the figure, the control computer 500 of the present invention includes an image processing unit 510, a vibration analysis unit 520, a database 530, a control unit 540, and the like.

영상 처리부(510)는 3차원 카메라(300) 및 OpenGL 초기화를 처리하고, 3차원 카메라(300)로부터 입력되는 촬영 데이터와 3차원 카메라(300)의 시야각, 왜곡계수를 포함한 내부 파라미터를 기반으로 3차원 버텍스 데이터를 생성하고, 생성된 3차원 버텍스 데이터와 3차원 카메라(300)로부터의 거리정보를 토대로 렌더링될 색상 및 밝기를 결정하며, 렌더링될 색상 및 밝기정보를 토대로 3차원 모형(100)에 투사될 영상을 렌더링하여 프로젝터(400)로 출력한다.The image processing unit 510 processes the 3D camera 300 and the OpenGL initialization, and based on the imaging parameters input from the 3D camera 300 and the internal parameters including the viewing angle and the distortion coefficient of the 3D camera 300, Dimensional vertex data, determines the color and brightness to be rendered on the basis of the generated three-dimensional vertex data and the distance information from the three-dimensional camera 300, and outputs the three-dimensional vertex data to the 3D model 100 based on the color and brightness information to be rendered And outputs the rendered image to the projector 400. [

진동 분석부(520)는 3차원 카메라(300)에서 촬영한 촬영 데이터를 분석하여 기 설정되어 있는 진동발생지점의 데이터 변화가 발생되는지를 판단하고, 기 설정되어 있는 진동발생지점의 데이터 변화가 발생되면 데이터베이스(530)에 저장된 좌표정보를 토대로 진동발생지점의 위치를 확인하고, 확인된 위치에서 진동을 발생시키기 위한 진동발생 제어신호를 생성하며, 생성된 진동발생 제어신호를 해당 위치의 진동부(600)로 출력한다.The vibration analyzing unit 520 analyzes the photographed data photographed by the three-dimensional camera 300 to determine whether or not a data change of a preset vibration occurrence point occurs, and when a data change of a preset vibration occurrence point occurs Generates a vibration generation control signal for generating vibration at the identified position based on the coordinate information stored in the database 530 and outputs the generated vibration generation control signal to the vibration section 600).

데이터베이스(530)는 프로젝터(400)를 통해 3차원 모형(100)에 투사되는 다수 개의 영상 컨텐츠를 저장하고 있으며, 진동부(600) 각각의 위치별 좌표정보를 저장하고 있다.The database 530 stores a plurality of image contents projected on the 3D model 100 through the projector 400 and stores coordinate information for each position of the vibration units 600. [

제어부(540)는 영상 처리부(510)에서의 3차원 카메라(300) 및 OpenGL 초기화 처리, 3차원 카메라(300)로 촬영한 촬영 데이터를 토대로 한 3차원 버텍스 데이터 생성, 3차원 버텍스 데이터를 토대로 한 렌더링될 색상 및 밝기의 결정, 3차원 모형(100)에 투사될 영상의 렌더링을 제어한다. 그리고 진동 분석부(520)에서의 기 설정되어 있는 진동발생지점의 데이터 변화를 토대로 한 진동발생지점의 위치확인 및 진동발생 제어신호의 생성과 출력을 제어한다.The control unit 540 controls the three-dimensional camera 300 and the OpenGL initialization process in the image processing unit 510 to generate three-dimensional vertex data based on the photographed data photographed by the three-dimensional camera 300, Determines the color and brightness to be rendered, and controls the rendering of the image to be projected on the 3D model 100. [ The position of the vibration generation point and the generation and output of the vibration generation control signal are controlled based on the data change of the predetermined vibration generation point in the vibration analysis unit 520.

다음에는, 이와 같이 구성된 본 발명에 따른 3차원 모형을 이용한 증강현실 환경에서의 진동발생방법의 일 실시예를 도 3 내지 도 6을 참조하여 상세하게 설명한다. 이때 본 발명의 방법에 따른 각 단계는 사용 환경이나 당업자에 의해 순서가 변경될 수 있다.Next, an embodiment of the vibration generating method in the augmented reality environment using the three-dimensional model according to the present invention constructed as above will be described in detail with reference to FIG. 3 to FIG. At this time, each step according to the method of the present invention may be changed in the use environment or the order by a person skilled in the art.

도 3 내지 도 6은 본 발명의 일 실시예에 따른 3차원 모형을 이용한 증강현실 환경에서의 진동발생방법의 동작과정을 상세하게 나타낸 순서도이다.3 to 6 are flowcharts illustrating in detail an operation process of a vibration generating method in an augmented reality environment using a three-dimensional model according to an embodiment of the present invention.

우선, 제어 컴퓨터(500)는 장치의 구동이 이루어지면 3차원 모형을 촬영하는 3차원 카메라(300)를 초기화하고, 기 저장된 3차원 엔진 구동용 프로그램인 OpenGL을 초기화하여 3차원 모형(100)에 영상을 투사하는 프로젝터(400)를 동기화한다(S100).First, when the apparatus is driven, the control computer 500 initializes the three-dimensional camera 300 for photographing the three-dimensional model, initializes the pre-stored three-dimensional engine driving program OpenGL, And synchronizes the projector 400 projecting the image (S100).

이를 도 4를 참조하여 구체적으로 설명하면, 전원공급을 토대로 장치가 구동을 시작하면 제어 컴퓨터(500)는 3차원 모형(100)을 촬영하는 3차원 카메라(300)를 초기화한다(S110).4, when the apparatus starts driving based on the power supply, the control computer 500 initializes a three-dimensional camera 300 that photographs the three-dimensional model 100 (S110).

그리고 제어 컴퓨터(500)는 기 저장되어 있는 3차원 엔진 구동용 프로그램인 OpenGL을 초기화한다(S120).Then, the control computer 500 initializes OpenGL, which is a stored three-dimensional engine driving program (S120).

OpenGL을 초기화할 때 제어 컴퓨터(500)는 시야각, 광축의 위치를 포함한 OpenGL의 내부 파라미터를 초기화한 후(S130), 3차원 카메라(300)로부터의 상대적 위치, 회전을 포함한 OpenGL의 외부 파라미터를 초기화한다(S140).When initializing OpenGL, the control computer 500 initializes the internal parameters of the OpenGL including the viewing angle and the position of the optical axis (S130), and then initializes the external parameters of the OpenGL including the relative position and rotation from the 3D camera 300 (S140).

S100 단계를 통해 3차원 카메라(300) 및 OpenGL을 초기화한 이후, 제어 컴퓨터(500)는 3차원 카메라(300)로부터 입력되는 촬영 데이터를 토대로 3차원 버텍스 데이터를 생성하고, 3차원 버텍스 데이터와 3차원 카메라와의 거리를 토대로 렌더링될 색상 및 밝기를 결정한다(S200).After initializing the 3D camera 300 and OpenGL through step S100, the control computer 500 generates three-dimensional vertex data based on the photographic data input from the three-dimensional camera 300, The color and brightness to be rendered are determined based on the distance from the 3D camera (S200).

이를 도 5를 참조하여 구체적으로 설명하면, 제어 컴퓨터(500)는 3차원 카메라(300)로부터 3차원 모형(100)을 촬영한 촬영 데이터를 수신하고(S210), S210 단계를 통해 수신한 3차원 카메라(300)의 촬영 데이터와 3차원 카메라(300)의 시야각, 왜곡계수를 포함한 내부 파라미터를 기반으로 3차원 버텍스 데이터를 생성한다(S220).5, the control computer 500 receives photographed data of the 3D model 100 from the 3D camera 300 (S210). The control computer 500 receives the photographed data of the 3D model 100 from the 3D camera 300 Dimensional vertex data based on the photographic data of the camera 300 and the internal parameters including the viewing angle and the distortion coefficient of the three-dimensional camera 300 (S220).

이후 제어 컴퓨터(500)는 S220 단계에서 생성된 3차원 버텍스 데이터와 3차원 카메라(300)로부터의 거리정보를 토대로 렌더링될 색상 및 밝기를 결정한다(S230).Thereafter, the control computer 500 determines the color and brightness to be rendered based on the three-dimensional vertex data generated in step S220 and the distance information from the three-dimensional camera 300 (S230).

S200 단계를 통해 3차원 버텍스 데이터의 생성 및 렌더링될 색상/밝기를 결정한 이후, 제어 컴퓨터(500)는 3차원 카메라(300)로부터 입력되는 촬영 데이터를 분석하고(S300), 분석 정보를 토대로 기 설정되어 있는 진동발생지점의 데이터 변화가 발생되는지를 판단한다(S400).After determining the color / brightness to be generated and rendered by the three-dimensional vertex data through step S200, the control computer 500 analyzes photographed data input from the three-dimensional camera 300 (S300) It is determined whether a change in the data of the vibration occurrence point occurs (S400).

S400 단계의 판단결과 기 설정되어 있는 진동발생지점의 데이터 변화가 발생되면, 제어 컴퓨터(500)는 진동발생위치의 확인, 진동발생 제어신호의 생성 및 3차원 모형(100)의 진동발생위치에서의 진동부(600)를 통한 진동발생을 처리한다(S500).As a result of the determination in step S400, when a predetermined data change occurs at the vibration generation point, the control computer 500 determines whether the vibration generation position has been detected, the vibration generation control signal is generated, The vibration generation through the vibration unit 600 is processed (S500).

이를 도 6을 참조하여 구체적으로 설명하면, S400 단계의 판단결과 기 설정되어 있는 진동발생지점의 데이터 변화가 발생되면, 제어 컴퓨터(500)는 데이터베이스(530)에 저장된 좌표정보를 토대로 진동발생지점의 위치를 확인하고(S510), 확인된 진동발생지점의 위치에 진동을 발생시키기 위한 진동발생 제어신호를 생성한다(S520).6, when the data change of the predetermined vibration occurrence point occurs as a result of the determination in step S400, the control computer 500 controls the vibration generating point (S510), and generates a vibration generation control signal for generating vibration at a position of the identified vibration generation point (S520).

그리고 제어 컴퓨터(500)는 S520 단계에서 생성된 진동발생 제어신호를 해당 위치의 진동부(600)로 출력하여 진동을 발생시키도록 한다(S530).The control computer 500 outputs the vibration generation control signal generated in step S520 to the vibration unit 600 at the corresponding position to generate the vibration (S530).

이때 S500 단계를 통해 제어 컴퓨터(500)에서 기 설정되어 있는 진동발생지점의 데이터 변화를 토대로 3차원 모형(100)의 진동발생을 처리할 때, 기 설정되어 있는 진동발생지점 중 하나 이상에서 데이터 변화가 동시에 발생되는 경우, 데이터 변화가 발생된 각각의 진동발생지점에 위치한 진동부(600)를 통해 진동발생을 동시에 처리할 수 있다.At this time, when the vibration generation of the three-dimensional model 100 is processed based on the data change of the vibration occurrence point previously set in the control computer 500 through step S500, The vibration can be simultaneously generated through the vibration unit 600 located at each vibration occurrence point where the data change occurs.

한편, S500 단계 이후 또는 S400 단계의 판단결과 기 설정되어 있는 진동발생지점의 데이터 변화가 발생되지 않으면, 제어 컴퓨터(500)는 S200 단계에서 결정된 렌더링될 색상 및 밝기에 따라 기저장되어 있는 영상 컨텐츠를 렌더링하여 프로젝터(400)를 통해 3차원 모형(100)에 투사한다(S600).On the other hand, if it is determined in step S500 or step S400 that there is no data change at the predetermined vibration generation point, the control computer 500 determines whether the previously stored image content is stored in accordance with the color and brightness to be rendered, And projects it to the 3D model 100 through the projector 400 (S600).

이때 S600 단계에서 프로젝터(400)를 통해 영상이 투사되는 3차원 모형(100)은, 모래를 포함한 입상물로서 사용자의 조작에 따른 실시간 이동이나 변경 조작이 가능하며, 실시간 이동이나 변경에 따라 프로젝터를 통해 변화되는 영상이 투사될 수 있다.In this case, the 3D model 100, in which an image is projected through the projector 400 in step S600, can be moved in real time or changed in accordance with the user's operation as a granular object including sand, The changed image can be projected.

마지막으로, 제어 컴퓨터(500)는 장치의 구동이 종료될 때까지 S200 단계 이후를 반복 처리한다(S700).Finally, the control computer 500 repeats step S200 and subsequent steps until the driving of the apparatus is terminated (S700).

이처럼, 본 발명은 모래와 같은 입상물 위에 프로젝션 매핑에 의해 증강현실로 구현되는 컨텐츠의 맥락에 맞추어 모래에 진동을 전달하기 때문에 단순히 시각적 변화만을 제공하였던 것에서 벗어나 한 차원 높은 인터랙션 시나리오의 구성이 가능함은 물론, 사용자들에게 새로운 재미와 흥미를 유도하여 집중력을 크게 증대시킬 수 있다.As described above, since the present invention transmits vibration to sand in accordance with the context of content realized as an augmented reality by projection mapping on a granular object such as sand, it is possible to construct a one-dimensional interaction scenario apart from merely providing a visual change Of course, it can greatly increase concentration by attracting new fun and interest to users.

여기에서, 상술한 본 발명에서는 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경할 수 있음을 이해할 수 있을 것이다.It will be apparent to those skilled in the art that various modifications may be made to the invention without departing from the spirit and scope of the invention as defined in the following claims And changes may be made without departing from the spirit and scope of the invention.

100 : 3차원 모형
200 : 테이블
300 : 3차원 카메라
400 : 프로젝터
500 : 제어 컴퓨터
510 : 영상 처리부
520 : 진동 분석부
530 : 데이터베이스
540 : 제어부
600 : 진동부100: 3D model
200: Table
300: 3D camera
400: Projector
500: control computer
510:
520: vibration analysis unit
530: Database
540:
600:

Claims (11)

3차원 모형,
상기 3차원 모형이 수납되는 테이블,
상기 테이블에 수납된 상기 3차원 모형을 촬영하는 3차원 카메라,
상기 3차원 모형에 사전에 설정되어 있는 영상을 투사하는 프로젝터,
장치 구동시 상기 3차원 카메라를 초기화하고, 기 저장된 3차원 엔진 구동용 프로그램인 OpenGL(Open Graphics Library)을 초기화하여 상기 프로젝터와 동기화하고, 상기 3차원 카메라로부터 입력되는 촬영 데이터를 토대로 3차원 버텍스(vertex) 데이터를 생성한 후 상기 3차원 버텍스 데이터와 상기 3차원 카메라와의 거리를 토대로 렌더링(rendering)될 색상 및 밝기를 결정하고, 상기 3차원 카메라로부터 입력되는 촬영 데이터를 분석하여 기 설정되어 있는 진동발생지점의 데이터 변화가 발생되는지를 판단하고, 판단결과 기 설정되어 있는 진동발생지점의 데이터 변화가 발생되면 진동발생위치의 확인, 진동발생 제어신호의 생성 및 진동발생위치에서의 진동발생을 제어하고, 진동발생위치에서의 진동발생 처리 이후 또는 기 설정되어 있는 진동발생지점의 데이터 변화가 발생되지 않으면 렌더링될 색상 및 밝기의 결정에 따라 기저장되어 있는 영상 컨텐츠를 렌더링하여 상기 프로젝터를 통해 상기 3차원 모형에 투사하도록 제어하는 제어 컴퓨터, 그리고
상기 테이블 내부에 상호 간격을 두고 다수 개 구비되며, 상기 제어 컴퓨터로부터 입력되는 진동발생 제어신호를 토대로 구동되어 상기 3차원 모형에 진동을 전달하는 진동부
를 포함하는 3차원 모형을 이용한 증강현실 환경에서의 진동발생장치.3D model,
A table in which the 3D model is stored,
A three-dimensional camera for photographing the three-dimensional model stored in the table,
A projector for projecting an image preset in the three-dimensional model,
Dimensional camera, and initializes an OpenGL (Open Graphics Library) which is a pre-stored three-dimensional engine driving program, synchronizes with the projector, and generates a three-dimensional vertex based on the photographic data input from the three- dimensional vertex data, and determines the color and brightness to be rendered on the basis of the distance between the three-dimensional vertex data and the three-dimensional camera, analyzes shooting data input from the three-dimensional camera, It is judged whether or not the data change of the vibration occurrence point occurs, and when the data change of the preset vibration occurrence point occurs as a result of the determination, confirmation of the vibration occurrence position, generation of the vibration generation control signal, and generation of vibration at the vibration occurrence position After the vibration generation processing at the vibration generation position, or after the vibration generation processing at the vibration generation position A control computer for rendering the previously stored image content according to the determination of the color and brightness to be rendered and for projecting the image content on the three-dimensional model through the projector;
And a plurality of vibrating units provided in the table and spaced apart from each other and driven based on a vibration generation control signal input from the control computer to transmit vibration to the three-
A vibration generator in an augmented reality environment using a three-dimensional model. 제 1 항에 있어서,
상기 제어 컴퓨터는,
상기 3차원 카메라 및 OpenGL 초기화를 처리하고, 상기 3차원 카메라로부터 입력되는 촬영 데이터와 상기 3차원 카메라의 시야각, 왜곡계수를 포함한 내부 파라미터를 기반으로 3차원 버텍스 데이터를 생성하고, 생성된 상기 3차원 버텍스 데이터와 상기 3차원 카메라로부터의 거리정보를 토대로 렌더링될 색상 및 밝기를 결정하며, 렌더링될 색상 및 밝기정보를 토대로 상기 3차원 모형에 투사될 영상을 렌더링하여 상기 프로젝터로 출력하는 영상 처리부,
상기 프로젝터를 통해 상기 3차원 모형에 투사되는 다수 개의 영상 컨텐츠를 저장하고 있으며, 상기 진동부 각각의 위치별 좌표정보를 저장하고 있는 데이터베이스,
상기 3차원 카메라에서 촬영한 촬영 데이터를 분석하여 기 설정되어 있는 진동발생지점의 데이터 변화가 발생되는지를 판단하고, 기 설정되어 있는 진동발생지점의 데이터 변화가 발생되면 상기 데이터베이스에 저장된 좌표정보를 토대로 진동발생지점의 위치를 확인하고, 확인된 위치에서 진동을 발생시키기 위한 진동발생 제어신호를 생성하며, 생성된 진동발생 제어신호를 해당 위치의 진동부로 출력하는 진동 분석부, 그리고
상기 영상 처리부에서의 상기 3차원 카메라 및 OpenGL 초기화 처리, 상기 3차원 카메라로 촬영한 촬영 데이터를 토대로 한 3차원 버텍스 데이터 생성, 3차원 버텍스 데이터를 토대로 한 렌더링될 색상 및 밝기의 결정, 상기 3차원 모형에 투사될 영상의 렌더링을 제어하며, 상기 진동 분석부에서의 기 설정되어 있는 진동발생지점의 데이터 변화를 토대로 한 진동발생지점의 위치확인 및 진동발생 제어신호의 생성과 출력을 제어하는 제어부
를 포함하는 3차원 모형을 이용한 증강현실 환경에서의 진동발생장치.The method according to claim 1,
The control computer includes:
Generating three-dimensional vertex data based on internal parameters including photographing data input from the three-dimensional camera and a viewing angle and a distortion coefficient of the three-dimensional camera, processing the three-dimensional camera and OpenGL initialization, Determining a color and brightness to be rendered based on vertex data and distance information from the 3D camera, rendering an image to be projected on the 3D model based on color and brightness information to be rendered, and outputting the rendered image to the projector,
A database storing a plurality of image contents projected on the 3D model through the projector and storing coordinate information of each position of the vibration unit,
Dimensional camera, analyzes the photographed data photographed by the three-dimensional camera to determine whether a predetermined data change of a vibration occurrence point occurs, and when a data change of a preset vibration occurrence point occurs, based on the coordinate information stored in the database A vibration analysis unit for checking the position of the vibration generation point, generating a vibration generation control signal for generating vibration at the identified position, and outputting the generated vibration generation control signal to the vibration unit at the corresponding position,
Dimensional vertex data based on the photographed data photographed by the three-dimensional camera, determination of the color and brightness to be rendered based on the three-dimensional vertex data, A controller for controlling the rendering of the image to be projected on the model and for controlling the generation of the vibration generation control signal and the output of the vibration generation point based on the data change of the predetermined vibration generation point in the vibration analysis unit,
A vibration generator in an augmented reality environment using a three-dimensional model. 제 1 항에 있어서,
상기 3차원 모형은,
모래를 포함한 입상물로서 실시간 이동이나 변경 조작이 가능하며, 실시간 이동이나 변경에 따라 상기 프로젝터를 통해 변화되는 영상이 투사되는 3차원 모형을 이용한 증강현실 환경에서의 진동발생장치.The method according to claim 1,
The three-
A vibration generator in an augmented reality environment using a three-dimensional model in which a moving object such as sand can be moved or changed in real time and an image changed through the projector is projected according to real-time movement or change. 제 1 항에 있어서,
상기 제어 컴퓨터에서 수행하는 OpenGL 초기화는,
시야각(field of view), 광축의 위치를 포함한 내부 파라미터, 및 3차원 카메라로부터의 상대적 위치, 회전을 포함한 외부 파라미터의 초기화를 토대로 상기 프로젝터와 동기화하는 것임을 특징으로 하는 3차원 모형을 이용한 증강현실 환경에서의 진동발생장치.The method according to claim 1,
The OpenGL initialization performed by the control computer includes:
Wherein the synchronization is synchronized with the projector based on initialization of an external parameter including a field of view, an internal parameter including a position of an optical axis, and a relative position from the three-dimensional camera and rotation. Wherein 제 1 항에 있어서,
상기 진동부는,
상기 제어 컴퓨터의 제어를 토대로 하나 이상 동시에 구동 가능한 3차원 모형을 이용한 증강현실 환경에서의 진동발생장치.The method according to claim 1,
The vibrating unit may include:
Wherein the three-dimensional model is capable of being driven at least one time based on the control of the control computer. (1) 제어 컴퓨터는, 장치의 구동이 이루어지면 3차원 모형을 촬영하는 3차원 카메라를 초기화하고, 기 저장된 3차원 엔진 구동용 프로그램인 OpenGL(Open Graphics Library)을 초기화하여 상기 3차원 모형에 영상을 투사하는 프로젝터를 동기화하는 단계,
(2) 상기 제어 컴퓨터는, 상기 3차원 카메라로부터 입력되는 촬영 데이터를 토대로 3차원 버텍스 데이터를 생성하고, 상기 3차원 버텍스 데이터와 상기 3차원 카메라와의 거리를 토대로 렌더링될 색상 및 밝기를 결정하는 단계,
(3) 상기 제어 컴퓨터는, 상기 3차원 카메라로부터 입력되는 촬영 데이터를 토대로 기 설정되어 있는 진동발생지점의 데이터 변화가 발생되는지를 판단하는 단계,
(4) 상기 (3) 단계의 판단결과 기 설정되어 있는 진동발생지점의 데이터 변화가 발생되면, 상기 제어 컴퓨터는 진동발생위치의 확인, 진동발생 제어신호의 생성 및 상기 3차원 모형의 진동발생위치에서의 진동부를 통한 진동발생을 처리하는 단계,
(5) 상기 (4) 단계 이후 또는 상기 (3) 단계의 판단결과 기 설정되어 있는 진동발생지점의 데이터 변화가 발생되지 않으면, 상기 제어 컴퓨터는 상기 (2) 단계에서 결정된 렌더링될 색상 및 밝기에 따라 기저장되어 있는 영상 컨텐츠를 렌더링하여 상기 프로젝터를 통해 상기 3차원 모형에 투사하는 단계, 그리고
(6) 상기 제어 컴퓨터는 장치의 구동이 종료될 때까지 상기 (2) 단계 이후를 반복 처리하는 단계
를 포함하는 3차원 모형을 이용한 증강현실 환경에서의 진동발생방법.(1) When the apparatus is driven, the control computer initializes a three-dimensional camera for shooting a three-dimensional model, initializes an OpenGL (Open Graphics Library) program for pre-stored three-dimensional engine driving, Synchronizing the projecting projector,
(2) The control computer generates three-dimensional vertex data based on photographed data input from the three-dimensional camera, and determines a color and a brightness to be rendered based on the distance between the three-dimensional vertex data and the three- step,
(3) The control computer includes a step of judging whether a data change of a predetermined vibration occurrence point is generated based on the photographing data input from the three-dimensional camera,
(4) As a result of the determination in the step (3), when a predetermined data change occurs at the vibration generating point, the control computer checks the vibration generating position, generates the vibration generating control signal, Processing the generation of the vibration through the vibrating part in the first step,
(5) If there is no data change of the predetermined vibration occurrence point as a result of the determination in step (4) or in step (3), the control computer determines whether the color and brightness to be rendered determined in step (2) Rendering the stored image content and projecting the image content on the 3D model through the projector, and
(6) The control computer repeats the step (2) and the subsequent steps until the driving of the apparatus is terminated
A method for generating vibration in an augmented reality environment using a three - 제 6 항에 있어서,
상기 (1) 단계는,
(1-1) 장치가 구동되면, 상기 제어 컴퓨터는 상기 3차원 모형을 촬영하는 상기 3차원 카메라를 초기화하는 단계,
(1-2) 상기 제어 컴퓨터는, 3차원 엔진 구동용 프로그램인 OpenGL을 초기화하는 단계,
(1-3) 상기 제어 컴퓨터는, 시야각(field of view), 광축의 위치를 포함한 OpenGL의 내부 파라미터를 초기화하는 단계, 그리고
(1-4) 상기 제어 컴퓨터는, 상기 3차원 카메라로부터의 상대적 위치, 회전을 포함한 OpenGL의 외부 파라미터를 초기화하는 단계
를 포함하는 3차원 모형을 이용한 증강현실 환경에서의 진동발생방법.The method according to claim 6,
The step (1)
(1-1) When the apparatus is driven, the control computer initializes the 3D camera for photographing the 3D model,
(1-2) The control computer includes a step of initializing OpenGL which is a program for driving a three-dimensional engine,
(1-3) The control computer initializes the internal parameters of the OpenGL including the field of view, the position of the optical axis, and
(1-4) The control computer includes a step of initializing an external parameter of OpenGL including a relative position and rotation from the 3D camera
A method for generating vibration in an augmented reality environment using a three - 제 6 항에 있어서,
상기 (2) 단계는,
(2-1) 상기 제어 컴퓨터는, 상기 3차원 카메라로부터 상기 3차원 모형을 촬영한 촬영 데이터를 수신하는 단계,
(2-2) 상기 제어 컴퓨터는, 상기 (2-1) 단계를 통해 수신한 상기 3차원 카메라의 촬영 데이터와 상기 3차원 카메라의 시야각, 왜곡계수를 포함한 내부 파라미터를 기반으로 3차원 버텍스 데이터를 생성하는 단계, 그리고
(2-3) 상기 제어 컴퓨터는, 상기 (2-2) 단계에서 생성된 상기 3차원 버텍스 데이터와 상기 3차원 카메라로부터의 거리정보를 토대로 렌더링될 색상 및 밝기를 결정하는 단계
를 포함하는 3차원 모형을 이용한 증강현실 환경에서의 진동발생방법.The method according to claim 6,
The step (2)
(2-1) The control computer includes a step of receiving photographing data obtained by photographing the three-dimensional model from the three-dimensional camera,
(2-2) The control computer calculates three-dimensional vertex data based on the internal parameters including the imaging data of the three-dimensional camera and the viewing angle and the distortion coefficient of the three-dimensional camera received through the step (2-1) Creating, and
(2-3) The control computer determines the color and brightness to be rendered based on the three-dimensional vertex data generated in the step (2-2) and the distance information from the three-dimensional camera
A method for generating vibration in an augmented reality environment using a three - 제 6 항에 있어서,
상기 (4) 단계는,
(4-1) 상기 (3) 단계의 판단결과 기 설정되어 있는 진동발생지점의 데이터 변화가 발생되면, 상기 제어 컴퓨터는 데이터베이스에 저장된 좌표정보를 토대로 진동발생지점의 위치를 확인하는 단계,
(4-2) 상기 제어 컴퓨터는, 상기 (4-1) 단계에서 확인된 진동발생지점의 위치에 진동을 발생시키기 위한 진동발생 제어신호를 생성하는 단계, 그리고
(4-3) 상기 제어 컴퓨터는, 상기 (4-2) 단계에서 생성된 진동발생 제어신호를 해당 위치의 진동부로 출력하여 진동을 발생시키는 단계
를 포함하는 3차원 모형을 이용한 증강현실 환경에서의 진동발생방법.The method according to claim 6,
The step (4)
(4-1) If a change in data of the predetermined vibration occurrence point occurs as a result of the determination in the step (3), the control computer confirms the position of the vibration occurrence point based on the coordinate information stored in the database,
(4-2) The control computer generates a vibration generation control signal for generating vibration at a position of the vibration generation point identified in the step (4-1), and
(4-3) The control computer generates vibration by outputting the vibration generation control signal generated in the step (4-2) to the vibration unit at the corresponding position
A method for generating vibration in an augmented reality environment using a three - 제 6 항에 있어서,
상기 (5) 단계에서 상기 프로젝터를 통해 영상이 투사되는 상기 3차원 모형은,
모래를 포함한 입상물로서 사용자의 조작에 따른 실시간 이동이나 변경 조작이 가능하며, 실시간 이동이나 변경에 따라 상기 프로젝터를 통해 변화되는 영상이 투사되는 3차원 모형을 이용한 증강현실 환경에서의 진동발생방법.The method according to claim 6,
In the step (5), the 3D model, through which the image is projected,
A method for generating vibration in an augmented reality environment using a three-dimensional model in which a moving image can be projected through the projector according to real-time movement or change. 제 6 항에 있어서,
상기 (4) 단계를 통해 기 설정되어 있는 진동발생지점의 데이터 변화를 토대로 상기 3차원 모형의 진동발생을 처리할 때,
기 설정되어 있는 진동발생지점 중 하나 이상에서 데이터 변화가 동시에 발생되면, 상기 제어 컴퓨터는 데이터 변화가 발생된 각각의 진동발생지점에 위치한 진동부를 통해 진동발생을 동시에 처리하는 3차원 모형을 이용한 증강현실 환경에서의 진동발생방법.The method according to claim 6,
When the vibration generation of the 3D model is processed on the basis of the data change of the predetermined vibration occurrence point through the step (4)
If the data change is simultaneously generated in at least one of the predetermined vibration generating points, the control computer performs a three-dimensional model simulating the vibration generation through the vibration unit located at each vibration generating point where the data change occurs, Method of generating vibration in an environment.
KR1020160010762A 2016-01-28 2016-01-28 Apparatus for vibration generating in augmented reality environment using three-dimensional model and method thereof KR101800612B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160010762A KR101800612B1 (en) 2016-01-28 2016-01-28 Apparatus for vibration generating in augmented reality environment using three-dimensional model and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160010762A KR101800612B1 (en) 2016-01-28 2016-01-28 Apparatus for vibration generating in augmented reality environment using three-dimensional model and method thereof

Publications (2)

Publication Number Publication Date
KR20170090199A true KR20170090199A (en) 2017-08-07
KR101800612B1 KR101800612B1 (en) 2017-11-23

Family

ID=59653766

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160010762A KR101800612B1 (en) 2016-01-28 2016-01-28 Apparatus for vibration generating in augmented reality environment using three-dimensional model and method thereof

Country Status (1)

Country Link
KR (1) KR101800612B1 (en)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101408295B1 (en) 2013-05-31 2014-06-17 (주)린소프트 Projection device on nonflat screen and method therefor

Also Published As

Publication number Publication date
KR101800612B1 (en) 2017-11-23

Similar Documents

Publication Publication Date Title
US10652522B2 (en) Varying display content based on viewpoint
US7796134B2 (en) Multi-plane horizontal perspective display
US10692288B1 (en) Compositing images for augmented reality
KR101793192B1 (en) Apparatus for realizing augmented reality using multiple projector and method thereof
US8797352B2 (en) Method and devices for visualising a digital model in a real environment
US20190371072A1 (en) Static occluder
US20050219695A1 (en) Horizontal perspective display
US20060221071A1 (en) Horizontal perspective display
KR101757627B1 (en) Marker tracking apparatus for projection area in augmented reality environment using three-dimensional model and marker tracking method thereof
US20060250390A1 (en) Horizontal perspective display
US20170104982A1 (en) Presentation of a virtual reality scene from a series of images
KR20130071100A (en) Apparatus and method for projection image into three-dimensional model
KR101860680B1 (en) Method and apparatus for implementing 3d augmented presentation
KR101800612B1 (en) Apparatus for vibration generating in augmented reality environment using three-dimensional model and method thereof
JP2009212582A (en) Feedback system for virtual studio
KR20170090198A (en) Apparatus for table automatic actuating in augmented reality environment using three-dimensional model and method thereof
KR101779390B1 (en) Apparatus and method for realizing augmented reality using fixed sculpture and flow type three-dimensional model
KR101895281B1 (en) Apparatus for capturing stick-type object in augmented reality environment and method thereof
JP6601392B2 (en) Display control apparatus, display control method, and program
KR20170090600A (en) Apparatus for constructing three-dimensional structure for realizing augmented reality and method thereof
JP5878511B2 (en) Method of using 3D geometric data for representation and control of virtual reality image in 3D space
KR20170090192A (en) Apparatus for vision protection in augmented reality environment and method thereof
TWI621356B (en) Method of Projection Mapping
GB2586831A (en) Three-Dimensional Content Generation using real-time video compositing
WO2006121955A2 (en) Horizontal perspective display

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
R401 Registration of restoration