KR102178975B1 - System and Method for 3-Dimensional Model Visualization of Drawing based Mobile Augmented Reality - Google Patents

System and Method for 3-Dimensional Model Visualization of Drawing based Mobile Augmented Reality Download PDF

Info

Publication number
KR102178975B1
KR102178975B1 KR1020130140108A KR20130140108A KR102178975B1 KR 102178975 B1 KR102178975 B1 KR 102178975B1 KR 1020130140108 A KR1020130140108 A KR 1020130140108A KR 20130140108 A KR20130140108 A KR 20130140108A KR 102178975 B1 KR102178975 B1 KR 102178975B1
Authority
KR
South Korea
Prior art keywords
design drawing
model
design
feature points
camera
Prior art date
Application number
KR1020130140108A
Other languages
Korean (ko)
Other versions
KR20150058617A (en
Inventor
김응곤
오연재
박경욱
오상숙
Original Assignee
순천대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 순천대학교 산학협력단 filed Critical 순천대학교 산학협력단
Priority to KR1020130140108A priority Critical patent/KR102178975B1/en
Publication of KR20150058617A publication Critical patent/KR20150058617A/en
Application granted granted Critical
Publication of KR102178975B1 publication Critical patent/KR102178975B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

개시된 본 발명에 따른 모바일 증강현실 기반의 설계도면 3차원 모델 시각화 시스템은 설계도면 관리서버(100)와 스마트폰(200)을 포함한다. 스마트폰(200)에는 카메라(201)와 디스플레이부(202)가 구비되며, 터치 스크린 방식인 경우 입력부와 디스플레이부가 같이 구현되는 것이 일반적이다. 본 발명의 실시예에 의하면, 스마트폰(200)의 카메라(201)를 통해 2차원 설계도면을 비추면 도면 영역을 검출하여 특징점을 추출하고 스마트폰의 캐시 또는 설계도면 관리서버에 저장되어 있는 특징점들과의 매칭을 통해 설계도면을 인식하고 3차원 모델을 전송받아, 스마트폰(200)의 디스플레이부(202)에 전송받은 3차원 모델을 설계도면 위에 증강시켜 출력하도록 하게 된다. 본 발명에 의하면 설계도면의 영역을 ROI로 먼저 추출한 다음 ROI 영역에 대해서만 특징점을 추출하여 매칭함으로써 전체 영상에 대해 특징점을 추출하는 기존의 방법에 비해 계산량이 적기 때문에 20~30%정도 인식시간이 적게 걸리게 된다. 또한 설계도면 이외의 불필요한 주위 사물들을 제외한 ROI 영역에 대해서만 매칭을 수행하므로 기존의 전체 영상을 매칭시키는 방법에 비해 인식율이 5~10%정도 높은 효과가 있다.A design drawing 3D model visualization system based on a mobile augmented reality according to the disclosed invention includes a design drawing management server 100 and a smart phone 200. The smartphone 200 includes a camera 201 and a display unit 202, and in the case of a touch screen type, an input unit and a display unit are generally implemented together. According to an embodiment of the present invention, when a two-dimensional design drawing is projected through the camera 201 of the smartphone 200, the drawing area is detected to extract the feature points, and the feature points stored in the cache or the design drawing management server of the smartphone The design drawing is recognized through matching with each other, and the 3D model is transmitted, and the 3D model transmitted to the display unit 202 of the smartphone 200 is augmented and outputted on the design drawing. According to the present invention, the recognition time is reduced by about 20 to 30%, as compared to the conventional method of extracting the feature points for the entire image by first extracting the area of the design drawing as an ROI and then extracting and matching the feature points only for the ROI area. It gets caught. In addition, since matching is performed only on the ROI area excluding unnecessary surrounding objects other than the design drawing, there is an effect that the recognition rate is 5-10% higher than that of the existing method of matching the entire image.

Description

모바일 증강현실 기반의 설계도면 3차원 모델 시각화 시스템 및 그 방법{System and Method for 3-Dimensional Model Visualization of Drawing based Mobile Augmented Reality}System and Method for 3-Dimensional Model Visualization of Drawing based Mobile Augmented Reality}

본 발명은 모바일 증강현실 기반으로 하여 스마트폰으로 설계도면을 인식하고 3차원 모델을 설계도면 위에 증강시켜 스마트폰에 나타내도록 하는 모바일 증강현실 기반의 설계도면 3차원 모델 시각화 시스템 및 그 방법에 관한 것이다. The present invention relates to a mobile augmented reality-based design drawing 3D model visualization system and method for recognizing a design drawing with a smart phone based on mobile augmented reality and augmenting the 3D model on the design drawing to be displayed on the smart phone. .

최근 스마트폰과 같은 개인 휴대용 통신 단말기기의 발달과 대중화를 통해 새로운 기술을 적용한 다양한 콘텐츠들이 개발되고 있다. 이러한 콘텐츠들은 효율성과 편의성의 관점에서 인간과 컴퓨터 사이의 상호작용에 관한 기술 수요의 증대로 이어지면서, HCI(Human Computer Interaction)의 한 분야인 증강현실이 큰 주목을 받고 있으며, 특히 모바일 증강현실(Mobile Augmented Reality)에 관한 관심이 고조되고 있다.Recently, through the development and popularization of personal portable communication terminal devices such as smartphones, various contents to which new technologies are applied are being developed. As such contents lead to an increase in the demand for technology related to interaction between humans and computers in terms of efficiency and convenience, augmented reality, a field of HCI (Human Computer Interaction), is attracting great attention, especially mobile augmented reality ( Mobile Augmented Reality) is increasing interest.

증강현실은 현실세계와 가상세계 사이의 영역인 혼합현실(Mixed Reality)의 한 종류이다. 현실세계의 정보에 가상의 정보를 합성해 사물이나 이미지의 정보를 증강시키는 것으로 사물에 대한 인간의 감각과 인식을 확장한다는 측면에서 확장현실 이라고 불리기도 한다Augmented reality is a type of mixed reality, which is an area between the real world and the virtual world. It is also called extended reality in terms of expanding human sense and perception of objects by synthesizing virtual information with real world information to augment the information of objects or images.

가상현실은 사용자를 가상으로 만들어진 3차원 공간으로 완전히 몰입시키는 기술로 정의된다. 그로 인하여 사용자는 주변의 실제 환경과의 상호작용(Interaction)이 불가능하나, 증강현실은 사용자에게 제공된 부가적인 정보가 실현실에 정합된 형태로 구현된다. 따라서 현실세계에 가상현실의 정보를 보완하여 주는 기술이다. 증강현실은 사용자에게 제공되는 정보가 실영상 내에 완벽하게 결합되어 현실세계에 존재한 듯한 느낌을 전달한다. 이러한 증강현실은 사용자에게 향상된 몰입감과 현실감을 제공하기 때문에 방송, 쇼핑, 의료, 교육, 군사, 게임, 건축, 조선, 제조업 등의 다양한 분야에 적용이 되고 있다. Virtual reality is defined as a technology that completely immerses users into a virtually created three-dimensional space. Accordingly, the user cannot interact with the surrounding real environment, but in augmented reality, the additional information provided to the user is implemented in a form in which the additional information provided to the user is matched to the realization room. Therefore, it is a technology that complements the information of virtual reality in the real world. In augmented reality, the information provided to the user is perfectly combined in the real image to convey the feeling of existence in the real world. Since such augmented reality provides users with an improved sense of immersion and realism, it is applied to various fields such as broadcasting, shopping, medical care, education, military, games, architecture, shipbuilding, and manufacturing.

제조, 기계, 건설, 조선 등의 산업분야에서 시공 관리자와 엔지니어들에게 제작할 구조물을 시공 단계 이전에 미리 파악할 수 있도록 설계과정에서 2D 설계도면을 작성하고 검토한다. 이러한 설계과정을 통해 사용자의 요구사항을 반영한 설계도면을 명세함으로써 설계자, 시공관리자, 엔지니어, 그리고 사용자들 간의 의사소통 도구로써 활용한다. 2D design drawings are created and reviewed during the design process so that construction managers and engineers in industrial fields such as manufacturing, machinery, construction, and shipbuilding can grasp the structures to be produced before the construction stage. Through this design process, design drawings that reflect the user's requirements are specified and used as a communication tool between designers, construction managers, engineers, and users.

그런데, 설계시 제안되는 2D 도면은 사용자의 요구사항을 모두 수용해야 하나 설계정보와 관련 자료가 수치화되어 표현되기 때문에 시공관리자, 엔지니어, 그리고 사용자들은 구조물의 입체적인 형태를 이해하기 어렵다.However, the 2D drawings proposed during design must accommodate all user requirements, but construction managers, engineers, and users have difficulty understanding the three-dimensional shape of the structure because design information and related data are expressed in numerical form.

따라서, 이러한 문제점들을 해결하기 위해 제조, 기계, 건설, 조선 등의 산업분야에서는 증강현실 기술을 활용하여 설계도면을 쉽게 시각화하는 다양한 연구가 이루어지고 있다. 실제 환경을 기반으로 하는 증강현실은 실제 환경에서는 제공되지 못하는 정보들을 컴퓨터 기술을 이용한 가상의 영상으로 제공하며, 증강현실 시스템 환경 안에 속한 사람들은 보다 가시화된 정보를 이용할 수 있으므로 최근 제조업뿐만 아니라 많은 분야에서 다양한 연구가 이루어지고 있는 실정이다.Therefore, in order to solve these problems, various studies to easily visualize design drawings using augmented reality technology have been conducted in industrial fields such as manufacturing, machinery, construction, and shipbuilding. Augmented reality based on the real environment provides information that cannot be provided in the real environment as a virtual image using computer technology, and people in the augmented reality system environment can use more visible information. Various studies are being conducted in the country.

증강현실 기반의 선박설계 시각화 시스템(한국정보통신학회 2012년도 추계학술대회, 2012.05.26. 공개)Augmented Reality-based Ship Design Visualization System (Korea Information and Communication Society 2012 Fall Conference, 2012.05.26 released) 증강현실 기반의 선박설계 시각화 시스템(순천대학교 대학원 학위논문, 2012.08. 공개)Ship design visualization system based on augmented reality (Sunchon National University graduate thesis, 2012.08. public)

그러나, 기존의 3D 모델 시각화 방법은 영상 트래킹을 위해 특징점을 매 영상마다 추출하고 매칭시키므로 계산량이 복잡하여 인식 시간이 많이 걸리는 문제점이 발생하게 된다. However, since the conventional 3D model visualization method extracts and matches feature points for each image for image tracking, the computational amount is complicated and a problem occurs that takes a long time to recognize.

본 발명은 상기와 같은 점을 감안하여 안출된 것으로써, 설계도면의 인식과장과 인식된 설계도면의 시각화 과정이 보다 간편하고 빠르게 하도록 하는 모바일 증강현실 기반의 설계도면 3차원 모델 시각화 시스템 및 그 방법을 제공하는데 그 목적이 있다.The present invention was conceived in consideration of the above points, and a mobile augmented reality-based design drawing 3D model visualization system and method to make the process of recognizing the design drawing and the visualization of the recognized design drawing simpler and faster Its purpose is to provide.

상기 목적을 달성하기 위한 본 발명에 따른 모바일 증강현실 기반의 설계도면 3차원 모델 시각화 시스템은, 설계도면의 대표 특징점을 추출하여 데이터베이스 모듈에 저장하는 인식 모듈(110)과, 설계도면과 설계도면의 대표 특징점 및 설계도면에 대응되는 3차원 모델이 저장되는 데이터베이스 모듈(120)을 포함하는 설계도면 관리서버(100); 및, 카메라(201)와, 디스플레이부(202) 및 복수의 설계도면들의 대표 특징점이 저장된 제1 캐시(230)를 포함하는 스마트폰(200);을 포함한다. 상기 스마트폰(200)은, 상기 카메라(201)로부터 획득한 설계도면 영상으로부터 외곽선과 모서리점을 추출하고, 사각형의 영역을 계산하여 ROI(Region Of Interest) 영역을 설정하는 ROI 영역 설정부(212)와, 상기 ROI 영역에 대해서 SURF(Speeded Up Robust Features) 알고리즘을 이용하여 설계도면의 특징점을 추출하는 특징점 추출부(214)와, 상기 제1 캐시(230)에 저장된 설계도면들의 대표 특징점과 상기 추출된 설계도면의 특징점을 매칭하는 특징점 매칭부(216), 및 매칭된 설계도면이 있는 경우 해당 설계도면을 인식하여 이에 대응되는 3D 모델을 제2 캐시(240)로부터 로딩하는 설계도면 인식부(218)를 포함하는 설계도면 인식 모듈(210); 및, 상기 카메라(201)로부터 입력되는 상기 설계도면 영상에 대해 상기 설정된 ROI 영역에서 사각형을 이루는 네 점의 좌표를 추출하고, 이를 이용하여 카메라(201)와 인식된 설계도면상 상기 네 점의 좌표와의 거리와, 상기 인식된 설계도면의 평면을 기준으로 상기 카메라(201)와 상기 추출된 네 점의 좌표와의 사이 각도를 계산하는 트래킹부(222)와, 상기 트래킹부(222)에 의해 계산된 거리 및 각도에 대응하여 상기 로딩된 3D 모델을 기하변환(Geometric Transformation) 하는 기하변환부(224), 및 상기 기하변환된 3D 모델을 상기 카메라(201)로부터 입력되는 영상에 정합하여 상기 디스플레이부(202)에 표시하는 영상정합부(226)를 포함하는 3D모델 시각화 모듈(220)을 포함한다.A design drawing 3D model visualization system based on mobile augmented reality according to the present invention for achieving the above object includes a recognition module 110 that extracts representative feature points of the design drawing and stores it in a database module, and the design drawing and the design drawing A design drawing management server 100 including a database module 120 in which a 3D model corresponding to the representative feature points and the design drawing is stored; And a smartphone 200 including a camera 201, a display unit 202, and a first cache 230 in which representative feature points of a plurality of design drawings are stored. The smartphone 200 extracts an outline and a corner point from the design drawing image obtained from the camera 201, calculates a rectangular area, and sets an ROI (Region Of Interest) area. ), a feature point extracting unit 214 that extracts feature points of design drawings using a Speeded Up Robust Features (SURF) algorithm for the ROI region, and representative feature points of design drawings stored in the first cache 230 and the The feature point matching unit 216 that matches the feature points of the extracted design drawings, and if there is a matched design drawing, a design drawing recognition unit that recognizes the corresponding design drawing and loads a 3D model corresponding thereto from the second cache 240 ( Design drawing recognition module 210 including 218; And, for the design drawing image input from the camera 201, the coordinates of four points constituting a square are extracted from the set ROI area, and the coordinates of the four points on the design drawing recognized with the camera 201 are extracted using this A tracking unit 222 that calculates an angle between the camera 201 and the extracted coordinates of the four points based on the distance of the recognized design drawing and the plane of the recognized design drawing, and calculated by the tracking unit 222 A geometric transformation unit 224 for geometric transformation of the loaded 3D model in response to a set distance and angle, and the display unit by matching the geometrically transformed 3D model with an image input from the camera 201 It includes a 3D model visualization module 220 including an image matching unit 226 displayed at 202.

상기 설계도면 인식 모듈(210)은 상기 특징점 매칭부(216)에 의해 매칭된 설계도면이 제1 캐시(230)에 없는 경우 설계도면의 특징점 데이터를 설계도면 관리서버(100)에 전송하며, 상기 설계도면 관리서버(100)는, 상기 수신된 특징점 데이터를 데이터베이스 모듈(120)에 저장된 설계도면들의 대표 특징점과 매칭하고, 매칭된 설계도면이 있는 경우 해당 설계도면의 특징점과 해당 설계도면에 대응되는 3D 모델을 상기 스마트폰(200)에 전송하는 특징점 매칭 모듈(130)을 더 포함한다.The design drawing recognition module 210 transmits the feature point data of the design drawing to the design drawing management server 100 when the design drawing matched by the feature point matching unit 216 is not in the first cache 230, and the The design drawing management server 100 matches the received feature point data with representative feature points of the design drawings stored in the database module 120, and if there is a matched design drawing, the feature points of the corresponding design drawing and the corresponding design drawing It further includes a feature point matching module 130 for transmitting the 3D model to the smartphone 200.

한편, 상기 목적을 달성하기 위한 본 발명에 따른 모바일 증강현실 기반의 설계도면 3차원 모델 시각화 방법은, 스마트폰(200)으로 설계도면을 인식하고 3차원 모델을 설계도면 위에 증강시켜 스마트폰에 나타내도록 하는 모바일 증강현실 기반의 설계도면 3차원 모델 시각화 방법에 관한 것으로써, a) 상기 스마트폰의 카메라(201)로부터 설계도면의 영상을 획득하는 단계; b) 상기 획득한 설계도면의 영상에서 외곽선과 모서리점을 추출하고, 사각형의 영역을 계산하여 ROI(Region Of Interest) 영역을 설정하는 단계; c) 상기 ROI 영역에 대해서 SURF(Speeded Up Robust Features) 알고리즘을 이용하여 설계도면의 특징점을 추출하는 단계; d) 제1 캐시(230)에 저장된 설계도면들의 대표 특징점과 상기 추출된 설계도면의 특징점을 매칭하는 단계; e) 매칭된 설계도면이 있는 경우, 해당 설계도면에 대응되는 3D 모델을 로딩하는 단계; f) 상기 카메라(201)로부터 입력되는 상기 설계도면 영상에 대해 상기 설정된 ROI 영역에서 사각형을 이루는 네 점의 좌표를 추출하고, 이를 이용하여 카메라(201)와 인식된 설계도면상 상기 네 점의 좌표와의 거리와, 상기 인식된 설계도면의 평면을 기준으로 상기 카메라(201)와 상기 추출된 네 점의 좌표와의 사이 각도를 계산하는 단계; g) 계산된 거리 및 각도에 대응하여 3D 모델을 기하변환(Geometric Transformation) 하는 단계; 및, h) 기하변환된 3D 모델을 상기 카메라로부터 입력되는 영상에 정합하여 스마트폰의 디스플레이부에 표시하는 단계;를 포함한다.On the other hand, in the mobile augmented reality-based design drawing 3D model visualization method according to the present invention for achieving the above object, the design drawing is recognized by the smartphone 200, and the 3D model is augmented on the design drawing and displayed on the smartphone. A method for visualizing a design drawing 3D model based on mobile augmented reality, comprising: a) obtaining an image of the design drawing from a camera 201 of the smartphone; b) extracting outlines and corner points from the obtained design drawing image, calculating a rectangular area, and setting a Region Of Interest (ROI) area; c) extracting feature points of the design drawing using a speeded up robust features (SURF) algorithm for the ROI region; d) matching representative feature points of the design drawings stored in the first cache 230 with feature points of the extracted design drawings; e) if there is a matching design drawing, loading a 3D model corresponding to the design drawing; f) With respect to the design drawing image input from the camera 201, the coordinates of four points forming a square are extracted from the set ROI area, and the coordinates of the four points on the design drawing recognized with the camera 201 are extracted using this Calculating an angle between the camera 201 and the extracted coordinates of the four points based on the distance of and the recognized plane of the design drawing; g) performing geometric transformation of the 3D model in response to the calculated distance and angle; And, h) matching the geometrically transformed 3D model to the image input from the camera and displaying it on the display of the smartphone.

본 발명에 의하면 다음과 같은 효과가 있다.According to the present invention, there are the following effects.

먼저, 본 발명에 의한 3D모델 시각화 기술은 설계도면의 영역을 ROI로 먼저 추출한 다음 ROI 영역에 대해서만 특징점을 추출하여 매칭함으로써 전체 영상에 대해 특징점을 추출하는 기존의 방법에 비해 계산량이 적기 때문에 20~30%정도 인식시간이 적게 걸리게 된다. 또한 설계도면 이외의 불필요한 주위 사물들을 제외한 ROI 영역에 대해서만 매칭을 수행하므로 기존의 전체 영상을 매칭시키는 방법에 비해 인식율이 5~10%정도 높은 효과가 있다.First, the 3D model visualization technology according to the present invention first extracts the area of the design drawing as an ROI, and then extracts and matches only the feature points for the ROI area, so that the calculation amount is less than that of the conventional method of extracting the feature points for the entire image. It takes about 30% less time to recognize. In addition, since matching is performed only on the ROI area excluding unnecessary surrounding objects other than the design drawing, there is an effect that the recognition rate is 5-10% higher than that of the existing method of matching the entire image.

또한, 기존의 비마커 기반의 증강현실 시스템들이 영상 트래킹을 위해 특징점을 매 영상마다 추출하고 매칭시키는 것에 비해 본발명 의하면 스마트폰의 영상에서 설계도면에 해당하는 사각형의 ROI 영역을 추출하고 ROI 영역에서 사각형을 이루는 네 점의 좌표를 추출하고 이를 이용하여 카메라와 인식된 설계도면상 네 점의 좌표와의 거리와, 인식된 설계도면의 평면을 기준으로 카메라와 추출된 네 점의 좌표와의 사이 각도를 계산하여 3D 모델의 기하변환을 수행하게 된다. 따라서 기존의 방법에 비해 계산량이 적어 성능이 낮은 스마트폰에서도 원활하게 수행될 수 있는 효과가 있다. In addition, compared to the existing non-marker-based augmented reality systems extracting and matching feature points for each image for image tracking, according to the present invention, a rectangular ROI area corresponding to a design drawing from an image of a smartphone is extracted and The coordinates of the four points that make up a rectangle are extracted, and the distance between the camera and the coordinates of the four points on the recognized design drawing, and the angle between the camera and the coordinates of the extracted four points based on the recognized design drawing plane. It calculates and performs geometric transformation of the 3D model. Therefore, compared to the conventional method, there is an effect that the calculation can be performed smoothly even in a smartphone with low performance.

마지막으로 본 발명에 의하면, 실제 현실 세계의 설계도면에 3D 모델을 증강시켜 시각화함으로써 기존의 2차원 도면에서 제공해 줄 수 없었던 구조물의 3차원 형태와 다양한 시공 관련 내용을 스마트폰에 디스플레이하게 된다. 따라서 보다 실감 있는 구조물의 설계 형태 및 정보를 현장의 시공 관리자, 엔지니어, 사용자들에게 제공할 수 있게 된다. 또한, 스마트폰의 디스플레이부에 증강된 3D 모델을 간단히 키 조작만으로 확대, 축소 그리고, 회전시켜 구조물의 상세한 형태를 파악할 수 있으므로, 보다 효율적인 의사소통을 지원할 수 잇는 효과가 있다. Finally, according to the present invention, by augmenting and visualizing a 3D model on a design drawing in the real world, a 3D form of a structure that could not be provided in the existing 2D drawings and various construction related contents are displayed on a smartphone. Therefore, it is possible to provide more realistic structure design forms and information to construction managers, engineers, and users in the field. In addition, since the augmented 3D model on the display unit of the smartphone can be enlarged, reduced, and rotated with a simple key operation, the detailed shape of the structure can be grasped, thereby supporting more efficient communication.

도 1은 본 발명의 바람직한 실시예에 따른 모바일 증강현실 기반의 설계도면 3차원 모델 시각화 시스템의 블록 구성도,
도 2 및 도 3은 본 발명의 바람직한 실시예에 따른 모바일 증강현실 기반의 설계도면 3차원 모델 시각화 방법의 흐름도이다.
1 is a block diagram of a design drawing 3D model visualization system based on mobile augmented reality according to a preferred embodiment of the present invention;
2 and 3 are flowcharts of a method for visualizing a 3D model of a design drawing based on mobile augmented reality according to a preferred embodiment of the present invention.

본 발명의 상기와 같은 목적, 특징 및 다른 장점들은 첨부도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명함으로써 더욱 명백해질 것이다. 이하 첨부된 도면을 참조하여 본 발명의 실시예에 따른 모바일 증강현실 기반의 설계도면 3차원 모델 시각화 시스템 및 그 방법에 대해 설명하기로 한다.The above objects, features and other advantages of the present invention will become more apparent by describing in detail a preferred embodiment of the present invention with reference to the accompanying drawings. Hereinafter, a mobile augmented reality based design drawing 3D model visualization system and method according to an embodiment of the present invention will be described with reference to the accompanying drawings.

도 1을 참조하면, 본 발명의 실시예에 따른 모바일 증강현실 기반의 설계도면 3차원 모델 시각화 시스템은 설계도면 관리서버(100)와 스마트폰(200)을 포함한다. 스마트폰(200)에는 카메라(201)와 디스플레이부(202)가 구비되며, 터치 스크린 방식인 경우 입력부와 디스플레이부가 같이 구현되는 것이 일반적이다. 본 발명의 실시예에 의하면, 스마트폰(200)의 카메라(201)를 통해 2차원 설계도면을 비추면 도면 영역을 검출하여 특징점을 추출하고 스마트폰의 캐시 또는 설계도면 관리서버에 저장되어 있는 특징점들과의 매칭을 통해 설계도면을 인식하고 3차원 모델을 전송받아, 스마트폰(200)의 디스플레이부(202)에 전송받은 3차원 모델을 설계도면 위에 증강시켜 출력하도록 하게 된다. Referring to FIG. 1, a design drawing 3D model visualization system based on mobile augmented reality according to an embodiment of the present invention includes a design drawing management server 100 and a smart phone 200. The smartphone 200 includes a camera 201 and a display unit 202, and in the case of a touch screen type, an input unit and a display unit are generally implemented together. According to an embodiment of the present invention, when a two-dimensional design drawing is projected through the camera 201 of the smartphone 200, the drawing area is detected to extract the feature points, and the feature points stored in the cache or the design drawing management server of the smartphone The design drawing is recognized through matching with each other, and the 3D model is transmitted, and the 3D model transmitted to the display unit 202 of the smartphone 200 is augmented and outputted on the design drawing.

설계도면 관리서버(100)는 설계도면의 대표 특징점을 추출하여 데이터베이스 모듈에 저장하는 인식 모듈(110)과, 데이터베이스 모듈(120) 및 특징점 매칭 모듈(130)을 포함한다.The design drawing management server 100 includes a recognition module 110 that extracts representative feature points of the design drawings and stores them in a database module, a database module 120 and a feature point matching module 130.

인식 모듈(110)은 설계도면의 이미지가 입력되면 이로부터 설계도면의 대표 특징점을 추출하게 된다. 이를 위해 먼저 설계도면의 모서리를 검출하게 되는데, 모서리 검출은 추출된 마커 영역의 윤곽 정보를 얻기 위해 경계 추적(Edge Tracing) 알고리즘 기술을 사용하게 된다. 설계도면에 삽입된 마커의 모서리 점을 모두 추출한 후 윤곽 정보들을 선택하여 마커의 관심영역(ROI:Region Of Interest)를 추출하게 된다. 한편 기존의 설계도면의 내용을 훼손시키지 않고 도면을 인식하기 위해서는 도면 상의 내용을 하나의 마커로 인식하도록 하는 비마커 기반의 이미지 인식이 필요한데, 이를 위해 대응점 접합 알고리즘으로 SURF(Speeded Up Robust Features) 알고리즘을 사용하게 된다. 한편, 회전 불변의 특성을 위한 Orientation은 Harr wavelet을 사용하여 Descriptor로는 주변 영역을 분할하게 된다.When the image of the design drawing is input, the recognition module 110 extracts representative feature points of the design drawing from the image. For this, the edge of the design drawing is first detected, and edge detection uses edge tracing algorithm technology to obtain outline information of the extracted marker area. After extracting all the corner points of the marker inserted in the design drawing, contour information is selected to extract the region of interest (ROI) of the marker. Meanwhile, in order to recognize a drawing without damaging the contents of the existing design drawing, a non-marker-based image recognition is required to recognize the contents of the drawing as a single marker. Will be used. On the other hand, the orientation for the rotation-invariant characteristic uses Harr wavelet and divides the surrounding area as a descriptor.

인식 모듈(110)은 대표 특징점을 추출한 후, 도면 인식율을 높이기 위해 불필요한 특징점을 제거하고 특징점 데이터를 줄이기 위해 특징점들을 압축한다. 그 후 인식 모듈(110)은 설계도면과 대표 특징점이 압축된 데이터를 데이터베이스 모듈(120)에 저장하게 된다. 스마트폰(200)으로부터 설계도면 인식 요청이 들어오면 압축된 대표 특징점들 및 이에 대응되는 3D 모델을 전송하게 된다.After extracting the representative feature points, the recognition module 110 removes unnecessary feature points to increase the drawing recognition rate and compresses the feature points to reduce feature point data. After that, the recognition module 110 stores the data obtained by compressing the design drawings and the representative feature points in the database module 120. When a request for design drawing recognition is received from the smartphone 200, compressed representative feature points and a 3D model corresponding thereto are transmitted.

데이터베이스 모듈(120)에는 설계도면과, 설계도면의 대표 특징점이 저장되고, 또한 설계도면에 대응되는 3차원 모델이 저장된다.The database module 120 stores the design drawings and representative feature points of the design drawings, and also stores a 3D model corresponding to the design drawings.

특징점 매칭 모듈(130)은 스마트폰(200)으로부터 설계도면 인식 요청이 들어오면 스마트폰으로부터 수신된 특징점 데이터와 데이터베이스 모듈(120)에 저장된 압축된 대표 특징점을 매칭하여, 매칭되는 대표 특징점들 및 이에 대응되는 3D 모델을 스마트폰(200)으로 전송하게 된다.When a request for design drawing recognition is received from the smartphone 200, the feature point matching module 130 matches the feature point data received from the smartphone with the compressed representative feature point stored in the database module 120, and matches the representative feature points to be matched. The corresponding 3D model is transmitted to the smartphone 200.

스마트폰(200)은 카메라(201)에서 입력되는 영상으로부터 설계도면을 인식하는 설계도면 인식 모듈(210)과, 인식된 설계도면과 그에 대응되는 3D 모델을 설계도면 위에 증강시켜 디스플레이부(202)에 출력하는 3D모델 시각화 모듈(220)를 포함한다. 설계도면 인식 모듈(210)과 3D모델 시각화 모듈(220)은 애플리케이션 형태로 설치될 수 있다. The smartphone 200 includes a design drawing recognition module 210 that recognizes a design drawing from an image input from the camera 201, and a display unit 202 by augmenting the recognized design drawing and a 3D model corresponding thereto on the design drawing. And a 3D model visualization module 220 that is output to. The design drawing recognition module 210 and the 3D model visualization module 220 may be installed in an application form.

한편, 설계도면 관리서버(100)와의 빈번한 통신을 줄이기 위해, 스마트폰(200)의 캐시에는 설계도면 관리서버(100)에서 미리 전송된 설계도면 특징점과 3차원 모델이 저장되어 있어, 캐시 내의 설계도면 특징점과 특징점 매칭을 통해 3차원 모델을 설계도면 위에 바로 증강시켜 출력할 있게 된다. 캐시는 설계도면의 특징점들이 저장되는 제1 캐시(230)와, 3D 모델이 저장되는 제2 캐시(240)로 구분되는데, 설계도면의 특징점의 경우 특징점들만 저장되어 있으므로 용량이 작아서 복수 개의 대표 특징점들이 저장되나, 제2 캐시(240)의 경우 3D 모델의 용량이 크므로 바로 전에 사용되었던 하나의 3D 모델이 저장되게 된다. 따라서, 후술하는 바와 같이 설계도면 인식 시 캐시 내에 저장된 특징점들과 매칭을 시도하게 되며, 만약 매칭이 되지 않는 경우 설계도면 관리서버(100)에 특징점 데이터를 요청하여 이를 전송받아 업데이트하게 된다.On the other hand, in order to reduce frequent communication with the design drawing management server 100, the design drawing feature points and 3D models previously transmitted from the design drawing management server 100 are stored in the cache of the smartphone 200. The 3D model is directly augmented on the design drawing and output through the matching of the drawing feature points and the feature points. The cache is divided into a first cache 230 in which feature points of a design drawing are stored and a second cache 240 in which a 3D model is stored.In the case of feature points in a design drawing, only feature points are stored, so the capacity is small and thus a plurality of representative feature points Are stored, but in the case of the second cache 240, since the capacity of the 3D model is large, one 3D model used just before is stored. Accordingly, as will be described later, when the design drawing is recognized, matching is attempted with the feature points stored in the cache, and if not, the feature point data is requested from the design drawing management server 100 to be transmitted and updated.

설계도면 인식 모듈(210)은 ROI 영역 설정부(212)와, 특징점 추출부(214)와, 특징점 매칭부(216) 및 설계도면 인식부(218)를 포함한다. The design drawing recognition module 210 includes an ROI area setting unit 212, a feature point extraction unit 214, a feature point matching unit 216, and a design drawing recognition unit 218.

ROI 영역 설정부(212)는 카메라(201)로부터 획득한 설계도면 영상으로부터 모서리점을 추출하고 모서리점들 중 사각형의 영역을 계산하는데, 이 사각형의 영역을 ROI(Region Of Interest) 영역으로 설정하게 된다. The ROI area setting unit 212 extracts corner points from the design drawing image acquired from the camera 201 and calculates a rectangular area among the corner points, and sets the rectangular area as a region of interest (ROI) area. do.

특징점 추출부(214)는 상기 ROI 영역에 대해서 SURF(Speeded Up Robust Features) 알고리즘을 이용하여 설계도면의 특징점을 추출하게 된다. 즉, 특징점 추출부(214)는 ROI 영역에 대해서만 특징점을 추출하게 된다. The feature point extracting unit 214 extracts feature points from the design drawing using a speeded up robust features (SURF) algorithm for the ROI region. That is, the feature point extracting unit 214 extracts feature points only for the ROI region.

특징점 매칭부(216)는 제1 캐시(230)에 저장된 설계도면들과 상기 추출된 설계도면의 특징점을 매칭하게 된다. 여기서, 특징점 매칭부(216)는 제1 캐시(230)에 저장된 설계도면들의 대표 특징점 중 상기 추출된 설계도면의 특징점과 가장 높은 유사도를 갖는 설계도면을 선택하여 해당 설계도면을 인식하게 된다.The feature point matching unit 216 matches the design drawings stored in the first cache 230 with the feature points of the extracted design drawings. Here, the feature point matching unit 216 selects a design drawing having the highest similarity to the extracted feature point among the representative feature points of the design drawings stored in the first cache 230 and recognizes the corresponding design drawing.

한편, 특징점 매칭부(216)는 매칭되는 설계도면이 제1 캐시(230)에 없는 경우 설계도면의 특징점 데이터를 설계도면 관리서버(100)에 전송하게 된다.Meanwhile, the feature point matching unit 216 transmits feature point data of the design drawing to the design drawing management server 100 when the matching design drawing is not in the first cache 230.

설계도면 인식부(218)는 매칭된 설계도면이 있는 경우 해당 설계도면을 인식하여 이에 대응되는 3D 모델을 제2 캐시(240)로부터 로딩하게 된다. 한편, 설계도면 인식부(218)는 인식된 해당 설계도면에 대응되는 3D 모델이 상기 제2 캐시(240)에 없는 경우, 상기 설계도면 관리서버(100)에 해당 3D 모델을 요청하여 수신하게 된다.If there is a matching design drawing, the design drawing recognition unit 218 recognizes the design drawing and loads a 3D model corresponding thereto from the second cache 240. On the other hand, if the 3D model corresponding to the recognized design drawing is not in the second cache 240, the design drawing recognition unit 218 requests and receives the 3D model from the design drawing management server 100. .

이렇게 본원발명에 의하면, 설계도면의 사각형 모서리 영역을 ROI로 먼저 설정한 다음 ROI 영역에 대해서만 특징점을 추출하여 매칭함으로써, 전체 영상에 대해 특징점을 추출하는 기존의 방법에 비해 계산량이 적기 때문에 20~30%정도 인식시간이 적게 걸린다. 또한, 설계도면 이외의 불필요한 주위 사물들을 제외한 ROI 영역에 대해서만 매칭을 수행하므로 기존의 전체 영상을 매칭시키는 방법에 비해 인식율이 5~10%정도 높은 이점이 있다. In this way, according to the present invention, by first setting the rectangular corner area of the design drawing as an ROI and then extracting and matching the feature points only for the ROI area, the calculation is less than the conventional method of extracting the feature points for the entire image. It takes less recognition time about %. In addition, since matching is performed only on the ROI area excluding unnecessary surrounding objects other than the design drawing, there is an advantage in that the recognition rate is 5 to 10% higher than that of the existing method of matching the entire image.

3D모델 시각화 모듈(220)은 트래킹부(222)와, 기하변환부(224) 및 영상정합부(226)를 포함한다.The 3D model visualization module 220 includes a tracking unit 222, a geometric conversion unit 224 and an image matching unit 226.

트래킹부(222)는 카메라(201)로부터 입력되는 연속적인 설계도면 영상에 대해 상기 설정된 ROI 영역에서 사각형을 이루는 네 점의 좌표를 추출하고, 이를 이용하여 카메라(201)와 인식된 설계도면상 상기 네 점의 좌표와의 거리와, 상기 인식된 설계도면의 평면을 기준으로 카메라(201)와 상기 추출된 네 점의 좌표와의 사이 각도를 계산하게 된다.(추가한 내용)
여기서, 상기 '연속적인 설계도면 영상'이라 함은 사용자가 카메라(201)를 이용하여 2차원 설계도면을 설정된 짧은 시간만 비추는 것이 아니라 설정시간 이상으로 연속적으로 비추는 것을 의미한다. 또한, 상기 '거리'와 '각도'는 전술한 ROI 영역의 사각형을 이루는 네 점의 좌표를 기준으로 카메라와의 사이 관계를 수학식을 통해 산출됨을 밝힌다.
The tracking unit 222 extracts the coordinates of four points constituting a rectangle in the set ROI area for the continuous design drawing image input from the camera 201, and uses the The angle between the camera 201 and the extracted coordinates of the four points is calculated based on the distance to the coordinates of the point and the plane of the recognized design drawing. (Added content)
Here, the "continuous design drawing image" means that the user uses the camera 201 to continuously project the 2D design drawing not only for a set short period of time, but for a set time or longer. In addition, it is revealed that the'distance' and the'angle' are calculated through an equation for the relationship between the camera and the camera based on the coordinates of the four points constituting the square of the ROI area.

기하변환부(224)는 트래킹부(222)에 의해 계산된 거리 및 각도에 대응하여 상기 로딩된 3D 모델을 기하변환(Geometric Transformation) 하게 된다.The geometric transformation unit 224 performs geometric transformation on the loaded 3D model in response to the distance and angle calculated by the tracking unit 222.

영상정합부(226)는 상기 기하변환된 3D 모델을 카메라(201)로부터 입력되는 설계도면 영상에 정합하여 스마트폰(200)의 디스플레이부(202)에 표시하게 된다. The image matching unit 226 matches the geometrically transformed 3D model to the design drawing image input from the camera 201 and displays it on the display unit 202 of the smartphone 200.

기존의 비마커 기반의 증강현실 시스템들이 영상 트래킹을 위해 특징점을 매 영상마다 추출하고 매칭시키는 것에 비해, 본 발명은 스마트폰의 영상에서 설계도면에 해당하는 사각형의 ROI 영역을 추출한 후 RIO 영역에서 사각형을 이루는 네 점의 좌표를 추출하고, 이를 이용하여 카메라(201)와 인식된 설계도면상 상기 네 점의 좌표와의 거리와, 상기 인식된 설계도면의 평면을 기준으로 카메라(201)와 상기 추출된 네 점의 좌표와의 사이 각도를 계산하여 3D 모델의 기하변환을 수행하게 된다. 따라서 본발명은 기존의 방법에 비해 계산량이 적어 성능이 낮은 스마트폰에서도 원활하게 수행될 수 있는 이점이 있다. 안드로이드 스마트폰으로 제안된 시각화 기법을 구현하여 성능을 테스트한 결과 기존의 기법들에 비해 제안한 기법이 초당 5~6 프레임 이상의 영상을 더 출력하여 효율적임을 알 수 있다.Compared to the conventional non-marker-based augmented reality systems extracting and matching feature points for each image for image tracking, the present invention extracts the rectangular ROI area corresponding to the design drawing from the image of the smartphone and then extracts the rectangular ROI area from the RIO area. The coordinates of the four points constituting the are extracted, and the distance between the camera 201 and the coordinates of the four points on the recognized design drawing is extracted, and the camera 201 and the extracted Geometric transformation of the 3D model is performed by calculating the angle between the coordinates of the four points. Therefore, the present invention has the advantage of being able to perform smoothly even in a smartphone with low performance due to less computation than the conventional method. As a result of testing performance by implementing the proposed visualization technique with an Android smartphone, it can be seen that the proposed technique is more efficient by outputting more than 5 to 6 frames per second compared to the existing techniques.

이하 도 2 및 도 3을 참조하여, 본 발명의 실시예에 따른 모바일 증강현실 기반의 설계도면 3차원 모델 시각화 방법에 대해 설명하기로 한다. Hereinafter, a method for visualizing a 3D model of a design drawing based on mobile augmented reality according to an embodiment of the present invention will be described with reference to FIGS. 2 and 3.

먼저, 스마트폰의 카메라(201)로부터 설계도면의 영상을 획득하게 된다(S310).First, the image of the design drawing is acquired from the camera 201 of the smartphone (S310).

그리고, 획득한 설계도면의 영상에서 외곽선과 모서리점을 추출하고, 사각형의 영역을 계산하여 ROI(Region Of Interest) 영역을 설정하고(S320), 상기 ROI 영역에 대해서 SURF(Speeded Up Robust Features) 알고리즘을 이용하여 설계도면의 특징점을 추출하게 된다(S330).In addition, the outline and corner points are extracted from the obtained design drawing image, and a region of interest (ROI) is set by calculating a rectangular area (S320), and a speeded up robust features (SURF) algorithm for the ROI area. The feature points of the design drawing are extracted by using (S330).

그 후, 제1 캐시(230)에 저장된 설계도면들의 대표 특징점과 상기 추출된 설계도면의 특징점을 매칭하고(S340), 제2 캐시(240)에 대응되는 3D 모델이 있는 경우(S360), 해당 설계도면을 인식하여(S360), 대응되는 3D 모델을 로딩하게 된다(S510). Thereafter, the representative feature points of the design drawings stored in the first cache 230 are matched with the feature points of the extracted design drawings (S340), and if there is a 3D model corresponding to the second cache 240 (S360), the corresponding The design drawing is recognized (S360), and a corresponding 3D model is loaded (S510).

상기 'S350' 단계에서 매칭되는 설계도면이 없는 경우, 설계도면의 특징점 데이터를 설계도면 관리서버(100)에 전송하게 된다(S380). When there is no matching design drawing in the'S350' step, feature point data of the design drawing is transmitted to the design drawing management server 100 (S380).

설계도면 관리서버(100)는 스마트폰(200)으로부터 특징점 데이터를 수신하는 경우(S440), 상기 수신된 특징점 데이터를 데이터베이스 모듈(120)에 저장된 설계도면들의 대표 특징점과 검색하여 매칭하게 되는데(S450, S460), 매칭된 설계도면이 있는 경우, 설계도면 관리서버(100)는 해당 설계도면의 특징점과, 해당 설계도면에 대응되는 3D 모델을 스마트폰(200)에 전송하게 된다(S470). 한편, 매칭되는 설계도면이 없는 경우 설계도면 검색 실패의 메시지를 스마트폰(200)에 전송하게 된다(S480). When receiving the feature point data from the smartphone 200 (S440), the design drawing management server 100 searches and matches the received feature point data with the representative feature points of the design drawings stored in the database module 120 (S450). , S460), if there is a matching design drawing, the design drawing management server 100 transmits the feature points of the design drawing and the 3D model corresponding to the design drawing to the smartphone 200 (S470). On the other hand, if there is no matching design drawing, a message of failure to search the design drawing is transmitted to the smartphone 200 (S480).

스마트폰(200)은 설계도면 관리서버(100)로부터 설계도면 특징점과 3D 모델을 수신하는 경우(S380), 상기 'S370' 단계를 수행하게 된다. When the smartphone 200 receives the design drawing feature points and the 3D model from the design drawing management server 100 (S380), the'S370' step is performed.

다시 'S510'단계로 돌아와서 3D 모델을 로딩한 후, 카메라(201)로부터 연속적인 영상들이 계속 입력하게 되는데(S520), 입력되는 연속적인 설계도면 영상에 대해 상기 설정된 ROI 영역에서 사각형을 이루는 네 점의 좌표를 추출하고(S530), 이를 이용하여 카메라(201)와 인식된 설계도면상 상기 네 점의 좌표와의 거리와, 상기 인식된 설계도면의 평면을 기준으로 상기 카메라(201)와 상기 추출된 네 점의 좌표와의 사이 각도를 계산하게 된다(S540).After returning to step'S510' and loading the 3D model, continuous images are continuously input from the camera 201 (S520). Four points forming a rectangle in the set ROI area for the input continuous design drawing image The coordinates of (S530) are extracted, and the distance between the camera 201 and the coordinates of the four points on the recognized design drawing using this, and the camera 201 and the extracted The angle between the coordinates of the four points is calculated (S540).

그 후, 상기 계산된 거리 및 각도에 대응하여 3D 모델을 기하변환(Geometric Transformation) 하게 되고(S550), 기하변환된 3D 모델을 상기 카메라로부터 입력되는 영상에 정합하여 스마트폰의 디스플레이부(202)에 표시하게 된다(S560).Thereafter, the 3D model is geometrically transformed in response to the calculated distance and angle (S550), and the geometrically transformed 3D model is matched with the image input from the camera, and the display unit 202 of the smartphone It is displayed in (S560).

그 후, 사용자로부터 입력부를 통해 확대/축소/회전 등의 입력이 있는 경우(S570), 입력에 대한 확대/축소/회전 등의 값을 다시 설정하여 3D 모델의 기하변환을 하게 되어(550), 변경된 값으로 영상에 정합하여 디스플레이부(202)에 표시하게 된다(S580).Thereafter, when there is an input such as enlargement/reduction/rotation from the user through the input unit (S570), the geometric conversion of the 3D model is performed by resetting values such as enlargement/reduction/rotation for the input (550), The changed value is matched to the image and displayed on the display unit 202 (S580).

한편, 본 발명의 다른 실시예에 따른 모바일 증강현실 기반의 설계도면 3차원 모델 시각화 방법에 의하면, 스마트폰(200)의 캐시에 특징점들을 저장하지 않고, 특징점을 추출 후 이를 설계도면 관리서버(100)에 전송하여 설계도면 특징점과 이에 대응되는 3D 모델을 전송받아 작업할 수 있다. 즉 도 2에서 'S340' ~ '360' 단계가 생략될 수 있다. 그러나 이에 의할 경우 서버와의 통신이 빈번해지는 단점이 발생할 수 있다. On the other hand, according to the mobile augmented reality-based design drawing 3D model visualization method according to another embodiment of the present invention, the feature points are not stored in the cache of the smartphone 200, and after the feature points are extracted, the design drawing management server 100 ) To receive the design drawing feature points and the corresponding 3D model. That is, steps'S340' to '360' in FIG. 2 may be omitted. However, in this case, there may be a disadvantage that communication with the server becomes frequent.

이상에서 본 발명의 바람직한 실시예에 대하여 설명하였으나 본 발명은 상술한 특정의 실시예에 한정되지 아니한다. 즉, 본 발명이 속하는 기술분야에서 통상의 지식을 가지는 자라면 첨부된 특허청구범위의 사상 및 범주를 일탈함이 없이 본 발명에 대한 다수의 변경 및 수정이 가능하며, 그러한 모든 적절한 변경 및 수정의 균등물들도 본 발명의 범위에 속하는 것으로 간주되어야 할 것이다.Although the preferred embodiments of the present invention have been described above, the present invention is not limited to the specific embodiments described above. That is, a person of ordinary skill in the technical field to which the present invention pertains can make a number of changes and modifications to the present invention without departing from the spirit and scope of the appended claims, and all such appropriate changes and modifications It should be considered that equivalents are also within the scope of the present invention.

100. 설계도면 관리서버 110. 인식 모듈
120. 데이터베이스 모듈 130. 특징점 매칭 모듈
200. 스마트폰 201. 카메라
210. 설계도면 인식 모듈 212. ROI 영역 설정부
214. 특정점 추출부 216. 특징점 매칭부
218. 설계도면 인식부 220. 3D모델 시각화 모듈
222. 트래킹부 224. 기하변환부
226. 영상정합부 230. 제1 캐시
240. 제2 캐시
100. Design drawing management server 110. Recognition module
120. Database module 130. Feature point matching module
200. Smartphone 201. Camera
210. Design drawing recognition module 212. ROI area setting unit
214. Feature point extraction unit 216. Feature point matching unit
218. Design drawing recognition unit 220. 3D model visualization module
222. Tracking unit 224. Geometric transformation unit
226. Image matching unit 230. First cache
240. Second Cache

Claims (8)

설계도면의 대표 특징점을 추출하여 데이터베이스 모듈에 저장하는 인식 모듈(110)과, 설계도면과 설계도면의 대표 특징점 및 설계도면에 대응되는 3차원 모델이 저장되는 데이터베이스 모듈(120)을 포함하는 설계도면 관리서버(100); 및,
카메라(201)와, 디스플레이부(202) 및 복수의 설계도면들의 대표 특징점이 저장된 제1 캐시(230)를 포함하는 스마트폰(200);을 포함하며,
상기 스마트폰(200)은,
상기 카메라(201)로부터 획득한 설계도면 영상으로부터 외곽선과 모서리점을 추출하고, 사각형의 영역을 계산하여 ROI(Region Of Interest) 영역을 설정하는 ROI 영역 설정부(212)와, 상기 ROI 영역에 대해서 SURF(Speeded Up Robust Features) 알고리즘을 이용하여 설계도면의 특징점을 추출하는 특징점 추출부(214)와, 상기 제1 캐시(230)에 저장된 설계도면들의 대표 특징점과 상기 추출된 설계도면의 특징점을 매칭하는 특징점 매칭부(216), 및 매칭된 설계도면이 있는 경우 해당 설계도면을 인식하여 이에 대응되는 3D 모델을 제2 캐시(240)로부터 로딩하는 설계도면 인식부(218)를 포함하는 설계도면 인식 모듈(210); 및,
상기 카메라(201)로부터 입력되는 상기 설계도면 영상에 대해 상기 설정된 ROI 영역에서 사각형을 이루는 네 점의 좌표를 추출하고 이를 이용하여 카메라(201)와 인식된 설계도면상 상기 네 점의 좌표와의 거리와, 상기 인식된 설계도면의 평면을 기준으로 상기 카메라(201)와 상기 추출된 네 점의 좌표와의 사이 각도를 계산하는 트래킹부(222)와, 상기 트래킹부(222)에 의해 계산된 거리 및 각도에 대응하여 상기 로딩된 3D 모델을 기하변환(Geometric Transformation) 하는 기하변환부(224), 및 상기 기하변환된 3D 모델을 상기 카메라(201)로부터 입력되는 설계도면 영상에 정합하여 상기 디스플레이부(202)에 표시하는 영상정합부(226)를 포함하는 3D모델 시각화 모듈(220)을 포함하는 것을 특징으로 하는 모바일 증강현실 기반의 설계도면 3차원 모델 시각화 시스템.
A design drawing including a recognition module 110 that extracts representative feature points of design drawings and stores them in a database module, and a database module 120 that stores representative feature points of design drawings and design drawings and a 3D model corresponding to the design drawings Management server 100; And,
A camera 201, a display unit 202, and a smartphone 200 including a first cache 230 in which representative feature points of a plurality of design drawings are stored; includes,
The smartphone 200,
An ROI area setting unit 212 that extracts an outline and a corner point from the design drawing image acquired from the camera 201 and calculates a rectangular area to set a Region Of Interest (ROI) area, and for the ROI area A feature point extraction unit 214 that extracts feature points of a design drawing using a SURF (Speeded Up Robust Features) algorithm, and a representative feature point of the design drawings stored in the first cache 230 and the feature points of the extracted design drawing are matched. Design drawing recognition including a feature point matching unit 216 and a design drawing recognition unit 218 for recognizing a corresponding design drawing and loading a 3D model corresponding thereto from the second cache 240 when there is a matched design drawing Module 210; And,
With respect to the design drawing image input from the camera 201, the coordinates of four points forming a rectangle are extracted from the set ROI area, and the distance between the camera 201 and the coordinates of the four points on the recognized design drawing , A tracking unit 222 for calculating an angle between the camera 201 and the extracted coordinates of the four points based on the recognized plane of the design drawing, and a distance calculated by the tracking unit 222, and A geometric transformation unit 224 for geometric transformation of the loaded 3D model in response to an angle, and the display unit 224 by matching the geometrically transformed 3D model to a design drawing image input from the camera 201 ( Mobile augmented reality based design drawing 3D model visualization system comprising a 3D model visualization module 220 including an image matching unit 226 displayed on 202).
제 1 항에 있어서,
상기 특징점 매칭부(216)는 상기 제1 캐시(230)에 저장된 설계도면들의 대표 특징점 중 상기 추출된 설계도면의 특징점과 가장 높은 유사도를 갖는 설계도면을 선택하여 해당 설계도면을 인식하는 것을 특징으로 하는 모바일 증강현실 기반의 설계도면 3차원 모델 시각화 시스템.
The method of claim 1,
The feature point matching unit 216 selects a design drawing having the highest similarity to the extracted feature point among the representative feature points of the design drawings stored in the first cache 230 and recognizes the corresponding design drawing. Mobile augmented reality based design drawing 3D model visualization system.
제 1 항에 있어서,
상기 설계도면 인식부(218)는 인식된 해당 설계도면에 대응되는 3D 모델이 상기 제2 캐시(240)에 없는 경우, 상기 설계도면 관리서버(100)에 해당 3D 모델을 요청하여 수신하는 것을 특징으로 하는 모바일 증강현실 기반의 설계도면 3차원 모델 시각화 시스템.
The method of claim 1,
When the 3D model corresponding to the recognized design drawing is not in the second cache 240, the design drawing recognition unit 218 requests and receives the 3D model from the design drawing management server 100 Mobile augmented reality based design drawing 3D model visualization system.
제 1 항에 있어서,
상기 설계도면 인식 모듈(210)은 상기 특징점 매칭부(216)에 의해 매칭된 설계도면이 제1 캐시(230)에 없는 경우 설계도면의 특징점 데이터를 설계도면 관리서버(100)에 전송하며,
상기 설계도면 관리서버(100)는,
상기 수신된 특징점 데이터를 데이터베이스 모듈(120)에 저장된 설계도면들의 대표 특징점과 매칭하고, 매칭된 설계도면이 있는 경우 해당 설계도면의 특징점과 해당 설계도면에 대응되는 3D 모델을 상기 스마트폰(200)에 전송하는 특징점 매칭 모듈(130)을 더 포함하는 것을 특징으로 하는 모바일 증강현실 기반의 설계도면 3차원 모델 시각화 시스템.
The method of claim 1,
The design drawing recognition module 210 transmits the feature point data of the design drawing to the design drawing management server 100 when the design drawing matched by the feature point matching unit 216 is not in the first cache 230,
The design drawing management server 100,
The received feature point data is matched with representative feature points of design drawings stored in the database module 120, and if there is a matched design drawing, feature points of the design drawing and a 3D model corresponding to the design drawing are displayed on the smartphone 200. Mobile augmented reality-based design drawing 3D model visualization system, characterized in that it further comprises a feature point matching module 130 transmitted to the.
스마트폰(200)으로 설계도면을 인식하고 3차원 모델을 설계도면 위에 증강시켜 스마트폰에 나타내도록 하는 모바일 증강현실 기반의 설계도면 3차원 모델 시각화 방법에 관한 것으로써,
a) 상기 스마트폰의 카메라(201)로부터 설계도면의 영상을 획득하는 단계;
b) 상기 획득한 설계도면의 영상에서 외곽선과 모서리점을 추출하고, 사각형의 영역을 계산하여 ROI(Region Of Interest) 영역을 설정하는 단계;
c) 상기 ROI 영역에 대해서 SURF(Speeded Up Robust Features) 알고리즘을 이용하여 설계도면의 특징점을 추출하는 단계;
d) 제1 캐시(230)에 저장된 설계도면들의 대표 특징점과 상기 추출된 설계도면의 특징점을 매칭하는 단계;
e) 매칭된 설계도면이 있는 경우, 해당 설계도면에 대응되는 3D 모델을 로딩하는 단계;
f) 상기 카메라(201)로부터 입력되는 상기 설계도면 영상에 대해 상기 설정된 ROI 영역에서 사각형을 이루는 네 점의 좌표를 추출하고, 이를 이용하여 카메라(201)와 인식된 설계도면상 상기 네 점의 좌표와의 거리와, 상기 인식된 설계도면의 평면을 기준으로 상기 카메라(201)와 상기 추출된 네 점의 좌표와의 사이 각도를 계산하는 단계;
g) 계산된 거리 및 각도에 대응하여 3D 모델을 기하변환(Geometric Transformation) 하는 단계; 및,
h) 기하변환된 3D 모델을 상기 카메라로부터 입력되는 영상에 정합하여 스마트폰의 디스플레이부에 표시하는 단계;를 포함하는 것을 특징으로 하는 모바일 증강현실 기반의 설계도면 3차원 모델 시각화 방법.
It relates to a mobile augmented reality-based design drawing 3D model visualization method in which a design drawing is recognized with a smartphone 200 and a 3D model is augmented on the design drawing to be displayed on a smartphone,
a) obtaining an image of the design drawing from the camera 201 of the smartphone;
b) extracting outlines and corner points from the obtained design drawing image, calculating a rectangular area, and setting a Region Of Interest (ROI) area;
c) extracting feature points of the design drawing using a speeded up robust features (SURF) algorithm for the ROI region;
d) matching the representative feature points of the design drawings stored in the first cache 230 with the feature points of the extracted design drawings;
e) if there is a matching design drawing, loading a 3D model corresponding to the design drawing;
f) With respect to the design drawing image input from the camera 201, the coordinates of four points forming a rectangle are extracted from the set ROI area, and the coordinates of the four points on the design drawing recognized with the camera 201 are extracted using this Calculating an angle between the camera 201 and the extracted coordinates of the four points based on the distance of and the recognized plane of the design drawing;
g) performing geometric transformation of the 3D model in response to the calculated distance and angle; And,
h) matching the geometrically transformed 3D model to the image input from the camera and displaying it on the display of the smartphone; mobile augmented reality based design drawing 3D model visualization method comprising:
제 5 항에 있어서,
상기 e) 단계에서, 해당 설계도면에 대응되는 3D 모델이 제2 캐시(240)에 없는 경우, 설계도면 관리서버(100)에 해당 3D 모델을 요청하여 수신하고 이를 로딩하는 것을 특징으로 하는 모바일 증강현실 기반의 설계도면 3차원 모델 시각화 방법.
The method of claim 5,
In step e), if the 3D model corresponding to the corresponding design drawing is not in the second cache 240, the mobile augmentation method characterized in that the request for the corresponding 3D model from the design drawing management server 100 is received and loaded. Reality-based design drawing 3D model visualization method.
제 5 항에 있어서,
상기 d) 단계에서 매칭된 설계도면이 없는 경우,
i) 설계도면의 특징점 데이터를 설계도면 관리서버(100)에 전송하는 단계;
j) 설계도면 관리서버(100)가 상기 수신된 특징점 데이터를 데이터베이스 모듈(120)에 저장된 설계도면들의 대표 특징점과 매칭하는 단계;
k) 매칭된 설계도면이 있는 경우, 설계도면 관리서버(100)가 해당 설계도면의 특징점과, 해당 설계도면에 대응되는 3D 모델을 스마트폰(200)에 전송하는 단계; 및,
l) 상기 수신된 해당 설계도면의 특징점과 3D 모델을 수신하여 상기 e) 단계를 수행하는 단계;를 포함하는 것을 특징으로 하는 모바일 증강현실 기반의 설계도면 3차원 모델 시각화 방법.
The method of claim 5,
If there is no design drawing matched in step d) above,
i) transmitting feature point data of the design drawing to the design drawing management server 100;
j) matching, by the design drawing management server 100, the received feature point data with representative feature points of the design drawings stored in the database module 120;
k) if there is a matching design drawing, the design drawing management server 100 transmitting the feature points of the design drawing and the 3D model corresponding to the design drawing to the smartphone 200; And,
l) performing the step e) by receiving the received feature points and the 3D model of the corresponding design drawing; mobile augmented reality based design drawing 3D model visualization method comprising a.
스마트폰(200)으로 설계도면을 인식하고 3차원 모델을 설계도면 위에 증강시켜 스마트폰에 나타내도록 하는 모바일 증강현실 기반의 설계도면 3차원 모델 시각화 방법에 관한 것으로써,
a') 상기 스마트폰의 카메라(201)로부터 설계도면의 영상을 획득하는 단계;
b') 상기 획득한 설계도면의 영상에서 외곽선과 모서리점을 추출하고, 사각형의 영역을 계산하여 ROI(Region Of Interest) 영역을 설정하는 단계;
c') 상기 ROI 영역에 대해서 SURF(Speeded Up Robust Features) 알고리즘을 이용하여 설계도면의 특징점을 추출하는 단계;
d') 상기 추출된 설계도면의 특징점 데이터를 설계도면 관리서버(100)에 전송하는 단계;
e') 설계도면 관리서버(100)가 상기 수신된 특징점 데이터를 데이터베이스 모듈(120)에 저장된 설계도면들의 대표 특징점과 매칭하는 단계;
f') 매칭된 설계도면이 있는 경우, 설계도면 관리서버(100)가 해당 설계도면의 특징점과, 해당 설계도면에 대응되는 3D 모델을 스마트폰(200)에 전송하는 단계;
g') 상기 해당 설계도면의 특징점과 3D 모델을 수신하여, 해당 설계도면에 대응되는 3D 모델을 로딩하는 단계;
h') 상기 카메라(201)로부터 입력되는 상기 설계도면 영상에 대해 상기 설정된 ROI 영역에서 사각형을 이루는 네 점의 좌표를 추출하여, 카메라(201)와 인식된 설계도면상 상기 네 점의 좌표와의 거리와, 상기 인식된 설계도면의 평면을 기준으로 상기 카메라(201)와 상기 추출된 네 점의 좌표와의 사이 각도를 계산하는 단계;
i') 계산된 거리 및 각도에 대응하여 3D 모델을 기하변환(Geometric Transformation) 하는 단계; 및,
j') 기하변환된 3D 모델을 상기 카메라로부터 입력되는 영상에 정합하여 스마트폰의 디스플레이부에 표시하는 단계;를 포함하는 것을 특징으로 하는 모바일 증강현실 기반의 설계도면 3차원 모델 시각화 방법.
It relates to a mobile augmented reality-based design drawing 3D model visualization method in which a design drawing is recognized with a smartphone 200 and a 3D model is augmented on the design drawing to be displayed on a smartphone,
a') obtaining an image of the design drawing from the camera 201 of the smartphone;
b') extracting outlines and corner points from the obtained design drawing image, calculating a rectangular area, and setting a Region Of Interest (ROI) area;
c') extracting feature points of the design drawing for the ROI region by using a Speeded Up Robust Features (SURF) algorithm;
d') transmitting the extracted feature point data of the design drawing to the design drawing management server 100;
e') matching, by the design drawing management server 100, the received feature point data with representative feature points of the design drawings stored in the database module 120;
f') if there is a matching design drawing, the design drawing management server 100 transmitting the feature points of the design drawing and the 3D model corresponding to the design drawing to the smartphone 200;
g') receiving the feature points and 3D model of the corresponding design drawing, and loading a 3D model corresponding to the corresponding design drawing;
h') A distance between the camera 201 and the coordinates of the four points on the recognized design drawing by extracting the coordinates of four points forming a rectangle in the set ROI area for the design drawing image input from the camera 201 And, calculating an angle between the camera 201 and the extracted coordinates of the four points based on the recognized plane of the design drawing;
i') Geometric Transformation of the 3D model in response to the calculated distance and angle; And,
j') Matching the geometrically transformed 3D model to the image input from the camera and displaying it on the display of the smartphone; Mobile augmented reality based design drawing 3D model visualization method comprising:
KR1020130140108A 2013-11-18 2013-11-18 System and Method for 3-Dimensional Model Visualization of Drawing based Mobile Augmented Reality KR102178975B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130140108A KR102178975B1 (en) 2013-11-18 2013-11-18 System and Method for 3-Dimensional Model Visualization of Drawing based Mobile Augmented Reality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130140108A KR102178975B1 (en) 2013-11-18 2013-11-18 System and Method for 3-Dimensional Model Visualization of Drawing based Mobile Augmented Reality

Publications (2)

Publication Number Publication Date
KR20150058617A KR20150058617A (en) 2015-05-29
KR102178975B1 true KR102178975B1 (en) 2020-11-13

Family

ID=53392786

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130140108A KR102178975B1 (en) 2013-11-18 2013-11-18 System and Method for 3-Dimensional Model Visualization of Drawing based Mobile Augmented Reality

Country Status (1)

Country Link
KR (1) KR102178975B1 (en)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019124818A1 (en) * 2017-12-19 2019-06-27 주식회사 동우 이앤씨 Method and system for providing mixed reality service
KR102010030B1 (en) * 2018-08-17 2019-08-12 주식회사 동우 이앤씨 Method and system for providing mixed reality service
KR102027856B1 (en) * 2017-12-28 2019-11-04 (주)연우피씨엔지니어링 Virtual·augmented reality system which generate 3d-drawings·3d-shapes of frame and operate construction information based on 2d-drawing and building information modeling, and mobile application implementing thereof
KR101943796B1 (en) * 2018-07-04 2019-01-29 이상주 Providing system for apparatus with power system type, and method thereof
CN112912937A (en) * 2018-10-31 2021-06-04 米沃奇电动工具公司 Space-aware tool system
US11170538B2 (en) 2018-10-31 2021-11-09 Milwaukee Electric Tool Corporation Spatially-aware tool system
KR102094927B1 (en) * 2019-01-28 2020-03-30 주식회사 맥스트 Apparatus and method for tracking qr code

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101056418B1 (en) 2011-03-31 2011-08-11 주식회사 맥스트 Apparatus and method for tracking augmented reality contents using mobile sensors
KR101276314B1 (en) 2013-02-27 2013-06-18 주식회사 케이쓰리아이 Matching point extraction system using feature point of lsh algorithm and thereof
US20130259304A1 (en) 2008-10-14 2013-10-03 Joshua Victor Aller Target and method of detecting, identifying, and determining 3-d pose of the target

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5515853A (en) * 1995-03-28 1996-05-14 Sonometrics Corporation Three-dimensional digital ultrasound tracking system
KR101667033B1 (en) * 2010-01-04 2016-10-17 삼성전자 주식회사 Augmented reality service apparatus using location based data and method the same
KR20120052772A (en) * 2010-11-16 2012-05-24 한국전자통신연구원 Method of providing argumented reality service in argumented reality environment and system for the same
KR101201129B1 (en) * 2011-03-03 2012-11-13 연세대학교 산학협력단 3d model visualization system for construction structure using augmented reality and specially designed construction drawing printed matter for developed system
KR101334049B1 (en) * 2011-03-16 2013-11-28 성준형 Apparatus and method for providing user interface based on augmented reality
KR20130101622A (en) * 2012-02-14 2013-09-16 구대근 Apparatus and system for 3 dimensional design using augmented reality and method for design evaluation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130259304A1 (en) 2008-10-14 2013-10-03 Joshua Victor Aller Target and method of detecting, identifying, and determining 3-d pose of the target
KR101056418B1 (en) 2011-03-31 2011-08-11 주식회사 맥스트 Apparatus and method for tracking augmented reality contents using mobile sensors
KR101276314B1 (en) 2013-02-27 2013-06-18 주식회사 케이쓰리아이 Matching point extraction system using feature point of lsh algorithm and thereof

Also Published As

Publication number Publication date
KR20150058617A (en) 2015-05-29

Similar Documents

Publication Publication Date Title
KR102178975B1 (en) System and Method for 3-Dimensional Model Visualization of Drawing based Mobile Augmented Reality
WO2021093453A1 (en) Method for generating 3d expression base, voice interactive method, apparatus and medium
WO2021238595A1 (en) Image generation method and apparatus based on artificial intelligence, and device and storage medium
US20220351390A1 (en) Method for generating motion capture data, electronic device and storage medium
CN110969682B (en) Virtual image switching method and device, electronic equipment and storage medium
CN110473293A (en) Virtual objects processing method and processing device, storage medium and electronic equipment
US10084986B2 (en) System and method for video call using augmented reality
CN112598780B (en) Instance object model construction method and device, readable medium and electronic equipment
CN105096353B (en) Image processing method and device
CN103914876A (en) Method and apparatus for displaying video on 3D map
WO2023015409A1 (en) Object pose detection method and apparatus, computer device, and storage medium
CN112905014A (en) Interaction method and device in AR scene, electronic equipment and storage medium
CN113223125B (en) Face driving method, device, equipment and medium for virtual image
CN116309983B (en) Training method and generating method and device of virtual character model and electronic equipment
US20220358735A1 (en) Method for processing image, device and storage medium
US20240331245A1 (en) Video processing method, video processing apparatus, and storage medium
CN113822965A (en) Image rendering processing method, device and equipment and computer storage medium
US11741678B2 (en) Virtual object construction method, apparatus and storage medium
CN116097316A (en) Object recognition neural network for modeless central prediction
CN114998935A (en) Image processing method, image processing device, computer equipment and storage medium
CN116152416A (en) Picture rendering method and device based on augmented reality and storage medium
US20160110909A1 (en) Method and apparatus for creating texture map and method of creating database
WO2022237116A1 (en) Image processing method and apparatus
CN114998490A (en) Virtual object generation method, device, equipment and storage medium
CN115965735B (en) Texture map generation method and device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant