KR20200056688A - 증강 현실을 이용한 구조물 품질검사 시스템 및 방법 - Google Patents

증강 현실을 이용한 구조물 품질검사 시스템 및 방법 Download PDF

Info

Publication number
KR20200056688A
KR20200056688A KR1020180140656A KR20180140656A KR20200056688A KR 20200056688 A KR20200056688 A KR 20200056688A KR 1020180140656 A KR1020180140656 A KR 1020180140656A KR 20180140656 A KR20180140656 A KR 20180140656A KR 20200056688 A KR20200056688 A KR 20200056688A
Authority
KR
South Korea
Prior art keywords
unit
design drawing
design
reference line
photographing
Prior art date
Application number
KR1020180140656A
Other languages
English (en)
Inventor
이재철
강동훈
이종현
이순섭
Original Assignee
주식회사 아디아랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아디아랩 filed Critical 주식회사 아디아랩
Priority to KR1020180140656A priority Critical patent/KR20200056688A/ko
Publication of KR20200056688A publication Critical patent/KR20200056688A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/13—Architectural design, e.g. computer-aided architectural design [CAAD] related to design of buildings, bridges, landscapes, production plants or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Abstract

본 발명은 대상 구조물을 촬영하고, 촬영된 영상을 이미지 처리하여 도면 저장부에 저장된 도면과 매칭 후, 촬영 영상에 도면을 정합하여 증강현실 기반으로 디스플레이하여 설계 도면에 작성된 수치로 구조물이 설계되었는지 확인할 수 있는 증강 현실을 이용한 구조물 품질검사 시스템 및 방법에 관한 것으로, 구조물 영상을 촬영하는 촬영부와, 구조물의 설계 도면이 저장되는 도면 저장부와, 상기 도면 저장부에 기저장된 설계 도면 중 상기 촬영부에서 촬영된 구조물에 대응되는 설계 도면을 매칭하고, 매칭된 설계 도면을 수신받는 관리 서버와, 상기 촬영부에서 촬영된 구조물 영상과 상기 관리 서버에서 매칭된 설계 도면을 디스플레이부에 중첩 표시하는 제어부와, 상기 디스플레이부에 표시된 구조물의 기준점 및 기준선을 설정하고, 상기 디스플레이부에 표시된 설계 도면의 기준점 및 기준선을 설정하는 기준 설정부와, 상기 기준 설정부에서 설정된 구조물의 기준점 좌표와 기준선의 크기 및 기준선 간에 이루는 각도를 포함하는 구조물 데이터를 측정하는 구조물 측정부와, 상기 기준 설정부에서 설정된 설계 도면의 기준점 좌표와, 기준선의 크기 및 기준선 간에 이루는 각도를 포함하는 설계 도면 데이터를 측정하는 설계 도면 측정부 및 상기 구조물 측정부와 설계 도면 측정부에서 측정된 구조물 데이터와 설계 도면 데이터를 비교하는 오차 판별부를 포함하는 것을 특징으로 한다.

Description

증강 현실을 이용한 구조물 품질검사 시스템 및 방법{System and method for structural quality inspection using augmented reality}
본 발명은 증강 현실을 이용한 구조물 품질검사 시스템 및 방법에 관한 것으로, 더욱 상세하게는 대상 구조물의 촬영 및 정밀 계측 과정과 촬영/계측된 형상을 이미지 처리하여 도면 저장부에 저장된 3D도면과 매칭 후, 촬영/계측된 형상에 3D도면을 정합하여 증강현실 기반으로 디스플레이하여 설계 도면에 작성된 수치로 구조물이 제작되었는지 확인할 수 있는 증강 현실을 이용한 구조물 품질검사 시스템 및 방법에 관한 것이다.
일반적으로, 증강현실(增强現實: Augmented Reality)이란 사용자가 눈으로 보는 현실세계와 부가정보를 갖는 가상세계를 합쳐 새로운 환경을 생성한다. 현실환경과 가상환경을 융합하는 증강현실 시스템은 1990년대 후반부터 미국·일본을 중심으로 연구·개발이 진행되고 있다. 현실세계를 가상세계로 보완해주는 개념인 증강현실은 컴퓨터 그래픽으로 만들어진 가상환경을 사용하지만 주역은 현실환경이다. 컴퓨터 그래픽은 현실환경에 필요한 정보를 추가 제공하는 역할을 한다.
한편, 선박 및 해양 구조물을 설계하는 설계자와 생산하는 엔지니어는 낯선 생산 환경과 새로운 해양 구조물 그리고 복잡한 공법을 접하게 된다. 현장의 엔지니어들은 생산할 해양 구조물을 생산 단계 이전에 미리 파악하기 위하여 CAD(Computer-aided Design)로 작성된 도면을 사전에 검토하여 생산할 해양 구조물의 형태를 파악한다.
또한, 설계자 및 엔지니어는 해양 구조물을 생산하면서 평면 화면 내에서 해양 구조물의 설계도면을 확인한다.
그러나 해양 구조물의 형태가 복잡하거나 생산 과정의 난이도가 높은 경우, 생산 경험이 없는 엔지니어는 해양 구조물의 파악과 건조계획에 어려움을 겪을 수 있으며, 이는 해양 구조물의 건조 중 발생할 수 있는 생산 오차나 실수의 범위를 크게 만들 수 있다.
따라서, 해양 구조물의 실제 모습을 보면서 설계를 보완할 수 있는 기술 개발이 요구됨에 따라, 종래에 제안된 한국공개특허 제10-2017-0021689호 "증강현실을 이용한 해양 구조물 설계 생산 지원 시스템 및 방법"에서는 표시부와, 영상을 촬영하는 촬영부와, 촬영된 영상에 매칭되는 설계도면을 획득하고, 획득된 설계도면을 영상에 오버레이하여 표시부의 화면에 디스플레이하는 제어부를 포함하는 것을 특징으로 한다.
한편, 종래의 해양 구조물 설계 생산 지원 시스템에서는 단순히 표시부에 설계 도면을 오버레이하여 표시하므로, 작업자는 실제 구조물과 설계 도면을 동시에 보고 동일한 구조물인지는 파악할 수 있으나, 실제 구조물이 설계 도면의 수치대로 설계 되었는지는 확인할 수 없는 문제점이 있었다.
한국공개특허 제10-2017-0021689호 ‘증강현실을 이용한 해양 구조물 설계 생산 지원 시스템 및 방법’(공개일자 : 2017.02.28.)
본 발명은 상기한 문제점을 해결하기 위하여 안출된 것으로, 증강현실을 구현하는 3차원 디스플레이 장치를 이용하여 설계 및 제작 중인 구조물에 대응되는 설계 도면을 증강 현실 기술로 표시하며, 실제 구조물과 설계 도면을 비교하여 구조물의 생산 오차를 파악할 수 있는 증강 현실을 이용한 구조물 품질검사 시스템 및 방법을 제공하는 것을 주요 목적으로 한다.
본 발명에 따른 증강 현실을 이용한 구조물 품질검사 시스템은 구조물 영상을 촬영하는 촬영부와, 구조물의 설계 도면이 저장되는 도면 저장부와, 상기 도면 저장부에 기저장된 설계 도면 중 상기 촬영부에서 촬영된 구조물에 대응되는 설계 도면을 매칭하고, 매칭된 설계 도면을 수신받는 관리 서버와, 상기 촬영부에서 촬영된 구조물 영상과 상기 관리 서버에서 매칭된 설계 도면을 디스플레이부에 중첩 표시하는 제어부와, 상기 디스플레이부에 표시된 구조물의 기준점 및 기준선을 설정하고, 상기 디스플레이부에 표시된 설계 도면의 기준점 및 기준선을 설정하는 기준 설정부와, 상기 기준 설정부에서 설정된 구조물의 기준점 좌표와 기준선의 크기 및 기준선 간에 이루는 각도를 포함하는 구조물 데이터를 측정하는 구조물 측정부와, 상기 기준 설정부에서 설정된 설계 도면의 기준점 좌표와, 기준선의 크기 및 기준선 간에 이루는 각도를 포함하는 설계 도면 데이터를 측정하는 설계 도면 측정부 및 상기 구조물 측정부와 설계 도면 측정부에서 측정된 구조물 데이터와 설계 도면 데이터를 비교하는 오차 판별부를 포함하는 것을 특징으로 한다.
또한, 상기 관리 서버는 상기 도면 저장부에 저장된 설계 도면이 2차원 도면인 경우, 3차원 도면으로 변환시키는 변환 모듈을 포함하는 것을 특징으로 한다.
또한, 상기 증강 현실을 이용한 구조물 품질 검사 시스템은 상기 디스플레이부에 표시된 구조물의 기준선 중 대표 기준선을 선정하고, 선정된 대표 기준선의 방향 정보를 측정하는 구조물 방향 측정부와, 상기 디스플레이부에 표시된 설계 도면의 기준선 중 대표 기준선을 선정하고, 선정된 대표 기준선의 방향 정보를 측정하는 설계 도면 방향 측정부를 포함하고, 상기 제어부는 상기 구조물 방향 측정부와 설계 도면 방향 측정부에서 각각 측정된 구조물 대표 기준선 방향과 설계 도면 대표 기준선 방향이 일치되는 방향으로 설계 도면을 회전시켜 디스플레이부에 표시하는 것을 특징으로 한다.
또한, 상기 오차 판별부에서 구조물 데이터와 설계 도면 데이터 간에 차이가 발생하는 경우, 차이가 있는 설계 도면의 기준점 또는 기준선을 상기 디스플레이부에 표시하는 오차 검출부를 더 포함하는 것을 특징으로 한다.
또한, 상기 관리 서버는 상기 도면 저장부에 저장된 구조물의 설계 도면에 대한 종류, ID 및 식별번호 중 적어도 하나 이상의 기본정보가 저장된 마커를 인식하는 마커 인식 모듈과, 상기 촬영부에서 촬영한 구조물 영상에서 구조물의 종류, ID 및 식별번호 중 적어도 하나 이상을 포함하는 기본 정보가 저장된 마커를 인식하는 기본정보 입력 모듈과, 상기 마커 인식 모듈과 기본정보 입력 모듈에서 인식한 기본정보가 일치할 경우, 상기 도면 저장부에서 설계 도면을 수신받는 도면 수신 모듈을 더 포함하는 것을 특징으로 한다.
그리고 본 발명에 따른 증강 현실을 이용한 구조물 품질검사 방법은 촬영부를 통해 구조물의 영상을 촬영하는 영상 촬영 단계와, 상기 영상 촬영 단계에서 촬영된 구조물에 대응되는 설계 도면을 도면 저장부로부터 수신받는 설계 도면 수신 단계와, 상기 설계 도면 수신 단계에서 수신된 2차원 설계 도면을 3차원 설계 도면으로 변환시키는 영상 변환 단계와, 상기 촬영부를 통해 촬영된 구조물 영상에 도면 저장부로부터 수신된 설계 도면을 디스플레이부에 투영기반 증강현실(Projection-Based Augmented Reality)을 이용하여 중첩되도록 표시하는 중첩 표시 단계와, 상기 중첩 표시 단계에서 표시되는 구조물 영상에서 구조물의 기준점 및 기준선을 설정하고, 상기 중첩 표시 단계에서 표시되는 설계 도면에서의 기준점 및 기준선을 설정하는 기준 설정 단계 및 상기 기준 설정 단계에서 설정된 구조물의 기준점 및 기준선과, 설계 도면에서의 기준점 및 기준선의 좌표, 크기 및 기준선 간에 이루는 각도를 비교하는 비교 단계를 포함하는 것을 특징으로 한다.
또한, 상기 비교 단계에서 구조물과 설계 도면이 기설정된 허용 오차 범위 내에 포함되지 않는다고 판단할 경우, 상기 디스플레이부에 표시된 설계 도면의 불일치되는 기준점 및 기준선을 표시하는 불일치 표시 단계를 더 포함하는 것을 특징으로 한다.
또한, 상기 중첩 표시 단계는 상기 디스플레이부에 표시되는 설계 도면의 좌표, 크기 또는 회전 각도를 변경하는 설계 도면 변환 표시 단계를 더 포함하는 것을 특징으로 한다.
또한, 상기 중첩 표시 단계는 상기 촬영부를 통해 촬영된 구조물 영상에 중첩 표시되는 설계 도면의 투명도를 조절하는 투명도 조절 단계를 더 포함하는 것을 특징으로 한다.
본 발명에 따른 증강 현실을 이용한 구조물 품질 검사 시스템 및 방법은 3차원 구조물 영상에 대응되는 설계 도면을 중첩 표시하되, 구조물의 각각의 기준선과 설계 도면의 기준선 간의 좌표, 크기 및 각도를 비교하여 설계 도면과 동일하게 구조물이 설계되었는지 여부를 정확하게 파악할 수 있는 효과를 제공한다.
또한, 도면 저장부에 저장된 구조물의 설계 도면에 대한 종류, ID 및 식별 번호 중 적어도 하나 이상의 기본 정보와, 실제 구조물의 종류, ID 및 식별번호 중 적어도 하나 이상의 기본 정보를 비교하여 촬영부에서 촬영된 구조물에 대응되는 설계 도면을 용이하게 수신받아 구조물과 대응되는 설계 도면을 정확하게 수신할 수 있는 효과를 제공한다.
또한, 디스플레이부에 표시된 구조물과 설계 도면 간의 불일치되는 기준점 및 기준선을 표시하여 작업자가 구조물의 설계 오차를 용이하게 파악할 수 있는 효과를 제공한다.
도 1은 본 발명의 바람직한 일실시예에 따른 증강 현실을 이용한 구조물 품질검사 시스템을 나타낸 개념도이다.
도 2는 본 발명의 바람직한 일실시예에 따른 증강 현실을 이용한 구조물 품질검사 시스템을 나타낸 구성도이다.
도 3은 본 발명의 바람직한 일실시예에 따른 디스플레이부에 구조물과 설계 도면이 중첩 표시된 상태를 나타낸 예시도이다.
도 4는 본 발명의 바람직한 일실시예에 따른 증강 현실을 이용한 구조물 품질검사 방법을 나타낸 순서도이다.
도 5는 본 발명의 바람직한 일실시예에 따른 레이저 조사부로 구조물에 레이저를 조사한 상태를 예로 나타낸 사진이다.
이하, 본 발명의 기술적 사상을 첨부된 도면을 사용하여 더욱 구체적으로 설명한다.
첨부된 도면은 본 발명의 기술적 사상을 더욱 구체적으로 설명하기 위하여 도시한 일예에 불과하므로 본 발명의 기술적 사상이 첨부된 도면의 형태에 한정되는 것은 아니다.
다만, 본 발명을 설명함에 있어, 이미 공지된 기능 혹은 구성에 대한 설명은 본 발명의 요지를 명료하게 하기 위하여 생략하기로 한다.
도 1은 본 발명의 바람직한 일실시예에 따른 증강 현실을 이용한 구조물 품질검사 시스템을 나타낸 개념도이고, 도 2는 본 발명의 바람직한 일실시예에 따른 증강 현실을 이용한 구조물 품질검사 시스템을 나타낸 구성도이다.
도 1 및 도 2에 도시된 바와 같이, 본 발명에 따른 증강 현실을 이용한 구조물 품질검사 시스템(10)은 촬영부(100), 도면 저장부(200), 관리 서버(300), 제어부(400), 기준 설정부(500), 구조물 측정부(600), 설계 도면 측정부(700) 및 오차 판별부(750)를 포함한다.
먼저, 상기 촬영부(100)는 구조물을 촬영하는 구성으로, 증강현실 구현이 가능한 장치로, 예컨대, 스마트폰과 같은 사용자가 들고 다닐 수 있는 디바이스 또는 HMD(Head Mounted Display), EMD(Eye Mounted Display), eyeglass, eyepiece, eye wear, HWD(Head Worn Display) 등 사용자에게 착용되어 디스플레이를 제공할 수 있는 다양한 디바이스(11)에 내장될 수 있으며, 본 발명에서 사용된 용어에 한정되지 않는다.
그리고 상기 디바이스(11)는 촬영부(100)뿐만 아니라, 디스플레이부(150), 제어부(400), 기준 설정부(500), 구조물 측정부(600), 설계 도면 측정부(700), 오차 판별부(750) 및 후술할 구조물 방향 측정부(900), 설계 도면 방향 측정부(950) 및 오차 검출부(980)가 내장될 수 있으며, 상술한 각각의 구성은 제어부(400)를 통해 제어된다.
상기 촬영부(100)가 구비된 디바이스는 출력부(미도시)를 포함할 수 있으며, 상기 출력부는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 음향 출력부, 햅팁 모듈 중 적어도 하나를 포함할 수 있다.
또한, 상기 촬영부(100)와 관리 서버(300)는 인터페이스부를 통해 연결되며, 인터페이스부는, 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port) 중 적어도 하나를 포함할 수 있다.
상기 촬영부(100)를 포함하는 디바이스는 상기 인터페이스부에 외구 기기가 연결되는 것에 대응하여, 연결된 외부 기기와 관련된 적절한 제어를 수행할 수 있다.
그리고 상기 도면 저장부(200)는 구조물의 설계 도면이 저장되는 DB로, 관리 서버(300)와 무선으로 연결된다.
상기 관리 서버(300)는 도면 저장부(200)에 기저장된 설계 도면 중 촬영부(100)에서 촬영된 구조물에 대응되는 설계 도면을 매칭하고, 매칭된 설계 도면을 도면 저장부(200)로부터 수신받게 된다.
이때, 상기 관리 서버(300)는 변환 모듈(310), 마커 인식 모듈(320), 기본정보 입력 모듈(340) 및 도면 수신 모듈(360)을 포함한다.
먼저, 상기 변환 모듈(310)은 도면 저장부(200)에 저장된 설계 도면이 2차원 도면인 경우, 3차원 도면으로 변환시키게 된다.
이는, 후술할 디스플레이부(150)에 실제 구조물을 촬영한 영상에 설계 도면을 3차원으로 표시하기 위한 것으로, 도면 저장부(200)에 설계 도면이 2차원으로 저장되어 있는 경우, 3차원 도면 저장부(미도시)를 마련하여 변환 모듈(310)에서 변환된 3차원 설계 도면이 저장되는 것이 바람직하다.
또한, 상기 디스플레이부(150)에는 현재 표시된 화면을 저장할 수 있는 캡쳐 기능을 수행할 수 있으며, 별도의 입력 공간을 형성하여 작업자로부터 입력된 글 또는 그림과 같은 메시지를 표시할 수 있다.
그리고 상기 마커 인식 모듈(320)은 상기 도면 저장부(200)에 저장된 구조물의 설계 도면에 대한 종류, ID 및 식별번호 중 적어도 하나 이상의 기본정보가 저장된 마커를 인식하는 구성이다.
설계 도면상에는 마커가 표시될 수 있으며, 상기 마커는 바코드, QR코드와 같은 정보를 저장할 수 있는 다양한 마커로 표시되며, 마커 인식 모듈(320)은 이를 인식하는 카메라 등의 영상 장치 및 바코드 같은 형태를 인식하는 레이저 스캐너 등 다양한 형태로 형성될 수 있다.
다음으로, 상기 기본정보 입력 모듈(340)은 촬영부(100)에서 촬영한 구조물 영상에서 구조물의 종류, ID 및 식별번호 중 적어도 하나 이상을 포함하는 기본 정보가 저장된 마커를 인식하게 된다.
상기 기본 정보 입력 모듈(340)은 상술한 마커 인식 모듈(320)과 동일하게 형성되는 것이 바람직하며, 작업자가 직접 구조물의 종류, ID 또는 식별번호를 입력할 수 있는 키보드 또는 터치패드를 포함할 수 있다.
상기 도면 수신 모듈(360)은 마커 인식 모듈(320)과 기본정보 입력 모듈(340)에서 인식한 설계 도면의 기본정보와 구조물의 기본정보가 일치할 경우, 도면 저장부(200)에서 일치하는 설계 도면을 수신받게 된다.
여기서, 도면 수신부(360)는 도면 저장부(200)에 저장된 구조물의 설계 도면에 대한 종류, ID 및 식별 번호 중 적어도 하나 이상의 기본 정보와, 실제 구조물의 종류, ID 및 식별번호 중 적어도 하나 이상의 기본 정보를 비교하여 촬영부(100)에서 촬영된 구조물에 대응되는 설계 도면을 용이하게 수신받아 구조물과 대응되는 설계 도면을 도면 저장부(200)로부터 정확하게 수신할 수 있게 된다.
다음으로, 상기 제어부(400)는 촬영부(100)에서 촬영된 구조물 영상과 관리 서버(300)에서 매칭된 설계 도면을 디스플레이부(150)에 중첩 표시하게 된다.
또한, 상기 제어부(400)는 증강 현실을 이용한 구조물 품질 검사 시스템(10)에 구비된 모든 구성요소를 제어하며, 촬영부(100), 도면 저장부(200), 관리 서버(300), 기준 설정부(500), 구조물 측정부(600), 설계 도면 측정부(700) 및 오차 판별부(750)와 유기적으로 연결된다.
여기서, 상기 제어부(400)는 촬영부(100)에서 촬영한 구조물 영상과, 관리서버에서 매칭된 설계 도면을 디스플레이부(150)에 표시하여 작업자가 디스플레이부(150)를 통해 실제 구조물에 증강현실 기술로 표시된 설계 도면을 동시에 확인할 수 있게 된다.
이때, 상기 기준 설정부(500)는 디스플레이부(150)에 표시된 구조물의 기준점 및 기준선을 설정하고, 디스플레이부(150)에 표시된 설계 도면의 기준점 및 기준선을 설정하게 된다.
여기서, 구조물의 기준점 및 기준선은 도 3에 도시된 바와 같이, 실제 구조물을 이루는 외관 또는 내관을 이루는 꼭지점과 모서리일 수 있으며, 설계 도면의 기준점 및 기준선은 구조물에 대응되는 외관 또는 내관을 이루는 꼭지점과 모서리인 것이 바람직하다.
그리고 구조물 측정부(600)는 상기 기준 설정부(500)에서 설정된 구조물의 기준점 좌표와 기준선의 크기(또는 길이) 및 기준선 간에 이루는 각도를 포함하는 구조물 데이터를 측정하고, 설계 도면 측정부(700)는 기준 설정부(500)에서 설정된 설계 도면의 기준점 좌표와, 기준선의 크기(또는 길이) 및 기준선 간에 이루는 각도를 포함하는 설계 도면 데이터를 측정한다.
상기 구조물 측정부(600)와 설계 도면 측정부(700)에서 기준선의 크기를 측정하는 방법은 스마트 계측기 등과 같은 통상적으로 크기를 측정할 수 있는 수단을 통해 구조물의 크기를 측정할 수 있으므로 자세한 설명은 생략한다.
여기서, 구조물과 설계 도면의 기준점 좌표는 3차원 좌표 즉, x축, y축, z축의 좌표를 포함하며, 도 3에 도시된 바와 같이, 상기 제어부(400)는 구조물과 설계 도면에 각각 대응되는 기준점과 기준선을 일치시켜 디스플레이부(150)에 구조물과 설계 도면을 중첩 표시시키게 된다.
그리고 상기 오차 판별부(750)는 구조물 측정부(600)와 설계 도면 측정부(700)에서 측정된 구조물 데이터와 설계 도면 데이터를 비교하여 실제 구조물이 설계 도면대로 설계가 되었는지 여부를 확인할 수 있게 되며, 구조물과 설계 도면 간의 오차를 파악할 수 있게 된다.
한편, 구조물과 설계 도면 간의 오차를 보정하기 위해 상기 디바이스(11)에는 레이저 조사부(800)와 형상 측정부(850)가 더 설치될 수 있다.
상기 레이저 조사부(800)는 도 5에 도시된 바와 같이, 실제 구조물과 설계 도면 간의 오차를 파악하기 위해, 상기 촬영부(100)가 촬영하는 촬영 영역을 표시하도록 실제 구조물에 레이저(Ra)를 조사하는 수단이다.
이때, 레이저 조사부(800)에서 조사된 레이저(Ra)는 촬영부(100)가 촬영하는 영역과 동일한 크기인 직사각형 형태로 조사되는 것이 바람직하며, 통상의 줌인 기능이 탑재된 촬영부(100)에서 촬영 영역을 확대 및 축소할 경우, 조사된 레이저(Ra)가 표시되는 영역도 넓어지거나 좁혀질 수 있게 된다.
그리고 형상 측정부(850)는 상기 레이저 조사부(800)에서 조사된 촬영 영역에 포함된 구조물의 형상 및 크기를 측정하는 수단으로, 상기 구조물의 외형의 형상, 즉, 직선, 다각형, 원을 포함하는 외형 형상을 측정하고, 구조물의 외형의 크기를 측정하게 된다.
상기 형상 측정부(850)는 통상적으로 사용되는 스마트 룰러(Smart Ruler)와 같은 구성으로 이루어질 수 있으며, 구조물이 이루는 외형의 크기를 측정할 수 있게 된다.
즉, 상기 기준 설정부(500)와 구조물 측정부(600)를 이용해서 측정된 구조물의 기준선의 크기(또는 길이) 및 기준선 간에 이루는 각도를 포함하는 구조물 데이터와 형상 측정부(850)에서 측정된 구조물 외형의 크기를 비교하여 구조물의 크기를 더욱 정확하게 측정할 수 있게 된다.
이때, 디스플레이부(150)에 표시된 구조물의 기준선 중 대표 기준선(l1)을 선정하고, 선정된 대표 기준선(l1)의 방향 정보를 측정하는 구조물 방향 측정부(900)와, 디스플레이부(150)에 표시된 설계 도면의 기준선 중 대표 기준선(l1)을 선정하고, 선정된 설계 도면의 대표 기준선 방향 정보를 측정하는 설계 도면 방향 측정부(950)를 더 포함한다.
그리고 상기 구조물 방향 측정부(900)는 대표 기준선(l1)의 일측에 위치하는 기준점을 대표 기준점(p1)으로 선정하고, 상기 설계 도면 방향 측정부(950)는 설계 도면의 대표 기준선(l1)의 일측에 위치하는 기준점을 대표 기준점(p1)으로 선정하게 된다.
그리고 상기 제어부(400)는 구조물 방향 측정부(900)와 설계 도면 방향 측정부(950)에서 각각 측정된 구조물 대표 기준선 방향과 설계 도면 대표 기준선 방향이 일치되는 방향으로 설계 도면을 회전시키고, 구조물의 대표 기준점(p1)과 설계 도면의 대표 기준점(p1)이 일치되도록 디스플레이부(150)에 표시하게 된다.
이는, 디스플레이부(150)에 표시된 구조물의 방향과 설계 도면의 방향을 일치시켜 표시하게 되므로, 작업자로부터 설계 도면과 구조물을 육안으로 용이하게 차이점을 파악할 수 있도록 한다.
또한, 상기 오차 판별부(750)에서 구조물 데이터와 설계 도면 데이터 간에 오차가 있다고 판단하는 경우, 차이가 있는 설계 도면의 기준점 또는 기준선을 상기 디스플레이부(150) 표시하는 오차 검출부(980)가 마련된다.
여기서, 오차 검출부(980)는 차이가 있는 설계 도면의 기준점 또는 기준선은 육안으로 파악하기 용이한 색으로 변경하여 표시할 수 있으며, 이 경우 빨간색으로 표시하는 것이 바람직하다.
또한, 색뿐만 아니라 크기로 디스플레이부(150)에 표시할 수 있으며, 디스플레이부(150)에 표시된 설계 도면 중, 실제 구조물과 차이가 있는 기준점 또는 기준선을 확대 표시하는 방법으로 작업자가 용이하게 파악할 수 있도록 할 수도 있다.
상기 오차 검출부(980)는 오차가 있는 설계 도면의 기준점 또는 기준선에 대하여 오차 영역(EA)를 표시하게 되며, 오차 영역(EA)은 범위로 표시할 수 있으며, 기준점(p2) 또는 기준선(l2) 각각에 오차 영역을 표시할 수 있게 된다.
따라서, 본 발명의 증강 현실을 이용한 구조물 품질 검사 시스템(10)은 디스플레이부(150)에 구조물과 상기 구조물에 대응되는 설계 도면을 표시시키고, 도 3에 도시된 바와 같이, 구조물과 3차원으로 변형된 설계 도면을 기준점과 기준선을 기준으로 동일하게 중첩 표시하되, 구조물과 설계 도면 간에 오차가 발생하는 기준점 또는 기준선에 오차 영역(EA)을 표시하여 작업자가 구조물을 촬영한 영상을 통해 구조물이 설계 도면대로 설계되었는지 육안으로 용이하게 파악할 수 있게 된다.
다음으로, 도 4에 도시된 바와 같이, 증강 현실을 이용한 구조물 품질 검사 방법은 영상 촬영 단계(S100), 설계 도면 수신 단계(S200), 영상 변환 단계(S300), 중첩 표시 단계(S400), 기준 설정 단계(S500), 비교 단계(S600) 및 불일치 표시 단계(S700)를 포함한다.
먼저, 구조물이 설계 도면에 맞게 설계되었는지 파악하고자 하는 구조물을 촬영부(100)를 통해 구조물의 영상을 촬영하게 된다(S100).
관리 서버(300)는 상기 촬영부(100)에서 촬영된 구조물에 대응되는 설계 도면을 도면 저장부(200)로부터 수신받게 된다(S200). 그리고 상기 관리 서버(300)에서 수신된 설계 도면이 2차원 설계 도면일 경우, 3차원 설계 도면으로 변환시키게 된다(S300).
촬영부(100)를 통해 촬영된 구조물 영상과, 도면 저장부(200)에서 수신된 설계 도면을 디스플레이부(150)에 투영 기반 증강현실을 이용하여 중첩되도록 표시하여 작업자는 디스플레이부(150)를 통해 실제 구조물과 설계 도면을 동시에 육안으로 확인할 수 있게 된다(S400).
그리고 디스플레이부(150)에 표시된 설계 도면의 위치를 이동시키도록 기준점의 좌표를 변경하고, 설계 도면의 크기 변경 및 설계 도면을 회전시키도록 회전 각도를 변경할 수 있게 된다(S410).
또한, 디스플레이부(150)에 표시되는 설계 도면의 투명도를 조절할 수 있게 된다(S420).
상기 디스플레이부(150)에 표시된 구조물에 중첩 표시되기 때문에 설계 도면의 투명도가 낮은 경우, 설계 도면에 의해 구조물이 가려지게 되고, 설계 도면의 투명도가 높은 경우, 설계 도면을 인식하기 어렵기 때문에 작업자의 환경에 따라 설계 도면의 투명도를 조절하여 구조물과 설계 도면을 인식할 수 있는 투명도로 조절할 수 있게 된다.
이는, 디스플레이부(150)에 구조물과 설계 도면을 중첩 표시하는 것이 기본이지만, 설계 도면을 구조물에서 일정 거리 이격되어 디스플레이부(150)에 표시할 수도 있다. 객체를 디스플레이부(150)에서 일정 위치로 이동, 크기 변경 및 회전은 일반적인 것으로 수행하는 알고리즘에 대해서는 생략하도록 한다.
이때, 상기 디스플레이부(150)에 표시된 구조물과 설계 도면은 동일한 구조물에 대한 것으로, 작업자는 디스플레이부(150)를 통해 동시에 파악할 수는 있으나, 설계 도면대로 구조물이 설계되었는지는 파악하기 어렵다.
상술한 바와 같이, 구조물이 설계 도면대로 설계되었는지 파악하기 위해, 기준 설정부(500)에서는 디스플레이부(150)에 표시되는 구조물의 기준점(p2) 및 기준선(l2)를 설정하고, 디스플레이부(150)에 표시되는 설계 도면의 기준점(p2) 및 기준선(l2)를 설정하게 된다(S500).
또한, 기준 설정부(500)에서 설정된 구조물의 기준점 및 기준선에 대해, 구조물 측정부(600)에서 구조물의 기준점 각각의 좌표와, 기준선의 크기(또는 길이) 및 기준선 간 이루는 각도를 포함하는 구조물 데이터를 측정하고, 설계 도면 측정부(700)에서는 기준 설정부(500)에서 설정된 설계 도면의 기준점 및 기준선에 대해, 설계 도면의 기준점 각각의 좌표와, 기준선의 크기(또는 길이) 및 기준선 간 이루는 각도를 포함하는 설계 도면 데이터를 측정한다.
그리고 오차 판별부(750)에서는 구조물 측정부(600)와 설계 도면 측정부(700)가 각각 측정한 구조물 데이터와 설계 도면 데이터를 비교하여 구조물이 설계 도면대로 설계되었는지 확인하게 된다(S600).
또한, 오차 판별부(750)에서 비교된 구조물과 설계 도면이 기설정된 허용 오차 범위 내에 포함되지 않는다고 판단할 경우, 오차가 발생하는 설계 도면의 불일치되는 기준점 및 기준선을 디스플레이부(150)에 표시하게 된다(S700).
여기서, 허용 오차 범위는 기준점의 개수, 기준점의 좌표, 기준선의 개수, 기준선의 크기 및 기준선 간 이루는 각도 중 적어도 하나 이상을 포함하며, 허용 오차 범위는 95% 내지 100%가 바람직하다.
일 예로, 설계 도면의 기준선이 100cm일 경우, 구조물의 기준선은 95cm 내지 105cm 일 경우 허용 가능하다고 판단하고, 구조물과 설계 도면의 기준선이 일치한다고 판단할 수 있다.
한편, 구조물이 설계 도면과 일치도가 매우 높도록 설계되어야 하는 구조물일 경우, 허용 오차 범위를 높여서(예로 99% 내지 100%) 구조물과 설계 도면이 거의 동일한지 파악할 수 있게 된다.
이때, 디스플레이부(150)에 표시된 구조물과 설계 도면이 일치하지 않는다고 판단할 경우, 일치하지 않는 설계 도면의 기준점 또는 기준선의 색을 변경하거나, 확대 등을 통하여 작업자가 구조물 설계 오차를 파악할 수 있게 된다.
본 발명은 상기한 실시예에 한정되지 아니하며, 적용범위가 다양함은 물론이고, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 다양한 변형 실시가 가능한 것은 물론이다.
10 : 증강 현실을 이용한 구조물 품질 검사 시스템
11 : 디바이스
p1 : 대표 기준점 p2 : 기준점
l1 : 대표 기준선 l2 : 기준선
100 : 촬영부 150 : 디스플레이부
200 : 도면 저장부 300 : 관리 서버
310 : 변환 모듈 320 : 마커 인식 모듈
340 : 기본정보 입력 모듈 360 : 도면 수신 모듈
400 : 제어부 500 : 기준 설정부
600 : 구조물 측정부 700 : 설계 도면 측정부
750 : 오차 판별부 800 : 레이저 조사부
850 : 형상 측정부 900 : 구조물 방향 측정부
950 : 설계 도면 방향 측정부 980 : 오차 검출부
S100 : 영상 촬영 단계 S200 : 영상 변환 단계
S300 : 설계 도면 수신 단계 S400 : 중첩 표시 단계
S410 : 설계 도면 변환 표시 단계 S420 : 투명도 조절 단계
S500 : 기준 설정 단계 S600 : 비교 단계
S700 : 불일치 표시 단계

Claims (10)

  1. 촬영부를 통해 구조물의 영상을 촬영하는 영상 촬영 단계;
    상기 영상 촬영 단계에서 촬영된 구조물에 대응되는 설계 도면을 도면 저장부로부터 수신받는 설계 도면 수신 단계;
    상기 설계 도면 수신 단계에서 수신된 2차원 설계 도면을 3차원 설계 도면으로 변환시키는 영상 변환 단계;
    상기 촬영부를 통해 촬영된 구조물 영상에 도면 저장부로부터 수신된 설계 도면을 디스플레이부에 투영기반 증강현실(Projection-Based Augmented Reality)을 이용하여 중첩되도록 표시하는 중첩 표시 단계;
    상기 중첩 표시 단계에서 표시되는 구조물 영상에서 구조물의 기준점 및 기준선을 설정하고, 상기 중첩 표시 단계에서 표시되는 설계 도면에서의 기준점 및 기준선을 설정하는 기준 설정 단계; 및
    상기 기준 설정 단계에서 설정된 구조물의 기준점 및 기준선과, 설계 도면에서의 기준점 및 기준선의 좌표, 크기 및 기준선 간에 이루는 각도를 비교하는 비교 단계;를 포함하는 것을 특징으로 하는 증강 현실을 이용한 구조물 품질검사 방법.
  2. 제1항에 있어서,
    상기 비교 단계에서 구조물과 설계 도면이 기설정된 허용 오차 범위 내에 포함되지 않는다고 판단할 경우, 상기 디스플레이부에 표시된 설계 도면의 불일치되는 기준점 및 기준선을 표시하는 불일치 표시 단계;를 더 포함하는 것을 특징으로 하는 증강 현실을 이용한 구조물 품질검사 방법.
  3. 제1항에 있어서,
    상기 중첩 표시 단계는,
    상기 디스플레이부에 표시되는 설계 도면의 좌표, 크기 또는 회전 각도를 변경하는 설계 도면 변환 표시 단계;를 더 포함하는 것을 특징으로 하는 증강 현실을 이용한 구조물 품질검사 방법.
  4. 제1항에 있어서,
    상기 중첩 표시 단계는,
    상기 촬영부를 통해 촬영된 구조물 영상에 중첩 표시되는 설계 도면의 투명도를 조절하는 투명도 조절 단계;를 더 포함하는 것을 특징으로 하는 증강 현실을 이용한 구조물 품질검사 방법.
  5. 구조물 영상을 촬영하는 촬영부;
    구조물의 설계 도면이 저장되는 도면 저장부;
    상기 도면 저장부에 기저장된 설계 도면 중 상기 촬영부에서 촬영된 구조물에 대응되는 설계 도면을 매칭하고, 매칭된 설계 도면을 수신받는 관리 서버;
    상기 촬영부에서 촬영된 구조물 영상과 상기 관리 서버에서 매칭된 설계 도면을 디스플레이부에 중첩 표시하는 제어부;
    상기 디스플레이부에 표시된 구조물의 기준점 및 기준선을 설정하고, 상기 디스플레이부에 표시된 설계 도면의 기준점 및 기준선을 설정하는 기준 설정부;
    상기 기준 설정부에서 설정된 구조물의 기준점 좌표와 기준선의 크기 및 기준선 간에 이루는 각도를 포함하는 구조물 데이터를 측정하는 구조물 측정부;
    상기 기준 설정부에서 설정된 설계 도면의 기준점 좌표와, 기준선의 크기 및 기준선 간에 이루는 각도를 포함하는 설계 도면 데이터를 측정하는 설계 도면 측정부; 및
    상기 구조물 측정부와 설계 도면 측정부에서 측정된 구조물 데이터와 설계 도면 데이터를 비교하는 오차 판별부;를 포함하는 것을 특징으로 하는 증강 현실을 이용한 구조물 품질검사 시스템.
  6. 제5항에 있어서,
    상기 관리 서버는,
    상기 도면 저장부에 저장된 설계 도면이 2차원 도면인 경우, 3차원 도면으로 변환시키는 변환 모듈;을 포함하는 것을 특징으로 하는 증강 현실을 이용한 구조물 품질 검사 시스템.
  7. 제5항에 있어서,
    상기 증강 현실을 이용한 구조물 품질 검사 시스템은,
    상기 디스플레이부에 표시된 구조물의 기준선 중 대표 기준선을 선정하고, 선정된 구조물의 대표 기준선 방향 정보를 측정하는 구조물 방향 측정부와, 상기 디스플레이부에 표시된 설계 도면의 기준선 중 대표 기준선을 선정하고, 선정된 설계 도면의 대표 기준선 방향 정보를 측정하는 설계 도면 방향 측정부를 포함하고,
    상기 제어부는,
    상기 구조물 방향 측정부와 설계 도면 방향 측정부에서 각각 측정된 구조물 대표 기준선 방향과 설계 도면 대표 기준선 방향이 일치되는 방향으로 설계 도면을 회전시켜 디스플레이부에 표시하는 것을 특징으로 하는 증강 현실을 이용한 구조물 품질 검사 시스템.
  8. 제5항에 있어서,
    상기 오차 판별부에서 구조물 데이터와 설계 도면 데이터 간에 차이가 발생하는 경우, 차이가 있는 설계 도면의 기준점 또는 기준선을 상기 디스플레이부에 표시하는 오차 검출부;를 더 포함하는 것을 특징으로 하는 구조물 품질 검사 시스템.
  9. 제5항에 있어서,
    상기 관리 서버는,
    상기 도면 저장부에 저장된 구조물의 설계 도면에 대한 종류, ID 및 식별번호 중 적어도 하나 이상의 기본정보가 저장된 마커를 인식하는 마커 인식 모듈과, 상기 촬영부에서 촬영한 구조물 영상에서 구조물의 종류, ID 및 식별번호 중 적어도 하나 이상을 포함하는 기본 정보가 저장된 마커를 인식하는 기본정보 입력 모듈과, 상기 마커 인식 모듈과 기본정보 입력 모듈에서 인식한 기본정보가 일치할 경우, 상기 도면 저장부에서 설계 도면을 수신받는 도면 수신 모듈을 더 포함하는 것을 특징으로 하는 구조물 품질 검사 시스템.
  10. 제5항에 있어서,
    상기 촬영부에 인접하게 설치되며 상기 구조물에 레이저를 조사하여 상기 촬영부가 촬영하는 촬영 영역을 표시하는 레이저 조사부와, 상기 레이저 조사부에서 조사된 촬영 영역에 포함된 구조물의 형상 및 크기를 측정하는 형상 측정부를 포함하는 것을 특징으로 하는 증강 현실을 이용한 구조물 품질검사 시스템.
KR1020180140656A 2018-11-15 2018-11-15 증강 현실을 이용한 구조물 품질검사 시스템 및 방법 KR20200056688A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180140656A KR20200056688A (ko) 2018-11-15 2018-11-15 증강 현실을 이용한 구조물 품질검사 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180140656A KR20200056688A (ko) 2018-11-15 2018-11-15 증강 현실을 이용한 구조물 품질검사 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20200056688A true KR20200056688A (ko) 2020-05-25

Family

ID=70914431

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180140656A KR20200056688A (ko) 2018-11-15 2018-11-15 증강 현실을 이용한 구조물 품질검사 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR20200056688A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102468207B1 (ko) * 2022-04-22 2022-11-17 주식회사 여울디자인 웨어러블 장치 및 웨어러블 장치의 제어방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170021689A (ko) 2015-08-18 2017-02-28 대우조선해양 주식회사 증강현실을 이용한 해양 구조물 설계/생산 지원 시스템 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170021689A (ko) 2015-08-18 2017-02-28 대우조선해양 주식회사 증강현실을 이용한 해양 구조물 설계/생산 지원 시스템 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102468207B1 (ko) * 2022-04-22 2022-11-17 주식회사 여울디자인 웨어러블 장치 및 웨어러블 장치의 제어방법

Similar Documents

Publication Publication Date Title
KR101761751B1 (ko) 직접적인 기하학적 모델링이 행해지는 hmd 보정
JP4137078B2 (ja) 複合現実感情報生成装置および方法
US9008371B2 (en) Method and system for ascertaining the position and orientation of a camera relative to a real object
JP6314394B2 (ja) 情報処理装置、設定方法、設定プログラム、システムおよび管理装置
JP6171671B2 (ja) 情報処理装置、位置指定方法および位置指定プログラム
US8564655B2 (en) Three-dimensional measurement method and three-dimensional measurement apparatus
WO2014128760A1 (ja) 表示装置、表示方法、表示プログラムおよび位置設定システム
JP6008397B2 (ja) 光学式シースルー型ｈｍｄを用いたａｒシステム
US20060050087A1 (en) Image compositing method and apparatus
WO2018101227A1 (ja) 表示制御装置、ヘッドマウントディスプレイ、表示制御装置の制御方法、および制御プログラム
JP4677281B2 (ja) 画像処理方法、画像処理装置
US20050151839A1 (en) Three-dimensional image display apparatus and method
JP2007233971A (ja) 画像合成方法及び装置
JP2002092647A (ja) 情報呈示システム及びモデル誤差検出システム
JP2007064684A (ja) マーカ配置補助方法及び装置
WO2022019975A1 (en) Systems and methods for reducing a search area for identifying correspondences between images
JP6061334B2 (ja) 光学式シースルー型ｈｍｄを用いたａｒシステム
KR20200056688A (ko) 증강 현실을 이용한 구조물 품질검사 시스템 및 방법
US20200218756A1 (en) System and Method for Generating Digital Information and Altering Digital Models of Components With Same
EP4186028A1 (en) Systems and methods for updating continuous image alignment of separate cameras
JP2006293485A (ja) 指標表示方法及び画像表示装置
CN109491327B (zh) 三维模型制作装置
JP4540329B2 (ja) 情報呈示装置
EP2449340B1 (en) Vehicle measurement system with user interface
KR20200094941A (ko) 생산 라인에서의 작업자 위치 인식 방법 및 그 장치

Legal Events

Date Code Title Description
E601 Decision to refuse application