KR20220029835A - 현실공간 분할 매칭 3d공간정보 구축 시스템 - Google Patents

현실공간 분할 매칭 3d공간정보 구축 시스템 Download PDF

Info

Publication number
KR20220029835A
KR20220029835A KR1020200109741A KR20200109741A KR20220029835A KR 20220029835 A KR20220029835 A KR 20220029835A KR 1020200109741 A KR1020200109741 A KR 1020200109741A KR 20200109741 A KR20200109741 A KR 20200109741A KR 20220029835 A KR20220029835 A KR 20220029835A
Authority
KR
South Korea
Prior art keywords
information
spatial information
construction
real space
divided
Prior art date
Application number
KR1020200109741A
Other languages
English (en)
Inventor
김원철
김주영
Original Assignee
김원철
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김원철 filed Critical 김원철
Priority to KR1020200109741A priority Critical patent/KR20220029835A/ko
Publication of KR20220029835A publication Critical patent/KR20220029835A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/08—Construction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G01S19/14—Receivers specially adapted for specific applications
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/0443—Digital holography, i.e. recording holograms with digital recording means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06037—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking multi-dimensional coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optics & Photonics (AREA)
  • Human Resources & Organizations (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Architecture (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은, 좌표정보를 포함하는 QR코드(111)가 부여된 분할된 현실공간별로 대규모 가상공간정보를 저장하는 공간정보 저장서버(110)와, 건축물 및 토목구조물의 3D건설정보를 저장하는 건설정보 저장서버(120)와, 분할된 현실공간에 분할된 가상공간을 매칭시켜 3D공간정보를 맵핑하여 디스플레이하는 헤드마운트 디스플레이(130)로 구성되어서, 건설현장의 현실공간을 분할하여 3D데이터로 저장하고, 한쌍의 QR코드에 포함된 좌표정보를 통해, 현실공간을 투시하면서 분할된 가상공간을 매칭시켜 3D공간정보를 맵핑하여 디스플레이할 수 있는, 현실공간 분할 매칭 3D공간정보 구축 시스템을 개시한다.

Description

현실공간 분할 매칭 3D공간정보 구축 시스템{System for Constructing 3D Spatial Information matched by Dividing Real Space}
본 발명은 대규모 현실공간을 분할하여 3D로 구현된 분할 공간정보를 QR코드로 검색하고 상대좌표축과 현실좌표축을 매칭하여 상대좌표계의 분할 공간정보를 현실공간에 정치시킬 수 있는, 현실공간 분할 매칭 3D공간정보 구축 시스템에 관한 것이다.
주지하는 바와 같이, 구글 글래스(Google Glasses)와 같은 헤드마운트 디스플레이를 통해 증강 현실을 대규모 현실공간에 적용하는 경우에는, 현실공간 전체를 모델링하여 헤드마운트 디스플레이와 통신가능한 별도의 서버에 저장하여야 하고, 디스플레이를 통해 증강 현실을 제공하고자 하면 대규모 현실공간에서 해당 위치의 3D데이터를 검색하여 헤드마운트 디스플레이의 좌표축에 매칭시키기 위한 선행작업이 수행되어야 해서, 3D 가상정보 표시에 상당한 처리시간이 소요되어 시간차 버퍼링이 발생한다.
이를 해소하기 위한 선행기술로서, 한국 등록특허공보 제10-1867020호가 개시되어 있는데, 종래의 박물관/미술관용 증강 현실 구현 방법 및 장치는, 카메라를 통해 임의의 마커 이미지가 입력되면(S400), 마커 이미지를 이용하여 카메라의 초기 위치 및 초기 방향을 측정하는 단계(S500), 단말에 구비된 하나 이상의 센서를 이용하여 단말의 움직임에 따른 벡터 정보를 수집하는 단계(S600), 벡터 정보를 이용하여 카메라의 현재 위치 및 현재 방향을 연산하는 단계(S700), 현재 위치, 현재 방향, 카메라의 화각을 이용하여, 단말에 표시되는 실제 공간에 위치한 전시품을 식별하고, 전시품에 대응하는 증강 현실 컨텐츠를 화면에 표시하는 단계(S800)를 포함하여, 실시간으로 가상 이미지를 생성하거나, 서버와 단말 간 많은 데이터를 송수신하지 않고도 좌표 정보를 이용하여 증강 현실을 구현함으로써 빠르고 정확도 높은 증강 현실 영상을 사용자에게 제공한다.
하지만, 비콘 신호에 의해 단말의 위치를 측정하는 과정이 선행되어야 하고, 단일카메라에 의한 연속 촬영을 통해 얻어진 이미지와 단일 마커를 통해 3D공간을 맵핑하여 3D 가상정보 표시의 정확도가 높지 않고, 대규모 현실공간에는 적용하기에는 부적합 측면이 있다.
이에, 건설현장에 적용할 수 있도록 3D 가상정보 표시의 정확도를 높이고, 대규모 현실공간에서도 증강현실을 구현할 수 있는 기술이 요구된다.
한국 등록특허공보 제10-1867020호 (박물관/미술관용 증강 현실 구현 방법 및 장치, 2018.07.19)
본 발명의 사상이 이루고자 하는 기술적 과제는, 건설현장에 적용하여 활용할 수 있도록 3D 가상정보 표시의 정확도를 높이고, 대규모 현실공간에서도 증강현실을 구현할 수 있는, 현실공간 분할 매칭 3D공간정보 구축 시스템을 제공하는 데 있다.
전술한 목적을 달성하고자, 본 발명은, 분할된 현실공간별로 좌표정보를 포함하는 이격된 한 쌍의 QR코드가 각각 부여되며, 현실공간을 상기 QR코드별로 분할하여 3D데이터로 각각 모델링하여 분할된 가상공간정보를 생성하며, 분할된 가상공간블록별로 상기 QR코드를 통해 가상공간 상에서의 제1좌표계를 산출하고, 상기 제1좌표계에 상응하는 다수의 분할된 가상공간정보를 통합하여 현실공간에 해당하는 대규모 가상공간정보를 저장하는, 공간정보 저장서버; 상기 공간정보 저장서버에 저장된 가상공간정보와 연계된 건설현장의 건축물 및 토목구조물의 설계도면 및 시공도면에 대한 3D건설정보를 주기적으로 업데이트하여 저장하는 건설정보 저장서버; 및 상기 QR코드를 스캔하여 인식하고 현실공간 상에서의 제2좌표계를 산출하는 스테레오카메라와, 인식된 상기 QR코드에 해당하는 분할 가상공간정보를 상기 공간정보 저장서버로부터 전송받아 영상 투사하는 투명 홀로그램 디스플레이와, 상기 홀로그램 디스플레이의 시선방향을 감지하는 자이로센서와, 상기 제1좌표계와 상기 제2좌표계의 축척과 방위를 일치시켜 공간맵핑하여 상기 홀로그램 디스플레이로 영상 투사하면서 상기 건설정보 저장서버로부터 전송된 3D건설정보를 오버랩하여 제공하도록 하는 제어부로 구성되어, 상기 홀로그램 디스플레이를 통해 현실공간을 투시하면서 분할된 현실공간에 분할된 가상공간을 매칭시켜 3D공간정보를 맵핑하여 디스플레이하는, 헤드마운트 디스플레이;를 포함하는, 현실공간 분할 매칭 3D공간정보 구축 시스템을 제공한다.
여기서, 상기 제어부는, 상기 제2좌표계에 해당하는 현실공간 상의 상기 QR코드의 이격된 실제거리와 두 QR코드를 연결하는 기선에 의해 결정되는 방위, 및 상기 제1좌표계에 해당하는 가상공간 상의 상기 QR코드의 이격된 가상거리와 두 QR코드를 연결하는 기선에 의해 결정되는 방위 사이의 비율과 편각을 연산하여, 상기 홀로그램 디스플레이로 영상 투사되는 분할된 가상공간의 축적과 회전방위각을 산출하여 기선을 일치시켜서 투시된 현실공간에 3D공간정보를 맵핑하여 디스플레이할 수 있다.
또한, 상기 스테레오카메라는, 상기 QR코드와의 거리와 깊이를 입체적으로 인식하는 ToF센서를 포함하여, 상기 홀로그램 디스플레이를 통해 디스플레이되는 가상공간정보의 FOV를 설정할 수 있다.
또한, 상기 헤드마운트 디스플레이는, 상기 홀로그램 디스플레이의 내측면에 형성되어 사용자의 눈동자의 위치를 추적하는 트랙킹 카메라를 포함하고, 상기 제어부는 추적된 눈동자의 위치에 따라 상기 홀로그램 디스플레이로 영상 투사되는 분할 가상공간정보를 보정하여 원근감을 제공하도록 할 수 있다.
또한, 상기 공간정보 저장서버는 다수의 분할된 가상공간정보를 GPS정보와 연계하여 저장하고, 상기 헤드마운트 디스플레이는 GPS를 포함하여, 상기 GPS에 의한 관측위치에 해당하는 분할 가상공간정보를 상기 공간정보 저장서버로부터 전송받을 수 있다.
또한, 상기 제어부는, 시공공정단계별로, 건축물 또는 토목구조물의 재료정보, 시공방법, 시공순서, 작업지시사항, 길이/무게/단면크기의 속성정보, 부재정보, 및 위험정도와 작업시 주의점의 안전정보의 상기 3D건설정보를 텍스트 또는 이미지를 통해 상기 홀로그램 디스플레이로 제공하도록 할 수 있다.
또한, 상기 제어부는 상기 QR코드와 연계된 상기 안전정보에 따라 상기 홀로그램 디스플레이의 조도를 제어하거나, 상기 헤드마운트 디스플레이는 조도센서를 포함하고, 상기 조도센서에 의해 조도정보에 따라 상기 홀로그램 디스플레이의 조도를 제어할 수 있다.
또한, 상기 제어부는 상기 QR코드와 연계된 상기 안전정보의 위험도에 따라 분할 가상공간정보를 색상을 변경하여 상기 홀로그램 디스플레이로 영상 투사하도록 할 수 있다.
또한, 상기 공간정보 저장서버는, 상기 헤드마운트 디스플레이에 의해 인식된 상기 QR코드의 위치정보를 트랙킹하여 실시간 저장하고, 상기 헤드마운트 디스플레이의 최종 위치정보를 추출하여 DB에 저장할 수 있다.
또한, 상기 공간정보 저장서버는, 상기 헤드마운트 디스플레이의 상기 GPS의 위치정보를 트랙킹하여 실시간 저장하고, 상기 헤드마운트 디스플레이의 최종 위치정보를 추출하여 DB에 저장할 수 있다.
또한, 분할된 현실공간별로 좌표정보를 포함하는 상기 한 쌍의 QR코드는 1m 내지 2m 이격되어 부여될 수 있다.
또한, 상기 헤드마운트 디스플레이는 스피커를 포함하고, 상기 제어부는 상기 3D건설정보를 상기 스피커를 통해 제공하도록 할 수 있다.
본 발명에 의하면, 건설현장의 현실공간을 분할하여 3D데이터로 저장하고, 한쌍의 QR코드에 포함된 좌표정보를 통해, 현실공간을 투시하면서 분할된 가상공간을 매칭시켜 3D공간정보를 맵핑하여 디스플레이하며, 3D건설정보를 텍스트, 이미지 또는 음성을 통해 분할 가상공간정보와 오버랩하여 홀로그램 디스플레이로 제공하도록 하여 영상정보를 확인하면서 이와 관련된 건축물 또는 토목구조물의 다양한 3D건설정보를 확인하도록 하고, QR코드가 인식된 최종 위치정보를 추적하여 사고현장에 신속하고 정확하게 접근하도록 할 수 있는 효과가 있다.
또한, 본 발명에 의하면, QR코드 위치정보를 실시간 트래킹 및 저장하여 사용자의 위치를 실시간으로 확인할 수 있으며, 현장에서 사고가 발생하는 경우 사용자의 위치를 정확히 파악할 수 있다.
또한, 본 발명에 의하면 위험도에 따라 분할 가상공간정보의 색상을 변경하여 영상 투사함으로써 사용자가 현장의 위험여부를 실시간으로 지각할 수 있다.
또한, 본 발명의 일실시예에 따르면, 작업자가 선행작업자가 남긴 메시지, 위험요소와 관련된 정보를 실시간으로 받아볼 수 있으므로, 작업자의 작업효율을 높일 수 있으며, 나아가 작업자가 변경되는 경우에도 인수인계에 대한 시간소요를 줄일 수 있다.
또한, 본 발명의 일실시예에 따르면, 작업자가 실시간의 공간정보 및 건설정보를 받을 수 있으므로 복잡하거나 빛이 잘 들지 않는 현장에서도 쉽게 위치를 찾아 이동할 수 있다.
도 1은 종래기술에 의한 박물관/미술관용 증강 현실 구현 방법 및 장치를 예시한 것이다.
도 2는 본 발명의 실시예에 의한 현실공간 분할 매칭 3D공간정보 구축 시스템의 개략적인 구성도를 도시한 것이다.
도 3은 도 2의 현실공간 분할 매칭 3D공간정보 구축 시스템을 구현한 구성도를 도시한 것이다.
도 4는 도 2의 현실공간 분할 매칭 3D공간정보 구축 시스템의 헤드마운트 디스플레이를 도시한 것이다.
도 5는 도 2의 현실공간 분할 매칭 3D공간정보 구축 시스템에 의한 가상공간정보의 분할 저장 과정을 도시한 것이다.
도 6은 도 2의 도 2의 현실공간 분할 매칭 3D공간정보 구축 시스템이 적용되는 건축물 및 토목구조물을 예시한 것이다.
도 7 및 도 8은 도 2의 도 2의 현실공간 분할 매칭 3D공간정보 구축 시스템의 맵핑과정을 도시한 것이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, "간접적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 발명의 실시예에 의한 현실공간 분할 매칭 3D공간정보 구축 시스템은, 전체적으로, 좌표정보를 포함하는 QR코드(111)가 부여된 분할된 현실공간별로 대규모 가상공간정보를 저장하는 공간정보 저장서버(110)와, 건축물 및 토목구조물의 3D건설정보를 저장하는 건설정보 저장서버(120)와, 분할된 현실공간에 분할된 가상공간을 매칭시켜 3D공간정보를 맵핑하여 디스플레이하는 헤드마운트 디스플레이(130)로 구성된다.
이에, 도 2 내지 도 8을 참조하여, 전술한 현실공간 분할 매칭 3D공간정보 구축 시스템의 구성을 구체적으로 상술하면 다음과 같다.
도 2는 본 발명의 실시예에 의한 현실공간 분할 매칭 3D공간정보 구축 시스템의 개략적인 구성도를 도시한 것이고, 도 5는 도 2의 현실공간 분할 매칭 3D공간정보 구축 시스템에 의한 가상공간정보의 분할 저장 과정을 도시한 것이다.
우선, 공간정보 저장서버(110)는, 분할된 현실공간별로 좌표정보를 포함하는 이격된 한 쌍의 QR코드(111)가 각각 부여되며, 현실공간을 QR코드(111)별로 분할하여 3D데이터로 각각 모델링하여 분할된 가상공간정보를 생성하며, 분할된 가상공간블록별로 QR코드(111)를 통해 가상공간 상에서의 상대좌표계인 제1좌표계를 산출하고, 제1좌표계에 상응하는 다수의 분할된 가상공간정보를 통합하여 현실공간에 해당하는 대규모 가상공간정보를 저장한다.
예컨대, 도 5에 도시된 바와 같이, 공간정보 저장서버(110)는 건축물 또는 토목구조물이 시공중인 대규모 건설현장을 구획하고, 구획 분할된 현실공간별로 3D 모델링하여 생성된 가상공간정보를 저장하는데, 도 6에 도시된 바와 같이 건축물 또는 토목구조물에는 분할된 현실공간별로 실제 한 쌍의 QR코드(111)가 일정거리 이격되어 부착되어서 3D 모델링시에 QR코드(111)를 같이 모델링하여 가상공간정보에 포함되도록 하여 가상공간 상에서의 제1좌표계 산출을 위한 기선으로 활용된다.
여기서, 한 쌍의 QR코드(111)는 1m 내지 2m 이격되어 부여되어 분할된 현실공간별로 좌표정보를 포함할 수 있다.
구체적으로 도 5를 기준으로 설명하면, 각각의 분할된 현실공간 한 쌍의 QR코드와 대응될 수 있는데, 한 쌍의 QR코드에는 위치정보 및 좌표정보를 포함할 수 있으며, 한 쌍의 QR코드는 단일의 QR코드가 제공할 수 없는 다수의 정보를 저장할 수 있다. 예를 들어 한 쌍의 QR코드간의 상대위치를 연결하여 기선 또는 벡터를 구성할 수도 있으며, 구성된 기선 및 벡터는 추후 설명할 제2좌표계와 연동하여 헤드마운트 디스플레이(130)에 표시할 영상의 종류 및 회전방위각(r1-r2)등을 결정할 수 있다.
다음, 건설정보 저장서버(120)는, 공간정보 저장서버(110)에 저장된 가상공간정보와 연계된 건설현장의 건축물 및 토목구조물의 설계도면 및 시공도면에 대한 3D건설정보를 시공단계별로 주기적으로 업데이트하여 저장한다.
구체적으로 설명하면, 건설정보 저장서버(120)는 전술한 공간정보 저장서버(110)에 저장된 각각의 분할공간의 가상공간정보와 대응되는 건설정보를 저장할 수 있는데, 공간정보 저장서버(110)가 헤드마운트 디스플레이(130)으로 공간정보를 전달할 때, 대응되는 건설정보를 전달할 수 있으며, 전술한 건축물, 토목구조물 설계도면, 시공도면 등은 건설정보의 예시일 뿐이고, 추가적으로 작업자가 알아야 할 정보 즉, 위험물 정보, 선행 작업자의 전달사항, 작업진행 정도 등이 포함될 수 있으며, 이는 작업자가 건설정보 저장서버(120)로 전달하는 정보에 따라 실시간 업데이트 될 수 있다.
이하에서는 도 2 내지 도 4에 기초하여 헤드마운트 디스플레이(130)에 대해서 설명하기로 한다. 도 3은 도 2의 현실공간 분할 매칭 3D공간정보 구축 시스템을 구현한 구성도를 도시한 것이고, 도 4는 도 2의 현실공간 분할 매칭 3D공간정보 구축 시스템의 헤드마운트 디스플레이를 도시한 것이다.
다음, 헤드마운트 디스플레이(130)는, 도 2 및 도 4에 도시된 바와 같이, QR코드(111)를 스캔하여 인식하고 현실공간 상에서의 현실좌표계인 제2좌표계를 산출하는 스테레오카메라(131)와, 인식된 QR코드(111)에 해당하는 분할 가상공간정보를 공간정보 저장서버(110)로부터 전송받아 영상 투사하는 투명 홀로그램 디스플레이(132)를 포함할 수 있다.
헤드마운트 디스플레이(130)에 대해서 구체적으로 설명하면, 사용자가 한 쌍의 QR코드(111)를 주시하면, 사용자가 착용한 헤드마운트 디스플레이(130)에 포함된 스테레오카메라(131)는 QR코드에 저장된 정보를 스캔하고 인식할 수 있는데, QR코드가 1~2m 간격으로 배치되어 있으며 사용자가 한 쌍의 QR코드(111)를 인식하여 불러들인 정보를 공간정보 저장서버(110)로 전송할 수 있다. 공간정보 저장서버(110)는 전송받은 정보에 기초하여 다시 헤드마운트 디스플레이(130)로 가상공간정보를 전송할 수 있는데, 이는 홀로그램 디스플레이(132) 상에 영상 투사할 수 있다. 가상공간정보는 분할된 현실공간을 맵핑한 자료 또는 기 촬영된 영상자료 및 사진 등이 될 수 있으며, 가상공간정보에는 QR코드(111)의 좌표정보도 포함되어 헤드마운트 디스플레이(130)에 의해 인식된 QR코드의 좌표와 대응되도록 가상공간정보를 전송할 수 있다.
또한, 전송된 가상공간정보는 사용자와 한 쌍의 QR코드(111) 간의 방위각에 기초하여, 변형된 상태로 표현되어야 하는데, 이와 관련하여 도 6 내지 도 8에 기초하여 설명한다. 도 6은 도 2의 도 2의 현실공간 분할 매칭 3D공간정보 구축 시스템이 적용되는 건축물 및 토목구조물을 예시한 것이고, 도 7 및 도 8은 도 2의 도 2의 현실공간 분할 매칭 3D공간정보 구축 시스템의 맵핑과정을 도시한 것이다.
본 발명의 일실시예인 헤드마운트 디스플레이(130)는, 홀로그램 디스플레이(132)의 시선방향을 감지하는 3축 자이로센서(133)와, 제1좌표계와 제2좌표계의 축척과 방위를 일치시켜 공간맵핑하여 홀로그램 디스플레이(132)로 영상 투사하면서 동시에 건설정보 저장서버(120)로부터 전송된 3D건설정보를 오버랩하여 제공하도록 하는 제어부(134)로 구성되어, 홀로그램 디스플레이(132)를 통해 현실공간을 투시하면서 분할된 현실공간에 분할된 가상공간을 매칭시켜 3D공간정보를 맵핑하여 디스플레이한다.
즉, 제어부(134)는, 도 7 및 도 8에 도시된 바와 같이, 제2좌표계에 해당하는 현실공간 상의 QR코드(111)의 이격된 실제거리(d2)와 두 QR코드(111)를 연결하는 기선에 의해 결정되는 방위(r2), 및 제1좌표계에 해당하는 가상공간 상의 QR코드(111)의 이격된 가상거리(d1)와 두 QR코드(111)를 연결하는 기선에 의해 결정되는 방위(r1) 사이의 비율과 편각을 연산하여, 홀로그램 디스플레이(132)로 영상 투사되는 분할된 가상공간의 축적(d1/d2)과 회전방위각(r1-r2)을 산출하여 기선을 일치시켜서 투시된 현실공간에 3D공간정보를 맵핑하여 디스플레이할 수 있다.
여기서, 스테레오카메라(131)는, QR코드(111)와의 거리와 깊이를 입체적으로 인식하는 ToF센서(미도시)를 포함하여, 투시된 현실공간과 심도를 일치시키도록 홀로그램 디스플레이(132)를 통해 디스플레이되는 가상공간정보의 FOV를 설정할 수도 있다.
또한, 헤드마운트 디스플레이(130)는, 홀로그램 디스플레이(132)의 내측면에 형성되어 사용자의 눈동자의 위치를 추적하는 트랙킹 카메라(미도시)를 포함하고, 제어부(134)는 추적된 눈동자의 위치에 따라 홀로그램 디스플레이(132)로 영상 투사되는 분할 가상공간정보를 보정하여 원근감을 제공하도록 할 수 있다.
한편, 공간정보 저장서버(110)는 다수의 분할된 가상공간정보를 GPS정보와 연계하여 저장할 수 있고, 헤드마운트 디스플레이(130)는 GPS(135)를 포함하여, GPS(135)에 의한 관측위치에 해당하는 분할 가상공간정보를 공간정보 저장서버(110)로부터 전송받도록 하여서, QR코드(111)에 의한 위치정보를 보완하도록 할 수도 있다.
또한, 제어부(134)는, 건축물 또는 토목구조물의 시공공정 단계별로, 건축물 또는 토목구조물의 재료정보, 시공방법, 시공순서, 지침사항, 작업지시사항, 길이/무게/단면크기의 속성정보, 부재정보 및 위험정도와 작업시 주의점의 안전정보의 3D건설정보를 텍스트 또는 이미지를 통해 분할 가상공간정보에 오버랩하여 홀로그램 디스플레이(132)로 제공하도록 하여서, 영상정보를 확인하면서 이와 관련된 건축물 또는 토목구조물의 다양한 3D건설정보를 확인하도록 할 수도 있다.
또는, 헤드마운트 디스플레이(130)는 스피커(미도시)를 포함하거나 무선통신가능한 블루투스 이어폰과 연동하여서, 홀로그램 디스플레이(132)의 시야를 최대한 확보하도록 제어부(134)는 3D건설정보를 스피커를 통해 음성으로 제공하도록 할 수도 있다.
또한, 제어부(134)는 QR코드(111)와 연계된 안전정보에 따라 홀로그램 디스플레이(132)의 조도를 제어하거나, 헤드마운트 디스플레이(130)는 조도센서(미도시)를 포함하고, 조도센서에 의해 조도정보에 따라 홀로그램 디스플레이(132)의 조도를 제어하도록 하여서, 터널내부 또는 안전사고가 빈번한 핫스팟에 접근하는 경우에는 홀로그램 디스플레이(132)의 조도를 밝게하여 위험성을 쉽게 인지하도록 하고, 어두운 곳에서 밝은 곳으로 급격히 이동하는 경우에는 홀로그램 디스플레이(132)의 조도를 어둡게하여 눈의 피로감을 줄일 수 있다.
또는, 제어부(134)는 QR코드(111)와 연계된 안전정보의 위험도에 따라 분할 가상공간정보를 색상을 변경하여 홀로그램 디스플레이(132)로 영상 투사하도록 하여서, 위험도를 색상으로 구분하여 표시하여 안전사고를 방지하도록 할 수도 있다.
예컨대, 취약암반층, 싱크홀, 계단 또는 문턱의 이동시 주의를 요하는 위험물 또는 장애물이나, 용접 불가 장소 또는 유독가스 발생 장소와 같이 위험장소로의 접근시에, 다른 구조물과 색상으로 구분 표시하도록 하여서, 이를 인지하여 주의하거나 회피하도록 할 수 있다.
또한, 공간정보 저장서버(110)는, 헤드마운트 디스플레이(130)에 의해 인식된 QR코드(111)의 위치정보를 트랙킹하여 실시간 저장하고, 헤드마운트 디스플레이(130)의 최종 위치정보를 추출하여 DB(111)에 저장하여서, 추후 예기치 않은 작업자의 사고시에, QR코드(111)가 인식된 최종 위치정보를 추적하여 사고현장에 신속하고 정확하게 접근하도록 할 수 있다.
구체적으로 설명하면, 터널이나 지하와 같은 건설현장에서 사고가 발생하는 경우 요구조자의 위치를 빠르게 파악하는 것이 중요하다. 이에, 헤드마운트 디스플레이(130)에 의해 인식된 QR코드(111)의 위치정보를 트랙킹하여 실시간 저장함으로써, 요구조자의 이동동선을 구체적으로 설정할 수 있으며, QR코드(111)가 인식된 최종 위치정보에 기초하여 구조자의 위치를 구체적으로 설정할 수 있다. 기존의 GPS의 경우 요구조자의 위치를 명확히 특정할 수 없다는 문제점이 있으며, 1개의 QR코드만으로는 대략적인 요구조자의 위치만을 특정할 수 있을 뿐, QR코드를 기준으로 어느 위치에 요구조자가 있었는지를 명확하게 특정할 수 없다.
또는, 공간정보 저장서버(110)는, 헤드마운트 디스플레이(130)의 GPS(135)의 위치정보를 트랙킹하여 실시간 저장하고, 헤드마운트 디스플레이(130)의 최종 위치정보를 추출하여 DB(111)에 저장하여서, 추후 예기치 않은 작업자의 사고시에, GPS(135)에 의해 인식된 최종 위치정보를 추적하여 사고현장에 신속하고 정확하게 접근하도록 할 수 있다.
한편, 공간정보 저장서버(110)로부터 헤드마운트 디스플레이(130)로의, 스테레오카메라(131)에 의해 인식된 QR코드(111)에 해당하는 분할 가상공간정보 전송시에, 해당 분할 가상공간정보와 인접하는 다른 분할 가상공간정보를 동시에 전송받아 헤드마운트 디스플레이(130)의 시선 이동시에 시간차 버퍼링이 최소화되도록 하여 가상공간정보를 끊김없이 제공하도록 할 수도 있다.
따라서, 전술한 바와 같은 현실공간 분할 매칭 3D공간정보 구축 시스템의 구성에 의해서, 건설현장의 현실공간을 분할하여 3D데이터로 저장하고, 한쌍의 QR코드에 포함된 좌표정보를 통해, 현실공간을 투시하면서 분할된 가상공간을 매칭시켜 3D공간정보를 맵핑하여 디스플레이하며, 3D건설정보를 텍스트, 이미지 또는 음성을 통해 분할 가상공간정보와 오버랩하여 홀로그램 디스플레이로 제공하도록 하여 영상정보를 확인하면서 이와 관련된 건축물 또는 토목구조물의 다양한 3D건설정보를 확인하도록 하고, QR코드가 인식된 최종 위치정보를 추적하여 사고현장에 신속하고 정확하게 접근하도록 할 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
110 : 공간정보 저장서버 111 : QR코드
120 : 건설정보 저장서버 130 : 헤드마운트 디스플레이
131 : 스테레오카메라 132 : 홀로그램 디스플레이
133 : 자이로센서 134 : 제어부
135 : GPS

Claims (10)

  1. 분할된 현실공간별로 좌표정보를 포함하는 이격된 한 쌍의 QR코드가 각각 부여되며, 현실공간을 상기 QR코드별로 분할하여 3D데이터로 각각 모델링하여 분할된 가상공간정보를 생성하며, 분할된 가상공간블록별로 상기 QR코드를 통해 가상공간 상에서의 제1좌표계를 산출하고, 상기 제1좌표계에 상응하는 다수의 분할된 가상공간정보를 통합하여 현실공간에 해당하는 대규모 가상공간정보를 저장하는, 공간정보 저장서버;
    상기 공간정보 저장서버에 저장된 가상공간정보와 연계된 건설현장의 건축물 및 토목구조물의 설계도면 및 시공도면에 대한 3D건설정보를 주기적으로 업데이트하여 저장하는 건설정보 저장서버; 및
    상기 QR코드를 스캔하여 인식하고 현실공간 상에서의 제2좌표계를 산출하는 스테레오카메라와, 인식된 상기 QR코드에 해당하는 분할 가상공간정보를 상기 공간정보 저장서버로부터 전송받아 영상 투사하는 투명 홀로그램 디스플레이와, 상기 홀로그램 디스플레이의 시선방향을 감지하는 자이로센서와, 상기 제1좌표계와 상기 제2좌표계의 축척과 방위를 일치시켜 공간맵핑하여 상기 홀로그램 디스플레이로 영상 투사하면서 상기 건설정보 저장서버로부터 전송된 3D건설정보를 오버랩하여 제공하도록 하는 제어부로 구성되어, 상기 홀로그램 디스플레이를 통해 현실공간을 투시하면서 분할된 현실공간에 분할된 가상공간을 매칭시켜 3D공간정보를 맵핑하여 디스플레이하는, 헤드마운트 디스플레이;를 포함하는, 현실공간 분할 매칭 3D공간정보 구축 시스템.
  2. 제1항에 있어서,
    상기 제어부는, 상기 제2좌표계에 해당하는 현실공간 상의 상기 QR코드의 이격된 실제거리와 두 QR코드를 연결하는 기선에 의해 결정되는 방위, 및 상기 제1좌표계에 해당하는 가상공간 상의 상기 QR코드의 이격된 가상거리와 두 QR코드를 연결하는 기선에 의해 결정되는 방위 사이의 비율과 편각을 연산하여, 상기 홀로그램 디스플레이로 영상 투사되는 분할된 가상공간의 축적과 회전방위각을 산출하여 기선을 일치시켜서 투시된 현실공간에 3D공간정보를 맵핑하여 디스플레이하는 것을 특징으로 하는, 현실공간 분할 매칭 3D공간정보 구축 시스템.
  3. 제1항에 있어서,
    상기 스테레오카메라는, 상기 QR코드와의 거리와 깊이를 입체적으로 인식하는 ToF센서를 포함하여, 상기 홀로그램 디스플레이를 통해 디스플레이되는 가상공간정보의 FOV를 설정하는 것을 특징으로 하는, 현실공간 분할 매칭 3D공간정보 구축 시스템.
  4. 제1항에 있어서,
    상기 헤드마운트 디스플레이는, 상기 홀로그램 디스플레이의 내측면에 형성되어 사용자의 눈동자의 위치를 추적하는 트랙킹 카메라를 포함하고,
    상기 제어부는 추적된 눈동자의 위치에 따라 상기 홀로그램 디스플레이로 영상 투사되는 분할 가상공간정보를 보정하여 원근감을 제공하도록 하는 것을 특징으로 하는, 현실공간 분할 매칭 3D공간정보 구축 시스템.
  5. 제1항에 있어서,
    상기 공간정보 저장서버는 다수의 분할된 가상공간정보를 GPS정보와 연계하여 저장하고,
    상기 헤드마운트 디스플레이는 GPS를 포함하여, 상기 GPS에 의한 관측위치에 해당하는 분할 가상공간정보를 상기 공간정보 저장서버로부터 전송받는 것을 특징으로 하는, 현실공간 분할 매칭 3D공간정보 구축 시스템.
  6. 제1항에 있어서,
    상기 제어부는, 시공공정단계별로, 건축물 또는 토목구조물의 재료정보, 시공방법, 시공순서, 작업지시사항, 길이/무게/단면크기의 속성정보, 부재정보, 및 위험정도와 작업시 주의점의 안전정보의 상기 3D건설정보를 텍스트 또는 이미지를 통해 상기 홀로그램 디스플레이로 제공하도록 하는 것을 특징으로 하는, 현실공간 분할 매칭 3D공간정보 구축 시스템.
  7. 제6항에 있어서,
    상기 제어부는 상기 QR코드와 연계된 상기 안전정보에 따라 상기 홀로그램 디스플레이의 조도를 제어하거나,
    상기 헤드마운트 디스플레이는 조도센서를 포함하고, 상기 조도센서에 의해 조도정보에 따라 상기 홀로그램 디스플레이의 조도를 제어하는 것을 특징으로 하는, 현실공간 분할 매칭 3D공간정보 구축 시스템.
  8. 제6항에 있어서,
    상기 제어부는 상기 QR코드와 연계된 상기 안전정보의 위험도에 따라 분할 가상공간정보를 색상을 변경하여 상기 홀로그램 디스플레이로 영상 투사하도록 하는 것을 특징으로 하는, 현실공간 분할 매칭 3D공간정보 구축 시스템.
  9. 제1항에 있어서,
    상기 공간정보 저장서버는, 상기 헤드마운트 디스플레이에 의해 인식된 상기 QR코드의 위치정보를 트랙킹하여 실시간 저장하고, 상기 헤드마운트 디스플레이의 최종 위치정보를 추출하여 DB에 저장하는 것을 특징으로 하는, 현실공간 분할 매칭 3D공간정보 구축 시스템.
  10. 제5항에 있어서,
    상기 공간정보 저장서버는, 상기 헤드마운트 디스플레이의 상기 GPS의 위치정보를 트랙킹하여 실시간 저장하고, 상기 헤드마운트 디스플레이의 최종 위치정보를 추출하여 DB에 저장하는 것을 특징으로 하는, 현실공간 분할 매칭 3D공간정보 구축 시스템.
KR1020200109741A 2020-08-28 2020-08-28 현실공간 분할 매칭 3d공간정보 구축 시스템 KR20220029835A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200109741A KR20220029835A (ko) 2020-08-28 2020-08-28 현실공간 분할 매칭 3d공간정보 구축 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200109741A KR20220029835A (ko) 2020-08-28 2020-08-28 현실공간 분할 매칭 3d공간정보 구축 시스템

Publications (1)

Publication Number Publication Date
KR20220029835A true KR20220029835A (ko) 2022-03-10

Family

ID=80816285

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200109741A KR20220029835A (ko) 2020-08-28 2020-08-28 현실공간 분할 매칭 3d공간정보 구축 시스템

Country Status (1)

Country Link
KR (1) KR20220029835A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116880701A (zh) * 2023-09-07 2023-10-13 深圳优立全息科技有限公司 基于全息设备的多模态交互方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101867020B1 (ko) 2016-12-16 2018-07-19 경희대학교 산학협력단 박물관/미술관용 증강 현실 구현 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101867020B1 (ko) 2016-12-16 2018-07-19 경희대학교 산학협력단 박물관/미술관용 증강 현실 구현 방법 및 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116880701A (zh) * 2023-09-07 2023-10-13 深圳优立全息科技有限公司 基于全息设备的多模态交互方法及系统
CN116880701B (zh) * 2023-09-07 2023-12-22 深圳优立全息科技有限公司 基于全息设备的多模态交互方法及系统

Similar Documents

Publication Publication Date Title
US11694406B2 (en) Displaying a virtual image of a building information model
TWI522650B (zh) 用於擴增實境裝置之即時導正系統、方法及電腦程式產品
US8908043B2 (en) System and method for location-based operation of a head mounted display
CN204465738U (zh) 一种救灾救援可视系统
CN104660995A (zh) 一种救灾救援可视系统
RU2019110051A (ru) Способ, система и программное обеспечение для навигации в средах без доступа к глобальной системе определения местоположения (gps)
WO2014127249A1 (en) Representing and interacting with geo-located markers
US11294456B2 (en) Perspective or gaze based visual identification and location system
US11598636B2 (en) Location information display device and surveying system
WO2019021018A1 (en) POSITIONING SYSTEM
KR20220029835A (ko) 현실공간 분할 매칭 3d공간정보 구축 시스템
US20220291379A1 (en) Surveying device and surveying method using the surveying device
CN109032330B (zh) Ar系统、ar装置以及建立和无缝桥接其参考状态的方法
US20220404147A1 (en) Measuring system, measuring method, and measuring program
KR20190073429A (ko) 표적의 위치 탐지를 보조하기 위한 방법 및 이러한 방법의 구현을 가능하게 하는 관측 장치
JP2020042667A (ja) 投影システム、投影方法及びプログラム
WO2023026451A1 (ja) 物体捜索システム、物体捜索装置、物体捜索方法
JP3506921B2 (ja) 工事支援用立体可視化方法及び装置
WO2021177132A1 (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP2024027006A (ja) 測量システム、測量方法及び測量用プログラム
JP2023077070A (ja) 現実空間に対するヴァーチャル空間の位置合わせ方法
JP2023077071A (ja) マーカ設置方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application