KR102430041B1 - 증강현실 기술을 활용하여 시설물을 점검하는 시설물 점검 시스템 및 전자 장치의 동작 방법 - Google Patents

증강현실 기술을 활용하여 시설물을 점검하는 시설물 점검 시스템 및 전자 장치의 동작 방법 Download PDF

Info

Publication number
KR102430041B1
KR102430041B1 KR1020220050284A KR20220050284A KR102430041B1 KR 102430041 B1 KR102430041 B1 KR 102430041B1 KR 1020220050284 A KR1020220050284 A KR 1020220050284A KR 20220050284 A KR20220050284 A KR 20220050284A KR 102430041 B1 KR102430041 B1 KR 102430041B1
Authority
KR
South Korea
Prior art keywords
facility
image
user terminal
server
augmented reality
Prior art date
Application number
KR1020220050284A
Other languages
English (en)
Inventor
이현기
이기홍
Original Assignee
(주)브리콘랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)브리콘랩 filed Critical (주)브리콘랩
Priority to KR1020220050284A priority Critical patent/KR102430041B1/ko
Application granted granted Critical
Publication of KR102430041B1 publication Critical patent/KR102430041B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/08—Construction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/025—Services making use of location information using location based information parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Tourism & Hospitality (AREA)
  • Computer Graphics (AREA)
  • General Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Geometry (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • Remote Sensing (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명에 따른 시설물을 점검하는 전자 장치의 동작 방법은, 이미지 센서를 통해 시설물을 포함하는 이미지를 획득하는 단계; 유무선 통신망을 통해 서버로부터 상기 시설물의 내부 구조에 대한 3차원 이미지 및 상기 시설물의 보수 이력에 대한 3차원 이미지를 수신하는 단계; 및 상기 시설물에 대한 이미지, 상기 시설물의 내부 구조에 대한 3차원 이미지 및 상기 시설물의 보수 이력에 대한 3차원 이미지를 기초로 생성되는 증강현실 이미지를 출력하는 단계를 포함한다.

Description

증강현실 기술을 활용하여 시설물을 점검하는 시설물 점검 시스템 및 전자 장치의 동작 방법 {facility inspection system and electronic device operating method that inspects facilities using augmented reality technology}
본 발명은 증강현실 기술을 활용하여 시설물의 내부 점검을 가능하게 하는 것으로, 시설물에 대한 보수 이력과 내부 구조에 대한 3차원 이미지를 사용하여 증강현실 이미지를 생성하는 장치 및 방법에 관한 것이다.
최근 4차 산업혁명의 확산으로 인해 핵심 기술인 빅데이터, 인공지능, 증강/혼합현실 기술이 급속도로 발전하고 있다.
특히 증강현실 기술은 현실세계에 가상현실을 투영시켜 보다 현실감을 높임으로써 실제 현장에서 적용 가능한 기술로 각광받고 있다.
기존 이미지 프로세싱 및 컴퓨터 비전 기술은 인간이 실제로 접하는 장면을 이해하는 과정을 컴퓨터 또는 기계에 접목시킨 것이라면, 가상현실 및 증강현실은 인간이 눈으로 보지 못하는 부분들을 시각화 시켜 체험할 수 있도록 해주는 기술이다.
증강현실 기술은 마이크로소프트 HoloLensTM, 구글의 Google GlassTM 등의 증강현실 디바이스의 개발과 더불어 급속도로 발전하였으며, 국내에서는 2016년 모바일 기기용 게임인 '포켓몬 GoTM'의 출시와 더불어 급속도로 관심이 집중되고 발전하기 시작하였다.
세부 기술로는 최근 들어 시각관성 측정법을 활용한 모션 트래킹 기술이 발전하면서 이를 증강현실에 적용시켜 카메라와 현실 공간 사이의 상대적인 움직임을 계산할 수 있다.
3차원 객체를 기하학적으로 표현하고 추가적으로 색상, 질감, 빛의 효과등을 표현하여 적용하는 렌더링(rendering) 기술의 발전으로 인해 3차원 가상 객체와 현실 공간과의 자연스러운 결합을 가능하게 되었다.
또한 최근 들어 OLED 기술의 발전으로 인해 AR서비스와 사용자와의 상호작용이 가능한 수준의 실시간 영상의 속도(frame rate)와 해상도(resolution)이 확보되었다.
국내공개특허 10-2020-0011656 A (2020.02.04) 국내공개특허 10-2017-0089228 A (2017.08.03) 국내공개특허 10-2014-0145217 A (2014.12.23)
본 발명에 따른 전자 장치의 동작 방법은, 3차원 이미지를 출력함으로써 시설물 점검 시 사용자에게 활용 가치가 높은 정보를 제공하고, 점검 효율을 높이는 것을 그 목적으로 한다.
또한, 본 발명에 따른 전자 장치의 동작 방법은, 보수 이력 및 내부 구조를 증강현실로 시각화함으로써 기존 문서/도면 방식에 비해 점검 효율을 현저히 향상시키는 것을 그 목적으로 한다.
본 발명이 해결하고자 하는 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며 언급되지 않은 또 다른 기술적과제들은 하기의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 과제를 해결하기 위한 본 발명의 일 실시예에 따른 전자 장치의 동작 방법은, 이미지 센서를 통해 시설물을 포함하는 이미지를 획득하는 단계, 유무선 통신망을 통해 서버로부터 상기 시설물의 내부 구조에 대한 3차원 이미지 및 상기 시설물의 보수 이력에 대한 3차원 이미지를 수신하는 단계 및 상기 시설물에 대한 이미지, 상기 시설물의 내부 구조에 대한 3차원 이미지 및 상기 시설물의 보수 이력에 대한 3차원 이미지를 기초로 생성되는 증강현실 이미지를 출력하는 단계를 포함할 수 있다.
나아가, 상기 유무선 통신망을 통해 상기 전자 장치의 위치 정보 및 상기 전자 장치의 방향 정보를 상기 서버에 제공하는 단계를 더 포함하고, 상기 시설물은, 상기 위치 정보 및 상기 방향 정보를 기초로 인식될 수 있다.
더 나아가, 상기 시설물의 내부 구조는, 상기 시설물 내부에 형성되는 철근 구조, 보강재, 배관, 상기 시설물을 구성하는 재료의 종류 또는 상기 시설물의 이름을 포함할 수 있다.
더 나아가, 상기 시설물의 보수 이력은, 상기 시설물이 보수된 날짜, 상기 시설물에 대한 보수 수행자 또는 상기 시설물의 위치를 포함할 수 있다.
나아가, 상기 시설물을 포함하는 이미지로부터 상기 시설물을 인식하는 단계 및 상기 유무선 통신망을 통해, 인식된 상기 시설물의 내부 구조에 대한 3차원 이미지 및 보수 이력에 대한 3차원 이미지를 요청하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 시설물 점검 시스템은, 이미지 센서를 사용하여 시설물을 포함하는 이미지를 획득하고, 유무선 통신망을 통해 상기 시설물의 내부 구조에 대한 3차원 이미지 및 상기 시설물의 보수 이력에 대한 3차원 이미지를 획득하고, 상기 시설물의 내부 구조에 대한 3차원 이미지 및 상기 시설물의 보수 이력에 대한 3차원 이미지를 기초로 생성되는 증강현실 이미지를 출력하는 사용자 단말 및 상기 사용자 단말로부터 상기 사용자 단말의 위치 및 방향을 수신하고, 상기 위치 및 방향을 기초로 상기 시설물을 인식하고, 인식된 상기 시설물의 상기 내부 구조에 대한 3차원 이미지 및 상기 보수 이력에 대한 3차원 이미지를 상기 유무선 통신망을 통해 사용자 단말에 제공하는 서버를 포함한다.
상기 사용자 단말은 상기 유무선 통신망을 통해 상기 전자 장치의 위치 정보 및 상기 전자 장치의 방향 정보를 상기 서버에 제공하고, 상기 시설물은, 상기 위치 정보 및 상기 방향 정보를 기초로 인식될 수 있다.
상기 시설물의 내부 구조는, 상기 시설물 내부에 형성되는 철근 구조, 보강재, 배관, 상기 시설물을 구성하는 재료의 종류 또는 상기 시설물의 이름을 포함할 수 있다.
상기 시설물의 보수 이력은, 상기 시설물이 보수된 날짜, 상기 시설물에 대한 보수 수행자 또는 상기 시설물의 위치를 포함할 수 있다.
상기 서버는: 상기 시설물을 포함하는 이미지로부터 상기 시설물을 인식하고, 상기 유무선 통신망을 통해, 인식된 상기 시설물의 내부 구조에 대한 3차원 이미지 및 보수 이력에 대한 3차원 이미지를 요청할 수 있다.
본 발명에 따른 전자 장치의 동작 방법은, 시설물에 대한 보수 이력 및 내부 구조를 증강현실 이미지를 통해 출력하므로, 시설물 점검 시 사용자에게 활용 가치가 높은 정보를 제공하고, 점검 효율을 높일 수 있다.
또한, 본 발명에 따른 전자 장치의 동작 방법은, 보수 이력 및 내부 구조를 증강현실로 시각화하기 때문에 기존 문서/도면 방식에 비해 점검 효율을 현저히 향상시킬 수 있는 효과가 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 특정한 바람직한 실시예들의 상기에서 설명한 바와 같은 또한 다른 측면들과, 특징들 및 이득들은 첨부 도면들과 함께 처리되는 하기의 설명으로부터 보다 명백하게 될 것이다.
도 1은 본 발명의 일 실시예에 따른 증강현실 기반의 시설물 점검 시스템을 개략적으로 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 전자 장치의 동작 방법을 설명하는 흐름도이다.
도 3a 및 3b는 본 발명의 일 실시예에 따른 시설물 점검 시스템의 동작 방법을 설명하는 도면이다.
도 4는 본 발명의 일 실시예에 따른 증강 현실 이미지를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 증강 현실 이미지를 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 증강 현실 이미지를 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 증강 현실 이미지를 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 전자 장치를 설명하기 위한 도면이다.
상기 도면들을 통해, 유사 참조 번호들은 동일한 혹은 유사한 엘리먼트들과, 특징들 및 구조들을 도시하기 위해 사용된다는 것에 유의해야만 한다.
이하, 첨부된 도면을 참조하여 실시예들을 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예들을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다. 또한, 첨부된 도면은 실시예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 기술적 사상이 제한되는 것으로 해석되어서는 안 된다.
도 1은 본 발명의 일 실시예에 따른 증강현실 기반의 시설물 점검 시스템을 개략적으로 나타내는 도면이다.
도 1을 참조하면, 시설물 점검 시스템(1)은 시설물 점검을 수행하는 사용자 단말(10) 및 시설물 점검에 필요한 데이터를 저장하는 서버(30)를 포함할 수 있다.
사용자 단말(10)은 다양한 종류의 데이터 처리 장치에 해당될 수 있으며, 일 예로서 모바일 장치에 해당할 수 있다. 또한, 사용자 단말(10)은 이동 전화기, 스마트폰, 태블릿, PDA(personal digital assistant), EDA(enterprise digital assistant), 디지털 스틸 카메라(digital still camera), 디지털 비디오 카메라(digital video camera), PMP(portable multimedia player), PND(personal navigation device 또는 portable navigation device), 모바일 인터넷 장치(mobile internet device(MID), 웨어러블 컴퓨터, 사물 인터넷(internet of things(IoT)) 장치, 만물 인터넷(internet of everything(IoE)) 장치에 해당할 수 있다.
사용자 단말(10)은 유무선 통신망(30)을 통해 서버(20)와 통신할 수 있다. 유무선 통신망(30)은, 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크, 블루투스, WiFi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크 또는 LAN(Local Area Network)과 같은 유선 통신망일 수 있다.
사용자 단말(10)은 서버(20)로부터 시설물 점검에 필요한 데이터를 수신하고, 시설물에 대한 3D 이미지를 출력할 수 있다. 예를 들어, 시설물에 대한 3D 이미지는 시설물의 내부 구조에 대한 3D 이미지, 시설물의 하자 보수 이력에 대한 3D 이미지, 시설물의 신규 하자에 대한 3D 이미지 중 적어도 하나를 포함할 수 있다.
시설물의 내부 구조는 시설물 내부에 배치된 철근, 보강재, 배관, 콘크리트의 품질, 상기 시설물을 구성하는 재료의 종류, 상기 시설물의 이름 등을 포함할 수 있다. 시설물의 내부 구조에 대한 3D 이미지는 내부 구조의 취약지점 분석 정보에 대한 3D 이미지를 포함할 수 있다. 예를 들어, 배치된 철근들이 받는 하중에 대한 3D 이미지를 포함할 수 있다. 시설물의 하자 보수 이력은 시설물의 보수 시기, 시설물 보수 수행자, 시설물의 위치, 하자 보수의 내용 등을 포함할 수 있다.
사용자 단말(10)은 시설물에 대한 3D 이미지를 디스플레이 또는 홀로그램을 통해 출력할 수 있다. 사용자 단말(10)은 사용자 단말(10)의 위치 정보 또는 카메라 모듈이 바라보는 방향 정보를 서버(20)에 제공하고, 서버(20)로부터 시설물에 대한 3D 이미지를 수신할 수 있다. 구체적으로, 서버(20)는 사용자 단말(10)의 위치로부터 정해진 거리에 배치되는 시설물 또는 카메라가 바라보는 방향에 배치되는 시설물에 대한 3D 이미지를 사용자 단말(10)에 제공할 수 있다.
사용자 단말(10)은 카메라 모듈 등을 통해 수신되는 시설물 이미지와, 시설물에 대한 3D 이미지를 합성하여 출력할 수 있다. 즉, 사용자 단말(10)은 시설물에 대한 3D 이미지를 기초로 생성되는 증강 현실(Augmented Reality) 이미지를 출력할 수 있다.
서버(20)는 제1 데이터베이스(21) 및 제2 데이터베이스(22)를 포함할 수 있다. 제1 데이터베이스(21)는 시설물의 하자 이력에 대한 데이터를 저장할 수 있다. 제2 데이터베이스(22)는 시설물의 내부 구조에 대한 데이터를 저장할 수 있다. 서버(20)는 사용자 단말(10)의 요청에 따라 시설물의 하자 이력에 대한 데이터 또는 시설물의 내부 구조에 대한 데이터를 사용자 단말(10)에 제공할 수 있다. 서버(20)는 사용자 단말(10)로부터 수신된 위치 정보 또는 사용자 단말(10)의 방향 정보를 기초로, 시설물을 선택하고, 선택된 시설물의 하자 이력에 대한 데이터 또는 내부 구조에 대한 데이터를 사용자 단말(10)에 제공할 수 있다.
본 발명의 일 실시예에 따른 시설물 점검 시스템(1)은 시설물에 대한 하자 이력 또는 내부 구조 중 적어도 하나를 3D 이미지로 구현함으로써, 점검에 필요한 다양한 정보를 포함하는 3D 이미지를 사용자에게 제공할 수 있다.
도 2는 본 발명의 일 실시예에 따른 전자 장치의 동작 방법을 설명하는 흐름도이다.
도 2를 참조하면, 전자 장치의 동작 방법은 시설물 점검에 필요한 3D 이미지를 제공하기 위하여 복수의 단계들(S10, S20, S30)을 포함할 수 있다. 전자 장치는 도 1을 통해 전술된 사용자 단말(10)의 일 예시일 수 있다. 따라서, 도 2는 도 1과 함께 참조하여 설명될 수 있다.
S10 단계에서, 사용자 단말(10)은 내부에 포함된 카메라 모듈을 통해 시설물 이미지를 획득할 수 있다. 시설물 이미지는 적어도 하나의 시설물을 포함하는 이미지일 수 있다.
S20 단계에서, 사용자 단말(10)은 서버(20)로부터 시설물에 대한 3D 이미지를 수신할 수 있다. 구체적으로, 사용자 단말(10)는 사용자 단말(10)의 위치 정보 또는 사용자 단말(10)의 방향 정보를 서버(20)에 제공하고, 위치 및 방향을 기초로 서버(20)가 인식한 시설물에 대한 3D 이미지를 수신할 수 있다. 일부 실시예들에서, 사용자 단말(10)은 시설물 이미지를 기초로 시설물을 직접 인식할 수 있고, 인식된 시설물에 대한 3D 이미지를 서버(20)에 요청할 수도 있다. S20 단계는 S21 단계 및 S22 단계를 포함할 수 있다.
S21 단계에서, 사용자 단말(10)은 시설물의 내부 구조에 대한 3D 이미지를 수신할 수 있다. 시설물의 내부 구조에 대한 3D 이미지는, 인식된 시설물과 3D로 합성되는 내부 구조를 포함할 수 있다. 즉, 사용자 단말(10)은 시설물의 내부 구조에 대한 3D 이미지를 증강 현실 기술을 사용하여 사용자에게 제공할 수 있고, 사용자는 내부 구조를 파악하기 위해 설계 도면을 별도로 구비할 필요가 없으므로, 간편하게 시설물 점검을 수행할 수 있다.
S22 단계에서, 사용자 단말(10)은 시설물의 보수 이력에 대한 3D 이미지를 수신할 수 있다. 시설물의 보수 이력에 대한 3D 이미지는, 인식된 시설물과 3D로 합성되는 하자 보수 이력에 대한 정보를 포함할 수 있다. 즉, 사용자 단말(10)은 시설물의 보수 이력에 대한 3D 이미지를 증강 현실 기술을 사용하여 사용자에게 제공할 수 있고, 사용자는 해당 시설물에 대해 보수가 수행된 이력이 있는지 여부, 보수 날짜, 보수 수행자 등에 대한 정보를 확보할 수 있으므로, 간편하게 시설물 점검을 수행할 수 있다.
S30 단계에서, 사용자 단말(10)은 시설물 이미지와, 시설물에 대한 3D 이미지를 합성시킴으로써 증강현실 이미지를 생성할 수 있고, 출력 모듈을 통해 증강현실 이미지를 출력(output)할 수 있다.
본 발명의 일 실시예에 따른 사용자 단말의 동작 방법은, 카메라 모듈을 통해 획득되는 시설물 이미지와, 서버로부터 수신되는 시설물에 대한 3D 이미지를 합성시킴으로써 증강 현실 이미지를 생성할 수 있다. 사용자 단말의 동작 방법은 증강 현실 이미지를 사용자에게 제공함으로써 점검의 편의성 및 신속성을 제공할 수 있다.
도 3a 및 3b는 본 발명의 일 실시예에 따른 시설물 점검 시스템의 동작 방법을 설명하는 도면이다.
도 3a를 참조하면, 시설물 점검 시스템의 동작 방법은 복수의 단계들(S310 내지 S340)을 포함할 수 있다.
S310 단계에서, 사용자 단말(10)은 상기 사용자 단말(10)의 위치 및 방향 정보를 서버(20)에게 제공할 수 있다. 사용자 단말(10)의 위치 정보는 GPS 모듈을 통해 획득될 수 있고, 사용자 단말(10)의 방향 정보는 자이로스코프(Gyroscope)와 같은 가속도 센서(자이로 센서)를 통해 획득될 수 있다.
S320 단계에서, 서버(20)는 사용자 단말(10)의 위치 및 방향 정보를 기초로 사용자 단말 근처의 시설물을 인식할 수 있다. 예를 들어, 서버(20)는 사용자 단말(10)로부터 미리 정해진 거리만큼 떨어진 시설물들을 인식할 수 있다. 또는, 서버(20)는 사용자 단말(10)의 위치를 기준으로, 사용자 단말(10)의 카메라 모듈이 바라보는 방향에 위치하는 시설물들을 인식할 수 있다. 서버(20)는 사용자 단말의 위치 및 방향 별 시설물들의 리스트를 저장하는 데이터베이스를 포함할 수 있다.
S330 단계에서, 서버(20)는 인식된 시설물에 대한 3D 이미지를 사용자 단말(10)에 제공할 수 있다. 시설물에 대한 3D 이미지는, 시설물의 내부 구조에 대한 3D 이미지 또는 시설물의 보수 이력에 대한 3D 이미지를 포함할 수 있다. 서버(20)는 다양한 시설물의 내부 구조에 대한 3D 이미지를 저장하는 데이터베이스 및 다양한 시설물의 보수 이력에 대한 3D 이미지를 저장하는 데이터베이스를 포함할 수 있다.
S340 단계에서, 사용자 단말(10)은 카메라 모듈로부터 획득되는 시설물 이미지와, 서버(20)로부터 수신된 3D 이미지를 합성함으로써 증강현실 이미지를 생성할 수 있다. 사용자 단말(10)은 증강현실 이미지를 출력함으로써 사용자로 하여금 시설물에 대한 다양한 정보를 접하도록 할 수 있다.
도 3b를 참조하면, 시설물 점검 시스템의 동작 방법은 복수의 단계들(S410 내지 S450)을 포함할 수 있다.
S410 단계에서, 사용자 단말(10)은 카메라 모듈을 통해 시설물 이미지를 획득할 수 있다. 시설물 이미지는 적어도 하나의 시설물을 포함할 수 있다.
S420 단계에서, 사용자 단말(10)은 시설물 이미지에서 적어도 하나의 시설물을 식별할 수 있다. 사용자 단말(10)은 인공지능(Artificial Intelligence, AI), 딥 러닝(Deep Learning) 또는 기계 학습(machine learning)을 통한 사물 인식 알고리즘을 수행할 수 있고, 사물 인식 알고리즘에 의해 적어도 하나의 시설물을 식별할 수 있다.
S430 단계에서, 사용자 단말(10)은 식별된 시설물에 대한 식별자(Identifier, ID)를 서버(20)에게 제공할 수 있다. 식별자는 시설물의 위치 좌표와 같은 위치 정보를 포함할 수도 있다.
S440 단계에서, 서버(20)는 식별자에 대응하는 시설물의 3D 이미지를 사용자 단말(10)에 제공할 수 있다. 구체적으로, 서버(20)는 다양한 시설물의 내부 구조에 대한 3D 이미지를 저장하는 데이터베이스 및 다양한 시설물의 보수 이력에 대한 3D 이미지를 저장하는 데이터베이스에서, 식별자에 대응하는 3D 이미지를 탐색하고, 탐색된 3D 이미지를 사용자 단말(10)에 제공할 수 있다. 즉, 서버는 시설물의 위치 좌표를 기초로 시설물을 식별하고, 식별된 시설물에 대한 3D 이미지를 사용자 단말(10)에게 제공할 수 있다.
S450 단계에서, 사용자 단말(10)은 카메라 모듈(또는 카메라, 이미지 센서)로부터 획득되는 시설물 이미지와 서버(20)로부터 수신된 3D 이미지를 합성함으로써 증강현실 이미지를 생성할 수 있다. 사용자 단말(10)은 증강현실 이미지를 출력함으로써 사용자로 하여금 시설물에 대한 다양한 정보를 접하도록 할 수 있다.
도 4는 본 발명의 일 실시예에 따른 증강 현실 이미지를 설명하기 위한 도면이다.
구체적으로, 도 4의 좌측은 카메라 모듈(또는 카메라, 이미지 센서)을 통해 획득되는 시설물 이미지(41)를 설명하는 도면이고, 도 4의 우측은 시설물 이미지와 시설물의 내부 구조에 대한 3D 이미지가 합성된 증강 현실 이미지(42)를 설명하는 도면이다. 도 4는 도 1과 함께 참조하여 설명될 수 있다. 또한 본 발명에서 카메라 모듈은 카메라, 이미지 센서 중 적어도 하나를 포함하는 것일 수 있다. 또한 시설물 이미지(41)는 본 발명에서 '시설물에 대한 기초 이미지'라고 지칭할 수도 있다.
도 4의 좌측을 참조하면, 시설물 이미지(41)는 사용자 단말(10)에 포함되는 카메라 모듈을 통해 획득(또는 촬영)될 수 있다. 시설물 이미지(41)는 적어도 하나의 시설물, 적어도 하나의 구조물, 적어도 하나의 부재 등을 포함할 수 있다. 예를 들어, 시설물 이미지(41)는 콘크리트로 형성된 바닥재(411)를 포함할 수 있다. 시설물 이미지(41)는 바닥재(411)의 외관(또는 외부 구조)을 보여줄 수 있으므로 외관에서 드러나는 바닥재(411)의 형태만을 사용자에게 제공할 수 있다. 따라서, 사용자(예; 점검자, 작업자, 관리자)는 바닥재(411)의 내부 구조를 파악하기 위하여 별도의 설계 도면을 지참해야 할 필요성이 있을 수 있다.
도 4의 우측을 참조하면, 본 발명의 일 실시예에 따른 증강 현실 이미지(42)는 i) 시설물 이미지(41)와 ii) 시설물에 대한 3D 이미지가 합성됨으로써 생성될 수 있다. 예를 들어, 시설물에 대한 3D 이미지는 바닥재(411)에 내부 구조를 형성하는 철근 구조에 대한 3D 이미지(412)일 수 있다. 즉, 사용자는 별도의 설계 도면을 지참하지 않더라도 증강현실 이미지를 활용하여 시설물의 내부 구조를 파악할 수 있다. 사용자 단말(10)은 철근 구조에 대한 3D 이미지(412)를 서버(20)로부터 수신할 수 있다. 일부 실시예들에서, 사용자 단말(10)은 사용자 단말(10)의 위치 정보 및 방향 정보를 서버(20)에 제공함으로써 철근 구조에 대한 3D 이미지(412)를 서버(20)로부터 수신할 수 있다. 일부 실시예들에서, 사용자 단말(10)은 시설물 이미지(41)로부터 바닥재(411)를 식별하고, 식별된 바닥재(411)의 내부 구조에 대한 3D 이미지를 서버(20)에 요청할 수도 있다.
도 4의 우측을 통해 철근 구조에 대한 3D 이미지(412)만 설명하였으나, 실시예는 이에 제한되지 않으며, 증강 현실 이미지(42)에 도시된 바와 같이, 시설물에 대한 3D 이미지는, 외관으로 보이지 않으나, 시설물의 내부에 설치되어 있는 센서, 구조물 등에 대한 3D 이미지를 포함할 수도 있다.
도 5는 본 발명의 일 실시예에 따른 보수 이력에 대한 3D 이미지를 포함하는 증강 현실 이미지를 설명하기 위한 도면이다.
구체적으로, 도 5의 상측은 카메라 모듈(또는 카메라, 이미지 센서)을 통해 획득되는 시설물 이미지를 설명하는 도면이고, 도 5의 하측은 시설물 이미지와 시설물의 보수 이력에 대한 3D 이미지가 합성된 증강 현실 이미지를 설명하는 도면이다. 도 5은 도 1과 함께 참조하여 설명될 수 있다.
도 5의 상측을 참조하면, 시설물 이미지(51)는 사용자 단말(10)에 포함되는 카메라 모듈(또는 카메라, 이미지 센서)을 통해 획득될 수 있다. 시설물 이미지(51)는 적어도 하나의 시설물을 포함할 수 있다. 예를 들어, 시설물 이미지(51)는 주택 내부에 포함되는 201호의 방문(510)에 대한 이미지를 포함할 수 있다. 시설물 이미지(51)는 방문(510)의 외관만 보여줄 수 있으므로 방문(510)의 형태에서 알 수 있는 하자(defect)만을 사용자에게 제공할 수 있다. 따라서, 사용자는 방문(510)과 관련된 방의 보수 이력을 파악하기 위하여 건물주에게 하자 보수 이력에 대한 정보를 요구해야 할 필요성이 있을 수 있다.
도 5의 하측을 참조하면, 본 발명의 일 실시예에 따른 증강 현실 이미지(52)는 시설물 이미지(51)와, 시설물의 보수 이력에 대한 3D 이미지가 합성됨으로써 생성될 수 있다. 예를 들어, 시설물의 보수 이력에 대한 3D 이미지는, 방문(510)과 관련된 방의 보수 이력에 대한 3D 이미지(520)일 수 있다. 사용자 단말(10)은 보수 이력에 대한 3D 이미지(520)를 서버(20)로부터 수신할 수 있다. 보수 이력에 대한 3D 이미지(520)는 복수의 서브 이미지들(521, 522)을 포함할 수 있다. 예를 들어, 집의 구조도를 사용하여 201호의 위치를 나타내는 제1 서브 이미지(521) 및 방의 하자 보수 이력을 나타내는 제2 서브 이미지(522)를 포함할 수 있다. 도 5의 하측에 도시된 바와 같이, 제2 서브 이미지(522)는, 201호에 포함되는 서브 방들(예; 침실1, 욕실1)을 도시할 수 있고, 각 서브 방들에 대한 보수 이력을 도시할 수 있다. 예를 들어, 침실1(Bedroom-1)에 대하여, 3개의 크랙들 및 2번의 누수를 보수하였다는 이력을 도시할 수 있고, 욕실1(Bathroom-1)에 대하여, 2개의 크랙들 및 1번의 고장을 보수하였다는 이력을 도시할 수 있다.
사용자 단말(10)의 사용자는 증강현실 이미지를 활용하여 해당 방에 대한 보수 이력을 참고할 수 있으므로, 적절한 하자 보수 방법을 선택할 수 있고, 보수 이력을 체계적으로 관리할 수 있다.
도 6은 본 발명의 일 실시예에 따른 보수 이력에 대한 3D 이미지를 포함하는 증강 현실 이미지를 설명하기 위한 도면이다.
구체적으로, 도 6의 상측(upper side)은 카메라 모듈을 통해 획득되는 시설물 이미지를 설명하는 도면이고, 도 6의 하측은 시설물 이미지와 시설물의 보수 이력에 대한 3D 이미지가 합성된 증강 현실 이미지를 설명하는 도면이다. 도 6은 도 1과 함께 참조하여 설명될 수 있다.
도 6의 상측을 참조하면, 시설물 이미지(61)는 사용자 단말(10)에 포함되는 카메라 모듈(또는 카메라 센서)을 통해 획득될 수 있다. 시설물 이미지(61)는 적어도 하나의 시설물을 포함할 수 있다. 예를 들어, 시설물 이미지(61)는 벽체에 형성되는 크랙(crack, 610)에 대한 이미지를 포함할 수 있다. 시설물 이미지(41)는 크랙(610)의 외관만 보여줄 수 있으므로, 크랙(610)의 깊이, 크기 등의 수치를 사용자가 직접 측정해야 하고, 기존에 하자 보수된 위치에서 크랙(610)이 재차 발생한 경우 재차 부적절한 방법으로 크랙(610)을 제거할 가능성도 있다.
도 6의 하측을 참조하면, 본 발명의 일 실시예에 따른 증강 현실 이미지(62)는 시설물 이미지(61)와, 시설물의 보수 이력에 대한 3D 이미지가 합성됨으로써 생성될 수 있다. 예를 들어, 시설물의 보수 이력에 대한 3D 이미지는, 크랙(610)과 관련된 보수 이력에 대한 3D 이미지(620)일 수 있다. 일부 실시예들에서, 사용자 단말(10)은 시설물 이미지(61)에서 사물 인식을 통해 크랙(610)을 식별할 수 있다. 사용자 단말(60)은 크랙(610)의 보수 이력에 대한 3D 이미지(620)를 서버(20)로부터 수신할 수 있다. 크랙(610)의 보수 이력에 대한 3D 이미지(620)는, 보수 날짜, 보수 수행자, 크랙(610)이 발생한 위치 및 크랙의 깊이 등을 포함하는 이미지일 수 있다.
사용자는 증강현실 이미지를 활용하여 해당 방에 대한 보수 이력을 참고할 수 있고, 사물 인식을 통해 식별되는 크랙의 위치 및 크랙의 깊이 등을 활용할 수 있으므로, 편리하게 하자를 보수할 수 있다.
도 7은 본 발명의 일 실시예에 따른 보수 이력에 대한 3D 이미지를 포함하는 증강 현실 이미지를 설명하기 위한 도면이다.
구체적으로, 도 7의 상측(upper side)은 카메라 모듈을 통해 획득되는 시설물 이미지를 설명하는 도면이고, 도 7의 하측(lower side)은 시설물 이미지와 시설물의 보수 이력에 대한 3D 이미지가 합성된 증강 현실 이미지를 설명하는 도면이다. 도 7은 도 1과 함께 참조하여 설명될 수 있다.
도 7의 상측을 참조하면, 시설물 이미지(71)는 사용자 단말(10)에 포함되는 카메라 모듈을 통해 획득될 수 있다. 시설물 이미지(71)는 적어도 하나의 시설물을 포함할 수 있다. 예를 들어, 시설물 이미지(71)는 싱크대 하부에 위치하는 배수관(710)에 대한 이미지를 포함할 수 있다. 시설물 이미지(71)는 배수관(710)의 외관만 보여줄 수 있으므로, 배수관(710)의 이전 하자 보수(repair of previous defects)와 동일한 방법으로 하자 보수를 진행함으로써 무의미한 하자 보수가 다시 수행될 우려가 있다.
도 7의 하측을 참조하면, 본 발명의 일 실시예에 따른 증강 현실 이미지(72)는 시설물 이미지(71)와, 시설물의 보수 이력(repair history)에 대한 3D 이미지가 합성됨으로써 생성될 수 있다. 예를 들어, 시설물의 보수 이력에 대한 3D 이미지는, 배수관(710)과 관련된 보수 이력에 대한 3D 이미지(720)일 수 있다. 일부 실시예들에서, 사용자 단말(10)은 시설물 이미지(71)에서 사물 인식을 통해 배수관(710)을 식별할 수 있다. 사용자 단말(10)은 배수관(710)의 보수 이력에 대한 3D 이미지(720)를 서버(20)로부터 수신할 수 있다. 배수관(710)의 보수 이력에 대한 3D 이미지(720)는, 보수 날짜, 보수 수행자, 배수관(710)의 위치 및 기타 설명 등을 포함하는 이미지일 수 있다.
사용자는 증강현실 이미지를 활용하여 시설물에 대한 보수 이력을 확인할 수 있으므로, 이전과 상이한 방법으로 하자를 보수할 수 있고, 반복되는 하자 발생 위험을 줄일 수 있다.
도 8a 및 도 8b는 본 발명의 일 실시예에 따른 시설물 선택 방법을 설명하는 도면이다.
도 8a를 참조하면, 사용자 단말(10)의 시야(50)는 반시계 방향으로 회전할 수 있다. 예를 들어, 시설물을 점검하는 점검자, 즉 사용자가 사용자 단말(10)을 휴대하고 반시계 방향으로 회전하면서 제1 내지 제4 시설물들(object 1 내지 object 4)을 점검할 수 있다.
본 발명의 일 실시예에 따르면, 사용자 단말(10)은 서버(20)에게 사용자 단말(10)의 회전 속도(w [rpm] or [rad/sec])를 제공할 수 있다. 서버(20)는 상기 사용자 단말(10)의 회전 속도(w)를 기초로, 회전 반경 안에 위치하는 제1 내지 제4 시설물들(object 1 내지 object 4) 중 적어도 하나를 선택하고, 선택된 시설물들에 대한 3D 이미지를 사용자 단말(10)에게 제공할 수 있다.
일 예로, 상기 회전 속도(w [rpm] or [rad/sec])가 소정의 제1 회전 속도인 경우: 서버(20)는 제1 시설물(object 1)에 대한 3D 이미지 만을 사용자 단말(10)에게 제공할 수 있고, 회전 속도(w [rpm] or [rad/sec])가 소정의 제2 회전 속도인 경우: 서버(20)는 제1 및 제2 시설물(object 1, object 2)에 대한 3D 이미지만을 사용자 단말(10)에게 제공할 수 있고, 회전 속도(w)가 소정의 제3 회전 속도인 경우: 서버(20)는 제1 내지 제3 시설물들(object 1 내지 object 3)에 대한 3D 이미지만을 사용자 단말(10)에게 제공할 수 있고, 회전 속도(w)가 소정의 제4 회전 속도인 경우: 서버(20)는 제1 내지 제4 시설물(object 1 내지 object 4)에 대한 3D 이미지를 사용자 단말(10)에게 제공할 수 있다. 제1 회전 속도는 제2 회전 속도보다 느리고, 제2 회전 속도는 제3 회전 속도보다 느리고, 제3 회전 속도는 제4 회전 속도보다 느린 것으로 사용자 단말(10) 및/또는 서버(20)에 의해 설정될 수 있다. 즉 제4 회전 속도가 제일 빠른 속도라 할 수 있다.
즉, 본 발명의 일 실시예에 따르면, 서버(20)는 사용자 단말(10)의 회전 속도를 기초로 사용자 단말(10)의 시야(view, sight)(50)에 포함될 시설물들을 예측하고, 예측된 시설물들에 대한 3D 이미지(또는 이에 상응하는 데이터) 만을 사용자 단말(10)에게 전송(또는 제공)함으로써, 데이터 전송량 및/또는 데이터 처리량 등을 감소시키는 기술적인 효과를 기대할 수 있다.
또한 서버(20)는, 상기 서버(20)의 통신부(또는 송수신기)의 실시간 데이터 전송량 및/또는 상기 서버(20)의 제어부(또는 프로세서)의 실시간 데이터 처리량 등을 더 고려하여 회전 속도를 기초로 사용자 단말(10)에게 제공할 시설물에 대한 3D 이미지를 선택할 수 있다(즉 선택적으로 제공할 수 있다). 일 예로, 서버(20)의 통신부(또는 송수신기)의 실시간 데이터 전송량이 소정의 기준 전송량 이하이고, 상기 서버(20)의 제어부(또는 프로세서)의 실시간 데이터 처리량이 소정의 기준 처리량 이하이면, 상기 서버(20)는 전술한 바와 같이 사용자 단말(10)의 (실시간) 회전 속도와 제1 내지 제4 회전 속도를 비교한 결과에 따라 제1 내지 제4 시설물에 대한 3D 이미지 중에서 선택적으로 사용자 단말(10)에게 전달(또는 제공)할 수 있다. 다른 예로, 서버(20)의 통신부(또는 송수신기)의 실시간 데이터 전송량이 상기 소정의 기준 전송량을 초과하거나, 상기 서버(20)의 제어부(또는 프로세서)의 실시간 데이터 처리량이 소정의 기준 처리량을 초과한 경우라면, 상기 사용자 단말(10)의 위치로부터 가장 가까운 시설물 또는 상기 사용자 단말(10)의 카메라 모듈(또는 카메라, 이미지 센서)이 향하고 있는 방향에 위치하는 시설물에 대한 3D 이미지 만을 사용자 단말(10)에게 전달(또는 제공)할 수 있다.
다른 예로, 상기 회전 속도(w [rpm] or [rad/sec])가 소정의 제1 회전 속도인 경우 서버(20)는 제1 시설물(object 1)에 대한 3D 이미지 만을 사용자 단말(10)에게 제공할 수 있고, 회전 속도(w [rpm] or [rad/sec])가 소정의 제2 회전 속도인 경우: 서버(20)는 제1 내지 제3 시설물들(object 1 내지 object 3)에 대한 3D 이미지만을 사용자 단말(10)에게 제공할 수 있고, 회전 속도(w)가 소정의 제3 회전 속도인 경우: 서버(20)는 제1 및 제2 시설물(object 1, object 2)에 대한 3D 이미지만을 사용자 단말(10)에게 제공할 수 있고, 회전 속도(w)가 소정의 제4 회전 속도인 경우: 서버(20)는 제1 시설물(object 1)에 대한 3D 이미지 만을 사용자 단말(10)에게 제공할 수도 있다. 제1 회전 속도는 제2 회전 속도보다 느리고, 제2 회전 속도는 제3 회전 속도보다 느리고, 제3 회전 속도는 제4 회전 속도보다 느린 것으로 사용자 단말(10) 및/또는 서버(20)에 의해 설정될 수 있다.
도 8b를 참조하면, 본 발명의 일 실시예에 따른 시설물 선택 방법은, 복수의 단계들(S510 내지 S540)을 포함할 수 있다.
S510 단계에서, 사용자 단말(10)은 상기 사용자 단말(10)의 회전 속도를 서버(20)에게 제공할 수 있다. 사용자 단말(10)의 회전 속도는 사용자 단말(10)에 포함되는 가속도 센서, 자이로 센서, 회전 속도계(예; 접촉식 회전속도계, 광 회전속도계) 등에 의해 감지될 수 있다.
S520 단계에서, 서버(20)는 상기 사용자 단말(10)의 회전 속도를 기초로 사용자 단말(10)의 시야(50)에 포함될 시설물들을 선택할 수 있다. 구체적으로, 서버(20)는 회전 속도가 빠를수록 더 많은 개수의 시설물들을 선택할 수 있다.
S530 단계에서, 서버(20)는 선택된 시설물들(또는 '특정 시설물'이라 칭할 수 있다)에 대한 3D 이미지를 사용자 단말(10)에게 제공할 수 있다. 선택된 시설물은 현재 시야(50)에 포함되는 시설물이거나, 향후 시야(50)에 포함될 시설물일 수 있다.
S540 단계에서, 사용자 단말(10)은 카메라 모듈(또는 카메라 센서)을 통해 획득되는 시설물 이미지와, 서버(20)로부터 수신된 3D 이미지를 합성함으로써 증강현실 이미지를 생성하고, 증강현실 이미지를 출력할 수 있다.
도 9a 및 도 9b는 본 발명의 일 실시예에 따른 시설물 선택 방법을 설명하는 도면이다.
도 9a를 참조하면, 사용자 단말(10)은 시야(50)를 제1 방향(예를 들어, Y축 방향)으로 고정하고, 제1 방향에 수직한 제2 방향(예를 들어, X축 방향)으로 이동할 수 있다. 예를 들어, 시설물을 점검하는 점검자가 사용자 단말(10)을 휴대하고 X축 방향으로 이동하면서 제1 내지 제4 시설물들(object 1 내지 object 4)을 점검할 수 있다.
본 발명의 일 실시예에 따르면, 사용자 단말(10)은 서버(20)에 이동 속도(v [m/s] or [km/h])를 제공할 수 있다. 서버(20)는 이동 속도(v [m/s] or [km/h])를 기초로 이동 경로 내에 위치하는 제1 내지 4 시설물들(object 1 내지 object 4) 중 적어도 하나를 선택하고, 선택된 시설물들에 대한 3D 이미지를 사용자 단말(10)에게 제공할 수 있다.
예를 들어, 이동 속도(v [m/s] or [km/h])가 제1 이동 속도(v1)인 경우, 서버(20)는 제1 시설물(object 1)에 대한 3D 이미지만을 사용자 단말(10)에 제공할 수 있고, 이동 속도(v)가 제2 이동 속도(v2)인 경우, 서버(20)는 제1 및 2 시설물(object 1, object 2)에 대한 3D 이미지만을 사용자 단말(10)에 제공할 수 있고, 이동 속도(v [m/s] or [km/h])가 제3 이동 속도(v3)인 경우, 서버(20)는 제1 내지 제3 시설물들(object 1 내지 object 3)에 대한 3D 이미지만을 사용자 단말(10)에 제공할 수 있고, 이동 속도(v [m/s] or [km/h])가 제4 이동 속도(v4)인 경우, 서버(20)는 제1 내지 제4 시설물(object 1 내지 object 4)에 대한 3D 이미지를 사용자 단말(10)에게 전달(또는 제공)할 수 있다. 제1 이동 속도(v1)는 제2 이동 속도(v2)보다 느리고, 제2 이동 속도(v2)는 제3 이동 속도(v3)보다 느리고, 제3 이동 속도는 제4 이동 속도(v4)보다 느릴 수 있다.
즉, 본 발명의 일 실시예에 따르면, 서버(20)는 사용자 단말(10)의 이동 속도를 기초로 사용자 단말(10)의 시야(view, sight)(50)에 포함될 시설물들을 예측하고, 예측된 시설물들에 대한 3D 이미지(또는 이에 상응하는 데이터) 만을 사용자 단말(10)에게 제공함으로써, 데이터 전송량 및/또는 데이터 처리량 등을 감소시키는 기술적인 효과를 기대할 수 있다.
또한 서버(20)는, 상기 서버(20)의 통신부(또는 송수신기)의 실시간 데이터 전송량 및/또는 상기 서버(20)의 제어부(또는 프로세서)의 실시간 데이터 처리량 등을 더 고려하여, 이동 속도를 기초로 사용자 단말(10)에게 제공할 시설물에 대한 3D 이미지를 선택할 수 있다(즉 선택적으로 제공할 수 있다). 일 예로, 서버(20)의 통신부(또는 송수신기)의 실시간 데이터 전송량이 소정의 기준 전송량 이하이고, 상기 서버(20)의 제어부(또는 프로세서)의 실시간 데이터 처리량이 소정의 기준 처리량 이하이면, 상기 서버(20)는 전술한 바와 같이 사용자 단말(10)의 (실시간) 이동 속도와 제1 내지 제4 이동 속도를 비교한 결과에 따라 제1 내지 제4 시설물에 대한 3D 이미지 중에서 선택적으로 사용자 단말(10)에게 전달(또는 제공)할 수 있다. 다른 예로, 서버(20)의 통신부(또는 송수신기)의 실시간 데이터 전송량이 상기 소정의 기준 전송량을 초과하거나, 상기 서버(20)의 제어부(또는 프로세서)의 실시간 데이터 처리량이 소정의 기준 처리량을 초과한 경우라면, 상기 사용자 단말(10)의 위치로부터 가장 가까운 시설물 또는 상기 사용자 단말(10)로부터 제1 방향(즉, Y축 방향)에 위치하는 시설물에 대한 3D 이미지 만을 사용자 단말(10)에게 전달(또는 제공)할 수 있다.
도 9b를 참조하면, 본 발명의 일 실시예에 따른 시설물 선택 방법은, 복수의 단계들(S610 내지 S640)을 포함할 수 있다.
S610 단계에서, 사용자 단말(10)은 이동 속도(v [m/s] or [km/h])를 서버(20)에 제공할 수 있다. 이동 속도(v)는 사용자 단말(10)에 포함되는 속도 센서에 의해 감지될 수 있다.
S620 단계에서, 서버(20)는 이동 속도를 기초로 사용자 단말(10)의 시야(50)에 포함된 시설물들 및 포함될 시설물들을 선택할 수 있다. 일 예로, 서버(20)는 이동 속도가 빠를수록 더 많은 개수의 시설물들을 선택할 수 있다.
S630 단계에서, 서버(20)는 선택된 시설물들에 대한 3D 이미지를 사용자 단말(10)에게 제공할 수 있다. 선택된 시설물은 현재 시야(50)(또는 제1 시점의 시야)에 포함되는 시설물이거나, 향후 시야(50)(또는 제2 시점의 시야)에 포함될 시설물일 수 있다. 이때 상기 제2 시점은 상기 제1 시점에 비해 나중인 시점(또는 시간)을 지칭할 수 있다.
S640 단계에서, 사용자 단말(10)은 카메라 모듈을 통해 획득되는 시설물 이미지와, 서버(20)로부터 수신된 3D 이미지를 합성함으로써 증강현실 이미지를 생성하고, 증강현실 이미지를 출력할 수 있다.
도 10은 본 발명의 일 실시예에 따른 모드 선택 방법을 설명하는 도면이다.
도 10을 참조하면, 모드 선택 방법은 복수의 단계들(S710 내지 S740)을 포함할 수 있다.
S710 단계에서, 사용자 단말(10)에 포함되는 입력 장치는, 사용자로부터 내부 구조 탐색 모드 및 보수 이력 탐색 모드 중 하나를 입력받을 수 있고, 사용자 단말(10)은 내부 구조 탐색 모드 및 보수 이력 탐색 모드 중 하나를 선택할 수 있다. 내부 구조 탐색 모드는 시설물의 내부 구조에 대한 증강현실 이미지를 출력하는 모드이고, 보수 이력 탐색 모드는 시설물의 보수 이력에 대한 증강현실 이미지를 출력하는 모드이다.
S720 단계에서, 사용자 단말(10)은 선택된 모드에 대한 정보를 서버(20)에 제공할 수 있다.
S730 단계에서, 서버(20)는 시설물의 내부 구조에 대한 3D 이미지 및 시설물의 보수 이력에 대한 3D 이미지 중에서, 선택된 모드에 대응되는 3D 이미지를 사용자 단말(10)에게 제공할 수 있다.
S740 단계에서, 사용자 단말(10)은 카메라 모듈을 통해 획득되는 시설물 이미지와, 서버(20)로부터 수신되는 시설물 이미지를 합성함으로써 증강현실 이미지를 생성할 수 있다.
본 발명의 일 실시예에 따르면, 서버(20)는 두 가지 모드 중 어느 하나의 모드에 대응하는 3D 이미지만 사용자 단말(10)에 제공하므로, 데이터 전송량을 줄일 수 있고, 시설물 점검 시스템의 성능(예; 처리 속도)이 향상될 수 있다.
또한 본 발명의 일 실시예는 다음과 같은 특징을 더 포함할 수도 있다.
일 예로, 사용자 단말(10) 및/또는 서버(20)는 내부 구조 탐색 모드, 보수 이력 탐색 모드 중 하나를 선택할 수 있다. 이는 사용자 단말(10) 및/또는 서버(20)의 사용자가 선택 및/또는 설정하는 것이 아닌, 사용자 단말(10) 및/또는 서버(20)의 제어부(또는 프로세서)가 소정의 기준에 따라 모드들 중 어느 하나를 선택하는 것을 의미할 수 있다.
일 예로, 내부 구조 탐색 모드는 구체적인 결과를 찾아내는 하드 모드(hard mode)에 상응하고, 보수 이력 탐색 모드는 대략적인 규모만 확인하려는 이지 모드(easy mode)에 상응할 수 있다.
도 11은 본 발명의 일 실시예에 따른 전자 장치를 설명하기 위한 블록도이다.
도 11의 전자 장치(101)는, 예를 들어, 도 1을 통해 전술된 사용자 단말(10)의 일 예일 수 있다. 도 11을 참조하면, 전자 장치(101)는 통신 모듈(160)을 사용하여 도 1을 통해 전술된 서버(20)와 통신할 수 있다.
일 실시예에 따르면, 전자 장치(101)는 입력 장치(110), 표시 장치(120), 메모리(130), 오디오 모듈(140), 프로세서(150), 통신 모듈(160), 센서 모듈(170), GPS 모듈(180) 및 카메라 모듈(190)을 포함할 수 있다.
어떤 실시예에서, 구성요소들 중 적어도 하나(예: 표시 장치(120) 또는 카메라 모듈(190))가 전자 장치(101)에서 생략되거나 다른 구성 요소가 전자 장치(101)에서 추가될 수 있다. 어떤 실시예에서, 표시 장치(120)(예: 디스플레이)에 센서 모듈(170)(예: 지문 센서, 홍채 센서, 또는 조도 센서)이 임베디드 되는 경우와 같이, 일부의 구성요소들이 통합되어 구현될 수 있다.
일 실시예에 따르면, 입력 장치(110)는, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신하기 위한 장치로서, 예를 들면, 마이크, 마우스, 또는 키보드를 포함할 수 있다.
일 실시예에 따르면, 표시 장치(120)는 전자 장치(101)의 사용자에게 정보를 시각적으로 제공하기 위한 장치로서, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일 실시예에 따르면, 표시 장치(120)는 터치 회로(touch circuitry) 또는 터치에 대한 압력의 세기를 측정할 수 있는 압력 센서를 포함할 수 있다.
일 실시예에 따르면, 오디오 모듈(140)은 소리와 전기 신호를 쌍방향으로 변환시킬 수 있다. 일 실시예에 따르면, 오디오 모듈(140)은, 입력 장치(110)를 통해 소리를 획득하거나, 전자 장치(101)와 유선 또는 무선으로 연결된 외부 전자 장치(예: 스피커 또는 헤드폰))를 통해 소리를 출력할 수 있다.
프로세서(150)는, 예를 들면, 소프트웨어를 구동하여 프로세서(150)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)을 제어할 수 있고, 다양한 데이터 처리 및 연산을 수행할 수 있다. 프로세서(150)는 다른 구성요소(예: 센서 모듈(170) 또는 통신 모듈(160))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 로드(loading)하여 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일 실시예에 따르면, 프로세서(120)는 중앙 처리 장치, 애플리케이션 프로세서, 그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서를 포함할 수 있다.
프로세서(150)는 카메라 모듈(190)로부터 수신되는 신호를 기초로 시설물 이미지를 생성할 수 있고, 시설물에 대한 이미지를 메모리(130)에 저장할 수 있다. 프로세서(150)는 도 1의 서버(20)로부터 수신되는 시설물에 대한 3D 이미지와, 메모리(130)에 저장된 시설물 이미지를 결합함으로써 증강현실 이미지를 생성할 수 있다.
일 실시예에 따르면, 통신 모듈(160)은 전자 장치(101)와 외부 장치(예: 도 1의 서버(20))간의 유선 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(160)은 프로세서(150)(예: 애플리케이션 프로세서)와 독립적으로 운영되는, 유선 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일 실시예에 따르면, 통신 모듈(160)은 무선 통신 모듈(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함하고, 외부 장치(예를 들어, 도 1의 서버(20))와 통신할 수 있다. 상술한 여러 종류의 통신 모듈(160)은 하나의 칩으로 구현되거나 또는 각각 별도의 칩으로 구현될 수 있다.
일 실시예에 따르면, 센서 모듈(170)은 전자 장치(101)의 내부의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 센서 모듈(170)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 속도 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다. 센서 모듈(170)은 전자 장치(101)의 이동 속도, 회전 속도, 방향을 감지할 수 있고, 감지된 이동 속도, 회전 속도 및 방향은 통신 모듈(160)을 통해 도 1의 서버(20)에 제공될 수 있다.
일 실시예에 따르면, GPS 모듈(180)은 전자 장치(101)의 위치 정보를 획득할 수 있다. 구체적으로, GPS 모듈(180)은 복수의 GPS 위성들과 통신할 수 있고, 삼변측량과 같은 방법을 통해 전자 장치(101)의 위치 정보를 획득할 수 있다. GPS 모듈(180)은 통신 모듈(160)을 통해 전자 장치(101)의 위치 정보를 도 1의 서버(20)에 제공할 수 있다.
일 실시예에 따르면, 카메라 모듈(190)은 정지 영상 및 동영상을 촬영할 수 있다. 일 실시예에 따르면, 카메라 모듈(190)은 이미지 센서로 지칭될 수 있고, 하나 이상의 렌즈, 이미지 시그널 프로세서, 또는 플래시를 포함할 수 있다.
실시예들을 설명하기 위해 사용된 용어는 특정 실시예들을 설명하기 위한 목적으로 사용되고, 실시예들을 제한하기 위해서 의도되지 않는다. 실시예들의 설명 및 청구항에서 사용된 바와 같이, 문맥 상 명확하게 지칭하지 않는 한 단수는 복수를 포함하는 것으로 의도된다. 및/또는 표현은 용어 간의 모든 가능한 결합을 포함하는 의미로 사용된다. 포함한다 표현은 특징들, 수들, 단계들, 엘리먼트들, 및/또는 컴포넌트들이 존재하는 것을 설명하고, 추가적인 특징들, 수들, 단계들, 엘리먼트들, 및/또는 컴포넌트들을 포함하지 않는 것을 의미하지 않는다. 실시예들을 설명하기 위해 사용되는 ~인 경우, ~ 때 등의 조건 표현은 선택적인 경우로만 제한 해석되지 않는다. 특정 조건을 만족하는 때, 특정 조건에 대응하여 관련 동작을 수행하거나, 관련 정의가 해석되도록 의도되었다.
이상의 설명은 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 실시예들이 속하는 기술 분야에서 통상의 지식을 가진 자라면 실시예들의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 이상에서 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 본 발명의 실시예에 의하여 기술 사상의 범위가 한정되는 것은 아니다.
본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
1: 시설물 점검 시스템
10: 사용자 단말 20: 서버
21: 제1 데이터베이스 22: 제2 데이터베이스
30: 유무선 통신
101: 전자 장치

Claims (5)

  1. 이미지 센서를 사용하여 시설물을 포함하는 기초 이미지를 획득하고, 유무선 통신망을 통해 상기 시설물의 내부 구조에 대한 3차원 이미지 및 상기 시설물의 보수 이력에 대한 3차원 이미지를 획득하고, 상기 시설물의 내부 구조에 대한 3차원 이미지 및 상기 시설물의 보수 이력에 대한 3차원 이미지를 기초로 생성되는 증강현실 이미지를 출력하는 사용자 단말; 및
    상기 사용자 단말로부터 상기 사용자 단말의 위치 및 방향을 수신하고, 상기 위치 및 방향을 기초로 상기 시설물을 인식하고, 인식된 상기 시설물의 상기 내부 구조에 대한 3차원 이미지 및 상기 보수 이력에 대한 3차원 이미지를 상기 유무선 통신망을 통해 사용자 단말에게 제공하는 서버; 를 포함하고,
    상기 사용자 단말의 위치는, 상기 사용자 단말의 가속도 센서, 자이로 센서 중 적어도 어느 하나를 통해 결정되고,
    상기 서버는:
    상기 기초 이미지, 상기 시설물의 내부 구조에 대한 3차원 이미지 및 상기 시설물의 보수 이력에 대한 3차원 이미지를 합성하는 과정을 통하여 상기 증강현실 이미지를 생성하고,
    상기 사용자 단말의 위치 및 방향에 기반하여 상기 기초 이미지로부터 상기 시설물을 인식하고,
    상기 시설물이 복수의 오브젝트(object)를 포함하는 경우, 상기 서버는:
    상기 서버의 실시간 데이터 전송량이 소정의 기준 전송량 이하이고, 상기 서버의 실시간 데이터 처리량이 소정의 기준 처리량 이하이면, 상기 사용자 단말의 실시간 이동 속도와 복수의 기준 이동 속도 각각을 비교한 결과에 따라 상기 복수의 오브젝트에 대한 3D 이미지 중에서 선택적으로 상기 사용자 단말에게 전달하고,
    상기 서버의 실시간 데이터 전송량이 상기 소정의 기준 전송량을 초과하거나, 상기 서버의 실시간 데이터 처리량이 소정의 기준 처리량을 초과한 경우라면, 상기 사용자 단말의 위치로부터 특정 방향에 위치하는 오브젝트에 대한 3D 이미지 만을 상기 사용자 단말에게 전달하는, 시설물 점검 시스템.
  2. 삭제
  3. 제1항에 있어서,
    상기 시설물의 내부 구조는 상기 시설물 내부에 형성되는 철근 구조, 보강재, 배관, 상기 시설물을 구성하는 재료의 종류 또는 상기 시설물의 이름을 포함하는, 시설물 점검 시스템.
  4. 제3항에 있어서,
    상기 시설물의 보수 이력은 상기 시설물이 보수된 날짜, 상기 시설물에 대한 보수 수행자 또는 상기 시설물의 위치를 포함하는, 시설물 점검 시스템.
  5. 삭제
KR1020220050284A 2022-04-22 2022-04-22 증강현실 기술을 활용하여 시설물을 점검하는 시설물 점검 시스템 및 전자 장치의 동작 방법 KR102430041B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220050284A KR102430041B1 (ko) 2022-04-22 2022-04-22 증강현실 기술을 활용하여 시설물을 점검하는 시설물 점검 시스템 및 전자 장치의 동작 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220050284A KR102430041B1 (ko) 2022-04-22 2022-04-22 증강현실 기술을 활용하여 시설물을 점검하는 시설물 점검 시스템 및 전자 장치의 동작 방법

Publications (1)

Publication Number Publication Date
KR102430041B1 true KR102430041B1 (ko) 2022-08-08

Family

ID=82845330

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220050284A KR102430041B1 (ko) 2022-04-22 2022-04-22 증강현실 기술을 활용하여 시설물을 점검하는 시설물 점검 시스템 및 전자 장치의 동작 방법

Country Status (1)

Country Link
KR (1) KR102430041B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102642392B1 (ko) 2022-12-15 2024-02-29 (주) 다음기술단 증강현실기술을 이용한 시설물 유지관리 시스템

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140145217A (ko) 2013-05-30 2014-12-23 (주)브이알엑스 공간정보를 이용한 3차원 가상 모델링 시스템 및 그 방법
KR20170089228A (ko) 2016-01-26 2017-08-03 이재민 스마트 폰을 이용한 가상현실 헤드 마운트 디스플레이의 제어 방법
JP2019045962A (ja) * 2017-08-30 2019-03-22 中国電力株式会社 鉄筋位置確認システム
KR20190080242A (ko) * 2017-12-28 2019-07-08 엘에스산전 주식회사 증강 현실 제공 시스템 및 방법
KR20200011656A (ko) 2018-07-25 2020-02-04 한국과학기술원 사용자의 위치와 시선 정보를 통한 증강현실 환경 디스플레이 제어 시스템
KR20200025960A (ko) * 2018-08-31 2020-03-10 주식회사 버넥트 지능형 인지기술기반 제조현장의 증강현실시스템

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140145217A (ko) 2013-05-30 2014-12-23 (주)브이알엑스 공간정보를 이용한 3차원 가상 모델링 시스템 및 그 방법
KR20170089228A (ko) 2016-01-26 2017-08-03 이재민 스마트 폰을 이용한 가상현실 헤드 마운트 디스플레이의 제어 방법
JP2019045962A (ja) * 2017-08-30 2019-03-22 中国電力株式会社 鉄筋位置確認システム
KR20190080242A (ko) * 2017-12-28 2019-07-08 엘에스산전 주식회사 증강 현실 제공 시스템 및 방법
KR20200011656A (ko) 2018-07-25 2020-02-04 한국과학기술원 사용자의 위치와 시선 정보를 통한 증강현실 환경 디스플레이 제어 시스템
KR20200025960A (ko) * 2018-08-31 2020-03-10 주식회사 버넥트 지능형 인지기술기반 제조현장의 증강현실시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102642392B1 (ko) 2022-12-15 2024-02-29 (주) 다음기술단 증강현실기술을 이용한 시설물 유지관리 시스템

Similar Documents

Publication Publication Date Title
US11163997B2 (en) Methods and apparatus for venue based augmented reality
CN109643465B (zh) 用于创建混合现实环境的系统、方法、显示装置、介质
TWI731936B (zh) 根據影像比較的位置識別的設備、方法及有形機器可讀取儲存媒體
KR101770648B1 (ko) 파노라마와 3차원 건물평면도 기반 실내 가상체험 제공 방법, 이를 이용한 휴대용 단말기 및 그 동작 방법
CN109074607B (zh) 学得模型提供方法和学得模型提供装置
KR102171935B1 (ko) 가상현실 기반 인테리어 서비스 제공 방법
CN102388406B (zh) 使用便携式电子设备记录产生三维模型
KR101637990B1 (ko) 임의의 위치들을 가지는 디스플레이 구성 요소들 상에 3차원 콘텐츠의 공간적으로 상호 연관된 렌더링
US10445772B1 (en) Label placement based on objects in photographic images
US20190340317A1 (en) Computer vision through simulated hardware optimization
CN110136200A (zh) 基于影像的电子设备定位
KR20210013655A (ko) 장치 위치 측정을 위한 다중 동기화 통합 모델
WO2013028359A1 (en) Logo detection for indoor positioning
CN110109535A (zh) 增强现实生成方法及装置
US20150022555A1 (en) Optimization of Label Placements in Street Level Images
KR102430041B1 (ko) 증강현실 기술을 활용하여 시설물을 점검하는 시설물 점검 시스템 및 전자 장치의 동작 방법
JP2019153274A (ja) 位置算出装置、位置算出プログラム、位置算出方法、及びコンテンツ付加システム
US20190266793A1 (en) Apparatus, systems, and methods for tagging building features in a 3d space
CN112328911A (zh) 地点推荐方法、装置、设备及存储介质
KR102018556B1 (ko) 하자 보수 관리를 위한 관리 시스템 및 방법
Cheng et al. AR-based positioning for mobile devices
KR102207719B1 (ko) 콘크리트 구조물 비파괴 검사용 증강현실 디스플레이 장치 및 그 제어 방법
KR102420376B1 (ko) 고도별 드론데이터 활용 및 특정 고도에서 체험할수 있는 증강현실 서비스 제공 방법
Wyckoff et al. Real-time human cognition of nearby vibrations using augmented reality
KR20200004135A (ko) 증강현실 기반의 모델하우스 가상이미지 제공방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant