KR102106452B1 - Avm 카메라 기반 터널 내부 고속 측정 시스템 및 그의 터널 내부 고속 측정 방법 - Google Patents

Avm 카메라 기반 터널 내부 고속 측정 시스템 및 그의 터널 내부 고속 측정 방법 Download PDF

Info

Publication number
KR102106452B1
KR102106452B1 KR1020190139225A KR20190139225A KR102106452B1 KR 102106452 B1 KR102106452 B1 KR 102106452B1 KR 1020190139225 A KR1020190139225 A KR 1020190139225A KR 20190139225 A KR20190139225 A KR 20190139225A KR 102106452 B1 KR102106452 B1 KR 102106452B1
Authority
KR
South Korea
Prior art keywords
tunnel
laser
avm
inspection
sensor
Prior art date
Application number
KR1020190139225A
Other languages
English (en)
Inventor
심승보
백종대
나원기
이상혁
류승기
Original Assignee
한국건설기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국건설기술연구원 filed Critical 한국건설기술연구원
Priority to KR1020190139225A priority Critical patent/KR102106452B1/ko
Application granted granted Critical
Publication of KR102106452B1 publication Critical patent/KR102106452B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/02—Mechanical
    • G01N2201/021—Special mounting in general
    • G01N2201/0216—Vehicle borne
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/10—Scanning
    • G01N2201/102—Video camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/10—Scanning
    • G01N2201/108—Miscellaneous
    • G01N2201/1087—Focussed scan beam, e.g. laser

Abstract

AVM 카메라 기반 터널 내부 고속 측정 시스템 및 그의 터널 내부 고속 측정 방법이 제공된다. AVM 카메라 기반 터널 내부 고속 측정 시스템은, 터널 내부 표면에 레이저를 투사하는 레이저 광원과, 터널 내부 표면을 촬영하여 RGB 영상을 획득하는 다수의 터널 검사용 카메라들을 포함하고, 다수의 RGB 영상들을 분석하여 터널 내부 표면에 대한 RGB 파노라마 영상을 생성하는 검사용 AVM(Around View Monitoring) 장치와, 터널 내부 표면에 레이저가 투사된 영역을 촬영하여 레이저 영상을 획득하는 다수의 레이저 카메라들을 포함하고, 다수의 레이저 카메라들이 획득한 레이저 영상들로부터 레이저 파노라마 영상을 생성하고, 터널 내부 표면에 투사된 레이저의 포인트(이하, '레이저 포인트'라 한다)들의 3D 좌표를 레이저 파노라마 영상에서 획득하는 3D 센서용 AVM 장치와, RGB 파노라마 영상과 레이저 포인트들의 3D 좌표를 분석하여 터널 내부의 결함과 변형을 측정하는 터널 내부 측정 장치와, 레이저 광원, 검사용 AVM 장치, 3D 센서용 AVM 장치 및 터널 내부 측정 장치를 자율 이동시키는 자율 이동체를 포함한다.

Description

AVM 카메라 기반 터널 내부 고속 측정 시스템 및 그의 터널 내부 고속 측정 방법{AVM camera-based 3D laser vision object recognition and high-speed measuring system and method}
본 발명은 터널 내부 고속 측정 시스템 및 그의 터널 내부 고속 측정 방법에 관한 것으로서, 보다 상세하게는, 자율 이동체의 이동 속도는 증가하면서 터널 내부 검사를 위한 영상 정확도(분해능)도 향상시키는 터널 내부 고속 측정 시스템 및 그의 터널 내부 고속 측정 방법에 관한 것이다.
실질적인 전국의 일일생활권 구축을 위해 고속의 이동 수단이 활발히 구축되고 있다. 고속의 이동 수단의 예로는 수도권 광역급행철도, 초장대 터널, 초고속열차 하이퍼루프(Hyperloop) 등 다양하다.
수도권 광역급행철도는 기존 전철 노선의 느린 속도를 해결하고자 대심도(지하 40m) 터널 공법을 사용하여 수도권의 이동성을 향상시킬 수 있는 인프라를 구축하는데 일조한다. 초고속열차 하이퍼루프는 아음속 캡슐 열차가 시속 1,220km/h로 터널을 이동하여 서울-부산 간 20분대의 생활권을 구축한다.
그러나, 지하 40m 이하의 대심도 터널에 대한 국민의 불안감이 표출되고 있으며, 대심도/고속 터널 안전성에 대한 관심이 증대하고 있으므로, 이를 해소하기 위한 새로운 정밀 측정 센서 개발에 대한 수요가 증대하고 있다.
현재 TIBOS 장비와 같은 측정 장비는 철도 터널을 검사하는 장비로 터널 형상, 레일, 콘크리트 노반 등에 대해 검사를 수행한다. 이 측정 장비는 시속 6km로 이동하면서 3차원 형상 정보 및 레일 변형에 대해 검사를 수행하는데, 향후 장거리용 터널 검사에 적용되기 위해서는 이동 속도 향상이 절실하다. 일 예로, 이 측정 장비로 서울-부산 간의 터널을 검사할 경우 약 70시간이 소요되어 선로단선으로 인한 손실이 막대해 질 수 있다.
특히, 이 측정 장비가 갖춘 센서들 중에 2D LiDAR는 일반적으로 10~50Hz의 회전 속도로 주변 형상을 측정하는데, 측정 장비의 속도가 빠를수록 정확도(분해능)가 떨어진다. 이러한 이유로 측정 장비의 이동속도를 높이고 측정 정확도를 향상시키기 위해서는 2D LiDAR의 새로운 대안이 필요하다.
LiDAR의 측정 방식은 Time-of-Flight 방법으로 레이저의 비행시간을 거리로 환산하여 point cloud를 생성하는데, 중앙에서 회전하는 모터 속도에 따라서 측정 주파수가 결정된다.
최근까지는 터널의 구조가 복잡하고 다양하며 길이가 짧아서 측정 속도가 느려도 Time-of-Flight 방식을 선호하였으나 최근 들어 단순한 터널이 장거리로 건설되면서 측정 속도의 중요성이 대두되고 있다. 따라서, 터널 내부 표면의 결함을 측정하되 측정 정확도와 속도 모두를 향상시킬 수 있는 기술이 필요하다.
국내 등록특허 제10-1916467호
전술한 문제점을 해결하기 위하여 본 발명이 이루고자 하는 기술적 과제는, 카메라 영상을 통해 건설 기계의 주변에 존재하는 객체의 종류와 영상 내에서의 위치정보뿐만 아니라, 실제로 건설 기계로부터 대상 물체까지의 거리정보와 방향 정보도 파악할 수 있는 터널 내부 고속 측정 시스템 및 그의 터널 내부 고속 측정 방법을 제시하는 데 있다.
본 발명의 해결과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 기술적 과제를 해결하기 위한 수단으로서, 본 발명의 실시 예에 따르면, AVM 카메라 기반 터널 내부 고속 측정 시스템은, 터널 내부 표면에 레이저를 투사하는 레이저 광원; 상기 터널 내부 표면을 촬영하여 RGB 영상을 획득하는 다수의 터널 검사용 카메라들을 포함하고, 상기 다수의 RGB 영상들을 분석하여 터널 내부 표면에 대한 파노라마 영상(이하, 'RGB 파노라마 영상'이라 한다)을 생성하는 검사용 AVM(Around View Monitoring) 장치; 상기 터널 내부 표면에 레이저가 투사된 영역을 촬영하여 레이저 영상을 획득하는 다수의 레이저 카메라들을 포함하고, 상기 다수의 레이저 카메라들이 획득한 레이저 영상들로부터 레이저 파노라마 영상을 생성하고, 상기 터널 내부 표면에 투사된 레이저의 포인트(이하, '레이저 포인트'라 한다)들의 3D 좌표를 상기 레이저 파노라마 영상에서 획득하는 3D 센서용 AVM 장치; 상기 검사용 AVM 장치에서 생성되는 RGB 파노라마 영상과 상기 3D 센서용 AVM 장치에서 획득되는 레이저 포인트들의 3D 좌표를 분석하여 터널 내부의 결함과 변형을 측정하는 터널 내부 측정 장치; 및 상기 레이저 광원, 검사용 AVM 장치, 3D 센서용 AVM 장치 및 터널 내부 측정 장치를 자율 이동시키는 자율 이동체;를 포함한다.
상기 검사용 AVM 장치는, 상기 터널 내부 표면의 서로 다른 영역을 촬영하도록 원형으로 설치되는 다수의 터널 검사용 카메라들; 상기 다수의 터널 검사용 카메라들 간의 검교정을 통해 사전에 획득된 카메라 파라미터를 이용하여, 상기 다수의 터널 검사용 카메라들로부터 획득되는 RGB 영상들을 가공하여 상기 RGB 파노라마 영상을 생성하는 검사용 제어부; 및 상기 생성된 RGB 파노라마 영상을 상기 터널 내부 측정 장치로 전송하는 검사용 통신부;를 포함한다.
상기 3D 센서용 AVM 장치는, 상기 터널 내부 표면의 서로 다른 영역을 촬영하도록 원형으로 설치되는 다수의 센서용 카메라들; 상기 다수의 센서용 카메라들 간의 검교정을 통해 사전에 획득된 카메라 파라미터를 이용하여, 상기 다수의 센서용 카메라들로부터 획득되는 레이저 영상들을 가공하여 레이저 파노라마 영상을 생성하고, 상기 생성된 레이저 파노라마 영상을 분석하여 상기 터널 내부 표면에 투사된 레이저 포인트들의 3D 좌표를 획득하는 센서용 제어부; 및 상기 생성된 레이저 파노라마 영상과 레이저 포인트들의 3D 좌표를 상기 터널 내부 측정 장치로 전송하는 센서용 통신부;를 포함한다.
상기 센서용 제어부는, 상기 다수의 센서용 카메라들 각각과 상기 레이저 광원 간의 검교정을 통해 사전에 획득된 카메라-레이저 좌표변환 관계식과 삼각측량을 이용하여 상기 레이저 포인트들의 변위를 인식하고, 상기 3D 좌표를 획득한다.
상기 터널 내부 측정 장치는, 상기 검사용 AVM 장치, 3D 센서용 AVM 장치 및 자율 이동체와 통신하는 메인 통신부; 상기 검사용 AVM 장치로부터 수신되는 RGB 파노라마 영상을 분석하여 터널 내부에서 발생하는 불량표면의 위치를 탐지하고, 상기 3D 센서용 AVM 장치로부터 수신되는 레이저 포인트들의 3D 좌표를 분석하여 상기 불량표면의 크기와 형태적 변형을 측정하는 메인 제어부; 및 상기 RGB 파노라마 영상, 레이저 파노라마 영상 및 상기 탐지된 불량표면의 위치, 크기 및 형태적 변형을 저장하는 메인 저장부;를 포함한다.
상기 메인 제어부는, 상기 검사용 AVM 장치로부터 수신되는 RGB 파노라마 영상으로부터 터널 내부 표면에서 발생하는 불량표면의 위치를 추출하는 불량표면 위치 추출부; 상기 3D 센서용 AVM 장치로부터 수신되는 레이저 포인트들의 3D 좌표를 이용하여 3D 기반 포인트 클라우드를 생성하는 3D 포인트 클라우드 생성부; 및 상기 생성되는 3D 기반 포인트 클라우드를 분석하여 상기 불량표면의 크기와 형태적 변형을 측정하는 불량표면 크기 측정부;를 포함한다.
상기 3D 포인트 클라우드 생성부는, 상기 수신되는 레이저 포인트들의 3D 좌표를 이용하여 3D 기반 포인트 클라우드를 생성하는 포인트 클라우드 생성부; 상기 생성된 3D 기반 포인트 클라우드를 연결하여 3D 터널 내부 지도를 생성하고, 상기 생성된 터널 내부 지도의 포인트 클라우드를 분석하여 터널 내부 시설물을 인식하는 포인트 클라우드 분석부; 상기 인식된 터널 내부 시설물과 상기 터널 내부에 대한 BIM(Building Information Model) 정보를 연계한 후 상기 터널의 설계도와 매핑시켜 상기 자율이동체의 위치를 역추정하는 위치 역추정부; 및 상기 레이저 포인트들의 3D 좌표 (X, Y, Z) 중 상기 자율이동체의 모터와 연동하는 엔코더 센서에 의해 산출되는 X값을 상기 역추정된 자율이동체의 위치를 이용하여 보정하는 위치 보정부;를 포함한다.
상기 불량표면 크기 측정부는, 상기 3D 기반 포인트 클라우드를 3D CNN 기반의 불량표면 측정 모델에 입력하여 불량표면의 길이와 폭을 포함하는 크기를 측정하고, 상기 터널 내부의 형태적 변형을 측정한다.
상기 자율이동체는 일정한 속도로 상기 터널 내부를 이동하고, 상기 다수의 터널 검사용 카메라들과 다수의 레이저 카메라들은 일정한 주기로 상기 터널 내부 표면을 촬영한다.
상기 레이저 광원은, 상기 자율 이동체의 전방에 구비되는 치공구의 끝에 설치되는 원형 레이저 광원이다.
한편, 본 발명의 다른 실시 예에 따르면, AVM 카메라 기반 터널 내부 고속 측정 시스템의 터널 내부 고속 측정 방법은, (A) 검사용 AVM(Around View Monitoring) 장치가, 다수의 터널 검사용 카메라들로 터널 내부 표면을 촬영하여 다수의 RGB 영상들을 획득하고, 획득된 다수의 RGB 영상들을 분석하여 터널 내부 표면에 대한 파노라마 영상(이하, 'RGB 파노라마 영상'이라 한다)을 생성하는 단계; (B) 레이저 광원이 상기 터널 내부 표면에 레이저를 투사하는 단계; (C) 3D 센서용 AVM 장치가, 다수의 레이저 카메라들로 상기 터널 내부 표면에 레이저가 투사된 영역을 촬영하여 다수의 레이저 영상들을 획득하고, 획득된 다수의 레이저 영상들로부터 레이저 파노라마 영상을 생성하고, 상기 터널 내부 표면에 투사된 레이저의 포인트(이하, '레이저 포인트'라 한다)들의 3D 좌표를 상기 레이저 파노라마 영상에서 획득하는 단계; (D) 터널 내부 측정 장치가, 상기 (A) 단계에서 생성되는 RGB 파노라마 영상과 상기 (C) 단계에서 획득되는 레이저 포인트들의 3D 좌표를 분석하여 터널 내부의 결함과 변형을 측정하는 단계;를 포함하고, 상기 레이저 광원, 검사용 AVM 장치, 3D 센서용 AVM 장치 및 터널 내부 측정 장치는 자율 이동체에 의해 상기 터널 내부를 이동한다.
상기 (A) 단계는, 상기 다수의 터널 검사용 카메라들 간의 검교정을 통해 사전에 획득된 카메라 파라미터를 이용하여, 상기 다수의 RGB 영상들을 가공하여 상기 RGB 파노라마 영상을 생성한다.
상기 (C) 단계는, 상기 다수의 센서용 카메라들 간의 검교정을 통해 사전에 획득된 카메라 파라미터를 이용하여, 상기 다수의 레이저 영상들을 가공하여 레이저 파노라마 영상을 생성하고, 상기 생성된 레이저 파노라마 영상을 분석하여 상기 터널 내부 표면에 투사된 레이저 포인트들의 3D 좌표를 획득한다.
상기 (C) 단계는, 상기 다수의 센서용 카메라들 각각과 상기 레이저 광원 간의 검교정을 통해 사전에 획득된 카메라-레이저 좌표변환 관계식과 삼각측량을 이용하여 상기 레이저 포인트들의 변위를 인식하고, 상기 3D 좌표를 획득한다.
상기 (D) 단계는, 상기 검사용 AVM 장치로부터 수신되는 RGB 파노라마 영상을 분석하여 터널 내부에서 발생하는 불량표면의 위치를 탐지하고, 상기 3D 센서용 AVM 장치로부터 수신되는 레이저 포인트들의 3D 좌표를 분석하여 상기 불량표면의 크기와 형태적 변형을 측정한다.
상기 (D) 단계는, (D1) 상기 검사용 AVM 장치로부터 수신되는 RGB 파노라마 영상으로부터 터널 내부 표면에서 발생하는 불량표면의 위치를 추출하는 단계; (D2) 상기 3D 센서용 AVM 장치로부터 수신되는 레이저 포인트들의 3D 좌표를 이용하여 3D 기반 포인트 클라우드를 생성하는 단계; 및 (D3) 상기 생성되는 3D 기반 포인트 클라우드를 분석하여 상기 불량표면의 크기와 형태적 변형을 측정하는 단계;를 포함한다.
상기 (D2) 단계는, (D21) 상기 수신되는 레이저 포인트들의 3D 좌표를 이용하여 3D 기반 포인트 클라우드를 생성하는 단계; (D22) 상기 생성된 3D 기반 포인트 클라우드를 연결하여 3D 터널 내부 지도를 생성하고, 상기 생성된 터널 내부 지도의 포인트 클라우드를 분석하여 터널 내부 시설물을 인식하는 단계; (D23) 상기 인식된 터널 내부 시설물과 상기 터널 내부에 대한 BIM(Building Information Model) 정보를 연계한 후 상기 터널의 설계도와 매핑시켜 상기 자율이동체의 위치를 역추정하는 단계; 및 (D24) 상기 레이저 포인트들의 3D 좌표 (X, Y, Z) 중 상기 자율이동체의 모터와 연동하는 엔코더 센서에 의해 산출되는 X값을 상기 역추정된 자율이동체의 위치를 이용하여 보정하는 단계;를 포함한다.
본 발명에 따르면, 터널 내부에서 발생할 수 있는 균열과 변형 등의 표면 불량의 위치와 크기, 그리고, 터널의 형태적 변형을 자동으로 인지할 수 있으며, 특히, 60Hz 이상으로 터널 내부를 촬영하고 고속으로 터널 내부를 이동함으로써 초장대 터널의 장시간 선로 단선으로 생길 수 있는 손실을 최소화할 수 있어 경제적으로 이익이 발생하며, 고속 터널의 주기적인 점검으로 안전사고 예방에 크게 기여할 수 있다.
또한, 본 발명에 따르면, Hyperloop, Urban Loop 뿐만 아니라, 현재 운용중인 철근콘크리트 터널과 지하 매설 관로에도 적용이 가능하여 활용도가 매우 높다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시 예에 따른 AVM 카메라 기반 3D 레이저 비전 객체 인식 및 고속 측정을 위한 터널 내부 고속 측정 시스템 개요도,
도 2는 자율 이동체에 구비되는 터널 내부 고속 측정 시스템을 설명하기 위한 개념도,
도 3은 도 1에 도시된 터널 내부 고속 측정 시스템을 도시한 블록도,
도 4는 도 1에 도시된 검사용 AVM 장치를 도시한 블록도,
도 5는 도 1에 도시된 3D 센서용 AVM 장치를 도시한 블록도,
도 6은 일반적인 좌표변환 관계식을 설명하기 위한 예시도,
도 7은 LiDAR와 본 발명의 실시 예에 따른 3D 레이저 비전 객체 인식 및 고속 측정 방식을 비교한 도면,
도 8은 도 1에 도시된 터널 내부 측정 장치를 도시한 블록도,
도 9는 도 8에 도시된 3D 포인트 클라우드 생성부를 자세히 도시한 블록도,
도 10은 3D 포인트 클라우드 기반 사물 인식 방식을 설명하기 위한 예시도,
도 11은 본 발명의 실시 예에 따른 AVM 카메라 기반 터널 내부 고속 측정 시스템의 터널 내부 고속 측정 방법을 개략적으로 도시한 흐름도,
도 12는 도 11의 S1110단계 내지 S1130단계를 자세히 도시한 흐름도, 그리고,
도 13은 도 11의 S1140단계를 설명하기 위한 흐름도이다.
이상의 본 발명의 목적들, 다른 목적들, 특징들 및 이점들은 첨부된 도면과 관련된 이하의 바람직한 실시 예들을 통해서 쉽게 이해될 것이다. 그러나 본 발명은 여기서 설명되는 실시 예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시 예들은 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다. 또한, 하지만 본 발명을 이해할 수 있을 정도로 이 분야의 지식을 갖고 있는 독자는 이러한 여러 가지의 특정적인 내용들이 없어도 사용될 수 있다는 것을 인지할 수 있다.
본 명세서에서 제1, 제2 등의 용어가 구성요소들을 기술하기 위해서 사용된 경우, 이들 구성요소들이 이 같은 용어들에 의해서 한정되어서는 안 된다. 이들 용어들은 단지 어느 구성요소를 다른 구성요소와 구별시키기 위해서 사용되었을 뿐이다. 여기에 설명되고 예시되는 실시 예들은 그것의 상보적인 실시 예들도 포함한다.
또한, 어떤 엘리먼트, 구성요소, 장치, 또는 시스템이 프로그램 또는 소프트웨어로 이루어진 구성요소를 포함한다고 언급되는 경우, 명시적인 언급이 없더라도, 그 엘리먼트, 구성요소, 장치, 또는 시스템은 그 프로그램 또는 소프트웨어가 실행 또는 동작하는데 필요한 하드웨어(예를 들면, 메모리, CPU 등)나 다른 프로그램 또는 소프트웨어(예를 들면 운영체제나 하드웨어를 구동하는데 필요한 드라이버 등)를 포함하는 것으로 이해되어야 할 것이다.
또한, 어떤 엘리먼트(또는 구성요소)가 구현됨에 있어서 특별한 언급이 없다면, 그 엘리먼트(또는 구성요소)는 소프트웨어, 하드웨어, 또는 소프트웨어 및 하드웨어 어떤 형태로도 구현될 수 있는 것으로 이해되어야 할 것이다.
또한, 본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 '포함한다(comprises)' 및/또는 '포함하는(comprising)'은 언급된 구성요소는 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.
어떤 경우에는, 발명을 기술하는 데 있어서 흔히 알려졌으면서 발명과 크게 관련 없는 부분들은 본 발명을 설명하는 데 있어 별 이유 없이 혼돈이 오는 것을 막기 위해 기술하지 않음을 미리 언급해 둔다.
도 4, 도 5, 도 8 및 도 9에 도시된 터널 내부 고속 측정 시스템의 각각의 구성은 기능 및 논리적으로 분리될 수도 있음을 나타내는 것이며, 반드시 각각의 구성이 별도의 물리적 장치로 구분되거나 별도의 코드로 작성됨을 의미하는 것은 아님을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
도 1은 본 발명의 실시 예에 따른 AVM(Around View Monitoring) 카메라 기반 3D 레이저 비전 객체 인식 및 고속 측정을 위한 터널 내부 고속 측정 시스템 개요도이다.
도 1을 참조하면, 본 발명의 실시 예는 초장대 터널 내부 상태를 고속으로 정밀 검사할 수 있는 중단면/고속 레이저 비전 3D 센서를 이용하여 터널 내부 표면의 이상 상태를 자동 인식할 수 있으며, 이를 위하여 포인트 클라우드 기반 3D 지도를 생성하고, 딥러닝 영상처리를 이용하여 터널 내 결함을 탐지할 수 있다. 이로써, 건설 현장에서 작업자 또는 다른 건설 기계의 위치를 측정 및 공유함으로써 안전사고 예방을 높이고 위험 상황을 미리 판단할 수 있다.
도 2는 자율 이동체(100)에 구비되는 터널 내부 고속 측정 시스템을 설명하기 위한 개념도, 도 3은 도 1에 도시된 터널 내부 고속 측정 시스템을 도시한 블록도이다.
도 2 및 도 3을 참조하면, 본 발명의 실시 예에 따른 터널 내부 고속 측정 시스템은 자율 이동체(100), 레이저 광원(200), 검사용 AVM 장치(300), 3D 센서용 AVM 장치(400) 및 터널 내부 측정 장치(500)를 포함한다. 도 2에는 각각 하나의 검사용 AVM 장치(300)와 3D 센서용 AVM 장치(400)가 도시되어 있으나, 개수는 이에 한정되지 않으며 보다 정밀하고 정확한 터널 내부 탐색을 위한 경우 2대 이상 구비될 수도 있다.
자율 이동체(100)는 터널 내부의 도로(또는 철로) 중앙선을 일정 속도로 이동하는 이동형 로봇일 수 있다. 자율 이동체(100)의 전방에는 일정 길이(예를 들어, 1~2미터)의 치공구(101)가 구비되고, 상단에는 카메라 지지대(102)가 구비될 수 있다.
치공구(101)의 끝단에는 레이저 광원(200)이 설치되고, 카메라 지지대(102)에는 다수의 레이저 카메라들(411~416)과 다수의 터널 검사용 카메라들(311~316)이 원형으로 설치될 수 있다. 예를 들어, 다수의 레이저 카메라들(411~416)이 터널 내부 표면의 레이저를 촬영하도록 1열의 원형으로 설치되고, 다수의 터널 검사용 카메라들(311~316)이 터널 내부 표면을 촬영하도록 다수의 레이저 카메라들(411~416)의 주변에(예를 들어, 레이저 카메라들(411~416)의 뒤, 앞, 또는 위)에 1열의 원형으로 설치될 수 있다. 또는 다수의 레이저 카메라들(411~416)과 터널 검사용 카메라들(311~316)이 교번적으로 원형으로 설치될 수도 있다.
사용자는 레이저 광원(200)에서 터널 내부 표면으로 원형 레이저가 투사되면, 다수의 레이저 카메라들(411~416)의 FOV(시야 범위, Field Of View) 내에 라인 레이저(또는, 레이저 띠)가 표시될 수 있도록 치공구(101)의 위치를 조정 및 고정할 수 있다.
또한, 자율 이동체(100)는 모터(110)에 의해 일정한 속도로 터널 내부를 주행하며, 모터(110)에는 엔코더 센서(120)가 연결된다. 엔코더 센서(120)는 자율 이동체(100)가 주행하기 시작하는 시작 위치부터 이동거리를 계산할 수 있는 센서로서, 엔코더 센서(120)에 의해 계산된 이동거리로부터 레이저 포인트의 X 좌표를 획득할 수 있다. X 값은 엔코더 센서(120)로부터 직접 검사용 AVM 장치(300)와 3D 센서용 AVM 장치(400)로 전송되거나, 터널 내부 측정 장치(500)를 통해 전송될 수 있다.
레이저 광원(200)은 터널 내부 표면에 레이저를 투사하는 원형 레이저 광원이다. 레이저 광원(200)은 치공구(101)의 끝에 설치되어, 터널 내부의 도로 중앙에서 터널 내부 표면에 원형 레이저(도 3의 빨간 선)를 투사할 수 있다.
검사용 AVM 장치(300)는 터널 내부 표면을 촬영하여 RGB 영상을 획득하는 다수의 터널 검사용 카메라들(311~316)을 포함하고, 획득한 다수의 RGB 영상들을 분석하여 터널 내부 표면에 대한 파노라마 영상(이하, 'RGB 파노라마 영상'이라 한다)을 생성할 수 있다.
3D 센서용 AVM 장치(400)는 터널 내부 표면에 레이저가 투사된 영역을 촬영하여 레이저 영상을 획득하는 다수의 레이저 카메라들(411~416)을 포함하고, 다수의 레이저 카메라들(411~416)이 획득한 레이저 영상들로부터 레이저 파노라마 영상을 생성하고, 터널 내부 표면에 투사된 레이저의 포인트(이하, '레이저 포인트'라 한다)들의 3D 좌표를 레이저 파노라마 영상에서 획득할 수 있다.
터널 내부 측정 장치(500)는 검사용 AVM 장치(300)에서 생성되는 RGB 파노라마 영상과 3D 센서용 AVM 장치(400)에서 획득되는 레이저 포인트들의 3D 좌표를 분석하여 터널 내부의 결함과 변형을 측정할 수 있다.
레이저 광원(200), 검사용 AVM 장치(300), 3D 센서용 AVM 장치(400) 및 터널 내부 측정 장치(500)는 자율 이동체(100)에 구비되어 터널 내부를 자율 이동할 수 있다.
이하에서는 도 4 내지 도 9를 참조하여 본 발명의 실시 예를 자세히 설명한다.
도 4는 도 3에 도시된 검사용 AVM 장치(300)를 도시한 블록도이다.
도 4를 참조하면, 검사용 AVM 장치(300)는 제1 내지 제6터널 검사용 카메라들(311~316), 검사용 저장부(320), 검사용 제어부(330) 및 검사용 통신부(340)를 포함할 수 있다.
제1 내지 제6터널 검사용 카메라들(311~316)은 터널 내부 표면의 서로 다른 영역을 촬영하도록 카메라 지지대(102)에 원형으로 설치될 수 있다. 제1 내지 제6터널 검사용 카메라들(311~316)은 터널 내부 표면에서 바라보고 있는 표면을 촬영하여 각각 제1 내지 제6RGB 영상을 출력한다. 본 발명의 실시 예에서는 6대의 터널 검사용 카메라들을 예로 들었으나 그 개수는 터널의 크기, 카메라의 성능 등 주변 환경에 따라 변경가능하다.
검사용 저장부(320)는 검사용 AVM 장치(300)가 제공하는 동작, 기능 등을 구현 및/또는 제공하기 위하여, 구성요소들(311~340)에 관계된 명령 또는 데이터, 하나 이상의 프로그램 및/또는 소프트웨어 등을 저장할 수 있다.
또한, 검사용 저장부(320)는 제1 내지 제6터널 검사용 카메라들(311~316) 간의 검교정을 통해 사전에 획득된 카메라 파라미터를 저장할 수 있다. 카메라 파라미터는 제1 내지 제6터널 검사용 카메라들(311~316)이 촬영한 원형 터널 내부 표면의 제1 내지 제6RGB 영상들을 연결하여 파노라마 형태로 가공할 때 사용된다.
카메라 검교정은 이웃하는 카메라들 간에만 수행될 수 있으며, 이러한 경우, 검사용 저장부(320)는 제1터널 검사용 카메라(311)와 제2터널 검사용 카메라(312) 간의 검교정을 수행하여 획득한 카메라 파라미터, 제2터널 검사용 카메라(312)와 제3터널 검사용 카메라(313) 간의 카메라 파라미터, ?, 제5터널 검사용 카메라(315)와 제6터널 검사용 카메라(316) 간의 카메라 파라미터가 저장될 수 있다.
카메라 검교정에 의해 획득되는 카메라 파라미터는 내부 파라미터(Intrinsic parameter)와 외부 파라미터(Extrinsic parameter)를 포함한다. 내부 파라미터는 초점거리, 영상의 중심점, 비대칭 계수 정보를 포함한다. 외부 파라미터는 월드 좌표계에서 각각의 카메라의 좌표계 정보를 포함한다. 이 때 모든 카메라 좌표계가 하나의 월드 좌표계에서 표현되었을 때 검교정이 완료된 것이다. 카메라 검교정을 수행하는 방법은 예를 들어, 체크 보드판을 활용하는 방법과 자연지형물을 활용하는 방법(Field Calibration)이 있다.
또한, 검사용 저장부(320)는 제1 내지 제6터널 검사용 카메라들(311~316)이 촬영한 제1 내지 제6 RGB 영상들과 촬영 시간을 함께 저장할 수 있다.
검사용 제어부(330)는 검사용 통신부(340)가 수신하는 X 좌표와 제1 내지 제6RGB 영상들을 시간동기화할 수 있다. 그리고, 검사용 제어부(330)는 제1 내지 제6터널 검사용 카메라들(311~316) 간의 검교정을 통해 사전에 획득된 카메라 파라미터를 이용하여, X 좌표와 시간동기화된 제1 내지 제6RGB 영상들을 가공 및 연결하여 RGB 파노라마 영상을 생성할 수 있다.
검사용 통신부(340)는 제1 내지 제6터널 검사용 카메라들(311~316)이 주기적으로 셔터를 작동하여 터널 내부 표면을 촬영할 때마다 자율 이동체(100)의 엔코더 센서(120) 또는 터널 내부 측정 장치(500)로 현재 자율 이동체(100)의 이동거리, 즉, X 좌표를 요청하여 수신할 수 있다. 또한, 검사용 통신부(340)는 검사용 제어부(330)에서 생성된 RGB 파노라마 영상을 터널 내부 측정 장치(500)로 전송할 수 있다.
도 5는 도 1에 도시된 3D 센서용 AVM 장치(400)를 도시한 블록도이다.
도 5를 참조하면, 3D 센서용 AVM 장치(400)는 제1 내지 제6센서용 카메라들(411~416), 센서용 저장부(420), 센서용 제어부(430) 및 센서용 통신부(440)를 포함할 수 있다.
제1 내지 제6센서용 카메라들(411~416)은 터널 내부 표면의 서로 다른 영역을 촬영하도록 카메라 지지대(102)에 원형으로 설치될 수 있다. 제1 내지 제6센서용 카메라들(411~416)은 터널 내부 표면에서 각각 바라보고 있는 표면을 촬영하여 각각 제1 내지 제6레이저 영상을 출력한다. 제1 내지 제6센서용 카메라들(411~416)은 예를 들어, 60Hz 이상으로 터널 내부 표면을 촬영할 수 있다.
센서용 저장부(420)는 3D 센서용 AVM 장치(400)가 제공하는 동작, 기능 등을 구현 및/또는 제공하기 위하여, 구성요소들(411~440)에 관계된 명령 또는 데이터, 하나 이상의 프로그램 및/또는 소프트웨어 등을 저장할 수 있다.
또한, 센서용 저장부(420)는 제1 내지 제6센서용 카메라들(411~416) 간의 검교정을 통해 사전에 획득된 카메라 파라미터를 저장할 수 있다. 카메라 파라미터는 제1 내지 제6센서용 카메라들(411~416)이 촬영한 원형 터널 내부 표면의 제1 내지 제6레이저 영상들을 연결하고 위치동기화한 후 파노라마 형태로 가공할 때 사용된다. 카메라 검교정은 검사용 AVM 장치(300)에서 설명하였으므로 구체적인 설명은 생략한다.
또한, 센서용 저장부(420)는 제1 내지 제6센서용 카메라들(411~416) 각각과 레이저 광원(200) 간의 관계를 정의할 수 있도록 검교정을 수행하여 사전에 획득된 좌표변환 관계식을 저장할 수 있다.
도 6은 일반적인 좌표변환 관계식을 설명하기 위한 예시도이다.
도 6을 참조하면, ΔZ는 실제 대상객체의 변위 값을 나타내고, Δv는 이미지 상에서의 변위 값을 나타낸다. 이 두 개의 변위 값은 상호 선형적인 관계가 있는데, 이를 관계식이라고 한다. 그리고, 실제로는 선형 레이저를 사용하기 때문에 대상객체의 좌표는 2차원 좌표인 (ΔY, ΔZ)으로 표현되는데 이는 이미지 상에서 (Δu, Δv)로 표현되므로 좌표변환이라고 한다(https://www.researchgate.net/figure/Basic-principle-of-laser-triangulation_fig3_281744073 참조).
따라서, 좌표변환 관계식은 간단히 설명하면 “실제 대상 물체의 변위가 Z축 방향으로 1cm 발생할 경우, 이미지 픽셀에는 U축 방향으로 1pixel의 변위가 발생한다”라는 식으로 실제 대상과 영상 내에서 대상 간의 관계를 선형적으로 정의한 실험식이다.
또한, 센서용 저장부(420)는 제1 내지 제6센서용 카메라들(411~416)이 촬영한 제1 내지 제6레이저 영상들과 촬영 시간을 함께 저장할 수 있다.
센서용 제어부(430)는 센서용 통신부(440)가 수신하는 X 좌표와 제1 내지 제6레이저 영상들을 시간동기화할 수 있다. 그리고, 센서용 제어부(430)는 제1 내지 제6센서용 카메라들(411~416) 간의 검교정을 통해 사전에 획득된 카메라 파라미터를 이용하여, X 좌표와 시간동기화된 제1 내지 제6레이저 영상들을 가공 및 연결하여 RGB 파노라마 영상을 생성하고, RGB 파노라마 영상을 분석하여 터널 내부 표면에 투사된 레이저 포인트들의 3D 좌표(X, Y, Z)를 획득할 수 있다.
예를 들어, 센서용 제어부(430)는 제1 내지 제6센서용 카메라들(411~416) 각각과 레이저 광원(200) 간의 검교정을 통해 사전에 획득된 카메라-레이저 좌표변환 관계식과 삼각측량 기법(Triangulation)을 이용하여 레이저 포인트들의 변위를 인식하고, 레이저 포인트들의 3D 좌표를 획득할 수 있다.
자세히 설명하면, 카메라와 레이저 간의 관계식, 즉, 좌표변환 관계식이 정립되면, 센서용 제어부(430)는 카메라 FOV내에서 레이저 투사된 영역에서의 대상객체의 변위를 인식할 수 있다. 즉, 좌표변환 관계식이 정립되면, 센서용 제어부(430)는 영상에서 인식된 레이저 띠만으로도 대상객체의 변위를 추정할 수 있다.
따라서, 좌표변환 관계식이 정립된 레이저와 제1 내지 제6센서용 카메라들(411~416)을 터널 내부에 두고 방사형 방향으로 촬영하도록 할 수 있다. 그리고, 제1 내지 제6센서용 카메라들(411~416)로부터 획득되는 제1 내지 제6레이저 영상들을 파노라마 형태로 붙이는데, 이때 필요한 것이 카메라 간의 관계식(즉, 카메라 파라미터)이고, 이 카메라 파라미터를 통해 생성되는 레이저 파노라마 영상에는 인식된 레이저 띠 역시 일직선으로 붙는다. 이를 통해 검사용 제어부(330)는 터널 단면 전체에 발생한 대상객체, 즉, 레이저가 도달한 터널 표면의 변위를 좌표변환 관계식과 삼각측량 기법을 이용하여 측정할 수 있다(https://www.photonics.com/Articles/Configuring_a_3D_Triangulation_Vision_System/a62061 참조).
즉, 센서용 카메라와 레이저 간의 관계는 센서용 카메라-대상객체(레이저 포인트)-레이저 광원으로 이루어진 삼각형 관계이므로, 센서용 제어부(430)는 이 삼각형 관계를 이용하는 삼각측량 기법을 이용하여 터널 표면에 도달한 레이저 포인트의 (Y, Z) 좌표를 획득하고, 자율 이동체(100)에서 센싱되는 이동거리 'X'를 더 획득하여 레이저 포인트의 3D 좌표 (X, Y, Z)를 획득할 수 있다. 도 2를 참조하면, X축은 자율 이동체(100)의 이동방향, Y와 Z는 터널 내부 표면을 인식한 지점의 좌표 값으로서, Z축은 중력 방향이다.
도 7은 LiDAR와 본 발명의 실시 예에 따른 3D 레이저 비전 객체 인식 및 고속 측정 방식을 비교한 도면이다.
3D 레이저 비전 객체 인식 및 고속 측정 방식은 카메라와 레이저의 삼각 측량 방법(Triangulation)으로 카메라의 셔터 속도에 따라서 측정 주파수가 결정되고, 해상도에 따라 측정 정확도가 결정되는 방식을 사용하다.
최근까지는 터널의 구조가 복잡하고 다양하며 길이가 짧아서 측정 속도가 느려도 Time-of-Flight 방식을 선호하였으나 최근 들어 단순한 터널이 장거리로 건설되면서 측정 속도의 중요성이 대두되고 있다. 따라서, 본 발명의 실시 예에서와 같이 레이저 비전 삼각 측량 방식으로 대면적 대상 물체로 적용하여 정확도와 측정 속도 모두를 향상시킬 수 있다.
센서용 통신부(440)는 제1 내지 제6센서용 카메라들(411~416)이 주기적으로 셔터를 작동하여 터널 내부 표면을 촬영할 때마다 엔코더 센서(120) 또는 터널 내부 측정 장치(500)로 현재 자율 이동체(100)의 이동거리(X 좌표)를 요청하여 수신할 수 있다. 또한, 센서용 통신부(440)는 센서용 제어부(430)에서 생성된 레이저 파노라마 영상을 터널 내부 측정 장치(500)로 전송할 수 있다.
도 8은 도 1에 도시된 터널 내부 측정 장치(500)를 도시한 블록도이다.
도 8을 참조하면, 터널 내부 측정 장치(500)는 메인 통신부(510), 메인 저장부(520) 및 메인 제어부(530)를 포함할 수 있다.
메인 통신부(510)는 자율 이동체(100), 검사용 AVM 장치(300) 및, 3D 센서용 AVM 장치(400)와 유무선 통신이 가능한 통신 인터페이스를 제공할 수 있다.
메인 저장부(520)는 터널 내부 측정 장치(500)가 제공하는 동작, 기능 등을 구현 및/또는 제공하기 위하여, 구성요소들(510~530)에 관계된 명령 또는 데이터, 하나 이상의 프로그램 및/또는 소프트웨어, 운영체제 등을 저장할 수 있다.
메인 저장부(520)에 저장되는 프로그램은 포인트 클라우드 기반 사물 인식 프로그램, 위치 보정 프로그램, 2D CNN 기반의 영상 분석 프로그램, 3D CNN 기반의 영상 분석 프로그램을 포함할 수 있다.
또한, 메인 저장부(520)는 수신되는 RGB 파노라마 영상과 X 좌표, 레이저 파노라마 영상, 레이저 포인트들의 3D 좌표 (X, Y, Z), 촬영된 시간, 메인 제어부(530)에서 탐지되는 불량표면의 위치, 크기 및 형태적 변형 등의 정보를 저장할 수 있다.
또한, 메인 저장부(520)는 터널 내부에 대한 BIM(Building Information Model) 정보와 터널 설계도를 저장할 수 있다.
메인 제어부(530)는 검사용 AVM 장치(300)로부터 수신되는 RGB 파노라마 영상을 분석하여 터널 내부에서 발생하는 불량표면의 위치를 탐지하고, 3D 센서용 AVM 장치(400)로부터 수신되는 레이저 포인트들의 3D 좌표를 분석하여 불량표면의 크기와 형태적 변형을 측정할 수 있다.
이를 위하여, 메인 제어부(530)는 불량표면 위치 추출부(532), 3D 포인트 클라우드 생성부(534) 및 불량표면 크기 측정부(536)를 포함할 수 있다.
불량표면 위치 추출부(532)는 2D CNN 기반의 영상 분석 프로그램을 실행하여, 검사용 AVM 장치(300)로부터 수신되는 RGB 파노라마 영상으로부터 터널 내부 표면에서 발생하는 불량표면의 위치를 추출할 수 있다.
자세히 설명하면, 불량표면 위치 추출부(532)는 제1 내지 제6터널 검사용 카메라들(311~316)을 통해 터널 내부 표면을 촬영하여 획득한 RGB 파노라마 영상에 대해 2D(평면) CNN 기반의 딥러닝 알고리즘을 수행하고, 이 딥러닝 알고리즘을 통해 터널 내부를 촬영한 RGB 파노라마 영상 내에서 불량 표면의 위치를 탐지하며, 대부분의 균열은 특정 크기를 가지므로 탐지된 불량 표면의 위치를 추출할 수 있다. 본 발명에서는 불량 표면의 위치를 추출하는 동작을 영역 분할(Crack Semantic Segmentation)이라 한다. 불량 표면은 터널 내부의 균열, 박리, 백태 등과 같이 콘크리트 표면에서 발생하는 터널 내부 결함을 포함한다.
3D 포인트 클라우드 생성부(534)는 3D 센서용 AVM 장치(400)로부터 수신되는 레이저 포인트들의 3D 좌표를 이용하여 3D 기반 포인트 클라우드를 생성할 수 있다.
도 9는 도 8에 도시된 3D 포인트 클라우드 생성부(534)를 자세히 도시한 블록도이다.
도 9를 참조하면, 3D 포인트 클라우드 생성부(534)는 포인트 클라우드 생성부(534a), 포인트 클라우드 분석부(534b), 위치 역추정부(534c) 및 위치 보정부(534d)를 포함할 수 있다.
포인트 클라우드 생성부(534a)는 3D 센서용 AVM 장치(400)로부터 수신되는 레이저 포인트들의 3D 좌표를 이용하여 3D 기반 포인트 클라우드를 생성할 수 있다. 3D 기반 포인트 클라우드는 3D 좌표 (X, Y, Z)들의 집합일 수 있다.
포인트 클라우드 분석부(534b)는 생성된 3D 기반 포인트 클라우드를 연결하여 3D 터널 내부 지도를 생성하고, 생성된 터널 내부 지도의 포인트 클라우드에 사물 인식 알고리즘을 수행하여 포인트 클라우드를 분석하여 터널 내부 시설물을 도 10과 같은 방식으로 자동 인식할 수 있다. 터널 내부 시설물은 예를 들어 단자함, 조명 기구, 특정 랜드 마크 등 다양하다.
도 1 내지 도 9를 참조하여 설명한 검사용 제어부(330), 센서용 제어부(430) 및 메인 제어부(530)는 중앙 처리 장치(CPU) 또는 검사용 저장부(320), 센서용 저장부(420), 또는 메인 저장부(520)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치인 프로세서일 수도 있다.
도 10은 3D 포인트 클라우드 기반 사물 인식 방식을 설명하기 위한 예시도이다.
도 10을 참조하면, 'Classification'은 포인트 클라우드로부터 객체를 인식하는 동작이다. 'Part Segmentation'은 포인트 클라우드로부터 분리된 대상객체에서 각 구성부분별로 다시 분리하는 행위이다. 'Semantic Segmentation'은 포인트 클라우드로부터 대상 객체를 분할(균열, 박리, 노출 등)하는 행위이다. 예를 들어 콘크리트의 파손으로 인해 철근이 노출되었을 때, 파손 영역만을 분리하는 하는 행위는 Semantic Segmentation'이고 이 파손 영역에서 철근과 파손영역을 구분하면 'Part segmentation'이다. 포인트 클라우드 분석부(534b)는 이러한 사물 인식 알고리즘을 이용하여 터널 내부 시설물을 인식한다.
위치 역추정부(534c)는 인식된 터널 내부 시설물과 터널 내부에 대한 BIM 정보를 연계한 후 연계된 결과와 터널의 설계도와 매핑시켜 자율 이동체(100)의 위치를 역추정할 수 있다. 예를 들어, 위치 역추정부(534c)는 단자함이 인식된 포인트 클라우드의 X 좌표를 확인하고, 이를 설계도와 매핑시킴으로써 설계도에서 단자함이 구비된 위치를 자율 이동체(100)의 위치(X)로서 역추정할 수 있다.
위치 보정부(534d)는 레이저 포인트들의 3D 좌표 (X, Y, Z) 중 자율 이동체(100)의 모터(110)와 연동하는 엔코더 센서(120)에 의해 산출되는 X값을 역추정된 자율 이동체(100)의 위치를 이용하여 보정할 수 있다. 즉, 위치 보정부(534d)는 엔코더 센서(120)로부터 측정되는 이동거리의 누적 오차를 보정할 수 있다.
예를 들어, 터널 내부에 설계 도면에 명시된 바와 같이 100m 간격으로 사각형 형태의 분전함이 있다고 가정하고, 자율 이동체(100)가 이동하면서 엔코더 센서(120)를 통해 이동거리를 측정하는데 회전바퀴의 미끄러짐 현상으로 인해 이동거리(즉, X)가 105m로 측정되었다. 이때, 위치 역추정부(534c)에서 분전함을 객체 인식한 결과 100m인 것을 확인하고, 위치 보정부(534d)는 자율 이동체(100)의 이동거리를 100m로 보정할 수 있다.
다시 도 8을 참조하면, 불량표면 크기 측정부(536)는 3D 포인트 클라우드 생성부(534)에서 생성되는 3D 기반 포인트 클라우드(또는 이동거리(X)가 보정된 3D 기반 포인트 클라우드로부터 생성되는 터널 내부 지도)를 분석하여, 불량표면 위치 추출부(532)에서 추출된 불량표면의 크기(길이와 폭)와 형태적 변형을 측정할 수 있다. 불량표면 크기 측정부(536)는 3D 기반 포인트 클라우드를 3D CNN 기반의 불량표면 측정 모델(딥러닝 알고리즘)에 입력하여 불량표면의 길이와 폭을 포함하는 크기를 측정하고, 터널 내부의 형태적 변형을 측정할 수 있다. 예를 들어, 터널의 원형인 경우 토압과 같은 외력에 의해 타원으로 되는 경우, 이를 형태적 변형이라고 한다. 즉, 변형은 외압에 의해 터널의 형태가 변하는 현상을 의미한다.
이로써, 터널 내부 측정 장치(500)는 2D CNN 딥러닝 알고리즘과 3D CNN 딥러닝 알고리즘을 통해 터널 내부의 결함과 변형을 3차원, 고속, 그리고 정확하게 측정할 수 있다.
이하에서는 도 11 내지 도 13을 참조하여 본 발명의 실시 예에 따른 AVM 카메라 기반 터널 내부 고속 측정 시스템의 터널 내부 고속 측정 방법을 설명한다. 도 11 내지 도 13의 터널 내부 고속 측정 방법은 도 1 내지 도 10을 참조하여 설명한 터널 내부 고속 측정 시스템에 의해 동작하므로 구체적인 설명은 생략한다.
도 11은 본 발명의 실시 예에 따른 AVM 카메라 기반 터널 내부 고속 측정 시스템의 터널 내부 고속 측정 방법을 개략적으로 도시한 흐름도이다.
도 11을 참조하면, 검사용 AVM 장치(300)는 다수의 터널 검사용 카메라들(311~316)로 터널 내부 표면을 촬영하여 다수의 RGB 영상들을 획득하고, 획득된 다수의 RGB 영상들을 분석하여 터널 내부 표면에 대한 RGB 파노라마 영상을 생성할 수 있다(S1110).
레이저 광원(200)이 터널 내부 표면에 레이저를 투사하면, 3D 센서용 AVM 장치(400)는 다수의 레이저 카메라들(411~416)로 터널 내부 표면에 레이저가 투사된 영역을 촬영하여 다수의 레이저 영상들을 획득하고, 획득된 다수의 레이저 영상들로부터 레이저 파노라마 영상을 생성하고, 터널 내부 표면에 투사된 레이저의 포인트들의 3D 좌표를 레이저 파노라마 영상에서 획득할 수 있다(S1120, S1130).
터널 내부 측정 장치(500)는 S1110 단계에서 생성되는 RGB 파노라마 영상과 S1130 단계에서 획득되는 레이저 포인트들의 3D 좌표를 분석하여 터널 내부의 결함과 변형을 측정할 수 있다(S1140).
도 12는 도 11의 S1110단계 내지 S1130단계를 자세히 도시한 흐름도이다.
도 12를 참조하면, 자율 이동체(100)가 터널 내부를 이동하기 시작하면 자율 이동체(100)는 엔코더 센서(120)에 의해 센싱되는 자율 이동체(100)의 이동거리를 센싱 시간과 함께 터널 내부 측정 장치(500)에게 전달할 수 있다(S1205).
터널 내부 측정 장치(500)는 실시간으로 수신되는 자율 이동체(100)의 이동거리(X)를 센싱 시간과 함께 저장한다(S1210).
검사용 AVM 장치(300)는 주기적으로 터널 내부 표면을 촬영하며(S1215), 촬영과 동시에 터널 내부 측정 장치(500)에게 현재 이동 거리를 요청 및 수신하여 저장할 수 있다(S1220~S1230).
검사용 AVM 장치(300)는 S1215단계로부터 획득되는 다수의 RGB 영상들을 카메라 파라미터를 이용하여 가공하여 RGB 파노라마 영상을 생성한 후, RGB 파노라마 영상과 S1225단계에서 수신되는 이동거리(X)를 터널 내부 측정 장치(500)로 전송한다(S1235, S1240). S1215단계로부터 획득되는 다수의 RGB 영상들은 동시에 촬영되어 획득되므로 다수의 RGB 영상들의 좌표 중 이동거리(X)는 동일한 값을 가질 수 있다.
터널 내부 측정 장치(500)는 S1240단계로부터 수신되는 RGB 파노라마 영상과 이동거리(X)를 저장한다(S1245).
또한, S1215단계가 시작될 때 레이저 광원(200)또 동시에 터널 내부 표면으로 레이저를 투사하고, 3D 센서용 AVM 장치(400)는 터널 내부 표면에 투사된 레이저 영역을 촬영하여 다수의 레이저 영상들을 획득하며(S1250), 촬영과 동시에 터널 내부 측정 장치(500)에게 현재 이동 거리를 요청 및 수신하여 저장할 수 있다(S1255~S1265).
3D 센서용 AVM 장치(400)는 S1250단계에서 획득되는 다수의 레이저 영상들을 다수의 센서용 카메라들 간의 검교정을 통해 사전에 획득된 카메라 파라미터를 이용 및 가공하여 레이저 파노라마 영상을 생성하고, 생성된 레이저 파노라마 영상을 레이저 영상 분석 알고리즘을 이용하여 분석하여 레이저 띠를 인식한다(S1270, S1275).
3D 센서용 AVM 장치(400)는 다수의 센서용 카메라들(411~416) 각각과 레이저 광원(200) 간의 검교정을 통해 사전에 획득된 카메라-레이저 좌표변환 관계식과 삼각측량 기법을 이용하여 레이저 포인트들의 변위를 인식하고, 레이저 포인트들의 2D 측정 좌표 (Y, Z)를 획득할 수 있다(S1280).
3D 센서용 AVM 장치(400)는 S1265단계에서 저장된 이동거리(X)와 S1280단계에서 획득된 좌표 (Y, Z)를 결합하여 레이저 포인트들의 3D 좌표 (X, Y, Z)를 획득하고, 레이저 파노라마 영상과 함께 터널 내부 측정 장치(500)로 전송할 수 있다(S1285, S1290).
터널 내부 측정 장치(500)는 수신되는 레이저 파노라마 영상과 레이저 포인트들의 3D 좌표를 저장한다(S1295).
도 13은 도 11의 S1140단계를 설명하기 위한 흐름도이다.
도 13을 참조하면, 터널 내부 측정 장치(500)는 S1240단계로부터 수신되는 RGB 파노라마 영상에 2D CNN 딥러닝 알고리즘을 적용하여 터널 내부 표면에서 발생하는 불량표면의 위치를 추출할 수 있다(S1300). 균열, 박리 등의 불량표면은 정상표면과는 다른 형태(영상정보)를 가지므로, 2D 딥러닝에 의해 불량표면을 검출하고, 검출된 불량표면의 위치도 추출할 수 있다.
터널 내부 측정 장치(500)는 S1290단계로부터 수신되는 레이저 포인트들의 3D 좌표를 이용하여 3D 기반 포인트 클라우드를 생성하고, 생성되는 3D 기반 포인트 클라우드를 분석하여 S1300단계에서 추출된 불량표면의 크기와 형태적 변형을 측정할 수 있다(S1310, S1320).
S1310단계에서, 터널 내부 측정 장치(500)는 수신되는 레이저 포인트들의 3D 좌표를 이용하여 3D 기반 포인트 클라우드를 생성한다(S1312).
터널 내부 측정 장치(500)는 S1312단계에서 생성된 3D 기반 포인트 클라우드를 연결하여 3D 터널 내부 지도를 생성하고, 생성된 터널 내부 지도의 포인트 클라우드를 분석하여 터널 내부 시설물을 인식한다(S1314).
터널 내부 측정 장치(500)는 S1314단계에서 인식된 터널 내부 시설물과 터널 내부에 대한 BIM 정보를 연계한 후 터널의 설계도와 매핑시켜 자율 이동체(100)의 위치를 역추정한다(S1316).
터널 내부 측정 장치(500)는 S1316단계에서 역추정된 위치를 이용하여 레이저 포인트의 X 값을 보정한다(S1318).
S1320단계에서, 터널 내부 측정 장치(500)는 S1318단계에서 위치가 보정된 3D 좌표의 포인트 클라우드(또는 이동거리(X)가 보정된 3D 기반 포인트 클라우드로부터 생성되는 터널 내부 지도)를 분석하여 불량표면의 크기와 변형을 측정할 수 있다.
한편, 본 발명에 따른 AVM 카메라 기반 터널 내부 고속 측정 시스템 및 그의 터널 내부 고속 측정 방법은 이를 구현하기 위한 명령어들의 프로그램이 유형적으로 구현됨으로써, 컴퓨터를 통해 판독될 수 있는 기록매체에 포함되어 제공될 수도 있음은 통상의 기술자가 쉽게 이해할 수 있다.
즉, 본 발명에 따른 AVM 카메라 기반 터널 내부 고속 측정 시스템 및 그의 터널 내부 고속 측정 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 형태로 구현되어, 컴퓨터 판독 가능한 기록매체에 기록될 수 있으며, 상기 컴퓨터 판독 가능한 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록매체에는 하드 디스크와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media) 및 롬(ROM), 램(RAM), 플래시 메모리, USB 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
따라서, 본 발명은 AVM 카메라 기반 터널 내부 고속 측정 시스템 및 그의 터널 내부 고속 측정 방법을 구현하기 위하여 컴퓨터 상에서 수행되는 컴퓨터 판독 가능한 기록매체에 저장된 프로그램을 함께 제공한다.
100: 자율 이동체 101: 치공구
102: 카메라 지지대 110: 모터
120: 엔코더 센서 200: 레이저 광원
300: 검사용 AVM 장치 400: 3D 센서용 AVM 장치
500: 터널 내부 측정 장치

Claims (17)

  1. 터널 내부 표면에 레이저를 투사하는 레이저 광원;
    상기 터널 내부 표면을 촬영하여 RGB 영상을 획득하는 다수의 터널 검사용 카메라들을 포함하고, 상기 다수의 RGB 영상들을 분석하여 터널 내부 표면에 대한 파노라마 영상(이하, 'RGB 파노라마 영상'이라 한다)을 생성하는 검사용 AVM(Around View Monitoring) 장치;
    상기 터널 내부 표면에 레이저가 투사된 영역을 촬영하여 레이저 영상을 획득하는 다수의 레이저 카메라들을 포함하고, 상기 다수의 레이저 카메라들이 획득한 레이저 영상들로부터 레이저 파노라마 영상을 생성하고, 상기 터널 내부 표면에 투사된 레이저의 포인트(이하, '레이저 포인트'라 한다)들의 3D 좌표를 상기 레이저 파노라마 영상에서 획득하는 3D 센서용 AVM 장치;
    상기 검사용 AVM 장치에서 생성되는 RGB 파노라마 영상과 상기 3D 센서용 AVM 장치에서 획득되는 레이저 포인트들의 3D 좌표를 분석하여 터널 내부의 결함과 변형을 측정하는 터널 내부 측정 장치; 및
    상기 레이저 광원, 검사용 AVM 장치, 3D 센서용 AVM 장치 및 터널 내부 측정 장치를 자율 이동시키는 자율 이동체;를 포함하고,
    상기 터널 내부 측정 장치는,
    상기 검사용 AVM 장치, 3D 센서용 AVM 장치 및 자율 이동체와 통신하는 메인 통신부;
    상기 검사용 AVM 장치로부터 수신되는 RGB 파노라마 영상을 분석하여 터널 내부에서 발생하는 불량표면의 위치를 탐지하고, 상기 3D 센서용 AVM 장치로부터 수신되는 레이저 포인트들의 3D 좌표를 분석하여 상기 불량표면의 크기와 형태적 변형을 측정하는 메인 제어부; 및
    상기 RGB 파노라마 영상, 레이저 파노라마 영상 및 상기 탐지된 불량표면의 위치, 크기 및 형태적 변형을 저장하는 메인 저장부;를 포함하며,
    상기 메인 제어부는,
    상기 검사용 AVM 장치로부터 수신되는 RGB 파노라마 영상으로부터 터널 내부 표면에서 발생하는 불량표면의 위치를 추출하는 불량표면 위치 추출부;
    상기 3D 센서용 AVM 장치로부터 수신되는 레이저 포인트들의 3D 좌표를 이용하여 3D 기반 포인트 클라우드를 생성하는 3D 포인트 클라우드 생성부; 및
    상기 생성되는 3D 기반 포인트 클라우드를 분석하여 상기 불량표면의 크기와 형태적 변형을 측정하는 불량표면 크기 측정부;를 포함하는 AVM 카메라 기반 터널 내부 고속 측정 시스템.
  2. 제1항에 있어서,
    상기 검사용 AVM 장치는,
    상기 터널 내부 표면의 서로 다른 영역을 촬영하도록 원형으로 설치되는 다수의 터널 검사용 카메라들;
    상기 다수의 터널 검사용 카메라들 간의 검교정을 통해 사전에 획득된 카메라 파라미터를 이용하여, 상기 다수의 터널 검사용 카메라들로부터 획득되는 RGB 영상들을 가공하여 상기 RGB 파노라마 영상을 생성하는 검사용 제어부; 및
    상기 생성된 RGB 파노라마 영상을 상기 터널 내부 측정 장치로 전송하는 검사용 통신부;를 포함하는 것을 특징으로 하는 AVM 카메라 기반 터널 내부 고속 측정 시스템.
  3. 제1항에 있어서,
    상기 3D 센서용 AVM 장치는,
    상기 터널 내부 표면의 서로 다른 영역을 촬영하도록 원형으로 설치되는 다수의 센서용 카메라들;
    상기 다수의 센서용 카메라들 간의 검교정을 통해 사전에 획득된 카메라 파라미터를 이용하여, 상기 다수의 센서용 카메라들로부터 획득되는 레이저 영상들을 가공하여 레이저 파노라마 영상을 생성하고, 상기 생성된 레이저 파노라마 영상을 분석하여 상기 터널 내부 표면에 투사된 레이저 포인트들의 3D 좌표를 획득하는 센서용 제어부; 및
    상기 생성된 레이저 파노라마 영상과 레이저 포인트들의 3D 좌표를 상기 터널 내부 측정 장치로 전송하는 센서용 통신부;를 포함하는 것을 특징으로 하는 AVM 카메라 기반 터널 내부 고속 측정 시스템.
  4. 제3항에 있어서,
    상기 센서용 제어부는,
    상기 다수의 센서용 카메라들 각각과 상기 레이저 광원 간의 검교정을 통해 사전에 획득된 카메라-레이저 좌표변환 관계식과 삼각측량을 이용하여 상기 레이저 포인트들의 변위를 인식하고, 상기 3D 좌표를 획득하는 것을 특징으로 하는 AVM 카메라 기반 터널 내부 고속 측정 시스템.
  5. 삭제
  6. 삭제
  7. 제1항에 있어서,
    상기 3D 포인트 클라우드 생성부는,
    상기 수신되는 레이저 포인트들의 3D 좌표를 이용하여 3D 기반 포인트 클라우드를 생성하는 포인트 클라우드 생성부;
    상기 생성된 3D 기반 포인트 클라우드를 연결하여 3D 터널 내부 지도를 생성하고, 상기 생성된 터널 내부 지도의 포인트 클라우드를 분석하여 터널 내부 시설물을 인식하는 포인트 클라우드 분석부;
    상기 인식된 터널 내부 시설물과 상기 터널 내부에 대한 BIM(Building Information Model) 정보를 연계한 후 상기 터널의 설계도와 매핑시켜 상기 자율이동체의 위치를 역추정하는 위치 역추정부; 및
    상기 레이저 포인트들의 3D 좌표 (X, Y, Z) 중 상기 자율이동체의 모터와 연동하는 엔코더 센서에 의해 산출되는 X값을 상기 역추정된 자율이동체의 위치를 이용하여 보정하는 위치 보정부;를 포함하는 것을 특징으로 하는 AVM 카메라 기반 터널 내부 고속 측정 시스템.
  8. 제7항에 있어서,
    상기 불량표면 크기 측정부는,
    상기 3D 기반 포인트 클라우드를 3D CNN 기반의 불량표면 측정 모델에 입력하여 불량표면의 길이와 폭을 포함하는 크기를 측정하고, 상기 터널 내부의 형태적 변형을 측정하는 것을 특징으로 하는 AVM 카메라 기반 터널 내부 고속 측정 시스템.
  9. 제1항에 있어서,
    상기 자율이동체는 일정한 속도로 상기 터널 내부를 이동하고,
    상기 다수의 터널 검사용 카메라들과 다수의 레이저 카메라들은 일정한 주기로 상기 터널 내부 표면을 촬영하는 것을 특징으로 하는 AVM 카메라 기반 터널 내부 고속 측정 시스템.
  10. 제1항에 있어서,
    상기 레이저 광원은,
    상기 자율 이동체의 전방에 구비되는 치공구의 끝에 설치되는 원형 레이저 광원인 것을 특징으로 하는 AVM 카메라 기반 터널 내부 고속 측정 시스템.
  11. (A) 검사용 AVM(Around View Monitoring) 장치가, 다수의 터널 검사용 카메라들로 터널 내부 표면을 촬영하여 다수의 RGB 영상들을 획득하고, 획득된 다수의 RGB 영상들을 분석하여 터널 내부 표면에 대한 파노라마 영상(이하, 'RGB 파노라마 영상'이라 한다)을 생성하는 단계;
    (B) 레이저 광원이 상기 터널 내부 표면에 레이저를 투사하는 단계;
    (C) 3D 센서용 AVM 장치가, 다수의 레이저 카메라들로 상기 터널 내부 표면에 레이저가 투사된 영역을 촬영하여 다수의 레이저 영상들을 획득하고, 획득된 다수의 레이저 영상들로부터 레이저 파노라마 영상을 생성하고, 상기 터널 내부 표면에 투사된 레이저의 포인트(이하, '레이저 포인트'라 한다)들의 3D 좌표를 상기 레이저 파노라마 영상에서 획득하는 단계;
    (D) 터널 내부 측정 장치가, 상기 (A) 단계에서 생성되는 RGB 파노라마 영상과 상기 (C) 단계에서 획득되는 레이저 포인트들의 3D 좌표를 분석하여 터널 내부의 결함과 변형을 측정하는 단계;를 포함하고,
    상기 레이저 광원, 검사용 AVM 장치, 3D 센서용 AVM 장치 및 터널 내부 측정 장치는 자율 이동체에 의해 상기 터널 내부를 이동하며,
    상기 (D) 단계는,
    (D1) 상기 검사용 AVM 장치로부터 수신되는 RGB 파노라마 영상을 분석하여 터널 내부 표면에서 발생하는 불량표면의 위치를 추출하는 단계;
    (D2) 상기 3D 센서용 AVM 장치로부터 수신되는 레이저 포인트들의 3D 좌표를 분석하여 3D 기반 포인트 클라우드를 생성하는 단계; 및
    (D3) 상기 생성되는 3D 기반 포인트 클라우드를 분석하여 상기 불량표면의 크기와 형태적 변형을 측정하는 단계;를 포함하는 것을 특징으로 하는 AVM 카메라 기반 터널 내부 고속 측정 시스템의 터널 내부 고속 측정 방법.
  12. 제11항에 있어서,
    상기 (A) 단계는,
    상기 다수의 터널 검사용 카메라들 간의 검교정을 통해 사전에 획득된 카메라 파라미터를 이용하여, 상기 다수의 RGB 영상들을 가공하여 상기 RGB 파노라마 영상을 생성하는 것을 특징으로 하는 AVM 카메라 기반 터널 내부 고속 측정 시스템의 터널 내부 고속 측정 방법.
  13. 제11항에 있어서,
    상기 (C) 단계는,
    상기 다수의 센서용 카메라들 간의 검교정을 통해 사전에 획득된 카메라 파라미터를 이용하여, 상기 다수의 레이저 영상들을 가공하여 레이저 파노라마 영상을 생성하고, 상기 생성된 레이저 파노라마 영상을 분석하여 상기 터널 내부 표면에 투사된 레이저 포인트들의 3D 좌표를 획득하는 것을 특징으로 하는 AVM 카메라 기반 터널 내부 고속 측정 시스템의 터널 내부 고속 측정 방법.
  14. 제13항에 있어서,
    상기 (C) 단계는,
    상기 다수의 센서용 카메라들 각각과 상기 레이저 광원 간의 검교정을 통해 사전에 획득된 카메라-레이저 좌표변환 관계식과 삼각측량을 이용하여 상기 레이저 포인트들의 변위를 인식하고, 상기 3D 좌표를 획득하는 것을 특징으로 하는 AVM 카메라 기반 터널 내부 고속 측정 시스템의 터널 내부 고속 측정 방법.
  15. 삭제
  16. 삭제
  17. 제11항에 있어서,
    상기 (D2) 단계는,
    (D21) 상기 수신되는 레이저 포인트들의 3D 좌표를 이용하여 3D 기반 포인트 클라우드를 생성하는 단계;
    (D22) 상기 생성된 3D 기반 포인트 클라우드를 연결하여 3D 터널 내부 지도를 생성하고, 상기 생성된 터널 내부 지도의 포인트 클라우드를 분석하여 터널 내부 시설물을 인식하는 단계;
    (D23) 상기 인식된 터널 내부 시설물과 상기 터널 내부에 대한 BIM(Building Information Model) 정보를 연계한 후 상기 터널의 설계도와 매핑시켜 상기 자율이동체의 위치를 역추정하는 단계; 및
    (D24) 상기 레이저 포인트들의 3D 좌표 (X, Y, Z) 중 상기 자율이동체의 모터와 연동하는 엔코더 센서에 의해 산출되는 X값을 상기 역추정된 자율이동체의 위치를 이용하여 보정하는 단계;를 포함하는 것을 특징으로 하는 AVM 카메라 기반 터널 내부 고속 측정 시스템의 터널 내부 고속 측정 방법.
KR1020190139225A 2019-11-04 2019-11-04 Avm 카메라 기반 터널 내부 고속 측정 시스템 및 그의 터널 내부 고속 측정 방법 KR102106452B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190139225A KR102106452B1 (ko) 2019-11-04 2019-11-04 Avm 카메라 기반 터널 내부 고속 측정 시스템 및 그의 터널 내부 고속 측정 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190139225A KR102106452B1 (ko) 2019-11-04 2019-11-04 Avm 카메라 기반 터널 내부 고속 측정 시스템 및 그의 터널 내부 고속 측정 방법

Publications (1)

Publication Number Publication Date
KR102106452B1 true KR102106452B1 (ko) 2020-05-06

Family

ID=70737366

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190139225A KR102106452B1 (ko) 2019-11-04 2019-11-04 Avm 카메라 기반 터널 내부 고속 측정 시스템 및 그의 터널 내부 고속 측정 방법

Country Status (1)

Country Link
KR (1) KR102106452B1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112325788A (zh) * 2020-11-06 2021-02-05 中国矿业大学 基于数字照相的隧道内壁变形特征原位量测装置及方法
CN113256599A (zh) * 2021-06-09 2021-08-13 清华四川能源互联网研究院 基于三维动态模型检测水工隧洞缺陷的方法
KR20220019936A (ko) * 2020-08-11 2022-02-18 주식회사 미래시티글로벌 철도 터널의 검사 방법
CN114923413A (zh) * 2022-05-26 2022-08-19 广东省高速公路有限公司 一种基于三维激光扫描仪点云钢结构质量自动判别方法
KR102487554B1 (ko) * 2021-12-14 2023-01-11 한국건설기술연구원 자율형 이동체와 다자유도 머니퓰레이터를 활용한 공동구 내부 손상 탐지 시스템, 방법 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체
KR20230112199A (ko) 2022-01-19 2023-07-27 현대건설(주) 문자인식으로 측위가 가능한 터널내 내공 측량로봇 및 이를 이용한 측량방법
KR102594121B1 (ko) * 2023-05-10 2023-10-25 (주) 신우하이텍 터널 내공 변위 판단을 위한 무인 이동식 측량 장치 및 이를 이용한 판단 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011095222A (ja) * 2009-11-02 2011-05-12 Tosetsu Doboku Consultant:Kk トンネルの内壁検査システムおよびトンネルの内壁検査方法
KR20130137463A (ko) * 2012-06-07 2013-12-17 한국철도기술연구원 3차원 터널 모델 생성을 위한 옵토-레이저 터널 스캐닝 시스템 및 그 데이터 처리 방법
KR20150128300A (ko) * 2014-05-09 2015-11-18 한국건설기술연구원 카메라와 레이저 스캔을 이용한 3차원 모델 생성 및 결함 분석 방법
KR101916467B1 (ko) 2012-10-30 2018-11-07 현대자동차주식회사 Ａｖｍ 시스템의 장애물 검출 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011095222A (ja) * 2009-11-02 2011-05-12 Tosetsu Doboku Consultant:Kk トンネルの内壁検査システムおよびトンネルの内壁検査方法
KR20130137463A (ko) * 2012-06-07 2013-12-17 한국철도기술연구원 3차원 터널 모델 생성을 위한 옵토-레이저 터널 스캐닝 시스템 및 그 데이터 처리 방법
KR101916467B1 (ko) 2012-10-30 2018-11-07 현대자동차주식회사 Ａｖｍ 시스템의 장애물 검출 장치 및 방법
KR20150128300A (ko) * 2014-05-09 2015-11-18 한국건설기술연구원 카메라와 레이저 스캔을 이용한 3차원 모델 생성 및 결함 분석 방법

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220019936A (ko) * 2020-08-11 2022-02-18 주식회사 미래시티글로벌 철도 터널의 검사 방법
KR102488843B1 (ko) 2020-08-11 2023-01-17 주식회사 미래시티글로벌 철도 터널의 검사 방법
CN112325788A (zh) * 2020-11-06 2021-02-05 中国矿业大学 基于数字照相的隧道内壁变形特征原位量测装置及方法
CN112325788B (zh) * 2020-11-06 2021-10-26 中国矿业大学 基于数字照相的隧道内壁变形特征原位量测装置及方法
CN113256599A (zh) * 2021-06-09 2021-08-13 清华四川能源互联网研究院 基于三维动态模型检测水工隧洞缺陷的方法
KR102487554B1 (ko) * 2021-12-14 2023-01-11 한국건설기술연구원 자율형 이동체와 다자유도 머니퓰레이터를 활용한 공동구 내부 손상 탐지 시스템, 방법 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체
KR20230112199A (ko) 2022-01-19 2023-07-27 현대건설(주) 문자인식으로 측위가 가능한 터널내 내공 측량로봇 및 이를 이용한 측량방법
CN114923413A (zh) * 2022-05-26 2022-08-19 广东省高速公路有限公司 一种基于三维激光扫描仪点云钢结构质量自动判别方法
KR102594121B1 (ko) * 2023-05-10 2023-10-25 (주) 신우하이텍 터널 내공 변위 판단을 위한 무인 이동식 측량 장치 및 이를 이용한 판단 방법

Similar Documents

Publication Publication Date Title
KR102106452B1 (ko) Avm 카메라 기반 터널 내부 고속 측정 시스템 및 그의 터널 내부 고속 측정 방법
Loupos et al. Autonomous robotic system for tunnel structural inspection and assessment
CA2950791C (en) Binocular visual navigation system and method based on power robot
CN108444390B (zh) 一种无人驾驶汽车障碍物识别方法及装置
CN102721365B (zh) 隧道断面高速精确测量方法及装置
CN106595630B (zh) 一种基于激光导航变电站巡检机器人的建图系统与方法
JP6826421B2 (ja) 設備巡視システム及び設備巡視方法
CN109060821B (zh) 基于激光检测的隧道病害检测方法及隧道病害检测装置
CN111547084B (zh) 基于自移动式轨道交通移动三维扫描系统的数据处理方法
KR102255978B1 (ko) 3d 센서를 활용한 객체 인식 기반 고해상도 철도 터널 내부 정밀 지도 생성 장치 및 방법
US20160133008A1 (en) Crack data collection method and crack data collection program
EP2927870B1 (en) Calibration apparatus, calibration method, and calibration program
EP2966400B1 (en) Overhead line position measuring device and method
JP6524529B2 (ja) 建築限界判定装置
KR102428765B1 (ko) 터널 조명을 이용한 자율주행 차량 항법 시스템
KR102117313B1 (ko) 그래디언트 추정 장치, 그래디언트 추정 방법, 컴퓨터 프로그램 및 제어 시스템
KR101954963B1 (ko) 수치지도 및 도로정밀지도 구축 자동화를 위한 장치 및 방법
CN103745484A (zh) 一种电力设施带电作业的人员目标安全预警方法
WO2020067751A1 (ko) 이종 센서 간의 데이터 융합 장치 및 방법
Dunbabin et al. Low-cost vision-based AUV guidance system for reef navigation
CN105373130A (zh) 基于立体建模的特种设备事故现场信息探测系统
US10621742B2 (en) Method for producing a depth map
CN106682584B (zh) 无人机障碍物检测方法及装置
KR20160125803A (ko) 영역 추출 장치, 물체 탐지 장치 및 영역 추출 방법
CN111862146B (zh) 一种目标对象的定位方法及装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant