KR102255978B1 - 3d 센서를 활용한 객체 인식 기반 고해상도 철도 터널 내부 정밀 지도 생성 장치 및 방법 - Google Patents

3d 센서를 활용한 객체 인식 기반 고해상도 철도 터널 내부 정밀 지도 생성 장치 및 방법 Download PDF

Info

Publication number
KR102255978B1
KR102255978B1 KR1020190158013A KR20190158013A KR102255978B1 KR 102255978 B1 KR102255978 B1 KR 102255978B1 KR 1020190158013 A KR1020190158013 A KR 1020190158013A KR 20190158013 A KR20190158013 A KR 20190158013A KR 102255978 B1 KR102255978 B1 KR 102255978B1
Authority
KR
South Korea
Prior art keywords
tunnel
marker
avm
rgb
map
Prior art date
Application number
KR1020190158013A
Other languages
English (en)
Inventor
백종대
심승보
Original Assignee
한국건설기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국건설기술연구원 filed Critical 한국건설기술연구원
Priority to KR1020190158013A priority Critical patent/KR102255978B1/ko
Application granted granted Critical
Publication of KR102255978B1 publication Critical patent/KR102255978B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/003—Maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H04N5/23238—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Business, Economics & Management (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

3D 센서를 활용한 객체 인식 기반 고해상도 철도 터널 내부 정밀 지도 생성 장치 및 방법이 제공된다. 3D 스캔 장치는 터널을 이동하면서 터널 내부 표면을 3D 스캐닝하여 형상 정보를 획득하고, 획득된 형상 정보를 3D 정합하여 3D 터널 형상 지도를 생성하고, AVM 카메라 장치는 터널 내부 표면을 촬영하여 획득되는 다수의 RGB 영상들을 연결하여 터널 내부 표면에 대한 RGB 파노라마 영상을 생성하고, 자율 이동체는 3D 스캔 장치와 AVM 카메라 장치를 자율 이동시키며, 3D 스캔 장치는, 3D 스캔 장치에서 생성된 3D 터널 형상 지도와 AVM 카메라 장치에서 생성된 RGB 파노라마 영상을 중첩하여 터널 내부에 대한 정밀 지도를 생성한다.

Description

3D 센서를 활용한 객체 인식 기반 고해상도 철도 터널 내부 정밀 지도 생성 장치 및 방법{Apparatus and method for generating tunnel internal precise map based on tunnel internal object detection using 3D sensor}
본 발명은 3D 센서를 활용한 객체 인식 기반 고해상도 철도 터널 내부 정밀 지도 생성 장치 및 방법에 관한 것으로서, 보다 상세하게는, 롤 방향, 요 방향 및 피치 방향 중 적어도 하나의 방향으로 회전하면서 터널 내부를 스캐닝하여 터널 내부 정밀 지도를 생성할 수 있는 3D 센서를 활용한 객체 인식 기반 고해상도 철도 터널 내부 정밀 지도 생성 장치 및 방법에 관한 것이다.
실질적인 전국의 일일생활권 구축을 위해 고속의 이동 수단이 활발히 구축되고 있다. 고속 이동 수단의 예로는 수도권 광역급행철도, 초장대 터널, 초고속열차 하이퍼루프(Hyperloop) 등 다양하다.
수도권 광역급행철도는 기존 전철 노선의 느린 속도를 해결하고자 대심도(지하 40m) 터널 공법을 사용하여 수도권의 이동성을 향상시킬 수 있는 인프라를 구축하는데 일조한다. 초고속열차 하이퍼루프는 아음속 캡슐 열차가 시속 1,220km/h로 터널을 이동하여 서울-부산 간 20분대의 생활권을 구축한다.
그러나, 지하 40m 이하의 대심도 터널에 대한 국민의 불안감이 표출되고 있으며, 대심도/고속 터널 안전성에 대한 관심이 증대하고 있으므로, 터널 안전 검사를 위한 새로운 정밀 측정 센서 개발에 대한 수요가 증대하고 있다.
터널 안전 검사 시스템은 크게 결함 탐지 기술과 지도 생성 기술로 구분된다.
결함 탐지 기술은 터널 내부에서 발생하는 결함을 탐지하고 그 결함의 종류와 크기를 판단하는 기술로 주로 영상처리와 인공지능 기술이 활용된다.
지도 생성 기술은 터널 내부에서 결함이 존재하는 위치를 지도에 표시하는 기술로서 터널을 체계적으로 유지 관리 및 보수하는데 활용된다.
기존의 철도 터널 검사 기술 중 하나는 자율주행로봇 기반의 3차원 터널 스캐너 장비를 이용하는 것이다. 그러나, 기존의 터널 스캐너를 이용하는 경우, 터널 내부를 이동하는 터널 스캐너의 측정위치를 휠(wheel)의 회전에 의한 거리측정기(Encoder)를 기반으로 측정 시점으로부터의 상대 거리를 측정하도록 되어 있어 장거리 터널에서의 슬립에 의한 누적 오차로 정확한 위치정보 획득이 불가하여 작업 이력 관리에 차질이 발생한다.
또한, 최근 들어 터널이 장거리화되면서 터널 내부를 측정하는 측정 속도의 중요성이 대두되고 있다. 따라서, 터널 내부 표면의 결함을 측정하되 측정 정확도와 속도 모두를 향상시킬 수 있는 기술이 필요하다.
국내 등록특허 제10-1916467호
전술한 문제점을 해결하기 위하여 본 발명이 이루고자 하는 기술적 과제는, 롤 방향뿐만 아니라 요 방향 또는 피치 방향으로 회전하면서 터널 내부를 스캐닝하여 터널 내부 정밀 지도를 생성함으로써 측정 정확도와 속도를 향상시킬 수 있는 3D 센서를 활용한 객체 인식 기반 고해상도 철도 터널 내부 정밀 지도 생성 장치 및 방법을 제시하는 데 있다.
본 발명의 해결과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 기술적 과제를 해결하기 위한 수단으로서, 본 발명의 실시 예에 따르면, 3D 센서를 활용한 객체 인식 기반 고해상도 철도 터널 내부 정밀 지도 생성 장치는, 터널을 이동하면서 터널 내부 표면을 3D 스캐닝하여 형상 정보를 획득하고, 획득된 형상 정보를 3D 정합하여 3D 터널 형상 지도를 생성하는 3D 스캔 장치; 상기 터널 내부 표면을 촬영하여 획득되는 다수의 RGB 영상들을 연결하여 터널 내부 표면에 대한 파노라마 영상(이하, 'RGB 파노라마 영상'이라 한다)을 생성하는 AVM(Around View Monitoring) 카메라 장치; 및 상기 3D 스캔 장치와 AVM 카메라 장치를 자율 이동시키는 자율 이동체;를 포함하고, 상기 3D 스캔 장치는, 상기 3D 스캔 장치에서 생성된 3D 터널 형상 지도와 상기 AVM 카메라 장치에서 생성된 RGB 파노라마 영상을 중첩하여 터널 내부에 대한 정밀 지도(이하, '3D 터널 내부 정밀 지도'라 한다)를 생성한다.
상기 3D 스캔 장치는, 상기 AVM 카메라 장치로부터 RGB 파노라마 영상을 수신하는 스캔 통신부; 터널 내부 표면을 스캐닝하여 터널 내부 표면의 형상 정보를 3D 포인트 클라우드 형태로 수집하는 라이다(LiDAR); 및 상기 라이다가 1회 회전할 때마다 획득하는 3D 포인트 클라우드를 이용하여 1개의 PCD(Point Cloud) 세트를 생성하고, 생성되는 다수의 PCD 세트들을 정합하여 상기 3D 터널 형상 지도를 생성하며, 상기 생성된 3D 터널 형상 지도와 수신된 RGB 파노라마 영상을 중첩하여 상기 3D 터널 내부 정밀 지도를 생성하는 스캔 제어부;를 포함한다.
상기 스캔 통신부는, 상기 자율 이동체의 모터와 연동하는 엔코더 센서에 의해 산출되는 자율 이동체의 이동 거리를 상기 엔코더 센서로부터 수신하고, 상기 스캔 제어부는, 상기 수신된 자율 이동체의 이동 거리를 상기 다수의 PCD 세트들 각각의 상대적 위치로 추정하고, 상기 추정된 상대적 위치를 이용하여 다수의 PCD 세트들을 정합하여 상기 3D 터널 형상 지도를 생성한다.
상기 터널 내부 표면에는 각각의 ID(Identity) 정보를 가지는 3D 마커들이 이격되어 부착되어 있고, 상기 라이다는 상기 터널 내부 표면을 스캐닝하면서 3D 마커를 동시에 스캐닝하며, 상기 스캔 제어부는, 상기 3D 마커에 매핑저장된 절대적 위치 정보를 이용하여 상기 추정된 상대적 위치를 보정한 후, 상대적 위치가 보정된 다수의 PCD 세트들을 정합하여 상기 3D 터널 형상 지도를 생성한다.
상기 스캔 제어부는, 상기 라이다가 1회 회전할 때마다 획득하는 3D 포인트 클라우드를 SLAM(Simultaneous Localization and Mapping) 알고리즘으로 정합하여 1개의 PCD 세트를 생성하는 PCD 세트 생성부; 상기 수집된 3D 포인트 클라우드 중 상기 3D 마커에 해당하는 포인트 클라우드를 추출하고, 추출된 포인트 클라우드를 분석하여 상기 3D 마커의 ID(이하, '3D 마커 ID'라 한다)를 판단하는 3D 마커 ID 판단부; 판단된 3D 마커 ID에 매핑된 3D 마커의 절대적 위치 정보를 메모리로부터 확인하는 마커 위치 확인부; 확인된 3D 마커의 절대적 위치 정보를 이용하여 상기 다수의 PCD 세트들 각각의 상대적 위치를 보정하는 PCD 위치 보정부; 상대적 위치가 보정된 다수의 PCD 세트들을 정합하여 상기 3D 터널 형상 지도를 생성하는 터널 형상 지도 생성부; 및 상기 3D 터널 형상 지도와 상기 RGB 파노라마 영상을 중첩하여 3D 터널 내부 정밀 지도를 생성하는 터널 정밀 지도 생성부;를 포함한다.
상기 3D 스캔 장치는, 자율 이동체의 진행 방향인 롤(Roll) 방향으로 360도 회전하면서 동시에 요(Yaw) 방향 및 피치(Pitch) 방향 중 적어도 하나의 방향으로 회전하여 확장된 스캐닝 범위로 상기 터널 내부 표면을 스캐닝한다.
상기 3D 스캔 장치를, 자율 이동체의 진행 방향인 롤(Roll) 방향으로 360도 회전시키면 동시에 요(Yaw) 방향 및 피치(Pitch) 방향 중 적어도 하나의 방향으로 회전시켜 상기 터널 내부 표면의 스캐닝 범위를 확장시키는 3D 스캔 구동 모듈;을 더 포함한다.
상기 AVM 카메라 장치는, 상기 터널 내부 표면의 서로 다른 영역을 촬영하도록 원형으로 설치되는 다수의 AVM 카메라들; 상기 다수의 AVM 카메라들 간의 검교정을 통해 사전에 획득된 카메라 파라미터를 이용하여, 상기 다수의 AVM 카메라들로부터 획득되는 RGB 영상들을 연결하여 RGB 파노라마 영상을 생성하는 AVM 제어부; 및 상기 생성된 RGB 파노라마 영상을 상기 3D 스캔 장치로 전송하는 AVM 통신부;를 포함한다.
상기 터널 내부 표면에는 각각의 ID 정보를 가지는 2D 마커들이 이격되어 부착되어 있고, 상기 다수의 AVM 카메라들은 2D 마커들을 포함하는 터널 내부 표면을 촬영하며, 상기 AVM 제어부는, 상기 RGB 영상들을 분석하여 2D 마커에 포함된 ID(이하, '2D 마커 ID'라 한다)를 확인하고, 확인된 2D 마커 ID를 상기 3D 스캔 장치로 전송하도록 처리한다.
상기 스캔 제어부는, 상기 2D 마커의 2D 마커 ID에 매핑저장된 절대적 위치 정보를 이용하여 상기 추정된 상대적 위치를 보정한 후, 상대적 위치가 보정된 다수의 PCD 세트들을 정합하여 상기 3D 터널 형상 지도를 생성한다.
한편, 본 발명의 다른 실시 예에 따르면, 3D 센서를 활용한 객체 인식 기반 고해상도 철도 터널 내부 정밀 지도 생성 장치는, 터널을 이동하면서 터널 내부 표면을 3D 스캐닝하여 형상 정보를 획득하고, 획득된 형상 정보를 3D 정합하여 3D 터널 형상 지도를 생성하는 3D 스캔 장치; 상기 터널 내부 표면을 촬영하여 획득한 RGB 영상을 이용하여 터널 내부 표면에 대한 파노라마 영상(이하, 'RGB 파노라마 영상'이라 한다)을 생성하는 AVM(Around View Monitoring) 카메라 장치; 상기 3D 스캔 장치에서 생성된 3D 터널 형상 지도와 상기 AVM 카메라 장치에서 생성된 RGB 파노라마 영상을 중첩하여 터널 내부에 대한 정밀 지도(이하, "3D 터널 내부 정밀 지도"라 한다)를 생성하는 터널 정밀 지도 생성 장치; 상기 3D 스캔 장치와 AVM 카메라 장치를 자율 이동시키는 자율 이동체; 및 상기 3D 스캔 장치가 자율 이동체의 진행 방향인 롤(Roll) 방향으로 360도 회전하면서 동시에 요(Yaw) 방향 및 피치(Pitch) 방향 중 적어도 하나의 방향으로 회전하여 확장된 스캐닝 범위로 상기 터널 내부 표면을 스캐닝하도록 구동시키는 3D 스캔 구동 모듈;을 포함한다.
본 발명에 따르면, 터널 내부 지도를 고속으로 생성함으로써 기존의 장시간 선로 단선에 의한 손실을 최소화할 수 있으며, 고속 터널의 주기적인 점검으로 안전사고 예방에 기여할 수 있다.
또한, 본 발명의 따르면, 하이퍼루프/어반루프 뿐만 아니라, 현재 운용중인 철근콘크리트 터널과 지하 매설 관로에서도 적용이 가능하여 활용도가 매우 높다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상도 철도 터널 내부 정밀 지도 생성 장치가 적용된 시스템 개요도,
도 2는 본 발명의 일 실시 예에 따른 3D 센서를 활용한 객체 인식 기반 고해상도 철도 터널 내부 정밀 지도 생성 장치가 터널 내부를 촬영한 개념을 설명하기 위한 개념도,
도 3은 도 1에 도시된 고해상도 철도 터널 내부 정밀 지도 생성 장치를 도시한 블록도,
도 4는 3D 스캔 장치와 3D 스캔 구동 모듈의 측면도와 단면도를 보여주는 도면,
도 5는 도 2에 도시된 AVM 카메라 장치를 도시한 블록도,
도 6은 도 2에 도시된 3D 스캔 장치를 도시한 블록도,
도 7은 도 6에 도시된 스캔 제어부를 자세히 도시한 블록도,
도 8은 3D 터널 형상 지도가 생성되는 방식을 보여주는 도면,
도 9는 본 발명의 다른 실시 예에 따른 3D 센서를 활용한 객체 인식 기반 고해상도 철도 터널 내부 정밀 지도 생성 장치가를 도시한 블록도,
도 10은 본 발명의 실시 예에 따른 3D 센서를 활용한 객체 인식 기반 고해상도 철도 터널 내부 정밀 지도 생성 방법을 개략적으로 도시한 흐름도, 그리고,
도 11은 도 10에 도시된 방법을 상세히 도시한 흐름도이다.
이상의 본 발명의 목적들, 다른 목적들, 특징들 및 이점들은 첨부된 도면과 관련된 이하의 바람직한 실시 예들을 통해서 쉽게 이해될 것이다. 그러나 본 발명은 여기서 설명되는 실시 예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시 예들은 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다.
본 명세서에서 어떤 엘리먼트, 구성요소, 장치, 또는 시스템이 프로그램 또는 소프트웨어로 이루어진 구성요소를 포함한다고 언급되는 경우, 명시적인 언급이 없더라도, 그 엘리먼트, 구성요소, 장치, 또는 시스템은 그 프로그램 또는 소프트웨어가 실행 또는 동작하는데 필요한 하드웨어(예를 들면, 메모리, CPU 등)나 다른 프로그램 또는 소프트웨어(예를 들면 운영체제나 하드웨어를 구동하는데 필요한 드라이버 등)를 포함하는 것으로 이해되어야 할 것이다.
또한, 어떤 엘리먼트(또는 구성요소)가 구현됨에 있어서 특별한 언급이 없다면, 그 엘리먼트(또는 구성요소)는 소프트웨어, 하드웨어, 또는 소프트웨어 및 하드웨어 어떤 형태로도 구현될 수 있는 것으로 이해되어야 할 것이다.
이하, 도면을 참조하여 본 발명을 상세히 설명하도록 한다. 아래의 특정 실시 예들을 기술하는데 있어서, 여러 가지의 특정적인 내용들은 발명을 더 구체적으로 설명하고 이해를 돕기 위해 작성되었다. 하지만 본 발명을 이해할 수 있을 정도로 이 분야의 지식을 갖고 있는 독자는 이러한 여러 가지의 특정적인 내용들이 없어도 사용될 수 있다는 것을 인지할 수 있다.
도 5 내지 도 7에 도시된 각각의 구성은 기능 및 논리적으로 분리될 수도 있음을 나타내는 것이며, 반드시 각각의 구성이 별도의 물리적 장치로 구분되거나 별도의 코드로 작성됨을 의미하는 것은 아님을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
도 1은 본 발명의 일 실시 예에 따른 3D 센서를 활용한 객체 인식 기반 고해상도 철도 터널 내부 정밀 지도 생성 장치가 적용된 시스템 개요도이다.
도 1을 참조하면, 본 발명의 일 실시 예는 초장대 터널 내부 상태를 고속으로 정밀 촬영하여 철도 터널 내부의 유지보수를 위한 3차원 정밀 지도를 생성하기 위한 것으로서, 회전축을 활용하여 터널 내부의 센싱 범위를 롤(Roll) 방향뿐만 아니라, 요(Yaw) 방향 또는 피치(Pitch) 방향으로 확장할 수 있으며, 또한, 터널 내부에 부착된 2D 마커 또는 3D 마커를 이용하여 터널 지도의 위치를 보정할 수 있다.
또한, 라이다(LiDAR)를 이용한 3D 센서와 AVM(Around View Monitoring) 카메라를 이용한 RGB 영상의 융합을 통해 보다 정밀하며 실사 기반의 터널 내부 지도를 생성할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 3D 센서를 활용한 객체 인식 기반 고해상도 철도 터널 내부 정밀 지도 생성 장치가 터널 내부를 촬영하는 개념을 설명하기 위한 개념도, 도 3은 도 1에 도시된 고해상도 철도 터널 내부 정밀 지도 생성 장치를 도시한 블록도이다.
도 2 및 도 3을 참조하면, 본 발명의 일 실시 예에 따른 고해상도 철도 터널 내부 정밀 지도 생성 장치는 자율 이동체(100), AVM 카메라 장치(200), 3D 스캔 장치(300) 및 3D 스캔 구동 모듈(400)을 포함한다. 도 2에는 각각 하나의 AVM 카메라 장치(200), 3D 스캔 장치(300) 및 3D 스캔 구동 모듈(400)이 도시되어 있으나, 보다 정밀하고 정확한 터널 내부 탐색을 위한 경우 2대 이상 구비될 수도 있다.
자율 이동체(100)는 터널 내부의 도로(또는 철로)를 일정 속도로 이동하는 무인 자율 이동형 로봇일 수 있다. 자율 이동체(100)는 AVM 카메라 장치(200), 3D 스캔 장치(300) 및 3D 스캔 구동 모듈(400)을 자율 이동시킬 수 있다. 일 예로, 자율 이동체(100)는 일정 거리 이동 후 멈추며, 이 때, AVM 카메라 장치(200)와 3D 스캔 장치(300)가 터널 내부를 스캐닝하거나 촬영하면 다시 일정 거리 이동 후 멈추는 동작을 반복할 수 있다. 또는, 자율 이동체(100)는 지속적으로 일정 속도로 이동할 수도 있다.
자율 이동체(100)는 모터(110)에 의해 일정한 속도로 터널 내부를 주행하며, 모터(110)에는 모터(110)와 연동하는 엔코더 센서(120)가 연결된다. 엔코더 센서(120)는 자율 이동체(100)가 주행하기 시작하는 시작 위치부터 이동거리(즉, 자율 이동체(100)의 상대적 위치)를 계산할 수 있는 센서로서, 엔코더 센서(120)에 의해 계산된 이동거리로부터 3D 포인트 클라우드의 X 좌표를 획득할 수 있다. X 값은 엔코더 센서(120)로부터 직접 AVM 카메라 장치(200)와 3D 스캔 장치(300)로 전송될 수 있다.
AVM 카메라 장치(200)는 터널 내부 표면을 촬영하여 획득되는 다수의 RGB 영상들을 연결하여 터널 내부 표면에 대한 파노라마 영상(이하, 'RGB 파노라마 영상'이라 한다)을 생성할 수 있다.
3D 스캔 장치(300)는 터널을 이동하면서 터널 내부 표면을 3D 스캐닝하여 형상 정보를 획득하고, 획득된 형상 정보를 3D 정합하여 3D 터널 형상 지도를 생성할 수 있다. 또한, 3D 스캔 장치(300)는 생성된 3D 터널 형상 지도와 AVM 카메라 장치(200)에서 생성된 RGB 파노라마 영상을 중첩하여 터널 내부에 대한 정밀 지도(이하, '3D 터널 내부 정밀 지도'라 한다)를 생성할 수 있다.
3D 스캔 구동 모듈(400)은 3D 스캔 장치(300)가 자율 이동체(100)의 주행 방향 기준으로 전방에 설치되도록 치공구 설계를 통해 제작된다. 3D 스캔 구동 모듈(400)은 3D 스캔 장치(300)를, 자율 이동체의 진행 방향인 롤 방향으로 360도 회전시키면 동시에 요 방향 및 피치 방향 중 적어도 하나의 방향으로 회전시켜 터널 내부 표면의 스캐닝 범위를 확장시킬 수 있다.
도 4는 3D 스캔 장치(300)와 3D 스캔 구동 모듈(400)의 측면도와 단면도를 보여주는 도면이다.
도 4를 참조하면, 3D 스캔 구동 모듈(400)은 회전 제어부(410), 치공구(420) 및 회전용 롤러(430)를 포함할 수 있다.
회전 제어부(410)는 회전용 롤러(430)를 이용하여 3D 스캔 장치(300)를 X축을 기준으로 하는 회전축에 의해 롤 방향으로 360도 회전시키며, 동시에 Z축을 기준으로 하는 회전축에 의해 요 방향으로 회전시킬 수 있다. 또는, 3D 스캔 구동 모듈(400)을 90도 회전시킴으로써, 회전 제어부(410)는 롤 방향으로의 회전과 동시에 또는 Y축을 기준으로 하는 회전축에 의해 피치 방향으로 3D 스캔 장치(300)를 최대 360도 회전시킬 수도 있다.
회전 제어부(410)는 주기적으로 또는 자율 이동체(100)의 이동이 멈추면 3D 스캔 장치(300)를 회전시킬 수 있다.
이로써, 3D 스캔 장치(300)는 치공구(420)에 의해 3D 스캔 구동 모듈(400)과 연결되어, 롤 방향으로 360도 회전하면서 동시에 요 방향 및 피치 방향 중 적어도 하나의 방향으로 최대 360도 회전할 수 있다.
다시 도 2를 참조하면, 터널 내부 표면에는 각각의 ID(Identity) 정보를 가지는 2D 마커들(10) 또는 3D 마커들(20)이 이격되어 부착될 수 있다. 2D 마커들(10) 또는 3D 마커들(20)이 부착된 위치는 터널의 설계 및 시공 단계에서 정해지거나 이후 정해질 수 있으며, 장애물에 의한 간섭(마커 인식을 방해하는 간섭)이 없는 위치에 부착되어야 한다.
2D 마커(10) 또는 3D 마커(20)는 예를 들어, 2D QR 또는 3D QR 형태로 되어 있으며, 2D 마커(10)는 AVM 카메라들(211~216)에 의해 인식되고, 3D 마커(20)는 3D 스캔 장치(300)에 의해 인식될 수 있다. 3D 스캔 장치(300)는 2D 마커(10) 또는 3D 마커(20)에 의해 인식된 ID 정보를 바탕으로 현재 자율 이동체(100)의 절대적 위치 정보를 추정할 수 있다. 이는 2D 마커들(10) 또는 3D 마커들(20)이 부착된 위치는 변경되지 않는 절대적 위치이므로, 2D 마커들(10) 또는 3D 마커들(20)의 ID에 매핑된 절대적 위치 정보를 이용하여 자율 이동체(100)의 상대적 위치(또는, 3D 터널 내부 형상 지도의 위치)를 절대적 위치 정보를 이용하여 보정할 수 있음을 의미한다.
도 2에는 터널의 상부에 2D 마커(10)와 3D 마커(20)가 부착된 경우가 도시되어 있으나, 라이다(320)의 스캔이 가능한 영역이라면 터널의 측면 또는 하부 등 터널 내부 표면의 어느 곳에나 부착될 수 있다.
이하에서는 도 5 내지 도 8을 참조하여 본 발명의 일 실시 예를 자세히 설명한다.
도 5는 도 2에 도시된 AVM 카메라 장치(200)를 도시한 블록도이다.
도 5를 참조하면, AVM 카메라 장치(200)는 제1 내지 제6AVM 카메라들(211~216), AVM 저장부(220), AVM 제어부(230) 및 AVM 통신부(240)를 포함할 수 있다.
제1 내지 제6AVM 카메라들(211~216)은 2D 마커들(10)을 포함하는 터널 내부 표면의 서로 다른 영역을 촬영하도록 카메라 지지대(202)에 원형으로 설치될 수 있다. 제1 내지 제6AVM 카메라들(211~216)은 터널 내부 표면에서 바라보고 있는 표면을 촬영하여 각각 제1 내지 제6RGB 영상을 출력한다. 도 5에서는 6대의 AVM 카메라들을 예로 들었으나 그 개수는 터널의 크기, 카메라의 성능 등 주변 환경에 따라 변경가능하다.
AVM 저장부(220)는 AVM 카메라 장치(200)가 제공하는 동작, 기능 등을 구현 및/또는 제공하기 위하여, 구성요소들(211~240)에 관계된 명령 또는 데이터, 하나 이상의 프로그램 및/또는 소프트웨어 등을 저장할 수 있다.
또한, AVM 저장부(220)는 제1 내지 제6AVM 카메라들(211~216) 간의 검교정을 통해 사전에 획득된 카메라 파라미터를 저장할 수 있다. 카메라 파라미터는 제1 내지 제6AVM 카메라들(211~216)이 촬영한 원형 터널 내부 표면의 제1 내지 제6RGB 영상들을 연결하여 파노라마 형태로 가공할 때 사용된다.
카메라 검교정은 이웃하는 카메라들 간에 수행될 수 있으며, 이러한 경우, AVM 저장부(220)는 제1AVM 카메라(311)와 제2AVM 카메라(312) 간의 검교정을 수행하여 획득한 카메라 파라미터, 제2AVM 카메라(312)와 제3AVM 카메라(313) 간의 카메라 파라미터, …, 제5AVM 카메라(315)와 제6AVM 카메라(316) 간의 카메라 파라미터가 저장될 수 있다.
카메라 검교정에 의해 획득되는 카메라 파라미터는 내부 파라미터(Intrinsic parameter)와 외부 파라미터(Extrinsic parameter)를 포함한다. 내부 파라미터는 초점거리, 영상의 중심점, 비대칭 계수 정보를 포함한다. 외부 파라미터는 월드 좌표계에서 각각의 카메라의 좌표계 정보를 포함한다. 이 때 모든 카메라 좌표계가 하나의 월드 좌표계에서 표현되었을 때 검교정이 완료된 것이다. 카메라 검교정을 수행하는 방법은 예를 들어, 체크 보드판을 활용하는 방법과 자연지형물을 활용하는 방법(Field Calibration)이 있다.
또한, AVM 저장부(220)는 제1 내지 제6AVM 카메라들(211~216)이 촬영한 제1 내지 제6 RGB 영상들과 촬영 시간을 함께 저장할 수 있다.
AVM 제어부(230)는 AVM 통신부(240)가 수신하는 X 좌표와 제1 내지 제6RGB 영상들을 시간동기화할 수 있다. 그리고, AVM 제어부(230)는 제1 내지 제6AVM 카메라들(211~216) 간의 검교정을 통해 사전에 획득된 카메라 파라미터를 이용하여, X 좌표와 시간동기화된 제1 내지 제6RGB 영상들을 가공 및 연결하여 RGB 파노라마 영상을 생성할 수 있다.
또한, AVM 제어부(230)는 제1 내지 제6RGB 영상들 각각을 분석하여 2D 마커(10)를 추출하고, 추출된 2D ID(10)를 분석하여 2D ID(10)에 포함된 ID(이하, '2D 마커 ID'라 한다)를 확인할 수 있다. AVM 제어부(230)는 확인된 2D 마커 ID를 3D 스캔 장치(300)로 전송하도록 처리한다.
AVM 통신부(240)는 제1 내지 제6AVM 카메라들(211~216)이 주기적으로 셔터를 작동하여 터널 내부 표면을 촬영할 때마다 자율 이동체(100)의 엔코더 센서(120)로부터 현재 자율 이동체(100)의 이동거리, 즉, X 좌표를 요청하여 수신할 수 있다.
또한, AVM 통신부(240)는 생성된 RGB 파노라마 영상과 확인된 2D 마커 ID들을 3D 스캔 장치(300)로 전송할 수 있다.
도 6은 도 2에 도시된 3D 스캔 장치(300)를 도시한 블록도이다.
도 6을 참조하면, 3D 스캔 장치(300)는 스캔 통신부(310), 라이다(320), 스캔 메모리(330) 및 스캔 제어부(340)를 포함한다.
스캔 통신부(310)는 AVM 카메라 장치(200)로부터 RGB 파노라마 영상과 2D 마커 ID들을 수신하고, 엔코더 센서(120)로부터 자율 이동체(100)의 이동 거리, 즉, 상대적 위치 정보인 X 값을 수신할 수 있다.
라이다(320)는 터널 내부 표면을 스캐닝하여 터널 내부 표면의 형상 정보를 3D 포인트 클라우드 형태로 수집할 수 있다. 라이다(320)는 3D 스캔 구동 모듈(400) 및 3D 스캔 장치(300)에 의해 롤 방향 및 요 방향으로 회전하면서 터널 내부 표면을 스캐닝하여 터널 표면의 형상 정보를 3D 포인트 클라우드 형태로 수집할 수 있다.
스캔 메모리(330)는 3D 스캔 장치(300)가 제공하는 동작, 기능 등을 구현 및/또는 제공하기 위하여, 구성요소들(310~340)에 관계된 명령 또는 데이터, 하나 이상의 프로그램 및/또는 소프트웨어 등을 저장할 수 있다.
또한, 스캔 메모리(330)는 라이다(320)에 의해 수집된 3D 포인트 클라우드들을 저장할 수 있다.
또한, 스캔 메모리(330)는 2D 마커들(10)과 3D 마커들(20)의 ID의 절대적 위치 정보를 저장하는 마커 ID 테이블을 저장할 수 있다.
스캔 제어부(340)는 라이다(320)가 1회 회전할 때마다 획득하는 3D 포인트 클라우드를 이용하여 1개의 PCD(Point Cloud) 세트를 생성하고, 생성되는 다수의 PCD 세트들을 정합하여 3D 터널 형상 지도를 생성하며, 생성된 3D 터널 형상 지도와 RGB 파노라마 영상을 중첩하여 컬러 영상의 3D 터널 내부 정밀 지도를 생성할 수 있다.
특히, 스캔 제어부(340)는 엔코더 센서(120)로부터 수신된 자율 이동체(100)의 이동 거리를 다수의 PCD 세트들 각각의 상대적 위치로 추정하고, 추정된 상대적 위치를 이용하여 다수의 PCD 세트들을 정합하여 3D 터널 형상 지도를 생성할 수 있다.
이와 더불어, 라이다(320)는 터널 내부 표면을 스캐닝하면서 3D 마커들(20)을 동시에 스캐닝하므로, 스캔 제어부(340)는 3D 마커들(20)에 매핑저장된 절대적 위치 정보를 이용하여 이전에 추정된 각 PCD 세트의 상대적 위치를 보정한 후, 상대적 위치가 보정된 다수의 PCD 세트들을 정합하여 3D 터널 형상 지도를 생성할 수 있다.
도 7은 도 6에 도시된 스캔 제어부(340)를 자세히 도시한 블록도이다.
도 7을 참조하면, 스캔 제어부(340)는 PCD 세트 생성부(341), 3D 마커 ID 판단부(342), 마커 위치 확인부(343), PCD 위치 보정부(344), 터널 형상 지도 생성부(345) 및 터널 정밀 지도 생성부(346)를 포함할 수 있다.
PCD 세트 생성부(341)는 라이다(320)가 1회 회전할 때마다 획득하는 3D 포인트 클라우드의 3차원 구조 정보를 바탕으로 NDT(Normal Distribution Transformation) 알고리즘과 SLAM(Simultaneous Localization and Mapping) 알고리즘으로 정합하여 1개의 PCD 세트를 생성할 수 있다. PCD 세트 생성부(341)는 자율 이동체(100)가 전진하면서 다른 터널 내부 표면을 스캐닝함으로써 다수의 PCD 세트들을 생성할 수 있다.
상술한 3차원 구조 정보는 레이저 포인트의 위치정보인 (X, Y, Z)이다. SLAM 알고리즘은 맵을 만드는 알고리즘과 3D 스캔 장치(300)의 상대 위치 추정 알고리즘을 동시에 구동하는 방식이고, NDT 알고리즘은 맵핑을 위한 변환 행렬을 구하는 방법으로 맵을 만드는 알고리즘에 포함된 것으로서 SLAM 알고리즘과 NDT 알고리즘은 주지된 기술이므로 상세한 설명은 생략한다.
3D 마커 ID 판단부(342)는 수집된 3D 포인트 클라우드 중 3D 마커에 해당하는 포인트 클라우드를 추출하고, 추출된 포인트 클라우드를 분석하여 3D 마커의 ID인 3D 마커 ID를 판단할 수 있다. 예를 들어, 3D 마커(20)의 형태는 사전에 정해져 있으므로 3D 마커(20)의 포인트 클라우드 정보(또는 (X, Y, Z) 형태의 3차원 구조 정보)가 3D 마커 ID에 매핑되어 사전에 스캔 메모리(330)에 저장될 수 있다. 따라서, 3D 마커 ID 판단부(342)는 수집된 3D 포인트 클라우드로부터 3D 마커(20)에 해당하는 포인트 클라우드(즉, 3차원 구조 정보)와 동일한 정보를 추출하여 추출된 3차원 구조 정보에 매핑된 3D 마커 ID를 판단할 수 있다.
마커 위치 확인부(343)는 판단된 3D 마커 ID에 매핑된 3D 마커(20)의 절대적 위치 정보를 스캔 메모리(330)의 마커 ID 테이블로부터 확인할 수 있다. 또한, 마커 위치 확인부(343)는 AVM 카메라 장치(200)로부터 수신되는 2D 마커 ID에 매핑된 2D 마커(10)의 절대적 위치 정보를 스캔 메모리(330)의 마커 ID 테이블로부터 확인할 수 있다.
PCD 위치 보정부(344)는 확인된 3D 마커(20)의 절대적 위치 정보 또는 2D 마커(10)의 절대적 위치 정보를 이용하여 다수의 PCD 세트들 각각의 상대적 위치를 보정할 수 있다. 이는 자율 이동체(100)의 미끄러짐 발생 등에 의해 상대적 위치 정보의 누적 오차가 발생할 수 있으므로, 이를 보완하기 위하여 마커 인식을 통해 얻은 절대적 위치 정보로 누적 오차를 보정하기 위함이다.
예를 들어, 자율 이동체(100)가 실제로 이동한 거리가 1,000m일 때, 엔코더 센서(120)에 의해 측정된 이동 거리, 즉, X값은 여러 외부 요인에 의해 약 1,100m라고 가정하면, PCD 위치 보정부(344)는 2D 마커(10) 또는 3D 마커(20)에 의해 자율 이동체(100)가 실제 1,000m 이동한 것으로 인식할 수 있으며, 이를 비율적으로 보정할 수 있다. 결과적으로 엔코더 센서(120)의 측정값 기준으로 550m 지점에서 생성된 PCD 세트의 상대적 위치값인 X값은 500m로 보정되고, 1,100m 지점에서 생성된 PCD 세트의 상대적 위치값은 1,000m로 보정될 수 있다.
터널 형상 지도 생성부(345)는 PCD 위치 보정부(344)에서 상대적 위치가 보정된 다수의 PCD 세트들을 정합하여 3D 터널 형상 지도를 생성할 수 있다.
도 8은 3D 터널 형상 지도가 생성되는 방식을 보여주는 도면이다.
도 8을 참조하면, 3D 스캔 장치(300)는 롤 축 및 요 축으로 회전하면서 터널 내부를 스캔하고, 자율 이동체(100)는 0.5미터 단위로 이동하며, 따라서, 3D 스캔 장치(300)는 0.5미터 단위로 PCD 세트를 생성할 수 있다. X는 엔코더 센서(120), 2D 마커(10) 및 3D 마커(20) 중 적어도 하나에 의해 보정된 자율 이동체(100) 또는 각 PCD 세트의 절대적 위치 정보이다. 터널 형상 지도 생성부(345)는 PCD 세트들을 정합하는 경우 중복되는 스캔 영역은 먼저 생성된 PCD 세트를 이용하여 터널 형상 지도를 생성할 수 있다.
터널 정밀 지도 생성부(346)는 생성된 3D 터널 형상 지도와 AVM 카메라 장치(200)로부터 수신되는 RGB 파노라마 영상을 중첩하여 실사 기반의 3D 터널 내부 정밀 지도를 생성할 수 있다.
도 9는 본 발명의 다른 실시 예에 따른 3D 센서를 활용한 객체 인식 기반 고해상도 철도 터널 내부 정밀 지도 생성 장치가를 도시한 블록도이다.
도 9를 참조하면, 본 발명의 다른 실시 예에 따른 고해상도 철도 터널 내부 정밀 지도 생성 장치는 자율 이동체(100), AVM 카메라 장치(200), 3D 스캔 장치(300), 3D 스캔 구동 모듈(400) 및 터널 정밀 지도 생성 장치(500)를 포함한다.
도 9에 도시된 자율 이동체(100), AVM 카메라 장치(200), 3D 스캔 장치(300), 3D 스캔 구동 모듈(400)의 동작은 도 1 내지 도 8을 참조하여 설명한 자율 이동체(100), AVM 카메라 장치(200), 3D 스캔 장치(300), 3D 스캔 구동 모듈(400)과 거의 동일하다.
다만, AVM 카메라 장치(200)는 RGB 파노라마 영상을 터널 정밀 지도 생성 장치(500)로 전송하고, 3D 스캔 장치(300)는 3D 터널 내부 형상 지로를 터널 정밀 지도 생성 장치(500)로 전송한다.
터널 정밀 지도 생성 장치(500)는 AVM 카메라 장치(200)에서 생성된 RGB 파노라마 영상과 3D 스캔 장치(300)에서 생성된 3D 터널 형상 지도를 중첩하여 3D 터널 내부 정밀 지도를 생성할 수 있다.
도 10은 본 발명의 실시 예에 따른 3D 센서를 활용한 객체 인식 기반 고해상도 철도 터널 내부 정밀 지도 생성 방법을 개략적으로 도시한 흐름도이다.
도 10을 참조하면, 3D 스캔 장치(300)는 자율 이동체(100)에 의해 터널을 이동하면서 터널 내부 표면을 3D 스캐닝하여 형상 정보를 획득하고, 획득된 형상 정보를 3D 정합하여 3D 터널 형상 지도를 생성할 수 있다(S1010).
AVM 카메라 장치(200)는 자율 이동체(100)에 의해 터널을 이동하면서 터널 내부 표면을 촬영하여 다수의 RGB 영상들을 획득하고, 획득된 다수의 RGB 영상들을 연결하여 터널 내부 표면에 대한 RGB 파노라마 영상을 생성할 수 있다(S1020).
3D 스캔 장치(300)는 S1010단계에서 생성되는 3D 터널 형상 지도와 S1020단계에서 생성되는 RGB 파노라마 영상을 중첩하여 터널 내부에 대한 3D 터널 내부 정밀 지도를 생성할 수 있다(S1030).
도 11은 도 10에 도시된 방법을 상세히 도시한 흐름도이다.
도 11을 참조하면, 터널 내부 표면의 스캔이 시작되면, 자율 이동체(100)는 출발점(이동거리=0)에서 일정 속도로 이동하면서 실시간으로 이동거리(X)를 산출하여 산출된 시간과 함께 3D 스캔 장치(300)로 전달할 수 있다(S1100).
3D 스캔 장치(300)는 수신되는 이동거리(X), 즉, 자율 이동체(100)의 상대적 위치를 시간과 함께 저장한다(S1110).
또한, 자율 이동체(100)의 이동이 시작되면 3D 스캔 장치(300)는 주기적으로 터널 내부 표면을 라이다(310)를 통해 스캐닝하여 터널 내부 표면의 형상 정보를 3D 포인트 클라우드 형태로 수집할 수 있다(S1120). S1120단계에서, 3D 스캔 장치(300)는 롤 방향뿐만 아니라 요 방향으로도 회전하면서 스캐닝함으로써 확장된 범위로 스캐닝할 수 있다.
S1100단계 내지 S1120단계가 진행되는 동안, AVM 카메라 장치(200)는 다수의 AVM 카메라들(211~216)로 터널 내부 표면을 촬영하여 RGB 영상들을 획득한다(S1130).
AVM 카메라 장치(200)는 획득된 RGB 영상들을 가공 및 연결하여 RGB 파노라마 영상을 생성한다(S1140). S1140단계에서 AVM 카메라 장치(200)는 3D 스캔 장치(300)가 터널 내부 표면을 스캐닝하는 1회전 주기에 맞춰 RGB 파노라마 영상을 생성할 수 있다.
또한, AVM 카메라 장치(200)는 RGB 영상들로부터 2D 마커(10)를 인지하고, 인지된 2D 마커(10)를 분석하여 2D 마커 ID를 확인한다(S1150).
AVM 카메라 장치(200)는 RGB 파노라마 영상과 확인된 2D 마커 ID를 3D 스캔 장치(300)로 전송한다(S1160).
한편, 3D 스캔 장치(300)는 S1120단계에서 수집된 3D 포인트 클라우드, 즉, 3D 스캔 장치(300)의 1회 회전 시마다 수집된 3D 포인트 클라우드로부터 1개의 PCD 세트를 생성한다(S1170).
3D 스캔 장치(300)는 1회 회전 시 수집된 3D 포인트 클라우드를 분석하여 3D 마커(20)의 ID를 확인하고, 확인된 3D 마커 ID 또는 수신된 2D 마커 ID의 절대적 위치 정보를 마커 ID 테이블에서 확인한다(S1180).
3D 스캔 장치(300)는 확인된 절대적 위치 정보를 이용하여 S1170단계에서 생성되는 PCD 세트의 상대적 위치(즉, 엔코더 센서(120)에 의해 센싱된 이동거리)를 보정한다(S1190).
3D 스캔 장치(300)는 위치 보정된 PCD 세트들을 정합하여 3D 터널 내부 형상 지도를 생성한다(S1195).
3D 스캔 장치(300)는 3D 터널 내부 형상 지도와 S1160단계에서 수신되는 RGB 파노라마 영상들을 중첩하여 3D 터널 내부 정밀 지도를 생성한다(S1197).
상술한 본 발명에 의하면 라이다를 이용하여 터널 내부 표면을 스캐닝하면서 AVM 카메라로 촬영하여, 신속 정확하게 터널 내부 정밀 지도를 생성하는 것이 가능하다.
100: 자율 이동체 110: 모터
120: 엔코더 센서 200: AVM 카메라 장치
211~216: 제1 내지 제6AVM 카메라들 220: AVM 저장부
230: AVM 제어부 240: AVM 통신부
300: 3D 스캔 장치 310: 스캔 통신부
320: 라이다 330: 스캔 메모리
340: 스캔 제어부 400: 3D 스캔 구동 모듈

Claims (13)

  1. 터널을 이동하면서 터널 내부 표면을 촬영하여 획득되는 다수의 RGB 영상들을 연결하여 터널 내부 표면에 대한 파노라마 영상(이하, 'RGB 파노라마 영상'이라 한다)을 생성하는 AVM(Around View Monitoring) 카메라 장치;
    상기 터널 내부 표면을 3D 스캐닝하여 형상 정보를 획득하고, 획득된 형상 정보를 3D 정합하여 3D 터널 형상 지도를 생성하며, 상기 생성된 3D 터널 형상 지도와 RGB 파노라마 영상을 중첩하여 터널 내부에 대한 정밀 지도(이하, '3D 터널 내부 정밀 지도'라 한다)를 생성하는 3D 스캔 장치; 및
    상기 3D 스캔 장치와 AVM 카메라 장치를 자율 이동시키는 자율 이동체;를 포함하고,
    상기 3D 스캔 장치는,
    상기 AVM 카메라 장치로부터 RGB 파노라마 영상을 수신하고, 상기 자율 이동체의 모터와 연동하는 엔코더 센서로부터 자율 이동체의 이동 거리를 수신하는 스캔 통신부;
    상기 터널 내부 표면을 스캐닝하여 터널 내부 표면의 형상 정보를 3D 포인트 클라우드 형태로 수집하고, 동시에 터널 내부 표면에 이격되어 부착된 각각의 ID(Identity) 정보를 가지는 3D 마커들을 스캐닝하는 라이다(LiDAR); 및
    상기 라이다가 1회 회전할 때마다 획득하는 3D 포인트 클라우드를 이용하여 1개의 PCD(Point Cloud) 세트를 생성하고, 상기 엔코더 센서로부터 수신된 자율 이동체의 이동 거리를 상기 다수의 PCD 세트들 각각의 상대적 위치로 추정하고, 상기 추정된 상대적 위치를 이용하여 다수의 PCD 세트들을 정합하여 상기 3D 터널 형상 지도를 생성하며, 상기 생성된 3D 터널 형상 지도와 수신된 RGB 파노라마 영상을 중첩하여 상기 3D 터널 내부 정밀 지도를 생성하는 스캔 제어부;를 포함하고,
    상기 스캔 제어부는,
    상기 라이다가 1회 회전할 때마다 획득하는 3D 포인트 클라우드를 SLAM(Simultaneous Localization and Mapping) 알고리즘으로 정합하여 1개의 PCD 세트를 생성하는 PCD 세트 생성부;
    상기 수집된 3D 포인트 클라우드 중 상기 3D 마커에 해당하는 포인트 클라우드를 추출하고, 추출된 포인트 클라우드를 분석하여 상기 3D 마커의 ID(이하, '3D 마커 ID'라 한다)를 판단하는 3D 마커 ID 판단부;
    판단된 3D 마커 ID에 매핑된 3D 마커의 절대적 위치 정보를 메모리로부터 확인하는 마커 위치 확인부;
    확인된 3D 마커의 절대적 위치 정보를 이용하여 상기 다수의 PCD 세트들 각각의 상대적 위치를 보정하는 PCD 위치 보정부;
    상대적 위치가 보정된 다수의 PCD 세트들을 정합하여 상기 3D 터널 형상 지도를 생성하는 터널 형상 지도 생성부; 및
    상기 3D 터널 형상 지도와 상기 RGB 파노라마 영상을 중첩하여 3D 터널 내부 정밀 지도를 생성하는 터널 정밀 지도 생성부;를 포함하는 것을 특징으로 하는 3D 센서를 활용한 객체 인식 기반 고해상도 철도 터널 내부 정밀 지도 생성 장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 제1항에 있어서,
    상기 3D 스캔 장치는,
    자율 이동체의 진행 방향인 롤(Roll) 방향으로 360도 회전하면서 동시에 요(Yaw) 방향 및 피치(Pitch) 방향 중 적어도 하나의 방향으로 회전하여 확장된 스캐닝 범위로 상기 터널 내부 표면을 스캐닝하는 것을 특징으로 하는 3D 센서를 활용한 객체 인식 기반 고해상도 철도 터널 내부 정밀 지도 생성 장치.
  7. 제6항에 있어서,
    상기 3D 스캔 장치를, 자율 이동체의 진행 방향인 롤(Roll) 방향으로 360도 회전시키면 동시에 요(Yaw) 방향 및 피치(Pitch) 방향 중 적어도 하나의 방향으로 회전시켜 상기 터널 내부 표면의 스캐닝 범위를 확장시키는 3D 스캔 구동 모듈;을 더 포함하는 것을 특징으로 하는 3D 센서를 활용한 객체 인식 기반 고해상도 철도 터널 내부 정밀 지도 생성 장치.
  8. 제1항에 있어서,
    상기 AVM 카메라 장치는,
    상기 터널 내부 표면의 서로 다른 영역을 촬영하도록 원형으로 설치되는 다수의 AVM 카메라들;
    상기 다수의 AVM 카메라들 간의 검교정을 통해 사전에 획득된 카메라 파라미터를 이용하여, 상기 다수의 AVM 카메라들로부터 획득되는 RGB 영상들을 연결하여 RGB 파노라마 영상을 생성하는 AVM 제어부; 및
    상기 생성된 RGB 파노라마 영상을 상기 3D 스캔 장치로 전송하는 AVM 통신부;를 포함하는 것을 특징으로 하는 3D 센서를 활용한 객체 인식 기반 고해상도 철도 터널 내부 정밀 지도 생성 장치.
  9. 제8항에 있어서,
    상기 터널 내부 표면에는 각각의 ID 정보를 가지는 2D 마커들이 이격되어 부착되어 있고, 상기 다수의 AVM 카메라들은 2D 마커들을 포함하는 터널 내부 표면을 촬영하며,
    상기 AVM 제어부는,
    상기 RGB 영상들을 분석하여 2D 마커에 포함된 ID(이하, '2D 마커 ID'라 한다)를 확인하고, 확인된 2D 마커 ID를 상기 3D 스캔 장치로 전송하도록 처리하는 것을 특징으로 하는 3D 센서를 활용한 객체 인식 기반 고해상도 철도 터널 내부 정밀 지도 생성 장치.
  10. 제9항에 있어서,
    상기 스캔 제어부는,
    상기 2D 마커의 2D 마커 ID에 매핑저장된 절대적 위치 정보를 이용하여 상기 추정된 상대적 위치를 보정한 후, 상대적 위치가 보정된 다수의 PCD 세트들을 정합하여 상기 3D 터널 형상 지도를 생성하는 것을 특징으로 하는 3D 센서를 활용한 객체 인식 기반 고해상도 철도 터널 내부 정밀 지도 생성 장치.
  11. (A) 3D 스캔 장치가, 터널을 이동하는 자율 이동체의 모터와 연동하는 엔코더 센서로부터 자율 이동체의 이동 거리를 실시간으로 수신하는 단계;
    (B) 상기 3D 스캔 장치의 라이다가, 터널 내부 표면을 스캐닝하여 터널 내부 표면의 형상 정보를 3D 포인트 클라우드 형태로 수집하고, 동시에 터널 내부 표면에 이격되어 부착된 각각의 ID(Identity) 정보를 가지는 3D 마커들을 스캐닝하는 단계;
    (C) AVM(Around View Monitoring) 카메라 장치가, 상기 터널 내부 표면을 촬영하여 획득되는 다수의 RGB 영상들을 연결하여 터널 내부 표면에 대한 파노라마 영상(이하, 'RGB 파노라마 영상'이라 한다)을 생성하는 단계;
    (D) 상기 3D 스캔 장치가, 라이다가 1회 회전할 때마다 획득하는 3D 포인트 클라우드를 SLAM(Simultaneous Localization and Mapping) 알고리즘으로 정합하여 1개의 PCD 세트를 생성하는 단계;
    (E) 상기 3D 스캔 장치가, 상기 수집된 3D 포인트 클라우드 중 상기 3D 마커에 해당하는 포인트 클라우드를 추출하고, 추출된 포인트 클라우드를 분석하여 상기 3D 마커의 ID(이하, '3D 마커 ID'라 한다)를 판단하고, 판단된 3D 마커 ID에 매핑된 3D 마커의 절대적 위치 정보를 메모리로부터 확인하는 단계;
    (F) 상기 3D 스캔 장치가, 확인된 3D 마커의 절대적 위치 정보를 이용하여 상기 다수의 PCD 세트들 각각의 상대적 위치를 보정하는 단계;
    (G) 상기 3D 스캔 장치가, 상대적 위치가 보정된 다수의 PCD 세트들을 정합하여 3D 터널 형상 지도를 생성하는 단계; 및
    (H) 상기 3D 스캔 장치가, 상기 3D 터널 형상 지도와 상기 RGB 파노라마 영상을 중첩하여 3D 터널 내부 정밀 지도를 생성하는 단계;를 포함하는 것을 특징으로 하는 3D 센서를 활용한 객체 인식 기반 고해상도 철도 터널 내부 정밀 지도 생성 방법.
  12. 삭제
  13. 제11항에 있어서,
    상기 (A) 단계에서,
    상기 3D 스캔 장치는, 자율 이동체의 진행 방향인 롤(Roll) 방향으로 360도 회전하면서 동시에 요(Yaw) 방향 및 피치(Pitch) 방향 중 적어도 하나의 방향으로 회전하여 확장된 스캐닝 범위로 상기 터널 내부 표면을 스캐닝하는 것을 특징으로 하는 3D 센서를 활용한 객체 인식 기반 고해상도 철도 터널 내부 정밀 지도 생성 방법.
KR1020190158013A 2019-12-02 2019-12-02 3d 센서를 활용한 객체 인식 기반 고해상도 철도 터널 내부 정밀 지도 생성 장치 및 방법 KR102255978B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190158013A KR102255978B1 (ko) 2019-12-02 2019-12-02 3d 센서를 활용한 객체 인식 기반 고해상도 철도 터널 내부 정밀 지도 생성 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190158013A KR102255978B1 (ko) 2019-12-02 2019-12-02 3d 센서를 활용한 객체 인식 기반 고해상도 철도 터널 내부 정밀 지도 생성 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102255978B1 true KR102255978B1 (ko) 2021-05-25

Family

ID=76145188

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190158013A KR102255978B1 (ko) 2019-12-02 2019-12-02 3d 센서를 활용한 객체 인식 기반 고해상도 철도 터널 내부 정밀 지도 생성 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102255978B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11259007B2 (en) 2015-02-20 2022-02-22 Tetra Tech, Inc. 3D track assessment method
KR20230003960A (ko) * 2021-06-30 2023-01-06 한국교통대학교산학협력단 스캔 데이터 자동 분석 및 처리방법 및 스캔 데이터 자동 분석 및 처리시스템
KR20230173266A (ko) * 2022-06-16 2023-12-27 한국철도기술연구원 철도 터널의 3d 모델 제작 방법
KR102637641B1 (ko) * 2022-09-22 2024-02-16 한국지질자원연구원 지하 광산 갱도 및 터널용 초분광 스캐닝 시스템

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130124605A (ko) * 2012-05-07 2013-11-15 (주)텔콤코리아 적외선 조명 터널점검 고속카메라 시스템
KR20130137463A (ko) * 2012-06-07 2013-12-17 한국철도기술연구원 3차원 터널 모델 생성을 위한 옵토-레이저 터널 스캐닝 시스템 및 그 데이터 처리 방법
KR101718287B1 (ko) * 2016-07-06 2017-04-05 양권석 드론을 활용한 항공 진단 안전 서비스 방법
KR101794690B1 (ko) * 2016-07-07 2017-12-01 한국철도기술연구원 개별구동 자주식 대차 및 관성항법장치를 구비한 터널 검사 시스템
KR20180004151A (ko) * 2015-04-10 2018-01-10 더 유럽피안 애토믹 에너지 커뮤니티(이유알에이티오엠), 리프레젠티드 바이 더 유럽피안 커미션 실시간 맵핑 및 로컬리제이션을 위한 장치 및 방법
KR101916467B1 (ko) 2012-10-30 2018-11-07 현대자동차주식회사 Ａｖｍ 시스템의 장애물 검출 장치 및 방법
KR20190131402A (ko) * 2018-05-16 2019-11-26 주식회사 유진로봇 카메라와 라이다를 이용한 융합 센서 및 이동체

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130124605A (ko) * 2012-05-07 2013-11-15 (주)텔콤코리아 적외선 조명 터널점검 고속카메라 시스템
KR20130137463A (ko) * 2012-06-07 2013-12-17 한국철도기술연구원 3차원 터널 모델 생성을 위한 옵토-레이저 터널 스캐닝 시스템 및 그 데이터 처리 방법
KR101916467B1 (ko) 2012-10-30 2018-11-07 현대자동차주식회사 Ａｖｍ 시스템의 장애물 검출 장치 및 방법
KR20180004151A (ko) * 2015-04-10 2018-01-10 더 유럽피안 애토믹 에너지 커뮤니티(이유알에이티오엠), 리프레젠티드 바이 더 유럽피안 커미션 실시간 맵핑 및 로컬리제이션을 위한 장치 및 방법
KR101718287B1 (ko) * 2016-07-06 2017-04-05 양권석 드론을 활용한 항공 진단 안전 서비스 방법
KR101794690B1 (ko) * 2016-07-07 2017-12-01 한국철도기술연구원 개별구동 자주식 대차 및 관성항법장치를 구비한 터널 검사 시스템
KR20190131402A (ko) * 2018-05-16 2019-11-26 주식회사 유진로봇 카메라와 라이다를 이용한 융합 센서 및 이동체

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11259007B2 (en) 2015-02-20 2022-02-22 Tetra Tech, Inc. 3D track assessment method
KR20230003960A (ko) * 2021-06-30 2023-01-06 한국교통대학교산학협력단 스캔 데이터 자동 분석 및 처리방법 및 스캔 데이터 자동 분석 및 처리시스템
KR102591562B1 (ko) 2021-06-30 2023-10-18 한국교통대학교산학협력단 스캔 데이터 자동 분석 및 처리방법 및 스캔 데이터 자동 분석 및 처리시스템
KR20230173266A (ko) * 2022-06-16 2023-12-27 한국철도기술연구원 철도 터널의 3d 모델 제작 방법
KR102629467B1 (ko) * 2022-06-16 2024-01-30 한국철도기술연구원 철도 터널의 3d 모델 제작 방법
KR102637641B1 (ko) * 2022-09-22 2024-02-16 한국지질자원연구원 지하 광산 갱도 및 터널용 초분광 스캐닝 시스템

Similar Documents

Publication Publication Date Title
KR102255978B1 (ko) 3d 센서를 활용한 객체 인식 기반 고해상도 철도 터널 내부 정밀 지도 생성 장치 및 방법
US20230010498A1 (en) System and method for data acquisition
KR102327185B1 (ko) 정밀도로지도 갱신을 위한 객체 변화 탐지 시스템 및 그 방법
CN106595630B (zh) 一种基于激光导航变电站巡检机器人的建图系统与方法
CN100494900C (zh) 适用于自主移动车辆的环境感知的单目视觉导航方法
KR102106452B1 (ko) Avm 카메라 기반 터널 내부 고속 측정 시스템 및 그의 터널 내부 고속 측정 방법
US9020301B2 (en) Method and system for three dimensional mapping of an environment
JP6301828B2 (ja) 誘導用線路に沿って移動する車両の速度及び位置を測定する装置、並びに対応する方法及びコンピュータプログラム製品
CN107422730A (zh) 基于视觉导引的agv运输系统及其驾驶控制方法
CN111547084B (zh) 基于自移动式轨道交通移动三维扫描系统的数据处理方法
US20110123135A1 (en) Method and device of mapping and localization method using the same
JP2018533721A (ja) ローカライゼーション基準データを生成及び使用する方法及びシステム
CN107851125A (zh) 通过车辆和服务器数据库进行两步对象数据处理以生成、更新和传送精确道路特性数据库的系统和方法
CN107850672A (zh) 用于精确车辆定位的系统和方法
EP3842751B1 (en) System and method of generating high-definition map based on camera
CN104280036A (zh) 一种交通信息的检测与定位方法、装置及电子设备
CN110243380A (zh) 一种基于多传感器数据与角度特征识别的地图匹配方法
US20220282967A1 (en) Method and mobile detection unit for detecting elements of infrastructure of an underground line network
CN113124883B (zh) 基于3d全景相机的离线标点方法
US20190331496A1 (en) Locating a vehicle
CN116518984B (zh) 一种煤矿井下辅助运输机器人车路协同定位系统及方法
CN103411587A (zh) 定位定姿方法及系统
KR101674073B1 (ko) 철도 시설물 공간 정보 구축 시스템 및 방법
CN111862146B (zh) 一种目标对象的定位方法及装置
KR102475042B1 (ko) 정밀 지도 구축 장치 및 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant