KR20180094493A - 실내지도 생성시스템 및 생성방법 - Google Patents

Abstract

본 발명은 일방향 전송 시스템에 관한 것으로, 제1 네트워크와 제2 네트워크 사이에 위치하고, 송신장치와 수신장치를 포함하여 구성된다. 송신장치는 상기 제2 네트워크의 각 단말의 IP 주소와 각 IP 주소에 대응하는 MAC 주소를 저장하고 있는 제1 저장부, 상기 제1 네트워크에서 전송한 데이터를 수신하는 제1 수신부, 수신된 데이터를 상기 제1 네트워크로 전송하는 제1 송신부, 상기 제1 수신부에서 전송한 데이터를 수신하여 상기 제2 네트워크로 전송하는 제2 송신부, 상기 제1 수신부에서 상기 제2 송신부로 전송되는 패킷을 수신하고, 수신한 패킷 중 ARP request 패킷을 추출하는 제1 ARP 추출부, 상기 ARP 추출부에 의해 추출된 ARP request 패킷을 분석하여 목적지 IP 주소를 파악하는 제1 ARP 분석부, 상기 제1 ARP 분석부에 의해 파악한 목적지 IP 주소를 상기 제1 저장부에 저장된 정보와 비교하여 목적지 IP 주소에 대응한 MAC 주소를 파악하는 제1 ARP 비교부, 그리고 상기 제1 ARP 비교부에 의해 파악된 MAC 주소를 포함하는 상기 ARP request 패킷의 응답인 ARP Reply 패킷을 생성하고 생성한 ARP Reply 패킷을 상기 제1 송신부를 통해 상기 제1 네트워크의 해당 단말에 제공하는 제1 ARP 생성부를 포함한다. 수신장치는 상기 송신장치와 일방향 통신을 위해 상기 제2 송신부로부터 데이터를 수신만하고 송신하지 못하도록 구성되고 수신한 데이터를 상기 제2 네트워크로 전송하도록 구성된다.

Description

실내지도 생성시스템 및 생성방법{METHOD AND SYSTEM FOR CREATING INDOOR MAP}

본 발명은 실내지도 생성시스템 및 생성방법에 관한 것이다.

스마트폰 등의 모바일 단말기가 일반화되면서, PC 기반의 인터넷 지도 서비스는 모바일 환경에서의 위치기반 서비스로 발전하고 있으며, 이러한 모바일 환경에서의 위치기반 서비스는 차량 내에서 내비게이션 기능을 동작시에도 이용된다. 물론 차량에서의 위치기반 서비스는 내비게이션을 통해서도 달성된다.

위치기반 서비스는 모바일 단말기 또는 내비게이션에 내장된 GPS를 통해 수신한 현재의 위치 정보를 이용한 응용 서비스이다. 이를 통해, 인터넷 기반의 위성/항공/파노라마 영상을 기반으로 사용자에게 필요한 정보를 제공하는 지도 서비스는 사용자간의 상호작용이 가능한 좀더 풍부한 응용이 가능하게 되었다. 하지만, 이러한 위치기반의 서비스는 GPS 신호를 수신할 수 있는 실내 환경에서 사용할 수 없는 문제점이 있다.

이러한 문제점을 해결하기 위하여 실내에 각 지점에 부착한 QR 코드 인식 방법, RFID 인식 방식 등 미리 정해진 위치에 부착한 머커를 인식하는 방법, 지구지자기를 측정하여 사용하는 방법, 와이파이 신호를 측정하여 사용하는 방법, 블루투스 신호를 사용하는 방법 등이 이용되고 있으며, 이때 미리 만들어진 실내의 도면이나 수치지도를 이용하고 있다.

그러나 이와 같은 방법들은 현재의 위치를 특정하기 위한 신호를 검출하는 단계에서 큰 오차가 발생하게 된다. 즉, 지자기를 측정하는 방법은 금속의 존재 유무에 따라 지자기의 검출값이 달라지게 된다. 따라서 수시로 차량이 입출입이 발생하는 지하주차장에서는 지구지자기를 측정하여 사용하는 방법은 사용하기 어렵다.

그리고 와이파이 신호를 측정하여 사용하는 방법은 와이파이 신호를 발생시키는 기기의 노후화가 진행되며　와이파이 신호의 자연감소가 발생하고 신호의 난반사가 심하고 노이즈로 인한 오차가 심하여 이 또한 사용하기가 어렵다. 또한 블루투스 신호를 사용하는 방법 또한 신호의 난반사와 노이즈로 인한 오차가 심하다. 그리고 외부 및 외부인과 현재 실내 위치를 공유하지 못하는 문제점이 있다.

본 발명이 해결하고자 하는 과제는 라이다(Lidar)를 통해서 획득한 영상정보와 카메라를 통하여 획득한 영상정보 중 인지 가능한 특이점(표지판, 건축물의 기둥, 주차장 바닥의 주차선, 주차면 및 주차구역 번호, 장애인 주차구역 표시 등)을 추출하고 SLAM(Simultaneouslocalization and mapping) 기술을 사용하여 추출한 특이점이 반영된 디지털 지도를 생성하는 실내지도 생성시스템 및 생성방법을 제공하는 것이다.

상기 과제 이외에도 구체적으로 언급되지 않은 다른 과제를 달성하는 데 본 발명에 따른 실시 예가 사용될 수 있다.

상기 과제를 해결하기 위한 본 발명의 실시 예에 따른 실내지도 생성시스템은 실내지도를 생성하기 위한 기초 자료인 측정데이터를 수집하기 위하여, 레이저 펄스를 주사하여 반사된 레이저 펄스의 도달시간을 측정하여 측정지점에서 반사 지점까지의 거리정보를 측정하는 라이다, 속도변화정보와 방위정보를 측정하는 관성센서, GPS 위성으로부터 수신된 GPS 정보를 이용하여 현재위치의 GPS 좌표를 산출하는 GPS 수신기, 및 사물의 영상정보를 획득하는 디지털카메라를 포함하여 구성되며, 이동체에 탑재되어 사용되는 지도데이터 수집장치, 그리고 상기 지도데이터 수집장치로부터 각 장치에서 측정 또는 산출 또는 획득한 측정데이터를 수신하며, 상기 GPS 수신기로부터 수신된 입구지점의 GPS 좌표를 시작지점의 절대좌표로 저장한 후 상기 입구지점으로부터 출구지점까지 상기 라이다로부터 수신된 측정데이터를 이용하여 1차 지도를 생성하고, 상기 1차 지도 생성시 상기 라이다로부터 파악된 각 객체의 상대좌표를 상기 입구지점의 GPS 좌표를 이용하여 GPS 좌표로 변환하며, 상기 디지털카메라로부터 획득한 영상에서 특이점을 파악하고 파악한 특이점에 대응하는 GPS 좌표에 상기 특이점을 식별할 수 있는 특이점정보를 매핑하여 2차 지도를 생성하는 지도생성장치를 포함한다.

상기 지도생성장치는 상기 GPS 수신기의 출력으로부터 상기 입구지점과 상기 출구지점을 파악하고, 상기 입구지점의 GPS 좌표와 출구지점의 GPS 좌표를 파악하여 저장하며, 상기 입구지점부터 상기 출구지점까지 실내지도 생성 동작이 수행되도록 제어하는 동작 관리부, 상기 라이다에서 측정한 측정데이터를 수신하고 수신한 측정데이터로 이동체의 현재 측정지점으로부터 객체까지의 거리 및 방위를 파악하며 파악한 각 객체에 대한 거리 및 방위를 이용하여 각 객체들이 표시된 3차원 객체 지도인 상기 1차 지도를 생성하는 1차지도 생성부, 상기 라이다에서 측정한 측정데이터를 이용하여 상기 1차지도 생성부에 의해 파악된 각 객체의 상대좌표를 산출하고, 상기 관성센서 및 상기 라이다의 측정데이터를 이용하여 이동체의 현재 측정지점의 상대좌표를 산출하는 상대좌표 생성부, 저장된 상기 입구지점의 GPS 좌표 또는 산출된 이동체의 이전 측정지점의 GPS 좌표를 기준으로 관성센서의 측정데이터를 이용하여 이동체의 현재 측정지점의 GPS 좌표를 산출하고, 이동체의 현재 측정지점의 GPS 좌표와 상기 라이다에서 측정한 측정데이터를 이용하여 상기 상대좌표 생성부에 의해 산출된 각 객체의 상대좌표를 GPS 좌표로 변환하는 절대좌표 변환부, 기 설정된 특이점에 대한 정보를 저장하고 있는 특이점 저장부, 상기 디지털카메라에 의해 촬영된 영상에서 특이점을 객체 형상을 추출하고 추출한 객체 형상이 특이점인지를 상기 특이점 저장부를 이용하여 파악하하며, 파악한 특이점의 GPS 좌표를 파악하는 특이점 파악부, 그리고 상기 1차지도 생성부에서 생성한 1차지도에 상기 특이점 파악부에서 파악한 특이점의 정보를 해당 특이점의 GPS 좌표에 매칭하여 2차지도를 생성하는 2차지도 생성부를 포함한다.

또는, 상기 지도생성장치는 상기 GPS 수신기의 출력으로부터 상기 입구지점과 상기 출구지점을 파악하고, 상기 입구지점의 GPS 좌표와 출구지점의 GPS 좌표를 파악하여 저장하며, 상기 입구지점부터 상기 출구지점까지 실내지도 생성 동작이 수행되도록 제어하는 동작 관리부, 상기 라이다에서 측정한 측정데이터를 수신하고 수신한 측정데이터로 객체와의 거리 및 방위를 파악하며 파악한 각 객체에 대한 거리 및 방위를 이용하여 각 객체들이 표시된 3차원 객체 지도인 상기 1차 지도를 생성하는 1차지도 생성부, 저장된 상기 입구지점의 GPS 좌표 또는 산출된 이동체의 이전 측정지점의 GPS 좌표와 관성센서의 측정데이터를 이용하여 이동체의 현재 측정지점의 GPS 좌표를 산출하고, 이동체의 현재 측정지점의 GPS 좌표와 상기 라이다에서 측정한 측정데이터를 이용하여 상기 1차지도 생성부에서 표시한 각 객체의 GPS 좌표를 산출하는 절대좌표 변환부, 기 설정된 특이점에 대한 정보를 저장하고 있는 특이점 저장부, 상기 디지털카메라에 의해 촬영된 영상에서 특이점을 객체 형상을 추출하고 추출한 객체 형상이 특이점인지를 상기 특이점 저장부를 이용하여 파악하며, 파악한 특이점의 GPS 좌표를 파악하는 특이점 파악부, 그리고 상기 1차지도 생성부에서 생성한 1차 지도에 상기 특이점 파악부에서 파악한 특이점의 정보를 해당 특이점의 GPS 좌표에 매칭하여 2차지도를 생성하는 2차지도 생성부를 포함한다.

상기 특이점은 지하주차장에서 판독할 수 있는 표지판, 기둥, 기둥번호, 주차면, 주차선, 장애인 주차구역, 비상구 등 도형과 문자 정보이다.

상기 과제를 해결하기 위한 본 발명의 실시 예에 따른 실내지도 생성방법은 이동체에 탑재되고, 라이다, 관성센서, GPS 수신기 및 디지털카메라를 포함하는 지도데이터 수집장치로부터 수신된 측정데이터를 이용하여 실내지도를 생성하는 방법으로, 이동체의 이동 중 GPS 신호가 수신되지 않으면 GPS 신호가 마지막으로 수신된 지점을 시작지점으로 설정하고 상기 입구지점의 GPS 좌표를 저장하는 단계, 상기 라이다로부터 수신된 측정데이터로 각 객체까지의 거리 및 방위를 측정하고 이동체의 현재 측정지점으로부터 각 거리 및 방위에 대응하는 지점에 점을 찍어 측정한 거리별로 각 객체의 형상이 3차원적으로 표시되는 1차 지도를 생성하는 단계, 상기 관성센서로부터 이동체의 속도변화와 방위를 상기 이동체의 현재 측정지점의 GPS 좌표를 산출하는 단계, 상기 이동체의 현재 측정지점의 GPS 좌표와 상기 라이다에서 측정한 측정데이터를 통해 파악된 해당 객체까지의 거리와 방위를 이용하여 상기 1차 지도의 각 객체에 대한 GPS 좌표를 산출하는 단계, 상기 디지털카메라에 의해 촬영된 영상에 포함된 각 객체 형상을 추출하고 객체 형상이 특이점인지를 판단하는 단계, 특이점이라고 판단하면 해당 특이점의 GPS 좌표를 파악하는 단계, 그리고 상기 1차 지도상의 해당 특이점의 GPS 좌표에 해당 특이점의 정보를 매핑하여 2차 지도를 생성하는 단계를 포함한다.

본 발명의 하나의 실시 예에 따르면 SLAM 기술을 통하여 생성되는 디지털지도에 실내 주차장에서 영상정보를 통하여 인지 가능한 특이점(표지판, 건축물의 기둥, 주차장 바닥면의 주차선, 주차면 및 주차구역 번호, 장애인 주차구역 표시, 비상구 등)을 현재위치를 인식하기 위한 정보로 저장하여 차량의 실내 주행과 경로안내를 위한 지도를 생성할 수 있게 한다.

도 1은 본 발명의 실시 예에 따른 실내지도 생성시스템의 블록 구성도이다.
도 2는 본 발명의 실시 예에 따른 상대좌표를 절대좌표로 변환하는 동작을 설명하기 위한 도면이다.
도 3은 본 발명의 제1 실시 예에 따른 실내지도 생성방법을 보인 순서도이다.
도 4는 본 발명의 실시 예에 따른 실내지도 생성방법에서 카메라 및 라이다에 의해 하나의 실내 객체 및 특이점이 파악되는 과정을 보인 도면이다.
도 5는 본 발명의 제2 실시 예에 따른 실내지도 생성방법을 보인 순서도이다.
도 6은 본 발명의 실시 예에 따른 실내지도 생성방법에 의해 생성된 실내지도를 이용하는 이용 예를 보인 도면이다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대해 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며 명세서 전체에서 동일 또는 유사한 구성요소에 대해서는 동일한 도면부호가 사용되었다. 또한, 널리 알려져 있는 공지기술의 경우 그 구체적인 설명은 생략한다.

본 명세서에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

이하에서는 첨부한 도면을 참조로 하여 본 발명의 실시 예에 따른 실내지도 생성방법을 설명한다.

일반적으로, 지상에서 차량의 경로안내를 위해서는 지도정보와 차량의 현재위치정보가 필요하며, 차량의 현재위치를 파악하기 위해 GPS 위성 및 GPS 수신기가 이용된다. 따라서, 지상에서 차량의 경로를 안내하기 위해서는 지도정보, GPS 위성 및 GPS 수신기가 필수 요소이다.

3개의 필수 요소를 이용하여 차량의 경로안내를 하는 과정을 간략히 설명하면, 차량의 현재위치는 여러 개의 GPS 위성에서 발송하는 신호를 GPS 수신기에서 수신하고, GPS 수신기에서 GPS 위성으로부터 수신한 신호를 일정한 처리를 하여 좌표값으로 제공된다. 그 좌표값을 지도에 특정하면 현재의 위치를 알 수 있고, 짧은 시간 간격으로 위의 과정을 반복하면 GPS 수신기의 움직임 즉, 차량의 움직임을 지도상에 표현할 수 있다. 따라서 GPS수신기를 차량에 설치하고 지도상에 출발지와 목적지의 경로를 설정하면 차량의 경로안내가 가능하다.

지하주차장 등 실내에서 차량의 경로안내를 위해서도 지상에서와 마찬가지로, 지도정보와 현재위치정보가 필요하다. 그런데 GPS 위성의 신호는 지상까지는 도달하지만 실내까지는 도달하지 못하므로, 실내에서 GPS 신호를 이용하지 못한다. 그리고 GPS 신호를 이용하지 못하므로 일반적인 실내 지도는 실내에서 차량의 경로 안내에 이용되지 못한다.

그러므로 지하주차장 등 실내에서 차량의 경로안내를 위해서는 위 3가지 필수 요소인 지도정보, GPS 위성 및 GPS 수신기의 대안이 필요하다. 즉, GPS 신호를 이용하지 않더라도 현재 위치를 파악하고, 파악한 현재위치를 지도 상에 매칭되도록 하는 기술이 요구된다.

이러한 기술적 요구에 따라, 본 발명의 실시 예에 따른 실내지도 생성시스템 및 생성방법은 GPS 신호를 이용하지 않더라도 실내에 위치한 차량의 위치를 정확히 표시할 수 있게 하는 실내지도를 제공한다. 보다 구체적으로, 본 발명의 실시 예에 따른 실내지도 생성시스템 및 생성방법은 통상의 SLAM(Simultaneous localization and mapping) 기술을 이용하여 라이다(LIDAR)를 통해 실내 객체의 위치(상대좌표)를 파악하고 1차 지도를 생성하고, 라이다와 연동하는 카메라를 통해 촬영한 영상으로부터 실내 객체나 바닥면에 표시된 특이점을 파악하며, 특이점에 대한 상대좌표를 GPS 좌표인 절대좌표로 변환하여 1차 지도 상에 매칭시켜 2차 지도를 생성한다. 물론 2차 지도 생성시에 카메라로부터 촬영된 영상을 이용하여 실내 객체의 표면정보가 입혀지도록 할 수 있다. 상기에서 특이점은 지하주차장에서 판독할 수 있는 표지판, 기둥, 기둥번호, 주차면, 주차선, 장애인 주차구역, 비상구 등 도형과 문자 정보이다.

따라서, 실내지도가 완성되면 운전자는 카메라에 의해 촬영된 정보에서 적어도 하나의 특이점이 파악되면 파악된 특이점에 매칭된 GPS 좌표를 통해 정확한 현재위치를 본 발명에 의해 생성한 실내지도를 통해 파악할 수 있게 된다.

도 1은 본 발명의 실시 예에 따른 실내지도 생성시스템의 블록 구성도이다. 도 1을 참고하면, 본 발명의 실시 예에 따른 실내지도 생성시스템은 지도데이터 수집장치(100)와 지도생성장치(200)를 포함한다.

지도데이터 수집장치(100)는 실내지도를 생성하기 위한 기초 자료인 측정데이터를 수집하는 장치이고, 지도생성장치(200)는 지도데이터 수집장치(100)에서 수집한 측정데이터를 이용하여 실내지도를 생성하는 장치이다.

지도데이터 수집장치(100)는 자동차나 로봇 등의 이동체(A)에 탑재되어 있으며 이동체(A)의 이동시 이동된 측정위치에서 측정데이터를 수집한다.

지도생성장치(200)는 지도데이터 수집장치(100)와 유선 또는 무선으로 데이터 통신을 한다. 지도생성장치(200)는 이동체(A)와 떨어져 설치되거나 이동체(A)에 설치된다. 지도생성장치(200)는 지도데이터 수집장치(100)로부터 측정데이터를 수집하고, 객체 파악, 객체의 위치(상대위치) 파악, 특이점 파악, 특이점의 위치 파악 그리고, 객체 및 특이점의 위치를 절대위치로 변환하는 기능 등을 수행하여 실내지도를 생성한다.

각 장치(100, 200)를 보다 구체적으로 설명한다.

지도데이터 수집장치(100)는 라이다(110), 관성센서(120), GPS 수신기(130) 및 디지털카메라(140)를 포함한다.

라이다(110)는 레이저 펄스를 주사하여 반사된 레이저 펄스의 도달시간을 측정하여 측정지점(즉, 라이다의 현재위치)에서 반사 지점(객체)까지의 거리정보를 측정한다. 관성센서(120)는 이동체(A)의 속도변화정보와 방위정보를 측정한다. 라이다(110) 및 관성센서(120)에 의해 측정된 측정데이터는 이동체(A)의 상대위치 및 절대위치를 파악할 수 있게 한다. 관성센서(120)는 예컨대 자이로센서이다. GPS 수신기(130)는 GPS 위성으로부터 수신된 GPS 정보를 이용하여 현재위치의 GPS 좌표를 산출하고, 디지털카메라(140)는 사물의 영상정보를 획득한다.

지도생성장치(200)는 동작 관리부(210), 1차지도 생성부(220), 상대좌표 생성부(230), 절대좌표 변환부(240), 특이점 파악부(250), 특이점 저장부(260) 및 2차지도 생성부(270)를 포함한다.

동작 관리부(210)는 GPS 수신기(130)의 출력으로부터 입구지점(시작지점)과 출구지점(종료지점)을 파악하고, 입구지점의 GPS 좌표와 출구지점의 GPS 좌표를 파악하여 저장부(미도시)에 저장한다. 동작 관리부(210)는 이동체(A)가 입구지점에 위치한 시점에서 본 발명의 실시 예에 따른 실내지도 생성시스템의 동작을 시작시키고, 이동체(A)가 출구지점에 위치한 시점에서 본 발명의 실시 예에 따른 실내지도 생성시스템의 동작을 중지시킨다.

1차지도 생성부(230)는 실내 주차장을 이동중인 라이다(110)에서 측정한 측정데이터를 수신하고 수신한 측정데이터로 객체와의 거리 및 방위를 파악하고 파악한 각 객체에 대한 거리 및 방위를 이용하여 각 객체들이 표시된 3차원(공간) 객체 지도를 생성한다. 여기서 3차원 객체 지도를 1차 지도라 한다.

상대좌표 생성부(230)는 1차지도 생성부(220)에 의해 파악된 각 객체의 상대좌표 및 이동체(A)의 상대좌표를 산출한다. 각 객체의 상대좌표를 산출하기 위해, 상대좌표 생성부(230)는 실내 주차장을 이동중인 라이다(110)에서 측정한 각 객체의 측정데이터(객체와의 거리정보 및 방위정보)를 수신하고, 이동체의 기준위치(상대좌표값임)를 기준으로 각 객체와의 거리 및 방위를 이용하여 각 객체의 상대좌표를 산출한다. 그리고 상대좌표 생성부(230)는 이동체(A)의 상대좌표 즉, 이동체(A)가 현재위치한 측정지점의 상대좌표를 산출하기 위해, 관성센서(120)로부터 수신된 속도변화정보와 방위정보 및 라이다(110)에 의해 파악된 이동체(A)의 경로정보를 파악하고, 이전에 산출된 이동체(A)의 측정지점의 상대좌표를 기준으로 속도변화에 따른 이동거리와 방위를 이용하여 이동체(A)의 현재 측정지점의 상대좌표를 산출한다.

여기서, 이동체(A)의 최초 기준위치는 입구지점의 위치로 (0, 0, 0)의 값으로 설정된다.

절대좌표 변환부(240)는 GPS 수신부(130)에서 측정한 데이터(즉, GPS 좌표정보)를 이용하여 상대좌표 생성부(230)에 의해 파악된 각 객체의 상대좌표 및 이동체(A)의 현재 측정지점의 상대좌표를 GPS 좌표인 절대좌표로 변환한다.

절대좌표 변환부(240)의 동작을 도 2를 참조로 하여 설명한다. 도 2는 본 발명의 실시 예에 따른 상대좌표를 절대좌표로 변환하는 동작을 설명하기 위한 도면이다.

도 2를 참고하면, 이동체가 외부에 있는 경우에는 GPS 신호가 계속적으로 수신되지만 실외에서 실내로 진입하는 지점인 입구를 지나치면 GPS 신호가 수신되지 않는다. 따라서, 입구지점은 실내에 진입한 본 발명의 지도데이터 수집장치(100)의 입장에서 가장 마지막에 GPS 신호가 수신된 지점이다. 그리고 이동체가 실내에서 외부로 진출하는 지점인 출구를 지나치면 GPS 신호가 계속해서 수신된다. 따라서 출구지점은 실외로 진출한 본 발명의 지도데이터 수집장치(100)의 입장에서 가장 먼저 GPS 신호가 수신된 지점이다.

본 발명은 입구지점을 시작지점으로 설정하고, 시작지점의 GPS 좌표(Xa1, Yb1, Zc1)을 저장한 후 동작을 수행한다. 도면에 표시된 좌표값에서 G는 GPS 좌표임을 나타내는 부호이다. 그리고 상대좌표 생성부(230)는 입구지점의 좌표를 기준좌표(0, 0, 0)으로 설정한다.

이러한 상태에서, 입구지점에서 측정된 객체의 A 지점에 대하여, 상대좌표 생성부(230)는 기준좌표와 관성센서(120)의 방위정보 및 라이다(110)의 거리정보를 이용하여 상대좌표인 (X1, Y1, Z1)을 파악한다. 그러면 절대좌표 변환부(240)는 입구지점의 GPS 좌표(또는 이동체가 위치한 지점의 GPS 좌표) 및 라이다(110)에서 파악한 거리정보를 이용하여 상대좌표인 (X1, Y1, Z1)를 절대좌표 즉, GPS 좌표로 변환한다.

이러한 상대좌표를 절대좌표로 변환하는 동작은 출구지점이 파악되는 순간까지 수행되며 출구지점이 파악되면 동작을 종료한다.

한편, 본 발명의 지도생성장치(200)는 측정된 객체의 거리정보와 방위정보에 따른 절대좌표를 파악하기 위하여 이동체(A) 또는 지도데이터 수집장치(100)의 현재위치에 대한 GPS 좌표를 파악하는 동작을 수행한다. 이동체(A) 또는 지도데이터 수집장치(100)의 GPS 현재위치를 파악하는 동작은 입구지점의 GPS 좌표를 기준으로 하며, 관성센서(120)에 의해 파악되는 이동체(A)(또는 지도데이터 수집장치)의 속도변화정보와 방위정보를 이용하여 산출한다. 입구지점을 예를 들면, 속도변화정보는 입구지점으로부터 어느 정도 거리로 움직였는지를 파악할 수 있게 하며, 방위정보는 입구지점으로부터 어떤 방향으로 이동하였는지를 파악할 수 있게 한다.

그리고 본 발명의 지도생성장치(200)는 출구지점에서 산출한 지도데이터 수집장치(100)의 절대위치인 GPS 좌표와 실제 GPS 신호로 산출한 GPS 좌표간에 차이가 발생하면 발생한 차이를 기 산출한 각 지점의 GPS 좌표에 반영하여 오차를 보정하도록 할 수 있다.

한편, 절대좌표 변환부(240)는 지도데이터 수집장치(100)의 현재위치와 특이점에 대해서만 동작하도록 설계할 수 있다.

특이점 파악부(250)는 디지털카메라(140)에 의해 촬영된 영상에서 객체 형상을 추출하고 추출한 객체 형상과 특이점 저장부(260)에 저장되어 있는 각 특이점의 형상과 비교하여 추출한 객체 형상이 특이점 형상인지를 파악한다. 특이점 파악부(250)는 특이점을 파악하면 파악한 특이점에 대한 GPS 좌표를 절대좌표 변환부(240)를 통해 파악하고 파악한 특이점의 GPS 좌표를 2차지도 생성부(270)에 제공한다. 여기서 라이다(110)와 디지털카메라(140)는 연동하여 동일한 지점에 대한 측정 및 촬영을 수행하고 있으므로, 라이다(110)로 측정된 형상과 디지털카메라(140)로 촬영한 영상을 오버랩시키는 것이 가능하고 이러한 기술은 SLAM 기술을 통해 공지되어 있다. 그러므로 특이점 파악부(250)에 의해 파악된 객체의 절대좌표를 파악하는 것은 통상의 기술자가 용이하다 할 것이다.

특이점 저장부(260)는 제작자에 의해 기 설정된 특이점에 대한 정보를 저장하고 있다. 예컨대, 특이점 저장부(260)는 지하주차장에서 판독할 수 있는 표지판, 기둥 기둥번호, 주차면, 주차선, 장애인 주차구역, 비상구 등 도형과 문자 정보를 저장하고 있다.

2차지도 생성부(270)는 1차지도 생성부(220)에서 생성한 1차 지도에 특이점 파악부(250)에서 파악한 특이점의 정보 및 특이점의 GPS 좌표를 매핑하여 2차지도를 생성한다. 생성된 2차 지도는 완성된 실내 지도일 수 있으며, 보다 정밀한 지도를 구현하기 위하여 디지털카메라로 촬영한 객체의 표면 정보를 객체에 입히는 이미지처리 과정을 수행하여 실제와 같은 객체가 표시되도록 할 수 있다. 이미지처리 과정은 객체의 GPS 좌표 형태의 데이터를 DEM(digital elevation model, 수치표고자료), DSM(digital surfacemodel)로 변환하고, DEM / DSM으로부터 지도 생성하는 과정이다.

이러한 본 발명의 실시 예에 따른 실내지도 생성시스템을 이용한 실내지도 생성방법을 설명한다.

도 3은 본 발명의 제1 실시 예에 따른 실내지도 생성방법을 보인 순서도이다. 도 3을 참고하면, 실내지도를 생성하기 위하여 이동체는 실외에서 이동을 시작하고 실내에서 계속적으로 이동을 수행하여 출구를 통해 다시 실외로 진출한다. 이러한 이동체의 이동과정에서 지도데이터 수집장치(100)의 라이다(110), 관성센서(120) GPS 수신기(130) 및 디지털카메라(140)가 동작하고, 각각은 측정 데이터를 생성하여 지도생성장치(200)에 제공한다.

지도생성장치(200)는 GPS 신호가 존재하는지를 파악하고 GPS 신호가 있으면 계속해서 실외에 있다고 판단하고, GPS 신호가 없으면 GPS 신호가 마지막으로 수신된 지점을 입구 즉, 시작지점으로 설정하며 시작지점의 GPS 좌표를 저장한다(S301).

지도생성장치(200)는 시작지점을 현재위치로 파악하고 현재위치를 상대좌표의 기준좌표로 설정하고 현재위치의 GPS 좌표를 파악한다(S302), 그리고 지도생성장치(200)는 라이다(110)로부터 수신된 측정데이터로 각 객체까지의 거리 및 방위를 측정하고 각 거리 및 방위에 대응하는 지점에 점을 찍어 측정한 거리별로 각 객체의 형상이 3차원적으로 표시되는 1차 지도를 생성한다(S303).

이와 더불어, 지도생성장치(200)는 라이다(110)로부터 수신된 측정데이터로 각 객체까지의 거리를 파악하여 각 거리별 점에 대한 상대좌표를 기준좌표를 기준으로 산출한다(S304). 지도생성장치(200)는 객체에 대한 상대좌표를 산출하면 이동체(A)의 현재 측정지점의 GPS 좌표를 이용하여 상대좌표를 GPS 좌표로 변환하여 저장한다(S305).

라이다(110)로부터 측정데이터가 수신되는 동시에 디지털카메라(140)로부터 라이다(110)의 측정데이터로부터 파악된 객체에 대한 디지털영상이 지도생성장치(200)에 수신된다. 그러면 지도생성장치(200)는 디지털 영상으로부터 객체의 형상을 추출하고 추출한 객체의 형상을 저장된 특이점의 형상과 비교하여 특이점인지를 판단하여 현재위치로부터 파악되는 특이점을 추출한다(S306). 이때 여러 영상정보 상에서 주차선, 기둥, 주차구역번호, 비상구, 전등과 같은 특수 특이점은 TLD(P-N Learning / Tracking-Learning-Detection)를 사용하여 추출한다.

지도생성장치(200)는 특이점이 추출되면 1차 지도로부터 추출된 특이점의 절대좌표를 파악하고(S307), 파악한 1차 지도의 절대좌표에 특이점의 정보를 매핑하여 저장한다(S308). 여기서 특이점의 정보는 특이점이 기둥인지, 주차면인지, 장애인 주차구역인지, 표지판인지, 어떠한 기둥에 표시된 기둥번호인지 등을 알리는 정보이다.

현재위치에서의 1차 지도생성 및 특이점 파악이 완료되면, 지도생성장치(200)는 관성센서(120)를 통해 이동체(A)가 이동한 위치의 상대위치를 파악하고 이동한 위치를 현재위치로 설정한 후 현재위치의 상대위치를 GPS 좌표로 변환하여 저장한다(S309).

지도생성장치(200)는 GPS 수신기(120)로부터 GPS 좌표정보가 수신되는지를 파악하여 좌표정보가 수신되면 출구지점으로 파악하고, GPS 좌표정보가 수신되지 않으면 실내에 위치하고 있다고 판단한다(S310). 지도생성장치(200)는 설정시간동안 계속해서 GPS 좌표정보가 수신되는 경우에 GPS 좌표가 최초 수신된 지점을 출구지점(종료지점)으로 설정할 수 있다.

지도생성장치(200)는 종료지점이 파악되면 실내지도 생성 동작을 종료한다(S311).

그러나, 계속해서 실내에 위치하고 있다고 판단하면 지도생성장치(200)는 지도데이터 수집장치(100)로부터 수신되는 각 측정데이터를 이용하여 S302 과정 내지 S310 과정을 반복한다.

한편, 이동체(A)가 이동과 함께 지도데이터 수집장치(100)에서 계속해서 측정데이터를 전송하고, 라이다(110) 및 디지털카메라(140)가 360도 회전하면서 객체를 측정함에 따라서 하나의 객체에 대한 정보는 각도별로 계속해서 누적 저장되고 결국에는 360도 입체 영상으로 완성된다. 이를 도 4를 참고하여 설명한다. 도 4는 본 발명의 실시 예에 따른 실내지도 생성방법에서 카메라 및 라이다에 의해 하나의 실내 객체 및 특이점이 파악되는 과정을 보인 도면이다.

도 4에서는 K-1 위치에서 K 위치 그리고 K+1 위치로 디지털카메라(140)가 이동하는 것을 보이고 있다. 물론 디지털카메라(140)와 마찬가지로 라이다(110)도 동일한 이동을 한다.

도 4를 참고하면, 지도생성장치(200)는 (K-1) 위치에서 디지털카메라(140)가 촬영한 영상정보로부터 SURF(Speeded-Up Robust Features)/SIFT Scale Invariant Feature Transform) 등을 활용하여 특이점이 코너, 가장자리 등 인지를 선정한다.

그리고 지도생성장치(200)는 K 위치에서 디지털카메라(140)가 촬영한 영상정보 및 (K+1) 위치에서 디지털카메라(140)가 촬영한 영상정보에서 (K-1) 위치에서 선정된 특이점을 검색하고, 동일 특이점을 연결한 후 특이점 정보(Point Cloud)와 표면정보를 생성한다. 그런 다음 지도생성장치(200)는 생성된 표면 정보에 디지털카메라에 의해 촬영된 영상정보를 추가(Texture applying)한다.

도 5는 본 발명의 제2 실시 예에 따른 실내지도 생성방법을 보인 순서도이다. 도 5에 도시된 본 발명의 제2 실시 예는 제1 실시 예에 대해, 출구지점에서 실제 수집된 GPS 좌표를 이용하여 실내에서 산출한 각 지점의 GPS 좌표를 보정하는 과정이 추가된 형태이다. 물론 실내에서 실제 GPS 좌표가 수신되는 경우이면 본 발명은 현재위치의 실제 GPS 좌표와 산출된 현재위치의 GPS 좌표 간의 오차를 파악하고 파악한 오차를 기준으로 기 산출한 각 지점의 GPS 좌표를 보정하는 기능을 더 가질 수 있다.

다음으로, 이상과 같이 본 발명에 의해 생성한 실내지도를 이용하는 응용 예를 도 6을 참조로 설명한다. 도 6은 본 발명의 실시 예에 따른 실내지도 생성방법에 의해 생성된 실내지도를 이용하는 이용 예를 보인 도면이다.

차량이 GPS정보가 수신되지 않는 지하주차장에 진입하면, 차량은 입구지점에서 지도정보서버(미도시)로부터 해당 지하주차장의 실내지도를 수신한다.

그리고 차량에 탑재된 카메라는 전면에 위치한 장면을 촬영하고, 차량에서는 촬영한 화상정보에 TLD를 사용하여 특이점 정보를 추출하고, 추출된 특수 특이점 정보를 서버로부터 수신된 실내지도와 매칭하여 특이점이 지도상의 어떤 위치에 있는 특이점인지를 파악한다. 도 6에서는 2개의 기둥에 있는 기둥번호와 하나의 표지판을 특이점으로 추출한 경우를 도시하고 있다.

차량은 2개의 기둥에 있는 기둥번호에 대응하는 GPS 좌표와 하나의 표지판의 GPS 좌표를 이용하여 차량의 현재 위치인 GPS 좌표를 계산하고, 실내지도 상에 차량의 현재위치를 표시한다. 물론 카메라(차량의 정면 등)를 기준으로 2개의 기둥에 있는 기둥번호 간의 각도나 방위, 표지판 간의 각도나 방위를 파악하면 더욱 정확한 차량의 GPS 현재위치가 산출될 것이다.

이상과 같이, 본 발명에서는 SLAM에서 획득하는 좌표값과 특이점을 함께 저장하여 지하주차장에서 지도정보(지하주차장 평면도 정보)를 보다 효율적으로 활용할 수 있게 한다. 따라서, 종래에 SLAM을 이용하는 경우에 좌표값 정보만이 획득되나, 본 발명에 따르면 좌표값 정보에 특이점의 정보까지 포함된다. 그리고 이때 종래의 SLAM을 이용하여 얻어진 좌표값 정보는 실외의 GPS 수신기에서 획득한 위치좌표와 상이하다. 즉, 실내와 실외의 경계에서 보면, 종래의 SLAM을 이용하여 얻어진 실내의 좌표값을 실외 경계선의 좌표값과 대응시킬 때 대응이 되지 못한다.

그러나 본 발명에 따라 얻어진 좌표값은 GPS 수신기에서 획득한 위치좌표와 일치하며, 실내와 실외의 경계에서, 실내 좌표값과 실내 좌표값을 대응시키는 것이 가능하다.

이러한 본 발명은 SLAM의 좌표값 정보에 의미를 추가하여 향후 실내 내비게이션이나 인공지능의 사물인식에 도움을 준다.

한편 전술한 실시 예에서는 상대좌표 생성부(230)를 구성으로 하였지만, 절대좌표 변환부(240)가 이동체의 현재 측정지점의 GPS 좌표를 기준으로 라이다(110)의 측정데이터를 통해 거리 및 방위에 맞게 각 객체의 GPS 좌표를 산출하도록 하는 경우이면, 상대좌표 생성부(230)를 생략하는 것이 가능하다.

이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였으나, 본 발명의 권리범위가 이에 한정되는 것은 아니며 본 발명이 속하는 분야에서 통상의 지식을 가진 자가 여러 가지로 변형 및 개량한 형태 또한 본 발명의 권리범위에 속한다.

이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였으나, 본 발명의 권리범위가 이에 한정되는 것은 아니며 본 발명이 속하는 분야에서 통상의 지식을 가진 자가 여러 가지로 변형 및 개량한 형태 또한 본 발명의 권리범위에 속한다.

100 : 지도데이터 수집장치 110 : 레이다
120 : 관성센서 130 : GPS 수신기
140: 디지털카메라 200 : 지도생성장치
210 : 동작 관리부 220 : 1차지도 생성부
230 : 상대좌표 생성부 240 : 절대좌표 변환부
250 : 특이점 파악부 260 : 2차지도 생성부

Claims (6)

1. 실내지도를 생성하기 위한 기초 자료인 측정데이터를 수집하기 위하여, 레이저 펄스를 주사하여 반사된 레이저 펄스의 도달시간을 측정하여 측정지점에서 반사 지점까지의 거리정보를 측정하는 라이다, 속도변화정보와 방위정보를 측정하는 관성센서, GPS 위성으로부터 수신된 GPS 정보를 이용하여 현재위치의 GPS 좌표를 산출하는 GPS 수신기, 및 사물의 영상정보를 획득하는 디지털카메라를 포함하여 구성되며, 이동체에 탑재되어 사용되는 지도데이터 수집장치,
   상기 지도데이터 수집장치로부터 각 장치에서 측정 또는 산출 또는 획득한 측정데이터를 수신하며, 상기 GPS 수신기로부터 수신된 입구지점의 GPS 좌표를 시작지점의 절대좌표로 저장한 후 상기 입구지점으로부터 출구지점까지 상기 라이다로부터 수신된 측정데이터를 이용하여 1차 지도를 생성하고, 상기 1차 지도 생성시 상기 라이다로부터 파악된 각 객체의 상대좌표를 상기 입구지점의 GPS 좌표를 이용하여 GPS 좌표로 변환하며, 상기 디지털카메라로부터 획득한 영상에서 특이점을 파악하고 파악한 특이점에 대응하는 GPS 좌표에 상기 특이점을 식별할 수 있는 특이점정보를 매핑하여 2차 지도를 생성하는 지도생성장치,
   를 포함하는 실내지도 생성시스템.
2. 제1항에서,
   상기 지도생성장치는
   상기 GPS 수신기의 출력으로부터 상기 입구지점과 상기 출구지점을 파악하고, 상기 입구지점의 GPS 좌표와 출구지점의 GPS 좌표를 파악하여 저장하며, 상기 입구지점부터 상기 출구지점까지 실내지도 생성 동작이 수행되도록 제어하는 동작 관리부,
   상기 라이다에서 측정한 측정데이터를 수신하고 수신한 측정데이터로 이동체의 현재 측정지점으로부터 객체까지의 거리 및 방위를 파악하며 파악한 각 객체에 대한 거리 및 방위를 이용하여 각 객체들이 표시된 3차원 객체 지도인 상기 1차 지도를 생성하는 1차지도 생성부,
   상기 라이다에서 측정한 측정데이터를 이용하여 상기 1차지도 생성부에 의해 파악된 각 객체의 상대좌표를 산출하고, 상기 관성센서의 측정데이터를 이용하여 이동체의 현재 측정지점의 상대좌표를 산출하는 상대좌표 생성부,
   저장된 상기 입구지점의 GPS 좌표 또는 산출된 이동체의 이전 측정지점의 GPS 좌표와 관성센서의 측정데이터를 이용하여 이동체의 현재 측정지점의 GPS 좌표를 산출하고, 이동체의 현재 측정지점의 GPS 좌표와 상기 라이다에서 측정한 측정데이터를 이용하여 상기 상대좌표 생성부에 의해 산출된 각 객체의 상대좌표를 GPS 좌표로 변환하는 절대좌표 변환부,
   기 설정된 특이점에 대한 정보를 저장하고 있는 특이점 저장부,
   상기 디지털카메라에 의해 촬영된 영상에서 특이점을 객체 형상을 추출하고 추출한 객체 형상이 특이점인지를 상기 특이점 저장부를 이용하여 파악하하며, 파악한 특이점의 GPS 좌표를 파악하는 특이점 파악부, 그리고
   상기 1차지도 생성부에서 생성한 1차 지도에 상기 특이점 파악부에서 파악한 특이점의 정보를 해당 특이점의 GPS 좌표에 매칭하여 2차지도를 생성하는 2차지도 생성부를 포함하는 실내지도 생성시스템.
3. 제1항에서,
   상기 지도생성장치는
   상기 GPS 수신기의 출력으로부터 상기 입구지점과 상기 출구지점을 파악하고, 상기 입구지점의 GPS 좌표와 출구지점의 GPS 좌표를 파악하여 저장하며, 상기 입구지점부터 상기 출구지점까지 실내지도 생성 동작이 수행되도록 제어하는 동작 관리부,
   상기 라이다에서 측정한 측정데이터를 수신하고 수신한 측정데이터로 객체와의 거리 및 방위를 파악하며 파악한 각 객체에 대한 거리 및 방위를 이용하여 각 객체들이 표시된 3차원 객체 지도인 상기 1차 지도를 생성하는 1차지도 생성부,
   저장된 상기 입구지점의 GPS 좌표 또는 산출된 이동체의 이전 측정지점의 GPS 좌표와 관성센서의 측정데이터를 이용하여 이동체의 현재 측정지점의 GPS 좌표를 산출하고, 이동체의 현재 측정지점의 GPS 좌표와 상기 라이다에서 측정한 측정데이터를 이용하여 상기 1차지도 생성부에서 표시한 각 객체의 GPS 좌표를 산출하는 절대좌표 변환부,
   기 설정된 특이점에 대한 정보를 저장하고 있는 특이점 저장부,
   상기 디지털카메라에 의해 촬영된 영상에서 특이점을 객체 형상을 추출하고 추출한 객체 형상이 특이점인지를 상기 특이점 저장부를 이용하여 파악하며, 파악한 특이점의 GPS 좌표를 파악하는 특이점 파악부, 그리고
   상기 1차지도 생성부에서 생성한 1차 지도에 상기 특이점 파악부에서 파악한 특이점의 정보를 해당 특이점의 GPS 좌표에 매칭하여 2차지도를 생성하는 2차지도 생성부를 포함하는 실내지도 생성시스템.
4. 제2항 또는 제3항에서,
   상기 특이점은 지하주차장에서 판독할 수 있는 표지판, 기둥, 기둥번호, 주차면, 주차선, 장애인 주차구역, 비상구 등 도형과 문자 정보인 실내지도 생성시스템.
5. 이동체에 탑재되고, 라이다, 관성센서, GPS 수신기 및 디지털카메라를 포함하는 지도데이터 수집장치로부터 수신된 측정데이터를 이용하여 실내지도를 생성하는 방법에서,
   이동체의 이동 중 GPS 신호가 수신되지 않으면 GPS 신호가 마지막으로 수신된 지점을 시작지점으로 설정하고 상기 입구지점의 GPS 좌표를 저장하는 단계,
   상기 라이다로부터 수신된 측정데이터로 각 객체까지의 거리 및 방위를 측정하고 이동체의 현재 측정지점으로부터 각 거리 및 방위에 대응하는 지점에 점을 찍어 측정한 거리별로 각 객체의 형상이 3차원적으로 표시되는 1차 지도를 생성하는 단계,
   상기 관성센서로부터 이동체의 속도변화와 방위를 상기 이동체의 현재 측정지점의 GPS 좌표를 산출하는 단계,
   상기 이동체의 현재 측정지점의 GPS 좌표와 상기 라이다에서 측정한 측정데이터를 통해 파악된 해당 객체까지의 거리와 방위를 이용하여 상기 1차 지도의 각 객체에 대한 GPS 좌표를 산출하는 단계,
   상기 디지털카메라에 의해 촬영된 영상에 포함된 각 객체 형상을 추출하고 객체 형상이 특이점인지를 판단하는 단계,
   특이점이라고 판단하면 해당 특이점의 GPS 좌표를 파악하는 단계, 그리고
   상기 1차 지도상의 해당 특이점의 GPS 좌표에 해당 특이점의 정보를 매핑하여 2차 지도를 생성하는 단계,
   를 포함하는 실내지도 생성방법.
6. 제5항에서,
   상기 특이점은 지하주차장에서 판독할 수 있는 표지판, 기둥, 기둥번호, 주차면, 주차선, 장애인 주차구역, 비상구 등 도형과 문자 정보인 실내지도 생성방법.
   
   

Images