KR20150124535A

KR20150124535A - 실내지도와 와이파이맵 동시 생성 방법 및 시스템

Info

Publication number: KR20150124535A
Application number: KR1020140050898A
Authority: KR
Inventors: 추창우; 김재헌; 차영미; 구본기; 최진성
Original assignee: 한국전자통신연구원
Priority date: 2014-04-28
Filing date: 2014-04-28
Publication date: 2015-11-06

Abstract

실내지도와 와이파이맵 동시 생성 방법 및 시스템이 개시된다. 실내지도와 와이파이맵 동시 생성 방법은 운반 수단의 이동에 따라 카메라가 획득한 시간별 카메라 영상 데이터를 이용하여 카메라의 상대적인 이동 경로 및 3차원 좌표를 산출하는 단계, 라이다 센서가 획득하는 라이다 데이터와 카메라 영상 데이터간의 대응관계를 이용하여 상대적인 이동 경로 및 3차원 좌표를 절대적인 이동 경로 및 3차원 좌표로 변환하는 단계, 카메라의 이동 경로 및 카메라와 라이다 센서의 상호 위치 관계를 이용하여 3차원 실내지도를 생성하는 단계, 와이파이 수신기가 와이파이 수신 신호 획득 시의 위치를 산출하여, 위치별 와이파이 수신 신호 강도 정보를 획득하는 단계 및 위치별 와이파이 수신 신호 강도 정보를 이용하여 3차원 실내지도에 엑세스 포인트의 3차원 좌표를 설정하여, 3차원 실내지도에 와이파이맵을 생성하는 단계를 포함한다.

Description

실내지도와 와이파이맵 동시 생성 방법 및 시스템{Method and system for creating indoor map and wifi map simultaneously}

본 발명은 실내에서의 위치기반 서비스에 관한 것으로서, 보다 상세하게는 실내지도와 와이파이맵 동시 생성 방법 및 시스템에 관한 것이다.

스마트폰 등의 모바일 단말기가 일반화되면서, PC 기반의 인터넷 지도 서비스는 모바일 환경에서의 위치기반 서비스로 발전하고 있다. 위치기반 서비스는 모바일 단말기에 내장된 GPS를 통해 수신한 현재의 위치 정보를 이용한 응용 서비스이다. 이를 통해, 인터넷 기반의 위성/항공/파노라마 영상을 기반으로 사용자에게 필요한 정보를 제공하는 지도 서비스는 사용자간의 상호작용이 가능한 좀더 풍부한 응용이 가능하게 되었다. 하지만, 이러한 위치기반의 서비스는 GPS 신호를 수신할 수 있는 실내 환경에서 사용할 수 없는 문제점이 있다.

그래서, 최근 위치기반 서비스의 관심이 높아짐에 따라, 사용자의 모바일 단말기에 내장되어 있는 각종 센서를 이용하여 실내에서 사용자의 현재 위치를 파악하기 위한 기술이 많이 개발되고 있다. 대표적으로, 실내 각 지점에 부착한 QR코드 인식 방식, RFID 인식 방식 등의 미리 정한 위치에 부착한 마커 인식 기반의 방식이 있으며, 실내 와이파이(WiFi) 지원을 위해 설치한 각종 AP(Access Point)의 신호세기를 미리 측정하여 와이파이 지도를 만들고, 이를 기반으로 사용자의 단말기에서 감지되는 여러 AP의 신호세기를 분석하여 현재 위치를 파악하는 방법 등이 있다. 이러한 여러 방법 중에서 와이파이 신호세기에 기반한 방식은 대부분의 모바일 단말기가 와이파이를 지원하기 때문에 별도의 센싱 장치기 필요없고, 사용자가 자신의 위치를 알리기 위해 영상을 찍는 등의 특별한 인터랙션 없이 현재 위치가 파악되기 때문에 주목을 받고 있다.

이러한 와이파이에 기반한 실내위치 측정을 위해서는 미리 AP의 정확한 위치와 실내의 와이파이 신호 분포를 위한 와이파이 라디오 맵(WiFi Radio Map) 데이터 획득이 필수적이다. 종래의 와이파이 라디오 맵은 실내의 도면 또는 수치지도를 이용하여 미리 정한 다수의 위치에서 와이파이 신호 세기를 측정하는 방식으로 구축된다. 이와 같이 미리 만들어진 실내의 도면 또는 수치지도를 기반으로 와이파이 라디오 맵을 구축하는 방식은 도면과 실제 실내공간과의 오차, 도면상에 표시한 와이파이 신호 세기 측정 지점과 실제 측정 지점과의 오차로 인한 오차가 발생할 수 있는 문제점이 있다.

본 발명은 미리 만들어진 실내의 도면 또는 수치지도를 이용하지 않고, 와이파이 라디오맵과 실내지도를 동시에 구축하기 위한 방법 및 시스템을 제안하는 것이다.

본 발명의 일 측면에 따르면, 실내에서 이동 가능한 운반 수단에 탑재되는 카메라, 라이다 센서 및 와이파이 수신기를 제어하는 시스템 제어 장치가 실내지도와 와이파이맵을 동시에 생성하는 방법이 개시된다.

본 발명의 실시예에 따른 실내지도와 와이파이맵 동시 생성 방법은 상기 운반 수단의 이동에 따라 상기 카메라가 획득한 시간별 카메라 영상 데이터를 이용하여 상기 카메라의 상대적인 이동 경로 및 3차원 좌표를 산출하는 단계, 상기 라이다 센서가 획득하는 라이다 데이터와 상기 카메라 영상 데이터간의 대응관계를 이용하여 상기 상대적인 이동 경로 및 3차원 좌표를 절대적인 이동 경로 및 3차원 좌표로 변환하는 단계, 상기 카메라의 이동 경로 및 상기 카메라와 상기 라이다 센서의 상호 위치 관계를 이용하여 3차원 실내지도를 생성하는 단계, 상기 와이파이 수신기가 와이파이 수신 신호 획득 시의 위치를 산출하여, 위치별 와이파이 수신 신호 강도 정보를 획득하는 단계 및 상기 위치별 와이파이 수신 신호 강도 정보를 이용하여 상기 3차원 실내지도에 엑세스 포인트의 3차원 좌표를 설정하여, 상기 3차원 실내지도에 상기 와이파이맵을 생성하는 단계를 포함한다.

상기 카메라의 상대적인 이동 경로 및 3차원 좌표를 산출하는 단계는, 상기 카메라가 획득한 촬영 영상의 특징점을 추출하는 단계, 상기 추출한 특징점의 서술자(descriptor)를 생성하는 단계, 프레임간 특징점 서술자를 비교하여 대응쌍들을 추출하는 단계 및 상기 대응쌍들을 이용하여 상기 카메라의 위치와 이동 방향, 대응되는 특징점의 3차원 좌표를 산출하는 단계를 포함한다.

처음 두 프레임간에 얻어지는 상기 카메라의 위치와 이동 방향, 특징점의 3차원 좌표는 두 프레임간 카메라의 거리를 1로 설정한 상대적인 좌표로 산출된다.

상기 상대적인 이동 경로 및 3차원 좌표를 절대적인 이동 경로 및 3차원 좌표로 변환하는 단계는, 상기 라이다 센서가 실측한 두 프레임간 카메라의 이동 거리, 상기 라이다 센서와 상기 카메라가 동일한 시간에 획득한 프레임의 데이터를 이용하여, 상기 상대적인 이동 경로 및 3차원 좌표를 절대적인 이동 경로 및 3차원 좌표로 변환한다.

상기 상호 위치 관계는 상기 카메라를 기준으로 상기 라이다 센서의 위치와 이동 방향을 나타내는 기하관계 행렬로 표시되고, 상기 3차원 실내지도를 생성하는 단계는, 상기 기하관계 행렬을 이용하여, 상기 라이다 센서의 위치를 기준으로 지역 좌표계로 획득된 라이터 데이터를 실측 3차원 좌표로 변환하는 단계를 포함한다.

상기 실측 3차원 좌표료 변환하는 단계는, 상기 카메라의 영상 데이터의 획득 시간과 동일한 시간의 라이다 센서의 위치와 이동 방향이 상기 영상 데이터로부터 획득한 위치와 이동 방향에 대하여 상기 기하관계 행렬을 곱하여 산출하는 단계를 포함한다.

상기 카메라와 상기 와이파이 수신기간의 상호 위치 관계는 상기 카메라를 기준으로 상기 와이파이 수신기의 위치와 이동 방향을 나타내는 기하관계 행렬로 표현되고, 상기 위치별 와이파이 수신 신호 강도 정보를 획득하는 단계는, 상기 와이파이 수신기가 획득한 와이파이 신호 획득 타임코드가 상기 카메라의 영상 획득 시간과 동일한 경우, 상기 카메라의 위치와 이동 방향에 대하여 상기 기하관계 행렬을 곱하여 와이파이 신호 획득 시의 상기 와이파이 수신기의 위치를 산출하는 단계를 포함한다.

본 발명의 다른 측면에 따르면, 실내에서 이동 가능한 운반 수단에 탑재되는 실내지도와 와이파이맵 동시 생성 시스템이 개시된다.

본 발명의 실시예에 따른 실내지도와 와이파이맵 동시 생성 시스템은 카메라, 라이다 센서, 와이파이 수신기, 상기 카메라, 상기 라이다 센서 및 상기 와이파이 수신기로부터 데이터를 수신하고, 상기 수신한 데이터를 이용하여 실내지도와 와이파이맵을 동시에 생성하는 시스템 제어 장치를 포함하되, 상기 시스템 제어 장치는, 상기 운반 수단의 이동에 따라 상기 카메라가 획득한 시간별 카메라 영상 데이터를 이용하여 상기 카메라의 상대적인 이동 경로 및 3차원 좌표를 산출하는 단계, 상기 라이다 센서가 획득하는 라이다 데이터와 상기 카메라 영상 데이터간의 대응관계를 이용하여 상기 상대적인 이동 경로 및 3차원 좌표를 절대적인 이동 경로 및 3차원 좌표로 변환하는 단계, 상기 카메라의 이동 경로 및 상기 카메라와 상기 라이다 센서의 상호 위치 관계를 이용하여 3차원 실내지도를 생성하는 단계, 상기 와이파이 수신기가 와이파이 수신 신호 획득 시의 위치를 산출하여, 위치별 와이파이 수신 신호 강도 정보를 획득하는 단계 및 상기 위치별 와이파이 수신 신호 강도 정보를 이용하여 상기 3차원 실내지도에 엑세스 포인트의 3차원 좌표를 설정하여, 상기 3차원 실내지도에 상기 와이파이맵을 생성하는 단계를 수행한다.

상기 카메라는 상기 운반 수단의 이동 방향을 기준으로, 정면에 설치된 정면 카메라 및 양 옆에 설치된 측면 카메라를 포함한다.

상기 카메라는 상기 운반 수단의 이동 방향을 기준으로 정면에 설치된 정면 카메라이다.

상기 카메라는 상기 운반 수단의 이동 방향을 기준으로 정면에 설치된 전방향 카메라(omni-directional camera)이다.

상기 와이파이 수신기는, 높이별 와이파이 신호 강도 데이터를 획득하기 위하여, 서로 높이를 달리하여 상기 운반 수단에 복수 개로 설치된다.

본 발명은 미리 만들어진 실내의 도면 또는 수치지도를 이용하지 않고, 와이파이 라디오맵과 실내지도를 동시에 구축할 수 있다.

도 1의 실내지도와 와이파이맵 동시 생성 시스템의 구성을 개략적으로 예시한 도면.
도 2는 실내지도와 와이파이맵 동시 생성 방법을 나타낸 흐름도.
도 3 및 도 4는 실내지도와 와이파이맵 동시 생성 시스템의 이동 경로를 예시한 도면.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.

또한, 본 명세서에서, 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다.

이하, 본 발명의 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면 번호에 상관없이 동일한 수단에 대해서는 동일한 참조 번호를 사용하기로 한다.

도 1의 실내지도와 와이파이맵 동시 생성 시스템의 구성을 개략적으로 예시한 도면이다.

도 1을 참조하면, 실내지도와 와이파이맵 동시 생성 시스템은 복수의 카메라(110, 111, 112), 라이다(LIDAR) 센서(120), 복수의 와이파이 수신기(130, 131), 시스템 제어 장치(210, 220, 230) 및 전원 장치(240)를 포함한다. 여기서, 시스템 제어 장치(210, 220, 230)는 시스템 제어 PC(210), 데이터 저장소(220) 및 모니터(230)를 포함할 수 있다.

이와 같은, 실내지도와 와이파이맵 동시 생성 시스템은 실내에서 용이하게 이동 가능한 운반 수단(100)에 탑재된다. 예를 들어, 운반 수단(100)은 카트가 될 수 있다. 그리고, 계단과 같이 카트가 이동할 수 없는 구간을 위해서, 운반 수단(100)은 사람이 착용하여 이동시킬 수 있는 백팩으로 구현될 수도 있다. 이러한 경우, 시스템 제어 장치(210, 220, 230) 및 전원 장치(240)는 랩탑 컴퓨터와 이동식 소형 전원 장치로 대체될 수 있다.

복수의 카메라(110, 111, 112)는 운반 수단(100)의 이동 경로를 추출하기 위하여 사용된다. 예를 들어, 도 1에서는 다중 카메라 구성이 예시되어 있다. 즉, 카메라는 운반 수단(100)의 이동 방향을 기준으로 정면에 한 대(110), 양 옆에 각 한 대씩(111, 112) 설치될 수 있다. 도 1에 도시된 정면 카메라(110)만으로 단일 카메라를 구성하는 것도 무방하나, 이동 경로 복원의 에러를 줄이기 위해서는 도 1의 예시와 같이, 운반 수단(100)의 양 옆에 각각 카메라(111, 112)를 더 설치함으로써, 최대한 넓은 영역이 촬영될 수 있도록 할 수 있다. 또는, 전방향 카메라(omni-directional camera)를 사용하여 최대한 넓은 영역을 촬영할 수 있도록 할 수도 있다.

복수의 카메라(110, 111, 112)는 카메라간 촬영 데이터 획득 시간이 일치해야 하며, 촬영 데이터 획득 중에 카메라간 상호관계가 바뀌지 않도록 설치되어야 한다.

라이다 센서(120)는 라이다 영상 데이터를 획득함으로써, 3차원 좌표를 획득한다. 라이다 센서(120)는 라이다 영상 데이터 획득 시간 동안 카메라(110, 111, 112)와 상호관계가 바뀌지 않아야 한다. 라이다 센서(120)의 데이터 획득 주기는 일반적으로, 카메라의 영상 획득 주기보다 짧기 때문에, 모든 프레임에 대하여 카메라(110, 111, 112)와 라이다 센서(120)는 동기를 맞추는 것이 어려우므로, 라이다 센서(120)가 데이터 획득 주기마다 카메라(110, 111, 112)로 촬영 신호를 전송하여 동기화된 영상이 획득되도록 한다.

복수의 와이파이 수신기(130, 131)는 서로 높이를 달리하여 운반 수단(100)에 설치된다. 즉, 도 1에 도시된 바와 같이, 와이파이 수신기 두 대(130, 131)가 바닥으로부터 서로 다른 높이로 운반 수단(100)에 설치될 수 있다.

기존의 와이파이맵 생성 방식은 1대의 와이파이 수신기를 이용하여 평면적인 와이파이맵을 생성하는데 반해, 실내지도와 와이파이맵 동시 생성 시스템은 필요에 따라 2개 또는 그 이상의 와이파이 수신기를 설치하여 높이별 와이파이 신호 강도 데이터를 포함하는 3차원 와이파이맵을 생성할 수 있다. 와이파이 수신기(130, 131)도 마찬가지로, 카메라(110, 111, 112)에 대해서 고정된 위치에 설치되어야 하며, 촬영 데이터 획득 전후에 와이파이 수신기(130, 131)와 카메라(110, 111, 112)간의 거리가 실측되고, 실측된 거리는 와이파이 신호가 수신된 위치를 정확하게 산출하는데 이용될 수 있다. 와이파이 수신기(130, 131)의 데이터 획득 주기는 카메라(110, 111, 112)와 마찬가지로 라이다 센서(120)의 데이터 획득 주기와 동기화되거나, 또는 와이파이 수신기(130, 131)는 데이터 획득 시간의 와이파이 신호 획득 타임코드를 저장해야 한다.

시스템 제어 장치(210, 220, 230)는 사용자의 입력 또는 설정에 따라 복수의 카메라(110, 111, 112), 라이다(LIDAR) 센서(120) 및 복수의 와이파이 수신기(130, 131)로 데이터 획득에 대한 명령 신호를 전송하고, 획득된 데이터를 수신한다. 예를 들어, 시스템 제어 장치(210, 220, 230)는 데이터 획득의 시작/종료, 일시멈춤/재시작 등의 명령을 전송할 수 있다. 획득된 데이터는 데이터 저장소(220)에 저장되고, 모니터(230)을 통해 출력되어, 사용자는 데이터 획득 상태를 모니터링하고, 상태에 따라 적절한 명령을 시스템 제어 장치(210, 220, 230)로 입력할 수 있다.

도 2는 실내지도와 와이파이맵 동시 생성 방법을 나타낸 흐름도이다.

S210 단계에서, 시스템 제어 장치(210, 220, 230)는 카메라(110, 111, 112)의 이동 경로 및 3차원 좌표를 산출한다.

즉, 시스템 제어 장치(210, 220, 230)는 카메라(110, 111, 112)가 획득한 촬영 영상의 특징점을 추출하고, 추출한 특징점의 서술자(descriptor)를 생성하고, 프레임간 특징점 서술자를 비교하여 대응되는 쌍들을 추출한다. 이어, 시스템 제어 장치(210, 220, 230)는 이 대응쌍들을 이용하여 카메라의 위치와 이동 방향, 대응되는 특징점의 3차원 좌표를 산출한다. 이 때, 처음 두 프레임간에 얻어지는 카메라의 위치와 이동 방향, 특징점의 3차원 좌표는 두 프레임간 카메라의 거리를 1로 설정한 상대적인 좌표로 산출된다.

따라서, 실제 두 프레임간 카메라의 이동 거리 또는, 산출된 2개의 3차원 점의 실제 거리가 측정되면, 시스템 제어 장치(210, 220, 230)는 실제 카메라의 이동 거리와 실제 크기를 반영하는 3차원 좌표를 생성할 수 있다. 시스템 제어 장치(210, 220, 230)는 두 번째 이후의 프레임의 경우, 이전 프레임까지 산출된 3차원 점과 영상의 대응관계를 이용하여 카메라(110, 111, 112)의 위치와 이동 방향, 3차원 좌표를 산출한다.

실내의 조밀한 와이파이맵을 생성하기 위해서, 데이터 획득 과정이 여러 차례 반복되어야 하므로, 실내지도와 와이파이맵 동시 생성 시스템은 최대한 많은 지점에서 데이터를 수집하도록 이동 경로가 다르게 반복 이동될 수 있다. 이러한 과정에서, 실내지도와 와이파이맵 동시 생성 시스템은 자연스럽게 이전에 데이터를 획득한 지점과 유사한 지점에서 데이터 획득을 할 수 있다. 예를 들어, 도 3은 실내지도와 와이파이맵 동시 생성 시스템의 이동 경로를 예시한 도면이다. 도 3에 도시된 바와 같이, 가운데 기둥이 있는 복도의 경우, 실내지도와 와이파이맵 동시 생성 시스템은 점선을 따라 데이터 획득을 하면, A, B, C, D, E의 순서로 이전에 데이터 획득한 지점과 유사한 지점을 지나치기 때문에, 영상간의 특징점 대응관계를 이용하여 폐경로 정합(loop closure)을 하면, 이동 경로 복원 과정에서 발생하는 오차 누적을 최소화 할 수 있다.

S220 단계에서, 시스템 제어 장치(210, 220, 230)는 라이다 데이터와 카메라 영상 데이터간의 대응관계를 이용하여 카메라(110, 111, 112)의 상대적 이동경로를 절대 경로로 변환한다. 즉, 시스템 제어 장치(210, 220, 230)는 처음 2개의 프레임 간의 거리를 1로 설정한 상대적인 카메라(110, 111, 112)의 이동경로를 절대적인 카메라(110, 111, 112)의 이동경로로 변환한다.

라이다 센서(120)는 라이다 센서(210)로부터 물체까지의 거리를 실측한 데이터를 생성하며, 라이다 센서(120)와 카메라(110, 111, 112)간의 상호 기하 관계가 고정되어 있다. 그래서, 시스템 제어 장치(210, 220, 230)는 라이다 센서(120)와 카메라(110, 111, 112)가 동일한 시간에 획득한 프레임의 데이터를 이용하고, 라이다 센서(120)가 획득한 3차원 좌표를 동기화된 프레임의 영상에 투영(projection)한 영상 좌표의 특징점이 이웃 프레임에서도 동일한 특징점에 투영되어야 함을 이용하여, 상대적인 카메라(110, 111, 112)의 이동경로를 절대적인 카메라(110, 111, 112)의 이동경로로 변환한다. 이 과정은 실내의 여러 실측점의 거리를 이용할 수도 있으며, 이 경우에는 안정적인 결과를 산출하기 위해서 실측이 실내 데이터 획득 구간에 골고루 분포되어 실시되어야 한다.

S230 단계에서, 시스템 제어 장치(210, 220, 230)는 카메라(110, 111, 112)의 이동경로 및 카메라(110, 111, 112)와 라이다 센서(120)의 상호 위치 관계를 이용하여 3차원 실내지도를 생성한다.

즉, 시스템 제어 장치(210, 220, 230)는 카메라(110, 111, 112)의 영상 데이터에 각각의 라이다 데이터를 정합하여 동일한 좌표계로 변환한다. 카메라(110, 111, 112)와 라이다 센서(120)의 상호 위치 관계는 카메라(110, 111, 112)를 기준으로 라이다 센서(120)의 위치와 이동 방향을 기하관계 행렬(matrix)로 표시할 수 있다. 카메라(110, 111, 112)의 영상 데이터의 획득 시간과 동일한 시간의 라이다 센서(120)의 위치와 이동 방향은 영상 데이터로부터 획득한 위치와 이동 방향에 대해 기하관계 행렬을 곱하여 산출될 수 있다. 그래서, 시스템 제어 장치(210, 220, 230)는 이 기하관계 행렬을 이용하여, 각 라이다 센서(120)의 위치를 기준으로 지역좌표계(local coordinates)로 획득된 라이다 데이터를 실측 3차원 좌표로 변환한다. 그리고, 시스템 제어 장치(210, 220, 230)는 카메라(110, 111, 112)와 동기화되지 않은 시간에 획득한 라이다 센서(120)의 위치와 이동 방향의 경우, 가장 근접한 시간대의 동기화된 라이다 센서(120)의 위치와 이동 방향을 보간(interpolation)하여 산출할 수 있다.

S240 단계에서, 시스템 제어 장치(210, 220, 230)는 와이파이 수신신호 획득 시의 위치를 산출한다.

시스템 제어 장치(210, 220, 230)는 S230 단계와 유사하게, 와이파이 수신기(130, 131)가 획득한 와이파이 신호 획득 타임코드를 이용하며, 카메라(110, 111, 112)와 와이파이 수신기(130, 131)간의 상호 위치 관계도 카메라(110, 111, 112)를 기준으로 와이파이 수신기(130, 131)의 위치와 이동 방향을 나타내는 기하관계 행렬로 표현한다. 시스템 제어 장치(210, 220, 230)는 와이파이 신호 획득 타임코드가 카메라(110, 111, 112)의 영상 획득 시간과 동일한 경우, 카메라(110, 111, 112)의 위치와 이동 방향에 대하여 기하관계 행렬을 곱하여 와이파이 신호 획득시의 와이파이 수신기(130, 131)의 위치를 산출할 수 있다. 만약, 와이파이 신호 획득 시간이 카메라(110, 111, 112)의 영상 획득 시간과 동일하지 않은 경우, 와이파이 수신기(130, 131)는 카메라(110, 111, 112)의 이동 궤적 안에 있으므로, 시스템 제어 장치(210, 220, 230)는 와이파이 신호 획득 시간 전후의 가장 근접한 카메라 영상 획득 시간과의 시간차를 이용하여 보간하면, 와이파이 신호 획득시의 카메라(110, 111, 112)의 위치를 산출할 수 있다. 따라서, 시스템 제어 장치(210, 220, 230)는 위치별 와이파이 수신 신호 강도 정보를 획득할 수 있다.

S250 단계에서, 시스템 제어 장치(210, 220, 230)는 생성한 3차원 실내지도에 엑세스 포인트(AP)의 3차원 좌표를 설정하여, 3차원 실내지도에 와이파이맵을 생성할 수 있다.

S210 단계 내지 S250 단계는, 조밀한 와이파이맵을 생성하기 위하여 수차례 반복될 수 있다. 예를 들어, 도 4는 실내지도와 와이파이맵 동시 생성 시스템의 이동 경로를 예시한 도면이다. 도 4의 예시된 바와 같이, 반복하여 데이터를 획득할 경우, 이전의 데이터 획득 경로와 다르게 하여도 무방하다. 이렇게 구성된 와이파이맵은 그리드(grid) 형태의 라디오맵이 아니고, 비정형화된(unorganized) 위치별 와이파이 수신 강도로 표시된 라디오맵이 될 수 있다. 따라서, 유동인구가 많은 곳의 경우, 좀 더 조밀하게 측정하는 등의 변형 활용도 가능하다. 3차원 실내지도는 응용 서비스에 따라 3차원 실내를 가시화(visualization)할 필요가 있는 경우, 3차원 메쉬(mesh)화하여 사용될 수 있다.

한편, 본 발명의 실시예에 따른 실내지도와 와이파이맵 동시 생성 방법은 다양한 전자적으로 정보를 처리하는 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 저장 매체에 기록될 수 있다. 저장 매체는 프로그램 명령, 데이터 파일, 데이터 구조등을 단독으로 또는 조합하여 포함할 수 있다.

저장 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 저장 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한 상술한 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 전자적으로 정보를 처리하는 장치, 예를 들어, 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

110, 111, 112: 카메라
120: 라이다(LIDAR) 센서
130, 131: 와이파이 수신기
210, 220, 230: 시스템 제어 장치
210: 시스템 제어 PC
220: 데이터 저장소
230: 모니터
240: 전원 장치

Claims

실내에서 이동 가능한 운반 수단에 탑재되는 카메라, 라이다 센서 및 와이파이 수신기를 제어하는 시스템 제어 장치가 실내지도와 와이파이맵을 동시에 생성하는 방법에 있어서,
상기 운반 수단의 이동에 따라 상기 카메라가 획득한 시간별 카메라 영상 데이터를 이용하여 상기 카메라의 상대적인 이동 경로 및 3차원 좌표를 산출하는 단계;
상기 라이다 센서가 획득하는 라이다 데이터와 상기 카메라 영상 데이터간의 대응관계를 이용하여 상기 상대적인 이동 경로 및 3차원 좌표를 절대적인 이동 경로 및 3차원 좌표로 변환하는 단계;
상기 카메라의 이동 경로 및 상기 카메라와 상기 라이다 센서의 상호 위치 관계를 이용하여 3차원 실내지도를 생성하는 단계;
상기 와이파이 수신기가 와이파이 수신 신호 획득 시의 위치를 산출하여, 위치별 와이파이 수신 신호 강도 정보를 획득하는 단계; 및
상기 위치별 와이파이 수신 신호 강도 정보를 이용하여 상기 3차원 실내지도에 엑세스 포인트의 3차원 좌표를 설정하여, 상기 3차원 실내지도에 상기 와이파이맵을 생성하는 단계를 포함하는 실내지도와 와이파이맵 동시 생성 방법.
제1항에 있어서,
상기 카메라의 상대적인 이동 경로 및 3차원 좌표를 산출하는 단계는,
상기 카메라가 획득한 촬영 영상의 특징점을 추출하는 단계:
상기 추출한 특징점의 서술자(descriptor)를 생성하는 단계;
프레임간 특징점 서술자를 비교하여 대응쌍들을 추출하는 단계: 및
상기 대응쌍들을 이용하여 상기 카메라의 위치와 이동 방향, 대응되는 특징점의 3차원 좌표를 산출하는 단계를 포함하는 것을 특징으로 하는 실내지도와 와이파이맵 동시 생성 방법.
제2항에 있어서,
처음 두 프레임간에 얻어지는 상기 카메라의 위치와 이동 방향, 특징점의 3차원 좌표는 두 프레임간 카메라의 거리를 1로 설정한 상대적인 좌표로 산출되는 것을 특징으로 하는 실내지도와 와이파이맵 동시 생성 방법.
제3항에 있어서,
상기 상대적인 이동 경로 및 3차원 좌표를 절대적인 이동 경로 및 3차원 좌표로 변환하는 단계는,
상기 라이다 센서가 실측한 두 프레임간 카메라의 이동 거리, 상기 라이다 센서와 상기 카메라가 동일한 시간에 획득한 프레임의 데이터를 이용하여, 상기 상대적인 이동 경로 및 3차원 좌표를 절대적인 이동 경로 및 3차원 좌표로 변환하는 것을 특징으로 하는 실내지도와 와이파이맵 동시 생성 방법.
제1항에 있어서,
상기 상호 위치 관계는 상기 카메라를 기준으로 상기 라이다 센서의 위치와 이동 방향을 나타내는 기하관계 행렬로 표시되고,
상기 3차원 실내지도를 생성하는 단계는,
상기 기하관계 행렬을 이용하여, 상기 라이다 센서의 위치를 기준으로 지역 좌표계로 획득된 라이터 데이터를 실측 3차원 좌표로 변환하는 단계를 포함하는 것을 특징으로 하는 실내지도와 와이파이맵 동시 생성 방법.
제5항에 있어서,
상기 실측 3차원 좌표료 변환하는 단계는,
상기 카메라의 영상 데이터의 획득 시간과 동일한 시간의 라이다 센서의 위치와 이동 방향이 상기 영상 데이터로부터 획득한 위치와 이동 방향에 대하여 상기 기하관계 행렬을 곱하여 산출하는 단계를 포함하는 것을 특징으로 하는 실내지도와 와이파이맵 동시 생성 방법.
제1항에 있어서,
상기 카메라와 상기 와이파이 수신기간의 상호 위치 관계는 상기 카메라를 기준으로 상기 와이파이 수신기의 위치와 이동 방향을 나타내는 기하관계 행렬로 표현되고,
상기 위치별 와이파이 수신 신호 강도 정보를 획득하는 단계는,
상기 와이파이 수신기가 획득한 와이파이 신호 획득 타임코드가 상기 카메라의 영상 획득 시간과 동일한 경우, 상기 카메라의 위치와 이동 방향에 대하여 상기 기하관계 행렬을 곱하여 와이파이 신호 획득 시의 상기 와이파이 수신기의 위치를 산출하는 단계를 포함하는 것을 특징으로 하는 실내지도와 와이파이맵 동시 생성 방법.
실내에서 이동 가능한 운반 수단에 탑재되는 실내지도와 와이파이맵 동시 생성 시스템에 있어서,
카메라;
라이다 센서;
와이파이 수신기;
상기 카메라, 상기 라이다 센서 및 상기 와이파이 수신기로부터 데이터를 수신하고, 상기 수신한 데이터를 이용하여 실내지도와 와이파이맵을 동시에 생성하는 시스템 제어 장치를 포함하되,
상기 시스템 제어 장치는,
상기 운반 수단의 이동에 따라 상기 카메라가 획득한 시간별 카메라 영상 데이터를 이용하여 상기 카메라의 상대적인 이동 경로 및 3차원 좌표를 산출하는 단계;
상기 라이다 센서가 획득하는 라이다 데이터와 상기 카메라 영상 데이터간의 대응관계를 이용하여 상기 상대적인 이동 경로 및 3차원 좌표를 절대적인 이동 경로 및 3차원 좌표로 변환하는 단계;
상기 카메라의 이동 경로 및 상기 카메라와 상기 라이다 센서의 상호 위치 관계를 이용하여 3차원 실내지도를 생성하는 단계;
상기 와이파이 수신기가 와이파이 수신 신호 획득 시의 위치를 산출하여, 위치별 와이파이 수신 신호 강도 정보를 획득하는 단계; 및
상기 위치별 와이파이 수신 신호 강도 정보를 이용하여 상기 3차원 실내지도에 엑세스 포인트의 3차원 좌표를 설정하여, 상기 3차원 실내지도에 상기 와이파이맵을 생성하는 단계를 수행하는 것을 특징으로 하는 실내지도와 와이파이맵 동시 생성 시스템.
제8항에 있어서,
상기 카메라는 상기 운반 수단의 이동 방향을 기준으로, 정면에 설치된 정면 카메라 및 양 옆에 설치된 측면 카메라를 포함하는 것을 특징으로 하는 실내지도와 와이파이맵 동시 생성 시스템.
제8항에 있어서,
상기 카메라는 상기 운반 수단의 이동 방향을 기준으로 정면에 설치된 정면 카메라인 것을 특징으로 하는 실내지도와 와이파이맵 동시 생성 시스템.
제8항에 있어서,
상기 카메라는 상기 운반 수단의 이동 방향을 기준으로 정면에 설치된 전방향 카메라(omni-directional camera)인 것을 특징으로 하는 실내지도와 와이파이맵 동시 생성 시스템.
제8항에 있어서,
상기 와이파이 수신기는,
높이별 와이파이 신호 강도 데이터를 획득하기 위하여, 서로 높이를 달리하여 상기 운반 수단에 복수 개로 설치되는 것을 특징으로 하는 실내지도와 와이파이맵 동시 생성 시스템.