KR20220026741A - 이동체의 자율 주행 시스템 및 위치 추정 방법 - Google Patents

Abstract

본 발명은 자율 주행 기술에 관한 것으로서, 상세하게는 이동체가 자율 주행 중에 주변 건물을 식별하여 이동체의 위치를 정확하게 추정할 수 있는 이동체의 자율 주행 시스템 및 위치 추정 방법에 관한 것이다. 이를 위해, 본 발명에 따른 이동체의 자율 주행 시스템은 영상정보 및 센서신호에 근거해 영상 내 건물의 구성요소로 추정되는 특정 영역을 추출하고 특정 영역 간의 거리정보를 생성하는 이동체와, 상기 이동체로부터 특정 영역 및 특정 영역 간의 거리정보를 수신하여 특정 영역의 속성정보를 분석하고 분석 결과에 따라 특정 영역을 건물의 구성요소로 확정하고, 상기 확정한 구성요소 간의 포함관계 및 거리정보에 근거해 상관관계 그래프를 생성하고, 상기 생성한 상관관계 그래프를 기 정의된 상관관계 데이터베이스와 비교하여 건물을 식별하고, 상기 식별한 건물에 대한 정보를 상기 이동체로 전송하는 자율주행 관리 서버를 포함한다.

Description

이동체의 자율 주행 시스템 및 위치 추정 방법{Automatic driving system and location estimating method for moving object}

본 발명은 자율 주행 기술에 관한 것으로서, 상세하게는 이동체가 자율 주행 중에 주변 건물을 식별하여 이동체의 위치를 정확하게 추정할 수 있는 이동체의 자율 주행 시스템 및 위치 추정 방법에 관한 것이다.

로봇이 주변 환경을 인식하기 위해 공간의 모서리, 구석 등과 더불어 공간에 존재하는 객체를 토대로 공간을 유추할 수 있다. 예를 들어, 소파, TV 등을 통해 현재 공간이 거실이라는 것을 유추할 수 있다.

일반적인 객체 인식은 점, 선, 모서리 등의 기하학적 특징이나 이미지의 특징점을 기반으로 수행된다. 최근에는 객체를 인식하여 객체 단위로 환경을 모델링 하는 방식에 대한 연구가 진행되고 있다.

그러나 로봇이 인간과 같이 고수준의 작업을 수행하기 위해서는 종래의 메트릭 기반 환경 인식보다 높은 수준의 인식이 필요하다.

종래 매트릭 기반 인식보다 높은 수준의 객체 인식을 위해서는 객체의 기하학적 특징이나 이미지 특징점에 의한 객체 추출에 머물러서는 안 되며 객체 간의 상관관계를 통해 더욱 정확하게 객체를 인식할 필요가 있다.

최근에 시멘틱 기반 객체 분할 기술에서 상관관계를 이용해 객체를 좀 더 정확하게 인식하려는 시도를 하고 있으나, 이는 객체와 객체 간의 의미론적 상관관계에 불과하며 특정 객체의 내부 정보 간의 상관관계를 이용해 객체를 식별하는 기술에 대해서는 아직 연구가 진행되고 있지 않은 실정이다.

한국공개특허 제2011-0085728호

본 발명은 상기와 같은 문제점을 해결하기 위해 창안된 것으로서, 본 발명의 목적은 이동체가 주행 중에 주변 객체를 인간과 같이 고수준으로 식별할 수 있도록 하는 것이다.

본 발명의 다른 목적은 객체와 객체 간의 의미론적 상관관계에 머물지 않고 특정 객체의 내부 정보를 새롭게 정의하여 종래보다 더욱 정확하게 객체를 인식하는 것이다.

이를 위해, 본 발명에 따른 이동체의 자율 주행 시스템은 영상정보 및 센서신호에 근거해 영상 내 건물의 구성요소로 추정되는 특정 영역을 추출하고 특정 영역 간의 거리정보를 생성하는 이동체와, 상기 이동체로부터 특정 영역 및 특정 영역 간의 거리정보를 수신하여 특정 영역의 속성정보를 분석하고 분석 결과에 따라 특정 영역을 건물의 구성요소로 확정하고, 상기 확정한 구성요소 간의 포함관계 및 거리정보에 근거해 상관관계 그래프를 생성하고, 상기 생성한 상관관계 그래프를 기 정의된 상관관계 데이터베이스와 비교하여 건물을 식별하고, 상기 식별한 건물에 대한 정보를 상기 이동체로 전송하는 자율주행 관리 서버를 포함한다.

본 발명에 따른 이동체의 위치 추정 방법은 주행하는 이동체와 통신하는 서버에서 이동체의 위치를 추정하는 방법으로서, 상기 이동체로부터 영상 내 건물의 구성요소로 추정되는 특정 영역 및 특정 영역 간의 거리정보를 수신하는 단계와, 상기 수신한 특정 영역의 속성정보를 분석하여 특정 영역을 건물의 구성요소로 확정하는 단계와, 상기 확정한 구성요소 간의 포함관계 및 거리정보에 근거해 상관관계 그래프를 생성하는 단계와, 상기 상관관계 그래프를 기 정의된 상관관계 데이터베이스와 비교하여 건물을 식별하는 단계를 포함한다.

본 발명에 따른 이동체는 영상정보 및 센서신호에 근거해 영상 내 건물의 구성요소로 추정되는 특정 영역을 추출하고 특정 영역 간의 거리정보를 생성하는 객체 추출부와, 상기 추출한 특정 영역의 속성정보를 분석하여 특정 영역을 건물의 구성요소로 확정하는 객체 분석부와, 상기 확정한 구성요소 간의 포함관계 및 거리정보에 근거해 상관관계 그래프를 생성하고 상기 상관관계 그래프를 기 정의된 상관관계 데이터베이스와 비교하여 건물을 식별하는 객체 인식부를 포함한다.

상술한 바와 같이, 본 발명은 이동체가 획득한 영상 내 건물의 구성요소를 추출하고 구성요소 간의 포함관계 및 거리정보에 근거한 상관관계 그래프를 이용해 이동체가 주행 중에 주변 건물을 인간과 같이 고수준으로 식별할 수 있는 효과가 있다.

본 발명은 종래와 같이 객체와 객체 간의 의미론적 상관관계에 머물지 않고 객체의 구성요소 간의 상관관계를 활용하는 개념을 통해 건물의 구성요소를 정의하고 그 구성요소 간의 포함관계 및 거리정보를 산출해 객체 인식에 이용함으로써 주택 단지 등과 같이 건물이 밀집되어 있는 지역에서 이동체가 주행하면서 매우 정확하게 위치를 추정할 수 있는 효과가 있다.

도 1은 본 발명에 따른 이동체의 자율 주행 시스템의 개략적인 구성을 나타낸 도면.
도 2는 본 발명에 따른 이동체 및 자율주행 관리 서버의 내부 구성을 나타낸 도면.
도 3은 본 발명에 따른 자율주행 관리 서버가 수행하는 이동체의 위치 추정 과정을 나타낸 순서도.
도 4는 본 발명에 따른 건물 식별을 위한 건물의 구성요소 간의 포함관계 및 위치관계를 나타낸 도면.
도 5는 본 발명의 다른 실시예에 따른 이동체의 내부 구성을 나타낸 도면.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.

그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.

또한, 명세서에 기재된 "……부", "…… 모듈" 의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

이하, 도면을 참조로 하여 본 발명의 실시예에 따른 이동체의 자율 주행 시스템 및 위치 추정 방법에 대하여 상세히 설명한다.

도 1은 본 발명에 따른 이동체의 자율주행 시스템의 개략적인 구성을 나타낸 것이다.

도 1을 참조하면, 본 발명에 따른 이동체의 자율주행 시스템은 자율주행 관리서버(100) 및 이동체(200)로 구성된다. 자율주행 관리서버(100)와 이동체(200)는 네트워크를 통해 연결되며, 네트워크는 LTE, LTE-A 등의 이동통신과 와이파이(Wi-Fi) 등의 근거리 통신을 포함한다.

자율주행 관리서버(100)는 이동체의 자율주행을 모니터링하는 업체가 보유하고 있는 서버이다. 이동체(200)는 자율주행 관리서버(100)와 통신하면서 자율 주행하는 장치로서, 본 발명의 실시예에서 이동체(200)는 특정 지역을 자율 주행하는 이동 로봇이다.

이동체(200)는 이동하면서 주변의 영상정보 및 센서신호를 취득하고 영상정보 및 센서신호에 근거해 영상 내 건물의 구성요소로 추정되는 특정 영역을 추출하고 특정 영역 간의 거리정보를 생성한다. 이동체(200)는 영상 내 특정 영역 및 특정 영역 간의 거리정보를 자율주행 관리 서버(100)로 전송한다.

자율주행 관리 서버(100)는 이동체(200)로부터 특정 영역 및 특정 영역 간의 거리정보를 수신하여 특정 영역의 속성정보를 분석하고 분석 결과에 따라 특정 영역을 건물의 구성요소로 확정한다.

자율주행 관리 서버(100)는 확정한 구성요소 간의 포함관계 및 거리정보에 근거해 상관관계 그래프를 생성하고, 생성한 상관관계 그래프를 기 정의된 상관관계 데이터베이스와 비교하여 건물을 식별한다. 자율주행 관리 서버(100)는 식별한 건물에 대한 정보를 이동체(200)로 전송한다.

도 2는 본 발명에 따른 이동체 및 자율주행 관리 서버의 내부 구성을 나타낸 것이다.

도 2를 참조하면, 이동체(200)는 카메라(201), 라이더(203), 객체 추출부(205), 통신부(207) 등을 포함한다.

카메라(201)는 주변 영상정보를 획득하고, 라이더(203)는 레이저 신호를 송수신하여 주변 객체와 이동체 간의 거리정보를 획득한다.

객체 추출부(205)는 카메라(201)로부터 영상정보를 입력받고 라이더(203)로부터 센서신호를 입력받아 영상정보 및 센서신호에 근거해 영상 내 건물의 구성요소로 추정되는 특정 영역을 추출하고, 특정 영역 간의 위치관계인 거리정보를 생성한다. 여기서 건물의 구성요소란 건물에 포함되는 대문, 지붕, 외벽, 발코니, 창문, 도로명주소, 담장 등을 말한다. 건물의 구성요소 간의 포함관계 및 위치관계에 대해서는 후출하기로 한다.

객체 추출부(205)에는 딥러닝 모델이 적용되어 있어서, 객체 추출부(205)는 딥러닝 모델을 이용해 영상 내 건물의 구성요소로 추정되는 특정 영역을 추출할 수 있다. 카메라의 영상 데이터와 영상 데이터 내에 건물의 구성요소로 정의된 영역을 지정한 데이터를 한 쌍의 학습 데이터로 사용하여 객체 추출부(205)에 적용되는 딥러닝 모델을 학습시킨다.

통신부(207)는 객체 추출부(205)에서 출력된 영상 내 특정 영역 및 특정 영역 간의 거리정보를 자율주행 관리 서버(100)로 전송한다. 본 발명의 실시예에 따른 통신부(207)는 이동통신 모듈 및 근거리 통신 모듈을 포함한다.

자율주행 관리 서버(100)는 통신부(101), 객체 분석부(103), 객체 인식부(105), 상관관계 데이터베이스(DB)(107) 등을 포함한다.

통신부(101)는 이동체(200)로부터 영상 내 특정 영역 및 특정 영역 간의 거리정보를 수신하여, 객체 분석부(103)에 전달한다.

객체 분석부(103)는 특정 영역의 속성 정보를 분석하여 특정 영역을 건물의 구성요소로 확정한다. 여기서 특정 영역의 속성 정보란 건물의 구성요소가 가진 모양, 색상, 크기, 번호나 텍스트 등을 말한다.

객체 인식부(105)는 확정한 구성요소 간의 포함관계 및 거리정보에 근거해 상관관계 그래프를 생성하고, 생성한 상관관계 그래프를 상관관계 데이터베이스(107)에 기 저장된 상관관계 그래프와 비교한다.

상관관계 그래프의 일치도가 임계치 이상이면, 객체 인식부(105)는 상기 확정한 구성요소로 구성된 건물을 해당 건물로 식별하게 된다. 객체 인식부(105)에서 식별된 건물정보는 통신부(101)를 통해 이동체(200)로 전송될 수 있다.

도 3은 본 발명에 따른 자율주행 관리 서버가 수행하는 이동체의 위치 추정 과정을 나타낸 것이다. 도 3에 도시된 각 단계는 본 발명에 따른 자율주행 관리서버(100)에서 수행된다.

도 3을 참조하면, 먼저 자율주행 관리서버(100)는 이동체(200)로부터 영상 내 특정 영역 및 특정 영역 간의 위치관계인 거리정보를 수신한다(S10).

특정 영역은 영상 내 건물의 구성요소로 추정되는 영역을 말한다. 특정 영역은 건물의 구성요소로 추정되는 영역의 윤곽선과 윤곽선 내의 색상, 번호나 텍스트 정보를 포함한다.

이동체(200)로부터 영상 내 특정 영역 및 특정 영역 간의 거리정보를 수신하면, 자율주행 관리서버(100)는 특정 영역의 속성 정보를 분석한다(S20).

도 4는 본 발명에 따른 건물 식별을 위한 건물의 구성요소 간의 포함관계 및 위치관계를 나타낸 것이다.

도 4를 참조하면, 본 발명의 실시예에서 식별하고자 하는 건물(주택)은 구성요소(1)와 구성요소의 속성정보(2)를 가진다. 건물의 구성요소로 정의될 수 있는 것은 대문, 지붕, 외벽, 발코니, 창문, 도로명주소, 담장 등이고, 각 구성요소의 속성정보로는 모양, 색상, 크기, 건물번호 등이 있다.

도 4에서, 양방향 화살표(

)는 구성요소 간 위치관계를 의미한다. 위치관계 정보에는 구성요소 간에 얼마나 떨어져 있는지에 대한 거리정보가 정의되어 있다.

화살표(

)는 구성요소 간의 포함 관계를 의미한다. 포함관계는 영상 내에서 보이는 포함 관계를 말한다. 예를 들어, 일반적으로 지붕이 집 전체를 덮고 있으므로 지붕이 집의 모든 구성요소를 포함하고 있는 것으로 생각할 수 있지만 실제 영상에서 집을 보게 되면 지붕은 아무것도 포함하지 않는다.

도로명 주소는 담장이 있는 집의 경우 보통 담장에 붙어있게 되며, 담장이 없는 집의 경우 외벽에 붙어있게 되므로 도로명 주소는 담장 또는 외벽에 포함되는 관계이다.

창문은 지붕에 붙어있는 경우가 거의 없고 다른 구성 요소들에 포함되기 어려우므로 발코니 또는 외벽에 포함될 수 있다.

발코니는 외벽 전체로 보면 발코니가 외벽을 뚫고 나오는 모습이므로 영상에서 보게 되면 외벽에 발코니가 포함되어 있는 관계라고 볼 수 있다.

담장은 보통 홀로 나와 있고, 대문은 담장에 포함되지 않고 바로 옆에 붙어 있는 것처럼 보이게 되며, 담장이 없는 집의 경우 외벽 내에 있다고 볼 수 있으므로 대문은 외벽에 포함된다고 볼 수 있다.

이와 같이 건물 내의 각 구성요소 간의 포함관계 및 위치관계(거리정보)는 도 4와 같은 상관관계 그래프로 정의될 수 있다.

자율주행 관리서버(100)는 특정 영역의 속성 정보에 해당하는 모양, 색상, 크기, 건물번호 등을 분석하여 특정 영역을 건물의 구성요소로 확정한다(S30). 즉, 자율주행 관리서버(100)는 대문으로 추정된 특정 영역이 가진 모양 및 색상을 기 저장된 대문의 모양 및 색상과 비교하여 대문으로 추정된 특정 영역이 대문이라고 확정하게 된다.

특정 영역이 건물의 구성요소로 확정되면, 자율주행 관리서버(100)는 구성요소 간의 포함관계 및 거리정보를 산출하여 상관관계 그래프를 생성한다(S40).

구성요소 간의 포함관계 및 거리정보에 근거한 상관관계 그래프가 생성되면, 자율주행 관리서버(100)는 생성한 상관관계 그래프를 상관관계 데이터베이스에 저장된 상관관계 그래프와 비교한다(S50).

상관관계 그래프의 비교 결과, 일치도가 임계치 이상이면 확정한 구성요소로 구성된 건물을 해당 건물로 식별한다(S60).

도 5는 본 발명의 다른 실시예에 따른 이동체의 내부 구성을 나타낸 것이다.

상술한 바와 같이, 도 1 내지 도 3에서는 이동체(200)가 자율주행 관리서버(100)와 통신을 수행하면서 주변 건물을 인식하고 있으나, 도 5에서는 이동체(300)가 자율주행 관리서버(100)와 통신하지 않고 독립적으로 주변 건물을 인식할 수 있다.

즉, 도 5에 도시된 이동체(300)는 카메라(301), 라이더(303), 객체 추출부(305) 외에 객체 분석부(307), 객체 인식부(309), 상관관계 데이터베이스(311) 등을 포함한다.

이동체(300)는 영상정보 및 센서신호에 근거해 영상 내 건물의 구성요소로 추정되는 특정 영역을 추출하고 특정 영역 간의 거리정보를 생성하는 처리과정뿐만 아니라 상기 추출한 특정 영역의 속성정보를 분석하여 특정 영역을 건물의 구성요소로 확정하는 처리과정과, 상기 확정한 구성요소 간의 포함관계 및 거리정보에 근거해 상관관계 그래프를 생성하고 상관관계 그래프를 기 정의된 상관관계 데이터베이스와 비교하는 처리과정을 자체적으로 수행함으로써 건물을 식별하게 된다.

이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있다.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

100: 자율주행 관리서버 101: 통신부
103: 객체 분석부 105: 객체 인식부
107: 상관관계 데이터베이스(DB) 200: 이동체
201: 카메라 203: 라이더
205: 객체 추출부 207: 통신부

Claims (5)

1. 영상정보 및 센서신호에 근거해 영상 내 건물의 구성요소로 추정되는 특정 영역을 추출하고 특정 영역 간의 거리정보를 생성하는 이동체와,
   상기 이동체로부터 특정 영역 및 특정 영역 간의 거리정보를 수신하여 특정 영역의 속성정보를 분석하고 분석 결과에 따라 특정 영역을 건물의 구성요소로 확정하고, 상기 확정한 구성요소 간의 포함관계 및 거리정보에 근거해 상관관계 그래프를 생성하고, 상기 생성한 상관관계 그래프를 기 정의된 상관관계 데이터베이스와 비교하여 건물을 식별하고, 상기 식별한 건물에 대한 정보를 상기 이동체로 전송하는 자율주행 관리 서버를 포함하는 이동체의 자율 주행 시스템.
2. 주행하는 이동체와 통신하는 서버에서 이동체의 위치를 추정하는 방법에 있어서,
   상기 이동체로부터 영상 내 건물의 구성요소로 추정되는 특정 영역 및 특정 영역 간의 거리정보를 수신하는 단계와,
   상기 수신한 특정 영역의 속성정보를 분석하여 특정 영역을 건물의 구성요소로 확정하는 단계와,
   상기 확정한 구성요소 간의 포함관계 및 거리정보에 근거해 상관관계 그래프를 생성하는 단계와,
   상기 상관관계 그래프를 기 정의된 상관관계 데이터베이스와 비교하여 건물을 식별하는 단계를 포함하는 이동체의 위치 추정 방법.
3. 제2항에 있어서,
   상기 건물의 구성요소는 대문, 지붕, 외벽, 발코니, 창문, 도로명주소 및 담장을 포함하는 것을 특징으로 하는 이동체의 위치 추정 방법.
4. 영상정보 및 센서신호에 근거해 영상 내 건물의 구성요소로 추정되는 특정 영역을 추출하고 특정 영역 간의 거리정보를 생성하는 객체 추출부와,
   상기 추출한 특정 영역의 속성정보를 분석하여 특정 영역을 건물의 구성요소로 확정하는 객체 분석부와,
   상기 확정한 구성요소 간의 포함관계 및 거리정보에 근거해 상관관계 그래프를 생성하고 상기 상관관계 그래프를 기 정의된 상관관계 데이터베이스와 비교하여 건물을 식별하는 객체 인식부를 포함하는 이동체.
5. 제4항에 있어서,
   상기 객체 추출부는 딥러닝 모델을 이용해 영상 내 건물의 구성요소로 추정되는 특정 영역을 추출하는 것을 특징으로 하는 이동체.

Images