KR102048193B1 - 비행시간 기반의 라이다 장치 및 이동체 - Google Patents

Abstract

본 실시예들은 광을 송신하고 수신하여 전기 신호를 출력하고, 상기 전기 신호를 분석하여 제어 신호를 생성하고, 상기 제어 신호를 기반으로 상기 광의 비행시간을 산출하여 핀 포인트 거리를 측정하고, 측정한 거리를 기반으로 생성한 점군 데이터를 처리함으로써, 주변 환경에 관한 정보를 정확하게 구축할 수 있는 비행시간 기반의 라이다 장치 및 이동체를 제공한다.

Description

비행시간 기반의 라이다 장치 및 이동체 {LIDAR Apparatus Based on Time of Flight and Moving Object}

본 실시예가 속하는 기술 분야는 비행시간 기반의 라이다 장치 및 이동체에 관한 것이다.

이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.

비행시간(Time Of Flight) 기반의 라이다(LIght Detection And Ranging, LIDAR)는 광 신호를 쏘고 반사되어 오는 시간을 측정하고, 광의 속도를 이용하여 반사체의 거리를 측정하는 장치이다. 수신된 광 신호는 포토 다이오드를 통하여 전기적인 신호로 변경된다.

본 발명의 실시예들은 광을 송신하고 수신하여 전기 신호를 출력하고, 상기 전기 신호를 분석하여 제어 신호를 생성하고, 상기 제어 신호를 기반으로 상기 광의 비행시간을 산출하여 핀 포인트 거리를 측정하고, 측정한 거리를 기반으로 생성한 점군 데이터를 처리함으로써, 주변 환경에 관한 정보를 구축하는 데 발명의 주된 목적이 있다.

본 발명의 실시예들은 (i) 광원으로부터 출사된 광을 통과시키는 홀을 포함하며 곡면으로 형성된 반사면에 반사된 광선이 모이는 초점을 갖는 제1 거울 및 (ii) 제1 거울의 홀을 통과한 광을 대상체로 반사하고 대상체로부터 반사된 광을 수신하여 제1 거울로 반사하며 수직 방향으로 움직이는 제2 거울을 포함함으로써, 어레이 타입을 사용하지 않으면서 제품의 크기 및 비용을 최소화하고, 고성능으로 핀 포인트를 측정하는 데 발명의 다른 목적이 있다.

본 발명의 실시예들은 반사된 광을 수신하여 전기 신호로 변환하며 샘플링 주기 중에서 검출 시간 동안 전기 신호를 출력함으로써, 출력 신호가 소멸되기까지 대기할 필요가 없고, 불규칙적인 신호 처리 시간을 획일화하여 시스템의 동작을 안정화하고, 시스템의 처리 속도를 향상시키는 데 발명의 다른 목적이 있다.

본 발명의 실시예들은 전기 신호에서 최대 신호 크기를 갖는 신호 지점을 기 설정된 크기를 갖도록 상기 전기 신호를 변환하고, 변환된 전기 신호의 크기를 조절하고, 기 설정된 크기를 갖는 시점을 검출함으로써, 워크에러를 개선하고 비교기만으로도 정확한 시점을 측정하는 데 발명의 다른 목적이 있다.

본 발명의 실시예들은 반사 신호의 펄스 폭을 이용하여 비행시간을 보정함으로써, 정확한 비행시간을 산출하는 데 발명의 다른 목적이 있다.

본 발명의 실시예들은 복수의 오실레이터들에 포함된 논리소자의 위치를 변경하여 복수의 오실레이터들의 클럭 폭을 조절함으로써, 시간 디지털 변환기의 시간 분해능을 향상시키는 데 발명의 다른 목적이 있다.

본 발명의 실시예들은 외부의 클럭 발생기로부터 수신한 기준 클럭의 개수 및 내부의 오실레이터에서 발생한 내부 클럭의 개수의 비율을 이용하여 비행시간을 보정함으로써, 정확한 비행시간을 산출하는 데 발명의 다른 목적이 있다.

본 발명의 실시예들은 사용자의 육안으로 보이지 않지만 인공표식을 인식하는 장치는 인식할 수 있는 인공표식을 제공하고, 라이다 시스템이 그 인공표식을 인식하기 위한 별도의 카메라를 구비할 필요없이 주변을 스캐닝하는 과정에서 스캐닝한 지점들을 분석하여 인공표식을 인식하는 데 발명의 다른 목적이 있다.

본 발명의 실시예들은 스캔 정보를 이용하여 노드에 관한 키 프레임을 생성하고 연속하는 노드 간의 오도메트리 엣지 산출하고 키 프레임을 갱신하여 지역 지도를 추정하고, 갱신한 키 프레임의 집합에 대하여 연속하지 않는 노드 간의 루프 클로저 엣지를 검출하고 오도메트리 엣지 및 루프 클로저 엣지를 기반으로 노드의 위치를 보정하여 전역 지도를 추정함으로써, 일정 조건하에서 일정 시간 내에 넓은 영역을 커버하는 지도를 제공하는 데 발명의 다른 목적이 있다.

본 발명의 실시예들은 주변 환경을 3차원적 공간 정보로 획득하기 위한 다채널 라이다(LiDAR)를 장착한 청소로봇을 소개하고, 이를 이용하여 환경정보를 획득하고 표현하는 다채널 라이다 기반 이동체의 장애물 검출 장치 및 방법, 이를 구비한 이동체를 제공하는 데 발명의 다른 목적이 있다.

본 발명의 실시예들은 획득된 3차원 환경 정보로부터 벽, 장애물(낮은 장애물 포함), 수직 환경들을 구분하는 다채널 라이다 기반 이동체의 장애물 검출 장치 및 방법, 이를 구비한 이동체를 제공하는 데 발명의 다른 목적이 있다.

본 발명의 실시예들은 미리 측정된 환경 장애물 정보를 바탕으로 충돌을 회피하면서 청소로봇의 효율성을 높이는 충돌 경로 회피 알고리즘을 구비한 다채널 라이다 기반 이동체의 장애물 검출 장치 및 방법, 이를 구비한 이동체를 제공하는 데 발명의 다른 목적이 있다.

본 발명의 실시예들은 실내의 각 지점에 대한 정보를 3차원 정보로 획득하여 바닥면의 상태를 결정하고, 이 바닥면의 상태를 기초로 실내에 대한 청소 기능을 제어하는 청소 기능 제어 장치 및 이를 구비하는 청소로봇을 제공하는 데 발명의 다른 목적이 있다.

본 발명의 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 수 있다.

본 실시예의 일 측면에 의하면, 비행시간을 기반으로 대상체로부터의 거리를 측정하는 라이다 장치, 상기 측정한 거리를 기반으로 생성한 점군 데이터를 처리하여 이동 경로를 생성하는 경로 제어기, 및 상기 이동 경로를 기반으로 상기 이동체를 이동하도록 구현된 이동 장치를 포함하는 이동체를 제공한다.

본 실시예의 다른 측면에 의하면, 광을 송신하고 수신하여 전기 신호를 출력하는 광 송수신기, 상기 전기 신호를 분석하여 제어 신호를 생성하는 신호 판별기, 및 상기 제어 신호를 기반으로 상기 광의 비행시간을 산출하여 거리를 측정하는 거리 측정기를 포함하는 라이다 장치를 제공한다.

본 실시예의 다른 측면에 의하면, 광을 출사하는 광원, 상기 출사된 광을 통과시키는 홀을 포함하는 제1 거울, 상기 제1 거울의 상기 홀을 통과한 광을 대상체로 반사하고, 상기 대상체로부터 반사된 광을 수신하여 상기 제1 거울로 반사하는 제2 거울, 및 상기 제2 거울로부터 반사된 광을 수신하여 전기 신호로 변환하는 광 다이오드를 포함하는 광 송수신기를 제공한다.

본 실시예의 다른 측면에 의하면, 시작 제어 신호에 의해 대상체로 광을 출사하고 상기 대상체에 반사된 광을 수신하여 전기 신호로 변환하는 광 송수신기, 상기 전기 신호를 변환하여 정지 제어 신호를 생성하고, 상기 시작 제어 신호 및 상기 정지 제어 신호의 시간차를 기반으로 비행시간을 산출하여 거리를 측정하는 거리 측정기를 포함하며, 상기 광 송수신기는, 광을 출사하는 광원, 상기 출사된 광을 통과시키는 홀을 포함하며, 곡면으로 형성된 반사면에 반사된 광선이 모이는 초점을 갖는 제1 거울, 상기 제1 거울의 상기 홀을 통과한 광을 상기 대상체로 반사하고, 상기 대상체로부터 반사된 광을 수신하여 상기 제1 거울로 반사하는 제2 거울, 상기 제1 거울의 초점에 위치하며 상기 제1 거울로부터 반사된 광을 수신하여 반사시키는 반사체, 상기 반사체로부터 반사된 광을 수신하여 전기 신호로 변환하는 광 다이오드, 및 상기 광원, 상기 제1 거울, 상기 제2 거울, 상기 반사체, 및 상기 광 다이오드를 회전축을 기준으로 회전시키는 회전부를 포함하는 것을 특징으로 하는 라이다 장치를 제공한다.

본 실시예의 다른 측면에 의하면, 이동체에 있어서, 상기 이동체 및 대상체 간의 비행시간을 산출하여 상기 대상체까지의 거리를 측정하는 라이다 장치, 및 상기 대상체까지의 거리를 기반으로 상기 이동체를 이동하도록 구현된 이동 장치를 포함하며, 상기 라이다 장치는, 시작 제어 신호에 의해 대상체로 광을 출사하고 상기 대상체에 반사된 광을 수신하여 전기 신호로 변환하는 광 송수신기, 상기 전기 신호를 변환하여 정지 제어 신호를 생성하고, 상기 시작 제어 신호 및 상기 정지 제어 신호의 시간차를 기반으로 비행시간을 산출하여 거리를 측정하는 거리 측정기를 포함하며, 상기 광 송수신기는, 광을 출사하는 광원, 상기 출사된 광을 통과시키는 홀을 포함하며, 곡면으로 형성된 반사면에 반사된 광선이 모이는 초점을 갖는 제1 거울, 상기 제1 거울의 상기 홀을 통과한 광을 상기 대상체로 반사하고, 상기 대상체로부터 반사된 광을 수신하여 상기 제1 거울로 반사하는 제2 거울, 상기 제1 거울의 초점에 위치하며 상기 제1 거울로부터 반사된 광을 수신하여 반사시키는 반사체, 상기 반사체로부터 반사된 광을 수신하여 전기 신호로 변환하는 광 다이오드, 및 상기 광원, 상기 제1 거울, 상기 제2 거울, 상기 반사체, 및 상기 광 다이오드를 회전축을 기준으로 회전시키는 회전부를 포함하는 것을 특징으로 하는 이동체를 제공한다.

본 실시예의 다른 측면에 의하면, 시작 제어 신호에 의해 대상체로 광을 출사하고 상기 대상체에 반사된 광을 수신하여 전기 신호로 변환하며, 기 설정된 검출 시간 동안 상기 전기 신호를 출력하는 광 송수신기, 상기 전기 신호를 변환하여 정지 제어 신호를 생성하는 신호 판별기, 및 상기 시작 제어 신호 및 상기 정지 제어 신호의 시간차를 기반으로 비행시간을 산출하여 거리를 측정하는 거리 측정기를 포함하는 라이다 장치를 제공한다.

본 실시예의 다른 측면에 의하면, 기 설정된 샘플링 주기에 기반하여 대상체로 광을 출사하는 광원, 상기 대상체에 반사된 광을 수신하여 전기 신호로 변환하는 광 다이오드, 및 상기 샘플링 주기 중에서 상기 검출 시간 동안 상기 전기 신호를 출력하는 신호 변환부를 포함하는 광 송수신기를 제공한다.

본 실시예의 다른 측면에 의하면, 이동체에 있어서, 상기 이동체 및 대상체 간의 비행시간을 산출하여 상기 대상체까지의 거리를 측정하는 라이다 장치, 및 상기 대상체까지의 거리를 기반으로 상기 이동체를 이동하도록 구현된 이동 장치를 포함하며, 상기 라이다 장치는, 시작 제어 신호에 의해 대상체로 광을 출사하고 상기 대상체에 반사된 광을 수신하여 전기 신호로 변환하며, 기 설정된 검출 시간 동안 상기 전기 신호를 출력하는 광 송수신기, 상기 전기 신호를 변환하여 정지 제어 신호를 생성하는 신호 판별기, 및 상기 시작 제어 신호 및 상기 정지 제어 신호의 시간차를 기반으로 비행시간을 산출하여 거리를 측정하는 거리 측정기를 포함하는 것을 특징으로 하는 이동체를 제공한다.

본 실시예의 다른 측면에 의하면, 시작 제어 신호에 의해 대상체로 광을 출사하고 상기 대상체에 반사된 광을 수신하여 전기 신호로 변환하는 광 송수신기, 상기 전기 신호를 변환하고 기 설정된 기준 크기를 갖는 시점을 검출하여 정지 제어 신호를 생성하는 신호 판별기, 및 상기 시작 제어 신호 및 상기 정지 제어 신호의 시간차를 기반으로 비행시간을 산출하여 거리를 측정하는 거리 측정기를 포함하는 라이다 장치를 제공한다.

본 실시예의 다른 측면에 의하면, 상승하고 하강하는 입력 신호에 대해, 최대 신호 크기를 갖는 신호 지점을 기 설정된 크기를 갖도록 상기 입력 신호를 변환하는 제1 변환부, 상기 변환된 입력 신호의 크기를 조절하는 제2 변환부, 및 상기 크기가 조절된 입력 신호로부터 기 설정된 기준 크기를 갖는 적어도 하나의 시점을 검출하여 출력 신호를 생성하는 신호 검출부를 포함하는 신호 판별기를 제공한다.

본 실시예의 다른 측면에 의하면, 이동체에 있어서, 상기 이동체 및 대상체 간의 비행시간을 산출하여 상기 대상체까지의 거리를 측정하는 라이다 장치 및 상기 대상체까지의 거리를 기반으로 상기 이동체를 이동하도록 구현된 이동 장치를 포함하며, 상기 라이다 장치는, 시작 제어 신호에 의해 대상체로 광을 출사하고 상기 대상체에 반사된 광을 수신하여 전기 신호로 변환하는 광 송수신기, 상기 전기 신호를 변환하고 기 설정된 기준 크기를 갖는 시점을 검출하여 정지 제어 신호를 생성하는 신호 판별기, 및 상기 시작 제어 신호 및 상기 정지 제어 신호의 시간차를 기반으로 상기 비행시간을 산출하여 상기 거리를 측정하는 거리 측정기를 포함하는 것을 특징으로 하는 이동체를 제공한다.

본 실시예의 다른 측면에 의하면, 시작 제어 신호에 의해 대상체로 광을 출사하고 상기 대상체에 반사된 광을 수신하여 전기 신호로 변환하는 광 송수신기, 상기 전기 신호를 변환하여 정지 제어 신호를 생성하는 신호 판별기, 및 상기 시작 제어 신호 및 상기 정지 제어 신호의 시간차에 기반하여, 오실레이터에 포함된 논리소자의 위치를 조절한 시간 디지털 변환기를 이용하여 비행시간을 산출하여 거리를 측정하는 거리 측정기를 포함하는 라이다 장치를 제공한다.

본 실시예의 다른 측면에 의하면, 제1 클럭을 발생시키는 느린 오실레이터, 상기 제1 클럭보다 작은 제2 클럭을 발생시키는 빠른 오실레이터, 상기 느린 오실레이터의 상기 제1 클럭을 카운팅하는 보통 카운터, 상기 빠른 오실레이터의 상기 제2 클럭을 카운팅하는 정밀 카운터, 및 상기 제1 클럭 및 상기 제2 클럭이 동기화된 시점을 검출하는 위상 검출기를 포함하는 시간 디지털 변환기를 제공한다.

본 실시예의 다른 측면에 의하면, 이동체에 있어서, 상기 이동체 및 대상체 간의 비행시간을 산출하여 상기 대상체까지의 거리를 측정하는 라이다 장치, 및 상기 대상체까지의 거리를 기반으로 상기 이동체를 이동하도록 구현된 이동 장치를 포함하며, 상기 라이다 장치는, 시작 제어 신호에 의해 대상체로 광을 출사하고 상기 대상체에 반사된 광을 수신하여 전기 신호로 변환하는 광 송수신기, 상기 전기 신호를 변환하여 정지 제어 신호를 생성하는 신호 판별기, 및 상기 시작 제어 신호 및 상기 정지 제어 신호의 시간차에 기반하여, 오실레이터에 포함된 논리소자의 위치를 조절한 시간 디지털 변환기를 이용하여 비행시간을 산출하여 거리를 측정하는 거리 측정기를 포함하는 것을 특징으로 하는 이동체를 제공한다.

본 실시예의 다른 측면에 의하면, 대상체로 광을 출사하고 상기 대상체에 반사된 광을 수신하여 전기 신호로 변환하는 광 송수신기, 상기 광을 출사하고 수신한 시간차를 이용하여 상기 대상체의 지점들의 거리를 측정하는 거리 측정기, 상기 대상체의 지점들에 반사된 광의 광도(Intensity)를 측정하는 광도 측정기, 및 상기 거리 및 상기 광도의 변화를 분석하여 상기 대상체가 인공표식인지 여부를 판단하고, 상기 인공표식에 포함된 비가시적 바코드를 분석하여 디지털 코드를 생성하는 인공표식 검출기를 포함하는 라이다 장치를 제공한다.

본 실시예의 다른 측면에 의하면, 베이스, 및 상기 베이스에 연결되며, 제1 파장 대역의 광을 반사, 흡수, 또는 발광하는 물질로 형성된 코드 시퀀스를 갖는 비가시적 바코드를 포함하며, 상기 코드 시퀀스가 제2 파장 대역의 광을 반사, 흡수, 또는 발광하는 물질에 의해 은닉되어 비가시화된 것을 특징으로 하는 인공표식을 제공한다.

본 실시예의 다른 측면에 의하면, 프로세서에 의해 실행 가능한 컴퓨터 프로그램 명령어들을 포함하는 비일시적(Non-Transitory) 컴퓨터 판독 가능한 매체에 기록되어 인공표식 인식을 위한 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램 명령어들이 컴퓨팅 디바이스의 프로세서에 의해 실행되는 경우에, 대상체로 광을 출사하고 상기 대상체에 반사된 광을 수신한 시간차를 이용하여 상기 대상체의 지점들의 거리를 측정하는 단계, 상기 대상체의 지점들에 반사된 광의 광도(Intensity)를 측정하는 단계, 및 상기 거리 및 상기 광도의 변화를 분석하여 상기 대상체가 인공표식인지 여부를 판단하고, 상기 인공표식에 포함된 비가시적 바코드를 분석하여 디지털 코드를 생성하는 단계를 포함한 동작들을 수행하는 컴퓨터 프로그램을 제공한다.

본 실시예의 다른 측면에 의하면, 이동체에 있어서, 대상체로 광을 출사하고 수신하여 인공표식을 인식하는 라이다 장치, 및 상기 대상체까지의 거리를 기반으로 상기 이동체를 이동하도록 구현된 이동 장치를 포함하며, 상기 라이다 장치는, 상기 대상체로 광을 출사하고 상기 대상체에 반사된 광을 수신하여 전기 신호로 변환하는 광 송수신기, 상기 광을 출사하고 수신한 시간차를 이용하여 상기 대상체의 지점들의 거리를 측정하는 거리 측정기, 상기 대상체의 지점들에 반사된 광의 광도(Intensity)를 측정하는 광도 측정기, 및 상기 거리 및 상기 광도의 변화를 분석하여 상기 대상체가 인공표식인지 여부를 판단하고, 상기 인공표식에 포함된 비가시적 바코드를 분석하여 디지털 코드를 생성하는 인공표식 검출기를 포함하는 것을 특징으로 하는 이동체를 제공한다.

본 실시예의 다른 측면에 의하면, 이동 로봇의 위치 인식 및 지도 작성 방법에 있어서, 상기 이동 로봇이 위치하는 공간의 스캔 정보를 획득하는 단계, 상기 스캔 정보를 이용하여 노드(Node)에 관한 키 프레임(Key Frame)을 생성하고, 연속하는 노드 간의 오도메트리 엣지(Odometry Edge)를 산출하고 상기 키 프레임을 갱신하여 지역 지도(Local Map)를 추정하는 단계, 및 상기 갱신한 키 프레임의 집합에 대하여 연속하지 않는 노드 간의 루프 클로저 엣지(Loop Closure Edge)를 검출하고, 상기 오도메트리 엣지 및 상기 루프 클로저 엣지를 기반으로 상기 노드의 위치를 보정하여 전역 지도(Global Map)를 추정하는 단계를 포함하는 위치 인식 및 지도 작성 방법을 제공한다.

본 실시예의 다른 측면에 의하면, 이동 로봇의 지도 생성기에 있어서, 상기 이동 로봇이 위치하는 공간의 스캔 정보를 획득하는 스캐너, 상기 스캔 정보를 이용하여 노드(Node)에 관한 키 프레임(Key Frame)을 생성하고, 연속하는 노드 간의 오도메트리 엣지(Odometry Edge)를 산출하고 상기 키 프레임을 갱신하여 지역 지도(Local Map)를 추정하는 지역 지도 추정부, 및 상기 갱신한 키 프레임의 집합에 대하여 연속하지 않는 노드 간의 루프 클로저 엣지(Loop Closure Edge)를 검출하고, 상기 오도메트리 엣지 및 상기 루프 클로저 엣지를 기반으로 상기 노드의 위치를 보정하여 전역 지도(Global Map)를 추정하는 전역 지도 추정부를 포함하는 지도 생성기를 제공한다.

본 실시예의 다른 측면에 의하면, 프로세서에 의해 실행 가능한 컴퓨터 프로그램 명령어들을 포함하는 비일시적(Non-Transitory) 컴퓨터 판독 가능한 매체에 기록되어 위치 인식 및 지도 작성을 위한 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램 명령어들이 이동 로봇의 적어도 하나의 프로세서에 의해 실행되는 경우에, 상기 이동 로봇이 위치하는 공간의 스캔 정보를 획득하는 단계, 상기 스캔 정보를 이용하여 노드(Node)에 관한 키 프레임(Key Frame)을 생성하고, 연속하는 노드 간의 오도메트리 엣지(Odometry Edge)를 산출하고 상기 키 프레임을 갱신하여 지역 지도(Local Map)를 추정하는 단계, 및 상기 갱신한 키 프레임의 집합에 대하여 연속하지 않는 노드 간의 루프 클로저 엣지(Loop Closure Edge)를 검출하고, 상기 오도메트리 엣지 및 상기 루프 클로저 엣지를 기반으로 상기 노드의 위치를 보정하여 전역 지도(Global Map)를 추정하는 단계를 포함한 동작들을 수행하는 컴퓨터 프로그램을 제공한다.

본 실시예의 다른 측면에 따른 다채널 라이다 기반 이동체의 장애물 검출 장치는 이동체의 장애물 정보를 포함하는 3차원 환경정보를 검출하기 위하여, 송신신호의 발사각이 상이한 적어도 두 개의 광 송수신기를 구비하는 다채널 라이다부, 상기 적어도 두 개의 광 송수신기의 수신 정보를 기초로 장애물을 3차원 상에서 정의하기 위한 상기 3차원 환경정보를 생성하고, 2차원 공간 지도에 상기 3차원 환경정보가 포함된 투영지도를 생성하는 투영지도 생성부, 및 상기 투영지도를 기반으로 장애물의 공간 상의 위치를 판단하고, 상기 장애물을 회피하여 주행하기 위한 주행 경로를 생성하는 주행경로 생성부를 포함할 수 있다.

본 실시예의 다른 측면에 따른 다채널 라이다 기반 이동체의 장애물 검출 방법은 송신신호의 발사각이 상이한 적어도 두 개의 광 송수신기를 이용하여 이동체 주변의 3차원 환경정보를 획득하는 단계, 상기 광 송수신기의 수신정보를 기초로 장애물을 3차원 상에서 정의하기 위한 상기 3차원 환경정보를 생성하고, 2차원 공간 지도에 상기 3차원 환경정보가 포함된 투영지도를 생성하는 단계, 및 상기 투영지도를 이용하여 2차원 정보 기반의 벽추출 알고리즘으로 벽 정보를 추출하고, 상기 적어도 두 개의 광 송수신기가 획득한 3차원 환경정보를 이용하여 낮은 장애물 정보를 검출하는 주행경로 생성 단계를 포함할 수 있다.

본 실시예의 다른 측면에 의하면, 실내의 각 지점에 대한 정보를 3차원 정보로 획득하는 실내 정보 획득부, 상기 실내의 바닥면과 관련된 제1 지점들에 대한 정보를 기초로 상기 바닥면의 상태를 결정하는 바닥면 상태 결정부, 및 상기 바닥면의 상태를 기초로 상기 실내에 대한 청소 기능을 제어하는 청소 기능 제어부를 포함하는 것을 특징으로 하는 청소 기능 제어 장치를 제공한다.

본 실시예의 다른 측면에 의하면, 실내의 각 지점에 대한 정보를 3차원 정보로 획득하는 실내 정보 획득부, 상기 실내의 바닥면과 관련된 제1 지점들에 대한 정보를 기초로 상기 바닥면의 상태를 결정하는 바닥면 상태 결정부, 상기 바닥면의 상태를 기초로 상기 실내에 대한 청소 기능을 제어하는 청소 기능 제어부, 및 상기 실내에 대한 청소 기능을 수행하는 청소 기능 수행부를 포함하는 것을 특징으로 하는 청소로봇을 제안한다.

이상에서 설명한 바와 같이 본 발명의 실시예들에 의하면, 광을 송신하고 수신하여 전기 신호를 출력하고, 상기 전기 신호를 분석하여 제어 신호를 생성하고, 상기 제어 신호를 기반으로 상기 광의 비행시간을 산출하여 핀 포인트 거리를 측정하고, 측정한 거리를 기반으로 생성한 점군 데이터를 처리함으로써, 주변 환경에 관한 정보를 저비용으로 정확하게 구축할 수 있다.

본 발명의 실시예들에 의하면, (i) 광원으로부터 출사된 광을 통과시키는 홀을 포함하며 곡면으로 형성된 반사면에 반사된 광선이 모이는 초점을 갖는 제1 거울 및 (ii) 제1 거울의 홀을 통과한 광을 대상체로 반사하고 대상체로부터 반사된 광을 수신하여 제1 거울로 반사하며 수직 방향으로 움직이는 제2 거울을 포함함으로써, 어레이 타입을 사용하지 않으면서 제품의 크기 및 비용을 최소화하고, 고성능으로 핀 포인트를 측정할 수 있는 효과가 있다.

본 발명의 실시예들에 의하면, 반사된 광을 수신하여 전기 신호로 변환하며 샘플링 주기 중에서 검출 시간 동안 전기 신호를 출력함으로써, 출력 신호가 소멸되기까지 대기할 필요가 없고, 불규칙적인 신호 처리 시간을 획일화하여 시스템의 동작을 안정화하고, 시스템의 처리 속도를 향상시킬 수 있는 효과가 있다.

본 발명의 실시예들에 의하면, 전기 신호에서 최대 신호 크기를 갖는 신호 지점을 기 설정된 크기를 갖도록 상기 전기 신호를 변환하고, 변환된 전기 신호의 크기를 조절하고, 기 설정된 크기를 갖는 시점을 검출함으로써, 워크에러를 개선하고 비교기만으로도 정확한 시점을 측정할 수 있는 효과가 있다.

본 발명의 실시예들에 의하면, 반사 신호의 펄스 폭을 이용하여 비행시간을 보정함으로써, 정확한 비행시간을 산출할 수 있는 효과가 있다.

본 발명의 실시예들에 의하면, 복수의 오실레이터들에 포함된 논리소자의 위치를 조절하여 복수의 오실레이터들의 클럭 폭을 조절함으로써, 시간 디지털 변환기의 시간 분해능을 향상시킬 수 있는 효과가 있다.

본 발명의 실시예들에 의하면, 외부의 클럭 발생기로부터 수신한 기준 클럭의 개수 및 내부의 오실레이터에서 발생한 내부 클럭의 개수의 비율을 이용하여 비행시간을 보정함으로써, 정확한 비행시간을 산출할 수 있는 효과가 있다.

본 발명의 실시예들에 의하면, 사용자의 육안으로 보이지 않지만 인공표식을 인식하는 장치는 인식할 수 있는 인공표식을 제공하고, 라이다 시스템이 그 인공표식을 인식하기 위한 별도의 카메라를 구비할 필요없이 주변을 스캐닝하는 과정에서 스캐닝한 지점들을 분석하여 인공표식을 인식할 수 있는 효과가 있다.

본 발명의 실시예들에 의하면, 스캔 정보를 이용하여 노드에 관한 키 프레임을 생성하고 연속하는 노드 간의 오도메트리 엣지 산출하고 키 프레임을 갱신하여 지역 지도를 추정하고, 갱신한 키 프레임의 집합에 대하여 연속하지 않는 노드 간의 루프 클로저 엣지를 검출하고 오도메트리 엣지 및 루프 클로저 엣지를 기반으로 노드의 위치를 보정하여 전역 지도를 추정함으로써, 일정 조건하에서 일정 시간 내에 넓은 영역을 커버하는 지도를 작성할 수 있는 효과가 있다.

본 발명의 실시예들에 의하면, 회전 가능하며 다양한 각도로 신호를 송수신할 수 있는 다채널 라이다를 구비하여 이동체 주변환경에 대한 장애물 정보를 3차원 적으로 획득할 수 있어 이동체의 전방 장애물 및 전방 하단의 낮은 높이 장애물도 검출할 수 있는 효과가 있다.

본 발명의 실시예들에 의하면, 다채널 라이다를 통하여 획득한 주변환경에 대한 3차원 정보를 격자지도에 포함하는 투영지도를 생성할 수 있어 낮은 저장용량 및 연산능력으로도 이동체 주변 환경 정보 및 전방 하단의 낮은 높이의 장애물 정보를 충분히 획득할 수 있는 효과가 있다.

본 발명의 실시예들에 의하면, 다채널 라이다를 통하여 이동체의 주변환경에 대한 3차원 정보를 획득하는 경우에도 투영지도를 생성함으로써 기존 2차원 환경정보에 적용하는 기법들을 그대로 적용할 수 있는 효과가 있다.

본 발명의 실시예들에 의하면, 다채널 라이다를 통하여 이동체의 주변환경에 대한 3차원 정보를 획득하는 경우에도 투영지도를 생성함으로써 이동체의 안전과 최대 청소영역을 확보할 수 있는 효과가 있다.

본 발명의 실시예들에 의하면, 바닥면의 상태를 정확하게 검출할 수 있으며, 바닥면에 산재해 있는 낮은 장애물도 감지하는 것이 가능하고, 청소로봇의 슬립(slip)을 정확하게 검출할 수 있고, 청소 및 커버리지 성능을 향상시킬 수 있는 효과가 있다.

여기에서 명시적으로 언급되지 않은 효과라 하더라도, 본 발명의 기술적 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급된다.

도 1 내지 도 3은 본 발명의 실시예들에 따른 이동체에 관한 도면이다.
도 4 및 도 5는 본 발명의 실시예들에 따른 라이다 장치에 관한 도면이다.
도 6 내지 도 15는 본 발명의 실시예들에 따른 라이다 장치의 광 송수신기에 관한 도면이다.
도 16 및 도 17은 본 발명의 실시예들에 따른 이동체가 생성한 점군 데이터에 관한 도면이다.
도 18 내지 도 21은 본 발명의 실시예들에 따른 라이다 장치의 광 송수신기의 신호 변환부에 관한 도면이다.
도 22 내지 도 27은 본 발명의 실시예들에 따른 라이다 장치의 신호 판별기에 관한 도면이다.
도 28 내지 도 34는 본 발명의 실시예들에 따른 라이다 장치의 시간 디지털 변환기에 관한 도면이다.
도 35는 본 발명의 실시예들에 따른 라이다 장치가 비행시간을 보정하는 동작을 설명하기 위한 도면이다.
도 36 내지 도 51은 본 발명의 실시예들에 따른 라이다 장치가 인공표식을 인식하는 동작을 설명하기 위한 도면이다.
도 52는 본 발명의 실시예들에 따른 이동체들이 상호 작용하는 것을 예시한 도면이다.
도 53 내지 도 64는 본 발명의 실시예들에 따른 라이다 장치가 위치를 인식하고 지도를 생성하는 동작을 설명하기 위한 도면이다.
도 65 내지 도 75는 본 발명의 실시예들에 따른 라이다 장치의 경로 제어기에 관한 도면이다.
도 76 내지 도 83은 본 발명의 실시예들에 따른 라이다 장치의 투영지도 생성기에 관한 도면이다.
도 84 내지 도 88은 본 발명의 실시예들에 따른 이동체의 청소부에 관한 도면이다.
도 89 내지 도 96은 본 발명의 실시예들에 따른 이동체가 이동하는 동작을 설명하기 위한 도면이다.
도 97은 본 발명의 실시예들에 따른 이동체가 이동한 경로를 예시적으로 표시한 도면이다.

이하, 본 발명을 설명함에 있어서 관련된 공지기능에 대하여 이 분야의 기술자에게 자명한 사항으로서 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하고, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다.

< 이동체>

도 1 내지 도 3은 본 발명의 실시예들에 따른 이동체에 관한 도면이다.

도 1에 도시한 바와 같이, 이동체(1)는 라이다 장치(10), 이동 장치(20), 및 경로 제어기(30)를 포함한다. 이동체(1)는 도 1에서 예시적으로 도시한 다양한 구성요소들 중에서 일부 구성요소를 생략하거나 다른 구성요소를 추가로 포함할 수 있다. 예컨대, 이동체는 청소부를 추가로 포함할 수 있다.

이동체(1)는 미리 정의된 방식에 따라 특정 위치에서 다른 위치로 이동 가능하도록 설계된 장치를 의미하며, 바퀴, 레일, 보행용 다리 등과 같은 이동 수단을 이용하여, 특정 위치에서 다른 위치로 이동할 수 있다. 이동체(1)는 센서 등을 이용하여 외부의 정보를 수집한 후 수집된 정보에 따라서 이동할 수도 있고, 사용자에 의해 별도의 조작 수단을 이용하여 이동할 수 있다.

이동체(1)의 일례로는 로봇 청소기, 장난감 자동차, 산업용 또는 군사용 목적 등으로 이용 가능한 이동 로봇 등이 있을 수 있으며, 이동체(1)는 바퀴를 이용하여 주행하거나, 하나 이상의 다리를 이용하여 보행하거나, 이들의 조합 등으로 구현될 수 있다.

로봇 청소기는 청소 공간을 주행하면서 바닥에 쌓인 먼지 등의 이물질을 흡입함으로써 청소 공간을 자동으로 청소하는 장치이다. 일반적인 청소기가 사용자에 의한 외력으로 이동하는 것과 달리, 로봇 청소기는 외부의 정보 또는 미리 정의된 이동 패턴을 이용하여 이동하면서 청소 공간을 청소한다.

로봇 청소기는 미리 정의된 패턴을 이용하여 자동적으로 이동하거나, 또는 감지 센서에 의해 외부의 장애물을 감지한 후, 감지된 바에 따라 이동할 수도 있고, 사용자에 의해 조작되는 원격 제어 장치로부터 전달되는 신호에 따라 이동 가능하다.

감지 센서는 라이다(LIDAR)로 구현될 수 있다. 라이다는 레이저 신호를 쏘고 반사되어 돌아오는 시간을 측정하고, 빛의 속도를 이용하여 반사체의 거리를 측정하는 장치이다. 레이저 신호는 포토 다이오드를 통하여 전기적인 신호로 변경된다. 레이저 신호는 기 설정된 파장 대역을 가질 수 있다.

도 2 및 도 3을 참조하면, 이동체 및 대상체 간의 비행시간을 산출하여 상기 대상체까지의 거리를 측정하는 라이다 장치(10)가 본체의 상단부에 위치하고 있으나, 이는 예시일 뿐이며 이에 한정되는 것은 아니고 구현되는 설계에 따라 적합한 위치에서 하나 이상으로 구현될 수 있다.

라이다 장치(10)는 한 쌍의 광원 및 광 다이오드를 이용하여 광을 송수신하며, 이동성 거울 및 회전체를 이용하여 주변을 3차원 스캐닝한다.

라이다 장치(10)는 타임 오브 플라이트(Time of Flight, TOF) 방식으로 동작할 수 있다. 타임 오브 플라이트 방식은 레이저가 펄스 또는 구형파 신호를 방출하여 측정 범위 내에 있는 물체들로부터의 반사 펄스 또는 구형파 신호들이 수신기에 도착하는 시간을 측정함으로써, 측정 대상과 라이다 장치 사이의 거리를 측정한다.

이동 장치(20)는 대상체까지의 거리를 기반으로 주행 경로를 산출하거나 장애물을 검출하여 이동체를 이동시킨다. 이동 장치(20)는 인공표식의 상대 위치를 기반으로 이동체를 이동시킬 수 있다. 이동 장치(20)는 바퀴, 레일, 보행용 다리 등과 같은 이동 수단으로 구현될 수 있다.

<라이다 장치>

도 4 및 도 5는 본 발명의 실시예들에 따른 라이다 장치에 관한 도면이다. 라이다 장치는 이동체에 구현되거나 독립적으로 동작한다. 도 4에 도시한 바와 같이, 라이다 장치(10)는 광 송수신기(100), 신호 판별기(200), 및 거리 측정기(300)를 포함한다. 라이다 장치(10)는 도 4에서 예시적으로 도시한 다양한 구성요소들 중에서 일부 구성요소를 생략하거나 다른 구성요소를 추가로 포함할 수 있다. 예컨대, 라이다 장치(10)는 인터페이스(400)를 추가로 포함할 수 있다.

광 송수신기(100)는 레이저 신호를 송신하고 반사된 신호를 수신한다. 광 송수신기(100)는 시작 제어 신호에 의해 대상체로 광을 출사하고 대상체에 반사된 광을 수신하여 전기 신호로 변환한다. 광 송수신기(100)는 기 설정된 검출 시간 동안 전기 신호를 출력한다.

광 송수신기(100)는 빛을 전류나 전압으로 변환하는데, 광 다이오드의 출력을 버퍼링하고 스케일링하기 위한 회로가 필요하다. 예컨대, 광 다이오드에 트랜스 임피던스 증폭기(Trans Impedance Amplifier, TIA)가 연결될 수 있다. 트랜스 임피던스 증폭기는 광 다이오드의 전류를 증폭하고 전압으로 변환하여 출력한다. 트랜스 임피던스 증폭기는 R-TIA(Resistive Feedback TIA) 및 C-TIA(Capacitive Feedback TIA)로 구분될 수 있다.

광 송수신기(100)는 신호 변환부를 포함할 수 있다. 광 송수신기(100)의 광 다이오드에 신호 변환부가 연결되고, 신호 변환부에 트랜스 임피던스 증폭기가 연결될 수 있다.

광원은 기 설정된 샘플링 주기에 기반하여 대상체로 광을 출사한다. 샘플링 주기는 라이다 장치(10)의 제어부에 의해 설정될 수 있다. 샘플링 주기는 시작 제어 신호에 따라 광 송수신기(100)가 광을 출사하고 반사된 광을 수신하고 광을 전기 신호로 변환하기까지의 시간이다. 광 송수신기(100)는 다음 샘플링 주기에서 이러한 동작들을 반복하여 수행할 수 있다.

광 다이오드는 대상체에 반사된 광을 수신하여 전기 신호로 변환한다. 광 다이오드는 PN 접합 광 다이오드, PIN 광 다이오드, 애벌란시 광 다이오드(Avalanche Photo Diode, APD) 등으로 구현될 수 있다. 광 다이오드는 광캐리어가 소멸할 때까지 전기 신호를 출력한다. 게다가, 출력 신호의 크기가 커질수록 신호가 소멸되기까지 소요되는 시간이 증가한다.

신호 판별기(200)는 전기 신호를 변환하여 정확한 시점을 측정하고 정지 제어 신호를 출력한다. 신호 판별기(200)는 최대 신호 크기를 갖는 신호 지점을 기 설정된 크기를 갖도록 상기 전기 신호를 변환하고, 변환된 전기 신호의 크기를 조절하고, 기 설정된 크기를 갖는 시점을 검출한다. 신호 판별기는 전기 신호를 변환하여 정지 제어 신호를 생성한다.

신호 판별기(200)는 광 다이오드 또는 트랜스 임피던스 증폭기로부터 전기 신호를 수신한다. 수신한 전기 신호, 즉, 입력 신호는 반사된 광에 의해 상승하고 하강하는 형태를 갖는다. 신호 판별기는 입력 신호에 대해 목적하는 시점을 정확하게 측정하여 전기 신호를 출력한다.

신호 판별기(200)는 입력 신호를 미분하거나 입력 신호를 일정 분율 판별(Constant Fraction Discriminator, CFD)을 이용하여 변환한다. 일정 분율 판별은 원 신호를 지연시킨 신호와 일정 크기 비율만큼 조절한 신호가 같아지는 시점이 최대 크기의 일정 비율이 되는 시점을 찾는 방식이다.

신호 판별기(200)는 최대 신호 크기를 갖는 신호 지점을 기 설정된 크기를 갖도록 입력 신호의 기울기를 변환한다. 신호 판별기(200)는 변환된 입력 신호의 크기를 조절한다. 신호 판별기는 변환된 입력 신호의 크기를 N(상기 N은 자연수)차 증폭시킨다. 신호 판별기는 복수의 증폭 과정을 거쳐 신호의 기울기가 수직에 가깝도록 변환한다. 기울기가 크기 때문에, 단순히 비교기만으로 회로를 구현하더라도 정확한 시점을 획득할 수 있다.

거리 측정기(300)는 타임 오브 플라이트 방식으로 시간 및 거리를 측정한다. 거리 측정기(300)는 시작 제어 신호 및 정지 제어 신호의 시간차를 기반으로 비행시간을 산출하여 거리를 측정한다. 거리 측정기(300)는 빛의 속도를 이용하여 시간으로부터 거리를 산출한다.

거리 측정기(300)는 두 시간의 차이를 디지털 값으로 변환하는 하나 이상의 시간 디지털 변환기(310, 312)를 포함할 수 있다. 시간 디지털 변환기의 입력 신호는 동일 신호원의 펄스 형태가 될 수도 있고, 다른 신호원의 에지가 될 수도 있다. 예컨대, 라이다 장치(10)는 시작 제어 신호의 상승 에지 또는 하강 에지, 정지 제어 신호의 상승 에지 또는 하강 에지를 기준으로 시간차를 산출할 수 있다.

인터페이스(400)는 다른 장치(또는 호스트)와 정보를 송수신하는 통신 경로이다. 다른 장치는 인터페이스를 통해 라이다 장치(10)에 접속하여 파라미터를 설정할 수 있다. 라이다 장치(10)는 인터페이스를 통해 측정한 시간 및 거리를 다른 장치로 전송할 수 있다.

<광 송수신기의 구조>

도 6 내지 도 15는 본 발명의 실시예들에 따른 라이다 장치의 광 송수신기에 관한 도면이다.

3차원 거리 측정 시스템은 CCD(Charge Coupled Device) 이미지 센서, CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서, 초음파 센서, 레이저 센서 등 다양한 센서를 이용하여 공간의 거리를 측정한다.

통상의 3차원 거리 측정 시스템은 센서의 중심을 포함한 평면을 스캔하는 2차원 거리 센서를 회전시켜 공간을 스캔한다. 이러한 2차원 거리 센서를 이용한 장치는 비용, 크기, 및 샘플링 레이트를 제한하지 않기 때문에, 연구 목적이 아닌 상용제품으로 생산하는 데 한계가 있다.

2차원 광 다이오드 어레이(Photodiode Array)가 적용된 장치는 구조광(Structure Light) 또는 비행시간(Time of Flight)을 이용하여 거리를 측정한다. 구조광은 고유 패턴을 투사하고 대응점을 검출하여 깊이를 계산하는 방식이고, 비행시간은 시간차 또는 위상차를 측정하여 거리로 변환하는 방식이다. 2차원 광 다이오드 어레이가 적용된 장치는 화각을 넓히기 어렵고, 픽셀마다 갖는 3차원 정보가 많아 핀 포인트 측정이 곤란한 문제가 있다.

1차원 광 다이오드 어레이가 적용된 라이다 장치는 광 다이오드 어레이 및 레이저 다이오드 어레이(또는 레이저 다이오드와 디퓨저)를 포함한다. 광 다이오드 어레이는 실리콘 결정 위에 직선형으로 수백 내지 수천 개의 광 다이오드를 배열한 구조를 갖는다. 1차원 광 다이오드 어레이가 적용된 라이다 장치는 화각을 넓히기 어렵고, 구현에 필요한 고효율의 디퓨저(Diffuser), 센서 어레이, 멤스 거울(Mems Mirror) 등의 모듈들이 고가이므로 상용제품으로 생산하는 데 곤란한 문제가 있다.

이러한 문제를 해결하기 위하여 광 송수신기(100)는 3차원 스캐닝이 가능한 구조로 형성된다.

광 송수신기(100)는 복수의 거울의 각도를 상이하게 설정하여 수평 방향과 지면 방향의 장애물을 동시에 검출할 수 있다. 광 송수신기(100)는 송신 광학부(120) 및 수신 광학부(130)에 거울을 각각 연결하고, 송신 광학부(120) 및 수신 광학부(130)를 회전시켜 전방향으로 장애물을 검출할 수 있다. 예컨대, 스캔라인은 각각 45도와 60도로 설정될 수 있고, 2개 이상으로 구성될 수도 있다.

광 송수신기(100)는, 이동체(200)의 이동방향 전방 상부에 위치하며, 상기 적어도 두 개의 광 송수신기(101, 102)은 각각 수평 하방으로 서로 상이한 송신신호 발사각을 갖도록 탑재될 수 있다. 본 실시예에서 다채널 라이다는 다수의 레이저를 발광 또는 수광하는 광 송수신기를 포함하는 하나의 라이다(LiDAR)를 의미한다.

도 9는 하이 빔(high beam)과 로우 빔(low beam)을 이용하는 2채널 거리 측정기를 탑재하고 있는 이동체(1)의 작동 예시이며, 도 10은 높은 장애물(high obstacle, 2)과 낮은 장애물(low obstacle, 4)을 모두 감지할 수 있는 다채널 라이다 장치(10)를 탑재하고 있는 이동체(1)의 작동 예시이다. 이동체(1)가 2채널 거리 측정기를 이용하는 경우 지면과 수평한 방향으로 어느 하나의 채널(ex. 로우 빔)을 이용하고, 지면과 사선의 방향으로 다른 하나의 채널(ex. 하이 빔)을 이용할 수 있다.

도 11을 참조하면, 광 송수신기(100)는 광원(110), 제1 거울(120), 제2 거울(130), 및 광 다이오드(140)를 포함한다. 광 송수신기(100)는 도 11에서 예시적으로 도시한 다양한 구성요소들 중에서 일부 구성요소를 생략하거나 다른 구성요소를 추가로 포함할 수 있다. 도 12를 참조하면, 광 송수신기(100)는 반사체(150), 회전부(160), 포인트 조절부(112), 기준 각도 조절부(132), 이동 각도 조절부(134), 수직 주파수 조절부(136), 수평 주파수 조절부(162), 또는 이들의 조합을 추가로 포함할 수 있다.

광원(110)은 광을 출사하는 장치이며, 레이저 다이오드(Laser Diode, LD) 등으로 구현될 수 있다. 광원은 나노 초 단위의 레이저 펄스 신호를 발생시킬 수 있다. 레이저 신호는 기 설정된 파장 대역을 가질 수 있다. 광원(110)에는 기 설정된 샘플링 주기에 기반하여 광원이 출사하는 속도를 조절하여 단위시간당 획득하는 점군 데이터 수를 조절하는 포인트 조절부(112)가 연결될 수 있다. 예컨대, 포인트 조절부(112)는 초당 10K 포인트를 획득하도록 광원(110)의 출사 속도를 설정할 수 있다.

제1 거울(120)은 출사된 광을 통과시키는 홀을 포함한다. 즉, 반사면을 관통하는 홀이 형성되어 있다. 광 송수신기(100)는 제1 거울(120)을 통과하도록 광의 이동 경로를 형성함으로써, 광원(110)으로부터 제2 거울(130)까지 광의 직진 경로를 유지하면서 광 송수신기(100)의 크기를 최소화할 수 있다. 제1 거울(120)의 반사면은 광의 일부를 투과하는 투웨이 미러(Two Way Mirror) 또는 하프 미러(Half Mirror)와 같은 광학부품들은 일반적으로 감도를 낮추므로 채용하지 않고, 거울의 중앙 부위에 구멍을 내고 수 mm의 광이 통과시켜 제2 미러(130)로 광의 이동 경로를 형성한다.

제1 거울(120)은 곡면으로 형성되어 제1 거울(120)의 반사면에 반사된 광선이 모이는 초점을 갖는다. 제1 거울(120)의 반사면의 크기는 움직이는 제2 거울(130)의 각도에 따라 반사하는 광의 분포에 기반하여 적절한 크기를 갖는다. 제1 거울(120)은 파라볼릭 반사거울(렌즈와 거울을 하나로 구현한 형태)을 이용하여 집광 및 반사 기능을 수행한다. 즉, 제2 거울(130)을 통해서 다시 반사된 광을 모아서 반사체(150)로 보낸다.

제1 거울(120)의 곡면에 의한 초점에는 반사체(150)가 위치한다. 반사체(150)는 제1 거울(120)로부터 반사된 광을 수신하여 광 다이오드(140)로 광을 반사시킨다. 제1 거울(120)의 곡면에 의한 반사 광선들을 광 다이오드(140)가 직접 수신할 수도 있으나, 반사체(150)를 거치면 제1 거울(120)의 곡면에 의한 반사 광선들이 광 다이오드(140)에 수직 방향으로 이동할 수 있다. 즉, 반사 광선들은 광 다이오드(140)에 입사하기 전에, 평행한 직선 경로 또는 하나의 직선 경로를 형성할 수 있다. 광 다이오드(140)는 제1 거울(120)의 초점을 지나는 가상의 직선 경로 상에 위치한다.

제2 거울(130)는 제1 거울의 홀을 통과한 광을 대상체로 반사하고, 대상체로부터 반사된 광을 수신하여 제1 거울로 반사한다. 제2 거울(130)는 기 설정된 주기로 움직여서 제2 거울의 법선의 기울기를 변화시킨다. 제2 거울(130)은 이동성 거울이며, 휨 운동, 떨림 운동, 왕복 운동, 시소 운동, 회전 운동, 또는 이들의 조합으로 움직일 수 있다. 예컨대, 스윙 거울로 구현될 수 있다.

제2 거울(130)에는 제2 거울(130)이 설치된 각도를 조절하는 기준 각도 조절부(132)가 연결될 수 있다. 예컨대, 기준 각도 조절부(132)는 제2 거울(130)의 법선을 지면의 수평면을 기준으로 -55도로 설정하여, 제2 거울(130)이 45도로 경사지게 설정할 수 있다.

제2 거울(130)에는 제2 거울(130)이 움직이는 각도를 변화시키는 이동 각도 조절부(134)가 연결될 수 있다. 예컨대, 이동 각도 조절부(134)는 제2 거울(130)이 +/- 10도로 스윙하도록 설정할 수 있다.

제2 거울(130)에는 제2 거울(130)이 수직 방향으로 움직이는 주기를 변화시키는 수직 주파수 조절부(136)가 연결될 수 있다. 예컨대, 수직 주파수 조절부(136)는 제2 거울(130)이 200 Hz로 진동(Oscillation)하도록 설정할 수 있다.

광 다이오드(140)는 제2 거울(130) 또는 반사체 등으로부터 반사된 광을 수신하여 전기 신호로 변환하는 장치이다. 광 다이오드(140)는 광자 에너지의 빛이 다이오드를 타격하면 이동전자와 양의 전하 정공이 생겨 전자가 활동하는 원리가 적용될 수 있다. 광 다이오드(140)는 PN 접합 광 다이오드, PIN 광 다이오드, 애벌란시 광 다이오드(Avalanche Photo Diode, APD) 등으로 구현될 수 있다.

광 송수신기(100)는 움직이는 제2 거울(130)을 이용하여 광의 이동 경로 및 각도를 조절하여, 수직 시야각(Vertical Field of View)를 확보함으로써, 기존의 단일렌즈 및 광 다이오드 어레이(Photodiode Array)로 구현된 장치와는 달리 핀 포인트 측정이 가능하다.

광 송수신기(100)는 송신 광학부 및 수신 광학부를 포함할 수 있다. 송신 광학부 및 수신 광학부는 레이저 신호의 경로이고, 경통 구조로 형성될 수 있다. 광 송수신기(100)는 복수의 거울의 각도를 상이하게 설정하여 수평 방향과 지면 방향의 장애물을 동시에 검출할 수 있다. 송신 광학부 및 수신 광학부에 거울을 각각 연결하고, 송신 광학부 및 수신 광학부를 회전시켜 전방향으로 장애물을 검출할 수 있다. 예컨대, 스캔라인은 각각 45도와 60도로 설정될 수 있고, 2개 이상으로 구성될 수도 있다.

광 송수신기(100)는 회전부(160)를 포함할 수 있다. 광 송수신기(100)는 회전부(160)를 통하여 수평 스캐닝(Horizontal Scanning)을 수행한다. 회전부(160)는 광원(110), 제1 거울(120), 제2 거울(130), 및 광 다이오드(140)를 회전축을 기준으로 회전시킨다. 광원(110) 및 광 다이오드(140)는 지지대에 설치되며 지지대에 연결된 모터 등의 구동장치를 동작시킨다.

회전부(160)에는 회전부(160)가 회전하는 속도를 조절하는 수평 주파수 조절부(162)가 연결될 수 있다. 예컨대, 수평 주파수 조절부(162)는 회전부(160) 5 Hz로 회전(Rotation)하도록 설정할 수 있다.

도 13을 참조하면, 광원(110)으로부터 출사된 광은 1)부터 6)까지의 이동 경로를 형성할 수 있다.

1) 광원(110)으로부터 출사된 광은 제1 거울(120)의 홀을 지나 제2 거울(130)로 직선 경로로 이동한다. 광원(110)에서 출사된 광은 시준기(Collimator)를 통하여 콜리메이팅될 수 있다. 시준기(Collimator)는 입사 광선을 평행하게 만든다.

2) 움직이는 제2 거울(130)로부터 반사된 광은 제2 거울(130)의 각도에 따라 대상체(2)로 이동한다.

3) 대상체(2)로부터 반사된 광은 제2 거울(130)로 직선 경로로 이동한다.

4) 움직이는 제2 거울(130)로부터 반사된 광은 제1 거울(120)로 이동한다.

5) 제1 거울(120)에서 모인 광은 반사체(150)로 이동한다.

6) 반사체(150)로부터 반사된 광은 광 다이오드(140)로 직선 경로로 이동한다.

도 13에 도시된 바와 같이, 제1 거울의 홀, 제2 거울, 반사체, 광 다이오드를 배치하여 광의 이동 경로를 조절함으로써, 광원과 광 다이오드를 인접하게 위치시켜, 광 송수신기(100) 및 회전체의 크기를 최소화하고, 회전체(160)의 회전 반경을 최소화할 수 있다.

도 14 및 도 15는 광 송수신기의 이동성 거울의 이동 방식을 예시한 도면이다.

도 14를 참조하면, 이동성 거울인 제2 거울(130)은 자석 및 코일에 의한 전자기력을 이용하여 움직일 수 있다. 거울의 중앙부위에는 부드러운 힌지가 있고 양 끝단에는 영구자석이 위치한다. 반사면의 후면의 끝단(또는 끝단에 가까운 지점)에 코일을 위치시킨다. 코일에 주기적으로 방향을 달리하여 전류를 흘려주면 제2 거울은 흔들리게 된다. 여기에서 자석과 코일에 의해서 생기는 힘은 작기 때문에, 제2 거울(130) 또는 제2 거울(130)의 법선(135)이 높은 주파수로 움직이려면, 힌지가 부드럽게 움직일 수 있는 소재를 사용할 필요가 있다. 힌지의 장력(Tension)이 강할수록, 제2 거울(130)이 적은 힘으로도 움직일 수도 있지만 고주파의 움직임을 만들기 어렵다.

이동성 거울은 멤스(MEMS) 기술을 사용하거나 초음파 모터(Piezo Motor)를 사용할 수도 있고, 가성비를 고려하여 도 7과 같은 구조로 동작하는 것이 바람직하다.

도 14와 같은 구조는 수직 스캐닝 속도(Vertical Scanning Speed)가 낮을 수 있어, 다면체를 모터에 연결하여 회전하는 방식이 적용될 수도 있다. 도 15에서는 이동성 거울인 제2 거울(130)은 다각형 기둥으로 형성되어 회전축을 회전하며 움직일 수 있는 구조가 도시되어 있다. 광 송수신기는 제2 거울(130)의 회전 속도와 광원의 출사 속도의 관계를 조절하여 주기적인 시점마다 반사면의 법선의 기울기를 상이하게 조절할 수 있다.

라이다 장치(10)는 FPGA 등으로 구현된 제어부를 통해 제2 거울의 수직 스캐닝 움직임을 조절한다. 제어부는 주기적으로 +/- 시그널을 송신하여, 제2 거울을 스윙시킨다. 시그널이 주기파형이면, 주기적인 시점에 따라 거울의 각도가 일정하다. 필요에 따라서는 거울의 후면에 PSD 센서를 장착하여 각도를 측정할 수 있다.

라이다 장치(10)는 FPGA 등으로 구현된 제어부를 통해 수평 회전 움직임을 조절한다. 제어부는 회전부의 회전 속도를 제어하고 회전체 내부 또는 외부에 있는 엔코더를 통해서 회전 각도를 측정한다.

제2 거울의 수직 스캐닝 움직임을 조절하는 제어부 및 수평 회전 움직임을 조절하는 제어부는 각각 독립된 모듈로 구현될 수 있다.

거리 측정기(300)는 제2 거울의 수직 스캐닝 움직임을 조절하는 제어부로부터 수직 각도를 수신하고, 수평 회전 움직임을 조절하는 제어부로부터 수평 각도를 수신하여, 수직 각도와 수평 각도를 저장한다.

라이다 장치(10)는 광원에서 출사된 광을 광 다이오드에서 수신하여, 비행기간(ToF)을 산출한다. 라이다 장치(10)는 인터페이스를 통하여 호스트로 수직 각도, 수평 각도, 및 비행시간을 전달한다. 비행기간은 보정 또는 캘리브레이션될 수 있다. 라이다 장치(10)는 수직 각도, 수평 각도, 및 비행시간 중에서 적어도 하나에 대해 노이즈를 제거하는 필터링을 수행한 후 호스트로 데이터를 전송할 수 있다.

<점군 데이터>

도 16 및 도 17은 본 발명의 실시예들에 따른 이동체가 생성한 점군 데이터에 관한 도면이다. 점군 데이터의 위치 단위는 미터이다.

도 13과 같은 구조를 갖는 광 송수신기를 이용하여 획득한 점군 데이터가 도 16에 도시되어 있다. (i) 이동성 거울의 법선을 지면의 수평면을 기준으로 -55도로 설정하여, 이동성 거울이 45도로 경사지게 설정하고, (ii) 회전부를 5 Hz로 회전하도록 설정하고, (iii) 이동성 거울을 +/- 10도 각도로 스윙하며 200 Hz로 진동하도록 설정하고, (iv) 초당 10K 포인트를 획득하도록 광원의 출사 속도 또는 라이다 장치의 샘플링 레이트를 설정하면, 라이다 장치는 도 16에 도시된 3차원의 점군 데이터를 획득할 수 있다.

바닥면을 함께 측정해야만 하는 어플리케이션은 도 17과 같은 점군 데이터를 획득할 수 있다. (i) 이동성 거울의 법선을 지면의 수평면을 기준으로 -55도로 설정하고, (ii) 회전부를 10 Hz로 회전하도록 설정하고, (iii) 이동성 거울을 +/- 10도 각도로 스윙하며 800 Hz로 진동하도록 설정하고, (iv) 초당 10K 포인트를 획득하도록 광원의 출사 속도 또는 라이다 장치의 샘플링 레이트를 설정하고, (v) 광 송수신기의 높이를 0.1 미터로 설정하면, 라이다 장치는 도 17에 도시된 3차원의 점군 데이터를 획득할 수 있다.

포인트 조절부(112), 기준 각도 조절부(132), 이동 각도 조절부(134), 수직 주파수 조절부(136), 및 수평 주파수 조절부(162)가 설정하는 수치는 구현되는 설계에 따라 적합한 수치가 사용될 수 있다.

<광 송수신기의 신호 변환부>

도 18 내지 도 21은 본 발명의 실시예들에 따른 라이다 장치의 광 송수신기의 신호 변환부에 관한 도면이다.

포토 다이오드에서 출력된 전기적인 신호는 포토 다이오드의 회로 특성에 따라 노이즈를 포함할 뿐만 아니라, 신호의 크기가 다양하고, 신호 출력 시간이 획일화되어 있지 않다.

레이다는 반사된 레이저 신호가 포토 다이오드를 통과한 이후에도 포토 다이오드의 광캐리어가 소멸할 때까지 대기해야 하는 문제가 있다. 도 18에서는 포토 다이오드에서 출력된 전기적인 신호를 예시되어 있다. 도 18에 도시된 바와 같이, 포토 다이오드에서 출력된 전기적인 신호는 신호가 소멸되기까지 상당한 시간이 요구된다. 특히, 출력 신호의 크기가 커질수록 신호가 소멸되기까지 소요되는 시간이 증가하는 문제가 있다.

광 송수신기(100)는 이동체 또는 라이다 장치에 구현되거나 독립적으로 동작한다.

도 19는 광 송수신기를 예시한 블록도이고, 도 20은 광 송수신기를 예시한 회로도이고, 도 21은 광 송수신기가 출력한 신호를 예시한 도면이다.

도 19에 도시한 바와 같이, 광 송수신기(100)는 광원(110), 광 다이오드(140), 및 신호 변환부(150)를 포함한다. 광 송수신기(100)는 도 19에서 예시적으로 도시한 다양한 구성요소들 중에서 일부 구성요소를 생략하거나 다른 구성요소를 추가로 포함할 수 있다. 예컨대, 신호 변환부(150)에 트랜스 임피던스 증폭기가 연결될 수 있다.

광원(110)은 기 설정된 샘플링 주기에 기반하여 대상체로 광을 출사한다. 샘플링 주기는 라이다 장치(10)의 제어부에 의해 설정될 수 있다. 샘플링 주기는 시작 제어 신호에 따라 광 송수신기(100)가 광을 출사하고 반사된 광을 수신하고 광을 전기 신호로 변환하기까지의 시간이다. 광 송수신기(100)는 다음 샘플링 주기에서 이러한 동작들을 반복하여 수행할 수 있다.

광 다이오드(140)는 대상체에 반사된 광을 수신하여 전기 신호로 변환한다. 광 다이오드(140)는 PN 접합 광 다이오드, PIN 광 다이오드, 애벌란시 광 다이오드(Avalanche Photo Diode, APD) 등으로 구현될 수 있다. 도 1에 도시된 바와 같이, 광 다이오드(140)는 광캐리어가 소멸할 때까지 전기 신호를 출력한다. 게다가, 출력 신호의 크기가 커질수록 신호가 소멸되기까지 소요되는 시간이 증가한다.

신호 변환부(150)는 출력 신호의 소멸 시간에 제한되지 않도록, 샘플링 주기 중에서 검출 시간 동안 상기 전기 신호를 출력한다. 도 8을 참조하면, 신호 변환부(150)는 저항(151), 스위치(152), 및 커패시터(153)를 포함할 수 있다.

저항(151)은 광 다이오드(140)에 연결된다. 저항(151)의 일단은 광 다이오드(140)에 연결되고 저항(151)의 타단은 접지에 연결된다. 저항(151)은 광 다이오드(140)의 양극 또는 음극에 연결될 수 있다.

저항 값이 작으면 광이 광 다이오드(140)를 통과하는 시간과 유사한 시간 동안 파형이 0아닌 값을 갖지만 출력 신호의 크기가 작은 문제가 있다. 따라서, 저항(151)에 대해 기 설정된 값보다 큰 값을 갖는 저항을 사용하여 전기 신호의 크기를 증폭시킬 필요가 있다. 이러한 경우 도 1에 도시된 바와 같이 신호의 뒤끌림 현상이 발생하게 된다.

신호의 뒤끌림 현상을 해결하기 위해 스위치(152)를 통하여 전기 신호의 전달 경로를 변경한다. 광 송수신기(100)는 전기 신호의 크기가 감소하는 영역의 일부가 제거된 신호를 출력할 수 있다. 전기 신호의 후단을 제거하더라도, 라이다 장치(10)는 거리를 측정할 수 있다. 신호 판별기(200)가 전기 신호의 종료 시점을 검출하지 않고, 전기 신호의 시작 시점 및 최대 크기 시점을 검출하여 상승 에지 및 하강 에지를 출력하기 때문이다.

스위치(152)는 저항(151)에 병렬로 연결되어 전기 신호의 전달 경로를 변경한다. 예컨대, 스위치(152)는 트랜지스터 등으로 구현될 수 있다.

도 21을 참조하면, 스위치(152)는 (i) 샘플링 주기(T_s) 중에서 검출 시간(T_d) 동안 전기 신호를 제1 경로로 전달하고, (ii) 샘플링 주기(T_s) 중에서 차단 시간(T_c) 동안 전기 신호를 제2 경로로 전달한다. 제1 경로는 신호가 커패시터(153)를 통해 전달되는 경로이고, 제2 경로는 신호가 스위치(152)를 통해 접지로 전달되는 경로이다.

본 실시예들은 광 다이오드(140)에서 출력된 전기 신호가 뒤끌림 현상에 의해 신호 소멸 시간(T1, T2, T3)이 소요되더라도, 신호가 소멸될 때까지 대기할 필요없이 샘플링 주기에 따라 신호를 처리할 수 있다.

라이다 장치(10)는 샘플링 주기를 조절하고, 샘플링 주기에 따라 적절한 검출 시간을 산출하여 설정하고, 스위치(152)의 온오프 동작을 제어한다. 라이다 장치(10)의 제어부는 샘플링 주기, 검출 시간, 차단 시간, 출사한 광의 파형, 광원의 온오프 시간 간격, 시작 제어 신호의 펄스 폭, 정지 제어 신호의 펄스 폭, 광 송수신기의 회전 속도, 신호 판별기 및 시간 산출기의 신호 처리 및 대기 시간 등을 참조하여 스위치의 온오프 동작을 제어할 수 있다.

커패시터(153)는 광 다이오드(140) 및 저항(151)이 연결된 지점에 연결되어 전기 신호를 출력한다. 커패시터(153)는 전기 신호의 DC성분을 제거하는 기능을 한다. 커패시터(153)의 후단에는 비반전 증폭기 회로가 연결될 수 있다.

<신호 판별기>

도 22 내지 도 27은 본 발명의 실시예들에 따른 라이다 장치의 신호 판별기에 관한 도면이다.

라이다에서 반사 신호의 피크 시점을 산출하는 방식으로 신호를 변환하여 제로를 검출하는 방식이 있다. 현실적으로 반사 신호에는 노이즈가 포함되어 있어, 신호 크기가 제로가 되는 시점을 목표 시점으로 사용할 수 없다. 제로 크로싱 검출기를 추가로 구현해야 한다.

라이다에서 반사 신호의 시점을 산출하는 방식으로 하나의 문턱치를 사용하는 방식이 있다. 이러한 방식은 반사된 광량에 따라 신호의 형태가 다르기 때문에, 정확한 시점을 산출하기 어려운 문제가 있다. 즉, 워크에러(Walk Error)가 발생한다. 도 22를 참조하면, 신호의 형태에 따라 상이한 시점(T₁, T₂)이 산출됨을 쉽게 파악할 수 있다.

라이다에서 반사 신호의 시점을 산출하는 방식으로 복수의 문턱치를 사용하는 방식이 있으나, 이러한 방식은 출력 신호를 피드백하고 신호를 지연시키기 때문에 회로 복잡도가 증가하는 문제가 있다.

도 23은 신호 판별기를 예시한 블록도이다.

도 23에 도시한 바와 같이, 신호 판별기(200)는 제1 변환부(210), 제2 변환부(220), 및 신호 검출부(230)를 포함한다. 신호 판별기(200)는 도 7에서 예시적으로 도시한 다양한 구성요소들 중에서 일부 구성요소를 생략하거나 다른 구성요소를 추가로 포함할 수 있다.

신호 판별기(200)는 광 다이오드(140) 또는 트랜스 임피던스 증폭기로부터 전기 신호를 수신한다. 수신한 전기 신호, 즉, 입력 신호는 반사된 광에 의해 상승하고 하강하는 형태를 갖는다. 신호 판별기(200)는 입력 신호에 대해 목적하는 시점을 정확하게 측정하여 전기 신호를 출력한다.

도 24를 참조하면, 입력 신호의 형태에 따라 입력 신호는 전단 시점(T_front), 설정된 임계치와 만나는 목표 시점(T₁, T₂), 피크 시점(T_max)을 갖는다. 신호 판별기(200)는 전단 시점(T_front) 및 피크 시점(T_max)에 가장 근접한 시점을 검출하기 위해 2단계 변환 과정을 수행한다.

제1 변환부(210)는 최대 신호 크기를 갖는 신호 지점을 기 설정된 크기를 갖도록 입력 신호를 변환한다. 제1 변환부(210)는 최대 신호 크기를 갖는 신호 지점의 크기가 제로가 되도록 변환한다. 예컨대, 제1 변환부(210)는 입력 신호를 미분하거나 입력 신호를 일정 분율 판별(Constant Fraction Discriminator, CFD)을 이용하여 변환한다. 일정 분율 판별은 원 신호를 지연시킨 신호와 일정 크기 비율만큼 조절한 신호가 같아지는 시점이 최대 크기의 일정 비율이 되는 시점을 찾는 방식이다.

도 25에서는 입력 신호를 시간에 대하여 미분한 신호가 도시되어 있다. 도 25를 참조하면, 변환한 신호는 전단 시점(T_front), 설정된 임계치와 만나는 상승 시점(T_rising1, T_rising2), 설정된 임계치와 만나는 하강 시점(T_falling1, T_falling2), 후단 시점(T_end)을 갖는다. 후단 시점(T_end)은 변환 전의 신호의 피크 시점(T_max)과 동일한 시점이다. 도 25에 도시된 바와 같이, 제1 변환부(210)가 최대 신호 크기를 갖는 신호 지점을 기 설정된 크기를 갖도록 입력 신호의 기울기를 변환하면, 상승 시점(T_rising1, T_rising2)은 전단 시점(T_front)에 가까워지고 하강 시점(T_falling1, T_falling2)은 후단 시점(T_end)에 가까워진다.

신호를 미분하거나 일정 분율 판별 방식을 신호에 적용하면, 지터가 심하고 최대 신호 진폭과 최소 신호 진폭의 비인 다이나믹 레인지가 좁게 될 수 있다. 미분 방식은 RC회로로 구현되기 때문에, 거리 변화에 따른 신호의 주파수 특성이 변화하여 시간 오차를 발생시킨다. 일정 분율 판별 방식은 신호의 기울기가 다르기 때문에, 비교기의 커패시터의 충전 시간이 다르게 되고 비교기의 응답시간이 달라져서 시간 오차를 발생시킨다. 따라서, 변환한 신호를 다시 변환할 필요가 있다.

제2 변환부(220)는 변환된 입력 신호의 크기를 조절한다. 제2 변환부는 변환된 입력 신호의 크기를 N(상기 N은 자연수)차 증폭시킨다.

도 26에서는 기울기가 변환된 입력 신호의 크기를 증폭한 신호가 도시되어 있다. 도 26에 도시된 바와 같이, 제2 변환부(220)가 기울기가 변환된 신호의 크기를 증폭하면, 기울기가 수직에 가까워져서, 상승 시점(T_rising1, T_rising2)은 전단 시점(T_front)에 더욱 가까워지고 하강 시점(T_falling1, T_falling2)은 후단 시점(T_end)에 더욱 가까워진다.

본 실시예는 2단계 변환 과정으로 인하여, 노이즈가 포함된 신호에 대해 단순히 임계치와 비교하는 회로를 구현하더라도 전단 시점(T_front) 및 후단 시점(T_end)을 정확하게 획득할 수 있다.

신호 검출부(230)는 크기가 조절된 입력 신호로부터 기 설정된 기준 크기를 갖는 적어도 하나의 시점을 검출하여 출력 신호를 생성한다. 신호 검출부(230)는 크기가 조절된 입력 신호로부터 하나의 임계치를 기준으로 상승 에지 및 하강 에지를 출력한다. 정지 제어 신호는 상승 에지에 매칭하는 펄스이거나 하강 에지에 매칭하는 펄스이거나 상승 에지 및 하강 에지에 모두 매칭하는 펄스일 수 있다.

라이다 장치(10)는 상승 에지 및 하강 에지에 따른 펄스 폭을 이용하여 비행시간을 보정한다.

<시간 디지털 변환기>

도 27 내지 도 34는 본 발명의 실시예들에 따른 라이다 장치의 시간 디지털 변환기에 관한 도면이다.

비행시간을 측정하는 방식으로는 위상 편차(Phase Shifting) 방식, 등가시간 샘플링(Equivalent Time Sampling) 방식, 고해상도의 클럭을 이용한 직접 측정 방식, 및 복수의 지연 소자를 이용하는 시간 측정 방식 등이 있다.

위상 편차 방식은 송신부에서 사인파를 지속적으로 송신하고 수신부에서 위상 편차를 이용하여 비행시간을 측정한다. 이러한 방식은 사인파의 주기에 따라 샘플링율이 제한되는 문제가 있고, 크로스토크에 의해 잘못된 비행시간을 산출하는 문제가 있다.

등가시간 샘플링 방식은 오실로스코프에 적용된 방식으로 시간차를 두고 신호를 반복적으로 읽어 전체 신호를 재구성하는 방식이다. 이러한 방식은 샘플링율이 낮기 때문에 고속으로 이동하는 장애물을 감지하거나 이동체에 사용하는 데 제한된다.

고해상도의 클럭을 이용한 직접 측정 방식은 수 GHz로 동작하는 클럭을 이용하여 비행시간을 측정한다. 이러한 방식은 물리적으로 클럭 속도를 충분히 상승시킬 수 없기 때문에 시간 분해능을 향상시키는 데 한계가 있다.

복수의 지연 소자를 이용하는 시간 측정 방식은 시간 디지털 변환기(Time to Digital Converter, TDC)를 이용하여 시간차를 산출한다. 도 27에서는 기존의 시간 디지털 변환기가 도시되어 있고, 도 28에서는 기존의 시간 디지털 변환기의 신호가 예시되어 있다.

도 27에서 버퍼는 수 십 내지 수 백 피코초(ps)의 시간 지연을 갖는다. 정지 신호를 이용하여 플립플롭을 동작시키면, 시간 지연은 도 28에서 1의 값을 갖는 플립플롭의 개수와 동일하게 된다. 즉, 지연 시간의 합계는 비행시간과 동일한 값을 갖는다. 이러한 방식은 버퍼를 통한 시간 지연에 의존적이고, FPGA 특성상 선형적인 시간 분해능을 가질 수 없는 문제가 있다. 게다가 대량의 지연 라인을 FPGA에 순차적으로 위치시켜야 하므로, FPGA에서 구현하기 위한 공간 및 소자의 개수가 제한되는 문제가 있다.

도 29는 시간 디지털 변환기가 시간을 측정하는 동작을 설명하기 위한 도면이고, 도 30은 시간 디지털 변환기를 예시한 블록도이고, 도 31은 시간 디지털 변환기의 링 오실레이터를 예시한 블록도이다.

거리 측정기(300)는 시간 디지털 변환기를 이용하여 두 시간의 차이를 디지털 값으로 변환한다.

시간 디지털 변환기는 시간 정보를 디지털 코드로 변환하는 장치이다. 시간 디지털 변환기는 두 입력 신호 사이의 시간 차이에 대응하는 디지털 코드를 생성한다.

시간 디지털 변환기의 입력 신호는 동일 신호원의 펄스 형태가 될 수도 있고, 다른 신호원의 에지가 될 수도 있다. 예컨대, 라이다 장치(10)는 시작 제어 신호의 상승 에지 또는 하강 에지, 정지 제어 신호의 상승 에지 또는 하강 에지를 기준으로 시간차를 산출할 수 있다.

도 29를 참조하면, 시간 디지털 변환기는 (i) 보통 카운터(Coarse Counter) 및 정밀 카운터(Fine Counter)가 카운팅한 개수(N₁, N₂)와 (ii) 보통 카운터의 큰 클럭과 정밀 카운터의 작은 클럭을 이용하여 시간을 측정한다. 보통 카운터의 큰 클럭 및 정밀 카운터의 작은 클럭 간의 시간차가 시간 디지털 변환기의 시간 분해능을 결정한다.

도 30을 참조하면, 시간 디지털 변환기는 느린 오실레이터(510), 빠른 오실레이터(520), 보통 카운터(530), 정밀 카운터(540), 및 위상 검출기(550)를 포함한다.

느린 오실레이터(510)는 시작 제어 신호에 의해 제1 클럭을 발생시킨다. 빠른 오실레이터(520)는 정지 제어 신호에 의해 제1 클럭보다 작은 제2 클럭을 발생시킨다. 즉, 느린 오실레이터(510)는 큰 클럭을 발생시키고, 빠른 오실레이터(520)는 작은 클럭을 발생시킨다.

보통 카운터(530)는 느린 오실레이터(510)에 연결되어 느린 오실레이터(510)의 제1 클럭을 카운팅한다. 정밀 카운터(540)는 빠른 오실레이터(520)에 연결되어 빠른 오실레이터(520)의 제2 클럭을 카운팅한다.

위상 검출기(550)는 느린 오실레이터(510) 및 빠른 오실레이터(520)에 연결되고, 보통 카운터(530) 및 정밀 카운터(540)에 연결되어, 제1 클럭 및 제2 클럭이 동기화된 시점을 검출한다.

느린 오실레이터(510) 및 빠른 오실레이터(520)는 링 오실레이터(Ring Oscillator)로 구현될 수 있다. 링 오실레이터는 인버터 및/또는 버퍼를 루프순환 형태로 직렬 연결시킨 발진기이다. 느린 오실레이터(510) 및 빠른 오실레이터(520)는 시간 지연 소자 및 버퍼로 구성될 수 있다. 시간 지연 소자는 인버터를 이용한 디지털 소자 또는 전류원을 이용한 아날로그 소자 등으로 구현될 수 있다.

도 31에서는 세 개의 인버터가 순차적으로 연결된 링 오실레이터가 예시되어 있으나 이는 예시일 뿐이며 이에 한정되는 것은 아니고 구현되는 설계에 따라 적합한 논리소자들의 조합이 사용될 수 있다.

기존의 느린 오실레이터 및 빠른 오실레이터는 버퍼의 개수를 조절하여 클럭 폭을 조절한다. 기존의 시간 디지털 변환기는 버퍼 자체의 신호 지연 시간으로 인하여, 80 피코 초(ps) 정도의 분해능을 갖는다.

본 실시예들은 회로 상에서 느린 오실레이터(510)의 논리소자들의 위치 및 신호 경로를 변경하여 느린 오실레이터(510)의 클럭 폭을 조절할 수 있다. 빠른 오실레이터(520)의 논리소자들의 위치 및 신호 경로를 변경하여 빠른 오실레이터(520)의 클럭 폭을 조절할 수 있다. 즉, 느린 오실레이터(510)를 더 빠르게 동작하도록 변경하고, 빠른 오실레이터(520)를 더 느리게 변경할 수 있다. FPGA 툴의 수동 게이트 위치(Manual Gate Location) 조절 기능을 이용하여 직접적으로 각 게이트의 위치 및 라우팅 경로를 조절할 수 있다. 느린 오실레이터(510) 및 빠른 오실레이터(520)는 동일한 논리소자들로 조합될 수 있다.

본 실시예는 느린 오실레이터 및 빠른 오실레이터를 회로 상에서 게이트들의 위치 및 신호의 라우팅 경로를 변경함으로써, 느린 오실레이터의 클럭 폭 및 빠른 오실레이터의 클럭 폭의 차이, 즉, 시간 분해능을 향상시킬 수 있다. 본 실시예에 따른 시간 디지털 변환기는 10 피코 초(ps) 정도의 분해능을 갖는다.

도 32는 두 개의 정지 제어 신호에 기반한 시간 디지털 변환기를 예시한 블록도이고, 도 33은 시간 디지털 변환기를 FPGA에서 예시적 구현한 것이다.

신호 판별기(200)는 제1 신호 및 제2 신호를 출력할 수 있다. 예컨대, 제1 신호는 상승 에지에 따른 정지 제어 신호이고, 제2 신호는 하강 에지에 따른 정지 제어 신호일 수 있다.

도 32를 참조하면, 시간 디지털 변환기는 시작 제어 신호 및 제1 신호에 기반하여 제1 시간차를 산출한다. 시간 디지털 변환기는 시작 제어 신호 및 제2 신호에 기반하여 제2 시간차를 산출한다. 본 실시예는 상승 에지와 하강 에지를 함께 처리하기 때문에, 느린 오실레이터 또는 빠른 오실레이터를 공유하여 설계할 수 있다. 즉, 회로 상에서 느린 오실레이터를 공유하거나 빠른 오실레이터를 공유하여 제1 시간차 및 제2 시간차를 산출할 수 있다. 위상 검출기(552, 554)는 공유된 느린 오실레이터 또는 공유된 빠른 오실레이터로부터 기 설정된 거리보다 가깝게 위치함으로써, 시간 분해능을 향상시킬 수 있다.

도 33에서는 느린 오실레이터를 공유한 시간 디지털 변환기가 예시되어 있으며, 상승 에지 및 하강 에지를 처리하기 위하여 FPGA 블록에 3 개의 링 오실레이터들, 2 개의 위상 검출기들, 및 4 개의 카운터들을 구성하는 게이트들을 연결하여 배치한 예가 도시되어 있다.

<비행시간 보정>

도 34는 본 발명의 다른 실시예에 따른 라이다 장치를 예시한 블록도이다.

FPGA의 온도 및 인가 전압에 따라 각 게이트의 시간 지연은 차이가 발생하게 된다. 온도 및 인가 전압으로 인하여 링 오실레이터의 주파수가 변경되고, 분해능에 미세한 편차가 발생한다. 이러한 편차는 비행시간의 오차를 유발한다.

비행시간의 오차를 모니터링하고 보정하기 위하여, 거리 측정기는 외부의 클럭 발생기(30)로부터 수신한 기준 클럭을 카운팅하고, 내부의 오실레이터에서 발생한 내부 클럭을 카운팅하는 기준 클럭 카운터(320)를 포함한다.

클럭 발생기(30)는 고정밀 크리스탈 발진기로 구현될 수 있다. 고정밀 크리스탈 발진기는 생성한 클럭을 기준 클럭 카운터(320)로 전달한다. 기준 클럭 카운터(320)는 매 x 회 클럭 입력이 들어오면, 링 오실레이터를 통하여 산출된 클럭의 개수를 내부 버퍼에 저장한다. 라이다 장치(10)는 주기적으로 저장된 클록의 개수를 읽고 비행시간을 보정한다. 비행시간을 보정하는 알고리즘은 다음과 같다.

거리 측정기는 기준 클럭의 개수 및 내부 클럭의 개수의 비율을 이용하여 비행시간을 보정한다. ticks_per_x_crystal_clock은 실시간으로 계산되며, 구현 제품의 출하 직전에 수행되는 캘리브레이션 단계에서 저장된다. 저장된 기준 클럭의 개수 및 내부 클럭의 개수의 비율을 이용하여 비행시간을 보정하는 것은 수학식 1과 같이 표현된다.

보정 팩터 α는 ticks_per_x_crystal_clock_runtime를 ticks_per_x_crystal_clock_stored_during_calibration_process으로 나눈 값이다.

도 13을 참조하면, 라이다 장치(10)는 복수의 시간 디지털 변환기(310, 312)를 포함하며, 기준 클럭 카운터(320)는 복수의 시간 디지털 변환기(310, 312) 사이에 위치한다. 기준 클럭을 발생시키는 클럭 발생기(30)는 이동체(1)에 포함될 수 있다. 기준 클럭 카운터(320)가 시간 디지털 변환기와 접촉하거나 기 설정된 거리 내에 위치하기 때문에, 시간 디지털 변환기에 사용되는 오실레이터와 거의 같은 온도 및 전압 특정을 갖게 된다. 내부 클럭도 온도 및 전압에 따라 변한다. 본 실시예는 내부 클럭을 분주해서 사용하지 않기 때문에 높은 정확도를 유지할 수 있는 효과가 있다.

도 35는 본 발명의 다른 실시예에 따른 라이다 장치가 시간을 보정하는 동작을 설명하기 위한 도면이다.

라이다 장치(10)가 신호의 기울기를 변환하는 과정에서 RC회로로 구현된 미분 방식을 적용하면, 거리 변화에 따른 신호의 주파수 특성이 변화하여 시간 오차를 발생한다. 신호의 기울기를 변환하는 과정에서 일정 분율 판별 방식을 적용하면, 신호의 기울기가 달라서 비교기의 커패시터의 충전 시간이 다르게 되고 비교기의 응답시간이 달라져서 시간 오차를 발생시킨다. 따라서, 라이다 장치(10)는 시간 오차를 보정하는 과정을 수행한다.

거리 측정기(300)는 정지 제어 신호의 펄스 폭을 이용하여 비행시간을 보정한다. 일반적인 광 다이오드의 출력 신호는 펄스 폭의 변화가 심하기 때문에, 펄스 폭 대 워크에러가 1 대 N으로 매칭하여 가까운 영역이 아니면 사용하기 곤란한 문제가 있다. 본 실시예는 신호를 변환하는 과정을 거쳤기 때문에, 펄스 폭 대 워크에러 간의 관계를 간단하게 모델링할 수 있다.

거리 측정기(300)는 워크에러 및 펄스 폭 간의 함수를 모델링하고, 보정 팩터를 미리 측정한다. 펄스폭에 따른 보정 팩터는 도 14에 도시되어 있다. 도 14에 도시된 바와 같이, 거리 측정기(300)는 펄스 폭에 반비례하는 보정 팩터를 적용하여 비행시간을 보정한다. 반사 신호의 세기가 약하여 펄스 폭이 좁아지면 워크에러가 커지므로, 거리 측정기(300)는 보정 팩터를 크게 설정한다. 반사 신호의 세기가 강하여 펄스 폭이 넓어지면 워크에러가 작아지므로, 거리 측정기(300)는 보정 팩터를 작게 설정한다.

비행시간에 관한 관계식은 수학식 2와 같이 표현된다.

수학식 2에서 t_tof는 보정된 비행시간이고, t_falling는 보정 전의 비행시간이다. 비행시간은 정지 제어 신호 및 시작 제어 신호 간의 시간차이다. 라이다 장치는 시작 제어 신호의 상승 에지 또는 하강 에지, 정지 제어 신호의 상승 에지 또는 하강 에지를 기준으로 시간차를 산출할 수 있다. f_comp는 펄스 폭 대 워크에러의 함수이고, t_pulse는 신호의 펄스 폭이다. 라이다 장치는 정지 제어 신호의 상승 에지 또는 하강 에지를 기준으로 펄스 폭을 산출할 수 있다.

<인공표식 인식>

도 36 내지 도 51은 본 발명의 실시예들에 따른 라이다 장치가 인공표식을 인식하는 동작을 설명하기 위한 도면이다.

공간을 이동하는 이동체가 자신 또는 다른 물체의 위치를 파악하거나 다른 물체를 인식하기 위하여 표식(Lankmark)을 이용한다. 표식은 자연표식과 인공표식으로 구분된다. 자연표식을 이용하는 방식은 공간에 위치하는 구조물, 천장, 벽의 경계면 등으로부터 특정 성분을 추출하는 방식이고, 인공표식을 이용하는 방식은 특정 의미를 갖는 패턴 또는 태그를 공간이나 다른 물체에 부착시켜 카메라 등으로 인공표식을 인식하는 방식이다.

자연표식과 달리 인공표식은 다양한 문제가 있다. 일반 사용자 입장에서 미관상 거부감을 유발한다. 직접적인 빛의 반사, 어두운 환경, 또는 원거리에서는 오차가 크기 때문에, 인공표식의 인식률을 높이기 위해 인공표식은 일정한 크기 이상으로 제작되어야 하다. 공간과 어울리지 않는 형상 때문에, 외관을 중시하는 공간에서는 부착이 가능한 위치가 제한된다. 생산자 입장에서 인공표식 인식을 위한 별도의 카메라를 사용해야 한다.

도 38은 인공표식 검출기를 예시한 블록도이다.

도 38에 도시한 바와 같이, 라이다 장치(10)는 광 송수신기(100), 신호 판별기(200), 거리 측정기(300), 광도 측정기(400), 및 인공표식 검출기(500)를 포함한다. 라이다 장치(10)는 도 38에서 예시적으로 도시한 다양한 구성요소들 중에서 일부 구성요소를 생략하거나 다른 구성요소를 추가로 포함할 수 있다. 예컨대, 라이다 장치(10)는 위치 산출기를 추가로 포함할 수 있다.

라이다 장치(10)는 인공표식을 인식하기 위한 별도의 카메라를 구비하지 않고, 대상체를 스캐닝한 지점들을 분석하여 사용자의 육안으로 보이지 않는 인공표식을 인식한다.

광 송수신기(100)는 대상체로 광을 출사하고 상기 대상체에 반사된 광을 수신하여 전기 신호로 변환한다. 광 송수신기는 광원, 송신 광학부, 수신 광학부, 및 광 다이오드를 포함할 수 있다. 광 다이오드는 광자 에너지의 빛이 다이오드를 타격하면 이동전자와 양의 전하 정공이 생겨 전자가 활동하는 원리가 적용될 수 있다. 광 다이오드는 PN 접합 광 다이오드, PIN 광 다이오드, 애벌란시 광 다이오드(Avalanche Photo Diode, APD) 등으로 구현될 수 있다.

신호 판별기(200)는 입력 신호에 대해 목적하는 시점을 정확하게 측정하여 전기 신호를 출력한다. 신호 판별기(200)는 크기가 조절된 입력 신호로부터 기 설정된 기준 크기를 갖는 적어도 하나의 시점을 검출하여 출력 신호를 생성한다.

거리 측정기(300)는 광을 출사하고 수신한 시간차를 이용하여 대상체의 지점들의 거리를 측정한다. 거리 측정기(300)는 시간 디지털 변환기(Time to Digital Converter)를 포함할 수 있다. 시간 디지털 변환기는 두 입력 신호 사이의 시간 차이에 대응하는 디지털 코드를 생성한다.

거리 측정기(300)는 타임 오브 플라이트(Time of Flight, TOF) 방식으로 동작할 수 있다. 타임 오브 플라이트 방식은 레이저가 펄스 또는 구형파 신호를 방출하여 측정 범위 내에 있는 물체들로부터의 반사 펄스 또는 구형파 신호들이 수신기에 도착하는 시간을 측정함으로써, 측정 대상으로부터의 거리를 측정한다.

광도 측정기(400)는 대상체의 지점들에 반사된 광의 광도(Intensity)를 측정한다. 광도 측정기(400)는 광 송수신기(100) 또는 신호 판별기(200)로부터 수신한 전기 신호의 세기를 측정할 수 있다.

인공표식 검출기(500)는 (i) 대상체의 지점들의 거리 및 (ii) 대상체의 지점들의 광도의 변화를 분석하여 대상체가 인공표식인지 여부를 판단하고, 인공표식에 포함된 비가시적 바코드를 분석하여 디지털 코드를 생성한다.

인공표식 검출기(500)가 인식하는 인공표식은 베이스 및 비가시적 바코드를 포함한다. 비가시적 바코드는 제1 파장 대역의 광을 반사, 흡수, 또는 발광하는 물질로 형성된 코드 시퀀스를 포함한다. 코드 시퀀스는 제2 파장 대역의 광을 반사, 흡수, 또는 발광하는 물질에 의해 은닉되어 비가시화된다.

위치 산출기는 라이다 장치 및 인공표식 간의 상대적인 위치를 산출한다.

도 39에서는 육안으로 관찰한 결과 백색을 띄는 인공표식(51), 육안으로 관찰한 결과 흑색을 띄는 인공표식(52), 인공표식 검출기(500)가 식별한 불연속한 줄무늬를 갖는 인공표식(53)이 도시되어 있다. 백색을 띄는 인공표식(51)이 백색 배경을 갖는 구조물 또는 공간에 부착되거나 흑색을 띄는 인공표식(52)이 흑색 배경을 갖는 구조물 또는 공간에 부착되면, 사용자는 인공표식(51, 52)을 인식할 수 없다. 반면에, 특정 파장 대역의 광을 수신하는 인공표식 검출기(500)는 인공표식(53)의 줄무늬를 식별할 수 있다.

도 40 내지 도 43을 참조하면, 인공표식(51, 52, 53)은 베이스(610a, 610b, 610c, 610d) 및 비가시적 바코드(620a, 620b, 620c, 620d)를 포함한다. 인공표식(51, 52, 53)은 커버(630c, 630d), 접착부, 또는 이들의 조합 등을 추가로 포함할 수 있다.

비가시적 바코드는 베이스에 연결되며, 제1 파장 대역의 광을 반사, 흡수, 또는 발광하는 물질로 형성된 코드 시퀀스를 갖는다. 코드 시퀀스는 제2 파장 대역의 광을 반사, 흡수, 또는 발광하는 물질에 의해 은닉되어 비가시화된다. 제1 파장 대역은 적외선의 파장 대역이고, 제2 파장 대역은 가시광선의 파장 대역일 수 있으나, 이는 예시일 뿐이며 이에 한정되는 것은 아니고 구현되는 설계에 따라 적합한 파장 대역이 사용될 수 있다.

코드 시퀀스는 제1 파장 대역의 광에 대한 반사율, 흡수율, 또는 발광율의 차이에 기반하여 명 영역(622a, 622b, 622c, 622d) 및 암 영역(624a, 624b, 624c, 624d)을 갖는다.

코드 시퀀스는 (i) 명 영역의 개수 또는 폭, (ii) 암 영역의 개수 또는 폭, 또는 (iii) 이들의 조합을 이용하여, 시작 패턴, 정보 패턴, 정지 패턴, 오류 정정 패턴, 또는 이들의 조합으로 표현된 1차원 시퀀스일 수 있다.

코드 시퀀스의 명 영역 및 암 영역은 제1 파장 대역의 광의 반사 파장, 흡수 파장, 발광 파장, 반사율, 흡수율, 발광율, 반사각도, 색상, 표면 성질, 또는 이들의 조합에 의해 구분될 수 있다.

코드 시퀀스는 제2 파장 대역의 광의 반사 파장, 흡수 파장, 발광 파장, 반사율, 흡수율, 발광율, 반사각도, 색상, 표면 성질, 또는 이들의 조합에 의해 비가시화된다.

도 40을 참조하면, 베이스는 제2 파장 대역의 광을 반사, 흡수, 또는 발광하는 물질을 포함할 수 있다. 예컨대, 백색 종이에 전방향 반사(Omnidirectional Reflective) 물질 또는 도료가 패터닝되어 코드 시퀀스를 형성할 수 있다.

도 41을 참조하면, 코드 시퀀스는 제2 파장 대역의 광을 반사, 흡수, 또는 발광하는 물질을 포함할 수 있다. 예컨대, 반사율이 상이한 물질 또는 도료가 패터닝되어 코드 시퀀스를 형성할 수 있다.

도 42 및 도 43을 참조하면, 커버(630c, 630d)는 제1 파장 대역의 광의 투과 경로 상에 위치한다. 커버(630c, 630d)는 제2 파장 대역의 광을 반사, 흡수, 또는 발광하는 물질을 포함한다. 커버(630c, 630d)는 특정 파장 대역을 필터링할 수 있다. 예컨대, 적외선 필터를 사용할 수 있다. 적외선 필터는 검붉은색을 띄므로, 사용자는 줄무늬가 아닌 단순히 검은색을 띄는 장치로 인식하게 된다.

인공표식은 베이스의 후면에 형성된 접착제층을 갖는 접착부(미도시)를 추가로 포함할 수 있다.

이하에서는 도 44 내지 도 46을 참조하여, 라이다 장치가 인공표식을 인식하는 동작을 설명하기로 한다.

단계 S2110에서 인공표식 검출기는 대상체의 지점들의 광도가 불연속적으로 변화하는 후보 영역을 분할(Segmentation)한다. 불연속한 부분은 대상체의 지점들의 거리가 일정 범위 내에 있고, 지점들의 광도의 편차가 일정 범위를 넘고, 지점들의 광도의 일부는 최소값보다 작았다가 다른 일부는 최대값보다 크고 또 다른 일부는 최소값보다 작았다가 또 다른 일부는 최대값보다 큰 것을 반복하는 것을 의미한다. 예컨대, 후보 영역은 인공표식(53)의 줄무늬와 유사한 영역을 갖는다.

단계 S2120에서 인공표식 검출기는 기 설정된 기준거리를 기준으로 대상체의 지점들의 거리에 대한 광도를 정규화한다. 예컨대, x 미터를 기준으로 정규화하고, 기준거리는 구현되는 설계에 따라 적합한 수치가 사용될 수 있다.

단계 S2130에서 인공표식 검출기는 정규화된 광도를 명 영역과 암 영역으로 구분하여, 후보 영역의 명 영역과 암 영역이 코드 시퀀스인지 여부를 판단한다. 인공표식 검출기는 2개 이상의 연속된 데이터의 평균을 계속적으로 계산하는 이동평균 등을 이용하여 명 영역과 암 영역으로 구분할 수 있다. 인공표식 검출기는 지역적인 데이터을 이용하여 주변과의 상대적인 대소를 판단할 수 있다.

단계 S2130에서 인공표식 검출기가 코드 시퀀스인지 여부를 판단하는 기준은 구현되는 설계에 따라 적합한 판단 기준이 적용된다. 예컨대, 인공표식 검출기는 (i) 첫 번째 암 영역과 두 번째 암 영역 간의 간격, (ii) 마지막 암 영역과 마지막으로부터 두 번째 암 영역, (iii) 세그먼트된 부분이 평면 상에 있는 비율 또는 확률, 또는 (iv) 이들의 조합 등을 기준으로 유사 여부를 판단할 수 있다. 도 8a에서는 일정 각도로 꺾인 면에 부착된 인공표식이 도시되어 있고, 도 8b에서는 굴곡 면에 부착된 인공표식이 도시되어 있다. 지점마다 거리값이 상이하기 때문에, 이동체는 꼭지점 등을 기준으로 도킹하거나 목적하는 위치에 정확하게 근접할 수 있다. 인공표식이 하나 이상의 평면에 부착되면, 거짓양성(False Positive) 또는 1종오류(Type I Error)를 최소화할 수 있다.

단계 S2140에서 인공표식 검출기는 코드 시퀀스를 이진 코드로 변환하여 식별정보를 추출한다. 인공표식 검출기가 이진 코드로 변환하는 기준은 구현되는 설계에 따라 적합한 변환 기준이 적용된다. 예컨대, 인공표식 검출기는 가운데를 기준으로 일정 간격마다 각각의 좌우 방향으로 광도를 읽고, 광도가 임계치보다 크면 1로 설정하고 작으면 0으로 설정하는 방식으로 이진 코드를 생성할 수 있다.

이하에서는 도 47 및 도 48을 참조하여, 라이다 장치가 상대 위치를 산출하는 동작을 설명하기로 한다. 라이다 장치는 자세 정보 및 거리 정보를 이용하여 인공표식의 위치를 파악한다.

단계 S2210에서 위치 산출기는 인식된 인공표식의 지점들을 일 방향으로 라인피팅(Line Fitting)한다. 위치 산출기는 라인피팅을 통해 직선 방정식을 산출할 수 있다. 라인피팅한 지점들을 보정하고, 수평선 또는 수직선을 기준으로 각도를 보정할 수 있다. 위치 산출기는 패턴매칭을 통해 인공표식의 지점들의 위치를 보정할 수 있다.

단계 S2220에서 위치 산출기는 (i) 라인피팅한 지점들과 라이다 장치 간에 가상으로 연장한 선 및 (ii) 라이다 장치의 진행 방향으로 가상으로 연장한 선 간에 상대 각도를 산출한다. 위치 산출기는 회전하는 광 송수신기의 각도를 비교하여 상대 각도를 산출한다. 도 10에서는 상대 각도 θ가 도시되어 있다.

단계 S2230에서 위치 산출기는 라인피팅한 지점들 및 라이다 장치 간의 상대 거리를 산출한다. 도 10에서는 상대벡터 V, V₁, V₂가 도시되어 있다.

단계 S2240에서 위치 산출기는 상대 각도 및 상대 거리를 기반으로 상대 위치를 산출한다. 예컨대, 삼각함수 등을 이용하여 거리를 산출할 수 있다.

<도킹 스테이션>

본 발명의 실시예에 따른 TOF 기반의 360도 라이다 장치가 마련된 이동체는 도킹 시스템을 다음과 같이 구성할 수 있다. 도킹 스테이션(docking station)에 반사율이 높은 재질로 구성하고, 비가시적인 바코드를 갖는 인공표식을 적용한다.

도 50에 도시된 바와 같이 벽(wall)의 일측에 반사율이 높은 재질로 도킹 스테이션(docking station)을 구성한다. 이때 도킹 스테이션(450)은 다양한 패턴들을 적용하여 구성할 수 있다.

도 51에 도시된 바와 같이, 도킹 부분의 반사율이 높기 때문에, 도킹 스테이션의 위치를 찾을 수 있다. TOF 라이다 장치의 출력정보가 거리이기 때문에 도킹 스테이션의 정확한 위치를 알 수 있어서 도킹 성능을 향상시킨다.

이동체(1)에 장착된 레이저 수신기(laser receiver)에서 측정한 강도(intensity) 그래프를 보면, 도 51에 도시된 바와 같이 도킹 부분의 반사율이 높기 때문에 도킹 스테이션의 위치를 찾을 수 있다.

TOF 기반 거리 측정기의 출력 정보는 거리값을 나타내기 때문에 도킹 스테이션의 정확한 위치를 알 수 있어서 도킹 성능을 향상시킬 수 있다.

<복수의 이동체 간의 상호 작용>

도 52는 본 발명의 실시예들에 따른 이동체들이 상호 작용하는 것을 예시한 도면이다.

소형의 이동 로봇을 다수 적용하여 빌딩 등과 같은 넓은 공간에 대한 청소를 수행하는 이동 로봇 간에 상호 통신하여 청소 구형을 구분한다. 이동 로봇들은 본체에 부착된 비가시적인 바코드를 갖는 인공표식을 상호 인식한다. 기존의 빌딩 청소로봇은 크기가 매우 크고 고가의 장비 인데 반해 청소 속도가 느릴 뿐만 아니라 유지관리가 쉽지 않았다. 따라서 본 발명의 실시예에 따른 이동체는 기존의 가정용 청소로봇 사이즈의 다수 청소로봇들을 적용하여 넓은 지역을 청소할 수 있도록 할 수 있다.

본 발명의 일 실시예에 따른 이동체가 경사를 올라가거나 문턱이나 카펫 위를 올라가는 경우에 따라 수행하는 각 동작에 대한 정보들(전류, 충격량, 자세정보 등)을 획득하여 학습 기법을 적용하여 이동 로봇이 경사를 이동하는지 문턱을 이동 중인지 구분하도록 한다.

<위치 인식 및 지도 생성>

도 53 내지 도 64는 본 발명의 실시예들에 따른 라이다 장치가 위치를 인식하고 지도를 생성하는 동작을 설명하기 위한 도면이다.

로봇이나 차량 등의 이동체가 미지의 환경에서 이동하기 위해서는 주변환경에 관한 정보가 없으므로, 센서정보를 이용하여 환경에 관한 지도를 작성하고, 작성된 지도로부터 이동체의 현재 위치를 추정해야 한다. 이러한 위치를 인식하고 주변 환경 지도를 작성하는 방법을 동시 위치 추정 및 지도 작성(Simultaneous Localization and Mapping, SLAM)이라고 한다.

도 53은 동시간 위치 인식 및 지도 작성(Simultaneous Localization And Mapping, SLAM) 방법이 처리하는 정보를 그래프 모델로 나타낸 것이다. 도 53을 참조하면, x는 로봇의 위치, u는 오도메트리 정보, z는 관측값, m은 추정 맵을 나타낸다. SLAM에 관한 방법으로는 필터 기반의 SLAM, 그래프 기반의 SLAM 등 다양한 방법이 있다.

그래프 기반의 SLAM은 로봇의 위치와 움직임을 그래프의 노드 및 엣지로 표현한다. 노드는 특정 시점에서의 로봇 또는 인공표식의 위치이다. 엣지는 두 노드 간의 관계이며, 두 노드 간의 공간 상의 구속 조건(Constraint)을 의미한다. 측정된 엣지는 오차를 포함한다. 따라서, 로봇의 주행거리가 길어지거나 노드의 개수가 증가할수록, 위치를 추정하는 과정에서 오차가 누적되는 문제가 있다.

도 54 및 도 55는 지도 생성기를 예시한 도면이다.

도 54 및 도 55에 도시한 바와 같이, 이동체(1)는 라이다 장치(10), 이동 장치(20), 경로 제어기(30), 및 지도 생성기(50)를 포함한다. 지도 생성기(50)는 지역 지도 추정부(710), 및 전역 지도 추정부(720)를 포함한다.

지도 생성기(50)는 스캐닝을 수행한 위치(Pose)를 노드로 표현하고 노드 간의 상대 위치(Relative Pose)를 산출한다. 지도 생성기(50)는 노드 간의 상대 위치에 따라 각각의 노드의 위치를 최적화하여 지도를 갱신한다. 지도 생성기(50)는 구속 조건들을 최대한 만족하는 노드값 또는 구속 조건들을 최소한 벗어나는 노드값을 찾고, 노드들의 위치에서의 오차들을 보정하는 과정을 수행하여 노드의 위치를 최적화한다. 즉, 노드들은 구속 조건을 기반으로 최적의 노드값으로 수렴한다.

지도 생성기(50)는 현재 위치를 추정할 때 가까운 지역에서 얻어진 센서 데이터를 이용하여 현재 위치를 추정한다. 스캐닝 주기와 키 프레임 생성 주기는 구현되는 설계에 따라 적합한 수치로 설정되며, 필요에 따라 상이하게 설정될 수 있다.

라이다 장치(10)는 이동 로봇이 위치하는 공간의 스캔 정보를 획득한다. 라이다 장치(10)는 라이다 센서를 이용하여 전방향(Omnidirectional) 또는 일부 영역의 거리 정보를 획득할 수 있다. 지도 생성기(50)는 거리 정보와 함께 이동 로봇의 오도메트리 정보를 추가로 획득할 수 있다. 지도 생성기는 이동 로봇의 이동 장치에 연결된 엔코더(Encoder) 또는 IMU(Inertial Measurement Unit)로부터 회전수, 기울기, 회전량 등의 오도메트리 정보를 획득할 수 있다. IMU는 가속도 센서 및 자이로 센서로 구현될 수 있다.

이동 로봇의 위치는 3차원 벡터로 표현될 수 있다. 3차원 벡터는 기준 좌표계의 원점으로부터의 X좌표와 Y좌표, 로봇 좌표계의 X축과 기준 좌표계의 X축이 이루는 각도로 표현될 수 있다.

지역 지도 추정부(710)는 스캔 정보를 이용하여 노드에 관한 키 프레임을 생성하고, 연속하는 노드 간의 오도메트리 엣지를 산출한다. 노드 간의 관측값은 불확실성(Uncertainty)을 갖는다. 오도메트리 엣지의 불확실성은 공분산 행렬로 표현될 수 있다.

지역 지도 추정부(710)는 스캐닝 주기마다 획득한 복수의 스캔 정보 중에서 키 프레임을 저장한다. 스캔 정보는 점군(Point Cloud)로 표현될 수 있다. 키 프레임은 거리 정보 및 시간 정보를 포함한다. 지역 지도 추정부(710)는 등록된 키 프레임이 없으면 현재 입력된 거리 정보를 이용하여 키 프레임을 생성하고, 이후 키 프레임을 갱신하여 지역 지도를 추정한다. 지역 지도 추정부(710)는 복수의 스캔 정보를 합친 지역 지도를 기반으로 스캔 매칭을 수행하여 정확도를 향상시킬 수 있다.

지역 지도 추정부(710)는 스캔 정보를 회전 또는 이동하여 스캔 매칭하거나 이동 로봇의 오도메트리 정보를 측정하여 오도메트리 엣지를 산출한다. 지역 지도 추정부(710)는 스캔 매칭을 통하여 노드의 추정값을 기반으로 예측된 오도메트리 엣지 및 측정된 오도메트리 엣지 간의 오차를 보정한다.

전역 지도 추정부(720)는 갱신한 키 프레임의 집합에 대하여 연속하지 않는 노드 간의 루프 클로저 엣지를 검출한다. 이동 로봇이 방문한 지역을 다시 방문하면, 노드들의 오차를 보다 정확하게 보정할 수 있다. 시간적으로 연속한 노드 간의 오도메트리 엣지와 달리 루프 클로저 엣지는 시간적으로 연속하지 않는 노드 간에 공간적 관계를 형성한다. 다만, 모든 엣지 간에 루프 클로저 엣지를 생성하는 것은 비효율적이므로 구속 조건을 고려하여 적절한 루프 클로저 엣지를 검출할 필요가 있다.

전역 지도 추정부(720)는 오도메트리 엣지 및 루프 클로저 엣지를 기반으로 노드의 위치를 보정하여 전역 지도를 추정한다. 전역 지도 추정부(720)는 지역 지도를 결합하여 전역 지도를 확장하고 갱신한다.

인터페이스는 다른 장치와 정보를 송수신하는 통신 경로이다. 다른 장치는 인터페이스를 통해 지도 생성기(50)에 접속하여 파라미터를 설정할 수 있다. 지도 생성기(50)는 인터페이스를 통해 측정 위치 및 지도를 다른 장치로 전송할 수 있다.

이하에서는 도 56을 참조하여, 지도 생성기가 스캔 매칭하는 동작을 설명하기로 한다. 도 56은 지도 생성기가 스캔 매칭하는 데이터를 예시한 도면이다.

p는 시간 및 위치 변화에 따른 노드의 위치(Pose)이고, e는 노드 간의 공간적 관계이다. 지도 생성기가 획득한 스캔 정보는 고정 구조물로부터의 거리 정보를 포함한다.

로봇의 이동 전과 후의 스캔 정보를 비교하면 오도메터리 오차가 누적되어 공통적인 부분이 겹치지 않게 된다. 스캔 정보를 회전 또는 이동하고 관측값의 확률을 산출하는 스캔 매칭을 통하여 오도메터리 오차를 보정함으로써 로봇의 정확한 위치를 추정할 수 있다.

이하에서는 도 57을 참조하여, 지도 생성기가 필터링하는 동작을 설명하기로 한다. 도 57은 지도 생성기가 필터링한 데이터를 예시한 도면이다.

특정 시간 또는 특정 위치에서 획득한 스캔 정보는 고정 구조물과 달리 이동 장애물과 같은 노이즈를 포함할 수 있고, 이동 로봇이 이동하며 점진적으로 갱신하는 지역 지도는 실제 구조물과 다른 구조물로 변경될 수 있다. 즉, 이동 장애물로 인하여, 동일한 위치에서 상이한 시간 주기로 획득한 스캔 정보를 스캔 매칭하면, 추정한 지도에서 오차가 발생한다.

지역 지도 추정부는 기 설정된 시간 구간에서 획득한 복수의 스캔 정보로부터 확률적 기법으로 이동 장애물과 고정 장애물을 판별하고, 새롭게 획득한 스캔 정보를 비교하여 키 프레임에서 이동 장애물을 제거하여 지역 지도를 갱신한다. 최근 N 개의 스캔 정보를 이용하여 노이즈를 제거하여 지역 지도를 갱신한다. 노이즈는 기 설정된 이동 거리를 이동하거나 기 설정된 회전 각도로 회전하여 변형된 점군 데이터일 수 있다.

지역 지도 추정부는 계산 부하를 줄이고 의미있는 정보를 획득하기 위해 이동 로봇의 이동 거리에 관한 제1 조건을 만족하면 키 프레임을 필터링할 수 있다. 제1 조건은 이동 거리를 기반으로 설정된다. 예컨대, 지역 지도 추정부는 기준 지점으로부터 특정 거리 이상으로 이동하면 필터링을 수행한다.

이하에서는 지도 생성기가 전역 지도를 추정하는 동작을 설명하기로 한다. 도 58은 지도 생성기가 전역 지도를 추정하는 동작을 예시한 흐름도이고, 도 59 내지 도 63은 지도 생성기가 처리하는 데이터를 예시한 도면이다.

전역 지도 추정부는 이동 로봇의 이동 거리 또는 주변환경의 변화에 관한 제2 조건을 만족하면 갱신한 키 프레임의 집합에 대하여 전역 지도를 추정한다. 제2 조건은 이동 거리 또는 주변환경의 변화를 기반으로 설정된다. 예컨대, 제2 조건은 특정 거리 이상 주행하거나 특정 거리 범위를 벗어나거나 주변 구조물의 매칭율이 일정 범위를 벗어나는 것으로 설정될 수 있다.

최근 N 개의 스캔 정보는 모두 필터링된 데이터이며, 고정 구조물에 관한 데이터를 갖는다. 전역 지도 추정부는 필터링된 키 프레임들을 저장한다.

단계 S2410에서 전역 지도 추정부는 특정된 키 프레임을 기준으로 불확실성 전파(Uncertainty Propagation)를 이용하여 각각의 키 프레임의 오차를 보정하고, 마할라노비스 거리(Mahalanobis Distance)를 이용하여 기 설정된 거리 내에 위치하는 키 프레임에 관한 제1 후보군을 추출한다. 마할라노비스 거리는 평균과의 거리가 표준편차의 몇 배인지를 나타내는 값으로, 어떤 값이 발생하기 어려운 값인지 또는 얼마나 이상한 값인지를 수치화한다. 도 9에서는 최근에 삽입된 키 프레임에 관한 노드(p_n)을 기준으로 추출한 제1 후보군의 노드들(p_k-1, p_k, p_k+1, p_m-1, p_m, p_m+1)이 도시되어 있다.

단계 S2420에서 전역 지도 추정부는 제1 후보군의 키 프레임 및 기 설정된 시간 구간에서 획득한 키 프레임를 비교하여 기 설정된 확률 범위에 매칭하는 키 프레임에 관한 제2 후보군을 추출한다. 도 10에서는 최근 N 개의 키 프레임에 관한 노드들(p_n, p_{n -1}, p_{n - 2})을 기준으로 추출한 제2 후보군의 노드들(p_k, p_m-1, p_m, p_m+1)이 도시되어 있다.

단계 S2430에서 전역 지도 추정부는 일관성 확인 알고리즘을 이용하여 상기 제2 후보군으로부터 기 설정된 일관성 범위에 매칭하는 키 프레임에 관한 제3 후보군을 추출한다. 전역 지도 추정부는 오매칭된 후보를 재검사한다. 예컨대, 일관성 확인 알고리즘으로는 최대 클리크(Maximum Clique) 또는 싱글 클러스터 그래프 파티션(Single Cluster Graph Partitioning) 기법 등이 적용될 수 있다. 도 61에서는 추출한 제3 후보군의 노드들(p_m-1, p_m, p_m+1)이 도시되어 있다.

단계 S2440에서 전역 지도 추정부는 제3 후보군에 속하는 키 프레임을 대상으로 연속하지 않는 노드 간의 루프 클로저 엣지를 검출한다. 전역 지도 추정부는 최근 노드와 의미있는 노드 간에 공간적 관계를 형성한다. 도 12에서는 연속하지 않는 노드(p_n, p_m) 간의 루프 클로저 엣지(e_{n, m})이 도시되어 있다.

단계 S2450에서 전역 지도 추정부는 그래프 최적화 기법으로 오도메트리 엣지의 오차 및 상기 루프 클로저 엣지의 오차를 보정한다. 전역 지도 추정부는 구속 조건들을 최대한 만족하는 노드값 또는 구속 조건들을 최소한 벗어나는 노드값을 찾고, 노드들의 위치에서의 오차들을 보정하는 과정을 수행하여 노드의 위치를 최적화한다. 즉, 노드들은 구속 조건을 기반으로 최적의 노드값으로 수렴한다. 예컨대, 복수의 오도메트리 에지들과 복수의 루프 클로저 에지들에 의한 에러 벡터에 대한 가중 제곱 합의 최소값을 산출하는 방식으로 오차를 보정할 수 있다.

전역 지도 추정부는 복수의 지역 지도를 합친 전역 지도를 출력할 수 있다.

도 64는 본 발명의 다른 실시예에 따른 위치 인식 및 지도 작성 방법을 예시한 흐름도이다. 이동 로봇의 위치 인식 및 지도 작성 방법은 이동 로봇의 지도 생성기에 의하여 수행될 수 있다.

단계 S2510에서 지도 생성기는 이동 로봇이 위치하는 공간의 스캔 정보를 획득한다. 스캔 정보를 획득하는 단계(S2510)는 라이다 센서를 이용하여 전방향 또는 일부 영역의 거리 정보를 획득할 수 있다. 스캔 정보를 획득하는 단계(S2510)는 거리 정보와 함께 이동 로봇의 오도메트리 정보를 추가로 획득할 수 있다.

단계 S2520에서 지도 생성기는 스캔 정보를 이용하여 노드에 관한 키 프레임을 생성하고, 연속하는 노드 간의 오도메트리 엣지를 산출하고 상기 키 프레임을 갱신하여 지역 지도를 추정한다.

지역 지도를 추정하는 단계(S2520)는 상기 스캔 정보를 회전 또는 이동하여 스캔 매칭하거나 상기 이동 로봇의 오도메트리 정보를 측정하여 상기 오도메트리 엣지를 산출한다. 지역 지도를 추정하는 단계(S2520)는 스캔 매칭을 통하여 노드의 추정값을 기반으로 예측된 오도메트리 엣지 및 측정된 오도메트리 엣지 간의 오차를 보정한다.

지역 지도를 추정하는 단계(S2520)는 이동 로봇의 이동 거리에 관한 제1 조건을 만족하면 상기 키 프레임을 필터링한다. 지역 지도를 추정하는 단계(S2520)는 기 설정된 시간 구간에서 획득한 복수의 스캔 정보로부터 확률적 기법으로 이동 장애물과 고정 장애물을 판별하고, 새롭게 획득한 스캔 정보를 비교하여 상기 키 프레임에서 상기 이동 장애물을 제거하여 상기 지역 지도를 갱신한다.

단계 S2530에서 지도 생성기는 갱신한 키 프레임의 집합에 대하여 연속하지 않는 노드 간의 루프 클로저 엣지를 검출하고, 오도메트리 엣지 및 루프 클로저 엣지를 기반으로 노드의 위치를 보정하여 전역 지도를 추정한다.

전역 지도를 추정하는 단계(S2530)는 이동 로봇의 이동 거리 또는 주변환경의 변화에 관한 제2 조건을 만족하면 갱신한 키 프레임의 집합에 대하여 전역 지도를 추정한다.

전역 지도를 추정하는 단계(S2530)는 특정된 키 프레임을 기준으로 불확실성 전파를 이용하여 각각의 키 프레임의 오차를 보정하고, 마할라노비스 거리를 이용하여 기 설정된 거리 내에 위치하는 키 프레임에 관한 제1 후보군을 추출한다.

전역 지도를 추정하는 단계(S2530)는 제1 후보군의 키 프레임 및 기 설정된 시간 구간에서 획득한 키 프레임를 비교하여 기 설정된 확률 범위에 매칭하는 키 프레임에 관한 제2 후보군을 추출한다.

전역 지도를 추정하는 단계(S2530)는 일관성 확인 알고리즘을 이용하여 제2 후보군으로부터 기 설정된 일관성 범위에 매칭하는 키 프레임에 관한 제3 후보군을 추출한다. 지도 생성기는 제1 후보군 내지 제3 후보군에 속하는 노드 중 적어도 하나에 대하여 루프 클로저 엣지를 생성한다.

전역 지도를 추정하는 단계(S2530)는 그래프 최적화 기법으로 오도메트리 엣지의 오차 및 루프 클로저 엣지의 오차를 보정한다.

<라이다 장치의 경로 제어>

도 65 내지 도 75는 본 발명의 실시예들에 따른 라이다 장치의 경로 제어기에 관한 도면이다.

청소로봇은 이러한 센서들에 의해 획득된 정보들을 융합하더라도 융단(carpet) 등 바닥의 재질을 구분하거나 벽(wall)을 감지하는 것이 가능할 뿐이며, 경사도와 같이 바닥의 높낮이 상태를 구분하거나 옷, 동물의 배설물, 문턱 등 낮은 장애물을 감지하는 것은 불가능한 문제점이 있다.

이하 본 발명에서는 점군(Point cloud)를 기반으로 바닥면의 상태, 특히 바닥면의 높낮이 상태를 측정하거나 낮은 장애물을 감지하는 알고리즘이 적용된 청소로봇에 대하여 설명한다.

경로 제어기(30)는 바닥면 상태 결정부(810), 장애물 검출부(820), 슬립 판단부(830), 또는 이들의 조합을 추가로 포함할 수 있다.

도 66 내지 도 68은 바닥면의 상태에 따라 서로 다른 형태로 획득되는 점군 데이터를 보여주는 개념도이다.

이동체(1)은 라이다(LiDAR) 센서, TOF(Time Of Flight) 센서 등 오브젝트의 3차원 정보를 획득할 수 있는 센서를 이용하여 주변 환경에 대한 정보를 3차원 정보로 획득할 수 있다. 바닥면의 각 지점을 포인트(point; 1110)로 정의하면, 이동체(1)은 라이다 센서, TOF 센서 등을 이용하여 각 포인트(1110)에 대한 정보를 3차원 정보로 획득할 수 있다.

<바닥면 상태 결정>

각 포인트(1110)에 대한 정보가 3차원 정보로 획득되면, 이러한 포인트(1110)들의 집합인 점군(point cloud)에 대한 정보를 통해 바닥면의 상태, 예컨대 바닥면의 높낮이를 구별하는 것이 가능해진다. 본 발명에서 이동체(1)은 바닥면에 대한 점군 데이터를 기초로 바닥면의 상태, 예컨대 바닥면의 높낮이 상태를 측정한다.

일반 가정의 집안 환경에서 바닥면에 높낮이가 형성된 부분은 도 66 내지 도 68에 도시된 바와 같이 문턱, 경사로, 절벽 등이다. 도 66은 문턱에 대한 예시이고, 도 67은 경사로에 대한 예시이며, 도 68은 절벽에 대한 예시이다.

이동체(1)의 안전한 주행과 청소 성능의 향상을 위해서는 이동체(1)가 바닥면에 높낮이가 형성된 부분을 구별할 수 있어야 한다. 그런데 현재 상용화된 로봇들을 살펴보면 바닥면의 높낮이를 구분하는 데에 사용되는 정보가 매우 제한적이기 때문에, 그 상황에 맞닥뜨렸을 때에 바닥면의 높낮이를 제대로 구분하는 것이 쉽지 않다.

예를 들면 로봇이 문턱이나 경사로를 올라갈 때 로봇이 앞으로 들리면서 로봇의 피치(pitch) 각이 발생한다. 이로 인해 로봇이 문턱을 오르는지 아니면 경사로를 오르는지를 구분하는 것이 쉽지 않다.

또한 로봇이 문턱을 오를 때 로봇의 앞 부분이 들리면 로봇에 장착된 바닥 센서가 노출된다. 이로 인해 로봇이 바닥면의 상태를 절벽으로 오인식하는 경우가 발생할 수도 있다.

본 발명에서 이동체(1)은 라이다 센서, TOF 센서 등을 이용하여 점군 데이터로 전방에 위치하는 바닥면에 대한 정보를 획득한다. 바닥면의 상태에 따라 도 66 내지 도 68에 도시된 바와 같이 점군 데이터(1120, 1130, 1140)가 달라질 것이므로, 이동체(1)은 이러한 점군 데이터(1120, 1130, 1140)를 기초로 바닥면의 상태를 검출할 수 있다.

또한 이동체(1)은 점군 데이터(120, 130, 140)를 기초로 바닥면의 높낮이 변화 상황을 검출하여 바닥면의 상태에 따른 적절한 제어 기능을 수행할 수 있다.

<장애물 검출>

이동체(1)은 오브젝트의 3차원 정보를 획득할 수 있는 센서로 TOF 센서를 이용하는 경우 TOF 기반의 360도 거리 측정기를 이용하여 오브젝트의 3차원 정보를 획득할 수 있다.

이동체(1)가 TOF 기반의 360도 거리 측정기를 이용하는 경우 바닥면의 상태뿐만 아니라, 카펫 검출, 장애물 탐지, 위치 추정 등도 가능해진다.

앞서 설명한 바와 같이 라이다 센서, TOF 센서 등을 이용하면, 이동체(1)은 점군 데이터를 토대로 바닥면 등 주변 환경을 입체적으로 재구성하는 것이 가능해진다. 이동체(1)은 이와 같이 재구성된 주변 환경에 대한 정보로부터 바닥면에 대한 정보를 분리하여 바닥면의 높낮이 상태(문턱, 경사로, 절벽 등) 외에 바닥면의 재질(타일, 마루, 카페트 등), 바닥면에 산재해 있는 낮은 장애물(옷, 동물의 배설물, 블록 등)의 존재 여부 등을 검출할 수 있다.

라이다 장치(10)는 실내의 각 지점에 대한 정보로 제1 지점들에 대한 정보와 제2 지점들에 대한 정보를 획득할 수 있다. 라이다 장치(10)는 로우 빔(low beam)과 관련된 적어도 하나의 채널 신호를 이용하여 제1 지점들에 대한 정보를 획득할 수 있다. 라이다 장치(10)는 하이 빔(high beam)과 관련된 적어도 하나의 채널 신호를 이용하여 제2 지점들에 대한 정보를 획득할 수 있다.

장애물 검출부(820)는 제1 지점들에 대한 정보 또는/및 실내의 공간과 관련된 제2 지점들에 대한 정보를 기초로 실내에 위치하는 장애물을 검출하는 기능을 수행한다. 장애물 검출부(820)는 점군 데이터(1150)로부터 획득한 바닥면에 대한 정보를 바탕으로 바닥면에 산재해 있는 낮은 장애물들도 용이하게 검출할 수가 있으며, 이에 따라 회피 주행 및 청소도 가능해진다.

이동체에 구비된 청소부가 바닥면의 상태와 장애물에 대한 정보를 기초로 실내에 대한 청소 기능을 수행한다.

본 발명에 따라 이동체(1)가 낮은 장애물에 대한 적절한 대처를 수행할 수 있다면, 이동체(1)의 청소 성공률 및 커버리지 성능도 향상시킬 수가 있다.

<슬립 검출>

다음으로 이동체(1)의 슬립 검출(slip detection) 방법에 대하여 설명한다. 이하 설명에서는 슬립 검출 방법이 적용되는 대상으로 이동체(1)을 일례로 들어 설명할 것이나, 본 발명에서 제안하는 슬립 검출 방법은 이에 한정되지 않고, 바퀴를 이용하여 구동하는 로봇이라면 모두 적용 가능하다.

이동체(1)은 자이로 센서와 앞바퀴 인식 센서인 수동 인코더(passive encoder)를 이용하여 슬립을 감지할 수 있다. 이 경우 이동체(1)은 양쪽 바퀴의 인코더로부터 추정된 자신의 회전 속도와 자이로 정보를 비교하여 슬립을 검출하며, 수동 인코더를 이용하여 자신의 이동을 검출하고 양쪽 바퀴의 인코더로부터 획득된 자신의 속도와 비교하여 자신이 실제로 이동하는지 여부를 검사한다.

그러나 바닥면의 상태에 따라 수동 인코더의 회전이 다르고, 요철이 많은 지역이나 문턱, 카펫 등과 같이 주행면의 높이차가 발생하는 환경에서 부정확한 정보를 제공하는 문제점이 있다.

이동체(1)은 적외선 신호(또는 레이저 신호)의 광학적 흐름(optical flow)을 기반으로 슬립을 감지하는 것도 가능하다. 이 경우 이동체(1)은 저면에 부착된 발광 소자와 수광 소자 간 신호의 흐름을 바탕으로 자신의 움직임을 검출하고, 이 움직임 정보를 바퀴의 인코더 정보와 비교하여 자신이 슬립 상황이나 구속 상황에 놓여 있는지 여부를 판단한다.

그러나 신호가 바닥면의 반사율에 매우 민감하기 때문에, 바닥면이 고르지 않을 경우 슬립 감지가 어려운 문제점이 있다.

본 발명에서는 이러한 문제점을 해결하기 위해 레이저 오도메트리(laser odometry)를 기반으로 이동체(1)의 슬립을 검출하는 방법에 대하여 설명한다.

레이저 오도메트리는 단채널/다채널 360도 레이저 거리 측정기로부터 획득한 주변 장애물까지의 거리를 이용하여 이동체(1)의 이동량을 추정하고, 이를 통해 초기 위치부터 추정된 이동체(1)의 이동량을 누적 합산하여 현재의 위치를 추정하는 방법을 말한다. 여기서, 현재 시점에 측정된 주변 장애물 정보와 이전 시점에 획득된 주변 장애물 정보 사이의 차이값을 시간차로 나누면 이동체(1)의 속도를 추정할 수 있다.

도 71은 이동체의 슬립 상황(slip situation)을 검출하는 방법을 설명하기 위한 참고도이다.

이동체가 A 지점에서 B 지점으로 미끄러진 경우, 이동체의 슬립을 알아내기 위해서는 이동체의 주변에 위치한 장애물들(1310, 1320)을 이용해야 한다. 본 발명에서는 이 경우 다채널(혹은 단채널) 레이저 거리 측정기를 이용하여 이동체의 주변에 위치한 장애물들(1310, 1320)에 대한 정보를 획득한다.

도 72 및 도 73은 서로 다른 두 지점에서 획득된 이동체으로부터 장애물들(310, 320)까지의 거리 정보를 보여주는 참고도이다. 도 72는 도 71의 A 지점에서 측정된 이동체과 장애물들(1310, 1320) 사이의 거리 정보(1331, 1332, 1333, 1334)를 보여주며, 도 73은 도 71의 B 지점에서 측정된 이동체과 장애물들(1310, 1320) 사이의 거리 정보(1341, 1342, 1343, 1344)를 보여준다.

이동체은 서로 다른 두 지점에서 획득된 장애물들(1310, 1320)에 대한 정보들(1351, 1352, 1353, 1354)을 이동하거나 회전시켜 매칭시킴으로써 두 지점에서 자신의 이동량을 산출할 수 있다.

본 실시예에서 이동체는 파티클 필터(particle filter)를 적용하여 서로 다른 두 지점에서 획득된 장애물들(1310, 1320)에 대한 정보들(1351, 1352, 1353, 1354)을 매칭시킬 수 있다.

도 74 및 도 75는 서로 다른 두 지점에서 획득된 장애물 정보들을 매칭시키는 방법을 설명하기 위한 참고도들이다.

도 74는 A 지점을 기준으로 B 지점에서 획득된 장애물 정보를 매칭하는 과정을 보여준다. 랜덤 파티클(random particle; 1360)들은 A 지점을 기준으로 결정된 파티클 경계(particle boundary; 1370) 이내에 위치하며, 위치, 자세각 등 임의로 생성된 후보에 대한 정보를 가지고 있다.

B 지점에서의 이동체에 대한 정보가 특정 랜덤 파티클이 가진 정보일 것으로 가정하고, 각 랜덤 파티클이 가진 정보를 기초로 두 지점에서 획득된 장애물 정보들을 매칭하여 보면, B 지점에서 측정된 장애물 정보와 가장 유사한 정보를 가지고 있는 랜덤 파티클을 찾을 수 있다. 그러면 그 랜덤 파티클이 가지고 있는 정보를 B 지점에서의 이동체에 대한 정보로 추정할 수 있다.

도 75는 선택된 랜덤 파티클(1380)이 가지고 있는 정보를 기초로 A 지점과 B 지점에서의 장애물 정보들을 매칭시킨 결과를 보여준다. 도 7과 같이 장애물 정보들이 매칭되어 장애물들(1310, 1320)이 서로 같은 위치에 배열되면, 이동체의 각 지점에서의 상대적인 위치차를 알 수 있게 되고, 이를 통해 이동체가 미끄러진 정도를 검출하는 것이 가능해진다.

또한 상기에서 검출된 정보를 시간차(이동체가 A 지점에 위치한 시간과 B 지점에 위치한 시간 사이의 차이값)로 나누면 이동체의 현재 속도도 계산할 수가 있다.

또한 랜덤 파티클(1360)의 개수를 늘리고 이동체의 위치에 대한 확률적 오차를 고려한다면 더욱 정확한 정보를 예측하는 것이 가능해진다.

<투영지도 생성>

도 76 내지 도 83은 본 발명의 실시예들에 따른 라이다 장치의 투영지도 생성기에 관한 도면이다.

도 76을 참조하면, 이동체는 라이다 장치(10), 이동 장치(20), 경로 제어기(30), 및 투영지도 생성기(60)를 포함한다. 도 77은 본 발명의 일실시예에 따른 다채널 라이다 기반 이동체의 장애물 검출 방법의 흐름도이다.

라이다 장치(10)는 이동체의 장애물 정보를 포함하는 3차원 환경정보를 검출하기 위하여, 송신신호의 발사각이 상이한 적어도 두 개의 광 송수신기를 구비한다.

투영지도 생성기(60)는 적어도 두 개의 광 송수신기의 수신 정보를 기초로 장애물을 3차원 상에서 정의하기 위한 상기 3차원 환경정보를 생성하고, 2차원 공간 지도에 상기 3차원 환경정보가 포함된 투영지도를 생성한다. 3차원 환경 정보는 장애물에 대한 정보를 포함하며, 장애물에 대한 정보로 장애물의 위치, 크기, 형태 등에 대한 정보를 포함할 수 있다. 또한 2차원 공간 지도는 일 형태로 2차원 격자 지도로 형성될 수 있다.

경로 제어기(30)는 최적 경로를 생성하기 위한 것으로서 상기 투영지도를 기반으로 장애물의 공간 상의 위치를 판단하고, 장애물을 회피하여 주행하기 위한 주행 경로를 생성한다. 경로 제어기(30)는 장애물의 공간 상의 위치를 판단할 때 장애물의 크기와 형태도 판단할 수 있으며, 장애물과의 충돌 없이 최소 거리로 접근하여 장애물을 회피하여 주행하기 위한 주행 경로를 생성할 수 있다.

투영지도 생성기(60)는 라이다 장치(10)의 수신신호를 분석하여 문턱, 경사, 절벽을 포함하는 장애물의 형태 정보를 생성하고, 상기 3차원 환경정보를 n³의 정육면체를 이용하여 표현할 수 있다.

투영지도 생성기(60)는 라이다 장치(10)에서 획득된 장애물의 수평적인 위치정보 및 수직적인 위치정보의 각각을 이용하여 마킹 격자 위치 및 격자 마킹 값을 결정할 수 있고, 또한 높이 정보가 포함된 투영지도를 1 또는 0의 이진 정보로 변경한 이진 투영지도를 허프 변환하여 직선 영역을 추출할 수 있다.

투영지도 생성기(60)는, 청소지도와 비교하여 청소를 하지 않은 영역에 대한 우선순위를 높이고, 거리가 가까운 곳의 직선의 우선순위를 높일 수 있다.

경로 제어기(30)는, 적어도 두개의 광 송수신기(101, 102)로부터 바닥면까지의 수직 거리, 상기 광 송수신기의 송신신호의 수평 하방 발사각을 기반으로 장애물의 존재 여부를 추정할 수 있다.

이동체(1)에 적용되는 라이다 장치(10)는 다수의(2개 이상) 레이저 발/수광 세트(101, 102)를 360도 또는 일정 범위내에서 회전시켜 주변의 장애물 정보를 3차원으로 획득할 수 있다(S2610). 본 실시예에서 3차원 환경 정보는 이동체의 주변에 대한 3차원 정보를 의미하며, 이러한 3차원 환경 정보는 장애물에 대한 정보도 포함함은 물론이다.

이동체는 낮은 장애물(작은 장난감, 옷가지 등)을 구분하고, 수직 환경(문턱, 경사, 절벽)을 구분하고, 3차원 지역 지도 기반의 충돌 회피 경로를 계획할 수 있다.

일반적으로, 낮은 장애물들은 (예를 들어, 장난감 블록, 양말, 옷가지 등) 청소로봇의 흡입구나 바퀴에 끼어 문제를 일으킬 수 있기 때문에 청소로봇의 안전한 주행을 위하여 반드시 고려되어야 한다. 그럼에도 불구하고, 기존의 적외선 또는 초음파 기반의 장애물 감지 청소로봇들은 센서들의 위치보다 낮은 장애물에 대한 감지가 불가능하였다.

특히, 지도 생성과 위치 추정 성능이 가장 우수한 단채널 레이저 스캔 센서 기반의 청소로봇은 SLAM 성능을 향상시키기 위하여 센서의 위치를 로봇의 가장 상단으로 설정하였기 때문에 낮은 장애물에 대한 감지가 불가능하다.

기존 청소로봇들에 반하여, 본 발명의 일실시예가 적용되는 다채널 LiDAR 기반의 이동체(1)은 수평적인 장애물 감지 뿐만 아니라 청소로봇의 하단을 측정할 수 있기 때문에, 기존의 단채널 레이저 스캔 센서 기반의 청소로봇과 같이 우수한 SLAM 성능을 유지하면서 도 4와 같이 청소로봇의 높이와 센서의 위치에 무관하게 낮은 장애물들을 감지할 수 있다.

수직 환경은 청소로봇의 주행 및 위치 추정 성능에 많은 영향을 미치는 중요 환경이다. 수평적으로 장애물을 측정하는 청소로봇들(범퍼 기반, 적외선 또는 초음파 기반, 단채널 레이저 스캔 센서 기반 청소로봇 등)은 수직 환경을 미리 확인할 수 없기 때문에 그 환경에 직면하였을 때 상황을 인지하거나, 무시하고 지나치게 된다. 문턱을 올라가거나 경사(bar-chair의 고정 장치 등)에 올라가면 청소로봇의 위치 추정 성능에 영향을 미치게 되어 청소 성능이 저하된다. 또한, 절벽인 경우 청소로봇이 빠졌을 때 청소로봇의 동작이 더 이상 불가능하기 때문에 바닥 측정 센서를 장착하여 청소로봇이 절벽에 빠지는 일을 방지하도록 하였다. 바닥 측정 센서의 경우에도 청소로봇 내에 장착되어 바퀴 바로 앞의 상황만을 감지하기 때문에 청소로봇이 회전하거나 빠르게 움직일 경우 미리 대응하여 청소로봇의 안정성을 향상시키는 것이 불가능하다.

도 78은 본 발명의 실시예에 따라 3차원 환경정보를 1byte(8bit)로 표시한 경우의 격자 정보를 도시한 것이고, 도 79 및 도 80은 본 발명의 실시예에 따라 2byte 투영지도의 높이 표현 방법을 도시한 것이고, 도 81 및 도 82는 본 발명의 실시예에 따라 3차원 장애물의 1byte 투영지도 표시 결과를 도시한 것이다.

이동체(1)가 다채널 라이다 장치(10)를 이용할 경우, 수직 환경에 대하여 도 66 내지 도 68에 도시된 장애물 정보를 획득하는 것이 가능하고 이를 기준으로 청소로봇의 주행 경로를 미리 계획할 수 있다. 따라서 청소로봇이 수직 환경에 직면하기 전에 이를 감지하여 회피하는 것이 가능하다.

기존의 청소로봇들 중 레이저 스캔 센서 기반의 청소로봇은 주변의 장애물 정보를 거리를 둔 상태에서(직면하지 않는 상태)에서 장애물들을 감지할 수 있기 때문에 미리 충돌을 회피할 수 있는 이동경로를 계획할 수 있다. 그러나 앞서 언급되었던 것과 같이, 낮은 장애물을 감지할 수 없고, 수직 환경을 구분할 수 없기 때문에, 여전히 장애물과의 충돌 위험이 있다.

다채널 라이다 장치(10)가 적용된 이동체(1)는 주변에 대한 3차원 정보를 제공하기 때문에 낮은 장애물들과, 수직 환경들을 포함한 로봇의 안전한 주행에 영향을 미치는 장애물들과의 충돌을 회피할 수 있는 경로를 장애물들에 직면하기 전에 계획하는 것이 가능하다.

본 발명에서 개시하고 있는 다채널 라이다 장치(10)를 통하여 획득된 청소로봇의 주변 3차원 환경정보를 작은 저장 공간에 정보 손실 없이 표시하는 투영지도를(projective map) 제안한다. 청소로봇은 낮은 제조 단가를 유지해야 하기 때문에 큰 메모리 사이즈와 높은 연산 능력을 보장할 수 없다. 즉, 기존의 이동체 연구들에서 사용되어온 큰 저장 용량과 좋은 연산 성능을 필요로 하는 point cloud를 그대로 적용하는데 한계가 있다. 본 발명의 개시에서는 청소로봇 주변의 장애물 정보와 지도 정보를 정보의 손실 없이 작은 저장 공간에 저장하기 위한 투영지도(projective map)를 제안하고 있다.

일반적인 청소로봇에서는 저장 용량이 작고, 작은 연산 성능으로도 활용이 가능하기 때문에 격자지도(grid map)가 주로 사용되어 왔다. 그러나 환경을 3차원으로 표현하는 point cloud는 2차원 격자지도에 비해 공간적 차수가 1차 더 많기 때문에 더 많은 저장 공간을 필요로 하기 때문에 청소로봇에서는 연산 능력과 저장 공간의 제약이 발생한다. 따라서 다음과 같은 방법으로 격자지도에 3차원 정보를 포함할 수 있는 투영지도를 생성하도록 한다.(S2620)

1) 3차원 공간을 n3 의 정육면체를 이용하여 표현한다.(S2621)

2) LiDAR에서 획득된 장애물의 수평적인 위치정보를 이용하여 마킹할 격자 위치를 결정한다.(S2622)

3) LiDAR에서 획득된 장애물의 수직적인 위치정보를 이용하여 격자에 마킹할 값을 결정한다.(S2623)

예를 들어, 3차원의 주변공간을 33(cm3)의 정육면체를 이용하여 표현하면 3cm x 3cm x 3cm의 정육면체의 격자들로 3차원 주변환경을 표현하는 것이다.

여기서, 각 격자가 1byte(8bit)로 표현된 경우를 살펴보면 도 78에 도시된 바와 같이 결정할 수 있다.

도 78에서 나타난 것과 같이 높이 정보 격자 사이즈를 이용하여 각 bit로 할당하여 표시하면 정보의 손실 없이 2차원 격자지도를 이용하여 3차원 정보를 표시할 수 있다. 다음의 예를 이용하여, 도 78의 투영지도 생성방법을 더 자세히 나타낸다.

예를 들면, 격자의 크기가 1.5cm라고 할 때(n=1.5), 장애물이 수직위치가 지면에서부터 4.5cm라면 아래와 같이 표현 가능 하다. 이를 16진수를 이용하여 표현하면, 격자에 들어갈 값은 0x70이다.

0 : 1 : 1 : 1 : 0 : 0 : 0 : 0

도 79 및 도 80에 도시된 바와 같이, 격자지도를 2byte (16bit)로 표현하면 1byte 격자와 같은 측정 범위를 가진다면 더 세밀하게 표현하는 것이 가능하고, 1byte 격자와 같은 격자 사이즈를 가진다면 더 넓은 범위를 표현할 수 있다.

도 78 내지 도 80에 도시된 바와 같이, 3차원 주변 환경정보를 3차원 배열 또는 3차원 point cloud없이 2차원적 격자지도를 이용하여 위치 정보의 손실 없이 투영지도를 생성하는 방법을 제안하였다. 도 78 내지 도 80의 지도를 이용하여 청소로봇에서 3차원 정보를 표현하는 방법을 도시하면 도 81 및 도 82와 같이 나타낼 수 있다.

도 81 및 도 82에 도시된 바와 같이 청소로봇에서 측정된 3차원 장애물은 2차원 투영지도에 정보 손실 없이 표현하는 것이 가능하다는 것을 알 수 있다. 도 81에서 보는 것과 같이 지역 지도의 (2, 1)위치의 장애물은 1n의 높이 내에 있기 때문에, M(2,1) = 00010000 이므로 (여기서 M은 지역지도를 나타낸다), 16진수로 표현 시 도 8와 같이 M(2,1)=0x10이 된다.

청소로봇에 있어서 벽을 구분하는 것은 매우 중요한 능력 중 하나이다. 먼지가 많이 모이는 벽과 바닥의 경계나 구석진 곳에 붙어서 청소하는 능력은 먼지를 많이 모아 담아야 하는 청소로봇의 청소 성능을 가늠하는 중요한 척도가 된다. 따라서 주변 환경 정보로부터 벽을 구분하고 벽에 가까이 접근하여 충돌 없이 벽을 따라 이동하는 wall following 기능이 매우 중요하다.

기존의 청소로봇에서 하나 또는 두 개의 적외선 또는 거리 측정 센서를 이용하여 센서의 오차에 따라 로봇이 벽을 따라 직선으로 이동하지 못하고 지그재그로 이동하는 방식과는 달리, 주변의 정보를 360도 획득할 수 있는 레이저 스캔 센서 기반의 청소로봇들은 더 많은 환경정보를 이용하여 주변의 벽을 정확히 구분하고, 더 많은 정보들 (예를 들어, 벽의 진행 방향 등)을 제공할 수 있다.

일반적으로, 3차원 다채널 라이다 기반의 청소로봇은 3차원 환경정보를 사용하기 때문에 기존의 2차원 레이저 스캔 센서 기반의 벽 추출 알고리즘들을 사용하는 것이 어렵다.

그러나 본 발명의 일실시예가 적용된 다채널 라이다 기반의 이동체는 3차원 환경정보를 획득함에도 불구하고, 투영지도를 사용하여 용이하게 모든 정보를 종합하여 기존이 2차원 환경 정보에서 사용하는 기법들을 다음과 같은 과정을 거쳐 그대로 사용할 수 있다.

1) 높이 정보가 포함된 투영지도를 1또는 0으로 표현되는 이진 정보로 바꾼다.

2) 이진 투영지도를 허프 변환하여 직선 영역을 추출한다.

3) 청소 지도와 비교하여 청소를 하지 않은 영역에 대한 우선순위를 높이고, 거리가 가까운 곳의 직선의 우선순위를 높인다.

더욱 상세히 설명하면, 벽에 대한 정보를 추출하기 위하여 3차원 정보를 담고 있는 투영지도를 1과 0으로 표시되는 이진화 과정을 통해 2차원 정보로 압축하는 과정을 거친다. 투영지도를 이진화하는 과정은 알고리즘 1)과 같이 나타낼 수 있다.(S2630)

알고리즘 1)

if M(n,m) >0

B(n,m) = 1;

else

B(n,m) = 0;

여기서, B는 이진 지도로 지역지도를 모두 1과 0만을 이용하여 표시한 지도이다.

알고리즘 1)에서 보는 것과 같이, 투영지도 M의 위 과정을 거처 이진지도 B로 변환되며, 2차원 정보로 환원된다.(S2631) 도 82의 정보를 이진화 하면 다음 도 83과 같이 나타낼 수 있다.

도 83와 같이 표시된 이진 지도를 이용하여 우리는 기존에 많이 사용되어온 알고리즘들을 쉽게 적용할 수 있다. 보통의 경우 벽은 직선 성분이 매우 강하게 나타나기 때문에 본 문서에서는 기존 영상처리나 장애물 지도 분석에 많이 사용되어온 허프 변환을 통하여 직선 성분들을 추출한다.(S2632)

3차원 환경정보를 표시하는 투영지도를 이진화를 통해 이진 지도로 변환하고 이를 허프 변환을 통하여 직선 성분들을 추출하여 벽을 추정하고 나면, 각 추정된 벽들에 대하여 우선 순위를 부여하도록 한다(S2633). 각 벽들의 우선 순위는 다음의 사항들을 기준으로 구분한다.

1) 청소 유무, 청소가 되지 않은 곳의 우선순위를 높이 한다.

2) 거리 관계, 거리가 가까울수록 우선순위를 높이 한다.

위 두 사항을 기준으로 모든 추정된 벽들에 대하여 우선순위를 부여하고, 그 중 최고 우선순위의 벽을 추종할 수 있도록 한다.

기존 청소로봇들에서 감지되지 않은 낮은 장애물들은 로봇에 말려 들어갈 수 있는 옷가지, 장난감 블록, 또는 동물의 배설물 등 실제로 로봇의 안전한 주행과 청소 성능에 많은 영향을 미치고 있어 반드시 감지되고 회피되어야 한다. 본 발명의 일실시예가 적용된 다채널 LiDAR를 장착한 이동체(1)은 다채널 LiDAR가 장착된 위치보다 낮은 장애물들에 대한 정보를 획득할 수 있기 때문에 낮은 장애물과의 충돌 및 이에 따라 발생하는 다양한 문제들을 회피할 수 있다. 이를 위하여 3차원 지도 정보에서 바닥과 장애물을 구분하여 장애물을 표시하는 것이 매우 중요하다.

도 69에서 보는 것과 같이 청소로봇에 장착된 다채널 LiDAR에로부터 측정된 청소로봇의 아래 방향 정보에서 센서에서 바닥까지의 거리가 dn = h/cos(θn) (여기서, n= 1, 2, 3) 가 되면 바닥으로 추정할 수 있다. 그렇지 않은 경우 바닥이 아닌 장애물로 표시 가능하다. 이를 투영지도를 이용하여 나타내면 다음과 같이 표현하는 것이 가능하다.(S2640)

도 81을 참조하여 예를 들면, 다채널 LiDAR 센서의 위치가 3n인 경우, 낮은 장애물들은 0x80 (10000000)보다 작은 수로 표시된다. 또한, 보통의 청소로봇들과 같이 낮지 않은 장애물들은 모두 투영지도에 0x80보다 크거나 같은 값으로 표시될 것이다. 이러한 두 정보를 조합하여 장애물 정보를 획득할 수 있고 청소로봇은 다음 장과 같이 장애물에 직면하기 전에 미리 충돌 회피 경로를 계획할 수 있다.(S2650)

<이동체의 청소부>

도 84 내지 도 88은 본 발명의 실시예들에 따른 이동체의 청소부에 관한 도면이다.

청소부(90)를 구비한 이동체(청소로봇)는 도 85에 도시된 바와 같이 흡입구(1420)의 일측에 장착된 유량 센서(flow sensor, 1410)를 이용하여 먼지(1430)의 유입량을 검출할 수 있다.

이동체(1)은 이를 위해 유량 센서로 초음파식 유량 센서(ultrasonic flow sensor), TOF 기반의 유량 검출기(flow detector) 등을 이용할 수 있다. 이동체(1)가 이러한 유량 센서를 이용하여 먼지의 유입량을 검출하는 경우 광소자를 이용하는 경우보다 윈도우(window)에 부착되는 먼지에 덜 민감하게 작용할 수 있다.

청소부(90)는 이물질 유입량 검출부를 더 포함할 수 있다. 이물질 유입량 검출부는 청소 기능을 수행하는 장치의 흡입구에 부착된 유량 센서를 이용하여 이물질의 유입량을 검출하는 기능을 수행한다. 청소로봇은 바닥면의 상태와 이물질의 유입량을 기초로 실내에 대한 청소 기능을 제어할 수 있다.

도 86 및 도 87을 참조하면, 청소부(90)는 사이드 브러쉬(side brush) 및/또는 브러쉬 휠(brush wheel)을 포함한다. 도 88을 참조하면, 이동 로봇의 앞단의 하단에 부착되거나 형성된 원통형의 브러쉬 휠은 바퀴의 역할을 수행함으로써 문턱이나 카펫을 비교적 쉽게 올라 갈 수 있도록 한다.

<이동체의 이동 장치>

도 89 내지 도 96은 본 발명의 실시예들에 따른 이동체가 이동하는 동작을 설명하기 위한 도면이다.

이동 장치(20)는 전진 구동부(910), 조향부(920), 및 후진 구동부(930)를 포함한다. 이동체(1)은 전진하거나 후진을 이용한 청소 모션을 수행할 수 있다. 이동체(1)은 TOF 기반의 360도 거리 측정기를 이용하여 이동 방향 및 경로를 결정한다.

TOF 기반의 360도 거리 측정기를 장착한 이동체(1)은 전방, 후방 등 센서의 장착 위치에 관계없이 후진도 자유롭게 할 수 있기 때문에, 기존의 전진만 하는 로봇과 달리 다음과 같은 다양한 모션 적용이 가능하다.

첫째, 180도 방향 전환시 이동체(1)가 도 90에 도시된 바와 같이 회전하지 않고 도 91에 도시된 바와 같이 바로 후진함으로써 전체 청소 시간을 줄일 수 있다.

둘째, 먼지가 많은 곳에서 집중 청소시 이동체(1)가 도 92에 도시된 바와 같이 앞뒤로 움직이면서 청소하여 충분히 먼지를 제거할 수 있다.

이 경우 이동체(1)가 회전하지 않고 그 지역을 청소하기 때문에 위치 추정 성능을 유지하고 회전에서 많이 발생하는 슬립을 줄일 수 있다. 또한 이동체(1)가 브러시(brush)와 걸레를 양쪽 방향으로 모두 사용하기 때문에, 기존에 직진만 하는 경우 브러시와 걸레를 한쪽 방향으로만 사용하여 먼지가 한쪽으로 많이 묻는 문제점도 해결하고, 위치 추정 성능을 유지하고, 회전에서 많이 발생하는 슬립(slip)을 줄일 수 있다.

<충돌 회피경로 생성>

도 93 내지 도 96을 참조하여, 청소로봇의 안전과 최대 청소영역을 확보할 수 있는 최적의 충돌 회피경로 생성 알고리즘을 설명하다.

본 실시예에 따른 청소로봇은 낮은 장애물을 포함한 모든 장애물 정보를 투영지도에 표현되기 때문에 이를 바탕으로 하여 장애물과의 충돌에 직면하기 전에 충돌 회피가 가능한 경로를 계획하는 것이 가능하다. 장애물로부터 가장 먼 곳들을 연결하여 충돌을 회피하는 경로를 생성하는 기존의 청소로봇들과 달리, 본 실시예에 따른 청소로봇은 장애물에 가까이 붙으면서 장애물과의 충돌을 회피하면서 가능한 많은 지역을 빠짐없이 청소할 수 있다.

도 93은 청소로봇이 청소를 하는 경우 청소로봇과 장애물 간의 관계를 도시한 것이다.

도 93에서 도시된 바와 같이, 장애물들은 모두 청소로봇의 safe zone의 바깥에 위치하여야 한다. 그러나 청소로봇에서 장애물까지의 가장 가까운 거리 do가 최소가 되도록 경로를 생성하여야 최대한 넓은 면적을 청소할 수 있게 된다. 도 95를 기반으로 최적 경로는 수학식 (3)의 최적화 문제로 환원된다.

수학식 (3)의 최적화 문제를 만족하면서 청소로봇의 이동경로를 결정해야 하는데, 이를 위하여 식 (3)의 최적화 문제를 기존 이동체의 경로 계획 알고리즘에 적용할 수 있다. 특히, 본 발명에서는 RRT (rapid random tree)와 Potential field(참고, wavefront 방법과 유사하다.) 기법을 고려한다.

먼저, RRT의 경우, 다음과 같이 청소로봇이 이동할 수 있는 다양한 경로의 집합인 로드맵(roadmap)을 생성하고, 그 중 최적의 경로를 선택하기 위하여 수학식 (3)의 최적화 문제 적용한다.

도 94는 수학식 (3)의 최적화 문제가 적용된 RRT로부터 최적의 경로를 선택하는 과정을 도시한 것이다.

도 94에서 점선은 청소로봇이 이동할 수 있는 모든 경로들을 표시한 것이고, 실선은 가능한 모든 경로들 중에서 수학식 (3)의 최적화 문제를 통해 선택된 청소로봇의 이동 경로 이다.

도 95 및 도 96은 수학식 (3)의 최적화 문제를 통한 potential field 기반의 경로 생성 과정을 도시한 것이다.

Potential field를 적용하였을 때에는 장애물과 청소로봇의 거리에 따라 도 13(a)와 같은 potential을 부여하게 된다.

도 95에 도시된 바와 같이 수학식 (3)의 최적화 문제를 potential field에 적용하면 do가 r + ds일때 potential이 최소가 되기 때문에 도 96과 같은 경로를 얻을 수 있다.

다채널 LiDAR를 장착하여 3차원 환경정보 획득이 가능한 청소로봇의 청소 주행 알고리즘은 다음과 같은 효과가 있다. 먼저, 투영지도를 제안함으로써 큰 저장 공간과 연산 능력이 필요한 3차원 공간정보를 기존의 2차원 격자지도에 정보 손실 없이 적용할 수 있다. 또한, 투영지도를 이용하여 3차원 정보를 쉽게 기존의 방법들을 적용하여 벽 정보를 추출하였고, 장애물을 구분할 수 있다. 또한 이러한 벽과 장애물 정보를 기반으로 하여 청소영역을 최대화하고 장애물과의 충돌을 회피할 수 있는 주행 경로를 계획할 수 있다.

<이동 경로 표시>

도 97은 본 발명의 실시예들에 따른 이동체가 이동한 경로를 예시적으로 표시한 도면이다.

본 발명의 이동체는 디스플레이부를 더 포함할 수 있다. 이 때, 사용자는 상기 이동체가 청소를 수행한 영역을 상기 디스플레이부를 통해 시각적으로 확인할 수 있도록, 이동체의 주행 영역을 나타내는 맵이 표시된다. 예컨대, 사용자가 이동체의 청소동작을 수행한 영역 및 청소동작을 수행할 예정인 영역을 모두 포함하는 맵을 게임 캐릭터가 이동하는 것과 같이 표시할 수 있다.

이동체 및 라이다 장치 등에 포함된 구성요소들이 각각의 도면에서는 분리되어 도시되어 있으나, 복수의 구성요소들은 상호 결합되어 적어도 하나의 모듈로 구현될 수 있다. 구성요소들은 장치 내부의 소프트웨어적인 모듈 또는 하드웨어적인 모듈을 연결하는 통신 경로에 연결되어 상호 간에 유기적으로 동작한다. 이러한 구성요소들은 하나 이상의 통신 버스 또는 신호선을 이용하여 통신한다.

이동체 및 라이다 장치는 하드웨어, 펌웨어, 소프트웨어 또는 이들의 조합에 의해 로직회로 내에서 구현될 수 있고, 범용 또는 특정 목적 컴퓨터를 이용하여 구현될 수도 있다. 장치는 고정배선형(Hardwired) 기기, 필드 프로그램 가능한 게이트 어레이(Field Programmable Gate Array, FPGA), 주문형 반도체(Application Specific Integrated Circuit, ASIC) 등을 이용하여 구현될 수 있다. 또한, 장치는 하나 이상의 프로세서 및 컨트롤러를 포함한 시스템온칩(System on Chip, SoC)으로 구현될 수 있다.

이동체 및 라이다 장치는 하드웨어적 요소가 마련된 컴퓨팅 디바이스에 소프트웨어, 하드웨어, 또는 이들의 조합하는 형태로 탑재될 수 있다. 컴퓨팅 디바이스는 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신장치, 프로그램을 실행하기 위한 데이터를 저장하는 메모리, 프로그램을 실행하여 연산 및 명령하기 위한 마이크로프로세서 등을 전부 또는 일부 포함한 다양한 장치를 의미할 수 있다.

각 도면에서는 각각의 과정을 순차적으로 실행하는 것으로 기재하고 있으나 이는 예시적으로 설명한 것에 불과하고, 이 분야의 기술자라면 본 발명의 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도면에 기재된 순서를 변경하여 실행하거나 또는 하나 이상의 과정을 병렬적으로 실행하거나 다른 과정을 추가하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이다.

본 실시예들에 따른 동작은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능한 매체에 기록될 수 있다. 컴퓨터 판독 가능한 매체는 실행을 위해 프로세서에 명령어를 제공하는 데 참여한 임의의 매체를 나타낸다. 컴퓨터 판독 가능한 매체는 프로그램 명령, 데이터 파일, 데이터 구조 또는 이들의 조합을 포함할 수 있다. 예를 들면, 자기 매체, 광기록 매체, 메모리 등이 있을 수 있다. 컴퓨터 프로그램은 네트워크로 연결된 컴퓨터 시스템 상에 분산되어 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 본 실시예를 구현하기 위한 기능적인(Functional) 프로그램, 코드, 및 코드 세그먼트들은 본 실시예가 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있을 것이다.

본 실시예들은 본 실시예의 기술 사상을 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (20)

1. 이동체에 있어서,
   비행시간을 기반으로 대상체로부터의 거리를 측정하는 라이다 장치;
   상기 측정한 거리를 기반으로 생성한 점군 데이터를 처리하여 이동 경로를 생성하는 경로 제어기; 및
   상기 이동 경로를 기반으로 상기 이동체를 이동하도록 구현된 이동 장치를 포함하며,
   상기 라이다 장치는,
   광을 송신하고 수신하여 전기 신호를 출력하는 광 송수신기;
   상기 전기 신호를 분석하여 제어 신호를 생성하는 신호 판별기; 및
   상기 제어 신호를 기반으로 상기 광의 비행시간을 산출하여 거리를 측정하는 거리 측정기를 포함하며,
   상기 거리 측정기는 상기 비행시간을 산출하는 시간 디지털 변환기를 포함하고,
   상기 이동체는 상기 거리 측정기의 외부에서 기준 클럭을 발생시키는 클럭 발생기를 포함하며,
   상기 거리 측정기는 상기 클럭 발생기로부터 수신한 상기 기준 클럭을 카운팅하고, 상기 거리 측정기의 내부의 오실레이터에서 발생한 내부 클럭을 카운팅하는 기준 클럭 카운터를 포함하며,
   상기 거리 측정기는 상기 기준 클럭의 개수 및 상기 내부 클럭의 개수의 비율을 이용하여 상기 비행시간을 보정하는 것을 특징으로 하는 이동체.
2. 삭제
3. 제1항에 있어서,
   상기 라이다 장치는 복수의 광 송수신기를 포함하며, 상기 복수의 광 송수신기는 상이한 각도로 설치되어 다채널 스캐닝하는 것을 특징으로 하는 이동체.
4. 제1항에 있어서,
   상기 광 송수신기는 출사된 광을 통과시키는 홀을 포함하는 제1 거울 및 기 설정된 주기로 움직이는 제2 거울을 포함하며, 상기 제1 거울은 곡면으로 형성된 반사면에 반사된 광선이 모이는 초점을 갖는 것을 특징으로 하는 이동체.
5. 제1항에 있어서,
   상기 광 송수신기는 상기 광 송수신기의 샘플링 주기 중에서 검출 시간 동안 전기 신호를 출력하는 것을 특징으로 하는 이동체.
6. 제1항에 있어서,
   상기 신호 판별기는 상기 전기 신호를 변환하고 기 설정된 기준 크기를 갖는 시점을 검출하여 상기 제어 신호를 생성하는 것을 특징으로 하는 이동체.
7. 제6항에 있어서,
   상기 거리 측정기는 상기 제어 신호의 펄스 폭을 이용하여 상기 비행시간을 보정하는 것을 특징으로 하는 이동체.
8. 제1항에 있어서,
   상기 거리 측정기는 조절된 논리소자의 위치 및 신호경로를 기반으로 클록 폭을 조절한 복수의 오실레이터를 갖는 시간 디지털 변환기를 이용하여 상기 비행시간을 산출하는 것을 특징으로 하는 것을 특징으로 하는 이동체.
9. 삭제
10. 제1항에 있어서,
    상기 라이다 장치는,
    상기 대상체가 인공표식인지 여부를 판단하고 상기 인공표식에 포함된 비가시적 바코드를 분석하는 인공표식 검출기를 추가로 포함하는 이동체.
11. 제1항에 있어서,
    상기 점군 데이터를 분석하여 노드에 관한 키 프레임을 생성하고, 연속하는 노드 간의 오도메트리 엣지를 산출하고 상기 키 프레임을 갱신하여 지역 지도를 추정하며, 상기 갱신한 키 프레임의 집합에 대하여 연속하지 않는 노드 간의 루프 클로저 엣지를 검출하고, 상기 오도메트리 엣지 및 상기 루프 클로저 엣지를 기반으로 상기 노드의 위치를 보정하여 전역 지도를 추정하는 지도 생성기를 추가로 포함하는 이동체.
12. 제1항에 있어서,
    상기 경로 제어기는,
    상기 점군 데이터를 분석하여 바닥면의 높낮이 변화와 관련된 정보를 생성하는 바닥면 상태 결정부를 포함하는 것을 특징으로 하는 이동체.
13. 제1항에 있어서,
    상기 점군 데이터를 분석하여 장애물을 3차원 상에서 정의하기 위한 3차원 환경정보를 생성하고, 2차원 공간 지도에 상기 3차원 환경정보가 포함된 투영지도를 생성하는 투영지도 생성기를 추가로 포함하는 이동체.
14. 광을 송신하고 수신하여 전기 신호를 출력하는 광 송수신기;
    상기 전기 신호를 분석하여 제어 신호를 생성하는 신호 판별기; 및
    상기 제어 신호를 기반으로 상기 광의 비행시간을 산출하여 거리를 측정하는 거리 측정기를 포함하며,
    상기 거리 측정기는 상기 비행시간을 산출하는 시간 디지털 변환기를 포함하고,
    상기 거리 측정기는 외부의 클럭 발생기로부터 수신한 기준 클럭을 카운팅하고, 내부의 오실레이터에서 발생한 내부 클럭을 카운팅하는 기준 클럭 카운터를 포함하며,
    상기 거리 측정기는 상기 기준 클럭의 개수 및 상기 내부 클럭의 개수의 비율을 이용하여 상기 비행시간을 보정하는 것을 특징으로 하는 라이다 장치.
15. 제14항에 있어서,
    상기 광 송수신기는 출사된 광을 통과시키는 홀을 포함하는 제1 거울 및 기 설정된 주기로 움직이는 제2 거울을 포함하며, 상기 제1 거울은 곡면으로 형성된 반사면에 반사된 광선이 모이는 초점을 갖는 것을 특징으로 하는 라이다 장치.
16. 제14항에 있어서,
    상기 광 송수신기는 상기 광 송수신기의 샘플링 주기 중에서 검출 시간 동안 전기 신호를 출력하는 것을 특징으로 하는 라이다 장치.
17. 제14항에 있어서,
    상기 신호 판별기는 상기 전기 신호를 변환하고 기 설정된 기준 크기를 갖는 시점을 검출하여 상기 제어 신호를 생성하는 것을 특징으로 하는 라이다 장치.
18. 제17항에 있어서,
    상기 거리 측정기는 상기 제어 신호의 펄스 폭을 이용하여 상기 비행시간을 보정하는 것을 특징으로 하는 라이더 장치.
19. 제14항에 있어서,
    상기 거리 측정기는 조절된 논리소자의 위치 및 신호경로를 기반으로 클록 폭을 조절한 복수의 오실레이터를 갖는 시간 디지털 변환기를 이용하여 상기 비행시간을 산출하는 라이다 장치.
20. 삭제

Images