KR20220082310A - Tof 카메라와 머신러닝 알고리즘을 활용한 자율주행 팔로잉 모빌리티의 동작 방법 - Google Patents

Abstract

본 발명은 움직이는 사람 및 사물, 고정적인 설치시설 장애물 등 사물의 형태 및 사용자를 인식할 수 있도록 TOF 카메라 기반의 컨트롤 기술과 AI(머신러닝)을 통한 인지기술을 이용하는 기술적 사상에 관한 것으로서, 일실시예에 따른 자율주행 팔로잉 모빌리티의 동작 방법은 TOF(Time Of Flight) 카메라로 피사체를 촬영하여 영상 데이터를 생성하는 단계, 상기 생성한 영상 데이터에 대해 머신러닝을 기반으로 상기 피사체를 인식하는 단계, 및 상기 인식된 피사체에 모션컨트롤 하기 위한 명령어 세트를 생성하는 단계를 포함할 수 있다.

Description

TOF 카메라와 머신러닝 알고리즘을 활용한 자율주행 팔로잉 모빌리티의 동작 방법{Operation method of the automatic driving following mobility utilizing the TOF camera and machine learning algorithm}

본 발명은 움직이는 사람 및 사물, 고정적인 설치시설 장애물 등 사물의 형태 및 사용자를 인식할 수 있도록 TOF 카메라 기반의 컨트롤 기술과 AI 기반의 머신러닝을 통한 인지기술을 이용하는 기술적 사상에 관한 것이다.

기존에 개발되었던 자율주행 제품들은 고가의 Lidar 센서를 이용하는데 불구하고 초음파센서 등 추가적인 센서를 사용하여 자율주행을 구현하였다.

Lidar 센서는 장애물 인식에는 효과적이나 이용자 인식이나 특정 사물 인식은 불가능하다.

Lidar센서를 활용한 자율주행의 경우 채널의 수에 따라 식별 속도와 해상도가 상이하여 효과적인 장애물 회피기능을 가진 자율주행 제품을 개발하기 위해 고가의 다채널의 센서를 사용해야 한다.

Lidar센서의 경우 레이저와 같은 광선을 이용하여 피사체의 거리 및 경계 인지하는 방식으로 효과적인 데이터 생성을 위해 센서를 회전 시켜야 하는 문제가 있다. 이러한 문제로 이동장애물의 인지가 상대적으로 느리다.

중국의 DJI의 제품을 경우 사용자가 설정한 특정 고도 및 거리에서 수신기 등을 별도로 소지 하거나 화각 내에 전신 혹은 얼굴 등 특정 부위가 인식이 되어야 팔로잉 기능 구현이 가능하며, 장애물 회피 기능이 빠진 오롯이 사용자 또는 주변 인물이 촬영 중 화각 내에 중앙에 위치할 수 있도록 하는 기능만 가지고 있다.

일반적인 수동 바퀴의 경우 수직, 수평 이동이 불가능하며, 방향전환을 위해 선회 운동을 하여야 한다. 이에 따라 회전반경이 증가하여 구동환경이 협소한 곳에서는 이동에 많은 제약이 따른다.

한국등록특허 제10-0906991호 "로봇의 비시인성 장애물 탐지방법" 한국등록특허 제10-0920931호 "TOF 카메라를 이용한 로봇의 물체 자세 인식 방법" 한국등록특허 제10-2159994호 "티오에프 카메라 장치 및 이의 구동 방법" 한국공개특허 제10-2019-0114937호 "티오에프 방식에서 거리 측정 방법 및 및 이를 이용한 자율 주행 시스템"

본 발명은 생활편의를 위한 병원에서의 자율주행 링갤걸이, 공항에서의 팔로잉 캐리어 카트 등에 활용될 수 있는 자율주행 팔로잉 모빌리티를 제공하는 것을 목적으로 한다.

본 발명은 안전분야에 있어 위험한 산업현장에 사람이 스스로 특정 물체를 밀거나 끌어야 하는 상황에서 그 물체에 자율주행 기능을 제공할 수 있는 자율주행 팔로잉 모빌리티를 제공하는 것을 목적으로 한다.

본 발명은 센서 탐지 방법을 활용해 사람의 접근이 용이하지 않은 지하공동구 점검등에 효율적으로 활용될 수 있는 자율주행 팔로잉 모빌리티를 제공하는 것을 목적으로 한다.

본 발명은 기존 개발품들에 비해 부수적으로 사용되는 센서의 사용을 줄여 연산 및 통신에 소요되는 시간을 단축하여 자율주행 중 발생할 수 있는 다양한 응급상황에서 빠르고 정확하게 대응할 수 있는 자율주행 팔로잉 모빌리티를 제공하는 것을 목적으로 한다.

본 발명은 Omni wheel과 구동 알고리즘이 적용되어 협소공간(엘리베이터, 병실 등)에서 보다 효율적인 구동을 통해 장애물 회피 기능을 극대화할 수 있는 자율주행 팔로잉 모빌리티를 제공하는 것을 목적으로 한다.

일실시예에 따른 자율주행 팔로잉 모빌리티의 동작 방법은 TOF(Time Of Flight) 카메라로 피사체를 촬영하여 영상 데이터를 생성하는 단계, 상기 생성한 영상 데이터에 대해 머신러닝을 기반으로 상기 피사체를 인식하는 단계, 및 상기 인식된 피사체에 모션컨트롤 하기 위한 명령어 세트를 생성하는 단계를 포함할 수 있다.

일실시예에 따른 상기 생성한 영상 데이터에 대해 머신러닝을 기반으로 상기 피사체를 인식하는 단계는, 상기 피사체를 촬영하여 생성한 영상 데이터로부터 상기 피사체에 대한 특성정보 및 스켈레톤 데이터를 획득하는 단계, 및 상기 획득한 특성정보로부터 상기 피사체를 구분하고, 상기 구분된 피사체에 대한 스켈레톤 데이터를 기학습된 스켈레톤 데이터와 비교하여 상기 피사체에 대한 관절부분을 인식하는 단계를 포함할 수 있다.

일실시예에 따른 상기 인식된 피사체에 모션컨트롤 하기 위한 명령어 세트를 생성하는 단계는, 상기 인식된 관절부분의 움직임으로부터 상기 피사체에 대한 행동 또는 제스쳐를 인식하는 단계, 및 상기 인식된 행동 또는 제스쳐에 기반하여 상기 명령어 세트를 생성하는 단계를 포함할 수 있다.

일실시예에 따른 상기 피사체를 촬영하여 생성한 영상 데이터로부터 상기 피사체에 대한 특성정보 및 스켈레톤 데이터를 획득하는 단계는, 상기 피사체를 구성하는 적어도 둘 이상의 부분에 대한 위치데이터를 획득하는 단계를 포함하고, 상기 획득한 적어도 둘 이상의 위치데이터로부터 상기 피사체의 중심을 확인하는 단계, 및 상기 확인된 피사체의 중심에 대한 중심 데이터를 산출하는 단계를 더 포함할 수 있다.

일실시예에 따른 상기 인식된 피사체에 모션컨트롤 하기 위한 명령어 세트를 생성하는 단계는, 상기 생성한 영상 데이터에서 가상의 기준 존을 생성하여 팔로잉 구동의 기준점으로 설정하는 단계, 상기 기준 존에서 미리 지정된 거리 내에서 버퍼 존을 설정하는 단계, 및 상기 버퍼 존에 위치하는 경우 기준 이하의 속도로 모터를 구동하여 상기 기존 존으로 이동하도록 제어하는 명령어 세트를 생성하는 단계를 포함할 수 있다.

일실시예에 따른 자율주행 팔로잉 모빌리티의 동작 방법은 상기 생성한 영상 데이터를 이미지 데이터로 가공하는 단계, 상기 가공된 이미지 데이터 중에서 피사체의 거리 데이터만을 추출하는 단계, 상기 추출된 거리 데이터에 대해 이전 프레임에서의 거리 데이터와 비교하는 단계, 및 상기 비교 결과 기준 범위 이내인 경우 상기 피사체를 정지 상태로 인식하는 단계를 포함할 수 있다.

일실시예에 따른 자율주행 팔로잉 모빌리티의 동작 방법은 상기 생성한 영상 데이터를 이미지 데이터로 가공하는 단계, 상기 가공된 이미지 데이터를 이진화 하여 선처리 하는 단계, 상기 선처리된 이미지 데이터에서 장애물의 형태 중 외곽의 좌표데이터를 산출하고, 상기 산출된 좌표데이터를 바탕으로 기준선 좌표 데이터와 비교하여 구분되는 존들 중에서, 장애물이 위치하느 특정 존을 인식하는 단계, 및 상기 인식된 특정 존에 대해 상기 피사체 추종 알고리즘과 반대되도록 모터 구동을 위한 명령어 세트를 생성하는 단계를 포함할 수 있다.

일실시예에 따르면, 생활편의를 위한 병원에서의 자율주행 링갤걸이, 공항에서의 팔로잉 캐리어 카트 등에 활용될 수 있는 자율주행팔로잉 모빌리티를 제공할 수 있다.

일실시예에 따르면, 안전분야에 있어 위험한 산업현장에 사람이 스스로 특정 물체를 밀거나 끌어야 하는 상황에서 그 물체에 자율주행 기능을 제공할 수 있다.

일실시예에 따르면, 센서 탐지 방법을 활용해 사람의 접근이 용이하지 않은 지하공동구 점검등에 효율적으로 활용될 수 있다.

일실시예에 따르면, 기존 개발품들에 비해 부수적으로 사용되는 센서의 사용을 줄여 연산 및 통신에 소요되는 시간을 단축하여 자율주행 중 발생할 수 있는 다양한 응급상황에서 빠르고 정확하게 대응할 수 있다.

일실시예에 따르면, Omni wheel과 구동 알고리즘이 적용되어 협소공간(엘리베이터, 병실 등)에서 보다 효율적인 구동을 통해 장애물 회피 기능을 극대화할 수 있다.

도 1은 일실시예에 따른 자율주행 팔로잉 모빌리티의 제어 장치를 설명하는 도면이다.
도 2는 스켈레톤 데이터의 변별력 상향을 위한 알고리즘을 설명하는 도면이다.
도 3은 스켈레톤 데이터의 변별력 상향을 위한 추가 알고리즘을 설명하는 도면이다.
도 4는 사용자 추적 알고리즘을 설명하는 도면이다.
도 5는 장애물 회피를 위한 알고리즘을 설명하는 도면이다.
도 6은 일실시예에 따른 자율주행 팔로잉 모빌리티의 동작 방법을 설명하는 도면이다.

본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시예들은 다양한 형태로 실시될 수 있으며 본 명세서에 설명된 실시예들에 한정되지 않는다.

본 발명의 개념에 따른 실시예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시예들을 특정한 개시형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 변경, 균등물, 또는 대체물을 포함한다.

제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만, 예를 들어 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 표현들, 예를 들어 "~사이에"와 "바로~사이에" 또는 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

본 명세서에서 사용한 용어는 단지 특정한 실시예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 특허출원의 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

도 1은 일실시예에 따른 자율주행 팔로잉 모빌리티의 제어 장치(100)를 설명하는 도면이다.

일실시예에 따른 자율주행 팔로잉 모빌리티의 제어 장치(100)는 생활편의를 위한 병원에서의 자율주행 링갤걸이, 공항에서의 팔로잉 캐리어 카트 등에 활용될 수 있는 자율주행팔로잉 모빌리티를 제공할 수 있다. 특히, 안전분야에 있어 위험한 산업현장에 사람이 스스로 특정 물체를 밀거나 끌어야 하는 상황에서 그 물체에 자율주행 기능을 제공할 수 있다.

이를 위해, 자율주행 팔로잉 모빌리티의 제어 장치(100)는 처리부(110), 저장부(120), 모션컨트롤부(130), 카메라(140), 구동부(150), 전원부(160), 중앙처리유닛(170)을 포함할 수 있다.

이 중에서, 처리부(110), 저장부(120), 모션컨트롤부(130)는 통합 임베디드되는 시스템의 형태로 구현될 수 있다.

처리부(110)는 연산이나 명령어 처리를 담당하는 역할을 수행할 수 있고, 저장부(120)는 명령어나 기타 데이터를 저장할 수 있으며, 모션컨트롤부(130)는 모션 콘트롤을 위한 명령어 세트를 실행하는 동작을 수행할 수 있다.

특히, 처리부(110)는 촬영한 이미지나 영상데이터에 대한 전처리를 수행할 수 있고, 저장부(120)는 AI(머신러닝) 학습데이터 및 모션컨트롤(Omni Wheel) 알고리즘, 피사체 및 사용자의위치 및 거리데이터 등을 저장할 수 있다.

모션컨트롤부(130)는 모터 컨트롤을 위한 데이터처리 및 전송을 수행할 수 있다.

이밖에도, 카메라(140), 구동부(150), 전원부(160)를 더 포함할 수 있고, 이 중에서 카메라(140)는 TOF 카메라(140)로서 영상 및 이미지 촬영 거리 데이터 확보를 위한 기능을 수행할 수 있다.

구동부(150)는 Omni Wheel의 구동을 위한 12V 모터컨트롤러 및 모터를 포함할 수 있고, 전원부(160)는 중앙 임베디드 시스템 및 모터구동을 위한 대용량 분리형 배터리를 포함할 수 있다.

중앙처리유닛(170)은 각 구성요소들을 제어하거나, 구성요소들 간에 통신을 지원하는 기능을 수행하는 구성요소로 해석될 수 있다.

이러한 자율주행 팔로잉 모빌리티의 제어 장치(100)는 기존 TOF카메라의 기본적인 기능인 RGB영역대의 촬영과 IR를 이용한 피사체의 거리측정을 수행하고, 촬영된 RGB 영역의 영상 및 이미지에 IR로 촬영된 거리 데이터를 합치며, 이 두 이미지를 결합하면서 생길 수 있는 이미지 사이즈 및 해상도, 심도 등을 선처리 작업을 통해 수정작업을 진행하여 복합 이미지 데이터를 생성할 수 있다. 또한, 이러한 복합이미지를 기본으로 팔로잉 자율주행 알고리즘을 구현할 수 있다.

예를 들어, 팔로잉 알고리즘은 모션인식을 위해 개발된 AI기술인 스켈레톤 인식 기술을 팔로잉 자율주행을 위한 사용자 인식에 응용하여 사용할 수 있다.

이는 기존에 개발된 얼굴 또는 사물 인식기능을 가진 장비와는 다르게 신체의 일부분만이 화각에 촬영되어도 사용자를 인식할 수 있다는 장점을 가지게 된다.

또한, 자율주행 팔로잉 모빌리티의 제어 장치(100)는 생성된 복합이미지 데이터에 기준좌표선 이미지라는 것을 추가하여 팔로잉 장비로 하여금 항상 사용자를 화각 중앙에 위치하게끔 모션을 컨트롤하여 기준좌표선을 기준으로 다수에 사람이 인식되어도 사용자 외에는 장애물로 인식한다.

기준좌표선 근처에 사용자이외에 사람이 존재할 경우 스켈레톤 인식으로 얻은 관절 좌표데이터를 이용하여 기준좌표선을 기준으로 거리가 가까운 사람을 쫓아가게 하는 알고리즘을 적용할 수 있다.

이러한 자율주행 팔로잉 모빌리티의 제어 장치(100)의 특징은 기존의 사용자를 항상 중앙에 맞춰 기동하는 알고리즘과 함께 사용되어 사용자 인식의 정확성을 높일 수 있다.

자율주행 팔로잉 모빌리티의 제어 장치(100)는 중앙 기준좌표선 이외에 좌,우측의 기동한계 기준좌표선 데이터를 추가하여 사용자 이외의 이동 및 고정 장애물을 인지하여 장비의 팔로잉 기동을 함에 있어 기동한계 기준 좌표선을 기준으로 기동하게 하는 알고리즘을 적용할 수 있다.

이는 장비의 회전 사용자의 이동방향을 정량적으로 측정이 가능하여 모션 컨트롤에 대한 세부 데이터를 확보하여 보다 정밀한 이동을 할 수 있다.

자율주행 팔로잉 모빌리티의 제어 장치(100)는 피사체의 포즈를 보다 정확하게 확보할 수 있는 방식에 대한 것이다.

기존에 사용되는 객체를 탐지하여 바운딩 박스를 그리고 이 바운딩 박스의 좌표를 이용하여 사람의 이미지만을 분리해 내어 머신러닝(AI)로 미리 학습된 모델로 사람의 관절을 인식하여 해당 사용자의 자세를 인식하는 기술이 아닌 3차원 점군 데이터를 생성하여 해당 플로우를 진행할 수 있다.

또한, 자율주행 팔로잉 모빌리티의 제어 장치(100)는 시인 장애물을 회피하며 사용자를 효과적으로 추종할 수 있는 알고리즘을 제시할 수 있다.

도 2는 스켈레톤 데이터의 변별력 상향을 위한 알고리즘을 설명하는 도면(200)이다.

스켈레톤 기술이란 TOF 카메라와 AI를 이용하여 사용자의 특정 관절을 인식할 수 있는 기술로서, 기존 사물 인식(Object Detection) 기술로 인식한 사물 또는 동물을 박스 형태로 구분하여 인식하는(Bounding Box) 기술보다 발전된 형태이며, 사람의 관절을 구분할 수 있어 행동 및 제스처 인식이 가능하다.

즉, 자율주행 팔로잉 모빌리티의 제어 장치가 TOF 카메라와 머신러닝을 이용하여 각 관절의 위치, 예를 들어 머리, 손, 팔꿈치, 어깨, 골반, 무릎, 발을 인식하기 위해서 인식율이 높고 이동중 움직임이 적은 기준점이 필요하다.

사용자의 움직임에 따라 관절 포인트의 거리의 편차가 심하기 때문에, 걷는 행동 중 팔, 다리는 움직임이 크므로 해당 부위를 이용하여 팔로잉을 구현하기에는 무리가 있다.

머리, 골반, 어깨의 데이터를 기준점으로 사용하여 팔로잉을 구현하는 것도 가능하나 각 해당 위치의 데이터는 팔, 다리의 데이터를 기준으로 생성되기 때문에 팔, 다리의 데이터가 부재할 경우 어깨, 골반의 데이터가 생성되지 않아 해당 기술로 팔로잉을 구현하기에는 무리가 있다. 특히, 사용자의 이동중에 팔다리의 데이터상실율이 높다.

이에 자율주행 팔로잉 모빌리티의 제어 장치는 팔, 다리의 검출 데이터를 바탕으로 추가적인 어깨와 골반의 위치데이터를 생성할 수 있다.

도면부호 201은 오른쪽 어깨의 위치데이터, 도면부호 202는 왼쪽 어깨의 위치데이터에 해당하며, 도면부호 203은 오른쪽 골반의 위치데이터, 도면부호 204는 왼쪽 골반의 위치데이터에 해당한다.

해당 데이터를 바탕으로 각 지점(201, 202, 203, 204)의 좌표 데이터를 이용하여 사용자의 중심을 계산할 수 있다.

해당 알고리즘은 완벽히 정면과 후면으로 카메라에게 인식되지 않아도 사용자의 중심을 인식 할 수 있어 정확한 장비와 사용자의 거리를 파악할 수 있다.

또한, 특정 부위의 데이터 상실로 왼쪽 또는 오른쪽 어깨, 골반을 인식 할 수 없게 되어도 다른 부위의 위치데이터를 이용하여 사용자의 중심을 찾아 정확한 거리데이터를 얻을 수 있다.

도 3은 스켈레톤 데이터의 변별력 상향을 위한 추가 알고리즘을 설명하는 도면(300)이다.

본 발명은 기본적으로 제품에 활용된 스켈레톤 데이터를 얻을 수 있는 오픈 소스를 수정할 수 있다.

본 발명에서는 어깨와 골반을 검출하기 위한 학습 데이터를 추가하여 검출 신뢰성을 향상시킬 수 있다.

예를 들어, 자율주행 팔로잉 모빌리티의 제어 장치는 수정한 Open Source를 바탕으로 P1, P7, P4, P11를 얻을 수 있다.

자율주행 팔로잉 모빌리티의 제어 장치는 기존의 팔, 다리의 위치 좌표 데이터(P2,P3,P5,P6,P8,P9,P12,P13)를 프로세싱 데이터 계층에서 로우 데이터(LOW DATA) 계층으로 변경할 수 있다. 또한, 자율주행 팔로잉 모빌리티의 제어 장치는 종합된 위치데이터(P0, P1, P7, P4, P11)를 이용하여 최종적인 P10의 좌표데이터를 생성할 수 있다.

또한, 생성된 P10의 좌표 데이터는 사용자의 스텐스 상태의 영향을 거이 받지 않는 상태의 좌표값으로서, P10의 좌표값을 통해 팔로잉의 객체(사용자)에 대한 높은 신뢰성을 가진 좌표데이터를 얻을 수 있다.

도 4는 사용자 추적 알고리즘을 설명하는 도면(400)이다.

자율주행 팔로잉 모빌리티의 제어 장치는 TOF 카메라로 촬영된 이미지, 영상 데이터에 가상의 기준 존을 만들어 팔로잉 구동의 기준점으로 삼아 피사체방향 전환에 따라 생성된 기준점을 이용하여 원활한 추종구동이 가능하다.

이를 위해, 팔로잉 해야하는 피사체(410)는 항상 B 존에 위치하도록 자율주행 팔로잉 모빌리티가 구동될 수 있다.

피사체(410)의 이동에 따라 (A 또는 C 존) 자율주행 팔로잉 모빌리티의 제어 장치가 모빌리티는 모터를 역방향으로 구동시켜 화각의 B존에 다시 피사체가 인식하도록 이동한다.

자율주행 팔로잉 모빌리티의 제어 장치는 도 4에 표시된 A-1, B-1, B-2, C-1와 같이, 생성된 세부적인 버퍼존을 인식하고 피사체(410)의 움직임을 제어할 수 있다.

자율주행 팔로잉 모빌리티의 제어 장치는 추종하는 피사체(410)의 위치가 A, B존의 경계에 있을 때 모빌리티의 모터 구동의 명령에 노이즈가 발생하여 매끄러운 구동을 하지 못하게 되는 Thred hold 현상의 발생을 방지할 수 있다.

일례로, 자율주행 팔로잉 모빌리티의 제어 장치는 A, C존에 피사체(410)가 위치할 경우 PWM제어로 구동되는 모터의 구동 속도를 높여 빠르게 B존으로 피사체(410)가 이동될 수 있도록 자율주행 팔로잉 모빌리티를 구동시킬 수 있다.

피사체(410)가 버퍼존(A-1, B-1, B-2, C-1)에 위치할 경우 낮은 속도로 자율주행 팔로잉 모빌리티의 모터를 구동하여 피사체(410)를 천천히 B존으로 이동시킬 수 있다.

도 5는 장애물(520, 530)의 회피를 위한 알고리즘을 설명하는 도면(500)이다.

자율주행 팔로잉 모빌리티의 제어 장치는 팔로잉을 위해 자율주행 팔로잉 모빌리티와 사용자간 지정 거리 1M를 유지하도록 프로그래밍 할 수 있다. 이 거리는 소스코드의 변경을 통해 수정 가능하다.

자율주행 팔로잉 모빌리티의 모터는 PWM 제어를 통해 거리에 따른 팔로잉 속도를 자동적으로 조절할 수 있다.

자율주행 팔로잉 모빌리티의 제어 장치는 자율주행 팔로잉 모빌리티의 구동 중 거리데이터의 노이즈, 피사체의 목표거리 근접한 상태 등의 이유로 원활한 추종에 문제가 야기될 수 있다.

이러한 현상은 추적 알고리즘과 같은 기준점의 경계에 피사체가 위치할 경우 발생하는 Thred hold 현상이다.

이러한 현상을 없애기 위해, 자율주행 팔로잉 모빌리티의 제어 장치는 TOF카메라를 이용하여 촬영된 영상데이터를 이미지 데이터로 가공할 수 있다.

또한 가공된 이미지 데이터 중 피사체의 거리데이터만을 추출하여 이전 프레임과 비교하는 과정을 진행할 수 있다. 이러한 프로세싱을 통해 피사체가 기준거리 1M의 10cm 이내의 오차범위에 위치할 경우 자율주행 팔로잉 모빌리티의 제어 장치는 정지 상태로 인지한다.

정지 상태로 인지할 경우 구동 장소의 촬영 환경에 따른 오차 범위의 평균을 계산하여 거리 데이터 산출에 반영한다.

이후, 자율주행 팔로잉 모빌리티는 TOF 카메라를 통해 거리 데이터를 얻게 된다. 이는 촬영 환경에 따른 제약을 받게 되며 위와 같은 환경 제약에 따른 보정 수식이 추가하여 거리데이터에 대한 충분한 신뢰성을 확보할 수 있다.

자율주행 팔로잉 모빌리티의 제어 장치는 피사체 팔로잉 중 이동하거나, 또는 고정된 장애물을 회피 할 수 있는 알고리즘을 적용할 수 있다.

이를 위해, 자율주행 팔로잉 모빌리티의 제어 장치는 사용자 추적 알고리즘에 적용하였던 가상의 기준선을 이용하여 피사체 추적과 역방향 구동할 수 있다.

자율주행 팔로잉 모빌리티의 제어 장치는 촬영된 영상 데이터를 이미지 데이터로 가공하고, 이때 장애물의 경계를 효과적으로 인식하기 위해 이미지 데이터를 선처리 작업(이진화)를 시행할 수 있다.

이진화된 이미지 데이터에서 장애물의 형태중 외곽의 좌표데이터를 구하고 해당 데이터를 바탕으로 기준선 좌표 데이터와 비교하여 A존, B존, C존 중 장애물이 위치한 특정 ZONE을 인지하여 피사체 추종 알고리즘과 반대되는 모터를 구동할 수 있다.

이에, 자율주행 팔로잉 모빌리티의 제어 장치는 장애물에 대한 거리데이터를 바탕으로 장애물(520 ,530) 중에서, 구동체에서 가까운 장애물부터 우선적으로 회피하도록 자율주행 팔로잉 모빌리티를 제어할 수 있다.

도 6은 일실시예에 따른 자율주행 팔로잉 모빌리티의 동작 방법을 설명하는 도면이다.

일실시예에 따른 자율주행 팔로잉 모빌리티의 동작 방법은 TOF(Time Of Flight) 카메라로 피사체를 촬영하여 영상 데이터를 생성할 수 있다(단계 601).

또한, 일실시예에 따른 자율주행 팔로잉 모빌리티의 동작 방법은 생성한 영상 데이터에 대해 머신러닝을 기반으로 상기 피사체를 인식할 수 있다(단계 602).

일실시예에 따른 자율주행 팔로잉 모빌리티의 동작 방법은 생성한 영상 데이터에 대해 머신러닝을 기반으로 피사체를 인식할 수 있다.

이를 위해, 피사체를 촬영하여 생성한 영상 데이터로부터 상기 피사체에 대한 특성정보 및 스켈레톤 데이터를 획득하고, 획득한 특성정보로부터 피사체를 구분하며, 구분된 피사체에 대한 스켈레톤 데이터를 기학습된 스켈레톤 데이터와 비교하여 피사체에 대한 관절부분을 인식할 수 있다.

예를 들어, 생성한 영상 데이터에 대해 머신러닝을 기반으로 상기 피사체를 인식하기 위해서는, 피사체를 촬영하여 생성한 영상 데이터로부터 상기 피사체에 대한 특성정보 및 스켈레톤 데이터를 획득할 수 있다.

또한, 획득한 특성정보로부터 상기 피사체를 구분하고, 구분된 피사체에 대한 스켈레톤 데이터를 기학습된 스켈레톤 데이터와 비교하여 피사체에 대한 관절부분을 인식할 수 있다.

피사체를 촬영하여 생성한 영상 데이터로부터 피사체에 대한 특성정보 및 스켈레톤 데이터를 획득하기 위해서는, 피사체를 구성하는 적어도 둘 이상의 부분에 대한 위치데이터를 획득할 수 있다.

또한, 획득한 적어도 둘 이상의 위치데이터로부터 피사체의 중심을 확인하고, 확인된 피사체의 중심에 대한 중심 데이터를 산출할 수 있다.

다음으로, 일실시예에 따른 자율주행 팔로잉 모빌리티의 동작 방법은 인식된 피사체에 모션컨트롤 하기 위한 명령어 세트를 생성할 수 있다.

인식된 피사체에 모션컨트롤 하기 위한 명령어 세트를 생성하기 위해, 이하 단계 604 내지 단계 610을 설명한다.

인식된 피사체에 모션컨트롤 하기 위한 명령어 세트를 생성하기 위해서는, 인식된 관절부분의 움직임으로부터 상기 피사체에 대한 행동 또는 제스쳐를 인식하고, 인식된 행동 또는 제스쳐에 기반하여 상기 명령어 세트를 생성할 수 있다.

특히, 인식된 피사체에 모션컨트롤 하기 위한 명령어 세트를 생성하기 위해서는 생성한 영상 데이터에서 가상의 기준 존을 생성하여 팔로잉 구동의 기준점으로 설정하고, 기준 존에서 미리 지정된 거리 내에서 버퍼 존을 설정해야 한다. 또한, 버퍼 존에 위치하는 경우 기준 이하의 속도로 모터를 구동하여 기존 존으로 이동하도록 제어하는 명령어 세트를 생성할 수도 있다.

자율주행 팔로잉 모빌리티의 동작 방법은 TOF 카메라 데이터와 머신러닝을 기반으로 피사체를 인식한 결과를 이용하여, 자율주행 팔로잉 모빌리티와 피사체 간의 거리와 피사체의 주요 지점에 대한 위치 데이터를 가공할 수 있다(단계 603).

이후, 자율주행 팔로잉 모빌리티의 동작 방법은 피사체를 팔로인할 것인지를 판단하는 팔로잉 여부 판단 과정(단계 604)과, 장애물 회피여부를 판단하기 위한 과정(단계 605)를 수행할 수 있다.

단계 604의 판단 결과, 피사체를 팔로잉 하는 것으로 판단하는 경우라면, 단계 608로 분기하여 자율주행 팔로잉 모빌리티를 구동하기 위한 Omni Wheel 구동 데이터를 생성할 수 있다.

또한, 자율주행 팔로잉 모빌리티의 동작 방법은 장애물 회피 여부를 판단할 수 있다(단계 605).

단계 605의 판단 결과, 장애물을 회피할 것으로 판단한 경우라면, 자율주행 팔로잉 모빌리티의 동작 방법은 장애물 위치 및 거리 데이터를 획득하고(단계 606), 이를 기반으로 사용자 구동방향 및 거리를 획득할 수 있다(단계 607).

한편, 단계 604의 판단 결과 팔로잉 하지 않는 것으로 판단하는 경우라면, 단계 605로 분기하여 장애물 회피 여부를 판단할 수 있다.

또한, 단계 605의 판단 결과, 장애물을 회피하지 않는 것으로 판단한다면, 팔로잉 여부를 판단하는 단계 604로 분기할 수 있다.

Omni Wheel 구동 데이터 생성하면, 자율주행 팔로잉 모빌리티의 동작 방법은 모선 컨트롤 데이터를 자율주행 팔로잉 모빌리티로 전송하고(단계 609), 장애물 회피 및 팔로잉을 진행할 수 있다(단계 610).

결국, 본 발명을 이용하면 생활편의를 위한 병원에서의 자율주행 링갤걸이, 공항에서의 팔로잉 캐리어 카트 등에 활용될 수 있는 자율주행팔로잉 모빌리티를 제공할 수 있다. 또한, 안전분야에 있어 위험한 산업현장에 사람이 스스로 특정 물체를 밀거나 끌어야 하는 상황에서 그 물체에 자율주행 기능을 제공할 수 있다.

뿐만 아니라, 본 발명을 이용하면, 센서 탐지 방법을 활용해 사람의 접근이 용이하지 않은 지하공동구 점검 등에 효율적으로 활용될 수 있고, 기존 개발품들에 비해 부수적으로 사용되는 센서의 사용을 줄여 연산 및 통신에 소요되는 시간을 단축하여 자율주행 중 발생할 수 있는 다양한 응급상황에서 빠르고 정확하게 대응할 수 있다.

또한, 본 발명을 이용하면 Omni wheel과 구동 알고리즘이 적용되어 협소공간(엘리베이터, 병실 등)에서 보다 효율적인 구동을 통해 장애물 회피 기능을 극대화할 수 있다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (5)

1. TOF(Time Of Flight) 카메라로 피사체를 촬영하여 영상 데이터를 생성하는 단계;
   상기 생성한 영상 데이터에 대해 머신러닝을 기반으로 상기 피사체를 인식하는 단계;
   상기 인식된 피사체에 모션컨트롤 하기 위한 명령어 세트를 생성하는 단계
   를 포함하는 자율주행 팔로잉 모빌리티의 동작 방법.
2. 제1항에 있어서,
   상기 생성한 영상 데이터에 대해 머신러닝을 기반으로 상기 피사체를 인식하는 단계는,
   상기 피사체를 촬영하여 생성한 영상 데이터로부터 상기 피사체에 대한 특성정보 및 스켈레톤 데이터를 획득하는 단계; 및
   상기 획득한 특성정보로부터 상기 피사체를 구분하고, 상기 구분된 피사체에 대한 스켈레톤 데이터를 기학습된 스켈레톤 데이터와 비교하여 상기 피사체에 대한 관절부분을 인식하는 단계
   를 포함하는 자율주행 팔로잉 모빌리티의 동작 방법.
3. 제2항에 있어서,
   상기 인식된 피사체에 모션컨트롤 하기 위한 명령어 세트를 생성하는 단계는,
   상기 인식된 관절부분의 움직임으로부터 상기 피사체에 대한 행동 또는 제스쳐를 인식하는 단계; 및
   상기 인식된 행동 또는 제스쳐에 기반하여 상기 명령어 세트를 생성하는 단계
   를 포함하는 자율주행 팔로잉 모빌리티의 동작 방법.
4. 제2항에 있어서,
   상기 피사체를 촬영하여 생성한 영상 데이터로부터 상기 피사체에 대한 특성정보 및 스켈레톤 데이터를 획득하는 단계는,
   상기 피사체를 구성하는 적어도 둘 이상의 부분에 대한 위치데이터를 획득하는 단계
   를 포함하고,
   상기 획득한 적어도 둘 이상의 위치데이터로부터 상기 피사체의 중심을 확인하는 단계;
   상기 확인된 피사체의 중심에 대한 중심 데이터를 산출하는 단계
   를 더 포함하는 자율주행 팔로잉 모빌리티의 동작 방법.
5. 제1항에 있어서,
   상기 인식된 피사체에 모션컨트롤 하기 위한 명령어 세트를 생성하는 단계는,
   상기 생성한 영상 데이터에서 가상의 기준 존을 생성하여 팔로잉 구동의 기준점으로 설정하는 단계;
   상기 기준 존에서 미리 지정된 거리 내에서 버퍼 존을 설정하는 단계; 및
   상기 버퍼 존에 위치하는 경우 기준 이하의 속도로 모터를 구동하여 상기 기존 존으로 이동하도록 제어하는 명령어 세트를 생성하는 단계
   를 포함하는 자율주행 팔로잉 모빌리티의 동작 방법.

Images