KR102688145B1

KR102688145B1 - 인공지능을 활용한 보행 보조기구 자율주행 시스템

Info

Publication number: KR102688145B1
Application number: KR1020220078508A
Authority: KR
Inventors: 곽표성; 송제호
Original assignee: 곽표성; 전북대학교산학협력단
Priority date: 2022-04-28
Filing date: 2022-06-27
Publication date: 2024-07-25
Also published as: KR20230153885A

Abstract

본 발명은 인공지능을 활용한 보행 보조기구 자율주행 시스템에 관한 것으로, 보다 상세하게는 인공지능을 활용한 딥러닝 객체인식 엔진을 이용하여 주변의 객체정보를 실시간으로 파악하고, 주행환경과 관련된 S-빅데이터, 실시간 교통정보 및 인공지능을 활용한 소정의 최적화 알고리즘으로 설정된 목적지까지의 주행경로 데이터를 생성하며, 상기와 같이 파악된 객체 정보 및 생성된 주행경로 데이터를 기초로 자율주행이 가능한 인공지능을 활용한 보행 보조기구 자율주행 시스템에 관한 것이다.

Description

인공지능을 활용한 보행 보조기구 자율주행 시스템{AUTONOMOUS DRIVING SYSTEM FOR WALKING AIDS USING ARTIFICIAL INTELLIGENCE}

일반적으로 몸이 불편하거나 나이가 들면 보행 보조기구로 통상 휠체어를 사용한다.

특히, 몸의 거동이 불편한 경우에 휠체어에 대한 의존도가 크고 거주지를 기준으로 먼 거리가 아닌 일정 거리 범위를 돌아다닌다.

그러나 보행장애인의 경우 아직은 낯선 전동 휠체어 사용에 대한 두려움이 있으며, 몸의 반응이 느려 생각한 것과는 다르게 완벽한 주행을 하지 못하는 경우가 많다.

게다가 요즘은 인구가 고령화됨에 따라 휠체어 시장의 규모가 확대되고 그 안에서 고기능-스마트 프리미엄 휠체어의 수요가 증가하고 있는 실정이다.

현대사회가 당면하고 있는 노인 문제는 전 세계적인 과제로 등장하였으며 고령화 사회(Aging Society)를 넘어서 고령사회(Aged Society)를 눈앞에 두고 있는 우리나라에서도 중요한 사회적 이슈이자 과제이다.

세계적으로 노년층과 장애인을 위한 보조기기 시장이 평균 7.8%씩 성장, 2024년에는 약 267억 달러의 시장 규모를 보일 것으로 예측되고 있다.

휠체어와 같은 보행 보조기구의 사고 유형은 걸림, 외부 장애물 및 차량 충돌, 균형 상실, 끼임 등이 있다.

그런 사고들은 보행장애인이 일반 사람들에 비해 운동신경 및 반응이 느리거나 기구의 조작 미숙으로 인해 발생하는 사고들이다.

이와 같은 보행 보조기구 사고를 예방하고자 종래기술로 대한민국 공개특허공보 제10-2020-0128883호(2020.11.17 공개)에는 "자율주행 휠체어 및 제어 시스템"이 제안된 바 있다.

하지만, 상기의 종래기술은 휠체어에 장착된 센서만으로는 주변의 객체 정보를 실시간으로 정확히 파악하는데 한계가 있었다.

또한, 상기의 종래기술은 센서에서 수집된 데이터를 기반으로 객체와의 거리, 객체들 사이 통과 가능 공간, 객체의 이동 속도 등을 산출할 수 있는 수단이 없어 효과적이고 안전한 자율주행이 곤란한 문제점이 있었다.

본 발명은 상기와 같은 종래기술의 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은 객체정보의 파악에 인공지능을 활용한 딥러닝 객체인식 엔진을 이용하여 주변의 객체정보를 높은 정확도로 실시간으로 파악하는 것이 가능하고, 주행경로의 생성에 주행환경과 관련된 S-빅데이터, 실시간 교통정보 및 인공지능을 활용하여 최적의 주행경로 데이터를 생성하는 것이 가능하며, 이를 조합하여 안전하면서도 효과적인 자율주행이 가능한 인공지능을 활용한 보행 보조기구 자율주행 시스템을 제공하는 데에 있다.

또한, 본 발명의 목적은 LiDAR와 같은 고가의 장비를 사용하지 않고서도 카메라 비전에서 획득된 이미지 데이터로부터 객체와의 거리, 객체들 사이 통과 가능 공간, 객체의 이동 속도 등을 산출하고, 이를 자율주행에 활용할 수 있는 인공지능을 활용한 보행 보조기구 자율주행 시스템을 제공하는 데에 있다.

또한, 본 발명의 목적은 산출된 객체의 접근 속도로부터 위험상황을 인지하여 사용자에게 알리고, 위험상황에서 자율주행으로 충돌 회피가 가능하며, 그럼에도 사고가 발생된 경우 외부로 도움요청이 가능한 인공지능을 활용한 보행 보조기구 자율주행 시스템을 제공하는 데에 있다.

상기와 같은 목적을 달성하고자 본 발명에 따른 인공지능을 활용한 보행 보조기구 자율주행 시스템은 정보의 입출력이 가능한 입출력부와, 외부와 데이터의 송수신이 가능한 IoT부와, 동력에 의해 주행 가능한 주행부와, 상기 주행부의 주행 데이터 및 주변 환경 데이터의 획득이 가능한 데이터획득부와, 상기 데이터획득부에 획득되는 주변 환경 데이터로부터 주변의 객체 정보를 파악할 수 있는 객체인식부와, 상기 주행부의 작동을 제어할 수 있는 메인제어부가 구비된 보행 보조기구와; 외부와 데이터의 송수신이 가능한 통신부와, 상기 데이터획득부에서 획득되는 데이터가 저장되는 데이터베이스와, 상기 데이터베이스에 저장된 데이터 중 객체와 관련된 O-빅데이터를 딥러닝 방식으로 학습하여 객체 정보의 파악이 가능한 딥러닝 객체인식 엔진이 탑재된 제1 인공지능부와, 상기 데이터베이스에 저장된 데이터 중 주행환경과 관련된 S-빅데이터를 이용하여 소정의 최적화 알고리즘에 따라 설정된 목적지까지의 주행경로 데이터를 생성하는 제2 인공지능부가 구비된 중앙 서버를; 포함하되, 상기 객체인식부는 상기 제1 인공지능부의 딥러닝 객체인식 엔진을 이용하여 인식 대상 객체의 특정 및 특정된 객체와의 거리를 포함하는 객체 정보를 실시간으로 파악하고, 상기 메인제어부는 상기 객체인식부에서 파악된 주변의 객체 정보 및 상기 제2 인공지능부에서 생성된 주행경로 데이터를 기초로 자율주행이 가능하도록 상기 주행부의 작동을 제어하는 것을 특징으로 한다.

또한, 본 발명에 따른 인공지능을 활용한 보행 보조기구 자율주행 시스템은 지역 날씨, 사고 위치, 공사 위치를 포함하는 위치 기반의 교통정보를 제공할 수 있는 교통정보서버를; 더 포함하고, 상기 제2 인공지능부는 상기 교통정보서버로부터 제공되는 교통정보를 상기 최적화 알고리즘에 반영하여 상기 주행경로 데이터를 생성하는 것을 특징으로 한다.

여기서, 상기 메인제어부는 자율주행 진행 전 상기 입출력부를 통해 사용자에게 자율주행 승인 여부를 고지하고, 사용자가 자율주행을 거절하는 경우 수동주행 모드로 전환됨과 함께 사용자에 의한 자율 주행 거절 상황을 상기 제2 인공지능부가 학습할 수 있도록 그 데이터를 상기 IoT부를 통해 상기 중앙 서버로 전송하는 것을 특징으로 한다.

여기서, 상기 객체인식부는 파악된 객체정보를 이용하여 주행경로 상에 존재하는 정지된 상태의 서로 이웃하는 객체 사이의 이격거리를 계산하고, 상기 메인제어부는 상기 객체인식부에서 계산된 이격거리를 상기 보행 보조기구의 너비와 비교하여 통과 가능 여부를 판단하는 것을 특징으로 한다.

여기서, 상기 데이터획득부는 주변의 이미지 데이터를 획득할 수 있는 카메라 비전이 구비되고, 상기 객체인식부는 상기 카메라 비전에서 획득된 이미지 데이터로부터 인식 대상 객체를 특정하되, 상기 인식 대상 객체가 정확하게 특정되지 않는 경우 특정 가능 범위 내의 상기 인식 대상 객체가 속하는 동종 객체의 객체 정보 중점값을 상기 인식 대상 객체에 대한 객체 정보로 대입하는 것을 특징으로 한다.

여기서, 상기 객체인식부는 상기 카메라 비전에서 획득된 이미지 데이터에 크기의 특정이 가능한 기준 객체가 존재하는 경우 상기 기준 객체의 크기를 기준으로 인식 대상 객체와의 거리를 산출하는 것을 특징으로 한다.

여기서, 상기 객체인식부는 상기 카메라 비전에서 획득된 이미지 데이터들의 획득 시간차에 따른 인식 대상 객체의 거리 변화량을 이용하여 상기 인식 대상 객체의 이동 속도를 실시간으로 산출하는 것을 특징으로 한다.

여기서, 상기 데이터획득부는 상기 카메라 비전이 전후좌우 전방향을 커버할 수 있도록 배치되고, 충격을 감지할 수 있는 충격감지센서가 더 구비되며, 상기 객체인식부는 인식된 객체가 설정된 이동 속도 이상으로 사용자에게 근접하는 것이 확인되는 경우 상기 입출력부를 통해 사용자에게 위험상황을 알리고, 상기 메인제어부는 상기 위험상황에서 충돌가능성을 판단하되, 자율주행으로 회피가 가능하다고 판단된 경우 상기 입출력부를 통해 사용자에게 고지 후 자율주행의 이벤트모드를 발생시키고, 자율주행으로 회피가 불가능하다고 판단된 경우 상기 입출력부를 통해 사용자에게 수동주행 모드로의 전환을 요청하며, 상기 위험상황에서 상기 충격감지센서에 충격이 감지되는 경우 상기 IoT부를 통해 설정된 보호자단말기 또는 상기 중앙 서버에 도움요청 신호를 전송하는 것을 특징으로 한다.

상기와 같은 구성에 의하여 본 발명에 따른 인공지능을 활용한 보행 보조기구 자율주행 시스템은 각종 데이터를 획득할 수 있는 데이터획득부를 갖는 보행 보조기구와, 획득된 데이터를 수집 저장하고 축적된 데이터를 학습하여 정확도를 높일 수 있는 인공지능 기능이 구비된 중앙 서버의 유기적인 조합에 의하여 주변의 객체정보를 높은 정확도로 실시간으로 파악하는 것이 가능하고, 최적의 주행경로 데이터를 생성하는 것이 가능하여 안전하면서도 효과적인 자율주행이 가능한 장점이 있다.

또한, 본 발명에 따른 인공지능을 활용한 보행 보조기구 자율주행 시스템은 주변 환경 데이터의 획득에 비교적 저가의 카메라 비전을 활용하면서도 인공지능을 활용하여 객체와의 거리, 객체들 사이 통과 가능 공간, 객체의 이동 속도 등을 산출할 수 있어 경제적인 장점이 있다.

또한, 본 발명에 따른 인공지능을 활용한 보행 보조기구 자율주행 시스템은 인공지능을 활용하여 객체의 접근 속도를 산출할 수 있어 위험상황을 인지하여 사용자에게 알리는 것이 가능하고, 위험상황에서 자율주행으로 충돌 회피가 가능하며, 그럼에도 사고가 발생된 경우 외부로 도움요청이 가능한 장점이 있다.

도 1은 본 발명의 일실시예에 따른 인공지능을 활용한 보행 보조기구 자율주행 시스템의 구성도
도 2는 본 발명의 일실시예에 따른 자율주행 시스템내의 사용자에게 진행 알림 부분과 인공지능 상황 학습에 대한 알고리즘
도 3은 본 발명의 일실시예에 따른 카메라 비전에서 획득된 이미지 데이터로부터 거리를 측정하는 원리를 도시한 개념도
도 4는 본 발명의 일실시예에 따른 자율주행 시스템내의 객체들 사이로 통과 가능성 판단에 대한 개념도
도 5는 본 발명의 일실시예에 따른 객체인식부에서 객체를 특정하지 못한 경우를 설명하기 위한 자동차 모델 길이/높이 분포도
도 6은 본 발명의 일실시예에 따른 객체인식부에서 객체를 특정하지 못한 경우를 설명하기 위한 사람 성별 키 통계표
도 7은 본 발명의 일실시예에 따른 객체인식부에서 기준 객체의 크기를 기준으로 인식 대상 객체와의 거리를 산출하는 방법을 설명하기 위한 개념도
도 8은 본 발명의 일실시예에 따른 객체인식부에서 객체의 이동 속도를 산출하는 방법을 설명하기 위한 개념도
도 9는 본 발명의 일실시예에 따른 자율주행 시스템내의 위험상황에서의 대처 알고리즘

이하에서는 도면에 도시된 실시예를 참조하여 본 발명에 따른 인공지능을 활용한 보행 보조기구 자율주행 시스템을 보다 상세하게 설명하기로 한다.

도 1에는 본 발명의 일실시예에 따른 인공지능을 활용한 보행 보조기구 자율주행 시스템의 구성도를 도시하였다.

도 1을 살펴보면 본 발명의 일실시예에 따른 인공지능을 활용한 보행 보조기구 자율주행 시스템은 보행 보조기구(10)와, 중앙 서버(20)와, 교통정보서버(30)를 포함한다.

상기 보행 보조기구(10)는 보행장애인이 사용하는 휠체어와 같은 구성으로 본 발명의 일실시예에서는 입출력부(11)와, IoT부(12)와, 주행부(13)와, 데이터획득부(14)와, 객체인식부(15)와, 메인제어부(16)를 포함한다.

상기 입출력부(11)는 목적지 설정과 같은 사용자에 의한 정보의 입력이 가능하고, 자율주행 알림, 위험상황 알림과 같이 사용자에 대해 정보의 출력이 가능한 구성이다.

상기 입출력부(11)는 상기 보행 보조기구(10)의 본체에 장착될 수도 있고, 사용자가 일상에 사용하는 스마트폰과 같이 통신으로 상호 연결이 가능한 별도의 사용자단말기가 이용될 수도 있다.

상기 IoT부(12)는 상기 보행 보조기구(10)가 중앙 서버(20)를 포함하여 외부와 데이터의 송수신이 가능하도록 하는 구성이다.

경우에 따라서는 다수의 보행 보조기구(10) 상호간 상기 IoT부(12)를 통한 데이터의 송수신이 가능하도록 구성할 수도 있고, 상기 입출력부(11)로 외부와 통신 기능을 갖는 별도의 사용자단말기가 사용되는 경우 그 사용자단말기가 상기 IoT부(12)를 대체할 수도 있다.

상기 주행부(13)는 전동 휠체어와 같이 동력에 의해 주행 가능한 구성으로, 이러한 동력에 의한 주행은 자율주행에 필수 요소라고 할 것이다.

상기 데이터획득부(14)는 상기 보행 보조기구(10)의 본체에 장착되어 주행 중 상기 주행부(13)의 주행 데이터 및 주변 환경 데이터를 획득하는 구성으로 본 발명의 일실시예에서는 카메라 비전(141)과, 충격감지센서(142)와, 주행환경센서(143)가 구비된다.

상기 카메라 비전(141)은 촬영을 통해 주변의 이미지 데이터를 획득하는 구성이다.

상기 카메라 비전(141)에서 획득되는 이미지 데이터를 통해 장애물을 포함한 주변 객체정보는 물론 시간-장소에 따른 사람 밀집도 데이터 등을 획득할 수 있게 된다.

본 발명의 일실시예에서 상기 카메라 비전(141)은 상기 보행 보조기구(10) 본체에 위험상황 인지를 위해 전후좌우 전방향을 커버할 수 있도록 배치되는데, 이를 위해 하나의 장치로 전방향을 촬영할 수 있는 360도 카메라가 이용될 수도 있고, 전후좌우를 각각 촬영하는 4대의 카메라가 이용될 수도 있다.

주변 객체 정보를 파악하기 위한 데이터 수집 장치로 LiDAR와 같은 고가의 장치가 아닌 상기 카메라 비전(141)을 이용함으로써 비교적 경제적으로 본 자율주행 시스템의 구성이 가능한데, 이는 후술할 중앙 서버(20)의 제1 인공지능부(23)와 유기적으로 결합되어 실현 가능하게 된 것이다.

상기 충격감지센서(142)는 상기 보행 보조기구(10)에 가해지는 충격을 감지할 수 있는 구성으로, 도 9에 도시된 바와 같이 위험상황에서 충격이 감지되는 경우 보호자단말기(미도시) 또는 중앙 서버(20)에 도움요청 신호를 전송하기 위한 매개체로서의 역할을 하는데, 이에 대한 상세한 설명은 후술하기로 한다.

상기 주행환경센서(143)는 상기 주행부(13)의 주행 방향, 주행 속도를 포함하는 주행 데이터와 함께 주행 중 획득할 수 있는 주변 환경 데이터를 획득하는 구성으로 주행 도로의 경사, 주행 중 감지되는 진동, 온도, 습도, GPS 데이터, 도로의 특성 데이터 등을 획득할 수 있는 복수의 센서로 구성될 수 있다.

상기 객체인식부(15)는 상기 데이터획득부(14)에 획득되는 주변 환경 데이터로부터 주변의 객체 정보를 파악할 수 있는 구성이다.

본 발명의 일실시예에서 상기 객체인식부(15)는 상기 중앙 서버(20)에 구비된 제1 인공지능부(23)의 최신 업데이트된 딥러닝 객체인식 엔진을 다운로드 받아 인식 대상 객체의 특정 및 특정된 객체와의 거리를 포함하는 객체 정보를 실시간으로 파악할 수 있도록 구성된다.

상기 메인제어부(16)는 주변 상황을 판단하여 자율주행이 가능하도록 상기 주행부(13)의 작동을 제어할 수 있는 구성으로 시스템 구성에 따라 상기 객체인식부(15)와 상기 메인제어부(16)를 하나의 CPU로 구성할 수도 있다.

본 발명의 일실시예에서 상기 메인제어부(16)는 상기 객체인식부(15)에서 파악된 주변의 객체 정보 및 후술할 제2 인공지능부(24)에서 생성된 주행경로 데이터를 기초로 자율주행이 가능하도록 상기 주행부(13)의 작동을 제어하도록 구성된다.

한편, 상기 메인제어부(16)는 도 2에 도시된 바와 같이 자율주행 진행 전 상기 입출력부(11)를 통해 사용자에게 자율주행 승인 여부를 고지하고, 사용자가 자율주행을 승인하는 경우에만 자율주행이 진행되도록 구성된다.

하지만, 사용자가 자율주행을 거절하는 경우에는 수동주행 모드로 전환됨과 함께 사용자에 의한 자율 주행 거절 상황을 제2 인공지능부(24)가 학습할 수 있도록 그 데이터를 상기 IoT부(12)를 통해 상기 중앙 서버(20)로 전송하도록 구성된다.

즉, 사용자가 자율주행을 거절하는 상황은 사용자에게 제시된 주행경로가 이상하다고 판단될 경우인데 이러한 상황을 제2 인공지능부(24)가 학습함으로써 추후 주행경로 데이터 생성에 이러한 상황이 재현되지 않도록 하기 위함이다.

사용자는 수동주행 모드 사용 중 문제가 해결되면 상기 입출력부(11)를 통한 명령을 통해 언제든지 다시 자율주행 모드를 사용할 수 있도록 구성된다.

상기 중앙 서버(20)는 인공지능을 활용하여 상기 보행 보조기구(10)가 자율주행을 안전하고 효과적으로 할 수 있도록 하는 구성으로 본 발명의 일실시예에서는 통신부(21)와, 데이터베이스(22)와, 제1 인공지능부(23)와, 제2 인공지능부(24)가 구비된다.

상기 통신부(21)는 상기 중앙 서버(20)가 보행 보조기구(10) 및 교통정보서버(33)를 포함한 외부와 데이터의 송수신이 가능하도록 하는 구성이다.

상기 데이터베이스(22)는 상기 데이터획득부(14)에서 획득되는 데이터가 저장되는 구성이다.

상기 데이터베이스(22)에는 규격화된 객체에 대한 표준 데이터가 저장되는 것은 물론이다.

상기 제1 인공지능부(23)는 상기 데이터베이스(22)에 저장된 데이터 중 객체와 관련된 O-빅데이터(Object-Bigdata)를 딥러닝 방식으로 학습하여 객체 정보의 파악이 가능한 딥러닝 객체인식 엔진이 탑재된 구성이다.

상기 제2 인공지능부(24)는 상기 데이터베이스(22)에 저장된 데이터 중 주행환경과 관련된 S-빅데이터(Sidewalk-Bigdata)를 이용하여 소정의 최적화 알고리즘에 따라 설정된 목적지까지의 주행경로 데이터를 생성하는 구성이다.

상기 S-빅데이터는 주행 도로의 경사, 주행 중 감지되는 진동, 온도, 습도, GPS 데이터, 도로의 특성 데이터, 장애물 데이터, 시간-장소에 따른 사람 밀집도가 포함될 수 있다.

상기 교통정보서버(30)는 지역 날씨, 사고 위치, 공사 위치를 포함하는 위치기반의 교통정보를 제공할 수 있는 구성이다.

여기서, 상기 제2 인공지능부(24)는 상기 교통정보서버(30)로부터 제공되는 교통정보를 상기 최적화 알고리즘에 반영하여 상기 주행경로 데이터를 생성하도록 구성된다.

예를 들어, 설정된 목적지까지 가는 길이 A, B, C길이 있고 최적화 길은 A길이지만, A길 주행경로 상에 큰 공사로 인해 보행 보조기구(10)가 가기 힘들다고 판단될 경우 상기 최적화 알고리즘에서 판단하여 B길 또는 C길로 주행경로 데이터를 생성하도록 구성된다.

다시 한번 설명하자면 상기 중앙 서버(20)에서 활용되는 인공지능 기술은 크게 2가지로 구분되는데, 상기 제1 인공지능부(23)의 기술은 길에 돌아다니는 여러 객체들을 인식하는 '객체인식'과 '객체에 따른 거리 측정(산출)' 기술이고, 상기 제2 인공지능부(23)의 기술은 S-빅데이터와 교통정보를 활용하여 최적화 경로를 제시하는 기술(빅데이터를 통한 최적화 경로 산출하는 인공지능 알고리즘 등)이라고 할 수 있다.

도 3은 본 발명의 일실시예에 따른 카메라 비전에서 획득된 이미지 데이터로부터 거리를 측정하는 원리를 도시한 개념도이다.

도 3을 참조하면 대상 객체의 높이를 H, 이미지 데이터에서의 크기를 h라 할 때, 초점거리 f, 이미지에서의 수직좌표가 y, 모든 좌표가 이미지의 중심에서의 상대거리로 측정된다고 하게 되면 수식이 성립된다.

여기서, H에 대한 정확한 길이 값(자동차의 높이 값)을 알 수 있다면 거리에 대해 정확히 계산을 할 수 있다.

즉, 이미지 데이터에서 확인되는 높이의 픽셀 크기와 실제 객체의 높이를 알 수 있다면, 정확한 거리 산출이 가능하게 된다.

딥러닝 기술이 발전함에 따라 객체 인식 정확도와 세밀하게 검출할 수 있기 때문에 객체의 종류 뿐만 아니라 모델까지 구분할 수 있으면 최적화 시스템을 구현할 수 있게 되는 것이다.

도 4에는 본 발명의 일실시예에 따른 자율주행 시스템내의 객체들 사이로 통과 가능성 판단에 대한 개념도를 도시하였다.

여기서, 상기 객체인식부(15)는 파악된 객체정보를 이용하여 주행경로 상에 존재하는 정지된 상태의 서로 이웃하는 객체(O1, O2) 사이의 이격거리(W)를 계산하고, 상기 메인제어부(16)는 상기 객체인식부(15)에서 계산된 이격거리(W)를 상기 보행 보조기구(10)의 너비와 비교하여 통과 가능 여부를 판단하도록 구성된다.

예시를 들어 설명하자면 도 3의 좌측 그림은 인도 거리에 있는 정지된 상태의 대리석 장애물 객체로서 규격화된 것이다.

규격화된 장애물은 제1 인공지능부(23)에 탑재된 딥러닝 객체 인식에 데이터가 들어가 있는데, 도 3의 우측에 도시된 상기 카메라 비전(141)에서 획득된 이미지 데이터와 딥러닝 객체 인식에 들어가 있는 객체 데이터 비교를 통해 실제 객체(O1, O2) 사이의 이격거리(W)를 산출할 수 있게 된다.

즉, 딥러닝 객체 인식에 들어가 있는 객체 데이터를 통해 대리석 장애물 객체의 실제 너비가 50Cm인 것이 확인되면, 이를 이미지 데이터에서 확인되는 80px에 비교하여 이미지 데이터에서의 픽셀당 실제 거리를 알 수 있고, 결국 실제 객체(O1, O2) 사이의 이격거리(W)를 산출할 수 있게 된다.

이를 수식으로 표현하면 [80px : 50Cm = 120px : W] 가 되고, 결국 실제 객체(O1, O2) 사이의 이격거리(W)는 75Cm로 산출된다.

상기 메인제어부(16)는 사용자가 탑승한 보행 보조기구(10)의 너비가 75Cm 이하인 경우 상기 대리석 장애물 객체(O1, O2) 사이를 통과할 수 있는 것으로 판단하게 된다.

위의 시스템이 시간이 지남에 따라 정확해질 수 있는 이유는 규격화된 값들과 객체인식 기술의 발전에 따라 객체의 종류, 모델 등 여러 가지를 구분하여 보다 실제 정보 값과 비교할 수 있기 때문이다.

또한, 본 발명의 일실시예에 따른 객체인식부(15)는 상기 카메라 비전(141)에서 획득된 이미지 데이터로부터 인식 대상 객체를 특정하되, 상기 인식 대상 객체가 정확하게 특정되지 않는 경우 특정 가능 범위 내의 상기 인식 대상 객체가 속하는 동종 객체의 객체 정보 중점값을 상기 인식 대상 객체에 대한 객체 정보로 대입하도록 구성된다.

도 5에는 본 발명의 일실시예에 따른 객체인식부(15)에서 객체를 특정하지 못한 경우를 설명하기 위한 자동차 모델 길이/높이 분포도를 도시하였다.

도 5의 분포도에서 확인할 수 있듯이 자동차가 SUV, 세단, 경차로 구분되더라도 모델에 따라 길이, 높이가 다르다는 것을 알 수 있다.

즉, 딥러닝 객체인식의 발달에 따라 단순히 자동차인지 여부만 구분하는 것이 아니라, 차종과 모델명, 연식 등 세밀하게 구분 가능하다면 보다 정확한 거리 산출을 할 수 있다.

하지만 상기 카메라 비전(141)에서 획득된 이미지 데이터로부터 인식 대상 객체가 SUV로는 특정되지만 자세한 모델명을 특정하지 못하는 경우가 있을 수 있는데, 이 경우 SUV 객체 정보의 중점값(빨간색 원 2번 기준으로 높이: 약1670mm, 길이: 4650mm)을 상기 인식 대상 객체에 대한 객체 정보로 대입함으로써 오차를 최대한 줄이려는 것이다.

위와 같은 사항은 도 6에 도시된 바와 같이 사람에게도 적용할 수 있다.

예를 들어, 객체인식을 통해 남자인지 여자인지 그리고 연령대는 유아인지, 청소년인지, 청년인지, 노년인지 등을 구분한다면 보다 정확한 객체의 거리 산출이 가능하게 된다.

또한, 본 발명의 일실시예에 따른 상기 객체인식부(15)는 상기 카메라 비전(141)에서 획득된 이미지 데이터에 크기의 특정이 가능한 기준 객체(Os)가 존재하는 경우 상기 기준 객체의 크기를 기준으로 인식 대상 객체(Ot)와의 거리를 산출하도록 구성된다.

도 7에는 본 발명의 일실시예에 따른 객체인식부에서 기준 객체의 크기를 기준으로 인식 대상 객체와의 거리를 산출하는 방법을 설명하기 위한 개념도를 도시하였다.

예를 들어, 도 7에서와 같이 보행 보조기구가 매번 가는 길이며, 이 길에 대한 정보가 데이터베이스(22)에 저장이 되어 있다면, 기준 객체(Os)로서 인도 폭 너비에 대한 정보가 들어 있을 것이다.

상기 기준 객체(Os)의 실제 크기인 인도의 거리 폭(W1)이 1,500mm라는 것을 안다면, 이미지 데이터 상에서 인식 대상 객체(Ot)인 자동차가 위치된 곳의 인도 폭 픽셀(W2)과 자동차의 너비 픽셀(W3) 사이에는 다음과 같은 수식이 성립되고, 이를 통해 자동차 실제 너비(X)를 계산할 수 있게 된다.

인도폭 픽셀(W2) : 1,500mm(W1) = 자동차 너비 픽셀(W3) : 자동차 실제 너비(X)

상기와 같이 자동차 실제 너비(X)가 계산되면 이미지 데이터의 픽셀 분석을 통해 결국 인식 대상 객체(Ot)인 자동차와의 거리(D) 또한 다음과 같은 수식으로 계산할 수 있게 된다.

자동차와의 거리(D) = 초점f(정해지는 값, 카메라) * 자동차 실제 너비(X) / 자동차 너비 픽셀(W3)

즉, 자동차가 멀리 떨어진 경우 인식 대상 객체(Ot)의 모델명을 정확하게 특정하지 못하는 경우가 발생될 수 있는데, 전술한 바와 같이 특정 가능 범위 내의 상기 인식 대상 객체(Ot)가 속하는 동종 객체의 객체 정보 중점값을 상기 인식 대상 객체(Ot)에 대한 객체 정보로 대입하는 방법을 사용하여 오차를 줄이는 방법을 사용할 수도 있지만, 도 7에 도시된 바와 같이 이미지 데이터 상에 인도의 거리 폭(W1)과 같이 크기의 특정이 가능한 기준 객체(Os)가 존재하는 경우에는 중점값이 아닌 인식 대상 객체(Ot)의 실제값을 산출할 수 있어 보다 정확한 거리 값을 얻을 수 있게 된다.

또한, 상기 객체인식부(15)는 상기 카메라 비전(141)에서 획득된 이미지 데이터들의 획득 시간차(t2-t1)에 따른 인식 대상 객체의 거리 변화량을 이용하여 상기 인식 대상 객체의 이동 속도를 실시간으로 산출하도록 구성된다.

도 8에는 본 발명의 일실시예에 따른 객체인식부에서 객체의 이동 속도를 산출하는 방법을 설명하기 위한 개념도를 도시하였다.

속도는 이동 거리를 걸린 시간으로 나눈 값으로서, 전술한 바와 같이 본 발명에 따른 객체인식부(15)는 이미지 데이터로부터 인식 대상 객체의 거리 변화량을 실시간으로 산출할 수 있으므로, 결국 상기 카메라 비전(141)에서 획득된 이미지 데이터들의 획득 시간차(t2-t1) 즉, 상기 카메라 비전(141)의 촬영 주기를 알면 인식 대상 객체의 이동 속도를 실시간으로 산출할 수 있게 된다.

즉, 인식 대상 객체의 거리 변화량(△L)은 카메라 비전(141)의 초점을 f(정해지는 값)라고, 실제 자동차의 너비를 W, 2개의 이미지 데이터 상의 자동차 너비 픽셀을 각각 W'1, W'2라고 하였을 경우 다음과 같은 수식이 성립된다.

△L = f*W(1/W'1 - 1/W'2) = f*W(W'2-W'1)/W'1*W'2

결국, 알고자 하는 상기 인식 대상 객체의 이동 속도는 △L/(t2-t1)으로 산출 가능하게 된다.

도 9는 본 발명의 일실시예에 따른 자율주행 시스템내의 위험상황에서의 대처 알고리즘을 도시하였다.

전술한 바와 같이 본 발명에 따른 시스템은 알고자 하는 상기 인식 대상 객체의 이동 속도를 산출할 수 있다.

상기 객체인식부(15)는 인식된 객체가 설정된 이동 속도(위협 속도) 이상으로 사용자에게 근접하는 것이 확인되는 경우 상기 입출력부(11)를 통해 사용자에게 위험상황을 알리게 된다.

이때, 상기 메인제어부(16)는 상기 위험상황에서 충돌가능성을 판단하여 충돌가능성이 없는 경우는 그대로 진행하지만, 충돌가능성이 있는 경우는 다시 자율주행으로 회피가 가능한지 여부를 판단하게 된다.

이 때, 자율주행으로 회피 가능하다고 판단된 경우에는 상기 입출력부(11)를 통해 사용자에게 고지 후 자율주행의 이벤트모드를 실행시켜 충돌 상황을 자동으로 회피하게 된다.

하지만, 자율주행으로 회피가 불가능하다고 판단된 경우에는 상기 입출력부(11)를 통해 사용자에게 수동주행 모드로의 전환을 요청하게 된다.

끝으로, 상기 위험상황에서 상기 충격감지센서(142)에 충격이 감지되는 경우 사고가 발생된 것으로 판단하여 상기 IoT부(12)를 통해 설정된 보호자단말기(미도시) 또는 상기 중앙 서버(20)에 도움요청 신호를 전송하도록 구성된다.

본 발명에 따른 인공지능을 활용한 보행 보조기구 자율주행 시스템은 상기와 같은 구성요소들의 유기적인 결합관계에 의하여 안전하면서도 효과적인 자율주행이 가능하게 되는 것이다.

앞에서 설명되고 도면에서 도시된 인공지능을 활용한 보행 보조기구 자율주행 시스템은 본 발명을 실시하기 위한 하나의 실시예에 불과하며, 본 발명의 기술적 사상을 한정하는 것으로 해석되어서는 안된다. 본 발명의 보호범위는 이하의 특허청구범위에 기재된 사항에 의해서만 정하여지며, 본 발명의 요지를 벗어남이 없이 개량 및 변경된 실시예는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것인 한 본 발명의 보호범위에 속한다고 할 것이다.

10 보행 보조기구
11 입출력부
12 IoT부
13 주행부
14 데이터획득부
15 객체인식부
16 메인제어부
20 중앙 서버
21 통신부
22 데이터베이스
23 제1 인공지능부
24 제2 인공지능부
30 교통정보서버

Claims

정보의 입출력이 가능한 입출력부와, 외부와 데이터의 송수신이 가능한 IoT부와, 동력에 의해 주행 가능한 주행부와, 상기 주행부의 주행 데이터 및 주변 환경 데이터의 획득이 가능한 데이터획득부와, 상기 데이터획득부에 획득되는 주변 환경 데이터로부터 주변의 객체 정보를 파악할 수 있는 객체인식부와, 상기 주행부의 작동을 제어할 수 있는 메인제어부가 구비된 보행 보조기구와;
외부와 데이터의 송수신이 가능한 통신부와, 상기 데이터획득부에서 획득되는 데이터가 저장되는 데이터베이스와, 상기 데이터베이스에 저장된 데이터 중 객체와 관련된 O-빅데이터를 딥러닝 방식으로 학습하여 객체 정보의 파악이 가능한 딥러닝 객체인식 엔진이 탑재된 제1 인공지능부와, 상기 데이터베이스에 저장된 데이터 중 주행환경과 관련된 S-빅데이터를 이용하여 소정의 최적화 알고리즘에 따라 설정된 목적지까지의 주행경로 데이터를 생성하는 제2 인공지능부가 구비된 중앙 서버를; 포함하되,
상기 객체인식부는 상기 제1 인공지능부의 딥러닝 객체인식 엔진을 이용하여 인식 대상 객체의 특정 및 특정된 객체와의 거리를 포함하는 객체 정보를 실시간으로 파악하고,
상기 메인제어부는 상기 객체인식부에서 파악된 주변의 객체 정보 및 상기 제2 인공지능부에서 생성된 주행경로 데이터를 기초로 자율주행이 가능하도록 상기 주행부의 작동을 제어하며,
상기 데이터획득부는 주변의 이미지 데이터를 획득할 수 있는 카메라 비전이 구비되고,
상기 객체인식부는 상기 카메라 비전에서 획득된 이미지 데이터로부터 인식 대상 객체를 특정하되, 상기 인식 대상 객체가 정확하게 특정되지 않는 경우 특정 가능 범위 내의 상기 인식 대상 객체가 속하는 동종 객체의 객체 정보 중점값을 상기 인식 대상 객체에 대한 객체 정보로 대입하는 것을 특징으로 하는 인공지능을 활용한 보행 보조기구 자율주행 시스템.
제1항에 있어서,
지역 날씨, 사고 위치, 공사 위치를 포함하는 위치 기반의 교통정보를 제공할 수 있는 교통정보서버를; 더 포함하고,
상기 제2 인공지능부는, 상기 교통정보서버로부터 제공되는 교통정보를 상기 최적화 알고리즘에 반영하여 상기 주행경로 데이터를 생성하는 것을 특징으로 하는 인공지능을 활용한 보행 보조기구 자율주행 시스템.
제1항에 있어서,
상기 메인제어부는 자율주행 진행 전 상기 입출력부를 통해 사용자에게 자율주행 승인 여부를 고지하고, 사용자가 자율주행을 거절하는 경우 수동주행 모드로 전환됨과 함께 사용자에 의한 자율 주행 거절 상황을 상기 제2 인공지능부가 학습할 수 있도록 그 데이터를 상기 IoT부를 통해 상기 중앙 서버로 전송하는 것을 특징으로 하는 인공지능을 활용한 보행 보조기구 자율주행 시스템.
제1항에 있어서,
상기 객체인식부는 파악된 객체정보를 이용하여 주행경로 상에 존재하는 정지된 상태의 서로 이웃하는 객체 사이의 이격거리를 계산하고,
상기 메인제어부는 상기 객체인식부에서 계산된 이격거리를 상기 보행 보조기구의 너비와 비교하여 통과 가능 여부를 판단하는 것을 특징으로 하는 인공지능을 활용한 보행 보조기구 자율주행 시스템.
삭제
정보의 입출력이 가능한 입출력부와, 외부와 데이터의 송수신이 가능한 IoT부와, 동력에 의해 주행 가능한 주행부와, 상기 주행부의 주행 데이터 및 주변 환경 데이터의 획득이 가능한 데이터획득부와, 상기 데이터획득부에 획득되는 주변 환경 데이터로부터 주변의 객체 정보를 파악할 수 있는 객체인식부와, 상기 주행부의 작동을 제어할 수 있는 메인제어부가 구비된 보행 보조기구와;
외부와 데이터의 송수신이 가능한 통신부와, 상기 데이터획득부에서 획득되는 데이터가 저장되는 데이터베이스와, 상기 데이터베이스에 저장된 데이터 중 객체와 관련된 O-빅데이터를 딥러닝 방식으로 학습하여 객체 정보의 파악이 가능한 딥러닝 객체인식 엔진이 탑재된 제1 인공지능부와, 상기 데이터베이스에 저장된 데이터 중 주행환경과 관련된 S-빅데이터를 이용하여 소정의 최적화 알고리즘에 따라 설정된 목적지까지의 주행경로 데이터를 생성하는 제2 인공지능부가 구비된 중앙 서버를; 포함하되,
상기 객체인식부는 상기 제1 인공지능부의 딥러닝 객체인식 엔진을 이용하여 인식 대상 객체의 특정 및 특정된 객체와의 거리를 포함하는 객체 정보를 실시간으로 파악하고,
상기 메인제어부는 상기 객체인식부에서 파악된 주변의 객체 정보 및 상기 제2 인공지능부에서 생성된 주행경로 데이터를 기초로 자율주행이 가능하도록 상기 주행부의 작동을 제어하며,
상기 데이터획득부는 주변의 이미지 데이터를 획득할 수 있는 카메라 비전이 구비되고,
상기 객체인식부는 상기 카메라 비전에서 획득된 이미지 데이터에 크기의 특정이 가능한 기준 객체가 존재하는 경우 상기 기준 객체의 크기를 기준으로 인식 대상 객체와의 거리를 산출하는 것을 특징으로 하는 인공지능을 활용한 보행 보조기구 자율주행 시스템.
제1항 내지 제4항 중 어느 하나의 항에 있어서,
상기 객체인식부는 상기 카메라 비전에서 획득된 이미지 데이터들의 획득 시간차에 따른 인식 대상 객체의 거리 변화량을 이용하여 상기 인식 대상 객체의 이동 속도를 실시간으로 산출하는 것을 특징으로 하는 인공지능을 활용한 보행 보조기구 자율주행 시스템.
제7항에 있어서,
상기 데이터획득부는 상기 카메라 비전이 전후좌우 전방향을 커버할 수 있도록 배치되고, 충격을 감지할 수 있는 충격감지센서가 더 구비되며,
상기 객체인식부는 인식된 객체가 설정된 이동 속도 이상으로 사용자에게 근접하는 것이 확인되는 경우 상기 입출력부를 통해 사용자에게 위험상황을 알리고,
상기 메인제어부는 상기 위험상황에서 충돌가능성을 판단하되, 자율주행으로 회피가 가능하다고 판단된 경우 상기 입출력부를 통해 사용자에게 고지 후 자율주행의 이벤트모드를 발생시키고, 자율주행으로 회피가 불가능하다고 판단된 경우 상기 입출력부를 통해 사용자에게 수동주행 모드로의 전환을 요청하며, 상기 위험상황에서 상기 충격감지센서에 충격이 감지되는 경우 상기 IoT부를 통해 설정된 보호자단말기 또는 상기 중앙 서버에 도움요청 신호를 전송하는 것을 특징으로 하는 인공지능을 활용한 보행 보조기구 자율주행 시스템.