KR102335692B1 - 열화상 이미지 추종 카트 로봇 - Google Patents

Abstract

본 발명은 택배용 로봇이 어두운곳이나 빛이 카메라에 영향을 미치는 곳에서 마크를 인식하지 못하는 문제점을 해결하기위해 카트 로봇에 열화상카메라를 적용하고 발열소재 인식마크를 부착하여 상기 인식마크의 열화상이미지를 인식하여 택배원을 용이하게 추종할 수 있는 기술에 관한 것으로서 열화상이미지의 마크를 인식하여 택배원을 용이하게 추종할 수 있는 효과를 갖는다.

Description

열화상 이미지 추종 카트 로봇 {a robot as a cart carrier with sensing and chasing infrared image}

본 발명은 열화상 이미지를 감지하여 사람을 추종하는 로봇을 이용한 화물카트 캐리어에 관한 것이다.

[문헌 1] 대한민국발명등록특허 10-1751811 추적이동식 카트 로봇 시스템

[문헌 2] 대한민국발명공개특허 10-2020-0144364 카트 로봇 및 로봇 관제 시스템

[문헌 3] 대한민국발명공개특허 10-2015-0126096 카트로봇 주행 시스템

[문헌 4] 대한민국발명공개특허 10-2020-0126880 자동 추종 기능을 갖는 카트 로봇

상기 문헌1은 사용자의 신체에 착용할 수 있고, 다수의 인식 마크가 표시된

착용물; 카트 로봇;을 포함하고, 상기 카트 로봇은, 바퀴부, 구동부, 카메라, 제어부를 포함한다. 그러한 구성으로 인해, 종래의 기술에 비해 비용이 저렴하면서도 사용자를 정확하게 추종할 수 있는 기술에 관한 것이다.

문헌 2는 이동 로봇의 사람 인식 및 추종 방법이 개시된다. 이동 로봇의 사람 인식 및 추적 방법은 상기 이동 로봇은 인식하여 추적할 사람을 학습시켜 하나의 가우시안 분포도를 생성하는 단계, 상기 이동 로봇은 카메라와 라이다 센서를 이용하여 그리드 맵을 생성하는 단계, 상기 이동 로봇이 상기 사람의 위치를 상기 그리드 맵에서 추정하는 단계, 및 상기 그리드 맵에서 추정된 사람의 위치에 따라 상기 이동 로봇은 상기 사람을 추적하는 단계를 포함하며, 상기 이동 로봇은 인식하여 추적할 사람을 학습시켜 하나의 가우시안 분포도를 생성하는 단계는 상기 이동 로봇은 서로 다른 시간에 상기 추적할 사람을 촬영하여 상기 추적할 사람이 포함된 복수의 제1이미지들을 생성하는 단계, 상기 이동 로봇은 RGB 컬러 모델로 표현된 상기 복수의 제1이미지들을 HSV 컬러 모델로 표현되는 복수의 제2이미지들로 변환하는 단계, 상기 이동 로봇은 상기 복수의 제2이미지들 각각에 포함된 상기 사람의 상의 영역에 대한 복수의 데이터들을 추출하는 단계, 상기 이동 로봇은 상기 추출된 복수의 데이터들을 이용하여 상기 추출된 사람의 상의 영역의 3D HSV 분포도를 생성하는 단계, 상기 이동 로봇은 상기 3D HSV 분포도에 가우시안 혼합 모델을 적용하여 복수의 가우시안 분포도들을 생성하는 단계, 및 상기 이동 로봇은 상기 복수의 가우시안 분포도들 중 가중치가 가장 높은 가우시안 분포도를 선택하여 상기 하나의 가우시안 분포도를 생성하는 단계를 포함하는 기술에 관한 것이다.

문헌 3은 카트를 수동으로 이동시키는 수고를 덜고, 카트 반납이 필요하지 않은 자동주행이 가능한 카트로봇 주행 시스템에 관한 것이다. 카트로봇 주행 시스템은 사용자와 일정 거리를 유지하면서 주행하는 추적 주행모드 또는 정렬구역으로 돌아오는 자율 주행모드로 동작하는 카트로봇, 카트로봇의 주행 상황을 촬영하는 카메라, 및 카메라로부터 수신한 영상을 기반으로 하여 자율 주행모드를 종료한 카트로봇이 정렬구역으로 돌아오도록 주행경로를 생성하여 카트로봇으로 제공하는 중앙 제어 장치를 포함하는 기술에 관한 것이다.

문헌 4는 사용자를 추종하는 기능을 구현하기 위해 각 구성품들을 최적화하여 탑재한 자동 추종 기능을 갖는 카트 로봇에 관한 것으로, 물품을 수납하는 수납부; 상기 수납부의 하부에 결합되어 상기 수납부를 지지하는 본체;

상기 본체의 후방에 설치되는 핸들 어셈블리; 상기 본체의 하부에 회전 가능하게 결합되어 상기 핸들 어셈블리에 가해지는 힘의 방향으로 상기 본체를 이동시키는 휠 어셈블리; 및 상기 본체의 일측에 설치되며 설치 방향 전방의 장애물을 감지하고 송신 모듈의 위치를 감지 및 추적하는 복수의 센서 모듈;을 포함하고, 상기 복수의 센서모듈은 서로 간섭되지 않도록 배치되는 것을 특징으로 하는 기술에 관한 것이다.

[문헌 1] 대한민국발명등록특허 10-1751811 추적이동식 카트 로봇 시스템 [문헌 2] 대한민국발명공개특허 10-2213310 이동 로봇 및 이의 사람 인식 및 추적 방법 [문헌 3] 대한민국발명공개특허 10-2015-0126096 카트로봇 주행 시스템 [문헌 4] 대한민국발명공개특허 10-2020-0126880 자동 추종 기능을 갖는 카트 로봇

상기 문헌 들과 같이 카트 로봇이 사람을 추종하여 짐꾼역할을 하는 로봇관련 기술들이 출시되었는데 상기 문헌들중 마크를 카메라로 인식하여 사람을 추종하는 경우 어두운 곳에 가거나 빛이 로봇의 카메라에 영향을 미치는 곳에 갈 경우 인식을 못하는 문제가 있었다.

그리고 카트로봇이 택배용 물건들을 전달할 때 한 개의 물건밖에 전달하지 못해 최근처럼 택배물량이 많을 경우 문제점이 많아 많은 택배물건을 싣고 택배원을 추종하며 고객에게 전달할 수 있는 기술이 필요하게 되었다.

그리고 상기 카트로봇이 택배원을 추종할 뿐 아니라 공사지역이나 복잡한 지역 등을 지날 때 택배원이 필요시에 카트로봇의 방향을 조종하거나 정지시킬 수 있는 기술이 필요하게 되었다.

따라서 본 발명은 상기 문제점을 해결하기 위해 카트용로봇에 많은 물건을 싣고 사람의 표적을 인식하여 택배원을 따라 다니게 하는 기술을 제공한다.

그리고 상기 카트용로봇이 열화상인식카메라를 구비하여 열화상이미지를 인식할 수 있는 기술을 구비하고 상기 표적을 탄소섬유 등 발열소재를 이용 전기저항역할을 하면서 마크화시킨 부착물을 택배원이 착용하여 어두운 곳이나 빛이 카메라에 영향을 주어 마크 인식을 못하는 곳에서도 열화상이미지의 마크를 인식하여 용이하게 택배원을 추종할 수 있는 기술을 제공한다.

그리고 본 발명의 또 하나의 목적은 카트용로봇이 추종하는 사람이 필요에 따라 상기 카트로봇을 멈추게 하거나 방향을 조종하기 위한 마크를 이용하는 기술을 제공하는데 있다.

본 발명의 일실시예에 따르면 본 발명은 부착물에 간단한 마크를 탄소섬유 등의 전기가 통하면서 전기저항 역할을 하는 발열소재로 택배원의 일반적으로 앞면과 뒷면에 구비하고 건전지와 연결하여 회로화하여 택배원이 상기 부착물을 앞뒤로 부착하고 스위치를 온시키면 상기 마크가 발열되어 카트용로봇이 구비한 열화상인식카메라와 상기 카트용로봇의 인공지능소프트웨어를 이용 택배원을 추종할 수 있는 기술을 제공한다.

그리고 본 발명의 또다른 일실시에에 따르면 택배원의 손목부위의 부착물에 방향이나 정지신호 등을 인식할 수 있는 상기 발열소재마크를 부착하여 택배원이 카트로봇에 인식시킴에 의해 상기 카트로봇이 왼쪽이나 오른쪽으로 움직이거나 정지하는 등의 상기 카트로봇을 제어할 수 있는 기술을 제공한다.

본 발명은 카트용로봇이 열화상인식카메라를 구비하여 열화상이미지를 인식할 수 있는 기술을 구비하고 탄소섬유 등 발열소재를 이용하여 마크화시킨 부착물을 택배원이 착용하여 어두운 곳이나 카메라가 빛에 영향을 받아 마크인식이 잘안되는 곳에서도 열화상이미지의 마크를 인식하여 택배원을 용이하게 추종할 수 있는 효과를 갖는다.

도1은 본 발명의 기본 실시 예시도
도2는 택배원이 카트로봇을 조종할 수 있는 마크표시 예시도

본 발명은 택배용 로봇이 어두운곳이나 빛이 자주변화되거나 반사되는 등의 로봇의 카메라에 빛이 영향을 미치는 곳에서 마크를 인식하지 못하는 문제점을 해결하기위해 카트 로봇에 열화상카메라를 적용하고 발열소재 인식마크를 부착하여 상기 인식마크의 열화상이미지를 인식하여 택배원을 용이하게 추종할 수 있는 기술에 관한 것으로서 본 발명은 기술적 차별화와 효과는 다음과 같다.

1) 어두운곳이나 로봇의 카메라에 빛이 영향을 미치는 곳에서도 마크인식이 용이함 : 열화상이미지는 밝기에 관계없이 열화상이미지만 인식하기 때문에 택배원추종에 있어 기존 기술이 밝기가 심하게 변동되거나 카메라에 빛이 반사되는 곳이나 저녁무렵 어두워서 마크가 안보이는 문제점을 해결함

2) 공사현장이나 사람이 많아 복잡한 곳에서 택배원이 마크를 이용하여 명령을 내릴 수 있어 기타 기술대비 현장적용에 유리함

3) 사람이나 동물을 열화상이미지로 구분할 수 있어 주행중에 안내나 주의를 줄 수 있고 추종하는 사람의 형체가 열화상이미지로 나타나 사람을 추종하기 용이함

도 1은 본 발명의 기본 실시예로서

택배원은 탄소섬유 등 발열소재로 제작되고 전기가 통하며 전기저항역할을 하는 한개 이상의 인식마크(200, 200-1..200-N)가 회로로 구성되어 포함된 하나 이상의 부착물(100)을 착용한다. 이 때 적어도 한 개 이상의 인식마크(200, 200-1..200-N)는 전원(400) 및 스위치(300) 및 연결선(310)으로 연결되고 스위치(300)를 ON하면 상기 마크(200, 200-1..200-N)는 전기저항을 가진 열선으로 구비되고 발열되어 카트로봇(500)에 구비된 열화상카메라 기능이 포함된 화상카메라(600)가 인식하여 카트로봇(500)은 택배원을 추종할 수 있다.

그리고 마크(200, 200-1..200-N)는 통상 택배원의 앞면 또는 뒷면에 적어도 한개 이상씩 구비하여 카트로봇(500)이 구비한 열화상카메라기능이 포함된 화상카메라(600)가 용이하게 인식하게 함이 바람직하다.

그리고 택배원은 사람이기 때문에 자체 발열을 하고 택배원의 열화상이미지가 구분될 수 있기 때문에 상기 마크(200, 200-1..200-N)의 열화상이미지를 인식하는 동시에 택배원의 열화상이미지를 함께 인식하여 택배원을 추종하는 것이 좀더 바람직한 추종방법이 될 수 있다.

그리고 본 발명의 실시예로 본 발명의 카트로봇(500)에는 Lidar(Laser Detection And Ranging)와 열화상카메라 기능이 포함된 화상카메라(600)와 MPU(Micro Procssing Unit)와 연결되어 물체를 인식하여 택배원을 자율주행으로 추종할 수 있는 인공지능소프트웨어가 구비되어 상기 마크( 200, 200-1..200-N)를 부착한 사람의 열화상이미자와 함께 마크를 동시에 인식 및 분석 판단하여 택배원을 추종하기 때문에 정확도가 기존 기술대비 높다.

그리고 도2는 택배원이 카트로봇을 조종할 수 있는 마크표시 예시도로 아파트나 공장 등에 상기 카트로봇이 주행할 때 공사현장 등 긴급상황이 발생하여 상기 카트로봇이 자율주행으로 빠르게 처리하지 못하는 상황이 발생할 때 택배원이 임의로 상기 카트로봇을 조정할일이 발생할 수가 있다. 이 때 조정할 수 있는 손목부위에 부착물(110,120)이 추가되고 일측 손목 부착물(110)에 멈춤과 다시가기 표시와 다른 일측 손목 부착물(120)에 좌,우 방향지시로 즉, 열화상소재의 열선으로 구성된 인식마크(200-2)는 멈춤, 인식마크(200-3)은 좌측으로가기, 인식마크(200-4)는 우측으로 가기, 인식마크(200-4)는 다시가기로 추가로 표시되어 택배원이 해당 인식마크(200-2,200-3, 200-4,200-5) 중 어느 하나를 상기 카트로봇(500)의 화상카메라(600)에 인식시켜 상기 카트로봇의 자율조종을 잠시 중지하고 멈추거나 상기 멈춤상태에서 다시가기하거나 좌측으로 가거나 우측으로 가게 조정할 수 있다.

그리고 상기 인식마크(200-2,200-3,200-4,200-5)는 마찬가지로 상기 인식마크(200,200-1)과 연결되어 회로로 구성되거나 또는 독립적인 회로로 전원(400)과 연결되어 구성되어 있다. 그리고 상기 도1과 도2의 마크 표시는 본 발명의 마크는 상기 카트로봇(500)의 인공지능소프트웨어와 연결하여 얼마든지 다르게 표시할 수 있기 때문에 상기 인식마크 표시가 다르게 구성되거나 위치가 다른 곳에 배치되어도 열화상소재를 적용한 인식마크를 적용할 경우 어떤 경우에도 본 발명의 구성에 속한다.

100 부착물(발열소재회로 내장)
200 인식마크 (200,200-1,..200-N)
300 스위치
400 전원
500 카트로봇
600 열화상카메라 기능이 포함된 화상카메라

Claims (5)

1. 열화상카메라기능이 포함된 화상카메라와 인공지능소프트웨어가 구비된 카트로봇;
   전기가 통하는 발열소재로 구성된 적어도 한개 이상의 인식 마크가 포함된 부착물이 택배원의 신체에 구비되고,
   상기 카트로봇은 상기 인식마크가 부착된 택배원을 상기 열화상카메라기능이 포함된 화상카메라를 이용하여 상기 인식마크의 열화상이미지를 인식하여 상기 택배원을 추종하는 것을 포함하고,
   상기 인식마크는 멈춤 표시 인식마크나 다시가기 표시 인식마크 또는 좌측으로 가기 표시 인식마크나 우측으로 가기 표시 인식마크 중 어느 하나 이상의 인식마크가 추가될 수 있는 것을 포함하는 열화상 이미지 추종 카트 로봇.
   
2. 제 1항에 있어서, 상기 추가되는 인식마크는 손목부위에 상기 인식마크가 표시된 부착물이 부착되는 것을 포함하는 열화상 이미지 추종 카트 로봇.
   
   
3. 삭제
4. 삭제
5. 삭제

Images