KR20210007295A

KR20210007295A - 사용자 신체 특성을 반영하여 파워 어시스트 모드로 이동하는 방법 및 이를 구현하는 카트로봇

Info

Publication number: KR20210007295A
Application number: KR1020190083496A
Authority: KR
Inventors: 박혜리
Original assignee: 엘지전자 주식회사
Priority date: 2019-07-10
Filing date: 2019-07-10
Publication date: 2021-01-20
Also published as: US11513532B2; US20210011484A1; KR102300574B1

Abstract

본 발명은 사용자 신체 특성을 반영하여 파워 어시스트 모드로 이동하는 방법 및 이를 구현하는 카트로봇에 관한 것으로, 본 발명의 일 실시예에 의한 사용자 신체 특성을 반영하여 파워 어시스트 모드로 이동하는 카트로봇은 카메라 센서가 촬영한 카트로봇의 사용자의 이미지 정보에서 사용자의 신체 특성 정보를 산출하여 신체 특성 정보와 포스 센서가 센싱한 힘의 크기를 이용하여 이동부의 이동 방향 또는 이동 속도 또는 이동부의 모터에 인가하는 토크의 값을 제어한다.

Description

사용자 신체 특성을 반영하여 파워 어시스트 모드로 이동하는 방법 및 이를 구현하는 카트로봇{METHOD OF MOVING IN POWER ASSIST MODE REFLECTING PHYSICAL CHARACTERISTIC OF USER AND CART-ROBOT OF IMPLEMENTING THEREOF}

본 발명은 사용자 신체 특성을 반영하여 파워 어시스트 모드로 이동하는 방법 및 이를 구현하는 카트로봇에 관한 기술이다.

대형 마트, 백화점, 공항, 골프장 등 인적, 물적 교류가 활발하게 발생하는 대형 공간에서 다양한 사람들이 다양한 물건을 소지하고 이동한다. 이 경우, 사용자의 편의를 제공하기 위해 물건을 이동시킴에 있어서 카트와 같은 장치가 사용자를 보조할 수 있다.

종래에는 사용자가 카트를 직접 핸들링하여 이동시켰다. 그러나 카트 내에 다양한 물품이 적재되거나 카트 자체의 무게로 인해 카트에 전기적인 동력을 결합시켜 사용자의 제어에 기반하여 이동하는 카트에 대한 필요성이 증가되었다.

특히, 전술한 대형 공간은 많은 사람들과 사물들이 이동하는 공간이기에 사용자의 조정 외에도 카트가 자율적으로 주변 상황을 확인하는 것이 필요하다.

따라서, 사용자가 쉽게 카트를 이동시키면서도 복잡한 대형 공간 내에서 충돌을 회피하며 사용자의 의도에 부합하게 이동하는 카트의 개발이 필요하다. 특히, 카트가 사용자의 의도에 부합하게 이동할 수 있도록 이동성을 제공함에 있어서, 사용자가 가지는 신체적 특징을 반영하여 카트와 같은 장치가 이동하는 방안을 제시하고자 한다.

전술한 문제점을 해결하기 위한 것으로, 본 명세서에서는 카트로봇에 인가된 사용자의 힘을 전기적인 에너지로 어시스트하여 사용자가 쉽게 카트를 이동시킬 수 있는 기술들을 제시한다.

또한, 본 명세서에서는 카트로봇의 이동성을 제어하기 위해 사용자가 핸들 어셈블리에 인가한 힘의 크기나 차이 등 힘의 변화를 반영하여 카트가 이동할 수 있는 기술들을 제시한다.

또한, 본 명세서에서는 카트로봇이 사용자의 신체적 특징을 확인하기 위해 이미지 정보를 이용하고, 또한 이를 보완한 개인적 차이를 반영하여 동일하게 인가된 힘이라도 카트의 이동 속도나 이동 방향을 다변화 시킬 수 있는 기술들을 제시한다.

본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.

본 발명의 일 실시예에 의한 사용자 신체 특성을 반영하여 파워 어시스트 모드로 이동하는 카트로봇은 카메라 센서가 촬영한 카트로봇의 사용자의 이미지 정보에서 사용자의 신체 특성 정보를 산출하여 신체 특성 정보와 포스 센서가 센싱한 힘의 크기를 이용하여 이동부의 이동 방향 또는 이동 속도 또는 이동부의 모터에 인가하는 토크의 값을 제어한다.

본 발명의 일 실시예에 의한 사용자 신체 특성을 반영하여 파워 어시스트 모드로 이동하는 카트로봇의 제어부는 카트로봇의 제어가 시작되면 카메라 센서를 제어하여 핸들 어셈블리 방향의 사용자를 촬영하며, 제어부는 촬영된 이미지에서 사용자의 성별 정보를 추출하여 신체 특성 정보를 산출한다.

본 발명의 일 실시예에 의한 사용자 신체 특성을 반영하여 파워 어시스트 모드로 이동하는 카트로봇의 카메라 센서는 카트로봇의 수납부에 배치된 물품의 이미지를 촬영하고, 제어부는 물품의 이미지에서 사용자의 성별 정보를 추출하여 신체 특성 정보를 업데이트한다.

본 발명의 일 실시예에 의한 사용자 신체 특성을 반영하여 파워 어시스트 모드로 이동하는 카트로봇의 제어부는 카메라 센서가 촬영한 이미지를 입력받아 이미지에 대한 디스크립션 정보를 생성하는 인공지능모듈을 더 포함하며, 인공지능모듈은 이미지에 포함된 사람의 성별 또는 나이에 대한 정보를 출력하거나, 또는 인공지능모듈은 이미지에 포함된 물품의 성별 관련도를 출력한다.

본 발명의 일 실시예에 의한 사용자 신체 특성을 반영하여 파워 어시스트 모드로 이동하는 방법은 카트로봇의 카메라 센서가 카트로봇의 시작 시점에서 핸들 어셈블리의 주변을 촬영하는 단계와, 카트로봇의 제어부가 사용자의 신체 특성 정보를 산출하여 신체 특성 정보를 산출하는 단계와, 제어부가 핸들 어셈블리에 가해진 힘을 센싱하는 포스 센서가 센싱한 힘의 크기 및 신체 특성 정보를 이용하여 이동부의 이동 방향 또는 이동 속도 또는 이동부의 모터에 인가하는 토크의 값을 제어하는 단계를 포함한다.

본 발명의 실시예들을 적용할 경우, 카트로봇에 인가된 사용자의 힘을 전기적인 에너지로 어시스트하여 사용자가 쉽게 카트를 이동시킬 수 있다.

본 발명의 실시예들을 적용할 경우, 카트로봇의 이동성을 제어하기 위해 사용자의 신체적 특성을 반영하고, 또한 핸들 어셈블리에 인가한 힘의 크기나 차이 등 힘의 변화를 반영하여 카트를 이동시킬 수 있다.

본 발명의 실시예들을 적용할 경우, 카트로봇은 이미지 정보를 이용하여 사용자의 신체적 특징을 확인 및 이에 기반한 신체적 힘의 차이를 반영하여 동일하게 인가된 힘이라도 카트의 이동 속도나 이동 방향을 다변화 시킬 수 있다.

본 발명의 효과는 전술한 효과에 한정되지 않으며, 본 발명의 당업자들은 본 발명의 구성에서 본 발명의 다양한 효과를 쉽게 도출할 수 있다.

도 1은 본 발명의 일 실시예에 의한 카트의 외관을 보여준다.
도 2는 본 발명의 일 실시예에 의한 카트의 제어모듈의 세부 구성을 보여준다.
도 3은 본 발명의 일 실시예에 의한 카트 로봇이 카메라 센서를 이용하여 사용자의 신체적 특성을 확인하여 파워 어시스트 모드를 조정하는 과정을 보여준다.
도 4는 본 발명의 일 실시예에 의한 카메라 센서의 구성을 보여준다.
도 5는 본 발명의 일 실시예에 의한 사용자 이미지를 촬영하여 사용자의 그룹을 결정하는 과정을 보여준다.
도 6은 본 발명의 일 실시예에 의한 수납부의 이미지 또는 사용자의 핸들 어셈블리 조작에 기반하여 사용자에 적합한 파워 어시스트 모드를 설정하는 과정을 보여준다.
도 7은 본 발명의 일 실시예에 의한 장애물 감지시 사용자의 핸들 어셈블리 조작을 파워 어시스트 모드 설정에 적용하는 과정을 보여준다.
도 8은 본 발명의 일 실시예에 의한 둘 이상의 사용자가 카트로봇을 교대로 제어하는 경우에 카트로봇이 대처하는 과정을 보여준다.
도 9는 본 발명의 일 실시예에 의한 AI 서버의 구성을 보여준다.
도 10은 본 발명의 일 실시예에 의한 이미지 획득 후 인공지능 모듈이 이미지에 대한 디스크립션 정보를 생성하는 과정을 보여준다.

이하, 도면을 참조하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.

본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다. 또한, 본 발명의 일부 실시예들을 예시적인 도면을 참조하여 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가질 수 있다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 수 있다.

본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질, 차례, 순서 또는 개수 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 다른 구성 요소가 "개재"되거나, 각 구성 요소가 다른 구성 요소를 통해 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.

또한, 본 발명을 구현함에 있어서 설명의 편의를 위하여 구성요소를 세분화하여 설명할 수 있으나, 이들 구성요소가 하나의 장치 또는 모듈 내에 구현될 수도 있고, 혹은 하나의 구성요소가 다수의 장치 또는 모듈들에 나뉘어져서 구현될 수도 있다.

이하, 본 명세서에서 사용자를 추종하며 자율적으로 이동하거나 사용자의 제어에 따라 전기적 에너지에 기반하여 이동하는 장치들을 스마트 카트로봇, 카트로봇 로봇 혹은 줄여서 카트라고 한다. 카트로봇은 대형 마트나 백화점 등 매장 내에서 사용할 수 있다. 또는 공항이나 항만과 같이 여행객들이 많이 이동하는 공간 내에서 사용자들이 카트로봇을 사용할 수 있다. 그리고 카트로봇은 골프장과 같은 레저 공간에서도 사용될 수 있다.

또한, 카트로봇은 사용자의 위치를 추적하여 사용자를 따르면서 소정의 보관 공간을 가지는 모든 장치를 포함한다. 카트로봇은 사용자가 밀거나 당기는 등의 제어에 따라 전기적 동력을 이용하여 이동하는 모든 장치를 포함한다. 그 결과, 사용자는 카트로봇을 전혀 조정할 필요 없이 카트로봇을 이동시킬 수 있다. 또한 사용자는 매우 작은 힘을 들여서 카트로봇을 이동시킬 수 있다.

특히, 본 명세서에서의 카트로봇은 사용자의 제어에 기반하여 전기적 동력을 이용하여 이동한다. 이를 위해 카트로봇은 사용자가 제어하는 힘을 미세하기 분석하여 카트의 이동 속도, 이동 방향 또는 이동/정지의 기능을 수행할 수 있다.

도 1은 본 발명의 일 실시예에 의한 카트의 외관을 보여준다. 도 2는 본 발명의 일 실시예에 의한 카트의 제어모듈(150)의 세부 구성을 보여준다.

카트로봇(100)은 수납부(110)와 핸들 어셈블리(120), 제어모듈(150), 이동부(190a, 190b)를 포함한다. 수납부(110)는 사용자에 의해 사물이 수납되거나 적재되는 공간이다. 핸들 어셈블리(120)는 사용자가 카트로봇(100)를 수동으로 이동을 제어하거나, 반자동으로 이동을 제어할 수 있도록 한다.

핸들 어셈블리(120)는 카트로봇의 일면에 배치되며, 사용자가 카트로봇(100)를 제어하는 과정에서 힘을 가할 경우, 사용자가 가한 힘을 센싱한다. 제어모듈(150)는 카트로봇(100)의 이동을 제어한다. 제어모듈(150)은 핸들 어셈블리(120)가 센싱한 힘에 대응하여 카트의 이동 방향이나 이동 속도 등을 결정하여 이동부(190)를 이동시킨다. 따라서, 사용자는 핸들 어셈블리(120)를 이용하여 카트로봇(100)를 전후로 밀거나 방향을 변경할 수 있다. 제어모듈(150)는 카트로봇(100)의 이동을 제어한다.

제어모듈(150)는 자율주행 모드에서 사용자를 송신모듈(500)을 이용하여 추종할 수 있도록 카트로봇(100)의 자율 주행을 제어한다. 또한, 제어모듈(150)은 파워 어시스트 모드에서 사용자가 작은 힘으로 카트로봇을 밀거나 당길 때 사용자의 힘을 보조하여 카트로봇이 주행하는 반자율 주행(파워 어시스트)을 제어한다.

따라서, 사용자가 카트를 제어하기 위해 핸들 어셈블리(120)에 힘을 가하는 경우, 포스 센서(210)가 핸들 어셈블리(120)에 가해진 힘을 센싱한다. 포스 센서(210)는 핸들 어셈블리(120)에 가해진 힘의 크기 또는 단위 시간 내의 힘의 변화를 센싱할 수 있다 포스 센서(210)는 핸들 어셈블리(120) 내에 배치된다. 포스 센서(210)가 센싱한 힘의 크기나 방향, 힘의 증가 속도 등은 제어 모듈(150)의 제어부(250)가 확인한다. 즉, 포스 센서(210)는 물리적으로 핸들 어셈블리(120) 내에 배치되며, 논리적으로 제어 모듈(150)의 제어부(250)와 상호 동작한다.

핸들 어셈블리(120)에는 사용자에게 소정의 정보를 출력하는 인터페이스부(230)가 배치될 수 있으며, 인터페이스부(230) 역시 제어모듈(150)의 제어를 받는 구성요소가 될 수 있다. 인터페이스부(230)는 사용자에게 카트로봇(100)와 핸들 어셈블리(120)를 제어하는 방법을 표시할 수 있다. 또는 인터페이스부(230)는 사용자에게 카트로봇(100)와 핸들 어셈블리(120)를 제어하는 과정에서 경고 메시지를 출력할 수 있다.

카트로봇(100)의 특정 영역에는 카트 주변에 배치된 장애물을 센싱하기 위한 장애물 센서(220)가 배치될 수 있다. 장애물 센서(220)는 카트로봇(100)의 하단, 상단 등 다양한 영역에 배치될 수 있다. 예를 들어 155에서 지시되는 영역에 카트의 전/좌/우/후방의 장애물을 센싱하기 위해 다수의 장애물 센서(220)들이 배치될 수 있다.

일 실시예로 전면/양측면과 같이 카트로봇(100)이 이동하는 방향으로 장애물 센서가 배치될 수 있다. 또는 카트로봇(100)이 후진할 경우, 전면 및 후면, 양측면에 장애물 센서가 배치될 수 있다.

또한 카트로봇(100)의 여러 영역에 사용자의 추종을 위한 사용자 위치를 추적하는 측위 센서(210)가 배치될 수 있다. 측위 센서(210)는 특정한 신호를 출력하는 송신 모듈(500)을 감지할 수 있다.

즉, 카트로봇(100)은 원격에 배치되어 사용자가 소지하는 소정의 송신모듈(500)의 위치를 확인하여 사용자를 추종하며 이동할 수 있다. 카트로봇(100)이 사용자의 위치를 확인하여 추종하는 기능을 선택적으로 구현할 수 있다.

이동부(190)는 제어부의 제어에 따라 카트를 이동시킨다. 또한 제어부(250)가 생성한 소정의 경로를 따라 이동부(190)는 카트를 이동시킬 수 있다. 이동부(190)의 이동은 휠의 회전속도와 회전한 횟수, 방향 등에 기반하여 카트로봇(100)의 이동 상태를 제어부(250)가 확인할 수 있도록 한다. 이동부(190)는 소정의 브레이크 장치가 포함되며 제어부(250)는 이동부(190)의 브레이크 장치를 제어하여 이동 중인 카트로봇(100)를 정지시킬 수 있다.

뿐만 아니라 제어부(250)는 이동부(190)를 구성하는 바퀴의 수평을 확인하여 카트로봇(100)이 경사로에 위치하는지 평지에 위치하는지를 확인할 수 있다. 물론, 제어부(250)는 수평 센서를 이용하여 카트의 현재 위치가 평지인지 혹은 경사로인지를 확인하는 것을 다른 실시예로 한다.

포스센서(210)는 핸들 어셈블리(120)에 배치되며, 사용자가 핸들 어셈블리(120)에 힘을 가할 경우, 힘의 크기나 힘의 변화 동을 센싱한다.

포스 센서(210)는 홀 센서, 마그네틱 타입 센서, 버튼식 센서 등 다양한 센서를 포함한다.

제어모듈(150)은 이동부(190a, 190b)를 제어할 수 있다. 이동부(190)는 제어부(250)가 생성한 이동 경로를 따라 카트로봇을 이동시킨다. 이동부(190)는 이동부(190)를 구성하는 바퀴를 회전시킴으로써 카트로봇(100)을 이동시킬 수 있다. 이동부(190)에 의한 카트로봇 이동은 휠의 회전속도와 회전한 횟수, 방향 등에 기반하여 카트로봇(100)의 위치를 제어부(250)가 확인할 수 있도록 한다. 제어부(250)가 생성한 이동 경로는 카트로봇의 좌측 바퀴와 우측 바퀴에 인가하는 각속도를 포함한다.

제어모듈(150)의 상세 구성은 도 2와 같이 논리적 구성요소들인 측위센서(210), 포스센서(240), 장애물 센서(220), 인터페이스부(230), 제어부(250), 카메라 센서(260), 통신부(280)이 배치되었다.

장애물 센서(220)는 카트로봇의 주변에 배치된 장애물을 센싱한다. 장애물 센서(220)는 사람, 벽, 사물, 고정물 또는 설치물(installed object) 등과 카트로봇과의 거리를 센싱할 수 있다.

측위 센서(210)는 자율 주행을 지원하는 카트로봇에 필수 구성요소이다. 그러나 반자율 주행(파워 어시스트) 주행 만을 지원하는 카트로봇의 경우 측위 센서(210)는 선택적으로 배치될 수 있다.

측위 센서(210)는 송신모듈(500)을 소지하는 사용자의 위치를 추적할 수 있으며, 카트로봇(100)의 상단 또는 측면 등에 배치될 수 있다. 그러나 이들 센서들의 위치는 실시예에 따라 다양하게 변경될 수 있으며 본 발명이 이에 한정되지 않는다. 그리고 센서들의 위치와 무관하게 제어모듈(150)은 센서들을 제어하거나 센서들이 센싱한 정보를 활용한다. 즉, 센서들은 물리적 위치에 상관없이 논리적으로 제어모듈(150)의 구성요소이다.

측위센서(210)는 송신모듈(500)로부터 신호를 수신하여 송신모듈(500)의 위치를 측정한다. 측위 센서(210)가 UWB(Ultra-wideband)를 이용할 경우, 사용자는 측위 센서(210)에게 소정의 신호를 송신하는 송신모듈(500)을 소지할 수 있다. 그리고 측위 센서(210)는 송신모듈(500)의 위치로 사용자의 위치를 확인할 수 있다. 일 실시예로 사용자는 손목에 부착하는 밴드 형태의 송신모듈(500)을 소지할 수 있다.

또한, 핸들 어셈블리(120)에는 사용자에게 소정의 정보를 출력하는 인터페이스부가 배치될 수 있으며, 인터페이스부 역시 제어모듈(150)의 제어를 받는 구성요소가 될 수 있다. 그리고 핸들 어셈블리(120)는 사용자가 카트로봇을 밀거나 당기는 힘을 센싱하는 포스 센서(240)를 포함한다.

포스센서(240)는 핸들 어셈블리(120)의 조작에 의해 힘의 변화가 가해지는 카트로봇(100)의 외부 또는 내부에 배치될 수 있다. 포스 센서(240)의 위치나 구성은 다양하게 적용될 수 있으며 본 발명의 실시예들은 특정한 포스 센서(240)에 한정되지 않는다.

포스센서(240)는 핸들 어셈블리(120)에 배치되거나 핸들 어셈블리(120)에 연결된 카트로봇(100)의 외부 또는 내부에 배치된다. 포스센서(240)는 사용자가 핸들 어셈블리(120)에 힘을 가할 경우, 힘의 크기나 힘의 변화 등을 센싱한다. 포스 센서(240)는 홀 센서, 마그네틱 타입 센서, 버튼식 센서 등 다양한 센서를 포함한다. 포스 센서(240)는 좌측 포스센서와 우측 포스센서로 각각 핸들 어셈블리(120) 또는 카트로봇(100) 내부 또는 외부에 배치될 수 있다.

장애물 센서(220)는 카트로봇의 주변에 배치된 장애물을 센싱한다. 장애물 센서는 거리를 측정하거나 영상을 취득하여 영상 내에서 장애물을 확인하는 센서를 포함한다. 거리 측정을 위한 장애물 센서(220)는 적외선 센서나 초음파 센서, 라이다 센서 등을 일 실시예로 한다.

또한 장애물 센서(220)는 뎁스 센서 혹은 RGB 센서를 포함한다. RGB 센서의 경우 영상 내에서 장애물과 설치물을 감지할 수 있다. 뎁스 센서는 영상 내에서 각 지점 별 뎁스 정보를 산출한다.

또한 장애물 센서(220)는 TOF(Time of Flight) 센서를 포함한다.

제어부(250)는 송신모듈(500)의 위치정보를 누적하여 저장하고, 저장된 송신모듈의 위치정보에 대응하는 이동 경로를 생성한다. 누적하여 위치정보를 저장하기 위해서 제어부(250)는 송신모듈(500) 및 카트로봇(100)의 위치정보를 일정한 기준점을 기반으로 하는 절대위치정보(절대좌표)로 저장할 수 있다.

또는 제어부(250)는 장애물 센서(220)와 카메라 센서(260)를 이용하여 카트로봇의 이동을 제어할 수 있다. 특히, 카메라 센서(260)는 도 1의 161이 지시하는 영역에 배치될 수 있으며, 카메라 센서(260)는 사용자 또는 수납부(110)를 촬영할 수 있다.

제어부(250)는 사용자를 촬영한 영상을 분석하여 카트로봇(100)을 제어하는 사용자의 신체적 특성을 확인할 수 있다. 신체적 특성이란 카트로봇(100)을 제어함에 있어서 남녀노소 또는 키, 몸무게 등을 의미한다.

촬영한 영상을 분석하여 제어부(250)는 핸들 어셈블리에 인가된 힘에 대응하여 이동부에 동력을 제공할 수 있다.

또한 제어부(250)는 포스 센서(240)가 센싱한 힘의 변화 또는 크기에 따라, 이동부의 이동 방향 또는 이동 속도를 제어한다. 또는 제어부(250)는 이동 속도를 제어하기 위해 이동부의 모터에 더 많은 전기에너지가 제공되도록 이동부(190)를 제어할 수 있다.

또한, 제어부(250)는 장애물 센서(220)가 센싱한 값을 이용하여 카트로봇 주변에 배치된 설치물을 검출한다. 제어부(250)는 카트로봇의 측면 및 전면에 배치된 장애물 센서(220)를 이용하여 설치물을 확인할 수 있다.

또한, 카트로봇(100)의 제어부(250)는 카메라 센서(260)가 수납부(110)를 촬영하여 수납부(110)에 포함된 상품의 종류에 따라 사용자의 성별을 확인할 수 있다. 그리고 그에 따라 파워어시스트 모드에서 이동부에 동력을 전달하는 범위를 조절할 수 있다.

한편, 카트로봇(100)의 제어부(250)는 인공지능모듈(255)을 추가로 탑재할 수 있다. 카메라 센서(260)가 촬영한 정보를 제어부(250)에게 제공하면, 제어부(250) 내의 인공지능모듈(255)이 제공된 정보를 입력받아 사용자의 성별 또는 사용자가 노인인지 어린이인지, 또는 사용자가 힘이 센 사람인지 그렇지 않은 사람인지를 판단할 수 있다. 인공지능모듈은 기계학습(machine learning) 또는 딥러닝 네트워크(Deep Learning Network)를 일 실시예로 한다.

카트로봇의 제어부(250)는 인공지능모듈을 이용하여 상황인식(Context Awareness)을 수행할 수 있다. 마찬가지로, 센싱된 값들, 사용자의 제어, 또는 다른 카트로봇들이나 서버로부터 수신된 정보 등을 인공지능모듈의 입력값으로 하여 제어부(250)는 카트로봇(100)의 상황을 인식할 수 있다.

특히 카트로봇(100)이 사용자에 따라 파워 어시스트 모드에서의 동력 전달의 범위나 이동부의 속도 제어 등을 판단하는 카메라 센서(260)가 산출한 다양한 이미지 데이터를 제어부(250)의 인공지능모듈에 입력하여 정확한 판단결과를 산출할 수 있다.

즉, 카트로봇의 제어부(250)는 인공지능모듈을 이용하여 입력된 이미지 정보들을 판독할 수 있다. 그리고 제어부(250)는 이미지 프로세싱(image processing)을 수행할 수 있다.

전술한 인공지능모듈은 추론 엔진(inference engine), 뉴럴 네트워크(neural network), 확률모델(probability model)을 포함할 수 있다. 그리고 인공지능모듈은 다양한 데이터에 기반한 지도학습(supervised learning) 또는 비지도학습(unsupervised learning)을 수행할 수 있다.

또한, 인공지능모듈은 인터페이스부(230)가 입력받은 사용자의 음성을 인식하여 이로부터 사용자의 성별 또는 노약자 여부 등의 신체적 특성 정보를 추출하기 위해 자연어 처리(natural language processing)을 수행할 수 있다.

또한, 카트로봇(100)의 제어부(250)는 음성 인식(Voice Recognition), TTS(Text To Speech) 기능을 제공한다.

도 1 및 도 2에 미도시되었으나 이동부(190), 핸들 어셈블리(120), 그리고 제어모듈(150)에 전원을 인가하는 배터리가 카트로봇(100)에 배치될 수 있다. 배터리는 제어모듈(150)에 의해 이동부(190)가 카트를 이동시키는 동력을 제공한다.

사용자가 카트를 미는 힘은 전기적 동력이 없을 경우 카트를 이동시키지 못하거나 매우 느린 속도로 카트를 이동시킬 정도의 힘이다. 그러나 본 발명의 실시예에 의한 파워 어시스트 모드에서 제어부(250)는 사용자가 카트를 미는 힘에 대해 카트의 이동 속도나 방향을 매핑하므로, 사용자는 적은 힘으로 카트를 이동시킬 수 있다.

특히, 제어부(250)는 카메라 센서(260)와 인터페이스부(230)를 이용하여 사용자의 특성, 특히 신체적 특성을 확인할 수 있고, 이러한 사용자의 신체적 특성에 기반하여 파워 어시스트 모드를 제공할 수 있다.

즉, 제어부(250)는 카메라 센서(260)가 촬영한 카트로봇의 사용자의 이미지 정보에서 사용자의 신체 특성 정보를 산출한다. 그리고 제어부(250)는 신체 특성 정보와 포스 센서(240)가 센싱한 힘의 크기를 이용하여 이동부(190)의 이동 방향 또는 이동 속도 또는 이동부(190)의 모터에 인가하는 토크의 값을 제어한다. 그 결과 사용자의 신체 특성 정보(성별, 연령별, 키 또는 어깨 넓이 등 힘에 영향을 미치는 신체 특성 정보)에 대응하여 카트로봇의 이동 속도나 방향, 또는 이동부에 인가되는 전기적인 에너지의 힘의 크기를 조절할 수 있다.

제어부(250)는 사용자를 적어도 두 개의 그룹 중 어느 하나의 그룹으로 분류한다. 제1그룹은 H-Power(High Power) 그룹으로 카트로봇(100)을 이용하는 사용자들 중에서 힘이 센 사용자 그룹이다. 사용자가 남성으로 확인되거나, 키가 큰 사람으로 확인되거나 또는 젊은 사람으로 확인된 경우에 제어부(250)는 사용자를 H-Power 그룹으로 설정한다.

제2그룹은 L-Power(Low Power) 그룹으로 카트로봇(100)을 이용하는 사용자들 중에서 힘이 약한 사용자 그룹이다. 사용자가 여성으로 확인되거나, 키가 작은 사람으로 확인되거나 또는 노인으로 확인된 경우에 제어부(250)는 사용자를 L-Power 그룹으로 설정한다.

물론, 두 그룹 이상이므로 제어부(250)는 다수의 그룹을 저장하고 사용자를 식별하여 사용자를 특정 그룹으로 설정할 수 있다. 예를 들어 제3그룹으로 M-Power(Middle Power) 그룹으로 하여 사용자의 성별이나 키, 노인/젊은이 여부가 확인되지 않을 경우에 중간 수준의 힘을 가지는 사용자로 판단하여 해당 사용자를 M-Power 그룹으로 설정한다.

표 1 및 표 2는 사용자가 속한 그룹에 따라 사용자가 핸들 어셈블리에 인가한 힘의 크기에 따라 모드 별 카트의 이동 속도를 보여준다.

표 1 및 2에서 전기 에너지가 동력으로 전달되지 않는 카트의 이동 속도는 사용자의 힘에 비례한다. 그리고 이는 파워 어시스트 모드에서의 카트의 이동 속도보다 느리다. 즉, 파워 어시스트 모드에서 카트는 전기 에너지를 동력으로 사용하며, 사용자는 작은 힘으로 카트를 더 빨리 이동시킬 수 있다.

표 1에 도시된 바와 같이, H-Power 그룹의 사용자의 힘이 5에서 10으로 2배 증가한 경우 전기 에너지 없이 카트의 이동 속도는 10 cm/sec 에서 20 cm / sec으로 2배가 증가하였다. 반면, 파워 어시스트 모드에서는 H-Power 그룹의 사용자의 힘이 5 또는 10인 경우, H-Power 그룹의 설정치에 따라 제어부(250)가 힘과 카트의 이동 속도의 매핑을 조절할 수 있다. 그 결과 5의 힘이 센싱된 경우 카트의 이동 속도는 30 cm /sec 인 반면, 10의 힘이 센싱된 경우 카트의 이동 속도는 50 cm / sec 으로 매핑된다. 힘과 카트의 이동 속도 또는 방향에 대한 파워 어시스트 모드 하에서의 매핑은 다양하게 조절된다.

그룹 H-Power의 사용자가 인가한 힘	전기 에너지가 제공되지 않을 경우 카트의 이동 속도	파워 어시스트 모드에서 카트의 이동 속도
5	10 cm / sec	30 cm /sec
10	20 cm / sec	50 cm / sec

마찬가지로, 표 2에 도시된 바와 같이 L-Power 그룹의 사용자의 힘이 4에서 8로 2배 증가한 경우 전기 에너지 없이 카트의 이동 속도는 8 cm/sec 에서 16 cm / sec으로 2배가 증가하였다. 반면, 파워 어시스트 모드에서는 L-Power 그룹의 사용자의 힘이 4 또는 8인 경우, 제어부(250)가 힘과 카트의 이동 속도의 매핑을 L-Power 그룹의 설정치에 따라 조절할 수 있다. 그 결과 4의 힘이 센싱된 경우 카트의 이동 속도는 30 cm /sec 인 반면, 8의 힘이 센싱된 경우 카트의 이동 속도는 50 cm / sec 으로 매핑된다. 힘과 카트의 이동 속도 또는 방향에 대한 파워 어시스트 모드 하에서의 매핑은 다양하게 조절된다.

그룹 L-Power의 사용자가 인가한 힘	전기 에너지가 제공되지 않을 경우 카트의 이동 속도	파워 어시스트 모드에서 카트의 이동 속도
4	8 cm / sec	30 cm /sec
8	16 cm / sec	50 cm / sec

표 1 및 표 2와 같이 상이한 그룹에 속한 사용자들이 상이한 힘(5 또는 4)으로 카트로봇을 이동시키는 경우라 하여도 파워 어시스트 모드에서 카트로봇의 이동 속도는 동일하도록 제어된다. 그 결과 약한 힘을 가진 사용자가 파워 어시스트 모드에서 카트로봇(100)을 쉽게 조절할 수 있다.

파워 어시스트 모드에서의 카트로봇(100)의 이동 속도를 그룹 별로 매핑하기 위해 제어부(250)는 이동부(190a, 190b)에 인가할 동력의 크기를 조절할 수 있다.

도 3은 본 발명의 일 실시예에 의한 카트 로봇이 카메라 센서를 이용하여 사용자의 신체적 특성을 확인하여 파워 어시스트 모드를 조정하는 과정을 보여준다. 카트로봇의 제어부(250)는 사용자가 카트로봇을 제어하기 시작하였음을 확인한다(S11). 송신모듈(500)이 카트로봇으로부터 분리되거나, 사용자가 카트로봇의 인터페이스부(230)를 제어하여 카트로봇(100)의 사용을 시작하거나, 카트로봇(100)이 외력에 의해 이동하는 실시예가 S11에 해당한다.

제어부(250)는 카메라 센서(260)를 제어하여 사용자를 촬영한다. 도 4에 도시된 바와 같이 카메라 센서(260)의 렌즈(261)는 상하 또는 좌우로 회전이 가능하므로 카트로봇(100)을 제어하는 사용자를 촬영할 수 있다.

제어부(250)는 촬영한 이미지를 이용하여 사용자의 특성을 분석한다(S13). 사용자의 특성이란 성별을 확인하거나, 사용자의 신체적 특성(키, 어깨 넓이 등)을 확인하여 사용자가 다수의 사용자 그룹(H-Power 그룹, L-Power 그룹) 중 어느 하나에 속하는지를 판단한다.

그리고 제어부(250)는 판단 결과에 따라 사용자 그룹을 설정한다(S14). 그리고 제어부(250)는 설정된 그룹에 따라 파워 어시스트 모드로 카트로봇을 제어한다(S15). 표 1 또는 표 2와 같이 사용자가 설정된 그룹에 따라 사용자가 인가한 힘에 대응하는 파워 어시스트 모드에서의 카트의 이동 속도는 상이할 수 있다. 이를 위해 제어부(250)는 카트로봇(100)의 이동부(190)에 인가되는 전기적인 힘을 조절할 수 있다.

그리고 제어부(250)는 파워 어시스트 모드에서 사용자의 힘과 핸들 어셈블리(120)의 제어, 그리고 수납부(110)에 대한 정보를 수집한다(S16). 그리고, 제어부(250)는 수집된 정보를 이용하여 파워 어시스트 모드를 조정한다(S16).

이는 파워 어시스트 모드에서 동작하는 과정에서 사용자의 힘이 해당 사용자의 설정한 그룹의 힘의 범위와 다르거나, 또는 사용자가 수납부(110)에 포함시키는 물품이 사용자의 그룹과 상이할 경우에 사용자 그룹을 조정하기 위함이다.

일 실시예로 제어부(250)에 포함된 인공지능모듈은 수납부(110)에 수납되는 물품의 이미지를 이용하여 사용자가 구매하고자 하는 물품의 종류를 통해 사용자의 특성을 확인할 수 있다. 예를 들어 사용자의 연령대 별로 선호하는 물품, 사용자의 성별로 선호하는 물품 등의 데이터가 누적된 상태에서 제어부(250)는 수납부(110)에 포함된 물품으로 사용자 특성을 조절할 수 있다. 그 결과, 최초에 사용자를 촬영한 결과 사용자가 여성인 것으로 확인되었지만, 수납된 물품을 통해 남성으로 파악한 경우, 사용자에게 적합한 파워 어시스트 모드를 조정할 수 있다.

반대로, 사용자가 젊은 연령대로 확인되었지만 수납된 물품을 통해 사용자가 고연령층으로 확인된 경우, 사용자에게 적합한 파워 어시스트 모드를 조정할 수 있다.

다만 S16은 제어부(250)가 선택적으로 적용할 수 있다. 사용자가 핸들 어셈블리를 제어하는 과정에서 사용자가 이동하는 카트로봇(100)의 속도나 방향을 변경시키는 조작이 빈번하게 발생할 경우에 부차적으로 사용자의 특성을 파악하기 위해 제어부(250)는 수납부(110)의 물품으로 사용자의 특성을 판단할 수 있다.

도 4는 본 발명의 일 실시예에 의한 카메라 센서의 구성을 보여준다. 카메라 센서(260)는 하나 이상의 렌즈(261)를 구비할 수 있다. 카메라 센서(260)는 카트로봇(100)의 사용이 시작된 시점에서 사용자를 촬영하도록 렌즈(261)를 회전시킬 수 있다.

즉, 카트로봇(100)의 핸들 어셈블리가 조작되는 등, 카트로봇(100)이 정지된 상태에서 제어가 시작되는 경우에 제어부(250)는 카메라 센서를 제어하여 핸들 어셈블리 방향의 사용자를 촬영한다. 이때, 제어부(250)는 다수의 사람이 촬영될 경우 가장 근접한 사람을 사용자로 설정할 수 있다.

그리고 수납부(110)의 물품을 확인하기 위해 카메라 센서(260)는 수납부(110)를 향해 렌즈(261)를 회전할 수 있다. 260a/260b는 렌즈(261)가 상하로 회전하는 실시예이며 260c/260d는 렌즈(261)가 좌우로 회전하는 실시예이다.

특히, 카메라 렌즈(261)의 회전 과정에서 사용자의 특성을 정확하게 확인할 수 있도록 제어부(250)는 핸들 어셈블리(120) 주변의 사용자를 식별하도록 카메라 센서(260)에게 촬영할 방향을 지시할 수 있다.

카메라 센서(260)는 카트로봇의 상단부, 예를 들어 핸들 어셈블리(120)나 수납부(110)의 영역(도 1에서 161이 지시하는 영역들)에 설치되며 회전이 가능한 렌즈(261)를 이용하여 사용자가 파워 어시스트 모드로 카트로봇을 제어하기 시작할 때 카메라센서(260)를 통해 사용자를 촬영하고 제어부(250)는 촬영된 이미지를 이용하여 성별을 판단할 수 있다.

도 4에 도시된 실시예 외에도, 본 발명의 실시예는 렌즈(261)가 회전하지 않고, 카메라 센서 자체가 회전하는 경우를 포함한다.

본 발명의 실시예들을 적용할 경우, 파워 어시스트 기능이 있는 카트로봇을 사용함에 있어, 성별, 연령별 신체 특성에 따라 사용자가 카트로봇을 쉽게 제어할 수 있도록 한다. 예를 들어 여성/노령 사용자의 경우 남성/젊은 연령 사용자보다 미는 힘이 약할 가능성이 높다.

따라서, 힘이 약한 사용자가 카트로봇을 제어하는 과정에서 파워 어시스트 모드로 동작할 때 제어부(250)는 파워 어시스트 모드를 구현하기 위해 이동부(190)에 인가되는 전기적 에너지의 크기를 증가시키거나, 혹은 이동부(190)의 이동 속도를 높일 수 있다.

일 실시예로, 제어부(250)는 성별이나 연령 등에 따라 사용자가 속하는 그룹을 설정하고, 그에 따라 제어부(250)는 이동부(190)의 모터에 작용하는 토크 값을 다르게 설정한다. 그 결과 제어부(250)는 파워 어시스트 모드에서 사용자 그룹에 따라 모터에 작용하는 토크 값을 다르게 하여 사용자 그룹에 따라 효율적으로 파워 어시스트 모드로 카트로봇(100)이 동작하도록 제어한다.

사용자 그룹은 성별에 따라 결정되거나, 신체적 특징(신장, 어깨넓이, 악력 등)에 따라 결정되거나, 연령에 따라 결정되거나, 또는 카트로봇을 제어하는 과정에서 인가된 힘의 크기에 따라 결정될 수 있다. 또한 제어부(250)는 결정된 사용자 그룹을 변경할 수 있다. 이러한 메커니즘을 이용하면, 제어부(250)는 사용자가 가지는 다양한 힘의 특성이나 신체적 특성에 따라, 카트로봇의 파워 어시스트 모드를 달리 설정할 수 있어서 사용자 특성을 반영하여 효율적으로 카트로봇의 제어가 가능하다.

표 1 및 표 2는 사용자의 그룹에 따라 파워 어시스트 모드에서의 힘의 변환 값을 설정한 예시이다. 이러한 변환 값은 이후 사용자의 제어 과정에 따라 변화시킬 수 있다. 일 실시예로 두 개의 그룹 중에서 다른 그룹으로 변환하거나, 또는 변환 값의 범위를 달리하는 것을 일 실시예로 한다.

일 실시예로, H-Power 그룹에 속하는 사용자 및 L-Power 그룹에 속하는 사용자가 인가한 힘의 크기에 대응하여 카트로봇의 이동부의 모터에 인가할 토크의 크기(Cart_Torque)를 알고리즘 1과 같이 달리 설정할 수 있다.

[알고리즘 1]

If User_Group is H_Power_Group

then Cart_Torque = F1 * H_gain

else Cart_Torque = F1 * L_gain

사용자의 그룹인 User_Group에 따라 H_gain/L_gain과 같이 상이한 값들이 카트 모터의 토크의 크기를 설정하는데 반영될 수 있다. L_gain은 H_gain 보다 큰 값을 가질 수 있다.

물론, 토크 크기 외에도 제어부(250)는 사용자의 그룹에 따라 앞서 표 1, 2와 같이 속도로 변환할 수 있다.

그리고 알고리즘 1과 같이 설정된 H_gian/L_gain 값 역시 사용자가 카트로봇을 제어하는 과정에서 증감할 수 있다. 도 5에서 보다 상세히 살펴본다.

도 5는 본 발명의 일 실시예에 의한 사용자 이미지를 촬영하여 사용자의 그룹을 결정하는 과정을 보여준다. S13 내지 S14 과정의 상세한 실시예에 해당한다.

먼저, 제어부(250)는 사용자의 그룹을 확인하기 위한 변수 Var_H_Power와 Var_L_Power 값을 0으로 초기화한다(S21). 그리고 촬영한 사용자 이미지의 성별을 구분한다(S22). 촬영한 이미지는 제어부(250) 내의 인공지능모듈이 이미지 인식(Image Recognition)을 수행하여 촬영된 이미지에서 사용자의 성별 정보를 추출하여 신체 특성 정보를 산출할 수 있다. 그 결과 여성인 경우 Var_L_Power를 1 증가시킨다(S24). 여성이 아닌 경우 Var_H_Power를 1 증가시킨다(S23).

또한, 제어부(250)는 촬영한 사용자 이미지의 연령대를 구분한다(S25). 촬영한 이미지는 제어부(250) 내의 인공지능모듈이 이미지 인식(Image Recognition)을 수행하여 연령 정보를 출력할 수 있다. 예를 들어 제어부(250)는 촬영된 이미지에서 사용자의 머리 색상, 얼굴의 특징 등이 연령 정보를 산출하고, 이에 따라 사용자의 신체 특성 정보를 산출한다. 그 결과 노령 사용자인 경우 Var_L_Power를 1 증가시킨다(S27). 노령 사용자가 아닌 경우 Var_H_Power를 1 증가시킨다(S26).

또한, 제어부(250)는 촬영한 사용자 이미지에서 사용자의 신장 정보(키 높이)와 어깨넓이 정보(어깨 좌우측의 길이)를 산출하여 신체 특성 정보를 업데이트한다. 보다 상세히, 제어부(250)는 키와 어깨넓이를 환산한 값이 기준치 이하인지 판단한다(S28). 예를 들어 제어부(250)는 키와 어깨넓이를 cm로 환산하여 곱한 값, 또는 키와 어깨넓이를 더한 값, 또는 키와 어깨넓이에 각각 소정의 변수를 곱하거나 더하여 산출된 값 등 다양한 방식으로 결과를 산출할 수 있다.

그리고 그 결과가 미리 정한 기준치보다 작은 경우, 제어부(250)는 사용자의 신체적인 특성이 작거나 힘이 약한 사람인 것으로 판단한다. 그 결과 힘이 약한 사람의 경우 Var_L_Power를 1 증가시킨다(S30). 힘이 약한 사용자가 아닌 경우 Var_H_Power를 1 증가시킨다(S29).

물론, S28 단계에서도 제어부(250) 내의 인공지능모듈이 촬영한 이미지를 입력받은 후, 인공지능모듈 내의 프로세싱 결과에 따라 이미지 내의 사용자가 힘이 약한 사용자인지 아닌지를 판단한 결과를 산출할 수 있다.

그리고 제어부(250)는 이전 과정에서 산출된 Var_H_Power와 Var_L_Power의 크기를 비교하여 사용자 그룹을 설정한다. 둘 이상의 사용자 그룹 중 어느 하나의 사용자 그룹으로 현재 사용자를 설정한다. 그리고 그에 적합하게 파워 어시스트 모드의 H_gain/L_gain 값을 적용한다.

그리고 H-Power 사용자 그룹으로 설정된 경우에도 세밀한 조정을 위해 Var_H_Power의 크기에 따라 제어부(250)는 H_gain을 증감시킬 수 있다. 마찬가지로 L-Power 사용자 그룹으로 설정된 경우에도 세밀한 조정을 위해 Var_L_Power의 크기에 따라 제어부(250)는 L_gain을 증감시킬 수 있다.

즉, 제어부(250)는 핸들 어셈블리(120)에 힘이 처음 작용하거나, 송신모듈(500)이 처음 사용될 때, 카메라 센서(260) 또는 카메라 센서(260)의 렌즈(261)를 사용자 쪽으로 회전시킨다.

그리고 사용자의 얼굴 또는 체형을 촬영한 이미지를 분석하여 사용자의 성별/연령별/신체 크기 등을 구분한다. 성별의 경우 남성과 여성의 힘의 차이가 약 1.8배 나기 때문에, 여성이 핸들 어셈블리(120)를 밀었을 때에는 남성이 핸들 어셈블리(120)를 밀었을 때 보다 모터에 인가하는 토크 값을 더 높여 여성도 쉽게 카트를 밀 수 있도록 한다. 또는 제어부(250)는 이동부(190)의 이동 속도를 더 높일 수 있다.

마찬가지로 노령인구이거나 덩치가 작은 사람의 경우에도 힘이 약할 수 있으므로, 핸들 어셈블리(120)를 민 힘에 대응하여 모터에 인가되는 토크 값을 더 높이거나 이동부(190)의 이동 속도를 더 높일 수 있다.

도 6은 본 발명의 일 실시예에 의한 수납부의 이미지 또는 사용자의 핸들 어셈블리 조작에 기반하여 사용자에 적합한 파워 어시스트 모드를 설정하는 과정을 보여준다.

카트로봇이 멈췄다가 다시 주행을 시작하는 경우에 카트로봇의 수납부(110)에는 새로운 물품이 포함되었을 가능성이 높다. 따라서, 제어부(250)는 장애물 감지하기 위해 카트로봇(100)의 전방을 향했던 카메라 센서(260)를 회전시켜 수납부(110) 안쪽을 촬영한다(S40). 그 후, 제어부(250)는 다시 카메라 센서(260)가 전방을 향하도록 제어한다.

이 때 제어부(250)는 수납부(110) 안에 배치된 물품들을 인식하여 성별/연령에 따른 제품 선택 빈도를 수집하고, 성별/연령에 따른 선택 빈도를 이용하여 앞서 판단하였던 사용자의 성별/연령 판단 정보를 변경할 수 있다.

즉, 수납부(110)에 포함된 상품이 여성용인 경우(S42), 제어부(250)는 Var_L_Power를 1 증가시킨다(S44). 여성용 상품이 아닌 경우 Var_H_Power를 1 증가시킨다(S43).

S40 내지 S45는 카메라 센서가 카트로봇(100)의 수납부(110)에 배치된 물품의 이미지를 촬영하고 제어부(250)는 물품의 이미지에서 사용자의 성별 정보를 추출하여 신체 특성 정보를 업데이트한다.

뿐만 아니라, 제어부(250)는 주행 과정에서 사용자가 핸들 어셈블리를 제어하는 힘을 지속하여 센싱한다. 즉, 제어부(250)는 주행을 하는 동안 지속적으로 사용자가 핸들 어셈블리(120)를 미는 힘을 수집한다. 그리고 미는 힘이 지속적으로 작게 들어오는 경우 그룹 별로 H_gain 또는 L_gain을 줄일 수 있다. 또는 반대로 미는 힘이 지속적으로 크게 들어오는 경우 그룹 별로 H_gain 또는 L_gain을 늘릴 수 있다.

또는 사용자 그룹의 설정 변경을 위해 미는 힘의 평균이 기준치 이하인 경우, Var_L_Power를 1 증가시키고, 반대로 미는 힘의 평균이 기준치 이상인 경우, Var_H_Power를 1 증가시킨다. 제어부(250)는 Var_H_Power 및 Var_L_Power을 비교하여 사용자 그룹 조정하여 파워 어시스트 모드를 조정할 수 있다(S48).

즉, 제어부(250)는 핸들 어셈블리에 인가된 힘을 누적 저장하여 힘의 대표값을 산출하며, 제어부(250)는 산출된 대표값을 이용하여 신체 특성 정보를 업데이트할 수 있다. 여기서 힘의 대표값이란 일정 단위시간 내에 핸들 어셈블리에 인가된 힘의 크기가 될 수 있다. 또는 힘의 대표값이란 가장 크게 인가되었던 힘의 크기가 될 수 있다. 또는 힘의 대표값이란 일정 단위 시간으로 핸들 어셈블리에 인가된 힘을 샘플링하여 이들의 중간값 또는 평균값 또는 최빈값이 될 수 있다.

제어부(250)는 미리 설정된 기준에 따라 사용자가 핸들 어셈블리에 인가한 힘의 대표값을 산출한 후, 이 힘의 크기가 기준치 이하인지 아닌지를 판단한다. 지속적으로 힘이 약한 것으로 판단되면 해당 사용자의 신체 특성 정보를 약한 힘을 가진 것으로 업데이트한다. 반대로 힘이 강한 것으로 판단되면 해당 사용자의 신체 특성 정보를 강한 힘을 가진 것으로 업데이트한다.

업데이트 결과 제어부(250)는 사용자의 그룹을 변경할 수 있다. 또는 제어부(250)는 파워 어시스트 모드에서 포스 센서가 센싱한 힘의 크기를 이동부의 이동 속도/모토 토크값 등으로 변환하는 파라미터를 변경할 수 있다. 이 파라미터는 신체 특성 정보의 일 실시예 또는 신체 특성 정보를 구성하는 정보의 일 실시예이다.

S40에서 카메라 센서(260)가 수납부 촬영을 완료한 후 다시 카메라 센서(260)는 카트로봇(100)의 이동 방향, 즉 전방을 향하도록 회전할 수 있다. 제어부(250)는 전방을 촬영하도록 카메라 센서(260)를 제어하여 장애물 회피 기능을 수행하거나 상품 안내 혹은 방향 안내 등의 추가적인 정보를 인터페이스부(230)에 출력할 수 있다.

도 7은 본 발명의 일 실시예에 의한 장애물 감지시 사용자의 핸들 어셈블리 조작을 파워 어시스트 모드 설정에 적용하는 과정을 보여준다.

장애물 센서(220)가 장애물을 감지한다(S51). 제어부(250)는 장애물과 카트로봇 사이의 거리 및 카트로봇의 이동 속도를 이용하여 장애물 회피 레벨을 산출한다(S51). 장애물이 가까이 배치되었거나 카트로봇의 이동 속도가 빠른 경우 장애물 회피 레벨을 높은 값으로 설정한다.

반대로 장애물이 멀리 배치되었거나 카트로봇의 이동 속도가 느린 경우 장애물 회피 레벨을 낮은 값으로 설정한다. 장애물 회피 레벨은 핸들 어셈블리를 통해 인가될 수 있는 힘의 범위를 일 실시예로 한다.

예를 들어, 장애물 회피 레벨은 장애물과의 거리에 반비례하고, 카트로봇의 이동 속도에 비례할 수 있다. 장애물 회피 레벨은 현재 카트로봇의 이동 속도와 장애물과의 거리에 따라 사용자가 핸들 어셈블리에 인가해야 할 힘에 대한 정보를 일 실시예로 한다.

이후 제어부(250)는 사용자가 장애물 회피를 위해 핸들 어셈블리를 제어한 힘의 크기가 장애물 회피 레벨과 비교하여(S52), 그 값이 큰 경우에는 사용자가 장애물에 대처하여 큰 힘으로 카트로봇(100)을 제어하는 것으로 판단한다. 그 결과 Var_H_Power를 1 증가시킨다(S53). 또는 그 값이 작은 경우 사용자가 장애물에 대처하여 작은 힘으로 카트로봇(100)을 제어하는 것으로 판단한다. 그 결과 Var_L_Power를 1 증가시킨다(S54). 그리고, 제어부(250)는 Var_H_Power 및 Var_L_Power을 비교하여 사용자 그룹을 조정하여 파워 어시스트 모드를 조정할 수 있다(S55).

여기서 Var_H_Power 또는 Var_L_Power를 증감시키는 대신, 앞서 살펴본 그룹 별로 H_gain 또는 L_gain를 조절할 수 있다. 즉, 도 7의 과정을 적용하면 사용자별로 미리 설정된 파워 어시스트 모드의 동작을 세밀하게 변경할 수 있다.

전술한 실시예들을 적용할 경우, 카트로봇(100)은 사용 초기에 사용자를 카메라 센서(260)를 이용하여 촬영한 후, 사용자의 특성(성별, 연령 등)을 판단하고, 이에 따라 파워 어시스트 모드에서의 설정값을 조절한다. 예를 들어, 이 설정값은 핸들 어셈블리에 인가된 힘을 이동부의 모터의 토크값이나 이동 속도로 치환하는 변수가 될 수 있다. 앞서 알고리즘 1에서의 H_gain/L_gain 등이 이에 해당한다.

이 과정에서 제어부(250)는 사용자를 촬영한 영상에서 키와 어깨 넓이 등의 정보를 추출할 수 있다. 그리고 추출된 정보를 성별에 따라 디폴트로 설정한 신장/어깨 넓이 정보(기준 정보)와 비교하여 추출된 정보가 기준 정보보다 큰 경우 제어부(250)는 그에 적합하게 설정값을 낮출 수 있다. 또는 추출된 정보를 성별에 따라 디폴트로 설정한 신장/어깨 넓이 정보(기준 정보)와 비교하여 추출된 정보가 기준 정보보다 작은 경우에 제어부(250)는 그에 적합하게 설정값을 높일 수 있다.

전술한 실시예에서 신체 특성 정보는 포스 센서가 센싱한 힘의 크기에 비례하여 이동부(190)의 이동 속도 또는 이동부(190)의 모터에 인가되는 토크의 값을 산출하는 파라미터를 포함한다.

예를 들어, 신체 특성 정보는 해당 사용자가 특정한 성별이나 연령대에 해당하는 경우에 설정되는 그룹의 정보를 포함할 수 있다. 예를 들어 힘이 센 그룹과 힘이 약한 그룹 두 개의 그룹인 경우 신체 특성 정보는 그룹에 대한 정보를 포함한다.

또한, 신체 특성 정보는 전술한 알고리즘에서 포스 센서가 감지한 힘의 크기를 이동부에 인가하는 전기 에너지나 토크 값으로 변환하는데 필요한 파라미터를 더 포함할 수 있다. H_gain, L_gain 등이 될 수 있다.

또한, 전술한 파라미터 값은 지속적으로 업데이트될 수 있다. 예를 들어, 도 5 내지 도 7에서 Var_H_Power와 Var_L_Power는 특정 상황에서 계속 업데이트될 수 있으며, 이를 토대로 제어부(250)는 신체 특성 정보를 업데이트 할 수 있다. 그 결과 H_gain, L_gain 같은 값 역시 업데이트 될 수 있다.

도 7의 실시예를 정리하면, 장애물 센서가 카트 로봇의 주변에 배치된 장애물을 센싱하면, 제어부(250)는 센싱한 장애물과 카트로봇 사이의 거리 및 카트로봇의 이동 속도를 이용하여 장애물 회피 레벨을 산출한다.

그리고 제어부(250)는 사용자가 장애물에 대응하여 핸들 어셈블리를 조작한 경우 핸들 어셈블리에 인가된 사용자의 힘과 장애물 회피 레벨을 비교한다. 그 결과 제어부(250)가 장애물 회피 레벨에서 핸들 어셈블리에 가해질 것으로 설정한 힘의 범위보다 사용자가 가한 힘의 크기가 더 큰 경우에, 해당 사용자는 힘이 센 사용자인 것으로 신체 특성 정보를 업데이트한다.

반대로, 그 결과 제어부(250)가 장애물 회피 레벨에서 핸들 어셈블리에 가해질 것으로 설정한 힘의 범위보다 사용자가 가한 힘의 크기가 더 작은 경우에, 해당 사용자는 힘이 작은 사용자인 것으로 신체 특성 정보를 업데이트한다.

제어부(250)는 신체특성정보로 성별 및 연령별 사용자가 가지는 평균적인 힘(악력 또는 미는 힘 등)에 대한 정보(단위 N)를 저장할 수 있다. 그리고 제어부는 사용자의 성별 또는 연령대가 확인되면 하기 표 3의 힘을 기준으로 신체 특성 정보를 생성할 수 있다.

이후 사용자가 하기 기준보다 힘이 더 세거나 혹은 더 약한 경우 신체 특성 정보를 업데이트할 수 있다. 하기 표 3의 값은 예시적인 것이며, 카트로봇의 제어부(250)는 하기 표 3의 값으로 설정한 경우에 신체 특성 정보의 업데이트가 반복하여 발생할 경우 값을 증감시킬 수 있다.

연령	남성	여성
20대	430	225
30대	425	240
40대	410	250
50대	380	225
60대	375	210

물론 악력 외에도 사용자가 핸들 어셈블리(120)를 미는 힘도 성별/연령별 등에 따라 기준 값을 설정하고 이미지 내의 사용자를 판별한 결과로 파워 어시스트 모드를 설정할 수 있다.

만약 사용자의 성별이나 연령별 특징이 파악되지 않으면, 제어부(250)는 사용자의 키나 어깨 넓이를 반영하거나, 혹은 디폴트 값(default value)를 로딩하여 파워 어시스트 모드의 동작을 제어할 수 있다.

도 8은 본 발명의 일 실시예에 의한 둘 이상의 사용자가 카트로봇을 교대로 제어하는 경우에 카트로봇이 대처하는 과정을 보여준다.

제어부는 카메라 센서(260)를 주기적으로 사용자 방향으로 회전시켜 사용자가 변경되었는지를 확인한다(S61). 그 결과 사용자가 사용자1에서 사용자2로 교체된 것을 확인한다. 그런데 제어부(250)는 카트로봇(100)이 반납된 상태는 아니라는 것을 확인한다.

그 결과 제어부(250)는 사용자가 잠시 교체된 것이며 언제든지 사용자1이 다시 카트로봇(100)을 제어할 수 있는 상황으로 판단한다. 따라서 제어부(250)는 사용자1의 정보를 저장한다(S62). 사용자1의 정보란 사용자1이 카트로봇(100)을 제어할 경우 파워 어시스트 모드에서 설정하는 값, 사용자의 키, 사용자의 어깨너비, 또는 사용자가 입은 의상 등이 될 수 있다.

그리고 사용자2에 대한 정보가 저장되었는지 확인한다(S63). 만약 사용자1 이전에 사용자2가 카트로봇을 제어했고 그에 따라 사용자2에 적합한 파워 어시스트 모드의 설정값이 저장된 경우에 제어부(250)는 사용자 2의 정보를 로딩한다(S64). 반대로, 사용자2에 대한 정보가 저장되지 않은 경우, 제어부(250)는 사용자2에 대해 도 3의 S12 내지 S14 과정을 수행한다(S65).

그 결과 사용자2에 설정된 그룹에 따라 파워어시스트 모드로 제어한다.

정리하면, 제어부(250)는 카트로봇(100)이 정지 후 이동하는 경우 카메라 센서를 제어하여 사용자를 촬영한 후 촬영한 이미지를 이용하여 카트로봇(100)을 제어하는 사용자의 교체를 확인한다. 그리고 제어부(250)는 이전 사용자의 정보를 저장한 후, 현재 사용자의 정보를 로딩하거나 또는 현재 사용자의 신체 특성 정보를 산출한다.

이는 사용자 교체시 반복하여 이루어질 수 있다. 또한, 제어부(250)는 카트로봇(100)의 사용이 완료되면 임시적으로 저장한 사용자의 이미지 정보를 모두 삭제하여 새로운 사용에 대응할 수 있다.

본 명세서의 일 실시예에서 카트로봇(100)은 카메라 센서(260)를 이용하여 사용자의 성별 또는 연령별 특성을 파악하고, 이를 반영하여 신체 특성 정보를 생성한다. 이를 위해 촬영된 이미지에서 사용자의 특성을 식별하기 위해 인공지능모듈(255)이 촬영된 이미지에서 디스크립션 정보를 산출하고 이에 기반하여 제어부(250)는 사용자의 성별, 연령 등을 확인할 수 있다.

인공 지능은 인공적인 지능 또는 이를 만들 수 있는 방법론을 연구하는 분야를 의미하며, 머신 러닝(기계 학습, Machine Learning)은 인공 지능 분야에서 다루는 다양한 문제를 정의하고 그것을 해결하는 방법론을 연구하는 분야를 의미한다. 머신 러닝은 어떠한 작업에 대하여 꾸준한 경험을 통해 그 작업에 대한 성능을 높이는 알고리즘으로 정의하기도 한다.

인공 신경망(ANN: Artificial Neural Network)은 머신 러닝에서 사용되는 모델로써, 시냅스의 결합으로 네트워크를 형성한 인공 뉴런(노드)들로 구성되는, 문제 해결 능력을 가지는 모델 전반을 의미할 수 있다. 인공 신경망은 다른 레이어의 뉴런들 사이의 연결 패턴, 모델 파라미터를 갱신하는 학습 과정, 출력값을 생성하는 활성화 함수(Activation Function)에 의해 정의될 수 있다.

인공 신경망은 입력층(Input Layer), 출력층(Output Layer), 그리고 선택적으로 하나 이상의 은닉층(Hidden Layer)를 포함할 수 있다. 각 층은 하나 이상의 뉴런을 포함하고, 인공 신경망은 뉴런과 뉴런을 연결하는 시냅스를 포함할 수 있다. 인공 신경망에서 각 뉴런은 시냅스를 통해 입력되는 입력 신호들, 가중치, 편향에 대한 활성 함수의 함숫값을 출력할 수 있다.

모델 파라미터는 학습을 통해 결정되는 파라미터를 의미하며, 시냅스 연결의 가중치와 뉴런의 편향 등이 포함된다. 그리고, 하이퍼파라미터는 머신 러닝 알고리즘에서 학습 전에 설정되어야 하는 파라미터를 의미하며, 학습률(Learning Rate), 반복 횟수, 미니 배치 크기, 초기화 함수 등이 포함된다.

인공 신경망의 학습의 목적은 손실 함수를 최소화하는 모델 파라미터를 결정하는 것으로 볼 수 있다. 손실 함수는 인공 신경망의 학습 과정에서 최적의 모델 파라미터를 결정하기 위한 지표로 이용될 수 있다.

머신 러닝은 학습 방식에 따라 지도 학습(Supervised Learning), 비지도 학습(Unsupervised Learning), 강화 학습(Reinforcement Learning)으로 분류할 수 있다.

지도 학습은 학습 데이터에 대한 레이블(label)이 주어진 상태에서 인공 신경망을 학습시키는 방법을 의미하며, 레이블이란 학습 데이터가 인공 신경망에 입력되는 경우 인공 신경망이 추론해 내야 하는 정답(또는 결과 값)을 의미할 수 있다. 비지도 학습은 학습 데이터에 대한 레이블이 주어지지 않는 상태에서 인공 신경망을 학습시키는 방법을 의미할 수 있다. 강화 학습은 어떤 환경 안에서 정의된 에이전트가 각 상태에서 누적 보상을 최대화하는 행동 혹은 행동 순서를 선택하도록 학습시키는 학습 방법을 의미할 수 있다.

인공 신경망 중에서 복수의 은닉층을 포함하는 심층 신경망(DNN: Deep Neural Network)으로 구현되는 머신 러닝을 딥 러닝(심층 학습, Deep Learning)이라 부르기도 하며, 딥 러닝은 머신 러닝의 일부이다. 이하에서, 머신 러닝은 딥 러닝을 포함하는 의미로 사용된다.

로봇(100)은 앞서 살펴보았던 제어부(250)를 구성하는 하위 구성요소인 인공지능모듈(255)이 인공지능 기능을 수행할 수 있다. 제어부(250) 내에 인공지능모듈(255)이 소프트웨어 또는 하드웨어로 구성될 수 있다.

이 경우, 카트로봇(100)의 통신부(280)는 유무선 통신 기술을 이용하여 다른 AI 기능을 제공하는 로봇이나 또는 도 9에서 살펴볼 AI 서버(700) 등의 외부 장치들과 데이터를 송수신할 수 있다. 예컨대, 통신부(280)는 외부 장치들과 센서 정보, 사용자 입력, 학습 모델, 제어 신호 등을 송수신할 수 있다.

이때, 통신부(280)가 이용하는 통신 기술에는 GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), LTE(Long Term Evolution), 5G, WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), ZigBee, NFC(Near Field Communication) 등이 있다.

인터페이스부(230)는 다양한 종류의 데이터를 획득할 수 있다.

이때, 인터페이스부(230)는 영상 신호 입력을 위한 카메라, 오디오 신호를 수신하기 위한 마이크로폰, 사용자로부터 정보를 입력 받기 위한 사용자 입력부 등을 포함할 수 있다. 여기서, 장애물 센서(220), 카메라 센서(260) 또는 마이크로폰이 획득한 정보들은 센싱 데이터 또는 센서 정보 등을 지칭한다.

인터페이스부(230) 및 각종 센서들(220, 260)과 이동부(190)의 휠 인코더 등은 모델 학습을 위한 학습 데이터 및 학습 모델을 이용하여 출력을 획득할 때 사용될 입력 데이터 등을 획득할 수 있다. 전술한 구성요소들은 가공되지 않은 입력 데이터를 획득할 수도 있으며, 이 경우 제어부(250) 또는 인공지능부는 입력 데이터에 대하여 전처리로써 입력 특징점(input feature)을 추출할 수 있다.

인공지능모듈(255)은 학습 데이터를 이용하여 인공 신경망으로 구성된 모델을 학습시킬 수 있다. 여기서, 학습된 인공 신경망을 학습 모델이라 칭할 수 있다. 학습 모델은 학습 데이터가 아닌 새로운 입력 데이터에 대하여 결과 값을 추론해 내는데 사용될 수 있고, 추론된 값은 카트로봇(100)이 어떠한 동작을 수행하기 위한 판단의 기초로 이용될 수 있다.

이때, 인공지능모듈(255)은 AI 서버(700)의 러닝 프로세서(740)과 함께 AI 프로세싱을 수행할 수 있다.

이때, 인공지능모듈(255)은 카트로봇(100)에 통합되거나 구현된 메모리를 포함할 수 있다. 또는, 인공지능모듈(255)은 별도의 메모리 또는 카트로봇(100)에 결합된 외부 메모리 또는 외부 장치에서 유지되는 메모리를 사용하여 구현될 수도 있다.

카트로봇(100)은 다양한 센서들을 이용하여 카트로봇(100)의 내부 정보, 카트로봇(100)의 주변 환경 정보 및 사용자 정보 중 적어도 하나를 획득할 수 있다.

이때, 카트로봇(100)에 포함되는 센서에는 근접 센서, 조도 센서, 가속도 센서, 자기 센서, 자이로 센서, 관성 센서, RGB 센서, IR 센서, 지문 인식 센서, 초음파 센서, 광 센서, 마이크로폰, 라이다 센서, 장애물 센서(220), 카메라 센서(260), 레이더 등이 있다.

또한, 앞서 살펴본 인터페이스부(230)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시킬 수 있다.

이때, 인터페이스부(230)는 시각 정보를 출력하는 디스플레이부, 청각 정보를 출력하는 스피커, 촉각 정보를 출력하는 햅틱 모듈 등이 포함될 수 있다.

카트로봇(100)에 내장된 메모리는 카트로봇(100)의 다양한 기능을 지원하는 데이터를 저장할 수 있다. 예컨대, 카트로봇(100)에 내장된 각종 센서들이나 인터페이스부(230) 등이 획득한 입력 데이터, 학습 데이터, 학습 모델, 학습 히스토리 등을 저장할 수 있다.

제어부(250)는 데이터 분석 알고리즘 또는 머신 러닝 알고리즘을 사용하여 결정되거나 생성된 정보에 기초하여, 카트로봇(100)의 적어도 하나의 실행 가능한 동작을 결정할 수 있다. 그리고, 제어부(250)는 카트로봇(100)의 구성 요소들을 제어하여 결정된 동작을 수행할 수 있다.

이를 위해, 제어부(250)는 인공지능부 또는 메모리의 데이터를 요청, 검색, 수신 또는 활용할 수 있고, 적어도 하나의 실행 가능한 동작 중 예측되는 동작이나, 바람직한 것으로 판단되는 동작을 실행하도록 카트로봇(100)의 구성 요소들을 제어할 수 있다.

이때, 제어부(250)는 결정된 동작을 수행하기 위하여 외부 장치의 연계가 필요한 경우, 해당 외부 장치를 제어하기 위한 제어 신호를 생성하고, 생성한 제어 신호를 해당 외부 장치에 전송할 수 있다.

제어부(250)는 사용자 입력에 대하여 의도 정보를 획득하고, 획득한 의도 정보에 기초하여 사용자의 요구 사항을 결정할 수 있다.

이때, 제어부(250)는 음성 입력을 문자열로 변환하기 위한 STT(Speech To Text) 엔진 또는 자연어의 의도 정보를 획득하기 위한 자연어 처리(NLP: Natural Language Processing) 엔진 중에서 적어도 하나 이상을 이용하여, 사용자 입력에 상응하는 의도 정보를 획득할 수 있다.

이때, STT 엔진 또는 NLP 엔진 중에서 적어도 하나 이상은 적어도 일부가 머신 러닝 알고리즘에 따라 학습된 인공 신경망으로 구성될 수 있다. 그리고, STT 엔진 또는 NLP 엔진 중에서 적어도 하나 이상은 인공지능부에 의해 학습된 것이나, AI 서버(700)의 러닝 프로세서(740)에 의해 학습된 것이거나, 또는 이들의 분산 처리에 의해 학습된 것일 수 있다.

제어부(250)는 카트로봇(100)의 동작 내용이나 동작에 대한 사용자의 피드백 등을 포함하는 이력 정보를 수집하여 메모리 또는 인공지능부에 저장하거나, AI 서버(700) 등의 외부 장치에 전송할 수 있다. 수집된 이력 정보는 학습 모델을 갱신하는데 이용될 수 있다.

제어부(250)는 메모리(170)에 저장된 응용 프로그램을 구동하기 위하여, 카트로봇(100)의 구성 요소들 중 적어도 일부를 제어할 수 있다. 나아가, 제어부(250)는 는 응용 프로그램의 구동을 위하여, 카트로봇(100)에 포함된 구성 요소들 중 둘 이상을 서로 조합하여 동작시킬 수 있다.

또는 카트로봇(100)과 통신하는 별도의 인공지능 서버(AI server)가 배치되고 카트로봇(100)이 제공하는 정보를 처리할 수 있다.

도 9는 본 발명의 일 실시예에 의한 AI 서버의 구성을 보여준다.

인공 지능 서버, 즉 AI 서버(700)는 머신 러닝 알고리즘을 이용하여 인공 신경망을 학습시키거나 학습된 인공 신경망을 이용하는 장치를 의미할 수 있다. 여기서, AI 서버(700)는 복수의 서버들로 구성되어 분산 처리를 수행할 수도 있고, 5G 네트워크로 정의될 수 있다. 이때, AI 서버(700)는 AI 장치(100)의 일부의 구성으로 포함되어, AI 프로세싱 중 적어도 일부를 함께 수행할 수도 있다.

AI 서버(700)는 통신부(710), 메모리(730), 러닝 프로세서(740) 및 프로세서(760) 등을 포함할 수 있다.

통신부(710)는 카트로봇(100) 등의 외부 장치와 데이터를 송수신할 수 있다.

메모리(730)는 모델 저장부(731)를 포함할 수 있다. 모델 저장부(731)는 러닝 프로세서(740)을 통하여 학습 중인 또는 학습된 모델(또는 인공 신경망, 231a)을 저장할 수 있다.

러닝 프로세서(740)는 학습 데이터를 이용하여 인공 신경망(731a)을 학습시킬 수 있다. 학습 모델은 인공 신경망의 AI 서버(700)에 탑재된 상태에서 이용되거나, 카트로봇(100)등의 외부 장치에 탑재되어 이용될 수도 있다.

학습 모델은 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있다. 학습 모델의 일부 또는 전부가 소프트웨어로 구현되는 경우 학습 모델을 구성하는 하나 이상의 명령어(instruction)는 메모리(730)에 저장될 수 있다.

프로세서(760)는 학습 모델을 이용하여 새로운 입력 데이터에 대하여 결과 값을 추론하고, 추론한 결과 값에 기초한 응답이나 제어 명령을 생성할 수 있다.

특히, 본 명세서에서 인공지능모듈(255) 또는 AI 서버(700)는 입력된 이미지에 대해 사용자에 대한 정보를 출력할 수 있다. 예를 들어 사용자를 촬영한 이미지가 인공지능모듈(255) 또는 AI 서버(700)에 입력되면 이들은 이미지에 대한 분석을 수행하여 이미지에 대한 디스크립션 정보를 생성한다.

디스크립션 정보(Discription data)는 이미지 내의 사람을 설명하는 것으로 "여자/남자" 또는 "노인/학생" 등과 같은 설명 자료를 포함한다. 제어부(250)는 출력된 정보를 이용하여 사용자의 신체 특성 정보를 생성할 수 있다.

또한, 위의 설명 외에도 인공지능모듈(255) 또는 AI 서버(700)는 "키가 큰 여자" 또는 "키가 작은 남자"와 같이 신체 특성을 보다 상세히 설명하는 디스크립션 정보를 출력할 수 있다.

도 10은 본 발명의 일 실시예에 의한 이미지 획득 후 인공지능 모듈이 이미지에 대한 디스크립션 정보를 생성하는 과정을 보여준다.

카메라부(260)가 이미지를 획득하면(S71), 제어부(250)는 이미지에서 특징 추출(Feature Extraction)을 수행하고 특징 벡터(Feature Vector)를 산출한다(S72).

제어부(250)의 인공지능모듈(255)이 머신 러닝(Machine Learning)의 일종인 딥러닝(Deep Learning)을 이용할 수 있으며, 이 과정에서 딥러닝 기반 인공 신경망(뉴럴 네트워크, Artificial Neural Network, ANN)인 학습 네트워크를 이용하여 특징을 추출할 수 있다.

이는 데이터를 기반으로 다단계로 깊은 수준까지 내려가 학습하는 것이다. 딥러닝(Deep learning)은 단계를 높여갈수록 복수의 데이터들로부터 핵심적인 데이터를 추출하는 머신 러닝(Machine Learning) 알고리즘의 집합을 나타낼 수 있다.

딥러닝 구조는 인공신경망(ANN)를 포함할 수 있으며, 예를 들어 딥러닝 구조는 CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), DBN(Deep Belief Network) 등 심층신경망(DNN)으로 구성될 수 있으며 이는 인공지능모듈(255) 또는 AI 서버(700)에 구현될 수 있다.

또한, 이들 인공신경망(ANN)은 입력 레이어(Input Layer), 히든 레이어(Hiddent Layer), 및 출력 레이어(Output Layer)를 포함할 수 있다. 각 레이어는 복수의 노드들을 포함하고, 각 레이어는 다음 레이어와 연결된다. 인접한 레이어 사이의 노드들은 웨이트(weight)를 가지고 서로 연결될 수 있다.

제어부(250)는 이미지에서 특징이 되는 구성요소를 추출하고 이들 구성요소들을 하나의 벡터로 구성할 수 있다.

S72는 제어부(250)를 구성하는 인코더(encoder)가 수행할 수 있다. 디코더(decoder)는 인코더(encoder)가 추출한 특징 벡터를 입력받아 디스크립션(Description)으로 변환한다(S73). 디코더는 변환한 디스크립션을 이용하여 S71에서 획득한 이미지을 설명하는 이미지 디스크립션(Image Description)을 생성한다(S74).

즉, 디코더는 특징 벡터를 입력받고, 이미지 내의 사람들의 성별 또는 연령 또는 신체적 특성을 분석하는데 필요한 이미지 디스크립션을 생성한다.

그리고 제어부(250)는 이미지 디스크립션 부분에서 신체 특성 정보를 추출한다(S75). 제여부(250)는 카트로봇(100)이 파워 어시스트 모드인 경우에 이동부(190)를 제어하는데 추출된 신체 특성 정보를 반영한다(S76). 앞서 살펴본 바와 같이 제여부(250)는 핸들 어셈블리(120)에 인가된 힘에 소정의 신체 특성 정보의 파라미터를 곱하여 이동부(190)의 이동 속도나 모터의 토크값 등을 산출할 수 있다.

인공지능모듈(255)를 구성하는 학습 네트워크의일 실시예로 RNN(Recurrent Neural Network)은, 자연어 처리 등에 많이 이용되고 있으며, 시간의 흐름에 따라 변하는 시계열 데이터(Time-series data) 처리에 효과적인 구조로 매 순간마다 레이어를 쌓아올려 인공신경망 구조를 구성할 수 있다.

인공지능모듈(255)를 구성하는 학습 네트워크의일 실시예로 DBN(Deep Belief Network)은 딥러닝 기법인 RBM(Restricted Boltzman Machine)을 다층으로 쌓아 구성되는 딥러닝 구조이다. RBM(Restricted Boltzman Machine) 학습을 반복하여, 일정 수의 레이어가 되면 해당 개수의 레이어를 가지는 DBN(Deep Belief Network)를 구성할 수 있다.

인공지능모듈(255)를 구성하는 학습 네트워크의일 실시예로 CNN(Convolutional Neural Network)은, 특히 객체 인식 분야에서 많이 사용되는 구조이다. CNN(Convolutional Neural Network)은 사람이 물체를 인식할 때 물체의 기본적인 특징들을 추출한 다음 뇌 속에서 복잡한 계산을 거쳐 그 결과를 기반으로 물체를 인식한다는 가정을 기반으로 만들어진 사람의 뇌 기능을 모사한 모델이다.

일 실시예로 제어부(250)의 인코더는 기계학습 기반의 뉴럴 네트워크 중 CNN을 사용할 수 있다.

또한, 일 실시예로 제어부(250)의 디코더는 기계학습 기반의 뉴럴 네트워크 중 RNN 혹은 LSTM을 사용할 수 있다.

제어부(150)는 디코더가 산출한 이미지에 대한 서술을 이용하여 사용자의 특성 정보를 산출할 수 있다.

도 10의 과정은 인공지능모듈(255)이 이미지에 포함된 사람의 성별 또는 나이에 대한 정보를 출력하는 실시예를 보여준다. 마찬가지로 인공지능모듈(255)은 수납부를 촬영한 이미지에서 각 이미지에 포함된 물품의 성별 관련도를 출력할 수 있다. 예를 들어, 수납부(110)를 촬영한 이미지가 인공지능모듈(255)에 입력되면 물품에 대한 디스크립션 정보가 산출될 수 있으며, 이에 따라 제어부(250)는 각 물품이 성별 관련도를 가지는 정도에 따라 사용자의 성별을 추정할 수 있다.

다만, 제어부(250)는 물품의 성별 관련도를 이전 과정에서 판단한 사용자의 성별 정보를 확인하거나 신체 특성 정보를 일부 업데이트하는 수준으로만 적용할 수 있다.

본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니며, 본 발명의 목적 범위 내에서 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 반도체 기록소자를 포함하는 저장매체를 포함한다. 또한 본 발명의 실시예를 구현하는 컴퓨터 프로그램은 외부의 장치를 통하여 실시간으로 전송되는 프로그램 모듈을 포함한다.

이상에서는 본 발명의 실시예를 중심으로 설명하였지만, 통상의 기술자의 수준에서 다양한 변경이나 변형을 가할 수 있다. 따라서, 이러한 변경과 변형이 본 발명의 범위를 벗어나지 않는 한 본 발명의 범주 내에 포함되는 것으로 이해할 수 있을 것이다.

100: 카트로봇 110: 수납부
120: 핸들 어셈블리 150: 제어모듈
190: 이동부 210: 측위센서
220: 장애물 센서 240: 포스센서
250: 제어부 260: 카메라 센서

Claims

카트로봇의 주변을 촬영하는 카메라 센서;
상기 카트로봇의 일면에 배치된 핸들 어셈블리;
상기 카트로봇을 이동시키는 이동부;
상기 핸들 어셈블리에 가해진 힘을 센싱하는 포스 센서; 및
상기 카메라 센서가 촬영한 상기 카트로봇의 사용자의 이미지 정보에서 상기 사용자의 신체 특성 정보를 산출하여 상기 신체 특성 정보와 상기 포스 센서가 센싱한 힘의 크기를 이용하여 상기 이동부의 이동 방향 또는 이동 속도 또는 상기 이동부의 모터에 인가하는 토크의 값을 제어하는 제어부를 포함하는, 사용자 신체 특성을 반영하여 파워 어시스트 모드로 이동하는 카트로봇.
제1항에 있어서,
상기 제어부는 상기 카트로봇의 제어가 시작되면 상기 카메라 센서를 제어하여 상기 핸들 어셈블리 방향의 상기 사용자를 촬영하며,
상기 제어부는 상기 촬영된 이미지에서 상기 사용자의 성별 정보를 추출하여 상기 신체 특성 정보를 산출하는, 사용자 신체 특성을 반영하여 파워 어시스트 모드로 이동하는 카트로봇.
제2항에 있어서,
상기 제어부는 상기 촬영된 이미지에서 상기 사용자의 신장 정보와 상기 사용자의 어깨 넓이 정보를 산출하여 상기 사용자의 신체 특성 정보를 업데이트하는, 사용자 신체 특성을 반영하여 파워 어시스트 모드로 이동하는 카트로봇.
제2항에 있어서,
상기 제어부는 상기 촬영된 이미지에서 상기 사용자의 연령 정보를 추출하여 상기 신체 특성 정보를 산출하는, 사용자 신체 특성을 반영하여 파워 어시스트 모드로 이동하는 카트로봇.
제1항에 있어서,
상기 신체 특성 정보는 상기 포스 센서가 센싱한 힘의 크기에 비례하여 상기 이동부의 이동 속도 또는 상기 토크의 값을 산출하는 파라미터를 포함하는, 사용자 신체 특성을 반영하여 파워 어시스트 모드로 이동하는 카트로봇.
제1항에 있어서,
상기 카메라 센서는 상기 카트로봇의 수납부에 배치된 물품의 이미지를 촬영하고,
상기 제어부는 상기 물품의 이미지에서 상기 사용자의 성별 정보를 추출하여 상기 신체 특성 정보를 업데이트하는, 사용자 신체 특성을 반영하여 파워 어시스트 모드로 이동하는 카트로봇.
제1항에 있어서,
상기 제어부는 상기 핸들 어셈블리에 인가된 힘을 누적 저장하여 상기 힘의 대표값을 산출하며,
상기 제어부는 상기 대표값을 이용하여 상기 신체 특성 정보를 업데이트하는, 사용자 신체 특성을 반영하여 파워 어시스트 모드로 이동하는 카트로봇.
제1항에 있어서,
상기 카트로봇의 주변에 배치된 장애물을 감지하는 장애물 센서를 더 포함하며,
상기 제어부는 상기 장애물 센서가 감지한 상기 장애물과의 거리와 상기 카트로봇의 이동 속도를 이용하여 장애물 회피 레벨을 산출하며,
상기 제어부는 상기 장애물 회피 레벨과 상기 핸들 어셈블리에 인가된 힘을 비교하여 상기 신체 특성 정보를 업데이트하는, 사용자 신체 특성을 반영하여 파워 어시스트 모드로 이동하는 카트로봇.
제1항에 있어서,
상기 제어부는 카메라 센서가 촬영한 이미지를 입력받아 상기 이미지에 대한 디스크립션 정보를 생성하는 인공지능모듈을 더 포함하며,
상기 인공지능모듈은 상기 이미지에 포함된 사람의 성별 또는 나이에 대한 정보를 출력하거나, 또는 상기 인공지능모듈은 상기 이미지에 포함된 물품의 성별 관련도를 출력하는, 사용자 신체 특성을 반영하여 파워 어시스트 모드로 이동하는 카트로봇.
제1항에 있어서,
상기 제어부는 상기 카트로봇이 정지 후 이동하는 경우 상기 카메라 센서를 제어하여 사용자를 촬영한 후 상기 촬영한 이미지를 이용하여 상기 카트로봇을 제어하는 사용자의 교체를 확인한 경우,
상기 제어부는 이전 사용자의 정보를 저장한 후, 현재 사용자의 정보를 로딩하거나 또는 현재 사용자의 신체 특성 정보를 산출하는, 사용자 신체 특성을 반영하여 파워 어시스트 모드로 이동하는 카트로봇.
카트로봇의 카메라 센서가 카트로봇의 시작 시점에서 핸들 어셈블리의 주변을 촬영하는 단계;
상기 카트로봇의 제어부가 상기 사용자의 신체 특성 정보를 산출하여 상기 신체 특성 정보를 산출하는 단계; 및
상기 제어부가 상기 핸들 어셈블리에 가해진 힘을 센싱하는 포스 센서가 센싱한 힘의 크기 및 상기 신체 특성 정보를 이용하여 상기 이동부의 이동 방향 또는 이동 속도 또는 상기 이동부의 모터에 인가하는 토크의 값을 제어하는 단계를 포함하는, 사용자 신체 특성을 반영하여 파워 어시스트 모드로 이동하는 방법.
제11항에 있어서,
상기 제어부는 상기 카트로봇의 제어가 시작되면 상기 카메라 센서를 제어하여 상기 핸들 어셈블리 방향의 상기 사용자를 촬영하는 단계; 및
상기 제어부는 상기 쵤영된 이미지에서 상기 사용자의 성별 정보를 추출하여 상기 신체 특성 정보를 산출하는 단계를 포함하는, 사용자 신체 특성을 반영하여 파워 어시스트 모드로 이동하는 방법.
제12항에 있어서,
상기 제어부는 상기 촬영된 이미지에서 상기 사용자의 신장 정보와 상기 사용자의 어깨 넓이 정보를 산출하여 = 상기 사용자의 신체 특성 정보를 업데이트하는 단계를 포함하는, 사용자 신체 특성을 반영하여 파워 어시스트 모드로 이동하는 방법.
제12항에 있어서,
상기 제어부는 상기 쵤영된 이미지에서 상기 사용자의 연령 정보를 추출하여 상기 신체 특성 정보를 산출하는 단계를 포함하는, 사용자 신체 특성을 반영하여 파워 어시스트 모드로 이동하는 방법.
제11항에 있어서,
상기 제어부는 상기 포스 센서가 센싱한 힘의 크기에 비례하여 상기 이동부의 이동 속도 또는 상기 토크의 값을 산출하는 파라미터를 포함하는 상기 신체 특성 정보를 생성하는 단계를 포함하는, 사용자 신체 특성을 반영하여 파워 어시스트 모드로 이동하는 방법.
제11항에 있어서,
상기 카메라 센서는 상기 카트로봇의 수납부에 배치된 물품의 이미지를 촬영하는 단계; 및
상기 제어부는 상기 물품의 이미지에서 상기 사용자의 성별 정보를 추출하여 상기 신체 특성 정보를 업데이트하는 단계를 포함하는, 사용자 신체 특성을 반영하여 파워 어시스트 모드로 이동하는 방법.
제11항에 있어서,
상기 제어부는 상기 핸들 어셈블리에 인가된 힘을 누적 저장하여 상기 힘의 대표값을 산출하는 단계; 및
상기 제어부는 상기 대표값을 이용하여 상기 신체 특성 정보를 업데이트하는 단계를 포함하는, 사용자 신체 특성을 반영하여 파워 어시스트 모드로 이동하는 방법.
제11항에 있어서,
상기 카트로봇의 주변에 배치된 장애물을 감지하는 장애물 센서를 더 포함하며,
상기 제어부는 상기 장애물 센서가 감지한 상기 장애물과의 거리와 상기 카트로봇의 이동 속도를 이용하여 장애물 회피 레벨을 산출하는 단계; 및
상기 제어부는 상기 장애물 회피 레벨과 상기 핸들 어셈블리에 인가된 힘을 비교하여 상기 신체 특성 정보를 업데이트하는 단계를 더 포함하는, 사용자 신체 특성을 반영하여 파워 어시스트 모드로 이동하는 방법.
제11항에 있어서,
상기 제어부는 카메라 센서가 촬영한 이미지를 입력받아 상기 이미지에 대한 디스크립션 정보를 생성하는 인공지능모듈을 더 포함하며,
상기 인공지능모듈은 상기 이미지에 포함된 사람의 성별 또는 나이에 대한 정보를 출력하거나, 또는 상기 인공지능모듈은 상기 이미지에 포함된 물품의 성별 관련도를 출력하는 단계를 더 포함하는, 사용자 신체 특성을 반영하여 파워 어시스트 모드로 이동하는 방법.
제11항에 있어서,
상기 제어부는 상기 카트로봇이 정지 후 이동하는 경우 상기 카메라 센서를 제어하여 사용자를 촬영한 후 상기 촬영한 이미지를 이용하여 상기 카트로봇을 제어하는 사용자의 교체를 확인하는 단계; 및
상기 제어부는 이전 사용자의 정보를 저장한 후, 현재 사용자의 정보를 로딩하거나 또는 현재 사용자의 신체 특성 정보를 산출하는 단계를 포함하는, 사용자 신체 특성을 반영하여 파워 어시스트 모드로 이동하는 방법.