KR20230115280A - 로봇을 제어하기 위한 방법, 시스템 및 비일시성의컴퓨터 판독 가능한 기록 매체 - Google Patents

로봇을 제어하기 위한 방법, 시스템 및 비일시성의컴퓨터 판독 가능한 기록 매체 Download PDF

Info

Publication number
KR20230115280A
KR20230115280A KR1020230094424A KR20230094424A KR20230115280A KR 20230115280 A KR20230115280 A KR 20230115280A KR 1020230094424 A KR1020230094424 A KR 1020230094424A KR 20230094424 A KR20230094424 A KR 20230094424A KR 20230115280 A KR20230115280 A KR 20230115280A
Authority
KR
South Korea
Prior art keywords
robot
information
user
voice
present
Prior art date
Application number
KR1020230094424A
Other languages
English (en)
Other versions
KR102694556B1 (ko
Inventor
존 정우 하
Original Assignee
베어 로보틱스, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베어 로보틱스, 인크. filed Critical 베어 로보틱스, 인크.
Publication of KR20230115280A publication Critical patent/KR20230115280A/ko
Application granted granted Critical
Publication of KR102694556B1 publication Critical patent/KR102694556B1/ko

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/4155—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by programme execution, i.e. part programme or machine function execution, e.g. selection of a programme
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47F—SPECIAL FURNITURE, FITTINGS, OR ACCESSORIES FOR SHOPS, STOREHOUSES, BARS, RESTAURANTS OR THE LIKE; PAYING COUNTERS
    • A47F7/00—Show stands, hangers, or shelves, adapted for particular articles or materials
    • A47F7/28—Show stands, hangers, or shelves, adapted for particular articles or materials for containers, e.g. flasks, bottles, tins, milk packs
    • A47F7/283—Show stands or the like having a compartment for each container
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0045—Manipulators used in the food industry
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/003—Controls for manipulators by means of an audio-responsive input
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • B25J5/007—Manipulators mounted on wheels or on carriages mounted on wheels
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47B—TABLES; DESKS; OFFICE FURNITURE; CABINETS; DRAWERS; GENERAL DETAILS OF FURNITURE
    • A47B31/00—Service or tea tables, trolleys, or wagons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39441—Voice command, camera detects object, grasp, move
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40411—Robot assists human in non-industrial environment like home or office
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/50—Machine tool, machine tool null till machine tool work handling
    • G05B2219/50391—Robot
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Food Science & Technology (AREA)
  • Manufacturing & Machinery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Manipulator (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Signal Processing (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

본 발명의 일 태양에 따르면, 로봇을 제어하기 위한 방법으로서, 서비스 제공 장소에서 사용자로부터 로봇에 대한 음성 정보 및 행동 정보 중 적어도 하나를 획득하는 단계, 상기 음성 정보 및 행동 정보 중 적어도 하나에 기초하여 상기 사용자에 관한 식별 정보를 결정하는 단계, 및 상기 식별 정보에 기초하여 상기 로봇에 의하여 수행될 동작을 결정하는 단계를 포함하는 방법이 제공된다.

Description

로봇을 제어하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체{METHOD, SYSTEM, AND NON-TRANSITORY COMPUTER-READABLE RECORDING MEDIUM FOR CONTROLLING A ROBOT}
본 발명은 로봇을 제어하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체에 관한 것이다.
서빙이란 식당 등의 장소에서 고객에게 음료나 음식 등의 객체를 제공하는 것을 의미하며, 근래에 들어 로봇 등이 개발되어 웨이터나 웨이트리스 대신에 또는 이들을 도와서 서빙에 이용되고 있다. 이러한 로봇은 대개 음식 주문을 받거나 주문에 따른 서빙을 수행하는 기능을 갖고, 테이블 위치 정보 등을 이용하여 자율 주행을 하기도 한다. 이와 같은 로봇은 이동 수단(장애물의 회피를 위한 센서를 포함함), 메뉴 출력 또는 주문 입력을 위한 디스플레이 수단 등을 포함하여 구성될 수 있다. 또한, 로봇은 음식이나 음식 용기의 배치나 운반을 위한 수단을 포함할 수 있다.
이에 관한 종래 기술의 일 예로서, 한국 등록특허공보 제10-1083700호에 개시된 기술을 예로 들 수 있는데, 이에 따르면, 식당 내에서 주문을 받고 주문된 음식물이 놓인 트레이를 이송하는 음식점 서빙을 위한 로봇 시스템으로서, 동기 구동되는 한 쌍의 다관절 로봇암과, 상기 다관절 로봇암의 하단에 회동 가능하도록 결합되며 상기 트레이를 고정하는 트레이 파지부를 포함하는 상단부; 메인 바퀴와 하나 이상의 보조 바퀴를 포함하는 로봇 이동부가 하부에 마련된 하단부; 상기 하단부에 고정되고 상기 상단부가 회전 가능하게 연결된 중간부; 및 상기 한 쌍의 다관절 로봇암, 상기 트레이 파지부 및 상기 로봇 이동부의 작동을 제어하는 제어부를 포함하되, 상기 트레이 파지부는 상기 다관절 로봇암의 단부에 회동 가능하게 결합된 핸드; 상기 핸드에 상하 이동 가능하도록 구비된 고정부; 상기 트레이의 하부에 위치하며 상기 고정부에 결합된 그리퍼; 상기 트레이의 상부에 위치하며 상기 그리퍼와 대향하게 상기 고정부에 결합된 스토퍼; 상기 다관절 로봇암의 단부가 하방향으로 구동됨과 동시에 상기 트레이에 스토퍼가 눌려 상방향으로 이동하는 고정부로 눌려지는 스위치; 상기 고정부가 상방향으로 이동시에 수축되는 스프링; 및 상기 그리퍼의 각도를 감지하는 그리퍼 각도 감지부를 포함하는 것을 특징으로 하는 로봇 시스템이 소개된 바 있다.
한편, 이러한 로봇은 서비스 제공 장소를 돌아다니면서 적어도 하나의 사용자(예를 들면, 서비스 제공 장소에서 근무하는 종업원, 서비스 제공 장소를 이용하는 고객 등)로부터 음성 정보, 행동 정보 등의 다양한 정보를 획득할 수 있는데, 상황에 따라서는 위와 같은 음성 정보, 행동 정보 등과 연관되는 사용자가 누구인지 또는 어떤 그룹(예를 들면, 종업원 그룹, 고객 그룹 등)에 속하는 사용자인지를 판단한 후에 로봇이 수행할 동작을 결정해야 하는 경우가 있다.
예를 들면, 로봇이 어떤 사용자로부터 특정 명령어를 음성 정보로서 획득한 경우에, 해당 로봇은 해당 사용자가 종업원인지 또는 고객인지에 따라 서로 다른 동작을 수행하거나, 아니면 해당 사용자가 종업원인 경우에만 특정 동작을 수행하고 해당 사용자가 고객인 경우에는 아무런 반응을 하지 않는 것이 바람직할 수 있는데, 로봇이 이와 같이 제어되도록 하기 위해서는 로봇이 어떤 동작을 수행하기에 앞서서 해당 사용자에 관한 식별 정보를 결정할 필요가 있다.
하지만, 위와 같은 종래 기술을 비롯하여 지금까지 소개된 기술에 의하면, 사용자로부터 로봇에 대한 음성 정보 및/또는 행동 정보를 획득한 경우에, 그 음성 정보 및/또는 행동 정보에 기초하여 해당 사용자에 관한 식별 정보를 결정하고, 그 식별 정보에 기초하여 해당 로봇에 의하여 수행될 동작을 결정함으로써, 해당 사용자가 로봇에 대하여 번거로운 조작(예를 들면, 터치 입력 등을 통하여 종업원임을 인증하는 것)을 행하지 않더라도 로봇이 상황에 맞게 적절히 제어되도록 하는 기술을 제안하지는 못하였다.
본 발명은 전술한 종래 기술의 문제점을 모두 해결하는 것을 그 목적으로 한다.
또한, 본 발명은, 서비스 제공 장소에서 사용자로부터 로봇에 대한 음성 정보 및 행동 정보 중 적어도 하나를 획득하고, 그 음성 정보 및 행동 정보 중 적어도 하나에 기초하여 위의 사용자에 관한 식별 정보를 결정하며, 그 식별 정보에 기초하여 위의 로봇에 의하여 수행될 동작을 결정하는 것을 다른 목적으로 한다.
또한, 본 발명은, 위와 같이 결정되는 사용자에 관한 식별 정보에 기초하여 로봇에 의하여 수행될 동작을 결정함으로써, 사용자가 로봇에 대하여 번거로운 조작을 행하지 않더라도 로봇이 상황에 맞게 적절히 제어되도록 하는 것을 또 다른 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.
본 발명의 일 태양에 따르면, 로봇을 제어하기 위한 방법으로서, 서비스 제공 장소에서 사용자로부터 로봇에 대한 음성 정보 및 행동 정보 중 적어도 하나를 획득하는 단계, 상기 음성 정보 및 행동 정보 중 적어도 하나에 기초하여 상기 사용자에 관한 식별 정보를 결정하는 단계, 및 상기 식별 정보에 기초하여 상기 로봇에 의하여 수행될 동작을 결정하는 단계를 포함하는 방법이 제공된다.
본 발명의 다른 태양에 따르면, 로봇을 제어하기 위한 시스템으로서, 서비스 제공 장소에서 사용자로부터 로봇에 대한 음성 정보 및 행동 정보 중 적어도 하나를 획득하는 정보 획득부, 상기 음성 정보 및 행동 정보 중 적어도 하나에 기초하여 상기 사용자에 관한 식별 정보를 결정하는 식별 정보 결정부, 및 상기 식별 정보에 기초하여 상기 로봇에 의하여 수행될 동작을 결정하는 동작 결정부를 포함하는 시스템이 제공된다.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록한 비일시성의 컴퓨터 판독 가능한 기록 매체가 더 제공된다.
본 발명에 의하면, 서비스 제공 장소에서 사용자로부터 로봇에 대한 음성 정보 및 행동 정보 중 적어도 하나를 획득하고, 그 음성 정보 및 행동 정보 중 적어도 하나에 기초하여 위의 사용자에 관한 식별 정보를 결정하며, 그 식별 정보에 기초하여 위의 로봇에 의하여 수행될 동작을 결정할 수 있게 된다.
또한, 본 발명에 의하면, 위와 같이 결정되는 사용자에 관한 식별 정보에 기초하여 로봇에 의하여 수행될 동작을 결정함으로써, 사용자가 로봇에 대하여 번거로운 조작을 행하지 않더라도 로봇을 상황에 맞게 적절히 제어할 수 있게 된다.
도 1은 본 발명의 일 실시예에 따라 로봇을 제어하기 위한 전체 시스템의 개략적인 구성을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 로봇 제어 시스템의 내부 구성을 상세하게 도시하는 도면이다.
도 3은 본 발명의 일 실시예에 따라 서비스 제공 장소에서 로봇이 제어되는 상황을 예시적으로 나타내는 도면이다.
도 4 및 도 5는 본 발명의 일 실시예에 따른 로봇의 구조를 예시적으로 나타내는 도면이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 바람직한 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
전체 시스템의 구성
도 1은 본 발명의 일 실시예에 따라 로봇을 제어하기 위한 전체 시스템의 개략적인 구성을 나타내는 도면이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 전체 시스템은 통신망(100), 로봇 제어 시스템(200) 및 로봇(300)을 포함할 수 있다.
먼저, 본 발명의 일 실시예에 따른 통신망(100)은 유선 통신이나 무선 통신과 같은 통신 양태를 가리지 않고 구성될 수 있으며, 근거리 통신망(LAN; Local Area Network), 도시권 통신망(MAN; Metropolitan Area Network), 광역 통신망(WAN; Wide Area Network) 등의 다양한 통신망으로 구성될 수 있다. 바람직하게는, 본 명세서에서 말하는 통신망(100)은 공지의 인터넷 또는 월드 와이드 웹(WWW; World Wide Web)일 수 있다. 그러나, 통신망(100)은 굳이 이에 국한될 필요 없이 공지의 유무선 데이터 통신망, 공지의 전화망, 또는 공지의 유무선 텔레비전 통신망을 그 적어도 일부에 있어서 포함할 수도 있다.
예를 들면, 통신망(100)은 무선 데이터 통신망으로서, 와이파이(WiFi) 통신, 와이파이 다이렉트(WiFi-Direct) 통신, 롱텀 에볼루션(LTE; Long Term Evolution) 통신, 5G 통신, 블루투스 통신(저전력 블루투스(BLE; Bluetooth Low Energy) 통신 포함), 적외선 통신, 초음파 통신 등과 같은 종래의 통신 방법을 적어도 그 일부분에 있어서 구현하는 것일 수 있다. 다른 예를 들면, 통신망(100)은 광 통신망으로서, 라이파이(LiFi; Light Fidelity) 등과 같은 종래의 통신 방법을 적어도 그 일부분에 있어서 구현하는 것일 수 있다.
다음으로, 본 발명의 일 실시예에 따른 로봇 제어 시스템(200)은 통신망(100)을 통해 후술할 로봇(300)과 통신을 수행할 수 있고, 서비스 제공 장소에서 사용자로부터 로봇(300)에 대한 음성 정보 및 행동 정보 중 적어도 하나를 획득하고, 그 음성 정보 및 행동 정보 중 적어도 하나에 기초하여 위의 사용자에 관한 식별 정보를 결정하며, 그 식별 정보에 기초하여 로봇(300)에 의하여 수행될 동작을 결정하는 기능을 수행할 수 있다.
본 발명에 따른 로봇 제어 시스템(200)의 구성과 기능에 관하여는 이하의 상세한 설명을 통하여 자세하게 알아보기로 한다.
다음으로, 본 발명의 일 실시예에 따른 로봇(300)은 통신망(100)을 통해 로봇 제어 시스템(200)과 통신할 수 있고, 사용자(예를 들면, 종업원, 고객 등)에 의한 조작 없이도 소정의 기능이나 부여된 작업(예를 들면, 음식 서빙, 용기 회수 등)을 자율적으로 수행할 수 있는 기기로서, 객체(예를 들어, 음식 트레이)의 로딩 및 언로딩을 위한 모듈(예를 들어, 그랩, 로봇 팔 모듈 등), 주변 영상을 획득하기 위한 영상 획득 모듈(예를 들면, 가시광선 카메라, 적외선 카메라 등), 주변 음성을 획득하기 위한 음성 획득 모듈(예를 들어, 마이크 등), 영상 및 음성을 제공하기 위한 디스플레이 및 스피커 모듈, 및 로봇(300)의 이동을 위한 구동 모듈(예를 들어, 모터 등) 중 적어도 하나의 모듈을 포함할 수 있다. 예를 들어, 이러한 로봇(300)은 안내 로봇, 서빙 로봇, 운반 로봇, 청소 로봇, 의료 로봇, 엔터테인먼트 로봇, 펫 로봇 및 무인 비행 로봇 중 적어도 하나와 유사한 특성이나 기능을 가지는 로봇일 수 있다.
한편, 본 발명의 일 실시예에 따르면, 로봇(300)에는 본 발명에 따른 로봇(300)의 제어를 수행하기 위한 애플리케이션(미도시됨)이 포함될 수 있다. 이와 같은 애플리케이션은 로봇 제어 시스템(200) 또는 외부의 애플리케이션 배포 서버(미도시됨)로부터 다운로드된 것일 수 있다. 한편, 이러한 애플리케이션의 성격은 후술할 바와 같은 로봇 제어 시스템(200)의 정보 획득부(210), 식별 정보 결정부(220), 동작 결정부(230), 통신부(240) 및 제어부(250)와 전반적으로 유사할 수 있다. 여기서, 애플리케이션은 그 적어도 일부가 필요에 따라 그것과 실질적으로 동일하거나 균등한 기능을 수행할 수 있는 하드웨어 장치나 펌웨어 장치로 치환될 수도 있다.
로봇 제어 시스템의 구성
이하에서는, 본 발명의 구현을 위하여 중요한 기능을 수행하는 로봇 제어 시스템(200)의 내부 구성과 각 구성요소의 기능에 대하여 살펴보기로 한다.
도 2는 본 발명의 일 실시예에 따른 로봇 제어 시스템(200)의 내부 구성을 상세하게 도시하는 도면이다.
도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 로봇 제어 시스템(200)은, 정보 획득부(210), 식별 정보 결정부(220), 동작 결정부(230), 통신부(240) 및 제어부(250)를 포함하여 구성될 수 있다. 본 발명의 일 실시예에 따르면, 정보 획득부(210), 식별 정보 결정부(220), 동작 결정부(230), 통신부(240) 및 제어부(250)는 그 중 적어도 일부가 외부의 시스템(미도시됨)과 통신하는 프로그램 모듈일 수 있다. 이러한 프로그램 모듈은 운영 시스템, 응용 프로그램 모듈, 또는 기타 프로그램 모듈의 형태로 로봇 제어 시스템(200)에 포함될 수 있고, 물리적으로는 여러 가지 공지의 기억 장치에 저장될 수 있다. 또한, 이러한 프로그램 모듈은 로봇 제어 시스템(200)과 통신 가능한 원격 기억 장치에 저장될 수도 있다. 한편, 이러한 프로그램 모듈은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 이에 제한되지는 않는다.
한편, 로봇 제어 시스템(200)에 관하여 위와 같이 설명되었으나, 이러한 설명은 예시적인 것이고, 로봇 제어 시스템(200)의 구성요소 또는 기능 중 적어도 일부가 필요에 따라 로봇(300) 또는 외부 시스템(미도시됨)에서 실현되거나 로봇(300) 또는 외부 시스템 내에 포함될 수도 있음은 당업자에게 자명하다. 또한, 경우에 따라서는, 로봇 제어 시스템(200)의 모든 기능과 구성 요소가 로봇(300) 내에서 전부 실현되거나 로봇(300) 내에 전부 포함될 수도 있다.
먼저, 본 발명의 일 실시예에 따른 정보 획득부(210)는 서비스 제공 장소에서 사용자로부터 로봇(300)에 대한 음성 정보 및 행동 정보 중 적어도 하나를 획득하는 기능을 수행할 수 있다.
구체적으로, 본 발명의 일 실시예에 따른 정보 획득부(210)는 마이크와 같은 음성 획득 모듈(미도시됨)을 포함할 수 있다. 본 발명의 일 실시예에 따르면, 이러한 음성 획득 모듈은 로봇(300)의 본체(510)(도 4 참조)에 결합될 수 있고, 로봇(300) 주변의 적어도 한 명의 사용자(예를 들면, 종업원 또는 고객)로부터 발생되는 음성을 수신할 수 있다. 그리고, 본 발명의 일 실시예에 따른 정보 획득부(210)는 위와 같이 수신되는 음성을 처리하여 인식함으로써 로봇(300)에 대한 음성 정보를 획득할 수 있다. 이를 위해, 본 발명의 일 실시예에 따른 정보 획득부(210)는 공지의 음성 처리 기술을 이용하여 음성 획득 모듈에 의하여 수신되는 음성에 대한 전처리나 노이즈 제거 등을 수행할 수도 있다.
여기서, 본 발명의 일 실시예에 따른 정보 획득부(210)가 음성을 인식한다는 것은 그 음성에 포함된 말 자체 및/또는 목소리를 인식할 수 있다는 의미로 이해되어야 한다. 그리고, 위와 같이 획득되는 음성 정보는 로봇(300)을 호출하거나 로봇(300)에게 특정한 임무를 부여하기 위한 하나의 명령어를 의미할 수 있지만, 순차적으로 획득되는 일련의 명령어(예를 들면, 로봇(300)을 호출하기 위한 적어도 하나의 명령어 및 로봇(300)에게 특정한 임무를 부여하기 위한 적어도 하나의 명령어의 조합)를 의미할 수도 있다.
한편, 본 발명의 일 실시예에 따른 정보 획득부(210)는 음성 획득 모듈에 의하여 수신되는 음성의 세기 및/또는 방향에 기초하여 해당 음성 또는 해당 음성에 대응되는 음성 정보가 로봇(300)에 대한 것인지 여부를 판단할 수도 있다. 예를 들면, 본 발명의 일 실시예에 따른 정보 획득부(210)는 둘 이상의 음성 획득 모듈에 의하여 수신되는 음성을 분석하여 해당 음성의 방향을 결정할 수 있고, 이에 기초하여 해당 음성 또는 해당 음성에 대응되는 음성 정보가 로봇(300)에 대한 것인지 여부를 판단할 수 있다.
또한, 본 발명의 일 실시예에 따른 정보 획득부(210)는 카메라와 같은 영상 획득 모듈(미도시됨)을 포함할 수 있다. 본 발명의 일 실시예에 따르면, 이러한 영상 획득 모듈은 로봇(300)의 본체(510)(도 4 참조)에 결합될 수 있고, 로봇(300) 주변의 적어도 한 명의 사용자(예를 들면, 종업원 또는 고객)를 촬영할 수 있다. 그리고, 본 발명의 일 실시예에 따른 정보 획득부(210)는 위와 같이 촬영되는 영상을 처리하여 해당 사용자의 행동을 인식함으로써 로봇(300)에 대한 행동 정보를 획득할 수 있다. 이를 위해, 본 발명의 일 실시예에 따른 정보 획득부(210)는 CNN(Convolutional Neural Network) 기반의 영상 처리 알고리즘, 자세 추정(pose estimation)에 관한 영상 처리 알고리즘 등의 공지의 영상 처리 기술을 이용할 수 있다.
여기서, 본 발명의 일 실시예에 따른 정보 획득부(210)가 획득하는 로봇(300)에 대한 행동 정보에는 사용자의 동작, 자세, 표정, 시선 등에 관한 정보가 포함될 수 있다. 그리고, 위와 같이 획득되는 행동 정보는 로봇(300)을 호출하거나 로봇(300)에게 특정한 임무를 부여하기 위한 하나의 행동을 의미할 수 있지만, 순차적으로 획득되는 일련의 행동(예를 들면, 로봇(300)을 호출하기 위한 적어도 하나의 행동 및 로봇(300)에게 특정한 임무를 부여하기 위한 적어도 하나의 행동의 조합)을 의미할 수도 있다.
한편, 본 발명의 일 실시예에 따른 정보 획득부(210)는 사용자의 시선에 관한 정보에 기초하여 사용자의 행동 또는 해당 행동에 대응되는 행동 정보가 로봇(300)에 대한 것인지 여부를 판단할 수도 있다. 예를 들면, 본 발명의 일 실시예에 따른 정보 획득부(210)는 사용자의 시선이 로봇(300)을 향하고 있는지, 로봇(300)에 대한 시선이 얼마나 오래 유지되는지 등에 기초하여 해당 사용자의 행동 또는 해당 행동에 대응되는 행동 정보가 로봇(300)에 대한 것인지 여부를 판단할 수 있다.
다음으로, 본 발명의 일 실시예에 따른 식별 정보 결정부(220)는 본 발명의 일 실시예에 따른 정보 획득부(210)에 의하여 획득되는 로봇(300)에 대한 음성 정보 및 행동 정보 중 적어도 하나에 기초하여 사용자에 관한 식별 정보를 결정하는 기능을 수행할 수 있다.
구체적으로, 본 발명의 일 실시예에 따른 식별 정보 결정부(220)는, 로봇(300)에 대하여 음성 정보 및/또는 행동 정보를 제공하는 사용자가 특정되면(즉, 위의 사용자로부터 획득되는 음성 정보 및/또는 행동 정보가 로봇(300)에 대한 것으로 판단되면), 그 음성 정보 및/또는 행동 정보에 기초하여 위의 사용자에 관한 식별 정보를 결정할 수 있다.
본 발명의 일 실시예에 따르면, 이러한 사용자에 관한 식별 정보에는 해당 사용자와 연관되는 그룹, 해당 사용자의 성별, 해당 사용자의 나이 등에 관한 정보가 포함될 수 있다. 즉, 본 발명의 일 실시예에 따른 식별 정보 결정부(220)가 사용자에 관한 식별 정보를 결정한다는 것은 반드시 해당 사용자가 누구인지를 정확히 식별함을 의미하는 것은 아니고, 사용자와 연관되는 그룹이 어느 그룹인지를 구별할 수 있는 수준으로 해당 사용자를 식별함을 의미할 수 있다. 여기서, 본 발명의 일 실시예에 따르면, 사용자와 연관되는 그룹은 소정의 기준에 따라 구분되는 복수 개의 그룹(예를 들면, 종업원 그룹 및 고객 그룹) 중에서 해당 사용자가 속하는 그룹을 의미할 수 있다.
예를 들면, 본 발명의 일 실시예에 따른 식별 정보 결정부(220)는, 사용자가 종업원이고 종업원이 제1 그룹으로 구분되는 경우에, 제1 그룹을 해당 사용자와 연관되는 그룹(즉, 해당 사용자에 관한 식별 정보)으로서 결정할 수 있다. 다른 예를 들면, 본 발명의 일 실시예에 따른 식별 정보 결정부(220)는, 사용자가 고객이고(또는 종업원이 아니고) 고객(또는 종업원이 아닌 사람)이 제2 그룹으로 구분되는 경우에, 제2 그룹을 해당 사용자와 연관되는 그룹(즉, 해당 사용자에 관한 식별 정보)으로서 결정할 수 있다. 또 다른 예를 들면, 본 발명의 일 실시예에 따른 식별 정보 결정부(220)는, 사용자의 역할(예를 들면, 종업원이 식당의 홀, 주방, 또는 카운터에서 근무하는 것)에 따라 구분되는 그룹이 정해지는 경우에는, 해당 사용자의 역할에 따른 그룹을 해당 사용자에 관한 식별 정보로서 결정할 수도 있다.
다만, 본 발명의 일 실시예에 따라 사용자에 관한 식별 정보 또는 사용자와 연관되는 그룹을 결정하는 방식은 위에서 설명된 것에 한정되지 않으며, 본 발명의 목적을 달성할 수 있는 범위 내에서 다양하게 변경될 수 있다.
한편, 본 발명의 일 실시예에 따른 식별 정보 결정부(220)는 본 발명의 일 실시예에 따른 정보 획득부(210)에 의하여 획득되는 로봇(300)에 대한 음성 정보 및 행동 정보 중 적어도 하나를 기준 음성 정보 및 기준 행동 정보 중 적어도 하나와 각각 비교함으로써 사용자에 관한 식별 정보를 결정할 수 있다.
구체적으로, 본 발명의 일 실시예에 따르면, 기준 음성 정보 및 기준 행동 정보는 사용자에 관한 식별 정보를 결정하기 위하여 미리 설정되는 음성 정보 및 행동 정보를 의미할 수 있다. 본 발명의 일 실시예에 따르면, 기준 음성 정보 및/또는 기준 행동 정보는 사용자에 의하여 설정될 수 있다. 나아가, 기준 음성 정보 및/또는 기준 행동 정보는 로봇(300)별로 설정될 수 있고, 사용자와 연관되는 그룹별로 설정될 수도 있다.
예를 들면, 본 발명의 일 실시예에 따른 식별 정보 결정부(220)는, 사용자가 로봇(300)을 호출하기 위한 목소리, 호출어 및/또는 행동, 사용자가 로봇(300)에게 특정한 임무를 부여하기 위한 목소리, 명령어 및/또는 행동 등을 특정 그룹(예를 들면, 종업원 그룹)에 관한 기준 음성 정보 및/또는 기준 행동 정보로서 등록하도록 지원하거나, 등록된 기준 음성 정보 및/또는 기준 행동 정보를 삭제 또는 변경하도록 지원할 수 있다. 그리고, 본 발명의 일 실시예에 따른 식별 정보 결정부(220)는 이러한 기준 음성 정보 및/또는 기준 행동 정보를 로봇(300)에 대한 음성 정보 및/또는 행동 정보와 각각 비교하고, 그 비교의 결과 양자의 일치도가 소정 수준 이상인 경우에 위의 특정 그룹을 위의 사용자와 연관되는 그룹(즉, 위의 사용자에 관한 식별 정보)으로서 결정할 수 있다.
다음으로, 본 발명의 일 실시예에 따른 동작 결정부(230)는 본 발명의 일 실시예에 따른 식별 정보 결정부(220)에 의하여 결정되는 사용자에 관한 식별 정보에 기초하여 로봇(300)에 의하여 수행될 동작을 결정하는 기능을 수행할 수 있다.
예를 들면, 본 발명의 일 실시예에 따른 동작 결정부(230)는, 사용자와 연관되는 그룹이 제1 그룹(예를 들면, 종업원 그룹)인지 아니면 제2 그룹(예를 들면, 고객 그룹)인지에 따라 로봇(300)에 의하여 수행될 동작을 다르게 결정할 수 있다.
예를 들면, 사용자와 연관되는 그룹이 제1 그룹(예를 들면, 종업원 그룹)인 경우에, 본 발명의 일 실시예에 따른 동작 결정부(230)는 해당 사용자로부터 획득되는 로봇(300)에 대한 음성 정보 및 행동 정보 중 적어도 하나에 기초하여 해당 사용자가 로봇(300)을 호출하였는지 아니면 로봇(300)에게 특정한 임무를 부여하였는지를 판단할 수 있다. 그리고, 그 판단의 결과에 따라 사용자의 호출에 응답하거나 특정한 임무를 수행하는 등의 동작을 로봇(300)에 의하여 수행될 동작으로서 결정할 수 있다. 반면에, 사용자와 연관되는 그룹이 제2 그룹(예를 들면, 고객 그룹)인 경우에, 본 발명의 일 실시예에 따른 동작 결정부(230)는 위와 같은 판단을 하지 않고, 사용자에게 아무런 반응을 하지 않는 것을 로봇(300)에 의하여 수행될 동작으로서 결정할 수 있다.
또한, 본 발명의 일 실시예에 따른 동작 결정부(230)는 로봇(300)의 현재 상황에 관한 정보에 기초하여 로봇(300)에 의하여 수행될 동작을 결정할 수도 있다. 예를 들면, 사용자가 로봇(300)에게 특정한 임무를 부여하였지만 로봇(300)이 현재 음식을 서빙하고 있어서 해당 임무를 곧바로 수행할 수 없는 상황인 경우에, 본 발명의 일 실시예에 따른 동작 결정부(230)는 해당 사용자에게 해당 임무를 수행할 수 없음을 알리거나, 현재 임무를 종료한 이후에 해당 임무를 수행할 수 있음을 알리는 것을 로봇(300)에 의하여 수행될 동작으로서 결정할 수 있다.
도 3은 본 발명의 일 실시예에 따라 서비스 제공 장소에서 로봇이 제어되는 상황을 예시적으로 나타내는 도면이다.
도 3을 참조하여 예를 들면, 서비스 제공 장소가 식당인 경우에, 본 발명의 일 실시예에 따른 정보 획득부(210)는 제1 사용자(400) 및 제2 사용자(440)로부터 로봇(300)에 대한 음성 정보(예를 들면, "서비야!"라는 호출어, "여기로 와!"라는 명령어 등)를 획득할 수 있다. 이때, 본 발명의 일 실시예에 따른 정보 획득부(210)는 다른 사용자들(410, 420 및 430)로부터 획득되는 음성 정보 및 행동 정보 중 적어도 하나는 로봇(300)에 대한 것이 아니라고 판단할 수 있다.
계속하여, 본 발명의 일 실시예에 따른 식별 정보 결정부(220)는 위와 같이 획득되는 로봇(300)에 대한 음성 정보에 기초하여 제1 사용자(400) 및 제2 사용자(440)에 관한 식별 정보를 결정할 수 있다. 예를 들면, 발명의 일 실시예에 따른 식별 정보 결정부(220)는, 위와 같이 획득되는 로봇(300)에 대한 음성 정보를 기준 음성 정보(예를 들면, 기등록된 목소리)와 비교함으로써 제1 그룹(예를 들면, 종업원 그룹)을 제1 사용자(400)와 연관되는 그룹(즉, 제1 사용자(400)에 관한 식별 정보)으로서 결정하고, 제2 그룹(예를 들면, 고객 그룹)을 제2 사용자(440)와 연관되는 그룹(즉, 제2 사용자(440)에 관한 식별 정보)으로서 결정할 수 있다.
계속하여, 본 발명의 일 실시예에 따른 동작 결정부(230)는 위와 같이 결정되는 식별 정보에 기초하여 제2 사용자(440)에게는 아무런 반응을 하지 않는 것을 로봇(300)에 의하여 수행될 동작으로서 결정할 수 있다. 그리고, 본 발명의 일 실시예에 따른 동작 결정부(230)는 제1 사용자(400)로부터 획득된 로봇(300)에 대한 음성 정보에 기초하여 제1 사용자(400)의 호출에 응답하거나 제1 사용자(400)가 부여한 특정한 임무를 수행하는 등의 동작을 로봇(300)에 의하여 수행될 동작으로서 결정할 수 있다. 이때, 로봇(300)이 현재 음식을 서빙하고 있어서 해당 임무를 곧바로 수행할 수 없는 상황이라면, 본 발명의 일 실시예에 따른 동작 결정부(230)는 제1 사용자(400)에게 해당 임무를 수행할 수 없음을 알리거나, 현재 임무를 종료한 이후에 해당 임무를 수행할 수 있음을 알리는 것을 로봇(300)에 의하여 수행될 동작으로서 결정할 수도 있다.
다음으로, 본 발명의 일 실시예에 따른 통신부(240)는 정보 획득부(210), 식별 정보 결정부(220) 및 동작 결정부(230)로부터의/로의 데이터 송수신이 가능하도록 하는 기능을 수행할 수 있다.
마지막으로, 본 발명의 일 실시예에 따른 제어부(250)는 정보 획득부(210), 식별 정보 결정부(220), 동작 결정부(230) 및 통신부(240) 간의 데이터의 흐름을 제어하는 기능을 수행할 수 있다. 즉, 본 발명의 일 실시예에 따른 제어부(250)는 로봇 제어 시스템(200)의 외부로부터의/로의 데이터 흐름 또는 로봇 제어 시스템(200)의 각 구성요소 간의 데이터 흐름을 제어함으로써, 정보 획득부(210), 식별 정보 결정부(220), 동작 결정부(230) 및 통신부(240)에서 각각 고유 기능을 수행하도록 제어할 수 있다.
로봇의 구성
본 발명의 일 실시예에 따른 로봇(300)은 안내 로봇, 서빙 로봇, 운반 로봇, 청소 로봇, 의료 로봇, 엔터테인먼트 로봇, 펫 로봇 및 무인 비행 로봇 중 적어도 하나가 수행하는 작업과 유사한 작업을 수행하는 로봇일 수 있으며, 이를 위하여 각 작업에 부합하는 다양한 형상으로 구현될 수 있다.
도 4를 참조하면, 로봇(300)은 본체(510), 구동부(520) 및 프로세서(530)를 포함하여 구성될 수 있다.
예를 들어, 본 발명의 일 실시예에 따른 본체(510)에는 운송 대상 객체 또는 회수 대상 객체를 적재하기 위한 적어도 하나의 적재 공간이 포함될 수 있다. 본 발명의 일 실시예에 따른 이러한 운송 대상 객체 및 회수 대상 객체는 이동될 수 있는 모든 유형물을 총칭하는 개념으로, 예를 들어, 사물, 동물, 사람 등을 포함하는 개념일 수 있다. 예를 들어, 운송 대상 객체는 음식물이고, 회수 대상 객체는 해당 음식물이 담긴 용기일 수 있다.
도 5를 참조하면, 예를 들어 로봇(300)이 서빙 로봇인 경우에, 운송 대상 객체의 제공 및 회수 대상 객체의 수거를 위한 제1 공간(610) 및 제2 공간(620)을 포함할 수 있다. 또한, 로봇(300)은 착탈식 기둥을 통해 제공되는 확장 공간인 제3 공간(630)을 더 포함할 수 있고, 필요에 따라 확장 공간을 더 추가함으로써 더 많은 적재 공간을 구비할 수 있다. 또한, 로봇(300)은 운송 대상 객체 또는 회수 대상 객체 전용의 트레이(640)를 더 포함할 수도 있다. 예를 들어, 트레이(640)는 위에서 볼 때에 그 상면에 복수 개의 원형 홈이 형성된 구성을 가질 수 있다. 각각의 원형 홈은 음료가 담긴 컵의 하부가 안착되어 쉽게 어느 정도 고정되도록 형성되어 있을 수 있다. 이러한 원형 홈의 크기는 다양할 수 있다. 또한, 로봇(300)의 제1 공간(610)의 하부에는 로봇(300)의 측면을 통하여 꺼내어질 수 있는 제4 공간(650)이 더 포함될 수 있다. 본 발명의 일 실시예에 따른 제4 공간(650)은 그 내부에 빈 공간이 형성되어 있고, 측면은 막혀 있으며, 윗면은 열려 있고 아랫면은 닫혀 있는, 바구니와 유사한 형태를 가질 수 있다. 다만, 본 발명에 따른 로봇(300)의 적재 공간이 위의 열거된 내용에 한정되어 구현되는 것은 아니고, 본 발명의 목적을 달성할 수 있는 범위 내에서 다른 형태의 적재 공간 등으로 다양하게 구현될 수 있다.
한편, 다시 도 4를 참조하면, 본체(510)에는 주변 영상(예를 들어, 고객, 테이블, 종업원, 다른 로봇(300) 등) 및 장애물 정보를 획득하기 위한 영상 획득 모듈(예를 들어, 가시광선 카메라, 적외선 카메라 등)(미도시됨) 및 스캐너 모듈(예를 들어, 라이다(LIDAR) 센서 등)이 더 포함될 수 있다.
다음으로, 본 발명의 일 실시예에 따른 구동부(520)는 본체(510)를 다른 지점으로 이동시키기 위한 모듈 또는 운송 대상 객체 및 회수 대상 객체를 로딩 및 언로딩하기 위한 모듈을 포함하여 구성될 수 있다.
예를 들어, 구동부(520)는 본체(510)를 다른 지점으로 이동시키기 위한 모듈로서, 전기식, 기계식, 또는 유압식으로 구동되는 바퀴, 프로펠러 등에 관한 모듈 등을 포함할 수 있고, 운송 대상 객체 및 회수 대상 객체를 로딩 및 언로딩하기 위한 모듈로서, 운송 대상 객체 및 회수 대상 객체를 장착하여 운반하기 위한 로봇 팔 모듈 등을 포함할 수 있다.
다음으로, 본 발명의 일 실시예에 따른 프로세서(530)는 구동부(520)와 전기적으로 연결되어 구동부(520)를 제어하는 기능을 수행할 수 있으며(외부 시스템과의 통신을 위한 통신 모듈을 더 포함할 수도 있음), 예를 들어, 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 예를 들어, 이와 같이 하드웨어에 내장된 데이터 처리 장치는, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 포함할 수 있다.
또한, 프로세서(530)는 본 발명에 따른 로봇 제어 시스템(200)의 정보 획득부(210), 식별 정보 결정부(220) 및 동작 결정부(230) 중 적어도 하나의 기능을 수행할 수 있고(예를 들어, 해당 기능이 모듈화되어 프로세서(530)에 포함될 수 있음), 정보 획득부(210), 식별 정보 결정부(220) 및 동작 결정부(230) 중 적어도 하나의 기능을 수행하는 외부 시스템(미도시됨)과의 통신을 통해 구동부(520)를 제어하는 기능을 수행할 수도 있다.
구체적으로, 프로세서(530)는 로봇(300)의 서비스 제공 장소에서 사용자로부터 로봇(300)에 대한 음성 정보 및 행동 정보 중 적어도 하나를 획득하고, 그 음성 정보 및 행동 정보 중 적어도 하나에 기초하여 위의 사용자에 관한 식별 정보를 결정하며, 그 식별 정보에 기초하여 로봇(300)에 의하여 수행될 동작을 결정하는 기능을 수행할 수 있다.
이상에서는, 본 발명에 따른 서비스 제공 장소가 식당인 실시예에 대하여 주로 설명되어 있지만, 서비스 제공 장소가 반드시 식당에만 한정되는 것은 아니며, 본 발명의 목적을 달성할 수 있는 범위 내에서 카페, 술집, 바 등으로 얼마든지 변경될 수도 있음을 밝혀 둔다.
이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항과 한정된 실시예 및 도면에 의하여 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위하여 제공된 것일 뿐, 본 발명이 상기 실시예에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정과 변경을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.
100: 통신망
200: 로봇 제어 시스템
210: 정보 획득부
220: 식별 정보 결정부
230: 동작 결정부
240: 통신부
250: 제어부
300: 로봇

Claims (9)

  1. 로봇을 제어하기 위한 방법으로서,
    서비스 제공 장소에서 사용자에 의한 음성 및 행동 중 적어도 하나를 인식함으로써 상기 사용자로부터 음성 정보 및 행동 정보 중 적어도 하나를 획득하고, 상기 음성 정보 및 행동 정보 중 적어도 하나가 상기 로봇에 대한 것인지 여부를 판단하는 단계,
    상기 음성 정보 및 행동 정보 중 적어도 하나가 상기 로봇에 대한 것으로 판단되면, 상기 음성 정보 및 행동 정보 중 적어도 하나에 기초하여 상기 사용자와 연관되는 그룹을 포함하는 상기 사용자에 관한 식별 정보를 결정하는 단계, 및
    상기 식별 정보에 기초하여 상기 로봇에 의하여 수행될 동작을 결정하는 단계를 포함하고,
    상기 사용자와 연관되는 그룹이 제1 그룹인 경우에, 상기 음성 정보 및 행동 정보 중 적어도 하나에 기초하여 상기 사용자가 상기 로봇을 호출하였거나 상기 로봇에게 특정 임무를 부여하였는지를 판단하고, 상기 판단의 결과에 따라 상기 사용자의 호출에 응답하거나 상기 특정 임무를 수행하는 것을 상기 로봇에 의하여 수행될 동작으로서 결정하며,
    상기 사용자와 연관되는 그룹이 제2 그룹인 경우에, 상기 사용자에게 아무런 반응을 하지 않는 것을 상기 로봇에 의하여 수행될 동작으로서 결정하는
    방법.
  2. 제1항에 있어서,
    상기 식별 정보 결정 단계에서, 상기 음성 정보 및 행동 정보 중 적어도 하나를 기준 음성 정보 및 기준 행동 정보 중 적어도 하나와 각각 비교함으로써 상기 사용자에 관한 식별 정보를 결정하는
    방법.
  3. 제2항에 있어서,
    상기 기준 음성 정보 및 기준 행동 정보 중 적어도 하나는 미리 설정되는
    방법.
  4. 제1항에 있어서,
    상기 동작 결정 단계에서, 상기 로봇의 현재 상황에 관한 정보에 더 기초하여 상기 로봇에 의하여 수행될 동작을 결정하는
    방법.
  5. 제1항에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 기록한 비일시성의 컴퓨터 판독 가능 기록 매체.
  6. 로봇을 제어하기 위한 시스템으로서,
    서비스 제공 장소에서 사용자에 의한 음성 및 행동 중 적어도 하나를 인식함으로써 상기 사용자로부터 음성 정보 및 행동 정보 중 적어도 하나를 획득하고, 상기 음성 정보 및 행동 정보 중 적어도 하나가 상기 로봇에 대한 것인지 여부를 판단하는 정보 획득부,
    상기 음성 정보 및 행동 정보 중 적어도 하나가 상기 로봇에 대한 것으로 판단되면, 상기 음성 정보 및 행동 정보 중 적어도 하나에 기초하여 상기 사용자와 연관되는 그룹을 포함하는 상기 사용자에 관한 식별 정보를 결정하는 식별 정보 결정부, 및
    상기 식별 정보에 기초하여 상기 로봇에 의하여 수행될 동작을 결정하는 동작 결정부를 포함하고,
    상기 사용자와 연관되는 그룹이 제1 그룹인 경우에, 상기 음성 정보 및 행동 정보 중 적어도 하나에 기초하여 상기 사용자가 상기 로봇을 호출하였거나 상기 로봇에게 특정 임무를 부여하였는지를 판단하고, 상기 판단의 결과에 따라 상기 사용자의 호출에 응답하거나 상기 특정 임무를 수행하는 것을 상기 로봇에 의하여 수행될 동작으로서 결정하며,
    상기 사용자와 연관되는 그룹이 제2 그룹인 경우에, 상기 사용자에게 아무런 반응을 하지 않는 것을 상기 로봇에 의하여 수행될 동작으로서 결정하는
    시스템.
  7. 제6항에 있어서,
    상기 식별 정보 결정부는, 상기 음성 정보 및 행동 정보 중 적어도 하나를 기준 음성 정보 및 기준 행동 정보 중 적어도 하나와 각각 비교함으로써 상기 사용자에 관한 식별 정보를 결정하는
    시스템.
  8. 제7항에 있어서,
    상기 기준 음성 정보 및 기준 행동 정보 중 적어도 하나는 미리 설정되는
    시스템.
  9. 제6항에 있어서,
    상기 동작 결정부는, 상기 로봇의 현재 상황에 관한 정보에 더 기초하여 상기 로봇에 의하여 수행될 동작을 결정하는
    시스템.
KR1020230094424A 2021-05-10 2023-07-20 로봇을 제어하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체 KR102694556B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/315,641 US20220357721A1 (en) 2021-05-10 2021-05-10 Method, system, and non-transitory computer-readable recording medium for controlling a robot
US17/315,641 2021-05-10
KR1020210068395A KR20220152901A (ko) 2021-05-10 2021-05-27 로봇을 제어하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020210068395A Division KR20220152901A (ko) 2021-05-10 2021-05-27 로봇을 제어하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체

Publications (2)

Publication Number Publication Date
KR20230115280A true KR20230115280A (ko) 2023-08-02
KR102694556B1 KR102694556B1 (ko) 2024-08-12

Family

ID=83901020

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020210068395A KR20220152901A (ko) 2021-05-10 2021-05-27 로봇을 제어하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
KR1020230094424A KR102694556B1 (ko) 2021-05-10 2023-07-20 로봇을 제어하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020210068395A KR20220152901A (ko) 2021-05-10 2021-05-27 로봇을 제어하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체

Country Status (5)

Country Link
US (1) US20220357721A1 (ko)
EP (1) EP4337427A1 (ko)
JP (2) JP2022173971A (ko)
KR (2) KR20220152901A (ko)
WO (1) WO2022240678A1 (ko)

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080008528A (ko) * 2006-07-20 2008-01-24 주식회사 유진로봇 고객 접대 기능을 가지는 서빙 로봇
WO2009031486A1 (ja) * 2007-09-06 2009-03-12 Olympus Corporation ロボット制御システム、ロボット、プログラム及び情報記憶媒体
JP6397817B2 (ja) * 2013-12-20 2018-09-26 Ｒｅ＆Ｄｏ株式会社 サービス提供管理システム
US9724824B1 (en) * 2015-07-08 2017-08-08 Sprint Communications Company L.P. Sensor use and analysis for dynamic update of interaction in a social robot
JP2017182261A (ja) * 2016-03-29 2017-10-05 大日本印刷株式会社 情報処理装置、情報処理方法、およびプログラム
CN109153127B (zh) * 2016-03-28 2022-05-31 Groove X 株式会社 执行迎接行为的行为自主型机器人
JP2018041230A (ja) * 2016-09-06 2018-03-15 富士通株式会社 受付支援プログラム、受付支援方法、受付支援システムおよび情報処理装置
JP6764796B2 (ja) * 2017-01-26 2020-10-07 株式会社日立製作所 ロボット制御システムおよびロボット制御方法
KR102140292B1 (ko) * 2017-12-27 2020-07-31 (주) 퓨처로봇 로봇 서비스 학습 시스템 및 그 방법
JP6656626B2 (ja) * 2018-08-14 2020-03-04 ウィルベース株式会社 販売支援システムおよび販売支援方法
KR102315925B1 (ko) * 2019-01-03 2021-10-21 삼성전자주식회사 이동 로봇 및 그의 동작 방법
US20210373576A1 (en) * 2019-01-03 2021-12-02 Lg Electronics Inc. Control method of robot system
US11413764B2 (en) * 2019-06-07 2022-08-16 Lg Electronics Inc. Serving robot and method for receiving customer using the same
WO2020256160A1 (ko) * 2019-06-17 2020-12-24 엘지전자 주식회사 인공지능 홈 로봇 및 그의 제어 방법
JP6788710B1 (ja) * 2019-08-01 2020-11-25 エコモット株式会社 画像出力装置及び画像出力方法
KR20190098926A (ko) * 2019-08-05 2019-08-23 엘지전자 주식회사 로봇 및 상기 로봇의 서비스 제공 방법
KR20210085696A (ko) * 2019-12-31 2021-07-08 삼성전자주식회사 전자 장치의 움직임을 결정하는 방법 및 이를 사용하는 전자 장치

Also Published As

Publication number Publication date
JP2022173971A (ja) 2022-11-22
JP2023130462A (ja) 2023-09-20
US20220357721A1 (en) 2022-11-10
KR20220152901A (ko) 2022-11-17
WO2022240678A1 (en) 2022-11-17
EP4337427A1 (en) 2024-03-20
KR102694556B1 (ko) 2024-08-12

Similar Documents

Publication Publication Date Title
KR20240004139A (ko) 서빙 로봇을 제어하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
US20240160218A1 (en) Method, system, and non-transitory computer-readable recording medium for controlling a robot
KR102560467B1 (ko) 패트롤링 로봇을 제어하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
KR102694556B1 (ko) 로봇을 제어하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
KR102567222B1 (ko) 서빙 로봇을 제어하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
KR102567241B1 (ko) 서빙 로봇을 제어하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
KR102655839B1 (ko) 로봇을 제어하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
JP7209768B2 (ja) ロボットを制御するための方法、システムおよび非一過性のコンピュータ読み取り可能記録媒体
KR20230013589A (ko) 서빙 로봇을 제어하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
WO2024172884A1 (en) Serving robot including display means

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant