KR20210063975A - 로봇 및 그 제어 방법 - Google Patents

로봇 및 그 제어 방법 Download PDF

Info

Publication number
KR20210063975A
KR20210063975A KR1020190152736A KR20190152736A KR20210063975A KR 20210063975 A KR20210063975 A KR 20210063975A KR 1020190152736 A KR1020190152736 A KR 1020190152736A KR 20190152736 A KR20190152736 A KR 20190152736A KR 20210063975 A KR20210063975 A KR 20210063975A
Authority
KR
South Korea
Prior art keywords
tool
tactile
end effector
posture
robot
Prior art date
Application number
KR1020190152736A
Other languages
English (en)
Inventor
박성길
손창우
손세열
최태영
류석우
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020190152736A priority Critical patent/KR20210063975A/ko
Priority to US16/833,158 priority patent/US11383384B2/en
Publication of KR20210063975A publication Critical patent/KR20210063975A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0045—Manipulators used in the food industry
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/081—Touching devices, e.g. pressure-sensitive
    • B25J13/084—Tactile sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39311—Multilayer, MNN, four layer perceptron, sigmoidal neural network
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39508—Reorientation of object, orient, regrasp object

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Food Science & Technology (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)

Abstract

로봇 및 그 제어 방법이 개시된다. 본 발명의 일 실시예에 따른 로봇은 도구를 파지하기 위한 엔드 이펙터, 상기 엔드 이펙터에 배치되어 상기 도구에 형성된 식별자에 대한 촉각 정보를 생성하기 위한 촉각 센서 및 상기 엔드 이펙터로 하여금 상기 도구를 파지하게 하고, 그리고 상기 촉각 센서로부터 수신되는 상기 촉각 정보에 기초하여 상기 엔드 이펙터에 의해 파지되는 상기 도구의 종류 또는 자세 중 적어도 하나를 결정하도록 구성되는 프로세서를 포함할 수 있다. 본 발명의 실시 예들은 사물 인터넷을 위해 연결된 5G 환경에서 인공 지능 알고리즘 및/또는 머신 러닝 알고리즘을 실행하여 구현될 수 있다.

Description

로봇 및 그 제어 방법{ROBOT AND CONTROL METHOD THEREOF}
본 발명은 로봇에 관한 것으로, 보다 상세하게는 파지한 도구의 종류 및 자세를 파악할 수 있는 로봇에 관한 것이다.
최근 들어 일상 생활에서 편리하게 사용할 수 있는 다양한 로봇이 개발되고 있다. 이와 같은 로봇은 가정, 학교 및 공공장소 등에서 사람의 일상 생활을 돕는데 사용되고 있다.
최근에는 로봇을 이용하여 조리를 행할 수 있는 조리 로봇이 점차 증가되는 추세이다. 예를 들어, 핸드부와 핸드부의 위치 및 자세를 변화시키는 암부, 및 암부를 지지하는 지지부를 포함하고, 조리용 가열 버너 위에 배치된 조리 용기를 이용하여 조리를 보조하는 로봇이 선행문헌에 개시되어 있다.
조리 로봇은 음식의 조리를 위해 조리 도구를 사용할 수 있다. 조리 로봇이 로봇 팔의 엔드 이펙터 등을 통해 조리 도구를 파지할 때 원하는 도구가 올바른 자세로 파지되었는지 확인할 필요가 있다.
일본특허공보 제4,531,832호 (2010.08.25.)
본 발명의 실시예들은 로봇이 파지된 도구의 종류 및 자세를 확인할 수 있는 방안들을 제공한다.
본 발명의 실시예들은 로봇이 파지된 도구의 종류 및 자세에 기초하여 엔드 이펙터의 자세를 보정함으로써 작업의 정확성을 개선할 수 있는 방안들을 제공한다.
본 발명의 실시예들은 이상에서 언급한 과제에 한정되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허청구범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 알 수 있을 것이다.
본 발명의 일 실시예에 따른 로봇 및 그 제어 방법은, 엔드 이펙터에 배치된 촉각 센서로부터 수신되는, 식별자에 대한 촉각 정보에 기초하여 상기 엔드 이펙터에 의해 파지되는 도구의 종류 또는 자세 중 적어도 하나를 결정하도록 구성될 수있다.
본 발명의 일 양상에 따른 로봇은, 도구를 파지하기 위한 엔드 이펙터, 상기 엔드 이펙터에 배치되어 상기 도구에 형성된 식별자에 대한 촉각 정보를 생성하기 위한 촉각 센서, 및 상기 엔드 이펙터로 하여금 상기 도구를 파지하게 하고, 그리고 상기 촉각 센서로부터 수신되는 상기 촉각 정보에 기초하여 상기 엔드 이펙터에 의해 파지되는 상기 도구의 종류 또는 자세 중 적어도 하나를 결정하도록 구성되는 프로세서를 포함할 수 있다.
상기 촉각 정보는 3차원 촉각 이미지를 포함할 수 있다.
상기 프로세서는, 상기 3차원 촉각 이미지를 2차원 촉각 이미지로 변환하고, 그리고 변환된 2차원 촉각 이미지를 식별자들의 템플릿 촉각 이미지들과 비교하는 것에 기초하여 상기 도구의 종류 또는 자세를 결정할 수 있다.
상기 변환된 2차원 촉각 이미지는 상기 3차원 촉각 이미지의 공간적 높낮이에 대응하는 값 또는 색상을 나타내는 복수의 픽셀들 또는 픽셀들의 그룹들을 포함할 수 있다.
상기 프로세서는, 상기 2차원 촉각 이미지와 매칭하는 템플릿 촉각 이미지에 기초하여 상기 도구의 종류를 결정할 수 있다.
상기 프로세서는, 상기 2차원 촉각 이미지 및 상기 매칭하는 템플릿 촉각 이미지의 특징점들의 좌표들을 비교하는 것에 기초하여, 상기 도구의 파지된 자세를 결정할 수 있다.
상기 프로세서는, 상기 도구의 파지된 자세를 기준 자세와 비교하는 것에 기초하여 상기 엔드 이펙터의 자세를 보정할 수 있다.
상기 프로세서는, 상기 기준 자세의 정상 파지 각도와 상기 도구의 파지 각도 간의 차이를 보상하도록 상기 엔드 이펙터를 회전시킬 수 있다.
상기 식별자는 촉각에 의해 패턴이 특징지어질 수 있는 각인된 정보를 포함할 수 있다. 상기 각인된 정보는 적어도 일부 영역이 돌출되거나 함몰된 점자, 활자, 각인, 마커 또는 바코드 중 적어도 하나를 포함할 수 있다.
본 발명의 일 실시예에 따른 로봇은 상기 도구의 위치 정보를 저장하는 메모리를 더 포함할 수 있고, 상기 프로세서는, 상기 도구의 위치 정보에 기초하여 상기 엔드 이펙터로 하여금 상기 도구를 파지하게 할 수 있다.
본 발명의 일 실시예에 따른 로봇은 이미지 센서를 더 포함할 수 있고, 상기 프로세서는, 상기 이미지 센서로부터의 센서 데이터에 기초하여 상기 도구를 식별하고, 식별된 도구의 파지 위치를 결정하고, 그리고 결정된 파지 위치에 기초하여 상기 엔드 이펙터로 하여금 상기 도구를 파지하게 할 수 있다.
본 발명의 다른 양상에 따른 로봇의 제어 방법은, 엔드 이펙터로 도구를 파지하는 단계, 상기 엔드 이펙터에 배치된 촉각 센서로부터 상기 도구에 형성된 식별자에 대한 촉각 정보를 수신하는 단계 및 수신된 촉각 정보에 기초하여, 상기 엔드 이펙터에 의해 파지되는 상기 도구의 종류 또는 자세 중 적어도 하나를 결정하는 단계를 포함할 수 있다.
상기 방법은, 인공 신경망에 기반한 학습 모델을 이용하여 상기 수신된 촉각 정보를 분석하는 것에 기초하여, 상기 결정된 도구의 자세를 보정하는 단계를 더 포함할 수 있다.
본 발명의 일 실시 예에 따른 컴퓨터 판독가능한 저장 매체에는 프로그램 코드가 저장될 수 있고, 상기 프로그램 코드는, 실행되는 경우, 적어도 하나의 프로세서로 하여금, 전술한 로봇의 제어 방법을 수행하게 할 수 있다.
본 발명의 실시예들에 따르면, 로봇이 엔드 이펙터에 의해 파지된 도구의 종류 및 자세를 확인할 수 있다.
본 발명의 실시예들에 따르면, 로봇이 엔드 이펙터에 의해 파지된 도구의 종류 및 자세에 기초하여 엔드 이펙터의 자세를 보정함으로써 작업의 정확성을 개선할 수 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 통상의 기술자에게 명확히 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 로봇 시스템을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 로봇의 구성을 도시한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 로봇의 엔드 이펙터를 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 조리 도구를 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 파지 위치의 결정을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 엔드 이펙터의 자세 보정을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 로봇의 동작 방법을 도시한 순서도이다.
도 8은 본 발명의 다른 실시예에 따른 로봇 시스템을 도시한 도면이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
로봇은 스스로 보유한 능력에 의해 주어진 일을 자동으로 처리하거나 작동하는 기계를 의미할 수 있다. 특히, 환경을 인식하고 스스로 판단하여 동작을 수행하는 기능을 갖는 로봇을 지능형 로봇이라 칭할 수 있다.
로봇은 사용 목적이나 분야에 따라 산업용, 의료용, 가정용, 군사용 등으로 분류할 수 있다.
로봇은 액츄에이터 또는 모터를 포함하는 구동부를 구비하여 로봇 관절을 움직이는 등의 다양한 물리적 동작을 수행할 수 있다. 이동 가능한 로봇은 휠, 브레이크, 프로펠러 등을 구비하여 지상에서 주행하거나 공중에서 비행할 수 있다. 또한, 로봇은 다리 또는 발 등을 구비하여 지상에서 2족 또는 4족 보행할 수도 있다.
자율 주행은 스스로 주행하는 기술을 의미하며, 자율 주행 차량은 사용자의 조작 없이 또는 사용자의 최소한의 조작으로 주행하는 차량(Vehicle)을 의미한다.
예컨대, 자율 주행에는 주행중인 차선을 유지하는 기술, 어댑티브 크루즈 컨트롤과 같이 속도를 자동으로 조절하는 기술, 정해진 경로를 따라 자동으로 주행하는 기술, 목적지가 설정되면 자동으로 경로를 설정하여 주행하는 기술 등이 모두 포함될 수 있다.
차량은 내연 기관만을 구비하는 차량, 내연 기관과 전기 모터를 함께 구비하는 하이브리드 차량, 그리고 전기 모터만을 구비하는 전기 차량을 모두 포괄하며, 자동차뿐만 아니라 기차, 오토바이 등을 포함할 수 있다.
이때, 자율 주행 차량은 자율 주행 기능을 가진 로봇으로 볼 수 있다.
도 1은 본 발명의 일 실시예에 따른 로봇 시스템을 도시한 도면이다. 도 1을 참조하면, 본 발명의 일 실시예에 따른 로봇 시스템은 하나 이상의 로봇(110) 및 서버(120)를 포함할 수 있고, 선택적으로 단말기(130)를 더 포함할 수 있다.
하나 이상의 로봇(110), 서버(120) 및 단말기(130)는 네트워크(140)를 통해 서로 연결될 수 있다. 하나 이상의 로봇(110), 서버(120) 및 단말기(130)는 기지국을 통해 서로 통신할 수도 있지만, 기지국을 통하지 않고 서로 직접 통신할 수도 있다.
하나 이상의 로봇(110)은 공간에서 작업을 수행하고 해당 작업과 연관된 정보 또는 데이터를 서버(120)에 제공할 수 있다. 로봇의 작업 공간은 실내 또는 실외일 수 있다. 로봇은 벽이나 기둥 등에 의해 미리 정의된 공간에서 동작할 수 있다. 이 경우 로봇의 작업 공간은 설계 목적, 로봇의 작업 속성, 로봇의 이동성 및 기타 다양한 요인에 따라 다양하게 정의될 수 있다. 로봇은 미리 정의되지 않은 개방된 공간에서 동작할 수도 있다. 로봇은 주변 환경을 센싱하여 스스로 작업 공간을 결정할 수도 있다.
하나 이상의 로봇(110)은 자신의 상태 정보 또는 데이터를 서버(120)에 제공할 수 있다. 로봇(110)의 상태 정보는 로봇(110)의 위치, 배터리 레벨, 부품의 내구도, 소모품의 교체 주기 등에 관한 정보를 포함할 수 있다.
서버(120)는 하나 이상의 로봇(110)으로부터 제공되는 정보 또는 데이터에 기초하여 다양한 분석을 수행할 수 있고, 그러한 분석 결과에 기초하여 로봇 시스템 전반의 동작을 제어할 수 있다. 일 양상에서, 서버(120)는 분석 결과에 기초하여 로봇(110)의 구동을 직접 제어할 수 있다. 다른 양상에서, 서버(120)는 분석 결과로부터 유용한 정보 또는 데이터를 도출하여 출력할 수 있다. 또 다른 양상에서, 서버(120)는 도출된 정보 또는 데이터를 이용하여 로봇 시스템 내 파라미터들을 조정할 수 있다. 서버(120)는 단일 서버로 구현될 수 있지만, 복수의 서버 세트, 클라우드 서버 또는 이들의 조합 등으로 구현될 수도 있다.
단말기(130)는 서버(120)의 역할을 분담할 수 있다. 일 양상에서, 단말기(130)는 하나 이상의 로봇(110)으로부터 정보 또는 데이터를 획득하여 서버(120)에 제공하거나, 서버(120)로부터 정보 또는 데이터를 획득하여 하나 이상의 로봇(110)에 제공할 수 있다. 다른 양상에서, 단말기(130)는 서버(120)에 의해 수행될 분석의 적어도 일부를 담당할 수 있고, 그러한 분석 결과를 서버(120)에 제공할 수도 있다. 또 다른 양상에서, 단말기(130)는 서버(120)로부터 분석 결과, 정보 또는 데이터를 제공받아 이를 단지 출력할 수도 있다.
단말기(130)가 서버(120)의 역할을 대신할 수도 있다. 복수의 로봇(110) 중 적어도 하나의 로봇이 서버(120)의 역할을 대신할 수도 있다. 이 경우 복수의 로봇(110)은 서로 통신가능하게 연결될 수 있다.
단말기(130)는 로봇(110) 및 서버(120)와 통신할 수 있는 다양한 전자 디바이스들을 포함할 수 있다. 예를 들어, 단말기(130)는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device)(예를 들어, 워치형 단말기(smartwatch), 글래스형 단말기(smart glass), HMD(head mounted display)), 셋톱박스(STB), DMB 수신기, 라디오, 세탁기, 냉장고, 청소기, 공기조화기, 데스크탑 컴퓨터, 프로젝터, 디지털 사이니지(Digital Signage)와 같은 고정형 디바이스 및 이동 가능한 디바이스 등으로 구현될 수 있다.
네트워크(140)는 클라우드 컴퓨팅 인프라의 일부를 구성하거나 클라우드 컴퓨팅 인프라 안에 존재하는 네트워크를 의미할 수 있다. 이러한 네트워크(140)는 예컨대 LANs(local area networks), WANs(wide area networks), MANs(metropolitan area networks), ISDNs(integrated service digital networks) 등의 유선 네트워크나, 무선 LANs, CDMA, WCDMA, LTE, LTE-A, 5G, 블루투스, 위성 통신 등의 무선 통신 네트워크를 망라할 수 있으나, 이에 한정되는 것은 아니다.
네트워크(140)는 허브, 브리지, 라우터, 스위치 및 게이트웨이와 같은 네트워크 요소들의 연결을 포함할 수 있다. 네트워크(140)는 인터넷과 같은 공용 네트워크 및 안전한 기업 사설 네트워크와 같은 사설 네트워크를 비롯한 하나 이상의 연결된 네트워크들, 예컨대 다중 네트워크 환경을 포함할 수 있다. 네트워크(140)로의 액세스는 하나 이상의 유선 또는 무선 액세스 네트워크들을 통해 제공될 수 있다. 더 나아가 네트워크(140)는 사물 등 분산된 구성요소들 간에 정보를 주고 받아 처리하는 각종 사물 지능 통신(IoT(internet of things), IoE(internet of everything), IoST(internet of small things) 등) 및/또는 5G 통신을 지원할 수 있다.
도 2는 본 발명의 일 실시예에 따른 로봇의 구성을 도시한 블록도이다. 도 3은 본 발명의 일 실시예에 따른 로봇의 엔드 이펙터를 도시한 도면이다. 도 4는 본 발명의 일 실시예에 따른 조리 도구를 도시한 도면이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 로봇(200)은 통신부(210), 입력부(220), 센싱부(230), 구동부(240), 출력부(250), 프로세서(270) 및 저장부(280)를 포함할 수 있다. 센싱부(230)는 촉각 센서(235)를 포함할 수 있다. 로봇(200)은 인공 지능 및/또는 머신 러닝에 관한 동작을 수행하기 위해 러닝 프로세서(260)를 더 포함할 수 있다.
실시예에서, 로봇(200)은 조리 도구 또는 조리 기기 등을 사용하여 음식을 조리하도록 구성될 수 있다. 로봇(200)은 조리 명령에 따라 음식을 조리할 수 있다. 조리 명령은 서버(120) 또는 단말기(130)로부터 통신부(210)를 통해 수신될 수 있지만, 입력부(220)를 통해 수신될 수도 있다.
도 3을 참조하면, 로봇(200)은 음식을 조리하기 위한 적어도 하나의 로봇 팔 및 로봇 팔에 장착되는 엔드 이펙터(end-effector)(295)를 포함할 수 있다. 실시예에서, 로봇 팔은 다양한 조리 동작을 수행하기 위해 복수의 서브 팔들 및 복수의 서브 팔들을 연결하는 적어도 하나의 커넥터를 포함할 수 있다. 로봇 팔은 엔드 이펙터(295)를 3차원 이동 및 회전시킬 수 있는 다양한 구조 및/또는 형태로 구현될 수 있다. 엔드 이펙터(295)는 로봇(200)이 조리와 관련된 작업을 수행할 수 있도록 로봇 팔의 말단에 장착되어 조리와 관련된 다양한 기능을 수행할 수 있다. 엔드 이펙터(295)는 조리 도구(310)를 파지하기 위한 로봇 핸드 또는 그리퍼(gripper)로 구현될 수 있다.
도 4를 참조하면, 엔드 이펙터(295)에 의해 파지될 수 있는 조리 도구로서 뒤지개(410a), 국자(410b) 및 거품기(410c)가 예시된다. 하지만, 이에 한정되는 것은 아니며, 칼, 주걱, 집게, 젓가락, 스푼, 포터필터, 템퍼, 핸드믹서 등 다양한 용도의 다양한 도구들이 엔드 이펙터(295)에 의해 파지될 수 있다.
실시예에서, 조리 도구에는 식별자(420)가 형성될 수 있다. 식별자(420)는 조리 도구의 손잡이(grip)의 표면 상에 형성될 수 있다. 식별자(420)는 엔드 이펙터(295)에 의해 파지되는 조리 도구의 손잡이 상의 위치에 형성될 수 있다. 예를 들어, 도 4에 도시된 바와 같이, 뒤지개(410a), 국자(410b) 및 거품기(410c)의 손잡이의 하나 이상의 표면들에 식별자(420)가 형성될 수 있다.
식별자(420)는 촉각에 의해 그 패턴이 특징지어질 수 있는 각인된 정보를 포함할 수 있다. 식별자(420)는 돌출된 부분 또는 함몰된 부분을 갖는 점자, 활자, 각인, 마커 또는 바코드를 포함할 수 있다. 예를 들어, 도 4에 도시된 바와 같이, 식별자(420)는 돌출된 부분 또는 함몰된 부분을 갖는 점자(420a), 활자(420b) 및 마커(420c)를 포함할 수 있다. 실시예에서, 점자(420a), 활자(420b) 및 마커(420c)에서 흰 부분은 손잡이의 표면과 연속적이고 빗금친 부분은 그로부터 돌출된 부분을 나타낼 수 있다. 다른 실시예에서, 점자(420a), 활자(420b) 및 마커(420c)의 빗금친 부분은 손잡이의 표면과 연속적이고 흰 부분은 그로부터 함몰된 부분을 나타낼 수 있다. 다시 말해, 식별자(420)의 각인된 정보는 양각 또는 음각에 의해 형성될 수 있다.
통신부(210)는 유무선 통신 기술을 이용하여 서버(120) 또는 단말기(130) 등의 외부 장치들과 정보 또는 데이터를 송수신할 수 있다. 통신부(210)는 외부 장치들과 센서 정보, 사용자 입력, 학습 모델, 제어 신호 등을 송수신할 수 있다. 통신부(210)는 수신기, 송신기 또는 송수신기 등 데이터 송수신을 위한 통신기를 포함할 수 있다.
통신부(210)는 GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced), WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), 블루투스(Bluetooth??), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), ZigBee, NFC(Near Field Communication), 가시광 통신(Visible Lignt Communication), Li-Fi(Light Fidelity) 등과 같은 통신 기술을 이용할 수 있다.
통신부(210)는 5G 통신 네트워크를 이용할 수 있다. 통신부(210)는 eMBB(Enhanced Mobile Broadband), URLLC(Ultra-reliable and low latency communications) 및 mMTC(Massive Machine-type communications) 중 적어도 하나의 서비스를 이용하여 서버(120) 및 단말기(130) 등의 외부 장치들과 통신할 수 있다.
eMBB(Enhanced Mobile Broadband)는 모바일 브로드밴드 서비스이다. eMBB에 의해 멀티미디어 콘텐츠, 무선데이터 액세스 등이 제공된다. 폭발적으로 증가하는 모바일 트래픽을 수용하기 위한 핫스팟(hot spot)과 광대역 커버리지 등 보다 향상된 모바일 서비스가 eMBB를 통해 제공될 수 있다. 핫스팟을 통해 사용자 이동성이 작고 밀도가 높은 지역으로 대용량 트래픽이 수용될 수 있다. 광대역 커버리지를 통해 넓고 안정적인 무선 환경과 사용자 이동성이 보장될 수 있다.
URLLC(Ultra-reliable and low latency communications) 서비스는 데이터 송수신의 신뢰성과 전송 지연 측면에서 기존 LTE 보다 훨씬 엄격한 요구사항을 정의한다. 이러한 서비스에 의해, 산업 현장의 생산 프로세스 자동화, 원격 진료, 원격 수술, 운송, 안전 등을 위한 5G 서비스가 제공될 수 있다.
mMTC(Massive Machine-type communications)는 비교적 작은 양의 데이터 전송이 요구되는 전송지연에 민감하지 않은 서비스이다. mMTC에 의해 기존보다 훨씬 더 많은 수의 단말들이 동시에 무선 액세스 네트워크에 접속할 수 있다.
실시예에서, 통신부(210)는 서버(120) 또는 단말기(130)로부터 조리 명령을 수신할 수 있다. 조리 명령은 특정 음식을 조리하기 위한 동작들의 일부 또는 전부를 수행하라는 명령을 포함할 수 있다.
입력부(220)는 다양한 종류의 데이터를 획득할 수 있다. 입력부(220)는 정지영상(이미지) 또는 동영상을 포함하는 영상 신호를 획득하기 위한 적어도 하나의 카메라, 오디오 신호를 획득하기 위한 마이크로폰 및 사용자로부터 정보를 입력 받기 위한 사용자 인터페이스 등을 포함할 수 있다.
실시예에서, 입력부(220)는 사용자 인터페이스를 통해 전술한 조리 명령을 입력받을 수 있다. 즉, 조리 명령은 입력부(220)를 통해 제공될 수도 있다.
입력부(220)는 인공 신경망을 학습시키기 위한 학습 데이터 및 학습 모델을 이용하여 출력을 획득할 때 사용될 입력 데이터 등을 획득할 수 있다. 입력부(220)는 가공되지 않은 입력 데이터를 획득할 수도 있으며, 이 경우 프로세서(270) 또는 러닝 프로세서(260)는 입력 데이터에 대하여 전처리로써 입력 특징점(input feature)을 추출할 수 있다.
센싱부(230)는 촉각 센서(235)를 포함할 수 있다. 촉각 센서(235)는 엔드 이펙터(295)에 의해 파지되는 조리 도구에 형성된 식별자에 대한 촉각 정보를 생성할 수 있다. 식별자는 촉각에 의해 그 패턴이 특징지어질 수 있는 점자, 활자, 각인 등을 포함할 수 있다. 촉각 센서(235)는 생성된 촉각 정보를 프로세서(270)에 전달한다. 촉각 정보는 촉각 센서(235)에 의해 측정되는 압력 또는 힘의 공간적 분포를 나타내는 3차원 촉각 이미지를 포함할 수 있다. 촉각 센서(235)는 촉각 이미징(tacile imaging) 및 전자 피부(electonic skin) 등 다양한 촉각 인식 기술을 활용한 다양한 형태 및/또는 방식의 센서들을 포함할 수 있다. 촉각 센서(235)는 조리 도구가 파지되는 엔드 이펙터(295) 상의 일 위치에 배치될 수 있다.
센싱부(230)는 이미지 센서를 포함할 수 있다. 이미지 센서는 엔드 이펙터(295)에 의해 파지될 조리 도구를 식별하는데 사용될 수 있다. 일부 실시예에서, 이미지 센서는 조리 도구에 형성된 식별자에 대한 이미지 정보를 생성할 수 있다. 이 경우, 식별자는 시각적으로 그 패턴이 특징지어질 수 있는 바코드 등을 포함할 수 있다. 이미지 센서는 통상의 기술자에게 알려진 다양한 형태 및/또는 방식의 이미지 센서들을 포함할 수 있다. 이미지 센서는 조리 도구 또는 조리 도구의 식별자를 식별할 수 있는 엔드 이펙터(295) 또는 로봇 팔의 일 위치에 배치될 수 있다.
센싱부(230)는 기타 다양한 센서들을 이용하여 로봇(200)의 내부 정보, 주변 환경 정보 및 사용자 정보 중 적어도 하나를 획득할 수 있다. 센싱부(230)는 가속도 센서, 자기 센서, 자이로 센서, 관성 센서, 근접 센서, 조도 센서, 습도 센서, 지문 인식 센서, 초음파 센서, 마이크로폰, 라이다, 레이더 및 이들의 임의의 조합들 등을 포함할 수 있다.
센싱부(230)에 의해 획득되는 센서 데이터는 로봇(200)이 조리 명령에 따라 자율적으로 조리를 수행하는데 적어도 부분적으로 사용될 수 있다. 일 양상에서, 센서 데이터는 로봇(200)의 자율 주행 또는 자율 보행을 위해 사용될 수 있다. 다른 양상에서, 센서 데이터는 로봇(200)이 주변의 조리 도구 또는 조리 기기 등을 식별하고, 엔드 이펙터(295)에 의한 파지 위치를 결정하는데 사용될 수 있다.
구동부(240)는 로봇(200)을 물리적으로 구동한다. 구동부(240)는 프로세서(270)로부터의 제어 신호에 따라 동작하는 액츄에이터 또는 모터를 포함할 수 있다. 구동부(240)는 프로세서(270)로부터의 제어 신호에 따라 로봇 팔 및/또는 엔드 이펙터(295)를 3차원 이동 시키거나 회전시킬 수 있다. 또한, 구동부(240)는 프로세서(270)로부터의 제어 신호에 따라 로봇(200)의 주행을 위한 휠, 브레이크, 프로펠러 또는 로봇(200)의 보행을 위한 로봇 다리, 발 등을 구동할 수 있다.
출력부(250)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시킬 수 있다. 출력부(250)는 시각 정보를 출력하는 디스플레이부, 청각 정보를 출력하는 스피커 및 촉각 정보를 출력하는 햅틱 모듈 등을 포함할 수 있다.
저장부(280)는 로봇(200)의 다양한 기능을 지원하는 데이터를 저장할 수 있다. 저장부(280)는 통신부(210)에 의해 수신된 정보 또는 데이터, 입력부(220)에 의해 획득된 입력 정보, 입력 데이터, 학습 데이터, 학습 모델, 및 학습 히스토리 등을 저장할 수 있다. 저장부(280)는 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터들 또는 하드디스크 등을 포함할 수 있다.
저장부(280)는 로봇(200)에 의해 수행될 수 있는 조리 동작들에 대한 조리 정보 및 로봇(200)에 의해 사용될 수 있는 조리 도구에 대한 조리 도구 정보를 저장할 수 있다. 조리 정보는 로봇(200)에 의해 조리될 수 있는 음식들에 관한 정보, 음식들 각각을 조리하기 위한 세부 조리 동작들, 조리 동작들에서 사용되는 조리 도구에 관한 정보 등을 포함할 수 있다. 조리 도구 정보는 조리 도구들에 대응하는 식별자들의 템플릿 촉각 이미지들, 조리 도구들의 현재 위치에 관한 정보, 및 조리 도구들의 기준 자세 등을 포함할 수 있다. 이러한 템플릿 촉각 이미지들은 촉각 센서(235)에 의해 획득되는 촉각 정보 및/또는 촉각 이미지와 비교될 수 있다. 조리 정보 및 조리 도구 정보는 서버(120) 또는 단말기(130) 등으로부터 미리 수집되어 저장부(280)에 저장될 수 있고, 주기적으로 업데이트될 수 있다.
프로세서(270)는 데이터 분석 알고리즘 또는 머신 러닝 알고리즘을 사용하여 결정되거나 생성된 정보에 기초하여, 로봇(200)의 적어도 하나의 실행 가능한 동작을 결정할 수 있다. 그리고, 프로세서(270)는 로봇(200)의 구성요소들을 제어하여 결정된 동작을 수행할 수 있다.
프로세서(270)는 러닝 프로세서(260) 또는 저장부(280)의 정보 또는 데이터를 요청, 검색, 수신 또는 활용할 수 있고, 상기 적어도 하나의 실행 가능한 동작 중 예측되는 동작이나, 바람직한 것으로 판단되는 동작을 실행하도록 로봇(200)의 구성요소들을 제어할 수 있다. 프로세서(270)는 결정된 동작을 수행하기 위해 서버(120) 및 단말기(130) 등의 외부 장치와의 연계가 필요한 경우, 해당 외부 장치를 제어하기 위한 제어 신호를 생성하고, 생성한 제어 신호를 해당 외부 장치에 송신할 수 있다.
프로세서(270)는 저장부(280)에 저장된 응용 프로그램을 구동하기 위하여, 로봇(200)의 구성요소들 중 적어도 일부를 제어할 수 있다. 나아가, 프로세서(270)는 상기 응용 프로그램의 구동을 위하여, 로봇(200)에 포함된 구성요소들 중 둘 이상을 서로 조합하여 동작시킬 수 있다.
프로세서(270)는, 예를 들어, 모바일 프로세서(Mobile Processor), 애플리케이션 프로세서(Application Processor; AP), 마이크로프로세서, 중앙처리장치(Central Processing Unit; CPU), 그래픽 프로세싱 유닛(Graphic Processing Unit; GPU), 신경 프로세싱 유닛(Neural Processing Unit; NPU), 프로세서 코어, 멀티프로세서, 주문형 집적회로(Application-Specific Integrated Circuit; ASIC), 또는 필드 프로그래머블 게이트 어레이(Field Programmable Gate Array; FPGA) 중 하나 이상을 포함할 수 있으나, 이에 한정되는 것은 아니다.
도 5는 본 발명의 일 실시예에 따른 파지 위치의 결정을 설명하기 위한 도면이다. 도 6은 본 발명의 일 실시예에 따른 엔드 이펙터의 자세 보정을 설명하기 위한 도면이다. 이하, 도 5 및 도 6을 참조하여 프로세서(270)의 동작이 설명된다.
프로세서(270)는 통신부(210) 또는 입력부(220)로부터 수신되는 조리 명령에 따라 조리 동작을 수행하도록 구동부(240)를 제어할 수 있다. 조리 동작 중에 조리 도구의 사용이 필요한 경우, 프로세서(270)는 로봇 팔 및/또는 엔드 이펙터(295)를 3차원 이동 및 회전시켜 조리 도구를 파지하게 할 수 있다.
실시예에서, 프로세서(270)는 저장부(280)에 저장된 조리 도구들의 현재 위치를 참조하여, 사용할 조리 도구를 향해 로봇 팔 및/또는 엔드 이펙터(295)를 이동시킬 수 있다. 조리 공간 내에서의 조리 도구들의 초기 기준 위치가 사전에 정의될 수 있고, 프로세서(270)는 조리 동작에 걸쳐 조리 도구들의 위치를 계속 추적할 수 있다. 따라서, 프로세서(270)는 사용할 조리 도구, 보다 상세하게는 사용할 조리 도구의 손잡이의 위치 좌표를 참조하여 엔드 이펙터(295)로 하여금 해당 조리 도구를 파지하게 할 수 있다. 일부 실시예에서, 이미지 센서로부터의 센서 데이터가 조리 도구의 식별 및 파지를 보조하기 위해 사용될 수 있다.
다른 실시예에서, 프로세서(270)는 이미지 센서로부터의 센서 데이터에 기초하여 조리 도구를 식별하고, 식별된 조리 도구의 파지 위치를 결정하고, 결정된 파지 위치로 엔드 이펙터(295)를 이동시킬 수 있다. 도 5에는 조리 도구의 일 예로 템퍼(510)가 도시되어 있다. 프로세서(270)는 이미지 센서에 의해 템퍼(510)가 식별되면, 식별된 템퍼(510)의 파지 위치를 결정할 수 있다. 실시예에서, 도 5에 도시되니 바와 같이, 프로세서(270)는 다수의 후보 위치(520a, 520b, 520c) 중 식별자(520)가 형성된 위치(520a)를 파지 위치로 결정할 수 있다.
조리 도구가 엔드 이펙터(295)에 의해 파지되면, 엔드 이펙터(295)에 배치된 촉각 센서(235)에 의해 조리 도구에 형성된 식별자에 대한 촉각 정보가 생성될 수 있다. 프로세서(270)는 촉각 센서(235)로부터 수신되는 촉각 정보에 기초하여 조리 도구의 종류 또는 파지된 자세 중 적어도 하나를 결정할 수 있다.
실시예에서, 촉각 정보는 촉각 센서(235)에 의해 측정되는 압력 또는 힘의 공간적 분포를 나타내는 3차원 촉각 이미지를 포함할 수 있다. 프로세서(270)는 촉각 센서(235)로부터 수신되는 3차원 촉각 이미지를 2차원 촉각 이미지로 변환할 수 있다. 이러한 변환은 미리 정의된 변환 매트릭스를 활용하여 이루어질 수 있다. 실시예에서, 변환된 2차원 촉각 이미지는 3차원 촉각 이미지의 공간적 높낮이에 대응하는 값 또는 색상을 나타내는 복수의 픽셀들 또는 픽셀들의 그룹을 포함할 수 있다.
프로세서(270)는 변환된 2차원 촉각 이미지를 저장부(280)에 미리 저장된 식별자들의 템플릿 촉각 이미지들과 비교할 수 있다. 프로세서(270)는 비교 결과에 기초하여 파지된 조리 도구의 종류 및/또는 자세를 결정할 수 있다.
프로세서(270)는 변환된 2차원 촉각 이미지로부터 특징점들 또는 윤곽선을 추출하고, 추출된 특징점들 또는 윤곽선에 기초하여, 매칭하는 템플릿 촉각 이미지 또는 가장 유사도가 높은 템플릿 촉각 이미지를 결정할 수 있다. 프로세서(270)는 변환된 2차원 촉각 이미지 또는 템플릿 촉각 이미지들을 적절히 회전시키면서 매칭하는 촉각 이미지를 결정할 수 있다. 프로세서(270)는 결정된 템플릿 촉각 이미지에 대응하는 조리 도구를 엔드 이펙터(295)에 의해 파지된 조리 도구로서 결정할 수 있다.
프로세서(270)는 변환된 2차원 촉각 이미지 및 매칭하는 템플릿 촉각 이미지의 특징점들의 좌표들을 비교하는 것에 기초하여, 조리 도구의 파지된 자세를 결정할 수 있다. 특징점들의 좌표는 특정 평면 상의 2차원 좌표일 수 있지만, 특정 공간 상의 3차원 좌표일 수도 있다. 조리 도구의 파지된 자세는 엔드 이펙터(295)에 대한 조리 도구의 파지 각도를 나타낼 수 있다. 이러한 파지 각도는 엔드 이펙터(295)에 대해 조리 도구가 상하 방향으로 회전한 각도, 엔드 이펙터(295)에 대해 조리 도구가 좌우 방향으로 회전한 각도 또는 이들의 조합을 포함할 수 있다.
프로세서(270)는 조리 도구의 파지된 자세를 기준 자세와 비교하는 것에 기초하여 엔드 이펙터(295)의 자세를 보정할 수 있다. 도 6a는 엔드 이펙터(610)에 대한 조리 도구(620)의 기준 자세를 도시하고, 도 6b는 도 6b는 엔드 이펙터(610)에 의해 조리 도구(620)가 파지된 일 예를 도시한다. 도 6a 및 도 6b를 참조하여 엔드 이펙터(610)의 자세 보정이 설명된다.
기준 자세는 엔드 이펙터(610)에 의해 조리 도구(620)가 올바르게 파지된 상태에서 엔드 이펙터(610)에 대한 조리 도구(620)의 상대적인 포지션을 나타낼 수 있다. 실시예에서, 기준 자세는 엔드 이펙터(610)와 조리 도구(620)의 정상 파지 각도로서 표현될 수 있다. 정상 파지 각도는 엔드 이펙터(610)에 대해 조리 도구(620)가 상하 방향으로 회전된 특정 각도를 나타낼 수 있다. 엔드 이펙터(295)에 대해 조리 도구가 좌우 방향으로 회전되는 경우는 올바르게 파지된 상태로 볼 수 없을 것이다.
도 6a을 참조하면, 기준 자세는 조리 도구(620)가 엔드 이펙터(610)에 대해 상하 방향으로 정상 파지 각도(θr)만큼 회전된 상태로서 정의될 수 있다. 기준 자세의 정상 파지 각도는 다양하게 정의될 수 있다. 예를 들어, 엔드 이펙터(610)가 조리 도구(620)를 수평 방향으로 파지하는 경우를 기준 자세로 정의하면 정상 파지 각도(θr)는 0도일 수 있다. 엔드 이펙터(610)가 조리 도구(620)를 수직 방향으로 파지하는 경우를 기준 자세로 정의하면 정상 파지 각도(θr)는 90도일 수 있다. 이러한 기준 자세 및 정상 파지 각도(θr)는 모든 조리 도구들에 대해 동일하게 설정될 수 있지만, 조리 도구별로 상이하게 설정될 수도 있다.
도 6b를 참조하면, 프로세서(270)는 조리 도구(620)의 식별자(620a)에 대한 2차원 촉각 이미지 및 템플릿 촉각 이미지의 특징점들 또는 윤곽선을 비교함으로써 조리 도구(620)의 파지된 자세를 결정할 수 있다. 구체적으로, 프로세서(270)는 엔드 이펙터(610)에 대한 조리 도구(620)의 파지 각도(θ’)를 결정할 수 있다. 프로세서(270)는 결정된 파지 각도(θ’)를 도 6a에 도시된 기준 자세의 정상 파지 각도(θr)와 비교하는 것에 기초하여 엔드 이펙터(610)의 자세를 보정할 수 있다. 예를 들어, 도 6b의 조리 도구(620)는 기준 자세에 비해 (θr-θ’)의 각도만큼 아래 방향으로 기울어져 있다. 따라서, 프로세서(270)는 (θr-θ’)의 각도만큼 엔드 이펙터(610)를 반대 방향으로 회전시킬 수 있다. 이러한 보정에 의해 조리 도구(620)의 실질적인 포지션은 기준 자세에서의 조리 도구(620)의 포지션과 동일해질 수 있다. 이처럼 위치 보정된 조리 도구를 사용하여 후속 조리 동작을 수행할 수 있으므로, 작업의 정확성이 개선될 수 있다.
도 7은 본 발명의 일 실시예에 따른 로봇의 동작 방법을 도시한 순서도이다. 도 7에 도시된 방법은 도 2의 로봇(200), 보다 구체적으로는 로봇(200)의 프로세서(270)에 의해 수행될 수 있다.
단계 S710에서, 로봇(200)은 도구를 식별할 수 있다. 실시예에서, 로봇(200)은 이미지 센서로부터의 센서 데이터에 기초하여 파지할 도구를 식별할 수 있다.
단계 S720에서, 로봇(200)은 식별된 도구의 파지 위치를 결정할 수 있다.
단계 S730에서, 로봇(200)은 결정된 파지 위치로 엔드 이펙터를 이동시켜 도구를 파지할 수 있다.
한편, 전술한 바와 같이, 공간 내 도구들의 초기 기준 위치가 사전에 정의될 수 있고, 동작에 걸쳐 도구들의 위치가 계속 추적될 수 있다. 이 경우, 단계 S710 내지 S730은 수행되지 않을 수 있다. 대신에, 로봇(200)은 파지할 도구의 손잡이의 위치 좌표로 엔드 이펙터를 이동시켜 도구를 파지할 수 있다. 이 경우, 이미지 센서로부터의 센서 데이터는 도구의 식별 및 파지를 보조하기 위해 선택적으로 사용될 수 있다.
단계 S740에서, 로봇(200)은 엔드 이펙터에 배치된 촉각 센서로부터 도구에 형성된 식별자에 대한 촉각 정보를 수신한다. 촉각 정보는 촉각 센서에 의해 측정되는 압력 또는 힘의 공간적 분포를 나타내는 3차원 촉각 이미지를 포함할 수 있다. 식별자는 촉각에 의해 패턴이 특징지어질 수 있는 각인된 정보를 포함할 수 있다. 각인된 정보는 적어도 일부 영역이 돌출되거나 함몰된 점자, 활자, 각인, 마커 또는 바코드를 포함할 수 있다.
단계 S750에서, 로봇(200)은 수신된 촉각 정보에 기초하여 엔드 이펙터에 의해 파지된 도구의 종류 또는 자세 중 적어도 하나를 결정할 수 있다. 실시예에서, 로봇(200)은 3차원 촉각 이미지를 2차원 촉각 이미지로 변환하고, 변환된 2차원 촉각 이미지를 식별자들의 템플릿 촉각 이미지들과 비교하는 것에 기초하여 도구의 종류 또는 자세를 결정할 수 있다. 로봇(200)은 2차원 촉각 이미지와 매칭하는 템플릿 촉각 이미지에 기초하여 도구의 종류를 결정할 수 있다. 또한, 로봇(200)은 2차원 촉각 이미지 및 매칭하는 템플릿 촉각 이미지의 특징점들의 좌표들을 비교하는 것에 기초하여 도구의 파지된 자세를 결정할 수 있다.
단계 S760에서, 로봇(200)은 결정된 도구의 자세를 기준 자세와 비교하는 것에 기초하여 엔드 이펙터의 자세를 보정할 수 있다. 실시예에서, 로봇(200)은 도구의 파지 각도와 기준 자세의 정상 파지 각도 간의 차이만큼 엔드 이펙터를 반대로 회전시킬 수 있다.
한편, 도 2를 다시 참조하면, 실시예에서, 로봇(200)은 인공 지능 및/또는 머신 러닝에 관한 동작을 수행하기 위해 러닝 프로세서(260)를 더 포함할 수 있다.
인공 지능은 인공적인 지능 또는 이를 만들 수 있는 방법론을 연구하는 분야를 의미하며, 머신 러닝(기계 학습, Machine Learning)은 인공 지능 분야에서 다루는 다양한 문제를 정의하고 그것을 해결하는 방법론을 연구하는 분야를 의미한다. 머신 러닝은 어떠한 작업에 대하여 꾸준한 경험을 통해 그 작업에 대한 성능을 높이는 알고리즘으로 정의하기도 한다.
인공 신경망(ANN: Artificial Neural Network)은 머신 러닝에서 사용되는 모델로써, 시냅스의 결합으로 네트워크를 형성한 인공 뉴런(노드)들로 구성되는, 문제 해결 능력을 가지는 모델 전반을 의미할 수 있다. 인공 신경망은 다른 레이어의 뉴런들 사이의 연결 패턴, 모델 파라미터를 갱신하는 학습 과정, 출력값을 생성하는 활성화 함수(Activation Function)에 의해 정의될 수 있다.
인공 신경망은 입력층(Input Layer), 출력층(Output Layer), 그리고 선택적으로 하나 이상의 은닉층(Hidden Layer)을 포함할 수 있다. 각 층은 하나 이상의 뉴런을 포함하고, 인공 신경망은 뉴런과 뉴런을 연결하는 시냅스를 포함할 수 있다. 인공 신경망에서 각 뉴런은 시냅스를 통해 입력되는 입력 신호들, 가중치, 편향에 대한 활성 함수의 함숫값을 출력할 수 있다.
모델 파라미터는 학습을 통해 결정되는 파라미터를 의미하며, 시냅스 연결의 가중치와 뉴런의 편향 등이 포함된다. 그리고, 하이퍼파라미터는 머신 러닝 알고리즘에서 학습 전에 설정되어야 하는 파라미터를 의미하며, 학습률(Learning Rate), 반복 횟수, 미니 배치 크기, 초기화 함수 등이 포함된다.
인공 신경망의 학습의 목적은 손실 함수를 최소화하는 모델 파라미터를 결정하는 것으로 볼 수 있다. 손실 함수는 인공 신경망의 학습 과정에서 최적의 모델 파라미터를 결정하기 위한 지표로 이용될 수 있다.
머신 러닝은 학습 방식에 따라 지도 학습(Supervised Learning), 비지도 학습(Unsupervised Learning), 강화 학습(Reinforcement Learning)으로 분류할 수 있다.
지도 학습은 학습 데이터에 대한 레이블(label)이 주어진 상태에서 인공 신경망을 학습시키는 방법을 의미하며, 레이블이란 학습 데이터가 인공 신경망에 입력되는 경우 인공 신경망이 추론해 내야 하는 정답(또는 결과 값)을 의미할 수 있다. 비지도 학습은 학습 데이터에 대한 레이블이 주어지지 않는 상태에서 인공 신경망을 학습시키는 방법을 의미할 수 있다. 강화 학습은 어떤 환경 안에서 정의된 에이전트가 각 상태에서 누적 보상을 최대화하는 행동 혹은 행동 순서를 선택하도록 학습시키는 학습 방법을 의미할 수 있다.
인공 신경망 중에서 복수의 은닉층을 포함하는 심층 신경망(DNN: Deep Neural Network)으로 구현되는 머신 러닝을 딥 러닝(심층 학습, Deep Learning)이라 부르기도 하며, 딥 러닝은 머신 러닝의 일부이다. 이하에서, 머신 러닝은 딥 러닝을 포함하는 의미로 사용된다.
러닝 프로세서(260)는 학습 데이터를 이용하여 인공 신경망으로 구성된 모델을 학습시킬 수 있다. 여기서, 학습된 인공 신경망을 학습 모델이라 칭할 수 있다. 학습 모델은 학습 데이터가 아닌 새로운 입력 데이터에 대하여 결과 값을 추론해 내는데 사용될 수 있고, 추론된 값은 어떠한 동작을 수행하기 위한 판단의 기초로 이용될 수 있다.
러닝 프로세서(260)는 조리 도구들의 식별자에 대한 촉각 정보 또는 이미지 정보를 학습 데이터로서 사용하여 인공 신경망을 학습시킬 수 있다.
실시예에서, 러닝 프로세서(260)는 조리 도구들의 식별자에 대한 촉각 정보의 다양한 패턴들과 식별자들의 템플릿 촉각 이미지들을 학습 데이터로서 사용하여 그에 대응하는 조리 도구의 종류 및 자세를 출력하도록 인공 신경망을 학습시킬 수 있다.
실시예예서, 러닝 프로세서(260)는 조리 도구들의 식별자에 대한 촉각 정보를 상기 인공 신경망에 기반한 학습 모델에 대한 입력 데이터로 사용하여 해당 조리 도구의 종류 또는 자세를 결정할 수 있다. 인공신경망에 기반하여 결정된 도구의 자세는 도 7의 방법에 의해 결정된 도구의 자세를 보정하는데 사용될 수 있다.
러닝 프로세서(260)는 도 8의 AI 서버(820)의 러닝 프로세서(825)와 함께 인공 지능 및/또는 머신 러닝 프로세싱을 수행할 수 있다. 러닝 프로세서(260)는 로봇(200)에 통합되거나 구현된 메모리를 포함할 수 있다. 또는, 러닝 프로세서(260)는 저장부(280), 로봇(200)에 직접 결합된 외부 메모리 또는 외부 장치에서 유지되는 메모리를 사용하여 구현될 수도 있다.
도 8은 본 발명의 또 다른 실시예에 따른 로봇 시스템을 도시한 도면이다. 실시예에서, 로봇 시스템은 인공 지능 및/또는 머신 러닝이 가능한 AI 시스템으로서 구현될 수 있다. 도 8을 참조하면, 본 발명의 다른 실시예에 따른 로봇 시스템은 AI 장치(810) 및 AI 서버(820)를 포함할 수 있다.
실시예에서, AI 장치(810)는 도 1의 로봇(110), 서버(120), 단말기(130) 또는 도 2의 로봇(200)일 수 있다. AI 서버(820)는 도 1의 서버(120) 일 수 있다.
AI 서버(820)는 머신 러닝 알고리즘을 이용하여 인공 신경망을 학습시키거나 학습된 인공 신경망을 이용하는 장치를 나타낼 수 있다. AI 서버(820)는 복수의 서버들로 구성되어 분산 처리를 수행할 수 있다. AI 서버(820)는 AI 장치(810)의 일부의 구성으로 포함되어, 인공 지능 및/또는 머신 러닝 프로세싱 중 적어도 일부를 함께 수행할 수도 있다.
AI 서버(820)는 통신부(821), 메모리(822), 러닝 프로세서(825) 및 프로세서(826) 등을 포함할 수 있다.
통신부(821)는 AI 장치(810) 등의 외부 장치와 데이터를 송수신할 수 있다.
메모리(822)는 모델 저장부(823)를 포함할 수 있다. 모델 저장부(823)는 러닝 프로세서(825)를 통하여 학습 중인 또는 학습된 모델(또는 인공 신경망, 823a)을 저장할 수 있다.
러닝 프로세서(825)는 학습 데이터를 이용하여 인공 신경망(823a)을 학습시킬 수 있다. 학습 모델은 인공 신경망의 AI 서버(820)에 탑재된 상태에서 이용되거나, AI 장치(810) 등의 외부 장치에 탑재되어 이용될 수도 있다.
학습 모델은 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있다. 학습 모델의 일부 또는 전부가 소프트웨어로 구현되는 경우 학습 모델을 구성하는 하나 이상의 명령어(instruction)는 메모리(822)에 저장될 수 있다.
프로세서(826)는 학습 모델을 이용하여 새로운 입력 데이터에 대하여 결과 값을 추론하고, 추론한 결과 값에 기초한 응답이나 제어 명령을 생성할 수 있다.
이상 설명된 본 발명에 따른 실시예는 컴퓨터 상에서 다양한 구성요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 이와 같은 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이때, 매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.
한편, 상기 컴퓨터 프로그램은 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.
본 발명의 명세서(특히 특허청구범위에서)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다.
본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.
110, 200: 로봇 120: 서버
130: 단말기 140: 네트워크
210: 통신부 220: 입력부
230: 센싱부 235: 촉각 센서
240: 구동부 250: 출력부
260: 러닝 프로세서 270: 프로세서
280: 저장부 295: 엔드 이펙터

Claims (20)

  1. 로봇으로서,
    도구를 파지하기 위한 엔드 이펙터(end-effector);
    상기 엔드 이펙터에 배치되어 상기 도구에 형성된 식별자에 대한 촉각 정보를 생성하기 위한 촉각 센서; 및
    상기 엔드 이펙터로 하여금 상기 도구를 파지하게 하고, 그리고 상기 촉각 센서로부터 수신되는 상기 촉각 정보에 기초하여 상기 엔드 이펙터에 의해 파지되는 상기 도구의 종류 또는 자세 중 적어도 하나를 결정하도록 구성되는 프로세서를 포함하는, 로봇.
  2. 제1항에 있어서,
    상기 촉각 정보는 3차원 촉각 이미지를 포함하는, 로봇.
  3. 제2항에 있어서,
    상기 프로세서는,
    상기 3차원 촉각 이미지를 2차원 촉각 이미지로 변환하고, 그리고
    변환된 2차원 촉각 이미지를 식별자들의 템플릿 촉각 이미지들과 비교하는 것에 기초하여 상기 도구의 종류 또는 자세를 결정하는, 로봇.
  4. 제3항에 있어서,
    상기 변환된 2차원 촉각 이미지는 상기 3차원 촉각 이미지의 공간적 높낮이에 대응하는 값 또는 색상을 나타내는 복수의 픽셀들 또는 픽셀들의 그룹들을 포함하는, 로봇.
  5. 제3항에 있어서,
    상기 프로세서는,
    상기 2차원 촉각 이미지와 매칭하는 템플릿 촉각 이미지에 기초하여 상기 도구의 종류를 결정하는, 로봇.
  6. 제5항에 있어서,
    상기 프로세서는,
    상기 2차원 촉각 이미지 및 상기 매칭하는 템플릿 촉각 이미지의 특징점들의 좌표들을 비교하는 것에 기초하여, 상기 도구의 파지된 자세를 결정하는, 로봇.
  7. 제6항에 있어서,
    상기 프로세서는,
    상기 도구의 파지된 자세를 기준 자세와 비교하는 것에 기초하여 상기 엔드 이펙터의 자세를 보정하는, 로봇.
  8. 제7항에 있어서,
    상기 프로세서는,
    상기 기준 자세의 정상 파지 각도와 상기 도구의 파지 각도 간의 차이를 보상하도록 상기 엔드 이펙터를 회전시키는, 로봇.
  9. 제1항에 있어서,
    상기 식별자는 촉각에 의해 패턴이 특징지어질 수 있는 각인된 정보를 포함하고, 상기 각인된 정보는 적어도 일부 영역이 돌출되거나 함몰된 점자, 활자, 각인, 마커 또는 바코드 중 적어도 하나를 포함하는, 로봇.
  10. 제1항에 있어서,
    상기 도구의 위치 정보를 저장하는 메모리를 더 포함하고,
    상기 프로세서는,
    상기 도구의 위치 정보에 기초하여 상기 엔드 이펙터로 하여금 상기 도구를 파지하게 하는, 로봇.
  11. 제1항에 있어서,
    이미지 센서를 더 포함하고,
    상기 프로세서는,
    상기 이미지 센서로부터의 센서 데이터에 기초하여 상기 도구를 식별하고, 식별된 도구의 파지 위치를 결정하고, 그리고 결정된 파지 위치에 기초하여 상기 엔드 이펙터로 하여금 상기 도구를 파지하게 하는, 로봇.
  12. 로봇의 제어 방법으로서,
    엔드 이펙터로 도구를 파지하는 단계;
    상기 엔드 이펙터에 배치된 촉각 센서로부터 상기 도구에 형성된 식별자에 대한 촉각 정보를 수신하는 단계; 및
    수신된 촉각 정보에 기초하여, 상기 엔드 이펙터에 의해 파지되는 상기 도구의 종류 또는 자세 중 적어도 하나를 결정하는 단계를 포함하는, 방법.
  13. 제12항에 있어서,
    상기 촉각 정보는 3차원 촉각 이미지를 포함하는, 방법.
  14. 제12항에 있어서,
    상기 엔드 이펙터에 의해 파지되는 상기 도구의 종류 또는 자세 중 적어도 하나를 결정하는 단계는,
    상기 3차원 촉각 이미지를 2차원 촉각 이미지로 변환하는 단계; 및
    변환된 2차원 촉각 이미지를 식별자들의 템플릿 촉각 이미지들과 비교하는 단계;
    상기 비교에 기초하여 상기 도구의 종류 또는 자세를 결정하는 단계를 포함하는, 방법.
  15. 제14항에 있어서,
    상기 도구의 종류 또는 자세를 결정하는 단계는,
    상기 2차원 촉각 이미지와 매칭하는 템플릿 촉각 이미지에 기초하여 상기 도구의 종류를 결정하는 단계를 포함하는, 방법.
  16. 제14항에 있어서,
    상기 도구의 종류 또는 자세를 결정하는 단계는,
    상기 2차원 촉각 이미지 및 상기 매칭하는 템플릿 촉각 이미지의 특징점들의 좌표들을 비교하는 것에 기초하여 상기 도구의 파지된 자세를 결정하는 단계를 포함하는, 방법.
  17. 제16항에 있어서,
    상기 도구의 파지된 자세를 기준 자세와 비교하는 것에 기초하여 상기 엔드 이펙터의 자세를 보정하는 단계를 더 포함하는, 방법.
  18. 제17항에 있어서,
    상기 엔드 이펙터의 자세를 보정하는 단계는,
    상기 기준 자세의 정상 파지 각도와 상기 도구의 파지 각도 간의 차이를 보상하도록 상기 엔드 이펙터를 회전시키는 단계를 포함하는, 방법.
  19. 제12항에 있어서,
    상기 엔드 이펙터로 상기 도구를 파지하는 단계는,
    이미지 센서로부터의 센서 데이터에 기초하여 상기 도구를 식별하는 단계;
    식별된 도구의 파지 위치를 결정하는 단계; 및
    결정된 파지 위치로 상기 엔드 이펙터를 이동시켜 상기 도구를 파지하는 단계를 포함하는, 방법.
  20. 제12항에 있어서,
    인공 신경망에 기반한 학습 모델을 이용하여 상기 수신된 촉각 정보를 분석하는 것에 기초하여, 상기 결정된 도구의 자세를 보정하는 단계를 더 포함하는, 방법.
KR1020190152736A 2019-11-25 2019-11-25 로봇 및 그 제어 방법 KR20210063975A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190152736A KR20210063975A (ko) 2019-11-25 2019-11-25 로봇 및 그 제어 방법
US16/833,158 US11383384B2 (en) 2019-11-25 2020-03-27 Robot and method for controlling robot

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190152736A KR20210063975A (ko) 2019-11-25 2019-11-25 로봇 및 그 제어 방법

Publications (1)

Publication Number Publication Date
KR20210063975A true KR20210063975A (ko) 2021-06-02

Family

ID=75971571

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190152736A KR20210063975A (ko) 2019-11-25 2019-11-25 로봇 및 그 제어 방법

Country Status (2)

Country Link
US (1) US11383384B2 (ko)
KR (1) KR20210063975A (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11389968B2 (en) * 2019-10-02 2022-07-19 Toyota Research Institute, Inc. Systems and methods for determining pose of objects held by flexible end effectors
CN114851208B (zh) * 2022-06-16 2024-02-02 梅卡曼德（北京）机器人科技有限公司 物体抓取方法以及用于抓取物体的系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4531832B2 (ja) 2007-10-10 2010-08-25 パナソニック株式会社 調理補助ロボット及び調理補助方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4620362A (en) * 1984-06-22 1986-11-04 The Boeing Company Changeable tooling system for robot end-effector
GB2397234A (en) * 2003-01-20 2004-07-21 Armstrong Healthcare Ltd A tool holder arrangement
CN1984756B (zh) * 2004-07-13 2011-12-07 松下电器产业株式会社 物品保持系统、机器人以及机器人控制方法
JP4835616B2 (ja) * 2008-03-10 2011-12-14 トヨタ自動車株式会社 動作教示システム及び動作教示方法
KR101479232B1 (ko) * 2008-05-13 2015-01-06 삼성전자 주식회사 로봇과 로봇 핸드, 로봇 핸드의 제어 방법
JP5685027B2 (ja) * 2010-09-07 2015-03-18 キヤノン株式会社 情報処理装置、物体把持システム、ロボットシステム、情報処理方法、物体把持方法およびプログラム
AT514162A1 (de) * 2013-04-09 2014-10-15 Knapp Ag Lager- und Kommissioniersystem zum vollautomatisierten Erkennen und Kommissionieren von Artikeln
JP6380828B2 (ja) * 2014-03-07 2018-08-29 セイコーエプソン株式会社 ロボット、ロボットシステム、制御装置、及び制御方法
JP2016203280A (ja) * 2015-04-17 2016-12-08 セイコーエプソン株式会社 ロボット、及び制御装置
US9687982B1 (en) * 2015-05-27 2017-06-27 X Development Llc Adapting programming of a robot and/or control of the robot based on one or more parameters of an end effector of the robot
US11344374B2 (en) * 2018-08-13 2022-05-31 Verily Life Sciences Llc Detection of unintentional movement of a user interface device
US11667039B2 (en) * 2019-01-31 2023-06-06 Toyota Research Institute, Inc. Systems and methods for estimating shape, contact forces, and pose of objects manipulated by robots having compliant contact and geometry sensors
US11472040B2 (en) * 2019-10-10 2022-10-18 Mitsubishi Electric Research Laboratories, Inc. Tactile sensor
US20210270605A1 (en) * 2020-02-27 2021-09-02 Honda Motor Co., Ltd. Systems and methods for estimating tactile output based on depth data

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4531832B2 (ja) 2007-10-10 2010-08-25 パナソニック株式会社 調理補助ロボット及び調理補助方法

Also Published As

Publication number Publication date
US20210154854A1 (en) 2021-05-27
US11383384B2 (en) 2022-07-12

Similar Documents

Publication Publication Date Title
US11185982B2 (en) Serving system using robot and operation method thereof
US10507577B2 (en) Methods and systems for generating instructions for a robotic system to carry out a task
US11577388B2 (en) Automatic robot perception programming by imitation learning
Tsarouchi et al. Human–robot interaction review and challenges on task planning and programming
JP6439817B2 (ja) 認識的アフォーダンスに基づくロボットから人間への物体ハンドオーバの適合
JP2022542241A (ja) ロボット装置からの視覚的出力を補強するシステム及び方法
KR20210096523A (ko) 로봇의 위치 인식
US11579626B2 (en) Method of localization by synchronizing multi sensors and robot implementing same
KR20210063975A (ko) 로봇 및 그 제어 방법
US20210394362A1 (en) Information processing device, control method, and program
US20180268280A1 (en) Information processing apparatus, information processing system, and non-transitory computer readable medium
KR20190109325A (ko) 로봇 및 로봇의 위치를 인식하기 위한 방법
KR20190104943A (ko) 로봇 시스템 및 그 제어 방법
Grewal et al. Autonomous wheelchair navigation in unmapped indoor environments
Mišeikis et al. Transfer learning for unseen robot detection and joint estimation on a multi-objective convolutional neural network
Caddeo et al. Collision-aware in-hand 6d object pose estimation using multiple vision-based tactile sensors
US11179844B2 (en) Robot and method for localizing robot
Zhang et al. An egocentric vision based assistive co-robot
Bechar et al. A review and framework of laser-based collaboration support
CN110543234B (zh) 信息处理装置和非暂时性计算机可读介质
Yu et al. Palmsight: an assistive technology helping the blind to locate and grasp objects
US20230161356A1 (en) Method of updating map in fusion slam and robot implementing same
JP2007331075A (ja) 移動作業ロボットの物体把持システムおよび物体把持方法
KR20210044463A (ko) 로봇 및 로봇에 의해 영역을 식별하기 위한 방법
Liang et al. Visual reconstruction and localization-based robust robotic 6-DoF grasping in the wild

Legal Events

Date Code Title Description
A201 Request for examination