KR20220124894A - 인공지능 기반의 식재료 추적 장치 및 방법과 이를 이용한 요리 로봇 시스템 - Google Patents

인공지능 기반의 식재료 추적 장치 및 방법과 이를 이용한 요리 로봇 시스템 Download PDF

Info

Publication number
KR20220124894A
KR20220124894A KR1020210028557A KR20210028557A KR20220124894A KR 20220124894 A KR20220124894 A KR 20220124894A KR 1020210028557 A KR1020210028557 A KR 1020210028557A KR 20210028557 A KR20210028557 A KR 20210028557A KR 20220124894 A KR20220124894 A KR 20220124894A
Authority
KR
South Korea
Prior art keywords
food material
food
information
identified
robot
Prior art date
Application number
KR1020210028557A
Other languages
English (en)
Other versions
KR102479343B1 (ko
Inventor
민현정
박재일
Original Assignee
아주대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아주대학교산학협력단 filed Critical 아주대학교산학협력단
Priority to KR1020210028557A priority Critical patent/KR102479343B1/ko
Publication of KR20220124894A publication Critical patent/KR20220124894A/ko
Application granted granted Critical
Publication of KR102479343B1 publication Critical patent/KR102479343B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0045—Manipulators used in the food industry
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0003—Home robots, i.e. small robots for domestic use
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Food Science & Technology (AREA)
  • Manipulator (AREA)
  • General Preparation And Processing Of Foods (AREA)

Abstract

인공지능 기반의 식재료 추적 장치 및 방법과 이를 이용한 요리 로봇 시스템이 개시되며, 본원의 일 실시예에 따른 인공지능 기반의 식재료 추적 방법은, 식재료가 배치되는 공간을 촬영한 이미지를 수신하는 단계, 상기 이미지에 포함된 객체의 경계 영역을 설정하는 단계, 기 학습된 인공지능 모델에 기초하여 상기 경계 영역에 대응하는 식재료를 식별하는 단계, 상기 경계 영역에 기초하여 상기 식별된 식재료에 대한 규격 정보를 도출하는 단계 및 상기 규격 정보에 기초하여 상기 식별된 식재료를 파지하기 위한 로봇의 제어 정보를 생성하는 단계를 포함할 수 있다.

Description

인공지능 기반의 식재료 추적 장치 및 방법과 이를 이용한 요리 로봇 시스템{APPARATUS AND METHOD FOR TRACKING FOOD MATERIAL AND COOKING ROBOT SYSTEM USING THE SAME}
본원은 인공지능 기반의 식재료 추적 장치 및 방법과 이를 이용한 요리 로봇 시스템에 관한 것이다.
최근 들어, 외식업계에서 요리 및 서비스에 로봇을 적용하기 위한 시도가 늘어나고 있으며, 이러한 로봇을 외식업계에 적용하기 위하여는 주로 비정형의 형상을 가지는 식재료를 정확하게 인식 및 추적하고, 로봇을 통해 식재료를 파지(Grabbing)하기 위한 처리가 요구된다. 특히, 이러한 요리 로봇 기술은 로봇 암의 제어 기술은 물론 비전 센서를 통해 식재료의 다양한 모양과 환경을 적절히 인식하는 기술을 갖추어야 하는 고도화된 분야이다.
이와 관련하여, 종래의 기술은 로봇을 주로 자동화 산업 시스템에 활용하고 있으나, 종래에는 주로 사람과 떨어진 상황에서 계획된 일을 반복적으로 처리하는 것에 로봇의 적용 분야가 한정되어 있었으며, 또한 컴퓨터 비전에서 각종 물체를 인식하는 인공지능 기술이 다양하게 개발되고 있는 것과 달리 비전 인식 결과를 실제 로봇을 제어하는 데 접목하는 기술은 그 개발이 미비한 실정이다.
본원의 배경이 되는 기술은 한국등록특허공보 제10-2016373호에 개시되어 있다.
본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 인공지능 기반의 비전 인식을 통해 비정형 식재료를 인식하고, 인식 결과를 활용하여 식재료를 파지(Grabbing)하는 로봇을 제어하여 소정의 식재료를 원하는 위치로 이동시키는 등의 작업을 자동화할 수 있는 인공지능 기반의 식재료 추적 장치 및 방법과 이를 이용한 요리 로봇 시스템을 제공하려는 것을 목적으로 한다.
다만, 본원의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 일 실시예에 따른 인공지능 기반의 식재료 추적 방법은, 식재료가 배치되는 공간을 촬영한 이미지를 수신하는 단계, 상기 이미지에 포함된 객체의 경계 영역을 설정하는 단계, 기 학습된 인공지능 모델에 기초하여 상기 경계 영역에 대응하는 식재료를 식별하는 단계, 상기 경계 영역에 기초하여 상기 식별된 식재료에 대한 규격 정보를 도출하는 단계 및 상기 규격 정보에 기초하여 상기 식별된 식재료를 파지하기 위한 로봇의 제어 정보를 생성하는 단계를 포함할 수 있다.
또한, 상기 경계 영역을 설정하는 단계는, 상기 이미지에 복수 개의 객체가 등장하면, 상기 복수 개의 객체 각각에 대응하는 복수 개의 경계 영역을 구분하여 도출할 수 있다.
또한, 상기 식재료를 식별하는 단계는, 상기 복수 개의 객체 각각이 소정의 식재료 유형에 부합할 확률 정보에 기초하여 상기 복수 개의 객체 중에서 상기 로봇을 통해 파지할 대상 식재료를 선택하는 단계를 포함할 수 있다.
또한, 상기 규격 정보를 도출하는 단계는, 상기 식별된 식재료의 중심 위치, 너비 정보 및 높이 정보를 파악하는 단계 및 상기 파악된 중심 위치, 너비 정보 및 높이 정보에 기초하여 상기 식별된 식재료의 주축 정보 및 기울임 정보를 도출하는 단계를 포함할 수 있다.
또한, 상기 제어 정보를 생성하는 단계는 상기 주축 정보 및 상기 기울임 정보에 기초하여 상기 식별된 식재료를 파지하기 위한 상기 로봇의 그립 위치 및 그립 방향을 연산할 수 있다.
또한, 상기 식재료가 배치되는 공간은 식재료를 공급하는 파츠 피더에 대하여 구비될 수 있다.
또한, 본원의 일 실시예에 따른 인공지능 기반의 식재료 추적 방법은, 상기 식별하는 단계에서 식재료가 미식별되면, 상기 파츠 피더를 통해 식재료를 새로이 공급하거나 기 공급된 식재료의 배치를 변경하기 위한 제어 신호를 생성하는 단계를 포함할 수 있다.
또한, 본원의 일 실시예에 따른 인공지능 기반의 식재료 추적 방법은, 상기 로봇이 상기 식별된 식재료를 파지하는 동작이 실패하면 상기 파츠 피더를 통해 기 공급된 식재료의 배치를 변경하기 위한 제어 신호를 생성하는 단계를 포함할 수 있다.
한편, 본원의 일 실시예에 따른 인공지능 기반의 식재료 추적 장치는, 식재료가 배치되는 공간을 촬영한 이미지를 수신하고, 상기 이미지에 포함된 객체의 경계 영역을 설정하는 객체 인식부, 기 학습된 인공지능 모델에 기초하여 상기 경계 영역에 대응하는 식재료를 식별하는 식재료 인식부, 상기 경계 영역에 기초하여 상기 식별된 식재료에 대한 규격 정보를 도출하는 연산부 및 상기 규격 정보에 기초하여 상기 식별된 식재료를 파지하기 위한 로봇의 제어 정보를 생성하는 파지 제어부를 포함할 수 있다.
또한, 상기 객체 인식부는 상기 이미지에 복수 개의 객체가 등장하면, 상기 복수 개의 객체 각각에 대응하는 복수 개의 경계 영역을 구분하여 도출할 수 있다.
또한, 상기 식재료 인식부는 상기 복수 개의 객체 각각이 소정의 식재료 유형에 부합할 확률 정보에 기초하여 상기 복수 개의 객체 중에서 상기 로봇을 통해 파지할 대상 식재료를 선택할 수 있다.
또한, 상기 연산부는 상기 식별된 식재료의 중심 위치, 너비 정보 및 높이 정보를 파악하고, 상기 파악된 중심 위치, 너비 정보 및 높이 정보에 기초하여 상기 식별된 식재료의 주축 정보 및 기울임 정보를 도출할 수 있다.
또한, 상기 파지 제어부는 상기 주축 정보 및 상기 기울임 정보에 기초하여 상기 식별된 식재료를 파지하기 위한 상기 로봇의 그립 위치 및 그립 방향을 연산할 수 있다.
또한, 본원의 일 실시예에 따른 인공지능 기반의 식재료 추적 장치는, 상기 식재료 인식부에 의해 상기 이미지로부터 식재료가 미식별되면, 상기 파츠 피더를 통해 식재료를 새로이 공급하거나 기 공급된 식재료의 배치를 변경하기 위한 제어 신호를 생성하는 파츠 피더 제어부를 포함할 수 있다.
또한, 상기 파츠 피더 제어부는 상기 로봇이 상기 식별된 식재료를 파지하는 동작이 실패하면, 상기 파츠 피더를 통해 기 공급된 식재료의 배치를 변경하기 위한 제어 신호를 생성할 수 있다.
한편, 본원의 일 실시예에 따른 인공지능 기반의 식재료 추적 장치를 이용한 요리 로봇 시스템은, 식재료가 배치되는 공간을 촬영한 이미지를 생성하는 촬영 장치, 상기 이미지에 포함된 객체의 경계 영역을 설정하고, 기 학습된 인공지능 모델에 기초하여 상기 경계 영역에 대응하는 식재료를 식별하고, 상기 식별된 식재료를 파지하기 위한 로봇의 제어 정보를 생성하는 식재료 추적 장치 및 상기 제어 정보에 기초하여 상기 식별된 식재료를 파지하는 로봇을 포함할 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본원을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 추가적인 실시예가 존재할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 인공지능 기반의 비전 인식을 통해 비정형 식재료를 인식하고, 인식 결과를 활용하여 식재료를 파지(Grabbing)하는 로봇을 제어하여 소정의 식재료를 원하는 위치로 이동시키는 등의 작업을 자동화할 수 있는 인공지능 기반의 식재료 추적 장치 및 방법과 이를 이용한 요리 로봇 시스템을 제공할 수 있다.
다만, 본원에서 얻을 수 있는 효과는 상기된 바와 같은 효과들로 한정되지 않으며, 또 다른 효과들이 존재할 수 있다.
도 1은 본원의 일 실시예에 따른 인공지능 기반의 식재료 추적 장치를 포함하는 요리 로봇 시스템의 개략적인 구성을 나타낸 사시도이다.
도 2는 본원의 일 실시예에 따른 인공지능 기반의 식재료 추적 장치를 포함하는 요리 로봇 시스템의 개략적인 구성을 상측에서 바라본 평면도이다.
도 3은 식재료가 배치된 공간을 촬영한 이미지 및 이미지로부터 식별되는 식재료를 예시적으로 나타낸 도면이다.
도 4는 식별된 식재료를 파지하기 위하여 생성되는 로봇의 제어 정보를 설명하기 위한 개념도이다.
도 5는 파츠 피더의 개략적인 구성을 나타낸 사시도이다.
도 6은 본원의 일 실시예에 따른 인공지능 기반의 식재료 추적 장치의 개략적인 구성도이다.
도 7은 본원의 일 실시예에 따른 인공지능 기반의 식재료 추적 방법에 대한 동작 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결" 또는 "간접적으로 연결"되어 있는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부재가 다른 부재 "상에", "상부에", "상단에", "하에", "하부에", "하단에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
본원은 인공지능 기반의 식재료 추적 장치 및 방법과 이를 이용한 요리 로봇 시스템에 관한 것이다.
도 1은 본원의 일 실시예에 따른 인공지능 기반의 식재료 추적 장치를 포함하는 요리 로봇 시스템의 개략적인 구성을 나타낸 사시도이고, 도 2는 본원의 일 실시예에 따른 인공지능 기반의 식재료 추적 장치를 포함하는 요리 로봇 시스템의 개략적인 구성을 상측에서 바라본 평면도이다.
도 1 및 도 2를 참조하면, 본원의 일 실시예에 따른 요리 로봇 시스템(10)은 본원의 일 실시예에 따른 인공지능 기반의 식재료 추적 장치(100)(이하, '식재료 추적 장치(100)'라 한다.), 촬영 장치(200), 로봇(300) 및 파츠 피더(500)를 포함할 수 있다.
식재료 추적 장치(100), 촬영 장치(200), 로봇(300) 및 파츠 피더(500) 상호간은 네트워크(미도시)를 통해 통신할 수 있다. 네트워크(미도시)는 단말들 및 서버들과 같은 각각의 노드 상호간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크(미도시)의 일 예에는, 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, 5G 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), wifi 네트워크, 블루투스(Bluetooth) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.
촬영 장치(200)는 식재료가 배치되는 공간을 촬영한 이미지를 생성할 수 있다. 예시적으로, 도 1 및 도 2를 참조하면, 촬영 장치(200)는 식재료가 배치되는 공간의 상측 영역에 설치되어 식재료가 배치된 하측 방향을 촬영 방향으로 하는 카메라일 수 있으나, 이에만 한정되는 것은 아니고, 본원의 구현예에 따라 촬영 장치(200)는 식재료가 배치되는 공간을 필요에 따라 다양한 방향에서 촬영할 수 있다.
한편, 본원의 실시예에 관한 설명에서 식재료가 배치되는 공간은 식재료를 공급하는 파츠 피더(400)에 대하여 구비되는 것일 수 있다. 구체적으로, 파츠 피더(Part's Feeder, 400)는 소정의 부품, 식재료 등에 대한 가공, 조립, 검사, 포장 등의 작업(공정)을 자동화(무인화)하기 위하여 부품, 식재료 등을 특정한 흐름(방향, 위치 등)으로 지속 공급하는 디바이스를 의미하며, 본원에서 개시하는 파츠 피더(400)의 구체적인 구조 및 기능은 도 5를 참조하여 후술하도록 한다.
로봇(300)은 식재료 추적 장치(100)에 의해 생성된 제어 신호에 기초하여 식재료가 배치된 공간(예를 들면, 파츠 피더(400)의 소정 영역 등)과 식재료를 이동시키려는 목적 공간(예를 들면, 트레이(500) 등의 식재료 수납(수용) 공간이나 식재료에 대한 조리가 수행되는 조리 설비 등) 사이에서 왕복 거동하는 동작과 식재료를 파지(그랩)하는 동작을 수행하는 파지 수단(310)을 포함할 수 있다. 예시적으로, 파지 수단(310)은 로봇(300)의 로봇 암, 그리퍼(Gripper) 등을 의미하는 것일 수 있다.
이하에서는, 식재료 추적 장치(100)가 식재료가 배치되는 공간을 촬영한 이미지로부터 식재료를 인식(식별)하고, 식재료 식별 결과에 따라 해당 식재료를 파지하기 위한 로봇(300)의 제어 정보를 생성하는 프로세스에 대해 상세히 설명하도록 한다.
식재료 추적 장치(100)는 식재료가 배치되는 공간을 촬영한 이미지를 수신할 수 있다. 예를 들어, 식재료 추적 장치(100)는 촬영 장치(200)로부터 이미지를 수신할 수 있다.
도 3은 식재료가 배치된 공간을 촬영한 이미지 및 이미지로부터 식별되는 식재료를 예시적으로 나타낸 도면이다.
도 3을 참조하면, 식재료 추적 장치(100)는 수신된 이미지에 포함된 객체의 경계 영역을 설정할 수 있다. 예시적으로, 도 3에 도시된 이미지가 식재료 추적 장치(100)로 인가된 경우, 식재료 추적 장치(100)는 이미지에 등장하는 두 객체가 서로 구분되는 별도의 객체인 것으로 파악하고, 제1객체(1a)에 대한 제1경계 영역(11a) 및 제2객체(1b)에 대한 제2경계 영역(11b)을 구분하여 도출할 수 있다.
달리 말해, 경계 영역은 이미지 상에 등장하는 소정의 객체에 해당하는 내부 영역과 해당 객체가 아닌 외부의 배경 영역을 구분 짓는 윤곽(외곽)을 의미할 수 있다. 예시적으로, 식재료 추적 장치(100)는 등장 객체의 최외곽 지점에 해당하는 복수의 지점을 연결하는 방식으로 경계 영역을 도출하는 것일 수 있다.
즉, 식재료 추적 장치(100)는 수신된 이미지에 복수 개의 객체가 등장하면, 복수 개의 객체 각각에 대응하는 복수 개의 경계 영역을 구분하여 도출할 수 있다.
이와 관련하여, 본원의 일 실시예에 따르면 식재료 추적 장치(100)는 수신(입력)된 이미지의 픽셀별 색상 정보에 기초하여 이미지로부터 객체의 등장(존재) 여부 및 등장 객체의 경계 영역을 추출하는 영역 분할(Segmentation) 알고리즘을 보유할 수 있다.
또한, 식재료 추적 장치(100)는 기 학습된 인공지능 모델에 기초하여 경계 영역에 대응하는 식재료를 식별할 수 있다. 구체적으로, 식재료 추적 장치(100)는 이미지에 복수 개의 객체가 등장하여 복수 개의 객체 각각에 대한 경계 영역이 도출되고 나면, 복수 개의 객체 각각이 미리 설정된 소정의 식재료 유형에 부합할 확률 정보에 기초하여 복수 개의 객체 중에서 로봇(300)을 통해 파지할 대상 식재료를 선택할 수 있다.
구체적으로, 본원의 일 실시예에 따르면 식재료 추적 장치(100)는 이미지에 등장하는 복수의 객체 중 소정의 식재료 유형에 부합할 확률 정보가 최대인 객체를 대상 식재료로 선정할 수 있다.
예시적으로, 식재료 추적 장치(100)가 사용자 입력 등을 통해 소정의 식재료 유형(예를 들면, 치킨 등)을 식별 및 파지하도록 설정된 경우, 식재료 추적 장치(100)는 수신된 이미지에 등장하는 객체 각각이 해당 식재료 유형에 부합할 확률을 기 학습된 인공지능 모델을 통해 연산하고, 연산된 확률이 가장 높은 객체를 로봇(300)을 통해 파지할 대상 식재료로 선정할 수 있다.
이와 관련하여, 식재료에 해당하는 객체가 주로 비정형의 형상을 가지는 것을 고려하여, 본원에서의 기 학습된 인공지능 모델은 비정형 물체(객체)의 인식을 위한 Mask R-CNN(Regional Convolution Neural Network) 모델일 수 있다. 보다 구체적으로, 해당 인공지능 모델은 이미지에 대한 학습을 위한 백본 망(Backbone network)으로서 FPN(Feature Pyramid Network)을 사용하여 전체 이미지로부터 특정 물체(식재료)에 대한 인식을 빠르게 학습하도록 구현하고, ResNet(Residual Network) 기반의 50 또는 101의 은닉층(hidden layer)을 포함하도록 구현하여 관심 영역(RoI, Region of Interest)을 보다 빠르게 인식하도록 학습이 이루어진 모델일 수 있다. 또한, 이러한 인공지능 모델의 학습에는 각종 식재료의 비정형 모양(형상)을 다양하게 반영하는 기 수집된 학습 이미지가 활용될 수 있다.
다만, 식재료 식별을 위한 인공지능 모델의 유형은 전술한 Mask R-CNN 모델로 한정되는 것은 아니며, 본원에서는 종래에 이미 공지되었거나 향후 개발되는 다양한 인공지능 기반의 객체 인식 알고리즘 모델 또는 영상 분석 모델이 적용될 수 있다.
또한, 식재료 추적 장치(100)는 경계 영역에 기초하여 식별된 식재료(대상 식재료)에 대한 규격 정보를 도출할 수 있다. 구체적으로, 식재료 추적 장치(100)는 수신된 이미지에 대한 이미지 분석을 통해 식별된 식재료의 중심 위치, 너비 정보(width) 및 높이 정보(height)를 파악할 수 있다. 예시적으로, 도 4를 참조하면, 이미지가 식재료가 배치되는 공간을 상측에서 촬영한 평면 이미지인 경우, 해당 이미지의 각 위치는 가로축(도 4의 x축)과 세로축(도 4의 y축)을 기준으로 한 2차원 좌표계 상에서 정의될 수 있다.
이와 관련하여, 식재료 추적 장치(100)는 식재료 각각에 대하여 도출된 경계 영역의 국부적인 형상을 종합 고려하여 도출되는 밀도 정보, 식별된 식재료 유형에 대하여 기 분석된 형상 패턴 정보 등을 고려하여 식별된 식재료(대상 식재료)의 중심 위치(예를 들면, 무게 중심)의 좌표를 결정하고, 경계 영역의 가로축 기준 최대 길이인 너비 정보(width) 및 경계 영역의 세로축 기준 최대 높이인 높이 정보(height)를 분석하는 것일 수 있으나, 이에만 한정되는 것은 아니다.
도 4는 식별된 식재료를 파지하기 위하여 생성되는 로봇의 제어 정보를 설명하기 위한 개념도이다.
도 4를 참조하면, 식재료 추적 장치(100)는 파악된 중심 위치, 너비 정보 및 높이 정보에 기초하여 식별된 식재료(대상 식재료)의 주축 정보(main axis) 및 기울임 정보(degree)를 도출할 수 있다. 이해를 돕기 위해 예시하면, 도 3에는 제1객체(1a) 및 제2객체(1b) 각각에 대하여 도출되는 주축이 진한 실선으로 객체 영역 내에 표시되어 있다.
이와 관련하여, 식별된 식재료에 대한 주축 정보(main axis)는 도출된 경계 영역의 국부적인 형상을 종합 고려하여 도출되는 밀도 정보, 식별된 식재료 유형에 대하여 기 분석된 형상 패턴 정보 등을 고려하여 설정될 수 있으며, 앞서 설정된 중심 위치를 통과하도록 설정될 수 있다.
본원의 일 실시예에 따르면, 식재료 추적 장치(100)는 주성분 분석(PCA, Principle Component Analysis)에 기초하여 대상 식재료에 대한 주축(main axis)을 도출할 수 있다.
또한, 기울임 정보(degree)는 이미지의 좌표 축(예를 들면, 가로축인 x축 등) 중 어느 하나를 기준으로 하여, 도출된 주축(main axis)이 기울어진 각도를 의미하는 것일 수 있다.
또한, 식재료 추적 장치(100)는 규격 정보에 기초하여 식별된 식재료(대상 식재료)를 파지하기 위한 로봇(300)의 제어 정보를 생성하고, 생성된 제어 정보를 로봇(300)의 제어부(320)로 전송할 수 있다. 예시적으로, 로봇(300)의 제어부(320)란 로봇(300)의 구동(예를 들면, 파지 수단(310)의 이동 등)을 제어하는 컨트롤 박스(320)를 의미할 수 있으며, 로봇(300)은 식재료 추적 장치(100)로부터 수신한 제어 정보에 기초하여 대상 식재료를 정확하고 안정감있게 파지할 수 있는 위치 및 방향에 대응하도록 파지 수단(310)을 제어할 수 있다.
구체적으로, 식재료 추적 장치(100)는 앞서 도출된 주축 정보(main axis) 및 기울임 정보(degree)에 기초하여 식별된 식재료(대상 식재료)를 파지하기 위한 로봇(300)의 파지 수단(310)의 그립 위치(도 3의 P) 및 그립 방향을 연산할 수 있다.
도 4를 참조하여 보다 구체적으로 예시하면, 식재료 추적 장치(100)는 파지 수단(310)이 먼저 대상 식재료(1)에 대하여 파악된 대상 식재료(1)의 중심 위치(XC, YC, ZC)의 상측의 회전 위치(XC, YC, k)로 이동한 후 대상 식재료(1)가 기울어진 정도를 고려하여 연산된 파지 수단(310)의 그립 방향에 대응하도록 회전하고, 대상 식재료(1)에 대하여 연산된 그립 위치(X1, Y1, Z1)의 상측의 하강 위치(X1, Y1, k)로 이동한 후 하강 위치(X1, Y1, k)로부터 그립 위치(X1, Y1, Z1)로 하강하며 대상 식재료(1)를 파지하도록 제어되도록 하는 제어 신호를 생성할 수 있다.
참고로, 본원의 일 실시예에 따르면, 파지 수단(310)은 그리퍼(Gripper) 등으로 달리 지칭될 수 있으며, 적어도 둘 이상의 집게 부재를 포함하도록 설계되어 집게 부재가 오므려지거나 펴지면서 대상 식재료를 파지하는 것일 수 있으나, 이에만 한정되는 것은 아니다.
또한, 본원의 일 실시예에 따르면, 식재료 추적 장치(100)는 대상 식재료에 대하여 도출된 주축 정보 및 기울임 정보에 기초하여 경계 영역 내부의 복수의 위치(지점) 중 대상 식재료의 국부적인 밀도가 최소가 되는 영역으로 그립 위치를 결정할 수 있다. 달리 말해, 식재료 추적 장치(100)는 설정된 주축을 기준으로 한 상대적인 위치로서 그립 위치를 결정하되, 대상 식재료의 영역 중 상대적으로 얇은 위치를 로봇(300)의 파지 수단(310)이 파지하도록 하는 그립 위치를 대상 식재료의 규격 정보에 기초하여 연산할 수 있다.
또한, 본원의 일 실시예에 따르면, 식재료 추적 장치(100)는 대상 식재료에 대하여 파악된 중심 위치, 주축 정보, 기울임 정보 및 그립 위치에 기초하여 대상 식재료를 안정적으로 파지(Grabbing)할 수 있는 최적의 그립 방향(각도)을 연산할 수 있다.
또한, 식재료 추적 장치(100)는 제어 신호가 로봇(300)으로 전송된 후의 로봇(300)의 파지 수단(310)으로부터 측정되는 파지 수단(310)에 가해지는 압력(Pressure), 힘(Force) 등에 대한 센싱 데이터를 기초로 로봇(300)의 대상 식재료에 대한 파지 동작이 성공하였는지 여부를 판단할 수 있다. 이와 관련하여, 식재료 추적 장치(100)는 로봇이 식별된 식재료(대상 식재료)를 파지하는 동작이 실패한 것으로 판단되면, 파츠 피더(400)를 통해 기 공급된 식재료의 배치를 변경하기 위한 제어 신호를 생성할 수 있다.
이하에서는, 도 5를 참조하여 본원에서의 파츠 피더(400)의 기능 및 구조와 식재료 추적 장치(100)에 의해 생성 및 전송되는 파츠 피더 제어 신호에 대해 설명하도록 한다.
도 5는 파츠 피더의 개략적인 구성을 나타낸 사시도이다. 도 5를 참조하면, 파츠 피더(400)는 하부판(410), 상부판(420), 고정 프레임(430), 노커(411) 및 트랜스포터(421)를 포함할 수 있다.
도 5를 참조하면, 본원의 일 실시예에 따른 파츠 피더(400)는 전후방향(도 5 기준 4시에서 10시 방향)을 따라 이동하며 하부판(410)으로 식재료를 공급하는 상부판(420)을 포함할 수 있다. 한편, 상부판(420)은 전후방향으로 왕복 이동하는 트랜스포터(421)에 의해 거동하는 것일 수 있다.
달리 말해, 하부판(410)의 상면에는 상부판(420)으로부터 공급된 식재료가 배치될 수 있으며, 촬영 장치(200)는 하부판(410)의 상측에 배치되어 하부판(410)을 촬영한 이미지를 식재료 추적 장치(100)로 전송할 수 있다.
도 5를 참조하면, 파츠 피더(400)의 하부판(410)은 노커(411)에 의해 상하방향(도 5 기준 12시에서 6시 방향)을 따라 거동할 수 있다. 구체적으로, 하부판(410)은 상하운동하는 노커(411)에 의해 상하로 진동할 수 있으며 식재료 추적 장치(100)는 로봇(300)의 대상 식재료 파지 동작이 실패하면 노커(411)가 상하로 이동하여 하부판(410)이 진동하도록 하는 파츠 피더 제어 신호를 파츠 피더(400)로 전송하여 하부판(410) 상면에 배치된 식재료의 배치를 변경할 수 있다.
또한, 필요에 따라서는 식재료 추적 장치(100)는 파지 동작이 실패한 경우가 아니더라도 수신된 이미지에 등장하는 식재료 간의 배치 상태를 기초로 다수의 식재료가 하부판(410) 상면에 동시에 배치된 경우 등에 대하여 노커(411)를 상하로 진동시켜 식재료 간의 엉킴을 방지할 수 있다.
한편, 본원의 일 실시예에 따르면, 식재료 추적 장치(100)는 수신된 이미지로부터 식재료가 미식별(예를 들어, 아무런 객체가 이미지 내에 등장하지 않는 것으로 판단되거나 식별된 객체가 소정의 식재료 유형에 부합할 확률이 미리 설정된 임계 수준 미만인 경우 등)되면, 파츠 피더(400)를 통해 식재료를 새로이 공급하거나 기 공급된 식재료의 배치를 변경하기 위한 제어 신호를 생성할 수 있다. 여기서, 식재료를 새로이 공급하는 제어 신호는 파츠 피더(400)의 트랜스포터(421)를 전후방향으로 이동시키는 제어 신호일 수 있으며, 기 공급된 식재료의 배치를 변경하기 위한 제어 신호는 노커(411)를 상하방향으로 이동(진동)시키는 제어 신호일 수 있다.
도 6은 본원의 일 실시예에 따른 인공지능 기반의 식재료 추적 장치의 개략적인 구성도이다.
도 6을 참조하면, 식재료 추적 장치(100)는 객체 인식부(110), 식재료 인식부(120), 연산부(130), 파지 제어부(140) 및 파츠 피더 제어부(150)를 포함할 수 있다.
객체 인식부(110)는 식재료가 배치되는 공간을 촬영한 이미지를 수신하고, 수신된 이미지에 포함된 객체의 경계 영역을 설정할 수 있다. 또한, 객체 인식부(110)는 수신된 이미지에 복수 개의 객체가 등장하면, 복수 개의 객체 각각에 대응하는 복수 개의 경계 영역을 구분하여 도출할 수 있다.
식재료 인식부(120)는 기 학습된 인공지능 모델에 기초하여 설정된 경계 영역에 대응하는 식재료를 식별할 수 있다. 또한, 식재료 인식부(120)는 경계 영역이 도출된 복수 개의 객체 각각이 소정의 식재료 유형에 부합할 확률 정보에 기초하여 복수 개의 객체 중에서 로봇을 통해 파지할 대상 식재료를 선택할 수 있다.
연산부(130)는 경계 영역에 기초하여 식별된 식재료에 대한 규격 정보를 도출할 수 있다. 구체적으로, 연산부(130)는 식별된 식재료의 중심 위치, 너비 정보 및 높이 정보를 파악하고, 파악된 중심 위치, 너비 정보 및 높이 정보에 기초하여 식별된 식재료의 주축 정보 및 기울임 정보를 도출할 수 있다.
파지 제어부(140)는 도출된 식재료의 규격 정보에 기초하여 식별된 식재료를 파지하기 위한 로봇의 제어 정보를 생성할 수 있다. 구체적으로, 파지 제어부(140)는 식별된 식재료에 대하여 도출된 주축 정보 및 기울임 정보에 기초하여 식별된 식재료를 파지하기 위한 로봇(300)의 그립 위치 및 그립 방향을 연산할 수 있다.
파츠 피더 제어부(150)는 식재료 인식부(120)에 의해 이미지로부터 식재료가 미식별되면, 파츠 피더(400)를 통해 식재료를 새로이 공급하거나 기 공급된 식재료의 배치를 변경하기 위한 파츠 피더(400)에 대한 제어 신호를 생성할 수 있다.
또한, 파츠 피더 제어부(150)는 로봇(300)이 제어 신호에 기초하여 식별된 식재료를 파지하는 동작이 실패하면, 파츠 피더(400)를 통해 기 공급된 식재료의 배치를 변경하기 위한 제어 신호를 생성할 수 있다.
이하에서는 상기에 자세히 설명된 내용을 기반으로, 본원의 동작 흐름을 간단히 살펴보기로 한다.
도 7은 본원의 일 실시예에 따른 인공지능 기반의 식재료 추적 방법에 대한 동작 흐름도이다.
도 7에 도시된 인공지능 기반의 식재료 추적 방법은 앞서 설명된 식재료 추적 장치(100)에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 식재료 추적 장치(100)에 대하여 설명된 내용은 인공지능 기반의 식재료 추적 방법에 대한 설명에도 동일하게 적용될 수 있다.
도 7을 참조하면, 단계 S11에서 객체 인식부(110)는 식재료가 배치되는 공간을 촬영한 이미지를 수신할 수 있다.
다음으로, 단계 S12에서 객체 인식부(110)는 수신된 이미지에서 객체가 등장하는지 여부를 판단할 수 있다. 만일, 단계 S12의 판단 결과, 수신된 이미지에 객체가 미등장(예를 들면, 식재료가 파츠 피더(400)에 의해 미공급된 상태 혹은 파츠 피더(400) 상에 식재료가 잘못 배치되어 이미지 상에 미반영된 상태 등)하는 것으로 판단되면, 단계 S121에서 파츠 피더 제어부(150)는 파츠 피더(400)를 통해 식재료를 새로이 공급하거나 기 공급된 식재료의 배치를 변경하기 위한 파츠 피더 제어 신호를 생성할 수 있다.
다음으로, 단계 S13에서 객체 인식부(110)는 이미지에 포함된 객체(이미지 내에 등장하는 객체)의 객체별 경계 영역을 설정할 수 있다. 달리 말해, 단계 S13에서 객체 인식부(110)는 이미지에 복수 개의 객체가 등장하면, 복수 개의 객체 각각에 대응하는 복수 개의 경계 영역을 구분하여 도출할 수 있다.
다음으로, 단계 S14에서 식재료 인식부(120)는 기 학습된 인공지능 모델에 기초하여 경계 영역에 대응하는 식재료를 식별할 수 있다. 구체적으로, 단계 S14에서 식재료 인식부(120)는 복수 개의 객체 각각이 소정의 식재료 유형에 부합할 확률 정보에 기초하여 복수 개의 객체 중에서 로봇(300)을 통해 파지할 대상 식재료를 선택할 수 있다.
다음으로, 단계 S15에서 식재료 인식부(120)는 이미지로부터 식재료인 것으로 판단(식별)된 객체가 존재하는지 여부를 판단할 수 있다. 만일, 단계 S15의 판단 결과, 이미지로부터 식재료가 미식별되면(예를 들면, 식재료가 파츠 피더(400)에 의해 미공급된 상태 혹은 이미지 내 전체 등장 객체에 대하여 연산된 소정의 식재료 유형에 부합할 확률이 모두 임계 수준에 미치지 못하는 상태 등) 단계 S121을 통해 파츠 피더 제어부(150)가 파츠 피더(400)를 통해 식재료를 새로이 공급하거나 기 공급된 식재료의 배치를 변경하기 위한 파츠 피더 제어 신호를 생성할 수 있다.
다음으로, 단계 S16에서 연산부(130)는 경계 영역에 기초하여 식별된 식재료에 대한 규격 정보를 도출할 수 있다. 구체적으로, 본원의 일 실시예에 따르면, 단계 S16에서 연산부(130)는 식별된 식재료(대상 식재료)의 중심 위치, 너비 정보 및 높이 정보를 파악할 수 있다. 또한, 단계 S16에서 연산부(130)는 파악된 중심 위치, 너비 정보 및 높이 정보에 기초하여 식별된 식재료(대상 식재료)의 주축 정보 및 기울임 정보를 도출할 수 있다.
다음으로, 단계 S17에서 파지 제어부(140)는 단계 S16에서 도출된 규격 정보에 기초하여 식별된 식재료(대상 식재료)를 파지하기 위한 로봇(300)의 제어 정보를 생성할 수 있다. 구체적으로, 단계 S17에서 파지 제어부(140)는 대상 식재료에 대하여 연산(도출)된 주축 정보 및 기울임 정보에 기초하여 식별된 식재료(대상 식재료)를 파지하기 위한 로봇(300)의 그립 위치 및 그립 방향을 연산할 수 있다.
다음으로, 단계 S18에서 로봇(300)은 식재료 추적 장치(100)로부터 로봇(300)의 제어 정보를 수신하고, 제어 정보에 대응하여 파지 수단(310)을 이용해 대상 식재료를 파지할 수 있다.
만일, 단계 S18에서 로봇(300)의 파지 수단(310)을 이용한 대상 식재료에 대한 파지 동작이 실패하면, 단계 S181에서 파츠 피더 제어부(150)는 파츠 피더(400)를 통해 기 공급된 식재료의 배치를 변경하기 위한 제어 신호를 생성할 수 있다.
상술한 설명에서, 단계 S11 내지 S18은 본원의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
본원의 일 실시예에 따른 본원의 일 실시예에 따른 인공지능 기반의 식재료 추적 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
또한, 전술한 본원의 일 실시예에 따른 인공지능 기반의 식재료 추적 방법은 기록 매체에 저장되는 컴퓨터에 의해 실행되는 컴퓨터 프로그램 또는 애플리케이션의 형태로도 구현될 수 있다.
전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.
10: 요리 로봇 시스템
1: 식재료
100: 인공지능 기반의 식재료 추적 장치
110: 객체 인식부
120: 식재료 인식부
130: 연산부
140: 파지 제어부
150: 파츠 피더 제어부
200: 촬영 장치
300: 로봇
310: 파지 수단
400: 파츠 피더

Claims (15)

  1. 인공지능 기반의 식재료 추적 방법에 있어서,
    식재료가 배치되는 공간을 촬영한 이미지를 수신하는 단계;
    상기 이미지에 포함된 객체의 경계 영역을 설정하는 단계;
    기 학습된 인공지능 모델에 기초하여 상기 경계 영역에 대응하는 식재료를 식별하는 단계;
    상기 경계 영역에 기초하여 상기 식별된 식재료에 대한 규격 정보를 도출하는 단계; 및
    상기 규격 정보에 기초하여 상기 식별된 식재료를 파지하기 위한 로봇의 제어 정보를 생성하는 단계,
    를 포함하는, 식재료 추적 방법.
  2. 제1항에 있어서,
    상기 경계 영역을 설정하는 단계는,
    상기 이미지에 복수 개의 객체가 등장하면, 상기 복수 개의 객체 각각에 대응하는 복수 개의 경계 영역을 구분하여 도출하는 것인, 식재료 추적 방법.
  3. 제2항에 있어서,
    상기 식재료를 식별하는 단계는,
    상기 복수 개의 객체 각각이 소정의 식재료 유형에 부합할 확률 정보에 기초하여 상기 복수 개의 객체 중에서 상기 로봇을 통해 파지할 대상 식재료를 선택하는 단계,
    를 포함하는 것인, 식재료 추적 방법.
  4. 제1항에 있어서,
    상기 규격 정보를 도출하는 단계는,
    상기 식별된 식재료의 중심 위치, 너비 정보 및 높이 정보를 파악하는 단계; 및
    상기 파악된 중심 위치, 너비 정보 및 높이 정보에 기초하여 상기 식별된 식재료의 주축 정보 및 기울임 정보를 도출하는 단계,
    를 포함하는 것인, 식재료 추적 방법.
  5. 제4항에 있어서,
    상기 제어 정보를 생성하는 단계는,
    상기 주축 정보 및 상기 기울임 정보에 기초하여 상기 식별된 식재료를 파지하기 위한 상기 로봇의 그립 위치 및 그립 방향을 연산하는 것인, 식재료 추적 방법.
  6. 제1항에 있어서,
    상기 식재료가 배치되는 공간은,
    식재료를 공급하는 파츠 피더에 대하여 구비되는 것인, 식재료 추적 방법.
  7. 제6항에 있어서,
    상기 식별하는 단계에서 식재료가 미식별되면, 상기 파츠 피더를 통해 식재료를 새로이 공급하거나 기 공급된 식재료의 배치를 변경하기 위한 제어 신호를 생성하는 단계,
    를 더 포함하는 것인, 식재료 추적 방법.
  8. 제6항에 있어서,
    상기 로봇이 상기 식별된 식재료를 파지하는 동작이 실패하면,
    상기 파츠 피더를 통해 기 공급된 식재료의 배치를 변경하기 위한 제어 신호를 생성하는 단계,
    를 더 포함하는 것인, 식재료 추적 방법.
  9. 인공지능 기반의 식재료 추적 장치에 있어서,
    식재료가 배치되는 공간을 촬영한 이미지를 수신하고, 상기 이미지에 포함된 객체의 경계 영역을 설정하는 객체 인식부;
    기 학습된 인공지능 모델에 기초하여 상기 경계 영역에 대응하는 식재료를 식별하는 식재료 인식부;
    상기 경계 영역에 기초하여 상기 식별된 식재료에 대한 규격 정보를 도출하는 연산부; 및
    상기 규격 정보에 기초하여 상기 식별된 식재료를 파지하기 위한 로봇의 제어 정보를 생성하는 파지 제어부,
    를 포함하는, 식재료 추적 장치.
  10. 제9항에 있어서,
    상기 객체 인식부는,
    상기 이미지에 복수 개의 객체가 등장하면, 상기 복수 개의 객체 각각에 대응하는 복수 개의 경계 영역을 구분하여 도출하고,
    상기 식재료 인식부는,
    상기 복수 개의 객체 각각이 소정의 식재료 유형에 부합할 확률 정보에 기초하여 상기 복수 개의 객체 중에서 상기 로봇을 통해 파지할 대상 식재료를 선택하는 것인, 식재료 추적 장치.
  11. 제9항에 있어서,
    상기 연산부는,
    상기 식별된 식재료의 중심 위치, 너비 정보 및 높이 정보를 파악하고, 상기 파악된 중심 위치, 너비 정보 및 높이 정보에 기초하여 상기 식별된 식재료의 주축 정보 및 기울임 정보를 도출하는 것인, 식재료 추적 장치.
  12. 제11항에 있어서,
    상기 파지 제어부는,
    상기 주축 정보 및 상기 기울임 정보에 기초하여 상기 식별된 식재료를 파지하기 위한 상기 로봇의 그립 위치 및 그립 방향을 연산하는 것인, 식재료 추적 장치.
  13. 제9항에 있어서,
    상기 식재료가 배치되는 공간은,
    식재료를 공급하는 파츠 피더에 대하여 구비되고,
    상기 식재료 인식부에 의해 상기 이미지로부터 식재료가 미식별되면, 상기 파츠 피더를 통해 식재료를 새로이 공급하거나 기 공급된 식재료의 배치를 변경하기 위한 제어 신호를 생성하는 파츠 피더 제어부,
    를 더 포함하는 것인, 식재료 추적 장치.
  14. 제13항에 있어서,
    상기 파츠 피더 제어부는,
    상기 로봇이 상기 식별된 식재료를 파지하는 동작이 실패하면,
    상기 파츠 피더를 통해 기 공급된 식재료의 배치를 변경하기 위한 제어 신호를 생성하는 것인, 식재료 추적 장치.
  15. 인공지능 기반의 식재료 추적 장치를 이용한 요리 로봇 시스템에 있어서,
    식재료가 배치되는 공간을 촬영한 이미지를 생성하는 촬영 장치;
    상기 이미지에 포함된 객체의 경계 영역을 설정하고, 기 학습된 인공지능 모델에 기초하여 상기 경계 영역에 대응하는 식재료를 식별하고, 상기 식별된 식재료를 파지하기 위한 로봇의 제어 정보를 생성하는 식재료 추적 장치; 및
    상기 제어 정보에 기초하여 상기 식별된 식재료를 파지하는 로봇,
    을 포함하는, 요리 로봇 시스템.
KR1020210028557A 2021-03-04 2021-03-04 인공지능 기반의 식재료 추적 장치 및 방법과 이를 이용한 요리 로봇 시스템 KR102479343B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210028557A KR102479343B1 (ko) 2021-03-04 2021-03-04 인공지능 기반의 식재료 추적 장치 및 방법과 이를 이용한 요리 로봇 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210028557A KR102479343B1 (ko) 2021-03-04 2021-03-04 인공지능 기반의 식재료 추적 장치 및 방법과 이를 이용한 요리 로봇 시스템

Publications (2)

Publication Number Publication Date
KR20220124894A true KR20220124894A (ko) 2022-09-14
KR102479343B1 KR102479343B1 (ko) 2022-12-19

Family

ID=83279520

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210028557A KR102479343B1 (ko) 2021-03-04 2021-03-04 인공지능 기반의 식재료 추적 장치 및 방법과 이를 이용한 요리 로봇 시스템

Country Status (1)

Country Link
KR (1) KR102479343B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0780790A (ja) * 1993-09-16 1995-03-28 Fujitsu Ltd 三次元物体把持システム
JPH0840522A (ja) * 1994-08-01 1996-02-13 Toray Ind Inc リング状パッキンの供給方法および装置
KR20200097572A (ko) * 2019-02-08 2020-08-19 한양대학교 산학협력단 물체 파지를 위한 훈련 데이터 생성 방법 및 파지 자세 결정 방법
KR20210014033A (ko) * 2019-07-29 2021-02-08 한국기계연구원 작업대상물의 피킹 및 플레이스 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0780790A (ja) * 1993-09-16 1995-03-28 Fujitsu Ltd 三次元物体把持システム
JPH0840522A (ja) * 1994-08-01 1996-02-13 Toray Ind Inc リング状パッキンの供給方法および装置
KR20200097572A (ko) * 2019-02-08 2020-08-19 한양대학교 산학협력단 물체 파지를 위한 훈련 데이터 생성 방법 및 파지 자세 결정 방법
KR20210014033A (ko) * 2019-07-29 2021-02-08 한국기계연구원 작업대상물의 피킹 및 플레이스 방법

Also Published As

Publication number Publication date
KR102479343B1 (ko) 2022-12-19

Similar Documents

Publication Publication Date Title
EP3735625B1 (en) Method and system for training the navigator of an object tracking robot
Karaoguz et al. Object detection approach for robot grasp detection
CN109483573B (zh) 机器学习装置、机器人系统以及机器学习方法
US11607807B2 (en) Machine learning methods and apparatus for automated robotic placement of secured object in appropriate location
US10981272B1 (en) Robot grasp learning
JP6074272B2 (ja) 画像処理装置および画像処理方法
US20220324107A1 (en) Performance recreation system
US20200311855A1 (en) Object-to-robot pose estimation from a single rgb image
US20190087976A1 (en) Information processing device, image recognition method and non-transitory computer readable medium
US11794343B2 (en) System and method for height-map-based grasp execution
JP2018027581A (ja) ピッキングシステム
WO2020022302A1 (ja) 把持装置
US20210072734A1 (en) Information processing apparatus and method, robot controlling apparatus and method, and non-transitory computer-readable storage medium
IL282172B1 (en) Systems and methods for training machine models with enhanced data
WO2022042304A1 (zh) 识别场景轮廓的方法、装置、计算机可读介质及电子设备
JP5001930B2 (ja) 動作認識装置及び方法
JP6951913B2 (ja) 分類モデル生成装置、画像データ分類装置およびそれらのプログラム
KR102541959B1 (ko) 로봇 및 사람이 탑승하는 엘리베이터를 제어하는 방법 및 엘리베이터 제어 시스템
NL2029461B1 (en) Automated bin-picking based on deep learning
JP2021039625A (ja) 物体数推定装置、物体数推定方法、および物体数推定プログラム
JP7171294B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN112589795B (zh) 一种基于不确定性多帧融合的真空吸盘机械臂抓取方法
KR20220124894A (ko) 인공지능 기반의 식재료 추적 장치 및 방법과 이를 이용한 요리 로봇 시스템
Hirt et al. Geometry extraction for ad hoc redirected walking using a slam device
KR102350638B1 (ko) 인공지능형 로봇 시스템

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant