KR102479343B1 - Apparatus and method for tracking food material and cooking robot system using the same - Google Patents

Apparatus and method for tracking food material and cooking robot system using the same Download PDF

Info

Publication number
KR102479343B1
KR102479343B1 KR1020210028557A KR20210028557A KR102479343B1 KR 102479343 B1 KR102479343 B1 KR 102479343B1 KR 1020210028557 A KR1020210028557 A KR 1020210028557A KR 20210028557 A KR20210028557 A KR 20210028557A KR 102479343 B1 KR102479343 B1 KR 102479343B1
Authority
KR
South Korea
Prior art keywords
information
food
identified
food ingredient
robot
Prior art date
Application number
KR1020210028557A
Other languages
Korean (ko)
Other versions
KR20220124894A (en
Inventor
민현정
박재일
Original Assignee
아주대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아주대학교산학협력단 filed Critical 아주대학교산학협력단
Priority to KR1020210028557A priority Critical patent/KR102479343B1/en
Publication of KR20220124894A publication Critical patent/KR20220124894A/en
Application granted granted Critical
Publication of KR102479343B1 publication Critical patent/KR102479343B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0045—Manipulators used in the food industry
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0003—Home robots, i.e. small robots for domestic use
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Food Science & Technology (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Preparation And Processing Of Foods (AREA)
  • Manipulator (AREA)

Abstract

인공지능 기반의 식재료 추적 장치 및 방법과 이를 이용한 요리 로봇 시스템이 개시되며, 본원의 일 실시예에 따른 인공지능 기반의 식재료 추적 방법은, 식재료가 배치되는 공간을 촬영한 이미지를 수신하는 단계, 상기 이미지에 포함된 객체의 경계 영역을 설정하는 단계, 기 학습된 인공지능 모델에 기초하여 상기 경계 영역에 대응하는 식재료를 식별하는 단계, 상기 경계 영역에 기초하여 상기 식별된 식재료에 대한 규격 정보를 도출하는 단계 및 상기 규격 정보에 기초하여 상기 식별된 식재료를 파지하기 위한 로봇의 제어 정보를 생성하는 단계를 포함할 수 있다.Disclosed are an artificial intelligence-based food ingredient tracking device and method, and a cooking robot system using the same, and an artificial intelligence-based food ingredient tracking method according to an embodiment of the present invention includes the steps of receiving an image of a space in which food ingredients are placed; Setting a border area of an object included in an image, identifying a food ingredient corresponding to the border area based on a pre-learned artificial intelligence model, deriving standard information for the identified food ingredient based on the border area and generating control information of a robot for holding the identified food ingredient based on the standard information.

Description

인공지능 기반의 식재료 추적 장치 및 방법과 이를 이용한 요리 로봇 시스템{APPARATUS AND METHOD FOR TRACKING FOOD MATERIAL AND COOKING ROBOT SYSTEM USING THE SAME}Artificial intelligence-based food ingredient tracking device and method and cooking robot system using the same

본원은 인공지능 기반의 식재료 추적 장치 및 방법과 이를 이용한 요리 로봇 시스템에 관한 것이다.The present application relates to an artificial intelligence-based food ingredient tracking device and method, and a cooking robot system using the same.

최근 들어, 외식업계에서 요리 및 서비스에 로봇을 적용하기 위한 시도가 늘어나고 있으며, 이러한 로봇을 외식업계에 적용하기 위하여는 주로 비정형의 형상을 가지는 식재료를 정확하게 인식 및 추적하고, 로봇을 통해 식재료를 파지(Grabbing)하기 위한 처리가 요구된다. 특히, 이러한 요리 로봇 기술은 로봇 암의 제어 기술은 물론 비전 센서를 통해 식재료의 다양한 모양과 환경을 적절히 인식하는 기술을 갖추어야 하는 고도화된 분야이다.Recently, attempts to apply robots to cooking and service are increasing in the food service industry. (Grabbing) processing is required. In particular, such cooking robot technology is an advanced field that requires not only robot arm control technology but also technology to appropriately recognize various shapes of ingredients and environments through vision sensors.

이와 관련하여, 종래의 기술은 로봇을 주로 자동화 산업 시스템에 활용하고 있으나, 종래에는 주로 사람과 떨어진 상황에서 계획된 일을 반복적으로 처리하는 것에 로봇의 적용 분야가 한정되어 있었으며, 또한 컴퓨터 비전에서 각종 물체를 인식하는 인공지능 기술이 다양하게 개발되고 있는 것과 달리 비전 인식 결과를 실제 로봇을 제어하는 데 접목하는 기술은 그 개발이 미비한 실정이다.In this regard, the conventional technology mainly utilizes robots in automated industrial systems, but in the prior art, the field of application of robots has been limited to repetitive processing of planned tasks in situations away from people, and also various objects in computer vision. Unlike the development of various artificial intelligence technologies that recognize vision, the technology that grafts vision recognition results to actual robot control is insufficiently developed.

본원의 배경이 되는 기술은 한국등록특허공보 제10-2016373호에 개시되어 있다.The background technology of the present application is disclosed in Korean Patent Registration No. 10-2016373.

본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 인공지능 기반의 비전 인식을 통해 비정형 식재료를 인식하고, 인식 결과를 활용하여 식재료를 파지(Grabbing)하는 로봇을 제어하여 소정의 식재료를 원하는 위치로 이동시키는 등의 작업을 자동화할 수 있는 인공지능 기반의 식재료 추적 장치 및 방법과 이를 이용한 요리 로봇 시스템을 제공하려는 것을 목적으로 한다.The present application is intended to solve the problems of the prior art described above, and recognizes atypical food ingredients through artificial intelligence-based vision recognition, and uses the recognition result to control a robot that grabs food ingredients so as to place a predetermined food ingredient at a desired location. An object of the present invention is to provide an artificial intelligence-based food ingredient tracking device and method capable of automating tasks such as moving to and a cooking robot system using the same.

다만, 본원의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.However, the technical problem to be achieved by the embodiments of the present application is not limited to the technical problems described above, and other technical problems may exist.

상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 일 실시예에 따른 인공지능 기반의 식재료 추적 방법은, 식재료가 배치되는 공간을 촬영한 이미지를 수신하는 단계, 상기 이미지에 포함된 객체의 경계 영역을 설정하는 단계, 기 학습된 인공지능 모델에 기초하여 상기 경계 영역에 대응하는 식재료를 식별하는 단계, 상기 경계 영역에 기초하여 상기 식별된 식재료에 대한 규격 정보를 도출하는 단계 및 상기 규격 정보에 기초하여 상기 식별된 식재료를 파지하기 위한 로봇의 제어 정보를 생성하는 단계를 포함할 수 있다.As a technical means for achieving the above technical problem, an artificial intelligence-based food ingredient tracking method according to an embodiment of the present application includes the steps of receiving an image of a space where the food material is placed, the boundary of an object included in the image Setting a region, identifying a food ingredient corresponding to the boundary region based on a pre-learned artificial intelligence model, deriving standard information for the identified food ingredient based on the boundary region, and Based on the method, it may include generating control information of a robot for gripping the identified food material.

또한, 상기 경계 영역을 설정하는 단계는, 상기 이미지에 복수 개의 객체가 등장하면, 상기 복수 개의 객체 각각에 대응하는 복수 개의 경계 영역을 구분하여 도출할 수 있다.In the step of setting the boundary area, when a plurality of objects appear in the image, a plurality of border areas corresponding to each of the plurality of objects may be identified and derived.

또한, 상기 식재료를 식별하는 단계는, 상기 복수 개의 객체 각각이 소정의 식재료 유형에 부합할 확률 정보에 기초하여 상기 복수 개의 객체 중에서 상기 로봇을 통해 파지할 대상 식재료를 선택하는 단계를 포함할 수 있다.In addition, the identifying the food material may include selecting a target food material to be grasped by the robot from among the plurality of objects based on probability information that each of the plurality of objects corresponds to a predetermined food material type. .

또한, 상기 규격 정보를 도출하는 단계는, 상기 식별된 식재료의 중심 위치, 너비 정보 및 높이 정보를 파악하는 단계 및 상기 파악된 중심 위치, 너비 정보 및 높이 정보에 기초하여 상기 식별된 식재료의 주축 정보 및 기울임 정보를 도출하는 단계를 포함할 수 있다.In addition, the step of deriving the standard information includes the step of grasping the center position, width information, and height information of the identified food ingredient, and main axis information of the identified food ingredient based on the identified center position, width information, and height information. and deriving tilt information.

또한, 상기 제어 정보를 생성하는 단계는 상기 주축 정보 및 상기 기울임 정보에 기초하여 상기 식별된 식재료를 파지하기 위한 상기 로봇의 그립 위치 및 그립 방향을 연산할 수 있다.In the generating of the control information, a grip position and a grip direction of the robot for holding the identified food ingredient may be calculated based on the main axis information and the inclination information.

또한, 상기 식재료가 배치되는 공간은 식재료를 공급하는 파츠 피더에 대하여 구비될 수 있다.In addition, the space in which the ingredients are disposed may be provided for a parts feeder that supplies the ingredients.

또한, 본원의 일 실시예에 따른 인공지능 기반의 식재료 추적 방법은, 상기 식별하는 단계에서 식재료가 미식별되면, 상기 파츠 피더를 통해 식재료를 새로이 공급하거나 기 공급된 식재료의 배치를 변경하기 위한 제어 신호를 생성하는 단계를 포함할 수 있다.In addition, in the artificial intelligence-based food ingredient tracking method according to an embodiment of the present application, if the food material is not identified in the identifying step, the control for newly supplying the food material through the parts feeder or changing the arrangement of the previously supplied food material It may include generating a signal.

또한, 본원의 일 실시예에 따른 인공지능 기반의 식재료 추적 방법은, 상기 로봇이 상기 식별된 식재료를 파지하는 동작이 실패하면 상기 파츠 피더를 통해 기 공급된 식재료의 배치를 변경하기 위한 제어 신호를 생성하는 단계를 포함할 수 있다.In addition, in the artificial intelligence-based food ingredient tracking method according to an embodiment of the present application, when the operation of the robot to grip the identified food material fails, a control signal for changing the arrangement of the food material previously supplied through the parts feeder is transmitted. It may include generating steps.

한편, 본원의 일 실시예에 따른 인공지능 기반의 식재료 추적 장치는, 식재료가 배치되는 공간을 촬영한 이미지를 수신하고, 상기 이미지에 포함된 객체의 경계 영역을 설정하는 객체 인식부, 기 학습된 인공지능 모델에 기초하여 상기 경계 영역에 대응하는 식재료를 식별하는 식재료 인식부, 상기 경계 영역에 기초하여 상기 식별된 식재료에 대한 규격 정보를 도출하는 연산부 및 상기 규격 정보에 기초하여 상기 식별된 식재료를 파지하기 위한 로봇의 제어 정보를 생성하는 파지 제어부를 포함할 수 있다.On the other hand, the artificial intelligence-based food ingredient tracking device according to an embodiment of the present application receives an image of a space where the food material is placed, and sets a boundary area of an object included in the image, an object recognition unit for setting a pre-learned A food ingredient recognition unit that identifies a food ingredient corresponding to the boundary area based on an artificial intelligence model, a calculation unit that derives standard information for the identified food ingredient based on the border area, and the identified food ingredient based on the standard information. It may include a gripping control unit that generates control information of the robot for gripping.

또한, 상기 객체 인식부는 상기 이미지에 복수 개의 객체가 등장하면, 상기 복수 개의 객체 각각에 대응하는 복수 개의 경계 영역을 구분하여 도출할 수 있다.In addition, when a plurality of objects appear in the image, the object recognizer may classify and derive a plurality of boundary areas corresponding to each of the plurality of objects.

또한, 상기 식재료 인식부는 상기 복수 개의 객체 각각이 소정의 식재료 유형에 부합할 확률 정보에 기초하여 상기 복수 개의 객체 중에서 상기 로봇을 통해 파지할 대상 식재료를 선택할 수 있다.In addition, the food ingredient recognizer may select a target ingredient to be grasped by the robot from among the plurality of objects based on probability information that each of the plurality of objects corresponds to a predetermined food ingredient type.

또한, 상기 연산부는 상기 식별된 식재료의 중심 위치, 너비 정보 및 높이 정보를 파악하고, 상기 파악된 중심 위치, 너비 정보 및 높이 정보에 기초하여 상기 식별된 식재료의 주축 정보 및 기울임 정보를 도출할 수 있다.In addition, the operation unit may determine the center position, width information, and height information of the identified food material, and derive main axis information and tilt information of the identified food material based on the identified center position, width information, and height information. there is.

또한, 상기 파지 제어부는 상기 주축 정보 및 상기 기울임 정보에 기초하여 상기 식별된 식재료를 파지하기 위한 상기 로봇의 그립 위치 및 그립 방향을 연산할 수 있다.Also, the gripping control unit may calculate a grip position and a grip direction of the robot for gripping the identified food ingredient based on the main axis information and the inclination information.

또한, 본원의 일 실시예에 따른 인공지능 기반의 식재료 추적 장치는, 상기 식재료 인식부에 의해 상기 이미지로부터 식재료가 미식별되면, 상기 파츠 피더를 통해 식재료를 새로이 공급하거나 기 공급된 식재료의 배치를 변경하기 위한 제어 신호를 생성하는 파츠 피더 제어부를 포함할 수 있다.In addition, the artificial intelligence-based food ingredient tracking device according to an embodiment of the present application, when food ingredients are not identified from the image by the food ingredient recognition unit, newly supplies ingredients through the parts feeder or arranges previously supplied ingredients. It may include a parts feeder control unit that generates a control signal for changing.

또한, 상기 파츠 피더 제어부는 상기 로봇이 상기 식별된 식재료를 파지하는 동작이 실패하면, 상기 파츠 피더를 통해 기 공급된 식재료의 배치를 변경하기 위한 제어 신호를 생성할 수 있다.In addition, the part feeder control unit may generate a control signal for changing the arrangement of the food material already supplied through the part feeder when the operation of the robot to hold the identified food material fails.

한편, 본원의 일 실시예에 따른 인공지능 기반의 식재료 추적 장치를 이용한 요리 로봇 시스템은, 식재료가 배치되는 공간을 촬영한 이미지를 생성하는 촬영 장치, 상기 이미지에 포함된 객체의 경계 영역을 설정하고, 기 학습된 인공지능 모델에 기초하여 상기 경계 영역에 대응하는 식재료를 식별하고, 상기 식별된 식재료를 파지하기 위한 로봇의 제어 정보를 생성하는 식재료 추적 장치 및 상기 제어 정보에 기초하여 상기 식별된 식재료를 파지하는 로봇을 포함할 수 있다.On the other hand, a cooking robot system using an artificial intelligence-based food ingredient tracking device according to an embodiment of the present application includes a photographing device for generating an image of a space in which food ingredients are placed, setting a boundary area of an object included in the image, and A food ingredient tracking device that identifies a food ingredient corresponding to the boundary area based on a pre-learned artificial intelligence model and generates control information of a robot for holding the identified food ingredient, and the identified food ingredient based on the control information It may include a robot that grips.

상술한 과제 해결 수단은 단지 예시적인 것으로서, 본원을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 추가적인 실시예가 존재할 수 있다.The above-described problem solving means are merely exemplary and should not be construed as intended to limit the present disclosure. In addition to the exemplary embodiments described above, additional embodiments may exist in the drawings and detailed description of the invention.

전술한 본원의 과제 해결 수단에 의하면, 인공지능 기반의 비전 인식을 통해 비정형 식재료를 인식하고, 인식 결과를 활용하여 식재료를 파지(Grabbing)하는 로봇을 제어하여 소정의 식재료를 원하는 위치로 이동시키는 등의 작업을 자동화할 수 있는 인공지능 기반의 식재료 추적 장치 및 방법과 이를 이용한 요리 로봇 시스템을 제공할 수 있다.According to the above-mentioned problem solving means of the present application, recognizing atypical food ingredients through artificial intelligence-based vision recognition, and using the recognition result to control a robot that grabs ingredients to move predetermined ingredients to a desired position, etc. It is possible to provide an artificial intelligence-based food ingredient tracking device and method capable of automating the work of, and a cooking robot system using the same.

다만, 본원에서 얻을 수 있는 효과는 상기된 바와 같은 효과들로 한정되지 않으며, 또 다른 효과들이 존재할 수 있다.However, the effects obtainable herein are not limited to the effects described above, and other effects may exist.

도 1은 본원의 일 실시예에 따른 인공지능 기반의 식재료 추적 장치를 포함하는 요리 로봇 시스템의 개략적인 구성을 나타낸 사시도이다.
도 2는 본원의 일 실시예에 따른 인공지능 기반의 식재료 추적 장치를 포함하는 요리 로봇 시스템의 개략적인 구성을 상측에서 바라본 평면도이다.
도 3은 식재료가 배치된 공간을 촬영한 이미지 및 이미지로부터 식별되는 식재료를 예시적으로 나타낸 도면이다.
도 4는 식별된 식재료를 파지하기 위하여 생성되는 로봇의 제어 정보를 설명하기 위한 개념도이다.
도 5는 파츠 피더의 개략적인 구성을 나타낸 사시도이다.
도 6은 본원의 일 실시예에 따른 인공지능 기반의 식재료 추적 장치의 개략적인 구성도이다.
도 7은 본원의 일 실시예에 따른 인공지능 기반의 식재료 추적 방법에 대한 동작 흐름도이다.1 is a perspective view showing a schematic configuration of a cooking robot system including an artificial intelligence-based ingredient tracking device according to an embodiment of the present disclosure.
2 is a plan view of a schematic configuration of a cooking robot system including an artificial intelligence-based ingredient tracking device according to an embodiment of the present disclosure, viewed from above.
3 is a diagram showing an image of a space in which ingredients are arranged and ingredients identified from the image by way of example.
4 is a conceptual diagram for explaining control information of a robot generated to hold the identified food material.
5 is a perspective view showing a schematic configuration of a parts feeder.
6 is a schematic configuration diagram of an artificial intelligence-based ingredient tracking device according to an embodiment of the present application.
7 is an operational flowchart for an artificial intelligence-based ingredient tracking method according to an embodiment of the present disclosure.

아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present application will be described in detail so that those skilled in the art can easily practice with reference to the accompanying drawings. However, the present disclosure may be implemented in many different forms and is not limited to the embodiments described herein. And in order to clearly describe the present application in the drawings, parts irrelevant to the description are omitted, and similar reference numerals are attached to similar parts throughout the specification.

본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결" 또는 "간접적으로 연결"되어 있는 경우도 포함한다. Throughout the present specification, when a part is said to be “connected” to another part, it is not only “directly connected”, but also “electrically connected” or “indirectly connected” with another element in between. "Including cases where

본원 명세서 전체에서, 어떤 부재가 다른 부재 "상에", "상부에", "상단에", "하에", "하부에", "하단에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.Throughout the present specification, when a member is referred to as being “on,” “above,” “on top of,” “below,” “below,” or “below” another member, this means that a member is located in relation to another member. This includes not only the case of contact but also the case of another member between the two members.

본원 명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.Throughout the present specification, when a certain component is said to "include", it means that it may further include other components without excluding other components unless otherwise stated.

본원은 인공지능 기반의 식재료 추적 장치 및 방법과 이를 이용한 요리 로봇 시스템에 관한 것이다.The present application relates to an artificial intelligence-based food ingredient tracking device and method, and a cooking robot system using the same.

도 1은 본원의 일 실시예에 따른 인공지능 기반의 식재료 추적 장치를 포함하는 요리 로봇 시스템의 개략적인 구성을 나타낸 사시도이고, 도 2는 본원의 일 실시예에 따른 인공지능 기반의 식재료 추적 장치를 포함하는 요리 로봇 시스템의 개략적인 구성을 상측에서 바라본 평면도이다.1 is a perspective view showing a schematic configuration of a cooking robot system including an artificial intelligence-based food ingredient tracking device according to an embodiment of the present invention, and FIG. 2 is an artificial intelligence-based food ingredient tracking device according to an embodiment of the present application. It is a plan view of the schematic configuration of the cooking robot system including the top view.

도 1 및 도 2를 참조하면, 본원의 일 실시예에 따른 요리 로봇 시스템(10)은 본원의 일 실시예에 따른 인공지능 기반의 식재료 추적 장치(100)(이하, '식재료 추적 장치(100)'라 한다.), 촬영 장치(200), 로봇(300) 및 파츠 피더(500)를 포함할 수 있다.1 and 2, the cooking robot system 10 according to an embodiment of the present application is an artificial intelligence-based food ingredient tracking device 100 (hereinafter referred to as 'food ingredient tracking device 100') according to an embodiment of the present application. '), a photographing device 200, a robot 300, and a parts feeder 500 may be included.

식재료 추적 장치(100), 촬영 장치(200), 로봇(300) 및 파츠 피더(500) 상호간은 네트워크(미도시)를 통해 통신할 수 있다. 네트워크(미도시)는 단말들 및 서버들과 같은 각각의 노드 상호간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크(미도시)의 일 예에는, 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, 5G 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), wifi 네트워크, 블루투스(Bluetooth) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.The ingredient tracking device 100, the photographing device 200, the robot 300, and the parts feeder 500 may communicate with each other through a network (not shown). A network (not shown) means a connection structure capable of exchanging information between nodes such as terminals and servers, and an example of such a network (not shown) includes a 3rd Generation Partnership Project (3GPP) network, LTE (Long Term Evolution) network, 5G network, WIMAX (World Interoperability for Microwave Access) network, Internet, LAN (Local Area Network), Wireless LAN (Wireless Local Area Network), WAN (Wide Area Network), PAN( Personal Area Network), wifi network, Bluetooth network, satellite broadcasting network, analog broadcasting network, DMB (Digital Multimedia Broadcasting) network, etc. are included, but are not limited thereto.

촬영 장치(200)는 식재료가 배치되는 공간을 촬영한 이미지를 생성할 수 있다. 예시적으로, 도 1 및 도 2를 참조하면, 촬영 장치(200)는 식재료가 배치되는 공간의 상측 영역에 설치되어 식재료가 배치된 하측 방향을 촬영 방향으로 하는 카메라일 수 있으나, 이에만 한정되는 것은 아니고, 본원의 구현예에 따라 촬영 장치(200)는 식재료가 배치되는 공간을 필요에 따라 다양한 방향에서 촬영할 수 있다.The photographing device 200 may generate an image obtained by photographing a space in which food ingredients are disposed. Illustratively, referring to FIGS. 1 and 2 , the photographing device 200 may be a camera installed in an upper region of a space where food ingredients are disposed and taking a photographing direction in the lower direction where the food ingredients are disposed, but is limited to this Rather, according to the embodiment of the present application, the photographing device 200 may photograph a space in which food ingredients are disposed in various directions as needed.

한편, 본원의 실시예에 관한 설명에서 식재료가 배치되는 공간은 식재료를 공급하는 파츠 피더(400)에 대하여 구비되는 것일 수 있다. 구체적으로, 파츠 피더(Part's Feeder, 400)는 소정의 부품, 식재료 등에 대한 가공, 조립, 검사, 포장 등의 작업(공정)을 자동화(무인화)하기 위하여 부품, 식재료 등을 특정한 흐름(방향, 위치 등)으로 지속 공급하는 디바이스를 의미하며, 본원에서 개시하는 파츠 피더(400)의 구체적인 구조 및 기능은 도 5를 참조하여 후술하도록 한다.On the other hand, in the description of the embodiment of the present application, the space in which the ingredients are disposed may be provided for the parts feeder 400 for supplying the ingredients. Specifically, the parts feeder (400) is a specific flow (direction, location) of parts and food ingredients in order to automate (unmanned) tasks (processes) such as processing, assembling, inspection, packaging, etc. etc.), and the specific structure and function of the parts feeder 400 disclosed herein will be described later with reference to FIG. 5 .

로봇(300)은 식재료 추적 장치(100)에 의해 생성된 제어 신호에 기초하여 식재료가 배치된 공간(예를 들면, 파츠 피더(400)의 소정 영역 등)과 식재료를 이동시키려는 목적 공간(예를 들면, 트레이(500) 등의 식재료 수납(수용) 공간이나 식재료에 대한 조리가 수행되는 조리 설비 등) 사이에서 왕복 거동하는 동작과 식재료를 파지(그랩)하는 동작을 수행하는 파지 수단(310)을 포함할 수 있다. 예시적으로, 파지 수단(310)은 로봇(300)의 로봇 암, 그리퍼(Gripper) 등을 의미하는 것일 수 있다.Based on the control signal generated by the food ingredient tracking device 100, the robot 300 is a space where ingredients are placed (eg, a predetermined area of the parts feeder 400, etc.) and a target space to move ingredients (eg, a predetermined area of the parts feeder 400) For example, the gripping unit 310 performs an operation of reciprocating between food storage (accommodating) spaces such as the tray 500 or a cooking facility where cooking of the food is performed and an operation of gripping (grabbing) the food. can include Illustratively, the gripping unit 310 may mean a robot arm or a gripper of the robot 300 .

이하에서는, 식재료 추적 장치(100)가 식재료가 배치되는 공간을 촬영한 이미지로부터 식재료를 인식(식별)하고, 식재료 식별 결과에 따라 해당 식재료를 파지하기 위한 로봇(300)의 제어 정보를 생성하는 프로세스에 대해 상세히 설명하도록 한다.Hereinafter, a process in which the food ingredient tracking device 100 recognizes (identifies) the food material from an image of a space where the food material is placed and generates control information for the robot 300 to hold the food material according to the food ingredient identification result. to explain in detail.

식재료 추적 장치(100)는 식재료가 배치되는 공간을 촬영한 이미지를 수신할 수 있다. 예를 들어, 식재료 추적 장치(100)는 촬영 장치(200)로부터 이미지를 수신할 수 있다.The ingredient tracking device 100 may receive an image of a space in which ingredients are placed. For example, the ingredient tracking device 100 may receive an image from the photographing device 200 .

도 3은 식재료가 배치된 공간을 촬영한 이미지 및 이미지로부터 식별되는 식재료를 예시적으로 나타낸 도면이다.3 is a diagram showing an image of a space in which ingredients are arranged and ingredients identified from the image by way of example.

도 3을 참조하면, 식재료 추적 장치(100)는 수신된 이미지에 포함된 객체의 경계 영역을 설정할 수 있다. 예시적으로, 도 3에 도시된 이미지가 식재료 추적 장치(100)로 인가된 경우, 식재료 추적 장치(100)는 이미지에 등장하는 두 객체가 서로 구분되는 별도의 객체인 것으로 파악하고, 제1객체(1a)에 대한 제1경계 영역(11a) 및 제2객체(1b)에 대한 제2경계 영역(11b)을 구분하여 도출할 수 있다.Referring to FIG. 3 , the food ingredient tracking device 100 may set a boundary area of an object included in a received image. Illustratively, when the image shown in FIG. 3 is applied to the food ingredient tracking device 100, the food ingredient tracking device 100 determines that two objects appearing in the image are separate objects that are distinguished from each other, and the first object The first boundary area 11a for (1a) and the second boundary area 11b for the second object 1b can be derived separately.

달리 말해, 경계 영역은 이미지 상에 등장하는 소정의 객체에 해당하는 내부 영역과 해당 객체가 아닌 외부의 배경 영역을 구분 짓는 윤곽(외곽)을 의미할 수 있다. 예시적으로, 식재료 추적 장치(100)는 등장 객체의 최외곽 지점에 해당하는 복수의 지점을 연결하는 방식으로 경계 영역을 도출하는 것일 수 있다.In other words, the boundary area may refer to an outline (outline) separating an inner area corresponding to a predetermined object appearing on the image and an external background area other than the corresponding object. For example, the food ingredient tracking device 100 may derive a boundary area by connecting a plurality of points corresponding to the outermost points of the appearing object.

즉, 식재료 추적 장치(100)는 수신된 이미지에 복수 개의 객체가 등장하면, 복수 개의 객체 각각에 대응하는 복수 개의 경계 영역을 구분하여 도출할 수 있다.That is, when a plurality of objects appear in the received image, the food ingredient tracking device 100 may differentiate and derive a plurality of boundary areas corresponding to each of the plurality of objects.

이와 관련하여, 본원의 일 실시예에 따르면 식재료 추적 장치(100)는 수신(입력)된 이미지의 픽셀별 색상 정보에 기초하여 이미지로부터 객체의 등장(존재) 여부 및 등장 객체의 경계 영역을 추출하는 영역 분할(Segmentation) 알고리즘을 보유할 수 있다.In this regard, according to an embodiment of the present application, the food ingredient tracking device 100 extracts whether an object appears (existence) and a boundary area of the appearing object from the image based on color information for each pixel of the received (input) image. It may have a segmentation algorithm.

또한, 식재료 추적 장치(100)는 기 학습된 인공지능 모델에 기초하여 경계 영역에 대응하는 식재료를 식별할 수 있다. 구체적으로, 식재료 추적 장치(100)는 이미지에 복수 개의 객체가 등장하여 복수 개의 객체 각각에 대한 경계 영역이 도출되고 나면, 복수 개의 객체 각각이 미리 설정된 소정의 식재료 유형에 부합할 확률 정보에 기초하여 복수 개의 객체 중에서 로봇(300)을 통해 파지할 대상 식재료를 선택할 수 있다.In addition, the ingredient tracking device 100 may identify ingredients corresponding to the boundary area based on the pre-learned artificial intelligence model. Specifically, after a plurality of objects appear in the image and the boundary area for each of the plurality of objects is derived, the food ingredient tracking device 100 based on probability information that each of the plurality of objects matches a predetermined food ingredient type Among a plurality of objects, the robot 300 may select a target ingredient to be gripped.

구체적으로, 본원의 일 실시예에 따르면 식재료 추적 장치(100)는 이미지에 등장하는 복수의 객체 중 소정의 식재료 유형에 부합할 확률 정보가 최대인 객체를 대상 식재료로 선정할 수 있다.Specifically, according to an embodiment of the present application, the food ingredient tracking device 100 may select an object having a maximum probability information corresponding to a predetermined food ingredient type among a plurality of objects appearing in an image as a target food ingredient.

예시적으로, 식재료 추적 장치(100)가 사용자 입력 등을 통해 소정의 식재료 유형(예를 들면, 치킨 등)을 식별 및 파지하도록 설정된 경우, 식재료 추적 장치(100)는 수신된 이미지에 등장하는 객체 각각이 해당 식재료 유형에 부합할 확률을 기 학습된 인공지능 모델을 통해 연산하고, 연산된 확률이 가장 높은 객체를 로봇(300)을 통해 파지할 대상 식재료로 선정할 수 있다.Exemplarily, when the food ingredient tracking device 100 is set to identify and grasp a predetermined type of food ingredient (eg, chicken, etc.) through a user input, the food ingredient tracking device 100 is an object appearing in the received image. The probability that each corresponds to the corresponding food material type is calculated through a pre-learned artificial intelligence model, and an object having the highest calculated probability may be selected as a target food material to be grasped through the robot 300 .

이와 관련하여, 식재료에 해당하는 객체가 주로 비정형의 형상을 가지는 것을 고려하여, 본원에서의 기 학습된 인공지능 모델은 비정형 물체(객체)의 인식을 위한 Mask R-CNN(Regional Convolution Neural Network) 모델일 수 있다. 보다 구체적으로, 해당 인공지능 모델은 이미지에 대한 학습을 위한 백본 망(Backbone network)으로서 FPN(Feature Pyramid Network)을 사용하여 전체 이미지로부터 특정 물체(식재료)에 대한 인식을 빠르게 학습하도록 구현하고, ResNet(Residual Network) 기반의 50 또는 101의 은닉층(hidden layer)을 포함하도록 구현하여 관심 영역(RoI, Region of Interest)을 보다 빠르게 인식하도록 학습이 이루어진 모델일 수 있다. 또한, 이러한 인공지능 모델의 학습에는 각종 식재료의 비정형 모양(형상)을 다양하게 반영하는 기 수집된 학습 이미지가 활용될 수 있다.In this regard, considering that objects corresponding to food ingredients mainly have atypical shapes, the pre-learned artificial intelligence model in the present application is a Mask R-CNN (Regional Convolution Neural Network) model for recognizing atypical objects (objects). can be More specifically, the artificial intelligence model uses FPN (Feature Pyramid Network) as a backbone network for learning images to quickly learn recognition of a specific object (food ingredient) from the entire image, and uses ResNet (Residual Network)-based 50 or 101 hidden layers may be implemented to include a model that has been learned to more quickly recognize a region of interest (RoI). In addition, pre-collected learning images that variously reflect atypical shapes (shapes) of various food ingredients can be used to learn such an artificial intelligence model.

다만, 식재료 식별을 위한 인공지능 모델의 유형은 전술한 Mask R-CNN 모델로 한정되는 것은 아니며, 본원에서는 종래에 이미 공지되었거나 향후 개발되는 다양한 인공지능 기반의 객체 인식 알고리즘 모델 또는 영상 분석 모델이 적용될 수 있다.However, the type of artificial intelligence model for food ingredient identification is not limited to the aforementioned Mask R-CNN model, and in this application, various artificial intelligence-based object recognition algorithm models or image analysis models that have been previously known or developed in the future can be applied. can

또한, 식재료 추적 장치(100)는 경계 영역에 기초하여 식별된 식재료(대상 식재료)에 대한 규격 정보를 도출할 수 있다. 구체적으로, 식재료 추적 장치(100)는 수신된 이미지에 대한 이미지 분석을 통해 식별된 식재료의 중심 위치, 너비 정보(width) 및 높이 정보(height)를 파악할 수 있다. 예시적으로, 도 4를 참조하면, 이미지가 식재료가 배치되는 공간을 상측에서 촬영한 평면 이미지인 경우, 해당 이미지의 각 위치는 가로축(도 4의 x축)과 세로축(도 4의 y축)을 기준으로 한 2차원 좌표계 상에서 정의될 수 있다.In addition, the ingredient tracking device 100 may derive standard information for the identified ingredient (target ingredient) based on the boundary area. Specifically, the food ingredient tracking device 100 may grasp the center position, width information, and height information of the food material identified through image analysis of the received image. Illustratively, referring to FIG. 4, if the image is a planar image taken from above of a space where food ingredients are placed, each position of the image is a horizontal axis (x axis in FIG. 4) and a vertical axis (y axis in FIG. 4) It can be defined on a two-dimensional coordinate system based on .

이와 관련하여, 식재료 추적 장치(100)는 식재료 각각에 대하여 도출된 경계 영역의 국부적인 형상을 종합 고려하여 도출되는 밀도 정보, 식별된 식재료 유형에 대하여 기 분석된 형상 패턴 정보 등을 고려하여 식별된 식재료(대상 식재료)의 중심 위치(예를 들면, 무게 중심)의 좌표를 결정하고, 경계 영역의 가로축 기준 최대 길이인 너비 정보(width) 및 경계 영역의 세로축 기준 최대 높이인 높이 정보(height)를 분석하는 것일 수 있으나, 이에만 한정되는 것은 아니다.In this regard, the food ingredient tracking device 100 considers density information derived by comprehensively considering the local shape of the boundary area derived for each food material, shape pattern information previously analyzed for the identified food material type, and the like. Determine the coordinates of the center position (eg, center of gravity) of the food material (target food material), and determine the width information (width), which is the maximum horizontal axis length of the border area, and the height information (height), which is the maximum height based on the vertical axis of the border area. It may be analyzed, but is not limited thereto.

도 4는 식별된 식재료를 파지하기 위하여 생성되는 로봇의 제어 정보를 설명하기 위한 개념도이다.4 is a conceptual diagram for explaining control information of a robot generated to hold the identified food material.

도 4를 참조하면, 식재료 추적 장치(100)는 파악된 중심 위치, 너비 정보 및 높이 정보에 기초하여 식별된 식재료(대상 식재료)의 주축 정보(main axis) 및 기울임 정보(degree)를 도출할 수 있다. 이해를 돕기 위해 예시하면, 도 3에는 제1객체(1a) 및 제2객체(1b) 각각에 대하여 도출되는 주축이 진한 실선으로 객체 영역 내에 표시되어 있다.Referring to FIG. 4 , the food ingredient tracking device 100 may derive main axis information and inclination information (degree) of the identified food ingredient (target food ingredient) based on the identified center position, width information, and height information. there is. As an example for ease of understanding, in FIG. 3 , main axes derived for each of the first object 1a and the second object 1b are indicated by thick solid lines in the object area.

이와 관련하여, 식별된 식재료에 대한 주축 정보(main axis)는 도출된 경계 영역의 국부적인 형상을 종합 고려하여 도출되는 밀도 정보, 식별된 식재료 유형에 대하여 기 분석된 형상 패턴 정보 등을 고려하여 설정될 수 있으며, 앞서 설정된 중심 위치를 통과하도록 설정될 수 있다.In this regard, the main axis information for the identified food material is set in consideration of density information derived by comprehensively considering the local shape of the derived boundary area, shape pattern information previously analyzed for the identified food material type, and the like. It can be, and it can be set to pass through the previously set center position.

본원의 일 실시예에 따르면, 식재료 추적 장치(100)는 주성분 분석(PCA, Principle Component Analysis)에 기초하여 대상 식재료에 대한 주축(main axis)을 도출할 수 있다.According to one embodiment of the present application, the ingredient tracking device 100 may derive a main axis for the target ingredient based on principle component analysis (PCA).

또한, 기울임 정보(degree)는 이미지의 좌표 축(예를 들면, 가로축인 x축 등) 중 어느 하나를 기준으로 하여, 도출된 주축(main axis)이 기울어진 각도를 의미하는 것일 수 있다.In addition, the tilt information (degree) may mean an angle at which the derived main axis is tilted based on one of the coordinate axes (eg, the horizontal axis, such as the x-axis) of the image.

또한, 식재료 추적 장치(100)는 규격 정보에 기초하여 식별된 식재료(대상 식재료)를 파지하기 위한 로봇(300)의 제어 정보를 생성하고, 생성된 제어 정보를 로봇(300)의 제어부(320)로 전송할 수 있다. 예시적으로, 로봇(300)의 제어부(320)란 로봇(300)의 구동(예를 들면, 파지 수단(310)의 이동 등)을 제어하는 컨트롤 박스(320)를 의미할 수 있으며, 로봇(300)은 식재료 추적 장치(100)로부터 수신한 제어 정보에 기초하여 대상 식재료를 정확하고 안정감있게 파지할 수 있는 위치 및 방향에 대응하도록 파지 수단(310)을 제어할 수 있다.In addition, the food ingredient tracking device 100 generates control information of the robot 300 for gripping the food ingredient (target food ingredient) identified based on the standard information, and sends the generated control information to the control unit 320 of the robot 300 can be sent to Illustratively, the control unit 320 of the robot 300 may mean a control box 320 that controls driving (eg, movement of the gripping means 310, etc.) of the robot 300, and the robot ( 300) may control the gripping means 310 to correspond to a position and direction capable of accurately and stably gripping the target ingredient based on the control information received from the ingredient tracking device 100.

구체적으로, 식재료 추적 장치(100)는 앞서 도출된 주축 정보(main axis) 및 기울임 정보(degree)에 기초하여 식별된 식재료(대상 식재료)를 파지하기 위한 로봇(300)의 파지 수단(310)의 그립 위치(도 3의 P) 및 그립 방향을 연산할 수 있다.Specifically, the food ingredient tracking device 100 is a gripping means 310 of the robot 300 for gripping the food ingredient (target food ingredient) identified based on the main axis information (main axis) and tilt information (degree) derived above. A grip position (P in FIG. 3) and a grip direction may be calculated.

도 4를 참조하여 보다 구체적으로 예시하면, 식재료 추적 장치(100)는 파지 수단(310)이 먼저 대상 식재료(1)에 대하여 파악된 대상 식재료(1)의 중심 위치(XC, YC, ZC)의 상측의 회전 위치(XC, YC, k)로 이동한 후 대상 식재료(1)가 기울어진 정도를 고려하여 연산된 파지 수단(310)의 그립 방향에 대응하도록 회전하고, 대상 식재료(1)에 대하여 연산된 그립 위치(X1, Y1, Z1)의 상측의 하강 위치(X1, Y1, k)로 이동한 후 하강 위치(X1, Y1, k)로부터 그립 위치(X1, Y1, Z1)로 하강하며 대상 식재료(1)를 파지하도록 제어되도록 하는 제어 신호를 생성할 수 있다.When exemplified in more detail with reference to FIG. 4 , the food ingredient tracking device 100 has the gripping means 310 first grasping the target food ingredient 1 at the center position (X C , Y C , Z After moving to the upper rotational position (X C , Y C , k) of C ), the target food material 1 is rotated to correspond to the grip direction of the calculated gripping means 310 in consideration of the degree of inclination of the target food material 1, and the target food material After moving to the descending position (X 1 , Y 1 , k) above the grip position (X 1 , Y 1 , Z 1 ) calculated for (1), grip from the descending position (X 1 , Y 1 , k) Position (X 1 , Y 1 , Z 1 ) It is possible to generate a control signal to be lowered and controlled to grip the target ingredient (1).

참고로, 본원의 일 실시예에 따르면, 파지 수단(310)은 그리퍼(Gripper) 등으로 달리 지칭될 수 있으며, 적어도 둘 이상의 집게 부재를 포함하도록 설계되어 집게 부재가 오므려지거나 펴지면서 대상 식재료를 파지하는 것일 수 있으나, 이에만 한정되는 것은 아니다.For reference, according to one embodiment of the present application, the gripping means 310 may be otherwise referred to as a gripper or the like, and is designed to include at least two tongs members, so that the tongs members are folded or unfolded to hold the target food material. It may be gripped, but is not limited thereto.

또한, 본원의 일 실시예에 따르면, 식재료 추적 장치(100)는 대상 식재료에 대하여 도출된 주축 정보 및 기울임 정보에 기초하여 경계 영역 내부의 복수의 위치(지점) 중 대상 식재료의 국부적인 밀도가 최소가 되는 영역으로 그립 위치를 결정할 수 있다. 달리 말해, 식재료 추적 장치(100)는 설정된 주축을 기준으로 한 상대적인 위치로서 그립 위치를 결정하되, 대상 식재료의 영역 중 상대적으로 얇은 위치를 로봇(300)의 파지 수단(310)이 파지하도록 하는 그립 위치를 대상 식재료의 규격 정보에 기초하여 연산할 수 있다.In addition, according to an embodiment of the present application, the food ingredient tracking device 100 has a local density of the target food ingredient among a plurality of locations (points) inside the boundary area based on the main axis information and the inclination information derived for the target food ingredient. The grip position can be determined by the area that becomes . In other words, the food ingredient tracking device 100 determines the grip position as a relative position based on the set main axis, but the grip means 310 of the robot 300 grips a relatively thin position in the area of the target food material. The location may be calculated based on standard information of the target food ingredient.

또한, 본원의 일 실시예에 따르면, 식재료 추적 장치(100)는 대상 식재료에 대하여 파악된 중심 위치, 주축 정보, 기울임 정보 및 그립 위치에 기초하여 대상 식재료를 안정적으로 파지(Grabbing)할 수 있는 최적의 그립 방향(각도)을 연산할 수 있다.In addition, according to an embodiment of the present application, the food ingredient tracking device 100 is optimal for stably grabbing the target food material based on the center position, main axis information, tilt information, and grip position of the target food material. The grip direction (angle) of can be calculated.

또한, 식재료 추적 장치(100)는 제어 신호가 로봇(300)으로 전송된 후의 로봇(300)의 파지 수단(310)으로부터 측정되는 파지 수단(310)에 가해지는 압력(Pressure), 힘(Force) 등에 대한 센싱 데이터를 기초로 로봇(300)의 대상 식재료에 대한 파지 동작이 성공하였는지 여부를 판단할 수 있다. 이와 관련하여, 식재료 추적 장치(100)는 로봇이 식별된 식재료(대상 식재료)를 파지하는 동작이 실패한 것으로 판단되면, 파츠 피더(400)를 통해 기 공급된 식재료의 배치를 변경하기 위한 제어 신호를 생성할 수 있다.In addition, the food ingredient tracking device 100 measures pressure and force applied to the gripping means 310 measured from the gripping means 310 of the robot 300 after the control signal is transmitted to the robot 300 Based on the sensing data for the back, it may be determined whether or not the robot 300 has successfully gripped the target food material. In this regard, the food ingredient tracking device 100 transmits a control signal for changing the arrangement of the food material already supplied through the parts feeder 400 when it is determined that the operation of holding the identified food material (target food material) by the robot has failed. can create

이하에서는, 도 5를 참조하여 본원에서의 파츠 피더(400)의 기능 및 구조와 식재료 추적 장치(100)에 의해 생성 및 전송되는 파츠 피더 제어 신호에 대해 설명하도록 한다.Hereinafter, the function and structure of the parts feeder 400 and the part feeder control signal generated and transmitted by the food ingredient tracking device 100 will be described with reference to FIG. 5 .

도 5는 파츠 피더의 개략적인 구성을 나타낸 사시도이다. 도 5를 참조하면, 파츠 피더(400)는 하부판(410), 상부판(420), 고정 프레임(430), 노커(411) 및 트랜스포터(421)를 포함할 수 있다.5 is a perspective view showing a schematic configuration of a parts feeder. Referring to FIG. 5 , the parts feeder 400 may include a lower plate 410, an upper plate 420, a fixed frame 430, a knocker 411, and a transporter 421.

도 5를 참조하면, 본원의 일 실시예에 따른 파츠 피더(400)는 전후방향(도 5 기준 4시에서 10시 방향)을 따라 이동하며 하부판(410)으로 식재료를 공급하는 상부판(420)을 포함할 수 있다. 한편, 상부판(420)은 전후방향으로 왕복 이동하는 트랜스포터(421)에 의해 거동하는 것일 수 있다.Referring to FIG. 5, the parts feeder 400 according to an embodiment of the present application moves along the front and back directions (4 o'clock to 10 o'clock direction in FIG. 5) and supplies ingredients to the lower plate 410. can include Meanwhile, the upper plate 420 may be moved by the transporter 421 reciprocating in the forward and backward directions.

달리 말해, 하부판(410)의 상면에는 상부판(420)으로부터 공급된 식재료가 배치될 수 있으며, 촬영 장치(200)는 하부판(410)의 상측에 배치되어 하부판(410)을 촬영한 이미지를 식재료 추적 장치(100)로 전송할 수 있다.In other words, ingredients supplied from the upper plate 420 may be disposed on the upper surface of the lower plate 410, and the photographing device 200 is disposed on the upper side of the lower plate 410 to capture images of the lower plate 410 as the food material. It can be transmitted to the tracking device 100.

도 5를 참조하면, 파츠 피더(400)의 하부판(410)은 노커(411)에 의해 상하방향(도 5 기준 12시에서 6시 방향)을 따라 거동할 수 있다. 구체적으로, 하부판(410)은 상하운동하는 노커(411)에 의해 상하로 진동할 수 있으며 식재료 추적 장치(100)는 로봇(300)의 대상 식재료 파지 동작이 실패하면 노커(411)가 상하로 이동하여 하부판(410)이 진동하도록 하는 파츠 피더 제어 신호를 파츠 피더(400)로 전송하여 하부판(410) 상면에 배치된 식재료의 배치를 변경할 수 있다.Referring to FIG. 5 , the lower plate 410 of the parts feeder 400 may move along the vertical direction (from 12 o'clock to 6 o'clock direction in FIG. 5 ) by the knocker 411 . Specifically, the lower plate 410 may vibrate up and down by the knocker 411 moving up and down, and in the food ingredient tracking device 100, when the robot 300 fails to grip the target food material, the knocker 411 moves up and down. The part feeder control signal for causing the lower plate 410 to vibrate may be transmitted to the parts feeder 400 to change the arrangement of ingredients disposed on the upper surface of the lower plate 410 .

또한, 필요에 따라서는 식재료 추적 장치(100)는 파지 동작이 실패한 경우가 아니더라도 수신된 이미지에 등장하는 식재료 간의 배치 상태를 기초로 다수의 식재료가 하부판(410) 상면에 동시에 배치된 경우 등에 대하여 노커(411)를 상하로 진동시켜 식재료 간의 엉킴을 방지할 수 있다.In addition, if necessary, the food ingredient tracking device 100 is a knocker for a case where a plurality of ingredients are simultaneously arranged on the upper surface of the lower plate 410 based on the arrangement state between the ingredients appearing in the received image even if the gripping operation is not failed. 411 can be vibrated up and down to prevent tangling between ingredients.

한편, 본원의 일 실시예에 따르면, 식재료 추적 장치(100)는 수신된 이미지로부터 식재료가 미식별(예를 들어, 아무런 객체가 이미지 내에 등장하지 않는 것으로 판단되거나 식별된 객체가 소정의 식재료 유형에 부합할 확률이 미리 설정된 임계 수준 미만인 경우 등)되면, 파츠 피더(400)를 통해 식재료를 새로이 공급하거나 기 공급된 식재료의 배치를 변경하기 위한 제어 신호를 생성할 수 있다. 여기서, 식재료를 새로이 공급하는 제어 신호는 파츠 피더(400)의 트랜스포터(421)를 전후방향으로 이동시키는 제어 신호일 수 있으며, 기 공급된 식재료의 배치를 변경하기 위한 제어 신호는 노커(411)를 상하방향으로 이동(진동)시키는 제어 신호일 수 있다.On the other hand, according to an embodiment of the present application, the food ingredient tracking device 100 does not identify the food ingredient from the received image (eg, it is determined that no object appears in the image or the identified object is a predetermined food ingredient type) When the matching probability is less than a preset threshold level, etc.), a control signal for newly supplying ingredients or changing the arrangement of previously supplied ingredients may be generated through the parts feeder 400 . Here, the control signal for newly supplying ingredients may be a control signal for moving the transporter 421 of the parts feeder 400 in the forward and backward directions, and the control signal for changing the arrangement of previously supplied ingredients may be the knocker 411 It may be a control signal that moves (vibrates) in the vertical direction.

도 6은 본원의 일 실시예에 따른 인공지능 기반의 식재료 추적 장치의 개략적인 구성도이다.6 is a schematic configuration diagram of an artificial intelligence-based ingredient tracking device according to an embodiment of the present application.

도 6을 참조하면, 식재료 추적 장치(100)는 객체 인식부(110), 식재료 인식부(120), 연산부(130), 파지 제어부(140) 및 파츠 피더 제어부(150)를 포함할 수 있다.Referring to FIG. 6 , the food ingredient tracking device 100 may include an object recognition unit 110, a food ingredient recognition unit 120, a calculation unit 130, a grip control unit 140, and a parts feeder control unit 150.

객체 인식부(110)는 식재료가 배치되는 공간을 촬영한 이미지를 수신하고, 수신된 이미지에 포함된 객체의 경계 영역을 설정할 수 있다. 또한, 객체 인식부(110)는 수신된 이미지에 복수 개의 객체가 등장하면, 복수 개의 객체 각각에 대응하는 복수 개의 경계 영역을 구분하여 도출할 수 있다.The object recognizing unit 110 may receive an image of a space in which food ingredients are placed and set a boundary area of an object included in the received image. In addition, when a plurality of objects appear in the received image, the object recognizer 110 may classify and derive a plurality of boundary areas corresponding to each of the plurality of objects.

식재료 인식부(120)는 기 학습된 인공지능 모델에 기초하여 설정된 경계 영역에 대응하는 식재료를 식별할 수 있다. 또한, 식재료 인식부(120)는 경계 영역이 도출된 복수 개의 객체 각각이 소정의 식재료 유형에 부합할 확률 정보에 기초하여 복수 개의 객체 중에서 로봇을 통해 파지할 대상 식재료를 선택할 수 있다.The ingredient recognition unit 120 may identify ingredients corresponding to the boundary area set based on the pre-learned artificial intelligence model. In addition, the food ingredient recognizer 120 may select a target ingredient to be grasped by the robot from among a plurality of objects based on probability information that each of the plurality of objects from which the boundary area is derived corresponds to a predetermined food ingredient type.

연산부(130)는 경계 영역에 기초하여 식별된 식재료에 대한 규격 정보를 도출할 수 있다. 구체적으로, 연산부(130)는 식별된 식재료의 중심 위치, 너비 정보 및 높이 정보를 파악하고, 파악된 중심 위치, 너비 정보 및 높이 정보에 기초하여 식별된 식재료의 주축 정보 및 기울임 정보를 도출할 수 있다.The calculation unit 130 may derive standard information for the identified food material based on the boundary area. Specifically, the calculation unit 130 may determine the center position, width information, and height information of the identified food material, and derive main axis information and tilt information of the identified food material based on the identified center position, width information, and height information. there is.

파지 제어부(140)는 도출된 식재료의 규격 정보에 기초하여 식별된 식재료를 파지하기 위한 로봇의 제어 정보를 생성할 수 있다. 구체적으로, 파지 제어부(140)는 식별된 식재료에 대하여 도출된 주축 정보 및 기울임 정보에 기초하여 식별된 식재료를 파지하기 위한 로봇(300)의 그립 위치 및 그립 방향을 연산할 수 있다.The gripping controller 140 may generate control information of a robot for gripping the identified food material based on the derived standard information of the food material. Specifically, the gripping controller 140 may calculate the grip position and grip direction of the robot 300 for gripping the identified food ingredient based on the principal axis information and inclination information derived for the identified food ingredient.

파츠 피더 제어부(150)는 식재료 인식부(120)에 의해 이미지로부터 식재료가 미식별되면, 파츠 피더(400)를 통해 식재료를 새로이 공급하거나 기 공급된 식재료의 배치를 변경하기 위한 파츠 피더(400)에 대한 제어 신호를 생성할 수 있다.The parts feeder control unit 150 uses the parts feeder 400 for newly supplying the ingredients through the parts feeder 400 or changing the arrangement of previously supplied ingredients when the ingredients are not identified from the image by the ingredient recognition unit 120. It is possible to generate a control signal for.

또한, 파츠 피더 제어부(150)는 로봇(300)이 제어 신호에 기초하여 식별된 식재료를 파지하는 동작이 실패하면, 파츠 피더(400)를 통해 기 공급된 식재료의 배치를 변경하기 위한 제어 신호를 생성할 수 있다.In addition, the parts feeder control unit 150 sends a control signal for changing the arrangement of the food material already supplied through the parts feeder 400 when the robot 300 fails in an operation of holding the identified food material based on the control signal. can create

이하에서는 상기에 자세히 설명된 내용을 기반으로, 본원의 동작 흐름을 간단히 살펴보기로 한다.Hereinafter, based on the details described above, the operation flow of the present application will be briefly reviewed.

도 7은 본원의 일 실시예에 따른 인공지능 기반의 식재료 추적 방법에 대한 동작 흐름도이다.7 is an operational flowchart for an artificial intelligence-based ingredient tracking method according to an embodiment of the present disclosure.

도 7에 도시된 인공지능 기반의 식재료 추적 방법은 앞서 설명된 식재료 추적 장치(100)에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 식재료 추적 장치(100)에 대하여 설명된 내용은 인공지능 기반의 식재료 추적 방법에 대한 설명에도 동일하게 적용될 수 있다.The artificial intelligence-based ingredient tracking method shown in FIG. 7 may be performed by the ingredient tracking device 100 described above. Therefore, even if the content is omitted below, the description of the ingredient tracking device 100 can be equally applied to the description of the artificial intelligence-based ingredient tracking method.

도 7을 참조하면, 단계 S11에서 객체 인식부(110)는 식재료가 배치되는 공간을 촬영한 이미지를 수신할 수 있다.Referring to FIG. 7 , in step S11, the object recognizing unit 110 may receive an image of a space in which ingredients are placed.

다음으로, 단계 S12에서 객체 인식부(110)는 수신된 이미지에서 객체가 등장하는지 여부를 판단할 수 있다. 만일, 단계 S12의 판단 결과, 수신된 이미지에 객체가 미등장(예를 들면, 식재료가 파츠 피더(400)에 의해 미공급된 상태 혹은 파츠 피더(400) 상에 식재료가 잘못 배치되어 이미지 상에 미반영된 상태 등)하는 것으로 판단되면, 단계 S121에서 파츠 피더 제어부(150)는 파츠 피더(400)를 통해 식재료를 새로이 공급하거나 기 공급된 식재료의 배치를 변경하기 위한 파츠 피더 제어 신호를 생성할 수 있다.Next, in step S12, the object recognizing unit 110 may determine whether an object appears in the received image. If, as a result of the determination in step S12, the object does not appear in the received image (for example, a state in which the food material is not supplied by the parts feeder 400 or the food material is incorrectly placed on the parts feeder 400 on the image) unreflected state, etc.), in step S121, the parts feeder control unit 150 may generate a parts feeder control signal for newly supplying ingredients through the parts feeder 400 or changing the arrangement of previously supplied ingredients. there is.

다음으로, 단계 S13에서 객체 인식부(110)는 이미지에 포함된 객체(이미지 내에 등장하는 객체)의 객체별 경계 영역을 설정할 수 있다. 달리 말해, 단계 S13에서 객체 인식부(110)는 이미지에 복수 개의 객체가 등장하면, 복수 개의 객체 각각에 대응하는 복수 개의 경계 영역을 구분하여 도출할 수 있다.Next, in step S13, the object recognizing unit 110 may set a boundary area for each object of the object included in the image (object appearing in the image). In other words, in step S13, if a plurality of objects appear in the image, the object recognizing unit 110 may classify and derive a plurality of boundary areas corresponding to each of the plurality of objects.

다음으로, 단계 S14에서 식재료 인식부(120)는 기 학습된 인공지능 모델에 기초하여 경계 영역에 대응하는 식재료를 식별할 수 있다. 구체적으로, 단계 S14에서 식재료 인식부(120)는 복수 개의 객체 각각이 소정의 식재료 유형에 부합할 확률 정보에 기초하여 복수 개의 객체 중에서 로봇(300)을 통해 파지할 대상 식재료를 선택할 수 있다.Next, in step S14, the ingredient recognition unit 120 may identify ingredients corresponding to the boundary area based on the pre-learned artificial intelligence model. Specifically, in step S14, the food ingredient recognizer 120 may select a target ingredient to be grasped by the robot 300 from among a plurality of objects based on probability information that each of the plurality of objects corresponds to a predetermined food ingredient type.

다음으로, 단계 S15에서 식재료 인식부(120)는 이미지로부터 식재료인 것으로 판단(식별)된 객체가 존재하는지 여부를 판단할 수 있다. 만일, 단계 S15의 판단 결과, 이미지로부터 식재료가 미식별되면(예를 들면, 식재료가 파츠 피더(400)에 의해 미공급된 상태 혹은 이미지 내 전체 등장 객체에 대하여 연산된 소정의 식재료 유형에 부합할 확률이 모두 임계 수준에 미치지 못하는 상태 등) 단계 S121을 통해 파츠 피더 제어부(150)가 파츠 피더(400)를 통해 식재료를 새로이 공급하거나 기 공급된 식재료의 배치를 변경하기 위한 파츠 피더 제어 신호를 생성할 수 있다.Next, in step S15, the food ingredient recognition unit 120 may determine whether an object determined (identified) to be food from the image exists. If, as a result of the determination in step S15, if the food material is not identified from the image (for example, the food material is unsupplied by the parts feeder 400 or meets a predetermined food material type calculated for all appearing objects in the image) All probabilities do not reach the critical level, etc.) Through step S121, the parts feeder control unit 150 generates a parts feeder control signal for newly supplying ingredients through the parts feeder 400 or changing the arrangement of previously supplied ingredients. can do.

다음으로, 단계 S16에서 연산부(130)는 경계 영역에 기초하여 식별된 식재료에 대한 규격 정보를 도출할 수 있다. 구체적으로, 본원의 일 실시예에 따르면, 단계 S16에서 연산부(130)는 식별된 식재료(대상 식재료)의 중심 위치, 너비 정보 및 높이 정보를 파악할 수 있다. 또한, 단계 S16에서 연산부(130)는 파악된 중심 위치, 너비 정보 및 높이 정보에 기초하여 식별된 식재료(대상 식재료)의 주축 정보 및 기울임 정보를 도출할 수 있다.Next, in step S16, the calculation unit 130 may derive standard information for the identified food material based on the boundary area. Specifically, according to an embodiment of the present application, in step S16, the calculation unit 130 may grasp the center position, width information, and height information of the identified food ingredient (target food ingredient). In addition, in step S16, the calculation unit 130 may derive main axis information and tilt information of the identified food ingredient (target food ingredient) based on the identified center position, width information, and height information.

다음으로, 단계 S17에서 파지 제어부(140)는 단계 S16에서 도출된 규격 정보에 기초하여 식별된 식재료(대상 식재료)를 파지하기 위한 로봇(300)의 제어 정보를 생성할 수 있다. 구체적으로, 단계 S17에서 파지 제어부(140)는 대상 식재료에 대하여 연산(도출)된 주축 정보 및 기울임 정보에 기초하여 식별된 식재료(대상 식재료)를 파지하기 위한 로봇(300)의 그립 위치 및 그립 방향을 연산할 수 있다.Next, in step S17, the gripping control unit 140 may generate control information for the robot 300 for gripping the identified food material (target food material) based on the standard information derived in step S16. Specifically, in step S17, the gripping control unit 140 determines the grip position and grip direction of the robot 300 for gripping the identified ingredient (target ingredient) based on the calculated (derived) principal axis information and tilt information for the target ingredient. can be computed.

다음으로, 단계 S18에서 로봇(300)은 식재료 추적 장치(100)로부터 로봇(300)의 제어 정보를 수신하고, 제어 정보에 대응하여 파지 수단(310)을 이용해 대상 식재료를 파지할 수 있다.Next, in step S18, the robot 300 may receive control information of the robot 300 from the food ingredient tracking device 100, and use the gripping means 310 to grip the target ingredient in response to the control information.

만일, 단계 S18에서 로봇(300)의 파지 수단(310)을 이용한 대상 식재료에 대한 파지 동작이 실패하면, 단계 S181에서 파츠 피더 제어부(150)는 파츠 피더(400)를 통해 기 공급된 식재료의 배치를 변경하기 위한 제어 신호를 생성할 수 있다.If, in step S18, the gripping operation for the target food material using the gripping means 310 of the robot 300 fails, in step S181, the parts feeder controller 150 arranges the food material pre-supplied through the parts feeder 400. It is possible to generate a control signal for changing.

상술한 설명에서, 단계 S11 내지 S18은 본원의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.In the foregoing description, steps S11 to S18 may be further divided into additional steps or combined into fewer steps, depending on an embodiment of the present invention. Also, some steps may be omitted if necessary, and the order of steps may be changed.

본원의 일 실시예에 따른 본원의 일 실시예에 따른 인공지능 기반의 식재료 추적 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Artificial intelligence-based ingredient tracking method according to an embodiment of the present application according to an embodiment of the present application may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. Program instructions recorded on the medium may be those specially designed and configured for the present invention or those known and usable to those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. - includes hardware devices specially configured to store and execute program instructions, such as magneto-optical media, and ROM, RAM, flash memory, and the like. Examples of program instructions include high-level language codes that can be executed by a computer using an interpreter, as well as machine language codes such as those produced by a compiler. The hardware devices described above may be configured to act as one or more software modules to perform the operations of the present invention, and vice versa.

또한, 전술한 본원의 일 실시예에 따른 인공지능 기반의 식재료 추적 방법은 기록 매체에 저장되는 컴퓨터에 의해 실행되는 컴퓨터 프로그램 또는 애플리케이션의 형태로도 구현될 수 있다.In addition, the artificial intelligence-based food ingredient tracking method according to an embodiment of the present application described above may be implemented in the form of a computer program or application executed by a computer stored in a recording medium.

전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.The above description of the present application is for illustrative purposes, and those skilled in the art will understand that it can be easily modified into other specific forms without changing the technical spirit or essential features of the present application. Therefore, the embodiments described above should be understood as illustrative in all respects and not limiting. For example, each component described as a single type may be implemented in a distributed manner, and similarly, components described as distributed may be implemented in a combined form.

본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present application is indicated by the following claims rather than the detailed description above, and all changes or modifications derived from the meaning and scope of the claims and equivalent concepts thereof should be construed as being included in the scope of the present application.

10: 요리 로봇 시스템
1: 식재료
100: 인공지능 기반의 식재료 추적 장치
110: 객체 인식부
120: 식재료 인식부
130: 연산부
140: 파지 제어부
150: 파츠 피더 제어부
200: 촬영 장치
300: 로봇
310: 파지 수단
400: 파츠 피더10: Cooking robot system
1: Ingredients
100: AI-based ingredient tracking device
110: object recognition unit
120: Food ingredient recognition unit
130: calculation unit
140: grip control unit
150: parts feeder control unit
200: shooting device
300: robot
310: gripping means
400: parts feeder

Claims (15)

인공지능 기반의 식재료 추적 방법에 있어서,
식재료가 배치되는 공간을 촬영한 이미지를 수신하는 단계;
상기 이미지에 포함된 객체의 내부 영역과 상기 객체가 아닌 외부의 배경 영역을 구분 짓는 윤곽으로서, 상기 객체의 최외곽 지점에 해당하는 복수의 지점을 연결하는 방식으로 도출되는 경계 영역을 설정하는 단계;
기 학습된 인공지능 모델에 기초하여 상기 경계 영역에 대응하는 식재료를 식별하는 단계;
상기 경계 영역에 기초하여 상기 식별된 식재료에 대한 규격 정보를 도출하는 단계; 및
상기 규격 정보에 기초하여 상기 식별된 식재료를 파지하기 위한 로봇의 제어 정보를 생성하는 단계,
를 포함하되,
상기 규격 정보를 도출하는 단계는,
상기 경계 영역의 형상 및 상기 식별된 식재료 유형에 대하여 기 분석된 형상 패턴 정보를 고려하여 상기 식별된 식재료의 중심 위치, 너비 정보 및 높이 정보를 파악하는 단계; 및
상기 파악된 중심 위치, 너비 정보 및 높이 정보에 기초하여 상기 식별된 식재료의 주축 정보 및 기울임 정보를 도출하는 단계,
를 포함하고,
상기 제어 정보를 생성하는 단계는,
상기 주축 정보 및 상기 기울임 정보에 기초하여 상기 식재료를 파지하기 위한 상기 로봇의 그립 위치 및 그립 방향을 연산하는 것이고,
상기 식재료가 배치되는 공간은,
상기 식재료를 공급하는 파츠 피더에 대하여 구비되고,
상기 이미지에 객체가 미등장하거나 식별된 객체가 소정의 식재료의 유형에 부합할 확률이 미리 설정된 임계 수준 미만인 것으로 판단되거나 상기 로봇의 파지 수단에 가해지는 압력에 대한 센싱 데이터에 기초하여 상기 식별된 식재료를 파지하는 상기 로봇의 동작이 실패한 것으로 판단되면, 상기 파츠 피더에 대한 제어 신호를 생성하는 단계,
를 더 포함하고,
상기 파츠 피더에 대한 제어 신호는 식재료를 새로이 공급하기 위하여 상기 파츠 피더의 트랜스포터를 전후방향으로 이동시키는 제어 신호 및 기 공급된 식재료의 배치를 변경하기 위하여 상기 파츠 피더의 노커를 상하방향으로 진동시키는 제어 신호 중 적어도 하나를 포함하는 것인,
식재료 추적 방법.In the artificial intelligence-based food ingredient tracking method,
Receiving an image of a space in which ingredients are placed;
setting a boundary region derived by connecting a plurality of points corresponding to an outermost point of the object as a contour dividing an inner region of the object included in the image and an external background region other than the object;
Identifying food ingredients corresponding to the boundary area based on a pre-learned artificial intelligence model;
deriving standard information for the identified food ingredient based on the boundary area; and
Generating control information of a robot for gripping the identified food ingredient based on the standard information;
Including,
The step of deriving the standard information,
figuring out the center position, width information, and height information of the identified food ingredient in consideration of the shape of the boundary area and shape pattern information pre-analyzed for the identified food material type; and
Deriving main axis information and tilt information of the identified food ingredient based on the identified center position, width information, and height information;
including,
Generating the control information,
calculating the grip position and grip direction of the robot for gripping the food ingredient based on the main axis information and the inclination information;
The space in which the food is placed is
It is provided for a parts feeder for supplying the food material,
The object does not appear in the image, or it is determined that the probability that the identified object matches the type of the predetermined food ingredient is less than a preset threshold level, or the identified food ingredient based on sensing data for pressure applied to the gripping means of the robot Generating a control signal for the parts feeder when it is determined that the operation of the robot holding the has failed;
Including more,
The control signal for the parts feeder is a control signal for moving the transporter of the parts feeder in the forward and backward directions in order to newly supply food ingredients, and a control signal for vibrating the knocker of the parts feeder in the up and down direction to change the arrangement of previously supplied ingredients. Including at least one of the control signals,
How to track ingredients. 제1항에 있어서,
상기 경계 영역을 설정하는 단계는,
상기 이미지에 복수 개의 객체가 등장하면, 상기 복수 개의 객체 각각에 대응하는 복수 개의 경계 영역을 구분하여 도출하는 것인, 식재료 추적 방법.According to claim 1,
The step of setting the boundary area,
When a plurality of objects appear in the image, a plurality of boundary areas corresponding to each of the plurality of objects are separated and derived. 제2항에 있어서,
상기 식재료를 식별하는 단계는,
상기 복수 개의 객체 각각이 소정의 식재료 유형에 부합할 확률 정보에 기초하여 상기 복수 개의 객체 중에서 상기 로봇을 통해 파지할 대상 식재료를 선택하는 단계,
를 포함하는 것인, 식재료 추적 방법.According to claim 2,
The step of identifying the ingredients is,
Selecting a target food ingredient to be gripped by the robot from among the plurality of objects based on probability information that each of the plurality of objects corresponds to a predetermined food material type;
To include, food ingredient tracking method. 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 인공지능 기반의 식재료 추적 장치에 있어서,
식재료가 배치되는 공간을 촬영한 이미지를 수신하고, 상기 이미지에 포함된 객체의 내부 영역과 상기 객체가 아닌 외부의 배경 영역을 구분 짓는 윤곽으로서, 상기 객체의 최외곽 지점에 해당하는 복수의 지점을 연결하는 방식으로 도출되는 경계 영역을 설정하는 객체 인식부;
기 학습된 인공지능 모델에 기초하여 상기 경계 영역에 대응하는 식재료를 식별하는 식재료 인식부;
상기 경계 영역에 기초하여 상기 식별된 식재료에 대한 규격 정보를 도출하는 연산부; 및
상기 규격 정보에 기초하여 상기 식별된 식재료를 파지하기 위한 로봇의 제어 정보를 생성하는 파지 제어부,
를 포함하되,
상기 연산부는,
상기 경계 영역의 형상 및 상기 식별된 식재료 유형에 대하여 기 분석된 형상 패턴 정보를 고려하여 상기 식별된 식재료의 중심 위치, 너비 정보 및 높이 정보를 파악하고, 상기 파악된 중심 위치, 너비 정보 및 높이 정보에 기초하여 상기 식별된 식재료의 주축 정보 및 기울임 정보를 도출하고,
상기 파지 제어부는,
상기 주축 정보 및 상기 기울임 정보에 기초하여 상기 식별된 식재료를 파지하기 위한 상기 로봇의 그립 위치 및 그립 방향을 연산하는 것이고,
상기 식재료가 배치되는 공간은,
상기 식재료를 공급하는 파츠 피더에 대하여 구비되고,
상기 이미지에 객체가 미등장하거나 식별된 객체가 소정의 식재료의 유형에 부합할 확률이 미리 설정된 임계 수준 미만인 것으로 판단되거나 상기 로봇의 파지 수단에 가해지는 압력에 대한 센싱 데이터에 기초하여 상기 식별된 식재료를 파지하는 상기 로봇의 동작이 실패한 것으로 판단되면, 상기 파츠 피더에 대한 제어 신호를 생성하는 파츠 피더 제어부,
를 더 포함하고,
상기 파츠 피더에 대한 제어 신호는 식재료를 새로이 공급하기 위하여 상기 파츠 피더의 트랜스포터를 전후방향으로 이동시키는 제어 신호 및 기 공급된 식재료의 배치를 변경하기 위하여 상기 파츠 피더의 노커를 상하방향으로 진동시키는 제어 신호 중 적어도 하나를 포함하는 것인,
식재료 추적 장치.In the artificial intelligence-based food tracking device,
A plurality of points corresponding to the outermost points of the object are received as an outline dividing the interior area of the object included in the image and the external background area other than the object. an object recognition unit that sets a boundary area derived by a connecting method;
a food ingredient recognition unit that identifies foodstuffs corresponding to the boundary area based on a pre-learned artificial intelligence model;
a calculation unit for deriving standard information for the identified food ingredient based on the boundary area; and
A gripping controller for generating control information of a robot for gripping the identified food material based on the standard information;
Including,
The calculation unit,
The center position, width information, and height information of the identified food material are determined in consideration of the shape of the boundary area and the shape pattern information pre-analyzed for the identified food material type, and the identified center position, width information, and height information Derive principal axis information and tilt information of the identified food ingredient based on,
The grip control unit,
Calculating the grip position and grip direction of the robot for gripping the identified food ingredient based on the main axis information and the inclination information,
The space in which the food is placed is
It is provided for a parts feeder for supplying the food material,
The object does not appear in the image, or it is determined that the probability that the identified object matches the type of the predetermined food ingredient is less than a preset threshold level, or the identified food ingredient based on sensing data on the pressure applied to the gripping means of the robot If it is determined that the operation of the robot gripping the part has failed, a parts feeder control unit generating a control signal for the parts feeder;
Including more,
The control signal for the parts feeder is a control signal for moving the transporter of the parts feeder in the forward and backward directions in order to newly supply food ingredients, and a control signal for vibrating the knocker of the parts feeder in the up and down direction to change the arrangement of previously supplied ingredients. Including at least one of the control signals,
Food tracking device. 제9항에 있어서,
상기 객체 인식부는,
상기 이미지에 복수 개의 객체가 등장하면, 상기 복수 개의 객체 각각에 대응하는 복수 개의 경계 영역을 구분하여 도출하고,
상기 식재료 인식부는,
상기 복수 개의 객체 각각이 소정의 식재료 유형에 부합할 확률 정보에 기초하여 상기 복수 개의 객체 중에서 상기 로봇을 통해 파지할 대상 식재료를 선택하는 것인, 식재료 추적 장치.According to claim 9,
The object recognition unit,
When a plurality of objects appear in the image, a plurality of boundary regions corresponding to each of the plurality of objects are distinguished and derived;
The food ingredient recognition unit,
Selecting a target food material to be gripped by the robot from among the plurality of objects based on probability information that each of the plurality of objects corresponds to a predetermined food material type, food ingredient tracking device. 삭제delete 삭제delete 삭제delete 삭제delete 인공지능 기반의 식재료 추적 장치를 이용한 요리 로봇 시스템에 있어서,
식재료가 배치되는 공간을 촬영한 이미지를 생성하는 촬영 장치;
상기 이미지에 포함된 객체의 내부 영역과 상기 객체가 아닌 외부의 배경 영역을 구분 짓는 윤곽으로서, 상기 객체의 최외곽 지점에 해당하는 복수의 지점을 연결하는 방식으로 도출되는 경계 영역을 설정하고, 기 학습된 인공지능 모델에 기초하여 상기 경계 영역에 대응하는 식재료를 식별하고, 상기 식별된 식재료를 파지하기 위한 로봇의 제어 정보를 생성하는 식재료 추적 장치; 및
상기 제어 정보에 기초하여 상기 식별된 식재료를 파지하는 로봇,
을 포함하고,
상기 식재료 추적 장치는,
상기 경계 영역의 형상 및 상기 식별된 식재료 유형에 대하여 기 분석된 형상 패턴 정보를 고려하여 상기 식별된 식재료의 중심 위치, 너비 정보 및 높이 정보를 파악하고, 상기 파악된 중심 위치, 너비 정보 및 높이 정보에 기초하여 상기 식별된 식재료의 주축 정보 및 기울임 정보를 도출하고, 상기 주축 정보 및 상기 기울임 정보에 기초하여 상기 식별된 식재료를 파지하기 위한 상기 로봇의 그립 위치 및 그립 방향을 연산하고,
상기 식재료가 배치되는 공간은,
상기 식재료를 공급하는 파츠 피더에 대하여 구비되고,
상기 식재료 추적 장치는,
상기 이미지에 객체가 미등장하거나 식별된 객체가 소정의 식재료의 유형에 부합할 확률이 미리 설정된 임계 수준 미만인 것으로 판단되거나 상기 로봇의 파지 수단에 가해지는 압력에 대한 센싱 데이터에 기초하여 상기 식별된 식재료를 파지하는 상기 로봇의 동작이 실패한 것으로 판단되면, 상기 파츠 피더에 대한 제어 신호를 생성하되,
상기 파츠 피더에 대한 제어 신호는 식재료를 새로이 공급하기 위하여 상기 파츠 피더의 트랜스포터를 전후방향으로 이동시키는 제어 신호 및 기 공급된 식재료의 배치를 변경하기 위하여 상기 파츠 피더의 노커를 상하방향으로 진동시키는 제어 신호 중 적어도 하나를 포함하는 것인,
요리 로봇 시스템.In the cooking robot system using an artificial intelligence-based food ingredient tracking device,
A photographing device for generating an image of a space in which food is placed;
A boundary area derived by connecting a plurality of points corresponding to the outermost points of the object is set as a contour dividing the inner area of the object included in the image and the background area outside the object, a food ingredient tracking device that identifies a food ingredient corresponding to the boundary area based on the learned artificial intelligence model and generates control information of a robot for holding the identified food ingredient; and
A robot that grips the identified food ingredient based on the control information;
including,
The food tracking device,
The center position, width information, and height information of the identified food material are determined in consideration of the shape of the boundary area and the shape pattern information pre-analyzed for the identified food material type, and the identified center position, width information, and height information Deriving main axis information and inclination information of the identified food ingredient based on, calculating a grip position and a grip direction of the robot for gripping the identified food material based on the main axis information and the inclination information,
The space in which the food is placed is
It is provided for a parts feeder for supplying the food material,
The food tracking device,
The object does not appear in the image, or it is determined that the probability that the identified object matches the type of the predetermined food ingredient is less than a preset threshold level, or the identified food ingredient based on sensing data on the pressure applied to the gripping means of the robot When it is determined that the operation of the robot holding the has failed, a control signal for the parts feeder is generated,
The control signal for the parts feeder is a control signal for moving the transporter of the parts feeder in the forward and backward directions in order to newly supply food ingredients, and a control signal for vibrating the knocker of the parts feeder in the up and down direction to change the arrangement of previously supplied ingredients. Including at least one of the control signals,
cooking robot system.
KR1020210028557A 2021-03-04 2021-03-04 Apparatus and method for tracking food material and cooking robot system using the same KR102479343B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210028557A KR102479343B1 (en) 2021-03-04 2021-03-04 Apparatus and method for tracking food material and cooking robot system using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210028557A KR102479343B1 (en) 2021-03-04 2021-03-04 Apparatus and method for tracking food material and cooking robot system using the same

Publications (2)

Publication Number Publication Date
KR20220124894A KR20220124894A (en) 2022-09-14
KR102479343B1 true KR102479343B1 (en) 2022-12-19

Family

ID=83279520

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210028557A KR102479343B1 (en) 2021-03-04 2021-03-04 Apparatus and method for tracking food material and cooking robot system using the same

Country Status (1)

Country Link
KR (1) KR102479343B1 (en)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0780790A (en) * 1993-09-16 1995-03-28 Fujitsu Ltd Three-dimensional object grasping system
JPH0840522A (en) * 1994-08-01 1996-02-13 Toray Ind Inc Supply method for ring-shaped packing and its device
KR102178013B1 (en) * 2019-02-08 2020-11-12 한양대학교 산학협력단 Training data generation method and pose determination method for grasping object
KR102267514B1 (en) * 2019-07-29 2021-06-21 한국기계연구원 Method for picking and place object

Also Published As

Publication number Publication date
KR20220124894A (en) 2022-09-14

Similar Documents

Publication Publication Date Title
JP6822929B2 (en) Information processing equipment, image recognition method and image recognition program
US10695911B2 (en) Robot navigation and object tracking
JP6868684B2 (en) Methods, computer programs, devices and systems for separating at least one object from multiple objects
US11607807B2 (en) Machine learning methods and apparatus for automated robotic placement of secured object in appropriate location
US10946515B2 (en) Deep machine learning methods and apparatus for robotic grasping
US11794343B2 (en) System and method for height-map-based grasp execution
CN110640730B (en) Method and system for generating three-dimensional model for robot scene
WO2020022302A1 (en) Grasping device
JP2019509559A (en) Box location, separation, and picking using a sensor-guided robot
JP2022036243A5 (en)
JP2018027581A (en) Picking system
US20220324107A1 (en) Performance recreation system
US11185977B2 (en) Information processing apparatus, grasping system, and information processing method
JP7051751B2 (en) Learning device, learning method, learning model, detection device and gripping system
CN111882610A (en) Method for grabbing target object by service robot based on elliptical cone artificial potential field
JP2020121352A (en) Object gripping system
KR102479343B1 (en) Apparatus and method for tracking food material and cooking robot system using the same
CN112589795B (en) Vacuum chuck mechanical arm grabbing method based on uncertainty multi-frame fusion
Sileo et al. Real-time object detection and grasping using background subtraction in an industrial scenario
Vohra et al. Robot learning by Single Shot Imitation for Manipulation Tasks
Garcia-Fidalgo et al. Vision-Based Control for an AUV in a Multi-robot Undersea Intervention Task
Al-Shanoon et al. DeepNet‐Based 3D Visual Servoing Robotic Manipulation
US20240198515A1 (en) Transformation for covariate shift of grasp neural networks
US11961281B1 (en) Training and using computer vision model for item segmentations in images
JP2021070117A (en) Information processing device, information processing method, program, system, and manufacturing method of article

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant