WO2020111327A1 - 비접촉식 물건속성 인식장치 및 방법 - Google Patents

비접촉식 물건속성 인식장치 및 방법 Download PDF

Info

Publication number
WO2020111327A1
WO2020111327A1 PCT/KR2018/014950 KR2018014950W WO2020111327A1 WO 2020111327 A1 WO2020111327 A1 WO 2020111327A1 KR 2018014950 W KR2018014950 W KR 2018014950W WO 2020111327 A1 WO2020111327 A1 WO 2020111327A1
Authority
WO
WIPO (PCT)
Prior art keywords
label
attribute
weight
unit
volume
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2018/014950
Other languages
English (en)
French (fr)
Inventor
김영욱
전세웅
김동엽
신동인
정병진
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Korea Electronics Technology Institute
Original Assignee
Korea Electronics Technology Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Korea Electronics Technology Institute filed Critical Korea Electronics Technology Institute
Publication of WO2020111327A1 publication Critical patent/WO2020111327A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1602—Program controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1679—Program controls characterised by the tasks executed
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures

Definitions

  • the present invention relates to a non-contact object property recognition device and method, and specifically, to a non-contact object property recognition device and method capable of inferring the property of an object and performing necessary operations without having to directly listen to the object.
  • the robot recognizes the front using a camera sensor or the like, and controls its own movement using various motors.
  • the image input unit for inputting an input image and the input image received from the image input unit are patterned CNN learning unit based on the convolutional neural network (CNN) that learns the patterning module generated from multiple pattern images, the input image received from the image input unit and the pattern image received from the patterning module, and learning information from the CNN learning unit
  • CNN convolutional neural network
  • a deep learning system including a CNN execution unit that receives an input image received from the image input unit, and a final classification unit that receives image information from the CNN execution unit and classifies objects of image information by type. Using such a system, it is possible to learn to discern objects based on the received image.
  • the present invention is to solve the problems as described above, by classifying and grasping the type of the object, and further inferring the property of the identified object to properly control the behavior of the robot according to the inferred property.
  • the present invention is an image photographing unit for photographing an object;
  • a label generation unit that recognizes an object photographed by the image photographing unit, classifies the type of the object, and recognizes a corresponding label; It provides a non-contact object property recognition device comprising an attribute estimation unit for estimating an attribute corresponding to the label according to the label recognized by the label generator.
  • the non-contact object attribute recognition device includes an attribute database in which attributes corresponding to the label are stored, and the attribute estimator determines whether the label is a constant weight label, and if the weight is determined to be a constant weight label, the object is recognized from the captured image. It is preferable to perform a step of calculating a volume, detecting a weight attribute of the label from the attribute database and estimating the weight of the object using the calculated volume.
  • the attribute estimator determines whether the label is a constant weight label, and if it is determined that the weight is not constant, detecting the color difference of the object from the captured image, and estimating the volume of the content from the color difference; Estimating the weight of the object from the estimated volume may be performed.
  • the non-contact object attribute recognition device preferably includes an attribute database in which attributes corresponding to the label are stored, and the attribute estimator searches the attribute database to calculate the weight corresponding to the estimated volume.
  • an image photographing unit for photographing an object
  • a moving unit for grabbing and moving the object
  • a label generation unit that recognizes an object photographed by the image photographing unit, classifies the type of the object, and recognizes a corresponding label
  • An attribute estimation unit for estimating the weight corresponding to the label according to the label recognized by the label generator; It is configured to include a control unit for controlling the moving performance unit, the control unit provides an object moving device for changing the control method of the moving performance unit according to the weight estimated by the attribute estimation.
  • the moving performance unit includes a plurality of holding means for holding the object, and it is preferable that the object moving device changes the holding means according to the weight estimated by the attribute estimation.
  • the step of photographing the object by the image taking unit Recognizing an object photographed by the image photographing unit by a label generator and classifying the type of the object and recognizing a corresponding label;
  • a method for recognizing a non-contact object property that performs a step of estimating an attribute corresponding to the label according to a label recognized by the label generator by the attribute estimator.
  • the attribute estimator determines whether the label is a constant weight label, and if the weight is determined to be a constant label, calculating the volume of the object from the captured image, and the weight of the label from the attribute database storing the attribute corresponding to the label It is preferable to perform the step of detecting an attribute and estimating the weight of the object using the calculated volume.
  • the attribute estimator determines whether the label is a constant weight label, and if it is determined that the weight is not constant, detecting the color difference of the object from the captured image, and estimating the volume of the content from the color difference; Estimating the weight of the object from the estimated volume may be performed.
  • the attribute estimator calculates a weight corresponding to the estimated volume by searching an attribute database storing attributes corresponding to the label.
  • the present invention it is possible to appropriately control the behavior of the robot corresponding to the inferred attribute by recognizing and grasping the object as an image and inferring the attribute of the identified object.
  • the robot can be properly acted without wasting resources without having to undergo trial and error.
  • FIG. 1 is a configuration diagram showing the configuration of a non-contact object property recognition apparatus according to the present invention
  • Figure 2 is a block diagram showing the configuration of the label generating unit in Figure 1;
  • FIG. 3 is an exemplary view showing an object image taken by the image taking unit according to the present invention.
  • FIG. 4 is an exemplary view showing an example of an attribute database in FIG. 1;
  • 5 to 7 are explanatory diagrams for explaining the weight estimation process by attribute estimation in FIG. 1;
  • FIG. 8 is a flowchart for explaining a method for recognizing a non-contact object property according to the present invention.
  • FIG. 9 is a block diagram showing the configuration of an object moving apparatus according to the present invention.
  • FIG. 10 is an exemplary view showing an example of a holding means in FIG. 8;
  • the non-contact object property recognition apparatus 100 includes an image photographing unit 110, a label generating unit 120, an attribute estimation unit 130, an attribute database 140, and a control unit 150 , It comprises a communication unit 160, a storage unit 170.
  • the image photographing unit 110 may include one or more sensors capable of photographing a front image, and may include an RGB camera, an RGBD camera, a lidar, an infrared scanner, an ultrasonic sensor, and an LRF sensor. Can be.
  • the label generator 120 recognizes an object included in the image using the image captured by the image photographing unit 110 to generate a label.
  • the label generation unit 120 includes an image receiving unit 121, a feature point extraction unit 122, a contour extraction unit 123, and a label matching unit 124.
  • the image receiving unit 121 may receive an image photographed by the image photographing unit 110 or may receive an image photographed from the outside through the communication unit 160.
  • feature points are extracted from the feature point extraction unit 122.
  • the feature points may be points in which a change in pixel (color or contrast) is large, for example, an edge or a vertex of an object.
  • the outline extraction unit 123 serves to extract the appearance of the photographed object.
  • a segmentation technique may be used as a method of extracting contours.
  • the image information of the object separated by the contour extraction unit 123 is classified by the label matching unit 124 to generate a label.
  • the label matching unit 124 may be composed of an artificial intelligence neural network such as a deep learning including an input layer, a hidden layer, and an output layer, and weight information is stored in the hidden layer using the learned data.
  • an artificial intelligence neural network such as a deep learning including an input layer, a hidden layer, and an output layer, and weight information is stored in the hidden layer using the learned data.
  • the label generating unit 120 recognizes and classifies the object after extracting the contour of the object. Labels corresponding to the classified output results may be'apples' and'cola bottles', and the attribute database 140 stores labels and attribute information corresponding to the labels.
  • labels generated by the label generator 120 are classified and stored according to attributes, and each label stores a corresponding attribute.
  • the label is largely divided into a fixed weight label and a variable weight label and stored.
  • the weight of the fixed weight label is estimated immediately according to the measured external volume, and the weight of the variable weight label is estimated by measuring the volume of the external volume and contents.
  • the fixed weight label may be fruit or paper, and the weight of the fixed weight label is directly estimated based on the size (or volume) measured from the outside.
  • variable weight label may be a bottle such as bottled water or coke bottle, and if the label generated by the label generator 120 corresponds to the variable weight label, as well as the size (or volume) measured from the outside, therein The estimation of the volume (or height) of the estimated contents is performed once again.
  • the attribute estimator 130 estimates a new attribute for the label generated by the label generator 120.
  • the estimation may be performed using the attribute database 140 or may be performed by combining artificial intelligence algorithms using artificial neural networks such as deep learning.
  • the attribute estimator 130 may estimate the weight of the label generated by the label generator 120.
  • the attribute estimation unit 130 estimates the size or volume of the apple using the image taken by the image photographing unit 110.
  • the attribute estimation unit estimates the size of the apple after extracting the contour of the apple from the 2D image.
  • the size of the apple is determined by using the distance between the image capturing unit and the apple or comparing the size of other objects to be compared. The size of the apple can be estimated.
  • the size of the object in the captured image decreases, and the closer the distance between the image capturing unit and the object increases, the larger the object size in the captured image increases. If the distance between the image capturing unit and the object is set in advance, the size of the real object can be estimated from the captured image.
  • the size of the apples stored in the attribute database 140 is divided into 9 steps and stored, and steps 1 to 9 may be a range of sizes or volumes. For example, if the size of the apple measured by analyzing the image photographed by the image photographing unit belongs to step 5, the weight of the apple may be estimated to be 210 g.
  • the label'Cola bottle' generated in FIG. 3 referring to the attribute database 140, it is classified as a variable weight label, and the weight is estimated through a process of further measuring the appearance size and volume of the contents of the Cola bottle. .
  • the attribute estimation unit 130 estimates the external size of the Coke bottle classified as a variable weight label from the image photographed by the image photographing unit. At this time, since the size of the coke bottle is standardized, the outer size can be estimated by measuring only the height of the coke bottle.
  • the attribute estimation unit 130 measures the size or volume of the contents accommodated in the variable weight label.
  • the attribute estimator 130 may detect the color difference of the variable weight label from the image photographed by the image photographing unit to estimate the size or volume of the contents.
  • the attribute estimation unit 130 determines the boundary B of the contents using the color difference of the Coke bottle. At this time, it is preferable to determine the condition of the boundary determination as first, whether the boundary is in the horizontal direction, and second, whether the color difference is greater than or equal to a threshold color difference based on the boundary.
  • the attribute estimation unit 130 determines the B line as a boundary and measures the height H from the floor to the boundary.
  • the volume of the contents can also be estimated by measuring the height of the coke bottle because it is standardized.
  • the volume is estimated by measuring the width (W). Then, in the case of a cylindrical bottle, the volume can be calculated as ⁇ W 2 H/4.
  • the attribute estimation unit 130 calculates the volume occupancy of the contents by comparing the external size (volume) of the variable weight label with the contents volume.
  • the volume occupancy of the content may be calculated as 70%.
  • the attribute estimator 130 estimates the weight corresponding to the volume occupancy by referring to the attribute database 140. At this time, if there is no accurate weight data corresponding to the calculated volume occupancy, the weight can be estimated using an interpolation method.
  • the attribute estimation unit may recognize this as the content, and an error may occur. Therefore, it is desirable for the attribute estimation unit 130 to determine a boundary by adding one more condition to the image captured by the image photographing unit 110.
  • the attribute estimator detects whether a step D exists in a portion determined as a boundary candidate.
  • a step D exists in a portion determined as a boundary candidate.
  • FIG. 7 in which the boundary of FIG. 6 is enlarged, it can be seen that there is a groove or step in the outer edge of the boundary.
  • the color of the lower part of the step is outwardly left and right.
  • an image of the photographed object is acquired and transmitted to the label generating unit.
  • a plurality of images of the same object may be photographed, and a plurality of images photographed from different angles may be transmitted.
  • the label generator receives the object image, detects feature points and contours, and uses artificial intelligence such as deep learning to identify and create the label of the object.
  • the attribute estimator determines whether the label generated by referring to the attribute database is a fixed weight label or a variable weight label, and if it is determined that the label is a fixed weight label, calculates the size or volume of the photographed image to estimate the weight.
  • the attribute estimation unit grasps the category (type) of the object. For example, after grasping the type of the beverage bottle or the cookie bag, the state of the object is estimated.
  • the ratio of the present weight to the basic weight of the 100% state is estimated by estimating what percentage of the contents of the beverage bottle.
  • the ratio of the current weight can be estimated by referring to the attribute database or by using artificial intelligence such as deep learning.
  • the object moving apparatus 300 includes an image photographing unit 110, a label generating unit 120, an attribute estimation unit 130, a moving execution unit 310, a control unit 150, a communication unit 160, and storage It comprises a portion 170.
  • the components of the same name as the non-contact object property recognition device described above have the same function, and thus the description is omitted.
  • the moving performance unit 310 is provided in the form of a robot arm so as to be able to hold an object. That is, the movement performing unit 310 may include a robot arm having a plurality of joints and various types of holding means that are provided at the ends of the robot arm to hold an object.
  • the holding means may be provided in various forms, such as a robot hand mimicking five fingers, an adsorber capable of vacuum adsorption, and robot tongs provided in two directions to pick up an object.
  • the holding means have respective features, and in this embodiment, the non-contact object property recognition apparatus moves the object using the most suitable holding means according to the situation.
  • the robot tongs have the advantage of reliably holding a simple object, but if the gripping force is too large, there is a fear that the object may break, so that the strength of the object must be additionally recognized. In addition, there is a concern that a complex-shaped object is difficult to grasp the gripping point and cannot lift the object properly.
  • the robot hand is suitable for holding a complex object, but there is a disadvantage in that an additional learning process is required by using artificial intelligence such as deep learning or using separate data to determine the gripping point and gripping power of the object. In addition, it is very difficult to hold thin paper or film with a robot hand.
  • the adsorber has an advantage in that a thin object or a relatively light object such as paper or film can be moved without fear of being broken. However, heavy or prone objects are difficult to move to the adsorber.
  • the object moving apparatus photographs an object in front of the image photographing unit 110 while moving by a moving means such as a wheel or a leg, and generates a label of the object photographed in the label generating unit 120. Then, the attribute estimator 130 estimates the attribute of the object corresponding to the label.
  • control unit 150 determines the object movement method of the movement performing unit 310 according to the label generated by the label generating unit 120 or the attribute estimated by the attribute estimation unit, and then moves the object in the most suitable way.
  • the attributes may be the appearance, weight, type, material, etc. of the object.
  • the control unit may use a robot tongs to hold the object.
  • the control unit may move the object using an adsorber.
  • control unit controls the object moving method according to the weight of the object estimated by the attribute estimation unit 130.
  • the upper limit of the weight of an object that can be moved to the adsorber is stored in the storage unit. If the weight of the object estimated by the attribute estimation exceeds the upper limit of the weight, the controller excludes the adsorber and uses other holding means.
  • the object moving apparatus includes a plurality of holding means, generates a label through the captured image, estimates attributes according to the label, and selects the most appropriate holding means to organize the objects most efficiently.

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Manipulator (AREA)

Abstract

본 발명은 직접 물건을 들어보지 않고도 물건의 속성을 추론하여 필요한 작동을 수행하도록 할 수 있는 비접촉식 물건속성 인식장치 및 방법에 관한 것이다. 이를 위하여, 본 발명은 물건을 촬영하는 영상촬영부; 상기 영상촬영부에 의해 촬영된 물건을 인식하여 상기 물건의 종류를 분류하고 대응하는 레이블을 인식하는 레이블생성부; 상기 레이블생성부에서 인식된 레이블에 따라 상기 레이블에 해당하는 속성을 추정하는 속성추정부를 포함하여 구성되는 비접촉식 물건속성 인식장치를 제공한다. 따라서, 본 발명에 의하면, 물건을 영상으로 인식하여 파악하고, 파악된 물건의 속성을 추론하여 추론된 속성에 대응하는 로봇의 행동을 적절하게 제어할 수 있다.

Description

비접촉식 물건속성 인식장치 및 방법
본 발명은 비접촉식 물건속성 인식장치 및 방법에 관한 것이며, 구체적으로 직접 물건을 들어보지 않고도 물건의 속성을 추론하여 필요한 작동을 수행하도록 할 수 있는 비접촉식 물건속성 인식장치 및 방법에 관한 것이다.
사람을 대신하여 일을 시키기 위한 장치, 즉 로봇에 대한 연구 및 개발은 끊임없이 계속되어 오고 있다. 이러한 로봇은 카메라 센서 등을 이용하여 전방을 인식하고, 각종 모터 등을 이용하여 스스로의 움직임을 제어하게 된다.
최근에는 인공지능의 발달로 인하여 사물에 대한 인식 및 분류를 스스로 학습하게 하는 방법들이 많이 연구되고 있다.
등록특허 제10-1803471호(컨볼류션 신경망 기반의 영상 패턴화를 이용한 딥러닝 시스템 및 이를 이용한 영상 학습방법)에 의하면, 입력영상을 입력하는 영상입력부, 영상입력부로부터 받은 입력영상을 패턴화된 다수의 패턴영상으로 생성하는 패턴화모듈, 영상입력부로부터 받은 입력영상과 패턴화모듈로부터 수신받은 패턴영상을 학습시키는 컨볼류션 신경망(CNN)을 기반으로 하는 CNN학습부, CNN학습부로부터 학습정보와 영상입력부로부터 받은 입력영상을 전달받는 CNN실행부, CNN실행부로부터 영상정보를 받아 영상정보의 객체를 종류별로 분류하는 최종분류부를 포함한 딥러닝시스템이 기재되어 있다. 이러한 시스템을 이용하여 수신된 영상을 기초로 하여 사물을 분별하도록 학습시킬 수 있다.
하지만, 이러한 시스템은 단지 사물을 분별할 수 있는 기능만 제공할 뿐 로봇으로 하여금 사물과 관련하여 앞으로 진행될 행동에 대한 추론까지 하는 것은 불가능하여 실제 상용화를 목표로 하는 로봇에 적용시키기에는 한계가 있다.
본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 물건의 종류를 분류하여 파악하고, 나아가 파악된 물건의 속성을 추론하여 추론된 속성에 따라 로봇의 행동을 적절하게 제어하기 위한 것이다.
상기한 목적을 달성하기 위하여, 본 발명은 물건을 촬영하는 영상촬영부; 상기 영상촬영부에 의해 촬영된 물건을 인식하여 상기 물건의 종류를 분류하고 대응하는 레이블을 인식하는 레이블생성부; 상기 레이블생성부에서 인식된 레이블에 따라 상기 레이블에 해당하는 속성을 추정하는 속성추정부를 포함하여 구성되는 비접촉식 물건속성 인식장치를 제공한다.
상기 비접촉식 물건속성 인식장치는 상기 레이블에 대응하는 속성이 저장된 속성데이터베이스를 포함하며, 상기 속성추정부는 상기 레이블이 무게가 일정한 레이블인지 판단하고, 무게가 일정한 레이블로 판단되면 촬영된 영상으로부터 상기 물건의 부피를 계산하는 단계, 상기 속성데이터베이스로부터 상기 레이블의 무게속성을 검출하고 상기 계산된 부피를 이용하여 상기 물건의 무게를 추정하는 단계를 수행하는 것이 바람직하다.
상기 속성추정부는 상기 레이블이 무게가 일정한 레이블인지 판단하고, 무게가 일정하지 않은 레이블로 판단되면 촬영된 영상으로부터 상기 물건의 색상차이를 검출하는 단계, 상기 색상차이로부터 내용물의 부피를 추정하는 단계; 상기 추정된 부피로부터 상기 물건의 무게를 추정하는 단계를 수행할 수 있다.
이때, 상기 비접촉식 물건속성 인식장치는 상기 레이블에 대응하는 속성이 저장된 속성데이터베이스를 포함하며, 상기 속성추정부는 상기 속성데이터베이스를 검색하여 상기 추정된 부피에 대응하는 무게를 산출하는 것이 바람직하다.
본 발명에 의하면, 또한, 물건을 촬영하는 영상촬영부; 물건을 잡아 이동시키기 위한 이동수행부; 상기 영상촬영부에 의해 촬영된 물건을 인식하여 상기 물건의 종류를 분류하고 대응하는 레이블을 인식하는 레이블생성부; 상기 레이블생성부에서 인식된 레이블에 따라 상기 레이블에 해당하는 무게을 추정하는 속성추정부; 상기 이동수행부를 제어하기 위한 제어부를 포함하여 구성되고, 상기 제어부는 상기 속성추정부에서 추정된 무게에 따라 상기 이동수행부의 제어방법을 변경시키는 물건이동장치를 제공한다.
상기 이동수행부는 물건을 잡는 복수 개의 홀딩수단을 구비하며, 상기 물건이동장치는 상기 속성추정부에서 추정된 무게에 따라 상기 홀딩수단을 변경하는 것이 바람직하다.
그리고, 본 발명에 의하면, 영상촬영부에 의해 물건을 촬영하는 단계; 레이블생성부에 의해 상기 영상촬영부에 의해 촬영된 물건을 인식하여 상기 물건의 종류를 분류하고 대응하는 레이블을 인식하는 단계; 속성추정부에 의해 상기 레이블생성부에서 인식된 레이블에 따라 상기 레이블에 해당하는 속성을 추정하는 단계를 수행하는 비접촉식 물건속성 인식방법을 제공한다.
상기 속성추정부는 상기 레이블이 무게가 일정한 레이블인지 판단하고, 무게가 일정한 레이블로 판단되면 촬영된 영상으로부터 상기 물건의 부피를 계산하는 단계, 상기 레이블에 대응하는 속성이 저장된 속성데이터베이스로부터 상기 레이블의 무게속성을 검출하고 상기 계산된 부피를 이용하여 상기 물건의 무게를 추정하는 단계를 수행하는 것이 바람직하다.
상기 속성추정부는 상기 레이블이 무게가 일정한 레이블인지 판단하고, 무게가 일정하지 않은 레이블로 판단되면 촬영된 영상으로부터 상기 물건의 색상차이를 검출하는 단계, 상기 색상차이로부터 내용물의 부피를 추정하는 단계; 상기 추정된 부피로부터 상기 물건의 무게를 추정하는 단계를 수행할 수 있다.
상기 속성추정부는 상기 레이블에 대응하는 속성이 저장된속성데이터베이스를 검색하여 상기 추정된 부피에 대응하는 무게를 산출하는 것이 바람직하다.
본 발명에 의하면, 물건을 영상으로 인식하여 파악하고, 파악된 물건의 속성을 추론하여 추론된 속성에 대응하는 로봇의 행동을 적절하게 제어할 수 있다.
따라서, 실제 물건을 잡거나 들어야할 필요가 있을 때 처음 인식된 물건이라도 시행착오를 겪지 않아도 자원낭비없이 로봇으로 하여금 적절하게 행동할 수 있도록 하여 준다.
도 1은 본 발명에 의한 비접촉식 물건속성 인식장치의 구성을 나타내는 구성도;
도 2는 도 1에서 레이블생성부의 구성을 나타내는 구성도;
도 3은 본 발명에 의한 영상촬영부에서 촬영한 물건 영상을 나타내는 예시도;
도 4는 도 1에서 속성데이터베이스의 예를 나타내는 예시도;
도 5 내지 도 7은 도 1에서 속성추정부에 의한 무게추정과정을 설명하기 위한 설명도;
도 8은 본 발명에 의한 비접촉식 물건속성 인식방법을 설명하기 위한 순서도;
도 9는 본 발명에 의한 물건이동장치의 구성을 나타내는 구성도;
도 10은 도 8에서 홀딩수단의 예를 나타내는 예시도.
본 발명의 실시예의 구성 및 작용에 대하여 첨부한 도면을 참조하여 상세하게 설명한다.
도 1을 참조하면, 본 발명에 의한 비접촉식 물건속성 인식장치(100)는 영상촬영부(110), 레이블생성부(120), 속성추정부(130), 속성데이터베이스(140), 제어부(150), 통신부(160), 저장부(170)를 포함하여 구성된다.
상기 영상촬영부(110)는 전방의 영상을 촬영할 수 있는 하나 이상의 센서들을 포함하여 구성될 수 있으며, RGB카메라, RGBD카메라, 라이다(Lidar), 적외선 스캐너, 초음파센서, LRF센서 등을 포함할 수 있다.
상기 레이블생성부(120)는 영상촬영부(110)에서 촬영된 영상을 이용하여 영상에 포함된 물건을 인식하여 레이블을 생성한다.
구체적으로, 도 2를 참조하면, 레이블생성부(120)는 영상수신부(121), 특징점추출부(122), 윤곽선추출부(123), 레이블매칭부(124)를 포함한다.
영상수신부(121)는 영상촬영부(110)에서 촬영된 영상을 수신할 수도 있고, 통신부(160)를 통해 외부에서 촬영된 영상을 수신받을 수도 있다. 상기 영상수신부(121)를 통해 수신된 영상은 특징점추출부(122)에서 특징점들이 추출된다. 상기 특징점들은 픽셀(색상 또는 명암)의 변화가 큰 점들이 될 수 있으며, 예를 들어, 물건의 모서리나 꼭지점 등이 될 수 있다.
또한, 윤곽선추출부(123)에서는 촬영된 물건의 외형을 추출하는 역할을 한다. 윤곽선을 추출하는 방법으로 세그멘테이션(segmentation) 기법이 이용될 수 있다.
윤곽선추출부(123)에 의해 분리된 물건의 영상정보는 레이블매칭부(124)에 의해 분류되어 레이블이 생성된다.
상기 레이블매칭부(124)는 입력층, 은닉층, 출력층을 포함한 딥러닝과 같은 인공지능 신경망으로 구성될 수 있으며, 학습된 데이터를 이용하여 은닉층에 가중치정보가 저장되어 있다.
예를 들어, 도 3과 같은 물건이 영상수신부(121)에 의해 촬영된 경우 레이블생성부(120)에서는 물건의 윤곽선을 추출한 후 물건을 인식하여 분류하게 된다. 분류된 출력결과에 대응하는 레이블이 '사과' 및 '콜라병'으로 될 수 있으며, 속성데이터베이스(140)에는 레이블 및 상기 레이블에 대응하는 속성정보가 저장되어 있다.
도 4를 참조하면, 속성데이터베이스(140)에는 레이블생성부(120)에서 생성된 레이블이 속성에 따라 분류되어 저장되며, 각 레이블은 대응하는 속성이 저장된다.
구체적으로, 레이블은 크게 고정중량레이블과 가변중량레이블로 구분되어 저장된다. 상기 고정중량레이블은 측정된 외관부피에 따라 무게가 바로 추정되며, 상기 가변중량레이블은 외관부피 및 내용물의 부피 측정에 의해 무게가 추정된다.
예를 들어, 고정중량레이블은 과일이나 종이 등이 될 수 있으며, 이러한 고정중량레이블은 단지 외부에서 측정되는 크기(또는 부피)에 따라 무게가 바로 추정된다.
또한, 가변중량레이블은 생수병, 콜라병 등과 같은 병이 될 수 있으며, 레이블생성부(120)에서 생성된 레이블이 가변중량레이블에 해당하면 외부에서 측정되는 크기(또는 부피)뿐만 아니라, 그 안에 추정되는 내용물의 부피(또는 높이)의 추정이 다시 한번 수행된다.
상기 속성추정부(130)는 레이블생성부(120)에서 생성된 레이블에 대해서 새로운 속성을 추정한다. 이러한 추정은 속성데이터베이스(140)를 이용하여 수행하거나 딥러닝과 같은 인공신경망을 이용한 인공지능 알고리즘을 조합하여 수행할 수도 있다.
예를 들어, 상기 속성추정부(130)에서는 레이블생성부(120)에서 생성된 레이블에 대한 무게를 추정할 수 있다.
먼저, 도 3에서 생성된 레이블 '사과'의 경우 속성데이터베이스(140)를 참조하면, 고정중량레이블로 분류되고, 사과의 크기에 따라 무게가 추정된다. 이러한 경우, 속성추정부(130)에서는 영상촬영부(110)에서 촬영된 영상을 이용하여 사과의 크기 또는 부피를 추정한다. 이때, 사과의 부피는 360° 입체적인 영상을 필요로 하므로 매우 정밀한 추정이 요구되지 않는 경우에는 2차원 영상의 크기로부터 무게를 추정한다. 즉, 속성추정부에서는 2차원 영상에서 사과의 윤곽선을 추출한 다음 크기를 추정하게 되는데, 이러한 사과의 크기는 영상촬영부와 사과와의 거리를 이용하거나 비교대상이 되는 다른 물체 크기와의 비교를 통해 사과의 크기가 추정될 수 있다.
영상촬영부와 물체와의 거리가 멀수록 촬영된 영상에서의 물체 크기가 작아지고, 영상촬영부와 물체와의 거리가 가까울주록 촬영된 영상에서의 물체 크기가 커지므로 일정 거리에서 물체의 크기를 미리 설정해 놓고 영상촬영부와 물체와의 거리를 측정하면 촬영된 영상에서 실제 물체의 크기를 추정할 수 있다.
본 실시예에서 속성데이터베이스(140)에 저장된 사과의 크기는 9단계로 구획되어 저장되며, 1단계부터 9단계는 일정 범위의 크기나 부피가 될 수 있다. 예를 들어, 영상촬영부에 의해 촬영된 영상을 분석하여 측정된 사과의 크기가 5단계에 속한다면 사과의 무게는 210g으로 추정될 수 있다.
한편, 도 3에서 생성된 레이블 '콜라병'의 경우 속성데이터베이스(140)를 참조하면, 가변중량레이블로 분류되고, 콜라병의 외관 크기 및 내용물의 부피를 더 측정하는 과정을 거쳐 무게가 추정된다.
즉, 속성추정부(130)에서는 영상촬영부에 의해 촬영된 영상으로부터 가변중량레이블로 분류된 콜라병의 외형 크기를 추정한다. 이때, 콜라병의 크기는 정형화되어 있으므로 콜라병의 높이만 측정하여 외형 크기를 추정할 수 있다.
다음, 속성추정부(130)에서는 가변중량레이블에 수용된 내용물의 크기나 부피를 측정한다. 이때, 속성추정부(130)에서는 영상촬영부에 의해 촬영된 영상에서 가변중량레이블의 색상차이를 검출하여 내용물의 크기나 부피를 추정할 수 있다.
도 5를 참조하면, 속성추정부(130)에서는 콜라병의 색상차이를 이용하여 내용물의 경계(B)를 판정한다. 이때, 경계판정의 조건은 첫째, 경계가 수평방향인지 여부, 둘째, 경계를 기준으로 색상차이가 임계색상차 이상인지 여부로 판정하는 것이 바람직하다.
도 5에서 경계(B) 아래는 검은색에 가까운 색깔이 표시되고 경계(B) 위쪽은 배경색에 가까운 색깔이 표시되므로 색상차이는 임계색상차 이상이고, 경계는 수평방향으로 되어 있다. 따라서, 속성추정부(130)에서는 B라인을 경계로 판단하고 바닥에서 경계까지의 높이(H)를 측정한다. 콜라병은 정형화되어 있으므로 높이를 측정하면 내용물의 부피도 추정될 수 있다.
다만, 정형화되어 있지 않은 병의 경우에는 폭(W)도 측정하여 부피를 추정한다. 그러면, 원통형의 병인 경우 부피는 πW2H/4로 계산될 수 있다.
이렇게 내용물의 부피(또는 높이)가 산출되면 속성추정부(130)에서는 가변중량레이블의 외형 크기(부피)와 내용물의 부피를 비교하여 내용물의 부피점유율을 계산한다. 예를 들어, 도 5에서 내용물의 부피점유율은 70%로 계산될 수 있다.
그 후, 속성추정부(130)에서는 속성데이터베이스(140)를 참조하여 부피점유율에 해당하는 무게를 추정한다. 이때, 산출된 부피점유율에 해당하는 무게데이터가 정확히 없을 경우에는 보간법을 이용하여 무게를 추정할 수 있다.
예를 들어, 선형보간법을 이용하면, 무게를 y, 부피점유율을 x라 하면, 속성데이터베이스(140)에 저장된 콜라병의 부피점유율 50% 및 100% 데이터로부터 y = 11x + 300의 그래프를 얻고, 부피점유율이 70%인 경우 이 그래프를 이용하면 무게는 1,070g으로 추정될 수 있다.
한편, 도 6을 참조하면, 병의 겉에 커버가 씌워진 경우 속성추정부에서는 이것을 내용물로 인식하여 오류가 발생할 가능성이 있다. 따라서, 속성추정부(130)에서는 영상촬영부(110)에서 촬영된 영상에서 한 가지 조건을 더 부가하여 경계를 결정하는 것이 바람직하다.
즉, 도 7을 참조하면, 속성추정부에서는 경계후보로 판정이 된 부분에 단차(D)가 존재하는지 검출한다. 도 6의 경계를 확대한 도 7을 보면, 경계의 외측 끝단에는 안쪽으로 들어간 홈 또는 단차가 존재함을 알 수 있다. 또한, 이러한 단차보다 아래부분의 색상이 좌우 바깥쪽으로 나와 있다.
따라서, 속성추정부에서는 경계 부근에 단차가 존재하고, 아래부분의 색상이 상기 단차의 외측에 있을 때에는 내용물로 판단하지 않는다.
도 8을 참조하여, 본 발명에 의한 비접촉식 물건속성 인식방법에 대해 설명한다.
영상촬영부에 의해 전방의 물건이 촬영되면, 촬영된 물건의 영상을 취득하여 레이블생성부로 전송된다. 이때, 동일한 물건의 영상은 복수 개 촬영될 수 있으며, 다른 각도에서 촬영된 복수 개의 영상이 전송될 수 있다.
레이블생성부에서는 물건영상을 수신하여 특징점 및 윤곽선을 검출하고 딥러닝 등의 인공지능을 이용하여 해당 물건의 레이블을 파악하여 생성한다.
이후, 속성추정부에서는 속성데이터베이스를 참조하여 생성된 레이블이 고정중량레이블인지 가변중량레이블인지 판단하고, 고정중량레이블이라고 판단되면 촬영된 영상의 크기 또는 부피를 계산하여 무게를 추정한다.
한편, 속성추정부에서는 생성된 레이블이 가변중량레이블이라고 판단되면 물건의 카테고리(유형)을 파악한다. 예를 들어, 음료수 병인지 과자봉지인지 등의 유형을 파악한 후, 물건상태를 추정하게 된다.
물건상태는 음료수 병의 경우 내용물이 몇%인지를 추정하여 100% 상태의 기본중량 대비 현재중량의 비율을 추정한다. 이때, 속성데이터베이스를 참조하거나 딥러닝 등의 인공지능을 이용하여 현재중량의 비율을 추정할 수 있다.
다음으로, 본 발명에 의한 비접촉식 물건속성 인식장치를 이용하여 물건을 이동시킬 수 있는 물건이동장치에 대해 설명한다.
본 발명에 의한 물건이동장치(300)는 영상촬영부(110), 레이블생성부(120), 속성추정부(130), 이동수행부(310), 제어부(150), 통신부(160), 저장부(170)를 포함하여 구성된다. 앞서 설명한 비접촉식 물건속성 인식장치와 동일한 명칭의 구성요소는 기능이 동일하므로 설명을 생략한다.
상기 이동수행부(310)는 물건을 잡을 수 있도록 로봇팔 형태로 구비되는 것이 바람직하다. 즉, 이동수행부(310)는 복수의 관절을 가진 로봇팔 및 상기 로봇팔의 끝단에 구비되어 물건을 잡을 수 있는 여러가지 형태의 홀딩수단을 포함할 수 있다.
도 9를 참조하면, 상기 홀딩수단은 다섯 손가락을 흉내낸 로봇손, 진공흡착을 할 수 있는 흡착기, 두 방향으로 구비되어 물건을 집을 수 있는 로봇집게 등 여러가지 형태로 구비될 수 있다.
상기 홀딩수단은 각각의 특징이 있으며, 본 실시예에서는 비접촉식 물건속성 인식장치에 의해 제어부(150)에서는 상황에 따라 가장 적합한 홀딩수단을 이용하여 물건을 이동시킨다.
구체적으로, 상기 로봇집게는 간단한 형태의 물건을 확실하게 잡을 수 있는 장점이 있으나, 파지력이 너무 크면 물건이 부서질 염려가 있어 물건의 강도를 추가적으로 인식해야 하는 단점이 있다. 또한, 복잡한 형태의 물건은 파지점을 잡기가 어려워 물건을 제대로 들 수 없는 염려가 있다.
상기 로봇손은 복잡한 형태의 물건을 잡기 적합하나 역시 물건의 파지점 및 파지력을 판단하기 위해 딥러닝과 같은 인공지능을 이용하거나 별도의 데이터를 이용하여 추가적인 학습과정이 필요한 단점이 있다. 또한, 얇은 종이나 필름 등은 로봇손으로 잡기가 매우 어렵다.
상기 흡착기는 종이나 필름 등과 같이 얇은 물건이나 비교적 가벼운 물건을 부서질 염려없이 이동시킬 수 있는 장점이 있다. 하지만, 무거운 물건이나 엎질러지기 쉬운 물건은 흡착기로 이동시키기 어렵다.
본 실시예에 의한 물건이동장치는 바퀴나 다리 등의 이동수단에 의해 이동하면서 영상촬영부(110)에서 전방의 물건을 촬영하고, 레이블생성부(120)에서 촬영된 물건의 레이블을 생성한다. 그러면, 속성추정부(130)에서 상기 레이블에 대응하는 물건의 속성을 추정한다.
그러면, 제어부(150)에서는 레이블생성부(120)에서 생성된 레이블 또는 속성추정부에서 추정된 속성에 따라 이동수행부(310)의 물건이동방법을 판단하여 가장 적합한 방법으로 물건을 이동시킬 수 있다. 상기 속성은 물건의 외형, 무게, 종류, 재질 등이 될 수 있다.
예를 들어, 레이블생성부(120)에서 생성된 레이블이 간단한 원통형 유리병이라면 제어부에서는 로봇집게를 이용하여 물건을 잡게 할 수 있다. 또한, 레이블생성부(120)에서 생성된 레이블이 과자봉지라면 제어부에서는 흡착기를 이용하여 물건을 이동시킬 수 있다.
그리고, 제어부에서는 속성추정부(130)에서 추정된 물건의 무게에 의하여 물건이동방법을 제어한다. 예를 들어, 흡착기로 이동시킬 수 있는 물건의 무게상한이 저장부에 저장되며, 상기 속성추정부에서 추정된 물건의 무게가 상기 무게상한을 초과하면 제어부에서는 흡착기를 배제시키고 다른 홀딩수단을 이용한다.
이와 같이, 본 발명에 의한 물건이동장치는 복수의 홀딩수단을 구비하며, 촬영된 영상을 통하여 레이블을 생성하고, 레이블에 따른 속성을 추정하여 가장 적절한 홀딩수단을 선택함으로써 가장 효율적으로 물건을 정리할 수 있는 이점이 있다.
상기에서는 본 발명의 실시예들을 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (10)

  1. 물건을 촬영하는 영상촬영부;
    상기 영상촬영부에 의해 촬영된 물건을 인식하여 상기 물건의 종류를 분류하고 대응하는 레이블을 인식하는 레이블생성부;
    상기 레이블생성부에서 인식된 레이블에 따라 상기 레이블에 해당하는 속성을 추정하는 속성추정부를 포함하여 구성되는 비접촉식 물건속성 인식장치.
  2. 제1항에 있어서,
    상기 비접촉식 물건속성 인식장치는 상기 레이블에 대응하는 속성이 저장된 속성데이터베이스를 포함하며,
    상기 속성추정부는 상기 레이블이 무게가 일정한 레이블인지 판단하고, 무게가 일정한 레이블로 판단되면 촬영된 영상으로부터 상기 물건의 부피를 계산하는 단계,
    상기 속성데이터베이스로부터 상기 레이블의 무게속성을 검출하고 상기 계산된 부피를 이용하여 상기 물건의 무게를 추정하는 단계를 수행하는 것을 특징으로 하는 비접촉식 물건속성 인식장치.
  3. 제1항에 있어서,
    상기 속성추정부는 상기 레이블이 무게가 일정한 레이블인지 판단하고, 무게가 일정하지 않은 레이블로 판단되면 촬영된 영상으로부터 상기 물건의 색상차이를 검출하는 단계,
    상기 색상차이로부터 내용물의 부피를 추정하는 단계;
    상기 추정된 부피로부터 상기 물건의 무게를 추정하는 단계를 수행하는 것을 특징으로 하는 비접촉식 물건속성 인식장치.
  4. 제3항에 있어서,
    상기 비접촉식 물건속성 인식장치는 상기 레이블에 대응하는 속성이 저장된 속성데이터베이스를 포함하며,
    상기 속성추정부는 상기 속성데이터베이스를 검색하여 상기 추정된 부피에 대응하는 무게를 산출하는 것을 특징으로 하는 비접촉식 물건속성 인식장치.
  5. 물건을 촬영하는 영상촬영부;
    물건을 잡아 이동시키기 위한 이동수행부;
    상기 영상촬영부에 의해 촬영된 물건을 인식하여 상기 물건의 종류를 분류하고 대응하는 레이블을 인식하는 레이블생성부;
    상기 레이블생성부에서 인식된 레이블에 따라 상기 레이블에 해당하는 무게을 추정하는 속성추정부;
    상기 이동수행부를 제어하기 위한 제어부를 포함하여 구성되고,
    상기 제어부는 상기 속성추정부에서 추정된 무게에 따라 상기 이동수행부의 제어방법을 변경시키는 물건이동장치.
  6. 제5항에 있어서,
    상기 이동수행부는 물건을 잡는 복수 개의 홀딩수단을 구비하며,
    상기 물건이동장치는 상기 속성추정부에서 추정된 무게에 따라 상기 홀딩수단을 변경하는 것을 특징으로 하는 물건이동장치.
  7. 영상촬영부에 의해 물건을 촬영하는 단계;
    레이블생성부에 의해 상기 영상촬영부에 의해 촬영된 물건을 인식하여 상기 물건의 종류를 분류하고 대응하는 레이블을 인식하는 단계;
    속성추정부에 의해 상기 레이블생성부에서 인식된 레이블에 따라 상기 레이블에 해당하는 속성을 추정하는 단계를 수행하는 비접촉식 물건속성 인식방법.
  8. 제7항에 있어서,
    상기 속성추정부는 상기 레이블이 무게가 일정한 레이블인지 판단하고, 무게가 일정한 레이블로 판단되면 촬영된 영상으로부터 상기 물건의 부피를 계산하는 단계,
    상기 레이블에 대응하는 속성이 저장된 속성데이터베이스로부터 상기 레이블의 무게속성을 검출하고 상기 계산된 부피를 이용하여 상기 물건의 무게를 추정하는 단계를 수행하는 것을 특징으로 하는 비접촉식 물건속성 인식방법.
  9. 제7항에 있어서,
    상기 속성추정부는 상기 레이블이 무게가 일정한 레이블인지 판단하고, 무게가 일정하지 않은 레이블로 판단되면 촬영된 영상으로부터 상기 물건의 색상차이를 검출하는 단계,
    상기 색상차이로부터 내용물의 부피를 추정하는 단계;
    상기 추정된 부피로부터 상기 물건의 무게를 추정하는 단계를 수행하는 것을 특징으로 하는 비접촉식 물건속성 인식방법.
  10. 제9항에 있어서,
    상기 속성추정부는 상기 레이블에 대응하는 속성이 저장된속성데이터베이스를 검색하여 상기 추정된 부피에 대응하는 무게를 산출하는 것을 특징으로 하는 비접촉식 물건속성 인식방법.
PCT/KR2018/014950 2018-11-27 2018-11-29 비접촉식 물건속성 인식장치 및 방법 Ceased WO2020111327A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0148577 2018-11-27
KR1020180148577A KR102285625B1 (ko) 2018-11-27 2018-11-27 비접촉식 물건속성 인식장치 및 방법

Publications (1)

Publication Number Publication Date
WO2020111327A1 true WO2020111327A1 (ko) 2020-06-04

Family

ID=70853417

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/014950 Ceased WO2020111327A1 (ko) 2018-11-27 2018-11-29 비접촉식 물건속성 인식장치 및 방법

Country Status (2)

Country Link
KR (1) KR102285625B1 (ko)
WO (1) WO2020111327A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111687841A (zh) * 2020-06-15 2020-09-22 中山大学 一种机器人弹跳高度控制方法、系统、装置及存储介质
CN113496229A (zh) * 2021-08-02 2021-10-12 上海蜜罐科技有限公司 自助式寄件柜快件物品识别系统及方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102791209B1 (ko) * 2021-11-18 2025-04-04 주식회사 아서앤그레이스 인공지능을 이용한 제품 제작 서비스 제공 방법 및 이를 이용하는 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110136761A (ko) * 2011-11-03 2011-12-21 한양대학교 산학협력단 로봇의 물체 인식 방법
KR20140054763A (ko) * 2012-10-29 2014-05-09 한국전자통신연구원 객체 및 시스템 특성에 기반한 확률 분포 지도 작성 장치 및 그 방법
KR20150043995A (ko) * 2013-10-15 2015-04-23 쿠카 레보라토리즈 게엠베하 적어도 두 산업용 로봇을 이용하여 물체들을 핸들링하기 위한 방법, 및 관련 산업용 로봇
US20170021503A1 (en) * 2012-02-07 2017-01-26 X Development Llc Systems and Methods for Determining a Status of a Component of a Device
US9704054B1 (en) * 2015-09-30 2017-07-11 Amazon Technologies, Inc. Cluster-trained machine learning for image processing

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110136761A (ko) * 2011-11-03 2011-12-21 한양대학교 산학협력단 로봇의 물체 인식 방법
US20170021503A1 (en) * 2012-02-07 2017-01-26 X Development Llc Systems and Methods for Determining a Status of a Component of a Device
KR20140054763A (ko) * 2012-10-29 2014-05-09 한국전자통신연구원 객체 및 시스템 특성에 기반한 확률 분포 지도 작성 장치 및 그 방법
KR20150043995A (ko) * 2013-10-15 2015-04-23 쿠카 레보라토리즈 게엠베하 적어도 두 산업용 로봇을 이용하여 물체들을 핸들링하기 위한 방법, 및 관련 산업용 로봇
US9704054B1 (en) * 2015-09-30 2017-07-11 Amazon Technologies, Inc. Cluster-trained machine learning for image processing

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111687841A (zh) * 2020-06-15 2020-09-22 中山大学 一种机器人弹跳高度控制方法、系统、装置及存储介质
CN113496229A (zh) * 2021-08-02 2021-10-12 上海蜜罐科技有限公司 自助式寄件柜快件物品识别系统及方法
CN113496229B (zh) * 2021-08-02 2023-08-11 上海蜜罐科技有限公司 自助式寄件柜快件物品识别系统及方法

Also Published As

Publication number Publication date
KR20200062770A (ko) 2020-06-04
KR102285625B1 (ko) 2021-08-04

Similar Documents

Publication Publication Date Title
CN111590611B (zh) 一种基于多模态主动感知的物品分类回收方法
CN112518748B (zh) 面向运动物品的视觉机械臂自动抓取方法与系统
KR102206753B1 (ko) 결함 검사 장치
CN115319739B (zh) 一种基于视觉机械臂抓取工件方法
JP7791669B2 (ja) 複数の透明対象物の三次元検出
CN114693661A (zh) 一种基于深度学习的快速分拣方法
WO2019107614A1 (ko) 제조 공정에서 딥러닝을 활용한 머신 비전 기반 품질검사 방법 및 시스템
WO2012052615A1 (en) Method for the filtering of target object images in a robot system
CN115082926B (zh) 一种面向移动抓取装置的视觉引导系统
CN113602799A (zh) 一种航空港行李箱搬运系统及其控制方法
WO2023068440A1 (ko) 로봇 손 시스템 및 로봇 손 제어 방법
CN111311691A (zh) 拆垛机器人拆垛方法及系统
CN114192447A (zh) 基于图像识别的垃圾分拣方法
KR102285625B1 (ko) 비접촉식 물건속성 인식장치 및 방법
CN111539259A (zh) 目标物体的识别方法、人工神经网络的训练方法、计算机可读存储介质及机械手
US20250372236A1 (en) Devices and methods for training sample characterization algorithms in diagnostic laboratory systems
Uçar et al. Determination of angular status and dimensional properties of objects for grasping with robot arm
WO2020105778A1 (ko) 개인 맞춤형 정리로봇 및 그것을 이용한 물건정리방법
CN120496054A (zh) 基于深度学习的机器人抓取自适应方法及系统
KR102791561B1 (ko) 자동 객체 위치 인식 방법 및 장치
WO2025033602A1 (ko) Rgb 이미지 및 깊이 정보를 기반으로 객체의 포즈를 추정하는 장치 및 방법
CN121259272A (zh) 一种孔位检测的方法、系统和机器人
KR20210009411A (ko) 결함 검사 장치
van Vuuren et al. Towards the autonomous robotic gripping and handling of novel objects
CN110610136A (zh) 一种基于深度学习的变电站设备识别模块及识别方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18941881

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18941881

Country of ref document: EP

Kind code of ref document: A1